JPWO2006041055A1 - スケーラブル符号化装置、スケーラブル復号装置及びスケーラブル符号化方法 - Google Patents

スケーラブル符号化装置、スケーラブル復号装置及びスケーラブル符号化方法 Download PDF

Info

Publication number
JPWO2006041055A1
JPWO2006041055A1 JP2006540931A JP2006540931A JPWO2006041055A1 JP WO2006041055 A1 JPWO2006041055 A1 JP WO2006041055A1 JP 2006540931 A JP2006540931 A JP 2006540931A JP 2006540931 A JP2006540931 A JP 2006540931A JP WO2006041055 A1 JPWO2006041055 A1 JP WO2006041055A1
Authority
JP
Japan
Prior art keywords
encoding
spectrum
layer
unit
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006540931A
Other languages
English (en)
Other versions
JP4606418B2 (ja
Inventor
押切　正浩
正浩 押切
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2006041055A1 publication Critical patent/JPWO2006041055A1/ja
Application granted granted Critical
Publication of JP4606418B2 publication Critical patent/JP4606418B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

第２レイヤでの符号化効率を改善すると共に、第２レイヤでの符号化信号を用いて復号した原信号の品質を向上させることができるスケーラブル符号化装置等を提供する。この装置において、予測係数符号化部（２０５）は、予測係数の候補が記録された予測係数符号帳を具備し、この予測係数符号帳を探索して、スケールファクタ算出部（２０２）から入力されてくる第１レイヤ復号信号のスケールファクタに乗じることにより、その乗算結果をスケールファクタ算出部（２０４）から入力されてくる原信号のスケールファクタに最も近似させる予測係数を決定し、決定した予測係数を符号化して、その符号化コードを多重化部と予測係数復号化部（２０６）とにそれぞれ入力する。

Description

本発明は、音声信号等を階層化して符号化するスケーラブル符号化装置等に関する。
従来、移動体通信システムでは、電波資源等の有効利用のために、音声信号を低ビットレートで圧縮することが要求されている。その一方で、通話音声の品質向上や臨場感の高い通話サービスの実現も望まれており、その実現には、音声信号の高品質化のみならず、より帯域の広いオーディオ信号等の音声成分以外の信号成分も高品質に符号化する必要がある。
このような相反する要求を共に満たす手段として、複数の符号化技術を階層的に統合するアプローチが有望視されている。具体的には、音声信号に特化したモデルで音声成分を低ビットレートで符号化する第１レイヤ符号化部と、音声成分以外の信号成分をより汎用的なモデルで符号化する第２レイヤ符号化部と、を組み合わせるアプローチが検討されている。このような階層的符号化方式は、符号化されたビットストリームがスケーラビリティ性（ビットストリームの一部の情報からでも復号信号が得られる特性）を有するため、スケーラブル符号化方式と呼ばれる。
スケーラブル符号化方式は、その性質から、ビットレートの異なるネットワーク間の通信に柔軟に対応できる。この特徴は、ＩＰプロトコルで多様なネットワークが統合されていく今後のネットワーク環境に適したものであると言える。
スケーラブル符号化の実現手段として、ＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ−４）で規格化された技術を用いる手段が知られている（例えば非特許文献１参照）。非特許文献１に記載の技術では、音声信号に特化した代表的な符号化方式であるＣＥＬＰ（Ｃｏｄｅ Ｅｘｃｉｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ：符号励信線形予測）方式を第１レイヤに適用し、原信号から第１レイヤ復号信号を減じた残差信号に対してより汎用的な符号化モデルであるＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｅｒ）方式又はＴｗｉｎＶＱ（Ｔｒａｎｓｆｏｒｍ Ｄｏｍａｉｎ Ｗｅｉｇｈｔｅｄ Ｉｎｔｅｒｌｅａｖｅ Ｖｅｃｔｏｒ Ｑｕａｎｔｉｚａｔｉｏｎ：周波数領域重み付きインターリーブベクトル量子化）方式を第２レイヤに適用する。この第２レイヤに適用される２つの方式は、異なる方式であるものの、基本的にはＭＤＣＴ（Ｍｏｄｉｆｉｅｄ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ；変形離散コサイン変換）係数の量子化を行う際にスペクトルの大まかな形状を表すスペクトル概形情報と、残りの細かなスペクトル形状を表すスペクトル微細情報と、に分離し、それぞれ符号化する点で共通する。
三木弼一編著、「ＭＰＥＧ−４のすべて」、初版、（株）工業調査会、１９９８年９月３０日、ｐ．１２６−１２７
しかしながら、非特許文献１に記載の技術では、第２レイヤにおいて、入力信号である原信号からその第１レイヤ復号信号を減じて得られる残差信号に対して符号化が行われることになる。このような残差信号の特性は、第１レイヤ部を介することにより原信号に含まれる主要な情報が取り除かれるため、雑音系列に近い特性となる。このため、非特許文献１に記載の技術では、第２レイヤでの符号化効率が低下すると共に、第２レイヤでの符号化信号を用いて原信号を復号しても、その原信号の品質が向上し難いという問題がある。
よって、本発明の目的は、第２レイヤでの符号化効率を改善すると共に、第２レイヤでの符号化信号を用いて復号した原信号の品質を向上させるスケーラブル符号化装置等を提供することである。
本発明に係るスケーラブル符号化装置は、入力信号を符号化して下位レイヤ符号化パラメータを生成する下位レイヤ符号化手段と、前記下位レイヤ符号化パラメータを復号して下位レイヤ復号信号を生成する下位レイヤ復号化手段と、前記入力信号に基づいて前記入力信号のスペクトル概形を算出する第１スペクトル概形算出手段と、前記下位レイヤ復号信号に基づいて前記下位レイヤ復号信号のスペクトル概形を算出する第２スペクトル概形算出手段と、前記下位レイヤ復号信号のスペクトル概形から前記入力信号のスペクトル概形を予測することにより予測情報を得、この予測情報を符号化して上位レイヤ符号化パラメータを生成する予測情報符号化手段と、前記下位レイヤ符号化パラメータと前記上位レイヤ符号化パラメータとを出力する出力手段と、を具備する構成を採る。
本発明に係るスケーラブル復号装置は、入力信号をスケーラブル符号化するスケーラブル符号化装置によって生成された符号化パラメータを復号するスケーラブル復号装置であって、前記符号化パラメータを復号して下位レイヤ復号信号を生成する下位レイヤ復号化手段と、前記符号化パラメータを復号することにより、前記入力信号のスペクトル概形を予測させる予測情報を生成する予測情報復号化手段と、前記下位レイヤ復号信号と前記予測情報とに基づいて前記入力信号のスペクトル概形を生成するスペクトル生成手段と、を具備する構成を採る。
本発明によれば、予測情報符号化手段が、下位レイヤ復号信号のスペクトル概形から入力信号のスペクトル概形を予測させる予測情報を生成して符号化し、符号化された予測情報を上位レイヤ符号化パラメータとして出力するため、この上位レイヤ符号化パラメータの符号化効率を改善できると共に、この上位レイヤ符号化パラメータを用いて復号した入力信号の品質を高めることができる。
実施の形態１に係るスケーラブル符号化装置の主要な構成を示すブロック図 実施の形態１における第２レイヤ符号化部の主要な構成を示すブロック図 実施の形態１における予測係数符号化部の主要な構成を示すブロック図 実施の形態１においてスペクトルとスペクトル概形との関係を説明する図 実施の形態１に係るスケーラブル復号装置の主要な構成を示すブロック図 実施の形態１における第２レイヤ復号化部の主要な構成を示すブロック図 実施の形態１における予測係数符号化部の応用例を示すブロック図 実施の形態１における予測係数符号化部の応用例を示すブロック図 実施の形態２において正弦波の符号化方式と生成されたスペクトルとの関係を説明する図 実施の形態２において正弦波の符号化方式と生成されたスペクトルとの関係を説明する図 実施の形態２において正弦波の符号化方式と生成されたスペクトルとの関係を説明する図 実施の形態２における第２レイヤ符号化部の主要な構成を示すブロック図 実施の形態２におけるスペクトル平滑部の主要な構成を示すブロック図 実施の形態２に係るスケーラブル復号装置の主要な構成を示すブロック図 実施の形態２においてＭＤＣＴによるスペクトルを平滑化する前後の態様を示す図 実施の形態３における第２レイヤ符号化部の主要な構成を示すブロック図 参考例に係る音声符号化装置における主要な構成要素の構成を示すブロック図 参考例に係る音声復号装置における主要な構成要素の構成を示すブロック図 実施の形態２におけるスケールファクタの量子化性能を計算機シミュレーションにより算出した結果の一例を示す図
本発明は、スケーラブル符号化の第２レイヤ符号化部において、入力信号である原信号のスペクトル形状を所定の周波数帯域毎に大まかに捉えたスペクトル概形と、第１レイヤ復号信号のスペクトル概形と、の間に強い相関があることを利用して、第１レイヤ復号信号のスペクトル概形を用いて原信号のスペクトル概形を予測し、その予測情報を符号化することにより、入力信号の第２レイヤ符号化パラメータを低ビットレート化するものである。
以下、本発明の実施の形態について、図を参照しつつ詳細に説明する。なお、各実施の形態では、以下の前提条件の下で、入力信号がスケーラブル符号化されるものとする。
（１）第１レイヤ（下位レイヤ）と第２レイヤ（上位レイヤ）との２階層。
（２）第２レイヤの符号化では、周波数領域で符号化を行う（変換符号化）。
（３）第２レイヤの符号化における変換方式には、ＭＤＣＴを使用する。
（４）第２レイヤの符号化では、入力信号帯域を複数のサブバンド（周波数帯域）に分割し、各々のサブバンド単位で符号化する。
（５）第２レイヤの符号化では、各サブバンドに含まれるＭＤＣＴ係数は、スペクトル概形を表す情報と、スペクトル概形で表しきれないサブバンド内の細かなＭＤＣＴ係数の形状を表すスペクトル微細情報と、に分離して符号化される。
（６）第２レイヤの符号化では、スペクトル概形を表す情報としてサブバンド毎の平均振幅を用いる。なお、このサブバンド平均振幅のことをスケールファクタと称する。
（７）第２レイヤの符号化では、サブバンド分割は、臨界帯域に対応付けて行われ、Ｂａｒｋスケールで等間隔に分割される。
（実施の形態１）
図１は、本発明の実施の形態１に係るスケーラブル符号化装置１００の主要な構成を示すブロック図である。スケーラブル符号化装置１００は、第１レイヤ符号化部１０１、遅延部１０２、第１レイヤ復号化部１０３、第２レイヤ符号化部１０４及び多重化部１０５を具備する。
第１レイヤ符号化部１０１は、図示しないマイクロフォン等から入力されてくる音声信号の原信号を符号化して第１レイヤ符号化パラメータを生成し、生成した第１レイヤ符号化パラメータを第１レイヤ復号化部１０３及び多重化部１０５にそれぞれ入力する。
遅延部１０２は、第１レイヤ符号化部１０１と第１レイヤ復号化部１０３との間で生じる時間遅れを補正するため、入力された原信号に所定の長さの遅延を与え、遅延させた原信号を第２レイヤ符号化部１０４に入力する。
第１レイヤ復号化部１０３は、第１レイヤ符号化部１０１から入力されてくる第１レイヤ符号化パラメータを復号して第１レイヤ復号信号を生成し、生成した第１レイヤ復号信号を第２レイヤ符号化部１０４に入力する。
第２レイヤ符号化部１０４は、第１レイヤ復号化部１０３から入力されてくる第１レイヤ復号信号と、遅延部１０２から入力されてくる所定時間遅延させた原信号と、に基づいて、第１レイヤ復号信号のスペクトル概形から原信号のスペクトル概形を予測するために必要な予測係数を決定して符号化し、またこれらのスペクトル概形では表せないスペクトル形状を表すために必要なスペクトル微細情報を生成して符号化し、これらの符号化パラメータを多重化部１０５に入力する。なお、第２レイヤ符号化部１０４におけるこれらの符号化パラメータの具体的な生成態様については後述する。
多重化部１０５は、第１レイヤ符号化部１０１から入力されてくる第１レイヤ符号化パラメータと、第２レイヤ符号化部１０４から入力されてくる符号化パラメータと、を多重してビットストリームとしてスケーラブル符号化装置１００の外部に出力する。従って、多重化部１０５は、本発明における出力手段として機能する。
図２は、スケーラブル符号化装置１００における第２レイヤ符号化部１０４の主要な構成を示すブロック図である。第２レイヤ符号化部１０４は、ＭＤＣＴ分析部２０１、２０３、スケールファクタ算出部２０２、２０４、予測係数符号化部２０５、予測係数復号化部２０６及びスペクトル微細情報符号化部２０８を具備する。
ＭＤＣＴ分析部２０１は、第１レイヤ復号化部１０３から入力されてくる第１レイヤ復号信号のＭＤＣＴ係数を算出し、算出した第１レイヤ復号信号のＭＤＣＴ係数をスケールファクタ算出部２０２とスペクトル微細情報符号化部２０８とにそれぞれ入力する。
スケールファクタ算出部２０２は、ＭＤＣＴ分析部２０１から入力されてくる第１レイヤ復号信号のＭＤＣＴ係数に基づいて第１レイヤ復号信号における各サブバンドのスケールファクタを算出する。そして、スケールファクタ算出部２０２は、算出した第１レイヤ復号信号のスケールファクタを予測係数符号化部２０５に入力する。なお、このスケールファクタは、各サブバンドに含まれるＭＤＣＴ係数の平均振幅を表し、復号信号の音質を左右する重要なパラメータである。また、本実施の形態において、スペクトル概形とは、各サブバンドのスケールファクタを周波数方向に連結したときの形状である。
ＭＤＣＴ分析部２０３は、遅延部１０２から入力されてくる原信号のＭＤＣＴ係数を算出し、算出した原信号のＭＤＣＴ係数をスケールファクタ算出部２０４とスペクトル微細情報符号化部２０８とにそれぞれ入力する。
スケールファクタ算出部２０４は、ＭＤＣＴ分析部２０３から入力されてくる原信号のＭＤＣＴ係数に基づいて原信号の各サブバンドのスケールファクタを算出し、算出した原信号のスケールファクタを予測係数符号化部２０５に入力する。
予測係数符号化部２０５は、予測係数の候補が記録された予測係数符号帳を具備し、この予測係数符号帳を探索して、スケールファクタ算出部２０２から入力されてくる第１レイヤ復号信号のスケールファクタに乗じることにより、その乗算結果をスケールファクタ算出部２０４から入力されてくる原信号のスケールファクタに最も近似させる予測係数を決定し、決定した予測係数を符号化して、その符号化パラメータを多重化部１０５と予測係数復号化部２０６とにそれぞれ入力する。なお、予測係数符号化部２０５における予測係数の具体的な決定態様については後述する。
予測係数復号化部２０６は、予測係数符号化部２０５から入力されてくる符号化パラメータを用いて予測係数を復号し、復号した予測係数をスペクトル微細情報符号化部２０８に入力する。
スペクトル微細情報符号化部２０８は、ＭＤＣＴ分析部２０１から入力されてくる第１レイヤ復号信号のＭＤＣＴ係数と、ＭＤＣＴ分析部２０３から入力されてくる原信号のＭＤＣＴ係数と、予測係数復号化部２０６から入力されてくる復号予測係数と、を用いて、サブバンド内の細かなＭＤＣＴ係数の形状を表すスペクトル微細情報を生成して符号化し、その符号化パラメータを多重化部１０５に入力する。なお、ＭＤＣＴ分析部２０１から入力されてくる第１レイヤ復号信号のＭＤＣＴ係数に、予測係数復号化部２０６から入力されてくる復号予測係数を乗じることにより、原信号のスペクトル概形とほぼ同一のスペクトル形状が生成されるため、スペクトル微細情報符号化部２０８は、この生成したスペクトル形状とＭＤＣＴ分析部２０３から入力されてくる原信号のＭＤＣＴ係数とを比較することにより、スペクトル微細情報を生成することができる。
図３は、本実施の形態に係るスケーラブル符号化装置１００における予測係数符号化部２０５の主要な構成を示すブロック図である。予測係数符号化部２０５は、乗算器３０１、加算器３０２、探索部３０３及び予測係数符号帳３０４を具備する。
乗算器３０１は、スケールファクタ算出部２０２から入力されてくる第１レイヤ復号信号のスケールファクタに予測係数符号帳３０４から入力されてくる予測係数を乗じた後に、その乗算結果を加算器３０２に入力する。
加算器３０２は、スケールファクタ算出部２０４から入力されてくる原信号のスケールファクタから、乗算器３０１から入力されてくる予測係数を乗じられた第１レイヤ復号信号のスケールファクタを減じることにより、誤差信号を生成し、生成した誤差信号を探索部３０３に入力する。
探索部３０３は、予測係数符号帳３０４に対して、その保有する全ての予測係数の候補を順に乗算器３０１に入力するように指示する。そして、探索部３０３は、乗算器３０１から入力されてくる誤差信号を観察して、その誤差が最小となる予測係数を決定し、決定した予測係数を符号化して、その符号化パラメータを多重化部１０５に入力する。
予測係数符号帳３０４は、予測係数の候補を保有しており、探索部３０３からの指示に従って予測係数を順に乗算器３０１に入力する。
ここで、原信号のスケールファクタの推定値即ち第１レイヤ復号信号のスケールファクタに予測係数を乗じた値を「Ｘ’（ｍ）」、第１レイヤ復号信号のスケールファクタを「Ｙ（ｍ）」、予測係数を「α（ｍ）」、サブバンド番号を「ｍ」と表記すると、原信号のスケールファクタの推定値Ｘ’（ｍ）は、次の「式１」で算出される。
Ｘ’（ｍ）＝α（ｍ）×Ｙ（ｍ） ・・・（式１）
そして、式１で算出された原信号のスケールファクタの推定値Ｘ’（ｍ）を用いて、探索部３０３は、次の「式２」で表される誤差Ｅが最小となる予測係数α（ｍ）を決定し、決定した予測係数を符号化して、その符号化パラメータを多重化部１０５に出力する。なお、式２では、原信号のスケールファクタを「Ｘ（ｍ）」と表記する。
Ｅ＝（Ｘ（ｍ）−Ｘ’（ｍ））２ ・・・（式２）
図４に、原信号のスペクトル及び原信号のスケールファクタ（ａ）と、第１レイヤ復号信号のスペクトル及び第１レイヤ復号信号のスケールファクタ（ｂ）と、の関係の一例を示す。図４から明らかなように、原信号のスペクトルと第１レイヤ復号信号のスペクトルとは微細な部分で相違するものの、これらをスケールファクタで比較すると、ほぼ同様の形状を持つことから、これらのスケールファクタ同士では相関が強いと言える。つまり、スケールファクタに代表されるスペクトル概形情報に着目して予測を行えば、スペクトル微細情報に着目して予測を行うよりも、符号化効率の改善効果が高い。よって、第１レイヤ復号信号のスケールファクタと予測係数とを用いれば、原信号のスケールファクタを高精度で生成できることが判る。なお、図４に記載の原信号のスペクトルと第１レイヤ復号信号のスペクトルとは、ＭＤＣＴ係数のスペクトル振幅を算出してプロットしたものである。
図５は、本実施の形態に係るスケーラブル復号装置５００の主要な構成を示すブロック図である。スケーラブル復号装置５００は、分離部５０１、第１レイヤ復号化部５０２及び第２レイヤ復号化部５０３を具備する。
分離部５０１は、スケーラブル符号化装置１００から送信されてくるビットストリームを分離して、第１レイヤ符号化パラメータを第１レイヤ復号化部５０２に入力し、一方で予測係数の符号化パラメータとスペクトル微細情報の符号化パラメータとを第２レイヤ復号化部５０３に入力する。
第１レイヤ復号化部５０２は、分離部５０１から入力されてくる第１レイヤ符号化パラメータから第１レイヤ復号信号を生成し、この第１レイヤ復号信号を第２レイヤ復号化部５０３に入力する。また、この第１レイヤ復号信号は、直接スケーラブル復号装置５００の外部にも出力される。これにより、第１レイヤ復号化部５０２で生成される第１レイヤ復号信号を出力する必要が生じた場合には、この出力を利用することができる。
第２レイヤ復号化部５０３は、分離部５０１から入力されてくる符号化パラメータと第１レイヤ復号化部５０２から入力されてくる第１レイヤ復号信号とに対して、後述する復号化処理を施し、第２レイヤ復号信号を生成して出力する。なお、第１レイヤ復号信号によって再生音声の最低限の品質が担保され、第２レイヤ復号信号によって再生音声の品質を高めることができる。また、第２レイヤ復号信号が用いられるか否かは、アプリケーションの設定等に依存する。
図６は、本実施の形態に係るスケーラブル復号装置５００における第２レイヤ復号化部５０３の主要な構成を示すブロック図である。第２レイヤ復号化部５０３は、予測係数復号化部６０１、ＭＤＣＴ分析部６０２、スペクトル微細情報復号化部６０５、復号スペクトル生成部６０６及び時間領域変換部６０７を具備する。
予測係数復号化部６０１は、分離部５０１から入力されてくる符号化パラメータを予測係数に復号し、復号した予測係数を復号スペクトル生成部６０６に入力する。
ＭＤＣＴ分析部６０２は、第１レイヤ復号化部５０２から入力されてくる時間領域信号である第１レイヤ復号信号に対して変形離散コサイン変換（ＭＤＣＴ）による周波数変換を施してＭＤＣＴ係数を算出し、算出した第１レイヤ復号信号のＭＤＣＴ係数を復号スペクトル生成部６０６に入力する。
スペクトル微細情報復号化部６０５は、分離部５０１から入力されてくる符号化パラメータを復号してスペクトル微細情報を生成し、生成したスペクトル微細情報を復号スペクトル生成部６０６に入力する。
復号スペクトル生成部６０６は、予測係数復号化部６０１から入力されてくる復号した予測係数と、スペクトル微細情報復号化部６０５から入力されてくるスペクトル微細情報と、ＭＤＣＴ分析部６０２から入力されてくる第１レイヤ復号信号のＭＤＣＴ係数と、から原信号の復号スペクトルを生成し、生成した原信号の復号スペクトルを時間領域変換部６０７に入力する。例えば、復号スペクトル生成部６０６は、原信号の復号スペクトルＵ（ｋ）を次の「式３」を用いて算出する。
Figure 2006041055
ここで、式３において、「Ｃ（ｋ）」はスペクトル微細情報、「α’（ｍ）」は第ｍサブバンドの復号した予測係数、「Ｂ（ｋ）」は第１レイヤ復号信号のＭＤＣＴ係数を表し、「ｋ」は第ｍサブバンドに含まれる周波数を表す。
時間領域変換部６０７は、復号スペクトル生成部６０６から入力されてくる復号スペクトルを時間領域の信号に変換した後、変換後の信号に対して必要に応じて適切な窓掛けや重ね合わせ加算等の処理を施してフレーム間に生じる不連続を解消することにより、最終的に第２レイヤ復号信号を生成して出力する。
このように、原信号のスケールファクタと第１レイヤ復号信号のスケールファクタとの間には強い相関があり、また第１レイヤ復号信号のスケールファクタに予測係数を乗じれば、原信号のスケールファクタを高い精度で生成することができる。さらに、この予測係数の符号化パラメータのデータ量は、従来技術における原信号から第１レイヤ復号信号を減じることによって生成した誤差信号の符号化パラメータのデータ量に比べて著しく少ない。
そこで、本実施の形態では、スケーラブル符号化装置１００が、第１レイヤ符号化パラメータと共に、この第１レイヤ符号化パラメータに由来する予測係数の符号化パラメータをスケーラブル復号装置５００に送信するようにした。
従って、本実施の形態によれば、スケーラブル符号化装置１００が音声信号をスケーラブル符号化してスケーラブル復号装置５００に送信する場合に、この音声信号の送信に要求なビットレートを削減することができる。換言すれば、本実施の形態によれば、音声信号のスケーラブル符号化において、第２レイヤの符号化効率を高めることができる。さらに、本実施の形態によれば、スケーラブル復号装置５００によって再生される音声の品質を高めることができる。
なお、本実施の形態に係るスケーラブル符号化装置１００又はスケーラブル復号装置５００について、以下のように変形したり応用したりしてもよい。
本実施の形態では、予測係数符号化部２０５が、式２で表される誤差Ｅが最小となる予測係数α（ｍ）の符号化パラメータを多重化部１０５に出力する場合について説明したが、本発明はこの場合に限定されるものではなく、例えば予測係数符号化部２０５が、原信号のスケールファクタＸ（ｍ）と第１レイヤ復号信号のスケールファクタＹ（ｍ）を用いて理想係数αｏｐｔ（ｍ）を算出し、この理想係数αｏｐｔ（ｍ）を量子化するようにしてもよい。ここで、理想係数αｏｐｔ（ｍ）は、次の「式４」で表される。
αｏｐｔ（ｍ）＝Ｘ（ｍ）／Ｙ（ｍ） ・・・（式４）
図７は、この応用例において、予測係数符号化部２０５の代わりに用いられる予測係数符号化部７０５の主要な構成を示すブロック図である。予測係数符号化部７０５は、探索部３０３、予測係数符号帳３０４、理想係数算出部７１１及び加算器７１２を具備する。理想係数算出部７１１は、スケールファクタ算出部２０２から入力されてくる第１レイヤ復号信号のスケールファクタＹ（ｍ）と、ＭＤＣＴ分析部２０３から入力されてくる原信号のスケールファクタＸ（ｍ）と、から式４により理想係数αｏｐｔ（ｍ）を算出し、算出した理想係数αｏｐｔ（ｍ）を加算器７１２に入力する。加算器７１２は、理想係数算出部７１１から入力されてくる理想係数αｏｐｔ（ｍ）と、予測係数符号帳３０４から入力されてくる予測係数と、の差分を示す誤差信号を生成し、この誤差信号を探索部３０３に入力する。そして、予測係数符号化部７０５は、加算器７１２によって生成される誤差信号の示す差分が最小となる予測係数の符号化パラメータを多重化部１０５に入力する。なお、探索部３０３及び予測係数符号帳３０４は、予測係数符号化部２０５における対応構成要素と同一の動作を行う構成要素であるため、その説明を省略する。
また、図８に、本実施の形態における図７に示す応用例とは異なる応用例を示す。図８は、予測係数符号化部２０５の代わりに用いられる予測係数符号化部８０５の主要な構成を示すブロック図である。予測係数符号化部８０５は、乗算器３０１、加算器３０２、８１５、探索部３０３、予測係数符号帳３０４及び残差成分符号帳８１４を具備する。残差成分符号帳８１４は、残差成分を示す符号帳を保有しており、探索部３０３からの指示に従い、保有する残差成分を順に加算器８１５に入力する。加算器８１５は、乗算器３０１から入力されてくる予測係数を乗じられた第１レイヤ復号信号のスケールファクタに、残差成分符号帳８１４から入力されてくる残差成分を加算して、その加算結果を加算器３０２に入力する。そして、予測係数符号化部８０５は、加算器３０２において生成される誤差信号の示す差分が最小となる予測係数と残差成分との組み合わせを決定し、それらの符号化パラメータを多重化部１０５に入力する。なお、この応用例について、原信号のスケールファクタの推定値Ｘ’（ｍ）は、第１レイヤ復号信号のスケールファクタＹ（ｍ）、予測係数α（ｍ）及び残差成分ｅ（ｍ）を用いて、次の「式５」で算出される。
Ｘ’（ｍ）＝α（ｍ）×Ｙ（ｍ）＋ｅ（ｍ） ・・・（式５）
このように、図８に示す応用例であれば、誤差信号用の符号が別途必要になりビットレートが増加するものの、その一方で原信号のスケールファクタの推定精度が改善される。
また、さらに別の応用例として、複数のサブバンドの予測係数α（ｍ）を一つのベクトルとみなし、このベクトルに対して、予測係数ベクトル符号帳に含まれる候補の中で最も適当な候補を探索により決定するようにしてもよい。このようにすれば、複数のサブバンドの予測係数α（ｍ）が一つの符号化パラメータで表されるようになり、予測係数α（ｍ）の符号化パラメータのデータ量が削減され、ビットレートを低下させることができる。
また、本実施の形態では、スケーラブル符号化装置１００が、音声信号の第１レイヤ符号化パラメータと第２レイヤ符号化パラメータとをビットストリームとして出力する場合について説明したが、本発明はこの場合に限定されるものではなく、例えばスケーラブル符号化装置１００が、音声信号の第１レイヤ符号化パラメータと第２レイヤ符号化パラメータとを図示しないデータ保存部等に蓄積し保存するようにしてもよい。
また、本実施の形態では、探索部３０３が、式２に表される誤差Ｅが最小となる予測係数α（ｍ）を決定する場合について説明したが、本発明はこの場合に限定されるものではなく、例えば探索部３０３が次の「式６」に表されるように対数領域で予測係数α（ｍ）を探索するようにしてもよい。
Figure 2006041055
また、本実施の形態では、探索部３０３が、予測係数符号帳３０４の保有する予測係数α（ｍ）の全候補を探索する場合について説明したが、本発明はこの場合に限定されるものではなく、例えば探索部３０３が予測係数符号帳３０４の保有する一部の候補に限定して探索するようにしてもよい。
（実施の形態２）
図９Ａ〜Ｃに、正弦波信号を高速フーリエ変換（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：ＦＦＴ）処理又はＭＤＣＴ処理を用いてスペクトル分析を行う際に、その分析位置を変えたとき各処理によって得られるスペクトル振幅の差異を示す。
ここで、音声信号は、図９Ａに示すように正弦波であるので、そのスペクトルは１本の線スペクトルとして表されるはずである。実際に、音声信号をＦＦＴ変換してスペクトル分析した場合には、図９Ｂに示すように、その分析位置に関わらず、１本の線スペクトルとして表されることになる。ところが、ＭＤＣＴを用いたスペクトル分析では、図９Ｃに示すように、算出されるスペクトルが分析位置に依存して変化する。つまり、ＭＤＣＴを用いたスペクトル分析で算出されるスペクトルは、その波形の位相に影響されることになる。そのため、実施の形態１で示したように、スケールファクタ算出部２０２、２０４がＭＤＣＴ分析部２０１、２０３から入力されてくる第１レイヤ復号信号のＭＤＣＴ係数に基づいてスケールファクタ（スペクトル概形）を生成する場合には、生成されたスケールファクタは、その基となったスペクトルを忠実に反映していないおそれがある。
さらに、実施の形態１に示すスケーラブル符号化では、第１レイヤ符号化パラメータ及び第１レイヤ復号信号の生成において量子化が行われるため、この第１レイヤ符号化パラメータ又は信号には量子化歪が潜在することになる。従って、実施の形態１に示すスケーラブル符号化では、第２レイヤ符号化部１０４に入力される原信号と第１レイヤ復号信号との位相が同期していないおそれがあり、これは換言すれば、原信号のスペクトル概形と第１レイヤ復号信号のスペクトル概形との相関を高める余地が残されている、ということである。特に、第１レイヤにＣＥＬＰ方式のような高能率符号化法が適用された場合には、このような傾向が強くなる。
そこで、本発明に係る実施の形態２では、第１レイヤにＣＥＬＰ方式のような高能率符号化法が適用された場合でも、原信号のスペクトル概形と第１レイヤ復号信号のスペクトル概形との相関をより高めることのできる手段を講ずる。
図１０は、本実施の形態に係るスケーラブル符号化装置における第２レイヤ符号化部１００４の主要な構成を示すブロック図である。第２レイヤ符号化部１００４は、スケーラブル符号化装置１００において、第２レイヤ符号化部１０４の代わりに使用されるものであって、第２レイヤ符号化部１０４におけるＭＤＣＴ分析部２０１とスケールファクタ算出部２０２との間にスペクトル平滑部１０１１をさらに具備するものである。従って、第２レイヤ符号化部１００４は第２レイヤ符号化部１０４の構成要素と同一の機能を有する構成要素を多く具備するため、このような同一の機能を有する構成要素については、重複を避けるため、その説明を省略する。
スペクトル平滑部１０１１は、ＭＤＣＴ分析部２０１から入力されてくる第１レイヤ復号信号のＭＤＣＴ係数即ちスペクトルを、分析位置の近傍のスペクトルを用いて平滑化し、平滑化したスペクトルをスケールファクタ算出部２０２に入力する。なお、本実施の形態では、スケールファクタ算出部２０２からスペクトル微細情報符号化部２０８に平滑化された第１レイヤ復号信号のスケールファクタが入力されるが、この平滑化された第１レイヤ復号信号のスケールファクタは参照用に入力されるものであり、スペクトル微細情報符号化部２０８の機能は、実施の形態１におけるそれとほぼ同様である。
図１１は、スペクトル平滑部１０１１の主要な構成を示すブロック図である。スペクトル平滑部１０１１は、平滑処理部１１２１及びエネルギー調整部１１２２を具備する。なお、スペクトル平滑部１０１１の動作については、後述する。
図１２は、本実施の形態に係るスケーラブル復号装置における第２レイヤ復号化部１２０３の主要な構成を示すブロック図である。第２レイヤ復号化部１２０３は、スケーラブル復号装置５００において、第２レイヤ復号化部５０３の代わりに使用されるものであって、さらに第２レイヤ復号化部５０３において、復号スペクトル生成部６０６の代わりに復号スペクトル生成部１２１６を具備し、またＭＤＣＴ分析部６０２と復号スペクトル生成部６０６との間にスペクトル平滑部１２１２及びスケールファクタ算出部１２１３を新たに具備するものである。また、スペクトル平滑部１２１２は、スペクトル平滑部１０１１と同様に、図１１に示す平滑処理部１１２１とエネルギー調整部１１２２とを具備する。従って、第２レイヤ復号化部１２０３は第２レイヤ復号化部５０３やスペクトル平滑部１０１１の構成要素と同一の機能を有する構成要素を多く具備するため、このような同一の機能を有する構成要素については、重複を避けるため、その説明を省略する。
スペクトル平滑部１０１１、１２１２は、ＭＤＣＴ分析部２０１又はＭＤＣＴ分析部６０２から入力されてくる第１レイヤ復号信号のスペクトルを平滑化する際に、着目のスペクトルとその近傍のスペクトルの重み付き平均値を算出する。例えば、スペクトル平滑部１０１１、１２１２における平滑処理部１１２１は、次の「式７」に従ってスペクトルの平滑化を行う。
Figure 2006041055
ここで、Ｓ（ｋ）は平滑化前のＭＤＣＴスペクトル、Ｓ’（ｋ）は平滑化後のＭＤＣＴスペクトル、β（ｉ）は重み係数、Ｌは平均を求める範囲を表す。
或いは、スペクトル平滑部１０１１、１２１２は、ＭＤＣＴ分析部２０１又はＭＤＣＴ分析部６０２から入力されてくる第１レイヤ復号信号のスペクトルを平滑化する際に、着目のスペクトルと、その近傍のスペクトルとの差の平均を算出する。例えば、スペクトル平滑部１０１１、１２１２における平滑処理部１１２１は、次の「式８」に従ってスペクトルの平滑化を行う。
Figure 2006041055
ここで、γ１、γ２は、重み係数を表す。
そして、スペクトル平滑部１０１１、１２１２におけるエネルギー調整部１１２２は、平滑処理部１１２１によって平滑化された第１レイヤ復号信号のスペクトルを、その平滑化の前後でスペクトルエネルギーが一致するように、調整する。
スケールファクタ算出部１２１３は、スケールファクタ算出部２０２と同様に機能して、スペクトル平滑部１２１２から入力されてくる平滑化された第１レイヤ復号信号のＭＤＣＴ係数に基づいて第１レイヤ復号信号における各サブバンドのスケールファクタを算出する。そして、スケールファクタ算出部１２１３は、算出した第１レイヤ復号信号のスケールファクタを復号スペクトル生成部１２１６に入力する。
復号スペクトル生成部１２１６は、予測係数復号化部６０１から入力されてくる復号された予測係数と、ＭＤＣＴ分析部６０２から入力されてくる第１レイヤ復号信号のＭＤＣＴ係数と、スケールファクタ算出部１２１３から入力されてくる第１レイヤ復号信号のスケールファクタと、スペクトル微細情報復号化部６０５から入力されてくるスペクトル微細情報と、から原信号の復号スペクトルを生成し、生成した原信号の復号スペクトルを時間領域変換部６０７に入力する。例えば、復号スペクトル生成部１２１６は、原信号の復号スペクトルＵ（ｋ）を次の「式９」を用いて算出する。
Figure 2006041055
ここで、式９において、「Ｃ（ｋ）」はスペクトル微細情報、「α’（ｍ）」は第ｍサブバンドの復号した予測係数、「Ｂ（ｋ）」は第１レイヤ復号信号のＭＤＣＴ係数を表し、「ｋ」は第ｍサブバンドに含まれる周波数を表す。また、「Ｙ（ｍ）」は第ｍサブバンドにおける第１レイヤ復号信号のスケールファクタ、「Ｚ（ｍ）」は第ｍサブバンドにおける平滑化後の第１レイヤ復号信号のスケールファクタを表す。
図１３の左枠（Ａ）に、図９に示す正弦波を４つの分析位置ｐｈ０、ｐｈ１、ｐｈ２、ｐｈ３でＭＤＣＴを用いたスペクトル分析を行ったときのスペクトルを概念的に示す。図１３の左枠（Ａ）に示すスペクトルに対して、スペクトル平滑部１０１１又はスペクトル平滑部１２１２が式７又は式８に従う平滑化処理を行うことにより、図１３の右枠（Ｂ）に示すスペクトルが算出される。元々、ＭＤＣＴを用いるスペクトル分析によって算出されるスペクトルには、図１３の左枠（Ａ）に示すようにばらつきが生じている。これに対し、スペクトル平滑部１０１１又はスペクトル平滑部１２１２によって平滑化された後のスペクトルでは、図１３の右枠（Ｂ）に示すように、このばらつきが少なくなる。ＭＤＣＴを用いるスペクトル分析によって算出されるスペクトルのばらつきが少なくなれば、その平滑化されたスペクトルについては、原信号のスペクトルから大きく乖離してしまう場合が減り、大局的に見れば原信号のスペクトルがより正確に反映されることになる。
このように、本実施の形態によれば、スペクトル平滑部１０１１又はスペクトル平滑部１２１２が、第１レイヤ復号信号のスペクトルに対してスペクトル平滑化処理を施すため、平滑化後のスペクトルから算出されるスペクトル概形と、スケールファクタ算出部２０４によって算出される原信号のスペクトル概形と、の相関が一層強くなる。その結果、本実施の形態によれば、予測係数符号化部２０５での符号化効率が一層向上する。
参考として、図１７に、スケールファクタの量子化性能を計算機シミュレーションにより算出した結果の一例を示す。図１７に示す例では、各サブバンドのスケールファクタの予測係数α（ｍ）は、４ｂｉｔのスカラー量子化器を用いて量子化される。また、図１７に示す例では、量子化前の原信号のスケールファクタＸ（ｍ）に対する量子化後のスケールファクタＸｑ（ｍ）を用いて次の「式１０」に従いＳＮＲ（Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）を算出する。
Figure 2006041055
図１７に示すように、平滑化処理のある場合と無い場合とを比較すると、平滑化処理のある場合ではクリーン音声で僅かにＳＮＲが低下しているものの、オーディオや車内雑音音声ではＳＮＲが大きく改善している。従って全体的にみると、スペクトル平滑化による効果は大きいと言える。
（実施の形態３）
人間の聴覚特性には、ある信号が聞こえているときに、その信号と周波数の近い音が耳に入ってきても聞こえ難い、という聴覚マスキング特性がある。そこで、本実施の形態では、この聴覚マスキング特性を利用して、第２レイヤ符号化パラメータの構成要素である予測係数とスペクトル微細情報との符号化効率の向上を図る。
図１４は、本発明の実施の形態３に係るスケーラブル符号化装置における第２レイヤ符号化部１４０４の主要な構成を示すブロック図である。第２レイヤ符号化部１４０４は、実施の形態２における第２レイヤ符号化部１００４において、予測係数符号化部２０５の代わりに予測係数符号化部１４０５を、またスペクトル微細情報符号化部２０８の代わりにスペクトル微細情報符号化部１４０８を、そして新たに聴覚マスキング算出部１４１１を具備するものである。従って、第２レイヤ符号化部１４０４は第２レイヤ符号化部１０４、１００４の構成要素と同一の機能を有する構成要素を多く具備するため、このような同一の機能を有する構成要素については、重複を避けるため、その説明を省略する。
聴覚マスキング算出部１４１１は、遅延部１０２から入力されてくる原信号について、そのサブバンド毎に予め規定されている聴覚マスキングＴ（ｍ）を、予測係数符号化部１４０５とスペクトル微細情報符号化部１４０８とにそれぞれ通知する。
予測係数符号化部１４０５は、聴覚マスキング算出部１４１１から通知される聴覚マスキングＴ（ｍ）と誤差スケールファクタＥ（ｍ）との大きさをサブバンド毎に比較し、誤差スケールファクタＥ（ｍ）が聴覚マスキングＴ（ｍ）を超える場合には、そのサブバンドで生じている量子化歪が人間の聴覚で知覚されうると判定して、そのサブバンドについて予測係数を決定して符号化し、その符号化パラメータを多重化部１０５に入力する。なお、誤差スケールファクタＥ（ｍ）は、原信号のスケールファクタと第１レイヤ復号信号のスケールファクタとの差として算出される。また、予測係数符号化部１４０５は、サブバンド毎に予測係数を符号化したか否かを示す情報を符号化し、その符号化した情報を多重化部１０５に入力して、スケーラブル復号装置５００に送信することが好ましい。
スペクトル微細情報符号化部１４０８も、予測係数符号化部１４０５と同様にして、誤差スケールファクタＥ（ｍ）が聴覚マスキングＴ（ｍ）を超える場合に限り、そのサブバンドで生じている量子化歪が人間の聴覚で知覚されうると判定して、そのサブバンドについてスペクトル微細情報を符号化して多重化部１０５に入力する。また、スペクトル微細情報符号化部１４０８は、サブバンド毎にスペクトル微細情報を符号化したか否かを示す情報を符号化し、その符号化した情報を多重化部１０５に入力して、スケーラブル復号装置５００に送信することが好ましい。
このように、本実施の形態によれば、第２レイヤ符号化部１４０４が、原信号のサブバンド毎に聴覚マスキング効果が有効に奏される状態か判定し、聴覚マスキング効果が有効に奏される状態のサブバンドについては、予測係数とスペクトル微細情報との符号化を行なわないため、音声信号の第２レイヤ符号化パラメータの符号化効率を改善することができる。その結果、本実施の形態によれば、音声信号のより一層の低ビットレート化と高音質化とを両立できる。
なお、本実施の形態において、予測係数符号化部１４０５又はスペクトル微細情報符号化部１４０８が、聴覚マスキングＴ（ｍ）と誤差スケールファクタＥ（ｍ）をサブバンド毎に比較して、誤差スケールファクタＥ（ｍ）が聴覚マスキングＴ（ｍ）を超える程度に応じて、予測係数又はスペクトル微細情報を符号化する際のビット数を増やして、そのサブバンドの誤差スケールファクタＥ（ｍ）を小さくするようにしてもよい。また、このようにする場合も、予測係数符号化部１４０５又はスペクトル微細情報符号化部１４０８は、サブバンド毎に予測係数又はスペクトル微細情報に配分したビット数を示す情報を、スケーラブル復号装置５００に送信することが好ましい。
なお、本発明に係るスケーラブル符号化装置について、以下のように変形したり応用したりしてもよい。
本発明に係る各実施の形態では、音声信号を第１レイヤ（下位レイヤ）と第２レイヤ（上位レイヤ）との２階層でスケーラブル符号化を行う場合について説明したが、本発明はこの場合に限定されるものではなく、例えば３階層以上でスケーラブル符号化を行うようにしてもよい。
また、本発明において、第ｎレイヤにおける信号のサンプリングレートをＦｓ（ｎ）と表して、Ｆｓ（ｎ）≦Ｆｓ（ｎ＋１）の関係が成り立つように、各レイヤのサンプリングレートを調節してもよい。つまり、第１レイヤ符号化部１０１又は第１レイヤ復号化部５０２におけるサンプリングレートを、第２レイヤ符号化部１０４又は第２レイヤ復号化部５０３におけるサンプリングレートよりも低く設定してもよい。このようにすれば、帯域スケーラブルを実現できることから、ネットワークの状況が良いときやユーザの使用している機器の能力が高いときには、復号信号によって形成される臨場感を一層高めることができる。
また、本発明の各実施の形態では、ＭＤＣＴを用いてスペクトル分析を行う場合について説明したが、本発明はこの場合に限定されるものではなく、他の方式、例えばＤＦＴ、コサイン変換又はＷａｖｅｌｅｔ変換等を用いてスペクトル分析を行うようにしてもよい。
（参考例）
この参考例では、音声信号のスケーラブル符号化は行わないものの、過去のフレームのスケールファクタを使って現フレームのスケールファクタを予測する際に、本発明の実施の形態２で用いたように、スペクトル平滑化処理を用いてスケールファクタの予測を行う。
図１５は、この参考例に係る音声符号化装置１５０４の主要な構成を示すブロック図である。音声符号化装置１５０４は、第２レイヤ符号化部１００４におけるＭＤＣＴ分析部２０３、スケールファクタ算出部２０４、予測係数符号化部２０５、予測係数復号化部２０６及びスペクトル微細情報符号化部２０８と同一の機能を有する構成要素を具備し、さらにスペクトル微細情報復号化部１５１１、復号スペクトル生成部１５１２、バッファ１５１３、スペクトル平滑部１５１４及びスケールファクタ算出部１５１５を新たに具備する。また、スペクトル微細情報復号化部１５１１は、第２レイヤ復号化部１２０３におけるスペクトル微細情報復号化部６０５と同様に機能し、復号スペクトル生成部１５１２は復号スペクトル生成部１２１６と、スペクトル平滑部１５１４は第２レイヤ符号化部１００４におけるスペクトル平滑部１０１１と、スケールファクタ算出部１５１５はスケールファクタ算出部２０２と、同様に機能する。以下、音声符号化装置１５０４について説明するが、第２レイヤ符号化部１００４及び第２レイヤ復号化部１２０３の構成要素と同様の機能を有する構成要素については、重複を避けるため、その説明を省略する。
バッファ１５１３は、復号スペクトル生成部１５１２から入力されてくる復号スペクトルを１フレーム分格納して、新たな復号スペクトルが入力されてくると、格納している前フレームの復号スペクトルをスペクトル平滑部１５１４、スペクトル微細情報符号化部２０８及び復号スペクトル生成部１５１２に入力する。
従って、音声符号化装置１５０４では、バッファ１５１３に格納されている前フレームの復号スペクトルに対してスペクトル平滑化が施されてスケールファクタが算出されることになり、その結果、予測係数符号化部２０５では、この前フレームに係るスケールファクタに基づいて現フレームの予測係数が算出されることになる。また、スペクトル微細情報符号化部２０８と復号スペクトル生成部１５１２とでは、前フレームの復号スペクトルを用いて、スペクトル微細情報の符号化と復号スペクトルの生成とがそれぞれ行われる。
図１６は、この参考例に係る音声復号装置１６０３の主要な構成を示すブロック図である。音声復号装置１６０３は、第２レイヤ復号化部１２０３における予測係数復号化部６０１、スペクトル微細情報復号化部６０５、復号スペクトル生成部１２１６及び時間領域変換部６０７と同一の機能を有する構成要素を具備し、さらにバッファ１６１１、スペクトル平滑部１６１２及びスケールファクタ算出部１６１３を新たに具備する。また、スペクトル平滑部１６１２は第２レイヤ復号化部１２０３におけるスペクトル平滑部１２１２と、スケールファクタ算出部１６１３はスケールファクタ算出部１２１３と、同様に機能する。以下、音声復号装置１６０３について説明するが、第２レイヤ復号化部１２０３の構成要素と同様の機能を有する構成要素については、重複を避けるため、その説明を省略する。
バッファ１６１１は、復号スペクトル生成部１２１６から入力されてくる復号スペクトルを１フレーム分格納して、新たな復号スペクトルが入力されてくると、格納している前フレームの復号スペクトルをスペクトル平滑部１６１２及び復号スペクトル生成部１２１６に入力する。
従って、音声復号装置１６０３では、バッファ１６１１に格納されている前フレームの復号スペクトルに対してスペクトル平滑化が施されてスケールファクタが算出されることになり、その結果、復号スペクトル生成部１２１６では、この前フレームに係るスケールファクタに基づいて現フレームのスケールファクタが予測され、このスケールファクタを使用して復号することになる。
ちなみに、復号スペクトル生成部１２１６は、原信号の復号スペクトルＵ（ｋ）を次の「式１１」を用いて算出する。
Figure 2006041055
ここで、式１１において、「Ｃ（ｋ）」はスペクトル微細情報、「α’（ｍ）」は第ｍサブバンドの復号した予測係数、「Ｂｐｒｖ（ｋ）」は前フレームのＭＤＣＴ係数を表し、「ｋ」は第ｍサブバンドに含まれる周波数を表す。また、「Ｙｐｒｖ（ｍ）」は第ｍサブバンドにおける前フレームのスケールファクタ、「Ｚｐｒｖ（ｍ）」は第ｍサブバンドにおける平滑化後の前フレームのスケールファクタを表す。
このように、この参考例の構成によれば、スペクトル概形の時間的な相関を利用して、スペクトル概形の予測を行うため、スケールファクタの符号化を効率的に行えると共に、その低ビットレート化を図ることができる。
以上、本発明の各実施の形態について説明した。
本発明に係るスケーラブル符号化装置等は、上記各実施の形態に限定されず、種々変更して実施することが可能である。例えば、各実施の形態は、適宜組み合わせて実施することが可能である。
本発明に係るスケーラブル符号化装置およびスケーラブル復号装置は、移動体通信システムにおける通信端末装置および基地局装置に搭載することが可能であり、これにより上記と同様の作用効果を有する通信端末装置、基地局装置、および移動体通信システムを提供することができる。
なお、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明をソフトウェアで実現することも可能である。例えば、本発明に係るスケーラブル符号化方法のアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明に係るスケーラブル符号化装置と同様の機能を実現することができる。
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてありえる。
本明細書は、２００４年１０月１３日出願の特願２００４−２９８９４２に基づく。この内容はすべてここに含めておく。
本発明に係るスケーラブル符号化装置は、第２レイヤでの符号化効率を改善すると共に、第２レイヤでの符号化パラメータを用いて復号した原信号の品質を向上させるという効果を有し、低ビットレートで、かつ、高い再生音質が要求される移動体通信システム等に有用である。
本発明は、音声信号等を階層化して符号化するスケーラブル符号化装置等に関する。
従来、移動体通信システムでは、電波資源等の有効利用のために、音声信号を低ビットレートで圧縮することが要求されている。その一方で、通話音声の品質向上や臨場感の高い通話サービスの実現も望まれており、その実現には、音声信号の高品質化のみならず、より帯域の広いオーディオ信号等の音声成分以外の信号成分も高品質に符号化する必要がある。
このような相反する要求を共に満たす手段として、複数の符号化技術を階層的に統合するアプローチが有望視されている。具体的には、音声信号に特化したモデルで音声成分を低ビットレートで符号化する第１レイヤ符号化部と、音声成分以外の信号成分をより汎用的なモデルで符号化する第２レイヤ符号化部と、を組み合わせるアプローチが検討されている。このような階層的符号化方式は、符号化されたビットストリームがスケーラビリティ性（ビットストリームの一部の情報からでも復号信号が得られる特性）を有するため、スケーラブル符号化方式と呼ばれる。
スケーラブル符号化方式は、その性質から、ビットレートの異なるネットワーク間の通信に柔軟に対応できる。この特徴は、ＩＰプロトコルで多様なネットワークが統合されていく今後のネットワーク環境に適したものであると言える。
スケーラブル符号化の実現手段として、ＭＰＥＧ−４（Moving Picture Experts Group phase-4）で規格化された技術を用いる手段が知られている（例えば非特許文献１参照）。非特許文献１に記載の技術では、音声信号に特化した代表的な符号化方式であるＣＥＬＰ（Code Excited Linear Prediction：符号励信線形予測）方式を第１レイヤに適用し、原信号から第１レイヤ復号信号を減じた残差信号に対してより汎用的な符号化モデルであるＡＡＣ（Advanced Audio Coder）方式又はＴｗｉｎＶＱ（Transform Domain Weighted Interleave Vector Quantization：周波数領域重み付きインターリーブベクトル量子化）方式を第２レイヤに適用する。この第２レイヤに適用される２つの方式は、異なる方式であるものの、基本的にはＭＤＣＴ（Modified Discrete Cosine Transform；変形離散コサイン変換）係数の量子化を行う際にスペクトルの大まかな形状を表すスペクトル概形情報と、残りの細かなスペクトル形状を表すスペクトル微細情報と、に分離し、それぞれ符号化する点で共通する。
三木弼一編著、「ＭＰＥＧ−４のすべて」、初版、（株）工業調査会、１９９８年９月３０日、ｐ．１２６−１２７
しかしながら、非特許文献１に記載の技術では、第２レイヤにおいて、入力信号である原信号からその第１レイヤ復号信号を減じて得られる残差信号に対して符号化が行われることになる。このような残差信号の特性は、第１レイヤ部を介することにより原信号に含まれる主要な情報が取り除かれるため、雑音系列に近い特性となる。このため、非特許文献１に記載の技術では、第２レイヤでの符号化効率が低下すると共に、第２レイヤでの符号化信号を用いて原信号を復号しても、その原信号の品質が向上し難いという問題がある。
よって、本発明の目的は、第２レイヤでの符号化効率を改善すると共に、第２レイヤでの符号化信号を用いて復号した原信号の品質を向上させるスケーラブル符号化装置等を提供することである。
本発明に係るスケーラブル符号化装置は、入力信号を符号化して下位レイヤ符号化パラメータを生成する下位レイヤ符号化手段と、前記下位レイヤ符号化パラメータを復号して下位レイヤ復号信号を生成する下位レイヤ復号化手段と、前記入力信号に基づいて前記入力信号のスペクトル概形を算出する第１スペクトル概形算出手段と、前記下位レイヤ復号信号に基づいて前記下位レイヤ復号信号のスペクトル概形を算出する第２スペクトル概形算出手段と、前記下位レイヤ復号信号のスペクトル概形から前記入力信号のスペクトル概形を予測することにより予測情報を得、この予測情報を符号化して上位レイヤ符号化パラメータを生成する予測情報符号化手段と、前記下位レイヤ符号化パラメータと前記上位レイヤ符号化パラメータとを出力する出力手段と、を具備する構成を採る。
本発明に係るスケーラブル復号装置は、入力信号をスケーラブル符号化するスケーラブル符号化装置によって生成された符号化パラメータを復号するスケーラブル復号装置であって、前記符号化パラメータを復号して下位レイヤ復号信号を生成する下位レイヤ復号化手段と、前記符号化パラメータを復号することにより、前記入力信号のスペクトル概形を予測させる予測情報を生成する予測情報復号化手段と、前記下位レイヤ復号信号と前記予測情報とに基づいて前記入力信号のスペクトル概形を生成するスペクトル生成手段と、を具備する構成を採る。
本発明によれば、予測情報符号化手段が、下位レイヤ復号信号のスペクトル概形から入力信号のスペクトル概形を予測させる予測情報を生成して符号化し、符号化された予測情報を上位レイヤ符号化パラメータとして出力するため、この上位レイヤ符号化パラメータの符号化効率を改善できると共に、この上位レイヤ符号化パラメータを用いて復号した入力信号の品質を高めることができる。
本発明は、スケーラブル符号化の第２レイヤ符号化部において、入力信号である原信号のスペクトル形状を所定の周波数帯域毎に大まかに捉えたスペクトル概形と、第１レイヤ復号信号のスペクトル概形と、の間に強い相関があることを利用して、第１レイヤ復号信号のスペクトル概形を用いて原信号のスペクトル概形を予測し、その予測情報を符号化することにより、入力信号の第２レイヤ符号化パラメータを低ビットレート化するものである。
以下、本発明の実施の形態について、図を参照しつつ詳細に説明する。なお、各実施の形態では、以下の前提条件の下で、入力信号がスケーラブル符号化されるものとする。
（１）第１レイヤ（下位レイヤ）と第２レイヤ（上位レイヤ）との２階層。
（２）第２レイヤの符号化では、周波数領域で符号化を行う（変換符号化）。
（３）第２レイヤの符号化における変換方式には、ＭＤＣＴを使用する。
（４）第２レイヤの符号化では、入力信号帯域を複数のサブバンド（周波数帯域）に分割し、各々のサブバンド単位で符号化する。
（５）第２レイヤの符号化では、各サブバンドに含まれるＭＤＣＴ係数は、スペクトル概形を表す情報と、スペクトル概形で表しきれないサブバンド内の細かなＭＤＣＴ係数の形状を表すスペクトル微細情報と、に分離して符号化される。
（６）第２レイヤの符号化では、スペクトル概形を表す情報としてサブバンド毎の平均振幅を用いる。なお、このサブバンド平均振幅のことをスケールファクタと称する。
（７）第２レイヤの符号化では、サブバンド分割は、臨界帯域に対応付けて行われ、Ｂａｒｋスケールで等間隔に分割される。
（実施の形態１）
図１は、本発明の実施の形態１に係るスケーラブル符号化装置１００の主要な構成を示すブロック図である。スケーラブル符号化装置１００は、第１レイヤ符号化部１０１、遅延部１０２、第１レイヤ復号化部１０３、第２レイヤ符号化部１０４及び多重化部１０５を具備する。
第１レイヤ符号化部１０１は、図示しないマイクロフォン等から入力されてくる音声信号の原信号を符号化して第１レイヤ符号化パラメータを生成し、生成した第１レイヤ符号化パラメータを第１レイヤ復号化部１０３及び多重化部１０５にそれぞれ入力する。
遅延部１０２は、第１レイヤ符号化部１０１と第１レイヤ復号化部１０３との間で生じる時間遅れを補正するため、入力された原信号に所定の長さの遅延を与え、遅延させた原信号を第２レイヤ符号化部１０４に入力する。
第１レイヤ復号化部１０３は、第１レイヤ符号化部１０１から入力されてくる第１レイヤ符号化パラメータを復号して第１レイヤ復号信号を生成し、生成した第１レイヤ復号信号を第２レイヤ符号化部１０４に入力する。
第２レイヤ符号化部１０４は、第１レイヤ復号化部１０３から入力されてくる第１レイヤ復号信号と、遅延部１０２から入力されてくる所定時間遅延させた原信号と、に基づいて、第１レイヤ復号信号のスペクトル概形から原信号のスペクトル概形を予測するために必要な予測係数を決定して符号化し、またこれらのスペクトル概形では表せないスペクトル形状を表すために必要なスペクトル微細情報を生成して符号化し、これらの符号化パラメータを多重化部１０５に入力する。なお、第２レイヤ符号化部１０４におけるこれらの符号化パラメータの具体的な生成態様については後述する。
多重化部１０５は、第１レイヤ符号化部１０１から入力されてくる第１レイヤ符号化パラメータと、第２レイヤ符号化部１０４から入力されてくる符号化パラメータと、を多重してビットストリームとしてスケーラブル符号化装置１００の外部に出力する。従って、多重化部１０５は、本発明における出力手段として機能する。
図２は、スケーラブル符号化装置１００における第２レイヤ符号化部１０４の主要な構成を示すブロック図である。第２レイヤ符号化部１０４は、ＭＤＣＴ分析部２０１、２０３、スケールファクタ算出部２０２、２０４、予測係数符号化部２０５、予測係数復号化部２０６及びスペクトル微細情報符号化部２０８を具備する。
ＭＤＣＴ分析部２０１は、第１レイヤ復号化部１０３から入力されてくる第１レイヤ復号信号のＭＤＣＴ係数を算出し、算出した第１レイヤ復号信号のＭＤＣＴ係数をスケールファクタ算出部２０２とスペクトル微細情報符号化部２０８とにそれぞれ入力する。
スケールファクタ算出部２０２は、ＭＤＣＴ分析部２０１から入力されてくる第１レイヤ復号信号のＭＤＣＴ係数に基づいて第１レイヤ復号信号における各サブバンドのスケールファクタを算出する。そして、スケールファクタ算出部２０２は、算出した第１レイヤ復号信号のスケールファクタを予測係数符号化部２０５に入力する。なお、このスケールファクタは、各サブバンドに含まれるＭＤＣＴ係数の平均振幅を表し、復号信号の音質を左右する重要なパラメータである。また、本実施の形態において、スペクトル概形とは、各サブバンドのスケールファクタを周波数方向に連結したときの形状である。
ＭＤＣＴ分析部２０３は、遅延部１０２から入力されてくる原信号のＭＤＣＴ係数を算出し、算出した原信号のＭＤＣＴ係数をスケールファクタ算出部２０４とスペクトル微細情報符号化部２０８とにそれぞれ入力する。
スケールファクタ算出部２０４は、ＭＤＣＴ分析部２０３から入力されてくる原信号のＭＤＣＴ係数に基づいて原信号の各サブバンドのスケールファクタを算出し、算出した原信号のスケールファクタを予測係数符号化部２０５に入力する。
予測係数符号化部２０５は、予測係数の候補が記録された予測係数符号帳を具備し、この予測係数符号帳を探索して、スケールファクタ算出部２０２から入力されてくる第１レイヤ復号信号のスケールファクタに乗じることにより、その乗算結果をスケールファクタ算出部２０４から入力されてくる原信号のスケールファクタに最も近似させる予測係数を決定し、決定した予測係数を符号化して、その符号化パラメータを多重化部１０５と予測係数復号化部２０６とにそれぞれ入力する。なお、予測係数符号化部２０５における予測係数の具体的な決定態様については後述する。
予測係数復号化部２０６は、予測係数符号化部２０５から入力されてくる符号化パラメータを用いて予測係数を復号し、復号した予測係数をスペクトル微細情報符号化部２０８に入力する。
スペクトル微細情報符号化部２０８は、ＭＤＣＴ分析部２０１から入力されてくる第１レイヤ復号信号のＭＤＣＴ係数と、ＭＤＣＴ分析部２０３から入力されてくる原信号のＭＤＣＴ係数と、予測係数復号化部２０６から入力されてくる復号予測係数と、を用いて、サブバンド内の細かなＭＤＣＴ係数の形状を表すスペクトル微細情報を生成して符号化し、その符号化パラメータを多重化部１０５に入力する。なお、ＭＤＣＴ分析部２０１から入力されてくる第１レイヤ復号信号のＭＤＣＴ係数に、予測係数復号化部２０６から入力されてくる復号予測係数を乗じることにより、原信号のスペクトル概形とほぼ同一のスペクトル形状が生成されるため、スペクトル微細情報符号化部２０８は、この生成したスペクトル形状とＭＤＣＴ分析部２０３から入力されてくる原信号のＭＤＣＴ係数とを比較することにより、スペクトル微細情報を生成することができる。
図３は、本実施の形態に係るスケーラブル符号化装置１００における予測係数符号化部２０５の主要な構成を示すブロック図である。予測係数符号化部２０５は、乗算器３０１、加算器３０２、探索部３０３及び予測係数符号帳３０４を具備する。
乗算器３０１は、スケールファクタ算出部２０２から入力されてくる第１レイヤ復号信号のスケールファクタに予測係数符号帳３０４から入力されてくる予測係数を乗じた後に、その乗算結果を加算器３０２に入力する。
加算器３０２は、スケールファクタ算出部２０４から入力されてくる原信号のスケールファクタから、乗算器３０１から入力されてくる予測係数を乗じられた第１レイヤ復号信号のスケールファクタを減じることにより、誤差信号を生成し、生成した誤差信号を探索部３０３に入力する。
探索部３０３は、予測係数符号帳３０４に対して、その保有する全ての予測係数の候補を順に乗算器３０１に入力するように指示する。そして、探索部３０３は、乗算器３０１から入力されてくる誤差信号を観察して、その誤差が最小となる予測係数を決定し、決定した予測係数を符号化して、その符号化パラメータを多重化部１０５に入力する。
予測係数符号帳３０４は、予測係数の候補を保有しており、探索部３０３からの指示に従って予測係数を順に乗算器３０１に入力する。
ここで、原信号のスケールファクタの推定値即ち第１レイヤ復号信号のスケールファクタに予測係数を乗じた値を「Ｘ’（ｍ）」、第１レイヤ復号信号のスケールファクタを「Ｙ（ｍ）」、予測係数を「α（ｍ）」、サブバンド番号を「ｍ」と表記すると、原信号のスケールファクタの推定値Ｘ’（ｍ）は、次の「式１」で算出される。
Ｘ’（ｍ）＝α（ｍ）×Ｙ（ｍ） ・・・（式１）
そして、式１で算出された原信号のスケールファクタの推定値Ｘ’（ｍ）を用いて、探索部３０３は、次の「式２」で表される誤差Ｅが最小となる予測係数α（ｍ）を決定し、決定した予測係数を符号化して、その符号化パラメータを多重化部１０５に出力する。なお、式２では、原信号のスケールファクタを「Ｘ（ｍ）」と表記する。
Ｅ＝（Ｘ（ｍ）−Ｘ’（ｍ））２ ・・・（式２）
図４に、原信号のスペクトル及び原信号のスケールファクタ（ａ）と、第１レイヤ復号信号のスペクトル及び第１レイヤ復号信号のスケールファクタ（ｂ）と、の関係の一例を示す。図４から明らかなように、原信号のスペクトルと第１レイヤ復号信号のスペクトルとは微細な部分で相違するものの、これらをスケールファクタで比較すると、ほぼ同様の形状を持つことから、これらのスケールファクタ同士では相関が強いと言える。つまり、スケールファクタに代表されるスペクトル概形情報に着目して予測を行えば、スペクトル微細情報に着目して予測を行うよりも、符号化効率の改善効果が高い。よって、第１レイヤ復号信号のスケールファクタと予測係数とを用いれば、原信号のスケールファクタを高精度で生成できることが判る。なお、図４に記載の原信号のスペクトルと第１レイヤ復号信号のスペクトルとは、ＭＤＣＴ係数のスペクトル振幅を算出してプロットしたものである。
図５は、本実施の形態に係るスケーラブル復号装置５００の主要な構成を示すブロック図である。スケーラブル復号装置５００は、分離部５０１、第１レイヤ復号化部５０２及び第２レイヤ復号化部５０３を具備する。
分離部５０１は、スケーラブル符号化装置１００から送信されてくるビットストリームを分離して、第１レイヤ符号化パラメータを第１レイヤ復号化部５０２に入力し、一方で予測係数の符号化パラメータとスペクトル微細情報の符号化パラメータとを第２レイヤ復号化部５０３に入力する。
第１レイヤ復号化部５０２は、分離部５０１から入力されてくる第１レイヤ符号化パラメータから第１レイヤ復号信号を生成し、この第１レイヤ復号信号を第２レイヤ復号化部５０３に入力する。また、この第１レイヤ復号信号は、直接スケーラブル復号装置５００の外部にも出力される。これにより、第１レイヤ復号化部５０２で生成される第１レイヤ復号信号を出力する必要が生じた場合には、この出力を利用することができる。
第２レイヤ復号化部５０３は、分離部５０１から入力されてくる符号化パラメータと第１レイヤ復号化部５０２から入力されてくる第１レイヤ復号信号とに対して、後述する復号化処理を施し、第２レイヤ復号信号を生成して出力する。なお、第１レイヤ復号信号によって再生音声の最低限の品質が担保され、第２レイヤ復号信号によって再生音声の品質を高めることができる。また、第２レイヤ復号信号が用いられるか否かは、アプリケーションの設定等に依存する。
図６は、本実施の形態に係るスケーラブル復号装置５００における第２レイヤ復号化部５０３の主要な構成を示すブロック図である。第２レイヤ復号化部５０３は、予測係数復号化部６０１、ＭＤＣＴ分析部６０２、スペクトル微細情報復号化部６０５、復号スペクトル生成部６０６及び時間領域変換部６０７を具備する。
予測係数復号化部６０１は、分離部５０１から入力されてくる符号化パラメータを予測係数に復号し、復号した予測係数を復号スペクトル生成部６０６に入力する。
ＭＤＣＴ分析部６０２は、第１レイヤ復号化部５０２から入力されてくる時間領域信号である第１レイヤ復号信号に対して変形離散コサイン変換（ＭＤＣＴ）による周波数変換を施してＭＤＣＴ係数を算出し、算出した第１レイヤ復号信号のＭＤＣＴ係数を復号スペクトル生成部６０６に入力する。
スペクトル微細情報復号化部６０５は、分離部５０１から入力されてくる符号化パラメータを復号してスペクトル微細情報を生成し、生成したスペクトル微細情報を復号スペクトル生成部６０６に入力する。
復号スペクトル生成部６０６は、予測係数復号化部６０１から入力されてくる復号した予測係数と、スペクトル微細情報復号化部６０５から入力されてくるスペクトル微細情報と、ＭＤＣＴ分析部６０２から入力されてくる第１レイヤ復号信号のＭＤＣＴ係数と、から原信号の復号スペクトルを生成し、生成した原信号の復号スペクトルを時間領域変換部６０７に入力する。例えば、復号スペクトル生成部６０６は、原信号の復号スペクトルＵ（ｋ）を次の「式３」を用いて算出する。
Figure 2006041055
ここで、式３において、「Ｃ（ｋ）」はスペクトル微細情報、「α’（ｍ）」は第ｍサブバンドの復号した予測係数、「Ｂ（ｋ）」は第１レイヤ復号信号のＭＤＣＴ係数を表し、「ｋ」は第ｍサブバンドに含まれる周波数を表す。
時間領域変換部６０７は、復号スペクトル生成部６０６から入力されてくる復号スペクトルを時間領域の信号に変換した後、変換後の信号に対して必要に応じて適切な窓掛けや重ね合わせ加算等の処理を施してフレーム間に生じる不連続を解消することにより、最終的に第２レイヤ復号信号を生成して出力する。
このように、原信号のスケールファクタと第１レイヤ復号信号のスケールファクタとの間には強い相関があり、また第１レイヤ復号信号のスケールファクタに予測係数を乗じれば、原信号のスケールファクタを高い精度で生成することができる。さらに、この予測係数の符号化パラメータのデータ量は、従来技術における原信号から第１レイヤ復号信号を減じることによって生成した誤差信号の符号化パラメータのデータ量に比べて著しく少ない。
そこで、本実施の形態では、スケーラブル符号化装置１００が、第１レイヤ符号化パラメータと共に、この第１レイヤ符号化パラメータに由来する予測係数の符号化パラメータをスケーラブル復号装置５００に送信するようにした。
従って、本実施の形態によれば、スケーラブル符号化装置１００が音声信号をスケーラブル符号化してスケーラブル復号装置５００に送信する場合に、この音声信号の送信に要求なビットレートを削減することができる。換言すれば、本実施の形態によれば、音声信号のスケーラブル符号化において、第２レイヤの符号化効率を高めることができる。さらに、本実施の形態によれば、スケーラブル復号装置５００によって再生される音声の品質を高めることができる。
なお、本実施の形態に係るスケーラブル符号化装置１００又はスケーラブル復号装置５００について、以下のように変形したり応用したりしてもよい。
本実施の形態では、予測係数符号化部２０５が、式２で表される誤差Ｅが最小となる予測係数α（ｍ）の符号化パラメータを多重化部１０５に出力する場合について説明したが、本発明はこの場合に限定されるものではなく、例えば予測係数符号化部２０５が、原信号のスケールファクタＸ（ｍ）と第１レイヤ復号信号のスケールファクタＹ（ｍ）を用いて理想係数αｏｐｔ（ｍ）を算出し、この理想係数αｏｐｔ（ｍ）を量子化するようにしてもよい。ここで、理想係数αｏｐｔ（ｍ）は、次の「式４」で表される。
αｏｐｔ（ｍ）＝Ｘ（ｍ）／Ｙ（ｍ） ・・・（式４）
図７は、この応用例において、予測係数符号化部２０５の代わりに用いられる予測係数符号化部７０５の主要な構成を示すブロック図である。予測係数符号化部７０５は、探索部３０３、予測係数符号帳３０４、理想係数算出部７１１及び加算器７１２を具備する。理想係数算出部７１１は、スケールファクタ算出部２０２から入力されてくる第１レイヤ復号信号のスケールファクタＹ（ｍ）と、ＭＤＣＴ分析部２０３から入力されてくる原信号のスケールファクタＸ（ｍ）と、から式４により理想係数αｏｐｔ（ｍ）を算出し、算出した理想係数αｏｐｔ（ｍ）を加算器７１２に入力する。加算器７１２は、理想係数算出部７１１から入力されてくる理想係数αｏｐｔ（ｍ）と、予測係数符号帳３０４から入力されてくる予測係数と、の差分を示す誤差信号を生成し、この誤差信号を探索部３０３に入力する。そして、予測係数符号化部７０５は、加算器７１２によって生成される誤差信号の示す差分が最小となる予測係数の符号化パラメータを多重化部１０５に入力する。なお、探索部３０３及び予測係数符号帳３０４は、予測係数符号化部２０５における対応構成要素と同一の動作を行う構成要素であるため、その説明を省略する。
また、図８に、本実施の形態における図７に示す応用例とは異なる応用例を示す。図８は、予測係数符号化部２０５の代わりに用いられる予測係数符号化部８０５の主要な構成を示すブロック図である。予測係数符号化部８０５は、乗算器３０１、加算器３０２、８１５、探索部３０３、予測係数符号帳３０４及び残差成分符号帳８１４を具備する。残差成分符号帳８１４は、残差成分を示す符号帳を保有しており、探索部３０３からの指示に従い、保有する残差成分を順に加算器８１５に入力する。加算器８１５は、乗算器３０１から入力されてくる予測係数を乗じられた第１レイヤ復号信号のスケールファクタに、残差成分符号帳８１４から入力されてくる残差成分を加算して、その加算結果を加算器３０２に入力する。そして、予測係数符号化部８０５は、加算器３０２において生成される誤差信号の示す差分が最小となる予測係数と残差成分との組み合わせを決定し、それらの符号化パラメータを多重化部１０５に入力する。なお、この応用例について、原信号のスケールファクタの推定値Ｘ’（ｍ）は、第１レイヤ復号信号のスケールファクタＹ（ｍ）、予測係数α（ｍ）及び残差成分ｅ（ｍ）を用いて、次の「式５」で算出される。
Ｘ’（ｍ）＝α（ｍ）×Ｙ（ｍ）＋ｅ（ｍ） ・・・（式５）
このように、図８に示す応用例であれば、誤差信号用の符号が別途必要になりビットレートが増加するものの、その一方で原信号のスケールファクタの推定精度が改善される。
また、さらに別の応用例として、複数のサブバンドの予測係数α（ｍ）を一つのベクトルとみなし、このベクトルに対して、予測係数ベクトル符号帳に含まれる候補の中で最も適当な候補を探索により決定するようにしてもよい。このようにすれば、複数のサブバンドの予測係数α（ｍ）が一つの符号化パラメータで表されるようになり、予測係数α（ｍ）の符号化パラメータのデータ量が削減され、ビットレートを低下させることができる。
また、本実施の形態では、スケーラブル符号化装置１００が、音声信号の第１レイヤ符号化パラメータと第２レイヤ符号化パラメータとをビットストリームとして出力する場合について説明したが、本発明はこの場合に限定されるものではなく、例えばスケーラブル符号化装置１００が、音声信号の第１レイヤ符号化パラメータと第２レイヤ符号化パラメータとを図示しないデータ保存部等に蓄積し保存するようにしてもよい。
また、本実施の形態では、探索部３０３が、式２に表される誤差Ｅが最小となる予測係数α（ｍ）を決定する場合について説明したが、本発明はこの場合に限定されるものではなく、例えば探索部３０３が次の「式６」に表されるように対数領域で予測係数α（ｍ）を探索するようにしてもよい。
Figure 2006041055
また、本実施の形態では、探索部３０３が、予測係数符号帳３０４の保有する予測係数α（ｍ）の全候補を探索する場合について説明したが、本発明はこの場合に限定されるものではなく、例えば探索部３０３が予測係数符号帳３０４の保有する一部の候補に限定して探索するようにしてもよい。
（実施の形態２）
図９Ａ〜Ｃに、正弦波信号を高速フーリエ変換（Fast Fourier Transform：ＦＦＴ）処理又はＭＤＣＴ処理を用いてスペクトル分析を行う際に、その分析位置を変えたとき各処理によって得られるスペクトル振幅の差異を示す。
ここで、音声信号は、図９Ａに示すように正弦波であるので、そのスペクトルは１本の線スペクトルとして表されるはずである。実際に、音声信号をＦＦＴ変換してスペクトル分析した場合には、図９Ｂに示すように、その分析位置に関わらず、１本の線スペクトルとして表されることになる。ところが、ＭＤＣＴを用いたスペクトル分析では、図９Ｃに示すように、算出されるスペクトルが分析位置に依存して変化する。つまり、ＭＤＣＴを用いたスペクトル分析で算出されるスペクトルは、その波形の位相に影響されることになる。そのため、実施の形態１で示したように、スケールファクタ算出部２０２、２０４がＭＤＣＴ分析部２０１、２０３から入力されてくる第１レイヤ復号信号のＭＤＣＴ係数に基づいてスケールファクタ（スペクトル概形）を生成する場合には、生成されたスケールファクタは、その基となったスペクトルを忠実に反映していないおそれがある。
さらに、実施の形態１に示すスケーラブル符号化では、第１レイヤ符号化パラメータ及び第１レイヤ復号信号の生成において量子化が行われるため、この第１レイヤ符号化パラメータ又は信号には量子化歪が潜在することになる。従って、実施の形態１に示すスケーラブル符号化では、第２レイヤ符号化部１０４に入力される原信号と第１レイヤ復号信号との位相が同期していないおそれがあり、これは換言すれば、原信号のスペクトル概形と第１レイヤ復号信号のスペクトル概形との相関を高める余地が残されている、ということである。特に、第１レイヤにＣＥＬＰ方式のような高能率符号化法が適用された場合には、このような傾向が強くなる。
そこで、本発明に係る実施の形態２では、第１レイヤにＣＥＬＰ方式のような高能率符号化法が適用された場合でも、原信号のスペクトル概形と第１レイヤ復号信号のスペクトル概形との相関をより高めることのできる手段を講ずる。
図１０は、本実施の形態に係るスケーラブル符号化装置における第２レイヤ符号化部１００４の主要な構成を示すブロック図である。第２レイヤ符号化部１００４は、スケーラブル符号化装置１００において、第２レイヤ符号化部１０４の代わりに使用されるものであって、第２レイヤ符号化部１０４におけるＭＤＣＴ分析部２０１とスケールファクタ算出部２０２との間にスペクトル平滑部１０１１をさらに具備するものである。従って、第２レイヤ符号化部１００４は第２レイヤ符号化部１０４の構成要素と同一の機能を有する構成要素を多く具備するため、このような同一の機能を有する構成要素については、重複を避けるため、その説明を省略する。
スペクトル平滑部１０１１は、ＭＤＣＴ分析部２０１から入力されてくる第１レイヤ復号信号のＭＤＣＴ係数即ちスペクトルを、分析位置の近傍のスペクトルを用いて平滑化し、平滑化したスペクトルをスケールファクタ算出部２０２に入力する。なお、本実施の形態では、スケールファクタ算出部２０２からスペクトル微細情報符号化部２０８に平滑化された第１レイヤ復号信号のスケールファクタが入力されるが、この平滑化された第１レイヤ復号信号のスケールファクタは参照用に入力されるものであり、スペクトル微細情報符号化部２０８の機能は、実施の形態１におけるそれとほぼ同様である。
図１１は、スペクトル平滑部１０１１の主要な構成を示すブロック図である。スペクトル平滑部１０１１は、平滑処理部１１２１及びエネルギー調整部１１２２を具備する。なお、スペクトル平滑部１０１１の動作については、後述する。
図１２は、本実施の形態に係るスケーラブル復号装置における第２レイヤ復号化部１２０３の主要な構成を示すブロック図である。第２レイヤ復号化部１２０３は、スケーラブル復号装置５００において、第２レイヤ復号化部５０３の代わりに使用されるものであって、さらに第２レイヤ復号化部５０３において、復号スペクトル生成部６０６の代わりに復号スペクトル生成部１２１６を具備し、またＭＤＣＴ分析部６０２と復号スペクトル生成部６０６との間にスペクトル平滑部１２１２及びスケールファクタ算出部１２１３を新たに具備するものである。また、スペクトル平滑部１２１２は、スペクトル平滑部１０１１と同様に、図１１に示す平滑処理部１１２１とエネルギー調整部１１２２とを具備する。従って、第２レイヤ復号化部１２０３は第２レイヤ復号化部５０３やスペクトル平滑部１０１１の構成要素と同一の機能を有する構成要素を多く具備するため、このような同一の機能を有する構成要素については、重複を避けるため、その説明を省略する。
スペクトル平滑部１０１１、１２１２は、ＭＤＣＴ分析部２０１又はＭＤＣＴ分析部６０２から入力されてくる第１レイヤ復号信号のスペクトルを平滑化する際に、着目のスペクトルとその近傍のスペクトルの重み付き平均値を算出する。例えば、スペクトル平滑部１０１１、１２１２における平滑処理部１１２１は、次の「式７」に従ってスペクトルの平滑化を行う。
Figure 2006041055
ここで、Ｓ（ｋ）は平滑化前のＭＤＣＴスペクトル、Ｓ’（ｋ）は平滑化後のＭＤＣＴスペクトル、β（ｉ）は重み係数、Ｌは平均を求める範囲を表す。
或いは、スペクトル平滑部１０１１、１２１２は、ＭＤＣＴ分析部２０１又はＭＤＣＴ分析部６０２から入力されてくる第１レイヤ復号信号のスペクトルを平滑化する際に、着目のスペクトルと、その近傍のスペクトルとの差の平均を算出する。例えば、スペクトル平滑部１０１１、１２１２における平滑処理部１１２１は、次の「式８」に従ってスペクトルの平滑化を行う。
Figure 2006041055
ここで、γ１、γ２は、重み係数を表す。
そして、スペクトル平滑部１０１１、１２１２におけるエネルギー調整部１１２２は、平滑処理部１１２１によって平滑化された第１レイヤ復号信号のスペクトルを、その平滑化の前後でスペクトルエネルギーが一致するように、調整する。
スケールファクタ算出部１２１３は、スケールファクタ算出部２０２と同様に機能して、スペクトル平滑部１２１２から入力されてくる平滑化された第１レイヤ復号信号のＭＤＣＴ係数に基づいて第１レイヤ復号信号における各サブバンドのスケールファクタを算出する。そして、スケールファクタ算出部１２１３は、算出した第１レイヤ復号信号のスケールファクタを復号スペクトル生成部１２１６に入力する。
復号スペクトル生成部１２１６は、予測係数復号化部６０１から入力されてくる復号された予測係数と、ＭＤＣＴ分析部６０２から入力されてくる第１レイヤ復号信号のＭＤＣＴ係数と、スケールファクタ算出部１２１３から入力されてくる第１レイヤ復号信号のスケールファクタと、スペクトル微細情報復号化部６０５から入力されてくるスペクトル微細情報と、から原信号の復号スペクトルを生成し、生成した原信号の復号スペクトルを時間領域変換部６０７に入力する。例えば、復号スペクトル生成部１２１６は、原信号の復号スペクトルＵ（ｋ）を次の「式９」を用いて算出する。
Figure 2006041055
ここで、式９において、「Ｃ（ｋ）」はスペクトル微細情報、「α’（ｍ）」は第ｍサブバンドの復号した予測係数、「Ｂ（ｋ）」は第１レイヤ復号信号のＭＤＣＴ係数を表し、「ｋ」は第ｍサブバンドに含まれる周波数を表す。また、「Ｙ（ｍ）」は第ｍサブバンドにおける第１レイヤ復号信号のスケールファクタ、「Ｚ（ｍ）」は第ｍサブバンドにおける平滑化後の第１レイヤ復号信号のスケールファクタを表す。
図１３の左枠（Ａ）に、図９に示す正弦波を４つの分析位置ｐｈ０、ｐｈ１、ｐｈ２、ｐｈ３でＭＤＣＴを用いたスペクトル分析を行ったときのスペクトルを概念的に示す。図１３の左枠（Ａ）に示すスペクトルに対して、スペクトル平滑部１０１１又はスペクトル平滑部１２１２が式７又は式８に従う平滑化処理を行うことにより、図１３の右枠（Ｂ）に示すスペクトルが算出される。元々、ＭＤＣＴを用いるスペクトル分析によって算出されるスペクトルには、図１３の左枠（Ａ）に示すようにばらつきが生じている。これに対し、スペクトル平滑部１０１１又はスペクトル平滑部１２１２によって平滑化された後のスペクトルでは、図１３の右枠（Ｂ）に示すように、このばらつきが少なくなる。ＭＤＣＴを用いるスペクトル分析によって算出されるスペクトルのばらつきが少なくなれば、その平滑化されたスペクトルについては、原信号のスペクトルから大きく乖離してしまう場合が減り、大局的に見れば原信号のスペクトルがより正確に反映されることになる。
このように、本実施の形態によれば、スペクトル平滑部１０１１又はスペクトル平滑部１２１２が、第１レイヤ復号信号のスペクトルに対してスペクトル平滑化処理を施すため、平滑化後のスペクトルから算出されるスペクトル概形と、スケールファクタ算出部２０４によって算出される原信号のスペクトル概形と、の相関が一層強くなる。その結果、本実施の形態によれば、予測係数符号化部２０５での符号化効率が一層向上する。
参考として、図１７に、スケールファクタの量子化性能を計算機シミュレーションにより算出した結果の一例を示す。図１７に示す例では、各サブバンドのスケールファクタの予測係数α（ｍ）は、４ｂｉｔのスカラー量子化器を用いて量子化される。また、図１７に示す例では、量子化前の原信号のスケールファクタＸ（ｍ）に対する量子化後のスケールファクタＸｑ（ｍ）を用いて次の「式１０」に従いＳＮＲ（Signal-to-Noise Ratio）を算出する。
Figure 2006041055
図１７に示すように、平滑化処理のある場合と無い場合とを比較すると、平滑化処理のある場合ではクリーン音声で僅かにＳＮＲが低下しているものの、オーディオや車内雑音音声ではＳＮＲが大きく改善している。従って全体的にみると、スペクトル平滑化による効果は大きいと言える。
（実施の形態３）
人間の聴覚特性には、ある信号が聞こえているときに、その信号と周波数の近い音が耳に入ってきても聞こえ難い、という聴覚マスキング特性がある。そこで、本実施の形態では、この聴覚マスキング特性を利用して、第２レイヤ符号化パラメータの構成要素である予測係数とスペクトル微細情報との符号化効率の向上を図る。
図１４は、本発明の実施の形態３に係るスケーラブル符号化装置における第２レイヤ符号化部１４０４の主要な構成を示すブロック図である。第２レイヤ符号化部１４０４は、実施の形態２における第２レイヤ符号化部１００４において、予測係数符号化部２０５の代わりに予測係数符号化部１４０５を、またスペクトル微細情報符号化部２０８の代わりにスペクトル微細情報符号化部１４０８を、そして新たに聴覚マスキング算出部１４１１を具備するものである。従って、第２レイヤ符号化部１４０４は第２レイヤ符号化部１０４、１００４の構成要素と同一の機能を有する構成要素を多く具備するため、このような同一の機能を有する構成要素については、重複を避けるため、その説明を省略する。
聴覚マスキング算出部１４１１は、遅延部１０２から入力されてくる原信号について、そのサブバンド毎に予め規定されている聴覚マスキングＴ（ｍ）を、予測係数符号化部１４０５とスペクトル微細情報符号化部１４０８とにそれぞれ通知する。
予測係数符号化部１４０５は、聴覚マスキング算出部１４１１から通知される聴覚マスキングＴ（ｍ）と誤差スケールファクタＥ（ｍ）との大きさをサブバンド毎に比較し、誤差スケールファクタＥ（ｍ）が聴覚マスキングＴ（ｍ）を超える場合には、そのサブバンドで生じている量子化歪が人間の聴覚で知覚されうると判定して、そのサブバンドについて予測係数を決定して符号化し、その符号化パラメータを多重化部１０５に入力する。なお、誤差スケールファクタＥ（ｍ）は、原信号のスケールファクタと第１レイヤ復号信号のスケールファクタとの差として算出される。また、予測係数符号化部１４０５は、サブバンド毎に予測係数を符号化したか否かを示す情報を符号化し、その符号化した情報を多重化部１０５に入力して、スケーラブル復号装置５００に送信することが好ましい。
スペクトル微細情報符号化部１４０８も、予測係数符号化部１４０５と同様にして、誤差スケールファクタＥ（ｍ）が聴覚マスキングＴ（ｍ）を超える場合に限り、そのサブバンドで生じている量子化歪が人間の聴覚で知覚されうると判定して、そのサブバンドについてスペクトル微細情報を符号化して多重化部１０５に入力する。また、スペクトル微細情報符号化部１４０８は、サブバンド毎にスペクトル微細情報を符号化したか否かを示す情報を符号化し、その符号化した情報を多重化部１０５に入力して、スケーラブル復号装置５００に送信することが好ましい。
このように、本実施の形態によれば、第２レイヤ符号化部１４０４が、原信号のサブバンド毎に聴覚マスキング効果が有効に奏される状態か判定し、聴覚マスキング効果が有効に奏される状態のサブバンドについては、予測係数とスペクトル微細情報との符号化を行なわないため、音声信号の第２レイヤ符号化パラメータの符号化効率を改善することができる。その結果、本実施の形態によれば、音声信号のより一層の低ビットレート化と高音質化とを両立できる。
なお、本実施の形態において、予測係数符号化部１４０５又はスペクトル微細情報符号化部１４０８が、聴覚マスキングＴ（ｍ）と誤差スケールファクタＥ（ｍ）をサブバンド毎に比較して、誤差スケールファクタＥ（ｍ）が聴覚マスキングＴ（ｍ）を超える程度に応じて、予測係数又はスペクトル微細情報を符号化する際のビット数を増やして、そのサブバンドの誤差スケールファクタＥ（ｍ）を小さくするようにしてもよい。また、このようにする場合も、予測係数符号化部１４０５又はスペクトル微細情報符号化部１４０８は、サブバンド毎に予測係数又はスペクトル微細情報に配分したビット数を示す情報を、スケーラブル復号装置５００に送信することが好ましい。
なお、本発明に係るスケーラブル符号化装置について、以下のように変形したり応用したりしてもよい。
本発明に係る各実施の形態では、音声信号を第１レイヤ（下位レイヤ）と第２レイヤ（上位レイヤ）との２階層でスケーラブル符号化を行う場合について説明したが、本発明はこの場合に限定されるものではなく、例えば３階層以上でスケーラブル符号化を行うようにしてもよい。
また、本発明において、第ｎレイヤにおける信号のサンプリングレートをＦｓ（ｎ）と表して、Ｆｓ（ｎ）≦Ｆｓ（ｎ＋１）の関係が成り立つように、各レイヤのサンプリングレートを調節してもよい。つまり、第１レイヤ符号化部１０１又は第１レイヤ復号化部５０２におけるサンプリングレートを、第２レイヤ符号化部１０４又は第２レイヤ復号化部５０３におけるサンプリングレートよりも低く設定してもよい。このようにすれば、帯域スケーラブルを実現できることから、ネットワークの状況が良いときやユーザの使用している機器の能力が高いときには、復号信号によって形成される臨場感を一層高めることができる。
また、本発明の各実施の形態では、ＭＤＣＴを用いてスペクトル分析を行う場合について説明したが、本発明はこの場合に限定されるものではなく、他の方式、例えばＤＦＴ、コサイン変換又はＷａｖｅｌｅｔ変換等を用いてスペクトル分析を行うようにしてもよい。
（参考例）
この参考例では、音声信号のスケーラブル符号化は行わないものの、過去のフレームのスケールファクタを使って現フレームのスケールファクタを予測する際に、本発明の実施の形態２で用いたように、スペクトル平滑化処理を用いてスケールファクタの予測を行う。
図１５は、この参考例に係る音声符号化装置１５０４の主要な構成を示すブロック図である。音声符号化装置１５０４は、第２レイヤ符号化部１００４におけるＭＤＣＴ分析部２０３、スケールファクタ算出部２０４、予測係数符号化部２０５、予測係数復号化部２０６及びスペクトル微細情報符号化部２０８と同一の機能を有する構成要素を具備し、さらにスペクトル微細情報復号化部１５１１、復号スペクトル生成部１５１２、バッファ１５１３、スペクトル平滑部１５１４及びスケールファクタ算出部１５１５を新たに具備する。また、スペクトル微細情報復号化部１５１１は、第２レイヤ復号化部１２０３におけるスペクトル微細情報復号化部６０５と同様に機能し、復号スペクトル生成部１５１２は復号スペクトル生成部１２１６と、スペクトル平滑部１５１４は第２レイヤ符号化部１００４におけるスペクトル平滑部１０１１と、スケールファクタ算出部１５１５はスケールファクタ算出部２０２と、同様に機能する。以下、音声符号化装置１５０４について説明するが、第２レイヤ符号化部１００４及び第２レイヤ復号化部１２０３の構成要素と同様の機能を有する構成要素については、重複を避けるため、その説明を省略する。
バッファ１５１３は、復号スペクトル生成部１５１２から入力されてくる復号スペクトルを１フレーム分格納して、新たな復号スペクトルが入力されてくると、格納している前フレームの復号スペクトルをスペクトル平滑部１５１４、スペクトル微細情報符号化部２０８及び復号スペクトル生成部１５１２に入力する。
従って、音声符号化装置１５０４では、バッファ１５１３に格納されている前フレームの復号スペクトルに対してスペクトル平滑化が施されてスケールファクタが算出されることになり、その結果、予測係数符号化部２０５では、この前フレームに係るスケールファクタに基づいて現フレームの予測係数が算出されることになる。また、スペクトル微細情報符号化部２０８と復号スペクトル生成部１５１２とでは、前フレームの復号スペクトルを用いて、スペクトル微細情報の符号化と復号スペクトルの生成とがそれぞれ行われる。
図１６は、この参考例に係る音声復号装置１６０３の主要な構成を示すブロック図である。音声復号装置１６０３は、第２レイヤ復号化部１２０３における予測係数復号化部６０１、スペクトル微細情報復号化部６０５、復号スペクトル生成部１２１６及び時間領域変換部６０７と同一の機能を有する構成要素を具備し、さらにバッファ１６１１、スペクトル平滑部１６１２及びスケールファクタ算出部１６１３を新たに具備する。また、スペクトル平滑部１６１２は第２レイヤ復号化部１２０３におけるスペクトル平滑部１２１２と、スケールファクタ算出部１６１３はスケールファクタ算出部１２１３と、同様に機能する。以下、音声復号装置１６０３について説明するが、第２レイヤ復号化部１２０３の構成要素と同様の機能を有する構成要素については、重複を避けるため、その説明を省略する。
バッファ１６１１は、復号スペクトル生成部１２１６から入力されてくる復号スペクトルを１フレーム分格納して、新たな復号スペクトルが入力されてくると、格納している前フレームの復号スペクトルをスペクトル平滑部１６１２及び復号スペクトル生成部１２１６に入力する。
従って、音声復号装置１６０３では、バッファ１６１１に格納されている前フレームの復号スペクトルに対してスペクトル平滑化が施されてスケールファクタが算出されることになり、その結果、復号スペクトル生成部１２１６では、この前フレームに係るスケールファクタに基づいて現フレームのスケールファクタが予測され、このスケールファクタを使用して復号することになる。
ちなみに、復号スペクトル生成部１２１６は、原信号の復号スペクトルＵ（ｋ）を次の「式１１」を用いて算出する。
Figure 2006041055
ここで、式１１において、「Ｃ（ｋ）」はスペクトル微細情報、「α’（ｍ）」は第ｍサブバンドの復号した予測係数、「Ｂｐｒｖ（ｋ）」は前フレームのＭＤＣＴ係数を表し、「ｋ」は第ｍサブバンドに含まれる周波数を表す。また、「Ｙｐｒｖ（ｍ）」は第ｍサブバンドにおける前フレームのスケールファクタ、「Ｚｐｒｖ（ｍ）」は第ｍサブバンドにおける平滑化後の前フレームのスケールファクタを表す。
このように、この参考例の構成によれば、スペクトル概形の時間的な相関を利用して、スペクトル概形の予測を行うため、スケールファクタの符号化を効率的に行えると共に、その低ビットレート化を図ることができる。
以上、本発明の各実施の形態について説明した。
本発明に係るスケーラブル符号化装置等は、上記各実施の形態に限定されず、種々変更して実施することが可能である。例えば、各実施の形態は、適宜組み合わせて実施することが可能である。
本発明に係るスケーラブル符号化装置およびスケーラブル復号装置は、移動体通信システムにおける通信端末装置および基地局装置に搭載することが可能であり、これにより上記と同様の作用効果を有する通信端末装置、基地局装置、および移動体通信システムを提供することができる。
なお、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明をソフトウェアで実現することも可能である。例えば、本発明に係るスケーラブル符号化方法のアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明に係るスケーラブル符号化装置と同様の機能を実現することができる。
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてありえる。
本明細書は、２００４年１０月１３日出願の特願２００４−２９８９４２に基づく。この内容はすべてここに含めておく。
本発明に係るスケーラブル符号化装置は、第２レイヤでの符号化効率を改善すると共に、第２レイヤでの符号化パラメータを用いて復号した原信号の品質を向上させるという効果を有し、低ビットレートで、かつ、高い再生音質が要求される移動体通信システム等に有用である。
実施の形態１に係るスケーラブル符号化装置の主要な構成を示すブロック図 実施の形態１における第２レイヤ符号化部の主要な構成を示すブロック図 実施の形態１における予測係数符号化部の主要な構成を示すブロック図 実施の形態１においてスペクトルとスペクトル概形との関係を説明する図 実施の形態１に係るスケーラブル復号装置の主要な構成を示すブロック図 実施の形態１における第２レイヤ復号化部の主要な構成を示すブロック図 実施の形態１における予測係数符号化部の応用例を示すブロック図 実施の形態１における予測係数符号化部の応用例を示すブロック図 実施の形態２において正弦波の符号化方式と生成されたスペクトルとの関係を説明する図 実施の形態２において正弦波の符号化方式と生成されたスペクトルとの関係を説明する図 実施の形態２において正弦波の符号化方式と生成されたスペクトルとの関係を説明する図 実施の形態２における第２レイヤ符号化部の主要な構成を示すブロック図 実施の形態２におけるスペクトル平滑部の主要な構成を示すブロック図 実施の形態２に係るスケーラブル復号装置の主要な構成を示すブロック図 実施の形態２においてＭＤＣＴによるスペクトルを平滑化する前後の態様を示す図 実施の形態３における第２レイヤ符号化部の主要な構成を示すブロック図 参考例に係る音声符号化装置における主要な構成要素の構成を示すブロック図 参考例に係る音声復号装置における主要な構成要素の構成を示すブロック図 実施の形態２におけるスケールファクタの量子化性能を計算機シミュレーションにより算出した結果の一例を示す図

Claims (10)

  1. 入力信号を符号化して下位レイヤ符号化パラメータを生成する下位レイヤ符号化手段と、
    前記下位レイヤ符号化パラメータを復号して下位レイヤ復号信号を生成する下位レイヤ復号化手段と、
    前記入力信号に基づいて前記入力信号のスペクトル概形を算出する第１スペクトル概形算出手段と、
    前記下位レイヤ復号信号に基づいて前記下位レイヤ復号信号のスペクトル概形を算出する第２スペクトル概形算出手段と、
    前記下位レイヤ復号信号のスペクトル概形から前記入力信号のスペクトル概形を予測することにより予測情報を得、この予測情報を符号化して上位レイヤ符号化パラメータを生成する予測情報符号化手段と、
    前記下位レイヤ符号化パラメータと前記上位レイヤ符号化パラメータとを出力する出力手段と、
    を具備するスケーラブル符号化装置。
  2. 符号化された前記予測情報を復号する予測情報復号化手段と、
    前記下位レイヤ復号信号のスペクトル概形と復号された前記予測情報とに基づいて前記入力信号のスペクトル概形を推定し、前記入力信号のスペクトルと前記下位レイヤ復号信号のスペクトルと推定された前記入力信号のスペクトル概形とに基づいて前記入力信号のスペクトル概形に表れない前記入力信号のスペクトルの特徴を示すスペクトル微細情報を生成し符号化するスペクトル微細情報符号化手段と、
    をさらに具備し、
    前記出力手段は、
    符号化された前記予測情報及び前記スペクトル微細情報を上位レイヤ符号化パラメータとして出力する、
    ことを特徴とする請求項１記載のスケーラブル符号化装置。
  3. 前記第２スペクトル概形算出手段は、
    前記下位レイヤ復号信号に基づいて生成された下位レイヤ復号信号のスペクトルを平滑化した後に、前記下位レイヤ復号信号のスペクトル概形を算出する、
    請求項１記載のスケーラブル符号化装置。
  4. 前記予測情報符号化手段は、
    前記下位レイヤ復号信号のスペクトル概形に乗じられたときに、その乗算結果を前記入力信号のスペクトル概形に最も近似させる予測係数を符号化する、
    請求項１記載のスケーラブル符号化装置。
  5. 前記予測情報符号化手段は、
    前記下位レイヤ復号信号のスペクトル概形に乗じられたときに、その乗算結果を前記入力信号のスペクトル概形に最も近似させる予測係数が前記入力信号の所定の周波数帯域毎に複数存在する場合に、前記複数の予測係数をまとめてベクトル量子化する、
    請求項４記載のスケーラブル符号化装置。
  6. 前記予測情報符号化手段は、
    前記入力信号の所定の周波数帯域毎に聴覚マスキング効果が有効に奏されるか判定し、聴覚マスキング効果が有効に奏されると判定したときに限り、前記下位レイヤ復号信号のスペクトル概形から前記入力信号のスペクトル概形を予測して予測情報を得、この予測情報を符号化して上位レイヤ符号化パラメータを生成する、
    請求項１記載のスケーラブル符号化装置。
  7. 前記予測情報符号化手段は、
    前記入力信号の所定の周波数帯域毎に聴覚マスキング効果の有効性を判定し、判定された有効性の程度に応じて符号化ビット数を調節することにより、前記下位レイヤ復号信号のスペクトル概形から前記入力信号のスペクトル概形を予測して予測情報を得、この予測情報を符号化して上位レイヤ符号化パラメータを生成する、
    請求項１記載のスケーラブル符号化装置。
  8. 前記下位レイヤ符号化手段におけるサンプリングレートが、前記第１スペクトル概形算出手段におけるサンプリングレートよりも低い、
    請求項１記載のスケーラブル符号化装置。
  9. 入力信号をスケーラブル符号化するスケーラブル符号化装置によって生成された符号化パラメータを復号するスケーラブル復号装置であって、
    前記符号化パラメータを復号して下位レイヤ復号信号を生成する下位レイヤ復号化手段と、
    前記符号化パラメータを復号することにより、前記入力信号のスペクトル概形を予測させる予測情報を生成する予測情報復号化手段と、
    前記下位レイヤ復号信号と前記予測情報とに基づいて前記入力信号のスペクトル概形を生成するスペクトル生成手段と、
    を具備するスケーラブル復号装置。
  10. 入力信号を符号化して下位レイヤ符号化パラメータを生成するステップと、
    前記下位レイヤ符号化パラメータを復号して下位レイヤ復号信号を生成するステップと、
    前記入力信号に基づいて前記入力信号のスペクトル概形を算出するステップと、
    前記下位レイヤ復号信号に基づいて前記下位レイヤ復号信号のスペクトル概形を算出するステップと、
    前記下位レイヤ復号信号のスペクトル概形から前記入力信号のスペクトル概形を予測することにより予測情報を得、この予測情報を符号化して上位レイヤ符号化パラメータを生成するステップと、
    を具備するスケーラブル符号化方法。
JP2006540931A 2004-10-13 2005-10-11 スケーラブル符号化装置、スケーラブル復号装置及びスケーラブル符号化方法 Expired - Fee Related JP4606418B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004298942 2004-10-13
JP2004298942 2004-10-13
PCT/JP2005/018693 WO2006041055A1 (ja) 2004-10-13 2005-10-11 スケーラブル符号化装置、スケーラブル復号装置及びスケーラブル符号化方法

Publications (2)

Publication Number Publication Date
JPWO2006041055A1 true JPWO2006041055A1 (ja) 2008-05-15
JP4606418B2 JP4606418B2 (ja) 2011-01-05

Family

ID=36148347

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006540931A Expired - Fee Related JP4606418B2 (ja) 2004-10-13 2005-10-11 スケーラブル符号化装置、スケーラブル復号装置及びスケーラブル符号化方法

Country Status (7)

Country Link
US (1) US8010349B2 (ja)
EP (1) EP1801785A4 (ja)
JP (1) JP4606418B2 (ja)
KR (1) KR20070070174A (ja)
CN (1) CN101044554A (ja)
BR (1) BRPI0518133A (ja)
WO (1) WO2006041055A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1887567B1 (en) * 2005-05-31 2010-07-14 Panasonic Corporation Scalable encoding device, and scalable encoding method
CN101199005B (zh) * 2005-06-17 2011-11-09 松下电器产业株式会社 后置滤波器、解码装置以及后置滤波处理方法
CN101273403B (zh) * 2005-10-14 2012-01-18 松下电器产业株式会社 可扩展编码装置、可扩展解码装置以及其方法
JP4969454B2 (ja) * 2005-11-30 2012-07-04 パナソニック株式会社 スケーラブル符号化装置およびスケーラブル符号化方法
US8103516B2 (en) * 2005-11-30 2012-01-24 Panasonic Corporation Subband coding apparatus and method of coding subband
JP5173795B2 (ja) * 2006-03-17 2013-04-03 パナソニック株式会社 スケーラブル符号化装置およびスケーラブル符号化方法
EP1841072B1 (de) * 2006-03-30 2016-06-01 Unify GmbH & Co. KG Verfahren und Einrichtung zum Dekodieren von schichtkodierten Daten
WO2007114291A1 (ja) * 2006-03-31 2007-10-11 Matsushita Electric Industrial Co., Ltd. 音声符号化装置、音声復号化装置、およびこれらの方法
DE602007013026D1 (de) * 2006-04-27 2011-04-21 Panasonic Corp Audiocodierungseinrichtung, audiodecodierungseinrichtung und verfahren dafür
US8560328B2 (en) * 2006-12-15 2013-10-15 Panasonic Corporation Encoding device, decoding device, and method thereof
WO2009038158A1 (ja) * 2007-09-21 2009-03-26 Nec Corporation 音声復号装置、音声復号方法、プログラム及び携帯端末
CN101771417B (zh) * 2008-12-30 2012-04-18 华为技术有限公司 信号编码、解码方法及装置、系统
JP5269195B2 (ja) * 2009-05-29 2013-08-21 日本電信電話株式会社 符号化装置、復号装置、符号化方法、復号方法及びそのプログラム
JP5295380B2 (ja) 2009-10-20 2013-09-18 パナソニック株式会社 符号化装置、復号化装置およびこれらの方法
EP2573766B1 (en) 2010-07-05 2015-03-18 Nippon Telegraph And Telephone Corporation Encoding method, decoding method, encoding device, decoding device, program, and recording medium
CN103582913B (zh) * 2011-04-28 2016-05-11 杜比国际公司 有效内容分类及响度估计

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1130997A (ja) * 1997-07-11 1999-02-02 Nec Corp 音声符号化復号装置
JP2004102186A (ja) * 2002-09-12 2004-04-02 Matsushita Electric Ind Co Ltd 音響符号化装置及び音響符号化方法
WO2004081918A1 (fr) * 2003-03-04 2004-09-23 France Telecom Sa Procede et dispositif de reconstruction spectrale d’un signal audio

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1197619A (en) * 1982-12-24 1985-12-03 Kazunori Ozawa Voice encoding systems
US5388181A (en) * 1990-05-29 1995-02-07 Anderson; David J. Digital audio compression system
US5317672A (en) * 1991-03-05 1994-05-31 Picturetel Corporation Variable bit rate speech encoder
JP3395311B2 (ja) * 1993-02-03 2003-04-14 ソニー株式会社 双方向レートコンバータ及び撮像装置
US5764698A (en) * 1993-12-30 1998-06-09 International Business Machines Corporation Method and apparatus for efficient compression of high quality digital audio
US5684920A (en) * 1994-03-17 1997-11-04 Nippon Telegraph And Telephone Acoustic signal transform coding method and decoding method having a high efficiency envelope flattening method therein
TW271524B (ja) * 1994-08-05 1996-03-01 Qualcomm Inc
DE69619284T3 (de) * 1995-03-13 2006-04-27 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zur Erweiterung der Sprachbandbreite
JP3481027B2 (ja) * 1995-12-18 2003-12-22 沖電気工業株式会社 音声符号化装置
US6345246B1 (en) * 1997-02-05 2002-02-05 Nippon Telegraph And Telephone Corporation Apparatus and method for efficiently coding plural channels of an acoustic signal at low bit rates
US6167375A (en) * 1997-03-17 2000-12-26 Kabushiki Kaisha Toshiba Method for encoding and decoding a speech signal including background noise
US6064954A (en) * 1997-04-03 2000-05-16 International Business Machines Corp. Digital audio signal coding
KR100198476B1 (ko) * 1997-04-23 1999-06-15 윤종용 노이즈에 견고한 스펙트럼 포락선 양자화기 및 양자화 방법
US6792542B1 (en) * 1998-05-12 2004-09-14 Verance Corporation Digital system for embedding a pseudo-randomly modulated auxiliary data sequence in digital samples
US6675140B1 (en) * 1999-01-28 2004-01-06 Seiko Epson Corporation Mellin-transform information extractor for vibration sources
US6226616B1 (en) * 1999-06-21 2001-05-01 Digital Theater Systems, Inc. Sound quality of established low bit-rate audio coding systems without loss of decoder compatibility
US6446037B1 (en) * 1999-08-09 2002-09-03 Dolby Laboratories Licensing Corporation Scalable coding method for high quality audio
JP2002042416A (ja) * 2000-07-28 2002-02-08 Victor Co Of Japan Ltd 音声信号の記録方法、伝送方法、記録装置、伝送装置、記録媒体及び伝送媒体
DE10102159C2 (de) * 2001-01-18 2002-12-12 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Erzeugen bzw. Decodieren eines skalierbaren Datenstroms unter Berücksichtigung einer Bitsparkasse, Codierer und skalierbarer Codierer
JP2005509928A (ja) * 2001-11-23 2005-04-14 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ オーディオ信号帯域幅拡張
KR100908114B1 (ko) * 2002-03-09 2009-07-16 삼성전자주식회사 스케일러블 무손실 오디오 부호화/복호화 장치 및 그 방법
WO2003091989A1 (en) * 2002-04-26 2003-11-06 Matsushita Electric Industrial Co., Ltd. Coding device, decoding device, coding method, and decoding method
JP4239060B2 (ja) * 2002-08-30 2009-03-18 ソニー株式会社 符号化装置および方法、データ処理装置および方法、並びにプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1130997A (ja) * 1997-07-11 1999-02-02 Nec Corp 音声符号化復号装置
JP2004102186A (ja) * 2002-09-12 2004-04-02 Matsushita Electric Ind Co Ltd 音響符号化装置及び音響符号化方法
WO2004081918A1 (fr) * 2003-03-04 2004-09-23 France Telecom Sa Procede et dispositif de reconstruction spectrale d’un signal audio

Also Published As

Publication number Publication date
EP1801785A4 (en) 2010-01-20
CN101044554A (zh) 2007-09-26
BRPI0518133A (pt) 2008-10-28
US8010349B2 (en) 2011-08-30
JP4606418B2 (ja) 2011-01-05
EP1801785A1 (en) 2007-06-27
WO2006041055A1 (ja) 2006-04-20
KR20070070174A (ko) 2007-07-03
US20070253481A1 (en) 2007-11-01

Similar Documents

Publication Publication Date Title
JP4606418B2 (ja) スケーラブル符号化装置、スケーラブル復号装置及びスケーラブル符号化方法
KR101220621B1 (ko) 부호화 장치 및 부호화 방법
US7983904B2 (en) Scalable decoding apparatus and scalable encoding apparatus
JP4859670B2 (ja) 音声符号化装置および音声符号化方法
JP5036317B2 (ja) スケーラブル符号化装置、スケーラブル復号化装置、およびこれらの方法
JP5413839B2 (ja) 符号化装置および復号装置
KR101340233B1 (ko) 스테레오 부호화 장치, 스테레오 복호 장치 및 스테레오부호화 방법
JPWO2008072670A1 (ja) 符号化装置、復号装置、およびこれらの方法
JPWO2008072737A1 (ja) 符号化装置、復号装置およびこれらの方法
JPWO2007088853A1 (ja) 音声符号化装置、音声復号装置、音声符号化システム、音声符号化方法及び音声復号方法
US20100017197A1 (en) Voice coding device, voice decoding device and their methods
JPWO2008132850A1 (ja) ステレオ音声符号化装置、ステレオ音声復号装置、およびこれらの方法
JPWO2010016270A1 (ja) 量子化装置、符号化装置、量子化方法及び符号化方法
KR20160138373A (ko) 부호화 장치, 복호 장치, 부호화 방법, 복호 방법, 및 프로그램
JP5774490B2 (ja) 符号化装置、復号装置およびこれらの方法
JP2006072269A (ja) 音声符号化装置、通信端末装置、基地局装置および音声符号化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100914

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101005

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131015

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees