JPWO2011132368A1 - 符号化装置、復号装置、符号化方法及び復号方法 - Google Patents

符号化装置、復号装置、符号化方法及び復号方法 Download PDF

Info

Publication number
JPWO2011132368A1
JPWO2011132368A1 JP2012511525A JP2012511525A JPWO2011132368A1 JP WO2011132368 A1 JPWO2011132368 A1 JP WO2011132368A1 JP 2012511525 A JP2012511525 A JP 2012511525A JP 2012511525 A JP2012511525 A JP 2012511525A JP WO2011132368 A1 JPWO2011132368 A1 JP WO2011132368A1
Authority
JP
Japan
Prior art keywords
encoding
subbands
subband
layer
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012511525A
Other languages
English (en)
Other versions
JP5714002B2 (ja
Inventor
智史 山梨
智史 山梨
押切　正浩
正浩 押切
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2012511525A priority Critical patent/JP5714002B2/ja
Publication of JPWO2011132368A1 publication Critical patent/JPWO2011132368A1/ja
Application granted granted Critical
Publication of JP5714002B2 publication Critical patent/JP5714002B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G10L19/038—Vector quantisation, e.g. TwinVQ audio
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001—Codebooks
    • G10L2019/0004—Design or structure of the codebook
    • G10L2019/0006—Tree or treillis structures; Delayed decisions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

聴感的な重要度を考慮した符号化処理による符号化パラメータ生成処理を行い、復号信号の品質を改善することができる符号化装置。この装置において、近傍探索部（３０２）は、スペクトルデータを分割して生成した複数のサブバンドに対して近傍探索を行い、複数のサブバンドのスペクトルのラティスベクトルを算出する。マルチレートインデキシング部（３０３）は、ラティスベクトルを用いて複数のサブバンド毎にマルチレートインデキシングを行い、その結果を示すインデックス情報を生成する。帯域選択部（３０４）は、複数のサブバンドのうち、インデックス情報において複数のサブバンド毎に割り当てられる符号化ビット数の合計が予め設定された値以下となるサブバンドの選択範囲であり、かつ、複数のサブバンド毎のエネルギの合計が最大となるサブバンドの選択範囲を、複数の符号化レイヤにおける、聴感的に重要なサブバンド群として決定する。

Description

本発明は、信号を符号化して伝送する通信システムに用いられる符号化装置、復号装置、符号化方法及び復号方法に関する。
インターネット通信に代表されるパケット通信システム又は移動通信システム等で音声信号又は楽音信号を伝送する場合、音声信号又は楽音信号の伝送効率を高めるために、圧縮技術又は符号化技術がよく使われる。また、近年では、単に低ビットレートで音声信号又は楽音信号を符号化するという一方で、より広帯域の音声信号又は楽音信号を高品質に符号化する技術に対するニーズが高まっている。
このようなニーズに対して、音声信号又は楽音信号の符号化において、符号化情報の一部からでも音声信号又は楽音信号を復号することが可能であり、パケット損失が発生するような状況においても音質劣化を抑制することができるスケーラブル符号化技術が開発されている（非特許文献１）。例えば、非特許文献１には、符号化ビットレートが１６ｋｂｐｓ〜２４ｋｂｐｓである時、入力信号が音声信号と判定された場合に、一定時間分の入力信号を変換して得られるスペクトルデータを複数のサブベクトルに分割し、各サブベクトルに対してマルチレート符号化する技術「ＥＡＶＱ（Embedded Algebraic Vector Quantization）」が開示されている。なお、上記非特許文献１に開示されているＥＡＶＱに関連する技術は非特許文献２、非特許文献３及び特許文献１にも開示されている。
特表２００５−５２８８３９号公報
ITU-T:G.718; Frame error robust narrowband and wideband embedded variable bit-rate coding of speech and audio from 8-32 kbit/s. ITU-T Recommendation G.718(2008) Stephane Ragot, Bruno Bessette, and Roch Lefebvre, "Low-complexity Multi-rate Lattice Vector Quantization with Application to Wideband TCX Speech Coding", ICASSP 2004 Minjie Xie and Jean-Pierre Adoul, "Embedded Algebraic Vector Quantizers (EAVQ) with Application to Wideband Speech Coding", IEEE 1996
しかしながら、上記非特許文献１に開示された符号化装置及び復号装置の構成では、一部のビットレートで符号化／復号する場合において、復号信号の品質が不十分であるという問題点がある。以下、この問題点について説明する。
上記非特許文献１に開示された符号化装置及び復号装置では、入力信号が音声信号であると判定された場合、１６ｋｂｐｓ〜２４ｋｂｐｓの符号化ビットレートにおいて、ＥＡＶＱという符号化方式が適用される。このとき、ＥＡＶＱに利用できるビットレートは、コアとなる符号化レイヤ（レイヤ１）及び第１拡張レイヤ（レイヤ２）のビットレートを除いた、４ｋｂｐｓ〜１２ｋｂｐｓである。より詳細には、符号化装置は、レイヤ３にて４ｋｂｐｓのビットレートで符号化を行い、レイヤ４にて８ｋｂｐｓのビットレートで符号化を行う。符号化ビットレートが３２ｋｂｐｓの時に、レイヤ５ではさらに８ｋｂｐｓのビットレートで符号化が行われるが、この符号化レイヤについては本発明とは本質的に関係しないため、以降の説明では省略する。
ここで、上記非特許文献１では、符号化装置側でレイヤ３及びレイヤ４の符号化処理をまとめて行い、合計１２ｋｂｐｓのビットレートに相当する符号化パラメータを復号装置に伝送し、復号装置側において所望のビットレートで復号するという処理を行う。このとき、伝送される符号化パラメータのうち、どの部分がレイヤ３の符号化パラメータ（４ｋｂｐｓ）に相当し、どの部分がレイヤ４の符号化パラメータ（８ｋｂｐｓ）に相当するかの区別はされていない。このため、復号装置は、受信した符号化パラメータ（１２ｋｂｐｓ）のうち、先頭部分から所望のビットレート（４ｋｂｐｓ又は１２ｋｂｐｓ）分のみを単純に復号処理する構成になっている。よって、例えば、復号装置は、レイヤ１からレイヤ３までのビットレート（１２ｋｂｐｓ）で復号する場合には、レイヤ３及びレイヤ４の符号化パラメータのうち聴感的に重要な特定の部分を選択して復号処理していないので、この復号条件では復号信号の品質が十分ではないと言える。
本発明の目的は、非特許文献１のようなスケーラブル符号化／復号方法において、符号化装置側で聴感的に重要な特定の符号化パラメータを部分的に選択し、符号化パラメータに前記聴感的な重要度を反映させることにより、一部のビットレートで復号する際に復号信号の品質を改善するスケーラブル符号化／復号方法を提供することである。
本発明の第１の態様に係る符号化装置は、符号化処理をまとめて行う複数の符号化レイヤを有する符号化装置であって、前記複数の符号化レイヤに入力されるスペクトルデータを分割して複数のサブバンドを生成し、前記複数のサブバンドに対して近傍探索を行うことにより、前記複数のサブバンドのスペクトルのラティスベクトルを算出する探索手段と、前記ラティスベクトルを用いて、前記複数のサブバンド毎にマルチレートインデキシングを行い、前記複数のサブバンド毎のマルチレートインデキシングの結果を示すインデックス情報を生成する符号化手段と、前記インデックス情報において前記複数のサブバンド毎に割り当てられる符号化ビット数、及び、前記複数のサブバンド毎のエネルギであるサブバンドエネルギを用いて、前記複数のサブバンドのうち、前記符号化ビット数の合計が予め設定された値以下となるサブバンドの選択範囲であり、かつ、前記サブバンドエネルギの合計が最大となる前記サブバンドの選択範囲を、前記複数の符号化レイヤにおける、特定サブバンド群として決定する選択手段と、を備える。
本発明の第２の態様に係る復号装置は、符号化処理をまとめて行う複数の符号化レイヤを有する符号化装置からの信号を復号する復号装置であって、前記符号化装置で生成された、前記複数の符号化レイヤに入力されたスペクトルデータを分割して生成された複数のサブバンドに対する近傍探索を行うことにより得られたラティスベクトルを用いた、前記複数のサブバンド毎のマルチレートインデキシングを行って得られた結果を示すインデックス情報と、前記複数のサブバンド毎に割り当てられた符号化ビット、及び、前記複数のサブバンド毎のエネルギであるサブバンドエネルギを用いて、前記複数のサブバンドのうち、前記マルチレートインデキシングにおいて前記複数のサブバンド毎に割り当てられた符号化ビット数の合計が予め設定された値以下となるサブバンドの選択範囲であり、かつ、前記複数のサブバンド毎のエネルギであるサブバンドエネルギの合計が最大となる前記サブバンドの選択範囲である、特定サブバンド群を示す帯域情報と、を受信する受信手段と、前記複数の符号化レイヤのうち一部の符号化レイヤのみに対して復号処理が行われる場合、前記インデックス情報のうち、前記帯域情報に示される前記特定サブバンド群に対応する部分のみを復号して復号信号を生成する復号手段と、を備える。
本発明の第３の態様に係る符号化方法は、符号化処理をまとめて行う複数の符号化レイヤを有する符号化装置における符号化方法であって、前記複数の符号化レイヤに入力されるスペクトルデータを分割して複数のサブバンドを生成し、前記複数のサブバンドに対して近傍探索を行うことにより、前記複数のサブバンドのスペクトルのラティスベクトルを算出する探索ステップと、前記ラティスベクトルを用いて、前記複数のサブバンド毎にマルチレートインデキシングを行い、前記複数のサブバンド毎のマルチレートインデキシングの結果を示すインデックス情報を生成する符号化ステップと、前記インデックス情報において前記複数のサブバンド毎に割り当てられる符号化ビット数、及び、前記複数のサブバンド毎のエネルギであるサブバンドエネルギを用いて、前記複数のサブバンドのうち、前記符号化ビット数の合計が予め設定された値以下となるサブバンドの選択範囲であり、かつ、前記サブバンドエネルギの合計が最大となる前記サブバンドの選択範囲を、前記複数の符号化レイヤにおける、特定サブバンド群として決定する選択ステップと、を備える。
本発明の第４の態様に係る復号方法は、符号化処理をまとめて行う複数の符号化レイヤを有する符号化装置からの信号を復号する復号装置における復号方法であって、前記符号化装置で生成された、前記複数の符号化レイヤに入力されたスペクトルデータを分割して生成された複数のサブバンドに対する近傍探索を行うことにより得られたラティスベクトルを用いた、前記複数のサブバンド毎のマルチレートインデキシングを行って得られた結果を示すインデックス情報と、前記複数のサブバンド毎に割り当てられた符号化ビット、及び、前記複数のサブバンド毎のエネルギであるサブバンドエネルギを用いて、前記複数のサブバンドのうち、前記マルチレートインデキシングにおいて前記複数のサブバンド毎に割り当てられた符号化ビット数の合計が予め設定された値以下となるサブバンドの選択範囲であり、かつ、前記複数のサブバンド毎のエネルギであるサブバンドエネルギの合計が最大となる前記サブバンドの選択範囲である、特定サブバンド群を示す帯域情報と、を受信する受信ステップと、前記複数の符号化レイヤのうち一部の符号化レイヤのみに対して復号処理が行われる場合、前記インデックス情報のうち、前記帯域情報に示される前記特定サブバンド群に対応する部分のみを復号して復号信号を生成する復号ステップと、を備える。
本発明によれば、聴感的な重要度を考慮した符号化処理、符号化パラメータ生成処理を行い、復号信号の品質を改善することができる。
本発明の実施の形態１に係る符号化装置及び復号装置を有する通信システムの構成を示すブロック図 図１に示した符号化装置の内部の主要な構成を示すブロック図 図２に示した第３−４レイヤ符号化部の内部の主要な構成を示すブロック図 図３に示したマルチレートインデキシング部における処理のフローチャート 図３に示した帯域選択部における処理の概要を示す図 図３に示したインデックス情報調整部における処理の概要を示す図 図２に示した第３−４レイヤ復号部の内部の主要な構成を示すブロック図 図７に示したインデックス情報調整部における処理の概要を示す図 図１に示した復号装置の内部の主要な構成を示すブロック図 図９に示した第３−４レイヤ復号部の内部の主要な構成を示すブロック図 本発明の実施の形態２に係る符号化装置の内部の主要な構成を示すブロック図 図１１に示した第２レイヤ符号化部の内部の主要な構成を示すブロック図 本発明の実施の形態２に係る復号装置の内部の主要な構成を示すブロック図 図１３に示した第２レイヤ復号部の内部の主要な構成を示すブロック図
以下、本発明の各実施の形態について、図面を参照して詳細に説明する。なお、本発明に係る符号化装置及び復号装置として、音声符号化装置及び音声復号装置を例にとって説明する。
（実施の形態１）
図１は、本実施の形態に係る符号化装置及び復号装置を有する通信システムの構成を示すブロック図である。図１において、通信システムは、符号化装置１０１と復号装置１０３とを備える。符号化装置１０１と復号装置１０３とは、伝送路１０２を介して通信可能な状態となっている。なお、符号化装置及び復号装置はいずれも、通常、基地局装置又は通信端末装置等に搭載されて用いられる。
符号化装置１０１は、入力信号をＮ（Ｎは自然数）サンプルずつ区切り、Ｎサンプルを１フレームとしてフレーム毎に符号化を行う。すなわち、Ｎサンプルが符号化処理単位とされる。ここで、各符号化処理単位に対応する入力信号をｘｎ（ｎ＝０、…、Ｎ−１）と表す。ｎは、入力信号がＮサンプルずつ区切られた信号要素群のうち、（ｎ＋１）番目の信号要素を示す。符号化装置１０１は、符号化によって得られた情報（以下「符号化情報」という）を、伝送路１０２を介して復号装置１０３に送信する。
復号装置１０３は、伝送路１０２を介して符号化装置１０１から送信された符号化情報を受信し、受信した符号化情報を復号し出力信号を得る。
図２は、図１に示した符号化装置１０１の内部の主要な構成を示すブロック図である。符号化装置１０１は、一例として５つの符号化階層（レイヤ）からなる階層符号化装置とする。ここでは、ビットレートの低い方から順に、第１レイヤ、第２レイヤ、第３レイヤ、第４レイヤ、第５レイヤと呼ぶ。なお、本実施の形態で説明する符号化装置１０１の構成は、非特許文献１の符号化装置と同様の構成である。ただし、本実施の形態で説明する符号化装置１０１の構成は、入力信号が音声信号であると判定された場合の符号化処理の構成である。また、符号化装置１０１において、第３レイヤと第４レイヤの符号化／復号処理はまとめて行われるため、図２では、第３レイヤと第４レイヤを統合し、第３−４レイヤとして表記している。また、符号化装置１０１において、第３−４レイヤ符号化部以外の構成要素については、非特許文献１に開示されている構成要素と同一であるため、詳細な説明は省略する。
図２に示す符号化装置１０１の第１レイヤ符号化部２０１は、入力信号に対して、ＣＥＬＰ（Code Excited Linear Prediction）方式の音声符号化方法を用いて符号化を行って、第１レイヤ符号化情報を生成し、生成した第１レイヤ符号化情報を第１レイヤ復号部２０２及び符号化情報統合部２１２に出力する。
第１レイヤ復号部２０２は、第１レイヤ符号化部２０１から入力される第１レイヤ符号化情報に対して、ＣＥＬＰ方式の音声復号方法を用いて復号を行って、第１レイヤ復号信号を生成し、生成した第１レイヤ復号信号を加算部２０３に出力する。
加算部２０３は、第１レイヤ復号部２０２から入力される第１レイヤ復号信号の極性を反転させて、入力信号に加算することにより、入力信号と第１レイヤ復号信号との差分信号を算出し、得られた差分信号を第１レイヤ差分信号として直交変換処理部２０４に出力する。
直交変換処理部２０４は、バッファｂｕｆ１（ｎ）（ｎ＝０、…、Ｎ−１）を内部に有し、加算部２０３から入力される第１レイヤ差分信号ｘ１（ｎ）を修正離散コサイン変換（ＭＤＣＴ：Modified Discrete Cosine Transform。つまり、直交変換）することにより、周波数領域パラメータ（周波数領域信号。つまり、スペクトルデータ）に変換する。
ここで、直交変換処理部２０４における直交変換処理について、その計算手順及び内部バッファへのデータ出力に関して説明する。
まず、直交変換処理部２０４は、次式（１）によりバッファｂｕｆ１（ｎ）を、「０」を初期値として初期化する。
Figure 2011132368
次いで、直交変換処理部２０４は、次式（２）に従って、第１レイヤ差分信号ｘ１（ｎ）に対し修正離散コサイン変換（ＭＤＣＴ）を行い、第１レイヤ差分信号ｘ１（ｎ）のＭＤＣＴ係数（以下「第１レイヤ差分スペクトル」と呼ぶ）Ｘ１（ｋ）を求める。
Figure 2011132368
ここで、ｋは１フレームにおける各サンプルのインデックスを示す。直交変換処理部２０４は、第１レイヤ差分信号ｘ１（ｎ）とバッファｂｕｆ１（ｎ）とを結合させたベクトルであるｘ１’（ｎ）を次式（３）により求める。
Figure 2011132368
次いで、直交変換処理部２０４は、次式（４）によりバッファｂｕｆ１（ｎ）を更新する。
Figure 2011132368
そして、直交変換処理部２０４は、第１レイヤ差分スペクトルＸ１（ｋ）（第１レイヤ差分信号を直交変換して形成されるスペクトルデータ）を、第２レイヤ符号化部２０５及び加算部２０７に出力する。
第２レイヤ符号化部２０５は、直交変換処理部２０４から入力される第１レイヤ差分スペクトルＸ１（ｋ）を用いて第２レイヤ符号化情報を生成し、生成した第２レイヤ符号化情報を第２レイヤ復号部２０６及び符号化情報統合部２１２に出力する。なお、第２レイヤ符号化部２０５の詳細については非特許文献１に開示されているため、ここでは省略する。
第２レイヤ復号部２０６は、第２レイヤ符号化部２０５から入力される第２レイヤ符号化情報を復号し、第２レイヤ復号スペクトルを算出し、算出した第２レイヤ復号スペクトルを加算部２０７に出力する。なお、第２レイヤ復号部２０６の詳細については非特許文献１に開示されているため、ここでは省略する。
加算部２０７は、第２レイヤ復号部２０６から入力される第２レイヤ復号スペクトルの極性を反転させて、直交変換処理部２０４から入力される第１レイヤ差分スペクトルに加算することにより、第１レイヤ差分スペクトルと第２レイヤ復号スペクトルとの差分スペクトルを算出する。そして、加算部２０７は、得られた差分スペクトルを第２レイヤ差分スペクトルとして第３−４レイヤ符号化部２０８及び加算部２１０に出力する。
第３−４レイヤ符号化部２０８は、加算部２０７から入力される第２レイヤ差分スペクトルを用いて第３−４レイヤ符号化情報を生成する。そして、第３−４レイヤ符号化部２０８は、生成した第３−４レイヤ符号化情報を第３−４レイヤ復号部２０９及び符号化情報統合部２１２に出力する。なお、第３−４レイヤ符号化部２０８の詳細については後述する。
第３−４レイヤ復号部２０９は、第３−４レイヤ符号化部２０８から入力される第３−４レイヤ符号化情報を復号し、第３−４レイヤ復号スペクトルを算出し、算出した第３−４レイヤ復号スペクトルを加算部２１０に出力する。なお、第３−４レイヤ復号部２０９の詳細については後述する。
加算部２１０は、第３−４レイヤ復号部２０９から入力される第３−４レイヤ復号スペクトルの極性を反転させて、加算部２０７から入力される第２レイヤ差分スペクトルに加算することにより、第２レイヤ差分スペクトルと第３−４レイヤ復号スペクトルとの差分スペクトルを算出する。そして、加算部２１０は、得られた差分スペクトルを第３−４レイヤ差分スペクトルとして第５レイヤ符号化部２１１に出力する。
第５レイヤ符号化部２１１は、加算部２１０から入力される第３−４レイヤ差分スペクトルを用いて第５レイヤ符号化情報を生成する。そして、第５レイヤ符号化部２１１は、生成した第５レイヤ符号化情報を符号化情報統合部２１２に出力する。なお、第５レイヤ符号化部２１１の詳細については非特許文献１に開示されているため、ここでは省略する。
符号化情報統合部２１２は、第１レイヤ符号化部２０１から入力される第１レイヤ符号化情報と、第２レイヤ符号化部２０５から入力される第２レイヤ符号化情報と、第３−４レイヤ符号化部２０８から入力される第３−４レイヤ符号化情報と、第５レイヤ符号化部２１１から入力される第５レイヤ符号化情報とを統合する。そして、符号化情報統合部２１２は、統合された情報源符号に対し、必要であれば伝送誤り符号などを付加した上でこれを符号化情報として伝送路１０２に出力する。
図３は、図２に示す第３−４レイヤ符号化部２０８の内部の主要な構成を示すブロック図である。第３−４レイヤ符号化部２０８は、グローバルゲイン算出部３０１、近傍探索部３０２、マルチレートインデキシング部３０３、帯域選択部３０４、インデックス情報調整部３０５及び多重化部３０６から主に構成される。各部は以下の動作を行う。
グローバルゲイン算出部３０１は、加算部２０７から入力される第２レイヤ差分スペクトルＸ２（ｋ）に対するグローバルゲインを算出する。グローバルゲインの算出方法については、非特許文献１に開示されており、本実施の形態における算出方法も同一方法である。具体的には、グローバルゲイン算出部３０１は、次式（５）及び次式（６）に従って、グローバルゲインｇを算出する。グローバルゲイン算出部３０１は、式（６）に従って算出したグローバルゲインｇを多重化部３０６に出力する。ここで、式（５）におけるＮＢ＿ＢＩＴＳは符号化処理に利用できるビット数を表し、Ｐは第２レイヤ差分スペクトルＸ２（ｋ）を分割するサブバンド数を表す。
Figure 2011132368
Figure 2011132368
より詳細には、式（５）における１段目には、初期化に関する式が記載されている。そして、初期化の後に、式（５）では、３段目に記載された式による、第１のオフセット計算が行われる。一方で、式（５）では、６，７段目に記載された式による、第２のオフセット計算も行われる。また、式（５）における４段目に記載された式により、ｎｂｉｔｓが求められる。そして、式（５）における５段目の条件に基づいて、第１のオフセット計算によって求められたオフセット（ｏｆｆｓｅｔ）、又は、第２のオフセット計算によって求められたオフセット（ｏｆｆｓｅｔ）が選択される。すなわち、式（５）における５段目の条件が満たされない場合には、第１のオフセット計算によって求められたオフセットが選択される。一方、式（５）における５段目の条件が満たされる場合には、第２のオフセット計算によって求められたオフセットが選択される。
そして、式（６）では、式（５）で選択されたオフセット（ｏｆｆｓｅｔ）に基づいて、グローバルゲインｇが求められる。このグローバルゲインｇは、多重化部３０６へ出力される。
また、グローバルゲイン算出部３０１は、式（６）により算出したグローバルゲインｇを用いて第２レイヤ差分スペクトルＸ２（ｋ）を式（７）に従って正規化し、正規化した第２レイヤ差分スペクトルＸ’２（ｋ）を近傍探索部３０２に出力する。
Figure 2011132368
近傍探索部３０２は、グローバルゲイン算出部３０１における処理と同様にして、グローバルゲイン算出部３０１から入力される正規化された第２レイヤ差分スペクトルＸ’２（ｋ）（スペクトルデータ）をＰ個のサブバンドに分割する。ここで、Ｐ個の各サブバンドを構成するサンプル（ＭＤＣＴ係数）の数、つまり、サブバンド幅をそれぞれＱ（ｐ）とする。なお、以下では、説明の簡略化のため、各サブバンド幅が全てＱである場合について説明するが、もちろん本発明はサブバンド毎にサブバンド幅が異なる場合についても同様に適用できる。
近傍探索部３０２は、Ｐ個に分割した各サブバンドのスペクトルに対して、近傍探索処理を行う。なお、以下の説明では、各サブバンドのスペクトルをサブスペクトルＳＳｐ（ｋ）（ｐ＝０、・・・、Ｐ−１、ｋ＝ＢＳｐ、・・・、ＢＥｐ）と呼ぶ。ここで、ＢＳｐ、及びＢＥｐは各サブバンドの先頭サンプルのインデックス、及び最終サンプルのインデックスをそれぞれ表す。近傍探索部３０２は、サブスペクトルＳＳｐ（ｋ）に対して、非特許文献１及び非特許文献３で開示されている技術を用いて、サブスペクトルＳＳｐ（ｋ）の近傍ベクトル（ラティス（lattice）ベクトル（格子ベクトル））を算出する。具体的には、近傍探索部３０２は、次式（８）に従い、ＲＥ８に含まれるサブベクトル（ラティスベクトル（lattice point）ｙ１ｐ又はｙ２ｐ）を算出する。ここで、ＲＥ８はいわゆる循環Gosset格子（rotated Gosset lattice）の集合を意味する。ＲＥ８及び式（８）の処理の詳細については、非特許文献１、非特許文献２を参照されたい。
Figure 2011132368
近傍探索部３０２は、算出した近傍ベクトル（式（８）におけるｙ１ｐ又はｙ２ｐ）をマルチレートインデキシング部３０３に出力する。
マルチレートインデキシング部３０３は、非特許文献１及び非特許文献３で開示されている技術を用いて、近傍探索部３０２から入力される近傍ベクトルを用いて、各サブバンドに対してマルチレートインデキシングを行い、各サブバンドのマルチレートインデキシング結果を示すインデックス情報を生成する。
ここで、図４に、マルチレートインデキシング部３０３の処理フローを示す。なお、以下では、非特許文献１に記載されているＡＶＱ符号化部と同様に、レイヤ３及びレイヤ４に割り当てられる合計ビット数（ここでは例えばレイヤ３及びレイヤ４にそれぞれ４ｋｂｐｓ、８ｋｂｐｓが割り当てられ、合計のビットレートが１２ｋｂｐｓとする）に対して符号化処理する場合について説明する。
ステップ（以下、ＳＴと記す）１０１０では、マルチレートインデキシング部３０３は、サブバンド毎に、サブスペクトルＳＳｐ（ｋ）のエネルギを算出し、算出したサブバンド毎のエネルギ（サブバンドエネルギ）をエネルギの降順にソートする。ここで、各サブスペクトルのサブバンドエネルギＥｐは次式（９）により算出される。
Figure 2011132368
ＳＴ１０２０では、マルチレートインデキシング部３０３は、全サブバンドのサブスペクトルＳＳｐ（ｋ）が量子化済みか否かを判定する。マルチレートインデキシング部３０３において全サブバンドのサブスペクトルＳＳｐ（ｋ）が既に量子化済みである場合（ＳＴ１０２０：ＹＥＳ）にはＳＴ１０７０に進み、量子化済みでない場合（ＳＴ１０２０：ＮＯ）はＳＴ１０３０に進む。
ＳＴ１０３０では、マルチレートインデキシング部３０３は、各サブバンドのサブスペクトルＳＳｐ（ｋ）のマルチレートインデキシング（量子化）を行い、各サブバンドのサブスペクトルＳＳｐ（ｋ）のマルチレートインデキシング（量子化）結果を示すインデックス情報を生成する。なお、マルチレートインデキシング処理の詳細については、非特許文献３に開示されているため、ここでは説明を省略する。
ＳＴ１０４０では、マルチレートインデキシング部３０３は、ＳＴ１０３０でマルチレートインデキシング（量子化）に使用したビットの合計がマルチレートインデキシング部３０３に割り当てられているビットを超えていないかどうかの判定を行う。ここで、図４に示すＳＴ１０４０において、ＢＩＴｎは、処理を開始（スタート）してから現時点までのＳＴ１０３０においてマルチレートインデキシング処理で使用したビットの合計を示し、ｍは現在量子化対象であるサブバンドのサブスペクトルのマルチレートインデキシング処理で使用したビット数を示し、ＢＩＴＴＯＴＡＬはマルチレートインデキシング部３０３に割り当てられているビット数を示す。つまり、ＳＴ１０４０では、ＢＩＴｎにｍを加算した値がＢＩＴＴＯＴＡＬ以下である場合（ＳＴ１０４０：ＹＥＳ）にはＳＴ１０６０に進み、ＢＩＴｎにｍを加算した値がＢＩＴＴＯＴＡＬより大きい場合（ＳＴ１０４０：ＮＯ）にはＳＴ１０５０に進む。
ＳＴ１０５０では、マルチレートインデキシング部３０３は、現在量子化対象であるサブバンド（図４に示す当該サブバンド）のサブスペクトルの値（スペクトル値）ＳＳｐ（ｋ）を次式（１０）に従って、ゼロに設定する。
Figure 2011132368
ＳＴ１０６０では、マルチレートインデキシング部３０３は、マルチレートインデキシング処理で使用したビットの合計値ＢＩＴｎを（ＢＩＴｎ＋ｍ）に更新する。
ＳＴ１０７０では、マルチレートインデキシング部３０３は、ＳＴ１０１０で算出した各サブバンドのサブバンドエネルギを示すサブバンドエネルギ情報、ＳＴ１０３０で算出したインデックス情報、及び、マルチレートインデキシング部３０３に割り当てられている符号化ビットレートを帯域選択部３０４に出力し、処理を終了する。
帯域選択部３０４（図３）は、マルチレートインデキシング部３０３から入力されるインデックス情報、サブバンドエネルギ情報、及び、マルチレートインデキシング部３０３に割り当てられている符号化ビットレートを用いて、聴感的に重要な特定のサブバンド群（重要サブバンド群）を選択する。ここで、マルチレートインデキシング部３０３に割り当てられている符号化ビットレートとして、レイヤ３に割り当てられている４ｋｂｐｓを例に挙げて説明する。以下、帯域選択部３０４における帯域選択方法について説明する。
帯域選択部３０４は、インデックス情報に含まれる各サブバンドのサブスペクトルの量子化に使用したビット数（つまり、各サブバンドに割り当てられた符号化ビット数）の合計が、予め設定された符号化ビットレート（ビット数。ここでは、レイヤ３に割り当てられている符号化ビットレート（４ｋｂｐｓ））以下である条件において、サブバンドエネルギ情報に示されるサブバンドエネルギが最大となる特定のサブバンド群を、重要サブバンド群として選択する。
つまり、帯域選択部３０４は、複数のサブバンド毎のマルチレートインデキシングに使用した符号化ビット数（複数のサブバンド毎に割り当てられる符号化ビット数）、及び、複数のサブバンド毎のサブバンドエネルギを用いて、複数のサブバンドのうち、符号化ビット数の合計が予め設定された値（ここではレイヤ３に割り当てられている符号化ビットレート）以下となるサブバンドの範囲であり、かつ、サブバンドエネルギの合計が最大となるサブバンドの範囲を、レイヤ３及びレイヤ４（まとめて符号化処理される符号化レイヤ）における聴感的に重要な特定のサブバンド群（重要サブバンド群）として決定する。ただし、ここでは、サブバンドを周波数の昇順に並べた場合に対して（降順でも可）、連続するサブバンドの集合のみを重要サブバンド群の対象にするものとする。
図５に帯域選択部３０４における処理の概要を示す。図５に示す各ブロック（□（四角））は各サブバンドを意味する。また、図５において、ブロック内の数値はサブバンドエネルギの順位（数字が小さいほど、サブバンドエネルギが大きいものとする。）を示し、各サブバンドの下の数値Ｂｎはサブバンドのサブスペクトルの量子化に使用するビット数を示し、Ｅｎはサブバンドエネルギを示す。また、図５では、サブバンドエネルギが大きい方から５番目までのサブバンドしか示していないが、６番目以降についても同様に考えることができる。
なお、非特許文献１に記載されているマルチレートインデキシング部の方法では、符号化ビットが不足すると、高域側の幾つかのサブバンドは符号化されず、ビットも割り当てられないことがある。従って、図５に示すサブバンド数はフレーム毎に異なることがあり得る。
また、図５に示す第ｎエントリ（ｎ＝１，２，３，…）とは、重要サブバンド群の選択候補（サブバンドの選択範囲）を意味する。図５に示したように、帯域選択部３０４は、連続するサブバンド群に対する使用ビット数がレイヤ３の符号化ビット数（４ｋｂｐｓ相当）以下となるエントリのうち、合計サブバンドエネルギが最大となるエントリを探索する。そして、帯域選択部３０４は、探索したエントリ（つまり、重要サブバンド群）の開始サブバンド位置を帯域符号化情報としてインデックス情報調整部３０５に出力する。例えば、図５において、第２エントリが重要サブバンド群として選択された場合、サブバンドエネルギの順位が「１」であるサブバンドのインデックス（図５では先頭から５番目であるのでインデックスは４）が帯域符号化情報に相当する。
なお、重要サブバンド群は連続するサブバンドを対象とするため、候補エントリのうち、最も低域側の候補エントリは「先頭サブバンドを最初のサブバンドとする候補エントリ」であり、最も高域側の候補エントリは「終端サブバンドを最後のサブバンドとするエントリ」である。つまり、先頭サブバンド又は終端サブバンドの境界を超えるような候補エントリは対象としないものとする。
また、帯域選択部３０４は、マルチレートインデキシング部３０３から入力されたインデックス情報もインデックス情報調整部３０５に出力する。
インデックス情報調整部３０５は、帯域選択部３０４から入力されるインデックス情報及び帯域符号化情報を用いて、インデックス情報の並び替え処理を行う。具体的には、インデックス情報調整部３０５は、全サブバンドのインデックス情報のうち帯域符号化情報が示すサブバンドを含む重要サブバンド群に対応する部分が先頭に位置し、残りのサブバンドのインデックス情報がその後ろに位置するように、インデックス情報の並び替え処理を行う。
図６にインデックス情報調整部３０５における並び替え処理の概念図を示す。なお、インデックス情報調整部３０５は、帯域選択部３０４と同様にして、帯域符号化情報と、インデックス情報の量子化に使用された符号化ビット数とから、上記重要サブバンド群がどのサブバンドを含むのかを算出できる。図６では、帯域選択部３０４において、第２エントリが示すサブバンド群が重要サブバンド群として算出された場合について説明する。
まず、インデックス情報調整部３０５は、図６Ａに示すステップ１において、帯域符号化情報を用いて、周波数の昇順にソートしたインデックス情報に対して、重要サブバンド群を算出する。インデックス情報調整部３０５で選択される重要サブバンド群は、帯域選択部３０４で選択された重要サブバンド群と同一である。
次いで、インデックス情報調整部３０５は、図６Ｂに示すステップ２において、ステップ１で選択した重要サブバンド群、前記重要サブバンド群よりも低域側のサブバンド（低域サブバンド群）、前記重要サブバンド群よりも高域側のサブバンド（高域サブバンド群）に切り分ける。
次いで、インデックス情報調整部３０５は、図６Ｃに示すステップ３において、ステップ１で選択した重要サブバンド群を先頭にし、それ以外のサブバンドについては、周波数の昇順を維持したまま、前記重要サブバンド群に後続させる形で並び替える。つまり、並び順としては、図６に示すように、低域側から、「重要サブバンド群」、「低域サブバンド群」、「高域サブバンド群」となる。
以上が、インデックス情報調整部３０５における、インデックス情報の並び替え処理の説明である。次いで、インデックス情報調整部３０５は、並び替え後のインデックス情報と帯域符号化情報とを多重化部３０６に出力する。
多重化部３０６は、グローバルゲイン算出部３０１から入力されるグローバルゲインｇと、インデックス情報調整部３０５から入力されるインデックス情報及び帯域符号化情報と、を多重化して第３−４レイヤ符号化情報を生成する。そして、多重化部３０６は、生成した第３−４レイヤ符号化情報を、第３−４レイヤ復号部２０９及び符号化情報統合部２１２に出力する。
以上が、第３−４レイヤ符号化部２０８の処理の説明である。
図７は、図２に示す第３−４レイヤ復号部２０９の内部の主要な構成を示すブロック図である。第３−４レイヤ復号部２０９は、分離部７０１、インデックス情報調整部７０２及びマルチレート復号部７０３から主に構成される。
分離部７０１は、第３−４レイヤ符号化部２０８から入力される第３−４レイヤ符号化情報を、インデックス情報と、帯域符号化情報と、グローバルゲインとに分離する。そして、分離部７０１は、インデックス情報及び帯域符号化情報をインデックス情報調整部７０２に出力し、グローバルゲインをマルチレート復号部７０３に出力する。
インデックス情報調整部７０２は、分離部７０１から出力されるインデックス情報及び帯域符号化情報を用いて、インデックス情報の並び替え処理を行う。具体的には、インデックス情報調整部７０２は、帯域符号化情報を用いて、インデックス情報の並び替え処理を行う。ここで、インデックス情報調整部７０２は、第３−４レイヤ符号化部２０８内のインデックス情報調整部３０５（図３）と逆の処理を行う。以下にインデックス情報調整部７０２の処理について説明する。
図８にインデックス情報調整部７０２の処理の概念図を示す。ここで、図８中の表記は、図６中の表記と同様である。なお、第３−４レイヤ復号部２０９内の復号処理（図８）では、サブバンドエネルギの順位（サブバンドエネルギの大きい方から何番目かを示す番号）は特に必要ないが、図８では、第３−４レイヤ符号化部２０８内の符号化処理と対比しやすいように表記している。
まず、インデックス情報調整部７０２は、図８Ａに示すステップ１において、分離部７０１から出力される帯域符号化情報を復号し、分離部７０１から出力されるインデックス情報の先頭サブバンドの周波数帯域（先頭サブバンドが周波数領域のどの帯域に対応するか）を算出する。次いで、インデックス情報調整部７０２は、先頭サブバンドから順に、各サブバンドで使用する符号化ビット数を加算していき、合計ビット数が予め指定されたビット数を超えない最大となるサブバンドの位置を探索し、重要サブバンド群を決定する。ここで、予め指定されたビット数とは、レイヤ３の符号化ビット数（４ｋｂｐｓ相当）を意味する。図８Ａでは、先頭から４番目までのサブバンドを重要サブバンド群とした場合を示している。
次いで、インデックス情報調整部７０２は、図８Ｂに示すステップ２において、ステップ１で求めた重要サブバンド群に後続するサブバンドのうち、重要サブバンド群よりも周波数領域で低い帯域に相当するサブバンド（低域サブバンド群）を決定する。これは、ステップ１において算出した先頭サブバンドの周波数帯域から算出することができる。つまり、インデックス情報調整部７０２は、ステップ１における先頭サブバンドの周波数帯域から、先頭サブバンドよりも低域側に幾つのサブバンドが存在するかを求め、重要サブバンド群に後続するサブバンドから求めたサブバンド数分を低域側サブバンド群と判定すればよい。このとき、サブバンドの分割方法は、第３−４レイヤ符号化部２０８において行った分割方法と同様である。インデックス情報調整部７０２では、上記方法によって決定した低域サブバンド群に後続する部分を、周波数領域で重要サブバンド群よりも高い帯域に相当するサブバンド（高域サブバンド群）とする。
次いで、インデックス情報調整部７０２は、図８Ｃに示すステップ３において、ステップ１及びステップ２で決定した、重要サブバンド群、低域サブバンド群、高域サブバンド群を、低域側から、「低域サブバンド群」、「重要サブバンド群」、「高域サブバンド群」となるように並び替える。
インデックス情報調整部７０２は、以上の処理によって並び替えを行ったインデックス情報をマルチレート復号部７０３に出力する。
マルチレート復号部７０３は、分離部７０１から入力されるグローバルゲイン、及び、インデックス情報調整部７０２から入力されるインデックス情報を復号し、第３−４レイヤ復号スペクトルを算出する。そして、マルチレート復号部７０３は、算出した第３−４レイヤ復号スペクトルを加算部２１０に出力する。なお、マルチレート復号部７０３における復号処理の詳細については、非特許文献１に開示されているため、ここでは説明を省略する。
以上が、符号化装置１０１における処理の説明である。
図９は、図１に示した復号装置１０３の内部の主要な構成を示すブロック図である。復号装置１０３は、一例として５つの復号階層（レイヤ）からなる階層復号装置とする。ここでは、符号化装置１０１と同様、ビットレートの低い方から順に、第１レイヤ、第２レイヤ、第３レイヤ、第４レイヤ、第５レイヤと呼ぶことにする。また、符号化装置１０１に対応して、第３レイヤ及び第４レイヤの復号処理をまとめて第３−４レイヤ復号部８０４にて行う。
符号化情報分離部８０１は、伝送路１０２を介して符号化装置１０１から送られる符号化情報を受信し、受信した符号化情報を各レイヤの符号化情報に分離し、それぞれの復号処理を担当する復号部に出力する。具体的には、符号化情報分離部８０１は、符号化情報に含まれる第１レイヤ符号化情報を第１レイヤ復号部８０２に出力し、符号化情報に含まれる第２レイヤ符号化情報を第２レイヤ復号部８０３に出力し、符号化情報に含まれる第３−４レイヤ符号化情報を第３−４レイヤ復号部８０４に出力し、符号化情報に含まれる第５レイヤ符号化情報を第５レイヤ復号部８０６に出力する。なお、符号化情報分離部８０１は、符号化情報に、或るレイヤの符号化情報が含まれていない場合には、該当するレイヤの復号部には何も出力しない。また、符号化情報分離部８０１は、第３−４復号レイヤの復号動作の制御を行う。具体的には、符号化情報分離部８０１は、符号化情報に第３−４レイヤ符号化情報が含まれており、かつ、前記第３−４符号化情報が第３レイヤと第４レイヤの符号化ビット数の合計ビット数である場合には、第３−４復号レイヤの復号動作を「通常モード（Ｌ３−Ｌ４モード）」に制御する。また、符号化情報分離部８０１は、符号化情報に第３−４レイヤ符号化情報が含まれているが、第３−４符号化情報が第３レイヤの符号化ビット数のみである場合には、第３−４復号レイヤの復号動作を「低ビットレートモード（Ｌ３モード）」に制御する。図９では、この符号化情報分離部８０１の制御動作を破線で示している。
第１レイヤ復号部８０２は、符号化情報分離部８０１から入力される第１レイヤ符号化情報に対して、ＣＥＬＰ方式の音声復号方法を用いて復号を行って第１レイヤ復号信号を生成し、生成した第１レイヤ復号信号を加算部８０９に出力する。
第２レイヤ復号部８０３は、符号化情報分離部８０１から入力される第２レイヤ符号化情報を復号し、得られる第２レイヤ復号スペクトルＸ２”（ｋ）を加算部８０５に出力する。第２レイヤ復号部８０３の処理については非特許文献１に開示されているため、ここでは説明を省略する。
第３−４レイヤ復号部８０４は、符号化情報分離部８０１から入力される第３−４レイヤ符号化情報を復号し、得られる第３−４レイヤ復号スペクトルＸ３４”（ｋ）を加算部８０５に出力する。また、第３−４レイヤ復号部８０４は、符号化情報分離部８０１によって、その復号動作を制御される。第３−４レイヤ復号部８０４の処理の詳細については後述する。
加算部８０５には、第２レイヤ復号部８０３から第２レイヤ復号スペクトルＸ２”（ｋ）が入力され、第３−４レイヤ復号部８０４から第３−４レイヤ復号スペクトルＸ３４”（ｋ）が入力される。加算部８０５は、入力された第２レイヤ復号スペクトルＸ２”（ｋ）及び第３−４レイヤ復号スペクトルＸ３４”（ｋ）を加算し、加算したスペクトルを第１加算スペクトルＸａｄｄ１”（ｋ）として加算部８０７に出力する。
第５レイヤ復号部８０６は、符号化情報分離部８０１から入力される第５レイヤ符号化情報を復号し、得られる第５レイヤ復号スペクトルＸ５”（ｋ）を加算部８０７に出力する。第５レイヤ復号部８０６の処理については非特許文献１に開示されているため、ここでは説明を省略する。
加算部８０７には、加算部８０５から第１加算スペクトルＸａｄｄ１（ｋ）が入力され、第５レイヤ復号部８０６から第５レイヤ復号スペクトルＸ５”（ｋ）が入力される。加算部８０７は、入力された第１加算スペクトルＸａｄｄ１”（ｋ）及び第５レイヤ復号スペクトルＸ５”（ｋ）を加算し、加算したスペクトルを第２加算スペクトルＸａｄｄ２（ｋ）として直交変換処理部８０８に出力する。
直交変換処理部８０８は、まず、次式（１１）に従い内蔵のバッファｂｕｆ’（ｋ）を「０」値に初期化する。
Figure 2011132368
次いで、直交変換処理部８０８は、第２加算スペクトルＸａｄｄ２（ｋ）を入力とし、次式（１２）に従い第２加算復号信号ｙ”（ｎ）を求める。
Figure 2011132368
式（１２）において、Ｘ６（ｋ）は、第２加算スペクトルＸａｄｄ２（ｋ）とバッファｂｕｆ’（ｋ）とを結合させたベクトルであり、次式（１３）を用いて求められる。
Figure 2011132368
次いで、直交変換処理部８０８は、次式（１４）に従いバッファｂｕｆ’（ｋ）を更新する。
Figure 2011132368
そして、直交変換処理部８０８は、第２加算復号信号ｙ”（ｎ）を加算部８０９に出力する。
加算部８０９には、第１レイヤ復号部８０２から第１レイヤ復号信号が入力され、直交変換処理部８０８から第２加算復号信号が入力される。加算部８０９は、入力された第１レイヤ復号信号及び第２加算復号信号を加算し、加算した信号を出力信号として出力する。
図１０は、図９に示した第３−４レイヤ復号部８０４の内部の主要な構成を示すブロック図である。第３−４レイヤ復号部８０４は、分離部１００１、インデックス情報調整部１００２及びマルチレート復号部１００３から主に構成される。
分離部１００１は、符号化情報分離部８０１から出力される第３−４レイヤ符号化情報を、インデックス情報と、帯域符号化情報と、グローバルゲインとに分離する。次いで、分離部１００１は、インデックス情報及び帯域符号化情報をインデックス情報調整部１００２に出力し、グローバルゲインをマルチレート復号部１００３に出力する。
インデックス情報調整部１００２は、分離部１００１から出力されるインデックス情報及び帯域符号化情報を用いて、インデックス情報の並び替え処理を行う。また、インデックス情報調整部１００２は、符号化情報分離部８０１（図９）によって、その処理を制御される。以下、インデックス情報調整部１００２における処理の制御方法について説明する。
符号化情報分離部８０１による制御が「通常モード（Ｌ３−Ｌ４モード）」である場合、インデックス情報調整部１００２は、符号化装置１０１内のインデックス情報調整部７０２と逆の処理を行う。つまり、インデックス情報調整部１００２は、レイヤ３及びレイヤ４に対して復号処理が行われる場合、符号化装置１０１内のインデックス情報調整部７０２において重要サブバンド群に対応する部分が先頭に位置するように並び替えられたインデックス情報に対して、インデックス情報調整部７０２と逆の並び替え処理を行う。なお、ここではインデックス情報調整部１００２における並べ替え処理の具体的な説明を省略する。
一方、符号化情報分離部８０１による制御が「低ビットレートモード（Ｌ３モード）」である場合には、第３−４レイヤ符号化情報には、第３レイヤに割り当てられるビット数分のインデックス情報、つまり、重要サブバンド群のインデックス情報が格納されている。このとき、インデックス情報調整部１００２は、重要サブバンド群の先頭サブバンドの周波数がどの帯域であるかを示す帯域符号化情報と、インデックス情報をマルチレート復号部１００３に出力する。つまり、インデックス情報調整部１００２は、レイヤ３に対してのみ復号処理が行われる場合、符号化装置１０１内のインデックス情報調整部７０２において重要サブバンド群に対応する部分が先頭に位置するように並び替えられたインデックス情報に対して、並び替え処理を行わない。
マルチレート復号部１００３は、分離部１００１から入力されるグローバルゲインと、インデックス情報調整部１００２から入力されるインデックス情報及び帯域符号化情報とを、復号して第３−４レイヤ復号スペクトルを算出する。また、マルチレート復号部１００３は、符号化情報分離部８０１によって、その処理を制御される。以下、マルチレート復号部１００３における処理の制御方法について説明する。
符号化情報分離部８０１による制御が「通常モード（Ｌ３−Ｌ４モード）」である場合、マルチレート復号部１００３は、符号化装置１０１内のマルチレート復号部７０３と同様の処理を行う。ここでは、説明を省略する。なお、このときは、インデックス情報調整部１００２から帯域符号化情報は入力されなくてもよい。
符号化情報分離部８０１による制御が「低ビットレートモード（Ｌ３モード）」である場合には、マルチレート復号部１００３は、入力される帯域符号化情報から決定される周波数帯域に対して、インデックス情報を復号し、第３−４復号スペクトルを算出する。具体的には、マルチレート復号部１００３は、インデックス情報に含まれる先頭サブバンドを、帯域符号化情報が示す周波数帯域に対応させ、先頭サブバンドに対応する周波数帯域から周波数領域で高域側に順に、インデックス情報を復号する。このとき、マルチレート復号部１００３は、帯域符号化情報が示す周波数帯域よりも低域側については、第３−４復号スペクトルの値をゼロとする。同様に、マルチレート復号部１００３は、インデックス情報に対応する周波数帯域よりも高域側についても、第３−４復号スペクトルの値をゼロとする。つまり、マルチレート復号部１００３は、第３−４レイヤ符号化情報に格納されている第３レイヤに割り当てられるビット数分のインデックス情報（重要サブバンド群のインデックス情報）のみを、対応する周波数帯域のスペクトルとして復号する。
このように、マルチレート復号部１００３は、複数の符号化レイヤのうち一部の符号化レイヤのみに対して復号処理が行われる場合、インデックス情報のうち、帯域符号化情報に示される重要サブバンド群に対応する部分のみを復号し、復号信号（第３−４レイヤ復号スペクトル）を生成する。そして、マルチレート復号部１００３は、算出した第３−４レイヤ復号スペクトルを加算部８０５に出力する。
以上が、復号装置１０３における処理の説明である。
このようにして、符号化装置１０１は、符号化処理をまとめて行う複数の符号化レイヤ（レイヤ３及びレイヤ４）において、聴感的に重要であるサブバンド群を特定して帯域符号化情報を生成する。これにより、復号装置１０３は、伝送される符号化パラメータ（インデックス情報）のうち、どの部分がレイヤ３の符号化パラメータに相当するかを区別することができる。よって、例えば、復号装置１０３は、符号化処理をまとめて行う符号化レイヤのうち一部のみで復号処理が行われる場合（レイヤ１からレイヤ３までのビットレート（１２ｋｂｐｓ）で復号する場合）でも、レイヤ３及びレイヤ４をまとめて符号化処理した際の符号化パラメータのうち聴感的に重要な特定の部分を選択して復号処理することができる。よって、復号装置１０３では、全レイヤのＡＶＱパラメータを復号しない場合でも、復号信号の品質を向上させることができる。
また、符号化装置１０１は、インデックス情報のうち重要サブバンド群に対応する部分を先頭に位置するように、インデックス情報を並び替える。これにより、復号装置１０３は、符号化処理をまとめて行う符号化レイヤのうち一部のみで復号処理が行われる場合には、インデックス情報の先頭から順に、復号対象の符号化レイヤに対応する部分を復号すればよい。よって、復号装置１０３では、符号化処理をまとめて行う符号化レイヤのうち一部のみで復号処理が行われる場合には、より低演算量で復号処理を行うことができる。
よって、本実施の形態によれば、スケーラブル符号化方式に対して、複数の符号化レイヤを持つＡＶＱ技術を適用する構成において、符号化装置側で聴感的に重要な特定の符号化パラメータを部分的に選択し、符号化パラメータに前記聴感的な重要度を反映させる。これにより、全レイヤのＡＶＱパラメータを復号しない場合でも、復号信号の品質を向上させることができる。よって、本実施の形態によれば、聴感的な重要度を考慮した符号化処理、符号化パラメータ（符号化情報）生成処理を行い、復号信号の品質を改善することができる。
（実施の形態２）
実施の形態１では、ＡＶＱ符号化部が複数の符号化レイヤから構成される場合（スケーラブルである場合）について説明したのに対し、本実施の形態では、ＡＶＱ符号化部がマルチレート符号化方式である場合に対して本発明を適用した構成について説明する。
実施の形態２に係る通信システム（図示せず）は、図１に示した通信システムと基本的に同様であり、符号化装置の構成及び動作の一部、及び、復号装置の構成及び動作の一部のみにおいて、図１の通信システムの符号化装置１０１と相違する。以下、本実施の形態に係る通信システムの符号化装置に対し符号「１１１」を付し、復号装置に対し符号「１１３」を付して説明を行う。
図１１は、符号化装置１１１の内部の主要な構成を示すブロック図である。符号化装置１１１は、一例として２つの符号化階層（レイヤ）からなる階層符号化装置とする。ここで、ビットレートの低い方から順に、第１レイヤ、第２レイヤと呼ぶことにする。なお、第２レイヤはマルチレート符号化方式を採るものとする。
符号化装置１１１は、第１レイヤ符号化部２０１、第１レイヤ復号部２０２、加算部２０３、直交変換処理部１１０４、第２レイヤ符号化部１１０５、及び符号化情報統合部１１１２とから主に構成される。ここで、第１レイヤ符号化部２０１、第１レイヤ復号部２０２、及び加算部２０３については、実施の形態１（図２）で説明した構成と同様のため、同一の符号を付し、説明を省略する。
直交変換処理部１１０４は、加算部２０３から出力される第１レイヤ差分信号に対して直交変換を施し、周波数領域の成分である第１レイヤ差分スペクトルを算出する。直交変換処理部１１０４は、算出した第１レイヤ差分スペクトルを第２レイヤ符号化部１１０５に出力する。直交変換処理部１１０４における直交変換処理については、上述した方法（例えば、直交変換処理部２０４）と同様であるため、説明は省略する。
第２レイヤ符号化部１１０５は、直交変換処理部１１０４から出力される第１レイヤ差分スペクトルを入力とする。また、第２レイヤ符号化部１１０５には、外部より符号化時のビットレートが入力される。第２レイヤ符号化部１１０５は、前記ビットレートに基づいて、第１レイヤ差分スペクトルの符号化を行い、第２レイヤ符号化情報を算出する。次いで、第２レイヤ符号化部１１０５は、第２レイヤ符号化情報を符号化情報統合部１１１２に出力する。第２レイヤ符号化部１１０５の処理の詳細については後述する。
符号化情報統合部１１１２は、第１レイヤ符号化部２０１から入力される第１レイヤ符号化情報と、第２レイヤ符号化部１１０５から入力される第２レイヤ符号化情報とを統合する。そして、符号化情報統合部１１１２は、統合された情報源符号に対し、必要であれば伝送誤り符号などを付加した上でこれを符号化情報として伝送路１０２に出力する。
図１２は、第２レイヤ符号化部１１０５の内部の主要な構成を示すブロック図である。第２レイヤ符号化部１１０５は、グローバルゲイン算出部３０１、近傍探索部３０２、マルチレートインデキシング部３０３、帯域選択部１２０４、及び多重化部３０６から主に構成される。各部は以下の動作を行う。ここで、グローバルゲイン算出部３０１、近傍探索部３０２、マルチレートインデキシング部３０３及び多重化部３０６については、実施の形態１（図３）で説明した構成要素と同一であるため、同一の符号を付し、説明を省略する。但し、図１２に示すマルチレートインデキシング部３０３においては、ＢＩＴＴＯＴＡＬは外部から入力される符号化時のビットレートに対応するビット数であるという点のみ、実施の形態１で説明した構成要素とは異なる。
帯域選択部１２０４は、マルチレートインデキシング部３０３から入力されるインデックス情報、サブバンドエネルギ情報と、外部から入力される符号化時のビットレートとから、聴感的に重要な特定のサブバンド群（重要サブバンド群）を選択する。ここで、外部から入力されるビットレートとしては、４ｋｂｐｓ又は８ｋｂｐｓである場合を例に挙げて説明する。以下に、帯域選択部１２０４における帯域選択方法について説明する。
帯域選択部１２０４は、インデックス情報に含まれる各サブバンドのサブスペクトルの量子化に使用したビット数の合計が、外部から入力されるビットレート（ビット数）以下である条件において、サブバンドエネルギ情報が最大となるサブバンド群（重要サブバンド群）を選択する。つまり、帯域選択部１２０４は、実施の形態１の帯域選択部３０４と同様、マルチレートインデキシングにおいて複数のサブバンド毎に割り当てられた符号化ビット、及び、複数のサブバンド毎のサブバンドエネルギを用いて、複数のサブバンドのうち、符号化ビット数の合計が予め設定された値（ここでは外部から入力される符号化ビットレート）以下となるサブバンドの範囲であり、かつ、サブバンドエネルギの合計が最大となるサブバンドの範囲を、聴感的に重要な特定のサブバンド群（重要サブバンド群）として選択する。但し、ここでは、サブバンドを周波数の昇順（降順でも可）に並べた場合に対して、連続するサブバンドの集合のみを重要サブバンド群の対象にする。帯域選択部１２０４における重要サブバンド群の選択方法は、実施の形態１で説明した方法（帯域選択部３０４）と同一であるため、説明は省略する。帯域選択部１２０４は、選択した重要サブバンド群の開始サブバンド（先頭サブバンド）の周波数帯域を示す帯域符号化情報を多重化部３０６に出力する。また、帯域選択部１２０４は、重要サブバンド群に対応するインデックス情報のみを抜き出し、これを新たなインデックス情報として多重化部３０６に出力する。
つまり、帯域選択部１２０４は、実施の形態１で説明した帯域選択部３０４と比較して、「外部から入力されるビットレートに応じて、重要サブバンド群を探索する点」と「重要サブバンド群に対応するインデックス情報のみを多重化部３０６に出力する点」が異なる。
以上が、第２レイヤ符号化部１１０５における処理の説明である。
図１３は、本実施の形態に係る復号装置１１３の内部の主要な構成を示すブロック図である。復号装置１１３は、一例として２つの復号階層（レイヤ）からなる階層復号装置とする。ここでは、符号化装置１１１と同様、ビットレートの低い方から順に、第１レイヤ、第２レイヤと呼ぶことにする。また、符号化装置１０１に対応して、第２レイヤ復号部では、マルチレート復号処理を行う。
図１３に示すように、復号装置１１３は、符号化情報分離部１３０１、第１レイヤ復号部８０２、第２レイヤ復号部１３０３、直交変換処理部１３０８及び加算部１３０９とから主に構成される。ここで、第１レイヤ復号部８０２については、実施の形態１（図９）で説明した構成要素と同一であるため、同一の符号を付し説明を省略する。
符号化情報分離部１３０１は、伝送路１０２を介して符号化装置１１１から送られる符号化情報を受信し、受信した符号化情報を各レイヤの符号化情報に分離し、それぞれの復号処理を担当する復号部に出力する。具体的には、符号化情報分離部１３０１は、符号化情報に含まれる第１レイヤ符号化情報を第１レイヤ復号部８０２に出力し、符号化情報に含まれる第２レイヤ符号化情報を第２レイヤ復号部１３０３に出力する。
第２レイヤ復号部１３０３は、符号化情報分離部１３０１から入力される第２レイヤ符号化情報を復号し、得られる第２レイヤ復号スペクトルＸ２”（ｋ）を直交変換処理部１３０８に出力する。第２レイヤ復号部１３０３の処理の詳細については後述する。
直交変換処理部１３０８は、第２レイヤ復号部１３０３から入力される第２レイヤ復号スペクトルに対して直交変換を施し、時間領域の信号である第２レイヤ復号信号を算出する。直交変換処理部１３０８は、算出した第２レイヤ復号信号を加算部１３０９に出力する。ここで、直交変換処理部１３０８における直交変換処理は、実施の形態１の直交変換処理部８０８（図９）での直交変換処理と同様であるため、説明は省略する。
加算部１３０９には、第１レイヤ復号部８０２から第１レイヤ復号信号が入力され、直交変換処理部１３０８から第２レイヤ復号信号が入力される。加算部１３０９は、入力された第１レイヤ復号信号及び第２レイヤ復号信号を加算し、加算した信号を出力信号として出力する。
図１４は、図１３に示した第２レイヤ復号部１３０３の内部の主要な構成を示すブロック図である。第２レイヤ復号部１３０３は、分離部１４０１及びマルチレート復号部１４０３から主に構成される。
分離部１４０１は、符号化情報分離部１３０１から入力される第２レイヤ符号化情報を、インデックス情報と、帯域符号化情報と、グローバルゲインとに分離する。次いで、分離部１４０１は、インデックス情報、帯域符号化情報及びグローバルゲインをマルチレート復号部１４０３に出力する。
マルチレート復号部１４０３は、分離部１４０１から入力されるグローバルゲイン、インデックス情報及び帯域符号化情報を復号して第２レイヤ復号スペクトルを算出する。このとき、マルチレート復号部１４０３は、符号化情報分離部１３０１から入力されるビットレートに応じた復号処理を行う。以下、マルチレート復号部１４０３における処理の制御方法について説明する。
マルチレート復号部１４０３は、入力される帯域符号化情報から決定される周波数帯域に対して、ビットレートに対応するビット数のインデックス情報を復号し、第２復号スペクトルを算出する。具体的には、マルチレート復号部１４０３は、インデックス情報に含まれる先頭サブバンドを、帯域符号化情報が示す周波数帯域に対応させ、先頭サブバンドに対応する周波数帯域から周波数領域で高域側に順に、インデックス情報を復号する。このとき、マルチレート復号部１４０３は、帯域符号化情報が示す周波数帯域よりも低域側については、第２復号スペクトルの値をゼロとする。同様に、マルチレート復号部１４０３は、インデックス情報に対応する周波数帯域よりも高域側についても、第２復号スペクトルの値をゼロとする。つまり、マルチレート復号部１４０３は、第２レイヤ符号化情報に格納されているインデックス情報（重要サブバンド群のインデックス情報）のみを、対応する周波数帯域のスペクトルとして復号する。
そして、マルチレート復号部１４０３は、算出した第２レイヤ復号スペクトルを直交変換処理部１３０８に出力する。
以上が、復号装置１１３における処理の説明である。
このように、本実施の形態によれば、実施の形態１と同様、複数の符号化ビットレートに対応するＡＶＱ符号化方式を採る構成において、符号化装置側で聴感的に重要な特定の符号化パラメータを部分的に選択し、符号化パラメータに前記聴感的な重要度を反映させる。これにより、符号化ビットレートに応じて、復号信号の品質を向上させることができる。よって、本実施の形態によれば、実施の形態１と同様、聴感的な重要度を考慮した符号化処理により符号化パラメータ（符号化情報）生成処理を行い、復号信号の品質を改善することができる。
以上、本発明の各実施の形態について説明した。
なお、各実施の形態では、帯域選択部において、重要サブバンド群を決定する際の候補エントリについては特に制限しない場合について説明した（但し、重要サブバンド群が連続するサブバンド群という制限は有り）。しかし、本発明はこれに限らず、帯域選択部（例えば、帯域選択部３０４（図３）又は帯域選択部１２０４（図１２））において、候補エントリを効率的に制限する構成についても同様に適用できる。以下、その具体例を説明する。例えば、帯域選択部では、重要サブバンド群が、サブバンドエネルギが最大であるサブバンドを必ず含むというような制限を設けることによって、候補エントリの数を減少させることができる。このように、候補エントリの数を減少させることによって、重要サブバンド群を探索する際の処理演算量を減らすことができる。また、帯域選択部において、サブバンドエネルギが或る閾値以下であるサブバンドに対しては、そのサブバンドのエネルギを考慮しない（０と見積もる）ことにより、候補エントリの数を減少させることができる。具体的には、帯域選択部は、複数のサブバンドのうち、サブバンドエネルギが閾値以上であるサブバンドのみを用いて、サブバンド毎に割り当てられた符号化ビット数の合計が予め設定された値以下となるサブバンドの選択範囲（エントリ）であり、かつ、サブバンドエネルギの合計が最大となるサブバンドの選択範囲（エントリ）を選択する。これにより、帯域選択部は、サブバンドエネルギがゼロでないサブバンドを始点とした候補エントリのみを探索すればよくなり、処理演算量を大きく減らすことができる。
また、各実施の形態では、帯域選択部において、重要サブバンド群を決定する際の候補エントリについて、先頭サブバンド及び終端サブバンドのそれぞれの境界を超えないようにするという制限を設けていた。しかし、本発明はこれに限らず、候補エントリが先頭サブバンド及び終端サブバンドの境界を越えてもよいような構成についても同様に適用できる。具体的には、サブバンドの列を巡回させて、重要サブバンド群の候補エントリを探索する場合が例に挙げられる。例えば、符号化装置（帯域選択部）は、入力信号を直交変換して得られるスペクトルデータの先頭と終端とを連結させて巡回させたスペクトルデータを分割して生成される複数のサブバンドに対して、重要なサブバンド群となる選択範囲（重要サブバンド群）を決定してもよい。このようにサブバンドの列を巡回させることで、候補エントリに対する制限がなくなり、本実施の形態で説明した重要サブバンド群よりも、さらに聴感的に重要な特定のサブバンド群を探索できる可能性がある。但し、上記構成の場合、復号処理において、サブバンドの列が巡回しているという条件で、サブバンド群を並び替え直す必要があり、本実施の形態で説明した構成よりも処理演算量がかかってしまうことが有り得る。
また、各実施の形態では、重要サブバンド群の先頭サブバンドに対応する周波数帯域を帯域符号化情報として復号装置側に伝送する構成について説明した。従って、従来技術に対して、追加の符号化ビット数が必要になる。しかし、本発明はこれに限らず、重要サブバンド群の先頭サブバンドに対応する周波数帯域情報を、下位の復号スペクトルを利用して算出する構成についても同様に適用できる。これにより、追加ビットを使用しなくても復号信号の品質を向上させることができる。具体的には、復号スペクトルのサブバンドエネルギを利用する例が挙げられる。
また、各実施の形態では、符号化装置が、聴感的に重要な特定のサブバンド群（重要サブバンド群）の選択処理を、フレーム毎に独立に行う場合に対して説明した。しかし、本発明はこれに限らず、符号化装置が、時間的に前のフレームの選択結果を考慮して、現フレームで重要サブバンド群の選択をする構成についても同様に適用できる。例えば、前フレームにおいて重要サブバンド群として選択した帯域の近隣の帯域を、現フレームの重要サブバンド群の選択候補とする構成が一例に挙げられる。又は、符号化装置は、前回のフレームで重要サブバンド群として選択されたサブバンドに近いサブバンドほど、現時点のフレームにおける重要サブバンド群として選択されやすくなる重みを用いて、複数のサブバンドから重要サブバンド群となる選択範囲（選択候補）を決定してもよい。これらの構成により、フレーム間で、重要サブバンド群の帯域が大きく変動することを抑制することができ、結果として、復号信号の品質劣化を抑えることができる。
また、各実施の形態では、符号化装置が、マルチレートインデキシング処理した後に、聴感的に重要な特定の帯域を選択しているが、本発明はこれに限らず、マルチレートインデキシング処理する前に、聴感的に重要な特定の帯域を選択するという構成についても同様に適用できる。但し、この構成の場合には、帯域選択時には、各サブバンドの符号化に使用するビット数が確定していないため、暫定的に符号化ビット数の推定値を利用する。具体的には、全サブバンドが同一の符号化ビット数であるとする構成が一例として挙げられる。つまり、符号化装置（帯域選択部）は、予め設定された固定のビット数を、複数のサブバンド毎に割り当てられる符号化ビット数として用いて、複数のサブバンドから重要サブバンド群となる選択範囲（選択候補）を決定する。この構成では、各サブバンドの符号化に使用するビット数が統一されるため、帯域選択時の処理演算量を減少させることができる。
また、各実施の形態では、符号化対象として、ベクトルで表されるスペクトルデータを代表的に用いて説明したが、必ずしもこれに限定されない。符号化対象として、ベクトルにより入力信号の特性を表現することが可能な異なるデータを用いても、本実施の形態と同様の作用効果が得られる。
また、各実施の形態に係る復号装置１０３は、上記符号化装置１０１から伝送された符号化情報を用いて処理を行うとした。しかし、本発明はこれに限定されず、必要なパラメータやデータを含む符号化情報であれば、必ずしも上記符号化装置１０１からの符号化情報でなくても、復号装置１０３は処理を行うことが可能である。
また、各実施の形態では、符号化対象の入力信号及び復号されて出力される出力信号を音声信号としたが、これに限定されない。例えば、入力信号／出力信号は、音楽信号であってもよく、又は、音声信号と音楽信号とが混在した信号であってもよい。
また、上記機能を実行可能な信号処理プログラムを、メモリ、ディスク、テープ、ＣＤ、ＤＶＤ等の機械読み取り可能な記録媒体に記録、書き込みをし、動作を行う場合についても、本発明は適用することができ、本実施の形態と同様の作用及び効果を得ることができる。
また、各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はハードウェアとの連携においてソフトウェアでも実現することも可能である。
また、各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル／プロセッサを利用してもよい。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
２０１０年４月１９日出願の特願２０１０−０９６０９５の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
本発明に係る符号化装置、復号装置、符号化方法及び復号方法は、聴感的な重要度を考慮した符号化処理による符号化パラメータ生成処理を行うことにより、非常に低いビットレートで、かつ低い処理演算量で、復号信号の品質を改善することができ、例えば、パケット通信システム、移動通信システムなどに好適である。
１０１，１１１ 符号化装置
１０２ 伝送路
１０３，１１３ 復号装置
２０１ 第１レイヤ符号化部
２０２，８０２ 第１レイヤ復号部
２０３，２０７，２１０，８０５，８０７，８０９，１３０９ 加算部
２０４，８０８，１１０４，１３０８ 直交変換処理部
２０５，１１０５ 第２レイヤ符号化部
２０６，８０３，１３０３ 第２レイヤ復号部
２０８ 第３−４レイヤ符号化部
２０９，８０４ 第３−４レイヤ復号部
２１１ 第５レイヤ符号化部
２１２，１１１２ 符号化情報統合部
３０１ グローバルゲイン算出部
３０２ 近傍探索部
３０３ マルチレートインデキシング部
３０４，１２０４ 帯域選択部
３０５，７０２，１００２ インデックス情報調整部
３０６ 多重化部
７０１，１００１，１４０１ 分離部
７０３，１００３，１４０３ マルチレート復号部
８０１，１３０１ 符号化情報分離部
８０６ 第５レイヤ復号部

Claims (15)

  1. 符号化処理をまとめて行う複数の符号化レイヤを有する符号化装置であって、
    前記複数の符号化レイヤに入力されるスペクトルデータを分割して複数のサブバンドを生成し、前記複数のサブバンドに対して近傍探索を行うことにより、前記複数のサブバンドのスペクトルのラティスベクトルを算出する探索手段と、
    前記ラティスベクトルを用いて、前記複数のサブバンド毎にマルチレートインデキシングを行い、前記複数のサブバンド毎のマルチレートインデキシングの結果を示すインデックス情報を生成する符号化手段と、
    前記インデックス情報において前記複数のサブバンド毎に割り当てられる符号化ビット数、及び、前記複数のサブバンド毎のエネルギであるサブバンドエネルギを用いて、前記複数のサブバンドのうち、前記符号化ビット数の合計が予め設定された値以下となるサブバンドの選択範囲であり、かつ、前記サブバンドエネルギの合計が最大となる前記サブバンドの選択範囲を、前記複数の符号化レイヤにおける、特定サブバンド群として決定する選択手段と、
    を具備する符号化装置。
  2. 前記インデックス情報のうち前記特定サブバンド群に対応する部分が先頭に位置するように、前記インデックス情報を並び変える調整手段、を更に具備する、
    請求項１記載の符号化装置。
  3. 前記選択手段は、前記複数のサブバンドのうち、前回のフレームで前記特定サブバンド群として選択されたサブバンドに近いサブバンドほど、現時点のフレームにおける前記特定サブバンド群として選択されやすくなる重みを用いて、前記複数のサブバンドから前記特定サブバンド群となる前記選択範囲を決定する、
    請求項１記載の符号化装置。
  4. 前記選択手段は、前記複数のサブバンド毎のマルチレートインデキシングに使用したビット数を、前記複数のサブバンド毎に割り当てられる符号化ビット数として用いて、前記複数のサブバンドから前記特定サブバンド群となる前記選択範囲を決定する、
    請求項１記載の符号化装置。
  5. 前記選択手段は、予め設定された固定のビット数を、前記複数のサブバンド毎に割り当てられる符号化ビット数として用いて、前記複数のサブバンドから前記特定サブバンド群となる前記選択範囲を決定する、
    請求項１記載の符号化装置。
  6. 前記選択手段は、前記複数のサブバンドのうち、サブバンドエネルギが閾値以上であるサブバンドのみを用いて、前記複数のサブバンドから前記特定サブバンド群となる前記選択範囲を決定する、
    請求項１記載の符号化装置。
  7. 前記選択手段は、前記スペクトルデータの先頭と終端とを連結させて巡回させたスペクトルデータを分割して生成される前記複数のサブバンドに対して、前記特定サブバンド群となる前記選択範囲を決定する、
    請求項１記載の符号化装置。
  8. 請求項１記載の符号化装置を具備する通信端末装置。
  9. 請求項１記載の符号化装置を具備する基地局装置。
  10. 符号化処理をまとめて行う複数の符号化レイヤを有する符号化装置からの信号を復号する復号装置であって、
    前記符号化装置で生成された、
    前記複数の符号化レイヤに入力されたスペクトルデータを分割して生成された複数のサブバンドに対する近傍探索を行うことにより得られたラティスベクトルを用いた、前記複数のサブバンド毎のマルチレートインデキシングを行って得られた結果を示すインデックス情報と、
    前記複数のサブバンド毎に割り当てられた符号化ビット、及び、前記複数のサブバンド毎のエネルギであるサブバンドエネルギを用いて、前記複数のサブバンドのうち、前記マルチレートインデキシングにおいて前記複数のサブバンド毎に割り当てられた符号化ビット数の合計が予め設定された値以下となるサブバンドの選択範囲であり、かつ、前記複数のサブバンド毎のエネルギであるサブバンドエネルギの合計が最大となる前記サブバンドの選択範囲である、特定サブバンド群を示す帯域情報と、を受信する受信手段と、
    前記複数の符号化レイヤのうち一部の符号化レイヤのみに対して復号処理が行われる場合、前記インデックス情報のうち、前記帯域情報に示される前記特定サブバンド群に対応する部分のみを復号して復号信号を生成する復号手段と、
    を具備する復号装置。
  11. 前記受信手段は、前記符号化装置において前記特定サブバンド群に対応する部分が先頭に位置するように並び替えられた前記インデックス情報を受信し、
    前記複数の符号化レイヤに対して復号処理が行われる場合、前記インデックス情報に対して、前記符号化装置における並び替え処理と逆の並び替え処理を行い、前記複数の符号化レイヤのうち一部の符号化レイヤのみに対して復号処理が行われる場合、前記インデックス情報に対して並び替え処理を行わない調整手段、を更に具備する、
    請求項１０記載の復号装置。
  12. 請求項１０記載の復号装置を具備する通信端末装置。
  13. 請求項１０記載の復号装置を具備する基地局装置。
  14. 符号化処理をまとめて行う複数の符号化レイヤを有する符号化装置における符号化方法であって、
    前記複数の符号化レイヤに入力されるスペクトルデータを分割して複数のサブバンドを生成し、前記複数のサブバンドに対して近傍探索を行うことにより、前記複数のサブバンドのスペクトルのラティスベクトルを算出する探索ステップと、
    前記ラティスベクトルを用いて、前記複数のサブバンド毎にマルチレートインデキシングを行い、前記複数のサブバンド毎のマルチレートインデキシングの結果を示すインデックス情報を生成する符号化ステップと、
    前記インデックス情報において前記複数のサブバンド毎に割り当てられる符号化ビット数、及び、前記複数のサブバンド毎のエネルギであるサブバンドエネルギを用いて、前記複数のサブバンドのうち、前記符号化ビット数の合計が予め設定された値以下となるサブバンドの選択範囲であり、かつ、前記サブバンドエネルギの合計が最大となる前記サブバンドの選択範囲を、前記複数の符号化レイヤにおける、特定サブバンド群として決定する選択ステップと、
    を具備する符号化方法。
  15. 符号化処理をまとめて行う複数の符号化レイヤを有する符号化装置からの信号を復号する復号装置における復号方法であって、
    前記符号化装置で生成された、
    前記複数の符号化レイヤに入力されたスペクトルデータを分割して生成された複数のサブバンドに対する近傍探索を行うことにより得られたラティスベクトルを用いた、前記複数のサブバンド毎のマルチレートインデキシングを行って得られた結果を示すインデックス情報と、
    前記複数のサブバンド毎に割り当てられた符号化ビット、及び、前記複数のサブバンド毎のエネルギであるサブバンドエネルギを用いて、前記複数のサブバンドのうち、前記マルチレートインデキシングにおいて前記複数のサブバンド毎に割り当てられた符号化ビット数の合計が予め設定された値以下となるサブバンドの選択範囲であり、かつ、前記複数のサブバンド毎のエネルギであるサブバンドエネルギの合計が最大となる前記サブバンドの選択範囲である、特定サブバンド群を示す帯域情報と、を受信する受信ステップと、
    前記複数の符号化レイヤのうち一部の符号化レイヤのみに対して復号処理が行われる場合、前記インデックス情報のうち、前記帯域情報に示される前記特定サブバンド群に対応する部分のみを復号して復号信号を生成する復号ステップと、
    を具備する復号方法。
JP2012511525A 2010-04-19 2011-04-01 符号化装置、復号装置、符号化方法及び復号方法 Active JP5714002B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012511525A JP5714002B2 (ja) 2010-04-19 2011-04-01 符号化装置、復号装置、符号化方法及び復号方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010096095 2010-04-19
JP2010096095 2010-04-19
PCT/JP2011/001986 WO2011132368A1 (ja) 2010-04-19 2011-04-01 符号化装置、復号装置、符号化方法及び復号方法
JP2012511525A JP5714002B2 (ja) 2010-04-19 2011-04-01 符号化装置、復号装置、符号化方法及び復号方法

Publications (2)

Publication Number Publication Date
JPWO2011132368A1 true JPWO2011132368A1 (ja) 2013-07-18
JP5714002B2 JP5714002B2 (ja) 2015-05-07

Family

ID=44833913

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012511525A Active JP5714002B2 (ja) 2010-04-19 2011-04-01 符号化装置、復号装置、符号化方法及び復号方法

Country Status (4)

Country Link
US (1) US9508356B2 (ja)
EP (1) EP2562750B1 (ja)
JP (1) JP5714002B2 (ja)
WO (1) WO2011132368A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112012032746A2 (pt) 2010-06-21 2016-11-08 Panasonic Corp dispositivo de descodificação, dispositivo de codificação, e métodos para os mesmos.
KR101398189B1 (ko) * 2012-03-27 2014-05-22 광주과학기술원 음성수신장치 및 음성수신방법
US9460729B2 (en) * 2012-09-21 2016-10-04 Dolby Laboratories Licensing Corporation Layered approach to spatial audio coding
CN108198564B (zh) 2013-07-01 2021-02-26 华为技术有限公司 信号编码和解码方法以及设备
WO2015049820A1 (ja) 2013-10-04 2015-04-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 音響信号符号化装置、音響信号復号装置、端末装置、基地局装置、音響信号符号化方法及び復号方法
US10559315B2 (en) 2018-03-28 2020-02-11 Qualcomm Incorporated Extended-range coarse-fine quantization for audio coding
US10762910B2 (en) 2018-06-01 2020-09-01 Qualcomm Incorporated Hierarchical fine quantization for audio coding

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0551705A3 (en) * 1992-01-15 1993-08-18 Ericsson Ge Mobile Communications Inc. Method for subbandcoding using synthetic filler signals for non transmitted subbands
JP3307138B2 (ja) * 1995-02-27 2002-07-24 ソニー株式会社 信号符号化方法及び装置、並びに信号復号化方法及び装置
JPH11219197A (ja) * 1998-02-02 1999-08-10 Fujitsu Ltd オーディオ信号符号化方法及び装置
US6353808B1 (en) * 1998-10-22 2002-03-05 Sony Corporation Apparatus and method for encoding a signal as well as apparatus and method for decoding a signal
CA2388358A1 (en) 2002-05-31 2003-11-30 Voiceage Corporation A method and device for multi-rate lattice vector quantization
CA2457988A1 (en) 2004-02-18 2005-08-18 Voiceage Corporation Methods and devices for audio compression based on acelp/tcx coding and multi-rate lattice vector quantization
US7272567B2 (en) * 2004-03-25 2007-09-18 Zoran Fejzo Scalable lossless audio codec and authoring tool
KR100738077B1 (ko) * 2005-09-28 2007-07-12 삼성전자주식회사 계층적 오디오 부호화 및 복호화 장치와 방법
EP2381440A3 (en) 2005-11-30 2012-03-21 Panasonic Corporation Subband coding apparatus and method of coding subband
SG175632A1 (en) * 2006-10-16 2011-11-28 Dolby Sweden Ab Enhanced coding and parameter representation of multichannel downmixed object coding
BRPI0721079A2 (pt) * 2006-12-13 2014-07-01 Panasonic Corp Dispositivo de codificação, dispositivo de decodificação e método dos mesmos
FR2912249A1 (fr) * 2007-02-02 2008-08-08 France Telecom Codage/decodage perfectionnes de signaux audionumeriques.
JP4871894B2 (ja) * 2007-03-02 2012-02-08 パナソニック株式会社 符号化装置、復号装置、符号化方法および復号方法
JP4984983B2 (ja) 2007-03-09 2012-07-25 富士通株式会社 符号化装置および符号化方法
US8046214B2 (en) * 2007-06-22 2011-10-25 Microsoft Corporation Low complexity decoder for complex transform coding of multi-channel sound
CA2690433C (en) * 2007-06-22 2016-01-19 Voiceage Corporation Method and device for sound activity detection and sound signal classification
US8428957B2 (en) * 2007-08-24 2013-04-23 Qualcomm Incorporated Spectral noise shaping in audio coding based on spectral dynamics in frequency sub-bands
US8515767B2 (en) * 2007-11-04 2013-08-20 Qualcomm Incorporated Technique for encoding/decoding of codebook indices for quantized MDCT spectrum in scalable speech and audio codecs
US20110282674A1 (en) * 2007-11-27 2011-11-17 Nokia Corporation Multichannel audio coding
EP2077551B1 (en) * 2008-01-04 2011-03-02 Dolby Sweden AB Audio encoder and decoder
WO2009116280A1 (ja) * 2008-03-19 2009-09-24 パナソニック株式会社 ステレオ信号符号化装置、ステレオ信号復号装置およびこれらの方法
US8452587B2 (en) * 2008-05-30 2013-05-28 Panasonic Corporation Encoder, decoder, and the methods therefor
WO2010031003A1 (en) * 2008-09-15 2010-03-18 Huawei Technologies Co., Ltd. Adding second enhancement layer to celp based core layer
JP2010096095A (ja) 2008-10-16 2010-04-30 Nippon Soken Inc 内燃機関装置およびこれを備える車両並びに内燃機関装置の始動制御方法
EP4293665A3 (en) * 2008-10-29 2024-01-10 Dolby International AB Signal clipping protection using pre-existing audio gain metadata
US8200496B2 (en) * 2008-12-29 2012-06-12 Motorola Mobility, Inc. Audio signal decoder and method for producing a scaled reconstructed audio signal

Also Published As

Publication number Publication date
JP5714002B2 (ja) 2015-05-07
WO2011132368A1 (ja) 2011-10-27
EP2562750B1 (en) 2020-06-10
US9508356B2 (en) 2016-11-29
US20130035943A1 (en) 2013-02-07
EP2562750A4 (en) 2014-07-30
EP2562750A1 (en) 2013-02-27

Similar Documents

Publication Publication Date Title
JP5339919B2 (ja) 符号化装置、復号装置およびこれらの方法
CA2679192C (en) Speech encoding device, speech decoding device, and method thereof
JP5714002B2 (ja) 符号化装置、復号装置、符号化方法及び復号方法
JP5058152B2 (ja) 符号化装置および符号化方法
JP5511785B2 (ja) 符号化装置、復号装置およびこれらの方法
JPWO2007132750A1 (ja) Ｌｓｐベクトル量子化装置、ｌｓｐベクトル逆量子化装置、およびこれらの方法
JP5746974B2 (ja) 符号化装置、復号装置およびこれらの方法
JP5629319B2 (ja) スペクトル係数コーディングの量子化パラメータを効率的に符号化する装置及び方法
JP5544370B2 (ja) 符号化装置、復号装置およびこれらの方法
WO2012035781A1 (ja) 量子化装置及び量子化方法
JP5606457B2 (ja) 符号化装置および符号化方法
CN112352277B (zh) 编码装置及编码方法
JP5774490B2 (ja) 符号化装置、復号装置およびこれらの方法
WO2011045927A1 (ja) 符号化装置、復号装置およびこれらの方法
KR102148407B1 (ko) 소스 필터를 이용한 주파수 스펙트럼 처리 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131128

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150310

R150 Certificate of patent or registration of utility model

Ref document number: 5714002

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150