JPWO2009144953A1 - 符号化装置、復号装置およびこれらの方法 - Google Patents

符号化装置、復号装置およびこれらの方法 Download PDF

Info

Publication number
JPWO2009144953A1
JPWO2009144953A1 JP2010514382A JP2010514382A JPWO2009144953A1 JP WO2009144953 A1 JPWO2009144953 A1 JP WO2009144953A1 JP 2010514382 A JP2010514382 A JP 2010514382A JP 2010514382 A JP2010514382 A JP 2010514382A JP WO2009144953 A1 JPWO2009144953 A1 JP WO2009144953A1
Authority
JP
Japan
Prior art keywords
signal
layer
encoding
sub
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010514382A
Other languages
English (en)
Other versions
JP5383676B2 (ja
Inventor
ゾンシアン リウ
ゾンシアン リウ
コク セン チョン
コク セン チョン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2010514382A priority Critical patent/JP5383676B2/ja
Publication of JPWO2009144953A1 publication Critical patent/JPWO2009144953A1/ja
Application granted granted Critical
Publication of JP5383676B2 publication Critical patent/JP5383676B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

ステレオ信号に対してスケーラブル符号化技術を用いる場合に、ビット割当情報の情報量を最小限に抑えつつ、高品質なステレオ信号を復元することができる符号化装置。この装置において、ＰＣＡ変換部（１０１）は、ステレオ信号の左信号および右信号をＰＣＡ変換して第１レイヤの主信号および第１レイヤの副信号を生成する。第１レイヤから第Ｍ（Ｍは２以上の自然数）レイヤにおいて、適応的残差符号化部（１０２−ｍ）（ｍは１以上Ｍ以下の自然数）は、第ｍレイヤの主信号の重要度と第ｍレイヤの副信号の重要度とを比較し、重要度が高い信号を選択し、選択された信号を符号化して第ｍレイヤの符号化データを生成する。第１レイヤから第Ｍ−１レイヤにおいて、適応的残差符号化部（１０２−ｍ）は、選択された信号から第ｍレイヤの符号化データの復号信号を減じて得られる信号、および、選択されなかった信号を、第ｍ＋１レイヤの主信号および第ｍ＋１レイヤの副信号として生成する。

Description

本発明は、主成分分析変換を適用する符号化装置、復号装置およびこれらの方法に関する。
従来の音声通信システムでは、限定された伝送帯域制限下でモノラル音声信号を送信する。通信ネットワークのブロードバンド化に伴い、音声通信に対するユーザの期待は、単なる明瞭さからステレオ音像（stereo image）と自然らしさの提供へと移行しており、ステレオ音声を提供するトレンドが出現している。そのため、ステレオ音声を効率的に送信するための符号化方式が望まれている。
前述の目標を達成するため、ステレオ信号（すなわち、２チャネル）または複数のチャネルの符号化方法として、主成分分析（ＰＣＡ：Principal Component Analysis）を使用した符号化方法が検討されている（非特許文献１および非特許文献２）。ＰＣＡを使用した符号化方法では、入力信号をＰＣＡによって変換（ＰＣＡ変換）して、変換後の各信号をそれぞれ独立して符号化する。ＰＣＡ変換は、入力信号の共分散行列から得られる固有値の分布に従って、入力信号におけるエネルギーの集中化を達成させる線形変換である。
例えば、ＰＣＡによって変換されたステレオ信号は、ステレオ信号の主要成分（例えば、主旋律のオーディオ信号成分または支配的な音声成分）に対応する主信号（principal signal）と、ステレオ信号の主信号以外の残りの成分に対応する副信号（secondary signal）とに変換される。つまり、ステレオ信号のエネルギーが主信号に集中化される。これにより、ＰＣＡを使用した符号化方法では、エネルギーを集中化させた信号を符号化することで、入力信号における冗長性を除去することができるため、符号化効率を向上させることができる。また、ステレオ信号における主信号と副信号とは、互いに無相関の関係があるため、さらに入力信号における冗長性を除去することができる。
図１および図２は、ＰＣＡを使用したステレオ信号コーデックの一般的な符号化装置および復号装置を示すブロック図である。図１に示す符号化装置において、ＰＣＡ変換部１１は、ステレオ信号における左信号Ｌ（ｎ）および右信号Ｒ（ｎ）を主信号Ｐ（ｎ）および副信号Ａ（ｎ）に変換する（式（１））。
Figure 2009144953
ここで、ν１およびν２は、左信号Ｌ（ｎ）および右信号Ｒ（ｎ）を主信号Ｐ（ｎ）と副信号Ａ（ｎ）とに変換するために用いるＰＣＡ変換パラメータである。符号化部１２および符号化部１３は、主信号Ｐ（ｎ）および副信号Ａ（ｎ）をそれぞれ独立して符号化（例えば、スカラ量子化またはベクトル量子化）し、主信号Ｐ（ｎ）の符号化データおよび副信号Ａ（ｎ）の符号化データを多重化部１５に出力する。また、量子化部１４は、ＰＣＡ変換部１１で得られるＰＣＡ変換パラメータν１およびν２を量子化して、ＰＣＡ変換パラメータの量子化符号を生成する。多重化部１５は、主信号Ｐ（ｎ）の符号化データと、副信号Ａ（ｎ）の符号化データと、ＰＣＡ変換パラメータの量子化符号とを多重化して、ビットストリームを形成する。
図２に示す復号装置においてステレオ信号を復号する場合、逆多重化部２１は、ビットストリームから主信号Ｐ（ｎ）の符号化データ、副信号Ａ（ｎ）の符号化データおよびＰＣＡ変換パラメータの量子化符号を多重分離する。そして、復号部２２は、主信号Ｐ（ｎ）の符号化データを復号して復号主信号Ｐ〜（ｎ）を得る。また、復号部２３は、副信号Ａ（ｎ）の符号化データを復号して復号副信号Ａ〜（ｎ）を得る。また、逆量子化部２４は、ＰＣＡ変換パラメータの量子化符号を逆量子化して、ＰＣＡ変換パラメータν〜 １およびν〜 ２を得る。逆ＰＣＡ変換部２５は、ＰＣＡ変換パラメータν〜 １およびν〜 ２を用いて、主信号Ｐ〜（ｎ）および副信号Ａ〜（ｎ）を逆ＰＣＡ変換し、ステレオ信号の左信号Ｌ〜（ｎ）および右信号Ｒ〜（ｎ）を復元する（式（２））。
Figure 2009144953
また、音声通信システムでは、ＩＰネットワーク上での音声データ通信において、ネットワーク上のトラフィック制御やマルチキャスト通信実現のために、スケーラブルな構成を有する音声符号化が望まれている。スケーラブルな構成とは、受信側で部分的な符号化データからでも音声データの復号が可能な構成をいう。スケーラブルな構成を有する音声符号化技術として、複数の符号化技術を階層的に統合するスケーラブル符号化（階層符号化）技術が検討されている。スケーラブル符号化技術においては、送信側は、入力音声信号に対して階層的な符号化処理を施し、複数の符号化レイヤに階層化された符号化データを伝送する。
また、音声通信システムでは、電波資源の有効利用のために、音声信号を低ビットレートに圧縮して伝送することが要求されている。低ビットレートの制約下では、上述したＰＣＡを使用したステレオ信号符号化を行う場合、主信号および副信号の双方を共に高品質で符号化することは困難である。そのため、限られたビットを主信号および副信号で適切に割り当てる必要がある。例えば、非特許文献１および非特許文献２には、ＰＣＡを使用したステレオ信号符号化におけるビット割当方法が開示されている。
非特許文献１では、ステレオ信号の符号化処理において、パラメトリック符号化を副信号に対して適用する方法を開示している。すなわち、主信号および副信号において、主信号の符号化データの特性と副信号の特性との差に基づくパラメータ（パラメトリック符号化パラメータ）として副信号を表す。副信号をパラメトリック符号化することにより、副信号に含まれている冗長性が取り除かれるため、副信号のビットレートが減少する。このようにして、主信号の符号化データ、および、低ビットレートのパラメトリック符号化パラメータ（副信号）が限られたビットに割り当てられる。
非特許文献２では、入力信号がＰＣＡ変換されて得られる複数のチャネルそれぞれのエネルギーに応じてビットを適応的に割り当てるビット割当方法を開示している。例えば、ステレオ信号符号化処理において、ステレオ信号（すなわち、２チャネル）をＰＣＡ変換して得られる主信号および副信号それぞれのエネルギーに応じてビットを適応的に割り当てる。これにより、ＰＣＡ変換後の複数のチャネルのうち、エネルギーがより高いチャネルを優先的に送信することができる。また、低ビットレートの制約下では、ステレオ信号を構成する複数のチャネルのうち、エネルギーがより低いチャネルを破棄することができる。このような送信方法は、チャネルスケーラビリティ送信方法（Channel scalability transmission method）と呼ばれる。
Manuel Briand, David Virette and Nadine Martin "Parametric coding of stereo audio based on principal component analysis", Proc of the 9thInternational Conference on Digital Audio Effects, Montreal, Canada, September 18-20, 2006. Dai Yang, Hongmei Ai, Chris Kyriakakis and C.-C. Jay Kuo "High-fidelity multichannel audio coding with Karhunen Loeve Transform", IEEE transactions on speech and audio processing, Vol.11, No.4, July 2003.
しかしながら、ステレオ信号に対してスケーラブル符号化技術を用いるスケーラブル符号化システムにおいて、上述したビット割当方法を適用する場合、符号化装置が復号装置に通知すべきビット割当情報の情報量（ビット数）が多くなり、符号化効率が悪くなってしまう。
具体的には、非特許文献１に開示されているビット割当方法を、スケーラブル符号化システムに適用する場合、スケーラブル符号化された主信号に基づくパラメトリック符号化パラメータをスケーラブル符号化の符号化レイヤ毎に更新しなければならない。また、このパラメトリック符号化パラメータは、各符号化レイヤで所定のビット数を要する。すなわち、符号化装置は、符号化レイヤ毎に異なるパラメトリック符号化パラメータの情報量（ビット数）を示すビット割当情報を復号装置に通知することが必要となるため、符号化効率が悪くなる。
また、非特許文献２に開示されているビット割当方法を、スケーラブル符号化システムに適用する場合、ステレオ信号における主信号および副信号との間での割り当てビット数は、符号化レイヤ毎に異なる。そのため、符号化装置は、符号化レイヤ毎に、主信号および副信号それぞれに割り当てられたビット数を示すビット割当情報を復号装置に通知する必要があるため、符号化効率が悪くなる。
このように、スケーラブル符号化システムにおいて、ステレオ信号をＰＣＡ変換して得られる主信号と副信号との間でビット割り当てを行う場合、符号化レイヤ毎に所定のビット数のビット割当情報を通知することが必要となるため、復号信号に通知すべきビット割当情報の情報量が増大してしまう。
本発明の目的は、ステレオ信号に対してスケーラブル符号化技術を用いる場合に、ビット割当情報の情報量を最小限に抑えつつ、高品質なステレオ信号を復元することができる符号化装置、復号装置およびこれらの方法を提供することである。
本発明の符号化装置は、入力ステレオ信号の第１チャネル信号および第２チャネル信号を主成分分析変換して第１レイヤの主信号および第１レイヤの副信号を生成する変換手段と、第１レイヤから第Ｍ（Ｍは２以上の自然数）レイヤにおいて、第ｍ（ｍは１以上Ｍ以下の自然数）レイヤの主信号の重要度と第ｍレイヤの副信号の重要度とを比較し、前記重要度が高い信号を選択する第ｍレイヤの選択手段と、第１レイヤから第Ｍレイヤにおいて、前記第ｍレイヤの選択手段で選択された信号を符号化して第ｍレイヤの符号化データを生成する第ｍレイヤの符号化手段と、第１レイヤから第Ｍ−１レイヤにおいて、前記第ｍレイヤの符号化データを復号して第ｍレイヤの復号信号を生成する第ｍレイヤの復号手段と、第１レイヤから第Ｍ−１レイヤにおいて、前記第ｍレイヤの選択手段で選択された信号から前記第ｍレイヤの復号信号を減じて得られる信号、および、前記第ｍレイヤの選択手段で選択されなかった信号を、第ｍ＋１レイヤの主信号および第ｍ＋１レイヤの副信号として生成する第ｍレイヤの減算手段と、第１レイヤから第Ｍレイヤまでの符号化データ、および、第１レイヤから第Ｍレイヤまでの選択手段で選択された信号を示す信号情報を送信する送信手段と、を具備する構成を採る。
本発明によれば、ステレオ信号に対してスケーラブル符号化技術を用いる場合に、符号化装置は、各符号化レイヤにおいて、ステレオ信号をＰＣＡ変換して得られる主信号および副信号の２つの信号のうち重要度が高い信号のみを符号化することにより、ビット割当情報の情報量を最小限に抑えつつ、復号装置は高品質なステレオ信号を復元することができる。
ＰＣＡを使用した一般的な符号化装置の構成を示すブロック図 ＰＣＡを使用した一般的な復号装置の構成を示すブロック図 本発明の実施の形態１に係る符号化装置の構成を示すブロック図 本発明の実施の形態１に係るＰＣＡ変換部の内部の構成を示すブロック図 本発明の実施の形態１に係る適応的残差符号化部の内部の構成を示すブロック図 本発明の実施の形態１に係る選択部の内部の構成を示すブロック図 本発明の実施の形態１に係る復号装置の構成を示すブロック図 本発明の実施の形態２に係る符号化装置の構成を示すブロック図 本発明の実施の形態２に係る帯域分割符号化部の内部の構成を示すブロック図 本発明の実施の形態２に係る帯域分割符号化部で形成される信号を示す図 本発明の実施の形態２に係る復号装置の構成を示すブロック図 本発明の実施の形態２に係る帯域分割復号部の内部の構成を示すブロック図 本発明のその他の選択処理を行う場合の選択部の構成を示すブロック図 本発明のＬＰＣ残差信号に対するＭＤＣＴ後の信号を複数のサブ帯域に分割する処理を行う符号化装置の構成を示すブロック図 本発明のその他の符号化装置の構成を示すブロック図 本発明のその他の復号装置の構成を示すブロック図 本発明の複数のサブ帯域に分割された信号を結合する処理を行う復号装置の構成を示すブロック図
以下、本発明の各実施の形態について、図面を用いて説明する。
（実施の形態１）
図３は本実施の形態に係る符号化装置の構成を示すブロック図であり、図７は本実施の形態に係る復号装置の構成を示すブロック図である。本実施の形態に係る符号化装置および復号装置の構成として、Ｍレイヤのスケーラブル構成を一例として説明する。つまり、以下の説明では、スケーラブル符号化処理における符号化レイヤ数をＭ（Ｍは２以上の自然数）とする。図３に示す符号化装置１００において、適応的残差符号化部１０２−１〜１０２−Ｍは、第１レイヤ〜第Ｍレイヤにそれぞれ対応する。同様に、図７に示す復号装置２００において、復号部２０２−１〜２０２−Ｍは、第１レイヤ〜第Ｍレイヤにそれぞれ対応する。また、以下の説明では、ステレオ信号における左信号および右信号をＮＢサンプルずつ区切り（ＮＢは自然数）、ＮＢサンプルを１フレームとする。ここで、左信号および右信号は左信号Ｌ（ｎ）および右信号Ｒ（ｎ）で表される。ｎはＮＢサンプルずつ区切られた信号のうち、信号要素のｎ＋１番目を示し、ｎ＝０〜ＮＢ−１とする。
図３に示す符号化装置１００において、ＰＣＡ変換部１０１には、ステレオ信号における左信号Ｌ（ｎ）および右信号Ｒ（ｎ）が入力される。ＰＣＡ変換部１０１は、入力される左信号Ｌ（ｎ）および右信号Ｒ（ｎ）を、式（１）に従ってＰＣＡ変換を行い、第１レイヤの主信号Ｐ１（ｎ）および第１レイヤの副信号Ａ１（ｎ）を生成する。そして、ＰＣＡ変換部１０１は、第１レイヤの主信号Ｐ１（ｎ）および第１レイヤの副信号Ａ１（ｎ）を適応的残差符号化部１０２−１に出力する。また、ＰＣＡ変換部１０１は、ＰＣＡ変換処理時に算出されるＰＣＡ変換パラメータν１およびν２を量子化部１０３に出力する。
適応的残差符号化部１０２−１〜１０２−Ｍは、それぞれに対応する符号化レイヤの主信号の重要度および副信号の重要度に基づいて、２つの信号のいずれか一方を適応的に選択し、選択した信号を符号化（適応的残差符号化：adaptive residue encoding）する。具体的には、第１レイヤから第Ｍレイヤにおいて、適応的残差符号化部１０２−ｍ（ｍは１以上Ｍ以下の自然数）は、第ｍレイヤの主信号の重要度と、第ｍレイヤの副信号の重要度とを比較し、重要度が高い信号を選択し、選択された信号を符号化して第ｍレイヤの符号化データ（ビット列）を生成する。また、第１レイヤから第（Ｍ−１）レイヤにおいて、適応的残差符号化部１０２−ｍは、選択された信号から符号化データの復号信号を減じて得られる符号化残差（coding residue）信号および選択された信号以外の信号を、第（ｍ＋１）レイヤの主信号および第（ｍ＋１）レイヤの副信号として生成する。また、第１レイヤから第Ｍレイヤにおいて、適応的残差符号化部１０２−ｍは、符号化された信号（主信号または副信号）を示す信号情報であるインジケータを生成する。例えば、インジケータに示される信号が主信号の場合、符号化された信号は第ｍレイヤの主信号であり、インジケータに示される信号が副信号の場合、符号化された信号は第ｍレイヤの副信号である。つまり、各符号化レイヤに設定された符号化データ用のビット列に割り当てられる信号を示すビット割当情報としてインジケータが生成される。
例えば、最下位レイヤ（第１レイヤ）に対応する、適応的残差符号化部１０２−１は、ＰＣＡ変換部１０１から入力される第１レイヤの主信号Ｐ１（ｎ）および第１レイヤの副信号Ａ１（ｎ）に対して適応的残差符号化処理を施して、第１レイヤの符号化データＣ１を生成する。また、適応的残差符号化部１０２−１は、入力信号（第１レイヤの主信号Ｐ１（ｎ）および第１レイヤの副信号Ａ１（ｎ））のうち符号化された信号（選択された信号）から符号化データＣ１の復号信号を減じて得られる符号化残差信号、および、入力信号（第１レイヤの主信号Ｐ１（ｎ）および第１レイヤの副信号Ａ１（ｎ））のうち符号化された信号（選択された信号）以外の信号（選択されなかった信号）を、第２レイヤの主信号Ｐ＾２（ｎ）および第２レイヤの副信号Ａ＾２（ｎ）として生成する。また、適応的残差符号化部１０２−１は、第１レイヤにおいて符号化された信号（第１レイヤの主信号Ｐ１（ｎ）または第１レイヤの副信号Ａ１（ｎ））を示すインジケータＦ１を生成する。そして、適応的残差符号化部１０２−１は、第２レイヤの主信号Ｐ＾２（ｎ）および第２レイヤの副信号Ａ＾２（ｎ）を、次の符号化レイヤ（第２レイヤ）に対応する適応的残差符号化部１０２−２に出力し、インジケータＦ１および符号化データＣ１を多重化部１０４に出力する。
同様に、適応的残差符号化部１０２−２には、適応的残差符号化部１０２−１から第２レイヤの主信号Ｐ＾２（ｎ）および第２レイヤの副信号Ａ＾２（ｎ）が入力される。そして、適応的残差符号化部１０２−２は、適応的残差符号化部１０２−１と同様にして、第２レイヤの符号化データＣ２、第３レイヤの主信号Ｐ＾３（ｎ）、第３レイヤの副信号Ａ＾３（ｎ）、および、インジケータＦ２を生成する。そして、適応的残差符号化部１０２−２は、第３レイヤの主信号Ｐ＾３（ｎ）および第３レイヤの副信号Ａ＾３（ｎ）を次の符号化レイヤ（第３レイヤ）に対応する適応的残差符号化部１０２−３に出力し、インジケータＦ２および符号化データＣ２を多重化部１０４に出力する。適応的残差符号化部１０２−３〜１０２−Ｍについても同様である。ただし、最上位（第Ｍレイヤ）に対応する適応的残差符号化部１０２−Ｍは、次の符号化レイヤの主信号および副信号として符号化残差信号を出力しない。すなわち、第１レイヤから第（Ｍ−１）レイヤにおいてのみ、つまり、適応的残差符号化部１０２−１〜１０２−（Ｍ−１）のみが、選択された信号から符号化データの復号信号を減じて得られる符号化残差信号および選択されなかった信号を、第（ｍ＋１）レイヤの主信号および第（ｍ＋１）レイヤの副信号として生成する。
量子化部１０３は、ＰＣＡ変換部１０１から入力されるＰＣＡ変換パラメータν１およびν２を量子化してＰＣＡ変換パラメータの量子化符号を生成する。そして、量子化部１０３は、ＰＣＡ変換パラメータの量子化符号を多重化部１０４に出力する。
多重化部１０４は、適応的残差符号化部１０２−１〜１０２−Ｍそれぞれから入力される符号化データＣｍおよびインジケータＦｍと、量子化部１０３から入力される量子化符号とを多重化してビットストリームを形成する。得られたビットストリームは、通信路を介して復号装置２００（図７）に送信される。
図４はＰＣＡ変換部１０１の内部構成を示すブロック図である。共分散行列算出部１０１１は、ステレオ信号におけるフレーム単位の左信号Ｌ（ｎ）および右信号Ｒ（ｎ）を用いて、共分散行列を算出し、算出された共分散行列を固有ベクトル算出部１０１２に出力する。
固有ベクトル算出部１０１２は、共分散行列算出部１０１１から入力される共分散行列を用いて、共分散行列の固有ベクトルを算出する。ここで、固有ベクトル算出部１０１２で算出される固有ベクトルの各要素がＰＣＡ変換パラメータν１およびν２となる。そして、固有ベクトル算出部１０１２は、算出された固有ベクトル（ＰＣＡ変換パラメータ）をＰＣＡ変換行列形成部１０１３および図３に示す量子化部１０３に出力する。
ＰＣＡ変換行列形成部１０１３は、固有ベクトル算出部１０１２から入力される固有ベクトルを用いてＰＣＡ変換行列を形成し、形成されたＰＣＡ変換行列を変換部１０１４に出力する。
変換部１０１４は、ＰＣＡ変換行列形成部１０１３から入力されるＰＣＡ変換行列を用いて、ステレオ信号における左信号Ｌ（ｎ）および右信号Ｒ（ｎ）を第１レイヤの主信号Ｐ１（ｎ）および第１レイヤの副信号Ａ１（ｎ）に変換する（式（１）。ただし、Ｐ１（ｎ）＝Ｐ（ｎ）、Ａ１（ｎ）＝Ａ（ｎ））。
次に、適応的残差符号化部１０２−１〜１０２−Ｍにおける適応的残差符号化処理の一例として、第ｍレイヤに対応する適応的残差符号化部１０２−ｍの内部構成について図５を用いて説明する。図５は、適応的残差符号化部１０２−ｍの内部構成を示すブロック図である。図５に示す適応的残差符号化部１０２−ｍには、１つ下位の第（ｍ−１）レイヤに対応する適応的残差符号化部１０２−（ｍ−１）から、第ｍレイヤの主信号Ｐ＾ｍ（ｎ）および第ｍレイヤの副信号Ａ＾ｍ（ｎ）が入力される。具体的には、図５に示す選択部１０２１−ｍおよび符号化部１０２２−ｍに、第ｍレイヤの主信号Ｐ＾ｍ（ｎ）および第ｍレイヤの副信号Ａ＾ｍ（ｎ）が入力される。また、図５に示す減算器１０２４−ｍには第ｍレイヤの主信号Ｐ＾ｍ（ｎ）が入力され、減算器１０２５−ｍには第ｍレイヤの副信号Ａ＾ｍ（ｎ）が入力される。ただし、図５に示す第１レイヤに対応する適応的残差符号化部１０２−ｍには、ＰＣＡ変換部１０１から第１レイヤの主信号Ｐ１（ｎ）および第１レイヤの副信号Ａ１（ｎ）が入力される。なお、最上位（第Ｍレイヤ）に対応する適応的残差符号化部１０２−Ｍは、図５に示す選択部１０２１−ｍおよび符号化部１０２２−ｍのみを備え、復号部１０２３−ｍ、減算器１０２４−ｍおよび減算器１０２５−ｍを備えない。すなわち、適応的残差符号化部１０２−Ｍは、インジケータＦｍおよび符号化データＣｍのみを出力する。
図５に示す適応的残差符号化部１０２−ｍにおいて、選択部１０２１−ｍは、入力される第ｍレイヤの主信号Ｐ＾ｍ（ｎ）のエネルギーと、第ｍレイヤの副信号Ａ＾ｍ（ｎ）のエネルギーとを比較し、エネルギーがより高い信号を選択する。そして、選択部１０２１−ｍは、選択された信号（主信号または副信号）を示すインジケータＦｍを符号化部１０２２−ｍ、復号部１０２３−ｍおよび図３に示す多重化部１０４に出力する。
符号化部１０２２−ｍは、入力される第ｍレイヤの主信号Ｐ＾ｍ（ｎ）および第ｍレイヤの副信号Ａ＾ｍ（ｎ）のうち、選択部１０２１−ｍから入力されるインジケータＦｍに示される信号、つまり、選択部１０２１−ｍで選択された信号を符号化して第ｍレイヤの符号化データＣｍを生成する。具体的には、符号化部１０２２−ｍは、インジケータＦｍに示される信号が主信号の場合、第ｍレイヤの主信号Ｐ＾ｍ（ｎ）を符号化し、インジケータＦｍに示される信号が副信号の場合、第ｍレイヤの副信号Ａ＾ｍ（ｎ）を符号化する。そして、符号化部１０２２−ｍは、生成された第ｍレイヤの符号化データＣｍを復号部１０２３−ｍおよび図３に示す多重化部１０４に出力する。
復号部１０２３−ｍは、選択部１０２１−ｍから入力されるインジケータＦｍに基づいて、符号化部１０２２−ｍから入力される符号化データＣｍを特定し、符号化データＣｍを復号して第ｍレイヤの復号信号を生成する。ここで、復号部１０２３−ｍは、インジケータＦｍに示される信号以外の信号の復号信号を０とする。そして、復号部１０２３−ｍは、生成される第ｍレイヤの復号信号のうち、主信号の復号信号を減算器１０２４−ｍに出力し、副信号の復号信号を減算器１０２５−ｍに出力する。具体的には、復号部１０２３−ｍは、インジケータＦｍに示される信号が主信号である場合、第ｍレイヤの符号化データＣｍを用いて第ｍレイヤの主信号Ｐ＾ｍ（ｎ）を復号する。そして、復号部１０２３−ｍは、主信号の復号信号Ｐ〜 ｍ（ｎ）を減算器１０２４−ｍに出力する一方、副信号の復号信号Ａ〜 ｍ（ｎ）として「０」を減算器１０２５−ｍに出力する。これに対し、復号部１０２３−ｍは、インジケータＦｍに示される信号が副信号である場合、符号化データＣｍを用いて第ｍレイヤの副信号Ａ＾ｍ（ｎ）を復号する。そして、復号部１０２３−ｍは、副信号の復号信号Ａ〜 ｍ（ｎ）を減算器１０２５−ｍに出力する一方、主信号の復号信号Ｐ〜 ｍ（ｎ）として「０」を減算器１０２４−ｍに出力する。
減算器１０２４−ｍは、入力信号である第ｍレイヤの主信号Ｐ＾ｍ（ｎ）から、復号部１０２３−ｍから入力される主信号の復号信号Ｐ〜 ｍ（ｎ）を減じて得られる符号化残差信号を第（ｍ＋１）レイヤの主信号Ｐ＾ｍ＋１（ｎ）として生成する。そして、減算器１０２４−ｍは、第（ｍ＋１）レイヤの主信号Ｐ＾ｍ＋１（ｎ）を次の符号化レイヤである第（ｍ＋１）レイヤに対応する適応的残差符号化部１０２−（ｍ＋１）に出力する。
減算器１０２５−ｍは、入力信号である第ｍレイヤの副信号Ａ＾ｍ（ｎ）から、復号部１０２３−ｍから入力される副信号の復号信号Ａ〜 ｍ（ｎ）を減じて得られる符号化残差信号を第（ｍ＋１）レイヤの副信号Ａ＾ｍ＋１（ｎ）として生成する。そして、減算器１０２５−ｍは、第（ｍ＋１）レイヤの副信号Ａ＾ｍ＋１（ｎ）を適応的残差符号化部１０２−（ｍ＋１）に出力する。
例えば、選択部１０２１−ｍで主信号が選択された場合、減算器１０２４−ｍは、第ｍレイヤの主信号Ｐ＾ｍ（ｎ）から符号化データＣｍの復号信号を減じて得られる符号化残差信号を第（ｍ＋１）レイヤの主信号Ｐ＾ｍ＋１（ｎ）として生成する。また、減算器１０２５−ｍは、第ｍレイヤの副信号Ａ＾ｍ（ｎ）を第（ｍ＋１）レイヤの副信号Ａ＾ｍ＋１（ｎ）として生成する。一方、選択部１０２１−ｍで副信号が選択された場合、減算器１０２５−ｍは、第ｍレイヤの副信号Ａ＾ｍ（ｎ）から符号化データＣｍの復号信号を減じて得られる符号化残差信号を第（ｍ＋１）レイヤの副信号Ａ＾ｍ＋１（ｎ）として生成する。また、減算器１０２４−ｍは、第ｍレイヤの主信号Ｐ＾ｍ（ｎ）を第（ｍ＋１）レイヤの主信号Ｐ＾ｍ＋１（ｎ）として生成する。
次に、選択部１０２１−ｍの内部構成について図６を用いて説明する。図６は、選択部１０２１−ｍの内部構成を示すブロック図である。
図６に示す選択部１０２１−ｍにおいて、エネルギー計算部１２０１−ｍは、第ｍレイヤの主信号Ｐ＾ｍ（ｎ）のエネルギーＥＰ＾ｍを式（３）に従って計算する。そして、エネルギー計算部１２０１−ｍは、計算されたエネルギーＥＰ＾ｍを比較部１２０３−ｍに出力する。
Figure 2009144953
エネルギー計算部１２０２−ｍは、第ｍレイヤの副信号Ａ＾ｍ（ｎ）のエネルギーＥＡ＾ｍを式（４）に従って計算する。そして、エネルギー計算部１２０２−ｍは、計算されたエネルギーＥＡ＾ｍを比較部１２０３−ｍに出力する。
Figure 2009144953
比較部１２０３−ｍは、エネルギー計算部１２０１−ｍから入力されるエネルギーＥＰ＾ｍと、エネルギー計算部１２０２−ｍから入力されるエネルギーＥＡ＾ｍとを比較する。そして、比較部１２０３−ｍは、より大きいエネルギーに対応する信号（主信号または副信号）を第ｍレイヤにおいて符号化する信号として選択する。例えば、比較部１２０３−ｍは、エネルギーＥＰ＾ｍがエネルギーＥＡ＾ｍ以上の場合、第ｍレイヤにおいて符号化される信号として主信号（すなわち、第ｍレイヤの主信号Ｐ＾ｍ（ｎ））を選択する。一方、比較部１２０３−ｍは、エネルギーＥＰ＾ｍがエネルギーＥＡ＾ｍ未満の場合、第ｍレイヤにおいて符号化される信号として副信号（すなわち、第ｍレイヤの副信号Ａ＾ｍ（ｎ））を選択する。そして、比較部１２０３−ｍは、選択された信号、つまり、第ｍレイヤにおいて符号化される信号（主信号または副信号）を示すインジケータＦｍを生成する。
上述したように、本実施の形態における符号化装置１００は、符号化レイヤ毎に、主信号および副信号のいずれか一方の信号のみを符号化する。そのため、各符号化レイヤにおけるビット割当情報であるインジケータの情報量（ビット数）は、主信号と副信号とを区別するための１ビットでよい。
なお、上述した選択部１０２１−ｍは、主信号および副信号のエネルギーの算出を対数領域で行ってもよい。また、選択部１０２１−ｍは、主信号および副信号のエネルギーの算出に、左信号Ｌ（ｎ）および右信号Ｒ（ｎ）を利用してもよく、例えば左信号Ｌ（ｎ）および右信号Ｒ（ｎ）のエネルギーを用いてもよい。また、選択部１０２１−ｍは、マスキングを考慮して主信号および副信号のエネルギーを算出してもよい。
次に、図７に示す復号装置２００について説明する。復号装置２００は、通信路を介して符号化装置１００から送信されるビットストリームを受信する。図７に示す復号装置２００において、逆多重化部２０１は、ビットストリームを、第１レイヤ〜第Ｍレイヤそれぞれの符号化レイヤに対応する符号化データＣｍおよびインジケータＦｍと、ＰＣＡ変換パラメータの量子化符号とに分離する。そして、逆多重化部２０１は、各符号化レイヤに対応する符号化データＣｍおよびインジケータＦｍを、第１レイヤ〜第Ｍレイヤそれぞれ対応する復号部２０２−１〜２０２−Ｍに出力する。また、逆多重化部２０１は、ＰＣＡ変換パラメータの量子化符号を逆量子化部２０５に出力する。
復号部２０２−１〜２０２−Ｍは、それぞれ逆多重化部２０１から入力されるインジケータＦｍに基づいて、逆多重化部２０１から入力される符号化データを復号する。例えば、復号部２０２−ｍは、インジケータＦｍに示される信号が主信号である場合、符号化データＣｍを用いて主信号を復号する。そして、復号部２０２−ｍは、復号信号Ｐ〜 ｍ（ｎ）を加算器２０３に出力する。一方、復号部２０２−ｍは、インジケータＦｍに示される信号が副信号である場合、符号化データＣｍを用いて副信号を復号する。そして、復号部２０２−ｍは、復号信号Ａ〜 ｍ（ｎ）を加算器２０４に出力する。また、復号部２０２−ｍは、インジケータＦｍに示される信号以外の信号の復号信号として「０」を加算器２０３または加算器２０４に出力する。
加算器２０３は、復号部２０２−１〜２０２−Ｍからそれぞれ入力される復号信号Ｐ〜 ｍ（ｎ）を加算する。そして、加算器２０３は、すべての符号化レイヤ（第１レイヤ〜第Ｍレイヤ）の復号信号が加算された信号である復号主信号Ｐ〜（ｎ）を逆ＰＣＡ変換部２０６に出力する。
加算器２０４は、復号部２０２−１〜２０２−Ｍからそれぞれ入力される復号信号Ａ〜 ｍ（ｎ）を加算する。そして、加算器２０４は、すべての符号化レイヤ（第１レイヤ〜第Ｍレイヤ）の復号信号が加算された信号である復号副信号Ａ〜（ｎ）を逆ＰＣＡ変換部２０６に出力する。
なお、通信路の状況等によって、ビットストリームの一部が廃棄されてしまう場合がある。例えば、ビットストリームに第ｍレイヤ（ｍ＜Ｍ）までの符号化データしか含まれていない場合には、第１レイヤ〜第ｍレイヤまでの復号部が動作するとともに、これら符号化レイヤに対応する加算器２０３、２０４が動作して、復号主信号Ｐ〜（ｎ）および復号副信号Ａ〜（ｎ）が求められ、復号主信号Ｐ〜（ｎ）および復号副信号Ａ〜（ｎ）が逆ＰＣＡ変換部２０６に出力される。
逆量子化部２０５は、逆多重化部２０１から入力される量子化符号を逆量子化し、得られるＰＣＡ変換パラメータν〜 １およびν〜 ２を逆ＰＣＡ変換部２０６に出力する。
逆ＰＣＡ変換部２０６には、加算器２０３から復号主信号Ｐ〜（ｎ）が入力され、加算器２０４から復号副信号Ａ〜（ｎ）が入力され、逆量子化部２０５からＰＣＡ変換パラメータν〜 １およびν〜 ２が入力される。逆ＰＣＡ変換部２０６は、復号主信号Ｐ〜（ｎ）および復号副信号Ａ〜（ｎ）を、ＰＣＡ変換パラメータν〜 １およびν〜 ２を用いて、式（２）に従って逆ＰＣＡ変換（inverse PCA transformation）し、ステレオ信号における左信号Ｌ〜（ｎ）および右信号Ｒ〜（ｎ）を得る。
このように、本実施の形態によれば、符号化装置１００（図３）は、各符号化レイヤにおいて、主信号および副信号のうち、エネルギーがより高い信号のみを符号化対象として選択する。この結果、各符号化レイヤで符号化される信号は、主信号または副信号のいずれか１つのみであるため、符号化された信号（ビット列に割り当てられた信号）を示すインジケータの情報量（ビット数）は、１ビットのみでよい。つまり、符号化装置１００は、各符号化レイヤにおける符号化データのビット割当情報を最小限に抑えることができる。
また、スケーラブル符号化においては、各符号化レイヤにおける主信号および副信号として、下位の符号化レイヤにおける符号化残差信号が入力される。そのため、各符号化レイヤにおける入力信号のエネルギーは、下位の符号化レイヤにおける符号化結果に依存して変化する。よって、符号化装置１００（図３）が、各符号化レイヤにおいてエネルギーがより高い信号（重要度がより高い信号）を、下位の符号化レイヤにおける符号化結果に応じて適応的に選択することができる。これにより、復号装置２００（図７）は、高品質なステレオ信号を復元することができる。
（実施の形態２）
実施の形態１では最下位レイヤである第１レイヤの主信号および副信号に対して適応的残差符号化処理を施したのに対し、本実施の形態では、第１レイヤの主信号に対して、第１レイヤをさらに階層化して分割周波数帯域単位の符号化を行う帯域分割符号化処理を施す。
分割周波数帯域単位のスケーラブル符号化方法としては、例えば、入力信号を複数の帯域に分割し、分割した帯域の信号単位で符号化することでスケーラブル符号化を実現する方法（例えば、米国特許出願公開第２００８／０００４８８３号明細書参照）、および、ＩＴＵ−Ｔ勧告Ｇ．７２９．１のレイヤ４以降の符号化（ＴＤＡＣ：Time-Domain Aliasing Cancellation）において、ＭＤＣＴ係数上でサブ帯域単位の符号化を行い、エネルギーの大きいサブ帯域から優先的に符号化データを伝送することでスケーラブル符号化を実現する方法（ＩＴＵ−Ｔ勧告Ｇ．７２９．１（２００６）参照）等が検討されている。
帯域分割符号化に基づくスケーラブル符号化において、下位レイヤで符号化対象となる帯域の信号の符号化後の誤差信号（符号化残差信号）が大きい場合には、符号化残差信号が聴感的な復号音質に与える影響は、より上位の符号化レイヤで符号化対象となる帯域の信号が聴感的な復号音質に与える影響よりも大きい。
そこで、本実施の形態では、帯域分割符号化対象の符号化レイヤにおいて、各符号化レイヤより下位レイヤの符号化残差信号を符号化するか否かを適応的に判定する。
図８は本実施の形態に係る符号化装置の構成を示すブロック図である。なお、図８において図３に示す符号化装置１００と同一の構成部には同一符号を付し、説明を省略する。
図８に示す符号化装置５００において、ＰＣＡ変換部１０１は、第１レイヤの主信号Ｐ１（ｎ）を帯域分割符号化部５０１に出力し、第１レイヤの副信号Ａ１（ｎ）を第２レイヤの副信号Ａ＾２（ｎ）として適応的残差符号化部１０２−２に出力する。
帯域分割符号化部５０１は、ＰＣＡ変換部１０１から入力される主信号Ｐ１（ｎ）を複数の帯域に分割し、分割した分割帯域単位の信号に対して階層的に符号化を行う。ここで、帯域分割符号化部５０１が第１レイヤから第Ｌレイヤ（Ｌは２以上の自然数）までの符号化を行う場合、適応的残差符号化部１０２−２〜１０２−Ｍは第（Ｌ＋１）レイヤ以降の符号化を順次行う。そして、帯域分割符号化部５０１は、第Ｌレイヤまでの各符号化レイヤで生成された符号化データを含む符号化データＣＳ、および、第１レイヤの符号化対象の帯域をさらに分割した各帯域（サブ帯域）で生成された判定結果を含むインジケータＦＳを多重化部１０４に出力する。また、帯域分割符号化部５０１は、符号化後の符号化残差信号を適応的残差符号化部１０２−２の入力信号Ｐ＾２（ｎ）として適応的残差符号化部１０２−２に出力する。
図９は、図８に示す帯域分割符号化部５０１の内部構成のうち、第１レイヤの符号化処理に関する構成部および第２レイヤ符号化処理に関する構成部への入力信号形成処理に関する構成部を示すブロック図である。
図９に示す帯域分割符号化部５０１において、帯域分割部５５１は、ＰＣＡ変換部１０１（図８）から入力される第１レイヤの主信号Ｐ１（ｎ）を、第１レイヤの符号化対象の第１帯域の信号である第１帯域信号Ｓ１と、第１帯域信号Ｓ１以外の信号Ｓ”１とに分割する。例えば、帯域分割部５５１は、第１レイヤの主信号Ｐ１（ｎ）の周波数帯域のうち低域部から所定の周波数帯域までの信号を第１帯域信号Ｓ１とする。そして、帯域分割部５５１は、第１帯域信号Ｓ１をサブ帯域分割部５５２および符号化部５５３に出力し、第１帯域信号以外の信号Ｓ”１を信号形成部５５８に出力する。
サブ帯域分割部５５２は、帯域分割部５５１から入力される第１帯域信号Ｓ１を複数のサブ帯域信号Ｓ１，ｓｂ（ｓｂ＝１，２，…，Ｎｓｂ、Ｎｓｂはサブ帯域分割数）に分割する。そして、サブ帯域分割部５５２は、分割したサブ帯域信号Ｓ１，ｓｂを評価部５５６および残差算出部５５７に出力する。
符号化部５５３は、帯域分割部５５１から入力される第１帯域信号Ｓ１を予め設定された符号化ビットレートで符号化して第１レイヤ符号化データを生成する。そして、符号化部５５３は、生成した第１レイヤ符号化データを復号部５５４に出力するとともに、多重化部１０４（図８）に出力する。
復号部５５４は、符号化部５５３から入力される第１レイヤ符号化データを復号して第１レイヤ復号信号Ｓ〜 １を生成する。そして、復号部５５４は、生成した第１レイヤ復号信号Ｓ〜 １をサブ帯域分割部５５５に出力する。
サブ帯域分割部５５５は、サブ帯域分割部５５２と同様にして、復号部５５４から入力される第１レイヤ復号信号Ｓ〜 １を複数のサブ帯域信号Ｓ〜 １，ｓｂに分割する。そして、サブ帯域分割部５５５は、分割したサブ帯域信号Ｓ〜 １，ｓｂを評価部５５６および残差算出部５５７に出力する。
評価部５５６は、サブ帯域分割部５５２から入力されるサブ帯域信号Ｓ１，ｓｂおよびサブ帯域分割部５５５から入力されるサブ帯域信号Ｓ〜 １，ｓｂを用いて、サブ帯域毎の符号化残差エネルギーが所定の閾値より小さいか否かを判定する。具体的には、まず、評価部５５６は、サブ帯域信号Ｓ１，ｓｂおよびサブ帯域信号Ｓ〜 １，ｓｂを用いて、サブ帯域毎の第１レイヤにおける符号化性能に関する評価値を算出する。例えば、評価部５５６は、評価値として各サブ帯域の符号化残差信号に対するＳＮＲ（Signal to Noise Ratio）を用いる。具体的には、評価部５５６は、第ｓｂサブ帯域におけるＳＮＲｓｂを式（５）に従って算出する。ただし、第ｓｂサブ帯域におけるサブ帯域信号のサンプル数をＰ１，ｓｂとする。
Figure 2009144953
そして、評価部５５６は、算出した各サブ帯域における符号化性能に関する評価値（ＳＮＲ）に基づき、符号化残差エネルギーが所定の閾値より小さいか否かを判定する。具体的には、評価部５５６は、各サブ帯域のＳＮＲｓｂと所定の閾値ＳＮＲｔｈｒとを比較して、下記の第ｓｂサブ帯域における判定結果Ｆ１，ｓｂを生成する。
Ｆ１，ｓｂ ＝ １ if ＳＮＲｓｂ ＜ ＳＮＲｔｈｒ
Ｆ１，ｓｂ ＝ ０ else
つまり、評価部５５６は、各サブ帯域における評価値（ＳＮＲ）が所定の閾値より小さい場合（すなわち、符号化残差エネルギーが所定の閾値より大きい場合）、判定結果Ｆ１，ｓｂを「１」とし、評価値（ＳＮＲ）が所定の閾値以上の場合（すなわち、符号化残差エネルギーが所定の閾値以下の場合）、判定結果Ｆ１，ｓｂを「０」とする。ここで、評価部５５６は、ＳＮＲｔｈｒを予め設定してもよく、入力信号の特性に基づいて設定してもよく、サブ帯域毎に設定してもよい。そして、評価部５５６は、各サブ帯域の判定結果Ｆ１，ｓｂを残差算出部５５７に出力するとともに、多重化部１０４（図８）に出力する。
残差算出部５５７は、評価部５５６から入力される判定結果Ｆ１，ｓｂに基づいて、各サブ帯域における符号化残差信号を算出する。具体的には、残差算出部５５７は、判定結果Ｆ１，ｓｂが「１」である第ｓｂサブ帯域では、サブ帯域分割部５５２から入力されるサブ帯域信号Ｓ１，ｓｂから、サブ帯域分割部５５５から入力されるサブ帯域信号Ｓ〜 １，ｓｂを減じて第ｓｂサブ帯域における符号化残差信号を算出する。一方、残差算出部５５７は、判定結果Ｆ１，ｓｂが「０」である第ｓｂサブ帯域では符号化残差信号を算出しない。そして、残差算出部５５７は、判定結果Ｆ１，ｓｂが「１」であるサブ帯域のみに符号化残差信号を有する第１帯域全体の符号化残差信号Ｓｒ１を信号形成部５５８に出力する。
信号形成部５５８は、残差算出部５５７から入力される符号化残差信号Ｓｒ１と帯域分割部５５１から入力される信号Ｓ”１とを加算して信号Ｓ’１を形成する。すなわち、信号Ｓ’１は、第１レイヤの主信号Ｐ１（ｎ）の周波数帯域において、第１帯域に符号化残差信号Ｓｒ１を有し、第１帯域以外の周波数帯域に信号Ｓ”１を有する。そして、信号形成部５５８は、生成した信号Ｓ’１を第２レイヤの符号化処理に関する構成部（図示せず）に出力する。
また、帯域分割符号化部５０１は、信号形成部５５８から出力された信号Ｓ’１を第２レイヤの入力信号として用いる。そして、第２レイヤでは、帯域分割符号化部５０１は、第１レイヤと同様にして、入力信号を、第２レイヤで符号化対象とする第２帯域の信号と第２帯域の信号以外の信号とに分割し、第２帯域の信号を予め設定された符号化ビットレートで符号化する。また、帯域分割符号化部５０１は、第２帯域の信号以外の信号を、第３レイヤの入力信号として用いる。ここで、帯域分割符号化部５０１は、第１帯域の一部を含む周波数帯域を第２帯域とする。そこで、帯域分割符号化部５０１は、第２帯域の信号のうち、第１帯域の一部に対応する周波数帯域の信号を優先的に符号化する。具体的には、帯域分割符号化部５０１は、第２帯域に含まれる第１帯域のうち、サブ帯域の判定結果Ｆ１，ｓｂが「１」であるサブ帯域の一部またはすべての符号化残差信号を優先的に符号化する。第３レイヤ以降についても同様である。そして、帯域分割符号化部５０１は、すべての符号化レイヤの符号化データを含む符号化データＣＳおよび第１帯域の各サブ帯域の判定結果Ｆ１，ｓｂを含むインジケータＦＳを多重化部１０４に出力する。
次いで、信号形成部５５８で形成した信号Ｓ’１を図１０に示す。図１０に示すように、第１レイヤの符号化対象である第１帯域では、判定結果Ｆ１，ｓｂが「１」であるサブ帯域のみに符号化レイヤ残差信号が存在する。例えば、図１０に示すように、判定結果Ｆ１，１が「１」である第１サブ帯域（ｓｂ＝１）では、符号化残差信号（Ｓ１，１−Ｓ〜 １，１）が存在し、判定結果Ｆ１，３が「１」である第３サブ帯域（ｓｂ＝３）では、符号化残差信号（Ｓ１，３−Ｓ〜 １，３）が存在する。一方、判定結果Ｆ１，２が「０」である第２サブ帯域（ｓｂ＝２）および判定結果Ｆ１，４が「０」である第４サブ帯域（ｓｂ＝４）では、符号化残差信号が存在しない。また、第１レイヤの符号化対象ではない帯域では、第１レイヤの主信号Ｐ１（ｎ）の第１帯域以外の周波数帯域の信号Ｓ”１がそのまま存在する。
これにより、帯域分割符号化部５０１は、第１帯域の各サブ帯域のうち、符号化残差エネルギーが閾値より大きいサブ帯域の符号化残差信号を入力信号として上位レイヤに出力する。よって、帯域分割符号化部５０１は、下位レイヤで得る符号化残差信号のうち、符号化残差エネルギーがより高い信号（重要度がより高い信号）のみを上位レイヤで符号化する符号化残差信号として適応的に選択することができる。
次に、本実施の形態に係る復号装置について説明する。図１１は復号装置６００の構成を示すブロック図である。なお、図１１において図７に示す復号装置２００と同一の構成部には同一符号を付し、説明を省略する。
図１１に示す復号装置６００において、帯域分割復号部６０１には、逆多重化部２０１から、符号化装置５００の帯域分割符号化部５０１で生成された各符号化レイヤの符号化データを含む符号化データＣＳおよび第１レイヤの複数のサブ帯域の判定結果Ｆ１、ｓｂを含むインジケータＦＳが入力される。帯域分割復号部６０１は、判定結果Ｆ１、ｓｂに基づいて、符号化データＣＳを復号する。具体的には、帯域分割復号部６０１は、逆多重化部２０１から入力される各符号化レイヤの符号化データを復号し、生成される復号信号と上位レイヤで生成した復号信号とを加算して各符号化レイヤの復号信号を形成する。そして、帯域分割復号部６０１は、帯域分割符号化処理を適用した符号化レイヤのうち最下位レイヤである第１レイヤの復号信号を復号信号Ｐ〜 １（ｎ）として加算器２０３に出力する。
図１２は、図１１に示す帯域分割復号部６０１の内部構成のうち、第２レイヤの復号信号Ｓ〜’１を用いて、最下位レイヤである第１レイヤの復号信号Ｐ〜 １（ｎ）を生成する復号処理に関する構成部を示すブロック図である。
図１２に示す帯域分割復号部６０１において、復号部６５１は、逆多重化部２０１（図１１）から入力される符号化データＣＳに含まれる第１レイヤ符号化データを復号する。そして、復号部６５１は、第１レイヤの復号信号Ｓ〜 １を帯域復号信号形成部６５３に出力する。
残差信号分離部６５２は、逆多重化部２０１から入力される判定結果Ｆ１，ｓｂに基づいて、第２レイヤの復号処理に関する構成部（図示せず）から入力される第２レイヤの復号信号Ｓ〜’１（すなわち、第２レイヤから第Ｌレイヤで復号された復号信号）を第１帯域の復号残差信号Ｓ〜 ｒ１と第１帯域以外の周波数帯域の復号信号Ｓ〜”１とに分離する。そして、残差信号分離部６５２は、第１帯域の復号残差信号Ｓ〜 ｒ１を帯域復号信号形成部６５３に出力し、第１帯域以外の周波数帯域の復号信号Ｓ〜”１を復号信号形成部６５４に出力する。
帯域復号信号形成部６５３は、逆多重化部２０１から入力される判定結果Ｆ１，ｓｂに基づいて、復号部６５１から入力される復号信号Ｓ〜 １および残差信号分離部６５２から入力される復号残差信号Ｓ〜 ｒ１を加算することで、第１帯域の復号信号を形成する。具体的には、帯域復号信号形成部６５３は、復号信号Ｓ〜 １と、復号残差信号Ｓ〜 ｒ１における判定結果Ｆ１，ｓｂが「１」であるサブ帯域の復号残差信号とを加算する。そして、帯域復号信号形成部６５３は、形成した第１帯域の復号信号を復号信号形成部６５４に出力する。
復号信号形成部６５４は、帯域復号信号形成部６５３から入力される第１帯域の復号信号、および、残差信号分離部６５２から入力される第１帯域以外の周波数帯域の復号信号Ｓ〜”１を用いて復号信号Ｐ〜 １（ｎ）を形成する。そして、復号信号形成部６５４は、形成した復号信号Ｐ〜 １（ｎ）を加算器２０３（図１１）に出力する。
このように、本実施の形態によれば、符号化装置５００（図８）は、主信号Ｐ１（ｎ）に対して帯域分割符号化に基づくスケーラブル符号化を適用し、ステレオ符号化において聴感的に重要である周波数帯域（特に低域）の信号を適応的に選択して符号化するため、符号化歪をより低減することができる。よって、復号装置６００（図１１）は、復号音質を向上することができる。
また、本実施の形態によれば、第１レイヤの符号化対象である第１帯域の各サブ帯域のうち、評価値（ＳＮＲ）が所定の閾値より小さいサブ帯域、つまり、符号化残差エネルギーが所定量より大きいサブ帯域のみを上位レイヤの符号化対象の信号とする。すなわち、各符号化レイヤにおいてエネルギーがより高いサブ帯域の信号（聴感的に重要度がより高いサブ帯域の信号）のみが上位レイヤに入力される。よって、符号化装置５００では、帯域分割符号化部５０１内の各符号化レイヤにおいて、下位レイヤにおける符号化結果に応じて符号化残差エネルギーがより高い信号（重要度がより高い信号）を適応的に符号化するため、復号装置６００（図１１）は、高品質なステレオ信号を復元することができる。
なお、本実施の形態において、各符号化レイヤにおける符号化対象の信号は、時間領域信号でもよく、周波数領域信号（例えば、ＭＤＣＴ変換後の係数）でもよい。
また、本実施の形態では、適応的残差符号化処理を適用する符号化レイヤより下位の符号化レイヤに対して帯域分割符号化処理を適用する場合について説明した。しかし、本発明では、帯域分割符号化処理を適用する符号化レイヤは、適応的残差符号化処理を適用する符号化レイヤより下位の符号化レイヤに限定されない。例えば、符号化装置は、適応的残差符号化処理を適用する複数の符号化レイヤの途中の符号化レイヤに対して帯域分割符号化処理を適用してもよい。
また、本実施の形態では、ＰＣＡ変換後の主信号に対して帯域分割符号化処理を適用する場合について説明した。しかし、本発明では、帯域分割符号化処理を適用する信号はＰＣＡ変換後の主信号に限定されない。例えば、符号化装置は、ＰＣＡ変換後の副信号、適応的残差符号化処理を適用する複数の符号化レイヤの途中の符号化レイヤにおける符号化残差信号、または、ＰＣＡ変換後の信号以外の任意の入力信号に対して帯域分割符号化処理を適用してもよい。また、符号化装置は、帯域分割符号化処理と適応的残差符号化処理とを組み合わせず、帯域分割符号化処理を単独で適用してもよい。
また、本実施の形態では、帯域分割符号化部において、入力信号の低域部から所定の周波数帯域までの予め設定した周波数帯域を、各符号化レイヤにおける符号化対象の周波数帯域とする場合について説明した。しかし、本発明では、各符号化レイヤにおける符号化対象の周波数帯域として、例えば、入力信号の特性に応じた周波数帯域を適応的に設定してもよい。
また、本実施の形態では、符号化装置が判定結果Ｆ１，ｓｂに基づいて第１帯域の各サブ帯域の符号化残差信号を算出するか否かを決定する場合について説明した。しかし、本発明では、符号化装置は判定結果Ｆ１，ｓｂによらず第１帯域のすべてのサブ帯域の符号化残差信号を算出してもよい。
以上、本発明の各実施の形態について説明した。
なお、上記実施の形態では、信号の重要度の指標として、信号のエネルギーを用いる場合について説明した。しかし、本発明では、信号の重要度は、信号のエネルギーに限らず、例えば、信号の信号対雑音比（Signal to Noise Ratio：ＳＮＲ）でもよい。信号の重要度の指標としてＳＮＲを用いる場合の適応的残差符号化部１０２−ｍの選択部３０２１−ｍの内部構成について図１３のブロック図を用いて説明する。図１３に示す選択部３０２１−ｍにおいて、符号化部３２０１−ｍは、第ｍレイヤの主信号Ｐ＾ｍ（ｎ）を符号化して符号化データを生成し、復号部３２０２−ｍは、第ｍレイヤの主信号Ｐ＾ｍ（ｎ）の符号化データを復号して第ｍレイヤの主信号の復号信号Ｐ〜 ｍ（ｎ）を生成する。そして、減算器３２０３−ｍは、第ｍレイヤの主信号Ｐ＾ｍ（ｎ）から第ｍレイヤの主信号の復号信号Ｐ〜 ｍ（ｎ）を減じて、第（ｍ＋１）レイヤの主信号Ｐ＾ｍ＋１（ｎ）を生成する。逆ＰＣＡ変換部３２０４−ｍは、第（ｍ＋１）レイヤの主信号Ｐ＾ｍ＋１（ｎ）および第ｍレイヤの副信号Ａ＾ｍ（ｎ）を逆ＰＣＡ変換して、左信号Ｌ＾ｍ１（ｎ）および右信号Ｒ＾ｍ１（ｎ）を得る。すなわち、符号化部３２０１−ｍ、復号部３２０２−ｍ、減算器３２０３−ｍおよび逆ＰＣＡ変換部３２０４−ｍは、第ｍレイヤの主信号Ｐ＾ｍ（ｎ）が符号化された場合（すなわち、選択部３０２１−ｍが主信号を選択した場合）の復号装置２００における出力ステレオ信号（左信号Ｌ＾ｍ１（ｎ）および右信号Ｒ＾ｍ１（ｎ））を生成する。そして、測定値算出部３２０５−ｍは、左信号Ｌ＾ｍ１（ｎ）および右信号Ｒ＾ｍ１（ｎ）を用いて定量的測定値Ｍ１（すなわち、ＳＮＲ）を算出する（式（６））。
Figure 2009144953
同様にして、符号化部３２０６−ｍ、復号部３２０７−ｍ、減算器３２０８−ｍおよび逆ＰＣＡ変換部３２０９−ｍは、第ｍレイヤの副信号Ａ＾ｍ（ｎ）が符号化された場合（すなわち、選択部３０２１−ｍが副信号を選択した場合）の復号装置２００における出力ステレオ信号（左信号Ｌ＾ｍ２（ｎ）および右信号Ｒ＾ｍ２（ｎ））を生成する。そして、測定値算出部３２１０−ｍは、左信号Ｌ＾ｍ２（ｎ）および右信号Ｒ＾ｍ２（ｎ）を用いて定量的測定値Ｍ２（すなわち、ＳＮＲ）を算出する（式（７））。
Figure 2009144953
比較部３２１１−ｍは、定量的測定値Ｍ１および定量的測定値Ｍ２を比較し、より大きい値の定量的測定値に対応する信号（主信号または副信号）を符号化される信号として選択し、選択された信号を示すインジケータＦｍを出力する。つまり、選択部３０２１−ｍは、主信号を符号化した際に復号装置２００で得られる出力ステレオ信号、および、副信号を符号化した際に復号装置２００で得られる出力ステレオ信号を選択部３０２１−ｍの内部で生成する。これにより、選択部３０２１−ｍは、定量的測定値として、復号装置２００におけるＳＮＲを算出することができる。よって、選択部３０２１−ｍは、復号装置２００におけるＳＮＲがより高い信号を選択するため、上記実施の形態と同様、ビット割当情報を通知するための情報量を最小限に抑えつつ、符号化効率を向上することができる。なお、信号の重要度を示す定量的測定値は式（６）および式（７）より算出されるＳＮＲに限らず、例えば、マスク対雑音比（Mask to Noise Ratio：ＭＮＲ）でもよい。例えば、ステレオ信号の重要度としてＭＮＲを用いる場合、ステレオ信号における左信号Ｌ（ｎ）および右信号Ｒ（ｎ）の心理音響的モデル化を含む処理を経て導出することができる。
また、上記実施の形態では、時間領域のステレオ信号に対して本発明を適用する場合について説明した。しかし、本発明は、時間領域のステレオ信号に限らず、別の領域のステレオ信号に対して本発明を適用してもよい。例えば、ＭＤＣＴ（Modified Discrete Cosine Transform）領域のステレオ信号、または、ステレオ信号にＬＰＣ分析を施したＬＰＣ（Linear Prediction Coefficients）残差信号に対して本発明を適用してもよい。また、本発明は、例えば、ＭＤＣＴ領域のＬＰＣ残差信号に対して適用してもよい。
また、本発明に係る符号化装置は、入力信号の帯域を複数のサブ帯域（sub band）に分割し、入力信号の各サブ帯域の信号であるサブ帯域信号に対して本発明を適用してもよい。例えば、入力信号であるステレオ信号の左信号Ｌ（ｎ）および右信号Ｒ（ｎ）を、Ｋ個のサブ帯域に分割して、左信号Ｌ（ｎ）のサブ帯域信号Ｌｋ（ｎ）（ｋ＝１〜Ｋ）、および、右信号Ｒ（ｎ）のサブ帯域信号Ｒｋ（ｎ）（ｋ＝１〜Ｋ）を得る。
例えば、ステレオ信号において、ＭＤＣＴ領域のＬＰＣ残差信号を複数のサブ帯域信号に分割した場合について、図１４〜図１７を用いて説明する。なお、図１４は、符号化装置のうち、ＭＤＣＴ領域のＬＰＣ残差信号を複数のサブ帯域信号に分割する処理に関する構成部３００を示し、図１５は、符号化装置のうち、本発明に係る符号化処理に関する構成部３５０を示す。同様に、図１６は、復号装置のうち、本発明に係る復号処理に関する構成部４００を示し、図１７は、復号装置のうち、複数のサブ帯域信号に分割されたＭＤＣＴ領域のＬＰＣ残差信号を結合してステレオ信号を復元する処理に関する構成部４５０を示す。なお、図１４〜図１７において図３に示す符号化装置１００または図７に示す復号装置２００と同一の構成部には同一符号を付し、説明を省略する。
図１４において、ＬＰＣ分析部３０１は、ステレオ信号における左信号Ｌ（ｎ）を用いて線形予測分析を行い、左信号Ｌ（ｎ）のスペクトルの概形を示すＬＰＣパラメータ（線形予測パラメータ）ＡＬ（ｚ）を得る。量子化部３０２は、ＬＰＣパラメータＡＬ（ｚ）を量子化して量子化符号ＩｑＬを得る。逆量子化部３０３は、ＬＰＣパラメータの量子化符号ＩｑＬを逆量子化し、復号ＬＰＣパラメータＡｄＬ（ｚ）を得る。逆フィルタ３０４は、左信号Ｌ（ｎ）に対し、復号ＬＰＣパラメータＡｄＬ（ｚ）を用いて逆フィルタリング（ＬＰＣ逆フィルタリング）を施すことにより、スペクトルの概形の特徴が取り除かれたフィルタリング後の左信号Ｌｅ（ｎ）を得る。Ｔ／Ｆ部３０５は、逆フィルタリング後の左信号Ｌｅ（ｎ）に対してＭＤＣＴ（すなわち、時間／周波数領域変換）を行い、時間領域の左信号Ｌｅ（ｎ）をＭＤＣＴ領域（周波数領域）の左信号Ｌｅ（ｆ）を得る。つまり、左信号のＭＤＣＴ領域のＬＰＣ残差信号Ｌｅ（ｆ）が得られる。
帯域分割部３０６は、左信号のＭＤＣＴ領域のＬＰＣ残差信号Ｌｅ（ｆ）を複数のサブ帯域（ここでは、Ｋ個のサブ帯域）に分割し、左信号Ｌｅ（ｆ）のサブ帯域信号Ｌｅ１（ｆ）〜ＬｅＫ（ｆ）を生成する。
一方、図１４に示すＬＰＣ分析部３０７、量子化部３０８、逆量子化部３０９、逆フィルタ３１０、Ｔ／Ｆ部３１１および帯域分割部３１２は、ＬＰＣ分析部３０１から帯域分割部３０６までの一連の処理と同様の処理を右信号Ｒ（ｎ）に施すことで、右信号Ｒｅ（ｆ）のサブ帯域信号Ｒｅ１（ｆ）〜ＲｅＫ（ｆ）を生成する。
ここで、例えば、左信号Ｌｅ（ｆ）のサブ帯域信号Ｌｅ１（ｆ）〜ＬｅＫ（ｆ）および右信号Ｒｅ（ｆ）のサブ帯域信号Ｒｅ１（ｆ）〜ＲｅＫ（ｆ）のうち、サブ帯域信号Ｌｅ１（ｆ）およびサブ帯域信号Ｒｅ１（ｆ）に対してのみ本発明を適用する場合について説明する。図１５に示すように、ＰＣＡ変換部３５１は、サブ帯域信号Ｌｅ１（ｆ）およびサブ帯域信号Ｒｅ１（ｆ）をＰＣＡ変換し、ＭＤＣＴ領域の主信号Ｐ（ｆ）および副信号Ａ（ｆ）を得る。そして、適応的残差符号化部３５２−１〜３５２−Ｍは、上記実施の形態と同様にして、主信号Ｐ（ｆ）および副信号Ａ（ｆ）に対して適応的残差符号化処理を施す。多重化部３１３は、適応的残差符号化部３５２−１〜３５２−Ｍから入力される符号化データＣｍおよびインジケータＦｍと、図１４に示す量子化部３０２および量子化部３０８からそれぞれ入力されるＬＰＣパラメータの量子化符号ＩｑＬおよびＩｑＲとを多重化する。
一方、図１６に示す復号装置の逆多重化部４０１は、ビットストリームに多重化された符号化データＣｍおよびインジケータＦｍを復号部４０２−１〜４０２−Ｍにそれぞれ出力する。また、逆多重化部４０１は、ＬＰＣパラメータの量子化符号ＩｑＬおよびＩｑＲを、図１７に示す逆量子化部４５１および逆量子化部４５５に出力する。復号部４０２−１〜４０２−Ｍは、上記実施の形態と同様にして、符号化データを復号し、ＭＤＣＴ領域の復号信号Ｐ〜 ｍ（ｆ）およびＭＤＣＴ領域の復号信号Ａ〜 ｍ（ｆ）を得る。逆ＰＣＡ変換部４０３は、復号主信号Ｐ〜 ｍ（ｆ）および復号副信号Ａ〜 ｍ（ｆ）を用いて、左信号のサブ帯域信号Ｌ〜 ｅ１および右信号のサブ帯域信号Ｒ〜 ｅ１を得る。左信号のサブ帯域信号Ｌ〜 ｅ１は、図１７に示す帯域結合部４５２に出力され、右信号のサブ帯域信号Ｒ〜 ｅ１は、図１７に示す帯域結合部４５６に出力される。
図１７に示す逆量子化部４５１は、ＬＰＣパラメータの量子化符号ＩｑＬを逆量子化してＬＰＣパラメータＡｄＬ（ｚ）を得る。帯域結合部４５２は、左信号Ｌｅ（ｆ）のサブ帯域信号Ｌｅ１（ｆ）〜ＬｅＫ（ｎ）を結合し、ＭＤＣＴ領域の左信号Ｌ〜 ｅ（ｆ）を得る。Ｆ／Ｔ部４５３は、ＭＤＣＴ領域の左信号Ｌ〜 ｅ（ｆ）に対して逆ＭＤＣＴ（すなわち、周波数／時間領域変換）を行い、時間領域の左信号Ｌ〜 ｅ（ｎ）を得る。合成フィルタ４５４は、ＬＰＣパラメータＡｄＬ（ｚ）を用いて、時間領域の左信号Ｌ〜 ｅ（ｎ）に対して合成フィルタを掛け、左信号Ｌ〜（ｎ）を得る。
一方、図１７に示す逆量子化部４５５、帯域結合部４５６、Ｆ／Ｔ部４５７および合成フィルタ４５８は、逆量子化部４５１、帯域結合部４５２、Ｆ／Ｔ部４５３および合成フィルタ４５４の一連の処理と同様の処理を量子化符号ＩｑＲおよび右信号Ｒｅ（ｆ）のサブ帯域信号Ｒｅ１（ｆ）〜ＲｅＫ（ｎ）に対して施すことにより、右信号Ｒ〜（ｎ）を得る。
このように、ステレオ信号のＬＰＣ残差信号をＭＤＣＴ領域に変換して、ＭＤＣＴ領域の信号を複数のサブ帯域に分割して、分割したサブ帯域の信号に対してＰＣＡ変換、適応的残差符号化を適用することで、サブ帯域毎に適した効率的な符号化を行うことができる。
また、上記実施の形態では、ステレオ信号をＰＣＡ変換する場合、量子化前のＰＣＡ変換パラメータ（すなわち、ステレオ信号から算出される共分散行列の固有ベクトルの各要素）を使用する場合について説明した。しかし、本発明では、ＰＣＡ変換の際に使用するＰＣＡ変換パラメータとして、量子化後のＰＣＡ変換パラメータを用いてもよい。
また、上記実施の形態では、第１レイヤ〜第Ｍレイヤまでの符号化レイヤにおいて適応的残差符号化処理を行う場合について説明した。しかし、本発明では、最下位のレイヤである第１レイヤにおける適応的残差符号化処理を省略してもよい。例えば、第１レイヤでは主信号が副信号よりも重要な情報であるため、符号化装置は、第１レイヤにおいて、適応的残差符号化処理を省略し、常に主信号を選択してもよい。この場合、符号化装置は、第２レイヤ〜第Ｍレイヤまでのインジケータを送信すればよい。つまり、第１レイヤのインジケータを送信しなくてよいため、ビット割当情報を１ビット削減することができる。また、符号化装置は、第１レイヤにおいて、主信号および副信号の双方を符号化し、第２レイヤ以降の符号化レイヤで本発明を適用してもよい。
また、上記実施の形態では、第１レイヤ〜第Ｍレイヤまでの符号化レイヤにおいて適応的残差符号化処理を行う場合について説明した。しかし、本発明では、例えば、最下位のレイヤである第１レイヤから所定の符号化レイヤにおける適応的残差符号化処理を省略してもよい。例えば、第１レイヤ〜第（ｉ−１）レイヤ（ｉは２以上の自然数）では、符号化装置は、適応的残差符号化処理を省略し、常に主信号を選択してもよい。つまり、符号化装置は、第ｉレイヤ〜第Ｍレイヤで本発明を適用してもよい。また、符号化装置は、第１レイヤ〜第（ｉ−１）レイヤにおいて、主信号および副信号の双方を符号化し、第ｉレイヤ〜第Ｍレイヤで本発明を適用してもよい。
また、上記実施の形態では、第１レイヤ〜第Ｍレイヤまでの符号化レイヤにおいて適応的残差符号化処理を行う場合について説明した。しかし、第１レイヤ〜第Ｍレイヤのうち１つ以上の任意の符号化レイヤで本発明を適用してもよい。
また、ＰＣＡ変換は、ＫＬ変換（ＫＬＴ：Karhunen Loeve Transform）と呼ばれることもある。
また、上記実施の形態に係る復号装置は、上記実施の形態に係る符号化装置が送信したビットストリームを受信して処理を行う場合を例にとって説明した。しかし、本発明はこれに限定されず、上記実施の形態に係る復号装置が受信して処理するビットストリームは、上記実施の形態に係る復号装置で処理可能なビットストリームを生成可能な符号化装置が送信したものであればよい。
また、以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。本発明は、符号化装置、復号装置を有するシステムであればどのような場合にも適用することができる。
また、本発明に係る符号化装置および復号装置は、例えば音声符号化装置および音声復号装置等として、移動体通信システムにおける通信端末装置および基地局装置に搭載することが可能であり、これにより上記と同様の作用効果を有する通信端末装置、基地局装置、および移動体通信システムを提供することができる。
また、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明をソフトウェアで実現することも可能である。例えば、本発明に係るアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明に係る符号化装置と同様の機能を実現することができる。
また、上記実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。
また、ここではＬＳＩとしたが、集積度の違いによって、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等と呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラム化することが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
さらに、半導体技術の進歩または派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適用等が可能性としてあり得る。
２００８年５月３０日出願の特願２００８−１４３８６３および２００８年６月１９日出願の特願２００８−１６０９５４の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
本発明に係る符号化装置および復号装置等は、携帯電話、ＩＰ電話、テレビ会議等に用いるに好適である。
本発明は、主成分分析変換を適用する符号化装置、復号装置およびこれらの方法に関する。
従来の音声通信システムでは、限定された伝送帯域制限下でモノラル音声信号を送信する。通信ネットワークのブロードバンド化に伴い、音声通信に対するユーザの期待は、単なる明瞭さからステレオ音像（stereo image）と自然らしさの提供へと移行しており、ステレオ音声を提供するトレンドが出現している。そのため、ステレオ音声を効率的に送信するための符号化方式が望まれている。
前述の目標を達成するため、ステレオ信号（すなわち、２チャネル）または複数のチャネルの符号化方法として、主成分分析（ＰＣＡ：Principal Component Analysis）を使用した符号化方法が検討されている（非特許文献１および非特許文献２）。ＰＣＡを使用した符号化方法では、入力信号をＰＣＡによって変換（ＰＣＡ変換）して、変換後の各信号をそれぞれ独立して符号化する。ＰＣＡ変換は、入力信号の共分散行列から得られる固有値の分布に従って、入力信号におけるエネルギーの集中化を達成させる線形変換である。
例えば、ＰＣＡによって変換されたステレオ信号は、ステレオ信号の主要成分（例えば、主旋律のオーディオ信号成分または支配的な音声成分）に対応する主信号（principal signal）と、ステレオ信号の主信号以外の残りの成分に対応する副信号（secondary signal）とに変換される。つまり、ステレオ信号のエネルギーが主信号に集中化される。これにより、ＰＣＡを使用した符号化方法では、エネルギーを集中化させた信号を符号化することで、入力信号における冗長性を除去することができるため、符号化効率を向上させることができる。また、ステレオ信号における主信号と副信号とは、互いに無相関の関係があるため、さらに入力信号における冗長性を除去することができる。
図１および図２は、ＰＣＡを使用したステレオ信号コーデックの一般的な符号化装置および復号装置を示すブロック図である。図１に示す符号化装置において、ＰＣＡ変換部１１は、ステレオ信号における左信号Ｌ（ｎ）および右信号Ｒ（ｎ）を主信号Ｐ（ｎ）および副信号Ａ（ｎ）に変換する（式（１））。
Figure 2009144953
ここで、ν１およびν２は、左信号Ｌ（ｎ）および右信号Ｒ（ｎ）を主信号Ｐ（ｎ）と副信号Ａ（ｎ）とに変換するために用いるＰＣＡ変換パラメータである。符号化部１２および符号化部１３は、主信号Ｐ（ｎ）および副信号Ａ（ｎ）をそれぞれ独立して符号化（例えば、スカラ量子化またはベクトル量子化）し、主信号Ｐ（ｎ）の符号化データおよび副信号Ａ（ｎ）の符号化データを多重化部１５に出力する。また、量子化部１４は、ＰＣＡ変換部１１で得られるＰＣＡ変換パラメータν１およびν２を量子化して、ＰＣＡ変換パラメータの量子化符号を生成する。多重化部１５は、主信号Ｐ（ｎ）の符号化データと、副信号Ａ（ｎ）の符号化データと、ＰＣＡ変換パラメータの量子化符号とを多重化して、ビットストリームを形成する。
図２に示す復号装置においてステレオ信号を復号する場合、逆多重化部２１は、ビット
ストリームから主信号Ｐ（ｎ）の符号化データ、副信号Ａ（ｎ）の符号化データおよびＰＣＡ変換パラメータの量子化符号を多重分離する。そして、復号部２２は、主信号Ｐ（ｎ）の符号化データを復号して復号主信号Ｐ〜（ｎ）を得る。また、復号部２３は、副信号Ａ（ｎ）の符号化データを復号して復号副信号Ａ〜（ｎ）を得る。また、逆量子化部２４は、ＰＣＡ変換パラメータの量子化符号を逆量子化して、ＰＣＡ変換パラメータν〜 １およびν〜 ２を得る。逆ＰＣＡ変換部２５は、ＰＣＡ変換パラメータν〜 １およびν〜 ２を用いて、主信号Ｐ〜（ｎ）および副信号Ａ〜（ｎ）を逆ＰＣＡ変換し、ステレオ信号の左信号Ｌ〜（ｎ）および右信号Ｒ〜（ｎ）を復元する（式（２））。
Figure 2009144953
また、音声通信システムでは、ＩＰネットワーク上での音声データ通信において、ネットワーク上のトラフィック制御やマルチキャスト通信実現のために、スケーラブルな構成を有する音声符号化が望まれている。スケーラブルな構成とは、受信側で部分的な符号化データからでも音声データの復号が可能な構成をいう。スケーラブルな構成を有する音声符号化技術として、複数の符号化技術を階層的に統合するスケーラブル符号化（階層符号化）技術が検討されている。スケーラブル符号化技術においては、送信側は、入力音声信号に対して階層的な符号化処理を施し、複数の符号化レイヤに階層化された符号化データを伝送する。
また、音声通信システムでは、電波資源の有効利用のために、音声信号を低ビットレートに圧縮して伝送することが要求されている。低ビットレートの制約下では、上述したＰＣＡを使用したステレオ信号符号化を行う場合、主信号および副信号の双方を共に高品質で符号化することは困難である。そのため、限られたビットを主信号および副信号で適切に割り当てる必要がある。例えば、非特許文献１および非特許文献２には、ＰＣＡを使用したステレオ信号符号化におけるビット割当方法が開示されている。
非特許文献１では、ステレオ信号の符号化処理において、パラメトリック符号化を副信号に対して適用する方法を開示している。すなわち、主信号および副信号において、主信号の符号化データの特性と副信号の特性との差に基づくパラメータ（パラメトリック符号化パラメータ）として副信号を表す。副信号をパラメトリック符号化することにより、副信号に含まれている冗長性が取り除かれるため、副信号のビットレートが減少する。このようにして、主信号の符号化データ、および、低ビットレートのパラメトリック符号化パラメータ（副信号）が限られたビットに割り当てられる。
非特許文献２では、入力信号がＰＣＡ変換されて得られる複数のチャネルそれぞれのエネルギーに応じてビットを適応的に割り当てるビット割当方法を開示している。例えば、ステレオ信号符号化処理において、ステレオ信号（すなわち、２チャネル）をＰＣＡ変換して得られる主信号および副信号それぞれのエネルギーに応じてビットを適応的に割り当てる。これにより、ＰＣＡ変換後の複数のチャネルのうち、エネルギーがより高いチャネルを優先的に送信することができる。また、低ビットレートの制約下では、ステレオ信号を構成する複数のチャネルのうち、エネルギーがより低いチャネルを破棄することができる。このような送信方法は、チャネルスケーラビリティ送信方法（Channel scalability transmission method）と呼ばれる。
Manuel Briand, David Virette and Nadine Martin "Parametric coding of stereo audio based on principal component analysis", Proc of the 9thInternational Conference on Digital Audio Effects, Montreal, Canada, September 18-20, 2006. Dai Yang, Hongmei Ai, Chris Kyriakakis and C.-C. Jay Kuo "High-fidelity multichannel audio coding with Karhunen Loeve Transform", IEEE transactions on speech and audio processing, Vol.11, No.4, July 2003.
しかしながら、ステレオ信号に対してスケーラブル符号化技術を用いるスケーラブル符号化システムにおいて、上述したビット割当方法を適用する場合、符号化装置が復号装置に通知すべきビット割当情報の情報量（ビット数）が多くなり、符号化効率が悪くなってしまう。
具体的には、非特許文献１に開示されているビット割当方法を、スケーラブル符号化システムに適用する場合、スケーラブル符号化された主信号に基づくパラメトリック符号化パラメータをスケーラブル符号化の符号化レイヤ毎に更新しなければならない。また、このパラメトリック符号化パラメータは、各符号化レイヤで所定のビット数を要する。すなわち、符号化装置は、符号化レイヤ毎に異なるパラメトリック符号化パラメータの情報量（ビット数）を示すビット割当情報を復号装置に通知することが必要となるため、符号化効率が悪くなる。
また、非特許文献２に開示されているビット割当方法を、スケーラブル符号化システムに適用する場合、ステレオ信号における主信号および副信号との間での割り当てビット数は、符号化レイヤ毎に異なる。そのため、符号化装置は、符号化レイヤ毎に、主信号および副信号それぞれに割り当てられたビット数を示すビット割当情報を復号装置に通知する必要があるため、符号化効率が悪くなる。
このように、スケーラブル符号化システムにおいて、ステレオ信号をＰＣＡ変換して得られる主信号と副信号との間でビット割り当てを行う場合、符号化レイヤ毎に所定のビット数のビット割当情報を通知することが必要となるため、復号信号に通知すべきビット割当情報の情報量が増大してしまう。
本発明の目的は、ステレオ信号に対してスケーラブル符号化技術を用いる場合に、ビット割当情報の情報量を最小限に抑えつつ、高品質なステレオ信号を復元することができる符号化装置、復号装置およびこれらの方法を提供することである。
本発明の符号化装置は、入力ステレオ信号の第１チャネル信号および第２チャネル信号を主成分分析変換して第１レイヤの主信号および第１レイヤの副信号を生成する変換手段と、第１レイヤから第Ｍ（Ｍは２以上の自然数）レイヤにおいて、第ｍ（ｍは１以上Ｍ以下の自然数）レイヤの主信号の重要度と第ｍレイヤの副信号の重要度とを比較し、前記重要度が高い信号を選択する第ｍレイヤの選択手段と、第１レイヤから第Ｍレイヤにおいて、前記第ｍレイヤの選択手段で選択された信号を符号化して第ｍレイヤの符号化データを生成する第ｍレイヤの符号化手段と、第１レイヤから第Ｍ−１レイヤにおいて、前記第ｍレイヤの符号化データを復号して第ｍレイヤの復号信号を生成する第ｍレイヤの復号手段と、第１レイヤから第Ｍ−１レイヤにおいて、前記第ｍレイヤの選択手段で選択された信号から前記第ｍレイヤの復号信号を減じて得られる信号、および、前記第ｍレイヤの選択手段で選択されなかった信号を、第ｍ＋１レイヤの主信号および第ｍ＋１レイヤの副信号として生成する第ｍレイヤの減算手段と、第１レイヤから第Ｍレイヤまでの符号化データ
、および、第１レイヤから第Ｍレイヤまでの選択手段で選択された信号を示す信号情報を送信する送信手段と、を具備する構成を採る。
本発明によれば、ステレオ信号に対してスケーラブル符号化技術を用いる場合に、符号化装置は、各符号化レイヤにおいて、ステレオ信号をＰＣＡ変換して得られる主信号および副信号の２つの信号のうち重要度が高い信号のみを符号化することにより、ビット割当情報の情報量を最小限に抑えつつ、復号装置は高品質なステレオ信号を復元することができる。
ＰＣＡを使用した一般的な符号化装置の構成を示すブロック図 ＰＣＡを使用した一般的な復号装置の構成を示すブロック図 本発明の実施の形態１に係る符号化装置の構成を示すブロック図 本発明の実施の形態１に係るＰＣＡ変換部の内部の構成を示すブロック図 本発明の実施の形態１に係る適応的残差符号化部の内部の構成を示すブロック図 本発明の実施の形態１に係る選択部の内部の構成を示すブロック図 本発明の実施の形態１に係る復号装置の構成を示すブロック図 本発明の実施の形態２に係る符号化装置の構成を示すブロック図 本発明の実施の形態２に係る帯域分割符号化部の内部の構成を示すブロック図 本発明の実施の形態２に係る帯域分割符号化部で形成される信号を示す図 本発明の実施の形態２に係る復号装置の構成を示すブロック図 本発明の実施の形態２に係る帯域分割復号部の内部の構成を示すブロック図 本発明のその他の選択処理を行う場合の選択部の構成を示すブロック図 本発明のＬＰＣ残差信号に対するＭＤＣＴ後の信号を複数のサブ帯域に分割する処理を行う符号化装置の構成を示すブロック図 本発明のその他の符号化装置の構成を示すブロック図 本発明のその他の復号装置の構成を示すブロック図 本発明の複数のサブ帯域に分割された信号を結合する処理を行う復号装置の構成を示すブロック図
以下、本発明の各実施の形態について、図面を用いて説明する。
（実施の形態１）
図３は本実施の形態に係る符号化装置の構成を示すブロック図であり、図７は本実施の形態に係る復号装置の構成を示すブロック図である。本実施の形態に係る符号化装置および復号装置の構成として、Ｍレイヤのスケーラブル構成を一例として説明する。つまり、以下の説明では、スケーラブル符号化処理における符号化レイヤ数をＭ（Ｍは２以上の自然数）とする。図３に示す符号化装置１００において、適応的残差符号化部１０２−１〜１０２−Ｍは、第１レイヤ〜第Ｍレイヤにそれぞれ対応する。同様に、図７に示す復号装置２００において、復号部２０２−１〜２０２−Ｍは、第１レイヤ〜第Ｍレイヤにそれぞれ対応する。また、以下の説明では、ステレオ信号における左信号および右信号をＮＢサンプルずつ区切り（ＮＢは自然数）、ＮＢサンプルを１フレームとする。ここで、左信号および右信号は左信号Ｌ（ｎ）および右信号Ｒ（ｎ）で表される。ｎはＮＢサンプルずつ区切られた信号のうち、信号要素のｎ＋１番目を示し、ｎ＝０〜ＮＢ−１とする。
図３に示す符号化装置１００において、ＰＣＡ変換部１０１には、ステレオ信号における左信号Ｌ（ｎ）および右信号Ｒ（ｎ）が入力される。ＰＣＡ変換部１０１は、入力される左信号Ｌ（ｎ）および右信号Ｒ（ｎ）を、式（１）に従ってＰＣＡ変換を行い、第１レ
イヤの主信号Ｐ１（ｎ）および第１レイヤの副信号Ａ１（ｎ）を生成する。そして、ＰＣＡ変換部１０１は、第１レイヤの主信号Ｐ１（ｎ）および第１レイヤの副信号Ａ１（ｎ）を適応的残差符号化部１０２−１に出力する。また、ＰＣＡ変換部１０１は、ＰＣＡ変換処理時に算出されるＰＣＡ変換パラメータν１およびν２を量子化部１０３に出力する。
適応的残差符号化部１０２−１〜１０２−Ｍは、それぞれに対応する符号化レイヤの主信号の重要度および副信号の重要度に基づいて、２つの信号のいずれか一方を適応的に選択し、選択した信号を符号化（適応的残差符号化：adaptive residue encoding）する。具体的には、第１レイヤから第Ｍレイヤにおいて、適応的残差符号化部１０２−ｍ（ｍは１以上Ｍ以下の自然数）は、第ｍレイヤの主信号の重要度と、第ｍレイヤの副信号の重要度とを比較し、重要度が高い信号を選択し、選択された信号を符号化して第ｍレイヤの符号化データ（ビット列）を生成する。また、第１レイヤから第（Ｍ−１）レイヤにおいて、適応的残差符号化部１０２−ｍは、選択された信号から符号化データの復号信号を減じて得られる符号化残差（coding residue）信号および選択された信号以外の信号を、第（ｍ＋１）レイヤの主信号および第（ｍ＋１）レイヤの副信号として生成する。また、第１レイヤから第Ｍレイヤにおいて、適応的残差符号化部１０２−ｍは、符号化された信号（主信号または副信号）を示す信号情報であるインジケータを生成する。例えば、インジケータに示される信号が主信号の場合、符号化された信号は第ｍレイヤの主信号であり、インジケータに示される信号が副信号の場合、符号化された信号は第ｍレイヤの副信号である。つまり、各符号化レイヤに設定された符号化データ用のビット列に割り当てられる信号を示すビット割当情報としてインジケータが生成される。
例えば、最下位レイヤ（第１レイヤ）に対応する、適応的残差符号化部１０２−１は、ＰＣＡ変換部１０１から入力される第１レイヤの主信号Ｐ１（ｎ）および第１レイヤの副信号Ａ１（ｎ）に対して適応的残差符号化処理を施して、第１レイヤの符号化データＣ１を生成する。また、適応的残差符号化部１０２−１は、入力信号（第１レイヤの主信号Ｐ１（ｎ）および第１レイヤの副信号Ａ１（ｎ））のうち符号化された信号（選択された信号）から符号化データＣ１の復号信号を減じて得られる符号化残差信号、および、入力信号（第１レイヤの主信号Ｐ１（ｎ）および第１レイヤの副信号Ａ１（ｎ））のうち符号化された信号（選択された信号）以外の信号（選択されなかった信号）を、第２レイヤの主信号Ｐ＾２（ｎ）および第２レイヤの副信号Ａ＾２（ｎ）として生成する。また、適応的残差符号化部１０２−１は、第１レイヤにおいて符号化された信号（第１レイヤの主信号Ｐ１（ｎ）または第１レイヤの副信号Ａ１（ｎ））を示すインジケータＦ１を生成する。そして、適応的残差符号化部１０２−１は、第２レイヤの主信号Ｐ＾２（ｎ）および第２レイヤの副信号Ａ＾２（ｎ）を、次の符号化レイヤ（第２レイヤ）に対応する適応的残差符号化部１０２−２に出力し、インジケータＦ１および符号化データＣ１を多重化部１０４に出力する。
同様に、適応的残差符号化部１０２−２には、適応的残差符号化部１０２−１から第２レイヤの主信号Ｐ＾２（ｎ）および第２レイヤの副信号Ａ＾２（ｎ）が入力される。そして、適応的残差符号化部１０２−２は、適応的残差符号化部１０２−１と同様にして、第２レイヤの符号化データＣ２、第３レイヤの主信号Ｐ＾３（ｎ）、第３レイヤの副信号Ａ＾３（ｎ）、および、インジケータＦ２を生成する。そして、適応的残差符号化部１０２−２は、第３レイヤの主信号Ｐ＾３（ｎ）および第３レイヤの副信号Ａ＾３（ｎ）を次の符号化レイヤ（第３レイヤ）に対応する適応的残差符号化部１０２−３に出力し、インジケータＦ２および符号化データＣ２を多重化部１０４に出力する。適応的残差符号化部１０２−３〜１０２−Ｍについても同様である。ただし、最上位（第Ｍレイヤ）に対応する適応的残差符号化部１０２−Ｍは、次の符号化レイヤの主信号および副信号として符号化残差信号を出力しない。すなわち、第１レイヤから第（Ｍ−１）レイヤにおいてのみ、つまり、適応的残差符号化部１０２−１〜１０２−（Ｍ−１）のみが、選択された信号から
符号化データの復号信号を減じて得られる符号化残差信号および選択されなかった信号を、第（ｍ＋１）レイヤの主信号および第（ｍ＋１）レイヤの副信号として生成する。
量子化部１０３は、ＰＣＡ変換部１０１から入力されるＰＣＡ変換パラメータν１およびν２を量子化してＰＣＡ変換パラメータの量子化符号を生成する。そして、量子化部１０３は、ＰＣＡ変換パラメータの量子化符号を多重化部１０４に出力する。
多重化部１０４は、適応的残差符号化部１０２−１〜１０２−Ｍそれぞれから入力される符号化データＣｍおよびインジケータＦｍと、量子化部１０３から入力される量子化符号とを多重化してビットストリームを形成する。得られたビットストリームは、通信路を介して復号装置２００（図７）に送信される。
図４はＰＣＡ変換部１０１の内部構成を示すブロック図である。共分散行列算出部１０１１は、ステレオ信号におけるフレーム単位の左信号Ｌ（ｎ）および右信号Ｒ（ｎ）を用いて、共分散行列を算出し、算出された共分散行列を固有ベクトル算出部１０１２に出力する。
固有ベクトル算出部１０１２は、共分散行列算出部１０１１から入力される共分散行列を用いて、共分散行列の固有ベクトルを算出する。ここで、固有ベクトル算出部１０１２で算出される固有ベクトルの各要素がＰＣＡ変換パラメータν１およびν２となる。そして、固有ベクトル算出部１０１２は、算出された固有ベクトル（ＰＣＡ変換パラメータ）をＰＣＡ変換行列形成部１０１３および図３に示す量子化部１０３に出力する。
ＰＣＡ変換行列形成部１０１３は、固有ベクトル算出部１０１２から入力される固有ベクトルを用いてＰＣＡ変換行列を形成し、形成されたＰＣＡ変換行列を変換部１０１４に出力する。
変換部１０１４は、ＰＣＡ変換行列形成部１０１３から入力されるＰＣＡ変換行列を用いて、ステレオ信号における左信号Ｌ（ｎ）および右信号Ｒ（ｎ）を第１レイヤの主信号Ｐ１（ｎ）および第１レイヤの副信号Ａ１（ｎ）に変換する（式（１）。ただし、Ｐ１（ｎ）＝Ｐ（ｎ）、Ａ１（ｎ）＝Ａ（ｎ））。
次に、適応的残差符号化部１０２−１〜１０２−Ｍにおける適応的残差符号化処理の一例として、第ｍレイヤに対応する適応的残差符号化部１０２−ｍの内部構成について図５を用いて説明する。図５は、適応的残差符号化部１０２−ｍの内部構成を示すブロック図である。図５に示す適応的残差符号化部１０２−ｍには、１つ下位の第（ｍ−１）レイヤに対応する適応的残差符号化部１０２−（ｍ−１）から、第ｍレイヤの主信号Ｐ＾ｍ（ｎ）および第ｍレイヤの副信号Ａ＾ｍ（ｎ）が入力される。具体的には、図５に示す選択部１０２１−ｍおよび符号化部１０２２−ｍに、第ｍレイヤの主信号Ｐ＾ｍ（ｎ）および第ｍレイヤの副信号Ａ＾ｍ（ｎ）が入力される。また、図５に示す減算器１０２４−ｍには第ｍレイヤの主信号Ｐ＾ｍ（ｎ）が入力され、減算器１０２５−ｍには第ｍレイヤの副信号Ａ＾ｍ（ｎ）が入力される。ただし、図５に示す第１レイヤに対応する適応的残差符号化部１０２−ｍには、ＰＣＡ変換部１０１から第１レイヤの主信号Ｐ１（ｎ）および第１レイヤの副信号Ａ１（ｎ）が入力される。なお、最上位（第Ｍレイヤ）に対応する適応的残差符号化部１０２−Ｍは、図５に示す選択部１０２１−ｍおよび符号化部１０２２−ｍのみを備え、復号部１０２３−ｍ、減算器１０２４−ｍおよび減算器１０２５−ｍを備えない。すなわち、適応的残差符号化部１０２−Ｍは、インジケータＦｍおよび符号化データＣｍのみを出力する。
図５に示す適応的残差符号化部１０２−ｍにおいて、選択部１０２１−ｍは、入力され
る第ｍレイヤの主信号Ｐ＾ｍ（ｎ）のエネルギーと、第ｍレイヤの副信号Ａ＾ｍ（ｎ）のエネルギーとを比較し、エネルギーがより高い信号を選択する。そして、選択部１０２１−ｍは、選択された信号（主信号または副信号）を示すインジケータＦｍを符号化部１０２２−ｍ、復号部１０２３−ｍおよび図３に示す多重化部１０４に出力する。
符号化部１０２２−ｍは、入力される第ｍレイヤの主信号Ｐ＾ｍ（ｎ）および第ｍレイヤの副信号Ａ＾ｍ（ｎ）のうち、選択部１０２１−ｍから入力されるインジケータＦｍに示される信号、つまり、選択部１０２１−ｍで選択された信号を符号化して第ｍレイヤの符号化データＣｍを生成する。具体的には、符号化部１０２２−ｍは、インジケータＦｍに示される信号が主信号の場合、第ｍレイヤの主信号Ｐ＾ｍ（ｎ）を符号化し、インジケータＦｍに示される信号が副信号の場合、第ｍレイヤの副信号Ａ＾ｍ（ｎ）を符号化する。そして、符号化部１０２２−ｍは、生成された第ｍレイヤの符号化データＣｍを復号部１０２３−ｍおよび図３に示す多重化部１０４に出力する。
復号部１０２３−ｍは、選択部１０２１−ｍから入力されるインジケータＦｍに基づいて、符号化部１０２２−ｍから入力される符号化データＣｍを特定し、符号化データＣｍを復号して第ｍレイヤの復号信号を生成する。ここで、復号部１０２３−ｍは、インジケータＦｍに示される信号以外の信号の復号信号を０とする。そして、復号部１０２３−ｍは、生成される第ｍレイヤの復号信号のうち、主信号の復号信号を減算器１０２４−ｍに出力し、副信号の復号信号を減算器１０２５−ｍに出力する。具体的には、復号部１０２３−ｍは、インジケータＦｍに示される信号が主信号である場合、第ｍレイヤの符号化データＣｍを用いて第ｍレイヤの主信号Ｐ＾ｍ（ｎ）を復号する。そして、復号部１０２３−ｍは、主信号の復号信号Ｐ〜 ｍ（ｎ）を減算器１０２４−ｍに出力する一方、副信号の復号信号Ａ〜 ｍ（ｎ）として「０」を減算器１０２５−ｍに出力する。これに対し、復号部１０２３−ｍは、インジケータＦｍに示される信号が副信号である場合、符号化データＣｍを用いて第ｍレイヤの副信号Ａ＾ｍ（ｎ）を復号する。そして、復号部１０２３−ｍは、副信号の復号信号Ａ〜 ｍ（ｎ）を減算器１０２５−ｍに出力する一方、主信号の復号信号Ｐ〜 ｍ（ｎ）として「０」を減算器１０２４−ｍに出力する。
減算器１０２４−ｍは、入力信号である第ｍレイヤの主信号Ｐ＾ｍ（ｎ）から、復号部１０２３−ｍから入力される主信号の復号信号Ｐ〜 ｍ（ｎ）を減じて得られる符号化残差信号を第（ｍ＋１）レイヤの主信号Ｐ＾ｍ＋１（ｎ）として生成する。そして、減算器１０２４−ｍは、第（ｍ＋１）レイヤの主信号Ｐ＾ｍ＋１（ｎ）を次の符号化レイヤである第（ｍ＋１）レイヤに対応する適応的残差符号化部１０２−（ｍ＋１）に出力する。
減算器１０２５−ｍは、入力信号である第ｍレイヤの副信号Ａ＾ｍ（ｎ）から、復号部１０２３−ｍから入力される副信号の復号信号Ａ〜 ｍ（ｎ）を減じて得られる符号化残差信号を第（ｍ＋１）レイヤの副信号Ａ＾ｍ＋１（ｎ）として生成する。そして、減算器１０２５−ｍは、第（ｍ＋１）レイヤの副信号Ａ＾ｍ＋１（ｎ）を適応的残差符号化部１０２−（ｍ＋１）に出力する。
例えば、選択部１０２１−ｍで主信号が選択された場合、減算器１０２４−ｍは、第ｍレイヤの主信号Ｐ＾ｍ（ｎ）から符号化データＣｍの復号信号を減じて得られる符号化残差信号を第（ｍ＋１）レイヤの主信号Ｐ＾ｍ＋１（ｎ）として生成する。また、減算器１０２５−ｍは、第ｍレイヤの副信号Ａ＾ｍ（ｎ）を第（ｍ＋１）レイヤの副信号Ａ＾ｍ＋１（ｎ）として生成する。一方、選択部１０２１−ｍで副信号が選択された場合、減算器１０２５−ｍは、第ｍレイヤの副信号Ａ＾ｍ（ｎ）から符号化データＣｍの復号信号を減じて得られる符号化残差信号を第（ｍ＋１）レイヤの副信号Ａ＾ｍ＋１（ｎ）として生成する。また、減算器１０２４−ｍは、第ｍレイヤの主信号Ｐ＾ｍ（ｎ）を第（ｍ＋１）レイヤの主信号Ｐ＾ｍ＋１（ｎ）として生成する。
次に、選択部１０２１−ｍの内部構成について図６を用いて説明する。図６は、選択部１０２１−ｍの内部構成を示すブロック図である。
図６に示す選択部１０２１−ｍにおいて、エネルギー計算部１２０１−ｍは、第ｍレイヤの主信号Ｐ＾ｍ（ｎ）のエネルギーＥＰ＾ｍを式（３）に従って計算する。そして、エネルギー計算部１２０１−ｍは、計算されたエネルギーＥＰ＾ｍを比較部１２０３−ｍに出力する。
Figure 2009144953
エネルギー計算部１２０２−ｍは、第ｍレイヤの副信号Ａ＾ｍ（ｎ）のエネルギーＥＡ＾ｍを式（４）に従って計算する。そして、エネルギー計算部１２０２−ｍは、計算されたエネルギーＥＡ＾ｍを比較部１２０３−ｍに出力する。
Figure 2009144953
比較部１２０３−ｍは、エネルギー計算部１２０１−ｍから入力されるエネルギーＥＰ＾ｍと、エネルギー計算部１２０２−ｍから入力されるエネルギーＥＡ＾ｍとを比較する。そして、比較部１２０３−ｍは、より大きいエネルギーに対応する信号（主信号または副信号）を第ｍレイヤにおいて符号化する信号として選択する。例えば、比較部１２０３−ｍは、エネルギーＥＰ＾ｍがエネルギーＥＡ＾ｍ以上の場合、第ｍレイヤにおいて符号化される信号として主信号（すなわち、第ｍレイヤの主信号Ｐ＾ｍ（ｎ））を選択する。一方、比較部１２０３−ｍは、エネルギーＥＰ＾ｍがエネルギーＥＡ＾ｍ未満の場合、第ｍレイヤにおいて符号化される信号として副信号（すなわち、第ｍレイヤの副信号Ａ＾ｍ（ｎ））を選択する。そして、比較部１２０３−ｍは、選択された信号、つまり、第ｍレイヤにおいて符号化される信号（主信号または副信号）を示すインジケータＦｍを生成する。
上述したように、本実施の形態における符号化装置１００は、符号化レイヤ毎に、主信号および副信号のいずれか一方の信号のみを符号化する。そのため、各符号化レイヤにおけるビット割当情報であるインジケータの情報量（ビット数）は、主信号と副信号とを区別するための１ビットでよい。
なお、上述した選択部１０２１−ｍは、主信号および副信号のエネルギーの算出を対数領域で行ってもよい。また、選択部１０２１−ｍは、主信号および副信号のエネルギーの算出に、左信号Ｌ（ｎ）および右信号Ｒ（ｎ）を利用してもよく、例えば左信号Ｌ（ｎ）および右信号Ｒ（ｎ）のエネルギーを用いてもよい。また、選択部１０２１−ｍは、マスキングを考慮して主信号および副信号のエネルギーを算出してもよい。
次に、図７に示す復号装置２００について説明する。復号装置２００は、通信路を介して符号化装置１００から送信されるビットストリームを受信する。図７に示す復号装置２００において、逆多重化部２０１は、ビットストリームを、第１レイヤ〜第Ｍレイヤそれぞれの符号化レイヤに対応する符号化データＣｍおよびインジケータＦｍと、ＰＣＡ変換パラメータの量子化符号とに分離する。そして、逆多重化部２０１は、各符号化レイヤに対応する符号化データＣｍおよびインジケータＦｍを、第１レイヤ〜第Ｍレイヤそれぞれ
対応する復号部２０２−１〜２０２−Ｍに出力する。また、逆多重化部２０１は、ＰＣＡ変換パラメータの量子化符号を逆量子化部２０５に出力する。
復号部２０２−１〜２０２−Ｍは、それぞれ逆多重化部２０１から入力されるインジケータＦｍに基づいて、逆多重化部２０１から入力される符号化データを復号する。例えば、復号部２０２−ｍは、インジケータＦｍに示される信号が主信号である場合、符号化データＣｍを用いて主信号を復号する。そして、復号部２０２−ｍは、復号信号Ｐ〜 ｍ（ｎ）を加算器２０３に出力する。一方、復号部２０２−ｍは、インジケータＦｍに示される信号が副信号である場合、符号化データＣｍを用いて副信号を復号する。そして、復号部２０２−ｍは、復号信号Ａ〜 ｍ（ｎ）を加算器２０４に出力する。また、復号部２０２−ｍは、インジケータＦｍに示される信号以外の信号の復号信号として「０」を加算器２０３または加算器２０４に出力する。
加算器２０３は、復号部２０２−１〜２０２−Ｍからそれぞれ入力される復号信号Ｐ〜 ｍ（ｎ）を加算する。そして、加算器２０３は、すべての符号化レイヤ（第１レイヤ〜第Ｍレイヤ）の復号信号が加算された信号である復号主信号Ｐ〜（ｎ）を逆ＰＣＡ変換部２０６に出力する。
加算器２０４は、復号部２０２−１〜２０２−Ｍからそれぞれ入力される復号信号Ａ〜 ｍ（ｎ）を加算する。そして、加算器２０４は、すべての符号化レイヤ（第１レイヤ〜第Ｍレイヤ）の復号信号が加算された信号である復号副信号Ａ〜（ｎ）を逆ＰＣＡ変換部２０６に出力する。
なお、通信路の状況等によって、ビットストリームの一部が廃棄されてしまう場合がある。例えば、ビットストリームに第ｍレイヤ（ｍ＜Ｍ）までの符号化データしか含まれていない場合には、第１レイヤ〜第ｍレイヤまでの復号部が動作するとともに、これら符号化レイヤに対応する加算器２０３、２０４が動作して、復号主信号Ｐ〜（ｎ）および復号副信号Ａ〜（ｎ）が求められ、復号主信号Ｐ〜（ｎ）および復号副信号Ａ〜（ｎ）が逆ＰＣＡ変換部２０６に出力される。
逆量子化部２０５は、逆多重化部２０１から入力される量子化符号を逆量子化し、得られるＰＣＡ変換パラメータν〜 １およびν〜 ２を逆ＰＣＡ変換部２０６に出力する。
逆ＰＣＡ変換部２０６には、加算器２０３から復号主信号Ｐ〜（ｎ）が入力され、加算器２０４から復号副信号Ａ〜（ｎ）が入力され、逆量子化部２０５からＰＣＡ変換パラメータν〜 １およびν〜 ２が入力される。逆ＰＣＡ変換部２０６は、復号主信号Ｐ〜（ｎ）および復号副信号Ａ〜（ｎ）を、ＰＣＡ変換パラメータν〜 １およびν〜 ２を用いて、式（２）に従って逆ＰＣＡ変換（inverse PCA transformation）し、ステレオ信号における左信号Ｌ〜（ｎ）および右信号Ｒ〜（ｎ）を得る。
このように、本実施の形態によれば、符号化装置１００（図３）は、各符号化レイヤにおいて、主信号および副信号のうち、エネルギーがより高い信号のみを符号化対象として選択する。この結果、各符号化レイヤで符号化される信号は、主信号または副信号のいずれか１つのみであるため、符号化された信号（ビット列に割り当てられた信号）を示すインジケータの情報量（ビット数）は、１ビットのみでよい。つまり、符号化装置１００は、各符号化レイヤにおける符号化データのビット割当情報を最小限に抑えることができる。
また、スケーラブル符号化においては、各符号化レイヤにおける主信号および副信号として、下位の符号化レイヤにおける符号化残差信号が入力される。そのため、各符号化レ
イヤにおける入力信号のエネルギーは、下位の符号化レイヤにおける符号化結果に依存して変化する。よって、符号化装置１００（図３）が、各符号化レイヤにおいてエネルギーがより高い信号（重要度がより高い信号）を、下位の符号化レイヤにおける符号化結果に応じて適応的に選択することができる。これにより、復号装置２００（図７）は、高品質なステレオ信号を復元することができる。
（実施の形態２）
実施の形態１では最下位レイヤである第１レイヤの主信号および副信号に対して適応的残差符号化処理を施したのに対し、本実施の形態では、第１レイヤの主信号に対して、第１レイヤをさらに階層化して分割周波数帯域単位の符号化を行う帯域分割符号化処理を施す。
分割周波数帯域単位のスケーラブル符号化方法としては、例えば、入力信号を複数の帯域に分割し、分割した帯域の信号単位で符号化することでスケーラブル符号化を実現する方法（例えば、米国特許出願公開第２００８／０００４８８３号明細書参照）、および、ＩＴＵ−Ｔ勧告Ｇ．７２９．１のレイヤ４以降の符号化（ＴＤＡＣ：Time-Domain Aliasing Cancellation）において、ＭＤＣＴ係数上でサブ帯域単位の符号化を行い、エネルギーの大きいサブ帯域から優先的に符号化データを伝送することでスケーラブル符号化を実現する方法（ＩＴＵ−Ｔ勧告Ｇ．７２９．１（２００６）参照）等が検討されている。
帯域分割符号化に基づくスケーラブル符号化において、下位レイヤで符号化対象となる帯域の信号の符号化後の誤差信号（符号化残差信号）が大きい場合には、符号化残差信号が聴感的な復号音質に与える影響は、より上位の符号化レイヤで符号化対象となる帯域の信号が聴感的な復号音質に与える影響よりも大きい。
そこで、本実施の形態では、帯域分割符号化対象の符号化レイヤにおいて、各符号化レイヤより下位レイヤの符号化残差信号を符号化するか否かを適応的に判定する。
図８は本実施の形態に係る符号化装置の構成を示すブロック図である。なお、図８において図３に示す符号化装置１００と同一の構成部には同一符号を付し、説明を省略する。
図８に示す符号化装置５００において、ＰＣＡ変換部１０１は、第１レイヤの主信号Ｐ１（ｎ）を帯域分割符号化部５０１に出力し、第１レイヤの副信号Ａ１（ｎ）を第２レイヤの副信号Ａ＾２（ｎ）として適応的残差符号化部１０２−２に出力する。
帯域分割符号化部５０１は、ＰＣＡ変換部１０１から入力される主信号Ｐ１（ｎ）を複数の帯域に分割し、分割した分割帯域単位の信号に対して階層的に符号化を行う。ここで、帯域分割符号化部５０１が第１レイヤから第Ｌレイヤ（Ｌは２以上の自然数）までの符号化を行う場合、適応的残差符号化部１０２−２〜１０２−Ｍは第（Ｌ＋１）レイヤ以降の符号化を順次行う。そして、帯域分割符号化部５０１は、第Ｌレイヤまでの各符号化レイヤで生成された符号化データを含む符号化データＣＳ、および、第１レイヤの符号化対象の帯域をさらに分割した各帯域（サブ帯域）で生成された判定結果を含むインジケータＦＳを多重化部１０４に出力する。また、帯域分割符号化部５０１は、符号化後の符号化残差信号を適応的残差符号化部１０２−２の入力信号Ｐ＾２（ｎ）として適応的残差符号化部１０２−２に出力する。
図９は、図８に示す帯域分割符号化部５０１の内部構成のうち、第１レイヤの符号化処理に関する構成部および第２レイヤ符号化処理に関する構成部への入力信号形成処理に関する構成部を示すブロック図である。
図９に示す帯域分割符号化部５０１において、帯域分割部５５１は、ＰＣＡ変換部１０１（図８）から入力される第１レイヤの主信号Ｐ１（ｎ）を、第１レイヤの符号化対象の第１帯域の信号である第１帯域信号Ｓ１と、第１帯域信号Ｓ１以外の信号Ｓ”１とに分割する。例えば、帯域分割部５５１は、第１レイヤの主信号Ｐ１（ｎ）の周波数帯域のうち低域部から所定の周波数帯域までの信号を第１帯域信号Ｓ１とする。そして、帯域分割部５５１は、第１帯域信号Ｓ１をサブ帯域分割部５５２および符号化部５５３に出力し、第１帯域信号以外の信号Ｓ”１を信号形成部５５８に出力する。
サブ帯域分割部５５２は、帯域分割部５５１から入力される第１帯域信号Ｓ１を複数のサブ帯域信号Ｓ１，ｓｂ（ｓｂ＝１，２，…，Ｎｓｂ、Ｎｓｂはサブ帯域分割数）に分割する。そして、サブ帯域分割部５５２は、分割したサブ帯域信号Ｓ１，ｓｂを評価部５５６および残差算出部５５７に出力する。
符号化部５５３は、帯域分割部５５１から入力される第１帯域信号Ｓ１を予め設定された符号化ビットレートで符号化して第１レイヤ符号化データを生成する。そして、符号化部５５３は、生成した第１レイヤ符号化データを復号部５５４に出力するとともに、多重化部１０４（図８）に出力する。
復号部５５４は、符号化部５５３から入力される第１レイヤ符号化データを復号して第１レイヤ復号信号Ｓ〜 １を生成する。そして、復号部５５４は、生成した第１レイヤ復号信号Ｓ〜 １をサブ帯域分割部５５５に出力する。
サブ帯域分割部５５５は、サブ帯域分割部５５２と同様にして、復号部５５４から入力される第１レイヤ復号信号Ｓ〜 １を複数のサブ帯域信号Ｓ〜 １，ｓｂに分割する。そして、サブ帯域分割部５５５は、分割したサブ帯域信号Ｓ〜 １，ｓｂを評価部５５６および残差算出部５５７に出力する。
評価部５５６は、サブ帯域分割部５５２から入力されるサブ帯域信号Ｓ１，ｓｂおよびサブ帯域分割部５５５から入力されるサブ帯域信号Ｓ〜 １，ｓｂを用いて、サブ帯域毎の符号化残差エネルギーが所定の閾値より小さいか否かを判定する。具体的には、まず、評価部５５６は、サブ帯域信号Ｓ１，ｓｂおよびサブ帯域信号Ｓ〜 １，ｓｂを用いて、サブ帯域毎の第１レイヤにおける符号化性能に関する評価値を算出する。例えば、評価部５５６は、評価値として各サブ帯域の符号化残差信号に対するＳＮＲ（Signal to Noise Ratio）を用いる。具体的には、評価部５５６は、第ｓｂサブ帯域におけるＳＮＲｓｂを式（５）に従って算出する。ただし、第ｓｂサブ帯域におけるサブ帯域信号のサンプル数をＰ１，ｓｂとする。
Figure 2009144953
そして、評価部５５６は、算出した各サブ帯域における符号化性能に関する評価値（ＳＮＲ）に基づき、符号化残差エネルギーが所定の閾値より小さいか否かを判定する。具体的には、評価部５５６は、各サブ帯域のＳＮＲｓｂと所定の閾値ＳＮＲｔｈｒとを比較して、下記の第ｓｂサブ帯域における判定結果Ｆ１，ｓｂを生成する。
Ｆ１，ｓｂ ＝ １ if ＳＮＲｓｂ ＜ ＳＮＲｔｈｒ
Ｆ１，ｓｂ ＝ ０ else
つまり、評価部５５６は、各サブ帯域における評価値（ＳＮＲ）が所定の閾値より小さい場合（すなわち、符号化残差エネルギーが所定の閾値より大きい場合）、判定結果Ｆ１，ｓｂを「１」とし、評価値（ＳＮＲ）が所定の閾値以上の場合（すなわち、符号化残差エネルギーが所定の閾値以下の場合）、判定結果Ｆ１，ｓｂを「０」とする。ここで、評価部５５６は、ＳＮＲｔｈｒを予め設定してもよく、入力信号の特性に基づいて設定してもよく、サブ帯域毎に設定してもよい。そして、評価部５５６は、各サブ帯域の判定結果Ｆ１，ｓｂを残差算出部５５７に出力するとともに、多重化部１０４（図８）に出力する。
残差算出部５５７は、評価部５５６から入力される判定結果Ｆ１，ｓｂに基づいて、各サブ帯域における符号化残差信号を算出する。具体的には、残差算出部５５７は、判定結果Ｆ１，ｓｂが「１」である第ｓｂサブ帯域では、サブ帯域分割部５５２から入力されるサブ帯域信号Ｓ１，ｓｂから、サブ帯域分割部５５５から入力されるサブ帯域信号Ｓ〜 １，ｓｂを減じて第ｓｂサブ帯域における符号化残差信号を算出する。一方、残差算出部５５７は、判定結果Ｆ１，ｓｂが「０」である第ｓｂサブ帯域では符号化残差信号を算出しない。そして、残差算出部５５７は、判定結果Ｆ１，ｓｂが「１」であるサブ帯域のみに符号化残差信号を有する第１帯域全体の符号化残差信号Ｓｒ１を信号形成部５５８に出力する。
信号形成部５５８は、残差算出部５５７から入力される符号化残差信号Ｓｒ１と帯域分割部５５１から入力される信号Ｓ”１とを加算して信号Ｓ’１を形成する。すなわち、信号Ｓ’１は、第１レイヤの主信号Ｐ１（ｎ）の周波数帯域において、第１帯域に符号化残差信号Ｓｒ１を有し、第１帯域以外の周波数帯域に信号Ｓ”１を有する。そして、信号形成部５５８は、生成した信号Ｓ’１を第２レイヤの符号化処理に関する構成部（図示せず）に出力する。
また、帯域分割符号化部５０１は、信号形成部５５８から出力された信号Ｓ’１を第２レイヤの入力信号として用いる。そして、第２レイヤでは、帯域分割符号化部５０１は、第１レイヤと同様にして、入力信号を、第２レイヤで符号化対象とする第２帯域の信号と第２帯域の信号以外の信号とに分割し、第２帯域の信号を予め設定された符号化ビットレートで符号化する。また、帯域分割符号化部５０１は、第２帯域の信号以外の信号を、第３レイヤの入力信号として用いる。ここで、帯域分割符号化部５０１は、第１帯域の一部を含む周波数帯域を第２帯域とする。そこで、帯域分割符号化部５０１は、第２帯域の信号のうち、第１帯域の一部に対応する周波数帯域の信号を優先的に符号化する。具体的には、帯域分割符号化部５０１は、第２帯域に含まれる第１帯域のうち、サブ帯域の判定結果Ｆ１，ｓｂが「１」であるサブ帯域の一部またはすべての符号化残差信号を優先的に符号化する。第３レイヤ以降についても同様である。そして、帯域分割符号化部５０１は、すべての符号化レイヤの符号化データを含む符号化データＣＳおよび第１帯域の各サブ帯域の判定結果Ｆ１，ｓｂを含むインジケータＦＳを多重化部１０４に出力する。
次いで、信号形成部５５８で形成した信号Ｓ’１を図１０に示す。図１０に示すように、第１レイヤの符号化対象である第１帯域では、判定結果Ｆ１，ｓｂが「１」であるサブ帯域のみに符号化レイヤ残差信号が存在する。例えば、図１０に示すように、判定結果Ｆ１，１が「１」である第１サブ帯域（ｓｂ＝１）では、符号化残差信号（Ｓ１，１−Ｓ〜 １，１）が存在し、判定結果Ｆ１，３が「１」である第３サブ帯域（ｓｂ＝３）では、符号化残差信号（Ｓ１，３−Ｓ〜 １，３）が存在する。一方、判定結果Ｆ１，２が「０」である第２サブ帯域（ｓｂ＝２）および判定結果Ｆ１，４が「０」である第４サブ帯域（ｓｂ＝４）では、符号化残差信号が存在しない。また、第１レイヤの符号化対象ではない帯域では、第１レイヤの主信号Ｐ１（ｎ）の第１帯域以外の周波数帯域の信号Ｓ”１がそのまま存在する。
これにより、帯域分割符号化部５０１は、第１帯域の各サブ帯域のうち、符号化残差エネルギーが閾値より大きいサブ帯域の符号化残差信号を入力信号として上位レイヤに出力する。よって、帯域分割符号化部５０１は、下位レイヤで得る符号化残差信号のうち、符号化残差エネルギーがより高い信号（重要度がより高い信号）のみを上位レイヤで符号化する符号化残差信号として適応的に選択することができる。
次に、本実施の形態に係る復号装置について説明する。図１１は復号装置６００の構成を示すブロック図である。なお、図１１において図７に示す復号装置２００と同一の構成部には同一符号を付し、説明を省略する。
図１１に示す復号装置６００において、帯域分割復号部６０１には、逆多重化部２０１から、符号化装置５００の帯域分割符号化部５０１で生成された各符号化レイヤの符号化データを含む符号化データＣＳおよび第１レイヤの複数のサブ帯域の判定結果Ｆ１、ｓｂを含むインジケータＦＳが入力される。帯域分割復号部６０１は、判定結果Ｆ１、ｓｂに基づいて、符号化データＣＳを復号する。具体的には、帯域分割復号部６０１は、逆多重化部２０１から入力される各符号化レイヤの符号化データを復号し、生成される復号信号と上位レイヤで生成した復号信号とを加算して各符号化レイヤの復号信号を形成する。そして、帯域分割復号部６０１は、帯域分割符号化処理を適用した符号化レイヤのうち最下位レイヤである第１レイヤの復号信号を復号信号Ｐ〜 １（ｎ）として加算器２０３に出力する。
図１２は、図１１に示す帯域分割復号部６０１の内部構成のうち、第２レイヤの復号信号Ｓ〜’１を用いて、最下位レイヤである第１レイヤの復号信号Ｐ〜 １（ｎ）を生成する復号処理に関する構成部を示すブロック図である。
図１２に示す帯域分割復号部６０１において、復号部６５１は、逆多重化部２０１（図１１）から入力される符号化データＣＳに含まれる第１レイヤ符号化データを復号する。そして、復号部６５１は、第１レイヤの復号信号Ｓ〜 １を帯域復号信号形成部６５３に出力する。
残差信号分離部６５２は、逆多重化部２０１から入力される判定結果Ｆ１，ｓｂに基づいて、第２レイヤの復号処理に関する構成部（図示せず）から入力される第２レイヤの復号信号Ｓ〜’１（すなわち、第２レイヤから第Ｌレイヤで復号された復号信号）を第１帯域の復号残差信号Ｓ〜 ｒ１と第１帯域以外の周波数帯域の復号信号Ｓ〜”１とに分離する。そして、残差信号分離部６５２は、第１帯域の復号残差信号Ｓ〜 ｒ１を帯域復号信号形成部６５３に出力し、第１帯域以外の周波数帯域の復号信号Ｓ〜”１を復号信号形成部６５４に出力する。
帯域復号信号形成部６５３は、逆多重化部２０１から入力される判定結果Ｆ１，ｓｂに基づいて、復号部６５１から入力される復号信号Ｓ〜 １および残差信号分離部６５２から入力される復号残差信号Ｓ〜 ｒ１を加算することで、第１帯域の復号信号を形成する。具体的には、帯域復号信号形成部６５３は、復号信号Ｓ〜 １と、復号残差信号Ｓ〜 ｒ１における判定結果Ｆ１，ｓｂが「１」であるサブ帯域の復号残差信号とを加算する。そして、帯域復号信号形成部６５３は、形成した第１帯域の復号信号を復号信号形成部６５４に出力する。
復号信号形成部６５４は、帯域復号信号形成部６５３から入力される第１帯域の復号信号、および、残差信号分離部６５２から入力される第１帯域以外の周波数帯域の復号信号Ｓ〜”１を用いて復号信号Ｐ〜 １（ｎ）を形成する。そして、復号信号形成部６５４は、
形成した復号信号Ｐ〜 １（ｎ）を加算器２０３（図１１）に出力する。
このように、本実施の形態によれば、符号化装置５００（図８）は、主信号Ｐ１（ｎ）に対して帯域分割符号化に基づくスケーラブル符号化を適用し、ステレオ符号化において聴感的に重要である周波数帯域（特に低域）の信号を適応的に選択して符号化するため、符号化歪をより低減することができる。よって、復号装置６００（図１１）は、復号音質を向上することができる。
また、本実施の形態によれば、第１レイヤの符号化対象である第１帯域の各サブ帯域のうち、評価値（ＳＮＲ）が所定の閾値より小さいサブ帯域、つまり、符号化残差エネルギーが所定量より大きいサブ帯域のみを上位レイヤの符号化対象の信号とする。すなわち、各符号化レイヤにおいてエネルギーがより高いサブ帯域の信号（聴感的に重要度がより高いサブ帯域の信号）のみが上位レイヤに入力される。よって、符号化装置５００では、帯域分割符号化部５０１内の各符号化レイヤにおいて、下位レイヤにおける符号化結果に応じて符号化残差エネルギーがより高い信号（重要度がより高い信号）を適応的に符号化するため、復号装置６００（図１１）は、高品質なステレオ信号を復元することができる。
なお、本実施の形態において、各符号化レイヤにおける符号化対象の信号は、時間領域信号でもよく、周波数領域信号（例えば、ＭＤＣＴ変換後の係数）でもよい。
また、本実施の形態では、適応的残差符号化処理を適用する符号化レイヤより下位の符号化レイヤに対して帯域分割符号化処理を適用する場合について説明した。しかし、本発明では、帯域分割符号化処理を適用する符号化レイヤは、適応的残差符号化処理を適用する符号化レイヤより下位の符号化レイヤに限定されない。例えば、符号化装置は、適応的残差符号化処理を適用する複数の符号化レイヤの途中の符号化レイヤに対して帯域分割符号化処理を適用してもよい。
また、本実施の形態では、ＰＣＡ変換後の主信号に対して帯域分割符号化処理を適用する場合について説明した。しかし、本発明では、帯域分割符号化処理を適用する信号はＰＣＡ変換後の主信号に限定されない。例えば、符号化装置は、ＰＣＡ変換後の副信号、適応的残差符号化処理を適用する複数の符号化レイヤの途中の符号化レイヤにおける符号化残差信号、または、ＰＣＡ変換後の信号以外の任意の入力信号に対して帯域分割符号化処理を適用してもよい。また、符号化装置は、帯域分割符号化処理と適応的残差符号化処理とを組み合わせず、帯域分割符号化処理を単独で適用してもよい。
また、本実施の形態では、帯域分割符号化部において、入力信号の低域部から所定の周波数帯域までの予め設定した周波数帯域を、各符号化レイヤにおける符号化対象の周波数帯域とする場合について説明した。しかし、本発明では、各符号化レイヤにおける符号化対象の周波数帯域として、例えば、入力信号の特性に応じた周波数帯域を適応的に設定してもよい。
また、本実施の形態では、符号化装置が判定結果Ｆ１，ｓｂに基づいて第１帯域の各サブ帯域の符号化残差信号を算出するか否かを決定する場合について説明した。しかし、本発明では、符号化装置は判定結果Ｆ１，ｓｂによらず第１帯域のすべてのサブ帯域の符号化残差信号を算出してもよい。
以上、本発明の各実施の形態について説明した。
なお、上記実施の形態では、信号の重要度の指標として、信号のエネルギーを用いる場合について説明した。しかし、本発明では、信号の重要度は、信号のエネルギーに限らず
、例えば、信号の信号対雑音比（Signal to Noise Ratio：ＳＮＲ）でもよい。信号の重要度の指標としてＳＮＲを用いる場合の適応的残差符号化部１０２−ｍの選択部３０２１−ｍの内部構成について図１３のブロック図を用いて説明する。図１３に示す選択部３０２１−ｍにおいて、符号化部３２０１−ｍは、第ｍレイヤの主信号Ｐ＾ｍ（ｎ）を符号化して符号化データを生成し、復号部３２０２−ｍは、第ｍレイヤの主信号Ｐ＾ｍ（ｎ）の符号化データを復号して第ｍレイヤの主信号の復号信号Ｐ〜 ｍ（ｎ）を生成する。そして、減算器３２０３−ｍは、第ｍレイヤの主信号Ｐ＾ｍ（ｎ）から第ｍレイヤの主信号の復号信号Ｐ〜 ｍ（ｎ）を減じて、第（ｍ＋１）レイヤの主信号Ｐ＾ｍ＋１（ｎ）を生成する。逆ＰＣＡ変換部３２０４−ｍは、第（ｍ＋１）レイヤの主信号Ｐ＾ｍ＋１（ｎ）および第ｍレイヤの副信号Ａ＾ｍ（ｎ）を逆ＰＣＡ変換して、左信号Ｌ＾ｍ１（ｎ）および右信号Ｒ＾ｍ１（ｎ）を得る。すなわち、符号化部３２０１−ｍ、復号部３２０２−ｍ、減算器３２０３−ｍおよび逆ＰＣＡ変換部３２０４−ｍは、第ｍレイヤの主信号Ｐ＾ｍ（ｎ）が符号化された場合（すなわち、選択部３０２１−ｍが主信号を選択した場合）の復号装置２００における出力ステレオ信号（左信号Ｌ＾ｍ１（ｎ）および右信号Ｒ＾ｍ１（ｎ））を生成する。そして、測定値算出部３２０５−ｍは、左信号Ｌ＾ｍ１（ｎ）および右信号Ｒ＾ｍ１（ｎ）を用いて定量的測定値Ｍ１（すなわち、ＳＮＲ）を算出する（式（６））。
Figure 2009144953
同様にして、符号化部３２０６−ｍ、復号部３２０７−ｍ、減算器３２０８−ｍおよび逆ＰＣＡ変換部３２０９−ｍは、第ｍレイヤの副信号Ａ＾ｍ（ｎ）が符号化された場合（すなわち、選択部３０２１−ｍが副信号を選択した場合）の復号装置２００における出力ステレオ信号（左信号Ｌ＾ｍ２（ｎ）および右信号Ｒ＾ｍ２（ｎ））を生成する。そして、測定値算出部３２１０−ｍは、左信号Ｌ＾ｍ２（ｎ）および右信号Ｒ＾ｍ２（ｎ）を用いて定量的測定値Ｍ２（すなわち、ＳＮＲ）を算出する（式（７））。
Figure 2009144953
比較部３２１１−ｍは、定量的測定値Ｍ１および定量的測定値Ｍ２を比較し、より大きい値の定量的測定値に対応する信号（主信号または副信号）を符号化される信号として選択し、選択された信号を示すインジケータＦｍを出力する。つまり、選択部３０２１−ｍは、主信号を符号化した際に復号装置２００で得られる出力ステレオ信号、および、副信号を符号化した際に復号装置２００で得られる出力ステレオ信号を選択部３０２１−ｍの内部で生成する。これにより、選択部３０２１−ｍは、定量的測定値として、復号装置２００におけるＳＮＲを算出することができる。よって、選択部３０２１−ｍは、復号装置２００におけるＳＮＲがより高い信号を選択するため、上記実施の形態と同様、ビット割当情報を通知するための情報量を最小限に抑えつつ、符号化効率を向上することができる。なお、信号の重要度を示す定量的測定値は式（６）および式（７）より算出されるＳＮ
Ｒに限らず、例えば、マスク対雑音比（Mask to Noise Ratio：ＭＮＲ）でもよい。例えば、ステレオ信号の重要度としてＭＮＲを用いる場合、ステレオ信号における左信号Ｌ（ｎ）および右信号Ｒ（ｎ）の心理音響的モデル化を含む処理を経て導出することができる。
また、上記実施の形態では、時間領域のステレオ信号に対して本発明を適用する場合について説明した。しかし、本発明は、時間領域のステレオ信号に限らず、別の領域のステレオ信号に対して本発明を適用してもよい。例えば、ＭＤＣＴ（Modified Discrete Cosine Transform）領域のステレオ信号、または、ステレオ信号にＬＰＣ分析を施したＬＰＣ（Linear Prediction Coefficients）残差信号に対して本発明を適用してもよい。また、本発明は、例えば、ＭＤＣＴ領域のＬＰＣ残差信号に対して適用してもよい。
また、本発明に係る符号化装置は、入力信号の帯域を複数のサブ帯域（sub band）に分割し、入力信号の各サブ帯域の信号であるサブ帯域信号に対して本発明を適用してもよい。例えば、入力信号であるステレオ信号の左信号Ｌ（ｎ）および右信号Ｒ（ｎ）を、Ｋ個のサブ帯域に分割して、左信号Ｌ（ｎ）のサブ帯域信号Ｌｋ（ｎ）（ｋ＝１〜Ｋ）、および、右信号Ｒ（ｎ）のサブ帯域信号Ｒｋ（ｎ）（ｋ＝１〜Ｋ）を得る。
例えば、ステレオ信号において、ＭＤＣＴ領域のＬＰＣ残差信号を複数のサブ帯域信号に分割した場合について、図１４〜図１７を用いて説明する。なお、図１４は、符号化装置のうち、ＭＤＣＴ領域のＬＰＣ残差信号を複数のサブ帯域信号に分割する処理に関する構成部３００を示し、図１５は、符号化装置のうち、本発明に係る符号化処理に関する構成部３５０を示す。同様に、図１６は、復号装置のうち、本発明に係る復号処理に関する構成部４００を示し、図１７は、復号装置のうち、複数のサブ帯域信号に分割されたＭＤＣＴ領域のＬＰＣ残差信号を結合してステレオ信号を復元する処理に関する構成部４５０を示す。なお、図１４〜図１７において図３に示す符号化装置１００または図７に示す復号装置２００と同一の構成部には同一符号を付し、説明を省略する。
図１４において、ＬＰＣ分析部３０１は、ステレオ信号における左信号Ｌ（ｎ）を用いて線形予測分析を行い、左信号Ｌ（ｎ）のスペクトルの概形を示すＬＰＣパラメータ（線形予測パラメータ）ＡＬ（ｚ）を得る。量子化部３０２は、ＬＰＣパラメータＡＬ（ｚ）を量子化して量子化符号ＩｑＬを得る。逆量子化部３０３は、ＬＰＣパラメータの量子化符号ＩｑＬを逆量子化し、復号ＬＰＣパラメータＡｄＬ（ｚ）を得る。逆フィルタ３０４は、左信号Ｌ（ｎ）に対し、復号ＬＰＣパラメータＡｄＬ（ｚ）を用いて逆フィルタリング（ＬＰＣ逆フィルタリング）を施すことにより、スペクトルの概形の特徴が取り除かれたフィルタリング後の左信号Ｌｅ（ｎ）を得る。Ｔ／Ｆ部３０５は、逆フィルタリング後の左信号Ｌｅ（ｎ）に対してＭＤＣＴ（すなわち、時間／周波数領域変換）を行い、時間領域の左信号Ｌｅ（ｎ）をＭＤＣＴ領域（周波数領域）の左信号Ｌｅ（ｆ）を得る。つまり、左信号のＭＤＣＴ領域のＬＰＣ残差信号Ｌｅ（ｆ）が得られる。
帯域分割部３０６は、左信号のＭＤＣＴ領域のＬＰＣ残差信号Ｌｅ（ｆ）を複数のサブ帯域（ここでは、Ｋ個のサブ帯域）に分割し、左信号Ｌｅ（ｆ）のサブ帯域信号Ｌｅ１（ｆ）〜ＬｅＫ（ｆ）を生成する。
一方、図１４に示すＬＰＣ分析部３０７、量子化部３０８、逆量子化部３０９、逆フィルタ３１０、Ｔ／Ｆ部３１１および帯域分割部３１２は、ＬＰＣ分析部３０１から帯域分割部３０６までの一連の処理と同様の処理を右信号Ｒ（ｎ）に施すことで、右信号Ｒｅ（ｆ）のサブ帯域信号Ｒｅ１（ｆ）〜ＲｅＫ（ｆ）を生成する。
ここで、例えば、左信号Ｌｅ（ｆ）のサブ帯域信号Ｌｅ１（ｆ）〜ＬｅＫ（ｆ）および
右信号Ｒｅ（ｆ）のサブ帯域信号Ｒｅ１（ｆ）〜ＲｅＫ（ｆ）のうち、サブ帯域信号Ｌｅ１（ｆ）およびサブ帯域信号Ｒｅ１（ｆ）に対してのみ本発明を適用する場合について説明する。図１５に示すように、ＰＣＡ変換部３５１は、サブ帯域信号Ｌｅ１（ｆ）およびサブ帯域信号Ｒｅ１（ｆ）をＰＣＡ変換し、ＭＤＣＴ領域の主信号Ｐ（ｆ）および副信号Ａ（ｆ）を得る。そして、適応的残差符号化部３５２−１〜３５２−Ｍは、上記実施の形態と同様にして、主信号Ｐ（ｆ）および副信号Ａ（ｆ）に対して適応的残差符号化処理を施す。多重化部３１３は、適応的残差符号化部３５２−１〜３５２−Ｍから入力される符号化データＣｍおよびインジケータＦｍと、図１４に示す量子化部３０２および量子化部３０８からそれぞれ入力されるＬＰＣパラメータの量子化符号ＩｑＬおよびＩｑＲとを多重化する。
一方、図１６に示す復号装置の逆多重化部４０１は、ビットストリームに多重化された符号化データＣｍおよびインジケータＦｍを復号部４０２−１〜４０２−Ｍにそれぞれ出力する。また、逆多重化部４０１は、ＬＰＣパラメータの量子化符号ＩｑＬおよびＩｑＲを、図１７に示す逆量子化部４５１および逆量子化部４５５に出力する。復号部４０２−１〜４０２−Ｍは、上記実施の形態と同様にして、符号化データを復号し、ＭＤＣＴ領域の復号信号Ｐ〜 ｍ（ｆ）およびＭＤＣＴ領域の復号信号Ａ〜 ｍ（ｆ）を得る。逆ＰＣＡ変換部４０３は、復号主信号Ｐ〜 ｍ（ｆ）および復号副信号Ａ〜 ｍ（ｆ）を用いて、左信号のサブ帯域信号Ｌ〜 ｅ１および右信号のサブ帯域信号Ｒ〜 ｅ１を得る。左信号のサブ帯域信号Ｌ〜 ｅ１は、図１７に示す帯域結合部４５２に出力され、右信号のサブ帯域信号Ｒ〜 ｅ１は、図１７に示す帯域結合部４５６に出力される。
図１７に示す逆量子化部４５１は、ＬＰＣパラメータの量子化符号ＩｑＬを逆量子化してＬＰＣパラメータＡｄＬ（ｚ）を得る。帯域結合部４５２は、左信号Ｌｅ（ｆ）のサブ帯域信号Ｌｅ１（ｆ）〜ＬｅＫ（ｎ）を結合し、ＭＤＣＴ領域の左信号Ｌ〜 ｅ（ｆ）を得る。Ｆ／Ｔ部４５３は、ＭＤＣＴ領域の左信号Ｌ〜 ｅ（ｆ）に対して逆ＭＤＣＴ（すなわち、周波数／時間領域変換）を行い、時間領域の左信号Ｌ〜 ｅ（ｎ）を得る。合成フィルタ４５４は、ＬＰＣパラメータＡｄＬ（ｚ）を用いて、時間領域の左信号Ｌ〜 ｅ（ｎ）に対して合成フィルタを掛け、左信号Ｌ〜（ｎ）を得る。
一方、図１７に示す逆量子化部４５５、帯域結合部４５６、Ｆ／Ｔ部４５７および合成フィルタ４５８は、逆量子化部４５１、帯域結合部４５２、Ｆ／Ｔ部４５３および合成フィルタ４５４の一連の処理と同様の処理を量子化符号ＩｑＲおよび右信号Ｒｅ（ｆ）のサブ帯域信号Ｒｅ１（ｆ）〜ＲｅＫ（ｎ）に対して施すことにより、右信号Ｒ〜（ｎ）を得る。
このように、ステレオ信号のＬＰＣ残差信号をＭＤＣＴ領域に変換して、ＭＤＣＴ領域の信号を複数のサブ帯域に分割して、分割したサブ帯域の信号に対してＰＣＡ変換、適応的残差符号化を適用することで、サブ帯域毎に適した効率的な符号化を行うことができる。
また、上記実施の形態では、ステレオ信号をＰＣＡ変換する場合、量子化前のＰＣＡ変換パラメータ（すなわち、ステレオ信号から算出される共分散行列の固有ベクトルの各要素）を使用する場合について説明した。しかし、本発明では、ＰＣＡ変換の際に使用するＰＣＡ変換パラメータとして、量子化後のＰＣＡ変換パラメータを用いてもよい。
また、上記実施の形態では、第１レイヤ〜第Ｍレイヤまでの符号化レイヤにおいて適応的残差符号化処理を行う場合について説明した。しかし、本発明では、最下位のレイヤである第１レイヤにおける適応的残差符号化処理を省略してもよい。例えば、第１レイヤでは主信号が副信号よりも重要な情報であるため、符号化装置は、第１レイヤにおいて、適
応的残差符号化処理を省略し、常に主信号を選択してもよい。この場合、符号化装置は、第２レイヤ〜第Ｍレイヤまでのインジケータを送信すればよい。つまり、第１レイヤのインジケータを送信しなくてよいため、ビット割当情報を１ビット削減することができる。また、符号化装置は、第１レイヤにおいて、主信号および副信号の双方を符号化し、第２レイヤ以降の符号化レイヤで本発明を適用してもよい。
また、上記実施の形態では、第１レイヤ〜第Ｍレイヤまでの符号化レイヤにおいて適応的残差符号化処理を行う場合について説明した。しかし、本発明では、例えば、最下位のレイヤである第１レイヤから所定の符号化レイヤにおける適応的残差符号化処理を省略してもよい。例えば、第１レイヤ〜第（ｉ−１）レイヤ（ｉは２以上の自然数）では、符号化装置は、適応的残差符号化処理を省略し、常に主信号を選択してもよい。つまり、符号化装置は、第ｉレイヤ〜第Ｍレイヤで本発明を適用してもよい。また、符号化装置は、第１レイヤ〜第（ｉ−１）レイヤにおいて、主信号および副信号の双方を符号化し、第ｉレイヤ〜第Ｍレイヤで本発明を適用してもよい。
また、上記実施の形態では、第１レイヤ〜第Ｍレイヤまでの符号化レイヤにおいて適応的残差符号化処理を行う場合について説明した。しかし、第１レイヤ〜第Ｍレイヤのうち１つ以上の任意の符号化レイヤで本発明を適用してもよい。
また、ＰＣＡ変換は、ＫＬ変換（ＫＬＴ：Karhunen Loeve Transform）と呼ばれることもある。
また、上記実施の形態に係る復号装置は、上記実施の形態に係る符号化装置が送信したビットストリームを受信して処理を行う場合を例にとって説明した。しかし、本発明はこれに限定されず、上記実施の形態に係る復号装置が受信して処理するビットストリームは、上記実施の形態に係る復号装置で処理可能なビットストリームを生成可能な符号化装置が送信したものであればよい。
また、以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。本発明は、符号化装置、復号装置を有するシステムであればどのような場合にも適用することができる。
また、本発明に係る符号化装置および復号装置は、例えば音声符号化装置および音声復号装置等として、移動体通信システムにおける通信端末装置および基地局装置に搭載することが可能であり、これにより上記と同様の作用効果を有する通信端末装置、基地局装置、および移動体通信システムを提供することができる。
また、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明をソフトウェアで実現することも可能である。例えば、本発明に係るアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明に係る符号化装置と同様の機能を実現することができる。
また、上記実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。
また、ここではＬＳＩとしたが、集積度の違いによって、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等と呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラム化することが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
さらに、半導体技術の進歩または派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適用等が可能性としてあり得る。
２００８年５月３０日出願の特願２００８−１４３８６３および２００８年６月１９日出願の特願２００８−１６０９５４の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
本発明に係る符号化装置および復号装置等は、携帯電話、ＩＰ電話、テレビ会議等に用いるに好適である。

Claims (9)

  1. 入力ステレオ信号の第１チャネル信号および第２チャネル信号を主成分分析変換して第１レイヤの主信号および第１レイヤの副信号を生成する変換手段と、
    第１レイヤから第Ｍ（Ｍは２以上の自然数）レイヤにおいて、第ｍ（ｍは１以上Ｍ以下の自然数）レイヤの主信号の重要度と第ｍレイヤの副信号の重要度とを比較し、前記重要度が高い信号を選択する第ｍレイヤの選択手段と、
    第１レイヤから第Ｍレイヤにおいて、前記第ｍレイヤの選択手段で選択された信号を符号化して第ｍレイヤの符号化データを生成する第ｍレイヤの符号化手段と、
    第１レイヤから第Ｍ−１レイヤにおいて、前記第ｍレイヤの符号化データを復号して第ｍレイヤの復号信号を生成する第ｍレイヤの復号手段と、
    第１レイヤから第Ｍ−１レイヤにおいて、前記第ｍレイヤの選択手段で選択された信号から前記第ｍレイヤの復号信号を減じて得られる信号、および、前記第ｍレイヤの選択手段で選択されなかった信号を、第ｍ＋１レイヤの主信号および第ｍ＋１レイヤの副信号として生成する第ｍレイヤの減算手段と、
    第１レイヤから第Ｍレイヤまでの符号化データ、および、第１レイヤから第Ｍレイヤまでの選択手段で選択された信号を示す信号情報を送信する送信手段と、
    を具備する符号化装置。
  2. 前記選択手段は、第１レイヤにおいて、前記主信号を常に選択し、
    前記送信手段は、第２レイヤから第Ｍレイヤまでの前記信号情報を送信する、
    請求項１記載の符号化装置。
  3. 前記選択手段は、第１レイヤから第ｉ−１レイヤ（ｉは２以上Ｍ以下の自然数）において、前記主信号を常に選択し、
    前記送信手段は、第ｉレイヤから第Ｍレイヤまでの前記信号情報を送信する、
    請求項１記載の符号化装置。
  4. 前記重要度は、信号のエネルギーで表される指標である、
    請求項１記載の符号化装置。
  5. 前記重要度は、信号対雑音比で表される指標である、
    請求項１記載の符号化装置。
  6. 前記重要度は、マスク対雑音比で表される指標である、
    請求項１記載の符号化装置。
  7. 入力ステレオ信号の第１チャネル信号および第２チャネル信号を主成分分析変換して得られる主信号および副信号が第１レイヤから第Ｍ（Ｍは２以上の自然数）レイヤで符号化された第１レイヤから第Ｍレイヤまでの符号化データ、および、第１レイヤから第Ｍレイヤまでの各レイヤで符号化された信号を示す信号情報を受信する受信手段と、
    第ｍ（ｍ＝１〜Ｍ、ｍは自然数）レイヤにおいて、第ｍレイヤの前記信号情報に基づいて、第ｍレイヤの前記符号化データを復号して第ｍレイヤの復号信号を得る復号手段と、
    第１レイヤから第Ｍレイヤまでの復号信号を加算して、前記主信号および前記副信号を生成する加算手段と、
    前記主信号および前記副信号を用いて前記主成分分析変換の逆変換を行って前記第１チャネルおよび前記第２チャネルを得る逆変換手段と、
    を具備する復号装置。
  8. 入力ステレオ信号の第１チャネル信号および第２チャネル信号を主成分分析変換して第１レイヤの主信号および第１レイヤの副信号を生成する変換工程と、
    第１レイヤから第Ｍ（Ｍは２以上の自然数）レイヤにおいて、第ｍ（ｍは１以上Ｍ以下の自然数）レイヤの主信号の重要度と第ｍレイヤの副信号の重要度とを比較し、前記重要度が高い信号を選択する第ｍレイヤの選択工程と、
    第１レイヤから第Ｍレイヤにおいて、前記第ｍレイヤの選択工程で選択された信号を符号化して第ｍレイヤの符号化データを生成する第ｍレイヤの符号化工程と、
    第１レイヤから第Ｍ−１レイヤにおいて、前記第ｍレイヤの符号化データを復号して第ｍレイヤの復号信号を生成する第ｍレイヤの復号工程と、
    第１レイヤから第Ｍ−１レイヤにおいて、前記第ｍレイヤの選択工程で選択された信号から前記第ｍレイヤの復号信号を減じて得られる信号、および、前記第ｍレイヤの選択工程で選択されなかった信号を、第ｍ＋１レイヤの主信号および第ｍ＋１レイヤの副信号として生成する第ｍレイヤの減算工程と、
    第１レイヤから第Ｍレイヤまでの符号化データおよび、第１レイヤから第Ｍレイヤまでの選択工程で選択された信号を示す信号情報を送信する送信工程と、
    を具備する符号化方法。
  9. 入力ステレオ信号の第１チャネル信号および第２チャネル信号を主成分分析変換して得られる主信号および副信号が第１レイヤから第Ｍ（Ｍは２以上の自然数）レイヤで符号化された第１レイヤから第Ｍレイヤまでの符号化データ、および、第１レイヤから第Ｍレイヤまでの各レイヤで符号化された信号を示す信号情報を受信する受信工程と、
    第ｍ（ｍ＝１〜Ｍ、ｍは自然数）レイヤにおいて、第ｍレイヤの前記信号情報に基づいて、第ｍレイヤの前記符号化データを復号して第ｍレイヤの復号信号を得る復号工程と、
    第１レイヤから第Ｍレイヤまでの復号信号を加算して、前記主信号および前記副信号を生成する加算工程と、
    前記主信号および前記副信号を用いて前記主成分分析変換の逆変換を行って前記第１チャネルおよび前記第２チャネルを得る逆変換工程と、
    を具備する復号方法。
JP2010514382A 2008-05-30 2009-05-29 符号化装置、復号装置およびこれらの方法 Expired - Fee Related JP5383676B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010514382A JP5383676B2 (ja) 2008-05-30 2009-05-29 符号化装置、復号装置およびこれらの方法

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2008143863 2008-05-30
JP2008143863 2008-05-30
JP2008160954 2008-06-19
JP2008160954 2008-06-19
PCT/JP2009/002384 WO2009144953A1 (ja) 2008-05-30 2009-05-29 符号化装置、復号装置およびこれらの方法
JP2010514382A JP5383676B2 (ja) 2008-05-30 2009-05-29 符号化装置、復号装置およびこれらの方法

Publications (2)

Publication Number Publication Date
JPWO2009144953A1 true JPWO2009144953A1 (ja) 2011-10-06
JP5383676B2 JP5383676B2 (ja) 2014-01-08

Family

ID=41376842

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010514382A Expired - Fee Related JP5383676B2 (ja) 2008-05-30 2009-05-29 符号化装置、復号装置およびこれらの方法

Country Status (4)

Country Link
US (1) US8452587B2 (ja)
EP (1) EP2287836B1 (ja)
JP (1) JP5383676B2 (ja)
WO (1) WO2009144953A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8452587B2 (en) * 2008-05-30 2013-05-28 Panasonic Corporation Encoder, decoder, and the methods therefor
FR2947944A1 (fr) * 2009-07-07 2011-01-14 France Telecom Codage/decodage perfectionne de signaux audionumeriques
CN102598124B (zh) 2009-10-30 2013-08-28 松下电器产业株式会社 编码装置、解码装置及其方法
US8942989B2 (en) 2009-12-28 2015-01-27 Panasonic Intellectual Property Corporation Of America Speech coding of principal-component channels for deleting redundant inter-channel parameters
PL3779977T3 (pl) * 2010-04-13 2023-11-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dekoder audio do przetwarzania audio stereo z wykorzystaniem zmiennego kierunku predykcji
WO2011132368A1 (ja) * 2010-04-19 2011-10-27 パナソニック株式会社 符号化装置、復号装置、符号化方法及び復号方法
CN101950562A (zh) * 2010-11-03 2011-01-19 武汉大学 基于音频关注度的分级编码方法及系统
TW201223551A (en) * 2010-12-01 2012-06-16 guo-sheng Zhuang Hair dye containing one or multiple edible pigments or cosmetic pigments and hair dyeing method using the same
JP5648123B2 (ja) * 2011-04-20 2015-01-07 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 音声音響符号化装置、音声音響復号装置、およびこれらの方法
US9530419B2 (en) * 2011-05-04 2016-12-27 Nokia Technologies Oy Encoding of stereophonic signals
JP5998467B2 (ja) * 2011-12-14 2016-09-28 富士通株式会社 復号装置、復号方法、及び復号プログラム
CN102682779B (zh) * 2012-06-06 2013-07-24 武汉大学 面向3d音频的双声道编解码方法和编解码器
US10499176B2 (en) 2013-05-29 2019-12-03 Qualcomm Incorporated Identifying codebooks to use when coding spatial components of a sound field
US20150025894A1 (en) * 2013-07-16 2015-01-22 Electronics And Telecommunications Research Institute Method for encoding and decoding of multi channel audio signal, encoder and decoder
EP2838086A1 (en) * 2013-07-22 2015-02-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. In an reduction of comb filter artifacts in multi-channel downmix with adaptive phase alignment
US9922656B2 (en) 2014-01-30 2018-03-20 Qualcomm Incorporated Transitioning of ambient higher-order ambisonic coefficients
US9489955B2 (en) 2014-01-30 2016-11-08 Qualcomm Incorporated Indicating frame parameter reusability for coding vectors
US9852737B2 (en) * 2014-05-16 2017-12-26 Qualcomm Incorporated Coding vectors decomposed from higher-order ambisonics audio signals
US10770087B2 (en) 2014-05-16 2020-09-08 Qualcomm Incorporated Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals
CN105336334B (zh) * 2014-08-15 2021-04-02 北京天籁传音数字技术有限公司 多声道声音信号编码方法、解码方法及装置
US9747910B2 (en) 2014-09-26 2017-08-29 Qualcomm Incorporated Switching between predictive and non-predictive quantization techniques in a higher order ambisonics (HOA) framework
CN105632505B (zh) * 2014-11-28 2019-12-20 北京天籁传音数字技术有限公司 主成分分析pca映射模型的编解码方法及装置
CN113196387B (zh) * 2019-01-13 2024-10-18 华为技术有限公司 一种用于音频编解码的计算机实现的方法和电子设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2682334B2 (ja) * 1992-05-29 1997-11-26 日本電気株式会社 画像信号の符号化伝送方法
US6571227B1 (en) * 1996-11-04 2003-05-27 3-Dimensional Pharmaceuticals, Inc. Method, system and computer program product for non-linear mapping of multi-dimensional data
JP3495336B2 (ja) * 2001-01-29 2004-02-09 日本電信電話株式会社 画像符号化方法及び装置並びに画像復号化方法及び装置
WO2003077425A1 (fr) * 2002-03-08 2003-09-18 Nippon Telegraph And Telephone Corporation Procedes de codage et de decodage signaux numeriques, dispositifs de codage et de decodage, programme de codage et de decodage de signaux numeriques
US7437299B2 (en) * 2002-04-10 2008-10-14 Koninklijke Philips Electronics N.V. Coding of stereo signals
WO2003085645A1 (en) * 2002-04-10 2003-10-16 Koninklijke Philips Electronics N.V. Coding of stereo signals
EP1851866B1 (en) * 2005-02-23 2011-08-17 Telefonaktiebolaget LM Ericsson (publ) Adaptive bit allocation for multi-channel audio encoding
BRPI0608753B1 (pt) * 2005-03-30 2019-12-24 Koninl Philips Electronics Nv codificador de áudio, decodificador de áudio, método para codificar um sinal de áudio de multicanal, método para gerar um sinal de áudio de multicanal, sinal de áudio de multicanal codificado, e meio de armazenamento
KR100818268B1 (ko) * 2005-04-14 2008-04-02 삼성전자주식회사 오디오 데이터 부호화 및 복호화 장치와 방법
US7751572B2 (en) * 2005-04-15 2010-07-06 Dolby International Ab Adaptive residual audio coding
JP4948401B2 (ja) * 2005-05-31 2012-06-06 パナソニック株式会社 スケーラブル符号化装置およびスケーラブル符号化方法
US8081764B2 (en) * 2005-07-15 2011-12-20 Panasonic Corporation Audio decoder
FR2898725A1 (fr) * 2006-03-15 2007-09-21 France Telecom Dispositif et procede de codage gradue d'un signal audio multi-canal selon une analyse en composante principale
US20080004883A1 (en) 2006-06-30 2008-01-03 Nokia Corporation Scalable audio coding
JP5078337B2 (ja) 2006-12-12 2012-11-21 日本エンバイロケミカルズ株式会社 イソチアゾリン化合物および工業用殺菌組成物
JP2008160954A (ja) 2006-12-22 2008-07-10 Nec Corp ２次電池残量を報知する電子機器、それに用いられる２次電池残量報知方法及びプログラム
CN101802907B (zh) * 2007-09-19 2013-11-13 爱立信电话股份有限公司 多信道音频的联合增强
WO2009116280A1 (ja) * 2008-03-19 2009-09-24 パナソニック株式会社 ステレオ信号符号化装置、ステレオ信号復号装置およびこれらの方法
US8452587B2 (en) * 2008-05-30 2013-05-28 Panasonic Corporation Encoder, decoder, and the methods therefor
EP2293292B1 (en) * 2008-06-19 2013-06-05 Panasonic Corporation Quantizing apparatus, quantizing method and encoding apparatus

Also Published As

Publication number Publication date
WO2009144953A1 (ja) 2009-12-03
EP2287836A1 (en) 2011-02-23
EP2287836B1 (en) 2014-10-15
US20110046946A1 (en) 2011-02-24
JP5383676B2 (ja) 2014-01-08
US8452587B2 (en) 2013-05-28
EP2287836A4 (en) 2013-10-30

Similar Documents

Publication Publication Date Title
JP5383676B2 (ja) 符号化装置、復号装置およびこれらの方法
US8457319B2 (en) Stereo encoding device, stereo decoding device, and stereo encoding method
EP1808684B1 (en) Scalable decoding apparatus
RU2488897C1 (ru) Кодирующее устройство, декодирующее устройство и способ
KR101220621B1 (ko) 부호화 장치 및 부호화 방법
JP4859670B2 (ja) 音声符号化装置および音声符号化方法
KR101414354B1 (ko) 부호화 장치 및 부호화 방법
EP2345027B1 (en) Energy-conserving multi-channel audio coding and decoding
JP5413839B2 (ja) 符号化装置および復号装置
JP4606418B2 (ja) スケーラブル符号化装置、スケーラブル復号装置及びスケーラブル符号化方法
JPWO2006129615A1 (ja) スケーラブル符号化装置およびスケーラブル符号化方法
RU2459283C2 (ru) Кодирующее устройство, декодирующее устройство и способ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131001

R150 Certificate of patent or registration of utility model

Ref document number: 5383676

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees