JPWO2006011445A1 - 信号復号化装置 - Google Patents

Abstract

スケーラブル符号化／復号化技術を用いる通信において、パケット損失などにより復号化時に利用する階層数が変化した場合に対しても、大きな異音を抑制し、聴感的により良い復号化信号を得られる信号復号化装置。この信号復号化装置では、利得調整部（２３０８）は、復号化動作制御部（２３０１）の制御に基づいて基本レイヤ復号化部（２３０２）から出力された基本レイヤ復号化信号の利得を調整する。利得調整部（２３０９）は、復号化動作制御部（２３０１）の制御に基づいて第１拡張レイヤ復号化部（２３０３）から出力された第１拡張レイヤ復号化信号の利得を調整する。利得調整部（２３１０）は、復号化動作制御部（２３０１）の制御に基づいて第２拡張レイヤ復号化部（２３０４）から出力された第２拡張レイヤ復号化信号の利得を調整する。

Description

本発明は、信号を符号化して伝送する通信システムに用いられる信号復号化装置に関する。

インターネット通信に代表されるパケット通信システムや、音声・楽音信号を伝送する移動通信システムの分野では、音声・楽音信号を伝送すると同時に、ニュース情報などの付加的な音声・楽音情報、文字情報、あるいは画像情報等を伝送する技術が望まれている。

これに対し、中継装置（配信装置）において、符号化装置にて符号化された音声・楽音信号に、符号化した付加情報を単純に多重化して送信するだけでは、伝送する情報量が大幅に増えることになり、通信コスト及び回線使用率も大幅に増加してしまうため、何らかの工夫が必要となる。

この分野の従来技術として、携帯端末同士で音声信号を伝送している際に、中継装置（配信装置）が、通信端末間で伝送する音声・楽音信号を復号化し、これと付加情報と重畳（合成）し、重畳した信号を再度符号化し、相手側通信端末へ伝送するという方法が開示されている（例えば、特許文献１）。

また、近年、音声信号、楽音信号の符号化において、符号化情報の一部からでも音声・楽音信号を復号化でき、パケット損失が発生するような状況においても音質劣化を抑制することができるスケーラブル符号化技術が開発されている（例えば、特許文献２）。

このスケーラブル符号化技術の代表的なものとして、第１階層の符号化部で入力信号を符号化して符号化情報を取得し、さらに上位の階層について第（ｉ−１）階層（ｉは２以上の整数）の符号化部の入力信号と第（ｉ−１）階層の符号化情報の復号化信号との差である残差信号を第ｉ階層の入力信号としてこれを第ｉ階層の符号化部で符号化して符号化情報を取得することを繰り返す方法が知られている。
特開２００３−３０４３３６号公報 特開平１０−９７２９５号公報

しかしながら、上記特許文献１の方法では、中継装置（配信装置）において、符号化されている信号を一度復号化しなければならず、その復号化処理に多大な計算コストが必要となる。また、上記特許文献１は付加情報を音声・楽音信号と重畳する方法であるため、付加情報は音声・楽音信号でなければならず、文字情報や画像情報などの付加情報を扱うことができない。

また、上記特許文献２のように符号化装置にてスケーラブル符号化する方法と、中継装置にて付加情報を重畳する方法とを組み合わせることが考えられるが、これまでこのような技術の具体的な態様の開示はなされていない。

また、上記特許文献２の方法では、伝送中にパケット損失が発生した場合、復号化時に利用する階層の数が変わることにより、伝送ビットレートが急激に変化し、それに伴い大きな異音が発生するという問題がある。

本発明の目的は、スケーラブル符号化／復号化技術を用いる通信において、パケット損失などにより復号化時に利用する階層数が変化した場合に対しても、大きな異音を抑制し、聴感的により良い復号化信号を得られる信号復号化装置を提供することである。

本発明の信号復号化装置は、複数階層で構成された符号化情報を復号化する信号復号化装置であって、各階層の符号化情報を復号化して複数の復号化信号を生成する復号化手段と、前記各復号化信号を加算して加算信号を生成する加算手段と、前記各復号化信号あるいは前記加算信号の利得を調整する利得調整手段と、前後のフレームにおける各階層の符号化情報の有無に基づいて前記利得調整手段を制御する制御手段と、を具備する構成を採る。

本発明によれば、スケーラブル符号化／復号化方式で通信が行われている状況において、パケット損失などにより復号化時に利用する階層数が変化した場合に対しても、時間的に前後のフレームの符号化情報を利用して現フレームの各階層の復号化信号の利得を調整することにより、大きな異音を抑制し、聴感的により良い復号化信号を得ることができる。

本発明の実施の形態１に係る通信システムの構成を示すブロック図 本発明の実施の形態１に係る信号符号化装置の内部構成を示すブロック図 本発明の実施の形態１に係る信号符号化装置から伝送されるデータ構造を示すブロック図 本発明の実施の形態１に係る信号符号化装置の基本レイヤ符号化部の内部構成を示すブロック図 本発明の実施の形態１に係る信号符号化装置の基本レイヤ復号化部の内部構成を示すブロック図 本発明の実施の形態１に係る中継装置の内部構成を示すブロック図 本発明の実施の形態１に係る中継装置の付加処理部の内部構成を示すブロック図 本発明の実施の形態１に係る中継装置から伝送されるデータ構造を示すブロック図 本発明の実施の形態１に係る信号復号化装置の内部構成を示すブロック図 本発明の実施の形態２に係る信号復号化装置の内部構成を示すブロック図 本発明の実施の形態３に係る信号符号化装置から伝送されるデータ構造を示すブロック図 本発明の実施の形態３に係る中継装置の付加処理部の内部構成を示すブロック図 本発明の実施の形態３に係る中継装置から伝送されるデータ構造を示すブロック図 本発明の実施の形態３に係る信号復号化装置の内部構成を示すブロック図 本発明の実施の形態４に係る通信システムの構成を示すブロック図 本発明の実施の形態４に係る中継装置の内部構成を示すブロック図 本発明の実施の形態４に係る中継装置の付加処理部の内部構成を示すブロック図 本発明の実施の形態４に係る中継装置から伝送されるデータ構造を示すブロック図 本発明の実施の形態５に係る信号送信装置、中継装置及び信号受信装置の構成を示すブロック図 本発明の実施の形態６に係る通信システムの構成を示すブロック図 本発明の実施の形態６に係る信号符号化装置の内部構成を示すブロック図 本発明の実施の形態６に係る信号符号化装置から伝送されるデータ構造を示すブロック図 本発明の実施の形態６に係る信号復号化装置の内部構成を示すブロック図 本発明の実施の形態７に係る信号符号化装置の内部構成を示すブロック図 本発明の実施の形態７に係る信号復号化装置の内部構成を示すブロック図 本発明の実施の形態８に係る信号符号化装置から伝送されるデータ構造を示すブロック図 本発明の実施の形態８に係る信号復号化装置の内部構成を示すブロック図

以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。なお、以下の各実施の形態では、３階層で構成された階層的な信号符号化／復号化方法によりＣＥＬＰタイプの音声符号化／復号化を行う場合について説明する。なお、階層的な信号符号化方法とは、下位レイヤでの入力信号と出力信号との差分信号を符号化し、符号化情報を出力する信号符号化方法が、上位レイヤに複数存在して階層構造を成している方法である。また、以下の説明において、最下のレイヤ（第１階層）を「基本レイヤ」とし、基本レイヤより上位に存在するレイヤを「拡張レイヤ」とする。

（実施の形態１）
本発明の実施の形態１では、付加情報として即時性が求められる音声情報（例えば地域の緊急災害情報等）を対象とし、伝送される音声・楽音信号よりも付加情報を優先する場合について説明する。

図１は、本実施の形態に係る中継装置を含むシステム構成を示す図である。信号符号化装置１０１は、伝送モード情報（ＳＭＩ）に応じて、入力信号に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行い、符号化により得られた符号化情報を、伝送路Ａ１０２を介して中継装置１０３に送信する。

中継装置１０３は、付加モード情報（ＡＭＩ）及び付加情報が入力された場合には、伝送路Ａ１０２を介して伝送される符号化情報に付加情報を付加する処理を行い、付加処理後の符号化情報（以下、「変換後符号化情報」という）を伝送路Ｂ１０４に送信する。なお、中継装置１０３は、付加モード情報及び付加情報が入力されない場合には、伝送路Ａ１０２を介して伝送される符号化情報を伝送路Ｂ１０４へ出力する。

信号復号化装置１０５は、伝送路Ｂ１０４を介して受信した符号化情報または変換後符号化情報に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号を出力信号として出力する。

次に、図１の信号符号化装置１０１の構成について、図２のブロック図を用いて説明する。なお、信号符号化装置１０１は、入力信号をＮサンプルずつ区切り（Ｎは自然数）、Ｎサンプルを１フレームとしてフレーム毎に符号化を行う。

信号符号化装置１０１は、伝送ビットレート制御部２０１と、制御スイッチ２０２〜２０５と、基本レイヤ符号化部２０６と、基本レイヤ復号化部２０８と、加算部２０７、２１１と、第１拡張レイヤ符号化部２０９と、第１拡張レイヤ復号化部２１０と、第２拡張レイヤ符号化部２１２と、符号化情報統合部２１３とから主に構成される。

伝送モード情報は、伝送ビットレート制御部２０１に入力される。ここで、伝送モード情報とは、入力信号を符号化し伝送する際の伝送ビットレートを指示する情報であり、予め定められた２つ以上の伝送ビットレートの中から一つの伝送ビットレートが伝送モード情報として選択される。なお、本実施の形態においては、伝送モード情報は、予め定められた４種類の伝送ビットレートｂｉｔｒａｔｅ０、ｂｉｔｒａｔｅ１、ｂｉｔｒａｔｅ２、ｂｉｔｒａｔｅ３（ｂｉｔｒａｔｅ０＝０、ｂｉｔｒａｔｅ３＜ｂｉｔｒａｔｅ２＜ｂｉｔｒａｔｅ１）の値を取り得るものとする。但し、ｂｉｔｒａｔｅ０のみ中継装置１０３においてのみ設定されうるものであり、伝送ビットレート制御部２０１に入力される時点では伝送モード情報は、ｂｉｔｒａｔｅ１、ｂｉｔｒａｔｅ２、ｂｉｔｒａｔｅ３の３種類の伝送ビットレートのいずれかであるとする。

伝送ビットレート制御部２０１は、入力した伝送モード情報に応じて、制御スイッチ２０２〜２０５のオン／オフ制御を行う。具体的には、伝送ビットレート制御部２０１は、伝送モード情報がｂｉｔｒａｔｅ１である場合、制御スイッチ２０２〜２０５を全てオン状態にする。また、伝送ビットレート制御部２０１は、伝送モード情報がｂｉｔｒａｔｅ２である場合、制御スイッチ２０２及び２０３をオン状態にし、制御スイッチ２０４及び２０５をオフ状態にする。また、伝送ビットレート制御部２０１は、伝送モード情報がｂｉｔｒａｔｅ３である場合、制御スイッチ２０２〜２０５を全てオフ状態にする。また、伝送ビットレート制御部２０１は、伝送モード情報を符号化情報統合部２１３に出力する。このように、伝送ビットレート制御部２０１が伝送モード情報に応じて制御スイッチをオン／オフ制御することにより、入力信号の符号化に用いる符号化部の組み合わせが決定される。

入力信号は、制御スイッチ２０２及び基本レイヤ符号化部２０６に入力される。

基本レイヤ符号化部２０６は、入力信号に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行い、符号化により得られた情報源符号（以下、「基本レイヤ情報源符号（ＣＤＣＬ）」という）を符号化情報統合部２１３及び制御スイッチ２０３に出力する。なお、基本レイヤ符号化部２０６の内部構成については後述する。

基本レイヤ復号化部２０８は、制御スイッチ２０３がオン状態の場合、基本レイヤ符号化部２０６から出力された基本レイヤ情報源符号に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号（以下、「基本レイヤ復号化信号」という）を加算部２０７に出力する。なお、基本レイヤ復号化部２０８は、制御スイッチ２０３がオフ状態の場合には何も動作しない。なお、基本レイヤ復号化部２０８の内部構成については後述する。

加算部２０７は、制御スイッチ２０２、２０３がオン状態の場合、入力信号に、基本レイヤ復号化信号の極性を反転させた信号を加算し、加算結果である第１差分信号を第１拡張レイヤ符号化部２０９及び制御スイッチ２０４に出力する。なお、加算部２０７は、制御スイッチ２０２、２０３がオフ状態の場合には何も動作しない。

第１拡張レイヤ符号化部２０９は、制御スイッチ２０２、２０３がオン状態の場合、加算部２０７から得られる第１差分信号に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行い、符号化により得られた情報源符号（以下、「第１拡張レイヤ情報源符号（ＣＤＦＥＬ）」という）を制御スイッチ２０５及び符号化情報統合部２１３に出力する。なお、第１拡張レイヤ符号化部２０９は、制御スイッチ２０２、２０３がオフ状態の場合には何も動作しない。

第１拡張レイヤ復号化部２１０は、制御スイッチ２０５がオン状態の場合、第１拡張レイヤ符号化部２０９から出力された第１拡張レイヤ情報源符号に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号（以下、「第１拡張レイヤ復号化信号」という）を加算部２１１に出力する。なお、第１拡張レイヤ復号化部２１０は、制御スイッチ２０５がオフ状態の場合には何も動作しない。

加算部２１１は、制御スイッチ２０４、２０５がオン状態の場合、制御スイッチ２０４から得られる第１差分信号に、第１拡張レイヤ復号化信号の極性を反転させた信号を加算し、加算結果である第２差分信号を第２拡張レイヤ符号化部２１２に出力する。なお、加算部２１１は、制御スイッチ２０４、２０５がオフ状態の場合には何も動作しない。

第２拡張レイヤ符号化部２１２は、制御スイッチ２０４、２０５がオン状態の場合、加算部２１１から出力される第２差分信号に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行い、符号化により得られた情報源符号（以下、「第２拡張レイヤ情報源符号（ＣＤＳＥＬ）」という）を符号化情報統合部２１３に出力する。なお、第２拡張レイヤ符号化部２１２は、制御スイッチ２０４、２０５がオフ状態の場合には何も動作しない。

符号化情報統合部２１３は、基本レイヤ符号化部２０６、第１拡張レイヤ符号化部２０９、及び第２拡張レイヤ符号化部２１２から出力された情報源符号と伝送ビットレート制御部２０１から出力される伝送モード情報とを統合し、符号化情報中に含まれる１ビットの付加情報フラグ（ＡＩＦ）に「０」を代入し、これを符号化情報として伝送路Ａ１０２に出力する。

ここで、付加情報フラグとは、中継装置１０３において、付加情報が付加された場合は「１」、付加情報が付加されない場合は「０」の値をとる１ビットのフラグであり、符号化装置から伝送された時点でのデフォルト値は０とする。

以上が、図１の信号符号化装置１０１の構成の説明である。

次に、伝送前符号化情報のデータ構造（ビットストリーム）について図３を用いて説明する。

伝送モード情報がｂｉｔｒａｔｅ３である場合、符号化情報は、図３Ａに示すように、伝送モード情報、基本レイヤ情報源符号、及び付加情報フラグ（値は０）を含む冗長部（ＲＰ）から構成される。

伝送モード情報がｂｉｔｒａｔｅ２である場合、符号化情報は、図３（ｂ）に示すように、伝送モード情報、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、及び付加情報フラグ（値は０）を含む冗長部から構成される。

伝送モード情報がｂｉｔｒａｔｅ１である場合、符号化情報は、図３（ｃ）に示すように、伝送モード情報、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、第２拡張レイヤ情報源符号、及び付加情報フラグ（値は０）を含む冗長部から構成される。

ここで、図３中のデータ構造における冗長部とは、ビットストリーム中に用意される冗長的なデータ格納部であり、通常は伝送誤り検出・訂正等に利用される。本発明では、中継装置１０３、及び信号復号化装置１０５において、この中の１ビットを付加情報フラグとして利用することとする。詳細な説明は後述する。

次に、図２の基本レイヤ符号化部２０６の内部構成について図４を用いて説明する。ここでは、基本レイヤ符号化部２０６において、ＣＥＬＰタイプの音声符号化を行う場合について説明する。

前処理部４０１は、入力信号に対し、ＤＣ成分を取り除くハイパスフィルタ処理や後続する符号化処理の性能改善につながるような波形整形処理やプリエンファシス処理を行い、これらの処理後の信号（Ｘｉｎ）をＬＰＣ分析部４０２および加算部４０５に出力する。

ＬＰＣ分析部４０２は、Ｘｉｎを用いて線形予測分析を行い、分析結果（線形予測係数）をＬＰＣ量子化部４０３に出力する。ＬＰＣ量子化部４０３は、ＬＰＣ分析部４０２から出力された線形予測係数（ＬＰＣ）の量子化処理を行い、量子化ＬＰＣを合成フィルタ４０４に出力するとともに量子化ＬＰＣを表す符号（Ｌ）を多重化部４１４に出力する。

合成フィルタ４０４は、量子化ＬＰＣに基づくフィルタ係数により、後述する加算部４１１から出力される駆動音源に対してフィルタ合成を行うことにより合成信号を生成し、合成信号を加算部４０５に出力する。

加算部４０５は、合成信号の極性を反転させてＸｉｎに加算することにより誤差信号を算出し、誤差信号を聴覚重み付け部４１２に出力する。

適応音源符号帳４０６は、過去に加算部４１１によって出力された駆動音源をバッファに記憶しており、パラメータ決定部４１３から出力された信号により特定される過去の駆動音源から１フレーム分のサンプルを適応音源ベクトルとして切り出して乗算部４０９に出力する。

量子化利得生成部４０７は、パラメータ決定部４１３から出力された信号によって特定される量子化適応音源利得と量子化固定音源利得とをそれぞれ乗算部４０９と乗算部４１０とに出力する。

固定音源符号帳４０８は、パラメータ決定部４１３から出力された信号によって特定される形状を有するパルス音源ベクトルに拡散ベクトルを乗算して得られた固定音源ベクトルを乗算部４１０に出力する。

乗算部４０９は、量子化利得生成部４０７から出力された量子化適応音源利得を、適応音源符号帳４０６から出力された適応音源ベクトルに乗じて、加算部４１１に出力する。乗算部４１０は、量子化利得生成部４０７から出力された量子化固定音源利得を、固定音源符号帳４０８から出力された固定音源ベクトルに乗じて、加算部４１１に出力する。

加算部４１１は、利得乗算後の適応音源ベクトルと固定音源ベクトルとをそれぞれ乗算部４０９と乗算部４１０とから入力し、これらをベクトル加算し、加算結果である駆動音源を合成フィルタ４０４および適応音源符号帳４０６に出力する。なお、適応音源符号帳４０６に入力された駆動音源は、バッファに記憶される。

聴覚重み付け部４１２は、加算部４０５から出力された誤差信号に対して聴覚的な重み付けをおこない符号化歪みとしてパラメータ決定部４１３に出力する。

パラメータ決定部４１３は、聴覚重み付け部４１２から出力された符号化歪みを最小とする適応音源ベクトル、固定音源ベクトル及び量子化利得を、各々適応音源符号帳４０６、固定音源符号帳４０８及び量子化利得生成部４０７から選択し、選択結果を示す適応音源ベクトル符号（Ａ）、固定音源ベクトル符号（Ｆ）及び音源利得符号（Ｇ）を多重化部４１４に出力する。

多重化部４１４は、ＬＰＣ量子化部４０３から量子化ＬＰＣを表す符号（Ｌ）を入力し、パラメータ決定部４１３から適応音源ベクトルを表す符号（Ａ）、固定音源ベクトルを表す符号（Ｆ）および量子化利得を表す符号（Ｇ）を入力し、これらの情報を多重化して基本レイヤ情報源符号として出力する。

以上が、図２の基本レイヤ符号化部２０６の内部構成の説明である。

なお、図２の第１拡張レイヤ符号化部２０９及び第２拡張レイヤ符号化部２１２の内部構成は、基本レイヤ符号化部２０６と同一であり、入力される信号の種類及び出力される情報源符号の種類のみが異なるので、その説明は省略する。

次に、図２の基本レイヤ復号化部２０８の内部構成について図５を用いて説明する。ここでは、基本レイヤ復号化部２０８において、ＣＥＬＰタイプの音声復号化を行う場合について説明する。

図５において、基本レイヤ復号化部２０８に入力された基本レイヤ情報源符号は、多重化分離部５０１によって個々の符号（Ｌ、Ａ、Ｇ、Ｆ）に分離される。分離されたＬＰＣ符号（Ｌ）はＬＰＣ復号化部５０２に出力され、分離された適応音源ベクトル符号（Ａ）は適応音源符号帳５０５に出力され、分離された音源利得符号（Ｇ）は量子化利得生成部５０６に出力され、分離された固定音源ベクトル符号（Ｆ）は固定音源符号帳５０７に出力される。

ＬＰＣ復号化部５０２は、多重化分離部５０１から出力された符号（Ｌ）から量子化ＬＰＣを復号化し、合成フィルタ５０３に出力する。

適応音源符号帳５０５は、多重化分離部５０１から出力された符号（Ａ）で指定される過去の駆動音源から１フレーム分のサンプルを適応音源ベクトルとして取り出して乗算部５０８に出力する。

量子化利得生成部５０６は、多重化分離部５０１から出力された音源利得符号（Ｇ）で指定される量子化適応音源利得と量子化固定音源利得を復号化し乗算部５０８及び乗算部５０９に出力する。

固定音源符号帳５０７は、多重化分離部５０１から出力された符号（Ｆ）で指定される固定音源ベクトルを生成し、乗算部５０９に出力する。

乗算部５０８は、適応音源ベクトルに量子化適応音源利得を乗算して、加算部５１０に出力する。乗算部５０９は、固定音源ベクトルに量子化固定音源利得を乗算して、加算部５１０に出力する。

加算部５１０は、乗算部５０８、５０９から出力された利得乗算後の適応音源ベクトルと固定音源ベクトルとの加算を行い駆動音源を生成し、これを合成フィルタ５０３及び適応音源符号帳５０５に出力する。

合成フィルタ５０３は、ＬＰＣ復号化部５０２によって復号化されたフィルタ係数を用いて、加算部５１０から出力された駆動音源のフィルタ合成を行い、合成した信号を後処理部５０４に出力する。

後処理部５０４は、合成フィルタ５０３から出力された信号に対して、ホルマント強調やピッチ強調といったような音声の主観的な品質を改善する処理や、定常雑音の主観的品質を改善する処理などを施し、基本レイヤ復号化信号として出力する。

以上が、図２の基本レイヤ復号化部２０８の内部構成の説明である。

なお、図２の第１拡張レイヤ復号化部２１０の内部構成は、基本レイヤ復号化部２０８の内部構成と同一であり、入力される情報源符号の種類及び出力される信号の種類のみが異なるので、その説明は省略する。

次に、図１の中継装置１０３の構成について図６を用いて説明する。

中継装置１０３は、付加情報受信部６０１と、符号化情報解析部６０２と、付加処理部６０３と、符号化情報統合部６０４と、制御スイッチ６０５、６０６とから主に構成される。

付加モード情報及び付加情報は、付加情報受信部６０１に入力される。ここで、付加モード情報とは、付加情報を符号化し伝送する際の伝送ビットレートを指示する情報であり、予め定められた２つ以上の伝送ビットレートの中から、付加情報の種類（カテゴリ）等に応じて、一つの伝送ビットレートが付加モード情報として選択される。なお、本実施の形態においては、付加モード情報は、予め定められた３種類の伝送ビットレートｂｉｔｒａｔｅ１’、ｂｉｔｒａｔｅ２’、ｂｉｔｒａｔｅ３’（ｂｉｔｒａｔｅ３’＜ｂｉｔｒａｔｅ２’＜ｂｉｔｒａｔｅ１’）の値を取り得るものとする。この伝送ビットレートの値は、付加情報を適当な品質で符号化するために必要な情報量を示し、例えば、クリーン音声（一人）の場合にはｂｉｔｒａｔｅ３’が選択され、ノイズ有り音声またはクリーン音声（少人数）の場合にはｂｉｔｒａｔｅ２’が選択され、楽音または多人数音声の場合にはｂｉｔｒａｔｅ１’が選択されるといったように、付加情報のカテゴリに対応して適切に指定されるものとする。

付加情報受信部６０１は、付加モード情報及び付加情報が入力されたか否かに応じて、制御スイッチ６０５、６０６のオン／オフ制御を行う。具体的には、付加情報受信部６０１は、中継装置１０３に付加モード情報及び付加情報が入力された場合には、制御スイッチ６０５を符号化情報解析部６０２側に接続し、制御スイッチ６０６を符号化情報統合部６０４側に接続する。また、付加情報受信部６０１は、中継装置１０３に付加モード情報及び付加情報が入力されない場合には、制御スイッチ６０５を制御スイッチ６０６側に接続し、制御スイッチ６０６を制御スイッチ６０５側に接続する。このように、中継装置１０３に付加情報が入力されるかどうかに応じて制御スイッチ６０５、６０６をオン／オフ制御することにより、中継装置１０３の動作が決定される。また、付加情報受信部６０１は、中継装置１０３に付加モード情報及び付加情報が入力された場合には、入力された付加モード情報及び付加情報を付加処理部６０３に出力する。また、付加情報受信部６０１は、中継装置１０３に付加モード情報及び付加情報が入力されない場合は、付加処理部６０３には何も出力しない。

符号化情報解析部６０２は、制御スイッチ６０５が符号化情報解析部６０２側に接続されている場合、入力した符号化情報を、伝送モード情報、各レイヤの情報源符号、及び付加情報フラグに分離し、伝送モード情報、及び付加情報フラグを付加処理部６０３に出力し、また、伝送モード情報に応じて、各レイヤの情報源符号を付加処理部６０３に出力する。具体的には、符号化情報から得られる伝送モード情報がｂｉｔｒａｔｅ１である場合、基本レイヤ情報源符号、第１拡張レイヤ情報源符号及び第２拡張レイヤ情報源符号を付加処理部６０３に出力する。また、伝送モード情報がｂｉｔｒａｔｅ２である場合、基本レイヤ情報源符号及び第１拡張レイヤ情報源符号を付加処理部６０３に出力する。また、伝送モード情報がｂｉｔｒａｔｅ３である場合、基本レイヤ情報源符号を付加処理部６０３に出力する。なお、符号化情報解析部６０２は、制御スイッチ６０５が制御スイッチ６０６側に接続されている場合には、何も動作しない。

付加処理部６０３は、符号化情報解析部６０２から、伝送モード情報、付加情報フラグ及び伝送モード情報に応じた各レイヤの情報源符号が入力され、また付加情報受信部６０１から付加モード情報、及び付加情報が入力された場合には、伝送モード情報及び付加モード情報の組み合わせに応じて、各レイヤの情報源符号に対して、付加情報の付加処理を行い、得られた情報源符号、伝送モード情報、付加モード情報、及び付加情報フラグを符号化情報統合部６０４に出力する。また、付加処理部６０３は、符号化情報解析部６０２から、伝送モード情報、付加情報フラグ及び伝送モード情報に応じた各レイヤの情報源符号が入力されず、また付加情報受信部６０１から付加モード情報、及び付加情報が入力されない場合には、何も動作しない。

符号化情報統合部６０４は、付加処理部６０３から伝送モード情報、付加モード情報、付加情報フラグ、及び各種の情報源符号が入力された場合、それらを統合した後、変換後符号化情報として制御スイッチ６０６に出力する。また、符号化情報統合部６０４は、付加処理部６０３から伝送モード情報、付加モード情報、付加情報フラグ、及び各種の情報源符号が入力されない場合には何も動作しない。

以上が、図１の中継装置１０３の構成についての説明である。

次に、図６の付加処理部６０３の構成について図７を用いて説明する。付加処理部６０３は、付加情報符号化部７０１と、付加情報統合部７０２とから主に構成される。

付加情報符号化部７０１は、付加情報受信部６０１から付加モード情報及び付加情報が入力され、符号化情報解析部６０２から伝送モード情報及び付加情報フラグが入力された場合、付加モード情報及び伝送モード情報の組み合わせに応じた伝送ビットレートにより、付加情報に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行い、符号化により得られた情報源符号（以下、「付加情報情報源符号（ＣＤＡＩ）」という）、伝送モード情報及び付加モード情報を付加情報統合部７０２に出力する。なお、付加情報符号化部７０１は、付加モード情報、付加情報、伝送モード情報及び付加情報フラグが入力されない場合には何も動作しない。

以下、付加情報符号化部７０１における符号化処理について伝送モード情報及び付加モード情報の組み合わせに応じた９パターンに分け、具体的に説明する。

付加情報符号化部７０１は、入力される情報（信号）を複数の伝送ビットレートで符号化可能なマルチレート符号化方法を備える。本実施の形態では、付加情報受信部６０１から得られる付加モード情報と符号化情報解析部６０２から得られる伝送モード情報との組み合わせに応じて、予め定められた６種類の伝送ビットレートｂｉｔｒａｔｅ１”、ｂｉｔｒａｔｅ２”、ｂｉｔｒａｔｅ３”、ｂｉｔｒａｔｅ４”、ｂｉｔｒａｔｅ５”、ｂｉｔｒａｔｅ６”の値を取り得るものとする。また、この６種類の伝送ビットレートの値は、ｂｉｔｒａｔｅ１、ｂｉｔｒａｔｅ２及びｂｉｔｒａｔｅ３を用いて以下の式（１）ように表せる。

（パターン１）
付加情報符号化部７０１は、付加情報受信部６０１から得られる付加モード情報がｂｉｔｒａｔｅ３’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がｂｉｔｒａｔｅ３である場合には、付加情報をｂｉｔｒａｔｅ３”が示す伝送ビットレートを用いて、ＣＥＬＰタイプの音声符号化方法により符号化を行い、得られた付加情報情報源符号、付加モード情報、伝送モード情報及び付加情報フラグを付加情報統合部７０２に出力する。

（パターン２）
付加情報符号化部７０１は、付加情報受信部６０１から得られる付加モード情報がｂｉｔｒａｔｅ３’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がｂｉｔｒａｔｅ２である場合には、付加情報をｂｉｔｒａｔｅ５”が示す伝送ビットレートを用いて、ＣＥＬＰタイプの音声符号化方法により符号化を行い、得られた付加情報情報源符号、付加モード情報、伝送モード情報及び付加情報フラグを付加情報統合部７０２に出力する。

（パターン３）
付加情報符号化部７０１は、付加情報受信部６０１から得られる付加モード情報がｂｉｔｒａｔｅ３’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がｂｉｔｒａｔｅ１である場合には、付加情報をｂｉｔｒａｔｅ６”が示す伝送ビットレートを用いて、ＣＥＬＰタイプの音声符号化方法により符号化を行い、得られた付加情報情報源符号、付加モード情報、伝送モード情報及び付加情報フラグを付加情報統合部７０２に出力する。

（パターン４）
付加情報符号化部７０１は、付加情報受信部６０１から得られる付加モード情報がｂｉｔｒａｔｅ２’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がｂｉｔｒａｔｅ３である場合には、ｂｉｔｒａｔｅ３”が示す伝送ビットレートは、付加情報を符号化するために十分ではないと判断し、付加情報の符号化処理は行わず、付加モード情報、伝送モード情報及び付加情報フラグを付加情報統合部７０２に出力する。

（パターン５）
付加情報符号化部７０１は、付加情報受信部６０１から得られる付加モード情報がｂｉｔｒａｔｅ２’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がｂｉｔｒａｔｅ２である場合には、付加情報をｂｉｔｒａｔｅ２”が示す伝送ビットレートを用いて、ＣＥＬＰタイプの音声符号化方法により符号化を行い、得られた付加情報情報源符号、付加モード情報、伝送モード情報及び付加情報フラグを付加情報統合部７０２に出力する。

（パターン６）
付加情報符号化部７０１は、付加情報受信部６０１から得られる付加モード情報がｂｉｔｒａｔｅ２’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がｂｉｔｒａｔｅ１である場合には、付加情報をｂｉｔｒａｔｅ４”が示す伝送ビットレートを用いて、ＣＥＬＰタイプの音声符号化方法により符号化を行い、得られた付加情報情報源符号、付加モード情報、伝送モード情報及び付加情報フラグを付加情報統合部７０２に出力する。

（パターン７）
付加情報符号化部７０１は、付加情報受信部６０１から得られる付加モード情報がｂｉｔｒａｔｅ１’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がｂｉｔｒａｔｅ３である場合には、ｂｉｔｒａｔｅ３”が示す伝送ビットレートは、付加情報を符号化するために十分ではないと判断し、付加情報の符号化処理は行わず、付加モード情報、伝送モード情報及び付加情報フラグを付加情報統合部７０２に出力する。

（パターン８）
付加情報符号化部７０１は、付加情報受信部６０１から得られる付加モード情報がｂｉｔｒａｔｅ１’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がｂｉｔｒａｔｅ２である場合には、ｂｉｔｒａｔｅ２”が示す伝送ビットレートは、付加情報を符号化するために十分ではないと判断し、付加情報の符号化処理は行わず、付加モード情報、伝送モード情報及び付加情報フラグを付加情報統合部７０２に出力する。

（パターン９）
付加情報符号化部７０１は、付加情報受信部６０１から得られる付加モード情報がｂｉｔｒａｔｅ１’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がｂｉｔｒａｔｅ１である場合には、付加情報をｂｉｔｒａｔｅ１”が示す伝送ビットレートを用いて、ＣＥＬＰタイプの音声符号化方法により符号化を行い、得られた付加情報情報源符号、付加モード情報、伝送モード情報及び付加情報フラグを付加情報統合部７０２に出力する。

以上が、付加情報符号化部７０１における符号化処理についての説明である。

付加情報統合部７０２は、付加情報符号化部７０１から付加モード情報、付加情報情報源符号、伝送モード情報及び付加情報フラグが入力され、符号化情報解析部６０２から各レイヤの情報源符号が入力された場合、付加モード情報及び伝送モード情報の組み合わせに応じて、各レイヤの情報源符号と付加情報情報源符号との統合処理を行い、得られた情報源符号、付加情報情報源符号、伝送モード情報、付加情報フラグ及び付加モード情報を符号化情報統合部６０４に出力する。なお、付加情報統合部７０２は、付加モード情報、付加情報情報源符号、伝送モード情報、付加情報フラグ及び各レイヤの情報源符号が入力されない場合には何も動作しない。

以下、付加情報統合部７０２における統合処理について伝送モード情報及び付加モード情報の組み合わせに応じた９パターンに分け、具体的に説明する。

（パターン１）
付加情報統合部７０２は、付加情報符号化部７０１から得られる付加モード情報がｂｉｔｒａｔｅ３’であり、かつ伝送モード情報がｂｉｔｒａｔｅ３である場合には、基本レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にｂｉｔｒａｔｅ０を代入し、付加モード情報にｂｉｔｒａｔｅ３”を代入し、付加情報情報源符号、付加モード情報、及び伝送モード情報を符号化情報統合部６０４に出力する。また、このとき付加情報統合部７０２は、１の値を代入した付加情報フラグを符号化情報統合部６０４に出力する。

（パターン２）
付加情報統合部７０２は、付加情報符号化部７０１から得られる付加モード情報がｂｉｔｒａｔｅ３’であり、かつ伝送モード情報がｂｉｔｒａｔｅ２である場合には、第１拡張レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にｂｉｔｒａｔｅ３を代入し、付加モード情報にｂｉｔｒａｔｅ５”を代入し、基本レイヤ情報源符号、付加情報情報源符号、付加モード情報、及び伝送モード情報を符号化情報統合部６０４に出力する。また、このとき付加情報統合部７０２は、１の値を代入した付加情報フラグを符号化情報統合部６０４に出力する。

（パターン３）
付加情報統合部７０２は、付加情報符号化部７０１から得られる付加モード情報がｂｉｔｒａｔｅ３’であり、かつ伝送モード情報がｂｉｔｒａｔｅ１である場合には、第２拡張レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にｂｉｔｒａｔｅ２を代入し、付加モード情報にｂｉｔｒａｔｅ６”を代入し、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、付加情報情報源符号、付加モード情報、及び伝送モード情報を符号化情報統合部６０４に出力する。また、このとき付加情報統合部７０２は、１の値を代入した付加情報フラグを符号化情報統合部６０４に出力する。

（パターン４）
付加情報統合部７０２は、付加情報符号化部７０１から得られる付加モード情報がｂｉｔｒａｔｅ２’であり、かつ伝送モード情報がｂｉｔｒａｔｅ３である場合には、統合処理は行わず、基本レイヤ情報源符号、及び伝送モード情報を符号化情報統合部６０４に出力する。また、このとき付加情報統合部７０２は、０の値を代入した付加情報フラグを符号化情報統合部６０４に出力する。

（パターン５）
付加情報統合部７０２は、付加情報符号化部７０１から得られる付加モード情報がｂｉｔｒａｔｅ２’であり、かつ伝送モード情報がｂｉｔｒａｔｅ２である場合には、基本レイヤ情報源符号、及び第１拡張レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にｂｉｔｒａｔｅ０を代入し、付加モード情報にｂｉｔｒａｔｅ２”を代入し、付加情報情報源符号、付加モード情報、及び伝送モード情報を符号化情報統合部６０４に出力する。また、このとき付加情報統合部７０２は、１の値を代入した付加情報フラグを符号化情報統合部６０４に出力する。

（パターン６）
付加情報統合部７０２は、付加情報符号化部７０１から得られる付加モード情報がｂｉｔｒａｔｅ２’であり、かつ伝送モード情報がｂｉｔｒａｔｅ１である場合には、第１拡張レイヤ情報源符号、及び第２拡張レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にｂｉｔｒａｔｅ３を代入し、付加モード情報にｂｉｔｒａｔｅ４”を代入し、基本レイヤ情報源符号、付加情報情報源符号、付加モード情報、及び伝送モード情報を符号化情報統合部６０４に出力する。また、このとき付加情報統合部７０２は、１の値を代入した付加情報フラグを符号化情報統合部６０４に出力する。

（パターン７）
付加情報統合部７０２は、付加情報符号化部７０１から得られる付加モード情報がｂｉｔｒａｔｅ１’であり、かつ伝送モード情報がｂｉｔｒａｔｅ３である場合には、統合処理は行わず、基本レイヤ情報源符号、及び伝送モード情報を符号化情報統合部６０４に出力する。また、このとき付加情報統合部７０２は、０の値を代入した付加情報フラグを符号化情報統合部６０４に出力する。

（パターン８）
付加情報統合部７０２は、付加情報符号化部７０１から得られる付加モード情報がｂｉｔｒａｔｅ１’であり、かつ伝送モード情報がｂｉｔｒａｔｅ２である場合には、統合処理は行わず、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、及び伝送モード情報を符号化情報統合部６０４に出力する。また、このとき付加情報統合部７０２は、０の値を代入した付加情報フラグを符号化情報統合部６０４に出力する。

（パターン９）
付加情報統合部７０２は、付加情報符号化部７０１から得られる付加モード情報がｂｉｔｒａｔｅ１’であり、かつ伝送モード情報がｂｉｔｒａｔｅ１である場合には、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、及び第２拡張レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にｂｉｔｒａｔｅ０を代入し、付加モード情報にｂｉｔｒａｔｅ１”を代入し、付加情報情報源符号、付加モード情報、及び伝送モード情報を符号化情報統合部６０４に出力する。また、このとき付加情報統合部７０２は、１の値を代入した付加情報フラグを符号化情報統合部６０４に出力する。

以上が、付加情報統合部７０２における統合処理についての説明である。

なお、符号化情報統合部６０４から出力される符号化情報のデータ構造（ビットストリーム）は、付加情報統合部７０２における（パターン１）〜（パターン９）に応じて、それぞれ図８中の（ａ）〜（ｉ）のようなデータ構造となる。

次に、図１の信号復号化装置１０５の構成について図９を用いて説明する。

信号復号化装置１０５は、符号化情報解析部９０１と、復号化動作制御部９０２と、基本レイヤ復号化部９０３と、第１拡張レイヤ復号化部９０４と、第２拡張レイヤ復号化部９０５と、付加情報復号化部９０６と、制御スイッチ９０７〜９１０と、加算部９１１〜９１３とから主に構成される。

符号化情報は、符号化情報解析部９０１に入力される。符号化情報解析部９０１は、入力された符号化情報の付加情報フラグの値が１である場合には、符号化情報を伝送モード情報、付加モード情報、各レイヤの情報源符号、及び付加情報情報源符号に分離し、得られた付加モード情報、伝送モード情報及び各レイヤの情報源符号を復号化動作制御部９０２に出力し、付加モード情報及び付加情報情報源符号を付加情報復号化部９０６に出力する。また、符号化情報解析部９０１は、入力された符号化情報の付加情報フラグの値が０である場合には、符号化情報を伝送モード情報、各レイヤの情報源符号に分離し、得られた伝送モード情報及び各レイヤの情報源符号を復号化動作制御部９０２に出力する。また、符号化情報解析部９０１は、符号化情報の解析結果に応じて制御スイッチ９１０のオン／オフ状態の制御を行う。具体的には、符号化情報解析部９０１は、入力された符号化情報の付加情報フラグの値が０である場合は、制御スイッチ９１０をオフ状態にし、入力された符号化情報の付加情報フラグの値が１である場合は制御スイッチ９１０をオン状態にする。

復号化動作制御部９０２は、符号化情報解析部９０１から得られる伝送モード情報に応じて、制御スイッチ９０７〜９０９のオン／オフ状態の制御を行い、また各レイヤの情報源符号を、基本レイヤ復号化部９０３、第１拡張レイヤ復号化部９０４及び第２拡張レイヤ復号化部９０５に出力する。具体的には、復号化動作制御部９０２は、符号化情報解析部９０１から得られる伝送モード情報がｂｉｔｒａｔｅ３である場合には、制御スイッチ９０７をオン状態にし、制御スイッチ９０８、９０９をオフ状態にし、基本レイヤ復号化部９０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部９０４及び第２拡張レイヤ復号化部９０５には何も出力しない。また、復号化動作制御部９０２は、符号化情報解析部９０１から得られる伝送モード情報がｂｉｔｒａｔｅ２である場合には、制御スイッチ９０７、９０８をオン状態にし、制御スイッチ９０９をオフ状態にし、基本レイヤ復号化部９０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号部９０４に第１拡張レイヤ情報源符号を出力し、第２拡張レイヤ復号化部９０５には何も出力しない。また、復号化動作制御部９０２は、符号化情報解析部９０１から得られる伝送モード情報がｂｉｔｒａｔｅ１である場合には、制御スイッチ９０７〜９０９を全てオン状態にし、基本レイヤ復号化部９０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部９０４に第１拡張レイヤ情報源符号を出力し、第２拡張レイヤ復号化部９０５に第２拡張レイヤ情報源符号を出力する。また、復号化動作制御部９０２は、符号化情報解析部９０１から得られる伝送モード情報がｂｉｔｒａｔｅ０である場合には、制御スイッチ９０７〜９０９を全てオフ状態にし、基本レイヤ復号化部９０３、第１拡張レイヤ復号化部９０４、及び第２拡張レイヤ復号化部９０５には何も出力しない。

基本レイヤ復号化部９０３は、制御スイッチ９０７がオン状態の場合、復号化動作制御部９０２から出力された基本レイヤ情報源符号に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号（以下、「基本レイヤ復号化信号」という）を加算部９１２に出力する。なお、基本レイヤ復号化部９０３は、制御スイッチ９０７がオフ状態の場合には何も動作しない。

第１拡張レイヤ復号化部９０４は、制御スイッチ９０８がオン状態の場合、復号化動作制御部９０２から出力された第１拡張レイヤ情報源符号に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号（以下、「第１拡張レイヤ復号化信号」という）を加算部９１１に出力する。なお、第１拡張レイヤ復号化部９０４は、制御スイッチ９０８がオフ状態の場合には何も動作しない。

第２拡張レイヤ復号化部９０５は、制御スイッチ９０９がオン状態の場合、復号化動作制御部９０２から出力された第２拡張レイヤ情報源符号に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号（以下、「第２拡張レイヤ復号化信号」という）を加算部９１１に出力する。なお、第２拡張レイヤ復号化部９０５は、制御スイッチ９０９がオフ状態の場合には何も動作しない。

付加情報復号化部９０６は、入力された情報源符号を、複数の種類の伝送ビットレートで復号化可能なマルチレート復号化手法を備える。本実施の形態では、符号化情報解析部９０１から得られる付加モード情報に応じて、予め定められた６種類の伝送ビットレートｂｉｔｒａｔｅ１”、ｂｉｔｒａｔｅ２”、ｂｉｔｒａｔｅ３”、ｂｉｔｒａｔｅ４”、ｂｉｔｒａｔｅ５”、ｂｉｔｒａｔｅ６”で復号化可能であるものとする。また、この６種類の伝送ビットレートの値は、付加情報符号化部７０１における例と同様に、ｂｉｔｒａｔｅ１、ｂｉｔｒａｔｅ２及びｂｉｔｒａｔｅ３を用いて上記式（１）のように表せる。付加情報復号化部９０６は、制御スイッチ９１０がオン状態である場合、符号化情報解析部９０１から得られる付加モード情報に応じた伝送ビットレートにより、符号化情報解析部９０１から得られる付加情報情報源符号に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号（以下、「付加情報復号化信号」という）を加算部９１３に出力する。なお、付加情報復号化部９０６は、制御スイッチ９１０がオフ状態の場合には何も動作しない。

なお、基本レイヤ復号化部９０３、第１拡張レイヤ復号化部９０４、第２拡張レイヤ復号化部９０５及び付加情報復号化部９０６の内部構成は、上述した基本レイヤ復号化部２０８と同一であり、入力される情報源符号の種類及び出力される信号の種類のみが異なるので、その説明は省略する。

加算部９１１は、制御スイッチ９０８、９０９がオン状態である場合、第２拡張レイヤ復号化部９０５から出力された第２拡張レイヤ復号化信号と第１拡張レイヤ復号化部９０４から出力された第１拡張レイヤ復号化信号とを加算し、加算後の信号を加算部９１２に出力する。また、加算部９１１は、制御スイッチ９０９がオフ状態であり、かつ、制御スイッチ９０８がオン状態である場合、第１拡張レイヤ復号化部９０４から出力された第１拡張レイヤ復号化信号を加算部９１２に出力する。なお、加算部９１１は、制御スイッチ９０８、９０９がオフ状態である場合、何も動作しない。

加算部９１２は、制御スイッチ９０７、９０８がオン状態である場合、基本レイヤ復号化部９０３から出力された基本レイヤ復号化信号と加算部９１１の出力信号とを加算し、加算後の信号を加算部９１３に出力する。また、加算部９１２は、制御スイッチ９０７がオン状態であり、制御スイッチ９０８がオフ状態である場合、基本レイヤ復号化部９０３から出力された基本レイヤ復号化信号を加算部９１３に出力する。また、加算部９１２は、制御スイッチ９０７、９０８がオフ状態である場合、何も動作しない。

加算部９１３は、制御スイッチ９０７、９１０がオン状態である場合、加算部９１２の出力信号と付加情報復号化部９０６から得られる付加情報復号化信号とを加算し、加算後の信号を出力信号として出力する。また、加算部９１３は、制御スイッチ９０７がオン状態であり、制御スイッチ９１０がオフ状態である場合、加算部９１２の出力信号を出力する。また、加算部９１３は、制御スイッチ９０７がオフ状態であり、制御スイッチ９１０がオン状態である場合、付加情報復号化部９０６から得られる付加情報復号化信号を出力信号として出力する。また、加算部９１３は、制御スイッチ９０７、９１０がオフ状態である場合、何も動作しない。

以上が、図１の信号復号化装置１０５の内部構成の説明である。

このように、本実施の形態によれば、スケーラブル符号化技術を用いて音声・楽音信号等を伝送している中継装置を含めた通信システムにおいて、中継装置に入力された付加情報の種類に応じて適切な情報量分の階層を割り当て、その情報量を用いて符号化された付加情報と、音声・楽音信号の符号化情報を統合し、信号復号化装置に伝送する。これにより、復号化処理における計算コストを抑えることができ、さらに伝送する情報量を増加させることなく、信号符号化装置からの音声・信号と同時に緊急災害情報などの即時性が要求される付加情報を伝送することができる。

なお、本実施の形態では、符号化装置における符号化方法として、ＣＥＬＰタイプの音声符号化／復号化を行う場合について説明したが、本発明はこれに限られず、静止画像、動画像等の音声・楽音信号以外の信号についても同様に適用することができる。

また、本発明は階層を限定するものではなく、複数階層で構成された階層的な信号符号化／復号化方法において、下位レイヤでの入力信号と出力信号との差である残差信号を上位レイヤで符号化する場合について適用することができる。

また、本実施の形態では、中継装置に入力される付加情報は、同じく中継装置に入力される付加モード情報に応じた伝送ビットレートで符号化することを原則としていたため、入力された付加モード情報に応じた伝送ビットレートが、信号符号化装置から中継装置に伝送される音声・楽音信号の伝送ビットレートよりも大きい場合（付加情報符号化部７０１におけるパターン４、パターン７及びパターン８）は、付加情報を送ることができないとして説明した。しかしながら、本発明はこれに限らず、上記のような場合についても、付加モード情報に応じた伝送ビットレートではなく、信号符号化装置から中継装置に伝送される音声・楽音信号の伝送ビットレート以下のビットレートで、付加情報を符号化するという手法を採ることも可能である。また、この時、中継装置に入力された付加モード情報を、符号化に利用した伝送ビットレートに対応する付加モード情報で置き換える必要がある。

また、本実施の形態では、中継装置に入力される付加情報として、即時性の高い地域災害情報などを例に挙げ、付加情報が入力され、符号化装置側から伝送されてきた音声情報と付加情報の両方を同時に送ることができないような場合（付加情報符号化部７０１におけるパターン１、パターン５及びパターン９）は、付加情報を優先するような形態を説明した。しかしながら、本発明はこれに限らず、上記のような場合には、逆に音声情報を優先して復号化側に伝送するといった場合についても、上記のパターン時に、付加情報源符号と、送信装置から伝送される音声・楽音信号の情報源符号に対する伝送ビットレートの割り当てを置き換えることにより、同様に適用することができる。また、この時、復号化装置側においてもそれぞれ符号化側のビットレート制御と対応する復号化方法を行う必要がある。

また、本実施の形態の図６に示した構成を、メモリ、ディスク、テープ、ＣＤ、ＤＶＤ等の機械読み取り可能な記録媒体に記録、書き込みをし、動作を行う場合についても本発明は適用することができ、本実施の形態と同様の作用・効果を得ることができる。

（実施の形態２）
上述した実施の形態１では、中継装置に入力される付加情報として、音声・楽音情報を対象とした場合について説明したが、本発明はこれに限らず、付加情報として、文字情報、静止画像情報、動画像情報等の音声・楽音情報以外の信号を対象とした場合についても同様に適用することができる。

しかし、画像情報等の比較的情報量が多い付加情報については、符号化の圧縮率等を考慮した場合、１フレーム中の情報量だけでは足りない場合、複数のフレームに分割して付加しなければならない。また、音声・楽音信号などに対しても、送信側から伝送される符号化方式の伝送ビットレートが小さいため、指定された付加情報モードでは、１フレーム内には付加できないということも考えられる。

そこで、本発明の実施の形態２では、中継装置において付加情報を複数のフレームに分割して付加し、これを信号復号化装置に伝送する場合について説明する。なお、以下においては、付加情報として、音声・楽音信号を対象とした場合について説明し、画像情報、文字情報については後述する。

本実施の形態における全体的なシステムの構成は、実施の形態１の図１と同様であり、信号符号化装置１０１の作用は実施の形態１と同一である。

以下、本実施の形態における中継装置１０３の作用について説明する。付加モード情報及び付加情報は、中継装置１０３に入力される。中継装置１０３は、付加モード情報及び付加情報が入力された場合は、伝送路Ａ１０２を介して伝送される符号化情報に対して、付加情報の付加処理を行い、得られる付加処理後の符号化情報（変換後符号化情報）を伝送路Ｂ１０４に送信する。中継装置１０３は、付加モード情報及び付加情報が入力されない場合は、伝送路Ａ１０２を介して伝送される符号化情報を伝送路Ｂ１０４へ出力する。

ここで、中継装置１０３に入力される付加モード情報は、上述した付加情報を符号化し伝送する際のビットレートを指示する情報（ｂｉｔｒａｔｅ１’、ｂｉｔｒａｔｅ２’、ｂｉｔｒａｔｅ３’）と、中継装置から付加情報を伝送する手法がリアルタイムであるか、非リアルタイムであるかを指示するリアルタイムフラグとから構成される。ここで、リアルタイムフラグの値が１であることは、付加情報の出力情報を１フレームで伝送することを意味し、リアルタイムフラグの値が０であることは、付加情報の出力情報を複数フレームに分割して伝送することを意味する。

次に、本実施の形態における中継装置１０３の内部構成について説明する。ただし、中継装置１０３の構成自体は、実施の形態１の図６と同様であり、中継装置１０３における付加処理部６０３の付加情報符号化部７０１、付加情報統合部７０２及び符号化情報統合部６０４以外の各構成部分の作用については実施の形態１と同一であるため、説明を省略する。

付加情報符号化部７０１は、付加情報受信部６０１から付加モード情報、付加情報及び符号化情報解析部６０２から伝送モード情報及び付加情報フラグが入力された場合、付加モード情報及び伝送モード情報の組み合わせに応じた伝送ビットレートにより、付加情報に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行い、符号化により得られた情報源符号（以下、「付加情報情報源符号」という）、伝送モード情報及び付加モード情報及び付加情報フラグを付加情報統合部７０２に出力する。また、付加情報符号化部７０１は、内部に情報を蓄積できるメモリを備える。

以下、本実施の形態における付加情報符号化部７０１の符号化処理を伝送モード情報及び付加モード情報の組み合わせに応じた９パターンに分け、具体的に説明する。ただし、パターン４、パターン７及びパターン８以外のパターンについては、リアルタイムフラグの値に関わらず、実施の形態１で説明した処理と同一であるため、説明を省略する。

（パターン４）
付加情報符号化部７０１は、付加情報受信部６０１から得られる付加モード情報がｂｉｔｒａｔｅ２’であり、符号化情報解析部６０２から得られる伝送モード情報がｂｉｔｒａｔｅ３であり、かつ、付加モード情報に含まれるリアルタイムフラグの値が１である場合には、ｂｉｔｒａｔｅ３が示す伝送ビットレートは、付加情報を符号化するために十分ではないと判断し、付加情報の符号化処理は行わず、付加モード情報、伝送モード情報及び付加情報フラグを付加情報統合部７０２に出力する（パターン４ａ）。また、付加情報符号化部７０１は、付加情報受信部６０１から得られる付加モード情報がｂｉｔｒａｔｅ２’であり、符号化情報解析部６０２から得られる伝送モード情報がｂｉｔｒａｔｅ３であり、かつ、付加モード情報に含まれるリアルタイムフラグの値が０である場合には、付加情報をｂｉｔｒａｔｅ２”が示す伝送ビットレートにより、ＣＥＬＰタイプの音声復号化方法を用いて符号化を行い、得られた付加情報情報源符号のうちのｂｉｔｒａｔｅ３”に相当する付加情報情報源符号の部分情報、伝送モード情報及び付加情報フラグを付加情報統合部７０２に出力する。また、付加情報符号化部７０１は、この場合、幾つのフレームに分割し、このフレーム中の付加情報がその何番目かを示すフレームインデックスを示す情報（フレームインデックス情報）を付加モード情報に加え、これを新たな付加モード情報として付加情報統合部７０２に出力する。（パターン４ｂ）

（パターン７）
付加情報符号化部７０１は、付加情報受信部６０１から得られる付加モード情報がｂｉｔｒａｔｅ１’であり、符号化情報解析部６０２から得られる伝送モード情報がｂｉｔｒａｔｅ３であり、かつ、付加モード情報に含まれるリアルタイムフラグの値が１である場合には、ｂｉｔｒａｔｅ３”が示す伝送ビットレートは、付加情報を符号化するために十分ではないと判断し、付加情報の符号化処理は行わず、付加モード情報、伝送モード情報及び付加情報フラグを付加情報統合部７０２に出力する（パターン７ａ）。また、付加情報符号化部７０１は、付加情報受信部６０１から得られる付加モード情報がｂｉｔｒａｔｅ１’であり、符号化情報解析部６０２から得られる伝送モード情報がｂｉｔｒａｔｅ３であり、かつ、付加モード情報に含まれるリアルタイムフラグの値が０である場合には、付加情報をｂｉｔｒａｔｅ１”が示す伝送ビットレートを用いて符号化を行い、得られた付加情報情報源符号のうちのｂｉｔｒａｔｅ３”に相当する付加情報情報源符号の部分情報、伝送モード情報及び付加情報フラグを付加情報統合部７０２に出力する。また、付加情報符号化部７０１は、この場合、幾つのフレームに分割し、このフレーム中の付加情報がその何番目かを示すフレームインデックスを示す情報（フレームインデックス情報）を付加モード情報に加え、これを新たな付加モード情報として付加情報統合部７０２に出力する（パターン７ｂ）。

（パターン８）
付加情報符号化部７０１は、付加情報受信部６０１から得られる付加モード情報がｂｉｔｒａｔｅ１’であり、符号化情報解析部６０２から得られる伝送モード情報がｂｉｔｒａｔｅ２であり、かつ、付加モード情報に含まれるリアルタイムフラグの値が１である場合には、ｂｉｔｒａｔｅ２”が示す伝送ビットレートは、付加情報を符号化するために十分ではないと判断し、付加情報の符号化処理は行わず、付加モード情報、伝送モード情報及び付加情報フラグを付加情報統合部７０２に出力する（パターン８ａ）。また、付加情報符号化部７０１は、付加情報受信部６０１から得られる付加モード情報がｂｉｔｒａｔｅ１’であり、符号化情報解析部６０２から得られる伝送モード情報がｂｉｔｒａｔｅ２であり、かつ、付加モード情報に含まれるリアルタイムフラグの値が０である場合には、付加情報をｂｉｔｒａｔｅ１”が示す伝送ビットレートを用いて符号化を行い、得られた付加情報情報源符号のうちのｂｉｔｒａｔｅ２”に相当する付加情報情報源符号の部分情報、伝送モード情報及び付加情報フラグを付加情報統合部７０２に出力する。また、付加情報符号化部７０１は、この場合、幾つのフレームに分割し、このフレーム中の付加情報がその何番目かを示すフレームインデックスを示す情報（フレームインデックス情報）を付加モード情報に加え、これを新たな付加モード情報として付加情報統合部７０２に出力する（パターン８ｂ）。

なお、パターン４ａ、４ｂ、７ａ、７ｂ、８ａ、８ｂにおいて、当該フレームで伝送しきれなかった付加情報情報源符号の残りの部分情報、並びに、その時点での付加モード情報、伝送モード情報及び付加情報フラグは、付加情報符号化部７０１内に備えられたメモリに蓄えられ、中継装置１０３への新たな付加情報の入力がなくなり次第、蓄えられた順通りに、逐次、付加情報統合部７０２に出力するものとする。

次に、本実施の形態における付加情報統合部７０２の作用について説明する。付加情報統合部７０２は、付加情報符号化部７０１から付加モード情報、付加情報情報源符号、伝送モード情報、付加情報フラグ及び符号化情報解析部６０２から各レイヤの情報源符号が入力された場合、付加モード情報及び伝送モード情報の組み合わせに応じて、各レイヤの情報源符号と付加情報情報源符号との統合処理を行い、得られた情報源符号、付加情報情報源符号、伝送モード情報、付加モード情報及び付加情報フラグを符号化情報統合部６０４に出力する。また、付加情報符号化部７０１から付加モード情報、付加情報情報源符号、伝送モード情報、付加情報フラグ及び符号化情報解析部６０２から各レイヤの情報源符号が入力されない場合には何も動作しない。

以下、本実施の形態における付加情報統合部７０２における統合処理を伝送モード情報及び付加モード情報の組み合わせに応じた９パターンに分け、具体的に説明する。ただし、パターン４、パターン７、及びパターン８以外のパターンについては、リアルタイムフラグの値に関わらず、実施の形態１で説明した処理と同一であるため、説明を省略する。

（パターン４）
付加情報統合部７０２は、付加情報符号化部７０１から得られる付加モード情報がｂｉｔｒａｔｅ２’であり、かつ伝送モード情報がｂｉｔｒａｔｅ３であり、かつ、付加モード情報に含まれるリアルタイムフラグの値が１である場合には、統合処理は行わず、基本レイヤ情報源符号、及び伝送モード情報を符号化情報統合部６０４に出力する。また、このとき付加情報統合部７０２は、０の値を代入した付加情報フラグを符号化情報統合部６０４に出力する（パターン４ａ）。また、付加情報統合部７０２は、付加情報符号化部７０１から得られる付加モード情報がｂｉｔｒａｔｅ２’であり、かつ伝送モード情報がｂｉｔｒａｔｅ３であり、かつ、付加モード情報に含まれるリアルタイムフラグの値が０である場合には、基本レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にｂｉｔｒａｔｅ０を代入し、付加モード情報にｂｉｔｒａｔｅ２”を代入し、付加情報情報源符号、付加モード情報、及び伝送モード情報を符号化情報統合部６０４に出力する。また、このとき付加情報統合部７０２は、１の値を代入付加情報フラグを符号化情報統合部６０４に出力する（パターン４ｂ）。

（パターン７）
付加情報統合部７０２は、付加情報符号化部７０１から得られる付加モード情報がｂｉｔｒａｔｅ１’であり、かつ伝送モード情報がｂｉｔｒａｔｅ３であり、かつ、付加モード情報に含まれるリアルタイムフラグの値が１である場合には、統合処理は行わず、基本レイヤ情報源符号、及び伝送モード情報を符号化情報統合部６０４に出力する。また、このとき付加情報統合部７０２は、０の値を代入した付加情報フラグを符号化情報統合部６０４に出力する（パターン７ａ）。また、付加情報統合部７０２は、付加情報符号化部７０１から得られる付加モード情報がｂｉｔｒａｔｅ１’であり、かつ伝送モード情報がｂｉｔｒａｔｅ３であり、かつ、付加モード情報に含まれるリアルタイムフラグの値が０である場合には、基本レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にｂｉｔｒａｔｅ０を代入し、付加モード情報にｂｉｔｒａｔｅ１”を代入し、付加情報情報源符号、付加モード情報、及び伝送モード情報を符号化情報統合部６０４に出力する。また、このとき付加情報統合部７０２は、１の値を代入した付加情報フラグを符号化情報統合部６０４に出力する（パターン７ｂ）。

（パターン８）
付加情報統合部７０２は、付加情報符号化部７０１から得られる付加モード情報がｂｉｔｒａｔｅ１’であり、かつ伝送モード情報がｂｉｔｒａｔｅ２であり、かつ、付加モード情報に含まれるリアルタイムフラグの値が１である場合には、統合処理は行わず、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、及び伝送モード情報を符号化情報統合部６０４に出力する。また、このとき付加情報統合部７０２は、０の値を代入した付加情報フラグを符号化情報統合部６０４に出力する（パターン８ａ）。また、付加情報統合部７０２は、付加情報符号化部７０１から得られる付加モード情報がｂｉｔｒａｔｅ１’であり、かつ伝送モード情報がｂｉｔｒａｔｅ２であり、かつ、付加モード情報に含まれるリアルタイムフラグの値が０である場合には、基本レイヤ情報源符号、及び第１拡張レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にｂｉｔｒａｔｅ０を代入し、付加モード情報にｂｉｔｒａｔｅ１”を代入し、付加情報情報源符号、付加モード情報、及び伝送モード情報を符号化情報統合部６０４に出力する。また、このとき付加情報統合部７０２は、１の値を代入した付加情報フラグを符号化情報統合部６０４に出力する（パターン８ｂ）。

符号化情報統合部６０４は、付加情報統合部７０２から伝送モード情報、付加モード情報、付加情報フラグ、及び各種の情報源符号が入力された場合、それらを統合した後、変換後符号化情報として制御スイッチ６０６に出力する。また、符号化情報統合部６０４は、付加情報統合部７０２から伝送モード情報、付加モード情報、付加情報フラグ、及び各種の情報源符号が入力されない場合には何も動作しない。

次に、本実施の形態における信号復号化装置１０５について説明する。なお、本実施の形態における信号復号化装置１０５の構成は図９と同一であり、付加情報復号化部９０６以外の作用は、上述した実施の形態１と同一であるため説明を省略する。

付加情報復号化部９０６は、内部に情報源符号を蓄積できるメモリを持ち、また、入力された情報源符号を、複数の種類の伝送ビットレートで復号化可能なマルチレート復号化手法を備える。本実施の形態では、符号化情報解析部９０１から得られる付加モード情報に応じて、予め定められた６種類の伝送ビットレートｂｉｔｒａｔｅ１”、ｂｉｔｒａｔｅ２”、ｂｉｔｒａｔｅ３”、ｂｉｔｒａｔｅ４”、ｂｉｔｒａｔｅ５”、ｂｉｔｒａｔｅ６”で復号化可能であるものとする。また、この６種類の伝送ビットレートの値は、付加情報符号化部７０１における例と同様に、ｂｉｔｒａｔｅ１、ｂｉｔｒａｔｅ２及びｂｉｔｒａｔｅ３を用いて上記式（１）のように表せる。

付加情報復号化部９０６は、制御スイッチ９１０がオン状態である場合、符号化情報解析部９０１から得られる付加モード情報に応じた伝送ビットレートにより、符号化情報解析部９０１から得られる付加情報情報源符号に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号（以下、「付加情報復号化信号」という）を加算部９１３に出力する。なお、付加情報復号化部９０６は、制御スイッチ９１０がオフ状態の場合には何も動作しない。

以下に、付加モード情報に応じた復号化方法を説明する。付加情報復号化部９０６は、符号化情報解析部９０１から得られる付加モード情報に含まれるリアルタイムフラグが１の場合は、付加モード情報（ｂｉｔｒａｔｅ１”〜ｂｉｔｒａｔｅ６”）が示す伝送ビットレートで付加情報、情報源を復号化し、得られた付加情報復号化信号を加算部９１３に出力する。また、付加情報復号化部９０６は、符号化情報解析部９０１から得られる付加モード情報に含まれるリアルタイムフラグが０の場合には、付加モード情報に含まれるフレームインデックス情報を参照し、複数のフレームに分割された付加情報情報源符号を全て受信するまでは、内部に備えるメモリに付加情報情報源符号を格納し、分割された付加情報情報源符号を全て受信した時点で、全ての付加情報情報源符号を付加モード情報（ｂｉｔｒａｔｅ１”〜ｂｉｔｒａｔｅ６”）が示す伝送ビットレートで付加情報、情報源を復号化し、得られた付加情報復号化信号を加算部９１３に出力する。

このように、本実施の形態によれば、伝送中の伝送モード情報が示す伝送ビットレートと付加情報を符号化する際の伝送ビットレートを比較し、付加情報の伝送ビットレートが符号化情報の伝送ビットレートよりも高い場合に、付加情報を複数のフレームに分割して符号化情報に付加し、信号復号化装置１０５に伝送することができる。

また、上述した説明は、伝送される符号化情報よりも付加情報を優先し、付加情報を分割して伝送する際に、全てのビットレートを付加情報に割り当てる場合における処理であるが、符号化情報の一部と分割した付加情報を組み合わせて伝送するという手法も、上述した説明と同様の処理をすることにより可能である。

また、上述した説明における分割手法の他、付加情報の伝送ビットレートを常にｂｉｔｒａｔｅ３”に固定し、分割して伝送する（付加情報符号化部７０１におけるパターン１、パターン２、及びパターン３が該当）という手法も可能である。

また、画像（動画、静止画）、文字情報等を付加情報として伝送する場合においても、これまで説明した手法を同様に適用することが可能である。ただし、画像情報、及び文字情報を付加情報とした場合、信号復号化装置１０５内にはそれぞれの付加情報源符号を復号化する手法、また復号化された付加情報を表示する機能、あるいは、情報の着信をユーザに知らせる機能等を有する必要がある。この時、付加情報復号化部９０６は、復号化した付加情報復号化信号を加算部９１３ではなく、適切な表示機能、通知機能を有する装置に出力することになる。付加情報が、音声信号でない場合（画像情報及び付加情報）の復号化装置のブロック図を図１０に示す。図１０は、図９と比較して、加算部９１３を削除した構成を採り、付加情報復号化部９０６の出力信号が加算部９１２の出力と加算されずに出力される。

（実施の形態３）
本発明の実施の形態３では、上述した実施の形態１及び実施の形態２において、付加情報を付加した際、符号化情報のレイヤ数の切り替わりに伴い発生すると考えられる異音を軽減する処理を追加する場合について説明する。なお、本実施の形態の全体的なシステムの構成は、実施の形態１で説明した図１と同様である。

本実施の形態では、信号符号化装置１０１から出力されるデータ構造を図１１に示すものとし、実施の形態１における付加情報フラグを拡張し、新たに付加処理状態情報（初期値は０）として割当てるものとする。付加処理状態情報（ＡＰＳＩ）の説明に関しては後述する。

以下、本実施の形態における中継装置１０３の作用について説明する。付加モード情報及び付加情報は、中継装置１０３に入力される。中継装置１０３は、付加モード情報及び付加情報が入力された場合は、伝送路Ａ１０２を介して伝送される符号化情報に対して、付加情報の付加処理を行い、得られる付加処理後の符号化情報（変換後符号化情報）を伝送路Ｂ１０４に送信する。中継装置１０３は、付加モード情報及び付加情報が入力されない場合は、伝送路Ａ１０２を介して伝送される符号化情報を伝送路Ｂ１０４へ出力する。

次に、本実施の形態における中継装置１０３の内部構成について説明する。ただし、中継装置１０３の構成自体は、実施の形態１の図６と同様であり、中継装置１０３における付加情報受信部６０１、付加処理部６０３の付加情報符号化部７０１、付加情報統合部７０２及び符号化情報統合部６０４以外の各構成部分の作用については実施の形態１と同一であるため、説明を省略する。

付加情報受信部６０１は、その内部に付加情報、及び付加モード情報を格納できるバッファ（内部バッファ）を備え、中継装置１０３に付加モード情報及び付加情報が入力された場合には、入力された時点から一定時間以内において、入力された付加モード情報と、値を１とした付加処理状態情報、とを付加処理部６０３に出力し、入力された付加情報を内部バッファに格納する。ここで、付加処理状態情報とは、「付加情報が入力されていない（値は０）」、「付加情報の入力開始から一定時間内である（値は１）」、「付加情報の入力開始から一定時間後である（値は２）」、「加情報の入力終了から一定時間内である（値は３）」、という４種類の状態を示す情報であり、デフォルト値は０とする。そして、付加情報受信部６０１は、中継装置１０３に付加モード情報及び付加情報が入力された場合、入力された時点から一定時間経過後に、値を２とした付加処理状態情報とともに、内部バッファに格納してある付加モード情報及び付加情報を格納した順に付加処理部６０３に出力する。また、付加情報受信部６０１は、内部バッファに格納してある付加情報を全て付加処理部６０３に出力した後、一定時間以内は、直前に内部バッファに格納されていた付加モード情報、及び値を３とした付加処理状態情報を付加処理部６０３に出力する。また、付加情報受信部６０１は、中継装置１０３に付加モード情報及び付加情報が入力されない場合は、付加処理部６０３には何も出力しない。

また、付加情報受信部６０１は、中継装置１０３に入力される付加モード情報及び付加情報を受信し、付加モード情報及び付加情報が入力されたか否かに応じて、制御スイッチ６０５、６０６のオン／オフ制御を行う。具体的には、付加情報受信部６０１は、中継装置１０３に付加モード情報及び付加情報が入力されてから一定時間以内の場合（付加処理状態情報の値が１）、あるいは内部バッファにまだ付加情報が格納されている場合（付加処理状態情報の値が２）、あるいは内部バッファが空になってから一定時間経過以内である場合（付加処理状態情報の値が３）には、制御スイッチ６０５を符号化情報解析部６０２側に接続し、制御スイッチ６０６を符号化情報統合部６０４側に接続する。また、付加情報受信部６０１は、中継装置１０３に付加モード情報及び付加情報が入力されない場合、あるいは内部バッファが空になってから一定時間経過した場合（付加処理状態情報の値が０）には、制御スイッチ６０５を制御スイッチ６０６側に接続し、制御スイッチ６０６を制御スイッチ６０５側に接続する。このように、中継装置１０３に付加情報が入力されるかどうかに応じて制御スイッチ６０５、６０６をオン／オフ制御することにより、中継装置１０３の動作が決定される。

付加処理部６０３は、符号化情報解析部６０２から、伝送モード情報、及び伝送モード情報に応じた各レイヤの情報源符号が入力され、また付加情報受信部６０１から付加モード情報及び付加処理状態情報が入力された場合には、伝送モード情報、付加モード情報及び付加処理状態情報の組み合わせに応じて、各レイヤの情報源符号に対して、付加情報の付加処理を行い、得られた情報源符号、伝送モード情報、付加モード情報及び付加処理状態情報を符号化情報統合部６０４に出力する。また、付加処理部６０３は、符号化情報解析部６０２から、伝送モード情報及び伝送モード情報に応じた各レイヤの情報源符号が入力されず、また付加情報受信部６０１から付加モード情報、及び付加処理状態情報が入力されない場合には、何も動作しない。

次に、図６の付加処理部６０３の構成について図１２を用いて説明する。付加処理部６０３は、付加情報符号化部１２０１と、付加情報統合部１２０２とから主に構成される。

付加情報符号化部１２０１は、付加情報受信部６０１から付加モード情報及び付加処理状態情報が入力され、符号化情報解析部６０２から伝送モード情報が入力された場合、付加モード情報、付加処理状態情報及び伝送モード情報の組み合わせに応じた伝送ビットレートにより、付加情報に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行い、符号化により得られた情報源符号（以下、「付加情報情報源符号」という）、伝送モード情報、付加モード情報、及び付加処理状態情報を付加情報統合部１２０２に出力する。なお、付加情報符号化部１２０１は、付加モード情報、付加処理状態情報、伝送モード情報が入力されない場合には何も動作しない。

付加情報符号化部１２０１は、入力される情報（信号）を複数の伝送ビットレートで符号化可能なマルチレート符号化方法を備える。本実施の形態では、付加情報受信部から得られる付加モード情報と符号化情報解析部６０２から得られる伝送モード情報との組み合わせに応じて、予め定められた６種類の伝送ビットレートｂｉｔｒａｔｅ１”、ｂｉｔｒａｔｅ２”、ｂｉｔｒａｔｅ３”、ｂｉｔｒａｔｅ４”、ｂｉｔｒａｔｅ５”、ｂｉｔｒａｔｅ６”の値を取り得るものとする。また、この６種類の伝送ビットレートの値は、ｂｉｔｒａｔｅ１、ｂｉｔｒａｔｅ２及びｂｉｔｒａｔｅ３を用いて上記式（１）のように表せる。

以下、付加情報符号化部１２０１における符号化処理について伝送モード情報、付加モード情報、及び付加処理状態情報の組み合わせに応じた９パターンに分け、具体的に説明する。

（パターン１）
付加情報符号化部１２０１は、付加情報受信部６０１から得られる付加モード情報がｂｉｔｒａｔｅ３’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がｂｉｔｒａｔｅ３であり、さらに付加情報受信部６０１から得られた付加処理状態情報の値が２である場合は、付加情報をｂｉｔｒａｔｅ３”が示す伝送ビットレートを用いて、ＣＥＬＰタイプの音声符号化方法により符号化を行い、得られた付加情報情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を付加情報統合部１２０２に出力する（パターン１ａ）。また、付加情報符号化部１２０１は、付加情報受信部６０１から得られる付加モード情報がｂｉｔｒａｔｅ３’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がｂｉｔｒａｔｅ３であり、さらに付加情報受信部６０１から得られる付加処理状態情報の値が１または３である場合は、付加モード情報、伝送モード情報、及び付加処理状態情報を付加情報統合部１２０２に出力する（パターン１ｂ）。

（パターン２）
付加情報符号化部１２０１は、付加情報受信部６０１から得られる付加モード情報がｂｉｔｒａｔｅ３’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がｂｉｔｒａｔｅ２であり、さらに付加情報受信部６０１から得られた付加処理状態情報の値が２である場合は、付加情報をｂｉｔｒａｔｅ５”が示す伝送ビットレートを用いて、ＣＥＬＰタイプの音声符号化方法により符号化を行い、得られた付加情報情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を付加情報統合部１２０２に出力する（パターン２ａ）。また、付加情報符号化部１２０１は、付加情報受信部６０１から得られる付加モード情報がｂｉｔｒａｔｅ３’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がｂｉｔｒａｔｅ２であり、さらに付加情報受信部６０１から得られる付加処理状態情報の値が１または３である場合は、付加モード情報、伝送モード情報、及び付加処理状態情報を付加情報統合部１２０２に出力する（パターン２ｂ）。

（パターン３）
付加情報符号化部１２０１は、付加情報受信部６０１から得られる付加モード情報がｂｉｔｒａｔｅ３’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がｂｉｔｒａｔｅ１であり、さらに付加情報受信部６０１から得られた付加処理状態情報の値が２である場合は、付加情報をｂｉｔｒａｔｅ６”が示す伝送ビットレートを用いて、ＣＥＬＰタイプの音声符号化方法により符号化を行い、得られた付加情報情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を付加情報統合部１２０２に出力する（パターン３ａ）。また、付加情報符号化部１２０１は、付加情報受信部６０１から得られる付加モード情報がｂｉｔｒａｔｅ３’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がｂｉｔｒａｔｅ１であり、さらに付加情報受信部６０１から得られる付加処理状態情報の値が１または３である場合は、付加モード情報、伝送モード情報、及び付加処理状態情報を付加情報統合部１２０２に出力する（パターン３ｂ）。

（パターン４）
付加情報符号化部１２０１は、付加情報受信部６０１から得られる付加モード情報がｂｉｔｒａｔｅ２’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がｂｉｔｒａｔｅ３である場合には、ｂｉｔｒａｔｅ３”が示す伝送ビットレートは、付加情報を符号化するために十分ではないと判断し、付加情報の符号化処理は行わず、付加モード情報、伝送モード情報、及び付加処理状態情報を付加情報統合部１２０２に出力する。

（パターン５）
付加情報符号化部１２０１は、付加情報受信部６０１から得られる付加モード情報がｂｉｔｒａｔｅ２’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がｂｉｔｒａｔｅ２であり、さらに付加情報受信部６０１から得られた付加処理状態情報の値が２である場合は、付加情報をｂｉｔｒａｔｅ２”が示す伝送ビットレートを用いて、ＣＥＬＰタイプの音声符号化方法により符号化を行い、得られた付加情報情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を付加情報統合部１２０２に出力する（パターン５ａ）。また、付加情報符号化部１２０１は、付加情報受信部６０１から得られる付加モード情報がｂｉｔｒａｔｅ２’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がｂｉｔｒａｔｅ２であり、さらに付加情報受信部６０１から得られる付加処理状態情報の値が１または３である場合は、付加モード情報、伝送モード情報、及び付加処理状態情報を付加情報統合部１２０２に出力する（パターン５ｂ）。

（パターン６）
付加情報符号化部１２０１は、付加情報受信部６０１から得られる付加モード情報がｂｉｔｒａｔｅ２’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がｂｉｔｒａｔｅ１であり、さらに付加情報受信部６０１から付加情報が入力された場合は、付加情報をｂｉｔｒａｔｅ４”が示す伝送ビットレートを用いて、ＣＥＬＰタイプの音声符号化方法により符号化を行い、得られた付加情報情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を付加情報統合部１２０２に出力する（パターン６ａ）。また、付加情報符号化部１２０１は、付加情報受信部６０１から得られる付加モード情報がｂｉｔｒａｔｅ２’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がｂｉｔｒａｔｅ１であり、さらに付加情報受信部６０１から得られる付加処理状態情報の値が１または３である場合は、付加モード情報、伝送モード情報、及び付加処理状態情報を付加情報統合部１２０２に出力する（パターン６ｂ）。

（パターン７）
付加情報符号化部１２０１は、付加情報受信部６０１から得られる付加モード情報がｂｉｔｒａｔｅ１’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がｂｉｔｒａｔｅ３である場合には、ｂｉｔｒａｔｅ３”が示す伝送ビットレートは、付加情報を符号化するために十分ではないと判断し、付加情報の符号化処理は行わず、付加モード情報、伝送モード情報、及び付加処理状態情報を付加情報統合部１２０２に出力する。

（パターン８）
付加情報符号化部１２０１は、付加情報受信部６０１から得られる付加モード情報がｂｉｔｒａｔｅ１’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がｂｉｔｒａｔｅ２である場合には、ｂｉｔｒａｔｅ２”が示す伝送ビットレートは、付加情報を符号化するために十分ではないと判断し、付加情報の符号化処理は行わず、付加モード情報、伝送モード情報、及び付加処理状態情報を付加情報統合部１２０２に出力する。

（パターン９）
付加情報符号化部１２０１は、付加情報受信部６０１から得られる付加モード情報がｂｉｔｒａｔｅ１’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がｂｉｔｒａｔｅ１であり、さらに付加情報受信部６０１から得られる付加処理状態情報の値が２である場合は、付加情報をｂｉｔｒａｔｅ１”が示す伝送ビットレートを用いて、ＣＥＬＰタイプの音声符号化方法により符号化を行い、得られた付加情報情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を付加情報統合部１２０２に出力する（パターン９ａ）。また、付加情報符号化部１２０１は、付加情報受信部６０１から得られる付加モード情報がｂｉｔｒａｔｅ１’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がｂｉｔｒａｔｅ１であり、さらに付加情報受信部６０１から得られる付加処理状態情報の値が１または３である場合は、付加モード情報、伝送モード情報、及び付加処理状態情報を付加情報統合部１２０２に出力する（パターン９ｂ）。

以上が、付加情報符号化部１２０１における符号化処理についての説明である。

付加情報統合部１２０２は、付加情報符号化部１２０１から付加モード情報、伝送モード情報、付加処理状態情報、及び符号化情報解析部６０２から各レイヤの情報源符号が入力された場合、付加モード情報、伝送モード情報、及び付加処理状態情報の組み合わせに応じて、各レイヤの情報源符号と付加情報情報源符号との統合処理を行い、得られた各情報源符号、伝送モード情報、付加モード情報、及び付加処理状態情報を符号化情報統合部６０４に出力する。また、付加情報符号化部１２０１から付加モード情報、伝送モード情報、付加処理状態情報及び符号化情報解析部６０２から各レイヤの情報源情報源符号が入力されない場合には何も動作しない。

以下、付加情報統合部１２０２における統合処理について伝送モード情報、付加モード情報、及び付加処理状態情報の組み合わせに応じた９パターンに分け、具体的に説明する。

（パターン１）
付加情報統合部１２０２は、付加情報符号化部１２０１から得られる付加モード情報がｂｉｔｒａｔｅ３’であり、かつ伝送モード情報がｂｉｔｒａｔｅ３であり、かつ付加処理状態情報の値が２である場合には、基本レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にｂｉｔｒａｔｅ０を代入し、付加モード情報にｂｉｔｒａｔｅ３”を代入し、付加情報情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を符号化情報統合部６０４に出力する（パターン１ａ）。また、付加情報統合部１２０２は、付加情報符号化部１２０１から得られる付加モード情報がｂｉｔｒａｔｅ３’であり、かつ伝送モード情報がｂｉｔｒａｔｅ３であり、かつ付加処理状態情報の値が１または３である場合には、基本レイヤ情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を符号化情報統合部６０４に出力する（パターン１ｂ）。

（パターン２）
付加情報統合部１２０２は、付加情報符号化部１２０１から得られる付加モード情報がｂｉｔｒａｔｅ３’であり、かつ伝送モード情報がｂｉｔｒａｔｅ２であり、かつ付加処理状態情報の値が２である場合には、第１拡張レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にｂｉｔｒａｔｅ３を代入し、付加モード情報にｂｉｔｒａｔｅ５”を代入し、基本レイヤ情報源符号、付加情報情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を符号化情報統合部６０４に出力する（パターン２ａ）。また、付加情報統合部１２０２は、付加情報符号化部１２０１から得られる付加モード情報がｂｉｔｒａｔｅ３’であり、かつ伝送モード情報がｂｉｔｒａｔｅ２であり、かつ付加処理状態情報の値が１または３である場合には、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を符号化情報統合部６０４に出力する（パターン２ｂ）。

（パターン３）
付加情報統合部１２０２は、付加情報符号化部１２０１から得られる付加モード情報がｂｉｔｒａｔｅ３’であり、かつ伝送モード情報がｂｉｔｒａｔｅ１であり、かつ付加処理状態情報の値が２である場合には、第２拡張レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にｂｉｔｒａｔｅ２を代入し、付加モード情報にｂｉｔｒａｔｅ６”を代入し、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、付加情報情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を符号化情報統合部６０４に出力する（パターン３ａ）。また、付加情報統合部１２０２は、付加情報符号化部１２０１から得られる付加モード情報がｂｉｔｒａｔｅ３’であり、かつ伝送モード情報がｂｉｔｒａｔｅ１であり、かつ付加処理状態情報の値が１または３である場合には、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、第２拡張レイヤ情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を符号化情報統合部６０４に出力する（パターン３ｂ）。

（パターン４）
付加情報統合部１２０２は、付加情報符号化部１２０１から得られる付加モード情報がｂｉｔｒａｔｅ２’であり、かつ伝送モード情報がｂｉｔｒａｔｅ３である場合には、統合処理は行わず、基本レイヤ情報源符号、伝送モード情報、及び付加処理状態情報を符号化情報統合部６０４に出力する。

（パターン５）
付加情報統合部１２０２は、付加情報符号化部１２０１から得られる付加モード情報がｂｉｔｒａｔｅ２’であり、かつ伝送モード情報がｂｉｔｒａｔｅ２であり、かつ付加処理状態情報の値が２である場合には、基本レイヤ情報源符号、及び第１拡張レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にｂｉｔｒａｔｅ０を代入し、付加モード情報にｂｉｔｒａｔｅ２”を代入し、付加情報情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を符号化情報統合部６０４に出力する（パターン５ａ）。また、付加情報統合部１２０２は、付加情報符号化部１２０１から得られる付加モード情報がｂｉｔｒａｔｅ２’であり、かつ伝送モード情報がｂｉｔｒａｔｅ２であり、かつ付加処理状態情報の値が１または３である場合には、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を符号化情報統合部６０４に出力する（パターン５ｂ）。

（パターン６）
付加情報統合部１２０２は、付加情報符号化部１２０１から得られる付加モード情報がｂｉｔｒａｔｅ２’であり、かつ伝送モード情報がｂｉｔｒａｔｅ１であり、かつ付加処理状態情報の値が２である場合には、第１拡張レイヤ情報源符号、及び第２拡張レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にｂｉｔｒａｔｅ３を代入し、付加モード情報にｂｉｔｒａｔｅ４”を代入し、基本レイヤ情報源符号、付加情報情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を符号化情報統合部６０４に出力する（パターン６ａ）。また、付加情報統合部１２０２は、付加情報符号化部１２０１から得られる付加モード情報がｂｉｔｒａｔｅ２’であり、かつ伝送モード情報がｂｉｔｒａｔｅ１であり、かつ付加処理状態情報の値が１または３である場合には、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、第２拡張レイヤ情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を符号化情報統合部６０４に出力する（パターン６ｂ）。

（パターン７）
付加情報統合部１２０２は、付加情報符号化部１２０１から得られる付加モード情報がｂｉｔｒａｔｅ１’であり、かつ伝送モード情報がｂｉｔｒａｔｅ３である場合には、統合処理は行わず、基本レイヤ情報源符号、伝送モード情報、及び付加処理状態情報を符号化情報統合部６０４に出力する。

（パターン８）
付加情報統合部１２０２は、付加情報符号化部１２０１から得られる付加モード情報がｂｉｔｒａｔｅ１’であり、かつ伝送モード情報がｂｉｔｒａｔｅ２である場合には、統合処理は行わず、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、伝送モード情報、及び付加処理状態情報を符号化情報統合部６０４に出力する。

（パターン９）
付加情報統合部１２０２は、付加情報符号化部１２０１から得られる付加モード情報がｂｉｔｒａｔｅ１’であり、かつ伝送モード情報がｂｉｔｒａｔｅ１であり、かつ付加処理状態情報の値が２である場合には、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、及び第２拡張レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にｂｉｔｒａｔｅ０を代入し、付加モード情報にｂｉｔｒａｔｅ１”を代入し、付加情報情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を符号化情報統合部６０４に出力する（パターン９ａ）。また、付加情報統合部１２０２は、付加情報符号化部１２０１から得られる付加モード情報がｂｉｔｒａｔｅ１’であり、かつ伝送モード情報がｂｉｔｒａｔｅ１であり、かつ付加処理状態情報の値が１または３である場合には、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、第２拡張レイヤ情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を符号化情報統合部６０４に出力する（パターン９ｂ）。

以上が、付加情報統合部１２０２における統合処理についての説明である。

符号化情報統合部６０４は、付加情報統合部１２０２から伝送モード情報、付加モード情報、付加処理状態情報、及び各種の情報源符号が入力された場合、それらを統合した後、得られた符号化情報を、変換後符号化情報として制御スイッチ６０６に出力する。また、符号化情報統合部６０４は、付加情報統合部１２０２から伝送モード情報、付加モード情報、及び各種の情報源符号が入力されない場合には何も動作しない。

また、この時、符号化情報統合部６０４から出力される符号化情報のデータ構造（ビットストリーム）は、付加情報統合部１２０２におけるパターンに応じて、それぞれ図１３中の（ａ）〜（ｏ）のようなデータ構造となる。

次に、本実施の形態における信号復号化装置１０５の構成について図１４を用いて説明する。信号復号化装置１０５は、符号化情報解析部１４０１と、復号化動作制御部１４０２と、基本レイヤ復号化部１４０３と、第１拡張レイヤ復号化部１４０４と、第２拡張レイヤ復号化部１４０５と、付加情報復号化部１４０６と、制御スイッチ１４０７〜１４１０と、利得調整部１４１１〜１４１３と、加算部１４１４〜１４１６とから主に構成される。

符号化情報は、符号化情報解析部１４０１に入力される。符号化情報解析部１４０１は、入力された符号化情報中の付加処理状態情報の値が２である場合は、符号化情報を伝送モード情報、付加モード情報、各レイヤの情報源符号、付加情報情報源符号、及び付加処理状態情報に分離し、得られた伝送モード情報、付加モード情報、各レイヤの情報源符号、及び付加処理状態情報を復号化動作制御部１４０２に出力し、付加モード情報、及び付加情報情報源符号を付加情報復号化部１４０６に出力する。また、符号化情報解析部１４０１は、入力された符号化情報中の付加処理状態情報の値が０である場合は、符号化情報を伝送モード情報、各レイヤの情報源符号、及び付加処理状態情報に分離し、得られた伝送モード情報、各レイヤの情報源符号、及び付加処理状態情報を復号化動作制御部１４０２に出力する。また、符号化情報解析部１４０１は、入力された符号化情報の中の付加処理状態情報の値が１または３である場合は、符号化情報を伝送モード情報、付加モード情報、各レイヤの情報源符号、及び付加処理状態情報に分離し、得られた伝送モード情報、付加モード情報、各レイヤの情報源符号、及び付加処理状態情報を復号化動作制御部１４０２に出力する。また、符号化情報解析部１４０１は、符号化情報の解析結果に応じて制御スイッチ１４１０のオン／オフ状態の制御を行う。具体的には、符号化情報解析部１４０１は、入力された符号化情報中の付加処理状態情報の値が２でない場合は制御スイッチ１４１０をオフ状態にし、入力された符号化情報中の付加処理状態情報の値が２である場合は制御スイッチ１４１０１オン状態にする。

復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる伝送モード情報、付加モード情報、及び付加処理状態情報に応じて、制御スイッチ１４０７〜１４０９の状態の制御、及び利得調整部１４１１〜１４１３の制御（フェードイン／フェードアウト／オフ）を行い、また各レイヤ情報源符号を、基本レイヤ復号化部１４０３、第１拡張レイヤ復号化部１４０４、及び第２拡張レイヤ復号化部１４０５に出力する。

復号化動作制御部１４０２の処理は、通常の復号化処理、フェードアウト処理、フェードイン処理の三パターンに大きく分けられる。ここでは各パターン別にそれぞれの処理を詳細に説明する。

（通常の復号化処理、付加処理状態情報の値が０あるいは２の時）
復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる付加処理状態情報の値が０または２であり、かつ符号化情報解析部１４０１から得られる伝送モード情報がｂｉｔｒａｔｅ０である場合は、何も動作しない。

復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる付加処理状態情報の値が０または２であり、かつ符号化情報解析部１４０１から得られる伝送モード情報がｂｉｔｒａｔｅ３である場合は、制御スイッチ１４０７をオン状態にし、制御スイッチ１４０８、１４０９をオフ状態にし、また、利得調整部１４１１〜１４１３を全てオフ状態にし、基本レイヤ復号化部１４０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部１４０４、及び第２拡張レイヤ復号化部１４０５には何も出力しない。

復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる付加処理状態情報の値が０または２であり、かつ符号化情報解析部１４０１から得られる伝送モード情報がｂｉｔｒａｔｅ２である場合は、制御スイッチ１４０７、１４０８をオン状態にし、制御スイッチ１４０９をオフ状態にし、また、利得調整部１４１１〜１４１３を全てオフ状態にし、基本レイヤ復号化部１４０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部１４０４に第１拡張レイヤ情報源符号を出力し、第２拡張レイヤ復号化部１４０５には何も出力しない。

復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる付加処理状態情報の値が０または２であり、かつ符号化情報解析部１４０１から得られる伝送モード情報がｂｉｔｒａｔｅ１である場合は、制御スイッチ１４０７〜１４０９を全てオン状態にし、基本レイヤ復号化部１４０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部１４０４に第１拡張レイヤ情報源符号を出力し、第２拡張レイヤ復号化部１４０５に第２拡張レイヤ情報源符号を出力する。

（フェードアウト処理＝付加処理開始時、付加処理状態情報の値が１の時）
復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる付加処理状態情報の値が１であり、かつ符号化情報解析部１４０１から得られる伝送モード情報がｂｉｔｒａｔｅ３であり、かつ符号化情報解析部１４０１から得られる付加モード情報がｂｉｔｒａｔｅ３”である場合は、制御スイッチ１４０７をオン状態にし、制御スイッチ１４０８、１４０９をオフ状態にし、また、利得調整部１４１１をフェードアウト状態にし、利得調整部１４１２、１４１３をオフ状態にし、基本レイヤ復号化部１４０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部１４０４、及び第２拡張レイヤ復号化部１４０５には何も出力しない。

復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる付加処理状態情報の値が１であり、かつ符号化情報解析部１４０１から得られる伝送モード情報がｂｉｔｒａｔｅ２であり、かつ符号化情報解析部１４０１から得られる付加モード情報がｂｉｔｒａｔｅ５”である場合は、制御スイッチ１４０７、１４０８をオン状態にし、制御スイッチ１４０９をオフ状態にし、また、利得調整部１４１２をフェードアウト状態にし、利得調整部１４１１、１４１３をオフ状態にし、基本レイヤ復号化部１４０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部１４０４に第１拡張レイヤ情報源符号を出力し、第２拡張レイヤ復号化部１４０５には何も出力しない。

復号化動作制御部１４０２は、特号化情報解析部１４０１から得られる付加処理状態情報の値が１であり、かつ符号化情報解析部１４０１から得られる伝送モード情報がｂｉｔｒａｔｅ２であり、かつ符号化情報解析部１４０１から得られる付加モード情報がｂｉｔｒａｔｅ２”である場合は、制御スイッチ１４０７、１４０８をオン状態にし、制御スイッチ１４０９をオフ状態にし、また、利得調整部１４１１、１４１２をフェードアウト状態にし、利得調整部１４１３をオフ状態にし、基本レイヤ復号化部１４０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部１４０４に第１拡張レイヤ情報源符号を出力し、第２拡張レイヤ復号化部１４０５には何も出力しない。

復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる付加処理状態情報の値が１であり、かつ符号化情報解析部１４０１から得られる伝送モード情報がｂｉｔｒａｔｅ１であり、かつ符号化情報解析部１４０１から得られる付加モード情報がｂｉｔｒａｔｅ６”である場合は、制御スイッチ１４０７〜１４０９をオン状態にし、また、利得調整部１４１３をフェードアウト状態にし、利得調整部１４１１、１４１２をオフ状態にし、基本レイヤ復号化部１４０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部１４０４に第１拡張レイヤ情報源符号を出力し、第２拡張レイヤ復号化部１４０５に第２拡張レイヤ情報源符号を出力する。

復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる付加処理状態情報の値が１であり、かつ符号化情報解析部１４０１から得られる伝送モード情報がｂｉｔｒａｔｅ１であり、かつ符号化情報解析部１４０１から得られる付加モード情報がｂｉｔｒａｔｅ４”である場合は、制御スイッチ１４０７〜１４０９をオン状態にし、また、利得調整部１４１２、１４１３をフェードアウト状態にし、利得調整部１４１１をオフ状態にし、基本レイヤ復号化部１４０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部１４０４に第１拡張レイヤ情報源符号を出力し、第２拡張レイヤ復号化部１４０５に第２拡張レイヤ情報源符号を出力する。

復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる付加処理状態情報の値が１であり、かつ符号化情報解析部１４０１から得られる伝送モード情報がｂｉｔｒａｔｅ１であり、かつ符号化情報解析部１４０１から得られる付加モード情報がｂｉｔｒａｔｅ１”である場合は、制御スイッチ１４０７〜１４０９をオン状態にし、また、利得調整部１４１１〜１４１３をフェードアウト状態にし、基本レイヤ復号化部１４０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部１４０４に第１拡張レイヤ情報源符号を出力し、第２拡張レイヤ復号化部１４０５に第２拡張レイヤ情報源符号を出力する。

（フェードイン処理＝付加処理終了時、付加処理状態情報の値が３の時）
復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる付加処理状態情報の値が３であり、かつ符号化情報解析部１４０１から得られる伝送モード情報がｂｉｔｒａｔｅ３であり、かつ符号化情報解析部１４０１から得られる付加モード情報がｂｉｔｒａｔｅ３”である場合は、制御スイッチ１４０７をオン状態にし、制御スイッチ１４０８、１４０９をオフ状態にし、また、利得調整部１４１１をフェードイン状態にし、利得調整部１４１２、１４１３をオフ状態にし、基本レイヤ復号化部１４０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部１４０４、及び第２拡張レイヤ復号化部１４０５には何も出力しない。

復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる付加処理状態情報の値が１であり、かつ符号化情報解析部１４０１から得られる伝送モード情報がｂｉｔｒａｔｅ２であり、かつ符号化情報解析部１４０１から得られる付加モード情報がｂｉｔｒａｔｅ５”である場合は、制御スイッチ１４０７、１４０８をオン状態にし、制御スイッチ１４０９をオフ状態にし、また、利得調整部１４１２をフェードイン状態にし、利得調整部１４１１、１４１３をオフ状態にし、基本レイヤ復号化部１４０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部１４０４に第１拡張レイヤ情報源符号を出力し、第２拡張レイヤ復号化部１４０５には何も出力しない。

復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる付加処理状態情報の値が１であり、かつ符号化情報解析部１４０１から得られる伝送モード情報がｂｉｔｒａｔｅ２であり、かつ符号化情報解析部１４０１から得られる付加モード情報がｂｉｔｒａｔｅ２”である場合は、制御スイッチ１４０７、１４０８をオン状態にし、制御スイッチ１４０９をオフ状態にし、また、利得調整部１４１１、１４１２をフェードイン状態にし、利得調整部１４１３をオフ状態にし、基本レイヤ復号化部１４０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部１４０４に第１拡張レイヤ情報源符号を出力し、第２拡張レイヤ復号化部１４０５には何も出力しない。

復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる付加処理状態情報の値が１であり、かつ符号化情報解析部１４０１から得られる伝送モード情報がｂｉｔｒａｔｅ１であり、かつ符号化情報解析部１４０１から得られる付加モード情報がｂｉｔｒａｔｅ６”である場合は、制御スイッチ１４０７〜１４０９をオン状態にし、また、利得調整部１４１３をフェードイン状態にし、利得調整部１４１１、１４１２をオフ状態にし、基本レイヤ復号化部１４０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部１４０４に第１拡張レイヤ情報源符号を出力し、第２拡張レイヤ復号化部１４０５に第２拡張レイヤ情報源符号を出力する。

復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる付加処理状態情報の値が１であり、かつ符号化情報解析部１４０１から得られる伝送モード情報がｂｉｔｒａｔｅ１であり、かつ符号化情報解析部１４０１から得られる付加モード情報がｂｉｔｒａｔｅ４”である場合は、制御スイッチ１４０７〜１４０９をオン状態にし、また、利得調整部１４１２、１４１３をフェードイン状態にし、利得調整部１４１１をオフ状態にし、基本レイヤ復号化部１４０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部１４０４に第１拡張レイヤ情報源符号を出力し、第２拡張レイヤ復号化部１４０５に第２拡張レイヤ情報源符号を出力する。

復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる付加処理状態情報の値が１であり、かつ符号化情報解析部１４０１から得られる伝送モード情報がｂｉｔｒａｔｅ１であり、かつ符号化情報解析部１４０１から得られる付加モード情報がｂｉｔｒａｔｅ１”である場合は、制御スイッチ１４０７〜１４０９をオン状態にし、また、利得調整部１４１１〜１４１３をフェードイン状態にし、基本レイヤ復号化部１４０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部１４０４に第１拡張レイヤ情報源符号を出力し、第２拡張レイヤ復号化部１４０５に第２拡張レイヤ情報源符号を出力する。

基本レイヤ復号化部１４０３、第１拡張レイヤ復号化部１４０４、及び第２拡張レイヤ復号化部１４０５は、それぞれ上述した基本レイヤ復号化部９０３、第１拡張レイヤ復号化部９０４、及び第２拡張レイヤ復号化部９０５の構成と同じであるため、説明は省略する。

利得調整部１４１１は、基本レイヤ復号化部１４０３から基本レイヤ復号化信号が入力される。また、利得調整部１４１１は、復号化動作制御部１４０２によりフェードアウト／フェードイン／オフ状態が制御される。

利得調整部１４１１は、復号化動作制御部１４０２によりオフ状態に制御された場合は、基本レイヤ復号化部１４０３から得られる基本レイヤ復号化信号をそのまま加算部１４１５に出力する。また、利得調整部１４１１は、復号化動作制御部１４０２によりフェードアウト状態に制御された場合は、以下の式（２）により、基本レイヤ復号化部１４０３から得られる基本レイヤ復号化信号に対して減衰処理を行い、得られた信号を加算部１４１５に出力する。

ここで、Ｎは中継装置１０３において、付加処理を遅延させる一定時間及び１フレームにおけるサンプル数より定められる値であり、Ｘｂａｓｅ_ｉは基本レイヤ復号化信号であり、Ｘｂａｓｅ’_ｉは減衰後の復号化信号である。

また、利得調整部１４１１は、復号化動作制御部１４０２によりフェードイン状態に制御された場合は、以下の式（３）により、基本レイヤ復号化部１４０３から得られる基本レイヤ復号化信号に対して増幅処理を行い、得られた信号を加算部１４１５に出力する。

ここで、上記式（２）と同様に、Ｎは中継装置１０３において、付加処理を遅延させる一定時間及び１フレームにおけるサンプル数より定められる値であり、Ｘｂａｓｅ_ｉは基本レイヤ復号化信号であり、Ｘｂａｓｅ”_ｉは増幅後の復号化信号である。

利得調整部１４１２は、利得調整部１４１１において、入力信号を第１拡張レイヤ復号化信号に置き換える以外は利得調整部１４１１の構成と同様であり、説明は省略する。また利得調整部１４１３は、利得調整部１４１１において、入力信号を第２拡張レイヤ復号化信号に置き換える以外は利得調整部１４１１の構成と同様であり、説明は省略する。

付加情報復号化部１４０６の構成は、上述した付加情報復号化部９０６と同じであり、ここでは説明は省略する。

加算部１４１４は、制御スイッチ１４０８、１４０９がオン状態である場合、利得調整部１４１３から出力された第２拡張レイヤ復号化信号と利得調整部１４１２から出力された第１拡張レイヤ復号化信号とを加算し、加算後の信号を加算部１４１５に出力する。また、加算部１４１４は、制御スイッチ１４０９がオフ状態であり、かつ、制御スイッチ１４０８がオン状態である場合、利得調整部１４１２から出力された第１拡張レイヤ復号化信号を加算部１４１５に出力する。なお、加算部１４１４は、制御スイッチ１４０８、１４０９がオフ状態である場合、何も動作しない。

加算部１４１５は、制御スイッチ１４０７、１４０８がオン状態である場合、利得調整部１４１１から出力された基本レイヤ復号化信号と加算部１４１４の出力信号とを加算し、加算後の信号を加算部１４１６に出力する。また、加算部１４１５は、制御スイッチ１４０７がオン状態であり、制御スイッチ１４０８がオフ状態である場合、利得調整部１４１１から出力された基本レイヤ復号化信号を加算部１４１６に出力する。また、加算部１４１５は、制御スイッチ１４０７、１４０８がオフ状態である場合、何も動作しない。

加算部１４１６は、制御スイッチ１４０７、１４１０がオン状態である場合、加算部１４１５の出力信号と付加情報復号化部１４０６から得られる付加情報復号化信号とを加算し、加算後の信号を出力信号として出力する。また、加算部１４１６は、制御スイッチ１４０７がオン状態であり、制御スイッチ１４１０がオフ状態である場合、加算部１４１５の出力信号を出力する。また、加算部１４１６は、制御スイッチ１４０７がオフ状態であり、制御スイッチ１４１０がオン状態である場合、付加情報復号化部１４０６から得られる付加情報復号化信号を出力信号として出力する。また、加算部１４１６は、制御スイッチ１４０７、１４１０がオフ状態である場合、何も動作しない。

以上が、本実施の形態における信号復号化装置１０５の内部構成の説明である。

このように、本実施の形態によれば、中継装置に付加情報が入力された時点から一定時間遅延をさせて付加処理を行い、信号復号化装置において各レイヤの復号化信号に対して減衰・増幅処理を行うことにより、信号符号化装置から伝送される音声・楽音信号に付加情報を加えることによって発生しうる復号化信号の異音を軽減することができる。

（実施の形態４）
上記実施の形態１では、中継装置に入力される付加情報として、即時性の高い地域災害情報などを例に挙げ、付加情報が入力され、符号化装置側から伝送されてきた音声情報と付加情報の両方を同時に送ることができないような場合（付加情報符号化部７０１におけるパターン１、パターン５及びパターン９）は、付加情報を優先するような形態を説明した。しかし、緊急性がないような付加情報を付加する場合には、上述した処理ではなく、逆に音声情報を優先すべきである。

そこで、本発明の実施の形態４では、中継装置への入力として、付加情報、付加モード情報の他に、音声情報と付加情報の優先度を示す優先度情報を加え、この優先度情報に基づいて音声情報あるいは付加情報のどちらかを選択して伝送する場合について説明する。なお、以下においては、付加情報として、音声・楽音信号を対象とした場合について説明する。

本実施の形態における全体的なシステムの構成を図１５に示す。中継装置１５０１は、付加モード情報、付加情報及び優先度情報が入力された場合には、伝送路Ａ１０２を介して伝送される符号化情報に付加情報を付加する処理を行い、付加処理後の符号化情報（以下、「変換後符号化情報」という）を伝送路Ｂ１０４に送信する。なお、中継装置１５０１は、付加モード情報、付加情報及び優先度情報が入力されない場合には、伝送路Ａ１０２を介して伝送される符号化情報を伝送路Ｂ１０４へ出力する。ここで、優先度情報とは、音声情報と付加情報の優先度を示す「０．０」から「５．０」までの数値であり、「０．０」に近いほど音声情報を優先し、「５．０」に近いほど付加情報を優先することを示す。

次に、本実施の形態の中継装置１５０１の構成について図１６を用いて説明する。なお、本実施の形態において、中継装置１５０１以外の構成は、実施の形態１における図１の構成と同様であり、説明を省略する。

中継装置１５０１は、付加情報受信部１６０１と、符号化情報解析部１６０２と、付加処理部１６０３と、符号化情報統合部１６０４と、制御スイッチ１６０５、１６０６とから主に構成される。

付加モード情報、付加情報及び優先度情報は、付加情報受信部１６０１に入力される。

付加情報受信部１６０１は、付加モード情報、付加情報及び優先度情報が入力されたか否かに応じて、制御スイッチ１６０５、１６０６のオン／オフ制御を行う。具体的には、付加情報受信部１６０１は、中継装置１５０１に付加モード情報、付加情報及び優先度情報が入力された場合には、制御スイッチ１６０５を符号化情報解析部１６０２側に接続し、制御スイッチ１６０６を符号化情報統合部１６０４側に接続する。また、付加情報受信部１６０１は、中継装置１５０１に付加モード情報、付加情報及び優先度情報が入力されない場合には、制御スイッチ１６０５を制御スイッチ１６０６側に接続し、制御スイッチ１６０６を制御スイッチ１６０５側に接続する。このように、中継装置１５０１に付加情報が入力されるかどうかに応じて制御スイッチ１６０５、１６０６をオン／オフ制御することにより、中継装置１５０１の動作が決定される。また、付加情報受信部１６０１は、中継装置１５０１に付加モード情報、付加情報及び優先度情報が入力された場合には、入力された付加モード情報、付加情報及び優先度情報を付加処理部１６０３に出力する。また、付加情報受信部１６０１は、中継装置１５０１に付加モード情報、付加情報及び優先度情報が入力されない場合は、付加処理部１６０３には何も出力しない。

符号化情報解析部１６０２の構成は、上記実施の形態１における符号化情報解析部６０２と同じであるため、ここでは説明は省略する。

付加処理部１６０３は、符号化情報解析部１６０２から、伝送モード情報、付加情報フラグ及び伝送モード情報に応じた各レイヤの情報源符号が入力され、また付加情報受信部１６０１から付加モード情報、付加情報及び優先度情報が入力された場合には、まず優先度情報から、音声情報と付加情報のどちらを優先するかを意味する優先モード情報を決定し、伝送モード情報、付加モード情報及び優先モード情報の組み合わせに応じて、各レイヤの情報源符号に対して、付加情報の付加処理を行い、得られた情報源符号、伝送モード情報、付加モード情報、付加情報フラグ及び優先モード情報を符号化情報統合部１６０４に出力する。また、付加処理部１６０３は、符号化情報解析部１６０２から、伝送モード情報、付加情報フラグ及び伝送モード情報に応じた各レイヤの情報源符号が入力されず、また付加情報受信部１６０１から付加モード情報、付加情報及び優先度情報が入力されない場合には、何も動作しない。

符号化情報統合部１６０４は、付加処理部１６０３から伝送モード情報、付加モード情報、付加情報フラグ及び各種の情報源符号が入力された場合、それらを統合した後、変換後符号化情報として制御スイッチ１６０６に出力する。また、符号化情報統合部１６０４は、付加処理部１６０３から伝送モード情報、付加モード情報、付加情報フラグ及び各種の情報源符号が入力されない場合には何も動作しない。

以上が、図１５の中継装置１５０１の構成についての説明である。

次に、図１６の付加処理部１６０３の構成について図１７を用いて説明する。付加処理部１６０３は、付加情報符号化部１７０１と、付加情報統合部１７０２と、優先モード情報決定部１７０３とから主に構成される。

優先モード情報決定部１７０３は、付加情報受信部１６０１から優先度情報が入力され、優先度情報Ｐと、優先モード情報決定閾値Ｐ_ｔｈｒを比較し、優先モード情報Ｐ_ｍｏｄｅを決定し、これを付加情報符号化部１７０１に出力する。ここで優先モード情報決定閾値Ｐ_ｔｈｒは、０．０〜５．０までの予め定められた値とする。また、この優先モード情報決定閾値Ｐ_ｔｈｒは、伝送モード情報、付加モード情報、付加情報のカテゴリ、付加情報が音声信号であった場合に付加情報中に含まれるキーワード、付加情報の平均利得、韻律特性、またユーザ（送受信）側の指示によって変わり得る値とする。例えば、付加モード情報の値が大きい場合（ｂｉｔｒａｔｅ１’など）には、付加情報が重要であるため、優先モード情報決定閾値Ｐ_ｔｈｒを小さくし、逆に伝送モード情報の値が大きい場合には優先モード情報決定閾値Ｐ_ｔｈｒを大きくするといった手法が挙げられる。また、優先モード情報Ｐ_ｍｏｄｅは、「０」または「１」の二種類の値をとり、優先モード情報Ｐ_ｍｏｄｅが「０」の場合は音声情報を優先し、優先モード情報Ｐ_ｍｏｄｅが「１」の場合は付加情報を優先するということを意味する。また、優先モード情報Ｐ_ｍｏｄｅは、以下の式（４）により決定される。

付加情報符号化部１７０１は、付加情報受信部１６０１から付加モード情報、付加情報が入力され、符号化情報解析部１６０２から伝送モード情報及び付加情報フラグが入力され、また優先モード情報決定部１７０３から優先モード情報が入力された場合、付加モード情報、伝送モード情報及び優先モード情報の組み合わせに応じた伝送ビットレートにより、付加情報に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行い、符号化により得られた情報源符号（以下、「付加情報情報源符号」という）、伝送モード情報、付加モード情報及び優先モード情報を付加情報統合部１７０２に出力する。なお、付加情報符号化部１７０１は、付加モード情報、付加情報、伝送モード情報、付加情報フラグ及び優先モード情報が入力されない場合には何も動作しない。

以下、付加情報符号化部１７０１における符号化処理について伝送モード情報及び付加モード情報の組み合わせに応じた９パターンに分け、具体的に説明する。但し、パターン１、５、９以外のパターンについては、優先モード情報Ｐ_ｍｏｄｅの値に関わらず、上述した実施の形態１の付加情報符号化部７０１の処理パターンと同一であるため、ここでは説明は省略する。

付加情報符号化部１７０１は、入力される情報（信号）を複数の伝送ビットレートで符号化可能なマルチレート符号化方法を備える。本実施の形態では、付加情報受信部１６０１から得られる付加モード情報と符号化情報解析部１６０２から得られる伝送モード情報との組み合わせに応じて、予め定められた６種類の伝送ビットレートｂｉｔｒａｔｅ１”、ｂｉｔｒａｔｅ２”、ｂｉｔｒａｔｅ３”、ｂｉｔｒａｔｅ４”、ｂｉｔｒａｔｅ５”、ｂｉｔｒａｔｅ６”の値を取り得るものとする。また、この６種類の伝送ビットレートの値は、ｂｉｔｒａｔｅ１、ｂｉｔｒａｔｅ２及びｂｉｔｒａｔｅ３を用いて上記式（１）ように表せる。

（パターン１）
付加情報符号化部１７０１は、付加情報受信部１６０１から得られる付加モード情報がｂｉｔｒａｔｅ３’であり、かつ符号化情報解析部１６０２から得られる伝送モード情報がｂｉｔｒａｔｅ３であり、かつ優先モード情報決定部１７０３から得られる優先モード情報Ｐ_ｍｏｄｅの値が「１」である場合には、付加情報をｂｉｔｒａｔｅ３”が示す伝送ビットレートを用いて、ＣＥＬＰタイプの音声符号化方法により符号化を行い、得られた付加情報情報源符号、付加モード情報、伝送モード情報、付加情報フラグ及び優先モード情報を付加情報統合部１７０２に出力する（パターン１ａ）。

また、付加情報符号化部１７０１は、付加情報受信部１６０１から得られる付加モード情報がｂｉｔｒａｔｅ３’であり、かつ符号化情報解析部１６０２から得られる伝送モード情報がｂｉｔｒａｔｅ３であり、かつ優先モード情報決定部１７０３から得られる優先モード情報Ｐ_ｍｏｄｅの値が「０」である場合には、付加情報の符号化処理は行わず、付加モード情報、伝送モード情報、付加情報フラグ及び優先モード情報を付加情報統合部１７０２に出力する（パターン１ｂ）。

（パターン５）
付加情報符号化部１７０１は、付加情報受信部１６０１から得られる付加モード情報がｂｉｔｒａｔｅ２’であり、かつ符号化情報解析部１６０２から得られる伝送モード情報がｂｉｔｒａｔｅ２であり、優先モード情報決定部１７０３から得られる優先モード情報Ｐ_ｍｏｄｅの値が「１」である場合には、付加情報をｂｉｔｒａｔｅ２”が示す伝送ビットレートを用いて、ＣＥＬＰタイプの音声符号化方法により符号化を行い、得られた付加情報情報源符号、付加モード情報、伝送モード情報、付加情報フラグ及び優先モード情報を付加情報統合部１７０２に出力する（パターン５ａ）。

また、付加情報符号化部１７０１は、付加情報受信部１６０１から得られる付加モード情報がｂｉｔｒａｔｅ２’であり、かつ符号化情報解析部１６０２から得られる伝送モード情報がｂｉｔｒａｔｅ２であり、優先モード情報決定部１７０３から得られる優先モード情報Ｐ_ｍｏｄｅの値が「０」である場合には、付加情報の符号化処理は行わず、付加モード情報、伝送モード情報、付加情報フラグ及び優先モード情報を付加情報統合部１７０２に出力する（パターン５ｂ）。

（パターン９）
付加情報符号化部１７０１は、付加情報受信部１６０１から得られる付加モード情報がｂｉｔｒａｔｅ１’であり、かつ符号化情報解析部１６０２から得られる伝送モード情報がｂｉｔｒａｔｅ１であり、優先モード情報決定部１７０３から得られる優先モード情報Ｐ_ｍｏｄｅの値が「１」である場合には、付加情報をｂｉｔｒａｔｅ１”が示す伝送ビットレートを用いて、ＣＥＬＰタイプの音声符号化方法により符号化を行い、得られた付加情報情報源符号、付加モード情報、伝送モード情報、付加情報フラグ、優先モード情報を付加情報統合部１７０２に出力する（パターン９ａ）。

また、付加情報符号化部１７０１は、付加情報受信部１６０１から得られる付加モード情報がｂｉｔｒａｔｅ１’であり、かつ符号化情報解析部１６０２から得られる伝送モード情報がｂｉｔｒａｔｅ１であり、優先モード情報決定部１７０３から得られる優先モード情報Ｐ_ｍｏｄｅの値が「１」である場合には、付加情報の符号化処理は行わず、付加モード情報、伝送モード情報、付加情報フラグ及び優先モード情報を付加情報統合部１７０２に出力する（パターン９ｂ）。

以上が、付加情報符号化部１７０１における符号化処理についての説明である。

付加情報統合部１７０２は、付加情報符号化部１７０１から付加モード情報、付加情報情報源符号、伝送モード情報、付加情報フラグ、及び優先モード情報が入力され、符号化情報解析部１６０２から各レイヤの情報源符号が入力された場合、付加モード情報、伝送モード情報、及び優先モード情報の組み合わせに応じて、各レイヤの情報源符号と付加情報情報源符号との統合処理を行い、得られた情報源符号、付加情報情報源符号、伝送モード情報、付加情報フラグ及び付加モード情報を符号化情報統合部１６０４に出力する。なお、付加情報統合部１７０２は、付加モード情報、付加情報情報源符号、伝送モード情報、付加情報フラグ、優先モード情報及び各レイヤの情報源符号が入力されない場合には何も動作しない。

以下、付加情報統合部１７０２における統合処理について伝送モード情報、付加モード情報、及び優先モード情報の組み合わせに応じた９パターンに分け、具体的に説明する。但し、パターン１、５、９以外のパターンについては、優先モード情報Ｐ_ｍｏｄｅの値に関わらず、上述した実施の形態１の付加情報統合部７０２の処理パターンと同一であるため、ここでは説明は省略する。

（パターン１）
付加情報統合部１７０２は、付加情報符号化部１７０１から得られる付加モード情報がｂｉｔｒａｔｅ３’であり、かつ伝送モード情報がｂｉｔｒａｔｅ３であり、かつ優先モード情報Ｐ_ｍｏｄｅの値が「１」である場合には、基本レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にｂｉｔｒａｔｅ０を代入し、付加モード情報にｂｉｔｒａｔｅ３”を代入し、付加情報情報源符号、付加モード情報、及び伝送モード情報を符号化情報統合部１６０４に出力する。また、このとき付加情報統合部１７０２は、「１」の値を代入した付加情報フラグを符号化情報統合部１６０４に出力する（パターン１ａ）。

また、付加情報統合部１７０２は、付加情報符号化部１７０１から得られる付加モード情報がｂｉｔｒａｔｅ３’であり、かつ伝送モード情報がｂｉｔｒａｔｅ３であり、かつ優先モード情報Ｐ_ｍｏｄｅの値が０である場合には、統合処理は行わず、基本レイヤ情報源符号、及び伝送モード情報を符号化情報統合部１６０４に出力する。また、このとき付加情報統合部１７０２は、０の値を代入した付加情報フラグを符号化情報統合部１６０４に出力する（パターン１ｂ）。

（パターン５）
付加情報統合部１７０２は、付加情報符号化部１７０１から得られる付加モード情報がｂｉｔｒａｔｅ２’であり、かつ伝送モード情報がｂｉｔｒａｔｅ２であり、かつ優先モード情報Ｐ_ｍｏｄｅの値が「１」である場合には、基本レイヤ情報源符号、及び第１拡張レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にｂｉｔｒａｔｅ０を代入し、付加モード情報にｂｉｔｒａｔｅ２”を代入し、付加情報情報源符号、付加モード情報、及び伝送モード情報を符号化情報統合部１６０４に出力する。また、このとき付加情報統合部１７０２は、「１」の値を代入した付加情報フラグを符号化情報統合部１６０４に出力する（パターン５ａ）。

また、付加情報統合部１７０２は、付加情報符号化部１７０１から得られる付加モード情報がｂｉｔｒａｔｅ２’であり、かつ伝送モード情報がｂｉｔｒａｔｅ２であり、かつ優先モード情報Ｐ_ｍｏｄｅの値が「０」である場合には、統合処理は行わず、基本レイヤ情報源符号、第１拡張レイヤ情報源符号及び伝送モード情報を符号化情報統合部１６０４に出力する。また、このとき付加情報統合部１７０２は、「０」の値を代入した付加情報フラグを符号化情報統合部１６０４に出力する（パターン５ｂ）。

（パターン９）
付加情報統合部１７０２は、付加情報符号化部１７０１から得られる付加モード情報がｂｉｔｒａｔｅ１’であり、かつ伝送モード情報がｂｉｔｒａｔｅ１であり、かつ優先モード情報Ｐ_ｍｏｄｅの値が１である場合には、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、及び第２拡張レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にｂｉｔｒａｔｅ０を代入し、付加モード情報にｂｉｔｒａｔｅ１”を代入し、付加情報情報源符号、付加モード情報及び伝送モード情報を符号化情報統合部１６０４に出力する。また、このとき付加情報統合部１７０２は、「１」の値を代入した付加情報フラグを符号化情報統合部１６０４に出力する（パターン９ａ）。

また、付加情報統合部１７０２は、付加情報符号化部１７０１から得られる付加モード情報がｂｉｔｒａｔｅ１’であり、かつ伝送モード情報がｂｉｔｒａｔｅ１であり、かつ優先モード情報Ｐ_ｍｏｄｅの値が０である場合には、統合処理は行わず、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、第２拡張レイヤ情報源符号、及び伝送モード情報を符号化情報統合部１６０４に出力する。また、このとき付加情報統合部１７０２は、「０」の値を代入した付加情報フラグを符号化情報統合部１６０４に出力する（パターン９ｂ）。

以上が、付加情報統合部１７０２における統合処理についての説明である。

なお、符号化情報統合部１６０４から出力される符号化情報のデータ構造（ビットストリーム）は、付加情報統合部１７０２における（パターン１）〜（パターン９）に応じて、それぞれ図１８中の（ａ）〜（ｌ）のようなデータ構造となる。

このように、本実施の形態によれば、付加情報に緊急性があるかどうかを意味する優先度情報に応じて音声情報と付加情報のどちらを伝送するかを決定することにより、より柔軟な伝送方式が可能となる。

（実施の形態５）
図１９は、上記実施の形態１から実施の形態４で説明した信号符号化装置、中継装置及び信号復号化装置を含む信号送信装置、中継装置及び信号受信装置の構成を示すブロック図である。以下、図１９を用いて、音声信号を送受信する場合について説明する。

図１９において、音声信号は、入力装置１９０１によって電気的信号に変換されＡ／Ｄ変換装置１９０２に出力される。Ａ／Ｄ変換装置１９０２は入力装置１９０１から出力された（アナログ）信号をディジタル信号に変換し音声符号化装置１９０３に出力する。音声符号化装置１９０３は、図１に示した信号符号化装置１０１を実装し、Ａ／Ｄ変換装置１９０２から出力されたディジタル音声信号を符号化し符号化情報をＲＦ変調装置１９０４に出力する。ＲＦ変調装置１９０４は音声符号化装置１９０３から出力された符号化情報を電波等の伝播媒体に載せて送出するための信号に変換し送信アンテナ１９０５に出力する。送信アンテナ１９０５はＲＦ変調装置１９０４から出力された出力信号を電波（ＲＦ信号）として送出する。なお、図中のＲＦ信号１９０６は送信アンテナ１９０５から送出された電波（ＲＦ信号）を表す。

ＲＦ信号１９０７は中継装置受信アンテナ１９０８によって受信されＲＦ復調装置１９０９に出力される。なお、図中のＲＦ信号１９０７は中継装置受信アンテナ１９０８に受信された電波を表し、伝播路において信号の減衰や雑音の重畳がなければＲＦ信号１９０６と全く同じものになる。

ＲＦ復調装置１９０９は中継装置受信アンテナ１９０８から出力されＲＦ信号から符号化情報を復調し中継装置１９１０に出力する。中継装置１９１０は、図１に示した中継装置１０３を実装し、ＲＦ復調装置１９０９から出力された音声符号化情報に含まれる伝送モード情報及び中継装置１９１０に入力される付加情報に応じて、音声符号化情報に付加情報を付加し、付加処理後得られた符号化情報（または変換後符号化情報）を、ＲＦ変調装置１９１１に出力する。ＲＦ変調装置１９１１は中継装置１９１０から出力された符号化情報（または変換後符号化情報）を電波等の伝播媒体に載せて送出するための信号に変換し中継装置送信アンテナ１９１２に出力する。中継装置送信アンテナ１９１２はＦＲ変調装置１９１１から出力された出力信号を電波（ＲＦ信号）として送出する。なお、図中のＲＦ信号１９１３は中継装置送信アンテナ１９１２から送出された電波（ＲＦ信号）を表す。

ＲＦ信号１９１４は受信アンテナ１９１５によって受信されＲＦ復調装置１９１６に出力される。なお、図中のＲＦ信号１９１４は受信アンテナ１９１５に受信された電波を表し、伝播路において信号の減衰や雑音の重畳がなければＲＦ信号１９１３と全く同じものになる。

ＲＦ復調装置１９１６は受信アンテナ１９１５から出力されたＲＦ信号から符号化情報を復調し音声復号化装置１９１７に出力する。音声復号化装置１９１７は、図１に示した信号復号化装置１０５を実装し、ＲＦ復調装置１９１６から出力された音声符号化情報から音声信号を復号化し、得られたディジタル復号化音声信号を、Ｄ／Ａ変換装置１９１８に出力する。Ｄ／Ａ変換装置１９１８は音声復号化装置１９１７から出力されたディジタル音声信号をアナログの電気的信号に変換し出力装置１９１９に出力する。

出力装置１９１９は電気的信号を空気の振動に変換し音波として人間の耳に聴こえるように出力する。

無線通信システムにおける基地局装置及び通信端末装置に、上記のような音声信号送信装置及び音声信号受信装置を備えることにより、高品質な出力信号を得ることができる。

なお、本実施の形態では、入力信号として音声信号を対象とした場合について説明したが、本発明は、音声信号以外の信号についても同様に適用することができる。

（実施の形態６）
上記実施の形態３では、中継装置において付加処理を行う際に、信号復号化装置において各レイヤの復号化信号に対して減衰・増幅処理を行うことにより復号化時に発生する異音を抑制する場合について説明したが、減衰・増幅処理を行って復号化時に発生する異音を抑制することは、単に信号符号化装置にて符号化された信号を復号する際にも適用することができる。実施の形態６では、信号符号化装置にて符号化された信号を復号する際に、減衰・増幅処理を行って復号化時に発生する異音を抑制する場合について説明する。

図２０は、本実施の形態に係る信号復号化装置を含むシステム構成を示す図である。信号符号化装置２００１は、伝送モード情報に応じて、入力信号に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行い、符号化により得られた符号化情報を、伝送路２００２を介して信号復号化装置２００３に送信する。なお、ここで、伝送路２００２には、信号中継装置が介在する場合もある。

信号復号化装置２００３は、伝送路２００２を介して受信した符号化情報に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号を出力信号として出力する。

次に、図２０の信号符号化装置２００１の構成について、図２１のブロック図を用いて説明する。なお、信号符号化装置２００１は、入力信号をＮサンプルずつ区切り（Ｎは自然数）、Ｎサンプルを１フレームとしてフレーム毎に符号化を行う。

信号符号化装置２００１は、伝送ビットレート制御部２１０１と、制御スイッチ２１０２〜２１０５と、基本レイヤ符号化部２１０６と、基本レイヤ復号化部２１０８と、加算部２１０７、２１１１と、第１拡張レイヤ符号化部２１０９と、第１拡張レイヤ復号化部２１１０と、第２拡張レイヤ符号化部２１１２と、符号化情報統合部２１１３とから主に構成される。

伝送モード情報は、伝送ビットレート制御部２１０１に入力される。ここで、伝送モード情報とは、入力信号を符号化し伝送する際の伝送ビットレートを指示する情報であり、予め定められた２つ以上の伝送ビットレートの中から一つの伝送ビットレートが伝送モード情報として選択される。なお、本実施の形態においては、伝送モード情報は、予め定められた４種類の伝送ビットレートｂｉｔｒａｔｅ０、ｂｉｔｒａｔｅ１、ｂｉｔｒａｔｅ２、ｂｉｔｒａｔｅ３（ｂｉｔｒａｔｅ３＜ｂｉｔｒａｔｅ２＜ｂｉｔｒａｔｅ１）の値を取り得るものとする。但し、ｂｉｔｒａｔｅ０とは、符号化装置２００１に入力信号が入力されない場合を意味する。また、本実施の形態では、現フレームに対する伝送モード情報（以下、Ｍｏｄｅ_ｃｕｒとする）に加え、予め次フレームに対する伝送モード情報（以下、Ｍｏｄｅ_ｎｅｘｔとする）も同時に入力されるものとする。

伝送ビットレート制御部２１０１は、入力した現フレームに対する伝送モード情報Ｍｏｄｅ_ｃｕｒに応じて、制御スイッチ２１０２〜２１０５のオン／オフ制御を行う。具体的には、伝送ビットレート制御部２１０１は、伝送モード情報Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ１である場合、制御スイッチ２１０２〜２１０５を全てオン状態にする。また、伝送ビットレート制御部２１０１は、伝送モード情報Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ２である場合、制御スイッチ２１０２及び２１０３をオン状態にし、制御スイッチ２１０４及び２１０５をオフ状態にする。また、伝送ビットレート制御部２１０１は、伝送モード情報Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ３である場合、制御スイッチ２１０２〜２１０５を全てオフ状態にする。また、伝送ビットレート制御部２１０１は、伝送モード情報Ｍｏｄｅ_ｃｕｒ及びＭｏｄｅ_ｎｅｘｔを符号化情報統合部２１１３に出力する。このように、伝送ビットレート制御部２１０１が伝送モード情報Ｍｏｄｅ_ｃｕｒに応じて制御スイッチをオン／オフ制御することにより、入力信号の符号化に用いる符号化部の組み合わせが決定される。

入力信号は、制御スイッチ２１０２及び基本レイヤ符号化部２１０６に入力される。

基本レイヤ符号化部２１０６は、入力信号に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行い、符号化により得られた情報源符号（以下、「基本レイヤ情報源符号」という）を符号化情報統合部２１１３及び制御スイッチ２１０３に出力する。

基本レイヤ復号化部２１０８は、制御スイッチ２１０３がオン状態の場合、基本レイヤ符号化部２１０６から出力された基本レイヤ情報源符号に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号（以下、「基本レイヤ復号化信号」という）を加算部２１０７に出力する。なお、基本レイヤ復号化部２１０８は、制御スイッチ２１０３がオフ状態の場合には何も動作しない。

加算部２１０７は、制御スイッチ２１０２、２１０３がオン状態の場合、入力信号に、基本レイヤ復号化信号の極性を反転させた信号を加算し、加算結果である第１差分信号を第１拡張レイヤ符号化部２１０９及び制御スイッチ２１０４に出力する。なお、加算部２１０７は、制御スイッチ２１０２、２１０３がオフ状態の場合には何も動作しない。

第１拡張レイヤ符号化部２１０９は、制御スイッチ２１０２、２１０３がオン状態の場合、加算部２１０７から得られる第１差分信号に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行い、符号化により得られた情報源符号（以下、「第１拡張レイヤ情報源符号」という）を制御スイッチ２１０５及び符号化情報統合部２１１３に出力する。なお、第１拡張レイヤ符号化部２１０９は、制御スイッチ２１０２、２１０３がオフ状態の場合には何も動作しない。

第１拡張レイヤ復号化部２１１０は、制御スイッチ２１０５がオン状態の場合、第１拡張レイヤ符号化部２１０９から出力された第１拡張レイヤ情報源符号に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号（以下、「第１拡張レイヤ復号化信号」という）を加算部２１１１に出力する。なお、第１拡張レイヤ復号化部２１１０は、制御スイッチ２１０５がオフ状態の場合には何も動作しない。

加算部２１１１は、制御スイッチ２１０４、２１０５がオン状態の場合、制御スイッチ２１０４から得られる第１差分信号に、第１拡張レイヤ復号化信号の極性を反転させた信号を加算し、加算結果である第２差分信号を第２拡張レイヤ符号化部２１１２に出力する。なお、加算部２１１１は、制御スイッチ２１０４、２１０５がオフ状態の場合には何も動作しない。

第２拡張レイヤ符号化部２１１２は、制御スイッチ２１０４、２１０５がオン状態の場合、加算部２１１１から出力される第２差分信号に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行い、符号化により得られた情報源符号（以下、「第２拡張レイヤ情報源符号」という）を符号化情報統合部２１１３に出力する。なお、第２拡張レイヤ符号化部２１１２は、制御スイッチ２１０４、２１０５がオフ状態の場合には何も動作しない。

符号化情報統合部２１１３は、基本レイヤ符号化部２１０６、第１拡張レイヤ符号化部２１０９、及び第２拡張レイヤ符号化部２１１２から出力された情報源符号、及び伝送ビットレート制御部２１０１から出力される伝送モード情報Ｍｏｄｅ_ｃｕｒ、Ｍｏｄｅ_ｎｅｘｔとを統合し、これを符号化情報として伝送路２００２に出力する。

以上が、図２０の信号符号化装置２００１の構成の説明である。なお、基本レイヤ符号化部２１０６の内部構成は、図４に示した基本レイヤ符号化部２０６と同一であるので説明を省略する。また、第１拡張レイヤ符号化部２１０９及び第２拡張レイヤ符号化部２１１２の内部構成は、基本レイヤ符号化部２１０６と同一であり、入力される信号の種類及び出力される情報源符号の種類のみが異なるので、その説明を省略する。

また、なお、基本レイヤ復号化部２１０８の内部構成は、図５に示した基本レイヤ復号化部２０８と同一であるので説明を省略する。また、第１拡張レイヤ復号化部２１１０の内部構成は、基本レイヤ復号化部２１０８の内部構成と同一であり、入力される情報源符号の種類及び出力される信号の種類のみが異なるので、その説明を省略する。

次に、符号化情報のデータ構造（ビットストリーム）について図２２を用いて説明する。伝送モード情報Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ３である場合、符号化情報は、図２２（ａ）に示すように、伝送モード情報Ｍｏｄｅ_ｃｕｒ及びＭｏｄｅ_ｎｅｘｔ、及び基本レイヤ情報源符号から構成される。伝送モード情報Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ２である場合、符号化情報は、図２２（ｂ）に示すように、伝送モード情報Ｍｏｄｅ_ｃｕｒ及びＭｏｄｅ_ｎｅｘｔ、基本レイヤ情報源符号、及び第１拡張レイヤ情報源符号から構成される。伝送モード情報Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ１である場合、符号化情報は、図２２（ｃ）に示すように、伝送モード情報Ｍｏｄｅ_ｃｕｒ及びＭｏｄｅ_ｎｅｘｔ、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、及び第２拡張レイヤ情報源符号から構成される。

次に、図２０の信号復号化装置２００３の構成について図２３を用いて説明する。

信号復号化装置２００３は、復号化動作制御部２３０１と、基本レイヤ復号化部２３０２と、第１拡張レイヤ復号化部２３０３と、第２拡張レイヤ復号化部２３０４と、利得調整部２３０８〜２３１０と、制御スイッチ２３０５〜２３０７と、加算部２３１１、２３１２とから主に構成される。

符号化情報は、復号化動作制御部２３０１に入力される。

復号化動作制御部２３０１は、前フレームに対する伝送モード情報（初期値はｂｉｔｒａｔｅ０とし、以下Ｍｏｄｅ_ｐｒｅとする）を記憶するメモリを内部に有し、入力された符号化情報を伝送モード情報Ｍｏｄｅ_ｃｕｒ及びＭｏｄｅ_ｎｅｘｔ、各レイヤの情報源符号に分離し、伝送モード情報Ｍｏｄｅ_ｐｒｅ、Ｍｏｄｅ_ｃｕｒ、Ｍｏｄｅ_ｎｅｘｔに応じて、利得調整部２３０８〜２３１０、及び制御スイッチ２３０５〜２３０７の制御を行う。また、各レイヤの情報源符号を基本レイヤ復号化部２３０２、第１拡張レイヤ復号化部２３０３及び第２拡張レイヤ復号化部２３０４に出力する。

次に、伝送モード情報Ｍｏｄｅ_ｐｒｅ、Ｍｏｄｅ_ｃｕｒ、Ｍｏｄｅ_ｎｅｘｔに応じた、復号化動作制御部２３０１の動作について詳しく説明する。

（パターン１）
復号化動作制御部２３０１は、伝送モード情報Ｍｏｄｅ_ｐｒｅ、Ｍｏｄｅ_ｃｕｒ、Ｍｏｄｅ_ｎｅｘｔが以下の式（５）を満たす場合、現フレームに対して、Ｍｏｄｅ_ｐｒｅとＭｏｄｅ_ｎｅｘｔの値を用いて、Ｍｏｄｅ_ｐｒｅが示す伝送ビットレートを上限とし、Ｍｏｄｅ_ｎｅｘｔが示す伝送ビットレートを下限としたフェードアウト処理を行う。

この時、復号化動作制御部２３０１は、Ｍｏｄｅ_ｐｒｅが示す伝送ビットレートに応じて制御スイッチ２３０５〜２３０７の制御を行う。具体的には、復号化動作制御部２３０１は、Ｍｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ２の場合は、制御スイッチ２３０５、２３０６をオン状態にし、制御スイッチ２３０７をオフ状態にし、基本レイヤ情報源を基本レイヤ復号化部２３０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２３０３に出力する。また、Ｍｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ３の場合は、制御スイッチ２３０５をオン状態にし、制御スイッチ２３０６、２３０７をオフ状態し、基本レイヤ情報源を基本レイヤ復号化部２３０２に出力する。

また、この時、復号化動作制御部２３０１は、Ｍｏｄｅ_ｐｒｅ、Ｍｏｄｅ_ｎｅｘｔが示す伝送ビットレートに応じて利得調整部２３０８〜２３１０の制御を行う。具体的には、復号化動作制御部２３０１は、Ｍｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ２であり、かつＭｏｄｅ_ｎｅｘｔがｂｉｔｒａｔｅ３の場合は、利得調整部２３０９をフェードアウト状態にし、利得調整部２３０８、２３１０をオフ状態にする。また、復号化動作制御部２３０１は、Ｍｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ２であり、かつＭｏｄｅ_ｎｅｘｔがｂｉｔｒａｔｅ０の場合は、利得調整部２３０８、２３０９をフェードアウト状態にし、利得調整部２３１０をオフ状態にする。また、復号化動作制御部２３０１は、Ｍｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ３であり、かつＭｏｄｅ_ｎｅｘｔがｂｉｔｒａｔｅ０の場合は、利得調整部２３０８をフェードアウト状態にし、利得調整部２３０９、２３１０をオフ状態にする。

（パターン２）
復号化動作制御部２３０１は、伝送モード情報Ｍｏｄｅ_ｐｒｅ、Ｍｏｄｅ_ｃｕｒ、Ｍｏｄｅ_ｎｅｘｔが以下の式（６）を満たす場合、現フレームに対して、Ｍｏｄｅ_ｐｒｅ（＝Ｍｏｄｅ_ｎｅｘｔ）が示す伝送ビットレートで通常の復号化を行う。

この時、復号化動作制御部２３０１は、Ｍｏｄｅ_ｐｒｅが示す伝送ビットレートに応じて制御スイッチ２３０５〜２３０７の制御を行う。具体的には、復号化動作制御部２３０１は、Ｍｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ２の場合は、制御スイッチ２３０５、２３０６をオン状態にし、制御スイッチ２３０７をオフ状態にし、基本レイヤ情報源を基本レイヤ復号化部２３０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２３０３に出力する。また、Ｍｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ３の場合は、制御スイッチ２３０５をオン状態にし、制御スイッチ２３０６、２３０７をオフ状態にし、基本レイヤ情報源を基本レイヤ復号化部２３０２に出力する。

また、この時、復号化動作制御部２３０１は、利得調整部２３０８〜２３１０を全てオフ状態にする。

（パターン３）
復号化動作制御部２３０１は、伝送モード情報Ｍｏｄｅ_ｐｒｅ、Ｍｏｄｅ_ｃｕｒ、Ｍｏｄｅ_ｎｅｘｔが以下の式（７）を満たす場合、現フレームに対して、Ｍｏｄｅ_ｐｒｅとＭｏｄｅ_ｎｅｘｔの値を用いて、Ｍｏｄｅ_ｐｒｅが示す伝送ビットレートを下限とし、Ｍｏｄｅ_ｎｅｘｔが示す伝送ビットレートを上限としたフェードイン処理を行う。

この時、復号化動作制御部２３０１は、Ｍｏｄｅ_ｎｅｘｔが示す伝送ビットレートに応じて制御スイッチ２３０５〜２３０７の制御を行う。具体的には、復号化動作制御部２３０１は、Ｍｏｄｅ_ｎｅｘｔがｂｉｔｒａｔｅ２の場合は、制御スイッチ２３０５、２３０６をオン状態にし、制御スイッチ２３０７をオフ状態にし、基本レイヤ情報源を基本レイヤ復号化部２３０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２３０３に出力する。また、Ｍｏｄｅ_ｎｅｘｔがｂｉｔｒａｔｅ３の場合は、制御スイッチ２３０５をオン状態にし、制御スイッチ２３０６、２３０７をオフ状態にし、基本レイヤ情報源を基本レイヤ復号化部２３０２に出力する。

また、この時、復号化動作制御部２３０１は、Ｍｏｄｅ_ｐｒｅ、Ｍｏｄｅ_ｎｅｘｔが示す伝送ビットレートに応じて利得調整部２３０８〜２３１０の制御を行う。具体的には、復号化動作制御部２３０１は、Ｍｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ３であり、かつＭｏｄｅ_ｎｅｘｔがｂｉｔｒａｔｅ２の場合は、利得調整部２３０９をフェードイン状態にし、利得調整部２３０８、２３１０をオフ状態にする。また、復号化動作制御部２３０１は、Ｍｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ０であり、かつＭｏｄｅ_ｎｅｘｔがｂｉｔｒａｔｅ２の場合は、利得調整部２３０８、２３０９をフェードイン状態にし、利得調整部２３１０をオフ状態にする。また、復号化動作制御部２３０１は、Ｍｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ０であり、かつＭｏｄｅ_ｎｅｘｔがｂｉｔｒａｔｅ３の場合は、利得調整部２３０８をフェードイン状態にし、利得調整部２３０９、２３１０をオフ状態にする。

（パターン４）
復号化動作制御部２３０１は、伝送モード情報Ｍｏｄｅ_ｐｒｅ、Ｍｏｄｅ_ｃｕｒ、Ｍｏｄｅ_ｎｅｘｔが以下の式（８）を満たす場合、現フレームに対して、Ｍｏｄｅ_ｃｕｒとＭｏｄｅ_ｎｅｘｔの値を用いて、Ｍｏｄｅ_ｃｕｒが示す伝送ビットレートを上限とし、Ｍｏｄｅ_ｎｅｘｔが示す伝送ビットレートを下限としたフェードアウト処理を行う。

この時、復号化動作制御部２３０１は、Ｍｏｄｅ_ｃｕｒが示す伝送ビットレートに応じて制御スイッチ２３０５〜２３０７の制御を行う。具体的には、復号化動作制御部２３０１は、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ１の場合は、制御スイッチ２３０５〜２３０７を全てオン状態にし、基本レイヤ情報源を基本レイヤ復号化部２３０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２３０３に出力し、第２拡張レイヤ情報源符号を第２拡張レイヤ復号化部３３０４に出力し、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ２の場合は、制御スイッチ２３０５、２３０６をオン状態にし、制御スイッチ２３０７をオフ状態にし、基本レイヤ情報源を基本レイヤ復号化部２３０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２３０３に出力する。また、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ３の場合は、制御スイッチ２３０５をオン状態にし、制御スイッチ２３０６、２３０７をオフ状態にし、基本レイヤ情報源を基本レイヤ復号化部２３０２に出力する。

また、この時、復号化動作制御部２３０１は、Ｍｏｄｅ_ｃｕｒ、Ｍｏｄｅ_ｎｅｘｔが示す伝送ビットレートに応じて利得調整部２３０５〜２３０７の制御を行う。具体的には、復号化動作制御部２３０１は、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ１であり、かつＭｏｄｅ_ｎｅｘｔがｂｉｔｒａｔｅ２の場合は、利得調整部２３１０をフェードアウト状態にし、利得調整部２３０８、２３０９をオフ状態にする。また、復号化動作制御部２３０１は、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ１であり、かつＭｏｄｅ_ｎｅｘｔがｂｉｔｒａｔｅ３の場合は、利得調整部２３０９、２３１０をフェードアウト状態にし、利得調整部２３０８をオフ状態にする。また、復号化動作制御部２３０１は、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ１であり、かつＭｏｄｅ_ｎｅｘｔがｂｉｔｒａｔｅ０の場合は、利得調整部２３０８〜２３１０を全てフェードアウト状態にする。また、復号化動作制御部２３０１は、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ２であり、かつＭｏｄｅ_ｎｅｘｔがｂｉｔｒａｔｅ３の場合は、利得調整部２３０９をフェードアウト状態にし、利得調整部２３０８、２３１０をオフ状態にする。また、復号化動作制御部２３０１は、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ２であり、かつＭｏｄｅ_ｎｅｘｔがｂｉｔｒａｔｅ０の場合は、利得調整部２３０８、２３０９をフェードアウト状態にし、利得調整部２３１０をオフ状態にする。また、復号化動作制御部２３０１は、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ３であり、かつＭｏｄｅ_ｎｅｘｔがｂｉｔｒａｔｅ０の場合は、利得調整部２３０８をフェードアウト状態にし、利得調整部２３０９、２３１０をオフ状態にする。

（パターン５）
復号化動作制御部２３０１は、伝送モード情報Ｍｏｄｅ_ｐｒｅ、Ｍｏｄｅ_ｃｕｒ、Ｍｏｄｅ_ｎｅｘｔが以下の式（９）を満たす場合、現フレームに対して、Ｍｏｄｅ_ｐｒｅとＭｏｄｅ_ｃｕｒの値を用いて、Ｍｏｄｅ_ｐｒｅが示す伝送ビットレートを下限とし、Ｍｏｄｅ_ｃｕｒが示す伝送ビットレートを上限としたフェードイン処理を行う。

この時、復号化動作制御部２３０１は、Ｍｏｄｅ_ｃｕｒが示す伝送ビットレートに応じて制御スイッチ２３０５〜２３０７の制御を行う。具体的には、復号化動作制御部２３０１は、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ１の場合は、制御スイッチ２３０５〜２３０７を全てオン状態にし、基本レイヤ情報源を基本レイヤ復号化部２３０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２３０３に出力し、第２拡張レイヤ情報源符号を第２拡張レイヤ復号化部２３０４に出力する。Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ２の場合は、制御スイッチ２３０５、２３０６をオン状態にし、制御スイッチ２３０７をオフ状態にし、基本レイヤ情報源を基本レイヤ復号化部２３０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２３０３に出力する。また、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ３の場合は、制御スイッチ２３０５をオン状態にし、制御スイッチ２３０６、２３０７をオフ状態にし、基本レイヤ情報源を基本レイヤ復号化部２３０２に出力する。

また、この時、復号化動作制御部２３０１は、Ｍｏｄｅ_ｐｒｅ、Ｍｏｄｅ_ｃｕｒが示す伝送ビットレートに応じて利得調整部２３０８〜２３１０の制御を行う。具体的には、復号化動作制御部２３０１は、Ｍｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ２であり、かつＭｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ１の場合は、利得調整部２３１０をフェードイン状態にし、利得調整部２３０８、２３０９をオフ状態にする。また、復号化動作制御部２３０１は、Ｍｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ３であり、かつＭｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ１の場合は、利得調整部２３０９、２３１０をフェードイン状態にし、利得調整部２３０８をオフ状態にする。また、復号化動作制御部２３０１は、Ｍｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ０であり、かつＭｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ１の場合は、利得調整部２３０８〜２３１０を全てフェードイン状態にする。また、復号化動作制御部２３０１は、Ｍｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ３であり、かつＭｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ２の場合は、利得調整部２３０９をフェードイン状態にし、利得調整部２３０８、２３１０をオフ状態にする。また、復号化動作制御部２３０１は、Ｍｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ０であり、かつＭｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ２の場合は、利得調整部２３０８、２３０９をフェードイン状態にし、利得調整部２３１０をオフ状態にする。また、復号化動作制御部２３０１は、Ｍｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ０であり、かつＭｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ３の場合は、利得調整部２３０８をフェードイン状態にし、利得調整部２３０９、２３１０をオフ状態にする。

（パターン６）
復号化動作制御部２３０１は、伝送モード情報Ｍｏｄｅ_ｐｒｅ、Ｍｏｄｅ_ｃｕｒ、Ｍｏｄｅ_ｎｅｘｔがパターン１〜５中の式（５）〜式（９）のどれも満たさない場合、現フレームに対して、Ｍｏｄｅ_ｃｕｒが示す伝送ビットレートで通常の復号化を行う。

この時、復号化動作制御部２３０１は、Ｍｏｄｅ_ｃｕｒが示す伝送ビットレートに応じて制御スイッチ２３０５〜２３０７の制御を行う。具体的には、復号化動作制御部２３０１は、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ１の場合は、制御スイッチ２３０５〜２３０７を全てオン状態にし、基本レイヤ情報源を基本レイヤ復号化部２３０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２３０３に出力し、第２拡張レイヤ情報源符号を第２拡張レイヤ復号化部２３０４に出力する。Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ２の場合は、制御スイッチ２３０５、２３０６をオン状態にし、制御スイッチ２３０７をオフ状態にし、基本レイヤ情報源を基本レイヤ復号化部２３０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２３０３に出力する。また、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ３の場合は、制御スイッチ２３０５をオン状態にし、制御スイッチ２３０６、２３０７をオフ状態にし、基本レイヤ情報源を基本レイヤ復号化部２３０２に出力する。

また、この時、復号化動作制御部２３０１は、利得調整部２３０８〜２３１０を全てオフ状態にする。

以上が、復号化動作制御部２３０１による制御スイッチ２３０５〜２３０７、利得調整部２３０８〜２３１０の制御方法、及び各レイヤの復号化部に出力する情報源符号の決定方法の説明である。

次に、復号化動作制御部２３０１は、前フレームに対する伝送モード情報Ｍｏｄｅ_ｐｒｅを記憶するメモリに、現フレームに対する伝送モード情報Ｍｏｄｅ_ｃｕｒを代入し、値を更新する。

基本レイヤ復号化部２３０２は、制御スイッチ２３０５がオン状態の場合、復号化動作制御部２３０１から出力された基本レイヤ情報源符号に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号（以下、「基本レイヤ復号化信号」という）を利得調整部２３０８に出力する。なお、基本レイヤ復号化部２３０２は、制御スイッチ２３０５がオフ状態の場合には何も動作しない。

第１拡張レイヤ復号化部２３０３は、制御スイッチ２３０６がオン状態の場合、復号化動作制御部２３０１から出力された第１拡張レイヤ情報源符号に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号（以下、「第１拡張レイヤ復号化信号」という）を利得調整部２３０９に出力する。なお、第１拡張レイヤ復号化部２３０３は、制御スイッチ２３０６がオフ状態の場合には何も動作しない。

第２拡張レイヤ復号化部２３０４は、制御スイッチ２３０７制御スイッチ２３０７がオン状態の場合、復号化動作制御部２３０１から出力された第２拡張レイヤ情報源符号に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号（以下、「第２拡張レイヤ復号化信号」という）を利得調整部２３１０に出力する。なお、第２拡張レイヤ復号化部２３０４は、制御スイッチ２３０７がオフ状態の場合には何も動作しない。

なお、基本レイヤ復号化部２３０２、第１拡張レイヤ復号化部２３０３、及び第２拡張レイヤ復号化部２３０４の内部構成は、上述した基本レイヤ復号化部２０８と同一であり、入力される情報源符号の種類及び出力される信号の種類のみが異なるので、その説明は省略する。

利得調整部２３０８は、基本レイヤ復号化部２３０２から基本レイヤ復号化信号が入力される。また、利得調整部２３０８は、復号化動作制御部２３０１によりフェードアウト／フェードイン／オフ状態が制御される。

利得調整部２３０８は、復号化動作制御部２３０１によりオフ状態に制御された場合は、基本レイヤ復号化部２３０２から得られる基本レイヤ復号化信号をそのまま加算部２３１２に出力する。また、利得調整部２３０８は、復号化動作制御部２３０１によりフェードアウト状態に制御された場合は、以下の式（１０）により、基本レイヤ復号化部２３０２から得られる基本レイヤ復号化信号に対して減衰処理を行い、得られた信号を加算部２３１２に出力する。

ここで、Ｎ_ｓは１フレームにおけるサンプル数Ｎより定められる値であり、Ｘｂａｓｅ_ｉは基本レイヤ復号化信号であり、Ｘｂａｓｅ’_ｉは減衰後の復号化信号である。

また、利得調整部２３０８は、復号化動作制御部２３０１によりフェードイン状態に制御された場合は、以下の式（１１）により、基本レイヤ復号化部２３０２から得られる基本レイヤ復号化信号に対して増幅処理を行い、得られた信号を加算部２３１２に出力する。

ここで、上記式（１０）と同様に、Ｎ_ｓは１フレームにおけるサンプル数Ｎより定められる値であり、Ｘｂａｓｅ_ｉは基本レイヤ復号化信号であり、Ｘｂａｓｅ”_ｉは増幅後の復号化信号である。

利得調整部２３０９は、利得調整部２３０８において、入力信号を第１拡張レイヤ復号化信号に置き換え、加算部２３１２を加算部２３１１に置き換える以外は利得調整部２３０８の構成と同様であり、説明は省略する。また利得調整部２３１０は、利得調整部２３０８において、入力信号を第２拡張レイヤ復号化信号に置き換え、加算部２３１２を加算部２３１１に置き換える以外は利得調整部２３０８の構成と同様であり、説明は省略する。

加算部２３１１は、制御スイッチ２３０６、２３０７がオン状態である場合、第２拡張レイヤ復号化部２３０４から出力された第２拡張レイヤ復号化信号と第１拡張レイヤ復号化部２３０３から出力された第１拡張レイヤ復号化信号とを加算し、加算後の信号を加算部２３１２に出力する。また、加算部２３１１は、制御スイッチ２３０７がオフ状態であり、かつ、制御スイッチ２３０６がオン状態である場合、第１拡張レイヤ復号化部２３０３から出力された第１拡張レイヤ復号化信号を加算部２３１２に出力する。なお、加算部２３１１は、制御スイッチ２３０６、２３０７がオフ状態である場合、何も動作しない。

加算部２３１２は、制御スイッチ２３０５、２３０６がオン状態である場合、基本レイヤ復号化部２３０２から出力された基本レイヤ復号化信号と加算部２３１１の出力信号とを加算し、加算後の信号を出力信号として出力する。また、加算部２３１２は、制御スイッチ２３０５がオン状態であり、制御スイッチ２３０６がオフ状態である場合、基本レイヤ復号化部２３０２から出力された基本レイヤ復号化信号を出力信号として出力する。また、加算部２３１２は、制御スイッチ２３０５、２３０６がオフ状態である場合、何も動作しない。

以上が、図２０の信号復号化装置２００３の内部構成の説明である。

このような構成により、本実施の形態によれば、スケーラブル符号化方式／復号化方式での通信時において、復号化時に用いるレイヤ数が増減することにより発生する異音を抑制することができる。

なお、本実施の形態では、信号符号化装置において、連続するフレーム間の伝送モード情報の切り替わりを検知し、その情報を符号化情報に含めることにより、信号復号化装置でレイヤ数（伝送ビットレート）が変更する際の異音を抑圧する場合について説明したが、本発明はこれに限らず、伝送路中に存在する信号中継装置において伝送ビットレートを切り替えるような状況に対しても、信号符号化装置における処理と同様の処理を行うことにより、信号復号化装置でレイヤ数（伝送ビットレート）が変更する際の異音を抑圧するという場合についても同様に適用することができる。

また、本実施の形態では、次フレームの伝送モード情報が予め得られる状況において、信号復号化装置が、入力された符号化情報に含まれる次フレーム、前フレーム、現フレームの伝送モード情報に応じて復号化に利用するレイヤ数を切替える場合について説明した。なお、本発明はこれに限らず、符号化情報中に伝送誤り検出ビット等を含め、信号復号化装置内に備えられた伝送誤り検出部により伝送誤りを検出し、その結果、復号化時に利用するレイヤ数を変更し、１フレーム分遅延させた符号化情報（内部バッファに格納することで）を復号化する場合に対しても同様に適用できる。例えば、二つ前のフレームの伝送モード情報がｂｉｔｒａｔｅ１であり、かつ一つ前のフレームの伝送モード情報がｂｉｔｒａｔｅ２であり、かつ現フレームの伝送モード情報がｂｉｔｒａｔｅ２で伝送される符号化情報において、信号復号化装置内の伝送誤り検出部が、現フレーム（ｂｉｔｒａｔｅ２）の最上位レイヤ（第１拡張レイヤ）の情報源符号に伝送誤りを検出した場合は、内部バッファに格納した前フレームの符号化情報に対して、上述した（パターン４）のフェードアウト処理をすることにより、レイヤ数の変化による異音を抑制することができる。

なお、本実施の形態では、符号化装置における符号化方法として、ＣＥＬＰタイプの音声符号化／復号化を行う場合について説明したが、本発明はこれに限られず、静止画像、動画像等の音声・楽音信号以外の信号についても同様に適用することができる。

また、本発明は階層を限定するものではなく、複数階層で構成された階層的な信号符号化／復号化方法において、下位レイヤでの入力信号と出力信号との差である残差信号を上位レイヤで符号化する場合について適用することができる。

また、本実施の形態の図２３に示した構成を、メモリ、ディスク、テープ、ＣＤ、ＤＶＤ等の機械読み取り可能な記録媒体に記録、書き込みをし、動作を行う場合についても本発明は適用することができ、本実施の形態と同様の作用・効果を得ることができる。

（実施の形態７）
上述した実施の形態１では、各レイヤで扱う信号のサンプリング周波数が同一であるスケーラブル符号化／復号化方式において、信号の復号化時のレイヤ数（伝送ビットレート）が変動した場合に対する異音抑圧処理について説明したが、本発明はこれに限らず、各レイヤで扱う信号のサンプリング周波数が異なるスケーラブル符号化／復号化方式（周波数スケーラブル符号化／復号化方式）に対しても同様に適用することができる。

本発明の実施の形態７では、周波数スケーラブル符号化／復号化方式において、信号の復号化時のレイヤ数（伝送ビットレート）が変動した場合に対する異音抑制処理について説明する。

なお、本実施の形態における全体的なシステムの構成は実施の形態６の図２０と同様であり、信号符号化装置２００１の作用は実施の形態６と同一である。

図２４は、本実施の形態に係る信号符号化装置２００１の構成を示すブロック図である。なお、信号符号化装置２００１は、入力信号をＮサンプルずつ区切り（Ｎは自然数）、Ｎサンプルを１フレームとしてフレーム毎に符号化を行う。

信号符号化装置２００１は、伝送ビットレート制御部２４０１と、制御スイッチ２４０２〜２４０５と、ダウンサンプリング処理部２４０６、２４１０と、基本レイヤ符号化部２４０７と、基本レイヤ復号化部２４０８と、アップサンプリング処理部２４０９、２４１４と、加算部２４１１、２４１５と、第１拡張レイヤ符号化部２４１２と、第１拡張レイヤ復号化部２４１３と、第２拡張レイヤ符号化部２４１６と、符号化情報統合部２４１７とから主に構成される。

伝送モード情報は、伝送ビットレート制御部２４０１に入力される。ここで、伝送モード情報とは、入力信号を符号化し伝送する際の伝送ビットレートを指示する情報であり、予め定められた２つ以上の伝送ビットレートの中から一つの伝送ビットレートが伝送モード情報として選択される。なお、本実施の形態においては、伝送モード情報は、予め定められた４種類の伝送ビットレートｂｉｔｒａｔｅ０、ｂｉｔｒａｔｅ１、ｂｉｔｒａｔｅ２、ｂｉｔｒａｔｅ３（ｂｉｔｒａｔｅ３＜ｂｉｔｒａｔｅ２＜ｂｉｔｒａｔｅ１）の値を取り得るものとする。但し、ｂｉｔｒａｔｅ０とは、符号化装置２００１に入力信号が入力されない場合を意味する。また、本実施の形態では、現フレームに対する伝送モード情報（以下、Ｍｏｄｅ_ｃｕｒとする）に加え、予め次フレームに対する伝送モード情報（以下、Ｍｏｄｅ_ｎｅｘｔとする）も同時に入力されるものとする。

伝送ビットレート制御部２４０１は、入力した現フレームに対する伝送モード情報Ｍｏｄｅ_ｃｕｒに応じて、制御スイッチ２４０２〜２４０５のオン／オフ制御を行う。具体的には、伝送ビットレート制御部２４０１は、伝送モード情報Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ１である場合、制御スイッチ２４０２〜２４０５を全てオン状態にする。また、伝送ビットレート制御部２４０１は、伝送モード情報Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ２である場合、制御スイッチ２４０２及び２４０３をオン状態にし、制御スイッチ２４０４及び２４０５をオフ状態にする。また、伝送ビットレート制御部２４０１は、伝送モード情報Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ３である場合、制御スイッチ２４０２〜２４０５を全てオフ状態にする。また、伝送ビットレート制御部２４０１は、伝送モード情報Ｍｏｄｅ_ｃｕｒ及びＭｏｄｅ_ｎｅｘｔを符号化情報統合部２４１７に出力する。このように、伝送ビットレート制御部２４０１が伝送モード情報Ｍｏｄｅ_ｃｕｒに応じて制御スイッチをオン／オフ制御することにより、入力信号の符号化に用いる符号化部の組み合わせが決定される。

入力信号は、制御スイッチ２４０２及びダウンサンプリング処理部２４０６に入力される。以下、入力信号のサンプリング周波数を「入力サンプリング周波数」という。

ダウンサンプリング処理部２４０６は、入力信号をダウンサンプリングし、基本レイヤ符号化部２４０７に出力する。以下、ダウンサンプリング処理部２４０６におけるダウンサンプリング後のサンプリング周波数を「基本レイヤサンプリング周波数」という。

基本レイヤ符号化部２４０７は、ダウンサンプリング処理部２４０６の出力信号に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行い、符号化により得られた符号化情報（以下、「基本レイヤ情報源符号」という）を符号化情報統合部２４１７及び制御スイッチ２４０３に出力する。

基本レイヤ復号化部２４０８は、制御スイッチ２４０３がオン状態の場合、基本レイヤ符号化部２４０７から出力された基本レイヤ情報源符号に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号（以下、「基本レイヤ復号化信号」という）をアップサンプリング処理部２４０９に出力する。なお、基本レイヤ復号化部２４０８は、制御スイッチ２４０３がオフ状態の場合には何も動作しない。

アップサンプリング処理部２４０９は、制御スイッチ２４０３がオン状態の場合、基本レイヤ復号化部２４０８から出力された基本レイヤ復号化信号を第１拡張レイヤ周波数にアップサンプリングし、アップサンプリング後の信号を加算部２４１１に出力する。なお、アップサンプリング処理部２４０９は、制御スイッチ２４０３がオフ状態の場合には何も動作しない。

ダウンサンプリング処理部２４１０は、制御スイッチ２４０２、２４０３がオン状態の場合、制御スイッチ２４０２を介して出力される入力信号のサンプリング周波数をダウンサンプリングし、ダウンサンプリング後の信号を加算部２４１１に出力する。以下、ダウンサンプリング処理部２４１０におけるダウンサンプリング後のサンプリング周波数を「第１拡張レイヤサンプリング周波数」という。なお、ダウンサンプリング処理部２４１０は、制御スイッチ２４０２、２４０３がオフ状態の場合には何も動作しない。

加算部２４１１は、制御スイッチ２４０２、２４０３がオン状態の場合、ダウンサンプリング処理部２４１０から出力される信号に、アップサンプリング処理部２４０９の出力信号の極性を反転させた信号を加算し、加算結果である第１差分信号を第１拡張レイヤ符号化部２４１２に出力する。なお、加算部２４１１は、制御スイッチ２４０２、２４０３がオフ状態の場合には何も動作しない。

第１拡張レイヤ符号化部２４１２は、制御スイッチ２４０２、２４０３がオン状態の場合、加算部２４１１の出力信号に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行い、符号化により得られた符号化情報（以下、「第１拡張レイヤ情報源符号」という）を制御スイッチ２４０５及び符号化情報統合部２４１７に出力する。なお、第１拡張レイヤ符号化部２４１２は、制御スイッチ２４０２、２４０３がオフ状態の場合には何も動作しない。

第１拡張レイヤ復号化部２４１３は、制御スイッチ２４０５がオン状態の場合、第１拡張レイヤ符号化部２４１２から出力された第１拡張レイヤ情報源符号に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号（以下、「第１拡張レイヤ復号化信号」という）をアップサンプリング処理部２４１４に出力する。なお、第１拡張レイヤ復号化部２４１３は、制御スイッチ２４０５がオフ状態の場合には何も動作しない。

アップサンプリング処理部２４１４は、制御スイッチ２４０５がオン状態の場合、第１拡張レイヤ復号化部２４１３から出力された第１拡張レイヤ復号化信号を入力サンプリング周波数にアップサンプリングし、アップサンプリング後の信号を加算部２４１５に出力する。なお、アップサンプリング処理部２４１４は、制御スイッチ２４０５がオフ状態の場合には何も動作しない。

加算部２４１５は、制御スイッチ２４０４、２４０５がオン状態の場合、入力信号に、アップサンプリング処理部２４１４の出力信号の極性を反転させた信号を加算し、加算結果である第２差分信号を第２拡張レイヤ符号化部２４１６に出力する。なお、加算部２４１５は、制御スイッチ２４０４、２４０５がオフ状態の場合には何も動作しない。

第２拡張レイヤ符号化部２４１６は、制御スイッチ２４０４、２４０５がオン状態の場合、加算部２４１５から出力される第２差分信号に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行い、符号化により得られた符号化情報（以下、「第２拡張レイヤ情報源符号」という）を符号化情報統合部２４１７に出力する。なお、第２拡張レイヤ符号化部２４１６は、制御スイッチ２４０４、２４０５がオフ状態の場合には何も動作しない。

符号化情報統合部２４１７は、基本レイヤ符号化部２４０７、第１拡張レイヤ符号化部２４１２、及び第２拡張レイヤ符号化部２４１６から出力された情報源符号と伝送ビットレート制御部２４０１から出力される伝送モード情報Ｍｏｄｅ_ｃｕｒ、Ｍｏｄｅ_ｎｅｘｔとを統合し、これを符号化情報として伝送路２００２に出力する。

なお、基本レイヤ符号化部２４０７、基本レイヤ復号化部２４０８、第１拡張レイヤ符号化部２４１２、第１拡張レイヤ復号化部２４１３、及び第２拡張レイヤ符号化部２４１６内部構成については上述したものと同一であり、ここでは説明は省略する。

また、信号符号化装置２００１から出力される符号化情報のデータ構造（ビットストリーム）は図２２と同一であるため説明は省略する。

以上が、本実施の形態における図２０の信号符号化装置２００１の構成の説明である。

次に、図２０の信号復号化装置２００３の構成について図２５を用いて説明する。

信号復号化装置２００３は、復号化動作制御部２５０１と、基本レイヤ復号化部２５０２と、第１拡張レイヤ復号化部２５０３と、第２拡張レイヤ復号化部２５０４と、利得調整部２５０５〜２５０７と、アップサンプリング処理部２５０８、２５０９と、加算部２５１０、２５１１と、制御スイッチ２５１２〜２５１９と、から主に構成される。

符号化情報は、復号化動作制御部２５０１に入力される。

復号化動作制御部２５０１は、前フレームに対する伝送モード情報（初期値はｂｉｔｒａｔｅ０とし、以下Ｍｏｄｅ_ｐｒｅとする）を記憶するメモリを内部に有し、入力された符号化情報を伝送モード情報Ｍｏｄｅ_ｃｕｒ及びＭｏｄｅ_ｎｅｘｔ、各レイヤの情報源符号に分離し、伝送モード情報Ｍｏｄｅ_ｐｒｅ、Ｍｏｄｅ_ｃｕｒ、Ｍｏｄｅ_ｎｅｘｔに応じて、利得調整部２５０５〜２５０７、及び制御スイッチ２５１２〜２５１９の制御を行い、また各レイヤの情報源符号を基本レイヤ復号化部２５０２、第１拡張レイヤ復号化部２５０３及び第２拡張レイヤ復号化部２５０４に出力する。

次に、伝送モード情報Ｍｏｄｅ_ｐｒｅ、Ｍｏｄｅ_ｃｕｒ、Ｍｏｄｅ_ｎｅｘｔに応じた、復号化動作制御部２５０１の動作について詳しく説明する。

（パターン１）
復号化動作制御部２５０１は、伝送モード情報Ｍｏｄｅ_ｐｒｅ、Ｍｏｄｅ_ｃｕｒ、Ｍｏｄｅ_ｎｅｘｔが以下の式（１２）を満たす場合、現フレームに対して、Ｍｏｄｅ_ｐｒｅとＭｏｄｅ_ｎｅｘｔの値を用いて、Ｍｏｄｅ_ｐｒｅが示す伝送ビットレートを上限とし、Ｍｏｄｅ_ｎｅｘｔが示す伝送ビットレートを下限としたフェードアウト処理を行う。

この時、復号化動作制御部２５０１は、Ｍｏｄｅ_ｐｒｅが示す伝送ビットレートに応じて制御スイッチ２５１２〜２５１９の制御を行う。具体的には、復号化動作制御部２５０１は、Ｍｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ２の場合は、制御スイッチ２５１２，２５１３、２５１５、２５１６をオン状態にし、制御スイッチ２５１４、２５１７、２５１８をオフ状態にし、制御スイッチ２５１９を加算部２５１０側オン状態にし、基本レイヤ情報源を基本レイヤ復号化部２５０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２５０３に出力する。また、Ｍｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ３の場合は、制御スイッチ２５１２をオン状態にし、制御スイッチ２５１３〜２５１８をオフ状態し、制御スイッチ２５１９を利得調整部２５０５側オン状態にし、基本レイヤ情報源を基本レイヤ復号化部２５０２に出力する。

また、この時、復号化動作制御部２５０１は、Ｍｏｄｅ_ｐｒｅ、Ｍｏｄｅ_ｎｅｘｔが示す伝送ビットレートに応じて利得調整部２５０５〜２５０７の制御を行う。具体的には、復号化動作制御部２５０１は、Ｍｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ２であり、かつＭｏｄｅ_ｎｅｘｔがｂｉｔｒａｔｅ３の場合は、利得調整部２５０６をフェードアウト状態にし、利得調整部２５０５、２５０７をオフ状態にする。また、復号化動作制御部２５０１は、Ｍｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ２であり、かつＭｏｄｅ_ｎｅｘｔがｂｉｔｒａｔｅ０の場合は、利得調整部２５０５、２５０６、をフェードアウト状態にし、利得調整部２５０７をオフ状態にする。また、復号化動作制御部２５０１は、Ｍｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ３であり、かつＭｏｄｅ_ｎｅｘｔがｂｉｔｒａｔｅ０の場合は、利得調整部２５０５をフェードアウト状態にし、利得調整部２５０６、２５０７をオフ状態にする。

（パターン２）
復号化動作制御部２５０１は、伝送モード情報Ｍｏｄｅ_ｐｒｅ、Ｍｏｄｅ_ｃｕｒ、Ｍｏｄｅ_ｎｅｘｔが以下の式（１３）を満たす場合、現フレームに対して、Ｍｏｄｅ_ｐｒｅ（＝Ｍｏｄｅ_ｎｅｘｔ）が示す伝送ビットレートで通常の復号化を行う。

この時、復号化動作制御部２５０１は、Ｍｏｄｅ_ｐｒｅが示す伝送ビットレートに応じて制御スイッチ２５１２〜２５１９の制御を行う。具体的には、復号化動作制御部２５０１は、Ｍｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ２の場合は、制御スイッチ２５１２、２５１３、２５１５、２５１６をオン状態にし、制御スイッチ２５１４、２５１７、２５１８をオフ状態にし、制御スイッチ２５１９を加算部２５１０側オン状態にし、基本レイヤ情報源を基本レイヤ復号化部２５０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２５０３に出力する。また、Ｍｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ３の場合は、制御スイッチ２５１２をオン状態にし、制御スイッチ２５１２〜２５１８をオフ状態にし、制御スイッチ２５１９を利得調整部２５０５側オン状態にし、基本レイヤ情報源を基本レイヤ復号化部２５０２に出力する。

また、この時、復号化動作制御部２５０１は、利得調整部２５０５〜２５０７を全てオフ状態にする。

（パターン３）
復号化動作制御部２５０１は、伝送モード情報Ｍｏｄｅ_ｐｒｅ、Ｍｏｄｅ_ｃｕｒ、Ｍｏｄｅ_ｎｅｘｔが以下の式（１４）を満たす場合、現フレームに対して、Ｍｏｄｅ_ｐｒｅとＭｏｄｅ_ｎｅｘｔの値を用いて、Ｍｏｄｅ_ｐｒｅが示す伝送ビットレートを下限とし、Ｍｏｄｅ_ｎｅｘｔが示す伝送ビットレートを上限としたフェードイン処理を行う。

この時、復号化動作制御部２５０１は、Ｍｏｄｅ_ｎｅｘｔが示す伝送ビットレートに応じて制御スイッチ２５１２〜２５１９の制御を行う。具体的には、復号化動作制御部２５０１は、Ｍｏｄｅ_ｎｅｘｔがｂｉｔｒａｔｅ２の場合は、制御スイッチ２５１２，２５１３、２５１５、２５１６をオン状態にし、制御スイッチ２５１４、２５１７、２５１８をオフ状態にし、制御スイッチ２５１９を加算部２５１０側オン状態にし、基本レイヤ情報源を基本レイヤ復号化部２５０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２５０３に出力する。また、Ｍｏｄｅ_ｎｅｘｔがｂｉｔｒａｔｅ３の場合は、制御スイッチ２５１２をオン状態にし、制御スイッチ２５１３〜２５１８をオフ状態にし、制御スイッチ２５１９を利得調整部２５０５側オン状態にし、基本レイヤ情報源を基本レイヤ復号化部２５０２に出力する。

また、この時、復号化動作制御部２５０１は、Ｍｏｄｅ_ｐｒｅ、Ｍｏｄｅ_ｎｅｘｔが示す伝送ビットレートに応じて利得調整部２５０５〜２５０７の制御を行う。具体的には、復号化動作制御部２５０１は、Ｍｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ３であり、かつＭｏｄｅ_ｎｅｘｔがｂｉｔｒａｔｅ２の場合は、利得調整部２５０６をフェードイン状態にし、利得調整部２５０５、２５０７をオフ状態にする。また、復号化動作制御部２５０１は、Ｍｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ０であり、かつＭｏｄｅ_ｎｅｘｔがｂｉｔｒａｔｅ２の場合は、利得調整部２５０５、２５０６をフェードイン状態にし、利得調整部２５０７をオフ状態にする。また、復号化動作制御部２５０１は、Ｍｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ０であり、かつＭｏｄｅ_ｎｅｘｔがｂｉｔｒａｔｅ３の場合は、利得調整部２５０５をフェードイン状態にし、利得調整部２５０６、２５０７をオフ状態にする。

（パターン４）
復号化動作制御部２５０１は、伝送モード情報Ｍｏｄｅ_ｐｒｅ、Ｍｏｄｅ_ｃｕｒ、Ｍｏｄｅ_ｎｅｘｔが以下の式（１５）を満たす場合、現フレームに対して、Ｍｏｄｅ_ｃｕｒとＭｏｄｅ_ｎｅｘｔの値を用いて、Ｍｏｄｅ_ｃｕｒが示す伝送ビットレートを上限とし、Ｍｏｄｅ_ｎｅｘｔが示す伝送ビットレートを下限としたフェードアウト処理を行う。

この時、復号化動作制御部２５０１は、Ｍｏｄｅ_ｃｕｒが示す伝送ビットレートに応じて制御スイッチ２５１２〜２５１９の制御を行う。具体的には、復号化動作制御部２５０１は、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ１の場合は、制御スイッチ２５１２〜２５１８を全てオン状態にし、制御スイッチ２５１９を加算部２５１１側オン状態にし、基本レイヤ情報源を基本レイヤ復号化部２５０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２５０３に出力し、第２拡張レイヤ情報源符号を第２拡張レイヤ復号化部２５０４に出力する。Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ２の場合は、制御スイッチ２５１２、２５１３、２５１５、２５１６をオン状態にし、制御スイッチ２５１４、２５１７、２５１８をオフ状態にし、制御スイッチ２５１９を加算部２５１０側オン状態にし、基本レイヤ情報源を基本レイヤ復号化部２５０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２５０３に出力する。また、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ３の場合は、制御スイッチ２５１２をオン状態にし、制御スイッチ２５１３〜２５１８をオフ状態にし、制御スイッチ２５１９を利得調整部２５０５側オン状態にし、基本レイヤ情報源を基本レイヤ復号化部２５０２に出力する。

また、この時、復号化動作制御部２５０１は、Ｍｏｄｅ_ｃｕｒ、Ｍｏｄｅ_ｎｅｘｔが示す伝送ビットレートに応じて利得調整部２５０５〜２５０７の制御を行う。具体的には、復号化動作制御部２５０１は、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ１であり、かつＭｏｄｅ_ｎｅｘｔがｂｉｔｒａｔｅ２の場合は、利得調整部２５０７をフェードアウト状態にし、利得調整部２５０５、２５０６をオフ状態にする。また、復号化動作制御部２５０１は、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ１であり、かつＭｏｄｅ_ｎｅｘｔがｂｉｔｒａｔｅ３の場合は、利得調整部２５０６、２５０７をフェードアウト状態にし、利得調整部２５０５をオフ状態にする。また、復号化動作制御部２５０１は、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ１であり、かつＭｏｄｅ_ｎｅｘｔがｂｉｔｒａｔｅ０の場合は、利得調整部２５０５〜２５０７を全てフェードアウト状態にする。また、復号化動作制御部２５０１は、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ２であり、かつＭｏｄｅ_ｎｅｘｔがｂｉｔｒａｔｅ３の場合は、利得調整部２５０６をフェードアウト状態にし、利得調整部２５０５、２５０７をオフ状態にする。また、復号化動作制御部２５０１は、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ２であり、かつＭｏｄｅ_ｎｅｘｔがｂｉｔｒａｔｅ０の場合は、利得調整部２５０５、２５０６、をフェードアウト状態にし、利得調整部２５０７をオフ状態にする。また、復号化動作制御部２５０１は、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ３であり、かつＭｏｄｅ_ｎｅｘｔがｂｉｔｒａｔｅ０の場合は、利得調整部２５０５をフェードアウト状態にし、利得調整部２５０６、２５０７をオフ状態にする。

（パターン５）
復号化動作制御部２５０１は、伝送モード情報Ｍｏｄｅ_ｐｒｅ、Ｍｏｄｅ_ｃｕｒ、Ｍｏｄｅ_ｎｅｘｔが以下の式（１６）を満たす場合、現フレームに対して、Ｍｏｄｅ_ｐｒｅとＭｏｄｅ_ｃｕｒの値を用いて、Ｍｏｄｅ_ｐｒｅが示す伝送ビットレートを下限とし、Ｍｏｄｅ_ｃｕｒが示す伝送ビットレートを上限としたフェードイン処理を行う。

この時、復号化動作制御部２５０１は、Ｍｏｄｅ_ｃｕｒが示す伝送ビットレートに応じて制御スイッチ２５１２〜２５１９の制御を行う。具体的には、復号化動作制御部２５０１は、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ１の場合は、制御スイッチ２５１２〜２５１８を全てオン状態にし、制御スイッチ２５１９を加算部２５１１側オン状態にし、基本レイヤ情報源を基本レイヤ復号化部２５０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２５０３に出力し、第２拡張レイヤ情報源符号を第２拡張レイヤ復号化部２５０４に出力する。Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ２の場合は、制御スイッチ２５１２、２５１３、２５１５、２５１６をオン状態にし、制御スイッチ２５１４、２５１７、２５１８をオフ状態にし、制御スイッチ２５１９を加算部２５１０側オン状態にし、基本レイヤ情報源を基本レイヤ復号化部２５０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２５０３に出力する。また、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ３の場合は、制御スイッチ２５１２をオン状態にし、制御スイッチ２５１３〜２５１８をオフ状態にし、制御スイッチ２５１９を利得調整部２５０５側オン状態にし、基本レイヤ情報源を基本レイヤ復号化部２５０２に出力する。

また、この時、復号化動作制御部２５０１は、Ｍｏｄｅ_ｐｒｅ、Ｍｏｄｅ_ｃｕｒが示す伝送ビットレートに応じて利得調整部２５０５〜２５０７の制御を行う。具体的には、復号化動作制御部２５０１は、Ｍｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ２であり、かつＭｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ１の場合は、利得調整部２５０７をフェードイン状態にし、利得調整部２５０５、２５０６をオフ状態にする。また、復号化動作制御部２５０１は、Ｍｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ３であり、かつＭｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ１の場合は、利得調整部２５０６、２５０７をフェードイン状態にし、利得調整部２５０５をオフ状態にする。また、復号化動作制御部２５０１は、Ｍｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ０であり、かつＭｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ１の場合は、利得調整部２５０５〜２５０７を全てフェードイン状態にする。また、復号化動作制御部２５０１は、Ｍｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ３であり、かつＭｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ２の場合は、利得調整部２５０６をフェードイン状態にし、利得調整部２５０５、２５０７をオフ状態にする。また、復号化動作制御部２５０１は、Ｍｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ０であり、かつＭｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ２の場合は、利得調整部２５０５、２５０６をフェードイン状態にし、利得調整部２５０７をオフ状態にする。また、復号化動作制御部２５０１は、Ｍｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ０であり、かつＭｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ３の場合は、利得調整部２５０５をフェードイン状態にし、利得調整部２５０６、２５０７をオフ状態にする。

（パターン６）
復号化動作制御部２５０１は、伝送モード情報Ｍｏｄｅ_ｐｒｅ、Ｍｏｄｅ_ｃｕｒ、Ｍｏｄｅ_ｎｅｘｔがパターン１〜５中の式（１２）〜式（１６）のどれも満たさない場合、現フレームに対して、Ｍｏｄｅ_ｃｕｒが示す伝送ビットレートで通常の復号化を行う。

この時、復号化動作制御部２５０１は、Ｍｏｄｅ_ｃｕｒが示す伝送ビットレートに応じて制御スイッチ２５１２〜２５１９の制御を行う。具体的には、復号化動作制御部２５０１は、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ１の場合は、制御スイッチ２５１２〜２５１８を全てオン状態にし、制御スイッチ２５１９を加算部２５１１側オン状態にし、基本レイヤ情報源を基本レイヤ復号化部２５０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２５０３に出力し、第２拡張レイヤ情報源符号を第２拡張レイヤ復号化部２５０４に出力する。Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ２の場合は、制御スイッチ２５１２、２５１３、２５１５、２５１６をオン状態にし、制御スイッチ２５１４、２５１７、２５１８をオフ状態にし、制御スイッチ２５１９を加算部２５１０側オン状態にし、基本レイヤ情報源を基本レイヤ復号化部２５０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２５０３に出力する。また、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ３の場合は、制御スイッチ２５１２をオン状態にし、制御スイッチ２５１３〜２５１８をオフ状態にし、制御スイッチ２５１９を利得調整部２５０５側オン状態にし、基本レイヤ情報源を基本レイヤ復号化部２５０２に出力する。

また、この時、復号化動作制御部２５０１は、利得調整部２５０５〜２５０７を全てオフ状態にする。

以上が、復号化動作制御部２５０１による制御スイッチ２５１２〜２５１９、利得調整部２５０５〜２５０７の制御方法、及び各レイヤの復号化部に出力する情報源符号の決定方法の説明である。

次に、復号化動作制御部２５０１は、前フレームに対する伝送モード情報Ｍｏｄｅ_ｐｒｅを記憶するメモリに、現フレームに対する伝送モード情報Ｍｏｄｅ_ｃｕｒを代入し、値を更新する。

基本レイヤ復号化部２５０２は、制御スイッチ２５１２がオン状態である場合は、復号化動作制御部２５０１から出力される基本レイヤ情報源符号を復号化し、これを基本レイヤ復号化信号として利得調整部２５０５に出力する。また、基本レイヤ復号化部２５０２は、制御スイッチ２５１２がオフ状態である場合は、何も動作しない。

第１拡張レイヤ復号化部２５０３は、制御スイッチ２５１３がオン状態の場合は、復号化動作制御部２５０１から出力される第１拡張レイヤ情報源符号を復号化し、これを第１拡張レイヤ復号化信号として利得調整部２５０６に出力する。また、第１拡張レイヤ復号化部２５０３は、制御スイッチ２５１３がオフ状態の場合は、何も動作しない。

第２拡張レイヤ復号化部２５０４は、制御スイッチ２５１４がオン状態の場合は、復号化動作制御部２５０１から出力される第２拡張レイヤ情報源符号を復号化し、これを第２拡張レイヤ復号化信号として利得調整部２５０７に出力する。また、第２拡張レイヤ復号化部２５０４は、制御スイッチ２５１４がオフ状態の場合は、何も動作しない。

また、基本レイヤ復号化部２５０２、第１拡張レイヤ復号化部２５０３、第２拡張レイヤ復号化部２５０４の内部構成は、上述した説明と同一であり、ここでは説明を省略する。

利得調整部２５０５は、基本レイヤ復号化部２５０２から基本レイヤ復号化信号が入力される。また、利得調整部２５０５は、復号化動作制御部２５０１によりフェードアウト／フェードイン／オフ状態が制御される。

利得調整部２５０５は、復号化動作制御部２５０１によりオフ状態に制御された場合は、基本レイヤ復号化部２５０２から得られる基本レイヤ復号化信号をそのまま制御スイッチ２５１５、２５１９に出力する。また、利得調整部２５０５は、復号化動作制御部２５０１によりフェードアウト状態に制御された場合は、以下の式（１７）により、基本レイヤ復号化部２５０２から得られる基本レイヤ復号化信号に対して減衰処理を行い、得られた信号を制御スイッチ２５１５、２５１９に出力する。

ここで、Ｎ_ｓは１フレームにおけるサンプル数Ｎより定められる値であり、Ｘｂａｓｅ_ｉは基本レイヤ復号化信号であり、Ｘｂａｓｅ’_ｉは減衰後の復号化信号である。

また、利得調整部２５０５は、復号化動作制御部２５０１によりフェードイン状態に制御された場合は、以下の式（１８）により、基本レイヤ復号化部２５０２から得られる基本レイヤ復号化信号に対して増幅処理を行い、得られた信号を制御スイッチ２５１５、２５１９に出力する。

ここで、上記式（１７）と同様に、Ｎ_ｓは１フレームにおけるサンプル数Ｎより定められる値であり、Ｘｂａｓｅ_ｉは基本レイヤ復号化信号であり、Ｘｂａｓｅ”_ｉは増幅後の復号化信号である。

利得調整部２５０６は、利得調整部２５０５において、入力信号を第１拡張レイヤ復号化信号に置き換え、制御スイッチ２５１５、２５１９を制御スイッチ２５１６に置き換える以外は利得調整部２５０５の構成と同様であり、説明は省略する。また利得調整部２５０７は、利得調整部２５０５において、入力信号を第２拡張レイヤ復号化信号に置き換え、制御スイッチ２５１５、２５１９を制御スイッチ２５１８に置き換える以外は利得調整部２５０５の構成と同様であり、説明は省略する。

アップサンプリング処理部２５０８は、制御スイッチ２５１５がオン状態の場合、利得調整部２５０５から出力された基本レイヤ復号化信号を第１拡張レイヤサンプリング周波数にアップサンプリングし、アップサンプリング後の信号を加算部２５１０に出力する。なお、アップサンプリング処理部２５０８は、制御スイッチ２５１５がオフ状態の場合には何も動作しない。

加算部２５１０は、制御スイッチ２５１５、２５１６がオン状態の場合、アップサンプリング処理部２５０８から出力される信号と、利得調整部２５０６から出力される第１拡張レイヤ復号化信号を加算し、これを制御スイッチ２５１７、２５１９に出力する。なお、加算部２５１０は、制御スイッチ２５１５、２５１６がオフ状態の場合には何も動作しない。

アップサンプリング処理部２５０９は、制御スイッチ２５１７がオン状態の場合、加算部２５１０から出力された信号を入力サンプリング周波数にアップサンプリングし、アップサンプリング後の信号を加算部２５１１に出力する。なお、アップサンプリング処理部２５０９は、制御スイッチ２５１７がオフ状態の場合には何も動作しない。

加算部２５１１は、制御スイッチ２５１７、２５１８がオン状態の場合、サンプリング調整部２５０９から出力される信号と、利得調整部２５０７から出力される第２拡張レイヤ復号化信号を加算し、これを制御スイッチ２５１９に出力する。なお、加算部２５１１は、制御スイッチ２５１７、２５１８がオフ状態の場合には何も動作しない。

以上が、本実施の形態における図２０の信号復号化装置２００２の構成の説明である。

このように、本実施の形態によれば、各レイヤで扱う信号のサンプリング周波数が異なるスケーラブル符号化／復号化方式（周波数スケーラブル符号化／復号化方式）に対しても、復号化時に用いるレイヤ数が増減することにより発生する異音を抑制することができる。

なお、本実施の形態では、信号符号化装置において、連続するフレーム間の伝送モードの切り替わりを検知し、その情報を符号化情報に含めることにより、信号復号化装置でレイヤ数（伝送ビットレート）が変更する際の異音を抑圧する場合について説明した。なお、本発明はこれに限らず、伝送路中に存在する信号中継装置において伝送ビットレートを切り替えるような状況に対しても、信号符号化装置における処理と同様の処理を行うことにより、信号復号化装置でレイヤ数（伝送ビットレート）が変更する際の異音を抑圧するという場合についても同様に適用することができる。

（実施の形態８）
上述した実施の形態６及び実施の形態７では、信号符号化装置２００１に入力する情報として、現フレームに対する伝送モード情報、及び次フレームに対する伝送モード情報が必要であった。しかし、システム上、予め次フレームの伝送モード情報を入力することができない場合や、伝送誤り等により予期せず伝送ビットレートが切り替わるということも十分考えられる。

本発明は、信号符号化装置において、また伝送路中に存在する信号中継装置において、次フレームに対する伝送モード情報を得ることができない場合に対しても同様に適用することができ、本実施の形態８では、上記のような状況において、信号復号化時にレイヤ数（伝送ビットレート）が変更する際の異音を抑圧する場合について説明する。

本実施の形態における全体的なシステムの構成は実施の形態６の図２０と同様であり、信号符号化装置２００１の作用は実施の形態６と同一である。

図２０の信号符号化装置２００１の構成は、実施の形態６における信号符号化装置の説明と同一であり、ここではその説明は省略する。但し、信号符号化装置２００１に入力される伝送モード情報とは、現フレームに対する伝送モード情報Ｍｏｄｅ_ｃｕｒのみとする。

また、本実施の形態において、信号符号化装置２００１から伝送路２００２に出力される符号化情報のデータ構造を図２６に示す。

伝送モード情報Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ３である場合、符号化情報は、図２６（ａ）に示すように、伝送モード情報Ｍｏｄｅ_ｃｕｒ、及び基本レイヤ情報源符号から構成される。

伝送モード情報Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ２である場合、符号化情報は、図２６（ｂ）に示すように、伝送モード情報Ｍｏｄｅ_ｃｕｒ、基本レイヤ情報源符号、及び第１拡張レイヤ情報源符号から構成される。

伝送モード情報Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ１である場合、符号化情報は、図２６（ｃ）に示すように、伝送モード情報Ｍｏｄｅ_ｃｕｒ、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、及び第２拡張レイヤ情報源符号から構成される。

次に、図２０の信号復号化装置２００３の構成について図２７のブロック図を用いて説明する。

信号復号化装置２００３は、復号化動作制御部２７０１と、制御スイッチ２７０２〜２７０４と、基本レイヤ復号化部２７０５と、第１拡張レイヤ復号化部２７０６と、第２拡張レイヤ復号化部２７０７と利得調整部２７０８〜２７１０と、合成音保存部２７１１〜２７１３と、加算部２７１４、２７１５と再合成処理部２７１６とから主に構成される。

符号化情報は、復号化動作制御部２７０１に入力される。

復号化動作制御部２７０１は、前フレームに対する伝送モード情報（初期値はｂｉｔｒａｔｅ０とし、以下Ｍｏｄｅ_ｐｒｅとする）を記憶するメモリを内部に有し、入力された符号化情報を伝送モード情報Ｍｏｄｅ_ｃｕｒ、及び各レイヤの情報源符号に分離し、伝送モード情報Ｍｏｄｅ_ｐｒｅ、Ｍｏｄｅ_ｃｕｒに応じて、利得調整部２７０８〜２７１０、制御スイッチ２７０２〜２７０４、合成音保存部２７１１〜２７１３、及び再合成処理部２７１６の制御を行い、また各レイヤの情報源符号を基本レイヤ復号化部２７０５、第１拡張レイヤ復号化部２７０６及び第２拡張レイヤ復号化部２７０７に出力する。

次に、伝送モード情報Ｍｏｄｅ_ｐｒｅ、Ｍｏｄｅ_ｃｕｒに応じた、復号化動作制御部２７０１の動作について詳しく説明する。復号化動作制御部２７０１は以下のルールに従って、利得調整部２７０８〜２７１０、制御スイッチ２７０２〜２７０４、合成音保存部２７１１〜２７１３、及び再合成処理部２７１６、出力する情報源符号の制御／決定を行う。

（パターン１）
復号化動作制御部２７０１は、伝送モード情報Ｍｏｄｅ_ｐｒｅ、Ｍｏｄｅ_ｃｕｒが以下の式（１９）を満たす場合、現フレームに対して、Ｍｏｄｅ_ｐｒｅとＭｏｄｅ_ｃｕｒの値を用いて、Ｍｏｄｅ_ｐｒｅが示す伝送ビットレートを下限とし、Ｍｏｄｅ_ｃｕｒが示す伝送ビットレートを上限としたフェードイン処理を行う。

この時、復号化動作制御部２７０１は、Ｍｏｄｅ_ｃｕｒが示す伝送ビットレートに応じて制御スイッチ２７０２〜２７０４の制御を行う。具体的には、復号化動作制御部２７０１は、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ１の場合は、制御スイッチ２７０２〜２７０４を全てオン状態にし、基本レイヤ情報源を基本レイヤ復号化部２７０５に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２７０６に出力し、第２拡張レイヤ情報源符号を第２拡張レイヤ復号化部２７０７に出力する。Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ２の場合は、制御スイッチ２７０２、２７０３をオン状態にし、制御スイッチ２７０４をオフ状態にし、基本レイヤ情報源を基本レイヤ復号化部２７０５に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２７０６に出力する。また、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ３の場合は、制御スイッチ２７０２をオン状態にし、制御スイッチ２７０３、２７０４をオフ状態し、基本レイヤ情報源を基本レイヤ復号化部２７０５に出力する。

また、この時、復号化動作制御部２７０１は、Ｍｏｄｅ_ｐｒｅ、Ｍｏｄｅ_ｃｕｒが示す伝送ビットレートに応じて利得調整部２７０８〜２７１０の制御を行う。具体的には、復号化動作制御部２７０１は、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ１であり、かつＭｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ２の場合は、利得調整部２７１０をフェードイン状態にし、利得調整部２７０８、２７０９をオフ状態にする。また、復号化動作制御部２７０１は、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ１であり、かつＭｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ３の場合は、利得調整部２７０９、２７１０をフェードイン状態にし、利得調整部２７０８をオフ状態にする。また、復号化動作制御部２７０１は、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ１であり、かつＭｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ０の場合は、利得調整部２７０８〜２７１０を全てフェードイン状態にする。また、復号化動作制御部２７０１は、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ２であり、かつＭｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ３の場合は、利得調整部２７０９をフェードイン状態にし、利得調整部２７０８、２７１０をオフ状態にする。また、復号化動作制御部２７０１は、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ２であり、かつＭｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ０の場合は、利得調整部２７０８、２７０９をフェードイン状態にし、利得調整部２７１０をオフ状態にする。また、復号化動作制御部２７０１は、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ３であり、かつＭｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ０の場合は、利得調整部２７０８をフェードイン状態にし、利得調整部２７０９、２７１０をオフ状態にする。

また、この時、復号化動作制御部２７０１は、合成音保存部２７１１〜２７１３、及び再合成処理部２７１６を全てオフ状態にする。

（パターン２）
復号化動作制御部２７０１は、伝送モード情報Ｍｏｄｅ_ｐｒｅ、Ｍｏｄｅ_ｃｕｒが以下の式（２０）を満たす場合、現フレームに対して、Ｍｏｄｅ_ｐｒｅとＭｏｄｅ_ｃｕｒの値を用いて、再合成処理を行う。

この時、復号化動作制御部２７０１は、Ｍｏｄｅ_ｃｕｒが示す伝送ビットレートに応じて制御スイッチ２７０２〜２７０４の制御を行う。具体的には、復号化動作制御部２７０１は、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ１の場合は、制御スイッチ２７０２〜２７０４を全てオン状態にし、基本レイヤ情報源を基本レイヤ復号化部２７０５に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２７０６に出力し、第２拡張レイヤ情報源符号を第２拡張レイヤ復号化部２７０７に出力する。Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ２の場合は、制御スイッチ２７０２、２７０３をオン状態にし、制御スイッチ２７０４をオフ状態にし、基本レイヤ情報源を基本レイヤ復号化部２７０５に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２７０６に出力する。また、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ３の場合は、制御スイッチ２７０２をオン状態にし、制御スイッチ２７０３、２７０４をオフ状態し、基本レイヤ情報源を基本レイヤ復号化部２７０５に出力する。

また、この時、復号化動作制御部２７０１は、利得調整部２７０８〜２７１０を全てオフ状態にする。

また、この時、復号化動作制御部２７０１は、Ｍｏｄｅ_ｐｒｅ、Ｍｏｄｅ_ｃｕｒが示す伝送ビットレートに応じて、合成音保存部２７１１〜２７１３の制御（オン／オフ状態）、及び再合成処理部２７１６の制御（第１拡張レイヤ再合成状態／基本レイヤ再合成状態１／基本レイヤ再合成状態２）を行う。具体的には、復号化動作制御部２７０１は、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ２であり、かつＭｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ１の場合は、合成音保存部２７１２、２７１３をオン状態にし、合成音保存部２７１１をオフ状態にし、再合成処理部２７１６を第１拡張レイヤ再合成状態にする。また、復号化動作制御部２７０１は、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ３であり、かつＭｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ１の場合は、合成音保存部２７１１、２７１３をオン状態にし、合成音保存部２７１２をオフ状態にし、再合成処理部２７１６を基本レイヤ再合成状態１にする。また、復号化動作制御部２７０１は、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ３であり、かつＭｏｄｅ_ｐｒｅがｂｉｔｒａｔｅ２の場合は、合成音保存部２７１１、２７１２をオン状態にし、合成音保存部２７１３をオフ状態にし、再合成処理部２７１６を基本レイヤ再合成状態２にする。

（パターン３）
復号化動作制御部２７０１は、伝送モード情報Ｍｏｄｅ_ｐｒｅ、Ｍｏｄｅ_ｃｕｒが以下の式（２１）を満たす場合、現フレームに対して、Ｍｏｄｅ_ｃｕｒの値を用いて、通常の復号化処理を行う。

この時、復号化動作制御部２７０１は、Ｍｏｄｅ_ｃｕｒが示す伝送ビットレートに応じて制御スイッチ２７０２〜２７０４の制御を行う。具体的には、復号化動作制御部２７０１は、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ１の場合は、制御スイッチ２７０２〜２７０４を全てオン状態にし、基本レイヤ情報源を基本レイヤ復号化部２７０５に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２７０６に出力し、第２拡張レイヤ情報源符号を第２拡張レイヤ復号化部２７０７に出力する。Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ２の場合は、制御スイッチ２７０２、２７０３をオン状態にし、制御スイッチ２７０４をオフ状態にし、基本レイヤ情報源を基本レイヤ復号化部２７０５に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２７０６に出力する。また、Ｍｏｄｅ_ｃｕｒがｂｉｔｒａｔｅ３の場合は、制御スイッチ２７０２をオン状態にし、制御スイッチ２７０３、２７０４をオフ状態し、基本レイヤ情報源を基本レイヤ復号化部２７０５に出力する。

また、この時、復号化動作制御部２７０１は、利得調整部２７０８〜２７１０を全てオフ状態にする。

また、この時、復号化動作制御部２７０１は、合成音保存部２７１１〜２７１３、及び再合成処理部２７１６を全てオフ状態にする。

基本レイヤ復号化部２７０５は、制御スイッチ２７０２がオン状態である場合は、復号化動作制御部２７０１から出力される基本レイヤ情報源符号を復号化し、これを基本レイヤ復号化信号として利得調整部２７０８に出力する。また、基本レイヤ復号化部２７０５は、制御スイッチ２７０２がオフ状態である場合は、何も動作しない。

第１拡張レイヤ復号化部２７０６は、制御スイッチ２７０３がオン状態の場合は、復号化動作制御部２７０１から出力される第１拡張レイヤ情報源符号を復号化し、これを第１拡張レイヤ復号化信号として利得調整部２７０９に出力する。また、第１拡張レイヤ復号化部２７０６は、制御スイッチ２７０３がオフ状態の場合は、何も動作しない。

第２拡張レイヤ復号化部２７０７は、制御スイッチ２７０４がオン状態の場合は、復号化動作制御部２７０１から出力される第２拡張レイヤ情報源符号を復号化し、これを第２拡張レイヤ復号化信号として利得調整部２７１０に出力する。また、第２拡張レイヤ復号化部２７０７は、制御スイッチ２７０４がオフ状態の場合は、何も動作しない。

また、基本レイヤ復号化部２７０５、第１拡張レイヤ復号化部２７０６、第２拡張レイヤ復号化部２７０７の内部構成は、上述した説明と同一であり、ここでは説明を省略する。

利得調整部２７０８は、基本レイヤ復号化部２７０５から基本レイヤ復号化信号が入力される。また、利得調整部２７０８は、復号化動作制御部２７０１によりフェードイン／オフ状態が制御される。

利得調整部２７０８は、復号化動作制御部２７０１によりオフ状態に制御された場合は、基本レイヤ復号化部２７０５から得られる基本レイヤ復号化信号をそのまま合成音保存部２７１１に出力する。また、利得調整部２７０８は、復号化動作制御部２７０１によりフェードイン状態に制御された場合は、以下の式（２２）により、基本レイヤ復号化部２７０５から得られる基本レイヤ復号化信号に対して増幅処理を行い、得られた信号を合成音保存部２７１１に出力する。

ここで、Ｎ_ｓは１フレームにおけるサンプル数Ｎより定められる値であり、Ｘｂａｓｅ_ｉは基本レイヤ復号化信号であり、Ｘｂａｓｅ”_ｉは増幅後の復号化信号である。

利得調整部２７０９は、利得調整部２７０８において、入力信号を第１拡張レイヤ復号化信号に置き換え、合成音保存部２７１１を加算部２７１４に置き換える以外は利得調整部２７０８の構成と同様であり、説明は省略する。また利得調整部２７１０は、利得調整部２７０８において、入力信号を第２拡張レイヤ復号化信号に置き換え、合成音保存部２７１１を加算部２７１５に置き換える以外は利得調整部２７０８の構成と同様であり、説明は省略する。

合成音保存部２７１１は、内部に前フレーム処理時の復号化信号を記憶する内部バッファを有し、復号化動作制御部２７０１により、オン／オフ状態が制御される。合成音保存部２７１１は、オン／オフ状態のどちらである場合にも、利得調整部２７０８から出力される信号を入力し、これを加算部２７１４に出力する。また、合成音保存部２７１１は、復号化動作制御部２７０１により、オン状態に制御された場合においてのみ、内部バッファに格納されている前フレーム処理時に利得調整部２７０８から出力された信号を再合成処理部２７１６に出力する。次に、合成音保存部２７１１は、オン／オフ状態のどちらである場合にも、１フレーム処理毎に、利得調整部２７０８から出力される信号を内部バッファに格納する。ここで、合成音保存部２７１１は、復号化動作制御部２７０１によりオン状態に制御された場合、まず内部バッファに格納されている前フレーム処理時の信号を再合成処理部２７１６に出力した後に、現フレームの信号を内部バッファに格納することで、前フレームの信号を適切に再合成処理部２７１６に出力することができる。

加算部２７１４は、制御スイッチ２７０２、２７０３が共にオン状態である場合は、合成音保存部２７１１から出力される信号と、利得調整部２７０９から出力される信号を加算し、これを合成音保存部２７１２へ出力する。また、加算部２７１４は、制御スイッチ２７０２がオン状態であり、かつ制御スイッチ２７０３がオフ状態である場合は、合成音保存部２７１１から出力される信号を、そのまま合成音保存部２７１２へ出力する。また、加算部２７１４は、制御スイッチ２７０２、２７０３が共にオフ状態である場合は、何も動作しない。

合成音保存部２７１２は、内部に前フレーム処理時の復号化信号を記憶する内部バッファを有し、復号化動作制御部２７０１により、オン／オフ状態が制御される。合成音保存部２７１２は、オン／オフ状態のどちらである場合にも、加算部２７１４から出力される信号を入力し、これを加算部２７１５に出力する。また、合成音保存部２７１２は、復号化動作制御部２７０１により、オン状態に制御された場合においてのみ、内部バッファに格納されている前フレーム処理時に加算部２７１４から出力された信号を再合成処理部２７１６に出力する。次に、合成音保存部２７１２は、オン／オフ状態のどちらである場合にも、１フレーム処理毎に、加算部２７１４から出力される信号をバッファに格納する。ここで、合成音保存部２７１２は、復号化動作制御部２７０１によりオン状態に制御された場合、まず内部バッファに格納されている前フレーム処理時の信号を再合成処理部２７１６に出力した後に、現フレームの信号を内部バッファに格納することで、前フレームの信号を適切に再合成処理部２７１６に出力することができる。

加算部２７１５は、制御スイッチ２７０２〜２７０４が全てオン状態である場合は、合成音保存部２７１２から出力される信号と、利得調整部２７１０から出力される信号を加算し、これを合成音保存部２７１３へ出力する。また、加算部２７１５は、制御スイッチ２７０４がオフ状態である場合は、合成音保存部２７１２から出力される信号を、そのまま合成音保存部２７１３へ出力する。また、加算部２７１５は、制御スイッチ２７０２〜２７０４が全てオフ状態である場合は、何も動作しない。

合成音保存部２７１３は、内部に前フレーム処理時の復号化信号を記憶する内部バッファを有し、復号化動作制御部２７０１により、オン／オフ状態が制御される。合成音保存部２７１３は、オン／オフ状態のどちらである場合にも、加算部２７１５から出力される信号を入力し、これを再合成処理部２７１６に出力する。また、合成音保存部２７１３は、復号化動作制御部２７０１により、オン状態に制御された場合においてのみ、内部バッファに格納されている前フレーム処理時に加算部２７１５から出力された信号を再合成処理部２７１６に出力する。次に、合成音保存部２７１３は、オン／オフ状態のどちらである場合にも、１フレーム処理毎に、加算部２７１５から出力される信号をバッファに格納する。ここで、合成音保存部２７１３は、復号化動作制御部２７０１によりオン状態に制御された場合、まず内部バッファに格納されている前フレーム処理時の信号を再合成処理部２７１６に出力した後に、現フレームの信号を内部バッファに格納することで、前フレームの信号を適切に再合成処理部２７１６に出力することができる。

再合成処理部２７１６は、復号化動作制御部２７０１により、基本レイヤ再合成状態１／基本レイヤ再合成状態２／第１拡張レイヤ再合成状態のいずれかの状態に制御される。以下、各状態に制御された場合の再合成処理部２７１６の動作について詳細に説明する。

（第１拡張レイヤ再合成状態）
再合成処理部２７１６は、復号化動作制御部２７０１により、第１拡張レイヤ再合成状態に制御された場合、合成音保存部２７１３から出力される現フレームの復号化信号、合成音保存部２７１２から出力される前フレームの合成音（第１合成音）、及び合成音保存部２７１３から出力される前フレームの合成音（第２合成音）を入力し、現フレームの復号化信号に対して再合成処理を行う。具体的には、再合成処理部２７１６は、まず、合成音保存部２７１３から出力される現フレームの復号化信号に対して、各音声情報処理関連書（Ｊ．Ｄ．マーケル著「音声の線形予測」（コロナ社）等）に記載の方法でＮ_ｐ次の線形予測分析を行い、線形予測係数（ＬＰＣ係数）α_ｉ（ｉ＝０〜Ｎ_ｐ）を算出する。なお、この際、現フレームの復号化信号の先頭からＮ_ｐ−１個目までのサンプルに対しては、合成音保存部２７１２から出力される第１合成音の最後からＮ_ｐ個のサンプルを利用する。次に、再合成処理部２７１６は、合成音保存部２７１３から出力される現フレームの復号化信号Ｓ_ｉ（ｉ＝０〜Ｎ_ｐ）に対して、算出した線形予測係数を用いて式（２３）のようにして、線形予測誤差信号Ｚ_ｉ（ｉ＝０〜Ｎ_ｐ）を算出する。なお、この時も、現フレームの復号化信号の先頭からＮ_ｐ−１個目までのサンプルに対しては、合成音保存部２７１２から出力される第１合成音の最後からＮ_ｐ個のサンプルを利用する。また、式（２３）中のＮは１フレーム中のサンプル数である。

次に、再合成処理部２７１６は、算出した線形予測誤差信号を用いて式（２４）のようにして、復号化信号を再合成する。なお、この時、線形予測誤差信号の先頭からＮ_ｐ−１個目までのサンプルに対しては、合成音保存部２７１３から出力される第２合成音の最後からＮ_ｐ個のサンプルを利用する。

次に、再合成処理部２７１６は、式（２４）の結果得られる信号を出力信号として出力する。

（基本レイヤ再合成状態１）
また、再合成処理部２７１６は、復号化動作制御部２７０１により、基本レイヤ再合成状態１に制御された場合、合成音保存部２７１３から出力される現フレームの復号化信号、合成音保存部２７１１から出力される前フレームの合成音（第１合成音）、及び合成音保存部２７１３から出力される前フレームの合成音（第２合成音）を入力し、現フレームの復号化信号に対して再合成処理を行う。具体的には、再合成処理部２７１６は、まず、合成音保存部２７１３から出力される現フレームの復号化信号に対して、周知の方式でＮｓ次の線形予測分析を行い、線形予測係数（ＬＰＣ係数）α_ｉ（ｉ＝０〜Ｎ_ｐ）を算出する。なお、この際、現フレームの復号化信号の先頭からＮ_ｐ−１個目までのサンプルに対しては、合成音保存部２７１１から出力される第１合成音の最後からＮ_ｐ個のサンプルを利用する。次に、再合成処理部２７１６は、合成音保存部２７１３から出力される現フレームの復号化信号に対して、算出した線形予測係数を用いて式（２３）のようにして、線形予測誤差信号を算出する。なお、この時も、現フレームの復号化信号の先頭からＮ_ｐ−１個目までのサンプルに対しては、合成音保存部２７１１から出力される第１合成音の最後からＮ個のサンプルを利用する。次に、再合成処理部２７１６は、算出した線形予測誤差信号を用いて式（２４）のようにして、復号化信号を再合成する。なお、この時、線形予測誤差信号の先頭からＮ_ｐ−１個目までのサンプルに対しては、合成音保存部２７１３から出力される第２合成音の最後からＮ個のサンプルを利用する。

次に、再合成処理部２７１６は、式（２４）の結果得られる信号を出力信号として出力する。

（基本レイヤ再合成状態２）
また、再合成処理部２７１６は、復号化動作制御部２７０１により、基本レイヤ再合成状態２に制御された場合、合成音保存部２７１３から出力される現フレームの復号化信号、合成音保存部２７１１から出力される前フレームの合成音（第１合成音）、及び合成音保存部２７１２から出力される前フレームの合成音（第２合成音）を入力し、現フレームの復号化信号に対して再合成処理を行う。具体的には、再合成処理部２７１６は、まず、合成音保存部２７１３から出力される現フレームの復号化信号に対して、周知の方式でＮｓ次の線形予測分析を行い、線形予測係数（ＬＰＣ係数）α_ｉ（ｉ＝０〜Ｎ_ｐ）を算出する。なお、この際、現フレームの復号化信号の先頭からＮ_ｐ−１個目までのサンプルに対しては、合成音保存部２７１１から出力される第１合成音の最後からＮ_ｐ個のサンプルを利用する。次に、再合成処理部２７１６は、合成音保存部２７１３から出力される現フレームの復号化信号に対して、算出した線形予測係数を用いて式（２３）のようにして、線形予測誤差信号を算出する。なお、この時も、現フレームの復号化信号の先頭からＮ_ｐ−１個目までのサンプルに対しては、合成音保存部２７１１から出力される第１合成音の最後からＮ_ｐ個のサンプルを利用する。次に、再合成処理部２７１６は、算出した線形予測誤差信号を用いて式（２４）のようにして、復号化信号を再合成する。なお、この時、線形予測誤差信号の先頭からＮ_ｐ−１個目までのサンプルに対しては、合成音保存部２７１２から出力される第２合成音の最後からＮ_ｐ個のサンプルを利用する。

次に、再合成処理部２７１６は、式（２４）の結果得られる信号を出力信号として出力する。

以上が、本実施の形態における信号復号化装置２００３の内部構成の説明である。

このように、本実施の形態によれば、信号符号化装置において、また伝送路中に存在する信号中継装置において、次フレームに対する伝送モード情報を得ることができない場合に対しても、復号化時に用いるレイヤ数が増減することにより発生する異音を抑制することが可能となる。特に、復号化時に利用するレイヤ数が減少した場合に対しては、前フレームの各レイヤまでの復号化信号を退避しておき、その前フレームの復号化信号を利用してレイヤ数が減少したフレームの復号化信号を再合成することにより、伝送誤りや突然のレイヤ数減少など予期せぬ事態に対しても異音を抑制することができる。

また、本実施の形態では、伝送中の伝送誤り等は信号復号化装置に入力する前までに検出し、信号復号化装置は既に伝送モード情報が変更された後の符号化情報に対して復号化処理を行う場合を説明したが、本発明はこれに限らず、一般に伝送誤りを検出する際の構成と同様に、符号化情報中に伝送誤り検出ビット等を含め、信号復号化装置内に備えられた伝送誤り検出部により伝送誤りを検出し、その結果、復号化時に利用するレイヤ数を変更する場合に対しても同様に適用できる。例えば、前フレームの伝送モード情報がｂｉｔｒａｔｅ１であり、かつ現フレームの伝送モード情報がｂｉｔｒａｔｅ１で伝送される符号化情報において、信号復号化装置内の伝送誤り検出部が、最上位レイヤ（第２拡張レイヤ）の情報源符号に伝送誤りを検出した場合は、上述の（第１拡張レイヤ再合成状態）のように再合成処理を行うことにより、レイヤ数の変化による異音を抑制することができる。

本明細書は、２００４年７月２８日出願の特願２００４−２２０８６７及び２００５年１月１１日出願の特願２００５−００４５４０に基づく。この内容はすべてここに含めておく。

本発明は、パケット通信システムや移動通信システムの通信装置に用いるのに好適である。

本発明は、信号を符号化して伝送する通信システムに用いられる信号復号化装置に関する。

インターネット通信に代表されるパケット通信システムや、音声・楽音信号を伝送する移動通信システムの分野では、音声・楽音信号を伝送すると同時に、ニュース情報などの付加的な音声・楽音情報、文字情報、あるいは画像情報等を伝送する技術が望まれている。

これに対し、中継装置（配信装置）において、符号化装置にて符号化された音声・楽音信号に、符号化した付加情報を単純に多重化して送信するだけでは、伝送する情報量が大幅に増えることになり、通信コスト及び回線使用率も大幅に増加してしまうため、何らかの工夫が必要となる。

この分野の従来技術として、携帯端末同士で音声信号を伝送している際に、中継装置（配信装置）が、通信端末間で伝送する音声・楽音信号を復号化し、これと付加情報と重畳（合成）し、重畳した信号を再度符号化し、相手側通信端末へ伝送するという方法が開示されている（例えば、特許文献１）。

また、近年、音声信号、楽音信号の符号化において、符号化情報の一部からでも音声・楽音信号を復号化でき、パケット損失が発生するような状況においても音質劣化を抑制することができるスケーラブル符号化技術が開発されている（例えば、特許文献２）。

このスケーラブル符号化技術の代表的なものとして、第１階層の符号化部で入力信号を符号化して符号化情報を取得し、さらに上位の階層について第（ｉ−１）階層（ｉは２以上の整数）の符号化部の入力信号と第（ｉ−１）階層の符号化情報の復号化信号との差である残差信号を第ｉ階層の入力信号としてこれを第ｉ階層の符号化部で符号化して符号化情報を取得することを繰り返す方法が知られている。
特開２００３−３０４３３６号公報 特開平１０−９７２９５号公報

しかしながら、上記特許文献１の方法では、中継装置（配信装置）において、符号化されている信号を一度復号化しなければならず、その復号化処理に多大な計算コストが必要となる。また、上記特許文献１は付加情報を音声・楽音信号と重畳する方法であるため、付加情報は音声・楽音信号でなければならず、文字情報や画像情報などの付加情報を扱うことができない。

また、上記特許文献２のように符号化装置にてスケーラブル符号化する方法と、中継装置にて付加情報を重畳する方法とを組み合わせることが考えられるが、これまでこのような技術の具体的な態様の開示はなされていない。

また、上記特許文献２の方法では、伝送中にパケット損失が発生した場合、復号化時に利用する階層の数が変わることにより、伝送ビットレートが急激に変化し、それに伴い大きな異音が発生するという問題がある。

本発明の目的は、スケーラブル符号化／復号化技術を用いる通信において、パケット損失などにより復号化時に利用する階層数が変化した場合に対しても、大きな異音を抑制し、聴感的により良い復号化信号を得られる信号復号化装置を提供することである。

本発明の信号復号化装置は、複数階層で構成された符号化情報を復号化する信号復号化装置であって、各階層の符号化情報を復号化して複数の復号化信号を生成する復号化手段と、前記各復号化信号を加算して加算信号を生成する加算手段と、前記各復号化信号あるいは前記加算信号の利得を調整する利得調整手段と、前後のフレームにおける各階層の符号化情報の有無に基づいて前記利得調整手段を制御する制御手段と、を具備する構成を採る。

本発明によれば、スケーラブル符号化／復号化方式で通信が行われている状況において、パケット損失などにより復号化時に利用する階層数が変化した場合に対しても、時間的に前後のフレームの符号化情報を利用して現フレームの各階層の復号化信号の利得を調整することにより、大きな異音を抑制し、聴感的により良い復号化信号を得ることができる。

以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。なお、以下の各実施の形態では、３階層で構成された階層的な信号符号化／復号化方法によりＣＥＬＰタイプの音声符号化／復号化を行う場合について説明する。なお、階層的な信号符号化方法とは、下位レイヤでの入力信号と出力信号との差分信号を符号化し、符号化情報を出力する信号符号化方法が、上位レイヤに複数存在して階層構造を成している方法である。また、以下の説明において、最下のレイヤ（第１階層）を「基本レイヤ」とし、基本レイヤより上位に存在するレイヤを「拡張レイヤ」とする。

（実施の形態１）
本発明の実施の形態１では、付加情報として即時性が求められる音声情報（例えば地域の緊急災害情報等）を対象とし、伝送される音声・楽音信号よりも付加情報を優先する場合について説明する。

図１は、本実施の形態に係る中継装置を含むシステム構成を示す図である。信号符号化装置１０１は、伝送モード情報（ＳＭＩ）に応じて、入力信号に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行い、符号化により得られた符号化情報を、伝送路Ａ１０２を介して中継装置１０３に送信する。

中継装置１０３は、付加モード情報（ＡＭＩ）及び付加情報が入力された場合には、伝送路Ａ１０２を介して伝送される符号化情報に付加情報を付加する処理を行い、付加処理後の符号化情報（以下、「変換後符号化情報」という）を伝送路Ｂ１０４に送信する。なお、中継装置１０３は、付加モード情報及び付加情報が入力されない場合には、伝送路Ａ１０２を介して伝送される符号化情報を伝送路Ｂ１０４へ出力する。

信号復号化装置１０５は、伝送路Ｂ１０４を介して受信した符号化情報または変換後符号化情報に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号を出力信号として出力する。

次に、図１の信号符号化装置１０１の構成について、図２のブロック図を用いて説明する。なお、信号符号化装置１０１は、入力信号をＮサンプルずつ区切り（Ｎは自然数）、Ｎサンプルを１フレームとしてフレーム毎に符号化を行う。

信号符号化装置１０１は、伝送ビットレート制御部２０１と、制御スイッチ２０２〜２０５と、基本レイヤ符号化部２０６と、基本レイヤ復号化部２０８と、加算部２０７、２１１と、第１拡張レイヤ符号化部２０９と、第１拡張レイヤ復号化部２１０と、第２拡張レイヤ符号化部２１２と、符号化情報統合部２１３とから主に構成される。

伝送モード情報は、伝送ビットレート制御部２０１に入力される。ここで、伝送モード情報とは、入力信号を符号化し伝送する際の伝送ビットレートを指示する情報であり、予め定められた２つ以上の伝送ビットレートの中から一つの伝送ビットレートが伝送モード情報として選択される。なお、本実施の形態においては、伝送モード情報は、予め定められた４種類の伝送ビットレートbitrate0、bitrate1、bitrate2、bitrate3（bitrate0=0、bitrate3＜bitrate2＜bitrate1）の値を取り得るものとする。但し、bitrate0のみ中継装置１０３においてのみ設定されうるものであり、伝送ビットレート制御部２０１に入力される時点では伝送モード情報は、bitrate1、bitrate2、bitrate3の３種類の伝送ビットレートのいずれかであるとする。

伝送ビットレート制御部２０１は、入力した伝送モード情報に応じて、制御スイッチ２０２〜２０５のオン／オフ制御を行う。具体的には、伝送ビットレート制御部２０１は、伝送モード情報がbitrate1である場合、制御スイッチ２０２〜２０５を全てオン状態にする。また、伝送ビットレート制御部２０１は、伝送モード情報がbitrate2である場合、制御スイッチ２０２及び２０３をオン状態にし、制御スイッチ２０４及び２０５をオフ状態にする。また、伝送ビットレート制御部２０１は、伝送モード情報がbitrate3である場合、制御スイッチ２０２〜２０５を全てオフ状態にする。また、伝送ビットレート制御部２０１は、伝送モード情報を符号化情報統合部２１３に出力する。このように、伝送ビットレート制御部２０１が伝送モード情報に応じて制御スイッチをオン／オフ制御することにより、入力信号の符号化に用いる符号化部の組み合わせが決定される。

入力信号は、制御スイッチ２０２及び基本レイヤ符号化部２０６に入力される。

基本レイヤ符号化部２０６は、入力信号に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行い、符号化により得られた情報源符号（以下、「基本レイヤ情報源符号（ＣＤＣＬ）」という）を符号化情報統合部２１３及び制御スイッチ２０３に出力する。なお、基本レイヤ符号化部２０６の内部構成については後述する。

基本レイヤ復号化部２０８は、制御スイッチ２０３がオン状態の場合、基本レイヤ符号化部２０６から出力された基本レイヤ情報源符号に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号（以下、「基本レイヤ復号化信号」という）を加算部２０７に出力する。なお、基本レイヤ復号化部２０８は、制御スイッチ２０３がオフ状態の場合には何も動作しない。なお、基本レイヤ復号化部２０８の内部構成については後述する。

加算部２０７は、制御スイッチ２０２、２０３がオン状態の場合、入力信号に、基本レイヤ復号化信号の極性を反転させた信号を加算し、加算結果である第１差分信号を第１拡張レイヤ符号化部２０９及び制御スイッチ２０４に出力する。なお、加算部２０７は、制御スイッチ２０２、２０３がオフ状態の場合には何も動作しない。

第１拡張レイヤ符号化部２０９は、制御スイッチ２０２、２０３がオン状態の場合、加算部２０７から得られる第１差分信号に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行い、符号化により得られた情報源符号（以下、「第１拡張レイヤ情報源符号（ＣＤＦＥＬ）」という）を制御スイッチ２０５及び符号化情報統合部２１３に出力する。なお、第１拡張レイヤ符号化部２０９は、制御スイッチ２０２、２０３がオフ状態の場合には何も動作しない。

第１拡張レイヤ復号化部２１０は、制御スイッチ２０５がオン状態の場合、第１拡張レイヤ符号化部２０９から出力された第１拡張レイヤ情報源符号に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号（以下、「第１拡張レイヤ復号化信号」という）を加算部２１１に出力する。なお、第１拡張レイヤ復号化部２１０は、制御スイッチ２０５がオフ状態の場合には何も動作しない。

加算部２１１は、制御スイッチ２０４、２０５がオン状態の場合、制御スイッチ２０４から得られる第１差分信号に、第１拡張レイヤ復号化信号の極性を反転させた信号を加算し、加算結果である第２差分信号を第２拡張レイヤ符号化部２１２に出力する。なお、加算部２１１は、制御スイッチ２０４、２０５がオフ状態の場合には何も動作しない。

第２拡張レイヤ符号化部２１２は、制御スイッチ２０４、２０５がオン状態の場合、加算部２１１から出力される第２差分信号に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行い、符号化により得られた情報源符号（以下、「第２拡張レイヤ情報源符号（ＣＤＳＥＬ）」という）を符号化情報統合部２１３に出力する。なお、第２拡張レイヤ符号化部２１２は、制御スイッチ２０４、２０５がオフ状態の場合には何も動作しない。

符号化情報統合部２１３は、基本レイヤ符号化部２０６、第１拡張レイヤ符号化部２０９、及び第２拡張レイヤ符号化部２１２から出力された情報源符号と伝送ビットレート制御部２０１から出力される伝送モード情報とを統合し、符号化情報中に含まれる１ビットの付加情報フラグ（ＡＩＦ）に「０」を代入し、これを符号化情報として伝送路Ａ１０２に出力する。

ここで、付加情報フラグとは、中継装置１０３において、付加情報が付加された場合は「１」、付加情報が付加されない場合は「０」の値をとる１ビットのフラグであり、符号化装置から伝送された時点でのデフォルト値は０とする。

以上が、図１の信号符号化装置１０１の構成の説明である。

次に、伝送前符号化情報のデータ構造（ビットストリーム）について図３を用いて説明する。

伝送モード情報がbitrate3である場合、符号化情報は、図３Ａに示すように、伝送モード情報、基本レイヤ情報源符号、及び付加情報フラグ（値は０）を含む冗長部（ＲＰ）から構成される。

伝送モード情報がbitrate2である場合、符号化情報は、図３（ｂ）に示すように、伝送モード情報、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、及び付加情報フラグ（値は０）を含む冗長部から構成される。

伝送モード情報がbitrate1である場合、符号化情報は、図３（ｃ）に示すように、伝送モード情報、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、第２拡張レイヤ情報源符号、及び付加情報フラグ（値は０）を含む冗長部から構成される。

ここで、図３中のデータ構造における冗長部とは、ビットストリーム中に用意される冗長的なデータ格納部であり、通常は伝送誤り検出・訂正等に利用される。本発明では、中継装置１０３、及び信号復号化装置１０５において、この中の１ビットを付加情報フラグとして利用することとする。詳細な説明は後述する。

次に、図２の基本レイヤ符号化部２０６の内部構成について図４を用いて説明する。ここでは、基本レイヤ符号化部２０６において、ＣＥＬＰタイプの音声符号化を行う場合について説明する。

前処理部４０１は、入力信号に対し、ＤＣ成分を取り除くハイパスフィルタ処理や後続する符号化処理の性能改善につながるような波形整形処理やプリエンファシス処理を行い、これらの処理後の信号（Xin）をＬＰＣ分析部４０２および加算部４０５に出力する。

ＬＰＣ分析部４０２は、Xinを用いて線形予測分析を行い、分析結果（線形予測係数）をＬＰＣ量子化部４０３に出力する。ＬＰＣ量子化部４０３は、ＬＰＣ分析部４０２から出力された線形予測係数（ＬＰＣ）の量子化処理を行い、量子化ＬＰＣを合成フィルタ４０４に出力するとともに量子化ＬＰＣを表す符号（Ｌ）を多重化部４１４に出力する。

合成フィルタ４０４は、量子化ＬＰＣに基づくフィルタ係数により、後述する加算部４１１から出力される駆動音源に対してフィルタ合成を行うことにより合成信号を生成し、合成信号を加算部４０５に出力する。

加算部４０５は、合成信号の極性を反転させてXinに加算することにより誤差信号を算出し、誤差信号を聴覚重み付け部４１２に出力する。

適応音源符号帳４０６は、過去に加算部４１１によって出力された駆動音源をバッファに記憶しており、パラメータ決定部４１３から出力された信号により特定される過去の駆動音源から１フレーム分のサンプルを適応音源ベクトルとして切り出して乗算部４０９に出力する。

量子化利得生成部４０７は、パラメータ決定部４１３から出力された信号によって特定される量子化適応音源利得と量子化固定音源利得とをそれぞれ乗算部４０９と乗算部４１０とに出力する。

固定音源符号帳４０８は、パラメータ決定部４１３から出力された信号によって特定される形状を有するパルス音源ベクトルに拡散ベクトルを乗算して得られた固定音源ベクトルを乗算部４１０に出力する。

乗算部４０９は、量子化利得生成部４０７から出力された量子化適応音源利得を、適応音源符号帳４０６から出力された適応音源ベクトルに乗じて、加算部４１１に出力する。乗算部４１０は、量子化利得生成部４０７から出力された量子化固定音源利得を、固定音源符号帳４０８から出力された固定音源ベクトルに乗じて、加算部４１１に出力する。

加算部４１１は、利得乗算後の適応音源ベクトルと固定音源ベクトルとをそれぞれ乗算部４０９と乗算部４１０とから入力し、これらをベクトル加算し、加算結果である駆動音源を合成フィルタ４０４および適応音源符号帳４０６に出力する。なお、適応音源符号帳４０６に入力された駆動音源は、バッファに記憶される。

聴覚重み付け部４１２は、加算部４０５から出力された誤差信号に対して聴覚的な重み付けをおこない符号化歪みとしてパラメータ決定部４１３に出力する。

パラメータ決定部４１３は、聴覚重み付け部４１２から出力された符号化歪みを最小とする適応音源ベクトル、固定音源ベクトル及び量子化利得を、各々適応音源符号帳４０６、固定音源符号帳４０８及び量子化利得生成部４０７から選択し、選択結果を示す適応音源ベクトル符号（Ａ）、固定音源ベクトル符号（Ｆ）及び音源利得符号（Ｇ）を多重化部４１４に出力する。

多重化部４１４は、ＬＰＣ量子化部４０３から量子化ＬＰＣを表す符号（Ｌ）を入力し、パラメータ決定部４１３から適応音源ベクトルを表す符号（Ａ）、固定音源ベクトルを表す符号（Ｆ）および量子化利得を表す符号（Ｇ）を入力し、これらの情報を多重化して基本レイヤ情報源符号として出力する。

以上が、図２の基本レイヤ符号化部２０６の内部構成の説明である。

なお、図２の第１拡張レイヤ符号化部２０９及び第２拡張レイヤ符号化部２１２の内部構成は、基本レイヤ符号化部２０６と同一であり、入力される信号の種類及び出力される情報源符号の種類のみが異なるので、その説明は省略する。

次に、図２の基本レイヤ復号化部２０８の内部構成について図５を用いて説明する。ここでは、基本レイヤ復号化部２０８において、ＣＥＬＰタイプの音声復号化を行う場合について説明する。

図５において、基本レイヤ復号化部２０８に入力された基本レイヤ情報源符号は、多重化分離部５０１によって個々の符号（Ｌ、Ａ、Ｇ、Ｆ）に分離される。分離されたＬＰＣ符号（Ｌ）はＬＰＣ復号化部５０２に出力され、分離された適応音源ベクトル符号（Ａ）は適応音源符号帳５０５に出力され、分離された音源利得符号（Ｇ）は量子化利得生成部５０６に出力され、分離された固定音源ベクトル符号（Ｆ）は固定音源符号帳５０７に出力される。

ＬＰＣ復号化部５０２は、多重化分離部５０１から出力された符号（Ｌ）から量子化ＬＰＣを復号化し、合成フィルタ５０３に出力する。

適応音源符号帳５０５は、多重化分離部５０１から出力された符号（Ａ）で指定される過去の駆動音源から１フレーム分のサンプルを適応音源ベクトルとして取り出して乗算部５０８に出力する。

量子化利得生成部５０６は、多重化分離部５０１から出力された音源利得符号（Ｇ）で指定される量子化適応音源利得と量子化固定音源利得を復号化し乗算部５０８及び乗算部５０９に出力する。

固定音源符号帳５０７は、多重化分離部５０１から出力された符号（Ｆ）で指定される固定音源ベクトルを生成し、乗算部５０９に出力する。

乗算部５０８は、適応音源ベクトルに量子化適応音源利得を乗算して、加算部５１０に出力する。乗算部５０９は、固定音源ベクトルに量子化固定音源利得を乗算して、加算部５１０に出力する。

加算部５１０は、乗算部５０８、５０９から出力された利得乗算後の適応音源ベクトルと固定音源ベクトルとの加算を行い駆動音源を生成し、これを合成フィルタ５０３及び適応音源符号帳５０５に出力する。

合成フィルタ５０３は、ＬＰＣ復号化部５０２によって復号化されたフィルタ係数を用いて、加算部５１０から出力された駆動音源のフィルタ合成を行い、合成した信号を後処理部５０４に出力する。

後処理部５０４は、合成フィルタ５０３から出力された信号に対して、ホルマント強調やピッチ強調といったような音声の主観的な品質を改善する処理や、定常雑音の主観的品質を改善する処理などを施し、基本レイヤ復号化信号として出力する。

以上が、図２の基本レイヤ復号化部２０８の内部構成の説明である。

なお、図２の第１拡張レイヤ復号化部２１０の内部構成は、基本レイヤ復号化部２０８の内部構成と同一であり、入力される情報源符号の種類及び出力される信号の種類のみが異なるので、その説明は省略する。

次に、図１の中継装置１０３の構成について図６を用いて説明する。

中継装置１０３は、付加情報受信部６０１と、符号化情報解析部６０２と、付加処理部６０３と、符号化情報統合部６０４と、制御スイッチ６０５、６０６とから主に構成される。

付加モード情報及び付加情報は、付加情報受信部６０１に入力される。ここで、付加モード情報とは、付加情報を符号化し伝送する際の伝送ビットレートを指示する情報であり、予め定められた２つ以上の伝送ビットレートの中から、付加情報の種類（カテゴリ）等に応じて、一つの伝送ビットレートが付加モード情報として選択される。なお、本実施の形態においては、付加モード情報は、予め定められた３種類の伝送ビットレートbitrate1’、bitrate2’、bitrate3’（bitrate3’＜bitrate2’＜bitrate1’）の値を取り得るものとする。この伝送ビットレートの値は、付加情報を適当な品質で符号化するために必要な情報量を示し、例えば、クリーン音声（一人）の場合にはbitrate3’が選択され、ノイズ有り音声またはクリーン音声（少人数）の場合にはbitrate2’が選択され、楽音または多人数音声の場合にはbitrate1’が選択されるといったように、付加情報のカテゴリに対応して適切に指定されるものとする。

付加情報受信部６０１は、付加モード情報及び付加情報が入力されたか否かに応じて、制御スイッチ６０５、６０６のオン／オフ制御を行う。具体的には、付加情報受信部６０１は、中継装置１０３に付加モード情報及び付加情報が入力された場合には、制御スイッチ６０５を符号化情報解析部６０２側に接続し、制御スイッチ６０６を符号化情報統合部６０４側に接続する。また、付加情報受信部６０１は、中継装置１０３に付加モード情報及び付加情報が入力されない場合には、制御スイッチ６０５を制御スイッチ６０６側に接続し、制御スイッチ６０６を制御スイッチ６０５側に接続する。このように、中継装置１０３に付加情報が入力されるかどうかに応じて制御スイッチ６０５、６０６をオン／オフ制御することにより、中継装置１０３の動作が決定される。また、付加情報受信部６０１は、中継装置１０３に付加モード情報及び付加情報が入力された場合には、入力された付加モード情報及び付加情報を付加処理部６０３に出力する。また、付加情報受信部６０１は、中継装置１０３に付加モード情報及び付加情報が入力されない場合は、付加処理部６０３には何も出力しない。

符号化情報解析部６０２は、制御スイッチ６０５が符号化情報解析部６０２側に接続されている場合、入力した符号化情報を、伝送モード情報、各レイヤの情報源符号、及び付加情報フラグに分離し、伝送モード情報、及び付加情報フラグを付加処理部６０３に出力し、また、伝送モード情報に応じて、各レイヤの情報源符号を付加処理部６０３に出力する。具体的には、符号化情報から得られる伝送モード情報がbitrate1である場合、基本レイヤ情報源符号、第１拡張レイヤ情報源符号及び第２拡張レイヤ情報源符号を付加処理部６０３に出力する。また、伝送モード情報がbitrate2である場合、基本レイヤ情報源符号及び第１拡張レイヤ情報源符号を付加処理部６０３に出力する。また、伝送モード情報がbitrate3である場合、基本レイヤ情報源符号を付加処理部６０３に出力する。なお、符号化情報解析部６０２は、制御スイッチ６０５が制御スイッチ６０６側に接続されている場合には、何も動作しない。

付加処理部６０３は、符号化情報解析部６０２から、伝送モード情報、付加情報フラグ及び伝送モード情報に応じた各レイヤの情報源符号が入力され、また付加情報受信部６０１から付加モード情報、及び付加情報が入力された場合には、伝送モード情報及び付加モード情報の組み合わせに応じて、各レイヤの情報源符号に対して、付加情報の付加処理を行い、得られた情報源符号、伝送モード情報、付加モード情報、及び付加情報フラグを符号化情報統合部６０４に出力する。また、付加処理部６０３は、符号化情報解析部６０２から、伝送モード情報、付加情報フラグ及び伝送モード情報に応じた各レイヤの情報源符号が入力されず、また付加情報受信部６０１から付加モード情報、及び付加情報が入力されない場合には、何も動作しない。

符号化情報統合部６０４は、付加処理部６０３から伝送モード情報、付加モード情報、付加情報フラグ、及び各種の情報源符号が入力された場合、それらを統合した後、変換後符号化情報として制御スイッチ６０６に出力する。また、符号化情報統合部６０４は、付加処理部６０３から伝送モード情報、付加モード情報、付加情報フラグ、及び各種の情報源符号が入力されない場合には何も動作しない。

以上が、図１の中継装置１０３の構成についての説明である。

次に、図６の付加処理部６０３の構成について図７を用いて説明する。付加処理部６０３は、付加情報符号化部７０１と、付加情報統合部７０２とから主に構成される。

付加情報符号化部７０１は、付加情報受信部６０１から付加モード情報及び付加情報が入力され、符号化情報解析部６０２から伝送モード情報及び付加情報フラグが入力された場合、付加モード情報及び伝送モード情報の組み合わせに応じた伝送ビットレートにより、付加情報に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行い、符号化により得られた情報源符号（以下、「付加情報情報源符号（ＣＤＡＩ）」という）、伝送モード情報及び付加モード情報を付加情報統合部７０２に出力する。なお、付加情報符号化部７０１は、付加モード情報、付加情報、伝送モード情報及び付加情報フラグが入力されない場合には何も動作しない。

以下、付加情報符号化部７０１における符号化処理について伝送モード情報及び付加モード情報の組み合わせに応じた９パターンに分け、具体的に説明する。

付加情報符号化部７０１は、入力される情報（信号）を複数の伝送ビットレートで符号化可能なマルチレート符号化方法を備える。本実施の形態では、付加情報受信部６０１から得られる付加モード情報と符号化情報解析部６０２から得られる伝送モード情報との組み合わせに応じて、予め定められた６種類の伝送ビットレートbitrate1”、bitrate2”、bitrate3”、bitrate4”、bitrate5”、bitrate6”の値を取り得るものとする。また、この６種類の伝送ビットレートの値は、bitrate1、bitrate2及びbitrate3を用いて以下の式（１）ように表せる。

（パターン１）
付加情報符号化部７０１は、付加情報受信部６０１から得られる付加モード情報がbitrate3’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がbitrate3である場合には、付加情報をbitrate3”が示す伝送ビットレートを用いて、ＣＥＬＰタイプの音声符号化方法により符号化を行い、得られた付加情報情報源符号、付加モード情報、伝送モード情報及び付加情報フラグを付加情報統合部７０２に出力する。

（パターン２）
付加情報符号化部７０１は、付加情報受信部６０１から得られる付加モード情報がbitrate3’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がbitrate2である場合には、付加情報をbitrate5”が示す伝送ビットレートを用いて、ＣＥＬＰタイプの音声符号化方法により符号化を行い、得られた付加情報情報源符号、付加モード情報、伝送モード情報及び付加情報フラグを付加情報統合部７０２に出力する。

（パターン３）
付加情報符号化部７０１は、付加情報受信部６０１から得られる付加モード情報がbitrate3’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がbitrate1である場合には、付加情報をbitrate6”が示す伝送ビットレートを用いて、ＣＥＬＰタイプの音声符号化方法により符号化を行い、得られた付加情報情報源符号、付加モード情報、伝送モード情報及び付加情報フラグを付加情報統合部７０２に出力する。

（パターン４）
付加情報符号化部７０１は、付加情報受信部６０１から得られる付加モード情報がbitrate2’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がbitrate3である場合には、bitrate3”が示す伝送ビットレートは、付加情報を符号化するために十分ではないと判断し、付加情報の符号化処理は行わず、付加モード情報、伝送モード情報及び付加情報フラグを付加情報統合部７０２に出力する。

（パターン５）
付加情報符号化部７０１は、付加情報受信部６０１から得られる付加モード情報がbitrate2’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がbitrate2である場合には、付加情報をbitrate2”が示す伝送ビットレートを用いて、ＣＥＬＰタイプの音声符号化方法により符号化を行い、得られた付加情報情報源符号、付加モード情報、伝送モード情報及び付加情報フラグを付加情報統合部７０２に出力する。

（パターン６）
付加情報符号化部７０１は、付加情報受信部６０１から得られる付加モード情報がbitrate2’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がbitrate1である場合には、付加情報をbitrate4”が示す伝送ビットレートを用いて、ＣＥＬＰタイプの音声符号化方法により符号化を行い、得られた付加情報情報源符号、付加モード情報、伝送モード情報及び付加情報フラグを付加情報統合部７０２に出力する。

（パターン７）
付加情報符号化部７０１は、付加情報受信部６０１から得られる付加モード情報がbitrate1’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がbitrate3である場合には、bitrate3”が示す伝送ビットレートは、付加情報を符号化するために十分ではないと判断し、付加情報の符号化処理は行わず、付加モード情報、伝送モード情報及び付加情報フラグを付加情報統合部７０２に出力する。

（パターン８）
付加情報符号化部７０１は、付加情報受信部６０１から得られる付加モード情報がbitrate1’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がbitrate2である場合には、bitrate2”が示す伝送ビットレートは、付加情報を符号化するために十分ではないと判断し、付加情報の符号化処理は行わず、付加モード情報、伝送モード情報及び付加情報フラグを付加情報統合部７０２に出力する。

（パターン９）
付加情報符号化部７０１は、付加情報受信部６０１から得られる付加モード情報がbitrate1’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がbitrate1である場合には、付加情報をbitrate1”が示す伝送ビットレートを用いて、ＣＥＬＰタイプの音声符号化方法により符号化を行い、得られた付加情報情報源符号、付加モード情報、伝送モード情報及び付加情報フラグを付加情報統合部７０２に出力する。

以上が、付加情報符号化部７０１における符号化処理についての説明である。

付加情報統合部７０２は、付加情報符号化部７０１から付加モード情報、付加情報情報源符号、伝送モード情報及び付加情報フラグが入力され、符号化情報解析部６０２から各レイヤの情報源符号が入力された場合、付加モード情報及び伝送モード情報の組み合わせに応じて、各レイヤの情報源符号と付加情報情報源符号との統合処理を行い、得られた情報源符号、付加情報情報源符号、伝送モード情報、付加情報フラグ及び付加モード情報を符号化情報統合部６０４に出力する。なお、付加情報統合部７０２は、付加モード情報、付加情報情報源符号、伝送モード情報、付加情報フラグ及び各レイヤの情報源符号が入力されない場合には何も動作しない。

以下、付加情報統合部７０２における統合処理について伝送モード情報及び付加モード情報の組み合わせに応じた９パターンに分け、具体的に説明する。

（パターン１）
付加情報統合部７０２は、付加情報符号化部７０１から得られる付加モード情報がbitrate3’であり、かつ伝送モード情報がbitrate3である場合には、基本レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にbitrate0を代入し、付加モード情報にbitrate3”を代入し、付加情報情報源符号、付加モード情報、及び伝送モード情報を符号化情報統合部６０４に出力する。また、このとき付加情報統合部７０２は、１の値を代入した付加情報フラグを符号化情報統合部６０４に出力する。

（パターン２）
付加情報統合部７０２は、付加情報符号化部７０１から得られる付加モード情報がbitrate3’であり、かつ伝送モード情報がbitrate2である場合には、第１拡張レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にbitrate3を代入し、付加モード情報にbitrate5”を代入し、基本レイヤ情報源符号、付加情報情報源符号、付加モード情報、及び伝送モード情報を符号化情報統合部６０４に出力する。また、このとき付加情報統合部７０２は、１の値を代入した付加情報フラグを符号化情報統合部６０４に出力する。

（パターン３）
付加情報統合部７０２は、付加情報符号化部７０１から得られる付加モード情報がbitrate3’であり、かつ伝送モード情報がbitrate1である場合には、第２拡張レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にbitrate2を代入し、付加モード情報にbitrate6”を代入し、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、付加情報情報源符号、付加モード情報、及び伝送モード情報を符号化情報統合部６０４に出力する。また、このとき付加情報統合部７０２は、１の値を代入した付加情報フラグを符号化情報統合部６０４に出力する。

（パターン４）
付加情報統合部７０２は、付加情報符号化部７０１から得られる付加モード情報がbitrate2’であり、かつ伝送モード情報がbitrate3である場合には、統合処理は行わず、基本レイヤ情報源符号、及び伝送モード情報を符号化情報統合部６０４に出力する。また、このとき付加情報統合部７０２は、０の値を代入した付加情報フラグを符号化情報統合部６０４に出力する。

（パターン５）
付加情報統合部７０２は、付加情報符号化部７０１から得られる付加モード情報がbitrate2’であり、かつ伝送モード情報がbitrate2である場合には、基本レイヤ情報源符号、及び第１拡張レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にbitrate0を代入し、付加モード情報にbitrate2”を代入し、付加情報情報源符号、付加モード情報、及び伝送モード情報を符号化情報統合部６０４に出力する。また、このとき付加情報統合部７０２は、１の値を代入した付加情報フラグを符号化情報統合部６０４に出力する。

（パターン６）
付加情報統合部７０２は、付加情報符号化部７０１から得られる付加モード情報がbitrate2’であり、かつ伝送モード情報がbitrate1である場合には、第１拡張レイヤ情報源符号、及び第２拡張レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にbitrate3を代入し、付加モード情報にbitrate4”を代入し、基本レイヤ情報源符号、付加情報情報源符号、付加モード情報、及び伝送モード情報を符号化情報統合部６０４に出力する。また、このとき付加情報統合部７０２は、１の値を代入した付加情報フラグを符号化情報統合部６０４に出力する。

（パターン７）
付加情報統合部７０２は、付加情報符号化部７０１から得られる付加モード情報がbitrate1’であり、かつ伝送モード情報がbitrate3である場合には、統合処理は行わず、基本レイヤ情報源符号、及び伝送モード情報を符号化情報統合部６０４に出力する。また、このとき付加情報統合部７０２は、０の値を代入した付加情報フラグを符号化情報統合部６０４に出力する。

（パターン８）
付加情報統合部７０２は、付加情報符号化部７０１から得られる付加モード情報がbitrate1’であり、かつ伝送モード情報がbitrate2である場合には、統合処理は行わず、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、及び伝送モード情報を符号化情報統合部６０４に出力する。また、このとき付加情報統合部７０２は、０の値を代入した付加情報フラグを符号化情報統合部６０４に出力する。

（パターン９）
付加情報統合部７０２は、付加情報符号化部７０１から得られる付加モード情報がbitrate1’であり、かつ伝送モード情報がbitrate1である場合には、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、及び第２拡張レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にbitrate0を代入し、付加モード情報にbitrate1”を代入し、付加情報情報源符号、付加モード情報、及び伝送モード情報を符号化情報統合部６０４に出力する。また、このとき付加情報統合部７０２は、１の値を代入した付加情報フラグを符号化情報統合部６０４に出力する。

以上が、付加情報統合部７０２における統合処理についての説明である。

なお、符号化情報統合部６０４から出力される符号化情報のデータ構造（ビットストリーム）は、付加情報統合部７０２における（パターン１）〜（パターン９）に応じて、それぞれ図８中の（ａ）〜（ｉ）のようなデータ構造となる。

次に、図１の信号復号化装置１０５の構成について図９を用いて説明する。

信号復号化装置１０５は、符号化情報解析部９０１と、復号化動作制御部９０２と、基本レイヤ復号化部９０３と、第１拡張レイヤ復号化部９０４と、第２拡張レイヤ復号化部９０５と、付加情報復号化部９０６と、制御スイッチ９０７〜９１０と、加算部９１１〜９１３とから主に構成される。

符号化情報は、符号化情報解析部９０１に入力される。符号化情報解析部９０１は、入力された符号化情報の付加情報フラグの値が１である場合には、符号化情報を伝送モード情報、付加モード情報、各レイヤの情報源符号、及び付加情報情報源符号に分離し、得られた付加モード情報、伝送モード情報及び各レイヤの情報源符号を復号化動作制御部９０２に出力し、付加モード情報及び付加情報情報源符号を付加情報復号化部９０６に出力する。また、符号化情報解析部９０１は、入力された符号化情報の付加情報フラグの値が０である場合には、符号化情報を伝送モード情報、各レイヤの情報源符号に分離し、得られた伝送モード情報及び各レイヤの情報源符号を復号化動作制御部９０２に出力する。また、符号化情報解析部９０１は、符号化情報の解析結果に応じて制御スイッチ９１０のオン／オフ状態の制御を行う。具体的には、符号化情報解析部９０１は、入力された符号化情報の付加情報フラグの値が０である場合は、制御スイッチ９１０をオフ状態にし、入力された符号化情報の付加情報フラグの値が１である場合は制御スイッチ９１０をオン状態にする。

復号化動作制御部９０２は、符号化情報解析部９０１から得られる伝送モード情報に応じて、制御スイッチ９０７〜９０９のオン／オフ状態の制御を行い、また各レイヤの情報源符号を、基本レイヤ復号化部９０３、第１拡張レイヤ復号化部９０４及び第２拡張レイヤ復号化部９０５に出力する。具体的には、復号化動作制御部９０２は、符号化情報解析部９０１から得られる伝送モード情報がbitrate3である場合には、制御スイッチ９０７をオン状態にし、制御スイッチ９０８、９０９をオフ状態にし、基本レイヤ復号化部９０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部９０４及び第２拡張レイヤ復号化部９０５には何も出力しない。また、復号化動作制御部９０２は、符号化情報解析部９０１から得られる伝送モード情報がbitrate2である場合には、制御スイッチ９０７、９０８をオン状態にし、制御スイッチ９０９をオフ状態にし、基本レイヤ復号化部９０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部９０４に第１拡張レイヤ情報源符号を出力し、第２拡張レイヤ復号化部９０５には何も出力しない。また、復号化動作制御部９０２は、符号化情報解析部９０１から得られる伝送モード情報がbitrate1である場合には、制御スイッチ９０７〜９０９を全てオン状態にし、基本レイヤ復号化部９０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部９０４に第１拡張レイヤ情報源符号を出力し、第２拡張レイヤ復号化部９０５に第２拡張レイヤ情報源符号を出力する。また、復号化動作制御部９０２は、符号化情報解析部９０１から得られる伝送モード情報がbitrate0である場合には、制御スイッチ９０７〜９０９を全てオフ状態にし、基本レイヤ復号化部９０３、第１拡張レイヤ復号化部９０４、及び第２拡張レイヤ復号化部９０５には何も出力しない。

基本レイヤ復号化部９０３は、制御スイッチ９０７がオン状態の場合、復号化動作制御部９０２から出力された基本レイヤ情報源符号に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号（以下、「基本レイヤ復号化信号」という）を加算部９１２に出力する。なお、基本レイヤ復号化部９０３は、制御スイッチ９０７がオフ状態の場合には何も動作しない。

第１拡張レイヤ復号化部９０４は、制御スイッチ９０８がオン状態の場合、復号化動作制御部９０２から出力された第１拡張レイヤ情報源符号に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号（以下、「第１拡張レイヤ復号化信号」という）を加算部９１１に出力する。なお、第１拡張レイヤ復号化部９０４は、制御スイッチ９０８がオフ状態の場合には何も動作しない。

第２拡張レイヤ復号化部９０５は、制御スイッチ９０９がオン状態の場合、復号化動作制御部９０２から出力された第２拡張レイヤ情報源符号に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号（以下、「第２拡張レイヤ復号化信号」という）を加算部９１１に出力する。なお、第２拡張レイヤ復号化部９０５は、制御スイッチ９０９がオフ状態の場合には何も動作しない。

付加情報復号化部９０６は、入力された情報源符号を、複数の種類の伝送ビットレートで復号化可能なマルチレート復号化手法を備える。本実施の形態では、符号化情報解析部９０１から得られる付加モード情報に応じて、予め定められた６種類の伝送ビットレートbitrate1”、bitrate2”、bitrate3”、bitrate4”、bitrate5”、bitrate6”で復号化可能であるものとする。また、この６種類の伝送ビットレートの値は、付加情報符号化部７０１における例と同様に、bitrate1、bitrate2及びbitrate3を用いて上記式（１）のように表せる。付加情報復号化部９０６は、制御スイッチ９１０がオン状態である場合、符号化情報解析部９０１から得られる付加モード情報に応じた伝送ビットレートにより、符号化情報解析部９０１から得られる付加情報情報源符号に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号（以下、「付加情報復号化信号」という）を加算部９１３に出力する。なお、付加情報復号化部９０６は、制御スイッチ９１０がオフ状態の場合には何も動作しない。

なお、基本レイヤ復号化部９０３、第１拡張レイヤ復号化部９０４、第２拡張レイヤ復号化部９０５及び付加情報復号化部９０６の内部構成は、上述した基本レイヤ復号化部２０８と同一であり、入力される情報源符号の種類及び出力される信号の種類のみが異なるので、その説明は省略する。

加算部９１１は、制御スイッチ９０８、９０９がオン状態である場合、第２拡張レイヤ復号化部９０５から出力された第２拡張レイヤ復号化信号と第１拡張レイヤ復号化部９０４から出力された第１拡張レイヤ復号化信号とを加算し、加算後の信号を加算部９１２に出力する。また、加算部９１１は、制御スイッチ９０９がオフ状態であり、かつ、制御スイッチ９０８がオン状態である場合、第１拡張レイヤ復号化部９０４から出力された第１拡張レイヤ復号化信号を加算部９１２に出力する。なお、加算部９１１は、制御スイッチ９０８、９０９がオフ状態である場合、何も動作しない。

加算部９１２は、制御スイッチ９０７、９０８がオン状態である場合、基本レイヤ復号化部９０３から出力された基本レイヤ復号化信号と加算部９１１の出力信号とを加算し、加算後の信号を加算部９１３に出力する。また、加算部９１２は、制御スイッチ９０７がオン状態であり、制御スイッチ９０８がオフ状態である場合、基本レイヤ復号化部９０３から出力された基本レイヤ復号化信号を加算部９１３に出力する。また、加算部９１２は、制御スイッチ９０７、９０８がオフ状態である場合、何も動作しない。

加算部９１３は、制御スイッチ９０７、９１０がオン状態である場合、加算部９１２の出力信号と付加情報復号化部９０６から得られる付加情報復号化信号とを加算し、加算後の信号を出力信号として出力する。また、加算部９１３は、制御スイッチ９０７がオン状態であり、制御スイッチ９１０がオフ状態である場合、加算部９１２の出力信号を出力する。また、加算部９１３は、制御スイッチ９０７がオフ状態であり、制御スイッチ９１０がオン状態である場合、付加情報復号化部９０６から得られる付加情報復号化信号を出力信号として出力する。また、加算部９１３は、制御スイッチ９０７、９１０がオフ状態である場合、何も動作しない。

以上が、図１の信号復号化装置１０５の内部構成の説明である。

このように、本実施の形態によれば、スケーラブル符号化技術を用いて音声・楽音信号等を伝送している中継装置を含めた通信システムにおいて、中継装置に入力された付加情報の種類に応じて適切な情報量分の階層を割り当て、その情報量を用いて符号化された付加情報と、音声・楽音信号の符号化情報を統合し、信号復号化装置に伝送する。これにより、復号化処理における計算コストを抑えることができ、さらに伝送する情報量を増加させることなく、信号符号化装置からの音声・信号と同時に緊急災害情報などの即時性が要求される付加情報を伝送することができる。

なお、本実施の形態では、符号化装置における符号化方法として、ＣＥＬＰタイプの音声符号化／復号化を行う場合について説明したが、本発明はこれに限られず、静止画像、動画像等の音声・楽音信号以外の信号についても同様に適用することができる。

また、本発明は階層を限定するものではなく、複数階層で構成された階層的な信号符号化／復号化方法において、下位レイヤでの入力信号と出力信号との差である残差信号を上位レイヤで符号化する場合について適用することができる。

また、本実施の形態では、中継装置に入力される付加情報は、同じく中継装置に入力される付加モード情報に応じた伝送ビットレートで符号化することを原則としていたため、入力された付加モード情報に応じた伝送ビットレートが、信号符号化装置から中継装置に伝送される音声・楽音信号の伝送ビットレートよりも大きい場合（付加情報符号化部７０１におけるパターン４、パターン７及びパターン８）は、付加情報を送ることができないとして説明した。しかしながら、本発明はこれに限らず、上記のような場合についても、付加モード情報に応じた伝送ビットレートではなく、信号符号化装置から中継装置に伝送される音声・楽音信号の伝送ビットレート以下のビットレートで、付加情報を符号化するという手法を採ることも可能である。また、この時、中継装置に入力された付加モード情報を、符号化に利用した伝送ビットレートに対応する付加モード情報で置き換える必要がある。

また、本実施の形態では、中継装置に入力される付加情報として、即時性の高い地域災害情報などを例に挙げ、付加情報が入力され、符号化装置側から伝送されてきた音声情報と付加情報の両方を同時に送ることができないような場合（付加情報符号化部７０１におけるパターン１、パターン５及びパターン９）は、付加情報を優先するような形態を説明した。しかしながら、本発明はこれに限らず、上記のような場合には、逆に音声情報を優先して復号化側に伝送するといった場合についても、上記のパターン時に、付加情報源符号と、送信装置から伝送される音声・楽音信号の情報源符号に対する伝送ビットレートの割り当てを置き換えることにより、同様に適用することができる。また、この時、復号化装置側においてもそれぞれ符号化側のビットレート制御と対応する復号化方法を行う必要がある。

また、本実施の形態の図６に示した構成を、メモリ、ディスク、テープ、ＣＤ、ＤＶＤ等の機械読み取り可能な記録媒体に記録、書き込みをし、動作を行う場合についても本発明は適用することができ、本実施の形態と同様の作用・効果を得ることができる。

（実施の形態２）
上述した実施の形態１では、中継装置に入力される付加情報として、音声・楽音情報を対象とした場合について説明したが、本発明はこれに限らず、付加情報として、文字情報、静止画像情報、動画像情報等の音声・楽音情報以外の信号を対象とした場合についても同様に適用することができる。

しかし、画像情報等の比較的情報量が多い付加情報については、符号化の圧縮率等を考慮した場合、１フレーム中の情報量だけでは足りない場合、複数のフレームに分割して付加しなければならない。また、音声・楽音信号などに対しても、送信側から伝送される符号化方式の伝送ビットレートが小さいため、指定された付加情報モードでは、１フレーム内には付加できないということも考えられる。

そこで、本発明の実施の形態２では、中継装置において付加情報を複数のフレームに分割して付加し、これを信号復号化装置に伝送する場合について説明する。なお、以下においては、付加情報として、音声・楽音信号を対象とした場合について説明し、画像情報、文字情報については後述する。

本実施の形態における全体的なシステムの構成は、実施の形態１の図１と同様であり、信号符号化装置１０１の作用は実施の形態１と同一である。

以下、本実施の形態における中継装置１０３の作用について説明する。付加モード情報及び付加情報は、中継装置１０３に入力される。中継装置１０３は、付加モード情報及び付加情報が入力された場合は、伝送路Ａ１０２を介して伝送される符号化情報に対して、付加情報の付加処理を行い、得られる付加処理後の符号化情報（変換後符号化情報）を伝送路Ｂ１０４に送信する。中継装置１０３は、付加モード情報及び付加情報が入力されない場合は、伝送路Ａ１０２を介して伝送される符号化情報を伝送路Ｂ１０４へ出力する。

ここで、中継装置１０３に入力される付加モード情報は、上述した付加情報を符号化し伝送する際のビットレートを指示する情報（bitrate1’、bitrate2’、bitrate3’）と、中継装置から付加情報を伝送する手法がリアルタイムであるか、非リアルタイムであるかを指示するリアルタイムフラグとから構成される。ここで、リアルタイムフラグの値が１であることは、付加情報の出力情報を１フレームで伝送することを意味し、リアルタイムフラグの値が０であることは、付加情報の出力情報を複数フレームに分割して伝送することを意味する。

次に、本実施の形態における中継装置１０３の内部構成について説明する。ただし、中継装置１０３の構成自体は、実施の形態１の図６と同様であり、中継装置１０３における付加処理部６０３の付加情報符号化部７０１、付加情報統合部７０２及び符号化情報統合部６０４以外の各構成部分の作用については実施の形態１と同一であるため、説明を省略する。

付加情報符号化部７０１は、付加情報受信部６０１から付加モード情報、付加情報及び符号化情報解析部６０２から伝送モード情報及び付加情報フラグが入力された場合、付加モード情報及び伝送モード情報の組み合わせに応じた伝送ビットレートにより、付加情報に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行い、符号化により得られた情報源符号（以下、「付加情報情報源符号」という）、伝送モード情報及び付加モード情報及び付加情報フラグを付加情報統合部７０２に出力する。また、付加情報符号化部７０１は、内部に情報を蓄積できるメモリを備える。

以下、本実施の形態における付加情報符号化部７０１の符号化処理を伝送モード情報及び付加モード情報の組み合わせに応じた９パターンに分け、具体的に説明する。ただし、パターン４、パターン７及びパターン８以外のパターンについては、リアルタイムフラグの値に関わらず、実施の形態１で説明した処理と同一であるため、説明を省略する。

（パターン４）
付加情報符号化部７０１は、付加情報受信部６０１から得られる付加モード情報がbitrate2’であり、符号化情報解析部６０２から得られる伝送モード情報がbitrate3であり、かつ、付加モード情報に含まれるリアルタイムフラグの値が１である場合には、bitrate3が示す伝送ビットレートは、付加情報を符号化するために十分ではないと判断し、付加情報の符号化処理は行わず、付加モード情報、伝送モード情報及び付加情報フラグを付加情報統合部７０２に出力する（パターン４ａ）。また、付加情報符号化部７０１は、付加情報受信部６０１から得られる付加モード情報がbitrate2’であり、符号化情報解析部６０２から得られる伝送モード情報がbitrate3であり、かつ、付加モード情報に含まれるリアルタイムフラグの値が０である場合には、付加情報をbitrate2”が示す伝送ビットレートにより、ＣＥＬＰタイプの音声復号化方法を用いて符号化を行い、得られた付加情報情報源符号のうちのbitrate3”に相当する付加情報情報源符号の部分情報、伝送モード情報及び付加情報フラグを付加情報統合部７０２に出力する。また、付加情報符号化部７０１は、この場合、幾つのフレームに分割し、このフレーム中の付加情報がその何番目かを示すフレームインデックスを示す情報（フレームインデックス情報）を付加モード情報に加え、これを新たな付加モード情報として付加情報統合部７０２に出力する。（パターン４ｂ）

（パターン７）
付加情報符号化部７０１は、付加情報受信部６０１から得られる付加モード情報がbitrate1’であり、符号化情報解析部６０２から得られる伝送モード情報がbitrate3であり、かつ、付加モード情報に含まれるリアルタイムフラグの値が１である場合には、bitrate3”が示す伝送ビットレートは、付加情報を符号化するために十分ではないと判断し、付加情報の符号化処理は行わず、付加モード情報、伝送モード情報及び付加情報フラグを付加情報統合部７０２に出力する（パターン７ａ）。また、付加情報符号化部７０１は、付加情報受信部６０１から得られる付加モード情報がbitrate1’であり、符号化情報解析部６０２から得られる伝送モード情報がbitrate3であり、かつ、付加モード情報に含まれるリアルタイムフラグの値が０である場合には、付加情報をbitrate1”が示す伝送ビットレートを用いて符号化を行い、得られた付加情報情報源符号のうちのbitrate3”に相当する付加情報情報源符号の部分情報、伝送モード情報及び付加情報フラグを付加情報統合部７０２に出力する。また、付加情報符号化部７０１は、この場合、幾つのフレームに分割し、このフレーム中の付加情報がその何番目かを示すフレームインデックスを示す情報（フレームインデックス情報）を付加モード情報に加え、これを新たな付加モード情報として付加情報統合部７０２に出力する（パターン７ｂ）。

（パターン８）
付加情報符号化部７０１は、付加情報受信部６０１から得られる付加モード情報がbitrate1’であり、符号化情報解析部６０２から得られる伝送モード情報がbitrate2であり、かつ、付加モード情報に含まれるリアルタイムフラグの値が１である場合には、bitrate2”が示す伝送ビットレートは、付加情報を符号化するために十分ではないと判断し、付加情報の符号化処理は行わず、付加モード情報、伝送モード情報及び付加情報フラグを付加情報統合部７０２に出力する（パターン８ａ）。また、付加情報符号化部７０１は、付加情報受信部６０１から得られる付加モード情報がbitrate1’であり、符号化情報解析部６０２から得られる伝送モード情報がbitrate2であり、かつ、付加モード情報に含まれるリアルタイムフラグの値が０である場合には、付加情報をbitrate1”が示す伝送ビットレートを用いて符号化を行い、得られた付加情報情報源符号のうちのbitrate2”に相当する付加情報情報源符号の部分情報、伝送モード情報及び付加情報フラグを付加情報統合部７０２に出力する。また、付加情報符号化部７０１は、この場合、幾つのフレームに分割し、このフレーム中の付加情報がその何番目かを示すフレームインデックスを示す情報（フレームインデックス情報）を付加モード情報に加え、これを新たな付加モード情報として付加情報統合部７０２に出力する（パターン８ｂ）。

なお、パターン４ａ、４ｂ、７ａ、７ｂ、８ａ、８ｂにおいて、当該フレームで伝送しきれなかった付加情報情報源符号の残りの部分情報、並びに、その時点での付加モード情報、伝送モード情報及び付加情報フラグは、付加情報符号化部７０１内に備えられたメモリに蓄えられ、中継装置１０３への新たな付加情報の入力がなくなり次第、蓄えられた順通りに、逐次、付加情報統合部７０２に出力するものとする。

次に、本実施の形態における付加情報統合部７０２の作用について説明する。付加情報統合部７０２は、付加情報符号化部７０１から付加モード情報、付加情報情報源符号、伝送モード情報、付加情報フラグ及び符号化情報解析部６０２から各レイヤの情報源符号が入力された場合、付加モード情報及び伝送モード情報の組み合わせに応じて、各レイヤの情報源符号と付加情報情報源符号との統合処理を行い、得られた情報源符号、付加情報情報源符号、伝送モード情報、付加モード情報及び付加情報フラグを符号化情報統合部６０４に出力する。また、付加情報符号化部７０１から付加モード情報、付加情報情報源符号、伝送モード情報、付加情報フラグ及び符号化情報解析部６０２から各レイヤの情報源符号が入力されない場合には何も動作しない。

以下、本実施の形態における付加情報統合部７０２における統合処理を伝送モード情報及び付加モード情報の組み合わせに応じた９パターンに分け、具体的に説明する。ただし、パターン４、パターン７、及びパターン８以外のパターンについては、リアルタイムフラグの値に関わらず、実施の形態１で説明した処理と同一であるため、説明を省略する。

（パターン４）
付加情報統合部７０２は、付加情報符号化部７０１から得られる付加モード情報がbitrate2’であり、かつ伝送モード情報がbitrate3であり、かつ、付加モード情報に含まれるリアルタイムフラグの値が１である場合には、統合処理は行わず、基本レイヤ情報源符号、及び伝送モード情報を符号化情報統合部６０４に出力する。また、このとき付加情報統合部７０２は、０の値を代入した付加情報フラグを符号化情報統合部６０４に出力する（パターン４ａ）。また、付加情報統合部７０２は、付加情報符号化部７０１から得られる付加モード情報がbitrate2’であり、かつ伝送モード情報がbitrate3であり、かつ、付加モード情報に含まれるリアルタイムフラグの値が０である場合には、基本レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にbitrate0を代入し、付加モード情報にbitrate2”を代入し、付加情報情報源符号、付加モード情報、及び伝送モード情報を符号化情報統合部６０４に出力する。また、このとき付加情報統合部７０２は、１の値を代入付加情報フラグを符号化情報統合部６０４に出力する（パターン４ｂ）。

（パターン７）
付加情報統合部７０２は、付加情報符号化部７０１から得られる付加モード情報がbitrate1’であり、かつ伝送モード情報がbitrate3であり、かつ、付加モード情報に含まれるリアルタイムフラグの値が１である場合には、統合処理は行わず、基本レイヤ情報源符号、及び伝送モード情報を符号化情報統合部６０４に出力する。また、このとき付加情報統合部７０２は、０の値を代入した付加情報フラグを符号化情報統合部６０４に出力する（パターン７ａ）。また、付加情報統合部７０２は、付加情報符号化部７０１から得られる付加モード情報がbitrate1’であり、かつ伝送モード情報がbitrate3であり、かつ、付加モード情報に含まれるリアルタイムフラグの値が０である場合には、基本レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にbitrate0を代入し、付加モード情報にbitrate1”を代入し、付加情報情報源符号、付加モード情報、及び伝送モード情報を符号化情報統合部６０４に出力する。また、このとき付加情報統合部７０２は、１の値を代入した付加情報フラグを符号化情報統合部６０４に出力する（パターン７ｂ）。

（パターン８）
付加情報統合部７０２は、付加情報符号化部７０１から得られる付加モード情報がbitrate1’であり、かつ伝送モード情報がbitrate2であり、かつ、付加モード情報に含まれるリアルタイムフラグの値が１である場合には、統合処理は行わず、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、及び伝送モード情報を符号化情報統合部６０４に出力する。また、このとき付加情報統合部７０２は、０の値を代入した付加情報フラグを符号化情報統合部６０４に出力する（パターン８ａ）。また、付加情報統合部７０２は、付加情報符号化部７０１から得られる付加モード情報がbitrate1’であり、かつ伝送モード情報がbitrate2であり、かつ、付加モード情報に含まれるリアルタイムフラグの値が０である場合には、基本レイヤ情報源符号、及び第１拡張レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にbitrate0を代入し、付加モード情報にbitrate1”を代入し、付加情報情報源符号、付加モード情報、及び伝送モード情報を符号化情報統合部６０４に出力する。また、このとき付加情報統合部７０２は、１の値を代入した付加情報フラグを符号化情報統合部６０４に出力する（パターン８ｂ）。

符号化情報統合部６０４は、付加情報統合部７０２から伝送モード情報、付加モード情報、付加情報フラグ、及び各種の情報源符号が入力された場合、それらを統合した後、変換後符号化情報として制御スイッチ６０６に出力する。また、符号化情報統合部６０４は、付加情報統合部７０２から伝送モード情報、付加モード情報、付加情報フラグ、及び各種の情報源符号が入力されない場合には何も動作しない。

次に、本実施の形態における信号復号化装置１０５について説明する。なお、本実施の形態における信号復号化装置１０５の構成は図９と同一であり、付加情報復号化部９０６以外の作用は、上述した実施の形態１と同一であるため説明を省略する。

付加情報復号化部９０６は、内部に情報源符号を蓄積できるメモリを持ち、また、入力された情報源符号を、複数の種類の伝送ビットレートで復号化可能なマルチレート復号化手法を備える。本実施の形態では、符号化情報解析部９０１から得られる付加モード情報に応じて、予め定められた６種類の伝送ビットレートbitrate1”、bitrate2”、bitrate3”、bitrate4”、bitrate5”、bitrate6”で復号化可能であるものとする。また、この６種類の伝送ビットレートの値は、付加情報符号化部７０１における例と同様に、bitrate1、bitrate2及びbitrate3を用いて上記式（１）のように表せる。

付加情報復号化部９０６は、制御スイッチ９１０がオン状態である場合、符号化情報解析部９０１から得られる付加モード情報に応じた伝送ビットレートにより、符号化情報解析部９０１から得られる付加情報情報源符号に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号（以下、「付加情報復号化信号」という）を加算部９１３に出力する。なお、付加情報復号化部９０６は、制御スイッチ９１０がオフ状態の場合には何も動作しない。

以下に、付加モード情報に応じた復号化方法を説明する。付加情報復号化部９０６は、符号化情報解析部９０１から得られる付加モード情報に含まれるリアルタイムフラグが１の場合は、付加モード情報（bitrate1”〜bitrate6”）が示す伝送ビットレートで付加情報、情報源を復号化し、得られた付加情報復号化信号を加算部９１３に出力する。また、付加情報復号化部９０６は、符号化情報解析部９０１から得られる付加モード情報に含まれるリアルタイムフラグが０の場合には、付加モード情報に含まれるフレームインデックス情報を参照し、複数のフレームに分割された付加情報情報源符号を全て受信するまでは、内部に備えるメモリに付加情報情報源符号を格納し、分割された付加情報情報源符号を全て受信した時点で、全ての付加情報情報源符号を付加モード情報（bitrate1”〜bitrate6”）が示す伝送ビットレートで付加情報、情報源を復号化し、得られた付加情報復号化信号を加算部９１３に出力する。

このように、本実施の形態によれば、伝送中の伝送モード情報が示す伝送ビットレートと付加情報を符号化する際の伝送ビットレートを比較し、付加情報の伝送ビットレートが符号化情報の伝送ビットレートよりも高い場合に、付加情報を複数のフレームに分割して符号化情報に付加し、信号復号化装置１０５に伝送することができる。

また、上述した説明は、伝送される符号化情報よりも付加情報を優先し、付加情報を分割して伝送する際に、全てのビットレートを付加情報に割り当てる場合における処理であるが、符号化情報の一部と分割した付加情報を組み合わせて伝送するという手法も、上述した説明と同様の処理をすることにより可能である。

また、上述した説明における分割手法の他、付加情報の伝送ビットレートを常にbitrate3”に固定し、分割して伝送する（付加情報符号化部７０１におけるパターン１、パターン２、及びパターン３が該当）という手法も可能である。

また、画像（動画、静止画）、文字情報等を付加情報として伝送する場合においても、これまで説明した手法を同様に適用することが可能である。ただし、画像情報、及び文字情報を付加情報とした場合、信号復号化装置１０５内にはそれぞれの付加情報源符号を復号化する手法、また復号化された付加情報を表示する機能、あるいは、情報の着信をユーザに知らせる機能等を有する必要がある。この時、付加情報復号化部９０６は、復号化した付加情報復号化信号を加算部９１３ではなく、適切な表示機能、通知機能を有する装置に出力することになる。付加情報が、音声信号でない場合（画像情報及び付加情報）の復号化装置のブロック図を図１０に示す。図１０は、図９と比較して、加算部９１３を削除した構成を採り、付加情報復号化部９０６の出力信号が加算部９１２の出力と加算されずに出力される。

（実施の形態３）
本発明の実施の形態３では、上述した実施の形態１及び実施の形態２において、付加情報を付加した際、符号化情報のレイヤ数の切り替わりに伴い発生すると考えられる異音を軽減する処理を追加する場合について説明する。なお、本実施の形態の全体的なシステムの構成は、実施の形態１で説明した図１と同様である。

本実施の形態では、信号符号化装置１０１から出力されるデータ構造を図１１に示すものとし、実施の形態１における付加情報フラグを拡張し、新たに付加処理状態情報（初期値は０）として割当てるものとする。付加処理状態情報（ＡＰＳＩ）の説明に関しては後述する。

以下、本実施の形態における中継装置１０３の作用について説明する。付加モード情報及び付加情報は、中継装置１０３に入力される。中継装置１０３は、付加モード情報及び付加情報が入力された場合は、伝送路Ａ１０２を介して伝送される符号化情報に対して、付加情報の付加処理を行い、得られる付加処理後の符号化情報（変換後符号化情報）を伝送路Ｂ１０４に送信する。中継装置１０３は、付加モード情報及び付加情報が入力されない場合は、伝送路Ａ１０２を介して伝送される符号化情報を伝送路Ｂ１０４へ出力する。

次に、本実施の形態における中継装置１０３の内部構成について説明する。ただし、中継装置１０３の構成自体は、実施の形態１の図６と同様であり、中継装置１０３における付加情報受信部６０１、付加処理部６０３の付加情報符号化部７０１、付加情報統合部７０２及び符号化情報統合部６０４以外の各構成部分の作用については実施の形態１と同一であるため、説明を省略する。

付加情報受信部６０１は、その内部に付加情報、及び付加モード情報を格納できるバッファ（内部バッファ）を備え、中継装置１０３に付加モード情報及び付加情報が入力された場合には、入力された時点から一定時間以内において、入力された付加モード情報と、値を１とした付加処理状態情報、とを付加処理部６０３に出力し、入力された付加情報を内部バッファに格納する。ここで、付加処理状態情報とは、「付加情報が入力されていない（値は０）」、「付加情報の入力開始から一定時間内である（値は１）」、「付加情報の入力開始から一定時間後である（値は２）」、「付加情報の入力終了から一定時間内である（値は３）」、という４種類の状態を示す情報であり、デフォルト値は０とする。そして、付加情報受信部６０１は、中継装置１０３に付加モード情報及び付加情報が入力された場合、入力された時点から一定時間経過後に、値を２とした付加処理状態情報とともに、内部バッファに格納してある付加モード情報及び付加情報を格納した順に付加処理部６０３に出力する。また、付加情報受信部６０１は、内部バッファに格納してある付加情報を全て付加処理部６０３に出力した後、一定時間以内は、直前に内部バッファに格納されていた付加モード情報、及び値を３とした付加処理状態情報を付加処理部６０３に出力する。また、付加情報受信部６０１は、中継装置１０３に付加モード情報及び付加情報が入力されない場合は、付加処理部６０３には何も出力しない。

また、付加情報受信部６０１は、中継装置１０３に入力される付加モード情報及び付加情報を受信し、付加モード情報及び付加情報が入力されたか否かに応じて、制御スイッチ６０５、６０６のオン／オフ制御を行う。具体的には、付加情報受信部６０１は、中継装置１０３に付加モード情報及び付加情報が入力されてから一定時間以内の場合（付加処理状態情報の値が１）、あるいは内部バッファにまだ付加情報が格納されている場合（付加処理状態情報の値が２）、あるいは内部バッファが空になってから一定時間経過以内である場合（付加処理状態情報の値が３）には、制御スイッチ６０５を符号化情報解析部６０２側に接続し、制御スイッチ６０６を符号化情報統合部６０４側に接続する。また、付加情報受信部６０１は、中継装置１０３に付加モード情報及び付加情報が入力されない場合、あるいは内部バッファが空になってから一定時間経過した場合（付加処理状態情報の値が０）には、制御スイッチ６０５を制御スイッチ６０６側に接続し、制御スイッチ６０６を制御スイッチ６０５側に接続する。このように、中継装置１０３に付加情報が入力されるかどうかに応じて制御スイッチ６０５、６０６をオン／オフ制御することにより、中継装置１０３の動作が決定される。

付加処理部６０３は、符号化情報解析部６０２から、伝送モード情報、及び伝送モード情報に応じた各レイヤの情報源符号が入力され、また付加情報受信部６０１から付加モード情報及び付加処理状態情報が入力された場合には、伝送モード情報、付加モード情報及び付加処理状態情報の組み合わせに応じて、各レイヤの情報源符号に対して、付加情報の付加処理を行い、得られた情報源符号、伝送モード情報、付加モード情報及び付加処理状態情報を符号化情報統合部６０４に出力する。また、付加処理部６０３は、符号化情報解析部６０２から、伝送モード情報及び伝送モード情報に応じた各レイヤの情報源符号が入力されず、また付加情報受信部６０１から付加モード情報、及び付加処理状態情報が入力されない場合には、何も動作しない。

次に、図６の付加処理部６０３の構成について図１２を用いて説明する。付加処理部６０３は、付加情報符号化部１２０１と、付加情報統合部１２０２とから主に構成される。

付加情報符号化部１２０１は、付加情報受信部６０１から付加モード情報及び付加処理状態情報が入力され、符号化情報解析部６０２から伝送モード情報が入力された場合、付加モード情報、付加処理状態情報及び伝送モード情報の組み合わせに応じた伝送ビットレートにより、付加情報に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行い、符号化により得られた情報源符号（以下、「付加情報情報源符号」という）、伝送モード情報、付加モード情報、及び付加処理状態情報を付加情報統合部１２０２に出力する。なお、付加情報符号化部１２０１は、付加モード情報、付加処理状態情報、伝送モード情報が入力されない場合には何も動作しない。

付加情報符号化部１２０１は、入力される情報（信号）を複数の伝送ビットレートで符号化可能なマルチレート符号化方法を備える。本実施の形態では、付加情報受信部から得られる付加モード情報と符号化情報解析部６０２から得られる伝送モード情報との組み合わせに応じて、予め定められた６種類の伝送ビットレートbitrate1”、bitrate2”、bitrate3”、bitrate4”、bitrate5”、bitrate6”の値を取り得るものとする。また、この６種類の伝送ビットレートの値は、bitrate1、bitrate2及びbitrate3を用いて上記式（１）のように表せる。

以下、付加情報符号化部１２０１における符号化処理について伝送モード情報、付加モード情報、及び付加処理状態情報の組み合わせに応じた９パターンに分け、具体的に説明する。

（パターン１）
付加情報符号化部１２０１は、付加情報受信部６０１から得られる付加モード情報がbitrate3’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がbitrate3であり、さらに付加情報受信部６０１から得られた付加処理状態情報の値が２である場合は、付加情報をbitrate3”が示す伝送ビットレートを用いて、ＣＥＬＰタイプの音声符号化方法により符号化を行い、得られた付加情報情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を付加情報統合部１２０２に出力する（パターン１ａ）。また、付加情報符号化部１２０１は、付加情報受信部６０１から得られる付加モード情報がbitrate3’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がbitrate3であり、さらに付加情報受信部６０１から得られる付加処理状態情報の値が１または３である場合は、付加モード情報、伝送モード情報、及び付加処理状態情報を付加情報統合部１２０２に出力する（パターン１ｂ）。

（パターン２）
付加情報符号化部１２０１は、付加情報受信部６０１から得られる付加モード情報がbitrate3’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がbitrate2であり、さらに付加情報受信部６０１から得られた付加処理状態情報の値が２である場合は、付加情報をbitrate5”が示す伝送ビットレートを用いて、ＣＥＬＰタイプの音声符号化方法により符号化を行い、得られた付加情報情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を付加情報統合部１２０２に出力する（パターン２ａ）。また、付加情報符号化部１２０１は、付加情報受信部６０１から得られる付加モード情報がbitrate3’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がbitrate2であり、さらに付加情報受信部６０１から得られる付加処理状態情報の値が１または３である場合は、付加モード情報、伝送モード情報、及び付加処理状態情報を付加情報統合部１２０２に出力する（パターン２ｂ）。

（パターン３）
付加情報符号化部１２０１は、付加情報受信部６０１から得られる付加モード情報がbitrate3’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がbitrate1であり、さらに付加情報受信部６０１から得られた付加処理状態情報の値が２である場合は、付加情報をbitrate6”が示す伝送ビットレートを用いて、ＣＥＬＰタイプの音声符号化方法により符号化を行い、得られた付加情報情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を付加情報統合部１２０２に出力する（パターン３ａ）。また、付加情報符号化部１２０１は、付加情報受信部６０１から得られる付加モード情報がbitrate3’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がbitrate1であり、さらに付加情報受信部６０１から得られる付加処理状態情報の値が１または３である場合は、付加モード情報、伝送モード情報、及び付加処理状態情報を付加情報統合部１２０２に出力する（パターン３ｂ）。

（パターン４）
付加情報符号化部１２０１は、付加情報受信部６０１から得られる付加モード情報がbitrate2’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がbitrate3である場合には、bitrate3”が示す伝送ビットレートは、付加情報を符号化するために十分ではないと判断し、付加情報の符号化処理は行わず、付加モード情報、伝送モード情報、及び付加処理状態情報を付加情報統合部１２０２に出力する。

（パターン５）
付加情報符号化部１２０１は、付加情報受信部６０１から得られる付加モード情報がbitrate2’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がbitrate2であり、さらに付加情報受信部６０１から得られた付加処理状態情報の値が２である場合は、付加情報をbitrate2”が示す伝送ビットレートを用いて、ＣＥＬＰタイプの音声符号化方法により符号化を行い、得られた付加情報情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を付加情報統合部１２０２に出力する（パターン５ａ）。また、付加情報符号化部１２０１は、付加情報受信部６０１から得られる付加モード情報がbitrate2’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がbitrate2であり、さらに付加情報受信部６０１から得られる付加処理状態情報の値が１または３である場合は、付加モード情報、伝送モード情報、及び付加処理状態情報を付加情報統合部１２０２に出力する（パターン５ｂ）。

（パターン６）
付加情報符号化部１２０１は、付加情報受信部６０１から得られる付加モード情報がbitrate2’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がbitrate1であり、さらに付加情報受信部６０１から付加情報が入力された場合は、付加情報をbitrate4”が示す伝送ビットレートを用いて、ＣＥＬＰタイプの音声符号化方法により符号化を行い、得られた付加情報情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を付加情報統合部１２０２に出力する（パターン６ａ）。また、付加情報符号化部１２０１は、付加情報受信部６０１から得られる付加モード情報がbitrate2’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がbitrate1であり、さらに付加情報受信部６０１から得られる付加処理状態情報の値が１または３である場合は、付加モード情報、伝送モード情報、及び付加処理状態情報を付加情報統合部１２０２に出力する（パターン６ｂ）。

（パターン７）
付加情報符号化部１２０１は、付加情報受信部６０１から得られる付加モード情報がbitrate1’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がbitrate3である場合には、bitrate3”が示す伝送ビットレートは、付加情報を符号化するために十分ではないと判断し、付加情報の符号化処理は行わず、付加モード情報、伝送モード情報、及び付加処理状態情報を付加情報統合部１２０２に出力する。

（パターン８）
付加情報符号化部１２０１は、付加情報受信部６０１から得られる付加モード情報がbitrate1’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がbitrate2である場合には、bitrate2”が示す伝送ビットレートは、付加情報を符号化するために十分ではないと判断し、付加情報の符号化処理は行わず、付加モード情報、伝送モード情報、及び付加処理状態情報を付加情報統合部１２０２に出力する。

（パターン９）
付加情報符号化部１２０１は、付加情報受信部６０１から得られる付加モード情報がbitrate1’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がbitrate1であり、さらに付加情報受信部６０１から得られる付加処理状態情報の値が２である場合は、付加情報をbitrate1”が示す伝送ビットレートを用いて、ＣＥＬＰタイプの音声符号化方法により符号化を行い、得られた付加情報情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を付加情報統合部１２０２に出力する（パターン９ａ）。また、付加情報符号化部１２０１は、付加情報受信部６０１から得られる付加モード情報がbitrate1’であり、かつ符号化情報解析部６０２から得られる伝送モード情報がbitrate1であり、さらに付加情報受信部６０１から得られる付加処理状態情報の値が１または３である場合は、付加モード情報、伝送モード情報、及び付加処理状態情報を付加情報統合部１２０２に出力する（パターン９ｂ）。

以上が、付加情報符号化部１２０１における符号化処理についての説明である。

付加情報統合部１２０２は、付加情報符号化部１２０１から付加モード情報、伝送モード情報、付加処理状態情報、及び符号化情報解析部６０２から各レイヤの情報源符号が入力された場合、付加モード情報、伝送モード情報、及び付加処理状態情報の組み合わせに応じて、各レイヤの情報源符号と付加情報情報源符号との統合処理を行い、得られた各情報源符号、伝送モード情報、付加モード情報、及び付加処理状態情報を符号化情報統合部６０４に出力する。また、付加情報符号化部１２０１から付加モード情報、伝送モード情報、付加処理状態情報及び符号化情報解析部６０２から各レイヤの情報源情報源符号が入力されない場合には何も動作しない。

以下、付加情報統合部１２０２における統合処理について伝送モード情報、付加モード情報、及び付加処理状態情報の組み合わせに応じた９パターンに分け、具体的に説明する。

（パターン１）
付加情報統合部１２０２は、付加情報符号化部１２０１から得られる付加モード情報がbitrate3’であり、かつ伝送モード情報がbitrate3であり、かつ付加処理状態情報の値が２である場合には、基本レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にbitrate0を代入し、付加モード情報にbitrate3”を代入し、付加情報情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を符号化情報統合部６０４に出力する（パターン１ａ）。また、付加情報統合部１２０２は、付加情報符号化部１２０１から得られる付加モード情報がbitrate3’であり、かつ伝送モード情報がbitrate3であり、かつ付加処理状態情報の値が１または３である場合には、基本レイヤ情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を符号化情報統合部６０４に出力する（パターン１ｂ）。

（パターン２）
付加情報統合部１２０２は、付加情報符号化部１２０１から得られる付加モード情報がbitrate3’であり、かつ伝送モード情報がbitrate2であり、かつ付加処理状態情報の値が２である場合には、第１拡張レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にbitrate3を代入し、付加モード情報にbitrate5”を代入し、基本レイヤ情報源符号、付加情報情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を符号化情報統合部６０４に出力する（パターン２ａ）。また、付加情報統合部１２０２は、付加情報符号化部１２０１から得られる付加モード情報がbitrate3’であり、かつ伝送モード情報がbitrate2であり、かつ付加処理状態情報の値が１または３である場合には、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を符号化情報統合部６０４に出力する（パターン２ｂ）。

（パターン３）
付加情報統合部１２０２は、付加情報符号化部１２０１から得られる付加モード情報がbitrate3’であり、かつ伝送モード情報がbitrate1であり、かつ付加処理状態情報の値が２である場合には、第２拡張レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にbitrate2を代入し、付加モード情報にbitrate6”を代入し、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、付加情報情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を符号化情報統合部６０４に出力する（パターン３ａ）。また、付加情報統合部１２０２は、付加情報符号化部１２０１から得られる付加モード情報がbitrate3’であり、かつ伝送モード情報がbitrate1であり、かつ付加処理状態情報の値が１または３である場合には、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、第２拡張レイヤ情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を符号化情報統合部６０４に出力する（パターン３ｂ）。

（パターン４）
付加情報統合部１２０２は、付加情報符号化部１２０１から得られる付加モード情報がbitrate2’であり、かつ伝送モード情報がbitrate3である場合には、統合処理は行わず、基本レイヤ情報源符号、伝送モード情報、及び付加処理状態情報を符号化情報統合部６０４に出力する。

（パターン５）
付加情報統合部１２０２は、付加情報符号化部１２０１から得られる付加モード情報がbitrate2’であり、かつ伝送モード情報がbitrate2であり、かつ付加処理状態情報の値が２である場合には、基本レイヤ情報源符号、及び第１拡張レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にbitrate0を代入し、付加モード情報にbitrate2”を代入し、付加情報情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を符号化情報統合部６０４に出力する（パターン５ａ）。また、付加情報統合部１２０２は、付加情報符号化部１２０１から得られる付加モード情報がbitrate2’であり、かつ伝送モード情報がbitrate2であり、かつ付加処理状態情報の値が１または３である場合には、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を符号化情報統合部６０４に出力する（パターン５ｂ）。

（パターン６）
付加情報統合部１２０２は、付加情報符号化部１２０１から得られる付加モード情報がbitrate2’であり、かつ伝送モード情報がbitrate1であり、かつ付加処理状態情報の値が２である場合には、第１拡張レイヤ情報源符号、及び第２拡張レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にbitrate3を代入し、付加モード情報にbitrate4”を代入し、基本レイヤ情報源符号、付加情報情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を符号化情報統合部６０４に出力する（パターン６ａ）。また、付加情報統合部１２０２は、付加情報符号化部１２０１から得られる付加モード情報がbitrate2’であり、かつ伝送モード情報がbitrate1であり、かつ付加処理状態情報の値が１または３である場合には、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、第２拡張レイヤ情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を符号化情報統合部６０４に出力する（パターン６ｂ）。

（パターン７）
付加情報統合部１２０２は、付加情報符号化部１２０１から得られる付加モード情報がbitrate1’であり、かつ伝送モード情報がbitrate3である場合には、統合処理は行わず、基本レイヤ情報源符号、伝送モード情報、及び付加処理状態情報を符号化情報統合部６０４に出力する。

（パターン８）
付加情報統合部１２０２は、付加情報符号化部１２０１から得られる付加モード情報がbitrate1’であり、かつ伝送モード情報がbitrate2である場合には、統合処理は行わず、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、伝送モード情報、及び付加処理状態情報を符号化情報統合部６０４に出力する。

（パターン９）
付加情報統合部１２０２は、付加情報符号化部１２０１から得られる付加モード情報がbitrate1’であり、かつ伝送モード情報がbitrate1であり、かつ付加処理状態情報の値が２である場合には、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、及び第２拡張レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にbitrate0を代入し、付加モード情報にbitrate1”を代入し、付加情報情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を符号化情報統合部６０４に出力する（パターン９ａ）。また、付加情報統合部１２０２は、付加情報符号化部１２０１から得られる付加モード情報がbitrate1’であり、かつ伝送モード情報がbitrate1であり、かつ付加処理状態情報の値が１または３である場合には、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、第２拡張レイヤ情報源符号、付加モード情報、伝送モード情報、及び付加処理状態情報を符号化情報統合部６０４に出力する（パターン９ｂ）。

以上が、付加情報統合部１２０２における統合処理についての説明である。

符号化情報統合部６０４は、付加情報統合部１２０２から伝送モード情報、付加モード情報、付加処理状態情報、及び各種の情報源符号が入力された場合、それらを統合した後、得られた符号化情報を、変換後符号化情報として制御スイッチ６０６に出力する。また、符号化情報統合部６０４は、付加情報統合部１２０２から伝送モード情報、付加モード情報、及び各種の情報源符号が入力されない場合には何も動作しない。

また、この時、符号化情報統合部６０４から出力される符号化情報のデータ構造（ビットストリーム）は、付加情報統合部１２０２におけるパターンに応じて、それぞれ図１３中の（ａ）〜（ｏ）のようなデータ構造となる。

次に、本実施の形態における信号復号化装置１０５の構成について図１４を用いて説明する。信号復号化装置１０５は、符号化情報解析部１４０１と、復号化動作制御部１４０２と、基本レイヤ復号化部１４０３と、第１拡張レイヤ復号化部１４０４と、第２拡張レイヤ復号化部１４０５と、付加情報復号化部１４０６と、制御スイッチ１４０７〜１４１０と、利得調整部１４１１〜１４１３と、加算部１４１４〜１４１６とから主に構成される。

符号化情報は、符号化情報解析部１４０１に入力される。符号化情報解析部１４０１は、入力された符号化情報中の付加処理状態情報の値が２である場合は、符号化情報を伝送モード情報、付加モード情報、各レイヤの情報源符号、付加情報情報源符号、及び付加処理状態情報に分離し、得られた伝送モード情報、付加モード情報、各レイヤの情報源符号、及び付加処理状態情報を復号化動作制御部１４０２に出力し、付加モード情報、及び付加情報情報源符号を付加情報復号化部１４０６に出力する。また、符号化情報解析部１４０１は、入力された符号化情報中の付加処理状態情報の値が０である場合は、符号化情報を伝送モード情報、各レイヤの情報源符号、及び付加処理状態情報に分離し、得られた伝送モード情報、各レイヤの情報源符号、及び付加処理状態情報を復号化動作制御部１４０２に出力する。また、符号化情報解析部１４０１は、入力された符号化情報の中の付加処理状態情報の値が１または３である場合は、符号化情報を伝送モード情報、付加モード情報、各レイヤの情報源符号、及び付加処理状態情報に分離し、得られた伝送モード情報、付加モード情報、各レイヤの情報源符号、及び付加処理状態情報を復号化動作制御部１４０２に出力する。また、符号化情報解析部１４０１は、符号化情報の解析結果に応じて制御スイッチ１４１０のオン／オフ状態の制御を行う。具体的には、符号化情報解析部１４０１は、入力された符号化情報中の付加処理状態情報の値が２でない場合は制御スイッチ１４１０をオフ状態にし、入力された符号化情報中の付加処理状態情報の値が２である場合は制御スイッチ１４１０をオン状態にする。

復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる伝送モード情報、付加モード情報、及び付加処理状態情報に応じて、制御スイッチ１４０７〜１４０９の状態の制御、及び利得調整部１４１１〜１４１３の制御（フェードイン／フェードアウト／オフ）を行い、また各レイヤ情報源符号を、基本レイヤ復号化部１４０３、第１拡張レイヤ復号化部１４０４、及び第２拡張レイヤ復号化部１４０５に出力する。

復号化動作制御部１４０２の処理は、通常の復号化処理、フェードアウト処理、フェードイン処理の三パターンに大きく分けられる。ここでは各パターン別にそれぞれの処理を詳細に説明する。

（通常の復号化処理、付加処理状態情報の値が０あるいは２の時）
復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる付加処理状態情報の値が０または２であり、かつ符号化情報解析部１４０１から得られる伝送モード情報がbitrate0である場合は、何も動作しない。

復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる付加処理状態情報の値が０または２であり、かつ符号化情報解析部１４０１から得られる伝送モード情報がbitrate3である場合は、制御スイッチ１４０７をオン状態にし、制御スイッチ１４０８、１４０９をオフ状態にし、また、利得調整部１４１１〜１４１３を全てオフ状態にし、基本レイヤ復号化部１４０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部１４０４、及び第２拡張レイヤ復号化部１４０５には何も出力しない。

復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる付加処理状態情報の値が０または２であり、かつ符号化情報解析部１４０１から得られる伝送モード情報がbitrate2である場合は、制御スイッチ１４０７、１４０８をオン状態にし、制御スイッチ１４０９をオフ状態にし、また、利得調整部１４１１〜１４１３を全てオフ状態にし、基本レイヤ復号化部１４０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部１４０４に第１拡張レイヤ情報源符号を出力し、第２拡張レイヤ復号化部１４０５には何も出力しない。

復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる付加処理状態情報の値が０または２であり、かつ符号化情報解析部１４０１から得られる伝送モード情報がbitrate1である場合は、制御スイッチ１４０７〜１４０９を全てオン状態にし、基本レイヤ復号化部１４０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部１４０４に第１拡張レイヤ情報源符号を出力し、第２拡張レイヤ復号化部１４０５に第２拡張レイヤ情報源符号を出力する。

（フェードアウト処理＝付加処理開始時、付加処理状態情報の値が１の時）
復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる付加処理状態情報の値が１であり、かつ符号化情報解析部１４０１から得られる伝送モード情報がbitrate3であり、かつ符号化情報解析部１４０１から得られる付加モード情報がbitrate3”である場合は、制御スイッチ１４０７をオン状態にし、制御スイッチ１４０８、１４０９をオフ状態にし、また、利得調整部１４１１をフェードアウト状態にし、利得調整部１４１２、１４１３をオフ状態にし、基本レイヤ復号化部１４０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部１４０４、及び第２拡張レイヤ復号化部１４０５には何も出力しない。

復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる付加処理状態情報の値が１であり、かつ符号化情報解析部１４０１から得られる伝送モード情報がbitrate2であり、かつ符号化情報解析部１４０１から得られる付加モード情報がbitrate5”である場合は、制御スイッチ１４０７、１４０８をオン状態にし、制御スイッチ１４０９をオフ状態にし、また、利得調整部１４１２をフェードアウト状態にし、利得調整部１４１１、１４１３をオフ状態にし、基本レイヤ復号化部１４０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部１４０４に第１拡張レイヤ情報源符号を出力し、第２拡張レイヤ復号化部１４０５には何も出力しない。

復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる付加処理状態情報の値が１であり、かつ符号化情報解析部１４０１から得られる伝送モード情報がbitrate2であり、かつ符号化情報解析部１４０１から得られる付加モード情報がbitrate2”である場合は、制御スイッチ１４０７、１４０８をオン状態にし、制御スイッチ１４０９をオフ状態にし、また、利得調整部１４１１、１４１２をフェードアウト状態にし、利得調整部１４１３をオフ状態にし、基本レイヤ復号化部１４０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部１４０４に第１拡張レイヤ情報源符号を出力し、第２拡張レイヤ復号化部１４０５には何も出力しない。

復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる付加処理状態情報の値が１であり、かつ符号化情報解析部１４０１から得られる伝送モード情報がbitrate1であり、かつ符号化情報解析部１４０１から得られる付加モード情報がbitrate6”である場合は、制御スイッチ１４０７〜１４０９をオン状態にし、また、利得調整部１４１３をフェードアウト状態にし、利得調整部１４１１、１４１２をオフ状態にし、基本レイヤ復号化部１４０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部１４０４に第１拡張レイヤ情報源符号を出力し、第２拡張レイヤ復号化部１４０５に第２拡張レイヤ情報源符号を出力する。

復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる付加処理状態情報の値が１であり、かつ符号化情報解析部１４０１から得られる伝送モード情報がbitrate1であり、かつ符号化情報解析部１４０１から得られる付加モード情報がbitrate4”である場合は、制御スイッチ１４０７〜１４０９をオン状態にし、また、利得調整部１４１２、１４１３をフェードアウト状態にし、利得調整部１４１１をオフ状態にし、基本レイヤ復号化部１４０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部１４０４に第１拡張レイヤ情報源符号を出力し、第２拡張レイヤ復号化部１４０５に第２拡張レイヤ情報源符号を出力する。

復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる付加処理状態情報の値が１であり、かつ符号化情報解析部１４０１から得られる伝送モード情報がbitrate1であり、かつ符号化情報解析部１４０１から得られる付加モード情報がbitrate1”である場合は、制御スイッチ１４０７〜１４０９をオン状態にし、また、利得調整部１４１１〜１４１３をフェードアウト状態にし、基本レイヤ復号化部１４０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部１４０４に第１拡張レイヤ情報源符号を出力し、第２拡張レイヤ復号化部１４０５に第２拡張レイヤ情報源符号を出力する。

（フェードイン処理＝付加処理終了時、付加処理状態情報の値が３の時）
復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる付加処理状態情報の値が３であり、かつ符号化情報解析部１４０１から得られる伝送モード情報がbitrate3であり、かつ符号化情報解析部１４０１から得られる付加モード情報がbitrate3”である場合は、制御スイッチ１４０７をオン状態にし、制御スイッチ１４０８、１４０９をオフ状態にし、また、利得調整部１４１１をフェードイン状態にし、利得調整部１４１２、１４１３をオフ状態にし、基本レイヤ復号化部１４０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部１４０４、及び第２拡張レイヤ復号化部１４０５には何も出力しない。

復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる付加処理状態情報の値が１であり、かつ符号化情報解析部１４０１から得られる伝送モード情報がbitrate2であり、かつ符号化情報解析部１４０１から得られる付加モード情報がbitrate5”である場合は、制御スイッチ１４０７、１４０８をオン状態にし、制御スイッチ１４０９をオフ状態にし、また、利得調整部１４１２をフェードイン状態にし、利得調整部１４１１、１４１３をオフ状態にし、基本レイヤ復号化部１４０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部１４０４に第１拡張レイヤ情報源符号を出力し、第２拡張レイヤ復号化部１４０５には何も出力しない。

復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる付加処理状態情報の値が１であり、かつ符号化情報解析部１４０１から得られる伝送モード情報がbitrate2であり、かつ符号化情報解析部１４０１から得られる付加モード情報がbitrate2”である場合は、制御スイッチ１４０７、１４０８をオン状態にし、制御スイッチ１４０９をオフ状態にし、また、利得調整部１４１１、１４１２をフェードイン状態にし、利得調整部１４１３をオフ状態にし、基本レイヤ復号化部１４０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部１４０４に第１拡張レイヤ情報源符号を出力し、第２拡張レイヤ復号化部１４０５には何も出力しない。

復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる付加処理状態情報の値が１であり、かつ符号化情報解析部１４０１から得られる伝送モード情報がbitrate1であり、かつ符号化情報解析部１４０１から得られる付加モード情報がbitrate6”である場合は、制御スイッチ１４０７〜１４０９をオン状態にし、また、利得調整部１４１３をフェードイン状態にし、利得調整部１４１１、１４１２をオフ状態にし、基本レイヤ復号化部１４０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部１４０４に第１拡張レイヤ情報源符号を出力し、第２拡張レイヤ復号化部１４０５に第２拡張レイヤ情報源符号を出力する。

復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる付加処理状態情報の値が１であり、かつ符号化情報解析部１４０１から得られる伝送モード情報がbitrate1であり、かつ符号化情報解析部１４０１から得られる付加モード情報がbitrate4”である場合は、制御スイッチ１４０７〜１４０９をオン状態にし、また、利得調整部１４１２、１４１３をフェードイン状態にし、利得調整部１４１１をオフ状態にし、基本レイヤ復号化部１４０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部１４０４に第１拡張レイヤ情報源符号を出力し、第２拡張レイヤ復号化部１４０５に第２拡張レイヤ情報源符号を出力する。

復号化動作制御部１４０２は、符号化情報解析部１４０１から得られる付加処理状態情報の値が１であり、かつ符号化情報解析部１４０１から得られる伝送モード情報がbitrate1であり、かつ符号化情報解析部１４０１から得られる付加モード情報がbitrate1”である場合は、制御スイッチ１４０７〜１４０９をオン状態にし、また、利得調整部１４１１〜１４１３をフェードイン状態にし、基本レイヤ復号化部１４０３に基本レイヤ情報源符号を出力し、第１拡張レイヤ復号化部１４０４に第１拡張レイヤ情報源符号を出力し、第２拡張レイヤ復号化部１４０５に第２拡張レイヤ情報源符号を出力する。

基本レイヤ復号化部１４０３、第１拡張レイヤ復号化部１４０４、及び第２拡張レイヤ復号化部１４０５は、それぞれ上述した基本レイヤ復号化部９０３、第１拡張レイヤ復号化部９０４、及び第２拡張レイヤ復号化部９０５の構成と同じであるため、説明は省略する。

利得調整部１４１１は、基本レイヤ復号化部１４０３から基本レイヤ復号化信号が入力される。また、利得調整部１４１１は、復号化動作制御部１４０２によりフェードアウト／フェードイン／オフ状態が制御される。

利得調整部１４１１は、復号化動作制御部１４０２によりオフ状態に制御された場合は、基本レイヤ復号化部１４０３から得られる基本レイヤ復号化信号をそのまま加算部１４１５に出力する。また、利得調整部１４１１は、復号化動作制御部１４０２によりフェードアウト状態に制御された場合は、以下の式（２）により、基本レイヤ復号化部１４０３から得られる基本レイヤ復号化信号に対して減衰処理を行い、得られた信号を加算部１４１５に出力する。

ここで、Ｎは中継装置１０３において、付加処理を遅延させる一定時間及び１フレームにおけるサンプル数より定められる値であり、Xbase_iは基本レイヤ復号化信号であり、Xbase’_iは減衰後の復号化信号である。

また、利得調整部１４１１は、復号化動作制御部１４０２によりフェードイン状態に制御された場合は、以下の式（３）により、基本レイヤ復号化部１４０３から得られる基本レイヤ復号化信号に対して増幅処理を行い、得られた信号を加算部１４１５に出力する。

ここで、上記式（２）と同様に、Ｎは中継装置１０３において、付加処理を遅延させる一定時間及び１フレームにおけるサンプル数より定められる値であり、Xbase_iは基本レイヤ復号化信号であり、Xbase”_iは増幅後の復号化信号である。

利得調整部１４１２は、利得調整部１４１１において、入力信号を第１拡張レイヤ復号化信号に置き換える以外は利得調整部１４１１の構成と同様であり、説明は省略する。また利得調整部１４１３は、利得調整部１４１１において、入力信号を第２拡張レイヤ復号化信号に置き換える以外は利得調整部１４１１の構成と同様であり、説明は省略する。

付加情報復号化部１４０６の構成は、上述した付加情報復号化部９０６と同じであり、ここでは説明は省略する。

加算部１４１４は、制御スイッチ１４０８、１４０９がオン状態である場合、利得調整部１４１３から出力された第２拡張レイヤ復号化信号と利得調整部１４１２から出力された第１拡張レイヤ復号化信号とを加算し、加算後の信号を加算部１４１５に出力する。また、加算部１４１４は、制御スイッチ１４０９がオフ状態であり、かつ、制御スイッチ１４０８がオン状態である場合、利得調整部１４１２から出力された第１拡張レイヤ復号化信号を加算部１４１５に出力する。なお、加算部１４１４は、制御スイッチ１４０８、１４０９がオフ状態である場合、何も動作しない。

加算部１４１５は、制御スイッチ１４０７、１４０８がオン状態である場合、利得調整部１４１１から出力された基本レイヤ復号化信号と加算部１４１４の出力信号とを加算し、加算後の信号を加算部１４１６に出力する。また、加算部１４１５は、制御スイッチ１４０７がオン状態であり、制御スイッチ１４０８がオフ状態である場合、利得調整部１４１１から出力された基本レイヤ復号化信号を加算部１４１６に出力する。また、加算部１４１５は、制御スイッチ１４０７、１４０８がオフ状態である場合、何も動作しない。

加算部１４１６は、制御スイッチ１４０７、１４１０がオン状態である場合、加算部１４１５の出力信号と付加情報復号化部１４０６から得られる付加情報復号化信号とを加算し、加算後の信号を出力信号として出力する。また、加算部１４１６は、制御スイッチ１４０７がオン状態であり、制御スイッチ１４１０がオフ状態である場合、加算部１４１５の出力信号を出力する。また、加算部１４１６は、制御スイッチ１４０７がオフ状態であり、制御スイッチ１４１０がオン状態である場合、付加情報復号化部１４０６から得られる付加情報復号化信号を出力信号として出力する。また、加算部１４１６は、制御スイッチ１４０７、１４１０がオフ状態である場合、何も動作しない。

以上が、本実施の形態における信号復号化装置１０５の内部構成の説明である。

このように、本実施の形態によれば、中継装置に付加情報が入力された時点から一定時間遅延をさせて付加処理を行い、信号復号化装置において各レイヤの復号化信号に対して減衰・増幅処理を行うことにより、信号符号化装置から伝送される音声・楽音信号に付加情報を加えることによって発生しうる復号化信号の異音を軽減することができる。

（実施の形態４）
上記実施の形態１では、中継装置に入力される付加情報として、即時性の高い地域災害情報などを例に挙げ、付加情報が入力され、符号化装置側から伝送されてきた音声情報と付加情報の両方を同時に送ることができないような場合（付加情報符号化部７０１におけるパターン１、パターン５及びパターン９）は、付加情報を優先するような形態を説明した。しかし、緊急性がないような付加情報を付加する場合には、上述した処理ではなく、逆に音声情報を優先すべきである。

そこで、本発明の実施の形態４では、中継装置への入力として、付加情報、付加モード情報の他に、音声情報と付加情報の優先度を示す優先度情報を加え、この優先度情報に基づいて音声情報あるいは付加情報のどちらかを選択して伝送する場合について説明する。なお、以下においては、付加情報として、音声・楽音信号を対象とした場合について説明する。

本実施の形態における全体的なシステムの構成を図１５に示す。中継装置１５０１は、付加モード情報、付加情報及び優先度情報が入力された場合には、伝送路Ａ１０２を介して伝送される符号化情報に付加情報を付加する処理を行い、付加処理後の符号化情報（以下、「変換後符号化情報」という）を伝送路Ｂ１０４に送信する。なお、中継装置１５０１は、付加モード情報、付加情報及び優先度情報が入力されない場合には、伝送路Ａ１０２を介して伝送される符号化情報を伝送路Ｂ１０４へ出力する。ここで、優先度情報とは、音声情報と付加情報の優先度を示す「０．０」から「５．０」までの数値であり、「０．０」に近いほど音声情報を優先し、「５．０」に近いほど付加情報を優先することを示す。

次に、本実施の形態の中継装置１５０１の構成について図１６を用いて説明する。なお、本実施の形態において、中継装置１５０１以外の構成は、実施の形態１における図１の構成と同様であり、説明を省略する。

中継装置１５０１は、付加情報受信部１６０１と、符号化情報解析部１６０２と、付加処理部１６０３と、符号化情報統合部１６０４と、制御スイッチ１６０５、１６０６とから主に構成される。

付加モード情報、付加情報及び優先度情報は、付加情報受信部１６０１に入力される。

付加情報受信部１６０１は、付加モード情報、付加情報及び優先度情報が入力されたか否かに応じて、制御スイッチ１６０５、１６０６のオン／オフ制御を行う。具体的には、付加情報受信部１６０１は、中継装置１５０１に付加モード情報、付加情報及び優先度情報が入力された場合には、制御スイッチ１６０５を符号化情報解析部１６０２側に接続し、制御スイッチ１６０６を符号化情報統合部１６０４側に接続する。また、付加情報受信部１６０１は、中継装置１５０１に付加モード情報、付加情報及び優先度情報が入力されない場合には、制御スイッチ１６０５を制御スイッチ１６０６側に接続し、制御スイッチ１６０６を制御スイッチ１６０５側に接続する。このように、中継装置１５０１に付加情報が入力されるかどうかに応じて制御スイッチ１６０５、１６０６をオン／オフ制御することにより、中継装置１５０１の動作が決定される。また、付加情報受信部１６０１は、中継装置１５０１に付加モード情報、付加情報及び優先度情報が入力された場合には、入力された付加モード情報、付加情報及び優先度情報を付加処理部１６０３に出力する。また、付加情報受信部１６０１は、中継装置１５０１に付加モード情報、付加情報及び優先度情報が入力されない場合は、付加処理部１６０３には何も出力しない。

符号化情報解析部１６０２の構成は、上記実施の形態１における符号化情報解析部６０２と同じであるため、ここでは説明は省略する。

付加処理部１６０３は、符号化情報解析部１６０２から、伝送モード情報、付加情報フラグ及び伝送モード情報に応じた各レイヤの情報源符号が入力され、また付加情報受信部１６０１から付加モード情報、付加情報及び優先度情報が入力された場合には、まず優先度情報から、音声情報と付加情報のどちらを優先するかを意味する優先モード情報を決定し、伝送モード情報、付加モード情報及び優先モード情報の組み合わせに応じて、各レイヤの情報源符号に対して、付加情報の付加処理を行い、得られた情報源符号、伝送モード情報、付加モード情報、付加情報フラグ及び優先モード情報を符号化情報統合部１６０４に出力する。また、付加処理部１６０３は、符号化情報解析部１６０２から、伝送モード情報、付加情報フラグ及び伝送モード情報に応じた各レイヤの情報源符号が入力されず、また付加情報受信部１６０１から付加モード情報、付加情報及び優先度情報が入力されない場合には、何も動作しない。

符号化情報統合部１６０４は、付加処理部１６０３から伝送モード情報、付加モード情報、付加情報フラグ及び各種の情報源符号が入力された場合、それらを統合した後、変換後符号化情報として制御スイッチ１６０６に出力する。また、符号化情報統合部１６０４は、付加処理部１６０３から伝送モード情報、付加モード情報、付加情報フラグ及び各種の情報源符号が入力されない場合には何も動作しない。

以上が、図１５の中継装置１５０１の構成についての説明である。

次に、図１６の付加処理部１６０３の構成について図１７を用いて説明する。付加処理部１６０３は、付加情報符号化部１７０１と、付加情報統合部１７０２と、優先モード情報決定部１７０３とから主に構成される。

優先モード情報決定部１７０３は、付加情報受信部１６０１から優先度情報が入力され、優先度情報Ｐと、優先モード情報決定閾値Ｐ_thrを比較し、優先モード情報Ｐ_modeを決定し、これを付加情報符号化部１７０１に出力する。ここで優先モード情報決定閾値Ｐ_thrは、０．０〜５．０までの予め定められた値とする。また、この優先モード情報決定閾値Ｐ_thrは、伝送モード情報、付加モード情報、付加情報のカテゴリ、付加情報が音声信号であった場合に付加情報中に含まれるキーワード、付加情報の平均利得、韻律特性、またユーザ（送受信）側の指示によって変わり得る値とする。例えば、付加モード情報の値が大きい場合（bitrate1’など）には、付加情報が重要であるため、優先モード情報決定閾値Ｐ_thrを小さくし、逆に伝送モード情報の値が大きい場合には優先モード情報決定閾値Ｐ_thrを大きくするといった手法が挙げられる。また、優先モード情報Ｐ_modeは、「０」または「１」の二種類の値をとり、優先モード情報Ｐ_modeが「０」の場合は音声情報を優先し、優先モード情報Ｐ_modeが「１」の場合は付加情報を優先するということを意味する。また、優先モード情報Ｐ_modeは、以下の式（４）により決定される。

付加情報符号化部１７０１は、付加情報受信部１６０１から付加モード情報、付加情報が入力され、符号化情報解析部１６０２から伝送モード情報及び付加情報フラグが入力され、また優先モード情報決定部１７０３から優先モード情報が入力された場合、付加モード情報、伝送モード情報及び優先モード情報の組み合わせに応じた伝送ビットレートにより、付加情報に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行い、符号化により得られた情報源符号（以下、「付加情報情報源符号」という）、伝送モード情報、付加モード情報及び優先モード情報を付加情報統合部１７０２に出力する。なお、付加情報符号化部１７０１は、付加モード情報、付加情報、伝送モード情報、付加情報フラグ及び優先モード情報が入力されない場合には何も動作しない。

以下、付加情報符号化部１７０１における符号化処理について伝送モード情報及び付加モード情報の組み合わせに応じた９パターンに分け、具体的に説明する。但し、パターン１、５、９以外のパターンについては、優先モード情報Ｐ_modeの値に関わらず、上述した実施の形態１の付加情報符号化部７０１の処理パターンと同一であるため、ここでは説明は省略する。

付加情報符号化部１７０１は、入力される情報（信号）を複数の伝送ビットレートで符号化可能なマルチレート符号化方法を備える。本実施の形態では、付加情報受信部１６０１から得られる付加モード情報と符号化情報解析部１６０２から得られる伝送モード情報との組み合わせに応じて、予め定められた６種類の伝送ビットレートbitrate1”、bitrate2”、bitrate3”、bitrate4”、bitrate5”、bitrate6”の値を取り得るものとする。また、この６種類の伝送ビットレートの値は、bitrate1、bitrate2及びbitrate3を用いて上記式（１）ように表せる。

（パターン１）
付加情報符号化部１７０１は、付加情報受信部１６０１から得られる付加モード情報がbitrate3’であり、かつ符号化情報解析部１６０２から得られる伝送モード情報がbitrate3であり、かつ優先モード情報決定部１７０３から得られる優先モード情報Ｐ_modeの値が「１」である場合には、付加情報をbitrate3”が示す伝送ビットレートを用いて、ＣＥＬＰタイプの音声符号化方法により符号化を行い、得られた付加情報情報源符号、付加モード情報、伝送モード情報、付加情報フラグ及び優先モード情報を付加情報統合部１７０２に出力する（パターン１ａ）。

また、付加情報符号化部１７０１は、付加情報受信部１６０１から得られる付加モード情報がbitrate3’であり、かつ符号化情報解析部１６０２から得られる伝送モード情報がbitrate3であり、かつ優先モード情報決定部１７０３から得られる優先モード情報Ｐ_modeの値が「０」である場合には、付加情報の符号化処理は行わず、付加モード情報、伝送モード情報、付加情報フラグ及び優先モード情報を付加情報統合部１７０２に出力する（パターン１ｂ）。

（パターン５）
付加情報符号化部１７０１は、付加情報受信部１６０１から得られる付加モード情報がbitrate2’であり、かつ符号化情報解析部１６０２から得られる伝送モード情報がbitrate2であり、優先モード情報決定部１７０３から得られる優先モード情報Ｐ_modeの値が「１」である場合には、付加情報をbitrate2”が示す伝送ビットレートを用いて、ＣＥＬＰタイプの音声符号化方法により符号化を行い、得られた付加情報情報源符号、付加モード情報、伝送モード情報、付加情報フラグ及び優先モード情報を付加情報統合部１７０２に出力する（パターン５ａ）。

また、付加情報符号化部１７０１は、付加情報受信部１６０１から得られる付加モード情報がbitrate2’であり、かつ符号化情報解析部１６０２から得られる伝送モード情報がbitrate2であり、優先モード情報決定部１７０３から得られる優先モード情報Ｐ_modeの値が「０」である場合には、付加情報の符号化処理は行わず、付加モード情報、伝送モード情報、付加情報フラグ及び優先モード情報を付加情報統合部１７０２に出力する（パターン５ｂ）。

（パターン９）
付加情報符号化部１７０１は、付加情報受信部１６０１から得られる付加モード情報がbitrate1’であり、かつ符号化情報解析部１６０２から得られる伝送モード情報がbitrate1であり、優先モード情報決定部１７０３から得られる優先モード情報Ｐ_modeの値が「１」である場合には、付加情報をbitrate1”が示す伝送ビットレートを用いて、ＣＥＬＰタイプの音声符号化方法により符号化を行い、得られた付加情報情報源符号、付加モード情報、伝送モード情報、付加情報フラグ、優先モード情報を付加情報統合部１７０２に出力する（パターン９ａ）。

また、付加情報符号化部１７０１は、付加情報受信部１６０１から得られる付加モード情報がbitrate1’であり、かつ符号化情報解析部１６０２から得られる伝送モード情報がbitrate1であり、優先モード情報決定部１７０３から得られる優先モード情報Ｐ_modeの値が「１」である場合には、付加情報の符号化処理は行わず、付加モード情報、伝送モード情報、付加情報フラグ及び優先モード情報を付加情報統合部１７０２に出力する（パターン９ｂ）。

以上が、付加情報符号化部１７０１における符号化処理についての説明である。

付加情報統合部１７０２は、付加情報符号化部１７０１から付加モード情報、付加情報情報源符号、伝送モード情報、付加情報フラグ、及び優先モード情報が入力され、符号化情報解析部１６０２から各レイヤの情報源符号が入力された場合、付加モード情報、伝送モード情報、及び優先モード情報の組み合わせに応じて、各レイヤの情報源符号と付加情報情報源符号との統合処理を行い、得られた情報源符号、付加情報情報源符号、伝送モード情報、付加情報フラグ及び付加モード情報を符号化情報統合部１６０４に出力する。なお、付加情報統合部１７０２は、付加モード情報、付加情報情報源符号、伝送モード情報、付加情報フラグ、優先モード情報及び各レイヤの情報源符号が入力されない場合には何も動作しない。

以下、付加情報統合部１７０２における統合処理について伝送モード情報、付加モード情報、及び優先モード情報の組み合わせに応じた９パターンに分け、具体的に説明する。但し、パターン１、５、９以外のパターンについては、優先モード情報Ｐ_modeの値に関わらず、上述した実施の形態１の付加情報統合部７０２の処理パターンと同一であるため、ここでは説明は省略する。

（パターン１）
付加情報統合部１７０２は、付加情報符号化部１７０１から得られる付加モード情報がbitrate3’であり、かつ伝送モード情報がbitrate3であり、かつ優先モード情報Ｐ_modeの値が「１」である場合には、基本レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にbitrate0を代入し、付加モード情報にbitrate3”を代入し、付加情報情報源符号、付加モード情報、及び伝送モード情報を符号化情報統合部１６０４に出力する。また、このとき付加情報統合部１７０２は、「１」の値を代入した付加情報フラグを符号化情報統合部１６０４に出力する（パターン１ａ）。

また、付加情報統合部１７０２は、付加情報符号化部１７０１から得られる付加モード情報がbitrate3’であり、かつ伝送モード情報がbitrate3であり、かつ優先モード情報Ｐ_modeの値が0である場合には、統合処理は行わず、基本レイヤ情報源符号、及び伝送モード情報を符号化情報統合部１６０４に出力する。また、このとき付加情報統合部１７０２は、０の値を代入した付加情報フラグを符号化情報統合部１６０４に出力する（パターン１ｂ）。

（パターン５）
付加情報統合部１７０２は、付加情報符号化部１７０１から得られる付加モード情報がbitrate2’であり、かつ伝送モード情報がbitrate2であり、かつ優先モード情報Ｐ_modeの値が「１」である場合には、基本レイヤ情報源符号、及び第１拡張レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にbitrate0を代入し、付加モード情報にbitrate2”を代入し、付加情報情報源符号、付加モード情報、及び伝送モード情報を符号化情報統合部１６０４に出力する。また、このとき付加情報統合部１７０２は、「１」の値を代入した付加情報フラグを符号化情報統合部１６０４に出力する（パターン５ａ）。

また、付加情報統合部１７０２は、付加情報符号化部１７０１から得られる付加モード情報がbitrate2’であり、かつ伝送モード情報がbitrate2であり、かつ優先モード情報Ｐ_modeの値が「０」である場合には、統合処理は行わず、基本レイヤ情報源符号、第１拡張レイヤ情報源符号及び伝送モード情報を符号化情報統合部１６０４に出力する。また、このとき付加情報統合部１７０２は、「０」の値を代入した付加情報フラグを符号化情報統合部１６０４に出力する（パターン５ｂ）。

（パターン９）
付加情報統合部１７０２は、付加情報符号化部１７０１から得られる付加モード情報がbitrate1’であり、かつ伝送モード情報がbitrate1であり、かつ優先モード情報Ｐ_modeの値が1である場合には、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、及び第２拡張レイヤ情報源符号を付加情報情報源符号で置き換え、伝送モード情報にbitrate0を代入し、付加モード情報にbitrate1”を代入し、付加情報情報源符号、付加モード情報及び伝送モード情報を符号化情報統合部１６０４に出力する。また、このとき付加情報統合部１７０２は、「１」の値を代入した付加情報フラグを符号化情報統合部１６０４に出力する（パターン９ａ）。

また、付加情報統合部１７０２は、付加情報符号化部１７０１から得られる付加モード情報がbitrate1’であり、かつ伝送モード情報がbitrate1であり、かつ優先モード情報Ｐ_modeの値が0である場合には、統合処理は行わず、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、第２拡張レイヤ情報源符号、及び伝送モード情報を符号化情報統合部１６０４に出力する。また、このとき付加情報統合部１７０２は、「０」の値を代入した付加情報フラグを符号化情報統合部１６０４に出力する（パターン９ｂ）。

以上が、付加情報統合部１７０２における統合処理についての説明である。

なお、符号化情報統合部１６０４から出力される符号化情報のデータ構造（ビットストリーム）は、付加情報統合部１７０２における（パターン１）〜（パターン９）に応じて、それぞれ図１８中の（ａ）〜（ｌ）のようなデータ構造となる。

このように、本実施の形態によれば、付加情報に緊急性があるかどうかを意味する優先度情報に応じて音声情報と付加情報のどちらを伝送するかを決定することにより、より柔軟な伝送方式が可能となる。

（実施の形態５）
図１９は、上記実施の形態１から実施の形態４で説明した信号符号化装置、中継装置及び信号復号化装置を含む信号送信装置、中継装置及び信号受信装置の構成を示すブロック図である。以下、図１９を用いて、音声信号を送受信する場合について説明する。

図１９において、音声信号は、入力装置１９０１によって電気的信号に変換されＡ／Ｄ変換装置１９０２に出力される。Ａ／Ｄ変換装置１９０２は入力装置１９０１から出力された（アナログ）信号をディジタル信号に変換し音声符号化装置１９０３に出力する。音声符号化装置１９０３は、図１に示した信号符号化装置１０１を実装し、Ａ／Ｄ変換装置１９０２から出力されたディジタル音声信号を符号化し符号化情報をＲＦ変調装置１９０４に出力する。ＲＦ変調装置１９０４は音声符号化装置１９０３から出力された符号化情報を電波等の伝播媒体に載せて送出するための信号に変換し送信アンテナ１９０５に出力する。送信アンテナ１９０５はＲＦ変調装置１９０４から出力された出力信号を電波（ＲＦ信号）として送出する。なお、図中のＲＦ信号１９０６は送信アンテナ１９０５から送出された電波（ＲＦ信号）を表す。

ＲＦ信号１９０７は中継装置受信アンテナ１９０８によって受信されＲＦ復調装置１９０９に出力される。なお、図中のＲＦ信号１９０７は中継装置受信アンテナ１９０８に受信された電波を表し、伝播路において信号の減衰や雑音の重畳がなければＲＦ信号１９０６と全く同じものになる。

ＲＦ復調装置１９０９は中継装置受信アンテナ１９０８から出力されたＲＦ信号から符号化情報を復調し中継装置１９１０に出力する。中継装置１９１０は、図１に示した中継装置１０３を実装し、ＲＦ復調装置１９０９から出力された音声符号化情報に含まれる伝送モード情報及び中継装置１９１０に入力される付加情報に応じて、音声符号化情報に付加情報を付加し、付加処理後得られた符号化情報（または変換後符号化情報）を、ＲＦ変調装置１９１１に出力する。ＲＦ変調装置１９１１は中継装置１９１０から出力された符号化情報（または変換後符号化情報）を電波等の伝播媒体に載せて送出するための信号に変換し中継装置送信アンテナ１９１２に出力する。中継装置送信アンテナ１９１２はＲＦ変調装置１９１１から出力された出力信号を電波（ＲＦ信号）として送出する。なお、図中のＲＦ信号１９１３は中継装置送信アンテナ１９１２から送出された電波（ＲＦ信号）を表す。

ＲＦ信号１９１４は受信アンテナ１９１５によって受信されＲＦ復調装置１９１６に出力される。なお、図中のＲＦ信号１９１４は受信アンテナ１９１５に受信された電波を表し、伝播路において信号の減衰や雑音の重畳がなければＲＦ信号１９１３と全く同じものになる。

ＲＦ復調装置１９１６は受信アンテナ１９１５から出力されたＲＦ信号から符号化情報を復調し音声復号化装置１９１７に出力する。音声復号化装置１９１７は、図１に示した信号復号化装置１０５を実装し、ＲＦ復調装置１９１６から出力された音声符号化情報から音声信号を復号化し、得られたディジタル復号化音声信号を、Ｄ／Ａ変換装置１９１８に出力する。Ｄ／Ａ変換装置１９１８は音声復号化装置１９１７から出力されたディジタル音声信号をアナログの電気的信号に変換し出力装置１９１９に出力する。

出力装置１９１９は電気的信号を空気の振動に変換し音波として人間の耳に聴こえるように出力する。

無線通信システムにおける基地局装置及び通信端末装置に、上記のような音声信号送信装置及び音声信号受信装置を備えることにより、高品質な出力信号を得ることができる。

なお、本実施の形態では、入力信号として音声信号を対象とした場合について説明したが、本発明は、音声信号以外の信号についても同様に適用することができる。

（実施の形態６）
上記実施の形態３では、中継装置において付加処理を行う際に、信号復号化装置において各レイヤの復号化信号に対して減衰・増幅処理を行うことにより復号化時に発生する異音を抑制する場合について説明したが、減衰・増幅処理を行って復号化時に発生する異音を抑制することは、単に信号符号化装置にて符号化された信号を復号する際にも適用することができる。実施の形態６では、信号符号化装置にて符号化された信号を復号する際に、減衰・増幅処理を行って復号化時に発生する異音を抑制する場合について説明する。

図２０は、本実施の形態に係る信号復号化装置を含むシステム構成を示す図である。信号符号化装置２００１は、伝送モード情報に応じて、入力信号に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行い、符号化により得られた符号化情報を、伝送路２００２を介して信号復号化装置２００３に送信する。なお、ここで、伝送路２００２には、信号中継装置が介在する場合もある。

信号復号化装置２００３は、伝送路２００２を介して受信した符号化情報に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号を出力信号として出力する。

次に、図２０の信号符号化装置２００１の構成について、図２１のブロック図を用いて説明する。なお、信号符号化装置２００１は、入力信号をＮサンプルずつ区切り（Ｎは自然数）、Ｎサンプルを１フレームとしてフレーム毎に符号化を行う。

信号符号化装置２００１は、伝送ビットレート制御部２１０１と、制御スイッチ２１０２〜２１０５と、基本レイヤ符号化部２１０６と、基本レイヤ復号化部２１０８と、加算部２１０７、２１１１と、第１拡張レイヤ符号化部２１０９と、第１拡張レイヤ復号化部２１１０と、第２拡張レイヤ符号化部２１１２と、符号化情報統合部２１１３とから主に構成される。

伝送モード情報は、伝送ビットレート制御部２１０１に入力される。ここで、伝送モード情報とは、入力信号を符号化し伝送する際の伝送ビットレートを指示する情報であり、予め定められた２つ以上の伝送ビットレートの中から一つの伝送ビットレートが伝送モード情報として選択される。なお、本実施の形態においては、伝送モード情報は、予め定められた４種類の伝送ビットレートbitrate0、bitrate1、bitrate2、bitrate3（bitrate3＜bitrate2＜bitrate1）の値を取り得るものとする。但し、bitrate0とは、符号化装置２００１に入力信号が入力されない場合を意味する。また、本実施の形態では、現フレームに対する伝送モード情報（以下、Mode_curとする）に加え、予め次フレームに対する伝送モード情報（以下、Mode_nextとする）も同時に入力されるものとする。

伝送ビットレート制御部２１０１は、入力した現フレームに対する伝送モード情報Mode_curに応じて、制御スイッチ２１０２〜２１０５のオン／オフ制御を行う。具体的には、伝送ビットレート制御部２１０１は、伝送モード情報Mode_curがbitrate1である場合、制御スイッチ２１０２〜２１０５を全てオン状態にする。また、伝送ビットレート制御部２１０１は、伝送モード情報Mode_curがbitrate2である場合、制御スイッチ２１０２及び２１０３をオン状態にし、制御スイッチ２１０４及び２１０５をオフ状態にする。また、伝送ビットレート制御部２１０１は、伝送モード情報Mode_curがbitrate3である場合、制御スイッチ２１０２〜２１０５を全てオフ状態にする。また、伝送ビットレート制御部２１０１は、伝送モード情報Mode_cur及びMode_nextを符号化情報統合部２１１３に出力する。このように、伝送ビットレート制御部２１０１が伝送モード情報Mode_curに応じて制御スイッチをオン／オフ制御することにより、入力信号の符号化に用いる符号化部の組み合わせが決定される。

入力信号は、制御スイッチ２１０２及び基本レイヤ符号化部２１０６に入力される。

基本レイヤ符号化部２１０６は、入力信号に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行い、符号化により得られた情報源符号（以下、「基本レイヤ情報源符号」という）を符号化情報統合部２１１３及び制御スイッチ２１０３に出力する。

基本レイヤ復号化部２１０８は、制御スイッチ２１０３がオン状態の場合、基本レイヤ符号化部２１０６から出力された基本レイヤ情報源符号に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号（以下、「基本レイヤ復号化信号」という）を加算部２１０７に出力する。なお、基本レイヤ復号化部２１０８は、制御スイッチ２１０３がオフ状態の場合には何も動作しない。

加算部２１０７は、制御スイッチ２１０２、２１０３がオン状態の場合、入力信号に、基本レイヤ復号化信号の極性を反転させた信号を加算し、加算結果である第１差分信号を第１拡張レイヤ符号化部２１０９及び制御スイッチ２１０４に出力する。なお、加算部２１０７は、制御スイッチ２１０２、２１０３がオフ状態の場合には何も動作しない。

第１拡張レイヤ符号化部２１０９は、制御スイッチ２１０２、２１０３がオン状態の場合、加算部２１０７から得られる第１差分信号に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行い、符号化により得られた情報源符号（以下、「第１拡張レイヤ情報源符号」という）を制御スイッチ２１０５及び符号化情報統合部２１１３に出力する。なお、第１拡張レイヤ符号化部２１０９は、制御スイッチ２１０２、２１０３がオフ状態の場合には何も動作しない。

第１拡張レイヤ復号化部２１１０は、制御スイッチ２１０５がオン状態の場合、第１拡張レイヤ符号化部２１０９から出力された第１拡張レイヤ情報源符号に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号（以下、「第１拡張レイヤ復号化信号」という）を加算部２１１１に出力する。なお、第１拡張レイヤ復号化部２１１０は、制御スイッチ２１０５がオフ状態の場合には何も動作しない。

加算部２１１１は、制御スイッチ２１０４、２１０５がオン状態の場合、制御スイッチ２１０４から得られる第１差分信号に、第１拡張レイヤ復号化信号の極性を反転させた信号を加算し、加算結果である第２差分信号を第２拡張レイヤ符号化部２１１２に出力する。なお、加算部２１１１は、制御スイッチ２１０４、２１０５がオフ状態の場合には何も動作しない。

第２拡張レイヤ符号化部２１１２は、制御スイッチ２１０４、２１０５がオン状態の場合、加算部２１１１から出力される第２差分信号に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行い、符号化により得られた情報源符号（以下、「第２拡張レイヤ情報源符号」という）を符号化情報統合部２１１３に出力する。なお、第２拡張レイヤ符号化部２１１２は、制御スイッチ２１０４、２１０５がオフ状態の場合には何も動作しない。

符号化情報統合部２１１３は、基本レイヤ符号化部２１０６、第１拡張レイヤ符号化部２１０９、及び第２拡張レイヤ符号化部２１１２から出力された情報源符号、及び伝送ビットレート制御部２１０１から出力される伝送モード情報Mode_cur、Mode_nextとを統合し、これを符号化情報として伝送路２００２に出力する。

以上が、図２０の信号符号化装置２００１の構成の説明である。なお、基本レイヤ符号化部２１０６の内部構成は、図４に示した基本レイヤ符号化部２０６と同一であるので説明を省略する。また、第１拡張レイヤ符号化部２１０９及び第２拡張レイヤ符号化部２１１２の内部構成は、基本レイヤ符号化部２１０６と同一であり、入力される信号の種類及び出力される情報源符号の種類のみが異なるので、その説明を省略する。

また、なお、基本レイヤ復号化部２１０８の内部構成は、図５に示した基本レイヤ復号化部２０８と同一であるので説明を省略する。また、第１拡張レイヤ復号化部２１１０の内部構成は、基本レイヤ復号化部２１０８の内部構成と同一であり、入力される情報源符号の種類及び出力される信号の種類のみが異なるので、その説明を省略する。

次に、符号化情報のデータ構造（ビットストリーム）について図２２を用いて説明する。伝送モード情報Mode_curがbitrate3である場合、符号化情報は、図２２（ａ）に示すように、伝送モード情報Mode_cur及びMode_next、及び基本レイヤ情報源符号から構成される。伝送モード情報Mode_curがbitrate2である場合、符号化情報は、図２２（ｂ）に示すように、伝送モード情報Mode_cur及びMode_next、基本レイヤ情報源符号、及び第１拡張レイヤ情報源符号から構成される。伝送モード情報Mode_curがbitrate1である場合、符号化情報は、図２２（ｃ）に示すように、伝送モード情報Mode_cur及びMode_next、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、及び第２拡張レイヤ情報源符号から構成される。

次に、図２０の信号復号化装置２００３の構成について図２３を用いて説明する。

信号復号化装置２００３は、復号化動作制御部２３０１と、基本レイヤ復号化部２３０２と、第１拡張レイヤ復号化部２３０３と、第２拡張レイヤ復号化部２３０４と、利得調整部２３０８〜２３１０と、制御スイッチ２３０５〜２３０７と、加算部２３１１、２３１２とから主に構成される。

符号化情報は、復号化動作制御部２３０１に入力される。

復号化動作制御部２３０１は、前フレームに対する伝送モード情報（初期値はbitrate0とし、以下Mode_preとする）を記憶するメモリを内部に有し、入力された符号化情報を伝送モード情報Mode_cur及びMode_next、各レイヤの情報源符号に分離し、伝送モード情報Mode_pre、Mode_cur、Mode_nextに応じて、利得調整部２３０８〜２３１０、及び制御スイッチ２３０５〜２３０７の制御を行う。また、各レイヤの情報源符号を基本レイヤ復号化部２３０２、第１拡張レイヤ復号化部２３０３及び第２拡張レイヤ復号化部２３０４に出力する。

次に、伝送モード情報Mode_pre、Mode_cur、Mode_nextに応じた、復号化動作制御部２３０１の動作について詳しく説明する。

（パターン１）
復号化動作制御部２３０１は、伝送モード情報Mode_pre、Mode_cur、Mode_nextが以下の式（５）を満たす場合、現フレームに対して、Mode_preとMode_nextの値を用いて、Mode_preが示す伝送ビットレートを上限とし、Mode_nextが示す伝送ビットレートを下限としたフェードアウト処理を行う。

この時、復号化動作制御部２３０１は、Mode_preが示す伝送ビットレートに応じて制御スイッチ２３０５〜２３０７の制御を行う。具体的には、復号化動作制御部２３０１は、Mode_preがbitrate2の場合は、制御スイッチ２３０５、２３０６をオン状態にし、制御スイッチ２３０７をオフ状態にし、基本レイヤ情報源を基本レイヤ復号化部２３０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２３０３に出力する。また、Mode_preがbitrate3の場合は、制御スイッチ２３０５をオン状態にし、制御スイッチ２３０６、２３０７をオフ状態し、基本レイヤ情報源を基本レイヤ復号化部２３０２に出力する。

また、この時、復号化動作制御部２３０１は、Mode_pre、Mode_nextが示す伝送ビットレートに応じて利得調整部２３０８〜２３１０の制御を行う。具体的には、復号化動作制御部２３０１は、Mode_preがbitrate2であり、かつMode_nextがbitrate3の場合は、利得調整部２３０９をフェードアウト状態にし、利得調整部２３０８、２３１０をオフ状態にする。また、復号化動作制御部２３０１は、Mode_preがbitrate2であり、かつMode_nextがbitrate0の場合は、利得調整部２３０８、２３０９をフェードアウト状態にし、利得調整部２３１０をオフ状態にする。また、復号化動作制御部２３０１は、Mode_preがbitrate3であり、かつMode_nextがbitrate0の場合は、利得調整部２３０８をフェードアウト状態にし、利得調整部２３０９、２３１０をオフ状態にする。

（パターン２）
復号化動作制御部２３０１は、伝送モード情報Mode_pre、Mode_cur、Mode_nextが以下の式（６）を満たす場合、現フレームに対して、Mode_pre（＝Mode_next）が示す伝送ビットレートで通常の復号化を行う。

この時、復号化動作制御部２３０１は、Mode_preが示す伝送ビットレートに応じて制御スイッチ２３０５〜２３０７の制御を行う。具体的には、復号化動作制御部２３０１は、Mode_preがbitrate2の場合は、制御スイッチ２３０５、２３０６をオン状態にし、制御スイッチ２３０７をオフ状態にし、基本レイヤ情報源を基本レイヤ復号化部２３０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２３０３に出力する。また、Mode_preがbitrate3の場合は、制御スイッチ２３０５をオン状態にし、制御スイッチ２３０６、２３０７をオフ状態にし、基本レイヤ情報源を基本レイヤ復号化部２３０２に出力する。

また、この時、復号化動作制御部２３０１は、利得調整部２３０８〜２３１０を全てオフ状態にする。

（パターン３）
復号化動作制御部２３０１は、伝送モード情報Mode_pre、Mode_cur、Mode_nextが以下の式（７）を満たす場合、現フレームに対して、Mode_preとMode_nextの値を用いて、Mode_preが示す伝送ビットレートを下限とし、Mode_nextが示す伝送ビットレートを上限としたフェードイン処理を行う。

この時、復号化動作制御部２３０１は、Mode_nextが示す伝送ビットレートに応じて制御スイッチ２３０５〜２３０７の制御を行う。具体的には、復号化動作制御部２３０１は、Mode_nextがbitrate2の場合は、制御スイッチ２３０５、２３０６をオン状態にし、制御スイッチ２３０７をオフ状態にし、基本レイヤ情報源を基本レイヤ復号化部２３０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２３０３に出力する。また、Mode_nextがbitrate3の場合は、制御スイッチ２３０５をオン状態にし、制御スイッチ２３０６、２３０７をオフ状態にし、基本レイヤ情報源を基本レイヤ復号化部２３０２に出力する。

また、この時、復号化動作制御部２３０１は、Mode_pre、Mode_nextが示す伝送ビットレートに応じて利得調整部２３０８〜２３１０の制御を行う。具体的には、復号化動作制御部２３０１は、Mode_preがbitrate3であり、かつMode_nextがbitrate2の場合は、利得調整部２３０９をフェードイン状態にし、利得調整部２３０８、２３１０をオフ状態にする。また、復号化動作制御部２３０１は、Mode_preがbitrate0であり、かつMode_nextがbitrate2の場合は、利得調整部２３０８、２３０９をフェードイン状態にし、利得調整部２３１０をオフ状態にする。また、復号化動作制御部２３０１は、Mode_preがbitrate0であり、かつMode_nextがbitrate3の場合は、利得調整部２３０８をフェードイン状態にし、利得調整部２３０９、２３１０をオフ状態にする。

（パターン４）
復号化動作制御部２３０１は、伝送モード情報Mode_pre、Mode_cur、Mode_nextが以下の式（８）を満たす場合、現フレームに対して、Mode_curとMode_nextの値を用いて、Mode_curが示す伝送ビットレートを上限とし、Mode_nextが示す伝送ビットレートを下限としたフェードアウト処理を行う。

この時、復号化動作制御部２３０１は、Mode_curが示す伝送ビットレートに応じて制御スイッチ２３０５〜２３０７の制御を行う。具体的には、復号化動作制御部２３０１は、Mode_curがbitrate1の場合は、制御スイッチ２３０５〜２３０７を全てオン状態にし、基本レイヤ情報源を基本レイヤ復号化部２３０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２３０３に出力し、第２拡張レイヤ情報源符号を第２拡張レイヤ復号化部３３０４に出力し、Mode_curがbitrate2の場合は、制御スイッチ２３０５、２３０６をオン状態にし、制御スイッチ２３０７をオフ状態にし、基本レイヤ情報源を基本レイヤ復号化部２３０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２３０３に出力する。また、Mode_curがbitrate3の場合は、制御スイッチ２３０５をオン状態にし、制御スイッチ２３０６、２３０７をオフ状態にし、基本レイヤ情報源を基本レイヤ復号化部２３０２に出力する。

また、この時、復号化動作制御部２３０１は、Mode_cur、Mode_nextが示す伝送ビットレートに応じて利得調整部２３０５〜２３０７の制御を行う。具体的には、復号化動作制御部２３０１は、Mode_curがbitrate1であり、かつMode_nextがbitrate2の場合は、利得調整部２３１０をフェードアウト状態にし、利得調整部２３０８、２３０９をオフ状態にする。また、復号化動作制御部２３０１は、Mode_curがbitrate1であり、かつMode_nextがbitrate3の場合は、利得調整部２３０９、２３１０をフェードアウト状態にし、利得調整部２３０８をオフ状態にする。また、復号化動作制御部２３０１は、Mode_curがbitrate1であり、かつMode_nextがbitrate0の場合は、利得調整部２３０８〜２３１０を全てフェードアウト状態にする。また、復号化動作制御部２３０１は、Mode_curがbitrate2であり、かつMode_nextがbitrate3の場合は、利得調整部２３０９をフェードアウト状態にし、利得調整部２３０８、２３１０をオフ状態にする。また、復号化動作制御部２３０１は、Mode_curがbitrate2であり、かつMode_nextがbitrate0の場合は、利得調整部２３０８、２３０９をフェードアウト状態にし、利得調整部２３１０をオフ状態にする。また、復号化動作制御部２３０１は、Mode_curがbitrate3であり、かつMode_nextがbitrate0の場合は、利得調整部２３０８をフェードアウト状態にし、利得調整部２３０９、２３１０をオフ状態にする。

（パターン５）
復号化動作制御部２３０１は、伝送モード情報Mode_pre、Mode_cur、Mode_nextが以下の式（９）を満たす場合、現フレームに対して、Mode_preとMode_curの値を用いて、Mode_preが示す伝送ビットレートを下限とし、Mode_curが示す伝送ビットレートを上限としたフェードイン処理を行う。

この時、復号化動作制御部２３０１は、Mode_curが示す伝送ビットレートに応じて制御スイッチ２３０５〜２３０７の制御を行う。具体的には、復号化動作制御部２３０１は、Mode_curがbitrate1の場合は、制御スイッチ２３０５〜２３０７を全てオン状態にし、基本レイヤ情報源を基本レイヤ復号化部２３０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２３０３に出力し、第２拡張レイヤ情報源符号を第２拡張レイヤ復号化部２３０４に出力する。Mode_curがbitrate2の場合は、制御スイッチ２３０５、２３０６をオン状態にし、制御スイッチ２３０７をオフ状態にし、基本レイヤ情報源を基本レイヤ復号化部２３０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２３０３に出力する。また、Mode_curがbitrate3の場合は、制御スイッチ２３０５をオン状態にし、制御スイッチ２３０６、２３０７をオフ状態にし、基本レイヤ情報源を基本レイヤ復号化部２３０２に出力する。

また、この時、復号化動作制御部２３０１は、Mode_pre、Mode_curが示す伝送ビットレートに応じて利得調整部２３０８〜２３１０の制御を行う。具体的には、復号化動作制御部２３０１は、Mode_preがbitrate2であり、かつMode_curがbitrate1の場合は、利得調整部２３１０をフェードイン状態にし、利得調整部２３０８、２３０９をオフ状態にする。また、復号化動作制御部２３０１は、Mode_preがbitrate3であり、かつMode_curがbitrate1の場合は、利得調整部２３０９、２３１０をフェードイン状態にし、利得調整部２３０８をオフ状態にする。また、復号化動作制御部２３０１は、Mode_preがbitrate0であり、かつMode_curがbitrate1の場合は、利得調整部２３０８〜２３１０を全てフェードイン状態にする。また、復号化動作制御部２３０１は、Mode_preがbitrate3であり、かつMode_curがbitrate2の場合は、利得調整部２３０９をフェードイン状態にし、利得調整部２３０８、２３１０をオフ状態にする。また、復号化動作制御部２３０１は、Mode_preがbitrate0であり、かつMode_curがbitrate2の場合は、利得調整部２３０８、２３０９をフェードイン状態にし、利得調整部２３１０をオフ状態にする。また、復号化動作制御部２３０１は、Mode_preがbitrate0であり、かつMode_curがbitrate3の場合は、利得調整部２３０８をフェードイン状態にし、利得調整部２３０９、２３１０をオフ状態にする。

（パターン６）
復号化動作制御部２３０１は、伝送モード情報Mode_pre、Mode_cur、Mode_nextがパターン１〜５中の式（５）〜式（９）のどれも満たさない場合、現フレームに対して、Mode_curが示す伝送ビットレートで通常の復号化を行う。

この時、復号化動作制御部２３０１は、Mode_curが示す伝送ビットレートに応じて制御スイッチ２３０５〜２３０７の制御を行う。具体的には、復号化動作制御部２３０１は、Mode_curがbitrate1の場合は、制御スイッチ２３０５〜２３０７を全てオン状態にし、基本レイヤ情報源を基本レイヤ復号化部２３０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２３０３に出力し、第２拡張レイヤ情報源符号を第２拡張レイヤ復号化部２３０４に出力する。Mode_curがbitrate2の場合は、制御スイッチ２３０５、２３０６をオン状態にし、制御スイッチ２３０７をオフ状態にし、基本レイヤ情報源を基本レイヤ復号化部２３０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２３０３に出力する。また、Mode_curがbitrate3の場合は、制御スイッチ２３０５をオン状態にし、制御スイッチ２３０６、２３０７をオフ状態にし、基本レイヤ情報源を基本レイヤ復号化部２３０２に出力する。

また、この時、復号化動作制御部２３０１は、利得調整部２３０８〜２３１０を全てオフ状態にする。

以上が、復号化動作制御部２３０１による制御スイッチ２３０５〜２３０７、利得調整部２３０８〜２３１０の制御方法、及び各レイヤの復号化部に出力する情報源符号の決定方法の説明である。

次に、復号化動作制御部２３０１は、前フレームに対する伝送モード情報Mode_preを記憶するメモリに、現フレームに対する伝送モード情報Mode_curを代入し、値を更新する。

基本レイヤ復号化部２３０２は、制御スイッチ２３０５がオン状態の場合、復号化動作制御部２３０１から出力された基本レイヤ情報源符号に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号（以下、「基本レイヤ復号化信号」という）を利得調整部２３０８に出力する。なお、基本レイヤ復号化部２３０２は、制御スイッチ２３０５がオフ状態の場合には何も動作しない。

第１拡張レイヤ復号化部２３０３は、制御スイッチ２３０６がオン状態の場合、復号化動作制御部２３０１から出力された第１拡張レイヤ情報源符号に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号（以下、「第１拡張レイヤ復号化信号」という）を利得調整部２３０９に出力する。なお、第１拡張レイヤ復号化部２３０３は、制御スイッチ２３０６がオフ状態の場合には何も動作しない。

第２拡張レイヤ復号化部２３０４は、制御スイッチ２３０７制御スイッチ２３０７がオン状態の場合、復号化動作制御部２３０１から出力された第２拡張レイヤ情報源符号に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号（以下、「第２拡張レイヤ復号化信号」という）を利得調整部２３１０に出力する。なお、第２拡張レイヤ復号化部２３０４は、制御スイッチ２３０７がオフ状態の場合には何も動作しない。

なお、基本レイヤ復号化部２３０２、第１拡張レイヤ復号化部２３０３、及び第２拡張レイヤ復号化部２３０４の内部構成は、上述した基本レイヤ復号化部２０８と同一であり、入力される情報源符号の種類及び出力される信号の種類のみが異なるので、その説明は省略する。

利得調整部２３０８は、基本レイヤ復号化部２３０２から基本レイヤ復号化信号が入力される。また、利得調整部２３０８は、復号化動作制御部２３０１によりフェードアウト／フェードイン／オフ状態が制御される。

利得調整部２３０８は、復号化動作制御部２３０１によりオフ状態に制御された場合は、基本レイヤ復号化部２３０２から得られる基本レイヤ復号化信号をそのまま加算部２３１２に出力する。また、利得調整部２３０８は、復号化動作制御部２３０１によりフェードアウト状態に制御された場合は、以下の式（１０）により、基本レイヤ復号化部２３０２から得られる基本レイヤ復号化信号に対して減衰処理を行い、得られた信号を加算部２３１２に出力する。

ここで、Ｎ_sは１フレームにおけるサンプル数Ｎより定められる値であり、Xbase_iは基本レイヤ復号化信号であり、Xbase’_iは減衰後の復号化信号である。

また、利得調整部２３０８は、復号化動作制御部２３０１によりフェードイン状態に制御された場合は、以下の式（１１）により、基本レイヤ復号化部２３０２から得られる基本レイヤ復号化信号に対して増幅処理を行い、得られた信号を加算部２３１２に出力する。

ここで、上記式（１０）と同様に、Ｎ_sは１フレームにおけるサンプル数Ｎより定められる値であり、Xbase_iは基本レイヤ復号化信号であり、Xbase”_iは増幅後の復号化信号である。

利得調整部２３０９は、利得調整部２３０８において、入力信号を第１拡張レイヤ復号化信号に置き換え、加算部２３１２を加算部２３１１に置き換える以外は利得調整部２３０８の構成と同様であり、説明は省略する。また利得調整部２３１０は、利得調整部２３０８において、入力信号を第２拡張レイヤ復号化信号に置き換え、加算部２３１２を加算部２３１１に置き換える以外は利得調整部２３０８の構成と同様であり、説明は省略する。

加算部２３１１は、制御スイッチ２３０６、２３０７がオン状態である場合、第２拡張レイヤ復号化部２３０４から出力された第２拡張レイヤ復号化信号と第１拡張レイヤ復号化部２３０３から出力された第１拡張レイヤ復号化信号とを加算し、加算後の信号を加算部２３１２に出力する。また、加算部２３１１は、制御スイッチ２３０７がオフ状態であり、かつ、制御スイッチ２３０６がオン状態である場合、第１拡張レイヤ復号化部２３０３から出力された第１拡張レイヤ復号化信号を加算部２３１２に出力する。なお、加算部２３１１は、制御スイッチ２３０６、２３０７がオフ状態である場合、何も動作しない。

加算部２３１２は、制御スイッチ２３０５、２３０６がオン状態である場合、基本レイヤ復号化部２３０２から出力された基本レイヤ復号化信号と加算部２３１１の出力信号とを加算し、加算後の信号を出力信号として出力する。また、加算部２３１２は、制御スイッチ２３０５がオン状態であり、制御スイッチ２３０６がオフ状態である場合、基本レイヤ復号化部２３０２から出力された基本レイヤ復号化信号を出力信号として出力する。また、加算部２３１２は、制御スイッチ２３０５、２３０６がオフ状態である場合、何も動作しない。

以上が、図２０の信号復号化装置２００３の内部構成の説明である。

このような構成により、本実施の形態によれば、スケーラブル符号化方式／復号化方式での通信時において、復号化時に用いるレイヤ数が増減することにより発生する異音を抑制することができる。

なお、本実施の形態では、信号符号化装置において、連続するフレーム間の伝送モード情報の切り替わりを検知し、その情報を符号化情報に含めることにより、信号復号化装置でレイヤ数（伝送ビットレート）が変更する際の異音を抑圧する場合について説明したが、本発明はこれに限らず、伝送路中に存在する信号中継装置において伝送ビットレートを切り替えるような状況に対しても、信号符号化装置における処理と同様の処理を行うことにより、信号復号化装置でレイヤ数（伝送ビットレート）が変更する際の異音を抑圧するという場合についても同様に適用することができる。

また、本実施の形態では、次フレームの伝送モード情報が予め得られる状況において、信号復号化装置が、入力された符号化情報に含まれる次フレーム、前フレーム、現フレームの伝送モード情報に応じて復号化に利用するレイヤ数を切替える場合について説明した。なお、本発明はこれに限らず、符号化情報中に伝送誤り検出ビット等を含め、信号復号化装置内に備えられた伝送誤り検出部により伝送誤りを検出し、その結果、復号化時に利用するレイヤ数を変更し、１フレーム分遅延させた符号化情報（内部バッファに格納することで）を復号化する場合に対しても同様に適用できる。例えば、二つ前のフレームの伝送モード情報がbitrate1であり、かつ一つ前のフレームの伝送モード情報がbitrate2であり、かつ現フレームの伝送モード情報がbitrate2で伝送される符号化情報において、信号復号化装置内の伝送誤り検出部が、現フレーム（bitrate2）の最上位レイヤ（第１拡張レイヤ）の情報源符号に伝送誤りを検出した場合は、内部バッファに格納した前フレームの符号化情報に対して、上述した（パターン４）のフェードアウト処理をすることにより、レイヤ数の変化による異音を抑制することができる。

なお、本実施の形態では、符号化装置における符号化方法として、ＣＥＬＰタイプの音声符号化／復号化を行う場合について説明したが、本発明はこれに限られず、静止画像、動画像等の音声・楽音信号以外の信号についても同様に適用することができる。

また、本発明は階層を限定するものではなく、複数階層で構成された階層的な信号符号化／復号化方法において、下位レイヤでの入力信号と出力信号との差である残差信号を上位レイヤで符号化する場合について適用することができる。

また、本実施の形態の図２３に示した構成を、メモリ、ディスク、テープ、ＣＤ、ＤＶＤ等の機械読み取り可能な記録媒体に記録、書き込みをし、動作を行う場合についても本発明は適用することができ、本実施の形態と同様の作用・効果を得ることができる。

（実施の形態７）
上述した実施の形態１では、各レイヤで扱う信号のサンプリング周波数が同一であるスケーラブル符号化／復号化方式において、信号の復号化時のレイヤ数（伝送ビットレート）が変動した場合に対する異音抑圧処理について説明したが、本発明はこれに限らず、各レイヤで扱う信号のサンプリング周波数が異なるスケーラブル符号化／復号化方式（周波数スケーラブル符号化／復号化方式）に対しても同様に適用することができる。

本発明の実施の形態７では、周波数スケーラブル符号化／復号化方式において、信号の復号化時のレイヤ数（伝送ビットレート）が変動した場合に対する異音抑制処理について説明する。

なお、本実施の形態における全体的なシステムの構成は実施の形態６の図２０と同様であり、信号符号化装置２００１の作用は実施の形態６と同一である。

図２４は、本実施の形態に係る信号符号化装置２００１の構成を示すブロック図である。なお、信号符号化装置２００１は、入力信号をＮサンプルずつ区切り（Ｎは自然数）、Ｎサンプルを１フレームとしてフレーム毎に符号化を行う。

信号符号化装置２００１は、伝送ビットレート制御部２４０１と、制御スイッチ２４０２〜２４０５と、ダウンサンプリング処理部２４０６、２４１０と、基本レイヤ符号化部２４０７と、基本レイヤ復号化部２４０８と、アップサンプリング処理部２４０９、２４１４と、加算部２４１１、２４１５と、第１拡張レイヤ符号化部２４１２と、第１拡張レイヤ復号化部２４１３と、第２拡張レイヤ符号化部２４１６と、符号化情報統合部２４１７とから主に構成される。

伝送モード情報は、伝送ビットレート制御部２４０１に入力される。ここで、伝送モード情報とは、入力信号を符号化し伝送する際の伝送ビットレートを指示する情報であり、予め定められた２つ以上の伝送ビットレートの中から一つの伝送ビットレートが伝送モード情報として選択される。なお、本実施の形態においては、伝送モード情報は、予め定められた４種類の伝送ビットレートbitrate0、bitrate1、bitrate2、bitrate3（bitrate3＜bitrate2＜bitrate1）の値を取り得るものとする。但し、bitrate0とは、符号化装置２００１に入力信号が入力されない場合を意味する。また、本実施の形態では、現フレームに対する伝送モード情報（以下、Mode_curとする）に加え、予め次フレームに対する伝送モード情報（以下、Mode_nextとする）も同時に入力されるものとする。

伝送ビットレート制御部２４０１は、入力した現フレームに対する伝送モード情報Mode_curに応じて、制御スイッチ２４０２〜２４０５のオン／オフ制御を行う。具体的には、伝送ビットレート制御部２４０１は、伝送モード情報Mode_curがbitrate1である場合、制御スイッチ２４０２〜２４０５を全てオン状態にする。また、伝送ビットレート制御部２４０１は、伝送モード情報Mode_curがbitrate2である場合、制御スイッチ２４０２及び２４０３をオン状態にし、制御スイッチ２４０４及び２４０５をオフ状態にする。また、伝送ビットレート制御部２４０１は、伝送モード情報Mode_curがbitrate3である場合、制御スイッチ２４０２〜２４０５を全てオフ状態にする。また、伝送ビットレート制御部２４０１は、伝送モード情報Mode_cur及びMode_nextを符号化情報統合部２４１７に出力する。このように、伝送ビットレート制御部２４０１が伝送モード情報Mode_curに応じて制御スイッチをオン／オフ制御することにより、入力信号の符号化に用いる符号化部の組み合わせが決定される。

入力信号は、制御スイッチ２４０２及びダウンサンプリング処理部２４０６に入力される。以下、入力信号のサンプリング周波数を「入力サンプリング周波数」という。

ダウンサンプリング処理部２４０６は、入力信号をダウンサンプリングし、基本レイヤ符号化部２４０７に出力する。以下、ダウンサンプリング処理部２４０６におけるダウンサンプリング後のサンプリング周波数を「基本レイヤサンプリング周波数」という。

基本レイヤ符号化部２４０７は、ダウンサンプリング処理部２４０６の出力信号に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行い、符号化により得られた符号化情報（以下、「基本レイヤ情報源符号」という）を符号化情報統合部２４１７及び制御スイッチ２４０３に出力する。

基本レイヤ復号化部２４０８は、制御スイッチ２４０３がオン状態の場合、基本レイヤ符号化部２４０７から出力された基本レイヤ情報源符号に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号（以下、「基本レイヤ復号化信号」という）をアップサンプリング処理部２４０９に出力する。なお、基本レイヤ復号化部２４０８は、制御スイッチ２４０３がオフ状態の場合には何も動作しない。

アップサンプリング処理部２４０９は、制御スイッチ２４０３がオン状態の場合、基本レイヤ復号化部２４０８から出力された基本レイヤ復号化信号を第１拡張レイヤ周波数にアップサンプリングし、アップサンプリング後の信号を加算部２４１１に出力する。なお、アップサンプリング処理部２４０９は、制御スイッチ２４０３がオフ状態の場合には何も動作しない。

ダウンサンプリング処理部２４１０は、制御スイッチ２４０２、２４０３がオン状態の場合、制御スイッチ２４０２を介して出力される入力信号のサンプリング周波数をダウンサンプリングし、ダウンサンプリング後の信号を加算部２４１１に出力する。以下、ダウンサンプリング処理部２４１０におけるダウンサンプリング後のサンプリング周波数を「第１拡張レイヤサンプリング周波数」という。なお、ダウンサンプリング処理部２４１０は、制御スイッチ２４０２、２４０３がオフ状態の場合には何も動作しない。

加算部２４１１は、制御スイッチ２４０２、２４０３がオン状態の場合、ダウンサンプリング処理部２４１０から出力される信号に、アップサンプリング処理部２４０９の出力信号の極性を反転させた信号を加算し、加算結果である第１差分信号を第１拡張レイヤ符号化部２４１２に出力する。なお、加算部２４１１は、制御スイッチ２４０２、２４０３がオフ状態の場合には何も動作しない。

第１拡張レイヤ符号化部２４１２は、制御スイッチ２４０２、２４０３がオン状態の場合、加算部２４１１の出力信号に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行い、符号化により得られた符号化情報（以下、「第１拡張レイヤ情報源符号」という）を制御スイッチ２４０５及び符号化情報統合部２４１７に出力する。なお、第１拡張レイヤ符号化部２４１２は、制御スイッチ２４０２、２４０３がオフ状態の場合には何も動作しない。

第１拡張レイヤ復号化部２４１３は、制御スイッチ２４０５がオン状態の場合、第１拡張レイヤ符号化部２４１２から出力された第１拡張レイヤ情報源符号に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号（以下、「第１拡張レイヤ復号化信号」という）をアップサンプリング処理部２４１４に出力する。なお、第１拡張レイヤ復号化部２４１３は、制御スイッチ２４０５がオフ状態の場合には何も動作しない。

アップサンプリング処理部２４１４は、制御スイッチ２４０５がオン状態の場合、第１拡張レイヤ復号化部２４１３から出力された第１拡張レイヤ復号化信号を入力サンプリング周波数にアップサンプリングし、アップサンプリング後の信号を加算部２４１５に出力する。なお、アップサンプリング処理部２４１４は、制御スイッチ２４０５がオフ状態の場合には何も動作しない。

加算部２４１５は、制御スイッチ２４０４、２４０５がオン状態の場合、入力信号に、アップサンプリング処理部２４１４の出力信号の極性を反転させた信号を加算し、加算結果である第２差分信号を第２拡張レイヤ符号化部２４１６に出力する。なお、加算部２４１５は、制御スイッチ２４０４、２４０５がオフ状態の場合には何も動作しない。

第２拡張レイヤ符号化部２４１６は、制御スイッチ２４０４、２４０５がオン状態の場合、加算部２４１５から出力される第２差分信号に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行い、符号化により得られた符号化情報（以下、「第２拡張レイヤ情報源符号」という）を符号化情報統合部２４１７に出力する。なお、第２拡張レイヤ符号化部２４１６は、制御スイッチ２４０４、２４０５がオフ状態の場合には何も動作しない。

符号化情報統合部２４１７は、基本レイヤ符号化部２４０７、第１拡張レイヤ符号化部２４１２、及び第２拡張レイヤ符号化部２４１６から出力された情報源符号と伝送ビットレート制御部２４０１から出力される伝送モード情報Mode_cur、Mode_nextとを統合し、これを符号化情報として伝送路２００２に出力する。

なお、基本レイヤ符号化部２４０７、基本レイヤ復号化部２４０８、第１拡張レイヤ符号化部２４１２、第１拡張レイヤ復号化部２４１３、及び第２拡張レイヤ符号化部２４１６内部構成については上述したものと同一であり、ここでは説明は省略する。

また、信号符号化装置２００１から出力される符号化情報のデータ構造（ビットストリーム）は図２２と同一であるため説明は省略する。

以上が、本実施の形態における図２０の信号符号化装置２００１の構成の説明である。

次に、図２０の信号復号化装置２００３の構成について図２５を用いて説明する。

信号復号化装置２００３は、復号化動作制御部２５０１と、基本レイヤ復号化部２５０２と、第１拡張レイヤ復号化部２５０３と、第２拡張レイヤ復号化部２５０４と、利得調整部２５０５〜２５０７と、アップサンプリング処理部２５０８、２５０９と、加算部２５１０、２５１１と、制御スイッチ２５１２〜２５１９と、から主に構成される。

符号化情報は、復号化動作制御部２５０１に入力される。

復号化動作制御部２５０１は、前フレームに対する伝送モード情報（初期値はbitrate0とし、以下Mode_preとする）を記憶するメモリを内部に有し、入力された符号化情報を伝送モード情報Mode_cur及びMode_next、各レイヤの情報源符号に分離し、伝送モード情報Mode_pre、Mode_cur、Mode_nextに応じて、利得調整部２５０５〜２５０７、及び制御スイッチ２５１２〜２５１９の制御を行い、また各レイヤの情報源符号を基本レイヤ復号化部２５０２、第１拡張レイヤ復号化部２５０３及び第２拡張レイヤ復号化部２５０４に出力する。

次に、伝送モード情報Mode_pre、Mode_cur、Mode_nextに応じた、復号化動作制御部２５０１の動作について詳しく説明する。

（パターン１）
復号化動作制御部２５０１は、伝送モード情報Mode_pre、Mode_cur、Mode_nextが以下の式（１２）を満たす場合、現フレームに対して、Mode_preとMode_nextの値を用いて、Mode_preが示す伝送ビットレートを上限とし、Mode_nextが示す伝送ビットレートを下限としたフェードアウト処理を行う。

この時、復号化動作制御部２５０１は、Mode_preが示す伝送ビットレートに応じて制御スイッチ２５１２〜２５１９の制御を行う。具体的には、復号化動作制御部２５０１は、Mode_preがbitrate2の場合は、制御スイッチ２５１２，２５１３、２５１５、２５１６をオン状態にし、制御スイッチ２５１４、２５１７、２５１８をオフ状態にし、制御スイッチ２５１９を加算部２５１０側オン状態にし、基本レイヤ情報源を基本レイヤ復号化部２５０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２５０３に出力する。また、Mode_preがbitrate3の場合は、制御スイッチ２５１２をオン状態にし、制御スイッチ２５１３〜２５１８をオフ状態し、制御スイッチ２５１９を利得調整部２５０５側オン状態にし、基本レイヤ情報源を基本レイヤ復号化部２５０２に出力する。

また、この時、復号化動作制御部２５０１は、Mode_pre、Mode_nextが示す伝送ビットレートに応じて利得調整部２５０５〜２５０７の制御を行う。具体的には、復号化動作制御部２５０１は、Mode_preがbitrate2であり、かつMode_nextがbitrate3の場合は、利得調整部２５０６をフェードアウト状態にし、利得調整部２５０５、２５０７をオフ状態にする。また、復号化動作制御部２５０１は、Mode_preがbitrate2であり、かつMode_nextがbitrate0の場合は、利得調整部２５０５、２５０６、をフェードアウト状態にし、利得調整部２５０７をオフ状態にする。また、復号化動作制御部２５０１は、Mode_preがbitrate3であり、かつMode_nextがbitrate0の場合は、利得調整部２５０５をフェードアウト状態にし、利得調整部２５０６、２５０７をオフ状態にする。

（パターン２）
復号化動作制御部２５０１は、伝送モード情報Mode_pre、Mode_cur、Mode_nextが以下の式（１３）を満たす場合、現フレームに対して、Mode_pre（＝Mode_next）が示す伝送ビットレートで通常の復号化を行う。

この時、復号化動作制御部２５０１は、Mode_preが示す伝送ビットレートに応じて制御スイッチ２５１２〜２５１９の制御を行う。具体的には、復号化動作制御部２５０１は、Mode_preがbitrate2の場合は、制御スイッチ２５１２、２５１３、２５１５、２５１６をオン状態にし、制御スイッチ２５１４、２５１７、２５１８をオフ状態にし、制御スイッチ２５１９を加算部２５１０側オン状態にし、基本レイヤ情報源を基本レイヤ復号化部２５０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２５０３に出力する。また、Mode_preがbitrate3の場合は、制御スイッチ２５１２をオン状態にし、制御スイッチ２５１２〜２５１８をオフ状態にし、制御スイッチ２５１９を利得調整部２５０５側オン状態にし、基本レイヤ情報源を基本レイヤ復号化部２５０２に出力する。

また、この時、復号化動作制御部２５０１は、利得調整部２５０５〜２５０７を全てオフ状態にする。

（パターン３）
復号化動作制御部２５０１は、伝送モード情報Mode_pre、Mode_cur、Mode_nextが以下の式（１４）を満たす場合、現フレームに対して、Mode_preとMode_nextの値を用いて、Mode_preが示す伝送ビットレートを下限とし、Mode_nextが示す伝送ビットレートを上限としたフェードイン処理を行う。

この時、復号化動作制御部２５０１は、Mode_nextが示す伝送ビットレートに応じて制御スイッチ２５１２〜２５１９の制御を行う。具体的には、復号化動作制御部２５０１は、Mode_nextがbitrate2の場合は、制御スイッチ２５１２，２５１３、２５１５、２５１６をオン状態にし、制御スイッチ２５１４、２５１７、２５１８をオフ状態にし、制御スイッチ２５１９を加算部２５１０側オン状態にし、基本レイヤ情報源を基本レイヤ復号化部２５０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２５０３に出力する。また、Mode_nextがbitrate3の場合は、制御スイッチ２５１２をオン状態にし、制御スイッチ２５１３〜２５１８をオフ状態にし、制御スイッチ２５１９を利得調整部２５０５側オン状態にし、基本レイヤ情報源を基本レイヤ復号化部２５０２に出力する。

また、この時、復号化動作制御部２５０１は、Mode_pre、Mode_nextが示す伝送ビットレートに応じて利得調整部２５０５〜２５０７の制御を行う。具体的には、復号化動作制御部２５０１は、Mode_preがbitrate3であり、かつMode_nextがbitrate2の場合は、利得調整部２５０６をフェードイン状態にし、利得調整部２５０５、２５０７をオフ状態にする。また、復号化動作制御部２５０１は、Mode_preがbitrate0であり、かつMode_nextがbitrate2の場合は、利得調整部２５０５、２５０６をフェードイン状態にし、利得調整部２５０７をオフ状態にする。また、復号化動作制御部２５０１は、Mode_preがbitrate0であり、かつMode_nextがbitrate3の場合は、利得調整部２５０５をフェードイン状態にし、利得調整部２５０６、２５０７をオフ状態にする。

（パターン４）
復号化動作制御部２５０１は、伝送モード情報Mode_pre、Mode_cur、Mode_nextが以下の式（１５）を満たす場合、現フレームに対して、Mode_curとMode_nextの値を用いて、Mode_curが示す伝送ビットレートを上限とし、Mode_nextが示す伝送ビットレートを下限としたフェードアウト処理を行う。

この時、復号化動作制御部２５０１は、Mode_curが示す伝送ビットレートに応じて制御スイッチ２５１２〜２５１９の制御を行う。具体的には、復号化動作制御部２５０１は、Mode_curがbitrate1の場合は、制御スイッチ２５１２〜２５１８を全てオン状態にし、制御スイッチ２５１９を加算部２５１１側オン状態にし、基本レイヤ情報源を基本レイヤ復号化部２５０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２５０３に出力し、第２拡張レイヤ情報源符号を第２拡張レイヤ復号化部２５０４に出力する。Mode_curがbitrate2の場合は、制御スイッチ２５１２、２５１３、２５１５、２５１６をオン状態にし、制御スイッチ２５１４、２５１７、２５１８をオフ状態にし、制御スイッチ２５１９を加算部２５１０側オン状態にし、基本レイヤ情報源を基本レイヤ復号化部２５０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２５０３に出力する。また、Mode_curがbitrate3の場合は、制御スイッチ２５１２をオン状態にし、制御スイッチ２５１３〜２５１８をオフ状態にし、制御スイッチ２５１９を利得調整部２５０５側オン状態にし、基本レイヤ情報源を基本レイヤ復号化部２５０２に出力する。

また、この時、復号化動作制御部２５０１は、Mode_cur、Mode_nextが示す伝送ビットレートに応じて利得調整部２５０５〜２５０７の制御を行う。具体的には、復号化動作制御部２５０１は、Mode_curがbitrate1であり、かつMode_nextがbitrate2の場合は、利得調整部２５０７をフェードアウト状態にし、利得調整部２５０５、２５０６をオフ状態にする。また、復号化動作制御部２５０１は、Mode_curがbitrate1であり、かつMode_nextがbitrate3の場合は、利得調整部２５０６、２５０７をフェードアウト状態にし、利得調整部２５０５をオフ状態にする。また、復号化動作制御部２５０１は、Mode_curがbitrate1であり、かつMode_nextがbitrate0の場合は、利得調整部２５０５〜２５０７を全てフェードアウト状態にする。また、復号化動作制御部２５０１は、Mode_curがbitrate2であり、かつMode_nextがbitrate3の場合は、利得調整部２５０６をフェードアウト状態にし、利得調整部２５０５、２５０７をオフ状態にする。また、復号化動作制御部２５０１は、Mode_curがbitrate2であり、かつMode_nextがbitrate0の場合は、利得調整部２５０５、２５０６、をフェードアウト状態にし、利得調整部２５０７をオフ状態にする。また、復号化動作制御部２５０１は、Mode_curがbitrate3であり、かつMode_nextがbitrate0の場合は、利得調整部２５０５をフェードアウト状態にし、利得調整部２５０６、２５０７をオフ状態にする。

（パターン５）
復号化動作制御部２５０１は、伝送モード情報Mode_pre、Mode_cur、Mode_nextが以下の式（１６）を満たす場合、現フレームに対して、Mode_preとMode_curの値を用いて、Mode_preが示す伝送ビットレートを下限とし、Mode_curが示す伝送ビットレートを上限としたフェードイン処理を行う。

この時、復号化動作制御部２５０１は、Mode_curが示す伝送ビットレートに応じて制御スイッチ２５１２〜２５１９の制御を行う。具体的には、復号化動作制御部２５０１は、Mode_curがbitrate1の場合は、制御スイッチ２５１２〜２５１８を全てオン状態にし、制御スイッチ２５１９を加算部２５１１側オン状態にし、基本レイヤ情報源を基本レイヤ復号化部２５０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２５０３に出力し、第２拡張レイヤ情報源符号を第２拡張レイヤ復号化部２５０４に出力する。Mode_curがbitrate2の場合は、制御スイッチ２５１２、２５１３、２５１５、２５１６をオン状態にし、制御スイッチ２５１４、２５１７、２５１８をオフ状態にし、制御スイッチ２５１９を加算部２５１０側オン状態にし、基本レイヤ情報源を基本レイヤ復号化部２５０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２５０３に出力する。また、Mode_curがbitrate3の場合は、制御スイッチ２５１２をオン状態にし、制御スイッチ２５１３〜２５１８をオフ状態にし、制御スイッチ２５１９を利得調整部２５０５側オン状態にし、基本レイヤ情報源を基本レイヤ復号化部２５０２に出力する。

また、この時、復号化動作制御部２５０１は、Mode_pre、Mode_curが示す伝送ビットレートに応じて利得調整部２５０５〜２５０７の制御を行う。具体的には、復号化動作制御部２５０１は、Mode_preがbitrate2であり、かつMode_curがbitrate1の場合は、利得調整部２５０７をフェードイン状態にし、利得調整部２５０５、２５０６をオフ状態にする。また、復号化動作制御部２５０１は、Mode_preがbitrate3であり、かつMode_curがbitrate1の場合は、利得調整部２５０６、２５０７をフェードイン状態にし、利得調整部２５０５をオフ状態にする。また、復号化動作制御部２５０１は、Mode_preがbitrate0であり、かつMode_curがbitrate1の場合は、利得調整部２５０５〜２５０７を全てフェードイン状態にする。また、復号化動作制御部２５０１は、Mode_preがbitrate3であり、かつMode_curがbitrate2の場合は、利得調整部２５０６をフェードイン状態にし、利得調整部２５０５、２５０７をオフ状態にする。また、復号化動作制御部２５０１は、Mode_preがbitrate0であり、かつMode_curがbitrate2の場合は、利得調整部２５０５、２５０６をフェードイン状態にし、利得調整部２５０７をオフ状態にする。また、復号化動作制御部２５０１は、Mode_preがbitrate0であり、かつMode_curがbitrate3の場合は、利得調整部２５０５をフェードイン状態にし、利得調整部２５０６、２５０７をオフ状態にする。

（パターン６）
復号化動作制御部２５０１は、伝送モード情報Mode_pre、Mode_cur、Mode_nextがパターン１〜５中の式（１２）〜式（１６）のどれも満たさない場合、現フレームに対して、Mode_curが示す伝送ビットレートで通常の復号化を行う。

この時、復号化動作制御部２５０１は、Mode_curが示す伝送ビットレートに応じて制御スイッチ２５１２〜２５１９の制御を行う。具体的には、復号化動作制御部２５０１は、Mode_curがbitrate1の場合は、制御スイッチ２５１２〜２５１８を全てオン状態にし、制御スイッチ２５１９を加算部２５１１側オン状態にし、基本レイヤ情報源を基本レイヤ復号化部２５０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２５０３に出力し、第２拡張レイヤ情報源符号を第２拡張レイヤ復号化部２５０４に出力する。Mode_curがbitrate2の場合は、制御スイッチ２５１２、２５１３、２５１５、２５１６をオン状態にし、制御スイッチ２５１４、２５１７、２５１８をオフ状態にし、制御スイッチ２５１９を加算部２５１０側オン状態にし、基本レイヤ情報源を基本レイヤ復号化部２５０２に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２５０３に出力する。また、Mode_curがbitrate3の場合は、制御スイッチ２５１２をオン状態にし、制御スイッチ２５１３〜２５１８をオフ状態にし、制御スイッチ２５１９を利得調整部２５０５側オン状態にし、基本レイヤ情報源を基本レイヤ復号化部２５０２に出力する。

また、この時、復号化動作制御部２５０１は、利得調整部２５０５〜２５０７を全てオフ状態にする。

以上が、復号化動作制御部２５０１による制御スイッチ２５１２〜２５１９、利得調整部２５０５〜２５０７の制御方法、及び各レイヤの復号化部に出力する情報源符号の決定方法の説明である。

次に、復号化動作制御部２５０１は、前フレームに対する伝送モード情報Mode_preを記憶するメモリに、現フレームに対する伝送モード情報Mode_curを代入し、値を更新する。

基本レイヤ復号化部２５０２は、制御スイッチ２５１２がオン状態である場合は、復号化動作制御部２５０１から出力される基本レイヤ情報源符号を復号化し、これを基本レイヤ復号化信号として利得調整部２５０５に出力する。また、基本レイヤ復号化部２５０２は、制御スイッチ２５１２がオフ状態である場合は、何も動作しない。

第１拡張レイヤ復号化部２５０３は、制御スイッチ２５１３がオン状態の場合は、復号化動作制御部２５０１から出力される第１拡張レイヤ情報源符号を復号化し、これを第１拡張レイヤ復号化信号として利得調整部２５０６に出力する。また、第１拡張レイヤ復号化部２５０３は、制御スイッチ２５１３がオフ状態の場合は、何も動作しない。

第２拡張レイヤ復号化部２５０４は、制御スイッチ２５１４がオン状態の場合は、復号化動作制御部２５０１から出力される第２拡張レイヤ情報源符号を復号化し、これを第２拡張レイヤ復号化信号として利得調整部２５０７に出力する。また、第２拡張レイヤ復号化部２５０４は、制御スイッチ２５１４がオフ状態の場合は、何も動作しない。

また、基本レイヤ復号化部２５０２、第１拡張レイヤ復号化部２５０３、第２拡張レイヤ復号化部２５０４の内部構成は、上述した説明と同一であり、ここでは説明を省略する。

利得調整部２５０５は、基本レイヤ復号化部２５０２から基本レイヤ復号化信号が入力される。また、利得調整部２５０５は、復号化動作制御部２５０１によりフェードアウト／フェードイン／オフ状態が制御される。

利得調整部２５０５は、復号化動作制御部２５０１によりオフ状態に制御された場合は、基本レイヤ復号化部２５０２から得られる基本レイヤ復号化信号をそのまま制御スイッチ２５１５、２５１９に出力する。また、利得調整部２５０５は、復号化動作制御部２５０１によりフェードアウト状態に制御された場合は、以下の式（１７）により、基本レイヤ復号化部２５０２から得られる基本レイヤ復号化信号に対して減衰処理を行い、得られた信号を制御スイッチ２５１５、２５１９に出力する。

ここで、Ｎ_ｓは１フレームにおけるサンプル数Ｎより定められる値であり、Xbase_iは基本レイヤ復号化信号であり、Xbase’_iは減衰後の復号化信号である。

また、利得調整部２５０５は、復号化動作制御部２５０１によりフェードイン状態に制御された場合は、以下の式（１８）により、基本レイヤ復号化部２５０２から得られる基本レイヤ復号化信号に対して増幅処理を行い、得られた信号を制御スイッチ２５１５、２５１９に出力する。

ここで、上記式（１７）と同様に、Ｎ_ｓは１フレームにおけるサンプル数Ｎより定められる値であり、Xbase_iは基本レイヤ復号化信号であり、Xbase”_iは増幅後の復号化信号である。

利得調整部２５０６は、利得調整部２５０５において、入力信号を第１拡張レイヤ復号化信号に置き換え、制御スイッチ２５１５、２５１９を制御スイッチ２５１６に置き換える以外は利得調整部２５０５の構成と同様であり、説明は省略する。また利得調整部２５０７は、利得調整部２５０５において、入力信号を第２拡張レイヤ復号化信号に置き換え、制御スイッチ２５１５、２５１９を制御スイッチ２５１８に置き換える以外は利得調整部２５０５の構成と同様であり、説明は省略する。

アップサンプリング処理部２５０８は、制御スイッチ２５１５がオン状態の場合、利得調整部２５０５から出力された基本レイヤ復号化信号を第１拡張レイヤサンプリング周波数にアップサンプリングし、アップサンプリング後の信号を加算部２５１０に出力する。なお、アップサンプリング処理部２５０８は、制御スイッチ２５１５がオフ状態の場合には何も動作しない。

加算部２５１０は、制御スイッチ２５１５、２５１６がオン状態の場合、アップサンプリング処理部２５０８から出力される信号と、利得調整部２５０６から出力される第１拡張レイヤ復号化信号を加算し、これを制御スイッチ２５１７、２５１９に出力する。なお、加算部２５１０は、制御スイッチ２５１５、２５１６がオフ状態の場合には何も動作しない。

アップサンプリング処理部２５０９は、制御スイッチ２５１７がオン状態の場合、加算部２５１０から出力された信号を入力サンプリング周波数にアップサンプリングし、アップサンプリング後の信号を加算部２５１１に出力する。なお、アップサンプリング処理部２５０９は、制御スイッチ２５１７がオフ状態の場合には何も動作しない。

加算部２５１１は、制御スイッチ２５１７、２５１８がオン状態の場合、サンプリング調整部２５０９から出力される信号と、利得調整部２５０７から出力される第２拡張レイヤ復号化信号を加算し、これを制御スイッチ２５１９に出力する。なお、加算部２５１１は、制御スイッチ２５１７、２５１８がオフ状態の場合には何も動作しない。

以上が、本実施の形態における図２０の信号復号化装置２００２の構成の説明である。

このように、本実施の形態によれば、各レイヤで扱う信号のサンプリング周波数が異なるスケーラブル符号化／復号化方式（周波数スケーラブル符号化／復号化方式）に対しても、復号化時に用いるレイヤ数が増減することにより発生する異音を抑制することができる。

なお、本実施の形態では、信号符号化装置において、連続するフレーム間の伝送モードの切り替わりを検知し、その情報を符号化情報に含めることにより、信号復号化装置でレイヤ数（伝送ビットレート）が変更する際の異音を抑圧する場合について説明した。なお、本発明はこれに限らず、伝送路中に存在する信号中継装置において伝送ビットレートを切り替えるような状況に対しても、信号符号化装置における処理と同様の処理を行うことにより、信号復号化装置でレイヤ数（伝送ビットレート）が変更する際の異音を抑圧するという場合についても同様に適用することができる。

（実施の形態８）
上述した実施の形態６及び実施の形態７では、信号符号化装置２００１に入力する情報として、現フレームに対する伝送モード情報、及び次フレームに対する伝送モード情報が必要であった。しかし、システム上、予め次フレームの伝送モード情報を入力することができない場合や、伝送誤り等により予期せず伝送ビットレートが切り替わるということも十分考えられる。

本発明は、信号符号化装置において、また伝送路中に存在する信号中継装置において、次フレームに対する伝送モード情報を得ることができない場合に対しても同様に適用することができ、本実施の形態８では、上記のような状況において、信号復号化時にレイヤ数（伝送ビットレート）が変更する際の異音を抑圧する場合について説明する。

本実施の形態における全体的なシステムの構成は実施の形態６の図２０と同様であり、信号符号化装置２００１の作用は実施の形態６と同一である。

図２０の信号符号化装置２００１の構成は、実施の形態６における信号符号化装置の説明と同一であり、ここではその説明は省略する。但し、信号符号化装置２００１に入力される伝送モード情報とは、現フレームに対する伝送モード情報Mode_curのみとする。

また、本実施の形態において、信号符号化装置２００１から伝送路２００２に出力される符号化情報のデータ構造を図２６に示す。

伝送モード情報Mode_curがbitrate3である場合、符号化情報は、図２６（ａ）に示すように、伝送モード情報Mode_cur、及び基本レイヤ情報源符号から構成される。

伝送モード情報Mode_curがbitrate2である場合、符号化情報は、図２６（ｂ）に示すように、伝送モード情報Mode_cur、基本レイヤ情報源符号、及び第１拡張レイヤ情報源符号から構成される。

伝送モード情報Mode_curがbitrate1である場合、符号化情報は、図２６（ｃ）に示すように、伝送モード情報Mode_cur、基本レイヤ情報源符号、第１拡張レイヤ情報源符号、及び第２拡張レイヤ情報源符号から構成される。

次に、図２０の信号復号化装置２００３の構成について図２７のブロック図を用いて説明する。

信号復号化装置２００３は、復号化動作制御部２７０１と、制御スイッチ２７０２〜２７０４と、基本レイヤ復号化部２７０５と、第１拡張レイヤ復号化部２７０６と、第２拡張レイヤ復号化部２７０７と利得調整部２７０８〜２７１０と、合成音保存部２７１１〜２７１３と、加算部２７１４、２７１５と再合成処理部２７１６とから主に構成される。

符号化情報は、復号化動作制御部２７０１に入力される。

復号化動作制御部２７０１は、前フレームに対する伝送モード情報（初期値はbitrate0とし、以下Mode_preとする）を記憶するメモリを内部に有し、入力された符号化情報を伝送モード情報Mode_cur、及び各レイヤの情報源符号に分離し、伝送モード情報Mode_pre、Mode_curに応じて、利得調整部２７０８〜２７１０、制御スイッチ２７０２〜２７０４、合成音保存部２７１１〜２７１３、及び再合成処理部２７１６の制御を行い、また各レイヤの情報源符号を基本レイヤ復号化部２７０５、第１拡張レイヤ復号化部２７０６及び第２拡張レイヤ復号化部２７０７に出力する。

次に、伝送モード情報Mode_pre、Mode_curに応じた、復号化動作制御部２７０１の動作について詳しく説明する。復号化動作制御部２７０１は以下のルールに従って、利得調整部２７０８〜２７１０、制御スイッチ２７０２〜２７０４、合成音保存部２７１１〜２７１３、及び再合成処理部２７１６、出力する情報源符号の制御／決定を行う。

（パターン１）
復号化動作制御部２７０１は、伝送モード情報Mode_pre、Mode_curが以下の式（１９）を満たす場合、現フレームに対して、Mode_preとMode_curの値を用いて、Mode_preが示す伝送ビットレートを下限とし、Mode_curが示す伝送ビットレートを上限としたフェードイン処理を行う。

この時、復号化動作制御部２７０１は、Mode_curが示す伝送ビットレートに応じて制御スイッチ２７０２〜２７０４の制御を行う。具体的には、復号化動作制御部２７０１は、Mode_curがbitrate1の場合は、制御スイッチ２７０２〜２７０４を全てオン状態にし、基本レイヤ情報源を基本レイヤ復号化部２７０５に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２７０６に出力し、第２拡張レイヤ情報源符号を第２拡張レイヤ復号化部２７０７に出力する。Mode_curがbitrate2の場合は、制御スイッチ２７０２、２７０３をオン状態にし、制御スイッチ２７０４をオフ状態にし、基本レイヤ情報源を基本レイヤ復号化部２７０５に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２７０６に出力する。また、Mode_curがbitrate3の場合は、制御スイッチ２７０２をオン状態にし、制御スイッチ２７０３、２７０４をオフ状態し、基本レイヤ情報源を基本レイヤ復号化部２７０５に出力する。

また、この時、復号化動作制御部２７０１は、Mode_pre、Mode_curが示す伝送ビットレートに応じて利得調整部２７０８〜２７１０の制御を行う。具体的には、復号化動作制御部２７０１は、Mode_curがbitrate1であり、かつMode_preがbitrate2の場合は、利得調整部２７１０をフェードイン状態にし、利得調整部２７０８、２７０９をオフ状態にする。また、復号化動作制御部２７０１は、Mode_curがbitrate1であり、かつMode_preがbitrate3の場合は、利得調整部２７０９、２７１０をフェードイン状態にし、利得調整部２７０８をオフ状態にする。また、復号化動作制御部２７０１は、Mode_curがbitrate1であり、かつMode_preがbitrate0の場合は、利得調整部２７０８〜２７１０を全てフェードイン状態にする。また、復号化動作制御部２７０１は、Mode_curがbitrate2であり、かつMode_preがbitrate3の場合は、利得調整部２７０９をフェードイン状態にし、利得調整部２７０８、２７１０をオフ状態にする。また、復号化動作制御部２７０１は、Mode_curがbitrate2であり、かつMode_preがbitrate0の場合は、利得調整部２７０８、２７０９をフェードイン状態にし、利得調整部２７１０をオフ状態にする。また、復号化動作制御部２７０１は、Mode_curがbitrate3であり、かつMode_preがbitrate0の場合は、利得調整部２７０８をフェードイン状態にし、利得調整部２７０９、２７１０をオフ状態にする。

また、この時、復号化動作制御部２７０１は、合成音保存部２７１１〜２７１３、及び再合成処理部２７１６を全てオフ状態にする。

（パターン２）
復号化動作制御部２７０１は、伝送モード情報Mode_pre、Mode_curが以下の式（２０）を満たす場合、現フレームに対して、Mode_preとMode_curの値を用いて、再合成処理を行う。

この時、復号化動作制御部２７０１は、Mode_curが示す伝送ビットレートに応じて制御スイッチ２７０２〜２７０４の制御を行う。具体的には、復号化動作制御部２７０１は、Mode_curがbitrate1の場合は、制御スイッチ２７０２〜２７０４を全てオン状態にし、基本レイヤ情報源を基本レイヤ復号化部２７０５に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２７０６に出力し、第２拡張レイヤ情報源符号を第２拡張レイヤ復号化部２７０７に出力する。Mode_curがbitrate2の場合は、制御スイッチ２７０２、２７０３をオン状態にし、制御スイッチ２７０４をオフ状態にし、基本レイヤ情報源を基本レイヤ復号化部２７０５に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２７０６に出力する。また、Mode_curがbitrate3の場合は、制御スイッチ２７０２をオン状態にし、制御スイッチ２７０３、２７０４をオフ状態し、基本レイヤ情報源を基本レイヤ復号化部２７０５に出力する。

また、この時、復号化動作制御部２７０１は、利得調整部２７０８〜２７１０を全てオフ状態にする。

また、この時、復号化動作制御部２７０１は、Mode_pre、Mode_curが示す伝送ビットレートに応じて、合成音保存部２７１１〜２７１３の制御（オン／オフ状態）、及び再合成処理部２７１６の制御（第１拡張レイヤ再合成状態／基本レイヤ再合成状態１／基本レイヤ再合成状態２）を行う。具体的には、復号化動作制御部２７０１は、Mode_curがbitrate2であり、かつMode_preがbitrate1の場合は、合成音保存部２７１２、２７１３をオン状態にし、合成音保存部２７１１をオフ状態にし、再合成処理部２７１６を第１拡張レイヤ再合成状態にする。また、復号化動作制御部２７０１は、Mode_curがbitrate3であり、かつMode_preがbitrate1の場合は、合成音保存部２７１１、２７１３をオン状態にし、合成音保存部２７１２をオフ状態にし、再合成処理部２７１６を基本レイヤ再合成状態１にする。また、復号化動作制御部２７０１は、Mode_curがbitrate3であり、かつMode_preがbitrate2の場合は、合成音保存部２７１１、２７１２をオン状態にし、合成音保存部２７１３をオフ状態にし、再合成処理部２７１６を基本レイヤ再合成状態２にする。

（パターン３）
復号化動作制御部２７０１は、伝送モード情報Mode_pre、Mode_curが以下の式（２１）を満たす場合、現フレームに対して、Mode_curの値を用いて、通常の復号化処理を行う。

この時、復号化動作制御部２７０１は、Mode_curが示す伝送ビットレートに応じて制御スイッチ２７０２〜２７０４の制御を行う。具体的には、復号化動作制御部２７０１は、Mode_curがbitrate1の場合は、制御スイッチ２７０２〜２７０４を全てオン状態にし、基本レイヤ情報源を基本レイヤ復号化部２７０５に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２７０６に出力し、第２拡張レイヤ情報源符号を第２拡張レイヤ復号化部２７０７に出力する。Mode_curがbitrate2の場合は、制御スイッチ２７０２、２７０３をオン状態にし、制御スイッチ２７０４をオフ状態にし、基本レイヤ情報源を基本レイヤ復号化部２７０５に出力し、第１拡張レイヤ情報源符号を第１拡張レイヤ復号化部２７０６に出力する。また、Mode_curがbitrate3の場合は、制御スイッチ２７０２をオン状態にし、制御スイッチ２７０３、２７０４をオフ状態し、基本レイヤ情報源を基本レイヤ復号化部２７０５に出力する。

また、この時、復号化動作制御部２７０１は、利得調整部２７０８〜２７１０を全てオフ状態にする。

また、この時、復号化動作制御部２７０１は、合成音保存部２７１１〜２７１３、及び再合成処理部２７１６を全てオフ状態にする。

基本レイヤ復号化部２７０５は、制御スイッチ２７０２がオン状態である場合は、復号化動作制御部２７０１から出力される基本レイヤ情報源符号を復号化し、これを基本レイヤ復号化信号として利得調整部２７０８に出力する。また、基本レイヤ復号化部２７０５は、制御スイッチ２７０２がオフ状態である場合は、何も動作しない。

第１拡張レイヤ復号化部２７０６は、制御スイッチ２７０３がオン状態の場合は、復号化動作制御部２７０１から出力される第１拡張レイヤ情報源符号を復号化し、これを第１拡張レイヤ復号化信号として利得調整部２７０９に出力する。また、第１拡張レイヤ復号化部２７０６は、制御スイッチ２７０３がオフ状態の場合は、何も動作しない。

第２拡張レイヤ復号化部２７０７は、制御スイッチ２７０４がオン状態の場合は、復号化動作制御部２７０１から出力される第２拡張レイヤ情報源符号を復号化し、これを第２拡張レイヤ復号化信号として利得調整部２７１０に出力する。また、第２拡張レイヤ復号化部２７０７は、制御スイッチ２７０４がオフ状態の場合は、何も動作しない。

また、基本レイヤ復号化部２７０５、第１拡張レイヤ復号化部２７０６、第２拡張レイヤ復号化部２７０７の内部構成は、上述した説明と同一であり、ここでは説明を省略する。

利得調整部２７０８は、基本レイヤ復号化部２７０５から基本レイヤ復号化信号が入力される。また、利得調整部２７０８は、復号化動作制御部２７０１によりフェードイン／オフ状態が制御される。

利得調整部２７０８は、復号化動作制御部２７０１によりオフ状態に制御された場合は、基本レイヤ復号化部２７０５から得られる基本レイヤ復号化信号をそのまま合成音保存部２７１１に出力する。また、利得調整部２７０８は、復号化動作制御部２７０１によりフェードイン状態に制御された場合は、以下の式（２２）により、基本レイヤ復号化部２７０５から得られる基本レイヤ復号化信号に対して増幅処理を行い、得られた信号を合成音保存部２７１１に出力する。

ここで、Ｎ_ｓは１フレームにおけるサンプル数Ｎより定められる値であり、Xbase_iは基本レイヤ復号化信号であり、Xbase”_iは増幅後の復号化信号である。

利得調整部２７０９は、利得調整部２７０８において、入力信号を第１拡張レイヤ復号化信号に置き換え、合成音保存部２７１１を加算部２７１４に置き換える以外は利得調整部２７０８の構成と同様であり、説明は省略する。また利得調整部２７１０は、利得調整部２７０８において、入力信号を第２拡張レイヤ復号化信号に置き換え、合成音保存部２７１１を加算部２７１５に置き換える以外は利得調整部２７０８の構成と同様であり、説明は省略する。

合成音保存部２７１１は、内部に前フレーム処理時の復号化信号を記憶する内部バッファを有し、復号化動作制御部２７０１により、オン／オフ状態が制御される。合成音保存部２７１１は、オン／オフ状態のどちらである場合にも、利得調整部２７０８から出力される信号を入力し、これを加算部２７１４に出力する。また、合成音保存部２７１１は、復号化動作制御部２７０１により、オン状態に制御された場合においてのみ、内部バッファに格納されている前フレーム処理時に利得調整部２７０８から出力された信号を再合成処理部２７１６に出力する。次に、合成音保存部２７１１は、オン／オフ状態のどちらである場合にも、１フレーム処理毎に、利得調整部２７０８から出力される信号を内部バッファに格納する。ここで、合成音保存部２７１１は、復号化動作制御部２７０１によりオン状態に制御された場合、まず内部バッファに格納されている前フレーム処理時の信号を再合成処理部２７１６に出力した後に、現フレームの信号を内部バッファに格納することで、前フレームの信号を適切に再合成処理部２７１６に出力することができる。

加算部２７１４は、制御スイッチ２７０２、２７０３が共にオン状態である場合は、合成音保存部２７１１から出力される信号と、利得調整部２７０９から出力される信号を加算し、これを合成音保存部２７１２へ出力する。また、加算部２７１４は、制御スイッチ２７０２がオン状態であり、かつ制御スイッチ２７０３がオフ状態である場合は、合成音保存部２７１１から出力される信号を、そのまま合成音保存部２７１２へ出力する。また、加算部２７１４は、制御スイッチ２７０２、２７０３が共にオフ状態である場合は、何も動作しない。

合成音保存部２７１２は、内部に前フレーム処理時の復号化信号を記憶する内部バッファを有し、復号化動作制御部２７０１により、オン／オフ状態が制御される。合成音保存部２７１２は、オン／オフ状態のどちらである場合にも、加算部２７１４から出力される信号を入力し、これを加算部２７１５に出力する。また、合成音保存部２７１２は、復号化動作制御部２７０１により、オン状態に制御された場合においてのみ、内部バッファに格納されている前フレーム処理時に加算部２７１４から出力された信号を再合成処理部２７１６に出力する。次に、合成音保存部２７１２は、オン／オフ状態のどちらである場合にも、１フレーム処理毎に、加算部２７１４から出力される信号をバッファに格納する。ここで、合成音保存部２７１２は、復号化動作制御部２７０１によりオン状態に制御された場合、まず内部バッファに格納されている前フレーム処理時の信号を再合成処理部２７１６に出力した後に、現フレームの信号を内部バッファに格納することで、前フレームの信号を適切に再合成処理部２７１６に出力することができる。

加算部２７１５は、制御スイッチ２７０２〜２７０４が全てオン状態である場合は、合成音保存部２７１２から出力される信号と、利得調整部２７１０から出力される信号を加算し、これを合成音保存部２７１３へ出力する。また、加算部２７１５は、制御スイッチ２７０４がオフ状態である場合は、合成音保存部２７１２から出力される信号を、そのまま合成音保存部２７１３へ出力する。また、加算部２７１５は、制御スイッチ２７０２〜２７０４が全てオフ状態である場合は、何も動作しない。

合成音保存部２７１３は、内部に前フレーム処理時の復号化信号を記憶する内部バッファを有し、復号化動作制御部２７０１により、オン／オフ状態が制御される。合成音保存部２７１３は、オン／オフ状態のどちらである場合にも、加算部２７１５から出力される信号を入力し、これを再合成処理部２７１６に出力する。また、合成音保存部２７１３は、復号化動作制御部２７０１により、オン状態に制御された場合においてのみ、内部バッファに格納されている前フレーム処理時に加算部２７１５から出力された信号を再合成処理部２７１６に出力する。次に、合成音保存部２７１３は、オン／オフ状態のどちらである場合にも、１フレーム処理毎に、加算部２７１５から出力される信号をバッファに格納する。ここで、合成音保存部２７１３は、復号化動作制御部２７０１によりオン状態に制御された場合、まず内部バッファに格納されている前フレーム処理時の信号を再合成処理部２７１６に出力した後に、現フレームの信号を内部バッファに格納することで、前フレームの信号を適切に再合成処理部２７１６に出力することができる。

再合成処理部２７１６は、復号化動作制御部２７０１により、基本レイヤ再合成状態１／基本レイヤ再合成状態２／第１拡張レイヤ再合成状態のいずれかの状態に制御される。以下、各状態に制御された場合の再合成処理部２７１６の動作について詳細に説明する。

（第１拡張レイヤ再合成状態）
再合成処理部２７１６は、復号化動作制御部２７０１により、第１拡張レイヤ再合成状態に制御された場合、合成音保存部２７１３から出力される現フレームの復号化信号、合成音保存部２７１２から出力される前フレームの合成音（第１合成音）、及び合成音保存部２７１３から出力される前フレームの合成音（第２合成音）を入力し、現フレームの復号化信号に対して再合成処理を行う。具体的には、再合成処理部２７１６は、まず、合成音保存部２７１３から出力される現フレームの復号化信号に対して、各音声情報処理関連書（Ｊ．Ｄ．マーケル著「音声の線形予測」（コロナ社）等）に記載の方法でＮ_ｐ次の線形予測分析を行い、線形予測係数（ＬＰＣ係数）α_i（ｉ＝0〜Ｎ_ｐ）を算出する。なお、この際、現フレームの復号化信号の先頭からＮ_ｐ−１個目までのサンプルに対しては、合成音保存部２７１２から出力される第１合成音の最後からＮ_ｐ個のサンプルを利用する。次に、再合成処理部２７１６は、合成音保存部２７１３から出力される現フレームの復号化信号Ｓ_i（ｉ＝0〜Ｎ_ｐ）に対して、算出した線形予測係数を用いて式（２３）のようにして、線形予測誤差信号Ｚ_i（ｉ＝0〜Ｎ_ｐ）を算出する。なお、この時も、現フレームの復号化信号の先頭からＮ_ｐ−１個目までのサンプルに対しては、合成音保存部２７１２から出力される第１合成音の最後からＮ_ｐ個のサンプルを利用する。また、式（２３）中のＮは１フレーム中のサンプル数である。

次に、再合成処理部２７１６は、算出した線形予測誤差信号を用いて式（２４）のようにして、復号化信号を再合成する。なお、この時、線形予測誤差信号の先頭からＮ_ｐ−１個目までのサンプルに対しては、合成音保存部２７１３から出力される第２合成音の最後からＮ_ｐ個のサンプルを利用する。

次に、再合成処理部２７１６は、式（２４）の結果得られる信号を出力信号として出力する。

（基本レイヤ再合成状態１）
また、再合成処理部２７１６は、復号化動作制御部２７０１により、基本レイヤ再合成状態１に制御された場合、合成音保存部２７１３から出力される現フレームの復号化信号、合成音保存部２７１１から出力される前フレームの合成音（第１合成音）、及び合成音保存部２７１３から出力される前フレームの合成音（第２合成音）を入力し、現フレームの復号化信号に対して再合成処理を行う。具体的には、再合成処理部２７１６は、まず、合成音保存部２７１３から出力される現フレームの復号化信号に対して、周知の方式でNs次の線形予測分析を行い、線形予測係数（ＬＰＣ係数）α_i（ｉ＝0〜Ｎ_ｐ）を算出する。なお、この際、現フレームの復号化信号の先頭からＮ_ｐ−１個目までのサンプルに対しては、合成音保存部２７１１から出力される第１合成音の最後からＮ_ｐ個のサンプルを利用する。次に、再合成処理部２７１６は、合成音保存部２７１３から出力される現フレームの復号化信号に対して、算出した線形予測係数を用いて式（２３）のようにして、線形予測誤差信号を算出する。なお、この時も、現フレームの復号化信号の先頭からＮ_ｐ−１個目までのサンプルに対しては、合成音保存部２７１１から出力される第１合成音の最後からＮ_ｐ個のサンプルを利用する。次に、再合成処理部２７１６は、算出した線形予測誤差信号を用いて式（２４）のようにして、復号化信号を再合成する。なお、この時、線形予測誤差信号の先頭からＮ_ｐ−１個目までのサンプルに対しては、合成音保存部２７１３から出力される第２合成音の最後からＮ_ｐ個のサンプルを利用する。

次に、再合成処理部２７１６は、式（２４）の結果得られる信号を出力信号として出力する。

（基本レイヤ再合成状態２）
また、再合成処理部２７１６は、復号化動作制御部２７０１により、基本レイヤ再合成状態２に制御された場合、合成音保存部２７１３から出力される現フレームの復号化信号、合成音保存部２７１１から出力される前フレームの合成音（第１合成音）、及び合成音保存部２７１２から出力される前フレームの合成音（第２合成音）を入力し、現フレームの復号化信号に対して再合成処理を行う。具体的には、再合成処理部２７１６は、まず、合成音保存部２７１３から出力される現フレームの復号化信号に対して、周知の方式でNs次の線形予測分析を行い、線形予測係数（ＬＰＣ係数）α_i（ｉ＝0〜Ｎ_ｐ）を算出する。なお、この際、現フレームの復号化信号の先頭からＮ_ｐ−１個目までのサンプルに対しては、合成音保存部２７１１から出力される第１合成音の最後からＮ_ｐ個のサンプルを利用する。次に、再合成処理部２７１６は、合成音保存部２７１３から出力される現フレームの復号化信号に対して、算出した線形予測係数を用いて式（２３）のようにして、線形予測誤差信号を算出する。なお、この時も、現フレームの復号化信号の先頭からＮ_ｐ−１個目までのサンプルに対しては、合成音保存部２７１１から出力される第１合成音の最後からＮ_ｐ個のサンプルを利用する。次に、再合成処理部２７１６は、算出した線形予測誤差信号を用いて式（２４）のようにして、復号化信号を再合成する。なお、この時、線形予測誤差信号の先頭からＮ_ｐ−１個目までのサンプルに対しては、合成音保存部２７１２から出力される第２合成音の最後からＮ_ｐ個のサンプルを利用する。

次に、再合成処理部２７１６は、式（２４）の結果得られる信号を出力信号として出力する。

以上が、本実施の形態における信号復号化装置２００３の内部構成の説明である。

このように、本実施の形態によれば、信号符号化装置において、また伝送路中に存在する信号中継装置において、次フレームに対する伝送モード情報を得ることができない場合に対しても、復号化時に用いるレイヤ数が増減することにより発生する異音を抑制することが可能となる。特に、復号化時に利用するレイヤ数が減少した場合に対しては、前フレームの各レイヤまでの復号化信号を退避しておき、その前フレームの復号化信号を利用してレイヤ数が減少したフレームの復号化信号を再合成することにより、伝送誤りや突然のレイヤ数減少など予期せぬ事態に対しても異音を抑制することができる。

また、本実施の形態では、伝送中の伝送誤り等は信号復号化装置に入力する前までに検出し、信号復号化装置は既に伝送モード情報が変更された後の符号化情報に対して復号化処理を行う場合を説明したが、本発明はこれに限らず、一般に伝送誤りを検出する際の構成と同様に、符号化情報中に伝送誤り検出ビット等を含め、信号復号化装置内に備えられた伝送誤り検出部により伝送誤りを検出し、その結果、復号化時に利用するレイヤ数を変更する場合に対しても同様に適用できる。例えば、前フレームの伝送モード情報がbitrate1であり、かつ現フレームの伝送モード情報がbitrate1で伝送される符号化情報において、信号復号化装置内の伝送誤り検出部が、最上位レイヤ（第２拡張レイヤ）の情報源符号に伝送誤りを検出した場合は、上述の（第１拡張レイヤ再合成状態）のように再合成処理を行うことにより、レイヤ数の変化による異音を抑制することができる。

本明細書は、２００４年７月２８日出願の特願２００４−２２０８６７及び２００５年１月１１日出願の特願２００５−００４５４０に基づく。この内容はすべてここに含めておく。

本発明は、パケット通信システムや移動通信システムの通信装置に用いるのに好適である。

本発明の実施の形態１に係る通信システムの構成を示すブロック図 本発明の実施の形態１に係る信号符号化装置の内部構成を示すブロック図 本発明の実施の形態１に係る信号符号化装置から伝送されるデータ構造を示すブロック図 本発明の実施の形態１に係る信号符号化装置の基本レイヤ符号化部の内部構成を示すブロック図 本発明の実施の形態１に係る信号符号化装置の基本レイヤ復号化部の内部構成を示すブロック図 本発明の実施の形態１に係る中継装置の内部構成を示すブロック図 本発明の実施の形態１に係る中継装置の付加処理部の内部構成を示すブロック図 本発明の実施の形態１に係る中継装置から伝送されるデータ構造を示すブロック図 本発明の実施の形態１に係る信号復号化装置の内部構成を示すブロック図 本発明の実施の形態２に係る信号復号化装置の内部構成を示すブロック図 本発明の実施の形態３に係る信号符号化装置から伝送されるデータ構造を示すブロック図 本発明の実施の形態３に係る中継装置の付加処理部の内部構成を示すブロック図 本発明の実施の形態３に係る中継装置から伝送されるデータ構造を示すブロック図 本発明の実施の形態３に係る信号復号化装置の内部構成を示すブロック図 本発明の実施の形態４に係る通信システムの構成を示すブロック図 本発明の実施の形態４に係る中継装置の内部構成を示すブロック図 本発明の実施の形態４に係る中継装置の付加処理部の内部構成を示すブロック図 本発明の実施の形態４に係る中継装置から伝送されるデータ構造を示すブロック図 本発明の実施の形態５に係る信号送信装置、中継装置及び信号受信装置の構成を示すブロック図 本発明の実施の形態６に係る通信システムの構成を示すブロック図 本発明の実施の形態６に係る信号符号化装置の内部構成を示すブロック図 本発明の実施の形態６に係る信号符号化装置から伝送されるデータ構造を示すブロック図 本発明の実施の形態６に係る信号復号化装置の内部構成を示すブロック図 本発明の実施の形態７に係る信号符号化装置の内部構成を示すブロック図 本発明の実施の形態７に係る信号復号化装置の内部構成を示すブロック図 本発明の実施の形態８に係る信号符号化装置から伝送されるデータ構造を示すブロック図 本発明の実施の形態８に係る信号復号化装置の内部構成を示すブロック図

符号の説明

１０１、２００１ 信号符号化装置
１０３、１５０１ 中継装置
１０５、２００３ 信号復号化装置
２０１、２１０１、２４０１ 伝送ビットレート制御部
２０６、２１０６、２４０７ 基本レイヤ符号化部
２０８、９０３、１４０３、２１０８、２３０２、２４０８、２５０２、２７０５ 基本レイヤ復号化部
２０９、２１０９、２４１２ 第１拡張レイヤ符号化部
２１０、９０４、１４０４、２１１０、２３０３、２４１３、２５０３、２７０６ 第１拡張レイヤ復号化部
２１２、２１１２、２４１６ 第２拡張レイヤ符号化部
２１３、２１１３ 符号化情報統合部
６０１、１６０１ 付加情報受信部
６０２、１６０２ 符号化情報解析部
６０３、１６０３ 付加処理部
６０４、１６０４、２４１７ 符号化情報統合部
７０１、１２０１、１７０１ 付加情報符号化部
７０２、１２０２、１７０２ 付加情報統合部
９０１、１４０１ 符号化情報解析部
９０２、１４０２、２３０１ 復号化動作制御部
９０５、１４０５、２３０４、２５０４、２７０７ 第２拡張レイヤ復号化部
９０６、１４０６ 付加情報復号化部
１４１１〜１４１３、２３０８〜２３１０、２５０５〜２５０７、２７０８〜２７１０ 利得調整部
１７０３ 優先モード情報決定部
２７１１〜２７１３ 合成音保存部
２７１６ 再合成処理部

Claims (3)

1. 複数階層で構成された符号化情報を復号化する信号復号化装置であって、
   各階層の符号化情報を復号化して複数の復号化信号を生成する復号化手段と、前記各復号化信号を加算して加算信号を生成する加算手段と、前記加算信号の利得を調整する利得調整手段と、前後のフレームにおける各階層の符号化情報の有無に基づいて前記利得調整手段の利得幅を制御する制御手段と、を具備する信号復号化装置。
2. 複数階層で構成された符号化情報を復号化する信号復号化装置であって、
   各階層の符号化情報を復号化して複数の復号化信号を生成する復号化手段と、前記各復号化信号のサンプリング周波数を調整する複数のサンプリング調整手段と、前記サンプリング調整後の各復号化信号を加算して加算信号を生成する加算手段と、前記加算信号の利得を調整する利得調整手段と、前後のフレームにおける各階層の符号化情報の有無に基づいて前記利得調整手段の利得幅を制御する制御手段と、を具備する信号復号化装置。
3. 複数階層で構成された符号化情報を復号化する信号復号化装置であって、
   各階層の符号化情報を復号化して複数の復号化信号を生成する復号化手段と、前記各復号化信号を加算して加算信号を生成する加算手段と、前記加算信号の利得を調整する利得調整手段と、前フレームの利得調整後の加算信号を記憶する保存手段と、前記保存手段にて保存される前フレームの加算信号と前記加算手段にて加算された現フレームの加算信号とを合成する合成処理手段と、前フレームにおける各階層の符号化情報の有無に基づいて前記利得調整手段の利得幅を制御し、前記合成処理手段による合成処理を行うか否かを制御する制御手段と、を具備する信号復号化装置。

Images