JPWO2009050896A1

JPWO2009050896A1 - ストリーム合成装置、復号装置、方法

Info

Publication number: JPWO2009050896A1
Application number: JP2009512090A
Authority: JP
Inventors: 石川　智一; 智一石川; 則松　武志; 武志則松; 崇片山
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2007-10-16
Filing date: 2008-10-16
Publication date: 2011-02-24
Also published as: EP2128856A1; BRPI0806228A8; CN101578655A; BRPI0806228A2; RU2473139C2; RU2009122690A; US20100063828A1; EP2128856A4; CN101578655B; WO2009050896A1; JP2013137563A; US8391513B2

Abstract

多拠点接続時の臨場感を向上させつつ、多拠点接続装置での演算負荷を減らすことが可能になるようにする。２つ以上の音信号がダウンミックスされた音響信号が符号化された第１のダウンミックス音響信号と、当該第１のダウンミックス音響信号から前記２つ以上の音信号を取得するための拡張信号とが含まれる符号化信号を２つ以上入力する入力部と、前記入力部によって入力された各符号化信号に基いて、前記各第１のダウンミックス音響信号が取得される第２のダウンミックス音響信号と、当該第２のダウンミックス音響信号から前記各第１のダウンミックス音響信号を取得するための拡張信号とを生成し、生成された当該第２のダウンミックス音響信号と、生成された当該拡張信号と、入力された前記各符号化信号の各拡張信号とが含まれる符号化信号を生成する符号化信号生成部と、生成された当該符号化信号を出力する出力部とを備えるストリーム合成装置が構成される。

Description

本発明は、オーディオコーデックを用いて通信する多拠点会議システムに関するものであり、特に多拠点接続装置に関するものである。

近年、複数の拠点間をＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ（ＩＰ）を介して接続している会議室システムが提案されている。従来は、各拠点がそれ以外の拠点と１対１に接続され、その音声符号化方式として、Ｇ．７２６などの音声符号化技術が用いられてきた。

非特許文献１記載のＧ．７２６などのモノラル音声符号化技術を用いた場合には、各拠点で複数の人が同時に発話した時、音響信号がモノラルであるため、各拠点の臨場感がうまく伝わらず、受信側では発話人を特定することは困難になる。これは、音の分離性能が劣化することに起因する。

そこで、非特許文献２記載のＭＰＥＧ−ＡＡＣ方式などのマルチチャンネル符号化技術を導入して分離性能を向上させることができる。ＭＰＥＧ−ＡＡＣ方式では各拠点間の臨場感は伝えられるが、伝送量（ビットレート）が増大してネットワークに負荷をかけてしまう。一般的には、音声の符号化方式に比べマルチチャンネルの符号化方式を用いると１００倍程度に伝送量が増大してしまう。

ＭＰＥＧ−ＡＡＣ方式に対して、非特許文献３記載のＭＰＥＧ−Ｓｕｒｒｏｕｎｄ方式では、低ビットレートのマルチチャンネル符号化方式を用いることで伝送量の増大を防ぐことができる。
ＩＴＵ−ＴＧ．７２６規格書ＭＰＥＧ−ＡＡＣ規格書ＩＳＯ／ＩＥＣ１３８１８−３ＭＰＥＧ−Ｓｕｒｒｏｕｎｄ規格書ＩＳＯ／ＩＥＣ２３００３−３インターネット＜URL:http://winnie.kuis.kyoto-u.ac.jp/~ogata/le4-pr/node2.html＞、［２００７年７月１５日検索］「階層的変換符号化基本モジュールによって構成されるスケーラブル楽音符号化」、電子情報通信学会論文誌 Vol.J83-A、No.3(20000325)、pp. 241-252 インターネット＜URL:http://www.murata.elec.waseda.ac.jp/~mura/Research/ICA/ieice99/mld.m＞、［２００７年７月１５日検索］

しかしながら、ＭＰＥＧ−Ｓｕｒｒｏｕｎｄ方式を会議システムに用いる場合に大きな課題がある。

図１及び図２に示すように、会議システムの接続方式にはメッシュ型（図１）とスター型（図２）とがある。複数の拠点がメッシュ型で接続されている場合（図１）、接続拠点数が増加してくると、各拠点の送受信端末装置では同時に沢山の復号化処理を行わなければならない。拠点数がｎ個の場合には、各拠点の端末ではｎ回の復号化処理を行う必要があるが、ＭＰＥＧ−Ｓｕｒｒｏｕｎｄ方式などのマルチチャンネル符号化方式を符号化・復号化する際には多大な演算を必要とするため、上記のように同時に複数の復号化処理を実行するには、符号化・復号化処理を行う処理プロセッサに高い演算性能が必要とされ、非常に大規模なプロセッサが必要になる。それらは一般的に非常に高価になりがちでコストが高い課題がある。また、演算メモリーにも余裕をもった設計を施さねばならないことも、コスト増加に拍車をかける。この課題は特に省電力が必要とされる携帯型の端末にとっては致命的なものである。

一方、多拠点接続装置（ＭＣＵ）４０３（図２）を介して接続されるスター型の場合にも課題がある。各拠点での送受信端末装置では、１組の送受信処理をすればよいので、過度なプロセッサ能力や演算メモリーは必要ないが、多拠点接続装置（ＭＣＵ）に多大な演算能力が必要になる。図３は、３拠点が多拠点接続装置４０３を介して接続されており、各拠点間はＭＰＥＧ−Ｓｕｒｒｏｕｎｄ方式などの従来のマルチチャンネル符号化方法で通信をしている様子を示している。各拠点は３チャンネルの通信をしている例だが、多拠点接続装置４０３では、拠点１と拠点２から受信した符号化情報４０１と４０２をマルチチャンネル復号化し、それぞれのチャンネルをダウンミックスして、再び３チャンネルの符号化を施して拠点３へと送信する。つまり、ｎ拠点が多拠点接続装置（ＭＣＵ）に接続されている場合、多拠点接続装置では、各拠点から受信した符号化列を一旦復号化して一つの信号にまとめて再度送り出すために符号化処理がｎ回、復号化処理がｎ回同時に行われる必要があり、メッシュ型の拠点端末で発生した課題が今度は多拠点接続装置で同様に発生する。

本発明は、このような従来の問題点に鑑みてなされたものである。

上記課題を解決するため、本発明の第１のストリーム合成装置は、２つ以上の音信号がダウンミックスされた音響信号が符号化された第１のダウンミックス音響信号と、当該第１のダウンミックス音響信号から前記２つ以上の音信号を取得するための拡張信号とが含まれる符号化信号を２つ以上入力する入力部と、前記入力部によって入力された各符号化信号に基いて、前記各第１のダウンミックス音響信号が取得される第２のダウンミックス音響信号と、当該第２のダウンミックス音響信号から前記各第１のダウンミックス音響信号を取得するための拡張信号とを生成し、生成された当該第２のダウンミックス音響信号と、生成された当該拡張信号と、入力された前記各符号化信号の各拡張信号とが含まれる符号化信号を生成する符号化信号生成部と、生成された当該符号化信号を出力する出力部とを備えるストリーム合成装置である。

また、本発明の復号装置は、２つ以上の音信号がダウンミックスされた音響信号が符号化されたダウンミックス音響信号と、当該ダウンミックス音響信号から前記２つ以上の音信号を取得するための拡張信号とが含まれる符号化信号を入力する入力部を備え、入力される前記符号化信号の前記ダウンミックス音響信号は、予め定められた２つ以上の符号化信号の各ダウンミックス音響信号が取得される第２のダウンミックス音響信号であり、入力される前記符号化信号の前記拡張信号は、前記第２のダウンミックス音響信号から前記各第１のダウンミックス音響信号を取得するための拡張信号であり、前記拡張信号に含まれる相互相関値（ＩＣＣ）と周波数パワー比（ＩＬＤ）とに基いて、前記第２のダウンミックス音響信号から取得される復号信号を前記相互相関値（ＩＣＣ）によって無相関化した２つ以上の中間信号を生成し、生成された当該２つ以上の中間信号に前記周波数パワー比（ＩＬＤ）を乗算する復号部を備える復号装置である。なお、復号部は、少なくとも相互相関値（ＩＣＣ）と周波数パワー比（ＩＬＤ）とに基いて、各中間信号を生成する。復号部は、相互相関値（ＩＣＣ）と、周波数パワー比（ＩＬＤ）と、相互相関値（ＩＣＣ）及び周波数パワー比（ＩＬＤ）以外の他のデータとに基いて、各中間信号を生成してもよい。

第２のストリーム合成装置は、１つ以上のモノラル信号をダウンミックスした音響信号を符号化したダウンミックス音響信号と、前記ダウンミックス音響信号を１つ以上のモノラル信号に復号するための拡張信号から構成される符号化信号をその入出力信号とするものであって、２つ以上の符号化信号を受信して、該１つ以上の符号化信号のダウンミックス音響信号部分を１つのダウンミックス音響信号と、前記ダウンミックス音響信号を１つ以上のモノラル信号に復号するための拡張信号に整形することを特徴とするストリーム合成装置である。

また、第３のストリーム合成装置は、１つ以上のモノラル信号をダウンミックスした音響信号を符号化したダウンミックス音響信号と、前記ダウンミックス音響信号を１つ以上のモノラル信号に復号するための拡張信号から構成される符号化信号をその入出力信号とするストリーム合成装置であって、２つ以上の前記符号化信号を受信して、１つの前記符号化信号を送信するものであって、受信した符号化信号に含まれる拡張信号を一つの符号化信号に合成する、ことを特徴とするストリーム合成装置である。

また、第４のストリーム合成装置は、１つ以上のモノラル信号をダウンミックスした音響信号を符号化したダウンミックス音響信号と、前記ダウンミックス音響信号を１つ以上のモノラル信号に復号するための拡張信号から構成される符号化信号をその入出力信号とするストリーム合成装置であって、２つ以上の前記符号化信号の送信元を示す情報を含む信号に合成する、ことを特徴とするストリーム合成装置である。

また、第１の復号化装置は、１つ以上のモノラル信号をダウンミックスした音響信号を符号化したダウンミックス音響信号と、前記ダウンミックス音響信号を１つ以上のモノラル信号に復号するための拡張信号から構成される符号化信号をその入力として、２つ以上の前記符号化信号から該１つ以上の符号化信号のダウンミックス音響信号部分を１つのダウンミックス音響信号と、前記ダウンミックス音響信号を１つ以上のモノラル信号に復号するための拡張信号に整形された信号を受信する復号化装置であって、前記拡張信号には、１つ以上のモノラル信号の周波数パワー比（ＩＬＤ）と１つ以上のモノラル信号の相互相関値（ＩＣＣ）を含み、前記ダウンミックスした音響信号を復号化した信号に前記相互相関値（ＩＣＣ）によって無相関化した２つ以上の中間信号を生成し、前記２つ以上の中間信号に前記周波数パワー比（ＩＬＤ）を乗算する、ことを特徴とする復号化装置である。

また、第２の復号化装置は、１つ以上のモノラル信号をダウンミックスした音響信号を符号化したダウンミックス音響信号と、前記ダウンミックス音響信号を１つ以上のモノラル信号に復号するための拡張信号から構成される符号化信号をその入力として、２つ以上の前記符号化信号から該１つ以上の符号化信号のダウンミックス音響信号部分を１つのダウンミックス音響信号と、前記ダウンミックス音響信号を１つ以上のモノラル信号に復号するための拡張信号に整形された信号を受信して復号化する復号化装置であって、前記拡張信号には、１つ以上のモノラル信号の二乗パワー周波数比を含み、前記二乗パワー周波数比が所定の閾値よりも大なるときに復号化を実施しないことを特徴とする復号化装置である。

また、第５のストリーム合成装置は、１つ以上のモノラル信号をダウンミックスした音響信号を符号化したダウンミックス音響信号と、前記ダウンミックス音響信号を１つ以上のモノラル信号に復号するための拡張信号から構成される符号化信号をその入出力信号とするものであって、２つ以上の符号化信号を受信して、該１つ以上の符号化信号のダウンミックス音響信号部分を１つのダウンミックス音響信号と、前記ダウンミックス音響信号を１つ以上のモノラル信号に復号するための拡張信号に整形することを特徴とするストリーム合成装置である。

この第５のストリーム合成装置によれば、Ｇ．７２６などのモノラル音声符号化技術を用いた場合には、各拠点で複数の人が同時に発話した場合に、音響信号がモノラルであるため、音の分離性能が劣化するため、各拠点の臨場感がうまく伝わらず、受信側では発話人を特定することは困難になる問題が解決できる。

上記のようなストリーム合成装置を設けることで、多拠点接続時の臨場感を向上させつつ、多拠点接続装置での演算負荷を減らすことが可能になる。

図１は、通信経路の接続の種類を示す図である。図２は、通信経路の接続の種類を示す図である。図３は、マルチチャンネル多拠点通信の課題を示す図である。図４は、本発明の実施の形態１におけるストリーム合成装置を示す図である。図５は、本発明の実施の形態１における多拠点接続の例を示す図である。図６は、本発明の実施の形態１におけるダウンミックス整形回路を示す図である。図７は、本発明の実施の形態１における復号化装置を示す図である。図８は、本発明の実施の形態１における分離回路を示す図である。図９は、本発明の実施の形態２における多拠点接続を例を示す図である。図１０は、本発明の実施の形態２における符号化列の例を示す図である。図１１は、本発明の実施の形態３におけるダウンミックス整形回路を示す図である。図１２は、本発明の実施の形態４における多拠点接続の例を示す図である。図１３は、本発明の実施の形態４における符号化列の例を示す図である。図１４は、本発明の実施の形態１における多拠点接続の例を示す図である。図１５は、本発明の実施の形態１における多拠点接続の別の構成を示す図である。図１６は、ストリーム合成装置における受信拠点数検出のフローチャートである。図１７は、ストリーム合成装置におけるダウンミックス分離係数算出のフローチャートである。図１８は、ダウンミックス分離係数算出のフローチャートの別構成である。図１９は、本発明の実施の形態１における符号化列の例を示す図である。図２０は、符号化列に保持する分離ツリー情報の例を示す図である。図２１は、ストリーム合成装置における優先度算出手順を示すフローチャートである。図２２は、ストリーム合成装置が複数の拠点にそれぞれ符号化情報を送信する処理を説明するための概念図である。

符号の説明

１００ストリーム合成装置
１０１、１０２、１０７符号化情報
１０３分離回路
１０４ダウンミックス整形回路
１０５拡張情報算出回路
１０６多重化回路
２０１、２０４ダウンミックス符号化信号
２０２、２０３、２０５、２０６拡張情報
２０７ダウンミックス符号化信号
２０８ダウンミックス分離情報
４０１、４０２、４０７符号化情報
５０１、５０２復号化回路
５０３ダウンミックス回路
５０４符号化回路
６０１ダウンミックス符号化信号
６０２拡張情報
６０３、６０４分離回路
７０１入力信号
７０２分離情報（相関値）
７０３分離情報（パワー比）
７０４無相関化回路
７０５、７０６ゲイン調整回路
７０７分離された第一の信号
７０８分離された第二の信号
８０１拠点１のダウンミックス符号化信号
８０２、８０３拠点１の拡張情報
８０４拠点２のダウンミックス符号化信号
８０５、８０６、８０７拠点２の拡張情報
８０８拠点３のダウンミックス符号化信号
８０９拠点３のダウンミックス分離情報
９０１Ｔｒｅｅ情報
９０２拠点３のダウンミックス符号化信号
９０３拠点３のダウンミックス分離情報
９０４、９０５、９０６拡張情報
９０７判別情報
９０８拠点情報
９０９信号数
９１０Ｔｒｅｅの深さ情報
９１１信号１のＴｒｅｅ係数
９１２信号２のＴｒｅｅ係数
９１３信号３のＴｒｅｅ係数
９１４終端情報
１００１逆量子化部
１１０１ダウンミックス信号
１１０２、１１０３、１１０４拡張情報
１１０５ダウンミックス信号
１１０６、１１０７、１１０８、１１０９拡張情報
１１１０ダウンミックス信号
１１１１ダウンミックス分離情報
１１１２、１１１３拡張情報
１１１４、１１１５、１１１６符号化情報
１３０１入力信号数
１４０１優先度情報
１４０２拠点１の入力信号１の拡張信号（優先度最大）
１４０３拠点２の入力信号６の拡張信号（優先度２番目）

以下、本発明の実施の形態を、図面を参照しながら説明する。

（実施の形態１）
図４は、本願発明のストリーム合成装置１００の構成図である。また、図５は、拠点１と拠点２、拠点３が本願発明によるストリーム合成装置（多拠点接続装置）１００を介して接続している図である。以下、拠点１〜拠点３と、ストリーム合成装置１００とを備える多拠点会議システムを、システム１（図５）と呼ぶ。まず、図５を用いて概要を説明する。

図５は、システム１の構成図である。

各拠点は、それぞれ２つ以上の独立した音響信号をマイクロフォンで収録し、マルチチャンネルのＰＣＭ信号を得る。図５の場合、拠点１では信号１、信号２、信号３が収録され、拠点２では信号４，信号５、信号６がそれぞれ収録される。得られたＰＣＭ信号を式１に従ってステレオまたはモノラルのダウンミックスＰＣＭ信号を計算する。

（式１）ＤＭＸ（ｎ）＝ Σａ（ｉ，ｎ）＊Ｉｎｐｕｔ（ｉ）ｎ＝１または２
ここで、ａ（ｉ，ｎ）は各入力信号のダウンミックス係数で、収録された信号の数が５つの場合、ＩＴＵ−ＲＢＳ．７７５−１規格に開示されているダウンミックス係数を用いる。なお、「Σ」は、数列の総和を表す記号である。すなわち、「Σ」は、通常の数学における「Σ」の記号の意味を有する。

つまり、独立した複数の音響信号をあたかも、通常のマルチチャンネル信号として扱うのである。

このようにして算出されたモノラルあるいはステレオのダウンミックス信号を、モノラルあるいはステレオの音響符号化処理を行う。音響符号化処理として、ステレオ信号の場合たとえば、非特許文献２記載のＭＰＥＧ−ＡＡＣ方式で符号化する。モノラルの場合は非特許文献１記載のＧ．７２６方式やＭＰＥＧ−ＡＡＣのモノラル符号化を用いる。なお、ダウンミックス信号の符号化方式に関しては、ＭＰＥＧ−ＡＡＣやＧ．７２６に限ったものではなく、ドルビーデジタル（ＡＣ−３）やＭＰＥＧ−Ｌａｙｅｒ３方式、ＴｗｉｎＶＱ方式などでも良い。

図５では、ダウンミックスＰＣＭ信号を符号化した信号を、ＤＭＸ信号２０１、ＤＭＸ信号２０４として表している。これらを総称してダウンミックス符号化信号と呼ぶことにする。

なお、説明の便宜上、この出願書類では、複数の音声信号などの複数の元信号がダウンミックスされて、ダウンミックスされたダウンミックスＰＣＭ信号がＤＭＸ信号に符号化される処理の全体からなる全体処理が、ダウンミックス符号化と呼ばれる。なお、ダウンミックス符号化は、適宜、単に「符号化」と呼ばれる。また、逆に、ＤＭＸ信号から複数の元信号が生成される処理が、ダウンミックス復号と呼ばれる。なお、ダウンミックス復号は、適宜、単に「復号」と呼ばれる。

次に、拡張信号と呼ばれる信号を算出する。この信号は、前記ダウンミックス信号（ＤＭＸ信号２０１、ＤＭＸ信号２０４など）を元に、複数の独立した信号へと復号化するための情報である。拠点１を例に説明する。入力信号（ここでは信号１、信号２、それぞれモノラル信号の場合）の間で、フレーム毎に次のようにして、パワー比（ＩＬＤ）および相互相関値（ＩＣＣ）を算出する。信号１をＩｎｐｕｔ１（ｎ）、信号２をＩｎｐｕｔ２（ｎ）とすると、
（式２）Ｇａｉｎ（ｎ）＝１０＊ｌｏｇ（Ｉｎｐｕｔ１（ｎ）／Ｉｎｐｕｔ２（ｎ））
（式３）Ｃｏｒ（ｎ）＝Σ（Ｉｎｐｕｔ１（ｎ）＊Ｉｎｐｕｔ２（ｎ）／Ｉｎｐｕｔ２（ｉ）＾２）
なお、この出願書類において、記号「＾」は、べき乗の演算を表す記号である。具体的には、記号「＾」は、「Ａ＾Ｂ」の形で使われることで、ＡのＢ乗を表す。

このように算出されたパワー比（ＩＬＤ）および相互相関値（ＩＣＣ）は、量子化、Ｈｕｆｆｍａｎ符号化などが施されて、拡張信号２０３となる。詳細な手順は、非特許文献３記載のＭＰＥＧ−Ｓｕｒｒｏｕｎｄ符号化におけるＯＴＴ回路（２つの入力から上記拡張信号を生成する回路）を参照されたい。なお、拡張情報はパワー比（ＩＬＤ）と相互相関値（ＩＣＣ）を例にしたが、これに限ったものではない。また、ここでは２つの独立した入力信号から拡張情報を作る例を述べたが、３つの独立した入力信号から拡張情報を求める方法もある。詳しくは、非特許文献３記載のＭＰＥＧ−Ｓｕｒｒｏｕｎｄ符号化におけるＴＴＴ回路を参照されたい。４つ以上の独立した入力信号の場合には、２入力の信号装置であるＯＴＴ回路を直列接続した形で実現する。たとえば４つの独立した信号の場合はＯＴＴ回路を二つ用いて、二組のダウンミックス信号を得て、それをさらにＯＴＴ回路で一つのダウンミックス信号を得る。つまり、３つのＯＴＴ回路を用いる。

なお、拡張情報は、パワー比（ＩＬＤ）および相互相関値（ＩＣＣ）に加えて、さらに、位相差情報（ＩＰＤ）を含んでもよい。

次に、信号１と信号２とをダウンミックスしてモノラル信号に変換し、その信号と信号３を用いて式２、式３にならってパワー比（ＩＬＤ）と相互相関値（ＩＣＣ）を算出し、量子化、Ｈｕｆｆｍａｎ符号化などが施され、拡張信号２０２とする。符号化情報１０１として、ダウンミックス符号化信号２０１と、そのダウンミックス符号化信号２０１から、信号３と、信号１＋信号２で構成される合成信号とに分離するための拡張情報２０２、前記の拡張情報２０２によって分離された信号１＋信号２の合成信号を、信号１と信号２に分離するための拡張情報２０３で構成されている。このことを模式的に図示すると、図５の信号ツリー２０９のようになる。

拠点２も同様に、信号４および信号５から拡張情報２０６を、信号４と信号５をダウンミックスした合成信号と信号６とから拡張情報２０５を、それぞれ算出する。

このようにして得られたダウンミックス符号化信号と拡張情報が、各拠点毎にまとめられ、Ｉｎｔｅｒｎｅｔなどの通信路を経由してストリーム合成装置１００に入力される。

図４は、本願発明のストリーム合成装置１００の詳細を示す図である。ストリーム合成装置１００の内部では、次のような演算が行われる。

まず、分離回路１０３は、拠点１の符号化情報１０１、拠点２の符号化情報１０２それぞれから、ダウンミックス符号化信号と拡張情報とを分離する。この分離に際しては、ダウンミックス符号化信号と拡張情報を区別する情報が、それぞれの情報の先頭に付記されており、それを頼りに分離回路１０３で分離する。

図６は、ダウンミックス整形回路１０４（図４）の構成を示す。

分離されたダウンミックス符号化信号は、ダウンミックス整形回路１０４を構成する復号化回路５０１および５０２で、所定の手順に従って、ダウンミックス整形回路１０４にて、一旦ＰＣＭ信号に復号化される。なお、ダウンミックス符号化信号がＭＰＥＧ−ＡＡＣ方式で符号化されている場合は、非特許文献２記載の復号化方法で復号化し、ＰＣＭ信号を算出する。このようにして得られたＰＣＭ信号をＰＣＭ１、ＰＣＭ２とする。

ダウンミックス整形回路１０４は、復号化されたこれらのＰＣＭ信号（PＣＭ１、ＰＣＭ２）を、更に、ダウンミックス回路５０３によってダウンミックスし、所定の符号化形式（たとえばＭＰＥＧ−ＡＡＣ形式）に符号化回路５０４により符号化することで、ダウンミックス符号化信号２０７（図６）を得る。そのときのダウンミックスの過程の一例は、式４に記載している。

（式４）ＤＭＸ＝０．５＊ＰＣＭ１＋０．５＊ＰＣＭ２
なお、ここでは係数として０．５を記載したがこの限りではなく、ＰＣＭ１、ＰＣＭ２の係数をそれぞれａ（ｉ）、ｂ（ｉ）とすると、
（式５）ａ（ｉ）＋ｂ（ｉ）＝１
という、関係が成立すれば良い。この過程は、図６のダウンミックス回路５０３に相当する。

次に拡張情報算出回路１０５（図４）は、ＰＣＭ１とＰＣＭ２を元に、先述した式２および式３に従って拡張情報を算出する。この出力をダウンミックス分離情報（ダウンミックス拡張情報）２０８（図５のDMX分離）とする。

ダウンミックス分離情報の算出は次のようにして行う。

図１６は、ダウンミックス分離情報を算出するか否かを判断するフローチャートである。

本実施の形態で述べている拠点構成では、ストリーム合成装置１００が、２つの拠点からの信号を受信して、１つの拠点へ合成信号を送出する例を示している。この場合、受信拠点数ｎは“２”となる。ストリーム合成装置１００は、受信拠点数を検出する（ステップＳ１１）。検出された受信拠点数が１よりも大きいので（ステップＳ１２：Ｙ）、ストリーム合成装置１００は、拡張情報算出回路１０５によって、拠点信号分離係数（ダウンミックス分離情報）を算出する（ステップＳ１３）。その算出に関しては後述する。拠点信号分離係数を算出した後、その係数と元の拡張情報とを一つのストリームに多重化回路１０６が合成して（ステップＳ１４）、第三の拠点へと出力部Ｉ２が送出する（ステップＳ１５）。このようにして拠点信号分離係数を多重化回路１０６がステップＳ１４で重畳するのであるが、拠点信号分離係数（ダウンミックス分離情報）の算出過程は図１８に示す。

図１８は、第１のダウンミックス分離係数算出の処理のフローチャートである。

拠点１と拠点２のそれぞれのダウンミックス符号化信号２０１と２０４（図６）を復号化したＰＣＭ１とＰＣＭ２の信号から、それらの信号の相互相関値（ＩＣＣ）を式３に従って算出する（ステップＳ３２）。次に、算出した相互相関値（ＩＣＣ）の絶対値が所定の閾値Ｐ＿ＩＣＣよりも大きいか小さいかを検出する（ステップＳ３３）。Ｐ＿ＩＣＣよりも小さい場合に（ステップＳ３３：Ｙ）、前記ＰＣＭ１およびＰＣＭ２の差分信号を算出する。なお、Ｐ＿ＩＣＣはたとえば０．５であり、この値はストリーム合成装置１００（図４、図５）に予め設定されたものであり、０から１．０の範囲をとる値で、ユーザにより自由に設定が変更可能である。したがって、前記では０．５と設定したがもちろんこの値に限ったものではない。

ステップＳ３５では、差分ＰＣＭ信号に対して所定の次数によるＬＰＣ分析を行い、ＬＰＣ係数と残差信号を算出する。ＬＰＣ分析の一例は非特許文献４を参照されたい。

以上の過程より算出した、相互相関係数ＩＣＣおよびＬＰＣ係数、ＬＰＣ分析次数をステップＳ３６で符号化して、ダウンミックス分離情報とする。また、相互相関値ＩＣＣの絶対値が所定の閾値Ｐ＿ＩＣＣ以上の場合は、ＩＣＣ情報のみをダウンミックス分離情報として送信する。これらの演算を、全送信拠点の組み合わせ分だけ繰り返して（ステップＳ３１）、ＩＣＣやＬＰＣ係数を算出する。本実施の形態の場合は１回のループ計算を実施する。なお、ステップＳ３１では、例えば、ステップＳ３２〜ステップＳ３７における、上記に説明した各処理が、送信拠点の各組み合わせのうちで、全ての組み合わせに関して終了したか否かが判定される。そして、ステップＳ３１ｅでは、ステップＳ３１で、すべての組み合わせについて終了したと判定された場合に（ステップＳ３１：Ｙ）、図１８の処理（第１のダウンミックス分離係数算出の処理）を終了する。また、ステップＳ３１で、すべての組み合わせについて終了していないと判定された場合（ステップＳ３１：Ｎ）、終了していない組み合わせのうち１つの組み合わせについて、ステップＳ３２〜ステップＳ３７における処理が開始される。

図１７は、ストリーム合成装置１００における第２のダウンミックス分離係数算出のフローチャートである。

あるいは、ダウンミックス分離情報を図１７のフローチャートに従って算出する場合もある。ステップＳ２２では、拠点１と拠点２のそれぞれのダウンミックス符号化信号２０１と２０４（図６）を復号化したＰＣＭ１とＰＣＭ２（先述）の信号から、それらの信号の相互相関値（ＩＣＣ）を、式３（先述）に従って算出する。次に、ステップＳ２３では、算出した相互相関値（ＩＣＣ）の絶対値が所定の閾値Ｐ＿ＩＣＣよりも大きいか小さいかを検出する。ステップＳ２４では、Ｐ＿ＩＣＣよりも小さい場合に（ステップＳ２３：Ｙ）、前記ＰＣＭ１とＰＣＭ２の信号からパワー比（ＩＬＤ）を式２に従って算出する。算出したＩＬＤおよびＩＣＣをダウンミックス分離情報として送信する。相互相関値（ＩＣＣ）の絶対値が所定の閾値Ｐ＿ＩＣＣ以上の場合は（ステップＳ２３：Ｎ）、相互相関値（ＩＣＣ）のみを符号化して送信する（ステップＳ２６）。これらの演算を、全送信拠点の組み合わせ分だけ繰り返して（ステップＳ２１：Ｎ）、ＩＣＣやＩＬＤ、ＬＰＣ係数を算出する。本実施の形態では、ストリーム合成装置１００の出力拠点が拠点３の場合は、上記ＩＣＣやＩＬＤの算出は、拠点１と拠点２の組み合わせに対して実施する。同様に出力拠点が拠点１のときは、上記ＩＣＣ、ＩＬＤ、ＬＰＣ算出は拠点２と拠点３のダウンミックス信号に対して演算する。拠点数が３個の場合に関して説明したが、もちろんこれに限ったものではなく、３以上でも同様に構成することが可能である。

なお、ステップＳ２１では、例えば、ステップＳ２１〜ステップＳ２６における、上記に説明した各処理が、送信拠点の各組み合わせのうちで、全ての組み合わせに関して終了したか否かが判定される。そして、ステップＳ２１ｅでは、ステップＳ２１で、すべての組み合わせについて終了したと判定された場合に（ステップＳ２１：Ｙ）、図１７の処理（第２のダウンミックス分離係数算出の処理）を終了する。また、ステップＳ２１で、すべての組み合わせについて終了していないと判定された場合（ステップＳ２１：Ｎ）、終了していない組み合わせのうち１つの組み合わせについて、ステップＳ３２〜ステップＳ３７における処理が開始される。

図１９は、ダウンミックス分離情報（ＤＭＸ分離）の構造を示したものである。

ダウンミックス分離情報は、その先頭にダウンミックス分離情報であることを示す領域があり、それによってダウンミックス分離情報か各拠点内での拡張情報を識別している。ダウンミックス分離情報は、この領域の次に、ダウンミックス分離情報全体が何Ｂｙｔｅあるのかを示すＤＭＸ分離符号の長さ情報を格納する。ダウンミックス分離情報は、この長さ情報の次に、相互相関値（ＩＣＣ）の個数を格納する。この個数は前記に示した全送信拠点数の組み合わせの数に一致する。ダウンミックス分離情報は、同様に、チャンネル間のレベル差情報（ＩＬＤ）の個数、および各ＩＬＤの値を保持する。ダウンミックス分離情報は、ＩＬＤの個数及び値の次に、ＬＰＣ分析をした分析次数および各ＬＰＣ係数を保持する。拡張情報は、ＤＭＸ分離情報（ダウンミックス分離情報）の後ろには、各拠点・各信号を分離するための拡張情報を保持する。図１９の場合、図１５のように各拡張情報（拡張情報１４０２、及び、拡張情報１４０３）が構成されているので、拡張６として、先頭部分に当該拡張情報が“拠点２、信号６”を分離する信号であることを示す識別符号があり、その後ろに図２０に示す分離ツリー情報、さらにその後ろに、分離回路Ｃおよび分離回路Ｅの拡張係数（ＩＣＣ係数およびＩＬＤ係数）がそれぞれ保持されている。

このように、相互相関値（ＩＣＣ）の絶対値の大小によってダウンミックス分離情報の内容を切り替えることで、ＭＣＵでのダウンミックス分離情報の算出に要する演算量を削減できる効果がある。

なお、本実施の形態では、ダウンミックス信号として、ＭＰＥＧ−ＡＡＣ方式を例にしているが、ＬＰＣ分析を用いて符号化している方式である場合、上記ダウンミックス分離情報を計算する際に、ＬＰＣ分析の結果得られたＬＳＰ係数上での算術的な加算および線形補間処理によって合成できる。これはすなわちビットストリームの状態でダウンミックス分離情報が算出できることであり、一般的に処理の重い復号化を実施しなくても良いので、ダウンミックス分離情報をより簡単に求めることができる。ＬＰＣ分析を用いて符号化している方式の一例として、非特許文献５記載のＴｗｉｎＶＱ方式である。

従来技術では、そもそもダウンミックス分離情報というものは付加しないが、本願では、ストリーム合成装置１００は、従来の信号分離のパラメータ（パワー比（ＩＬＤ）、相互相関値（ＩＣＣ））に加え、新たに差分ＰＣＭのＬＰＣ係数を送信する。

ここで、ＰＣＭ１およびＰＣＭ２に対してＬＰＣ分析をするのではなく、差分ＰＣＭに対してＬＰＣ分析するのは、そうすることで音響信号のダイナミックレンジを圧縮することができ、その結果、復号化装置でも、大きなダイナミックレンジを想定しなくてもいい回路構成が実現できるので、回路コストが抑えられるメリットがある。もちろん、本来の目的である、ダウンミックス信号の分離性能の向上に寄与するのは言うまでもない。ＰＣＭ１とＰＣＭ２の間でダウンミックス分離情報２０８（図５）を算出・符号化するのは、全く異なる特性を持つ可能性のある拠点１と拠点２のダウンミックス符号化信号をさらにダウンミックスすると、元々持っていた音響特性が失われてしまい、失われた状態の信号で後に拡張しても失われた音響特性は戻らない。それゆえ、情報量をできるだけ増やさずに音響特性を保持するために上記のようにダウンミックス符号化信号の拡張情報を生成する必要がある。

こうして得られたダウンミックス符号化信号２０７（図５、図６）とダウンミックス分離情報２０８（図５）、さらには符号化情報１０１、１０２に含まれる拡張情報２０２、２０３、２０５、２０６（図５）が多重化回路１０６（図４）で多重化され、出力部Ｉ２（図４）が、符号化情報１０７として拠点３に送信する。

次に、ダウンミックス符号化信号と拡張情報を受信した復号化装置に関して述べる。復号化装置Ａ（図５）では、まずダウンミックス信号と拡張信号を復号化装置Ａが分離し、復号化装置Ａは、次にダウンミックス符号化信号を所定の復号化回路で復号化する。なお、ＭＰＥＧ−ＡＡＣ方式であれば、非特許文献２記載の手順に従う。その復号化の結果得られた復号化ＰＣＭ信号と前記の分離された拡張情報を元に、独立した複数の音響信号を復号化する。その復号回路の一例を図７と図８に示す。

なお、復号化装置Ａは、例えば、拠点３に実現される機能の機能ブロックである。より具体的には、例えば、復号化装置Ａは、拠点３のコンピュータが、予め当該コンピュータに記憶されたソフトウェアを実行することによって、当該コンピュータに実現する機能の機能ブロックである。

図７は、復号化装置Ａ（図５）を示す図である。

拠点１の場合を例にすると、復号化装置Ａは、図７に示されるよう、ＰＣＭ信号として得られたダウンミックス信号６０１と拡張信号６０２を入力として、内部に分離回路６０３，６０４が多段に接続されている。分離回路の実施の例としては、非特許文献３に開示されているＭＰＥＧ−ＳｕｒｒｏｕｎｄのＯＴＴ回路、ＴＴＴ回路が挙げられるが、簡単な分離回路の一例を図８に示す。

図８は、復号化装置Ａが有する分離回路７０９を示す図である。

入力信号７０１と、式２・式３記載のパワー比（ＩＬＤ、図８では分離情報（パワー比）７０３）と相互相関値（ＩＣＣ、図８では分離情報（相関値）７０２）とを元に、まず入力信号７０１を無相関化回路７０４にて無相関化する。なお、その実施の一形態は、非特許文献３記載のＤｅｃｏｒｒｅｌａｔｏｒ回路がある。なお、無相関化回路７０４に関してはこの限りではなく、たとえば非特許文献６には、Ｌｅｖｉｎｓｏｎ−Ｄｕｒｂｉｎアルゴリズムによって信号を無相関化する手法が開示されている。

上記無相関化回路７０４を経てゲイン調整回路７０５，７０６によってゲインを調整されて、分離された信号７０７および７０８が得られる。

ゲイン調整回路７０５、７０６では、パワー比（ＩＬＤ）７０３を元に以下のような演算が行われる。

（式６）Ｓｉｇ１＝Ｄｅｃｏ（Ｉｎｐｕｔ８０１（ｎ））＊Ｇａｉｎ（ｉ）
（式７）Ｓｉｇ２＝Ｄｅｃｏ（Ｉｎｐｕｔ８０１（ｎ））＊（１−Ｇａｉｎ（ｉ））
ここで、Ｄｅｃ演算子は、信号の無相関化処理を示し、Ｓｉｇ１およびＳｉｇ２は分離された信号７０７、７０８（図８）を示す。上記一連の処理によって、ダウンミックス拡張符号化信号から、所望の独立した複数のモノラルあるいはステレオ信号を復号化することができる。

なお、拡張情報の算出過程や、ＰＣＭ信号となったダウンミックス信号と拡張情報から、元の独立した信号を復号化する手順は、たとえば、非特許文献３記載のＭＰＥＧ−Ｓｕｒｒｏｕｎｄ方式の符号化装置、復号化装置を用いても良い。この手順で用いる符号化方式はもちろんＭＰＥＧ−Ｓｕｒｒｏｕｎｄ方式に限った物ではなく、ダウンミックス信号と拡張情報によりマルチチャンネル信号を符号化・復号化を行うパラメトリックなマルチチャンネル空間符号化方式（ＭＰ３サラウンド方式など）に対しても本願発明が有効であることは言うまでもない。

図１１は、ダウンミックス整形回路１０４ａを示す図である。ストリーム合成装置１００は、ダウンミックス整形回路１０４ａを有してもよい。

以上は、ストリーム合成装置１００で一旦ＰＣＭ信号へと復号化してダウンミックスをする例であったが、これ以外の形態として次のものがある。ダウンミックス整形回路１０４ａ（図１１）のダウンミックス信号はそれぞれＭＰＥＧ−ＡＡＣ方式である場合、その復号化手順は非特許文献１に記載されている。大まかな流れとしては、符号化情報の解析、逆量子化、周波数・時間変換をそれぞれ経由して、ＰＣＭ信号へと復号化される。符号化情報の解析ののち、入力のダウンミックス信号２０１と２０４はそれぞれ、各逆量子化部１００１で逆量子化（Ｒｅｑｕａｎｔｉｚｅ）処理を施す。詳細な手順は非特許文献１に記載されているが、簡潔に言うと、
（式８）Ｓｐｅｃ（ｎ）＝Ｇａｉｎ（ｎ）＊２＾（ＱｕａｎｔｉｚｅＶａｌｕｅ（ｎ）＊４／３）
という形でスペクトル情報（Ｓｐｅｃ（ｎ））を各逆量子化部１００１により算出する。ここでＱｕａｎｔｉｚｅＶａｌｕｅ（ｎ）がダウンミックスより得られた量子化値であり、Ｇａｉｎ（ｎ）は当該フレームの量子化Ｇａｉｎである。

逆量子化処理を入力のダウンミックス信号２０１および２０４にそれぞれ施すことで二つのスペクトルデータ（Ｓｐｅｃ２０１（ｎ）、Ｓｐｅｃ２０４（ｎ））が得られる。これらスペクトルデータを式９に従って加算部１０４ａＸにより加算し、合成スペクトルＳｐｅｃ（ｎ）を得る。

（式９）Ｓｐｅｃ（ｎ）＝０．５＊Ｓｐｅｃ２０１（ｎ）＋０．５＊Ｓｐｅｃ２０４（ｎ）
なお、ここでは係数として０．５を記載したがこの限りではなく、Ｓｐｅｃ２０１（ｎ）、Ｓｐｅｃ２０４（ｎ）の係数は（式７）と同様の関係が成立すればよい。このようにして得られた合成スペクトルを再度ＭＰＥＧ−ＡＡＣ方式に則って量子化部１０４ａＹによって量子化する。この結果得られたものがストリーム合成装置１００の出力である符号化情報１０７（図５）に含まれるダウンミックス信号２０７になる。逆量子化処理に引き続いて加算処理を行うことは、すなわち周波数情報上で加算を行っているわけで、ＰＣＭ信号に戻すのに必要な周波数・時間変換（ＭＤＣＴ処理など）が不必要となり、ストリーム合成装置１００の演算能力が低く抑えられることができ、ひいては製造コストや設計コストの削減にも繋がるものである。

以上のように実現されたストリーム合成装置１００（ＭＣＵ）は一実施の形態であって、これに限るものではない。またストリーム合成装置１００の入力する符号化情報の数は２としているが、これに限ったものではなく、３以上でも同様に構成される。

続けて、実施の形態１の変形例が説明される。

また、本実施の形態１では、ダウンミックス分離情報をストリーム合成装置１００で付加することを述べたが、他にも次のような情報を付加することで、さらに別段の効果を奏することができる。

図１４は、システム１ａを示す図である。

たとえば、図１４に示すように、ダウンミックス分離情報２０８（図２）とは別に、各拠点での入力信号の数をストリーム合成装置１００にて付加することである。図１４の場合では、拠点１の入力信号数３、拠点２の入力信号数３が加算され、ストリーム合成装置１００にて符号化情報１０７に入力信号数１３０１として加算値“６”が保持され、拠点３へと送信する。それを受信した拠点３の復号化装置Ａでは、まず当該符号化情報１０７に含まれる各送信拠点の入力信号数１３０１を取得する。この時点ではまだ各拠点の信号を分離するための情報（拡張情報２０２、２０３や２０５、２０６）を用いたダウンミックス信号２０７の分離・拡張は行わない。

符号化情報１０７を復号化し再生する装置には、復号化信号を再生チャンネル数に応じて異なる処理を行うレンダリング装置を備える。レンダリング装置とは、復号化信号１'〜５'を再生チャンネル毎に振り分ける作用をする装置である。たとえば、復号化信号が５つで再生チャンネル数が２つの場合について説明する。復号化信号１〜５をそれぞれｓ１〜ｓ５、再生チャンネル信号をそれぞれｏ１、ｏ２とすると、
（式１０）ｏ１＝ｓ１＋０．５＊ｓ２＋１／√２＊ｓ３
ｏ２＝ｓ４＋０．５＊ｓ２＋１／√２＊ｓ５
となる。上記演算に用いる係数がレンダリング情報に相当する。レンダリング情報としては、ＩＴＵ−ＲＢＳ．７７５−１規格に記載されているダウンミックス係数を用いている。このレンダリング係数は、復号化装置の再生チャンネル信号の配分によって決定する。上記の例では、信号ｓ１は左前方チャンネル信号、信号ｓ２は前方センターチャンネル信号、信号ｓ３は左後方チャンネル信号、信号４は右前方チャンネル信号、信号ｓ５は右後方チャンネル信号である。これらを左前方出力チャンネルｏ１、右前方出力チャンネルｏ２に出力する。

本構成の場合、レンダリング装置に用いるレンダリング情報を決定するタイミングは、ダウンミックス信号２０７の拡張を行う前に入力信号数の総計を検出した時点である。レンダリング情報構成部と符号化情報１０７の復号化を同時並列的に演算することが可能になり、信号処理遅延量の大幅な削減が可能になる効果もある。

図１５は、システム１ｂを示す。

本実施の形態のストリーム合成装置１００では、各拠点の拡張情報を合成して送出するが、その際、各拠点・各入力信号の優先度に応じて拡張情報を構成することも想定している。たとえば、拠点１の入力信号１が優先度が最も大きく、その次が拠点２の入力信号６が優先度が高い場合、図１５のように優先度情報１４０１に基づいて、拡張情報１４０２（拠点１の信号１を分離する情報）、１４０３（拠点２の信号６を分離する情報）という順番で構成する。その構成を取ることで、ストリーム合成装置１００から拠点３に送信された符号化情報１０７を復号化する際に、符号化情報１０７全体を処理できない場合の切り捨て処理が優先度に基づいて処理することが出来る。つまり、先頭部分から優先度が高い順番に並べているので、当該復号化処理装置で優先度上位１番目まで処理すればいい場合に拡張情報１４０３を切り捨てれば良い。そうすることで、復号化処理が１回で済み、全体を復号化することに比べ半分の処理回数で済み、それはすなわちより省電力な復号化処理装置が実現できるのである。

優先度情報１４０１は、次のようにして決定する。ストリーム合成装置１００では、まずどの拠点からの信号が多く送信されているか（送信頻度）を検出する。次に送信頻度の多い拠点に含まれる拡張信号のうち、もっとも送信回数が多い拡張情報を検出し、優先度情報とする。別の拠点でも同様の手順によって優先度情報を生成する。このようにして全拠点・全入力信号の優先度を算出し、その優先度に従ってストリーム合成装置１００にて拡張情報を並べ替える。そして、優先度をつけた拡張情報をその順番にそってストリーム合成装置１００内で順番に並べられて、送信される。

図２１は、優先度算出手順を示すフローチャートである。

優先度はまた別の構成で検出することも出来る。図２１に示すように、各入力信号のＩＣＣ値を分離し、その値が予めストリーム合成装置１００に設定されたＮ＿ＩＣＣ値よりも小さい場合に（ステップＳ４２：Ｙ）、更に拡張情報より拡張係数ＩＬＤを分離し（ステップＳ４３）、分離した拡張係数ＩＬＤに従って優先度を設定する。つまり、全信号に含まれるＩＬＤ係数のそれぞれの順位を算出することで（ステップＳ４４）、それを各信号の優先度に設定する（ステップＳ４５）。Ｎ＿ＩＣＣ値は本願ストリーム合成装置１００が動作している間は初期段階で設定した値で一定にする。なお、もちろん、必要に応じて値を経過時刻とともに可変することも可能である。経過時刻とともに可変にすると、優先順位の検出精度を調整することが可能となるため、優先度を調整できるような今までにない柔軟なストリーム合成装置が実現できるのである。

次に、上記した、実施の形態１の説明に付加される付加説明が行われる。なお、以下の付加説明は、上記の説明の内容について、如何なる限定も行うものではない。

図５により、システム１の構成が示される。

システム１は、各拠点のユーザによる会議に際して、送信拠点における会議の音声の音声信号を受信拠点へと通信することにより、通信した音声信号を受信拠点に再生させる多拠点会議システムである。そして、具体的には、システム１は、受信拠点のユーザが高い臨場感を得られるよう、送信拠点の複数の音声信号を受信拠点に通信して、複数の音声信号を受信拠点に再生させる。

なお、以下では、拠点１及び拠点２が各々送信拠点で、拠点３が受信拠点である際の例が説明される。

複数の拠点は、それぞれ、複数のマイクロフォン（図略）と、複数のマイクロフォンにより各々収録された複数の音声信号（ＰＣＭ信号）から、それら複数の音声信号を特定する符号化情報（図５の符号化情報１０１、符号化情報１０２）を生成して、生成された符号化情報を、ストリーム合成装置１００に送信するコンピュータとを備える。また、各拠点のコンピュータは、それぞれ、当該拠点以外の他の拠点がストリーム合成装置１００に送信した符号化情報（図５の符号化情報１０１、符号化情報１０２）に基いてストリーム合成装置１００が生成した符号化情報（図５の符号化情報１０７）を、当該ストリーム合成装置１００から受信し、受信された符号化情報が特定する各音声信号を再生する。

図４により、ストリーム合成装置１００の構成が示される。

ストリーム合成装置１００は、複数の分離回路１０３と、ダウンミックス整形回路１０４と、拡張情報算出回路１０５と、多重化回路１０６とを備える。

符号化情報は、図５の符号化情報１０１、符号化情報１０２、符号化情報１０７に各々示されるように、ＤＭＸ信号（ダウンミックス符号化信号）、及び、拡張情報を含む。なお、図４の符号化情報１０１のＤＭＸ信号はＤＭＸ信号２０１であり、拡張情報は、拡張情報２０２及び拡張情報２０３の全体からなる情報である。また、符号化情報１０２のＤＭＸ信号はＤＭＸ信号２０４であり、拡張情報は、拡張情報２０５及び拡張情報２０６である。また、符号化情報１０７のＤＭＸ信号はＤＭＸ信号２０７であり、拡張情報は、ダウンミックス分離情報２０８、拡張情報２０２、拡張情報２０３、拡張情報２０５及び拡張情報２０６である。

拡張情報は、その拡張情報が含まれる符号化情報の複数の音声信号の性質を特定する。具体的には、拡張情報は、それら複数の音声信号の間でのパワー比（ＩＬＤ）と相互相関値（ＩＣＣ）とを特定する。さらに具体的には、拡張情報は、その音声信号のパワー比（ＩＬＤ）及び相互相関値（ＩＣＣ）に対して、量子化、Ｈｕｆｆｍａｎ符号化などが施された処理済のデータを含む。そして、拡張情報は、このように、上記処理済のデータを含むことにより、処理済のデータから算出される、処理前の上記パワー比（ＩＬＤ）及び相互相関値（ＩＣＣ）を特定する。すなわち、拡張情報は、処理済のデータのデータ構造によって、上記パワー比（ＩＬＤ）及び相互相関値（ＩＣＣ）を記憶する情報である。換言すれば、拡張情報は、物理的なデータ構造として、上記処理済のデータのデータ構造を有し、この物理的なデータ構造により記憶される論理的なデータ構造として、上記パワー比（ＩＬＤ）及び相互相関値（ＩＣＣ）のデータ構造を備える。

ＤＭＸ信号は、そのＤＭＸ信号が含まれる符号化情報が示す複数の音声信号がダウンミックスされたダウンミックスＰＣＭ信号が符号化された信号である。

複数の分離回路１０３は、複数の送信拠点（図５の拠点１及び拠点２）からストリーム合成装置１００に受信された各符号化情報（符号化情報１０１、符号化情報１０２）から、それぞれ、その符号化情報のＤＭＸ信号と拡張情報とを分離する。

なお、以下では、ストリーム合成装置１００に送信拠点が送信し、ストリーム合成装置１００に受信される符号化情報（符号化情報１０１、符号化情報１０２）は、受信符号化情報と呼ばれる。また、ストリーム合成装置１００から受信拠点に受信され、ストリーム合成装置１００により送信される符号化情報（符号化情報１０７）は、送信符号化情報と呼ばれる。

なお、具体的には、複数の分離回路１０３は、それぞれ、対応する符号化情報の分離の処理を行う。

なお、複数の分離回路１０３は、それぞれ、例えば、ソフトウェアによってストリーム合成装置１００に実現された機能の機能ブロックである。これらの機能ブロックは、例えば、互いに並列に動作する機能であってもよい。

ダウンミックス整形回路１０４及び拡張情報算出回路１０５は、複数の分離回路１０３によって分離された各ＤＭＸ信号（ＤＭＸ信号２０１、ＤＭＸ信号２０４：図４）、各拡張情報に基いて、受信拠点（図５の拠点３）に送信される符号化情報１０７（図４、図５）のＤＭＸ信号２０７及びダウンミックス分離情報２０８を生成する。

図６により、ダウンミックス整形回路１０４（図４）の構成の一例が示される。なお、図６の構成は単なる一例である。ダウンミックス整形回路１０４及び拡張情報算出回路１０５は、上記した機能を有するなら、図６の構成の全部または一部を有さない構成が採られてもよい。

ダウンミックス整形回路１０４は、複数の復号化回路（復号化回路５０１、復号化回路５０２）と、ダウンミックス回路５０３と、符号化回路５０４とを備える。

複数の復号化回路（各復号化回路５０１等：図６）は、それぞれ、各送信拠点（図５の拠点１、拠点２）の符号化情報から分離されたＤＭＸ信号（ＤＭＸ信号２０１、ＤＭＸ信号２０４：図６、図５）を、ダウンミックスＰＣＭ信号に復号する。

そして、拡張情報算出回路１０５は（図４）、復号された各送信拠点のダウンミックスＰＣＭ信号に基いて、ダウンミックス分離情報２０８（図５）を算出する。

そして、ダウンミックス回路５０３は（図６）、複数の復号化回路（復号化回路５０１等）により復号化された各送信拠点のダウンミックスＰＣＭ信号を、拡張情報算出回路１０５により算出されたダウンミックス分離情報２０８によりダウンミックスして、ダウンミックスＰＣＭ信号を生成する。

そして、符号化回路５０４は、生成されたダウンミックスＰＣＭ信号を符号化して、ＤＭＸ信号２０７（図５参照）を生成する。

多重化回路１０６（図４）は、ダウンミックス整形回路１０４によって生成されたＤＭＸ信号２０７と、拡張情報算出回路１０５によって算出されたダウンミックス分離情報２０８とに基づいて、符号化情報１０７（図４、図５）を生成する。より具体的には、多重化回路１０６は、これらＤＭＸ信号２０７及びダウンミックス分離情報２０８と、複数の分離回路１０３により分離された各送信拠点（図５の拠点１、拠点２）の拡張情報（図５の拡張情報２０２及び拡張情報２０３、拡張情報２０５及び拡張情報２０６）とに基いて、それらＤＭＸ信号２０７、ダウンミックス分離情報２０８、及び各送信拠点の拡張情報を含んでなる符号化情報１０７を生成する。

他方、受信拠点（拠点３）は、ストリーム合成装置１００によって当該受信拠点に送信される符号化情報１０７を復号化して、符号化情報１０７が特定する各音声信号（ＰＣＭ信号）を生成する復号装置（復号化装置Ａ：図５）を備える。

復号化装置Ａは、ストリーム合成装置１００から拠点３のコンピュータに受信された符号化情報１０７（図５、図４）復号化する。復号化装置Ａは、復号化によって、各送信拠点（拠点１、拠点２）のＤＭＸ信号（図５のＤＭＸ信号２０１、２０４）及び拡張情報（拡張情報２０２及び拡張情報２０３、拡張情報２０５及び拡張情報２０６）をそれぞれ生成する。復号化装置Ａは、生成した各情報を用いて、各送信拠点の各音声信号を生成し、生成された各音声信号を再生する。

図８により、復号化装置Ａが有する分離回路７０９が示される。

分離回路７０９は、入力信号７０１と、相関値７０２と、パワー比（ＩＬＤ）７０３とから、入力信号７０１から分離される分離信号７０７と、分離信号７０８とを生成する。

入力信号７０１は、例えば、ストリーム合成装置１００が拠点３に送信した符号化情報１０７に含まれるＤＭＸ信号２０７である。また、入力信号７０１は、例えば、このＤＭＸ信号２０７から、分離情報（ダウンミックス分離情報２０８（図５）、拡張情報２０２等（図５））を用いて１回以上、復号化（ダウンミックス復号化）をして取得される符号化情報である。

相関値７０２は、入力信号７０１を復号化するための拡張情報の相互相関値（ＩＣＣ）である。

パワー比（ＩＬＤ）７０３は、入力信号７０１を復号化するための拡張情報のパワー比（ＩＬＤ）である。

分離回路７０９は、無相関化回路７０４と、複数のゲイン調整回路７０５、７０６とを備える。

無相関化回路７０４は、相関値７０２によって入力信号７０１を無相関化して、無相関化された２つ以上の中間信号を生成する。

複数のゲイン調整回路７０５、７０６は、それぞれ、生成された各中間信号のゲインを、パワー比（ＩＬＤ）７０３によって調整する。複数のゲイン調整回路７０５、７０６は、この各調整をすることで、それぞれ、入力信号７０１から分離された分離信号７０７、分離信号７０８を生成する。

図７により、復号化装置Ａの構成が示される。

復号化装置Ａは、複数の分離回路６０３、分離回路６０４を備える。図８の分離回路７０９は、これら複数の分離回路６０３、分離回路６０４のうちの一例である。

複数の分離回路６０３、分離回路６０４によって、符号化情報の復号化を１回以上行って、受信拠点（拠点３）に受信された符号化情報１０７（図５）のＤＭＸ信号６０１から、各送信拠点のＤＭＸ信号（ＤＭＸ信号２０１、ＤＭＸ信号２０４）が復号され、ひいては、各拠点でそれぞれ収録された複数の音声信号が復号される。

なお、システム１は、図２２により説明される態様を有してもよい。

図２２は、ストリーム合成装置１００が複数の拠点１〜拠点３に対して、それぞれ符号化情報を送信する処理を説明する説明図である。

図２２の態様では、ストリーム合成装置１００の各機能ブロック（図４参照）は、それぞれ、次の処理を行う。

入力部Ｉ１（図４）は、複数の拠点１〜拠点３より、それぞれ、符号化情報（図略）をストリーム合成装置１００に入力する。なお、拠点ｎ（ｎ＝１，２，３）から入力された符号化情報は、拠点ｎの入力符号化情報と呼ばれる。また、拠点ｎの入力符号化情報に含まれるＤＭＸ信号は、拠点ｎの入力ＤＭＸ信号と呼ばれる。また、拠点ｎの入力符号化情報に含まれる拡張情報は、拠点ｎからの入力拡張情報と呼ばれる。

出力部Ｉ２は、複数の拠点１〜拠点３に対して、それぞれ、符号化情報（出力符号化情報１０７ａ、出力符号化情報１０７ｂ、出力符号化情報１０７ｃ：図２２）を出力する。なお、拠点ｎに出力される出力符号化情報は、拠点ｎの出力符号化情報と呼ばれる。

出力符号化情報１０７ａ〜出力符号化情報１０７ｃは、それぞれ、その出力符号化情報に含まれるＤＭＸ信号として、共通の出力ＤＭＸ信号２０７ｘを有する。すなわち、出力符号化情報１０７ａ〜出力符号化情報１０７ｃが有するＤＭＸ信号の内容は、何れも、共通の出力ＤＭＸ信号２０７ｘであり、互いに同一である。そして、出力符号化情報１０７ａ〜出力符号化情報１０７ｃは、それぞれ、拡張情報として、出力拡張情報Ｈ１、出力拡張情報Ｈ２、及び出力拡張情報Ｈ３を備える。これら、各拠点の出力拡張情報Ｈ１〜出力拡張情報Ｈ３は、互いに異なる。

共通の出力ＤＭＸ信号２０７ｘは、各拠点１〜３の入力ＤＭＸ信号が復号化されるＤＭＸ信号である。つまり、共通の出力ＤＭＸ信号２０７ｘは、拠点１の入力ＤＭＸ信号と、拠点２の入力ＤＭＸ信号と、拠点３の入力ＤＭＸ信号との３つの入力ＤＭＸ信号が復号化されるＤＭＸ信号である。

次に、各出力拡張情報（出力拡張情報Ｈ１〜出力拡張情報Ｈ３）のうちで、まず、拠点１の出力拡張情報Ｈ１について説明される。

拠点１への出力符号化情報１０７ａは、ダウンミックス分離情報として、出力先である拠点１以外の他の各拠点（拠点２及び拠点３）の各入力ＤＭＸ信号を復号化するための拠点分離用のダウンミックス分離情報Ｈ１１を含む。さらに、拠点１への出力符号化情報１０７ａは、拠点２の入力拡張情報と、拠点３の入力拡張情報とを含む。すなわち、出力符号化情報１０７ａは、他の各拠点（拠点２及び拠点３）の各入力拡張情報を含む。要するに、出力拡張情報Ｈ１は、共通の出力ＤＭＸ信号２０７ｘから、他の各拠点（拠点２、拠点３）の音声信号を復号化するための拡張情報である。

なお、拠点ｎの出力拡張情報に含まれる出力拡張情報（出力拡張情報Ｈ１〜拡張情報Ｈ３）は、拠点ｎの出力拡張情報と呼ばれる。

拠点１の出力拡張情報Ｈ１〜拠点３の出力拡張情報Ｈ３は、それぞれ、上述した拠点１の出力拡張情報Ｈ１の構成と同様の構成を有する。

すなわち、拠点１〜拠点３の各出力拡張情報（例えば出力拡張情報Ｈ１）は、その出力拡張情報の拠点（例えば拠点１）以外の他の各拠点（例えば拠点２及び拠点３）からの入力拡張情報（例えば拠点２の入力拡張情報、及び拠点３の入力拡張情報）と、共通の出力ＤＭＸ信号２０７ｘから、他の各拠点（例えば拠点２及び拠点３）の音声信号を復号化するためのダウンミックス分離情報（例えばダウンミックス分離情報Ｈ１１）を含む。

出力符号化情報生成部Ｉ３（図４）は、ストリーム合成装置１００に受信された各入力符号化情報に基づいて、拠点１〜拠点３への各出力符号化情報（出力符号化情報１０７ａ〜出力符号化情報１０７ｃ）を生成する。

具体的には、出力符号化情報生成部Ｉ３のダウンミックス整形回路１０４が、共通の出力ＤＭＸ信号２０７ｘを生成する。また、拡張情報算出回路１０５が、出力拡張情報Ｈ１〜出力拡張情報Ｈ３を生成する。そして、多重化回路１０６が、生成された共通の出力ＤＭＸ信号２０７ｘと、生成された出力拡張情報Ｈ１〜出力拡張情報Ｈ３とに基づいて、各拠点への出力符号化情報（出力符号化情報１０７ａ〜１０７ｃ）をそれぞれ生成する。

そして、出力部Ｉ２（図４）は、生成された各出力符号化情報（出力符号化情報１０７ａ〜１０７ｃ）を、それぞれ、その出力符号化情報の拠点に出力する。

こうして、２つ以上の音信号がダウンミックスされた音響信号が符号化された第１のダウンミックス音響信号（入力ＤＭＸ信号）と、当該第１のダウンミックス音響信号から前記２つ以上の音信号を取得するための拡張信号（入力拡張情報）とが含まれる符号化信号（入力符号化情報）を２つ以上入力する入力部Ｉ１と、前記入力部によって入力された各符号化信号（例えば、拠点１の入力符号化情報と、拠点２の入力符号化情報）に基いて、前記各第１のダウンミックス音響信号が取得される第２のダウンミックス音響信号（共通の出力ＤＭＸ信号２０７ｘ）と、当該第２のダウンミックス音響信号から前記各第１のダウンミックス音響信号（拠点１の入力ＤＭＸ信号、拠点２の入力ＤＭＸ信号）を取得するための拡張信号（ダウンミックス分離情報Ｈ１１）とを生成し、生成された当該第２のダウンミックス音響信号（共通の出力ＤＭＸ信号２０７ｘ）と、生成された当該拡張信号（ダウンミックス分離情報Ｈ１１）と、入力された前記各符号化信号の各拡張信号（拡張情報Ｈ１２）とが含まれる符号化信号（拠点１への出力符号化情報１０７ａ）を生成する出力符号化情報生成部Ｉ３と、生成された当該符号化信号を出力する出力部Ｉ２とを備えるストリーム合成装置（ストリーム合成装置１００）が構成される。

そして、前記入力部Ｉ１は、予め定められた複数の入出力先（拠点１〜拠点３）から、それぞれ、符号化信号（入力符号化情報）を入力し、前記出力部Ｉ２は、当該複数の入出力先にそれぞれ符号化信号（出力符号化情報）を出力し、前記出力符号化情報生成部Ｉ３は、１個の前記第２のダウンミックス音響信号（共通の出力ＤＭＸ信号２０７ｘ）と、前記複数の入出力先の個数と同じ個数の拡張信号（出力拡張情報Ｈ１、出力拡張情報Ｈ２、出力拡張情報Ｈ３）とを生成し、生成される１個の前記第２のダウンミックス音響信号は、前記複数の入出力先から入力された前記各符号化信号の各第２のダウンミックス音響信号（各入力ＤＭＸ信号）を取得するためのダウンミックス音響信号であり、生成される前記各拡張信号（例えば、出力拡張情報Ｈ１）は、互いに異なる前記入出力先（例えば、拠点１）にそれぞれ対応し、対応する前記入出力先（拠点１）以外の他の入出力先（拠点２及び拠点３）の拡張信号（拠点２及び拠点３からの各入力拡張情報）のみが含まれ、前記出力部Ｉ２は、前記出力符号化情報生成部Ｉ３が生成した前記各符号化信号を、それぞれ、当該符号化信号に含まれる拡張信号（出力拡張情報Ｈ１等）が対応する前記入出力先（拠点１等）に出力するストリーム合成装置（ストリーム合成装置１００）が構成される。

そして、拡張信号（例えば図５の拡張情報２０２及び拡張情報２０３の全体）は、複数の部分拡張信号（個々の拡張情報２０２、拡張情報２０３）を含み、当該複数の部分拡張信号のうちで、音信号（例えば拠点１の信号３）に対応する一部の部分拡張信号（拡張情報２０２）により当該音信号（信号３）が当該符号化信号（符号化情報１０１）から取得されるストリーム合成装置１００が構成される。

なお、ダウンミックス整形回路１０４、拡張情報算出回路１０５等は、４０ミリ秒などの予め定められた時間ごとに、入力符号化情報におけるその時間の部分を処理するものとしてもよい。拠点１等が有する複数のマイクロフォンは、それぞれ、互いに異なるユーザの音声の音声信号を収録してもよい。そして、会議に参加するユーザの数が変化して、収録される音声信号の数が変化してもよい。そして、ストリーム合成装置１００に入力される符号化情報（符号化情報１０１等）にダウンミックスされる音声信号の数が変化してもよい。

（実施の形態２）
図９は、実施の形態１で説明した、ストリーム合成装置１００を介して多拠点が接続されているシステム１ｃを示している。

拠点１では、信号１と信号２で拡張情報８０２を形成し、信号１と信号２のダウンミックス信号と信号３との間で拡張信号８０３を形成している。詳細は実施の形態１に記述している。同様に拠点２では、信号４と信号５から拡張情報８０５が、信号６と信号７から拡張情報８０６が、信号４と信号５のダウンミックス信号と、信号６と信号７のダウンミックス信号とから拡張情報８０７がそれぞれ計算される。これらの拡張情報は、ＭＰＥＧ−ＳｕｒｒｏｕｎｄのＯＴＴ回路の係数と同様のものである。また、それぞれの拠点では、入力信号をダウンミックスしてそれをＭＰＥＧ−ＡＡＣ形式などで符号化したダウンミックス符号化信号８０１および８０４を生成し、実施の形態１で説明したストリーム合成装置１００にネットワークを通じて伝送される。

ストリーム合成装置１００では、実施の形態１で説明したような処理が施され、拠点３へとネットワークを通じて符号化情報が送信される。

この際、拠点３に送信される符号化情報１０７の拡張情報として、どこの拠点から送信されたものかを示す情報を付記する。従来例ではそもそも拠点情報は送信しておらず、拠点３で復号化する際に拠点１および拠点２を別々に再生制御することが不可能であった。ところが、本実施の形態２のように符号化情報としてどこの拠点から送信された物かを示す情報を符号化して送信し、拠点３に送信することで、拠点３で復号化する際に拠点１、拠点２に別々に再生制御を施すことが可能になる。拠点１の各音声信号の音声は拠点３の左のスピーカで、拠点２の各音声信号は拠点３の右のスピーカで再生するなどの臨場感あふれる再生が可能になり、各拠点間のコミュニケーションがよりスムーズに行う効果が得られるのである。

図１０は、受信された符号化情報１０７の符号列の一例を示す図である。

拠点情報９０８を含んだ場合の符号化情報１０７の例を図１０に示す。図１０の符号化情報１０７は、拡張情報９０４のなかに、拠点情報９０８を含む。

まず、符号化情報１０７の先頭部分に、拡張情報の接続を示す情報を配置する。図１０ではツリー情報９０１である。拡張情報は、ダウンミックス信号を分離するための情報であるが、これらが複数個ある場合にどのように分離を実行するかの情報を送信する。たとえば図９の場合、拡張信号８０２は、パワー比（ＩＬＤ）と相互相関値（ＩＣＣ）が保持されているので、どの信号を分離して、どちらのチャンネルに出力するかを判別する情報を送信する。信号１は、図９に示すように、ＤＭＸ信号８０８とＤＭＸ分離（ダウンミックス分離情報）８０９の分離結果の第一チャンネルを、更に拡張情報８０３で分離したものの第一チャンネルを更に拡張情報８０２で分離したものの第一チャンネルになる。同様に信号２は、ＤＭＸ信号８０８とＤＭＸ分離（ダウンミックス分離情報）８０９の分離結果の第一チャンネルを、更に拡張情報８０３で分離したものの第一チャンネルを更に拡張情報８０２で分離したものの第二チャンネルである。信号３は、ＤＭＸ信号８０８とＤＭＸ分離（ダウンミックス分離情報）８０９の分離結果の第一チャンネルを、更に拡張情報８０３で分離したものの第二チャンネルである。このように、当該信号がどのような分離回路の接続でどちらのチャンネルの出力かという情報を送信する。

たとえば、拡張情報９０４は、当該拡張情報９０４が、ダウンミックス符号化信号の分離の拡張情報か、拠点毎の信号の分離の拡張情報かを区別するために判別情報９０７を含むように構成する。拡張情報９０４は、拠点毎の信号を分離（信号１と信号２の分離）するため、この場合は“拠点毎の分離”という情報を格納する。そのほかには、各拡張情報がどの拠点から送信されてきたのかを示す拠点情報９０８（この場合は拠点１ということを示す）、信号１と信号２を分離するためのパワー比（ＩＬＤ）や相互相関値（ＩＣＣ）などの拡張情報９０９等で構成する。同様に、拡張情報９０５は、拠点毎の分離、拠点１、信号３と信号１・２のダウンミックス信号を分離するための拡張情報で構成する。

ＤＭＸ分離信号（ダウンミックス分離情報）９０３は、当該拡張情報がダウンミックス符号化信号の分離のための拡張情報であることを示す情報と、拠点１と拠点２のダウンミックス信号を分離するための拡張情報で構成する。

また、図１０の下部には、ツリー情報９０１（図１０）の構成が示される。

これらの信号とは別に、分離回路の接続を示すツリー情報９０１が符号化情報１０７に付加されて、送信が行われる。図１０にその詳細を示す。まず、全体の信号数９０９が保持されている。図９では拠点３が受け取る信号は、信号１〜７の７つであるので“７”が信号数９０９に保持されている。次に分離回路の“深さ”を示す情報をツリーの深さの最大９１０として保持する。図９では、拠点３は、三段階の分離回路が接続されるので、深さ情報としては“３”を保持する。次に信号１を分離するためにたどっていく出力チャンネルを信号１のツリー係数９１１として保持する。信号１を分離するためには、ＤＭＸ信号８０８とＤＭＸ分離（ダウンミックス分離情報）８０９の分離の結果の第一チャンネルを、更に拡張情報８０３で分離したものの第一チャンネルを更に拡張情報８０２で分離したものの第一チャンネルであるので、第一チャンネルであることを示す“０”が三つ繋がる係数で保持する。同様に信号２を分離するために第一→第一→第二チャンネルとたどっていくので、“００１”が信号２のツリー係数９１２として保持される。信号３は第一→第二（ここで終了）なので、“０１”＋終端を示す情報を信号３のツリー係数９１３として保持する。

このようにツリー情報を格納することで、所望の復号結果がどれだけの回数分の分離回路（ＭＰＥＧ−Ｓｕｒｒｏｕｎｄの場合はＯＴＴ回路）で分離すれば良いのかが容易に判別することができるようになる。このような構成を取ることで復号化装置Ａで、復号化演算をする前に、ツリー情報を分離回路（ＭＰＥＧ−Ｓｕｒｒｏｕｎｄの場合はＯＴＴ回路）の演算量の予測が可能となり、復号化装置Ａが備える演算リソースの有効配分が行える。その結果として、演算リソースの全体配分が予め予想できることから、演算ピーク値を分散することが容易に可能となる。演算ピーク値を分散できることは、すなわち、復号化に必要なプロセッサパワーのワーストケースが予め保証できるため、低周波数のプロセッサクロックが実現でき、省電力な設計の復号化回路が構成できるという利点がある。副次的には、演算リソースの配分によって、演算に必要な記憶メモリの再利用性も向上するため、省メモリ設計の復号化ＬＳＩの実現が可能となる効果も発生する。

なお、ツリー情報９０１の一例として図１０を示したが、信号数９０９やツリーの深さの最大値９１０などはこの図の順序に限った物ではない。信号数９０９あるいは各種ツリー係数、ツリーの深さ情報９１０などをそれぞれ単独で保持する場合もあれば、図１０のように組み合わせて保持する形態も容易に構成できるのは言うまでもない。

また、本実施の形態では符号化情報として信号数やツリー構成情報を送信する場合を述べているが、それ以外にもたとえば、符号化情報とは別に送信することも可能である。拠点１、拠点２、拠点３が接続され、各符号化装置、復号化装置が通信を始める際にやりとりされる初期化情報を用いて送信する方法がある。初期化情報として拠点数や各拠点の拠点番号は動的に変化しない場合には各拠点の符号化・復号化装置を初期化する際に送信しておくと、各符号化情報の中で送信する場合に比べて、符号化情報そのものの符号化効率が向上し、同一伝送レートで音質が向上する。信号数や拠点数、拠点番号、入力信号数などを初期化情報として送信しない場合、つまり各フレーム毎の符号化情報としてそれらの情報を送信する形態の場合、接続拠点をフレーム毎に動的に変化させることが出来る。当然ながら入力信号数をフレーム毎に変えることが出来るようにもなり、たとえば各拠点の入力信号をそれぞれ話者に割り当てて臨場感を送受信するためのコミュニケーションシステムで本願を活用する際は、話者の動的な入れ替えが可能になり、場面に応じた柔軟な参加者構成が実現できる効果がある。

また、前述のように各送信拠点（本実施の形態の場合では拠点１と拠点２）における各入力信号は複数のマイクロフォンで収音された信号であるが、収音する際の複数のマイクロフォン間の距離や各マイクロフォンの方向情報を拠点情報として符号化情報に含めて送信する構成をとる場合をとっても良い。各マイクロフォン間の距離や各マイクロフォンの方向情報を符号化情報に含めると、その符号化情報を受信する復号化装置では、たとえば入力信号１を収音したマイクロフォンと入力信号３を収音したマイクロフォンの距離が１０ｃｍ以内の近距離の場合には信号１と信号３の相関が高い確率が上がるため、信号１と信号３を同じ信号として出力することにより、復号化処理を省略することも可能となる。携帯電話を用いた会議システムや、小型家庭用の臨場感コミュニケーションツールなどの消費電力が低いことが絶対条件のシステムに対して、この省電力化も可能な構成を取れる本願は、非常に柔軟かつ有益な形態といえる。

（実施の形態３）
図１１により、先述のように、ダウンミックス整形回路１０４ａが示される。

実施の形態１において、ダウンミックス整形回路１０４は、図６の形態をとったが、別の実施形態として図１１がある。図１１では、ＭＰＥＧ−ＡＡＣ方式やＭＰ３方式など、既存のステレオ符号化方式などで符号化された入力のダウンミックス信号２０１と２０４が入力になる例である。

以下は、ダウンミックス信号２０１と２０４がＭＰＥＧ−ＡＡＣ方式である場合を例に説明する。もちろん、ＭＰＥＧ−ＡＡＣ方式に限った物ではなく、ＭＰ３形式であっても良いし、あるいはＴｗｉｎＶＱ方式、ＭＰＥＧ−Ｌａｙｅｒ２方式など、既存の非可逆ステレオ圧縮方式であっても良い。また、ＬＰＣＭやＭＰＥＧ−ＡＬＳ、ＭＰＥＧ−ＳＬＳ方式などの可逆ステレオ圧縮方式であっても良い。

ダウンミックス信号はそれぞれＭＰＥＧ−ＡＡＣ方式であるので、その復号化手順は非特許文献１に記載されている。大まかな流れとしては、符号化情報の解析、逆量子化、周波数・時間変換をそれぞれ経由して、ＰＣＭ信号へと復号化される。本実施の形態では、逆量子化の後過程が発明の要であることから、そこに重点を置いて説明する。符号化情報の解析ののち、入力のダウンミックス信号２０１と２０４はそれぞれ、各逆量子化部１００１で逆量子化（Ｒｅｑｕａｎｔｉｚｅ）処理を施す。詳細な手順は非特許文献１に記載されているが、簡潔に言うと、前述の式８（実施形態１の図１１の説明を参照）を用いてスペクトル情報（Ｓｐｅｃ（ｎ））を算出する。ここでＱｕａｎｔｉｚｅＶａｌｕｅ（ｎ）がダウンミックスより得られた量子化値であり、Ｇａｉｎ（ｎ）は当該フレームの量子化Ｇａｉｎである。

逆量子化処理を入力のダウンミックス信号２０１および２０４にそれぞれ各逆量子化部１００１が施すことで二つのスペクトルデータ（Ｓｐｅｃ２０１（ｎ）、Ｓｐｅｃ２０４（ｎ））が得られる。これらスペクトルデータを前述の式９に従って加算部１０４ａＸにより加算し、合成スペクトルＳｐｅｃ（ｎ）を得る。

なお、ここでは係数として０．５を記載したがこの限りではなく、Ｓｐｅｃ２０１（ｎ）、Ｓｐｅｃ２０４（ｎ）の係数は式７と同様の関係が成立すればよい。

このようにして得られた合成スペクトルを再度ＭＰＥＧ−ＡＡＣ方式に則って量子化部１０４ａＹによって量子化する。この結果得られたものがストリーム合成装置１００の出力である符号化情報１０７に含まれるダウンミックス信号２０７になる。

逆量子化処理に引き続いて加算処理を行う本願の構成は、すなわち周波数情報上で加算を行っているわけで、周波数情報をＰＣＭ信号に戻すのに必要な周波数・時間変換（ＩＭＤＣＴ処理など）が不必要となる。その結果、ストリーム合成装置１００のプロセッサ演算能力を低く抑えることができる。それはすなわち、プロセッサの最大動作周波数を低く抑えることが出来るし、また余分な処理をしない分演算メモリも少なく抑えることができ、結果として製造コストや設計コストの削減にも繋がるという著しい効果が生じる。

なお、本実施の形態で、ダウンミックス信号はＭＰＥＧ−ＡＡＣ方式としたが、もちろんこの限りではなく、ＭＰＥＧ−Ｌａｙｅｒ３方式やＴｗｉｎＶＱ方式で合っても良く、それ以外にも時間周波数変換を用いた音響符号化方式であれば、どれであっても良い。

（実施の形態４）
図１２は、ストリーム合成装置１００の別の実施形態を示す図である。

図１２に示すシステム１ｄにおいては、拠点１と拠点２、拠点３が本願発明によるストリーム合成装置（多拠点接続装置）１００を介して互いに接続している。各拠点は、それぞれ２つ以上の独立した音響信号をマイクロフォンで収録し、マルチチャンネルのＰＣＭ信号を得る。図１２の場合、拠点１では信号１、信号２、信号３が収録され、拠点２では信号４，信号５、信号６、信号７がそれぞれ収録される。得られたＰＣＭ信号を実施の形態１で示したように、ステレオまたはモノラルのダウンミックスＰＣＭ信号を計算する。

算出されたモノラルあるいはステレオのダウンミックス信号を、モノラルあるいはステレオの音響符号化処理を行う。音響符号化処理として、ステレオ信号の場合たとえば、非特許文献２記載のＭＰＥＧ−ＡＡＣ方式で符号化する。モノラルの場合は非特許文献１記載のＧ．７２６方式やＭＰＥＧ−ＡＡＣのモノラル符号化を用いる。図１２では、ダウンミックスＰＣＭ信号を符号化した信号を、ＤＭＸ信号１１０１、ＤＭＸ信号１１０５として表している。これらを総称してダウンミックス符号化信号と呼ぶことにする。

次に、拡張信号と呼ばれる信号を算出する。この信号は、前記ダウンミックス信号（ＤＭＸ信号１１０１、ＤＭＸ信号１１０５など）を元に、複数の独立した信号へと復号化するための情報である。拠点１を例に説明する。入力信号（ここでは信号１、信号２、それぞれモノラル信号の場合）の間で、実施の形態１で示したように、フレーム毎にパワー比（ＩＬＤ）および相互相関値（ＩＣＣ）を算出する。

算出されたパワー比（ＩＬＤ）および相互相関値（ＩＣＣ）は量子化、Ｈｕｆｆｍａｎ符号化などが施されて、係数Ａとなる。詳細な手順は、非特許文献３記載のＭＰＥＧ−Ｓｕｒｒｏｕｎｄ符号化におけるＯＴＴ回路（２つの入力から上記拡張信号を生成する回路）に詳しい。なお、拡張情報はパワー比（ＩＬＤ）と相互相関値（ＩＣＣ）を例にしたが、これに限ったものではない。また、ここでは２つの独立した入力信号から拡張情報を作る例を述べたが、３つの独立した入力信号から拡張情報を求める方法もある。詳しくは、非特許文献３記載のＭＰＥＧ−Ｓｕｒｒｏｕｎｄ符号化におけるＴＴＴ回路に詳しい。

次に、信号１と信号２をダウンミックスしてモノラル信号に変換し、その信号と信号３を用いて式２、式３にならってパワー比（ＩＬＤ）と相互相関値（ＩＣＣ）を算出し、量子化、Ｈｕｆｆｍａｎ符号化などが施され、係数Ｂとする。この様子を模式的に図示すると、図１２の拠点１における信号ツリー２０９のようになる。

実施の形態１と異なるのは、前記で算出した係数Ａおよび係数Ｂを、それぞれ次のように符号化列に格納する点である。

拡張情報１１０２は、“信号１を分離するのに必要な完結した情報”という意味で、先ほどの係数Ａと係数Ｂを合わせたものにする。同様に、拡張情報１１０３は、“信号２を分離するのに必要な完結した情報”という意味で、係数Ａと係数Ｂを合わせたものにする。拡張情報１１０４は、係数Ｂのみである。拠点２でも同様の考え方で、拡張情報１１０６は係数Ｃと係数Ｄ、拡張情報１１０７は係数Ｃと係数Ｄ、拡張情報１１０８は係数Ｃと係数Ｅ、拡張情報１１０９は係数Ｃと係数Ｅである。

このようにして得られたダウンミックス符号化信号と拡張情報が、各拠点毎にまとめられ符号化情報１０１（１１１４）、１０２（１１１５）としてＩｎｔｅｒｎｅｔなどの通信路を経由して送信拠点（拠点１、拠点２）から、ストリーム合成装置１００に入力される。

本願発明のストリーム合成装置１００では、実施の形態１と同様の処理をする。具体的には、拠点１の符号化情報１０１と拠点２の符号化情報１０２からダウンミックス符号化信号と拡張情報を各分離回路１０３（図４）でそれぞれ分離する。この分離に際しては、ダウンミックス符号化信号と拡張情報を区別する情報がそれぞれの情報の先頭に付記されており、それを頼りに分離回路１０３で分離する。

分離されたダウンミックス符号化信号は、所定の手順に従って一旦ＰＣＭ信号に復号化される。なお、このときの処理手順は、ダウンミックス信号がどのような形式で符号化されているかによって変わるが、一例としてはＭＰＥＧ−ＡＡＣ方式であれば非特許文献２記載の方法である。このようにして得られたＰＣＭ信号をＰＣＭ１、ＰＣＭ２とする。復号化されたこれらのＰＣＭ信号は、ダウンミックス整形回路１０４にて更にダウンミックスされ、所定の符号化形式（たとえばＭＰＥＧ−ＡＡＣ形式）に符号化され、ダウンミックス符号化信号２０７を得る。そのときのダウンミックスの過程の一例は、式４（実施の形態１の図４の説明を参照）に記載している。この過程は、図６のダウンミックス回路５０３に相当する。

次にＰＣＭ１とＰＣＭ２を元に、拡張情報算出回路１０５で式２および式３（実施の形態１の図５の説明を参照）に従って拡張情報が算出される。この出力をダウンミックス分離情報２０８と呼ぶ。詳細な手順はたとえばＭＰＥＧ−ＳｕｒｒｏｕｎｄのＯＴＴ回路に詳しい。

ここで、ＰＣＭ１とＰＣＭ２の間でダウンミックス分離情報２０８を算出するのは、以下の理由からである。全く異なる特性を持つ可能性のある拠点１と拠点２のダウンミックス符号化信号をさらにダウンミックスすると、元々持っていた音響特性が失われてしまい、失われた状態の信号であとあと拡張しても失われた音響特性は戻らない。それゆえ、情報量をできるだけ増やさずに音響特性を保持するために上記のようにダウンミックス符号化信号の拡張情報を付加した符号化情報を構成する。

こうして得られたダウンミックス符号化信号２０７とダウンミックス分離情報２０８、さらには符号化情報１０１、１０２に含まれる拡張情報２０２、２０３、２０５、２０６が多重化回路１０６で多重化され、符号化情報１０７として拠点３に送信する。

次に、ダウンミックス符号化信号と拡張情報を受信した復号化装置Ａに関して述べる。復号化装置Ａでは、まずダウンミックス信号と拡張信号を分離し、次にダウンミックス符号化信号を所定の復号化回路で復号化を施す。ＭＰＥＧ−ＡＡＣ方式であれば、非特許文献２記載の手順に従う。その結果得られた復号化ＰＣＭ信号と前記の分離された拡張情報を元に、独立した複数の音響信号を復号化する。その復号回路の一例を図７と図８に示す。

拠点３の場合を例にすると、ＰＣＭ信号として得られたダウンミックス信号６０１と拡張信号６０２を入力として、内部に分離回路６０３，６０４が多段に接続されている。分離回路の実施の例としては、非特許文献３に開示されているＭＰＥＧ−ＳｕｒｒｏｕｎｄのＯＴＴ回路、ＴＴＴ回路が挙げられるが、簡単な分離回路の一例を図８に示す。

入力信号７０１と、式２・式３（実施の形態１の図８の説明を参照）記載のパワー比（ＩＬＤ、図８では分離情報（パワー比）７０３）と相互相関値（ＩＣＣ、図８では分離情報（相関値）７０２）とを元に、まず入力信号７０１を無相関化回路７０４にて無相関化を実施する。その実施の一形態は、非特許文献３記載のＤｅｃｏｒｒｅｌａｔｏｒ回路がある。なお、無相関化回路７０４に関してはこの限りではなく、たとえば非特許文献６には、Ｌｅｖｉｎｓｏｎ−Ｄｕｒｂｉｎアルゴリズムによって信号を無相関化する手法が開示されている。

上記無相関化回路７０４を経てゲイン調整回路７０５、７０６によってゲインを調整されて、分離された信号７０７および７０８が得られる。ゲイン調整回路７０５、７０６では、パワー比（ＩＬＤ）７０３を元に前述の式６、式７（実施の形態１の図８の説明を参照）を用いた演算が行われる。

ここで、式６、式７におけるＤｅｃ演算子は、信号の無相関化処理を示し、Ｓｉｇ１およびＳｉｇ２は分離された信号７０７、７０８を示す。上記一連の処理によって、ダウンミックス拡張符号化信号（ダウンミックス分離情報）から、所望の独立した複数のモノラルあるいはステレオ信号を復号化することができる。

拡張情報の算出過程や、ＰＣＭ信号となったダウンミックス信号と拡張情報から、元の独立した信号を復号化する手順は、たとえば、非特許文献３記載のＭＰＥＧ−Ｓｕｒｒｏｕｎｄ方式の符号化装置、復号化装置を用いても良いし、ＭＰＥＧ−Ｓｕｒｒｏｕｎｄ方式に限った物ではなく、ＭＰ３サラウンド方式でもよいし、あるいはＬＰＣＭ方式のように非圧縮の符号化方式でも同様に構成できることは言うまでもない。

以上のように実現されたストリーム合成装置（ＭＣＵ）は一実施の形態であって、これに限るものではない。また入力の拠点数は２としているが、これに限ったものではなく、３以上でも同様に構成される。

図１２で示すように、拠点１の符号化情報１０１は、ＤＭＸ信号１１０１と、ＤＭＸ信号を元に信号１を分離するための拡張情報１１０２、信号２を分離するための拡張情報１１０３、信号３を分離するための拡張情報１１０４から構成されている。拡張情報１１０２と拡張情報１１０３は、何れも、分離係数ＡおよびＢを符号化しているものである。拡張情報１１０４は、ＤＭＸ信号１１０１から信号３を分離するために必要な分離情報Ｂを保持する。同様に拠点２の符号化情報１０２は、ＤＭＸ信号１１０５と、ＤＭＸ信号１１０５を元に信号４を分離するための拡張情報１１０６、信号５を分離するための拡張情報１１０７、信号６を分離するための拡張情報１１０８、信号７を分離するための拡張情報１１０９から構成されている。拡張情報１１０６と拡張情報１１０７は、分離情報ＣおよびＤを符号化しているものである。拡張情報１１０８と拡張情報１１０９は、ＤＭＸ信号１１０５から信号６および信号７を分離するために必要な分離情報ＣおよびＥを保持する。

このように構成された符号化情報は、本実施の形態のストリーム合成装置１００において、符号化情報１１１６（図１２）へと合成されて拠点３へと送信される。この際、ＤＭＸ信号１１０１とＤＭＸ信号１１０５の合成した新しいＤＭＸ信号１１１０を計算する。その算出課程は本願実施の形態１に詳しい。さらにＤＭＸ信号１１０１とＤＭＸ信号１１０５は音響的に異なる特性を持つ確率が非常に高いため、単純に合成しダウンミックスするのではなく、合成信号（ＤＭＸ信号１１１０）からＤＭＸ信号１１０１および１１０５を分離するためのＤＭＸ拡張信号（ダウンミックス分離情報）１１１１を算出して符号化情報１１１６に付加することは言うまでもない。符号化情報１１１４および１１１５をこのように構成して、ストリーム合成装置１００で拡張情報１１０２を拡張情報１１１２、拡張情報１１０８を拡張情報１１１３として合成した符号化情報１１１６を拠点３に送信する。符号化情報１１１６を受け取った拠点３では信号１および信号６のみを復号化することが可能になる。つまり、ＤＭＸ拡張情報（ダウンミックス分離情報）１１１１によって、ＤＭＸ信号１１１０がＤＭＸ１’信号とＤＭＸ２’に分離できる。その分離した信号をそれぞれ、拡張情報１１１２（＝１１０２）に含まれている分離係数Ｂで分離すると、信号３と信号１＋信号２が合成された信号が分離でき、さらに拡張情報１１１２（＝１１０２）に含まれている分離係数Ａで前記信号１＋信号２の合成信号を分離すると、信号１が算出できる。同様にＤＭＸ２’を拡張情報１１１３（＝１１０８）に含まれている分離係数Ｃで分離すると、信号４＋信号５の合成信号と、信号６＋信号７の合成信号に分離することが出来る。前記の信号６＋信号７の合成信号を、拡張情報１１１３（＝１１０８）に含まれている分離係数Ｅによって分離すると、信号６が算出できる。

以上は一例であるので、別の組み合わせの入力信号を送受信することも可能である。拡張情報１１０４と拡張情報１１０７の組み合わせをストリーム合成装置で合成して符号化情報１１１６として構成すれば、入力信号３と入力信号５が送信可能である。

図１２の符号化情報１１１４および１１１５の構成によって、各拠点の送信チャンネル（入力チャンネル）の一部を取捨選択することが可能なストリーム合成装置が構成できる。この構成によって、各拠点毎、各入力信号毎にさまざまな組み合わせの符号化情報１１１６を、ストリーム合成装置にて自由に生成することができる。しかも、符号化情報１１１４および符号化情報１１１５全体を送る必要はなく、その一部を送ることにより、情報伝送量（ビットレート）の増加が抑えられる。図１２に示した場合（送信拠点数が２で信号数が７である場合）には、単純に計算すると２２通りの符号化情報が必要であり、それらをすべて送信しなければならない。その結果として、ビットレートの増大も生じる。単純に２２通りの符号化情報を送るとたとえばＭＰＥＧ−ＡＡＣ方式であれば１ｃｈあたり６４ｋｂｐｓなので２２チャンネル分で約１．４Ｍｂｐｓにもなる。それが本願発明によれば、７つの拡張情報をストリーム合成装置で取捨選択をするだけでよいため、送信信号数が最大７つでも伝送レートは拡張情報７つ分で済む。一つ一つの拡張情報は高々数ｋｂｐｓ程度であるので７つ送っても３０ｋｂｓ程度に収まる。図１２で示すように２つ分の信号であれば、ＤＭＸ符号化部分が６４ｋｂｐｓ程度であるとするならば、符号化情報１１１６全体でも１００ｋｂｐｓにも満たない情報で送信が可能になる。本発明によって、低ビットレートでかつ柔軟な拠点構成、送信信号構成が可能になることは産業利用上、非常に有益なものである。

こうして、以下のストリーム合成装置（Ａ１）〜ストリーム合成装置（Ａ１１）と、復号装置（Ｂ）とがそれぞれ構成される。

すなわち、複数のマイクロフォンにより収録された２つ以上の音信号（音声信号）がダウンミックスされた音響信号（ダウンミックスＰＣＭ信号）が符号化された第１のダウンミックス音響信号（図５のＤＭＸ信号２０１、ＤＭＸ信号２０４）と、当該第１のダウンミックス音響信号から前記２つ以上の音信号（拠点１の各音声信号、拠点２の各音声信号）を取得するための拡張信号（拡張情報２０２及び拡張情報２０３、拡張情報２０５及び拡張情報２０６）とが含まれる符号化信号（符号化情報１０１、符号化情報１０２）を２つ以上入力する入力部（入力部Ｉ１）と、前記入力部によって入力された各符号化信号に基いて、前記各第１のダウンミックス音響信号（ＤＭＸ信号２０１、ＤＭＸ信号２０４）が取得される第２のダウンミックス音響信号（ＤＭＸ信号２０７）と、当該第２のダウンミックス音響信号（ＤＭＸ信号２０７）から前記各第１のダウンミックス音響信号（ＤＭＸ信号２０１、ＤＭＸ信号２０４）を取得するための拡張信号（ダウンミックス分離情報２０８）とを生成し、生成された当該第２のダウンミックス音響信号（ＤＭＸ信号２０７）と、生成された当該拡張信号（ダウンミックス分離情報２０８）と、入力された前記各符号化信号の各拡張信号（拠点１の拡張情報２０２及び拡張情報２０３、拠点２の拡張情報２０５及び拡張情報２０６）とが含まれる符号化信号（符号化情報１０７）を生成する符号化信号生成部（出力符号化情報生成部Ｉ３）と、生成された当該符号化信号を出力する出力部（出力部Ｉ２）とを備えるストリーム合成装置が構成される（Ａ１）。

こうしたストリーム合成装置（Ａ１）が構成されることで、ストリーム合成装置において、入力された各符号化信号から一々音信号が復号されたり、復号された音信号を再び、出力される符号化信号へと符号化したりする、大きな処理量の処理なく、簡単な処理により、入力される各符号化信号の各音信号の通信を実現できる。

また、前記符号化信号生成部（出力符号化情報生成部Ｉ３）は、前記入力部によって入力された各符号化信号の音信号の個数の合計数（図９の信号数９０９）を算出し、生成される前記符号化信号（符号化情報１０７）は、算出された当該合計数が含まれる（Ａ１）のストリーム合成装置が構成される（Ａ２）。

また、前記入力部が入力する符号化信号の拡張信号（例えば、図５の拡張１（拡張情報２０２）〜拡張２（拡張情報２０３）よりなる全体）は、複数の部分拡張信号（拡張１、拡張１）を含み、当該複数の部分拡張信号のうちで、音信号（例えば、図５における拠点１の信号３）に対応する一部の部分拡張信号（拡張１）により当該音信号（信号３）が当該符号化信号（符号化情報１０１）から取得され、前記符号化信号生成部（出力符号化情報生成部Ｉ３）は、各音信号に対応付けて、それぞれ、当該音信号（例えば拠点１の信号３）に対応する前記一部の部分拡張信号（拡張１）が格納された符号化信号を生成する（Ａ１）のストリーム合成装置が構成される（Ａ３）。

また、前記符号化信号生成部は、各拠点の各音声信号のうちで、予め定められた音信号を取得するための部分拡張信号のみを含む符号化信号を生成する（Ａ３）のストリーム合成装置が構成される（Ａ４）。

また、前記符号化信号生成部は、前記入力部が入力する各拠点の符号化信号のうちで、予め定められた一部の拠点の符号化信号の拡張信号のみが含まれる符号化信号を生成する（Ａ１）のストリーム合成装置が構成される（Ａ５）。

また、前記符号化信号生成部は、前記入力部によって符号化信号が入力される入力元の予め定められた優先順位が、予め定められた基準順位よりも高い符号化信号の拡張信号のみが含まれる符号化信号を生成する（Ａ５）のストリーム合成装置が構成される（Ａ６）。

また、前記入力部が入力する符号化信号の拡張信号は、複数の部分拡張信号が含まれ、当該複数の部分拡張信号のうちで、音信号に対応する一部の部分拡張信号により、当該音信号が当該符号化信号から取得され、前記符号化信号生成部は、音信号の予め定められた優先順位が予め定められた基準順位よりも高い音信号に対応する前記一部の部分拡張信号のみが含まれる符号化信号を生成する（Ａ１）のストリーム合成装置が構成される（Ａ７）。

また、前記入力部が入力する符号化信号の拡張信号は、複数の部分拡張信号が含まれ、当該複数の部分拡張信号のうちで、音信号に対応する一部の部分拡張信号によって、当該音信号が当該符号化信号から復号され、前記符号化信号生成部は、当該符号化信号生成部が生成する前記拡張信号と、生成される当該符号化信号の各部分拡張信号とにより構成されるツリー構造を特定するツリー情報（図１０のツリー情報９０１）を含む符号化信号を生成する（Ａ１）のストリーム合成装置が構成される（Ａ８）。

また、前記符号化信号生成部は、当該符号化信号生成部が生成した拡張信号と、前記入力部が入力した各符号化信号の各拡張信号とのうちで、当該拡張信号が、前記符号化信号生成部が生成した拡張信号であることを示す判別情報（図１０の判別情報９０７）が含まれる符号化信号を生成する（Ａ１）のストリーム合成装置が構成される（Ａ９）。

また、前記入力部が入力する各符号化信号は、それぞれ、当該符号化信号が入力される入力元を示す入力元情報（図１０の拠点情報９０８）を含み、前記符号化信号生成部は、入力された前記各符号化信号のうちで、含まれる入力元情報が予め定められた入力元を示す各符号化信号を特定し、特定された各符号化信号の各第１のダウンミックス音響信号が取得される第２のダウンミックス音響信号と、その取得のための拡張信号とを生成し、生成された当該第２のダウンミックス音響信号と、生成された前記拡張信号と、特定された前記各符号化信号の前記各拡張信号とが含まれる符号化信号を生成する（Ａ１）のストリーム合成装置が構成される（Ａ１０）。

また、前記符号化信号生成部（出力符号化情報生成部Ｉ３）は、前記入力部が入力した前記各符号化信号から、それぞれ、当該符号化信号に含まれる前記第１のダウンミックス音響信号を分離する分離部（図４の複数の分離回路１０３）と、前記分離部が分離した各第１のダウンミックス音響信号に基いて、前記第２のダウンミックス音響信号を生成するダウンミックス音響信号生成部（ダウンミックス整形回路１０４）と、前記分離部が分離した各第１のダウンミックス音響信号に基いて、前記第２のダウンミックス音響信号から前記各第１のダウンミックス音響信号を取得するための拡張信号を生成する拡張信号生成部（拡張情報算出回路１０５）と、前記ダウンミックス音響信号生成部が生成した前記第２のダウンミックス音響信号と、前記拡張信号生成部が生成した前記拡張信号と、前記入力部が入力した前記各符号化信号の各拡張信号とを合成して、符号化信号を生成する合成部（多重化回路１０６）とを備える（Ａ１）のストリーム合成装置が構成される（Ａ１１）。

また、２つ以上の音信号がダウンミックスされた音響信号が符号化されたダウンミックス音響信号と、当該ダウンミックス音響信号から前記２つ以上の音信号を取得するための拡張信号とが含まれる符号化信号（図５の符号化情報１０７）を入力する入力部（図略）を備え、入力される前記符号化信号の前記ダウンミックス音響信号（ＤＭＸ信号２０７）は、予め定められた２つ以上の符号化信号（符号化情報１０１、符号化情報１０２）の各ダウンミックス音響信号（ＤＭＸ信号２０１、ＤＭＸ信号２０４）が取得される第２のダウンミックス音響信号であり、入力される前記符号化信号の前記拡張信号は、前記第２のダウンミックス音響信号（ＤＭＸ信号２０７）から前記各第１のダウンミックス音響信号（ＤＭＸ信号２０１、ＤＭＸ信号２０４）を取得するための拡張信号（ダウンミックス分離情報２０８）含む拡張信号であり、少なくとも前記拡張信号（ダウンミックス分離情報２０８）に含まれる相互相関値（ＩＣＣ）と周波数パワー比（ＩＬＤ）とに基いて、前記第２のダウンミックス音響信号から取得される復号信号（図８の入力信号７０１）を前記相互相関値（ＩＣＣ）によって無相関化した２つ以上の中間信号（図８の無相関化回路７０４が生成する２つの中間信号）を生成し、生成された当該２つ以上の中間信号に前記周波数パワー比（ＩＬＤ）を乗算する復号部（分離回路７０９）を備える復号装置（復号化装置Ａ）が構成される（Ｂ）。

（その他変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙＤｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

本発明は、通信経路を介して複数の拠点が接続されており、各拠点がマルチチャンネル符号化されている多拠点会議システムに有用である。

図１及び図２に示すように、会議システムの接続方式にはメッシュ型（図１）とスター型（図２）とがある。複数の拠点がメッシュ型で接続されている場合（図１）、接続拠点数が増加してくると、各拠点の送受信端末装置では同時に沢山の復号化処理を行わなければならない。拠点数がｎ個の場合には、各拠点の端末ではｎ回の復号化処理を行う必要があるが、ＭＰＥＧ−Ｓｕｒｒｏｕｎｄ方式などのマルチチャンネル符号化方式を符号化・復号化する際には多大な演算を必要とするため、上記のように同時に複数の復号化処理を実行するには、符号化・復号化処理を行う処理プロセッサに高い演算性能が必要とされ、非常に大規模なプロセッサが必要になる。それらは一般的に非常に高価になりがちでコストが高い課題がある。また、演算メモリにも余裕をもった設計を施さねばならないことも、コスト増加に拍車をかける。この課題は特に省電力が必要とされる携帯型の端末にとっては致命的なものである。

一方、多拠点接続装置（ＭＣＵ）４０３（図２）を介して接続されるスター型の場合にも課題がある。各拠点での送受信端末装置では、１組の送受信処理をすればよいので、過度なプロセッサ能力や演算メモリは必要ないが、多拠点接続装置（ＭＣＵ）に多大な演算能力が必要になる。図３は、３拠点が多拠点接続装置４０３を介して接続されており、各拠点間はＭＰＥＧ−Ｓｕｒｒｏｕｎｄ方式などの従来のマルチチャンネル符号化方法で通信をしている様子を示している。各拠点は３チャンネルの通信をしている例だが、多拠点接続装置４０３では、拠点１と拠点２から受信した符号化情報４０１と４０２をマルチチャンネル復号化し、それぞれのチャンネルをダウンミックスして、再び３チャンネルの符号化を施して拠点３へと送信する。つまり、ｎ拠点が多拠点接続装置（ＭＣＵ）に接続されている場合、多拠点接続装置では、各拠点から受信した符号化列を一旦復号化して一つの信号にまとめて再度送り出すために符号化処理がｎ回、復号化処理がｎ回同時に行われる必要があり、メッシュ型の拠点端末で発生した課題が今度は多拠点接続装置で同様に発生する。

図５は、システム１の構成図である。

各拠点は、それぞれ２つ以上の独立した音響信号をマイクロフォンで収録し、マルチチャンネルのＰＣＭ信号を得る。図５の場合、拠点１では信号１、信号２、信号３が収録され、拠点２では信号４、信号５、信号６がそれぞれ収録される。得られたＰＣＭ信号を式１に従ってステレオまたはモノラルのダウンミックスＰＣＭ信号を計算する。

ダウンミックス整形回路１０４は、復号化されたこれらのＰＣＭ信号（ＰＣＭ１、ＰＣＭ２）を、更に、ダウンミックス回路５０３によってダウンミックスし、所定の符号化形式（たとえばＭＰＥＧ−ＡＡＣ形式）に符号化回路５０４により符号化することで、ダウンミックス符号化信号２０７（図６）を得る。そのときのダウンミックスの過程の一例は、式４に記載している。

ダウンミックス分離情報の算出は次のようにして行う。

図７は、復号化装置Ａ（図５）を示す図である。

拠点１の場合を例にすると、復号化装置Ａは、図７に示されるよう、ＰＣＭ信号として得られたダウンミックス信号６０１と拡張信号６０２を入力として、内部に分離回路６０３、６０４が多段に接続されている。分離回路の実施の例としては、非特許文献３に開示されているＭＰＥＧ−ＳｕｒｒｏｕｎｄのＯＴＴ回路、ＴＴＴ回路が挙げられるが、簡単な分離回路の一例を図８に示す。

上記無相関化回路７０４を経てゲイン調整回路７０５、７０６によってゲインを調整されて、分離された信号７０７および７０８が得られる。

（式９）Ｓｐｅｃ（ｎ）＝０．５＊Ｓｐｅｃ２０１（ｎ）＋０．５＊Ｓｐｅｃ２０４（ｎ）
なお、ここでは係数として０．５を記載したがこの限りではなく、Ｓｐｅｃ２０１（ｎ）、Ｓｐｅｃ２０４（ｎ）の係数は式７と同様の関係が成立すればよい。このようにして得られた合成スペクトルを再度ＭＰＥＧ−ＡＡＣ方式に則って量子化部１０４ａＹによって量子化する。この結果得られたものがストリーム合成装置１００の出力である符号化情報１０７（図５）に含まれるダウンミックス信号２０７になる。逆量子化処理に引き続いて加算処理を行うことは、すなわち周波数情報上で加算を行っているわけで、ＰＣＭ信号に戻すのに必要な周波数・時間変換（ＭＤＣＴ処理など）が不必要となり、ストリーム合成装置１００の演算能力が低く抑えられることができ、ひいては製造コストや設計コストの削減にも繋がるものである。

続けて、実施の形態１の変形例が説明される。

図１４は、システム１ａを示す図である。

符号化情報１０７を復号化し再生する装置には、復号化信号を再生チャンネル数に応じて異なる処理を行うレンダリング装置を備える。レンダリング装置とは、復号化信号１’〜５’を再生チャンネル毎に振り分ける作用をする装置である。たとえば、復号化信号が５つで再生チャンネル数が２つの場合について説明する。復号化信号１〜５をそれぞれｓ１〜ｓ５、再生チャンネル信号をそれぞれｏ１、ｏ２とすると、
（式１０）ｏ１＝ｓ１＋０．５＊ｓ２＋１／√２＊ｓ３
ｏ２＝ｓ４＋０．５＊ｓ２＋１／√２＊ｓ５
となる。上記演算に用いる係数がレンダリング情報に相当する。レンダリング情報としては、ＩＴＵ−ＲＢＳ．７７５−１規格に記載されているダウンミックス係数を用いている。このレンダリング係数は、復号化装置の再生チャンネル信号の配分によって決定する。上記の例では、信号ｓ１は左前方チャンネル信号、信号ｓ２は前方センターチャンネル信号、信号ｓ３は左後方チャンネル信号、信号４は右前方チャンネル信号、信号ｓ５は右後方チャンネル信号である。これらを左前方出力チャンネルｏ１、右前方出力チャンネルｏ２に出力する。

図１５は、システム１ｂを示す。

図２１は、優先度算出手順を示すフローチャートである。

図５により、システム１の構成が示される。

復号化装置Ａは、ストリーム合成装置１００から拠点３のコンピュータに受信された符号化情報１０７（図５、図４）を復号化する。復号化装置Ａは、復号化によって、各送信拠点（拠点１、拠点２）のＤＭＸ信号（図５のＤＭＸ信号２０１、２０４）及び拡張情報（拡張情報２０２及び拡張情報２０３、拡張情報２０５及び拡張情報２０６）をそれぞれ生成する。復号化装置Ａは、生成した各情報を用いて、各送信拠点の各音声信号を生成し、生成された各音声信号を再生する。

図７により、復号化装置Ａの構成が示される。

図１２に示すシステム１ｄにおいては、拠点１と拠点２、拠点３が本願発明によるストリーム合成装置（多拠点接続装置）１００を介して互いに接続している。各拠点は、それぞれ２つ以上の独立した音響信号をマイクロフォンで収録し、マルチチャンネルのＰＣＭ信号を得る。図１２の場合、拠点１では信号１、信号２、信号３が収録され、拠点２では信号４、信号５、信号６、信号７がそれぞれ収録される。得られたＰＣＭ信号を実施の形態１で示したように、ステレオまたはモノラルのダウンミックスＰＣＭ信号を計算する。

拠点３の場合を例にすると、ＰＣＭ信号として得られたダウンミックス信号６０１と拡張信号６０２を入力として、内部に分離回路６０３、６０４が多段に接続されている。分離回路の実施の例としては、非特許文献３に開示されているＭＰＥＧ−ＳｕｒｒｏｕｎｄのＯＴＴ回路、ＴＴＴ回路が挙げられるが、簡単な分離回路の一例を図８に示す。

入力信号７０１と、式２、式３（実施の形態１の図８の説明を参照）記載のパワー比（ＩＬＤ、図８では分離情報（パワー比）７０３）と相互相関値（ＩＣＣ、図８では分離情報（相関値）７０２）とを元に、まず入力信号７０１を無相関化回路７０４にて無相関化を実施する。その実施の一形態は、非特許文献３記載のＤｅｃｏｒｒｅｌａｔｏｒ回路がある。なお、無相関化回路７０４に関してはこの限りではなく、たとえば非特許文献６には、Ｌｅｖｉｎｓｏｎ−Ｄｕｒｂｉｎアルゴリズムによって信号を無相関化する手法が開示されている。

Claims

２つ以上の音信号がダウンミックスされた音響信号が符号化された第１のダウンミックス音響信号と、当該第１のダウンミックス音響信号から前記２つ以上の音信号を取得するための拡張信号とが含まれる符号化信号を２つ以上入力する入力部と、
前記入力部によって入力された各符号化信号に基いて、前記各第１のダウンミックス音響信号が取得される第２のダウンミックス音響信号と、当該第２のダウンミックス音響信号から前記各第１のダウンミックス音響信号を取得するための拡張信号とを生成し、生成された当該第２のダウンミックス音響信号と、生成された当該拡張信号と、入力された前記各符号化信号の各拡張信号とが含まれる符号化信号を生成する符号化信号生成部と、
生成された当該符号化信号を出力する出力部とを備えるストリーム合成装置。
前記符号化信号生成部は、前記入力部によって入力された各符号化信号の音信号の個数の合計数を算出し、生成される前記符号化信号は、算出された当該合計数が含まれる請求項１記載のストリーム合成装置。
前記入力部が入力する符号化信号の拡張信号は、複数の部分拡張信号を含み、当該複数の部分拡張信号のうちで、音信号に対応する一部の部分拡張信号により当該音信号が当該符号化信号から取得され、
前記符号化信号生成部は、各音信号に対応付けて、それぞれ、当該音信号に対応する前記一部の部分拡張信号が格納された符号化信号を生成する請求項１記載のストリーム合成装置。
前記符号化信号生成部は、予め定められた音信号を取得するための部分拡張信号のみを含む符号化信号を生成する請求項３記載のストリーム合成装置。
前記符号化信号生成部は、前記入力部が入力する前記各符号化信号のうちで、予め定められた一部の符号化信号の拡張信号のみが含まれる符号化信号を生成する請求項１記載のストリーム合成装置。
前記符号化信号生成部は、前記入力部によって符号化信号が入力される入力元の予め定められた優先順位が、予め定められた基準順位よりも高い符号化信号の拡張信号のみが含まれる符号化信号を生成する請求項５記載のストリーム合成装置。
前記入力部が入力する符号化信号の拡張信号は、複数の部分拡張信号が含まれ、当該複数の部分拡張信号のうちで、音信号に対応する一部の部分拡張信号により、当該音信号が当該符号化信号から取得され、
前記符号化信号生成部は、音信号の予め定められた優先順位が予め定められた基準順位よりも高い音信号に対応する前記一部の部分拡張信号のみが含まれる符号化信号を生成する請求項１記載のストリーム合成装置。
前記入力部が入力する符号化信号の拡張信号は、複数の部分拡張信号が含まれ、当該複数の部分拡張信号のうちで、音信号に対応する一部の部分拡張信号によって、当該音信号が当該符号化信号から復号され、
前記符号化信号生成部は、当該符号化信号生成部が生成する前記拡張信号と、生成される当該符号化信号の各部分拡張信号とにより構成されるツリー構造を特定するツリー情報を含む符号化信号を生成する請求項１記載のストリーム合成装置。
前記符号化信号生成部は、当該符号化信号生成部が生成した拡張信号と、前記入力部が入力した各符号化信号の各拡張信号とのうちで、当該拡張信号が、前記符号化信号生成部が生成した拡張信号であることを示す判別情報が含まれる符号化信号を生成する請求項１記載のストリーム合成装置。
前記入力部が入力する各符号化信号は、それぞれ、当該符号化信号が入力される入力元を示す入力元情報を含み、
前記符号化信号生成部は、入力された前記各符号化信号のうちで、含まれる入力元情報が予め定められた入力元を示す各符号化信号を特定し、特定された各符号化信号の各第１のダウンミックス音響信号が取得される第２のダウンミックス音響信号と、その取得のための拡張信号とを生成し、生成された当該第２のダウンミックス音響信号と、生成された前記拡張信号と、特定された前記各符号化信号の前記各拡張信号とが含まれる符号化信号を生成する請求項１記載のストリーム合成装置。
前記入力部は、予め定められた複数の入出力先から、それぞれ、符号化信号を入力し、
前記出力部は、当該複数の入出力先にそれぞれ符号化信号を出力し、
前記符号化信号生成部は、１個の前記第２のダウンミックス音響信号と、前記複数の入出力先の個数と同じ個数の拡張信号とを生成し、生成される１個の前記第２のダウンミックス音響信号は、前記複数の入出力先から入力された前記各符号化信号の各第２のダウンミックス音響信号を取得するためのダウンミックス音響信号であり、生成される前記各拡張信号は、互いに異なる前記入出力先にそれぞれ対応し、対応する前記入出力先以外の他の入出力先の拡張信号のみが含まれ、
前記出力部は、前記符号化信号生成部が生成した前記各符号化信号を、それぞれ、当該符号化信号に含まれる、前記符号化信号生成部が生成した前記拡張情報が対応する前記入出力先に出力する請求項１記載のストリーム合成装置。
前記符号化信号生成部は、
前記入力部が入力した前記各符号化信号から、それぞれ、当該符号化信号に含まれる前記第１のダウンミックス音響信号を分離する分離部と、
前記分離部が分離した各第１のダウンミックス音響信号に基いて、前記第２のダウンミックス音響信号を生成するダウンミックス音響信号生成部と、
前記分離部が分離した各第１のダウンミックス音響信号に基いて、前記第２のダウンミックス音響信号から前記各第１のダウンミックス音響信号を取得するための拡張信号を生成する拡張信号生成部と、
前記ダウンミックス音響信号生成部が生成した前記第２のダウンミックス音響信号と、前記拡張信号生成部が生成した前記拡張信号と、前記入力部が入力した前記各符号化信号の各拡張信号とを合成して、符号化信号を生成する合成部とを備える請求項１記載のストリーム合成装置。
２つ以上の音信号がダウンミックスされた音響信号が符号化されたダウンミックス音響信号と、当該ダウンミックス音響信号から前記２つ以上の音信号を取得するための拡張信号とが含まれる符号化信号を入力する入力部を備え、
入力される前記符号化信号の前記ダウンミックス音響信号は、予め定められた２つ以上の符号化信号の各ダウンミックス音響信号が取得される第２のダウンミックス音響信号であり、
入力される前記符号化信号の前記拡張信号は、前記第２のダウンミックス音響信号から前記各第１のダウンミックス音響信号を取得するための拡張信号であり、
少なくとも前記拡張信号に含まれる相互相関値（ＩＣＣ）と周波数パワー比（ＩＬＤ）とに基いて、前記第２のダウンミックス音響信号から取得される復号信号を前記相互相関値（ＩＣＣ）によって無相関化した２つ以上の中間信号を生成し、生成された当該２つ以上の中間信号に前記周波数パワー比（ＩＬＤ）を乗算する復号部を備える復号装置。
２つ以上の音信号がダウンミックスされた音響信号が符号化された第１のダウンミックス音響信号と、当該第１のダウンミックス音響信号から前記２つ以上の音信号を取得するための拡張信号とが含まれる符号化信号を２つ以上入力する入力工程と、
前記入力工程で入力された各符号化信号に基いて、前記各第１のダウンミックス音響信号が取得される第２のダウンミックス音響信号と、当該第２のダウンミックス音響信号から前記各第１のダウンミックス音響信号を取得するための拡張信号とを生成し、生成された当該第２のダウンミックス音響信号と、生成された当該拡張信号と、入力された前記各符号化信号の各拡張信号とが含まれる符号化信号を生成する符号化信号生成工程と、
生成された当該符号化信号を出力する出力工程とを備えるストリーム合成方法。
２つ以上の音信号がダウンミックスされた音響信号が符号化された第１のダウンミックス音響信号と、当該第１のダウンミックス音響信号から前記２つ以上の音信号を取得するための拡張信号とが含まれる符号化信号を２つ以上入力する入力工程と、
前記入力工程で入力された各符号化信号に基いて、前記各第１のダウンミックス音響信号が取得される第２のダウンミックス音響信号と、当該第２のダウンミックス音響信号から前記各第１のダウンミックス音響信号を取得するための拡張信号とを生成し、生成された当該第２のダウンミックス音響信号と、生成された当該拡張信号と、入力された前記各符号化信号の各拡張信号とが含まれる符号化信号を生成する符号化信号生成工程と、
生成された当該符号化信号を出力する出力工程とをコンピュータに実行させるためのコンピュータプログラム。
２つ以上の音信号がダウンミックスされた音響信号が符号化されたダウンミックス音響信号と、当該ダウンミックス音響信号から前記２つ以上の音信号を取得するための拡張信号とが含まれる符号化信号を入力する入力工程を備え、
入力される前記符号化信号の前記ダウンミックス音響信号は、予め定められた２つ以上の符号化信号の各ダウンミックス音響信号が取得される第２のダウンミックス音響信号であり、
入力される前記符号化信号の前記拡張信号は、前記第２のダウンミックス音響信号から前記各第１のダウンミックス音響信号を取得するための拡張信号であり、
少なくとも前記拡張信号に含まれる相互相関値（ＩＣＣ）と周波数パワー比（ＩＬＤ）とに基いて、前記第２のダウンミックス音響信号から取得される復号信号を前記相互相関値（ＩＣＣ）によって無相関化した２つ以上の中間信号を生成し、生成された当該２つ以上の中間信号に前記周波数パワー比（ＩＬＤ）を乗算する復号工程を備える復号方法。
２つ以上の音信号がダウンミックスされた音響信号が符号化されたダウンミックス音響信号と、当該ダウンミックス音響信号から前記２つ以上の音信号を取得するための拡張信号とが含まれる符号化信号を入力する入力工程をコンピュータに実行させ、
入力される前記符号化信号の前記ダウンミックス音響信号は、予め定められた２つ以上の符号化信号の各ダウンミックス音響信号が取得される第２のダウンミックス音響信号であり、
入力される前記符号化信号の前記拡張信号は、前記第２のダウンミックス音響信号から前記各第１のダウンミックス音響信号を取得するための拡張信号であり、
少なくとも前記拡張信号に含まれる相互相関値（ＩＣＣ）と周波数パワー比（ＩＬＤ）とに基いて、前記第２のダウンミックス音響信号から取得される復号信号を前記相互相関値（ＩＣＣ）によって無相関化した２つ以上の中間信号を生成し、生成された当該２つ以上の中間信号に前記周波数パワー比（ＩＬＤ）を乗算する復号工程を前記コンピュータに実行させるためのコンピュータプログラム。