JPWO2009001887A1

JPWO2009001887A1 - 多地点接続装置、信号分析及び装置と、その方法及びプログラム

Info

Publication number: JPWO2009001887A1
Application number: JP2009520630A
Authority: JP
Inventors: 嶋田　修; 修嶋田; 野村　俊之; 俊之野村; 昭彦杉山; 宝珠山　治; 治宝珠山
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2007-06-27
Filing date: 2008-06-26
Publication date: 2010-08-26
Anticipated expiration: 2028-06-26
Also published as: KR20100022989A; US20100198990A1; US9118805B2; EP2164238B1; EP2164238A1; CN101715643B; WO2009001887A1; JP5282906B2; EP2164238A4; CN101715643A

Abstract

【課題】受信部において、各地点の入力信号の各音源に対応した構成要素ごとに制御することのできる技術を提供することにある。【解決手段】複数の構成要素を含む第１の信号と第１の信号に含まれる複数の構成要素間の関係を表す第１の分析情報とを受ける第１の信号受信部と、複数の構成要素を含む第２の信号と第２の信号に含まれる複数の構成要素間の関係を表す第２の分析情報とを受ける第２の信号受信部と、第１の信号と第２の信号とを混合する信号混合部と、第１の分析情報と第２の分析情報とを混合する分析情報混合部とを含むことを特徴とする多地点接続装置である。【選択図】図１

Description

本発明は、多地点接続装置、信号分析及び装置と、その方法及びプログラムに関する。

複数地点間を相互に接続し、遠隔地の参加者が参加して会議を行うことができる多地点接続システムは、例えば遠隔会議システムなどとして広く利用されている。

多地点接続システムの一例が、特許文献１に開示されている（以下、従来技術１）。多地点接続システムは、図７４に示すように、各地点に分散して配置される端末9000、9001及び9002並びに端末間でのデータ交換を制御する多地点接続装置（ＭＣＵ：Multipoint Control Unit）9005を備えている。多地点接続装置9005は、各端末から出力された信号を混合して、全端末に分配する。混合に際しては、分配先の端末から出力された信号だけを除外する。例えば、端末9000へ分配する信号は、端末9001と9002から出力された信号を混合したものとなる。

図７５に、多地点接続装置9005の構成例を示す。図７５では、3地点を接続する例を示してあるが、任意の数の地点を接続する構成とすることができる。図７５において、第１から第３の地点に設置された端末から受けた伝送信号が、入力端子を介して復号部9020、9030、9040に出力され、復号部9020、9030、9040において復号される。復号信号は、さらに混合部9021、9031、9041に出力される。混合部9021は第２と第３の地点からの復号信号を混合し、第１の地点に送出する混合信号を生成し、混合信号を符号化部9022に出力する。混合部9031は第１と第３の地点からの復号信号を混合し、第２の地点に送出する混合信号を生成し、混合信号を符号化部9032に出力する。混合部9041は第１と第２の地点からの復号信号を混合し、第３の地点に送出する混合信号を生成し、混合信号を符号化部9042に出力する。符号化部9022、9032、9042は、混合信号を符号化し、出力端子を介して各端末に出力する。なお、混合部9021、9031、9041は、単に複数の信号を混合するだけでなく、予め定められた様々なメディア処理（画像処理、音声処理、データ処理など）を適用することもできる。

図７４に、端末9000、9001、9002の第１の構成例を示す。なお、これらの端末は同一の構成とすることができるので、端末9000のみ構成例が示してある。以降、端末9000を例として説明する。端末9000は、雑音抑圧部9010と符号化部9011を含む送信部9006と、復号部9012を含む受信部9007から構成される。送信部9006の雑音抑圧部9010には入力端子を介して入力信号が入力される。例えば一般的な携帯電話では、マイクロフォンによって捕捉した信号(マイクロフォン信号)が入力信号となる。マイクロフォン信号は、所望の音声と背景雑音（以下、雑音）から構成され、雑音抑圧部9010は、雑音だけを抑圧し、所望の音声はできる限りそのままに保ち、雑音抑圧音声として符号化部9011に出力する。符号化部9011は、雑音抑圧部9010から出力された雑音抑圧音声を、CELPなどの符号化方式に基づいて、符号化する。符号化された情報は出力端子を介して出力され、変調・増幅などされた後、伝送路へ出力される。すなわち、送信部9006は、雑音抑圧処理の後で音声符号化などの処理を行い、信号を伝送路に出力する。受信部9007は、伝送路から受けた信号を復調し、ディジタル化した後に、復号部9012に出力する。復号部9012は、入力された信号を復号し、出力信号として出力する。出力信号はスピーカに入力され、可聴信号として再生される。

雑音抑圧部9010は一般的にノイズサプレッサ（雑音抑圧システム）として知られており、所望の音声信号に重畳されている雑音を抑圧する。一般的に、周波数領域に変換した入力信号を用いて雑音成分のパワースペクトルを推定し、この推定パワースペクトルを入力信号から差し引くことにより、所望の音声信号に混在する雑音を抑圧するように動作する。雑音成分のパワースペクトルを継続的に推定することにより、非定常な雑音の抑圧にも適用することができる。ノイズサプレッサの技術の一例が、特許文献２に開示されている（以下、従来技術２）。

さらに、雑音の抑圧に対する演算量を削減する技術が、非特許文献１に開示されている（以下、従来技術３）。

これらいずれの方式も、基本的な動作は等しい。すなわち、入力信号を線形変換で周波数領域に変換し、振幅成分を取り出して周波数成分毎に抑圧係数を計算する。その抑圧係数と各周波数成分における振幅の積と各周波数成分の位相を組み合わせて逆変換して雑音抑圧された出力を得る。このとき、抑圧係数はゼロと１の間の値であり、ゼロなら完全抑圧で出力はゼロ、1なら抑圧なしで入力がそのまま出力される。

端末9000、9001、9002の第２の構成例として、図７４に示した第１の構成例から、雑音抑圧部9010が存在しない場合が挙げられる。この構成は、端末が雑音抑圧部9010を具備していない場合だけではなく、利用者がその機能をオフにしている場合や雑音抑圧部9010の抑圧度が不十分な場合にも相当する。このような端末では、所望の音声信号に混入する雑音などが十分に抑圧されることなく、そのまま他の端末に伝送される。この場合、会議の参加者の聞く混合信号には雑音が混入し、音質が低くなる。このため、重要な語句を聞き間違える、或いは長時間の利用で疲労が増すという問題がある。雑音抑圧部9010を有する第１の構成例の端末が用いられても、雑音抑圧部9010の抑圧が不十分な場合や雑音抑圧部9010の機能を無効に設定している場合は、同様の問題がある。

ここで、一般的には、抑圧しきれずに残留する残留雑音と、出力される雑音抑圧音声の歪はトレードオフの関係にある。残留雑音を減らすと歪が増え、歪を減らすと残留雑音が増える。従来技術１では、送信部における雑音抑圧部で、残留雑音と歪のバランスの調整、つまり、所望の音声と雑音の制御を行っている。
特開２０００−８３２２９号公報特開２００２−２０４１７５号公報 2006年5月、プロシーディングス・オブ・アイ・シー・エイ・エス・エス・ピー、(PROCEEDINGS OF ICASSP, VOL.I, PP.473−476, MAY, 2006)、473 〜476 ページ

しかし、従来技術１には、受信部において、各地点の入力信号の各音源に対応した構成要素ごと（例えば所望の音声と雑音）に制御できないという問題点があった。例えば、受信部側の環境により残留雑音と歪のバランスの最適な状態は異なるが、受信部側でそれを調整することはできない。また、各地点からの信号ごとに制御することができない。

そこで、本発明は上述課題に鑑みて発明されたものであって、その目的は、受信部において、各地点の入力信号の各音源に対応した構成要素ごとに制御することのできる技術を提供することにある。

上記課題を解決する本発明は、複数の構成要素を含む第１の信号と前記第１の信号に含まれる複数の構成要素間の関係を表す第１の分析情報とを受ける第１の信号受信部と、複数の構成要素を含む第２の信号と前記第２の信号に含まれる複数の構成要素間の関係を表す第２の分析情報とを受ける第２の信号受信部と、前記第１の信号と前記第２の信号とを混合する信号混合部と、前記第１の分析情報と前記第２の分析情報とを混合する分析情報混合部とを含むことを特徴とする多地点接続装置である。

上記課題を解決する本発明は、複数の構成要素を含む入力信号を受ける信号受信部と、前記入力信号から前記複数の構成要素間の関係を表す分析情報を生成する信号分析部と、前記入力信号の周波数成分毎の特性を表すオブジェクト情報を生成するオブジェクト情報抽出部とを含むことを特徴とする信号分析装置である。

上記課題を解決する本発明は、複数の構成要素を含む入力信号と前記複数の構成要素間の関係を表す分析情報と前記入力信号の周波数成分毎の特性を表すオブジェクト情報とを受ける信号受信部と、前記構成要素の出力を制御する構成要素レンダリング情報を受け、前記分析情報と前記オブジェクト情報と前記構成要素レンダリング情報とに基づいて前記構成要素が制御された出力信号を生成する出力信号生成部とを含むことを特徴とする信号制御装置である。

上記課題を解決する本発明は、複数の構成要素を含む入力信号と前記複数の構成要素間の関係を表す分析情報と前記入力信号の周波数成分毎の特性を表すオブジェクト情報とを受ける信号受信部と、前記入力信号と前記出力信号との関係を周波数成分毎に表したオブジェクトレンダリング情報と特定の構成要素を制御する信号制御情報とを受け、前記分析情報と前記オブジェクト情報と前記オブジェクトレンダリング情報と前記信号制御情報とに基づいて前記構成要素が制御された出力信号を生成する出力信号生成部とを含むことを特徴とする信号制御装置である。

上記課題を解決する本発明は、複数の構成要素を含む第１の信号と、前記第１の信号に含まれる複数の構成要素間の関係を表す第１の分析情報とを受信し、複数の構成要素を含む第２の信号と、前記第２の信号に含まれる複数の構成要素間の関係を表す第２の分析情報とを受信し、前記第１の信号と前記第２の信号とを混合し、前記第１の分析情報と前記第２の分析情報とを混合することを特徴とする多地点接続方法である。

上記課題を解決する本発明は、複数の構成要素を含む入力信号から前記複数の構成要素間の関係を表す分析情報を生成し、前記入力信号の周波数成分毎の特性を表すオブジェクト情報を生成することを特徴とする信号分析方法である。

上記課題を解決する本発明は、複数の構成要素を含む入力信号と、前記複数の構成要素間の関係を表す分析情報と、前記入力信号の周波数成分毎の特性を表すオブジェクト情報とを受信し、前記構成要素の出力を制御する構成要素レンダリング情報を受信し、前記分析情報と前記オブジェクト情報と前記構成要素レンダリング情報とに基づいて、前記構成要素が制御された出力信号を生成することを特徴とする信号制御方法である。

上記課題を解決する本発明は、複数の構成要素を含む入力信号と、前記複数の構成要素間の関係を表す分析情報と、前記入力信号の周波数成分毎の特性を表すオブジェクト情報とを受信し、前記入力信号と前記出力信号との関係を周波数成分毎に表したオブジェクトレンダリング情報と特定の構成要素を制御する信号制御情報とを受信し、前記分析情報と前記オブジェクト情報と前記オブジェクトレンダリング情報と前記信号制御情報とに基づいて、前記構成要素が制御された出力信号を生成することを特徴とする信号制御方法である。

上記課題を解決する本発明は、複数の構成要素を含む第１の信号と前記第１の信号に含まれる複数の構成要素間の関係を表す第１の分析情報とを受信する処理と、複数の構成要素を含む第２の信号と前記第２の信号に含まれる複数の構成要素間の関係を表す第２の分析情報とを受信する処理と、前記第１の信号と前記第２の信号とを混合する処理と、前記第１の分析情報と前記第２の分析情報とを混合する処理とを情報処理装置に実行させるプログラムである。

上記課題を解決する本発明は、複数の構成要素を含む入力信号を受信する処理と、前記入力信号から前記複数の構成要素間の関係を表す分析情報を生成する処理と、前記入力信号の周波数成分毎の特性を表すオブジェクト情報を生成する処理とを情報処理装置に実行させるプログラムである。

上記課題を解決する本発明は、複数の構成要素を含む入力信号と前記複数の構成要素間の関係を表す分析情報と前記入力信号の周波数成分毎の特性を表すオブジェクト情報とを受信する処理と、前記構成要素の出力を制御する構成要素レンダリング情報を受け、前記分析情報と前記オブジェクト情報と前記構成要素レンダリング情報とに基づいて前記構成要素が制御された出力信号を生成する処理とを情報処理装置に実行させるプログラムである。

上記課題を解決する本発明は、複数の構成要素を含む入力信号と前記複数の構成要素間の関係を表す分析情報と前記入力信号の周波数成分毎の特性を表すオブジェクト情報とを受信する処理と、前記入力信号と前記出力信号との関係を周波数成分毎に表したオブジェクトレンダリング情報と特定の構成要素を制御する信号制御情報とを受け、前記分析情報と前記オブジェクト情報と前記オブジェクトレンダリング情報と前記信号制御情報とに基づいて前記構成要素が制御された出力信号を生成する処理とを情報処理装置に実行させるプログラムである。

本発明では、送信部で信号の分析を行い分析情報を算出し、多地点接続装置で分析情報を混合し、混合された分析情報に基づいて、受信部において、入力信号の制御を行っている。

よって、受信部において、各地点の入力信号の各音源に対応した構成要素ごとに制御することができる。例えば、主会場からの音声は雑音も入れるが、副会場からの音声は雑音を除去する、などの調整を受信部側で行うことができる。

さらに、送信部で分析情報の計算を行うので、受信部は分析情報の計算に係る演算量を削減することができる。

本発明の第一の実施の形態を示すブロック図符号化部100の構成例復号部150の構成例信号分析部101の構成例信号制御部151の構成例多地点接続装置(MCU)2105の構成例分析情報混合部2114の構成例多地点接続装置(MCU)2105の第二の構成例分析情報混合部2117の構成例分析情報計算部121の構成例背景音情報生成部202の構成例信号処理部172の構成例抑圧係数復号部260の構成例分析パラメータ混合部2151の構成例分析パラメータ混合部2153の構成例背景音情報生成部202の第二の構成例抑圧係数再構成部250の構成例背景音情報生成部202の第二の構成例分析パラメータ混合部2151の第二の構成例分析パラメータ混合部2153の第二の構成例分析情報計算部121の第二の構成例信号処理部172の第二の構成例抑圧係数計算部252の構成例信号処理部172の第三の構成例分析パラメータ混合部2151の第三の構成例分析パラメータ混合部2153の第三の構成例本発明の第三の実施の形態を示すブロック図信号制御部350の構成例信号処理部360の構成例抑圧係数再構成部450の構成例抑圧係数修正部460の構成例抑圧係数修正部460の第二の構成例抑圧係数修正部460の第三の構成例抑圧係数再構成部450の第二の構成例抑圧係数再構成部450の第三の構成例信号処理部360の第二の構成例抑圧係数計算部452の構成例信号処理部360の第三の構成例抑圧係数計算部452の第二の構成例本発明の第五の実施の形態を示すブロック図多地点接続装置(MCU)2105の構成例出力信号生成部2550の構成例出力信号生成部2550の第二の構成例構成要素情報変換部2565の構成例出力信号生成部2550の第三の構成例構成要素情報変換部2566の構成例本発明の第七の実施の形態を示すブロック図出力信号生成部2700の構成例出力信号生成部2700の第二の構成例オブジェクトレンダリング情報修正部2770の構成例出力信号生成部2700の第三の構成例オブジェクトレンダリング情報修正部2780の構成例本発明の第九の実施の形態を示すブロック図出力信号生成部2900の構成例構成要素情報変換部2910の構成例出力信号生成部2900の第二の構成例構成要素情報変換部3001の構成例本発明の第十一の実施の形態を示すブロック図信号分析部900の構成例信号分析部900の第二の構成例分析情報計算部911の構成例分析情報計算部912の第二の構成例本発明の第十三の実施の形態を示すブロック図符号化部1100の構成例信号分析部1101の構成例復号部1150の構成例信号制御部1151の構成例信号分析部101の第二の構成例信号制御部151の第二の構成例信号分析部101の第三の構成例信号制御部151の第三の構成例本発明の第十四の実施の形態を示すブロック図本発明の第十五の実施の形態を示すブロック図従来の多地点会議システムを示すブロック図多地点接続装置9005の構成例

符号の説明

10, 2506, 90 送信部
15, 35, 2507 受信部
100, 1100, 2113, 2123, 2133, 2513, 9011, 9022,
9032, 9042 符号化部
101, 900, 1101 信号分析部
102, 2115, 2125, 2135, 2511, 2514 多重化部
110, 120, 171, 920 変換部
111 量子化部
121, 911, 912, 121 分析情報計算部
150, 1150, 2111, 2121, 2131, 2511, 2521, 2531, 9012, 9020, 9030, 9040 復号部
151, 2560, 2760 信号制御部
152, 2110, 2120, 2130, 2510, 2520, 2530, 2551 分離部
160 逆量子化部
161, 173 逆変換部
172, 360 信号処理部
200 背景音推定部
201, 252, 452 抑圧係数計算部
201 抑圧係数計算部
202 背景音情報生成部
203, 207 信号対背景音比計算部
204 号対背景音比符号化部
205 背景音符号化部
250, 450 抑圧係数再構成部
251, 451, 470 乗算器
253 減算器
260 抑圧係数復号部
261 信号対背景音比復号部
262 抑圧係数変換部
263 背景音復号部
264 抑圧係数生成部
460 抑圧係数修正部
461 信号対背景音比修正部
464 背景音修正部
471 比較部
472 指定抑圧係数制御部
473 スイッチ
651, 653 構成要素パラメータ生成部
910 量子化歪み計算部
1020 背景音推定部
1200 信号分離分析部
1201 分離フィルタ符号化部
1202 分離フィルタ復号部
1203 フィルタ
1210 音環境分析部
1211 音環境情報符号化部
1212 音環境情報復号部
1213 音環境情報処理部
2021 抑圧係数符号化部
2100, 2101, 2102, 2300, 2301, 2302, 2500, 2501, 2502, 3000, 3001, 3002, 3300, 3301, 3302, 3401, 3402, 3403, 3404, 3405, 9001, 9002, 9006, 9007 端末
2105, 2505, 3410, 3411, 9005 多地点接続装置(MCU)
2112, 2122, 2132, 2116, 2126, 2136, 2512, 9021, 9031, 9041 混合部
2114, 2117, 2124, 2127, 2134, 2137, 2516 分析情報混合部
2150, 2160 分析情報復号部
2151, 2153 分析パラメータ混合部
2152 分析情報符号化部
2201, 2231 背景音混合部
2202, 2232, 2200, 2230 選択部
2203, 2233 抑圧係数混合部
2204, 2214 抑圧係数変換部
2205 抑圧係数逆変換部
2510 オブジェクト情報抽出部
2515 オブジェクト情報混合部
2550, 2700, 2900 出力信号生成部
2561, 2564 レンダリング情報生成部
2563 レンダリング部
2565, 2566 構成要素情報変換部
2611 オブジェクトレンダリング情報生成部
2770, 2780 オブジェクトレンダリング情報修正部
2810 オブジェクトレンダリング情報変更部
2910, 3001 構成要素情報変換部
3000, 3002 構成要素パラメータ生成部
3500, 3501, 3502, 3503 コンピュータ
9010 雑音抑圧部

本発明における第一の実施の形態を、図１を用いて説明する。本実施の形態は、分析情報に基づいて、受信側端末で各地点の入力信号の各音源に対応した構成要素ごとに制御することを特徴とする。

図１に示すように、本実施の形態における多地点接続システムは、各地点に分散して配置される端末2100、2101及び2102並びに端末間でのデータ交換を制御する多地点接続装置（ＭＣＵ：Multipoint Control Unit）2105を備えている。多地点接続装置2105は、各端末から出力された信号を混合して、全端末に分配する。混合に際しては、分配先の端末から出力された信号だけを除外する。例えば、端末2100へ分配する信号は、端末2101と2102から出力された信号を混合したものとなる。図１では、3地点を接続する例を示してあるが、任意の数の地点を接続する構成とすることができる。

図１から図５を参照して、端末2100、2101、2102の構成例を説明する。なお、これらの端末は同一の構成とすることができるので、端末2100のみ構成例を示す。以下、端末2100を例として説明する。

図１を参照すると、端末2100は、符号化部100と信号分析部101と多重化部102を含む送信部10と、復号部150と信号制御部151と分離部152を含む受信部15から構成される。入力信号は送信部10にある符号化部100及び信号分析部101に入力される。符号化部100は、入力信号を符号化して、符号化信号を多重化部102に出力する。信号分析部101は、入力信号に含まれる各音源に対応した構成要素の分析情報を算出して、多重化部102に出力する。多重化部102は、符号化部100から出力された符号化信号と信号分析部101から出力された分析情報を多重化し、伝送信号として伝送路に出力する。伝送信号は、受信部15における分離部152に入力される。分離部152は、伝送信号を符号化信号と分析情報に分離し、符号化信号は復号部150に、分析情報は信号制御部151に出力する。復号部150は、符号化信号を復号して復号信号を生成し、信号制御部151に出力する。ここで、復号信号は一般的な複数音源から構成されるものである。信号制御部151は、分離部152から出力された分析情報に基づいて、復号部150から出力された復号信号を各音源に対応した構成要素ごとに操作して、出力信号として出力する。信号制御部151は、各音源に対応した構成要素の代わりに、複数の構成要素からなる構成要素群を単位として操作してもよい。

図２を参照して、符号化部100の構成例を詳細に説明する。符号化部100は、入力信号を受信し、符号化信号を出力する。符号化部100は、変換部110と量子化部111とから構成される。まず、入力信号が、変換部110に入力される。次に、変換部110は、入力信号を周波数成分に分解し、第一の変換信号を生成する。変換部110は、第一の変換信号を量子化部111に出力する。そして、量子化部111は、第一の変換信号を量子化し、符号化信号として出力する。

変換部110は、複数の入力信号サンプルをまとめて、１ブロックを構成し、このブロックに対して周波数変換を適用する。周波数変換の例としては、フーリエ変換、コサイン変換、ＫＬ（カルーネンレーベ）変換などが知られている。これらの変換の具体的な演算に関連する技術及びその性質は、非特許文献２（1990 年、「ディジタル・コーディング・オブ・ウェーブフォームス」、プレンティス・ホール (DIGITAL CODING OF WAVEFORMS, PRINCIPLES AND APPLICATIONS TO SPEECH AND VIDEO, PRENTICE−HALL, 1990.)）に開示されている。

変換部110はまた、１ブロックの入力信号サンプルを窓関数で重み付けした結果に対して、前述の変換を適用することができる。このような窓関数としては、ハミング、ハニング（ハン）、ケイザー、ブラックマンなどの窓関数が知られている。また、さらに複雑な窓関数を用いることもできる。これらの窓関数に関連する技術は、非特許文献３（1975 年、「ディジタル・シグナル・プロセシング」、プレンティス・ホール (DIGITAL SIGNAL PROCESSING, PRENTICE−HALL, 1975.)）及び非特許文献４（1993 年、「マルチレートシステムズ・アンド・フィルタバンクス」、プレンティス・ホール (MULTIRATE SYSTEMS AND FILTER BANKS, PRENTICE−HALL, 1993.)）に開示されている。

変換部110が複数の入力信号サンプルから１ブロックを構成する際に、各ブロックに重なり（オーバラップ）を許容してもよい。例えば、ブロック長の30％のオーバラップを適用する場合には、あるブロックに属する信号サンプルの最後30％は、次のブロックに属する信号サンプルの最初30％として複数のブロックで重複して用いられる。オーバラップを有するブロック化と変換に関連する技術は、非特許文献２に開示されている。

さらに、変換部110は、帯域分割フィルタバンクで構成してもよい。。帯域分割フィルタバンクは、複数の帯域通過フィルタから構成される。帯域分割フィルタバンクは、受信した入力信号を複数の周波数帯域に分割して、量子化部111に出力する。帯域分割フィルタバンクの各周波数帯域は等間隔であってもよいし、不等間隔であってもよい。不等間隔に帯域分割することによって、低域では狭い帯域に分割して時間分解能を低く、高域では広い帯域に分割して時間分解能を高くすることができる。不等間隔分割の代表例には、低域に向かって帯域が逐次半分になるオクターブ分割や人間の聴覚特性に対応した臨界帯域分割などがある。帯域分割フィルタバンクとその設計法に関連する技術は、非特許文献４に開示されている。

量子化部111は、入力された信号の冗長性を除去し、符号化信号を出力する。冗長性を除去する方法としては、入力された信号の相関が最小となるように制御する。さらに、マスキング効果などの聴覚特性を利用し、聴覚上認知されない信号成分を除去してもよい。量子化方法としては、線形量子化、非線形量子化などの量子化方法が知られている。量子化された信号は、ハフマン符号化などを用いてさらに、冗長性を取り除くことができる。

図３を参照して、復号部150の構成例を詳細に説明する。復号部150は、主信号を受信し、復号信号を出力する。復号部150は、逆量子化部160と逆変換部161とから構成される。逆量子化部160は、受信した各周波数の主信号を逆量子化し、複数の周波数成分から構成される第一の変換信号を生成する。そして、逆量子化部160は、第一の変換信号を逆変換部161に出力する。逆変換部161は、第一の変換信号を逆変換して、復号信号を生成する。そして逆変換部161は、復号信号を出力する。

逆変換部161が適用する逆変換は、変換部110が適用する変換と対応する逆変換が選択されることが望ましい。例えば、変換部110が、複数の入力信号サンプルをまとめて１ブロックを構成し、このブロックに対して周波数変換を適用するときには、逆変換部161は同一数のサンプルに対して対応する逆変換を適用する。また、変換部110が複数の入力信号サンプルから１ブロックを構成する際に、各ブロックに重なり（オーバラップ）を許容する場合には、これに対応して、逆変換部161は逆変換後の信号に対して同一のオーバラップを適用する。さらに、変換部110を帯域分割フィルタバンクで構成するときには、逆変換部161を帯域合成フィルタバンクで構成する。帯域合成フィルタバンクとその設計法に関連する技術は、非特許文献４に開示されている。

図２及び図３の符号化部100と復号部150 の説明では、内部に変換部を含む変換符号化を想定して説明したが、パルス符号変調(PCM)、適応差分パルス符号変調(ADPCM)、さらにCELPなどに代表される分析合成符号化を適用してもよい。PCM/ADPCMに関連する技術は非特許文献２に開示されている。また、CELPに関連する技術は非特許文献５（１９８５年３月、アイ・イー・イー・イー・インターナショナル・カンファレンス・オン・アクースティック・スピーチ・アンド・シグナル・プロセシング、２５．１．１、 (IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING, 25.1.1, MAR, 1985, pp.937−940) 937〜940ページ）に開示されている。

また、符号化部100は、符号化処理を行わずに入力信号をそのまま多重化部102へ出力し、復号部150は、復号処理を行わずに主信号をそのまま信号制御部151に入力してもよい。この構成により、符号化・復号処理に伴う信号の歪をなくすことができる。さらに、無歪の圧縮・伸張処理を符号化部100および復号部150で行うように構成してもよい。この構成により、信号制御部151は、入力信号に歪を生じさせることなく復号信号を受信することができる。

図４を参照し、信号分析部101の構成例を詳細に説明する。信号分析部101は、入力信号を受信し、分析情報を出力する。信号分析部101は、変換部120と分析情報計算部121とから構成される。変換部120は、受信した入力信号を周波数成分に分解し、第二の変換信号を生成する。変換部120は、第二の変換信号を分析情報計算部121に出力する。分析情報計算部121は、第二の変換信号を音源に対応した構成要素に分解し、複数の構成要素間の関係を表す分析情報を生成する。そして、分析情報計算部121は、分析情報を出力する。また、分析情報計算部121は、第二の変換信号を複数の構成要素から構成される構成要素群に分解し、分析情報を計算してもよい。信号分析部101は、分析情報に冗長性があるときには、分析情報を符号化してもよい。これにより、分析情報の冗長性を最小化することが出来る。変換部120における変換の方式に関しては、変換部110における変換の方式を用いてもよい。

図５を参照して、信号制御部151の構成例を詳細に説明する。信号制御部151は、復号信号と分析情報とを受信し、出力信号を出力する。信号制御部151は、変換部171、信号処理部172及び逆変換部173から構成される。変換部171は、受信した復号信号を周波数成分に分解し、第二の変換信号を生成する。信号制御部151は、第二の変換信号を信号処理部172に出力する。信号処理部172は、第二の変換信号を、分析情報を用いて音源に対応した構成要素に分解し、複数の構成要素間の関係を変更し、修正復号信号を生成する。そして、信号処理部172は、修正復号信号を逆変換部173に出力する。また、信号処理部172は、複数の構成要素から構成される構成要素群に分解し、複数の構成要素間の関係を変更してもよい。分析情報計算部121において分析情報が符号化されている場合には、信号処理部172は復号処理を行ってから上記の処理を行う。逆変換部173は、修正復号信号を逆変換し、出力信号を生成する。そして、逆変換部173は出力信号を出力する。逆変換部173における逆変換の方式に関しては、逆変換部161における逆変換の方式を用いることが出来る。

次に、多地点接続装置2105の第一の構成例、第二の構成例について説明する。

初めに、図６、図７を用いて、第一の構成例を説明する。

図６に、多地点接続装置2105の第一の構成例を示す。図６では、3地点を接続する例を示してあるが、任意の数の地点を接続する構成にできる。多地点接続装置2105は、分離部2110、2120、2130と、復号部2111、2121、2131と、混合部2112、2122、2132と、符号化部2113、2123、2133と、分析情報混合部2114、2124、2134と、多重化部2115、2125、2135と、から構成される。

図６を参照すると、第１から第３の地点に設置された端末から出力された伝送信号が、入力端子を介して分離部2110、2120、2130に入力される。分離部2110、2120、2130は、伝送信号をそれぞれ符号化信号と分析情報に分離し、符号化信号を復号部2111、2121、2131に出力し、分析情報を分析情報混合部2114、2124、2134に出力する。復号部2111、2121、2131は、符号化信号を復号して復号信号を生成し、混合部2112、2122、2132に出力する。

分析情報混合部2114は第２と第３の地点からの分析情報を混合して混合分析情報を生成し、混合分析情報を多重化部2115に出力する。分析情報混合部2124は第１と第３の地点からの分析情報を混合して混合分析情報を生成し、混合分析情報を多重化部2125に出力する。分析情報混合部2134は第１と第２の地点からの分析情報を混合して混合分析情報を生成し、混合分析情報を多重化部2135に出力する。

混合部2112は第２と第３の地点からの復号信号を混合して混合信号を生成し、混合信号を符号化部2113に出力する。混合部2122は第１と第３の地点からの復号信号を混合して混合信号を生成し、混合信号を符号化部2123に出力する。混合部2132は第１と第２の地点からの復号信号を混合して混合信号を生成し、混合信号を符号化部2133に出力する。符号化部2113、2123、2133は、混合信号を符号化し、混合符号化信号を、各々多重化部2115、2125、2135に出力する。

多重化部2115、2125、2135は、各々、符号化部2113、2123、2133から出力された混合符号化信号と分析情報混合部2114、2124、2134から出力された混合分析情報を多重化し、伝送信号として各地点の伝送路に出力する。

なお、上記で説明した混合分析情報、混合符号化信号は、図１の端末2100、2101、2102で説明した、分析情報、符号化信号と同じものである。多重化部2115、2125、2135から伝送信号として出力され、端末2100、2101、2102の分離部152で分離された際は、混合分析情報、混合信号符号化信号は、各々、分析情報、符号化信号として扱われている。ここでは、多地点の分析情報や信号が混合されていることを明確にするために、混合分析情報、混合符号化信号として説明した。以下の記載についても同様である。

また、復号部2111、2121、2131の詳細な動作は復号部150と、符号化部2113、2123、2133の詳細な動作は符号化部100と同様であるので、説明を省略する。

図７は、図６の分析情報混合部2114、2124、2134の構成例である。なお、これらの端末は同一の構成とすることができるので、以降、分析情報混合部2114を例として説明する。

分析情報混合部2114は、分析情報復号部2150、2160と分析パラメータ混合部2151と分析情報符号化部2152から構成される。分析情報復号部2150は、分離部2120から出力された分析情報を入力とし、分析情報復号部2160は、分離部2130から出力された分析情報を入力とする。分析情報復号部2150、2160は、各々入力された分析情報を復号して分析パラメータに変換し、分析パラメータを分析パラメータ混合部2151に出力する。分析パラメータ混合部2151は、分析情報復号部2150、2160から出力された各々の分析パラメータを周波数成分毎に混合し、混合された分析パラメータを分析情報符号化部2152に出力する。混合方法としては、入力された分析パラメータを全て混合しても良いし、分析パラメータを重要度に応じて選択し、選択された分析パラメータのみを混合しても良い。別の混合方法としては入力された複数の分析パラメータを多重化して一つの分析パラメータ群にしても良い。分析情報符号化部2152は、混合された分析パラメータを符号化し、混合分析情報として出力する。

次に、図８、図９を用いて、第二の構成例を説明する。

図８に、多地点接続装置2105の第二の構成例を示す。図８では、3地点を接続する例を示してあるが、任意の数の地点を接続する構成にできる。図６に示す第一の構成例と比較して、混合部2116、2126、2136と分析情報混合部2117、2127、2137の構成が異なる。具体的には、混合部2116、2126、2136が、混合信号を生成した際に生成される混合情報を、分析情報混合部2117、2127、2137に出力している点で異なる。これに対応して、分析情報混合部2117、2127、2137は、混合情報を利用して複数の分析情報を混合し、混合分析情報を多重化部2115、2125、2135に出力する。

ここで、混合情報は、各端末の復号信号を重み付け加算して混合信号を作成した場合には、その重み係数としてもよい。例えば、通常の会話では全ての端末の話者が同時に発言することは少なく、一部の端末の話者のみが発言することが多い。このような場合、混合部2116、2126、2136では、発話中の端末からの復号信号に対する重み係数を他の端末からの復号信号に対する重み係数よりも大きくすればよい。より効果的には、発話中の端末からの復号信号に対する重み係数を1とし、その他を0とすると、混合部における重み付け加算処理の処理量を削減することができる。また、後述する分析情報混合部における分析パラメータの混合処理の選択に利用することもできる。

図９は、図８の分析情報混合部2117、2127、2137の構成例である。なお、これらの端末は同一の構成とすることができるので、以降、分析情報混合部2117を例として説明する。

図９を参照すると、分析情報混合部2117は、分析情報復号部2150、2160と分析パラメータ混合部2153と分析情報符号化部2152から構成される。図７の分析情報混合部2114と比較して、分析パラメータ混合部2151が分析パラメータ混合部2153に置換されている点、混合情報が分析パラメータ混合部2153に入力される点が異なる。以下、分析パラメータ混合部2153について説明する。

分析パラメータ混合部2153は、分析情報復号部2150、2160から出力された分析パラメータを周波数成分毎に、入力された混合情報を利用して混合し、分析情報符号化部2152に出力する。混合方法としては、入力された分析パラメータを全て混合しても良いし、分析パラメータを重要度に応じて選択し、選択された分析パラメータのみを混合しても良い。別の混合方法としては入力された複数の分析パラメータを多重化して一つの分析パラメータ群にしても良い。

以上説明したように、本発明の第一の実施の形態によれば、各地点の分析情報が混合されている分析情報に基づいて、受信部において、各地点の入力信号の各音源に対応した構成要素ごとに制御することができる。

さらに、送信部で分析情報の計算を行うので、受信部は分析情報の計算に係る演算量を削減することができる。また、多地点接続装置において複数の入力信号を混合し、複数の入力信号の分析情報を混合するので伝送量を減らすことが出来る。さらに、多地点接続装置において混合された入力信号に対応する混合分析情報を生成するので、受信部において混合分析情報を生成する必要は無く、受信部での分析情報の計算に係る演算量をさらに削減することが出来る。

本発明の第二の実施の形態について説明する。本実施の形態は、音源として、所望の音声（以下、目的音）と雑音（以下、背景音）の混在した入力信号を対象とし、分析情報に基づいて、目的音と背景音を制御することを特徴とする。

本実施の形態の構成は、図１で表される。図１を参照すると、端末2100、2101、2102は、同一の構成とすることができるので、端末2100のみ構成例が示してある。以降、端末に関しては端末2100を例として説明する。本実施の形態は、第一の実施の形態と比較して、端末2100における信号分析部101と信号制御部151の構成と、多地点接続装置2105の構成が異なる。以下、各実施例について、端末2100における信号分析部101と信号制御部151と、多地点接続装置2105の詳細を説明する。

本実施の形態における第一の実施例は、分析情報が抑圧係数（符号化された抑圧係数として説明する。以下、全ての実施の形態における分析情報についても同様に符号化されたものとする。）の場合である。信号分析部101が、分析情報として抑圧係数を算出し、分析情報を出力する。これに対応して、多地点接続装置2105は、各端末から出力された分析情報を混合して出力し、信号制御部151は、多地点接続装置2105から出力された分析情報を用いて復号信号を制御する。

はじめに、端末2100における信号分析部101と信号制御部151について説明する。

図４を参照すると、信号分析部101は、変換部120と分析情報計算部121を備える。第一の実施の形態と比較して、分析計情報計算部121の構成が異なるため、以下、分析計情報計算部121を説明する。

図１０を参照して、分析情報計算部121の構成例を詳細に説明する。分析情報計算部121は、第二の変換信号を受信し、分析情報として抑圧係数を出力する。分析情報計算部121は、背景音推定部200と背景音情報生成部202とから構成される。背景音推定部200は、第二の変換信号を受信し、背景音の推定を行い、背景音の情報を生成する。背景音推定部200は、背景音の情報を背景音情報生成部202に出力する。背景音の情報としては、背景音の振幅絶対値やエネルギ、背景音と入力信号との振幅比やエネルギ比及びこれらの平均値などがある。背景音情報生成部202は、第二の変換信号と背景音の情報とを受信する。背景音情報生成部202は、第二の変換信号と背景音の情報とに基づいて、抑圧係数を計算する。そして、背景音情報生成部202は、抑圧係数又は符号化された抑圧係数を分析情報として出力する。

図１１を参照して、背景音情報生成部202の構成例を詳細に説明する。背景音情報生成部202は、第二の変換信号と背景音の情報とを受信し、分析情報として抑圧係数を出力する。背景音情報生成部202は、抑圧係数計算部201と抑圧係数符号化部2021から構成される。抑圧係数計算部201は、第二の変換信号と背景音の情報とを用いて、背景音を抑圧するための適切な抑圧係数を計算する。そして、抑圧係数計算部201は、抑圧係数を抑圧係数符号化部2021に出力する。抑圧係数の計算方法に関連する技術としては、非特許文献６（１９８４年１２月、アイ・イー・イー・イー・トランザクションズ・オン・アクースティクス・スピーチ・アンド・シグナル・プロセシング、第３２巻、第６号、 (IEEE TRANSACTIONS ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING, VOL.32, NO. 6, PP. 1109−1121, Dec. 1984) 1109〜1121ページ）に最小平均二乗誤差短時間スペクトル振幅に基づく方法 (MMSE STSA)、非特許文献７（１９８５年４月、アイ・イー・イー・イー・トランザクションズ・オン・アクースティクス・スピーチ・アンド・シグナル・プロセシング、第３３巻、第２号、 (IEEE TRANSACTIONS ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING, VOL.33, NO. 2, PP. 443−445, Apr. 1985) 443〜445ページ）に最小平均二乗誤差対数スペクトル振幅に基づく方法(MMSE LSA)、非特許文献８（２００５年７月、ユーラシップ・ジャーナル・オン・アプライド・シグナル・プロセシング、第２００５巻、第７号、 (EURASIP JOURNAL ON ADVANCES IN SIGNAL PROCESSING, VOLUME 2005, Issue 7, JUL, 2005, pp.1110−1126.)1110〜1126ページ）に最小平均二乗誤差短時間スペクトル振幅に基づく方法(MMSE STSA)などが開示されている。

抑圧係数符号化部2021は、抑圧係数を受け、符号化する。抑圧係数符号化部2021は、符号化された抑圧係数を分析情報として出力する。抑圧係数符号化部2021は、線形量子化、非線形量子化などの量子化を行い、ハフマン符号化などにより符号化された抑圧係数を出力する。これにより、抑圧係数の冗長性を除去することが出来る。また、抑圧係数符号化部2021は、情報量を削減する必要がない場合には、これらの符号化処理を行わずに、抑圧係数を分析情報として出力してもよい。

次に、図１２を参照して、信号処理部172の構成例を詳細に説明する。信号処理部172は、第二の変換信号と分析情報とを受信し、修正復号信号を出力する。信号処理部172は、抑圧係数再構成部250と乗算器251とから構成される。第二の変換信号が乗算器251に入力され、分析情報が抑圧係数再構成部250に入力される。抑圧係数再構成部250は、入力された分析情報を用いて抑圧係数を再構成し、抑圧係数を乗算器251に出力する。乗算器251は、第二の変換信号と抑圧係数とを乗算し、修正復号信号を生成する。乗算器251は、修正復号信号を逆変換部173に出力する。

図１３を参照して、抑圧係数再構成部250の構成例を詳細に説明する。抑圧係数再構成部250は、分析情報として符号化された抑圧係数を受信し、抑圧係数を出力する。抑圧係数再構成部250は、抑圧係数復号部260から構成される。抑圧係数復号部260は、受信した抑圧係数を復号する。抑圧係数が符号化されていないときには、抑圧係数復号部260は、復号動作を行わず、抑圧係数を出力する。

次に、多地点接続装置2105について、第一の構成例と第二の構成例を説明する。

第一の構成例を図６に示す。第一の実施の形態とは、分析情報混合部2114、2124、2134の構成が異なる。以下、図７、図１４を用いて、本実施例における分析情報混合部2114、2124、2134について説明する。なお、これらは同一の構成とすることができるので、分析情報混合部2114を例として説明する。

図７を参照すると、分析情報混合部2114は、分析情報復号部2150、2160と分析パラメータ混合部2151と分析情報符号化部2152から構成される。分析情報復号部2150は、分離部2120から出力された分析情報を入力とし、分析情報復号部2160は、分離部2130から出力された分析情報を入力とする。分析情報復号部2150、2160は、各々、分析情報を復号し抑圧係数を算出し、抑圧係数を分析パラメータ混合部2151に出力する。分析パラメータ混合部2151は、分析情報復号部2150、2160から出力された抑圧係数を周波数成分毎に混合し、分析情報符号化部2152に出力する。分析情報符号化部2152は、混合された抑圧係数を符号化して分析情報を生成し、分析情報を出力する。

図１４を参照すると、分析パラメータ混合部2151は、選択部2202と抑圧係数混合部2203とから構成される。

選択部2202は、分析情報復号部2150、2160から出力された抑圧係数の中から所定の抑圧係数を選択し、抑圧係数混合部2203に出力する。選択方法としては、たとえば、復号信号のエネルギが閾値以上である端末から出力される抑圧係数のみを選択する方法が挙げられる。ここで、あらかじめ信号分析部101において入力信号のエネルギを表す情報を分析情報に多重化しておき、復号信号のエネルギの代わりに用いてもよい。他の方法としては、選択を行わずに全ての抑圧係数を抑圧係数混合部2203に出力してもよい。

抑圧係数混合部2203は、選択部2202から出力された抑圧係数を混合する。混合方法としては、たとえば、エネルギの比に応じて混合することができる。選択部2202から出力された抑圧係数がL’個の場合、混合後の抑圧係数gは、次の式で算出することができる。

［数１］

ここで、E_iは、抑圧係数g_iに対応する復号信号のエネルギを表す。ここで、あらかじめ信号分析部101において入力信号のエネルギを表す情報を分析情報に多重化しておき、復号信号のエネルギの代わりに用いてもよい。他の方法として、すべての抑圧係数を多重化して出力してもよい。

分析情報符号化部2152は、図１１における抑圧係数符号化部2021と同じ構成であるため、説明を省略する。

次に、第二の構成例を説明する。図８に第二の構成例を示す。図６に示す第一の構成例と比較して、混合部2116、2126、2136と分析情報混合部2117、2127、2137の構成が異なる。具体的には、混合部2116、2126、2136が、混合信号を生成した際に生成される混合情報を、分析情報混合部2117、2127、2137に出力している点で異なる。よって、以下、図９、図１５を用いて分析情報混合部2117、2127、2137について説明する。

図９に分析情報混合部2117、2127、2137の構成例を示す。なお、これらは同一の構成とすることができるので、以下、分析情報混合部2117を例として説明する。

図９を参照すると、分析情報混合部2117は分析情報復号部2150、2160と分析パラメータ混合部2153と分析情報符号化部2152から構成される。図７の分析情報混合部2114と比較して、分析パラメータ混合部2151が分析パラメータ混合部2153に置換されている点、混合情報が分析パラメータ混合部2153に入力される点、が異なる。よって、以下、分析パラメータ混合部2153について説明する。

図１５に分析パラメータ混合部2153の構成例を示す。分析パラメータ混合部2153は、選択部2232と抑圧係数混合部2233とから構成される。

選択部2232は、混合部2116から出力される混合情報を利用して、分析情報復号部2150、2160から出力された抑圧係数の中から所定の抑圧係数を選択し、抑圧係数混合部2233に出力する。選択方法としては、例えば、混合情報が各端末の復号信号に対する重み係数である場合、重み係数が閾値以上となる端末の抑圧係数を選択する方法が挙げられる。他の方法として、選択を行わずにすべての抑圧係数を抑圧係数混合部2203に出力してもよい。

抑圧係数混合部2233は、混合部2116から出力される混合情報を利用して、選択部2232から出力された抑圧係数を混合する。混合方法としては、たとえば、エネルギの比に応じて混合することができる。選択部に入力された抑圧係数がL’個の場合、混合後の抑圧係数をgとすると、混合後の抑圧係数gは次の式で算出することができる。

［数２］

ここで、E_iは、抑圧係数g_iに対応する復号信号のエネルギを表す。あらかじめ信号分析部101において入力信号のエネルギを表す情報を分析情報に多重化しておき、復号信号のエネルギの代わりに用いてもよい。m_iは抑圧係数g_iに対応する混合部から出力される混合情報を表す。他の混合方法として、すべての抑圧係数を多重化して出力してもよい。

本実施の形態における第二の実施例は、分析情報が信号対背景音比の場合である。第二の実施例は、図１を参照すると、信号分析部101が、目的音と背景音の比である信号対背景音比を分析情報として出力する。これに対応して、多地点接続装置2105は、各端末から出力された信号対背景音比を混合し、信号制御部151は、多地点接続装置2105から出力された信号対背景音比を用いて復号信号を制御する。第一の実施例とは、端末2100における信号分析部101と信号制御部151と、多地点接続装置2105の構成が異なる。

はじめに、端末2100について説明する。

まず、信号分析部101について説明する。信号分析部101は、第一の実施例と同じく、図４で表される。本実施例と第一の実施例とを比較すると、図１０で示される分析情報計算部121に含まれる背景音情報生成部202の構成が異なる。

図１６を参照して、本実施例の背景音生成部202について詳細に説明する。背景音情報生成部202は、第二の変換信号と背景音の情報とを受信し、分析情報として符号化された信号対背景音比を出力する。背景音情報生成部202は、抑圧係数計算部201、信号対背景音比計算部203、及び信号対背景音比符号化部204から構成される。抑圧係数計算部201は、第二の変換信号と背景音の情報とを用いて、背景音を抑圧するための適切な抑圧係数を計算する。そして、抑圧係数計算部201は、信号対背景音比計算部203に抑圧係数を出力する。抑圧係数の計算方法は、図11に示される第一の実施例の抑圧係数計算部201の計算方法を用いることが出来る。信号対背景音比計算部203は、入力された抑圧係数Ｇを用いて、信号対背景音比Ｒを計算する。入力信号をＸ、目的音をＳ、背景音をＮとすると、次の関係が成立する。

［数３］

［数４］

［数５］

この定義によるＲは、背景音が雑音であるときに、事前信号対雑音比（事前ＳＮＲ）として知られている。

式［数3］と［数4］を［数5］に代入すると、

［数６］

を得る。信号対背景音比計算部203は、計算した信号対背景音比Ｒを信号対背景音比符号化部204に出力する。信号対背景音比符号化部204は、入力された信号対背景音比Ｒを符号化する。信号対背景音比符号化部204は、符号化された信号対背景音比Ｒを分析情報として出力する。符号化処理の詳細については、抑圧係数符号化部2021における符号化処理と同様の符号化処理を用いることが出来る。これにより、信号対背景音比Ｒの冗長性を除去することが出来る。また、信号対背景音比符号化部204は、情報量を削減する必要がない場合には、信号対背景音比Ｒの符号化処理を行わずに、信号対背景音比を分析情報として出力してもよい。

次に、本実施例の信号制御部151について詳細に説明する。信号制御部151は、第一の実施例と同じく、図５で表される。本実施例と第一の実施例とは、図１２に示される信号処理部172に含まれる抑圧係数再構成部250の構成が異なる。

図１７を参照して、抑圧係数再構成部250の構成例を詳細に説明する。抑圧係数再構成部250は、符号化された信号対背景音比Ｒを分析信号として受信し、抑圧係数Ｇを出力する。抑圧係数再構成部250は、信号対背景音比復号部261と抑圧係数変換部262から構成される。信号対背景音比復号部261は、受信した符号化された信号対背景音比Ｒを復号し、信号対背景音比Ｒを抑圧係数変換部262に出力する。信号対背景音比Ｒが符号化されていないときには、信号対背景音比復号部261は、復号動作を行わず、信号対背景音比を出力する。抑圧係数変換部262は、信号対背景音比Ｒを抑圧係数Ｇに変換する。そして、抑圧係数変換部262は、抑圧係数Ｇを出力とする。ＲからＧへの変換は、［数６］に基づいて行う。［数６］をＧについて解くと、

［数７］

を得る。乗算器251でＧを復号信号に乗算することによって、背景音が抑圧される。

また、図１８を参照して、背景音情報生成部202の他の構成例を詳細に説明する。図１６に示される背景音情報生成部202比較すると、本構成例の背景音情報生成部202は抑圧係数計算部201を備えていない点が異なる。図１８に示される背景音情報生成部202の構成では、信号対背景音比Ｒの定義として、［数５］の代わりに［数８］が用られる。この定義によるＲは、背景音が雑音であるときに、事後信号対雑音比（事後ＳＮＲ）として知られている。

［数８］

すなわち、本構成例は、背景音が雑音である場合には、事前ＳＮＲに代えて事後ＳＮＲを分析情報として用いる構成である。［数８］のＲは、抑圧係数Ｇを必要とせず、入力信号と背景音とから計算される。これにより、信号対背景音比計算部207は、第二の変換信号と背景音の情報とに基づいて、信号対背景音比を計算することができる。そして、信号対背景音比計算部207は、信号対背景音比を信号対背景音比符号化部204に出力する。信号対背景音比符号化部204の動作は、図１６に示される信号対背景音比符号化部204の動作と同様であるので説明は省略する。

一方、［数3］と［数4］を［数8］に代入し、ＳとＮが無相関であると仮定すると、

［数９］

を得る。信号対背景音比計算部203において、［数9］を用いて信号対背景音比Ｒを計算しても良い。

本構成例において、受信側の図１２に示される抑圧係数再構成部250は、上述の構成例と同じく、図１７で表される。信号対背景音比復号部261は、受信した符号化された信号対背景音比Ｒを復号し、信号対背景音比Ｒを抑圧係数変換部262に出力する。抑圧係数変換部262は、信号対背景音比Ｒを抑圧係数Ｇに変換して、抑圧係数Ｇを出力する。ＲからＧへの変換は、［数１０］に基づいて行う。すなわち、［数9］をＧについて解くと、

［数１０］

第一の構成例を図６に示す。第一の実施例とは、分析情報混合部2114、2124、2134の構成が異なる。図７に分析情報混合部2114、2124、2134の構成例を示す。なお、これらは同一の構成とすることができるので、以下、分析情報混合部2114を例として、図７、図１９を用いて説明する。

図７を参照すると、分析情報混合部2114は、分析情報復号部2150、2160と分析パラメータ混合部2151と分析情報符号化部2152から構成される。分析情報復号部2150は、分離部2120から出力された分析情報を入力とし、分析情報復号部2160は、分離部2130から出力された分析情報を入力とする。分析情報復号部2150、2160は、各々、分析情報を復号し信号対背景音比を算出し、信号対背景音比を分析パラメータ混合部2151に出力する。分析パラメータ混合部2151は、分析情報復号部2150、2160から出力された信号対背景音比を周波数成分毎に混合し、分析情報符号化部2152に出力する。分析情報符号化部2152は、図１８における信号対背景音比符号化部204と同じであり、既に説明したとおりである。

図１９に分析パラメータ混合部2151の構成例を示す。分析パラメータ混合部2151は、抑圧係数変換部2204、2214と選択部2202と抑圧係数混合部2203と抑圧係数逆変換部2205とから構成される。抑圧係数変換部2204は、分析情報復号部2150から出力された信号対背景音比を入力とし、抑圧係数変換部2214は、分析情報復号部2160から出力された信号対背景音比を入力とする。抑圧係数変換部2204、2214は、信号対背景音比から［数７］または［数１０］を用いて抑圧係数を算出する。算出した抑圧係数は、選択部2202に出力される。選択部2202と抑圧係数混合部2203は、第一の実施例における、図１４に示した選択部2202と抑圧係数混合部2203と同様に作用するため、詳細な説明は省略する。選択部2202では、入力された抑圧係数の中から所定の抑圧係数を選択し、選択した抑圧係数を抑圧係数混合部2203に出力する。抑圧係数混合部2203は、選択部2202から出力された抑圧係数を混合して、抑圧係数逆変換部2205に出力する。抑圧係数逆変換部2205は、［数6］または［数9］を用いて抑圧係数を信号対背景音比に変換し、混合された信号対背景音比を出力する。

次に、第二の構成例を説明する。図８に第二の構成例を示す。図６に示す第一の構成例と比較して、混合部2116、2126、2136と分析情報混合部2117、2127、2137の構成が異なる。具体的には、混合部2116、2126、2136が、混合信号を生成した際に生成される混合情報を、分析情報混合部2117、2127、2137に出力している点で異なる。よって、以下、図９、図２０を用いて分析情報混合部2117、2127、2137について説明する。

図２０に分析パラメータ混合部2153の構成例を示す。分析パラメータ混合部2153は、抑圧係数変換部2204、2214と選択部2232と抑圧係数混合部2233と抑圧係数逆変換部2205とから構成される。分析パラメータ混合部2153は、図１９に示す第一の構成例と比較して、選択部2002が選択部2232に、抑圧係数混合部2203が抑圧係数混合部2233に置換されている点が異なる。

ここで、選択部2232、抑圧係数混合部2233は、本実施の形態の第一の実施例における、多地点接続装置2105の第二の構成例と同じである。図１５を用いて説明したため、説明を省略する。

第三の実施例は、分析情報が背景音の場合である。図１を参照すると、信号分析部101が背景音そのものを、分析情報として信号分析部101が計算する。これに対応して、多地点接続装置2105は、各端末から出力された背景音を混合し、信号制御部151は、多地点接続装置2105から出力された背景音を用いて復号信号を制御する。第一の実施例とは、端末2100における信号分析部101と信号制御部151と、多地点接続装置2105の構成が異なる。

初めに、端末2100について説明する。

まず、信号分析部101について説明する。信号分析部101は、第一の実施例と同じく、図４で表される。本実施例の分析情報計算部121の構成は、図１０に示される第一の実施例の分析情報計算部121の構成と異なる。

図２１を参照して、本実施例の分析情報計算部121の構成例について詳細に説明する。図１０に示される第一の実施例の分析情報計算部121の構成例と比較すると、背景音情報生成部202が背景音符号化部205で構成されている。本構成例の分析情報計算部121は、第二の変換信号を受信し、分析情報として符号化された背景音を出力する。本構成例の分析情報計算部121は、背景音推定部200と背景音符号化部205とから構成される。本構成例の背景音推定部200は、背景音そのものを、背景音情報生成部202に出力する。背景音符号化部205は、入力された背景音を符号化して出力する。これにより、背景音の冗長性を除去することが出来る。また、背景音符号化部205は、情報量を削減する必要がない場合には、背景音の符号化処理を行わずに、背景音を分析情報として出力してもよい。

符号化処理については、抑圧係数符号化部2021と同様の符号化処理を用いることが出来る。

次に、信号制御部151について説明する。信号制御部151は、第一の実施例と同じく、図５で表される。信号処理部172の構成は、図１２に示される第一の実施例の信号処理部172の構成と異なる。

図22を参照して、本実施例の信号処理部172の構成例を詳細に説明する。図１２に示される第一の実施例の信号処理部172の構成例と比較すると、抑圧係数再構成部250が抑圧係数計算部252で構成されている。信号処理部172は、第二の変換信号と分析情報として符号化された背景音を受信し、修正復号信号を出力する。信号処理部172は、抑圧係数計算部252と乗算器251とから構成される。第二の変換信号が抑圧係数計算部252及び乗算器251に入力され、符号化された背景音が分析情報として抑圧係数計算部252に入力される。抑圧係数計算部252は、背景音と第二の変換信号とに基づいて抑圧係数を計算する。そして、抑圧係数計算部252は、抑圧係数を乗算器251に出力する。乗算器251は、第二の変換信号と抑圧係数とを乗算し、修正復号信号を逆変換部173に出力する。

さらに、図２３を参照して、抑圧係数計算部252の構成を詳細に説明する。抑圧係数計算部252は、背景音復号部263と抑圧係数生成部264から構成される。背景音復号部263は、分析情報として符号化された背景音を受信する。そして、背景音復号部263は、符号化された背景音を復号し、背景音を抑圧係数生成部264に出力する。背景音が符号化されていないときには、背景音復号部263は、復号動作を行わず、背景音を出力する。抑抑圧係数生成部264は、背景音と第二の変換信号とを受信する。そして、抑圧係数生成部264は、背景音と第二の変換信号とに基づいて背景音を抑圧するための適切な抑圧係数を計算する。この抑圧係数の計算は、図１１に示される抑圧係数計算部201と同様の計算方法を用いてもよい。抑圧係数生成部264は、抑圧係数を出力する。抑圧係数の計算方法に関連する技術としては、前述の非特許文献６、非特許文献７、又は非特許文献８に開示されている技術がある。

さらに、図２４を参照して信号処理部172の他の構成例を詳細に説明する。信号処理部172は、第二の変換信号と符号化された背景音とを受信し、背景音が除去された信号を修正復号信号として出力する。本構成例の信号処理部172は、背景音復号部263と減算器253とで構成されている。第二の変換信号が減算器253に入力され、分析情報として符号化された背景音が背景音復号部263に入力される。背景音復号部263は、符号化された背景音を復号し、背景音を減算器253に出力する。分析情報が符号化されていない背景音である場合には、背景音復号部263は不要である。減算器253は、第二の変換信号から背景音を減算する。そして、減算器253は、背景音が除去された信号を修正復号信号として出力する。背景音が雑音である場合、この減算はスペクトル減算として知られている。スペクトル減算に関連する技術が、非特許文献９（１９７９年４月、アイ・イー・イー・イー・トランザクションズ・オン・アクースティクス・スピーチ・アンド・シグナル・プロセシング、第２７巻、第２号、 (IEEE TRANSACTIONS ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING, VOL.27, NO. 2, PP. 113−120, April 1979) 113〜120ページ）に開示されている。

また、減算器253には、減算に加えて、付加機能を含めることもできる。例えば、付加機能として、減算結果が負になるときにこれをゼロあるいは微小な正の値に補正する機能、減算結果の最小値を正の値に設定するリミッタ機能、又は背景音情報に対して係数を乗算したり定数を加算したりすることで修正してから減算する機能が挙げられる。

第一の構成例を図６に示す。第一の実施例とは、分析情報混合部2114、2124、2134の構成が異なる。図７に分析情報混合部2114、2124、2134の構成例を示す。なお、これらは同一の構成とすることができるので、以下、分析情報混合部2114を例として、図７、図２５を用いて説明する。

図７を参照すると、分析情報混合部2114は、分析情報復号部2150、2160と分析パラメータ混合部2151と分析情報符号化部2152から構成される。分析情報復号部2150は、分離部2120から出力された分析情報を入力とし、分析情報復号部2160は、分離部2130から出力された分析情報を入力とする。分析情報復号部2150、2160は、各々、入力された分析情報を復号し背景音を算出し、背景音は分析パラメータ混合部2151に出力する。分析パラメータ混合部2151は、分析情報復号部2150、2160から出力された背景音を周波数成分毎に混合し、分析情報符号化部2152に出力する。分析情報符号化部2152は、図２１における背景音符号化部205と同じであり、既に説明したとおりである。

図２５に分析パラメータ混合部2151の構成例を示す。分析パラメータ混合部2151は、選択部2200と背景音混合部2201とから構成される。

選択部2200は、分析情報復号部2150、2160から出力された背景音の中から所定の背景音を選択し、背景音混合部2201に出力する。選択方法としては、たとえば、背景音が閾値以上のものだけを選択する。また、聴感上の音質を劣化させる背景音のみ選択することもできる。選択を行わずに全ての背景音を背景音混合部2201に出力してもよい。

背景音混合部2201は、選択部2200から出力された背景音を混合して、混合された背景音を出力する。混合方法としては、たとえば、入力された全ての背景音の和を用いることできる。また、背景音の相関を考慮して相関を補償する補償係数を算出し、補償係数を用いて背景音を混合してもよい。他の方法として、すべての背景音を多重化して出力してもよい。

次に、第二の構成例を図６に示す。第一の構成例とは、分析情報混合部2117、2127、2137の構成が異なる。図９に分析情報混合部2117、2127、2137の構成例を示す。なお、これらは同一の構成とすることができるので、以降、分析情報混合部2117を例として説明する。

次に、第二の構成例を説明する。図８に第二の構成例を示す。図６に示す第一の構成例と比較して、混合部2116、2126、2136と分析情報混合部2117、2127、2137の構成が異なる。具体的には、混合部2116、2126、2136が、混合信号を生成した際に生成される混合情報を、分析情報混合部2117、2127、2137に出力している点で異なる。よって、以下、分析情報混合部2117、2127、2137について説明する。

図２６に分析パラメータ混合部2153の構成例を示す。分析パラメータ混合部2153は、選択部2230と背景音混合部2231とから構成される。図２５における第1の構成例と比較すると、選択部2000が選択部2230に、背景音混合部2201が背景音混合部2231に置換されている点で異なる。

選択部2230は、混合部2116から出力される混合情報を利用して、分析情報復号部2150、2160から出力された背景音の中から所定の背景音を選択し、背景音混合部2231に出力する。選択方法としては、例えば、混合情報が各端末の復号信号に対する重み係数である場合、重み係数を用いて背景音を重み付けしたものが閾値以上となる端末の背景音を選択する。別の方法として、重み係数が閾値以上となる端末の背景音を選択することもできる。さらに、聴感上の音質を劣化させる背景音のみを選択してもよい。なお、選択を行わずに、すべての背景音を背景音混合部2231に出力してもよい。

背景音混合部2231は、混合部2116から出力される混合情報を利用して、選択部2230より供給された背景音を混合する。混合する方法としては、たとえば、混合情報が各端末の復号信号に対する重み係数である場合、重み係数を用いて背景音を重み付け加算したものとして表すことができる。また、重み付け背景音の相関を考慮して相関を補償する補償係数を算出し、補償係数を用いて重み付け背景音を修正してから混合してもよい。他の方法として、混合部2116の出力信号である混合信号を構成する各端末の背景音すべてを多重化して出力してもよい。

以上で、第三の実施例の説明を終える。

さらに、本実施の形態において、送信部10は、入力信号が複数チャンネルで構成される場合、上記の第一乃至第三の実施例の分析情報をチャンネル毎に独立に算出してもよい。また、送信部10は、入力信号の全チャンネルの和を算出し、和信号から全チャンネルで共通の分析情報を算出してもよい。あるいは、送信部10は、入力信号を複数のグループに分割して、各グループの入力信号の和を算出し、その和信号からグループで共通の分析情報を算出してもよい。これに対応して、受信部15は、各チャンネルに対応する分析情報を用いて復号信号を制御する。

また、上記の第一の実施例乃至第三の実施例で説明した分析情報は、複数の周波数帯域で共通の分析情報として算出されてもよい。たとえば、送信部10は、等間隔に周波数帯域を分割し、分割した周波数帯域毎に分析情報を算出してもよい。さらに、送信部10は、人間の聴覚特性にあわせ、低周波数帯域は細かく分割し、高周波数帯域は荒く分割し、分割した単位で分析情報を算出してもよい。これにより、分析情報の情報量を削減することができる。

以上説明したように、本発明の第二の実施の形態によれば、各地点の分析情報が混合されている分析情報に基づいて、受信部において、各地点の目的音と背景音とから構成される入力信号を、各地点の目的音、背景音ごとに独立に制御することができる。たとえば、各地点の背景音の量を同じにしたり、主会場の背景音の量に合わせたりすることができるなど、各地点で自分の好みに合うように調整することができる。

また、多地点接続装置において複数の入力信号を混合し、複数の入力信号の分析情報を混合するので伝送量を減らすことが出来る。さらに、多地点接続装置において混合された入力信号に対応する混合分析情報を生成するので、受信部において混合分析情報を生成する必要は無く、受信部での分析情報の計算に係る演算量をさらに削減することが出来る。

次に、本発明の第三の実施の形態について説明する。本実施の形態は、分析情報と信号制御情報に基づいて、受信側端末で各地点の入力信号の各音源に対応した構成要素ごとに制御することを特徴とする。

図２７は、本発明の第三の実施の形態を示すブロック図である。第一の実施の形態を表す図１と比較すると、端末2100、2101、2102が端末2300、2301、2302に、受信部15が受信部35に、信号制御部151が信号制御部350に置換されている点が異なる。すなわち、受信側端末で各地点の入力信号の各音源に対応した構成要素ごとに制御する際に、分析情報だけではなく信号制御情報も利用する信号制御部350の構成が異なる。よって、以下、本実施の形態の特徴である信号制御部350について説明する。

図２８を参照して、信号制御部350の構成例について詳細に説明する。信号制御部350は、変換部171、信号処理部360及び逆変換部173から構成される。第一の実施の形態と比較すると、信号制御部151に含まれる信号処理部172が、本実施の形態では信号処理部360で置換されている。信号制御部350は、分析情報と信号制御情報とを受信し、出力信号を出力する。信号制御部350は、信号制御情報と分析情報とに基づいて、復号部150から受けた復号信号を、各音源に対応した構成要素ごとに操作する。また、信号制御部350は、各音源に対応した構成要素の代わりに、複数の構成要素からなる構成要素群を単位として操作することも可能である。信号処理部360は、変換部171からの第二の変換信号と信号制御情報とを受信する。信号処理部360は、分析情報と信号制御情報とに基づいて、第二の変換信号の周波数成分の構成要素を制御し、修正復号信号を生成する。信号処理部360は、修正復号信号を逆変換部173に出力する。

さらに、具体的には、信号処理部360は、分析情報に基づいて、周波数毎の分析パラメータを導出する。そして、信号処理部360は、第二の変換信号を、分析パラメータに基づいて、音源に対応した構成要素に分解する。さらに、信号処理部360は、信号制御情報に基づく周波数毎のパラメータに応じて、複数の構成要素間の関係を変更した修正復号信号を作成する。信号処理部360は、修正復号信号を逆変換部173に出力する。また、信号処理部360は、分析パラメータに基づいて、複数の構成要素から構成される構成要素群に分解してもよい。

信号制御情報は、利用者によって外部から入力されることとしてもよい。例えば、外部から入力される信号制御情報としては、受信部に予め登録されていた利用者の嗜好などの個人情報、受信部の動作状態（スピーカをオフにしてあるなどの外部環境情報を含む）、受信部の種類や形式、電源や電池の利用状態や残量、アンテナの種類や状態（折りたたまれているなどの形状、向きなど）がある。また、信号制御情報は、別の形式で自動的に獲得されることとしてもよい。信号制御情報は、受信部内部または近傍に設置されたセンサを経由して、自動的に獲得されることとしてもよい。例えば、自動的に獲得される信号制御情報としては、外部雑音量、明るさ、時間帯、地理的な位置、気温、映像との同期情報、カメラを通じたバーコード情報などがある。

以上説明したように、本発明の第三の実施の形態によれば、各地点の分析情報が混合されている分析情報に基づいて、受信部において、各地点の入力信号の各音源に対応した構成要素ごとに制御することができる。また、信号制御情報に基づいて、特定の音源だけを独立に制御することもできる。

本発明の第四の実施の形態を説明する。本実施の形態は、音源として目的音と背景音の混在した入力信号を対象とし、分析情報と信号制御情報に基づいて、目的音と背景音を制御することを特徴とする。

図２７を参照して、本実施の形態を詳細に説明する。本実施の形態と第二の実施の形態とを比較すると、図１に示される受信部15に含まれる信号制御部151が図２７に示される受信部35に含まれる信号制御部350で構成されている。また、本実施の形態においては、信号制御情報が信号制御部350に入力されている。信号制御情報については、第三の実施の形態において用いたものと同様であり、説明は省略する。さらに、図２８を参照して、信号制御部350の構成を説明する。信号制御部350は、変換部171、信号処理部360及び逆変換部173から構成される。第二の実施の形態と比較すると、図５に示される信号制御部151に含まれる信号処理部172が、本実施の形態では信号処理部360で構成されている。

続いて、第一の実施例について説明する。第一の実施例は、分析情報として抑圧係数を用いるものである。

図２９を参照して、信号処理部360の構成例について詳細に説明する。第二の実施の形態と比較すると、信号処理部360は、図１２に示される信号処理部172に含まれる抑圧係数再構成部250が抑圧係数再構成部450で置換されている。抑圧係数再構成部450は、外部から信号制御情報を受信している。信号制御情報は、第三の実施の形態において用いたものと同様であり、説明は省略する。

信号処理部360は、第二の変換信号、分析情報及び信号制御情報を受信し、修正復号信号を出力する。信号処理部360は、抑圧係数再構成部450と乗算器451とから構成される。第二の変換信号が乗算器451に入力され、分析情報と信号制御情報とが抑圧係数再構成部450に入力される。抑圧係数再構成部450は、入力された分析情報と信号制御情報とを用いて修正抑圧係数を生成する。修正抑圧係数は、信号制御情報を用いて分析情報として受信した抑圧係数を修正したものである。抑圧係数再構成部450は、修正抑圧係数を乗算器451に出力する。乗算器451は、第二の変換信号と修正抑圧係数とを乗算し、修正復号信号を生成する。乗算器451は、修正復号信号を逆変換部173に出力する。

図３０を参照して、第一の実施例の抑圧係数再構成部450の構成を詳細に説明する。抑圧係数再構成部450は、抑圧係数修正部460を含む。第二の実施の形態の図１４に示される抑圧係数再構成部250は、抑圧係数修正部460を含まない。抑圧係数修正部460は、外部から入力された信号制御情報を用いて、抑圧係数を修正する。この信号制御情報は、既に第三の実施の形態において用いたものと同様であり、説明は省略する。

抑圧係数再構成部450は、分析情報として符号化された抑圧係数と信号制御情報とを受信し、修正抑圧係数を出力する。抑圧係数再構成部450は、抑圧係数復号部260と抑圧係数修正部460から構成される。抑圧係数復号部260は、受信した抑圧係数を復号する。抑圧係数が符号化されていないときには、抑圧係数復号部260は、復号動作を行わず、抑圧係数を抑圧係数修正部460に出力する。抑圧係数修正部460は、外部から入力された信号制御情報を用いて、入力された抑圧係数を修正する。抑圧係数修正部460は、修正抑圧係数を出力する。

図３１を参照して、抑圧係数修正部460の第一の構成例を詳細に説明する。抑圧係数修正部460は、抑圧係数と信号制御情報とを受信し、修正抑圧係数を出力する。本構成例の抑圧係数修正部460は、乗算器470から構成される。乗算器470は、抑圧係数と信号制御情報との積を計算し、修正抑圧係数を出力する。本構成例では、信号制御情報は、抑圧係数に対する倍率が入力される。このような構成により、簡易な信号制御情報により抑圧係数を制御することができる。

図３２を参照して、抑圧係数修正部460の第二の構成例を詳細に説明する。抑圧係数修正部460は、抑圧係数と信号制御情報とを受信し、修正抑圧係数を出力する。本構成例の抑圧係数修正部460は、比較部471から構成される。比較部471は、抑圧係数と信号制御情報を比較して、その比較結果に応じた信号を出力する。例えば、比較部471は、最大比較を行う場合は、抑圧係数と信号制御情報との大きい方の値を出力する。また、比較部471は、最小比較を行うこととしてもよい。これらの場合には、信号制御情報は、抑圧係数の最大値または最小値が入力される。このような構成により、出力信号の範囲を予め規定することができ、想定外の信号が出力されて音質を損ねることを回避できる。

図３３を参照して、抑圧係数修正部460の第三の構成例を詳細に説明する。抑圧係数修正部460の第三の構成例は、上述の第一の構成例と第二の構成例とを組み合わせたものである。抑圧係数修正部460は、抑圧係数と信号制御情報とを受信し、修正抑圧係数を出力する。本構成例の抑圧係数修正部460は、乗算器470、比較部471、指定抑圧係数制御部472及びスイッチ473から構成される。指定抑圧係数制御部472は、信号制御情報を乗算器470、比較部471、又はスイッチ473に出力する。ここで、信号制御情報には、乗算器470で使用する抑圧係数の倍率と、比較部471で使用する抑圧係数の最大値または最小値とを少なくとも含む。さらに、信号制御情報には、スイッチ473における選択のための制御情報が含まれても良い。指定抑圧係数制御部472は、信号制御情報として抑圧係数の倍率を受信した場合は、抑圧係数の倍率を乗算器470に出力する。乗算器470は、抑圧係数と抑圧係数の倍率との積を計算し、修正抑圧係数をスイッチ473に出力する。指定抑圧係数制御部472は、信号制御情報として抑圧係数の最大値または最小値を受信した場合は、抑圧係数の最大値または最小値を比較部471に出力する。比較部471は、抑圧係数と抑圧係数の最大値または最小値とを比較して、その比較結果に応じた信号を修正抑圧係数としてスイッチ473に出力する。指定抑圧係数制御部472は、選択のための制御情報を受信した場合は、制御情報をスイッチ47に出力する。スイッチ473は、指定抑圧係数制御部472から制御情報が入力された場合、その信号制御情報に応じて、乗算器470の出力または比較部471の出力のいずれかを選択して出力する。

次に、第二の実施例について説明する。第二の実施例は、目的音と背景音との構成比である信号対背景音比を分析情報として用いるものである。第二の実施例の信号処理部360は、図２９で示される第一の実施例の信号処理部と同様であるが、抑圧係数再構成部450の構成が異なる。

図３４を参照して、第二の実施例の抑圧係数再構成部450の構成例を詳細に説明する。図１７に示す第二の実施の形態の抑圧係数再構成部250と比較すると、本構成例の抑圧係数再構成部450は、信号対背景音比修正部461をさらに含んでいる。

抑圧係数再構成部450は、符号化された信号対背景音比と信号制御情報とを受信し、修正抑圧係数を出力する。抑圧係数再構成部450は、信号対背景音比復号部261、信号対背景音比修正部461及び抑圧係数変換部262から構成される。信号対背景音比復号部261は、受信した符号化された信号対背景音比を復号し、信号対背景音比を信号対背景音比修正部461に出力する。信号対背景音比が符号化されていないときには、信号対背景音比復号部261は、復号動作を行わず、信号対背景音比を出力する。信号対背景音比修正部461は、外部から受けた信号制御情報を用いて、入力された信号対背景音比を修正し、修正信号対背景音比を生成する。信号対背景音比の修正については、第一の実施例における抑圧係数修正部460と同様の修正方法を適用することとしてもよい。すなわち、信号制御情報として信号対背景音比の倍率を入力することにより信号対背景音比を修正してもよい。また、信号制御情報として信号対背景音比の最大値または最小値を入力することにより信号対背景音比を修正しても良い。さらに、信号制御情報として信号対背景音比の倍率により修正された信号対背景音比と信号対背景音比の最大値または最小値により修正された信号対背景音比とを選択する制御情報を入力することにより修正してもよい。信号対背景音比修正部461は、修正信号対背景音比を抑圧係数変換部262に出力する。抑圧係数変換部262は、修正信号対背景音比を抑圧係数に変換し、修正抑圧係数を出力する。信号対背景音比を抑圧係数に変換する方法は、図１１に示される抑圧係数変換部262と同様の変換方法を用いても良い。第二の実施例では、信号制御情報によって信号対背景音比を修正した後、修正信号対背景音比抑圧係数に変換する。信号制御情報は、第三の実施の形態において用いたものと同様であり、説明は省略する。

さらに、第三の実施例について説明する。上述の第二の実施例と比較すると、第三の実施例は信号対背景音比を抑圧係数に変換してから、信号制御情報によって抑圧係数を修正する構成である。

図３５を参照して、第三の実施例の抑圧係数再構成部450を詳細に説明する。図１７に示す第二の実施の形態の抑圧係数再構成部250と比較すると、本実施例の抑圧係数再構成部450は、抑圧係数修正部460をさらに含んでいる。

抑圧係数再構成部450は、符号化された信号対背景音比と信号制御情報とを受信し、修正抑圧係数を出力する。抑圧係数再構成部450は、信号対背景音比復号部261、抑圧係数変換部262及び抑圧係数修正部460から構成される。信号対背景音比復号部261は、符号化された信号対背景音比を受信し、復号する。信号対背景音比復号部261は、信号対背景音比を抑圧係数変換部262に出力する。抑圧係数変換部262は、復号された信号対背景音比を抑圧係数に変換する。抑圧係数変換部262は、抑圧係数を抑圧係数修正部460に出力する。抑圧係数修正部460は、外部から受けた信号制御情報を用いて、背景音情報変換部262から入力された抑圧係数を修正する。抑圧係数修正部460は、修正抑圧係数を出力する。信号制御情報は、第三の実施の形態において用いたものと同様であり、説明は省略する。抑圧係数修正部460の構成は、図３０に示される第一の実施例の抑圧係数修正部460と同様のものであり、説明は省略する。

続いて、第四の実施例について説明する。第四の実施例は、分析情報として背景音そのものを用いる場合の構成例である。図３６を参照して、第四の実施例の信号処理部360の第一の構成例を詳細に説明する。図２２に示される第二の実施例の信号処理部172の抑圧係数計算部252が、本実施例の信号処理部360において抑圧係数計算部452で置換されている。抑圧係数計算部452は、外部から信号制御情報を受信している。
信号処理部360は、第二の変換信号、符号化された背景音及び信号制御情報を受信し、修正復号信号を出力する。信号処理部360は、抑圧係数計算部452と乗算器251とから構成される。第二の変換信号が抑圧係数計算部452及び乗算器251に入力され、符号化された背景音が分析情報として抑圧係数計算部452に入力される。抑圧係数計算部452は、符号化された背景音、第二の変換信号及び信号制御情報に基づいて修正抑圧係数を計算する。そして、抑圧係数計算部452は、修正抑圧係数を乗算器251に出力する。乗算器251は、第二の変換信号と抑圧係数とを乗算し、修正復号信号を逆変換部173に出力する。信号制御情報は、第三の実施の形態において用いたものと同様であり、説明は省略する。

図３７を参照して、抑圧係数計算部452の構成例を詳細に説明する。抑圧係数計算部452は、第二の変換信号、符号化された背景音及び信号制御情報を受信し、抑圧係数を出力する。抑圧係数計算部452は、背景音復号部263、背景音修正部464、抑圧係数生成部264から構成される。

背景音復号部263は、符号化された背景音を受信し、復号する。背景音復号部263は、復号された背景音を背景音修正部464に出力する。背景音が符号化されていないときには、背景音復号部263は、復号動作を行わず、背景音を背景音修正部464に出力する。背景音修正部464は、外部から入力された信号制御情報を用いて、背景音を修正する。背景音の修正については、第一の実施例における抑圧係数修正部460と同様の修正方法を適用することとしてもよい。すなわち、信号制御情報として背景音の倍率を入力することにより背景音を修正してもよい。また、信号制御情報として背景音の最大値または最小値を入力することにより背景音を修正しても良い。さらに、信号制御情報として背景音の倍率により修正された背景音と背景音の最大値または最小値により修正された背景音とを選択する制御情報を入力することにより修正してもよい。背景音修正部464は、修正された背景音を抑圧係数生成部264 に出力する。抑圧係数生成部264は、第二の変換信号と修正された背景音を用いて背景音を抑圧するための適切な抑圧係数を計算する。この抑圧係数の計算は、図１０に示される抑圧係数計算部201と同様の計算方法を用いてもよい。抑圧係数生成部264は、抑圧係数を出力する。信号制御情報は、第三の実施の形態において用いたものと同様であり、説明は省略する。

図３８を参照して、信号処理部360の第二の構成例を詳細に説明する。本構成例の信号処理部360は、背景音復号部263、背景音修正部464及び減算器253で構成される。信号処理部360は、第二の変換信号、符号化された背景音及び信号制御情報を受信し、背景音が制御された信号を出力する。

第二の変換信号が減算器253に入力される。また、符号化された背景音が分析情報として背景音復号部263に入力される。背景音復号部263は、入力された符号化された背景音を復号する。そして、背景音復号部263は、復号された背景音を背景音修正部464に出力する。背景音が符号化されていないときには、背景音復号部263は、復号動作を行わず、背景音を出力する。背景音修正部464は、信号制御情報を用いて背景音情報を修正し、修正背景音を生成する。背景音修正部464は、修正背景音を減算器253に出力する。減算器253は、第二の変換信号から修正背景音を減算し、減算結果を出力する。

第五の実施例は、第四の実施例とは反対に、背景音を復号し、抑圧係数を生成してから、信号制御情報によって抑圧係数を修正する。このとき、抑圧係数計算部452は、図３９に示すように、背景音復号部263、抑圧係数生成部264、抑圧係数修正部461から構成される。背景音復号部263は、符号化された背景音として分析情報を受け取り、これを復号して復号分析情報を求める。抑圧係数生成部264は、復号信号と背景音復号部263から出力された復号分析情報（復号された背景音）を用いて抑圧係数を生成する。抑圧係数修正部461は、外部から受けた信号制御情報を用いて抑圧係数生成部264から受けた抑圧係数を修正し、これを出力する。信号制御情報は、既に第三の実施の形態に関して説明したとおりであり、説明は省略する。次に、第五の実施例について説明する。第四の実施例と比較すると、本実施例は、復号された背景音から抑圧係数を生成した後、信号制御情報によって抑圧係数を修正する構成である。

図３９を参照して、抑圧係数計算部452について詳細に説明する。抑圧係数計算部452は、第二の変換信号、符号化された背景音及び信号制御情報を受信し、修正抑圧係数を出力する。抑圧係数計算部452は、背景音復号部263、抑圧係数生成部264、抑圧係数修正部460から構成される。

背景音復号部263は、符号化された背景音を受信し、復号する。そして、背景音復号部263は、復号された背景音を抑圧係数生成部264に出力する。抑圧係数生成部264は、第二の変換信号と復号された背景音とから抑圧係数を生成する。この抑圧係数の計算は、図２７に示される抑圧係数計算部201と同様の計算方法を用いてもよい。そして、抑圧係数生成部264は、抑圧係数を抑圧係数修正部460に出力する。抑圧係数修正部460は、受信した信号制御情報を用いて、抑圧係数を修正し、修正抑圧計数を生成する。抑圧係数の修正については、図３３で示される抑圧係数修正部460と同様の修正方法を適用することとしてもよい。すなわち、信号制御情報として抑圧係数の倍率を入力することにより修正してもよい。また、信号制御情報として抑圧係数の最大値または最小値を入力することにより修正しても良い。さらに、信号制御情報として抑圧係数の倍率と抑圧係数の最大値または最小値とを選択する制御情報を入力することにより修正してもよい。抑圧係数修正部460は、修正抑圧係数を出力する。信号制御情報は、第三の実施の形態において用いたものと同様であり、説明は省略する。

以上説明したように、本発明の第四の実施の形態によれば、各地点の分析情報が混合されている分析情報に基づいて、受信部において、各地点の目的音と背景音とから構成される入力信号を、各地点の目的音、背景音ごとに独立に制御することができる。また、信号制御情報に基づいて、特定の音源だけを独立に制御することもできる。

さらに、送信部で抑圧係数又は信号対背景音比といった分析情報の計算を行うので、受信部は分析情報の計算に係る演算量を削減することができる。

本発明の第五の実施の形態について説明する。本実施の形態は、分析情報とオブジェクト情報と信号制御情報と構成要素レンダリング情報に基づいて、受信側端末で各地点の入力信号の各音源に対応した構成要素ごとに制御することを特徴とする。

図４０を参照すると、本実施の形態における多地点接続システムは、各地点に分散して配置される会議端末2500、2501及び2502並びに会議端末間でのデータ交換を制御する多地点接続装置（ＭＣＵ：Multipoint Control Unit）2505を備えている。多地点接続装置2505は、各端末から出力された伝送信号を混合して、各端末に、同一の混合された信号を分配する。図４０では、3地点を接続する例を示してあるが、任意の数の地点を接続する構成とすることができる。

同じく図４０を用いて、端末2500、2501、2502の構成例を説明する。なお、これらの端末は同一の構成とすることができるので、端末2500のみ構成例が示してある。以下、端末2500を例として説明する。

端末2500は、符号化部100と信号分析部101とオブジェクト情報抽出部2510と多重化部2511を含む送信部2506と、復号部150と出力信号生成部2550と分離部2551を含む受信部2507から構成される。

入力信号は送信部2506にある符号化部100と信号分析部101とオブジェクト情報抽出部2510に入力される。符号化部100は、入力信号を符号化して、符号化信号を多重化部2511に出力する。信号分析部101は、入力信号に含まれる各音源に対応した構成要素の分析情報を算出し、分析情報を多重化部2511に出力する。オブジェクト情報抽出部2510は、入力信号を一つのオブジェクト信号として捉え、オブジェクト信号を周波数変換して、周波数成分毎のオブジェクト信号の特性を表すオブジェクトパラメータを抽出し、これらのオブジェクトパラメータをまとめてオブジェクト情報として多重化部2511に出力する。多重化部2511は、符号化部100から出力された符号化信号と信号分析部101から出力された分析情報とオブジェクト情報抽出部2510から出力されたオブジェクト情報を多重化し、伝送信号として伝送路に出力する。なお、符号化部100と信号分析部101と復号部150の詳細な動作は、既に第一の実施の形態において説明したとおりである。

受信部2507における分離部2551は、伝送路から入力された伝送信号を、符号化信号と分析情報とオブジェクト情報に分離し、符号化信号は復号部150に、分析情報とオブジェクト情報は出力信号生成部2550に出力する。復号部150は、符号化信号を復号して復号信号を生成し、出力信号生成部2550に出力する。ここで、復号信号は一般的な複数音源から構成されるものである。出力信号生成部2550は、分離部2551から出力された分析情報とオブジェクト情報と、入力端子を介して入力される信号制御情報と構成要素レンダリング情報とに基づいて、復号部150から出力された復号信号を、各音源に対応した構成要素ごとに操作し、出力信号を出力する。出力信号生成部2550は、各音源に対応した構成要素の代わりに、複数の構成要素からなる構成要素群を単位として操作することも可能である。

ここで、構成要素レンダリング情報は、復号信号に含まれる構成要素と受信部の出力信号との関係を周波数成分毎に表した情報である。例えば、出力信号が再現する音響情景において、復号信号に混合されている各構成要素の音像定位を表す情報でも良い。

図４１に、多地点接続装置2505の構成例を示す。図４１では、3地点を接続する例を示してあるが、任意の数の地点を接続する構成とすることができる。図４１において、第１から第３の地点に設置された端末から受けた伝送信号が、入力端子を介して分離部2510、2520、2530に入力される。

分離部2510、2520、2530は、伝送信号をそれぞれ符号化信号と分析情報とオブジェクト情報に分離し、符号化信号は復号部2511、2521、2531に、分析情報は分析情報混合部2516に、オブジェクト情報はオブジェクト情報混合部2515に出力する。復号部2511、2521、2531は、符号化信号を復号して復号信号を生成し、混合部2512に出力する。混合部2512は各地点からの復号信号を全て混合して、混合信号を生成し、混合信号を符号化部2513に出力する。符号化部2513は、混合信号を符号化し、符号化した混合信号を多重化部2514に出力する。分析情報混合部2516は各地点からの分析情報を全て混合し、混合した分析情報を多重化部2514に出力する。オブジェクト情報混合部2515は各地点からのオブジェクト情報を全て混合し、混合したオブジェクト情報を多重化部2514に出力する。

ここで、オブジェクト情報は復号信号の各周波数成分を表すオブジェクトパラメータから構成され、オブジェクトパラメータの混合は、入力されたオブジェクトパラメータを全て混合しても良いし、オブジェクトパラメータを重要度に応じて選択し、選択されたオブジェクトパラメータのみを混合しても良い。別の混合方法としては入力された複数のオブジェクトパラメータを多重化して一つのオブジェクトパラメータ群にしても良い。オブジェクト情報混合部2515から出力されるオブジェクト情報は、混合部2512で生成された混合信号とその入力である各復号信号（以後、オブジェクト信号とする）との関係を周波数成分毎に表したものとなる。

多重化部2514は、符号化部2513から出力される符号化した混合信号と、分析情報混合部2516から出力される混合した分析情報と、オブジェクト情報混合部2515から出力される混合したオブジェクト情報と、を多重化し、伝送信号として各地点の伝送路に出力する。なお、復号部2511、2521、2531の詳細な動作は、第一の実施の形態における復号部150と、符号化部2513の詳細な動作は第一の実施の形態における符号化部100と同様である。分析情報混合部2516の詳細な動作は、第一の実施の形態における図６に示した分析情報混合部2114と同様である。

以下、出力信号生成部2550の第一の構成例と第二の構成例について説明する。

第一の構成例を、図４２に示す。出力信号生成部2550は、信号制御部2560とレンダリング情報生成部2561とレンダリング部2563から構成される。

信号制御部2560は、復号信号、オブジェクト情報、分析情報を入力とする。オブジェクト情報、分析情報を復号して、各々オブジェクトパラメータと分析パラメータを生成する。次に、オブジェクトパラメータを用いて復号信号をオブジェクト信号（混合前の信号）に分解し、さらに、分析パラメータを用いてオブジェクト信号を構成要素に分解する。さらに、信号制御情報に基づいて構成要素を修正した修正構成要素を生成した後、修正構成要素から修正復号信号（混合後の信号、つまり、復号信号を信号制御情報に基づいて修正した信号）を再構成し、修正復号信号をレンダリング部2563に出力する。また、信号制御部2560は、修正復号信号と修正構成要素との関係を周波数成分毎に表した修正パラメータを生成し、修正パラメータをレンダリング情報生成部2561に出力する。

信号制御部2560の他の動作例として、修正構成要素を生成せずに、オブジェクトパラメータと分析パラメータと信号制御情報を用いて、復号信号を修正復号信号に変換してもよい。その場合、復号信号を修正復号信号に変換する際に使用した修正パラメータをレンダリング情報生成部2561に出力する。

以下に、信号制御部2560の動作の具体例を説明する。

ある周波数帯域ｆにおける復号信号の周波数成分をX_k(f), k=1,2,…,P（Pは復号信号のチャンネル数）、同じくオブジェクト信号の周波数成分をZ_ih(f), i=1,2,…,L, h=1,2,…,K（Lはオブジェクト数、つまり、端末数であり、Kはオブジェクト信号のチャンネル数）、i番目のオブジェクト信号の構成要素の周波数成分をY_ij(f), j=1,2,…,M_i（M_iはi番目のオブジェクト信号の構成要素数）、信号制御情報に基づいて修正した構成要素の周波数成分をY’_ij（f）、修正オブジェクト信号をZ’_ij(f）、修正復号信号をX’(f）とすると、オブジェクトパラメータにより規定される変換関数Ｆ_５００と、分析パラメータにより規定される変換関数Ｆ_５０１と、信号制御情報により規定される変換関数Ｆ_５０２を用いて次の関係が成立する。

［数１１］

［数１２］

［数１３］

［数１４］

ここで、変換関数Ｆ_５０３は修正構成要素を修正復号信号に変換する関数であり、修正パラメータは変換関数Ｆ_５０３の逆関数を表すパラメータとなる。

他の動作例として上述したように、関数Ｆ_５００、Ｆ_５０１、Ｆ_５０２、Ｆ_５０３を統合して

［数１５］

としてもよい。このとき、変換関数Ｆ_５０４はオブジェクトパラメータと分析パラメータと信号制御情報と修正パラメータにより規定される。

上記変換の具体例として、周波数帯域ｆのオブジェクトパラメータC(f)を、

［数１６］

と表し、分析パラメータB(f)を、全ての行列要素が0であるM_i行K列の零行列

を用いて、

［数１７］

と表し、信号制御情報A(ｆ)を

［数１８］

と表すと、［数１１］から［数１５］は

［数１９］

と表せる。すなわち、復号信号を修正復号信号に変換する行列はD(f)×A(f)×B(f)×C(f)として計算できる。ここで、D(f)は任意のP行M列の行列であり、修正パラメータをE(f)とすると、

［数２０］

となる。例えば、D(f)としてB(f)×C(f)の逆行列を用いると、修正パラメータはE(f)=B(f)×C(f)となる。なお、［数１９］から明らかなように、D(f)としてB(f)×C(f)の逆行列を用いることは修正構成要素を修正復号信号に変換する操作として妥当である。

レンダリング情報生成部2561は、信号制御部2560から出力された修正パラメータを用いて、入力端子を介して入力された構成要素レンダリング情報をレンダリング情報に変換し、レンダリング情報をレンダリング部2563に出力する。

構成要素レンダリング情報をレンダリング情報に変換する具体例として、構成要素レンダリング情報U(f)とレンダリング情報W(f)を、

［数２１］

と表すと、W(f)=U(f)×E(f)とすることができる。ここで、Qは出力信号のチャンネル数である。

なお、レンダリング情報は修正復号信号と出力信号生成部2550の出力信号との関係を周波数成分毎に表した情報であり、信号間のエネルギ差、時間差や相関などを用いて表すことができる。

レンダリング部2563は、レンダリング情報生成部2561から出力されたレンダリング情報を用いて、信号制御部2560から出力された修正復号信号を変換して出力信号を生成し、出力信号生成部2550の出力信号として出力する。

上記では、信号制御部2560において、周波数成分に分解された修正復号信号が、レンダリング部2563に出力されている構成について説明したが、信号制御部2560の出力において、修正復号信号が逆変換され時間信号としてレンダリング部2563に出力される場合、レンダリング部2563では、時間信号を周波数成分に分解してから処理を行う。レンダリング部2563の出力は、周波数成分に分解された信号を逆変換した信号を出力信号として出力する。

出力信号の周波数成分をV_k(f), k=1,2,…,Q（Qは出力信号のチャンネル数）とし、

［数２２］

とすると、レンダリング部の動作は、V(f)=W(f)×X’(f)となる。

なお、レンダリング部2563における修正復号信号を出力信号に変換する方法とレンダリング情報の具体例が、非特許文献１０（2007年、アイエスオー／アイイシー 23003−1:2007 パート1 エムペグサラウンド、（ISO/IEC 23003−1:2007 Part 1 MPEG Surround））に開示されている。

非特許文献１０に開示されている変換方法をレンダリング部2563として用いる場合、レンダリング部2563に入力されるレンダリング情報として非特許文献１０に開示されたデータストリーム形式を使用してもよい。なお、レンダリング情報をデータストリーム形式に変換することなく、非特許文献１０に開示された変換の処理部に入力してもよい。

次に、第二の構成例を説明する。図４３を参照すると、出力信号生成部2550は、レンダリング情報生成部2564と構成要素情報変換部2565とレンダリング部2563から構成される。

構成要素情報変換部2565は、分析情報と信号制御情報と構成要素レンダリング情報を入力とする。分析情報を復号し分析パラメータを生成する。さらに、分析パラメータと信号制御情報を用いて、構成要素レンダリング情報をオブジェクトレンダリング情報に変換し、オブジェクトレンダリング情報をレンダリング情報生成部2564に出力する。

ここで、オブジェクトレンダリング情報はオブジェクト信号と出力信号生成部2550の出力信号との関係を周波数成分毎に表した情報である。具体的には、オブジェクトレンダリング情報をT(f)とすると、

［数２３］

となる。ここで、B(f)、A(f)、U(f)は［数１７］、［数１８］、［数２１］に定義したとおりである。

レンダリング情報生成部2564は、オブジェクト情報とオブジェクトレンダリング情報を入力とする。オブジェクト情報を復号しオブジェクトパラメータを生成し、オブジェクトパラメータと、オブジェクトレンダリング情報とから、レンダリング情報を生成し、レンダリング情報をレンダリング部2563に出力する。具体的には、

［数２４］

となる。ここで、C(f)、W(f)、T(f)は［数１６］、［数２１］、［数２３］に定義したとおりである。

なお、レンダリング情報は復号信号と出力信号生成部2550の出力信号との関係を周波数成分毎に表した情報であり、信号間のエネルギ差、時間差や相関などを用いて表すことができる。レンダリング情報の一例が、非特許文献１０に開示されている。

レンダリング部2563は既に第一の構成例において、図４２を用いて説明したとおりである。この場合、レンダリングの動作はV(f)=W(f)×X(f)となる。

以上説明したように、本発明の第五の実施の形態によれば、受信部において、各地点の分析情報が混合されている分析情報に基づいて、各地点の入力信号の各音源に対応した構成要素ごとに制御することができる。また、信号制御情報に基づいて、特定の音源だけを独立に制御することもできる。また、構成要素レンダリング情報に基づいて、個々の音源の定位を制御することもできる。

また、本実施の形態においては、それぞれの入力信号に対応するオブジェクト信号を混合し、混合されたオブジェクト信号に基づいて受信側で制御を行う。このため、複数の受信部それぞれに対して、同一の信号を出力することができる。これにより、多地点接続装置において、複数の入力信号は全て混合することができ、符号化は１つの信号に対して行えばよいので、符号化を複数回行う必要はない。従って、多地点接続装置において符号化に係る演算量を削減することが出来る。

本発明の第六の実施の形態を説明する。本実施の形態は、音源として目的音と背景音の混在した入力信号を対象とし、分析情報とオブジェクト情報と信号制御情報と構成要素レンダリング情報に基づいて、目的音と背景音を制御することを特徴とする。

図４０を参照すると、本実施の形態における多地点接続システムは、各地点に分散して配置される会議端末2500、2501及び2502並びに会議端末間でのデータ交換を制御する多地点接続装置（ＭＣＵ：Multipoint Control Unit）2505を備えている。多地点接続装置2505は、各端末から出力された信号を混合して混合信号を生成し、同一の混合信号を各端末に分配する。図４０では、3地点を接続する例を示してあるが、任意の数の地点を接続する構成とすることができる。端末2500、2501、2502は、同一の構成とすることができるので、端末2500のみ構成例を示している。よって、以下、端末に関しては、端末2500を例として説明する。

初めに、多地点接続装置2505の構成例を図４１に示す。本実施の形態は、第五の実施の形態と同様の構成であるが、分析情報混合部2516の動作が異なる点がある。本実施の形態における分析情報混合部2516は、第二の実施の形態で説明した図７に示す分析情報混合部2114と同じ動作である。詳細な説明は省略する。

次に、端末2500の構成例を図４０に示す。本実施の形態は、第五の実施の形態と同様の構成であるが、信号分析部101と出力信号生成部2550の動作が異なる点がある。よって、以下、信号分析部101と出力信号生成部2550について詳細に説明する。

本実施の形態における第一の実施例は、分析情報が抑圧係数の場合である。図４０を参照すると、信号分析部101が分析情報として抑圧係数を計算する。これに対応して、多地点接続装置2505は、第二の実施の形態で説明したように、抑圧係数を混合し、出力信号生成部2550は、信号制御情報と構成要素レンダリング情報とオブジェクト情報に基づき抑圧係数を用いて復号信号を制御する。抑圧係数を分析情報として算出する信号分析部101の構成については第二の実施の形態における第一の実施例で詳細に説明しているため、説明を省略する。以下、出力信号生成部2550について詳細に説明する。

抑圧係数を用いて目的音と背景音を制御する図４０の出力信号生成部2550の構成は、第五の実施の形態における出力信号生成部2550の第二の構成例と同じく図４３で表されるが、構成要素情報変換部2565の構成で異なる点がある。そこで、以下、構成要素情報変換部2565について説明する。

図４４に構成要素情報変換部2565の構成例を示す。構成要素情報変換部2565は、構成要素パラメータ生成部651とオブジェクトレンダリング情報生成部2611とから構成される。構成要素パラメータ生成部651は、分析情報から抑圧係数を算出し、算出した抑圧係数と信号制御情報を用いて、構成要素パラメータを算出し、オブジェクトレンダリング情報生成部2611に出力する。

上記変換の具体例として、周波数帯域ｆのオブジェクト信号iの抑圧係数をg_ih(f) , i=1,2,…,L, h=1,2,…,K（Lはオブジェクト数、Kはオブジェクト信号のチャンネル数）とし、オブジェクト信号iの構成要素数をM_i=2とすると、［数１７］の分析パラメータB(f)は

［数２５］

と表せ、［数１８］の信号制御情報A(f)は、オブジェクト信号iの目的音を制御するための信号制御情報をA_main ⁱ(f)、背景音を制御するための信号制御情報をA_sub ⁱ(f)とすると、

［数２６］

と表せる。このとき、構成要素パラメータH(f)は、

［数２７］

と表せる。多地点接続装置2505において、抑圧係数が混合されている場合は、混合されているオブジェクト信号で共通の抑圧係数を用いても良い。

オブジェクトレンダリング情報生成部2611は、構成要素パラメータと構成要素レンダリング情報に基づき、オブジェクト信号と出力信号の関係を表すオブジェクトレンダリング情報を出力する。上記変換の具体例として、オブジェクトレンダリング情報T(f)は、［数２１］のU(ｆ)を用いて、T(f)=U(f)×H(f)とすることができる。

なお、構成要素情報変換部2566の他の構成例として、図４４における構成要素パラメータ生成部651とオブジェクトレンダリング情報生成部2611を統合することもできる。この場合、分析情報を復号して抑圧係数を算出し、算出した抑圧係数と信号制御情報と構成要素レンダリング情報とから、オブジェクトレンダリング情報を計算し、オブジェクトレンダリング情報をレンダリング情報生成部2564に出力する。すなわち、オブジェクトレンダリング情報T(f)は、T(f)=U(f)×A(f)×B(f)とすることができる。

本実施の形態における第二の実施例は、分析情報が信号対背景音比の場合である。図４０を参照すると、信号分析部101が分析情報として信号対背景音比を出力する。これに対応して、多地点接続装置2505は、信号対背景音比を混合し、出力信号生成部2550は、信号対背景音比とオブジェクト情報と信号制御情報と構成要素レンダリング情報に基づき、復号信号を制御する。信号対背景音比を分析情報として用いた場合の信号分析部101は、第二の実施の形態における第二の実施例で説明しているため、以下、出力信号生成部2550について詳細に説明する。

信号対背景音比を用いて目的音と背景音を制御する図４０における出力信号生成部2550の構成は、第一の実施例と同じく図４３及び図４４で表される。本実施例と第一の実施例を比較すると、図４４における構成要素パラメータ生成部651の動作が異なる。よって、以下、構成要素パラメータ生成部651について説明する。

構成要素パラメータ生成部651は、分析情報を復号し信号対背景音比を算出し、信号対背景音比から信号制御情報に基づき、構成要素パラメータを算出し、オブジェクトレンダリング情報生成部2611へ出力する。たとえば、第二の実施の形態において説明したように、信号対背景音比を抑圧係数に変換した後、第一の実施例で説明したように、［数２５］、［数２６］、［数２７］を用いて抑圧係数と信号制御情報に基づいて構成要素パラメータを算出することができる。また、他の方法として、第四の実施の形態で説明したように、信号対背景音比を信号制御情報に基づいて操作し、操作した信号対背景音比を抑圧係数に変換してから構成要素パラメータを算出してもよい。この場合、オブジェクト信号iの変換された抑圧係数をg’_ih(f)とすると、分析パラメータB’(f)は、

［数２８］

となり、構成要素パラメータH(f)はB’(f)となる。

図４３の構成要素情報変換部2565の他の構成例として、図４４における構成要素パラメータ生成部651とオブジェクトレンダリング情報生成部2611を統合することもできる。この場合、分析情報を復号して信号対背景音比を算出し、算出した信号対背景音比と信号制御情報と構成要素レンダリング情報とから、オブジェクトレンダリング情報を計算し、オブジェクトレンダリング情報をレンダリング情報生成部2564に出力する。具体例として、たとえば、第二の実施の形態において説明したように、信号対背景音比を抑圧係数に変換した後、第一の実施例で説明したように、抑圧係数と信号制御情報と構成要素レンダリング情報とからオブジェクトレンダリング情報を計算し、オブジェクトレンダリング情報をレンダリング情報生成部2564に出力する。すなわち、オブジェクトレンダリング情報T(f)は、［数２１］で定義した構成要素レンダリング情報と、［数２５］で定義した抑圧係数から算出できる分析パラメータと［数２６］で定義した信号制御情報とを用いて、T(f)= U(f)×A(f)×B(f)とすることができる。また、他の方法として、第四の実施の形態において説明したように、信号対背景音比を信号制御情報に基づいて操作し、操作した信号対背景音比を抑圧係数に変換してから、変換した抑圧係数と構成要素レンダリング情報とからオブジェクトレンダリング情報を算出してもよい。この場合、オブジェクト信号iの変換された抑圧係数をg’_ih(f)とすると、［数２８］のB’(f)を用いてオブジェクトレンダリング情報T(f)は、

［数２９］

となる。ここで、U(f)は［数２１］に定義されたとおりである。

本実施の形態における第三の実施例は、分析情報が背景音の場合である。図４０を参照すると、信号分析部101が分析情報として背景音を計算する。これに対応して、多地点接続装置2505は、背景音を混合し、出力信号生成部2550は、背景音とオブジェクト情報と信号制御情報と構成要素レンダリング情報に基づき、復号信号を制御する。背景音を分析情報として用いた場合の信号分析部101は、第二の実施の形態における第三の実施例で説明しているため、説明は省略する。よって、以下、出力信号生成部2550の動作について詳細に説明する。

出力信号生成部2550の構成例を図４５に示す。図４５に示す出力信号生成部2550は、図４３に示す第一の実施例の出力信号生成部2550と比較すると、構成要素情報変換部2565が構成要素情報変換部2566に置換されている点が異なる。以下、構成要素情報変換部2566について説明する。

図４５を参照すると、構成要素情報変換部2566は、復号信号と分析情報と信号制御情報と構成要素レンダリング情報を入力とする。それらに基づいて、復号信号に含まれるオブジェクト信号と出力信号の関係を周波数成分毎に表したオブジェクトレンダリング情報を生成し、レンダリング情報生成部2564に出力する。

図４６に構成要素情報変換部2566の構成例を示す。構成要素情報変換部2566は、変換部171と構成要素パラメータ生成部653とオブジェクトレンダリング情報生成部2611とから構成される。変換部171は、復号信号を入力とし、復号信号を各周波数成分に分解して第二の変換信号を生成し、第二の変換信号を構成要素パラメータ生成部653に出力する。

構成要素パラメータ生成部653は、第二の変換信号と分析情報と信号制御情報を入力とする。分析情報を復号して背景音を算出し、算出した背景音と第二の変換信号とから信号制御情報に基づいて、構成要素パラメータを算出し、オブジェクトレンダリング情報生成部2611へ出力する。

以下、構成要素パラメータの算出方法の具体例を示す。第一の方法では、第二の実施の形態における第三の実施例で説明したように、背景音と第二の変換信号とから抑圧係数を算出する。さらに、［数２５］、［数２６］、［数２７］を用いて、抑圧係数と信号制御情報に基づいて構成要素パラメータを算出する。第二の方法では、第四の実施の形態の第四の実施例、第五の実施例で説明した方法で、背景音と信号制御情報と第二の変換信号とから抑圧係数を算出する。上述の方法により算出された抑圧係数に対して、［数２８］を用いて分析パラメータB’(f)を算出し、構成要素パラメータH(f)をB’(f)とする。

オブジェクトレンダリング情報生成部2611の動作は、本実施の形態における第一の実施例で説明したとおりである。

なお、構成要素情報変換部2566の他の構成例として、図４６における構成要素パラメータ生成部653とオブジェクトレンダリング情報生成部2611を統合することもできる。この場合、各周波数成分に分解された第二の変換信号と、分析情報を復号した背景音と、信号制御情報と構成要素レンダリング情報とから、オブジェクトレンダリング情報を計算し、オブジェクトレンダリング情報をレンダリング情報生成部2564に出力する。

以下、オブジェクトレンダリング情報の算出方法の具体例を示す。第一の方法では、第二の実施の形態における第三の実施例で説明したように、背景音から、復号信号を用いて抑圧係数を算出する。さらに、第一の実施例で説明したように、抑圧係数と信号制御情報と構成要素パラメータとからオブジェクトレンダリング情報を計算する。すなわち、オブジェクトレンダリング情報T(f)は、［数２１］で定義した構成要素レンダリング情報と、［数２５］で定義した抑圧係数から算出できる分析パラメータと［数２６］で定義した信号制御情報とを用いて、T(f)= U(f)×A(f)×B(f)とすることができる。第二の方法では、第四の実施の形態の第四の実施例、第五の実施例で説明した方法で、背景音と信号制御情報と第二の変換信号とから抑圧係数を算出する。上述の方法により算出された抑圧係数を用いて、本実施の形態における第二の実施例で説明したように、［数２８］のB’(f)と、［数２１］のU(f)とから、［数２９］を用いてオブジェクトレンダリング情報を算出してもよい。

以上説明したように、本発明の第六の実施の形態によれば、受信部において、各地点の分析情報が混合されている分析情報に基づいて、各地点の目的音と背景音とから構成される入力信号を、各地点の目的音、背景音ごとに独立に制御することができる。また、信号制御情報に基づいて、特定の目的音および背景音を独立に制御することもできる。また、構成要素レンダリング情報を用いて、個々の目的音および背景音の定位を制御することができる。

本発明の第七の実施の形態を説明する。本実施の形態は、分析情報とオブジェクト情報と信号制御情報とオブジェクトレンダリング情報に基づいて、受信側端末で各地点の入力信号の各音源に対応した構成要素ごとに制御することを特徴とする。

図４７に、本発明の第七の実施の形態における構成を示す。第五の実施の形態を表す図４０と比較すると、受信部2507の出力信号生成部2550が出力信号生成部2700に置換されている点、出力信号生成部2700に対して、構成要素レンダリング情報ではなくオブジェクトレンダリング情報が入力されている点、が異なる。よって、以下、出力信号生成部2700の第一の構成例、第二の構成例について説明する。

図４８を参照すると、出力信号生成部2700の第一の構成例は、信号制御部2760とレンダリング情報生成部2561とレンダリング部2563から構成される。

信号制御部2760は、復号信号、オブジェクト情報、分析情報、信号制御情報を入力とする。オブジェクト情報と分析情報を復号しオブジェクトパラメータと分析パラメータを生成する。次に、オブジェクトパラメータを用いて復号信号をオブジェクト信号（混合前の信号）に分解し、さらに、分析パラメータを用いてオブジェクト信号を構成要素に分解する。その後、構成要素を、信号制御情報に基づいて修正して修正構成要素を生成し、修正構成要素から修正復号信号（混合後の信号、つまり、復号信号を信号制御情報に基づいて修正した信号）を再構成し、修正復号信号をレンダリング部2563に出力する。また、信号制御部2760は、修正復号信号と修正オブジェクト信号（混合前の信号を信号制御情報に基づいて修正した信号）との関係を周波数成分毎に表した修正オブジェクトパラメータを生成し、修正オブジェクトパラメータをレンダリング情報生成部2561に出力する。

なお、信号制御部2760の他の動作例として、修正構成要素を生成せずに、オブジェクトパラメータと分析パラメータと信号制御情報を用いて、復号信号を修正復号信号に変換してもよい。この場合も、復号信号を修正復号信号に変換する際に修正復号信号と修正オブジェクト信号との関係を周波数成分毎に表した修正オブジェクトパラメータを生成し、修正オブジェクトパラメータをレンダリング情報生成部2561に出力する。

修正オブジェクトパラメータの算出方法を示す。第五の実施の形態に示したように、［数１１］から［数１５］の関係が成立する。このとき、具体例として［数１６］から［数１９］を用いると、復号信号を修正復号信号に変換する行列はD(f)×A(f)×B(f)×C(f)として表せる。ここで、D(f)はP行M列の行列であり、B(f)×C(f)の逆行列を用いると、修正オブジェクトパラメータは、C(f)、すなわち、オブジェクトパラメータで表せる。

レンダリング情報生成部2561は、信号制御部2760から出力された修正オブジェクトパラメータと入力端子を介して入力されたオブジェクトレンダリング情報を入力とする。修正オブジェクトパラメータを用いて、オブジェクトレンダリング情報をレンダリング情報に変換し、レンダリング情報をレンダリング部2563に出力する。具体的な動作は［数２４］を用いて説明したとおりである。

レンダリング部2563はレンダリング情報生成部2561から出力されたレンダリング情報に基づいて、信号制御部2760から出力された修正復号信号から出力信号を生成し、出力信号を出力する。第五の実施の形態において図４２を用いて説明したため、詳細な説明を省略する。

次に、出力信号生成部2700の第二の構成例を説明する。図４９を参照すると、出力信号生成部2700は、レンダリング情報生成部2564とオブジェクトレンダリング情報修正部2770とレンダリング部2563から構成される。

オブジェクトレンダリング情報修正部2770は、分析情報、信号制御情報、オブジェクトレンダリング情報を入力とする。分析情報を復号して分析パラメータを生成し、分析パラメータと信号制御情報を用いて、オブジェクトレンダリング情報を修正し、修正オブジェクトレンダリング情報をレンダリング情報生成部2564に出力する。具体的には、修正オブジェクトレンダリング情報をT’(f)とすると、

［数３０］

となる。ここで、B(f)、A(f)は［数１７］、［数１８］に定義したとおりである。

レンダリング情報生成部2564は、オブジェクト情報と修正オブジェクトレンダリングを入力とする。オブジェクト情報と修正オブジェクトレンダリング情報に基づいてレンダリング情報を生成して、レンダリング部2563に出力する。第五の実施の形態において図４３を用いて説明した説明したため、詳細な説明は省略する。

レンダリング部2563では、復号信号とレンダリング情報を入力とする。レンダリング情報に基づいて、復号信号から出力信号を生成し、出力信号を出力する。第五の実施の形態において図４３を用いて説明した説明したため、詳細な説明は省略する。

以上説明したように、本発明の第七の実施の形態によれば、受信部において、各地点の分析情報が混合されている分析情報に基づいて、各地点の入力信号の各音源に対応した構成要素ごとに制御することができる。また、信号制御情報に基づいて、特定の音源だけを独立に制御することもできる。また、オブジェクトレンダリング情報を用いて、個々のオブジェクト信号の定位を制御することもできる。

本発明の第八の実施の形態を説明する。本実施の形態は、音源として目的音と背景音の混在した入力信号を対象とし、分析情報とオブジェクト情報と信号制御情報とオブジェクトレンダリング情報に基づいて、目的音と背景音を制御することを特徴とする。

本実施の形態における多地点接続システムの構成は、第七の実施の形態と同様に、図４７で表される。各地点に分散して配置される会議端末2500、2501及び2502並びに会議端末間でのデータ交換を制御する多地点接続装置（ＭＣＵ：Multipoint Control Unit）2505を備えている。端末2500、2501、2502は、同一の構成とすることができるので、端末2500のみ構成例が示してある。よって、以下、端末に関しては、端末2500を例として説明する。

多地点接続装置2505については、第六の実施の形態において図４１を用いて説明したとおりであるため、説明を省略する。

次に、端末2500について説明する。本実施の形態における端末2500の構成を図４７に示す。第七の実施の形態と同様の構成であるが、信号分析部101と出力信号生成部2550の動作が異なる。よって、以下、信号分析部101と出力信号生成部2700について詳細に説明する。

本実施の形態における第一の実施例は、分析情報が抑圧係数の場合である。図４７を参照すると、信号分析部101が分析情報として抑圧係数を出力する。これに対応して、多地点接続装置2505は、抑圧係数を混合し、出力信号生成部2700は、信号制御情報とオブジェクトレンダリング情報とオブジェクト情報と抑圧係数を用いて復号信号を制御する。抑圧係数を分析情報として用いた場合の信号分析部101の動作は、第二の実施の形態における第一の実施例で説明したとおりである。よって、以下、出力信号生成部2700について詳細に説明する。

出力信号生成部2700の構成を図４９に示す。第七の実施の形態における出力信号生成部2700の第二の構成例と同様であるが、オブジェクトレンダリング情報修正部2770の動作で異なる点がある。よって、以下、オブジェクトレンダリング情報修正部2770について説明する。

オブジェクトレンダリング情報修正部2770の構成例を図５０に示す。オブジェクトレンダリング情報修正部2770は、構成要素パラメータ生成部651とオブジェクトレンダリング情報変更部2810とから構成される。

構成要素パラメータ生成部651は、分析情報と信号制御情報を入力とし、構成要素パラメータを出力する。詳細な動作については、第六の実施の形態における第一の実施例で説明したため、説明を省略する。

オブジェクトレンダリング情報変更部2810は、分析情報と構成要素パラメータを入力とする。分析情報を復号して抑圧係数を生成し、抑圧係数と構成要素パラメータに基づいて、オブジェクトレンダリング情報を修正する。

具体的には、オブジェクトレンダリング情報をT(f)とし、修正オブジェクトレンダリング情報をT’(f)とすると、

［数３１］

となる。ここで、B(f)、H(f)は［数２５］、［数２７］に定義したとおりである。

なお、図４９のオブジェクトレンダリング情報修正部2770の他の構成例として、図５０における構成要素パラメータ生成部651とオブジェクトレンダリング情報変更部2810を統合することもできる。この場合、分析情報を復号して抑圧係数を算出し、算出した抑圧係数と信号制御情報とからオブジェクトレンダリング情報を修正し、修正オブジェクトレンダリング情報をレンダリング情報生成部2564に出力する。

具体的には、修正オブジェクトレンダリング情報T’(f)は、

［数３２］

とすることができる。ここで、A(f)、B(f)は［数２６］、［数２５］に定義されたとおりである。

本実施の形態における第二の実施例は、分析情報が信号対背景音比の場合である。第二の実施例は、図４７を参照すると、信号分析部101が分析情報として信号対背景音比を出力する。これに対応して、多地点接続装置2505は、信号対背景音比を混合し、出力信号生成部2700は、信号対背景音比とオブジェクト情報と信号制御情報とオブジェクトレンダリング情報に基づき、復号信号を制御する。信号対背景音比を分析情報として用いた場合の信号分析部101の動作は、第二の実施の形態で説明したとおりである。

出力信号生成部2700の構成例を、図４９、図５０に示す。本実施例と第一の実施例とを比較すると、図５０の構成要素パラメータ生成部651とオブジェクトレンダリング情報変更部2810の構成が異なる。

構成要素パラメータ生成部651については、第六の実施の形態における第二の実施例で説明しているため、説明を省略する。

オブジェクトレンダリング情報変更部2810は、分析情報、構成要素パラメータ、オブジェクトレンダリング情報を入力とする。分析情報を復号して信号対背景音比を生成し、信号対背景音比と構成要素パラメータとからオブジェクトレンダリング情報を修正し、修正オブジェクトレンダリング情報を出力する。

修正オブジェクトレンダリング情報の算出方法の例を説明する。第二の実施の形態における第二の実施例で説明したように、信号対背景音比から抑圧係数を算出する。さらに、本実施の形態における第一の実施例で説明したように［数３１］を適用して、オブジェクトレンダリング情報と抑圧係数と構成要素パラメータに基づいて、修正オブジェクトレンダリング情報を算出する。

なお、オブジェクトレンダリング情報修正部2770の他の構成例として、図５０における構成要素パラメータ生成部651とオブジェクトレンダリング情報変更部2810を統合することもできる。この場合、分析情報を復号して信号対背景音比を算出し、算出した信号対背景音比と信号制御情報とオブジェクトレンダリング情報から、修正オブジェクトレンダリング情報を計算し、修正オブジェクトレンダリング情報をレンダリング情報生成部2564に出力する。

その場合の、修正オブジェクトレンダリング情報の算出方法の例を説明する。第二の実施の形態における第二の実施例で説明したように、信号対背景音比から抑圧係数を算出する。さらに、本実施の形態における第一の実施例で説明したように［数３２］を適用して、抑圧係数と信号制御情報とオブジェクトレンダリング情報に基づいて、修正オブジェクトレンダリング情報を算出する。

本実施の形態における第三の実施例は、分析情報が背景音の場合である。第三の実施例は、図４７を参照すると、信号分析部101が分析情報として背景音を出力する。これに対応して、多地点接続装置2505は、信号対背景音比を混合し、出力信号生成部2700は、背景音とオブジェクト情報と信号制御情報とオブジェクトレンダリング情報に基づき、復号信号を制御する。背景音を分析情報として用いた場合の信号分析部101の動作は、第二の実施の形態における第三の実施例で説明したとおりである。

出力信号生成部2700の構成例を図５１に示す。図４９における第一の実施例と比較すると、オブジェクトレンダリング情報修正部2770がオブジェクトレンダリング情報修正部2780に置換されている点が異なる。よって、以下、オブジェクトレンダリング情報修正部2780について説明する。

オブジェクトレンダリング情報修正部2780は、分析情報と復号信号と信号制御情報とオブジェクトレンダリング情報を入力とする。分析情報と復号信号と信号制御情報を用いて、オブジェクトレンダリング情報を修正し、修正オブジェクトレンダリング情報をレンダリング情報生成部2564に出力する。

図５１にオブジェクトレンダリング情報修正部2780の構成例を示す。オブジェクトレンダリング情報修正部2780は、変換部171と構成要素パラメータ生成部653とオブジェクトレンダリング情報変更部2810とから構成される。変換部171は、復号信号を各周波数成分に分解し第二の変換信号を生成し、第二の変換信号を構成要素パラメータ生成部653に出力する。

構成要素パラメータ生成部653は、第二の変換信号と信号制御情報と分析情報を入力とし、構成要素パラメータをオブジェクトレンダリング情報変更部2810に出力する。詳細な動作は、図４６を用いて第六の実施の形態における第三の実施例で既に説明したとおりであるため、説明を省略する。

オブジェクトレンダリング情報変更部2810は、分析情報から背景音を計算し、背景音と構成要素パラメータとからオブジェクトレンダリング情報を修正し、修正オブジェクトレンダリング情報をレンダリング情報生成部2564に出力する。

修正オブジェクトレンダリング情報の算出方法の例を説明する。第二の実施の形態における第三の実施例で説明したように、背景音から抑圧係数を算出する。さらに、本実施の形態における第一の実施例で説明したように［数３１］を適用して、抑圧係数と構成要素パラメータとオブジェクトレンダリング情報から、修正オブジェクトレンダリング情報を算出する。

なお、オブジェクトレンダリング情報修正部2780の他の構成例として、図５２における構成要素パラメータ生成部653とオブジェクトレンダリング情報変更部2810を統合することもできる。この場合、第二の変換信号と、分析情報を復号した背景音と、信号制御情報と、オブジェクトレンダリング情報とから、修正オブジェクトレンダリング情報を計算し、修正オブジェクトレンダリング情報をレンダリング情報生成部2564に出力する。

このときの、修正オブジェクトレンダリング情報の算出方法の例を説明する。第二の実施の形態における第三の実施例で説明したように、背景音から抑圧係数を算出する。さらに、本実施の形態における第一の実施例で説明したように、［数３２］を適用して、抑圧係数と信号制御情報とオブジェクトレンダリング情報とから、修正オブジェクトレンダリング情報を算出する。

以上説明したように、本発明の第八の実施の形態によれば、受信部において、各地点の分析情報が混合されている分析情報に基づいて、各地点の目的音と背景音とから構成される入力信号を、各地点の目的音、背景音ごとに独立に制御することができる。また、信号制御情報に基づいて、特定の目的音および背景音を独立に制御することもできる。また、オブジェクトレンダリング情報を用いて、個々のオブジェクト信号の定位を制御することもできる。

本発明の第九の実施の形態を説明する。本実施の形態は、分析情報とオブジェクト情報と構成要素レンダリング情報に基づいて、受信側端末で各地点の入力信号の各音源に対応した構成要素ごとに制御することを特徴とする。

図５３を参照すると、本実施の形態は、第五の実施の形態を表す図４０と比較して、端末2500の出力信号生成部2900に入力される信号制御情報が構成要素レンダリング情報に混合されている点、これに対応して受信部2507の出力信号生成部2550が出力信号生成部2900に置換されている点が異なる。よって、以下、出力信号生成部2900について説明する。

図５４を参照すると、本実施の形態における出力信号生成部2900は、レンダリング情報生成部2564と構成要素情報変換部2910とレンダリング部2563から構成される。

構成要素情報変換部2910は、分析情報と構成要素レンダリング情報を入力とする。分析情報を復号し分析パラメータを生成し、分析パラメータを用いて、構成要素レンダリング情報をオブジェクトレンダリング情報に変換し、オブジェクトレンダリング情報をレンダリング情報生成部2564に出力する。具体的には、T(f)=U(f)×B(f)という式で表すことができる。ここで、T(f)は［数２９］、U(f)は［数２１］、B(f)は［数１７］に定義したとおりである。

レンダリング情報生成部2564は、オブジェクト情報とオブジェクトレンダリング情報を入力としてレンダリング情報を生成し、レンダリング情報をレンダリング部2563に出力する。詳細な動作は、第五の実施の形態において、図４３を用いて説明したため、説明は省略する。

レンダリング部2563は、復号信号とレンダリング情報を入力として出力信号を生成し、出力信号を出力する。詳細な動作は、第五の実施の形態において、図４３を用いて説明したため、説明は省略する。

以上説明したように、本発明の第九の実施の形態によれば、受信部において、各地点の分析情報が混合されている分析情報に基づいて、各地点の入力信号の各音源に対応した構成要素ごとに制御することができる。また、構成要素レンダリング情報に基づいて、特定の音源だけを独立に制御し、個々の音源の定位を制御することもできる。

本発明の第十の実施の形態を説明する。本実施の形態は、音源として目的音と背景音の混在した入力信号を対象とし、本実施の形態は、分析情報とオブジェクト情報と構成要素レンダリング情報に基づいて、目的音と背景音を制御することを特徴とする。

図５３を参照すると、本実施の形態は、図４０の第六の実施の形態と比較して、端末2500の出力信号生成部2900に入力される信号制御情報が構成要素レンダリング情報に統合されている点、これに対応して受信部2507の出力信号生成部2550が出力信号生成部2900に置換されている点が異なる。よって、以下、出力信号生成部2900について説明する。

本実施の形態における第一の実施例は、分析情報が抑圧係数の場合である。図５３を参照すると、信号分析部101が分析情報として抑圧係数を出力する。これに対応して、多地点接続装置2505は、抑圧係数を混合し、出力信号生成部2900は、信号制御情報を含んだ構成要素レンダリング情報とオブジェクト情報と抑圧係数を用いて復号信号を制御する。

図５４に、出力信号生成部2900の構成例を示す。図４３に示す第六の実施の形態と比較すると、構成要素情報変換部2565が構成要素情報変換部2910に置換されている点が異なる。よって、以下、構成要素情報変換部2910について説明する。

図５５に構成要素情報変換部2910の構成例を示す。構成要素情報変換部2910は、構成要素パラメータ生成部3000とオブジェクトレンダリング情報生成部2611とから構成される。図４４に示す第六の実施の形態の構成要素情報変換部2565と比較して、構成要素パラメータ生成部651が構成要素パラメータ生成部3000に置換されている点が異なる。

構成要素パラメータ生成部3000は、分析情報を入力とする。分析情報を復号して抑圧係数を算出し、構成要素パラメータを生成し、オブジェクトレンダリング情報生成部2611へ出力する。

構成要素パラメータの算出方法の例を説明する。第六の実施の形態における第一の実施例とは、信号制御情報を利用しない点で異なる。すなわち、［数２６］においてオブジェクト信号iの目的音を制御するための信号制御情報A_main ⁱ(f)と、背景音を制御するための信号制御情報A_sub ⁱ(f)が、A_main ⁱ(f)=1、A_sub ⁱ(f)=1の場合に相当し、構成要素パラメータH(f)は、

［数３３］

となる。

オブジェクトレンダリング情報生成部2611では、構成要素パラメータと構成要素レンダリング情報を入力とし、オブジェクトレンダリング情報を生成する。詳細な動作については、第六の実施の形態における第一の実施例で詳細に説明しているため、説明を省略する。なお、多地点接続装置2505において、抑圧係数が混合されている場合は、全オブジェクトで共通の抑圧係数を用いても良い。

なお、図５４の構成要素情報変換部2910の他の構成例として、図５５における構成要素パラメータ生成部3000とオブジェクトレンダリング情報生成部2611を統合することもできる。この場合、分析情報を復号して抑圧係数を算出し、抑圧係数と構成要素レンダリング情報とから、オブジェクトレンダリング情報を計算し、オブジェクトレンダリング情報をレンダリング情報生成部2564に出力する。すなわち、オブジェクトレンダリング情報T(f)は、

［数３４］

とすることができる。

本実施の形態における第二の実施例は、分析情報が信号対背景音比の場合である。第二の実施例は、図５３を参照すると、信号分析部101が分析情報として信号対背景音比を出力する。これに対応して、多地点接続装置2505は、信号対背景音比を混合し、出力信号生成部2900は、構成要素レンダリング情報に基づき、信号対背景音比とオブジェクト情報を用いて復号信号を制御する。

出力信号生成部2900の構成は、第一の実施例と同様に、図５４及び図５５で表される。本実施例と第一の実施例を比較すると、図５５の構成要素パラメータ生成部3000の構成が異なる。よって、以下、構成要素パラメータ生成部3000について説明する。

構成要素パラメータ生成部3000は、分析情報を入力とする。分析情報を復号して信号対背景音比を算出し、算出した信号対背景音比から構成要素パラメータを算出し、構成要素パラメータをオブジェクトレンダリング情報生成部2611に出力する。

構成要素パラメータの算出方法の例を説明する。第二の実施の形態における第三の実施例で説明したように、信号対背景音比から抑圧係数を算出する。さらに、本実施の形態における第一の実施例で説明したように、［数３３］を適用して、構成要素パラメータを算出することができる。

なお、図５４の構成要素情報変換部2910の他の構成例として、図５５における構成要素パラメータ生成部3000とオブジェクトレンダリング情報生成部2611を統合することもできる。この場合、分析情報を復号して信号対背景音比を算出し、算出した信号対背景音比と構成要素レンダリング情報とから、オブジェクトレンダリング情報を計算し、オブジェクトレンダリング情報をレンダリング情報生成部2564に出力する。

このときのオブジェクトレンダリング情報の算出方法の例を説明する。第二の実施の形態における第三の実施例で説明したように、信号対背景音比から抑圧係数を算出する。さらに、本実施の形態における第一の実施例で説明したように、［数３４］を適用して、抑圧係数と構成要素パラメータとから、オブジェクトレンダリング情報を計算する。

本実施の形態における第三の実施例は、分析情報が背景音の場合である。第三の実施例は、図５３を参照すると、信号分析部101が分析情報として背景音を出力する。これに対応して、多地点接続装置2505は、背景音を混合し、出力信号生成部2900は、背景音とオブジェクト情報と構成要素レンダリング情報に基づき復号信号を制御する。

図５６に示す本実施例の構成は、図５４に示す第一の実施例の構成と比較すると、構成要素情報変換部2910が構成要素情報変換部3001に置換されている点が異なる。よって、以下、構成要素情報変換部3001について説明する。

図５７に構成要素情報変換部3001の構成例を示す。構成要素情報変換部3001は、変換部171と構成要素パラメータ生成部3002とオブジェクトレンダリング情報生成部2611とから構成される。

変換部171は、復号信号を入力とし、復号信号を各周波数成分に分解した第二の変換信号を生成し、第二の変換信号を構成要素パラメータ生成部3002に出力する。

構成要素パラメータ生成部3002は、分析情報と第二の変換信号を入力とする。分析情報を復号し背景音を算出する。さらに、背景音と第二の変換信号とから、構成要素パラメータを算出し、構成要素パラメータをオブジェクトレンダリング情報生成部2611へ出力する。

構成要素パラメータの算出方法の例を説明する。第二の実施の形態における第三の実施例で説明したように、背景音と復号信号とから抑圧係数を算出する。さらに、本実施の形態における第一の実施例で説明したように、［数３３］を用いて構成要素パラメータを算出する。

オブジェクトレンダリング情報生成部2611は、構成要素パラメータと構成要素レンダリング情報を入力とし、オブジェクトレンダリング情報を出力する。詳細な動作は、第六の実施の形態における第三の実施例で説明したため、説明を省略する。

なお、図５６の構成要素情報変換部3001の他の構成例として、図５７における構成要素パラメータ生成部3002とオブジェクトレンダリング情報生成部2611を統合することもできる。この場合、第二の変換信号と、分析情報を復号して算出した背景音と、構成要素レンダリング情報とから、オブジェクトレンダリング情報を計算し、オブジェクトレンダリング情報をレンダリング情報生成部2564に出力する。

オブジェクトレンダリング情報の算出方法の例を説明する。第二の実施の形態における第三の実施例で説明したように、背景音と復号信号とから抑圧係数を算出する。さらに、本実施の形態における第一の実施例で説明したように、［数３４］を用いて抑圧係数と構成要素パラメータとからレンダリング情報を算出する。

以上説明したように、本発明の第十の実施の形態によれば、受信部において、各地点の分析情報が混合されている分析情報に基づいて、各地点の目的音と背景音とから構成される入力信号を、各地点の目的音、背景音ごとに独立に制御することができる。また、構成要素レンダリング情報に基づいて、特定の目的音および背景音を独立に制御し、個々の音源の定位を制御することができる。

本発明の第十一の実施の形態を説明する。本実施の形態は、送信部が符号化部において発生した量子化歪みの効果を考慮に入れた分析を行うことにより、受信部において復号を行う際に発生する量子化歪みを低減することを特徴とする。

図５８を参照すると、本実施の形態は、第一の実施の形態と比較して、送信部10が送信部90に置換されている点が異なる。送信部10と送信部90を比較すると、信号分析部101が信号分析部900に置換され、さらに信号分析部900には、入力信号に加え、符号化部100からの信号が入力される点が異なる。

図５９を参照して、信号分析部900の第一の構成例について詳細に説明する。

信号分析部900は、入力信号と符号化部100からの符号化信号とから分析情報を生成する。符号化信号は量子化歪みの加わった信号であるので、量子化歪み量を考慮して分析情報を生成することが出来る。

信号分析部900は、入力信号と符号化部100からの符号化信号を受信し、分析情報を出力する。信号分析部900は、変換部120、復号部150、量子化歪み計算部910、分析情報計算部911及び変換部920から構成される。

入力信号は、変換部120に入力される。また、符号化部100からの符号化信号は、復号部150に入力される。

復号部150は、符号化部100から入力された符号化信号の復号を行う。復号部150は、復号信号を変換部920へ出力する。変換部920では、復号信号を周波数成分へと分解する。変換部920は、周波数成分分解された復号信号を量子化歪み計算部910へ出力する。

変換部120は、入力信号を周波数成分へと分解する。変換部120は、周波数成分分解された入力信号を量子化歪み部910および分析情報計算部911へ出力する。量子化歪み計算部910は、周波数成分分解された復号信号と周波数成分分解された入力信号とを比較し、量子化歪み量を周波数成分ごとに計算する。例えば、周波数成分分解された復号信号の各周波数成分の大きさと周波数成分分解された入力信号の各周波数成分の大きさとの差を、その周波数における量子化歪みとしてもよい。量子化歪み計算部910は、各周波数の量子化歪み量を分析情報計算部911に出力する。

分析情報計算部911は、変換部120から周波数成分分解された入力信号を受信し、量子化歪み計算部910から各周波数の量子化歪み量を受信する。分析情報計算部911は、周波数成分分解された入力信号について、入力信号を音源に対応した構成要素ごとに分解する。そして、分析情報計算部911は、複数の構成要素間の関係を表す分析情報を生成する。分析情報計算部911は、分析情報を出力する。また、周波数成分分解された入力信号について、分析情報計算部911は、複数の構成要素から構成される構成要素群に分解することとしてもよい。

分析情報計算部911は、量子化歪み量を考慮し、受信部における復号の際に、量子化歪みが低減されるように分析情報の計算を行う。例えば、分析情報計算部911は、周波数成分分解された入力信号の各周波数成分の大きさとその周波数における量子化歪みの大きさとから、量子化歪みが聴覚マスキングされるように、分析情報を計算してもよい。ここで、分析情報計算部911は、聴覚マスキングにおいて、周波数成分の大きさが大きい周波数の周辺周波数では、小さい成分は聞こえにくくなることを利用してもよい。各周波数成分の大きさから周辺周波数において聞こえにくくなる成分の大きさをマスキング特性とする。分析情報計算部911は、マスキング特性を全周波数において計算する。分析情報計算部911は、各周波数において、量子化歪みの影響を考慮して分析情報の補正を行う。マスキング特性より量子化歪みの大きさが小さい場合には、量子化歪みが聞こえにくい。この場合には、量子化歪みの影響が少ないので、分析情報計算部911は、分析情報の補正は行わない。マスキング特性より量子化歪みの大きさが大きい場合は、マスキングされない。この場合には、分析情報計算部911は、量子化歪みを低減させるように分析情報を補正する。例えば、分析情報として抑圧係数を用いる場合は、量子化歪みも背景音と同時に抑圧するように小さめの抑圧係数としてもよい。

以上のように、分析情報計算部911が分析情報を補正することにより、受信部において復号を行った際に量子化歪みが聴覚マスキングされ、歪や雑音が低減される。

これまで聴覚マスキングを考慮して量子化歪みを低減するような分析情報の補正について説明してきた。しかし、聴覚マスキングを考慮せず、全ての周波数において量子化歪みを低減するように分析情報を補正する構成でもよい。

図６０を参照して、信号分析部900の第二の構成例を詳細に説明する。

信号分析部900は、入力信号と符号化部100からの符号化信号を受信し、分析情報を出力する。信号分析部900は、変換部120、復号部150、量子化歪み計算部910、分析情報計算部912及び変換部920から構成される。

復号部150は、符号化部100から入力された符号化信号の復号を行う。復号部150は、復号信号を変換部920へ出力する。変換部920では、復号信号を周波数成分へと分解する。変換部920は、周波数成分分解された復号信号を量子化歪み計算部910と分析情報計算部912とに出力する。

変換部120は、入力信号を周波数成分へと分解する。変換部120は、周波数成分分解された入力信号を量子化歪み計算部910へ出力する。量子化歪み計算部910は、周波数成分分解された復号信号と周波数成分分解された入力信号とを比較し、量子化歪み量を周波数成分ごとに計算する。例えば、周波数成分分解された復号信号の各周波数成分の大きさと周波数成分分解された入力信号の各周波数成分の大きさとの差を、その周波数における量子化歪みとしてもよい。量子化歪み計算部910は、各周波数の量子化歪み量を分析情報計算部912に出力する。

分析情報計算部912は、変換部920から周波数成分分解された復号信号を受信し、量子化歪み計算部910から各周波数の量子化歪み量を受信する。分析情報計算部912は、周波数成分分解された復号信号について、入力信号を音源に対応した構成要素ごとに分解する。そして、分析情報計算部912は、複数の構成要素間の関係を表す分析情報を生成する。分析情報計算部912は、量子化歪みを低減されるように補正された分析情報を出力する。量子化歪みが低減されるような分析情報の計算については、第一の構成例と同様であるので、説明は省略する。

以上説明したように、信号分析部900の第一の構成例及び第二の構成例は、符号化部100において発生した符号化歪みの効果を低減するように分析情報の生成を行うことにより、受信部15において復号を行う際に発生する量子化歪みを低減することができるという効果を有する。

続いて、本発明の第十二の実施の形態について説明する。本発明の第十二の実施の形態は、音源として目的音と背景音とから構成される入力信号を制御するものである。本発明の第十一の実施の形態の構成は、本発明の第九の実施の形態の構成と同様に図５８および図５９で示される。本実施の形態は、図５９における分析情報計算部911の構成が異なる。

図６１を参照して、本発明の第十二の実施の形態における分析情報計算部911の構成例を詳細に説明する。図１０に示される分析情報計算部121と図６１に示される分析情報計算部911とを比較すると、量子化歪み計算部910からの各周波数の量子化歪み量が入力される点が異なっている。さらに、分析情報計算部121に含まれる背景音推定部200が、分析情報計算部911に含まれる背景音推定部1020で構成されている。図１０、図４３の説明と重複する部分の説明は省略する。

分析情報計算部911は、周波数成分分解された入力信号と各周波数の量子化歪み量とを受信し、分析情報を出力する。分析情報計算部911は、背景音情報生成部202と背景音推定部1020とから構成される。

背景音推定部1020は、周波数成分分解された入力信号と各周波数の量子化歪み量とを受信する。背景音推定部1020は、量子化歪み量を考慮し、背景音の推定を行う。たとえば、背景音推定部1020は、推定した背景音に量子化歪みを加算したものを推定背景音として、分析情報計算部121に含まれる背景音推定部200と同様の処理を行うことができる。背景音推定部1020は、量子化歪みが考慮された背景音の情報を背景音情報生成部202に出力する。背景音情報生成部202は、背景音の情報に基づいて、分析情報を生成する。そして、背景音情報生成部202は、量子化歪みが考慮された分析情報を出力する。

受信部15は、量子化歪みが考慮された分析情報に基づいて、復号信号の制御を行う。この構成により、復号信号の制御において、量子化歪みを考慮した高品質な制御を行うことが出来る。さらに、受信部15において復号を行う際に発生する量子化歪みを低減することができるという効果を有する。

さらに、本発明の第十二の実施の形態の説明において、背景音情報生成部202は、分析情報として抑圧係数、信号対背景音比又は背景音そのものを出力することとしてもよい。

分析情報として信号対背景音比を符号化し、出力する場合には、図５９における分析情報計算部911は、信号対背景音比を算出し、符号化する。信号対背景音比を符号化するために、分析情報計算部911における背景音情報生成部202として図１６に示される構成や、図１８に示される構成を用いてもよい。この場合、図５８における受信部15の信号制御部151は、信号対背景音比による復号信号の制御に対応した構成とする。

分析情報として背景音そのものを符号化し、出力する場合には、図５９における分析情報計算部911は、背景音推定部1020で推定した推定背景音を符号化し、出力する。

図６２を参照して、分析情報として背景音そのものを出力する分析情報計算部911の構成例について説明する。本構成例の分析情報計算部911は、周波数成分分解された入力信号と各周波数の量子化歪み量とを受信し、符号化された背景音を出力する。分析情報計算部911は、背景音符号化部205と背景音推定部1020とから構成される。背景音推定部1020の動作については、図６１の説明と重複するので省略する。また、背景音符号化部205の動作については、図２１の説明と重複するので省略する。

この場合、図５８における受信部15の信号制御部151は、背景音による復号信号の制御に対応した構成とする。

以上、本発明の第十二の実施の形態は、量子化歪みが考慮された抑圧係数、信号対背景音比又は背景音に基づいて、復号信号の制御を行う。この構成により、復号信号の制御において、量子化歪みを考慮した高品質な制御を行うことが出来る。さらに、受信部15において復号を行う際に発生する量子化歪みや符号化歪みを低減することができるという効果を有する。

次に、本発明の第十三の実施の形態について説明する。本発明の第十一の実施の形態は、送信側部における演算量と、分析情報に基づいて受信側部で各音源に対応した構成要素ごとの制御に係る演算量を低減する。

図６３を参照して、本発明の第十三の実施の形態を説明する。図１に示す本発明の第一の実施の形態と、図６３に示す本発明の第十三の実施の形態とは、送信部10が送信部13で構成されている点、受信部15が受信部18で構成されている点で異なる。この構成により、本発明の第十三の実施の形態は、送信部の中にある変換部を共用し、受信部の中にある変換部を共用することができる。この結果、送信部13及び受信部18の演算量を低減することが出来る。

図1に示される送信部10と図６３に示される送信部13は、符号化部100が符号化部1100で構成されている点、信号分析部101が、信号分析部1101で構成されている点で異なる。本実施例では、符号化部1100が周波数成分分解された入力信号を信号分析部1101に出力している。

図６４を参照して、符号化部1100の構成例を詳細に説明する。図２に示される符号化部100と図６４に示される符号化部1100とは、変換部110の出力である第一の変換信号が、信号分析部1101へ出力される点で異なる。変換部110及び量子化部111の動作については図２と重複するので、説明は省略する。ここで、符号化部1100の演算量は、図２に示される符号化部100と出力される信号が異なるのみであるので、符号化部100の演算量とほぼ同一である。

図６５を参照して、信号分析部1101の構成例を詳細に説明する。図４に示す信号分析部101と図６５に示される信号分析部1101とは、信号分析部101に含まれている変換部120が削除されている点である。分析情報計算部121の動作については、図４の説明と重複するので省略する。

信号分析部1101は、符号化部1100から第一の変換信号を受信する。受信した第一の変換信号は分析情報計算部121へ入力される。ここで、図６４に示される符号化部1100内の変換部110と、図４に示される信号分析部101内の変換部120とを比較すると、変換部に供給される入力信号が同一であり、変換部の動作が同一ならば、各々の出力である第一の変換信号と第二の変換信号は同一となる。そのため、変換部110と変換部120の動作が同一である場合、信号分析部1101では変換部120を削除し、信号分析部1101が出力する第一の変換信号を第二の変換信号として使用することが出来る。この構成により、信号分析部1101の演算量は、変換部120の演算量に相当する分だけ、信号分析部101よりも削減される。

受信部について、図１に示される受信部15と図６３に示される受信部18と復号部150が復号部1150で構成されている点と、信号制御部151が信号制御部1151で構成されている点で異なる。

図６６を参照して、復号部1150の構成例を説明する。図３に示される復号部150と復号部1150とは、復号部1150において逆変換部161が削除されている点で異なる。逆量子化部160の動作については、図３の説明と重複するので省略する。図３に示される復号部150は、逆量子化部160が出力する第一の変換信号を逆変換部161により時間領域信号に逆変換し、復号信号として図５に示される変換部171に出力している。図５では、変換部171が復号信号を受信し、第二の変換信号に変換する処理を行っている。ここで、上述の通り、変換部110と変換部120の動作が同一である場合、第一の変換信号を第二の変換信号として使用することが出来る。これにより、本実施例の形態において、復号部1150は、逆量子化部160の出力する第一の変換信号を信号制御部1151に含まれる信号処理部172に出力している。従って、本実施の形態において、逆変換部161が削除されている。

図６７は、信号制御部1151の構成例を示す図である。信号制御部151と信号制御部1151との差異は、図５に示す信号制御部151においては、時間領域信号として供給された入力信号が変換部171により周波数成分に変換されてから信号処理部172に供給されているのに対し、信号制御部1151においては、変換部171が取り除かれ、復号部1150からの周波数成分が直接、信号処理部172に供給されていることである。ここで信号制御部1151に復号部1150から供給される周波数成分に着目すると、図１に示す第一の実施の形態と、図６３に示す第十三の実施の形態との差異は、逆量子化部160が出力する周波数成分が、逆変換部161および変換部171を通じたか否かの差であり、いずれの場合も、逆量子化部160が出力する周波数成分と同一の信号が供給されており、信号制御部1151内の信号処理部172は同一の結果を出力することがわかる。ここで受信部の演算量について考察すると、復号部1150の演算量は、逆変換部161の演算量に相当する分だけ、復号部150よりも削減されていることがわかる。また、信号制御部1151の演算量は、変換部171の演算量に相当する分だけ、信号制御部151よりも削減されていることがわかる。

図６７を参照して、信号制御部1151の構成例を詳細に説明する。図5に示される信号制御部151と図６７に示される信号制御部1151とは、信号制御部1151において変換部171が削除されている点で異なる。信号処理部172及び逆変換部173の動作については、図５の説明と重複するので省略する。

図５の信号制御部151は、時間領域信号として入力された復号信号が変換部171により第二の変換信号に変換され、信号処理部172に出力している。上述の通り、変換部110と変換部120の動作が同一である場合、第一の変換信号を第二の変換信号として使用することが出来る。これにより、信号制御部1151に含まれる信号処理部172は、逆量子化部160の出力する第一の変換信号を受信することができる。従って、本実施例において、変換部171が取り除かれている。

ここで、信号制御部1151に復号部1150から入力される信号に着目すると、図１に示される第一の実施の形態と図６３に示される第十三の実施の形態とは、逆量子化部160が出力する信号が、逆変換部161および変換部171を通じたか否かの違いがある。第一の変換信号を第二の変換信号として使用できる場合において、第一の実施の形態及び第十三の実施の形態のいずれも、逆量子化部160が出力する信号の周波数成分と信号制御処理部172に入力される信号の周波数成分は同じである。従って、信号制御部1151内の信号処理部172は、図５に示される信号処理部172と同一の結果を出力する。また、復号部1150の演算量は、図３に示される逆変換部161の演算量に相当する分だけ、復号部150よりも削減されている。さらに、信号制御部1151の演算量は、図５に示される変換部171の演算量に相当する分だけ、信号制御部151よりも削減されている。

以上、本発明の第十三の実施の形態は、本発明の第一の実施の形態の効果に加えて、変換部120、逆変換部161及び変換部160のそれぞれの演算量に相当する分だけ、第一の実施の形態よりも演算量が削減されるという効果を有する。さらに、第十三の実施の形態の演算量削減の構成は、本発明の第二の実施の形態から第十二の実施の形態に適用することが可能である。これにより、各実施の形態は、本発明の第十三の実施の形態と同様の演算量削減の効果を有する。

以上、これまでは、本発明の第一の実施の形態から第十三の実施の形態において複数の音源から構成される入力信号を分析し、分析情報を算出し、受信側で分析情報に基づいて復号信号を制御する方法について説明してきた。ここで、具体例を用いてさらに詳細を説明する。入力信号は、利用方法によって異なるが、例えば、音声、楽器音などがある。この他、音による監視を目的とする場合は、各機械が発生する動作音や、操作者の音声や足音などがある。

入力信号に複数の構成要素がある場合、本発明は、入力信号を分析し、分析した結果を分析情報として符号化する構成である。構成要素が複数ある場合、図１に示される構成と同様の構成が適用される。信号分析部101および、信号制御部151の構成、信号分析部101が多重化部102へ出力する情報、分離部152から信号制御部151に送られる情報ついてそれぞれ詳細に説明する。

図６８を参照して、信号分析部101の第二の構成例を詳細に説明する。信号分析部101の第二の構成例は、構成要素が複数ある場合に適用する構成である。この信号分析部101は、音環境分析部1210と音環境情報符号化部1211とから構成されている。音環境分析部1210は、入力信号に含まれる複数の構成要素の情報を分析する。音環境分析部1210は、構成要素分析情報を音環境情報符号化部1211へ出力する。音環境情報符号化部1211は、音環境分析部1210から入力された構成要素分析情報を符号化する。そして、音環境情報符号化部1211は、符号化された構成要素分析情報を図１に示される多重化部102へ出力する。ここで、図１に示される多重化部102は、音環境情報符号化部1211から入力された構成要素分析情報に対応した多重化を行う。

音環境分析部1210についてさらに詳細に説明する。

音環境分析部1210における複数音源の情報の分析の方法としては、様々な方法を用いることが可能である。例えば、複数音源の情報の分析の方法として、非特許文献１１（2005年、「スピーチ・エンハンスメント」、シュプリンガー、（Speech Enhancement, Springer, 2005, pp. 371−402）、371ページから402ページ）に記載されている信号分離の方法を用いてもよい。また、複数音源の情報の分析の方法としては、音情景分析、コンピューテーショナル・オーディトリィ・シーン・アナリシス（Computational Auditory Scene Analysis）、単一入力信号分離、シングル・チャンネル・シグナル・セパレーション、などと呼ばれる信号分離の手法を用いてもよい。これらの信号分離の手法により、音環境分析部1210は、入力信号を複数の各構成要素に分離する。さらに、音環境分析部1210は、分離された各構成要素から出力すべき構成要素分析情報に変換して出力する。この構成要素分析情報は、様々な形式で出力することが可能である。例えば、構成要素分析情報としては、背景音を抑圧するための抑圧係数や、各周波数成分におけるそれぞれの構成要素の割合や、それぞれの構成要素そのものの信号の各周波数成分の大きさがある。構成要素の割合には、例えば、入力信号との振幅比、入力信号とのエネルギ比、及びこれらの平均値などが含まれる。信号の各周波数成分の大きさには、例えば、振幅絶対値、エネルギ、及びこれらの平均値などが含まれる。また、信号分離の方法によっては、信号分離の途中において、出力すべき分析結果そのもの、または、出力すべき分析結果に容易に変換可能な信号が得られる。その場合は、信号分離を最後まで行わずに、信号分離を行う途中から出力すべき分析結果を得る処理を行うことも可能である。

図６９を参照して、信号制御部151の構成例を詳細に説明する。信号制御部151の構成例は、構成要素が複数ある場合に適用する構成である。信号制御部151は、音環境情報復号部1212および音環境情報処理部1213から構成されている。信号制御部151は、復号部150からの復号信号、分離部152から分析情報を符号化した信号を受信する。音環境情報復号部1212は、分離部152から受信した分析情報を符号化した信号を復号する。音環境情報復号部1212は、復号した分析情報を出力して音環境情報処理部1213へ出力する。分析情報は、図６８に示される信号分析部101に含まれる音環境分析部1210が出力した分析情報に相当する。音環境情報処理部1213は、音環境情報復号部1212から入力された分析情報に基づいて、復号信号の制御を行う。この制御の方法は、制御の目的によって異なる。例えば、第二の実施の形態と同様に、背景音を抑圧する制御を行ってもよい。

以上、入力信号に含まれる構成要素が複数ある場合、本発明を適用し、本発明の第一の実施の形態における効果を得ることができる。

以上、本発明の第一の実施の形態を、入力信号に含まれる構成要素が複数ある場合に適用される構成を例に説明してきた。第二の実施の形態から第十三の実施の形態に対しても、同様に信号分析部および信号制御部または出力信号生成部を変更してもよい。また、第五の実施の形態から第十の実施の形態の構成のように、各構成要素の出力を複数のチャンネルから構成される出力信号に定位させる制御を行ってもよい。

さらに、入力信号のチャンネル数が複数である場合は、本発明の信号分析部101における分析の方法として、指向性制御、ビームフォーミング（Beamforming）、ブラインド信号源分離（Blind Source Separation）や、独立成分分析（Independent Component Analysis）と呼ばれる手法を用いてもよい。特に、入力信号のチャンネル数が目的音数より多い場合には、上述の背景音情報の推定方法や第十三の実施の形態における分析の方法を用いず、指向性制御、ビームフォーミング（Beamforming）、ブラインド信号源分離（Blind Source Separation）や、独立成分分析（Independent Component Analysis）のみを用いて、分析を行ってもよい。例えば、指向性制御およびビームフォーミングに関連する技術は、非特許文献１２（2001年、「マイクロホン・アレイズ」、シュプリンガー、（Microphone Arrays, Springer, 2001））、及び非特許文献１３（2005年、「スピーチ・エンハンスメント」、シュプリンガー、（Speech Enhancement, Springer, 2005, pp. 229−246）、229ページから246ページ）に開示されている。また、ブラインド信号源分離および独立成分分析の方法に関連する技術は、非特許文献１４（2005年、「スピーチ・エンハンスメント」、シュプリンガー、（Speech Enhancement, Springer, 2005, pp. 271−369）、271ページから369ページ）に開示されている。

上述の分析の方法を用いる場合、本発明の第一の実施の形態には、図１に示される構成が適用される。さらに、信号分析部101の構成、信号制御部151の構成、信号分析部101が多重化部102へ出力する情報、および、分離部152から信号制御部151に送られる情報について詳細に説明する。入力信号は複数チャンネルの信号である。基本的な動作は、第一の実施の形態の動作と同様であり、図１と重複するので説明は省略する。

図７０を参照して、信号分析部101の第三の構成例を詳細に説明する。信号分析部101の第三の構成例は、入力信号のチャンネル数が複数である場合に対応している。本構成例の信号分析部101は、入力信号の分析の方法として、独立成分分析の方法を用いる。本構成例の信号分析部101は、入力信号に含まれる各音源に対応した構成要素の信号分離のためのフィルタ係数を分析情報として出力する。

信号分析部101は、信号分離分析部1200と分離フィルタ符号化部とから構成されている。信号分離分析部1200は、独立成分分析の方法により、分離フィルタ係数を算出する。分離フィルタ係数は、入力信号に含まれる各音源に対応した構成要素の信号分離を行うために用いられるフィルタ係数である。そして、信号分離分析部1200は、分離フィルタ係数を分離フィルタ符号化部1201へ出力する。分離フィルタ符号化部1201は、信号分離分析部1200から入力された分離フィルタ係数を符号化する。分離フィルタ符号化部1201は、符号化分離フィルタ係数を分析情報として出力する。

図７１を参照して、信号制御部151の第三の構成例を詳細に説明する。信号制御部151の第三の構成例は、入力信号のチャンネル数が複数である場合に対応している。

信号制御部151は、分離フィルタ復号部1202とフィルタ1203とから構成されている。分離フィルタ復号部1202は、分離部152から分析情報として符号化された分離フィルタ係数を受信する。そして、分離フィルタ復号部1202は、符号化分離フィルタ係数を復号し、分離フィルタ係数をフィルタ1203へ出力する。フィルタ1203は、復号部150から複数チャンネルの復号信号を受信し、分離フィルタ復号部1202から分離フィルタ係数を受信する。そして、フィルタ1203は、複数チャンネルの復号信号に対し、分離フィルタ係数に基づくフィルタ処理を行う。フィルタ1203は、各音源に対応した構成要素の信号が分離された信号を出力する。

以上説明したとおり、入力信号のチャンネル数が複数である場合、本発明は、入力信号の分析を送信部で行っている。この構成により、入力信号のチャンネル数が複数である場合にも、送信部での信号分析情報に基づいて、受信部で複数音源から構成される入力信号を各音源に対応した構成要素ごとに制御することができる。さらに、送信部で信号の分析を行うので、受信部は信号分析に係る演算量を削減することが出来る。

また、図７０及び図７１に示された構成例は、入力信号の分析情報として分離フィルタのフィルタ係数を用いたが、第一の実施の形態から第十三の実施の形態において用いた分析情報を用いてもよい。そのためには、図７０に示される信号分離分析部1200は、分離フィルタの算出し、分離フィルタを用いた信号分離を行う構成にすればよい。それにより、分離フィルタ符号化部1201は図６８に示される音環境情報符号化部1211に置換された構成になる。

さらに、信号分析部101における入力信号の分析の方法としては、独立成分分析だけでなく、非特許文献12乃至15に開示されている方法を用いてもよい。また、これらの分析の方法を、本発明の第一の実施の形態乃至第十三の実施の形態における分析の方法に組み合わせて用いてもよい。さらに、分析の方法によっては、分析の途中で、出力すべき分析結果、または、出力すべき分析結果に容易に変換可能な信号が得られる。その場合は、分析を最後まで行わずに分析結果を出力するように分析の処理を変更してもよい。

本発明の第十四の実施の形態を説明する。図７２に、本実施の形態における多地点接続システムの構成を示す。本実施の形態は、多地点接続装置を多段に接続したものである。図７２における端末3401、3402、3403、3404、3405と多地点接続装置3410、3411は、例えば、第一の実施の形態において説明した端末2500と多地点接続装置2105を用いることができる。なお、多地点接続装置の入出力1組と端末の入出力は同一であるため、多地点接続装置を多段で接続することに何ら不都合はないことは明らかである。多地点接続装置の多段接続により、本発明の第一の実施の形態の効果に加えて、多地点接続装置の処理量負荷の分散ができ、大規模な遠隔会議システムが構築できる。なお、本発明の第二から第十三の実施の形態に適用することも可能である。

本発明の第十五の実施の形態を説明する。図７３は、本発明の第十五の実施の形態に基づく信号処理装置のブロック図である。本発明の第十五の実施形態は、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置）3500、3501、3502、および3503を具備する。コンピュータ3500、3501、3502は、第一乃至第十四の実施の形態で説明した受信部と送信部の処理を行い、入力信号を受け伝送信号を出力するとともに、伝送信号を受け出力信号を生成するためのプログラムに基づき動作する。一方、コンピュータ3503は、第一乃至第十四の実施の形態で説明した多地点接続装置の処理を行い、各端末からの伝送信号を混合して混合結果を各端末に配信するためのプログラムに基づき動作する。本実施の形態では、コンピュータ3503に接続するコンピュータが3台となる例を説明したが、任意の端末数で構成できる。

以上好ましい実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

以上の如く、第１の発明は、複数の構成要素を含む第１の信号と前記第１の信号に含まれる複数の構成要素間の関係を表す第１の分析情報とを受ける第１の信号受信部と、複数の構成要素を含む第２の信号と前記第２の信号に含まれる複数の構成要素間の関係を表す第２の分析情報とを受ける第２の信号受信部と、前記第１の信号と前記第２の信号とを混合する信号混合部と、前記第１の分析情報と前記第２の分析情報とを混合する分析情報混合部とを含むことを特徴とする多地点接続装置である。

また、第２の発明は、上記第１の発明において、前記分析情報混合部は、前記第１の分析情報と前記第２の分析情報とをそれぞれの周波数成分を表す第１の分析パラメータと第２の分析パラメータとに変換し、前記第１の分析パラメータと前記第２の分析パラメータとを周波数成分毎に混合する分析パラメータ混合部を含むことを特徴とする。

また、第３の発明は、上記第１の発明において、前記信号混合部は混合情報を生成し、前記分析情報混合部は前記混合情報に基づいて前記第１の分析情報と前記第２の分析情報とを混合することを特徴とする。

また、第４の発明は、上記第３の発明において、前記分析情報混合部は、前記第１の分析情報と前記第２の分析情報とをそれぞれの周波数成分を表す第１の分析パラメータと第２の分析パラメータとに変換し、前記混合情報に基づいて前記第１の分析パラメータと前記第２の分析パラメータとを周波数成分毎に混合する分析パラメータ混合部を含むことを特徴とする。

また、第５の発明は、上記第４の発明において、前記分析情報混合部は、前記第１の分析パラメータと前記第２の分析パラメータとを選択する選択部を含むことを特徴とする。

また、第６の発明は、上記第３又は第４の発明において、前記混合情報は前記第１の信号と前記第２の信号との重み付けであることを特徴とする。

また、第７の発明は、上記第１の発明において、前記第１の信号受信部は、前記前記第１の信号の周波数成分毎の特性を表す第１のオブジェクト情報を受け、前記第２の信号受信部は、前記前記第２の信号の周波数成分毎の特性を表す第２のオブジェクト情報を受け、前記第１のオブジェクト情報と前記第２のオブジェクト情報とを混合するオブジェクト情報混合部をさらに含むことを特徴とする。

また、第８の発明は、上記第７の発明において、前記オブジェクト情報混合部は、前記第１のオブジェクト情報と前記第２のオブジェクト情報とを重要度に応じて選択することを特徴とする。

また、第９の発明は、複数の構成要素を含む入力信号を受ける信号受信部と、前記入力信号から前記複数の構成要素間の関係を表す分析情報を生成する信号分析部と、前記入力信号の周波数成分毎の特性を表すオブジェクト情報を生成するオブジェクト情報抽出部とを含むことを特徴とする信号分析装置である。

また、第１０の発明は、複数の構成要素を含む入力信号と前記複数の構成要素間の関係を表す分析情報と前記入力信号の周波数成分毎の特性を表すオブジェクト情報とを受ける信号受信部と、前記構成要素の出力を制御する構成要素レンダリング情報を受け、前記分析情報と前記オブジェクト情報と前記構成要素レンダリング情報とに基づいて前記構成要素が制御された出力信号を生成する出力信号生成部とを含むことを特徴とする信号制御装置である。

また、第１１の発明は、上記第１０の発明において、前記出力信号生成部は、前記分析情報に基づいて前記入力信号と前記出力信号との関係を周波数成分毎に表したオブジェクトレンダリング情報を生成する構成要素情報変換部と、前記オブジェクト情報と前記オブジェクトレンダリング情報とに基づいて前記レンダリング情報を生成するレンダリング情報生成部と、前記レンダリング情報に基づいて、前記入力信号から前記出力信号を生成するレンダリング部とを含むことを特徴とする。

また、第１２の発明は、上記第１０の発明において、前記出力信号生成部は、前記分析情報と前記入力信号とに基づいて前記入力信号と前記出力信号との関係を周波数成分毎に表したオブジェクトレンダリング情報を生成する構成要素情報変換部と、前記オブジェクト情報と前記オブジェクトレンダリング情報とに基づいて前記レンダリング情報を生成するレンダリング情報生成部と、前記レンダリング情報に基づいて、前記入力信号から前記出力信号を生成するレンダリング部とを含むことを特徴とする。

また、第１３の発明は、上記第１０の発明において、前記出力信号生成部は、さらに特定の構成要素を制御する信号制御情報を受け、前記分析情報と前記オブジェクト情報と前記構成要素レンダリング情報と前記信号制御情報とに基づいて前記構成要素が制御された出力信号を生成することを特徴とする。

また、第１４の発明は、上記第１３の発明において、前記出力信号生成部は、前記オブジェクト情報に基づいて前記信号が周波数成分に分解されたオブジェクト信号を生成し、前記分析情報に基づいて前記オブジェクト信号の構成要素を分解し、前記信号制御情報に基づいて前記構成要素を修正し、前記修正構成要素から修正信号を生成し、前記修正構成要素と前記修正信号との関係を表したパラメータを生成する信号制御部と、前記パラメータに基づいて前記構成要素レンダリング情報を前記修正信号と前記出力信号との関係を表すレンダリング情報を生成するレンダリング情報生成部と、前記レンダリング情報に基づいて、前記修正信号から前記出力信号を生成するレンダリング部とを含むことを特徴とする。

また、第１５の発明は、上記第１３の発明において、前記出力信号生成部は、前記分析情報と前記信号制御情報とに基づいて前記入力信号と前記出力信号との関係を周波数成分毎に表したオブジェクトレンダリング情報を生成する構成要素情報変換部と、前記オブジェクト情報と前記オブジェクトレンダリング情報とに基づいて前記レンダリング情報を生成するレンダリング情報生成部と、前記レンダリング情報に基づいて、前記入力信号から前記出力信号を生成するレンダリング部とを含むことを特徴とする。

また、第１６の発明は、上記第１３の発明において、前記出力信号生成部は、前記分析情報と前記信号制御情報と前記入力信号とに基づいて前記オブジェクト信号と前記出力信号との関係を周波数成分毎に表したオブジェクトレンダリング情報を生成する構成要素情報変換部と、前記オブジェクト情報と前記オブジェクトレンダリング情報とに基づいて前記レンダリング情報を生成するレンダリング情報生成部と、前記レンダリング情報に基づいて、前記入力信号から前記出力信号を生成するレンダリング部とを含むことを特徴とする。

また、第１７の発明は、複数の構成要素を含む入力信号と前記複数の構成要素間の関係を表す分析情報と前記入力信号の周波数成分毎の特性を表すオブジェクト情報とを受ける信号受信部と、前記入力信号と前記出力信号との関係を周波数成分毎に表したオブジェクトレンダリング情報と特定の構成要素を制御する信号制御情報とを受け、前記分析情報と前記オブジェクト情報と前記オブジェクトレンダリング情報と前記信号制御情報とに基づいて前記構成要素が制御された出力信号を生成する出力信号生成部とを含むことを特徴とする信号制御装置である。

また、第１８の発明は、上記第１７の発明において、前記出力信号生成部は、前記オブジェクト情報に基づいて前記信号が周波数成分に分解されたオブジェクト信号を生成し、前記分析情報に基づいて前記オブジェクト信号の構成要素を分解し、前記信号制御情報に基づいて前記構成要素を修正し、前記修正構成要素から修正信号を生成し、前記修正構成要素と前記修正信号との関係を表したパラメータを生成する信号制御部と、前記パラメータと前記オブジェクトレンダリング情報とに基づいて前記修正信号と前記出力信号との関係を表すレンダリング情報を生成するレンダリング情報生成部と、前記レンダリング情報に基づいて、前記修正信号から前記出力信号を生成するレンダリング部とを含むことを特徴とする。

また、第１９の発明は、上記第１７の発明において、前記出力信号生成部は、前記分析情報と前記信号制御情報とに基づいて前記オブジェクトレンダリング情報を修正するオブジェクトレンダリング情報修正部と、前記オブジェクト情報と前記オブジェクトレンダリング情報とに基づいて前記レンダリング情報を生成するレンダリング情報生成部と、前記レンダリング情報に基づいて、前記入力信号から前記出力信号を生成するレンダリング部とを含むことを特徴とする。

また、第２０の発明は、上記第１７の発明において、前記出力信号生成部は、前記分析情報と前記信号制御情報と前記入力信号とに基づいて前記オブジェクトレンダリング情報を修正するオブジェクトレンダリング情報修正部と、前記オブジェクト情報と前記オブジェクトレンダリング情報とに基づいて前記レンダリング情報を生成するレンダリング情報生成部と、前記レンダリング情報に基づいて、前記入力信号から前記出力信号を生成するレンダリング部とを含むことを特徴とする。

また、第２１の発明は、複数の構成要素を含む第１の信号と、前記第１の信号に含まれる複数の構成要素間の関係を表す第１の分析情報とを受信し、複数の構成要素を含む第２の信号と、前記第２の信号に含まれる複数の構成要素間の関係を表す第２の分析情報とを受信し、前記第１の信号と前記第２の信号とを混合し、前記第１の分析情報と前記第２の分析情報とを混合することを特徴とする多地点接続方法である。

また、第２２の発明は、上記第２１の発明において、前記第１の分析情報と前記第２の分析情報とをそれぞれの周波数成分を表す第１の分析パラメータと第２の分析パラメータとに変換し、前記第１の分析パラメータと前記第２の分析パラメータとを周波数成分毎に混合することを特徴とする。

また、第２３の発明は、上記第２１の発明において、前記第１の信号と前記第２の信号とを混合して混合情報を生成し、前記混合情報に基づいて、前記第１の分析情報と前記第２の分析情報とを混合することを特徴とする。

また、第２４の発明は、上記第２３の発明において、前記第１の分析情報と前記第２の分析情報とをそれぞれの周波数成分を表す第１の分析パラメータと第２の分析パラメータとに変換し、前記混合情報に基づいて前記第１の分析パラメータと前記第２の分析パラメータとを周波数成分毎に混合することを特徴とする。

また、第２５の発明は、上記第２４の発明において、前記第１の分析パラメータと前記第２の分析パラメータとを選択することを特徴とする。

また、第２６の発明は、上記第２３又は第２４の発明において、前記混合情報は前記第１の信号と前記第２の信号との重み付けであることを特徴とする。

また、第２７の発明は、上記第２１の発明において、前記前記第１の信号の周波数成分毎の特性を表す第１のオブジェクト情報を受信し、前記前記第２の信号の周波数成分毎の特性を表す第２のオブジェクト情報を受信し、前記第１のオブジェクト情報と前記第２のオブジェクト情報とを更に混合することを特徴とする。

また、第２８の発明は、上記第２７の発明において、前記第１のオブジェクト情報と前記第２のオブジェクト情報とを重要度に応じて選択することを特徴とする。

また、第２９の発明は、複数の構成要素を含む入力信号から前記複数の構成要素間の関係を表す分析情報を生成し、前記入力信号の周波数成分毎の特性を表すオブジェクト情報を生成することを特徴とする信号分析方法である。

また、第３０の発明は、複数の構成要素を含む入力信号と、前記複数の構成要素間の関係を表す分析情報と、前記入力信号の周波数成分毎の特性を表すオブジェクト情報とを受信し、前記構成要素の出力を制御する構成要素レンダリング情報を受信し、前記分析情報と前記オブジェクト情報と前記構成要素レンダリング情報とに基づいて、前記構成要素が制御された出力信号を生成することを特徴とする信号制御方法である。

また、第３１の発明は、上記第３０の発明において、前記分析情報に基づいて前記入力信号と前記出力信号との関係を周波数成分毎に表したオブジェクトレンダリング情報を生成し、前記オブジェクト情報と前記オブジェクトレンダリング情報とに基づいて、前記レンダリング情報を生成し、前記レンダリング情報に基づいて、前記入力信号から前記出力信号を生成することを特徴とする。

また、第３２の発明は、上記第３０の発明において、前記分析情報と前記入力信号とに基づいて、前記入力信号と前記出力信号との関係を周波数成分毎に表したオブジェクトレンダリング情報を生成し、前記オブジェクト情報と前記オブジェクトレンダリング情報とに基づいて、前記レンダリング情報を生成し、前記レンダリング情報に基づいて、前記入力信号から前記出力信号を生成することを特徴とする。

また、第３３の発明は、上記第３０の発明において、特定の構成要素を制御する信号制御情報を受信し、前記分析情報と前記オブジェクト情報と前記構成要素レンダリング情報と前記信号制御情報とに基づいて、前記構成要素が制御された出力信号を生成することを特徴とする。

また、第３４の発明は、上記第３３の発明において、前記オブジェクト情報に基づいて、前記信号が周波数成分に分解されたオブジェクト信号を生成し、前記分析情報に基づいて前記オブジェクト信号の構成要素を分解し、前記信号制御情報に基づいて前記構成要素を修正し、前記修正構成要素から修正信号を生成し、前記修正構成要素と前記修正信号との関係を表したパラメータを生成し、前記パラメータに基づいて前記構成要素レンダリング情報を前記修正信号と前記出力信号との関係を表すレンダリング情報を生成し、前記レンダリング情報に基づいて、前記修正信号から前記出力信号を生成することを特徴とする。

また、第３５の発明は、上記第３３の発明において、前記分析情報と前記信号制御情報とに基づいて、前記入力信号と前記出力信号との関係を周波数成分毎に表したオブジェクトレンダリング情報を生成し、前記オブジェクト情報と前記オブジェクトレンダリング情報とに基づいて、前記レンダリング情報を生成し、前記レンダリング情報に基づいて、前記入力信号から前記出力信号を生成することを特徴とする。

また、第３６の発明は、上記第３３の発明において、前記分析情報と前記信号制御情報と前記入力信号とに基づいて、前記オブジェクト信号と前記出力信号との関係を周波数成分毎に表したオブジェクトレンダリング情報を生成し、前記オブジェクト情報と前記オブジェクトレンダリング情報とに基づいて、前記レンダリング情報を生成し、前記レンダリング情報に基づいて、前記入力信号から前記出力信号を生成することを特徴とする。

また、第３７の発明は、複数の構成要素を含む入力信号と、前記複数の構成要素間の関係を表す分析情報と、前記入力信号の周波数成分毎の特性を表すオブジェクト情報とを受信し、前記入力信号と前記出力信号との関係を周波数成分毎に表したオブジェクトレンダリング情報と特定の構成要素を制御する信号制御情報とを受信し、前記分析情報と前記オブジェクト情報と前記オブジェクトレンダリング情報と前記信号制御情報とに基づいて、前記構成要素が制御された出力信号を生成することを特徴とする信号制御方法である。

また、第３８の発明は、上記第３７の発明において、前記オブジェクト情報に基づいて前記信号が周波数成分に分解されたオブジェクト信号を生成し、前記分析情報に基づいて前記オブジェクト信号の構成要素を分解し、前記信号制御情報に基づいて前記構成要素を修正し、前記修正構成要素から修正信号を生成し、前記修正構成要素と前記修正信号との関係を表したパラメータを生成し、前記パラメータと前記オブジェクトレンダリング情報とに基づいて、前記修正信号と前記出力信号との関係を表すレンダリング情報を生成し、
前記レンダリング情報に基づいて、前記修正信号から前記出力信号を生成することを特徴とする。

また、第３９の発明は、上記第３７の発明において、前記分析情報と前記信号制御情報とに基づいて、前記オブジェクトレンダリング情報を修正し、前記オブジェクト情報と前記オブジェクトレンダリング情報とに基づいて、前記レンダリング情報を生成し、前記レンダリング情報に基づいて、前記入力信号から前記出力信号を生成することを特徴とする。

また、第４０の発明は、上記第３７の発明において、前記分析情報と前記信号制御情報と前記入力信号とに基づいて、前記オブジェクトレンダリング情報を修正し、前記オブジェクト情報と前記オブジェクトレンダリング情報とに基づいて、前記レンダリング情報を生成し、前記レンダリング情報に基づいて、前記入力信号から前記出力信号を生成することを特徴とする。

また、第４１の発明は、複数の構成要素を含む第１の信号と前記第１の信号に含まれる複数の構成要素間の関係を表す第１の分析情報とを受信する処理と、複数の構成要素を含む第２の信号と前記第２の信号に含まれる複数の構成要素間の関係を表す第２の分析情報とを受信する処理と、前記第１の信号と前記第２の信号とを混合する処理と、前記第１の分析情報と前記第２の分析情報とを混合する処理とを情報処理装置に実行させるプログラムである。

また、第４２の発明は、上記第３０の発明において、複数の構成要素を含む入力信号を受信する処理と、前記入力信号から前記複数の構成要素間の関係を表す分析情報を生成する処理と、前記入力信号の周波数成分毎の特性を表すオブジェクト情報を生成する処理とを情報処理装置に実行させるプログラムである。

また、第４３の発明は、複数の構成要素を含む入力信号と前記複数の構成要素間の関係を表す分析情報と前記入力信号の周波数成分毎の特性を表すオブジェクト情報とを受信する処理と、前記構成要素の出力を制御する構成要素レンダリング情報を受け、前記分析情報と前記オブジェクト情報と前記構成要素レンダリング情報とに基づいて前記構成要素が制御された出力信号を生成する処理とを情報処理装置に実行させるプログラムである。

また、第４４の発明は、複数の構成要素を含む入力信号と前記複数の構成要素間の関係を表す分析情報と前記入力信号の周波数成分毎の特性を表すオブジェクト情報とを受信する処理と、前記入力信号と前記出力信号との関係を周波数成分毎に表したオブジェクトレンダリング情報と特定の構成要素を制御する信号制御情報とを受け、前記分析情報と前記オブジェクト情報と前記オブジェクトレンダリング情報と前記信号制御情報とに基づいて前記構成要素が制御された出力信号を生成する処理とを情報処理装置に実行させるプログラムである。

本出願は、２００７年６月２７日に出願された日本出願特願２００７−１６８５４７号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims

複数の構成要素を含む第１の信号と前記第１の信号に含まれる複数の構成要素間の関係を表す第１の分析情報とを受ける第１の信号受信部と、
複数の構成要素を含む第２の信号と前記第２の信号に含まれる複数の構成要素間の関係を表す第２の分析情報とを受ける第２の信号受信部と、
前記第１の信号と前記第２の信号とを混合する信号混合部と、
前記第１の分析情報と前記第２の分析情報とを混合する分析情報混合部と
を含むことを特徴とする多地点接続装置。
前記分析情報混合部は、前記第１の分析情報と前記第２の分析情報とをそれぞれの周波数成分を表す第１の分析パラメータと第２の分析パラメータとに変換し、前記第１の分析パラメータと前記第２の分析パラメータとを周波数成分毎に混合する分析パラメータ混合部を含むことを特徴とする請求項１に記載の多地点接続装置。
前記信号混合部は混合情報を生成し、
前記分析情報混合部は前記混合情報に基づいて前記第１の分析情報と前記第２の分析情報とを混合することを特徴とする請求項１に記載の多地点接続装置。
前記分析情報混合部は、前記第１の分析情報と前記第２の分析情報とをそれぞれの周波数成分を表す第１の分析パラメータと第２の分析パラメータとに変換し、前記混合情報に基づいて前記第１の分析パラメータと前記第２の分析パラメータとを周波数成分毎に混合する分析パラメータ混合部を含むことを特徴とする請求項３に記載の多地点接続装置。
前記分析情報混合部は、前記第１の分析パラメータと前記第２の分析パラメータとを選択する選択部を含むことを特徴とする請求項４に記載の多地点接続装置。
前記混合情報は前記第１の信号と前記第２の信号との重み付けであることを特徴とする請求項３または請求項４に記載の多地点接続装置。
前記第１の信号受信部は、前記前記第１の信号の周波数成分毎の特性を表す第１のオブジェクト情報を受け、
前記第２の信号受信部は、前記前記第２の信号の周波数成分毎の特性を表す第２のオブジェクト情報を受け、
前記第１のオブジェクト情報と前記第２のオブジェクト情報とを混合するオブジェクト情報混合部をさらに含む
ことを特徴とする請求項１に記載の多地点接続装置。
前記オブジェクト情報混合部は、前記第１のオブジェクト情報と前記第２のオブジェクト情報とを重要度に応じて選択することを特徴とする請求項７に記載の多地点接続装置。
複数の構成要素を含む入力信号を受ける信号受信部と、
前記入力信号から前記複数の構成要素間の関係を表す分析情報を生成する信号分析部と、
前記入力信号の周波数成分毎の特性を表すオブジェクト情報を生成するオブジェクト情報抽出部と
を含むことを特徴とする信号分析装置。
複数の構成要素を含む入力信号と前記複数の構成要素間の関係を表す分析情報と前記入力信号の周波数成分毎の特性を表すオブジェクト情報とを受ける信号受信部と、
前記構成要素の出力を制御する構成要素レンダリング情報を受け、前記分析情報と前記オブジェクト情報と前記構成要素レンダリング情報とに基づいて前記構成要素が制御された出力信号を生成する出力信号生成部と
を含むことを特徴とする信号制御装置。
前記出力信号生成部は、
前記分析情報に基づいて前記入力信号と前記出力信号との関係を周波数成分毎に表したオブジェクトレンダリング情報を生成する構成要素情報変換部と、
前記オブジェクト情報と前記オブジェクトレンダリング情報とに基づいて前記レンダリング情報を生成するレンダリング情報生成部と、
前記レンダリング情報に基づいて、前記入力信号から前記出力信号を生成するレンダリング部と
を含むことを特徴とする請求項１０に記載の信号制御装置。
前記出力信号生成部は、
前記分析情報と前記入力信号とに基づいて前記入力信号と前記出力信号との関係を周波数成分毎に表したオブジェクトレンダリング情報を生成する構成要素情報変換部と、
前記オブジェクト情報と前記オブジェクトレンダリング情報とに基づいて前記レンダリング情報を生成するレンダリング情報生成部と、
前記レンダリング情報に基づいて、前記入力信号から前記出力信号を生成するレンダリング部と
を含むことを特徴とする請求項１０に記載の信号制御装置。
前記出力信号生成部は、さらに特定の構成要素を制御する信号制御情報を受け、前記分析情報と前記オブジェクト情報と前記構成要素レンダリング情報と前記信号制御情報とに基づいて前記構成要素が制御された出力信号を生成することを特徴とする請求項１０に記載の信号制御装置。
前記出力信号生成部は、
前記オブジェクト情報に基づいて前記信号が周波数成分に分解されたオブジェクト信号を生成し、前記分析情報に基づいて前記オブジェクト信号の構成要素を分解し、前記信号制御情報に基づいて前記構成要素を修正し、前記修正構成要素から修正信号を生成し、前記修正構成要素と前記修正信号との関係を表したパラメータを生成する信号制御部と、
前記パラメータに基づいて前記構成要素レンダリング情報を前記修正信号と前記出力信号との関係を表すレンダリング情報を生成するレンダリング情報生成部と、
前記レンダリング情報に基づいて、前記修正信号から前記出力信号を生成するレンダリング部と
を含むことを特徴とする請求項１３に記載の信号制御装置。
前記出力信号生成部は、
前記分析情報と前記信号制御情報とに基づいて前記入力信号と前記出力信号との関係を周波数成分毎に表したオブジェクトレンダリング情報を生成する構成要素情報変換部と、
前記オブジェクト情報と前記オブジェクトレンダリング情報とに基づいて前記レンダリング情報を生成するレンダリング情報生成部と、
前記レンダリング情報に基づいて、前記入力信号から前記出力信号を生成するレンダリング部と
を含むことを特徴とする請求項１３に記載の信号制御装置。
前記出力信号生成部は、
前記分析情報と前記信号制御情報と前記入力信号とに基づいて前記オブジェクト信号と前記出力信号との関係を周波数成分毎に表したオブジェクトレンダリング情報を生成する構成要素情報変換部と、
前記オブジェクト情報と前記オブジェクトレンダリング情報とに基づいて前記レンダリング情報を生成するレンダリング情報生成部と、
前記レンダリング情報に基づいて、前記入力信号から前記出力信号を生成するレンダリング部と
を含むことを特徴とする請求項１３に記載の信号制御装置。
複数の構成要素を含む入力信号と前記複数の構成要素間の関係を表す分析情報と前記入力信号の周波数成分毎の特性を表すオブジェクト情報とを受ける信号受信部と、
前記入力信号と前記出力信号との関係を周波数成分毎に表したオブジェクトレンダリング情報と特定の構成要素を制御する信号制御情報とを受け、前記分析情報と前記オブジェクト情報と前記オブジェクトレンダリング情報と前記信号制御情報とに基づいて前記構成要素が制御された出力信号を生成する出力信号生成部と
を含むことを特徴とする信号制御装置。
前記出力信号生成部は、
前記オブジェクト情報に基づいて前記信号が周波数成分に分解されたオブジェクト信号を生成し、前記分析情報に基づいて前記オブジェクト信号の構成要素を分解し、前記信号制御情報に基づいて前記構成要素を修正し、前記修正構成要素から修正信号を生成し、前記修正構成要素と前記修正信号との関係を表したパラメータを生成する信号制御部と、
前記パラメータと前記オブジェクトレンダリング情報とに基づいて前記修正信号と前記出力信号との関係を表すレンダリング情報を生成するレンダリング情報生成部と、
前記レンダリング情報に基づいて、前記修正信号から前記出力信号を生成するレンダリング部と
を含むことを特徴とする請求項１７に記載の信号制御装置。
前記出力信号生成部は、
前記分析情報と前記信号制御情報とに基づいて前記オブジェクトレンダリング情報を修正するオブジェクトレンダリング情報修正部と、
前記オブジェクト情報と前記オブジェクトレンダリング情報とに基づいて前記レンダリング情報を生成するレンダリング情報生成部と、
前記レンダリング情報に基づいて、前記入力信号から前記出力信号を生成するレンダリング部と
を含むことを特徴とする請求項１７に記載の信号制御装置。
前記出力信号生成部は、
前記分析情報と前記信号制御情報と前記入力信号とに基づいて前記オブジェクトレンダリング情報を修正するオブジェクトレンダリング情報修正部と、
前記オブジェクト情報と前記オブジェクトレンダリング情報とに基づいて前記レンダリング情報を生成するレンダリング情報生成部と、
前記レンダリング情報に基づいて、前記入力信号から前記出力信号を生成するレンダリング部と
を含むことを特徴とする請求項１７に記載の信号制御装置。
複数の構成要素を含む第１の信号と、前記第１の信号に含まれる複数の構成要素間の関係を表す第１の分析情報とを受信し、
複数の構成要素を含む第２の信号と、前記第２の信号に含まれる複数の構成要素間の関係を表す第２の分析情報とを受信し、
前記第１の信号と前記第２の信号とを混合し、
前記第１の分析情報と前記第２の分析情報とを混合する
ことを特徴とする多地点接続方法。
前記第１の分析情報と前記第２の分析情報とをそれぞれの周波数成分を表す第１の分析パラメータと第２の分析パラメータとに変換し、前記第１の分析パラメータと前記第２の分析パラメータとを周波数成分毎に混合することを特徴とする請求項２１に記載の多地点接続方法。
前記第１の信号と前記第２の信号とを混合して混合情報を生成し、
前記混合情報に基づいて、前記第１の分析情報と前記第２の分析情報とを混合することを特徴とする請求項２１に記載の多地点接続方法。
前記第１の分析情報と前記第２の分析情報とをそれぞれの周波数成分を表す第１の分析パラメータと第２の分析パラメータとに変換し、前記混合情報に基づいて前記第１の分析パラメータと前記第２の分析パラメータとを周波数成分毎に混合することを特徴とする請求項２３に記載の多地点接続方法。
前記第１の分析パラメータと前記第２の分析パラメータとを選択することを特徴とする請求項２４に記載の多地点接続方法。
前記混合情報は前記第１の信号と前記第２の信号との重み付けであることを特徴とする請求項２３または請求項２４に記載の多地点接続方法。
前記前記第１の信号の周波数成分毎の特性を表す第１のオブジェクト情報を受信し、
前記前記第２の信号の周波数成分毎の特性を表す第２のオブジェクト情報を受信し、
前記第１のオブジェクト情報と前記第２のオブジェクト情報とを更に混合する
ことを特徴とする請求項２１に記載の多地点接続方法。
前記第１のオブジェクト情報と前記第２のオブジェクト情報とを重要度に応じて選択することを特徴とする請求項２７に記載の多地点接続方法。
複数の構成要素を含む入力信号から前記複数の構成要素間の関係を表す分析情報を生成し、
前記入力信号の周波数成分毎の特性を表すオブジェクト情報を生成することを特徴とする信号分析方法。
複数の構成要素を含む入力信号と、前記複数の構成要素間の関係を表す分析情報と、前記入力信号の周波数成分毎の特性を表すオブジェクト情報とを受信し、
前記構成要素の出力を制御する構成要素レンダリング情報を受信し、前記分析情報と前記オブジェクト情報と前記構成要素レンダリング情報とに基づいて、前記構成要素が制御された出力信号を生成することを特徴とする信号制御方法。
前記分析情報に基づいて前記入力信号と前記出力信号との関係を周波数成分毎に表したオブジェクトレンダリング情報を生成し、
前記オブジェクト情報と前記オブジェクトレンダリング情報とに基づいて、前記レンダリング情報を生成し、
前記レンダリング情報に基づいて、前記入力信号から前記出力信号を生成することを特徴とする請求項３０に記載の信号制御方法。
前記分析情報と前記入力信号とに基づいて、前記入力信号と前記出力信号との関係を周波数成分毎に表したオブジェクトレンダリング情報を生成し、
前記オブジェクト情報と前記オブジェクトレンダリング情報とに基づいて、前記レンダリング情報を生成し、
前記レンダリング情報に基づいて、前記入力信号から前記出力信号を生成することを特徴とする請求項３０に記載の信号制御方法。
特定の構成要素を制御する信号制御情報を受信し、前記分析情報と前記オブジェクト情報と前記構成要素レンダリング情報と前記信号制御情報とに基づいて、前記構成要素が制御された出力信号を生成することを特徴とする請求項３０に記載の信号制御方法。
前記オブジェクト情報に基づいて、前記信号が周波数成分に分解されたオブジェクト信号を生成し、前記分析情報に基づいて前記オブジェクト信号の構成要素を分解し、前記信号制御情報に基づいて前記構成要素を修正し、前記修正構成要素から修正信号を生成し、前記修正構成要素と前記修正信号との関係を表したパラメータを生成し、
前記パラメータに基づいて前記構成要素レンダリング情報を前記修正信号と前記出力信号との関係を表すレンダリング情報を生成し、
前記レンダリング情報に基づいて、前記修正信号から前記出力信号を生成することを特徴とする請求項３３に記載の信号制御方法。
前記分析情報と前記信号制御情報とに基づいて、前記入力信号と前記出力信号との関係を周波数成分毎に表したオブジェクトレンダリング情報を生成し、
前記オブジェクト情報と前記オブジェクトレンダリング情報とに基づいて、前記レンダリング情報を生成し、
前記レンダリング情報に基づいて、前記入力信号から前記出力信号を生成することを特徴とする請求項３３に記載の信号制御方法。
前記分析情報と前記信号制御情報と前記入力信号とに基づいて、前記オブジェクト信号と前記出力信号との関係を周波数成分毎に表したオブジェクトレンダリング情報を生成し、
前記オブジェクト情報と前記オブジェクトレンダリング情報とに基づいて、前記レンダリング情報を生成し、
前記レンダリング情報に基づいて、前記入力信号から前記出力信号を生成することを特徴とする請求項３３に記載の信号制御方法。
複数の構成要素を含む入力信号と、前記複数の構成要素間の関係を表す分析情報と、前記入力信号の周波数成分毎の特性を表すオブジェクト情報とを受信し、
前記入力信号と前記出力信号との関係を周波数成分毎に表したオブジェクトレンダリング情報と特定の構成要素を制御する信号制御情報とを受信し、前記分析情報と前記オブジェクト情報と前記オブジェクトレンダリング情報と前記信号制御情報とに基づいて、前記構成要素が制御された出力信号を生成することを特徴とする信号制御方法。
前記オブジェクト情報に基づいて前記信号が周波数成分に分解されたオブジェクト信号を生成し、前記分析情報に基づいて前記オブジェクト信号の構成要素を分解し、前記信号制御情報に基づいて前記構成要素を修正し、前記修正構成要素から修正信号を生成し、前記修正構成要素と前記修正信号との関係を表したパラメータを生成し、
前記パラメータと前記オブジェクトレンダリング情報とに基づいて、前記修正信号と前記出力信号との関係を表すレンダリング情報を生成し、
前記レンダリング情報に基づいて、前記修正信号から前記出力信号を生成することを特徴とする請求項３７に記載の信号制御方法。
前記分析情報と前記信号制御情報とに基づいて、前記オブジェクトレンダリング情報を修正し、
前記オブジェクト情報と前記オブジェクトレンダリング情報とに基づいて、前記レンダリング情報を生成し、
前記レンダリング情報に基づいて、前記入力信号から前記出力信号を生成することを特徴とする請求項３７に記載の信号制御方法。
前記分析情報と前記信号制御情報と前記入力信号とに基づいて、前記オブジェクトレンダリング情報を修正し、
前記オブジェクト情報と前記オブジェクトレンダリング情報とに基づいて、前記レンダリング情報を生成し、
前記レンダリング情報に基づいて、前記入力信号から前記出力信号を生成することを特徴とする請求項３７に記載の信号制御方法。
複数の構成要素を含む第１の信号と前記第１の信号に含まれる複数の構成要素間の関係を表す第１の分析情報とを受信する処理と、
複数の構成要素を含む第２の信号と前記第２の信号に含まれる複数の構成要素間の関係を表す第２の分析情報とを受信する処理と、
前記第１の信号と前記第２の信号とを混合する処理と、
前記第１の分析情報と前記第２の分析情報とを混合する処理と
を情報処理装置に実行させるプログラム。
複数の構成要素を含む入力信号を受信する処理と、
前記入力信号から前記複数の構成要素間の関係を表す分析情報を生成する処理と、
前記入力信号の周波数成分毎の特性を表すオブジェクト情報を生成する処理と
を情報処理装置に実行させるプログラム。
複数の構成要素を含む入力信号と前記複数の構成要素間の関係を表す分析情報と前記入力信号の周波数成分毎の特性を表すオブジェクト情報とを受信する処理と、
前記構成要素の出力を制御する構成要素レンダリング情報を受け、前記分析情報と前記オブジェクト情報と前記構成要素レンダリング情報とに基づいて前記構成要素が制御された出力信号を生成する処理と
を情報処理装置に実行させるプログラム。
複数の構成要素を含む入力信号と前記複数の構成要素間の関係を表す分析情報と前記入力信号の周波数成分毎の特性を表すオブジェクト情報とを受信する処理と、
前記入力信号と前記出力信号との関係を周波数成分毎に表したオブジェクトレンダリング情報と特定の構成要素を制御する信号制御情報とを受け、前記分析情報と前記オブジェクト情報と前記オブジェクトレンダリング情報と前記信号制御情報とに基づいて前記構成要素が制御された出力信号を生成する処理と
を情報処理装置に実行させるプログラム。