JP6512607B2 - 環境音合成装置、その方法及びプログラム - Google Patents

Description

本発明は、伝送元で収音された環境音を、伝送先で再生する環境音合成装置、その方法及びプログラムに関する。

実測データをもとに算出した個人差や、速度・大きさの揺らぎの程度を利用して、単独のユーザと同期するように複数の拍手音を合成し出力する技術が提案されている（非特許文献１）。また、ある地点の音を別の場所に伝送し再生する技術として、音響符号化技術が知られている。例えば、非特許文献２では、聴覚マスキングを巧みに利用し、また楽器の特性を利用して低域の成分を高域にコピーして使うという楽音の特性に合わせたモデルにより、低ビットレートで品質の高い音響符号化技術が提案されている。

非特許文献１は、ユーザと同調する複数の人がその場にいるような環境を仮想的に実現することを目的としたものであり、ユーザの拍手のピッチに合わせて仮想的な拍手音を合成する技術であり、実在する遠隔地の場の状況（拍手音や手拍子）を、別の場所に伝送し再現することはできなかった。また、声援・掛け声などの拍手音以外の環境音を伝送し再現することは対象としていない。また、拍手音や声援・掛け声などの環境音は純粋な音声や楽器音とは異なり白色雑音に近いため、非特許文献２のような従来の音響符号化技術ではうまく表現できず、音質が劣化していた。

伝送元において収音された拍手や手拍子音、声援・掛け声などの環境音を効率よく伝送し、伝送先で伝送元の場の雰囲気を再現することができる環境音合成装置として、特許文献１が知られている。

特許文献１の環境音合成装置では、テンプレート記憶部に１フレーム分（一定時間分）の環境音のテンプレートと当該テンプレートの環境音の音量に対応する情報とを対応付けて記憶しておき、音源合成部が受信した環境音量パラメタと同じ音量大きさのテンプレートをテンプレート記憶部から選択し、選択したテンプレートを合成して環境音を生成する。

特開２０１４−６３１４５号公報

西村竜一、宮里勉、「仮想的集団による拍手音の合成」、電子情報通信学会技術研究報告、電子情報通信学会、1999年3月、MVE,マルチメディア・仮想環境基礎、98(684), p.17-24, Stefan Meltzer and Gerald Moser,"MPEG-4 HE-AAC v2 - audio coding for today's digital media world," EBU technical review, Jan., 2006.

しかしながら、特許文献１では、伝送元における残響を考慮していない。そのため、生成された環境音を再生すると、一点から環境音が発せられるように聞こえてしまい、実際には一点ではなく所定の空間から発せられる環境音を適切に再現することが難しい。特に、伝送元の空間が広い場合にその傾向が強くなる。

そこで本発明では、伝送元において収音された環境音を効率よく伝送し、伝送先で伝送元の場の雰囲気を残響を考慮して再現することができる環境音合成装置、その方法及びプログラムを提供することを目的とする。

上記の課題を解決するために、本発明の一態様によれば、環境音合成装置は、環境音分析装置から伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する。環境音合成装置は、環境音分析装置から環境音量パラメタを受信するデータ受信部と、１フレーム分の環境音のテンプレート（以下、テンプレートという）と当該テンプレートの環境音の音量に対応する情報とを対応付けて記憶するテンプレート記憶部と、環境音量パラメタで特定される音量に応じたテンプレートをテンプレート記憶部から選択し、選択したテンプレートに環境音量パラメタで特定される音量とその音量に応じた残響特性とを用いて、残響を加えたテンプレートを合成することで環境音を生成する残響付加音源合成部とを含む。

上記の課題を解決するために、本発明の他の態様によれば、環境音合成装置は、環境音分析装置から伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する。環境音合成装置は、環境音分析装置から環境音量パラメタを受信するデータ受信部と、１フレーム分の残響を加えた環境音のテンプレート（以下、テンプレートという）と当該テンプレートの環境音の音量に対応する情報とを対応付けて記憶するテンプレート記憶部と、環境音量パラメタで特定される音量に応じたテンプレートをテンプレート記憶部から選択し、選択したテンプレートを合成して環境音を生成する残響付加音源合成部とを含む。

上記の課題を解決するために、本発明の他の態様によれば、環境音合成装置は、環境音分析装置から伝送元の空間の大きさに基づく音響信号の残響に関する環境残響パラメタを取得して環境音を生成する。環境音合成装置は、環境音分析装置から環境残響パラメタを受信するデータ受信部と、１フレーム分の残響を加えた環境音のテンプレート（以下、テンプレートという）と当該テンプレートの環境音の残響に対応する情報とを対応付けて記憶するテンプレート記憶部と、環境残響パラメタで特定される残響に応じたテンプレートをテンプレート記憶部から選択し、選択したテンプレートを合成して環境音を生成する残響付加音源合成部とを含む。

上記の課題を解決するために、本発明の他の態様によれば、環境音合成方法は、伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する。環境音合成方法は、データ受信部が、環境音量パラメタを受信するデータ受信ステップと、残響付加音源合成部が、１フレーム分の環境音のテンプレート（以下、テンプレートという）と当該テンプレートの環境音の音量に対応する情報とを対応付けて記憶するテンプレート記憶部から環境音量パラメタで特定される音量に応じたテンプレートを選択し、選択したテンプレートに環境音量パラメタで特定される音量とその音量に応じた残響特性とを用いて、残響を加えたテンプレートを合成することで環境音を生成する残響付加音源合成ステップとを含む。

上記の課題を解決するために、本発明の他の態様によれば、環境音合成方法は、伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する。環境音合成方法は、データ受信部が、環境音量パラメタを受信するデータ受信ステップと、残響付加音源合成部が、１フレーム分の残響を加えた環境音のテンプレート（以下、テンプレートという）と当該テンプレートの環境音の音量に対応する情報とを対応付けて記憶するテンプレート記憶部から、環境音量パラメタで特定される音量に応じたテンプレートを選択し、選択したテンプレートを合成して環境音を生成する音源合成ステップとを含む。

上記の課題を解決するために、本発明の他の態様によれば、環境音合成方法は、伝送元の空間の大きさに基づく音響信号の残響に関する環境残響パラメタを取得して環境音を生成する。環境音合成方法は、データ受信部が、環境残響パラメタを受信するデータ受信ステップと、残響付加音源合成部が、１フレーム分の残響を加えた環境音のテンプレート（以下、テンプレートという）と当該テンプレートの環境音の残響に対応する情報とを対応付けて記憶するテンプレート記憶部から、環境残響パラメタで特定される残響に応じたテンプレートを選択し、選択したテンプレートを合成して環境音を生成する音源合成ステップとを含む。

本発明によれば、伝送元において収音された環境音を効率よく伝送し、伝送先で伝送元の場の雰囲気を残響を考慮して再現することができるという効果を奏する。

本発明の環境音伝送システムの構成例を示すブロック図。 実施例１の環境音分析装置の構成を示すブロック図。 実施例１の環境音分析装置の動作を示すフローチャート。 実施例２の環境音分析装置の構成を示すブロック図。 実施例２の環境音分析装置の動作を示すフローチャート。 実施例２のパラメタ変換部のパラメタ生成手順を例示する図。 実施例２の変形例１の環境音分析装置の構成を示すブロック図。 実施例２の変形例１の環境音分析装置の動作を示すフローチャート。 実施例３、実施例５の環境音合成装置の構成を示すブロック図。 実施例３の環境音合成装置の動作を示すフローチャート。 実施例３の残響付加音源合成部の残響付加方法を説明するための図。 実施例４の環境音合成装置の構成を示すブロック図。 実施例４の環境音合成装置の動作を示すフローチャート。 実施例４の音源合成部の環境音素片テンプレート合成手順を例示する図。 実施例５の環境音合成装置の動作を示すフローチャート。 実施例６の環境音分析装置の構成を示すブロック図。 実施例６の環境音分析装置の動作を示すフローチャート。 実施例７、８の環境音合成装置の構成を示すブロック図。 実施例７の環境音合成装置の動作を示すフローチャート。 実施例８の環境音分析装置の動作を示すフローチャート。

以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

拍手や手拍子音、声援・掛け声などの環境音の総音量は、観客の人数が多いほど大きくなる。本発明では、環境音そのものを伝送するのではなく、環境音の音量を表す情報だけを伝送する。そして、伝送先では予め記憶された環境音のテンプレートを、音量を表す情報に応じて変換することにより、伝送元の環境音（に類似した音）を再生する。

また、拍手や手拍子音の一拍（一度両手を合わせて打つこと）は、音響パワーの個人差が小さい。また、一拍と一拍の時間間隔（以下、拍手間隔ともいう）の個人差も小さく、２００ｍｓ〜３００ｍｓ程度である。したがって、ある人の拍手音（一拍分）を環境音素片テンプレートとして用意しておき、それを個人差に応じたゆらぎ（２００ｍｓ〜３００ｍｓ）を持たせた間隔で繰り返し再生することにより、別の人の拍手音に類似した音を構成することができる。

＜環境音伝送システム＞
以下、図１を参照して本発明の環境音伝送システムについて説明する。図１は本発明の環境音伝送システムの構成例を示すブロック図である。図１に示すように、本発明の環境音伝送システムは、伝送元の環境音分析装置と、伝送先の環境音合成装置から構成される。図１Ａに示すように、後述する実施例１，２，２’の環境音分析装置は、入力された音響信号（環境音）の音量に対応する情報（環境音量パラメタＰ_ｊ、以下単にパラメタともいう）を抽出し、出力する。後述する実施例４，５の環境音合成装置は、予め記憶された環境音のテンプレートを用いて、入力された環境音量パラメタＰ_ｊを用いてテンプレートを選択し、選択したテンプレートを用いて環境音を合成し、出力する。また、図１Ｂに示すように、後述する実施例６の環境音分析装置は、入力された音響信号（環境音）の音量に対応する情報（環境音量パラメタＰ_ｊ、以下単にパラメタＰ_ｊともいう）と、音響信号（環境音）の残響に対応する情報（環境残響パラメタＲＰ_ｊ、以下単にパラメタＲＰ_ｊともいう）とを抽出し、出力する。後述する実施例７，８の環境音合成装置は、予め記憶された環境音のテンプレートを用いて、入力された環境残響パラメタＲＰ_ｊまたは環境音量パラメタＰ_ｊを用いて、テンプレートを選択し、選択したテンプレートを用いて環境音を合成し、出力する。以下、実施例１において環境音分析装置１、実施例２において環境音分析装置２、実施例２の変形例１において環境音分析装置２’、実施例３において環境音合成装置３、実施例４において環境音合成装置４、実施例５において環境音合成装置５、実施例６において環境音分析装置６、実施例７において環境音合成装置７、実施例８において環境音合成装置８をそれぞれ説明する。また、環境音分析装置１，２，２’と環境音合成装置３、４、５との組み合わせを環境音伝送システム１０００、環境音分析装置６と環境音合成装置７，８との組み合わせを環境音伝送システム２０００と呼ぶ。

以下、図２、図３を参照して本発明の実施例１の環境音分析装置について説明する。図２は本実施例の環境音分析装置１の構成を示すブロック図である。図３は本実施例の環境音分析装置１の動作を示すフローチャートである。図２に示すように、本実施例の環境音分析装置１は、収音部１１と、音量計算部１２と、パラメタ変換部１３と、データ送信部１４とを備える。

＜収音部１１＞
収音部１１は伝送元の音を収音する（Ｓ１１）。ここでは、収音部１１には伝送元の拍手音が入力されるものとする。

＜音量計算部１２＞
音量計算部１２は、拍手音の音響信号を取得する。音量計算部１２が取得する拍手音の音響信号は、所定のサンプリング周波数でサンプリングされた信号列とする。ここで、Ｘ_ｊを第ｊフレームの音響信号とし、Ｘ_ｊ＝（ｘ_ｊ（１），ｘ_ｊ（２），…，ｘ_ｊ（Ｎ））（Ｎはフレームあたりのサンプル数）とする。例えば８ｋＨｚサンプリングのときに１フレーム２０ｍｓとすると、Ｎ＝１６０である。なお、遅延が短い方が良ければフレームの長さを短くし、遅延が長くなっても良ければ、フレームの長さを長くすれば良い。音量計算部１２は、フレーム毎に、入力された拍手音の音響信号の音量に対応する値（以下、「拍手音量に対応する値」ともいう）を求めて出力する。具体的には、音量計算部１２は、フレーム毎に、入力された拍手音の音響信号Ｘ_ｊ＝（ｘ_ｊ（１），ｘ_ｊ（２），…，ｘ_ｊ（Ｎ））の平均エネルギー

を計算する（Ｓ１２）。

＜パラメタ変換部１３＞
パラメタ変換部１３は、音量計算部１２から出力された拍手音量に対応する値を取得する。パラメタ変換部１３は、取得した拍手音量に対応する値を量子化し、環境音量パラメタを出力する。具体的には、パラメタ変換部１３は、平均エネルギーＥ_ｊの取りうる範囲（例えばｘ_ｊ（ｉ）（ｉ＝１，２，…，Ｎ）が符号付き１６ｂｉｔの場合は最小値が０で最大値が２＾３０となる）をあらかじめ定められた場合の数（例えば１６ｂｉｔ）に量子化し、そのインデックスを環境音量パラメタＰ_ｊとして出力する（Ｓ１３）。

＜データ送信部１４＞
データ送信部１４は、パラメタ変換部１３が出力した環境音量パラメタＰ_ｊを伝送先の環境音合成装置３（または４、５）に送信する（Ｓ１４）。環境音合成装置３，４，５についてはそれぞれ実施例３，４，５に記載する。

このように、本実施例の環境音分析装置１によれば、伝送元において収音された拍手音を効率よく低遅延に伝送することができる。

[実施例１の動作例２]
上述の実施例１では、伝送元の環境音の例として拍手音を対象とし、伝送元の拍手音を分析する環境音分析装置１の動作例を説明したが、これに限らず拍手音以外の環境音を対象としても良い。例えば、声援や掛け声などを環境音としても良いし、伝送元で収音される音の中から伝送元会場のメインコンテンツの音を除いた音響信号（雑音を含む）を環境音としても良い。

実施例１の動作例２における環境音分析装置１は、環境音分析装置１の収音部１１、音量計算部１２、パラメタ変換部１３、データ送信部１４の各部で取り扱われる拍手音および拍手音量が、環境音及び環境音の音量に置き換わる点を除いては、上述の動作例と同じである。

拍手音や声援・掛け声、雑音などは、いずれも伝送元の会場の雰囲気を決定づける重要な要素である一方で、いろいろな音響信号が混合された白色雑音に近い信号である。前述したようにこれらの音を環境音と呼ぶ。伝送元で環境音が発せられたタイミング及び音量が保たれていれば、信号そのものは伝送元の環境音と全く同じ信号でなくとも、場の雰囲気を再現することができる。そこで、環境音分析装置１において、伝送元の環境音の音量に関するパラメタを抽出することで、伝送元において収音された環境音を効率よく低遅延に伝送することができる。

以下、図４、図５、図６を参照して本発明の実施例２の環境音分析装置について説明する。図４は本実施例の環境音分析装置２の構成を示すブロック図である。図５は本実施例の環境音分析装置２の動作を示すフローチャートである。図６は本実施例のパラメタ変換部２３のパラメタ生成手順を例示する図である。図４に示すように、本実施例の環境音分析装置２は、収音部１１と、音量計算部１２と、パラメタ変換部２３と、データ送信部１４とを備える。収音部１１、音量計算部１２、データ送信部１４は実施例１の環境音分析装置１における同一番号の各構成部と同じであるから説明を適宜略する。

＜音量計算部１２＞
音量計算部１２は、４８ｋＨｚサンプリングでサンプリングされた信号列であり、１フレーム６サンプル（Ｎ＝６）で構成される信号列Ｘ_ｊ＝（ｘ_ｊ（１），ｘ_ｊ（２），…，ｘ_ｊ（６））を取得する。音量計算部１２は、フレーム毎に、入力された拍手音響信号Ｘ_ｊ＝（ｘ_ｊ（１），ｘ_ｊ（２），…，ｘ_ｊ（６））から、平均エネルギー

を計算する（Ｓ１２）。

＜パラメタ変換部２３＞
パラメタ変換部２３は、求めた平均エネルギーＥ_ｊを以下の式により変形した列Ｆ_ｊを求める。

つまり、図６に示すように、ガウス関数や床関数により整数値化されたＦ_ｊの取りうる値（０〜３２７６８）のうち、奇数の値に負の符号を与え、さらに１を減じる。これにより、Ｆ_ｊはすべて偶数の値を取ることになる。次に、全部偶数になったＦ_ｊの各々を２で割る（右に１ビットシフトでも構わない）。この値をＧ．７１１準拠の範囲に収めるために、μ−ｌａｗを使うのであればさらに２で割り（右に１ビットシフトでもよい）値Ｇ_ｊを求める。そして、Ｇに対して、ＩＴＵ−Ｔ＿Ｇ．７１１の符号化処理を行い、Ｇ_ｊをＧ．７１１の符号（番号）に変換する。４８ｋＨｚサンプリング６サンプル分を一塊（１フレーム）にすると８ｋＨｚの１サンプル分に相当するので、上記のＧ_ｊ毎にＧ．７１１のシンボル１つを割り当てることができる。割り当てられたシンボル列をパラメタＰ_ｊとして出力する（Ｓ２３）。パラメタＰ_ｊは通常の音声と同様に固定電話回線を用いて伝送すると遅延が短くすむ。式（１）のかわりに式（２）のように対数を用いてもよい。

また、平方根演算や対数演算は多項式近似（テイラー展開など）で演算量を削減してもよい。

[実施例２の変形例１]
以下、図７、図８を参照して実施例２のパラメタ変換部２３に変更を加えた変形例１の環境音分析装置について説明する。図７は本変形例の環境音分析装置２’の構成を示すブロック図である。図８は本変形例の環境音分析装置２’の動作を示すフローチャートである。図７に示すように、本変形例の環境音分析装置２’は、収音部１１と、音量計算部１２と、パラメタ変換部２３’と、データ送信部１４とを備える。収音部１１、音量計算部１２、データ送信部１４は実施例２の環境音分析装置２における同一番号の各構成部と同じであるから説明を適宜略する。

＜パラメタ変換部２３’＞
パラメタ変換部２３’は、図６のようなマッピング演算の代わりに、Ｆ_ｊの取りうる０〜３２７６８の値を直接８ｂｉｔのシンボルにマッピングするマッピングテーブル２３Ａを予め備えており、マッピングテーブル２３Ａを参照してパラメタＰ_ｊを求める（Ｓ２３’）。または、パラメタ変換部２３’は、Ｆ_ｊの取りうる０〜３２７６８の値をあらかじめビットシフト等により場合の数を減らしてから、マッピングテーブル２３Ａを用いてパラメタＰ_ｊを求めてもよい。この場合はマッピングテーブル２３Ａの大きさを削減できる。Ｆ_ｊはデシベル単位に変換したものを用いてもよい。

実施例２及び変形例１の環境音分析装置は以下の効果を有する。収音された拍手音の音響信号は正の値となるため、Ｅ_ｊの平方根の値の取りうる範囲は正の整数値、例えばｘ_ｊ（ｎ）（ｎ＝１，２，…，Ｎ）が符号付き１６ｂｉｔの場合は最小値が０で最大値が３２７６８となる。このまま、パラメタ変換部でＩＴＵ−Ｔ＿Ｇ．７１１の符号化を行うと、符号化効率が悪くなるという問題がある。上記式（１）の変形を行うと、例えばｘ_ｊ（ｎ）（ｎ＝１，２，…，Ｎ）が符号付き１６ｂｉｔの場合は、Ｆ_ｊの取りうる範囲は−１６３８４から１６３８４になる。そこで、パラメタ変換部においてＥ_ｊの取りうる範囲が負の整数値から正の整数値の範囲となるように変換した値Ｆ_ｊを用いることにより、符号化効率を向上させることができ、パラメタＰ_ｊの情報量を削減することができる。つまり、伝送遅延をより少なくすることが可能となる。

[実施例２の動作例２]
上述の実施例２および実施例２の変形例１では、伝送元の環境音の例として拍手音を対象とし、伝送元の拍手音を分析する環境音分析装置２（２’）の動作例を説明したが、これに限らず拍手音以外の環境音を対象としても良い。例えば、声援や掛け声などを環境音としても良いし、伝送元で収音される音の中から伝送元会場のメインコンテンツの音を除いた音響信号（雑音を含む）を環境音としても良い。

実施例２の動作例２においては、環境音分析装置２（２’）の収音部１１、音量計算部１２、パラメタ変換部２３または２３’、データ送信部１４の各部で取り扱われる拍手音および拍手音量が、環境音及び環境音の音量に置き換わる点を除いては、上述の動作例と同じである。

以下、図９、図１０を参照して本発明の実施例３の環境音合成装置について説明する。図９は本実施例の環境音合成装置３の構成を示すブロック図である。図１０は本実施例の環境音合成装置３の動作を示すフローチャートである。図９に示すように、本実施例の環境音合成装置３は、データ受信部３１と、残響付加音源合成部３２と、テンプレート記憶部３３と、再生部３４とを備える。環境音合成装置３は環境音分析装置１（２、２’）から伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する装置である。以下、実施例１、２で詳述した動作例に従い、環境音の例として拍手音を用いて説明を進める。

＜データ受信部３１＞
データ受信部３１は、環境音分析装置から環境音量パラメタＰ_ｊを受信する（Ｓ３１）。

＜テンプレート記憶部３３＞
テンプレート記憶部３３には、拍手音の各音量バリエーションに対して複数の拍手音（１フレーム分）のテンプレートが記憶されている。つまり、テンプレート記憶部３３には、ｉをフレームのインデックスとした場合に、１フレーム分の拍手音を含む環境音のテンプレートＴ_ｉと当該テンプレートの環境音の音量に対応する情報Ｅ’_ｉとが対応付けて記憶されているものとする。なお、テンプレートの環境音の音量に対応する値は、各テンプレートＴ_ｉを入力として、上記実施例１または２の音量計算部１２及びパラメタ変換部１３（２３）と同じ方法により求めることができる。なお、実施例１または２のどの方法を用いるかは、環境音分析装置と環境音合成装置との間で統一しておくものとする。

＜残響付加音源合成部３２＞
残響付加音源合成部３２は、入力された環境音量パラメタＰ_ｊで特定される音量に応じたテンプレートのうちいずれか１つをテンプレート記憶部３３からランダムに選択する。つまり、Ｐ_ｊ＝Ｅ’_ｉを満たすＥ’_ｉに対応づけられているテンプレートＴ_ｉのうち、いずれか１つをランダムに選択する。残響付加音源合成部３２は、選択したテンプレートに環境音量パラメタで特定される音量とその音量に応じた残響特性とを用いて、テンプレートに残響を加え、残響を加えたテンプレートを、必要に応じて前のフレームと補間をして、１フレーム分の音響信号を合成して環境音（この動作例では拍手音）を生成する（Ｓ３２）。ここでは、環境音量パラメタで特定される音量が大きいほど、伝送元の空間の広いと仮定する。例えば、環境音量パラメタＰ_ｊの値が所定の閾値よりも小さい場合は、狭い空間であることが想定されるので、図１１Ａのように、テンプレートに短い残響Ｈｓを畳み込む。また、環境音量パラメタＰ_ｊの値が閾値以上の場合は、広い空間であることが想定されるので、図１１Ｂのように、テンプレートに短い残響Ｈｓとともに長い残響Ｈｌを畳み込む。所定の閾値は、例えば実験やシュミレーション等により適切な値を調べ、設定すればよい。例えば、２０ｍｓのフレームあたり環境音量パラメタに８ｂｉｔのバリエーションがあったとすると、４００ｂｉｔ／ｓｅｃで拍手音を伝送できる。なお、音量が大きいほど、残響が長くなるという特性が前述の残響特性に相当する。

＜再生部３４＞
再生部３４は、残響付加音源合成部３２が合成した拍手音を再生する（Ｓ３４）。

このように、本実施例の環境音合成装置３によれば、テンプレート記憶部３３に拍手音の各音量バリエーションに対して複数のテンプレートを保持しておき、残響付加音源合成部３２が音量の条件を充たす複数のテンプレートから１つのテンプレートをランダムに選択するため、合成された拍手音が定常的なパターンとして聞こえないようにすることができる。さらに、選択したテンプレートに環境音量パラメタで特定される音量に応じた残響を加えるため、伝送先で伝送元の場の雰囲気を残響を考慮して再現することができる。

[実施例３の動作例２]
実施例３では、伝送元の環境音の例として拍手音を対象とし、伝送元の拍手音の音量に関するパラメタを取得して、伝送先で拍手音を生成する環境音合成装置３の動作例を説明したが、これに限らず拍手音以外の環境音を対象としても良い。例えば、声援や掛け声や、伝送元で収音される音の中から伝送元会場のメインコンテンツの音を除いた音響信号（雑音を含む）を環境音とし、伝送元の環境音量パラメタが入力され、伝送先で環境音を合成してもよい。

実施例３の動作例２では、実施例３の環境音合成装置３のデータ受信部３１と、残響付加音源合成部３２と、テンプレート記憶部３３と、再生部３４において、拍手音が環境音に置き換わる点を除いては、上述の動作例と同じである。なお、以降において説明する環境音分析装置、環境音合成装置においても同様に拍手音以外の環境音を対象としても良い。

以下、図１２、図１３、図１４を参照して本発明の実施例４の環境音合成装置について説明する。図１２は本実施例の環境音合成装置４の構成を示すブロック図である。図１３は本実施例の環境音合成装置４の動作を示すフローチャートである。図１４は本実施例の残響付加音源合成部４２の環境音素片テンプレート合成手順を例示する図である。図１２に示すように、本実施例の環境音合成装置４は、データ受信部３１と、残響付加音源合成部４２と、テンプレート記憶部４３と、再生部３４と、人数推定部４５と、テンプレート音量記憶部４６とを備える。データ受信部３１、再生部３４は実施例３の環境音合成装置３における同一番号の各構成部と同じであるから説明を省略する。

＜テンプレート記憶部４３＞
テンプレート記憶部４３には、一人の人間による一拍分の拍手音（３００ｍｓ程度）のテンプレートの複数のバリエーションが記憶されている。本実施例では環境音の例として拍手音を扱うため、拍手音のテンプレートを環境音素片テンプレートのバリエーションのひとつとする。従って、以下では拍手音のテンプレートを環境音素片テンプレートともいう。例えば、異なる人の一拍分の拍手音をそれぞれ異なる環境音素片テンプレートとして記憶しておく。以下、単にテンプレートという場合には、所定フレーム長の複数人による拍手音（環境音）全体を収録したテンプレートを指すものとし、環境音素片テンプレートという場合には、一人の人間による一拍分の拍手音（環境音）のテンプレートを指すものとする。

＜テンプレート音量記憶部４６＞
テンプレート音量記憶部４６には、テンプレート記憶部４３に記憶されている環境音素片テンプレートの音量に対応する情報（具体的には、実施例１または２の音量計算部１２により計算される、平均エネルギー）が記憶されている。なお、１人分の拍手音の音量の差は小さいので、テンプレート記憶部４３に記憶されている環境音素片テンプレートのいずれか一つについて計算された平均エネルギーを環境音素片テンプレートの音量に対応する情報として記憶しておいてもよい。また、テンプレート記憶部４３に記憶されている全環境音素片テンプレートの平均エネルギーの平均値を、環境音素片テンプレートの音量に対応する情報としてテンプレート音量記憶部４６に記憶しておいてもよい。あるいは、予め定めた定数を音量に対応する情報としてテンプレート音量記憶部４６に記憶しておいても良い。

なお、テンプレート音量記憶部４６に予め環境音素片テンプレートの音量に対応する情報を記憶せず、その都度テンプレート記憶部４３からランダムに選択した環境音素片テンプレートについて計算した平均エネルギーを環境音素片テンプレートの音量に対応する情報として用いても良い。

＜人数推定部４５＞
人数推定部４５は、環境音量パラメタＰ_ｊに応じて音量のゲイン調整を行うための構成である。人数推定部４５は、伝送元から出力された環境音量パラメタＰ_ｊを取得し、当該環境音量パラメタＰ_ｊから音量に対応する情報Ｅ’_ｊを求める。具体的には、実施例１または２のパラメタ変換部１３（２３）と逆の処理を行うことにより、音量に対応する情報Ｅ’_ｊを得る。人数推定部４５は、音量に対応する情報Ｅ’_ｊを環境音素片テンプレートの音量に対応する情報で除算した値の整数値（小数点以下を四捨五入、または切り捨てた値）を拍手の人数Ｍとして出力する（Ｓ４５）。

＜残響付加音源合成部４２＞
残響付加音源合成部４２は、テンプレート記憶部４３から環境音素片テンプレートをランダムに選択して、環境音量パラメタで特定される音量とその音量に応じた残響特性とを用いて、テンプレートに残響を加え、残響を加えた環境音素片テンプレートを合成することで環境音を生成する（Ｓ４２）。ここでは（環境音量パラメタで特定される音量に応じた）人数に応じて空間の広さが変化すると仮定する。例えば、10人(M=10)程度の拍手であれば10人程度の人が入れる空間の大きさに応じた残響を加え、100人(M=100)程度の拍手であれば100人程度の人が入れる空間の大きさに応じた残響を加える。なお、空間の大きさに応じて残響の長さが変化するという特性が前述の残響特性に相当する。例えば、コンサート会場等における、観客間の間隔は50〜70cm程度なので、その値から空間の大きさを推定する。例えば、円形、正方形、直線、格子状または、それらの組合せからなる形状に、50〜70cmの間隔で人間を配置したとして、空間の大きさを推定する。人数が少ない場合、例えば、環境音量パラメタＰ_ｊの値が小さく、Ｍの値が閾値よりも小さい場合は、狭い空間であることが想定されるので、図１１Ａのように、環境音素片テンプレートに短い残響Ｈｓを畳み込む。人数が多い場合、例えば、環境音量パラメタＰ_ｊの値が大きく、Ｍの値が閾値以上の場合は、広い空間であることが想定されるので、図１１Ｂのように、環境音素片テンプレートに短い残響Ｈｓとともに長い残響Ｈｌを畳み込む。

例えば、拍手音の間隔を特許文献１と同様とする。例えば、Ｍ＝１の場合、図１４Ａのように、約３００ｍｓごとにランダムに選択された環境音素片テンプレートＴ_ｉを用いて合成した波形に残響を付加して拍手音として出力する。前述のように合成の時間間隔は約３００ｍｓでよいが、より好ましくは３００ｍｓを中心として時間間隔に揺らぎを持たせてもよい。時間間隔に揺らぎを持たせることによってさらに自然な拍手音を合成することができる。たとえば３００ｍｓを中心としてガウス分布にしたがう乱数により、±数１０ｍｓの揺らぎを持たせればよい。例えば残響付加音源合成部４２は

によりテンプレートを変換した拍手音Ｙ_ｉ（ｉ＝０，１，２，・・・）を出力する（Ｓ４２）。なお、式中、Ｈは残響を示し、前述の通り、Ｍの値に応じて短い残響Ｈｓまたは長い残響Ｈｌを用いる。Ｍ＝１の場合には、狭い空間であることが想定されるので、短い残響Ｈｓを用いる。別の表現方法で書くと、時系列テンプレート信号Ｔ_ｉ＝（ｔ_ｉ［１］ ｔ_ｉ［２］ … ｔ_ｉ［Ｐ］）と拍手タイミングを表すインパルスδ（ｉ・τ＋σ_ｉ）とを用いて、合成音Ziを求め、残響Ｈを畳み込み、Ｙ_ｉを求め、出力とする。

ここで＊は畳み込み演算を表す。ここで、τ＝３００ｍｓであり、σ_ｉは−１０ｍｓ≦σ_ｉ≦＋１０ｍｓの範囲で生成した乱数である。また、δ関数ではなく時間方向に揺れている伝達関数(残響)Hを畳み込み、Ｙ_ｉを求めてもよい。

環境音量パラメタによりＭ人分の拍手を合成する場合は、図１４Ｂのように、時間間隔を約３００／Ｍ（ｍｓ）ごとにランダムに選択された環境音素片テンプレートを用いて合成された波形に残響を付加して拍手音として出力する。人数Ｍの逆数を使って、時間間隔を約３００／Ｍ（ｍｓ）と設定することで、拍手の人数Ｍが増えるに従って時間間隔が小さくなるように設定することができる。この場合もガウス分布やラプラス分布に従う乱数によって、揺らぎを持たせることができる。例えば残響付加音源合成部４２は、

によりテンプレートを変換し、残響を付加した環境音Ｙ_ｉ（ｉ＝０，１，２，・・・）を出力する（Ｓ４２）。

このように、本実施例の環境音合成装置４によれば、実施例３のように音量ごとにテンプレートを用意しておく必要がなく、テンプレート記憶部４３に記憶しておく環境音素片テンプレートの数も少なくてよいため、環境音合成装置４のメモリ量を削減することができる。さらに、人数に応じて空間の広さを推定することができ、より適切な残響を生成し、より適切に伝送元の場の雰囲気を再現することができると考えられる。なお、本実施例のポイントは、環境音素片テンプレートを用いて合成された波形に残響を付加して拍手音とすることなので、拍手音の間隔については他の方法を用いて設定してもよい。

[実施例４の動作例２]
実施例４は、伝送元の伝送元の環境音の例として拍手音を対象とし、伝送元の拍手音の音量に関するパラメタを取得して、伝送先で拍手音を生成する環境音合成装置４を説明したが、これに限らず拍手音以外の環境音を対象としても良い。上述では、一人の人間による一拍分の拍手音（３００ｍｓ程度）のテンプレートを環境音素片テンプレートの例として示したが、これに限らず、たとえば、一人の人間による一拍分の声援、掛け声のテンプレートを環境音素片テンプレートとしてもよい。

実施例４の動作例２では、実施例４の環境音合成装置４のデータ受信部３１と、残響付加音源合成部４２と、テンプレート記憶部４３と、再生部３４と、人数推定部４５と、テンプレート音量記憶部４６において取り扱われるデータが拍手音から環境音に置き換わる点を除いては、上述の動作例と同じである。

なお、残響付加音源合成部４２において、式（３）の代わりに、時系列テンプレート信号Ｔ_ｉ＝（ｔ_ｉ［１］ ｔ_ｉ［２］ … ｔ_ｉ［Ｐ］）と環境音タイミングを表すインパルスδ（ｍ・τ＋σ_ｍ）とを用いて、合成音Ziを求め、残響Ｈを畳み込み、Ｙ_ｉを求め、Ｙ_ｉを出力としても良い。

ここで＊は畳み込み演算を表す。

また、テンプレート記憶部４３に記憶しておく環境音素片テンプレートの波形のエネルギーをあらかじめ正規化してあってもよい。その場合は、人数推定部４５のパラメタに応じで、音量（ゲイン）を調整すればよい。この場合もメモリ量を少なくしながらバリエーションを増やすことができる。

以下、実施例３と異なる部分を中心に説明する。

以下、図９、図１５を参照して本発明の実施例５の環境音合成装置について説明する。図９は本実施例の環境音合成装置５の構成を示すブロック図である。図１５は本実施例の環境音合成装置５の動作を示すフローチャートである。図９に示すように、本実施例の環境音合成装置５は、データ受信部３１と、残響付加音源合成部５２と、テンプレート記憶部５３と、再生部３４とを備える。残響付加音源合成部５２及びテンプレート記憶部５３以外の各構成部は実施例３の環境音合成装置３における同一番号の各構成部と同じであるから説明を省略する。

＜テンプレート記憶部５３＞
テンプレート記憶部５３には、拍手音の各音量バリエーションに対して残響を加えた複数の拍手音（以下「残響付加済の拍手音」ともいう、これを１フレーム分）のテンプレートが記憶されている。つまり、テンプレート記憶部５３には、ｉをフレームのインデックスとした場合に、１フレーム分の残響付加済の拍手音を含む環境音のテンプレートＴ_ｉと当該テンプレートの環境音の音量に対応する情報Ｅ’_ｉとが対応付けて記憶されているものとする。ここでは、環境音量パラメタで特定される音量が大きいほど、伝送元の空間の広いと仮定する。そのため、音量が大きいほど、伝送元の空間の広く、残響は長くなる。つまり、本実施例のテンプレート記憶部５３に記憶されるテンプレートには、既に、残響特性(音量が大きいほど、残響は長くなるという特性)に応じた残響が加えられていると言える。

なお、残響付加済の拍手音は、所望の残響を観測できる場所で録音したものでもよいし、残響がない（または少ない）状態で録音した信号に残響を畳み込んだものでもよい。

＜残響付加音源合成部５２＞
残響付加音源合成部５２は、入力された環境音量パラメタＰ_ｊで特定される音量に応じた（残響付加済の拍手音の）テンプレートをテンプレート記憶部５３から選択し、選択したテンプレートを合成して環境音を生成し（Ｓ５２）、出力する。

例えば、1つ以上の閾値を設け、テンプレート記憶部５３では、閾値と環境音の音量に対応する情報Ｅ’_ｉとの大小関係により、テンプレートを複数のグループに分けておく。残響付加音源合成部５２は、環境音量パラメタＰ_ｊと閾値との大小関係により、何れのグレープに含まれるテンプレートを選択するか決定する。

(グループ例1)
例えば、二つの閾値Th1とTh2(Th1<Th2)を設け、Ｅ’_ｉ<Th1となるテンプレートを短い残響が畳み込まれたテンプレートのグループ(以下DB1-1ともいう)に、Ｅ’_ｉ>Th2となるテンプレートを長い残響が畳み込まれたテンプレートのグループ(以下DB1-3ともいう)に、Th1≦Ｅ’_ｉ≦Th2となるテンプレートを中くらいの残響が畳み込まれたテンプレートのグループ(以下DB1-2ともいう)に分類する。

(選択例１−１)
残響付加音源合成部５２は、Ｐ_ｊ<Th1のときにDB1-1からテンプレートを選択し、Th1≦Ｐ_ｊｉ≦Th2のときにDB1-1及びDB1-2からテンプレートを選択し、Th2<Ｐ_ｊのときにDB1-1,DB1-2及びDB1-3からテンプレートを選択する。

(選択例１−２)
閾値で完全に分けずに、音量に応じて各DBから選ばれるテンプレートに確率の重みを付けて選択しても良い。

例えば、残響付加音源合成部５２は、Ｐ_ｊ<Th1のときに70パーセントの確率でDB1-1からテンプレートを選択し、20パーセントの確率でDB1-2からテンプレートを選択し、10パーセントの確率でDB1-3からテンプレートを選択する。また、Th1≦Ｐ_ｊｉ≦Th2のときに80パーセントの確率でDB1-1及びDB1-2からテンプレートを選択し、20パーセントの確率でDB1-3からテンプレートを選択する。また、Th2<Ｐ_ｊのときに10パーセントの確率でDB1-1からテンプレートを選択し、20パーセントの確率でDB1-2からテンプレートを選択し、70パーセントの確率でDB1-3からテンプレートを選択する。

(グループ例２)
例えば、二つの閾値Th1とTh2(Th1<Th2)を設け、Ｅ’_ｉ<Th1となるテンプレートを短い残響が畳み込まれたテンプレートのグループ(以下DB2-1ともいう)に、Ｅ’_ｉ≦Th2となるテンプレートを短い残響と中くらいの残響とが畳み込まれたテンプレートのグループ(以下DB2-2ともいう)に、Ｅ’_ｉ>Th2となるテンプレートを短い残響と中くらいの残響と長い残響とが畳み込まれたテンプレートのグループ(以下DB2-3ともいう)に分類する。

(選択例２−１)
残響付加音源合成部５２は、Ｐ_ｊ<Th1のときにDB2-1からテンプレートを選択し、Th1≦Ｐ_ｊｉ≦Th2のときにDB2-2からテンプレートを選択し、Th2<Ｐ_ｊのときにDB2-3からテンプレートを選択する。

(選択例２−２)
閾値で完全に分けずに、音量に応じて各DBから選ばれるテンプレートに確率の重みを付けて選択しても良い。例えば、選択例１−２と同様の方法により選択する。

このような構成により、残響付加音源合成部において畳み込み処理に伴う演算量、時間を省くことができる。なお、本実施例と実施例４とを組合せてもよい。

以下、図１６、図１７を参照して本発明の実施例６の環境音分析装置について説明する。図１６は本実施例の環境音分析装置６の構成を示すブロック図である。図１７は本実施例の環境音分析装置６の動作を示すフローチャートである。図１６に示すように、本実施例の環境音分析装置６は、収音部１１と、音量計算部１２と、パラメタ変換部６３と、データ送信部６４と、空間計算部６５を備える。パラメタ変換部６３、データ送信部６４、及び空間計算部６５以外の各構成部は実施例１の環境音分析装置１における同一番号の各構成部と同じであるから説明を省略する。

＜空間計算部６５＞
空間計算部６５は、拍手音の音響信号を取得する。空間計算部６５は、フレーム毎に入力された拍手音の音響信号Ｘ_ｊ＝（ｘ_ｊ（１），ｘ_ｊ（２），…，ｘ_ｊ（Ｎ））の残響に対応する値を求め（Ｓ６５）、出力する。具体的には、空間計算部６５は、フレーム毎に、入力された拍手音の音響信号Ｘ_ｊ＝（ｘ_ｊ（１），ｘ_ｊ（２），…，ｘ_ｊ（Ｎ））の直接音と残響音との平均エネルギー比ＲＥ_ｊを計算し、残響に対応する値として出力する。例えば、参考文献１の残響制御技術を用いて音響信号から直接音と残響音との平均エネルギー比ＲＥ_ｊを計算することができる。
（参考文献１）木下慶介、中谷智広、三好正人、“実環境音声処理-音声認識に適した残響除去収音”、ＮＴＴ技術ジャーナル、2007、Vol.19、No.6
また、直接音と残響音との平均エネルギー比ＲＥ_ｊに代えて、直接音の平均エネルギーと残響音の平均エネルギーとの組合せ(等価な値)を残響に対応する値として出力してもよい。残響に対応する値は、伝送元の空間の残響の特徴を示すような値であれば、上述の値以外の値でもよい。また、図示しないカメラ等を使って（または人手により）、横並びか正方形か円形かなどの配置に関する情報を残響に対応する値の一部として付加しても良い。

＜パラメタ変換部６３及びデータ送信部６４＞
パラメタ変換部６３は、音量計算部１２から出力された拍手音量に対応する値及び残響に対応する値を取得する。パラメタ変換部１３は、取得した拍手音量に対応する値及び残響に対応する値を量子化し、環境音量パラメタ及び環境残響パラメタを出力する。環境音量パラメタについては、実施例１で説明した通りである。例えば、パラメタ変換部１３は、直接音と残響音との平均エネルギー比ＲＥ_ｊの取りうる範囲をあらかじめ定められた場合の数（例えば１６ｂｉｔ）に量子化し、そのインデックスを環境残響パラメタＲＰ_ｊとして出力する（Ｓ６３）。

データ送信部６４は、パラメタ変換部６３が出力した環境音量パラメタＰ_ｊ及び環境残響パラメタＲＰ_ｊを伝送先の環境音合成装置７に送信する（Ｓ６４）。環境音合成装置７については実施例７に記載する。例えば、環境音量パラメタＰ_ｊを示すデータなのか、環境残響パラメタＲＰ_ｊを示すデータなのかを示すフラグを付けて符号化し、送信すればよい。

なお、環境音量パラメタＰ_ｊ及び環境残響パラメタＲＰ_ｊそのものではなく、たとえば環境音量パラメタＰ_ｊに基づく値と環境残響パラメタＲＰ_ｊに基づく値の比（例：たとえば、部屋の容積から概算収容人数を求める所定のテーブルを用いて、環境音量パラメタＰ_ｊから推定される人数を、環境残響パラメタＲＰ_ｊに基づく部屋の容積で特定される概算収容人数で割った値）や、その符号化値を送信することとしても良い。このとき、環境音量パラメタＰ_ｊと環境残響パラメタＲＰ_ｊとの比を示すデータであることを示すフラグをつけて符号化することとしても良い。もしくは、環境音量パラメタＰ_ｊに基づく値を符号化したものと、環境音量パラメタＰ_ｊに基づく値と環境残響パラメタＲＰ_ｊに基づく値の比を符号化したもの、を伝送しても良い。なお、「部屋の容積」は、環境残響パラメタＲＰ_ｊに基づき推定することができる。例えば、環境残響パラメタＲＰ_ｊが直接音と残響音との平均エネルギー比の場合、環境残響パラメタＲＰ_ｊが大きいときには残響が多く部屋の容積が大きいと推定し、環境残響パラメタＲＰ_ｊが小さいときには残響が少なく部屋の容積が小さいと推定する。また、環境残響パラメタは、音響信号（環境音）の残響に対応する情報であり、例えば、部屋の容積や部屋の概算収容人数自体を環境残響パラメタとして用いてもよい。

このように、本実施例の環境音分析装置６によれば、伝送元において収音された拍手音を残響を考慮した上で効率よく低遅延に伝送することができる。

以下、図１８、図１９を参照して本発明の実施例７の環境音合成装置について説明する。図１８は本実施例の環境音合成装置７の構成を示すブロック図である。図１９は本実施例の環境音合成装置７の動作を示すフローチャートである。図１８に示すように、本実施例の環境音合成装置７は、データ受信部７１と、残響付加音源合成部７２と、テンプレート記憶部７３と、再生部３４とを備える。再生部３４は実施例３の環境音合成装置３における同一番号の再生部３４と同じであるから説明を省略する。

＜データ受信部７１＞
データ受信部７１は、環境音分析装置から環境音量パラメタＰ_ｊ及び環境残響パラメタＲＰ_ｊを受信する（Ｓ７１）。

＜テンプレート記憶部７３＞
テンプレート記憶部７３には、拍手音の各残響バリエーションに対して複数の拍手音（１フレーム分、残響バリエーションに対するものなので、当然、残響付加済の拍手音である）のテンプレートが記憶されている。つまり、テンプレート記憶部７３には、ｉをフレームのインデックスとした場合に、１フレーム分の残響付加済の拍手音を含む環境音のテンプレートＴ_ｉと当該テンプレートの環境音の残響に対応する情報Ｒ’_ｉとが対応付けて記憶されているものとする。なお、当該テンプレートの環境音の残響に対応する情報Ｒ’_ｉは、例えば、空間計算部６５において、残響に対応する値を計算する際に用いた方法と同じ方法を用いて、テンプレートから計算すればよい。

なお、残響付加済の拍手音は、所望の残響を観測できる場所で録音したものでもよいし、残響がない（または少ない）状態で録音した信号に残響を畳み込んだものでもよい。

＜残響付加音源合成部７２＞
残響付加音源合成部７２は、入力された環境残響パラメタＲＰ_ｊで特定される残響に応じたテンプレートのうちいずれか１つをテンプレート記憶部７３からランダムに選択する。つまり、ＲＰ_ｊ＝Ｒ’_ｉを満たすＲ’_ｉに対応づけられているテンプレートＴ_ｉのうち、いずれか１つをランダムに選択する。残響付加音源合成部７２は、選択したテンプレートを、必要に応じて前のフレームと補間をして、１フレーム分の音響信号を合成して環境音（この動作例では拍手音）を生成する（Ｓ７２）。例えば、２０ｍｓのフレームあたり環境残響パラメタに８ｂｉｔのバリエーションがあったとすると、４００ｂｉｔ／ｓｅｃで拍手音を伝送できる。

例えば、1つ以上の閾値を設け、テンプレート記憶部７３では、閾値と環境音の残響に対応する情報Ｒ’_ｉとの大小関係により、テンプレートを複数のグループに分けておく。残響付加音源合成部５２は、環境残響パラメタＲＰ_ｊと閾値との大小関係により、何れのグレープに含まれるテンプレートを選択するか決定する。

(グループ例)
例えば、二つの閾値Th1とTh2(Th1<Th2)を設け、Ｒ’_ｉ<Th1となるテンプレートを短い残響が畳み込まれたテンプレートのグループ(以下DB3-1ともいう)に、Ｒ’_ｉ>Th2となるテンプレートを長い残響が畳み込まれたテンプレートのグループ(以下DB3-3ともいう)に、Th1≦Ｒ’_ｉ≦Th2となるテンプレートを中くらいの残響が畳み込まれたテンプレートのグループ(以下DB3-2ともいう)に分類する。

(選択例３−１)
残響付加音源合成部７２は、ＲＰ_ｊ<Th1のときにDB3-1からテンプレートを選択し、Th1≦ＲＰ_ｊｉ≦Th2のときにDB3-2からテンプレートを選択し、Th2<ＲＰ_ｊのときにDB3-3からテンプレートを選択する。

(選択例３−２)
閾値で完全に分けずに、環境残響パラメタＲＰ_ｊに応じて各DBから選ばれるテンプレートに確率の重みを付けて選択しても良い。なお、本実施例と実施例２及びその変形例とを組合せてもよい。

例えば、残響付加音源合成部７２は、ＲＰ_ｊ<Th1のときに70パーセントの確率でDB3-1からテンプレートを選択し、20パーセントの確率でDB3-2からテンプレートを選択し、10パーセントの確率でDB3-3からテンプレートを選択する。また、Th1≦ＲＰ_ｊｉ≦Th2のときに70パーセントの確率でDB3-2からテンプレートを選択し、それぞれ15パーセントの確率でDB3-1、DB3-3からテンプレートを選択する。また、Th2<ＲＰ_ｊのときに10パーセントの確率でDB3-1からテンプレートを選択し、20パーセントの確率でDB3-2からテンプレートを選択し、70パーセントの確率でDB3-3からテンプレートを選択する。この例では、ＲＰ_ｊにより各DBに対して所定の重みをつけているが、各DBを同じ重みで利用することとしても良い。部屋の中に人がまばらに分散している場合、つまり、ＲＰ_ｊから想定される部屋の収容人数に対して、Ｐ_ｊから想定される人数が小さな値を取る場合、様々な長さの残響が均等に混じったように聞こえるため、各DBから等分の重みでテンプレートを選択することとしても良い。このとき、ＲＰ_ｊやＰ_ｊとそのものではなく、部屋の中で人がどの程度密集しているかに関する値であるＲＰ_ｊとＰ_ｊとの比（例：Ｐ_ｊをRＰ_ｊで割った値、あるいは、その逆数）に着目し、所定の閾値を用いて、たとえばＰ_ｊをＲＰ_ｊで割った値がこの閾値よりも小さな場合には各DBそれぞれから同じ確率でテンプレートを選択することとしても良い（選択するテンプレートの数は、Ｐ_ｊに基づく個数とする）。なお、受信したデータが、環境音量パラメタＰ_ｊと環境残響パラメタＲＰ_ｊとの比を示すデータであることを示すフラグがつけられたデータであった場合、受信したデータをＲＰ_ｊとＰ_ｊとの比の代りに用いても良い。もしくは、環境音量パラメタＰ_ｊに基づく値を符号化したものと、環境音量パラメタＰ_ｊに基づく値と環境残響パラメタＲＰ_ｊに基づく値の比を符号化したもの、を受信して代わりに用いても良い。

実施例３、４、５では、音量から残響を推定していたが、環境音の残響に対応する情報（例えば、直接音と間接音とのエネルギー比）を用いることで、より適切に残響の特徴をとられることができ、伝送元の場の雰囲気をより適切に再現することができる。例えば、観客などの音源が劇場や映画館などの空間の後ろ側の座席に偏って座っている場合には、音量が小さくても（人数が少なくても）、長い残響が畳み込まれたテンプレートを用いたほうが伝送元の場の雰囲気をより適切に再現することができる。しかし、実施例３、４、５の構成では、短い残響が畳み込まれたテンプレートを選択する可能性が高い。一方、本実施例では長い残響が畳み込まれたテンプレートを選択する可能性が高く、伝送元の場の雰囲気をより適切に再現することができる。また、本実施例の構成であれば、実施例５と同様に畳み込み処理に伴う演算量、時間を省くことができる。なお、本実施例と実施例４とを組合せてもよい。

なお、本実施例では、残響付加音源合成部７２において、音響信号を合成して環境音を生成する際に、環境音量パラメタＰ_ｊを利用していない。そのため、環境音量パラメタＰ_ｊを伝送しない構成としてもよい。その場合、環境音分析装置６では環境音量パラメタＰ_ｊを求める必要がないため、音量計算部１２を備えなくともよい。パラメタ変換部６３では、残響に対応する値のみを量子化すればよい。また、本実施例の構成を維持しておき、何からの原因により、環境残響パラメタＲＰ_ｊを伝送されずに、環境音量パラメタＰ_ｊのみが伝送されてきた場合に、実施例３、４、５の構成で環境音を生成してもよい。

また、テンプレート記憶部７３には、拍手音の各残響バリエーションと各音量のバリエーションの組合せに対して複数の拍手音のテンプレートが記憶されている構成としてもよい。この場合、残響付加音源合成部７２は、入力された環境残響パラメタＲＰ_ｊ及び環境音量パラメタＰ_ｊで特定される残響及び音量の組合せに応じたテンプレートのうちいずれか１つをテンプレート記憶部７３からランダムに選択する。つまり、ＲＰ_ｊ＝Ｒ’_ｉかつＰ_ｊ＝Ｅ’_ｊを満たすＲ’_ｉ及びＥ’_ｊに対応づけられているテンプレートＴ_ｉのうち、いずれか１つをランダムに選択する。

以下、図１８、図２０を参照して本発明の実施例８の環境音合成装置について説明する。図１８は本実施例の環境音合成装置８の構成を示すブロック図である。図２０は本実施例の環境音合成装置８の動作を示すフローチャートである。図１８に示すように、本実施例の環境音合成装置８は、データ受信部７１と、残響付加音源合成部８２と、テンプレート記憶部３３と、再生部３４とを備える。テンプレート記憶部３３及び再生部３４は実施例３の環境音合成装置３における同一番号のテンプレート記憶部３３及び再生部３４と同じであるから説明を省略する。また、データ受信部７１は実施例７の環境音合成装置７における同一番号のデータ受信部７１と同じであるから説明を省略する。

＜残響付加音源合成部８２＞
残響付加音源合成部８２は、入力された環境音量残響パラメタＰ_ｊで特定される音量に応じたテンプレートのうちいずれか１つをテンプレート記憶部３３からランダムに選択する。つまり、Ｐ_ｊ＝Ｅ’_ｉを満たすＥ’_ｉに対応づけられているテンプレートＴ_ｉのうち、いずれか１つをランダムに選択する。残響付加音源合成部８２は、選択したテンプレートに環境残響パラメタＲＰ_ｊで特定される残響を加え、残響を加えたテンプレートを、必要に応じて前のフレームと補間をして、１フレーム分の音響信号を合成して環境音（この動作例では拍手音）を生成する（Ｓ８２）。例えば、環境残響パラメタＲＰ_ｊが直接音と残響音との平均エネルギー比を量子化したものである場合、平均エネルギー比が大きいほど残響が長くなるため、所定の閾値よりも環境残響パラメタＲＰ_ｊの値が小さい場合にはテンプレートに短い残響Ｈｓを畳み込み、環境残響パラメタＲＰ_ｊの値が閾値以上の場合はテンプレートに短い残響Ｈｓとともに長い残響Ｈｌを畳み込む。

このような構成により、実施例７の場合に比べ、テンプレート記憶部に記憶するテンプレートの量を減らすことができる。なお、本実施例と実施例４とを組合せてもよい。

＜その他の変形例＞
実施例７では、環境音分析装置により分析された部屋の広さ・大きさ（容積）に関連する情報である環境残響パラメタＲＰ_ｊを用いて残響畳み込み済のテンプレートを選択したが、実施例４のように残響が含まれないテンプレートを用いて、環境残響パラメタＲＰ_ｊに応じて特定される長さ、分布の残響を畳み込むこととしても良い。具体的には、環境残響パラメタＲＰ_ｊに基づき、残響の最大値を求め、所定の残響の最小値から求めた残響の最大値までの範囲の中から、ランダムに、環境音量パラメタＰ_ｊに基づく個数の残響の長さを決定し、決定した各長さに応じてテンプレートに残響を畳み込むこととしても良い。

残響付加音源合成部で環境音を収音する部屋の広さが、環境音合成装置で環境音を合成する部屋に比べて大きな場合、本来は部屋の中で聞こえることがない領域の音が部屋の中で発生しているような合成音となるため、合成音を聞いた人が違和感を感じる場合がある。この問題を低減するために、たとえば、収音を行う部屋の収容人数で環境音量パラメタＰ_ｊを正規化した値をパラメタとして伝送し、環境音合成装置において、予め定めた合成を行う部屋の収容人数と受信したパラメタとを掛けて得られる値を環境音量パラメタＰ_ｊに替えて用いて、畳み込む残響の長さを求めたり残響畳み込み済のDBからテンプレートを選択することとしても良い。

別の方法としては、たとえば、環境音を合成する部屋に応じて予め、環境音量パラメタＰ_ｊの上限値や環境残響パラメタＲＰ_ｊの上限値を設けておき、受信したパラメタが上限以上の場合には、受信したパラメタに替えて、部屋に応じた所定の上限値を用いることとしても良い。もしくは、環境音を合成する部屋に応じて予め、環境音量パラメタＰ_ｊの下限値や環境残響パラメタＲＰ_ｊの下限値を設けておき、受信したパラメタが下限以下の場合には、受信したパラメタに替えて、部屋に応じた所定の下限値を用いることとしても良い。

なお、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。

なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (8)

1. 環境音分析装置から出力された伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する環境音合成装置であって、
   前記環境音分析装置から出力された前記環境音量パラメタを取得するデータ受信部と、
   １フレーム分の環境音のテンプレート（以下、テンプレートという）と当該テンプレートの環境音の音量に対応する情報とを対応付けて記憶するテンプレート記憶部と、
   前記環境音量パラメタで特定される音量に応じたテンプレートを前記テンプレート記憶部から選択し、前記環境音量パラメタで特定される音量とその音量に応じた残響特性とを用いて、前記選択したテンプレートに残響を加え、当該残響を加えたテンプレートを合成することで環境音を生成する残響付加音源合成部とを含む、
   環境音合成装置。
2. 請求項１の環境音合成装置であって、
   前記残響付加音源合成部は、伝送元に存在する音源の個数に応じた空間の大きさに基づく残響を加える、
   環境音合成装置。
3. 環境音分析装置から出力された伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する環境音合成装置であって、
   前記環境音分析装置から出力された前記環境音量パラメタを取得するデータ受信部と、
   １フレーム分の残響を加えた環境音のテンプレート（以下、テンプレートという）と当該テンプレートの環境音の音量に対応する情報とを対応付けて記憶するテンプレート記憶部と、
   前記環境音量パラメタで特定される音量に応じたテンプレートを前記テンプレート記憶部から選択し、前記選択したテンプレートを合成して環境音を生成する残響付加音源合成部とを含む、
   環境音合成装置。
4. 環境音分析装置から出力された伝送元の空間の大きさに基づく音響信号の残響に関する環境残響パラメタを取得して環境音を生成する環境音合成装置であって、
   前記環境音分析装置から出力された前記環境残響パラメタを取得するデータ受信部と、
   １フレーム分の残響を加えた環境音のテンプレート（以下、テンプレートという）と当該テンプレートの環境音の残響に対応する情報とを対応付けて記憶するテンプレート記憶部と、
   前記環境残響パラメタで特定される残響に応じたテンプレートを前記テンプレート記憶部から選択し、前記選択したテンプレートを合成して環境音を生成する残響付加音源合成部とを含む、
   環境音合成装置。
5. 伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する環境音合成方法であって、
   データ受信部が、前記環境音量パラメタを取得するデータ受信ステップと、
   残響付加音源合成部が、１フレーム分の環境音のテンプレート（以下、テンプレートという）と当該テンプレートの環境音の音量に対応する情報とを対応付けて記憶するテンプレート記憶部から前記環境音量パラメタで特定される音量に応じたテンプレートを選択し、前記環境音量パラメタで特定される音量とその音量に応じた残響特性とを用いて、前記選択したテンプレートに残響を加え、当該残響を加えたテンプレートを合成することで環境音を生成する残響付加音源合成ステップとを含む、
   環境音合成方法。
6. 伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する環境音合成方法であって、
   データ受信部が、前記環境音量パラメタを取得するデータ受信ステップと、
   残響付加音源合成部が、１フレーム分の残響を加えた環境音のテンプレート（以下、テンプレートという）と当該テンプレートの環境音の音量に対応する情報とを対応付けて記憶するテンプレート記憶部から、前記環境音量パラメタで特定される音量に応じたテンプレートを選択し、前記選択したテンプレートを合成して環境音を生成する音源合成ステップとを含む、
   環境音合成方法。
7. 伝送元の空間の大きさに基づく音響信号の残響に関する環境残響パラメタを取得して環境音を生成する環境音合成方法であって、
   データ受信部が、前記環境残響パラメタを取得するデータ受信ステップと、
   残響付加音源合成部が、１フレーム分の残響を加えた環境音のテンプレート（以下、テンプレートという）と当該テンプレートの環境音の残響に対応する情報とを対応付けて記憶するテンプレート記憶部から、前記環境残響パラメタで特定される残響に応じたテンプレートを選択し、前記選択したテンプレートを合成して環境音を生成する音源合成ステップとを含む、
   環境音合成方法。
8. 請求項１から請求項４の何れかの環境音合成装置としてコンピュータを機能させるためのプログラム。

Images