JP6385376B2 - 音声信号処理のためのマルチチャネル直接・環境分解のための装置及び方法 - Google Patents

Description

本発明は、音声信号処理のためのマルチチャネル直接・環境分解のための装置及び方法に関する。

音声信号処理の重要性が増している。この分野では、音信号を直接音信号及び環境音信号に分離させることが重要な役割を演じている。

一般的に、音響音は、直接音及び環境（又は拡散）音を混合したものからなる。直接音は、音源、例えば楽器、歌唱者又はスピーカーによって放射され、可能な限り最短の経路で受信機、例えば聴取者の耳の入り口又はマイクロフォンに到達する。

直接音を聞く場合、これは音源の方向から来るものとして知覚される。位置及び他の空間的音特性に適切な聴覚的手がかりは、両耳間のレベル差、両耳間の時間差及び両耳間のコヒーレンスである。同一の両耳間のレベル差及び両耳間の時間差を引き起こす直接音波は、同じ方向から来るものとして知覚される。拡散音が存在しない場合、左耳及び右耳、又は他の多数のセンサに到達する信号はコヒーレントである。

これに対し、環境音は、同じ環境音に寄与する互いに間隔を置いた多数の音源又は音反射境界によって放射される。音波が室内の壁に到達すると、その一部が反射され、室内の全ての反射を重ね合わせたもの、即ち反響が環境音の主要な例である。他の例としては、聴衆の音（例えば拍手）、自然環境の音（例えば雨）及びその他の背景音（例えばがやがやとしたノイズ）が挙げられる。環境音は、拡散したもの、位置を判定できないものとして知覚され、聴取者には包み込まれる（「音の中に没入した」）ような印象を与える。互いに間隔を置いた多数のセンサを用いて環境音フィールドを捕捉した場合、記録された信号は少なくとも部分的に非コヒーレントである。

音声信号を直接信号成分と環境信号成分とに分解することからは、音の後生成及び再生における様々な応用分野で利益が得られる。このような信号処理についての主な課題は、任意の数の入力チャネル信号及び全ての可能な入力信号特性について高い音質を維持しながら、高程度の分離を達成することである。直接・環境分解（ＤＡＤ）、即ち音声信号の直接信号成分及び環境信号成分への分解によって、信号成分を別個に再生又は変更することが可能となり、これは例えば音声信号のアップミックスに望ましいものである。

アップミックスという用語は、入力信号がＮ個のチャネルを有する場合にＰ個のチャネルを有する信号を作成する（ただしＰ＞Ｎ）プロセスを指す。その主な応用例として、入力信号で利用可能であるよりも多くのチャネルを有するサラウンド音セットアップを用いた音声信号の再生がある。高度な信号処理アルゴリズムを用いてコンテンツを再生することにより、聴取者は、マルチチャネル音再生セットアップの全ての利用可能なチャネルを用いることが可能となる。このような処理により、入力信号を、意味のある信号成分（例えばステレオ画像における知覚位置、直接音対環境音、単一の楽器に基づくもの）、又はこれらの信号成分を減衰若しくは増強させた信号、へと分解することができる。

アップミックスの２つの概念が広く知られている。

１．ガイド型アップミックス：アップミックスプロセスをガイドする追加の情報を用いてアップミックスする。この追加の情報は、入力信号において特定の方法で「符号化」されるか、又は追加的に記憶され得る。

２．非ガイド型アップミックス：出力信号は、追加の情報なしに排他的に音声入力信号から得られる。

高度なアップミックス方法は、更に、直接信号及び環境信号の位置付けに関して分類することができる。即ち、「直接・環境方式」と「帯内」方式とに区別される。直接・環境ベースの技術の中核的な要素は、環境信号を抽出し、これを例えばマルチチャネルサラウンド音セットアップの後方チャネル又は高さチャネルに入力することである。後方チャネルまたは高さチャネルを用いて環境音を再生することによって、聴取者には包み込まれる（「音の中に没入した」）ような印象が与えられる。更に、直接音源を、ステレオパノラマ中の知覚位置に従って前方チャネルの間で配置することができる。これに対し、「帯内」方式は、全ての利用可能なラウドスピーカーを用いて聴取者の周囲の全ての音（直接音及び環境音）を位置付けることをめざすものである。

音声信号を直接信号及び環境信号に分解することによって、例えばこれをスケーリング又はフィルタリングすることによって環境音又は直接音に別個に変更を加えることも可能となる。一使用例として、過剰な量の環境音を伴って捕捉された音楽演奏の録音処理が挙げられる。別の使用例として、音声生成（例えば映画のサウンド又は音楽におけるもの）であって、異なる位置で捕捉されたため異なる環境音特性を有する音声信号を組み合わせる場合が挙げられる。

いずれの場合でも、このような信号処理のための要件は、任意の数の入力チャネル信号及び全ての可能な入力信号特性について高い音質を維持しながら、高程度の分離を達成することである。

ＤＡＤ、又は直接信号成分若しくは環境信号成分の減衰若しくは増強についての先行技術における様々な方策が提案されており、以下に簡単に説明する。

公知の概念は、マイクロフォン録音から望ましくない背景ノイズを除去することを目的としたスピーチ信号の処理に関する。

［１］においては、２つの入力チャネルを有するスピーチ録音からの反響を減衰させる方法が記載されている。入力信号における無相関（又は拡散）信号成分を減衰させることによって反響信号成分を低減させる。この処理は、時間周波数領域で実現されるため、サブバンド信号は、スペクトル重み付け方法を用いて処理される。実数値重み付け因子は、パワースペクトル密度（ＰＳＤ）を用いて

により計算され、ここでＸ（ｍ，ｋ）及びＹ（ｍ，ｋ）は、時間領域入力信号ｘ_ｔ［ｎ］及びｙ_ｔ［ｎ］の時間周波数領域表現を示し、Ｅ｛・｝は、期待演算であり、Ｘ^＊は、Ｘの複素共役である。

この文献の著者等は、φ_ｘｙ（ｍ，ｋ）に比例する場合、例えば正規化された相互相関関数（又はコヒーレンス関数）に等しい重みを用いる場合に、異なるスペクトル重み付け関数が有効であると指摘している。

これと同様の理論で、［２］に記載の方法では、周波数帯域で計算された正規化された相互相関関数から導出した重みによるスペクトル重み付けを用いて環境信号を抽出する。式（４）（この文献の著者等は、「チャネル間短時間コヒーレント関数」という用語を用いている）を参照。［１］と比較すると、拡散信号成分を減衰させる代わりに、（１−ρ（ｍ，ｋ））の単調で一様な関数であるスペクトル重みを用いて直接信号成分を減衰させている点で異なっている。

［３］においては、マルチチャネル・ウィーナフィルタリングを用いて２つのチャネルを有する入力信号をアップミックスする応用例における分解が記載されている。この処理は、時間周波数領域で行われる。入力信号は、環境信号及び（１周波数帯当り）１つのアクティブな直接源を混合したものとしてモデル化され、ここで、１つのチャネルにおける直接信号は、第２のチャネル、即ち振幅パンニングにおける直接信号成分のスケーリングされたコピーへと制限される。正規化された相互相関と、両方のチャネルにおける入力信号パワーとを用いて、パンニング係数と直接信号及び環境信号のパワーとを推定する。直接出力信号及び環境出力信号は、実数値重み付け係数によって入力信号の線形組み合わせから導出される。追加の後スケーリングを適用することにより、出力信号のパワーが推定量に等しくなるようにする。

［４］に記載の方法では、環境パワーの推定値に基づいてスペクトル重み付けを用いて環境信号を抽出する。環境パワーの推定は、両方のチャネルにおける直接信号成分が完全に相関しており、環境チャネル信号が互いに及び直接信号と相関しておらず、且つ両方のチャネルにおける環境パワーが等しいという想定に基づいている。

［５］においては、方向性音声符号化（ＤｉｒＡＣ）に基づくステレオ信号のアップミックス方法が記載されている。ＤｉｒＡＣは、到来方向、拡散性及び音の場のスペクトルを分析及び再生することをめざすものである。ステレオ入力信号をアップミックスするために、入力信号の無エコー性Ｂフォーマット録音をシミュレートする。

［６］においては、適応フィルタアルゴリズムを用いたステレオ音声信号から無相関の反響を抽出する方法であって、１つのチャネル信号における直接信号成分を、最小平均二乗（ＬＭＳ）アルゴリズムによって他のチャネル信号を用いて予測することをめざすものが記載されている。次に、入力信号から推定直接信号を減算することにより環境信号を導出する。この方策の理論は、予測は相関の信号についてのみ有効であり、予測エラーは無相関の信号に似るというものである。ＬＭＳ原理に基づく様々な適応フィルタアルゴリズム、例えばＬＭＳ又は正規化ＬＭＳ（ＮＬＭＳ）アルゴリズムが存在し、有効である。

［７］においては、２つのチャネルよりも多くのチャネルを有する入力信号を分解するために、まずマルチチャネル信号をダウンミックスして２チャネルステレオ信号を得てから、［３］で示されたステレオ入力信号処理方法を適用する方法が記載されている。

［８］に記載の方法では、モノ信号を処理するために、スペクトル重み付けを用いて環境信号を抽出し、スペクトル重みは、特徴抽出及び教師有り学習を用いて計算される。

アップミックスの応用例におけるモノ録音から環境信号を抽出するもう１つの方法では、入力信号の時間周波数領域表現と、これを圧縮したもの、好ましくは負でない行列の因数分解を用いて計算されたものとの差から時間周波数領域表現を得る［９］。

［１０］には、音声信号における反響信号成分を、反響信号を生成した反響システムの大きさ伝達関数の推定値に基づいて抽出し変化させる方法が記載されている。信号成分の周波数領域表現の大きさの推定値は、再帰的フィルタリングによって導出され、変更を加えることができる。

本発明の目的は、音声信号処理のためのマルチチャネル直接・環境分解のための改善された概念を提供することである。本発明の目的は、請求項１に記載の装置、請求項１４に記載の方法、及び請求項１５に記載のコンピュータプログラムによって解決される。

２つ以上の音声入力チャネル信号に応じて１つ以上の音声出力チャネル信号を生成するための装置が提供される。２つ以上の音声入力チャネル信号の各々は、直接信号部分及び環境信号部分を含む。装置は、第１のパワースペクトル密度情報を推定し第２のパワースペクトル密度情報を推定することによりフィルタを決定するためのフィルタ決定部を備える。更に、装置は、２つ以上の音声入力チャネル信号にフィルタを適用することにより１つ以上の音声出力チャネル信号を生成するための信号処理部を備える。第１のパワースペクトル密度情報は、２つ以上の音声入力チャネル信号についてのパワースペクトル密度情報を示し、第２のパワースペクトル密度情報は、２つ以上の音声入力チャネル信号の環境信号部分についてのパワースペクトル密度情報を示す。或いは、第１のパワースペクトル密度情報は、２つ以上の音声入力チャネル信号についてのパワースペクトル密度情報を示し、第２のパワースペクトル密度情報は、２つ以上の音声入力チャネル信号の直接信号部分についてのパワースペクトル密度情報を示す。或いは、第１のパワースペクトル密度情報は、２つ以上の音声入力チャネル信号の直接信号部分についてのパワースペクトル密度情報を示し、第２のパワースペクトル密度情報は、２つ以上の音声入力チャネル信号の環境信号部分についてのパワースペクトル密度情報を示す。

実施例は、音声入力信号を直接信号成分及び環境信号成分に分解し、これらを音の後生成及び再生に適用するための概念を提供する。このような信号処理における主な課題は、任意の数の入力チャネル信号及び全ての可能な入力信号特性について高い音質を維持しながら、高程度の分離を達成することである。本願により提供される概念は、時間周波数領域におけるマルチチャネル信号処理であって、平均平方誤差の意味での条件付き最適解につながるものであり、例えば推定された所望の信号の歪み又は残差干渉の低減に対する条件を受けるものに基づく。

音声入力信号を直接信号成分及び環境信号成分に分解するための実施例が提供される。更に、環境信号成分を計算するためのフィルタの導出が提供され、更に、フィルタの応用例における実施例が記載される。

いくつかの実施例は、１つのチャネルよりも多くのチャネルを有する入力信号を伴う直接・環境方式に従う非ガイド型アップミックスに関する。

本願に記載の分解の想定される応用例として、同じ数のチャネルを有する出力信号を入力信号として計算することへの関心が集まっている。この応用例においては、実施例は、分離及び音質の観点で極めて良好な結果を提供するが、それは、直接信号が入力チャネル間で時間遅延される入力信号に対処できるからである。他の概念、例えば［３］で提案された概念とは対照的に、実施例は、入力信号における直接音がスケーリングのみによってパンニングされる（振幅パンニング）のではなく、各々のチャネルにおける直接信号間の時間差をも導入することによってパンニングされることを想定している。

更に、実施例は、１つ又は２つのチャネルを有する入力信号しか処理できない先行技術の全ての他の概念（上記を参照）とは対照的に、任意の数のチャネルを有する入力信号に対する演算を行うことができる。

実施例の他の利点は、制御パラメータの利用、環境ＰＳＤ行列の推定、及びフィルタの更なる変更が挙げられ、これについては後述する。

いくつかの実施例は、全ての入力音オブジェクトについて一貫性のある環境音を提供する。入力信号を直接音及び環境音に分解したとき、いくつかの実施例では、適切な音声信号処理を用いて環境音特性を適合し、他の実施例では、環境信号成分の代わりに人工的な反響及び他の人工的な環境音を用いる。

実施例によると、装置は、更に、２つ以上の音声入力チャネル信号を時間領域から時間周波数領域に変換するように構成された分析フィルタバンクを備えることができる。フィルタ決定部は、時間周波数領域で表される音声入力チャネル信号に応じて第１のパワースペクトル密度情報及び第２のパワースペクトル密度情報を推定することによってフィルタを決定するように構成することができる。信号処理部は、時間周波数領域で表される２つ以上の音声入力チャネル信号にフィルタを適用することにより、時間周波数領域で表される１つ以上の音声出力チャネル信号を生成するように構成することができる。また、装置は、更に、時間周波数領域で表される１つ以上の音声出力チャネル信号を、時間周波数領域から時間領域に変換するように構成された合成フィルタバンクを備えることができる。

更に、２つ以上の音声入力チャネル信号に応じて１つ以上の音声出力チャネル信号を生成するための方法が提供される。２つ以上の音声入力チャネル信号の各々は、直接信号部分及び環境信号部分を含む。方法は、
−第１のパワースペクトル密度情報を推定し第２のパワースペクトル密度情報を推定することによりフィルタを決定するステップと、
−２つ以上の音声入力チャネル信号にフィルタを適用することにより前記１つ以上の音声出力チャネル信号を生成するステップと、を備える。

第１のパワースペクトル密度情報は、２つ以上の音声入力チャネル信号についてのパワースペクトル密度情報を示し、第２のパワースペクトル密度情報は、２つ以上の音声入力チャネル信号の環境信号部分についてのパワースペクトル密度情報を示す。或いは、第１のパワースペクトル密度情報は、２つ以上の音声入力チャネル信号についてのパワースペクトル密度情報を示し、第２のパワースペクトル密度情報は、２つ以上の音声入力チャネル信号の直接信号部分についてのパワースペクトル密度情報を示す。或いは、第１のパワースペクトル密度情報は、２つ以上の音声入力チャネル信号の直接信号部分についてのパワースペクトル密度情報を示し、第２のパワースペクトル密度情報は、２つ以上の音声入力チャネル信号の環境信号部分についてのパワースペクトル密度情報を示す。

更に、コンピュータ又は信号プロセッサにおいて実行されたときに上述の方法を実現するためのコンピュータプログラムが提供される。

以下、本発明の実施例について、図面を参照してより詳細に説明する。

図１は、実施例による２つ以上の音声入力チャネル信号に応じて１つ以上の音声出力チャネル信号を生成するための装置を示す図である。 図２は、実施例によるクラシック音楽の５チャネル録音の分解の入力信号及び出力信号であって、入力信号（左列）、環境出力信号（中列）及び直接出力信号（右列）を示す図である。 図３は、実施例による環境信号推定及び直接信号推定を用いた分解の基本的な概観を示す図である。 図４は、実施例による直接信号推定を用いた分解の基本的な概観を示す図である。 図５は、実施例による環境信号推定を用いた分解の基本的な概観を示す図である。 図６ａは、別の実施例による装置であって、分析フィルタバンク及び合成フィルタバンクを更に備えた装置を示す図である。 図６ｂは、更なる実施例による装置であって、直接信号成分の抽出を示し、ブロックＡＦＢは、Ｎ個の分析フィルタバンク（各々のチャネルにつき１つ）の組であり、ＳＦＢは、１組の合成フィルタバンクであるものを示す図である。

図１は、実施例による２つ以上の音声入力チャネル信号に応じて１つ以上の音声出力チャネル信号を生成するための装置を示す。２つ以上の音声入力チャネル信号の各々は、直接信号部分及び環境信号部分を含む。

装置は、第１のパワースペクトル密度情報を推定し第２のパワースペクトル密度情報を推定することによりフィルタを決定するためのフィルタ決定部１１０を備える。

更に、装置は、２つ以上の音声入力チャネル信号にフィルタを適用することにより１つ以上の音声出力チャネル信号を生成するための信号処理部１２０を備える。

第１のパワースペクトル密度情報は、２つ以上の音声入力チャネル信号についてのパワースペクトル密度情報を示し、第２のパワースペクトル密度情報は、２つ以上の音声入力チャネル信号の環境信号部分についてのパワースペクトル密度情報を示す。

或いは、第１のパワースペクトル密度情報は、２つ以上の音声入力チャネル信号についてのパワースペクトル密度情報を示し、第２のパワースペクトル密度情報は、２つ以上の音声入力チャネル信号の直接信号部分についてのパワースペクトル密度情報を示す。

或いは、第１のパワースペクトル密度情報は、２つ以上の音声入力チャネル信号の直接信号部分についてのパワースペクトル密度情報を示し、第２のパワースペクトル密度情報は、２つ以上の音声入力チャネル信号の環境信号部分についてのパワースペクトル密度情報を示す。

実施例によっては、音声入力信号を直接信号成分及び環境信号成分に分解するための概念が提供され、これらを音の後生成及び再生に適用することができる。このような信号処理における主な課題は、任意の数の入力チャネル信号及び全ての可能な入力信号特性について高い音質を維持しながら、高程度の分離を達成することである。本願により提供される実施例は、時間周波数領域におけるマルチチャネル信号処理に基づくものであり、平均平方誤差の意味での最適解であって、推定された所望の信号の歪み又は残余干渉の低減に対する条件を受けるものが提供される。

まず、本発明の実施例が基づく発明概念について説明する。

実施例によると、この処理は、例えば、時間周波数領域で実行することができる。入力音声信号の時間周波数領域表現は、例えば、フィルタバンク（分析フィルタバンク）、例えば短時間フーリエ変換（ＳＴＦＴ）を用いて得ることができる。

図６ａの実施例においては、分析フィルタバンク６０５は、２つ以上の音声入力チャネル信号を時間領域から時間周波数領域に変換するように構成される。フィルタ決定部１１０は、時間周波数領域で表される音声入力チャネル信号に応じて第１のパワースペクトル密度情報及び第２のパワースペクトル密度情報を推定することによってフィルタを決定するように構成される。信号処理部１２０は、時間周波数領域で表される２つ以上の音声入力チャネル信号にフィルタを適用することにより、時間周波数領域で表される１つ以上の音声出力チャネル信号を生成するように構成される。合成フィルタバンク６２５は、時間周波数領域で表される１つ以上の音声出力チャネル信号を、時間周波数領域から時間領域に変換するように構成される。

時間周波数領域表現は、時間の経過に伴って発展する或る数のサブバンド信号を含む。任意には、隣接するサブバンドを線形に組み合わせてより広いサブバンド信号とすることで計算上の複雑度を低減させることができる。入力信号における各々のサブバンドは、以下に詳細に説明するように個別に処理される。時間領域出力信号は、それぞれフィルタバンク、即ち合成フィルタバンクの逆処理を適用することによって得られる。全ての信号がゼロの平均値を有するものと想定され、時間周波数領域信号は、複雑なランダム変数としてモデル化することができる。

以下、定義及び想定について説明する。

以下の定義は、考案された方法の記載全体を通して用いられる。Ｎ個のチャネルを有するマルチチャネル入力信号の時間周波数領域表現は、時間インデックスｍ及びサブバンドインデックスｋ，ｋ＝１…Ｋを用いて

であり、ここで

であり、ここで、Ｄ_i（ｍ，ｋ）は直接成分を示し、Ａ_i（ｍ，ｋ）は、i番目のチャネルにおける環境成分を示す。

から得ることができる。これに代えて、１つのフィルタ行列だけを用いても良く、図４に示す減算は、

フィルタ行列は、以下に説明するように信号統計の推定値から計算される。

具体的には、フィルタ決定部１１０は、第１のパワースペクトル密度（ＰＳＤ）情報及び第２のＰＳＤ情報を推定することによってフィルタを決定するように構成される。

を定義し、ここで、Ｅ｛・｝は、期待値演算子であり、Ｘ^＊は、Ｘの複素共役を示す。i＝ｊの場合にはＰＳＤが、i≠ｊの場合にはクロスＰＳＤが得られる。

以下のように想定する。

・Ｄ_i（ｍ，ｋ）及びＡ_ｉ（ｍ，ｋ）は、相互に無相関である。

・Ａ_ｉ（ｍ，ｋ）及びＡ_ｊ（ｍ，ｋ）は、相互に無相関である。

・環境パワーは、全てのチャネルにおいて等しい。

その結果、

が成立する。

考案された方法の性能を評価するために、以下の信号を定義する。

・直接信号歪み：

・残差環境信号：

・環境信号歪み：

・残差直接信号：

以下においては、フィルタ行列の導出について図４及び図５に従って説明する。読みやすくするために、サブバンドインデックス及び時間インデックスは省略する。

最初に、直接信号成分の推定についての実施例について説明する。

によって与えられる。i番目のチャネルの直接出力信号を計算するためのフィルタは、

に等しく、ここでｕ_iは、i番目の位置における１を伴う長さＮの零ベクトルである。パラメータβ_iにより、残差環境信号の低減と環境信号歪みとの間のトレードオフが可能となる。図４に示すシステムについては、直接出力信号におけるより低い残差環境レベルが、環境出力信号におけるより高い環境レベルにつながる。より少ない直接信号歪みは、環境出力信号における直接信号成分の良好な減衰につながる。時間及び周波数に依存するパラメータβ_iは、各々のチャネルについて別個に設定することができ、入力信号又は以下のように導出された信号によって制御することができる。

これと類似の解を得るには、条件付き最適化問題を

として導出され、ここでφ_ＤiＤiは、i番目のチャネルにおける直接信号のＰＳＤであり、λはマルチチャネル直接対環境比（ＤＡＲ）

であり、ここで、正方行列Ａのトレースは、主対角線上の要素の和に等しい。

以下、環境信号成分の推定について説明する。

考案された方法の理論は、環境信号歪みｑ_ａを条件付きとしながら残差直接信号ｒ_ｄが最小になるようにフィルタを計算することである。これは、条件付き最適化問題

によって与えられる。i番目のチャネルの環境出力信号を計算するためのフィルタは、

に等しい。

以下、本発明の概念を実現する実施例を詳細に記載する。

と書き替えることができる。式（３３）は、式（２２）についての条件付き最適化問題についての解をもたらす。

更に、式（３３）を再公式化する（式（２０）を参照）ことによって、

更に、式（３３）を再公式化する（式（２０）を参照）ことによって、

更に、式（３３）を再公式化することによって、

式（３３ｃ）によって、式（２９）の条件付き最適化問題についての解が得られる。

これと同様に、式（３３ａ），（３３ｂ）を再公式化して、

又は

とすることができる。

を用いて、例えば直接推定することができ、ここで、αは、積分時間を決定するフィルタ係数であり、又は、例えば、短時間移動重み付き平均

を用いて、例えば直接推定することができ、ここで、Ｌは、例えばＰＳＤの計算に用いられる過去の値の数であり、ｂ_０…ｂ_Ｌは、例えば［０ １］の範囲内のフィルタ係数であり（例えば０≦フィルタ係数≦１）、又は、例えば、式（３４ｂ）に従い、ただし全てのi＝０…Ｌについて

による短時間移動平均を用いて、例えば直接推定することができる。

であり、ここで、パラメータｇは、環境パワーの量を制御し、０＜ｇ＜１である。

更なる実施例によると、推定は、算術平均に基づいて行われる。式（２０）及び式（２１）へつながる仮定の場合、

として推定される。

更に、式（２０），（３５）から、

が得られる。

以下、パラメータβ_iについての選択について検討する。

β_iは、トレードオフパラメータである。トレードオフパラメータβ_iは、数である。

いくつかの実施例では、全ての音声入力チャネル信号について有効なただ１つのトレードオフパラメータβ_iを決定し、このトレードオフパラメータを音声入力チャネル信号のトレードオフ情報と見做す。

他の実施例では、２つ以上の音声入力チャネル信号の各々について１つのトレードオフパラメータβ_iを決定し、音声入力チャネル信号のこれら２つ以上のトレードオフパラメータが合わさってトレードオフ情報を構成する。

更なる実施例においては、トレードオフ情報は、パラメータとして表されるのではなく、異なる種類の好適なフォーマットとして表されることができる。

上述のように、パラメータβ_iによって、環境信号の低減と直接信号の歪みとの間のトレードオフが可能となる。これは一定のものとして選択されるか、又は図６ｂに示すように信号依存のものとして選択され得る。

以下、信号分析を用いてパラメータβ_iを制御するための異なった使用例について説明する。

最初に、トランジェント信号について検討する。

実施例によると、フィルタ決定部１１０は、２つ以上の音声入力チャネル信号のうちの少なくとも１つにトランジェントが存在するか否かに応じてトレードオフ情報（β_i，β_ｊ）を決定するように構成される。

次に、望ましくない環境信号について検討する。

実施例においては、フィルタ決定部１１０は、２つ以上の音声入力チャネル信号のうちの１つが送信される少なくとも１つの信号チャネルにおける加算ノイズの存在に応じてトレードオフ情報（β_i，β_ｊ）を決定するように構成される。

提案される方法は、環境信号成分の性質に関わらず入力信号を分解する。ノイズの多い信号チャネルを介して入力信号が送信された場合、望ましくない加算ノイズ存在の確率を推定してβ_iを制御することで出力ＤＡＲ（直接対環境比）が増加するようにすることが有利である。

次に、出力信号のレベルの制御について記載する。

出力信号のレベルを制御するために、β_iをi番目のチャネルについて別個に設定することができる。i番目のチャネルの環境出力信号を計算するためのフィルタは、式（３１）によって与えられる。

又は

となるようにβ_iを計算することができる。

次に、パンニング情報の使用について検討する。

入力チャネルが２つある場合、パンニング情報は、サブバンドごとの両方のチャネル間のレベル差を定量化する。パンニング情報を適用してβ_iを制御することによって、出力信号の知覚幅を制御することができる。

以下、出力環境チャネル信号の等化について検討する。

として得ることができる。

となる対角行列である。

として得ることができる。

装置の文脈でいくつかの局面を記載したが、これらの局面は対応の方法の記載をも表すものであり、ブロック又はデバイスは、方法ステップ又は方法ステップの特徴に対応することは明らかである。同様に、方法ステップの文脈で記載した局面は、対応する装置の対応するブロック若しくは項目又は特徴の記載をも表す。

本発明の分解された信号は、デジタル記憶媒体で記憶することができ、又は、無線伝送媒体又はインターネットのような有線伝送媒体のような伝送媒体、で送信することができる。

特定の実現要件に応じて、本発明の実施例は、ハードウェア又はソフトウェアによって実現され得る。その実現は、デジタル記憶媒体、例えばフロッピーディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ又はフラッシュメモリであって、電子的に読み出し可能な制御信号を格納しており、プログラム可能なコンピュータシステムと協働する（又は協働可能である）ことによりそれぞれの方法が実行されるようにするものを用いて実行され得る。

本発明のいくつかの実施例は、プログラム可能なコンピュータシステムと協働可能であることによって本願明細書に記載の方法の１つが実行されるようにする、電子的に読み出し可能な制御信号を有する非一時的データキャリアを含む。

一般的には、本発明の実施例は、プログラムコードを有するコンピュータプログラム製品であって、このコンピュータプログラム製品がコンピュータにおいて実行されるときに上記プログラムコードが上記方法の１つを実行するように動作するものとして実現され得る。プログラムコードは、例えば、機械読み取り可能キャリアに格納され得る。

他の実施例は、機械読み取り可能キャリアに格納された、本願明細書に記載の方法の１つを実行するためのコンピュータプログラムを含む。

従って、換言すると、本発明の方法の一実施例は、コンピュータプログラムであって、このコンピュータプログラムがコンピュータにおいて実行されるときに、本願明細書に記載の方法の１つを実行するためのプログラムコードを有するものである。

従って、本発明の方法の更なる実施例は、データキャリア（又はデジタル記憶媒体若しくはコンピュータ読み取り可能媒体）であって、そこに記録された、本願明細書に記載の方法の１つを実行するためのコンピュータプログラムを含むものである。

従って、本発明の方法の更なる実施例は、本願明細書に記載の方法の１つを実行するためのコンピュータプログラムを表すデータストリーム又は信号シーケンスである。データストリーム又は信号シーケンスは、例えば、インターネットを介したデータ通信接続を介して転送されるように構成され得る。

更なる実施例は、本願明細書に記載の方法の１つを実行するように構成又は適合された処理手段、例えばコンピュータ又はプログラム可能論理装置を含む。

更なる実施例は、本願明細書に記載の方法の１つを実行するためのコンピュータプログラムをインストールしたコンピュータを含む。

いくつかの実施例においては、プログラム可能論理装置（例えば、フィールドプログラマブルゲートアレイ）を用いて、本願明細書に記載の方法におけるいくつか又は全ての機能を実行しても良い。いくつかの実施例においては、フィールドプログラマブルゲートアレイは、マイクロプロセッサと協働して、本願明細書に記載の方法の１つを実行しても良い。一般的に、当該方法は、どのようなハードウェア装置によって実行されても良い。

上述の各実施例は、単に本発明の原理を例示するものである。本願明細書に記載の構成及び詳細を変更及び変形したものが当業者には明らかであることが理解される。従って、本願明細書における各実施例の記載及び説明として提示された特定の詳細によってではなく、添付の特許請求の範囲によってのみ限定されることが意図される。

参考文献
［１］Ｊ．Ｂ．アレン（Ａｌｌｅｎ）、Ｄ．Ａ．バークリー（Ｂｅｒｋｅｌｅｙ）、Ｊ．ブラウアート（Ｂｌａｕｅｒｔ）、「スピーチ信号から室内反響を除去するためのマルチマイクロフォン信号処理技術（Ｍｕｌｔｉｍｉｃｒｏｐｈｏｎｅ ｓｉｇｎａｌ-ｐｒｏｃｅｓｓｉｎｇ ｔｅｃｈｎｉｑｕｅ ｔｏ ｒｅｍｏｖｅ ｒｏｏｍ ｒｅｖｅｒｂｅｒａｔｉｏｎ ｆｒｏｍ ｓｐｅｅｃｈ ｓｉｇｎａｌｓ）」、米国音響協会報（Ｊ．Ａｃｏｕｓｔ．Ｓｏｃ．Ａｍ）、６２巻、１９７７年
［２］Ｃ．アヴェンダーノ（Ａｖｅｎｄａｎｏ）、Ｊ．Ｍ．ジョット（Ｊｏｔ）、「マルチチャネルアップミックスのための周波数領域方策（Ａ ｆｒｅｑｕｅｎｃｙ-ｄｏｍａｉｎ ａｐｐｒｏａｃｈ ｔｏ ｍｕｌｔｉ-ｃｈａｎｎｅｌ ｕｐｍｉｘ）」、音声工学協会報（Ｊ．Ａｕｄｉｏ Ｅｎｇ．Ｓｏc．）、５２巻、２００４年
［３］Ｃ．ファラー（Ｆａｌｌｅｒ）、「ステレオ信号の多スピーカー式再生（Ｍｕｌｔｉｐｌｅ-ｌｏｕｄｓｐｅａｋｅｒ ｐｌａｙｂａｃｋ ｏｆ ｓｔｅｒｅｏ ｓｉｇｎａｌｓ）」、”, 音声工学協会報（Ｊ．Ａｕｄｉｏ Ｅｎｇ．Ｓｏｃ．）、５４巻、２００６年
［４］Ｊ．メリマー（Ｍｅｒｉｍａａ）、Ｍ．グッドウィン（Ｇｏｏｄｗｉｎ）、Ｊ．Ｍ．ジョット（Ｊｏｔ）、「ステレオ録音からの相関ベースの環境抽出（Ｃｏｒｒｅｌａｔｉｏｎ-ｂａｓｅｄ ａｍｂｉｅｎｃｅ ｅｘｔｒａｃｔｉｏｎ ｆｒｏｍ ｓｔｅｒｅｏ ｒｅｃｏｒｄｉｎｇｓ）」、第１２３回ＡＥＳ会議集録（Ｐｒｏｃ．ｏｆ ｔｈｅ ＡＥＳ １２３ｒｄ Ｃｏｎｖ．）、２００７年
［５］ヴィッレ・プルキ（Ｖｉｌｌｅ Ｐｕｌｋｋｉ）、「空間音再生及びステレオアップミックスにおける方向性音声符号化（Ｄｉｒｅｃｔｉｏｎａｌ ａｕｄｉｏ ｃｏｄｉｎｇ ｉｎ ｓｐａｔｉａｌ ｓｏｕｎｄ ｒｅｐｒｏｄｕｃｔｉｏｎ ａｎｄ ｓｔｅｒｅｏ ｕｐｍｉｘｉｎｇ）」、第２８回国際ＡＥＳ会議集録（Ｐｒｏｃ．ｏｆ ｔｈｅ ＡＥＳ ２８ｔｈ Ｉｎｔ．Ｃｏｎｆ．）、２００６年
［６］Ｊ．アッシャー（Ｕｓｈｅｒ）、Ｊ．ベネスティー（Ｂｅｎｅｓｔｙ）、「空間音質の向上：新規の反響抽出音声アップミキサー（Ｅｎｈａｎｃｅｍｅｎｔ ｏｆ ｓｐａｔｉａｌ ｓｏｕｎｄ ｑｕａｌｉｔｙ：Ａ ｎｅｗ ｒｅｖｅｒｂｅｒａｔｉｏｎ-ｅｘｔｒａｃｔｉｏｎ ａｕｄｉｏ ｕｐｍｉｘｅｒ）」、音声・スピーチ・言語処理に関するＩＥＥＥ会報（ＩＥＥＥ Ｔｒａｍ．ｏｎ Ａｕｄｉｏ，Ｓｐｅｅｃｈ．ａｎｄ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ）、ｌ５巻、２１４１〜２１５０頁、２００７年
［７］Ａ．ヴァルター（Ｗａｌｔｈｅｒ）、Ｃ．ファラー（Ｆａｌｌｅｒ）、「サラウンド音信号の直接・環境分解及びアップミックス（Ｄｉｒｅｃｔ−ａｍｂｉｅｎｔ ｄｅｃｏｍｐｏｓｉｔｉｏｎ ａｎｄ ｕｐｍｉｘ ｏｆ ｓｕｒｒｏｕｎｄ ｓｏｕｎｄ ｓｉｇｎａｌｓ）」、ＩＥＥＥ ＷＡＳＰＡＡ集録（Ｐｒｏｃ．ｏｆ ＩＥＥＥ ＷＡＳＰＡＡ）、２０１１年
［８］Ｃ．ウーレ（Ｕｈｌｅ）、Ｊ．ヘレ（Ｈｅｒｒｅ）、Ｓ．ガイヤースベルガー（Ｇｅｙｅｒｓｂｅｒｇｅｒ）、Ｆ．リッダーブッシュ（Ｒｉｄｄｅｒｂｕｓｃｈ）、Ａ．ヴァルター（Ｗａｌｔｅｒ）、Ｏ．モーザー（Ｍｏｓｅｒ）、「環境信号を抽出するための重みづけ係数を得るための装置及び方法において環境信号を抽出するための装置及び方法、並びにコンピュータプログラム（Ａｐｐａｒａｔｕｓ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ｅｘｔｒａｃｔｉｎｇ ａｎ ａｍｂｉｅｎｔ ｓｉｇｎａｌ ｉｎ ａｎ：ａｐｐａｒａｔｕｓ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ｏｂｔａｉｎｉｎｇ ｗｅｉｇｈｔｉｎｇ ｃｏｅｆｆｉｃｉｅｎｔｓ ｆｏｒ ｅｘｔｒａｃｔｉｎｇ ａｎ ａｍｂｉｅｎｔ ｓｉｇｎａｌ ａｎｄ ｃｏｍｐｕｔｅｒ ｐｒｏｇｒａｍ）」、米国特許出願第２００９／００８０６６６号、２００９年
［９］Ｃ．ウーレ（Ｕｈｌｅ）、Ｊ．ヘレ（Ｈｅｒｒｅ）、Ａ．ヴァルター（Ｗａｌｔｈｅｒ）、Ｏ．ヘルムート（Ｈｅｌｌｍｕｔｈ）、Ｃ．ヤンセン（Ｊａｎｓｓｅｎ）、「音声信号から環境信号を生成するための装置及び方法、音声信号からマルチチャネル音声信号を導出するための装置及び方法、並びにコンピュータプログラム（Ａｐｐａｒａｔｕｓ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ｇｅｎｅｒａｔｉｎｇ ａｎ ａｍｂｉｅｎｔ ｓｉｇｎａｌ ｆｒｏｍ ａｎ ａｕｄｉｏ ｓｉｇｎａｌ，ａｐｐａｒａｔｕｓ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ｄｅｒｉｖｉｎｇ ａ ｍｕｌｔｉ−ｃｈａｎｎｅｌ ａｕｄｉｏ ｓｉｇｎａｌ ｆｒｏｍ ａｎ ａｕｄｉｏ ｓｉｇｎａｌ ａｎｄ ｃｏｍｐｕｔｅｒ ｐｒｏｇｒａｍ）」、米国特許出願第２０１０／００３０５６３号、２０１０年
［１０］Ｇ．ソウルオウダー（Ｓｏｕｌｏｄｒｅ）、「音声入力信号の反響コンテンツを抽出し変化させるためのシステム（Ｓｙｓｔｅｍ ｆｏｒ ｅｘｔｒａｃｔｉｎｇ ａｎｄ ｃｈａｎｇｉｎｇ ｔｈｅ ｒｅｖｅｒｂｅｒａｎｔ ｃｏｎｔｅｎｔ ｏｆ ａｎ ａｕｄｉｏ ｉｎｐｕｔ ｓｉｇｎａｌ）」、米国特許第８，０３６，７６７号、特許日：２０１１年１０月１１日

Claims (12)

1. ２つ以上の音声入力チャネル信号に応じて１つ以上の音声出力チャネル信号を生成するための装置であって、前記２つ以上の音声入力チャネル信号の各々は、直接信号部分及び環境信号部分を含み、前記装置は、
   第１のパワースペクトル密度情報を推定し第２のパワースペクトル密度情報を推定することによりフィルタを決定するためのフィルタ決定部（１１０）と、
   前記２つ以上の音声入力チャネル信号に前記フィルタを適用することにより前記１つ以上の音声出力チャネル信号を生成するための信号処理部（１２０）と、を備え、
   前記第１のパワースペクトル密度情報は、前記２つ以上の音声入力チャネル信号についてのパワースペクトル密度情報を示し、前記第２のパワースペクトル密度情報は、前記２つ以上の音声入力チャネル信号の環境信号部分についてのパワースペクトル密度情報を示し、或いは、
   前記第１のパワースペクトル密度情報は、前記２つ以上の音声入力チャネル信号についてのパワースペクトル密度情報を示し、前記第２のパワースペクトル密度情報は、前記２つ以上の音声入力チャネル信号の直接信号部分についてのパワースペクトル密度情報を示し、或いは、
   前記第１のパワースペクトル密度情報は、前記２つ以上の音声入力チャネル信号の直接信号部分についてのパワースペクトル密度情報を示し、前記第２のパワースペクトル密度情報は、前記２つ以上の音声入力チャネル信号の環境信号部分についてのパワースペクトル密度情報を示し、
   前記フィルタ決定部（１１０）は、前記２つ以上の音声入力チャネル信号のうちの少なくとも１つに応じて、数であるトレードオフ情報（β_ｉ，β_ｊ）を決定するように構成され、
   前記フィルタ決定部（１１０）は、前記第１のパワースペクトル密度情報、前記第２のパワースペクトル密度情報および前記トレードオフ情報に応じて前記フィルタを決定するように構成され、
   

   
2. 請求項１に記載の装置であって、
   前記装置は、更に、前記２つ以上の音声入力チャネル信号を時間領域から時間周波数領域へ変換するための分析フィルタバンク（６０５）を備え、
   前記フィルタ決定部（１１０）は、前記時間周波数領域で表される前記音声入力チャネル信号に応じて前記第１のパワースペクトル密度情報及び前記第２のパワースペクトル密度情報を推定することによって前記フィルタを決定するように構成され、
   前記信号処理部（１２０）は、前記時間周波数領域で表される前記２つ以上の音声入力チャネル信号に前記フィルタを適用することにより、前記時間周波数領域で表される前記１つ以上の音声出力チャネル信号を生成するように構成され、
   前記装置は、更に、前記時間周波数領域で表される前記１つ以上の音声出力チャネル信号を前記時間周波数領域から前記時間領域へ変換するための合成フィルタバンク（６２５）を備える、装置。
3. 請求項１または請求項２に記載の装置であって、
   前記フィルタ決定部（１１０）は、前記２つ以上の音声入力チャネル信号のうちの少なくとも１つにトランジェントが存在するか否かに応じて前記トレードオフ情報（β_ｉ，β_ｊ）を決定するように構成される、装置。
4. 請求項１から請求項３のいずれか１項に記載の装置であって、
   前記フィルタ決定部（１１０）は、前記２つ以上の音声入力チャネル信号のうちの１つが送信される少なくとも１つの信号チャネルにおける加算ノイズの存在に応じて前記トレードオフ情報（β_ｉ，β_ｊ）を決定するように構成される、装置。
5. 
6. 
7. 請求項１から請求項６のいずれかに記載の装置であって、前記フィルタ決定部（１１０）は、前記トレードオフ情報（β_ｉ，β_ｊ）として、２つ以上の音声入力チャネル信号の各々についてトレードオフパラメータ（β_ｉ，β_ｊ）を決定するように構成され、前記音声入力チャネル信号の各々のトレードオフパラメータ（β_ｉ，β_ｊ）は、前記音声入力チャネル信号に依存する、装置。
8. 
9. 
10. 
11. ２つ以上の音声入力チャネル信号に応じて１つ以上の音声出力チャネル信号を生成するための方法であって、前記２つ以上の音声入力チャネル信号の各々は、直接信号部分及び環境信号部分を含み、前記方法は、
    第１のパワースペクトル密度情報を推定し第２のパワースペクトル密度情報を推定することによりフィルタを決定するステップと、
    前記２つ以上の音声入力チャネル信号に前記フィルタを適用することにより前記１つ以上の音声出力チャネル信号を生成するステップと、を備え、
    前記第１のパワースペクトル密度情報は、前記２つ以上の音声入力チャネル信号についてのパワースペクトル密度情報を示し、前記第２のパワースペクトル密度情報は、前記２つ以上の音声入力チャネル信号の環境信号部分についてのパワースペクトル密度情報を示し、或いは、
    前記第１のパワースペクトル密度情報は、前記２つ以上の音声入力チャネル信号についてのパワースペクトル密度情報を示し、前記第２のパワースペクトル密度情報は、前記２つ以上の音声入力チャネル信号の直接信号部分についてのパワースペクトル密度情報を示し、或いは、
    前記第１のパワースペクトル密度情報は、前記２つ以上の音声入力チャネル信号の直接信号部分についてのパワースペクトル密度情報を示し、前記第２のパワースペクトル密度情報は、前記２つ以上の音声入力チャネル信号の環境信号部分についてのパワースペクトル密度情報を示し、
    前記方法は、更に、前記２つ以上の音声入力チャネル信号のうちの少なくとも１つに応じて、数であるトレードオフ情報（β_ｉ，β_ｊ）を決定するステップを備え、
    前記フィルタを決定するステップは、前記第１のパワースペクトル密度情報、前記第２のパワースペクトル密度情報および前記トレードオフ情報に応じて実行され、
    

    
12. コンピュータ又はプロセッサにおいて実行されたときに請求項１１に記載の方法を実現するためのコンピュータプログラム。

Images