JP5237463B2 - マルチチャンネルオーディオ信号を生成するための装置 - Google Patents

Description

本発明による実施形態は、入力オーディオ信号に基づいてマルチチャンネルオーディオ信号を生成するための装置および方法に関する。

本発明によるいくつかの実施形態は、特にマルチチャンネル信号を生成するためのコンセプトに関連したオーディオ信号処理に関する。ここで、自身の信号は、各スピーカに対して送信されるわけではない。

Ｎ個のオーディオチャンネルを有する信号がＭ個の再生チャンネル（Ｍ＞Ｎ）を有するオーディオシステムによって再生されるときに、例えば、以下の可能性が存在する：
（１）利用可能なスピーカの一部だけが、使用される
（２）全部の利用可能な再生システムを利用する信号が、生成される。

第２の可能性は、好ましい解決策であって、以下の本文では、アップミックス（ｕｐｍｉｘ）とも呼ばれている。

アップミックスすることに関連して、マルチチャンネル信号を生成する２種類の異なる方法がある。例えば、現存のマルチチャンネル信号が、追加データに基づいてレシーバで元の信号を再生させるために、少数のチャンネルにまとめられる。この方法は、ガイドされたアップミックス（ｇｕｉｄｅｄ ｕｐｍｉｘ）とも呼ばれている。

もう一方の可能性は、いわゆるブラインドアップミックス方法である。これは、前の情報なしでのマルチチャンネル拡張に関係する。その処理を制御する追加データはない。また、ブラインドアップミックスによって再生されなければならない、または、到達されなければならない元の音の印象、または、参照の音の印象もない。

従って、ブラインドアップミックスを実現するための異なるアプローチが、存在する。

１つの考えられるアプローチは、直接アンビエンスコンセプト（ｄｉｒｅｃｔ ａｍｂｉｅｎｃｅ ｃｏｎｃｅｐｔ）として知られる。この場合、直接音源（ｄｉｒｅｃｔ ｓｏｕｎｄ ｓｏｕｒｃｅ）は、（例えば、入力信号がステレオ信号であるときに、）直接音源が元の２チャンネルのバージョンと同じ位置で聴取者によって聞こえるように、（例えば、いわゆる５．１ホームシネマシステムのための）３つのフロントチャンネルによって、好ましくは再生される。

図２は、２チャンネルシステムのためのオーディオ信号再生２００の略図を示す。元の２チャンネルのバージョンは、例えば、３つの直接音源Ｓ１、Ｓ２、Ｓ３ ２４０によって示される。オーディオ信号は、左のスピーカ２２０および右のスピーカ２３０によって聴取者２１０のために再生され、３つの直接の音源の信号部分および囲まれた領域によって示されたアンビエンス部分２５０を含む。これが、例えば、標準の２チャンネルステレオ再生（３つのソースおよびアンビエンス）である。

図３は、直接アンビエンスコンセプトによるブラインドアップミックスのオーディオ信号再生３００の略図を示す。５つのスピーカ（センター３１０、左フロント３２０、右フロント３３０、左リア３４０および右リア３５０）は、マルチチャンネルオーディオ信号を再生するために示される。

直接音源２４０は、前方の３つのスピーカ３１０、３２０、３３０によって再生される。

オーディオトラックに含まれたアンビエンス部分２５０は、聴取者２１０を包むように、フロントチャンネルおよびサラウンドチャンネルによって、再生される。アンビエンス部分は、単一音源に割り当てられることができない信号部分であるが、可聴環境の印象を生成するすべての音の構成要素の組み合わせに割り当てられる。アンビエンス部分は、例えば、室内反射および室内残響を含みうるが、それはまた、観衆の音（例えば拍手）、自然の音（例えば雨）または人工的な音（例えばビニールのパチパチという音）も含みうる。

更なる可能なコンセプトは、イン・ザ・バンド・コンセプト（ｉｎ−ｔｈｅ−ｂａｎｄ ｃｏｎｃｅｐｔ）としてしばしば言及される。図４は、イン・ザ・バンド・コンセプトによるオーディオ信号再生４００の略図を示す。スピーカの配置は、図３のスピーカの配置に対応する。しかし、各サウンドタイプ、例えば、直接音源およびアンビエンスのような音は、聴取者のまわりの位置である。

すべての出力信号が同じ入力信号から生成されるので、出力信号は更に非相関にされなければならない。このため、例えば時間的遅延または全通過フィルタの使用のような多くの周知の方法が使用されうる。前述のシンプルな方法は、しばしば、非相関効果に追加的に気がかりな欠点を示す。

例えば、１つの欠点は、ほとんど全ての非相関方法が入力信号の時間的構造を歪めるということである。その結果、過渡的構造は、それらの過渡特性を失う。これにより、例えば、拍手のようなアンビエンス信号が包み込み効果（ｅｎｖｅｌｏｐｉｎｇ ｅｆｆｅｃｔ）に達しうるだけであるが、しかし、没入（ｉｍｍｅｒｓｉｏｎ）には達しないという効果がもたらされる。

拍手や雨などのような特別な信号の種類は、アンビエンス信号の中で例外的な位置をとる。それらは、室内印象を必ずしも与えるというわけではないアンビエンス信号である。それらは、むしろ、例えば単一の拍手または単一の雨滴のようなそれら自体で直接音特性を含む単一部分の膨大な数の時間的および空間的なオーバーレイによって包み込み感覚（ｅｎｖｅｌｏｐｉｎｇ ｆｅｅｌｉｎｇ）を生み出す。

オーバーレイによって、結果として生じる全体の信号は、室内残響として知られるものと同じ統計学的性質を主に得る。

特に、これらの信号の種類は、（ブラインドアップミックスによってだけでなく、ガイドされたアップミックスによる）アップミックス方法で処理されることは困難である。また、それらは、しばしば不完全なアップミックスにつながり、例えば、しばしば、くし型フィルタのような効果を聞くことができる。

これらのアーチファクトが起こらないように、リアチャンネルのための信号部分を生成する周知のブラインドアップミックス方法は、例えば、観衆が聴取者の前で拍手し、サラウンドチャンネルが、拍手の起こっている室内の印象（包み込みアンビエンス（ｅｎｖｅｌｏｐｉｎｇ ａｍｂｉｅｎｃｅ））を生成するだけである印象に限定された音の印象を生成する。しかし、特にこれらのアンビエンスにおいて、拍手している観衆の一部であること、または、雨の中にとどまっていること（没入型アンビエンス（ｉｍｍｅｒｓｉｖｅ ａｍｂｉｅｎｃｅ））が、望ましい。このため、（イン・ザ・バンド・コンセプトと同様）すべての部分は、聴取者の周りに分配されなければならないが、何の計測もなしでは、このことは、アーチファクトを有する音の印象に再度つながる。

「Ａ．ワグナー、Ａ．ワルター、Ｆ．メルキオル、Ｍ．シュトラウス「波面合成再生のための高度に没入できる雰囲気の生成」、第１１６回ＡＥＳ学会にて発表、ベルリン、２００４」において、どのように没入型アンビエンス（ｉｍｍｅｒｓｉｖｅ ａｍｂｉｅｎｃｅ）が波面合成法のために生成されうるかの方法が説明される。そのために、聴取者は、表された音響環境の印象を与える３６０度非相関な包み込み音場（ｅｎｖｅｌｏｐｉｎｇ ｓｏｕｎｄ ｆｉｅｌｄ）によって囲まれる。

没入効果（ｉｍｍｅｒｓｉｏｎ ｅｆｆｅｃｔ）に達するために、いわゆる集束音源（ｆｏｃｕｓｅｄ ｓｏｕｒｃｅ）が追加される。集束音源は、単一音源として知覚可能であり、包み込み音場の特徴的な単一の音を示す点音源である。

刊行物によると、単一音源（音響粒子）は、数多く、アンビエンスに対して利用可能でなければならなくて、別々に記録された音、または、シンセサイザによって生成された人工音でありうる。

このオブジェクト指向のアプローチには、各アンビエンスの種類に対する異なるオーディオ信号が、すでに利用可能でなければならないという欠点がある。一方では、包み込みアンビエンス信号は非相関な単一トラックとしてのものであり、他方、単一音源は分離したオーディオファイルである。前述の代替手段は、（分かるのであれば）各アンビエンスの種類に対してこれらを（例えばシンセサイザ・ソフトウェアによって）人工的に生成することであり、それは、再生されたアンビエンスにフィットしないリスクを含む。加えて、この種の生成のために、例えば、粒子音響および多くの演算時間についての数学的モデルが、必要である。一般に、波面合成方式ための労力は、非常に高い。

「ゲラルト ホート、スティーブン バン ド パル、イェルーン ブリーバルト、「拍手信号のマルチチャンネル・コーディング」、研究論文」において、特にランダムなアンビエンス（例の拍手、雨、パチパチと音をたてること）の非相関性のための方法を含む拍手信号のマルチチャンネル・コーディングのための方法が説明される。

ここで、周波数選択性コーダが信号の品質を更に悪くし、したがって時間領域ベースのコーダだけが示されることが述べられる。

これに関連して、非相関性だけは、なされなければならない。そして、それは基本的に、全ての信号が等しく音を出す（または入力時点である）ことを意味する。参照音響の再生がうまくいく非相関方法が導入される。

出願番号ＥＰ０８０１８７９３号を有する早期公開されていない欧州特許出願において、拍手のような信号をフォアグラウンド音響およびバックグラウンド音響に分解する方法が、導入される。「Ａ．ワグナー、Ａ．ワルター、Ｆ．メルキオル、Ｍ．シュトラウス「波面合成再生のための高度に没入できる雰囲気の生成」、第１１６回ＡＥＳ学会にて発表、ベルリン、２００４」を参照することもできる。包み込みアンビエンスは、そのアンビエンスから構成された認知可能な単音から切り離され、これら２つの部分は、互いに分離して扱うことができる。

前述の公開されていない特許出願において、元のアンビエンスを再生しようと試みた一実施形態（ガイドされたモード）を含んだ方法が説明される。原則として、（フォアグラウンド音響とは異なる）バックグラウンド音響は、非相関であるだけであり、フォアグラウンド音響は、異なる時に異なる位置に位置付けられるだけである。それは非相関方法に関するだけであると言えるかもしれない。

全体の信号は、フォアグラウンドおよびバックグラウンドに分解される。分離された部分の共通の再生だけは、再度、より良く聞こえると推測できるが、それらは両方ともアーチファクトを含みうる。

更に周知のアップミックス方法は、例えば、「ロイ イルワン、ロナルダス アーツ、「マルチチャンネル音声変換装置」、国際公開番号：国際公開第０２／０５２８９６号（Ｒｏｙ Ｉｒｗａｎ ａｎｄ Ｒｏｎａｌｄｕｓ Ａａｒｔｓ， “Ｍｕｌｔｉ−Ｃｈａｎｎｅｌ Ａｕｄｉｏ Ｃｏｎｖｅｒｔｅｒ”， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｐｕｂｌｉｃａｔｉｏｎ Ｎｕｍｂｅｒ： ＷＯ ０２／０５２８９６ Ａ２）」において、「カルロス アヴェンダニオ、ジャン＝マルク ジョット、「ステレオ信号のためのストリーム分離」、公開番号 米国特許出願公開第２００７／００４１５９２号明細書（Ｃａｒｌｏｓ Ａｖｅｎｄａｎｏ ａｎｄ Ｊｅａｎ−Ｍａｒｃ Ｊｏｔ， “Ｓｔｒｅａｍ Ｓｅｇｒｅｇａｔｉｏｎ Ｆｏｒ Ｓｔｅｒｅｏ Ｓｉｇｎａｌｓ”， Ｐｕｂ． Ｎｏ． ＵＳ ２００７／００４１５９２ Ａ１）」において、「デイビッド グリージンガー、「最大横方向分離間隔を有したマルチチャンネル・アクティブ・マトリクス・エンコーダおよびデコーダ」、特許番号 米国特許第００５８７０４８０号明細書（Ｄａｖｉｄ Ｇｒｉｅｓｉｎｇｅｒ， “Ｍｕｌｔｉｃｈａｎｎｅｌ Ａｃｔｉｖｅ Ｍａｔｒｉｘ Ｅｎｃｏｄｅｒ Ａｎｄ Ｄｅｃｏｄｅｒ Ｗｉｔｈ Ｍａｘｉｍｕｍ Ｌａｔｅｒａｌ Ｓｅｐａｒａｔｉｏｎ”， Ｐａｔｅｎｔ Ｎｕｍｂｅｒ ＵＳ００５８７０４８０Ａ）」において、および、異なる入力信号を区別しない、「ヤン ペータゼン、「ステレオ信号のためのマルチチャンネル音再生システム」、国際公開番号 国際公開第０１／６２０４５号（Ｊａｎ Ｐｅｔｅｒｓｅｎ， “Ｍｕｌｔｉ−Ｃｈａｎｎｅｌ Ｓｏｕｎｄ Ｒｅｐｒｏｄｕｃｔｉｏｎ Ｓｙｓｔｅｍ Ｆｏｒ Ｓｔｅｒｅｏｐｈｏｎｉｃ Ｓｉｇｎａｌｓ”， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｐｕｂｌｉｃａｔｉｏｎ Ｎｕｍｂｅｒ ＷＯ ０１／６２０４５ Ａ１）」において、説明される。

欧州特許出願０８０１８７９３号（ＥＰ ０８０１８７９３） 国際公開第０２／０５２８９６号（ＷＯ ０２／０５２８９６ Ａ２） 米国特許出願公開第２００７／００４１５９２号明細書（ＵＳ ２００７／００４１５９２ Ａ１） 米国特許第００５８７０４８０号明細書（ＵＳ００５８７０４８０Ａ） 国際公開第０１／６２０４５号（ＷＯ ０１／６２０４５ Ａ１）

Ａ．ワグナー、Ａ．ワルター、Ｆ．メルキオル、Ｍ．シュトラウス「波面合成再生のための高度に没入できる雰囲気の生成」、第１１６回ＡＥＳ学会にて発表、ベルリン、２００４（Ａ．Ｗａｇｎｅｒ， Ａ．Ｗａｌｔｈｅｒ， Ｆ．Ｍｅｌｃｈｉｏｒ， Ｍ．Ｓｔｒａｕｓｓ； "Ｇｅｎｅｒａｔｉｏｎ ｏｆ Ｈｉｇｈｌｙ Ｉｍｍｅｒｓｉｖｅ Ａｔｍｏｓｐｈｅｒｅｓ ｆｏｒ Ｗａｖｅ Ｆｉｅｌｄ Ｓｙｎｔｈｅｓｉｓ Ｒｅｐｒｏｄｕｃｔｉｏｎ"； Ｐｒｅｓｅｎｔｅｄ ａｔ ｔｈｅ ＡＥＳ １１６ｔｈ Ｃｏｎｖｅｎｔｉｏｎ， Ｂｅｒｌｉｎ， ２００４） ゲラルト ホート、スティーブン バン ド パル、イェルーン ブリーバルト、「拍手信号のマルチチャンネル・コーディング」、研究論文（Ｇｅｒａｒｄ Ｈｏｔｈｏ， Ｓｔｅｖｅｎ ｖａｎ ｄｅ Ｐａｒ， Ｊｅｒｏｅｎ Ｂｒｅｅｂａｒｔ，"Ｍｕｌｔｉｃｈａｎｎｅｌ Ｃｏｄｉｎｇ ｏｆ Ａｐｐｌａｕｓｅ Ｓｉｇｎａｌｓ"； Ｒｅｓｅａｒｃｈ Ａｒｔｉｃｌｅ） Ｍ．グッドウィン、Ｃ．アヴェンダニオ、「トランジェント変更に基づくオーディオ信号強調のための周波数領域アルゴリズム」、オーディオ技術学会の学会誌 ５４巻（２００６）、９号、ｐ．８２７〜ｐ．８４０（Ｍ． Ｇｏｏｄｗｉｎ， Ｃ． Ａｖｅｎｄａｎｏ， "Ｆｒｅｑｕｅｎｃｙ−ｄｏｍａｉｎ ａｌｇｏｒｉｔｈｍｓ ｆｏｒ ａｕｄｉｏ ｓｉｇｎａｌ ｅｎｈａｎｃｅｍｅｎｔ ｂａｓｅｄ ｏｎ ｔｒａｎｓｉｅｎｔ ｍｏｄｉｆｉｃａｔｉｏｎ"， Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ ５４ （２００６） Ｎｏ． ９， ８２７−８４０）

改善された柔軟性および音質を可能にするマルチチャンネルオーディオ信号を生成するための装置を提供することが本発明の目的である。

この目的は、請求項１に記載の装置および請求項１２に記載の方法によって解決される。

本発明の実施形態は、入力オーディオ信号に基づいてマルチチャンネルオーディオ信号を生成するための装置を供給する。その装置は、メイン信号アップミキシング手段と、部分選択器と、部分信号アップミキシング手段と、結合器とを含む。

メイン信号アップミキシング手段は、入力オーディオ信号に基づいてメインマルチチャンネルオーディオ信号を供給するように構成される。

部分選択器は、入力オーディオ信号の解析に基づいて入力オーディオ信号の部分を選択する、あるいは、選択しないように構成される。入力オーディオ信号の選択された部分、入力オーディオ信号の処理された選択された部分、または、入力オーディオ信号の選択された部分と関連した参照信号は、部分信号として供給される。

部分信号アップミキシング手段は、部分信号に基づいて部分アップミックス信号を供給するように構成され、そして、結合器は、マルチチャンネルオーディオ信号を得るためにメインマルチチャンネルオーディオ信号および部分アップミックスチャンネルをオーバーレイするように構成される。

本発明による実施形態は、メイン信号アップミキシング手段によって生成されたメインマルチチャンネルオーディオ信号が部分アップミックス信号に関する追加のオーディオ信号によってアップグレードされるという中心思想に基づく。この追加のオーディオ信号は、入力オーディオ信号の部分の選択に基づく。

マルチチャンネルオーディオ信号は、部分選択器および部分信号アップミキシング手段による非常に柔軟な方法で影響されうる。

改善された柔軟性のため、そして、部分信号のスマートな選択および適切な部分信号のアップミキシング・ルールを使用することにより、音質は改善されうる。

マルチチャンネルオーディオ信号は、それがマルチチャンネルオーディオ信号より少ないチャンネルを有する入力オーディオ信号に基づいて生成されて、元の音の印象を供給しないため、いずれにしろ人工の信号であるので、マルチチャンネルオーディオ信号の音質は、部分選択器および部分信号アップミキシング手段を柔軟に使用することによって、元の音の印象にできる限り等しい音の印象を生成しうる信号を得るように改善されうる。

メイン信号アップミキシング手段は、すでに良い音を出しているメインマルチチャンネルオーディオ信号を生成しうる。そして、その信号は、部分信号のアップミックスのオーバーレイにより改善される。

例えば、フォアグラウンドおよびバックグラウンド信号の入力オーディオ信号を分離することにより発生したアーチファクトは防がれうる。

本発明によるいくつかの実施形態において、選択された部分信号は、改善されたマルチチャンネルオーディオ信号を得るために、記憶されて、何回かアップミキシングおよびオーバーレイに使用される。このようにして、マルチチャンネルオーディオ信号の部分信号の数は、変えられうる。例えば、部分信号は、地面を打っている一滴の雨滴に対応する。それで、にわか雨における一滴の聞き取れる雨滴の密度は、変えられうる。

本発明によるいくつかの更なる実施形態において、入力オーディオ信号は、入力オーディオ信号の部分を識別するために解析される。例えば、拍手または雨のような特定のアンビエンス信号は、識別されうるし、そして、これらの信号の範囲内で、単一の拍手または雨滴は、分離されうる。

本発明による実施形態は、添付の図面を参照して以下に詳述される。

図１は、マルチチャンネルオーディオ信号を生成するための装置のブロック図である。 図２は、２チャンネルシステムのオーディオ信号再生の略図である。 図３は、直接アンビエンスコンセプトによるブラインドアップミックスのオーディオ信号再生の略図である。 図４は、イン・ザ・バンド・コンセプトによるブラインドアップミックスのオーディオ信号再生の略図である。 図５は、複数の単一音源を含んでいる拍手のような信号のオーディオ信号再生の略図である。 図６は、オーディオ信号再生に対する位置パラメータの影響の略図である。 図７は、オーディオ信号再生に対する分布パラメータの影響の略図である。 図８は、マルチチャンネルオーディオ信号を生成するための装置のブロック図である。 図９は、マルチチャンネルオーディオ信号を生成するための装置のブロック図である。 図１０は、マルチチャンネルオーディオ信号を生成するための方法のフローチャートである。

簡単化のために、下記の大部分の実施形態は、２つのチャンネル（Ｎ＝２）を有する入力オーディオ信号および５つのチャンネル（Ｍ＝５）を有する生成されたマルチチャンネルオーディオ信号について言及する、あるいは、示す。これは、２チャンネルの媒体（例えばＣＤ）が５チャンネル系（しばしば、「．１」が低減帯域幅を有する効果チャンネルを表すことを特徴とする、いわゆる５．１ホームシネマシステム）によって再生されなければならないよくある例に対応する。しかし、記載されているコンセプトは、いかなる数のチャンネル、または、当業者のためのオブジェクト指向再生に容易に振替可能である。

図１は、本発明の一実施形態による入力オーディオ信号１０２に基づいてマルチチャンネルオーディオ信号１４２を生成するための装置１００のブロック図を示す。装置１００は、メイン信号アップミキシング手段１１０と、部分選択器１２０と、部分信号アップミキシング手段１３０と、結合器１４０とを含む。メイン信号アップミキシング手段１１０は、結合器１４０につながっており、部分選択器１２０は部分信号のアップミックス手段１３０につながっており、そして、部分信号アップミキシング手段１３０もまた結合器１４０とつながっている。

メイン信号アップミキシング手段１１０は、入力オーディオ信号１０２に基づいてメインマルチチャンネルオーディオ信号１１２を供給するように構成される。

部分選択器１２０は、入力オーディオ信号１０２の解析に基づいて入力オーディオ信号１０２の部分を選択する、あるいは、選択しないように構成される。入力オーディオ信号１０２の選択された部分、入力オーディオ信号１０２の処理された選択された部分、または、入力オーディオ信号１０２の選択された部分と関連した参照信号は、部分信号１２２として供給される。

部分信号アップミキシング手段１３０は、部分信号１２２に基づいて部分アップミックス信号１３２を供給するように構成される。

結合器１４０は、マルチチャンネルオーディオ信号１４２を得るために、メインマルチチャンネルオーディオ信号１１２および部分をアップミキシングしている信号１３２にオーバーレイするように構成される。

例えば、拍手または雨のような特定のアンビエンスのための入力オーディオ信号を表現する部分が、入力オーディオ信号の解析に基づいて選択される。この選択された部分１２２は、参照信号によって処理されうる、あるいは、交換されうる。選択された部分１２２、処理された選択された部分、または、参照信号は、それから、改善されたマルチチャンネルオーディオ信号１４２を得るために、メインマルチチャンネルオーディオ信号１１２に関してアップミックスおよびオーバーレイされる。

従って、例えば、メインマルチチャンネルオーディオ信号１１２に、部分アップミックス信号１３２に関する過渡信号を追加することは、可能でありうる。

マルチチャンネルオーディオ信号１４２が聴取者のための没入型アンビエンスを生成し、その結果、改善されたマルチチャンネルオーディオ信号を生成するように、部分信号のアップミックスおよびオーバーレイは、なされる。

メイン信号アップミキシング手段１１０は、いかなるアップミックス方法によっても原則として機能しうる。フロントスピーカとサラウンドスピーカとの間の可聴距離における一様なアンビエンスのような音の印象を得るために、すべてのスピーカの信号、特にサラウンドサウンドに対するフロントサウンドは、非相関でなければならない。ブラインドアップミックスの間、例えば、Ｎ個の入力信号だけが利用可能であり、そこから、他の特性を有する新しい出力信号が、信号の個々の部分の加重によって生成されなければならない。この方式で、例えば、直接音源は、アンビエンス部分の減弱またはその逆によって強調されうる。

一般のアップミックス効果は、拍手のような信号のための包み込み音の印象を生成すると通常みなすことができる。

部分選択器１２０はまた、粒子分離器（ｐａｒｔｉｃｌｅ ｓｅｐａｒａｔｏｒ）とも呼ばれ、そして、入力信号の部分を選択することはまた、粒子の分離によって説明されうる。

部分選択器１２０は、例えば取り除きによって、入力信号に関して典型的あるいは特徴的である入力信号の部分（粒子（ｐａｒｔｉｃｌｅ）または音の断片（ｓｏｕｎｄ ｓｎｉｐｐｅｔ）とも呼ばれる）を選択する。これは異なる方法でなされうる。

例えば、入力信号の波形（時間領域表現）の短い部分は、取り除かれうる。

代替手段は、選択、および、任意選択的に時間周波数領域から時間領域への単一ブロックあるいは一群のブロックの処理および再変換でありうる。

更なる代替手段は、以降の処理において特に取り扱われ、再変換の直前に再度全体の信号に付加される時間領域および／または周波数領域のブロックに印を付けることである。例えば、フィルターバンクなどによって、入力オーディオ信号の時間的部分は、選択され、複数の周波数バンドに分配されうる。一つ以上の異なる周波数バンドは、処理されて、それから、必要に応じて、再変換され、例えば、入力オーディオ信号の処理されていない選択された部分にオーバーレイされうる。

入力オーディオ信号の選択された部分を処理することによって、音響粒子（選択された部分）の品質は、改善されうる。例えば、観衆の聴取者の拍手は、選択された部分の処理によって分離されうる。分離された拍手は、例えば、より良い音の拍手、または、さまざまなわずかに異なる音の拍手を生成するために修正されうる。

更なる代替手段は、選択された部分を参照信号と置き換えることでありうる。例えば、選択された部分は、観衆の聴取者の拍手を含み、完全な拍手を含んでいる参照信号と置き換えられる。

結合器１４０は、例えば、一つ以上の部分アップミックス信号に含まれる一つ以上の分離された粒子をメインマルチチャンネルオーディオ信号（デフォルトアップミックスとも呼ばれる）に付加する。メインマルチチャンネルオーディオ信号および部分アップミックス信号は、例えば、直接付加されうる、または、適合された振幅および／または位相で付加されうる。

図５は、複数の単一音源を含んでいる拍手のような信号のオーディオ信号再生５００の略図を示す。この実施形態は、左のスピーカ２２０および右のスピーカ２３０を有する２チャンネルシステムと複数の単一音源５１０を示し、そして、それは、二つのスピーカの間に分離され、分配されなければならない粒子に対応する。ここで、二つのスピーカ間の位置は、左のスピーカおよび右のスピーカによって再生された信号の部分による。

部分信号アップミキシング手段１３０は、例えば、一つ以上の音響粒子を含む部分アップミックス信号１３２を生成しうる。このアップミキシング処理は、位置パラメータに基づきうる。そこにおいて、位置パラメータは、例えば、聴取者がどの位置で特定の粒子を聞くかについて指し示す。位置パラメータは、入力オーディオ信号によって含まれる位置情報で決定されうる、あるいは、例えばランダム位置生成器によって、ランダムに生成されうる。

マルチチャンネルオーディオ信号の異なるチャンネルの粒子の信号部分は、例えば、粒子の位置パラメータに基づいて、振幅パンニング法で決定されうる。

図６は、オーディオ信号再生への位置パラメータの影響の略図６００を示す。その図は、５チャンネルオーディオ信号に対応している５つのスピーカを示す。この例において、スピーカは、円の円周６１０に配置される。

音響粒子の信号がスピーカに送られるときに、聴取者がこの特定の音響粒子を聞く仮想位置は、各スピーカに送られた信号の部分による。例えば、信号が１つのスピーカに送られるだけのときに、聴取者は、音源がこの特定のスピーカに位置すると思う。このケースは、正面の左のスピーカ３２０に位置する粒子６３０で示される。信号が２つのスピーカで分配される場合、音響粒子の仮想位置は、これらの２つのスピーカとの間に位置付けされるだろう。これは、粒子６４０および６５０により示される。５つのスピーカ間でほぼ等しく分配された信号は、参照番号６６０で示された、スピーカ配置のほぼ中央に現れる。このようにして、音響粒子の仮想位置は、各２つの隣接したスピーカとの間の線６２０に囲まれた領域内に、（例えば参照番号６７０および６８０で示された）いかなる点でも位置付けされうる。

部分信号または粒子は、ランダムな位置および／またはランダムな時間に付加されうる。部分信号アップミキシング手段１３０はまた、粒子アップミキシング手段とも呼ばれうる。

この付加は、固定位置、与えられた軌道、または、各々がおそらくランダムに設定された時間を有した完全にランダムな位置におけるアンビエンスの種類（拍手、雨または他）次第でありうる。

本発明によるいくつかの実施形態は、部分信号メモリ（または中間メモリまたはバッファメモリ）を含む。このメモリは、単一の分離された粒子、あるいは、数回使用されうる部分信号、処理された部分信号または参照信号を記憶しうる。抽出された音響粒子の音を変化させる、または、変動させるために、例えば、「Ｍ．グッドウィン、Ｃ．アヴェンダニオ、「トランジェント変更に基づくオーディオ信号強調のための周波数領域アルゴリズム」、オーディオ技術学会の学会誌 ５４巻（２００６）、９号、ｐ．８２７〜ｐ．８４０」において説明された過渡的形成方法のようなフィルタ又は高品質処理ステップが使用されうる。

本発明によるいくつかの実施形態において、デフォルトアップミックスへの粒子の付加とも呼ばれる、メインマルチチャンネルオーディオ信号への部分アップミックス信号の付加は、密度パラメータおよび／または拡散パラメータのようなパラメータによって制御されうる。

密度パラメータは、例えば、（時間あたり）いくつの単一の音響あるいは粒子が、メインマルチチャンネルオーディオ信号（デフォルトアップミックス）に付加されるかを指し示す。これらの粒子は、入力オーディオ信号の異なる選択された部分またはメモリに記憶され、数回使用された１つの特定の分離された粒子に対応しうる。

拡散パラメータは、例えば、マルチチャンネルオーディオ信号（アップミックス音響）によって生じた音のどの領域において、粒子がメインマルチチャンネルオーディオ信号（デフォルトアップミックス）に付加されなければならないかを決定する。

図７は、オーディオ信号再生への拡散パラメータの影響の略図７００を示す。図７において、拡散パラメータの影響は、破線７１０によって示される。例えば、ある音の印象のために、粒子が聴取者２１０の前に追加されるのみであることが所望でありうるし、そして、他の音の印象のために、全体の領域に、または、後方だけに粒子を広げることがより良いこともある。

拡散パラメータは、例えば、複数の粒子の各々のための位置パラメータのランダムな生成に影響しうる。図７に示される例において、聴取者の正面の粒子の位置の確率は、聴取者の後方においてよりも高い。

アンビエンスの密度および／または拡散は、例えば、入力オーディオ信号の密度および拡散とは独立でもあるパラメータによって変動されうる。

図７は、記載されているコンセプトを適用することによって、図５に示された信号のアップミックスに関する例を示す。

本発明によるいくつかの実施形態において、分離された粒子は、例えば異なるスピーカ間の遅延が用いられる場合、ダブリング効果を回避するために、１つのスピーカだけによって再生される。

本発明によるいくつかの実施形態は、選択される入力オーディオ信号の部分を識別するために入力オーディオ信号の解析を実行するように構成された、分類ブロックとしても意味する、解析器を含む。解析器は、部分選択器の一部、または、独立した分離したブロックでもよい。

図８は、本発明の一実施形態による入力オーディオ信号１０２に基づいてマルチチャンネルオーディオ信号１４２を生成するための装置８００のブロック図を示す。この場合、解析器８１０は、分離したブロックとして示される。

解析器８１０は、入力オーディオ信号に含まれた識別パラメータ、入力オーディオ信号と参照信号との比較、入力オーディオ信号の周波数解析、または、同様の方法に基づいて選択される部分を識別するように構成されうる。例えば、このようにして、入力オーディオ信号におけるアンビエンスのような信号は、識別されうる。例としては、拍手検知器または雨検知器がありうる。

解析器８１０または分類装置は、入力オーディオ信号または入力オーディオ信号の部分が、記載されている方法で処理できるかどうかを決定しうる。その解析または分類の結果に応じて、更なるブロックのパラメータ値、例えば、メイン信号アップミキシング手段、部分選択器、部分信号アップミキシング手段、または、結合器は、修正されうる。

例えば、解析器は、（解析）パラメータによって、入力オーディオ信号のどの部分が選択されなければならないかを部分選択器に伝える、あるいは、メインマルチチャンネルオーディオ信号において選択される部分を減らすようにメイン信号アップミキシング手段に命じる。

結合器１４０は、この場合において、メイン信号アップミキシング手段１１０の出力と部分信号アップミキシング手段１３０の出力との間の直接の接続を示し、それは、メインマルチチャンネルオーディオ信号と部分アップミックス信号を結合する一つの可能性でありうる。代替手段は、メインマルチチャンネルオーディオ信号および部分アップミックス信号の振幅および／または位相の調整でありうる。

本発明によるいくつかの実施形態は、部分選択器、部分信号アップミキシング手段、または、結合器を停止させるように構成された制御器を含む。これらの３つの装置のうちの１つを起動した状態から停止した状態に切り換えることによって、メインマルチチャンネルオーディオ信号および部分アップミックス信号のオーバーレイが妨げられる。その結果、マルチチャンネルオーディオ信号は、メインマルチチャンネルオーディオ信号と（例えば、振幅および位相差を除いて、）基本的に等しい。

代替手段は、制御器が部分選択器、部分信号アップミキシング手段、または、結合器の完全に起動された状態と停止された状態との間を連続的に切り替わるように構成されることでありうる。これは、より包み込み、または、没入型である音の印象を得るために、２つの異なる雰囲気間の連続的なフェージングの可能性を供給しうる。

制御器は、入力オーディオ信号に含まれた制御パラメータによって制御されうる、あるいは、ユーザインターフェースによって制御されうる。これは、（入力オーディオ信号に含まれた制御パラメータによって）プロデューサーあるいは（ユーザインターフェースによって）聴取者に、好みまたは命令によって音の印象を調整する可能性を与えうる。

制御器は、包み込み（デフォルトまたは代替システムでありうる）から没入型の音の印象への、あるいは、没入型から包み込み音の印象への連続的なフェージングの可能性を提供する。

本発明によるいくつかの実施形態において、（サラウンド信号に現れる）選択された部分または粒子は、正面の信号において減らされうる。これは、非常に離散的に感知された没入効果を生成しうる。入力信号と比較された粒子の時間的シフトおよび粒子の再使用は不可能でありうる。位置だけは、変更されうる。

本発明によるいくつかの更なる実施形態において、良い音を出している音の印象は、１つの特徴を示すのみであり、分離された粒子によってアップグレードされるメイン信号アップミキシング手段（デフォルトアップミックス）によって生成される。従って、同じ入力音が、没入型の直接的な部分と同様に、非相関で、包み込んでいる部分に現れることは、可能でありうる。このことは、例えば、再生されなければならない信号はないので、すなわち、新しい信号がアップミックスによっていずれにしろ生成されるので、可能でありうる。

本発明のいくつかの実施形態において、フォアグラウンド音響の単一の要素の時間的シーケンスは変更されうる。そして、包み込みから没入型のアンビエンスへの移行は可能でありうる。また、自動の信号分類は、使用されうる。

（ガイドされたモードにおける）アンビエンスの時間的密度、所望の音色および空間的拡散は、元の信号から独立して設定されうる。

本発明のいくつかの実施形態は、メイン信号アップミキシング手段のアップミキシング・ルールとは異なったアップミキシング・ルールを使用している部分信号アップミキシング手段に関する。

図９は、本発明の一実施形態による入力オーディオ信号１０２に基づいてマルチチャンネルオーディオ信号１４２を生成するための装置９００のブロック図を示す。

装置９００は、図８に示された装置に対応する。しかし、解析器８１０（分類装置）は、この例において、部分選択器１２０の一部である。そして、解析パラメータ９０２は、メイン信号アップミキシング手段１１０および／または部分信号アップミキシング手段１３０に供給される。

加えて、あるいは前述のように、制御器９１０、部分信号メモリ９２０およびランダム位置生成器９３０は示される。

この例における部分信号メモリ９２０は、部分選択器１２０とつながっており、部分選択器１２０によって供給された部分信号１２２を記憶するように構成されており、記憶された部分信号を部分選択器１２０に供給するように構成される。あるいは、部分信号メモリ９２０は、部分信号アップミキシング手段１３０に、直接記憶された部分信号を供給しうる。

ランダム位置生成器９３０は、例えば、部分信号アップミキシング手段１３０とつながっており、部分信号アップミキシング手段１３０にランダム位置パラメータを供給するように構成される。あるいは、ランダム位置生成器９３０は、部分選択器１２０につながっており、部分信号１２２が選択されるときに、ランダム位置パラメータを供給しうる。

この例における制御器９１０は、制御パラメータ９１２によって制御されて、部分選択器１２０、部分信号アップミキシング手段１３０、および／または、結合器１４０とつながっている（参照番号９１４で示される）。制御器９１０は、部分選択器１２０、部分信号アップミキシング手段１３０、および／または、結合器１４０を停止しうる。

一般に、記載されている発明は、アーチファクトの少ない拍手のようなアンビエンス信号または同様のアンビエンス信号のより良い、そして、より現実的な音を出しているアップミックスを供給しうる。

図１０は、本発明の一実施形態による入力オーディオ信号に基づいてマルチチャンネルオーディオ信号を生成するための方法１０００のフローチャートを示す。その方法１０００は、メインマルチチャンネルオーディオ信号を供給するステップ１０１０と、入力オーディオ信号の部分を選択する、または、選択しないステップ１０２０と、部分アップミックス信号を供給するステップ１０３０と、メインマルチチャンネルオーディオ信号および部分アップミキシングをオーバーレイするステップ１０４０を含む。

供給されたメインマルチチャンネルオーディオ信号は、入力オーディオ信号に基づく。

入力オーディオ信号の部分の選択１０２０は、入力オーディオ信号の解析に基づく。そこにおいて、入力オーディオ信号の選択された部分、入力オーディオ信号の処理された選択された部分、または、入力オーディオ信号の選択された部分と関連した参照信号は、部分信号として供給される。

供給された部分アップミックス信号は、部分信号に基づく。

メインマルチチャンネルオーディオ信号および部分アップミックス信号をオーバーレイすること１０４０によって、マルチチャンネルオーディオ信号は得られる。

本発明によるいくつかの実施形態は、普通のアーチファクトのない付加情報のない（ガイドなしのアップミックス）拍手のような音源をアップミキシングすることの可能性を供給する方法に関する。加えて、記載されている方法は、包み込みまたは没入型の音の印象を得るために２つの異なるコンセプト間で連続的にフェージングする可能性を供給しうる。

本発明によるいくつかの更なる実施形態は、制御可能なアップミックス効果に関する。

本発明によるいくつかの実施形態は、包み込みアンビエンスおよび没入型アンビエンスと呼ばれうる、アップミックスにおいてアンビエンスおよび／または雰囲気の２つの異なって感じられた印象間でフェードする可能性を供給している方法に関する。

本発明によるいくつかの実施形態は、周知のアップミックス方法に基づくメイン信号アップミキシング手段に関する。アップミックスが、部分アップミックス信号のオーバーレイによって拡張されない場合、このアップミックスはデフォルト動作点でありうる。これは、例えば、制御器が、部分選択器、部分信号アップミキシング手段、または、結合器を停止させる場合でありうる。

一般に、記載されているコンセプトは、また、模範的に用いられた拍手のような信号以外の信号の種類にも適用されうる。例えば、それは、雨、鳥の群れ、海岸、駆けている馬、行進している兵士の部隊、その他から生じている音にも適用されうる。

本出願において、同一参照番号は、同じであるか同様の機能特性を有するオブジェクトおよび演算器のために部分的に使用される。

特に、状況に応じて、発明の方式がソフトウェアにおいても実行されうると指摘される。対応している方法が実行されるように、その実行は、プログラミング可能な計算機システムと協動することができる電子的に読み込み可能な制御信号を有するデジタル記憶媒体、特にフロッピー（登録商標）ディスクまたはＣＤにおいてありうる。一般に、本発明は、このようにまた、コンピュータ・プログラム製品がコンピュータで実行されるとき、発明の方法を実行するための機械で読み取り可能なキャリアに格納されたプログラムコードを有するコンピュータ・プログラム製品にもある。他の言葉で述べれば、本発明は、このようにまた、コンピュータ・プログラム製品がコンピュータで実行されるとき、方法を実行するためのプログラムコードを有するコンピュータ・プログラムとして実現されうる。

Claims (12)

1. 入力オーディオ信号（１０２）に基づいてマルチチャンネルオーディオ信号（１４２）を生成するための装置（１００）であって、
   前記入力オーディオ信号（１０２）に基づいてメインマルチチャンネルオーディオ信号（１１２）を供給するように構成されたメイン信号アップミキシング手段（１１０）であって、前記マルチチャンネルオーディオ信号（１１２）は前記入力オーディオ信号（１０２）より多くのチャンネルを含むことを特徴とするメイン信号アップミキシング手段と、
   前記入力オーディオ信号（１０２）の解析に基づいて前記入力オーディオ信号（１０２）の部分を選択する、または、選択しないように構成された部分選択器（１２０）であって、前記入力オーディオ信号（１０２）の前記選択された部分、前記入力オーディオ信号（１０２）の処理された選択された部分、または、前記入力オーディオ信号（１０２）の前記選択された部分と関連した参照信号が、部分信号（１２２）として供給されることを特徴とする、前記部分選択器であって、
   前記部分選択器（１２０）は、音響粒子の分離により、前記入力オーディオ信号（１０２）の部分を選択することを特徴とする前記部分選択器と、
   前記部分信号（１２２）に基づいて部分アップミックス信号（１３２）を供給するように構成された部分信号アップミキシング手段（１３０）であって、
   前記部分信号アップミキシング手段（１３０）は、二つ以上の音響粒子を含む前記部分アップミックス信号を生成することを特徴とする前記部分信号アップミキシング手段と、
   前記マルチチャンネルオーディオ信号（１４２）を得るために、前記メインマルチチャンネルオーディオ信号（１１２）および前記部分アップミックス信号（１３２）をオーバーレイするように構成された結合器（１４０）と、を含み、
   前記部分信号アップミキシング手段（１３０）は、位置パラメータに基づいて前記部分アップミックス信号（１３２）を供給するように構成されることと、前記マルチチャンネルオーディオ信号の各チャンネルに対して、前記部分信号に基づいた前記マルチチャンネルオーディオ信号の一部は、前記位置パラメータに基づくこと、を特徴とする、装置。
2. 選択される前記入力オーディオ信号（１０２）の前記部分を識別するために、前記入力オーディオ信号（１０２）の前記解析を実行するように構成された解析器（８１０）を含むこと、を特徴とする、請求項１に記載のマルチチャンネルオーディオ信号を生成するための装置。
3. 前記解析器（８１０）が、前記入力オーディオ信号（１０２）に含まれた識別パラメータ、前記入力オーディオ信号と前記参照信号との比較、または、前記入力オーディオ信号（１０２）の周波数解析に基づいて、前記入力オーディオ信号（１０２）の前記部分を識別するように構成されること、を特徴とする、請求項２に記載のマルチチャンネルオーディオ信号を生成するための装置。
4. 前記解析器（８１０）は解析パラメータを供給することを特徴とし、前記メイン信号アップミキシング手段（１１０）は前記解析パラメータに基づいて前記メインマルチチャンネルオーディオ信号を供給すること、または、前記部分信号アップミキシング手段（１３０）は前記解析パラメータに基づいて前記部分アップミックス信号（１３２）を供給すること、を特徴とする、請求項２または請求項３に記載のマルチチャンネルオーディオを生成するための装置。
5. 前記部分信号または処理された部分信号を記憶するように構成された部分信号メモリ（９２０）を含み、前記部分信号アップミキシング手段（１３０）は、前記記憶された部分信号、前記記憶された処理された部分信号、修正された記憶された部分信号、または、修正された記憶された処理された部分信号に基づいて複数の部分アップミックス信号（１３２）を供給するように構成されること、を特徴とする、請求項１〜請求項４のいずれか一項に記載のマルチチャンネルオーディオを生成するための装置。
6. 前記部分信号アップミキシング手段（１３０）は、前記記憶された部分信号または前記記憶された処理された部分信号に基づいて所定の数の部分アップミックス信号（１３２）を供給するように構成されることと、前記所定の数の部分アップミックス信号（１３２）は、密度パラメータによって決定されること、を特徴とする、請求項５に記載のマルチチャンネルオーディオを生成するための装置。
7. ランダム位置パラメータを生成するように構成されたランダム位置生成器（９３０）を含むこと、を特徴とする、請求項１〜請求項６のいずれか一項に記載のマルチチャンネルオーディオ信号を生成するための装置。
8. 前記部分信号アップミキシング手段（１３０）は、拡散パラメータに基づいて前記複数の部分アップミックス信号（１３２）を供給するように構成されることと、前記複数の部分アップミックス信号（１３２）の各部分アップミックス信号（１３２）は、個々の位置パラメータに基づくことと、前記複数の位置パラメータは、前記拡散パラメータに基づくこと、を特徴とする、請求項１〜請求項７のいずれか一項に記載のマルチチャンネルオーディオを生成するための装置。
9. 前記メイン信号アップミキシング手段（１１０）は、前記入力オーディオ信号（１０２）の前記選択された部分と関連した前記入力オーディオ信号（１０２）の一部を減らすように構成されること、を特徴とする、請求項１〜請求項８のいずれか一項に記載のマルチチャンネルオーディオ信号を生成するための装置。
10. 前記マルチチャンネルオーディオ信号（１４２）が、前記メインマルチチャンネルオーディオ信号（１１２）と等しい、または、前記メインマルチチャンネルオーディオ（１１２）であるように、前記部分選択器（１２０）、前記部分信号アップミキシング手段（１３０）、または、前記結合器（１４０）を停止させるように構成された制御器を含み、前記制御器は、前記入力オーディオ信号（１０２）に含まれた制御パラメータによって制御される、または、ユーザインターフェースによって制御されること、を特徴とする、請求項１〜請求項９のいずれか一項に記載のマルチチャンネルオーディオ信号を生成するための装置。
11. 入力オーディオ信号に基づいてマルチチャンネルオーディオ信号を生成するための方法（１０００）であって、
    前記入力オーディオ信号に基づいてメインマルチチャンネルオーディオ信号を供給する（１０１０）ステップであって、前記マルチチャンネルオーディオ信号（１１２）は前記入力オーディオ信号（１０２）より多くのチャンネルを含むことを特徴とするステップと、
    前記入力オーディオ信号の解析に基づいて前記入力オーディオ信号の部分を選択する、または、選択しないステップ（１０２０）であって、前記入力オーディオ信号の前記選択された部分、前記入力オーディオ信号の処理された選択された部分、または、前記入力オーディオ信号の前記選択された部分と関連した参照信号は、部分信号として供給されることを特徴とするステップであって、
    前記入力オーディオ信号（１０２）の部分を選択するステップ（１０２０）は、音響粒子の分離によりなされることを特徴とするステップと、
    前記部分信号に基づいて、二つ以上の音響粒子を含む部分アップミックス信号を生成するステップと、
    前記部分アップミックス信号を供給するステップ（１０３０）と、
    前記マルチチャンネルオーディオ信号を得るために、前記メインマルチチャンネルオーディオ信号と前記部分アップミックス信号をオーバーレイするステップ（１０４０）と、を含み、
    前記部分アップミックス信号（１３２）は、位置パラメータに基づいて供給される（１０３０）ことと、前記マルチチャンネルオーディオ信号の各チャンネルに対して、前記部分信号に基づいた前記マルチチャンネルオーディオ信号の一部は、前記位置パラメータに基づくこと、を特徴とする、方法。
12. コンピュータ・プログラムがコンピュータまたはマイクロコントローラ上で動作するときに、請求項１１に記載の方法を実行するためのプログラムコードを有する、前記コンピュータ・プログラム。

Images