JP6484605B2 - 複数のオーディオステムからの自動マルチチャネル音楽ミックス - Google Patents

Description

本開示は、オーディオ信号処理に関し、特にマルチチャネルオーディオ信号の自動ミキシング方法に関する。

一般に、オーディオ録音を行う過程は、最終的な録音に合成すべき１又はそれ以上の異なるオーディオオブジェクトをキャプチャして保存することにより開始する。本文脈における「キャプチャ」とは、リスナーに聞こえる音を保存可能な情報に変換することを意味する。「オーディオオブジェクト」とは、１又はそれ以上のアナログ信号又はデジタルデータストリームとして搬送でき、アナログ録音、デジタルデータファイル又はその他のデータオブジェクトとして保存できるオーディオ情報の主要部のことである。生の又は未処理のオーディオオブジェクトは、実際に各オーディオオブジェクトが磁気録音テープ上の物理的に別個のトラックに録音されていた時代を偲んで、一般に「トラック」と呼ぶことができる。現在では、「トラック」をアナログ録音テープに録音することも、或いはデジタルオーディオテープ又はコンピュータ可読記憶媒体にデジタル的に録音することもできる。

オーディオ音楽のプロは、個々のトラックを最終的にエンドユーザに届けられる所望の最終オーディオ製品にまとめ上げるために、一般にデジタルオーディオワークステーション（ＤＡＷ）を使用する。一般に、これらの最終オーディオ製品は「アーティスティックミックス」と呼ばれる。アーティスティックミックスの制作には、相当な量の努力及び専門技能が必要である。また通常、アーティスティックミックスは、特定のコンテンツに対する権利を所有するアーティストによる承認を受ける。

「ステム」という用語は、オーディオオブジェクトを説明するために広く用いられている。また、一般に異なる文脈では「ステム」に与えられる意味も異なるので、この用語は広く誤解されている。映画の制作中には、通常、「ステム」という用語は、サラウンドオーディオ表現を意味する。例えば、映画のオーディオ再生に用いられる最終的なオーディオは、一般に「プリントマスターステム」と呼ばれる。５．１表現の場合、プリントマスターステムは、左前方、右前方、中央、ＬＦＥ（一般にサブウーファとして知られている重低音効果）、左後方サラウンド及び右後方サラウンドという６チャネルオーディオから成る。通常、ステム内の各チャネルは、音楽、台詞及び効果音などの複数成分の混合を含む。さらに、これらのオリジナル成分の各々は、数百もの音源又は「トラック」から形成することができる。さらに複雑なことに、映画のミキシング時には、オーディオ表現の各成分が別個に「プリント」又は録音される。プリントマスタの作成と同時に、各主要成分（例えば、台詞、音楽、効果音）もステムに録音又は「プリント」することができる。これらは、「ＤＭ＆Ｅ」、すなわち台詞（ｄｉａｌｏｇ）、音楽（ｍｕｓｉｃ）及び効果音（ｅｆｆｅｃｔｓ）ステムと呼ばれる。これらの成分の各々は、６オーディオチャネルを含む５．１表現とすることができる。ＤＭ＆Ｅステムは、共に同期して再生すると、プリントマスターステムと全く同じに聞こえる。ＤＭ＆Ｅステムは様々な理由で作成され、外国語台詞の吹き替えが一般的な例である。

レコード音楽制作中におけるステムの作成理由及びステムの性質は、上述した映画の「ステム」とかなり異なる。ステム作成の第１の動機は、レコード音楽を「リミックス」可能にすることである。例えば、ダンスクラブでの再生には向いていなかったポピュラーソングも、よりダンスクラブ音楽に適合できるようにリミックスすることができる。アーティスト及びそのレコードレーベルが、宣伝活動の理由でステムを一般公開することもある。一般大衆（通常は、デジタルオーディオワークステーションにアクセスできるかなり高度なユーザ）がリミックスを準備し、これを宣伝目的でリリースすることもできる。非常によく売れたＧｕｉｔａｒ Ｈｅｒｏ（ギターヒーロー）及びＲｏｃｋ Ｂａｎｄ（ロックバンド）ゲームなどのビデオゲームで使用できるように楽曲をリミックスすることもできる。このようなゲームは、個々の楽器を表すステムの存在に依拠する。通常、レコード音楽制作中に作成されるステムは、異なる音源からの音楽を含む。例えば、ロックソングの一連のステムは、ドラム、（単複の）ギター、ベース、（単複の）ボーカル、キーボード及びパーカッションを含むことができる。

本特許における「ステム」とは、１又はそれ以上のトラックを処理することによって生成されるアーティスティックミックスの成分又はサブミックスのことである。一般に、この処理は、必ずというわけではないが、複数のトラックのミキシングを含むことができる。この処理は、増幅又は減衰によるレベル修正、ローパスフィルタリング、ハイパスフィルタリング又はグラフィックイコライゼーションなどのスペクトル修正、制限又は圧縮などのダイナミックレンジ修正、位相シフト又は位相遅延などの時間領域修正、ノイズ、ハム及びフィードバック抑制、残響及びその他の処理のうちの１つ又はそれ以上を含むことができる。通常、ステムは、アーティスティックミックスの作成中に生成される。通常、ステレオアーティスティックミックスは、４つ〜８つのステムで構成される。ミックスによっては、たった２つのステムしか使用しないことも、８つを超えるステムを使用することもある。各ステムは、単一の成分しか含まないことも、或いは左成分と右成分を含むこともできる。

リスナーにオーディオコンテンツを届けるための最も一般的な技術はコンパクトディスク及びラジオ放送であったので、アーティスティックミックスの大半はステレオであり、すなわちアーティスティックミックスの大半は２チャネルしか有していない。本特許における「チャネル」とは、オーディオ再生システムを通じてリスナーに再生する準備ができている完全に処理されたオーディオオブジェクトのことである。しかしながら、ホームシアターシステムの人気により、多くの家庭及びその他の会場には、サラウンド・サウンド・マルチチャネル・オーディオシステムが備わっている。「サラウンド」という用語は、２次元又は３次元空間に分布する２つよりも多くのスピーカで再生するための音源材料、或いは２次元又は３次元空間に分布する２つよりも多くのスピーカを含む再生構成を意味する。一般的なサラウンドサウンドフォーマットは、５つの別個のオーディオチャネルに重低音効果（ＬＦＥ）又はサブウーファチャネルを加えた５．１、ＬＦＥチャネルを除いた５つのオーディオチャネルを含む５．０、並びに７つのオーディオチャネルにＬＦＥチャネルを加えた７．１を含む。オーディオコンテンツのサラウンドミックスは、より魅力あるリスナー体験を実現する大きな可能性を秘めている。サラウンドミックスは、多くの数のスピーカによってオーディオが再生され、従ってダイナミックレンジ圧縮及び個々のチャネルの等化が少なくて済むので、より高品質な再生を提供することもできる。しかしながら、マルチチャネル再生のために設計された別のアーティスティックミックスの作成には、アーティスト及びミキシングエンジニアが参加した追加のミキシングセッションが必要である。サラウンドアーティスティックミックスのコストがコンテンツ所有者又はレコード会社によって承認されないこともある。

本特許では、録音及び再生対象のあらゆるオーディオコンテンツを「楽曲」と呼ぶ。楽曲は、例えば３分間のポップチューンの場合もあり、音楽以外の劇場イベントの場合もあり、或いは交響曲の場合もある。

従来のアーティスティックミックス作成システムのブロック図である。 サラウンドミックス配信システムのブロック図である。 別のサラウンドミックス配信システムのブロック図である。 別のサラウンドミックス配信システムのブロック図である。 自動ミキサの機能ブロック図である。 ルールベースのグラフィック表現である。 別の自動ミキサの機能ブロック図である。 別のルールベースのグラフィック表現である。 リスニング環境のグラフィック表現である。 サラウンドミックス自動作成処理のフローチャートである。 別のサラウンドミックス自動作成処理のフローチャートである。

本説明全体を通じて、図に示す要素には３桁の参照番号を割り当てており、上位１桁は要素を紹介する図の番号であり、下位２桁は要素に固有のものである。図に関連して説明しない要素については、既に説明した同じ参照番号の要素と同じ特徴及び機能を有すると推定することができる。

装置の説明
まず図１を参照すると、アーティスティックミックス作成システム１００が、複数のミュージシャン及び楽器１１０Ａ〜１１０Ｆ、レコーダ１２０、並びにミキサ１３０を含むことができる。ミュージシャン及び楽器１１０Ａ〜１１０Ｆによって作られた音楽は、マイク、磁気ピックアップ及び圧電ピックアップなどのトランスデューサによって電気信号に変換することができる。電子キーボードのように、楽器によってはトランスデューサの介入を伴わずに直接電気信号を生成できるものもある。本文脈における「電気信号」という用語は、アナログ信号及びデジタルデータの両方を含む。

これらの電気信号は、レコーダ１２０によって複数のトラックとして記録することができる。各トラックは、１人のミュージシャン及び１つの楽器によって生成された音、又は複数の楽器によって生成された音を記録することができる。場合によっては、ドラムセットを演奏するドラマーなどの１人のミュージシャンによって生成された音を複数のトランスデューサによってキャプチャすることもできる。複数のトランスデューサからの電気信号は、対応する複数のトラックとして記録することも、或いは記録前に少ない数のトラックに合成することもできる。アーティスティックミックスに合成される様々なトラックは、同時に又は同じ場所で記録する必要はない。

ミキシング対象の全てのトラックを記録すると、ミキサ１３０を用いてこれらのトラックをアーティスティックミックスに合成することができる。ミキサ１３０の機能要素は、トラックプロセッサ１３２Ａ〜１３２Ｆ、並びに加算器１３４Ｌ及び１３４Ｒを含むことができる。従来、トラックプロセッサ及び加算器は、アナログオーディオ信号に基づいて機能するアナログ回路によって実現されていた。現在では、トラックプロセッサ及び加算器は、通常はデジタルシグナルプロセッサなどの１又はそれ以上のデジタルプロセッサを用いて実現されている。２又はそれ以上のプロセッサが存在する場合には、図１に示すミキサ１３０の機能分割を、複数のプロセッサ間におけるミキサ１３０の物理的分割と一致させる必要はない。同じプロセッサ内に複数の機能要素を実装することもできれば、あらゆる機能要素を２又はそれ以上のプロセッサ間で分割することもできる。

各トラックプロセッサ１３２Ａ〜１３２Ｆは、１又はそれ以上の記録されたトラックを処理することができる。各トラックプロセッサによって行われる処理は、複数のトラックの加算又はミキシング、増幅又は減衰によるレベル修正、ローパスフィルタリング、ハイパスフィルタリング又はグラフィックイコライゼーションなどのスペクトル修正、制限又は圧縮などのダイナミックレンジ修正、位相シフト又は位相遅延などの時間領域修正、ノイズ、ハム及びフィードバック抑制、残響及びその他の処理のうちの一部又は全部を含むことができる。ボーカルトラックに対しては、ディエッシング及びコーラシングなどの特殊処理を行うこともできる。レベル修正のように、処理によってはミキシング又は加算前に個々のトラックに対して行えるものもあれば、複数のトラックがミキシングされた後に行える処理もある。各トラックプロセッサ１３２Ａ〜１３２Ｆの出力は、それぞれのステム１４０Ａ〜１４０Ｆとすることができ、図１では、このうちのステム１４０Ａ及び１４０Ｆのみを識別している。

図１の例では、各ステム１４０Ａ〜１４０Ｆが、左成分及び右成分を含むことができる。右加算器１３４Ｒは、ステム１４０Ａ〜１４０Ｆの右成分を加算して、ステレオアーティスティックミックス１６０の右チャネル１６０Ｒを出力することができる。同様に、左加算器１３４Ｌは、ステム１４０Ａ〜１４０Ｆの左成分を加算して、ステレオアーティスティックミックス１６０の左チャネル１６０Ｌを出力することができる。図１には示していないが、左加算器１３４Ｌ及び右加算器１３４Ｒから出力される信号には、制限又はダイナミックレンジ圧縮などの追加処理を行うこともできる。

各ステム１４０Ａ〜１４０Ｆは、特定の楽器又は楽器グループとミュージシャンによって生成された音を含むことができる。本明細書では、ステムに含まれる楽器又は楽器グループとミュージシャンをステムの「音声」と呼ぶ。音声には、ステムを生成するために処理したトラックに寄与したミュージシャン又は楽器を反映するように名前を付けることができる。例えば、図１では、トラックプロセッサ１３２Ａの出力を「ストリングス」ステム、トラックプロセッサ１３２Ｄの出力を「ボーカル」ステム、そしてトラックプロセッサ１３２Ｅの出力を「ドラム」ステムとすることができる。ステムは、１種類の楽器に限定される必要はなく、１種類の楽器が複数のステムを生じることもできる。例えば、ストリングス１１０Ａ、サックス１１０Ｂ、ピアノ１１０Ｃ及びギター１１０Ｆを別個のトラックとして記録し、これらを単一の「楽器」ステムに合成することもできる。さらなる例として、ヘビーメタルなどのドラムを駆使した音楽では、ドラマー１１０Ｅによって生成された音を、「キックドラム」ステム、「スネア及びシンバル」ステム、並びに「その他のドラム」ステムなどの複数のステムに統合することができる。これらのステムは、大きく異なる周波数スペクトルを有することができ、従ってミキシング中には異なる方法で処理することができる。

ステレオアーティスティックミックス１６０の作成中に生成されたステム１４０Ａ〜１４０Ｆは保存することができる。また、各ステムオーディオオブジェクトには、ステム内の音声、楽器又はミュージシャンを識別するメタデータを関連付けることもできる。関連するメタデータは、各ステムオーディオオブジェクトに付加することも、或いは別個に保存することもできる。ステムオーディオオブジェクトの一部又は全部には、楽曲名、グループ又はミュージシャン名、楽曲ジャンル、録音及び／又はミキシング日などのその他のメタデータ、並びに他の情報を付加することもでき、或いはこれらの情報を別個のデータオブジェクトとして保存することもできる。

図２Ａは、従来のサラウンドオーディオミックス配信システム２００Ａのブロック図である。例えばデジタルオーディオワークステーションとすることができるアーティスティックミキシングシステム２３０を用いて、ステレオアーティスティックミックス及びサラウンドアーティスティックミックス２３５の両方を作成することができる。ステレオアーティスティックミックスは、コンパクトディスクの制作、従来のステレオラジオ放送、及びその他の用途に使用することができる。サラウンドアーティスティックミックス２３５は、ＢｌｕＲａｙの制作（例えば、ＢｌｕｅＲａｙ ＨＤＴＶコンサート録画）及びその他の用途に使用することができる。サラウンドアーティスティックミックス２３５は、マルチチャネルエンコーダ２４０によって符号化し、例えばインターネット又はその他のネットワークを介して配信することもできる。

マルチチャネルエンコーダ２４０は、５．１サラウンドオーディオシステムでは最大６チャネルを含むオーディオミックスの符号化を可能にするＭＰＥＧ−２（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）標準に従ってサラウンドアーティスティックミックス２３５を符号化することができる。マルチチャネルエンコーダ２４０は、最大８チャネルを含むオーディオミックスの符号化を可能にするＦｒｅｅ Ｌｏｓｓｌｅｓｓ Ａｕｄｉｏ Ｃｏｄｅｒ（ＦＬＡＣ）標準に従ってサラウンドアーティスティックミックス２３５を符号化することもできる。マルチチャネルエンコーダ２４０は、ＭＰＥＧ−２及びＭＰＥＧ−４標準のＡｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ（ＡＡＣ）強化に従ってサラウンドアーティスティックミックス２３５を符号化することもできる。ＡＡＣは、最大４８チャネルを含むオーディオミックスの符号化を可能にする。マルチチャネルエンコーダ２４０は、他の何らかの標準に従ってサラウンドアーティスティックミックス２３５を符号化することもできる。

マルチチャネルエンコーダ２４０によって生成された符号化済みのオーディオは、配信チャネル２４２を介して互換マルチチャネルデコーダ２５０に送信することができる。配信チャネル２４２は、無線放送、インターネット又はケーブルＴＶネットワークなどのネットワーク、或いは他の何らかの配信チャネルとすることができる。マルチチャネルデコーダ２５０は、サラウンドアーティスティックミックス２３５のチャネルをサラウンドオーディオシステム２６０によってリスナーに提供できるように再現又はほぼ再現することができる。

上述したように、必ずしも全てのステレオアーティスティックミックスが、関連するサラウンドアーティスティックミックスを有しているとは限らない。図２Ｂは、オーディオプログラムのサラウンドアーティスティックミックスが存在しない状況における別のサラウンドオーディオミックス配信システム２００Ｂのブロック図である。システム２００Ｂでは、ステレオアーティスティックミックスの作成中に生成されるステム及びメタデータ２３２からサラウンドミックスを合成することができる。アーティスティックミキシングシステム２３０からのステム及びメタデータ２３２を自動サラウンドミキサ２７０に入力し、この自動サラウンドミキサ２７０によってサラウンドミックス２７５を生成することができる。「自動」という用語は、一般にオペレータの関与を伴わないことを意味する。オペレータは、自動サラウンドミキサ２７０の動作を開始したら、それ以上関与しなくてもサラウンドミックス２７５を生成することができる。

サラウンドミックス２７５は、マルチチャネルエンコーダ２４０によって符号化し、配信チャネル２４２を介して互換マルチチャネルデコーダ２５０に送信することができる。マルチチャネルデコーダ２５０は、サラウンドミックス２７５のチャネルをサラウンドオーディオシステム２６０によってリスナーに提供できるように再現又はほぼ再現することができる。システム２００Ｂでは、自動サラウンドミキサ２７０によって生成された単一のサラウンドミックスが全てのリスナーに配信される。

図２Ｃは、別のサラウンドオーディオミックス配信システム２００Ｃのブロック図である。システム２００Ｃでは、各リスナーが、リスナーの個人的好み及びオーディオシステムに適したカスタマイズされたサラウンドミックスを作成することができる。アーティスティックミキシングシステム２３０からのステム及びメタデータ２３２は、マルチチャネルエンコーダ２４０に類似しているがチャネルではなく（又はチャネルに加えて）ステムを符号化できるマルチチャネルエンコーダ２４５に入力することができる。

次に、この符号化されたステムを、配信チャネル２４２を介して互換マルチチャネルデコーダ２５５に送信することができる。マルチチャネルデコーダ２５５は、ステム及びメタデータ２３２を再現又はほぼ再現することができる。この再現されたステム及びメタデータに基づいて、自動サラウンドミキサ２７０がサラウンドミックス２７５を生成することができる。サラウンドミックス２７５は、リスナーの好み及び／又はリスナーのサラウンドオーディオシステム２６０の特徴に適合することができる。

ここで図３を参照して分かるように、図２Ｂ及び図２Ｃの自動サラウンドミキサ２７０などの自動サラウンドミキサ３００は、ステレオアーティスティックミックスの作成過程の一部として形成されるステムから、マルチチャネルサラウンドミックスを生成することができる。自動サラウンドミキサ３００は、録音エンジニア又はアーティストの関与を必要とせずにマルチチャネルサラウンドミックスを作成することができる。この例では、自動サラウンドミキサ３００が、ステム１〜ステム６として識別される６つのステムを受け付ける。自動ミキサは、６つよりも多くの又は少ないステムを受け入れることもできる。各ステムは、モノラル、又は左及び右成分を有するステレオとすることができる。この例では、自動サラウンドミキサ３００が、Ｏｕｔ１〜Ｏｕｔ６として識別される６チャネルを出力する。Ｏｕｔ１〜Ｏｕｔ６は、５．１サラウンドオーディオシステムに適した、左後方チャネル、左前方チャネル、センターチャネル、右前方チャネル、右後方チャネル及び重低音効果チャネルに対応することができる。自動サラウンドミキサは、７．１サラウンドオーディオシステムでは、８チャネル又は他の何らかの数のチャネルを出力することができる。

自動サラウンドミキサ３００は、各入力ステムのためのそれぞれのステムプロセッサ３１０−１〜３１０−６と、処理されたステムを様々な割合で合成して出力チャネルを提供するミキシングマトリクス３２０と、ステムをどのように処理してミキシングすべきかを決定するためのルールエンジン３４０とを含むことができる。

各ステムプロセッサ３１０−１〜３１０−６は、増幅又は減衰によるレベル修正、ローパスフィルタリング、ハイパスフィルタリング及び／又はグラフィックイコライゼーションによるスペクトル修正、制限、圧縮又は復元によるダイナミックレンジ修正、ノイズ、ハム及びフィードバックの抑制、残響及びその他の処理などの処理を実行することができる。ステムプロセッサ３１０−１〜３１０−６のうちの１つ又はそれ以上は、ボーカルトラックへのディエッシング及びコーラシングなどの特殊処理を行うこともできる。ステムプロセッサ３１０−１〜３１０−６のうちの１つ又はそれ以上は、異なる処理を受ける複数の出力を提供することもできる。例えば、ステムプロセッサ３１０−１〜３１０−６のうちの１つ又はそれ以上は、それぞれのステムの低周波部分をＬＦＥチャネルに組み込めるように提供し、それぞれのステムの高周波部分を他の出力チャネルの１つ又はそれ以上に組み込めるように提供することができる。

自動サラウンドミキサ３００に入力される各ステムは、これらの処理の一部又は全部をステレオアーティスティックミックス作成の一部として既に受けていることがある。従って、ステムプロセッサ３１０−１〜３１０−６が行う処理は、ステレオアーティスティックミックスの一般的な音及び雰囲気を保つように最低限に抑えることができる。例えば、ステムの一部又は全部への残響の追加、及びＬＦＥチャネルを提供するためのローパスフィルタリングを、ステムプロセッサが行う唯一の処理とすることができる。

ステムプロセッサ３１０−１〜３１０−６の各々は、ルールエンジン３４０によって提供されるエフェクトパラメータ３４２に従ってそれぞれのステムを処理することができる。エフェクトパラメータ３４２は、例えば、減衰又は利得の量、適用すべきあらゆるフィルタ処理の折点周波数及び傾斜、等化係数、圧縮又は復元係数、残響の遅延及び相対振幅を指定するデータ、並びに各ステムに適用すべき処理を定めるその他のパラメータを含むことができる。

ミキシングマトリクス３２０は、ルールエンジンによって提供されたミキシングパラメータ３４４に従って、ステムプロセッサ３１０−１〜３１０−６からの出力を合成して出力チャネルを提供することができる。例えば、ミキシングマトリクス３２０は、以下の式に従って各出力チャネルを生成することができる。

（１）
Ｃ_j（ｔ）＝時間ｔにおける出力チャネルｊ、
Ｓ_i＝時間ｔにおけるステムプロセッサｉの出力、
ａ_ij＝振幅係数、
ｄ_ij＝時間遅延、
ｎ＝ミックスで使用されるステム数、
である。
ミキシングパラメータ３４４には、振幅係数ａ_ij及び時間遅延ｄ_ijを含めることができる。

ルールエンジン３４０は、入力されたステムに関連するメタデータに少なくとも部分的に基づいて、エフェクトパラメータ３４２及びミキシングパラメータ３４４を決定することができる。メタデータは、ステレオアーティスティックミックスの作成中に生成することができ、各ステムオブジェクトに付加したり、及び／又は別個のデータオブジェクトに含めたりすることができる。メタデータは、例えば、各ステムに含まれる音声又は楽器の種類、演目のジャンル又はその他の定性的記述、ステレオアーティスティックミックスの作成中に各ステムに対して行われた処理を示すデータ、及びその他の情報を含むことができる。メタデータは、演目タイトル又はアーティストなどの、リスナーには関心があるがサラウンドミックスの作成中には使用されない記述的材料を含むこともできる。

ステムに適当なメタデータを提供できない時には、各ステムの内容分析を通じて、各ステムの音声及び楽曲のジャンルを含むメタデータを作成することができる。例えば、各ステムのスペクトル成分を分析して、ステムにどのような音声が含まれているかを推定することができ、ステムのリズム成分をステム内に存在する音声と組み合わせることによって楽曲ジャンルを推定することもできる。

自動サラウンドミキサ３００は、リスナーのサラウンドオーディオシステムに組み込むことができる。この場合、ルールエンジン３４０は、サラウンドミックスを提供するために使用すべきサラウンドオーディオシステムコンフィギュレーション（５．０、５．１、７．１など）を示すコンフィギュレーションデータにアクセスすることができる。自動サラウンドミキサ３００がサラウンドオーディオシステムに組み込まれていない場合、ルールエンジン３４０は、サラウンドオーディオシステムコンフィギュレーションを示す情報を、例えばリスナーによる手動入力として受け取ることができる。サラウンドオーディオシステムコンフィギュレーションを示す情報は、例えばＨＤＭＩ（高品位メディア相互接続）接続を介した通信によってオーディオシステムから自動的に取得することができる。

ルールエンジン３４０は、ルールベースに記憶されている一連のルールを用いて、エフェクトパラメータ３４２及びミキシングパラメータ３４４を決定することができる。本特許における「ルール」という用語は、論理的記述、表形式データ、並びにエフェクトパラメータ３４２及びミキシングパラメータ３４４の生成に用いられるその他の情報を含む。ルールは、経験的に構築することができ、すなわち１又はそれ以上のアーティスティックサラウンドミックスを作成した１又はそれ以上の音響エンジニアの集合的経験に基づくことができる。ルールは、複数のアーティスティックサラウンドミックスのミキシングパラメータ及びエフェクトパラメータを収集して平均化することによって構築することができる。ルールベース３４６は、異なる音楽ジャンルについては異なるルールを含み、異なるサラウンドオーディオシステムコンフィギュレーションについても異なるルールを含むことができる。

一般に、各ルールは、条件と、その条件が満たされた場合に実行する動作とを含むことができる。ルールエンジンは、利用可能なデータ（すなわち、メタデータ及びスピーカのコンフィギュレーションデータ）を評価して、どのルール条件が満たされるかを判断することができる。次に、ルールエンジン３４０は、満たされたルールがどのような動作を指示するかを判断し、動作間のあらゆる衝突を解決して、指示された動作を行わせる（すなわち、エフェクトパラメータ３４２及びミキシングパラメータ３４４を設定させる）ことができる。

ルールベース３４６に記憶されるルールは、平叙形式とすることができる。例えば、ルールベース３４６に記憶されているルールは、「リードボーカルをセンターチャネルに移行する」を含むことができる。上述したように、このルールは、全ての音楽ジャンル及び全てのサラウンドオーディオシステムコンフィギュレーションに適用される。ルール内の条件は固有のものであり、すなわちこのルールは、リードボーカルステムが存在する場合にのみ適用される。

さらに典型的なルールは、明示条件を有することもできる。例えば、ルールベース３４６に記憶されているルールは、「オーディオシステムにサブウーファが存在する場合、ドラム、パーカッション及びベースステムの低周波成分をＬＦＥチャネルに移行し、存在しない場合、ドラム、パーカッション及びベースステムの低周波成分を左前方チャネルと右前方チャネルで分割する」を含むことができる。ルールの明示条件は、論理式（「ａｎｄ」、「ｏｒ」、「ｎｏｔ」など）を含むことができる。

一般的なルールは、「音楽のジャンルがＸであって音声がＹである場合、・・・」などの条件を有することができる。この種のルール及びその他の種類のルールは、ルールベース３４６に表形式で記憶することができる。例えば、図４に示すように、３つの座標軸がステムの音声、ジャンル及びチャネルを表す３次元テーブル４００としてルールを体系化することができる。各エントリ４１０は、ステムの音声とジャンルの特定の組み合わせのミキシングパラメータ（レベル及び遅延係数）及びエフェクトパラメータを含むことができる。テーブル４００は、５．１サラウンドオーディオコンフィギュレーションに固有のものである。他のサラウンドオーディオコンフィギュレーションでは、ルールベースに異なるテーブルを記憶することができる。

例えば、テーブル４００の行４２０は、リードボーカルステムに効果音処理を行わない前提で、「５．１サラウンドオーディオシステム及びこの特定のジャンルでは、リードボーカルをセンターチャネルに移行する」というルールを実装する。さらなる例として、テーブル４００の行４３０は、「５．１サラウンドオーディオシステム及びこの特定のジャンルでは、ドラムステムの低周波成分をＬＦＥチャネルに移行し、ドラムステムの高周波成分を前方左チャネルと前方右チャネルとで分割する」というルールを実装する。

再び図３を参照すると、ルールベース３４６が表形式ルールを含む場合、ルールエンジンは、メタデータ及びサラウンドオーディオコンフィギュレーションを用いて、適当なテーブルからエフェクトパラメータ３４２及びミキシングパラメータ３４４を読み出すことができる。ルールエンジン３４０は、表形式ルールのみに依拠することも、或いは表形式ルールでは十分に対応できない状況に対処するように追加ルールを有することもできる。例えば、わずかな数の成功したロックバンドが２人のドラマーを採用し、多くの録音された楽曲が２人のリードボーカリストを特徴にしているとする。これらの状況に対しては、追加のテーブルエントリによって、或いは「２つのステムの声が同じ場合には、一方の重みを左に置き、他方を右に置く」などの追加ルールによって対処することができる。

ルールエンジン３４０は、リスナーの好みを示すデータを受け取ることもできる。例えば、標準的ミックス、及び（ボーカルのみの）アカペラミックス又は（リードボーカルを抑えた）「カラオケ」ミックスなどの非標準的ミックスを選択するためのオプションをリスナーに与えることができる。非標準的ミックスが選択されると、ルールエンジン３４０によって選択されたミキシングパラメータの一部を無効にすることができる。

自動サラウンドミキサ３００の機能要素は、アナログ回路、デジタル回路、及び／又は自動ミキサソフトウェアプログラムを実行する１又はそれ以上のプロセッサによって実装することができる。例えば、ステムプロセッサ３１０−１〜３１０−６及びミキシングマトリクス３２０は、デジタルシグナルプロセッサなどの１又はそれ以上のデジタルプロセッサを用いて実装することができる。ルールエンジン３４０は、汎用プロセッサを用いて実装することができる。２又はそれ以上のプロセッサが存在する場合には、図３に示す自動サラウンドミキサ３００の機能分割を、複数プロセッサ間における自動サラウンドミキサ３００の物理的分割と一致させる必要はない。同じプロセッサ内に複数の機能要素を実装することもできれば、あらゆる機能要素を２又はそれ以上のプロセッサ間で分割することもできる。

ここで図５を参照して分かるように、自動サラウンドミキサ５００は、上述したようなエフェクトパラメータ３４２に従ってそれぞれのステムを処理するステムプロセッサ３１０−１〜３１０−６を含むことができる。自動サラウンドミキサ５００は、上述したようなミキシングパラメータ３４４に従ってステムプロセッサ３１０−１〜３１０−６からの出力を合成するためのミキシングマトリクス３２０を含むことができる。

自動サラウンドミキサ５００は、ルールエンジン５４０及びルールベース５４６を含むこともできる。ルールエンジン５４０は、上述したようなメタデータ及びサラウンドオーディオシステム・コンフィギュレーションデータに基づいてエフェクトパラメータ３４２を決定することができる。

ルールエンジン５４０は、ミキシングパラメータ３４４を直接決定することはできず、ルールベース５４６に記憶されているルールに基づいて相対的音声位置データ５４８を決定することができる。各相対的音声位置は、仮想ステージ上におけるそれぞれのステムの仮定的音源の位置を示すことができる。例えば、ルールベース５４６は、「リードボーカルをセンターチャネルに移行する」というルールを含まず、「リードボーカリストをステージの中央前方に位置付ける」というルールを含むことができる。同様のルールにより、様々なジャンルについて仮想ステージ上の他の音声／ミュージシャンの位置を定めることができる。

一般的なルールは、「音楽のジャンルがＸであって音声がＹである場合、・・・」などの条件を有することができる。この種のルールは、ルールベース５４６に表形式で記憶することができる。例えば、図６に示すように、座標軸がステム音声及びジャンルを表す２次元テーブル６００としてルールを体系化することができる。各エントリ６１０は、ステムの音声とジャンルの特定の組み合わせの位置及びエフェクトパラメータを含むことができる。テーブル６００は、いずれかの特定のサラウンドオーディオコンフィギュレーションに固有のものでなくてもよい。

前段落で説明したルールは単純な例であった。やはり例示ではあるが、図７を参照しながら、より完全なｓｅｔ ｉｆルールについて説明する。図７には、リスナー７１０、並びにＣ（センター）、Ｌ（左前方）、Ｒ（右前方）、ＬＲ（左後方）及びＲＲ（右後方）で表記した一連のスピーカを含む環境を示している。センタースピーカＣは、規定により、リスナー７１０に対して０度の角度に位置する。左前方及び右前方スピーカＬ及びＲは、それぞれ−３０度及び＋３０度の角度に位置する。左後方及び右後方スピーカＬＲ、ＲＲは、それぞれ−１１０度及び＋１１０度の角度に位置する。図７には、サブウーファ又はＬＦＥスピーカは示していない。リスナーは、超低周波音の方向をほとんど検出することができない。従って、ＬＦＥスピーカの相対的位置は重要でない。

ステムをミキシングするための一連のルールは、リスナーからステムの音源への見かけ角度の観点から表すことができる。以下の例示的な一連のルールは、様々なジャンルの楽曲の心地良いサラウンドミックスをもたらすことができる。ルールについてはイタリック体で記載する。
・ドラムを±３０°に配置し、残響ドラム成分を±１１０°に配置する。ドラムは、ほとんどの種類のポピュラー音楽の「骨格」と見なされる。通常、ステレオミックスでは、ドラムが左スピーカと右スピーカの間に均等に配置される。５．１サラウンド表現では、リスナーを取り囲む部屋の中にドラムが存在するという錯覚を与えるオプションが存在する。従って、ドラムステムを前方左チャネルと前方右チャネルの間で分割し、ドラムステムを反響させ減衰させて左後方及び右後方スピーカ（±１１０°）に送ることにより、ドラムがリスナーの「正面」に存在し、リスナーの背後に「仮想ルーム」の反響が存在するという印象をリスナーに与えることができる。
・ベースを−３ｄｂで０°に配置し、Ｌ／Ｒへの寄与を＋１．５ｄｂにする。通常、ステレオミックスでは、ベースギターは、ドラムのように「疑似センター」に存在する（左チャネルと右チャネルの間で均等に分割される）。５．１ミックスでは、以下の方法でベースステムを左スピーカ、右スピーカ及びセンタースピーカに広げることができる。ベースステムをセンターチャネルに配置し、レベルを−３ｄｂだけ下げた後に、前方左及び前方右スピーカに均等に−１．５ｄｂを加える。
・リズムギターを−６０°に配置する。図７をよく見ると、−６０°にはスピーカが存在しないことが分かる。リズムギターステムは、−６０°の疑似音源をシミュレートするように、左前方スピーカＬと左後方スピーカＬＲの間で分割することができる。
・キーボードを＋６０°に配置する。キーボードステムは、−６０°の疑似音源をシミュレートするように、右前方スピーカＬと右後方スピーカＬＲの間で分割することができる。
・コーラスを±９０°に配置する。コーラスステムは、±９０°の疑似音源をシミュレートするように、左前方及び右前方スピーカＬ、Ｒ、並びに左後方及び右後方スピーカＬＲ、ＲＲの間で分割することができる。
・パーカッションを±１１０°に配置する。パーカッションステムは、左後方及び右後方スピーカＬＲ、ＲＲの間で分割することができる。
・リードボーカルを−３ｄｂで０°に配置し、Ｌ／Ｒへの寄与を＋１．５ｄｂとする。通常、リードボーカルは、典型的なステレオミックスの「疑似センター」に提供される。リードボーカルをセンター、左及び右チャネルにわたって広げると、リードボーカリストの見かけの位置が保持されて、表現に豊かさ及び複雑さが加わる。

再び図５を参照すると、ルールベース５４６が表形式ルールを含む場合、ルールエンジン５４０は、メタデータ及びサラウンドオーディオコンフィギュレーションを用いて、適当なテーブルからエフェクトパラメータ３４２及び音声位置データ５４８を読み出すことができる。ルールエンジン５４０は、表形式ルールに完全に依存することも、或いは上述したように表形式ルールでは十分に対応できない状況に対処するように追加ルールを有することもできる。

ルールエンジン５４０は、リスナーの好みを示すデータを受け取ることもできる。例えば、標準的ミックス、及び（ボーカルのみの）アカペラミックス又は（リードボーカルを抑えた）「カラオケ」ミックスなどの非標準的ミックスを選択するためのオプションをリスナーに与えることができる。リスナーは、リスナーが特定の楽器に集中できるように各ステムが単一のスピーカチャネルに送られる「教育」ミックスを選択するためのオプションを有することもできる。非標準的ミックスが選択されると、ルールエンジン５４０によって選択されたミキシングパラメータの一部を無効にすることができる。

ルールエンジン５４０は、座標プロセッサ５５０に音声位置データ５４８を提供することができる。座標プロセッサ５５０は、音声が存在する仮想ステージに対する仮想リスナー位置についてのリスナー選択を受け取ることができる。このリスナー選択は、例えば２又はそれ以上の所定の選択的位置の１つを選択するようにリスナーを促すことによって行うことができる。考えられる仮想リスナー位置の選択肢としては、「バンド内」（例えば、仮想ステージの音声に取り囲まれた中心）、「中央最前列」、及び／又は「聴衆の真ん中」を挙げることができる。次に、座標プロセッサ５５０は、所望のリスナー体験を与えるチャネルに処理済みのステムを合成する処理をミキシングマトリクス３２０に行わせるミキシングパラメータ３４４を生成することができる。

座標プロセッサ５５０は、サラウンドオーディオシステム内のスピーカの相対的位置を示すデータを受け取ることもできる。座標プロセッサ５５０は、このデータを用いて、（図７に示すスピーカ配置などの）公称スピーカ配置に対するスピーカ配置のずれを少なくともある程度補正するようにミキシングパラメータを精細化することができる。例えば、座標プロセッサは、左前方及び右前方スピーカがセンタースピーカに対して対称位置に存在しないようなスピーカ位置の非対称性をある程度補正することができる。

自動サラウンドミキサ５００の機能要素は、アナログ回路、デジタル回路、及び／又は自動ミキサソフトウェアプログラムを実行する１又はそれ以上のプロセッサによって実装することができる。例えば、ステムプロセッサ３１０−１〜３１０−６及びミキシングマトリクス３２０は、デジタルシグナルプロセッサなどの１又はそれ以上のデジタルプロセッサを用いて実装することができる。ルールエンジン５４０及び座標プロセッサ５５０は、１又はそれ以上の汎用プロセッサを用いて実装することができる。２又はそれ以上のプロセッサが存在する場合には、図５に示す自動サラウンドミキサ５００の機能分割を、複数プロセッサ間における自動サラウンドミキサ５００の物理的分割と一致させなくてもよい。同じプロセッサ内に複数の機能要素を実装することもできれば、あらゆる機能要素を２又はそれ以上のプロセッサ間で分割することもできる。

処理の説明
ここで図８を参照して分かるように、楽曲のサラウンドミックスを提供するための処理８００は、８０５から開始して８９５で終了することができる。処理８００は、まず楽曲のステレオアーティスティックミックスを作成し、その後にステレオアーティスティックミックスの作成中に保存したステムからマルチチャネルサラウンドミックスを自動的に生成するという前提に基づく。

８１０において、ルールベース３４６及び５４６などのルールベースを構築することができる。ルールベースは、ステムをサラウンドミックスに合成するためのルールを含むことができる。これらのルールは、過去のアーティスティックサラウンドミックスの分析、アーティスティックサラウンドミックスを作成した経験がある録音エンジニアの統一見解及び実務の蓄積、又はその他の何らかの方法で構築することができる。ルールベースは、異なる音楽ジャンルについては異なるルールを含み、異なるサラウンドオーディオコンフィギュレーションについては異なるルールを含むことができる。ルールベース内のルールは、表形式で表すことができる。ルールベースは、例えば新たなミキシング技術及び新たな音楽ジャンルを組み込めるように、必ずしも恒久的なものではなく、時間と共に拡張することができる。

初期ルールベースは、最初の楽曲が録音されて最初のアーティスティックステレオミックスが作成される前、その最中、又は後に準備することができる。初期ルールベースは、サラウンドミックスを自動的に生成できるようになる前に構築しなければならない。８１０において構築されたルールベースは、１又はそれ以上の自動ミキシングシステムに送ることができる。例えば、ルールベースは、各自動サラウンドミキシングシステムのハードウェアに組み込むことができ、或いはネットワークを介して各自動サラウンドミキシングシステムに送信することもできる。

８１５において、楽曲のトラックを録音することができる。８２０において、８１５で得られたトラックを既知の技術を用いて処理して合成することにより、アーティスティックステレオミックスを作成することができる。このアーティスティックステレオミックスは、録音ＣＤ及びラジオ放送などの従来の目的に使用することができる。８２０におけるアーティスティックステレオミックスの作成中に、２又はそれ以上のステムを生成することができる。各ステムは、１又はそれ以上のトラックを処理することによって生成することができる。各ステムは、ステレオアーティスティックミックスの成分又はサブミックスとすることができる。通常、ステレオアーティスティックミックスは、４つ〜８つのステムで構成することができる。ミックスによっては、たった２つのステムしか使用しないことも、８つを超えるステムを使用することもある。各ステムは、単一チャネルしか含まないことも、或いは左チャネルと右チャネルを含むこともできる。

８２５において、８２０で作成したステムにメタデータを関連付けることができる。メタデータは、８２０におけるステレオアーティスティックミックスの作成中に生成することができ、各ステムオブジェクトに付加したり、及び／又は別個のデータオブジェクトに含めたりすることができる。メタデータは、例えば、各ステムの音声（すなわち、楽器の種類）、楽曲のジャンル又はその他の定性的記述、ステレオアーティスティックミックスの作成中に各ステムに対して行われた処理を示すデータ、及びその他の情報を含むことができる。メタデータは、楽曲のタイトル又はアーティスト名などの、リスナーには関心があるがサラウンドミックスの作成中には使用されない記述的材料を含むこともできる。

８２０から適当なメタデータを入手できない時には、８２５において、各ステムの内容から各ステムの音声及び楽曲のジャンルを含むメタデータを抽出することができる。例えば、各ステムのスペクトル成分を分析して、ステムにどのような音声が含まれているかを推定することができ、ステムのリズム成分をステム内に存在する音声と組み合わせることによって楽曲ジャンルを推定することもできる。

８４５において、自動サラウンドミキシング処理８４０によって８２５からのステム及びメタデータを取得することができる。自動サラウンドミキシング処理８４０は、８２０におけるステレオミキシングと同じシステムを用いて同じ場所で行うことができる。この場合は、８４５において、自動ミキシング処理が、メモリから単純にメタデータ及びステムを読み出すことができる。自動サラウンドミキシング処理８４０は、ステレオミキシングから離れた１又はそれ以上の場所で行うこともできる。この場合は、８４５において、自動サラウンドミキシング処理８４０が、配信チャネル（図示せず）を介してステム及び関連するメタデータを受け取ることができる。配信チャネルは、無線放送、インターネット又はケーブルＴＶネットワークなどのネットワーク、或いは他の何らかの配信チャネルとすることができる。

８５０において、ステムに関連するメタデータ及びサラウンドオーディオコンフィギュレーションデータを用いて、ルールベースから適用可能なルールを抽出することができる。自動サラウンドミキシング処理８４０は、対象のサラウンドオーディオコンフィギュレーション（例えば、５．０、５．１、７．１）を示すデータを用いてルールを選択することもできる。一般に、各ルールは、明示条件又は内在条件と、条件が満たされた場合に実行する１又はそれ以上の動作とを定めることができる。ルールは、論理文として表すことができる。一部又は全部のルールを表形式で表すこともできる。８５０における適用可能なルールの抽出は、メタデータ及びサラウンドオーディオコンフィギュレーションデータによって満たされる条件を有するルールのみを選択することを含むことができる。各ルールで定められる動作としては、例えば、特定のステムのミキシングパラメータ、エフェクトパラメータ、及び／又は相対的位置の設定を挙げることができる。

８５５及び８６０において、抽出されたルールを用いて、ミキシングパラメータ及びエフェクトパラメータをそれぞれ設定することができる。８５５及び８６０における動作は、あらゆる順序で行うことも、又は並行して行うこともできる。

８６５において、ステムをサラウンドオーディオシステムのチャネルに処理することができる。ステムをチャネルに処理することは、８７０において設定されたエフェクトパラメータに従ってステムの一部又は全部に対する処理を実行することを含むことができる。実行できる処理としては、増幅又は減衰によるレベル修正、ローパスフィルタリング、ハイパスフィルタリング及び／又はグラフィックイコライゼーションによるスペクトル修正、制限、圧縮又は復元によるダイナミックレンジ修正、ノイズ、ハム及びフィードバックの抑制、残響及びその他の処理を挙げることができる。また、ボーカルステムに対しては、ディエッシング及びコーラシングなどの特殊処理を行うこともできる。ステムのうちの１つ又はそれ以上は、複数のチャネルに含められるように、異なる処理を受ける複数の成分に分割することもできる。例えば、ステムのうちの１つ又はそれ以上は、ＬＦＥチャネルに組み込むための低周波部分、及びその他の出力チャネルの１つ又はそれ以上に組み込むための高周波部分をもたらすように処理することができる。

８７０において、８６５からの処理済みのステムをチャネルにミキシングすることができる。これらのチャネルをサラウンドオーディオシステムに入力することができる。任意に、将来的に再生できるようにチャネルを記録することもできる。処理８００は、楽曲の完結後に８９５において終了することができる。

ここで図９を参照すると、楽曲のサラウンドミックスを提供するための別の処理９００が、９０５から開始して９９５で終了することができる。処理９００は、９７５及び９８０の動作を除いて処理７００に類似する。本質的に重複する要素の説明は繰り返さないが、図９に関連して説明しない要素は、いずれも図８の対応する要素と同じ機能を有する。

９７５において、７５０で抽出されたルールを用いて、各ステムの相対的音声位置を定めることができる。各相対的音声位置は、仮想ステージ上におけるそれぞれのステムの仮定的音源の位置を示すことができる。例えば、７５０で抽出されたルールは、「リードボーカリストをステージの中央前方に位置付ける」とすることができる。同様のルールにより、様々なジャンルについて仮想ステージ上の他の音声／ミュージシャンの位置を定義することができる。

自動サラウンドミキシング処理９４０は、９７５において音声位置が定められた仮想ステージに対する仮想リスナー位置についてのオペレータ選択を受け取ることができる。オペレータの選択は、例えば２又はそれ以上の所定の選択的位置の１つを選択するようにリスナーを促すことによって行うことができる。仮想のリスナー位置の例示的な選択肢としては、「バンド内」（例えば、仮想ステージの音声に取り囲まれた中心）、「中央最前列」、及び／又は「聴衆の真ん中」が挙げられる。

自動サラウンドミキシング処理９４０は、サラウンドオーディオシステム内のスピーカの相対的位置を示すデータを受け取ることもできる。このデータを用いて、左前方スピーカと右前方スピーカの中心にセンタースピーカが配置されていないようなスピーカ配置の非対称性を少なくともある程度補正するようにミキシングパラメータを精細化することができる。

９８０において、選択された仮想リスナー位置及びスピーカ位置データが利用可能であれば、これらを考慮して、９７５において定められた音声位置をミキシングパラメータに変換することができる。７７０において、９８０からのミキシングパラメータを用いて、７６５からの処理済みのステムを所望のリスナー体験を提供するチャネルにミキシングすることができる。

図８又は図９には示していないが、自動サラウンドミキシング処理８４０又は９４０は、リスナーの好みを示すデータを受け取ることもできる。例えば、標準的ミックス、及び（ボーカルのみの）アカペラミックス又は（リードボーカルを抑えた）「カラオケ」ミックスなどの非標準的ミックスを選択するためのオプションをリスナーに与えることができる。非標準的ミックスが選択されると、８５０又は９５０で抽出されたルールの一部を無効にすることができる。

結び
本説明を通じて示した実施形態及び実施例は、開示又は特許請求する装置及び手順を限定するものではなく例示と見なすべきである。本明細書に示した実施例の多くは、方法行為又はシステム要素の特定の組み合わせを含むが、これらの行為及び要素を別の方法で組み合わせて同じ目的を達成することもできると理解されたい。フローチャートに関しては、追加の及び少ないステップを採用することもでき、図示のステップを組み合わせて又はさらに精細化して、本明細書で説明した方法を実現することもできる。１つの実施形態のみに関連して説明した行為、要素及び特徴は、他の実施形態における同様の役割から除外されるものではない。

本明細書で使用する「複数の」は、２又はそれ以上を意味する。本明細書で使用する「一連の」項目は、このような項目の１つ又はそれ以上を含むことができる。本明細書で使用する「含む、有する（ｃｏｍｐｒｉｓｉｎｇ、ｉｎｃｌｕｄｉｎｇ、ｃａｒｒｙｉｎｇ、ｈａｖｉｎｇ、ｃｏｎｔａｉｎｉｎｇ及びｉｎｖｏｌｖｉｎｇ）」などの用語は、明細書で使用しているか、それとも特許請求の範囲で使用しているかに関わらず非制限的なものであり、すなわち含むけれども限定されないことを意味すると理解されたい。特許請求の範囲に関しては、「〜から成る（ｃｏｎｓｉｓｔｉｎｇ ｏｆ）」及び「基本的に〜から成る（ｃｏｎｓｉｓｔｉｎｇ ｅｓｓｅｎｔｉａｌｌｙ ｏｆ）」という移行句のみが、それぞれ制限的又は半制限的な移行句である。特許請求の範囲における、クレームエレメントを修飾するための「第１の」、「第２の」、「第３の」などの順序用語の使用は、これら自体がいずれかの優先順位、優先権、又はあるクレームエレメントが別のエレメントに順序的に優ること、或いは方法の行為を行う時間的順序を含意するものではなく、ある１つの名前を有する１つのクレームエレメントを同じ名前の別のエレメントと区別して（ただし順序用語の使用に関して）、クレームエレメント同士を区別するための表記にすぎない。本明細書で使用する「及び／又は」は、列挙する項目が選択肢であるが、列挙する項目のあらゆる組み合わせもこの選択肢に含まれることを意味する。

３００ 自動サラウンドミキサ
３１０−１ ステムプロセッサ
３１０−２ ステムプロセッサ
３１０−３ ステムプロセッサ
３１０−４ ステムプロセッサ
３１０−５ ステムプロセッサ
３１０−６ ステムプロセッサ
３２０ ミキシングマトリクス
３４０ ルールエンジン
３４２ エフェクトパラメータ
３４４ ミキシングパラメータ
３４６ ルールベース

Claims (26)

1. サラウンドオーディオミックスを作成するための自動ミキサ（３００、５００）を備えたシステムであって、前記自動ミキサ（３００、５００）は、
   複数のステムに関連するメタデータに少なくとも部分的に基づいて、一連のルールのサブセットを選択するためのルールエンジン（３４０）と、
   前記選択されたルールのサブセットに従って、前記複数のステムをミキシングして３又はそれ以上の出力チャネルを提供するミキシングマトリクス（３２０）と、
   を含み、
   前記メタデータは、前記複数のステムに関連するジャンルと、前記ステムの各々に関連するそれぞれの音声とを含む、
   ことを特徴とするシステム。
2. 前記出力チャネルの各々を再生するそれぞれのスピーカを含む多チャネルオーディオシステム（７００）をさらに備える、
   請求項１に記載のシステム。
3. 前記一連のルールからの各ルールは、１又はそれ以上の条件と、前記ルールの前記条件が満たされた場合に行うべき１又はそれ以上の動作とを含む、
   請求項１に記載のシステム。
4. 前記ルールエンジン（３４０）は、前記メタデータによって満たされた条件を有するルールを選択するように構成される、
   請求項３に記載のシステム。
5. 前記ルールエンジン（３４０）は、サラウンドオーディオシステムコンフィギュレーションを示すデータを受け取るように構成されるとともに、前記メタデータ及び前記サラウンドオーディオシステムコンフィギュレーションによって満たされた条件を有するルールを選択するように構成される、
   請求項３に記載のシステム。
6. 前記一連のルールからの各ルールに含まれる前記１又はそれ以上の動作は、前記ミキシングマトリクスのための１又はそれ以上のミキシングパラメータを設定することを含む、請求項３に記載のシステム。
7. 前記選択されたルールのサブセットに従って前記ステムの少なくとも１つを処理するステムプロセッサ（３１０−１）をさらに備える、
   請求項６に記載のシステム。
8. 前記一連のルールからの各ルールに含まれる前記１又はそれ以上の動作は、前記ステムプロセッサのための１又はそれ以上のエフェクトパラメータを設定することを含む、
   請求項７に記載のシステム。
9. 前記ステムプロセッサ（３１０−１）は、前記１又はそれ以上のエフェクトパラメータに従って、増幅、減衰、ローパスフィルタリング、ハイパスフィルタリング、グラフィックイコライゼーション、制限、圧縮、位相シフト、ノイズ、ハム及びフィードバックの抑制、残響、ディエッシング及びコーラシングのうちの１つ又はそれ以上を実行する、
   請求項８に記載のシステム。
10. 前記選択されたルールのサブセットに含まれる前記動作は、前記複数のステムの各々のそれぞれの音声について仮想ステージ上のそれぞれの音声位置を集合的に定める、
    請求項３に記載のシステム。
11. 前記仮想ステージ上の前記音声位置を前記ミキシングマトリクスのためのミキシングパラメータに変換する座標プロセッサ（５５０）をさらに備える、
    請求項１０に記載のシステム。
12. 前記座標プロセッサ（５５０）は、前記仮想ステージに対するリスナー位置を示すデータを受け取るように構成されるとともに、前記リスナー位置に部分的に基づいて、前記音声位置を前記ミキシングパラメータに変換するように構成される、
    請求項１１に記載のシステム。
13. 前記座標プロセッサ（５５０）は、相対的スピーカ位置を示すデータを受け取るように構成されるとともに、前記相対的スピーカ位置に部分的に基づいて、前記音声位置を前記ミキシングパラメータに変換するように構成される、
    請求項１１に記載のシステム。
14. サラウンドオーディオミックスを自動的に作成する方法（８４０、９４０）であって、 複数のステムに関連するメタデータに少なくとも部分的に基づいて、一連のルールのサブセットを選択するステップ（８５０）と、
    前記選択されたルールのサブセットに従って、前記複数のステムをミキシングして３又はそれ以上の出力チャネルを提供するステップ（８７０）と、
    を含み、
    前記メタデータは、前記複数のステムに関連するジャンルと、前記ステムの各々に関連するそれぞれの音声とを含むことを特徴とする方法（８４０、９４０）。
15. 前記出力チャネルの各々のためのそれぞれのスピーカを含む多チャネルオーディオシステムを用いて、前記出力チャネルの各々を可聴音に変換するステップをさらに含む、
    請求項１４に記載の方法（８４０、９４０）。
16. 前記一連のルールからの各ルールは、１又はそれ以上の条件と、前記ルールの前記条件が満たされた場合に行うべき１又はそれ以上の動作とを含む、
    請求項１４に記載の方法（８４０、９４０）。
17. 前記一連のルールのサブセットを選択するステップは、前記メタデータによって満たされた条件を有するルールを選択するステップを含む、
    請求項１６に記載の方法（８４０、９４０）。
18. サラウンドオーディオシステムコンフィギュレーションを示すデータを受け取るステップをさらに含み、前記一連のルールのサブセットを選択するステップは、前記メタデータ及び前記サラウンドオーディオシステムコンフィギュレーションによって満たされた条件を有するルールを選択するステップを含む、
    請求項１６に記載の方法（８４０、９４０）。
19. 前記一連のルールからの各ルールに含まれる前記１又はそれ以上の動作は、ミキシングマトリクスのための１又はそれ以上のミキシングパラメータを設定することを含む、請求項１６に記載の方法（８４０、９４０）。
20. 前記選択されたルールのサブセットに従って前記ステムの少なくとも１つを処理するステップ（８６５）をさらに含む、
    請求項１９に記載の方法（８４０、９４０）。
21. 前記一連のルールからの各ルールに含まれる前記１又はそれ以上の動作は、前記ステムの少なくとも１つを処理するための１又はそれ以上のエフェクトパラメータを設定することを含む、
    請求項１６に記載の方法（８４０、９４０）。
22. 前記ステムの少なくとも１つを処理するステップは、前記１又はそれ以上のエフェクトパラメータに従って、増幅、減衰、ローパスフィルタリング、ハイパスフィルタリング、グラフィックイコライゼーション、制限、圧縮、位相シフト、ノイズ、ハム及びフィードバックの抑制、残響、ディエッシング及びコーラシングのうちの１つ又はそれ以上を行うステップを含む、
    ことを特徴とする請求項２１に記載の方法（８４０、９４０）。
23. 前記選択されたルールのサブセットに含まれる前記動作は、前記複数のステムの各々のそれぞれの音声について仮想ステージ上のそれぞれの音声位置を集合的に定める、
    請求項１６に記載の方法（８４０、９４０）。
24. 前記仮想ステージ上の前記音声位置をミキシングマトリクスのためのミキシングパラメータに変換するステップ（９８０）をさらに含む、
    請求項２３に記載の方法（９４０）。
25. 前記仮想ステージに対するリスナー位置を示すデータを受け取るステップ（９７５）をさらに含み、前記仮想ステージ上の前記音声位置をミキシングパラメータに変換するステップ（９８０）は、前記リスナー位置に部分的に基づく、
    請求項２４に記載の方法（９４０）。
26. 相対的なスピーカ位置を示すデータを受け取るステップをさらに含み、前記仮想ステージ上の前記音声位置をミキシングパラメータに変換するステップは、前記スピーカ位置に部分的に基づく、
    請求項２４に記載の方法。

Images