JP4987736B2 - オーディオ断片またはオーディオデータストリームの符号化ステレオ信号を生成するための装置および方法 - Google Patents

Description

本発明は、マルチチャネルオーディオ技術に関し、特に、ヘッドホン技術に関連するマルチチャネルオーディオの応用に関する。

国際特許出願ＷＯ９９／４９５７４およびＷＯ９９／１４９８３は、対向して配置されたヘッドホンラウンドスピーカ対を駆動し、ステレオ表現のみならずマルチチャネル表現もあるオーディオシーンの空間知覚を、ユーザが二つのヘッドホンを介して得るようにするためのオーディオ信号処理技術を開示する。こうして、ユーザが、例として５．１オーディオシステムを装備する再生室に座っているとすると、リスナは、自分のヘッドホンを介して、最良の場合で自分の空間知覚に等しいオーディオ断片の空間知覚を得ることになる。この目的のため、図２に示すように、ヘッドホンのラウンドスピーカごとに、マルチチャネルオーディオ断片またはマルチチャネルオーディオデータストリームのチャネルが別個のフィルタへ供給され、後述するとおり、所属が同じのそれぞれのフィルタ処理されたチャネルを加算する。

図２の左側には、オーディオ断片またはオーディオデータストリームのマルチチャネル表現をともに表すマルチチャネル入力２０が存在する。このようなシナリオを、図１０に例示的に模式図で示す。図１０は、所謂５．１オーディオシステムが配置される再生空間２００を示す。５．１オーディオシステムは、中央ラウンドスピーカ２０１、前方左ラウンドスピーカ２０２、前方右ラウンドスピーカ２０３、後方左ラウンドスピーカ２０４および後方右ラウンドスピーカ２０５を備える。５．１オーディオシステムは、低周波強化チャネルとも呼ばれる追加のサブウーファ２０６を備える。再生空間２００の所謂「スイートスポット」では、左ヘッドホンラウンドスピーカ２０９および右ヘッドホンラウンドスピーカ２１０を備えるヘッドホン２０８を装着したリスナ２０７が存在する。

図２に示す処理手段は、図１０でラウンドスピーカから左ラウンドスピーカ２０９への音声チャネルを記述するフィルタＨ_ｉＬによりマルチチャネル入力２０の各チャネル１、２および３をフィルタ処理し、かつさらに５つのラウンドスピーカのひとつから右耳またはヘッドホン２０８の右ラウンドスピーカ２１０への音声を表すフィルタＨ_ｉＲにより同じチャネルをフィルタ処理するよう構成されている。

たとえば、図２のチャネル１が、図１０のラウンドスピーカ２０２が発する前方左チャネルの場合、フィルタＨ_ｉＬは、破線２１２で示すチャンネルを表すと考えられ、フィルタＨ_1Ｒが破線２１３により示されるチャネルを表すと考えられる。図１０に破線２１４で例示するとおり、左ヘッドホンラウンドスピーカ２０９は、直接の音声を受信するのみならず、再生空間のエッジの初期反射をも受信し、かつ拡散残響で表現される後期反射も当然受信する。

このようなフィルタの表現について図１１に示す。特に、図１１は、たとえば図２のフィルタＨ_1Ｌ等のフィルタのインパルス応答の例を示す模式図である。図１１の線２１２により表される直接のまたは一次の音声は、フィルタの始まりのピークで表される一方、図１０に２１４で例示する初期反射は、図１１にいくつかの（離散的）小ピークを有する中心領域により再生される。ラウンドスピーカ２０２の音声は原則的には、任意の頻度で反射されるため、拡散残響は一般に個々のピークについて分解しなくなり、図１１で「拡散残響」と呼ばれる後方で減少するエネルギにより表されるとおり、エネルギは反射ごと、伝播距離が伸びるごとに当然減少する。

図２に示す各フィルタは、こうして、図１１のインパルス応答を示す模式図により表されるプロファイルを概ね有するフィルタインパルス応答を含む。個々のフィルタのインパルス応答が、再生空間、ラウンドスピーカの位置決め、たとえば、再生空間における数人の在室者や家具のために起こる、再生空間における可能な減衰特性に依存し、かつ理論的には個々のラウンドスピーカ２０１〜２０６の特性にも依存することになる。

すべてのラウンドスピーカの信号が、リスナ２０７の耳に重ね合わされるという事実が、図２の加算器２２および２３により示される。こうして、各チャネルは、左の耳については、対応のフィルタによりフィルタ処理され、左耳用フィルタが出力する信号を単に加算して、左耳が左耳Ｌ用ヘッドホン出力信号を得られるようになっている。同様に、図１０に示す右耳または右のヘッドホンラウンドスピーカ２１０については、加算器２３による加算が行われて、右耳用の対応のフィルタによりフィルタ処理されたすべてのラウンドスピーカ信号を重ね合わせることにより、右耳用のヘッドホン出力信号が得られる。

直接の音声とは別に、初期反射および、特に拡散残響が存在し、このことは、合成的または「ぎこちない」トーンに聞こえないようにし、一方その音響特性により、リスナに、実際にコンサートルームに座っているかのような印象を持たせるために、空間知覚にとっては特に重要性が高いことから、個々のフィルタ２１のインパルス応答はすべてかなりの長さになる。２つのフィルタを有するマルチチャネル表現の個々のマルチチャネルの畳込み自体がすでにかなりの計算タスクとなっている。サブウーファチャネルも別個に扱う場合には、個々のマルチチャネルごとに２つのフィルタ、すなわち、左耳と右耳にそれぞれ１つずつ必要なので、５．１マルチチャネル表現をヘッドホンで再生するには、全部で１２個の完全に異なるフィルタを必要とする。図１１から明らかなとおり、すべてのフィルタが、直接の音声のみならず、初期反射および拡散残響も考慮できるように非常に長いインパルス応答を有するが、そうすることによってのみオーディオ断片に正しい音声再生と良好な空間印象を与えることになる。

この周知の概念を実施に移すため、図１０に示すように、マルチチャネルプレーヤ２２０とは別に、図１０の線２２４および２２６で表す２つのラウンドスピーカ２０９および２１０のための信号を与える、非常に複雑な仮想音声処理２２２が必要である。

マルチチャネルヘッドホン音声を生成するためのヘッドホンシステムは、複雑で、かさ高くかつ高価である。これは、高い計算出力、この必要な高い計算出力のために必要な高い電流要件およびインパルス応答について行われる評価のための高い作動メモリ要件ならびに接続されるプレーヤの高い容積または高価な素子によるものである。この種の応用は、したがって、家庭用のＰＣのサウンドカード、ラップトップのサウンドカードまたはホームステレオシステムに限られる。

特に、マルチチャネルヘッドホン音声は、ますます成長を続ける携帯用ＣＤプレーヤ、特にハードウェアプレーヤ等の携帯プレーヤのマーケットにとっては、近づきがたい状態のままである。というのも、たとえば１２の異なるフィルタでマルチチャネルをフィルタ処理するための計算要件は、プロセッサのリソースに関しても、一般に電池で駆動する装置の電流要件に関しても、この価格区分では実現不可能である。これは、スケールの底の（下の）部分にある価格区分を指す。

しかしながら、まさにこの価格区分が、商品の数が多いだけに、経済的に非常に興味ある区分である。

発明の目的は、マルチチャネル品質のヘッドホン再生を単純な再生装置上で可能にする効率的な信号処理概念を提供することである。

この目的は、請求項1に記載の符号化ステレオ信号を生成するための装置、請求項１１に記載の符号化ステレオ信号を生成するための方法、または請求項１２に記載のコンピュータプログラムにより達成される。

本発明は、オーディオ断片またはオーディオデータストリーム、たとえばオーディオ断片の５．１表現等のマルチチャネル表現に対して、ハードウエアプレーヤの外部、たとえば高計算出力を有するプロバイダのコンピュータ内等で、ヘッドホン信号処理を行うことにより、ＣＤプレーヤやハードディスクプレーヤ等全ての利用可能なプレーヤで、高品質で魅力あるマルチチャネルヘッドホン音声が入手できるとする知見に基づく。しかしながら、発明によれば、ヘッドホン信号処理の結果は、プレイされるだけでなく、典型的オーディオステレオエンコーダへ送られ、このエンコーダが左右のヘッドホンチャネルから符号化ステレオ信号を生成する。

そして、この符号化ステレオ信号を、マルチチャネル表現を含んでいない他の符号化ステレオ信号と同様に、ハードウエアプレーヤまたはＣＤ形態の携帯ＣＤプレーヤなどに送ることができる。再生または再プレイ装置が、既存の装置にリソースや手段を追加する必要なしに、ヘッドホンマルチチャネル音声をユーザに提供する。当然、ヘッドホン信号処理の結果、すなわち、左右ヘッドホン信号は、先行技術の場合のようにヘッドホン内で再生されるのではなく、符号化され、符号化ステレオデータとして出力される。

この出力は、記憶でも送信等でもよい。符号化ステレオデータを有するファイルは、ユーザが自分の装置で何かを変更する必要なく、ステレオ再生用に設計された再生装置へ容易に供給され得る。

こうして、ヘッドホン信号処理の結果から符号化ステレオ信号を生成する発明の概念により、かなり改良され、よりリアルな品質をユーザに提供するマルチチャネル表現を全ての簡単で広範な、また将来はさらに広範なハードウエアプレーヤにおいて、採用することが可能となる。

本発明の好ましい実施例では、開始ポイントが符号化マルチチャネル表現、すなわち一つまたは典型的に２つの基本チャネルを含み、さらにパラメトリックデータを含むパラメトリック表現であり、基本チャネルとパラメトリックデータに基づきマルチチャネル表現のマルチチャネルが生成される。マルチチャネル復号化のための周波数領域に基づく方法が好ましいので、本発明によれば、ヘッドホン信号処理は、インパルス応答により時間信号を畳込むことによって時間領域では行わず、フィルタ送信関数による乗算により周波数領域で行う。

これにより、ヘッドホン信号処理の前に少なくとも１つの再変換を省くことができ、これは、次のステレオエンコーダも周波数領域で動作する場合には、時間領域へ行く必要のないヘッドホンステレオ信号のステレオ符号化が、ふたたび時間領域へ行くことなく行えるため、特に有利である。時間領域が関与しない、または少なくとも変換の回数が減ることによる、マルチチャネル表現から符号化ステレオ信号への処理は、時間効率を計算する場合のみならず、処理ステージが減れば、オーディオ信号に導入されるアーティファクトも減るので、品質損失が制限されるという点でも興味深い。

特に、ステレオエンコーダにとって好ましい、音響心理学的マスキング閾値を考慮する量子化を行うブロックによる方法においては、連結した符号化アーティファクトを出来るだけ防止することが重要である。

本発明の特に好ましい実施例では、１つまたは好ましくは２つの基本チャネルを有するＢＣＣ表現がマルチチャネル表現として使用される。通常ＢＣＣデコーダで行われるように、ＢＣＣ法は、周波数領域で動作するので、マルチチャネルは、合成の後、時間領域へ変換されることはない。その代わり、ブロックの形のマルチチャネルのスペクトル表現を使用し、これに対して、ヘッドホン信号処理を行う。このため、フィルタの変換関数、すなわち、インパルス応答のフーリエ変換を利用して、フィルタ変換関数によりマルチチャネルのスペクトル表現の乗算を行う。フィルタのインパルス応答が時間的にＢＣＣデコーダの出力のスペクトルコンポーネントのブロックより長ければ、たとえば、ＷＯ９４／０１９３３等に開示される、この種の手段に必要とされる対応のスペクトル重み付けをするために、フィルタのインパルス応答が時間領域で分離され、ブロックごとに変換されるブロックによるフィルタ処理が好ましい。

次に、発明の好ましい実施例について、添付の図面を参照しながら詳細に説明する。

図１は、オーディオ断片またはオーディオデータストリームの符号化ステレオ信号を生成するための本発明の装置の基本回路ブロック図である。ステレオ信号は、符号化されない形で、符号化されない第１のステレオチャネル１０ａおよび符号化されない第２のステレオチャネル１０ｂを含みかつオーディオ断片またはオーディオデータストリームのマルチチャネル表現から生成され、このマルチチャネル表現は、２を超える数のマルチチャネルに関する情報を含む。後述のとおり、マルチチャネル表現は、符号化されていない形式でも符号化された形式でもどちらでもよい。マルチチャネル表現が符号化されない形式の場合、３以上の数のマルチチャネルを含む。好ましい応用のシナリオでは、マルチチャネル表現が５つのマルチチャネルと１つのサブウーファチャネルとを備える。

しかしながら、マルチチャネル表現は、符号化形式であり、この符号化形式は、一般に、１つまたはいくつかの基本チャネルおよび１つまたは２つの基本チャネルからの３以上のマルチチャネルを合成するためのパラメータを備えることになる。こうして、マルチチャネルデコーダ１１は、マルチチャネル表現から２を超える数のマルチチャネルを与えるための手段の例である。しかしながら、マルチチャネル表現がすでに、５＋１ＰＣＭチャネル形式等で符号化されていない場合には、与える手段は、ヘッドホン信号処理を実行して符号化されていない第１のステレオチャネル１０ａと符号化されていない第２のステレオチャネル１０ｂとを有する符号化されていないステレオ信号を生成するための手段１２の入力端末に相当する。

ヘッドホン信号処理を行うための手段１２は、図２を参照して説明するとおり、第１のステレオチャネルに関しては、第１のフィルタ関数により、かつ第２のステレオチャネルに関しては、第２のフィルタ関数でそれぞれマルチチャネル表現のマルチチャネルを評価し、それぞれの評価されたマルチチャネルを加算して符号化されていない第１および第２のステレオチャネルを得るよう形成されることが好ましい。これについては、ヘッドホン信号処理を行う手段１２の下流は、ステレオエンコーダ１３であり、これは、第１の符号化されていないステレオチャネル１０ａと第２の符号化されていないステレオチャネル１０ｂとを符号化して、ステレオエンコーダ１３の出力１４に符号化ステレオ信号を得るように形成される。ステレオエンコーダは、符号化ステレオ信号を送信するために必要なデータレートが、符号化されていないステレオ信号を送信するために必要なデータレートより小さくなるように、データレートの低減を行う。

本発明の概念によれば、「サラウンド」とも呼ばれるマルチチャネルトーンをハードウエアプレーヤ等の単純なプレーヤを介してステレオヘッドホンへ供給することが可能になる。

例として、あるチャネルの和を単純なヘッドホン信号処理として形成し、ステレオデータのための出力チャネルを得る。改良された方法は、より複雑なアルゴリズムで作用し、再生品質の向上が得られる。

なお、本発明の概念によれば、マルチチャネル復号化を行いかつヘッドホン信号処理を行うための計算が集中するステップを、プレーヤ自体で行わず、外部で行うことが可能となる点を説明する。この発明の概念の結果が、たとえばＭＰ３ファイル、ＡＡＣファイル、ＨＥ−ＡＡＣファイルまたは他のステレオファイル等の符号化ステレオファイルである。

他の実施例では、個々のブロックの出力データおよび入力データは、それぞれ簡単にポートさせ、標準化された方法で生成したり記憶させたりできるので、マルチチャネル復号化、ヘッドホン信号処理およびステレオ符号化を、異なる装置上で行うことができる。

次に、図７を参照して、マルチチャネルデコーダ１１が、マルチチャネル表現が周波数領域で与えられるように、フィルタバンクまたはＦＦＴ関数を含む発明の好ましい実施例について説明する。特に、個々のマルチチャネルが、チャネルごとのスペクトル値のブロックとして生成される。発明的には、ヘッドホン信号処理は、時間チャネルをフィルタインパルス応答で畳み込むことにより時間領域では行わないが、フィルタインパルス応答のスペクトル表現をマルチチャネルの周波数表現に乗算する。符号化されていないステレオ信号は、ヘッドホン信号処理の出力で達成され、これは、時間領域にはなく、左および右のステレオチャネルを含み、このステレオチャネルが、スペクトル値のブロックのシーケンスとして与えられ、スペクトル値の各ブロックが、ステレオチャネルの短期スペクトルを表す。

図８に示す実施例では、ヘッドホン信号処理ブロック１２は、入力側にあり、時間領域または周波数領域データを供給される。出力側では、符号化されていないステレオチャネルが周波数領域で生成され、すなわちここでもスペクトル値のブロックのシーケンスとして生成される。変換に基づき、すなわち、ヘッドホン信号処理１２とステレオエンコーダ１３との間の周波数／時間変換および次の時間／周波数変換を行う必要無しにスペクトル値を処理するステレオエンコーダが、この場合のステレオエンコーダ１３として好ましい。出力側では、ステレオエンコーダ１３が、符号化ステレオ信号を有するファイルを出力し、符号化ステレオ信号は、補助情報とは別に、スペクトル値の符号化された形を含む。

本発明の特に好ましい実施例では、図１のブロック１１の入力のマルチチャネル表現から図１の手段の出力１４の符号化ステレオファイルの途中で、時間領域に対する変換およびおそらくは、周波数領域に対する再変換も行う必要なしに、連続周波数領域処理を行う。ＭＰ３エンコーダまたはＡＡＣエンコーダをステレオエンコーダとして使用する場合、ヘッドホン信号処理ブロックの出力のフーリエスペクトルをＭＤＣＴスペクトルに変換することが好ましい。そして、本発明によれば、ヘッドホン信号処理ブロックのチャネルの畳み込み／評価についての厳密な形式において必要とされる位相情報が、そのような位相が正しい態様で動作していないＭＤＣＴ表現に変換され、そのため時間領域から周波数領域へ、すなわちＭＤＣＴスペクトルへの変換のための手段が、ステレオエンコーダには必要とされず、この点が通常のＭＰ３エンコーダまたは通常のＡＡＣエンコーダとは対照的である。

図９は、好ましいステレオエンコーダの一般的な回路ブロック図である。ステレオエンコーダは、入力側にジョイントステレオモジュール１５を備え、このモジュールは、適応的な対応で、たとえば中央／サイド符号化という形での共通のステレオ符号化が、左および右チャネルを別個に処理するよりも高い符号化利得を与えるかどうかを決定することが好ましい。ジョイントステレオモジュール１５は、さらに、インテンシティステレオ符号化を行うよう構成されてもよく、インテンシティステレオ符号化では、高い周波数では特に、可聴なアーティファクトの発生なしに、かなりの符号化利得が得られる。そして、ジョイントステレオモジュール１５の出力は、たとえばＴＮＳフィルタ処理、雑音置換等、他の異なる冗長抑制手段を用いてさらに処理され、その結果は、音響心理学的マスキング閾値を用いてスペクトル値の量子化を行う量子化器１６へ供給される。ここで、量子化器ステップサイズは、量子化により導入される雑音が音響心理学的マスキング閾値より低く保たれ、損失量子化により導入されるひずみが可聴状態になることなく、データレートの低減が達成されるよう選択される。量子化器１６の下流には、量子化されたスペクトル値の無損失エントロピ符号化を行うエントロピエンコーダ１７がある。エントロピエンコーダの出力では、符号化ステレオ信号が存在するが、符号化ステレオ信号は、エントロピ符号化スペクトル値とは別に、復号化のために必要な補助情報を含む。

次に、図３から図６を用いて、マルチチャネルデコーダの好ましい実現例と好ましいマルチチャネルの説明を行う。

マルチチャネルオーディオ信号を送信するのに必要なデータの量を低減するためのいくつかの技術がある。これらの技術は、ジョイントステレオ技術とも呼ばれる。この目的のため、ジョイントステレオ装置６０を示す図３を参照する。この装置は、たとえばインテンシティステレオ（ＩＳ）技術またはバイノーラルキュー符号化技術（ＢＣＣ）を実現する装置である。この装置は一般に２つ以上のチャネルＣＨ１、ＣＨ２、．．．、ＣＨｎを入力信号として受信しかつ単一の搬送波チャネルおよびパラメトリックマルチチャネル情報を出力する。パラメトリックデータは、もとのチャネル（ＣＨ１、ＣＨ２、．．．、ＣＨｎ）の近似値をデコーダで計算できるように規定される。

通常、搬送波チャネルは、基底信号を比較的良好に表すサブバンドサンプル、スペクトル係数、時間領域サンプル等を含み、一方パラメトリックデータは、このようなサンプルやスペクトル係数を含んでいないが、乗算による重み付け、時間シフティング、周波数シフティング等のある再構成アルゴリズムを制御するための制御パラメータを含む。パラメトリックマルチチャネル情報は、こうして、信号または関連のチャネルの比較的大雑把な表現を含む。数字で表す、搬送波チャネルにより必要とされるデータ量は、６０〜７０ｋｂｉｔｓ／ｓの範囲にあり、チャネルに対してパラメトリック補助情報が必要とするデータ量は、１．５〜２．５ｋｂｉｔｓ／ｓの範囲にある。なお、上記の数字は圧縮データに当てはまる。非圧縮ＣＤチャネルは当然およそ１０倍のデータレートが必要である。パラメトリックデータの例としては、後述のとおり、既知のスケールファクタ、インテンシティステレオ情報またはＢＣＣパラメータがある。

インテンシティステレオ符号化技術については、ジェイ・ヘレ、ケイ・エイチ・ブランデンブルグ、ディー・レデラーによる「インテンシティ・ステレオ符号化」と題するＡＥＳ予稿３７９９、１９９４年２月、アムステルダム（AES Preprint 3799 entitled "Intensity Stereo Coding" by J. Herre, K.H. Brandenburg, D. Lederer, February 1994, Amsterdam）に記載される。一般には、インテンシティステレオの概念は、二つの立体音響オーディオチャネルのデータに適用される主軸変換に基づく。殆どのデータポイントが、第１の主軸中心に集中すれば、符号化利得は、符号化が起こる前のある角度だけ両方の信号を回転させることにより達成できる。しかしながら、このことは、実際の立体音響再生技術に常にあてはまるとは限らない。したがって、第２の直交成分をビットストリームでの送信から除外して、この技術を変更する。このように、左右チャネルについて再構成された信号は、同じ伝送信号を様々に重み付けまたはスケーリングしたバージョンからなる。それにもかかわらず、再構成信号は、振幅において異なる一方、位相情報については同じである。しかしながら、元のオーディオチャネルのエネルギ時間エンベロープは、一般に周波数選択性の態様で作用する選択的スケーリング動作により維持される。これは、支配的な空間情報がエネルギエンベロープにより決まる高周波数での人の音声知覚に対応する。

また、実際の実現例では、送信信号、すなわち搬送波チャネルは、両方の成分を回転させるのではなく、左右のチャネルの和信号から生成される。また、この処理、すなわちスケーリング動作を行うためのインテンシティステレオパラメータを生成する処理は、周波数選択性の態様、すなわちスケール係数帯ごと、エンコーダ周波数区分ごとに独立して行われる。両方のチャネルを結合して、結合されたまたは「搬送波」チャネルを形成し、この結合されたチャネルに加えて、インテンシティステレオ情報を形成することが好ましい。インテンシティステレオ情報は、第１のチャネルのエネルギ、第２のチャネルのエネルギ、または結合チャネルのエネルギに依存する。

ＢＣＣ技術については、ティー・ファーラー、エフ・バウムガルトの「ステレオおよびマルチチャネルオーディオ圧縮に適用するバイノーラルキュー符号化」と題するＡＥＳ会議論文５５７７、２００２年、５月、ミュンヘン（AES Convention Paper 5574 entitled "Binaural Cue Coding applied to stereo and multichannel audio compression" by T. Faller, F. Baumgarte, May 2002, Munich）に記載される。ＢＣＣ符号化では、いくつかのオーディオ入力チャネルが、オーバーラッピング窓で、ＤＦＴに基づく変換を用いて、スペクトル表現に変換される。結果として得られるスペクトルは、重ならない部分に分割され、その各々がインデックスを有する。各区分は、等価直角帯域幅（ＥＲＢ）に比例する帯域幅を有する。チャネル間レベル差（ＩＣＬＤ）およびチャネル間時間差（ＩＣＴＤ）が、各区分および各フレームｋについて決定される。ＩＣＬＤおよびＩＣＴＤは量子化され符号化されて、最終的には補助情報としてのＢＣＣビットストリームに到達する。チャネル間レベル差およびチャネル間時間差は、参照チャネルに関して各チャネルごとに与えられる。そして、処理をする信号の特定の区分に依存して予め定められた方式によりパラメータを計算する。

デコーダ側では、デコーダは一般にモノ信号およびＢＣＣビットストリームを受ける。モノ信号は、周波数領域に変換されて、空間合成ブロックへ入力され、同ブロックは復号化ＩＣＬＤおよびＩＣＴＤの値も受ける。空間合成ブロックでは、ＢＣＣパラメータ（ＩＣＬＤおよびＩＣＴＤ）を用いて、モノ信号を重み付けし、マルチチャネル信号を合成し、同マルチチャネル信号は、周波数／時間変換を経て、元のマルチチャネルオーディオ信号の再構成を表す。

ＢＣＣの場合、ジョイントステレオモジュール６０が、パラメトリックチャネルデータが量子化および符号化ＩＣＬＤまたはＩＣＴＤパラメータになるように、チャネル補助情報を出力するよう作用し、元のチャネルの１つがチャネル補助情報を符号化するための参照チャネルとして使用される。

通常、搬送波信号は、関与する元のチャネルの和からなる。

上記の技術はもちろん搬送波チャネルのみを処理できるデコーダのためのモノ表現を与えるに過ぎず、ひとつを超える数の入力チャネルの１つまたは複数の近似値を生成するためにパラメトリックデータを処理することはできない。

このＢＣＣ技術については、米国特許公開ＵＳ２００３／０２１９１３０Ａｌ、ＵＳ２００３／００２６４４１ＡｌおよびＵＳ２００３／００３５５５３Ａｌに記載される。また、ティー・ファーラーおよびエフ・バウムガルトの「バイノーラル・キュー符号化、パートＩＩ：構成および応用」、オーディオおよび音声処理に関するＩＥＥＥ論文誌、第１１巻、第６号、２００３年１１月（"Binaural Cue Coding. Part II: Schemes and Applications" by T. Faller and F. Baumgarte, IEEE Trans. On Audio and Speech Proc., Vol. 11, No. 6, November 2003）という専門家による出版物も引用する。

次に、マルチチャネルオーディオ符号化のための典型的なＢＣＣ構成について、図４〜図６を参照して詳細に述べる。

図５は、マルチチャネルオーディオ信号を符号化／送信するためのこのようなＢＣＣ構成を示す。ＢＣＣエンコーダ１１２の入力１１０におけるマルチチャネルオーディオ入力信号は、所謂ダウンミックスブロック１１４においてミックスダウンされる。この例では、入力１１０の元のマルチチャネル信号は、前方左のチャネル、前方右のチャネル、左サラウンドチャネル、右サラウンドチャネル、および中央チャネルを有する５チャネルのサラウンド信号である。本発明の好ましい実施例では、ダウンミックスブロック１１４が、これら５つのチャネルを単純に加算して１つのモノ信号にすることで、和信号を生成する。

先行技術では、他のダウンミックス構成が知られており、マルチチャネル入力信号を用いて、単一のチャネルを有するダウンミクスチャネルが得られる。

この単一のチャネルは、和信号の線１１５上に出力される。ＢＣＣ分析ブロック１１６から得られた補助情報を補助情報線１１７上に出力する。

上記のとおり、チャネル間レベル差（ＩＣＬＤ）およびチャネル間時間差（ＩＣＴＤ）をＢＣＣ分析ブロックで計算する。ここで、ＢＣＣ分析ブロック１１６は、チャネル間相関値（ＩＣＣ値）も計算することができる。和信号と補助情報とを量子化および符号化された形式で、ＢＣＣデコーダ１２０へ送信する。ＢＣＣデコーダは、送信された和信号をいくつかのサブバンドに分割し、スケーリングを行い、遅延を行い、かつ他の処理ステップを行って、出力するマルチチャネルオーディオチャネルのサブバンドを与える。この処理は、出力１２１における再構成マルチチャネル信号のＩＣＬＤ、ＩＣＴＤおよびＩＣＣパラメータ（キュー）が、ＢＣＣエンコーダ１１２の入力１１０における元のマルチチャネル信号に対応するキューと一致するように行われる。この目的で、ＢＣＣデコーダ１２０は、ＢＣＣ合成ブロック１２２および補助信号処理ブロック１２３を備える。

次に、ＢＣＣ合成ブロック１２２の内部設定について図６を参照して説明する。線１１５上の和信号が、時間／周波数変換ユニットまたはフィルタバンクＦＢ１２５へ供給される。ブロック１２５の出力では、Ｎ個のサブバンド信号か、または極端な場合、オーディオフィルタバンク１２５が１：１の変換、すなわちＮ個の時間領域サンプルからＮ個のスペクトル係数を生成する変換を行った場合には、スペクトル係数のブロックが存在する。

ＢＣＣ合成ブロック１２２は、遅延ステージ１２６、レベル変更ステージ１２７、相関処理ステージ１２８および逆フィルタバンクステージＩＦＢ１２９をさらに備える。ステージ１２９の出力では、たとえば、５チャネルサラウンドシステムの場合、５つのチャネルを有する再構成マルチチャネルオーディオ信号が、図５または図４に示すようなラウンドスピーカ１２４のセットへ出力されてもよい。

入力信号ｓｎを、素子１２５により、周波数領域またはフィルタバンク領域へ変換する。素子１２５により出力される信号を、コピーノード１３０により示すとおり、同信号のいくつかのバージョンが得られるようコピーする。元の信号のバージョンの数は、出力信号における出力チャネルの数に等しい。そして、ノード１３０の元の信号の各バージョンに、ある遅延ｄ_ｌ、ｄ_２、．．．、ｄ_ｉ、．．．、ｄ_Nを与える。遅延パラメータは、図５の補助情報処理ブロック１２３により計算され、図５のＢＣＣ分析ブロック１１６により計算されたチャネル間時間差から生成される。

同じことが、乗算パラメータａ₁、ａ₂、．．．ａ_ｉ、．．．、ａ_Ｎに当てはまり、これらもＢＣＣ分析ブロック１１６により計算されたチャネルレベル差に基づき、補助情報処理ブロック１２３により計算される。

ＢＣＣ分析ブロック１１６により計算されるＩＣＣパラメータは、ブロック１２８の出力に、遅延されレベルを操作された信号間にある相関が得られるように、ブロック１２８の機能性を制御するために使用される。なお、ステージ１２６、１２７および１２８の順序は、図６に示す順序と異なってもよい。

また、オーディオ信号のフレームによる処理において、ＢＣＣ分析をフレーム的に、すなわち時間的に可変に行い、図６のフィルタバンク分割によりわかるとおり、周波数によるＢＣＣ分析をさらに得てもよい。これは、ＢＣＣパラメータがスペクトル帯ごとに得られることを意味する。また、これは、オーディオフィルタバンク１２５が入力信号をたとえば３２の帯域パス信号に分ける場合、ＢＣＣ分析ブロックが３２の帯域の各々についてＢＣＣパラメータのセットを取得することも意味する。図６でより詳細に示す、図５のＢＣＣ合成ブロック１２２も、例として上に述べた３２の帯域に基づく再構成を行う。

次に、個々のＢＣＣパラメータを決定するために使用されるシナリオについて、図４を参照して説明する。通常、ＩＣＬＤ、ＩＣＴＤおよびＩＣＣパラメータは、チャネル対の間で規定され得る。しかしながら、ＩＣＬＤおよびＩＣＴＤパラメータは、参照チャネルおよび各他のチャネルとの間で決定することが好ましい。これについては、図４Ａに示す。

ＩＣＣパラメータは、異なる態様で規定してもよい。図４Ｂに示すとおり、一般に、ＩＣＣパラメータは、エンコーダにおいて可能な全てのチャネル対の間で決定され得る。図４Ｃに示すように、随時２つの最も強いチャネルの間でＩＣＣパラメータのみを計算するという提案がなされている。この図の例では、随時にチャネル１および２の間のＩＣＣパラメータが計算され、別の時に、チャネル１および５の間のＩＣＣパラメータが計算される。そして、デコーダは、デコーダにおける最強チャネルの間のチャネル間相関を合成し、残りのチャネル対については、ある種の発見的ルールを用いて、チャネル間コヒーレンスを計算かつ合成する。

たとえば、送信されたＩＣＬＤパラメータに基づく乗算パラメータａ₁、ａ_Ｎの計算に関しては、ＡＥＳ会議論文、第５５７４を引用する。ＩＣＬＤパラメータは、元のマルチチャネル信号のエネルギ分布を表す。普遍性を失わず、図４Ａに示すように、それぞれのチャネルと前方左のチャネルとの間のエネルギ差分を表す４つのＩＣＬＤパラメータをとるのが好ましい。補助情報処理ブロック１２２においては、乗算パラメータａ₁、．．．、ａ_Ｎは、再構成出力チャネル全ての合計エネルギーが同じ（または送信された和信号のエネルギに比例するように）であるように、ＩＣＬＤパラメータから生成される。

図７に示す実施例では、図６の逆フィルタバンクＩＦＢ１２９により得られる周波数／時間変換は省く。その代わり、これらの逆フィルタバンクの入力での個々のチャネルのスペクトル表現を使用し、図７のヘッドホン信号処理装置へ供給して、追加の周波数／時間変換を行わずに、マルチチャネルごとにそれぞれ２つのフィルタで個々のマルチチャネルの評価を行う。

周波数領域で生じる完全な処理に関しては、この場合、マルチチャネルデコーダ、すなわちたとえば図６のフィルタバンク１２５およびステレオエンコーダが同じ時間／周波数分解能を有する必要がある。また、同じ１つのフィルタバンクを用いることが好ましく、そうすれば、図１に示すとおり、全体の処理に１つのフィルタバンクで済ますことが出来るので特に有利である。この場合、マルチチャネルデコーダおよびステレオエンコーダにおける変換を計算する必要がないので、特に効率的な処理が結果として行われる。

発明の概念においては、入力データおよび出力データそれぞれが、こうして、変換／フィルタバンクにより周波数領域で符号化されるのが好ましく、かつマスキング効果を用いて音響心理学的ガイドラインのもと符号化されることが好ましい。デコーダにおいては特に、信号のスペクトル表現が必要である。この例は、ＭＰ３ファイル、ＡＡＣファイルまたはＡＣ３ファイルである。しかしながら、所謂マトリックス処理の場合のように、入力データおよび出力データそれぞれが和と差を形成することによって符号化されてもよい。この例が、ドルビー・プロロジック（Ｄｏｌｂｙ ＰｒｏＬｏｇｉｃ）、ロジック７（Ｌｏｇｉｃ７）またはサークル・サラウンド（Ｃｉｒｃｌｅ Ｓｕｒｒｏｕｎｄ）である。また、ＭＰ３サラウンドの場合のように、マルチチャネル表現のデータは特にパラメトリック法により符号化されてもよく、この方法は、ＢＣＣ技術に基づくものである。

状況に応じて、生成するための本発明の方法を、ハードウエアまたはソフトウエアのいずれで実現してもよい。これは、デジタル記憶媒体、特に電子的に読み出し可能な制御信号を有するディスクやＣＤ上で実現され、ディスクやＣＤは、方法が実行されるように、プログラム可能なコンピュータシステムと協働することができる。一般に、本発明は、コンピュータで実行し、発明の方法を実行するための機械で読み取り可能な担体上に記憶されたプログラム符号を有するコンピュータプログラム製品においても実現される。言い換えれば、本発明は、コンピュータ上で実行すれば、方法を実行するためのプログラム符号を有するコンピュータプログラムとしても、実現することもできる。

符号化ステレオ信号を生成するための本発明の装置の回路ブロック図である。 図１のヘッドホン信号処理の実現例を詳細に示す図である。 チャネルデータおよびパラメトリックマルチチャネル情報を生成するための周知のジョイントステレオエンコーダの図である。 ＢＣＣ符号化／復号化のためのＩＣＬＤ、ＩＣＴＤおよびＩＣＣパラメータを決定するための構成の図である。 ＢＣＣエンコーダ／デコーダ列のブロック図である。 図５のＢＣＣ合成ブロックの実現例のブロック図である。 時間領域への変換を伴わないマルチチャネルデコーダとヘッドホン信号処理との間のカスケードを示す図である。 時間領域への変換を伴わないヘッドホン信号処理とステレオエンコーダとの間のカスケードを示す図である。 好ましいステレオエンコーダの基本ブロック図である。 図２のフィルタ関数を決定するための再生シナリオの原則を示す図である。 図１０により決定されるフィルタの予測されるインパルス応答の原則を示す図である。

Claims (12)

1. ２を超える数のマルチチャネルに関する情報を有するオーディオ断片またはオーディオデータストリームのマルチチャネル表現から第１のステレオチャネルおよび第２のステレオチャネルを有するオーディオ断片またはオーディオデータストリームの符号化ステレオ信号を生成するための装置であって、装置が、
   マルチチャネル表現から２を超える数のマルチチャネルを与えるための手段（１１）と、
   符号化されていない第１のステレオチャネル（１０ａ）および符号化されていない第２のステレオチャネル（１０ｂ）を有する符号化されていないステレオ信号を生成するようヘッドホン信号処理を行うための手段（１２）を備え、処理を行うための手段（１２）が、
   第１のステレオチャネルについては、マルチチャネルを再生するためのラウンドスピーカの仮想位置およびリスナの仮想第１耳位置から生成される第１のフィルタ関数（H _ｉＬ ）で、かつ第２のステレオチャネルについては、ラウンドスピーカの仮想位置およびリスナの仮想第２耳位置から生成される第２のフィルタ関数（H _ｉＲ ）で、各マルチチャネルを評価し、マルチチャネルごとに評価第１チャネルおよび評価第２チャネルを生成するよう構成され、リスナの２つの仮想耳位置は相違し、処理を行うための手段（１２）が、さらに
   評価第１チャネルを加算して（２２）、符号化されていない第１のステレオチャネル（１０ａ）を取得し、かつ評価第２チャネルを加算して（２３）、符号化されていない第２のステレオチャネル（１０ｂ）を取得するよう形成され、さらに
   符号化されていない第１のステレオチャネル（１０ａ）および符号化されていない第２のステレオチャネル（１０ｂ）を符号化して、符号化ステレオ信号（１４）を取得するためのステレオエンコーダ（１３）とを備え、
   ステレオエンコーダが、符号化ステレオ信号を送信するために必要なデータレートが、符号化されていないステレオ信号を送信するために必要なデータレートより小さくなるよう構成される、装置。
2. 処理を行うための手段（１２）が、
   直接音声、反射および拡散反響を考慮した第１のフィルタ関数（H_ｉＬ）および直接音声、反射および拡散反響を考慮した第２のフィルタ関数（H_ｉＲ）を使用するよう構成される、請求項１に記載の装置。
3. 第１および第２のフィルタ関数が、直接音声を表す小さい時間値でのピークと、反射を表す中間時間値でのいくつかのより小さなピークと、個々のピークにはもはや分解されずかつ拡散反響を表す連続する領域とを含むフィルタインパルス応答に対応する、請求項２に記載の装置。
4. マルチチャネル表現が、１つまたはいくつかの基本チャネルおよび１つまたはいくつかの基本チャネルからのマルチチャネルを計算するためのパラメトリック情報を含み、かつ
   与えるための手段（１１）が、１つまたはいくつかの基本チャネルおよびパラメトリック情報から少なくとも３つのマルチチャネルを計算するよう構成される、請求項１から請求項３のいずれかに記載の装置。
5. 与えるための手段（１１）が、出力側で、マルチチャネルごとにブロックによる周波数領域表現を与えるよう構成され、かつ
   処理を行うための手段（１２）が、第１および第２のフィルタ関数の周波数領域表現によりブロックによる周波数領域表現を評価するよう構成される、請求項４に記載の装置。
6. 処理を行うための手段（１２）が、符号化されていない第１のステレオチャネルおよび符号化されていない第２のステレオチャネルのブロックによる周波数領域表現を与えるように構成され、かつ
   ステレオエンコーダ（１３）が、変換系のエンコーダであり、かつ周波数領域表現から時間表現への変換を伴わないで、符号化されていない第１のステレオチャネルおよび符号化されていない第２のステレオチャネルのブロックによる周波数領域表現を処理するように構成される、請求項１から請求項５のいずれかに記載の装置。
7. ステレオエンコーダ（１３）が、第１および第２のステレオチャネルの共通ステレオ符号化（１５）を行うよう構成される、請求項１から請求項６のいずれかに記載の装置。
8. ステレオエンコーダ（１３）が、音響心理学的マスキング閾値を用いてスペクトル値のブロックを量子化（１６）し、かつこれにエントロピ符号化（１７）を行って、符号化ステレオ信号を取得する、請求項１から請求項７のいずれかに記載の装置。
9. 与えるための手段（１１）が、ＢＣＣデコーダとして構成される、請求項１から請求項８のいずれかに記載の装置。
10. 与えるための手段（１１）が、いくつかの出力を有するフィルタバンクを備えるマルチチャネルデコーダとして構成され、
    処理を行うための手段（１２）が、第１および第２のフィルタ関数により、フィルタバンク出力にある信号を評価するよう構成され、かつ
    ステレオエンコーダ（１３）が、周波数領域における符号化されていない第１のステレオチャネルおよび周波数領域における符号化されていない第２のステレオチャネルを量子化し（１６）、これにエントロピ符号化（１７）を行って、符号化ステレオ信号を取得するよう構成される、請求項１から請求項９のいずれかに記載の装置。
11. ２を超える数のマルチチャネルに関する情報を含むオーディオ断片またはオーディオデータストリームのマルチチャネル表現から第１のステレオチャネルおよび第２のステレオチャネルを有するオーディオ断片またはオーディオデータストリームの符号化ステレオ信号を生成するための方法であって、方法が、
    マルチチャネル表現から２を超える数のマルチチャネルを与えるステップ（１１）と、
    符号化されていない第１のステレオチャネル（１０ａ）および符号化されていない第２のステレオチャネル（１０ｂ）を有する符号化されていないステレオ信号を生成するようにヘッドホン信号処理を行うステップ（１２）を備え、処理を行うステップ（１２）が、
    第１のステレオチャネルについては、マルチチャネルを再生するためのラウンドスピーカの仮想位置およびリスナの仮想第１耳位置から生成される第１のフィルタ関数（H _ｉＬ ）で、かつ第２のステレオチャネルについては、ラウンドスピーカの仮想位置およびリスナの仮想第２耳位置から生成される第２のフィルタ関数（H _ｉＲ ）で、各マルチチャネルを評価して、マルチチャネルごとに評価第１チャネルおよび評価第２チャネルを生成するステップを含み、リスナの２つの仮想耳位置は相違し、処理を行うステップ（１２）が、さらに
    評価第１チャネルを加算して（２２）、符号化されていない第１のステレオチャネル（１０ａ）を取得するステップと、
    評価第２チャネルを加算して（２３）、符号化されていない第２のステレオチャネル（１０ｂ）を取得するステップとを含み、さらに、
    符号化されていない第１のステレオチャネル（１０ａ）および符号化されていない第２のステレオチャネル（１０ｂ）を符号化して、符号化ステレオ信号（１４）を取得するためのステレオ符号化を行うステップ（１３）と備え、
    ステレオ符号化を行うステップが、符号化ステレオ信号を送信するために必要なデータレートが、符号化されていないステレオ信号を送信するために必要なデータレートより小さくなるよう実行される方法。
12. コンピュータで実行して、請求項１１に記載の符号化ステレオ信号を生成するための方法を実行するためのプログラムコードを有するコンピュータプログラム。

Images