JP5254951B2 - データ処理装置及び方法 - Google Patents

Description

本発明はデータ処理装置に関する。

本発明はさらにデータ処理方法に関する。

さらにまた、本発明はプログラム要素（program element）に関する。

さらにまた、本発明はコンピュータ読み取り可能媒体に関する。

オーディオ再生装置はますます重要性を増してきている。具体的には、ますます多くのユーザがオーディオプレーヤ等のエンターテイメント機器を自宅で使用するために購入している。
特開２００５−１９７８９６号公報は、装置がワイドビームまたはナロービームのオーディオ信号を発生するシステムを開示している。特開平４−３５１１９７号公報は、複数のユーザのサービスエリアを決定し、このサービスエリアにサウンド信号を送信することを開示している。特開平１１−０２７６０４号公報は、異なる方向に複数のサウンド信号を放射する装置を開示している。特開２００５−１９１８５１号公報は、複数のボイス信号を送信するアレイスピーカを有するシステムを開示している。

特許文献１が開示している方法と装置は、入力信号を受け、その入力信号を複数回にわたって複製し、それぞれの出力トランスデューサに送る前に、所望の音場を生成するように各複製信号を修正するものである。この音場は有向ビーム、フォーカスビーム、またはシミュレーション音源（simulated origin）を含む。第１の態様では、サウンドチャンネルに遅延を加えて、伝搬距離（traveling distances）の違いによる効果を除去する。第２の態様では、ビデオ信号に遅延を加えて、サウンドチャンネルに加えた遅延とつじつまを合わせる（account for）。第３の態様では、各チャンネルに相異なる窓関数を適用して柔軟に使えるようにする。第４の態様では、高い周波数の出力に使用するトランスデューサの数を、低い周波数の出力に使用するトランスデューサの数よりも小さくする。中央付近のトランスデューサの密度が高い配列も使う。第５の態様では、一列の細長いトランスデューサを使って面内の方向性をよくする。第６の態様として、サウンドビームを前面（front surface）または背面（behind surface）にフォーカスして、ビーム幅を異ならせ、音源をシミュレーションする。第７の態様では、カメラを用いてサウンドがどこに向いているか示す。

特許文献２は、２つ以上のスピーカにより音声を出力するオーディオ生成システムを開示している。各スピーカのオーディオ出力は、スピーカの位置に対するユーザの位置に基づき調節可能である。このシステムは（ビデオカメラ等の）少なくとも１つの画像キャプチャ装置を含む。この画像キャプチャ装置は、リスニング領域でトレーニング可能であり、画像認識ソフトウェアを有する処理部に結合している。処理部は画像認識ソフトウェアを使って、画像キャプチャ装置が生成した画像中のユーザを識別する。処理部は、その画像中のユーザの位置に基づいて、そのユーザの位置の少なくとも１つの測定をするソフトウェアを有する。

しかし、これらのシステムは複数のユーザが利用する時には不便である。
ＷＯ２００２／０７８３８８ ＷＯ２００２／０４１６６４

〔発明の開示〕
本発明の一目的は、同時に複数のユーザが利用してもユーザフレンドリな動作をできる装置を提供することである。

上記の目的を達成するため、独立請求項に記載したデータ処理装置、データ処理方法、プログラム要素及びコンピュータ読み取り可能媒体を提供する。

本発明の一実施形態によりオーディオデータ処理装置が提供される。該装置は、複数の同時ユーザの各々に対して別々に前記オーディオデータの再生のしかたを示す個別再生モードを検知し、再生ユニットと各同時ユーザとの間の距離を測定する距離測定ユニットと、前記再生ユニットと各同時ユーザとの間の方向を測定する方向測定ユニットとの少なくとも一方を有する検知部と、検知した前記個別再生モードと前記方向と距離の少なくとも一方とに応じて、前記データを処理して、前記複数の同時ユーザの各々に対して別々に再生可能なオーディオデータを生成する処理部と、前記複数の同時ユーザの各々に対して別々のしかたで前記生成する再生可能オーディオデータを再生する前記再生ユニットとを有することを特徴とする。

本発明の他の一実施形態によりオーディオデータ処理方法が提供される。該方法は、複数の同時ユーザの各々に対して別々に前記オーディオデータの再生のしかたを示す個別再生モードを検知し、再生ユニットと各同時ユーザとの間の距離を測定する距離測定ユニットと、前記再生ユニットと各同時ユーザとの間の方向を測定する方向測定ユニットとの少なくとも一方を有する段階と、検知した前記個別再生モードと前記方向と距離の少なくとも一方とに応じて、前記オーディオデータを処理して、前記複数の同時ユーザの各々に対して別々に再生可能なオーディオデータを生成する段階と、前記複数の同時ユーザの各々に対して別々のしかたで前記生成する再生可能オーディオデータを再生する段階とを有することを特徴とする。

本発明のさらに他の実施形態により、プロセッサにより実行されると、上記の特徴を有するデータ処理方法を制御または実行するプログラム要素が提供される。

本発明のさらに他の実施形態により、プロセッサにより実行されると、上記の特徴を有するデータ処理方法を制御または実行するコンピュータプログラムを格納したコンピュータ読み取り可能媒体が提供される。

本発明の実施形態によるデータ処理は、コンピュータプログラムすなわちソフトウェアにより実現でき、１つまたは複数の特別な電子的最適化回路すなわちハードウェアを用いて実現でき、またはハイブリッド形式すなわちソフトウェアコンポーネントとハードウェアコンポーネントにより実現できる。

本発明の一実施形態により、二人またはそれ以上のユーザが、各ユーザの個人的要求に応じて指定された入力または自動検知された相異なる動作モードに基づき、再生されるメディアコンテンツを同時に知覚することができる。シールドされた「知覚空間」を形成する必要はない。すなわち、イヤホンやヘッドホンなどを装備する必要はない。例えば、可変の再生モードで再生オーディオを楽しみたい相異なる複数のユーザに対して同時に再生されるオーディオの振幅と強さを調節するスピーカアレイを設ける。これにはコンテンツの有向再生（directed reproduction）を含み、放射するオーディオコンテンツの空間的依存性を実現することができる。ユーザ固有のやり方で再生されるデータコンテンツは、ユーザごとに異なるものであっても、同じものであってもよい。

本発明の一実施形態により、同じオーディオストリームを聞いている人ごとに個別のサウンドレベルを生成することができる。個々のリスナはそれぞれリモコンを有し、好みのサウンドレベルを選択することができる。追加的または代替的に、１つまたは複数のカメラを用いて個々のリスナの位置を検知し追跡することもでき、視覚認識ソフトウェアを用いて既知の人たちから個々のリスナを識別することもできる。追加的または代替的に、リスナの位置や方向をその人が身につけているタグ（例えばＲＦＩＤタグ）により識別して、サウンドのレベルを記憶されたプロファイルに応じてその人の方向に合わせてもよい。

他の人がいる部屋でオーディオ（またはオーディオビジュアル）体験を楽しみたい場合も多い。場合によっては、家族や友達と一緒にリビングルームでテレビや映画を見ている時のように、オーディオ体験をいっしょに楽しみたいこともある。別のシナリオでは、一人はテレビを見ているが、他の人は本を読んでいることもある。どちらのシナリオでも、部屋にいる人ごとに再生オーディオのサウンドレベルに対する好みは異なる。第２の場合には、本を読んでいる人は大きすぎるテレビの音には邪魔されたくない。しかし第１の場合にも、様々な理由により、テレビや映画を一緒に見ていても再生するサウンドのレベルに対する好みは異なることがある。例えば、映画を大音量で楽しむ人もいれば、もっと控えめなレベルで楽しみたい人もいる。そこで、一実施形態ではパーソナルなボリューム調整を行う。他の可能性として、一人が聴覚障害を有しており、再生スピーチを理解するには他の人よりもサウンドレベルを上げる必要があることが挙げられる。また、他の人と一緒に映画を視聴している間に電話がかかってきた時など、個人的にサウンドレベルを変えたい場合もある。

従来のオーディオ装置とは対照的に、本発明の実施形態により、再生サウンドについて単一の全体的なレベルを選択するだけでなく、個々のユーザの要求に合わせて個別に調整し、それゆえユーザごとに異なる再生モードを選択することも可能になる。

このように、一実施形態により、同一のオーディオストリームを聞いている個々の人に対して別々のサウンドレベルを選択し生成する手段を有するサウンドシステムが提供される。

一実施形態では、個々のリスナは個々のリモートコントロールユニットを有し、それを用いて自分の好みのサウンドレベルを選択することができる。

他の実施形態では、１つまたは複数のカメラを用いて個々のリスナの位置を検知して追跡し、それを視覚的に認識して（例えば、個人の視覚的認識のために予め格納された視覚的プロファイルにしたがって）既知の人々から個々のリスナを識別する。追加的または代替的に、「予め格納されたプロファイル」を、個人のデフォルトの再生モードに対応するある種の「再生嗜好プロファイル」として設けてもよい。

さらに追加的または代替的に、リスナの方向をその人が身につけているタグにより識別して、サウンドのレベルを格納されたプロファイルに応じてその人の方向に合わせてもよい。

このように、本発明の実施形態により、リスニング体験を改善して、個人ごとに個別のサウンドレベルを提供することが可能となり、これはヘッドホンを使用しなくても可能である。

本発明の実施形態の応用分野としては、ホームエンターテイメント・シネマシステム、フラットテレビ、カーオーディオなどがある。

このように、本発明の実施形態は、例えばテレビを視聴しているときに、同時に二人以上の人に対して所望の音量にいかに調節するかという問題を解決できる。適切な手段としては、ｎ個（ｎ＞１）のラウドスピーカによりサウンドを再生して、ｍ人のリスナが所望の強さでそのサウンドを聴くようにすることである。各ラウドスピーカの重み付けファクタを、例えばｎ個の未知数を有するｍ本の方程式により求めて、できるだけ音の大きさが各人に対する調整値になるようにする。

本発明の実施形態を簡単に実施するには、２つのラウドスピーカの音量とバランスを同時に調整し、二人のリスナに対してその音量を個別に設定する。リスナがマイクロホン付きのリモートコントロールユニットを有していれば、メカニズムを完全に自動的に制御できる。

一実施形態により、同一のオーディオストリームを聞いている個々の人に対して別々のサウンドレベルを選択し生成する手段を提供する。どの方向にどのくらいのサウンドレベルが望ましいかという情報をシステムに提供する様々な方法とシナリオがある。基本的には、すべての方法とシナリオにより、方向または位置の関数として、所望のサウンドレベルの仕様（いわゆる「ターゲット応答」）がもたらされる。ラウドスピーカアレイをデジタル信号処理と組み合わせて使用して、このターゲット応答に対応するサウンドレベル対方向の特性を有する音場を発生する。

従来のオーディオ装置では、どんな場合にも、個々のリスナの嗜好を折衷したレベルを選択しなければならず、その結果として得られるサウンドレベルは人によっては好ましいレベルとは異なっていた。

一実施形態では、部屋にいるすべての人が（一時的であっても）自分の好みに合うようにサウンドに対する個人的なレベルを選択できるという非常にすばらしい効果が得られる。

ヘッドホンを用いることにより、個々の人にたいして個別のサウンドレベルを選択することは可能であるが、多くの場合、これは許容できない解決策であり、特に何人かで一緒に同じ番組を視聴している場合はそうである。このように、本発明の一実施形態により、ヘッドホンを使わなくても個々の人に個別のサウンドレベルを提供できるシステムを利用できるようになる。

一実施形態では、複数のリスナにサウンドを再生（render）でき、リスナが自分のサウンドレベル（「音量」）を制御できるサウンド再生システムが提供される。具体的に、ユーザは自分の音量を制御する自分のリモートコントロールユニット（ＲＣ）を有する。リスナの位置は、例えばリモートコントロールユニットのマイクロホンで自動的に検知され得る。さらに、カメラでリスナの位置やアイデンティティを検知・追跡して、システムは個々のリスナのヒアリングプロファイル（hearing profiles）に従って修正を行うことができる。一人のリスナが自分の位置を自動的に発見できるようにするタグを身につけ、サウンドをそのリスナの位置及び／またはプロファイルに合わせてもよい（例えば、「常に少し大きく、または小さく」）。１つまたは複数のラウドスピーカを用いてサウンドを再生できる。

このように、「パーソナルボリューム（personal volume）」のような機能が得られ、所望の「音量対角度」特性やターゲット応答が得られる。１つ（または複数）のオーディオ入力チャンネルでも、生成するビームの方向性を制御することにより、オーディオ再生をパーソナライズ（personalize）することができる。これにより、複数のリスナのオーディオ再生をパーソナライズできる。これにより、同一の音源を聞いている（または異なる音源を聞いている）複数のリスナのそれぞれに対して個別の音量制御をすることができる。かかる結果を得るため、複数のラウドスピーカを使用してもよい。方向性をえるために必要なラウドスピーカ信号を決定する。さらに、所望のターゲット応答を設定する。

本発明の他の実施形態によると、相異なる複数のオーディオストリームのサウンドビーム化の自動レベル制御（ＡＬＣ）を行う。「自動レベル制御」とは、具体的には、スピーカへの出力パワーの自動制御する技術を指す。

ラウドスピーカアレイを駆動する少なくとも２つの同時（concurrent）オーディオチャネルに対して、常に少なくとも１１デシベルのチャンネルセパレーションを確保することは可能であり、そのアレイにより得られるオーディオセパレーションに基づき、入来ストリームをＡＬＣ回路に通して、レベル差を閾値（性能ヘッドルーム）内にすることができる。入力信号間のレベル差の低下は２つの段階に分けられる。１つは個々のチャンネルのダイナミックレンジの低下よりなり、もう１つは個々のチャンネルの間のレベル差の低下であり、両方の段階の時定数は異なり得る。さらに、ユーザ制御可能なリスニング位置と、入力信号間のレベル低下量の機能が与えられる。さらに、コンテンツ分類と自動レベル制御（ＡＬＣ）の周波数帯域幅アプリケーションに基づき、チャンネル間のレベルセパレーションが自動的に設定される。「ＡＬＣの周波数帯域幅アプリケーション」は、具体的には、オーディオコンテンツのゲイン制御を、オーディオコンテンツの相異なる周波数範囲に対して独立に行うことを指す。

ラウドスピーカアレイが個人的なサウンドを発生する。換言すると、例えば、２つの入力オーディオチャンネルのサウンドを、同時に個々の方向に、すなわちユーザのリスニング位置に送る。従来、リスニング体験は、望まないチャンネルからの邪魔なクロストークにより「不透明（clouded）」になっていた。

本発明の一実施形態により提供されるサウンド再生システムは、相異なる入力オーディオチャンネルの（少なくとも２つの）入力信号に基づいて少なくとも二人のユーザに個人的サウンドを提供する手段を有し、各入力チャンネルによるサウンドを個々のターゲット方向に送信する。入力信号の信号レベルを合わせる自動レベル制御ユニット（ＡＬＣ）を設けて、入力信号の差異信号を決定する決定ユニットを設ける。所定閾値（性能ヘッドルーム）に対する前記差異信号の比較に基づき信号レベルを制御する制御ユニットを設けてもよい。

一実施形態では、信号レベルの制御は、パーソナルサウンドを提供する手段（すなわちラウドスピーカアレイ）により実現されるオーディオセパレーションに依存する。オーディオセパレーションのパラメータは、シミュレーション、またはラウドスピーカアレイの既知の（実験室で測定した）音響特性に基づき、シミュレーションから知ることができる。他の一実施形態では、部屋の音響を測定して、オーディオセパレーションのより正確なパラメータを求める。このためには、部屋の環境に関する情報を求めるためにはマイクロホン（または複数のマイクロホン）が有利である。

他の一実施形態では、コンプレッサユニットを各入力チャンネルに設ける。このコンプレッサユニットは、自動レベル制御ユニットに送る前に、それぞれの入力信号のダイナミックレンジを低減するように構成する。このように、「ポンピング（pumping）」アーティファクトのリスクを低減する。

それゆえ、望まないチャンネルからのクロストークに邪魔されずに快適なリスニング体験をできる。

一実施形態では、自動レベル制御を有するパーソナルサウンドアレイを設ける。

二人の人が並行してオーディオストリームを聞いている時に快適なリスニング体験を実現するために、一般的には少なくとも１１ｄＢのセパレーションが必要であることが分かった。フラットテレビ（ＦｌａｔＴＶ）等の製品でコスト的に見合うドライバ数やアレイの全長に対する物理的制約があるが、一般的には、アレイの中心に対して、約３０°離れた２つの席で約１５ｄＢのチャンネルセパレーションを得ることは可能であり、２つのチャンネルの音量が同じであれば十分である。一般的には、様々なチャンネルリソースのコンテンツは大きなダイナミックレンジを有するだけでなく平均音量も異なる。１つのチャンネルが低音量のスピーチを含み、一方他のチャンネルが映画の大音量部分を含むことがある。本発明の一実施形態の有利な特徴として、パーソナルサウンドアレイとともに自動レベル制御（ＡＬＣ）を使用して、常にすべての構成に対して１１ｄＢのチャンネルセパレーションを保証する。

一実施形態では、一般的なコンセプトでは、複数のリスナに対して複数のビームを発生し、場合によってはそれぞれの音量を個別に制御する。具体的には、個人的なサウンドと個人的ボリュームを考慮する。

一実施形態では、個々のビームは相異なる入力信号を表す。この場合、各リスナについて他のビームのクロストークを低減または最初かすることが好ましい。同時にすべてのリスナの状況を改善または最適化するために、適当な手段は、入力信号間のレベル差をできるだけ低減または最小化し、すべてのビームが同じ相対的音量を有するようにし、回避できない制約を受けるアレイの方向性能を利用する。

かかるシナリオでは、一人のリスナの音量を上げると他のリスナの効果を損なうので、（各ビームの他のすべてのビーム方向における抑圧がほぼ完全であるよい方向性能を有するアレイが使えない限り）個々のリスナがビームの音量を制御できることは適切ではないだろう。かかる場合に対応するため、個々のチャンネル間の相対的レベル差を除去するＡＬＣを実装してもよい。

しかし、これと対照的に、個人的な音量を提供するアプリケーションでは、すべてのリスナは同じ入力信号を聞いているので、状況はそれほど重大ではない。それゆえ、かかるシナリオでは、メディアコンテンツを楽しんでいる各人が個別に個別再生パラメータを調整しても問題はない。

かかるパーソナルボリュームアプローチは、アレイの指向性能が十分よくて、個々の方向を独立にボリュームを操作する自由度を与えるとの仮定に基づいている。

他の一実施形態では、相異なるオーディオストリーム（例えば異なるテレビチャンネル）を二人のユーザが同時に聞く。この場合、ボリューム等のパラメータの個別調整は、この２つのチャンネル間の望ましくないクロストークを回避できるときにのみ可能である。

本発明の一実施形態では、少なくとも二人のユーザにパーソナルサウンドを提供し、自動レベル制御システム（ＡＬＣ）を用いて入力信号間のレベル差を低減するサウンド再生システムを設ける。トランスデューサがラウドスピーカアレイを形成してもよい。入力信号間のレベル差の低減量は、そのアレイにより得られるオーディオセパレーションに関係する。入力信号間のレベル差の低下は２つの段階に分けられる。１つは個々のチャンネルのダイナミックレンジの低下を含み、もう１つは個々のチャンネルの間のレベル差の低下を含み、両方の段階の時定数は異なり得る。リスニング位置はユーザが制御可能である。入力信号間のレベル差の低減量はユーザが制御できる。入力信号間のレベル差の低減量は自動コンテンツ分類に応じて決まってもよい。ＡＬＣは周波数帯域ごとに動作してもよい。

次に、本発明のさらに別の実施形態例を説明する。以下に、データ処理装置のさらに別の実施形態を説明する。しかし、これらの実施形態は、データ処理方法、プログラム要素、及びコンピュータ読み取り可能媒体にも適用することもできる。

この装置は複数のユーザの各々に対して別々に生成された再生可能データを再生するように構成された再生ユニットを有する。かかる再生ユニットは、画像再生ユニット、オーディオデータ再生ユニット、振動ユニット、その他の複数のユーザのそれぞれに知覚可能信号を再生するユニット等である。

具体的には、前記再生ユニットは、空間的に選択されたしかた、空間的に差別化されたしかた、空間的に指向性のあるしかたのうち少なくとも１つで、前記生成された再生可能データを再生するように構成され得る。「指向性」とはサウンドがある方向に向けられることを意味する。「選択的」及び「差別化された」とは、より一般的に、方向ごとに再生が異なることを意味する。再生可能データの放射の空間的依存性は、対応するユーザの現在位置に応じて決まる。例えば、再生ユニットが複数のラウドスピーカを有するとき、かかるラウドスピーカの構成は、それが異なるユーザの方向に選択的に向けられた音響波を放射し、個々のラウドスピーカ信号の重なりにより、選択された再生モードに応じた個々のユーザの位置における音響パターンが生じる。

再生ユニットは複数のラウドスピーカの空間的配置を含む。かかるシナリオでは、異なるまたは可変のオーディオ再生モードをユーザごとに実現できる。

具体的には、本装置は、オーディオデータ、ビデオデータ、画像データ、メディアデータのうちの少なくとも１つを含むデータを処理するように構成され得る。このように、出所が異なるコンテンツをパーソナライズして、この実施形態により、すべてのユーザに対して同じコンテンツを異なる再生パラメータで再生する。あるいは、同じ再生パラメータまたは可変再生パラメータで、ユーザごとに異なるコンテンツを同時に再生することも可能である。

前記検知ユニットは、複数のリモートコントロールユニットを有し、各リモートコントロールユニットは前記複数のユーザにそれぞれ割り当てられ、前記個別再生モードをそれぞれ検知するように構成されてもよい。例えば、かかるマルチユーザシステムの各ユーザは、割り当てられたリモートコントロールユニットを有し、それを介してユーザは自分がどの望む再生パラメータを望むかという情報を提供できる。ここのリモートコントロールユニットは、例えば、ユーザに関するデータを割り当てることにより、事前に個人化（pre-individualized）されていてもよい。この手段を取ることにより、例えば、家族の一人が聴覚障害を有し、オーディオデータを大きな音量で再生する必要があるとの命令を入力できる。特別なユーザが非常に低い画像コントラスト値を望むことをパーソナライズしておき、かかる装置による画像再生を適宜調節できる。

検知ユニットは、装置と各ユーザとの間の距離及び／または方向を測定する距離測定ユニット及び／または方向測定ユニットを有してもよい。かかる距離及び／または方向測定ユニットは、例えば対応するリモートコントロールユニットに組み込まれたマイクロホンであってもよい。自動的に音響ベースの距離測定を行い、ユーザが指定する動作モードを調整する基礎として対応する距離または角度位置の情報を用いてもよい。具体的に、基準方向と、この基準方向に対する各ユーザの方向との間の差を測定する方向測定ユニットを設けてもよい。

他の実施形態によると、前記検知ユニットは、前記複数のユーザの各々の画像を取得して、前記複数のユーザの各々を認識し、前記個別再生モードを検知するように構成された画像認識ユニットを有する。例えば、１つまたは複数のカメラで、ユーザの（永続的またはその時々の）画像を取得する。画像認識システムと、場合によっては事前に記憶したパーソナルデータとを組み合わせて、それぞれのユーザの現在位置及び／または現在の動作状態を自動的に検知してもよい。例えば、画像認識ユニットは、「ピーター」が今本を読んでいて、うるさいテレビ信号に邪魔されたくないことを検知できる。この自動画像認識に基づいて、再生パラメータを適宜調整することができる。

前記検知ユニットは、複数の識別ユニットを有し、各識別ユニットは前記複数のユーザにそれぞれ割り当てられ、前記個別再生モードをそれぞれ検知するように構成されてもよい。例えば、個々の識別ユニットはそれぞれのユーザが持っている、または身につけているＲＦＩＤタグであってもよい。かかる情報に基づき、識別ユニットにエンコードされた識別情報に応じて、事前に記憶されたユーザの嗜好に合わせて再生モードを調整することができる。

各個別再生モードは、データ再生強度、オーディオデータ再生音量、オーディオデータ再生等化、画像データ再生輝度、画像データ再生コントラスト、画像データ再生カラー、データ再生トリックプレイモードのうち少なくとも１つを示すものであってもよい。例えば、再生されるオーディオコンテンツアイテムの振幅及び／または周波数特性を調節する。また、輝度、コントラスト、及び／またはカラー等の画像特性を調整することができる。特別なユーザが望む場合、画像をカラーではなく白黒で再生してもよい。例えば、ユーザが映画の位置シーンを見たいが、他の人はそのまま映画を見続けたい時に、早送り、高速リバース、低速早送り、低速リバース、静止などのトリックプレイを個人的に調整してもよい。かかるシナリオでは、個々のユーザに対して個別のディスプレイを設けることが望ましいかも知れない。
前記処理ユニットは、前記複数のユーザのそれぞれの検知位置、検知方向、検知動作、検知されたユーザ関係の特性のうち少なくとも１つにより前記再生可能データを生成するように構成されてもよい。例えば、それぞれのユーザに関する空間的方向、角度方位位置、現在行っている仕事、特性（例えば聴覚障害）を再生可能データを適宜調整するために考慮に入れてもよい。

前記処理ユニットは、前記検知された個別再生モードから求めたオーディオデータレベル対ユーザ方向特性により前記再生可能データを生成するようにさらに構成されていてもよい。このように、放射される音響波の角度分布を、個々のユーザの位置を考慮するために調整してもよい。

前記処理ユニットは、ユーザごとに異なるデータに基づき各ユーザに別々に再生可能データを生成するように構成されていてもよい。この実施形態により、異なるユーザは異なるオーディオアイテム、例えば異なるオーディオを同時に知覚することができる。かかるシナリオでは、個々の信号間の邪魔なクロストークを抑圧するように処理を行い、他のユーザにより再生されるコンテンツから発する背景ノイズの強さを、ユーザの邪魔にならないようにするように注意する。

具体的には、かかるシナリオでは、処理ユニットは、自動レベル制御（ＡＬＣ）機能を実施する再生可能データを発生するように構成されている。かかる自動レベル制御は、ユーザごとの強度セパレーションが少なくとも所定の閾値であるように行う。この閾値は１１ｄＢであってもよい。これは、リスナが、再生されているオーディオアイテムと他のユーザが同時に再生して他の方向に主に放射されているオーディオアイテムとを区別すできるのに十分な値であると実験で判断されたものである。

所定の閾値はユーザが制御可能であってもよい。ユーザが非常に敏感であるとき、他のユーザのオーディオ再生の邪魔な影響を低減するために、ユーザが指定した閾値に応じて対応をする。

前記処理ユニットは前記再生可能データを生成して、周波数に依存した自動レベル制御を実施するように構成されてもよい。換言すると、ことなる周波数帯域を異なるしかたで自動レベル制御アルゴリズムで修正する。再生されるオーディオアイテムと他のユーザの再生オーディオアイテムとの間のクロストークの効果は周波数に依存するからである。

本装置は、テレビジョン装置、ビデオレコーダ、モニタ、ゲーム装置、ラップトップ、オーディオプレーヤ、ＤＶＤプレーヤ、ＣＤプレーヤ、ハードディスクベースのメディアプレーヤ、インターネットラジオ装置、パブリックエンターテイメント装置、ＭＰ３プレーヤ、ハイファイシステム、乗り物エンターテイメント装置、自動車エンターテイメント装置、医療通信システム、人体装着装置、スピーチ通信装置、ホームシネマシステム、音楽ホールシステムのうちの少なくとも１つにより実現され得る。「自動車エンターテイメント装置」は自動車用のハイファイシステムである。

しかし、本発明の実施形態によるシステムは、サウンドまたはオーディオデータを再生するときのユーザフレンドリ化を改善することを目的としたものであるが、オーディオデータとビジュアルデータの組み合わせのシステムに適用することも可能である。例えば、本発明の一実施形態は、ラウドスピーカを用いるビデオプレーヤのようなオーディオビジュアル機器やホームシネマシステムで実施できる。

本装置はラウドスピーカ等のオーディオ再生ユニットを含む。オーディオ装置のオーディオ処理コンポーネントと、かかる再生ユニットとの間の通信は、有線（例えばケーブルを用いた）や無線（例えばＷＬＡＮ、赤外線通信、ブルートゥースを介した）で行い得る。

幅が限られたアレイの指向性変更能力は乏しいので、ハイパスフィルタでオーディオのバスレンジを制限することは有利である。これは番組チャンネルまたはユーザチャンネルの何れかである。この任意的機能は、リスナが一人のときはもちろん必要ないので、この機能は切り替え可能である。

本発明の上記その他の態様は、以下に説明する実施形態から明らかとなり、この実施形態を参照して詳しく説明される。

図面は概略図である。別の図面においても、同様または同一の要素には同じ参照記号を付した。

以下、図１を参照して、本発明の一実施形態によるオーディオデータ処理装置１００を説明する。

オーディオデータ処理装置１００は、複数のリスナのそれぞれのために別々にオーディオデータを再生するパーソナライズされた方法を示す個別オーディオ再生モードを検知する検知部１１０を有する。

さらに、オーディオデータを処理して、検知した個別再生モードにより複数のユーザのそれぞれのために再生可能かつ可聴なオーディオデータを生成するマイクロプロセッサまたは処理部１２０を設ける。

より詳細には、複数のリスナ（図１には図示せず）はそれぞれリモートコントロールユニットを持っている。それぞれのユーザはリモートコントロールユニットを有しており、ユーザはオーディオ再生特性を調節することができる。ユーザが本を読んでいる場合、このユーザは、バックグラウンドのオーディオが邪魔にならないように、自分の方向ではオーディオが比較的弱く再生されることを選択できる。別のユーザは聴覚障害があるため、自分の位置ではオーディオの大きさを比較的大きく調節したいかも知れない。

さらに、ユーザのリモートコントロールユニットにはマイクロホンその他のトランスポンダが備えられており、そのマイクロホンと、オーディオデータ処理装置１００の対応する制御部１２０の通信インタフェースとの間で距離測定信号を交換することにより、対応するリモートコントロールユニットの方向と位置を自動的に検知できる。
このように、検知した位置と方向を合わせて、リモートコントロールユニットにより入力されたユーザ指定動作モードパラメータにより、レベル・方向選択部１１１は適正なレベル・対応方向情報１１３を決定してターゲット応答構成部１１２に送ることができる。ターゲット応答構成部１１２は、レベル・対応方向情報１１３に基づき、ターゲット応答信号１１４を生成する。この信号はオーディオ再生制御信号として信号プロセッサ１２０に入力される。

さらに、オーディオソース１２１（例えば、ハードディスク、ＣＤ、ＤＶＤ、ラジオ局のようなリモートオーディオソース）に格納されたオーディオコンテンツが、信号プロセッサ１２０の他の入力にオーディオ入力信号１１５を供給する。信号プロセッサ１２０は、ターゲット応答信号１１４に従ってオーディオ入力信号１１５を処理し、オーディオ出力信号を発生する。オーディオ出力信号は、空間的に分散したラウドスピーカアレイを形成する複数のラウドスピーカに供給される。

このラウドスピーカ１３０−１３２の空間的配置と、ラウドスピーカ１３０−１３２に供給されるオーディオ再生パラメータとにより、ユーザが入力するか、方向検知器１１１が検知した所望のオーディオパラメータに従ってオーディオ再生をするために、固有の態様（specific manner）で「スーパーインポーズ」されたオーディオ波を発生するラウドスピーカ１３０−１３２の放射オーディオ信号の空間的分布が得られる。その結果、複数のユーザが、同一オーディオコンテンツを、ユーザ固有の再生パラメータに従って再生して同時に楽しむことができる。

ラウドスピーカ１３０−１３２は指向性ラウドスピーカであってもよい。それぞれのリモートコントロールユニットを介して、ユーザ固有のオーディオデータ再生音量及び等化パラメータ、すなわち強度と周波数の分布が選択される。

信号プロセッサ１２０が発生し、ラウドスピーカ１３０−１３２を介して再生される再生可能データは、検知された個々のユーザの位置、検知された方向、検知されたユーザの動作、（ヒアリング問題等の）ユーザ固有の特性と考慮に入れたものである。

このように、図１は本発明の一実施形態の基本的構成を示す。以下に、第１の実施形態の説明において、個々のブロックを詳細に説明する。他の２つの実施形態が第１の実施形態と相違する点は、所望のレベルと対応する方向とに関する情報を取得することである（すなわち、レベル・方向選択ブロック１１１の機能）。

図１に示した第１の実施形態では、個々のリスナはそれぞれリモートコントロールユニットを有し、それで自分の所望のサウンドレベルを選択できる。所望の方向で選択したサウンドレベルを再生（render）できるようにするため、再生（rendering）システム１００に対する各リモートコントロールユニットの方向が分からなければならない。リモートコントロールユニットの方向の決定は、例えば、そのリモートコントロールユニットにマイクロホンユニットを組み込み、リモートコントロールユニットと各ラウドスピーカ１３０−１３２との間の音の伝搬時間差を利用することにより行える。図１に示した実施形態では、リモートコントロールユニット（方向決定手段を含む）は、レベル・方向選択ブロック１１１を構成する。

選択されたレベル及び対応する方向は、図１のターゲット応答構成ブロック１１２においてターゲット応答関数に変換される。このターゲット応答構成ブロック１１２は、再生方法（rendering technique）の詳細に応じて、それぞれのリスナの方向のみにおける所望レベルの仕様を含むものであってもよいし、角度の関数として所望レベルの多少連続的な仕様を含むものであってもよい。

ターゲット応答を特定する前者の方法の例を図４のブロック４５０に示す。図４は、−３０°、＋１０°、＋６０°の方向に、それぞれレベル−６ｄＢ、−３ｄＢ、０ｄＢを選択した３人のリスナがいる場合のターゲット応答を示している。ターゲット関数を特定する後者の方法の例を図６乃至図８に示す。
個々のリスナの所望レベルはゼロであってもよく、この場合そのリスナの方向にはサウンドは再生（render）されない。このようなヌル方向（null direction）を含むターゲット応答の一例を図８に示す。

信号プロセッサ１２０は、オーディオ入力信号１１５とターゲット応答仕様１１４とを受け取り、結果として得られる音場がターゲット応答１１４に対応する方向応答を有するように、ラウドスピーカ１３０−１３２のオーディオ信号を計算する。ラウドスピーカの線形アレイを用いてターゲット応答を達成する２つの信号処理方法を以下に説明する。

説明する第１の実施形態は個人のサウンドレベルの設定と変更を非常に柔軟にするものである。

以下に第２の実施形態を説明する。

第２の実施形態では、１つまたは複数のカメラを用いて個々のリスナの位置を検知し追跡することもでき、視覚認識ソフトウェアを用いて既知の人たちから個々のリスナを識別することもできる。既知の人たちについて、（コンテンツタイプ等の変数によって変わり得る）それぞれの人のレベル嗜好を含むパーソナルプロファイルが記憶されている。ターゲット応答は個々のリスナの視覚的に抽出した方向と、記憶されている対応するレベル嗜好により構成される。図１のターゲット応答構成ブロック１１２と信号プロセッサブロック１２０は、第１の実施形態で説明したものと同じであってもよい。

第２の実施形態は、一般的な（非瞬間的な）レベル嗜好をサウンド再生システムの通常の動作に自動的に組み込むには特に有用である。

以下に第３の実施形態を説明する。

この第３の実施形態では、リスナの方向をその人が身につけているタグにより識別して、サウンドのレベルを格納されたプロファイルに応じてその人の方向に合わせる。このタグは、例えばヒアリング問題を有する人の位置を示すために使用する。この場合、格納したプロファイルは対応する方向でレベルをある大きさだけ大きくすることを示す。

その結果のターゲット応答は図７に示したようなものとなり、他の方向のレベルに対して約＋２０°の狭い領域のレベルが６ｄＢだけ高くなっている。第３の実施形態の他の応用として、例えば本を読んでいて、できるだけ音量が低い方がよい人がタグをつけることもできる。その場合、格納されたプロファイルは、対応する方向では、レベルをできるだけ低くすることを示す。

以下、ターゲット応答を実現するアレイ処理方法を説明する。

説明する方法により、ラウドスピーカ・アレイでターゲット応答と一致する空間応答を有する音場を生成することができる。

第１の方法では、サウンドレベルは、選択された離散数の方向で制御され、その他の方向では比較的低いが制御はされない。遅延・加算ビーム形成原理を用いて、選択した方向のそれぞれに個々のサウンドビームを送り、対応する方向の所望のサウンドレベルに応じて各ビームの振幅をスケーリングすることにより行う。

図２は一方向でレベルを制御したビームを発生する遅延・加算処理システム２００を示す。

このように、図２は、Ｎ個のラウドスピーカ１３０−１３２で、一方向にサウンドレベルを制御したビームをいかに発生するかを詳細に示す。

最初に、増幅ユニット２０２のスケーリングファクタｇをかけて、入力信号ｓ（ｔ）２０１を増幅または減衰する。増幅ユニット２０２のスケーリングファクタｇは、信号２０３すなわち何らかの基準レベルに対するこの方向の所望のサウンドレベルで決定される。次に入力信号ｓ（ｔ）をスケーリングした信号がＮ回複製され、Ｎ個の複製の各々が個別の遅延ユニット２０４を用いて遅延される。遅延ユニット２０４の遅延値は、対応するラウドスピーカ１３０−１３２の位置と、ビームが向けられる方向とにより決定される。各遅延ユニット２０４の遅延値は相異なってもよい。最後に、遅延されたＮ個の信号は対応するラウドスピーカ１３０−１３２に入力され、（基準レベルに対して）所望のレベルを有する音響ビームは所望の方向に発生される。任意的に、ゲインユニット２０５を設けてもよい。各ゲインユニット２０５のゲイン値は相異なってもよい。

説明した処理方式はリニアなので、それぞれの方向に図２の信号処理方式を適用して、同一のラウドスピーカ１３０−１３２に対応するすべての信号を加算し、その後に加算した信号を対応するラウドスピーカ１３０−１３２に接続することにより、それぞれの方向とレベルのビームを再生できる。

図３は、３つの方向でサウンドレベルを個別に制御できるラウドスピーカ１３０の構成を示す。

図３のシナリオにおいて、３つの方向の所望のサウンドレベルを、３つのゲインユニット２０２を制御するために供給される３つの入力信号２０３として提供する。さらに、３つの遅延ユニット２０４を設け、３つの任意的なゲインユニット２０５を設ける。遅延ユニット２０４またはゲインユニット２０５の出力信号を加算ユニット３０１で加算し、ラウドスピーカ１３０に供給する。

それゆえ、図３は、それぞれの方向とレベルの３つのビームを発生する場合の、ラウドスピーカ１３０の処理方式３００を示す。遅延ユニット２０４の前の部分はすべてのラウドスピーカ１３０−１３２について共通であってもよい。

図４は、−３０°、＋１０°、＋６０°の方向でそれぞれレベルを−６ｄＢ、−３ｄＢ、０ｄＢに制御された３つのビームを発生する場合の刺激応答の、レベル対角度のプロット４００と極プロット４５０を示す図である。

この方法の一変形では、相対的なサウンドレベルは選択された離散数個の方向では制御されないが、離散数個の選択された位置では制御される。図２と図３の処理方式も本質的には同じであり、遅延ユニット２０４の計算が少し違うだけである。

しかし、この第１の方法を適用すると、個別の各ビームを発生するとき、対応する方向のサウンドレベルのみが制御されることもある。一般的に、ラウドスピーカ１３０−１３２の数、及び／またはアレイの全長が小さいと、サウンドが他の方向にも放射されることがある。まず始めに、いわゆるメインローブ（選択された方向のビーム）はある幅を有し、アレイ構成が一定であれば、周波数が高くなればなるほどその幅は大きくなる。さらに、アレイのスピーカ１３０−１３２の長さと数は有限なので、いわゆるサイドローブ及び格子ローブの形でアーティファクトが発生する。個々のビームの音場を加算すると、所望の各方向の実際のレベルは、他のビームの同時再生により影響を受けるが、それは制御できないということを意味している。部分的には、ビームとラウドスピーカ１３０−１３２の各組み合わせの信号経路に個別の増幅ウェイトを注意深く選択して加え、及び／または遅延ユニット２０４の値を少し調整することにより、この問題を小さくすることができる。本技術分野の当業者は文献により、かかる方法を多数知っている。

しかし、サウンドレベルを個別に制御したい方向の数が多くなればなるほど、個々のビームが互いに干渉しやすくなり、この第１の実施形態では、任意のレベル対角度の特性を実現することは不可能であり、すなわち、離散個のターゲットとなる方向を選択するのとは対照的に、すべての方向で応答が制御される。

この第１の方法の利点は、必要な信号処理が非常に簡単だということである。選択された方向とラウドスピーカの各組み合わせ（全部でＭ×Ｎ通り）に対する遅延とゲインのみが必要であり、遅延とゲインの計算は単純であり、リアルタイムアプリケーションで実施するのは容易である。

以下に第２の方法を説明する。

この第２の方法は原理的に任意のサウンドレベル対方向の機能を実現する。すなわち、サウンドレベルを同時にすべての方向で制御できる。

この実施形態では、最初に、多数の角度Ｍに対して、角度の関数として所望のサウンドレベルの仕様であるターゲット応答関数Ｔを定義する。

ターゲット応答の一例を図６のグラフ６００に示した。

このターゲット応答は、周波数ごとに異なるように選択されている。しかし、「パーソナルボリューム」の本アプリケーションでは、目的は、本来は周波数に依存しない方向応答を得ることであり、すべてのリスニング位置において、周波数応答がフラットであり、広い帯域の音圧レベルのみがリスニング位置の関数として変化するようにすることである。

ターゲット応答Ｔは、第１の実施形態の遅延・加算方法のような分析的・幾何学的方法ではなく、数値最適化手法を用いることにより、ラウドスピーカ駆動関数を計算することにより得られる（または少なくとも近似できる）
（例えば、NatLab Techn. Note ２０００/００２, NatLab Techn. Note ２００１/３５５、これの抜粋はhttp://www.extra.research.philips.com/hera/people/aarts/, の第４８番と第２２番として入手できる。また、van Beuningen and Start, “Optimizing directivity properties of DSP controlled loudspeaker arrays”, Duran Audio, ２０００、これは、例えば、http://dctrl.fi-b.unam.mx/~villabpe/line%２０arrays/IOA_paper_rev１p２.pdfから得られる）。

このアプローチでは、個別の各周波数に対してＭ行Ｎ列の行列Ｇ（ω）を作る。この行列Ｇ（ω）は、周波数ωで各方向における各ラウドスピーカからのサウンド伝搬を記述するものである。Ｎ個の複素ラウドスピーカ係数Ｈ（ω）から得られるＭ個のターゲット方向におけるアレイ系の全応答を、次の行列方程式として書くことができる。

目標は目標の応答関数Ｔにできるだけ近い応答関数Ｌ（ω）が得られるラウドスピーカ係数Ｈ（ω）を決定することである。言い換えると：ベクトルＬ（ω）−Ｔの長さを最小にするＨ（ω）を決定する。これは、次の最小化問題の解を見つける必要があることを意味する：

この最小化問題を解く多数のアルゴリズムが文献に記載されている。例えば、いわゆる最小二乗法の多数の変形などである。一般的に、効率と安定性の観点から受け入れられる解を得るために、ラウドスピーカ係数に何らかの制約をかける必要がある。これは、例えば、ＭＡＴＬＡＢ関数ｌｓｑｌｉｎ（「ＭＡＴＬＡＢ最適化ツールボックス・ユーザーズガイド」参照）などのいわゆる制約下の最適化アルゴリズムを使用するということである。これによりターゲット応答を特定する自由度が高くなる。各角度において、所望のレベルの特定が可能になる他に、応答を弱い条件（例えば、ある最大レベルを超えないこと）に合わせることも可能となる。最適化問題の自由度はより大きくなり、よりよい解が得られる。

複数の周波数に対して上記の最小化問題の方程式を解くと、各ラウドスピーカ１３０−１３２の複素周波数応答が得られ、（例えば、逆フーリエ変換により）Ｎ個のラウドスピーカの駆動信号を計算できる。これらの駆動信号をＦＩＲ（有限インパルス応答）フィルタとして実装できる。つまり、第１の方法の処理方式と比較して、単一のラウドスピーカ１３０−１３２の図３に示したすべての処理を単一のＦＩＲフィルタで置き換える。図５のデータ処理システム５００に示したように、処理方式はＮ個のＦＩＲフィルタにより構成される。

このように、図５は上記の第２の処理方法の全体的な処理方式５００を示している。

信号ｓ（ｔ）２０１を相互に並列に接続された複数のＦＩＲフィルタ５０１に供給する。各ＦＩＲフィルタ５０１の出力はそれぞれ再生用のラウドスピーカ１３０−１３２に接続されている。各ＦＩＲフィルタ５０１のフィルタ特性は相異なってもよい。

図６は、ＦＩＲフィルタ５０１に対して全長０．７４ｍ、２５６タップである２４個のラウドスピーカのアレイを用いて、第２の方法を適用してターゲット応答関数を実現した結果を示す極プロット６００を示している。図６は非常によく一致していることが分かり、この例は様々な指向性応答を実現するのにこの方法が使えることを示している。

図７のグラフ７００と図８のグラフ８００は、他の２つの興味深いターゲット応答関数の結果の例を示している。これらは２つのユーザの状況に対応している。

図７は、何人かが同じテレビ番組を視聴しており、そのうちの一人が聴覚的問題を有し、音量レベルを少し高くしたい場合に適している。この場合、聴覚に障害があるリスナが座っている所はレベルを６ｄＢ上げ、それ以外の所では基本的に一様に０ｄＢのサウンドレベルとなる応答関数が望ましい。

図８は、一人がテレビを視聴しており、もう１人が本を読んでいてテレビの音量が高いと邪魔になる場合を示している。応答関数は、テレビを見ている人の所で最大サウンドレベルとなり、本を読んでいる人の周りではできるだけサウンドレベルが低くなり、その他の場所ではレベルは低く（−１０ｄＢ）なるようにデザインされている。

所望のターゲット応答をラウドスピーカアレイでどのくらい実現できるかは、そのスピーカアレイのいろいろな特性により決まる。例えば、アレイの応答においてある空間的分解能（すなわち、応答を制御できる最小角度）を実現できる最低周波数は、そのアレイの全長で決まる。一方、空間的なアンダーサンプリング・アーティファクトを生じないで指向性応答を制御できる最高周波数は、ラウドスピーカ１３０−１３２間の間隔の取り方で決まる。さらに、得られる最大空間的分解能はアレイ中のラウドスピーカ１３０−１３２の総数の制約を受ける。

以下、図９を参照して、本発明の一実施形態によるデータ処理装置９００を説明する。

データ処理装置９００は第１の入力９０１を有し、第１のオーディオデータ信号の入力を受ける。さらに、装置９００は第２のオーディオ入力９０２を有し、第１のオーディオデータ信号とは異なる第２のオーディオデータ信号の入力を受ける。（図９には図示していないが）複数のユーザのそれぞれに個別に第１のオーディオデータ９０１と第２のオーディオデータ９０２を再生する方法を示す個別の再生モードを検知する検知ユニットを設けてもよい。

例えば、第１のリスナ（図示せず）は第１のオーディオアイテム９０１を聞きたいとする。第２のユーザは第２のオーディオアイテム９０２を聞きたいとする。第１のユーザは第２のオーディオアイテム９０２のオーディオ信号に煩わされたくない。第２のユーザは第１のオーディオアイテム９０１のオーディオ信号に煩わされたくない。このように、例えばリビングルーム内の異なる位置に座っているユーザは、リモートコントロールユニットで自分が聞きたいオーディオコンテンツを制御することができる。二人のユーザが望むこの再生モードをシステム９００により検知し、データ９０１，９０２を処理して再生可能データ９０４、９０５、すなわち異なる方向に伝搬する２つの相異なるサウンドビーム９０４、９０５を生成するように、データプロセッサ９０３を調整する。

換言すると、第１のサウンドビーム９０４を発生して第１のユーザの方向に放射する。第１のサウンドビーム９０４は第１のオーディオデータアイテム９０１を示すものである。第２のサウンドビーム９０５を第２のユーザの方向に放射する。この第２のサウンドビーム９０５は第２のオーディオアイテム９０２を示すものである。サウンドビーム９０４，９０５は、アレイプロセッサ９０３の出力で制御された複数のラウドスピーカ１３０−１３２により発生される。

図９のラウドスピーカ１３０−１３２をＮｏｕｔで示す。

図９の実施形態では、処理ユニット９０３は、二人のユーザごとに異なるデータ９０１，９０２に基づきユーザごとに再生データ９０４，９０５を発生するように構成されている。

以下に詳細に説明するように、処理ユニット９０３は、自動レベル制御（ＡＬＣ）機能を実装し、再生可能データを発生するように構成されている。

フラットテレビ（ＦｌａｔＴＶ）やホームシネマ受信システムにおいてラウドスピーカアレイが使われるようになり、５チャンネルサウンド再生が可能になったので、パーソナルサウンドが該当するようになった。

図９には、パーソナルサウンドアプリケーション用のアレイプロセッサ９０３の基本的動作を示した。アレイプロセッサ９０３は、それぞれの方向に送出されるべき２つの入力オーディオチャンネル９０１，９０２を受け取り、Ｎｏｕｔ個の出力オーディオチャンネルを求め、Ｎｏｕｔ個のラウドスピーカ１３０−１３２に送る。一般的な場合には、アレイプロセッサ９０３の両方の入力信号９０１，９０２がＮｏｕｔ個の出力信号それぞれに貢献する。Ｎｏｕｔ個の出力信号は、両方の入力チャンネル９０１，９０２の個々の貢献を加算して形成される。Ｎｏｕｔ個の出力信号を増幅してラウドスピーカ１３０−１３２に送ると、２つのサウンドビーム９０４，９０５が発生し、各入力チャンネル９０１，９０２のサウンドをそれぞれの方向に送る。各ビーム９０４，９０５の方向は対応する入力チャンネルがＮｏｕｔ個のラウドスピーカ信号のそれぞれに貢献するしかたに応じて決まる。 ２つの方向にはそれぞれ、対応するオーディオチャンネル９０１，９０２のサウンドを聴きたいが、他のチャンネル９０２，９０１のサウンドはできるだけ聴きたくないリスナがいる。

アレイプロセッサ９０３の両方の入力チャンネル９０１，９０２の信号レベルが選択された２つのリスニング方向のそれぞれで等しいとき、測定やシミュレーションをしてラウドスピーカアレイ１３０−１３２により発生される、その方向（所望のチャンネル）に対応するチャンネルの音圧レベル（ＳＰＬ）の差異を決定することができる。レベル差はなかんずくラウドスピーカ１３０−１３２の構成と、（アレイプロセッサ９０３により制御される）各入力チャンネルが各出力チャンネルに貢献するしかたと、選択されたビームの方向と、周波数とに依存する。

研究によると、望まないチャンネルからのクロストークに邪魔されずに快適なリスニング体験をするためには、所望のチャンネルと望まないチャンネルとの間に少なくとも１１ｄＢのＳＰＬ差が必要である。

フラットテレビ（ＦｌａｔＴＶ）等の製品でコスト的に見合うドライバ数やアレイの全長に対する物理的制約があるが、一般的には、アレイの中心に対して、約３０°離れた２つの席で約１５ｄＢのチャンネルセパレーションを得ることは可能であり、２つのチャンネルの音量が同じであれば十分である（図１０のグラフ１０００を参照）。

図１０の曲グラフ１０００は＋１５°と−１５°の方向にサウンドビームを送る６ドライバ・ラウドスピーカアレイの方向性プロットである。

図１１は６ドライバ・ラウドスピーカアレイ１１００（全長０．５ｍ）を示す。

実際には、システムの入力信号レベルは、例えば異なるテレビチャンネルや、異なるタイプの番組素材（スピーチや音楽）や、異なるオーディオ装置の出力に対応しており、一般的には等しくない。ここで、どの方向で測定した２つのチャンネル間の実際のＳＰＬの差異も、同じ入力レベルで得られるＳＰＬの差と、２つのチャンネルの入力レベルの（符号を考慮した）差の和である。その結果、アレイ自体の性能は２つのチャンネルのＳＰＬ間の必要な１１ｄＢ以上のセパレーションを実現できるが、低い方の入力レベルのチャンネルのサウンドビームの方向では、１１ｄＢ以下のセパレーションしか実現できず、知覚される性能は不十分なものとなる。これは、入力レベル差が、以下のように定義されるアレイの「性能ヘッドルーム（Performance Headroom）」より大きいときに起こる：

ここで、Ｌｅｑは等しい入力レベルで実現できるＳＰＬである。レベルが高いチャンネルのビーム方向では、実現できるセパレーションは実際には入力レベル差の大きさだけ大きくなる。

本発明の一実施形態では、パーソナルサウンドアレイとともに自動レベル制御（ＡＬＣ）を使用して、常にすべての構成に対して１１ｄＢのチャンネルセパレーションを保証する。アレイの物理的制約により、アレイをこのアプリケーションにおいて機能するようにするため、本発明の一実施形態が必要である。

本発明の一実施形態では、２つの基本部分、すなわち自動レベル制御ユニット（ＡＬＣ）１２０１と、個々のアレイラウドスピーカ１３０−１３２への駆動信号である出力を供給するアレイプロセッサユニット１２０２とを有する完全なアレイ処理システム（図１２のデータ処理システム１２００参照）を提供する（図９参照）。

アレイプロセッサ１２０２は上記の通り動作する。アレイプロセッサ１２０２は、個別の方向に送信される２つの入力オーディオチャンネル９０１，９０２を入力され、Ｎｏｕｔ個の出力オーディオチャンネルを求める（アレイプロセッサ１２０２への実際の入力チャンネルは入力オーディオチャンネル９０１，９０２ではなく、ＡＬＣユニット１２０１により修正された入力オーディオチャンネル９０１，９０２である）。Ｎｏｕｔ個の出力信号を増幅してラウドスピーカ１３０−１３２に送り、２つの「サウンドビーム」９０４，９０５が発生し、各入力チャンネルのサウンドをそれぞれの方向に送る。

上記の理由により、２つのチャンネルの入力レベル差が性能ヘッドルームより大きくなることは避けるべきである。これはアレイプロセッサユニット１２０２の前の自動レベル制御ユニット１２０１の仕事である。

システム１２００の入力信号９０１，９０２は最初にＡＬＣユニット１２０１に入力される。

ＡＬＣユニット１２０１の一実施形態例を図１３により詳細に示した。

ＡＬＣユニット１２０１はレベルコンパレータ回路１３００を含む。この回路は短い時間における入力信号９０１，９０２の入力レベルを分析して、シミュレーションまたは測定により得られた既知の性能ヘッドルームに基づき、入力レベル差が性能ヘッドルームより大きいか判断する。入力レベル差が性能ヘッドルームより大きいとき、ＡＬＣユニット１３００は個々のゲインｇ１とｇ２を各入力信号９０１，９０２に適用して、レベル差が性能ヘッドルームより小さな値になるようにする。ゲインユニット１３０１によりレベル差を低減した信号１３０３，１３０４は、ＡＬＣユニット１２０１の出力であり、アレイプロセサユニット１２０２（図１２参照）の入力に送られる。アレイプロセッサユニット１２０２の上記の機能を有する。このように、２つのターゲット方向における結果として得られるＳＰＬ差は、（同じ入力レベルでのＳＰＬ差が１１ｄＢより大きいことを条件として）１１ｄＢより大きくなる。

一般的には、時間の関数としての２つのチャンネルの入力レベル差は、平均レベルの比較的ゆっくりと変化する差と、そのゆっくり変化する平均レベルの周りの各信号レベルの比較的速く変化する差の重ね合わせである。知覚的には、短い時定数のコンプレッサ回路により各入力信号のダイナミックレンジを最初に低減してから、時定数が大きいレベルコンパレータユニット１３００で２つの信号レベルを比較する方が有利であろう。

かかる場合は図１４に示した。図１４はコンプレッサ１４０１，１４０２を有するＡＬＣユニット１４００を示す。

このように、「ポンピング（pumping）」アーティファクトのリスクを低減する。それゆえ、一実施形態では、ＡＬＣユニット１４００は、各入力チャンネル９０１，９０２に対して個別のコンプレッサ１４０１，１４０２を含み、入力信号９０１，９０２は、ダイナミックレンジが低減されてから、レベルコンパレータ回路１３００に送られる。

一実施形態では、個々のサウンドビーム９０４，９０５を送る方向はユーザが制御できる。

一実施形態では、ユーザが所望のチャンネルと望まないチャンネルとの実現できるセパレーション量と、入力信号の元のダイナミックスを保つこととの間で、ユーザが個人的な嗜好に基づきトレードオフをできるようにするため、２つの入力チャンネル９０１，９０２の間のレベル差の低減量はユーザが制御できる。

２つのチャンネル９０１，９０２の間の必要なセパレーションの値である１１ｄＢは違うタイプのコンテンツの平均である。２つのチャンネル９０１，９０２の間で必要であるセパレーションの大きさは２つのチャンネル９０１，９０２の番組素材のタイプにも依存するので、好ましい実施形態では、入力レベル差の低減量は自動コンテンツ分類により制御される。

一部のコンテンツタイプの組み合わせについては、これは入力信号間のレベル差を低減するのではなく増大する方が実際には有利であることを意味する。例えば、スピーチを快適に聴く（すなわちそのスピーチを理解する）には音楽を聴く時よりも大きなセパレーションが必要となるかも知れない。これは、同じレベルで１つのチャンネルが音楽を含み、もう１つのチャンネルがスピーチを含むとき、スピーチのレベルを増大する方が有利であるかも知れない。

入力信号のレベル差と、アレイにより生じるＳＰＬ差とは一般的には周波数に依存するので、一実施形態では、ＡＬＣは周波数帯域ごとに動作する。

「有する（comprising）」という用語は他の要素や機能を排除するものではなく、「１つの（“a” or “an”）」という冠詞は複数ある場合を排除するものではないことに留意すべきである。また、異なる実施形態に関して説明した要素を組み合わせてもよい。

請求項中の参照符号は、その請求項の範囲を限定するものと解釈してはならないことにも留意すべきである。

以下、実施形態を参照して本発明を参照するが、本発明はこれらの実施形態に限定はされない。
本発明の一実施形態によるオーディオ処理装置を示す図である。 本発明の一実施形態によるデータ処理方法を示す図である。 本発明の一実施形態によるデータ処理方法を示す図である。 本発明の一実施形態による、３つのオーディオビームの有向放射シミュレーションの結果を示す図である。 本発明の一実施形態によるデータ処理方法を示す図である。 本発明の一実施形態による、連続音響方向性パターンシミュレーションの結果を示す図である。 本発明の一実施形態による、連続音響方向性パターンシミュレーションの結果を示す図である。 本発明の一実施形態による、オーディオビームの有向放射シミュレーションの結果を示す図である。 本発明の一実施形態によるオーディオ処理装置を示す図である。 本発明の一実施形態による、２つのオーディオビームの有向放射シミュレーションの結果を示す図である。 本発明の一実施形態による６ドライバラウドスピーカ配列を示す図である。 本発明の一実施形態によるオーディオ処理装置を示す図である。 本発明の一実施形態による自動レベル制御システムを示す図である。 本発明の一実施形態による自動レベル制御システムを示す図である。

Claims (21)

1. オーディオデータ処理装置であって、
   複数の同時ユーザの各々に対して別々に前記オーディオデータの再生のしかたを示す個別再生モードを検知するように構成され、再生部と各同時ユーザとの間の距離を測定する距離測定部と、前記再生部と各同時ユーザとの間の方向を測定する方向測定部との少なくとも一方を有する検知部と、
   検知した前記個別再生モードと、前記方向と距離の少なくとも一方とに応じて、前記オーディオデータを処理して、前記複数の同時ユーザの各々に対して別々に再生可能なオーディオデータを生成するように構成された処理部と、
   前記複数の同時ユーザの各々に対して別々のしかたで前記生成した再生可能オーディオデータを再生するように構成された前記再生部であって、トランスデューサのアレイを有し、前記複数の同時ユーザの各々の異なる個別の方向に、前記生成された再生可能なオーディオデータを送るように構成された前記再生部とを有し、
   前記処理部は、前記再生部により得られるであろうオーディオセパレーションに基づき、２つの生成される再生可能なオーディオデータの間のレベル差を、閾値を越えないように制限するように構成される、
   ことを特徴とする装置。
2. 前記再生部は、空間的に選択されたしかた、空間的に差別化したしかた、空間的に指向性のあるしかたのうち少なくとも１つで、前記生成された再生可能データを再生するように構成された、請求項１に記載の装置。
3. 前記再生部は、前記再生可能データとして可聴データを再生する空間的に配置された複数のラウドスピーカを有する、請求項１に記載の装置。
4. オーディオデータ、ビデオデータ、画像データ、メディアデータのうちの少なくとも１つを含むデータを処理するように構成された、請求項１に記載の装置。
5. 前記検知部は、複数のリモートコントロール部を有し、各リモートコントロール部は前記複数のユーザにそれぞれ割り当てられ、前記個別再生モードをそれぞれ検知するように構成された、請求項１に記載の装置。
6. 前記検知部は、前記複数のユーザの各々の画像を取得して、前記複数のユーザの各々を認識し、前記個別再生モードを検知するための情報を提供するように構成された画像認識部を有する、請求項１に記載の装置。
7. 前記検知部は、特に無線で動作する複数の識別部を有し、各識別部は前記複数のユーザにそれぞれ割り当てられ、前記個別再生モードをそれぞれ検知する情報を提供するように構成された、請求項１に記載の装置。
8. 前記個別再生モードは、データ再生強度、オーディオデータ再生音量、オーディオデータ再生等化、画像データ再生輝度、画像データ再生コントラスト、画像データ再生カラー、データ再生トリックプレイモードのうち少なくとも１つを示す、請求項１に記載の装置。
9. 前記処理部は、前記複数のユーザのそれぞれの検知動作と検知個人特性のうち少なくとも１つにより前記再生可能データを生成するように構成された、請求項１に記載の装置。
10. 前記処理部は、前記検知された個別再生モードから求めたオーディオデータレベル対ユーザ方向特性により前記再生可能データを生成するように構成された、請求項１に記載の装置。
11. 前記処理部は、前記複数のユーザごとに異なるデータに関して、各ユーザに別々に再生可能データを生成するように構成された、請求項１に記載の装置。
12. 前記処理部は、前記再生可能データを生成して、前記複数のユーザごとに異なるデータに関するレベル差を制御する自動レベル制御を実現するように構成された、請求項１０に記載の装置。
13. 前記自動レベル制御は、前記複数のユーザごとに異なるデータの自動コンテンツ分類に応じて前記レベル差を制御するように構成された、請求項１２に記載の装置。
14. 前記処理部は、前記再生可能データを生成し、少なくとも所定閾値のユーザごとに異なる強度セパレーションを保証するように自動レベル制御を実施するように構成された、請求項１１に記載の装置。
15. 前記データはオーディオデータであり、前記所定閾値は基本的に１１ｄＢである、請求項１４に記載の装置。
16. 前記所定閾値はユーザが制御可能である、請求項１４に記載の装置。
17. 前記処理部は前記再生可能データを生成して、周波数に依存した自動レベル制御を実施するように構成された、請求項１２に記載の装置。
18. テレビジョン装置、ビデオレコーダ、モニタ、ゲーム装置、ラップトップ、オーディオプレーヤ、ＤＶＤプレーヤ、ＣＤプレーヤ、ハードディスクベースのメディアプレーヤ、インターネットラジオ装置、パブリックエンターテイメント装置、ＭＰ３プレーヤ、ハイファイシステム、乗り物エンターテイメント装置、自動車エンターテイメント装置、医療通信システム、人体装着装置、スピーチ通信装置、ホームシネマシステム、音楽ホールシステムのうちの少なくとも１つにより実現される、請求項１に記載の装置。
19. オーディオデータ処理方法であって、
    複数の同時ユーザの各々に対して別々に前記オーディオデータの再生のしかたを示す個別再生モードを検知し、再生部と各同時ユーザとの間の距離と、前記再生部と各同時ユーザとの間の方向とのうち少なくとも一方を測定する段階と、
    検知した前記個別再生モードと前記方向と距離の少なくとも一方とに応じて、前記オーディオデータを処理して、前記複数の同時ユーザの各々に対して別々に再生可能なオーディオデータを生成する段階と、
    前記複数の同時ユーザの各々に対して別々のしかたで前記生成した再生可能オーディオデータを再生する段階であって、前記複数の同時ユーザの各々の異なる個別の方向に、前記生成された再生可能なオーディオデータを送る、再生する段階とを有し、
    ２つの生成される再生可能なオーディオデータの間のレベル差は、前記再生部により得られるであろうオーディオセパレーションに基づき、閾値を越えないように制限される、
    ことを特徴とする方法。
20. プロセッサで実行されたとき、オーディオデータの処理方法を制御または実行するように構成されたプログラム要素であって、前記方法は、
    複数の同時ユーザの各々に対して別々に前記オーディオデータの再生のしかたを示す個別再生モードを検知し、再生部と各同時ユーザとの間の距離と、前記再生部と各同時ユーザとの間の方向とのうち少なくとも一方を測定する段階と、
    検知した前記個別再生モードと前記方向と距離の少なくとも一方とに応じて、前記オーディオデータを処理して、前記複数の同時ユーザの各々に対して別々に再生可能なオーディオデータを生成する段階と、
    前記複数の同時ユーザの各々に対して別々のしかたで前記生成した再生可能オーディオデータを再生する段階であって、前記複数の同時ユーザの各々の異なる個別の方向に、前記生成された再生可能なオーディオデータを送る、再生する段階と
    を有し、
    ２つの生成される再生可能なオーディオデータの間のレベル差は、前記再生部により得られるであろうオーディオセパレーションに基づき、閾値を越えないように制限される、
    ことを特徴とするプログラム要素。
21. プロセッサで実行されたとき、オーディオデータの処理方法を制御または実行するように構成されたプログラム要素が格納されたコンピュータ読み取り可能媒体であって、前記方法は、
    複数の同時ユーザの各々に対して別々に前記オーディオデータの再生のしかたを示す個別再生モードを検知し、再生部と各同時ユーザとの間の距離と、前記再生部と各同時ユーザとの間の方向とのうち少なくとも一方を測定する段階と、
    検知した前記個別再生モードと前記方向と距離の少なくとも一方とに応じて、前記オーディオデータを処理して、前記複数の同時ユーザの各々に対して別々に再生可能なデータを生成する段階と、
    前記複数の同時ユーザの各々に対して別々のしかたで前記生成した再生可能オーディオデータを再生する段階であって、前記複数の同時ユーザの各々の異なる個別の方向に、前記生成された再生可能なオーディオデータを送る、再生する段階と
    を有し、
    ２つの生成される再生可能なオーディオデータの間のレベル差は、前記再生部により得られるであろうオーディオセパレーションに基づき、閾値を越えないように制限される、
    ことを特徴とするコンピュータ読み取り可能媒体。

Images