JP2023508901A - 不可視スピーカによる仮想効果音のためのシステムと方法 - Google Patents
不可視スピーカによる仮想効果音のためのシステムと方法 Download PDFInfo
- Publication number
- JP2023508901A JP2023508901A JP2022537483A JP2022537483A JP2023508901A JP 2023508901 A JP2023508901 A JP 2023508901A JP 2022537483 A JP2022537483 A JP 2022537483A JP 2022537483 A JP2022537483 A JP 2022537483A JP 2023508901 A JP2023508901 A JP 2023508901A
- Authority
- JP
- Japan
- Prior art keywords
- audio
- speaker
- input signal
- playback device
- hrtf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000694 effects Effects 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 title claims description 21
- 238000012546 transfer Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 13
- 230000008447 perception Effects 0.000 claims description 4
- 210000003128 head Anatomy 0.000 description 13
- 230000004807 localization Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000000883 ear external Anatomy 0.000 description 1
- 210000003454 tympanic membrane Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/02—Spatial or constructional arrangements of loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/02—Details casings, cabinets or mounting therein for transducers covered by H04R1/02 but not provided for in any of its subgroups
- H04R2201/021—Transducers or their casings adapted for mounting in or to a wall or ceiling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
Abstract
少なくとも1つの実施形態では、聴取環境において仮想効果音を提供するための装置が提供される。装置は、少なくとも1つのコントローラ及びオーディオ再生デバイスを含む。オーディオ再生デバイスは、オーディオ入力ソースからオーディオ入力信号を受信し、頭部伝達関数(HRTF)をオーディオ入力信号に適用するようにプログラムされた少なくとも1つのコントローラを含む。少なくとも1つのコントローラは、オーディオ入力信号にクロストークキャンセルを適用し、HRTF及びクロストークキャンセルをオーディオ入力信号に適用した後に、聴取環境にいる聴取者に見えない少なくとも1つのスピーカでの再生のためにオーディオ出力信号を生成するようにさらにプログラムされる。【選択図】図1
Description
関連出願の相互参照
本願は、2019年12月31日出願の米国仮特許出願第62/955,844号の利益を主張し、その開示は、その全体が参照により本明細書に組み込まれる。
本願は、2019年12月31日出願の米国仮特許出願第62/955,844号の利益を主張し、その開示は、その全体が参照により本明細書に組み込まれる。
本明細書に開示される態様は、一般に、1つまたは複数のスピーカにより仮想効果音を提供するためのシステム及び方法に関する。詳細には、本明細書に開示される実施形態は、限定されないが、バーチャライザと壁内スピーカとの組み合わせを提供して、目に見えるスピーカなしで完全なサラウンド音響体験を提供することができる。
マルチチャンネルシステムは、セットアップ手順が複雑であることが知られており、スピーカの配置によって大きく影響を受ける可能性がある。これらの問題は、悪名高いセットアップ手順と空間内の配線とともに、一貫性のない音場の再現につながり得る。さらに、空間クロスモデルに関する文献は、視覚モダリティが他の感覚からの情報に影響を与える可能性があることを示唆している。いくつかの研究は、空間的合同の程度を変えるとき、視覚が、聞くものを支配することを示している。したがって、視覚が、聴覚よりも統合ローカリゼーションに大きな影響を与え得る。聴取者がスピーカ(複数可)と配線を見ることができる場合、全体的な音の位置の知覚に大きな影響を与える可能性がある。
サウンドバーなどの優れた設計のオールインワンシステムにより、セットアップの複雑さが軽減され得る。ただし、通常、これらのシステムは、フォームファクタの制約により、低周波数の不足の影響を抱え得る。また、最近のサウンドバーは、側壁の反射を使用することにより、より広い音像を提供する傾向がある。このような技術の性能は、側壁の影響を大きく受ける可能性があり、通常、追加の校正手順が必要になり得る。
少なくとも1つの実施形態では、聴取環境において仮想効果音を提供するための装置が提供される。装置は、少なくとも1つのコントローラ及びオーディオ再生デバイスを含む。オーディオ再生デバイスは、オーディオ入力ソースからオーディオ入力信号を受信し、頭部伝達関数(HRTF)をオーディオ入力信号に適用するようにプログラムされた少なくとも1つのコントローラを含む。少なくとも1つのコントローラは、オーディオ入力信号にクロストークキャンセルを適用し、HRTF及びクロストークキャンセルをオーディオ入力信号に適用した後に、聴取環境にいる聴取者に見えない少なくとも1つのスピーカでの再生のためにオーディオ出力信号を生成するようにさらにプログラムされる。
少なくとも1つの実施形態では、聴取環境において仮想効果音を提供するための装置が提供される。装置は、少なくとも1つのコントローラ及びオーディオ再生デバイスを含む。オーディオ再生デバイスは、オーディオ入力ソースからオーディオ入力信号を受信し、頭部伝達関数(HRTF)をオーディオ入力信号に適用するようにプログラムされた少なくとも1つのコントローラを含む。少なくとも1つのコントローラは、オーディオ入力信号にクロスロークキャンセルを適用し、オーディオ入力信号にHRTF及びクロストークキャンセルを適用した後に、オーディオ出力信号を生成するようにさらにプログラムされる。少なくとも1つのコントローラは、サラウンド音響体験を伴う聴取環境で再生するため、オーディオ出力信号を第1の隠蔽スピーカ及び第2の隠蔽スピーカに送信するようにさらにプログラムされる。
少なくとも1つの別の実施形態では、聴取環境において仮想効果音を提供するための方法が提供される。方法は、オーディオ再生デバイスにおいて、オーディオ入力ソースからオーディオ入力信号を受信すること及び少なくとも頭部伝達関数(HRTF)をオーディオ入力信号に適用することを含む。方法は、オーディオ入力信号にクロスロークキャンセルを適用すること、及びオーディオ入力信号にHRTF及びクロストークキャンセルを適用した後に、オーディオ出力信号を生成することをさらに含む。方法は、聴取環境に少なくとも1つの仮想スピーカの位置を生成して、物理的に聴取環境に位置する少なくとも1つの隠蔽スピーカがオーディオ出力信号を再生する間に、少なくとも1つの仮想スピーカがオーディオ出力信号を再生している効果を提供することをさらに含む。
本開示の実施形態は、添付の特許請求の範囲で詳細に指摘される。しかしながら、様々な実施形態の他の特徴は、添付の図面と併せて以下の詳細な説明を参照することによって、より明らかになり、最もよく理解されるであろう。
必要に応じて、本発明の詳細な実施形態が本明細書中に開示されるが、開示される実施形態は、さまざまな形式及び代替の形式で具現化され得る本発明の単なる例示にすぎないことを理解されたい。図は必ずしも縮尺通りではなく、一部の特徴は、特定の構成要素の詳細を示すために誇張または最小限に抑えられる場合がある。したがって、本明細書に開示される具体的な構造上の、そして機能上の詳細は、限定的と解釈されるべきではなく、本発明を様々に利用するために単に当業者に教示するための代表的な基礎として解釈されるべきである。
本明細書及び添付書類に開示するコントローラ/デバイスは、任意の数のマイクロプロセッサ、集積回路、メモリデバイス(たとえば、FLASH(登録商標)、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、電気的プログラム可能読み取り専用メモリ(EPROM)、電気的消去可能プログラム可能読み取り専用メモリ(EEPROM)、またはそれらの他の適切な変形)、及び本明細書に開示する動作(複数可)を実施するために互いに協働するソフトウェアを含み得ることを認識されたい。加えて、開示される係るコントローラは、開示される任意の数の機能を行うようにプログラムされる非一時的コンピュータ可読媒体内で具体化されるコンピュータプログラムを実行するために1つ以上のマイクロプロセッサを利用する。さらに、本明細書で提供されるコントローラ(複数可)は、ハウジングと、ハウジングの内部に配置される、様々な数のマイクロプロセッサ、集積回路、及びメモリデバイス(例えば、FLASH(登録商標)、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、電気的にプログラム可能な読み取り専用メモリ(EPROM)、電気的に消去可能なプログラム可能な読み取り専用メモリ(EEPROM))を含む。開示されるコントローラ(複数可)はまた、本明細書で論じられるような他のハードウェアベースのデバイスとの間でそれぞれデータを送受信するためのハードウェアベースの入力及び出力も含む。
図1は、全体として、一実施形態による、1つまたは複数のスピーカにより仮想効果音を提供するためのシステム100を示す。システム100は、一般に、オーディオ入力ソース102、頭部伝達関数(HRTF)ブロック104、クロストークキャンセルブロック106、及び少なくとも1つのスピーカ108(以下、「スピーカ108」または「スピーカ(複数)108」)を含む。一例では、少なくとも1つのスピーカ108(以下、「スピーカ108」または「スピーカ(複数)108」)は、壁内スピーカ(複数可)として定義され得、壁または他の障壁の後ろに置かれ得、聴取者に物理的に見られることから完全に隠蔽される(つまり、完全に不可視である)。追加的または代替的に、スピーカ108は、床または天井に置かれ得る。スピーカ108の不可視特性を参照するが、スピーカ108を覆うスピーカグリルもまた隠蔽されるかまたは不可視であり、聴取者に見えるのは壁、天井、または床だけであることが認識される。この場合、スピーカ108の実際の物理的位置に関して、聴取者に与えられる視覚的な手がかりはない。
オーディオ入力ソース102、HRTFブロック104、及びクロストークキャンセルブロック106は、オーディオ再生デバイス110などの単一のデバイスに組み込まれ得ることが認識される。あるいは、オーディオ再生デバイス100は、複数のデバイスに分散され得る。オーディオ再生デバイス110は、本明細書に開示される任意の数の動作を実行するため少なくとも1つのコントローラ103(「コントローラ121」)を含む。一例では、オーディオ再生デバイス110は、携帯電話(例えば、スマートフォン、i-Phone(登録商標)など)、手持ち式コンピュータ(例えば、携帯情報端末(「PDA」)など)、タブレット(たとえば、i-Pad(登録商標)など)、ポータブルオーディオデバイス(たとえば、i-Pad(登録商標)など)、またはそれらの他の適切な変形などのモバイルデバイスに対応することができるが、それらに限定されない。オーディオ再生デバイス110は、ホームオーディオシステム(例えば、テレビ、例えば、ブルーレイプレーヤなどのメディアプレーヤなど)に接続して、またはその件に関して、通常、サラウンドサウンド形式でオーディオを再生する任意のシステムのために使用され得ることも認識される。一般に、クロストークキャンセルブロック106は、残りのすべての標的位置で音を消去しながら、単一の標的位置で所望の信号を再現するように構成される。
オーディオ再生デバイス110はまた、聴取者がスピーカ(複数可)108に仮想位置を割り当てることができるようにするためのユーザインターフェース111を含む。本態様は、下記により詳細に説明される。オーディオ再生デバイス110は、オーディオデータの無線受信などの無線通信を容易にするため、及び/または聴取環境115で再生するためのスピーカ108へのオーディオデータの無線伝送を容易にするために、任意の数のトランシーバ112を含み得る。オーディオ再生デバイス110は、無線通信を容易にするために任意の数の無線プロトコルを利用することができる。例えば、無線プロトコルは、ブルートゥース(登録商標)、WiFi(登録商標)などを含み得る。オーディオ再生デバイス110は、オーディオデータのスピーカ108への伝送を可能にするコードを実行するためのコントローラ114を含む。オーディオデータは、wav、mp3、wmaなどのファイル形式の形態であり得るが、これらに限定されない。オーディオ再生デバイス110は、WiFi接続を介して、再生のために任意の数の前述のオーディオデータを取得して保存するためサーバ116に通信するようにさらに構成される。
オーディオ再生デバイス110はまた、オーディオ再生デバイス110がトランシーバ112の1つまたは複数を介して外部ソースからデータを受信するときに、データをスピーカ108に送信するように構成され得る。たとえば、オーディオ再生デバイス110は、周波数変調(FM)または振幅変調(AM)などを介してラジオ局(またはタワー)から放送されるオーディオデータを受信することができる。オーディオ再生デバイス110及びスピーカ108は、スピーカ108の少なくとも1つと統合され得、残りのスピーカ108と無線通信することができることも認識される。
オーディオ再生デバイス110は、サラウンドサウンド形式を利用するがこれに限定されない任意のシステムに実装され得る。オーディオ再生デバイス110は、仮想アップミキサーとして使用され、任意の数の人工マルチチャンネルソースを作成することができる。さまざまな非限定的な例には、5.1チャンネルまたは7.1チャンネルが含まれる。サラウンドサウンドに関しては、これには聴取者を囲むさまざまなスピーカが関わり得る。サラウンドサウンドには、1人または複数の聴取者を囲むスピーカからの複数のオーディオチャンネルを使用して、オーディオ再現の忠実度と深さを高める技術が含まれ得る。一般に、本明細書に開示される態様は、オーディオ再生デバイス108によって(例えば、HRTFブロック104及びクロストークキャンセルブロック106を介して)提供されるバーチャライザ109を提供して、目に見えるスピーカ108なしで完全なサラウンドサウンド体験を提供することができる。本明細書に開示される態様は、ドルビー(登録商標)、THX(登録商標)などであるがこれらに限定されない、任意の数のマルチチャンネル符号化技術に適用できることも認識される。
例えば、バーチャライザ109は、完全に較正されたマルチチャンネルオーディオシステムの同様の感覚を模倣するステレオ出力を提供するために、クロストークキャンセル(クロストークキャンセルブロック106を介して)及びHRTF(HRTFブロック108を介して)を含むブロックとして定義され得る。一例では、オーディオ入力ソース102は、オーディオ入力ソースをマルチチャンネルオーディオ(例えば、5.1、7.1など)に復号し得る。HRTFブロック104は、HRTFを利用して、オーディオオブジェクトを空間内の対応する位置に位置付けることができる。HRTFは一般に、音源からの音がユーザの鼓膜に到達する方法を記述する伝達関数に対応する。これには、聴取者の外耳の形状、聴取者の頭部と体の形状、及び周囲の音響特性に影響を与えることも含まれ得る。HRTFは、聴取者が音の方向を正確に認識できるかどうかにも影響を与える可能性がある。クロストークキャンセルブロック106は、ステレオ公差汚染項を消去して、聴取環境の音場を広げることができる。一般に、方向性キューを含むオーディオ信号は、聴取者の耳で再現される。ただし、クロストークはこれらのキューを不鮮明にし、音像定位に悪影響を与える可能性がある。したがって、クロストークキャンセルを使用して、スピーカ108から反対側の耳への音を最小限に抑えることができる。
図2は、一実施形態による、クロストークキャンセルとHRTFとを組み合わせる全体的な原理を示す。図2は、一般に、聴取者(またはユーザ)150の前に置かれる2つのスピーカ108a、108bを示している。第1及び第2のHRTF152a、152bも図2に示されている。一般に、HRTF152a、152bのそれぞれは、聴取者150の頭部の周りの物理的な伝播と散乱による異なる方向からの自由場における音声信号の線形フィルタリングに対応するか、またはそれを記載する。時間領域で表される場合、HRTF152a、152bは、頭部インパルス応答(HRIR)と呼ばれることもある。このようなHRIRは、特殊な音像定位キューを備えており、空間オーディオシステムの設計と再現に使用され得る。一般に、HRTF152a、152bは、壁、天井、及び床からの反射が測定されたインパルス応答に影響を与えるのを防ぐために実施及び測定されるフィルタリングに対応する。HRTF152a、152bは、最初に特徴付けまたは確立され(すなわち、または測定され)、次いで、HRTFブロック104内に符号化された形態で格納され得る。クロストークキャンセル及びHRTFを壁内(または隠蔽)スピーカ108と組み合わせるという概念は、スピーカ108が聴取者150から隠されている間、音響が任意の数の異なる方向で来るという効果を追加する。
図3は、一実施形態によるHRTFの測定の1つの概略図を示す。HRTFの測定は、天井、床、壁からの音の反射を防ぐため無響室で実施され得る。図2に示す聴取者150は、図3のダミーヘッド170に置き換えられている。この場合、2つのマイク(図示せず)が、ダミーヘッド170内に配置され、ダミーヘッド170がターンテーブル172上に配置される。ダミーヘッド170は、座標系の原点に固定することができる。次に、HRTFのさまざまな角度が聴取環境で測定され得る。HRTF(複数可)が取得されると、オーディオ再生デバイス112は、デジタルフィルタ(たとえば、HRTFブロック104)を利用して、図4により詳細に示すように、サラウンドサウンドのさまざまなチャンネルのスピーカ位置を仮想化できる。例えば、HRTFブロック104によってフィルタリングされる入力信号は、音像の方向を提供することができる。クロストークキャンセルを使用すると、実際のシステム及び環境内の現実のHRTFが除去される。この場合、HRTFブロック104を形成する設計されたHRTFデジタルフィルタが、聴取者(または製造者)の所望の仮想角度に従って開発及び実装され得る。
図4は、サラウンドサウンドシステムの実際のスピーカ108a、108bの位置と、仮想スピーカ200a~200eの位置を示している。一般に、仮想スピーカ200a~200eは、サラウンドサウンドシステムにおいて聴取者150によって知覚される音像に対応する。スピーカ108a、108bは、聴取者150のためにオーディオを実際に再生しているスピーカであり得る。しかしながら、HRTF(複数可)を提供するHRTFブロック104と、クロストークキャンセルを提供するクロストークキャンセルブロック106を利用して仮想スピーカ200a~200e(例えば、聴取者150によって知覚される音像)が生成される。例えば、仮想スピーカ200aは、聴取環境115内の左スピーカであると聴取者150によって知覚され得、仮想スピーカ200bは、聴取環境115内の中央スピーカであると聴取者150によって知覚され得、仮想スピーカ200cは、聴取者150によって聴取環境115内の右スピーカとして知覚され得、仮想スピーカ200dは、聴取者150によって聴取環境115内のサラウンド右スピーカとして知覚され得、仮想スピーカ200eは、聴取者150によって聴取環境115内のサラウンド左スピーカであると知覚され得る。
図4は、一般に、仮想スピーカ200a~200eが極座標系220(たとえば、0~360度)内に配置されていることを示している。したがって、オーディオ再生デバイス102は、聴取者150が、ユーザインターフェース111を介して極座標系220の任意の座標に対して仮想スピーカ200a~200eのそれぞれに位置を割り当てる能力を可能にすることができる。この場合、HRTFは、360度までのすべての単一(または1つ)の度数で測定され得る。聴取者150または設計者は、仮想位置(または仮想スピーカ200a~200e)として、1つの入力チャンネルごとに1つの角度を選択することができる。測定されたHRTFで選択された角度をクロストークキャンセルと組み合わせることにより、聴取者は、スピーカ108からではなく、仮想スピーカ200a~200eから来る音を知覚することができる。ユーザインターフェース111は、タッチ入力デバイス、マイクなどの音声コマンド回路(例えば、音声コマンドを電気入力信号に変換するマイク及び回路)、物理的スイッチ、または聴取者150が電気デバイスに情報を入力する能力を可能にする他の適切なデバイスの形態であり得ることが認識される。一例では、ユーザインターフェース111は、その画面上に極座標系220をグラフで描写することができ、聴取者150は、必要に応じて、システム220に示されるように、対応する仮想スピーカ200a~200eを特定の座標に単に割り当てることができる。本明細書に開示される態様は、サラウンド標準(例えば、ドルビーまたはデジタルシアターシステム(DTS)サラウンドスピーカ位置)によって示されるデフォルト位置または提供された各オーディオソースに対するカスタムユーザ入力(複数可)の読み取りのいずれかとして、音の投影位置を変更し得ることが認識される。
上記のように、より広い音場の知覚を達成するために、オーディオ再生デバイス110は、クロストークキャンセルブロック106を利用して、クロストークキャンセルを実施することができる。したがって、G(rk)がk番目のスピーカと最適化された位置rとの間のクロストークキャンセル関数として機能すると仮定する。2つの耳で受信される信号はsで与えられる。
s=Hq 式(1)
式中、Hは聴取者150の耳とスピーカ108a、108bとの間の伝達関数であり、qはソース強度であり、次のように書くことができる。
q=Gd 式(2)
式中、GはG(rk)の行列であり、dは入力信号である。入力信号と受信信号の間の誤差は、次のようになり得る。
e=d-s 式(3)
誤差信号eを最小化するために、Gは次の式で与えられる。
G=[HHH]-1HH 式(4)
オーディオオブジェクトを空間内の対応する場所に位置付けるため、式(4)は、次のように変更され得る。
GT=CF[HHH]-1HH 式(5)
GT=CF[HHH]-1HH 式(5)
式中、CFは、頭部伝達関数の行列である。
図5及び6は、一実施形態によるスピーカの配置の前面及び背面の音響面の一例を示している。このような音響面は、アクチュエータを使用した解決策と見なすことができる。アクチュエータは、振動を表面に伝達して音を送達することができる。一般に、アクチュエータは、入力信号に基づいて振動を生成するように構成されるドライバに対応し得る。このようなアクチュエータは、振動して最終的に音響を送達する表面に接続され得る。この実装は、さまざまな利点を提供し得る。たとえば、音は表面から来る。したがって、スピーカ108内にドライバを隠し、聴取環境の壁内にスピーカ108を埋め込み、それによって不可視スピーカを作成することが可能である。視覚モダリティがしばしば聴覚からの情報に影響を与えることを示唆し得る空間クロスモデルに関して、空間感覚が音響によって影響を受けるように、スピーカ108は任意の配線とともに隠され得る。したがって、スピーカ108に仮想サラウンドオーディオが提示される場合、結果として得られるオーディオ体験は、映画館で映画を見るのに匹敵し得る。スピーカの放射面のサイズがかなり大きいため、これはサウンドバーやテレビよりも有利な場合があり、サウンドステージは広くて没入感がある。視覚が聴取者に聞こえるものを支配することを示す研究がある。したがって、視覚は聴覚よりも統合ローカリゼーションに大きな影響を及ぼす。ただし、聴取者がスピーカを認識せず、スピーカの配線が隠されている場合、音像定位は音、または望ましくはHRTFとクロストークキャンセルを使用した仮想音像によって支配され得る。
図7は、一実施形態による、聴取環境302におけるスピーカ配置300を示している。配置300において、オーディオ再生デバイス110は、オーディオデータを再生するためにテレビ受像機312内に置かれ得る。オーディオ再生デバイス110は、オーディオデータを提供するために一般的に配置されるより大きなデバイス内に置かれ得ることが認識される。音響面310a、310bは、それぞれ、スピーカ108a、108bの前面に置かれ得る。オーディオ再生デバイス110内のバーチャライザ109を音響面310a、310bと組み合わせることにより、配置300は、例えば、最小のセットアップ手順を備えた完全に没入型のオーディオサラウンドサウンドセットアップであり得、環境302内に視覚的かつ前向きな物理的影響を提供し得る。図示のように、仮想スピーカ200a~200eは壁内に埋め込まれており、聴取者150には見えない。
図8は、一実施形態による、聴取環境115内に仮想効果音を提供するための方法400を示す。動作402では、オーディオ再生デバイス110は、オーディオ入力ソース102からオーディオ入力信号を受信する。上記のように、オーディオ入力ソース102は、オーディオ再生デバイス110の外部にあり得ることが認識される。別の例では、オーディオ入力ソース102は、オーディオ再生デバイス110の内部にあってもよい。
動作404では、オーディオ再生デバイス110は、HRTFをオーディオ入力信号に適用する。動作406では、オーディオ再生デバイス110は、クロストークキャンセルをオーディオ入力信号に適用する。動作408では、オーディオ再生デバイス110は、HRTF及びクロストークキャンセルをオーディオ入力信号に適用した後、オーディオ出力信号を生成する。動作410では、オーディオ再生デバイス110は、聴取環境115内に少なくとも1つの仮想スピーカ200a~200eの位置を生成して、聴取環境115内のスピーカ108が、オーディオ出力信号を再生する間、少なくとも1つの仮想スピーカ200a~200eがオーディオ出力信号を再生している効果を提供する。
例示的な実施形態が上述されたが、これらの実施形態が本発明のすべての可能な形式を説明することは意図されていない。むしろ、明細書で使用する言葉は限定ではなく説明のための言葉であり、本発明の趣旨及び範囲から逸脱することなく多様な変更が成され得ることが理解される。加えて、種々の実現実施形態の特徴は、本発明の別の実施形態を形成するために組み合わせることができる。
Claims (20)
- 聴取環境で仮想効果音を提供するための装置であって、
少なくとも1つのコントローラと、
オーディオ再生デバイスであって、
オーディオ入力ソースからオーディオ入力信号を受信することと、
頭部伝達関数(HRTF)を前記オーディオ入力信号に適用することと、
前記オーディオ入力信号にクロストークキャンセルを適用することと、
前記HRTF及び前記クロストークキャンセルを前記オーディオ入力信号に適用した後、前記聴取環境において聴取者には見えない少なくとも1つのスピーカによる再生のために、オーディオ出力信号を生成することと、を実行するようにプログラムされている、前記少なくとも1つのコントローラを含むオーディオ再生デバイスと、を備える、前記装置。 - 前記オーディオ再生デバイスが、前記HRTF及び前記クロストークキャンセルを前記オーディオ入力信号に適用する前に、前記オーディオ入力信号のマルチ入力チャンネルをマルチチャンネルオーディオに復号するようにさらにプログラムされている、請求項1に記載の装置。
- 前記オーディオ再生デバイスが、サラウンドサウンドシステムのための前記マルチ入力チャンネルを復号するようにさらにプログラムされている、請求項2に記載の装置。
- 前記オーディオ再生デバイスが、仮想スピーカの位置を示す入力を受信するためのユーザインターフェースを含んで、前記聴取者が前記仮想スピーカの位置で前記オーディオ出力信号を受信しているという知覚を提供する、請求項1に記載の装置。
- 前記入力が、極座標系における前記仮想スピーカの位置に対応する、請求項4に記載の装置。
- 前記オーディオ再生デバイスが、モバイルデバイス、ラップトップ、タブレット、テレビ、またはメディアプレーヤのうちの1つである、請求項1に記載の装置。
- 前記少なくとも1つのスピーカが、壁、天井、及び床のうちの1つに置かれて、前記少なくとも1つのスピーカが前記聴取者に見えないようにする、請求項1に記載の装置。
- 聴取環境で仮想効果音を提供するための装置であって、
少なくとも1つのコントローラと、
オーディオ再生デバイスであって、
オーディオ入力ソースからオーディオ入力信号を受信することと、
少なくとも頭部伝達関数(HRTF)を前記オーディオ入力信号に適用することと、
前記オーディオ入力信号にクロストークキャンセルを適用することと、
前記HRTF及び前記クロストークキャンセルを前記オーディオ入力信号に適用した後、オーディオ出力信号を生成することと、
サラウンドサウンド体験を備えた前記聴取環境で再生するために前記オーディオ出力信号を第1の隠蔽スピーカと第2の隠蔽スピーカとに送信することと、
を実行するようにプログラムされている前記少なくとも1つのコントローラを含むオーディオ再生デバイスと、を備える、前記装置。 - 前記オーディオ再生デバイスが、
前記HRTF及び前記クロストークキャンセルを前記オーディオ入力信号に適用する前に、前記オーディオ入力信号のマルチ入力チャンネルをマルチチャンネルオーディオに復号するようにさらにプログラムされている、請求項8に記載の装置。 - 前記オーディオ再生デバイスが、サラウンドサウンドシステムのための前記マルチ入力チャンネルを復号するようにさらにプログラムされている、請求項9に記載の装置。
- 前記オーディオ再生デバイスが、仮想スピーカの位置を示す入力を受信するためのユーザインターフェースを含んで、前記聴取者が前記仮想スピーカの位置で前記オーディオ出力信号を受信しているという知覚を提供する、請求項8に記載の装置。
- 前記入力が、極座標系における前記仮想スピーカの位置に対応する、請求項11に記載の装置。
- 前記オーディオ再生デバイスが、モバイルデバイス、ラップトップ、タブレット、テレビ、またはメディアプレーヤのうちの1つである、請求項8に記載の装置。
- 前記第1の隠蔽スピーカ及び前記第2の隠蔽スピーカのうちの少なくとも一方が、壁、天井、及び床のうちの1つに置かれて、前記第1の隠蔽スピーカ及び前記第2の隠蔽スピーカの少なくとも一方を前記聴取者に対して隠蔽されるようにする、請求項8に記載の装置。
- 聴取環境で仮想効果音を提供するための方法であって、
オーディオ入力ソースからオーディオ再生デバイスでオーディオ入力信号を受信することと、
少なくとも頭部伝達関数(HRTF)を前記オーディオ入力信号に適用することと、
前記オーディオ入力信号にクロストークキャンセルを適用することと、
前記HRTF及び前記クロストークキャンセルを前記オーディオ入力信号に適用した後、オーディオ出力信号を生成することと、
前記聴取環境で少なくとも1つの仮想スピーカの位置を生成して、前記聴取環境に物理的に配置される少なくとも1つの隠蔽スピーカが前記オーディオ出力信号を再生する間、前記少なくとも1つの仮想スピーカが前記オーディオ出力信号を再生しているという効果を提供することと、を含む、前記方法。 - 前記HRTF及び前記クロストークキャンセルを前記オーディオ入力信号に適用する前に、前記オーディオ入力信号のマルチ入力チャンネルをマルチチャンネルオーディオに復号することをさらに含む、請求項15に記載の方法。
- 前記マルチ入力チャンネルを復号することが、サラウンドサウンドシステムのための前記マルチ入力チャンネルを復号することをさらに含む、請求項16に記載の方法。
- 前記少なくとも1つの仮想スピーカの位置を示すユーザインターフェースを介して入力を受信することをさらに含む、請求項15に記載の方法。
- 前記入力が、極座標系における前記仮想スピーカの位置に対応する、請求項18に記載の方法。
- 前記少なくとも1つの不可視スピーカが、壁、天井、及び床のうちの1つに置かれる、請求項15に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962955844P | 2019-12-31 | 2019-12-31 | |
US62/955,844 | 2019-12-31 | ||
PCT/US2020/067466 WO2021138421A1 (en) | 2019-12-31 | 2020-12-30 | System and method for virtual sound effect with invisible loudspeaker(s) |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023508901A true JP2023508901A (ja) | 2023-03-06 |
Family
ID=74206234
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022537483A Pending JP2023508901A (ja) | 2019-12-31 | 2020-12-30 | 不可視スピーカによる仮想効果音のためのシステムと方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230011591A1 (ja) |
EP (1) | EP4085662A1 (ja) |
JP (1) | JP2023508901A (ja) |
KR (1) | KR20220120587A (ja) |
CN (1) | CN115280799A (ja) |
WO (1) | WO2021138421A1 (ja) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050060789A (ko) * | 2003-12-17 | 2005-06-22 | 삼성전자주식회사 | 가상 음향 재생 방법 및 그 장치 |
CN1937854A (zh) * | 2005-09-22 | 2007-03-28 | 三星电子株式会社 | 用于再现双声道虚拟声音的装置和方法 |
JP5245368B2 (ja) * | 2007-11-14 | 2013-07-24 | ヤマハ株式会社 | 仮想音源定位装置 |
TW200926803A (en) * | 2007-12-11 | 2009-06-16 | Digimedia Technology Co Ltd | LCD TV with built-in hidden speaker |
US8620009B2 (en) * | 2008-06-17 | 2013-12-31 | Microsoft Corporation | Virtual sound source positioning |
UA101542C2 (ru) * | 2008-12-15 | 2013-04-10 | Долби Лабораторис Лайсензин Корпорейшн | Виртуализатор окружающего звука с динамическим сжатием диапазона и способ |
CN105027580B (zh) * | 2012-11-22 | 2017-05-17 | 雷蛇(亚太)私人有限公司 | 用于输出修改的音频信号的方法 |
US20190075397A1 (en) * | 2017-09-06 | 2019-03-07 | Giuseppe RIGGI | Calibration of in-wall speakers |
-
2020
- 2020-12-30 KR KR1020227022376A patent/KR20220120587A/ko unknown
- 2020-12-30 US US17/788,452 patent/US20230011591A1/en active Pending
- 2020-12-30 CN CN202080091222.2A patent/CN115280799A/zh active Pending
- 2020-12-30 JP JP2022537483A patent/JP2023508901A/ja active Pending
- 2020-12-30 EP EP20845542.8A patent/EP4085662A1/en active Pending
- 2020-12-30 WO PCT/US2020/067466 patent/WO2021138421A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
KR20220120587A (ko) | 2022-08-30 |
EP4085662A1 (en) | 2022-11-09 |
CN115280799A (zh) | 2022-11-01 |
WO2021138421A1 (en) | 2021-07-08 |
US20230011591A1 (en) | 2023-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3092824B1 (en) | Calibration of virtual height speakers using programmable portable devices | |
US10757529B2 (en) | Binaural audio reproduction | |
AU2001239516B2 (en) | System and method for optimization of three-dimensional audio | |
CN107454511B (zh) | 用于使声音从观看屏幕或显示表面反射的扬声器 | |
US9271102B2 (en) | Multi-dimensional parametric audio system and method | |
JP6450780B2 (ja) | 反射音レンダリングのために上方発射ドライバをもつオーディオ・スピーカー | |
JP5992409B2 (ja) | 音再生のためのシステム及び方法 | |
US20150208190A1 (en) | Bi-directional interconnect for communication between a renderer and an array of individually addressable drivers | |
US8867749B2 (en) | Acoustic spatial projector | |
US9769585B1 (en) | Positioning surround sound for virtual acoustic presence | |
AU2001239516A1 (en) | System and method for optimization of three-dimensional audio | |
EP2589231A1 (en) | Facilitating communications using a portable communication device and directed sound output | |
JP2013535894A5 (ja) | ||
WO2022004421A1 (ja) | 情報処理装置、出力制御方法、およびプログラム | |
CN111316670B (zh) | 于音频回放中创建串扰消除区域的系统及方法 | |
US10440495B2 (en) | Virtual localization of sound | |
US11102604B2 (en) | Apparatus, method, computer program or system for use in rendering audio | |
US20230011591A1 (en) | System and method for virtual sound effect with invisible loudspeaker(s) | |
EP3726858A1 (en) | Lower layer reproduction | |
WO2023131399A1 (en) | Apparatus and method for multi device audio object rendering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231207 |