JP7449856B2 - 複合現実空間オーディオ - Google Patents

複合現実空間オーディオ Download PDF

Info

Publication number
JP7449856B2
JP7449856B2 JP2020521454A JP2020521454A JP7449856B2 JP 7449856 B2 JP7449856 B2 JP 7449856B2 JP 2020521454 A JP2020521454 A JP 2020521454A JP 2020521454 A JP2020521454 A JP 2020521454A JP 7449856 B2 JP7449856 B2 JP 7449856B2
Authority
JP
Japan
Prior art keywords
acoustic
audio
user
parameter
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020521454A
Other languages
English (en)
Other versions
JP2020537849A (ja
Inventor
ブライアン ロイド シュミット，
ジェハンギール タジク，
ジャン－マルク ジョット，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2020537849A publication Critical patent/JP2020537849A/ja
Priority to JP2022194759A priority Critical patent/JP2023021243A/ja
Application granted granted Critical
Publication of JP7449856B2 publication Critical patent/JP7449856B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H04S7/306—For headphones
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Steroid Compounds (AREA)
  • Holo Graphy (AREA)

Description

（関連出願の相互参照）
本願は、その両方の内容が、あらゆる目的のためにそれらの全体として参照することによって本明細書に組み込まれる、２０１７年１０月１７日に出願された米国仮特許出願第６２／５７３，４４８号および２０１８年２月１５日に出願された米国仮特許出願第６２／６３１，４１８号の３５Ｕ．Ｓ．Ｃ．§１１９（ｅ）の下の利益を請求する。
本開示は、一般に、オーディオ信号を提示するためのシステムおよび方法に関し、特に、オーディオ信号を複合現実環境のユーザに提示するためのシステムおよび方法に関する。
仮想環境は、コンピューティング環境内に遍在し、ビデオゲーム（仮想環境が、ゲームの世界を表し得る）、マップ（仮想環境が、ナビゲートされるべき地形を表し得る）、シミュレーション（仮想環境が、現実環境をシミュレートし得る）、デジタルストーリーテリング（仮想キャラクタが、仮想環境内で相互と相互作用し得る）、および多くの他の用途における使用を見出す。現代のコンピュータユーザは、概して、仮想環境を知覚し、それと相互作用することを快適に感じる。しかしながら、仮想環境に関するユーザの体験は、仮想環境を提示するための技術によって限定され得る。例えば、従来の表示（例えば、２Ｄ表示画面）およびオーディオシステム（例えば、固定スピーカ）は、説得力のある現実的で没入型の体験を作成する方法では仮想環境を実現することが不可能であり得る。
仮想現実（「ＶＲ」）、拡張現実（「ＡＲ」）、複合現実（「ＭＲ」）、および関連技術（集合的に「ＸＲ」）は、コンピュータシステム内のデータによって表される仮想環境に対応する感覚情報をＸＲシステムのユーザに提示する能力を共有する。そのようなシステムは、仮想視覚およびオーディオ合図を実際の視覚および音声と組み合わせることによって、特有に高められた没入感および現実感を提供することができる。故に、音声が、ユーザの現実環境内で、自然に一貫してユーザの音声の期待に応えて発生していると考えられるように、デジタル音声をＸＲシステムのユーザに提示することが望ましくあり得る。一般的に言えば、ユーザは、仮想音声が、それらが聞かれる現実環境の音響性質を帯びるであろうことを期待する。例えば、広いコンサートホール内のＸＲシステムのユーザは、ＸＲシステムの仮想音声が広い洞窟のような音質を有することを期待し、逆に、小さいアパート内のユーザは、音声がより減衰され、接近し、直近にあることを期待するであろう。
既存の技術は、多くの場合、ユーザの周囲を考慮しない仮想オーディオを提示し、ユーザ体験を侵害し得る非真正性の感覚につながること等によって、これらの期待に及ばない。ＸＲシステムのユーザの観察は、ユーザが仮想コンテンツと現実環境との間の視覚的不一致（例えば、照明の矛盾）を比較的に許し得る一方で、ユーザが聴覚的不一致に対してより敏感であり得ることを示す。我々の生活の全体を通して連続的に精緻化される、我々の独自の聴覚体験は、我々の物理的環境が、我々に聞こえる音声に影響を及ぼす程度を我々に実際に意識させることができ、我々は、これらの期待と矛盾する音声を非常に意識することができる。ＸＲシステムを用いると、そのような矛盾は、不快であり得、没入型で説得力のある体験を見た目だけの模倣的なものに変え得る。極端な実施例では、聴覚矛盾は、内耳が聴覚刺激をそれらの対応する視覚合図と調和させることができないため、乗り物酔いおよび他の悪影響を引き起こし得る。
本発明は、ユーザの現実環境の側面に基づいて、１つ以上の再生パラメータを組み込む音声の提示を伴って、仮想音声をユーザに提示することによって、これらの欠点に対処することを対象とする。例えば、提示は、残響の１つ以上のパラメータが、部屋の体積または部屋の壁の材料等のユーザの現実環境の属性に依存する、シミュレートされた残響効果を組み込むことができる。ユーザの物理的環境の特性を考慮することによって、本明細書に説明されるシステムおよび方法は、仮想音声がその環境内で自然に生成された実際の音声であった場合、ユーザによって聞かれるであろうものをシミュレートすることができる。音声が現実世界内で挙動する方法に忠実である様式で仮想音声を提示することによって、ユーザは、複合現実環境への高められた連帯感を体験し得る。同様に、ユーザの移動および環境に応答する場所認識仮想コンテンツを提示することによって、コンテンツは、より主観的、双方向性、および現実的となり、例えば、点Ａにおけるユーザの体験は、点Ｂにおけるその体験と完全に異なり得る。この向上された現実感および双方向性は、空間認識オーディオを使用し、ゲームプレイ、社会的特徴、または双方向挙動の新規の形態を可能にするもの等の複合現実の新しい適用のための基礎を提供することができる。
オーディオ信号を複合現実環境のユーザに提示するシステムおよび方法が、開示される。例示的方法によると、複合現実環境と関連付けられるオーディオイベントが、検出される。オーディオイベントは、第１のオーディオ信号と関連付けられる。複合現実環境に対するユーザの場所が、決定される。ユーザの場所と関連付けられる音響領域が、識別される。第１の音響領域と関連付けられる第１の音響パラメータが、決定される。伝達関数が、第１の音響パラメータを使用して決定される。伝達関数は、第２のオーディオ信号を生成するように第１のオーディオ信号に適用され、これは、次いで、ユーザに提示される。
本明細書は、例えば、以下の項目も提供する。
（項目１）
オーディオ信号を複合現実環境のユーザに提示する方法であって、前記方法は、
前記複合現実環境と関連付けられるオーディオイベントを検出することであって、前記オーディオイベントは、第１のオーディオ信号と関連付けられる、ことと、
前記複合現実環境に対する前記ユーザの場所を決定することと、
前記ユーザの場所と関連付けられる第１の音響領域を識別することと、
前記第１の音響領域と関連付けられる第１の音響パラメータを決定することと、
前記第１の音響パラメータを使用して、伝達関数を決定することと、
前記伝達関数を前記第１のオーディオ信号に適用し、第２のオーディオ信号を生成することと、
前記ユーザに前記第２のオーディオ信号を提示することと
を含む、方法。
（項目２）
前記第１のオーディオ信号は、波形オーディオファイルを備える、項目１に記載の方法。
（項目３）
前記第１のオーディオ信号は、ライブオーディオストリームを備える、項目１に記載の方法。
（項目４）
前記ユーザは、１つ以上のセンサと、前記複合現実環境の視界を提示するように構成されるディスプレイとを備えるウェアラブルシステムと関連付けられ、
前記第１の音響領域を識別することは、前記１つ以上のセンサから第１のセンサ入力を検出し、前記第１の音響領域が前記第１のセンサ入力に基づくことを識別することを含む、項目１に記載の方法。
（項目５）
前記第１の音響パラメータを決定することは、前記１つ以上のセンサから第２のセンサ入力を検出し、前記第１の音響パラメータが前記第２のセンサ入力に基づくことを決定することを含む、項目４に記載の方法。
（項目６）
前記第１の音響パラメータを決定することはさらに、前記第２のセンサ入力に基づいて、前記音響領域の幾何学的特性を識別し、前記第１の音響パラメータが前記幾何学的特性に基づくことを決定することを含む、項目５に記載の方法。
（項目７）
前記第１の音響パラメータを決定することはさらに、前記第２のセンサ入力に基づいて、前記音響領域の関連付けられる材料を識別し、前記第１の音響パラメータが前記材料に基づくことを決定することを含む、項目５に記載の方法。
（項目８）
前記ウェアラブルシステムはさらに、マイクロホンを備え、前記マイクロホンは、前記第１の音響領域内に位置し、前記第１の音響パラメータは、前記マイクロホンによって検出される信号に基づいて決定される、項目４に記載の方法。
（項目９）
前記第１の音響パラメータは、残響パラメータに対応する、項目１に記載の方法。
（項目１０）
前記第１の音響パラメータは、フィルタリングパラメータに対応する、項目１に記載の方法。
（項目１１）
第２の音響領域を識別することであって、前記第２の音響領域は、前記第１の音響領域に音響的に結合される、ことと、
前記第２の音響領域と関連付けられる第２の音響パラメータを決定することと
をさらに含み、
前記伝達関数は、前記第２の音響パラメータを使用して決定される、項目１に記載の方法。
（項目１２）
システムであって、
ウェアラブルヘッドギアユニットであって、
複合現実環境の視界を提示するように構成されるディスプレイと、
スピーカと、
１つ以上のセンサと、
回路であって、前記回路は、
前記複合現実環境と関連付けられるオーディオイベントを検出することであって、前記オーディオイベントは、第１のオーディオ信号と関連付けられる、ことと、
前記１つ以上のセンサに基づいて、前記複合現実環境に対する前記ウェアラブルヘッドギアユニットの場所を決定することと、
前記ユーザの場所と関連付けられる第１の音響領域を識別することと、
前記第１の音響領域と関連付けられる第１の音響パラメータを決定することと、
前記第１の音響パラメータを使用して、伝達関数を決定することと、
前記伝達関数を前記第１のオーディオ信号に適用し、第２のオーディオ信号を生成することと、
前記スピーカを介して前記ユーザに前記第２のオーディオ信号を提示することと
を含む方法を実施するように構成される、回路と
を含む、ウェアラブルヘッドギアユニット
を備える、システム。
（項目１３）
前記第１のオーディオ信号は、波形オーディオファイルを備える、項目１２に記載のシステム。
（項目１４）
前記第１のオーディオ信号は、ライブオーディオストリームを備える、項目１２に記載のシステム。
（項目１５）
前記第１の音響領域を識別することは、前記１つ以上のセンサから第１のセンサ入力を検出し、前記第１の音響領域が前記第１のセンサ入力に基づくことを識別することを含む、項目１２に記載のシステム。
（項目１６）
前記第１の音響パラメータを決定することは、前記１つ以上のセンサから第２のセンサ入力を検出し、前記第１の音響パラメータが前記第２のセンサ入力に基づくことを決定することを含む、項目１５に記載のシステム。
（項目１７）
前記第１の音響パラメータを決定することはさらに、前記第２のセンサ入力に基づいて、前記音響領域の幾何学的特性を識別し、前記第１の音響パラメータが前記幾何学的特性に基づくことを決定することを含む、項目１６に記載のシステム。
（項目１８）
前記第１の音響パラメータを決定することはさらに、前記第２のセンサ入力に基づいて、前記音響領域の関連付けられる材料を識別し、前記第１の音響パラメータが前記材料に基づくことを決定することを含む、項目１６に記載のシステム。
（項目１９）
前記第１の音響パラメータは、前記マイクロホンによって検出される信号に基づいて決定される、項目１５に記載のシステム。
（項目２０）
前記第１の音響パラメータは、残響パラメータに対応する、項目１２に記載のシステム。
（項目２１）
前記第１の音響パラメータは、フィルタリングパラメータに対応する、項目１２に記載のシステム。
（項目２２）
第２の音響領域を識別することであって、前記第２の音響領域は、前記第１の音響領域に音響的に結合される、ことと、
前記第２の音響領域と関連付けられる第２の音響パラメータを決定することと
をさらに含み、
前記伝達関数は、前記第２の音響パラメータを使用して決定される、項目１２に記載のシステム。
（項目２３）
拡張現実システムであって、
位置特定サブシステムであって、前記位置特定サブシステムは、前記拡張現実システムが位置する第１の空間の識別を決定するように構成される、位置特定サブシステムと、
通信サブシステムであって、前記通信サブシステムは、前記拡張現実システムが位置する前記第１の空間の識別を通信するように構成され、前記第１の空間と関連付けられるオーディオパラメータを受信するようにさらに構成される、通信サブシステムと、
オーディオ出力サブシステムであって、前記オーディオ出力サブシステムは、前記オーディオパラメータに基づいてオーディオセグメントを処理するように構成され、前記オーディオセグメントを出力するようにさらに構成される、オーディオ出力サブシステムと
を備える、拡張現実システム。
（項目２４）
拡張現実システムであって、
センササブシステムであって、前記センササブシステムは、前記拡張現実システムの場所に対応する第１の空間の音響性質と関連付けられる情報を決定するように構成される、センササブシステムと、
オーディオ処理サブシステムであって、前記オーディオ処理サブシステムは、前記情報に基づいてオーディオセグメントを処理するように構成され、前記オーディオ処理サブシステムは、前記センササブシステムに通信可能に結合される、オーディオ処理サブシステムと、
前記オーディオセグメントを提示するためのスピーカであって、前記スピーカは、前記オーディオ処理サブシステムに結合される、スピーカと
を備える、拡張現実システム。
（項目２５）
前記センササブシステムはさらに、前記第１の空間のための幾何学情報を決定するように構成される、項目２４に記載の拡張現実システム。
（項目２６）
前記センササブシステムは、カメラを備える、項目２４に記載の拡張現実システム。
（項目２７）
前記センササブシステムは、明確に異なる吸音性質を有するオブジェクトを認識するように構成されるオブジェクト認識装置を備える、項目２４に記載の拡張現実システム。
（項目２８）
前記センササブシステムは、マイクロホンを備える、項目２４に記載の拡張現実システム。
図１Ａ－１Ｃは、本開示の１つ以上の実施例による、例示的複合現実環境を図示する。 図１Ａ－１Ｃは、本開示の１つ以上の実施例による、例示的複合現実環境を図示する。 図１Ａ－１Ｃは、本開示の１つ以上の実施例による、例示的複合現実環境を図示する。
図２は、本開示の１つ以上の実施例による、例示的複合現実システムの例示的ウェアラブルヘッドユニットを図示する。
図３Ａは、本開示の１つ以上の実施例による、入力を複合現実環境に提供するために使用され得る、例示的複合現実ハンドヘルドコントローラを図示する。
図３Ｂは、本開示の１つ以上の実施例による、例示的複合現実システム内に含まれ得る例示的補助ユニットを図示する。
図４は、本開示の１つ以上の実施例による、例示的複合現実システムの例示的機能ブロック図を図示する。
図５は、本開示の１つ以上の実施例による、例示的複合現実システムのコンポーネントの例示的構成を図示する。
図６は、本開示の１つ以上の実施例による、複合現実システム内でオーディオ信号を提示するための例示的プロセスのフローチャートを図示する。
図７－８は、本開示の１つ以上の実施例による、複合現実システムの部屋の音響パラメータを決定するための例示的プロセスのフローチャートを図示する。 図７－８は、本開示の１つ以上の実施例による、複合現実システムの部屋の音響パラメータを決定するための例示的プロセスのフローチャートを図示する。
図９は、本開示の１つ以上の実施例による、複合現実環境内の音響的に結合された部屋の実施例を図示する。
図１０は、本開示の１つ以上の実施例による、音響グラフ構造の実施例を図示する。
図１１は、本開示の１つ以上の実施例による、複合現実システムの音響環境の複合音響パラメータを決定するための例示的プロセスのフローチャートを図示する。
図１２－１４は、本開示の１つ以上の実施例による、例示的ウェアラブル複合現実システムのコンポーネントを図示する。 図１２－１４は、本開示の１つ以上の実施例による、例示的ウェアラブル複合現実システムのコンポーネントを図示する。 図１２－１４は、本開示の１つ以上の実施例による、例示的ウェアラブル複合現実システムのコンポーネントを図示する。
図１５は、本開示の１つ以上の実施例による、例示的複合現実システムのコンポーネントの例示的構成を図示する。
図１６－２０は、本開示の１つ以上の実施例による、オーディオ信号を複合現実システムのユーザに提示するための例示的プロセスのフローチャートを図示する。 図１６－２０は、本開示の１つ以上の実施例による、オーディオ信号を複合現実システムのユーザに提示するための例示的プロセスのフローチャートを図示する。 図１６－２０は、本開示の１つ以上の実施例による、オーディオ信号を複合現実システムのユーザに提示するための例示的プロセスのフローチャートを図示する。 図１６－２０は、本開示の１つ以上の実施例による、オーディオ信号を複合現実システムのユーザに提示するための例示的プロセスのフローチャートを図示する。 図１６－２０は、本開示の１つ以上の実施例による、オーディオ信号を複合現実システムのユーザに提示するための例示的プロセスのフローチャートを図示する。
図２１は、本開示の１つ以上の実施例による、複合現実システムのユーザの場所を決定するための例示的プロセスのフローチャートを図示する。
以下の実施例の説明では、これの一部を形成し、例証として、実践され得る具体的実施例が示される、付随する図面が参照される。他の実施例が使用され得、構造の変更が、開示される実施例の範囲から逸脱することなく行われ得ることを理解されたい。
複合現実環境
全ての人々のように、複合現実システムのユーザは、現実環境、すなわち、「現実世界」の３次元部分、およびユーザによって知覚可能であるそのコンテンツの全ての中に存在する。例えば、ユーザは、その通常の人間の感覚、すなわち、視覚、音声、触覚、味覚、嗅覚を使用して、現実環境を知覚し、現実環境内でその独自の身体を動かすことによって現実環境と相互作用する。現実環境内の場所は、座標空間内の座標として説明されることができ、例えば、座標は、緯度、経度、および海面に対する高度、基準点からの３つの直交次元内の距離、または他の好適な値を備えることができる。同様に、ベクトルは、座標空間内の方向および規模を有する数量を説明することができる。
コンピューティングデバイスは、例えば、デバイスと関連付けられるメモリ内に、仮想環境の表現を維持することができる。本明細書で使用されるように、仮想環境は、３次元空間のコンピュータによる表現である。仮想環境は、オブジェクト、アクション、信号、パラメータ、座標、ベクトル、またはその空間と関連付けられる他の特性の表現を含むことができる。いくつかの実施例では、コンピューティングデバイスの回路（例えば、プロセッサ）は、仮想環境の状態を維持および更新することができ、例えば、プロセッサは、第１の時間ｔ０において、仮想環境と関連付けられるデータおよび／またはユーザによって提供される入力に基づいて、第２の時間ｔ１における仮想環境の状態を決定することができる。例えば、仮想環境内のオブジェクトが、時間ｔ０において第１の座標に位置し、あるプログラムされた物理的パラメータ（例えば、質量、摩擦係数）を有し、ユーザから受信される入力が、力が方向ベクトルにおいてオブジェクトに印加されるべきであることを示す場合、プロセッサは、運動学の法則を適用し、基礎力学を使用して、時間ｔ１におけるオブジェクトの場所を決定することができる。プロセッサは、仮想環境について公知である任意の好適な情報および／または任意の好適な入力を使用し、時間ｔ１における仮想環境の状態を決定することができる。仮想環境の状態を維持および更新する際に、プロセッサは、仮想環境内の仮想オブジェクトの作成および削除に関するソフトウェア、仮想環境内の仮想オブジェクトまたはキャラクタの挙動を定義するためのソフトウェア（例えば、スクリプト）、仮想環境内の信号（例えば、オーディオ信号）の挙動を定義するためのソフトウェア、仮想環境と関連付けられるパラメータを作成および更新するためのソフトウェア、仮想環境内のオーディオ信号を生成するためのソフトウェア、入力および出力を取り扱うためのソフトウェア、ネットワーク動作を実施するためのソフトウェア、アセットデータ（例えば、経時的に仮想オブジェクトを移動させるためのアニメーションデータ）を適用するためのソフトウェア、または多くの他の可能性を含む、任意の好適なソフトウェアを実行することができる。
ディスプレイまたはスピーカ等の出力デバイスは、仮想環境の側面をユーザに提示することができる。例えば、仮想環境は、ユーザに視覚的に提示され得る仮想オブジェクト（オブジェクト、人、動物、ライト等の表現を含み得る）を含んでもよい。プロセッサは、仮想環境の視界（例えば、原点座標、視認軸、および錐台を伴うカメラに対応する）を決定し、その視界に対応する仮想環境の視認可能な場面をディスプレイにレンダリングすることができる。任意の好適なレンダリング技術が、本目的のために使用されてもよい。いくつかの実施例では、視認可能な場面は、仮想環境内の仮想オブジェクトのサブセットのみを含み、ある他の仮想オブジェクトを除外してもよい。同様に、仮想環境は、１つ以上のオーディオ信号としてユーザに提示され得る、オーディオ側面を含んでもよい。例えば、仮想環境内の仮想オブジェクトは、オブジェクトの場所座標から生じる空間音声を生成してもよい（例えば、仮想キャラクタが話す、または音声効果を引き起こし得る）、または仮想環境は、特定の場所と関連付けられる場合とそうではない場合がある、音楽的合図または周囲音と関連付けられてもよい。プロセッサは、「ユーザ」座標に対応するオーディオ信号、例えば、仮想環境内の音声の合成物に対応し、ユーザ座標においてユーザによって聞かれるであろうオーディオ信号をシミュレートするようにレンダリングされる、オーディオ信号を決定し、１つ以上のスピーカを介してオーディオ信号をユーザに提示することができる。いくつかの実施例では、ユーザは、２つ以上の聴取者座標、例えば、それぞれ、ユーザの左および右耳に対応する第１および第２の聴取者座標と関連付けられることができ、オーディオ信号は、各聴取者座標に対して個別にレンダリングされることができる。
仮想環境が計算構造としてのみ存在するため、ユーザは、その通常の感覚を使用して、仮想環境を直接知覚することができない。代わりに、ユーザは、例えば、ディスプレイ、スピーカ、触覚フィードバックデバイス等によってユーザに提示されるような、仮想環境を間接的に知覚することができる。同様に、ユーザは、仮想環境を直接触れる、操作する、または別様にそれと相互作用することができないが、入力デバイスまたはセンサを介して、入力データを、デバイスまたはセンサデータを使用して仮想環境を更新し得るプロセッサに提供することができる。例えば、カメラセンサは、ユーザが仮想環境内のオブジェクトに触れようとしていることを示す光学データを提供することができ、プロセッサは、そのデータを使用し、オブジェクトに、それに応じて仮想環境内で応答させることができる。
複合現実システムは、例えば、頭部装着型ウェアラブルユニットに組み込まれる透過型ディスプレイおよび／または１つ以上のスピーカを使用して、現実環境および仮想環境の側面を組み合わせる複合現実環境（「ＭＲＥ」）をユーザに提示することができる。本明細書で使用されるように、ＭＲＥは、現実環境および対応する仮想環境の同時表現である。いくつかの実施例では、対応する現実および仮想環境は、単一の座標空間を共有し、いくつかの実施例では、現実座標空間および対応する仮想座標空間は、変換行列（または他の好適な表現）によって相互に関連する。故に、単一の座標は（いくつかの実施例では、変換行列とともに）、現実環境内の第１の場所、また、仮想環境内の第２の対応する場所を画定することができ、その逆も同様である。
ＭＲＥでは、（例えば、ＭＲＥと関連付けられる仮想環境内の）仮想オブジェクトは、（例えば、ＭＲＥと関連付けられる現実環境内の）実際のオブジェクトに対応することができる。例えば、ＭＲＥの現実環境が場所座標において実際の街灯柱（実際のオブジェクト）を備える場合、ＭＲＥの仮想環境は、対応する場所座標において仮想街灯柱（仮想オブジェクト）を備えてもよい。本明細書で使用されるように、実際のオブジェクトは、その対応する仮想オブジェクトと組み合わせて、「複合現実のオブジェクト」をともに構成する。仮想オブジェクトが、対応する実際のオブジェクトに完璧に合致または整合する必要はない。いくつかの実施例では、仮想オブジェクトは、対応する実際のオブジェクトの単純化されたバージョンであり得る。例えば、現実環境が実際の街灯柱を含む場合、対応する仮想オブジェクトは、実際の街灯柱とほぼ同一の高さおよび半径の円柱を備えてもよい（街灯柱が略円筒形であり得ることを反映する）。このようにして仮想オブジェクトを単純化することは、計算効率を可能にすることができ、そのような仮想オブジェクトに実施されるべき計算を単純化することができる。さらに、ＭＲＥのいくつかの実施例では、現実環境内の全ての実際のオブジェクトが、対応する仮想オブジェクトと関連付けられるわけではない場合がある。同様に、ＭＲＥのいくつかの実施例では、仮想環境内の全ての仮想オブジェクトが、対応する実際のオブジェクトと関連付けられるわけではない場合がある。すなわち、いくつかの仮想オブジェクトは、いずれの現実世界の対応物も伴わずに、ＭＲＥの仮想環境内のみにあってもよい。
いくつかの実施例では、仮想オブジェクトは、時として劇的に、対応する実際のオブジェクトのものと異なる、特性を有してもよい。例えば、ＭＲＥ内の現実環境が、緑色で２本腕のサボテン、すなわち、棘のある無生物オブジェクトを備えてもよい一方で、ＭＲＥ内の対応する仮想オブジェクトは、人間の顔の特徴および無愛想な態度を伴う緑色で２本腕の仮想キャラクタの特性を有してもよい。本実施例では、仮想オブジェクトは、ある特性（色、腕の数）がその対応する実際のオブジェクトに類似するが、他の特性（顔の特徴、性格）が実際のオブジェクトと異なる。このように、仮想オブジェクトは、創造的、抽象的、誇張、または空想的様式で実際のオブジェクトを表す、または挙動（例えば、人間の性格）を別様に無生物の実際のオブジェクトに付与する可能性を有する。いくつかの実施例では、仮想オブジェクトは、現実世界の対応物がない純粋に空想的な創作物（例えば、現実環境内の空虚な空間に対応する場所における仮想環境内の仮想怪物）であってもよい。
現実環境を曖昧にしながらユーザに仮想環境を提示するＶＲシステムと比較して、ＭＲＥを提示する複合現実システムは、仮想環境が提示されている間に現実環境が知覚可能なままであることを可能にする。故に、複合現実システムのユーザは、現実環境と関連付けられる視覚およびオーディオ合図を使用し、対応する仮想環境を体験し、それと相互作用することができる。実施例として、上記のように、ユーザが仮想環境を直接知覚する、またはそれと相互作用することができないため、ＶＲシステムのユーザは、仮想環境内に表示される仮想オブジェクトを知覚する、またはそれと相互作用しようと苦心し得、ＭＲシステムのユーザは、その独自の現実環境内の対応する実際のオブジェクトを見る、聞く、および触れることによって、仮想オブジェクトと相互作用することを直感的かつ自然であると感じ得る。本双方向性のレベルは、仮想環境とのユーザの没入、連帯、および没頭感を高めることができる。同様に、現実環境および仮想環境を同時に提示することによって、複合現実システムは、ＶＲシステムと関連付けられる負の心理的感覚（例えば、認知的不協和）および負の物理的感覚（例えば、乗り物酔い）を低減させることができる。複合現実システムはさらに、現実世界の我々の体験を増強または改変し得るアプリケーションの多くの可能性を提供する。
図１Ａは、ユーザ１１０が複合現実システム１１２を使用する、例示的現実環境１００を図示する。複合現実システム１１２は、例えば、下記に説明されるように、ディスプレイ（例えば、透過型ディスプレイ）と、１つ以上のスピーカと、１つ以上のセンサ（例えば、カメラ）とを備えてもよい。示される現実環境１００は、ユーザ１１０が立っている矩形部屋１０４Ａと、実際のオブジェクト１２２Ａ（ランプ）、１２４Ａ（テーブル）、１２６Ａ（ソファ）、および１２８Ａ（絵画）とを備える。部屋１０４Ａはさらに、現実環境１００の原点と見なされ得る、隅１０６Ａを備える。図１Ａに示されるように、隅１０６Ａにその原点を伴う環境座標系１０８（ｘ軸１０８Ｘ、ｙ軸１０８Ｙ、およびｚ軸１０８Ｚを備える）は、現実環境１００のための座標空間を画定することができる。いくつかの実施例では、ユーザ１１０は、現実環境１００内の実際のオブジェクトと見なされてもよく、同様に、ユーザ１１０の身体部分（例えば、手、足）は、現実環境１００内の実際のオブジェクトと見なされてもよい。いくつかの実施例では、複合現実システム１１２に対するユーザ座標系１１４が、画定されることができる。これは、ユーザの頭部または頭部装着型デバイスに対する場所の表現を単純化することができる。ＳＬＡＭ、視覚走行距離計測法、または他の技法を使用して、ユーザ座標系１１４と環境座標系１０８との間の変換が、決定され、リアルタイムで更新されることができる。
図１Ｂは、現実環境１００に対応する例示的仮想環境１３０を図示する。示される仮想環境１３０は、実際の矩形部屋１０４Ａに対応する仮想矩形部屋１０４Ｂと、実際のオブジェクト１２２Ａに対応する仮想オブジェクト１２２Ｂと、実際のオブジェクト１２４Ａに対応する仮想オブジェクト１２４Ｂと、実際のオブジェクト１２６Ａに対応する仮想オブジェクト１２６Ｂとを備える。仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂと関連付けられるメタデータは、対応する実際のオブジェクト１２２Ａ、１２４Ａ、１２６Ａから導出される情報を含むことができる。仮想環境１３０は、加えて、現実環境１００内のいずれの実際のオブジェクトにも対応しない、仮想怪物１３２を備える。同様に、現実環境１００内の実際のオブジェクト１２８Ａは、仮想環境１３０内のいずれの仮想オブジェクトにも対応しない。仮想部屋１０４Ｂは、実際の部屋１０４Ａの隅１０６Ａに対応する隅１０６Ｂを備え、仮想環境１３０の原点と見なされてもよい。図１Ｂに示されるように、隅１０６Ｂにその原点を伴う座標系１０８（ｘ軸１０８Ｘ、ｙ軸１０８Ｙ、およびｚ軸１０８Ｚを備える）は、仮想環境１３０のための座標空間を画定することができる。
図１Ａおよび１Ｂに関して、座標系１０８は、現実環境１００および仮想環境１３０の両方のための共有座標空間を画定する。示される実施例では、座標空間は、現実環境１００内の隅１０６Ａおよび仮想環境１３０内の隅１０６Ｂにその原点を有する。さらに、座標空間は、現実環境１００および仮想環境１３０の両方内で同一の３つの直交軸（１０８Ｘ、１０８Ｙ、１０８Ｚ）によって画定される。故に、現実環境１００内の第１の場所および仮想環境１３０内の第２の対応する場所は、同一の座標空間に関して説明されることができる。これは、同一の座標が両方の場所を識別するために使用されることができるため、現実および仮想環境内の対応する場所を識別および表示することを単純化する。しかしながら、いくつかの実施例では、対応する現実および仮想環境は、共有座標空間を使用する必要はない。例えば、いくつかの実施例（図示せず）では、行列（または他の好適な表現）が、現実環境座標空間と仮想環境座標空間との間の変換を特性評価することができる。
図１Ｃは、複合現実システム１１２を介して現実環境１００および仮想環境１３０の側面をユーザ１１０に同時に提示する、例示的ＭＲＥ１５０を図示する。示される実施例では、ＭＲＥ１５０は、（例えば、複合現実システム１１２のディスプレイの透過型部分を介して）現実環境１００からの実際のオブジェクト１２２Ａ、１２４Ａ、１２６Ａ、および１２８Ａ、および（例えば、複合現実システム１１２のディスプレイのアクティブディスプレイ部分を介して）仮想環境１３０からの仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２をユーザ１１０に同時に提示する。上記のように、部屋の隅１０６Ａ／１０６Ｂは、ＭＲＥ１５０に対応する座標空間の原点として作用し、座標系１０８は、座標空間のためのｘ軸、ｙ軸、およびｚ軸を画定する。
示される実施例では、複合現実のオブジェクトは、座標空間１０８内の対応する場所を占有する、実際のオブジェクトおよび仮想オブジェクトの対応する対（すなわち、１２２Ａ／１２２Ｂ、１２４Ａ／１２４Ｂ、１２６Ａ／１２６Ｂ）を備える。いくつかの実施例では、実際のオブジェクトおよび仮想オブジェクトは両方とも、ユーザ１１０に同時に可視であり得る。これは、例えば、仮想オブジェクトが対応する実際のオブジェクトの視界を増強するように設計される情報を提示する事例で（仮想オブジェクトが、古代の損傷した彫像の欠落片を提示する博物館アプリケーション等で）望ましくあり得る。いくつかの実施例では、仮想オブジェクト（１２２Ｂ、１２４Ｂ、および／または１２６Ｂ）は、対応する実際のオブジェクト（１２２Ａ、１２４Ａ、および／または１２６Ａ）を閉塞するように、（例えば、ピクセル化閉塞シャッタを使用する、アクティブなピクセル化閉塞を介して）表示されてもよい。これは、例えば、仮想オブジェクトが対応する実際のオブジェクトのための視覚代替物として作用する事例で（無生物の実際のオブジェクトが「生物」キャラクタになる双方向ストーリーテリングアプリケーション等で）望ましくあり得る。
いくつかの実施例では、実際のオブジェクト（例えば、１２２Ａ、１２４Ａ、１２６Ａ）は、必ずしも仮想オブジェクトを構成しない場合がある、仮想コンテンツまたはヘルパデータと関連付けられてもよい。仮想コンテンツまたはヘルパデータは、複合現実環境内の仮想オブジェクトの処理または取扱を促進することができる。例えば、そのような仮想コンテンツは、対応する実際のオブジェクトの２次元表現、対応する実際のオブジェクトと関連付けられるカスタムアセットタイプ、または対応する実際のオブジェクトと関連付けられる統計データを含み得る。本情報は、実際のオブジェクトに対応する仮想オブジェクトを作成および関連付けることと関連付けられる計算オーバーヘッドを負担することなく、実際のオブジェクトを伴う計算を可能にする、または促進することができる。
いくつかの実施例では、上記に説明される提示はまた、オーディオ側面を組み込んでもよい。例えば、ＭＲＥ１５０では、仮想怪物１３２は、怪物がＭＲＥ１５０の周囲を歩くにつれて生成される足音効果等の１つ以上のオーディオ信号と関連付けられ得る。下記でさらに説明されるように、複合現実システム１１２のプロセッサは、ＭＲＥ１５０内の全てのそのような音声の混合および処理された合成物に対応するオーディオ信号を算出し、複合現実システム１１２内に含まれるスピーカを介してオーディオ信号をユーザ１１０に提示することができる。
例示的複合現実システム
例示的複合現実システム１１２は、ディスプレイ（眼近傍ディスプレイであり得る、左右の透過型ディスプレイと、ディスプレイからの光をユーザの眼に結合するための関連付けられるコンポーネントとを備え得る）と、左右のスピーカ（例えば、それぞれ、ユーザの左右の耳に隣接して位置付けられる）と、慣性測定ユニット（ＩＭＵ）（例えば、デバイスのテンプルアームに搭載される）と、直交コイル電磁受信機（例えば、左テンプル部品に搭載される）と、ユーザから離れるように配向される左右のカメラ（例えば、深度（飛行時間）カメラ）と、（例えば、ユーザの眼球運動を検出するための）ユーザに向かって配向される左右のカメラとを備える、ウェアラブル頭部装着型ユニット（例えば、ウェアラブル拡張現実または複合現実ヘッドギアユニット）を含むことができる。しかしながら、複合現実システム１１２は、任意の好適なディスプレイ技術および任意の好適なセンサ（例えば、光学、赤外線、音響、ＬＩＤＡＲ、ＥＯＧ、ＧＰＳ、磁気）を組み込むことができる。加えて、複合現実システム１１２は、ネットワーキング特徴（例えば、Ｗｉ－Ｆｉ能力）を組み込み、他の複合現実システムを含む、他のデバイスおよびシステムと通信してもよい。複合現実システム１１２はさらに、バッテリ（ユーザの腰の周囲に装着されるように設計されるベルトパック等の補助ユニット内に搭載され得る）と、プロセッサと、メモリとを含んでもよい。複合現実システム１１２の頭部装着型ユニットは、ユーザの環境に対する頭部装着型ユニットの座標のセットを出力するように構成される、ＩＭＵまたは他の好適なセンサ等の追跡コンポーネントを含んでもよい。いくつかの実施例では、追跡コンポーネントは、同時位置特定およびマッピング（ＳＬＡＭ）および／または視覚走行距離計測アルゴリズムを実施するプロセッサに入力を提供してもよい。いくつかの実施例では、複合現実システム１１２はまた、下記でさらに説明されるように、ハンドヘルドコントローラ３００および／またはウェアラブルベルトパックであり得る補助ユニット３２０を含んでもよい。
図２、３Ａ、および３Ｂはともに、ＭＲＥ（ＭＲＥ１５０に対応し得る）をユーザに提示するために使用され得る、例示的複合現実システム（複合現実システム１１２に対応し得る）を図示する。図２は、ユーザの頭部上に装着されるように構成される頭部装着可能システムであり得る、例示的複合現実システムの例示的ウェアラブルヘッドユニット２００を図示する。示される実施例では、ウェアラブルヘッドユニット２００（例えば、ウェアラブル拡張現実または複合現実ヘッドギアユニットであり得る）は、ディスプレイ（左右の透過型ディスプレイと、ディスプレイからの光をユーザの眼に結合するための関連付けられるコンポーネントとを備え得る）と、左右の音響構造（例えば、それぞれ、ユーザの左右の耳に隣接して位置付けられるスピーカ）と、レーダセンサ（伝送および／または受信アンテナを含む）、赤外線センサ、加速度計、ジャイロスコープ、磁力計、ＧＰＳユニット、慣性測定ユニット（ＩＭＵ）、音響センサ等の１つ以上のセンサと、直交コイル電磁受信機（例えば、左テンプル部品に搭載される）と、ユーザから離れるように配向される左右のカメラ（例えば、深度（飛行時間）カメラ）と、（例えば、ユーザの眼球運動を検出するための）ユーザに向かって配向される左右のカメラとを備える。しかしながら、ウェアラブルヘッドユニット２００は、本発明の範囲から逸脱することなく、任意の好適なディスプレイ技術、および任意の好適な数、タイプ、または組み合わせのコンポーネントを組み込むことができる。いくつかの実施例では、ウェアラブルヘッドユニット２００は、ユーザの音声によって生成されるオーディオ信号を検出するように構成される、１つ以上のマイクロホンを組み込んでもよく、そのようなマイクロホンは、ユーザの口に隣接してウェアラブルヘッドユニット内に位置付けられてもよい。いくつかの実施例では、ウェアラブルヘッドユニット２００は、ネットワーキングまたは無線特徴（例えば、Ｗｉ－Ｆｉ能力、Ｂｌｕｅｔｏｏｔｈ（登録商標））を組み込み、他のウェアラブルシステムを含む、他のデバイスおよびシステムと通信してもよい。ウェアラブルヘッドユニット２００はさらに、バッテリ（ユーザの腰の周囲に装着されるように設計されるベルトパック等の補助ユニット内に搭載され得る）と、プロセッサと、メモリとを含んでもよい。いくつかの実施例では、ウェアラブルヘッドユニット２００の追跡コンポーネントは、同時位置特定およびマッピング（ＳＬＡＭ）および／または視覚走行距離計測アルゴリズムを実施するプロセッサに入力を提供してもよい。ウェアラブルヘッドユニット２００は、付加的システムコンポーネントを含む複合現実システムの第１のコンポーネントであってもよい。いくつかの実施例では、そのようなウェアラブルシステムはまた、下記でさらに説明されるように、ハンドヘルドコントローラ３００および／またはウェアラブルベルトパックであり得る補助ユニット３２０を含んでもよい。
図３Ａは、例示的複合現実システムの例示的ハンドヘルドコントローラコンポーネント３００を図示する。いくつかの実施例では、ハンドヘルドコントローラ３００は、グリップ部分３４６と、上面３４８に沿って配置される１つ以上のボタン３５０とを含む。いくつかの実施例では、ボタン３５０は、カメラまたは他の光学センサ（いくつかの実施例では、ウェアラブルヘッドユニット２００内に搭載され得る）と併せて、例えば、ハンドヘルドコントローラ３００の６自由度（６ＤＯＦ）運動を追跡するために、光学追跡標的として使用するために構成されてもよい。いくつかの実施例では、ハンドヘルドコントローラ３００は、ウェアラブルヘッドユニットまたはベルトパックに対する位置または配向等の位置または配向を検出するための追跡コンポーネント（例えば、ＩＭＵ、レーダセンサ（伝送および／または受信アンテナを含む）、または他の好適なセンサまたは回路）を含む。いくつかの実施例では、そのような追跡コンポーネントは、ハンドヘルドコントローラ３００のハンドル内に、ハンドヘルドコントローラ３００の表面（例えば、グリップ部分３４６、上面３４８、および／または底面３５２）から外向きに向いて位置付けられてもよい、および／またはハンドヘルドコントローラに機械的に結合されてもよい。ハンドヘルドコントローラ３００は、ボタンの押下状態、または（例えば、ＩＭＵを介した）ハンドヘルドコントローラ３００の位置、配向、および／または運動のうちの１つ以上のものに対応する、１つ以上の出力信号を提供するように構成されることができる。そのような出力信号は、ウェアラブルヘッドユニット２００、ハンドヘルドコントローラ３００、または複合現実システム（例えば、ウェアラブル複合現実システム）の別のコンポーネントのプロセッサへの入力として使用されてもよい。そのような入力は、ハンドヘルドコントローラの位置、配向、および／または移動（さらに言うと、コントローラを保持するユーザの手の位置、配向、および／または移動）に対応し得る。そのような入力はまた、ユーザがボタン３５０を押下することに対応し得る。いくつかの実施例では、ハンドヘルドコントローラ３００は、プロセッサ、メモリ、または他の好適なコンピュータシステムコンポーネントを含むことができる。ハンドヘルドコントローラ３００のプロセッサは、例えば、本明細書に開示される任意の好適なプロセスを実行するために使用されることができる。
図３Ｂは、ウェアラブル複合現実システム等の複合現実システムの例示的補助ユニット３２０を図示する。補助ユニット３２０は、例えば、これらのコンポーネント内のディスプレイおよび／または音響構造、プロセッサ（本明細書に開示される任意の好適なプロセスを実行し得る）、メモリ、またはウェアラブルシステムの任意の他の好適なコンポーネントを含む、ウェアラブルヘッドユニット２００および／またはハンドヘルドコントローラ３００を動作させるためのエネルギーを提供するための１つ以上のバッテリを含むことができる。頭部装着型ユニット（例えば、ウェアラブルヘッドユニット２００）またはハンドヘルドユニット（例えば、ハンドヘルドコントローラ３００）と比較して、補助ユニット３２０は、比較的に頑丈であり、重いアイテムによってあまり容易に疲労しない、腰または背部等のユーザの身体の部分上により容易に位置付けられ得るため、大きいまたは重いコンポーネント（例えば、バッテリ）を収納するためにより適し得る。
いくつかの実施例では、感知および／または追跡コンポーネントが、補助ユニット３２０内に位置付けられてもよい。そのようなコンポーネントは、例えば、１つ以上のＩＭＵおよび／またはレーダセンサ（伝送および／または受信アンテナを含む）を含むことができる。いくつかの実施例では、補助ユニット３２０は、そのようなコンポーネントを使用し、ハンドヘルドコントローラ３００、ウェアラブルヘッドユニット２００、または補助ユニット自体の位置および／または配向（例えば、６ＤＯＦ場所）を決定することができる。実施例に示されるように、補助ユニット３２０は、補助ユニット３２０をユーザのベルトに取り付けるためのクリップ２１２８を含むことができる。ユニットをユーザのベルトに搭載することを伴わない形状因子を含む、他の形状因子が、補助ユニット３２０のために好適であり、明白であろう。いくつかの実施例では、補助ユニット３２０は、例えば、電線および光ファイバを含み得る、マルチ導管ケーブルを通して、ウェアラブルヘッドユニット２００に結合されることができる。補助ユニット３２０を往復する無線接続もまた、使用されることができる（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ、または任意の他の好適な無線技術）。
図４は、例示的複合現実システム（例えば、図２、３Ａ、３Ｂに関して上記に説明されるコンポーネントのうちの１つ以上のものを含む、複合現実システム）に対応し得る、例示的機能ブロック図を示す。図４に示されるように、例示的ハンドヘルドコントローラ４００Ｂ（ハンドヘルドコントローラ３００（「トーテム」）に対応し得る）は、トーテム・ヘッドギア６自由度（６ＤＯＦ）トーテムサブシステム４０４Ａと、センサ４０７とを含むことができ、例示的拡張現実ヘッドギア４００Ａ（ウェアラブルヘッドユニット２００に対応し得る）は、トーテム・ヘッドギア６ＤＯＦヘッドギアサブシステム４０４Ｂを含むことができる。実施例では、６ＤＯＦトーテムサブシステム４０４Ａおよび６ＤＯＦヘッドギアサブシステム４０４Ｂは、拡張現実ヘッドギア４００Ａに対して（例えば、拡張現実ヘッドギア４００Ａの座標系に対して）ハンドヘルドコントローラ４００Ｂの３つの位置座標および３つの回転座標を別個または集合的に決定することができる。３つの位置は、そのような座標系内のＸ、Ｙ、およびＺ値として、変換行列として、またはある他の表現として表されてもよい。位置座標は、レーダ、ソーナ、ＧＰＳ、または他のセンサを伴うこと等の任意の好適な測位技法を通して、決定されることができる。回転座標は、一連のヨー、ピッチ、およびロール回転として、回転行列として、四元数として、またはある他の表現として表されてもよい。
いくつかの実施例では、ウェアラブルヘッドユニット４００Ａ、ウェアラブルヘッドユニット４００Ａ内に含まれる１つ以上の深度カメラ４４４（および／または１つ以上の非深度カメラ）、および／または１つ以上の光学標的（例えば、上記に説明されるようなハンドヘルドコントローラ４００Ｂのボタン３５０、またはハンドヘルドコントローラ４００Ｂ内に含まれる専用光学標的）が、６ＤＯＦ追跡に使用されることができる。いくつかの実施例では、ハンドヘルドコントローラ４００Ｂは、上記に説明されるように、カメラを含むことができ、ウェアラブルヘッドユニット４００Ａは、カメラと併せて光学追跡のための光学標的を含むことができる。
いくつかの実施例では、局所座標空間（例えば、ウェアラブルヘッドユニット４００Ａに対して固定される座標空間）から慣性座標空間（例えば、現実環境に対して固定される座標空間）に座標を変換することが必要となり得る。例えば、そのような変換は、ウェアラブルヘッドユニット４００Ａのディスプレイが、（例えば、ディスプレイの右下隅内の同一位置における）ディスプレイ上の固定位置および配向ではなく、現実環境に対する期待位置および配向における仮想オブジェクト（例えば、ヘッドギアの位置および配向にかかわらず、現実環境内で前方に面して実際の椅子に着席する仮想人物）を提示するために必要であり得る。これは、仮想オブジェクトが現実環境内に存在する（例えば、ウェアラブルヘッドユニット４００Ａが偏移および回転するにつれて、現実環境内で不自然に偏移または回転しない）という幻想を留保することができる。いくつかの実施例では、座標空間の間の補償的変換が、座標系に対するヘッドギアの変換を決定するために、（例えば、ＳＬＡＭおよび／または視覚走行距離計測技法を使用して）深度カメラ４４４からの画像を処理することによって決定されることができる。図４に示される実施例では、深度カメラ４４４は、ＳＬＡＭ／視覚走行距離計測ブロック４０６に結合されることができ、画像をブロック４０６に提供することができる。ＳＬＡＭ／視覚走行距離計測ブロック４０６実装は、本画像を処理し、次いで、頭部座標空間と実際の座標空間との間の変換を識別するために使用され得る、ユーザの頭部の位置および配向を決定するように構成される、プロセッサを含むことができる。同様に、いくつかの実施例では、ユーザの頭部姿勢および場所についての付加的情報源が、ＩＭＵ４０９（または加速度計またはジャイロスコープ等の別の好適なセンサ）から取得される。ＩＭＵ４０９からの情報は、ユーザの頭部姿勢および位置の急速調節に応じて、改良された正確度および／またはより適時な情報を提供するように、ＳＬＡＭ／視覚走行距離計測ブロック４０６からの情報と統合されることができる。
いくつかの実施例では、深度カメラ４４４は、ウェアラブルヘッドユニット４００Ａのプロセッサ内に実装され得る、手ジェスチャ追跡装置４１１に３Ｄ画像を供給することができる。手ジェスチャ追跡装置４１１は、例えば、深度カメラ４４４から受信される３Ｄ画像を、手のジェスチャを表す記憶されたパターンに合致させることによって、ユーザの手のジェスチャを識別することができる。ユーザの手のジェスチャを識別する他の好適な技法が、明白であろう。
いくつかの実施例では、１つ以上のプロセッサ４１６は、ウェアラブルヘッドユニットのヘッドギアサブシステム４０４Ｂ、レーダセンサ４０８、ＩＭＵ４０９、ＳＬＡＭ／視覚走行距離計測ブロック４０６、深度カメラ４４４、マイクロホン４５０、および／または手ジェスチャ追跡装置４１１からデータを受信するように構成されてもよい。プロセッサ４１６はまた、トーテムシステム４０４Ａから制御信号を送信および受信することもできる。プロセッサ４１６は、ハンドヘルドコントローラ４００Ｂが、他のシステムコンポーネントにテザリングされていない実施例等では、無線でトーテムシステム４０４Ａに結合されてもよい。プロセッサ４１６はさらに、視聴覚コンテンツメモリ４１８、グラフィカル処理ユニット（ＧＰＵ）４２０、および／またはデジタル信号プロセッサ（ＤＳＰ）オーディオスペーシャライザ４２２等の付加的コンポーネントと通信してもよい。ＤＳＰオーディオスペーシャライザ４２２は、頭部関連伝達関数（ＨＲＴＦ）メモリ４２５に結合されてもよい。ＧＰＵ４２０は、左画像状調光源４２４に結合される左チャネル出力と、右画像状調光源４２６に結合される右チャネル出力とを含むことができる。ＧＰＵ４２０は、立体画像データを画像状調光源４２４、４２６に出力することができる。ＤＳＰオーディオスペーシャライザ４２２は、オーディオを左スピーカ４１２および／または右スピーカ４１４に出力することができる。ＤＳＰオーディオスペーシャライザ４２２は、ユーザから（例えば、ハンドヘルドコントローラ３２０を介して、ユーザによって移動され得る）仮想音源への方向ベクトルを示す入力をプロセッサ４１９から受信することができる。方向ベクトルに基づいて、ＤＳＰオーディオスペーシャライザ４２２は、（例えば、ＨＲＴＦにアクセスすることによって、または複数のＨＲＴＦを補間することによって）対応するＨＲＴＦを決定することができる。ＤＳＰオーディオスペーシャライザ４２２は、仮想オブジェクトによって生成される仮想音声に対応するオーディオ信号等のオーディオ信号に決定されたＨＲＴＦを適用することができる。これは、複合現実環境内の仮想音声に対するユーザの相対位置および配向を組み込むことによって、すなわち、現実環境内の実際の音声であった場合に、その仮想音声が聞こえる内容のユーザの期待に合致する、仮想音声を提示することによって、仮想音声の真実性および現実感を向上させることができる。
図４に示されるようないくつかの実施例では、プロセッサ４１６、ＧＰＵ４２０、ＤＳＰオーディオスペーシャライザ４２２、ＨＲＴＦメモリ４２５、および視聴覚コンテンツメモリ４１８のうちの１つ以上のものは、補助ユニット４００Ｃ（上記に説明される補助ユニット３２０に対応し得る）内に含まれてもよい。補助ユニット４００Ｃは、そのコンポーネントに給電するため、および／または電力をウェアラブルヘッドユニット４００Ａおよび／またはハンドヘルドコントローラ４００Ｂ等の別のシステムコンポーネントに供給するためのバッテリ４２７を含んでもよい。ユーザの腰に搭載され得る補助ユニット内にそのようなコンポーネントを含むことは、ウェアラブルヘッドユニット４００Ａのサイズおよび重量を限定することができ、ひいては、ユーザの頭部および頸部の疲労を低減させ得る。
図４は、例示的複合現実システムの種々のコンポーネントに対応する要素を提示するが、これらのコンポーネントの種々の他の好適な配列が、当業者に明白となるであろう。例えば、補助ユニット４００Ｃと関連付けられるものとして図４に提示される要素は、代わりに、ウェアラブルヘッドユニット４００Ａおよび／またはハンドヘルドコントローラ４００Ｂと関連付けられ得る。そして、ウェアラブルヘッドユニット４００Ａ、ハンドヘルドコントローラ４００Ｂ、および補助ユニット４００Ｃのうちの１つ以上のものは、本明細書に開示される方法のうちの１つ以上のものを実行し得る、プロセッサを備えることができる。さらに、いくつかの複合現実システムは、ハンドヘルドコントローラ４００Ｂまたは補助ユニット４００Ｃを一切なしで済ませてもよい。そのような変更および修正は、開示される実施例の範囲内に含まれるものとして理解されたい。
図５は、クライアントデバイス５１０（ウェアラブル複合現実システムを含む、複合現実システムのコンポーネントであり得る）が通信ネットワーク５３０を介してサーバ５２０と通信する、例示的構成を示す。クライアントデバイス５１０は、例えば、上記に説明されるようなウェアラブルヘッドユニット２００、ハンドヘルドコントローラ３００、および補助ユニット３２０のうちの１つ以上のものを備えることができる。サーバ５２０は、１つ以上の専用サーバマシン（例えば、１つ以上のクラウドサーバを含み得る）を備えることができるが、いくつかの実施例では、サーバとして挙動し得る、ウェアラブルヘッドユニット２００、ハンドヘルドコントローラ３００、および／または補助ユニット３２０のうちの１つ以上のものを備えてもよい。サーバ５２０は、通信ネットワーク５３０を介して（例えば、インターネットを介して、および／または無線ネットワークを介して）、クライアントコンポーネント５１０を含む、１つ以上のクライアントデバイスと通信することができる。サーバ５２０は、（例えば、各ユーザに対応するクライアントデバイスを介して）１人または多くのユーザが相互作用し得る、持続的な世界の状態を維持することができる。加えて、サーバ５２０は、「シン」クライアントハードウェア上で実行するためには法外に高価であろう、計算集中的動作を実施することができる。他のクライアント・サーバトポロジが、図５に示される例に加えて、明白であろう。例えば、いくつかの実施例では、ウェアラブルシステムは、他のウェアラブルシステムクライアントに対してサーバとして作用してもよい。加えて、いくつかの実施例では、ウェアラブルシステムは、ピアツーピアネットワークを介して情報を通信および共有してもよい。本開示は、ネットワーク化コンポーネントのいずれの特定のトポロジにも限定されない。さらに、本明細書の開示の実施例は、クライアントおよびサーバデバイスに属するプロセッサを含む、クライアントおよび／またはサーバコンポーネントの任意の好適な組み合わせの上に実装されてもよい。
仮想音声
上記に説明されるように、ＭＲＥ（複合現実システム、例えば、上記に説明されるウェアラブルヘッドユニット２００、ハンドヘルドコントローラ３００、または補助ユニット３２０等のコンポーネントを含み得る、複合現実システム１１２を介して体験されるような）は、ＭＲＥのユーザには、ＭＲＥ内の原点座標を伴う音源から生じ、ＭＲＥ内の配向ベクトルの方向に進行すると考えられる、オーディオ信号を提示することができる。すなわち、ユーザは、音源の原点座標から生じ、配向ベクトルに沿って進行する、実際のオーディオ信号であった場合のように、これらのオーディオ信号を知覚し得る。
ある場合には、オーディオ信号は、それらが仮想環境内の計算信号に対応するという点で、仮想と見なされ得る。仮想オーディオ信号は、例えば、図２のウェアラブルヘッドユニット２００のスピーカ２１３４および２１３６を介して生成されると、人間の耳によって検出可能な実際のオーディオ信号としてユーザに提示されることができる。
音源は、実際のオブジェクトおよび／または仮想オブジェクトに対応し得る。例えば、仮想オブジェクト（例えば、図１Ｃの仮想怪物１３２）は、仮想オーディオ信号としてＭＲＥ内に表され、実際のオーディオ信号としてユーザに提示される、オーディオ信号をＭＲＥ内で発することができる。例えば、図１Ｃの仮想怪物１３２は、怪物の発話（例えば、対話）または音声効果に対応する仮想音声を発することができる。同様に、実際のオブジェクト（例えば、図１Ｃの実際のオブジェクト１２２Ａ）は、仮想オーディオ信号としてＭＲＥ内に表され、実際のオーディオ信号としてユーザに提示される、仮想オーディオ信号をＭＲＥ内で発すると考えられるように作成されることができる。例えば、実際のランプ１２２Ａは、ランプが現実環境内で電源を入れられていない、または切られていない場合でさえも、電源を入られている、または切られているランプの音声効果に対応する仮想音声を発することができる。仮想音声は、音源（実際または仮想にかかわらず）の位置および配向に対応することができる。例えば、仮想音声が（例えば、スピーカ２１３４および２１３６を介して）実際のオーディオ信号としてユーザに提示される場合、ユーザは、音源の位置から生じ、音源の配向の方向に進行するものとして仮想音声を知覚し得る。音源は、明らかに音声を発するようにされた基礎的オブジェクト自体が、上記に説明されるような実際または仮想オブジェクトに対応し得たとしても、本明細書では「仮想音源」と称される。
いくつかの仮想または複合現実環境は、環境が実際または真正に感じないという知覚に悩まされる。本知覚のための１つの理由は、オーディオおよび視覚合図が、常に、そのような環境内で相互に合致するわけではないことである。例えば、ユーザが、ＭＲＥ内の大きなれんが壁の背後に位置付けられる場合、ユーザは、れんが壁の背後から生じる音声が、ユーザのすぐ隣で生じる音声よりも静かであり、より弱められることを期待し得る。本期待は、音声が大きな高密度オブジェクトを通過するときに、静かになり、弱められる、現実世界内のユーザの聴覚体験に基づく。ユーザが、意図的にれんが壁から生じるが、弱められずに最大音量で提示されるオーディオ信号を提示されるとき、音声が、れんが壁の背後から生じるという幻想は、侵害される。仮想体験全体は、部分的に、現実世界の相互作用に基づくユーザの期待に適合しないため、偽物であり本物ではないと感じられ得る。さらに、ある場合には、仮想体験と実体験との間の微妙な差異さえも高められた不快感を引き起こし得る、「不気味の谷」問題が生じる。ＭＲＥ内で、ユーザの環境内のオブジェクトと微妙でさえも、現実的に相互作用すると考えられるオーディオ信号を提示することによって、ユーザの体験を改良することが望ましい。現実世界体験に基づいて、そのようなオーディオ信号がユーザの期待と一致するほど、ＭＲＥ内のユーザの体験が、より没入型および魅力的であり得る。
ユーザがその周囲の環境を知覚および理解する１つの方法は、オーディオ合図を通す。現実世界では、ユーザが聞く実際のオーディオ信号は、これらのオーディオ信号が生じる場所、これらのオーディオ信号が伝搬する方向、およびオーディオ信号が相互作用するオブジェクトによる影響を受ける。例えば、全ての他の要因が平等であると、ユーザから遠距離で生じる音声（例えば、遠方で吠える犬）は、ユーザから近距離で生じる同一の音声（例えば、ユーザと同一の部屋内で吠える犬）よりも静かと考えられるであろう。ユーザは、したがって、その吠え声の知覚された音量に部分的に基づいて、現実環境内の犬の場所を識別することができる。同様に、全ての他の要因が平等であると、ユーザから離れるように進行する音声（例えば、ユーザから外方を向いている個人の声）は、ユーザに向かって進行する同一の音声（例えば、ユーザに向かって面している人物の声）ほど明瞭ではなく、それよりも弱められている（すなわち、低域通過フィルタ処理されている）と考えられるであろう。ユーザは、したがって、個人の声の知覚された特性に基づいて、現実環境内のその個人の配向を識別することができる。
実際のオーディオ信号のユーザの知覚はまた、オーディオ信号が相互作用する環境内のオブジェクトの存在による影響を受け得る。すなわち、ユーザは、音源によって生成されるオーディオ信号だけではなくて、近傍のオブジェクトに対するオーディオ信号の残響も知覚し得る。例えば、個人が接近した壁を伴う小部屋の中で話す場合、これらの壁は、個人の声が壁から反射するにつれて、短い自然な残響信号を結果として生じさせ得る。ユーザは、これらの残響から、ユーザが閉じた壁を伴う小部屋の中にいることを推測し得る。同様に、広いコンサートホールまたは大聖堂は、より長い残響を引き起こし得、そこからユーザは、ユーザが大きな広々とした部屋の中にいることを推測し得る。同様に、オーディオ信号の残響は、これらの信号が反射する表面の位置または配向、またはこれらの表面の材料に基づいて、種々の音波特性を帯び得る。例えば、タイル張りの壁に対する残響は、れんが、カーペット、乾式壁、または他の材料に対する残響と異なって聞こえるであろう。これらの残響特性は、ユーザが居住する空間のサイズ、形状、および材料組成を音響的に理解するために、ユーザによって使用されることができる。
上記の実施例は、オーディオ合図がユーザの周囲の環境のユーザの知覚を知らせ得る方法を図示する。これらの合図は、視覚合図と組み合わせて作用することができ、例えば、ユーザが遠方に犬を見る場合、ユーザは、その犬の音声がその距離と一致することを期待し得る（いくつかの仮想環境内のように、そうではない場合に当惑または混乱して感じ得る）。微光環境内、または視覚障害者ユーザに関する等のいくつかの実施例では、視覚合図は、限定され、または利用不可能であり得、そのような場合では、オーディオ合図は、特定の重要性を帯び得、その環境を理解するユーザの主要手段としての役割を果たし得る。
ユーザが、その物理的空間内に現実的に存在すると仮想オーディオ信号を理解し得るように、ＭＲＥ内のオブジェクトに基づいて、現実的な残響効果を組み込む様式で、ＭＲＥ内で仮想オーディオ信号をユーザに提示することが望ましくあり得る。いくつかの複合現実システムは、ＭＲＥ内のオーディオ信号が、あまり正しく見えない（例えば、「不気味の谷」問題）ように、ＭＲＥ内のユーザの聴覚体験と現実世界内のユーザの聴覚体験との間の不協和を生成し得る。他の複合現実オーディオシステムと比較して、本開示は、ユーザの位置、配向、ユーザの環境内のオブジェクトの性質、ユーザの環境の性質、およびオーディオ信号および環境に対する他の特性を考慮することによって、オーディオ信号のより微妙な真実味のある提示を可能にし得る。その毎日の生活のオーディオ体験を引き起こすオーディオ体験をＭＲＥのユーザに提示することによって、ＭＲＥは、ＭＲＥに関与するときにユーザの没入感および連帯感を向上させることができる。
図６は、いくつかの実施形態による、仮想オーディオ信号を複合現実環境（例えば、図１Ｃの複合現実環境１５０）のユーザに提示する例示的プロセス６００を説明する。ユーザは、図１－４に関して上記に説明されるようなウェアラブル複合現実システムを使用していることができる。プロセス６００によると、オーディオイベント６１０が、識別されることができる。オーディオイベント６１０は、１つ以上のオーディオアセット（例えば、マイクロホンから、またはネットワークからの波形オーディオファイルまたはライブオーディオストリーム）と関連付けられことができ、ＭＲＥの座標系内に位置および配向を有することができる。ユーザの音響空間内にある（例えば、聞こえるために十分にユーザに近い）オーディオイベントは、ウェアラブルヘッドユニット２００のスピーカ２１３４および２１３６等のスピーカを介して、ユーザに提示されることができる。
例示的プロセス６００によると、そのようなオーディオイベントは、以下のように、ウェアラブル複合現実システムのユーザに提示されることができる。段階６２０では、オーディオイベント６１０と関連付けられる１つ以上の未加工オーディオアセットが、ウェアラブルシステムのメモリ内にロードされる、または別様に（例えば、ストリーミングオーディオバッファ内にオーディオストリームの一部をロードすることによって）ウェアラブルシステムを介して提示するために準備されることができる。未加工オーディオアセットは、１つ以上の静的オーディオファイル、またはそのようなオーディオファイルの一部（例えば、ファイルの１つ以上のサンプル）を含むことができる、および／またはマイクロホンの出力等のリアルタイムオーディオフィード、またはインターネットを介して受信されるオーディオストリームを含んでもよい。いくつかの実施例では、そのような未加工オーディオアセットは、未加工オーディオアセットに適用される最小限の効果または処理を伴って、「ドライ」であることが好ましくあり得る。
段階６３０では、処理されたオーディオ信号を作成するように段階６４０において未加工オーディオアセットに適用されるときに、ユーザの現在の音響環境（例えば、現在の「部屋」）と一致する音波特性を追加することによって、オーディオアセットを向上させ得る、１つ以上の音響パラメータが、決定されることができる。これらの音響パラメータは、部屋がその部屋内で生成される基礎音声に付与するであろう音響効果に対応することができる。そのような音響パラメータは、例えば、基礎音声の減衰（例えば、音量下降）、基礎音声のフィルタ処理（例えば、低域通過フィルタ）、基礎音声の位相偏移、基礎音声のピッチ変調、または他の音響効果に対応する、パラメータを含むことができる。音響パラメータはまた、残響および反響効果を基礎音声に適用するための残響エンジンの入力パラメータ（例えば、ウェット／ドライレベル、アタック／減衰時間）を含んでもよい。故に、段階６４０によって出力される処理されたオーディオ信号は、部屋の壁、表面、および／またはオブジェクトによって未加工オーディオアセットに付与されるであろう、残響、減衰、フィルタ処理、または他の効果のシミュレーションを組み込むことができる。段階６４０における音響パラメータの適用は、処理されたオーディオ信号を生成するための未加工オーディオアセットを伴う、音響パラメータに基づく１つ以上の伝達関数（例えば、伝達関数Ｈ（ｔ））の畳み込みとして説明されることができる。本プロセスは、未加工オーディオアセットおよび適切な入力パラメータが供給される、残響エンジンを含み得る、オーディオエンジンによって実施されることができる。段階６３０における音響パラメータの決定は、下記でより詳細に説明される。
段階６４０において生成されるオーディオ信号は、ユーザによって直接知覚可能ではないが、ユーザによって聞かれ得るように、１つ以上のスピーカ（例えば、スピーカ２１３４および／または２１３６）によって実際のオーディオ信号に変換され得る、仮想オーディオ信号であってもよい。例えば、オーディオ信号は、処理されたオーディオ信号が生じる複合現実環境内の座標、それに沿って処理されたオーディオ信号が伝搬するＭＲＥ内のベクトル、処理されたオーディオ信号が生じる時間、処理されたオーディオ信号が伝搬する速度、または他の好適な特性を含む、計算表現であってもよい。段階６５０では、１つ以上の仮想オーディオ信号が、ウェアラブルヘッドユニット２００のスピーカ構成と対応するような１つ以上のチャネルの中にミックスダウンされることができる。例えば、段階６５０では、仮想オーディオ信号が、ステレオスピーカ構成の左右のチャネルにミックスダウンされてもよい。段階６６０では、これらのミックスダウンされた信号が、スピーカを介して出力され、例えば、（例えば、図４のＤＳＰオーディオスペーシャライザ４２２の一部としての）デジタル／アナログ変換器を介してアナログ信号に変換され得る、デジタルオーディオデータであり、次いで、増幅され、スピーカを駆動するために使用され、ユーザによって知覚可能な音声を生成する。
図７は、例示的プロセス６００の段階６３０に関して上記に説明されるようなオーディオイベントのための音響パラメータを決定するための例示的プロセス７００を説明する。例示的プロセス７００は、例えば、ウェアラブルヘッドユニット２００および／または上記に説明されるサーバ５２０等のサーバの１つ以上のプロセッサ上で実行されることができる。上記に説明されるように、そのような音響パラメータは、オーディオイベントが起こる部屋の音響特性を表すことができる。これらの音響特性、したがって、音響パラメータは、大部分が、部屋の物理的寸法、部屋に存在するオブジェクト、およびこれらのオブジェクトのサイズおよび形状、部屋の表面および部屋内の任意のオブジェクトの材料、および同等物に基づいて／それらに対して、決定される。部屋のこれらの特性が経時的に一定のままであり得るため、ＭＲＥ内の個々の部屋を、その部屋の音響特性を説明する音響パラメータセット（「音響指紋」）のセットと関連付けることが有益であり得る。本構成は、いくつかの潜在的利点を持つ。部屋毎の基準で音響指紋を作成し、記憶し、読み出すことによって、音響パラメータは、ユーザが部屋に進入する度に、そのようなパラメータを再作成する必要なく、容易かつ効率的に管理、交換、および更新されることができる。加えて、下記に説明されるように、本構成は、２つ以上の部屋の合成物を説明する、音響パラメータを生成するプロセスを単純化することができる。さらに、部屋の音響パラメータが経時的に持続することを可能にすることは、ＭＲＥ内の物理的空間に対する個人の聴覚体験が経時的に一定のままである（現実世界の聴覚空間のように）ため、没入感を向上させることができる。そしてまた、音響パラメータの同一のセットが複数のユーザに提供されることができるため、単一の共有空間内の複数のユーザは、共通聴覚体験を受け、これらのユーザの間の連帯感を向上させることができる。
例示的プロセス７００は、音響パラメータが、部屋毎の基準で記憶される（但し、他の好適な構成も可能であり、本開示の範囲内である）、システムを説明する。プロセス７００の段階７１０では、部屋が、オーディオイベントに関して識別され、本部屋は、オーディオイベントに適用されるべきであるオーディオパラメータのセットを決定することができる。部屋は、複合現実システムの１つ以上のセンサ（例えば、ウェアラブルヘッドユニット２００のセンサ）を使用して識別されることができる。例えば、ウェアラブルヘッドユニット２００のＧＰＳモジュールは、ユーザの場所を識別することができ、その場所は、その場所に対応する部屋を決定するために使用されることができる。いくつかの実施例では、ユーザの場所は、近傍のＷｉ－Ｆｉ受信機またはセルラーアンテナの場所に基づいて、三角測量によって決定されることができる。いくつかの実施例では、ＬＩＤＡＲ、深度カメラ、ＲＧＢカメラ、および／または同等物等のセンサが、ユーザの現在の周囲を識別するために使用されることができ、センサ出力は、センサ出力に対応する部屋を識別するように、部屋データベースに対して比較されることができる。ユーザの場所から部屋を決定することは、いくつかの実施例では、上記に説明されるサーバ５２０等のサーバ上に記憶され得る、マッピングデータおよび／または間取図記録等の建築記録に基づいて、実施されることができる。ユーザの現在の場所に対応する部屋を識別するための他の技法が、当業者に明白であろう。
例示的プロセス７００では、音響パラメータのセットが存在し、読み出され得るかどうか、クエリが行われることができる。段階７２０では、クライアントデバイス（例えば、ウェアラブルヘッドユニットを含み得る、上記に説明されるクライアントデバイス５１０）が、現在の部屋に対応する音響パラメータに関してクエリを行われることができる。そのようなセットがクライアントデバイス上に記憶されることが決定される（段階７３０）場合、それは、使用するために読み出され、出力されることができる（段階７７０）。音響パラメータのセットが、クライアントデバイス上に記憶されない場合、サーバ（例えば、上記に説明されるサーバ５２０）は、段階７４０において音響パラメータに関してクエリを行われることができる。上記のように、そのようなセットが、サーバ上に記憶されることが決定される（段階７５０）場合、それは、使用するために読み出され、出力されることができる（段階７７０）。現在の部屋の音響パラメータのセットが、クライアントデバイスまたはサーバのいずれかの上で利用可能ではない場合、音響パラメータの新しいセットが、使用するための結果として生じる音響パラメータ出力（段階７７０）を伴って、下記でより詳細に説明されるように、段階７６０において部屋に関して作成され、下記に説明されるように、後続の読み出しのためにクライアントデバイスまたはサーバデバイス上に潜在的に記憶されることができる。
図８は、例示的プロセス７００の段階７６０において実施され得るような、部屋の音響パラメータの設置を決定するための例示的プロセス８００を説明する。例示的プロセス８００は、そのような音響パラメータを決定するための好適な技法の任意の組み合わせを採用することができる。１つのそのような技法は、ウェアラブルヘッドユニット２００等のウェアラブルデバイスのセンサからのデータに基づいて、音響パラメータを決定するステップを含む。段階８１０では、そのようなセンサデータは、入力として例示的プロセスに提供されることができる。センサデータは、深度カメラ（例えば、深度カメラ４４４）、ＲＧＢカメラ、ＬＩＤＡＲモジュール、ソーナモジュール、レーダモジュール、ＧＰＳ受信機、配向センサ（例えば、ＩＭＵ、ジャイロスコープ、または加速度計）、および／またはマイクロホン（例えば、マイクロホン４５０）からのデータを含むことができる。段階８２０では、センサ入力から、現在の部屋の幾何学的形状が、決定されることができる。そのような幾何学的形状は、部屋内の１つ以上の表面（例えば、壁、床、天井）および／またはオブジェクトのサイズ、形状、位置、および配向を含むことができる。本データは、部屋内の音声の音響性質に影響を及ぼし得る。例えば、広い空洞のような空間が、より小さい空間よりも長くて顕著な残響を引き起こし得る。同様に、音響的に減衰させるオブジェクト（例えば、カーテン、ソファ）に満ちた部屋は、それらの部屋内の音声を減衰させることができる。
部屋の幾何学情報が、センサ入力（例えば、幾何学形状によって反射される光を示すカメラ画像、幾何学形状に対応する空間座標を提供するＬＩＤＡＲデータ）に基づいて、当業者に熟知されている技術を利用することによって、決定されることができる。いくつかの実施例では、部屋の幾何学形状は、段階８１０においてＧＰＳ受信機によって提供され得るような地理座標に部屋の幾何学形状を関連させる、データベースから読み出されてもよい。同様に、いくつかの実施例では、ＧＰＳ座標が、ＧＰＳ座標に対応する建築データ（例えば、間取図）を読み出すために使用されることができ、部屋の幾何学形状が、建築データを使用して決定されることができる。
段階８２０において決定される部屋の幾何学形状に加えて、その幾何学形状に対応する材料が、段階８３０において決定されることができる。そのような材料は、部屋内の音声に影響を及ぼす音響性質を呈することができる。例えば、タイルから作製された壁が、音響的に反射性であり、明るい残響を呈するであろう一方で、カーペットで被覆された床は、減衰効果を呈するであろう。そのような材料は、段階８１０において提供されるセンサ入力を使用して、決定されることができる。例えば、ＲＧＢカメラが、その視覚的外観に基づいて、表面材料を識別するために使用されることができる。他の好適な技法が、当業者に明白であろう。上記のように、いくつかの実施例では、表面材料は、段階８１０においてＧＰＳ受信機によって提供され得るような地理座標に表面材料を関連させる、データベースから、またはこれらの座標に対応する建築データから、読み出されてもよい。
段階８４０では、段階８２０において決定される部屋の幾何学形状および／または段階８３０において決定される表面材料が、部屋の幾何学形状および／または表面材料が部屋内の音声に及ぼし得る音響効果を表す、部屋の対応する音響パラメータを決定するために、使用されることができる。種々の技法が、そのような音響パラメータを決定するために、使用されることができる。一実施例として、残響エンジン入力パラメータ（例えば、減衰時間、ミックスレベル、アタック時間、または残響アルゴリズムへの選択インデックス）が、部屋の体積への既知の関係に基づいて決定されることができる。別の実施例として、部屋の物理的表現が、表現から数学的に決定される部屋の音響応答モデルを用いて、センサ入力に基づいて構築されることができる。別の実施例として、残響パラメータまたはフィルタパラメータを表面材料タイプと関連付ける、ルックアップテーブルが、維持されることができる。部屋が異なる音響パラメータを有する複数の材料を含む場合において、音響パラメータの複合セットが、例えば、各個別の材料で被覆される部屋の相対表面積に基づいて、パラメータを混合することによって、決定されることができる。他の好適な例示的技法は、例えば、Ｌ． Ｓａｖｉｏｊａ ｅｔ ａｌ．， Ｃｒｅａｔｉｎｇ Ｉｎｔｅｒａｃｔｉｖｅ Ｖｉｒｔｕａｌ Ａｃｏｕｓｔｉｃ Ｅｎｖｉｒｏｎｍｅｎｔｓ， ４７ Ｊ． Ａｕｄｉｏ Ｅｎｇ． Ｓｏｃ． ６７５， ７０５ ｎ． ９ （１９９９）に説明され、当業者に熟知されるであろう。
部屋の音響特性を決定するための別の技法は、部屋内のスピーカを介して既知の試験オーディオ信号を提示するステップと、部屋内のマイクロホンを介して「ウェット」試験信号を記録するステップと、段階８４０における比較のために試験信号（８５０）およびウェット信号（８６０）を提示するステップとを含む。試験信号およびウェット信号の比較は、例えば、Ａ． Ｄｅｂ ｅｔ ａｌ．， Ｔｉｍｅ Ｉｎｖａｒｉａｎｔ Ｓｙｓｔｅｍ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ： Ｖｉａ ‘Ｄｅｃｏｎｖｏｌｕｔｉｏｎ’， ｉｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｏｆ Ｔｉｍｅ－Ｉｎｖａｒｉａｎｔ Ｓｙｓｔｅｍｓ， Ｔｉｍｅ－Ｖａｒｙｉｎｇ Ｓｙｓｔｅｍｓ， ａｎｄ Ｍｕｌｔｉ－Ｄｅｌａｙ Ｓｙｓｔｅｍｓ ｕｓｉｎｇ Ｏｒｔｈｏｇｏｎａｌ Ｈｙｂｒｉｄ Ｆｕｎｃｔｉｏｎｓ ３１９－３３０ （Ｓｐｒｉｎｇｅｒ， １ｓｔ ｅｄ． ２０１６）に説明されるように、試験信号への部屋の音響効果を特性評価する、伝達関数を生じさせることができる。いくつかの実施例では、「ブラインド」推定技法が、例えば、Ｊ． Ｊｏｔ ｅｔ ａｌ．， Ｂｌｉｎｄ Ｅｓｔｉｍａｔｉｏｎ ｏｆ ｔｈｅ Ｒｅｖｅｒｂｅｒａｔｉｏｎ Ｆｉｎｇｅｒｐｒｉｎｔ ｏｆ Ｕｎｋｎｏｗｎ Ａｃｏｕｓｔｉｃ Ｅｎｖｉｒｏｎｍｅｎｔｓ， Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ Ｃｏｎｖｅｎｔｉｏｎ Ｐａｐｅｒ ９９０５ （２０１７年１０月１８－２１日）に説明されるように、ウェット信号のみを記録することによって、部屋の音響パラメータを読み出すために採用されてもよい。
例示的プロセス８００等のいくつかの実施例では、音響パラメータを決定するための複数の技法が、組み合わせられることができる。例えば、段階８５０および８６０に関して上記に説明されるような試験信号およびウェット信号から決定される音響パラメータは、それぞれ、段階８２０および８３０において決定される部屋の幾何学形状および表面材料を使用して、精緻化されることができる、および／または逆も同様である。
段階８４０において部屋の音響パラメータのセットを決定することに応じて、音響パラメータのセットは、そのようなパラメータを再算出する必要性（有意な計算オーバーヘッドを被り得る）を回避するように、以降の読み出しのために記憶されることができる。音響パラメータのセットは、クライアントデバイス（例えば、プロセス７００の段階７２０に関して上記に説明されるように読み出されるように、クライアントデバイス５１０）に、サーバデバイス（例えば、プロセス７００の段階７４０に関して上記に説明されるように読み出されるように、サーバデバイス５２０）に、別の好適な記憶場所に、または上記のある組み合わせに、記憶されることができる。
いくつかの実施例では、（例えば、例示的プロセス６００の段階６４０において）オーディオ信号を、１つを上回る部屋と関連付けられる音響パラメータに印加することによって、より現実的な音響モデル化を取得することが望ましくあり得る。例えば、１つを上回る音響領域または部屋を含む音響環境では、オーディオ信号は、複数の部屋の音響性質を帯びることができる。また、ＭＲＥでは、そのような部屋のうちの１つ以上のものは、現実環境に必ずしも存在しない音響領域に対応する、仮想部屋であってもよい。
図９は、複数の音響的に接続された領域を含む、例示的室内９００を図示する。図９では、領域９１０は、部屋内の種々のオブジェクトを伴うリビングルームに対応する。戸口９１４は、リビングルーム９１０を、第２の部屋、すなわち、ダイニングルーム９６０と接続する。音源９６４は、ダイニングルーム９６０内に位置付けられる。本現実環境では、ダイニングルーム９６０内の音源９６４によって生成され、リビングルーム９１０内のユーザによって聞かれる音声は、ダイニングルーム９６０およびリビングルーム９１０の両方の音響特性を帯びるであろう。室内場面９００に対応するＭＲＥでは、仮想音声が、同様に、これらの複数の部屋の音響特性を採用した場合、より現実的な音響体験が、結果として生じるであろう。
図９の例示的室内９００等の多重部屋音響環境は、環境内の部屋の間の音響関係を説明する音響グラフ構造によって、表されることができる。図１０は、例示的室内場面９００に対応する家の中の部屋を説明し得る、例示的音響グラフ構造１０００を示す。音響グラフ構造内の各部屋は、その独自の音響特性を有し得る。いくつかの実施例では、音響グラフ構造１０００は、サーバ５２０等のサーバ上に記憶され得、それは、クライアントデバイス５１０等の１つ以上のクライアントデバイスによってアクセスされることができる。例示的音響グラフ構造１０００では、図９に示されるリビングルーム９１０は、対応する部屋データ構造１０１０によって表される。部屋データ構造１０１０は、リビングルーム９１０の側面（例えば、部屋のサイズおよび形状、部屋内のオブジェクト、および同等物）を説明する、１つ以上のデータ要素と関連付けられてもよい。実施例では、音響パラメータデータ構造１０１２は、部屋データ構造１０１０と関連付けられ、対応するリビングルーム９１０と関連付けられる音響パラメータのセットを説明することができる。本音響パラメータのセットは、例えば、図６、図７、および図８に関して上記に説明されるような音響パラメータのセットに対応することができる。
音響グラフ構造１０００では、家の中の部屋は、（例えば、それを通して音波が進行し得る、窓、戸口、またはオブジェクトを介して）音響的に結合されてもよい。これらの音響接続は、音響グラフ構造１０００内の部屋データ構造を接続する線を介して示される。例えば、音響グラフ構造１０００は、図９のダイニングルーム９６０に対応する部屋データ構造１０６０を含む。図では、ダイニングルームデータ構造１０６０は、線によってリビングルームデータ構造１０１０に接続され、これは、図９に示されるように、ダイニングルーム９６０およびリビングルーム９１０が戸口９６４を介して音響的に結合されることを反映する。リビングルームデータ構造１０１０と同様に、ダイニングルームデータ構造１０６０は、対応するダイニングルーム９６０と関連付けられる音響パラメータのセットを説明し得る、音響パラメータデータ構造１０６２と関連付けられる。同様に、音響グラフ構造１０００は、家の中の他の部屋（例えば、地階１０３０、台所１０４０、私室１０５０、寝室１０２０、浴室１０７０、ガレージ１０８０、オフィス１０９０）およびそれらの関連付けられる音響パラメータ（例えば、それぞれ、地階１０３０、台所１０４０、私室１０５０、寝室１０２０、浴室１０７０、ガレージ１０８０、およびオフィス１０９０に対応する、１０３２、１０４２、１０５２、１０２２、１０７２、１０８２、および１０９０）の表現を含む。図に示されるように、これらの部屋およびそれらの関連付けられるデータは、ハッシュテーブルを使用して表されてもよい。部屋データ構造を接続する線は、部屋の間の音響接続を表す。部屋の間の音響接続を説明するパラメータは、例えば、線と関連付けられるデータ構造によって、上記に説明される音響パラメータデータ構造（例えば、１０１２、１０６２）内で、またはある他のデータ構造を介して、表されることができる。そのようなパラメータは、例えば、部屋の間の開口部（例えば、戸口９１４）のサイズ、部屋の間の壁の厚さおよび材料等を含み得る。本情報は、１つの部屋の音響性質が、音響的に接続された部屋内で生成される、または聞かれる音声に影響を及ぼす程度を決定するために使用されることができる。
例示的音響グラフ構造１０００等の音響グラフ構造は、任意の好適な技法を使用して、作成または修正されることができる。いくつかの実施例では、部屋は、ウェアラブルシステムからのセンサ入力（例えば、深度カメラ、ＲＧＢカメラ、ＬＩＤＡＲ、ソーナ、レーダ、および／またはＧＰＳ等のセンサからの入力）に基づいて、音響グラフ構造に追加されることができる。センサ入力は、上記に説明されるような部屋、部屋の幾何学形状、部屋の材料、オブジェクト、オブジェクトの材料、および同等物を識別するために、そして部屋が音響的に接続されるかどうか（およびその様式）を決定するために、使用されることができる。いくつかの実施例では、音響グラフ構造は、複合現実設計者が、仮想部屋（現実世界の対応物を有し得ない）を１つ以上の既存の部屋に追加することを所望するとき等に、手動で修正されることができる。
図１１は、第１の部屋内で（音源によって）提示され、第１の部屋と異なる第２の部屋内で（ユーザによって）聞かれ得る、音声に関して、２つ以上の音響的に接続された部屋と関連付けられる複合音響パラメータのセットを決定する例示的プロセス１１００を示す。例示的プロセス１１００は、オーディオ信号に適用するための音響パラメータを読み出すために使用されることができ、例えば、上記に説明される例示的プロセス６００の段階６３０において実施されることができる。段階１１１０では、ユーザの場所に対応する部屋が、例示的プロセス７００の段階７１０に関して上記に説明されるように識別されることができる。本ユーザの部屋は、例えば、上記に説明されるリビングルーム９１０に対応し得る。段階１１２０では、ユーザの部屋の音響パラメータが、例えば、図７－８および段階７２０から７６０に関して上記に説明されるように、決定される。上記に説明される実施例では、これらのパラメータは、音響パラメータ１０１２によって説明されてもよい。
段階１１３０では、音声の場所に対応する部屋が、例示的プロセス７００の段階７１０に関して上記に説明されるように識別されることができる。例えば、本音源は、上記に説明される音源９６４に対応し得、音源の部屋は、上記に説明されるダイニングルーム９６０（リビングルーム９１０に音響的に接続される）に対応し得る。段階１１４０では、音源の部屋の音響パラメータが、例えば、図７－８および段階７２０から７６０に関して上記に説明されるように、決定される。上記に説明される実施例では、これらのパラメータは、音響パラメータ１０６２によって説明されてもよい。
例示的プロセス１１００の段階１１５０では、ユーザの部屋と音源の部屋との間の音響関係を説明する音響グラフが、決定されることができる。音響グラフは、上記に説明される音響グラフ構造１０００に対応することができる。いくつかの実施例では、本音響グラフは、音響パラメータを読み出すための図７に関して説明されるプロセスに類似する様式で読み出されることができ、例えば、音響グラフは、センサ入力に基づいて、クライアントデバイスおよび／またはサーバ上に記憶され得る音響グラフのセットから選択されることができる。
音響グラフを決定することに応じて、音響グラフから、音源の部屋および／またはユーザの部屋に音響的に接続され得る部屋、およびこれらの部屋が提示される音声に及ぼし得る音響効果が、決定されることができる。例えば、実施例として音響グラフ構造１０００を使用して、音響グラフは、リビングルーム１０１０およびダイニングルーム１０６０が、第１のパスによって直接接続されることを示し、音響グラフはさらに、リビングルーム１０１０およびダイニングルーム１０６０がまた、台所１０４０を含む第２のパスを介して間接的に接続されることも示す。段階１１６０では、そのような中間部屋の音響パラメータが、（例えば、図７－８および段階７２０から７６０に関して上記に説明されるように）、決定されることができる。加えて、段階１１６０は、上記に説明されるようなこれらの部屋の間の音響関係を説明するパラメータ（部屋の間のオブジェクトまたは通路のサイズおよび形状等）を決定することができる。
段階１１２０、１１４０、および１１６０の出力、すなわち、それぞれ、ユーザの部屋、音源の部屋、または任意の中間部屋に対応する音響パラメータが、それらの音響接続を説明するパラメータとともに、段階１１７０に提示されることができ、その時点で、それらは、例えば、Ｊ． Ｊｏｔ ｅｔ ａｌ．， Ｂｉｎａｕｒａｌ Ｓｉｍｕｌａｔｉｏｎ ｏｆ Ｃｏｍｐｌｅｘ Ａｃｏｕｓｔｉｃ Ｓｃｅｎｅｓ ｆｏｒ Ｉｎｔｅｒａｃｔｉｖｅ Ａｕｄｉｏ， Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ Ｃｏｎｖｅｎｔｉｏｎ Ｐａｐｅｒ ６９５０ （２００６年１０月１日）に説明されるように、音声に適用され得る音響パラメータの単一の複合セットに組み合わせられることができる。いくつかの実施例では、パラメータの複合セットは、音響グラフによって表され得るような部屋の間の音響関係に基づいて、決定されることができる。例えば、いくつかの実施例では、ユーザの部屋および音源の部屋が、厚い壁によって分離される場合、ユーザの部屋の音響パラメータは、音源の部屋の音響パラメータに対して、音響パラメータの複合セット内で優位に立ち得る。しかしながら、いくつかの実施例では、部屋が、大きい戸口によって分離される場合、音源の部屋の音響パラメータは、より顕著であり得る。複合パラメータはまた、部屋に対するユーザの場所に基づいて決定されることもでき、例えば、ユーザが、隣接する部屋の近くに位置する場合、その部屋の音響パラメータは、ユーザが部屋からより遠く離れて位置した場合よりも顕著であり得る。音響パラメータの複合セットを決定することに応じて、複合セットは、単一の部屋だけではなくて、音響グラフによって説明されるような接続された音響環境全体の音響特性を付与するように音声に適用されることができる。
図１２、１３、および１４は、上記に説明される１つ以上の実施例に対応し得る、例示的ウェアラブルシステムのコンポーネントを説明する。例えば、図１２に示される例示的ウェアラブルヘッドユニット１２－１００、図１３に示される例示的ウェアラブルヘッドユニット１３－１００、および／または図１４に示される例示的ウェアラブルヘッドユニット１４－１００は、ウェアラブルヘッドユニット２００に対応し得、図１２に示される例示的ハンドヘルドコントローラ１２－２００は、ハンドヘルドコントローラ３００に対応し得、図１２に示される例示的補助ユニット１２－３００は、補助ユニット３２０に対応し得る。図１２に図示されるように、ウェアラブルヘッドユニット１２－１００（拡張現実眼鏡とも称される）は、アイピースと、カメラ（例えば、深度カメラ、ＲＧＢカメラ、および同等物）と、立体画像源と、慣性測定ユニット（ＩＭＵ）と、スピーカとを含んでもよい。図１３を手短に参照すると、ウェアラブルヘッドユニット１３－１００（拡張現実眼鏡とも称される）は、左右のアイピース、画像源（例えば、プロジェクタ）と、左右のカメラ（例えば、深度カメラ、ＲＧＢカメラ、および同等物）と、左右のスピーカとを含んでもよい。ウェアラブルヘッドユニット１３－１００は、ユーザの頭部上に装着されてもよい。図１４を手短に参照すると、ウェアラブルヘッドユニット１４－１００（拡張現実眼鏡とも称される）は、各アイピースが１つ以上の内部結合格子、直交瞳拡大格子、および射出瞳拡大格子を含む、左右のアイピースを含んでもよい。図１２に戻って参照すると、ウェアラブルヘッドユニット１２－１００は、例えば、有線または無線接続によって、補助ユニット１２－３００（バッテリ／コンピュータとも称される）に通信可能に結合されてもよい。ハンドヘルドコントローラ１２－２００は、例えば、有線または無線接続によって、ウェアラブルヘッドユニット１２－１００および／または補助ユニット１２－３００に通信可能に結合されてもよい。
図１５は、上記に説明される１つ以上の実施例に対応し得る、例示的ウェアラブルシステムの例示的構成を説明する。例えば、例示的拡張現実ユーザギア１５－１００は、ウェアラブルヘッドユニットを備えてもよく、図５に関して上記に説明されるクライアントデバイス５１０に対応し得、クラウドサーバ１５－２００は、図５に関して上記に説明されるサーバデバイス５２０に対応し得、通信ネットワーク１５－３００は、図５に関して上記に説明される通信ネットワーク５３０に対応し得る。クラウドサーバ１５－２００は、いくつかあるコンポーネント／要素／モジュールの中でも特に、オーディオ残響分析エンジンを含んでもよい。通信ネットワーク１５－３００は、例えば、インターネットであってもよい。拡張現実ユーザギア１５－１００は、例えば、ウェアラブルヘッドユニット２００を含んでもよい。拡張現実ユーザギア１５－１００は、視覚システムと、オーディオシステムと、位置特定システムとを含んでもよい。視覚システムは、それぞれ、画像を左右の拡張現実アイピースに提供する、左右の立体画像源を含んでもよい。視覚システムはさらに、１つ以上のカメラ（例えば、深度カメラ、ＲＧＢカメラ、および／または同等物）を含んでもよい。オーディオシステムは、１つ以上のスピーカと、１つ以上のマイクロホンとを含んでもよい。位置特定システムは、１つ以上のカメラ、Ｗｉ－Ｆｉ、ＧＰＳ、および／または他の無線受信機等のセンサを含んでもよい。
図１６は、上記に説明される１つ以上の実施例に対応し得る、オーディオ信号を複合現実システムのユーザに提示するための例示的プロセス１６－１００のフローチャートを図示する。例えば、例示的プロセス１６－１００の１つ以上の側面は、図６、７、および／または８に関して上記に説明される例示的プロセスのうちの１つ以上のものに対応し得る。例示的プロセス１６－１００が指す複合現実システムは、複合現実デバイスを含んでもよい。例示的プロセスを開始した後、部屋の識別が、決定される。部屋の残響特性／パラメータが、ローカルで、例えば、複合現実デバイス（時として、クライアントデバイスと称される）上に記憶されるかどうかが、決定される。部屋の残響特性／パラメータが、ローカルで記憶される場合、ローカルで記憶された残響特性／パターンが、アクセスされ、部屋の残響特性／パラメータを伴う仮想コンテンツと関連付けられるオーディオが、処理される。部屋の残響特性／パラメータが、ローカルで記憶されない場合、部屋の識別は、部屋の残響特性／パラメータに対する要求とともにクラウドサーバに送信される。部屋の残響特性／パラメータが、クラウドサーバから即時に入手可能であるかどうかが、決定される。部屋の残響特性／パラメータが、クラウドサーバから即時に入手可能である場合、部屋の部屋残響特性／パラメータは、クラウドサーバから受信され、部屋の残響特性／パラメータを伴う仮想コンテンツと関連付けられるオーディオが、処理される。部屋の残響特性／パラメータが、クラウドサーバから即時に入手可能ではない場合、部屋の幾何学形状が、マップされ、部屋内のオーディオに影響を及ぼす材料が、検出され、部屋内のオーディオ信号が、記録される。部屋の識別、部屋のマップされた幾何学形状、部屋内のオーディオに影響を及ぼす材料、および部屋内の記録されたオーディオ信号は、クラウドサーバに送信される。部屋の残響特性／パラメータは、クラウドサーバから受信され、部屋の残響特性／パラメータを伴う仮想コンテンツと関連付けられるオーディオは、処理される。部屋の残響特性／パラメータを伴う仮想コンテンツと関連付けられるオーディオが処理された後、仮想コンテンツと関連付けられるオーディオは、複合現実システムを通して（例えば、複合／拡張現実ユーザギアを介して）出力される。
図１７－１９は、それぞれ、上記に説明される１つ以上の実施例に対応し得る、オーディオ信号を複合現実システムのユーザに提示するための例示的プロセス１７－１００、１８－１００、および１９－１００のフローチャートを図示する。例えば、例示的プロセス１７－１００、１８－１００、および／または１９－１００の１つ以上の側面は、図６、７、および／または８に関して上記に説明される例示的プロセスのうちの１つ以上のものに対応し得る。
いくつかの実施例では、図１７のプロセス１７－１００の１つ以上のステップは、クラウドサーバによって実施されてもよい。例示的プロセス１７－１００を開始した後、部屋の識別が、部屋の残響特性／パラメータに対する要求とともに、受信される。部屋の残響特性／パラメータが、第１の複合／拡張現実ユーザギアに送信される。
いくつかの実施例では、図１８のプロセス１８－１００の１つ以上のステップは、クラウドサーバによって実施されてもよい。例示的プロセス１８－１００を開始した後、特定の部屋の識別が、受信される。持続的世界モデルグラフが、隣接する接続された部屋を識別するようにチェックされる。任意の隣接する接続された部屋の残響特性／パラメータが、アクセスされる。任意の隣接する接続された部屋の残響特性／パラメータは、複合／拡張現実ユーザギアに伝送される。
いくつかの実施例では、図１９のプロセス１９－１００の１つ以上のステップは、クラウドサーバによって実施されてもよい。例示的プロセス１９－１００を開始した後、部屋の識別が、部屋データとともに、第１の複合／拡張現実ユーザギアから受信される。部屋データは、例えば、部屋のマップされた幾何学形状、部屋内のオーディオに影響を及ぼす材料、および部屋内の記録されたオーディオ信号を含んでもよい。いくつかの実施例では、部屋の幾何学形状および部屋内のオーディオに影響を及ぼす材料に基づいて、残響特性／パラメータが、算出される。いくつかの実施例では、部屋内の記録されたオーディオ信号は、部屋の残響特性／パラメータを抽出するように処理される。部屋の識別に関連する部屋の残響特性／パラメータは、クラウドサーバ内に記憶される。部屋の残響特性／パラメータは、第１の複合／拡張現実ユーザギアに送信される。
図２０は、上記に説明される１つ以上の実施例に対応し得る、音響的に接続された空間のパラメータに基づいて、オーディオ信号を複合現実システムのユーザに提示するための例示的プロセス２０－１００のフローチャートを図示する。例えば、例示的プロセス２０－１００の１つ以上の側面は、図１１に関して上記に説明される例示的プロセスに対応し得る。例示的プロセス２０－１００を開始した後、複合／拡張現実ユーザギアが動作されている空間の音響パラメータが、受信される。複合／拡張現実ユーザギアが動作されている空間の音響パラメータを使用して、可視および／またはオーディオ放出仮想コンテンツが、複合／拡張現実ユーザギアが動作されている空間内で生成される。世界グラフ情報が、隣接する接続された空間を識別するようにアクセスされる。隣接する接続された空間の音響パラメータが、受信される。仮想コンテンツが、隣接する接続された空間の中に移動される。隣接する接続された空間の音響パラメータを使用して、仮想コンテンツのためのオーディオセグメントが、処理される。処理されたオーディオセグメントは、次いで、出力として提示されることができる。
図２１は、上記に説明される１つ以上の実施例に対応し得る、複合現実システムのユーザの場所を決定するための例示的プロセス２１－１００のフローチャートを図示する。例えば、例示的プロセス２１－１００は、図７に関して上記に説明される例示的プロセス７００の段階７１０において実施され得る。実施例では、開始後、十分な数のＧＰＳ衛星が範囲内にあるかどうかが決定される。十分な数のＧＰＳ衛星が、範囲内にある場合、ＧＰＳ受信機が、位置を決定するように動作される。十分な数のＧＰＳ衛星が、範囲内にない場合、近傍のＷｉ－Ｆｉ受信機の識別が、受信される。近傍のＷｉ－Ｆｉ受信機の位置特定についての記憶された情報が、アクセスされる。デバイスが位置する空間の１つ以上の画像が、捕捉される。画像が、合成物に組み立てられる。合成物のピクセル強度ヒストグラムが、決定される。決定されたヒストグラムは、それぞれが世界グラフ内の場所節点にリンクされる、事前記憶されたヒストグラムのセットに合致される。アクセス可能なＷｉ－Ｆｉネットワーク、ＧＰＳネットワーク、および／またはヒストグラム合致の識別に基づいて、複合／拡張現実ユーザギアの現在の場所が、推定されることができる。
いくつかの実施例では、拡張現実ユーザギアは、拡張現実ユーザギアが位置する空間の識別を決定するための位置特定サブシステムと、拡張現実ギアが、空間の識別と関連付けられる少なくとも１つのオーディオパラメータを受信するために位置する、空間の識別を通信するための通信サブシステムと、少なくとも１つのパラメータに基づいてオーディオセグメントを処理し、オーディオセグメントを出力するためのオーディオ出力サブシステムとを含んでもよい。上記の代わりに、またはそれに加えて、いくつかの実施例では、拡張現実ユーザギアは、拡張現実ギアが位置する第１の空間の音響性質に関する情報を取得するためのセンササブシステムと、第１の空間の音響性質に関する情報に基づいて、オーディオセグメントを処理するためのオーディオ処理サブシステムであって、センササブシステムに通信可能に結合される、オーディオ処理サブシステムと、オーディオセグメントを出力するためのオーディオスピーカであって、オーディオセグメントを受信するためのオーディオ処理サブシステムに結合される、オーディオスピーカとを含んでもよい。上記の代わりに、またはそれに加えて、いくつかの実施例では、センササブシステムは、第１の空間のための幾何学情報を取得するように構成される。上記の代わりに、またはそれに加えて、いくつかの実施例では、センササブシステムは、カメラを含む。上記の代わりに、またはそれに加えて、いくつかの実施例では、カメラは、深度カメラを含む。上記の代わりに、またはそれに加えて、いくつかの実施例では、センサシステムは、立体カメラを含む。上記の代わりに、またはそれに加えて、いくつかの実施例では、センササブシステムは、明確に異なる吸音性質を有する、明確に異なるオブジェクトを認識するように構成される、オブジェクト認識装置を含む。上記の代わりに、またはそれに加えて、いくつかの実施例では、オブジェクト認識装置は、カーペット、カーテン、およびソファから成る群から選択される、少なくとも１つのオブジェクトを認識するように構成される。上記の代わりに、またはそれに加えて、いくつかの実施例では、センササブシステムは、マイクロホンを含む。上記の代わりに、またはそれに加えて、いくつかの実施例では、拡張現実ギアはさらに、拡張現実ユーザギアが位置する第１の空間の識別を決定するための位置特定サブシステムと、拡張現実ギアが位置する第１の空間の識別を通信するため、および拡張現実ギアが位置する第１の空間の音響性質に関する情報を伝送するための通信サブシステムとを含む。上記の代わりに、またはそれに加えて、いくつかの実施例では、通信サブシステムはさらに、第２の空間の音響性質から導出される情報を受信するように構成される。上記の代わりに、またはそれに加えて、いくつかの実施例では、拡張現実ギアはさらに、仮想音源が第２の空間内に位置することを決定するための位置特定サブシステムと、第２の空間の音響性質に関する情報に基づいて、仮想音源と関連付けられるオーディオセグメントを処理するためのオーディオ処理サブシステムとを含む。
開示される実施例は、付随する図面を参照して完全に説明されたが、種々の変更および修正が当業者に明白となるであろうことに留意されたい。例えば、１つ以上の実装の要素は、さらなる実装を形成するように組み合わせられる、削除される、修正される、または補完され得る。そのような変更および修正は、添付の請求項によって定義されるような開示される実施例の範囲内に含まれるものとして理解されたい。

Claims (26)

  1. オーディオ信号を複合現実環境のユーザに提示する方法であって、前記方法は、
    前記複合現実環境と関連付けられるオーディオイベントを検出することであって、前記オーディオイベントは、第１のオーディオ信号と関連付けられる、ことと、
    前記複合現実環境に対する前記ユーザの場所を決定することと、
    前記ユーザの場所と関連付けられる第１の音響領域を識別することと、
    前記第１の音響領域と関連付けられる第１の音響パラメータを決定することと、
    第２の音響領域を識別することであって、前記第２の音響領域は、前記第１の音響領域に音響的に結合され、前記第２の音響領域は、音源の場所と関連付けられる、ことと、
    前記第２の音響領域と関連付けられる第２の音響パラメータを決定することと、
    第３の音響パラメータを決定することであって、前記第３の音響パラメータは、前記第１の音響領域と前記第２の音響領域との間の音響領域と関連付けられる、ことと、
    前記第１の音響パラメータ、前記第２の音響パラメータ、および前記第３の音響パラメータを使用して、複合音響パラメータを決定することと、
    前記複合音響パラメータを使用して、伝達関数を決定することと、
    前記伝達関数を前記第１のオーディオ信号に適用し、第２のオーディオ信号を生成することと、
    前記ユーザに前記第２のオーディオ信号を提示することと
    を含む、方法。
  2. 前記第１のオーディオ信号は、波形オーディオファイルを備える、請求項１に記載の方法。
  3. 前記第１のオーディオ信号は、ライブオーディオストリームを備える、請求項１に記載の方法。
  4. 前記ユーザは、１つ以上のセンサと、前記複合現実環境の視界を提示するように構成されるディスプレイとを備えるウェアラブルシステムと関連付けられ、
    前記第１の音響領域を識別することは、前記１つ以上のセンサから第１のセンサ入力を検出し、前記第１の音響領域が前記第１のセンサ入力に基づくことを識別することを含む、請求項１に記載の方法。
  5. 前記第１の音響パラメータを決定することは、前記１つ以上のセンサから第２のセンサ入力を検出し、前記第１の音響パラメータが前記第２のセンサ入力に基づくことを決定することを含む、請求項４に記載の方法。
  6. 前記第１の音響パラメータを決定することはさらに、前記第２のセンサ入力に基づいて、前記音響領域の幾何学的特性を識別し、前記第１の音響パラメータが前記幾何学的特性に基づくことを決定することを含む、請求項５に記載の方法。
  7. 前記第１の音響パラメータを決定することはさらに、前記第２のセンサ入力に基づいて、前記音響領域の関連付けられる材料を識別し、前記第１の音響パラメータが前記材料に基づくことを決定することを含む、請求項５に記載の方法。
  8. 前記ウェアラブルシステムはさらに、マイクロホンを備え、前記マイクロホンは、前記第１の音響領域内に位置し、前記第１の音響パラメータは、前記マイクロホンによって検出される信号に基づいて決定される、請求項４に記載の方法。
  9. 前記第１の音響パラメータは、残響パラメータに対応する、請求項１に記載の方法。
  10. 前記第１の音響パラメータは、フィルタリングパラメータに対応する、請求項１に記載の方法。
  11. システムであって、
    ウェアラブルヘッドギアユニットであって、
    複合現実環境の視界を提示するように構成されるディスプレイと、
    スピーカと、
    １つ以上のセンサと、
    回路であって、前記回路は、
    前記複合現実環境と関連付けられるオーディオイベントを検出することであって、前記オーディオイベントは、第１のオーディオ信号と関連付けられる、ことと、
    前記１つ以上のセンサに基づいて、前記複合現実環境に対する前記ウェアラブルヘッドギアユニットの場所を決定することと、
    ユーザの場所と関連付けられる第１の音響領域を識別することと、
    前記第１の音響領域と関連付けられる第１の音響パラメータを決定することと、
    第２の音響領域を識別することであって、前記第２の音響領域は、前記第１の音響領域に音響的に結合され、前記第２の音響領域は、音源の場所と関連付けられる、ことと、
    前記第２の音響領域と関連付けられる第２の音響パラメータを決定することと、
    第３の音響パラメータを決定することであって、前記第３の音響パラメータは、前記第１の音響領域と前記第２の音響領域との間の音響領域と関連付けられる、ことと、
    前記第１の音響パラメータ、前記第２の音響パラメータ、および前記第３の音響パラメータを使用して、複合音響パラメータを決定することと、
    前記複合音響パラメータを使用して、伝達関数を決定することと、
    前記伝達関数を前記第１のオーディオ信号に適用し、第２のオーディオ信号を生成することと、
    前記スピーカを介して前記ユーザに前記第２のオーディオ信号を提示することと
    を含む方法を実施するように構成される、回路と
    を含む、ウェアラブルヘッドギアユニット
    を備える、システム。
  12. 前記第１のオーディオ信号は、波形オーディオファイルを備える、請求項１１に記載のシステム。
  13. 前記第１のオーディオ信号は、ライブオーディオストリームを備える、請求項１１に記載のシステム。
  14. 前記第１の音響領域を識別することは、前記１つ以上のセンサから第１のセンサ入力を検出し、前記第１の音響領域が前記第１のセンサ入力に基づくことを識別することを含む、請求項１１に記載のシステム。
  15. 前記第１の音響パラメータを決定することは、前記１つ以上のセンサから第２のセンサ入力を検出し、前記第１の音響パラメータが前記第２のセンサ入力に基づくことを決定することを含む、請求項１４に記載のシステム。
  16. 前記第１の音響パラメータを決定することはさらに、前記第２のセンサ入力に基づいて、前記音響領域の幾何学的特性を識別し、前記第１の音響パラメータが前記幾何学的特性に基づくことを決定することを含む、請求項１５に記載のシステム。
  17. 前記第１の音響パラメータを決定することはさらに、前記第２のセンサ入力に基づいて、前記音響領域の関連付けられる材料を識別し、前記第１の音響パラメータが前記材料に基づくことを決定することを含む、請求項１５に記載のシステム。
  18. 前記第１の音響パラメータは、マイクロホンによって検出される信号に基づいて決定される、請求項１４に記載のシステム。
  19. 前記第１の音響パラメータは、残響パラメータに対応する、請求項１１に記載のシステム。
  20. 前記第１の音響パラメータは、フィルタリングパラメータに対応する、請求項１１に記載のシステム。
  21. 位置特定サブシステムであって、前記位置特定サブシステムは、前記システムが位置する第１の空間の識別を決定するように構成される、位置特定サブシステムと、
    通信サブシステムであって、前記通信サブシステムは、前記システムが位置する前記第１の空間の識別を通信するように構成され、前記第１の空間と関連付けられるオーディオパラメータを受信するようにさらに構成される、通信サブシステムと、
    オーディオ出力サブシステムであって、前記オーディオ出力サブシステムは、前記オーディオパラメータに基づいてオーディオセグメントを処理するように構成され、前記オーディオセグメントを出力するようにさらに構成される、オーディオ出力サブシステムと
    をさらに備える、請求項１１に記載のシステム。
  22. センササブシステムであって、前記センササブシステムは、前記システムの場所に対応する第１の空間の音響性質と関連付けられる情報を決定するように構成される、センササブシステムと、
    オーディオ処理サブシステムであって、前記オーディオ処理サブシステムは、前記情報に基づいてオーディオセグメントを処理するように構成され、前記オーディオ処理サブシステムは、前記センササブシステムに通信可能に結合される、オーディオ処理サブシステムと、
    前記オーディオセグメントを提示するためのスピーカであって、前記スピーカは、前記オーディオ処理サブシステムに結合される、スピーカと
    をさらに備える、請求項１１に記載のシステム。
  23. 前記センササブシステムはさらに、前記第１の空間のための幾何学情報を決定するように構成される、請求項２２に記載のシステム。
  24. 前記センササブシステムは、カメラを備える、請求項２２に記載のシステム。
  25. 前記センササブシステムは、明確に異なる吸音性質を有するオブジェクトを認識するように構成されるオブジェクト認識装置を備える、請求項２２に記載のシステム。
  26. 前記センササブシステムは、マイクロホンを備える、請求項２２に記載のシステム。
JP2020521454A 2017-10-17 2018-10-17 複合現実空間オーディオ Active JP7449856B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022194759A JP2023021243A (ja) 2017-10-17 2022-12-06 複合現実空間オーディオ

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762573448P 2017-10-17 2017-10-17
US62/573,448 2017-10-17
US201862631418P 2018-02-15 2018-02-15
US62/631,418 2018-02-15
PCT/US2018/056385 WO2019079523A1 (en) 2017-10-17 2018-10-17 SPACE AUDIO WITH MIXED REALITY

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022194759A Division JP2023021243A (ja) 2017-10-17 2022-12-06 複合現実空間オーディオ

Publications (2)

Publication Number Publication Date
JP2020537849A JP2020537849A (ja) 2020-12-24
JP7449856B2 true JP7449856B2 (ja) 2024-03-14

Family

ID=66096162

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020521454A Active JP7449856B2 (ja) 2017-10-17 2018-10-17 複合現実空間オーディオ
JP2022194759A Pending JP2023021243A (ja) 2017-10-17 2022-12-06 複合現実空間オーディオ

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022194759A Pending JP2023021243A (ja) 2017-10-17 2022-12-06 複合現実空間オーディオ

Country Status (9)

Country Link
US (3) US10616705B2 (ja)
EP (1) EP3698201A4 (ja)
JP (2) JP7449856B2 (ja)
KR (2) KR102633727B1 (ja)
CN (2) CN115175064A (ja)
AU (1) AU2018353008B2 (ja)
CA (1) CA3078420A1 (ja)
IL (3) IL297445B2 (ja)
WO (1) WO2019079523A1 (ja)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10609475B2 (en) 2014-12-05 2020-03-31 Stages Llc Active noise control and customized audio system
US10945080B2 (en) 2016-11-18 2021-03-09 Stages Llc Audio analysis and processing system
JP2018092313A (ja) * 2016-12-01 2018-06-14 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
KR102633727B1 (ko) 2017-10-17 2024-02-05 매직 립, 인코포레이티드 혼합 현실 공간 오디오
WO2019161312A1 (en) 2018-02-15 2019-08-22 Magic Leap, Inc. Mixed reality musical instrument
CN111713091A (zh) 2018-02-15 2020-09-25 奇跃公司 混合现实虚拟混响
US10628988B2 (en) * 2018-04-13 2020-04-21 Aladdin Manufacturing Corporation Systems and methods for item characteristic simulation
US11032664B2 (en) * 2018-05-29 2021-06-08 Staton Techiya, Llc Location based audio signal message processing
US10779082B2 (en) 2018-05-30 2020-09-15 Magic Leap, Inc. Index scheming for filter parameters
US10497161B1 (en) 2018-06-08 2019-12-03 Curious Company, LLC Information display by overlay on an object
WO2019241760A1 (en) 2018-06-14 2019-12-19 Magic Leap, Inc. Methods and systems for audio signal filtering
US10818088B2 (en) 2018-07-10 2020-10-27 Curious Company, LLC Virtual barrier objects
US10902678B2 (en) 2018-09-06 2021-01-26 Curious Company, LLC Display of hidden information
JP7208365B2 (ja) * 2018-09-18 2023-01-18 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 仮想３ｄオーディオを現実の室内に適応させる装置及び方法
US11055913B2 (en) * 2018-12-04 2021-07-06 Curious Company, LLC Directional instructions in an hybrid reality system
US10890982B2 (en) * 2018-12-18 2021-01-12 Samsung Electronics Co., Ltd. System and method for multipurpose input device for two-dimensional and three-dimensional environments
US10970935B2 (en) 2018-12-21 2021-04-06 Curious Company, LLC Body pose message system
US10897570B1 (en) 2019-01-28 2021-01-19 Facebook Technologies, Llc Room acoustic matching using sensors on headset
US11112389B1 (en) * 2019-01-30 2021-09-07 Facebook Technologies, Llc Room acoustic characterization using sensors
US10872584B2 (en) 2019-03-14 2020-12-22 Curious Company, LLC Providing positional information using beacon devices
US10674307B1 (en) * 2019-03-27 2020-06-02 Facebook Technologies, Llc Determination of acoustic parameters for a headset using a mapping server
US10743124B1 (en) * 2019-05-10 2020-08-11 Igt Providing mixed reality audio with environmental audio devices, and related systems, devices, and methods
CN113597777B (zh) * 2019-05-15 2023-07-07 苹果公司 音频处理
US10924875B2 (en) 2019-05-24 2021-02-16 Zack Settel Augmented reality platform for navigable, immersive audio experience
US10645520B1 (en) 2019-06-24 2020-05-05 Facebook Technologies, Llc Audio system for artificial reality environment
US11871198B1 (en) 2019-07-11 2024-01-09 Meta Platforms Technologies, Llc Social network based voice enhancement system
US11070933B1 (en) * 2019-08-06 2021-07-20 Apple Inc. Real-time acoustic simulation of edge diffraction
US11276215B1 (en) 2019-08-28 2022-03-15 Facebook Technologies, Llc Spatial audio and avatar control using captured audio signals
JP7446420B2 (ja) 2019-10-25 2024-03-08 マジック リープ， インコーポレイテッド 反響フィンガプリント推定
WO2021086624A1 (en) 2019-10-29 2021-05-06 Qsinx Management Llc Audio encoding with compressed ambience
US11483670B2 (en) * 2019-10-30 2022-10-25 Sonos, Inc. Systems and methods of providing spatial audio associated with a simulated environment
US11096006B1 (en) * 2019-11-04 2021-08-17 Facebook Technologies, Llc Dynamic speech directivity reproduction
EP4070284A4 (en) * 2019-12-06 2023-05-24 Magic Leap, Inc. ENVIRONMENTAL ACOUSTIC PERSISTENCE
US11337023B2 (en) 2019-12-20 2022-05-17 Magic Leap, Inc. Physics-based audio and haptic synthesis
CN115715470A (zh) 2019-12-30 2023-02-24 卡姆希尔公司 用于提供空间化声场的方法
JP7463796B2 (ja) 2020-03-25 2024-04-09 ヤマハ株式会社 デバイスシステム、音質制御方法および音質制御プログラム
WO2021243098A1 (en) * 2020-05-29 2021-12-02 Magic Leap, Inc. Surface appropriate collisions
WO2022031418A1 (en) * 2020-07-31 2022-02-10 Sterling Labs Llc. Sound rendering for a shared point of view
EP3968143A1 (en) * 2020-09-15 2022-03-16 Nokia Technologies Oy Audio processing
US11750745B2 (en) * 2020-11-18 2023-09-05 Kelly Properties, Llc Processing and distribution of audio signals in a multi-party conferencing environment
US11598962B1 (en) 2020-12-24 2023-03-07 Meta Platforms Technologies, Llc Estimation of acoustic parameters for audio system based on stored information about acoustic model
GB202020672D0 (en) * 2020-12-29 2021-02-10 Nokia Technologies Oy A method and apparatus for science dependent listener space adaptation
GB2602464A (en) * 2020-12-29 2022-07-06 Nokia Technologies Oy A method and apparatus for fusion of virtual scene description and listener space description
US11470162B2 (en) * 2021-01-30 2022-10-11 Zoom Video Communications, Inc. Intelligent configuration of personal endpoint devices
US11285393B1 (en) * 2021-04-07 2022-03-29 Microsoft Technology Licensing, Llc Cue-based acoustics for non-player entity behavior
KR20220146165A (ko) * 2021-04-23 2022-11-01 삼성전자주식회사 오디오 신호 처리를 위한 전자 장치 및 그 동작 방법
US11570568B1 (en) * 2021-08-10 2023-01-31 Verizon Patent And Licensing Inc. Audio processing methods and systems for a multizone augmented reality space
US11805380B2 (en) 2021-08-31 2023-10-31 Qualcomm Incorporated Augmented audio for communications
JP2023037510A (ja) * 2021-09-03 2023-03-15 株式会社Gatari 情報処理システム、情報処理方法および情報処理プログラム
CN114286278B (zh) * 2021-12-27 2024-03-15 北京百度网讯科技有限公司 音频数据处理方法、装置、电子设备及存储介质
GB2614537A (en) * 2022-01-05 2023-07-12 Nokia Technologies Oy Conditional disabling of a reverberator
US20230224667A1 (en) * 2022-01-10 2023-07-13 Sound United Llc Virtual and mixed reality audio system environment correction
US20230232178A1 (en) * 2022-01-19 2023-07-20 Meta Platforms Technologies, Llc Modifying audio data transmitted to a receiving device to account for acoustic parameters of a user of the receiving device
GB2616424A (en) * 2022-03-07 2023-09-13 Nokia Technologies Oy Spatial audio rendering of reverberation
WO2023183054A1 (en) * 2022-03-25 2023-09-28 Magic Leap, Inc. Optimized mixed reality audio rendering
WO2023182024A1 (ja) * 2022-03-25 2023-09-28 ソニーグループ株式会社 音響信号制御方法、学習モデル生成方法および音響信号制御プログラム
WO2024063353A1 (ko) * 2022-09-23 2024-03-28 삼성전자주식회사 시각적 객체와 관련된 정보에 기반하여 오디오 신호를 변경하는 전자 장치 및 그 방법
WO2024067543A1 (zh) * 2022-09-30 2024-04-04 抖音视界有限公司 混响的处理方法、装置和非易失性计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7099482B1 (en) 2001-03-09 2006-08-29 Creative Technology Ltd Method and apparatus for the simulation of complex audio environments
JP2014505420A (ja) 2011-01-05 2014-02-27 コーニンクレッカ フィリップス エヌ ヴェ オーディオ・システムおよびその動作方法
US20160088417A1 (en) 2013-04-30 2016-03-24 Intellectual Discovery Co., Ltd. Head mounted display and method for providing audio content by using same

Family Cites Families (127)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5264974A (en) 1975-11-25 1977-05-28 Victor Co Of Japan Ltd Reverberation time measuring device
JPS644200A (en) 1987-06-26 1989-01-09 Nissan Motor Sound field improving device
US4852988A (en) 1988-09-12 1989-08-01 Applied Science Laboratories Visor and camera providing a parallax-free field-of-view image for a head-mounted eye movement measurement system
JPH04191885A (ja) * 1990-11-27 1992-07-10 Nippon Telegr & Teleph Corp <Ntt> 音像制御処理方法
GB9107011D0 (en) 1991-04-04 1991-05-22 Gerzon Michael A Illusory sound distance control method
FR2688371B1 (fr) 1992-03-03 1997-05-23 France Telecom Procede et systeme de spatialisation artificielle de signaux audio-numeriques.
FR2738099B1 (fr) 1995-08-25 1997-10-24 France Telecom Procede de simulation de la qualite acoustique d'une salle et processeur audio-numerique associe
US6847336B1 (en) 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US6453047B1 (en) 1998-09-28 2002-09-17 Creative Technology Ltd Matrix encoding system with improved behavior frequency
US6665407B1 (en) 1998-09-28 2003-12-16 Creative Technology Ltd. Three channel panning system
US6188769B1 (en) 1998-11-13 2001-02-13 Creative Technology Ltd. Environmental reverberation processor
US6433760B1 (en) 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
US6491391B1 (en) 1999-07-02 2002-12-10 E-Vision Llc System, apparatus, and method for reducing birefringence
CA2316473A1 (en) 1999-07-28 2001-01-28 Steve Mann Covert headworn information display or data display or viewfinder
US7231054B1 (en) 1999-09-24 2007-06-12 Creative Technology Ltd Method and apparatus for three-dimensional audio display
US6798889B1 (en) 1999-11-12 2004-09-28 Creative Technology Ltd. Method and apparatus for multi-channel sound system calibration
US6978027B1 (en) 2000-04-11 2005-12-20 Creative Technology Ltd. Reverberation processor for interactive audio applications
US7149314B2 (en) 2000-12-04 2006-12-12 Creative Technology Ltd Reverberation processor based on absorbent all-pass filters
CA2362895A1 (en) 2001-06-26 2002-12-26 Steve Mann Smart sunglasses or computer information display built into eyewear having ordinary appearance, possibly with sight license
DE10132872B4 (de) 2001-07-06 2018-10-11 Volkswagen Ag Kopfmontiertes optisches Durchsichtssystem
US20030030597A1 (en) 2001-08-13 2003-02-13 Geist Richard Edwin Virtual display apparatus for mobile activities
US7848531B1 (en) 2002-01-09 2010-12-07 Creative Technology Ltd. Method and apparatus for audio loudness and dynamics matching
JP4059478B2 (ja) 2002-02-28 2008-03-12 パイオニア株式会社 音場制御方法及び音場制御システム
US7567845B1 (en) 2002-06-04 2009-07-28 Creative Technology Ltd Ambience generation for stereo signals
US7257231B1 (en) 2002-06-04 2007-08-14 Creative Technology Ltd. Stream segregation for stereo signals
CA2388766A1 (en) 2002-06-17 2003-12-17 Steve Mann Eyeglass frames based computer display or eyeglasses with operationally, actually, or computationally, transparent frames
US6943754B2 (en) 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
US7347551B2 (en) 2003-02-13 2008-03-25 Fergason Patent Properties, Llc Optical system for monitoring eye movement
US7500747B2 (en) 2003-10-09 2009-03-10 Ipventure, Inc. Eyeglasses with electrical components
US7412380B1 (en) 2003-12-17 2008-08-12 Creative Technology Ltd. Ambience extraction and modification for enhancement and upmix of audio signals
US7970144B1 (en) 2003-12-17 2011-06-28 Creative Technology Ltd Extracting and modifying a panned source for enhancement and upmix of audio signals
CA2967756C (en) 2004-04-01 2018-08-28 Google Inc. Biosensors, communicators, and controllers monitoring eye movement and methods for using them
WO2006003957A1 (ja) 2004-06-30 2006-01-12 Pioneer Corporation 残響調整装置、残響調整方法、残響調整プログラムおよびそれを記録した記録媒体、並びに、音場補正システム
US7928311B2 (en) 2004-12-01 2011-04-19 Creative Technology Ltd System and method for forming and rendering 3D MIDI messages
US8964997B2 (en) 2005-05-18 2015-02-24 Bose Corporation Adapted audio masking
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US9788757B2 (en) 2005-12-28 2017-10-17 Breath Research, Inc. Breathing biofeedback device
EP1806593B1 (en) 2006-01-09 2008-04-30 Honda Research Institute Europe GmbH Determination of the adequate measurement window for sound source localization in echoic environments
US8619998B2 (en) 2006-08-07 2013-12-31 Creative Technology Ltd Spatial audio enhancement processing method and apparatus
US9014377B2 (en) 2006-05-17 2015-04-21 Creative Technology Ltd Multichannel surround format conversion and generalized upmix
US8712061B2 (en) 2006-05-17 2014-04-29 Creative Technology Ltd Phase-amplitude 3-D stereo encoder and decoder
US8345899B2 (en) 2006-05-17 2013-01-01 Creative Technology Ltd Phase-amplitude matrixed surround decoder
US8379868B2 (en) 2006-05-17 2013-02-19 Creative Technology Ltd Spatial audio coding based on universal spatial cues
US8374365B2 (en) 2006-05-17 2013-02-12 Creative Technology Ltd Spatial audio analysis and synthesis for binaural reproduction and format conversion
US9697844B2 (en) 2006-05-17 2017-07-04 Creative Technology Ltd Distributed spatial audio decoder
US9496850B2 (en) 2006-08-04 2016-11-15 Creative Technology Ltd Alias-free subband processing
US8488796B2 (en) 2006-08-08 2013-07-16 Creative Technology Ltd 3D audio renderer
US8107631B2 (en) 2007-10-04 2012-01-31 Creative Technology Ltd Correlation-based method for ambience extraction from two-channel audio signals
US9037468B2 (en) * 2008-10-27 2015-05-19 Sony Computer Entertainment Inc. Sound localization for user in motion
US8000485B2 (en) 2009-06-01 2011-08-16 Dts, Inc. Virtual audio processing for loudspeaker or headphone playback
US9432790B2 (en) 2009-10-05 2016-08-30 Microsoft Technology Licensing, Llc Real-time sound propagation for dynamic sources
US8879750B2 (en) 2009-10-09 2014-11-04 Dts, Inc. Adaptive dynamic range enhancement of audio recordings
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8890946B2 (en) 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
US20110251704A1 (en) 2010-04-09 2011-10-13 Martin Walsh Adaptive environmental noise compensation for audio playback
US8531355B2 (en) 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglass transceiver
US8908874B2 (en) 2010-09-08 2014-12-09 Dts, Inc. Spatial audio encoding and reproduction
CN103262409B (zh) 2010-09-10 2016-07-06 Dts（英属维尔京群岛）有限公司 用于改进的感觉的频谱不平衡的音频信号的动态补偿
US8767968B2 (en) * 2010-10-13 2014-07-01 Microsoft Corporation System and method for high-precision 3-dimensional audio for augmented reality
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
KR102374897B1 (ko) 2011-03-16 2022-03-17 디티에스, 인코포레이티드 3차원 오디오 사운드트랙의 인코딩 및 재현
US9253574B2 (en) 2011-09-13 2016-02-02 Dts, Inc. Direct-diffuse decomposition
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
US8235529B1 (en) 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US10013053B2 (en) 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US8638498B2 (en) 2012-01-04 2014-01-28 David D. Bohn Eyebox adjustment for interpupillary distance
US8831255B2 (en) 2012-03-08 2014-09-09 Disney Enterprises, Inc. Augmented reality (AR) audio with position and action triggered virtual sound effects
US9274338B2 (en) 2012-03-21 2016-03-01 Microsoft Technology Licensing, Llc Increasing field of view of reflective waveguide
WO2013181272A2 (en) 2012-05-31 2013-12-05 Dts Llc Object-based audio system using vector base amplitude panning
US9332373B2 (en) 2012-05-31 2016-05-03 Dts, Inc. Audio depth dynamic range enhancement
US8989535B2 (en) 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
US9386373B2 (en) 2012-07-03 2016-07-05 Dts, Inc. System and method for estimating a reverberation time
US9756437B2 (en) * 2012-07-03 2017-09-05 Joe Wellman System and method for transmitting environmental acoustical information in digital audio signals
US9779731B1 (en) 2012-08-20 2017-10-03 Amazon Technologies, Inc. Echo cancellation based on shared reference signals
CN104956689B (zh) 2012-11-30 2017-07-04 Dts（英属维尔京群岛）有限公司 用于个性化音频虚拟化的方法和装置
WO2014089542A1 (en) 2012-12-06 2014-06-12 Eyefluence, Inc. Eye tracking wearable devices and methods for use
CA2896985A1 (en) 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass for virtual or augmediated vision
US20140195918A1 (en) 2013-01-07 2014-07-10 Steven Friedlander Eye tracking user interface
RU2648604C2 (ru) 2013-02-26 2018-03-26 Конинклейке Филипс Н.В. Способ и аппаратура для генерации сигнала речи
US9197930B2 (en) 2013-03-15 2015-11-24 The Nielsen Company (Us), Llc Methods and apparatus to detect spillover in an audience monitoring system
US9443354B2 (en) 2013-04-29 2016-09-13 Microsoft Technology Licensing, Llc Mixed reality interactions
WO2014194306A1 (en) 2013-05-31 2014-12-04 Meyer Sound Laboratories, Incorporated Filter with independently adjustable band gain and break point slopes and method of constructing same
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US10063207B2 (en) 2014-02-27 2018-08-28 Dts, Inc. Object-based audio loudness management
JP6349899B2 (ja) 2014-04-14 2018-07-04 ヤマハ株式会社 放収音装置
EP3441966A1 (en) 2014-07-23 2019-02-13 PCMS Holdings, Inc. System and method for determining audio context in augmented-reality applications
US20160027218A1 (en) * 2014-07-25 2016-01-28 Tom Salter Multi-user gaze projection using head mounted display devices
US9858720B2 (en) * 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US9769552B2 (en) 2014-08-19 2017-09-19 Apple Inc. Method and apparatus for estimating talker distance
EP3018918A1 (en) 2014-11-07 2016-05-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating output signals based on an audio source signal, sound reproduction system and loudspeaker signal
US9584915B2 (en) 2015-01-19 2017-02-28 Microsoft Technology Licensing, Llc Spatial audio with remote speakers
US9787846B2 (en) 2015-01-21 2017-10-10 Microsoft Technology Licensing, Llc Spatial audio signal processing for objects with associated audio content
EP3251116A4 (en) 2015-01-30 2018-07-25 DTS, Inc. System and method for capturing, encoding, distributing, and decoding immersive audio
US9558757B1 (en) 2015-02-20 2017-01-31 Amazon Technologies, Inc. Selective de-reverberation using blind estimation of reverberation level
GB2536020A (en) * 2015-03-04 2016-09-07 Sony Computer Entertainment Europe Ltd System and method of virtual reality feedback
KR102386309B1 (ko) * 2015-06-04 2022-04-14 삼성전자주식회사 전자 장치 및 전자 장치에서의 입출력 제어 방법
US9776001B2 (en) 2015-06-11 2017-10-03 Med-El Elektromedizinische Geraete Gmbh Interaural coherence based cochlear stimulation using adapted envelope processing
KR102565118B1 (ko) 2015-08-21 2023-08-08 디티에스, 인코포레이티드 누설 소거용 다중 스피커 방법 및 장치
KR20180132032A (ko) 2015-10-28 2018-12-11 디티에스, 인코포레이티드 객체 기반 오디오 신호 균형화
CN108369494B (zh) 2015-10-28 2021-08-27 Dts（英属维尔京群岛）有限公司 音频信号的频谱校正
FR3044509B1 (fr) 2015-11-26 2017-12-15 Invoxia Procede et dispositif pour estimer la reverberation acoustique
US9648438B1 (en) * 2015-12-16 2017-05-09 Oculus Vr, Llc Head-related transfer function recording using positional tracking
WO2017134973A1 (ja) 2016-02-01 2017-08-10 ソニー株式会社 音響出力装置、音響出力方法、プログラム、音響システム
US10038967B2 (en) * 2016-02-02 2018-07-31 Dts, Inc. Augmented reality headphone environment rendering
IL283975B2 (en) * 2016-02-04 2024-02-01 Magic Leap Inc A technique for audio direction in an augmented reality system
US9591427B1 (en) * 2016-02-20 2017-03-07 Philip Scott Lyren Capturing audio impulse responses of a person with a smartphone
US20170325043A1 (en) 2016-05-06 2017-11-09 Jean-Marc Jot Immersive audio reproduction systems
EP3463084B1 (en) * 2016-05-27 2024-04-03 Institut National de la Santé et de la Recherche Médicale (INSERM) Method and apparatus for acquiring a spatial map of auditory perception of a subject
US9906885B2 (en) 2016-07-15 2018-02-27 Qualcomm Incorporated Methods and systems for inserting virtual sounds into an environment
US10390165B2 (en) 2016-08-01 2019-08-20 Magic Leap, Inc. Mixed reality system with spatialized audio
WO2018031621A1 (en) 2016-08-11 2018-02-15 Magic Leap, Inc. Automatic placement of a virtual object in a three-dimensional space
US10531220B2 (en) 2016-12-05 2020-01-07 Magic Leap, Inc. Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems
DE102017200597B4 (de) 2017-01-16 2020-03-26 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörsystems und Hörsystem
WO2018182274A1 (ko) 2017-03-27 2018-10-04 가우디오디오랩 주식회사 오디오 신호 처리 방법 및 장치
KR102633727B1 (ko) 2017-10-17 2024-02-05 매직 립, 인코포레이티드 혼합 현실 공간 오디오
US10609502B2 (en) 2017-12-21 2020-03-31 Verizon Patent And Licensing Inc. Methods and systems for simulating microphone capture within a capture zone of a real-world scene
KR102334070B1 (ko) 2018-01-18 2021-12-03 삼성전자주식회사 전자 장치 및 그 제어 방법
CN111713091A (zh) 2018-02-15 2020-09-25 奇跃公司 混合现实虚拟混响
WO2019246159A1 (en) 2018-06-18 2019-12-26 Magic Leap, Inc. Spatial audio for interactive audio environments
US10674307B1 (en) 2019-03-27 2020-06-02 Facebook Technologies, Llc Determination of acoustic parameters for a headset using a mapping server
US11102603B2 (en) 2019-05-28 2021-08-24 Facebook Technologies, Llc Determination of material acoustic parameters to facilitate presentation of audio content
US10645520B1 (en) 2019-06-24 2020-05-05 Facebook Technologies, Llc Audio system for artificial reality environment
US10880668B1 (en) 2019-09-13 2020-12-29 Facebook Technologies, Llc Scaling of virtual audio content using reverberent energy
IT201900018563A1 (it) 2019-10-11 2021-04-11 Powersoft S P A Dispositivo di condizionamento acustico per produrre un riverbero in un ambiente
JP7446420B2 (ja) 2019-10-25 2024-03-08 マジック リープ， インコーポレイテッド 反響フィンガプリント推定

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7099482B1 (en) 2001-03-09 2006-08-29 Creative Technology Ltd Method and apparatus for the simulation of complex audio environments
JP2014505420A (ja) 2011-01-05 2014-02-27 コーニンクレッカ フィリップス エヌ ヴェ オーディオ・システムおよびその動作方法
US20160088417A1 (en) 2013-04-30 2016-03-24 Intellectual Discovery Co., Ltd. Head mounted display and method for providing audio content by using same

Also Published As

Publication number Publication date
IL273755A (en) 2020-05-31
EP3698201A4 (en) 2020-12-09
JP2020537849A (ja) 2020-12-24
US10863301B2 (en) 2020-12-08
IL297445A (en) 2022-12-01
IL273755B (en) 2022-11-01
US20210160647A1 (en) 2021-05-27
EP3698201A1 (en) 2020-08-26
CA3078420A1 (en) 2019-04-25
KR20200071099A (ko) 2020-06-18
KR20240019392A (ko) 2024-02-14
CN111213082B (zh) 2022-07-22
CN111213082A (zh) 2020-05-29
IL273755B2 (en) 2023-03-01
IL297445B1 (en) 2023-11-01
US10616705B2 (en) 2020-04-07
IL297445B2 (en) 2024-03-01
KR102633727B1 (ko) 2024-02-05
US20190116448A1 (en) 2019-04-18
AU2018353008B2 (en) 2023-04-20
IL307592A (en) 2023-12-01
WO2019079523A1 (en) 2019-04-25
JP2023021243A (ja) 2023-02-10
US20200196087A1 (en) 2020-06-18
CN115175064A (zh) 2022-10-11
US11895483B2 (en) 2024-02-06
AU2018353008A1 (en) 2020-05-07

Similar Documents

Publication Publication Date Title
JP7449856B2 (ja) 複合現実空間オーディオ
US11540072B2 (en) Reverberation fingerprint estimation
US20230007332A1 (en) Mixed reality virtual reverberation
JP2023153358A (ja) 双方向オーディオ環境のための空間オーディオ
US20240155305A1 (en) Multi-application audio rendering
US20240137725A1 (en) Mixed reality spatial audio
US11627430B2 (en) Environment acoustics persistence
WO2023183054A1 (en) Optimized mixed reality audio rendering

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221206

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230509

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230518

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240304

R150 Certificate of patent or registration of utility model

Ref document number: 7449856

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150