TW202036539A - 用於處理多個音訊空間之間的音訊之系統和方法 - Google Patents

用於處理多個音訊空間之間的音訊之系統和方法 Download PDF

Info

Publication number
TW202036539A
TW202036539A TW109108575A TW109108575A TW202036539A TW 202036539 A TW202036539 A TW 202036539A TW 109108575 A TW109108575 A TW 109108575A TW 109108575 A TW109108575 A TW 109108575A TW 202036539 A TW202036539 A TW 202036539A
Authority
TW
Taiwan
Prior art keywords
audio
microphone
external
internal
signal
Prior art date
Application number
TW109108575A
Other languages
English (en)
Other versions
TWI843823B (zh
Inventor
迪篪 李
道恩 許
Original Assignee
新加坡商創新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 新加坡商創新科技有限公司 filed Critical 新加坡商創新科技有限公司
Publication of TW202036539A publication Critical patent/TW202036539A/zh
Application granted granted Critical
Publication of TWI843823B publication Critical patent/TWI843823B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/025—Arrangements for fixing loudspeaker transducers, e.g. in a box, furniture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S1/005—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/005—Audio distribution systems for home, i.e. multi-room use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/01—Input selection or mixing for amplifiers or loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)

Abstract

技術被提出以轉換來自一外部的音訊空間的一外部的位置的外部的聲音至一內部的音訊空間的一內部的位置，其中所述外部的聲音將會被自然地聽到。所述技術牽涉到利用一麥克風來捕捉所述外部的聲音，並且處理所捕捉的外部的聲音以聽起來就像是其在所述內部的音訊空間的所述內部的位置所捕捉的，所述內部的位置可以對應於一揚聲器的一輸出或是一使用者的耳膜。所述經處理的捕捉的外部的聲音接著可以針對於所述個別的使用者而被調節、或是進一步和經調節的音訊內容組合以產生一擴增的音訊體驗給所述使用者。所述技術的任意組合都可以即時地加以實施。

Description

用於處理多個音訊空間之間的音訊之系統和方法
本發明是有關於音訊處理。更具體而言，本發明是有關於一種用於處理多個音訊空間之間的音訊之系統和方法。
相關申請案的交互參照
此申請案主張2019年3月20日申請且名稱為“用於處理多個音訊空間之間的音訊之系統和方法”的美國臨時申請案號62/821,340的益處，其揭露內容是以其整體被納入在此作為參考。
戴著頭戴式耳機的人們通常是受到由覆蓋其耳朵的頭戴式耳機所產生的一內部的音訊空間的影響，因而被隔離而聽不到在一外部的音訊空間中(例如，他們的周遭)的事物。為了聽到在所述外部的音訊空間中的事物，人們通常會須要摘下其頭戴式耳機。有時，此可能是不便的，例如是用頭戴式耳機聽音樂的跑者，其中摘下所述頭戴式耳機可能會干擾到其跑步。
因此，為了聽到而有需要將來自另一音訊空間(例如，外部的音訊空間)的聲音帶入其目前的音訊空間(例如，內部的音訊空間)。然而，另外有需要使得所述聲音聽起來就像吾人自然會聽到的聲音，使得其更真實。於是，所期望的是提供用於處理多個音訊空間之間的音訊之系統和方法以解決以上的需要。
在本發明的一特點中，一種用於利用音訊系統來處理多個音訊空間之間的音訊之方法被提出。所述方法包含：1)接收至少一麥克風信號，其利用對應於至少一外部的位置的至少一麥克風以從外部的音訊空間捕捉外部的聲音；以及2)藉由利用至少一麥克風轉換函數來處理所述至少一麥克風信號以產生至少一經處理的麥克風信號，以便於虛擬化所述外部的聲音從對應於所述至少一外部的位置的所述至少一麥克風的捕捉成為在內部的音訊空間中的對應於至少一揚聲器的至少一內部的位置，所述內部及外部的音訊空間是藉由音訊空間邊界來和彼此分開的。
所述方法亦可包含：3)藉由施加音訊調節技術至所述至少一經處理的麥克風信號來產生至少一經調節的麥克風信號；4)藉由相加所述至少一經調節的麥克風信號與至少一經調節的音訊內容信號來產生至少一組合的輸出信號，所述至少一經調節的音訊內容信號是藉由施加音訊調節技術至音訊內容信號來加以產生；以及5)經由所述至少一揚聲器來表現所述至少一組合的輸出信號以用於在所述內部的音訊空間中的播放，藉此所述播放包含藉由所述至少一麥克風在所述至少一內部的位置虛擬捕捉的所述外部的聲音、以及在所述音訊內容信號上捕捉的音訊內容。
根據各種實施例，麥克風的數目並不匹配揚聲器的數目；所述至少一麥克風信號從所述外部的音訊空間即時地捕捉外部的聲音；所述麥克風轉換函數實施卷積，其涉及對應於所述至少一外部的位置的所述至少一麥克風信號、對應於所述至少一內部的位置的所述至少一麥克風信號、以及對應於所述至少一外部的位置以及所述至少一內部的位置的至少一脈衝響應信號；產生至少一經處理的麥克風信號包括強化所捕捉的外部的聲音的人無法聽到的某些聲音；所述至少一麥克風信號是藉由施加音訊預先調節技術至所述至少一麥克風信號而被預先調節，所述音訊預先調節技術包含：雜訊抵消、雜訊降低、或是用於改變信號域的麥克風轉換；所述至少一麥克風信號在錄音中從所述外部的音訊空間捕捉外部的聲音；產生至少一經處理的麥克風信號包括儲存所述至少一經處理的麥克風信號以用於之後的播放；或是所述音訊空間邊界衰減所述外部的聲音從所述外部的音訊空間至所述內部的音訊空間的外界空氣發送。
在本發明的另一特點中，一種用於處理多個音訊空間之間的音訊之音訊系統被提出。所述音訊系統包含至少一麥克風轉換函數模組，其被配置以用於：1)接收至少一麥克風信號，所述至少一麥克風信號利用對應於至少一外部的位置的至少一麥克風以從外部的音訊空間捕捉外部的聲音，以及2)用於藉由利用至少一麥克風轉換函數來處理所述至少一麥克風信號以產生至少一經處理的麥克風信號，以便於虛擬化所述外部的聲音從對應於所述至少一外部的位置的所述至少一麥克風的所述捕捉成為在內部的音訊空間中對應於至少一揚聲器的至少一內部的位置，所述內部及外部的音訊空間是藉由音訊空間邊界來和彼此分開的。
本發明延伸至一種體現一序列的指令之機器可讀取的媒體，當所述指令藉由機器執行時，其使得所述機器實行在此所述的方法的任一者。
本發明的某些優點包含：1)來自外部的音訊空間的外部的聲音至內部的音訊空間的真實再現；2)使得使用者對於周遭的狀況認知變得容易；3)使得使用者和在周遭的人們或事物的互動變得容易；4)捕捉吾人將會自然聽到的聲音的錄音；5)用於即時地處理多個音訊空間之間的音訊之系統和方法；6)低系統延遲。本發明的這些及其它的特點及優點是在以下參考圖式來加以描述。
現在將會詳細地參考到本發明的較佳實施例。所述較佳實施例的例子是被描繪在所附的圖式中。儘管本發明將會結合這些較佳實施例來加以描述，但將會瞭解到的是，並非打算限制本發明至此種較佳實施例。相反地，所欲的是涵蓋如同可以內含在如同藉由所附的申請專利範圍所界定的本發明的精神與範疇之內的替換、修改、以及等同物。在以下的說明中，許多特定的細節被闡述以便於提供本發明的徹底理解。本發明可以在無某些或全部的這些特定細節下加以實施。在其它實例中，眾所週知的機構未被詳細地敘述，以免不必要地模糊本發明。
在此應該注意到的是，在整個所述各種圖式的相同的元件符號是指類似的部件。在此所描繪及敘述的各種圖式是被用來描繪本發明的各種特點。在一特定的特點被描繪在一圖中而未在另一圖中的情況中，除了其中有相反指出、或是其中所述結構固有地禁止納入所述特點以外，否則將瞭解到的是，那些特點可以適配於內含在所述其它圖中所表現的實施例中，就如同它們是被完整描繪在那些圖中。除非另有指出，所述圖式並不一定按照比例。在所述圖式上所提供的任何尺寸並不欲限制本發明的範疇，而僅僅是舉例說明而已。
本發明的技術是被提出以轉換來自一外部的音訊空間的一外部的位置的外部的聲音到一內部的音訊空間的一內部的位置，其中所述外部的聲音將會自然地被聽到。所述技術牽涉到利用一麥克風來捕捉所述外部的聲音，並且處理所捕捉的外部的聲音以聽起來就像是其在所述內部的音訊空間的所述內部的位置被捕捉的，其可以對應於一揚聲器的一輸出或是一使用者的耳膜。接著，所述經處理的被捕捉的外部的聲音可以針對於個別的使用者而被調節、或是進一步和經調節的音訊內容組合以產生一擴增的音訊體驗給使用者。
除了其它方面以外，調節可包含雙耳空間脈衝響應(BRIR, Biaural Room Impulse Response)、雙耳空間轉換函數(BRTF, Biaural Room Transfer Function)、頭部相關脈衝響應(HRIR, Head-Related Impulse Response)、或是頭部相關轉換函數(HRTF, Head-Related Transfer Function)的個人化，其可以根據本案申請人2018年6月14日申請且名稱為“用於產生客製化/個人化的頭部相關轉換函數之方法”的美國專利申請案號16/062,521(代理人文件號CTLP497US)來加以實施，所述美國專利申請案是以其整體被納入在此作為參考。所述個人化可包含利用一可攜式裝置來捕捉一耳朵的影像、自動縮放所捕捉的影像以判斷所述耳朵的物理幾何、並且根據所判斷的所述耳朵的物理幾何來獲得一個人化的HRTF。
再者，本發明的技術可被納入用於客製化音訊體驗之方法及系統，其可以根據本案申請人2019年2月19日申請且名稱為“用於客製化音訊體驗的系統及處理方法”的美國專利申請案號16/279,929(代理人文件號CTLP518US1)來加以實施，所述美國專利申請案是以其整體被納入在此作為參考。音訊體驗的客製化可以是根據可被施加到由個人所用的一音訊裝置的至少一客製化的音訊響應特徵的推導而定的。所述客製化的音訊響應特徵可以是個人特有的。
最後，本發明的技術可被納入利用頭部追蹤來在頭戴式耳機上表現音訊之方法及系統，其例如是藉由利用在為了更真實的音訊表現而產生用於濾波3D音訊源的資料庫及濾波器上的效率，並且亦容許較大的頭部運動以強化所述空間的音訊感知來致能的，其可以根據本案申請人2018年9月19日申請的且名稱為“利用頭部追蹤來產生客製化的空間的音訊之方法”的美國專利申請案號16/136,211(代理人文件號CTLP519US)來加以實施，所述美國專利申請案是以其整體被納入在此作為參考。
圖1是根據本發明的各種實施例的一種用於處理多個音訊空間之間的音訊之音訊系統100，其涉及單一音訊再現裝置106。音訊系統100包含音訊再現裝置106，其可以是任意類型的音訊聲音產生裝置。例如，音訊再現裝置106可包含頭戴式耳機，例如監聽式、耳塞式耳機、聽筒、頭戴式耳機麥克風、耳道式頭戴式耳機、貼耳式頭戴式耳機、蓋耳式頭戴式耳機、開放式頭戴式耳機、以及封閉式頭戴式耳機。音訊再現裝置106可包含一或多個揚聲器，例如是具有對應的左揚聲器輸出110a及右揚聲器輸出110b的左揚聲器108a及右揚聲器108b、以及一或多個耳罩，例如是左耳罩106a及右耳罩106b。揚聲器亦以換能器、喇叭揚聲器、或是擴音器著稱。如圖所示，音訊再現裝置106是被穿戴在一使用者105的頭部102之上，其中左耳罩106a及右耳罩106b分別覆蓋使用者的左耳104a及右耳104b，並且產生一或多個例如是112a及112b的內部的音訊空間，以讓使用者105聽到。由於音訊再現裝置106與頭部102所做成的密封，例如是所述耳罩如何被設置在耳朵周圍，因此使用者105可能只聽到在內部的音訊空間112a及112b中的事物，因而被隔離而聽不到來自外部的音訊空間114的事物。音訊再現裝置106的所述密封是在外部的音訊空間114與內部的音訊空間112a及112b的每一個之間產生一音訊空間邊界。所述音訊空間邊界可以具有任意尺寸，因而外部的聲音113被阻隔而在內部的音訊空間112a及112b之內是聽不到的。一般而言，外部的聲音113將會是聲學環境或周遭雜訊。
根據各種實施例，例如是左麥克風116a及右麥克風116b的麥克風是被設置在接近所述音訊空間邊界的其中外部的聲音113可被捕捉的任何地方。例如，左麥克風116a及右麥克風116b被展示設置在沿著左耳罩106a及右耳罩106b的角落處。所捕捉的外部的聲音113接著利用對應的麥克風轉換函數118a及118b來加以處理。麥克風轉換函數(在以下“MTF”)被配置以轉換/虛擬化在外部的位置(所述麥克風捕捉所述外部的聲音之處)所捕捉的外部的聲音，以聽起來像是其在一內部的位置被捕捉的，例如是可以使得自然被使用者105聽到變得容易之處，例如是揚聲器輸出、或是沿著至所述使用者耳膜的使用者的聽覺路徑的位置。每一個內部的位置或耳罩106a及106b或是音訊再現裝置106將會具有其本身的MTF，例如是如同在圖1中所示的MTF1及MTF2。
所述MTF可以根據各種的因素而在多個MTF之間是獨特或相同的，例如：1)內部的音訊空間112a、112b；耳罩106a、106b；麥克風116a、116b；以及揚聲器108a、108b的規格；2)麥克風116a、116b；揚聲器108a、108b；揚聲器輸出110a、110b的相對的位置(藉由利用任何的座標系的距離量測的)、外部的位置；內部的位置；以及3)轉換/虛擬化在外部的位置(所述麥克風捕捉所述外部的聲音之處)所捕捉的外部的聲音所必要的任何因數/變數，以聽起來像是其在一內部的位置被捕捉的，例如是可以使得自然被使用者105聽到變得容易之處，例如是揚聲器輸出、或是沿著至所述使用者耳膜的使用者的聽覺路徑的位置。所述規格可包含但不限於尺寸、類型、脈衝響應、頻率範圍、系統延遲、揚聲器特徵、等等。再者，任何技術都可被用來考量這些因素以達成所述轉換/虛擬化，例如是施加一或多個卷積(convolution)。藉由知道盡可能多的有關音訊系統100的資訊，音訊系統100可以更佳地執行。根據本發明的各種實施例，處理器/控制器120可被配置以執行在多個音訊空間之間的音訊的處理。
有利的是，外部的聲音113可以從使用者的耳朵所在之處的觀點被使用者105聽到，而不是利用所述麥克風的捕捉發生所在之處，其可能相隔所述使用者的耳朵某個距離。本發明是不同於單純地廣播藉由一遠離使用者耳朵而被設置的麥克風所捕捉的外部的聲音進入到所述使用者耳朵內，而沒有用例如是利用本發明技術的方式來處理其。換言之，本發明能夠將從一不自然的位置捕捉的外部的聲音映射到一自然的位置，以使得其對於使用者而言更為真實的。就此而論，本發明容許自然的聽到外部的聲音。
圖2是根據本發明的各種實施例的一種用於利用調節202來處理多個音訊空間之間的音訊之音訊系統200，其涉及單一音訊再現裝置。如同藉由箭頭所指出的，右耳罩106b正常是抵住使用者105的頭部102來加以設置。然而，為了描繪調節202的實施方式的目的，右耳罩106b被展示在隔頭部102及右耳104b的一段距離處。在外部的音訊空間114中的外部的聲音113可以在一外部的位置(亦即，右耳罩106的側邊)藉由右麥克風116c利用對應的右麥克風信號來捕捉，並且利用MTF3 118c加以處理以產生一經處理的麥克風信號，其轉換/虛擬化在所述外部的位置從右麥克風116c捕捉的外部的聲音113至一內部的位置，所述內部的位置可以對應於所述右揚聲器108b的位置、右揚聲器輸出110b的位置、或是在內部的音訊空間112b之內的任意位置，其包含沿著使用者的右耳104b至耳膜的聽覺路徑的位置。藉由轉換/虛擬化外部的聲音113的捕捉，並且將右耳罩106b施加在右耳104b周圍，使用者105可以在使用者的右耳104b聽到外部的聲音113(例如，當內部的位置與使用者的右耳或是右耳至耳膜的聽覺路徑對準時)，就像是其在該處所捕捉的。
經處理的麥克風信號現在可以利用各種的音訊技術來加以調節202，其包含雙耳空間脈衝響應(BRIR)、雙耳空間轉換函數(BRTF)、頭部相關脈衝響應(HRIR)、頭部相關轉換函數(HRTF)的個人化，其可以根據本案申請人2018年6月14日申請且名稱為“用於產生客製化/個人化的頭部相關轉換函數之方法”的美國專利申請案號16/062,521(代理人文件號CTLP497US)來加以實施，所述美國專利申請案是以其整體被納入在此作為參考。例如，個人化可包含實施一種用於藉由產生客製化的HRTF來強化音訊表現之方法。所述方法包含：1)利用一影像捕捉裝置來獲得一個人的至少一耳朵的一被捕捉的影像，所述影像捕捉裝置被配置以用於處理一初步的影像(所捕捉的影像的一初步的版本)以提供回授給一使用者；2)藉由施加一模型至所述初步的影像來產生一組對應於來自至少所述初步的影像的控制點的定位標記；3)從所捕捉的影像的一最終的表示的針對於所述個人所產生的定位標記組抽取影像為主的性質；以及4)提供所述影像為主的性質至一選擇處理器，其被配置以從已經針對於複數個個人而被判斷出的複數個HRTF資料組選擇一客製化的HRTF資料組。
再者，調節202可包含根據本案申請人2019年2月19日申請且名稱為“用於客製化音訊體驗的系統及處理方法”的美國專利申請案號16/279,929(代理人文件號CTLP518US1)來客製化所述音訊體驗，所述美國專利申請案是以其整體被納入在此作為參考。例如，客製化所述音訊體驗包含：1)處理一對象的至少一被捕捉的影像以產生至少一影像相關的輸入信號；2)根據至少一資料庫信號來處理所述至少一影像相關的輸入信號以產生複數個中間的處理器資料組，所述至少一資料庫信號是可從至少一資料庫傳遞至所述處理設備；以及3)組合所述複數個中間的處理器資料組以產生至少一輸出信號。各種的實施例包含：1)其中所述至少一輸出信號對應於所述對象特有的一音訊響應特徵；2)其中所述至少一影像相關的輸入信號對應於和所述對象相關的生物識別資料：3)其中所述生物識別資料包括一第一生物識別特點類型以及一第二生物識別特點類型；4)其中所述處理設備是能夠被訓練以操作為一多重識別器，其對應於至少一第一類型識別器以及一第二類型識別器；5)其中所述處理設備是可操作為所述第一類型識別器以根據所述第一生物識別特點類型來產生一第一組中間的處理器資料組；6)其中所述處理設備是可操作為所述第二類型識別器以根據所述第二生物識別特點類型來產生一第二組中間的處理器資料組；7)其中所述第一組中間的處理器資料組以及所述第二組中間的處理器資料組是內含在所述複數個中間的處理器資料組中，以及8)其中所述至少一輸出信號是能夠被施加至輸入音訊信號以產生可被所述對象可聽見地感知的輸出音訊信號，以便於提供所述對象客製化的音訊體驗。
調節202亦可包含根據本案申請人2018年9月19日申請的且名稱為“利用頭部追蹤來產生客製化的空間的音訊之方法”的美國專利申請案號16/136,211(代理人文件號CTLP519US)來提供一頭部相關的轉換函數(HRTF)，以用於施加到一輸入音訊信號以用於本地化音訊到一組頭戴式耳機，所述美國專利申請案是以其整體被納入在此作為參考。例如，此可包含：1)存取針對於一聽眾在一參考位置所個別化的複數個雙耳聲波脈衝響應(BAIR)對；2)存取針對於所述聽眾的對應於相對所述聽眾的額外位置的複數個雙耳聲波脈衝響應(BAIR)對；3)藉由用針對於所述參考位置的雙耳聲波脈衝響應(BAIR)對來劃分針對於所述額外的位置的複數個雙耳聲波脈衝響應(BAIR)對的每一個，以導出用於轉換針對於相對所述聽眾的所述參考位置的雙耳聲波脈衝響應(BAIR)至所述額外的位置的每一個的複數個轉換函數；4)接收一指出在頭部朝向上的改變的信號，並且響應且對應於所述信號來選擇所述複數個轉換函數中的一對；以及5)施加所述參考位置的雙耳聲波脈衝響應(BAIR)對以及所述複數個轉換函數中的所選的對至所述輸入音訊信號，以本地化所述音訊在所述組的頭戴式耳機中。
在調節所述經處理的麥克風信號之後，其可以被輸出以用於經由右揚聲器108b來直接單獨播放、或是先和任意分開的經調節的音訊內容組合後來播放。就此而論，本發明容許有能力讓一使用者混合其聲波環境在其頭戴式耳機音訊內容中，以產生一擴增的音訊體驗。再次如同前述的，根據本發明的各種實施例的處理器/控制器120可被配置以執行在多個音訊空間之間的音訊的處理。
圖3是根據本發明的各種實施例的一種用於處理多個音訊空間之間的音訊之音訊系統300，其涉及多個音訊再現裝置。如圖所示，在位置A 330a的一使用者105a是使得一右耳罩106c抵住一右耳104c，其利用一處理器/控制器120以用於施加一對應的MTF4 118c，所述MTF4 118c轉換/虛擬化經由一右麥克風116d在外部的位置(亦即，右耳罩106c的右側)利用一麥克風信號所捕捉的外部的聲音113，以反而聽起來是在一內部的音訊空間112c之內的一內部的位置(例如，右揚聲器輸出110c、右揚聲器108c)被捕捉的。所述經處理的(例如，經轉變/虛擬化的)麥克風信號可以被儲存、記錄、或是實況發送以和在位置B 330b的使用者105b共享301。位置A 330a及位置B 330b可以是在相同的區域(例如，空間或場所)中、或是在不同的區域(例如，兩個個別的空間或場所)中。
任何技術都可被用來共享所述經處理的麥克風信號，其包含但不限於Wi-Fi、藍芽、USB記憶棒、SD記憶卡、有線的連線、等等。由於麥克風信號已經被處理，因此使用者105b可以在有或是沒有調節202下表現其，並且利用所述經處理的麥克風信號將會能夠聽到使用者105a所聽到的，至少是在內部的位置所捕捉(例如，經由轉換/虛擬化)的外部的聲音是類似地對準到其耳朵或是至其耳膜的聽覺路徑的程度。例如，若經處理的麥克風信號是在一最佳的位置(例如，位置A 330a是在一揚聲器甜蜜點)捕捉外部的聲音，則使用者105a及使用者105b都將會在所述最佳的位置聽到被轉變/虛擬化至一用於自然聽到的內部的位置的外部的聲音。此共享是可行的，而不論使用者105a及使用者105b是否使用相同/不同的頭戴式耳機(例如，右耳罩106c、右耳罩106d)或是MTF(例如，MTF4 118c、MTF5 118d)。所述用一種自然/真實的方式來與另一人共享一人的音訊體驗的能力(例如，聽到聲音就像是它們是從你的耳朵或是靠近你的耳膜的位置捕捉的)是本發明的一益處。
圖4是根據本發明的各種實施例的一種用於處理多個音訊空間之間的音訊之音訊系統400，其涉及多個音訊再現裝置。音訊系統400包含一或多個麥克風，例如是左麥克風416a-1及右麥克風416b-1，其位在所述音訊空間邊界406上，所述音訊空間邊界406分開一內部的音訊空間412以及一外部的音訊空間414。其它例如是左麥克風416a-2、右麥克風416b-2、以及隨機麥克風416c的麥克風是進一步遠離所述音訊空間邊界406而被設置的。麥克風的設置是使得外部的聲音可被捕捉，並且藉由MTF加以處理。再者，麥克風的數目將會是根據特定的應用而定。一般而言，有越多的麥克風，則針對於特定的資訊進一步調節所述經處理的外部的聲音的能力越佳，例如是針對於一特定的部分、設置、強度、以及等等。除了其它方面以外，所述特定的資訊可被用來提供狀況認知給使用者、或是幫助識別所述外部的聲音。
音訊空間邊界406一般是位在其中在外部的音訊空間414中所產生的外部的聲音被防止發送通過至內部的音訊空間412的點之處。例如，在其中對於駕駛而言，聽到或識別外部的聲音可能是有用的一汽車應用中，音訊空間邊界可以是汽車車廂的外殼，而所述內部的音訊空間以及外部的音訊空間分別對應於內部的車廂空間以及車廂空間外部(例如，在汽車外面)。就另一例子而言，在完全或部分地封入頭部的一頭盔應用中，音訊空間邊界可以是頭盔的外殼，而內部的音訊空間以及外部的音訊空間對應於頭盔的內部以及頭盔的外部。本發明是有利地可應用在其中外部的聲音靠其本身的發送並無法在內部的音訊空間中被聽到、或是可被聽到，但不是有用的(例如，在強度上太低或是不清楚的)情況中。
如同在圖4中所示，音訊系統400具有一或多個揚聲器(例如，擴音器)，其中例如是410a、410b、410c及410d的對應的揚聲器輸出圍繞在一內部的音訊空間412之內的一使用者405。每一個揚聲器以及揚聲器輸出可以對應於任意的聲道(例如左前、右前、左後、右後、等等)。例如，揚聲器的數目可以對應於一單音、2.0、5.1、7.1、或是一音訊揚聲器設置的任意數目的聲道。音訊系統400進一步包含一處理器/控制器420，以用於在對應的外部的位置(例如，通常在和麥克風相同的位置、或是靠近麥克風的某處)利用對應的麥克風(例如，416a-1、416b-1、416a-2、416b-2、416c)以在對應的麥克風信號上捕捉外部的聲音413，並且針對於對應的內部的位置(例如，揚聲器輸出410a、410b、410c、410d)利用對應的MTF(例如，407a、407b、407c、407d、407e、407f、407g、407h)來處理所述麥克風信號以產生經處理的麥克風信號，其已經轉變/虛擬化外部的聲音的捕捉的定位從所述外部的位置至對應的內部的位置。所述經處理的麥克風信號接著可以被調節(例如，聽覺傳輸聲波串音抵消、射束形成、虛擬化、耳間時間差(ITD)、耳間強度差(IID)、或是耳間位準差(ILD)以用於擴音器應用，而耳間時間差(ITD)、耳間強度差(IID)、耳間位準差(ILD)、或是HRIR/HRTF/BRIR/BRTF的個人化以用於頭戴式耳機應用)。調節可以在所述經處理的麥克風信號被表現以用於播放之前的任何地方予以施加。再者，具有所捕捉的外部的聲音的麥克風信號亦可以在被用於利用對應的MTF在產生所述經處理的麥克風信號中的處理之前被調節或是預先調節。此種調節或是預先調節可以是任何將會最佳化所述處理以及之後的調節的技術。此種技術可包含但不限於雜訊抵消、雜訊降低、以及用於改變信號域的麥克風轉換。
一旦所述麥克風信號被處理或是處理及調節之後，其可以立即或是先和任何其它音訊內容組合來加以表現，以用於經由所述一或多個揚聲器的播放。其它音訊內容可包含預錄的音訊內容的一串流，例如是來自各種音樂家的音樂、或是來自視頻的音訊、或是實況的音訊內容的一串流，例如是來自實況的音樂會的音樂。在一較佳實施例中，調節所述其它的音訊內容是類似於如同先前論述的調節所述麥克風信號或是經處理的麥克風信號來加以執行。音訊內容一般將會被捕捉在一音訊內容信號中，並且通常被提供在其中捕捉將會聽起來如同其是在一內部的位置被捕捉的，例如是其中可以使得自然被使用者聽到變得容易之處，例如是揚聲器輸出或是沿著至所述使用者耳膜的使用者的聽覺路徑的位置。
根據各種實施例，所捕捉的(實況或是被錄音的)外部的聲音的處理及調節是根據例如揚聲器的位置/設置；麥克風的位置/設置；在麥克風(例如，外部的位置)、揚聲器、以及揚聲器輸出(例如，內部的位置)之間的相對的距離；系統/MTF脈衝響應；等等的因素而定的。
圖5是根據本發明的各種實施例的一種用於處理多個音訊空間之間的音訊之系統方塊圖500。系統方塊圖500包含：一或多個麥克風轉換函數模組(例如，504a、504b)、調節模組(例如，510a、510b、510c)、組合模組(例如，514a、514b)、以及播放模組(例如，515)。任何模組都可以組合或分開，並且利用一處理器/控制器而被實施到一或多個晶片(例如，DSP控制器)上。如圖所示，MTF1模組504a以及MTF2模組504b被配置以用於從一外部的音訊空間接收外部的聲音，其藉由在對應的外部的位置的一左麥克風信號502a以及一右麥克風信號502b來加以捕捉。左麥克風信號502a及右麥克風信號502b可以在藉由MTF1模組504a及MTF2模組504b接收以產生所述經處理的麥克風信號505a及505b之前被調節或是預先調節510a。此種調節或是預先調節510a可以實施任何將會最佳化所述處理504a及504b以及之後的調節510b的技術。此種技術可包含但不限於雜訊抵消、雜訊降低、以及用於改變信號域的麥克風轉換。
MTF1模組504a及MTF2模組504b進一步被配置以用於產生個別的經處理的麥克風信號505a及505b，其藉由利用MTF1模組504a及MTF2模組504b來處理左麥克風信號502a及右麥克風信號502b以便於虛擬化所述外部的聲音從對應於外部的位置(例如，左麥克風及右麥克風位置)的麥克風信號502a及502b的捕捉成為在一內部的音訊空間中具有對應的揚聲器(例如，108a、110a、108b或110b)的內部的位置。所述內部及外部的音訊空間是藉由一音訊空間邊界來和彼此分開的。
根據某些實施例，MTF1模組504a及MTF2模組504b分別可包含一或多個MTF(相同或不同的)，其產生一或多個對應的經處理的麥克風信號，所述麥克風信號可以組合在一起(例如，在相同的聲道)、或是混合在一起(例如，在不同的聲道)，以產生一或多個經處理的麥克風信號。然而，根據其它實施例，MTF1模組504a及MTF2模組504b被配置以產生一或多個經處理的麥克風信號，其強化所捕捉的外部的聲音中的某些聲音。例如，經處理的麥克風信號可以藉由放大或濾波來強化某些聲音。在一較佳實施例中，使用者無法聽到的某些聲音被強化。
音訊調節模組510b被配置以用於藉由施加音訊調節技術至經處理的麥克風信號505a及505b來產生經調節的麥克風信號506a及506b。在其中所述音訊系統是和擴音器相關的情形中，所述音訊調節技術可包含：聽覺傳輸聲波串音抵消、射束形成、虛擬化、耳間時間差(ITD)、耳間強度差(IID)、及/或耳間位準差(ILD)。而在其中所述音訊系統是和頭戴式耳機相關的情形中，所述音訊調節技術可包含：耳間時間差(ITD)、耳間強度差(IID)、耳間位準差(ILD)、及/或HRIR/HRTF/BRIR/BRTF個人化。
組合模組514a及514b被配置以用於產生組合的輸出信號515a及515b，其藉由相加經調節的麥克風信號506a及506b與經調節的音訊內容信號512a及512b，所述經調節的音訊內容信號是藉由調節模組510c所產生的，所述調節模組510c施加音訊調節技術至一音訊內容信號508。音訊內容信號508可包含一些對應於聲道的信號，例如：左前聲道508a、右前聲道508b、前中心聲道508c、左後聲道508d、右後聲道508e、等等至任意聲道508n。如同前述的，若所述音訊系統是和擴音器相關的，則所述音訊調節技術可包含：聽覺傳輸聲波串音抵消、射束形成、虛擬化、耳間時間差(ITD)、耳間強度差(IID)、以及耳間位準差(ILD)。然而，若所述音訊系統是和頭戴式耳機相關的，則所述音訊調節技術可包含：耳間時間差(ITD)、耳間強度差(IID)、耳間位準差(ILD)、以及HRIR/HRTF/BRIR/BRTF個人化。
在某些實施例中，播放模組515被配置以用於在無調節或組合下表現經處理的麥克風信號505a及505b，其經由對應的揚聲器以用於在所述內部的音訊空間中的輸出516a及516b上播放。所述播放包含藉由所述左及右麥克風在所指定的內部的位置虛擬所捕捉的外部的聲音。在其它實施例中，播放模組515被配置以用於在不與任何音訊內容組合下表現經調節的麥克風信號506a及506b，其經由對應的揚聲器以用於在所述內部的音訊空間中的輸出516a及516b上播放。所述播放包含藉由所述左及右麥克風在所指定的內部的位置實際所捕捉的外部的聲音。又在其它實施例中，播放模組515被配置以用於表現組合的輸出信號515a及515b，其經由對應的揚聲器以用於在所述內部的音訊空間中的輸出516a及516b上播放。所述播放包含藉由所述左及右麥克風在所指定的內部的位置實際所捕捉的外部的聲音、以及在所述音訊內容信號上所捕捉的音訊內容。
圖6是根據本發明的各種實施例的用於處理多個音訊空間之間的音訊的流程圖600。流程圖600的任何步驟都可以因為本發明的低延遲特點而即時地加以執行。就此而論，音訊系統100、200、300、400可被即時地實施以強化使用者的音訊體驗。在步驟602，接收從一外部的音訊空間捕捉外部的聲音的至少一麥克風信號被執行。所述至少一麥克風信號是藉由對應於至少一外部的位置的至少一麥克風所產生的。在某些實施例中，所述至少一麥克風信號即時地從所述外部的音訊空間捕捉外部的聲音。然而，在某些實施例中，所述至少一麥克風信號從所述外部的音訊空間，將外部的聲音捕捉在一錄音中。有時，所述至少一麥克風信號是藉由施加音訊預先調節的技術至所述至少一麥克風信號而被預先調節可能是有用且有利的。所述音訊預先調節的技術可包含：雜訊抵消、雜訊降低、以及用於改變信號域的麥克風轉換、以及任何用以改善在步驟604中的轉換/虛擬化或是在步驟606中的調節的技術。
在步驟604，藉由利用至少一麥克風轉換函數來處理所述至少一麥克風信號以產生至少一經處理的麥克風信號被執行。步驟604被執行以便於轉換/虛擬化所述外部的聲音從對應於所述至少一外部的位置的所述至少一麥克風的捕捉成為在一內部的音訊空間中的對應於至少一揚聲器的至少一內部的位置。所述內部及外部的音訊空間是藉由一音訊空間邊界來和彼此分開的。一般而言，所述音訊空間邊界衰減所述外部的聲音從所述外部的音訊空間至所述內部的音訊空間的外界空氣發送。例如，衰減可能會導致小於6dB的外部的聲音在所述內部的音訊空間中被量測到。
根據各種實施例，所述麥克風轉換函數實施一卷積，其涉及對應於所述至少一外部的位置的所述至少一麥克風信號、對應於所述至少一內部的位置的所述至少一麥克風信號、以及對應於所述至少一外部的位置以及所述至少一內部的位置的至少一脈衝響應信號。然而，根據其它實施例，所述麥克風轉換函數可以實施快速傅立葉轉換(FFT)、無限脈衝響應(IIR)濾波器、及/或多速率濾波器組。儘管可能有其中所述麥克風轉換函數是相同的情形，但它們個別亦可以是獨特的。
在某些實施例中，麥克風的數目並不必匹配在所述音訊系統中的揚聲器的數目。儘管一麥克風至一揚聲器是可行的，但較佳的是有至少兩個麥克風以及兩個揚聲器以容許具有外部聲音的音訊物件的更佳的空間定位。本發明可被應用至來自任意數目的麥克風的外部的聲音，其被轉換成為任意內部的任意位置的揚聲器。若所述音訊系統是和一汽車相關的，則所述內部的音訊空間可以對應於一汽車車廂的內部，並且所述外部的音訊空間可以對應於所述汽車車廂的外部。若所述音訊系統是和一頭戴式耳機相關的，則所述內部的音訊空間可以對應於一頭戴式耳機耳罩的內部，並且所述外部的音訊空間可以對應於所述頭戴式耳機耳罩的外部。在某些實施例中，產生至少一經處理的麥克風信號包含儲存所述至少一經處理的麥克風信號以用於之後的播放。此對於在使用者之間的共享特別是有用的。例如，此可以容許使用者B聽到使用者A在使用者A的位置所聽到的。再者，若使用者A正坐在一甜蜜點，則即使使用者B是在一不同於使用者A的位置之位置，使用者B仍然會聽到在所述甜蜜點中的聲音。
在步驟606，選配地產生至少一經調節的麥克風信號被執行。此可以藉由施加音訊調節技術至所述至少一經處理的麥克風信號而被完成。若所述音訊系統是和擴音器相關的，則所述音訊調節技術可包含：聽覺傳輸聲波串音抵消、射束形成、虛擬化、耳間時間差(ITD)、耳間強度差(IID)、以及耳間位準差(ILD)。若所述音訊系統是和頭戴式耳機相關的，則所述音訊調節技術可包含：耳間時間差(ITD)、耳間強度差(IID)、耳間位準差(ILD)、以及HRIR/HRTF/BRIR/BRTF個人化。任何其它的音訊調節技術可以適當地根據應用來加以利用。
在步驟608，選配地產生至少一組合的輸出信號被執行。此可以藉由相加所述至少一經調節的麥克風信號與至少一經調節的音訊內容信號而被完成。所述至少一經調節的音訊內容信號可以藉由施加音訊調節技術至一音訊內容信號而被產生。若所述音訊系統是和擴音器相關的，則所述音訊調節技術可包含：聽覺傳輸聲波串音抵消、射束形成、虛擬化、耳間時間差(ITD)、耳間強度差(IID)、以及耳間位準差(ILD)。若所述音訊系統是和頭戴式耳機相關的，則所述音訊調節技術可包含：耳間時間差(ITD)、耳間強度差(IID)、耳間位準差(ILD)、以及HRIR/HRTF/BRIR/BRTF個人化。
最後在步驟610，選配地經由所述至少一揚聲器來表現所述至少一經處理的麥克風信號、所述至少一經調節的麥克風信號、或是所述至少一組合的輸出信號以用於在所述內部的音訊空間中的播放被執行。在針對於所述至少一經處理的麥克風信號的狀況中，所述播放包含藉由所述至少一麥克風在所述至少一內部的位置虛擬被捕捉的外部的聲音。在針對於所述至少一經調節的麥克風信號的狀況中，所述播放包含藉由所述左及右麥克風在所指定的內部的位置虛擬被捕捉的外部的聲音。在針對於表現所述至少一組合的輸出信號的狀況中，所述播放包含藉由所述至少一麥克風在所述至少一內部的位置虛擬被捕捉的外部的聲音、以及在所述音訊內容信號上所捕捉的音訊內容。
本發明亦有關於利用根據本發明的一或多個實施例的一種電腦系統。圖7是描繪一典型的電腦系統700，其可以相關本發明的一或多個實施例來加以利用。所述電腦系統700包含一或多個處理器702(亦被稱為中央處理單元或CPU)，其耦接至包含主要的儲存706(通常是隨機存取記憶體或RAM)以及另一主要的儲存704(通常是唯讀記憶體或ROM)的儲存裝置。如同在此項技術中眾所週知的，主要的儲存704作用以單向地傳輸資料及指令至所述CPU，並且主要的儲存706通常是被使用以雙向的方式來傳輸資料及指令。這些主要的儲存裝置兩者都可包含任何適當的電腦可讀取的媒體，其包含一種電腦程式產品，所述電腦程式產品包括其上被設置有根據本發明的一或多個實施例的程式指令的一機器可讀取的媒體。
一大量儲存裝置708亦被雙向地耦接至CPU 702，並且提供額外的資料儲存容量，並且可包含所述電腦可讀取的媒體的任一種，其包含一種電腦程式產品，所述電腦程式產品包括其上被設置有根據本發明的一或多個實施例的程式指令的一機器可讀取的媒體。所述大量儲存裝置708可被用來儲存程式、資料與類似者，並且通常是一例如為硬碟的次要儲存媒體，其是比主要的儲存慢的。將會體認到的是，在所述大量儲存裝置708之內所維持的資訊在適當的情形中可以用標準的方式被納入作為主要的儲存706的部分，以作為虛擬的記憶體。一例如是CD-ROM的特定的大量儲存裝置亦可以單向地傳遞資料至所述CPU。
CPU 702亦耦接至一介面710，其包含一或多個輸入/輸出裝置，例如：視訊監視器、軌跡球、滑鼠、鍵盤、麥克風、觸控顯示器、換能器讀卡機、磁帶或紙帶讀取器、平板電腦、手寫筆、語音或手寫辨識器、或是其它眾所周知的輸入裝置，例如當然是其它的電腦。最後，CPU 702可以利用大致在712所展示的一網路連線來選配地耦接至一電腦或電信網路。在此種網路連線下，所思及的是在執行上述方法的步驟的過程中，所述CPU可以從所述網路接收資訊、或是可以輸出資訊至所述網路。上述的裝置及材料對於那些具有電腦硬體及軟體技術的技能者而言將會是熟悉的。
有利的是，本發明的各種實施例進一步提供：1)讓一使用者能夠在不摘下所述使用者的頭戴式耳機下輕易地與另一人說話的能力；2)讓一使用者能夠混合其聲波環境在其頭戴式耳機的音訊內容中以產生一擴增的音訊體驗的能力；3)如同一使用者將會自然聽到的複製一給定的環境的聲音的方向/位置；4)與其他使用者共享一給定的環境；5)所述技術對於其中用於捕捉外部的聲音的麥克風可被設置在遠離一使用者的耳朵的較大的距離處(換言之，所述麥克風並不需要實際位在你的耳朵中，例如是在雙耳錄音中)的情形的可應用性。
儘管前述的發明已經為了清楚理解的目的而以某種詳細程度加以敘述，但將會明顯的是在所附的申請專利範圍的範疇內可以實施某些改變及修改。於是，本實施例將被視為舉例說明的，而非限制性的，並且本發明將不受限於在此所給出的細節，而是可以在所附的申請專利範圍的範疇及等同物之內加以修改。
100:音訊系統 102:頭部 104a:左耳 104b:右耳 104c:右耳 105:使用者 105a:使用者 105b:使用者 106:音訊再現裝置 106a:左耳罩 106b:右耳罩 106c:右耳罩 106d:右耳罩 108a:左揚聲器 108b:右揚聲器 108c:右揚聲器 110a:左揚聲器輸出 110b:右揚聲器輸出 110c:右揚聲器輸出 112a、112b:內部的音訊空間 113:外部的聲音 114:外部的音訊空間 116a:左麥克風 116b:右麥克風 116c:右麥克風 116d:右麥克風 118a:麥克風轉換函數1 118b:麥克風轉換函數2 118c:麥克風轉換函數4 118d:麥克風轉換函數5 120:處理器/控制器 200:音訊系統 202:調節 300:音訊系統 301:共享 330a:位置A 330b:位置B 400:音訊系統 405:使用者 406:音訊空間邊界 407a、407b、407c、407d、407e、407f、407g、407h:麥克風轉換函數 410a、410b、410c、410d:揚聲器 412:內部的音訊空間 413:外部的聲音 414:外部的音訊空間 416a-1:左麥克風 416a-2:左麥克風 416b-1:右麥克風 416b-2:右麥克風 416c:隨機麥克風 420:處理器/控制器 500:系統方塊圖 502a:左麥克風信號 502b:右麥克風信號 504a、504b:麥克風轉換函數模組 505a、505b:經處理的麥克風信號 506a、506b:經調節的麥克風信號 508:音訊內容信號 508a:左前聲道 508b:右前聲道 508c:前中心聲道 508d:左後聲道 508e:右後聲道 508n:任意聲道 510a、510b、510c:調節模組 512a、512b:經調節的音訊內容信號 514a、514b:組合模組 515:播放模組 515a、515b:組合的輸出信號 516a、516b:輸出 600:流程圖 602:步驟 604:步驟 606:步驟 608:步驟 610:步驟 700:電腦系統 702:處理器 704:主要的儲存 706:主要的儲存 708:大量儲存裝置 710:介面 712:網路連線
[圖1]是根據本發明的各種實施例的一種用於處理多個音訊空間之間的音訊之音訊系統，其涉及單一音訊再現裝置。 [圖2]是根據本發明的各種實施例的一種用於利用調節來處理多個音訊空間之間的音訊之音訊系統，其涉及單一音訊再現裝置。 [圖3]是根據本發明的各種實施例的一種用於處理多個音訊空間之間的音訊之音訊系統，其涉及多個音訊再現裝置。 [圖4]是根據本發明的各種實施例的一種用於處理多個音訊空間之間的音訊之音訊系統，其涉及多個音訊再現裝置。 [圖5]是根據本發明的各種實施例的一種用於處理多個音訊空間之間的音訊之系統方塊圖。 [圖6]是根據本發明的各種實施例的用於處理多個音訊空間之間的音訊的流程圖。 [圖7]是描繪可以相關本發明的一或多個實施例而被利用的一典型的電腦系統。
100:音訊系統
102:頭部
104a:左耳
104b:右耳
105:使用者
106:音訊再現裝置
106a:左耳罩
106b:右耳罩
108a:左揚聲器
108b:右揚聲器
110a:左揚聲器輸出
110b:右揚聲器輸出
112a、112b:內部的音訊空間
113:外部的聲音
114:外部的音訊空間
116a:左麥克風
116b:右麥克風
118a:麥克風轉換函數
118b:麥克風轉換函數
120:處理器/控制器

Claims (20)

  1. 一種用於利用音訊系統來處理多個音訊空間之間的音訊之方法，其包括： 接收至少一麥克風信號，其利用對應於至少一外部的位置的至少一麥克風以從外部的音訊空間捕捉外部的聲音；以及 藉由利用至少一麥克風轉換函數來處理所述至少一麥克風信號以產生至少一經處理的麥克風信號，以便於虛擬化所述外部的聲音從對應於所述至少一外部的位置的所述至少一麥克風的所述捕捉成為在內部的音訊空間中的對應於至少一揚聲器的至少一內部的位置，所述內部及外部的音訊空間是藉由音訊空間邊界來和彼此分開的。
  2. 如請求項1之方法，其中麥克風的數目並不匹配揚聲器的數目。
  3. 如請求項1之方法，其中所述至少一麥克風信號從所述外部的音訊空間即時地捕捉外部的聲音。
  4. 如請求項1之方法， 其中若所述音訊系統是和汽車相關的，則所述內部的音訊空間是在汽車車廂的內部，所述外部的音訊空間是在所述汽車車廂的外部，並且 其中若所述音訊系統是和頭戴式耳機相關的，則所述內部的音訊空間是在頭戴式耳機耳罩的內部，並且所述外部的音訊空間是在所述頭戴式耳機耳罩的外部。
  5. 如請求項1之方法，其中所述麥克風轉換函數實施卷積，其涉及對應於所述至少一外部的位置的所述至少一麥克風信號、對應於所述至少一內部的位置的所述至少一麥克風信號、以及對應於所述至少一外部的位置以及所述至少一內部的位置的至少一脈衝響應信號。
  6. 如請求項1之方法，其進一步包括： 藉由施加音訊調節技術至所述至少一經處理的麥克風信號來產生至少一經調節的麥克風信號， 其中若所述音訊系統是和擴音器相關的，則所述音訊調節技術是從由聽覺傳輸聲波串音抵消、射束形成、虛擬化、耳間時間差(ITD)、耳間強度差(IID)、以及耳間位準差(ILD)所構成的群組選擇的，並且 其中若所述音訊系統是和頭戴式耳機相關的，則所述音訊調節技術是從所述由耳間時間差(ITD)、耳間強度差(IID)、耳間位準差(ILD)、以及頭部相關脈衝響應(HRIR, Head-Related Impulse Response)/頭部相關轉換函數(HRTF, Head-Related Transfer Function)/雙耳空間脈衝響應(BRIR, Biaural Room Impulse Response)/雙耳空間轉換函數(BRTF, Biaural Room Transfer Function)個人化所構成的群組選擇的。
  7. 如請求項6之方法，其進一步包括： 藉由相加所述至少一經調節的麥克風信號與至少一經調節的音訊內容信號來產生至少一組合的輸出信號，所述至少一經調節的音訊內容信號是藉由施加音訊調節技術至音訊內容信號來加以產生， 其中若所述音訊系統是和擴音器相關的，則所述音訊調節技術是從由聽覺傳輸聲波串音抵消、射束形成、虛擬化、耳間時間差(ITD)、耳間強度差(IID)、以及耳間位準差(ILD)所構成的群組選擇的，並且 其中若所述音訊系統是和頭戴式耳機相關的，則所述音訊調節技術是從所述由耳間時間差(ITD)、耳間強度差(IID)、耳間位準差(ILD)、以及HRIR/HRTF/BRIR/BRTF個人化所構成的群組選擇的。
  8. 如請求項1之方法，其中產生至少一經處理的麥克風信號包括強化所捕捉的外部的聲音的人無法聽到的某些聲音。
  9. 如請求項1之方法，其中所述至少一麥克風信號是藉由施加音訊預先調節技術至所述至少一麥克風信號而被預先調節，所述音訊預先調節技術是從由雜訊抵消、雜訊降低、以及用於改變信號域的麥克風轉換所構成的群組選擇的。
  10. 如請求項1之方法，其中所述至少一麥克風信號在錄音中從所述外部的音訊空間捕捉外部的聲音。
  11. 如請求項1之方法，其中產生至少一經處理的麥克風信號包括儲存所述至少一經處理的麥克風信號以用於之後的播放。
  12. 如請求項1之方法，其中所述音訊空間邊界衰減所述外部的聲音從所述外部的音訊空間至所述內部的音訊空間的外界空氣發送，使得小於6dB的外部的聲音是在所述內部的音訊空間中可量測到的。
  13. 如請求項1之方法，其進一步包括： 經由所述至少一揚聲器來表現所述至少一經處理的麥克風信號以用於在所述內部的音訊空間中的播放，藉此所述播放包含藉由所述至少一麥克風在所述至少一內部的位置虛擬捕捉的所述外部的聲音。
  14. 如請求項7之方法，其進一步包括： 經由所述至少一揚聲器來表現所述至少一組合的輸出信號以用於在所述內部的音訊空間中的播放，藉此所述播放包含藉由所述至少一麥克風在所述至少一內部的位置虛擬捕捉的所述外部的聲音、以及在所述音訊內容信號上捕捉的音訊內容。
  15. 一種用於處理多個音訊空間之間的音訊之音訊系統，其包括： 至少一麥克風轉換函數模組，其被配置以用於接收至少一麥克風信號，所述至少一麥克風信號利用對應於至少一外部的位置的至少一麥克風以從外部的音訊空間捕捉外部的聲音，並且用於藉由利用至少一麥克風轉換函數來處理所述至少一麥克風信號以產生至少一經處理的麥克風信號，以便於虛擬化所述外部的聲音從對應於所述至少一外部的位置的所述至少一麥克風的所述捕捉成為在內部的音訊空間中對應於至少一揚聲器的至少一內部的位置，所述內部及外部的音訊空間是藉由一音訊空間邊界來和彼此分開的。
  16. 如請求項15之音訊系統，其進一步包括： 至少一音訊調節模組，其被配置以用於藉由施加音訊調節技術至所述至少一經處理的麥克風信號以產生至少一經調節的麥克風信號， 其中若所述音訊系統是和擴音器相關的，則所述音訊調節技術是從由聽覺傳輸聲波串音抵消、射束形成、虛擬化、耳間時間差(ITD)、耳間強度差(IID)、以及耳間位準差(ILD)所構成的群組選擇的，並且 其中若所述音訊系統是和頭戴式耳機相關的，則所述音訊調節技術是從所述由耳間時間差(ITD)、耳間強度差(IID)、耳間位準差(ILD)、以及HRIR/HRTF/BRIR/BRTF個人化所構成的群組選擇的。
  17. 如請求項16之音訊系統，其進一步包括： 至少一組合模組，其被配置以用於藉由相加所述至少一經調節的麥克風信號與至少一經調節的音訊內容信號以產生至少一組合的輸出信號，所述至少一經調節的音訊內容信號是藉由施加音訊調節技術至音訊內容信號來加以產生， 其中若所述音訊系統是和擴音器相關的，則所述音訊調節技術是從由聽覺傳輸聲波串音抵消、射束形成、虛擬化、耳間時間差(ITD)、耳間強度差(IID)、以及耳間位準差(ILD)所構成的群組選擇的，並且 其中若所述音訊系統是和頭戴式耳機相關的，則所述音訊調節技術是從所述由耳間時間差(ITD)、耳間強度差(IID)、耳間位準差(ILD)、以及頭部相關脈衝響應(HRIR, Head-Related Impulse Response)HRIR/頭部相關轉換函數(HRTF, Head-Related Transfer Function)HRTF/雙耳空間脈衝響應(BRIR, Biaural Room Impulse Response)BRIR/雙耳空間轉換函數(BRTF, Biaural Room Transfer Function)個人化所構成的群組選擇的。
  18. 如請求項16之音訊系統，其進一步包括： 至少一播放模組，其被配置以用於經由所述至少一揚聲器來表現所述至少一經調節的麥克風信號以用於在所述內部的音訊空間中的播放，藉此所述播放包含藉由所述至少一麥克風在所述至少一內部的位置虛擬捕捉的所述外部的聲音。
  19. 如請求項17之音訊系統，其進一步包括： 至少一播放模組，其被配置以用於經由所述至少一揚聲器來表現所述至少一組合的輸出信號以用於在所述內部的音訊空間中的播放，藉此所述播放包含藉由所述至少一麥克風在所述至少一內部的位置虛擬捕捉的所述外部的聲音、以及在所述音訊內容信號上捕捉的音訊內容。
  20. 一種用於利用音訊系統來處理多個音訊空間之間的音訊之電腦程式產品，所述電腦程式產品是被體現在非暫態的電腦可讀取的媒體中，並且包括電腦可執行的指令以用於： 接收至少一麥克風信號，其利用對應於至少一外部的位置的至少一麥克風以從外部的音訊空間捕捉外部的聲音；以及 藉由利用至少一麥克風轉換函數來處理所述至少一麥克風信號以產生至少一經處理的麥克風信號，以便於虛擬化所述外部的聲音從對應於所述至少一外部的位置的所述至少一麥克風的所述捕捉成為在內部的音訊空間中的對應於至少一揚聲器的至少一內部的位置，所述內部及外部的音訊空間是藉由音訊空間邊界來和彼此分開的。
TW109108575A 2019-03-20 2020-03-16 用於處理多個音訊空間之間的音訊之系統和方法 TWI843823B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962821340P 2019-03-20 2019-03-20
US62/821,340 2019-03-20
US16/817,408 2020-03-12
US16/817,408 US11221820B2 (en) 2019-03-20 2020-03-12 System and method for processing audio between multiple audio spaces

Publications (2)

Publication Number Publication Date
TW202036539A true TW202036539A (zh) 2020-10-01
TWI843823B TWI843823B (zh) 2024-06-01

Family

ID=

Also Published As

Publication number Publication date
US11221820B2 (en) 2022-01-11
EP3713251A1 (en) 2020-09-23
US20200301653A1 (en) 2020-09-24
CN111726727A (zh) 2020-09-29
KR20200112725A (ko) 2020-10-05
SG10202002546RA (en) 2020-10-29
JP2020174346A (ja) 2020-10-22

Similar Documents

Publication Publication Date Title
US11221820B2 (en) System and method for processing audio between multiple audio spaces
JP5894634B2 (ja) 個人ごとのｈｒｔｆの決定
US9769589B2 (en) Method of improving externalization of virtual surround sound
KR101627647B1 (ko) 바이노럴 렌더링을 위한 오디오 신호 처리 장치 및 방법
US10820135B2 (en) System for and method of generating an audio image
US11902772B1 (en) Own voice reinforcement using extra-aural speakers
CN109155896B (zh) 用于改进音频虚拟化的系统和方法
US8442244B1 (en) Surround sound system
US10652686B2 (en) Method of improving localization of surround sound
CN113196805B (zh) 用于获得及再现双声道录音的方法
Roginska Binaural audio through headphones
US20220174395A1 (en) Auditory augmented reality using selective noise cancellation
US20210243544A1 (en) Surround Sound Location Virtualization
US10659903B2 (en) Apparatus and method for weighting stereo audio signals
CN114586378A (zh) 用于入耳式麦克风阵列的部分hrtf补偿或预测
US20220167087A1 (en) Audio output using multiple different transducers
TWI843823B (zh) 用於處理多個音訊空間之間的音訊之系統和方法
KR20160136716A (ko) 오디오 신호 처리 방법 및 장치
JP2024502732A (ja) バイノーラル信号の後処理
JP6094844B1 (ja) 音響再生装置、音響再生方法、及びプログラム
Tan Binaural recording methods with analysis on inter-aural time, level, and phase differences
KR20060004528A (ko) 음상 정위 기능을 가진 입체 음향을 생성하는 장치 및 방법
CA3142575A1 (en) Stereo headphone psychoacoustic sound localization system and method for reconstructing stereo psychoacoustic sound signals using same
CN116615919A (zh) 双耳信号的后处理
Gan et al. Assisted Listening for Headphones and Hearing Aids