TWI703877B - 音訊處理裝置、音訊處理方法和電腦程式產品 - Google Patents

音訊處理裝置、音訊處理方法和電腦程式產品 Download PDF

Info

Publication number
TWI703877B
TWI703877B TW107120511A TW107120511A TWI703877B TW I703877 B TWI703877 B TW I703877B TW 107120511 A TW107120511 A TW 107120511A TW 107120511 A TW107120511 A TW 107120511A TW I703877 B TWI703877 B TW I703877B
Authority
TW
Taiwan
Prior art keywords
audio
processing device
speaker
speakers
audio processing
Prior art date
Application number
TW107120511A
Other languages
English (en)
Other versions
TW201906421A (zh
Inventor
林立研
蔡宗佑
郭彥閔
廖俊旻
何吉堂
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201906421A publication Critical patent/TW201906421A/zh
Application granted granted Critical
Publication of TWI703877B publication Critical patent/TWI703877B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/024—Positioning of loudspeaker enclosures for spatial sound reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/01—Input selection or mixing for amplifiers or loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)

Abstract

一種用於控制多個揚聲器的音訊處理裝置、方法以及電腦程式產品。音訊處理裝置包括記憶體、收發器和處理器。記憶體儲存多個模組。收發器可與多個揚聲器進行無線配對。處理器存取模組以執行以下步驟： 請求各揚聲器輸出音訊定位訊號；收集來自各揚聲器的音訊定位訊號；依據來自各揚聲器的音訊定位訊號取得各揚聲器相對於音訊處理裝置的位置；依據各揚聲器相對於音訊處理裝置的位置調整多個音訊內容；以及將音訊內容發送到揚聲器以控制揚聲器輸出音訊內容。

Description

音訊處理裝置、音訊處理方法和電腦程式產品
本揭露是有關於一種音訊處理裝置和音訊處理方法，且特別是有關於一種依據揚聲器相對於音訊處理裝置的位置控制揚聲器的方法、裝置和電腦程式產品。
對於虛擬實境（virtual reality，VR）的使用者來說，通常會使用耳機作為收聽音訊內容（audio content）的裝置，以達到身歷其境的效果。然而，若使用者是使用揚聲器作為收聽音訊內容的裝置，則具有固定位置的揚聲器可能無法依據使用者在虛擬域（virtual domain）中的移動來調整輸出的音訊內容，進而可能破壞使用者的VR體驗。
舉例來說，若揚聲器放置在佩戴頭戴式顯示器（head mounted display，HMD）的使用者面前，則此揚聲器可用來輸出來自於使用者在虛擬域中前方的聲音所對應的音訊內容。然而，在使用者在虛擬域中虛擬地向前移動數公尺之後，上述音訊內容將會維持原樣，而並不會隨著使用者在虛擬域中的移動而更動。因此，在未能提供對應於使用者在虛擬域中當前位置的實際環境聲音的情形下，可能導致使用者的音訊體驗變差。
此外，為了達到滿意的環繞音效，揚聲器的安裝和設置（例如揚聲器的位置、增益、輸出功率等）必須由專業人員安排。因此，當使用者採用揚聲器作為在VR服務中播放音訊內容的裝置時，可能難以判斷應採用何種方式在環境（例如，家裡）中佈建揚聲器。
因此，對本領域技術人員來說，當揚聲器被用於作為在VR服務中播放音訊內容的裝置時，如何研發出一種可調整揚聲器輸出的音訊內容的機制實為至關重要。
因此，本揭露提供一種音訊處理裝置、控制多個揚聲器的音訊處理方法以及與音訊處理裝置搭配使用的電腦程式產品，其可提供使用者一種身歷其境的音訊體驗方式。
本揭露提供一種音訊處理裝置，其包括記憶體、收發器及處理器。記憶體儲存多個模組。所述收發器與多個揚聲器無線配對。所述處理器耦接到記憶體和收發器，並存取前述模組以執行下列步驟：請求各揚聲器輸出音訊定位訊號；收集來自各揚聲器的音訊定位訊號；依據來自各揚聲器的音訊定位訊號取得各揚聲器相對於音訊處理裝置的位置；依據各揚聲器相對於音訊處理裝置的位置調整多個音訊內容；以及將音訊內容發送到揚聲器以控制揚聲器輸出音訊內容。
本揭露提供一種控制多個揚聲器的音訊處理方法，所述方法至少包含，但不限於：由音訊處理裝置請求各揚聲器輸出音訊定位訊號；由音訊處理裝置收集來自各揚聲器的音訊定位訊號；由音訊處理裝置依據來自各揚聲器的音訊定位訊號取得各揚聲器相對於音訊處理裝置的位置；由音訊處理裝置依據各揚聲器相對於音訊處理裝置的位置調整多個音訊內容；以及由音訊處理裝置發送音訊內容給揚聲器，以控制揚聲器輸出音訊內容。
本揭露提供一種用於搭配音訊處理裝置的電腦程式產品。此電腦程式產品包括電腦可讀取儲存媒體與嵌入其中的可執行電腦程式機制。此可執行電腦程式機制包括指令用於：由音訊處理裝置請求各揚聲器輸出音訊定位訊號；由音訊處理裝置收集來自各揚聲器的音訊定位訊號；由音訊處理裝置依據來自各揚聲器的音訊定位訊號取得各揚聲器相對於音訊處理裝置的位置；透過音訊處理裝置，依據各揚聲器相對於音訊處理裝置的位置調整多個音訊內容；以及透過音訊處理裝置，發送音訊內容給揚聲器，以控制揚聲器輸出音訊內容。
基於上述，本發明提出的音訊處理裝置、音訊處理方法以及電腦程式產品可透過各揚聲器的音訊定位訊號得知各揚聲器相對於音訊處理裝置的位置，並據以調整分配予這些揚聲器的音訊內容，從而令使用者感受到身歷其境的音訊體驗。
為讓本揭露的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
以下以本發明優選的實施例進行詳細說明，其例示參照圖式一起說明。只要有可能，在圖式和實施方式中的相同元件符號用來表示相同或相似部分。
據此，例示實施例能有各種修改和替代形式的可能，但是相關的實施例呈現在圖式範例中，並且將在本實施方式詳細描述。然而，應當了解並非試圖將例示實施例限縮於已揭露的方式，相反的，例示實施例涵蓋申請專利範圍內的所有修改、等效方案和替代方案。在描述圖式時，相同的數字表示相同的元件。
應當了解，雖然用語第一、第二可在本實施方式用來描述各種元件，但元件不應該被這些用語限制。這些用語僅被用來區別一個物件可以和另一個物件。舉例來說，第一物件可稱為第二物件，相似地，第二物件可被稱為第一物件，而不會脫離例示實施例的範圍。在本實施方式使用的「和、或」包括任一或多個相關聯的所列項目的任何或所有組合。
應當了解，當元件被描述為「連接（connected）」或「耦接（coupled）」於另一個物件時，可以是直接連接或耦接到另一個物件上，或存在介於中間的物件（intervening）。相反地，若元件被描述為「直接連接或直接耦接」於另一個物件時，就不存在介於中間的物件。其他用來描述物件關係的詞語應當以相同的方式解釋（例如「在...之間（between）」和「直接在...之間（directly between）」、「鄰近（adjacent）」的和「directly adjacent（直接鄰近）」的等）。
本實施方式中使用的用語僅用來描述特定的實施例，並非試圖限制例示實施例。如本實施方式中所用「一（a）」、「一（an）」和「該（the）」還試圖包括複數形式，除非上下文有清楚明示。更應當理解，本實施方式中所用「包括（comprises）」、「包括（comprising）」「包含（includes）」和／或「包含（including）」指明所述特徵、整體、步驟、操作、元件和／或組件的存在，但是不排除存在或添加一個或多個其他特徵、整體、步驟、操作、元件、組件和／或其組合。
還應該注意的是，在一些替代實施方式中，所指出的功能／動作可以不按照圖式中指出的順序發生。例如，取決於所涉及的功能/動作，連續示出的兩個圖式實際上可以同時執行，或者有時可以以相反的順序執行。
除非有另外定義，否則在本實施方式中的所有用語（包含技術和科學用語）與例示實施例中所屬技術領域通常知識者普遍認知的涵義相同。還應當了解，用語（例如在普遍使用的字典中有定義的），應該被解釋為與相關領域具有一致的涵義，並且不會被理解為理想化或過度形式化的意義，除非有特意地如此定義。
部分例示實施例和相應的細節用描述使用軟體或演算法和符號來表示電腦記憶體中資料位元的操作。這些是本領域技術熟習之人向其他本領域技術熟習之人有效地傳達他們工作實質內容的描述和表示。這裡使用的用語「演算法」，通常是被設想為導致期望結果的自我一致步驟序列（a self-consistent sequence of steps）。這些步驟需要物理量（physical quantities）的物理操縱。通常，但不一定需要，這些量採用具有儲存（store）、轉換（transfer）、組合（combine）、比較（compare）和其他操作能力的光學、電或磁信號。因為經常使用，這些信號通常被表示成位元（bits）、值（values）、元件（elements）、標誌（symbol）、字元（characters）、用語（terms）、數字（numbers）或其他，這樣的表示也被證明具有方便性。
在接下來的描述中，將會參照程式模塊或功能過程，包含例行程序（routines）、程序（programs）、物件（objects）、組件（components）、資料結構（data structures）等的操作動作和標號表示（例如以流程圖的形式）來描述實施例。程式模塊或功能過程可以執行特定任務或實現特定的抽象資料類型，並且可以在現有硬體的現有網路元件或控制節點來實現。現有硬體包含一或多個中央處理器（Central Processing Units，CPUs）、數位訊號處理器（digital signal processors，DSPs）、特殊應用積體電路（Application Specific Integrated Circuits，ASICs）、場可程式閘陣列（Field Programmable Gate Array，FPGAs）電腦等。
除非另外特別說明，否則在討論中顯而易見的用語，諸如「處理（processing）」、「運算（computing）」、「計算（calculating）」、「決定（determining）」或「顯示（displaying）」等，是指電腦系統或者類似的電子電腦裝置的動作和過程。其將電腦系統暫存器和記憶體中表示為物理、電子量的資料，操縱和轉換為其他類似地電腦系統暫存器、記憶體或其他儲存、傳輸或顯示裝置中表示為物理、電子量的資料。
在本實施方式揭露用語「儲存媒體（storage medium）」、「儲存單元（storage unit）」或「電腦可讀儲存媒體（computer readable storage medium）」表示一或多個儲存資料的裝置，包含唯讀記憶體（read only memory，ROM）、隨機存取記憶體（random access memory，RAM））、磁性隨機存取記憶體（magnetic RAM）、磁心記憶體（core memory）、磁碟儲存媒體（magnetic disk storage medium）、光學儲存媒體（optical storage medium）、快閃記憶體（flash memory）裝置和／或其他可儲存資訊的有形機器可讀媒體。「電腦可讀媒體（computer-readable medium）」包含但不限於可攜式或固定儲存裝置（portable or fixed storage device）、光學儲存裝置（optical storage device），以及各種其他有儲存（storing）、容納（containing）或攜帶（carrying）指令和／或資料能力的媒體。
此外，例示實施例可以被硬體（hardware）、軟體（software）、韌體（firmware）、中間軟體（middleware）、微碼（microcode）、硬體描述語言（hardware description language）或任何以上組合實施。當在軟體、韌體、中間軟體或微碼實施時，執行必要任務的程式碼或碼段（code segment）會被儲存在機器或電腦可讀媒體中，諸如電腦可讀儲存媒體。當在軟體中實施時，處理器或執行必要任務。
碼段可以表示程序（procedure）、功能（function）、子程式（subprogram）、程式（program）、例行程序（routine）、副常式（subroutine）、模組（module）、套裝軟體（software package）、類別（class）或任何指令、資料結構或程式敘述的集合。碼段可以藉由傳遞和／或接收資訊、資料、引數、參數或記憶內容等，而耦接於另外的碼段或硬體電路。資訊、引數、參數、資料等可以透過記憶體分享、訊息傳遞、符記傳遞（token passing）、網路傳輸等適合的手段傳遞（passed）、轉傳（forwarded）或傳輸（transmitted）。
圖1為依據本揭露的一實施例繪示的音訊系統的示意圖。在本實施例中，音訊系統100包括音訊處理裝置10和多個揚聲器20a、20b、20c和20d。
音訊處理裝置10包括記憶體11、收發器12和處理器13。記憶體11可為固定或移動隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體、硬碟或任何其他類似裝置中之一或組合，可記錄由處理器13執行的多個程式或模組。
收發器12包括傳輸電路（transmitter circuit）、A/D類比數位轉換器、D/A數位類比轉換器、低雜訊放大器、混合器、濾波器、阻抗匹配器（impedance matcher）、傳輸線、功率放大器、一個或多個天線電路和本地儲存媒介（但本揭露不限於此），使音訊處理裝置10可以提供揚聲器20a-20d無線傳輸/接收功能。在一些實施例中，揚聲器20a-20d可以是藍牙揚聲器，且音訊處理裝置10可透過收發器12依據藍牙通訊協定與揚聲器20a-20d進行無線配對。在其他實施例中，音訊處理裝置10與揚聲器20a-20d可基於其他適合的通訊協定進行配對。
在一實施例中，收發器12包括由多個麥克風121a組成的麥克風陣列121，用於收集來自揚聲器20a-20d的音訊訊號。
處理器13耦接於記憶體11和收發器12，並可以是一般用途的處理器、特殊用途的處理器、常規處理器、數位訊號處理器、多個微處理器、一個或以上的微處理器、控制器和結合數位訊號處理器核心的微控制器、應用特定積體電路（ASIC）、現場可程式邏輯閘陣列（field programmable gate array，FPGA）、任何其他積體電路、狀態機、進階精簡指令集處理器（advanced RISC machine，ARM）等或其類似品。
在一實施例中，處理器13可以存取和執行儲存在記憶體11中的程式指令，以便執行音訊處理方法中的各步驟，以控制本揭露所揭示的揚聲器。
圖2為依據本揭露的一實施例繪示的控制揚聲器的音訊處理方法的流程圖。圖2的方法可以由圖1的音訊處理裝置10執行，且圖2步驟的內容將輔以圖1詳論。
在步驟S210中，處理器13請求各揚聲器20a-20d輸出音訊定位訊號P1。在步驟S220中，處理器13收集來自各揚聲器20a-20d的音訊定位訊號P1。在步驟S230中，處理器13依據來自各揚聲器20a-20d的音訊定位訊號P1取得各揚聲器20a-20d相對於音訊處理裝置10的位置。在本實施例中，音訊定位訊號P1可以是音訊處理裝置10已知的特定音訊訊號，因此在處理器13從揚聲器20a-20d接收到音訊定位訊號P1後，可透過分析音訊定位訊號P1的特性以獲得揚聲器20a-20d的位置。
具體而言，在一實施例中，處理器13可請求揚聲器20a輸出具有預定功率的音訊定位訊號P1。接著，收發器12可透過調整接收極性場型的麥克風陣列121收集音訊定位訊號P1，以找到可將音訊定位訊號P1接收功率最大化的特定方向。如圖1所例示的，由於揚聲器20a約略位於音訊處理裝置10的左前方，因此在麥克風陣列121的接收極性場型被調整為指向左前方之後，處理器13可判定音訊定位訊號P1的接收功率已被最大化。即，處理器13可知揚聲器20a位於音訊處理裝置10的左前方。
之後，處理器13可依據預定功率和接收功率判定音訊處理裝置10和揚聲器20a之間的特定距離。具體而言，由於處理器13已知音訊定位訊號P1被輸出和接收的功率，因此處理器13可依據預定功率和接收功率得出揚聲器20a和音訊處理裝置10之間的距離。更具體來說，在音訊定位訊號P1經由揚聲器20a和音訊處理裝置10之間的空間傳播後，由於接收功率可以被視為預定功率的衰減版本，因此揚聲器20a和音訊處理裝置10之間的距離可依據已知的聲學衰減定律計算，但本揭露不限於此。
接下來，處理器13可判定揚聲器20a相對於音訊處理裝置10的位置是在音訊處理裝置10的左前方，並與音訊處理裝置10相距上述特定距離。
相似地，處理器13可依據上述教示取得揚聲器20b-20d的位置，在此不再贅述。
在步驟S240中，處理器13依據各揚聲器20a-20d相對於音訊處理裝置10的位置調整音訊內容。在步驟S250中，處理器13將音訊內容發送到揚聲器20a-20d，以控制揚聲器20a-20d輸出音訊內容。
在本實施例中，處理器13可依據多個空間轉移函數（space transfer function）處理音訊內容，並將音訊內容分配給揚聲器20a-20d，其中前述空間轉移函數係依據各揚聲器20a-20d相對於音訊處理裝置10的位置而定義。在一實施例中，在處理器13已知揚聲器20a-20d的位置之後，處理器13可使用空間轉移函數修改音訊內容（其為提供給使用者的VR內容之音訊部分）的特性（如音量、方向），以令揚聲器20a-20d協同輸出以產生具有良好環繞音效的音訊內容。
在一實施例中，假設音訊內容中有四聲道，且各聲道提供來自不同方向的聲音。由於揚聲器20a的位置已知位於音訊處理裝置10的左前方且與音訊處理裝置10相距特定距離，因此處理器13可挑選出提供約略來自於左前方的聲音（例如，VR聲音）的聲道，依據揚聲器20a與音訊處理裝置10之間的距離修改對應音訊內容的特徵（例如，音量），並將修改後的音訊內容（以下稱為音訊內容AC1）分配給揚聲器20a。因此，當音訊內容AC1被發送到揚聲器20a並由揚聲器20a輸出時，使用者可感受到揚聲器20a自動地輸出約略來自於左前方的聲音。
相似地，由於已知揚聲器20b的位置係位於音訊處理裝置10的右前方並與音訊處理裝置10相距另一距離，處理器13選擇接近右前方聲道提供聲音（如VR聲音），並且依據揚聲器20b和音訊處理裝置10之間的距離修改相應音訊內容的特徵（如音量），以及將修改後的音訊內容（以下簡稱音訊內容AC2）分配給揚聲器20b。因此，當音訊內容AC2被發送到揚聲器20b並由揚聲器20b輸出時，使用者可感受揚聲器20b自動地輸出來自右前方的聲音。
基於以上教示，也可依據揚聲器20c和20d的位置來修改對應於提供約略來自左後方和右後方的聲音（例如，VR音效）的聲道的音訊內容，並且將其分配給揚聲器20c和20d。因此，當修改後的音訊內容（以下稱音訊內容AC3和AC4）發送到揚聲器20c和20d，並由揚聲器20c和20d分別輸出，而使用者可感受到揚聲器20c和20d自動地輸出約略來自左後方和右後方的聲音。
因此，當揚聲器20a-20d同時輸出相應的音訊內容時，儘管沒有專業人員幫忙裝設揚聲器20a-20d，仍可達到良好的環繞音效。
由上可知，本揭露提出的方法提供了一種可以依據揚聲器位置自動調整揚聲器輸出的音訊內容的機制，從而降低構建環音效環境（例如，家庭劇院）的因難度。
在其他實施例中，本揭露更提供了一種機制，其可依據使用者在VR服務的虛擬域中的移動來額外調整揚聲器輸出的音訊內容。
圖3為依據本揭露的一實施例繪示的VR系統的示意圖。在本實施例中，VR系統300包括音訊處理裝置10、揚聲器20a-20d、電腦裝置31和HMD 32a。在其他實施例中，VR系統300可更包括VR控制器，其可由使用者32手持以控制VR內容。在圖3中，音訊處理裝置10和HMD 32a可以連接到電腦裝置31以管理和控制提供給佩戴HMD 32a的使用者32的VR服務。
在本實施例中，HMD 32a和VR控制器可以偵測使用者32在實域和/或虛擬域中的移動，從而產生位置資訊PI。電腦裝置31（例如，個人電腦或其他可以運行VR服務的裝置）可以接收位置資訊PI，並由電腦裝置31轉發到音訊處理裝置10。
音訊處理裝置10透過收發器12接收位置資訊PI。隨後，處理器13依據空間轉移函數和位置資訊PI處理音訊內容，並將音訊內容分配給揚聲器20a-20d，其餘相關細節將輔以圖4詳論。
圖4為依據本揭露的一實施例繪示的調整揚聲器輸出的音訊內容的示意圖。在圖4中，揚聲器20a-20d的位置可由音訊處理裝置10依據先前實施例中的教示而得，在此不再重述。
在本實施例中，假設使用者32面對方向D1，並且揚聲器20a和20c經假設為輸出音訊內容AC1和AC3。由於使用者32面向方向D1，且揚聲器20a位於使用者32的右前方，因此揚聲器20a輸出的音訊內容AC1應對應於來自虛擬域中右前方的聲音。相似地，由於揚聲器20c位於使用者32的左前方，因此揚聲器20c輸出的音訊內容AC3應對應於來自虛擬域中左前方的聲音。
當使用者32沿著實域中的方向D1移動幾公尺時，使用者32在VR服務的虛擬域中所扮演的角色可能相應地沿著方向D1移動了十數公尺。在使用者32沿方向D1移動的過程中，位置資訊PI可連續更新並轉發到音訊處理裝置10，並且音訊處理裝置10相應地調整音訊內容AC1和AC3。
具體地說，由於音訊內容AC1和AC3分別來自VR服務虛擬域中的某些特定聲源，因此當使用者32沿著方向D1移動時，代表使用者32所扮演的角色越來越接近虛擬域中的上述特定聲源。因此，處理器13可使用空間轉移函數來處理音訊內容AC1和AC3（例如，持續增加音訊內容AC1和AC3的音量），使得使用者32可感受到越來越接近上述特定聲音源。在其他實例中，由於使用者32可在未於實域中移動的情況下，僅使用VR控制器來控制角色虛擬地沿方向D1移動，因此處理器13仍可使用空間轉移函數來處理音訊內容AC1與AC3（例如，持續增加音訊內容AC1和AC3的音量），藉以讓使用者32感受到越來越接近上述特定聲源，但本揭露可不限於此。
此外，當使用者32持續地沿著方向D1（虛擬地）移動並經過上述特定聲源時，處理器13可使用空間轉移函數來處理音訊內容AC1和AC3（例如，若虛擬域中除了上述特定聲源之外沒有其他聲源的話，可對音訊內容AC1和AC3進行靜音）。同時，由於上述特定聲源應該位於使用者32在虛擬域中所扮演角色的後方，因此處理器13可使用空間轉移函數來處理音訊內容AC2和AC4，使得當位於使用者後方的揚聲器20b和20d在輸出音訊內容AC2和AC4時，可令揚聲器20b和20d聽起來如同輸出來自上述特定聲源的聲音。
當使用者32持續地沿著方向D1（虛擬地）移動時，其代表使用者32所扮演的角色正在遠離虛擬域中的上述特定聲源。因此，處理器13可使用空間轉移函數來處理音訊內容AC2和AC4（例如，持續降低音訊內容AC2和AC4的音量），使得使用者32可感受到越來越遠離上述特定聲源。
在其他實例中，假設使用者32面對揚聲器20a，而揚聲器20a正輸出來自虛擬域中角色前方的聲音所相對應的音訊內容AC1。在此情況下，當使用者32（虛擬地）向右轉動他/她的頭部，其更新位置資訊PI可被轉發到音訊處理裝置10。對此，處理器13可使用空間轉移函數來音訊內容AC1修改為對應於來自虛擬域中角色左側的聲音。
由上可知，本揭露提出的方法可以更考慮使用者在虛擬域中的位置資訊，並據此調整揚聲器輸出的音訊內容。因此，當使用揚聲器作為接收VR服務中音訊內容的裝置時，使用者仍可具有身歷其境的VR體驗。
在一些實施例中，為了能更好地收集音訊定位訊號P1，音訊處理裝置10可更與多個智慧型手機配對，並使用這些智慧型手機上的麥克風構建麥克風陣列，用於收集揚聲器20a-20d的音訊定位訊號P1。
具體而言，如圖1所示，麥克風陣列121通常用於收集某些特定方向的聲音或抑制來自某些特定方向的聲音。由於麥克風陣列121收集的音訊訊號需要經由與前端語音收集裝置（例如，麥克風121a）高度相關的一些演算法來處理，因此演算法和麥克風陣列121通常被整合為一個模組以進行銷售。然而，由於模組的尺寸限制，麥克風121陣列中的多個麥克風121a彼此將過於靠近，因而降低了收集音訊訊號的效能。此外，麥克風陣列121所收集和抑制音訊訊號的方向也較無法調整。
據此，本揭露提出使用智慧型手機來構建麥克風陣列的概念，藉以解決以上技術問題。請參照圖5以進行詳述。
圖5為依據本揭露的一實施例繪示的使用智慧型手機構建麥克風陣列的示意圖。在圖5中，智慧型手機51a和51b可以與音訊處理裝置10配對，且智慧型手機51a和51b上的麥克風可用於協同收集音訊訊號（例如，圖1中的音訊定位訊號P1），從而產生麥克風資料MD1和MD2。麥克風資料MD1和MD2可接著經轉發至音訊處理裝置10，其中，處理器13可採用已知的演算法來處理麥克風資料MD1和MD2，以進行例如收集來自某些特定方向的聲音或抑制來自某些特定方向的聲音的操作。
此外，可調整智慧型手機51a和51b的相對位置，以調校用於收集音訊訊號的極性場型52。亦即，收集音訊訊號的性能可較不受音訊處理裝置10的大小限制。
由上可知，在智慧型手機51a和51b用於收集音訊處理裝置10的音訊訊號之後，可改善收集音訊訊號的性能和彈性
綜上所述，本揭露提出的方法提供了一種可以依據揚聲器相對於音訊處理裝置的位置自動調整揚聲器輸出的音訊內容的機制，從而減少了構建具環繞音效的環境（例如，家庭劇院）的困難度。此外，本揭露還提供了一種可以依據使用者在VR服務虛擬域中的移動來額外調整揚聲器輸出的音訊內容的機制。藉此，當使用揚聲器用於作為接收VR服務中音訊內容的裝置時，使用者仍可有身歷其境的VR體驗。
並且，本揭露的音訊處理裝置還可利用多個智慧型手機上的麥克風來構建用於收集音訊訊號的麥克風陣列，從而改善收集音訊訊號的性能和彈性。
雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露的精神和範圍內，當可作些許的更動與潤飾，故本揭露的保護範圍當視後附的申請專利範圍所界定者為準。
100‧‧‧音訊系統10‧‧‧音訊處理設備11‧‧‧記憶體12‧‧‧收發器121‧‧‧麥克風陣列121a‧‧‧麥克風13‧‧‧處理器20a、20b、20c、20d‧‧‧揚聲器300‧‧‧VR系統31‧‧‧電腦裝置32‧‧‧使用者32a‧‧‧頭戴式顯示器51a、51b‧‧‧智慧型手機52‧‧‧極性場型AC1、AC2、AC3、AC4‧‧‧音訊內容D1‧‧‧方向MD1、MD2‧‧‧麥克風資料P1‧‧‧音訊定位訊號PI‧‧‧位置資訊S210~S250‧‧‧步驟
圖1為依據本揭露的一實施例繪示的音訊系統的示意圖。 圖2為依據本揭露的一實施例繪示的控制揚聲器的音訊處理方法的流程圖。 圖3為依據本揭露的一實施例繪示的VR系統的示意圖。 圖4為依據本揭露的一實施例繪示的調整揚聲器輸出的音訊內容的示意圖。 圖5為依據本揭露的一實施例繪示的使用智慧型手機構建麥克風陣列的示意圖。
S210~S250‧‧‧步驟

Claims (7)

  1. 一種音訊處理裝置，包括：記憶體，儲存多個模組；收發器，與多個揚聲器無線配對；處理器，耦接該記憶體和該收發器，並存取該些模組以執行以下步驟：請求各該揚聲器輸出音訊定位訊號；收集來自各該揚聲器的該音訊定位訊號；依據來自各該揚聲器的該音訊定位訊號取得各該揚聲器相對於該音訊處理裝置的位置；依據各該揚聲器相對於該音訊處理裝置的該位置調整多個音訊內容；以及將該些音訊內容發送到該些揚聲器，以控制該些揚聲器輸出該些音訊內容，其中該收發器更經配置以從電腦裝置接收位置資訊，該位置資訊係由該電腦裝置基於使用者於虛擬實境服務的虛擬域中的移動而產生，且該處理器經配置以：依據多個空間轉移函數和該位置資訊處理該些音訊內容，其中該些空間轉移函數是依據各該揚聲器相對於該音訊處理裝置的位置來定義；以及將該些音訊內容分配給該些揚聲器。
  2. 如申請專利範圍第1項所述的音訊處理裝置，其中該收發器包括麥克風陣列，用於接收來自各該揚聲器的該音訊定位訊號，並且該處理器經配置以：請求該些揚聲器之中的第一揚聲器輸出具有預定功率的該音訊定位訊號；調整該麥克風陣列的接收極性場型，以找到將該音訊定位訊號的接收功率最大化的特定方向；依據該預定功率和該接收功率判定該音訊處理裝置與該第一揚聲器之間的特定距離；以及判定該第一揚聲器相對於該音訊處理裝置的該位置是在該特定方向上與該音訊處理裝置相距該特定距離。
  3. 如申請專利範圍第2項所述的音訊處理裝置，其中該麥克風陣列由不同智慧型手機上的多個麥克風組成。
  4. 如申請專利範圍第1項所述的音訊處理裝置，其中將該些音訊內容的該第一音訊內容分配給該些揚聲器的第一揚聲器，該處理器經配置以將該第一音訊內容發送到該第一揚聲器，並控制該第一揚聲器輸出該第一音訊內容。
  5. 如申請專利範圍第1項所述的音訊處理裝置，其中該收發器更經配置以從該電腦裝置接收更新位置資訊，並且該處理器經配置以：依據該些空間轉移函數和該更新位置資訊處理該些音訊內容；以及 將該些音訊內容分配給該些揚聲器。
  6. 一種控制多個揚聲器的音訊處理方法，包括：由音訊處理裝置請求各該揚聲器輸出音訊定位訊號；由該音訊處理裝置收集來自各該揚聲器的該音訊定位訊號；由該音訊處理裝置依據來自各該揚聲器的該音訊定位訊號，取得各該揚聲器相對於該音訊處理裝置的位置；由該音訊處理裝置依據各該揚聲器相對於該音訊處理裝置的該位置調整多個音訊內容；以及由該音訊處理裝置發送該些音訊內容給該些揚聲器，以控制該些揚聲器輸出該些音訊內容；其中，所述方法更包括：從電腦裝置接收位置資訊，該位置資訊係由該電腦裝置基於使用者於虛擬實境服務的虛擬域中的移動而產生：依據多個空間轉移函數和該位置資訊處理該些音訊內容，其中該些空間轉移函數是依據各該揚聲器相對於該音訊處理裝置的位置來定義；以及將該些音訊內容分配給該些揚聲器。
  7. 一種用於搭配音訊處理裝置的電腦程式產品，該電腦程式產品包括一電腦可讀取儲存媒體與嵌入其中的一可執行電腦程式機制，該可執行電腦程式機制包括指令用於：請求與該音訊處理裝置配對的多個揚聲器個別輸出音訊定位訊號； 收集來自各該揚聲器的該音訊定位訊號；依據來自各該揚聲器的該音訊定位訊號取得各該揚聲器相對於該音訊處理裝置的位置；依據各該揚聲器相對於該音訊處理裝置的該位置調整多個音訊內容；以及將該些音訊內容發送到該些揚聲器，以控制該些揚聲器輸出該些音訊內容，其中該可執行電腦程式機制更包括指令用於：從電腦裝置接收位置資訊，該位置資訊係由該電腦裝置基於使用者於虛擬實境服務的虛擬域中的移動而產生：依據多個空間轉移函數和該位置資訊處理該些音訊內容，其中該些空間轉移函數是依據各該揚聲器相對於該音訊處理裝置的位置來定義；以及將該些音訊內容分配給該些揚聲器。
TW107120511A 2017-06-15 2018-06-14 音訊處理裝置、音訊處理方法和電腦程式產品 TWI703877B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201762519880P 2017-06-15 2017-06-15
US201762519876P 2017-06-15 2017-06-15
US62/519,876 2017-06-15
US62/519,880 2017-06-15
US16/000,914 US10595122B2 (en) 2017-06-15 2018-06-06 Audio processing device, audio processing method, and computer program product
US16/000,914 2018-06-06

Publications (2)

Publication Number Publication Date
TW201906421A TW201906421A (zh) 2019-02-01
TWI703877B true TWI703877B (zh) 2020-09-01

Family

ID=62684606

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107120511A TWI703877B (zh) 2017-06-15 2018-06-14 音訊處理裝置、音訊處理方法和電腦程式產品

Country Status (4)

Country Link
US (1) US10595122B2 (zh)
EP (1) EP3416410B1 (zh)
CN (1) CN109151671B (zh)
TW (1) TWI703877B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110786023B (zh) * 2017-06-21 2021-12-28 雅马哈株式会社 信息处理装置、信息处理系统、记录介质及信息处理方法
KR102127179B1 (ko) * 2019-06-05 2020-06-26 서울과학기술대학교 산학협력단 플렉서블 렌더링을 이용한 가상 현실 기반 음향 시뮬레이션 시스템
CN111694156B (zh) * 2020-05-26 2023-04-18 Oppo广东移动通信有限公司 眼镜及其音效的控制方法
CN112153525B (zh) * 2020-08-11 2022-09-16 广东声音科技有限公司 多扬声器全景音效的定位方法及系统
EP4268477A4 (en) * 2021-05-24 2024-06-12 Samsung Electronics Co., Ltd. INTELLIGENT AUDIO RENDERING SYSTEM USING HETEROGENEOUS SPEAKER NODES AND RELATED METHOD
CN113411725B (zh) * 2021-06-25 2022-09-02 Oppo广东移动通信有限公司 音频播放方法、装置、移动终端及存储介质
WO2023058800A1 (ko) * 2021-10-08 2023-04-13 엘지전자 주식회사 다채널 무선 스피커를 포함하는 음향 시스템 및 그것의 전원 관리 방법
EP4329337A1 (en) 2022-08-22 2024-02-28 Bang & Olufsen A/S Method and system for surround sound setup using microphone and speaker localization

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110316967A1 (en) * 2010-06-29 2011-12-29 Walter Etter Facilitating communications using a portable communication device and directed sound output
US20150016642A1 (en) * 2013-07-15 2015-01-15 Dts, Inc. Spatial calibration of surround sound systems including listener position estimation
US20160125882A1 (en) * 2014-11-03 2016-05-05 Matteo Contolini Voice Control System with Multiple Microphone Arrays
US20170055097A1 (en) * 2015-08-21 2017-02-23 Broadcom Corporation Methods for determining relative locations of wireless loudspeakers
US20170150255A1 (en) * 2014-06-26 2017-05-25 Intel Corporation Beamforming Audio with Wearable Device Microphones
US20170188171A1 (en) * 2015-12-25 2017-06-29 Kyocera Corporation Electronic apparatus and sound output control method

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2350969B (en) * 1999-06-07 2003-11-05 Ericsson Telefon Ab L M Loudspeaker volume range control
US8976986B2 (en) * 2009-09-21 2015-03-10 Microsoft Technology Licensing, Llc Volume adjustment based on listener position
US10585472B2 (en) * 2011-08-12 2020-03-10 Sony Interactive Entertainment Inc. Wireless head mounted display with differential rendering and sound localization
US20130324031A1 (en) * 2012-05-31 2013-12-05 Nokia Corporation Dynamic allocation of audio channel for surround sound systems
JP2014093697A (ja) * 2012-11-05 2014-05-19 Yamaha Corp 音響再生システム
US10349141B2 (en) * 2015-11-19 2019-07-09 Google Llc Reminders of media content referenced in other media content
CN105467364B (zh) * 2015-11-20 2019-03-29 百度在线网络技术（北京）有限公司 一种定位目标声源的方法和装置
US9648438B1 (en) * 2015-12-16 2017-05-09 Oculus Vr, Llc Head-related transfer function recording using positional tracking
HK1221372A2 (zh) * 2016-03-29 2017-05-26 萬維數碼有限公司 種獲得空間音頻定向向量的方法、裝置及設備
CN106255031B (zh) * 2016-07-26 2018-01-30 北京地平线信息技术有限公司 虚拟声场产生装置和虚拟声场产生方法
US10613630B2 (en) * 2016-09-30 2020-04-07 Sony Interactive Entertainment Inc. Temperature controlled headset apparatus
US10412527B1 (en) * 2018-01-09 2019-09-10 Facebook Technologies, Llc Head-related transfer function determination using base stations

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110316967A1 (en) * 2010-06-29 2011-12-29 Walter Etter Facilitating communications using a portable communication device and directed sound output
US20150016642A1 (en) * 2013-07-15 2015-01-15 Dts, Inc. Spatial calibration of surround sound systems including listener position estimation
US20170150255A1 (en) * 2014-06-26 2017-05-25 Intel Corporation Beamforming Audio with Wearable Device Microphones
US20160125882A1 (en) * 2014-11-03 2016-05-05 Matteo Contolini Voice Control System with Multiple Microphone Arrays
US20170055097A1 (en) * 2015-08-21 2017-02-23 Broadcom Corporation Methods for determining relative locations of wireless loudspeakers
US20170188171A1 (en) * 2015-12-25 2017-06-29 Kyocera Corporation Electronic apparatus and sound output control method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PUI Audio, "Speaker Power and Distance", 20140611. (網址： https://web.archive.org/web/20140611135644/http://www.puiaudio.com/resources-white-papers-speaker-power.aspx) *

Also Published As

Publication number Publication date
US10595122B2 (en) 2020-03-17
TW201906421A (zh) 2019-02-01
CN109151671B (zh) 2021-06-01
US20180367893A1 (en) 2018-12-20
EP3416410B1 (en) 2023-09-06
EP3416410A1 (en) 2018-12-19
CN109151671A (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
TWI703877B (zh) 音訊處理裝置、音訊處理方法和電腦程式產品
US9445213B2 (en) Systems and methods for providing surround sound using speakers and headphones
US20220295214A1 (en) Altering Emoji to Indicate Sound Will Externally Localize as Binaural Sound
US20220394409A1 (en) Listening optimization for cross-talk cancelled audio
US10257637B2 (en) Shoulder-mounted robotic speakers
CN112425187A (zh) 用于实现头部跟踪耳机的方法和装置
US10354651B1 (en) Head-mounted device control based on wearer information and user inputs
US20220394414A1 (en) Sound effect optimization method, electronic device, and storage medium
US20240048928A1 (en) Method that Expedites Playing Sound of a Talking Emoji
US11653169B2 (en) Playing binaural sound clips during an electronic communication
US10805703B1 (en) Automatically adjusting a size of headphone cushions
CN113170255B (zh) 对于双耳扩音器指向性的补偿
WO2020146130A1 (en) Enabling a user to obtain a suitable head-related transfer function profile
WO2024027315A1 (zh) 音频处理方法、装置、电子设备、存储介质和程序产品
US20240073571A1 (en) Generating microphone arrays from user devices
CN113973259A (zh) 音频处理方法、装置、计算设备和介质
KR20230052783A (ko) 오디오 장면에 기초하여 주변 사운드를 제어하는 전자 장치 및 그 동작방법