TW201918082A - 獲取高音質音訊轉換資訊的方法、電子裝置及記錄媒體 - Google Patents

獲取高音質音訊轉換資訊的方法、電子裝置及記錄媒體 Download PDF

Info

Publication number
TW201918082A
TW201918082A TW107136706A TW107136706A TW201918082A TW 201918082 A TW201918082 A TW 201918082A TW 107136706 A TW107136706 A TW 107136706A TW 107136706 A TW107136706 A TW 107136706A TW 201918082 A TW201918082 A TW 201918082A
Authority
TW
Taiwan
Prior art keywords
signal spectrum
extended
signal
energy distribution
audio
Prior art date
Application number
TW107136706A
Other languages
English (en)
Other versions
TWI684368B (zh
Inventor
王添明
林立研
廖俊旻
何吉堂
郭彥閔
蔡宗佑
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201918082A publication Critical patent/TW201918082A/zh
Application granted granted Critical
Publication of TWI684368B publication Critical patent/TWI684368B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/006—Systems employing more than two channels, e.g. quadraphonic in which a plurality of audio signals are transformed in a combination of audio signals and modulated signals, e.g. CD-4 systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0264—Noise filtering characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

一種獲取高音質音訊轉換資訊的方法、電子裝置及記錄媒體。此方法適用於具有處理器的電子裝置。此方法擷取第一音訊信號，並轉換第一音訊信號為頻域的第一信號頻譜。之後，對第一信號頻譜的能量分佈進行回歸分析，以根據第一信號頻譜預測在頻域中的延伸能量分佈，並利用頭部相關參數對延伸能量分佈進行補償，以產生延伸信號頻譜。最後，結合第一信號頻譜與延伸信號頻譜產生第二信號頻譜，並轉換第二信號頻譜至時域，以獲取具高音質音訊轉換資訊的第二音訊信號。

Description

獲取高音質音訊轉換資訊的方法、電子裝置及記錄媒體
本發明是有關於一種音訊轉換技術，且特別是有關於一種獲取高音質音訊轉換資訊的方法、具有獲取高音質音訊轉換資訊功能的電子裝置以及記錄媒體。
在數位多媒體與娛樂產業（digital media and entertainment industry）蓬勃發展下，對於立體音效的需求越來越大，消費者對於聲音的音質的要求也越來越高。一般來說，立體音效應用在各種軟硬體平台上，而可以讓遊戲、電影、音樂等多媒體娛樂的音效聽起來更接近真實。例如將立體音效使用於虛擬實境（Virtual Reality，VR）、擴增實境（Augmented Reality，AR）或混合實境 （Mixed Reality，MR）的頭戴式裝置或是耳機、音響中，皆可以帶來較佳的使用者體驗。
目前而言，將一般音效轉換成立體音效的方法通常是藉由測量對應於時域的頭部相關脈衝響應（Head-Related Impulse Response，HRIR）或是從HRIR轉換的對應於頻域的頭部相關轉換函數（Head-Related Transfer Function，HRTF）將不具有方向性的聲音訊號進行轉換而得到立體音效。
然而，現今立體音效技術受到量測儀器以及環境的限制，應用於立體音效合成所需的HRIR，其取樣頻率普遍僅支援到44.1kHz，少數支援到最高48kHz。上述限制導致即使輸入的音訊信號具備高頻頻段，也無法在透過HRTF轉換成立體音訊信號時，仍保持高頻率的頻段，而造成輸出品質受限。若想要直接取樣具有高頻頻段的HRIR，例如取樣頻率為96 kHz或以上，則需要在無響室中使用可以發出高頻聲音的喇叭以及可以接收高頻信號的裝置進行測量。上述測量方法的建置成本十分昂貴，通常也僅能測量特定假人頭的HRIR。
有鑑於此，本發明提供一種獲取高音質音訊轉換資訊的方法、電子裝置以及記錄媒體，其可將缺乏高頻脈衝響應資訊的音訊信號轉換為具有高頻脈衝響應資訊和方向性的高音質立體音訊信號。
本發明提供一種獲取高音質音訊轉換資訊的方法，適用於具有處理器的電子裝置，所述方法包括下列步驟。擷取第一音訊信號。轉換第一音訊信號為頻域的第一信號頻譜。對第一信號頻譜的能量分佈進行回歸分析，以根據第一信號頻譜預測在頻域中的延伸能量分佈。利用頭部相關參數對延伸能量分佈進行補償，以產生延伸信號頻譜。以及結合第一信號頻譜與延伸信號頻譜產生第二信號頻譜，並轉換第二信號頻譜至時域，以獲取具高音質音訊轉換資訊的第二音訊信號。
在本發明的一實施例中，上述第一音訊信號記錄有與頭部相關之脈衝響應資訊。
在本發明的一實施例中，上述結合該第一信號頻譜與該延伸信號頻譜產生該第二信號頻譜的步驟包括：利用音響心理學模型的等響度曲線調整第一信號頻譜以及延伸信號頻譜中多個頻帶的能量值，以產生第二信號頻譜。
在本發明的一實施例中，上述第一音訊信號是利用配置於耳部的聲音擷取裝置擷取對於音源的相關脈衝響應而得。
在本發明的一實施例中，上述對第一信號頻譜的能量分佈進行回歸分析，以根據第一信號頻譜預測在頻域中的延伸能量分佈的步驟包括：將第一信號頻譜分成多個頻帶。以及依據所述頻帶之間的能量關係，利用回歸分析預測第一信號頻譜在頻域中的最高頻率以上的延伸能量分佈。
在本發明的一實施例中，上述利用頭部相關參數對延伸能量分佈進行補償，以產生延伸信號頻譜的步驟包括：在頻域重建出包含延伸能量分佈的資訊且經頭部相關補償的延伸信號頻譜。
在本發明的一實施例中，上述利用頭部相關參數對延伸能量分佈進行補償，以產生延伸信號頻譜的步驟包括：依據頭部相關參數決定權重網格。其中權重網格對應於電子裝置的多個方位而分為多個權重網格區域，並記錄音源在不同的所述權重網格區域時的能量權重。以及選擇對應於第一音訊信號的方位的權重網格區域的能量權重對頻域中的延伸能量分佈進行補償，以在頻域重建出包含延伸能量分佈的資訊且經頭部相關補償的該延伸信號頻譜。
在本發明的一實施例中，上述獲取高音質音訊轉換資訊的方法更包括：接收高音質音訊資料的第三音訊信號，並轉換第三音訊信號為頻域的第三信號頻譜。對第三信號頻譜與第二信號頻譜進行快速摺積運算，以獲取第四信號頻譜。以及轉換第四信號頻譜至時域，以獲取經頭部相關補償的高音質音訊的第四音訊信號。
本發明的電子裝置包括資料擷取裝置、儲存裝置以及處理器。所述的資料擷取裝置用以擷取音訊信號。所述的儲存裝置儲存一或多個指令。所述的處理器耦接至資料擷取裝置以及儲存裝置，並且經配置以執行所述指令以：控制所述資料擷取裝置擷取第一音訊信號。轉換第一音訊信號為頻域的第一信號頻譜。對第一信號頻譜的能量分佈進行回歸分析，以根據第一信號頻譜預測在頻域中的延伸能量分佈。利用頭部相關參數對延伸能量分佈進行補償，以產生延伸信號頻譜。以及結合第一信號頻譜與延伸信號頻譜產生第二信號頻譜，並轉換第二信號頻譜至時域，以獲取具高音質音訊轉換資訊的第二音訊信號。
本發明更提供一種電腦可讀取記錄媒體，記錄程式，經由電子裝置載入以執行下列步驟。擷取第一音訊信號。轉換第一音訊信號為頻域的第一信號頻譜。對第一信號頻譜的能量分佈進行回歸分析，以根據第一信號頻譜預測在頻域的延伸能量分佈。利用頭部相關參數對延伸能量分佈進行補償，以產生延伸信號頻譜。以及結合第一信號頻譜與延伸信號頻譜產生第二信號頻譜，並轉換第二信號頻譜至時域，以獲取具高音質音訊轉換資訊的第二音訊信號。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
本發明是在有限的條件下，利用回歸預估模型及人耳聽感統計模型，將原始低音質的頭部相關轉換函數（Head-Related Transfer Function，HRTF）轉換成高音質頭部相關轉換函數（Hi-Res HRTF）。在處理音訊時，藉由將輸入的音訊資料轉換至頻域，並在頻域對轉換後的音訊資料使用高音質頭部相關轉換函數進行快速摺積演算法（Fast Convolution），最後將運算結果轉換回時域，即可獲得高音質輸出結果。藉此，可大幅減少計算量，達到即時運算立體（3D）音效處理的目的。
圖1繪示本發明一實施例的電子裝置的方塊圖。參考圖1，電子裝置100包括處理器110、資料擷取裝置120以及儲存裝置130。處理器110耦接至資料擷取裝置120以及儲存裝置130，而可存取並執行記錄在儲存裝置130中的指令，以實現本發明實施例的獲取高音質音訊轉換資訊方法。電子裝置100可以是任何需要產生立體音效的裝置，例如是VR、AR或MR的頭戴式裝置，或是耳機、音響等，本發明不在此限制。
在不同實施例中，處理器110例如是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（Programmable Logic Device，PLD）或其他類似裝置或這些裝置的組合，本發明不在此限制。
在本實施例中，資料擷取裝置120用以擷取音訊信號。其中音訊信號例如是記錄有與頭部相關之脈衝響應資訊（例如為HRIR）的音訊信號。所述的音訊信號例如是用44.1kHz、48kHz等取樣頻率較低的量測機器所量測到的立體音訊信號，受到量測機器及環境的限制，所量測到的立體音訊信號缺乏高頻的脈衝響應資訊。具體而言，資料擷取裝置120可以是任何以有線方式接收由量測機器所量測的音訊信號的裝置，例如是通用序列匯流排（Universal Serial Bus，USB）、3.5mm音源接孔，或是任何支援無線方式接收音訊信號的接收器，例如是支援無線相容認證（Wireless Fidelity，WiFi）系統、全球互通微波存取（Worldwide Interoperability for Microwave Access，WiMAX）系統、第三代無線通信技術（3G）、第四代無線通信技術（4G）、第五代無線通信技術（5G）、長期演進技術（Long Term Evolution，LTE）、紅外線（Infrared）傳輸、藍芽（Bluetooth，BT）通訊技術其中之一或其組合的接收器，本發明不在此限制。
儲存裝置130例如是任意型式的固定式或可移動式隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體（Flash memory）、硬碟或其他類似裝置或這些裝置的組合，而用以儲存可由處理器110執行的一或多個指令，這些指令可載入處理器110。
圖2繪示本發明一實施例的獲取高音質音訊轉換資訊的方法的流程圖。請同時參照圖1及圖2，本實施例的方法適用於上述的電子裝置100，以下即搭配電子裝置100的各項裝置及元件說明本實施例的獲取高音質音訊轉換資訊的方法的詳細步驟。
首先，由處理器110控制資料擷取裝置120擷取第一音訊信號（步驟S202）。其中第一音訊信號記錄有與頭部相關之脈衝響應資訊。其中與頭部相關之脈衝響應資訊包括第一音訊信號的方位R（，），為第一音訊信號的水平角度、為第一音訊信號的垂直角度。
接著，處理器110轉換第一音訊信號為頻域的第一信號頻譜（步驟S204）。其中，處理器110對第一音訊信號進行快速傅立葉轉換（Fast Fourier Transform，FFT），以將第一音訊信號轉換至頻域而產生第一信號頻譜。
之後，處理器110對第一信號頻譜的能量分佈進行回歸分析，以根據第一信號頻譜預測在頻域中的延伸能量分佈（步驟S206）。接著，處理器110利用頭部相關參數對延伸能量分佈進行補償，以產生延伸信號頻譜（步驟S208）。詳細而言，處理器110將第一信號頻譜分成多個頻帶，並依據各頻帶之間的能量關係，利用回歸分析（Regression Analysis）預測第一信號頻譜在頻域中的最高頻率以上的延伸能量分佈。
舉例來說，圖3A、3B及3C繪示本發明一實施例的預測延伸能量分佈的範例。請先參照圖3A，處理器110擷取第一音訊信號並將其轉換為頻域的第一信號頻譜。圖3A繪示第一信號頻譜的能量分佈30。其中，第一信號頻譜的能量分佈30的最高頻率為M。請再參照圖3B，處理器110將第一信號頻譜的能量分佈30一共分成m個頻帶。此時可得到頻帶1~m的能量分別為a1 ~am 。接著，處理器110例如是利用方程式(1)的線性回歸模型推得第一信號頻譜各頻帶的能量a1 ~am 的回歸方程式：(1)
其中x為頻帶1~m、y為第一信號頻譜各頻帶的能量a1 ~am ，由上述線性回歸模型可計算以及的損失函數（Loss Function），如方程式(2)所示：(2)
方程式(2)透過最小平分法（Least Square）可求得以及。請接著參照圖3C，當求得以及後，在本實施例中，假設目標是將第一信號頻譜的能量分佈30延伸至最高頻率M以上的頻域，並且延伸至最高頻率為N。則處理器110將頻率M至頻率N之間分成n個頻帶，此時可得到頻率M至頻率N之間的頻帶1~n。之後，再將已求得的、代入方程式(1)的線性回歸模型進行計算。其中x為頻帶1~n、y為延伸能量分佈b1 ~bn 。經回歸分析計算過後即可預測第一信號頻譜在第一信號頻譜的最高頻率M以上的頻域中的延伸能量分佈b1 ~bn 。
在本實施例中，在預測出第一信號頻譜在頻域中的延伸能量分佈b1 ~bn 後，處理器110接著利用頭部相關參數對延伸能量分佈b1 ~bn 進行修正及補償。詳言之，一般來自不同方位的音源會因為音源相對於聽者的方向的不同以及每個人頭型和耳殼等構造的不同，而在進入左耳和右耳時產生不同的時間差（Interaural Time Difference，ITD）和能量差（Interaural Level Difference，ILD）等差異。基於這些差異，聽者可以感知到音源的方向性。
詳細而言，在進行頭部相關參數的補償時，處理器110例如會依據頭部相關參數決定一個權重網格。其中，權重網格例如為一球狀的網格，並且對應於電子裝置100的多個方位而分為多個權重網格區域，並記錄音源在不同權重網格區域時用以調整各頻帶能量分佈的能量權重。所述的能量分佈在依音源所在方位的權重網格區域所對應的能量權重調整後，可使得聽者雙耳感知到的音源係來自該方位。
圖4繪示本發明一實施例的權重網格的範例。以圖4的權重網格40為例，權重網格40依水平角度、垂直角度每10度劃分一個權重網格區域，共劃分為648個權重網格區域A1~A648。劃分權重網格的角度也可以是5度或是其他角度，在此設定為10度僅做為說明示例。於此，音源在權重網格區域A1~A648之中各具有不同的能量權重。
在一實施例中，此權重網格40會依據不同人的頭部相關參數而造成音源在不同的權重網格區域A1~A648時會具有不同的能量權重。因此權重網格40會依據頭部相關參數進行調整。在一實施例中，頭部相關參數包括頭部、耳朵、鼻腔、口腔、軀幹的形狀、大小、構造和/或密度。換言之，對應至各頭部相關參數的權重網格、對應至各權重網格的權重網格區域以及對應至各權重網格區域的能量權重可預先記錄於儲存至儲存裝置130之中。
以圖4的權重網格40為例，處理器110例如會依據第一音訊信號的方位R（，），從權重網格區域A1~A648中選擇對應於該方位R（，）的權重網格區域A’，並依據該權重網格區域A’對應的能量權重對延伸能量分佈進行補償，以在第一信號頻譜的最高頻率M以上的頻域重建出包含延伸能量分佈的資訊且經頭部相關補償的延伸信號頻譜。能量分佈的補償可以下列方程式(3)來表示：(3)
其中，為第一音訊信號的水平角度、為第一音訊信號的垂直角度、為權重網格、則代表位在方位R（，）上的權重網格區域A’所對應的能量權重、k為1~n（n為針對延伸頻域所劃分的頻帶數目）、為延伸頻域補償前的能量分佈，而為延伸頻域補償後的能量分佈。亦即，處理器110將權重網格區域A’對應的能量權重，分別乘上頻域中的延伸能量分佈b1 ~bn 以進行補償。在補償延伸能量分佈b1 ~bn 以產生補償後的延伸能量分佈b1 ’~bn ’後，處理器110在第一信號頻譜的最高頻率M以上的頻域產生延伸信號頻譜。具體而言，處理器110在第一信號頻譜的最高頻率M以上的頻域重建出包含延伸能量分佈的資訊且經頭部相關補償的延伸信號頻譜。
在產生延伸信號頻譜之後，處理器110結合第一信號頻譜與延伸信號頻譜產生第二信號頻譜，並轉換第二信號頻譜至時域，以獲取具高音質音訊轉換資訊的第二音訊信號（步驟S210）。其中，處理器110例如是利用音響心理學模型的等響度曲線來調整第一信號頻譜以及延伸信號頻譜中多個頻帶的能量值，以產生第二信號頻譜，然後再對第二信號頻譜做快速傅立葉反轉換（Inverse Fast Fourier Transform，IFFT），將第二信號頻譜轉換至時域以產生具高音質音訊轉換資訊的第二音訊信號。
圖5繪示本發明一實施例的等響度曲線的範例。請參照圖5，處理器110例如是利用音響心理學模型的等響度曲線50調整第一信號頻譜以及延伸信號頻譜中多個頻帶的能量值，以產生第二信號頻譜。利用等響度曲線調整各頻帶的能量值可以方程式(4)來表示：(4)
其中，為響度等級（Loudness Level）、為頻率、為等響度曲線、k為1~n（n為針對延伸頻域所劃分的頻帶數目）、為延伸頻域補償後的能量分佈，而為依據等響度曲線補償後的延伸頻域的能量。亦即，處理器110將等響度曲線對應頻率的強度等級（intensity level）乘上補償後的延伸信號頻譜的延伸能量分佈b1 ’~bn ’的能量值，以實現聽感補償。類似地，處理器110亦將等響度曲線對應頻率的強度等級乘上第一信號頻譜各頻帶的能量a1 ~am 的能量值，以實現聽感補償。
經由上述獲取高音質音訊轉換資訊的方法，處理器110可將原始對應於記錄有與頭部相關之脈衝響應資訊但缺乏高頻部分的第一音訊信號的HRTF轉換成具有高頻部分的高音質頭部相關轉換函數（Hi-Res HRTF）。
圖6繪示本發明一實施例的利用高音質音訊轉換資訊的方法的流程圖。請參照圖6，本實施例係接續在圖2的步驟S210之後，意即，處理器110經由步驟S202~S210獲得Hi-Res HRTF 62。步驟S202~S210可以參照前述實施例中的相關說明，於此不再贅述。假設處理器110擷取到高音質音訊資料的音訊信號60（取樣頻率例如為96kHz或以上），處理器110先對音訊信號60進行FFT，產生高音質信號頻譜60a（步驟S602）。接著，處理器110在頻域進行高音質信號頻譜60a與Hi-Res HRTF 62的快速摺積演算法（Fast Convolution），產生高音質信號頻譜60b（步驟S604）。最後，處理器110對高音質信號頻譜60b進行IFFT，以產生高音質音訊信號60c（步驟S606）。其中，透過本發明提供的Hi-Res HRTF，音訊信號60在轉換成高音質音訊信號60c的同時，保留了高頻段的頻率，因此轉換後的音訊仍可以維持高音質。
圖7繪示本發明一實施例的電子裝置的方塊圖。請參照圖7，在本發明另一實施例中，電子裝置700更包括聲音擷取裝置740。聲音擷取裝置740例如是以耳機形式配置於使用者耳部且耦接資料擷取裝置720。在本實施例中，聲音擷取裝置740用以擷取對於音源的相關脈衝響應而得到記錄有與頭部相關之脈衝響應資訊的音訊信號。在不同實施例中，聲音擷取裝置740例如是動圈式麥克風（Dynamic Microphone）、電容式麥克風（Condenser Microphone）、駐極體電容麥克風（Electret Condenser Microphone）、微機電麥克風（MEMS Microphone）或是針對來自不同角度聲音有不同靈敏度的指向性麥克風，本發明不在此限制。本實施例中的電子裝置700、處理器710、資料擷取裝置720以及儲存裝置730類似於圖1中的電子裝置100、處理器110、資料擷取裝置120以及儲存裝置130，其硬體設置可以參照前述實施例中的相關說明，於此不再贅述。
使用者例如可將聲音擷取裝置740分別置於雙耳內，並在空間中的不同方位放置音源以播放音訊，而由聲音擷取裝置740擷取來自音源且經頭部相關影響後的音訊信號。處理器710可使用本發明獲取高音質音訊轉換資訊的方法針對空間中不同角度音源所測得的低音質音訊信號進行高音質的轉換，即可獲得專屬於使用者個人的經頭部相關調整且具有高音質音訊轉換資訊的音訊信號。由於本實施例不需要使用可發出高頻聲音的喇叭作為音源，也不需要使用可接收高頻聲音的錄音設備，因此使用者可以較低的成本獲得個人化的高音質音訊轉換資訊，並應用於對輸入訊號的處理，而獲得高音質的輸出結果。
本案另提供一種非暫時性電腦可讀取記錄媒體，其中記錄電腦程式。該電腦程式是用以執行上述獲取高音質音訊轉換資訊的方法的各個步驟。此電腦程式是由多數個程式碼片段所組成的（例如建立組織圖程式碼片段、簽核表單程式碼片段、設定程式碼片段、以及部署程式碼片段），並且這些程式碼片段在載入電子裝置中並執行之後，即可完成上述獲取高音質音訊轉換資訊的方法的步驟。
基於上述，本發明提供的獲取高音質音訊轉換資訊的方法及電子裝置可將缺乏高頻頻帶的音訊信號轉換為具有高頻頻帶和方向性的高音質音訊信號，並且補償及調整音訊信號的頻帶能量。基此，本發明可以較低的成本獲取高音質音訊信號以及高音質頭部相關轉換函數。此外，也可以較低的計算量計算出高音質音訊信號，避免一般為了獲得具有高頻率頻段的音訊而增加取樣頻率造成的高計算量。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100、700‧‧‧電子裝置
110、710‧‧‧處理器
120、720‧‧‧資料擷取裝置
130、730‧‧‧儲存裝置
30‧‧‧第一信號頻譜的能量分佈
40‧‧‧權重網格
50‧‧‧等響度曲線
60‧‧‧音訊信號
60a、60b‧‧‧高音質信號頻譜
60c‧‧‧高音質音訊信號
62‧‧‧高音質頭部相關轉換函數（Hi-Res HRTF）
740‧‧‧聲音擷取裝置
A1~A648‧‧‧權重網格區域
A’‧‧‧第一權重網格區域
a1~am‧‧‧第一信號頻譜各頻帶的能量
b1~bn‧‧‧延伸能量分佈
M、N‧‧‧頻率
R（，）‧‧‧第一音訊信號的方位
S202~S210、S602~S606‧‧‧步驟
‧‧‧水平角度
‧‧‧垂直角度
圖1繪示本發明一實施例的電子裝置的方塊圖。 圖2繪示本發明一實施例的獲取高音質音訊轉換資訊的方法的流程圖。 圖3A繪示本發明一實施例的預測延伸能量分佈的範例。 圖3B繪示本發明一實施例的預測延伸能量分佈的範例。 圖3C繪示本發明一實施例的預測延伸能量分佈的範例。 圖4繪示本發明一實施例的權重網格的範例。 圖5繪示本發明一實施例的等響度曲線的範例。 圖6繪示本發明一實施例的利用高音質音訊轉換資訊的方法的流程圖。 圖7繪示本發明一實施例的電子裝置的方塊圖。

Claims (10)

  1. 一種獲取高音質音訊轉換資訊的方法，適用於具有處理器的電子裝置，該方法包括下列步驟： 擷取一第一音訊信號； 轉換該第一音訊信號為頻域的一第一信號頻譜； 對該第一信號頻譜的能量分佈進行回歸分析，以根據該第一信號頻譜預測在頻域中的一延伸能量分佈； 利用頭部相關參數對該延伸能量分佈進行補償，以產生一延伸信號頻譜；以及 結合該第一信號頻譜與該延伸信號頻譜產生一第二信號頻譜，並轉換該第二信號頻譜至時域，以獲取具高音質音訊轉換資訊的一第二音訊信號。
  2. 如申請專利範圍第1項所述的獲取高音質音訊轉換資訊的方法，其中該第一音訊信號記錄有與頭部相關之脈衝響應資訊。
  3. 如申請專利範圍第1項所述的獲取高音質音訊轉換資訊的方法，其中結合該第一信號頻譜與該延伸信號頻譜產生該第二信號頻譜的步驟包括： 利用音響心理學模型的等響度曲線調整該第一信號頻譜以及該延伸信號頻譜中多個頻帶的能量值，以產生該第二信號頻譜。
  4. 如申請專利範圍第1項所述的獲取高音質音訊轉換資訊的方法，其中該第一音訊信號是利用配置於耳部的一聲音擷取裝置擷取對於音源的相關脈衝響應而得。
  5. 如申請專利範圍第1項所述的獲取高音質音訊轉換資訊的方法，其中對該第一信號頻譜的能量分佈進行回歸分析，以根據該第一信號頻譜預測在頻域中的該延伸能量分佈的步驟包括： 將該第一信號頻譜分成多個頻帶；以及 依據所述頻帶之間的能量關係，利用回歸分析預測該第一信號頻譜在頻域中的最高頻率以上的該延伸能量分佈。
  6. 如申請專利範圍第1項所述的獲取高音質音訊轉換資訊的方法，其中利用頭部相關參數對該延伸能量分佈進行補償，以產生該延伸信號頻譜的步驟包括： 在頻域重建出包含該延伸能量分佈的資訊且經頭部相關補償的該延伸信號頻譜。
  7. 如申請專利範圍第6項所述的獲取高音質音訊轉換資訊的方法，其中利用頭部相關參數對該延伸能量分佈進行補償，以產生該延伸信號頻譜的步驟包括： 依據該頭部相關參數決定一權重網格，其中該權重網格對應於該電子裝置的多個方位而分為多個權重網格區域，並記錄音源在不同的所述權重網格區域時的能量權重；以及 選擇對應於該第一音訊信號的方位的權重網格區域的能量權重對頻域中的該延伸能量分佈進行補償，以在頻域重建出包含該延伸能量分佈的資訊且經頭部相關補償的該延伸信號頻譜。
  8. 如申請專利範圍第1項所述的獲取高音質音訊轉換資訊的方法，更包括： 接收高音質音訊資料的一第三音訊信號，並轉換該第三音訊信號為頻域的一第三信號頻譜； 對該第三信號頻譜與該第二信號頻譜進行快速摺積（fast convolution）運算，以獲取一第四信號頻譜；以及 轉換該第四信號頻譜至時域，以獲取經頭部相關補償的高音質音訊的一第四音訊信號。
  9. 一種電子裝置，包括： 一資料擷取裝置，用以擷取音訊信號； 一儲存裝置，儲存一或多個指令；以及 一處理器，耦接至該資料擷取裝置以及該儲存裝置，該處理器經配置以執行所述指令以： 控制該資料擷取裝置擷取一第一音訊信號； 轉換該第一音訊信號為頻域的一第一信號頻譜； 對該第一信號頻譜的能量分佈進行回歸分析，以根據該第一信號頻譜預測在頻域中的一延伸能量分佈； 利用頭部相關參數對該延伸能量分佈進行補償，以產生一延伸信號頻譜；以及 結合該第一信號頻譜與該延伸信號頻譜產生一第二信號頻譜，並轉換該第二信號頻譜至時域，以獲取具高音質音訊轉換資訊的一第二音訊信號。
  10. 一種電腦可讀取記錄媒體，記錄程式，經由電子裝置載入以執行下列步驟： 擷取一第一音訊信號； 轉換該第一音訊信號為頻域的第一信號頻譜； 對該第一信號頻譜的能量分佈進行回歸分析，以根據該第一信號頻譜預測在頻域中的一延伸能量分佈； 利用頭部相關參數對該延伸能量分佈進行補償，以產生一延伸信號頻譜；以及 結合該第一信號頻譜與該延伸信號頻譜產生第二信號頻譜，並轉換該第二信號頻譜至時域，以獲取具高音質音訊轉換資訊的一第二音訊信號。
TW107136706A 2017-10-18 2018-10-18 獲取高音質音訊轉換資訊的方法、電子裝置及記錄媒體 TWI684368B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762574151P 2017-10-18 2017-10-18
US62/574,151 2017-10-18

Publications (2)

Publication Number Publication Date
TW201918082A true TW201918082A (zh) 2019-05-01
TWI684368B TWI684368B (zh) 2020-02-01

Family

ID=66096290

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107136706A TWI684368B (zh) 2017-10-18 2018-10-18 獲取高音質音訊轉換資訊的方法、電子裝置及記錄媒體

Country Status (3)

Country Link
US (1) US10681486B2 (zh)
CN (1) CN109688531B (zh)
TW (1) TWI684368B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128037B (zh) * 2021-04-08 2022-05-10 厦门大学 基于环线积分的涡旋波束螺旋谱分析方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005501278A (ja) * 2001-08-31 2005-01-13 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 音声信号の帯域幅拡張
KR100462615B1 (ko) * 2002-07-11 2004-12-20 삼성전자주식회사 적은 계산량으로 고주파수 성분을 복원하는 오디오 디코딩방법 및 장치
JP3879922B2 (ja) * 2002-09-12 2007-02-14 ソニー株式会社 信号処理システム、信号処理装置および方法、記録媒体、並びにプログラム
GB0419346D0 (en) * 2004-09-01 2004-09-29 Smyth Stephen M F Method and apparatus for improved headphone virtualisation
JP2006243043A (ja) * 2005-02-28 2006-09-14 Sanyo Electric Co Ltd 高域補間装置及び再生装置
US20070109977A1 (en) * 2005-11-14 2007-05-17 Udar Mittal Method and apparatus for improving listener differentiation of talkers during a conference call
US20080004866A1 (en) * 2006-06-30 2008-01-03 Nokia Corporation Artificial Bandwidth Expansion Method For A Multichannel Signal
KR100862662B1 (ko) * 2006-11-28 2008-10-10 삼성전자주식회사 프레임 오류 은닉 방법 및 장치, 이를 이용한 오디오 신호복호화 방법 및 장치
US8433582B2 (en) * 2008-02-01 2013-04-30 Motorola Mobility Llc Method and apparatus for estimating high-band energy in a bandwidth extension system
US20090201983A1 (en) * 2008-02-07 2009-08-13 Motorola, Inc. Method and apparatus for estimating high-band energy in a bandwidth extension system
CN103165136A (zh) * 2011-12-15 2013-06-19 杜比实验室特许公司 音频处理方法及音频处理设备
CN103413557B (zh) * 2013-07-08 2017-03-15 深圳Tcl新技术有限公司 语音信号带宽扩展的方法和装置
FR3008533A1 (fr) * 2013-07-12 2015-01-16 Orange Facteur d'echelle optimise pour l'extension de bande de frequence dans un decodeur de signaux audiofrequences
US9666202B2 (en) * 2013-09-10 2017-05-30 Huawei Technologies Co., Ltd. Adaptive bandwidth extension and apparatus for the same
CN104658547A (zh) * 2013-11-20 2015-05-27 大连佑嘉软件科技有限公司 一种人工语音带宽扩展的方法
FR3017484A1 (fr) * 2014-02-07 2015-08-14 Orange Extension amelioree de bande de frequence dans un decodeur de signaux audiofrequences
WO2015152663A2 (ko) * 2014-04-02 2015-10-08 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치
CN103888889B (zh) * 2014-04-07 2016-01-13 北京工业大学 一种基于球谐展开的多声道转换方法
US9584942B2 (en) * 2014-11-17 2017-02-28 Microsoft Technology Licensing, Llc Determination of head-related transfer function data from user vocalization perception
CN105120418B (zh) * 2015-07-17 2017-03-22 武汉大学 双声道3d音频生成装置及方法
US10582325B2 (en) * 2016-04-20 2020-03-03 Genelec Oy Active monitoring headphone and a method for regularizing the inversion of the same
WO2017182715A1 (en) * 2016-04-20 2017-10-26 Genelec Oy An active monitoring headphone and a method for calibrating the same
CN109565633B (zh) * 2016-04-20 2022-02-11 珍尼雷克公司 有源监听耳机及其双声道方法
CN106057220B (zh) * 2016-05-19 2020-01-03 Tcl集团股份有限公司 一种音频信号的高频扩展方法和音频播放器
US10225643B1 (en) * 2017-12-15 2019-03-05 Intel Corporation Secure audio acquisition system with limited frequency range for privacy

Also Published As

Publication number Publication date
US10681486B2 (en) 2020-06-09
US20190116447A1 (en) 2019-04-18
CN109688531A (zh) 2019-04-26
TWI684368B (zh) 2020-02-01
CN109688531B (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
KR102642275B1 (ko) 증강 현실 헤드폰 환경 렌더링
RU2661775C2 (ru) Передача сигнальной информации рендеринга аудио в битовом потоке
US10136240B2 (en) Processing audio data to compensate for partial hearing loss or an adverse hearing environment
CN106470379B (zh) 用于基于扬声器位置信息处理音频信号的方法和设备
US10555108B2 (en) Filter generation device, method for generating filter, and program
US9860641B2 (en) Audio output device specific audio processing
JPWO2005025270A1 (ja) 音像制御装置の設計ツールおよび音像制御装置
JP6613078B2 (ja) 信号処理装置及びその制御方法
KR102302683B1 (ko) 음향 출력 장치 및 그 신호 처리 방법
US11115743B2 (en) Signal processing device, signal processing method, and program
US11245999B2 (en) Stereophonic service apparatus, operation method of the device, and computer readable recording medium
JP6791001B2 (ja) 頭外定位フィルタ決定システム、頭外定位フィルタ決定装置、頭外定位決定方法、及びプログラム
TWI607653B (zh) 頻率響應的補償方法與電子裝置及其電腦可讀取媒體
JP2020506639A (ja) オーディオ信号処理方法及び装置
WO2016069809A1 (en) Impedance matching filters and equalization for headphone surround rendering
CN107017000B (zh) 用于编码和解码音频信号的装置、方法和计算机程序
JP2017046322A5 (zh)
KR102070360B1 (ko) 입체음향서비스장치의 구동방법, 그리고 컴퓨터판독가능기록매체
Durin et al. Acoustic analysis of the directional information captured by five different hearing aid styles
TWI684368B (zh) 獲取高音質音訊轉換資訊的方法、電子裝置及記錄媒體
JP7232546B2 (ja) 音響信号符号化方法、音響信号復号化方法、プログラム、符号化装置、音響システム、及び復号化装置
JP7447719B2 (ja) 頭外定位フィルタ生成システム、処理装置、頭外定位フィルタ生成方法、及びプログラム
US11044571B2 (en) Processing device, processing method, and program
WO2023085186A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP7435334B2 (ja) 頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラム