TW201251480A - Apparatus and method for determining a measure for a perceived level of reverberation, audio processor and method for processing a signal - Google Patents

Apparatus and method for determining a measure for a perceived level of reverberation, audio processor and method for processing a signal Download PDF

Info

Publication number
TW201251480A
TW201251480A TW101106353A TW101106353A TW201251480A TW 201251480 A TW201251480 A TW 201251480A TW 101106353 A TW101106353 A TW 101106353A TW 101106353 A TW101106353 A TW 101106353A TW 201251480 A TW201251480 A TW 201251480A
Authority
TW
Taiwan
Prior art keywords
signal
reverberation
loudness
signal component
direct
Prior art date
Application number
TW101106353A
Other languages
English (en)
Other versions
TWI544812B (zh
Inventor
Christian Uhle
Juergen Herre
Jouni Paulus
Oliver Hellmuth
Peter Prokein
Original Assignee
Fraunhofer Ges Forschung
Univ Friedrich Alexander Er
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Ges Forschung, Univ Friedrich Alexander Er filed Critical Fraunhofer Ges Forschung
Publication of TW201251480A publication Critical patent/TW201251480A/zh
Application granted granted Critical
Publication of TWI544812B publication Critical patent/TWI544812B/zh

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00Acoustics not otherwise provided for
    • G10K15/08Arrangements for producing a reverberation or echo sound
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S5/00Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S5/00Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00Acoustics not otherwise provided for
    • G10K15/08Arrangements for producing a reverberation or echo sound
    • G10K15/12Arrangements for producing a reverberation or echo sound using electronic time-delay networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07Synergistic effects of band splitting and sub-band processing

Description

201251480 六、發明說明: 【發明所屬技術領域】 本案係有關於音訊信號處理及特別地係有關於可用於 人工混響之音訊處理。 【先前技術】 決定對於混響(reverberation)感知位準的度量例如乃下 列應用用途所期望,於該處人工混響處理器係以自動化方 式操作,及需將其參數調整適應於輸入信號,使得該混響 之感知位準匹配目標值。須注意混響(reverberance) —詞雖 然暗示相同主旨,但顯然不具有共通為人所接受的定義, 因而使得混響(reverberance) —詞難以作為收聽測試及預測 景況之量化度量。 人工混響處理器經常係體現為線性非時變系統,及於 往返信號路徑操作,如第6圖所示,具有前置延遲d、混響 脈衝響應(RIR)、及用以控制直接對混響比(DRR)之定標因 數g。當體現為參數混響處理器時,具有多個參數特徵,例 如用以控制RIR的形狀及密度,及於一或多個頻帶中針對多 聲道處理器之RIR的聲道間同調(ICC)。 第6圖顯示於輸入600之直接信號x[k]輸入,及此一信號 係前傳至加法器602 ’用以將加信號加至得自加權器604的 混響信號成分r[k]輸出’該加法器在其第一輸入接收由混響 濾波器606所輸出之一信號,及在其第二輸入接收一增益因 數g。混響濾波器606可具有連結在混響濾波器606上游的一 選擇性延遲階段608 ’但因實際上混響濾波器606將包含其 201251480 本身的若干延遲,故於方塊608的延遲可含括於混響濾波器 606,使得第6圖之上分支可以只包含單一濾波器結合該延 遲及該混響,或只結合混響而無任何額外延遲。混響信號 成分係藉濾波器606輸出及此混響信號成分可藉乘法器6 0 6 回應於增益因數g修改來獲得處理混響信號成分r[k],其然 後組合於600輸入的直接信號成分來最終地於加法器602的 輸出獲得混合信號m[k]。注意「混響濾波器」一詞係指人 工混響的共通體現(或呈相當於FIR滤波的疊積,或呈使用 遞歸結構之體現,諸如回授延遲網路或全通濾、波器及回授 巢式濾波器網路,或其它遞歸濾波器),但標示產生混響信 號之通用處理。此等處理可能涉及非線性法或時變法諸如 信號幅值或延遲長度之低頻調變。於此等情況下,「混響濾 波器」一詞將不適用於線性非時變(LTI)系統之嚴格技術意 義。實際上,「混響濾波器」係指輸出混響信號之一項處理, 可能地包括從記憶體讀取計算的或錄音的混響信號之機 構。 此等參數就感知位準、距離、室内大小、特色及音質 等方面對所得音訊信號有影響。此外,混響之感知特性係 取決於輸入信號之時間及頻譜特性[1]。將注意力聚焦在一 項重要的感覺亦即響度上,可觀察到感知混響的響度係與 輸入信號之非平穩特性單調地相關。直覺而言,波封中有 大變化的音訊信號激勵高位準的混響,而允許其於較低位 準變成可聽聞。於典型景況中,於該處以分貝為單位表示 的長期DRR為正,在能波封增加之瞬時,直接信號幾乎可 201251480 完全遮罩混響信號。另一方面,每當信號結束時,先前激 勵的混響尾之間隙變明顯,超過由後遮罩斜率(至多200毫 秒)及聽覺系統積分時間(中等位準至多200毫秒)所決定的 最短時間。 為了例示說明此點,第4a圖顯示合成音訊信號及人工 混響信號之時間信號波封,及第4b圖顯示預測響度及使用 響度計算模型計算之部分響度函式。具有短的前置延遲50 毫秒之混響脈衝響應(RIR)係用於此處,刪除早期反射及以 指數衰減白雜訊合成混響之後期部分[2]。輸入信號已從諧 波寬帶信號及波封函式產生,因而感知有短衰減的一個事 件及有長衰減的第二事件。雖然長事件產生較多總混響 能,但不意外此係短聲音,感知為有較多混響。當較長事 件之衰減斜率遮罩混響時,短聲音在混響建立前已經消 失,因而開放一間隙,於該間隙感知混響。請注意此處使 用的遮罩定義包括完全遮罩及部分遮罩[3]。 雖然已經多次獲得此等觀察[4、5、6],但仍然值得強 調,原因在於係以定性地例示說明為何部分響度模型可應 用於本工作脈絡。實際上,已經指出混響的感知係來自於 聽覺系統中串流隔離處理[4、5、6],且受直接聲音造成混 響之部分遮罩的影響。 前文考慮激勵響度模型的使用。相關研究係由李氏等 人進行,及注意力焦點聚焦在當直接收聽時RIR之主觀衰減 率之預測[7],及回放位準對混響的效應[8]。使用以響度為 基礎之早期衰減時間的混響預測器係提示於[9]。與此項研 201251480 究工作相反地,此處提示之預測方法以部分響度之計算模 型(及以其簡化版本尋求低複雜度體現)處理直接信號及混 響信號,及藉此考慮輸入(直接)信號對感覺的影響。晚近’ Tsilfidis及Mourjopoulus [10]研究響度模型之用在單聲道錄 音中之後期混響的遏止。直接信號之估值係使用頻譜減法 而從混響輸入信號計算,利用計算聽覺遮罩模型控制混響 處理而導出混響遮罩指數。 多聲道合成器及其它裝置之一項特徵係加入混響來從 知覺觀察讓聲音變得更佳。另一方面,產生的混響為人工 信號,當以低位準加至信號時幾乎無法聽聞,但當以高位 準添加時導致不自然且不怡人聲音之最終混合信號。讓情 況變得更惡化者為如於第4a及4b圖脈絡中討論,混響之感 知位準具有強力信號相依性,因此某個混響濾波器對多個 信號中之一種信號可能效果極佳,但對不同種信號可能沒 有聽覺效果,或甚至更差地可能產生嚴重聽覺假影。 與混響有關的另一問題是混響信號係意圖用於實體或 個體諸如人類耳朵’產生具有直接信號成分及混響信號成 分之混合信號的最終目標是該實體感知此一混合信號或 「混響信號」為聲音良好或聲音自然。但聽覺知覺機構或 聲音如何由個體實際上感知之機制不僅就人類聽覺有作用 的頻f而5,同時也就在該等頻帶内部的信號處理而言乃 強力非線性。此外,已知人類的聲音知覺不太受聲壓位準 的控制,聲難準例如可藉數位樣本求平方算出,反而聲 音知覺係較受響度錢控制H㈣包括直接信號成 201251480 分及混響信號成分的混合信號,混響成分的響度感覺不僅 係取決於直接信號成分類別,同時也取決於直接信號成分 之位準或響度。 因此存在有用以決定於由一直接信號成分及一混響信 號成分所組成之一混合信號中對於混響感知位準的度量之 需求,來因應前述與實體之聽覺感知機構有關的問題。 【發明内容】 因此本發明之一目的係提供一種用以決定混響感知位 準的度量之裝置或方法或提供一種以改良特性處理音訊信 號之音訊處理器或方法。 此項目的係藉如申請專利範圍第1項之用以決定混響 感知位準的度量之裝置、如申請專利範圍第10項之決定混 響感知位準的度量之方法、如申請專利範圍第11項之音訊 處理器、如申請專利範圍第14項之處理音訊信號之方法、 或如申請專利範圍第15項之電腦程式而予達成。 本發明係植基於發現一信號中混響感知位準的度量係 藉響度模型處理器決定,該響度模型處理器包括知覺濾波 器階段用以使用知覺濾波器來濾波一直接信號成分、一混 響信號成分或一混合信號成分來模型化實體的聽覺感知機 構。基於知覺濾波信號,響度估計器使用該濾波直接信號 估計一第一響度度量,及使用該濾波混響信號或該濾波混 合信號估計一第二響度度量。然後,組合器組合該第一度 量與第二度量而獲得對於混響感知位準的度量。更明確言 之,組合兩個不同響度度量之方式較佳地係藉計算差值, 7 201251480 比較該直接信號或混合信號的感覺,提供混響感多強烈之 量化值或度量。 為了計算響度度量,可運用絕對響度度量,及更明確 言之’該直接信號、混合信號或混響信號之絕對響度度量。 另外,當於響度模型中,第一響度度量係藉使用直接信號 作為刺激及混響信號作為雜訊決定,及第二響度度量係藉 使用混響信號作為刺激及直接信號作為雜訊計算時也可計 算部分響度。更明確言之,藉由於組合器内組合此二度量, 獲得混響感知位準的有用的度量。發明人發現此種有用的 度罝無法藉產生單一響度度量而單獨決定,舉例言之,藉 單獨使用直接仏號或單獨使用混合信號或單獨使用混響信 號。取而代之,由於人類聽覺的交互相依性,組合從此三 信號差異_衍的度量’可以高度準確度決定或模型化信 號之混響的感知位準。 較佳地響度模型處理器提供時/頻變換,及認可耳朵 傳送功能連同如聽覺模型所模型化的實際上出現在人類聽 覺的激勵樣式。 、认™ 丫對於混響感知位準的度量係前傳 ==,其實際上以有用的標度諸如桑尼(w)標度提供 混響的感知位準。此一預測器較佳係藉收聽測試資料訓 練,較佳祕制器之_衫數包括-常數項及-定標 因數。常數魏㈣取㈣•❹的混輯波器特性, ==響纽個實,中,針對錢㈣所周知混 響渡波器可被給定的特性參數%。用在人工混響器。但即便 201251480 此一特性為未知,例如當混響信號成分並非分開可得,反 而在本發明裝置處理前已經從混合信號分開時,可推導出 該常數項之估計。 簡單圖式說明 隨後將就附圖描述本發明之較佳實施例,附圖中: 第1圖為用以決定混響感知位準的度量之裝置或方法 之方塊圖; 第2a圖為響度模型處理器之較佳實施例之說明圖; 第2 b圖例示說明響度模型處理器之又一較佳實施例; 第2c圖例示說明計算對於混響感知位準的度量之四種 較佳模式; 第3圖例示說明響度模型處理器之又一較佳體現; 第4a、b圖例示說明時間信號波封及相對應響度及部分 響度之實例; 第5a、b圖例示說明用以訓練預測器之實驗資料之資 訊; 第6圖例示說明人工混響處理器之方塊圖; 第7a、b圖例示說明依據本發明之實施例指示評估量表 之三表; 第8圖例示說明體現來使用混響感知位準的度量用於 人工混響用途之音訊信號處理器; 第9圖例示說明仰賴時間平均混響的感知位準之預測 器之較佳體現;及 第10圖例示說明用於計算特定響度之較佳實施例,得 201251480 自1997年M00re Glasberg、Baer公開文獻之方程式。 混響的感知位準取決於輸入音訊信號及脈衝響應二 者。本發明之實施例係針對當晚期混響出現在數位音訊效 應時,量化此項觀察及基於直接信號及混響信號的分開信 號路徑而預測晚期混響的感知位準。發展出該問題之解決 之道及隨後藉考慮混響時間對預測結果的影響加以延伸。 如此導致有二輸入變數之線性迴歸模型,其可以高準確度 預測感知位準,如從收聽測試導出之實驗資料顯示。具有 不同困難度及計算複雜度之此種模型之變化例係就其準確 度作比較。應用用途包括控制數位音訊效應用於音訊信號 之自動混合。 當直接信號及混響脈衝響應(RIR)為可分開取得時,本 發明之實施例不僅可用於預測語音及樂音的混響的感知位 準。於其它實施例中’其中出現混響信號,也適用本發明。 但於此種情況下’將可含括直接/周圍分離器或直接/混響分 離器來從混合信號中分離直接信號成分及混響信號成分。 然後此種音訊處理器可用來改變此一信號中的直接/混響 比而產生較佳聲音的混響信號或較佳聲音的混合信號。 第1圖例示說明決定於一混合信號中對於混響感知位 準的度量之裝置,包含一直接信號成分或乾信號成分100及 —混響信號成分102。直接信號成分100及混響信號成分102 係輸入響度模型處理器104。響度模型處理器係經組配來接 收直接信號成分1〇〇及混響信號成分102 ’及如第2a圖之例 10 201251480 示說明,額外包含知覺濾波器階段104a及隨後連結的響度 計算器104b。響度模型處理器於其輸出產生第一響度度量 106及第二響度度量108。兩個響度度量係輸入組合器110, 用以組合第一響度度量106及第二響度度量108來最終獲得 混響感知位準的度量112。依據該體現,感知位準的度量112 可輸入預測器114用以基於針對不同信號訊框之至少兩個 感知位準的度量之平均值而預測混響的感知位準,如後文 將就第9圖之脈絡詳細說明。但第1圖之預測器114為選擇性 且實際上將感知位準的度量變換成某個數值範圍或單位範 圍,諸如桑尼(Sone)單位範圍,可用來給定響度有關之量化 數值。但非藉預測器114處理的感知位準的度量112之其它 用途也可用在例如第8圖之音訊處理器,該音訊處理器並非 必要仰賴由預測器114之輸出值,反而也可以直接形式或較 佳地,以一種流暢形式處理感知位準的度量112,於該處隨 著時間之經過流暢化為較佳,以便沒有混響信號之強力變 化中的位準校正,或容後詳述,第6圖例示說明或第8圖例 示說明增益因數g的強力變化中之位準校正。 更明確言之,知覺濾波器階段係經組配來濾波直接信 號成分、混響信號成分或混合信號成分,其中該知覺濾波 器階段係經組配來模型化一個實體諸如人類的聽覺感知機 構而獲得一渡波直接信號、一濾波混響信號或一渡波混合 信號。依據該體現,該知覺濾波器階段可包含並列操作的 兩個濾波器,或可包含一儲存裝置及一單一濾波器,原因 在於一個且同一個濾波器實際上可用於濾波三個信號亦即 11 201251480 混響信號、混合信號及直接信號中之各者。但於此脈絡中, 發現雖然第2 a圖例示說明η個濾波器模型化該聽覺感知機 構,但實際上兩個濾波器即足,或單一濾波器濾波由混響 信號成分、混合信號成分及直接信號成分所組成之組群中 之兩個信號。 響度計算器1 〇 4 b或響度估計器係經組配來用以使用該 濾波直接信號估計第一響度相關之度量,及用以使用該濾 波混響信號或濾波混合信號估計第二響度之度量,於該處 該混合信號係從該直接信號成分與混響信號成分之疊置導 出。 第2 c圖例示說明計算對於混響感知位準的度量之四種 較佳模式。實施例1仰賴部分響度,於該處直接信號成分X 及混響信號成分r二者係用於響度模型處理器,但於該處為 了決定第一響度度量EST1,混響信號係用作為刺激及直接 信號係用作為雜訊。為了決定第二響度度量EST2,情況改 變,直接信號成分係用作為刺激及混響信號成分係用作為 雜訊。然後,由組合器所產生的校正感知位準的度量乃第 一響度度量EST1與第二響度度量EST2間之差值。 但額外存在有其它計算上有效實施例,指示於第2c圖 之線2、3、及4。此等更加運算有效的度量係仰賴計算包含 混合信號m、直接信號X、及混響信號η之三個信號的總響 度。取決於第2c圖末攔指示的由組合器所執行之要求計 算,第一響度度量EST1為混合信號或混響信號的總響度, 及第二響度度量EST2為直接信號成分X或混合信號成分m 12 201251480 之總響度’於該處實際組合係如第之例示說明。 於又一實施例中,響度模型處理器104係於頻域操作, 如參考第3圖詳加說明。於此種情況下,響度模型處理写及 ㈣響度計算器獅針對各頻帶提供第—度量及第二度 量。於全部η個頻帶之此等第—度量隨後針對第—分支於加 法器104e及針對第二分支於加法器刚你加或組合來最終 地獲付針對寬帶㈣㈣—度量及針對寬帶信號的第二度 量。 第3圖例示說明已經就第【、2a、%、2c圖於某些構面 討淪之響度模型處理器之較佳實施例。更明確言之,知覺 慮波器階段10 4 a包括針對各個分支之時頻變換器3 〇 〇,於該 處於第3圖之實施例中,x[k]指示刺激及n[k]雜訊。時/頻變 換信號係前傳至耳傳送函式方塊3〇2(請注意另外,耳傳送 函式可在時頻變換器之前運算,獲得相似的結果,但有較 高運算負荷),及此方塊3〇2之輸出係輸入運算激勵樣式方 塊304 ’接著為時間積分方塊306。然後於方塊308,計算於 本實施例之特定響度,於該處方塊308係相對應於第2a圖之 響度計算器方塊104b。接著執行於方塊310之頻率積分,於 該處方塊31 〇相對應於已經如第2b圖之104c及104d描述之 加法器。須注意方塊31 〇產生針對刺激及雜訊第一集合的第 一度量,及針對刺激及雜訊第二集合的第二度量。更明確 言之’考慮第2b圖,用以計算第一度量之刺激為混響信號 及雜訊為直接信號;而用於計算第二度量,情況改變’刺 激為直接信號成分及雜訊為混響信號成分。因此為了產生 13 201251480 二不同響度度量,第3圖例示說明之處理程序執行兩次。作 唯—的改變出現在方塊308,308有不同操作如後文於第1〇 圖之脈絡進一步討論,因此方塊300至306例示說明之步顿 只需執行一次,而時間積分方塊306的結果可經儲存來計算 針對第2c圖中實施例1之第一估計響度及第二估計響度。項 >主意針對第3c圖之其它實施例2、3、4,方塊308係以針_ 各分支的個別方塊「計算總響度」置換,於該處於本實施 例中’無論哪個信號被考慮為刺激或雜訊,該方塊皆無異。 接著討論第3圖例示說明響度模型之進一步細節。 第3圖中響度模型的體現係遵照[11、12]之體現而有修 改’容後詳述。預測之訓練及有效化係運用得自[13]所述收 聽測試之資料及容後詳述。響度模型之施加用以預測晚期 混響的感知位準也容後詳述。實驗結果接在其後。 本章節描述部分響度模型之體現,收聽測試資料係用 作為混響的感知位準之計算預測的實況調查,及基於該部 分響度模型之所提示之預測方法。 響度模型計算當以遮罩信號n[k]同時呈示時,一信號 x[k]之部分響度Nx,n[k] » ^x,n[k] = f(x[k],n[k])· ⑴ 雖然早期模型係處理於穩定背景雜訊下的響度感知’ 但有某些工作係研究於共同調變隨機雜訊背景[14]、複合環 境聲音[12]、及樂音信號[15]中的響度感知。第4b圖例示說 明以此處使用的響度模型計算專第4a圖所示實例信號之各 成分的總響度及部分響度。 14 201251480 本研究工作使用的模型係類似[11、12]中的模型,該模 型係由Fletcher、Munson、Stevens、及Zwicker之早期模型 繪製,有若干修改容後詳述。響度模型之方塊圖係顯示於 第3圖。輸入信號係使用短時間富利葉變換(s T F τ)而於頻域 處理。於[12]中’ 6個不等長度的離散富利葉變換(DFT)係用 來在全部頻率’獲得針對頻率解析度及時間解析度與人類 聽覺系統的良好匹配。於本工作中,為了運算效率只使用 一個DFT長度’具有於48千赫茲取樣率、50%重疊、及韓氏 (Harm)窗函式的21毫秒訊框長度。通過外耳及中耳的傳送 係以固定濾波器模擬。激勵函式係使用位準相依性激勵樣 式,針對在相等矩形帶寬(ERB)上隔開的40個聽覺濾波帶計 算。除了因STFT之開窗所致的時間積分外,遞歸積分係以 25毫秒之時間常數體現,只有在激勵信號衰減時少作動。 特定部分響度亦即於各個聽覺濾波帶激起的部分響度 係依據[11]的方程式(17)至(20),從得自關注信號(刺激)及 關注雜訊的激勵位準求出,例示說明於第1〇圖。此等方程 式涵蓋四個情況,於該處信號係高於雜訊中的聽覺臨界值 或否,及於該處混合信號之激勵係小於1〇〇分貝或否。若無 任何關注信號饋入該模式亦即n[k]=〇,則結果係等於刺激 x[k]的總響度队〇]。 更明確言之,第1〇圖例示說明公開文獻「臨界值、響 度及部分響度之預測模型」,B.C.J. M⑽re、B.R. Glasberg、 T. Baer,J. Audio Eng. Soc.第45卷第4期[997年4月之方程式 17、18、19、20。本參考文獻描述連同背景聲音一起呈示 15 201251480 的信號情況。雖然背景可以是任一型別聲音,但於本參考 文獻中稱作為「雜訊」來區別背景與任何欲判定其響度的 信號。雜訊的存在減低信號的響度,此效應稱作為部分遮 罩。當信號的響度位準從臨界值升高至高於臨界值20分貝 至30分貝時,信號的響度極為快速增高。該文章内,假設 呈示於雜訊的信號之部分響度可藉加總相對於頻率信號之 部分特異性響度(基於ERB標度)計算。藉考慮四個有限情況 推衍出用以計算部分特異性響度之方程式。ES|G表示藉信號 激發的激勵,及 Enoise 表示藉雜訊激發的激勵。假設 Esig〉Enoise及Esig+Enoise<1〇IQ。總特異性響度Ν’τοτ定義如 下: yVT0T=C{[(£SIG + £N0ISE)G + Ar-Au} 假設收聽者可在一給定中心頻率區隔該信號之特異性 響度與雜訊之特異性響度間之一特異性響度,但區隔方式 係有利於總特異性響度。
Nmy = Nsig + A^noise . 此項假設為一致性,原因在於大部分測量部分遮罩的 實驗中,收聽者首先單獨聽到雜訊,及然後聽到雜訊加信 號。假設高於臨界值,單獨雜訊之特異性響度為 ^NOISE = C[(£N01SEG + Ar-Au]· 因此,若信號之特異性響度若單純藉從總特異性響度 所得雜訊的特異性響度推衍,則結果將為 = C{ [(Esig + EmiSE )G + - Λα} - C[(EmiSEG + A)u - ] 實際上,特異性響度在信號與雜訊間區隔之方式顯然 16 201251480 隨信號與雜訊間之相對激勵而改變。 考慮四個情況,指示特異性響度係於不同信號位準分 配。設Ethrn表不當正弦信號係在背景雜訊之經遮罩臨界值 時,藉正弦信號激起的尖峰激勵。當ES1C^^、遠低於ETHRN時, 全部特異性響度係分配給該雜訊,及該信號之部分特異性 響度趨近於零。第二’當Enoise係遠低於Ethrq時’該部分 特異性響度係趨近於當一信號為無聲時的值。第三,當信 號係在其經遮罩臨界值時,具有激勵ETHRN,假設部分特異 性響度係等於針對一信號在絕對臨界值之值。最後,當信 號係取中在窄帶時,雜訊係遠高於其經遮罩的臨界值,信 號響度趨近於其未經遮罩值。因此,該信號之部分特異性 響度也趨近於其未經遮罩值。 考慮此等各種邊界狀況之暗示。於經遮罩的臨界值, 特異性響度係等於當一信號為無聲時的臨界值。此一特異 性響度係比從如上方程式預測的特異性響度更低,推定原 因在於該信號之若干特異性響度係分配給該雜訊。為了獲 得該信號之正確特異性響度,假設分配給該雜訊之特異性 響度係以因數B增加,於該處 β _ [(^THRN+^NOISE)G + A] ~~ (五·THRqG + A) — 五匪EG + A)a-A« 將此因數施加至如上N ’ s丨G之方程式的第二項獲得 ^s,G· = C{ [(ESIC + EmG + AY - } - C{ [(ETHRN + £N0ISE)G + A]a - (£THRQG + A)fl}. 假設該信號係在經遮罩的臨界值時,其尖峰激勵Ethrn 係等於KEnoise+Ethrn '於該處K為針對於較南遮罩器位準 17 201251480 所要求的聽覺濾波器輸出的信號對雜訊比。使用凹口雜訊 之遮罩實驗所得κ的晚近估值,提示於極低頻率之κ顯著增 加’變成大於一單位。於參考文獻中,K值係以頻率之函式 估計。該K值從低頻之高位準減至於高頻的常數低位準。不 幸地’低於100赫茲之中心頻率並無K值,使得從50赫茲至 100赫茲之值取代如上方程式中的ethrn導致: ^sio = [(ESICl + £n〇|S1:)C + -4]11 - Au} - C( + K) + ETim)G + Λ]'1 - (£„„^0 + A)a) 當ESIG=ETHRN時,此一方程式載明於無聲絕對臨界值時 一信號之尖峰特異性響度。 當信號係遠高於其經遮罩的臨界值時,換言之,當 ESIG»ETHRN時’信號之特異性響度趨近於當不存在有背景 雜訊時的特異性響度值。如此表示分配給該雜訊的特異性 響度變極小。為了因應此點,如上方程式係藉導入額外項 而修改,該項係取決於ETHRN/ES丨G之比,此項隨E減低,ESKJ 係增加冋於經遮罩的臨界值相對應值。如此如上方程式變 成第10圖之方程式17。 此乃當ES|G>ETHRN及eSiG+eNOiSE$i〇丨0時針對n,sig之最 終方程式。末項的指數0.3係經實驗選擇,因而呈信號對雜 訊比之函數’獲得雜訊中調性響度之資料的良好匹配。 IW後考慮下述情況於该處Esig<EthRN。於限制情況下 ESIG係恰低於ethrn,特異性響度將趨近於第1〇圖中方程式 17給定值。當ESIG降至遠低於值Ethrw^,特異性響度快速 地變極小。如此係於第1〇圖藉方程式18達成。括號中的第 一項決定當ESIG減至小於ETHRt^f ,特異性響度減低之比 18 201251480 率。當ESig<ETHRn時’如此描述針對無聲信號之特異性響度 與激勵間之關係,但方程式18中的ethrn已經被取代。括號 中的第一項確保當ESIG趨近於ETHRN時,特異性響度趨近於 藉第10圖之方程式Π所界定之值。 至目前為止所述部分響度之方程式也適用於 Esig+Enoise<101()時。同理也適用於第10圖之方程式(17)之導 數,如上對第10圖方程式19之摘述,針對的情況可導出 Enoise^Ethrn 及 Es丨g+Eno丨se>10I()時任何方程式。 C2=C/(1.04xl06)0·5。同理,藉應用如對第10圖之方程式(18) 之導數所使用的相同論理’如對第10圖方程式20之摘述, 針對Esig<EthRN及EsiG+En〇丨SE>l〇m的情況可導出方程式。 注意以下各點,此種先前技術模型係針對本發明施 用,於第一回合中,SIG係相對應於例如直接信號作為「刺 激」,及Noise係相對應於例如混響信號或混合信號作為「雜 訊」。第二回合中,如第2c圖中第一實施例脈絡之討論,然 後,SIG係相對應於混響信號作為「刺激」,及「雜訊」係 相對應於直接信號。然後,獲得兩個響度度量,然後藉組 合器組合,較佳藉形成差值組合。 為了評比所述響度模型用於預測晚期混響的感知位準 工作之適合性,以從收聽者反應所產生的實況調查為佳。 為了達成該項目的,得自有若干收聽測試[13]研究的資料用 於本案,簡短摘述如下。由多個圖形用戶介面(GUI)所組成 的收聽測試篩選哪個係呈示不同直接信號具有不同人工混 響狀況的混合信號。要求收聽者將感知的混響量以0分至 19 201251480 100分之分數評級。此外,^购定錢係丨現在1G分及9〇 分。要求收聽者將感知的混響量以〇分至1〇〇分之分數評 級。此外,兩個錫定信號係出現在10分及90分。該等錯定 k唬係攸相同直接信號具有不同人工混響狀況產生。 用來產生測試項的直接信號為長度各約4秒的語音個 別樂器、及不同風格的音樂之單聲錄音。使用大部分源自 於無回聲錄音項目,但也有含小量原先混響的商業錄音。
RiR表示晚期混響且係使用指數衰減的白雜訊以頻率 相依性衰減率產生。衰減率係經選擇使得混響時間從低頻 減至高頻,始於基本混響時間Τ6〇。本研究工作中早期反射 忽略不計。混響信號r[k]及直接信號x[k]經定標及相加,使 得依據ITU-R BS.1771 [16]之其平均響度度量比匹配期望 DRR,且使得全部測試信號混合物具有相等長期響度。測 試的全部參與者皆係在音訊領域工作且有主觀收聽測試經 驗0 用於預測方法之訓練及驗證/測試的實況調查資料係 得自兩個收聽測試,分別標示為A及B。資料集合A包含14 位收聽者對54個信號之評級。收聽者重覆測試一次,平均 評級係得自各項全部28個評級。54個信號係藉組合6個不同 直接信號及9個立體聲混響狀況產生,r6Qe {1,1·6,2·4}秒及 D/W?e{3,7.5,12}分貝,及無前置延遲。 B的資料係得自14位收聽者對60個信號之評級。信號係 藉使用15個直接信號及36個立體聲混響狀況產生。混響狀 況取樣四個參數,亦即T6〇、DRR、前置延遲、及1CC。針 20 201251480 對各個直接信號,選擇4個幻11使得兩者不含前置延遲,及 兩者有50毫秒的短前置延遲,及兩者為單聲及兩者為立體 聲。 後文將討論第1圖中組合器110之較佳實施例的額外特 徵。 預測方法之基本輸入特徵係依據方程式(2),從混響信 號r[k]之部分響度Nr,x[k](以直接信號x[k]為干擾因素)與x[k] 之響度Nx,r[k](此處r[k]為干擾因素)間之差計算。 辑HW-Ά] (2) 方程式(2)背後之論理為差△Nrjk]乃比較直接信號感 覺’混響感覺多強烈的度量。取該差值也發現使得預測結 果相對於回放位準為約略不變。回放位準對所研究的感覺 有影響[17 ' 8] ’但影響程度比部分響度回放程度增加 而增加所反映的影響更微小。典型地樂音錄音比較於12分 貝至20分貝的較低位準,於中至高位準(始於約75-80分貝 SpL)更為混響。此種效應於DRR為下的情況下特別明顯, 「對於幾乎全部錄音音樂」都有效[18],但並非全部情況皆 如此’對交響樂而言「收聽者遠超過臨界距離」[6]。 混響的感知位準隨回放位準的減低而減低可由下述事 實最佳地解釋,混響之動態範圍係小於直接聲音之動態範 圍(或混響之時頻表示型態更緊密,而直接聲音之時頻表示 型態更稀疏[19])。於此種情況下,混響信號比直接聲音更 可能降至聽覺的臨界值以下。 雖然方程式(2)描述兩個響度度量Nr,x[k]與Nx,r[k]間之 21 201251480 差作為組合操作,但也可進行其它組合,諸㈣法、除法 或甚至加法'總而言之’由兩個響度度量指示的兩個替代 之道組合來獲得^㈣代之道對結果的影響即足。 顯示差值導致該模_最佳值,亦即該模型的結果; 收聽測試至良好程度,故差值為較佳組合方式。 隨後描述第1@1例示說明預測器114之細㈤,於該汽 等細節係指較佳實施例。 Λ < a 後文描述之預測方法為線性,及使用最小平方擬合用 於模型係數的運算。_器之簡單結構係優異地用在^述 情況,用以訓練及測試預測器的資料集合的大小有限,杏 使用有較大自由度例如神經網路之迴歸方法時,可能導^ 模型的過度擬合。基準線預測器尾係依據方程式(3)^線性 迴歸導出,具有係數ai,κ為訊框中的信號長度, λ 1 κ (3)
Rb = f/〇 +α, —ΣΔΛ^Γ x [k]. Λ * = | 模型只有一個獨立變數,亦即ΔΝ^Ο]之平均。為了追 蹤改變及可體現即時處理,使用洩漏(leaky)積分器可求取 平均值計算之近似值。使用資料集合A用於训練所導出的模 型參數為3〇=48.2及31 = 14.0,於該處a〇等於全部收聽者及項 目之平均評級。 第5a圖闡釋資料集合A之預測感覺。可知預測係與平均 收聽者評級有中等關係,相關性係數為0.71。請注意迴歸 係數的選擇係不影響此相關性。如下圖所示,針對由相同 直接信號所產生的各個混合信號’分數具有取中於接近對 22 201251480 角線的特性形狀。此形狀指示雖然基準線預測器免可預測R 至某種程度,不反映T60對評級的影響。資料點之視覺檢視 提示對Τ60有線性相依性。若Τ60值為已知,如同控制音訊效 果的情況,容易結合入線性迴歸模型來導出增強的預測 夂丨士 卜Λ· (4) 從資料集合A導出的模型參數為a0=48.2,a, = 12.9, a=10.2。針對各個資料集合所得結果分開顯示於第5b圖。 結果之評估係以進一步細節描述於下節。 另外,雖然可進行對於更多或更少個方塊的平均,只 要至少兩個方塊平均即可,但因線性方程式理論,當高達 某個訊框的整塊音樂之平均時可得最佳結果。但針對即時 應用,取決於實際應用,較佳減少平均訊框數目。 第9圖額外地例示說明由a〇及a2_T60定義的常數項。第二 項arT60已經擇定來位在下述位置將此方程式不僅施加至 單一混響器,亦即施加至其中第6圖之濾波器600不變的情 況。此方程式當然為常數項,因此取決於實際使用的第6圖 之混響濾波器606提供彈性來對具有其它T 6 〇值的其它混響 濾波器使用恰相同方程式。如技藝界所已知,T60為描述某 個混響濾波器之參數,特別表示混響能已經從初始最大混 響能減少60分貝。典型地,混響曲線係隨時間而減少,因 此Τ60指示時間週期,其中藉信號激勵產生的混響能已經減 少60分貝。經由以表示類似資訊之參數(RIR之長度的參數) 例如T3Q置換T6Q,獲得以預測準確度表示的類似結果。 23 201251480 後文中,模型係使用平均收聽者評級與預測感覺間之 相關性係數r、平均絕對誤差(MAE)、及均方根誤差_阳 6平估。實驗係以兩倍交叉有效化進行,亦㈣測器係使用 資料集合㈣練及使时料集合B測試,實驗係使用資料集 合B訓練及使用資料集合八測試重複。針對_丨練及測試分 開地對兩回合所得評估量表求平均。 針對預測模型Μ⑼果顯示於表丨。預測^獲得準 確結果’ RMSE為Η)·6分。每項的個別枚聽者評級之標準差 平均係給定職平均(每項的全㈣聽者之評級的平均值) 之離散度量’針對資料集合八為巧=13_4,及針對資料集合Β 為% = 13.6。與RMSE比較指4為收聽測試中的平均收聽 者至少同等準媒。 資料集合之預測準確度略有差異,例如針料,μαε 及RMSE二者使用資料集合Α測試時比平均值低一分(如表 中列舉)’及使用資料集合B測試時比平均高一分。用於訓 練及測試之評估量表為可減美,指示避免制器的過度 擬合。 為了協助此種預測模型的經濟體現,如下實驗研究如 何使用響度舰,有較少計算_度,料_結果的準 確度。貫驗係聚焦在以總響度估值替代部分響度計算,及 聚焦在激勵樣式之簡化體現。 替代使用部分響度差紙,拥,檢驗總響度估值的三個 差值’具有直接信號之響度Nx[k]、混響信號之響度_]、 及混合信號之響度NJk],如方裎式(5) (7)所示。 24 201251480 = 义 w (5) 方私式(5)係植基於假設混響信號的感知位準可表示為 藉添加混響至乾信號所造成的總響度差(增加)。 遵照如同對方程式(2)之部分響度差的類似論理後,使 用此響彳5號及混合信號或直接信號分別的總響度差之塑戶 特徵係定義於方程式(6)及(7)。預測感覺之度量的導算方式 係如同當分開收聽混響信號之響度的導算,相對於從混人 信號或直接信號推衍的回放位準,具有扣除項來模型化部 分遮罩及用於標準化。 ° 碼—,"Μ=Λ^μ]-Ά] ⑹ ^r-,[k] = Nr[k]-Nx[k] ⑺ 表2顯示所得結果,具有基於總響度之特徵,及顯示實 際上其中二者ANm.x [k]及紙.x [k]獲得具有與&接近相同準 確度之預測。但如表2所示,即便ΔΝ「η[]ί]提供結果之用途。 最後,於額外實驗中’研究展開函式體現之影響。此 點對許多應用情況特财意義,職在於使用位^依性 激勵樣式要求高運算複雜度的體現^實驗採用針對々的相 似處理’但㈣-個響賴型沒有展開,及—錢产模= 有位準不變㈣函式,導致表2所示結果。展_^似乎 可忽略。 因此指示第2c圖之實施例2、3、4的方程式⑺、⑹及⑺ 例示說明針對信號成分或信號的不同組合,即使無部分響 度但有總響度,也谓得混合信號巾混響感知仇準的良好 25 201251480 接著於第8圖之脈絡討論決定混響感知位準的度量之 較佳應用。第8圖例示說明用以從於輸入800所輸入的直接 信號成分產生混響信號之音訊處理器。直接或乾信號成分 係輸入混響器801,可以類似第6圖之混響器606。輸入800 之乾信號成分額外地輸入裝置802用以決定感知響度之度 量’可如第1圖、第2a及2c、3、9及10圖脈絡之討論般體現。 裝置8 02之輸出為針對混合信號中混響的感知位準之度量 R ’該度量R輸入控制器803。控制器803於又一輸入接收對 於混響感知位準的度量之一目標值,及由此目標值及實際 值R,再度求出於輸出804之值。 此一增益值係輸入處置器805,該處置器805係經組配 來於本實施例中處置由混響器8〇1所輸出的混響信號成分 806 ^如第8圖之例示說明,裝置802額外地接收混響信號成 分806,如第1圖之脈絡討論,及其它圖式描述用以決定感 知位準的度量之裝置。處置器805之輸出係輸入加法器 807 ’於該處於第8圖實施例中,處置器之輸出包括經處置 之混響成分’加法器8〇7之輸出指示混合信號8〇8,具有如 由目標值所決定的感知混響。控制器8〇3可經組配來體現技 藝界界定用於回授控制的控制法則中之任一者,於該處目 標值為設定值,及裝置產生的值尺為實際值,及增益8〇4係 經選擇使得實際值R趨近於輸入控制器8〇3的目標值。雖然 第8圖例不說明混響信號係藉處置器805中的增益處置,處 置器805特別包括乘法器或加權器,但其它體現亦可行。例 如一種其它體現為並非混響信號成分8〇6,反而乾信號成分 26 201251480 係藉處置器處置,如選擇性線809指示。於此種情況下,如 由混響器8 01輸出的未經處置之混響信號成分將輸入加法 器807 ’如選擇性線81〇例示說明。當然’即使乾信號成分 及混響信號成分之處置也可執行來於由加法器807所輸出 的混合信號808中導入或設定混響感知位準的某個度量。一 個其它體現例如為混響時間T60經處置。 本發明提供混響及特別使用可變計算複雜度之響度模 型’語音及樂音中的晚期混響的感知位準之簡單且穩健的 預測。預測模組已經使用從三個收聽測試所推衍的主觀資 料訓練及評估。至於起點,當第6圖之RIR 606之Τ60為已知 時,使用部分響度模型已經導致具有高準確度之預測模 型。當考慮部分響度模型原先尚未發展出如第10圖脈絡之 討論使用直接聲音及混響聲音之刺激時,此項結果從知覺 觀點也令人關注。隨後對預測方法之輸入特徵計算上的修 改導致一串列簡化模型,該等模型對現有資料集合也達成 可相娘美的效能。此等修改包括使用總響度模型及簡化展 開函式。本發明之實施例也適用於更為多樣化的RIR,包括 早期反映及更大的前置延遲。本發明也可用於決定及控制 其它型別加法或混響音訊效應之感知響度貢獻。 雖然已經以裝置脈絡描述若干構面,但顯然此等構面 也表示相對應方法的描述,於該處一方塊或一裝置係相對 應於一方法步驟或—方法步驟之特徵。同理,以方法步驟 之脈絡描述的構面也表示相對應裝置之相對應方塊或項或 特徵結構之描述。 27 201251480 取決於某些體現要求,本發明之實施例可於硬體或於 軟體體現。體現可使用數位儲存媒體執行,例如軟碟、 DVD、CD、ROM、PROM、EPROM、EEPROM或快閃記憶 體’具有可電子讀取控制信號儲存於其上,該等信號與(或 可與)可程式規劃電腦系統協作,因而執行個別方法。因而 該數位儲存媒體可以是電腦可讀取。 依據本發明之若干實施例包含具有可電子式讀取控制 信號的資料載體’該等控制信號可與可程式規劃電腦系統 協作’因而執行個別方法。 依據本發明之若干實施例包含具有可電子式讀取的控 制信號之非過渡或具體有形資料載體,該等控制信號係可 與可程式規劃電腦系統協作,因而執行此處所述方法中之 一者。 大致言之,本發明之實施例可體現為具有程式代碼的 電腦程式產品,該程式代碼係當電腦程式產品在電腦上跑 時可執行該等方法巾之-者。該程式代碼例如可儲存在機 器可讀取載體上。 其它實施例包含儲存在機器可讀取載體上的用以執行 此處所述方法中之一者的電腦程式。 換言之,因此,本發明方法之實施例為一種具有一程 式代碼之電腦程式,細式代碼係#該電雜式於—電腦 上跑時用以執行此處所述方法中之一者。 因此,本發明方法之又一實施例為資料載體(或數位儲 存媒體,或電腦可魏媒體)包含用以執行此處所迷方法中 28 201251480 之一者的電腦程式記錄於其上。 口此’本發明方法之又—實施例絲利以執行此處 所述方法中之—者的電腦程式的資料串流或信號序列。資 枓•流或信號序列例如可經組配來透過資料通訊連結例 如透過網際網路傳送。 又—實施例包含處理構件例如電腦或可程式規劃邏輯 裝置’其係經組配來或適用於執行此處所述方法中之一者。 又—實施例包含-電腦,其上安裝有μ執行此處所 述方法中之一者的電腦程式。 於若干貫此例中,可程式規劃邏輯裝置(例如可現場程 式規劃_列)可絲執行此處描述之方法的部分或全部 功能。於若干實施例中,可現場程式規劃閘陣列可與微處 理器協作來執行此處所述方法中之一者。大致上該等方法 較佳係藉任何硬體裝置執行。 刖述實施例係僅供舉例說明本發明之原理。須瞭解此 處所述配置及細節之修改及變化將為熟諳技藝人士顯然易 知。因此,意圖僅受審查中之專利申請範圍所限而非受藉 以描述及解說此處實施例所呈示之特定細節所限。 參考文獻列表 [1] A. Czyzewski, UA method for artificial reverberation quality testing/5 J. Audio Eng. Soc., vol. 38, pp. 129-141, 1990.
[2] J.A. Moorer,“About this reverberation business,” Computer Music Journal, vol. 3, 1979. 29 201251480 [3] B. Scharf, “Fundamentals of auditory masking,” Audiology, vol. 10, pp. 30-40, 1971.
[4] W.G. Gardner and D. Griesinger, “Reverberation level matching experiments," in Proc. of the Sabine Centennial Symposium, Acoust. Soc. of Am., 1994.
[5] D. Griesinger, "How loud is my reverberation,in Proc. Of the AES 98th Conv., 1995.
[6] D. Griesinger, “Further investigation into the loudness of running reverberation,in Proc. of the Institute of Acoustics (UK) Conference, 1995.
[7] D. Lee and D. Cabrera, “Effect of listening level and background noise on the subjective decay rate of room impulse responses: Using time varying-loudness to model reverberance,” App/i'ei/AcoMJi/c·?,vol. 71,pp. 801-811,2010.
[8] D. Lee, D. Cabrera,and W.L. Martens, “Equal reverberance matching of music,55 Proc. of Acoustics, 2009.
[9] D. Lee, D. Cabrera, and W.L. Martens, “Equal reverberance matching of running musical stimuli having various reverberation times and SPLs,M in Proc. of the 20th International Congress on Acoustics, 2010.
[10] A. Tsilfidis and J. Mourjopoulus, “Blind single-channel suppression of late reverberation based on perceptual reverberation modeling/5 J. Acoust. Soc. Am, vol. 129, pp. 1439-1451, 2011. 30 201251480 [11] B.CJ. Moore, B.R. Glasberg,and T. Baer, “A model for the prediction of threshold, loudness, and partial loudness," J. Audio Eng. Soc., vol. 45, pp. 224-240, 1997.
[12] B.R. Glasberg and B.CJ. Moore, ^Development and evaluation of a model for predicting the audibility of time varying sounds in the presence of the background sounds,s, J. Audio Eng. Soc., vol. 53, pp. 906-918, 2005.
[13] J. Paulus, C. Uhle, and J. Herre, “Perceived level of late reverberation in speech and music/5 in Proc. of the AES 130th Conv., 2011.
[14] J.L. Verhey and S.J. Heise, "Einfluss der Zeitstruktur des Hintergrundes auf die Tonhaltigkeit und Lautheit des tonalen Vordergrundes (in German),55 in Proc. of DAG A, 2010.
[15] C. Bradter and K. Hobohm, “Loudness calculation for individual acoustical objects within complex temporally variable sounds," in Proc. of the AES 124th Conv., 2008.
[16] International Telecommunication Union,
Radiocommunication Assembly, “Algorithms to measure audio programme loudness and true-peak audio level,” Recommendation ITU-R BS. 1770, 2006, Geneva,
Switzerland.
[17] S. Hase, A. Takatsu, S. Sato, H. Sakai, and Y. Ando, “Reverberance of an existing hall in relation to both 31 201251480 subsequent reverberation time and SPL/* J. Sound Vib., vol. 232, pp. 149-155, 2000.
[18] D. Griesinger, “The importance of the direct to reverberant ratio in the perception of distance, localization, clarity, and envelopment,,5 in Proc. of the AES 126th Conv., 2009.
[19] C. Uhle, A. Walther, O. Hellmuth, and J. Herre, “Ambience separation from mono recordings using Non-negative Matrix Factorization,5, in Proc. of the AES 30th Conf., 2007. ’ 【圖式簡單說明3 第1圖為用以決定混響感知位準的度量之裝置或方法 之方塊圖; 第2a圖為響度模型處理器之較佳實施例之說明圖; 第2b圖例示說明響度模型處理器之又一較佳實施例; 第2c圖例示說明計算對於混響感知位準的度量之四種 較佳模式, 第3圖例示說明響度模型處理器之又一較佳體現; 第4 a、b圖例示說明時間信號波封及相對應響度及部分 響度之實例; 第5a、b圖例示說明用以訓練預測器之實驗資料之資 訊; 第6圖例示說明人工混響處理器之方塊圖; 第7 a、b圖例示說明依據本發明之實施例指示評估量表 32 201251480 之三表; 第8圖例示說明體現來使用混響感知位準的度量用於 人工混響用途之音訊信號處理器; 第9圖例示說明仰賴時間平均混響的感知位準之預測 器之較佳體現;及 第10圖例示說明用於計算特定響度之較佳實施例,得 自1997年Moore Glasberg、Baer公開文獻之方程式。 【主要元件符號說明】 1-n...線、實施例 308…響度計算器方塊 100...直接信號成分、乾信號成分 310...頻率積分方塊 102...混響信號成分 600...濾波器 104…響度模型處理器 606…混響濾波器、RIR 104a··.知覺濾波器階段 800...輸入之乾信號成分 l〇4b...響度計算器、響度估計器 801...混響器 104c、104d...加法器 802…測定知覺響度度量之裝置 106...第一響度度量 803...控制器 108...第二響度度量 804...增益 110...組合器 805...處置器 112...感知位準的度量 806...混響信號成分 114...預測器 807...加法器 300...時頻變換器方塊 808...混合信號 302...耳傳送函式方塊 809、810...選擇性線 304...計算激勵樣式方塊 900-904...步驟 306...時間積分方塊 EST1...第一響度度量 33 201251480 EST2...第二響度度量 m...混合信號 η...混響信號 r…混響信號成分 X...直接信號成分 34

Claims (1)

  1. 201251480 七、申請專利範圍: ^ 一種用以決定於由一直接信號成分及一混響信號成分 所組成之一混合信號中對於混響感知位準的一度量之 裝置,該裝置係包含: 一響度模型處理器,係包含用以濾波該乾信號成 分、該混響信號成分或該混合信號之一知覺濾波階段, 其中該知覺濾波階段係經組配來用以模型化一實體之 聽覺感知機構而獲得一濾波直接信號'一濾波混響信 號、或一濾波混合信號; 用以使用該濾波直接信號估計一第一響度度量及 用以使用該濾波混響信號或該濾波混合信號估計一第 二響度度量之一響度估計器’於該處該濾波混合信號係 從該直接信號成分及該混響信號成分之疊置推衍;及 用以組合該第一與第二響度度量而獲得對於混響 感知位準的度量之一組合器。 2. 如申請專利範圍第1項之裝置’其中該響度估計器係經 組配來估計該第一響度度量,使得該濾波直接信號被視 為一刺激及該渡波混響信號被視為一雜訊;或估計該第 一響度度量,使得該遽波混響信號被視為一刺激及該遽 波直接信號被視為一雜訊。 3. 如申請專利範圍第1或2項之裝置,其中該響度估計芎係 經組配來計算該第一響度度量為該濾波直接信號之一 響度’或計算該第二響度度量為該遽波混響信號或混合 信號之一響度。 35 201251480 4. 如前述帽專利範項中任—項之裝置,其t該組合 器係經組配來使用該第一響度度量及該第二響度度量 計算一差值。 5. 如申請專利範圍第丨項之裝置,其係進一步包含· -預測器用以基於對於不同信號訊框之該感知位 準的至少兩個度量之—平均值而預測混響感知位準。 6·如申請專利範圍第5項之裝置,其中該預測器係經組配 來用於預測-常數項、取決於該平均值之—線性項、及 一定標因數。 7·如申料職圍第5或6項之裝置,其中該常數項係取決 於描述用以在-人工混響器内產生該混響信號之該混 響濾波器。 8.如前述申請專利範圍各項中任—項之裝置,其中該遽波 階段係包含一時頻變換階段, 其中該響度估计器係經組配來加總針對多數帶所 得結果而對於包含該直接信號成分及該混響信號成分 之-寬帶混合信號推衍該第一及該第二響度度量。 9·如前述巾請專利賴各射任—項之裝置,其中該渡波 階段係包含: ^ 一耳傳送驗器、-激勵樣式計算器、&一時間積 刀益來推賴渡波直接㈣、_絲響錢、或該渡 波混合信號。 10.-種決定於由—直接㈣成分及—轉信號成分所組 成之—混合信號中對於混響感知位準的一度量之方 36 201251480 法,該方法係包含: 濾波該乾信號成分、該混響信號成分或該混合信 號,其中該濾波係使用一知覺濾波階段執行,該知覺濾 波階段係經組配來用以模型化一實體之聽覺感知機構 而獲得一濾波直接信號、一濾波混響信號、或一濾波混 合信號; 使用該濾波直接信號估計一第一響度度量; 使用該濾波混響信號或該濾波混合信號估計一第 二響度度量,於該處該濾波混合信號係從該直接信號成 分及該混響信號成分之疊置推衍;及 組合該第一與第二響度度量而獲得對於混響感知 位準的一度量。 η. —種用以從一直接信號成分產生一混響信號之音訊處 理器’該音訊處理器係包含: 一混響器,用以混響該直接信號成分來獲得一混響 信號成分; 如申請專利範圍第1至9項令任一項之用以決定於 包含該直接信號成分及該混響信號成分之該混響信號 中對於混響感知位準的一度量之裝置; -控制器,用以接收由用以決定—混響感知位準的 度3:之该裝置所產生的該感知位準,及用以依據該感 知位準及一目標值而產生一控制信號; -處置器’用以依據該控龍處置該乾信號成分或 該混響信號成分;及 37 201251480 一組合器,用以組合該處置乾信號成分及該處置混 響信號成分,或用以組合該乾信號成分及該處置混響信 號成分,或用以組合該處置乾信號成分及該混響信號成 分獲得該混合信號。 12.如申請專利範圍第11項之裝置,其中該處置器係包括一 加權器用以藉一增益值加權該混響信號成分,該增益值 係由該控制信號決定,或 其中該混響器包含一可變濾波器,該濾波器係回應 於該控制信號為可變。 如申請專利範圍第12項之裝置,其中該混響器具有一固 定渡波器, 其中該處置器具有該加權器來產生該處置混響信 號成分,及 其中該加法器係經組配來將該直接信號成分及該 處置混響信號成分相加獲得該混合信號。 —種處理一音訊信號用以從一直接信號成分產生一混 響信號之方法,該方法包含: 混響該直接信號成分來獲得一混響信號成分; 如申請專利範圍第10項之決定於包含該直接信號 成分及該混響信號成分之該混響信號中對於混響感知 位準的一度量之方法; 接收由決定一混響感知位準的一度量之該方法所 產生的該感知位準, 依據該感知位準及一目標值而產生-控制信號; 38 201251480 依據該控制值處置該乾信號成分或該混響信號成 分;及 組合該處置乾信號成分及該處置混響信號成分,或 用以組合該乾信號成分及該處置混響信號成分,或用以 組合該處置乾信號成分及該混響信號成分獲得該混合 信號。 15. —種具有一程式代碼之電腦程式,當該電腦程式在一電 腦上跑時該程式代碼係用以執行如申請專利範圍第10 或14項之方法。 39
TW101106353A 2011-03-02 2012-02-24 用以決定對於混響感知位準的度量之裝置與方法、音訊處理器及用以處理信號的方法 TWI544812B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161448444P 2011-03-02 2011-03-02
EP11171488A EP2541542A1 (en) 2011-06-27 2011-06-27 Apparatus and method for determining a measure for a perceived level of reverberation, audio processor and method for processing a signal

Publications (2)

Publication Number Publication Date
TW201251480A true TW201251480A (en) 2012-12-16
TWI544812B TWI544812B (zh) 2016-08-01

Family

ID=46757373

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101106353A TWI544812B (zh) 2011-03-02 2012-02-24 用以決定對於混響感知位準的度量之裝置與方法、音訊處理器及用以處理信號的方法

Country Status (14)

Country Link
US (1) US9672806B2 (zh)
EP (2) EP2541542A1 (zh)
JP (1) JP5666023B2 (zh)
KR (1) KR101500254B1 (zh)
CN (1) CN103430574B (zh)
AR (1) AR085408A1 (zh)
AU (1) AU2012222491B2 (zh)
BR (1) BR112013021855B1 (zh)
CA (1) CA2827326C (zh)
ES (1) ES2892773T3 (zh)
MX (1) MX2013009657A (zh)
RU (1) RU2550528C2 (zh)
TW (1) TWI544812B (zh)
WO (1) WO2012116934A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9055374B2 (en) * 2009-06-24 2015-06-09 Arizona Board Of Regents For And On Behalf Of Arizona State University Method and system for determining an auditory pattern of an audio segment
WO2014171791A1 (ko) 2013-04-19 2014-10-23 한국전자통신연구원 다채널 오디오 신호 처리 장치 및 방법
US10075795B2 (en) 2013-04-19 2018-09-11 Electronics And Telecommunications Research Institute Apparatus and method for processing multi-channel audio signal
EP2830043A3 (en) 2013-07-22 2015-02-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for Processing an Audio Signal in accordance with a Room Impulse Response, Signal Processing Unit, Audio Encoder, Audio Decoder, and Binaural Renderer
EP2840811A1 (en) 2013-07-22 2015-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for processing an audio signal; signal processing unit, binaural renderer, audio encoder and audio decoder
US9319819B2 (en) 2013-07-25 2016-04-19 Etri Binaural rendering method and apparatus for decoding multi channel audio
ES2932422T3 (es) 2013-09-17 2023-01-19 Wilus Inst Standards & Tech Inc Método y aparato para procesar señales multimedia
EP3062534B1 (en) 2013-10-22 2021-03-03 Electronics and Telecommunications Research Institute Method for generating filter for audio signal and parameterizing device therefor
WO2015099424A1 (ko) 2013-12-23 2015-07-02 주식회사 윌러스표준기술연구소 오디오 신호의 필터 생성 방법 및 이를 위한 파라메터화 장치
CN107770717B (zh) * 2014-01-03 2019-12-13 杜比实验室特许公司 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频
EP4294055A1 (en) 2014-03-19 2023-12-20 Wilus Institute of Standards and Technology Inc. Audio signal processing method and apparatus
CN106165454B (zh) 2014-04-02 2018-04-24 韦勒斯标准与技术协会公司 音频信号处理方法和设备
US9407738B2 (en) * 2014-04-14 2016-08-02 Bose Corporation Providing isolation from distractions
EP2980789A1 (en) 2014-07-30 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for enhancing an audio signal, sound enhancing system
PL3311379T3 (pl) 2015-06-17 2023-03-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Kontrola głośności dla interaktywności użytkownika w systemach kodowania audio
US9590580B1 (en) 2015-09-13 2017-03-07 Guoguang Electric Company Limited Loudness-based audio-signal compensation
GB201615538D0 (en) * 2016-09-13 2016-10-26 Nokia Technologies Oy A method , apparatus and computer program for processing audio signals
EP3389183A1 (en) 2017-04-13 2018-10-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for processing an input audio signal and corresponding method
GB2561595A (en) * 2017-04-20 2018-10-24 Nokia Technologies Oy Ambience generation for spatial audio mixing featuring use of original and extended signal
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
EP3460795A1 (en) * 2017-09-21 2019-03-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Signal processor and method for providing a processed audio signal reducing noise and reverberation
CN117475983A (zh) * 2017-10-20 2024-01-30 索尼公司 信号处理装置、方法和存储介质
JP7294135B2 (ja) 2017-10-20 2023-06-20 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム
JP2021129145A (ja) 2020-02-10 2021-09-02 ヤマハ株式会社 音量調整装置および音量調整方法
US11670322B2 (en) * 2020-07-29 2023-06-06 Distributed Creation Inc. Method and system for learning and using latent-space representations of audio signals for audio content-based retrieval
US20220322022A1 (en) * 2021-04-01 2022-10-06 United States Of America As Represented By The Administrator Of Nasa Statistical Audibility Prediction(SAP) of an Arbitrary Sound in the Presence of Another Sound
GB2614713A (en) * 2022-01-12 2023-07-19 Nokia Technologies Oy Adjustment of reverberator based on input diffuse-to-direct ratio
EP4247011A1 (en) * 2022-03-16 2023-09-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for an automated control of a reverberation level using a perceptional model

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7583805B2 (en) * 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
US7644003B2 (en) 2001-05-04 2010-01-05 Agere Systems Inc. Cue-based audio coding/decoding
US7949141B2 (en) * 2003-11-12 2011-05-24 Dolby Laboratories Licensing Corporation Processing audio signals with head related transfer function filters and a reverberator
US7495166B2 (en) 2004-08-25 2009-02-24 Pioneer Corporation Sound processing apparatus, sound processing method, sound processing program and recording medium which records sound processing program
KR100619082B1 (ko) * 2005-07-20 2006-09-05 삼성전자주식회사 와이드 모노 사운드 재생 방법 및 시스템
EP1761110A1 (en) * 2005-09-02 2007-03-07 Ecole Polytechnique Fédérale de Lausanne Method to generate multi-channel audio signals from stereo signals
JP4175376B2 (ja) * 2006-03-30 2008-11-05 ヤマハ株式会社 オーディオ信号処理装置、オーディオ信号処理方法、及びオーディオ信号処理プログラム
JP4668118B2 (ja) * 2006-04-28 2011-04-13 ヤマハ株式会社 音場制御装置
US8036767B2 (en) * 2006-09-20 2011-10-11 Harman International Industries, Incorporated System for extracting and changing the reverberant content of an audio input signal
WO2009039897A1 (en) 2007-09-26 2009-04-02 Fraunhofer - Gesellschaft Zur Förderung Der Angewandten Forschung E.V. Apparatus and method for extracting an ambient signal in an apparatus and method for obtaining weighting coefficients for extracting an ambient signal and computer program
EP2154911A1 (en) * 2008-08-13 2010-02-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An apparatus for determining a spatial output multi-channel audio signal
US8965000B2 (en) * 2008-12-19 2015-02-24 Dolby International Ab Method and apparatus for applying reverb to a multi-channel audio signal using spatial cue parameters

Also Published As

Publication number Publication date
BR112013021855B1 (pt) 2021-03-09
ES2892773T3 (es) 2022-02-04
CN103430574A (zh) 2013-12-04
KR20130133016A (ko) 2013-12-05
EP2681932B1 (en) 2021-07-28
CA2827326A1 (en) 2012-09-07
BR112013021855A2 (pt) 2018-09-11
US9672806B2 (en) 2017-06-06
MX2013009657A (es) 2013-10-28
AU2012222491B2 (en) 2015-01-22
RU2013144058A (ru) 2015-04-10
RU2550528C2 (ru) 2015-05-10
EP2681932A1 (en) 2014-01-08
CN103430574B (zh) 2016-05-25
JP5666023B2 (ja) 2015-02-04
AR085408A1 (es) 2013-10-02
TWI544812B (zh) 2016-08-01
EP2541542A1 (en) 2013-01-02
WO2012116934A1 (en) 2012-09-07
CA2827326C (en) 2016-05-17
JP2014510474A (ja) 2014-04-24
AU2012222491A1 (en) 2013-09-26
KR101500254B1 (ko) 2015-03-06
US20140072126A1 (en) 2014-03-13

Similar Documents

Publication Publication Date Title
TWI544812B (zh) 用以決定對於混響感知位準的度量之裝置與方法、音訊處理器及用以處理信號的方法
Kates et al. Coherence and the speech intelligibility index
TWI459828B (zh) 在多頻道音訊中決定語音相關頻道的音量降低比例的方法及系統
Kates et al. The hearing-aid speech quality index (HASQI) version 2
US10242692B2 (en) Audio coherence enhancement by controlling time variant weighting factors for decorrelated signals
RU2663345C2 (ru) Устройство и способ масштабирования центрального сигнала и улучшения стереофонии на основе отношения сигнал-понижающее микширование
Romoli et al. A mixed decorrelation approach for stereo acoustic echo cancellation based on the estimation of the fundamental frequency
Cecchi et al. Low-complexity implementation of a real-time decorrelation algorithm for stereophonic acoustic echo cancellation
Cecchi et al. A combined psychoacoustic approach for stereo acoustic echo cancellation
Kates Modeling the effects of single-microphone noise-suppression
Bernardi et al. Subjective and objective sound-quality evaluation of adaptive feedback cancellation algorithms
Uhle et al. Predicting the perceived level of late reverberation using computational models of loudness
Lee et al. Equal reverberance contours for synthetic room impulse responses listened to directly: Evaluation of reverberance in terms of loudness decay parameters
Tsilfidis et al. Binaural dereverberation
Buchholz A quantitative analysis of spectral mechanisms involved in auditory detection of coloration by a single wall reflection
Buchholz Characterizing the monaural and binaural processes underlying reflection masking
Laback et al. Simultaneous masking additivity for short Gaussian-shaped tones: Spectral effects
de Santis et al. Perception & thresholds of nonlinear distortion using complex signals
EP4247011A1 (en) Apparatus and method for an automated control of a reverberation level using a perceptional model
Patel Acoustic Feedback Cancellation and Dynamic Range Compression for Hearing Aids and Its Real-Time Implementation
KR20210030860A (ko) 입력 신호 역상관
Romoli et al. Evaluation of a channel decorrelation approach for stereo acoustic echo cancellation