TWI238673B - Stereo sound effect generation apparatus and method thereof - Google Patents

Description

1238673 五、’發明說明（1) 【發明所屬之技術領域】 本發明為一種立體音響產生裝置及方法，係將具有方 向性的直接聲響與具有方向性的反射聲響分開處理，並對 左右兩耳所接收到的聲音分別處理，以達到更寬廣的空間 感。 【先前技術】 虛擬聲音播放裝置創造了虛擬的世界給使用者，讓使 用者可以藉由聽到聲音，而能有身歷其境的感覺，因此虛 擬音效做的越逼真越好。一般而言，當左右兩耳所接收到 的聲音訊號之關聯性越低，則使用者會覺得越有空間立體 感。請參照第一 A圖，圖中為一個矩形空間1 0 0並擺放有一 個音源1 1 0，當該音源1 1 0發出聲音時，其發出的聲音向四 面八方傳播，因此當使用者1 2 0在收聽的時候，會接收到 不同層次的聲音，包括該音源發出的聲音直接被使用者接 收的直接方向性聲響1 1 4，以及碰撞到空間1 0 0中的障礙物 後，而有反射距離時間差11 2 A後，才被使用者接收的反射 方向性聲響112。因而人耳會由直接方向性聲響11 4與反射 方向性聲響1 1 2而能感受到立體音效的感覺。因此，虛擬 音效的製作方法即是使人耳能夠感受並分辨出方向性聲響 (包括直接方向性聲響與反射方向性聲響）以及音域空間 殘響的合成，以及兩者結合時機的控制。 人類對於方向性的感知，主要取決於頭部對聲音的阻 擋與繞射效應與耳殼形狀造成的反射時間差，其效應主要 分為三類：

1238673 五、'發明說明（2) 一、 兩耳間音量差（interaural intensity differences)0 二、 兩耳間聲音抵達時間差（interaural time differences)0 三、 耳殼造成的諸多反射聲波射入耳道的時間差 (pinna reflection)0 而人類對於聲音空間大小的感知主要來自兩方面： 一、 殘響與直接聲響的音量比值，殘響越大，空間感 越大。 二、 殘響與直接聲響的時間差，兩者時間差越大，空 間感越大。 上述所謂之殘響（reverberation)指原本聲響在一特 定環境中發出後，環境所產生的回音與共鳴聲音，會隨著 時間慢慢的消退，殘響的產生方法即濾波器的設計方法。 依照殘響特性與延遲時間不同，可設計出不同殘響濾波 器，將殘響濾波器與原本聲響進行旋積運算 (convolution)，便可產生殘響。而殘響渡波器的設計方 法有兩大類： 一、 有限長度脈衝響應濾波器（Finite Impulse Response Filter, FIR filter)。此類濾波器大多來自直接測量環境的殘響 響應，此種殘響方法可得到最自然的效果，但計算複雜度 高。 二、 無限長度脈衝響應濾波器（Inf ini te Impulse

第6頁 1238673 :發明說明"""(3) "" ' " '

Response Filter, I IR filter)。此類遽波器係為簡單的全通濾波器un pass fi Iter) ’以產生無限長度的殘響聲音，計算簡單但 殘響效果不自然。 另由第一 B圖中，可看出人耳所接收的聲音訊號模 式，其中該圖之縱座標軸為振幅大小，橫座標軸為時間 轴。而人耳對一聲音訊號最先接收到的是直接方向性 (direct)聲響訊號160,再來是早期反射（early reflection)聲響訊號17〇,最後接收到的是殘響 (reverberation)訊號 180。 傳統的做法中，大多是採用串聯的運算架構來逐步產 生空間殘響與方向性聲音。請參照第二A圖與第二b圖，圖 中在多聲道音效2 0 0進入到使用者230的耳朵時，會先經過 方向性聲音產生器210以及反射殘響產生器220。或者反過 來先經過反射殘響產生器22 0後，再經過方向性聲音產生 器 210〇 但此架構有幾項缺點，包括，第一：請參照第三圖， 隨著輸入聲道數目3 0 0增加，而線性增加了方向性聲音產 生器310與反射殘響產生器320，計算複雜度因而增加。第 二：請參照第四圖，當直接方向性聲響11 4與反射方向性 聲響11 2重疊時，方向性音效與殘響音效的效果疊加在一 起，無法獨立控制，導致彼此互相影響。因而反射聲響的 方向感與直接聲響的方向感完全相同，而忽略了兩者間應 有的差異性，使得無法產生出真實的空間感予使用者

1238673 Λ、'發明說明（4) 120° 在美國專利案號US6 1 88 76 9中，該專利將不同的殘響 訊號共用一個殘響產生器，係以全通濾波器（a 1 1 pass f i Iter)做為無限長度脈衝響應濾波器（I IR)的設計方法來 產生無限長度的殘響聲音，運算方式較簡單，但產生出來 所送至左右兩耳的殘響訊號會有較大的相互關聯性，且較 不自然，因此殘響的空間感就會較差。而該專利將聲音分 為三聲道平行處理，此做法亦較複雜。 而本發明推翻傳統架構，將具有方向性的直接聲響與 具有方向性的反射聲響分開處理，並讓所有輸入聲道共用 同樣的空間殘響產生器，以降低架構的複雜度但仍保有調 整與控制的彈性。 【發明内容】 本發明為一立體音效產生裝置及方法，係採用並聯之 方式，包括直接聲響定位器，空間殘響定位器，複數個整 合器，與一左聲道空間殘響產生器及一右聲道空間殘響產 生器，以及複數個空間大小處理器。將具有方向性的直接 聲響與具有方向性的反射聲響分處理，可使設計複雜度降 低，並保有調整與控制各聲道的彈性。計算複雜度不會隨 著輸入聲道數目線性增加，且不論輸入聲道數目多寡，會 共用同樣的空間殘響產生器，簡化音效產生裝置的架構。 因直接聲響與回音殘響個別處理，因此方向性聲響與反射 聲響之處理方法可以個別設計，並依照現場情形或所要求

1238673 五。發明說明（5) 的效果處理之，可較以往更容易操作控制。 另一個本發明之特點在於左右兩耳使用不同的殘響產 生器，因此可使左右兩耳的殘響之相關性大幅降低，因而 使得殘響的空間感變得較為寬廣。 【實施方式】 請參照第五圖，此為本發明之一實施例。圖中的第一 聲道501會由先輸入並聯方式的第一直接聲響定位器511以 及第一空間殘響定位器521中；第二聲道5 0 3同樣輸入並聯 方式的第二直接聲響定位器5 1 3以及第二空間殘響定位器 52 3中；第三聲道50 5同樣輸入並聯方式的第三直接聲響定 位器5 1 5以及第二空間殘響定位器5 2 5中。其中該直接聲響 定位器511，513，515，與空間殘響定位器521，523，525 係用來產生方向性聲響。接著將第一直接聲響定位器511 所產生的左聲道直接聲響方向訊號60 0及第二直接聲響定 位器51 3產生的左聲道直接聲響方向訊號600，與第三直接 聲響定位器51 5產生的左聲道直接聲響方向訊號60 0—起輸 入至一第一左聲道音效整合裝置550。 同樣的第一直接聲響定位器511亦產生右聲道直接聲 響方向訊號6 1 0，而第二直接聲響定位器5 1 3產生右聲道直 接聲響方向訊號6 1 0，第三直接聲響定位器5 1 5產生的右聲 道直接聲響方向訊號610，並將三個右聲道輸出訊號一起 輸入到一第一右聲道音效整合裝置55 2中。 而第一聲道501與第二聲道50 3及第三聲道50 5亦會輸

1238673 五、發明說明（6) 入三個並聯的第一空間殘響定位器5 2 1、第二空間殘響定 位器5 2 3與第三空間殘響定位器5 2 5。該第一空間殘響定位 器5 2 1輸出一左聲道空間殘響方向訊號6 2 0，與第二空間殘 響定位器5 2 3所輸出之左聲道空間殘響方向訊號6 2 0以及第 三空間殘響定位器5 2 5輸出的左聲道空間殘響方向訊號6 2 0 ，一同輸出一第二左聲道音效整合裝置554中。 同樣的，第一空間殘響定位器5 2 1亦產生右聲道空間 殘響方向訊號6 3 0，而第二空間殘響定位器5 2 3產生右聲道 空間殘響方向訊號6 3 0，第三空間殘響定位器5 2 5產生的右 聲道空間殘響方向訊號6 3 0，並將三個右聲道輸出訊號一 起輸入到一第二右聲道音效整合裝置55 6中。 將上述之該第二左聲道音效整合裝置55 4將其輸入訊號整 合後，輸出一整合聲音訊號予一左聲道空間殘響產生器 541中，並將該左聲道空間殘響產生器541所輸出之空間殘 響訊號與該第一左聲道音效整合裝置55 0輸出之整合聲音 訊號一同輸入到一左空間大小處理器5 3 1中。該左聲道空 間殘響產生器5 4 1係包括有限長度脈衝響應濾波器（F I R f i 11 e r )所組成。 同樣的，在上述該第二右聲道音效整合裝置55 6將其 輸入訊號整合後，輸出一整合聲音訊號予一右聲道空間殘 響產生器543中，並將該右聲道空間殘響產生器543所輸出 之空間殘響訊號與第一右聲道音效整合裝置5 5 2輸出之整 合聲音訊號一同輸入到一右空間大小處理器5 3 3中。該右 聲道空間殘響產生器5 4 3係包括有限長度脈衝響應濾波器

第10頁 1238673 五、發明說明（7) (F I R f i 11 e r )所組成。 並可藉由其中之左聲道空間殘響產生器與右聲道空間殘響 產生器之有限長度脈衝響應濾波器（FIR fi Iter)做左右聲 道音效之去關聯性（d e c 〇 r r e 1 a t e )處理，以達到所要求的 立體聲音空間感。 最後，該左空間大小處理器5 3 1會調整上述之左聲道 空間殘響產生器5 4 1所輸出之空間殘響訊號與該第一左聲 道音效整合裝置55 0之輸出訊號之訊號大小比例值，再輸 出一聲音訊號予使用者之左耳接收；而該右空間大小處理 器533亦調整上述之右聲道空間殘響產生器543所輸出之空 間殘響訊號與該第一右聲道音效整合裝置5 5 2之輸出訊号虎 之訊號大小比例值，再輸出一聲音訊號予使用者右耳接 收。此外，左空間大小處理器5 3 1與右空間大小處理器5 3 3 係用來調整該兩聲音訊號之大小比值以及時序調整，tI 調整混合音量大小。 關於上述之去關聯性 （decorrelate)··當左右耳輸人 的聲音關聯性越高時，聽起來就越單調，不真實。但是者 左右耳輸入的聲音關聯性降低時，聽起來的空間减就合幽 畐’像疋由外部傳進來而非由腦袋裡發出，一般做、去都θ 讓輸入左右兩耳的聲音相位（phase)打亂來達成去關聯性& (decorrelate)0 請參照第六A圖，此圖中之殘響訊號7 〇 〇係為一隨時間而 幅大小逐漸下降之訊號，但在經過去關聯性處理，係利= 隨機處理（random process)程序，分別對左右整 車到要產

1238673 五、發明說明（8) 生的殘響訊號作處理，使得左右聲道的殘響訊號的相關性 可以降低。 如第六B圖所示，其中7 0 2為經過去關聯性處理後的該 左聲道空間殘響訊號，而第六C圖中之7 0 4為經過去關聯性 處理後的該右聲道空間殘響訊號，由該兩圖可得知，經過 隨機處理（random process)後的該左聲道空間殘響訊號 與該右聲道空間殘響訊號之相關性降低許多，係因其相位 被打亂所致。因而能達成去關聯性處理的目標，以營造聲 音之空間感。 由於本發明提出之架構係採用並聯之方式，將具有方 向性的直接聲響與具有方向性的反射聲響分開處理，使得 設計的複雜度大幅降低，並仍保有調整與控制各聲道的彈 性。計算複雜度不會隨著輸入聲道數目線性增加，且不論 輸入聲道數目多寡，最後會共用同樣的空間殘響產生器， 大幅簡化音效產生裝置的架構。且因直接聲響與回音殘響 個別處理，因此方向性聲響與反射聲響之處理方法可以個 別設計，可以照現場情形或所要求的效果處理之。可輕易 控制空間大小的感覺 ，因左空間大小處理器與右空間大小處理器可直接設定結 合該直接方向性聲響與殘響的大小比例與時間差，可較以 往更容易操作控制。 另一個本發明之特點在於左右兩耳使用不同的殘響產 生器，因此可使左右兩耳的殘響之相關性大幅降低，因而 使得殘響的空間感變得較為寬廣。

第12頁 1238673 圖式簡單說明 第一 A圖：聲音在空間中之行進傳播方式。 第一 B圖··人耳所接收的聲音訊號模式。 第二A圖：習知之音效產生裝置圖。 第二B圖：習用之音效產生裝置圖。 第三圖：習用之音效產生裝置圖，在輸入聲道數目增多之 情形下。 第四圖：習用之音效產生方式，其使直接方向性聲響與反 射方向性聲響方向重合。 第五圖：本發明之一實施例。 第六A圖··去相關性處理前之殘響訊號圖。 第六B圖：去相關性處理後之左聲道殘響訊號圖。 第六C圖··去相關性處理後之右聲道殘響訊號圖。 第七圖··本發明之步驟流程圖。 1 0 0 空間 1 1 0 音源 1 1 2 反射方向性聲響 1 1 4 直接方向性聲響 1 12A反射距離時間差 120 使用者 160 直接方向性（direct)聲響訊號 17 0 早期反射（early reflection)聲響訊號 18 0 殘響（reverberation)訊號 2 0 0 多聲道輸入 210 方向性聲音產生器 2 2 0 反射殘響產生器 2 3 0 使用者

第15頁 1238673 圖式簡單說明 310 反 射 殘 響 產 生 器 320 方 向 性 聲 音 產 生 器 501 第 一 聲 道 503 第 二 聲道 505 第 三 聲 道 511 第 一一 直接 聲 響 定 位 器 513 第 二 直 接 聲 響 定 位 器 515 第 三 直接 聲 響 定 位 器 521 第 _ 一 空 間 殘 響 定 位 器 523 第 二 空間 殘 響 定 位 器 525 第 三 空 間 殘 響 定 位 器 530 使 用 者 531 左 空 間 大 小 處 理 器 533 右 空 間大 小 處 理 器 541 左 聲 道 空 間 殘 響 產 生 器 543 右 聲 道 空 間 殘 響 產 生 器 551 第 一 左 聲 道 音 效 整 合 裝 置 552 第 一 右 聲 道 音 效 整 合 裝 置 555 第 二 左 聲 道 音 效 整 合 裝 置 556 第 二 右 聲 道 音 效 整 合 裝 置 600 左 聲 道 直 接 聲 響 方 向 訊 號 610 右 聲 道 直 接 聲 響 方 向 訊 號 620 左 聲 道 空 間 殘 響 方 向 訊 號 630 右 聲 道 空 間 殘 響 方 向 訊 號 700 殘 響 訊 號 702 去 關 聯 性 處 理 後 之 左 聲 道 空間 殘響訊號 704 去 關 聯 性 處 理 後 之 右 聲 道 空間 殘響訊號 S100 入 聲 道 訊 號 S 1 0 2將聲道訊號送至直接聲響定位器及空間殘響定位器 S104直接聲響定位器之輸出分成左右聲道處理

第16頁 1238673 圖式簡單說明 S 1 0 6空間殘響定位器之輸出分成左右聲道處理 S 1 0 8空間殘響定位器之輸出再做空間殘響處理 S 1 1 0分別加總左右聲道對應訊號，並做去關連性處理

Claims (1)

1238673 六、申請專利範圍 1、一種立體音效產生裝置，包括 至少一個直接聲響定位器，係接收一輸入聲道訊 號後，產生至少一個直接聲響方向訊號； 至少一個空間殘響定位器，係接受該輸入聲道訊 號後，產生至少一個空間殘響方向訊號； 至少一個第一音效整合裝置，接收該直接聲響方 向訊號，整合輸出一直接聲響整合聲音訊號； 至少一個第二音效整合裝置，接收該空間殘響方 向訊號，整合輸出一空間殘響整合聲音訊號； 至少一個空間殘響處理器，用來接收該空間殘響 整合聲音訊號並輸出一空間殘響訊號； 至少一個空間大小處理器，接收該直接聲響整合 聲音訊號以及該空間殘響訊號後，輸出聲音訊號予使 用者收聽。 2'如申請專利範圍第1項所述之立體音效產生裝置，其中 該直接聲響定位器所輸出之訊號係為一左聲道直接聲 響方向訊號與一右聲道直接聲響方向訊號。 3、 如申請專利範圍第1項所述之立體音效產生裝置，其中 該空間殘響定位器所輸出之訊號係為一左聲道空間殘 響方向訊號與一右聲道空間殘響方向訊號。 4、 如申請專利範圍第2項所述之立體音效產生裝置，其中 該第一音效整合裝置係為一第一左聲道音效整合裝 置，用以接收該直接聲道定位器所輸出之該左聲道直 接聲響方向訊號，經整合後輸出一整合聲音訊號，其

第18頁 1238673 六、申請專利範圍 為一整合後之左聲道直接聲響方向訊號。 5、 如申請專利範圍第2項所述之立體音效產生裝置，其中 該第一音效整合裝置係為一第一右聲道音效整合裝 置，用來接收該直接聲道定位器所輸出之該右聲道直 接聲響方向訊號，經整合後輸出一整合聲音訊號，其 為一整合後之右聲道直接聲響方向訊號。 6、 如申請專利範圍第3項所述之立體音效產生裝置，其中 該第二音效整合裝置係為一第二左聲道音效整合裝 置，用來接收該空間殘響定位器所輸出之該左聲道空 間殘響方向訊號，經整合後輸出一整合聲音訊號，其 為一整合後之左聲道空間殘響方向訊號。 7、 如申請專利範圍第3項所述之立體音效產生裝置，其中 該第二音效整合裝置係為一第二右聲道音效整合裝 置，用來接收該空間殘響定位器所輸出之該右聲道空 間殘響方向訊號，經整合後輸出一整合聲音訊號’其 為一整合後之右聲道空間殘響方向訊號。 8、 如申請專利範圍第6項所述之立體音效產生裝置，其中 該空間殘響處理器係為一左聲道空間殘響處理器，用 來利用有限長度脈衝響應濾波器（FIR fi Iter)，對整 合後之左聲道空間殘響方向訊號進行空間殘響處理。 9、 如申請專利範圍第7項所述之立體音效產生裝置，其中 該空間殘響處理器係為一右聲道空間殘響處理器，用 來利用有限長度脈衝響應濾波器（FIR fi Iter)，對整 合後之右聲道空間殘響方向訊號進行空間殘響處理。

第19頁 1238673 六、申請專利範圍 1 0、如申請專利範圍第1項所述之立體音效產生裝置，其 中該空間大小處理器係將該音效整合裝置所輸出之訊 號做時序控制處理並調整混合音量。 1 1、如申請專利範圍第8項所述之立體音效產生裝置，其 中該左聲道空間殘響處理器為一第一濾波器，該右聲 道空間殘響處理器為一第二濾波器，而該第一濾波器 與該第二濾波器之間之相關性很低。 12、一種立體音效產生方法，包括： 利用至少一個直接聲響定位器來接收一輸入聲道 訊號，以產生至少一個直接聲響方向訊號； 利用至少一個空間殘響定位器來接受該輸入聲道 訊號，以產生至少一個空間殘響方向訊號； 利用至少一個第一音效整合裝置來接收該直接聲 響方向訊號，以整合輸出一直接聲響整合聲音訊號； 利用至少一個第二音效整合裝置來接收該空間殘 響方向訊號，以整合輸出一空間殘響整合聲音訊號； 利用至少一個空間殘響處理器來接收該空間殘響 整合聲音訊號並輸出一空間殘響訊號； 利用至少一個空間大小處理器來接收該直接聲響 整合聲音訊號以及該空間殘響訊號後，以輸出聲音訊 號予使用者收聽。 1 3、如申請專利範圍第1 2項所述之立體音效產生方法，其 中該直接聲響定位器所輸出之訊號係為一左聲道直接 聲響方向訊號與一右聲道直接聲響方向訊號。

第20頁 1238673 六、申請專利範圍 1 4、如申請專利範圍第1 2項所述之立體音效產生方法，其 中該空間殘響定位器所輸出之訊號係為一左聲道空間 殘響方向訊號與一右聲道空間殘響方向訊號。 1 5、如申請專利範圍第1 3項所述之立體音效產生方法，其 中該第一音效整合裝置係為一第一左聲道音效整合裝 置，用以接收該直接聲道定位器所輸出之該左聲道直 接聲響方向訊號，經整合後輸出一整合聲音訊號，其 為一整合後之左聲道直接聲響方向訊號。 1 6、如申請專利範圍第1 3項所述之立體音效產生方法，其 中該第一音效整合裝置係為一第一右聲道音效整合裝 置，用來接收該直接聲道定位器所輸出之該右聲道直 接聲響方向訊號，經整合後輸出一整合聲音訊號，其 為一整合後之右聲道直接聲響方向訊號。 1 7、如申請專利範圍第1 4項所述之立體音效產生方法，其 中該第二音效整合裝置係為一第二左聲道音效整合裝 置，用來接收該空間殘響定位器所輸出之該左聲道空 間殘響方向訊號，經整合後輸出一整合聲音訊號，其 為一整合後之左聲道空間殘響方向訊號。 1 8、如申請專利範圍第1 4項所述之立體音效產生方法，其 中該第二音效整合裝置係為一第二右聲道音效整合裝 置，用來接收該空間殘響定位器所輸出之該右聲道空 間殘響方向訊號，經整合後輸出一整合聲音訊號，其 為一整合後之右聲道空間殘響方向訊號。 1 9、如申請專利範圍第1 7項所述之立體音效產生方法，其

第21頁 1238673 六、申請專利範圍 中該空間殘響處理器係為一左聲道空間殘響處理器， 用來利用有限長度脈衝響應濾波器（FIR fi Iter)，對 整合後之左聲道空間殘響方向訊號進行空間殘響處 理。 2 0、如申請專利範圍第1 8項所述之立體音效產生方法，其 中該空間殘響處理器係為一右聲道空間殘響處理器， 用來利用有限長度脈衝響應濾波器（FIR fi Iter)，對 整合後之右聲道空間殘響方向訊號進行空間殘響處 理。 2 1、如申請專利範圍第1 2項所述之立體音效產生方法，其 中該空間大小處理器係將該音效整合裝置所輸出之訊 號做時序控制處理並調整混合音量。 2 2、如申請專利範圍第1 9項所述之立體音效產生方法，其 中該左聲道空間殘響處理器為一第一濾波器，該右聲 道空間殘響處理器為一第二濾波器，而該第一濾波器 與該第二濾波器之間之相關性很低。 23、一種立體音效產生方法，用來將多數聲道訊號合成為 一立體數位音效訊號，包含下列步驟： 將每一聲道訊號送至對應之一直接聲響定位器及 對應之一空間殘響定位器； 將該直接聲響定位器所輸出之左右聲道分別傳送 至一第一左聲道音效整合裝置及一第一右聲道音效整 合裝置； 將該空間殘響定位器所輸出之左右聲道分別送至

第22頁 1238673 六、申請專利範圍 一第二左聲道音效整合裝置及一第二右聲道音效整合 裝置； 將該第二左聲道音效整合裝置之輸出經過一左聲 道空間殘響處理器之處理，並將該第二右聲道音效整 合裝置之輸出經過一右聲道空間殘響處理器之處理； 將該第一左聲道音效整合裝置輸出及該左聲道空 間殘響處理器之輸出傳送至一第一空間大小處理器； 並將該第一右聲道音效整合裝置之輸出及該右聲 道空間殘響處理器之輸出傳送至一第二空間大小處理 器處理。 2 4、如申請專利範圍第2 3項之立體音效產生方法，其中左 聲道空間殘響處理器及右聲道空間殘響處理器分別由 有限長度脈衝響應（F I R)濾波器所組成。 2 5、如申請專利範圍第2 3項之立體音效產生方法，其中該 左聲道空間殘響處理器為一第一濾波器，該右聲道空 間殘響處理器為一第二濾波器，而該第一濾波器與該 第二濾波器之間之相關性很低。。

第23頁