TW201506915A - 針對空間中多音源進行萃取出單一音源的方法及裝置 - Google Patents

Abstract

本發明涉及一種針對空間中多音源進行萃取出單一音源的方法。此方法為利用多個薄膜感測器以及本發明之延時調整器得到各音源的唯一延遲時間組合，以波形萃取器析出空間中各位置之音源波形，並以本發明之聲音分類器歸納出相同波形的音源群，再進行去異求同之淨化處理，獲得可任意選取的特定音源之高品質聲音訊號。本發明可應用於一切聲音接收設備。

Description

針對空間中多音源進行萃取出單一音源的方法及裝置

本發明是有關於一種聲音處理方法及裝置，特別是指一種利用多個薄膜感測器蒐集聲音訊號並進行聲音訊號處理方法及裝置。

人們不論在日常生活中、講堂上、表演欣賞時，經常會有想要聽清楚特定聲音來源而不想受到該特定聲音以外之聲音干擾的需求。實際情況例如，與人在路邊談話時，受到附近施工噪音干擾導致談話無法進行；搭乘捷運時透過耳機聽音樂，受到列車行駛音量影響而必須將音樂音量開到極大；課堂上或音樂會時只想聽到台上聲音，而不想聽到鄰座談話。

現有聲音處理設備，例如助聽器，大多只能將接收到的聲音訊號進行放大處理，但連同噪音也被放大。國際公開WO2007/098768號專利揭露一種助聽器內的全向性(OMNI)與指向性(DIR)模式自動切換技術。在較安靜的場合，OMNI模式提供較佳的傳達效果，聽者可清楚聽見來自側面或後方音源傳出的聲音。在嘈雜的場所，DIR模式提 供較佳的效果，僅處理來自前方的信號，藉此，聽者可清楚聽見例如其面對面之對象所說的話。這種助聽器是以監測輸入信號的頻譜及時間調制並計算一評估指數，來決定採用OMNI模式或者DIR模式，並且透過兩耳麥克風分別輸出。

WO2008/028484號專利揭露一種基於直方圖的可進行聲音環境分類的助聽器，先將未經處理的聲音輸入映射到代表聲音特徵的特性參數，進行特徵提取、確定直方圖值，接著根據多頻帶水平直方圖將聲音環境分類為語音、含糊不清的語音、餐館嘈雜、音樂，及交通噪音等種類，以便助聽器的處理器做進一步的處理。

然而，上述先前技術，僅僅是對聲音環境做兩種以上的分類後進行模式切換或其他處理，尚無法針對空間中多個音源進行識別以及對目標音源聲音進行提取，此所獲得的單一聲音，仍無法辦到：「完全去除與此單一聲音無關的微小雜、噪音，及純然只留下此單一聲音波形，並可做極高倍率的放大，在放大後仍無任何其他聲音波形滲入」。舉例來說，當聽者正前方有多個音源，例如遠處講台上的聲音以及前座人員談話聲音，該聽者想聽清楚其中講台上講師的聲音(目標音源)，現有技術只能使所有正前方的所有聲音信號提高品質或者抑制被歸類為噪音的聲音，並無法做到辨別音源及提取、淨化的效果，因此仍無法幫助聽者聽清楚目標音源聲音。

因此，本發明之目的，即在提供一種針對空間中多音源進行萃取出單一音源的方法，可於空間中辨別多種音源並萃取出純粹的、可任意選取的目標音源聲音。本發明對空間多音源可任意選取並淨化選取之音源，使其無任何雜、噪音，可說是一種處理聲音方法的變革。

本發明針對空間中多音源進行萃取出單一音源的裝置，包含至少四個薄膜感測器、一組類比對數位的轉換單元、一延時調整器及波形萃取器，及一聲音分類器。該等薄膜感測器非直線地在空間中間隔排列，例如空間X，Y，Z三軸及原點至少各一個，其他則可於XY，YZ，XZ平面上置放排列，以接收空間中之各聲音訊號。其次轉換單元包括數量對應該等薄膜感測器的轉換器，該等轉換器可以是一致的或以一個多對一類比多工器對一組轉換器，但須多少個薄膜就有多少個頻道的類比多工器。該等轉換器與該等薄膜感測器對應連接並將類比的聲音訊號轉換為數位訊號。該延時調整器與該轉換單元連接，求出空間不同位置之相異音源各自的唯一的延遲時間組合，依延遲時間組合再以波形萃取器析出空間各位置之音源波形。而後聲音分類器再將波形相同歸納成單一音源群，此音源群即為此對應的音源波形。

本發明之功效在於利用多個薄膜感測器以及本發明之延時調整器得到各音源的唯一延遲時間組合，再以波形萃取器析出空間各位置之音源波形，並利用本發明之聲音分類器歸納出相同波形的音源群，再進行去異求同之 淨化處理，獲得特定音源之高品質聲音訊號。本發明可應用於助聽器、電子耳、電視耳及複雜音源之智慧型接收設備。

k1~k4‧‧‧薄膜感測器

2‧‧‧轉換單元

11~14‧‧‧轉換器

2‧‧‧延時調整器及波形萃取器

3‧‧‧聲音分類器

4‧‧‧淨化器

5‧‧‧輸出單元

1000~1009‧‧‧步驟

本發明之其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：圖1是一系統方塊圖，說明本發明針對空間中多音源進行萃取出單一音源的裝置的較佳實施例的系統架構；圖2是一示意圖，以球面座標示意說明一音源將聲音送到多個薄膜感測器；圖3是一流程圖，說明本發明針對空間中多音源進行萃取出單一音源的方法步驟；圖4是一對應於圖1中延時調整器與聲音分類器部分的詳細硬體圖；及圖5是一聲音分類元件的結構圖。

參閱圖1，本發明針對空間中多音源進行萃取出單一音源的裝置之較佳實施例主要包含(1)至少四個置於原點及X，Y，Z軸排列的薄膜感測器k1、k2、k3、k4(統稱K)、(2)連接薄膜感測器K且將聲音類比信號轉換為數位信號的轉換單元1(圖中包括轉換器11、12、13、14)、(3)將聲音之延遲時間組合及聲音波形析出之延時調整器及波形萃取器2(包括多個延時調整元件及波形萃取元件)、(4) 將音源分類的聲音分類器3(包括多個聲音分類元件)、(5)連接該聲音分類器且去除雜音的淨化器4，及(6)輸出單元5。本實施例以四個薄膜感測器K舉例說明。

配合參閱圖2，依據幾何聲學中射線追蹤技術，由於空間不同位置之相異音源l，每一音源l與各該薄膜感測器k1、k2、k3、k4間的距離不同、延遲時間m _kl 不同，因此每一音源l對該等薄膜感測器K，有一組延遲時刻的集合{m _kl } _k=0~3,l=1~n ，本發明定義此為唯一的延遲時間組合(Unique Multi-sensor Delay Time Set，UMDTS)。因此本發明之延時調整器2針對每一音源建立其與該等薄膜感測器K間(具體技術容後說明)。每一個不同空間位置的音源，對所有的感測器皆有自己的UMDTS，這是一對一的對應關係。本發明藉此特性辨別不同位置的音源，再以聲音分類器，波形萃取器析出空間各音源波形予歸納分類等處理，達到萃取空間音源波形及歸納出不同音源群，以提取我們所須的音源波形的目的。因此，即便是同一方向，遠近不同之音源聲音相互疊合，由於各該音源對該等薄膜感測器K的延遲時間組合不同，在本發明都能被提取、分類，使提取分類後的音源波形，不含其他音源。

有關本發明的空間特性說明如下。由於該等相異音源所存在的空間為線性空間(linear space)，也就是多個相異音源共存且相互間無耦合作用，因此適合以線性系統運算訊號資料。在此條件下，所接收到的數據，並無音源間互相調變(inter-modulation)作用的非線性數據存在。若空 間中有音爆音源產生，使空氣介質變成非線性介質，以致於空氣介質的振動不能代表音源波形，故使音源波形失真，則這部分音源非本發明處理對象。

有關本發明的音源特性說明如下。一音源發出的聲波(本文所述聲波皆包含超音波)可直接或間接經反射、折射、散射進入薄膜感測器K，其中間接入射之傳遞路徑不同，延遲時間也不同，但就本發明來說皆屬等效音源，需被處理歸類為同一音源群。本發明針對不管直接入射或間接多重反、散、折射進入接收機，只要是同音源群其聲音波型相同之特性，即進行歸類處理。

以下配合圖3至圖5說明本實施例聲音訊號處理方法。首先，該等薄膜感測器K接收聲音類比訊號，由各自對應的轉換單元1轉換為數位訊號。這時候的數位訊號是來自多個音源的聲波疊合訊號。該等聲波疊合訊號傳送到延時調整器及波形萃取器2。

本實施例之延時調整器2利用以下方法建立且記錄UMDTS。以直接入射的狀態來說，音源l共N個，任一薄膜感測器k(即k1~k4其中任一，以下以代號k表示)所接收的空間中整體音源訊號v _k (n)，v _k (n)為N個音源l的聲音重疊並經類比轉數位後的結果：

其中，u _l (n-m _kl )代表音源l直接入射到薄膜感測器k時，該薄膜感測器k所接收到的純量音源訊號，n代表時 刻，k=0，1，2，3，代表4個薄膜，k1薄膜其k=0，k2薄膜其k=1，k3薄膜其k=2，k4薄膜其k=3。m_kl 為薄膜感測器k到第l個音源的延遲時刻。

當空間音源l，以一次反、散射，進入到薄膜感測器k，薄膜感測器k所接收到的波形記為：。由於一次反散射，皆是來自於環境或物體之邊界(簡稱邊界)，若有N1個點，皆產生一次反散射，而此N1個點，皆位於環境或物體之邊界的不同位置，並經由一次反、散射的傳播方式，再進入薄膜感測器k，故u _l (t)從發射端，經由一次反、散射的路徑到感測器k，於空間中邊界不同位置的N1個點之一次反散射「總成之延遲時間」以代表；音源l從發射端到接收端感測器k之「衰減量」以代表；故完整的接收波形為。另，此一次反、散射的波形，為來自於空間中之邊界，由不同位置N1個點，有N ₁個路徑，共同合成於接收端位置()k，故可寫成下式：

上式中，右式的波形由N ₁個位置所產生的一次反、散射項共同組成，其中之，代表音源l由發射端出發，經過邊界位置()i，以一次反、散射路徑，進入感測器k的延遲時刻；其中邊界位置()i：1、2、3...N ₁，代表音源l由發射端出發，經環境或物體邊界且以一次反、散射路徑進入感測器k者，其經過的環境或物體邊界。該N ₁個點，產生一次反、散射後，進入感測器k，以幾何射線追蹤理論而言，共有N ₁個路徑，該等路徑的衰減量可表達為： 。每一個衰減量包括：「音源l，在空間行進， 為空氣介質所吸收的衰減量」及「於邊界由一次反、散射係數，所產生的衰減量」，在本發明表示如下：

其中，為一次反、散射係數，且與邊界位置i 有關，與音源l無關。α ₀為空氣介質的衰減係數。 代表一次反、散射路徑。 ；位置()l為發射端，位置()k為N ₁個路徑 總接收端。

詳細來說，直接入射項u _l (t-τ _kl )，在空氣的延遲時 刻為τ _kl ，路徑長為c ₀ τ _kl ，空氣介質所吸收衰減量為。當我們測得直接入射項u _l (t-τ _kl )時，此直接入射項u _l (t-τ _kl )已將空 氣介質所吸收衰減量為併入此項。一次反、散射的路 徑經過位置i，其在空氣的延遲時刻為，比直接入射路徑， 多暫留的時刻，故其路徑長多出。因此一次 反、散射被空氣介質吸收的衰減量為：。所以，式2 可進一步表達為：

進一步來說，以二次反、散射進入薄膜感測器k者，為來自N2個邊界點、N2個路徑共同合成於接收端位置()k的波形，其為表達為： 或同理推出：

其中，為二次反、散射係數。總共因有二次反、 散射行為，所導引反、散射係數為：各位置j之第一次反、散射係數，乘上位置i之第二次反散射係數，即為 ，此乃以幾何射線追蹤其二次反、散射路徑的結 果。因產生第一次反、散射之各位置j，必有路徑到達位置i，以產生第二次反散射。音源l二次反、散射行為，每一反、散射路徑，在空間行進時，為空氣介質所吸收的衰減 量為，位置i之總衰減量為。綜 合各位置i，共(N ₂-1)個點，故有(N ₂-1)個路徑，共同合成於接收端位置()k處。

因此，推導n=1~N₀次的反、散射進入薄膜感測器k，該第n次反、散射進入薄膜感測器k者，為來自Nn個邊界點、Nn個路徑共同合成於接收端位置()k的波形波形一般式，記為： 其中，，i代表入射到薄膜感測器k前的位置，j₁代表i之前一次入射位置，j₂代表i之前二次入射位置，...依此類推。實際操作訊號記為：

該表示感測器k實測的n次反、散射訊號， 其中已包括一切衰減量，相較於式7中間的，亦為n 次反、散射訊號的表示，但不包括任何衰減量，其與直接入射訊號之差異，僅在於延遲時間不同。

當空間音源l發射聲波，進入到感測器k，感測器所接收到的波形為：直接入射波形，一次反、散射波形，二次反、散射波形，....，n次反、散射波形相累加，表示如下： 或針對各次反射、各反射點展開如下： 或針對各音源進一步展開如下：

其中，；l=1~N，n=1~N ₀,i=1~N _n 。以音源l=2 的多次反、散射各展開項舉例，列表說明如下：

薄膜感測器k在時間t接收到對應於第l音源發射聲波的電壓為v _kl (t)。所以式10，也就是薄膜感測器k在時間t接收到的總電壓可改寫為： 其中， 令，，m代表第l音源第m次的反、散射。

至於該薄膜感測器k從第l音源收到經第m次到第N₀次反、散射，最後由位置i所收到的累積電壓表示如下：

薄膜感測器k在時間t接收到的總電壓可進一 步改寫如下： 以音源群l來說，波形總和就是。其中， u _l (t-τ _kl )代表直接入射音源項，代表多次反、散射音 源項。若l值不同，代表相異音源群。

接下來，該延時調整器2將來自該等薄膜感測器K且經過轉換單元進行數位轉換的信號，儲存於其內部的「同時讀寫之記憶體(dual port SRAM)」(圖未示)儲存，進行前置處理並以適應性的方式控制A/D Convertor取樣時序，並將所取樣的音源波形，寫入其內部的「延時調整器專用記憶體(Delay Time Adjustor Dual SRAM)」(圖未示)，並且寫入聲音分類器3內部的「聲音分類器專用記憶體(Speech Classifier Dual SRAM)」(圖未示)，藉此記錄所有操作狀態。

以下說明延時調整器2如何找出各該音源的UMDTS。首先，進行頻域分析。本發明取樣時距T _s =62.5μs， 頻寬即其倒數，其中，κ：0~255。

因此，式14可表達為：

其中的。 令，，上式整理為：

接下來，求解 其中，ω _mk =2πf _mk ，,k=0,1...(M-1),m=0,1,...255 ，f _mk [0,16KHz]，且f _mk 每步進為62.5Hz。

本實施例提取正規特徵基底函數(normalized eigen function basis)[cos(．),sin(．)]，取樣週期為T(16ms)、取樣時距為Ts(62.5μs)、轉換頻寬為[0，16KHz]、取樣頻率解析度fs(62.5Hz)，於時域週期內共取樣256點(須實現IFFT 256點)，相同的，於頻域頻寬內共取樣256點(須實現FFT 256點)。事實上，薄膜感測器K的個數牽涉波形之頻率解析度。本實施例以四個薄膜感測器、取樣週期T為16ms並行處理，以達到快速提取目的。

式9所述完整波形中的直接入射項，經傅立葉表示後如下： 其中，。本發明定義一分類相位。

式9所述完整波形中的已經經過衰減，且 為薄膜感測器k的實測接收訊號，n次反、散射音源項總成 如下： 其中，， 。

所以，直接入射項加上N₀次反、散射音源項表示如下： 其中，：為l第音源直接入射傅立葉頻率係數。

：為l第音源間接入射傅立葉頻率係數。 以數位表示則為： 其中，f _mk =κ _mk ．62.5Hz，t=n．62.5μs，且f _s =62.5Hz，f _o =N．f _s =16kHz N=256，T _o =NT _s =16ms

同理可推 首先定義直接音源加法運算子： 於時刻區間[m _kl -256,m _kl -1]，接收機已收到q個直接音源，於時刻區間[m _kl ,m _kl +P-1]，接收機收到(q+1)個直接音源， 即m _kl 延遲時刻過後，第l個直接音源又進入接收機，此為最新析出直接音源，同理；於時刻區間，接收機已收到r個n次反、散射間接音源，於時刻區間，接收機收到(r+1)個n次反、散射間接音源，即延遲時刻過後，第l個n次反、散射間接音源又進入接收機，此為最新析出n次反、散射間接音源，以上所有P≦10，故間接音源以加法運算子操作 所有頻率元素的係數如下：

當所有頻率元素的係數被析出後，則空間各音源群，所含的直接入射音源項及n次反、散音源項，被萃取出來且如下所述：依式18，直接入射音源項： 依式23，第1,2,...n次反、散射音源項：

當系統對感測器k要求音源l之直接入射音源項時，我們採用，萃取直接音源。又當系統對感測器k要求音源l之一次反散射音源項時，我們採用萃取一次反散射音源。同理，系統須2,3,....N ₀次反散射音源項時，我們則採用萃取2,3,....N ₀次反散射音源。對不同的每一感測器k(k=0,1,2...,(M-1))，M=4，於時域週期(T)及頻域頻寬(f ₀)內，皆有256個樣本點，若時間延長到NT時，於時域就有256N樣本點。於頻域頻寬內，其波形則變動N次，在此皆以音源波形記錄器，記錄下所有的波形資料。

在聲音分類器3中的語音合成器中，每次以256筆資料為一個資料框架(data frame)，且由於聲音為非週期性訊號，因系統轉換為週期形式，故產生不匹配介面，須將資料框架重疊輸入到萃取硬體，以使框架時域邊緣(時刻在230~255)可以匹配，且在輸入的前端加上漢寧窗戶(Hanning window)，以防止訊號在框架邊緣產生失真，針對M個不同的感測器，每一感測器皆在週期內，具256個樣本點，故對每一個相異音源，於週期內皆有256*M個樣本點。因此感測器越多個，音源訊號的解析度就越高。若觀測時間延長，各音源雖以週期性的傅立葉級數作轉換，但由於此設置(overlap input data frame and Hanning windows)， 不管訊號的形式如何，皆不失真。若我們所篩選音源，以各感測器，所萃取的訊號為多工器的輸入，以合成其各音源的輸出，自然增加其解析度；如於週期內(16ms)，每個感測器的輸出為256個樣本點，波形取樣率為16Ksps(samples per second)，若M=4，即有4個感測器，則此音源的取樣率為64Ksps，故於頻域此音源於16KHz的頻寬內，則共有1024個不同的頻率元素，其頻率解析度為15.625Hz。各個感測器皆有各自的時域波形萃取器及各自的頻域快速傅立葉轉換器，作並行處理及同時轉換，並依系統要求呈現直接音源項或多次反散射音源項。

於式23、24，可觀察出：音源只要存在於空間中皆可篩選並單獨萃取出現，故可做無限萃取。依實際操作而言直接入射音源項，其音源訊號由位置遠到近依序(l=1,2,...N)進入到接收機，多次反散射音源項，以同一音源而言，亦依1,2,...N ₀次反散射，每次反散射，亦依不同位置i，逐項進入到接收機。故依式9多次反散射音源項須進一步導入位置i的關係：

由上式轉成傅立葉級數則為

轉成數位表示如下：

k=0,1,2,3 i=1,2,...N ₁

：其l、n、i、k、m分別代表n 代表多重反、散射的次數

i 代表間接入射等效音源空間位置

k 代表薄膜編號

m 代表頻率

l 代表音源編號

位置i()的座標為(x _i ,y _i ,z _i )

如前所述，薄膜感測器k1，為置於系統原點O(0,0,0)，此為系統參考點。薄膜感測器k2為置於(a,0,0)；薄膜感測器k3為置於(0,b,0)；薄膜感測器k4為置於(0,0,c)。c ₀為音速。

由式31、32，得 由上式推導得如下： 其中

將x _i ,y _i ,z _i ，冠上(1)，表產生第一次反散射位置

由式36得知，只要給予一次反散射之從音源l，到4個薄膜感測器k的延遲時刻：

及各感測器之座標，即可析出所有空間介面上，所有的 一次反散射點的座標，故式36之一般式為：

而其中，各路徑之一次反散射延遲時刻為，由接收進來之感測器電壓：v _k ,k=0,1,2,3經由延時調整器析出延遲時刻，送到聲音分類器3，經分類後，自然可被識別，並獲得一次反散射的延遲時刻，經式36、37運算後，得各一次反散射點的座標，於今獨立預算所有介面點之n次反射的延遲時刻如下： 二次反散射路徑 c ₀為音速

同理：將x _i ,y _i ,z _i ，冠上(2)，表產生第二次反散射

同理：將x _i ,y _i ,z _i ，冠上(N ₀)，表產生第N ₀次反散射

由於空間中的多次反散射音源項，就每一音源而論是由此音源的1次2次...N₀次反散射按次序進到接收機的且每次的反散射，皆由遠方的位置到近方的位置逐次 進來到接收機，其形式為由逐次進來即n=1,2,3...N₀ 按次序進來對同一個n次反散射而言i=1,2,3...N_n使得由 小到大，逐項進來到接收機，而此項我們要萃取出來， 只要以延遲時刻所造成的析出即可，亦即只要乘上 之正交特徵基底即可析出 依此可合成波形再由之均方根值(root mean square)除上直接入射項u _l (t-τ _kl )之均方根值，而獲得而 可得l音源群： 其中v _k (n)參見式26。

如此一來，當系統對感測器k要求音源l之直接入射音源項時，我們採用，提取直接音源。又當系統對感測器k要求音源l之一次反散射音源項時，我們採用提取 一次反散射音源；系統須2、3、....N ₀次反散射音源項時，我們則採用提取2、3、....N ₀次反散射音源。

從延時調整器專用記憶體取樣，將第一次序音源u ₁(t-τ _k1) _{k=0,1,2.....(M-1)}調整出τ _k1，並在最新析出音源獲得u ₁(t-τ _k1)將τ _k1送到正交基底相位產生器(Generator)將最新析出音源送到聲音分類器。

對不同的薄膜感測器k，於時域週期(T)及頻域頻寬(f ₀)內皆有256個樣本點。若時間延長到NT時，於時域就有256N樣本點，於頻域頻寬內，其波形則變動N次，在此皆以音源波形記錄器，記錄下所有的波形資料。

本實施例之聲音分類器3是依據由延時調整器2建立且記錄的UMDTS，找出對應的各音源及其時域波形，並將各音源時域波形分別記錄於前置音源波形紀錄器。找出音源波形乃音源分離的第一步驟。由於聲波傳遞過程會被介質反射、折射、散射，因此找出的多個音源當中，有些音源發出的聲音強度不同但波形相同，這些波形相同的音源代表其源頭相同，接下來要針對聲波的波形相同的音源進行整合。本實施例是利用聲音分類器3中的正規暨交互關聯器、比較器、相位分類器以及位置分類器，將相同波形歸納為同一「音源群」。

接下來可查表得出各音源的方向及位置接下來，聲音分類器3利用FPGA(Field-programmable gate array現場可編程邏輯門陣列)實現內部管理，針對每一「音源群」賦予並記錄群編號、代表的音源次序編號、代表音源追蹤 編號，及記錄音源特性登錄資料，形成該音源群的「音源個人檔案」，且作為DSP的應用物件。前述音源特性登錄資料包括各特性的起始位址、資料長度，而所謂特性則包括1)音源時域波形、2)音源UMDTS參數集合；3)先後次序進入接收機或第1次序進入接收機之音源，其方向、位置；4)第1次序進入接收機之音源，其各方向、多次(1、2、3...次)反、散射衰減係數參數集合；5)音源頻域波形；6)音源頻域聲紋波形；7)於頻域各音源波形，其振幅最大的前10個之成分組成。

聲音分類器3並依據該音源群編號、音源次序編號及音源追蹤編號，追蹤出相異音源群的數量，並針對每一音源群歸納及登錄音源波形參數項目，包括直接音源的UMDTS及第2、3、4...次反、散射的UMDTS、衰減係數。藉由聲音分類器，我們可得知直接音源、多次反、散射音源之波形記錄。此時，執行音源分離，才算完成。

聲音分類器3中還包括語音合成器，在語音合成器中，每次以256筆資料為一個資料框架(data frame)進行處理。由於聲音為非週期性訊號，因系統轉換為週期形式，故產生不匹配介面，須將資料框架重疊輸入到萃取硬體，以使框架時域邊緣(時刻在230~255)可以匹配，且在輸入的前端加上漢寧窗戶(Hanning window)，以防止訊號在框架邊緣產生失真。針對該等感測器，每一感測器皆在週期內，具256個樣本點，故對每一個相異音源，於週期內皆有256*M個樣本點，因此感測器越多個，音源訊號的解 析度就越高，若觀測時間延長，各音源雖以週期性的傅立葉級數作轉換，但由於此設置(overlap input data frame and Hanning windows)，不管訊號的形式如何，皆不失真。

若我們所篩選音源，以各感測器，所萃取的訊號為多工器的輸入，以合成其各音源的輸出，自然增加其解析度；如於週期內(16ms)，每個感測器的輸出為256個樣本點，波形取樣率為16Ksps(samples per second)，若M=4，即有4個感測器，則此音源的取樣率為64Ksps，故於頻域此音源於16KHz的頻寬內，則共有1024個不同的頻率元素，其頻率解析度為15.625Hz，各個感測器皆有各自的時域波形萃取器及各自的頻域快速傅立葉轉換器，作並行處理及同時轉換，並依系統要求呈現直接音源項或多次反散射音源項。

每一個音源群，皆有直接入射項及多次反散射項，但同一音源群，其波形必定相同。接收機之感測器，從空間中所接收到的音源項次，以不同波形的相異音源群，交互、重疊、逐次進入感測器k，然我們可利用式22-1、式22-2、式28、式29，析出直接音源項頻率係數，多次反散射項頻率係數，以合成完整之音源群。但我們須知：從空間中所接收到的音源項次，混雜不同波形的相異音源群，交互、重疊、逐次進入感測器，吾人無法知：逐次進入的音源項是隸屬哪一音源群，故我們須利用正交基底函數，只要於析出時，固定音源次序l，在此條件下，所析出的頻率係數，多次反散射項頻率係數， 皆屬於同一音源群，並將之歸併於同一集合，雖然空間中相異音源群，致使各音源項交互、重疊進入感測器，但絕不至於混亂，這便是分類的動作，即固定音源次序l，利用式22-1、式22-2、式28、式29來擷取訊號，經語音編解碼器，以合成同一音源群。

如此萃取可得底下之資料：

1)各位置各次反散射波形

2)直接入射的波形u _l (t-τ _kl )

3)l音源群之完整波形

4)各n次反散射之所有位置

5)由各位置i，所產生各n次反散射的衰減係數

6)由n次反散射的衰減係數及(17)式求得：各位置i之反散射係數

以上1~6項為空間中任意音源傳波於空間區域及邊界交互作用之所有完整解，同時亦從空間中，眾相異音源萃取出我們所需要的音源，且可依系統命令獲得我們所需要的一切資料。同時我們可利用此萃取技術記錄所有音源行為及波形，建立空間中各音源之資料擷取系統，依此本萃取技術所建立的系統，為一完整系統。

接下來以語音淨化處理(去除雜音)程序，淨化單一音源波形。有關「相關性分析」說明如下。今有x ₁(r),x ₂(r)兩訊號作交互關聯性分析以r ₁₂(r)表示其關聯性的結果則關聯性表示如下：

實際x ₁(r),x ₂(r)於位置領域均為有限區域的訊號，故

其中

故 因此 且 故

以上n及j都表空間的位置於空間自我作自我 關聯即可將不同位置之雜訊去除且自我關聯能得到各點的純淨訊號功率。

至於語音淨化之描述，本發明將析出同一音源群之相同音源波形，就相同頻率係數，同一時刻對各不同n次反散射之不同位置i，作空間交互關聯，由於依被動理論所述延遲時刻表不同，即表空間位置不同，故當兩空間相異位置雜音交互關聯，亦代表不同延遲時刻之兩獨立雜音源交互關聯，所以兩相獨立之雜訊在此關聯下其關聯分析為0。

故用式53得下式

以上p'、j皆表示位置當反散射的次數n更改及位置i更改皆代表更改位置式55中p及p'各代表不同的位置且p'=p+j。

我們取波形頻率係數在同一頻率、時刻及相同音源之條件下，以不同之位置及多次反散射為變數作自我位置關聯得下式：

只要反散射次數n,n'位置i,i'位置p亦隨著更改故 波形頻率係數真正的變數為n,n' i,i'，雜訊波形分佈,n _a 為亦隨著位置做隨機亂數變動。其中代表不失真語音，即淨化語音之頻率係數。、n _a (n)代表雜訊分成下列幾類：

1)感測器將音壓轉成訊號的雜音

2)因空氣介質微振而導入的雜音

3)音波傳播時，因環境或物體邊界與其他音源產生微弱交互耦合，所串入的雜音

4)接收機前端電源、放大器、數位化系統硬體(如類比轉數位之量化雜音)所導入的雜音

以上所有雜音，為隨機獨立其互相間不相關連，亦因環境、位置、路徑、物件表面及系統硬體之不同，而其特性亦不同；而且其相位、振幅皆是亂數，亦隨著溫度、處理聲音頻寬之增加，而不斷做改變或提高。

以下為雜訊在處理、運算上共有特性：

1)兩獨立雜訊相乘後並積分一段時間T，其結果為0(變數為時間)

2)對雜訊作路徑積分其結果為0(變數為位置)

3)擷取空間中之各點位置或各區域，將分佈在其上的雜訊累加，其結果為0(變數為位置)

4)兩獨立雜訊之時間關聯性或空間關聯性，皆為0(變數為時間、位置)

5)以上適用於振幅雜音及相位雜音，此雜音的本質包含音壓雜訊、電子雜訊、聲音位移雜訊

其中

式58、59乃証明式56之正確性。故各位置的頻率係數，於空間中自我關聯的結果，即能獲得純淨頻率係數並完全去除雜訊，同理：

因為

其中

式61、62乃証明式60之正確性。

以上只要析出的波形頻率係數在相同的頻率時刻的條件下改變反散射次數n,n'位置i,i'對此兩種變數作空間位置的自我關聯，即可得到純淨的波形頻率係數，以此合成純淨的波形。

有關硬體實現的方法，空間任意相異音源依其與接收機之遠近距離，依序接收進來，最先進入M個感測器k(k=0,1,2...,(M-1))的音源稱為第一次序音源其l=1，經M組前端硬體(含M個薄膜，M個對數放大器，M個快速類比數位轉換器(Fast A/D Convertor))進入同時讀寫之記憶體 (dual port SRAM)儲存，由前置處理器以適應性的方式控制A/D Convertor取樣時序，並負責將所取樣的音源波形，寫入延時調整器專用記憶體(Delay Time Adjustor Dual SRAM)、聲音分類器專用記憶體(Speech Classifier Dual SRAM)及記錄所有操作狀態及延時調整器，聲音分類器的時序，控制資料讀寫、輸出入數列時序。

由延時調整器，從延時調整器專用記憶體取樣，將第一次序音源u ₁(t-τ _k1) _{k=0,1,2.....(M-1)}調整出τ _k1，並在最新析出音源 獲得u ₁(t-τ _k1)將τ _k1送到正交基底相位產生器(Generator)將 最新析出音源送到聲音分類器由相位產生器送出正交基底函數至音源萃取器音源萃取器依式22-1、22-2獲得波形頻 率係數()並送至聲音分類器做分類動作，由於進到聲音分類器為單一音源u ₁，無可比較分類相位，此時將分類相 位，定義為，且先將直接送至語音合成器(Voice Synthesizer)合成第一次序音源u ₁並記錄於前置音源記錄器，在經語音編解碼器(Voice Codec)送出。

第二道音源進來接收機，於延時調整器，先行調整出τ _k2，送到正交基底相位產生器，同時延時調整器，並將最新析出音源，送到聲音分類器。再由正交基底相位產生器，送出正交基底函數，至音源萃取器，音源萃取器依式22-1、22-2，獲得波形頻率係數()，並送至聲音分類器做分類動作，由聲音分類器，分類出兩組波形頻率係數()，聲音分類器具有分析其波形頻率係數的分類相位器，若分析出分類相位相同，則代表同一音源群，但非 直接入射項，主要的原因來自於：屬同一音源群音源之各音源，其第一次序音源進來接收機必然為直接入射音源，今UMDTS不同，延時調整器才會產生新的音源，在此情形下，為同一音源群，其位置又不同，故必然歸類到第一次反散射音源，故我們將此新的延遲時刻τ _k2，定義為，因為當我們在定義：第一次反散射參數時，最先進來的項次為位置1，因直接入射的分類相位定義為，多次反散射的分類相位定義為，此時歸類為第一次反散射位置1音源，故獲得，總此已獲得且將波形頻率係數()設置為()，又獲得並直接送至語音合成器(Voice Synthesizer)合成第一次序第一次反散射音源並記錄於前置音源記錄器，在經語音編解碼器(Voice Codec)送出。

若分類相位不同則屬於不同音源群，即為不同波形故歸類為另一音源群，且是屬於此音源群最先進入的音源，故是第二音源群之直接入射音源則延遲時刻τ _k2即為τ _k2分類相位即為，故獲得τ _k2、並將波形頻率係數()設置為()，並直接送至語音合成器(Voice Synthesizer)合成第二次序直接入射音源u ₂並記錄於前置音源記錄器，在經語音編解碼器(Voice Codec)送出。

第三道音源進來接收機，於延時調整器，先行調整出τ _k3，送到正交基底相位產生器，同時延時調整器，並將最新析出音源，送到聲音分類器。再由正交基底相位產生器，送出正交基底函數，至音源萃取器，音源萃取器依式22-1、22-2，獲得波形頻率係數()，並送至聲音分 類器做分類動作，由聲音分類器，分類出三組波形頻率係數()，聲音分類器具有分析其波形頻率係數的分類相位器，若分析出分類相位與其他兩組之某一組相同，則代表第三道音源同此音源群，經〈τ _k2〉 _{k=0,1,2.....(M-1)}所組成的位置比較器比較後獲得此第三道音源之傳播路徑特性，設為l=1(相位比較器而來)n=2，i=1(位置比較器而來)故我們將此新的延遲時刻τ _k2，定義為，獲得，總此已獲得且將波形頻率係數()設置為()，並直接送至語音合成器(Voice Synthesizer)合成第一次序第2次反散射音源並記錄於前置音源記錄器，在經語音編解碼器(Voice Codec)送出。

若分類相位不同則屬於不同音源群，即為不 同波形故歸類為另一音源群，且是屬於此音源群最先進入的音源，故是第三音源群之直接入射音源則延遲時刻τ _k3 即為τ _k3分類相位即為故獲得τ _k3、並將波形頻率係數 ()設置為()，並直接送至語音合成器(Voice Synthesizer)合成第二次序直接入射音源u ₃並記錄於前置音源記錄器，在經語音編解碼器(Voice Codec)送出。

依此程序我們獲得空間中之所有音源之所有傳播屬性(路徑特性：音源次序l，多次反散射n及n次反散射最後進入接收機之位置i及所有的波形記錄，並成立音源群之所有相關參數的資料庫而形成資料擷取系統，以下為各硬體方塊、功能、屬性：

1.延遲時間調整器(又稱延時調整器)：1)延時 調整器將各音源之UMDTS已調整出，同時獲得「最新析出之音源」。舉例：若單一音源進入接收機，則此音源之UMDTS 已由調整出，同時獲得此音源波形(即「最新析 出之音源」)。若再三個音源進入接收機，則此新三音源之 UMDTS已由調整出，同時亦獲得第 四次序進入接收機的音源波形(即「最新析出之音源」)。2)本硬體方塊內藏之「延時狀態偵測器」及多個「延時調整器」，借由此兩種硬體結構，及延遲時間方向對照表，使(1)快速調整出：音源對各薄膜感測器之延遲時間組合UMDTS(2)並萃取出最後進入接收機的音源波形，最新析出之音源，送到聲音分類器。(3)查方向對UMDTS表，以獲得各音源之方向及經方向距離換算表，以獲得各音源與感測器參考點之相對距離。

2.聲音分類器(又稱音源分類器)：由延時調整器， 將「最新析出之音源」送達聲音分類器，聲音分類器以其「最新析出音源分類器」將「最新析出之音源」分類為多次反、散射音源或直接音源，故將延時調整器送達之最新 析出音源，以正交相位分類器(分類相位、式26 中的)分類音源群l，位置分類器(式37、41、42) 判定反散射的次數n及位置i並分類之。(1)以正交相位分類器及位置分類器來判定延時調整器之送來最新析出音源，1)屬何音源群2)直接入射項或多次反散射項3)屬於第幾次反散射4)位置編號及座標。並將所有事關1、2、3、4 項的參數及UMDTS，登錄於前置語音記錄器後，由位置分類器所產生的多次反、散射音源波形之衰減係數，合成送回延時調整器，減少 送回延時調整器，減少負擔(2)聲音分類器管理單元檢查音源追蹤編號，其相位產生器送出正交基底函數至音源萃取器萃取出再送回聲音分類器，由聲音分類器內部的正交相位分類器及位置分類器來判定延時調整器之送來最新析出音源並將音源分類出音源群編號直接或多次反散射多次反散射的次數編號及位置編號並重新定義：延時調整器、音源萃取器送來為正式並將此群參數送到語音合成器篩選所需要的音源並將所有參數送到前置音源波形記錄器以建立資料庫最後由語音編解碼器輸出最後所需要的波形。(3)聲音分類器之位置分類器所產生的，可獲得送回延時調整器，減少負擔。

如上所述，聲音分類器萃取出所有音源波形，包括直接入射音源波形與多重反、散射音源波形並登錄，並歸類出相異音源群，同時亦完成直接音源群、一次反、散射音源群波形登錄且音源群於「前置音源波形記錄器」之「音源個人檔案系統」APFS自動更新。其中，直接音源群、一次反、散射音源群波形登錄，對淨化語音功能非常重要。

3.前置音源波形記錄器：登錄：a.「直接入射音源波形」；b.「多次反、散射音源波形」；c.「多次反、散射衰減係數」；d.「直接入射音源、多次反、散射音源」之延遲時間組合，UMDTS；e.「先後次序進入接收機或第l次序 進入接收機之音源，其方向、位置」；f.「第l次序進入接收機之音源，其各方向、多次(1、2、3...次)反、散射衰減係數參數集合」；g.「音源頻域波形」；h.「音源頻域聲紋波形」；i.「於頻域各音源波形，其振幅最大的前10個之成分組成」j.「音源群編號、音源次序編號、音源特性登錄資料及音源追蹤編號」及前置音源波形記錄器管理控制單元

4.語音合成器及語音編解碼器：由DSP晶片管理掌握，以a.篩選輸出之音源，刪除多餘之相異音源(如非想要音源或噪音)或b.由本專利撰寫加值軟體以掌握音樂之各音節延遲時間或振幅放大、縮小，以合成優美之音樂或合成柔和語音c.經數位多工器，將多音源，以時域多工技術混音成單一頻道，已達多方會談效果。

5.淨化語音處理器：本硬體將語音萃取器所產生的直接入射音源及多次反散射音源之波形頻率係數依(56)、(60)式兩式對相同音源群、相同的頻率、相同的時刻，對直接入射音源項、多次反散射音源項，以各不同的傳播路徑上之各邊界不同位置點，先將頻率係數相乘再相加，以產生純淨波形頻率係數：，並記錄於純淨波形記錄器，再由語音合成器及語音編解碼器輸出因為我們所處理的訊號為空間各音源的記錄值並且以萃取分類出各頻率的係數簡單講此係數，已不含其他「不同波形」的噪音(因l相同)且兩係數相乘的條件為：空間中位置不同兩係數相乘，因位置不同隱藏於係數中的雜訊，其相位為亂數分布，故不管對不同的位置及區域波形頻率係數作相 乘、相加後所有的雜訊將被去除，我們以此運算來做淨化處理可達訊號雜訊比為90dB純淨度。

有關本發明的多元應用：6.1)本發明於應用於助聽器、電視耳及複雜音源環境之智慧型接收機的描述。本發明將空間中相異音源經過萃取分類淨化三個過程，其輸出以不含雜噪音，並忠實於發聲者的原始語音故可作極高倍率的功率放大一般而言可達90~100dB且無任何雜噪音摻雜在裡面，可大大改善目前助聽器、電子耳、電視耳的缺點，並可在空間中任意選取多位指定者的語音，而作多方會談。6.2)本發明應用於：量測音源位置、移動速度及使用於追蹤鎖定音源目標，即所謂「聽音以辨位、判向、測距、測速、鎖定目標」的描述。依本發明的觀念及方法可推演出：足夠的精確技術用以識別空間中任意音源的位置，只要發音者或運動物體發聲，就可判別其位置、方向，並可時時保持其位置記錄，故可知其移動的速度，由於可時時保持紀錄其位置，故可達到追蹤鎖定的目的，即所謂「聽音以辨位、判向、測距、測速、鎖定目標」。6.3)本發明應用於：室內聲學、物件表面特性、缺陷的量測。本發明對多次反散射位置及表面的反散射係數，皆可精確的檢測出來，故可用來作物件表面的特性及缺陷的量測，因多次反散射係數，只要求出，即可得知物質的表面密度，在一個物質的均勻表面，若某一位置的密度，產生不連續的現象，即此位置的反散射係數值，發生差異，應用本發明的方法，即可馬上檢測出其缺陷；至於對室內聲學，本發 明在密閉的環境內，可測出空間中，所有直接音源的波形、多次反散射的波形及所有直接音源、間接音源的延遲時刻，並有充分的波形參數及資料庫記錄，故對研究室內聲學之所有參數，有極大的貢獻，如殘響時間(reverberation time)，室內諧振頻率，牆壁、物件吸收係數，皆可實測出，本發明之資料擷取系統之硬體及音源特性參數管理方法，可應用於：組成環境中各音源的特性參數資料庫，以做聲波之各種應用。

綜上所述，本實施例之延時調整器2能夠獨立產生UMDTS，且所有資料及訊號皆由其專用的音訊記憶體而來，且建立UMDTS過程，完全依靠延時調整器自我移位、差分、比較硬體得到。至於聲音分類器3，也有其專屬的音訊記憶體，藉此，延時調整器2與聲音分類器3的硬體所產生的音源訊號序列可相互獨立、不會互相影響、不會於時序上有所衝突，此對提取淨化語音，去除雜音，以作任意高增益放大，有莫大幫助，故確實能達成本發明之目的。

惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。

k1~k4‧‧‧薄膜感測器

1‧‧‧轉換單元

11~14‧‧‧轉換器

2‧‧‧延時調整器與波形萃取器

3‧‧‧聲音分類器

4‧‧‧淨化器

5‧‧‧輸出單元

Claims (10)

1. 一種針對空間中多音源進行萃取出單一音源的裝置，包含：至少四個薄膜感測器，非直線地在空間中間隔排列，接收空間中聲音訊號；一轉換單元，包括數量對應該等薄膜感測器的轉換器，該等轉換器與該等薄膜感測器對應連接並將類比的聲音訊號轉換為數位訊號；一延時調整器及波形萃取器，與該轉換單元連接，求出空間不同位置之相異音源之各自的唯一的延遲時間組合，並從混合、重疊的眾多波形中，析出空間中各音源波形；及一聲音分類器，與該延時調整器連接，依據該唯一的延遲時間組合找出對應的音源。
2. 如請求項1所述之針對空間中多音源進行萃取出單一音源的裝置，其中，該延時調整器及波形萃取器以各音源到各薄膜感測器k之延遲時刻組合，標示出空間中各直接、間接音源的位置，再析出各波形以延遲時刻組合，析出空間各音源之波形；亦即於頻域：為利用延遲時刻析出傅立葉頻譜係數，再合成各音源波形；於時域：為利用誤差方程式產生器，先以級數對延遲時刻點之波形展開，將誤差求到小數點以下10位，以運算出：最新析出音源波形，即最後次序音源，再求出最後第二次序音源，此求出步驟，亦以其延遲時刻 展開，經誤差方程式產生器，展到小數點以下10位，以運算出毫無誤差之波形，此數位演算持續到：所有波形皆被析出為止，在演算訊號過程中，所有確定信號值，皆來自於事關各延遲時刻組合之波形其交互替換之運算。
3. 如請求項1所述之針對空間中多音源進行萃取出單一音源的裝置，其中，該聲音分類器將波形萃取器所析出的單一聲音，不管直、間接音源，凡相同之波形皆歸類為同一音源群，則每一音源群，均登錄大量的資料，以供聲音淨化器作去除環境雜音之用。
4. 如請求項1所述之針對空間中多音源進行萃取出單一音源的裝置，還包含一淨化器，將析出後之同一音源群波形的大量資料，此資料皆具有相同波形不同環境雜音，以自我關聯器，就同一時區，對各個不同空間位置波形，做自我關聯，以去除不同部分：即雜訊；留下相同部分：即音源波形關聯後的結果：為每一時區具有一個淨化樣本；將時區畫分為每秒：384k、192k、96k、64k個時區故得淨化後的聲音為384k、192k、96k、64k sps；此種將時間畫分為各個時區，再針對各個時區，施予自我關聯，以去異求同，留下純淨的聲音，此謂之：局部自我關聯。
5. 如請求項1所述之針對空間中多音源進行萃取出單一音源的裝置，其中，該延時調整器及波形萃取器建立的延時組合(UMDTS)供進一步進行以下其中至少一之 作業：(1)確立所有音源於空間之位置；(2)於頻域及時域確立各音源之波形；(3)以幾何聲學對位置確立的聲音，進行傳播行為的追蹤，並從確立之多重反、散射波形紀錄，求出衰減係數；(4)依大量的直接、間接音源波形紀錄，以「局部性自我關聯」的自我關聯器，去除環境雜訊及薄膜振動的雜音，關聯後去異求同，用以壓抑雜、噪音，使在90dB以上，進而獲得純淨音源；及(5)依延遲時刻、延遲時刻組合、幾何聲學及具不同延遲時刻波形之交互訊號處理4種基本方法結構，以獲得：時、頻域波形；多重反、散射係數；空間所有音源位置；及不含雜、噪音之淨化音源。
6. 一種針對空間中多音源進行萃取出單一音源的方法，包含：使至少四個薄膜感測器非直線地在空間中間隔排列，接收空間中聲音訊號；利用一轉換單元，與該等薄膜感測器對應連接並將類比的聲音訊號轉換為數位訊號；利用一延時調整器及波形萃取器與該轉換單元連接，求出空間不同位置之相異音源之各自的唯一的延遲時 間組合，並從混合、重疊的眾多波形中，析出空間中各音源波形；及利用一聲音分類器與該延時調整器連接，依據該唯一的延遲時間組合找出對應的音源。
7. 如請求項6所述之針對空間中多音源進行萃取出單一音源的方法，其中，該延時調整器及波形萃取器以各音源到各薄膜感測器k之延遲時刻組合，標示出空間中各直接、間接音源的位置，再析出各波形以延遲時刻組合，析出空間各音源之波形；亦即於頻域：為利用延遲時刻析出傅立葉頻譜係數，再合成各音源波形；於時域：為利用誤差方程式產生器，先以級數對延遲時刻點之波形展開，將誤差求到小數點以下10位，以運算出：最新析出音源波形，即最後次序音源，再求出最後第二次序音源，此求出步驟，亦以其延遲時刻展開，經誤差方程式產生器，展到小數點以下10位，以運算出毫無誤差之波形，此數位演算持續到：所有波形皆被析出為止，在演算訊號過程中，所有確定信號值，皆來自於事關各延遲時刻組合之波形其交互替換之運算。
8. 如請求項6所述之針對空間中多音源進行萃取出單一音源的方法，其中，該聲音分類器將波形萃取器所析出的單一聲音，不管直、間接音源，凡相同之波形皆歸類為同一音源群，則每一音源群，均登錄大量的資料，以供聲音淨化器作去除環境雜音之用。
9. 如請求項6所述之針對空間中多音源進行萃取出單一音源的方法，還包含利用一淨化器將析出後之同一音源群波形的大量資料，此資料皆具有相同波形不同環境雜音，以自我關聯器，就同一時區，對各個不同空間位置波形，做自我關聯，以去除不同部分：即雜訊；留下相同部分：即音源波形關聯後的結果：為每一時區具有一個淨化樣本；將時區畫分為每秒：384k、192k、96k、64k個時區故得淨化後的聲音為384k、192k、96k、64k sps；此種將時間畫分為各個時區，再針對各個時區，施予自我關聯，以去異求同，留下純淨的聲音，此謂之：局部自我關聯。
10. 如請求項6所述之針對空間中多音源進行萃取出單一音源的方法，其中，該延時調整器及波形萃取器建立的延時組合(UMDTS)供進一步進行以下其中至少一之作業：(1)確立所有音源於空間之位置；(2)於頻域及時域確立各音源之波形；(3)以幾何聲學對位置確立的聲音，進行傳播行為的追蹤，並從確立之多重反、散射波形紀錄，求出衰減係數；(4)依大量的直接、間接音源波形紀錄，以「局部性自我關聯」的自我關聯器，去除環境雜訊及薄膜振動的雜音，關聯後去異求同，用以壓抑雜、噪音，使在90dB以上，進而獲得純淨音源； 及(5)依延遲時刻、延遲時刻組合、幾何聲學及具不同延遲時刻波形之交互訊號處理4種基本方法結構，以獲得：時、頻域波形；多重反、散射係數；空間所有音源位置；及不含雜、噪音之淨化音源。