TWI577194B - 環境音源辨識系統及其環境音源辨識之方法 - Google Patents

Description

環境音源辨識系統及其環境音源辨識之方法

本發明係關於一種環境音源辨識系統及其環境音源辨識之方法，特別是一種可以方便地建立三維聲場之環境音源辨識系統及其環境音源辨識之方法。

隨著科技的進步，現代社會對於身障者的輔助工具也日益增加，例如輔助聽障人士的助聽器。然而，現今輔助聽障人士的助聽器或是其他偵測聲音的裝置僅能表現當下環境中發出的聲音，無法追蹤稍縱即逝的聲音的來源，也無法持續追蹤發聲的物體的軌跡，對於聲音的頻率或強度更無法掌握。如此一來，偵測聲音的裝置的使用上就會受到限制，使用者無法再做其他延伸的應用。

因此，有必要發明一種新的環境音源辨識系統及其環境音源辨識之方法，以解決先前技術的缺失。

本發明之主要目的係在提供一種環境音源辨識系統，其具有可以方便地建立三維聲場之效果。

本發明之另一主要目的係在提供一種用於上述系統的環境音源辨識之方法。

為達成上述之目的，本發明之環境音源辨識系統用以辨識目標物，目標物可發出聲音。環境音源辨識系統包括複數之聲音感測模組、三維掃描裝置、訊號記錄模組及處理模組。複數之聲音感測模組係分別設置於不同平面之位置，用以個別接收從目標物所發出之聲音，以得到複數之聲音感測訊號。三維掃描裝置用以掃描環境，以產生三維環境影像資料，其中三維環境影像資料包括目標物之影像。訊號記錄模組係電性連接三維掃描裝置及複數之聲音感測模組，用以記錄複數之聲音感測訊號及三維環境影像資料。處理模組係電性連接訊號記錄模組，用以根據複數之聲音感測訊號及複數之聲音感測模組之間之相對位置計算目標物之位置，並依據三維環境影像資料以建立三維聲場。

本發明之環境音源辨識之方法包括以下步驟：利用設置於不同平面之位置之複數之聲音感測模組接收從目標物所發出之聲音，以得到複數之聲音感測訊號；掃描環境，以產生三維環境影像資料，其中三維環境影像資料包括該目標物之影像；記錄複數之聲音感測訊號及三維環境影像資料；以及根據複數之聲音感測訊號及複數之聲音感測模組之間之相對位置計算目標物之位置，並依據三維環境影像資料以建立三維聲場。

為能讓 貴審查委員能更瞭解本發明之技術內容，特舉較佳具體實施例說明如下。

以下請先參考圖1係本發明之環境音源辨識系統之架構示意圖。

本發明之環境音源辨識系統10可以為一電腦系統、一可攜式裝置或一穿戴式裝置，用以辨識四周的環境及一目標物90，該目標物90可發出一聲音，但本發明並不限制目標物90的種類。該環境音源辨識系統10包括複數之聲音感測模組、三維掃描裝置30、訊號記錄模組40及處理模組50。複數之聲音感測模組可以為高敏度之麥克風，且以本發明之一實施方式來說，複數之聲音感測模組可包括第一聲音感測模組21、第二聲音感測模組22、第三聲音感測模組23及第四聲音感測模組24，但本發明並不限於此數量。第一聲音感測模組21、第二聲音感測模組22、第三聲音感測模組23及第四聲音感測模組24係分別設置於不同平面之位置。當目標物90發聲時，第一聲音感測模組21、第二聲音感測模組22、第三聲音感測模組23及第四聲音感測模組24就用以分別接收從該目標物90所發出之聲音，藉以得到複數之聲音感測訊號，其中聲音感測訊號可以包括偵測得到聲音之頻率、時間及方向來源等數值，但本發明並不限於此。

三維掃描裝置30可為非接觸式主動掃描器或非接觸式被動掃描器，用以掃描環境音源辨識系統10四周的環境，以產生一三維環境影像資料。而當中三維環境影像資料包括該目標物90之影像。訊號記錄模組40係為具有儲存功能的儲存裝置，以電性連接該三維掃描裝置30及該複數之聲音感測模組。當三維掃描裝置30及第一聲音感測模組21、第二聲音感測模組22、第三聲音感測模組23及第四聲音感測模組24對目標物90截取得到三維環境影像資料及複數之聲音感測訊號時，訊號記錄模組40藉以記錄及儲存該複數之聲音感測訊號及該三維環境影像資料。

最後處理模組50係電性連接訊號記錄模組40，用以從訊號記錄模組40讀取出需要的數據，以根據該複數之聲音感測訊號及該第一聲音感測模組21、第二聲音感測模組22、第三聲音感測模組23及第四聲音感測模組24之間之一相對位置計算該目標物90之三維座標，最後再依據三維環境影像資料以建立三維聲場。三維聲場中除了表示目標物90的位置外，也可以同時表示出發聲的目標物90的數量、發聲時間、移動軌跡、聲壓值(SPL)或聲源強度等數值，但本發明並不限於此。需注意的是，第一聲音感測模組21、第二聲音感測模組22、第三聲音感測模組23及第四聲音感測模組24之位置可以設置在為預設位置上，因此處理模組50可直接得知複數之聲音感測模組之間之該相對位置來進行計算。但於本發明之另一個實施方式中，也可以進一步利用三維掃描裝置30掃描第一聲音感測模組21、第二聲音感測模組22、第三聲音感測模組23及第四聲音感測模組24，以精確得知第一聲音感測模組21、第二聲音感測模組22、第三聲音感測模組23及第四聲音感測模組24之間之該相對位置，因此可彈性地任意設置複數之聲音感測模組之間之相對位置。

環境音源辨識系統10更包括顯示模組61，係電性連接處理模組50，用以將處理模組50計算得到的結果告知使用者，以利用顯示一立體影像以標示處理模組50計算得到之三維聲場，即該目標物90的位置、數量、發聲時間、移動軌跡、聲壓值、頻率或聲源強度等數值，以進行更進一步的統計分析。

需注意的是，環境音源辨識系統10具有的各模組可以為硬體裝置、軟體程式結合硬體裝置、韌體結合硬體裝置等方式架構而成，例如訊號記錄模組40及處理模組50可以為儲存於一電腦可讀取媒介中的應用程式產品，三維掃描裝置30、第一聲音感測模組21、第二聲音感測模組22、第三聲音感測模組23及第四聲音感測模組24則為外接之延伸裝置，或是上述模組皆設置於相同的可攜式裝置、穿戴式裝置內，但本發明並不以上述的方式為限。此外，本實施方式僅例示本發明之較佳實施例，為避免贅述，並未詳加記載所有可能的變化組合。然而，本領域之通常知識者應可理解，上述各模組或元件未必皆為必要。且為實施本發明，亦可能包含其他較細節之習知模組或元件。各模組或元件皆可能視需求加以省略或修改，且任兩模組間未必不存在其他模組或元件。

圖2係本發明之一實施方式中之計算目標物位置之示意圖。

圖2係以同一平面的第一聲音感測模組21、第二聲音感測模組22、第三聲音感測模組23為例進行說明計算方式，但第一聲音感測模組21、第二聲音感測模組22、第三聲音感測模組23其實並不限定要在同一平面，本發明也不限定只能用此方法算出目標物90的位置。

就如同圖2所示，當第一聲音感測模組21、第二聲音感測模組22、第三聲音感測模組23接收到目標物90的聲音後，處理模組50係利用下列的公式算出目標物90的位置： θ _ij=cos ^-1(cΔt _ij/d _ij)及θ _jk=cos ^-1(cΔt _jk/d _jk)。

其中θ _ij為第一聲音感測模組21與第二聲音感測模組22到目標物90之間的夾角，d _ij為第一聲音感測模組21與第二聲音感測模組22之間的直線距離，c△t _ij是第一聲音感測模組21與第二聲音感測模組22之間相夾θ _ij情況下的直角的相對距離。同樣地，θ _jk為第二聲音感測模組22與第三聲音感測模組23到目標物90之間的夾角，d _jk為第二聲音感測模組22與第三聲音感測模組23之間的直線距離，c△t _jk是第二聲音感測模組22與第三聲音感測模組23之間相夾θ _jk情況下的直角的相對距離。如此一來，當得知角度θ _ij及θ _jk後，即可以算出目標物90之位置。另外在三維空間中也可以利用類似的方式計算出目標物90之位置。由於算出目標物90之位置有很多種方式，本說明書僅為舉例說明，本發明並不以此公式為限。

接著請參考圖3係本發明之環境音源辨識之方法之步驟流程圖。此處需注意的是，以下雖以上述環境音源辨識系統10為例說明本發明之環境音源辨識之方法，但本發明之環境音源辨識之方法並不以使用在上述相同結構的環境音源辨識系統10為限。

首先進行步驟301：利用設置於不同平面之位置之複數之聲音感測模組接收從該目標物所發出之該聲音，以得到複數之聲音感測訊號。

首先將第一聲音感測模組21、第二聲音感測模組22、第三聲音感測模組23及第四聲音感測模組24設置於不同平面之位置上，用以分別接收從該目標物90所發出之該聲音，以得到複數之聲音感測訊號。

接著進行步驟302：掃描一環境，以產生一三維環境影像資料。

其次三維掃描裝置30掃描環境音源辨識系統10四周的環境，以產生一三維環境影像資料。三維環境影像資料亦包括了目標物90之影像。

接著進行步驟303：記錄該複數之聲音感測訊號及該三維環境影像資料。

接著將該複數之聲音感測訊號及該三維環境影像資料記錄及儲存訊號記錄模組40內。

再進行步驟304：根據該複數之聲音感測訊號及該複數之聲音感測模組之間之一相對位置計算該目標物之位置，以建立一三維聲場。

接著處理模組50用以根據該複數之聲音感測訊號及該第一聲音感測模組21、第二聲音感測模組22、第三聲音感測模組23及第四聲音感測模組24之間之一相對位置計算該目標物90之三維座標，以依據三維環境影像資料建立一三維聲場。三維聲場中除了表示出發聲裝置，也就是目標物90的位置外，也可以同時表示出目標物90的數量、發聲時間、移動軌跡、聲壓值(SPL) 、頻率或聲源強度等數值，但本發明並不限於此。

最後進行步驟305：顯示該目標物的三維聲場。

最後顯示模組61可以將處理模組50計算得到的三維聲場告知使用者，例如可以顯示一立體影像以標示該目標物90的位置、數量、發聲時間、移動軌跡、聲壓值、頻率或聲源強度等數值。如此一來就可以明確得知聲音的發聲來源、距離、數量、頻率、時間及方向來源等，以進行更進一步的統計分析。

此處需注意的是，本發明之環境音源辨識之方法並不以上述之步驟次序為限，只要能達成本發明之目的，上述之步驟次序亦可加以改變。

如此一來，即可以方便地建立三維聲場，讓使用者利用視覺、聽覺或觸覺等方式，得知聲音之頻率、時間及方向來源及其表現出的三維聲場。

需注意的是，上述實施方式僅例示本發明之較佳實施例，為避免贅述，並未詳加記載所有可能的變化組合。然而，本領域之通常知識者應可理解，上述各模組或元件未必皆為必要。且為實施本發明，亦可能包含其他較細節之習知模組或元件。各模組或元件皆可能視需求加以省略或修改，且任兩模組間未必不存在其他模組或元件。只要不脫離本發明基本架構者，皆應為本專利所主張之權利範圍，而應以專利申請範圍為準。

10‧‧‧環境音源辨識系統
21‧‧‧第一聲音感測模組
22‧‧‧第二聲音感測模組
23‧‧‧第三聲音感測模組
24‧‧‧第四聲音感測模組
30‧‧‧三維掃描裝置
40‧‧‧訊號記錄模組
50‧‧‧處理模組
61‧‧‧顯示模組
90‧‧‧目標物
c△tij、c△tjk、dij、djk 夾角θij、θjk‧‧‧距離

圖1係本發明之環境音源辨識系統之架構示意圖。 圖2係本發明之一實施方式中之計算目標物位置之示意圖。 圖3係本發明之環境音源辨識之方法之步驟流程圖。

10‧‧‧環境音源辨識系統

21‧‧‧第一聲音感測模組

22‧‧‧第二聲音感測模組

23‧‧‧第三聲音感測模組

24‧‧‧第四聲音感測模組

30‧‧‧三維掃描裝置

40‧‧‧訊號記錄模組

50‧‧‧處理模組

60‧‧‧告知模組

61‧‧‧顯示模組

62‧‧‧發聲模組

63‧‧‧震動模組

90‧‧‧目標物

Claims (12)

1. 一種環境音源辨識系統，用以辨識一目標物，該目標物可發出一聲音，該環境音源辨識系統包括： 複數之聲音感測模組，係分別設置於不同平面之位置，用以個別接收從該目標物所發出之該聲音，以得到複數之聲音感測訊號； 一三維掃描裝置，用以掃描一環境，以產生一三維環境影像資料，其中該三維環境影像資料包括該目標物之影像； 一訊號記錄模組，係電性連接該三維掃描裝置及該複數之聲音感測模組，用以記錄該複數之聲音感測訊號及該三維環境影像資料；以及 一處理模組，係電性連接該訊號記錄模組，用以根據該複數之聲音感測訊號及該複數之聲音感測模組之間之一相對位置計算該目標物之位置，並依據該三維環境影像資料以建立一三維聲場。
2. 如申請專利範圍第1項所述之環境音源辨識系統，其中該三維掃描裝置係進一步藉由掃描該複數之聲音感測模組，以得知該複數之聲音感測模組之間之該相對位置。
3. 如申請專利範圍第1項所述之環境音源辨識系統，其中該處理模組係進一步於該三維聲場內標示該目標物之移動軌跡。
4. 如申請專利範圍第1項所述之環境音源辨識系統，其中該處理模組係進一步於該三維聲場內標示該目標物之發聲時間。
5. 如申請專利範圍第1項所述之環境音源辨識系統，該環境音源辨識系統具有一顯示模組，藉以利用一立體影像以顯示該三維聲場。
6. 如申請專利範圍第1項所述之環境音源辨識系統，其中該複數之聲音感測模組係進一步偵測得到該聲音之一頻率、一時間及一方向來源。
7. 一種環境音源辨識之方法，係用於一環境音源辨識系統以辨識一目標物，該目標物可發出一聲音，該方法包括以下步驟： 利用設置於不同平面之位置之複數之聲音感測模組接收從該目標物所發出之該聲音，以得到複數之聲音感測訊號； 掃描一環境，以產生一三維環境影像資料，其中該三維環境影像資料包括該目標物之影像； 記錄該複數之聲音感測訊號及該三維環境影像資料；以及 根據該複數之聲音感測訊號及該複數之聲音感測模組之間之一相對位置計算該目標物之三維座標，並依據該三維環境影像資料以建立一三維聲場。
8. 如申請專利範圍第7項所述之環境音源辨識之方法，其中進一步包括藉由掃描該複數之聲音感測模組，以得知該複數之聲音感測模組之間之該相對位置之步驟。
9. 如申請專利範圍第7項所述之環境音源辨識之方法，進一步包括於該三維聲場內標示該目標物之移動軌跡之步驟。
10. 如申請專利範圍第7項所述之環境音源辨識之方法，進一步包括於該三維聲場內標示該目標物之發聲時間之步驟。
11. 如申請專利範圍第7項所述之環境音源辨識之方法，其中進一步包括利用一立體影像以顯示該三維聲場之步驟。
12. 如申請專利範圍第7項所述之環境音源辨識之方法，其中得到複數之聲音感測訊號之步驟進一步偵測得到該聲音之一頻率、一時間及一方向來源。