TWI637361B

TWI637361B - 事件檢測方法、具有事件檢測機制的電子系統以及配件

Info

Publication number: TWI637361B
Application number: TW106107874A
Authority: TW
Inventors: 楊典儒; 孫良哲; 黃昱豪; 張智凱; 陳俊嘉; 王崇德
Original assignee: 聯發科技股份有限公司
Priority date: 2016-03-15
Filing date: 2017-03-10
Publication date: 2018-10-01
Also published as: TW201734966A; US20170270782A1; CN107197079A

Abstract

本發明公開一種事件檢測方法，應用於具有至少一個事件檢測模塊的電子系統中，包含：（a）啓用該至少一個事件檢測模塊；以及（b）應用在步驟（a）中啓用的該事件檢測模塊，以檢測在該事件檢測模塊的檢測範圍內是否有任何預定事件發生。

Description

事件檢測方法、具有事件檢測機制的電子系統以及配件

本發明所揭露之實施例有關於事件檢測，尤指一種事件檢測方法、具有事件檢測機制的電子系統。

智慧型電子裝置，如智慧型手機或平板電腦，最近已變得越來越流行。然而，許多用戶卻在行走時、騎車時或駕駛時使用這些智慧型電子裝置。這些用戶被稱爲“低頭族（phubbers）”。這些行爲可能會對用戶帶來危險，例如，跌倒、撞到行人或其他物體或發生交通事故。

因此，需要一個事件檢測機制來避免這些危險。

有鑒於此，本發明提供一種事件檢測方法、具有事件檢測機制的電子系統以及配件。

依據本發明一實施方式，提供一種事件檢測方法，應用於具有至少一個事件檢測模塊的一電子系統中，包含：（a）啓用該至少一個事件檢測模塊；以及（b）應用在步驟（a）中啓用的該事件檢測模塊，以檢測在該事件檢測模塊的一檢測範圍內是否有任何預定事件發生。

依據本發明另一實施方式，提供一種具有事件檢測機制的電子系統，包含：一控制模塊，用於：啓用至少一個事件檢測模塊；控制啓用的該事件檢測模塊，以檢測在該事件檢測模塊的一檢測範圍內是否有任何預定事件發生。

依據本發明又一實施方式，提供一種配件，包含複數個麥克風，該複數個麥克風可以耦接到一電子裝置，用於確定一對象的一距離。

本發明所提供的事件檢測方法、具有事件檢測機制的電子系統，即使用戶是低頭族，用戶的周圍也可以被檢測到。因此，可以避免危險事件。

對於已經閱讀後續由各附圖及內容所顯示的較佳實施方式的本領域的技術人員來說，本發明的各目的是明顯的。

在以下的描述中，使用了複數個實施例來解釋本發明的概念。在以下實施例中描述的系統、裝置、設備或模塊可以用硬體（如，電路）或者硬體和軟件的組合（如，執行至少一個程式的處理單元）來實施。此外，在以下的實施例中，“事件”可以指在一檢測範圍內存在的一對象或一聲音。

第1圖爲根據本發明一實施例之事件檢測方法之流程圖。該事件檢測方法應用於包含至少一個事件檢測模塊的一電子系統。該事件檢測方法包含以下步驟：

步驟101

啓用至少一個事件檢測模塊。

步驟103

應用在步驟101中啓用的該事件檢測模塊，以檢測在該事件檢測模塊的一檢測範圍內是否有任何預定事件發生。也就是說，檢測在該事件檢測模塊的一周圍區域中是否有任何預定事件發生。

步驟105

如果在該檢測範圍內發生了該預定事件，産生通知。

以下將描述每一步驟的細節。

關于步驟101，在一實施例中，至少一個事件檢測模塊在初始時被禁用。此外，根據如果發生任何特定的啓用事件，至少一個被禁用的事件檢測模塊被啓用。在一實施例中，該特定的啓用事件包含但不限於以下事件中的至少一個：該電子系統位於一特定區域內、該電子系統正在移動。例如，在一實施例中，該電子系統包含一加速度計，用來檢測該用戶是否正在行走或移動，例如，以高的速度。在另一個實施例中，該電子系統包含一全球定位系統，用來檢測該電子系統是否處于一危險區域或該用戶是否正在行走或移動。

對于步驟103，在一實施例中，預定事件包含下列事件中的至少一個：在該檢測範圍內存在一障礙物（例如，一電力高壓綫杆（electric pole））、在該檢測範圍內存在一樓梯或洞、在該檢測範圍內存在具有警示資訊（warning information）的一標志（例如，一警告標志（caution sign））、一對象（例如，一汽車或行人）正在接近、以及在該檢測範圍內的一交通燈正在變化或即將改變。在一實施例中，該預定事件意味著該事件對該用戶來說可能是危險的。例如，在該檢測範圍內存在一障礙物、在該檢測範圍內存在一樓梯或洞、一對象正在接近。在另一個實施例中，該預定事件意味著該用戶應該注意的事件，例如，在該檢測範圍內存在包含警示資訊的一標志、在該檢測範圍內的一交通燈正在變化或即將改變。

許多方法可用於檢測這些預定事件。在一實施例中，檢測該事件的形狀，以確定該事件是否是該預定事件。例如，檢測一對象的形狀，以確定該對象是否是一障礙物，如一垃圾桶或一電力高壓綫杆。在另一個例子中，檢測該事件的顔色，以確定該事件是否是該預定事件。例如，如果一對像是紅色的，它可能是一交通燈。在另一個實施例中，檢測該事件的形狀和顔色。值得注意的是，用於檢測這些預定事件的方法幷不限於上述的例子。

如上述描述，許多方法可用於檢測這些預定事件。因此，該事件檢測模塊可以實現爲不同類型的設備。在一實施例中，該事件檢測模塊包含一圖像採集模塊和一深度檢測模塊中的至少一個。

該圖像採集模塊可以是，例如，一RGB攝像頭、一夜視攝像頭或一紅外攝像頭。該圖像採集模塊用於採集一圖像，幷且可以根據該採集的圖像來確定該事件是否是該預定事件。該深度檢測模塊用於檢測該事件的深度資訊，如深度圖。

第2圖爲根據本發明一實施例之事件檢測方法的操作之示意圖。如第2圖所示，獲取事件資訊EI幷提取其特徵（步驟201）。在一實施例中，該事件檢測模塊包含一圖像採集模塊，該事件資訊EI爲一圖像。另外，在一實施例中，該事件檢測模塊包含一圖像採集模塊和一深度檢測模塊，該事件資訊EI爲具有深度資訊的一圖像。步驟203確定該特徵是否與預定規則相匹配。然後，如果該特徵與該預定規則相匹配，則該對應的事件被確定爲一預定事件，以及執行步驟205以産生通知（即第1圖的步驟105）。

許多協議可以用於該特徵提取（步驟201），例如，尺度不變特徵變換（scale invariant feature transform，SIFT）、Haar型特徵（Haar-like feature）、學習特徵（例如卷積神經網絡（convolutional neural network））。此外，該預定規則可以是預定模式或預先訓練的模型，如支援向量機（support vector machine）、自適應增強（adaptive boosting）、以及深度神經網絡（deep neural net）。

在一實施例中，根據可聽見的聲音（例如，聲音具有小於20KHz的頻率）來確定事件。在這種情況下，可以使用機器學習方法（machine learning approaches）來訓練該模型，如高斯混合模型（Gaussian mixture model，GMM）、隱馬爾可夫模型（Hidden Markov Model，HMM），深部神經網絡（Deep Neural Net，DNN）。另外，在這樣的實施例中，用於確定該事件的特徵是否與模型相匹配的演算法可以是HMM的維特比演算法。

在一實施例中，根據特定資訊，僅爲該預定規則選擇所有模型中的一部分，以加快處理以及提高精度。例如，應用全球定位系統的數據來瞭解可能在當前位置出現的可能對象，幷僅使用該對應的模型。

第3（a）圖和第3（b）圖爲如第2圖所示之操作之示例。在第3（a）圖中，如果交通燈300的圖像被採集，由於圖像包含三個圓圈和三種光（例如，紅色、黃色和綠色），因此它可以被識別爲交通燈。在第3（b）圖中，如果樓梯301的圖像被採集，由於圖像包含複數個階段和轉角，因此它可以被識別爲樓梯。請注意這些例子僅用於說明的目的，而不意味著限制本發明的範圍。

第4圖爲根據本發明一實施例之事件檢測方法的操作之示意圖。在本實施例中，根據深度資訊而不是形狀或顔色，來確定該事件是否是該預定事件。如第4圖所示，事件資訊EI包含深度資訊，獲取至少一個圖像，然後將圖像中的對象的深度資訊從整個圖像中分割出來（步驟401）。然後，根據深度資訊可以獲取對象的距離和/或速度（步驟403）。此後，如果對象的距離和/或速度與一預定規則相匹配，則確定該預定事件發生，因此産生通知（步驟405，即第1圖中的步驟105）。

上述圖像採集模塊或深度檢測模塊通常包含至少一個鏡頭。在一實施例中，鏡頭可以設置在電子系統的一特定位置，如此一來，電子系統周圍的圖像都可以被清晰地採集，即使用戶是低頭族。

第5（a）圖和第5（b）圖爲根據本發明一實施例之鏡頭的位置之示意圖。第5（b）圖爲第5（a）圖的上視圖。如第5（a）圖所示，鏡頭L位於該電子系統500的一頂部。通過應用第5（a）圖和第5（b）圖的實施例，可以清楚地獲得該電子系統周圍的圖像或深度資訊，即使用戶是低頭族。請注意，鏡頭L不限於位於第5（a）圖和第5（b）圖所示的位置P1，鏡頭L也可以位於位置P2和P3。換句話說，第5（a）圖和第5（b）圖的主旨是，鏡頭可以位於能夠檢測事件的任何位置，即使用戶正在使用電子系統500。

在一實施例中，該事件檢測模塊包含一音頻檢測模塊，該音頻檢測模塊用於根據可聽見的聲音或超聲波來檢測一對象的一位置。

第6（a）圖和第6（b）圖爲根據本發明一實施例之音頻檢測模塊的操作之示意圖。如第6（a）圖所示，音頻檢測模塊600産生超聲波US至一對象601，該對象601相應地産生反射波RW。通過這種方式，可以根據反射波RW來確定該對象601的位置，因此該對象601的距離和/或速度也可以相應地獲得。此外，在第6（b）圖中，該音頻檢測模塊600從該對象601接收可聽見的聲音S，幷根據可聽見的聲音S確定該對象601的該距離和/或速度。在一實施例中，該音頻檢測模塊600通過反射波RW或可聽見的聲音S來收集特徵，幷進一步檢查該裝置和該至少一個最近的對象之間的該距離。

在一實施例中，該音頻檢測模塊600通過麥克風陣列來接收反射波RW或可聽見的聲音S，幷通過一傳感器陣列（transducer array）來産生一特定的聲音（例如，超聲波US），但不限於此。

該音頻檢測模塊的操作可以通過第2圖來描述。請再次參閱第2圖，獲取事件資訊EI幷提取其特徵（步驟201）。然而，該事件資訊EI是可聽見的聲音或反射波，而不是一圖像。步驟203確定該特徵是否與該預定規則相匹配。然後，如果該特徵與該預定規則相匹配，則該對應的事件被確定爲一預定事件，以及執行步驟205以産生通知（即第1圖的步驟105）。

在本實施例中，如果事件資訊EI是可聽見的聲音，可以通過一音頻特徵提取協議（如，梅爾倒譜系數（mel-frequency cepstral coefficient））來實施步驟201。另外，如果該事件資訊EI是超聲波，可以通過子帶分析（如，快速傅立葉變換（fast Fourier transform）或微波（wavelet））來實施步驟201。此外，在本實施例中，該預定規則可以是移動對象（例如汽車）的模式或模型，或者是固定對象（例如墻）的反射模式或模型。

在一實施例中，該音頻檢測模塊包含至少一個麥克風和/或至少一個傳感器。該麥克風和傳感器的位置和/或數量可以特別設計來協助該音頻檢測模塊的檢測。例如，如果該音頻檢測模塊只包含一個麥克風，該音頻檢測模塊可以檢測可聽見的聲音/超聲波。此外，如果該音頻檢測模塊包含3個或更多的麥克風，該音頻檢測模塊可以檢測該對象的三維位置。此外，如果該音頻檢測模塊包含5個或更多的麥克風，該音頻檢測模塊可具有更精確的性能。

第7（a）圖和第7（b）圖爲根據本發明一實施例之音頻檢測模塊之示意圖。第7（a）圖是電子系統700之前視圖，第7（b）圖是電子系統700之後視圖。如第7（a）圖所示，該音頻檢測模塊包含麥克風M1、M2、M3和M4以及一傳感器T1。麥克風M1、M2分別設置在該電子系統700的左側和右側。麥克風M3、M4分別設置在該電子系統700的頂部和底部。在一實施例中，麥克風M1，M2的位置是不對稱的。換句話說，麥克風M1的位置和左側之間的關係、以及麥克風M2的位置和右側之間的關係是不同的。例如，麥克風M1位於該電子系統700左側的中心位置C1，而麥克風M2的位置高於該電子系統700右側的中心位置C1。

同樣地，在一實施例中，麥克風M3、M4的位置是不對稱的。換句話說，麥克風M3的位置和頂部之間的關係、以及麥克風M4的位置和底部之間的關係是不同的。例如，麥克風M3位於該電子系統700頂部的中心位置C2，但麥克風M4的位置位於該電子系統700底部的中心位置C2的右側。

如上所述，第7（b）圖是該電子系統700之後視圖。在一實施例中，電子系統700還包含設置在該電子系統700背面的麥克風M5和傳感器T2。在一實施例中，不同的傳感器，如T1和T2，可以産生用於檢測該對象的相同的或不同的聲音。

在如第7（a）圖和第7（b）圖所示的實施例中，第7（a）圖和第7（b）圖中的麥克風與每個傳感器之間距離可能是不同的。例如，麥克風M1和傳感器T1之間的距離以及麥克風M2和傳感器T1之間的距離是不同的。因此，麥克風M1、M2和傳感器T1的位置可形成不等邊三角形。同樣地，麥克風M3與傳感器T2之間的距離和麥克風M4與傳感器T2之間的距離是不同的。因此，麥克風M3、M4和傳感器T2的位置可以形成不等邊三角形。

在另一些實施方案中，在第7（a）圖和第7（b）圖中的傳感器和每個麥克風之間的距離可能是不同的。例如，麥克風M1與傳感器T1之間的距離以及麥克風M1與傳感器T2之間的距離是不同的。同樣地，麥克風M3與傳感器T1之間的距離以及麥克風M3與傳感器T2之間的距離是不同的。

第7（a）圖和第7（b）圖中的麥克風可以通過直接設置麥克風或通過可拆卸的配件（例如，保護殼體（protecting case））來提供至該電子系統700。這種配件可以被視爲：包含複數個麥克風（例如，第7（a）圖和第7（b）圖中的M1和M2、或者M3和M4）的配件。麥克風可以通過無線連接（例如，無線網絡連接、藍牙或任何其他無線連接）耦接至一電子裝置（例如，該電子系統700），用於確定一對象的一距離（例如，在第6（a）圖和第6（b）圖中所示的操作）。

在一實施例中，配件包含一殼體（例如，上述的保護殼體）。麥克風位於該保護殼體上。如果該殼體安裝於該電子裝置上，該電子裝置的兩個麥克風和傳感器的位置可能形成不等邊三角形。

另外，在另一實施例中，通過至少一個緊固件如螺釘將麥克風固定於電子裝置上。

如果該圖像採集模塊包含複數個類型的攝像頭，根據用戶周圍環境的狀態可以自動選擇適當類型的攝像頭。例如，根據光傳感器，當光照足夠好時，使用RGB攝像頭。相反，當光照差時，使用夜視攝像頭。此外，如果光照非常差，使用音頻攝像頭。

請再次參考第1圖，關于步驟105，在一實施例中，通知包含下列中的至少一個：降低該電子系統的音量、通過該電子系統播放該事件的一聲音、標記與該事件相關的一對象、通過該電子系統顯示通知消息、振動該電子系統、以及改變該電子系統顯示的一顔色。

舉例來說，如果該用戶在用耳機聽音樂以及該事件檢測模塊檢測到一汽車正在接近，該電子系統降低音樂的音量以使該用戶可以聽到該汽車的聲音。在另一個例子中，該事件檢測模塊檢測到與該預定事件相匹配的一些聲音（例如，救護車的鳴笛），電該子系統大聲地播放該事件的聲音，使得該用戶可以注意到該事件。舉例來說，在一實施例中，一預先訓練的音頻事件的一音量被增強幷由該電子裝置的該揚聲器來播放。在另一個實施例中，一預先訓練的通知聲音可以通過該電子裝置的該揚聲器來播放。

在又一實施例中，該事件檢測模塊檢測圖像，一圖像與該預定事件（例如，交通燈）相匹配，該電子系統顯示該圖像幷標記與該事件相關的一對象，這樣該用戶可以檢查此事件。

第8圖爲根據本發明一實施例之具有事件檢測機制的電子系統之示意圖。如第8圖所示，該電子系統800包含在至少一個事件檢測模塊ED1（在本實施例中只有一個）和一控制模塊801。該控制模塊801用於：啓用至少一個事件檢測模塊；控制已啓用的該事件檢測模塊來檢測在該事件檢測模塊的一檢測範圍內是否發生任何預定事件；如果在該檢測範圍內發生該預定事件則産生通知。請注意，在一實施例中，該事件檢測模塊只檢測該事件，該控制模塊801執行確定該事件是否是該預定事件的功能。值得注意的是，在一實施例中，該事件檢測模塊不包含在該電子系統800中，這樣該電子系統800只包含該控制模塊801。

請注意，在上述實施例中，該控制模塊和該事件檢測模塊位於一單一的電子裝置中，如行動電話。然而，該控制模塊和該事件檢測模塊也可以位於不同的電子裝置中。第9圖爲根據本發明另一實施例之電子系統之示意圖。如第9圖所示，該控制模塊位於該電子裝置901中（未示出），以及該事件檢測模塊包含一可擕式攝像頭903，用於採集一圖像幷無線發送該圖像至該電子裝置901。請注意，該可擕式攝像頭903可以被任何其他類型的電子裝置所取代。例如，該可擕式攝像頭903可以替換爲一可穿戴設備，如一智慧型眼鏡。因此，該用戶可以把該事件檢測模塊設置在任何位置，例如，放在背包上。通過這種方式，即使該事件發生在該用戶的背後，也可以被檢測到。

鑒于上述實施例，即使該用戶是低頭族，該用戶的周圍也可以被檢測到。因此，可以避免危險事件。此外，根據該用戶的周圍環境的狀態，可以選擇適當的事件檢測模塊。此外，可以通過所有模型中的一部分而不是所有模型，來確定該預定規則；根據特定的資訊來選擇所有模型中的一部分，以加快處理和提高精度。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

101、103、105、201、203、205‧‧‧步驟

300‧‧‧交通燈

301‧‧‧樓梯

401、403、405‧‧‧步驟

500、700、800‧‧‧電子系統

600‧‧‧音頻檢測模塊

601‧‧‧對象

801‧‧‧控制模塊

901‧‧‧電子裝置

903‧‧‧可擕式攝像頭

EI‧‧‧事件資訊

P1、P2、P3‧‧‧位置

L‧‧‧鏡頭

US‧‧‧超聲波

RW‧‧‧反射波

S‧‧‧聲音

M1、M2、M3、M4、M5‧‧‧麥克風

C1、C2‧‧‧中心位置

T1、T2‧‧‧傳感器

ED1‧‧‧事件檢測模塊

第1圖爲根據本發明一實施例之一事件檢測方法之流程圖。第2圖和第4圖爲根據本發明一實施例之該事件檢測方法的操作之示意圖。第3（a）圖和第3（b）圖爲如第2圖所示的操作之示例。第5（a）圖和第5（b）圖爲根據本發明一實施例之鏡頭的位置之示意圖。第6（a）圖和第6（b）圖爲根據本發明一實施例之一音頻檢測模塊的操作之示意圖。第7（a）圖和第7（b）圖爲根據本發明一實施例之音頻檢測模塊之示意圖。第8圖爲根據本發明一實施例之電子系統之示意圖。第9圖爲根據本發明另一實施例之電子系統之示意圖。

Claims

一種事件檢測方法，應用於具有至少一個事件檢測模塊的一電子系統中，包含：(a)啟用該至少一個事件檢測模塊；(b)應用在步驟(a)中啟用的該事件檢測模塊，以檢測在該事件檢測模塊的一檢測範圍內是否有任何預定事件發生；以及(c)如果在該檢測範圍內發生該預定事件，產生通知；其中該事件檢測模塊包含一音頻檢測模塊，用於檢測一對象的一位置；其中該音頻檢測模塊包含一傳感器、一第一麥克風和一第二麥克風，其中該傳感器與該第一麥克風之間的一距離和該傳感器與該第二麥克風之間的一距離是不同的，其中該傳感器是用來發出聲波的裝置。
如申請專利範圍第1項該之事件檢測方法，其中根據是否發生任何特定啟用事件，步驟(a)啟用該至少一個事件檢測模塊。
如申請專利範圍第2項該之事件檢測方法，其中該特定啟用事件包含以下事件中的至少一個：該電子系統位於一特定區域內、或該電子系統正在移動。
如申請專利範圍第1項該之事件檢測方法，其中該事件檢測模塊包含下列中的至少一個：一深度檢測模塊和一圖像採集模塊。
如申請專利範圍第1項該之事件檢測方法，其中該預定事件包含下列中的至少一個：在該檢測範圍內存在一障礙物、在該檢測範圍內存在一樓梯或一洞、在該檢測範圍內存在具有警示資訊的一標誌、一對象正在接近、以及在該檢測範圍內的一交通燈正在變化或即將改變。
如申請專利範圍第1項該之事件檢測方法，其中該通知包含下列中的至少一個：降低該電子系統的一音量、通過該電子系統播放該事件的一聲音、標記與該事件相關的一對象、通過該電子系統顯示一通知消息、振動該電子系統、以及改變該電子系統顯示的一顏色。
一種具有事件檢測機制的電子系統，包含：一控制模塊，用於：啟用至少一個事件檢測模塊；控制啟用的該事件檢測模塊，以檢測在該事件檢測模塊的一檢測範圍內是否有任何預定事件發生；以及如果在該檢測範圍內發生該預定事件，該控制模塊產生通知；其中該事件檢測模塊包含一音頻檢測模塊，用於檢測一對象的一位置；其中該音頻檢測模塊包含一傳感器、一第一麥克風和一第二麥克風，其中該傳感器與該第一麥克風之間的一距離和該傳感器與該第二麥克風之間的一距離是不同的，其中該傳感器是用來發出聲波的裝置。
如申請專利範圍第7項該之電子系統，其中根據是否發生任何特定啟用事件，該控制模塊啟用至少一個事件檢測模塊。
如申請專利範圍第8項該之電子系統，其中該特定啟用事件包含以下事件中的至少一個：該電子系統位於一特定區域內、以及該電子系統正在移動。
如申請專利範圍第7項該之電子系統，其中該事件檢測模塊包含下列中的至少一個：一深度檢測模塊和一圖像採集模塊。
如申請專利範圍第10項該之電子系統，其中該圖像檢測模塊和/或該深度檢測模塊包含設置於該電子系統的頂部的一鏡頭。
如申請專利範圍第7項該之電子系統，其中該預定事件包含下列中的至少一個：在該檢測範圍內存在障礙物、在該檢測範圍內存在樓梯或洞、在該檢測範圍內存在具有警示資訊的標誌、一對象正在接近、以及在該檢測範圍內的交通燈正在變化或即將改變。
如申請專利範圍第7項該之電子系統，其中如果在該檢測範圍內發生該預定事件，該控制模塊產生通知。
如申請專利範圍第13項該之電子系統，其中該通知包含下列中的至少一個：降低該電子系統的一音量、通過該電子系統播放該事件的一聲音、標記與該事件相關的一對象、通過該電子系統顯示一通知消息、振動該電子系統、以及改變該電子系統顯示的一顏色。
如申請專利範圍第7項該之電子系統，其中該事件檢測模塊和該控制模塊設置於不同的電子裝置中。
一種配件，包含：複數個麥克風，該複數個麥克風可以耦接到一電子裝置，用於確定一對象的一距離，其中該配件包含一殼體，其中該複數個麥克風位於該殼體上，如果該殼體安裝於該電子裝置上，兩個該麥克風和該電子裝置的一傳感器的位置形成不等邊三角形，其中該傳感器是用來發出聲波的裝置。
如申請專利範圍第16項該之配件，其中該複數個麥克風通過至少一個緊固件固定在該電子裝置上。