TWI777170B - 通知裝置、穿戴裝置與通知方法 - Google Patents

通知裝置、穿戴裝置與通知方法 Download PDF

Info

Publication number
TWI777170B
TWI777170B TW109117898A TW109117898A TWI777170B TW I777170 B TWI777170 B TW I777170B TW 109117898 A TW109117898 A TW 109117898A TW 109117898 A TW109117898 A TW 109117898A TW I777170 B TWI777170 B TW I777170B
Authority
TW
Taiwan
Prior art keywords
sound
microcontroller
signal
signals
server
Prior art date
Application number
TW109117898A
Other languages
English (en)
Other versions
TW202144994A (zh
Inventor
黃光渠
Original Assignee
智能耳聰科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 智能耳聰科技股份有限公司 filed Critical 智能耳聰科技股份有限公司
Priority to TW109117898A priority Critical patent/TWI777170B/zh
Priority to US17/331,726 priority patent/US20210375111A1/en
Priority to JP2021002054U priority patent/JP3233390U/ja
Priority to CN202110593443.6A priority patent/CN113744761A/zh
Priority to CN202121183839.5U priority patent/CN216014810U/zh
Publication of TW202144994A publication Critical patent/TW202144994A/zh
Application granted granted Critical
Publication of TWI777170B publication Critical patent/TWI777170B/zh
Priority to US18/046,239 priority patent/US20230058503A1/en

Links

Images

Landscapes

  • Emergency Alarm Devices (AREA)
  • Telephone Function (AREA)

Abstract

一種通知裝置包括壓力感測器、微控制器與輸出裝置。壓力感測器用以偵測環境以提供壓力訊號。微控制器連接壓力感測器以接收壓力訊號。微控制器用以計算在一時段內壓力訊號的動態臨界值。當壓力訊號的大小大於動態臨界值,微控制器傳送第一反饋訊號至輸出裝置。輸出裝置連接微控制器。輸出裝置用以根據第一反饋訊號提供第一反饋動作。

Description

通知裝置、穿戴裝置與通知方法
本揭露有關於一種通知裝置,以及設置有通知裝置的穿戴裝置。
在一些職場上,並不便直接通過聲音來溝通。例如職場上有聽障人士,或是工作場合噪音吵雜。在這些場合,工作者保持與聲音隔絕的情況,並不利於溝通。若使用到市面上其他輔助溝通的裝置,則可能影響到工作。對此,如何提供一種輕便即時的通知裝置,是相關領域人員所欲解決的問題之一。
本揭露之一態樣有關於一種通知裝置。
根據本揭露之一實施方式,通知裝置包括壓力感測器、微控制器與輸出裝置。壓力感測器用以偵測環境以提供壓力訊號。微控制器連接壓力感測器以接收壓力訊號。微控制器用以計算在一時段內壓力訊號的動態臨界值。當壓力訊號的大小大於動態臨界值,微控制器傳送第一反饋訊號至輸出裝置。輸出裝置連接微控制器。輸出裝置用以根據第一反饋訊號提供第一反饋動作。
在一或多個實施方式中,輸出裝置包括發光裝置、振動器、聲音放大器或是文字圖示顯示裝置。
在一或多個實施方式中,壓力感測器是聲音感測器。動態平均值是一時段下的音量大小平均值。
在一些實施方式中,通知裝置進一步包括連接微控制器的距離感測器與電路板。聲音感測器與距離感測器整合於電路板上。
在一些實施方式中,通知裝置進一步包括伺服器。伺服器通過網路連接至微控制器。微控制器傳輸聲音訊號至伺服器。伺服器辨識並分類聲音訊號的類型,以根據聲音訊號的類型傳送第二反饋訊號至微控制器。輸出裝置根據第二反饋訊號提供第二反饋動作。
在一些實施方式中,伺服器進一步包括聲音辨識模組、分類模組以及微處理器。聲音辨識模組用以辨識聲音訊號。分類模組用以分類辨識過的聲音訊號的類型。微處理器用以根據聲音訊號的類型來提供第二反饋訊號。
本揭露之一態樣有關於一種具有如前所述之通知裝置的穿戴裝置。
根據本揭露之一實施方式,一種穿戴裝置包括如前所述之通知裝置以及衣物。通知裝置的壓力感測器、微控制器與輸出裝置設置於衣物上。
本揭露之一態樣有關於通知方式,可以通過如前所述之通知裝置來實現。
在本揭露之一實施方式中,通知方法包括以下流程。偵測環境以提供壓力訊號,處理壓力訊號以獲得在一時段內壓力訊號的動態平均值。根據動態平均值設置動態臨界值。確認聲音訊號的當前音量否超過動態臨界值。若聲音訊號的動態平均值超過臨界值,傳送反饋訊號至輸出裝置。輸出裝置根據反饋訊號提供反饋動作。
在一或多個實施方式中,壓力訊號是聲音訊號,動態平均值是聲音訊號在一時段下的音量平均值。
本揭露之一態樣有關於通知方式,也可以通過如前所述之通知裝置來實現。
在本揭露之一實施方式中,通知方法包括以下流程。偵測環境以獲得類比聲音訊號。聲音辨識出類比聲音訊號的內容,並藉以分類出類比聲音訊號的類型。根據類比聲音訊號的類型輸出反饋訊號。使輸出裝置根據反饋訊號作出反饋動作。
綜上所述,本揭露提供一種通知裝置、使用通知裝置之穿戴裝置,以及相應的通知方法,以根據環境音量即時通知使用者,使得使用者便於察覺環境的變化。
以上所述僅係用以闡述本揭露所欲解決的問題、解決問題的技術手段、及其產生的功效等等,本揭露之具體細節將在下文的實施方式及相關圖式中詳細介紹。
下文係舉實施例配合所附圖式進行詳細說明,但所提供之實施例並非用以限制本揭露所涵蓋的範圍,而結構運作之描述非用以限制其執行之順序,任何由元件重新組合之結構,所產生具有均等功效的裝置,皆為本揭露所涵蓋的範圍。另外,圖式僅以說明為目的,並未依照原尺寸作圖。為便於理解,下述說明中相同元件或相似元件將以相同之符號標示來說明。
另外,在全篇說明書與申請專利範圍所使用之用詞(terms),除有特別註明外,通常具有每個用詞使用在此領域中、在此揭露之內容中與特殊內容中的平常意義。某些用以描述本揭露之用詞,將於下或在此說明書的別處討論,以提供本領域技術人員在有關本揭露之描述上額外的引導。
在本文中,「第一」、「第二」等等用語僅是用於區隔具有相同技術術語的元件或操作方法,而非旨在表示順序或限制本揭露。
此外,「包含」、「包括」、「提供」等相似的用語,在本文中都是開放式的限制,意指包含但不限於。
進一步地,在本文中,除非內文中對於冠詞有所特別限定,否則「一」與「該』可泛指單一個或多個。將進一步理解的是,本文中所使用之「包含」、「包括」、「具有」及相似詞彙,指明其所記載的特徵、區域、整數、步驟、操作、元件與/或組件,但不排除其所述或額外的其一個或多個其它特徵、區域、整數、步驟、操作、元件、組件,與/或其中之群組。
請參照第1圖。第1圖根據本揭露之一實施方式繪示一通知裝置1的方塊圖。如第1圖所示,通知裝置1包括聲音感測器10、微控制器20以及輸出裝置30。通過通知裝置1,使用者可以根據環境變化即時獲得通知。
聲音感測器10是用於偵測環境,以接收環境中的聲音訊號。在通知裝置1用於倉庫或工廠等環境時,所接收的聲音訊號例如是工程器械的聲響或是其他工作者的人聲,為一類比訊號。在一些實施方式中,聲音感測器10例如是麥克風感測模組(例如是電容式),或也可以將電容式的麥克風感測模組簡易地排列成陣列。
微控制器(microcontroller,或稱microcontroller unit,簡稱MCU) 20連接聲音感測器10。微控制器120具有體積小的優點,易於便攜,能夠用於實現簡單的運算功能。聲音感測器10能夠將聲音訊號傳輸至微控制器20,並通過微控制器20將來自於聲音感測器10的聲音訊號做簡單的處理。微控制器20也可以整合用以判斷聲音訊號音量的功能。如此,微控制器20可以在一段時間下,記錄一段聲音訊號,並根據聲音訊號的音量變化來提供反饋的訊號。
輸出裝置30連接微控制器20,以用來根據反饋訊號來提供反饋動作。輸出裝置30可以包括發光裝置、振動器、聲音放大器或是文字圖示顯示裝置。文字圖示裝置通過顯示文字或其他圖示來以更直覺的直接提醒使用者。文字圖示顯示裝置包括小型的攜帶式顯示器。
如此一來,通知裝置1可以通過聲音感測器10來偵測環境以提供聲音訊號。連接聲音感測器10的微控制器20處理在一時段下聲音訊號的動態音量平均值。動態音量平均值係指在前一時段下,聲音訊號音量大小的平均。根據動態平均值,可以預定出一個動態臨界值。若當前聲音訊號的音量大於前一時段之動態平均值所計算出的動態臨界值,代表環境發生變化,可以存在危險,或是週遭有溝通需求,微控制器20便向輸出裝置30提供反饋訊號,藉以使輸出裝置30提供反饋動作以通知使用者。
在一些實施方式中,通知裝置1也可以使用其他類型的壓力感測器來替代聲音感測器10。聲音感測器10是壓力感測器的一種,用以感測環境中聲音傳遞中的聲壓變化,將其轉化為聲音訊號,並藉以計算出動態平均值以獲得動態臨界值。在一些實施方式中,可以於通知裝置1中使用例如氣壓感測器等其他類型的壓力感測器。以氣壓感測器為例,可以感測出一個時段下氣壓的動態平均值。一旦當前的氣壓值大於前一時段計算出的動態平均值,則微控制器20便可以發出反饋訊號,使輸出裝置30提供反饋動作,以即時通知使用通知裝置1的使用者。
為進一步說明通知裝置1如何通知使用者,請參照第2圖。第2圖根據本揭露之一實施方式繪示一通知方法600的流程圖。通知方法600包括流程610~650。
在流程610,通知裝置1的聲音感測器10可以用來偵測使用者週遭的環境,以在一時段下獲得聲音訊號。
在流程620,可以通過連接聲音感測器10的微控制器20來處理聲音訊號,藉以獲得在一時段下的動態臨界值。微控制器20可以先根據聲音訊號來計算在一個時段下聲音訊號之音量的動態平均值。舉例而言,聲音感測器10可以獲得3秒前到1秒前這個時段音量的動態平均值。在通知裝置1啟動時,音量的動態平均值可能會不斷變化。
根據音量的動態平均值,微控制器20可以界定出聲音訊號音量動態臨界值,藉以判斷聲音訊號的音量在短時間內是否有大的變化。在一些實施方式中,動態臨界值可以設置為動態平均值。在一些實施方式中,可以根據動態平均值的大小,設定不同於動態平均值的動態臨界值。舉例而言,當聲音訊號音量的動態平均值小於特定分貝數,則設定動態臨界值為大於動態平均值的數值;而當聲音訊號音量的動態平均值大於特定分貝數,則直接設置動態臨界值等於動態平均值。
經歷流程620,設置接受到之聲音訊號音量的動態平均值,在流程630,可以根據聲音訊號當下的音量大小,確認當下聲音訊號的音量是否超過動態臨界值。如是,則進入流程640,傳送反饋訊號至輸出裝置30。若否,則回到流程610,繼續偵測環境以提供聲音訊號。
舉例而言,在一個具體實施方式中,微控制器20計算出在3秒前至1秒前,聲音訊號音量的動態平均值為一特定分貝數(例如60分貝),並且微控制器20將聲音訊號音量的動態平均值設置為動態臨界值(流程620)。隨後,一旦聲音訊號當前的音量大於動態臨界值(例如大於60分貝),對應到流程630判斷為是,則進入到流程640,微控制器20可以即時提供反饋訊號予輸出裝置30。
如此,在流程650,輸出裝置30便可以根據來自微控制器20的反饋訊號,提供合適的反饋動作,藉以通知使用通知裝置1的使用者。通知方法600能夠在行動裝置上實現。舉例而言,智慧型手機等行動裝置具有麥克風、處理器以及使手機振動的振動器。通知在智慧型手機上安裝應用程式(APP),能夠使麥克風作為聲音感測器10,手機的處理器發揮微控制器20的功能,而手機的振動器則作為輸出裝置30,通知振動來提供反饋動作。
請參照第3圖。第3圖根據本揭露之一實施方式繪示一通知裝置100的方塊圖。通知裝置100建立在通知裝置1的基礎上,能夠在發揮通知裝置1的功能外,進一步提供智能通知並警示的功能。如第3圖所示,通知裝置100包括聲音感測器110、微控制器120、伺服器130、輸出裝置150與距離感測器160。在本實施方式中,聲音感測器110、輸出裝置150與距離感測器160連接微控制器120,伺服器130則設置於遠端,例如通過網路來與微控制器120連接。伺服器130可以用於複雜的運算。由於伺服器130可以設置於遠端,使用通知裝置100時,僅需攜帶聲音感測器110、微控制器120、輸出裝置150與距離感測器160。在一些實施方式中,網路例如是使用使用者的手機分享的無線網路。在一些實施方式中,可以通過藍芽通訊的方式,使得微控制器120與網路連接。在一些實施方式中,網路可以是其他類型的無線網路(Wi-Fi),例如Zigbee。在一些實施方式中,網路也可以是第四代行動通訊技術(4G)的窄帶物聯網(narrow band Internet of things,NBIoT)或是LTE-M技術。在一些實施方式中,網路可以是由第五代行動通訊技術(5G)來提供,以實現更快的傳輸速率與交互。
聲音感測器110類似於第1圖的聲音感測器10。聲音感測器110用於偵測環境,以接收環境中的聲音訊號。舉例而言,在通知裝置100用於倉庫或工廠等環境時,所接收的聲音訊號例如是工程器械的聲響或是其他工作者的人聲,為一類比訊號。具體而言,在一些實施方式中,聲音感測器110例如是麥克風感測模組。麥克風感測模組例如是電容式。在一些實施方式中,也可以將電容式的麥克風感測模組簡易地排列成陣列。
在聲音感測器110接收環境的聲音訊號後,為了便於分析,能夠將類比的聲音訊號做處理,將雜訊過濾。在一些實施方式中,也可以在聲音感測器110上設置其他用於過濾雜訊的裝置。
微控制器120類似於第1圖的微控制器20。微控制器120連接聲音感測器110。微控制器120具有體積小的優點,易於便攜,能夠用於實現簡單的運算功能。進一步地,微控制器120能夠通過網路與遠端的伺服器130連接。而通過與微控制器120的連接,聲音感測器110能夠將聲音訊號傳輸至微控制器120。在一些實施方式中,網路可以由例如手機來提供。
伺服器130設置於遠端,以進行較為複雜的運算。請同時參照第3圖與第4圖。第4圖根據本揭露之一實施方式繪示一伺服器130的方塊圖。在本實施方式中,伺服器130包括聲音辨識模組135、分類模組140與處理器145。在一些實施方式中,聲音辨識模組135、分類模組140與處理器145是伺服器130內的電腦元件。而在一些實施方式中,聲音辨識模組135、分類模組140與處理器145可以整合為同一硬體。
聲音辨識模組135用以辨識聲音訊號。分類模組140用以分類辨識過的聲音訊號的類型。處理器145根據聲音訊號的類型來提供反饋訊號。具體運作方式請見後述。通過網路的遠端傳輸,微控制器120可以用於接收遠端伺服器130的反饋訊號。
輸出裝置150連接微控制器120,以根據反饋訊號來提供反饋動作。輸出裝置150類似於第1圖的輸出裝置30包括發光裝置、振動器、聲音放大器或是文字圖示顯示裝置。文字圖示顯示裝置包括小型的攜帶式顯示器。為因應不便以聲音溝通的環境,在一些實施方式中,輸出裝置150的反饋動作不包括聲音反饋。
距離感測器160連接微控制器120,以感測通知裝置100與一物體的距離。舉例而言,距離感測器160例如是超音波距離感測裝置。在一些實施方式中,距離感測器160例如是通過紅外線來做距離的感測,或是使用包括毫米波雷達或是次毫米波雷達,由於所使用的波長較短,而得以具有較廣的感應範圍,能夠在一個更大的角度範圍內探測到物體。
請參照第5圖。第5圖根據本揭露之一實施方式繪示通知裝置100提供之通知方法200的流程圖,說明通知裝置100從接收環境的聲音訊號到發出用於警示之反饋動作的具體流程。
在通知方法200的流程210,通知裝置100的聲音感測器110偵測環境,以獲得類比的聲音訊號。
接續流程210,在流程220中,微控制器120通過可以例如通過網路來傳送類比的聲音訊號至伺服器130。
在流程230中,伺服器130根據聲音辨識模組135來辨識出類比聲音訊號。通過聲音辨識模組135的辨識,伺服器130可以獲得類比聲音訊號中所包含的聲音,例如來自於人的警告聲及警告聲音的具體內容,或是工程器械的聲響。
在流程240中,伺服器130能夠通過分類模組140來分類類比的聲音訊號的類型。而在流程250,伺服器130根據聲音訊號的類型,來輸出反饋訊號。換言之,一種聲音訊號的類型,可以對應到一種反饋訊號。這裡所指的聲音訊號的類型,是根據接收到聲音訊號後的應對方式來分類,例如是用於警示危險或是呼叫溝通。
在一些實施方式中,工作環境中的聲音訊號,可以分類成為多種類型,這些聲音訊號的類型分別對應到一種情境,而這些情境分別對應到一種反饋動作。聲音訊號的類型是有限的,而可以客製化的按照情境去增加。
舉例而言,在一些實施方式中,聲音訊號的類型僅有一種「有危險」。通知裝置100接收到聲音訊號(流程210),經過上傳伺服器(流程220)與完成聲音訊號的辨識(流程230)後,獲知聲音訊號的內容是通知使用者有危險(聲音訊號的內容可能是工作器械的聲響或是人聲),此時通知裝置100便能將聲音訊號分類到「有危險」這一類型,以使伺服器130便向輸出裝置150輸出相應的反饋訊號,通知通知裝置100的使用者有危險。
具體而言,在另一個實際的例子,聲音訊號的類型有六種,包括有危險往左閃、有危險往右閃、發出振動、有其他種類危險、往右移動、提醒有人呼叫。舉例而言,通知裝置100接收到聲音訊號(流程210),經過上傳伺服器(流程220)與完成聲音訊號的辨識(流程230)後,獲知聲音訊號的內容是通知使用者右方有危險,應向左閃,此時通知裝置100便能將聲音訊號分類在有危險往左閃的類型(流程240)。隨後,伺服器130便輸出向左閃的反饋訊號(流程250)。
在一些實施方式中,距離感測器160也可以提供關於通知裝置100使用者附近的環境資訊,以利伺服器130更精確的判斷。舉例而言,在一些實施方式中,工作用的大型器械自右後方往通知裝置100的使用者移動,在聲音感測器110偵測到大型器械聲響的聲音訊息,同時距離感測器160感測到右後方有物體接近,則伺服器130可以根據以上資訊辨識並分類出聲音訊號的類型是要向左閃,從而提供向左閃的反饋訊號。
延續流程250,在流程260,微控制器120通過網路自遠端從伺服器130接收到反饋訊號。
在流程270,連接微控制器120的輸出裝置150根據反饋訊號來做出反饋動作。舉例來說,輸出裝置150可以是設置在使用者左肩與右肩上的振動器,則當微控制器120接收到向左閃的反饋動作後,使用者左肩上的振動器振動,通過觸覺即時對通知裝置100的使用者發出警示。
在一些實施方式中,通知裝置100可以進一步連接主控台。主控台能夠用於同時管理一或多個通知裝置100,或是設置有通知裝置100的穿戴設備。舉例而言,主控台可以主動向特定的通知裝置100發送反饋訊號,以直接驅動輸出裝置來提供警示。如此一來,通過以上的方式來提供主動通知,能夠更進一步強化通知裝置100的警示功能。在一些實施方式中,主控台可以進一步將一或多個通知裝置100設置為多個不同群組,以在高噪音環境下,於不同情境下針對特定群組或全部通知裝置100做通知。
在本實施方式中,聲音辨識模組135與分類模組140可以通過機器學習的方式進行客製化的訓練,以客製化的達成聲音訊號的辨識與分類,以因應不同種類的工作環境,具體請見後述。
請參照第6圖。第6圖根據本揭露之一實施方式繪示訓練聲音辨識模組135之一訓練方法300的流程圖。
如圖所示,在流程310,通過聲音感測器110來偵測環境,以獲得類比的聲音訊號。通知裝置100的使用者可以因應實際的需求選擇不同的偵測環境。
在一些實施方式中,在聲音感測器110可以通過聲音動態偵測的方式,根據信號檢測理論(signal detection theory, SDT)來偵測訊號。
在流程320,聲音感測器110偵測到環境中的類比的聲音訊號之後,通過數位處理轉換類比的聲音訊號為時域數位聲音檔案。在一些實施方式中,數位處理可以通過微控制器120來執行。在一些實施方式中,數位處理也可以通過伺服器130來遠端處理。在一些實施方式中,可以通過音訊框架(frame blocking)處理,將時域數位聲音檔案進一步根據時間切分為幾個特定的音框,並通過音框內的訊號做處理與分析。
接續流程320,在流程330中,將時域數位聲音檔轉換為頻域數位聲音檔。具體而言,可以通過伺服器130或是其他連接伺服器130的電腦裝置,將時域數位聲音檔做快速傅立葉轉換(fast Fourier transform, FFT),將時域數位聲音檔轉換為頻域數位聲音檔。在一些實施方式中,通過建立頻域數位聲音檔,可以進一步用以獲得聲譜圖(spectrogram),這對應到在不同時間上,時域數位聲音檔在不同頻率的強度。
延續流程330,在流程340中,透過一聲音特徵值萃取模組來萃取出頻域數位聲音檔的特徵值。聲音特徵值萃取模組設置於伺服器130內。頻域數位聲音檔的特徵值對應到不同的聲音。舉例而言,工程器械發出的聲響與人聲具有不同的特徵,這些特徵會表現在例如聲音的頻譜圖或是聲譜圖上。通過分析頻域數位聲音檔的頻譜圖或是聲譜圖,即可以從中萃取出頻域數位聲音檔的特徵值,藉以分辨出工程器械發出的聲響與人聲的差異。
聲音特徵值萃取模組舉例而言,包括使用梅爾倒譜係數(Mel-Frequency Cepstral Coefficients,MFCCs)方法。通過聲音特徵值萃取模組的計算模組,頻域數位聲音檔能夠轉換成對應對應的梅爾倒頻譜(Mel-Frequency Cepstrum,MFC),以獲得相應的梅爾倒譜係數。梅爾倒譜係數能夠作為頻域數位聲音檔的特徵值,從而得出頻域數位聲音檔所對應到的聲音,例如是工程器械發出的聲響或是人聲。在一些實施方式中,聲音特徵值萃取模組可以使用人工智慧領域的深度神經網路(Deep Neural Networks, DNN)技術,來萃取出頻域數位聲音檔的特徵值。深度神經網路技術在圖像辯識上有良好的表現。因此,在概念上,可以通過將頻域數位聲音檔轉換成圖像,藉由圖像辯識來識別頻域數位聲音檔的圖像對應之聲音,以獲得相應的特徵值。
具體而言,在一實施方式中,伺服器130包括卷積神經網路(Convolutional neural network, CNN) 模型。在深度神經網路技術中,卷積神經網路模組能夠有效地實現圖像辨識的功能。卷積神經網路模型可以預先輸入由其他聲音提供的一序列聲譜圖,來完成圖像辨識的訓練。一序列聲譜圖可以是指在排列在一序列上,不同時間對應之頻率強度分布圖。舉例而言,針對例如工作器械的聲響或是人聲,可以提供多組相應一序列聲譜圖,作為圖像辯識的基礎。如此,在完成圖像辯識的學習後,可以向卷積神經網路模型輸入另一序列聲譜圖,而卷積神經網路模型通過圖像辨識得出另一序列聲譜圖與何種聲音相近,從而可以輸出一相應的特徵值。在一些實施方式中,用以訓練卷積神經網路模型的聲音在實際的工作環境中取樣,藉以根據實際環境建立客製化的辨識方案。通知裝置100的使用者可以按照需求,於環境偵測類比的聲音訊號,將其轉換為頻域數位聲音檔後做為輸入,再根據現有人聲或工具器械聲響的檔案做訓練。
如此一來,流程340的另一實施方式可以實現如下。首先,將頻域數位聲音檔轉換成一序列的聲譜圖。聲譜圖呈現不同頻率的強度隨時間的變化。在此,可以輸出一序列在不同時間上,頻域數位聲音檔的頻率強度分布圖。隨後,將此頻域數位聲音檔的一序列聲譜圖輸入聲音特徵值萃取模組中的卷積神經網路模型,即可以輸出頻域數位聲音檔的特徵值。
在流程350,便可以根據頻域數位聲音檔與其特徵值來訓練聲音辨識模組135。訓練聲音辨識模組135可以應用到人工智慧領域的深度神經網路。頻域數位聲音檔的特徵值給出對應到人聲或是工具器械的聲響。當頻域數位聲音檔的特徵值表示其為人聲時,進一步輸入頻域數位聲音檔對應的訊息內容,藉以訓練聲音辨識模組135。而當頻域數位聲音檔的特徵值表示其為工具器械的聲響,則可以提供相應的情境資訊。如此一來,當訓練聲音辨識模組135接收到聲音訊號,便能夠辨識出聲音訊號是人聲或是工具器械的聲響,聲音訊號為人聲時判別出所欲傳達的訊息內容,聲音訊號為工具器械的聲響則提供相應的情境資訊。在一些實施方式中,可以於微控制器120直接連接單晶片電腦,在便於攜帶的前提下,實現聲音辨識的邊緣運算。單晶片電腦舉例而言包括樹莓派(raspberry pi)。
請參照第7圖。第7圖根據本揭露之一實施方式繪示訓練一分類模組140之訓練方法400的流程圖。類似於聲音辨識模組135,分類模組140也可以通過深度神經網路來達成客製化的訓練。分類模組140是用以分辨不同類比聲音訊號的類型,以用來提供合適的反饋訊號。
在流程410,輸入類比的聲音訊號。在流程420中,可以通過例如聲音辨識模組135,來辨識輸入類比的聲音訊號。
隨後,在流程430中,輸入與類比聲音訊號相應的情境資訊。舉例而言,當輸入類比的聲音訊號中,被辨識出有人發出向左閃的警示,得輸入此時相應的情境是要向左閃。
在流程440,便可以根據類比聲音訊號與其相應的情境,來訓練分類模組140。具體而言,辨識出來的類比聲音訊號作為輸入,相應的特定幾種情境作為訓練的目標,便可以訓練分類模組140,使其將辨識出來的類比聲音訊號分類至不同的情境。不同的情境舉例而言例如是如前所述的要向左閃的情況。不同的情境,對應到聲音訊號的不同類型。如此一來,通知裝置100實質上結合無線網路,還可以個人化人工智慧辨識參數的設定,而伺服器130得接收不同情境資訊再訓練。此即本揭露之通知裝置100的整體服務之物聯網架構的一種實施方式中。除此之外,微控制器120也可以在物聯網架構之外實現警示功能。舉例而言,整合判斷聲音訊號音量功能的微控制器120可以用來檢視環境音量的異常變化,藉以發出用以警示通知的另一反饋訊號。具體的流程類似於第2圖,通知裝置100可以發揮與通知裝置1相同的功能。如此一來,在不連網的環境下,通知裝置100也可以起到警示通知的作用。
請參照第8圖、第9圖與第10圖。第8~10圖分別根據本揭露之一實施方式繪示作為穿戴裝置之一智慧背心500之正面視圖、背視圖與口袋内部的透視視圖。在本實施方式中,通知裝置100設置於背心505之上,以作為一智慧背心500。在一些實施方式中,也可以使用背心505以外的衣物。
同時參照第8圖與第9圖。如圖所示,智慧背心500包括正面510、背面530以及連接正面510與背面530的肩部520。正面510設置有口袋513,以容置手機提供網路。智慧背心500的背面530也設置有口袋533。口袋533是用以容置並固定通知裝置100的元件,包括聲音感測器110、距離感測器160與電路板170。
如第10圖所示,通知裝置100的聲音感測器110、微控制器120、供應電力的供電模組180與距離感測器160整合在支撐板170上。供電模組180包括電池與開關。電線可以整合在電路板170上、在夾層內部或是相對的另一面。
在本實施方式中,聲音感測器110、距離感測器160與電路板170設置於智慧背心500背面530的口袋533內。由於使用者的目光不易顧及背後,將用於偵測環境聲音感測器110與距離感測器160設置於智慧背心500的背面530,可以較佳地發揮通知裝置100偵測危險以發出警示的功效。在一些實施方式中,聲音感測器110與距離感測器160的向外裸露部分設置有防水結構,以應變不同環境變化。在本實施方式中,設置於智慧背心500上的輸出裝置150包括燈條153與振動器156。振動器156通過電線185連接電路板170。
綜上所述,本揭露提供一種通知裝置與使用通知裝置之穿戴裝置。通知裝置可以偵測在一時段下環境的音量大小,藉以在環境音量有變化時,即時通知使用者。通知裝置也可以通過使用微控制器網路遠端連接伺服器。這不僅便於輕便攜帶,伺服器可以進行接收之聲音訊號的辨識與分類,以針對聲音訊號的類型提供反饋。聲音訊號的類型例如是人聲或是工程器械的聲響。穿戴裝置例如是結合通知裝置的智慧背心,便於穿戴。通過設置於其上例如振動器與燈條的輸出裝置,使用者便於以聲音以外的方式察覺環境變化,而有利於即時溝通與警示。而通知裝置更設置為有利於做客製化的訓練,以在不同工作環境下提供更為精確的辨識與警示效果。
雖然本揭露已以實施方式揭露如上,然其並非用以限定本揭露,任何本領域具通常知識者,在不脫離本揭露之精神和範圍內,當可作各種之更動與潤飾,因此本揭露之保護範圍當視後附之申請專利範圍所界定者為準。
1,100:通知裝置 10,110:聲音感測器 20,120:微控制器 30,150:輸出裝置 130:伺服器 135:聲音辨識模組 140:分類模組 145:處理器 150:輸出裝置 153:燈條 156:振動器 160:距離感測器 170:電路板 180:供電模組 185:電線 200:通知方法 210~270:流程 300:訓練方法 310~350:流程 400:訓練方法 410~440:流程 500:智慧背心 505:背心 510:正面 513:口袋 520:肩部 530:背面 533:口袋 600:通知方法 610~650:流程
本揭露的優點與圖式,應由接下來列舉的實施方式,並參考附圖,以獲得更好的理解。這些圖式的說明僅僅是列舉的實施方式,因此不該認為是限制了個別實施方式,或是限制了發明申請專利範圍的範圍。 第1圖根據本揭露之一實施方式繪示一通知裝置的方塊圖; 第2圖根據本揭露之一實施方式繪示一通知方法的流程圖; 第3圖根據本揭露之一實施方式繪示一通知裝置的方塊圖; 第4圖根據本揭露之一實施方式繪示一伺服器的方塊圖; 第5圖根據本揭露之一實施方式繪示一通知裝置提供之一通知方法的流程圖; 第6圖根據本揭露之一實施方式繪示訓練一聲音辨識模組之一訓練方法的流程圖; 第7圖根據本揭露之一實施方式繪示訓練一分類模組之一訓練方法的流程圖;以及 第8~10圖根據本揭露之一實施方式分別繪示作為穿戴裝置之一智慧背心之正面視圖、背面視圖與口袋内部的透視視圖。
1:通知裝置
10:聲音感測器
20:微控制器
30:輸出裝置

Claims (11)

  1. 一種通知裝置,包括:一壓力感測器,用以偵測環境以提供複數個壓力訊號;一微控制器,連接該壓力感測器以接收該些壓力訊號,其中該微控制器用以計算在一當前時間以前的一時段內該些壓力訊號的一動態平均值,該微控制器根據該動態平均值設置一動態臨界值;以及一輸出裝置,連接該微控制器,其中當在該當前時間之一當前壓力訊號的大小大於該動態臨界值,該微控制器設置傳送一第一反饋訊號至該輸出裝置,該輸出裝置用以根據該第一反饋訊號提供一第一反饋動作。
  2. 如請求項1所述之通知裝置,其中該輸出裝置包括一發光裝置、一振動器、一聲音放大器或是一文字圖示顯示裝置。
  3. 如請求項1所述之通知裝置,其中該壓力感測器是一聲音感測器,該些壓力訊號為複數個聲音訊號,該些聲音訊號的該動態平均值是該時段下的一音量大小平均值。
  4. 如請求項3所述之通知裝置,進一步包括連接該微控制器的一距離感測器與一電路板,該聲音感測器與該距離感測器整合於該電路板上。
  5. 如請求項4所述之通知裝置,進一步包括一伺服器,其中該伺服器通過一網路連接至該微控制器,該微控制器傳輸該些聲音訊號至該伺服器,該伺服器辨識並分類該些聲音訊號的類型,以根據該些聲音訊號的類型傳送一第二反饋訊號至該微控制器,該輸出裝置根據該第二反饋訊號提供一第二反饋動作。
  6. 如請求項3所述之通知裝置,進一步包括一伺服器,其中該伺服器通過一網路連接至該微控制器,該微控制器傳輸該些聲音訊號至該伺服器,該伺服器辨識並分類該些聲音訊號的類型,以根據該些聲音訊號的類型傳送一第二反饋訊號至該微控制器,該輸出裝置根據該第二反饋訊號提供一第二反饋動作。
  7. 如請求項6所述之通知裝置,其中該伺服器進一步包括:一聲音辨識模組,用以辨識些該聲音訊號;一分類模組,用以分類辨識過的該些聲音訊號的類型;以及一處理器,用以根據該些聲音訊號的類型來提供該第二反饋訊號。
  8. 一種穿戴裝置,包括: 如請求項1所述之通知裝置;以及一衣物,其中該通知裝置的該壓力感測器、該微控制器與該輸出裝置設置於該衣物上。
  9. 一種通知方法,包括:通過一壓力感測器偵測環境以提供複數個壓力訊號;處理該些壓力訊號以獲得在一當前時間以前的一時段內該些壓力訊號的一動態平均值,其中該時段隨時間不斷變化;根據該動態平均值設置一動態臨界值;確認該些壓力訊號在該當前時間之的一當前壓力訊號是否超過該動態臨界值;若該當前壓力訊號超過該動態臨界值,傳送一反饋訊號至一輸出裝置;以及該輸出裝置根據該反饋訊號提供一反饋動作。
  10. 如請求項9所述之通知方法,其中該壓力訊號是一聲音訊號,該些壓力訊號為複數個聲音訊號,該些聲音訊號的該動態平均值是該些聲音訊號在該時段下的一音量平均值。
  11. 一種通知方法,包括:從環境取樣,並提供該環境相應的複數個情境資訊,以建立一聲音辨識模組; 偵測該環境以獲得複數個類比聲音訊號;處理該些類比聲音訊號以獲得在一當前時間以前的一時段內該些類比聲音訊號的一動態平均值;根據該動態平均值設置一動態臨界值;確認該些類比聲音訊號在該當前時間之一當前類比聲音訊號是否超過該動態臨界值;通過該聲音辯識模組聲音辨識出該當前類比聲音訊號的內容,並藉以分類出該當前類比聲音訊號的類型,該當前類比聲音訊號的類型對應該些情境資訊其中之一;若該當前類比聲音訊號超過該動態臨界值,根據該當前類比聲音訊號的類型輸出一反饋訊號;以及使一輸出裝置根據該反饋訊號作出一反饋動作,以通知穿戴該輸出裝置的一使用者。
TW109117898A 2020-05-28 2020-05-28 通知裝置、穿戴裝置與通知方法 TWI777170B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
TW109117898A TWI777170B (zh) 2020-05-28 2020-05-28 通知裝置、穿戴裝置與通知方法
US17/331,726 US20210375111A1 (en) 2020-05-28 2021-05-27 Notification device, wearable device and notification method
JP2021002054U JP3233390U (ja) 2020-05-28 2021-05-28 通知装置及びウェアラブル装置
CN202110593443.6A CN113744761A (zh) 2020-05-28 2021-05-28 通知装置、穿戴装置与通知方法
CN202121183839.5U CN216014810U (zh) 2020-05-28 2021-05-28 通知装置与穿戴装置
US18/046,239 US20230058503A1 (en) 2020-05-28 2022-10-13 Notification device, wearable device and notification method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109117898A TWI777170B (zh) 2020-05-28 2020-05-28 通知裝置、穿戴裝置與通知方法

Publications (2)

Publication Number Publication Date
TW202144994A TW202144994A (zh) 2021-12-01
TWI777170B true TWI777170B (zh) 2022-09-11

Family

ID=80783645

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109117898A TWI777170B (zh) 2020-05-28 2020-05-28 通知裝置、穿戴裝置與通知方法

Country Status (1)

Country Link
TW (1) TWI777170B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200631549A (en) * 2005-03-15 2006-09-16 Chang-Ming Yang Wearing article
TWM475386U (en) * 2013-12-03 2014-04-01 Univ Far East Reminder and alarm structure combined with transportation vehicles
TW201633264A (zh) * 2015-03-04 2016-09-16 Ching-Hui Tsai 穿戴式消防提醒裝備及逃生提醒系統
TW201843629A (zh) * 2017-05-04 2018-12-16 美商莫洲爾有限責任公司 可佩戴電子皮帶裝置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200631549A (en) * 2005-03-15 2006-09-16 Chang-Ming Yang Wearing article
TWM475386U (en) * 2013-12-03 2014-04-01 Univ Far East Reminder and alarm structure combined with transportation vehicles
TW201633264A (zh) * 2015-03-04 2016-09-16 Ching-Hui Tsai 穿戴式消防提醒裝備及逃生提醒系統
TW201843629A (zh) * 2017-05-04 2018-12-16 美商莫洲爾有限責任公司 可佩戴電子皮帶裝置

Also Published As

Publication number Publication date
TW202144994A (zh) 2021-12-01

Similar Documents

Publication Publication Date Title
US12045390B2 (en) Measurement of facial muscle EMG potentials for predictive analysis using a smart wearable system and method
US20200092625A1 (en) Smart device cover
WO2020244410A1 (zh) 基于捂嘴动作识别的语音交互唤醒电子设备、方法和介质
US10224019B2 (en) Wearable audio device
US20160019886A1 (en) Method and apparatus for recognizing whisper
CN108711430B (zh) 语音识别方法、智能设备及存储介质
CN111432303B (zh) 单耳耳机、智能电子设备、方法和计算机可读介质
CN111614634B (zh) 流量检测方法、装置、设备及存储介质
CN109558512A (zh) 一种基于音频的个性化推荐方法、装置和移动终端
US20210375111A1 (en) Notification device, wearable device and notification method
CN109753777B (zh) 一种身份识别方法、装置、存储介质及移动终端
CN110428806A (zh) 基于麦克风信号的语音交互唤醒电子设备、方法和介质
CN110097875A (zh) 基于麦克风信号的语音交互唤醒电子设备、方法和介质
US9830507B2 (en) Method and apparatus for detecting facial changes
CN110223711A (zh) 基于麦克风信号的语音交互唤醒电子设备、方法和介质
CN109754823A (zh) 一种语音活动检测方法、移动终端
US11706575B2 (en) Binaural hearing system for identifying a manual gesture, and method of its operation
CN110111776A (zh) 基于麦克风信号的语音交互唤醒电子设备、方法和介质
US20190374149A1 (en) Apparatus, system and method for detecting onset autism spectrum disorder via a portable device
TWI777170B (zh) 通知裝置、穿戴裝置與通知方法
WO2019103841A1 (en) Biopotential wakeup word
KR102259428B1 (ko) 로봇
TWM606675U (zh) 通知裝置與穿戴裝置
US20230058503A1 (en) Notification device, wearable device and notification method
KR20160013657A (ko) 청각장애인을 위한 손목시계

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent