TW202144994A - Notification device, wearable device and notification method - Google Patents
Notification device, wearable device and notification method Download PDFInfo
- Publication number
- TW202144994A TW202144994A TW109117898A TW109117898A TW202144994A TW 202144994 A TW202144994 A TW 202144994A TW 109117898 A TW109117898 A TW 109117898A TW 109117898 A TW109117898 A TW 109117898A TW 202144994 A TW202144994 A TW 202144994A
- Authority
- TW
- Taiwan
- Prior art keywords
- sound
- signal
- microcontroller
- sound signal
- feedback
- Prior art date
Links
Images
Landscapes
- Telephone Function (AREA)
- Emergency Alarm Devices (AREA)
Abstract
Description
本揭露有關於一種通知裝置,以及設置有通知裝置的穿戴裝置。The present disclosure relates to a notification device and a wearable device provided with the notification device.
在一些職場上,並不便直接通過聲音來溝通。例如職場上有聽障人士,或是工作場合噪音吵雜。在這些場合,工作者保持與聲音隔絕的情況,並不利於溝通。若使用到市面上其他輔助溝通的裝置,則可能影響到工作。對此,如何提供一種輕便即時的通知裝置,是相關領域人員所欲解決的問題之一。In some workplaces, it is not convenient to communicate directly through voice. For example, there are hearing-impaired people in the workplace, or the workplace is noisy. On these occasions, workers remain isolated from sound, which is not conducive to communication. If you use other devices on the market to assist communication, it may affect your work. In this regard, how to provide a portable and real-time notification device is one of the problems to be solved by those in the related art.
本揭露之一態樣有關於一種通知裝置。One aspect of the present disclosure relates to a notification device.
根據本揭露之一實施方式,通知裝置包括壓力感測器、微控制器與輸出裝置。壓力感測器用以偵測環境以提供壓力訊號。微控制器連接壓力感測器以接收壓力訊號。微控制器用以計算在一時段內壓力訊號的動態臨界值。當壓力訊號的大小大於動態臨界值,微控制器傳送第一反饋訊號至輸出裝置。輸出裝置連接微控制器。輸出裝置用以根據第一反饋訊號提供第一反饋動作。According to an embodiment of the present disclosure, the notification device includes a pressure sensor, a microcontroller, and an output device. The pressure sensor is used to detect the environment to provide pressure signal. The microcontroller is connected to the pressure sensor to receive the pressure signal. The microcontroller is used to calculate the dynamic threshold of the pressure signal within a period of time. When the magnitude of the pressure signal is greater than the dynamic threshold, the microcontroller sends a first feedback signal to the output device. The output device is connected to the microcontroller. The output device is used for providing a first feedback action according to the first feedback signal.
在一或多個實施方式中,輸出裝置包括發光裝置、振動器、聲音放大器或是文字圖示顯示裝置。In one or more embodiments, the output device includes a light-emitting device, a vibrator, a sound amplifier, or a text-graphic display device.
在一或多個實施方式中,壓力感測器是聲音感測器。動態平均值是一時段下的音量大小平均值。In one or more embodiments, the pressure sensor is a sound sensor. The dynamic average is the average volume of the volume over a period of time.
在一些實施方式中,通知裝置進一步包括連接微控制器的距離感測器與電路板。聲音感測器與距離感測器整合於電路板上。In some embodiments, the notification device further includes a distance sensor connected to the microcontroller and the circuit board. The sound sensor and the distance sensor are integrated on the circuit board.
在一些實施方式中,通知裝置進一步包括伺服器。伺服器通過網路連接至微控制器。微控制器傳輸聲音訊號至伺服器。伺服器辨識並分類聲音訊號的類型,以根據聲音訊號的類型傳送第二反饋訊號至微控制器。輸出裝置根據第二反饋訊號提供第二反饋動作。In some embodiments, the notification device further includes a server. The server is connected to the microcontroller via a network. The microcontroller transmits the sound signal to the server. The server recognizes and classifies the type of the sound signal, so as to transmit the second feedback signal to the microcontroller according to the type of the sound signal. The output device provides a second feedback action according to the second feedback signal.
在一些實施方式中,伺服器進一步包括聲音辨識模組、分類模組以及微處理器。聲音辨識模組用以辨識聲音訊號。分類模組用以分類辨識過的聲音訊號的類型。微處理器用以根據聲音訊號的類型來提供第二反饋訊號。In some embodiments, the server further includes a voice recognition module, a classification module, and a microprocessor. The sound recognition module is used for recognizing sound signals. The classification module is used for classifying the type of the recognized sound signal. The microprocessor is used for providing the second feedback signal according to the type of the sound signal.
本揭露之一態樣有關於一種具有如前所述之通知裝置的穿戴裝置。An aspect of the present disclosure relates to a wearable device having the aforementioned notification device.
根據本揭露之一實施方式,一種穿戴裝置包括如前所述之通知裝置以及衣物。通知裝置的壓力感測器、微控制器與輸出裝置設置於衣物上。According to an embodiment of the present disclosure, a wearable device includes the aforementioned notification device and clothing. The pressure sensor, microcontroller and output device of the notification device are arranged on the clothes.
本揭露之一態樣有關於通知方式,可以通過如前所述之通知裝置來實現。An aspect of the present disclosure relates to a notification method, which can be implemented by the notification device as described above.
在本揭露之一實施方式中,通知方法包括以下流程。偵測環境以提供壓力訊號,處理壓力訊號以獲得在一時段內壓力訊號的動態平均值。根據動態平均值設置動態臨界值。確認聲音訊號的當前音量否超過動態臨界值。若聲音訊號的動態平均值超過臨界值,傳送反饋訊號至輸出裝置。輸出裝置根據反饋訊號提供反饋動作。In an embodiment of the present disclosure, the notification method includes the following processes. The environment is detected to provide pressure signals, and the pressure signals are processed to obtain the dynamic average value of the pressure signals within a period of time. Set dynamic thresholds based on dynamic averages. Check whether the current volume of the sound signal exceeds the dynamic threshold. If the dynamic average of the sound signal exceeds the threshold, a feedback signal is sent to the output device. The output device provides feedback action according to the feedback signal.
在一或多個實施方式中,壓力訊號是聲音訊號,動態平均值是聲音訊號在一時段下的音量平均值。In one or more embodiments, the pressure signal is a sound signal, and the dynamic average is an average volume of the sound signal over a period of time.
本揭露之一態樣有關於通知方式,也可以通過如前所述之通知裝置來實現。An aspect of the present disclosure is related to the notification method, which can also be implemented by the notification device as described above.
在本揭露之一實施方式中,通知方法包括以下流程。偵測環境以獲得類比聲音訊號。聲音辨識出類比聲音訊號的內容,並藉以分類出類比聲音訊號的類型。根據類比聲音訊號的類型輸出反饋訊號。使輸出裝置根據反饋訊號作出反饋動作。In an embodiment of the present disclosure, the notification method includes the following processes. Detect the environment for analog sound signals. The sound recognizes the content of the analog sound signal, and thereby classifies the type of the analog sound signal. The feedback signal is output according to the type of the analog sound signal. Make the output device make a feedback action according to the feedback signal.
綜上所述,本揭露提供一種通知裝置、使用通知裝置之穿戴裝置,以及相應的通知方法,以根據環境音量即時通知使用者,使得使用者便於察覺環境的變化。To sum up, the present disclosure provides a notification device, a wearable device using the notification device, and a corresponding notification method, so as to notify the user in real time according to the volume of the environment, so that the user can easily perceive changes in the environment.
以上所述僅係用以闡述本揭露所欲解決的問題、解決問題的技術手段、及其產生的功效等等,本揭露之具體細節將在下文的實施方式及相關圖式中詳細介紹。The above descriptions are only used to describe the problems to be solved by the present disclosure, the technical means for solving the problems, and their effects, etc. The specific details of the present disclosure will be introduced in detail in the following embodiments and related drawings.
下文係舉實施例配合所附圖式進行詳細說明,但所提供之實施例並非用以限制本揭露所涵蓋的範圍,而結構運作之描述非用以限制其執行之順序,任何由元件重新組合之結構,所產生具有均等功效的裝置,皆為本揭露所涵蓋的範圍。另外,圖式僅以說明為目的,並未依照原尺寸作圖。為便於理解,下述說明中相同元件或相似元件將以相同之符號標示來說明。The following examples are described in detail with the accompanying drawings, but the provided examples are not intended to limit the scope of the present disclosure, and the description of the structure and operation is not intended to limit the order of its execution. Any recombination of elements The structure and the resulting device with equal efficacy are all within the scope of the present disclosure. In addition, the drawings are for illustrative purposes only, and are not drawn on the original scale. For ease of understanding, the same elements or similar elements in the following description will be described with the same symbols.
另外,在全篇說明書與申請專利範圍所使用之用詞(terms),除有特別註明外,通常具有每個用詞使用在此領域中、在此揭露之內容中與特殊內容中的平常意義。某些用以描述本揭露之用詞,將於下或在此說明書的別處討論,以提供本領域技術人員在有關本揭露之描述上額外的引導。In addition, the terms (terms) used in the entire specification and the scope of the patent application, unless otherwise specified, usually have the ordinary meaning of each term used in this field, in the content disclosed herein and in the special content . Certain terms used to describe the present disclosure are discussed below or elsewhere in this specification to provide those skilled in the art with additional guidance in the description of the present disclosure.
在本文中,「第一」、「第二」等等用語僅是用於區隔具有相同技術術語的元件或操作方法,而非旨在表示順序或限制本揭露。In this document, terms such as "first", "second" and the like are only used to distinguish elements or operation methods with the same technical terms, and are not intended to represent an order or limit the present disclosure.
此外,「包含」、「包括」、「提供」等相似的用語,在本文中都是開放式的限制,意指包含但不限於。In addition, words like "include", "include", "provide" and the like are all open-ended restrictions in this document, meaning including but not limited to.
進一步地,在本文中,除非內文中對於冠詞有所特別限定,否則「一」與「該』可泛指單一個或多個。將進一步理解的是,本文中所使用之「包含」、「包括」、「具有」及相似詞彙,指明其所記載的特徵、區域、整數、步驟、操作、元件與/或組件,但不排除其所述或額外的其一個或多個其它特徵、區域、整數、步驟、操作、元件、組件,與/或其中之群組。Further, in this article, unless there is a special limitation on the article in the context, otherwise "a" and "the" can generally refer to a single one or a plurality. It will be further understood that the "comprising", "" "include", "have" and similar words, designate its recited features, regions, integers, steps, operations, elements and/or components, but do not exclude its recited or additional one or more of its other features, regions, Integers, steps, operations, elements, components, and/or groups thereof.
請參照第1圖。第1圖根據本揭露之一實施方式繪示一通知裝置1的方塊圖。如第1圖所示,通知裝置1包括聲音感測器10、微控制器20以及輸出裝置30。通過通知裝置1,使用者可以根據環境變化即時獲得通知。Please refer to Figure 1. FIG. 1 is a block diagram of a notification device 1 according to an embodiment of the present disclosure. As shown in FIG. 1 , the notification device 1 includes a
聲音感測器10是用於偵測環境,以接收環境中的聲音訊號。在通知裝置1用於倉庫或工廠等環境時,所接收的聲音訊號例如是工程器械的聲響或是其他工作者的人聲,為一類比訊號。在一些實施方式中,聲音感測器10例如是麥克風感測模組(例如是電容式),或也可以將電容式的麥克風感測模組簡易地排列成陣列。The
微控制器(microcontroller,或稱microcontroller unit,簡稱MCU) 20連接聲音感測器10。微控制器120具有體積小的優點,易於便攜,能夠用於實現簡單的運算功能。聲音感測器10能夠將聲音訊號傳輸至微控制器20,並通過微控制器20將來自於聲音感測器10的聲音訊號做簡單的處理。微控制器20也可以整合用以判斷聲音訊號音量的功能。如此,微控制器20可以在一段時間下,記錄一段聲音訊號,並根據聲音訊號的音量變化來提供反饋的訊號。A microcontroller (microcontroller, or microcontroller unit, MCU for short) 20 is connected to the
輸出裝置30連接微控制器20,以用來根據反饋訊號來提供反饋動作。輸出裝置30可以包括發光裝置、振動器、聲音放大器或是文字圖示顯示裝置。文字圖示裝置通過顯示文字或其他圖示來以更直覺的直接提醒使用者。文字圖示顯示裝置包括小型的攜帶式顯示器。The
如此一來,通知裝置1可以通過聲音感測器10來偵測環境以提供聲音訊號。連接聲音感測器10的微控制器20處理在一時段下聲音訊號的動態音量平均值。動態音量平均值係指在前一時段下,聲音訊號音量大小的平均。根據動態平均值,可以預定出一個動態臨界值。若當前聲音訊號的音量大於前一時段之動態平均值所計算出的動態臨界值,代表環境發生變化,可以存在危險,或是週遭有溝通需求,微控制器20便向輸出裝置30提供反饋訊號,藉以使輸出裝置30提供反饋動作以通知使用者。In this way, the notification device 1 can detect the environment through the
在一些實施方式中,通知裝置1也可以使用其他類型的壓力感測器來替代聲音感測器10。聲音感測器10是壓力感測器的一種,用以感測環境中聲音傳遞中的聲壓變化,將其轉化為聲音訊號,並藉以計算出動態平均值以獲得動態臨界值。在一些實施方式中,可以於通知裝置1中使用例如氣壓感測器等其他類型的壓力感測器。以氣壓感測器為例,可以感測出一個時段下氣壓的動態平均值。一旦當前的氣壓值大於前一時段計算出的動態平均值,則微控制器20便可以發出反饋訊號,使輸出裝置30提供反饋動作,以即時通知使用通知裝置1的使用者。In some embodiments, the notification device 1 may also use other types of pressure sensors instead of the
為進一步說明通知裝置1如何通知使用者,請參照第2圖。第2圖根據本揭露之一實施方式繪示一通知方法600的流程圖。通知方法600包括流程610~650。To further illustrate how the notification device 1 notifies the user, please refer to FIG. 2 . FIG. 2 illustrates a flowchart of a
在流程610,通知裝置1的聲音感測器10可以用來偵測使用者週遭的環境,以在一時段下獲得聲音訊號。In the
在流程620,可以通過連接聲音感測器10的微控制器20來處理聲音訊號,藉以獲得在一時段下的動態臨界值。微控制器20可以先根據聲音訊號來計算在一個時段下聲音訊號之音量的動態平均值。舉例而言,聲音感測器10可以獲得3秒前到1秒前這個時段音量的動態平均值。在通知裝置1啟動時,音量的動態平均值可能會不斷變化。In the
根據音量的動態平均值,微控制器20可以界定出聲音訊號音量動態臨界值,藉以判斷聲音訊號的音量在短時間內是否有大的變化。在一些實施方式中,動態臨界值可以設置為動態平均值。在一些實施方式中,可以根據動態平均值的大小,設定不同於動態平均值的動態臨界值。舉例而言,當聲音訊號音量的動態平均值小於特定分貝數,則設定動態臨界值為大於動態平均值的數值;而當聲音訊號音量的動態平均值大於特定分貝數,則直接設置動態臨界值等於動態平均值。According to the dynamic average value of the volume, the
經歷流程620,設置接受到之聲音訊號音量的動態平均值,在流程630,可以根據聲音訊號當下的音量大小,確認當下聲音訊號的音量是否超過動態臨界值。如是,則進入流程640,傳送反饋訊號至輸出裝置30。若否,則回到流程610,繼續偵測環境以提供聲音訊號。Going through the
舉例而言,在一個具體實施方式中,微控制器20計算出在3秒前至1秒前,聲音訊號音量的動態平均值為一特定分貝數(例如60分貝),並且微控制器20將聲音訊號音量的動態平均值設置為動態臨界值(流程620)。隨後,一旦聲音訊號當前的音量大於動態臨界值(例如大於60分貝),對應到流程630判斷為是,則進入到流程640,微控制器20可以即時提供反饋訊號予輸出裝置30。For example, in an embodiment, the
如此,在流程650,輸出裝置30便可以根據來自微控制器20的反饋訊號,提供合適的反饋動作,藉以通知使用通知裝置1的使用者。通知方法600能夠在行動裝置上實現。舉例而言,智慧型手機等行動裝置具有麥克風、處理器以及使手機振動的振動器。通知在智慧型手機上安裝應用程式(APP),能夠使麥克風作為聲音感測器10,手機的處理器發揮微控制器20的功能,而手機的振動器則作為輸出裝置30,通知振動來提供反饋動作。In this way, in the
請參照第3圖。第3圖根據本揭露之一實施方式繪示一通知裝置100的方塊圖。通知裝置100建立在通知裝置1的基礎上,能夠在發揮通知裝置1的功能外,進一步提供智能通知並警示的功能。如第3圖所示,通知裝置100包括聲音感測器110、微控制器120、伺服器130、輸出裝置150與距離感測器160。在本實施方式中,聲音感測器110、輸出裝置150與距離感測器160連接微控制器120,伺服器130則設置於遠端,例如通過網路來與微控制器120連接。伺服器130可以用於複雜的運算。由於伺服器130可以設置於遠端,使用通知裝置100時,僅需攜帶聲音感測器110、微控制器120、輸出裝置150與距離感測器160。在一些實施方式中,網路例如是使用使用者的手機分享的無線網路。在一些實施方式中,可以通過藍芽通訊的方式,使得微控制器120與網路連接。在一些實施方式中,網路可以是其他類型的無線網路(Wi-Fi),例如Zigbee。在一些實施方式中,網路也可以是第四代行動通訊技術(4G)的窄帶物聯網(narrow band Internet of things,NBIoT)或是LTE-M技術。在一些實施方式中,網路可以是由第五代行動通訊技術(5G)來提供,以實現更快的傳輸速率與交互。Please refer to Figure 3. FIG. 3 illustrates a block diagram of a
聲音感測器110類似於第1圖的聲音感測器10。聲音感測器110用於偵測環境,以接收環境中的聲音訊號。舉例而言,在通知裝置100用於倉庫或工廠等環境時,所接收的聲音訊號例如是工程器械的聲響或是其他工作者的人聲,為一類比訊號。具體而言,在一些實施方式中,聲音感測器110例如是麥克風感測模組。麥克風感測模組例如是電容式。在一些實施方式中,也可以將電容式的麥克風感測模組簡易地排列成陣列。The
在聲音感測器110接收環境的聲音訊號後,為了便於分析,能夠將類比的聲音訊號做處理,將雜訊過濾。在一些實施方式中,也可以在聲音感測器110上設置其他用於過濾雜訊的裝置。After the
微控制器120類似於第1圖的微控制器20。微控制器120連接聲音感測器110。微控制器120具有體積小的優點,易於便攜,能夠用於實現簡單的運算功能。進一步地,微控制器120能夠通過網路與遠端的伺服器130連接。而通過與微控制器120的連接,聲音感測器110能夠將聲音訊號傳輸至微控制器120。在一些實施方式中,網路可以由例如手機來提供。The
伺服器130設置於遠端,以進行較為複雜的運算。請同時參照第3圖與第4圖。第4圖根據本揭露之一實施方式繪示一伺服器130的方塊圖。在本實施方式中,伺服器130包括聲音辨識模組135、分類模組140與處理器145。在一些實施方式中,聲音辨識模組135、分類模組140與處理器145是伺服器130內的電腦元件。而在一些實施方式中,聲音辨識模組135、分類模組140與處理器145可以整合為同一硬體。The
聲音辨識模組135用以辨識聲音訊號。分類模組140用以分類辨識過的聲音訊號的類型。處理器145根據聲音訊號的類型來提供反饋訊號。具體運作方式請見後述。通過網路的遠端傳輸,微控制器120可以用於接收遠端伺服器130的反饋訊號。The
輸出裝置150連接微控制器120,以根據反饋訊號來提供反饋動作。輸出裝置150類似於第1圖的輸出裝置30包括發光裝置、振動器、聲音放大器或是文字圖示顯示裝置。文字圖示顯示裝置包括小型的攜帶式顯示器。為因應不便以聲音溝通的環境,在一些實施方式中,輸出裝置150的反饋動作不包括聲音反饋。The
距離感測器160連接微控制器120,以感測通知裝置100與一物體的距離。舉例而言,距離感測器160例如是超音波距離感測裝置。在一些實施方式中,距離感測器160例如是通過紅外線來做距離的感測,或是使用包括毫米波雷達或是次毫米波雷達,由於所使用的波長較短,而得以具有較廣的感應範圍,能夠在一個更大的角度範圍內探測到物體。The
請參照第5圖。第5圖根據本揭露之一實施方式繪示通知裝置100提供之通知方法200的流程圖,說明通知裝置100從接收環境的聲音訊號到發出用於警示之反饋動作的具體流程。Please refer to Figure 5. FIG. 5 is a flow chart of a
在通知方法200的流程210,通知裝置100的聲音感測器110偵測環境,以獲得類比的聲音訊號。In the
接續流程210,在流程220中,微控制器120通過可以例如通過網路來傳送類比的聲音訊號至伺服器130。Continuing with
在流程230中,伺服器130根據聲音辨識模組135來辨識出類比聲音訊號。通過聲音辨識模組135的辨識,伺服器130可以獲得類比聲音訊號中所包含的聲音,例如來自於人的警告聲及警告聲音的具體內容,或是工程器械的聲響。In the
在流程240中,伺服器130能夠通過分類模組140來分類類比的聲音訊號的類型。而在流程250,伺服器130根據聲音訊號的類型,來輸出反饋訊號。換言之,一種聲音訊號的類型,可以對應到一種反饋訊號。這裡所指的聲音訊號的類型,是根據接收到聲音訊號後的應對方式來分類,例如是用於警示危險或是呼叫溝通。In the
在一些實施方式中,工作環境中的聲音訊號,可以分類成為多種類型,這些聲音訊號的類型分別對應到一種情境,而這些情境分別對應到一種反饋動作。聲音訊號的類型是有限的,而可以客製化的按照情境去增加。In some embodiments, the sound signals in the working environment can be classified into multiple types, the types of the sound signals correspond to a situation, and the situations correspond to a feedback action. The types of sound signals are limited, and can be customized to increase according to the situation.
舉例而言,在一些實施方式中,聲音訊號的類型僅有一種「有危險」。通知裝置100接收到聲音訊號(流程210),經過上傳伺服器(流程220)與完成聲音訊號的辨識(流程230)後,獲知聲音訊號的內容是通知使用者有危險(聲音訊號的內容可能是工作器械的聲響或是人聲),此時通知裝置100便能將聲音訊號分類到「有危險」這一類型,以使伺服器130便向輸出裝置150輸出相應的反饋訊號,通知通知裝置100的使用者有危險。For example, in some implementations, there is only one type of sound signal "at risk." The
具體而言,在另一個實際的例子,聲音訊號的類型有六種,包括有危險往左閃、有危險往右閃、發出振動、有其他種類危險、往右移動、提醒有人呼叫。舉例而言,通知裝置100接收到聲音訊號(流程210),經過上傳伺服器(流程220)與完成聲音訊號的辨識(流程230)後,獲知聲音訊號的內容是通知使用者右方有危險,應向左閃,此時通知裝置100便能將聲音訊號分類在有危險往左閃的類型(流程240)。隨後,伺服器130便輸出向左閃的反饋訊號(流程250)。Specifically, in another practical example, there are six types of sound signals, including flashing left in danger, flashing right in danger, vibrating, other types of danger, moving to the right, and alerting someone to call. For example, the
在一些實施方式中,距離感測器160也可以提供關於通知裝置100使用者附近的環境資訊,以利伺服器130更精確的判斷。舉例而言,在一些實施方式中,工作用的大型器械自右後方往通知裝置100的使用者移動,在聲音感測器110偵測到大型器械聲響的聲音訊息,同時距離感測器160感測到右後方有物體接近,則伺服器130可以根據以上資訊辨識並分類出聲音訊號的類型是要向左閃,從而提供向左閃的反饋訊號。In some embodiments, the
延續流程250,在流程260,微控制器120通過網路自遠端從伺服器130接收到反饋訊號。Continuing with
在流程270,連接微控制器120的輸出裝置150根據反饋訊號來做出反饋動作。舉例來說,輸出裝置150可以是設置在使用者左肩與右肩上的振動器,則當微控制器120接收到向左閃的反饋動作後,使用者左肩上的振動器振動,通過觸覺即時對通知裝置100的使用者發出警示。In the
在一些實施方式中,通知裝置100可以進一步連接主控台。主控台能夠用於同時管理一或多個通知裝置100,或是設置有通知裝置100的穿戴設備。舉例而言,主控台可以主動向特定的通知裝置100發送反饋訊號,以直接驅動輸出裝置來提供警示。如此一來,通過以上的方式來提供主動通知,能夠更進一步強化通知裝置100的警示功能。在一些實施方式中,主控台可以進一步將一或多個通知裝置100設置為多個不同群組,以在高噪音環境下,於不同情境下針對特定群組或全部通知裝置100做通知。In some embodiments, the
在本實施方式中,聲音辨識模組135與分類模組140可以通過機器學習的方式進行客製化的訓練,以客製化的達成聲音訊號的辨識與分類,以因應不同種類的工作環境,具體請見後述。In the present embodiment, the
請參照第6圖。第6圖根據本揭露之一實施方式繪示訓練聲音辨識模組135之一訓練方法300的流程圖。Please refer to Figure 6. FIG. 6 is a flowchart illustrating a
如圖所示,在流程310,通過聲音感測器110來偵測環境,以獲得類比的聲音訊號。通知裝置100的使用者可以因應實際的需求選擇不同的偵測環境。As shown in the figure, in the
在一些實施方式中,在聲音感測器110可以通過聲音動態偵測的方式,根據信號檢測理論(signal detection theory, SDT)來偵測訊號。In some embodiments, the
在流程320,聲音感測器110偵測到環境中的類比的聲音訊號之後,通過數位處理轉換類比的聲音訊號為時域數位聲音檔案。在一些實施方式中,數位處理可以通過微控制器120來執行。在一些實施方式中,數位處理也可以通過伺服器130來遠端處理。在一些實施方式中,可以通過音訊框架(frame blocking)處理,將時域數位聲音檔案進一步根據時間切分為幾個特定的音框,並通過音框內的訊號做處理與分析。In the
接續流程320,在流程330中,將時域數位聲音檔轉換為頻域數位聲音檔。具體而言,可以通過伺服器130或是其他連接伺服器130的電腦裝置,將時域數位聲音檔做快速傅立葉轉換(fast Fourier transform, FFT),將時域數位聲音檔轉換為頻域數位聲音檔。在一些實施方式中,通過建立頻域數位聲音檔,可以進一步用以獲得聲譜圖(spectrogram),這對應到在不同時間上,時域數位聲音檔在不同頻率的強度。Following the
延續流程330,在流程340中,透過一聲音特徵值萃取模組來萃取出頻域數位聲音檔的特徵值。聲音特徵值萃取模組設置於伺服器130內。頻域數位聲音檔的特徵值對應到不同的聲音。舉例而言,工程器械發出的聲響與人聲具有不同的特徵,這些特徵會表現在例如聲音的頻譜圖或是聲譜圖上。通過分析頻域數位聲音檔的頻譜圖或是聲譜圖,即可以從中萃取出頻域數位聲音檔的特徵值,藉以分辨出工程器械發出的聲響與人聲的差異。Continuing the
聲音特徵值萃取模組舉例而言,包括使用梅爾倒譜係數(Mel-Frequency Cepstral Coefficients,MFCCs)方法。通過聲音特徵值萃取模組的計算模組,頻域數位聲音檔能夠轉換成對應對應的梅爾倒頻譜(Mel-Frequency Cepstrum,MFC),以獲得相應的梅爾倒譜係數。梅爾倒譜係數能夠作為頻域數位聲音檔的特徵值,從而得出頻域數位聲音檔所對應到的聲音,例如是工程器械發出的聲響或是人聲。在一些實施方式中,聲音特徵值萃取模組可以使用人工智慧領域的深度神經網路(Deep Neural Networks, DNN)技術,來萃取出頻域數位聲音檔的特徵值。深度神經網路技術在圖像辯識上有良好的表現。因此,在概念上,可以通過將頻域數位聲音檔轉換成圖像,藉由圖像辯識來識別頻域數位聲音檔的圖像對應之聲音,以獲得相應的特徵值。For example, the sound feature value extraction module includes the use of Mel-Frequency Cepstral Coefficients (MFCCs) method. Through the calculation module of the sound feature value extraction module, the frequency-domain digital sound file can be converted into a corresponding corresponding Mel-Frequency Cepstrum (MFC) to obtain the corresponding Mel-cepstrum coefficients. The Mel cepstral coefficient can be used as the characteristic value of the frequency-domain digital sound file, so as to obtain the sound corresponding to the frequency-domain digital sound file, such as the sound of engineering equipment or human voice. In some embodiments, the sound feature value extraction module may use the Deep Neural Networks (DNN) technology in the field of artificial intelligence to extract the feature values of the frequency-domain digital sound file. Deep neural network technology has good performance in image recognition. Therefore, conceptually, the sound corresponding to the image of the frequency-domain digital sound file can be identified through image recognition by converting the frequency-domain digital sound file into an image, so as to obtain the corresponding feature value.
具體而言,在一實施方式中,伺服器130包括卷積神經網路(Convolutional neural network, CNN) 模型。在深度神經網路技術中,卷積神經網路模組能夠有效地實現圖像辨識的功能。卷積神經網路模型可以預先輸入由其他聲音提供的一序列聲譜圖,來完成圖像辨識的訓練。一序列聲譜圖可以是指在排列在一序列上,不同時間對應之頻率強度分布圖。舉例而言,針對例如工作器械的聲響或是人聲,可以提供多組相應一序列聲譜圖,作為圖像辯識的基礎。如此,在完成圖像辯識的學習後,可以向卷積神經網路模型輸入另一序列聲譜圖,而卷積神經網路模型通過圖像辨識得出另一序列聲譜圖與何種聲音相近,從而可以輸出一相應的特徵值。在一些實施方式中,用以訓練卷積神經網路模型的聲音在實際的工作環境中取樣,藉以根據實際環境建立客製化的辨識方案。通知裝置100的使用者可以按照需求,於環境偵測類比的聲音訊號,將其轉換為頻域數位聲音檔後做為輸入,再根據現有人聲或工具器械聲響的檔案做訓練。Specifically, in one embodiment, the
如此一來,流程340的另一實施方式可以實現如下。首先,將頻域數位聲音檔轉換成一序列的聲譜圖。聲譜圖呈現不同頻率的強度隨時間的變化。在此,可以輸出一序列在不同時間上,頻域數位聲音檔的頻率強度分布圖。隨後,將此頻域數位聲音檔的一序列聲譜圖輸入聲音特徵值萃取模組中的卷積神經網路模型,即可以輸出頻域數位聲音檔的特徵值。As such, another embodiment of the
在流程350,便可以根據頻域數位聲音檔與其特徵值來訓練聲音辨識模組135。訓練聲音辨識模組135可以應用到人工智慧領域的深度神經網路。頻域數位聲音檔的特徵值給出對應到人聲或是工具器械的聲響。當頻域數位聲音檔的特徵值表示其為人聲時,進一步輸入頻域數位聲音檔對應的訊息內容,藉以訓練聲音辨識模組135。而當頻域數位聲音檔的特徵值表示其為工具器械的聲響,則可以提供相應的情境資訊。如此一來,當訓練聲音辨識模組135接收到聲音訊號,便能夠辨識出聲音訊號是人聲或是工具器械的聲響,聲音訊號為人聲時判別出所欲傳達的訊息內容,聲音訊號為工具器械的聲響則提供相應的情境資訊。在一些實施方式中,可以於微控制器120直接連接單晶片電腦,在便於攜帶的前提下,實現聲音辨識的邊緣運算。單晶片電腦舉例而言包括樹莓派(raspberry pi)。In the
請參照第7圖。第7圖根據本揭露之一實施方式繪示訓練一分類模組140之訓練方法400的流程圖。類似於聲音辨識模組135,分類模組140也可以通過深度神經網路來達成客製化的訓練。分類模組140是用以分辨不同類比聲音訊號的類型,以用來提供合適的反饋訊號。Please refer to Figure 7. FIG. 7 illustrates a flowchart of a
在流程410,輸入類比的聲音訊號。在流程420中,可以通過例如聲音辨識模組135,來辨識輸入類比的聲音訊號。In
隨後,在流程430中,輸入與類比聲音訊號相應的情境資訊。舉例而言,當輸入類比的聲音訊號中,被辨識出有人發出向左閃的警示,得輸入此時相應的情境是要向左閃。Then, in the
在流程440,便可以根據類比聲音訊號與其相應的情境,來訓練分類模組140。具體而言,辨識出來的類比聲音訊號作為輸入,相應的特定幾種情境作為訓練的目標,便可以訓練分類模組140,使其將辨識出來的類比聲音訊號分類至不同的情境。不同的情境舉例而言例如是如前所述的要向左閃的情況。不同的情境,對應到聲音訊號的不同類型。如此一來,通知裝置100實質上結合無線網路,還可以個人化人工智慧辨識參數的設定,而伺服器130得接收不同情境資訊再訓練。此即本揭露之通知裝置100的整體服務之物聯網架構的一種實施方式中。除此之外,微控制器120也可以在物聯網架構之外實現警示功能。舉例而言,整合判斷聲音訊號音量功能的微控制器120可以用來檢視環境音量的異常變化,藉以發出用以警示通知的另一反饋訊號。具體的流程類似於第2圖,通知裝置100可以發揮與通知裝置1相同的功能。如此一來,在不連網的環境下,通知裝置100也可以起到警示通知的作用。In
請參照第8圖、第9圖與第10圖。第8~10圖分別根據本揭露之一實施方式繪示作為穿戴裝置之一智慧背心500之正面視圖、背視圖與口袋内部的透視視圖。在本實施方式中,通知裝置100設置於背心505之上,以作為一智慧背心500。在一些實施方式中,也可以使用背心505以外的衣物。Please refer to Figure 8, Figure 9 and Figure 10. FIGS. 8 to 10 respectively illustrate a front view, a back view and a perspective view of the inside of the pocket of a
同時參照第8圖與第9圖。如圖所示,智慧背心500包括正面510、背面530以及連接正面510與背面530的肩部520。正面510設置有口袋513,以容置手機提供網路。智慧背心500的背面530也設置有口袋533。口袋533是用以容置並固定通知裝置100的元件,包括聲音感測器110、距離感測器160與電路板170。Refer to FIGS. 8 and 9 at the same time. As shown, the
如第10圖所示,通知裝置100的聲音感測器110、微控制器120、供應電力的供電模組180與距離感測器160整合在支撐板170上。供電模組180包括電池與開關。電線可以整合在電路板170上、在夾層內部或是相對的另一面。As shown in FIG. 10 , the
在本實施方式中,聲音感測器110、距離感測器160與電路板170設置於智慧背心500背面530的口袋533內。由於使用者的目光不易顧及背後,將用於偵測環境聲音感測器110與距離感測器160設置於智慧背心500的背面530,可以較佳地發揮通知裝置100偵測危險以發出警示的功效。在一些實施方式中,聲音感測器110與距離感測器160的向外裸露部分設置有防水結構,以應變不同環境變化。在本實施方式中,設置於智慧背心500上的輸出裝置150包括燈條153與振動器156。振動器156通過電線185連接電路板170。In this embodiment, the
綜上所述,本揭露提供一種通知裝置與使用通知裝置之穿戴裝置。通知裝置可以偵測在一時段下環境的音量大小,藉以在環境音量有變化時,即時通知使用者。通知裝置也可以通過使用微控制器網路遠端連接伺服器。這不僅便於輕便攜帶,伺服器可以進行接收之聲音訊號的辨識與分類,以針對聲音訊號的類型提供反饋。聲音訊號的類型例如是人聲或是工程器械的聲響。穿戴裝置例如是結合通知裝置的智慧背心,便於穿戴。通過設置於其上例如振動器與燈條的輸出裝置,使用者便於以聲音以外的方式察覺環境變化,而有利於即時溝通與警示。而通知裝置更設置為有利於做客製化的訓練,以在不同工作環境下提供更為精確的辨識與警示效果。In conclusion, the present disclosure provides a notification device and a wearable device using the notification device. The notification device can detect the volume of the environment in a period of time, so as to notify the user immediately when the volume of the environment changes. The notification device can also be connected to the server remotely by using the microcontroller network. This is not only easy to carry, but also the server can identify and classify the received sound signal, so as to provide feedback according to the type of the sound signal. The type of sound signal is, for example, human voice or sound of engineering equipment. The wearable device is, for example, a smart vest combined with a notification device, which is easy to wear. By arranging output devices such as vibrators and light bars on it, users can easily perceive environmental changes by means other than sound, which is conducive to real-time communication and warning. The notification device is further configured to facilitate customized training to provide more accurate identification and warning effects in different working environments.
雖然本揭露已以實施方式揭露如上,然其並非用以限定本揭露,任何本領域具通常知識者,在不脫離本揭露之精神和範圍內,當可作各種之更動與潤飾,因此本揭露之保護範圍當視後附之申請專利範圍所界定者為準。Although the present disclosure has been disclosed as above in embodiments, it is not intended to limit the present disclosure. Anyone with ordinary knowledge in the art can make various changes and modifications without departing from the spirit and scope of the present disclosure. Therefore, the present disclosure The scope of protection shall be determined by the scope of the appended patent application.
1,100:通知裝置
10,110:聲音感測器
20,120:微控制器
30,150:輸出裝置
130:伺服器
135:聲音辨識模組
140:分類模組
145:處理器
150:輸出裝置
153:燈條
156:振動器
160:距離感測器
170:電路板
180:供電模組
185:電線
200:通知方法
210~270:流程
300:訓練方法
310~350:流程
400:訓練方法
410~440:流程
500:智慧背心
505:背心
510:正面
513:口袋
520:肩部
530:背面
533:口袋
600:通知方法
610~650:流程1,100: Notification Device
10,110: Sound sensor
20,120: Microcontrollers
30,150: Output device
130: Server
135: Voice recognition module
140: Classification Module
145: Processor
150: Output device
153: Light Bar
156: Vibrator
160: Distance sensor
170: circuit board
180: Power supply module
185: Wire
200:
本揭露的優點與圖式,應由接下來列舉的實施方式,並參考附圖,以獲得更好的理解。這些圖式的說明僅僅是列舉的實施方式,因此不該認為是限制了個別實施方式,或是限制了發明申請專利範圍的範圍。 第1圖根據本揭露之一實施方式繪示一通知裝置的方塊圖; 第2圖根據本揭露之一實施方式繪示一通知方法的流程圖; 第3圖根據本揭露之一實施方式繪示一通知裝置的方塊圖; 第4圖根據本揭露之一實施方式繪示一伺服器的方塊圖; 第5圖根據本揭露之一實施方式繪示一通知裝置提供之一通知方法的流程圖; 第6圖根據本揭露之一實施方式繪示訓練一聲音辨識模組之一訓練方法的流程圖; 第7圖根據本揭露之一實施方式繪示訓練一分類模組之一訓練方法的流程圖;以及 第8~10圖根據本揭露之一實施方式分別繪示作為穿戴裝置之一智慧背心之正面視圖、背面視圖與口袋内部的透視視圖。The advantages and drawings of the present disclosure should be better understood from the following embodiments and with reference to the drawings. The descriptions of these drawings are merely exemplary embodiments, and therefore should not be construed to limit individual embodiments or to limit the scope of the claimed invention. FIG. 1 illustrates a block diagram of a notification device according to an embodiment of the present disclosure; FIG. 2 illustrates a flowchart of a notification method according to an embodiment of the present disclosure; FIG. 3 illustrates a block diagram of a notification device according to an embodiment of the present disclosure; FIG. 4 illustrates a block diagram of a server according to an embodiment of the present disclosure; 5 is a flowchart illustrating a notification method provided by a notification device according to an embodiment of the present disclosure; 6 is a flowchart illustrating a training method for training a voice recognition module according to an embodiment of the present disclosure; 7 is a flowchart illustrating a training method for training a classification module according to an embodiment of the present disclosure; and FIGS. 8 to 10 respectively show a front view, a back view and a perspective view of the inside of a pocket of a smart vest as a wearable device according to an embodiment of the present disclosure.
1:通知裝置1: Notification device
10:聲音感測器10: Sound sensor
20:微控制器20: Microcontroller
30:輸出裝置30: Output device
Claims (11)
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW109117898A TWI777170B (en) | 2020-05-28 | 2020-05-28 | Notification device, wearable device and notification method |
US17/331,726 US20210375111A1 (en) | 2020-05-28 | 2021-05-27 | Notification device, wearable device and notification method |
CN202121183839.5U CN216014810U (en) | 2020-05-28 | 2021-05-28 | Notification device and wearing device |
CN202110593443.6A CN113744761A (en) | 2020-05-28 | 2021-05-28 | Notification device, wearable device and notification method |
JP2021002054U JP3233390U (en) | 2020-05-28 | 2021-05-28 | Notification device and wearable device |
US18/046,239 US20230058503A1 (en) | 2020-05-28 | 2022-10-13 | Notification device, wearable device and notification method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW109117898A TWI777170B (en) | 2020-05-28 | 2020-05-28 | Notification device, wearable device and notification method |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202144994A true TW202144994A (en) | 2021-12-01 |
TWI777170B TWI777170B (en) | 2022-09-11 |
Family
ID=80783645
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW109117898A TWI777170B (en) | 2020-05-28 | 2020-05-28 | Notification device, wearable device and notification method |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI777170B (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200631549A (en) * | 2005-03-15 | 2006-09-16 | Chang-Ming Yang | Wearing article |
TWM475386U (en) * | 2013-12-03 | 2014-04-01 | Univ Far East | Reminder and alarm structure combined with transportation vehicles |
TWI591589B (en) * | 2015-03-04 | 2017-07-11 | 蔡晉暉 | Wearable firefighting reminding equipment and escape reminding system |
WO2018204769A1 (en) * | 2017-05-04 | 2018-11-08 | Modjoul, Inc. | Wearable electronic belt device |
-
2020
- 2020-05-28 TW TW109117898A patent/TWI777170B/en active
Also Published As
Publication number | Publication date |
---|---|
TWI777170B (en) | 2022-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11675437B2 (en) | Measurement of facial muscle EMG potentials for predictive analysis using a smart wearable system and method | |
US20200092625A1 (en) | Smart device cover | |
WO2020244410A1 (en) | Voice interaction wakeup electronic device, method and medium based on mouth-covering action recognition | |
US20160019886A1 (en) | Method and apparatus for recognizing whisper | |
CN108711430B (en) | Speech recognition method, intelligent device and storage medium | |
CN111432303B (en) | Monaural headset, intelligent electronic device, method, and computer-readable medium | |
CN109558512A (en) | A kind of personalized recommendation method based on audio, device and mobile terminal | |
US20210375111A1 (en) | Notification device, wearable device and notification method | |
CN108540660B (en) | Voice signal processing method and device, readable storage medium and terminal | |
CN109753777B (en) | Identity recognition method, identity recognition device, storage medium and mobile terminal | |
CN110097875A (en) | Interactive voice based on microphone signal wakes up electronic equipment, method and medium | |
CN110428806A (en) | Interactive voice based on microphone signal wakes up electronic equipment, method and medium | |
US9830507B2 (en) | Method and apparatus for detecting facial changes | |
US11073900B2 (en) | Techniques for monitoring and detecting respiration | |
CN110223711A (en) | Interactive voice based on microphone signal wakes up electronic equipment, method and medium | |
CN108769850A (en) | Apparatus control method and Related product | |
CN109754823A (en) | A kind of voice activity detection method, mobile terminal | |
CN110111776A (en) | Interactive voice based on microphone signal wakes up electronic equipment, method and medium | |
CN108683790A (en) | Method of speech processing and Related product | |
US10799169B2 (en) | Apparatus, system and method for detecting onset Autism Spectrum Disorder via a portable device | |
CN110728993A (en) | Voice change identification method and electronic equipment | |
TWI777170B (en) | Notification device, wearable device and notification method | |
WO2019103841A1 (en) | Biopotential wakeup word | |
KR102259428B1 (en) | Robot | |
TWM606675U (en) | Notification device and wearable device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GD4A | Issue of patent certificate for granted invention patent |