TWI500023B - 透過視覺的聽覺輔助裝置 - Google Patents
透過視覺的聽覺輔助裝置 Download PDFInfo
- Publication number
- TWI500023B TWI500023B TW102112931A TW102112931A TWI500023B TW I500023 B TWI500023 B TW I500023B TW 102112931 A TW102112931 A TW 102112931A TW 102112931 A TW102112931 A TW 102112931A TW I500023 B TWI500023 B TW I500023B
- Authority
- TW
- Taiwan
- Prior art keywords
- message
- mounted display
- surrounding
- head mounted
- module
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 claims description 29
- 230000000007 visual effect Effects 0.000 claims description 16
- 230000002996 emotional effect Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 7
- 230000008451 emotion Effects 0.000 claims description 6
- 230000008909 emotion recognition Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 230000004304 visual acuity Effects 0.000 claims 4
- 208000032041 Hearing impaired Diseases 0.000 description 4
- 206010011469 Crying Diseases 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 241000269400 Sirenidae Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009118 appropriate response Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 208000016354 hearing loss disease Diseases 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/009—Teaching or communicating with deaf persons
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Description
本發明是有關於一種透過視覺的聽覺輔助裝置。
在日常生活中，聲音是傳遞訊息的媒介。透過人耳，人們能與他人談話、聆聽音樂、聽見鬧鐘的鈴聲、以及透過家電的聲音輔助其操作。此外，還可以藉由聲音，提供警示功能，如救護車與警車的警笛聲、大樓的火災警報聲。聲音與生活可說是密不可分。
聽障朋友卻因聽力受損而無法接受到完整的聲音，容易遺漏聲音中的重要訊息。因此，絕大多數聽障朋友會透過助聽器的輔助或者以栽植人工電子耳的方式恢復部份聽力。然而，助聽器會將環境噪音放大。電子耳則費用昂貴且需長時間的適應學習階段，容易使得使用者將之棄於一旁。
因此，如何在不帶來環境噪音放大或不需長時間適應學習的前提之下，提供一種可協助聽障朋友了解聲音相關訊息的方法，實屬當前重要研發課題之一，亦成為當前相關領域亟需改進的目標。
因此，本發明之一態樣是在提供一種透過視覺的聽覺輔助裝置，藉由頭戴式顯示器(head-mounted display，HMD)顯示週遭聲音相關之資訊。透過視覺的聽覺輔助裝置包含一頭戴式顯示器、一麥克風以及一處理元件。麥克風感測並產生一週遭聲音訊號。處理元件電性連接頭戴式顯示器以及麥克風。處理元件包含一接收模組、一訊息產生模組以及一頭戴式顯示器驅動模組。接收模組接收週遭聲音訊號。訊息產生模組根據一目前情境模式，分析週遭聲音訊號，以產生週遭聲音訊號相關之一相關訊息。頭戴式顯示器驅動模組驅動頭戴式顯示器顯示相關訊息。
100‧‧‧透過視覺的聽覺輔助裝置
110‧‧‧頭戴式顯示器
120‧‧‧麥克風
130‧‧‧處理元件
131‧‧‧接收模組
132‧‧‧訊息產生模組
132a‧‧‧警示提醒處理器
132b‧‧‧語音辨識器
132c‧‧‧關鍵字擷取器
132d‧‧‧情緒分析器
132e‧‧‧抑揚頓挫分析器
132f‧‧‧聲音參數分析器
133‧‧‧頭戴式顯示器驅動模組
134‧‧‧音源方向處理模組
135‧‧‧震動元件驅動模組
141‧‧‧震動元件
142‧‧‧震動元件
第1圖繪示依照本發明一實施例的一種透過視覺的聽覺輔助裝置之功能方塊圖。
以下將以圖式及詳細說明本發明之精神，任何所屬技術領域中具有通常知識者在瞭解本發明之較佳實施例後，當可由本發明所教示之技術加以改變及修飾，其並不脫離本發明之精神與範圍。
請參照第1圖，其繪示依照本發明一實施例的一種透過視覺的聽覺輔助裝置之功能方塊圖。透過視覺的聽覺
輔助裝置，藉由頭戴式顯示器顯示週遭聲音相關之資訊。
透過視覺的聽覺輔助裝置100包含一頭戴式顯示器110、一麥克風120以及一處理元件130。處理元件130電性連接頭戴式顯示器110以及麥克風120。麥克風120感測並產生一週遭聲音訊號。
處理元件130包含一接收模組131、一訊息產生模組132以及一頭戴式顯示器驅動模組133。接收模組131自麥克風120接收週遭聲音訊號。訊息產生模組132根據一目前情境模式，分析週遭聲音訊號，以產生週遭聲音訊號相關之一相關訊息。其中，相關訊息可以文字、圖示或其他可進行顯示的方式表示。此外，在本發明之一些實施例中，訊息產生模組132可透過網路上的雲端伺服器，對週遭聲音訊號進行分析，協助產生週遭聲音訊號相關之相關訊息。
頭戴式顯示器驅動模組133驅動頭戴式顯示器110顯示相關訊息。如此一來，當聽障朋友配戴頭戴式顯示器110時，可輕易的根據頭戴式顯示器110上所顯示之訊息，了解週遭環境聲音所代表之資訊。此外，頭戴式顯示器110可直接配戴於使用者眼前，而不影響使用者的視線。
在本發明之一些實施例中，處理元件130更可包含一音源方向處理模組134。音源方向處理模組134分析週遭聲音訊號之至少一音源方向。訊息產生模組132將分析出之音源方向之資訊嵌入相關訊息。於是，頭戴式顯示器驅動模組133驅動頭戴式顯示器110，顯示相關訊息中之音源
方向之資訊。如此一來，使用者可進一步了解相關訊息所代表的聲音由哪個方向產生，而對應做出反應。
在本發明之另一些實施例中，可將需緊急回應的狀況，透過頭戴式顯示器110提醒使用者。因此，訊息產生模組130更可包含一警示提醒處理器132a。在目前情境模式為一警示模式時，警示提醒處理器132a將週遭聲音訊號與數個緊急回應模型相比對，並產生對應相符者之一警示提醒訊息，以嵌入至相關訊息。其中，處理元件130可先對週遭聲音訊號進行去噪以及分離相關的前處理，供警示提醒處理器132a更精確的與各個緊急回應模型相比對。在本發明之一應用場景中，若警示提醒處理器132a於警示模式下，分析出週遭聲音訊號與汽車鳴放喇叭之緊急回應模型相符時，可產生對應之相關訊息(如「來車請注意」或其他的警示訊息)，以提醒使用者避開來車。
此外，透過視覺的聽覺輔助裝置100更可包含與處理元件130電性連接之至少二震動元件141、142(如耳掛式振盪器或其他類型可提供震動之元件)，處理元件130更可包含一震動元件驅動模組135。於是，震動元件驅動模組135可驅動震動元件141、142中，對應於音源方向者產生震動。舉例來說，使用者可將震動元件141配戴於身體的左半部(如左耳)，將震動元件142配戴於身體的右半部(如右耳)。因此，當音源方向處理模組134分析出相符之緊急回應模型(如汽車鳴放喇叭)之音源方向來自左邊時，震動元件驅動模組135可驅動配戴於左邊之震動元件142產
生震動，以提醒使用者避開左方來車。在本發明之其他實施例中，可用其他知覺上的提示元件(如電擊元件或其他可於知覺上提示使用者之硬體)，替換震動元件141、142，並不限於本揭露書。
又例如，若警示提醒處理器132a於警示模式下，分析出週遭聲音訊號與小孩哭鬧聲之緊急回應模型相符時，可產生對應之相關訊息(如「小朋友哭鬧中」或其他的提示訊息)，以提醒使用者去查看哭鬧的小朋友。
在本發明之另一些實施例中，訊息產生模組132可包含一語音辨識器132b。在目前情境模式為一語音辨識模式時，語音辨識器132b自週遭聲音訊號辨識出一語音內容，並根據語音內容，產生相關訊息。其中，語音辨識器132b可將所辨識出之語音內容直接嵌入至所產生之相關訊息。此外，訊息產生模組132更可包含一關鍵字擷取器132c。關鍵字擷取器132c自語音內容擷取至少一關鍵字，作為相關訊息。如此一來，可減少相關訊息中的字數，而適合於頭戴式顯示器110上顯示。另外，在本發明之一些實施例中，關鍵字擷取器132c更可依據頭戴式顯示器110之可供顯示字數限制，進行關鍵字之擷取，以擷取出適合頭戴式顯示器110之關鍵字數。如此一來，頭戴式顯示器110上僅顯示語音內容中的重要關鍵字，因而可避免因語音內容過多，無法一次顯示於頭戴式顯示器110有限之顯示區域上。
在本發明之另一些實施例中，訊息產生模組132更
可包含一情緒分析器132d。在目前情境模式為一情緒辨識模式時，情緒分析器132d分析週遭聲音訊號，以產生一旁人之一目前情緒狀態，並將目前情緒狀態之資訊嵌入至相關訊息，以於頭戴式顯示器110顯示。如此一來，可協助透過視覺的聽覺輔助裝置100的使用者更能精確了解他人之情緒。
此外，訊息產生模組132更可包含一抑揚頓挫分析器132e。抑揚頓挫分析器132e可分析週遭聲音訊號中之一抑揚頓挫資訊，作為情緒分析器132d分析旁人之目前情緒狀態之依據。
在本發明之另一些實施例中，訊息產生模組132可包含一聲音參數分析器132e。聲音參數分析器132e分析週遭聲音訊號中之至少一聲音參數，並將聲音參數之資訊嵌入至相關訊息，以顯示於頭戴式顯示器110。其中，聲音參數可包含音高、音量或其他類型之聲音參數的其中之一或其組合。如此一來，可讓透過視覺的聽覺輔助裝置100的使用者更能了解週遭聲音中可能包含的資訊，做出更適當的反應。
雖然本發明已以實施方式揭露如上，然其並非用以限定本發明任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧透過視覺的聽覺輔助裝置
110‧‧‧頭戴式顯示器
120‧‧‧麥克風
130‧‧‧處理元件
131‧‧‧接收模組
132‧‧‧訊息產生模組
132a‧‧‧警示提醒處理器
132b‧‧‧語音辨識器
132c‧‧‧關鍵字擷取器
132d‧‧‧情緒分析器
132e‧‧‧抑揚頓挫分析器
132f‧‧‧聲音參數分析器
133‧‧‧頭戴式顯示器驅動模組
134‧‧‧音源方向處理模組
135‧‧‧震動元件驅動模組
141‧‧‧震動元件
142‧‧‧震動元件
Claims (10)
- 一種透過視覺的聽覺輔助裝置，包含：一頭戴式顯示器(head-mounted display，HMD)；一麥克風，感測並產生一週遭聲音訊號；以及一處理元件，電性連接該頭戴式顯示器以及該麥克風，其中該處理元件包含：一接收模組，接收該週遭聲音訊號；一訊息產生模組，根據一目前情境模式，分析該週遭聲音訊號，以產生該週遭聲音訊號相關之一相關訊息，其中該相關訊息為一文字訊息；以及一頭戴式顯示器驅動模組，驅動該頭戴式顯示器顯示該相關訊息。
- 如請求項1所述之透過視覺的聽覺輔助裝置，其中該處理元件更包含：一音源方向處理模組，分析該週遭聲音訊號之至少一音源方向，其中該訊息產生模組將該至少一音源方向之資訊嵌入該相關訊息，藉此使該頭戴式顯示器驅動模組驅動該頭戴式顯示器，顯示該相關訊息中之該至少一音源方向之資訊。
- 如請求項1所述之透過視覺的聽覺輔助裝置，其中該訊息產生模組包含：一警示提醒處理器，在該目前情境模式為一警示模式時，將該週遭聲音訊號與複數個緊急回應模型相比對，並產生對應相符者之一警示提醒訊息，以嵌入至該相關訊息。
- 如請求項3所述之透過視覺的聽覺輔助裝置，更包含：至少二震動元件，電性連接該處理元件，其中該處理元件更包含：一音源方向處理模組，分析該週遭聲音訊號之至少一音源方向；以及一震動元件驅動模組，驅動該至少二震動元件中，對應於該至少一音源方向者產生震動。
- 如請求項1所述之透過視覺的聽覺輔助裝置，其中該訊息產生模組包含：一語音辨識器，在該目前情境模式為一語音辨識模式時，自該週遭聲音訊號辨識出一語音內容，並根據該語音內容，產生該相關訊息。
- 如請求項5所述之透過視覺的聽覺輔助裝置，其中該訊息產生模組更包含：一關鍵字擷取器，自該語音內容擷取至少一關鍵字，作為該相關訊息。
- 如請求項1所述之透過視覺的聽覺輔助裝置，其中該訊息產生模組包含：一情緒分析器，在該目前情境模式為一情緒辨識模式時，分析該週遭聲音訊號，以產生一旁人之一目前情緒狀態，並將該目前情緒狀態之資訊嵌入至該相關訊息。
- 如請求項1所述之透過視覺的聽覺輔助裝置，其中該訊息產生模組更包含：一抑揚頓挫分析器，分析該週遭聲音訊號中之一抑揚頓挫資訊，作為該情緒分析器分析該旁人之該目前情緒狀態之依據。
- 如請求項1所述之透過視覺的聽覺輔助裝置，其中該訊息產生模組包含：一聲音參數分析器，分析該週遭聲音訊號中之至少一聲音參數，並將該至少一聲音參數之資訊嵌入至該相關訊息。
- 如請求項1所述之透過視覺的聽覺輔助裝置，其中該相關訊息更包括以圖示的方式表示視角外之訊息。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW102112931A TWI500023B (zh) | 2013-04-11 | 2013-04-11 | 透過視覺的聽覺輔助裝置 |
| US14/249,362 US9280914B2 (en) | 2013-04-11 | 2014-04-10 | Vision-aided hearing assisting device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW102112931A TWI500023B (zh) | 2013-04-11 | 2013-04-11 | 透過視覺的聽覺輔助裝置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201440040A TW201440040A (zh) | 2014-10-16 |
| TWI500023B true TWI500023B (zh) | 2015-09-11 |
Family
ID=51686821
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW102112931A TWI500023B (zh) | 2013-04-11 | 2013-04-11 | 透過視覺的聽覺輔助裝置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9280914B2 (zh) |
| TW (1) | TWI500023B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6555272B2 (ja) * | 2014-11-12 | 2019-08-07 | 富士通株式会社 | ウェアラブルデバイス、表示制御方法、及び表示制御プログラム |
| GB2557594B (en) | 2016-12-09 | 2020-01-01 | Sony Interactive Entertainment Inc | Image processing system and method |
| US11543242B2 (en) | 2020-05-20 | 2023-01-03 | Microsoft Technology Licensing, Llc | Localization and visualization of sound |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101809651A (zh) * | 2007-07-31 | 2010-08-18 | 寇平公司 | 提供语音到语音翻译和模拟人类属性的化身的移动无线显示器 |
| TW201124949A (en) * | 2010-01-06 | 2011-07-16 | Foxconn Comm Technology Corp | System and method for detecting sounds and sending alert messages |
| CN102543099A (zh) * | 2010-12-24 | 2012-07-04 | 索尼公司 | 声音信息显示装置、声音信息显示方法和程序 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6240392B1 (en) * | 1996-08-29 | 2001-05-29 | Hanan Butnaru | Communication device and method for deaf and mute persons |
| IL122632A0 (en) | 1997-12-16 | 1998-08-16 | Liberman Amir | Apparatus and methods for detecting emotions |
| US7222075B2 (en) | 1999-08-31 | 2007-05-22 | Accenture Llp | Detecting emotions using voice signal analysis |
| JP2002171460A (ja) | 2000-11-30 | 2002-06-14 | Sony Corp | 再生装置 |
| EP1300831B1 (en) | 2001-10-05 | 2005-12-07 | Sony Deutschland GmbH | Method for detecting emotions involving subspace specialists |
| EP1336956B1 (en) | 2002-02-13 | 2006-07-19 | Sony Deutschland GmbH | Method, system and computer program for recognizing speech/speaker using emotional state change to govern unsupervised adaptation of the recognition process |
| TWI233090B (en) | 2003-07-24 | 2005-05-21 | Inventec Multimedia & Telecom | System and method of language translation for multimedia data |
| JPWO2006075606A1 (ja) * | 2005-01-13 | 2008-06-12 | パイオニア株式会社 | 音案内装置、音案内方法および音案内プログラム |
| US7356473B2 (en) * | 2005-01-21 | 2008-04-08 | Lawrence Kates | Management and assistance system for the deaf |
| US20070270196A1 (en) * | 2006-05-18 | 2007-11-22 | Yaz-Tzung Wu | Earphone device with vibration capability |
| TWI312127B (en) | 2006-09-13 | 2009-07-11 | Nat Cheng Kung Universit | Video annotation method by integrating visualane sppech features |
| CN101154379B (zh) * | 2006-09-27 | 2011-11-23 | 夏普株式会社 | 定位语音中的关键词的方法和设备以及语音识别系统 |
| US8461986B2 (en) * | 2007-12-14 | 2013-06-11 | Wayne Harvey Snyder | Audible event detector and analyzer for annunciating to the hearing impaired |
| US9107012B2 (en) * | 2011-12-01 | 2015-08-11 | Elwha Llc | Vehicular threat detection based on audio signals |
| US20140074478A1 (en) * | 2012-09-07 | 2014-03-13 | Ispeech Corp. | System and method for digitally replicating speech |
-
2013
- 2013-04-11 TW TW102112931A patent/TWI500023B/zh active
-
2014
- 2014-04-10 US US14/249,362 patent/US9280914B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101809651A (zh) * | 2007-07-31 | 2010-08-18 | 寇平公司 | 提供语音到语音翻译和模拟人类属性的化身的移动无线显示器 |
| TW201124949A (en) * | 2010-01-06 | 2011-07-16 | Foxconn Comm Technology Corp | System and method for detecting sounds and sending alert messages |
| CN102543099A (zh) * | 2010-12-24 | 2012-07-04 | 索尼公司 | 声音信息显示装置、声音信息显示方法和程序 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20140307879A1 (en) | 2014-10-16 |
| US9280914B2 (en) | 2016-03-08 |
| TW201440040A (zh) | 2014-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5881263B2 (ja) | 着用可能な計算機システムへのサウンド状態の表示 | |
| US20170303052A1 (en) | Wearable auditory feedback device | |
| US20170133037A1 (en) | Systems, methods and devices for intelligent speech recognition and processing | |
| US20170188173A1 (en) | Method and apparatus for presenting to a user of a wearable apparatus additional information related to an audio scene | |
| US9891884B1 (en) | Augmented reality enabled response modification | |
| TW201316328A (zh) | 聲音反饋裝置及其工作方法 | |
| JPWO2004021738A1 (ja) | マイクロフォン、コミュニケーションインタフェースシステム | |
| JP2012529939A (ja) | Ｅｅｇモニタリング装置およびそこにメッセージを提示する方法 | |
| Gentilucci et al. | Automatic audiovisual integration in speech perception | |
| CN105303770A (zh) | 利用头戴式显示器的驾驶员瞌睡警报装置及方法 | |
| US11189265B2 (en) | Systems and methods for assisting the hearing-impaired using machine learning for ambient sound analysis and alerts | |
| TWI500023B (zh) | 透過視覺的聽覺輔助裝置 | |
| US11030879B2 (en) | Environment-aware monitoring systems, methods, and computer program products for immersive environments | |
| Dhanjal et al. | Tools and techniques of assistive technology for hearing impaired people | |
| JP2005304014A (ja) | 音情報を伝搬する方法及びシステム | |
| Mielke et al. | An assistive technology for hearing-impaired persons: Analysis, requirements and architecture | |
| Ifukube | Sound-based assistive technology | |
| TW202347096A (zh) | 用於受損使用者或具備殘疾的使用者之智慧眼鏡介面 | |
| WO2017029850A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| WO2022149360A1 (ja) | 触覚刺激を与える身体装着具 | |
| US20230221583A1 (en) | Smart glasses to assist those who are deaf or hard of hearing | |
| An et al. | Development on Deaf Support Application Based on Daily Sound Classification Using Image-based Deep Learning | |
| Olaosun et al. | Assistive technology for hearing and speech disorders | |
| US20230292064A1 (en) | Audio processing using ear-wearable device and wearable vision device | |
| KR100322516B1 (ko) | 청각장애자용 음향인식 자막시스템 |