TW202005420A - 個人聽力裝置 - Google Patents
個人聽力裝置 Download PDFInfo
- Publication number
- TW202005420A TW202005420A TW108118414A TW108118414A TW202005420A TW 202005420 A TW202005420 A TW 202005420A TW 108118414 A TW108118414 A TW 108118414A TW 108118414 A TW108118414 A TW 108118414A TW 202005420 A TW202005420 A TW 202005420A
- Authority
- TW
- Taiwan
- Prior art keywords
- audio
- sound
- source
- sound emitted
- hearing device
- Prior art date
Links
- 238000012545 processing Methods 0.000 claims abstract description 80
- 238000000034 method Methods 0.000 claims abstract description 20
- 239000000203 mixture Substances 0.000 claims abstract description 4
- 230000005236 sound signal Effects 0.000 claims description 44
- 230000006870 function Effects 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 11
- 239000012634 fragment Substances 0.000 claims description 3
- 238000012986 modification Methods 0.000 abstract 1
- 230000004048 modification Effects 0.000 abstract 1
- 238000004458 analytical method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 230000002829 reductive effect Effects 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 208000032041 Hearing impaired Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000009429 distress Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 208000016354 hearing loss disease Diseases 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/45—Prevention of acoustic reaction, i.e. acoustic oscillatory feedback
- H04R25/453—Prevention of acoustic reaction, i.e. acoustic oscillatory feedback electronically
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
- H04R25/554—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/43—Electronic input selection or mixing based on input signal analysis, e.g. mixing or selection between microphone and telecoil or between microphones with different directivity characteristics
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02087—Noise filtering the noise being separate speech, e.g. cocktail party
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/40—Arrangements for obtaining a desired directivity characteristic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Neurosurgery (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Telephone Function (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
一種個人聽力裝置，包含：●一麥克風，用以接收一輸入音訊信號，其中該輸入音訊信號係混合有一第一音訊來源所發出之聲音與其他音訊來源所發出之聲音；●一揚聲器；以及●一音訊處理電路，用以自動地從該輸入音訊信號區分出該第一音訊來源所發出之聲音與該其他音訊來源所發出之聲音；●其中，該音訊處理電路更將該輸入音訊信號進行處理，以將該第一音訊來源所發出之聲音以及該其他音訊來源所發出之聲音進行不同的調整，藉此產生一輸出音訊信號於該揚聲器播放給使用者。
Description
本發明大體而言係關於個人聽力裝置。特別地，係關於一種個人聽力裝置，其可偵測使用者需要關注的聲音訊息，並根據使用者的聽力需求進行適當的處理。
現有的個人聽力裝置例如數位助聽器，可針對使用者的聽力衰減曲線對各自不同頻率進行增益補償。其他現有的個人聽力裝置例如主動式抗噪耳機，為了讓使用者在音樂之外還是能夠聽見外部環境中的人聲，也可僅針對特定的頻率成分(例如100Hz-1kHz的環境與車輛噪音)進行降噪。
其他關於個人聽力裝置的現有技術時，可參考例如美國專利公開號US Pub.2018/0115840、US Pub.2014/0023219或是US 8965016。
本發明體認到，在現實生活中，大部分的聲音對使用者是無意義的。例如在街上，車輛所發出的噪音以及陌生人的交談聲，一般來說其中並沒有與使用者相關或使用者會感興趣的資訊。換言之，大部分的聲音都不是本文中所謂需要使用者關注的聲音訊息。另一方面，舉例來說，現有技術中的降噪耳機針對車輛噪音分布的頻段進行過濾，即無法過濾掉 陌生人的交談聲，但若連人聲的頻段都進行過濾的話，則連親人或朋友說話的聲音也被過濾掉。可想見的，這並不是個理想的結果。
本發明因此體認到，現有技術中的個人聽力裝置對從外界環境所接收到的聲音，並無判斷其中是否可能含有使用者需要關注的聲音訊息。相反地，縱使外界環境聲音的來源並非單一，但現有技術的作法係將所從外界接收到的聲音(即實際上是將來自不同來源而被混合過的聲音)視為一整體來進行處理或優化，例如將所接收到的混合聲音中特定的頻段或頻率成分全部過濾掉。然而，這種作法不是針對與使用者需要關注的個別聲音訊息進行處理，因此雖然可以針對整體的頻率成分進行過濾，但也會讓使用者所需要聽到的聲音訊息失真，即會發生例如上述若要將陌生人交談聲以人聲分布的頻段加以過濾，則連熟人朋友說話的聲音也會受到影響的狀況。特別是對於聽力有障礙的使用者而言，這種狀況會造成生活上的困擾。
有鑑於此，本發明一方面係提出一種個人聽力裝置，其可自動偵測與使用者較相關或使用者會感興趣的聲音訊息，並根據使用者的需求進行適當的處理後，再播放給使用者聽。由於本發明的作法能夠保留聲音訊息的完整性，因此可減少聲音訊息失真的情況。
而針對判斷從外界環境所接收到的聲音其中是否可能含有與使用者相關的資訊的作法，本發明所提出的作法之一在於使用聲紋分析。舉例來說，可透過聲紋分析判斷聲音中是否包含有特定的詞句(例如使用者的名字)。亦或是可判斷是否含有可供識別出特定音訊來源的聲紋特徵。特定音訊來源可例如是使用者預先指定的親人或朋友，或是特定的裝置(例如消防警報)，而可理解的，親人或朋友所發出的聲音或是消防警報大多是使用者需要關注或反應的聲音訊息。
從另一個層面來看，與現有技術相較之下，本發明一方面所提出的個人聽力裝置乃是將所接收到的聲音，以音訊來源進行區分，而不 是單純以頻段進行區分，進而可對個別來源所發出的聲音加以識別，並抽取出來單獨處理或優化。因此，除了透過利用聲紋特徵來識別出音訊來源，亦可透過聲音的方位來對音訊來源進行識別。除此之外，其他能夠識別出個別音訊來源的作法都在本發明所欲涵蓋的內容中。
根據本發明一實施例，提出一種個人聽力裝置，包含：●一麥克風，用以接收一輸入音訊信號，其中該輸入音訊信號係混合有一第一音訊來源所發出之聲音與一第二音訊來源所發出之聲音；●一揚聲器；以及●一音訊處理電路，用以自動地從該輸入音訊信號區分出該第一音訊來源所發出之聲音；●其中，該音訊處理電路更將該輸入音訊信號進行處理，以將該第一音訊來源所發出之聲音以及該第一音訊來源所發出之聲音以外的聲音進行不同的調整，藉此產生一輸出音訊信號於該揚聲器播放給使用者。
根據本發明另一實施例，提出一種個人聽力裝置，包含：●一麥克風，用以接收一輸入音訊信號，其中該輸入音訊信號係混合有一第一音訊來源所發出之聲音與一第二音訊來源所發出之聲音；●一揚聲器；以及●一音訊處理電路，用以自動地區分出該第一音訊來源與其他音訊來源(例如該第二音訊來源)；●其中，該音訊處理電路更將該輸入音訊信號進行處理，以將該第一音訊來源所發出之聲音以及該第一音訊來源所發出之聲音以外的聲音進行不同的調整，藉此產生一輸出音訊信號於該揚聲器播放給使用者。
根據本發明另一實施例，提出一種個人聽力裝置，與一外部音訊處理裝置無線連結，該個人聽力裝置包含：●一麥克風，用以接收一輸入音訊信號，其中該輸入音訊信號係混合有一第一音訊來源所發出之聲音與一第二音訊來源所發出之聲音；●一揚聲器；以及●一通訊電路，用以將該輸入音訊信號無線傳送給該外部音訊處理裝置，該外部音訊處理裝置自動地從該輸入音訊信號區分出該第一音訊來源所發出之聲音；●其中，該外部音訊處理裝置更將該輸入音訊信號進行處理，以將該第一音訊來源所發出之聲音以及該第一音訊來源所發出之聲音以外的聲音進行不同的調整，藉此產生一輸出音訊信號，並由該通訊電路接收並由該揚聲器播放給使用者。
在其他實施例中，本發明還提出一種外部音訊處理裝置，與上述的個人聽力裝置無線連結，並提供所需的協作。此外，本發明還提出一種電腦程式產品，可運作在前述的外部音訊處理裝置，以提供上述的個人聽力裝置所需的協作。
本說明書中所提及的特色、優點、或類似表達方式並不表示，可以本發明實現的所有特色及優點應在本發明之任何單一的具體實施例內。而是應明白，有關特色及優點的表達方式是指結合具體實施例所述的特定特色、優點、或特性係包含在本發明的至少一具體實施例內。因此，本說明書中對於特色及優點、及類似表達方式的論述與相同具體實施例有關，但亦非必要。
參考以下說明及隨附申請專利範圍或利用如下文所提之本發明的實施方式，即可更加明瞭本發明的這些特色及優點。
10‧‧‧輸入音訊信號
11‧‧‧輸入電性信號
12‧‧‧輸入數位信號
14‧‧‧輸出數位信號
15‧‧‧輸出電性信號
16‧‧‧輸出音訊信號
18‧‧‧驅動信號
22‧‧‧輸入數位信號
24‧‧‧輸出數位信號
100‧‧‧助聽器
110‧‧‧音訊輸入級
111‧‧‧麥克風
112‧‧‧類比數位轉換器
120‧‧‧音訊處理電路
130‧‧‧音訊輸出級
132‧‧‧數位類比轉換器
134‧‧‧揚聲器
180‧‧‧功能模組
200‧‧‧助聽器
210‧‧‧音訊輸入級
230‧‧‧音訊輸出級
250‧‧‧通訊電路
300‧‧‧外部音訊處理裝置
310‧‧‧處理器
為了立即瞭解本發明的優點，請參考如附圖所示的特定具體實施例，詳細說明上文簡短敘述的本發明。在瞭解這些圖示僅描繪本發明的典型具體實施例並因此不將其視為限制本發明範疇的情況下，參考附圖以額外的明確性及細節來說明本發明，圖式中：
圖1係依據本發明具體實施例的個人聽力裝置。
圖2係依據本發明另一實施例的個人聽力裝置。
圖3係依據本發明具體實施例所例示的使用情境。
本說明書中「一具體實施例」或類似表達方式的引用是指結合該具體實施例所述的特定特色、結構、或特性係包括在本發明的至少一具體實施例中。因此，在本說明書中，「在一具體實施例中」及類似表達方式之用語的出現未必指相同的具體實施例。
熟此技藝者當知，本發明可實施為電腦系統/裝置、方法或作為電腦程式產品之電腦可讀媒體。因此，本發明可以實施為各種形式，例如完全的硬體實施例、完全的軟體實施例(包含韌體、常駐軟體、微程式碼等)，或者亦可實施為軟體與硬體的實施形式，在以下會被稱為「電路」、「模組」或「系統」。此外，本發明亦可以任何有形的媒體形式實施為電腦程式產品，其具有電腦可使用程式碼儲存於其上。
一個或更多個電腦可使用或可讀取媒體的組合都可以利用。舉例來說，電腦可使用或可讀取媒體可以是(但並不限於)電子的、磁的、光學的、電磁的、紅外線的或半導體的系統、裝置、設備或傳播媒體。更具體的電腦可讀取媒體實施例可以包括下列所示(非限定的例示)：由一個或多個連接線所組成的電氣連接、可攜式的電腦磁片、硬碟機、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可抹除程式化唯讀記憶體(EPROM或 快閃記憶體)、光纖、可攜式光碟片(CD-ROM)、光學儲存裝置、傳輸媒體(例如網際網路(Internet)或內部網路(intranet)之基礎連接)、或磁儲存裝置。需注意的是，電腦可使用或可讀取媒體更可以為紙張或任何可用於將程式列印於其上而使得該程式可以再度被電子化之適當媒體，例如藉由光學掃描該紙張或其他媒體，然後再編譯、解譯或其他合適的必要處理方式，然後可再度被儲存於電腦記憶體中。在本文中，電腦可使用或可讀取媒體可以是任何用於保持、儲存、傳送、傳播或傳輸程式碼的媒體，以供與其相連接的指令執行系統、裝置或設備來處理。電腦可使用媒體可包括其中儲存有電腦可使用程式碼的傳播資料訊號，不論是以基頻(baseband)或是部分載波的型態。電腦可使用程式碼之傳輸可以使用任何適體的媒體，包括(但並不限於)無線、有線、光纖纜線、射頻(RF)等。
用於執行本發明操作的電腦程式碼可以使用一種或多種程式語言的組合來撰寫，包括物件導向程式語言(例如Java、Smalltalk、C++或其他類似者)以及傳統程序程式語言(例如C程式語言或其他類似的程式語言)。
於以下本發明的相關敘述會參照依據本發明具體實施例之系統、裝置、方法及電腦程式產品之流程圖及/或方塊圖來進行說明。當可理解每一個流程圖及/或方塊圖中的每一個方塊，以及流程圖及/或方塊圖中方塊的任何組合，可以使用電腦程式指令來實施。這些電腦程式指令可供通用型電腦或特殊電腦的處理器或其他可程式化資料處理裝置所組成的機器來執行，而指令經由電腦或其他可程式化資料處理裝置處理以便實施流程圖及/或方塊圖中所說明之功能或操作。
這些電腦程式指令亦可被儲存在電腦可讀取媒體上，以便指示電腦或其他可程式化資料處理裝置來進行特定的功能，而這些儲存在電腦可讀取媒體上的指令構成一製成品，其內包括之指令可實施流程圖及/或方塊圖中所說明之功能或操作。
電腦程式指令亦可被載入到電腦上或其他可程式化資料處理裝置，以便於電腦或其他可程式化裝置上進行一系統操作步驟，而於該電腦或其他可程式化裝置上執行該指令時產生電腦實施程序以達成流程圖及/或方塊圖中所說明之功能或操作。
其次，請參照圖1至圖3，在圖式中顯示依據本發明各種實施例的裝置、方法及電腦程式產品可實施的架構、功能及操作之流程圖及方塊圖。因此，流程圖或方塊圖中的每個方塊可表示一模組、區段、或部分的程式碼，其包含一個或多個可執行指令，以實施指定的邏輯功能。另當注意者，某些其他的實施例中，方塊所述的功能可以不依圖中所示之順序進行。舉例來說，兩個圖示相連接的方塊事實上亦可以皆執行，或依所牽涉到的功能在某些情況下亦可以依圖示相反的順序執行。此外亦需注意者，每個方塊圖及/或流程圖的方塊，以及方塊圖及/或流程圖中方塊之組合，可藉由基於特殊目的硬體的系統來實施，或者藉由特殊目的硬體與電腦指令的組合，來執行特定的功能或操作。
<個人聽力裝置>
以下係以助聽器為例來說明本發明的個人聽力裝置，但應知本發明並不欲侷限於聽障人士所使用的助聽器。舉例來說，本發明的個人聽力裝置亦可實現供在特定聲音場所工作所使用的耳機，或一般在交通工具中所使用的耳機。
圖1顯示一實施例中助聽器100的方塊圖。在此實施例中，助聽器100包括一音訊輸入級110、一音訊處理電路120、以及一音訊輸出級130。音訊輸入級110係包括一麥克風111及一類比數位轉換器(analog-to-digital converter，ADC)112。麥克風111係用以接收一輸入音訊信號10(例如是一類比音訊信號)，並該將該輸入音訊信號10轉換為一輸入電性信號11，類比數位轉換器112係將該輸入電性信號11轉換為一輸入數位信號12做為音訊處理電路120之輸入。此外，麥克風111可以內建式或是 外接式。
音訊處理電路120係對該輸入數位信號12進行音訊處理以產生一輸出數位信號14。其中處理之細節將詳述於後。在一些實施例中，音訊處理電路120可以是一微控制器(microcontroller)、一處理器、一數位信號處理器(DSP)、或是應用導向之積體電路(ASIC)，但本發明並不限於此。
音訊輸出級130例如包括一數位類比轉換器132與一揚聲器134。數位類比轉換器132係用以將音訊處理電路120所產生之輸出數位信號14轉換為輸出電性信號15。揚聲器(又可稱為接收器(receiver))134則可將輸出電性信號15轉換為輸出音訊信號16(例如是一類比音訊信號)並進行播放以供使用者聽取輸出音訊信號16。
助聽器100中其他與本發明無直接關連的部份，可參考現有的數位助聽器，例如GN Hearing A/S或是Interton公司所生產的數位助聽器產品，在此不加贅述。
圖2顯示另一實施例中助聽器200的方塊圖。與圖1中助聽器100相同的是，助聽器200也同樣具有一音訊輸入級210與一音訊輸出級230，其與圖1中的音訊輸入級110以及音訊輸出級130基本上類似，因此不再贅述。助聽器200與圖1中助聽器100的主要差異在於，助聽器200可省略助聽器100中的音訊處理電路120，反之助聽器200具有通訊電路250，因此可將音訊輸入級210所產生的輸入數位信號22透過無線通訊，傳送給一外部音訊處理裝置300進行處理。
如同圖1的音訊處理電路120，外部音訊處理裝置300可產生輸出數位信號24，且進一步可再透過無線通訊，將輸出數位信號24傳回給助聽器200的音訊輸出級230。
此外，應可知助聽器200與外部音訊處理裝置300之間的無線通訊方式並無特別限制，例如可透過藍芽、紅外線、或是Wi-Fi。同時助聽器200與外部音訊處理裝置300之間的通訊亦不限制為直接點對點通訊， 在某些實施例中，還可透過區域網路、行動電話網路、或是網際網路。
外部音訊處理裝置300可例如是一專用的音訊處理裝置，其中具有特製的微處理器310或應用導向之積體電路(ASIC)。或者較佳地，外部音訊處理裝置300可透過現有的智慧型手機(例如Apple公司的產品iPhone)加以實施。智慧型手機中的處理器310可執行作業系統內建的應用程式或是透過額外下載的應用程式(APP)來實現所需的音訊處理功能(細節將詳述於後)。在另外的實施例中，外部音訊處理裝置300還可透過個人電腦或是設置在雲端的伺服器加以實施。換言之，只要具有音訊處理的能力且能夠與助聽器200進行無線通訊的裝置，皆可實施為外部音訊處理裝置300。
需說明的是，圖1與圖2的作法並不互相衝突，亦可將兩者結合共同實施。
<音訊處理>
以下說明針對圖1中音訊處理電路120或是圖2中外部音訊處理裝置300所進行的音訊處理加以說明。本案中的音訊處理主要又可分為識別階段與調整階段，以下將分別詳述。
識別階段
為了要判斷從外界環境所接收到的聲音其中是否可能含有與使用者相關的資訊的作法，又可進一步區分為採用聲紋分析與非聲紋分析兩大類。
在採用聲紋特徵分析的一實施例中，乃是將聲音轉換為頻譜聲紋，然後根據聲紋特徵來進行識別。特別是對於人說話的聲音，由於每個人的發音器官的尺寸以及肌肉使用方式的不同，每個人說話也都有獨特可供辨識的聲紋特徵。關於聲紋辨識的技術目前已經是成熟的技術，例如可參考US 8036891，且聲紋辨識也有產業的標準，例如中國的《自動聲紋識別(說話人識別)技術規範》(編號SJ/T11380-2008)，以及《安防聲紋確 認應用算法技術要求和測試方法》(編號GA/T 1179-2014)，因此在此不予贅述。一般來說，說話人聲紋識別技術可先將人聲與環境噪音加以區分，之後再對人聲進行識別。但需要注意的是，若後續還需要從聲紋資料中將特定的聲音訊息進行回復、抽取或分離，以對其進行個別的調整，則較佳使用適當的聲紋特徵分析演算法，例如STFT(short-time Fourier transform、短時距傅立葉轉換)，此部份可參考US 5473759。
上述實施例乃是利用說話人獨有的聲紋特徵進行識別。相較之下，在採用聲紋分析的另一實施例中，乃是根據特定詞語或聲音片段(例如自己手機的電話鈴聲或是消防警報聲)的聲紋特徵進行識別。此部份也屬於成熟的技術，例如可參考現有技術中的語音轉文字的輸入技術(voice to text input)。但同樣的，若後續還需要從聲紋資料中將特定的聲音訊息進行回復、抽取或分離以進行個別的調整，則需使用適當的聲紋特徵分析演算法，較佳是STFT。
此外，在進行聲紋特徵分析之前，需要對聲紋分析的演算法進行訓練。一般常用的訓練方法，皆可應用於本發明，例如可參考例如US5850627以及US9691377。需要說明的是，對特定詞語或聲音片段(例如消防警報聲)的聲紋特徵進行識別(或稱為註冊)，並不一定需要使用者提供樣本才能進行訓練，而可以使用通用的樣本。但若是不限定特定詞語而是要採用對說話人獨有的聲紋特徵進行識別的作法，由於所要識別的對象因人而異，因此通常需要使用者提供樣本才能進行訓練。但對一般的助聽器使用者而言，要針對相關的說話人(例如親朋好友)累積大量樣本並不容易。因此較佳的方式是透過單樣本學習(one shot learning)的訓練，因為僅需要收集其親朋好友少量的說話樣本及足以進行辨識。
另一方面，非聲紋分析的作法中意謂著並非從聲紋或頻率成分分析找出音訊來源獨有的特徵進行識別，此獨有特徵可與聲音相關或無關。在一非聲紋分析但與聲音相關的實施例中，是根據音訊來源所發出的 聲音的方位來識別出不同的音訊來源。在此實施例中，如圖1所示的麥克風111可具有左右聲道，因此可以根據左右聲道接收同一聲音(可仍然利用聲紋來判斷是否為同一音訊來源所發出的聲音)的時間差來定位出音訊來源的方位。透過時間差來定位音訊來源亦屬成熟的技術，因此在此不予以贅述。除此之外，若配備有攝影鏡頭(未圖示)，也可以利用影像識別的方式來定位出音訊來源的方位。對此可參考例如Ariel Ephrat,Inbar Mosseri,Oran Lang,Tali Dekel,Kevin Wilson,Avinatan Hassidim,William T.Freeman,Michael Rubinstein所著標題為Looking to Listen at the Cocktail Party：A Speaker-Independent Audio-Visual Model for Speech Separation的文章。
需說明的是，上述各種聲紋分析的作法與非聲紋分析的作法並不互相衝突，亦可結合一併使用。
調整階段
在判斷出從外界環境所接收到的聲音含有與使用者相關的資訊(或含有使用者需關注的聲音訊息)之後，音訊處理的下一個階段乃是將所辨識出的聲音訊息從整體所接收到的聲音抽取出來並加以個別調整，以符合使用者的聽力需求。在一實施例中，乃是將所辨識出而被抽取的聲音訊息音量增大，或是將所辨識出的聲音訊息以外其他的聲音減少或濾除。但若為了特殊的需求，例如要刻意忽略針對特定的聲音訊息，也可以將所辨識出的聲音訊息音量減小或濾除，或是將所辨識出的聲音訊息以外的聲音增大。除了音量，亦可針對所辨識出而被抽取的聲音訊息的頻率進行調整(即移頻)，例如把說話人原本較尖銳的語調降頻為較低沈的語調，但其他的聲音保持其原有的頻率。
此外，對聲音訊息的調整亦可根據識別結果而有所不同。舉例來說，當辨識出是使用者自己手機的電話鈴聲時，則可將使用者自己手機的電話鈴聲的音量放大，但當辨識出是隔壁同事桌上的電話鈴聲時，則可將同事桌上的電話鈴聲的音量降低或濾除。
或在另一例中，對聲音訊息所要進行的調整有不同的模式，使用者可透過指令在不同的模式間自行切換。舉例來說，在一種模式下，當辨識出聲音訊息是來自朋友A，則將朋友A的聲音訊息的音量放大，但當辨識出聲音訊息是來自同事B，則將同事B的聲音訊息的音量降低或濾除。當使用者切換到另一種模式，則使得當辨識出聲音訊息是來自朋友A，則將朋友A的聲音訊息的音量降低或濾除，但當辨識出聲音訊息是來自同事B，則將同事B的聲音訊息的音量放大。
<使用流程>
圖3係本發明一例示性實施例之流程圖，係配合圖1或圖2所例示個人聽力裝置來說明本發明。
步驟30：對個人聽力裝置中所用來進行音訊處理的演算法進行訓練，也就是賦予個人聽力裝置對聲音訊息進行辨識的能力。對於通用不涉及個人化的聲音訊息識別，訓練的部分可在個人聽力裝置出廠時即完成，但在一些情況下，特別是為了進行個人化的聲音訊息識別，使用者仍須自行提供聲音樣本給個人聽力裝置進行訓練。
步驟32：使用個人聽力裝置接收外界的聲音。在一般情況下，外界環境充斥各式各樣的音訊來源，而這些音訊來源所發出的眾多聲音將一併被個人聽力裝置上的麥克風接收。
步驟34：透過圖1中音訊處理電路120或是圖2中外部音訊處理裝置300來判斷從外界環境所接收到的聲音其中是否可能含使用者需關注(或要刻意忽略)的聲音訊息。判斷的方法可參考前述識別階段的說明。簡要來說，除了可透過根據特定詞語或聲音片段(例如自己手機的電話鈴聲或是消防警報聲)的聲紋特徵來判斷是否為使用者需關注的聲音訊息之外，還可透過識別出音訊來源的方式來進行判斷，而此部份可透過該音訊來源獨有的聲紋特徵或是該音訊來源的方位來進行識別。舉例來說，親人或朋友所發出的聲音大多是使用者需要關注或反應的聲音訊息，或者位於使用 者正前方的說話者所發出的聲音大多也是使用者需要關注或反應的聲音訊息。此外，使用時可能出現從外界環境所接收到的聲音同時含有多個使用者需關注的聲音訊息的情況，而對此可在訓練階段即對聲音訊息或是音訊來源設定優先次序，因此可將所識別出但優先次序較低的聲音訊息予以忽略而不進行到後續步驟36或38，但在其他實施例中，亦可將所辨識的多個聲音訊息皆進行到後續步驟36或38。
步驟36：在識別出使用者需關注(或要刻意忽略)的聲音訊息之後，此步驟乃是將聲音訊息從整體所接收到的聲音抽取出來並加以調整，例如相對於其他未被抽取出的聲音增加或減小音量，或甚至濾除，再播放給使用者聽。舉例來說，當使用者與多人同時交談時，可以將使用者自己說話的聲音抽取出來並减小音量，以避免干擾使用者收聽其他人所發出的聲音。此部份可參考前述調整階段的說明。值得說明的是，在另一實施例中，使用可透過指令切換不同的調整模式，而對所識別出的不同聲音訊息進行調整，或是對同一聲音訊息進行不同的調整。
步驟38(選擇性步驟)：圖1中助聽器100還可包含一功能模組180，其與音訊處理電路120電性連結。當音訊處理電路120識別出使用者需關注的聲音訊息係屬於使用者預先指定的音訊來源，還可發出驅動信號18給功能模組180，以驅動功能模組180執行一預定功能，較佳但不限於用來提醒使用者注意。舉例來說，功能模組180可具有一震動器(未圖示)，而使用者透過訓練音訊處理電路120而預先指定觸發條件為『家人C』或是自己的名字，而當音訊處理電路120識別出家人C的聲音訊息或是識別出使用者的名字(即有人在呼喊使用者)，則其發出驅動信號18給功能模組180，功能模組180中的震動器可產生輕微震動以提醒使用者注意。值得一提的是，在另一實施例中，步驟38前可略過步驟36，也就是說步驟38並非要以步驟36為前提。
在不脫離本發明精神或必要特性的情況下，可以其他特定形 式來體現本發明。應將所述具體實施例各方面僅視為解說性而非限制性。因此，本發明的範疇如隨附申請專利範圍所示而非如前述說明所示。所有落在申請專利範圍之等效意義及範圍內的變更應視為落在申請專利範圍的範疇內。
10‧‧‧輸入音訊信號
11‧‧‧輸入電性信號
12‧‧‧輸入數位信號
14‧‧‧輸出數位信號
15‧‧‧輸出電性信號
16‧‧‧輸出音訊信號
18‧‧‧驅動信號
100‧‧‧助聽器
110‧‧‧音訊輸入級
111‧‧‧麥克風
112‧‧‧類比數位轉換器
120‧‧‧音訊處理電路
130‧‧‧音訊輸出級
132‧‧‧數位類比轉換器
134‧‧‧揚聲器
180‧‧‧功能模組
Claims (13)
- 一種個人聽力裝置，包含：一麥克風，用以接收一輸入音訊信號，其中該輸入音訊信號係混合有一第一音訊來源所發出之聲音與一第二音訊來源所發出之聲音；一揚聲器；以及一音訊處理電路，用以自動地從該輸入音訊信號區分出該第一音訊來源所發出之聲音；其中，該音訊處理電路更將該輸入音訊信號進行處理，以將該第一音訊來源所發出之聲音以及該第一音訊來源所發出之聲音以外的聲音個別進行不同的調整，藉此產生一輸出音訊信號於該揚聲器播放給使用者。
- 如請求項1之個人聽力裝置，其中該音訊處理電路係將該輸入音訊信號中該第一音訊來源所發出之聲音以外的聲音濾除。
- 如請求項1之個人聽力裝置，其中該音訊處理電路係根據聲紋以區分出該第一音訊來源所發出之聲音。
- 如請求項3之個人聽力裝置，其中該音訊處理電路係進一步針對說話人的聲紋特徵來區分出該第一音訊來源所發出之聲音。
- 如請求項3之個人聽力裝置，其中該音訊處理電路進一步判斷該第一音訊來源所發出之聲音包含特定詞語或聲音片段。
- 如請求項1之個人聽力裝置，其中該音訊處理電路係根據聲音的方位 以區分出該第一音訊來源所發出之聲音。
- 如請求項1之個人聽力裝置，其中該音訊處理電路係將該第一音訊來源所發出之聲音濾除。
- 如請求項1之個人聽力裝置，其中該音訊處理電路係將該第一音訊來源所發出之聲音之音量相對於該輸入音訊信號中該第一音訊來源所發出之聲音以外的聲音放大。
- 如請求項1之個人聽力裝置，其中該音訊處理電路對該輸入音訊信號進行兩種以上不同的處理，並因應使用者的指令在不同的處理模式間進行切換。
- 如請求項1之個人聽力裝置，更包含一功能模組；其中，當該音訊處理電路判斷出當該第一音訊來源所發出之聲音符合一預定條件，則發出一驅動訊號給該功能模組，以執行預設之一功能。
- 一種個人聽力裝置，與一外部音訊處理裝置無線連結，該個人聽力裝置包含：一麥克風，用以接收一輸入音訊信號，其中該輸入音訊信號係混合有一第一音訊來源所發出之聲音與一第二音訊來源所發出之聲音；一揚聲器；以及一通訊電路，用以將該輸入音訊信號無線傳送給該外部音訊處理裝置，該外部音訊處理裝置自動地從該輸入音訊信號區分出該第一音訊來源所發出之聲音；其中，該外部音訊處理裝置更將該輸入音訊信號進行處理，以將該第 一音訊來源所發出之聲音以及該第一音訊來源所發出之聲音以外的聲音個別進行不同的調整，藉此產生一輸出音訊信號，並由該通訊電路接收並由該揚聲器播放給使用者。
- 一種外部音訊處理裝置，與如請求項11所述之個人聽力裝置無線連結，該外部音訊處理裝置包含：一處理器，自動地從該輸入音訊信號區分出該第一音訊來源所發出之聲音，並將該輸入音訊信號進行處理，以將該第一音訊來源所發出之聲音以及該第一音訊來源所發出之聲音以外的聲音個別進行不同的調整，藉此產生該輸出音訊信號並提供給該個人聽力裝置。
- 一種儲存在一電腦可用媒體上之電腦程式產品，包含一電腦可讀程式，供於如請求項12之外部音訊處理裝置上執行時，以自動地從該輸入音訊信號區分出該第一音訊來源所發出之聲音，並將該輸入音訊信號進行處理，以將該第一音訊來源所發出之聲音以及該第一音訊來源所發出之聲音以外的聲音個別進行不同的調整，藉此產生該輸出音訊信號並提供給該個人聽力裝置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810530623.8A CN110545504A (zh) | 2018-05-29 | 2018-05-29 | 个人听力装置、外部声音处理装置及相关计算机程序产品 |
| CN201810530623.8 | 2018-05-29 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202005420A true TW202005420A (zh) | 2020-01-16 |
| TWI831785B TWI831785B (zh) | 2024-02-11 |
Family
ID=68696639
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW108118414A TWI831785B (zh) | 2018-05-29 | 2019-05-28 | 個人聽力裝置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11516599B2 (zh) |
| CN (1) | CN110545504A (zh) |
| TW (1) | TWI831785B (zh) |
| WO (1) | WO2019228329A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI738409B (zh) * | 2020-07-07 | 2021-09-01 | 鉭騏實業有限公司 | 指向助聽裝置及其方法 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022027423A1 (zh) * | 2020-08-06 | 2022-02-10 | 大象声科（深圳）科技有限公司 | 一种融合骨振动传感器和双麦克风信号的深度学习降噪方法及系统 |
| EP4037337A1 (en) * | 2021-01-21 | 2022-08-03 | Orcam Technologies Ltd. | Systems and methods for retroactive processing and transmission of words |
| CN113825082A (zh) * | 2021-09-19 | 2021-12-21 | 武汉左点科技有限公司 | 一种用于缓解助听延迟的方法及装置 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5909666A (en) | 1992-11-13 | 1999-06-01 | Dragon Systems, Inc. | Speech recognition system which creates acoustic models by concatenating acoustic models of individual words |
| US5473759A (en) | 1993-02-22 | 1995-12-05 | Apple Computer, Inc. | Sound analysis and resynthesis using correlograms |
| EP1749420A4 (en) * | 2004-05-25 | 2008-10-15 | Huonlabs Pty Ltd | AUDIO APPARATUS AND METHOD |
| US8036891B2 (en) | 2008-06-26 | 2011-10-11 | California State University, Fresno | Methods of identification using voice sound analysis |
| US8369549B2 (en) * | 2010-03-23 | 2013-02-05 | Audiotoniq, Inc. | Hearing aid system adapted to selectively amplify audio signals |
| US9444816B2 (en) * | 2011-03-30 | 2016-09-13 | Qualcomm Incorporated | Continuous voice authentication for a mobile device |
| TWI504282B (zh) | 2012-07-20 | 2015-10-11 | Unlimiter Mfa Co Ltd | 增加聽障者聽到聲音正確性之方法及助聽器 |
| CN103581786A (zh) * | 2012-08-02 | 2014-02-12 | 北京千橡网景科技发展有限公司 | 用于耳机的安全设备和方法 |
| US9691377B2 (en) | 2013-07-23 | 2017-06-27 | Google Technology Holdings LLC | Method and device for voice recognition training |
| TWM464955U (zh) * | 2013-05-08 | 2013-11-01 | Iti Infotech Ind Ltd | 聽力障礙者用的佩戴式擴音裝置 |
| US8965016B1 (en) | 2013-08-02 | 2015-02-24 | Starkey Laboratories, Inc. | Automatic hearing aid adaptation over time via mobile application |
| US10720153B2 (en) * | 2013-12-13 | 2020-07-21 | Harman International Industries, Incorporated | Name-sensitive listening device |
| CN104936091B (zh) * | 2015-05-14 | 2018-06-15 | 讯飞智元信息科技有限公司 | 基于圆形麦克风阵列的智能交互方法及系统 |
| CN106385658B (zh) * | 2016-09-08 | 2019-05-31 | 歌尔科技有限公司 | 智能眼镜的麦克风声学性能调节方法和智能眼镜 |
| WO2018063917A2 (en) * | 2016-09-28 | 2018-04-05 | 3M Innovative Properties Company | Adaptive electronic hearing protection device |
| US10231067B2 (en) * | 2016-10-18 | 2019-03-12 | Arm Ltd. | Hearing aid adjustment via mobile device |
| TWI609365B (zh) | 2016-10-20 | 2017-12-21 | 宏碁股份有限公司 | 助聽器及其寬動態範圍壓縮的恢復時間動態調整方法 |
| CN107105367B (zh) * | 2017-05-24 | 2020-07-10 | 维沃移动通信有限公司 | 一种音频信号处理方法及终端 |
| CN107799117A (zh) | 2017-10-18 | 2018-03-13 | 倬韵科技（深圳）有限公司 | 识别关键信息以控制音频输出的方法、装置及音频设备 |
| CN107862060B (zh) * | 2017-11-15 | 2021-03-23 | 吉林大学 | 一种追踪目标人的语义识别装置及识别方法 |
| US20200184845A1 (en) * | 2018-03-31 | 2020-06-11 | NL Giken Incorporated | Data control system for a data server and a plurality of cellular phones, a data server for the system, and a cellular phone for the system |
-
2018
- 2018-05-29 CN CN201810530623.8A patent/CN110545504A/zh active Pending
-
2019
- 2019-05-28 TW TW108118414A patent/TWI831785B/zh active
- 2019-05-28 WO PCT/CN2019/088748 patent/WO2019228329A1/zh active Application Filing
- 2019-05-28 US US17/059,188 patent/US11516599B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI738409B (zh) * | 2020-07-07 | 2021-09-01 | 鉭騏實業有限公司 | 指向助聽裝置及其方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210211812A1 (en) | 2021-07-08 |
| WO2019228329A1 (zh) | 2019-12-05 |
| TWI831785B (zh) | 2024-02-11 |
| CN110545504A (zh) | 2019-12-06 |
| US11516599B2 (en) | 2022-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11626125B2 (en) | System and apparatus for real-time speech enhancement in noisy environments | |
| TWI831785B (zh) | 個人聽力裝置 | |
| EP2314077B1 (en) | Wearable headset with self-contained vocal feedback and vocal command | |
| US9706280B2 (en) | Method and device for voice operated control | |
| US9336786B2 (en) | Signal processing device, signal processing method, and storage medium | |
| CN107580113B (zh) | 提示方法、装置、存储介质及终端 | |
| KR20190024775A (ko) | 헤드폰 시스템 | |
| US20140314242A1 (en) | Ambient Sound Enablement for Headsets | |
| US11849274B2 (en) | Systems, apparatus, and methods for acoustic transparency | |
| JP2009178783A (ja) | コミュニケーションロボット及びその制御方法 | |
| CN114640938A (zh) | 一种基于蓝牙耳机芯片的助听功能实现方法及蓝牙耳机 | |
| JP2019184809A (ja) | 音声認識装置、音声認識方法 | |
| US11217237B2 (en) | Method and device for voice operated control | |
| US11290802B1 (en) | Voice detection using hearable devices | |
| KR20200113058A (ko) | 웨어러블 디바이스를 동작하기 위한 장치 및 방법 | |
| JP7284570B2 (ja) | 音声再生システムおよびプログラム | |
| WO2008075305A1 (en) | Method and apparatus to address source of lombard speech | |
| JP6918471B2 (ja) | 対話補助システムの制御方法、対話補助システム、及び、プログラム | |
| CN110992951A (zh) | 一种基于对抗样本保护个人隐私的方法 | |
| CN112399004B (zh) | 声音输出的调整方法及执行该调整方法的电子装置 | |
| TWI748215B (zh) | 聲音輸出之調整方法及執行該調整方法之電子裝置 | |
| TWI697891B (zh) | 入耳式語音裝置 | |
| US20240087597A1 (en) | Source speech modification based on an input speech characteristic | |
| TW202112149A (zh) | 我愛聽人工智慧聽力輔助系統 |