TWI576824B - 處理聲音段之方法及其電腦程式產品及助聽器 - Google Patents

處理聲音段之方法及其電腦程式產品及助聽器 Download PDF

Info

Publication number
TWI576824B
TWI576824B TW102119138A TW102119138A TWI576824B TW I576824 B TWI576824 B TW I576824B TW 102119138 A TW102119138 A TW 102119138A TW 102119138 A TW102119138 A TW 102119138A TW I576824 B TWI576824 B TW I576824B
Authority
TW
Taiwan
Prior art keywords
segment
sound
processing
sound segment
frequency
Prior art date
Application number
TW102119138A
Other languages
English (en)
Other versions
TW201445560A (zh
Inventor
治勇 楊
趙冠力
廖玄同
謝盷達
童寶娟
楊國屏
郭舒華
Original Assignee
元鼎音訊股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 元鼎音訊股份有限公司 filed Critical 元鼎音訊股份有限公司
Priority to TW102119138A priority Critical patent/TWI576824B/zh
Priority to DK14150433.2T priority patent/DK2808868T3/en
Priority to EP14150433.2A priority patent/EP2808868B1/en
Priority to US14/165,928 priority patent/US9311933B2/en
Publication of TW201445560A publication Critical patent/TW201445560A/zh
Application granted granted Critical
Publication of TWI576824B publication Critical patent/TWI576824B/zh

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90Pitch determination of speech signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/93Discriminating between voiced and unvoiced parts of speech signals
    • G10L2025/937Signal energy in various frequency bands
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/35Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using translation techniques
    • H04R25/353Frequency, e.g. frequency shift or compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)

Description

處理聲音段之方法及其電腦程式產品及助聽器
本發明係關於處理語音之方法,尤其是針對聽障者,老人等。
助聽器之發展由來已久,主要概念為將聲音放大,以幫助聽障者聽見原本聽不到的聲音,將聲音放大的處理幾乎不會產生延遲。另外助聽器若針對頻率進行處理,通常是將聲音頻率降低,譬如先前技術美國專利第6,577,739號”Apparatus and methods for proportional audio compression and frequency shifting”將聲音訊號以某比例壓縮後,提供給對某特定範圍有聽力損失的聽障者,然此技術是對全體聲音做壓縮,雖然可即時輸出,但會使得聲音失真嚴重。
先前技術美國專利第4,454,609號”Speech intelligibility enhancement”針對高頻的子音聲音做增強,當中高頻聲音之比例越高,則越多高頻內容被增強。此發明針對高頻之子音來做增強,然而對於何時有子音出現對於即時語音處理的 場合是非常困難的,因此不適合用於助聽器。
先前技術美國專利第6,577,739號”Apparatus and methods for proportional audio compression and frequency shifting”將聲音訊號以某比例壓縮後,提供給對某特定範圍有聽力損失的聽障者,然此技術是對全體聲音做壓縮,會使得聲音失真嚴重。
先前技術美國專利公開第2007/0127748號”Sound enhancement for hearing-impaired listeners”有揭露將高頻聲音段處理為較低頻的聲音段(sound segment),然而並無提出低頻聲音段如何處理,也無區分母音及子音是否應該做一區隔以進行處理聲音。
因此要發展一能即時處理語音,譬如應用於助聽器上,能簡化運算以及增加聽障者聽到聲音正確性之方法是需要的。
本發明之主要目的係在提供一種增加聽障者聽到聲音正確性之方法及助聽器。
為達成上述之目的,本發明處理聲音段之方法包括以下步驟:檢查一聲音段是否為一母音段,若該聲音段不是母音段,則進行之後的步驟。
檢查該聲音段為一高頻子音段還是低頻子音段:當該聲音段為高頻子音段時,則對該聲音段進行一低頻化處理,以及 針對子音段(高頻子音段或低頻子音段)進行能量放大處理或聲音拉長處理。
10‧‧‧助聽器
11‧‧‧收音器
12‧‧‧聲音處理模組
13‧‧‧揚聲器
20,20a,20b‧‧‧輸入聲音
21,21a,21b,21c‧‧‧聲音段
81‧‧‧聽障者
圖1係本發明之助聽器之整體架構圖。
圖2係本發明之聲音處理模組之步驟流程圖。
圖3係輸入聲音切為複數聲音段之示意圖。
圖4係具有低頻子音及母音之輸入聲音之頻率示意圖。
圖5係具有高頻子音及母音之輸入聲音之頻率示意圖。
圖6係本發明關於將高頻子音進行一低頻化處理之示意圖。
圖7係具有子音及母音之輸入聲音之振幅示意圖。
圖8係本發明將子音聲音段之能量放大之示意圖。
圖9係本發明將子音聲音段時間拉長之示意圖。
為能讓 貴審查委員能更瞭解本發明之技術內容,特舉較佳具體實施例說明如下。
以下請先參考圖1係本發明之助聽器之整體架構圖。
本發明之助聽器10包括收音器11、聲音處理模組12及揚聲器13。收音器11用於接收輸入聲音20,交由聲音處理模組12處理後,由揚聲器13播出給聽障者81。收音器11可為麥克風等任何可收音之器材,揚聲器13(亦可有放大器)可為耳機等任何可播音之器材,但本發明不以上述列 舉之裝置為限。聲音處理模組12一般為音效處理晶片搭配控制電路、放大電路所組成;亦可為處理器、記憶體搭配控制電路、放大電路所組成之解決技術。聲音處理模組12之重點為聲音訊號之放大處理、濾除噪音、改變聲音頻率組成以及為了達成本發明目的而需要之處理,由於聲音處理模組12可用習知之硬體搭配新的韌體或軟體,因此聲音處理模組12之硬體架構不再贅述。本發明之助聽器10基本上可以為將硬體特製化之專用機,亦可為小型電腦如PDA、PDA手機,或智慧型手機以及個人電腦。
接著請參考圖2,係關於本發明聲音處理模組之步驟流程圖。另請一併參考圖3至圖9以瞭解本發明。
步驟201:接收輸入聲音20,此步驟由收音器11完成。
步驟202:將輸入聲音20切割為複數聲音段21。每一聲音段之時間長度建議為0.0001~0.1秒之間,以I-Phone4做為助聽器的實驗中(根據本發明所製作之軟體於I-Phone4中執行),聲音段之時間長度約在0.0001~0.1秒之間效果不錯。
步驟203:檢查聲音段是否為一母音段。複數聲音段依序進行檢查。如果目前所檢查的聲音段為母音,則進行檢查下一個聲音段。若非母音,則進行步驟204。請參考圖4,輸入聲音20a係具有低頻子音及母音,譬如中文的『ㄆㄠ(Pao)』或英文的『Pin』,前面一段為子音,後面一段為母音。圖4顯示的網狀黑點代表在某一頻 率的能量,網狀黑點越密集代表能量越高,黑線條部分代表能量集中在某一頻率。
當在進行檢查聲音段21a時,因為聲音段21a非母音,因此進行步驟204。當在進行檢查聲音段21b時,因為聲音段21b為母音,則不處理而進行檢查下一個聲音段。
關於如何判斷聲音段是否為一母音段,請見圖4的母音,母音的特性是通常有2~100(會根據母音,及每個人發音的音色有所不同)段諧波現象(harmonic phenomenon),能量集中在2~100段的頻率,關於母音之特性由於為已知的知識,在此不再贅述。
步驟204:檢查該聲音段是否為一高頻子音段。若是高頻子音段則進行步驟205,若非高頻子音段則進行步驟206。需注意的是,步驟204當然亦可改為『檢查該聲音段是否為一低頻子音段』,只是對調『是』,『否』的路徑。
檢查一聲音段是否為高頻子音段重點在於此子音段的能量分佈是否在高頻區,判斷一聲音段是否為高頻子音段或低頻子音段有許多方式,當某一聲音段於2500赫茲以上之能量至少佔該聲音段總能量之50%時,建議被認為是高頻子音段。
譬如進行檢查聲音段21a於2500赫茲以上之能量小於總能量之50%,因此不被認為是高頻子音段。請參見圖5,輸人聲音20b係具有高頻子音及母音,譬如中文的『ㄗㄠ(Zao)』 或英文的『see』,其中聲音段21c於2500赫茲以上之能量大於總能量之50%,所以被認為是高頻子音。
步驟205:對該聲音段進行一低頻化處理。低頻化處理譬如常用的壓頻處理或移頻處理,或者壓頻處理及移頻處理兩者共用,建議先針對高頻段(譬如4000赫茲至10000赫茲之區域)進行壓頻,再進行移頻,譬如以聲音段21c為例,將聲音段21c的4000赫茲至10000赫茲之區域進行壓頻處理,壓頻至5000~4000赫茲,再將5000~4000赫茲往下移1000赫茲(移頻),然而0~4000赫茲的部分不做處理。
步驟206:將該聲音段進行能量放大處理或聲音拉長處理。子音的特性常常是短音,譬如在中文的發音常常是如此,所以可以針對高頻子音或低頻子音進行能量的放大,如圖7顯示子音的能量,而子音經過能量放大之後,如圖8顯示,這能讓聽障者更能清楚聽到子音。需注意的是,在步驟206中,將子音段放大,不代表不將母音段的能量放大,通常聽障者是需要放大音量的,譬如放大三倍,步驟206指的是先特別針對子音能量放大,尤其是偵測到子音段的能量較低時(如中文的ㄈ及ㄏ,英文的F及H),之後譬如在揚聲器13直接再放大三倍,因此某些子音段的能量放大倍率是高過母音。另外也非所有子音都需特別放大能量,以中文為例,高頻子音(許多高頻音是氣 音)比低頻子音更需要能量放大,因此高頻子音比較需要步驟206的處理。另外對於輕度聽障者而言,步驟206也可以不需要。
除了讓子音聲音段進行能量放大處理之外,也可將聲音段進行拉長處理,尤其是對於較嚴重之聽障者而言需要拉長(特別是短子音如中文的ㄊ,與英文的T)。當然在步驟206中,可讓子音聲音段進行拉長處理即可但不放大能量亦可,也可只放大能量,或是同時放大能量並進行拉長處理(如圖9)。當然如果子音聲音段進行拉長處理,則於助聽器這種需要即時聲音處理的情況下會造成延遲的現象,這需要進行補償,關於補償之技術並非本發明之重點,可參考同一申請人申請的案件(美國專利申請號13/833,009)。
需注意的是,上述僅為實施例,而非限制於實施例。譬如此不脫離本發明基本架構者,皆應為本專利所主張之權利範圍,而應以專利申請範圍為準。
201‧‧‧步驟
202‧‧‧步驟
203‧‧‧步驟
204‧‧‧步驟
205‧‧‧步驟
206‧‧‧步驟

Claims (15)

  1. 一種處理聲音段之方法,包括:檢查一聲音段是否為一母音段,若該聲音段不是母音段,則進行:檢查該聲音段為一高頻子音段還是低頻子音段:當該聲音段為高頻子音段時,則對該聲音段進行一低頻化處理。
  2. 如申請專利範圍第1項所述之處理聲音段之方法,其中該低頻化處理包括一壓頻處理或一移頻處理。
  3. 如申請專利範圍第2項所述之處理聲音段之方法,其中該低頻化處理包括針對該聲音段之一高頻段進行該壓頻處理並進行該移頻處理。
  4. 如申請專利範圍第3項所述之處理聲音段之方法,其中該高頻段至少包括4000赫茲至10000赫茲之區域。
  5. 如申請專利範圍第4項所述之處理聲音段之方法,其中於當該聲音段被判斷為高頻子音段時是當該聲音段於2500赫茲以上之能量至少佔該聲音段總能量之50%。
  6. 如申請專利範圍第5項所述之處理聲音段之方法,其中判斷該聲音段是否為母音段是檢查該聲音段是否具有諧波現象。
  7. 如申請專利範圍第6項所述之處理聲音段之方法,其中當該聲音段為高頻子音段時,更將該聲音段進行能量放大處理或聲音拉長處理。
  8. 如申請專利範圍第7項所述之處理聲音段之方法,其中當該聲音段為低頻子音段時,更將該聲音段進行能量放大處理或聲音拉長處理。
  9. 如申請專利範圍第2項所述之處理聲音段之方法,其中當該聲音段為高頻子音段時,更將該聲音段進行能量放大處理或聲音拉長處理。
  10. 如申請專利範圍第9項所述之處理聲音段之方法,其中當該聲音段為低頻子音段時,更將該聲音段進行能量放大處理或聲音拉長處理。
  11. 一種處理聲音段之電腦程式產品,當電腦載入該電腦程式並執行後,可完成申請專利範圍第1項至第10項任一項所述之方法。
  12. 一種助聽器,包括:一收音器,用以接收一輸入聲音; 一聲音處理模組,與該收音器電性連接,用以:將該輸入聲音切割為複數聲音段;檢查各聲音段是否為一母音段,若該聲音段不是母音段,則進行:檢查該聲音段為一高頻子音段還是低頻子音段:當該聲音段為高頻子音段時,則對該聲音段進行一低頻化處理;以及一揚聲器,用以將上述經處理或未處理之該複數聲音段輸出。
  13. 如申請專利範圍第13項所述之助聽器,其中該低頻化處理包括針對該聲音段之一高頻段進行該壓頻處理並進行該移頻處理。
  14. 如申請專利範圍第13項所述之助聽器,其中判斷該聲音段是否為母音段是檢查該聲音段是否具有諧波現象。
  15. 如申請專利範圍第13項所述之助聽器,其中當該聲音段為子音段時,更將該聲音段進行能量放大處理或聲音拉長處理。
TW102119138A 2013-05-30 2013-05-30 處理聲音段之方法及其電腦程式產品及助聽器 TWI576824B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW102119138A TWI576824B (zh) 2013-05-30 2013-05-30 處理聲音段之方法及其電腦程式產品及助聽器
DK14150433.2T DK2808868T3 (en) 2013-05-30 2014-01-08 Method of Processing a Voice Segment and Hearing Aid
EP14150433.2A EP2808868B1 (en) 2013-05-30 2014-01-08 Method of processing a voice segment and hearing aid
US14/165,928 US9311933B2 (en) 2013-05-30 2014-01-28 Method of processing a voice segment and hearing aid

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102119138A TWI576824B (zh) 2013-05-30 2013-05-30 處理聲音段之方法及其電腦程式產品及助聽器

Publications (2)

Publication Number Publication Date
TW201445560A TW201445560A (zh) 2014-12-01
TWI576824B true TWI576824B (zh) 2017-04-01

Family

ID=49886852

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102119138A TWI576824B (zh) 2013-05-30 2013-05-30 處理聲音段之方法及其電腦程式產品及助聽器

Country Status (4)

Country Link
US (1) US9311933B2 (zh)
EP (1) EP2808868B1 (zh)
DK (1) DK2808868T3 (zh)
TW (1) TWI576824B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI543634B (zh) * 2013-12-10 2016-07-21 元鼎音訊股份有限公司 處理聲音段之方法及其電腦程式產品及助聽器
TWI566239B (zh) * 2015-01-22 2017-01-11 宏碁股份有限公司 語音信號處理裝置及語音信號處理方法
CN106157966B (zh) * 2015-04-15 2019-08-13 宏碁股份有限公司 语音信号处理装置及语音信号处理方法
TWI583205B (zh) * 2015-06-05 2017-05-11 宏碁股份有限公司 語音信號處理裝置及語音信號處理方法
TWI584273B (zh) * 2016-08-04 2017-05-21 崑山科技大學 諧波感測音量自動調整系統
TWI606390B (zh) * 2016-09-23 2017-11-21 元鼎音訊股份有限公司 可自動調整聲音輸出之方法及電子裝置
TWI588819B (zh) * 2016-11-25 2017-06-21 元鼎音訊股份有限公司 語音處理之方法、語音通訊裝置及其電腦程式產品
TWI623930B (zh) * 2017-03-02 2018-05-11 元鼎音訊股份有限公司 發聲裝置、音訊傳輸系統及其音訊分析之方法
CN110570875A (zh) * 2018-06-05 2019-12-13 塞舌尔商元鼎音讯股份有限公司 检测环境噪音以改变播放语音频率的方法及声音播放装置
TWI662545B (zh) * 2018-06-22 2019-06-11 塞席爾商元鼎音訊股份有限公司 調整語音頻率之方法及其聲音播放裝置
TW202008800A (zh) * 2018-07-31 2020-02-16 塞席爾商元鼎音訊股份有限公司 助聽器及其助聽器之輸出語音調整之方法
CN112399004A (zh) * 2019-08-14 2021-02-23 原相科技股份有限公司 声音输出的调整方法及执行该调整方法的电子装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4454609A (en) * 1981-10-05 1984-06-12 Signatron, Inc. Speech intelligibility enhancement
US20030135364A1 (en) * 2000-03-28 2003-07-17 Ravi Chandran Spectrally interdependent gain adjustment techniques
WO2006133431A2 (en) * 2005-06-08 2006-12-14 The Regents Of The University Of California Methods, devices and systems using signal processing algorithms to improve speech intelligibility and listening comfort
TW200832359A (en) * 2007-01-23 2008-08-01 Ind Tech Res Inst Method of a voice signal processing
WO2012076044A1 (en) * 2010-12-08 2012-06-14 Widex A/S Hearing aid and a method of improved audio reproduction
TW201225688A (en) * 2010-12-01 2012-06-16 Kuo-Ping Yang Method and hearing aid of enhancing sound accuracy heard by a hearing-impaired listener

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6577739B1 (en) 1997-09-19 2003-06-10 University Of Iowa Research Foundation Apparatus and methods for proportional audio compression and frequency shifting
AU2003904207A0 (en) 2003-08-11 2003-08-21 Vast Audio Pty Ltd Enhancement of sound externalization and separation for hearing-impaired listeners: a spatial hearing-aid
JP2006087018A (ja) * 2004-09-17 2006-03-30 Matsushita Electric Ind Co Ltd 音響処理装置
CN101939784B (zh) * 2009-01-29 2012-11-21 松下电器产业株式会社 助听器及助听处理方法
US20120078625A1 (en) * 2010-09-23 2012-03-29 Waveform Communications, Llc Waveform analysis of speech
JP5500125B2 (ja) * 2010-10-26 2014-05-21 パナソニック株式会社 補聴装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4454609A (en) * 1981-10-05 1984-06-12 Signatron, Inc. Speech intelligibility enhancement
US20030135364A1 (en) * 2000-03-28 2003-07-17 Ravi Chandran Spectrally interdependent gain adjustment techniques
WO2006133431A2 (en) * 2005-06-08 2006-12-14 The Regents Of The University Of California Methods, devices and systems using signal processing algorithms to improve speech intelligibility and listening comfort
TW200832359A (en) * 2007-01-23 2008-08-01 Ind Tech Res Inst Method of a voice signal processing
TW201225688A (en) * 2010-12-01 2012-06-16 Kuo-Ping Yang Method and hearing aid of enhancing sound accuracy heard by a hearing-impaired listener
WO2012076044A1 (en) * 2010-12-08 2012-06-14 Widex A/S Hearing aid and a method of improved audio reproduction

Also Published As

Publication number Publication date
EP2808868A1 (en) 2014-12-03
US20140358530A1 (en) 2014-12-04
EP2808868B1 (en) 2016-05-11
DK2808868T3 (en) 2016-08-15
TW201445560A (zh) 2014-12-01
US9311933B2 (en) 2016-04-12

Similar Documents

Publication Publication Date Title
TWI576824B (zh) 處理聲音段之方法及其電腦程式產品及助聽器
TWI451770B (zh) 增加聽障者聽到聲音正確性之方法及助聽器
US9119007B2 (en) Method of and hearing aid for enhancing the accuracy of sounds heard by a hearing-impaired listener
US9672843B2 (en) Apparatus and method for improving an audio signal in the spectral domain
US10020003B2 (en) Voice signal processing apparatus and voice signal processing method
TWI543634B (zh) 處理聲音段之方法及其電腦程式產品及助聽器
CN106664472A (zh) 信号处理设备、信号处理方法和计算机程序
TWI451405B (zh) 增進語音即時輸出之方法及助聽器
US9749741B1 (en) Systems and methods for reducing intermodulation distortion
US11367457B2 (en) Method for detecting ambient noise to change the playing voice frequency and sound playing device thereof
US20150049879A1 (en) Method of audio processing and audio-playing device
TWI624183B (zh) 電話語音處理之方法及其電腦程式
TWI603627B (zh) 處理聲音段之方法及其電腦程式產品及助聽器
US10964307B2 (en) Method for adjusting voice frequency and sound playing device thereof
CN104244155A (zh) 处理声音段的方法及助听器
US20120057714A1 (en) Automatic Tunable Earphone And Method For Tuning The Same
US9313582B2 (en) Hearing aid and method of enhancing speech output in real time
CN111477246A (zh) 语音处理方法、装置及智能终端
US9514765B2 (en) Method for reducing noise and computer program thereof and electronic device
US20210329387A1 (en) Systems and methods for a hearing assistive device
Kambalimath et al. FPGA based implementation of comb filters for use in binaural hearing aids for reducing intraspeech spectral masking
TWI656525B (zh) 高保真語音裝置
TWI588819B (zh) 語音處理之方法、語音通訊裝置及其電腦程式產品
CN110570875A (zh) 检测环境噪音以改变播放语音频率的方法及声音播放装置