KR20120124351A - 휴대 단말기를 이용한 음성인식 보청 시스템 및 그것의 운영방법 - Google Patents

휴대 단말기를 이용한 음성인식 보청 시스템 및 그것의 운영방법 Download PDF

Info

Publication number
KR20120124351A
KR20120124351A KR1020110142901A KR20110142901A KR20120124351A KR 20120124351 A KR20120124351 A KR 20120124351A KR 1020110142901 A KR1020110142901 A KR 1020110142901A KR 20110142901 A KR20110142901 A KR 20110142901A KR 20120124351 A KR20120124351 A KR 20120124351A
Authority
KR
South Korea
Prior art keywords
voice
hearing
portable terminal
text
user
Prior art date
Application number
KR1020110142901A
Other languages
English (en)
Inventor
윤재민
Original Assignee
윤재민
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤재민 filed Critical 윤재민
Priority to KR1020110142901A priority Critical patent/KR20120124351A/ko
Priority to KR1020120035878A priority patent/KR20130075624A/ko
Publication of KR20120124351A publication Critical patent/KR20120124351A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72475—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users
    • H04M1/72478—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users for hearing-impaired users
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04—Time compression or expansion
    • G10L21/057—Time compression or expansion for improving intelligibility
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04—Time compression or expansion
    • G10L21/057—Time compression or expansion for improving intelligibility
    • G10L2021/0575—Aids for the handicapped in speaking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 휴대 단말기를 이용한 음성인식 보청 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 음성을 인식하여 텍스트로 표시하고, 상기 음성 및 음성의 특정 구간을 사용자의 청력 특성에 맞게 증폭하여 출력할 수 있도록 하여 보다 효과적으로, 시청각적으로 보청 기능을 수행하도록 하는 휴대 단말기를 이용한 음성인식 보청 시스템 및 그 방법에 관한 것이다.

Description

휴대 단말기를 이용한 음성인식 보청 시스템 및 그것의 운영방법{speech recognition hearing aid system using mobile phone and its application method thereof}
본 발명은 휴대 단말기를 이용한 음성인식 보청 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 음성을 인식하여 텍스트로 표시하고, 상기 음성 및 음성의 구간정보를 사용자의 청력 특성에 맞게 증폭하여 출력할 수 있도록 하여 보다 효과적으로, 시청각적으로 보청 기능을 수행하도록 하는 휴대 단말기를 이용한 음성인식 보청 시스템 및 그것의 운영방법에 관한 것이다.
1930년대 진공관을 이용한 보청기 개발 이후, 기술자들은 보청기 소형화와 소형화된 상태에서 원하는 만큼의 출력을 낼 수 있는 소형 배터리의 개발에 주력하여 왔다. 그 결과 어떠한 전기, 전자 분야보다 먼저 보청기에 트랜지스터를 적용하였으며 현재의 고집적 회로 증폭기를 이용하여 소형 보청기에서 보다 양질의 증폭 출력을 얻을 수 있도록 기술을 축적하여 왔다.
현재 보청기는 경도나 중도 난청의 경우에는 혜택을 볼 수 있으나, 중고도난청 이상, 즉, 고도난청, 심도난청자에게는 고주파수 영역의 소리를 거의 인식하지 못하기 때문에 보청기 착용의 효과가 매우 적다.
본 발명은 상기한 문제점을 해결하기 위하여 제안된 것으로서, 본 발명의 목적은 음성인식기능과 보청기능을 상보적으로 결합시킴으로써, 불완전한 보청 기능을 음성인식기가 보완하고, 불완전한 음성인식 기능을 보청기가 보완하도록 하여, 청각장애자가 시청각적으로 음성을 텍스트로 보고, 귀로도 증폭하여 들을 수 있도록 하여 입력 음성에 대한 이해력을 상승시킬 수 있는 휴대 단말기를 이용한 음성인식 보청 시스템 및 그것의 운영방법을 제공하기 위한 것이다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따른 휴대 단말기를 이용한 음성인식 보청 시스템은 음성을 입력하는 음성입력장치; 소리를 감지해서 음성인지를 분석한 후, 음성이면 음성인식기능을 실행시켜 음성을 텍스트로 변환하며 휴대용 단말기 화면에 상기 텍스트를 출력하고, 상기 음성과 상기 음성의 프레임정보와 상기 텍스트정보를 연동해서 저장하며, 사용자가 선택한 특정 음성 구간을 사용자의 청력 특성에 맞게 증폭하여 출력하는 휴대용 단말기; 상기 휴대용 단말기에 인가되는 음성을 출력하는 이어폰;을 포함한다.
또한, 본 발명의 특징에 따른 휴대 단말기를 이용한 음성인식 보청 시스템의 운용방법은, 음성을 입력하는 1단계; 소리를 감지해서 음성인지 분석하는 2단계; 음성이면 음성인식기능을 실행시켜 음성을 텍스트로 변환하여 휴대용 단말기 화면에 상기 텍스트를 출력하는 3단계; 상기 음성과 상기 음성의 프레임정보와 상기 음성의 텍스트정보를 연동해서 저장하는 4단계; 사용자가 선택한 특정 음성 구간을 사용자의 청력 특성에 맞게 증폭하여 출력하는 5단계; 상기 휴대용 단말기에 인가되는 음성을 이어폰으로 출력하는 6단계;를 포함한다.
또한, 본 발명의 특징에 따른 휴대 단말기를 이용한 음성인식 보청 시스템의 운용방법은, 사용자의 청력을 측정하여 청력특성정보 DB에 저장하는 1단계; 마이크로 음성이 감지되면, 상기 음성을 인식하여 휴대용 단말기 화면에 출력하고, 음성은 음성DB에 저장하고, 상기 음성의 프레임정보와 상기 음성의 텍스트정보는 음성정보DB에 저장하고, 상기 음성을 청력특성DB를 참조하여, 음성증폭하는 2단계; 상기 음성의 음성인식 결과가 사용자로부터 오인식으로 판단되면, 사용자가 오인식된 부분을 선택하고, 상기 선택된 오인식된 텍스트 구간정보를 음성DB와 음성정보DB에서 선택하여, 음성구간 재생 및 음성증폭하는 3단계;를 포함한다.
이와 같은 본 발명의 실시예에 따르면, 음성을 텍스트화하여 눈으로 보고, 증폭하여 귀로 들을 수 있어서 시청각적으로 보청능력을 향상시키는 효과가 있다.
또한, 본 발명의 실시예에 따르면, 소리를 감지해서 음성인지를 분석한 후, 음성이면 음성인식기능을 실행시켜 음성을 텍스트로 변환하며 휴대용 단말기 화면에 상기 텍스트를 출력하고, 상기 음성과 상기 음성의 프레임정보와 상기 텍스트정보를 연동해서 저장하며, 특정 텍스트 정보에 대한 음성출력 요구에 따라 해당 음성구간을 액세스하여 증폭함으로써, 화자에게 다시 반복해서 말을 해줄 것을 요청하지 않고, 휴대 단말기에 저장된 음성을 언제든지 증폭하여 들을 수 있다.
도 1은 본 발명의 실시예에 따른 휴대 단말기를 이용한 음성인식 보청 시스템의 구성을 도시한 도면이다.
도 2은 본 발명의 실시예에 따른 휴대 단말기를 이용한 음성인식 보청 시스템의 운용방법 절차를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 휴대 단말기를 이용한 음성인식 보청 시스템에서 특정 텍스트 정보에 대한 음성구간 출력을 위한 상호관계를 도시화한 도면이다.
도 4는 본 발명의 실시예에 따른 휴대 단말기를 이용한 음성인식 보청 시스템의 소리인식 보청앱 구동화면을 도시한 도면이다.
도 5는 본 발명의 실시예에 따른 휴대 단말기를 이용한 음성인식 보청 시스템의 효용성을 도시한 도면이다.
도 6은 본 발명의 실시예에 따른 휴대 단말기를 이용한 음성인식 보청 시스템의 사용예를 도시한 도면이다.
도 7은 본 발명의 실시예에 따른 휴대 단말기를 이용한 음성인식 보청 시스템의 사용예를 도시한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세하게 설명하면 다음과 같다.
본 발명은 여러 가지 상이한 형태로 구현될 수 있으므로, 여기에서 설명하는 실시예에 한정되지 않으며, 도면에서 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략하였다.
도 1은 본 발명의 실시예에 따른 휴대 단말기를 이용한 음성인식 보청 시스템의 구성을 도시한 도면이다.
도 1에 도시된 바와 같이, 본 발명은 음성입력장치(100)와 휴대용 단말기(200) 및 음성출력장치(300)를 포함한다.
음성입력장치(100)는 휴대용 단말기 내부에 포함된 마이크를 사용하는 경우에는 별도로 필요없지만, 휴대용 단말기 내부 마이크보다 고사양의 마이크가 필요할 경우에는 외부마이크(100)를 휴대용 단말기(200)에 연결하게 된다.
휴대용 단말기(200)는 음성입력부(210), 청력손실 측정부(220), 음성인식 처리부(230), 음성증폭 처리부(240), 유저 인터페이스부(250), 음성출력부(260)으로 구성된다.
음성입력부(210)은 외부마이크나 휴대단말기 내부 마이크에서 전달된 아날로그 신호를 디지털신호로 변환시킨 후, 청력손실 측정부(220)에서 사용자의 청력(청감)손실을 순음청력검사(221)와 어음명료도검사(222)를 통해서 테스트하여, 사용자의 청력(청감)손실값을 청력특성정보DB(223)에 저장한다.
또한, 음성입력부(210)에 입력된 음성신호를 음성인식 처리부(230)로 전달하여 잡음제거(231), 음성감지(232), 음성인식(233) 기능을 수행한다. 잡음제거(231) 및 음성감지(232), 음성인식(233) 기능의 구현을 위해서 기존에 알려진 다양한 알고리즘을 사용할 수 있다. 음성인식(233) 기능에 의해서 텍스트화된 정보는 음성정보DB(244)에 저장한다.
음성인식 처리부(230)를 거친 음성은 음성증폭 처리부(240)에서 사용자의 청력특성정보DB를 참고하여 음성증폭(241)기능을 수행하고, 상기 음성은 음성저장(242)기능에 의해서 음성DB에 저장된다.
유저 인터페이스부(250)는 메뉴선택(251), 화면출력(252) 기능으로 구성되어 있으며, 메뉴선택(251)의 세부 기능은 다시듣기, 청력측정, 불러오기, 볼륨조절 등의 기능을 수행한다.
유저 인터페이스부(250)에서는 음성이 입력되면 음성인식 처리부(230)를 호출하여 음성을 텍스트로 전환하여 화면상에 표시하며, 상기 텍스트로 표현된 음성의 일부 구간 또는 전 구간을 선택하여 해당 구간의 음성을 다시 듣기 할 수 있으며, 상기 다시 듣기의 경우 사용자의 청력특성에 맞게 증폭하여 휴대용 단말기의 스피커나 휴대용 단말기와 연결된 이어폰을 통해서 사용자의 귀로 음성을 전달한다.
상기 유저 인터페이스부(250)에서는 청력손실 측정부(220)을 호출하여 청력을 측정할 수도 있고, 이전에 저장된 음성 및 해당 음성의 텍스트 정보를 불러와서 다시 재생할 수 있으며, 휴대용 단말기의 스피커나 이어폰에서의 음성출력의 볼륨을 조절할 수도 있다.
이와 같이, 상기 휴대용 단말기(200)는 소리를 감지해서 음성인지를 분석한 후, 음성이면 음성인식기능을 실행시켜 음성을 텍스트로 변환하며 휴대용 단말기 화면에 상기 텍스트를 출력하고, 상기 음성과 상기 음성의 프레임정보와 상기 음성의 텍스트정보를 연동해서 저장하며, 사용자가 선택한 특정 음성 구간(주파수 대역)을 사용자의 청력 특성에 맞게 증폭하여 출력할 수 있다.
또한, 상기 휴대용 단말기(200)는 사용자의 청감손실을 기록하는 프로그램을 구비하며, 상기 청감손실 테스트에의한 청감손실값으로 구성된 사용자의 청력 특성정보를 저장할 수 있다.
상기 휴대용 단말기(200)는 소리를 감지해서 음성인지를 분석한 후, 음성이면 음성인식기능을 실행시켜 음성을 텍스트로 변환하며 휴대용 단말기 화면에 상기 텍스트를 출력하고, 상기 음성과 상기 음성의 프레임정보와 상기 음성의 텍스트정보를 연동해서 저장하며, 사용자가 선택한 음성 구간을 사용자의 청력 특성에 맞게 증폭하여 출력하며, 특정 텍스트 구간에 대한 음성출력 요구에 따라 해당 음성구간을 액세스하여 증폭할 수 있다.
또한, 상기 음성을 일정한 프레임으로 나눈 음성 프레임구간에서, 상기 음성을 음성인식하여 텍스트로 변환한 각 어절의 시작 시간(프레임)과 끝 시간(프레임)을 기록하여, 특정 어절(텍스트 정보)에 대한 음성출력 요구에 따라 해당 어절구간의 음성프레임만 액세스하여 사용자의 청력 특성에 맞게 증폭하여 출력할 수 있다.
그리고, 상기 음성출력장치(이어폰)는, 상기 휴대용 단말기에 인가되는 특정 텍스트 정보에 대한 음성을 출력할 수 있다.
도 2는 본 발명의 실시예에 따른 휴대 단말기를 이용한 음성인식 보청 시스템의 운용방법 절차를 나타낸 도면이다.
먼저, 음성이 입력되면, 잡음을 제거하고, 음성을 감지해서 음성인지 분석한다.
음성으로 분석되면, 음성인식에 의해 음성을 텍스트(Text)로 변환하며 휴대용 단말기상의 화면에 텍스트를 출력하게 된다.
음성인식 후, 음성을 파일로 음성DB에 저장하며, 상기 음성의 프레임정보와 상기과 음성의 텍스트 정보를 연동해서 음성정보DB에 저장한다.
그 후, 사용자가 선택한 특정 음성 구간(주파수 대역)을 청력특정DB를 참조하여, 사용자의 청력 특성에 맞게 증폭하여 휴대용 단말기 내부 스피커 또는 휴대용 단말기와 연결된 이어폰으로 음성을 출력하게 된다.
마이크를 통해서 입력된 음성을 음성인식 후, 휴대용 단말기상에 표시된 상기 음성의 텍스트가 오인식으로 판단되면 휴대용 단말기가 제공하는 손가락 터치인식에 의한 드래깅 기능, 상하좌우 화살표 포인트의 글자 선택기능 등 다양한 텍스트 선택 기능에 의해서, 오인식된 텍스트를 선택하고, 상기 텍스트를 사용자의 청력특성에 맞게 음성증폭할 수도 있다.
또한, 휴대용 단말기는 순음청력검사, 어음명료도검사를 수행할 수 있으며, 사용자의 청력손실도를 청력특성DB에 저장할 수 있다. 이렇게 저장된 청력특성DB 값은 음성증폭시에 이용하게 된다.
입력된 음성과 상기 음성의 프레임정보, 텍스트 정보 연동은, 상기 음성을 일정한 프레임으로 나눈 음성 프레임구간에서, 상기 음성을 음성인식하여 텍스트로 변환한 각 어절의 시작 시간(프레임)과 끝 시간(프레임)을 기록하여, 특정 어절(텍스트 정보)에 대한 음성출력 요구에 따라 해당 어절구간의 음성프레임만 액세스하여 사용자의 청력 특성에 맞게 증폭할 수 있도록 한다.
또한, 음성증폭시에는 음성의 주파수 대역들을 사용자의 청력 특성에 맞게 증폭하여 출력하게 되는데, 이때, 청감손실값에 의해 손상된 청력만큼 증폭시키거나, 청감손실보상공식을 이용하여 손실된 청력의 일정 부분을 증폭시키거나, 특정 주파수대역의 시프트나 압축방법에 의해서 소리를 증폭시키게 된다.
또한, 음성증폭시에는, 특정 텍스트 구간에 대한 음성출력 요구에 따라 해당 음성구간을 액세스하여 사용자의 청력 특성에 맞게 증폭하여 출력하는 특징이 있다.
상기 휴대용 단말기에 연결된 이어폰은, 상기 휴대용 단말기에 인가되는 특정 텍스트 정보에 대한 음성을 이어폰으로 출력하게 된다.
도 3은 본 발명의 실시예에 따른 휴대 단말기를 이용한 음성인식 보청 시스템에서 특정 텍스트 정보에 대한 음성구간 출력을 위한 상호관계를 도시화한 도면이다.
그림에 도시한 바와 같이, 사용자의 질문 (이 버스가 어디로 가죠?)에 대한 화자의 음성에 대해서 음성인식 처리 후, 상기 음성이 텍스트로 변환된 화자의 발화가 (금성동 갑니다)라고 할 때, 상기 음성을 프레임단위로 나누어서 구분하면, 크게는 (금성동), (갑니다)와 같이 2개의 구분할 수 있으며, 작게는 (금), (성), (동)처럼 음소단위로 상기 음성의 각 음소의 시작위치와 끝 위치에 해당하는 프레임 또는 시간 정보를 기록할 수 있다.
이렇게 상기 음성의 텍스트와 상기 텍스트의 프레임정보는 음성정보DB에 파일로 저장되어, 사용자의 요구에 의해 특정 텍스트 또는 특정 텍스트 구간정보(1어절 이상)가 선택되어 사용자의 청력 특성에 맞게 증폭할 수 있다.
도 4는 본 발명의 실시예에 따른 휴대 단말기를 이용한 음성인식 보청 시스템의 소리인식 보청앱 구동화면을 도시한 도면이다.
음성(화자의 발음)이 입력되어 음성인식 후, 텍스트로 휴대단말기상의 화면에 (금성동 가는 버스입니다)라고 텍스트로 표시된다.
이때, 상기 음성이 증폭되어 스피커나 이어폰으로 들을 수 있으며, 또한 상기 음성은 저장되어 다시 듣기가 가능하다.
음성증폭시 사용자의 청력 특성에 맞게 증폭하기 위해서 사용자의 청력을 측정할 수 있는 기능도 제공한다.
또한, 이전에 저장된 음성과 텍스트화된 정보도 불러와서 음성을 출력할 수 있으며, 현재 음성 출력 볼륨을 조정하는 기능도 제공한다.
도 5는 본 발명의 실시예에 따른 휴대 단말기를 이용한 음성인식 보청 시스템의 효용성을 도시한 도면이다.
입력된 음성을 음성인식 후, 음성을 글자로 변환하여, 이 글자 조합(문장)이 문맥적으로 의미가 정확하게 표시되고, 해당 음성을 증폭하여 들었을 때도 어느 정도 타당하다고 생각되면, 잘 듣지 못하는 청각장애자에게는 음성인식 기능이 청력을 보조해주는 훌륭한 도구가 된다.
즉, '2010 버스는 횡보도 가은 버스입니다' 라고 음성인식결과가 글자로 표시되면, 청각장애자는 잘 듣지 못해도 음성인식 기능에 의해서 삶의 품질이 향상된다.
그러나, 음성인식 결과가 문맥적으로 타당하지 않을 경우에는, 잘 듣지 못하는 청각장애자의 청력에 일부 의존할 수 밖에 없고, 이때, 해당 음성의 증폭 기능이 음성인식 기능을 보조하게 된다.
즉, '2010버스는 횡보도 가은 버스입니다.' 라고 음성인식결과가 글자로 표시되면, 문맥적으로 타당하지 않은, 잘못된 음성인식 구간이라고 생각되는 '횡보도 가은' 부분을 선택하여, 사용자의 청력특성을 고려한 음성증폭을 실시하고, 청각장애자의 일부 남아 있는 청력으로 '횡보도 가은' 부분을 청각적으로 획득한 정보와 시작적으로 인지한 정보를 조합하여 청각장애자가 이를 연상함으로써, 보청기를 단독으로 사용했을 때, 또는 음성인식기를 단독으로 사용했을 때 보다 더 높은 보청 성능을 향상시킬 수 있음이 자명하다.
도 6은 본 발명의 실시예에 따른 휴대 단말기를 이용한 음성인식 보청 시스템의 사용예를 도시한 도면이다.
휴대 단말기(스마트폰)가 음성인식과 증폭을 수행함으로써, 기존 하드웨어로 구성되어 있는 다양한 보청기능을 소프트웨어적으로 구현하여, 난청인에게 음성인식된 글자와 증폭된 음성을 전달하게 된다.
즉, 난청인이 일반인에게 '초지동 가는 버스가 몇 번이죠?'라고 질문하며, 일반인이 '12번 버스 타세요'라고 대답했을 때, 휴대 단말기로 음성인식 후, 글자로 표시하고, 음성을 증폭하고 잡음을 제거하여 리시버를 통해서 난청인의 귀로 전달하게 된다.
도 7은 본 발명의 실시예에 따른 휴대 단말기를 이용한 음성인식 보청 시스템의 사용예를 도시한 도면이다.
보시는 바와 같이, 음성을 녹음하여 못 들은 부분을 구간 재생하는 것을 설명하고 있다. 즉, 난청인이 '어디 가는 버스인가요?'라고 질문했을 때, 버스 기사가 '초지동 가는 버스입니다.'라고 답변한다. 이때, 음성인식기도 오류가 나서 '초이롱 가는 버스입니다.'라고 표시하고, 난청인의 귀로도 잘 못 들었을 경우에는 잘 못들은 부분을 손가락 터치로 드래그하거나 선택하여 반복 재생함으로써 난청인의 이해력을 높일 수 있다.
100 : 마이크
200 : 휴대용 단말기
210 : 음성입력부
220 : 청력손실 측정부
221 : 순음청력검사
222 : 어음명료도검사
223 : 청력특성DB
230 : 음성인식처리부
231 : 잡음제거
232 : 음성감지
233 : 음성인식
240 : 음성 증폭 처리부
241 : 음성증폭
242 : 음성저장
243 : 음성DB
244 : 음성정보DB
250 : 유저인터페이스부
251 : 메뉴선택
252 : 화면출력
260 : 음성출력부
300 : 이어폰

Claims (21)

  1. 음성을 입력하는 음성입력장치;
    소리를 감지해서 음성인지를 분석한 후, 음성이면 음성인식기능을 실행시켜 음성을 텍스트로 변환하며 휴대용 단말기 화면에 상기 텍스트를 출력하고,
    상기 음성과 상기 음성의 프레임정보와 상기 텍스트정보를 연동해서 저장하며,
    사용자가 선택한 특정 음성 구간을 사용자의 청력 특성에 맞게 증폭하여 출력하는 휴대용 단말기;
    상기 휴대용 단말기에 인가되는 음성을 출력하는 이어폰;
    를 포함하는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템.
  2. 제 1항에 있어서,
    상기 휴대용 단말기는, 음성입력부, 청력손실 측정부, 음성인식처리부, 음성증폭 처리부, 유저 인터페이스부, 음성출력부로 구성되는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템.
  3. 제 2항에 있어서,
    상기 음성입력부는, 외부마이크나 휴대단말기 내부 마이크에서 전달된 아날로그 신호를 디지털신호로 변환키는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템.
  4. 제 2항에 있어서,
    상기 청력손실 측정부는, 사용자의 청력(청감)손실을 순음청력검사와 어음명료도검사를 통해서 테스트하여, 사용자의 청력(청감)손실값을 청력특성정보DB에 저장하는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템.
  5. 제 2항에 있어서,
    상기 음성인식 처리부는, 음성입력부에 입력된 음성신호를 전달받아, 잡음제거, 음성감지, 음성인식 기능을 수행하며,음성인식 기능에 의해서 텍스트화된 정보는 음성정보DB에 저장하는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템.
  6. 제 2항에 있어서,
    상기 음성증폭 처리부는, 사용자의 청력특성정보DB를 참고하여 음성증폭 기능을 수행하고, 상기 음성은 음성저장기능에 의해 음성DB에 저장되는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템.
  7. 제 2항에 있어서,
    상기 유저 인터페이스부는 청력손실 측정부를 호출하여 청력측정을 할 수 있는 기능을 구비하고, 음성이 입력되면 음성인식 처리부를 호출하여 음성을 텍스트로 전환하여 화면상에 표시하며, 상기 텍스트로 표현된 음성의 일부 구간 또는 전 구간을 선택하여 해당 구간의 음성을 다시 듣기 할 수 있으며, 상기 다시 듣기의 경우 사용자의 청력특성에 맞게 증폭하여 휴대용 단말기의 스피커나 휴대용 단말기와 연결된 이어폰을 통해서 사용자의 귀로 음성을 전달하는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템.
  8. 제 1항에 있어서,
    상기 휴대용 단말기는, 사용자의 청감손실을 기록하는 프로그램을 구비하며, 상기 청감손실 테스트에의한 청감손실값으로 구성된 사용자의 청력 특성정보를 저장하는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템.
  9. 제 1항에 있어서,
    상기 휴대용 단말기는, 소리를 감지해서 음성인지를 분석한 후, 음성이면 음성인식기능을 실행시켜 음성을 텍스트로 변환하며 휴대용 단말기 화면에 상기 텍스트를 출력하고, 상기 음성과 상기 음성의 프레임정보와 상기 음성의 텍스트정보를 연동해서 저장하며, 사용자가 선택한 특정 음성 구간을 사용자의 청력 특성에 맞게 증폭하여 출력하는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템.
  10. 제 1항에 있어서,
    상기 휴대용 단말기는, 소리를 감지해서 음성인지를 분석한 후, 음성이면 음성인식기능을 실행시켜 음성을 텍스트로 변환하며 휴대용 단말기 화면에 상기 텍스트를 출력하고, 상기 음성과 상기 음성의 프레임정보와 상기 음성의 텍스트정보를 연동해서 저장하며, 특정 텍스트 구간에 대한 음성출력 요구에 따라 해당 음성구간을 액세스하여 사용자의 청력 특성에 맞게 증폭하는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템.
  11. 제 1항에 있어서,
    상기 휴대용 단말기는, 소리를 감지해서 음성인지를 분석한 후, 음성이면 음성인식기능을 실행시켜 음성을 텍스트로 변환하며 휴대용 단말기 화면에 상기 텍스트를 출력하고, 상기 음성을 일정한 프레임으로 나눈 음성 프레임구간에서, 상기 음성을 음성인식하여 텍스트로 변환한 각 어절의 시작 시간(프레임)과 끝 시간(프레임)을 기록하여, 특정 어절(텍스트 정보)에 대한 음성출력 요구에 따라 해당 어절구간의 음성프레임만 액세스하여 사용자의 청력 특성에 맞게 증폭하여 출력하는 것을 특징으로 휴대용 단말기를 이용한 음성인식 보청 시스템.

  12. 제 1항에 있어서,
    상기 이어폰은, 상기 휴대용 단말기에 인가되는 특정 텍스트 정보에 대한 음성을 출력하는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템.
  13. 음성을 입력하는 1단계,
    소리를 감지해서 음성인지 분석하는 2단계,
    음성이면 음성인식기능을 실행시켜 음성을 텍스트로 변환하여 휴대용 단말기 화면에 상기 텍스트를 출력하는 3단계,
    상기 음성과 상기 음성의 프레임정보와 상기 음성의 텍스트정보를 연동해서 저장하는 4단계,
    사용자가 선택한 특정 음성 구간을 사용자의 청력 특성에 맞게 증폭하여 출력하는 5단계,
    상기 휴대용 단말기에 인가되는 음성을 이어폰으로 출력하는 6단계;
    를 포함하는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템의 운용방법.
  14. 제 13항에 있어서,
    상기 음성과 상기 음성의 프레임정보와 상기 음성의 텍스트정보를 연동해서 저장하는 4단계는, 상기 음성을 일정한 프레임으로 나눈 음성 프레임구간에서, 상기 음성을 음성인식하여 텍스트로 변환한 각 어절의 시작 시간(프레임)과 끝 시간(프레임)을 기록하여, 특정 어절(텍스트 정보)에 대한 음성출력 요구에 따라 해당 어절구간의 음성프레임만 액세스하여 사용자의 청력 특성에 맞게 증폭하여 출력하는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템의 운용방법.
  15. 제 13항에 있어서,
    사용자가 선택한 특정 음성 구간을 사용자의 청력 특성에 맞게 증폭하여 출력하는 5단계,
    청감손실값에 의해 손상된 청력만큼 증폭시키거나, 청감손실보상공식을 이용하여 손실된 청력의 일정 부분을 증폭시키거나, 특정 주파수대역의 시프트나 압축방법에 의해서 소리를 증폭시키는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템의 운용방법.

  16. 제 13항에 있어서,
    사용자가 선택한 특정 음성 구간을 사용자의 청력 특성에 맞게 증폭하여 출력하는 5단계는,
    특정 텍스트 구간에 대한 음성출력 요구에 따라 해당 음성구간을 액세스하여 사용자의 청력 특성에 맞게 증폭하여 출력하는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템의 운용방법.
  17. 제 13항에 있어서,
    상기 휴대용 단말기에 인가되는 음성을 이어폰으로 출력하는 6단계는,
    상기 휴대용 단말기에 인가되는 특정 텍스트 정보에 대한 음성을 이어폰으로 출력하는 휴대용 단말기를 이용한 음성인식 보청 시스템의 운용방법.
  18. 사용자의 청력을 측정하여 청력특성정보 DB에 저장하는 1단계,
    마이크로 음성이 감지되면, 상기 음성을 인식하여 휴대용 단말기 화면에 출력하고, 음성은 음성DB에 저장하고, 상기 음성의 프레임정보와 상기 음성의 텍스트정보는
    음성정보DB에 저장하고, 상기 음성을 청력특성DB를 참조하여, 음성증폭하는 2단계;
    상기 음성의 음성인식 결과가 사용자로부터 오인식으로 판단되면,
    사용자가 오인식된 부분을 선택하고, 상기 선택된 오인식된 텍스트 구간정보를 음성DB와 음성정보DB에서 선택하여, 음성구간 재생 및 음성증폭하는 3단계,
    를 포함하는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템의 운용방법.
  19. 제 18항에 있어서,
    상기 1단계는
    사용자의 청력(청감)손실을 순음청력검사와 어음명료도검사를 통해서 테스트하여, 사용자의 청력(청감)손실값을 청력특성정보DB에 저장하는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템의 운용방법.

  20. 제 18항에 있어서,
    상기 2단계는
    상기 음성을 인식하여 상기 음성의 텍스트를 휴대용 단말기 화면에 출력하고, 상기음성의 텍스트를 음성증폭할 때에, 현재 재생되는 음성구간에 해당하는 텍스트를 어절단위로 색상이나 크기, 두께 등으로 표시하여, 현재 어느 구간에서 재생되고 있는지 확인할 수 있는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템의 운용방법.

  21. 제 18항에 있어서, 상기 3단계는
    상기 사용자가 오인식된 부분을 선택할 때, 어절 단위로 선택하여, 상기 선택된 오인식된 어절들의 텍스트 구간정보를 음성DB와 음성정보DB에서 선택하여, 음성구간 재생 및 음성증폭하는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템의 운용방법.






KR1020110142901A 2011-05-01 2011-12-27 휴대 단말기를 이용한 음성인식 보청 시스템 및 그것의 운영방법 KR20120124351A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110142901A KR20120124351A (ko) 2011-05-01 2011-12-27 휴대 단말기를 이용한 음성인식 보청 시스템 및 그것의 운영방법
KR1020120035878A KR20130075624A (ko) 2011-12-27 2012-04-06 휴대 단말기를 이용한 음성인식 보청 시스템 및 그것의 운영방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110041257 2011-05-01
KR1020110142901A KR20120124351A (ko) 2011-05-01 2011-12-27 휴대 단말기를 이용한 음성인식 보청 시스템 및 그것의 운영방법

Publications (1)

Publication Number Publication Date
KR20120124351A true KR20120124351A (ko) 2012-11-13

Family

ID=47509797

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020110142901A KR20120124351A (ko) 2011-05-01 2011-12-27 휴대 단말기를 이용한 음성인식 보청 시스템 및 그것의 운영방법
KR1020120035878A KR20130075624A (ko) 2011-12-27 2012-04-06 휴대 단말기를 이용한 음성인식 보청 시스템 및 그것의 운영방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020120035878A KR20130075624A (ko) 2011-12-27 2012-04-06 휴대 단말기를 이용한 음성인식 보청 시스템 및 그것의 운영방법

Country Status (1)

Country Link
KR (2) KR20120124351A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640448A (zh) * 2020-06-03 2020-09-08 山西见声科技有限公司 基于语音增强的视听辅助方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102009593B1 (ko) * 2018-01-22 2019-08-09 숭실대학교산학협력단 화자 분석 기술을 이용한 개인화 음성 인식 장치 및 방법, 상기 방법을 수행하기 위한 기록 매체

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640448A (zh) * 2020-06-03 2020-09-08 山西见声科技有限公司 基于语音增强的视听辅助方法及系统

Also Published As

Publication number Publication date
KR20130075624A (ko) 2013-07-05

Similar Documents

Publication Publication Date Title
JP6931819B2 (ja) 音声処理装置、音声処理方法及び音声処理プログラム
KR101068227B1 (ko) 명료도 향상장치와 이를 이용한 음성출력장치
CN107948869B (zh) 音频处理方法、装置、音响系统及存储介质
JP5716595B2 (ja) 音声補正装置、音声補正方法及び音声補正プログラム
KR20110090066A (ko) 청력을 검사하는 휴대용 음원재생장치 및 이를 수행하는 방법
JP2016535305A (ja) 自閉症における言語処理向上のための装置
KR20150018727A (ko) 청각 기기의 저전력 운용 방법 및 장치
US20190348066A1 (en) Signal processing apparatus, signal processing method, and storage medium
CN111355841A (zh) 基于智能手机的听力辅助方法、装置、计算机设备
JP2009178783A (ja) コミュニケーションロボット及びその制御方法
JP2012083746A (ja) 音処理装置
CN110996308A (zh) 声音播放设备及其控制方法、控制装置和可读存储介质
KR101676018B1 (ko) 출력되는 음원 신호를 보정하는 음원재생장치 및 이를 수행하는 방법
KR20120124351A (ko) 휴대 단말기를 이용한 음성인식 보청 시스템 및 그것의 운영방법
JP2024001353A (ja) ヘッドホン、および音響信号処理方法、並びにプログラム
KR20110018829A (ko) 청력을 검사하는 휴대용 음원재생장치 및 이를 수행하는 방법
KR20130130325A (ko) 휴대 단말기를 이용한 음성인식 보청 시스템 및 그것의 운영방법
CN115022767A (zh) 耳机降风噪方法、装置、耳机及计算机可读存储介质
WO2008075305A1 (en) Method and apparatus to address source of lombard speech
CN113473304A (zh) 啸叫声抑制方法、装置、耳机及存储介质
KR102350890B1 (ko) 휴대용 청력검사장치
KR20210158020A (ko) 청력 역치를 고려한 어음 청력 검사음 생성 장치, 방법 및 프로그램
JP5812932B2 (ja) 音声聴取装置とその方法とプログラム
CN110623677A (zh) 仿真听力校正的设备与仿真听力校正的方法
US20230239617A1 (en) Ear-worn device and reproduction method