KR20130130325A - Speech recognition hearing aid system using mobile phone and its application method thereof - Google Patents
Speech recognition hearing aid system using mobile phone and its application method thereof Download PDFInfo
- Publication number
- KR20130130325A KR20130130325A KR1020120054039A KR20120054039A KR20130130325A KR 20130130325 A KR20130130325 A KR 20130130325A KR 1020120054039 A KR1020120054039 A KR 1020120054039A KR 20120054039 A KR20120054039 A KR 20120054039A KR 20130130325 A KR20130130325 A KR 20130130325A
- Authority
- KR
- South Korea
- Prior art keywords
- voice
- hearing
- portable terminal
- text
- user
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000006870 function Effects 0.000 claims abstract description 34
- 206010011878 Deafness Diseases 0.000 claims abstract description 30
- 208000016354 hearing loss disease Diseases 0.000 claims abstract description 30
- 230000010370 hearing loss Effects 0.000 claims abstract description 29
- 231100000888 hearing loss Toxicity 0.000 claims abstract description 29
- 230000003321 amplification Effects 0.000 claims abstract description 19
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000012360 testing method Methods 0.000 claims description 7
- 238000012074 hearing test Methods 0.000 claims description 5
- 238000011017 operating method Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 2
- 238000007906 compression Methods 0.000 claims description 2
- 208000032041 Hearing impaired Diseases 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72475—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users
- H04M1/72478—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users for hearing-impaired users
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/70—Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/74—Details of telephonic subscriber devices with voice recognition means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Neurosurgery (AREA)
- Otolaryngology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Quality & Reliability (AREA)
- Telephone Function (AREA)
Abstract
Description
본 발명은 휴대 단말기를 이용한 음성인식 보청 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 음성을 인식하여 텍스트로 표시하고, 상기 음성 및 음성의 구간정보를 사용자의 청력 특성에 맞게 증폭하여 출력할 수 있도록 하여 보다 효과적으로, 시청각적으로 보청 기능을 수행하도록 하는 휴대 단말기를 이용한 음성인식 보청 시스템 및 그것의 운영방법에 관한 것이다.
The present invention relates to a voice recognition hearing aid system and a method using a mobile terminal, and more particularly, to recognize a voice and display it as text, and to amplify and output the section information of the voice and voice according to the hearing characteristics of a user. The present invention relates to a voice recognition hearing aid system using a mobile terminal and to a method of operating the same, to perform a hearing aid function more effectively.
1930년대 진공관을 이용한 보청기 개발 이후, 기술자들은 보청기 소형화와 소형화된 상태에서 원하는 만큼의 출력을 낼 수 있는 소형 배터리의 개발에 주력하여 왔다. 그 결과 어떠한 전기, 전자 분야보다 먼저 보청기에 트랜지스터를 적용하였으며 현재의 고집적 회로 증폭기를 이용하여 소형 보청기에서 보다 양질의 증폭 출력을 얻을 수 있도록 기술을 축적하여 왔다.Since the development of hearing aids using vacuum tubes in the 1930s, technicians have focused on the development of small batteries that can produce as many outputs as they want in miniaturizing and miniaturizing hearing aids. As a result, transistors were applied to hearing aids before any electrical and electronic field, and technology has been accumulated to obtain better amplification output in small hearing aids using current integrated circuit amplifiers.
현재 보청기는 경도나 중도 난청의 경우에는 혜택을 볼 수 있으나, 중고도난청 이상, 즉, 고도난청, 심도난청자에게는 고주파수 영역의 소리를 거의 인식하지 못하기 때문에 보청기 착용의 효과가 매우 적다.
Currently, hearing aids may benefit from mild or moderate hearing loss, but hearing aids are rarely worn because they are hardly aware of sounds in the high frequency range.
본 발명은 상기한 문제점을 해결하기 위하여 제안된 것으로서, 본 발명의 목적은 음성인식기능과 보청기능을 상보적으로 결합시킴으로써, 불완전한 보청 기능을 음성인식기가 보완하고, 불완전한 음성인식 기능을 보청기가 보완하도록 하여, 청각장애자가 시청각적으로 음성을 텍스트로 보고, 귀로도 증폭하여 들을 수 있도록 하여 입력 음성에 대한 이해력을 상승시킬 수 있는 휴대 단말기를 이용한 음성인식 보청 시스템 및 그것의 운영방법을 제공하기 위한 것이다.
The present invention has been proposed to solve the above problems, an object of the present invention by complementarily combining the voice recognition function and the hearing aid function, the voice recognizer to compensate for the incomplete hearing function, the hearing aid complements the incomplete voice recognition function In order to provide a voice recognition hearing system using a mobile terminal capable of improving the understanding of the input voice by allowing the hearing impaired to see the audio visually and amplify it by the ear, and to provide a method of operating the same. will be.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따른 휴대 단말기를 이용한 음성인식 보청 시스템은 음성을 입력하는 음성입력장치; 소리를 감지해서 음성인지를 분석한 후, 음성이면 음성인식기능을 실행시켜 음성을 텍스트로 변환하며 휴대용 단말기 화면에 상기 텍스트를 출력하고, 상기 음성과 상기 음성의 프레임정보와 상기 텍스트정보를 연동해서 저장하며, 사용자가 선택한 특정 음성 구간을 사용자의 청력 특성에 맞게 증폭하여 출력하는 휴대용 단말기; 상기 휴대용 단말기에 인가되는 음성을 출력하는 이어폰;을 포함한다.
Voice recognition hearing aid system using a portable terminal according to a feature of the present invention for achieving the above object is a voice input device for inputting voice; After detecting the sound and analyzing whether it is a voice, if it is a voice, the voice recognition function is executed to convert the voice into text and output the text on the screen of the mobile terminal, and the frame information and the text information of the voice and the voice are interlocked. A portable terminal configured to store and amplify and output a specific voice section selected by the user according to a hearing characteristic of the user; And earphones for outputting a voice applied to the portable terminal.
또한, 본 발명의 특징에 따른 휴대 단말기를 이용한 음성인식 보청 시스템의 운용방법은, 음성을 입력하는 1단계; 소리를 감지해서 음성인지 분석하는 2단계; 음성이면 음성인식기능을 실행시켜 음성을 텍스트로 변환하여 휴대용 단말기 화면에 상기 텍스트를 출력하는 3단계; 상기 음성과 상기 음성의 프레임정보와 상기 음성의 텍스트정보를 연동해서 저장하는 4단계; 사용자가 선택한 특정 음성 구간을 사용자의 청력 특성에 맞게 증폭하여 출력하는 5단계; 상기 휴대용 단말기에 인가되는 음성을 이어폰으로 출력하는 6단계;를 포함한다.
In addition, the operating method of the voice recognition hearing aid system using a portable terminal according to a feature of the present invention, the first step of inputting a voice; Detecting a sound to analyze whether it is voice; Executing voice recognition to convert the voice into text and outputting the text on the screen of the portable terminal if the voice is spoken; Storing the voice, frame information of the voice, and text information of the voice in association with each other; 5 steps of amplifying and outputting a specific voice section selected by the user according to the hearing characteristics of the user; And outputting the voice applied to the portable terminal to the earphone.
또한, 본 발명의 특징에 따른 휴대 단말기를 이용한 음성인식 보청 시스템의 운용방법은, 사용자의 청력을 측정하여 청력특성정보 DB에 저장하는 1단계; 마이크로 음성이 감지되면, 상기 음성을 인식하여 휴대용 단말기 화면에 출력하고, 음성은 음성DB에 저장하고, 상기 음성의 프레임정보와 상기 음성의 텍스트정보는 음성정보DB에 저장하고, 상기 음성을 청력특성DB를 참조하여, 음성증폭하는 2단계; 상기 음성의 음성인식 결과가 사용자로부터 오인식으로 판단되면, 사용자가 오인식된 부분을 선택하고, 상기 선택된 오인식된 텍스트 구간정보를 음성DB와 음성정보DB에서 선택하여, 음성구간 재생 및 음성증폭하는 3단계;를 포함한다.
In addition, the operating method of the voice recognition hearing aid system using a portable terminal according to a feature of the present invention, the first step of measuring the user's hearing to store in the hearing characteristics information DB; When the micro voice is detected, the voice is recognized and output on the screen of the portable terminal, the voice is stored in the voice DB, the frame information of the voice and the text information of the voice are stored in the voice information DB, and the voice has a hearing characteristic. Referring to a DB, two steps of amplifying voice; If the voice recognition result of the voice is determined to be a mistaken recognition from the user, the user selects a part that is misunderstood, and selects the selected misrecognized text section information from the voice DB and the voice information DB, three steps of reproducing and amplifying the voice section It includes;
이와 같은 본 발명의 실시예에 따르면, 음성을 텍스트화하여 눈으로 보고, 증폭하여 귀로 들을 수 있어서 시청각적으로 보청능력을 향상시키는 효과가 있다.According to the exemplary embodiment of the present invention, the voice can be visualized by the text, the amplification can be heard by the ear, and the hearing-affective ability is improved.
또한, 본 발명의 실시예에 따르면, 소리를 감지해서 음성인지를 분석한 후, 음성이면 음성인식기능을 실행시켜 음성을 텍스트로 변환하며 휴대용 단말기 화면에 상기 텍스트를 출력하고, 상기 음성과 상기 음성의 프레임정보와 상기 텍스트정보를 연동해서 저장하며, 특정 텍스트 정보에 대한 음성출력 요구에 따라 해당 음성구간을 액세스하여 증폭함으로써, 화자에게 다시 반복해서 말을 해줄 것을 요청하지 않고, 휴대 단말기에 저장된 음성을 언제든지 증폭하여 들을 수 있다.
In addition, according to an embodiment of the present invention, after detecting the sound to analyze whether the voice, if the voice to execute the voice recognition function to convert the voice to text and output the text on the screen of the portable terminal, the voice and the voice The frame information and the text information are interlocked, and the voice section is accessed and amplified according to a voice output request for specific text information, thereby not asking the speaker to speak again and again. You can amplify and listen at any time.
도 1은 본 발명의 실시예에 따른 휴대 단말기를 이용한 음성인식 보청 시스템의 구성을 도시한 도면이다.
도 2은 본 발명의 실시예에 따른 휴대 단말기를 이용한 음성인식 보청 시스템의 운용방법 절차를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 휴대 단말기를 이용한 음성인식 보청 시스템에서 특정 텍스트 정보에 대한 음성구간 출력을 위한 상호관계를 도시화한 도면이다.
도 4는 본 발명의 실시예에 따른 휴대 단말기를 이용한 음성인식 보청 시스템의 소리인식 보청앱 구동화면을 도시한 도면이다.
도 5는 본 발명의 실시예에 따른 휴대 단말기를 이용한 음성인식 보청 시스템의 효용성을 도시한 도면이다.
도 6은 본 발명의 실시예에 따른 휴대 단말기를 이용한 음성인식 보청 시스템의 사용예를 도시한 도면이다.
도 7은 본 발명의 실시예에 따른 휴대 단말기를 이용한 음성인식 보청 시스템의 사용예를 도시한 도면이다.1 is a view showing the configuration of a voice recognition hearing system using a mobile terminal according to an embodiment of the present invention.
2 is a flowchart illustrating a method of operating a voice recognition hearing system using a mobile terminal according to an embodiment of the present invention.
3 is a diagram illustrating a correlation for outputting a speech section for specific text information in a speech recognition hearing system using a portable terminal according to an exemplary embodiment of the present invention.
4 is a view illustrating a sound recognition hearing aid driving screen of a voice recognition hearing aid system using a mobile terminal according to an embodiment of the present invention.
5 is a view showing the effectiveness of the voice recognition hearing aid system using a mobile terminal according to an embodiment of the present invention.
6 is a diagram illustrating an example of using a voice recognition hearing system using a mobile terminal according to an embodiment of the present invention.
7 is a diagram illustrating an example of using a voice recognition hearing system using a mobile terminal according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세하게 설명하면 다음과 같다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art to which the present invention pertains can easily carry out the embodiments.
본 발명은 여러 가지 상이한 형태로 구현될 수 있으므로, 여기에서 설명하는 실시예에 한정되지 않으며, 도면에서 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략하였다. Since the present invention can be implemented in various different forms, the present invention is not limited to the exemplary embodiments described herein, and parts not related to the description are omitted in the drawings in order to clearly describe the present invention.
도 1은 본 발명의 실시예에 따른 휴대 단말기를 이용한 음성인식 보청 시스템의 구성을 도시한 도면이다.1 is a view showing the configuration of a voice recognition hearing system using a mobile terminal according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명은 음성입력장치(100)와 휴대용 단말기(200) 및 음성출력장치(300)를 포함한다.As shown in FIG. 1, the present invention includes a
음성입력장치(100)는 휴대용 단말기 내부에 포함된 마이크를 사용하는 경우에는 별도로 필요없지만, 휴대용 단말기 내부 마이크보다 고사양의 마이크가 필요할 경우에는 외부마이크(100)를 휴대용 단말기(200)에 연결하게 된다.The
휴대용 단말기(200)는 음성입력부(210), 청력손실 측정부(220), 음성인식 처리부(230), 음성증폭 처리부(240), 유저 인터페이스부(250), 음성출력부(260)으로 구성된다.The
음성입력부(210)은 외부마이크나 휴대단말기 내부 마이크에서 전달된 아날로그 신호를 디지털신호로 변환시킨 후, 청력손실 측정부(220)에서 사용자의 청력(청감)손실을 순음청력검사(221)와 어음명료도검사(222)를 통해서 테스트하여, 사용자의 청력(청감)손실값을 청력특성정보DB(223)에 저장한다.The
또한, 음성입력부(210)에 입력된 음성신호를 음성인식 처리부(230)로 전달하여 잡음제거(231), 음성감지(232), 음성인식(233) 기능을 수행한다. 잡음제거(231) 및 음성감지(232), 음성인식(233) 기능의 구현을 위해서 기존에 알려진 다양한 알고리즘을 사용할 수 있다. 음성인식(233) 기능에 의해서 텍스트화된 정보는 음성정보DB(244)에 저장한다.In addition, the voice signal input to the
음성인식 처리부(230)를 거친 음성은 음성증폭 처리부(240)에서 사용자의 청력특성정보DB를 참고하여 음성증폭(241)기능을 수행하고, 상기 음성은 음성저장(242)기능에 의해서 음성DB에 저장된다.The voice that has passed through the
유저 인터페이스부(250)는 메뉴선택(251), 화면출력(252) 기능으로 구성되어 있으며, 메뉴선택(251)의 세부 기능은 다시듣기, 청력측정, 불러오기, 볼륨조절 등의 기능을 수행한다. The
유저 인터페이스부(250)에서는 음성이 입력되면 음성인식 처리부(230)를 호출하여 음성을 텍스트로 전환하여 화면상에 표시하며, 상기 텍스트로 표현된 음성의 일부 구간 또는 전 구간을 선택하여 해당 구간의 음성을 다시 듣기 할 수 있으며, 상기 다시 듣기의 경우 사용자의 청력특성에 맞게 증폭하여 휴대용 단말기의 스피커나 휴대용 단말기와 연결된 이어폰을 통해서 사용자의 귀로 음성을 전달한다.When a voice is input, the
상기 유저 인터페이스부(250)에서는 청력손실 측정부(220)을 호출하여 청력을 측정할 수도 있고, 이전에 저장된 음성 및 해당 음성의 텍스트 정보를 불러와서 다시 재생할 수 있으며, 휴대용 단말기의 스피커나 이어폰에서의 음성출력의 볼륨을 조절할 수도 있다.The
이와 같이, 상기 휴대용 단말기(200)는 소리를 감지해서 음성인지를 분석한 후, 음성이면 음성인식기능을 실행시켜 음성을 텍스트로 변환하며 휴대용 단말기 화면에 상기 텍스트를 출력하고, 상기 음성과 상기 음성의 프레임정보와 상기 음성의 텍스트정보를 연동해서 저장하며, 사용자가 선택한 특정 음성 구간(주파수 대역)을 사용자의 청력 특성에 맞게 증폭하여 출력할 수 있다.As described above, the
또한, 상기 휴대용 단말기(200)는 사용자의 청감손실을 기록하는 프로그램을 구비하며, 상기 청감손실 테스트에의한 청감손실값으로 구성된 사용자의 청력 특성정보를 저장할 수 있다.In addition, the
상기 휴대용 단말기(200)는 소리를 감지해서 음성인지를 분석한 후, 음성이면 음성인식기능을 실행시켜 음성을 텍스트로 변환하며 휴대용 단말기 화면에 상기 텍스트를 출력하고, 상기 음성과 상기 음성의 프레임정보와 상기 음성의 텍스트정보를 연동해서 저장하며, 사용자가 선택한 음성 구간을 사용자의 청력 특성에 맞게 증폭하여 출력하며, 특정 텍스트 구간에 대한 음성출력 요구에 따라 해당 음성구간을 액세스하여 증폭할 수 있다.The
또한, 상기 음성을 일정한 프레임으로 나눈 음성 프레임구간에서, 상기 음성을 음성인식하여 텍스트로 변환한 각 어절의 시작 시간(프레임)과 끝 시간(프레임)을 기록하여, 특정 어절(텍스트 정보)에 대한 음성출력 요구에 따라 해당 어절구간의 음성프레임만 액세스하여 사용자의 청력 특성에 맞게 증폭하여 출력할 수 있다.In addition, in a voice frame section in which the voice is divided into a predetermined frame, a start time (frame) and an end time (frame) of each word in which the voice is recognized and converted into text are recorded, and a specific word (text information) is recorded. According to the voice output request, only the audio frame of the word section can be accessed and amplified according to the hearing characteristics of the user.
그리고, 상기 음성출력장치(이어폰)는, 상기 휴대용 단말기에 인가되는 특정 텍스트 정보에 대한 음성을 출력할 수 있다.
The voice output device (earphone) may output a voice for specific text information applied to the portable terminal.
도 2는 본 발명의 실시예에 따른 휴대 단말기를 이용한 음성인식 보청 시스템의 운용방법 절차를 나타낸 도면이다.2 is a flowchart illustrating a method of operating a voice recognition hearing system using a mobile terminal according to an embodiment of the present invention.
먼저, 음성이 입력되면, 잡음을 제거하고, 음성을 감지해서 음성인지 분석한다.First, when a voice is input, it removes noise and detects the voice to analyze whether it is voice.
음성으로 분석되면, 음성인식에 의해 음성을 텍스트(Text)로 변환하며 휴대용 단말기상의 화면에 텍스트를 출력하게 된다.If the voice is analyzed, the voice is converted into text by voice recognition and the text is output on the screen of the portable terminal.
음성인식 후, 음성을 파일로 음성DB에 저장하며, 상기 음성의 프레임정보와 상기과 음성의 텍스트 정보를 연동해서 음성정보DB에 저장한다.After the voice recognition, the voice is stored in the voice DB as a file, and the frame information of the voice and the text information of the voice are interlocked and stored in the voice information DB.
그 후, 사용자가 선택한 특정 음성 구간(주파수 대역)을 청력특정DB를 참조하여, 사용자의 청력 특성에 맞게 증폭하여 휴대용 단말기 내부 스피커 또는 휴대용 단말기와 연결된 이어폰으로 음성을 출력하게 된다.Thereafter, the specific voice section (frequency band) selected by the user is amplified according to the hearing characteristics of the user by referring to the hearing-specific DB, and the voice is output to the speaker inside the portable terminal or the earphone connected to the portable terminal.
마이크를 통해서 입력된 음성을 음성인식 후, 휴대용 단말기상에 표시된 상기 음성의 텍스트가 오인식으로 판단되면 휴대용 단말기가 제공하는 손가락 터치인식에 의한 드래깅 기능, 상하좌우 화살표 포인트의 글자 선택기능 등 다양한 텍스트 선택 기능에 의해서, 오인식된 텍스트를 선택하고, 상기 텍스트를 사용자의 청력특성에 맞게 음성증폭할 수도 있다.After voice recognition of the voice input through the microphone, if the text of the voice displayed on the portable terminal is judged to be mis-recognition, a variety of text selection, such as dragging function by finger touch recognition provided by the mobile terminal, letter selection function of the up, down, left and right arrow points The function may select a text which is misrecognized and amplify the text according to the hearing characteristics of the user.
또한, 휴대용 단말기는 순음청력검사, 어음명료도검사를 수행할 수 있으며, 사용자의 청력손실도를 청력특성DB에 저장할 수 있다. 이렇게 저장된 청력특성DB 값은 음성증폭시에 이용하게 된다.In addition, the portable terminal can perform a pure sound hearing test, speech intelligibility test, and can store the hearing loss of the user in the hearing characteristics DB. The stored hearing characteristic DB value is used for speech amplification.
입력된 음성과 상기 음성의 프레임정보, 텍스트 정보 연동은, 상기 음성을 일정한 프레임으로 나눈 음성 프레임구간에서, 상기 음성을 음성인식하여 텍스트로 변환한 각 어절의 시작 시간(프레임)과 끝 시간(프레임)을 기록하여, 특정 어절(텍스트 정보)에 대한 음성출력 요구에 따라 해당 어절구간의 음성프레임만 액세스하여 사용자의 청력 특성에 맞게 증폭할 수 있도록 한다.The input voice, the frame information of the voice, and the text information interworking may be performed in a voice frame section in which the voice is divided into a predetermined frame. ), And according to the voice output request for a specific word (text information), only the voice frame of the word section is accessed and amplified according to the hearing characteristics of the user.
또한, 음성증폭시에는 음성의 주파수 대역들을 사용자의 청력 특성에 맞게 증폭하여 출력하게 되는데, 이때, 청감손실값에 의해 손상된 청력만큼 증폭시키거나, 청감손실보상공식을 이용하여 손실된 청력의 일정 부분을 증폭시키거나, 특정 주파수대역의 시프트나 압축방법에 의해서 소리를 증폭시키게 된다.In addition, during speech amplification, the frequency bands of the voice are amplified and output according to the hearing characteristics of the user. At this time, amplified by the hearing loss value, or a portion of the hearing lost using the hearing loss compensation formula. Amplifies the sound or amplifies the sound by a shift or compression method of a specific frequency band.
또한, 음성증폭시에는, 특정 텍스트 구간에 대한 음성출력 요구에 따라 해당 음성구간을 액세스하여 사용자의 청력 특성에 맞게 증폭하여 출력하는 특징이 있다.In addition, during voice amplification, the voice section is accessed according to a voice output request for a specific text section, and amplified and output according to a user's hearing characteristics.
상기 휴대용 단말기에 연결된 이어폰은, 상기 휴대용 단말기에 인가되는 특정 텍스트 정보에 대한 음성을 이어폰으로 출력하게 된다.
The earphone connected to the portable terminal outputs a voice for specific text information applied to the portable terminal to the earphone.
도 3은 본 발명의 실시예에 따른 휴대 단말기를 이용한 음성인식 보청 시스템에서 특정 텍스트 정보에 대한 음성구간 출력을 위한 상호관계를 도시화한 도면이다.3 is a diagram illustrating a correlation for outputting a speech section for specific text information in a speech recognition hearing system using a portable terminal according to an exemplary embodiment of the present invention.
그림에 도시한 바와 같이, 사용자의 질문 (이 버스가 어디로 가죠?)에 대한 화자의 음성에 대해서 음성인식 처리 후, 상기 음성이 텍스트로 변환된 화자의 발화가 (금성동 갑니다)라고 할 때, 상기 음성을 프레임단위로 나누어서 구분하면, 크게는 (금성동), (갑니다)와 같이 2개의 구분할 수 있으며, 작게는 (금), (성), (동)처럼 음소단위로 상기 음성의 각 음소의 시작위치와 끝 위치에 해당하는 프레임 또는 시간 정보를 기록할 수 있다. As shown in the figure, when the speaker's voice is converted to text after speech recognition processing for the speaker's voice for the user's question (where does this bus go?), If the voice is divided into frame units, it can be divided into two large groups such as (Geumseong-dong) and (go), and the beginning of each phoneme of the above-mentioned voices in phoneme units such as (Gold), (Gast), and (East). Frame or time information corresponding to the position and end position can be recorded.
이렇게 상기 음성의 텍스트와 상기 텍스트의 프레임정보는 음성정보DB에 파일로 저장되어, 사용자의 요구에 의해 특정 텍스트 또는 특정 텍스트 구간정보(1어절 이상)가 선택되어 사용자의 청력 특성에 맞게 증폭할 수 있다.
In this way, the text of the voice and the frame information of the text are stored in a file in the voice information DB, and specific text or specific text section information (1 word or more) is selected by the user's request and amplified according to the hearing characteristics of the user. have.
도 4는 본 발명의 실시예에 따른 휴대 단말기를 이용한 음성인식 보청 시스템의 소리인식 보청앱 구동화면을 도시한 도면이다.4 is a view illustrating a sound recognition hearing aid driving screen of a voice recognition hearing aid system using a mobile terminal according to an embodiment of the present invention.
음성(화자의 발음)이 입력되어 음성인식 후, 텍스트로 휴대단말기상의 화면에 (금성동 가는 버스입니다)라고 텍스트로 표시된다. The voice (pronounced by the speaker) is input, and after voice recognition, the text is displayed on the screen of the mobile terminal as text (it is a bus to Geumseong-dong).
이때, 상기 음성이 증폭되어 스피커나 이어폰으로 들을 수 있으며, 또한 상기 음성은 저장되어 다시 듣기가 가능하다.At this time, the voice is amplified and can be heard through a speaker or earphone, and the voice can be stored and listened again.
음성증폭시 사용자의 청력 특성에 맞게 증폭하기 위해서 사용자의 청력을 측정할 수 있는 기능도 제공한다.It also provides a function to measure the user's hearing in order to amplify the user's hearing characteristics during voice amplification.
또한, 이전에 저장된 음성과 텍스트화된 정보도 불러와서 음성을 출력할 수 있으며, 현재 음성 출력 볼륨을 조정하는 기능도 제공한다.
It can also retrieve previously stored voices and textualized information to output voices, and provides the ability to adjust current voice output volume.
도 5는 본 발명의 실시예에 따른 휴대 단말기를 이용한 음성인식 보청 시스템의 효용성을 도시한 도면이다.5 is a view showing the effectiveness of the voice recognition hearing aid system using a mobile terminal according to an embodiment of the present invention.
입력된 음성을 음성인식 후, 음성을 글자로 변환하여, 이 글자 조합(문장)이 문맥적으로 의미가 정확하게 표시되고, 해당 음성을 증폭하여 들었을 때도 어느 정도 타당하다고 생각되면, 잘 듣지 못하는 청각장애자에게는 음성인식 기능이 청력을 보조해주는 훌륭한 도구가 된다.If the inputted voice is recognized after the voice recognition, the voice is converted into a character, and the letter combination (sentence) is displayed correctly in context, and if it is considered to be somewhat valid even when the amplified voice is amplified, the hearing impaired person cannot hear well. Voice recognition is a great tool for hearing.
즉, '2010 버스는 횡보도 가은 버스입니다' 라고 음성인식결과가 글자로 표시되면, 청각장애자는 잘 듣지 못해도 음성인식 기능에 의해서 삶의 품질이 향상된다.In other words, if the '2010 bus is a sideways bus,' the voice recognition results are displayed in letters, the hearing impaired people can improve their quality of life by the voice recognition function even if they do not hear well.
그러나, 음성인식 결과가 문맥적으로 타당하지 않을 경우에는, 잘 듣지 못하는 청각장애자의 청력에 일부 의존할 수 밖에 없고, 이때, 해당 음성의 증폭 기능이 음성인식 기능을 보조하게 된다.However, if the speech recognition result is not contextually appropriate, it is inevitably dependent on the hearing impairment of the hearing impaired, and the amplification function of the speech assists the speech recognition function.
즉, '2010버스는 횡보도 가은 버스입니다.' 라고 음성인식결과가 글자로 표시되면, 문맥적으로 타당하지 않은, 잘못된 음성인식 구간이라고 생각되는 '횡보도 가은' 부분을 선택하여, 사용자의 청력특성을 고려한 음성증폭을 실시하고, 청각장애자의 일부 남아 있는 청력으로 '횡보도 가은' 부분을 청각적으로 획득한 정보와 시작적으로 인지한 정보를 조합하여 청각장애자가 이를 연상함으로써, 보청기를 단독으로 사용했을 때, 또는 음성인식기를 단독으로 사용했을 때 보다 더 높은 보청 성능을 향상시킬 수 있음이 자명하다.
In other words, the '2010 bus is a sideways bus.' If the voice recognition result is displayed in letters, select the part of the lateral cross-section that is considered to be a false voice recognition section that is not contextually appropriate, and perform the voice amplification considering the user's hearing characteristics. Hearing impaired person combines the information obtained by hearing and the initial recognition of the part of 'crossroads with the remaining hearing', and when hearing aid is used alone or when speech recognition is used alone It is obvious that higher hearing aid performance can be improved.
도 6은 본 발명의 실시예에 따른 휴대 단말기를 이용한 음성인식 보청 시스템의 사용예를 도시한 도면이다.6 is a diagram illustrating an example of using a voice recognition hearing system using a mobile terminal according to an embodiment of the present invention.
휴대 단말기(스마트폰)가 음성인식과 증폭을 수행함으로써, 기존 하드웨어로 구성되어 있는 다양한 보청기능을 소프트웨어적으로 구현하여, 난청인에게 음성인식된 글자와 증폭된 음성을 전달하게 된다.By performing the voice recognition and amplification of the mobile terminal (smart phone), various hearing aid functions composed of existing hardware are implemented in software, thereby delivering the voice recognition letters and the amplified voice to the hearing impaired person.
즉, 난청인이 일반인에게 '초지동 가는 버스가 몇 번이죠?'라고 질문하며, 일반인이 '12번 버스 타세요'라고 대답했을 때, 휴대 단말기로 음성인식 후, 글자로 표시하고, 음성을 증폭하고 잡음을 제거하여 리시버를 통해서 난청인의 귀로 전달하게 된다.
In other words, when the hearing impaired person asks the general public how many buses do they go to ?, and when the general public replies 'Bus bus 12', the mobile terminal recognizes the voice, displays it in letters, and amplifies the voice. It removes the noise and passes it through the receiver to the hearing loss.
도 7은 본 발명의 실시예에 따른 휴대 단말기를 이용한 음성인식 보청 시스템의 사용예를 도시한 도면이다.7 is a diagram illustrating an example of using a voice recognition hearing system using a mobile terminal according to an embodiment of the present invention.
보시는 바와 같이, 음성을 녹음하여 못 들은 부분을 구간 재생하는 것을 설명하고 있다. 즉, 난청인이 '어디 가는 버스인가요?'라고 질문했을 때, 버스 기사가 '초지동 가는 버스입니다.'라고 답변한다. 이때, 음성인식기도 오류가 나서 '초이롱 가는 버스입니다.'라고 표시하고, 난청인의 귀로도 잘 못 들었을 경우에는 잘 못들은 부분을 손가락 터치로 드래그하거나 선택하여 반복 재생함으로써 난청인의 이해력을 높일 수 있다.
As you can see, it explains how to record the voice and play back the part that was not heard. In other words, when a deaf person asks, 'Where is the bus going?', The bus driver replies, 'It is a bus going to Choji-dong.' At this time, the voice recognition also shows an error because it is a bus that goes to Choilong, and if the hearing loss is not heard well, the part of the hearing loss can be dragged or selected with the touch of a finger to repeat the understanding. It can increase.
100 : 마이크
200 : 휴대용 단말기
210 : 음성입력부
220 : 청력손실 측정부
221 : 순음청력검사
222 : 어음명료도검사
223 : 청력특성DB
230 : 음성인식처리부
231 : 잡음제거
232 : 음성감지
233 : 음성인식
240 : 음성 증폭 처리부
241 : 음성증폭
242 : 음성저장
243 : 음성DB
244 : 음성정보DB
250 : 유저인터페이스부
251 : 메뉴선택
252 : 화면출력
260 : 음성출력부
300 : 이어폰100: microphone
200: portable terminal
210: voice input unit
220: hearing loss measurement unit
221: pure sound hearing test
222: Clear speech inspection
223: hearing characteristics DB
230: speech recognition processing unit
231: Noise Reduction
232: voice detection
233: voice recognition
240: voice amplification processing unit
241: voice amplification
242: Voice recording
243: voice DB
244: Voice Information DB
250: user interface unit
251: Menu selection
252: screen output
260: audio output unit
300: Earphone
Claims (21)
소리를 감지해서 음성인지를 분석한 후, 음성이면 음성인식기능을 실행시켜 음성을 텍스트로 변환하며 휴대용 단말기 화면에 상기 텍스트를 출력하고,
상기 음성과 상기 음성의 프레임정보와 상기 텍스트정보를 연동해서 저장하며,
사용자가 선택한 특정 음성 구간을 사용자의 청력 특성에 맞게 증폭하여 출력하는 휴대용 단말기;
상기 휴대용 단말기에 인가되는 음성을 출력하는 이어폰;
를 포함하는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템.
A voice input device for inputting voice;
After detecting the sound and analyzing whether it is a voice, if it is a voice, the voice recognition function is executed to convert the voice into text, and output the text on the screen of the portable terminal,
And interworking with the voice, frame information of the voice, and the text information.
A portable terminal for amplifying and outputting a specific voice section selected by a user according to a hearing characteristic of a user;
An earphone for outputting a voice applied to the portable terminal;
Voice recognition hearing aid system using a portable terminal comprising a.
상기 휴대용 단말기는, 음성입력부, 청력손실 측정부, 음성인식처리부, 음성증폭 처리부, 유저 인터페이스부, 음성출력부로 구성되는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템.
The method of claim 1,
The portable terminal includes a voice input unit, a hearing loss measuring unit, a voice recognition processing unit, a voice amplification processing unit, a user interface unit, and a voice output unit.
상기 음성입력부는, 외부마이크나 휴대단말기 내부 마이크에서 전달된 아날로그 신호를 디지털신호로 변환키는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템.
3. The method of claim 2,
The voice input unit, the voice recognition hearing aid system using a portable terminal, characterized in that for converting an analog signal transmitted from an external microphone or an internal microphone of a mobile terminal into a digital signal.
상기 청력손실 측정부는, 사용자의 청력(청감)손실을 순음청력검사와 어음명료도검사를 통해서 테스트하여, 사용자의 청력(청감)손실값을 청력특성정보DB에 저장하는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템.
3. The method of claim 2,
The hearing loss measuring unit uses the portable terminal, characterized in that the user's hearing (hearing) loss is tested through a pure sound hearing test and a speech intelligibility test, and stores the user's hearing (hearing) loss value in the hearing characteristic information DB. Voice recognition hearing system.
상기 음성인식 처리부는, 음성입력부에 입력된 음성신호를 전달받아, 잡음제거, 음성감지, 음성인식 기능을 수행하며,음성인식 기능에 의해서 텍스트화된 정보는 음성정보DB에 저장하는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템.
3. The method of claim 2,
The voice recognition processing unit receives a voice signal input to the voice input unit, performs noise reduction, voice detection, and voice recognition, and stores the textualized information by the voice recognition function in the voice information DB. Voice recognition hearing system using a portable terminal.
상기 음성증폭 처리부는, 사용자의 청력특성정보DB를 참고하여 음성증폭 기능을 수행하고, 상기 음성은 음성저장기능에 의해 음성DB에 저장되는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템.
3. The method of claim 2,
The voice amplification processing unit performs a voice amplification function by referring to the user's hearing characteristic information DB, and the voice is stored in the voice DB by a voice storage function.
상기 유저 인터페이스부는 청력손실 측정부를 호출하여 청력측정을 할 수 있는 기능을 구비하고, 음성이 입력되면 음성인식 처리부를 호출하여 음성을 텍스트로 전환하여 화면상에 표시하며, 상기 텍스트로 표현된 음성의 일부 구간 또는 전 구간을 선택하여 해당 구간의 음성을 다시 듣기 할 수 있으며, 상기 다시 듣기의 경우 사용자의 청력특성에 맞게 증폭하여 휴대용 단말기의 스피커나 휴대용 단말기와 연결된 이어폰을 통해서 사용자의 귀로 음성을 전달하는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템.3. The method of claim 2,
The user interface unit has a function to measure hearing loss by calling the hearing loss measuring unit, and when a voice is input, the voice recognition processing unit is called to convert the voice into text and display it on the screen. You can listen to the voice of the corresponding section by selecting some section or all sections, and in case of re-listening, amplify according to the hearing characteristics of the user and deliver the voice to the user's ear through the speaker of the portable terminal or the earphone connected to the portable terminal. Voice recognition hearing system using a portable terminal, characterized in that.
상기 휴대용 단말기는, 사용자의 청감손실을 기록하는 프로그램을 구비하며, 상기 청감손실 테스트에의한 청감손실값으로 구성된 사용자의 청력 특성정보를 저장하는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템.
The method of claim 1,
The portable terminal includes a program for recording a hearing loss of the user, and stores the hearing characteristic information of the user configured as a hearing loss value by the hearing loss test.
상기 휴대용 단말기는, 소리를 감지해서 음성인지를 분석한 후, 음성이면 음성인식기능을 실행시켜 음성을 텍스트로 변환하며 휴대용 단말기 화면에 상기 텍스트를 출력하고, 상기 음성과 상기 음성의 프레임정보와 상기 음성의 텍스트정보를 연동해서 저장하며, 사용자가 선택한 특정 음성 구간을 사용자의 청력 특성에 맞게 증폭하여 출력하는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템.
The method of claim 1,
The portable terminal detects a sound and analyzes whether it is a voice, and if it is a voice, executes a voice recognition function to convert the voice into a text and outputs the text on the screen of the portable terminal, and the frame information and the frame information of the voice and the voice. A voice recognition hearing system using a portable terminal, characterized in that the interlocked text information of the voice and amplified and output according to the user's hearing characteristics.
상기 휴대용 단말기는, 소리를 감지해서 음성인지를 분석한 후, 음성이면 음성인식기능을 실행시켜 음성을 텍스트로 변환하며 휴대용 단말기 화면에 상기 텍스트를 출력하고, 상기 음성과 상기 음성의 프레임정보와 상기 음성의 텍스트정보를 연동해서 저장하며, 특정 텍스트 구간에 대한 음성출력 요구에 따라 해당 음성구간을 액세스하여 사용자의 청력 특성에 맞게 증폭하는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템.
The method of claim 1,
The portable terminal detects a sound and analyzes whether it is a voice, and if it is a voice, executes a voice recognition function to convert the voice into a text and outputs the text on the screen of the portable terminal, and the frame information and the frame information of the voice and the voice. A voice recognition hearing system using a portable terminal, characterized in that the interlocking and storing text information of the voice, and amplified according to the hearing characteristics of the user by accessing the corresponding voice section according to the voice output request for a specific text section.
상기 휴대용 단말기는, 소리를 감지해서 음성인지를 분석한 후, 음성이면 음성인식기능을 실행시켜 음성을 텍스트로 변환하며 휴대용 단말기 화면에 상기 텍스트를 출력하고, 상기 음성을 일정한 프레임으로 나눈 음성 프레임구간에서, 상기 음성을 음성인식하여 텍스트로 변환한 각 어절의 시작 시간(프레임)과 끝 시간(프레임)을 기록하여, 특정 어절(텍스트 정보)에 대한 음성출력 요구에 따라 해당 어절구간의 음성프레임만 액세스하여 사용자의 청력 특성에 맞게 증폭하여 출력하는 것을 특징으로 휴대용 단말기를 이용한 음성인식 보청 시스템.
The method of claim 1,
The portable terminal detects a sound and analyzes whether it is a voice, and if it is a voice, executes a voice recognition function, converts the voice into a text, outputs the text on the screen of the portable terminal, and divides the voice into a predetermined frame. In this case, the start time (frame) and the end time (frame) of each word obtained by converting the voice into a text by voice recognition are recorded, and only the voice frame of the corresponding word section is required according to the voice output request for a specific word (text information). A voice recognition hearing system using a portable terminal, characterized in that the amplified output according to the hearing characteristics of the user by accessing.
상기 이어폰은, 상기 휴대용 단말기에 인가되는 특정 텍스트 정보에 대한 음성을 출력하는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템.
The method of claim 1,
The earphone is a voice recognition hearing system using a portable terminal, characterized in that for outputting a voice for a specific text information applied to the portable terminal.
소리를 감지해서 음성인지 분석하는 2단계,
음성이면 음성인식기능을 실행시켜 음성을 텍스트로 변환하여 휴대용 단말기 화면에 상기 텍스트를 출력하는 3단계,
상기 음성과 상기 음성의 프레임정보와 상기 음성의 텍스트정보를 연동해서 저장하는 4단계,
사용자가 선택한 특정 음성 구간을 사용자의 청력 특성에 맞게 증폭하여 출력하는 5단계,
상기 휴대용 단말기에 인가되는 음성을 이어폰으로 출력하는 6단계;
를 포함하는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템의 운용방법.
Step 1 to enter your voice,
Two steps to detect sound and analyze whether it is speech,
Step 3 to output the text on the screen of the portable terminal by converting the voice into text by executing a voice recognition function if the voice is spoken;
Step 4 of storing the voice and frame information of the voice and text information of the voice in association;
5 steps of amplifying and outputting a specific voice section selected by the user according to the hearing characteristics of the user,
Outputting a voice applied to the portable terminal to an earphone;
Operation method of the voice recognition hearing aid system using a portable terminal comprising a.
상기 음성과 상기 음성의 프레임정보와 상기 음성의 텍스트정보를 연동해서 저장하는 4단계는, 상기 음성을 일정한 프레임으로 나눈 음성 프레임구간에서, 상기 음성을 음성인식하여 텍스트로 변환한 각 어절의 시작 시간(프레임)과 끝 시간(프레임)을 기록하여, 특정 어절(텍스트 정보)에 대한 음성출력 요구에 따라 해당 어절구간의 음성프레임만 액세스하여 사용자의 청력 특성에 맞게 증폭하여 출력하는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템의 운용방법.
The method of claim 13,
In step 4 of storing the voice, the frame information of the voice, and the text information of the voice, the start time of each word in which the voice is recognized and converted into text in a voice frame section in which the voice is divided into a predetermined frame is performed. (Frame) and end time (frame) are recorded, and according to a voice output request for a specific word (text information), only the voice frame of the corresponding word section is accessed and amplified according to the hearing characteristics of the user. Operation method of voice recognition hearing aid system using terminal.
사용자가 선택한 특정 음성 구간을 사용자의 청력 특성에 맞게 증폭하여 출력하는 5단계,
청감손실값에 의해 손상된 청력만큼 증폭시키거나, 청감손실보상공식을 이용하여 손실된 청력의 일정 부분을 증폭시키거나, 특정 주파수대역의 시프트나 압축방법에 의해서 소리를 증폭시키는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템의 운용방법.
The method of claim 13,
5 steps of amplifying and outputting a specific voice section selected by the user according to the hearing characteristics of the user,
A portable terminal characterized by amplifying the hearing loss as a result of hearing loss, amplifying a portion of the hearing loss using a hearing loss compensation formula, or amplifying a sound by a shift or compression method of a specific frequency band. Operation Method of Voice Recognition Hearing Aid System.
사용자가 선택한 특정 음성 구간을 사용자의 청력 특성에 맞게 증폭하여 출력하는 5단계는,
특정 텍스트 구간에 대한 음성출력 요구에 따라 해당 음성구간을 액세스하여 사용자의 청력 특성에 맞게 증폭하여 출력하는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템의 운용방법.
The method of claim 13,
Step 5 of amplifying and outputting a specific voice section selected by the user according to the hearing characteristics of the user,
A method of operating a voice recognition hearing system using a portable terminal, characterized in that the voice section is accessed according to a voice output request for a specific text section and amplified according to the hearing characteristics of the user.
상기 휴대용 단말기에 인가되는 음성을 이어폰으로 출력하는 6단계는,
상기 휴대용 단말기에 인가되는 특정 텍스트 정보에 대한 음성을 이어폰으로 출력하는 휴대용 단말기를 이용한 음성인식 보청 시스템의 운용방법.
The method of claim 13,
In step 6 of outputting the voice applied to the portable terminal to the earphone,
Operating method of a voice recognition hearing aid system using a portable terminal for outputting a voice for a specific text information applied to the portable terminal to the earphone.
마이크로 음성이 감지되면, 상기 음성을 인식하여 휴대용 단말기 화면에 출력하고, 음성은 음성DB에 저장하고, 상기 음성의 프레임정보와 상기 음성의 텍스트정보는
음성정보DB에 저장하고, 상기 음성을 청력특성DB를 참조하여, 음성증폭하는 2단계;
상기 음성의 음성인식 결과가 사용자로부터 오인식으로 판단되면,
사용자가 오인식된 부분을 선택하고, 상기 선택된 오인식된 텍스트 구간정보를 음성DB와 음성정보DB에서 선택하여, 음성구간 재생 및 음성증폭하는 3단계,
를 포함하는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템의 운용방법.
1 step of measuring the user's hearing and storing it in the hearing characteristics information DB,
When the micro voice is detected, the voice is recognized and output on the screen of the portable terminal, the voice is stored in the voice DB, and the frame information of the voice and the text information of the voice are
Storing in the voice information DB and amplifying the voice with reference to the hearing characteristics DB;
If it is determined that the voice recognition result of the voice is mistaken by the user,
Selecting a part misidentified by the user, selecting the selected misrecognized text section information from the voice DB and the voice information DB, and reproducing and amplifying the voice section in three steps;
Operation method of the voice recognition hearing aid system using a portable terminal comprising a.
상기 1단계는
사용자의 청력(청감)손실을 순음청력검사와 어음명료도검사를 통해서 테스트하여, 사용자의 청력(청감)손실값을 청력특성정보DB에 저장하는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템의 운용방법.
19. The method of claim 18,
The first step is
Operation of a voice recognition hearing system using a portable terminal, characterized in that the user's hearing (hearing) loss is tested through the pure sound hearing test and speech intelligibility test, and the user's hearing loss is stored in the hearing characteristics information DB. Way.
상기 2단계는
상기 음성을 인식하여 상기 음성의 텍스트를 휴대용 단말기 화면에 출력하고, 상기음성의 텍스트를 음성증폭할 때에, 현재 재생되는 음성구간에 해당하는 텍스트를 어절단위로 색상이나 크기, 두께 등으로 표시하여, 현재 어느 구간에서 재생되고 있는지 확인할 수 있는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템의 운용방법.
19. The method of claim 18,
The second step is
Recognizing the voice and outputting the text of the voice on the screen of the portable terminal, when the voice text amplified, the text corresponding to the currently reproduced voice section is displayed in color, size, thickness, etc. in units of words, Operating method of the voice recognition hearing aid system using a portable terminal, characterized in that which section can be checked currently being played.
상기 사용자가 오인식된 부분을 선택할 때, 어절 단위로 선택하여, 상기 선택된 오인식된 어절들의 텍스트 구간정보를 음성DB와 음성정보DB에서 선택하여, 음성구간 재생 및 음성증폭하는 것을 특징으로 하는 휴대용 단말기를 이용한 음성인식 보청 시스템의 운용방법.
The method of claim 18, wherein the three steps
When the user selects a part that is misunderstood, by selecting in units of words, the portable terminal characterized in that the selected text section information of the selected misidentified words from the voice DB and the voice information DB to reproduce the voice section and amplify the voice section. Operation method of voice recognition hearing aid system using.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120054039A KR20130130325A (en) | 2012-05-22 | 2012-05-22 | Speech recognition hearing aid system using mobile phone and its application method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120054039A KR20130130325A (en) | 2012-05-22 | 2012-05-22 | Speech recognition hearing aid system using mobile phone and its application method thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20130130325A true KR20130130325A (en) | 2013-12-02 |
Family
ID=49980019
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120054039A KR20130130325A (en) | 2012-05-22 | 2012-05-22 | Speech recognition hearing aid system using mobile phone and its application method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20130130325A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180061245A (en) * | 2015-09-29 | 2018-06-07 | 푸지오 다츠 테크놀로지, 에스.엘. | Notification Device and Notification Method |
-
2012
- 2012-05-22 KR KR1020120054039A patent/KR20130130325A/en not_active Application Discontinuation
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180061245A (en) * | 2015-09-29 | 2018-06-07 | 푸지오 다츠 테크놀로지, 에스.엘. | Notification Device and Notification Method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6931819B2 (en) | Voice processing device, voice processing method and voice processing program | |
| CN103730122B (en) | Voice conversion device and method for converting user voice | |
| KR101068227B1 (en) | Clarity Improvement Device and Voice Output Device Using the Same | |
| CN107948869B (en) | Audio processing method, audio processing device, audio system, and storage medium | |
| JP5716595B2 (en) | Audio correction apparatus, audio correction method, and audio correction program | |
| KR20110090066A (en) | Portable sound source playing apparatus for testing hearing ability and method for performing thereof | |
| US11024330B2 (en) | Signal processing apparatus, signal processing method, and storage medium | |
| KR20150018727A (en) | Method and apparatus of low power operation of hearing assistance | |
| CN108257605B (en) | Multi-channel recording method and device and electronic equipment | |
| KR102350890B1 (en) | Portable hearing test device | |
| JP2009178783A (en) | Communication robot and its control method | |
| JPWO2008015800A1 (en) | Audio processing method, audio processing program, and audio processing apparatus | |
| US11367457B2 (en) | Method for detecting ambient noise to change the playing voice frequency and sound playing device thereof | |
| CN109246742B (en) | Automatic answering method for incoming call paging and mobile terminal | |
| KR101676018B1 (en) | Sound source playing apparatus for compensating output sound source signal and method of performing thereof | |
| CN113473304A (en) | Howling suppression method, howling suppression device, earphone and storage medium | |
| JP2024001353A (en) | Headphone, acoustic signal processing method, and program | |
| KR20120124351A (en) | speech recognition hearing aid system using mobile phone and its application method thereof | |
| KR20130130325A (en) | Speech recognition hearing aid system using mobile phone and its application method thereof | |
| KR20110018829A (en) | Portable sound source playing apparatus for testing hearing ability and method for performing thereof | |
| JP2011199698A (en) | Av equipment | |
| WO2008075305A1 (en) | Method and apparatus to address source of lombard speech | |
| JP4644876B2 (en) | Audio processing device | |
| KR102174270B1 (en) | Voice converting apparatus and Method for converting user voice thereof | |
| JP5812932B2 (en) | Voice listening device, method and program thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Withdrawal due to no request for examination |