KR20220004439A - System and method for analyzing nasalance multi-microphone - Google Patents
System and method for analyzing nasalance multi-microphone Download PDFInfo
- Publication number
- KR20220004439A KR20220004439A KR1020200082277A KR20200082277A KR20220004439A KR 20220004439 A KR20220004439 A KR 20220004439A KR 1020200082277 A KR1020200082277 A KR 1020200082277A KR 20200082277 A KR20200082277 A KR 20200082277A KR 20220004439 A KR20220004439 A KR 20220004439A
- Authority
- KR
- South Korea
- Prior art keywords
- microphone
- sound
- measuring
- analysis system
- pronunciation
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000004458 analytical method Methods 0.000 claims abstract description 62
- 230000001755 vocal effect Effects 0.000 claims description 32
- 238000005259 measurement Methods 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 8
- 239000012780 transparent material Substances 0.000 claims description 4
- 238000000926 separation method Methods 0.000 abstract description 10
- 239000012528 membrane Substances 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 210000003800 pharynx Anatomy 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 210000001260 vocal cord Anatomy 0.000 description 2
- 206010009269 Cleft palate Diseases 0.000 description 1
- 206010013952 Dysphonia Diseases 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000008140 language development Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4803—Speech analysis specially adapted for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/486—Bio-feedback
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/7445—Display arrangements, e.g. multiple display units
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R19/00—Electrostatic transducers
- H04R19/04—Microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2420/00—Details of connection covered by H04R, not provided for in its groups
- H04R2420/07—Applications of wireless loudspeakers or wireless microphones
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Signal Processing (AREA)
- Biomedical Technology (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Otolaryngology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Epidemiology (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Electrically Operated Instructional Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
아래의 실시예들은 비성도 측정 기술에 관한 것으로, 더욱 상세하게는 언어 재활이나 발성 연습에 필요한 비음과 구강음의 비 또는 비음의 양을 측정할 수 있는 다중마이크로폰을 이용한 비성도 분석 시스템 및 방법에 관한 것이다. The following embodiments relate to non-vocal measurement technology, and more specifically, to a non-vocal analysis system and method using a multi-microphone capable of measuring the nasal and oral sounds or the amount of nasal sounds required for speech rehabilitation or vocal practice. it's about
나조미터(nasometer)는 구개파열 등의 기능적인 비음 문제를 가진 성인 및 아동의 비성도(nasalance)를 측정하고 이를 치료하기 위한 피드백을 제공하는 목적으로 만들어진 장비이다. 기기에는 구강 마이크와 비강 마이크가 장착되어 있으며, 기기를 착용한 상태에서 특정 그림이나 문장을 읽어 소리를 내면 두 마이크의 음향에너지를 수집하여 비성도의 값이 산출되어 나온다. 이를 컴퓨터와 연결하여 결과 값을 기존에 내장되어 있는 규범적인 비성도의 값과 실시간으로 비교 가능하다.A nasometer is a device designed for the purpose of measuring nasalance in adults and children with functional nasal problems such as cleft palate and providing feedback for treatment. The device is equipped with an oral microphone and a nasal microphone, and when you read a specific picture or sentence while wearing the device and make a sound, the acoustic energy of the two microphones is collected and the value of specificity is calculated. By connecting this to a computer, the result value can be compared in real time with the pre-built normative non-sexuality value.
기존 나조미터 모델은 다음과 같은 문제점이 있다. 첫째, 기존의 모델은 입과 코 사이에 소리가 분리될 수 있도록 분리판을 사용하여 측정한다. 이는 사용자가 분리판의 접촉으로 불편할 수 있고 발성이 부자유스러우며 자욱이 남는 문제가 있다. 둘째, 현재 이 기기는 주로 병원이나 의료시설 같은 전문적인 가이드가 있는 곳에서 사용되고 있다. 이에 따라 개인이 독립적으로 사용하기에는 휴대성, 지속적인 피드백의 부재로 무리가 있다. 또한, 단순히 사용자의 비성도를 확인시키는 작업에 그침에 따라 사용자의 문제점을 지적하고 개선을 위한 방안 제시, 개선의 정도를 확인시켜주는 등 피드백이 부족하여 지속적인 치료를 위한 동기 유발이 되지 않는다.The existing nazometer model has the following problems. First, the existing model measures using a separator so that sound can be separated between the mouth and nose. This may be inconvenient for the user due to the contact of the separating plate, and there is a problem in that the voice is inconvenient and leaves a mark. Second, at present, this device is mainly used in places where there is a professional guide, such as a hospital or medical facility. Accordingly, it is difficult for an individual to use it independently due to the lack of portability and continuous feedback. In addition, as the task of simply confirming the user's non-sexuality is insufficient, feedback such as pointing out the user's problems, suggesting a plan for improvement, and confirming the degree of improvement is insufficient, thus not motivating the continuous treatment.
이러한 문제점을 보완하기 위하여 스마트 나조미터 시스템이 제안되었다. 이 기기는 사용자의 인중부위에 터치되지 않게 위치되는 분리판과 비음과 구강음 신호를 개별적으로 측정하는 2개의 마이크로 구성된다. 기존의 모델처럼 사용자의 인중 부위에 터치된 상태에서 측정된 음성신호의 비성치와 차이가 없도록 조정하는 알고리즘 포함하여 기존의 접촉하여 불편한 점을 해소하였다. 또한, 처리된 음성신호를 이용하여 사용자에게 피드백을 제공하는 기능성 게임 및 데이터베이스를 제공하여 편리성을 제공하였다. In order to supplement this problem, a smart nazometer system has been proposed. This device is composed of a separation plate positioned not to touch the user's pharynx and two microphones that individually measure nasal and oral sound signals. As in the previous model, the inconvenience of existing contact was solved by including an algorithm that adjusts so that there is no difference from the measured voice signal in the state of being touched on the user's pharynx. In addition, convenience was provided by providing a functional game and database that provide feedback to the user using the processed voice signal.
그러나, 종래의 스마트 나조미터 시스템은 입과 코 사이에 소리가 분리될 수 있는 분리판을 사용하여 소리를 분리하여 측정함에 따라 사용자가 분리판의 접촉으로 불편하고 자욱이 남으며, 발성이 부자유스러운 문제점이 있다. However, the conventional smart nazometer system uses a separating plate that can separate the sound between the mouth and the nose to separate and measure the sound, so the user is uncomfortable and leaves traces due to the contact of the separating plate, and there is a problem that voice is inconvenient. have.
한국공개특허 10-2018-0023853호는 이러한 나조미터 시스템에 관한 것으로, 공명 장애 환자의 측정 및 치료를 용이하게 하기 위한 시스템에 관한 기술을 기재하고 있다.Korean Patent Application Laid-Open No. 10-2018-0023853 relates to such a nazometer system, and describes a technology for a system for facilitating measurement and treatment of patients with resonance disorders.
실시예들은 다중마이크로폰을 이용한 비성도 분석 시스템 및 방법에 관하여 기술하며, 보다 구체적으로 분리막 없이도 여러 개의 마이크를 사용하여 소리의 위치에 따른 발음의 크기를 측정함으로써 분리막이 없어서 발성이 자유로우며 누구나 편리하게 이용할 수 있는 비성도 분석 기술을 제공한다. The embodiments describe a non-vocal analysis system and method using a multi-microphone, and more specifically, by measuring the size of pronunciation according to the location of a sound using several microphones without a separator, there is no separation membrane, so vocalization is free and anyone can conveniently Non-spontaneous analysis techniques that can be used are provided.
실시예들은 자소 단위의 발음에 대한 비음 측정 및 어휘나 문장을 연속적으로 발음할 때의 비음을 측정하여 정확한 발음을 발성하도록 도와줄 수 있는 다중마이크로폰을 이용한 비성도 분석 시스템 및 방법을 제공하는데 있다. Embodiments are to provide a non-voice analysis system and method using a multi-microphone that can help to produce accurate pronunciation by measuring nasal consonants for pronunciation in units of grapheme and for continuously pronouncing vocabulary or sentences.
일 실시예에 따른 다중마이크로폰을 이용한 비성도 분석 시스템은, 적어도 2개 이상의 마이크로폰으로 이루어져, 사용자의 인중 부위와 접촉되지 않고 소정 간격 이격되어 배치되는 다중마이크로폰; 및 상기 다중마이크로폰에서 측정한 소리를 비성도 측정 및 분석하여 디스플레이하는 비성도 분석부를 포함하고, 상기 다중마이크로폰을 통해 소리의 위치에 따른 발음 크기를 측정할 수 있다. A non-vocal analysis system using a multi-microphone according to an embodiment includes: a multi-microphone that is composed of at least two or more microphones and is spaced apart from each other by a predetermined distance without contacting the user's pharynx; and a non-vocal analysis unit that measures, analyzes, and displays the sound measured by the multi-microphone, and can measure the pronunciation level according to the location of the sound through the multi-microphone.
상기 다중마이크로폰은, 중심에 배치되는 기준(reference) 마이크로폰을 기준으로 선형 또는 원형으로 배열하여 위치에 따른 정확한 값을 획득할 수 있다. The multi-microphone may be arranged linearly or circularly based on a reference microphone disposed at the center to obtain an accurate value according to a position.
상기 다중마이크로폰은, 상기 적어도 2개 이상의 마이크로폰을 사용하여 분리판 없이 정상적인 비음과 구강음을 분리 측정하고, 이를 통해 비성도 측정 및 분석이 가능하다. The multi-microphone uses the at least two or more microphones to separately measure normal nasal and oral sounds without a separator, and through this, measurement and analysis of nasal vocalizations are possible.
상기 다중마이크로폰은, 주파수 위상 비교 방법을 사용하여 거리에 따른 음의 크기를 측정하여 소리의 소스에 대한 정보를 얻을 수 있다. The multi-microphone may obtain information about a sound source by measuring a sound level according to a distance using a frequency phase comparison method.
상기 비성도 분석부는, 자소 단위의 발음에 대한 비음 측정 또는 어휘나 문장을 연속적으로 발음할 때의 비음을 측정하여 실시간으로 출력 또는 디스플레이 함에 따라 정확한 발음을 도와줄 수 있다. The non-vocal analysis unit may assist in correct pronunciation by measuring nasal consonants for pronunciation in units of grapheme or measuring nasal consonants when continuously pronouncing vocabulary or sentences and outputting or displaying them in real time.
사용자의 머리에 고정되어 사용자의 얼굴의 전면에 소정간격 이격된 형태로 배치되는 투명 소재의 본체를 더 포함하고, 상기 다중마이크로폰은, 상기 본체에 사용자의 입과 소정 간격 이격되어 구성될 수 있다. It is fixed to the user's head and further includes a body made of a transparent material disposed on the front of the user's face to be spaced apart by a predetermined distance, the multi-microphone may be configured to be spaced apart from the user's mouth by a predetermined distance on the body.
상기 본체에 구성되어 VR 또는 AR을 이용하여 실시간으로 측정 결과를 디스플레이하는 디스플레이부를 더 포함할 수 있다. The main body may further include a display configured to display the measurement results in real time using VR or AR.
외부의 단말과 통신하는 무선 통신부를 더 포함하고, 상기 무선 통신부를 통해 상기 단말과 연동되어 실시간으로 측정 결과를 상기 단말에 디스플레이 할 수 있다. It may further include a wireless communication unit that communicates with an external terminal, and is interlocked with the terminal through the wireless communication unit to display a measurement result on the terminal in real time.
다른 실시예에 따른 다중마이크로폰을 이용한 비성도 분석 방법은, 적어도 2개 이상의 마이크로폰으로 이루어진 다중마이크로폰을 통해 소리를 측정하는 단계; 및 상기 다중마이크로폰에서 측정한 소리를 통해 비성도를 측정 및 분석하여 단말 또는 디스플레이부를 통해 디스플레이하는 단계를 포함하고, 상기 다중마이크로폰은, 사용자의 인중 부위와 접촉되지 않고 소정 간격 이격되어 배치되며, 소리의 위치에 따른 발음 크기를 측정할 수 있다. A non-voice analysis method using a multi-microphone according to another embodiment includes: measuring a sound through a multi-microphone including at least two or more microphones; and measuring and analyzing the non-voice through the sound measured by the multi-microphone, and displaying it through a terminal or a display unit, wherein the multi-microphone is spaced apart from the user's pharyngeal region without contacting the user's pharynx, and is spaced apart from the sound. It is possible to measure the pronunciation size according to the position of
상기 비성도를 측정 및 분석하여 단말 또는 디스플레이부를 통해 디스플레이하는 단계는, 자소 단위의 발음에 대한 비음 측정 또는 어휘나 문장을 연속적으로 발음할 때의 비음을 측정하여 실시간으로 출력 또는 디스플레이 함에 따라 정확한 발음을 도와줄 수 있다. The step of measuring and analyzing the nasality and displaying it through the terminal or the display unit includes measuring the nasal sound for pronunciation in units of grapheme or measuring the nasal sound when continuously pronouncing a vocabulary or sentence and outputting or displaying the correct pronunciation in real time. can help
실시예들에 따르면 분리막 없이도 여러 개의 마이크를 사용하여 소리의 위치에 따른 발음의 크기를 측정함으로써 분리막이 없어서 발성이 자유로우며 누구나 편리하게 이용할 수 있는, 다중마이크로폰을 이용한 비성도 분석 시스템 및 방법을 제공할 수 있다. According to the embodiments, a non-vocal analysis system and method using a multi-microphone are provided that measure the size of pronunciation according to the location of a sound using several microphones without a separation membrane, so that speech is free and anyone can conveniently use it without a separation membrane can do.
실시예들에 따르면 자소 단위의 발음에 대한 비음 측정 및 어휘나 문장을 연속적으로 발음할 때의 비음을 측정하여 정확한 발음을 발성하도록 도와줄 수 있는 다중마이크로폰을 이용한 비성도 분석 시스템 및 방법을 제공할 수 있다.According to embodiments, it is possible to provide a non-voice analysis system and method using a multi-microphone capable of measuring nasal consonants for pronunciation in units of grapheme and measuring nasal consonants when continuously pronouncing a vocabulary or sentence, thereby helping to utter an accurate pronunciation. can
또한, 실시예들에 따르면 기존의 나조미터는 비성도를 측정하거나 재활 치료 도구로서 사용되고 있으나, 누구나 일반적으로 사용할 수 있도록 개선하였고, 특히 비음 교정에 유용하게 사용될 수 있는 다중마이크로폰을 이용한 비성도 분석 시스템 및 방법을 제공할 수 있다.In addition, according to embodiments, the existing nazometer is used as a tool for measuring nasal vocal tract or as a rehabilitation treatment tool, but it has been improved so that anyone can use it in general, and in particular, a non-vocal analysis system using a multi-microphone that can be usefully used for nasal correction and methods may be provided.
도 1은 일 실시예에 따른 마이크의 위치를 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 6+1 마이크 시스템의 예를 나타내는 도면이다.
도 3은 일 실시예에 따른 거리에 따른 음의 구분 방법을 설명하기 위한 도면이다.
도 4a 및 도 4b는 일 실시예에 따른 발음 주파수에 따른 에너지 파장을 나타내는 도면이다.
도 5는 일 실시예에 따른 다중마이크로폰을 이용한 비성도 분석 시스템을 나타내는 도면이다.
도 6은 일 실시예에 따른 다중마이크로폰을 이용한 비성도 분석 방법을 나타내는 흐름도이다.
도 7은 일 실시예에 따른 다중마이크로폰을 이용한 비성도 분석 시스템의 예를 나타내는 도면이다.
도 8은 일 실시예에 따른 소리의 소스에 따른 위치를 나타낸다.
도 9a 및 도 9b은 일 실시예에 따른 비음이 있을 때와 없을 때의 에너지 파형을 나타낸다. 1 is a view for explaining a position of a microphone according to an embodiment.
2 is a diagram illustrating an example of a 6+1 microphone system according to an embodiment.
3 is a diagram for describing a method of classifying sounds according to distance according to an exemplary embodiment.
4A and 4B are diagrams illustrating energy wavelengths according to sound frequencies according to an exemplary embodiment.
5 is a diagram illustrating a non-vocal analysis system using a multi-microphone according to an embodiment.
6 is a flowchart illustrating a non-voice analysis method using a multi-microphone according to an exemplary embodiment.
7 is a diagram illustrating an example of a non-voice analysis system using a multi-microphone according to an embodiment.
8 illustrates a location according to a sound source according to an exemplary embodiment.
9A and 9B show energy waveforms with and without a nasal sound according to an exemplary embodiment.
이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.Hereinafter, embodiments will be described with reference to the accompanying drawings. However, the described embodiments may be modified in various other forms, and the scope of the present invention is not limited by the embodiments described below. In addition, various embodiments are provided in order to more completely explain the present invention to those of ordinary skill in the art. The shapes and sizes of elements in the drawings may be exaggerated for clearer description.
나조미터(nasometer)는 컴퓨터와 연결하여 정량적으로 비성치를 측정하고 분석하는 장치로, 일반적으로 많이 사용되고 있다. 기존의 나조미터는 입과 코 사이에 소리가 분리될 수 있는 분리판을 사용하여 소리를 분리하여 측정하였으나, 이는 사용자가 분리판의 접촉으로 불편할 수 있고, 발성이 부자유스러우며 자욱이 남는 문제가 있다.A nazometer is a device that quantitatively measures and analyzes specific characteristics in connection with a computer, and is generally used a lot. Existing nazometers use a separation plate that can separate the sound between the mouth and nose to separate and measure the sound, but this may cause inconvenience to the user due to the contact of the separation plate, and there is a problem in that the vocalization is inconvenient and a trace remains.
아래의 실시예들은 언어 재활이나 발성 연습에 필요한 비음과 구강음의 비 또는 비음의 양을 측정할 수 있는 비성도 측정 시스템으로, 분리막 없이도 여러 개의 마이크를 사용하여 소리의 위치에 따른 발음의 크기를 측정함으로써 분리막이 없어서 발성이 자유로우며 누구나 편리하게 이용할 수 있다. 특히, 발성 연습을 하여야 하는 초창기에 정확한 발음을 도와줄 수 있으며, 자소 단위의 발음에 대한 비음 측정 및 어휘나 문장을 연속적으로 발음할 때의 비음을 측정하여 정확한 발음을 발성하도록 도와줄 수 있다. 또한, 디스플레이하는 장치를 통해 피드백하며, 정확하게 발음된 정보와 비교 및 도움 정보를 제공할 수 있다. 특히, 호흡과 관련하여 발성 연습을 할 수 있고, 구강음의 절대적 크기에 대한 발성 측정도 가능하다.The following examples are non-vocal measurement systems that can measure the nasal and oral sounds or the amount of nasal sounds required for speech rehabilitation or vocal practice. By measuring, there is no separation membrane, so vocalization is free and anyone can use it conveniently. In particular, it can help correct pronunciation in the early stage when vocalization practice is required, and can help to pronounce accurate pronunciation by measuring nasal consonants for pronunciation in units of grapheme and nasal consonants when continuously pronouncing vocabulary or sentences. In addition, it is possible to provide feedback through a display device, accurately pronounced information, and comparison and assistance information. In particular, it is possible to practice vocalization in relation to breathing, and it is also possible to measure the vocalization of the absolute size of oral sounds.
도 1은 일 실시예에 따른 마이크의 위치를 설명하기 위한 도면이다. 1 is a view for explaining a position of a microphone according to an embodiment.
도 1을 참조하면, 중심에 마이크를 기준(reference)으로 하여 선형 또는 원형으로 배열하여 위치에 따른 정확한 값을 얻을 수 있도록 배치할 수 있다. 여기서, 비음 측정을 위해 적어도 2개 이상의 마이크를 구성할 수 있고, 구강음 측정을 위해 적어도 2개 이상의 마이크를 구성할 수 있으며, 정밀한 추적을 위해 더 많은 마이크를 구성할 수 있다. 그러나 이를 처리하기 위한 시스템의 비용이 높아져 최적의 상황을 찾을 필요가 있다.Referring to FIG. 1 , a microphone may be arranged at the center in a linear or circular form as a reference to obtain an accurate value according to a position. Here, at least two or more microphones may be configured for nasal sound measurement, at least two or more microphones may be configured for oral sound measurement, and more microphones may be configured for precise tracking. However, the cost of the system to deal with it increases, so it is necessary to find the optimal situation.
도 2는 일 실시예에 따른 6+1 마이크 시스템의 예를 나타내는 도면이다.2 is a diagram illustrating an example of a 6+1 microphone system according to an embodiment.
도 2에 도시된 바와 같이, 대표적으로 인공지능 마이크에서 상품화되어 있는 6+1 마이크 시스템이 있다. 이를 이용하면 저렴한 비용으로 일 실시예에 따른 다중마이크로폰을 이용한 비성도 분석 시스템의 구현이 가능하다.As shown in FIG. 2 , there is a 6+1 microphone system that is typically commercialized in artificial intelligence microphones. Using this, it is possible to implement a non-voice analysis system using a multi-microphone according to an embodiment at a low cost.
도 3은 일 실시예에 따른 거리에 따른 음의 구분 방법을 설명하기 위한 도면이다. 3 is a diagram for describing a method of classifying sounds according to distance according to an exemplary embodiment.
도 3을 참조하면, 주파수 위상 비교 방법을 사용하여 거리에 따른 음의 크기를 측정함으로써 사운드 소스(A, B)에 대한 정보를 얻을 수 있다.Referring to FIG. 3 , information on the sound sources A and B may be obtained by measuring a sound level according to a distance using a frequency phase comparison method.
도 4a 및 도 4b는 일 실시예에 따른 발음 주파수에 따른 에너지 파장을 나타내는 도면이다. 4A and 4B are diagrams illustrating energy wavelengths according to sound frequencies according to an exemplary embodiment.
도 4a 및 도 4b에 도시된 바와 같이, 발음 주파수에 따라 에너지의 파장이 다르므로, 사운드 소스의 위치가 달라질 수 있다. 이에 대한 보정 방법이 필요하다.As shown in FIGS. 4A and 4B , since the wavelength of energy is different according to the sound frequency, the position of the sound source may be changed. A correction method is needed for this.
도 5는 일 실시예에 따른 다중마이크로폰을 이용한 비성도 분석 시스템을 나타내는 도면이다. 5 is a diagram illustrating a non-vocal analysis system using a multi-microphone according to an embodiment.
도 5를 참조하면, 일 실시예에 따른 다중마이크로폰을 이용한 비성도 분석 시스템은 다중마이크로폰(510) 및 비성도 분석부(520)를 포함하여 이루어질 수 있다. 실시예에 따라 다중마이크로폰을 이용한 비성도 분석 시스템은 외부의 단말과 통신하는 무선 통신부를 더 포함할 수 있다.Referring to FIG. 5 , a non-voice analysis system using a multi-microphone according to an embodiment may include a multi-microphone 510 and a
다중마이크로폰(510)은 적어도 2개 이상의 마이크로폰으로 이루어져, 사용자의 인중 부위와 접촉되지 않고 소정 간격 이격되어 배치될 수 있다. 이러한 다중마이크로폰(510)을 통해 소리의 위치에 따른 발음 크기를 측정할 수 있다. The multi-microphone 510 is composed of at least two or more microphones, and may be disposed to be spaced apart from each other by a predetermined distance without contacting the user's pharyngeal region. Through the multi-microphone 510, the pronunciation level according to the location of the sound can be measured.
다중마이크로폰(510)은 중심에 배치되는 기준(reference) 마이크로폰을 기준으로 선형 또는 원형으로 배열하여 위치에 따른 정확한 값을 획득할 수 있다. 앞에서 설명한 바와 같이, 예를 들어 다중마이크로폰(510)은 6+1 마이크 시스템으로 구성될 수 있다.The multi-microphone 510 may be arranged linearly or circularly based on a reference microphone disposed at the center to obtain an accurate value according to a position. As described above, for example, the multi-microphone 510 may be configured as a 6+1 microphone system.
다중마이크로폰(510)은 적어도 2개 이상의 마이크로폰을 사용하여 분리판 없이 정상적인 비음과 구강음을 분리 측정하고, 이를 통해 비성도 측정 및 분석이 가능하다. 여기서, 다중마이크로폰(510)은 비음 측정을 위해 적어도 2개 이상의 마이크를 구성하는 것이 바람직하며, 구강음 측정을 위해 적어도 2개 이상의 마이크를 구성하는 것이 바람직하다. 정밀한 추적을 위해 보다 많은 마이크를 구성할 수 있으나, 이를 처리하기 위한 시스템의 비용이 높아지므로 최적의 상황을 찾아 구현할 수 있다.The multi-microphone 510 uses at least two or more microphones to separately measure normal nasal sounds and oral sounds without a separator, and through this, measurement and analysis of nasal vocalizations are possible. Here, the multi-microphone 510 preferably comprises at least two or more microphones for nasal sound measurement, and preferably comprises at least two or more microphones for oral sound measurement. More microphones can be configured for precise tracking, but the cost of the system to handle this increases, so it is possible to find and implement the optimal situation.
다중마이크로폰(510)은 주파수 위상 비교 방법을 사용하여 거리에 따른 음의 크기를 측정하여 소리의 소스에 대한 정보를 얻을 수 있다. The multi-microphone 510 may obtain information on the source of the sound by measuring the loudness according to the distance by using the frequency phase comparison method.
비성도 분석부(520)는 다중마이크로폰(510)에서 측정한 소리를 비성도 측정 및 분석하여 디스플레이할 수 있다. 비성도 분석부(520)는 제어 시스템으로 구성되어 다중마이크로폰(510)에서 측정한 소리를 비성도 측정 및 분석할 수 있으며, 이후 별도의 디스플레이부 또는 단말을 통해 측정 및 분석 결과를 디스플레이 할 수 있다. 또한, 비성도 분석부(520)는 디스플레이부 또는 단말에 어플리케이션 등을 통해 구현되어 다중마이크로폰(510)에서 측정한 소리를 비성도 측정 및 분석 후 측정 및 분석 결과를 디스플레이 할 수 있다. The
이와 같이 비성도 분석부(520)는 디스플레이부를 포함할 수 있으며, 예컨대 디스플레이 장치 또는 단말을 포함하거나 디스플레이 장치 또는 단말에 포함될 수 있다. 여기서, 단말은 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook) 등이 포함될 수 있다. 그러나, 본 명세서에 기재된 실시예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.As such, the
이러한 비성도 분석부(520)는 자소 단위의 발음에 대한 비음 측정 또는 어휘나 문장을 연속적으로 발음할 때의 비음을 측정하여 실시간으로 출력 또는 디스플레이 함에 따라 정확한 발음을 도와줄 수 있다. The
한편, 일 실시예에 따른 다중마이크로폰을 이용한 비성도 분석 시스템은 사용자의 머리에 고정되어 얼굴의 전면에 배치되는 마스크 형태로 구현될 수 있다. On the other hand, the non-vocal analysis system using the multi-microphone according to an embodiment may be implemented in the form of a mask fixed to the user's head and disposed on the front of the face.
다시 말하면, 일 실시예에 따른 다중마이크로폰을 이용한 비성도 분석 시스템은 사용자의 머리에 고정되어 사용자의 얼굴의 전면에 소정간격 이격된 형태로 배치되는 투명 소재의 본체를 더 포함할 수 있다. 이 경우, 다중마이크로폰(510)은 본체에 사용자의 입과 소정 간격 이격되어 구성될 수 있다. In other words, the non-vocal analysis system using the multi-microphone according to an embodiment may further include a body made of a transparent material fixed to the user's head and disposed on the front of the user's face in a spaced apart form. In this case, the multi-microphone 510 may be configured to be spaced apart from the user's mouth by a predetermined distance on the main body.
본체는 머리띠처럼 머리에 고정시켜 앞으로 쓸어 내리는 슬라이드 형태로 이루어질 수 있다. 예를 들어, 본체는 투명 소재의 페이스 마스크, 페이스쉴드(face shield), 투명 썬캡 등의 형태로 구성될 수 있다. The body may be fixed to the head like a headband and made in the form of a slide that is swept forward. For example, the body may be configured in the form of a face mask, a face shield, a transparent sun cap, etc. made of a transparent material.
이러한 본체에는 다중마이크로폰(510)이 구성될 수 있고, 실시예에 따라 별도의 디스플레이부가 구성될 수 있다. A multi-microphone 510 may be configured in this body, and a separate display unit may be configured according to an embodiment.
디스플레이부는 본체에 구성되어 VR 또는 AR을 이용하여 실시간으로 측정 결과를 디스플레이할 수 있다. 여기서, 디스플레이부는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.The display unit may be configured in the main body to display the measurement results in real time using VR or AR. Here, the display unit is a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), a flexible display (flexible display) , a three-dimensional display (3D display), may include at least one of an electronic ink display (e-ink display).
또한, 다중마이크로폰을 이용한 비성도 분석 시스템은 외부의 단말과 통신하는 무선 통신부를 더 포함할 수 있다. 무선 통신부를 통해 단말과 연동되어 실시간으로 측정 결과를 단말에 디스플레이 할 수 있다. 이 때, 무선 통신부는 블루투스 등으로 이루어질 수 있다.In addition, the non-voice analysis system using the multi-microphone may further include a wireless communication unit for communicating with an external terminal. It is possible to display the measurement result on the terminal in real time by interworking with the terminal through the wireless communication unit. In this case, the wireless communication unit may be formed of Bluetooth or the like.
도 6은 일 실시예에 따른 다중마이크로폰을 이용한 비성도 분석 방법을 나타내는 흐름도이다. 6 is a flowchart illustrating a non-voice analysis method using a multi-microphone according to an exemplary embodiment.
도 6을 참조하면, 일 실시예에 따른 다중마이크로폰을 이용한 비성도 분석 방법은, 적어도 2개 이상의 마이크로폰으로 이루어진 다중마이크로폰을 통해 소리를 측정하는 단계(S110), 및 다중마이크로폰에서 측정한 소리를 통해 비성도를 측정 및 분석하여 단말 또는 디스플레이부를 통해 디스플레이하는 단계(S120)를 포함하여 이루어질 수 있다. 다중마이크로폰은 사용자의 인중 부위와 접촉되지 않고 소정 간격 이격되어 배치되며, 소리의 위치에 따른 발음 크기를 측정할 수 있다. Referring to FIG. 6 , the non-vocal analysis method using a multi-microphone according to an embodiment includes the steps of measuring a sound through a multi-microphone composed of at least two or more microphones (S110), and through the sound measured by the multi-microphone This may include measuring and analyzing the non-voice and displaying it through a terminal or a display unit (S120). The multi-microphone does not come into contact with the user's pharyngeal region and is spaced apart from each other by a predetermined distance, and can measure the sound level according to the location of the sound.
여기서, 비성도를 측정 및 분석하여 단말 또는 디스플레이부를 통해 디스플레이하는 단계는, 자소 단위의 발음에 대한 비음 측정 또는 어휘나 문장을 연속적으로 발음할 때의 비음을 측정하여 실시간으로 출력 또는 디스플레이 함에 따라 정확한 발음을 도와줄 수 있다. Here, the step of measuring and analyzing the nasality and displaying it through the terminal or the display unit is to measure the nasal sound for pronunciation of the grapheme unit or to measure the nasal sound when continuously pronouncing a vocabulary or sentence and output or display it in real time. Can help with pronunciation.
일 실시예에 따른 다중마이크로폰을 이용한 비성도 분석 방법은 앞에서 설명한 일 실시예에 따른 다중마이크로폰을 이용한 비성도 분석 시스템을 통해 수행될 수 있다. The non-vocal analysis method using the multi-microphone according to an embodiment may be performed through the non-vocal analysis system using the multi-microphone according to the embodiment described above.
예를 들어, 단계(S110)에서 적어도 2개 이상의 마이크로폰으로 이루어진 다중마이크로폰을 통해 소리를 측정할 수 있고, 단계(S120)에서 비성도 분석부는 다중마이크로폰에서 측정한 소리를 통해 비성도를 측정 및 분석하여 단말 또는 디스플레이부를 통해 디스플레이할 수 있다. 일 실시예에 따른 다중마이크로폰을 이용한 비성도 분석 방법은 앞에서 설명한 일 실시예에 따른 다중마이크로폰을 이용한 비성도 분석 시스템과 그 설명이 중복되어 상세한 설명은 생략하기로 한다. For example, in step S110 , a sound may be measured through a multi-microphone composed of at least two or more microphones, and in step S120 , the non-vocal analysis unit measures and analyzes the non-voice through the sound measured by the multi-microphone. Thus, it can be displayed through a terminal or a display unit. The non-vocal analysis method using the multi-microphone according to an embodiment overlaps the description of the non-vocal analysis system using the multi-microphone according to the above-described embodiment, and thus a detailed description thereof will be omitted.
일 실시예에 따른 다중마이크로폰을 이용한 비성도 분석 시스템 및 방법은 스마트 나조미터 시스템에서는 사용되는 분리판 자체를 제거하고 인중 부위와 접촉되지 않고 떨어진 2개 이상의 마이크(다중마이크로폰)를 사용하여 소리의 위치에 따른 발음의 크기를 측정할 수 있는 최신 디지털 기술을 이용함으로써, 보다 정확하고 섬세한 분석이 가능하다. 특히, 발성 연습을 하여야 하는 언어발달의 결정적인 시기에 정확한 발음을 도와주는 시스템으로, 자소 단위의 발음에 대한 비음 측정 및 어휘나 문장을 연속적으로 발음할 때의 비음을 측정하여 정확한 발음을 도와줄 수 있다.The non-voice analysis system and method using multiple microphones according to an embodiment removes the separation plate itself used in the smart nazometer system and uses two or more microphones (multi-microphones) separated from the pharyngeal region to position the sound By using the latest digital technology that can measure the size of the pronunciation, more accurate and detailed analysis is possible. In particular, it is a system that helps correct pronunciation at a critical time in language development where vocal practice is required. have.
도 7은 일 실시예에 따른 다중마이크로폰을 이용한 비성도 분석 시스템의 예를 나타내는 도면이다. 7 is a diagram illustrating an example of a non-voice analysis system using a multi-microphone according to an embodiment.
도 7을 참조하면, 일 실시예에 따른 다중마이크로폰(720)을 이용한 비성도 분석 시스템은 머리띠처럼 머리에 고정시켜 앞으로 쓸어 내리는 슬라이드 형태의 본체(710)로 이루어지며, 본체(710)에는 다중마이크로폰(720) 및 디스플레이부(730) 중 적어도 어느 하나 이상을 포함하여 이루어질 수 있다. 이에 따라 비성도 분석 시스템은 VR/AR을 이용하여 실시간으로 측정 결과를 디스플레이로 확인 가능하다. 또한, 디스플레이 없는 블루투스를 포함한 비성도 분석 시스템으로 구성하여 스마트 폰 등의 단말에 디스플레이 할 수도 있다.Referring to FIG. 7 , the non-vocal analysis system using the multi-microphone 720 according to an embodiment consists of a slide-
일 실시예에 따른 다중마이크로폰(720)을 이용한 비성도 분석 시스템은 2개 이상의 다중마이크로폰(720)을 사용하여 분리판이 별도로 없어도 정상적인 비음과 구강음을 분리 측정할 수 있고, 이를 이용하여 비성도 측정 및 분석할 수 있다. 이 때, 빔포밍 기술을 사용하여 사운드 소스를 분리하고, 각각의 에너지의 크기를 측정하고 디스플레이 할 수 있다. The nasal vocal cord analysis system using the multi-microphone 720 according to an embodiment can separately measure the normal nasal sound and the oral sound without a separate plate by using two or more multi-microphone 720, and use this to measure the nasal vocal cords. and analysis. In this case, the sound source may be separated using the beamforming technology, and the magnitude of each energy may be measured and displayed.
이와 같이, 실시예들에 따르면 기존의 분리막이 없어서 정확한 발음을 유도할 수 있고, 이를 통해 보다 정밀하게 평가할 수 있다. 필요 시 다중마이크로폰(720) 보드에 작은 분리막을 설치할 수 있다. 이 때, 작은 분리막은 얼굴과는 떨어져 있어야 한다.As such, according to embodiments, since there is no existing separation membrane, accurate pronunciation can be induced, and through this, it is possible to evaluate more precisely. If necessary, a small separator can be installed on the multi-microphone 720 board. At this time, the small separator should be separated from the face.
측정된 정보는 블루투스를 이용하여 휴대폰에 출력하는 어플리케이션 형태 또는 일체형으로 구성된 디스플레이부(730)를 통해 실시간으로 디스플레이를 출력할 수 있다. The measured information may be displayed in real time through the
자소음을 발음하면 각 음소에 따른 발음에 대한 일반적인 사람의 발음과 비교 평가를 할 수 있다. 또한, 자소뿐만 아니라 어휘나 문장 등을 연속으로 발음할 때에도 비음에 분포를 실시간으로 출력 및 디스플레이 할 수 있고, 이에 대한 다른 사람과의 발성 또는 비음을 비교 평가를 통해 차이점을 인식하고 반복 연습을 통해 발음을 수정할 수 있다. 여기서, 자소는 언어의 문자 체계에서 음소를 표시하는 최소의 변별적 단위로서의 문자 혹은 문자 결합을 나타낸다.By pronouncing consonant sounds, it is possible to compare and evaluate the pronunciation of each phoneme with that of a general person. In addition, it is possible to output and display the distribution of nasal consonants in real-time even when pronouncing not only grapheme but also vocabulary or sentences continuously. You can edit your pronunciation. Here, the grapheme represents a character or character combination as a minimum discriminative unit representing a phoneme in the writing system of a language.
더욱이, 인공지능을 이용한 발음에 대한 평가할 수 있는 시스템으로 구현할 수 있으며, 특정 자소의 비음치의 양을 측정할 수 있다. 또한, 기타 클라우드를 이용한 다양한 자소, 어휘, 문장 등에 대한 정보 누적 및 비음과 구강음에 대한 정보 제공할 수 있다. Moreover, it can be implemented as a system that can evaluate pronunciation using artificial intelligence, and can measure the amount of non-phoneme value of a specific grapheme. In addition, it is possible to accumulate information on various grapheme, vocabulary, sentences, etc. and provide information on nasal and oral sounds using other clouds.
도 8은 일 실시예에 따른 소리의 소스에 따른 위치를 나타낸다. 8 illustrates a location according to a sound source according to an exemplary embodiment.
도 8 a 및 도 8b를 참조하면, 구강음과 비음의 발음은 위치, 즉 소스에 따라 다른 위치 나타나며, 이를 각각 절대적인 에너지 크기를 비교하면 된다. 비음은 주로 저주파 영역에서 나타나며, 구강음에 비해 그 크기가 낮고 영역도 좁다.Referring to FIGS. 8A and 8B , oral and nasal pronunciations appear at different positions depending on the position, that is, the source, and the absolute energy level of each is compared. Nasal sounds mainly appear in the low-frequency region, and their size is lower and narrower than oral sounds.
도 9a 및 도 9b은 일 실시예에 따른 비음이 있을 때와 없을 때의 에너지 파형을 나타낸다. 9A and 9B show energy waveforms with and without a nasal sound according to an exemplary embodiment.
도 9a 및 도 9b을 참조하면, 특정 어휘에 대하여 위치가 다른 두 개의 마이크를 이용하여 발음하는 동안의 에너지에 대하여 조사하였다. 비음이 있을 때와 없을 때의 에너지 파형이 다르며, 이를 이용하면 정밀한 추적이 가능하다. 사람마다 발음 특성이 다르며, 이 발음 에너지를 분석하여 비성도를 측정할 수 있다.Referring to FIGS. 9A and 9B , energy during pronunciation was investigated using two microphones with different positions for a specific vocabulary. Energy waveforms with and without nasal sound are different, and precise tracking is possible by using this. Each person has different pronunciation characteristics, and the specific pronunciation can be measured by analyzing this pronunciation energy.
이와 같이, 기존의 나조미터(nasometer)는 컴퓨터와 연결하여 정량적으로 비성치를 측정하고 분석하는 장치로, 일반적으로 많이 사용되고 있다. 이러한 나조미터는 분리판을 사용하고 있어서 접촉을 해야 하는 불편한 점이 있고, 이에 따라 발성이 부자유스러우며 자욱이 남는 문제가 있다.As described above, a conventional nazometer is a device for quantitatively measuring and analyzing specific characteristics in connection with a computer, and is generally used. These nazometers use a separating plate, so there is an inconvenience of having to make contact, and thus there is a problem that the voice is inconvenient and a trace remains.
실시예들에 따르면 기존의 나조미터는 비성도를 측정하거나 재활 치료 도구로서 사용되고 있으나, 누구나 일반적으로 사용할 수 있도록 개선하였고, 특히 비음 교정에 유용하게 사용될 수 있다. 이는 비음과 구강음은 생성되는 사운드의 위치가 다르다는 것을 이용하여 시스템을 설계 및 제작할 수 있으며, 이 기술은 인공지능 스피커에 사용되는 사운드 트래킹 및 로컬리제이션(sound tracking and localization) 기술, 5G에 사용되는 빔포밍(beamforming) 기술 등을 응용하여 구현할 수 있다. According to embodiments, the conventional nazometer is used as a tool for measuring nasal vocal tract or rehabilitation, but it has been improved so that anyone can use it in general, and in particular, it can be usefully used for nasal correction. It is possible to design and manufacture a system by using the fact that the locations of the sounds produced by nasal and oral sounds are different, and this technology is used for sound tracking and localization technology used in artificial intelligence speakers, and 5G. It can be implemented by applying a beamforming technology or the like.
이상에서 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When it is mentioned that a component is "connected" or "connected" to another component in the above, it may be directly connected or connected to the other component, but other components may exist in the middle. It should be understood that there is On the other hand, when it is said that a certain element is "directly connected" or "directly connected" to another element, it should be understood that the other element does not exist in the middle.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is used only to describe specific embodiments, and is not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present specification, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms such as first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.
또한, 명세서에 기재된 "…부", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.In addition, terms such as “…unit”, “…module”, etc. described in the specification mean a unit that processes at least one function or operation, which may be implemented as hardware or software or a combination of hardware and software.
또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.In addition, the components of the embodiment described with reference to each drawing are not limitedly applied only to the embodiment, and may be implemented to be included in other embodiments within the scope of maintaining the technical spirit of the present invention, and also Even if the description is omitted, it is natural that a plurality of embodiments may be re-implemented as one integrated embodiment.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. In addition, in the description with reference to the accompanying drawings, the same components regardless of the reference numerals are given the same or related reference numerals, and the overlapping description thereof will be omitted. In describing the present invention, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited embodiments and drawings, various modifications and variations are possible from the above description by those skilled in the art. For example, the described techniques are performed in an order different from the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다. Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
Claims (10)
상기 다중마이크로폰에서 측정한 소리를 비성도 측정 및 분석하여 디스플레이하는 비성도 분석부
를 포함하고,
상기 다중마이크로폰을 통해 소리의 위치에 따른 발음 크기를 측정하는, 다중마이크로폰을 이용한 비성도 분석 시스템.a multi-microphone comprising at least two or more microphones, which are spaced apart from each other by a predetermined distance without contacting the user's pharyngeal region; and
Non-voice analysis unit that measures and analyzes and displays the sound measured by the multi-microphone
including,
A non-voice analysis system using a multi-microphone that measures the pronunciation level according to the location of a sound through the multi-microphone.
상기 다중마이크로폰은,
중심에 배치되는 기준(reference) 마이크로폰을 기준으로 선형 또는 원형으로 배열하여 위치에 따른 정확한 값을 획득하는 것
을 특징으로 하는, 다중마이크로폰을 이용한 비성도 분석 시스템.According to claim 1,
The multi-microphone is
Acquiring accurate values according to positions by arranging them linearly or circularly based on a reference microphone placed in the center
Characterized in, non-voice analysis system using a multi-microphone.
상기 다중마이크로폰은,
상기 적어도 2개 이상의 마이크로폰을 사용하여 분리판 없이 정상적인 비음과 구강음을 분리 측정하고, 이를 통해 비성도 측정 및 분석이 가능한 것
을 특징으로 하는, 다중마이크로폰을 이용한 비성도 분석 시스템. According to claim 1,
The multi-microphone is
Using the at least two or more microphones to separately measure normal nasal and oral sounds without a separator, and through this, measurement and analysis of nasal vocalizations are possible
Characterized in, non-voice analysis system using a multi-microphone.
상기 다중마이크로폰은,
주파수 위상 비교 방법을 사용하여 거리에 따른 음의 크기를 측정하여 소리의 소스에 대한 정보를 얻는 것
을 특징으로 하는, 다중마이크로폰을 이용한 비성도 분석 시스템.According to claim 1,
The multi-microphone is
To obtain information about the source of a sound by measuring the loudness with distance using the frequency-phase comparison method.
Characterized in, non-voice analysis system using a multi-microphone.
상기 비성도 분석부는,
자소 단위의 발음에 대한 비음 측정 또는 어휘나 문장을 연속적으로 발음할 때의 비음을 측정하여 실시간으로 출력 또는 디스플레이 함에 따라 정확한 발음을 도와주는 것
을 특징으로 하는, 다중마이크로폰을 이용한 비성도 분석 시스템.According to claim 1,
The non-speech analysis unit,
Measuring nasal consonants for pronunciation in units of grapheme or measuring nasal consonants when pronouncing words or sentences continuously and outputting or displaying them in real time to help correct pronunciation
Characterized in, non-voice analysis system using a multi-microphone.
사용자의 머리에 고정되어 사용자의 얼굴의 전면에 소정간격 이격된 형태로 배치되는 투명 소재의 본체
를 더 포함하고,
상기 다중마이크로폰은,
상기 본체에 사용자의 입과 소정 간격 이격되어 구성되는 것
을 특징으로 하는, 다중마이크로폰을 이용한 비성도 분석 시스템.According to claim 1,
A body of transparent material fixed to the user's head and arranged in a spaced apart form on the front of the user's face
further comprising,
The multi-microphone is
What is configured to be spaced apart from the user's mouth by a predetermined distance on the main body
Characterized in, non-voice analysis system using a multi-microphone.
상기 본체에 구성되어 VR 또는 AR을 이용하여 실시간으로 측정 결과를 디스플레이하는 디스플레이부
를 더 포함하는, 다중마이크로폰을 이용한 비성도 분석 시스템.7. The method of claim 6,
A display unit configured in the main body to display measurement results in real time using VR or AR
Further comprising, a non-vocal analysis system using a multi-microphone.
외부의 단말과 통신하는 무선 통신부
를 더 포함하고,
상기 무선 통신부를 통해 상기 단말과 연동되어 실시간으로 측정 결과를 상기 단말에 디스플레이하는 것
을 특징으로 하는, 다중마이크로폰을 이용한 비성도 분석 시스템.According to claim 1,
A wireless communication unit that communicates with an external terminal
further comprising,
Displaying the measurement result on the terminal in real time by interworking with the terminal through the wireless communication unit
Characterized in, non-voice analysis system using a multi-microphone.
상기 다중마이크로폰에서 측정한 소리를 비성도 측정 및 분석하여 단말 또는 디스플레이부를 통해 디스플레이하는 단계
를 포함하고,
상기 다중마이크로폰은,
사용자의 인중 부위와 접촉되지 않고 소정 간격 이격되어 배치되며, 소리의 위치에 따른 발음 크기를 측정하는, 다중마이크로폰을 이용한 비성도 분석 방법.Measuring a sound through a multi-microphone consisting of at least two or more microphones; and
measuring and analyzing the sound measured by the multi-microphone and displaying it through a terminal or a display unit
including,
The multi-microphone is
A non-vocal analysis method using a multi-microphone that does not come into contact with the user's pharyngeal region and is spaced apart from each other by a predetermined interval and measures the pronunciation level according to the location of the sound.
상기 비성도를 측정 및 분석하여 단말 또는 디스플레이부를 통해 디스플레이하는 단계는,
자소 단위의 발음에 대한 비음 측정 또는 어휘나 문장을 연속적으로 발음할 때의 비음을 측정하여 실시간으로 출력 또는 디스플레이 함에 따라 정확한 발음을 도와주는 것
을 특징으로 하는, 다중마이크로폰을 이용한 비성도 분석 방법.10. The method of claim 9,
The step of measuring and analyzing the non-voice and displaying it through a terminal or a display unit comprises:
Measuring nasal consonants for pronunciation in units of grapheme or measuring nasal consonants when pronouncing words or sentences continuously and outputting or displaying them in real time to help correct pronunciation
Characterized in, a non-voice analysis method using a multi-microphone.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200082277A KR102360665B1 (en) | 2020-07-03 | 2020-07-03 | System and method for analyzing nasalance multi-microphone |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200082277A KR102360665B1 (en) | 2020-07-03 | 2020-07-03 | System and method for analyzing nasalance multi-microphone |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220004439A true KR20220004439A (en) | 2022-01-11 |
| KR102360665B1 KR102360665B1 (en) | 2022-02-09 |
Family
ID=79355815
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200082277A KR102360665B1 (en) | 2020-07-03 | 2020-07-03 | System and method for analyzing nasalance multi-microphone |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102360665B1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090057692A (en) * | 2007-12-03 | 2009-06-08 | 삼성전자주식회사 | Method and apparatus for filtering the sound source signal based on sound source distance |
| KR20140133323A (en) * | 2013-05-10 | 2014-11-19 | 한국과학기술원 | Augmented Reality service apparatus and system |
| KR20180002383A (en) | 2016-06-29 | 2018-01-08 | 화성레이져테크 주식회사 | Fermenter of food wastes |
| KR20180023853A (en) * | 2016-08-25 | 2018-03-07 | 포항공과대학교 산학협력단 | Smart nasometer system |
-
2020
- 2020-07-03 KR KR1020200082277A patent/KR102360665B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090057692A (en) * | 2007-12-03 | 2009-06-08 | 삼성전자주식회사 | Method and apparatus for filtering the sound source signal based on sound source distance |
| KR20140133323A (en) * | 2013-05-10 | 2014-11-19 | 한국과학기술원 | Augmented Reality service apparatus and system |
| KR20180002383A (en) | 2016-06-29 | 2018-01-08 | 화성레이져테크 주식회사 | Fermenter of food wastes |
| KR20180023853A (en) * | 2016-08-25 | 2018-03-07 | 포항공과대학교 산학협력단 | Smart nasometer system |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102360665B1 (en) | 2022-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Benus et al. | Articulatory characteristics of Hungarian ‘transparent’vowels | |
| US10475354B2 (en) | Haptic communication using dominant frequencies in speech signal | |
| Rudzicz et al. | The TORGO database of acoustic and articulatory speech from speakers with dysarthria | |
| Honorof et al. | Articulatory events are imitated under rapid shadowing | |
| Pinet et al. | Second-language experience and speech-in-noise recognition: Effects of talker–listener accent similarity | |
| CN100397438C (en) | Method for computer assisting learning of deaf-dumb Chinese language pronunciation | |
| TW201604864A (en) | Speech recognition system and unit | |
| Carignan | When nasal is more than nasal: The oral articulation of nasal vowels in two dialects of French | |
| KR102225435B1 (en) | Language learning-training system based on speech to text technology | |
| Freitas et al. | An introduction to silent speech interfaces | |
| CN112735429A (en) | Method for determining lyric timestamp information and training method of acoustic model | |
| US20180197535A1 (en) | Systems and Methods for Human Speech Training | |
| CN110349565B (en) | Auxiliary pronunciation learning method and system for hearing-impaired people | |
| Rudzicz | Production knowledge in the recognition of dysarthric speech | |
| Best | Discovering messages in the medium: Speech perception and the prelinguistic infant | |
| Meenakshi et al. | Comparison of speech quality with and without sensors in electromagnetic articulograph AG 501 recording | |
| CN110930815A (en) | Intelligent instrumental music auxiliary learning device and using method thereof | |
| KR20220039679A (en) | Method for providing personalized problems for pronunciation evaluation | |
| US8938077B2 (en) | Sound source playing apparatus for compensating output sound source signal and method of compensating sound source signal output from sound source playing apparatus | |
| KR102360665B1 (en) | System and method for analyzing nasalance multi-microphone | |
| Kalikow et al. | Experiments with computer-controlled displays in second-language learning | |
| Roon et al. | Velarization of Russian labial consonants | |
| Morales et al. | Speech-based human and service robot interaction: An application for Mexican dysarthric people | |
| Chen et al. | A computer-aided articulation learning system for subjects with articulation disorders | |
| Padmini et al. | A Real-Time Oral Cavity Gesture Based Words Synthesizer Using Sensors. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |