KR102031295B1 - System for measurement of nasal energy change and method thereof - Google Patents

System for measurement of nasal energy change and method thereof Download PDF

Info

Publication number
KR102031295B1
KR102031295B1 KR1020180074760A KR20180074760A KR102031295B1 KR 102031295 B1 KR102031295 B1 KR 102031295B1 KR 1020180074760 A KR1020180074760 A KR 1020180074760A KR 20180074760 A KR20180074760 A KR 20180074760A KR 102031295 B1 KR102031295 B1 KR 102031295B1
Authority
KR
South Korea
Prior art keywords
nasal
voice file
energy
negative
measurement system
Prior art date
Application number
KR1020180074760A
Other languages
Korean (ko)
Inventor
김용민
강영애
박수경
Original Assignee
충남대학교산학협력단
충남대학교병원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충남대학교산학협력단, 충남대학교병원 filed Critical 충남대학교산학협력단
Priority to KR1020180074760A priority Critical patent/KR102031295B1/en
Application granted granted Critical
Publication of KR102031295B1 publication Critical patent/KR102031295B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4803Speech analysis specially adapted for diagnostic purposes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

The present invention relates to a nasal energy change measurement system which comprises: a voice file normalization unit normalizing a voice file in which a voice of a user reading a nasal sentence is recorded by correcting a tone, an intensity and a length; a nasal score meter generating a nasal score waveform of the normalized voice file received from the voice file normalization unit; a gradient extracting unit extracting a gradient value corresponding to at least one analysis variable pre-selected from the nasal score waveform generated by the nasal score meter; and a control unit measuring a change in nasal energy by comparing a first gradient value extracted at a previous time and a second gradient value extracted at a current time for each analysis variable.

Description

비강 에너지 변화 측정 시스템 및 그 측정 방법{SYSTEM FOR MEASUREMENT OF NASAL ENERGY CHANGE AND METHOD THEREOF}Nasal energy change measuring system and the measuring method {SYSTEM FOR MEASUREMENT OF NASAL ENERGY CHANGE AND METHOD THEREOF}

비강 에너지 변화 측정 시스템 및 그 측정 방법이 제공된다.A nasal energy change measurement system and a method of measuring the same are provided.

조음은 성대 진동을 기반으로 조음 기관의 유기적 연결 움직임의 결과물로 일부분의 연결이 끊어지거나 인체 환경의 변화를 겪으면 말 신호에 미세한 변화를 초래할 수 있다. Articulation is the result of organic connecting movements of articulation organs based on vocal pulsation, which can lead to minor changes in speech signals when some of the connections are lost or the human environment changes.

일반적으로 성대에서 생성된 음향은 구개인두협부에 이르러 비강과 구강으로 나뉘어져 공명의 위치에 따라 비강음과 구강음으로 나누어진다. In general, the sound produced in the vocal cords is divided into the nasal cavity and the oral cavity, and the nasal cavity and the oral cavity are divided according to the position of the resonance.

여기서, 비강음은 ㅁ, ㄴ, ㅇ과 같은 비자음을 발음할 때 주로 나타나고 구강음은 모든 모음과 비음을 제외한 나머지 자음들을 발음할 때 나타난다. Here, the nasal cavity mainly appears when pronounced non-sound such as ㅁ, ㄴ, ㅇ, and the oral sound appears when all the other consonants except the vowels and nasal sounds.

이때, 구강음과 비강음은 연구개의 해부학적, 기능적 상태에 따라 비율이 결정되기 때문에, 이러한 구강음과 비강음을 이용하여 산출되는 비음치를 통해 사용자의 비강 상태를 추정할 수 있다.At this time, since the ratio of the oral sound and the nasal sound is determined according to the anatomical and functional state of the study dog, it is possible to estimate the nasal state of the user through the nasal sound value calculated using the oral sound and the nasal sound.

여기서, 비음치(nasalance score)는 비강 음향에너지를 비강과 구강 음향에너지의 합으로 나눈 값을 의미하며, 이러한 비음치 파형의 평균값, 최소값, 최대값 그리고 기울기 값 등과 같은 다양한 변수 값을 분석하여 사용자의 비강 상태를 추정할 수 있다. Here, the nasalance score is a value obtained by dividing the nasal acoustic energy by the sum of the nasal and oral acoustic energy, and analyzing various variable values such as the average value, the minimum value, the maximum value, and the slope value of the non-negative waveform. The nasal condition of can be estimated.

하지만, 사람의 음성은 사람마다 고유의 특성을 가지고 있으며, 대상자들 마다 발성 속도, 발음 정도, 목소리 크기 등이 서로 상이하기 때문에, 대상자간의 음성 파일을 통해 비음치 파형을 각각 도출하더라도 대상자간 비교가 용이하지 않다. 더욱이 비음치 파형에서의 기울기 값과 같은 변수의 경우, 녹음 속도, 음질 그리고 강도에 따라 영향을 많이 받기 때문에, 연구개 속도에 관한 정보를 제공하지만, 실질적으로 다수의 사용자(inter-subject)간 혹은 동일 개인(intra-subject)간의 비교 분석이 어렵기 때문에 임상 현장에서의 활용도가 낮고 연구 진행에 어려움이 있다. However, since the human voice has its own characteristics and the voice speed, pronunciation level, and voice size differ from person to person, even if a non-negative waveform is derived from the voice file between the subjects, the comparison between the subjects is difficult. Not easy Moreover, variables such as slope values in non-negative waveforms are highly dependent on recording speed, sound quality, and intensity, providing information about the velocity of the opening, but are substantially inter-subject or Because of the difficulty of comparative analysis between intra-subjects, it is difficult to use in the clinical field and difficult to conduct research.

또한, 현재까지 비음치를 측정하기 위해 사용되는 문장들은 전체 문장 중 비음 비율에 따라 구강음 문장, 구강비음 문장, 비음 문장으로 나뉘며, 각 문장은 어절 반복 형식으로 이루어져 있다. 여기서, 비음 문장은 한국어의 비음 체계와 음절 구조를 모두 고려한 문장이 아닌 단순 비음이 포함된 문장을 사용하는 경우가 많아, 긴 문장에서 비음치를 측정하고자 하는 음성 구간을 직접 선택하여 비음치를 측정하거나 단순히 비강 에너지의 값 %만 비음치로 최소, 최대 평균값을 측정하는 경우가 많다. In addition, the sentences used to measure the non-negative to date are divided into oral sound sentences, oral nasal sentences, non-negative sentences according to the ratio of the non-negative of all sentences, each sentence consists of a word repeat form. Here, the non-negative sentences often use simple non-sentence sentences rather than sentences that consider both the Korean nasal system and syllable structure. In other words, the minimum and maximum average values are often measured as non-negative values only by% of nasal energy.

따라서, 비음치 파형에서의 기울기 값은 연구개 속도에 관한 정보를 제공하여 사용자의 연구개의 운동성을 추정할 수 있는 쓰임새가 많은 개념이지만, 실질적으로 임상 현장에서 활용도가 낮다.
관련 선행문헌으로 한국등록특허 1,182,762호는 "비침습적 비강 음향 분석장치, 원격 데이터 전송이 가능한 비침습적 비강 음향분석 시스템, 비침습적 비강 음향 분석방법 및 그 방법이 기록된 기록매체"를 개시한다.
Therefore, the slope value in the non-negative waveform is a useful concept for estimating the motility of the user's research pad by providing information on the speed of the research pad, but it is practically low in the clinical field.
As a related prior document, Korean Patent No. 1,182,762 discloses a "non-invasive nasal acoustic analysis apparatus, a non-invasive nasal acoustic analysis system capable of remote data transmission, a non-invasive nasal acoustic analysis method and a recording medium on which the method is recorded."

본 발명의 하나의 실시예는 복수의 사용자들로부터 측정된 음성 자료를 정규화하고 기존에 연구가 어려웠던 연구개 운동성을 파악할 수 있는 비강 에너지 기울기를 구하여 동일 개인간 또는 다수의 사용자간에 용이하게 비교 분석을 수행할 수 있으며, 사용자의 미세한 비강 에너지의 변화를 정확하고 빠르게 얻기 위한 것이다.One embodiment of the present invention normalizes the voice data measured from a plurality of users and obtains a nasal energy gradient that can grasp the palpable motility, which has been difficult to study in the past, to easily perform comparative analysis between the same individual or multiple users. It is possible to obtain accurate and rapid changes in the nasal energy of the user.

상기 과제 이외에도 구체적으로 언급되지 않은 다른 과제를 달성하는 데 사용될 수 있다.In addition to the above objects, it can be used to achieve other objects not specifically mentioned.

본 발명의 하나의 실시예에 따른 비강 에너지 변화 측정 시스템은 비음문장을 낭독하는 사용자의 음성이 녹음된 음성 파일을 음도, 강도 및 길이를 보정하여 정규화하는 음성 파일 정규화부, 음성 파일 정규화부로부터 수신된 정규화된 음성 파일의 비음치 파형을 생성하는 비음치 측정기, 비음치 측정기에서 생성된 비음치 파형에서 미리 선정된 적어도 하나의 분석변수에 대응하는 기울기 값을 추출하는 기울기 추출부, 그리고 분석변수마다 이전 시점에서 추출된 제1 기울기 값과 현재 시점에서 추출된 제2 기울기 값을 비교하여 비강 에너지 변화를 측정하는 제어부를 포함한다. A nasal energy change measurement system according to an embodiment of the present invention is received from a voice file normalization unit and a voice file normalization unit for normalizing by correcting the soundness, intensity, and length of a voice file in which a voice of a user reading a non-voice sentence is recorded. A non-negometer for generating a non-negative waveform of the normalized speech file, a gradient extractor for extracting a gradient value corresponding to at least one predetermined analysis variable from the non-negative waveform generated by the non-negative meter, and for each analysis variable And a controller configured to measure a change in nasal energy by comparing a first slope value extracted at a previous time point and a second slope value extracted at a current time point.

분석변수는, 비음치 파형에서 음절이 모음에서 한글의 종성 위치의 비자음으로 이동하면서 상승하는 비강에너지에 대한 분석변수로 rising m, rising n, rising o과, 비음치 파형에서 음절이 한글의 초성 위치의 비자음에서 모음으로 이동하면서 하강하는 비강 에너지에 대한 분석 변수로 falling m, falling n을 포함할 수 있다. The analysis variable is an analysis variable for nasal energy that rises as syllables move from vowels to non-sounds in the final position of Hangul in vowels. Rising m, rising n, rising o As an analysis variable for the nasal energy descending while moving to the vowel in the non-magnetic location of the location may include falling m, falling n.

비음문장은 한국어 비음 체계와 음절 구조에 기초하여 초성과 종성에 비자음이 모두 포함하고, 음성 파일은, 비음과 구강음을 각각 측정하는 2채널 방식으로 녹음 및 저장될 수 있다. The non-speech sentence includes both non-choice in the first and last voices based on the Korean nasal system and the syllable structure, and the voice file can be recorded and stored in a two-channel manner in which the nasal and oral sounds are respectively measured.

음성 파일 정규화부는, 비음치 측정기에 입력하기 위해 음성 파일의 데시벨을 미리 설정된 데시벨 대역으로 보정하고, 음성파일의 주파수 포인트를 11025 Hz로 리샘플링하고, 음성 파일의 길이를 미리 설정된 시간으로 조정하여 정규화할 수 있다. The voice file normalization unit corrects the decibels of the voice file to a preset decibel band for input to a non-negative measuring instrument, resamples the frequency points of the voice file to 11025 Hz, and adjusts the length of the voice file to a preset time to normalize it. Can be.

제어부는, 5개의 분석변수에 대한 측정된 비강 에너지 변화 중에서 유의미한 분석변수를 추출하고, 추출된 유의미한 분석변수에 대응하는 비강 에너지의 변화를 선택하여 선택된 비강 에너지의 변화에 따른 사용자의 비강 상태를 추정할 수 있다. The controller extracts a significant analysis variable from the measured changes in nasal energy for five analysis variables, selects a change in nasal energy corresponding to the extracted significant analysis variable, and estimates the user's nasal condition according to the change in the selected nasal energy. can do.

본 발명의 하나의 실시예에 따른 비강 에너지 변화 측정 시스템의 측정 방법은 비음문장을 낭독하는 사용자의 음성이 녹음된 음성 파일을 음도, 강도 및 길이를 보정하여 정규화하는 단계, 수신된 정규화된 음성 파일의 비음치 파형을 생성하는 단계, 비음치 파형에서 미리 선정된 적어도 하나의 분석변수에 대응하는 기울기 값을 추출하는 단계, 그리고 분석변수마다 이전 시점에서 추출된 제1 기울기 값과 현재 시점에서 추출된 제2 기울기 값을 비교하여 비강 에너지 변화를 측정하는 단계를 포함한다. According to an exemplary embodiment of the present invention, there is provided a method of measuring a nasal energy change measurement system by normalizing a voice file in which a voice of a user reading a non-voice sentence is recorded by correcting soundness, intensity, and length, and receiving a normalized voice file. Generating a non-negative waveform of, extracting a slope value corresponding to at least one predetermined analysis variable from the non-negative waveform, and extracting the first slope value extracted from a previous time point and the current time point for each analysis variable Comparing the second slope value to measure a change in nasal energy.

본 발명의 하나의 실시예는 각각의 사용자의 녹음된 음성 파일을 정규화함으로써, 사용자간의 비음치를 쉽고 정확하게 비교 분석할 수 있어 임상에서 활용하기에 매우 편리함을 제공할 수 있다. One embodiment of the present invention can normalize the recorded voice file of each user, and can easily and accurately compare and analyze non-negative values between users, thereby providing a very convenient use in the clinic.

본 발명의 하나의 실시예에는 한국어 비음 체계에 따른 비자음이 한국어의 음절 구성에 따른 초성과 종성에 위치하는 비음문장에 따른 분석변수를 통해 사용자의 미세한 비강 에너지의 변화를 정확하고 빠르게 측정하여 사용자의 비강 상태를 추정할 수 있다.In one embodiment of the present invention, the non-speech according to the Korean nasal phonological system is a user by accurately and quickly measuring the minute change in the nasal energy of the user through the analysis variable according to the non-syllable sentences located in the beginning and the finality according to the syllable composition The nasal condition of can be estimated.

또한, 본 발명의 하나의 실시예는 콧소리 문제를 보이는 구개열 환자, 편도/아데노이드 수술 환자, 수면 무호흡증 환자 등의 수술 또는 치료 과정에서, 수술 또는 치료의 전과 후의 상태 변화, 수술 또는 치료의 효과 등의 결과를 분석 및 판단하는 과정에서 객관적인 지표를 제공할 수 있다. In addition, one embodiment of the present invention in the operation or treatment process, such as cleft palate patients, tonsils / adenoid surgery patients, sleep apnea patients, such as nasal problems, changes in the state before and after the operation or treatment, the effect of the operation or treatment, etc. In the process of analyzing and judging results, objective indicators can be provided.

도 1은 본 발명의 하나의 실시예에 따른 비강 에너지 변화 측정 시스템을 포함하는 네트워크를 나타내는 구성도이다.
도 2는 본 발명의 하나의 실시예에 따른 시스템을 나타내는 구성도이다.
도 3은 본 발명의 하나의 실시예에 따른 시스템의 비강 에너지 변화 측정 방법을 나타낸 순서도이다.
도 4는 본 발명의 하나의 실시예에 따른 시스템의 정규화하기 전의 음성 파일을 나타낸 예시도이다.
도 5는 본 발명의 하나의 실시예에 따른 시스템의 정규화한 음성 파일을 나타낸 예시도이다.
도 6은 각 도 4와 도 5의 음성 파일에서 비음치 파형을 추출한 예시도이다.
도 7은 본 발명의 하나의 실시예에 따른 시스템의 비음치 파형에서 분석 변수를 추출하는 과정을 설명하기 위한 예시도이다.
1 is a block diagram showing a network including a nasal energy change measurement system according to an embodiment of the present invention.
2 is a block diagram showing a system according to an embodiment of the present invention.
3 is a flow chart illustrating a method for measuring change in nasal energy of a system in accordance with one embodiment of the present invention.
4 is an exemplary view showing a voice file before normalization of a system according to an embodiment of the present invention.
5 is an exemplary diagram illustrating a normalized voice file of a system according to an embodiment of the present invention.
6 is an exemplary view of extracting a non-negative waveform from the voice files of FIGS. 4 and 5.
7 is an exemplary diagram for explaining a process of extracting an analysis variable from a non-negative waveform of a system according to an exemplary embodiment of the present invention.

첨부한 도면을 참고로 하여 본 발명의 실시예에 대해 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 도면부호가 사용되었다. 또한 널리 알려져 있는 공지기술의 경우 그 구체적인 설명은 생략한다. DETAILED DESCRIPTION Embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily practice the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention. The drawings and description are to be regarded as illustrative in nature and not restrictive. Like reference numerals designate like elements throughout the specification. In addition, in the case of well-known technology, a detailed description thereof will be omitted.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, when a part is said to "include" a certain component, it means that it can further include other components, without excluding other components unless specifically stated otherwise.

이하에서는 도 1 및 도 2를 통하여 본 발명의 하나의 실시예에 따른 비강 에너지 변화 측정 시스템에 대해서 상세하게 설명한다. Hereinafter, a nasal energy change measurement system according to an embodiment of the present invention will be described in detail with reference to FIGS. 1 and 2.

도 1은 본 발명의 하나의 실시예에 따른 비강 에너지 변화 측정 시스템을 포함하는 네트워크를 나타내는 구성도이고, 도 2는 본 발명의 하나의 실시예에 따른 시스템을 나타내는 구성도이다.1 is a block diagram showing a network including a nasal energy change measurement system according to an embodiment of the present invention, Figure 2 is a block diagram showing a system according to an embodiment of the present invention.

도 1에 도시한 바와 같이, 비강 에너지 변화 측정 시스템(100), 2채널 녹음 장치(200) 그리고 데이터베이스(300)는 서로 통신망을 통하여 연결되어 있으며, 서로 데이터를 송수신한다. As shown in FIG. 1, the nasal energy change measurement system 100, the two-channel recording apparatus 200, and the database 300 are connected to each other through a communication network, and transmit and receive data with each other.

통신망은 유선 통신 네트워크, 근거리 또는 원거리 무선 통신 네트워크, 이들이 혼합된 네트워크 등 데이터를 전달하는 모든 형태의 통신 네트워크를 포함할 수 있다. The communication network may include any type of communication network for transferring data, such as a wired communication network, a short-range or long distance wireless communication network, or a mixed network thereof.

비강 에너지 변화 측정 시스템(100)은 통신망을 통하여 2채널 녹음 장치(200)로부터 직접 녹음된 음성 파일을 수신하거나 데이터베이스(300)에 저장된 음성 파일을 검색하여 수집할 수 있다. The nasal energy change measurement system 100 may receive a voice file recorded directly from the two-channel recording apparatus 200 through a communication network or search for and collect a voice file stored in the database 300.

비강 에너지 변화 측정 시스템(100)은 사용자의 음성 파일의 원본 또는 복사본을 이용하여 미리 설정된 규격으로 정규화를 수행하고, 정규화된 음성 파일에서 비음치 파형을 생성할 수 있다. 그리고 비강 에너지 변화 측정 시스템(100)은 비음치 파형에서 적어도 하나의 분석변수에 대응하는 기울기 값을 추출하여 사용자의 비강 에너지를 측정할 수 있다. The nasal energy change measurement system 100 may perform normalization to a preset standard using an original or a copy of a user's voice file, and generate a non-negative waveform from the normalized voice file. In addition, the nasal energy change measurement system 100 may measure the nasal energy of the user by extracting a slope value corresponding to at least one analysis variable from the non-negative waveform.

도 2에 도시한 바와 같이, 비강 에너지 변화 측정 시스템(100)은 음성 파일 정규화부(110), 비음치 측정기(120), 기울기 추출부(130) 그리고 제어부(140)를 포함한다. As shown in FIG. 2, the nasal energy change measurement system 100 includes a voice file normalization unit 110, a non-negative sound detector 120, a gradient extractor 130, and a controller 140.

먼저, 음성 파일 정규화부(110)는 2채널 녹음 장치(200)이 녹음한 음성 파일을 이용하여 음도, 강도 및 길이를 보정하여 정규화한다. First, the voice file normalization unit 110 corrects the soundness, the intensity, and the length by using the voice file recorded by the 2-channel recording apparatus 200 and normalizes it.

음성 파일 정규화부(110)는 수집한 음성 파일에서 피치의 주기를 맞추어 데시벨과 길이를 보정하고, 미리 설정된 주파수로 리샘플링하여 정규화할 수 있다. The voice file normalization unit 110 may correct decibels and lengths by matching pitch periods in the collected voice files, and may normalize them by resampling at a preset frequency.

이때, 음성 파일 정규화부(110)는 음성 파일에서 비음, 자음 음절의 에너지에 영향을 주지 않으면서, 일정한 조건들을 동일하게 정규화를 수행한다.In this case, the voice file normalization unit 110 normalizes certain conditions in the same manner without affecting the energy of nasal and consonant syllables in the voice file.

다음으로 비음치 측정기(120)는 음성 파일 정규화부(110)로부터 수신된 정규화된 음성 파일의 비음치 파형을 생성한다. Next, the non-negative sound measurer 120 generates a non-negative waveform of the normalized voice file received from the voice file normalization unit 110.

비음치는 비강 음향에너지를 비강과 구강 음향에너지의 합으로 나눈 값으로 비음치 측정기(120)는 앞서 2채널 녹음 장치로부터 각각 녹음된 구강음과 비강음의 값을 이용하여 비음치를 산출하고, 산출된 비음치를 그래프로 표시하여 비음치 파형을 생성할 수 있다. Nasal value is a value obtained by dividing nasal acoustic energy by the sum of nasal and oral acoustic energy. Nasal value measuring instrument 120 calculates nasal values using the values of the oral and nasal sounds previously recorded from the two-channel recording apparatus. Non-negative waveforms can be generated by graphically displaying the non-negative values.

여기서, 비음치 측정기(120)는 2채널 녹음 장치(200)로 대체될 수 있다.Here, the non-measurement meter 120 may be replaced with a two-channel recording device 200.

그리고 기울기 추출부(130)는 비음치 측정기에서 생성된 비음치 파형에서 미리 선정된 적어도 하나의 분석변수에 대응하는 기울기 값을 추출한다. The gradient extractor 130 extracts a slope value corresponding to at least one analysis variable selected in advance from the non-negative waveform generated by the non-negative measuring instrument.

다시 말해, 분석변수는 비음 문장에서 비자음 음절 전후의 기울기 값을 나타낸다. 비자음은 ㅁ,ㄴ,ㅇ으로 한국어 음절 구조에 맞는 어법상 초성과 종성에 위치할 수 있으며, 비자음 ㅇ이 초성에 위치하는 경우에는 발음이 되지 않기 때문에, 5개의 분석변수가 선택되며, 분석변수에 각각 대응하는 기울기 값을 추출할 수 있다. In other words, the analysis variable represents the slope value before and after the non-syllable syllable in the non-syllable sentence. The non-sound is ㅁ, ㄴ, ㅇ and can be located at the beginning and the end of the grammatical language suitable for the Korean syllable structure. When the non-sound ㅇ is located at the beginning, it is not pronounced, so 5 analysis variables are selected and analyzed. A slope value corresponding to each variable may be extracted.

제어부(140)는 분석변수마다 이전 시점에서 추출된 제1 기울기 값과 현재 시점에서 추출된 제2 기울기 값을 비교하여 비강 에너지 변화를 측정한다. The controller 140 compares the first slope value extracted from the previous time point and the second slope value extracted from the current time point for each analysis variable to measure the change in nasal energy.

제어부(140)는 이전 시점에서의 분석변수의 제1 기울기 값과 현재 시점에서의 분석변수의 제2 기울기 값을 이용하여 유의 확률값을 산출할 수 있다. 그리고 유의 확률값을 통해 유의미한 분석변수를 추출할 수 있다. 그리고 제어부(140)는 유의미하나 분석변수의 기울기 값의 변화를 통해 사용자의 비강 상태를 추정할 수 있다. The controller 140 may calculate a significant probability value using the first slope value of the analysis variable at the previous time point and the second slope value of the analysis variable at the current time point. In addition, meaningful analysis variables can be extracted from the significance probability value. Although the control unit 140 is significant, the user's nasal condition may be estimated through a change in the slope value of the analysis variable.

도 1을 보면, 2채널 녹음 장치(200)는 사용자가 특정 문장을 낭독하는 과정에서 구강음을 녹음하는 채널과 비음을 녹음하는 채널을 분리하여 각각 고유 채널을 통해 구강음과 비음을 녹음할 수 있다. Referring to FIG. 1, the two-channel recording apparatus 200 may separate the channel for recording the oral sound and the channel for recording the nasal sound in the process of reading a specific sentence by the user to record the oral sound and the nasal sound through a unique channel. have.

그리고 2채널 녹음 장치(200)는 2채널을 통해 녹음된 음성 파일을 통해 비음치를 확인할 수 있도록 그래프 또는 결과표를 도출할 수 있다. In addition, the two-channel recording apparatus 200 may derive a graph or a result table to check the non-tone value through the voice file recorded through the two channels.

이와 같은 2채널 녹음 장치(200)는 2채널 녹음 장치(200)는 Kaypentx사의 나조메타(Nasometer)와 같은 장치를 나타낼 수 있으며, 이에 한정하는 것은 아니다. The two-channel recording apparatus 200 as described above may represent a device such as a Nasometer (Nasometer) of Kaypentx, but is not limited thereto.

다음으로 데이터베이스(300)는 2채널 녹음 장치(200)로부터 녹음된 음성 파일 또는 비강 에너지 변화 측정 시스템(100)으로부터 정규화된 음성 파일과 분석 변수의 변화 값을 저장한다. 여기서, 데이터베이스(300)는 별도로 위치하거나 비강 에너지 변화 측정 시스템(100) 또는 2채널 녹음 장치(200)에 내장될 수 있다. Next, the database 300 stores the voice file recorded from the 2-channel recording apparatus 200 or the change value of the analysis file and the normalized voice file from the nasal energy change measurement system 100. Here, the database 300 may be located separately or embedded in the nasal energy change measurement system 100 or the two-channel recording apparatus 200.

한편, 비강 에너지 변화 측정 시스템(100)은 서버, 단말, 또는 이들이 결합된 형태일 수 있다. Meanwhile, the nasal energy change measurement system 100 may be a server, a terminal, or a combination thereof.

단말은 각각 메모리(memory), 프로세서(processor)를 구비함으로써 연산 처리 능력을 갖춘 장치를 통칭하는 것이다. 예를 들어, 퍼스널 컴퓨터(personal computer), 핸드헬드 컴퓨터(handheld computer), PDA(personal digital assistant), 휴대폰, 스마트 기기, 태블릿(tablet) 등이 있다.A terminal is a collective term for a device having an arithmetic processing capability by providing a memory and a processor, respectively. For example, there are a personal computer, a handheld computer, a personal digital assistant, a mobile phone, a smart device, a tablet, and the like.

서버는 복수개의 모듈(module)이 저장되어 있는 메모리, 그리고 메모리에 연결되어 있고 복수개의 모듈에 반응하며, 단말에 제공하는 서비스 정보 또는 서비스 정보를 제어하는 액션(action) 정보를 처리하는 프로세서, 통신 수단, 그리고 UI(user interface) 표시 수단을 포함할 수 있다.The server is a memory that stores a plurality of modules (module), the processor is connected to the memory and reacts to the plurality of modules, the processor for processing the service information or action information for controlling the service information provided to the terminal, communication Means, and a user interface (UI) display means.

메모리는 정보를 저장하는 장치로, 고속 랜덤 액세스 메모리(high-speed random access memory, 자기 디스크 저장 장치, 플래시 메모리 장치, 기타 비휘발성 고체 상태 메모리 장치(non-volatile solid-state memory device) 등의 비휘발성 메모리 등 다양한 종류의 메모리를 포함할 수 있다.Memory is a device for storing information. It is a non-volatile solid-state memory device such as high-speed random access memory, magnetic disk storage, flash memory devices, and other non-volatile solid-state memory devices. Various types of memory, such as volatile memory, may be included.

통신 수단은 단말과 서비스 정보 또는 액션 정보를 실시간으로 송수신한다.The communication means transmits and receives service information or action information with the terminal in real time.

UI 표시 수단은 시스템의 서비스 정보 또는 액션 정보를 실시간으로 출력한다. UI 표시 수단은 UI를 직접적 또는 간접적으로 출력하거나 표시하는 독립된 장치일 수도 있으며, 또는 장치의 일부분일 수도 있다.The UI display means outputs service information or action information of the system in real time. The UI display means may be a separate device that directly or indirectly outputs or displays the UI, or may be part of the device.

이하에서는 도 3 내지 도 7을 통해 본 발명의 실시예에 따른 비강 에너지 변화 측정 방법에 대해서 상세하게 설명한다. Hereinafter, a method for measuring nasal energy change according to an embodiment of the present invention will be described in detail with reference to FIGS. 3 to 7.

도 3은 본 발명의 하나의 실시예에 따른 시스템의 비강 에너지 변화 측정 방법을 나타낸 순서도이고, 도 4는 본 발명의 하나의 실시예에 따른 시스템의 정규화하기 전의 음성 파일을 나타낸 예시도이며 도 5는 본 발명의 하나의 실시예에 따른 시스템의 정규화한 음성 파일을 나타낸 예시도이다. 3 is a flowchart illustrating a method for measuring change in nasal energy of a system according to an exemplary embodiment of the present invention, and FIG. 4 is an exemplary diagram illustrating a voice file before normalization of the system according to an exemplary embodiment of the present invention. Is an exemplary view showing a normalized voice file of a system according to an embodiment of the present invention.

도 3에 도시한 바와 같이, 2채널 녹음 장치(200)는 비음문장을 낭독하는 사용자의 음성을 녹음한다(S310). As shown in FIG. 3, the two-channel recording apparatus 200 records a voice of a user who reads a non-voice sentence (S310).

여기서, 비음문장은 한국어 비음 체계와 음절 구조에 기초하여 초성과 종성에 비자음이 모두 포함할 수 있다. Here, the non-syllable sentence may include both non-syllables in the beginning and finality based on the Korean nasal system and syllable structure.

예를 들어, "엄마 안녕"과 같은 문장으로 한국어에서 비자음인 ㄴ,ㅁ,ㅇ 이 각각 초성과 종성에 위치하는 단어로 이루어진 문장을 나타낸다. For example, a sentence such as "mom goodbye" refers to a sentence consisting of words that are located in Korean and Jongsung, respectively, which are non-sound b, ㅁ, ㅇ in Korean.

이와 같은 비음문장을 사용자가 낭독하도록 하고, 비음문장을 낭독하면서 발생하는 비음과 구강음을 각각 측정할 수 있도록 2채널 방식으로 사용자의 음성을 녹음할 수 있다. The user can read the non-speech text, and the user's voice can be recorded in a two-channel manner so that the non-speech text and the oral sound generated while reading the non-speech text can be measured.

도 4에 도시한 바와 같이, 2채널 녹음 장치(200)는 Channel 과 Channel 2를 이용하여 각 구강음과 비강음을 녹음하면, 녹음된 음성 파일을 도식화할 수 있다. As shown in FIG. 4, when the two-channel recording device 200 records each oral sound and a nasal sound using Channel and Channel 2, the two-channel recording device 200 may diagram the recorded voice file.

도 4는 사용자가"엄마 안녕"이라는 비음문장을 낭독할 때 녹음한 제1 시점의 (엄마 안녕1)과 제2 시점의(엄마 안녕2)를 나타낸다. 도 4를 통해 동일인의 음성 파일이지만, 시점에 따라 사용자의 구강 상태의 변화로 인해 음성 파일의 데이터가 상이하게 표현되는 것을 알 수 있다. Fig. 4 shows the first point of time (Mom goodbye 1) and the second point of time (Mom goodbye 2) recorded when the user reads the non-voice sentence "Mom goodbye". Although it is shown through FIG. 4 that the voice file is the same person, it can be seen that data of the voice file is differently represented due to a change in the oral cavity state of the user according to a viewpoint.

이와 같은 데이터의 변화를 보다 객관적으로 비교 분석을 수행하기 위해 비강 에너지 변화 측정 시스템(100)은 음성 파일들의 조건을 동일하게 보정해야 한다. In order to perform a more objective comparative analysis of such changes in data, the nasal energy change measurement system 100 should equally correct the conditions of the voice files.

다시 말해, 비강 에너지 변화 측정 시스템(100)은 녹음된 음성 파일을 수신하고, 음성 파일을 음도, 강도 그리고 길이를 보정하는 정규화를 수행한다(S320). In other words, the nasal energy change measurement system 100 receives the recorded voice file and performs normalization to correct the voice file in terms of loudness, intensity, and length (S320).

비강 에너지 변화 측정 시스템(100)은 수신한 음성 파일에서 정규화를 수행할 구문을 사용자로부터 별도로 입력받을 수 있다. The nasal energy change measurement system 100 may separately receive a phrase to be normalized from a received voice file from a user.

다시 말해, "엄마 안녕"을 여러 번 반복하여 녹음하거나 "엄마 안"을 포함하는 문장을 녹음한 경우, 음성 파일에서 분석하고자 하는 "엄마 안녕"부분을 사용자로부터 입력받으면, 해당 구간을 추출하여 정규화를 수행할 수 있다. In other words, in the case of repeatedly recording "Goodbye Mom" or a sentence containing "Inner Mom", when the user inputs the "Goodbye Mom" part to analyze in the voice file, the section is extracted and normalized. Can be performed.

비강 에너지 변화 측정 시스템(100)은 다수의 사용자들간의 비교 분석을 용이하게 하기 위해 동일 조건으로 음성 파일을 정규화할 수 있으며, 이때 동일 조건은 음도, 강도 그리고 길이에 대해 각각 미리 설정된 값뿐 아니라 일정한 범위를 나타낼 수 있다. The nasal energy change measurement system 100 may normalize a voice file with the same conditions to facilitate comparative analysis among multiple users, where the same conditions are not only preset values for loudness, intensity, and length, but also a predetermined range. Can be represented.

예를 들어, 비강 에너지 변화 측정 시스템(100)은 데시벨을 70dB로 설정하고, 길이를 1sec으로 조정하고, 주파수를 11025Hz로 음성 파일을 보정하여 정규화를 수행할 수 있다. For example, the nasal energy change measurement system 100 may perform normalization by setting the decibel to 70 dB, adjusting the length to 1 sec, and correcting the voice file to 11025 Hz.

도 5는 본 발명의 하나의 실시예에 따른 시스템의 정규화한 음성 파일을 나타낸 예시도이다. 5 is an exemplary diagram illustrating a normalized voice file of a system according to an embodiment of the present invention.

도 5에 도시한 바와 같이, 비강 에너지 변화 측정 시스템(100)은 도 4의 녹음된 음성 파일에 대해서 2 채널을 유지시키고 강도를 70dB, DuR = 1sec, 주파수 11025hz의 조건으로 변형시킨다. As shown in FIG. 5, the nasal energy change measurement system 100 maintains two channels for the recorded voice file of FIG. 4 and transforms the strength to a condition of 70 dB, DuR = 1 sec, and frequency 11025 hz.

다시 말해, 비강 에너지 변화 측정 시스템(100)은 음성 데이터를 가공하기 위해 음도, 강도, 길이 각 변수를 복사하여 일정량 비율로 늘리는 PSOLA(pitch-synchronus overlap add) 방식을 이용할 수 있다. 그리고 비강 에너지 변화 측정 시스템(100)은 PSOLA 방식을 적용하여 음성 파일을 보정한 후, 프랏과 같은 음성 파일 보정 프로그램을 통해 주파수 보정을 수행할 수 있다. In other words, the nasal energy change measurement system 100 may use a pitch-synchronus overlap add (PSOLA) method of copying each variable of the loudness, the intensity, and the length to increase a certain amount ratio in order to process the voice data. In addition, the nasal energy change measurement system 100 may apply a PSOLA method to correct a voice file, and then perform frequency correction through a voice file correction program such as Pratt.

비강 에너지 변화 측정 시스템(100)은 "엄마 안녕"이라는 분석 구간에 대해 순차적으로 강도, 길이, 주파수 순으로 보정할 수 있으며, 보정하는 순서는 이에 한정되는 것은 아니다. The nasal energy change measurement system 100 may sequentially correct intensity, length, and frequency in the analysis section of "mom well", and the order of correction is not limited thereto.

한편, 음도, 강도 그리고 길이를 보정하는 정규화 조건은 비음치 측정기(120)에서 요구되는 입력 조건들과 매칭되어 설정될 수 있다. Meanwhile, the normalization condition for correcting the loudness, the intensity, and the length may be set to match the input conditions required by the non-negative measuring device 120.

다음으로 비강 에너지 변화 측정 시스템(100)은 정규화된 음성 파일의 비음치 파형을 생성한다(S330). Next, the nasal energy change measurement system 100 generates a non-negative waveform of the normalized voice file (S330).

비강 에너지 변화 측정 시스템(100)은 비음치 측정기(120)를 통해 정규화된 음성 파일에서 2채널 음성 데이터를 이용하여 비음치 파형을 생성할 수 있으며, 여기서 비음치 측정기(120)는 2채널 녹음 장치(200)로 대체될 수 있다. The nasal energy change measurement system 100 may generate a non-negative waveform using two-channel voice data from a normalized voice file through the non-negative meter 120, where the non-negative meter 120 is a two-channel recording device. 200 may be replaced.

도 6에 도시한 바와 같이, 비강 에너지 변화 측정 시스템(100)은 정규화된 음성 파일에 대응하는 비음치 파형을 생성할 수 있다. As shown in FIG. 6, the nasal energy change measurement system 100 may generate a non-negative waveform corresponding to a normalized speech file.

도 6의 (a)는 정규화되기 전 음성 파일에 대한 비음치 파형이고, (b)는 정규화된 음성 파일에 대한 비음치 파형을 나타낸다. 6 (a) shows a non-negative waveform for a normalized voice file, and (b) shows a non-negative waveform for a normalized voice file.

비강 에너지 변화 측정 시스템(100)은 도 6의 (b)와 같이 정규화된 음성 파일의 2채널 음성 파일에서 비강 음향에너지를 비강과 구강 음향에너지의 합으로 나누어 비음치를 산출하고, 이를 그래프로 도식화하여 제공할 수 있다. The nasal energy change measurement system 100 calculates the nasal sound value by dividing the nasal acoustic energy by the sum of the nasal cavity and the oral acoustic energy in the two-channel speech file of the normalized speech file as shown in FIG. Can be provided.

정규화되기 전 음성 파일의 비음치 파형(a)과 정규화된 음성 파일의 비음치 파형(b)을 비교해보면, 전체적인 파형의 형상은 유지하면서 비음치 파형에서 피크 값들이 명확해진 것을 알 수 있다.Comparing the non-negative waveform (a) of the voice file and the non-negative waveform (b) of the normalized voice file before normalization, it can be seen that the peak values in the non-negative waveform become clear while maintaining the overall waveform shape.

그리고 비강 에너지 변화 측정 시스템(100)은 미리 선정된 적어도 하나의 분석 변수에 대응하는 기울기 값을 추출한다(S340). In addition, the nasal energy change measurement system 100 extracts a slope value corresponding to at least one predetermined analysis variable (S340).

비강 에너지 변화 측정 시스템(100)은 비음치 파형에서 음절이 모음에서 비자음으로 이동하면서 상승하는 비강에너지와 비음치 파형에서 음절이 비자음에서 모음으로 이동하면서 하강하는 비강 에너지를 나타내는 분석변수를 선택할 수 있다. The nasal energy change measurement system 100 selects analytical variables representing nasal energy that rises as syllables move from vowels to non-vowels in non-negative waveforms and nasal energy that falls as syllables move from non-vowels to vowels in non-negative waveforms. Can be.

도 7에 도시한 바와 같이, 비강 에너지 변화 측정 시스템(100)은 비강음인 ㄴ,ㅁ,ㅇ 에 대하여, 각각 상승하는 비강 에너지와 하강하는 비강 에너지에 대응하는 분석변수 rising m, rising n, rising o, falling m, falling n을 추출할 수 있다. As shown in FIG. 7, the nasal energy change measurement system 100 may analyze rising variables na and n, and rising analytical variables corresponding to rising nasal energy and falling nasal energy, respectively, for the nasal sound b, ㅁ, ㅇ. o, falling m, falling n can be extracted.

보다 상세하게는"엄마 안녕"이라는 비음문장에 대응하여 모음 'ㅓ'에서 종성 위치의 비자음 'ㅁ'을 발음할 때 상승하는 비강 에너지를 rising m, 초성 위치의 비자음 'ㅁ'에서 모음 'ㅏ'를 발음할 때 하강하는 비강 에너지를 falling m 로 분석변수를 선택한다. 이와 동일하게, 모음 'ㅓ'에서 종성 위치의 비자음 'ㄴ'을 발음할 때 상승하는 비강 에너지를 rising n, 초성 위치의 비자음 'ㄴ'에서 모음 'ㅕ'를 발음할 때 하강하는 비강 에너지를 falling n 로 분석변수를 선택한다.More specifically, in response to the nasal sentence of "Mom Goodbye", the rising nasal energy is increased when the non-sound 'ㅁ' of the final position is pronounced in the vowel 'ㅓ' and the vowel ' When we pronounce ㅏ ', we select the analytical variable as falling m as the falling nasal energy. Similarly, the nasal energy rising when pronounced non-sound 'n' in the final position in vowel 'ㅓ' is rising and the nasal energy descending when pronounced vowel 'ㅕ' in non-sound 'n' in initial position. Select the analysis variable with falling n.

그리고 모음 'ㅕ '에서 종성 위치의 비자음 'ㅇ'을 발음할 때 상승하는 비강 에너지를 rising ㅇ로 분석변수를 설정할 수 있다. 비자음 ㅇ은 초성에 위치할 때 발음이 되지 않기 때문에, 비자음 ㄴ,ㅁ,ㅇ에 대한 분석변수는 5개로 선택될 수 있다. In addition, an analytical variable can be set to rising nasal energy as rising o when pronounced non-nodal 'ㅇ' in the final position in the vowel 'ㅕ'. Since non-sound is not pronounced when it is located at the beginning, 5 analysis variables for non-sound b, ㅁ, and ㅇ can be selected.

다시 말해, 비강 에너지 변화 측정 시스템(100)은 비강 에너지의 변화에 따라 선택된 5개의 분석 변수에 대응하는 위치의 기울기 값을 추출할 수 있다. In other words, the nasal energy change measurement system 100 may extract a slope value of a position corresponding to five analysis variables selected according to the change of nasal energy.

다음으로 비강 에너지 변화 측정 시스템(100)은 이전 시점에서 추출된 제1 기울기 값과 현재 시점에서 추출된 제2 기울기 값을 비교하여 비강 에너지 변화를 측정한다(S350). Next, the nasal energy change measurement system 100 compares the first slope value extracted at the previous time point and the second slope value extracted at the present time point to measure the nasal energy change (S350).

비강 에너지 변화 측정 시스템(100)은 이전 시점에서 추출된 제1 기울기 값들과 현재 시점에서 추출된 제2 기울기 값을 유의 확률값을 이용하여 통계적으로 유의미한 값을 가지는 분석변수를 추출할 수 있다. The nasal energy change measurement system 100 may extract an analysis variable having a statistically significant value from the first slope values extracted at a previous time point and the second slope value extracted at the current time point using a significant probability value.

여기서, 유의 확률값은 가설 검정에서 검정 통계량이 귀무가설을 기각하도록 나타날 확률을 나타내는 것으로 유의 수준보다 낮은 확률값이 나오는 경우, 데이터는 신뢰도가 높고 유의미한 데이터로 해석할 수 있습니다. Here, the significance probability value represents the probability that the test statistic appears in the hypothesis test to reject the null hypothesis. If the probability value is lower than the significance level, the data can be interpreted as reliable and meaningful.

또한, 비강 에너지 변화 측정 시스템(100)은 유의미한 값을 가지는 분석변수를 추출하기 위해 유의 확률값을 이용하지만, 이에 반드시 한정되는 것은 아니다. In addition, the nasal energy change measurement system 100 uses a significant probability value to extract an analysis variable having a significant value, but is not necessarily limited thereto.

그리고 비강 에너지 변화 측정 시스템(100)은 유의미한 값을 가지는 분석변수에 대응하는 기울기 값의 변화 값을 통해 사용자의 비강 에너지의 변화를 선택할 수 있다. In addition, the nasal energy change measurement system 100 may select a change in nasal energy of the user through a change value of a slope value corresponding to an analysis variable having a significant value.

예를 들어, 아래 표 1과 같이, 비강 에너지 변화 측정 시스템(100)은 제1 시점(Pre)와 제2 시점(Post)에서의 각 5개의 변수 값들에 대해서 비교분석하고, 유의 확률값(P$)을 산출한다. 여기서, 적용되는 유의수준 값은 0.05값으로, 유의 확률값(P$)이 유의수준 값보다 낮은 경우 유의미한 데이터로 인식할 수 있다. For example, as shown in Table 1 below, the nasal energy change measurement system 100 compares and analyzes each of five variable values at a first time point Pre and a second time point Post and a significant probability value (P $). ) Is calculated. Here, the applied significance level value is 0.05, and when the significance probability value (P $ ) is lower than the significance level value, it may be recognized as meaningful data.

[표 1]TABLE 1

Figure 112018063707792-pat00001
표 1은 다수의 대상자들에 대해 제1 시점(Pre)과 제2 시점(Post)간 5개의 분석변수 값을 비교한 결과를 나타낸 표이다.
Figure 112018063707792-pat00001
Table 1 shows a result of comparing five analysis variable values between a first time point Pre and a second time point Post for a plurality of subjects.

표 1은 제1 시점(Pre), 제2 시점(Post)에서의 각 분석변수의 값의 크기에 따라 하위 25%에 해당하는 측정값, 50%에 해당하는 측정값의 중앙값, 75%에 해당하는 측정값 그리고 각 분석변수에 대한 유의 확률값(P$)을 나타낸다. Table 1 shows the lower 25% of the measured values, the median of the 50% of the measured values, and 75%, depending on the magnitude of the value of each analysis variable at the first time point Pre and the second time point Post. It represents the measured value and the significance probability value (P $ ) for each analysis variable.

표 1과 같이, 비강 에너지 변화 측정 시스템(100)은 비음치 파형의 변수들 중에서 Rising m의 유의 확률값(P$)만이 0.012로 유의미한 값을 가지는 것을 확인할 수 있다. 다시 말해, Rising m기울기 값이 통계적으로 유의미하는 결과값을 통해 수술 또는 치료에 의해 공성의 /ㅁ/에 영향을 받았음을 알 수 있다. 따라서, 비강 에너지 변화 측정 시스템(100)은 유의미한 분석변수 Rising m의 값을 선택하여,Rising m의 기울기가 통계적으로 유의하게 나온 결과로부터 시간 차이를 둔 동일한 환자의 비음치 파형에 대한 기울기 값의 비교 또는 다수의 환자간의 비음치 파형에 대한 기울기 값의 비교가 용이해짐을 알 수 있다.. As shown in Table 1, the nasal energy change measurement system 100 may confirm that only the significant probability value P $ of Rising m has a significant value of 0.012 among the variables of the non-negative waveform. In other words, through the statistically significant result value of the rising m slope value it can be seen that the siege / ㅁ / was affected by surgery or treatment. Accordingly, the nasal energy change measurement system 100 selects a value of the significant analytical variable Rising m, and compares the slope values with respect to the non-negative waveform of the same patient with a time difference from the result of the statistically significant slope of Rising m. Or it can be seen that it is easy to compare the slope value for the non-negative waveform between a plurality of patients.

표 1를 살펴보면, 유의미한 분석변수 Risign m의 수치 값만이 제1 시점(Pre)보다 제2 시점(Post)에서 일관되게 더 큰 값을 가지는 것을 알 수 있다. 이와 같이, Rising m이 제1 시점(Pre)보다 제2 시점(Post)에서 더 높은 수치를 보이는 경우, 비강 에너지 변화 측정 시스템(100)은 비자음 ㅁ이 공명되는 위치인 사용자의 비강 앞쪽에 비강 에너지가 변화한 것으로 추정할 수 있다. 다시 말해, 비강 에너지 변화 측정 시스템(100)은 사용자의 연막(velum)이 빠르게 하강하였거나 비음치의 피크(peak)가 상승한 경우로 추정할 수 있다. Referring to Table 1, it can be seen that only the numerical value of the significant analysis variable Risign m has a consistently larger value at the second time point (Post) than at the first time point (Pre). As such, when the rising m shows a higher value at the second post than the first point Pre, the nasal energy change measuring system 100 is in the nasal cavity in front of the user's nasal cavity where the non-sound k is resonant. It can be assumed that the energy has changed. In other words, the nasal energy change measurement system 100 may estimate a case in which a user's velum falls rapidly or a peak of a non-negative value rises.

실제, 해당 표 1은 코골이 수술을 받은 환자 15명을 대상으로 수술 직전 시점과 수술 3개월 후의 시점간의 비교한 결과값에 대한 유의 확률 값을 나타낸 표이다. 환자들은 코골이 수술과 비중격만곡증 수술을 같이 받았기 때문에 실제로 환자들의 비강 앞쪽에 에너지가 일부 변화되었다. In fact, Table 1 shows the significant probability values for the results of comparison between the time point just before the operation and the time point 3 months after surgery in 15 patients who had snoring surgery. Because the patients had both snoring and septal curvature, the energy actually changed in front of their nasal passages.

따라서, 본 발명에서 유의미한 분석변수로 선택된 비강 앞쪽의 변화를 보이는 Rising m을 통해 사용자의 미세한 비강 에너지 변화를 추정하는 방법이 높은 정확도를 보인다는 것을 알 수 있다. 이와 같이, 비강 에너지 변화 측정 시스템(100)은 유의미한 분석변수를 추출하고, 추출된 유의미한 분석변수에 대응하는 비강에너지 변화에 따른 사용자의 비강 상태를 추정할 수 있다. Therefore, it can be seen that the method of estimating the minute nasal energy change of the user has high accuracy through the rising m showing the change in the front of the nasal cavity selected as a significant analysis variable in the present invention. As described above, the nasal energy change measurement system 100 may extract a significant analysis variable and estimate a user's nasal condition according to the change of nasal energy corresponding to the extracted significant analysis variable.

비강 에너지 변화 측정 시스템 또는 비강 에너지 변화를 측정하기 위한 프로그램은 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다.The nasal energy change measuring system or program for measuring the nasal energy change may be recorded on a computer readable recording medium.

컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 여기서 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드가 포함된다. Computer-readable media may include, alone or in combination with the program instructions, data files, data structures, and the like. The media may be those specially designed and constructed or those known and available to those skilled in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical recording media such as CD-ROMs, DVDs, magnetic-optical media such as floppy disks, and ROM, RAM, flash memory, and the like. Hardware devices specifically configured to store and execute the same program instructions are included. In this case, the medium may be a transmission medium such as an optical or metal wire, a waveguide, or the like including a carrier wave for transmitting a signal specifying a program command, a data structure, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

이상에서 본 발명의 바람직한 하나의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although one preferred embodiment of the present invention has been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concept of the present invention defined in the following claims are also provided. It belongs to the scope of the present invention.

100: 비강 에너지 변화 측정 시스템 110: 음성 파일 정규화부
120: 비음치 측정기 130: 기울기 추출부
140: 제어부 200: 2채널 녹음 장치
300: 데이터베이스
100: nasal energy change measurement system 110: voice file normalization unit
120: non-negative measuring instrument 130: gradient extraction unit
140: control unit 200: two-channel recording device
300: database

Claims (10)

비음문장을 낭독하는 사용자의 음성이 녹음된 음성 파일을 음도, 강도 및 길이를 보정하여 정규화하는 음성 파일 정규화부,
상기 음성 파일 정규화부로부터 수신된 상기 정규화된 음성 파일의 비음치 파형을 생성하는 비음치 측정기,
상기 비음치 측정기에서 생성된 상기 비음치 파형에서 미리 선정된 적어도 하나의 분석변수에 대응하는 기울기 값을 추출하는 기울기 추출부, 그리고
상기 분석변수마다 이전 시점에서 추출된 제1 기울기 값과 현재 시점에서 추출된 제2 기울기 값을 비교하여 비강 에너지 변화를 측정하는 제어부
를 포함하고
상기 분석변수는, 상기 비음치 파형에서 음절이 모음에서 비자음으로 이동하면서 상승하는 비강 에너지와 상기 비음치 파형에서 비자음에서 모음으로 이동하면서 하강하는 비강 에너지를 나타내는 비강 에너지 변화 측정 시스템.
Voice file normalization unit for normalizing the voice file recorded by the user's voice reading the non-speech text by correcting the tone, intensity and length,
A non-negative measuring device for generating a non-negative waveform of the normalized voice file received from the voice file normalizer;
A gradient extracting unit for extracting a gradient value corresponding to at least one analysis variable previously selected from the non-negative waveform generated by the non-negative measuring instrument, and
Control unit for measuring the change in nasal energy by comparing the first slope value extracted from the previous time point and the second slope value extracted at the current time point for each analysis variable
Including
The analysis variable is a nasal energy change measurement system representing the nasal energy rising as the syllables move from vowels to non-vowels in the non-negative waveform and the nasal energy falling from non-needs to vowels in the non-negative waveform.
제1항에서,
상기 분석변수는,
상기 비음치 파형에서 음절이 모음에서 한글의 종성 위치의 비자음으로 이동하면서 상승하는 비강에너지에 대한 분석변수로 rising m, rising n, rising o과, 상기 비음치 파형에서 음절이 한글의 초성 위치의 비자음에서 모음으로 이동하면서 하강하는 비강 에너지에 대한 분석 변수로 falling m, falling n을 포함하는 비강 에너지 변화 측정 시스템.
In claim 1,
The analysis variable,
In the non-negative waveform, the syllables are rising m, rising n, rising o, and the syllables in the non-negative waveform are shifted from the vowel to the non-negative sound of the final position of Hangul. Nasal energy change measurement system including falling m, falling n as an analysis variable for the falling nasal energy moving from vowel to vowel.
제1항 또는 제2항에서,
상기 비음문장은
한국어 비음 체계와 음절 구조에 기초하여 초성과 종성에 비자음이 모두 포함하고,
상기 음성 파일은,
비음과 구강음을 각각 측정하는 2채널 방식으로 녹음 및 저장되는
비강 에너지 변화 측정 시스템.
The method of claim 1 or 2,
The non-voice sentence
Based on Korean nasal system and syllable structure
The voice file,
Recorded and stored in a two-channel method for measuring nasal and oral sounds
Nasal energy change measurement system.
제3항에서,
상기 음성 파일 정규화부는,
상기 비음치 측정기에 입력하기 위해 상기 음성 파일의 데시벨을 미리 설정된 데시벨 대역으로 보정하고, 상기 음성파일의 주파수 포인트를 11025 Hz로 리샘플링하고, 상기 음성 파일의 길이를 미리 설정된 시간으로 조정하여 정규화하는 비강 에너지 변화 측정 시스템.
In claim 3,
The voice file normalization unit,
A nasal cavity that corrects the decibels of the voice file to a predetermined decibel band for input to the non-negative meter, resamples the frequency points of the voice file to 11025 Hz, and adjusts and normalizes the length of the voice file to a preset time. Energy change measurement system.
제4항에서,
상기 제어부는,
5개의 상기 분석변수에 대한 측정된 상기 비강 에너지 변화 중에서 유의미한 분석변수를 추출하고, 추출된 유의미한 상기 분석변수에 대응하는 비강 에너지의 변화를 선택하여 선택된 상기 비강 에너지의 변화에 따른 상기 사용자의 비강 상태를 추정하는 비강 에너지 변화 측정 시스템.
In claim 4,
The control unit,
The nasal condition of the user according to the change of the nasal energy selected by extracting a significant analysis variable among the measured change of nasal energy for the five analysis variables and selecting the change of nasal energy corresponding to the extracted significant analysis variable Nasal energy change measurement system to estimate.
음성 파일 정규화부는 비음문장을 낭독하는 사용자의 음성이 녹음된 음성 파일을 음도, 강도 및 길이를 보정하여 정규화하는 단계,
비음치 측정기는 수신된 상기 정규화된 음성 파일의 비음치 파형을 생성하는 단계,
기울기 추출부는 상기 비음치 파형에서 미리 선정된 적어도 하나의 분석변수에 대응하는 기울기 값을 추출하는 단계, 그리고
제어부는 상기 분석변수마다 이전 시점에서 추출된 제1 기울기 값과 현재 시점에서 추출된 제2 기울기 값을 비교하여 비강 에너지 변화를 측정하는 단계
를 포함하고,
상기 분석변수는, 상기 비음치 파형에서 음절이 모음에서 비자음으로 이동하면서 상승하는 비강 에너지와 상기 비음치 파형에서 비자음에서 모음으로 이동하면서 하강하는 비강 에너지를 나타내는 비강 에너지 변화 측정 시스템의 측정 방법.
The voice file normalization unit normalizes the voice file in which the voice of the user reading the non-speech text is recorded by correcting the soundness, intensity, and length of the voice file.
The non-negative meter generating a non-negative waveform of the received normalized speech file;
A slope extracting unit extracting a slope value corresponding to at least one analysis variable previously selected from the non-negative waveform, and
The control unit measures the nasal energy change by comparing the first slope value extracted from the previous time point and the second slope value extracted from the current time point for each analysis variable.
Including,
The analysis variable is a method of measuring a nasal energy change measurement system representing nasal energy rising as syllables move from vowels to non-vowels in the non-negative waveform and falling nasal energy moving from vowels to non-vowels in the non-negative waveform. .
제6항에서,
상기 분석변수는,
상기 비음치 파형에서 음절이 모음에서 한글의 종성 위치의 비자음으로 이동하면서 상승하는 비강에너지에 대한 분석변수로 rising m, rising n, rising o과, 상기 비음치 파형에서 음절이 한글의 초성 위치의 비자음에서 모음으로 이동하면서 하강하는 비강 에너지에 대한 분석 변수로 falling m, falling n을 포함하는 비강 에너지 변화 측정 시스템의 측정 방법.
In claim 6,
The analysis variable,
In the non-negative waveform, the syllables are rising m, rising n, rising o, and the syllables in the non-negative waveform are shifted from the vowel to the non-negative sound of the final position of Hangul. Measurement method of the nasal energy change measurement system including falling m, falling n as an analysis variable for the nasal energy falling while moving from vowel to vowel.
제6항 또는 제7항에서,
상기 비음문장은
한국어 비음 체계와 음절 구조에 기초하여 초성과 종성에 비자음을 모두 포함하고,
상기 음성 파일은,
비음과 구강음을 각각 측정하는 2채널 방식으로 녹음 및 저장되는
비강 에너지 변화 측정 시스템의 측정 방법.
In claim 6 or 7,
The non-voice sentence
Based on the Korean nasal system and syllable structure, all non-sounds are included in the first and last
The voice file,
Recorded and stored in a two-channel method for measuring nasal and oral sounds
Method of measurement of nasal energy change measurement system.
제8항에서,
상기 정규화하는 단계는,
상기 비음치 측정기에 입력하기 위해 상기 음성 파일의 데시벨을 미리 설정된 데시벨 대역으로 보정하고, 상기 음성파일의 주파수 포인트를 11025 Hz로 리샘플링하고, 상기 음성 파일의 길이를 미리 설정된 시간으로 조정하여 정규화하는 비강 에너지 변화 측정 시스템의 측정 방법.
In claim 8,
The normalizing step is
A nasal cavity that corrects the decibels of the voice file to a predetermined decibel band for input to the non-negative meter, resamples the frequency points of the voice file to 11025 Hz, and adjusts and normalizes the length of the voice file to a preset time. Method of measuring energy change measurement system.
제9항에서,
상기 비강 에너지 변화를 측정하는 단계는,
5개의 상기 분석변수에 대한 측정된 상기 비강 에너지 변화 중에서 유의미한 분석변수를 추출하고, 추출된 유의미한 상기 분석변수에 대응하는 비강 에너지의 변화를 선택하여 선택된 상기 비강 에너지의 변화에 따른 상기 사용자의 비강 상태를 추정하는 비강 에너지 변화 측정 시스템의 측정 방법.
In claim 9,
Measuring the change of nasal energy,
The nasal condition of the user according to the change of the nasal energy selected by extracting a significant analysis variable among the measured change of nasal energy for the five analysis variables and selecting the change of nasal energy corresponding to the extracted significant analysis variable Method of measurement of nasal energy change measurement system to estimate the.
KR1020180074760A 2018-06-28 2018-06-28 System for measurement of nasal energy change and method thereof KR102031295B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180074760A KR102031295B1 (en) 2018-06-28 2018-06-28 System for measurement of nasal energy change and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180074760A KR102031295B1 (en) 2018-06-28 2018-06-28 System for measurement of nasal energy change and method thereof

Publications (1)

Publication Number Publication Date
KR102031295B1 true KR102031295B1 (en) 2019-10-11

Family

ID=68210217

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180074760A KR102031295B1 (en) 2018-06-28 2018-06-28 System for measurement of nasal energy change and method thereof

Country Status (1)

Country Link
KR (1) KR102031295B1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004509677A (en) * 2000-09-19 2004-04-02 ロゴメトリックス・コーポレーション Palatal sound meter and nasal sound meter
US20110082697A1 (en) * 2009-10-06 2011-04-07 Rothenberg Enterprises Method for the correction of measured values of vowel nasalance
CN102824162A (en) * 2012-08-22 2012-12-19 泰亿格电子(上海)有限公司 Nasal voice measuring instrument and measuring method thereof
KR20170010602A (en) * 2015-07-20 2017-02-01 한림대학교 산학협력단 Infants' vocal development evaluation device, and system and method of auditory rehabilitation for infants
KR20180023853A (en) * 2016-08-25 2018-03-07 포항공과대학교 산학협력단 Smart nasometer system
JP6315576B2 (en) * 2014-06-16 2018-04-25 国立大学法人山口大学 Sleep breathing sound analysis apparatus and method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004509677A (en) * 2000-09-19 2004-04-02 ロゴメトリックス・コーポレーション Palatal sound meter and nasal sound meter
US20110082697A1 (en) * 2009-10-06 2011-04-07 Rothenberg Enterprises Method for the correction of measured values of vowel nasalance
CN102824162A (en) * 2012-08-22 2012-12-19 泰亿格电子(上海)有限公司 Nasal voice measuring instrument and measuring method thereof
JP6315576B2 (en) * 2014-06-16 2018-04-25 国立大学法人山口大学 Sleep breathing sound analysis apparatus and method
KR20170010602A (en) * 2015-07-20 2017-02-01 한림대학교 산학협력단 Infants' vocal development evaluation device, and system and method of auditory rehabilitation for infants
KR20180023853A (en) * 2016-08-25 2018-03-07 포항공과대학교 산학협력단 Smart nasometer system

Similar Documents

Publication Publication Date Title
Kent et al. Static measurements of vowel formant frequencies and bandwidths: A review
Ballard et al. Developmental trajectory for production of prosody: Lexical stress contrastivity in children ages 3 to 7 years and in adults
Kreiman et al. Variability in the relationships among voice quality, harmonic amplitudes, open quotient, and glottal area waveform shape in sustained phonation
US20210177340A1 (en) Cognitive function evaluation device, cognitive function evaluation system, cognitive function evaluation method, and storage medium
Baghai-Ravary et al. Automatic speech signal analysis for clinical diagnosis and assessment of speech disorders
ES2763937T3 (en) Procedure for assessing the quality of a use of a speaker's voice
KR102434912B1 (en) Method and device for improving dysarthria
CN104240696A (en) Speech processing device and method
Kavanagh New consonantal acoustic parameters for forensic speaker comparison
Pompili et al. Automatic detection of parkinson’s disease: an experimental analysis of common speech production tasks used for diagnosis
Barsties et al. The influence of voice sample length in the auditory-perceptual judgment of overall voice quality
US20210027777A1 (en) Method for monitoring phonation and system thereof
Strömbergsson et al. Acoustic and perceptual evaluation of category goodness of/t/and/k/in typical and misarticulated children's speech
KR20220128976A (en) Device, method and program for speech impairment evaluation
Mahr et al. Speech development between 30 and 119 months in typical children II: Articulation rate growth curves
CN114916921A (en) Rapid speech cognition assessment method and device
JP2013088552A (en) Pronunciation training device
Aharonson et al. A real-time phoneme counting algorithm and application for speech rate monitoring
Ali et al. Development and analysis of speech emotion corpus using prosodic features for cross linguistics
Clapham et al. Computing scores of voice quality and speech intelligibility in tracheoesophageal speech for speech stimuli of varying lengths
Ball The contribution of speech pathology to the development of phonetic description
KR102031295B1 (en) System for measurement of nasal energy change and method thereof
KR102484006B1 (en) Voice self-practice method for voice disorders and user device for voice therapy
Young et al. Evaluation of noise excitation as a method for detection of hypernasality
JP7307507B2 (en) Pathological condition analysis system, pathological condition analyzer, pathological condition analysis method, and pathological condition analysis program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant