KR20120040174A - System for correcting english pronunciation using analysis of user's voice-information and method thereof - Google Patents
System for correcting english pronunciation using analysis of user's voice-information and method thereof Download PDFInfo
- Publication number
- KR20120040174A KR20120040174A KR1020120030805A KR20120030805A KR20120040174A KR 20120040174 A KR20120040174 A KR 20120040174A KR 1020120030805 A KR1020120030805 A KR 1020120030805A KR 20120030805 A KR20120030805 A KR 20120030805A KR 20120040174 A KR20120040174 A KR 20120040174A
- Authority
- KR
- South Korea
- Prior art keywords
- pronunciation
- voice
- english
- chart
- analysis
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000012937 correction Methods 0.000 claims description 39
- 230000000007 visual effect Effects 0.000 claims description 21
- 239000000284 extract Substances 0.000 abstract description 2
- 230000033764 rhythmic process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 230000001944 accentuation Effects 0.000 description 1
- 210000001909 alveolar process Anatomy 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
Description
본 발명은 음성분석기술을 이용한 시각적 영어 발음 교정시스템 및 교정법에 관한 것으로, 보다 상세하게는 음성분석기술을 이용하여 신속하고 용이하게 정확한 발음으로 영어를 습득할 수 있게 하는 음성분석기술을 이용한 시각적 영어 발음 교정시스템 및 교정법에 관한 것이다.The present invention relates to a visual English pronunciation correction system and correction method using a voice analysis technology, and more particularly, to visual English using a voice analysis technology that allows you to learn English with accurate pronunciation quickly and easily using the voice analysis technology. A pronunciation correction system and a correction method.
최근 들어 산업의 전문화와 국제화의 추세에 따라 영어에 대한 중요성이 날로 커지고 있고, 이러한 중요성에 따라 많은 사람들이 영어 학습에 많은 시간을 할애하고 있으며, 이에 발맞추어 다양한 온-오프라인 영어 강좌들이 개설되고 있다.In recent years, the importance of English has increased due to the industry's specialization and internationalization trend, and according to this importance, many people spend a lot of time in learning English, and various online and offline English courses have been opened. .
일반적으로 발음이나 발음에 대한 교정은 외국인 강사와의 1:1 지도방식에 의해 이루어지고 있는데, 이 경우 영어 학습에 많은 비용이 소요된다는 문제점이 있으며, 특별히 정해진 시간에 교육이 이루어지기 때문에 직장인 등과 같은 바쁜 일상생활을 영위하는 사람들에게는 그 학습에의 참여가 극히 제한적이라는 문제점이 있었다.In general, the pronunciation or correction of pronunciation is made by a 1: 1 teaching method with a foreign instructor. In this case, there is a problem in that it takes a lot of money to learn English. The problem was that people who were busy in their daily lives were extremely limited in their participation in learning.
따라서 유휴 시간에 혼자서도 효과적으로 영어에 대한 발음이나 발음 등을 학습하고, 원어민의 발음과 비교 평가하는 프로그램 등을 필요로 하게 되었다.Therefore, even during the idle time effectively learning the pronunciation and pronunciation of English, such as the need for a program that compares and evaluates the pronunciation of native speakers.
이러한 요구에 부응하기 위하여 현재에는 음성인식을 이용한 다양한 어학용 프로그램들을 탑재한 어학용 학습기가 개발되어 보급되고 있다.In order to meet these demands, language learners equipped with various language programs using speech recognition have been developed and distributed.
상기와 같은 어학용 학습기의 영어 발음 평가방법은 음성 신호 처리기술을 이용한 발음 비교방법에 의하며, 여기에는 은닉 마코브 모델(Hidden Markov Model, 이하 HMM 이라 함)을 이용하여 학습자의 발음을 인식한 후, 이를 원어민의 음성과 비교하여 그 결과를 알려주는 프로그램들을 이용하여 실시하고 있다.The English pronunciation evaluation method of the language learner as described above is based on a pronunciation comparison method using a speech signal processing technique. Here, after recognizing the pronunciation of the learner using a hidden Markov model (hereinafter referred to as HMM), This is done using a program that compares the voice of the native speaker and informs the result.
하지만, 상기와 같은 프로그램을 탑재한 학습기들은 입력된 학습자의 음성을 상기 프로그램에 의해 원어민의 발음과 단순히 비교 평가하여 그 결과를 점수로 학습자에게 제공하는 것이 대부분이었다.However, most of the learners equipped with the program described above simply evaluate the inputted learner's voice with the native speaker's pronunciation by the program and provide the result to the learner as a score.
또한, 학습자는 표시된 점수로 자신의 발음이 얼마나 정확한지를 개략적으로 알 수 있지만, 모음/자음 발음, 강세, 억양에 대한 각 분야별로 비교할 수 있는 수단이 없어 자신의 모음/자음 발음, 강세, 억양이 원음과 얼마나 다르며, 어디가 틀렸는지 정확히 인식할 수 없다.In addition, the learner can roughly know how accurate his / her pronunciation is with the displayed scores, but his / her vowel / consonant pronunciation, accentuation, and intonation have no means to compare each field of vowel / consonant pronunciation, stress, and intonation. How different it is from the original sound and you can't recognize exactly where it is wrong.
따라서 발음교정이 비효율적으로 진행되는 결과를 초래하고, 학습자가 영어를 정확하게 발음하도록 유도하는데 어려움이 있으며, 이로 인해 발음교정에 한계가 있는 등 영어 발음을 교정하는데 상당한 노력과 투자가 요구되는 문제점이 있다.Therefore, it is difficult to induce learners to pronounce English correctly, resulting in inefficient pronunciation correction, and therefore, there is a problem that requires considerable effort and investment to correct English pronunciation, such as limited pronunciation correction. .
본 발명은 상술한 문제점을 해결하기 위한 것으로, 음성분석기술을 이용하여 신속하고 용이하게 정확한 발음으로 영어를 습득할 수 있게 하는 시스템 및 방법을 제공하는데 그 목적이 있다.SUMMARY OF THE INVENTION The present invention has been made in view of the above-described problems, and an object thereof is to provide a system and method for quickly and easily acquiring English with accurate pronunciation using voice analysis technology.
이러한 목적을 달성하기 위하여 본 발명은, 한국어 모음/자음 발음 및 영어 모음/자음 발음의 공명점들(Resonance Frequencies) 중 포먼트(Formant) 주파수의 공명점이 시각화된 차트를 저장하는 저장수단; 상기 차트가 디스플레이되는 디스플레이수단; 학습자로부터 음성을 입력받는 음성입력수단; 입력된 상기 음성을 분석하여 상기 음성의 포먼트 주파수의 공명점을 추출하는 분석/추출수단; 및 추출된 상기 공명점을 상기 차트 중 해당 위치에 디스플레이시키는 제어수단; 을 포함하는 것을 특징으로 하는 음성분석기술을 이용한 시각적 영어 발음 교정시스템을 제공한다.In order to achieve the above object, the present invention includes a storage means for storing a visualized chart of the resonance point of the formant frequency of the resonance Frequencies of Korean vowel / consonant pronunciation and English vowel / consonant pronunciation; Display means for displaying the chart; Voice input means for receiving a voice from a learner; Analysis / extraction means for extracting a resonance point of the formant frequency of the speech by analyzing the input speech; And control means for displaying the extracted resonance point at a corresponding position in the chart. It provides a visual English pronunciation correction system using a voice analysis technology comprising a.
이상에서 설명한 바와 같이 본 발명에 의하면, 학습자는 차트를 보고 한국어 모음/자음 발음과 영어 모음/자음 발음의 차이점을 인식하면서 자신의 영어 모음 발음이 원어민의(표준) 모음 발음과 어느 정도 유사한지 파악할 수 있으며, 영어 모음과 가까운 또는 동일한 발음을 하도록 유도하여 학습자가 자신의 발음이 잘못된 부분을 손쉽게 인지하고 스스로 교정할 수 있는 효과가 있다.As described above, according to the present invention, the learner can grasp the difference between the Korean vowel / consonant pronunciation and the English vowel / consonant pronunciation while looking at the chart to determine how similar the native vowel pronunciation is to the native speaker's (vowel) vowel pronunciation. By inducing the pronunciation to be close to or the same as the English vowel, the learner can easily recognize the wrong part of his pronunciation and correct itself.
따라서 학습자는 신속하고 용이하게 발음을 교정할 수 있기 때문에 학습이 좀 더 효율적으로 수행될 수 있고, 학습속도 및 효과를 증진시킬 수 있는 효과가 있다.Therefore, since the learner can correct the pronunciation quickly and easily, the learning can be performed more efficiently, and the learning speed and the effect can be enhanced.
또, 학습자가 하는 모음 발음과 표준 모음 발음의 위치가 매치되는지 용이하게 확인할 수 있으므로, 학습자가 자신의 발음을 좀 더 정교하게 교정할 수 있는데 많은 도움이 되는 효과가 있다.In addition, since the learner can easily check whether the vowel pronunciation and the location of the standard vowel match match, the learner can correct his pronunciation more precisely.
도 1은 본 발명의 일 실시예에 따른 음성분석기술을 이용한 시각적 영어 발음 교정시스템이 구성을 개략적으로 도시한 블록도이다.
도 2a 내지 도 2c는 각각 본 발명의 일 실시예에 따른 음성분석기술을 이용한 시각적 영어 발음 교정법 중 영어의 모음, 자음, 마찰음 발음 교정을 위한 흐름도이다.
도 3 내지 도 7은 도 1 내지 도 2c를 설명하기 위한 예시도이다.1 is a block diagram schematically illustrating a configuration of a visual English pronunciation correction system using a voice analysis technology according to an embodiment of the present invention.
2A to 2C are flowcharts for correcting vowels, consonants, and trillion pronunciation of English in visual English pronunciation correction using voice analysis techniques according to an embodiment of the present invention.
3 to 7 are exemplary diagrams for describing FIGS. 1 to 2C.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. First of all, in adding reference numerals to the components of each drawing, it should be noted that the same reference numerals are used as much as possible even if displayed on different drawings. In addition, in describing the present invention, when it is determined that the detailed description of the related well-known configuration or function may obscure the gist of the present invention, the detailed description thereof will be omitted.
<시스템에 대한 설명><Description of System>
도 1은 본 발명의 일 실시예에 따른 음성분석기술을 이용한 시각적 영어 발음 교정시스템의 구성을 개략적으로 도시한 블록도이다.1 is a block diagram schematically showing the configuration of a visual English pronunciation correction system using a voice analysis technology according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 음성분석기술을 이용한 시각적 영어 발음 교정시스템(이하, '교정시스템'이라고 칭함)(100)은 음성분석기술을 활용하여 한국어와 영어의 모음, 자음, 마찰음, 강세 및 억양을 분석하여 시각적으로 표현한다.Referring to FIG. 1, a visual English pronunciation correction system (hereinafter, referred to as a 'correction system') 100 using voice analysis technology according to an embodiment of the present invention utilizes a voice analysis technology to collect Korean and English vowels, Visually analyze consonants, friction sounds, stresses, and intonations.
먼저, 영어의 모음 발음 교정을 위한 상기 교정시스템(100)은 한국어 모음 발음 및 영어 모음 발음의 공명점들(Resonance Frequencies) 중 포먼트(Formant) 주파수의 공명점이 시각화된 차트(그래프)를 저장하는 저장수단(110)과, 상기 차트가 디스플레이되는 디스플레이수단(120)과, 학습자로부터 음성(발음)을 입력받는 음성입력수단(130)과, 입력된 상기 음성을 분석하여 상기 음성의 포먼트 주파수의 공명점을 추출하는 분석/추출수단(140) 및 추출된 상기 공명점을 상기 차트 중 해당 위치에 디스플레이시키는 제어수단(150)을 포함하고, 상기 저장수단(110)은 분석된 결과를 저장하는 것을 특징으로 한다.First, the
여기서, 상기 포먼트 주파수는 사람의 성대와 비도에서 발생하는 공진주파수(성도의 공명주파수)로써, 성도의 기하학적인 모양에 따라 달라지며, 유성음 중에서 모음을 구별하는데 많이 사용된다.Here, the formant frequency is a resonant frequency (resonance frequency of the vocal tract) generated in human vocal cords and nasal passages, and depends on the geometrical shape of the vocal tract, and is widely used to distinguish vowels among voiced sounds.
이러한 상기 포먼트 주파수 중 가장 낮은 두 개의 주파수를 제 1(F1)과 제 2(F2) 포먼트 주파수라고 하며, 모음은 도 3과 같이 상기 F1과 F2 포먼트 주파수로 이루어진 주파수평면상 해당 위치에 점(공명점)으로 표시된다.The two lowest frequencies of the formant frequencies are called first (F1) and second (F2) formant frequencies, and the vowels are located at corresponding positions on the frequency plane formed of the F1 and F2 formant frequencies as shown in FIG. 3. It is represented by a point (resonance point).
본 발명에서도 상기 저장수단(110)에 저장된 상기 포먼트 주파수는 F1과 F2 포먼트 주파수로, 상기 F1과 F2 포먼트 주파수의 공명점은 시각화되어 실제 한국어 모음 발음 및 영어 모음 발음 시의 혀의 위치가 상기 차트에 시각적으로 구현된다.In the present invention, the formant frequencies stored in the storage means 110 are F1 and F2 formant frequencies, and the resonance points of the F1 and F2 formant frequencies are visualized so that the position of the tongue during actual Korean vowel pronunciation and English vowel pronunciation Is visually implemented in the chart.
즉, 상기 차트에 시각화되어 나타나는 공명점의 위치는 모음 발음 시 혀의 위치에 대응되며, 이를 이용해 한국어 모음 발음 및 영어 모음 발음의 차이를 시각적으로 표현한 차트를 보기 쉽게 상기 디스플레이수단을 통하여 학습자에게 제공한다.That is, the position of the resonance point visualized on the chart corresponds to the position of the tongue during vowel pronunciation, and provides the learner to the learner through the display means so that the chart visually expresses the difference between the Korean vowel pronunciation and the English vowel pronunciation. do.
그리고 학습자의 발음에 해당하는 공명점이 상기 차트 상에 실시간으로 디스플레이된다.The resonance point corresponding to the learner's pronunciation is displayed on the chart in real time.
이로 인해, 학습자는 상기 차트를 보고 한국어 모음 발음과 영어 모음 발음의 차이점을 인식하면서 자신의 영어 모음 발음이 원어민의(표준) 모음 발음과 어느 정도 유사한지 파악할 수 있다.Accordingly, the learner can grasp the difference between the Korean vowel pronunciation and the English vowel pronunciation while looking at the chart to determine how similar the vowel pronunciation of the native speaker is to the native vowel pronunciation.
또한, 영어 모음과 가까운 또는 동일한 발음을 하도록 유도하여 학습자는 자신의 발음이 잘못된 부분을 손쉽게 인지하고, 스스로 신속하고 용이하게 발음을 교정할 수 있기 때문에 학습이 좀 더 효율적으로 수행될 수 있고, 학습속도 및 효과를 증진시킬 수 있다.In addition, by learning to pronounce near or the same pronunciation as the English vowel, the learner can easily recognize the wrong part of his pronunciation and can correct the pronunciation quickly and easily, so that learning can be performed more efficiently. Speed and effectiveness can be enhanced.
또, 학습자가 하는 모음 발음과 표준 모음 발음의 위치가 매칭되는지 용이하게 확인할 수 있으므로, 학습자가 자신의 발음을 좀 더 정교하게 교정할 수 있는데 많은 도움이 된다.
In addition, the learner can easily check whether the vowel pronunciation and the position of the standard vowel pronunciation match, so that the learner can correct his pronunciation more precisely.
다음, 영어의 자음 발음 교정을 위한 상기 교정시스템(100)은 한국어 자음 발음 및 영어 자음 발음의 공명점들(Resonance Frequencies) 중 포먼트(Formant) 주파수의 공명점이 시각화된 차트를 저장하는 저장수단(110)과, 상기 차트가 디스플레이되는 디스플레이수단(120)과, 학습자로부터 음성을 입력받는 음성입력수단(130)과, 입력된 상기 음성을 분석하여 포먼트 주파수의 공명점을 추출하는 분석/추출수단(140) 및 추출된 상기 공명점을 상기 차트 중 해당 위치에 디스플레이시키는 제어수단(150)을 포함하고, 상기 저장수단(110)은 분석된 결과를 저장하는 것을 특징으로 한다.Next, the
이때, 상기 교정시스템(100)은 두 가지의 다른 시각적인 표출방식을 통하여 제공되며, 학습자가 자신에게 맞는 표출방식을 선택할 수 있도록 함으로써, 효과적인 발음 교정이 가능하도록 하는 것이 바람직하다.In this case, the
첫 번째는 F1과 F2 포먼트 주파수의 공명점을 이용한 영어 자음 발음 교정으로 전술한 모음 발음 교정과 유사하므로, 자세한 설명은 하기 <방법에 대한 설명>에서 예를 들어 설명하기로 한다.The first is an English consonant pronunciation correction using the resonance points of the F1 and F2 formant frequencies, which is similar to the vowel pronunciation correction described above, and thus, a detailed description thereof will be described by way of example.
두 번째는 LPC(Linear Predictiver Coding) 피크 파형분석을 이용한 영어 자음 발음 교정으로, 여기서는 F1, F2 및 F3 포먼트 주파수의 공명점을 시각화하는 방법을 이용한다.Second, English consonant pronunciation correction using Linear Predictiver Coding (LPC) peak waveform analysis is used to visualize the resonance points of F1, F2, and F3 formant frequencies.
즉, 상기 저장수단(110)은 상기 한국어 자음 발음 및 영어 자음 발음의 공명점들 중 F1, F2 및 F3 포먼트 주파수의 공명점이 피크 형태로 시각화된 차트를 저장하고, 상기 분석/추출수단(140)은 상기 음성입력수단(130)으로 입력된 음성을 LPC 피크 파형분석을 통해 분석하여 도 5a나 도 5b와 같이 상기 음성의 F1, F2 및 F3 포먼트 주파수의 공명점을 추출하는 것을 특징으로 한다.That is, the storage means 110 stores a chart in which the resonance points of F1, F2, and F3 formant frequencies are visualized in peak form among the resonance points of the Korean consonant pronunciation and the English consonant pronunciation, and the analysis / extraction means 140 ) Extracts the resonance points of the F1, F2 and F3 formant frequencies of the voice as shown in FIG. 5A or 5B by analyzing the voice input to the
이러한 LPC 피크 파형분석으로 인해, F1, F2, F3의 위치, 및 F1과 F2 포먼트 주파수 또는 F2와 F3 포먼트 주파수 간의 거리차이를 시각적으로 인식할 수 있고, 이를 학습한 학습자가 영어 자음 발음 시, 시각적으로 정확한(원어민의) 영어 자음 발음 시에 나타나는 그래프와 학습자의 영어 자음 발음 시에 나타나는 그래프의 차이를 비교하면서 교정이 가능하기 때문에 학습자가 영어 자음 발음과 가깝게 발음하도록 유도할 수 있다.
This LPC peak waveform analysis enables visual recognition of the position of F1, F2, F3, and the distance difference between the F1 and F2 formant frequencies or the F2 and F3 formant frequencies. In addition, since the correction can be performed by comparing the difference between a graph that is visually correct (native speaker's) and a graph that is displayed when the learner's English consonant is pronounced, the learner can be induced to pronounce closer to the English consonant.
다음, 영어의 자음 중 마찰음 발음 교정을 위한 상기 교정시스템(100)은 한국어 마찰음 및 영어 마찰음 발음의 조음점(Place Of Articulation)의 위치적 차이에 따른 주파수 대역이 시각화된 차트를 저장하는 저장수단(110)과, 상기 차트가 디스플레이되는 디스플레이수단(120)과, 학습자로부터 음성을 입력받는 음성입력수단(130)과, 입력된 상기 음성을 분석하여 주파수 대역을 추출하는 분석/추출수단(140) 및 추출된 상기 주파수 대역을 차트로 디스플레이시키는 제어수단(150)을 포함하고, 상기 저장수단(110)은 분석된 결과를 저장하는 것을 특징으로 한다.Next, the
한국어 마찰음은 /ㅅ, ㅆ, ㅎ/이 있고 영어 마찰음은 /s,∫, θ/가 있는데, 한국어 마찰음 /ㅅ/ 발음과 영어 마찰음 /s,∫, θ/ 발음들은 혀가 구강 내에서 접촉을 일으키는 조음점(Place Of Articulation)이 다르기 때문에 FFT(Faster Fourier Transform) 주파수의 범위분석을 통해 강조된 주파수의 위치를 시각화하여 학습자에게 제공한다.Korean rubbing sounds include / ㅅ, ㅆ, ㅎ / and English rubbing sounds include / s, ∫, θ /, and Korean rubbing sounds / ㅅ / pronunciations and English rubbing sounds / s, ∫, θ / pronunciations. Since the place of articulation is different, the range of the Fourier Fourier Transform (FFT) frequency is visualized and the learner is visualized by the position of the highlighted frequency.
다시 말해, 상기 분석/추출수단(140)은 상기 음성입력수단(130)으로부터 입력된 음성을 FFT(Faster Fourier Transform) 주파수 분석을 통해 분석하고, 이를 차트로 시각화하여 상기 저장수단(110)에 저장하고, 이를 도 6과 같이 디스플레이한다.In other words, the analysis / extraction means 140 analyzes the voice input from the voice input means 130 through Fast Fourier Transform (FFT) frequency analysis, visualizes it in a chart, and stores it in the storage means 110. And it is displayed as shown in FIG.
특히, 디스플레이되는 상기 주파수 대역 중 상기 한국어 마찰음 및 영어 마찰음 발음을 위해 강조될 필요가 있는 주파수 대역에는 다른 주파수 대역과 차별되도록 표시한다.In particular, the frequency bands that need to be emphasized for the pronunciation of the Korean rubbing and English rubbing are displayed to be distinguished from other frequency bands.
따라서 학습자는 영어 마찰음 발음을 교정 학습한 후에, 발음 시 학습자의 발음에 따라 증가하거나 감소하는 주파수 대역을 실시간으로 눈으로 확인하면서 교정할 수 있기 때문에 효과적이다.Therefore, the learner is effective because after correcting and learning the English rubbing pronunciation, visually correcting the frequency band increasing or decreasing according to the learner's pronunciation during pronunciation.
또한, 강조된 주파수 대역의 위치를 눈에 띄도록 다른 색이나 영역으로 표시함에 따라, 학습자는 강조된 영역을 보다 쉽게 인식하면서 발음을 할 수 있기 때문에 원어민의 영어 마찰음 발음에 가깝도록 교정할 수 있다.
In addition, as the position of the highlighted frequency band is displayed in a different color or area so as to stand out, the learner can recognize the highlighted area more easily and can pronounce it, thereby correcting the pronunciation of the native English speaker.
마지막으로, 영어의 강세/억양 교정을 위한 상기 시스템(100)은 한국식 강세(리듬, 소리의 강약)와 억양(소리의 높낮이)으로 영어 문장을 읽을 경우 및 상기 영어 문장을 영어식(표준) 강세와 억양으로 읽을 경우의 주파수 대역이 시각화된 차트를 저장하는 저장수단(110)과, 상기 차트가 디스플레이되는 디스플레이수단(120)과, 학습자로부터 음성을 입력받는 음성입력수단(130)과, 입력된 상기 음성을 분석하여 억양을 추출하는 분석/추출수단(140) 및 추출된 억양을 상기 차트 중 해당 위치에 디스플레이시키는 제어수단(150)을 포함하고, 상기 저장수단(110)은 분석된 결과를 저장하는 것을 특징으로 한다.Finally, the
일반적으로 한국어는 음절 박자 언어이기 때문에 음절 간의 길이가 유사하고 강약에 변화가 크게 없으며, 억양의 경우에도 문장 전체를 읽는 동안 큰 변화가 없다.In general, because Korean is a syllable rhythm language, the length between syllables is similar and there is no significant change in strength and weakness.
반면에 영어는 강세가 소리의 크기 및 길이를 조절하는 강세 박자 언어이기 때문에 강세가 있는 단어의 모음이 강세가 없는 단어보다 길이가 길어지고, 또한 음향의 차이도 강세의 유무에 따라 확연히 달라지는 특징이 있다. 그리고 억양의 경우에도 영어의 경우에는 문장의 핵심 내용들인 내용어(주어, 동사, 목적어, 보어)들은 단어를 시작할 때는 높은 음조로 시작해서 단어가 끝날 때는 낮은 음조로 소리의 높낮이가 급격히 변화하는 특징이 있다.On the other hand, because English is an accent beat language that controls the size and length of the sound, the vowels of accented words are longer than words without accents, and the difference in sound varies significantly depending on the presence or absence of accents. have. And in the case of intonation, in the case of English, the core words of the sentence (main words, verbs, object words, bore) begin with a high pitch at the beginning of a word and a low pitch at the end of the word. There is this.
이러한 특징들을 이해하고 학습자가 영어식 리듬, 억양으로 읽기를 학습 후에 자신의 리듬과 억양이 어느 정도 영어식 리듬과 억양으로 변화되는지를 학습자 스스로 눈으로 직접 확인하며 학습이 가능하다.After understanding these characteristics, learners can learn to read their own rhythms and intonations after learning with English rhythms and intonations.
즉, 기존처럼 청각만으로 원어민의 억양을 판단한 후, 자신의 발음이 적정한 억양을 띄고 있는지 알지 못한 채 무작정 이를 모방하던 상황에서 벗어서, 시각적으로 양자간의 차이점을 인식하면서 학습할 수 있게 됨으로써 학습 효율이 향상되고 자신의 단점을 손쉽게 인지하여 교정할 수 있다.In other words, after judging the accent of a native speaker by hearing alone, the learning efficiency can be improved by being able to learn while visually recognizing the difference between the two without being able to imitate it without knowing whether the pronunciation of the native speaker is appropriate. You can easily recognize your own shortcomings and correct them.
또한, 학습자의 억양과 원어민의 억양차를 계량화하고 수치화하여 학습자가 매번 자신의 발성이 어느 정도 향상되었는지를 점수로 파악할 수 있게 할 수도 있으며, 이러한 점수화는 곧 학습자 스스로 학습 동기를 유발하는 좋은 계기로 작용할 수 있다.
In addition, quantification and quantification of learner's intonation and native speaker's intonation difference can help learners to grasp how much their voices have improved each time as a score. Can work.
<방법에 대한 설명><Description of the method>
본 발명의 일 실시예에 따른 음성분석기술을 이용한 시각적 영어 발음 교정법에 대해서 도 2a 내지 도 2c에 도시된 흐름도와 더불어 도 3 내지 도 7에 도시된 예시도를 참조하여 설명한다.A visual English pronunciation correction method using a voice analysis technique according to an embodiment of the present invention will be described with reference to the exemplary diagrams shown in FIGS. 3 to 7 along with the flowcharts shown in FIGS. 2A to 2C.
도 2a 내지 도 2c는 각각 본 발명의 일 실시예에 따른 음성분석기술을 이용한 시각적 영어 발음 교정법 중 영어의 모음, 자음, 마찰음 발음 교정을 위한 흐름도이다.2A to 2C are flowcharts for correcting vowels, consonants, and trillion pronunciation of English in visual English pronunciation correction using voice analysis techniques according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 음성분석기술을 이용한 시각적 영어 발음 교정법은 음성분석기술을 활용하여 한국어와 영어의 모음, 자음, 마찰음, 강세 및 역양을 분석하여 시각적으로 표현한다.
Visual English pronunciation correction method using the voice analysis technology according to an embodiment of the present invention visually analyzes the vowels, consonants, friction sounds, stress and backlash of Korean and English using the voice analysis technology.
영어의 모음 발음 교정을 위한 상기 교정법(도 2a)은 다음과 같다.The correction method for correcting vowel pronunciation in English is as follows.
상기 저장수단(110)이 한국어 모음 발음 및 영어 모음 발음의 공명점들 중 포먼트 주파수의 공명점이 시각화된 차트를 저장하고(S211), 상기 디스플레이수단(120)은 상기 차트를 디스플레이한다(S212).The storage means 110 stores a chart in which the resonance point of the formant frequency is visualized among the resonance points of the Korean vowel pronunciation and the English vowel pronunciation (S211), and the display means 120 displays the chart (S212). .
그리고 음성입력수단(130)은 학습자로부터 음성을 입력받고(S213), 상기 분석/추출수단(140)은 입력된 상기 음성을 분석하여 포먼트 주파수의 공명점을 추출한다(S214).In addition, the
그 다음 상기 제어수단(150)은 추출된 상기 공명점을 상기 차트 중 해당 위치에 디스플레이시키도록 신호를 출력하고(S215), 상기 디스플레이수단(120)이 상기 제어수단(150)으로부터 신호를 수신함에 따라 상기 정보들은 학습자에게 제공되며(S216), 이러한 일련의 과정 중 발생된 분석 결과는 상기 저장수단(110)에 저장된다(S217).Then, the control means 150 outputs a signal to display the extracted resonance point at a corresponding position in the chart (S215), and the display means 120 receives the signal from the control means 150. Accordingly, the information is provided to the learner (S216), and the analysis result generated during this series of processes is stored in the storage means 110 (S217).
상기 저장수단(110)에 저장된 차트는 구강 내 모음 발음 시 고정되는 혀의 위치를 점으로 표출하여 영어와 한국어의 공명점들의 차이를 보여주는 차트로, 도 3과 같이 제공되며, 이에 관해서는 상기 <시스템에 대한 설명>에 자세히 서술하였으므로 생략하기로 하고, 모음 중에서 몇 가지를 예로 들어 설명하기로 한다.The chart stored in the storage means 110 is a chart showing the difference between the resonant points of English and Korean by expressing the position of the tongue fixed in the oral vowel pronunciation as a dot, is provided as shown in FIG. Since the system is described in detail>, it will be omitted and some examples of the collection will be described.
도 4a를 참조하여 영어 모음 /i/ 발음을 하기 위해 한국어 모음 /이/ 발음의 공명점의 위치를 활용하는 경우를 살펴보면, /이/와 /i/ 발음의 공명점의 위치는 다르고, 상기 차트를 보고 학습자가 이러한 양자간 위치차이를 시각적으로 인식하면서 상기 위치차이가 좁아지도록 발음을 교정할 수 있도록 한다.Looking at the case of using the location of the resonance point of the Korean vowel / yi / pronunciation to pronounce the English vowel / i / with reference to Figure 4a, the position of the resonance point of / i / and / i / pronunciation is different, the chart The learner can visually recognize the positional difference between the two, thereby correcting the pronunciation to narrow the positional difference.
또, 도 4b를 참조하여 영어 모음 /I/ 발음을 하기 위해 한국어 모음 /이/ 발음의 공명점의 위치를 활용하는 경우를 살펴보면, 학습자가 /I/를 정확하게 발음하기 위해서 /이/를 기준으로 /에/ 방향으로 약간만 혀의 위치를 이동시켜야 한다는 것을 손쉽게 알 수 있는데, 이는 학습자가 자신의 혀의 위치를 시각적으로 확인하면서 /I/를 발음하기 위한 혀의 위치를 어디로 이동시켜야 하는지 알 수 있게 하며, 혀의 위치를 /I/ 발음을 위한 위치로 이동시키도록 조력할 수 있다.In addition, referring to FIG. 4B, a case in which the position of the resonance point of the Korean vowel / Yi / pronunciation is used to pronounce the English vowel / I / is described. It's easy to see that you only need to move the tongue a little in // direction, which allows the learner to visually see where his tongue is and to know where to move the tongue to pronounce / I /. It can help to move the position of the tongue to the position for / I / pronunciation.
그리고 학습자의 발음 시, 상기 차트에 나타나는 공명점이 /I/ 발음과 동일한 위치에 나타나게 되면 학습자의 발음은 원어민(표준)의 /I/ 발음과 일치하는 것이 되며, 이로 인해 정확한 영어 발음이 구현될 수 있는 것이다.
And when the learner's pronunciation, the resonance point shown in the chart appears in the same position as the / I / pronunciation, the pronunciation of the learner is to match the / I / pronunciation of the native speaker (standard), which can ensure accurate English pronunciation It is.
다음, 영어의 자음 발음 교정을 위한 상기 교정법(도 2b)은 다음과 같다.Next, the correction method for correcting consonant pronunciation of English (FIG. 2B) is as follows.
상기 저장수단(110)이 한국어 자음 발음 및 영어 자음 발음의 공명점들 중 포먼트 주파수의 공명점이 시각화된 차트를 저장하고(S221), 상기 디스플레이수단(120)은 상기 차트를 디스플레이한다(S222).The storage means 110 stores a chart in which the resonance point of the formant frequency among the resonance points of the Korean consonant pronunciation and the English consonant pronunciation is visualized (S221), and the display means 120 displays the chart (S222). .
그리고 음성입력수단(230)은 학습자로부터 음성을 입력받고(S223), 상기 분석/추출수단(240)은 입력된 상기 음성을 분석하여 포먼트 주파수의 공명점을 추출한다(S224).The voice input unit 230 receives a voice from a learner (S223), and the analysis / extraction unit 240 analyzes the input voice to extract a resonance point of formant frequency (S224).
그 다음 상기 제어수단(250)은 추출된 상기 공명점을 상기 차트 중 해당 위치에 디스플레이시키도록 신호를 출력하고(S225), 상기 디스플레이수단(120)이 상기 제어수단(150)으로부터 신호를 수신함에 따라 상기 정보들이 학습자에게 제공되며(S226), 이러한 일련의 과정 중 발생된 분석 결과는 상기 저장수단에 저장된다(S227).Then, the control means 250 outputs a signal to display the extracted resonance point at a corresponding position in the chart (S225), and the display means 120 receives the signal from the control means 150. Accordingly, the information is provided to the learner (S226), and the analysis result generated during this series of processes is stored in the storage means (S227).
이때, 두 가지의 다른 시각적인 표출방식을 통해 학습자에게 제공되며, 효율적인 교정을 위해 양자택일 가능한 것이 바람직하다.At this time, it is provided to the learner through two different visual presentation methods, it is preferable that the alternative possible for efficient calibration.
둘 중 하나의 표출방식에 대해 도 5a를 예로 들어 설명하면, 한국어 자음 중 /ㄹ/ 발음과 영어의 /l/ 발음의 공명점들 중 F1과 F2 포먼트 주파수의 공명점이 시각화되어 차트로 제공되고, 학습자는 상기 차트를 보고 /ㄹ/ 발음을 활용하여 /l/ 발음을 정확하게 발음하도록 교정할 수 있다.Referring to FIG. 5A for one of the expression methods, the resonance points of the F1 and F2 formant frequencies among the resonance points of / ㄹ / pronunciation of Korean consonants and / l / pronunciation of English are provided in a chart. , Learner can look at the chart to correct the pronunciation / l / pronunciation by utilizing / D / pronunciation.
즉, 이러한 방법을 통해 학습자는 한국어 /ㄹ/ 발음과 영어 /l/ 발음의 공명점들 중 F1과 F2 포먼트 주파수의 위치 차이를 이해하고, 학습하여 영어 /l/ 발음 시에 시각적으로 정확한(표준) /l/ 발음 시에 나타나는 F1과 F2의 공명점과 학습자의 /l/ 발음의 차이를 비교하면서 교정이 가능하기 때문에 /l/ 발음 시 정확한 혀의 위치를 이해하는데 효과가 있다.That is, through this method, the learner understands the positional difference between the F1 and F2 formant frequencies among the resonance points of Korean / ㄹ / pronunciation and English / l / pronunciation, and learns visually accurate at English / l / pronunciation. Standard) It is effective to understand the exact tongue position when / l / is pronounced because the correction can be made by comparing the difference between the resonance point of F1 and F2 and the learner's / l / pronunciation.
그리고 또 다른 표출방식에 대해 도 5b를 참조하면, 한국어 /ㄹ/ 발음의 공명점과 영어 /r/ 발음의 공명점인 F1, F2, F3이 피크 형태로 상기 차트에 나타난다.In addition, referring to FIG. 5B for another display method, F1, F2, and F3, which are the resonance points of Korean / ㄹ / pronunciation and the English / r / pronunciation resonance peaks, appear in the chart.
이렇게 표출되는 상기 차트를 보고 학습자는 한국어 /ㄹ/ 발음과 영어 /r/ 발음의 공명점들 중 F2와 F3 포먼트 주파수의 위치 및 두 간격사이의 거리차이를 이해하면서 학습할 수 있고, /r/ 발음 시 시각적으로 정확한(표준) /r/ 발음 시에 나타나는 그래프와 학습자의 /r/ 발음의 차이를 비교하면서 교정이 가능하기 때문에 /r/ 발음 시 본인 스스로 정확한 혀의 위치를 이해하는데 효과가 있다.Based on the above chart, the learner can learn while understanding the position of F2 and F3 formant frequencies and the distance difference between the two intervals among the resonance points of Korean / ㄹ / pronunciation and English / r / pronunciation, and / r It is effective to understand the exact position of the tongue when / r / is pronounced because / r / pronunciation can be corrected by comparing the difference between the student's / r / pronunciation and the visually accurate (standard) / r / pronunciation graph. have.
여기서, 한국어 /ㄹ/ 발음의 LPC 피크 파형분석을 통한 F1, F2, F3의 위치를 살펴보면 그래프 상 한국어 /ㄹ/ 발음은 전체 0~3000Hz 대역의 그래프에서 1500Hz를 중심으로 F2와 F3 피크가 오른쪽으로 치우쳐 있고, F2와 F3의 간격이 약 800~1000Hz 정도의 간격이 있음을 알 수 있다.Here, looking at the positions of F1, F2, and F3 through LPC peak waveform analysis of Korean / ㄹ / pronunciation, the Korean / ㄹ / pronunciation on the graph shows the F2 and F3 peaks to the right centering on 1500Hz in the graph of the entire 0 ~ 3000Hz band. It is biased, and the interval between F2 and F3 is about 800 ~ 1000Hz.
그리고 영어 /r/ 발음의 LPC 피크 파형분석을 통한 F1, F2, F3의 위치를 살펴보면 그래프 상 영어 /r/ 발음은 전체 0~3000Hz 대역의 그래프에서 1500Hz를 중심으로 F2와 F3 피크가 가운데 쪽에 위치해 있고, F2와 F3의 간격이 약 200~500Hz 정도로 좁아져 있음을 알 수 있다.In addition, when looking at the locations of F1, F2, and F3 through the LPC peak waveform analysis of English / r / pronunciation, the English / r / pronunciation on the graph shows that the peaks F2 and F3 are centered on the center of 1500Hz in the graph of the entire 0 ~ 3000Hz band. It can be seen that the interval between F2 and F3 is narrowed to about 200 to 500 Hz.
이러한 차이를 통해서 /r/ 발음 교정 학습 후에 학습자는 /r/ 발음 시 학습자의 발음의 공명점 중 F2와 F3이 LPC 응답화면에서 /r/과 유사하게 이동되었는지 확인하면서 교정할 수 있기 때문에 효과적이다.
This difference is effective because the learner can correct the pronunciation of / r / by checking that F2 and F3 are similar to / r / on the LPC response screen. .
다음, 영어의 마찰음 발음 교정을 위한 상기 교정법(도 2c)은 다음과 같다.Next, the correction method for correcting the friction sound pronunciation of English (FIG. 2C) is as follows.
상기 저장수단(110)은 한국어 마찰음 및 영어 마찰음 발음의 조음점(Place Of Articulation)의 위치적 차이에 따른 주파수 대역이 시각화된 차트를 저장하고(S231), 상기 디스플레이수단(120)은 상기 차트를 디스플레이한다(S232).The storage means 110 stores a chart in which the frequency band is visualized according to the positional difference between the place of articulation of the Korean rubbing sound and the English rubbing sound (S231), and the display means 120 displays the chart. (S232).
그리고 상기 음성입력수단(130)은 학습자로부터 음성을 입력받고(S233), 상기 분석/추출수단(140)은 입력된 상기 음성을 분석하여 주파수 대역을 추출한다(S234).In addition, the
그러면 상기 제어수단(150)은 추출된 상기 주파수 대역을 상기 차트 중 해당 위치에 디스플레이시키도록 신호를 출력하고(S235), 상기 디스플레이수단(120)이 상기 제어수단(150)으로부터 신호를 수신함에 따라 상기 정보들이 학습자에게 제공되며(S236), 이러한 일련의 과정 중 발생된 분석 결과는 상기 저장수단(110)에 저장된다(S237).Then, the control means 150 outputs a signal to display the extracted frequency band at a corresponding position in the chart (S235), and as the display means 120 receives a signal from the control means 150. The information is provided to the learner (S236), and the analysis result generated during this series of processes is stored in the storage means 110 (S237).
이러한 과정에 대해서는 도 6을 참조하여 설명하기로 한다.This process will be described with reference to FIG. 6.
한국어 마찰음 /ㅅ/을 활용하여 영어 마찰음 /s/ 발음을 정확하게 하도록 교정하기 위해서 상기 두 발음에 관한 FFT 주파수 범위 분석을 통한 주파수 대역을 그래프로 표시한다.In order to correct the English rubbing sound / s / pronunciation using the Korean rubbing sound / s /, the frequency band is analyzed through the FFT frequency range analysis for the two pronunciations.
상기 그래프를 보면 한국어 /ㅅ/은 저(0~3000Hz)의 소리가 없으며, 중, 고역대인 6000Hz 주변에서 가장 큰 음량이 분포되어 있는 것을 알 수 있다.Looking at the graph, Korean / s / has no low (0 ~ 3000Hz) of the sound, it can be seen that the highest volume is distributed around the mid-high frequency 6000Hz.
그리고 영어 /s/는 조음점이 치경(윗잇몸; Alveolar ridge)이기 때문에 한국어 /ㅅ/에 비해서 저역대 주파수 음량이 적고, 8000Hz 이상의 고역대 주파수의 음량이 더 큰 것을 알 수 있다.And because English / s / is the alveolar ridge of the articulation point, it can be seen that the volume of the low frequency band is lower than that of Korean / ㅅ /, and the volume of the high frequency frequency of 8000 Hz or more is higher.
이러한 차이를 학습자가 시각적으로 인식하고, /s/ 발음 시 학습자의 발음에 따른 증가하거나 감소하는 주파수 대역을 실시간으로 눈으로 확인할 수 있으며, 이에 따라 자신의 발음이 표준 발음과 얼마나 유사한지를 손쉽게 알면서 교정할 수 있으므로 효과적이다.
The learner visually recognizes these differences and can visually check the frequency bands that increase or decrease according to the learner's pronunciation in / s / pronunciation, making it easy to see how similar his pronunciation is to the standard pronunciation. It is effective because we can do it.
마지막으로, 영어의 강세/억양 교정을 위한 상기 교정법은 전술한 <시스템에 대한 설명>과 유사하므로 도 7을 참조하여 예만 살펴보기로 한다.Finally, the calibration method for the accent / accent correction in English is similar to the above-described <system description> will be described only with reference to FIG.
도 7은 "I gave her a box."의 한국어식 발음과 영어식 발음에 따른 리듬과 억양의 변화를 나타내는 그래프를 나타낸다.7 is a graph showing changes in rhythm and intonation according to Korean pronunciation and English pronunciation of "I gave her a box."
이러한 그래프를 보면, 한국어 발음을 기반으로 한 문자 읽기를 하는 경우에는 각 모음들 간의 길이가 비교적 균등하고 전체적인 리듬 및 억양의 변화가 크지 않다는 것을 알 수 있다.From these graphs, it can be seen that when reading letters based on Korean pronunciation, the lengths between the vowels are relatively uniform, and the overall rhythm and intonation change is not large.
그리고 영어식 리듬 및 억양을 기반으로 한 문장 읽기의 경우에는 단어의 문장 내에서의 중요도에 따른 강세의 유무에 따라서 각 모음들 간의 길이가 다르게 나타나며, 억양의 경우에도 내용어 'gave'와 'box'에서 소리의 높낮이의 확연한 변화를 확인할 수 있다.In the case of reading sentences based on English rhythm and intonation, the lengths of the vowels vary depending on the importance of the importance in the sentence of the word.In the case of intonation, the contents words 'gave' and 'box' ', You can see a noticeable change in the pitch of the sound.
이러한 차이점을 바탕으로 학습자는 자신이 하는 발음이 그래프에 나타나는 형태를 보고, 자신의 발음이 영어식 발음과 유사하도록 리듬 및 억양을 시각적으로 확인하면서 교정할 수 있다.
Based on these differences, the learner can see how his pronunciation appears in the graph and can correct it by visually checking the rhythm and intonation so that his pronunciation is similar to the English pronunciation.
한편, 전술한 상기 교정법에 관한 부가적인 설명은 상기 교정시스템에서 설명한 바와 유사하므로, 생략하기로 한다.
On the other hand, since the above-described additional description of the calibration method is similar to that described in the calibration system, it will be omitted.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.
Claims (8)
상기 차트가 디스플레이되는 디스플레이수단;
학습자로부터 음성을 입력받는 음성입력수단;
입력된 상기 음성을 분석하여 상기 음성의 포먼트 주파수의 공명점을 추출하는 분석/추출수단; 및
추출된 상기 공명점을 상기 차트 중 해당 위치에 디스플레이시키는 제어수단; 을 포함하되,
상기 저장수단은 상기 한국어 자음 발음 및 영어 자음 발음의 공명점들 중 F1, F2 및 F3 포먼트 주파수의 공명점이 피크 형태로 시각화된 차트를 저장하고, 상기 분석/추출수단은 상기 음성입력수단으로 입력된 음성을 LPC(Linear Predictiver Coding) 피크 파형분석을 통해 분석하여 상기 음성의 F1, F2 및 F3 포먼트 주파수의 공명점을 추출하는 것을 특징으로 하는 음성분석기술을 이용한 시각적 영어 발음 교정시스템.Storage means for storing a visualized chart of resonance points of the formant frequency among resonance points of Korean vowel / consonant pronunciation and English vowel / consonant pronunciation;
Display means for displaying the chart;
Voice input means for receiving a voice from a learner;
Analysis / extraction means for extracting a resonance point of the formant frequency of the speech by analyzing the input speech; And
Control means for displaying the extracted resonance point at a corresponding position in the chart; Including,
The storage means stores a chart in which resonance points of F1, F2, and F3 formant frequencies of the resonance points of the Korean consonant pronunciation and the English consonant pronunciation are visualized in a peak form, and the analysis / extraction means is input to the voice input means. A visual English pronunciation correction system using a speech analysis technique characterized in that the extracted speech is analyzed by LPC (Linear Predictiver Coding) peak waveform analysis to extract the resonance point of the F1, F2 and F3 formant frequency of the speech.
상기 차트가 디스플레이되는 디스플레이수단;
학습자로부터 음성을 입력받는 음성입력수단;
입력된 상기 음성을 분석하여 주파수 대역을 추출하는 분석/추출수단; 및
추출된 상기 주파수 대역을 차트로 디스플레이시키는 제어수단; 을 포함하는 것을 특징으로 하는 음성분석기술을 이용한 시각적 영어 발음 교정시스템.Storage means for storing a chart visualizing a frequency band according to a positional difference between a place of articulation of a pronunciation sound of a Korean friction sound and an English friction sound;
Display means for displaying the chart;
Voice input means for receiving a voice from a learner;
Analysis / extraction means for extracting a frequency band by analyzing the input voice; And
Control means for displaying the extracted frequency band in a chart; Visual English pronunciation correction system using a voice analysis technology comprising a.
상기 분석/추출수단은 상기 음성입력수단으로부터 입력된 음성을 FFT(Faster Fourier Transform) 주파수 분석을 통해 분석하는 것을 특징으로 하는 음성분석기술을 이용한 시각적 영어 발음 교정시스템.The method of claim 2,
The analysis / extraction means visual English pronunciation correction system using a voice analysis technology, characterized in that for analyzing the voice input from the voice input means through a Fast Fourier Transform (FFT) frequency analysis.
디스플레이되는 상기 주파수 대역 중 상기 한국어 마찰음 및 영어 마찰음 발음을 위해 강조될 필요가 있는 주파수 대역에는 다른 주파수 대역과 차별되도록 표시하는 것을 특징으로 하는 음성분석기술을 이용한 시각적 영어 발음 교정시스템.The method of claim 2,
The visual English pronunciation correction system using the voice analysis technology, characterized in that the frequency band that needs to be highlighted for the pronunciation of the Korean friction sound and the English friction sound of the displayed frequency band to be distinguished from other frequency bands.
상기 차트를 디스플레이하는 단계;
학습자로부터 음성을 입력받는 단계;
입력된 상기 음성을 분석하여 포먼트 주파수의 공명점을 추출하는 단계; 및
추출된 상기 공명점을 상기 차트 중 해당 위치에 디스플레이시키는 단계; 를 포함하되,
상기 한국어 자음 발음 및 영어 자음 발음의 공명점들 중 포먼트 주파수의 공명점이 피크 형태로 시각화된 차트를 더 저장하고, 상기 음성입력수단으로 입력된 음성을 LPC(Linear Predictiver Coding) 피크 파형분석을 통해 분석하여 포먼트 주파수의 공명점을 추출하는 것을 특징으로 하는 음성분석기술을 이용한 시각적 영어 발음 교정법.Storing a visualized chart of the resonance points of the formant frequencies among the resonance points of the Korean vowel / consonant pronunciation and the English vowel / consonant pronunciation;
Displaying the chart;
Receiving a voice from a learner;
Extracting a resonance point of the formant frequency by analyzing the input voice; And
Displaying the extracted resonance point at a corresponding position in the chart; Including,
Among the resonance points of the Korean consonant pronunciation and the English consonant pronunciation, a form in which the resonance point of the formant frequency is visualized is further stored, and the voice inputted through the voice input means through LPC (Linear Predictiver Coding) peak waveform analysis Visual English pronunciation correction method using speech analysis technology characterized in that the extraction of the resonance point of the formant frequency by analyzing.
상기 차트를 디스플레이하는 디스플레이 단계;
학습자로부터 음성을 입력받는 단계;
입력된 상기 음성을 분석하여 주파수 대역을 추출하는 단계; 및
추출된 상기 주파수 대역을 차트로 디스플레이시키는 단계; 를 포함하는 것을 특징으로 하는 음성분석기술을 이용한 시각적 영어 발음 교정법.Storing a chart in which a frequency band is visualized according to a positional difference between a place of articulation of a pronunciation sound of a Korean friction sound and an English friction sound;
A display step of displaying the chart;
Receiving a voice from a learner;
Extracting a frequency band by analyzing the input voice; And
Displaying the extracted frequency band in a chart; Visual English pronunciation correction method using a voice analysis technology comprising a.
상기 음성입력수단으로부터 입력된 음성을 FFT(Faster Fourier Transform) 주파수 분석을 통해 분석하는 것을 특징으로 하는 음성분석기술을 이용한 시각적 영어 발음 교정법.The method according to claim 6,
Visual English pronunciation correction method using a voice analysis technology characterized in that the voice input from the voice input means to analyze the FFT (Faster Fourier Transform) frequency analysis.
디스플레이되는 상기 주파수 대역 중 상기 한국어 마찰음 및 영어 마찰음 발음을 위해 강조될 필요가 있는 주파수 대역에는 다른 주파수 대역과 차별되도록 표시하는 것을 특징으로 하는 음성분석기술을 이용한 시각적 영어 발음 교정법.The method according to claim 6,
Visual English pronunciation correction method using a voice analysis technology, characterized in that the frequency band that needs to be highlighted for the pronunciation of the Korean friction sound and the English friction sound of the displayed frequency band to be distinguished from other frequency bands.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120030805A KR101599030B1 (en) | 2012-03-26 | 2012-03-26 | System for correcting english pronunciation using analysis of user's voice-information and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120030805A KR101599030B1 (en) | 2012-03-26 | 2012-03-26 | System for correcting english pronunciation using analysis of user's voice-information and method thereof |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020090103657A Division KR101329999B1 (en) | 2009-10-29 | 2009-10-29 | System for correcting english pronunciation using analysis of user's voice-information and method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120040174A true KR20120040174A (en) | 2012-04-26 |
| KR101599030B1 KR101599030B1 (en) | 2016-03-14 |
Family
ID=46140183
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120030805A KR101599030B1 (en) | 2012-03-26 | 2012-03-26 | System for correcting english pronunciation using analysis of user's voice-information and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101599030B1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101326088B1 (en) * | 2010-09-17 | 2013-11-07 | 주식회사 엘지화학 | Cathode Active Material and Lithium Secondary Battery Comprising the Same |
| KR20180019423A (en) | 2016-08-16 | 2018-02-26 | 주식회사 베코스 | Pronunciation learning system able to be corrected by an expert |
| KR20240033423A (en) | 2022-09-05 | 2024-03-12 | 천혜진 | System and Method for Providing speaking practice solution of foreign language |
| KR20240033425A (en) | 2022-09-05 | 2024-03-12 | 천혜진 | System and Method for matching of voice for speaking practice of foreign language |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020030515A (en) * | 2000-10-18 | 2002-04-25 | 서정욱 | Apparatus and its method for studing language using the correction of pronunciation |
| KR20050074298A (en) * | 2004-01-08 | 2005-07-18 | 정보통신연구진흥원 | Pronunciation test system and method of foreign language |
| JP2007122004A (en) * | 2005-09-29 | 2007-05-17 | National Institute Of Advanced Industrial & Technology | Pronunciation diagnostic device, pronunciation diagnostic method, recording medium, and pronunciation diagnostic program |
-
2012
- 2012-03-26 KR KR1020120030805A patent/KR101599030B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020030515A (en) * | 2000-10-18 | 2002-04-25 | 서정욱 | Apparatus and its method for studing language using the correction of pronunciation |
| KR20050074298A (en) * | 2004-01-08 | 2005-07-18 | 정보통신연구진흥원 | Pronunciation test system and method of foreign language |
| JP2007122004A (en) * | 2005-09-29 | 2007-05-17 | National Institute Of Advanced Industrial & Technology | Pronunciation diagnostic device, pronunciation diagnostic method, recording medium, and pronunciation diagnostic program |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101326088B1 (en) * | 2010-09-17 | 2013-11-07 | 주식회사 엘지화학 | Cathode Active Material and Lithium Secondary Battery Comprising the Same |
| KR20180019423A (en) | 2016-08-16 | 2018-02-26 | 주식회사 베코스 | Pronunciation learning system able to be corrected by an expert |
| KR20240033423A (en) | 2022-09-05 | 2024-03-12 | 천혜진 | System and Method for Providing speaking practice solution of foreign language |
| KR20240033425A (en) | 2022-09-05 | 2024-03-12 | 천혜진 | System and Method for matching of voice for speaking practice of foreign language |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101599030B1 (en) | 2016-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Arias et al. | Automatic intonation assessment for computer aided language learning | |
| Eskenazi | An overview of spoken language technology for education | |
| US9947322B2 (en) | Systems and methods for automated evaluation of human speech | |
| KR100733469B1 (en) | Pronunciation Test System and Method of Foreign Language | |
| KR101329999B1 (en) | System for correcting english pronunciation using analysis of user's voice-information and method thereof | |
| Zielinski | The segmental/suprasegmental debate | |
| KR20150024180A (en) | Pronunciation correction apparatus and method | |
| Hincks | Technology and learning pronunciation | |
| US20060053012A1 (en) | Speech mapping system and method | |
| KR101599030B1 (en) | System for correcting english pronunciation using analysis of user's voice-information and method thereof | |
| Demenko et al. | The use of speech technology in foreign language pronunciation training | |
| Ghanem et al. | Pronunciation features in rating criteria | |
| Sztahó et al. | A computer-assisted prosody pronunciation teaching system. | |
| Peabody et al. | Towards automatic tone correction in non-native mandarin | |
| Kommissarchik et al. | Better Accent Tutor–Analysis and visualization of speech prosody | |
| Hiller et al. | An Automated System for Computer‐Aided Pronunciation Learning | |
| Đào et al. | Vietnamese tones produced by Australian Vietnamese speakers | |
| Delmonte | Prosodic tools for language learning | |
| Delmonte | Exploring speech technologies for language learning | |
| Kim et al. | Automatic assessment of American English lexical stress using machine learning algorithms | |
| Rahmatunisa et al. | The Use of Praat in Learning English Debate in Indonesian EFL Classroom | |
| Demenko et al. | An audiovisual feedback system for acquiring L2 pronunciation and L2 prosody. | |
| Hirose | Accent type recognition of Japanese using perceived mora pitch values and its use for pronunciation training system | |
| CN111508523A (en) | Voice training prompting method and system | |
| Nakamura et al. | Objective evaluation of English learners' timing control based on a measure reflecting perceptual characteristics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190220 Year of fee payment: 4 |