KR102582716B1 - 훈민정음 창제원리를 이용한 한국어발음교정 시스템 - Google Patents

훈민정음 창제원리를 이용한 한국어발음교정 시스템 Download PDF

Info

Publication number
KR102582716B1
KR102582716B1 KR1020210174032A KR20210174032A KR102582716B1 KR 102582716 B1 KR102582716 B1 KR 102582716B1 KR 1020210174032 A KR1020210174032 A KR 1020210174032A KR 20210174032 A KR20210174032 A KR 20210174032A KR 102582716 B1 KR102582716 B1 KR 102582716B1
Authority
KR
South Korea
Prior art keywords
ipa
phonetic alphabet
user
international phonetic
measurement value
Prior art date
Application number
KR1020210174032A
Other languages
English (en)
Other versions
KR20230085653A (ko
Inventor
이수연
Original Assignee
이수연
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이수연 filed Critical 이수연
Priority to KR1020210174032A priority Critical patent/KR102582716B1/ko
Publication of KR20230085653A publication Critical patent/KR20230085653A/ko
Application granted granted Critical
Publication of KR102582716B1 publication Critical patent/KR102582716B1/ko

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명은 훈민정음 창제원리를 이용한 한국어 발음 교정 시스템에 관한 것이다.
본 발명에 따르면, 한국어발음교정시스템은 어플리케이션을 실행시킨 상태에서 원하는 곡을 선곡하고, 선곡된 곡에 따라 사용자가 발화하는 음성 또는 사용자의 입모양을 촬영한 영상을 획득하고, 획득한 음성 또는 영상을 교정서버에 전달하는 사용자 단말, 그리고 상기 전달받은 음성으로부터 음운을 추출하고, 상기 추출된 음운과 국제음성기호(IPA)을 비교하여 제1 결과값을 획득하고, 상기 영상으로부터 사용자의 입 모양 및 혀 위치를 인식하고, 인식된 입 모양 및 혀 위치에 따라 유추된 음운과 국제음성기호(IPA)을 비교하여 제2 결과값을 획득한 다음, 상기 제1 결과값과 제2 결과값을 이용하여 사용자의 발음을 정확 또는 부정확으로 판단하는 교정서버를 포함한다.
이와 같이 본 발명에 따르면, 외국인들이 한글 가사로 된 노래를 부를 때 획득한 음성 및 영상을 이용하여 한국어 발음이 올바른지 여부를 판단하고, 판단결과를 실시간으로 피드백하여 단시간에 발음을 교정하는데 도움을 줄 수 있다.

Description

훈민정음 창제원리를 이용한 한국어발음교정 시스템{Korean Pronunciation Correction System Using Hunminjeongeum Creation Principle}
본 발명은 훈민정음 창제원리를 이용한 한국어 발음 교정 시스템에 관한 것으로서, 더욱 상세하게 설명하면 앱 또는 웹페이지를 실행시킨 상태에서 외국인의 음성 또는 영상을 획득하고, 획득한 음성 또는 영상을 이용하여 한국어 발음에 대한 교정을 수행하는 한국어 발음 교정 시스템에 관한 것이다.
최근 k-pop의 인기가 높아짐으로써 한국어 가사를 따라 부르려는 해외팬들이 늘어나고 있다. 뿐만 아니라, 해외 전문 음악인들도 한국의 가곡이나 합창곡을 한국어로 부르는 시도가 늘면서 한국어 딕션에 관한 관심이 높아지고 있다.
일반적으로 성악에서 가사발음은 국제음성기호(International Phonetic Alphabet)를 이용하여 표기된다. 여기서, 국제음성기호(IPA)는 말소리의 음가를 문자로 표기하기 위해 만든 것으로 1888년에 고안되었으며, 현재에도 계속 새로운 국제음성자모가 보충, 개선되고 있다.
하지만 현행 한국어 발음을 표기하는데 사용되는 IPA기호는 표기의 불일치를 보여주고 있으며, 사용자에게 혼동을 주고 있다. 언어학과 음성학에 기반을 둔 IPA차트는 놀랍게도 훈민정음 창제원리와 일치하는 면이 있다. 따라서 출원자의 논문에 기재되어 있는 바와 같이 국제음성기호와 한글 사이에 음운학적이며 음성학적인 분석을 통해 가장 적절히 대응되는 표기를 따르고자 한다. 또한 화자의 발음을 혀의 위치나 입모양, 조음 방법과 위치등으로 과학적으로 분석하여 정확한 발음을 제안, 유도할 수 있다.
본 발명의 배경이 되는 기술은 한국등록특허 제 10-0650393호(2006.11.21. 공고)에 개시되어 있다.
이와 같이 본 발명에 따르면, 앱 또는 웹페이지를 실행시킨 상태에서 외국인의 음성 또는 영상을 획득하고, 획득한 음성 또는 영상을 이용하여 한국어 발음에 대한 교정을 수행하는 한국어 발음 교정 시스템을 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시 예에 따른 훈민정음 창제원리를 이용한 한국어발음교정시스템은 어플리케이션을 실행시킨 상태에서 원하는 곡을 선곡하고, 선곡된 곡에 따라 사용자가 발화하는 음성 또는 사용자의 입모양을 촬영한 영상을 획득하고, 획득한 음성 또는 영상을 교정서버에 전달하는 사용자 단말, 그리고 상기 전달받은 음성으로부터 음운을 추출하고, 상기 추출된 음운과 국제음성기호(IPA)을 비교하여 제1 결과값을 획득하고, 상기 영상으로부터 사용자의 입 모양 및 혀 위치를 인식하고, 인식된 입 모양 및 혀 위치에 따라 유추된 음운과 국제음성기호(IPA)을 비교하여 제2 결과값을 획득한 다음, 상기 제1 결과값과 제2 결과값을 이용하여 사용자의 발음을 정확 또는 부정확으로 판단하는 교정서버를 포함한다.
상기 교정서버는, 한국 음악의 한국어 가사를 수집하는 가사수집부, 상기 수집된 한국어 가사에 대응하는 국제음성기호(IPA)를 추출하고, 추출된 국제음성기호(IPA)를 기준 국제음성기호(IPA)로 설정하는 기준 IPA 설정부, 상기 사용자 단말로부터 사용자의 음성 및 얼굴 영상을 입력받는 입력부, 상기 입력된 사용자의 음성으로부터 문자를 추출하고, 추출된 문자에 대응하는 국제음성기호(IPA)와 기준 국제음성기호(IPA)를 매칭하여 제1 측정값을 도출하는 제1 측정값 도출부, 상기 입력된 사용자의 얼굴 영상으로부터 특징점을 추출하고, 추출된 특징점으로부터 문자를 추출한 다음, 추출된 문자에 대응하는 국제음성기호(IPA)와 기준 국제음성기호(IPA)를 매칭하여 제2 측정값을 도출하는 제2 측정값 도출부, 그리고 상기 제1 측정값과 제2 측정값을 이용하여 사용자의 발음에 대한 정확성을 판단하고, 판단 결과를 상기 사용자 단말에 전달하는 제어부를 포함할 수 있다.
상기 기준 IPA 설정부는, 훈민정음의 창제 원리에 따라 모음에 대응하는 혀의 위치 정보를 수집하고, 수집된 혀의 위치 정보와 모음사각도를 매칭하여 모음에 대한 국제음성기호(IPA)를 추출하는 제1 추출모듈, 그리고 훈민정음의 창제 원리에 따라 자음에 대응하는 얼굴 형상 정보를 수집하고, 수집된 얼굴 형상 정보와 국제음성기호(IPA) 자음차트를 매칭하여 자음에 대한 국제음성기호(IPA)를 추출하는 제2 추출모듈을 포함할 수 있다.
상기 제1 추출모듈은, 단모음에 해당하는 ㅣ,ㅔ,ㅐ,ㅡ,ㅓ,ㅏ,ㅜ,ㅗ,ㅟ,ㅚ를 혀의 높이에 따라 위(high), 아래(low)로 분류하고, 혀의 위치에 따라 뒤(back), 앞(front)로 분류하고, 입술의 모양에 따라 [round]로 분류한 다음, 분류된 단모음을 국제음성기호(IPA)로 추출할 수 있다.
상기 제1 추출모듈은, 복모음을 복수의 그룹으로 분류하고, 분류된 복모음을 국제음성기호(IPA)로 추출할 수 있다.
상기 제2 추출모듈은, 조음위치를 나타내는 가로축과 조음 방법으로 나타내는 세로축으로 형성되는 국제음성기호(IPA) 차트와 동일한 방법으로 자음을 분류하되, 분류되지 못하는 자음, 받침에 해당하는 자음에는 기호를 추가한 국제음성기호(IPA)를 추출할 수 있다.
보다 구체적으로, 받침이 있거나, 한글의 발음규칙에 의해서 문자와 달리 발음이 되는 경우에 국제음성기호(IPA)가 부정확하게 표기되는 것을 해결하기 위해서, 상기 제2 추출모듈은 아래와 같은 2단계의 방법을 사용하여 정확한 한글 발음을 표기할 수 있다. 먼저 1단계로는 '문장'을 '소리나는 대로' 한글로 보여서 표기하고, 2단계로 '소리나는 대로' 표기된 '한글'을 기반으로 국제음성기호(IPA)를 표시하는 방법을 사용할 수 있다.
도 9는 바로 이러한 단계들을 '도라지'를 예시로 들어 표기법을 설명한 것이다.
상기 제2 측정값 도출부는, 원곡을 발음하였을 때, 얼굴 형상을 촬영한 영상을 획득하고, 획득한 영상으로부터 추출된 특징점을 표준 특징점으로 설정할 수 있다.
상기 제2 측정값 도출부는, 상기 입력된 얼굴 영상으로부터 사용자의 얼굴을 관심영역으로 추출하고, 상기 추출된 관심영역으로부터 특징점을 추출한 다음, 해당되는 표준 특징점과 상기 추출된 특징점을 비교할 수 있다.
상기 제어부는, 제1 측정값 또는 제2 측정값 중에서 어느 하나의 측정값이 제1 기준값 이하이면, 제어부는 사용자의 발음이 부정확한 것으로 판단할 수 있다.
상기 제어부는, 제1 측정값 및 제2 측정값이 모두 제1기준값보다 크면, 제어부(260)는 제1 측정값과 제2 측정값의 평균값을 산출하고, 산출된 평균값이 제2 기준값 이하인지 여부를 판단하고, 산출된 평균값이 제2 기준값 이하이면, 사용자의 발음이 부정확한 것으로 판단할 수 있다.
이와 같이 본 발명에 따르면, 외국인들이 한글 가사로 된 노래를 부를 때 획득한 음성 및 영상을 이용하여 한국어 발음이 올바른지 여부를 판단하고, 판단결과를 실시간으로 피드백하여 단시간에 발음을 교정하는데 도움을 줄 수 있다.
또한, 본 발명에 따르면, 과학적으로 증명된 한글 발음 표기법을 이용하여 한국어 딕션의 기틀을 구축할 수 있으므로, 가사 표기에 대한 통일성을 부여할 수 있다.
도 1은 본 발명의 실시예에 따른 한국어 발음 교정 시스템을 설명하기 위한 구성도이다.
도 2는 도 1에 도시된 교정서버를 설명하기 위한 구성도이다.
도 3은 본 발명의 실시예에 따른 한국어 발음 교정 시스템을 이용한 한국어 발음 교정 방법을 설명하기 위한 순서도이다.
도 4는 도 3에 도시된 S310단계에서 단모음에 대한 혀의 위치를 설명하기 위한 예시도이다.
도 5는 모음 사각도에 적용한 단모음의 위치를 도시한 예시도이다.
도 6은 사람의 얼굴에 한글의 자음의 발음 위치를 매칭하여 도시한 도면이다.
도 7은 도 3에 도시된 S310단계에서 복모음에 대응하여 추출된 국제음성기호(IPA)를 설명하기 위한 도면이다.
도 8은 S310단계에서 자음에 대응하여 추출된 국제음성기호(IPA)를 설명하기 위한 도면이다.
도 9는 받침이 있거나 발음규칙에 의해 문자와 달리 발음이 되는 경우의 한글/IPA 표기를 어떻게 하는지 '도라지'를 들어, 예시화한 것이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로써, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하에서는 도 1 및 도 2를 이용하여 본 발명의 실시예에 따른 훈민정음 창제원리를 이용한 한국어 발음 교정 시스템에 대하여 더욱 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 한국어발음교정시스템을 설명하기 위한 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따르면, 한국어발음교정시스템은 사용자 단말(100) 및 교정서버(200)를 포함한다.
먼저, 사용자 단말(100)은 한국어 발음을 교정하고자 하는 사용자가 소지하고 있는 단말이다. 사용자는 사용자 단말(100)에 설치된 어플리케이션을 실행시킨 상태에서 연습하고자 하는 음악을 선곡한다. 그리고, 선곡된 음악이 재생되면, 사용자 단말(100)은 노래를 부르는 사용자의 음성 및 사용자의 얼굴을 촬영한 영상을 획득한다. 그리고 획득한 음성과 얼굴 영상은 교정서버(200)에 전달된다.
또한 상기 사용자 단말(100)에 설치된 어플리케이션의 경우, 사용자가 선택한 한국어 기반의 음악을 처음부터 바로 따라부르기 힘들다는 측면을 고려하여, 선택한 음악의 가사를 쉽고 정확하게 익히기 위해, 음악의 가사를 단어별로 구분하여 사용자에게 보여주고, 사용자가 특정 단어를 선택하면, 상기 특정 단어에 대해서 발음을 들려주는 '학습하기' 기능과, 상기 사용자가 상기 발음을 따라 읽을 수 있는 '따라읽기' 기능을 추가로 제공할 수 있다.
또한, 상기 사용자가 상기 '따라 부르기' 기능을 선택하여, 상기 발음을 따라 부를때, 사용자의 음성 및 사용자의 얼굴을 촬영하고, 이에 대해서 가사 발음의 정확도/발성 등을 후술되는 기술을 통해 판단하여 사용자에게 지수화된 점수를 제공할 수도 있다.
한편, 사용자 단말(100)은 휴대가 가능한 사용자 단말기로서, 노트북 컴퓨터, 워크스테이션, 팜톱(palmtop) 컴퓨터, 개인 휴대 정보 단말기(personal digital assistant: PDA), 웹 패드, 이동 통신 단말기 등과 같이 유선 또는 무선으로 네트워크에 접속하여 정보를 주고받을 수 있는 기기로 구현될 수 있다.
그 다음, 교정서버(200)는 사용자 단말(100)로부터 음성 및 얼굴 영상을 수신하고, 수신된 음성과 국제음성기호(IPA)를 비교하여 제1 결과값을 도출한다. 또한, 교정서버(200)는 수신된 얼굴 영상으로부터 특징점을 추출하고, 추출된 특징점과 표준 특징점 및 국제음성기호(IPA)를 비교하여 제2 결과값을 도출한다. 그 다음, 교정서버(200)는 제1 결과값과 제2 결과값을 이용하여 사용자의 발음의 정확성을 판단하고, 판단 결과를 사용자 단말(100)에 전달한다.
도 2는 도 1에 도시된 교정서버를 설명하기 위한 구성도이다.
도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 교정서버(200)는 가사 수집부(210), 기준 IPA 설정부(220), 입력부(230), 제1 측정값 도출부(240), 제2 측정값 도출부(250) 및 제어부(260)을 포함한다.
먼저, 가사수집부(210)는 대표적 한국 가요, 민요, 가곡 등에 관한 가사를 수집한다. 또한, 상기 가사란 더 나아가, 한국 합창, 편곡된 민요 등 한국어로 형성된 모든 한국 음악의 가사를 포함한다.
기준 IPA 설정부(220)는 훈민정음 창제 원리에 따라 수집된 가사에 대응하는 국제음성기호(IPA)를 추출하고, 추출된 국제음성기호(IPA)를 기준 국제음성기호(IPA)로 설정한다.
부연하자면, 기준 IPA 설정부(220)는 제1 추출모듈(221) 및 제2 추출모듈(222)를 포함한다.
먼저, 제1 추출모듈(221)은 훈민정음 창제 원리에 따라 모음에 대응하는 국제음성기호(IPA)를 추출한다. 자세히는 모음을 단모음과 복모음으로 분류한다. 단모음은 혀의 위치에 따라 분류하고, 그에 대응하는 국제음성기호(IPA)를 추출한다. 그리고, 복모음은 복수의 그룹으로 분류하고, 분류된 복수의 그룹에 대응하는 국제음성기호(IPA)를 추출한다.
보다 구체적으로, 상기 복수의 그룹의 경우, 모든 복모음은 뒷부분이 단모음으로 끝나는 특징을 이용하여 구분할 수 있다.
즉, [w]로 시작하는 복모음 그룹과 [j]로 시작하는 복모음 그룹, 그리고 특수 그룹인 '의'가 있는데 '의'같은 경우 세가지로 나누어 또다시 복수의 그룹으로 구분될 수 있다.
그 다음, 제2 추출모듈(222)은 사람의 왼쪽 옆 얼굴의 형상을 이용하여 자음을 분류하며, 분류된 자음에 대응하는 국제음성기호(IPA )를 추출한다.
그리고, 기준 IPA 설정부(210)는 제1 추출모듈(221) 및 제2 추출모듈(222)을 통해 추출된 국제음성기호(IPA)를 기준 국제음성기호(IPA)로 설정한다.
입력부(230)는 사용자 단말(100)로부터 사용자가 가사를 읽거나, 노래를 부를 때 획득한 음성 및 얼굴 영상을 입력받는다.
제1 측정값 도출부(240)는 입력된 사용자의 음성을 문자로 변환하고, 변환된 문자에 대응하는 국제음성기호(IPA)와 기준 국제음성기호(IPA)를 매칭하여 제1 측정값을 도출한다.
그리고, 제2 측정값 도출부(250)는 입력된 사용자의 얼굴 영상으로부터 특징점을 추출하고, 추출된 특징점과 표준 특징점에 대응하는 기준 국제음성기호(IPA)를 매칭하여 제2 측정값을 도출한다.
마지막으로 제어부(260)는 제1 측정값 도출부(240)로부터 도출된 제1 측정값과 제2 측정값 도출부(250)으로부터 도출된 제2 측정값을 이용하여 사용자의 발음 정확도를 판단한다.
이하에서는 도 3 내지 도 9를 이용하여 본 발명의 실시예에 따른 한국어발음교정시스템을 이용한 한국어 발음 교정 방법에 대해 더욱 상세하게 설명한다.
도 3은 본 발명의 실시예에 따른 한국어발음교정시스템을 이용한 한국어 발음 교정 방법을 설명하기 위한 순서도이다.
도 3에 도시된 바와 같이, 본 발명의 실시예에 따른 교정서버(200)는 한국 음악에 대한 가사를 수집하고, 수집된 가사에 대응하는 국제음성기호(IPA)를 추출하여 저장한다(S310).
먼저, 가사수집부(210)는 대표적 한국 가요, 민요, 가곡, 한국 합창, 편곡된 민요 등을 포함한 한국 음악의 가사를 수집한다. 그리고, 수집된 가사는 기준 IPA 설정부(220)에 전달된다.
그 다음, 기준 IPA 설정부(220)는 제1 추출모듈(221) 및 제2 추출모듈(222)을 통해 전달받은 가사에 대응하는 국제음성기호(IPA)를 추출한다.
한편, 제1 추출모듈(221)은 훈민정음 창제 원리에 따라 모음에 대응하는 국제음성기호(IPA)를 추출한다.
국립국어원에 의해 지정된 단모음은 ㅏ, ㅐ, ㅓ, ㅔ, ㅗ, ㅚ, ㅜ, ㅟ, ㅡ, ㅣ를 포함한다.
도 4는 도 3에 도시된 S310단계에서 단모음에 대한 혀의 위치를 설명하기 위한 예시도이고, 도 5는 모음 사각도에 적용한 단모음의 발음을 IPA 기호로 정리한 것을 도시한 예시도이다.
도 4에 도시된 바와 같이, 닫힌 모음은 ㅣ[i], ㅟ [y], , ㅜ [u]를 포함하고, 열리거나 닫힌 모음은 ㅔ[e], ㅚ [ø], ㅗ [o], 를 포함하며, 열린 모음은 와 ㅏ[a]이다. 또한 앞에서 발음되는 모음은ㅣ[i], ㅔ [e], 를 포함하고, 중간에서 발음되는 모음은 와ㅏ[a]를 포함하며, 뒤에서 발음되는 모음은 ㅜ [u], ㅗ [o], 를 포함한다.
따라서, 본 발명의 실시예에 따른 IPA 추출부(320)는 단모음의 발음을 국제음성기호(IPA)로 정리하면, 로 추출한다.
그 다음, 복모음은 한음절에서 두 개의 소리가 나는 모음 11개를 나타낸다.
도 6은 훈민정음창제원리를 반영한 자음의 위치와 사람의 얼굴 왼쪽 측면과의 매칭을 형상화한 도면이고, 도 7은 도 3에 도시된 S310단계에서 복모음에 대응하여 추출된 국제음성기호(IPA)를 설명하기 위한 도면이다.
따라서, IPA 추출부(320)는 도 7에 도시된 바와 같이 복모음에 대한 국제음성기호(IPA)를 추출한다.
그 다음, 제2 추출모듈(222)은 훈민정음 창제 원리에 따라 자음에 대응하는 국제음성기호(IPA)를 추출한다.
이를 다시 설명하면, 한글자음의 모양은 사람의 왼쪽 옆 얼굴의 발음되는 형상을 본 떠 만들어졌다.
한국어의 자음은 공명음인 ㄴ, ㅁ, ㄹ, ㅇ을 제외하고 모두 무성음이며, 자음의 특성을 성대의 떨림으로 결정하지 않고, 발음이 얼마나 강한지, 즉 ‘기의 세기’에 따라 분류한다. 공기를 내뿜는 정도에 따라 평음(예사소리), 경음(된소리), 격음(거센소리)으로 분류하는데, 이것은 한글자음의 획을 더하는 것에 반영되어 있다.
도 8은 S310단계에서 자음에 대응하여 추출된 국제음성기호(IPA)를 설명하기 위한 도면이다.
도 8에 도시된 바와 같이, 제2 추출모듈(222)은 조음방법과 위치가 같은 것을 찾아 그 철자에 특수기호를 부여하여 국제음성기호(IPA)를 추출한다.
즉, 본 발명의 실시예에 따른 S310단계에서 기준 IPA 설정부(220)는 훈민정음 창제원리에 따라 모음과 자음에 대응하는 국제음성기호(IPA)를 확립하고, 확립된 국제음성기호(IPA)를 이용하여 한국 음악의 가사에 대응하는 국제음성기호(IPA)를 추출한다. 그리고, 한국 음악의 가사에 대응하는 국제음성기호(IPA)를 기준 국제음성기호(IPA)로 설정한다.
S310단계가 완료된 상태에서 교정서버(200)는 사용자 단말(100)로부터 음성 및 얼굴 영상을 수신한다(S320).
부연하자면, 사용자는 사용자 단말(100)에 설치된 어플리케이션을 실행시킨 상태에서 부르고자 하는 한국 가요를 선곡한다. 그러면, 사용자 단말(100)은 사용자가 선곡한 곡을 재생한다. 이때, 사용자 단말(100)은 곡을 재생함과 동시에 단말 내에 또는 연결된 카메라를 구동시켜 사용자의 얼굴을 촬영하게 한다.
따라서, 사용자 단말(100)은 사용자가 노래를 부름에 따라 음성과 얼굴 영상을 획득하고, 획득한 음성 및 얼굴 영상을 교정서버(200)에 전달한다.
그러면, 교정서버(200)는 수신된 음성을 이용하여 제1 측정값을 도출한다(S330).
이를 다시 설명하면, 제1 측정값 도출부(240)는 전달받은 사용자의 음성에 대한 파형을 분석하고, 분석된 파형을 신호 처리하여 문자로 변환한다. 그 다음, 제1 측정값 도출부(240)는 변환된 문자에 따라 국제음성기호(IPA)를 추출한다. 그리고, 제1 측정값 도출부(240)는 추출된 국제음성기호(IPA)와 S310단계에서 설정된 기준 국제음성기호(IPA)와 비교하여 제1 측정값을 도출한다.
S330단계가 완료되면, 제2 측정값 도출부(250)는 전달받은 사용자의 얼굴 영상을 이용하여 제2 측정값을 도출한다(S340).
부연하자면, 제2 측정값 도출부(250)는 전달받은 얼굴 영상으로부터 사용자의 얼굴을 인식하고, 인식된 얼굴을 관심 영역으로 추출한다. 그 다음, 제2 측정값 도출부(250)는 추출된 관심 영역으로부터 특징값을 추출하고, 추출된 특징값과 기 설정된 특징값을 비교하여 해당되는 문자를 추출한다.
그 다음, 제2 측정값 도출부(250)는 추출된 문자에 대응하는 국제음성기호(IPA)추출하고, 추출된 국제음성기호(IPA)와 S310단계에서 설정된 기준 국제음성기호(IPA)와 비교하여 제2 측정값을 도출한다.
S340단계를 완료하면, 제어부(260)는 제1 측정값 및 제2 측정값을 이용하여 사용자의 발음 정확도를 판단한다(S350).
부연하자면, 제1 측정값 및 제2 측정값은 추출된 국제음성기호(IPA)와 기준 국제음성기호(IPA)의 일치도를 백분율(%)로 나타낸다.
제1 측정값 또는 제2 측정값 중에서 어느 하나의 측정값이 제1 기준값 이하이면, 제어부(260)는 사용자의 발음이 부정확한 것으로 판단한다.
반면에, 제1 측정값 및 제2 측정값이 모두 제1기준값보다 크면, 제어부(260)는 제1 측정값과 제2 측정값의 평균값을 산출하고, 산출된 평균값이 제2 기준값 이하인지 여부를 판단한다.
그리고, 산출된 평균값이 제2 기준값 이하이면, 제어부(260)는 사용자의 발음이 부정확한 것으로 판단한다.
그 다음, 제어부(260)는 부정확한 결과를 사용자 단말(100)에 전달한다.
이와 같이 본 발명에 따른 한국어 발음 교정 시스템은 외국인들이 한글 가사로 된 노래를 부를 때 획득한 음성 및 영상을 이용하여 한국어 발음이 올바른지 여부를 판단하고, 판단결과를 실시간으로 피드백하여 단시간에 발음을 교정하는데 도움을 줄 수 있다.
또한, 본 발명에 따른 한국어 발음교정시스템은 과학적으로 증명된 한글 발음 표기법을 이용하여 한국어 딕션의 기틀을 구축할 수 있으므로, 가사 표기에 대한 통일성을 부여할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100 : 사용자 단말
200 : 교정서버
210 : 가사수집부
220 : IPA 추출부
230 : 입력부
240 : 제1 측정값 도출부
250 : 제2 측정값 도출부
260 : 제어부

Claims (10)

  1. 훈민정음 창제원리를 이용한 한국어 발음 교정 시스템에 있어서,
    어플리케이션을 실행시킨 상태에서 원하는 곡을 선곡하고, 선곡된 곡에 따라 사용자가 발화하는 음성 또는 사용자의 입모양을 촬영한 영상을 획득하고, 획득한 음성 또는 영상을 교정서버에 전달하는 사용자 단말, 그리고
    상기 전달받은 음성으로부터 음운을 추출하고, 상기 추출된 음운과 국제음성기호(IPA)을 비교하여 제1 결과값을 획득하고, 상기 영상으로부터 사용자의 입 모양 및 혀 위치를 인식하고, 인식된 입 모양 및 혀 위치에 따라 유추된 음운과 국제음성기호(IPA)을 비교하여 제2 결과값을 획득한 다음, 상기 제1 결과값과 제2 결과값을 이용하여 사용자의 발음을 정확 또는 부정확으로 판단하는 교정서버를 포함하며,
    상기 교정서버는,
    한국 음악의 한국어 가사를 수집하는 가사수집부,
    상기 수집된 한국어 가사에 대응하는 국제음성기호(IPA)를 추출하고, 추출된 국제음성기호(IPA)를 기준 국제음성기호(IPA)로 설정하는 기준 IPA 설정부,
    상기 사용자 단말로부터 사용자의 음성 및 얼굴 영상을 입력받는 입력부,
    상기 입력된 사용자의 음성으로부터 문자를 추출하고, 추출된 문자에 대응하는 국제음성기호(IPA)와 기준 국제음성기호(IPA)를 매칭하여 제1 측정값을 도출하는 제1 측정값 도출부,
    상기 입력된 사용자의 얼굴 영상으로부터 특징점을 추출하고, 추출된 특징점으로부터 문자를 추출한 다음, 추출된 문자에 대응하는 국제음성기호(IPA)와 기준 국제음성기호(IPA)를 매칭하여 제2 측정값을 도출하는 제2 측정값 도출부, 그리고
    상기 제1 측정값과 제2 측정값을 이용하여 사용자의 발음에 대한 정확성을 판단하고, 판단 결과를 상기 사용자 단말에 전달하는 제어부를 포함하는 한국어 발음 교정 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 기준 IPA 설정부는,
    훈민정음의 창제 원리에 따라 모음에 대응하는 혀의 위치 정보를 수집하고, 수집된 혀의 위치 정보와 모음사각도를 매칭하여 모음에 대한 국제음성기호(IPA)를 추출하는 제1 추출모듈, 그리고
    훈민정음의 창제 원리에 따라 자음에 대응하는 얼굴 형상 정보를 수집하고, 수집된 얼굴 형상 정보와 국제음성기호(IPA) 자음차트를 매칭하여 자음에 대한 국제음성기호(IPA)를 추출하는 제2 추출모듈을 포함하는 한국어 발음 교정 시스템.
  4. 제3항에 있어서,
    상기 제1 추출모듈은,
    단모음에 해당하는 ㅣ,ㅔ,ㅐ,ㅡ,ㅓ,ㅏ,ㅜ,ㅗ,ㅟ,ㅚ를 혀의 높이에 따라 위(high), 아래(low)로 분류하고, 혀의 위치에 따라 뒤(back), 앞(front)로 분류하고, 입술의 모양에 따라 [round]로 분류한 다음,
    분류된 단모음을 국제음성기호(IPA)로 추출하는 한국어 발음 교정 시스템.
  5. 제4항에 있어서,
    상기 제1 추출모듈은,
    복모음을 복수의 그룹으로 분류하고, 분류된 복모음을 국제음성기호(IPA)로 추출하는 한국어 발음 교정 시스템.
  6. 제3항에 있어서,
    상기 제2 추출모듈은,
    조음위치를 나타내는 가로축과 조음 방법으로 나타내는 세로축으로 형성되는 국제음성기호(IPA) 차트와 동일한 방법으로 자음을 분류하되,
    분류되지 못하는 자음, 받침에 해당하는 자음에는 기호를 추가한 국제음성기호(IPA)를 추출하는 한국어 발음 교정 시스템.
  7. 제1항에 있어서,
    상기 제2 측정값 도출부는,
    원곡을 정확하게 발음하였을 때, 얼굴 형상을 촬영한 영상을 획득하고, 획득한 영상으로부터 추출된 특징점을 표준 특징점으로 설정하는 한국어 발음 교정 시스템.
  8. 제7항에 있어서,
    상기 제2 측정값 도출부는,
    상기 입력된 얼굴 영상으로부터 사용자의 얼굴을 관심영역으로 추출하고, 상기 추출된 관심영역으로부터 특징점을 추출한 다음, 해당되는 표준 특징점과 상기 추출된 특징점을 비교하는 한국어 발음 교정 시스템.
  9. 제1항에 있어서,
    상기 제어부는,
    제1 측정값 또는 제2 측정값 중에서 어느 하나의 측정값이 제1 기준값 이하이면, 제어부는 사용자의 발음이 부정확한 것으로 판단하는 한국어 발음 교정 시스템.
  10. 제9항에 있어서,
    상기 제어부는,
    제1 측정값 및 제2 측정값이 모두 제1기준값보다 크면, 제어부(260)는 제1 측정값과 제2 측정값의 평균값을 산출하고, 산출된 평균값이 제2 기준값 이하인지 여부를 판단하고,
    산출된 평균값이 제2 기준값 이하이면, 사용자의 발음이 부정확한 것으로 판단하는 한국어 발음 교정 시스템.
KR1020210174032A 2021-12-07 2021-12-07 훈민정음 창제원리를 이용한 한국어발음교정 시스템 KR102582716B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210174032A KR102582716B1 (ko) 2021-12-07 2021-12-07 훈민정음 창제원리를 이용한 한국어발음교정 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210174032A KR102582716B1 (ko) 2021-12-07 2021-12-07 훈민정음 창제원리를 이용한 한국어발음교정 시스템

Publications (2)

Publication Number Publication Date
KR20230085653A KR20230085653A (ko) 2023-06-14
KR102582716B1 true KR102582716B1 (ko) 2023-09-22

Family

ID=86744970

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210174032A KR102582716B1 (ko) 2021-12-07 2021-12-07 훈민정음 창제원리를 이용한 한국어발음교정 시스템

Country Status (1)

Country Link
KR (1) KR102582716B1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010086768A (ko) * 2000-03-03 2001-09-15 김재영 우랄알타이어족을 위한 미국영어 음성표기에 관한 학습방법
KR20120139326A (ko) * 2011-06-17 2012-12-27 (주)아이오다인 온라인 한글 교육 시스템
KR20150076126A (ko) * 2013-12-26 2015-07-06 강진호 동적 발음 지원 시각화 수단을 포함하는 활용 발음 학습 지원 시스템 및 그 시스템의 발음 학습 지원 방법
KR20170140741A (ko) * 2016-06-13 2017-12-21 (주)기신영 한글 기반의 발음기호 표시방법, 발음기호가 표시된 매체 및 발음기호 표시 장치
KR20210131698A (ko) * 2020-04-24 2021-11-03 주식회사 케이티 발음 기관 영상을 이용한 외국어 발음 교육 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
공개특허공보 제10-2012-0139326호(2012.12.27. 공개) 1부.*
공개특허공보 제10-2021-0131698호(2021.11.3. 공개) 1부.*

Also Published As

Publication number Publication date
KR20230085653A (ko) 2023-06-14

Similar Documents

Publication Publication Date Title
US8433573B2 (en) Prosody modification device, prosody modification method, and recording medium storing prosody modification program
US6963841B2 (en) Speech training method with alternative proper pronunciation database
US7149690B2 (en) Method and apparatus for interactive language instruction
RU2690863C1 (ru) Система и способ компьютеризированного обучения музыкальному языку
US11810471B2 (en) Computer implemented method and apparatus for recognition of speech patterns and feedback
US7962327B2 (en) Pronunciation assessment method and system based on distinctive feature analysis
AU2003300130A1 (en) Speech recognition method
US20160321953A1 (en) Pronunciation learning support system utilizing three-dimensional multimedia and pronunciation learning support method thereof
JP6866715B2 (ja) 情報処理装置、感情認識方法、及び、プログラム
CN110782875B (zh) 一种基于人工智能的语音韵律处理方法及装置
KR20140071070A (ko) 음소기호를 이용한 외국어 발음 학습방법 및 학습장치
JP2015079160A (ja) 歌唱評価装置およびプログラム
JP5152588B2 (ja) 声質変化判定装置、声質変化判定方法、声質変化判定プログラム
JP2001318592A (ja) 言語学習装置及びその言語分析方法
KR102582716B1 (ko) 훈민정음 창제원리를 이용한 한국어발음교정 시스템
JP6728116B2 (ja) 音声認識装置、音声認識方法およびプログラム
TW201331930A (zh) 用於電子系統的語音合成方法及裝置
US20150127352A1 (en) Methods, Systems, and Tools for Promoting Literacy
CN107610691A (zh) 英语元音发声纠错方法及装置
KR102333029B1 (ko) 발음 평가 방법 및 이를 이용한 디바이스
Dai [Retracted] An Automatic Pronunciation Error Detection and Correction Mechanism in English Teaching Based on an Improved Random Forest Model
JP2844817B2 (ja) 発声練習用音声合成方式
KR20210131698A (ko) 발음 기관 영상을 이용한 외국어 발음 교육 방법 및 장치
KR101920653B1 (ko) 비교음 생성을 통한 어학학습방법 및 어학학습프로그램
US20090132237A1 (en) Orthogonal classification of words in multichannel speech recognizers

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20211207

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230320

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20230629

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20230920

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20230920

End annual number: 3

Start annual number: 1

PG1601 Publication of registration