KR102623155B1 - 한국어 학습자를 위한 한국어 발음교정 시스템 - Google Patents

한국어 학습자를 위한 한국어 발음교정 시스템 Download PDF

Info

Publication number
KR102623155B1
KR102623155B1 KR1020220096128A KR20220096128A KR102623155B1 KR 102623155 B1 KR102623155 B1 KR 102623155B1 KR 1020220096128 A KR1020220096128 A KR 1020220096128A KR 20220096128 A KR20220096128 A KR 20220096128A KR 102623155 B1 KR102623155 B1 KR 102623155B1
Authority
KR
South Korea
Prior art keywords
hangul
user
pronunciation
learning
image
Prior art date
Application number
KR1020220096128A
Other languages
English (en)
Inventor
최동원
김준기
Original Assignee
최동원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 최동원 filed Critical 최동원
Priority to KR1020220096128A priority Critical patent/KR102623155B1/ko
Priority to PCT/KR2022/012907 priority patent/WO2024029657A1/ko
Application granted granted Critical
Publication of KR102623155B1 publication Critical patent/KR102623155B1/ko

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/04—Speaking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G09B7/04—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student characterised by modifying the teaching programme in response to a wrong answer, e.g. repeating the question, supplying a further explanation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search

Abstract

한국어 학습자를 위한 한국어 발음교정 시스템이 개시된다. 본 발명의 일실시례에 따른 한국어 학습자를 위한 한국어 발음교정 시스템은 기지정된 사용자 단말을 통해 사용자 영상을 수집하는 사용자 영상 인식부; 상기 사용자 영상 인식부에서 인식된 영상을 분석하여 상기 사용자의 얼굴 인식 정보 및 사용자의 음성 인식 정보를 추출하는 사용자 영상 분석부; 상기 사용자 영상 분석부에서 추출된 상기 얼굴 인식 정보 및 상기 음성 인식 정보와 기지정된 학습 DB에 저장된 학습 데이터를 비교하여 상기 사용자의 한글 발음 수준을 평가하는 사용자 수준 평가부; 상기 사용자 수준 평가부에서 산출된 상기 사용자의 한글 발음 수준에 한글 학습 컨텐츠를 제공하는 학습 컨텐츠 제공부; 및 상기 학습 컨텐츠 제공부에서 제공된 상기 한글 학습 컨텐츠의 이력을 모니터링하고, 기설정된 주기마다 상기 사용자의 한글 학습 수준을 재평가하는 사용자 학습 모니터링부;를 포함한다.

Description

한국어 학습자를 위한 한국어 발음교정 시스템{KOREAN PRONUNCIATION EDUCATION SYSTEM}
본 발명은 한국어 학습자를 위한 한국어 발음교정 시스템에 관한 것으로, 보다 상세하게는 사용자의 발음 영상을 수집하고, 사용자의 얼굴 근육 움직임과 음성을 분석하여 자음 및 모음의 일치율을 판단하고, 발음 교정 컨텐츠를 제공하는 교육 시스템에 관한 것이다.
종래의 한글 학습은 자음과 모음이 나열되어 있는 표를 반복 암기하고, 이를 기초로 음절을 형성하는 방법을 학습하고, 음절이 조합된 단어와 그림 등을 매칭하여 암기하는 단순주입식 교육이 주를 이루었다.
이와 같이 단순 암기에 기반을 둔 종래의 학습방법은 한글을 익히는 데 시간이 많이 소요되고, 주로 시각적 감각에만 의존하므로 학습 효율성이 떨어지는 단점이 있다.
한글은 단음절인 경우에는 정확한 발음이 가능하나, 다음절인 경우에는 발음의 변동폭이 심한 특징이 있으며, 단음절을 통한 발음학습이 선행되어야 이후 이러한 다음절에서의 발음변화의 규칙을 이해할 수 있다. 특히, 외국인 학습자의 경우, 모국어의 발음 특성으로 인해 한글 발음 교육에 어려움이 존재한다.
이를 해소하기 위하여, 최근에는 시각뿐만 아니라 청각을 함께 활용하여 한글 발음의 정확도를 높이고, 학습 효과를 높일 수 있는 학습 방법이 제안되었다. 한국공개특허공보 제10-2003-0014457로는 키보드로 눌린 한글을 음성으로 출력하는 유아용 한글 학습기에 대하여 개시하고 있으나, 이러한 종래기술은 단순히 청각적인 요소를 부가하였을 뿐, 초성, 중성, 종성의 조합을 통해 다양한 음절, 단어가 생성되는 한글의 제자원리가 반영되지 않아 학습 효과가 반감되는 문제점이 있다.
이러한 문제점을 개선하기 위하여 한국 공개특허공보 제10-2010-0124449호는 초성, 중성, 종성을 구성하는 음소를 입력 받아 글자가 형성되는 과정을 제공하는 한글 학습 방법을 제안하였으나, 이 역시 각 음소별 관계성을 고려하지 않고 조합원리만을 반영한 것으로 학습자가 다양하게 음소 단위를 수정하여 각각의 음소적용에 따른 차이를 인지할 수 있는 메커니즘은 존재하지 않아 한글의 제자원리를 이해하는데 제한이 있다.
따라서, 학습자의 얼굴 근육 움직임과 음성을 분석하는 교차 검증 시스템(FSCV, Facs mesh with STT Cross Verification)을 이용하여 학습자가 보다 정확한 발음을 구사하도록 유도하는 한글 발음 교정 시스템에 관한 연구가 필요하다.
본 발명은 사용자의 발음 영상으로부터 얼굴 인식 데이터와 음성 인식 데이터를 추출하고, 얼굴 인식 데이터와 음성 인식 데이터의 교차 검증을 통해 학습자의 발음 수준을 평가하고, 발음 교정 데이터를 제공함으로써, 학습자의 발음 수준을 보다 정확하게 평가하고, 시각 및 청각 자료를 통해 학습자가 보다 용이하게 발음을 교정할 수 있는 한국어 학습자를 위한 한국어 발음교정 시스템을 제공하는 데 그 목적이 있다.
또한, 학습자의 발음 수준에 기초하여 게임 형식의 학습 컨텐츠를 생성함으로써, 학습자로 하여금 단계적인 한글 학습이 가능하고, 흥미유발을 통한 학습자의 지속적인 한글 학습을 유도하는 한국어 학습자를 위한 한국어 발음교정 시스템을 제공하는 데 그 목적이 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제로 제한되지 않으며, 여기에 언급되지 않은 본 발명이 해결하려는 또 다른 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일실시례에 따른 한국어 학습자를 위한 한국어 발음교정 시스템은 기지정된 사용자 단말을 통해 사용자 영상을 수집하는 사용자 영상 인식부, 사용자 영상 인식부에서 인식된 영상을 분석하여 사용자의 얼굴 인식 정보 및 사용자의 음성 인식 정보를 추출하는 사용자 영상 분석부, 사용자 영상 분석부에서 추출된 얼굴 인식 정보 및 음성 인식 정보와 기지정된 학습 DB에 저장된 학습 데이터를 비교하여 사용자의 한글 발음 수준을 평가하는 사용자 수준 평가부, 사용자 수준 평가부에서 산출된 사용자의 한글 발음 수준에 기초하여 한글 학습 컨텐츠를 제공하는 학습 컨텐츠 제공부 및 학습 컨텐츠 제공부에서 제공된 한글 학습 컨텐츠의 이력을 모니터링하고, 기설정된 주기마다 사용자의 한글 발음 수준을 재평가하는 사용자 학습 모니터링부를 포함한다.
또한, 사용자 영상 분석부는, 사용자 단말에 적어도 하나의 기설정된 모음 이미지를 제공하고 모음 이미지를 발음하는 상기 사용자 영상을 수집하되, 사용자 영상에서 사용자의 얼굴 근육 움직임을 추출하여 얼굴 인식 정보를 생성하는 얼굴 인식부 및 사용자 영상에서 사용자의 얼굴 근육 움직임이 추출된 구간의 음성 인식 정보를 생성하는 음성 인식부를 포함하는 것을 특징으로 한다.
또한, 사용자 수준 평가부는, 얼굴 인식 정보와 학습 DB에 저장된 모음 발음 학습 데이터를 비교하여 모음 일치율을 계산하는 모음 평가부, 음성 인식 정보와 학습 DB에 저장된 자음 발음 학습 데이터를 비교하여 자음 일치율을 계산하는 자음 평가부 및 모음 일치율 및 자음 일치율에 기초하여 한글 발음 수준을 결정하는 발음 수준 결정부를 포함하는 것을 특징으로 한다.
또한, 사용자 수준 평가부는, 사용자 단말의 한글 발음 수준을 최초 1회 결정하되, 한글 발음 수준은 0 수준 내지 3 수준 중 적어도 어느 하나로 결정되며, 학습 컨텐츠 제공부는, 사용자 수준 평가부에서 결정된 한글 발음 수준에 기초하여 한글 학습 컨텐츠를 생성하되, 사용자 단말로부터 학습 난이도, 학습 시간 및 학습 모드 중 적어도 어느 하나를 포함하는 학습 시작 신호를 입력받는 학습 설정 입력부, 학습 난이도에 기초하여 학습 DB에 저장된 한글 이미지 및 한글 발음 음성 중 적어도 어느 하나 포함하여 한글 읽기 컨텐츠 및 한글 듣기 컨텐츠를 제공하는 한글 컨텐츠 생성부, 한글 학습 컨텐츠에 대응하여 사용자 단말로부터 입력된 학습 데이터를 평가하고 사용자의 한글 발음 점수를 산출하는 한글 학습 평가부를 포함하며, 한글 컨텐츠 생성부는, 한글 이미지에 대응하여 사용자 단말을 통해 입력된 사용자 영상을 분석하여 사용자의 발음 일치율을 계산하고, 발음 일치율이 기설정된 기준값 이상인 경우, 타 한글 이미지 및 타 한글 발음 음성 중 적어도 어느 하나를 제공하고, 한글 읽기 컨텐츠에서 사용자의 발음 일치율이 기준값 미만인 경우, 한글 학습 컨텐츠의 제공이 종료되고, 한글 이미지, 한글 이미지에 대응하는 한글 발음 음성 및 한글 발음 음성에 대응하는 얼굴 근육 움직임 영상을 포함하는 발음 교정 컨텐츠를 제공하며, 한글 발음 음성에 대응하여 사용자 단말을 통해 입력된 한글 이미지가 정답 한글 이미지인 경우, 타 한글 이미지 및 타 한글 발음 음성 중 적어도 어느 하나를 제공하고, 한글 듣기 컨텐츠에서 사용자 단말을 통해 입력된 한글 이미지가 정답 한글 이미지가 아닌 경우, 한글 학습 컨텐츠의 제공이 종료되고, 한글 이미지, 한글 이미지에 대응하는 한글 발음 음성 및 한글 발음 음성에 대응하는 얼굴 근육 움직임 영상을 포함하는 발음 교정 컨텐츠를 제공하며, 한글 학습 평가부는, 한글 컨텐츠 생성부에서 사용자 단말에 연속해서 제공한 한글 이미지 및 한글 발음 음성의 개수를 카운팅하되, 카운팅 개수가 기설정된 기준 개수를 초과하는 경우, 추가 점수를 합산하여 한글 발음 점수를 산출하고, 한글 발음 수준이 0 수준에 가까울 수록 한글 이미지 및 한글 발음 음성의 글자수가 적은 것을 특징으로 한다.
또한, 사용자 학습 모니터링부는, 한글 학습 평가부에서 산출된 한글 발음 점수를 기설정된 기간동안 모니터링 하여 최고 점수 및 누적 점수를 산출하고, 최고 점수 및 누적 점수 중 적어도 어느 하나가 기설정된 기준 점수를 초과하는 경우, 한글 발음 수준을 자동 상향시키는 것을 특징으로 한다.
본 발명의 한국어 학습자를 위한 한국어 발음교정 시스템은 사용자의 발음 영상으로부터 얼굴 인식 데이터와 음성 인식 데이터를 추출하고, 얼굴 인식 데이터와 음성 인식 데이터의 교차 검증을 통해 학습자의 발음 수준을 평가하고, 발음 교정 데이터를 제공함으로써, 학습자의 발음 수준을 보다 정확하게 평가하고, 시각 및 청각 자료를 통해 학습자가 보다 용이하게 발음을 교정할 수 있는 효과를 가진다.
또한, 학습자의 발음 수준에 기초하여 게임 형식의 학습 컨텐츠를 생성함으로써, 학습자로 하여금 단계적인 한글 학습이 가능하고, 흥미유발을 통한 학습자의 지속적인 한글 학습을 유도하는 효과를 가진다.
도 1은 본 발명의 일실시례에 따른 한국어 학습자를 위한 한국어 발음교정 시스템의 구성도이다.
도 2 및 도 3은 본 발명의 일실시례에 따른 한국어 학습자를 위한 한국어 발음교정 시스템의 학습 컨텐츠 제공부를 설명하기 위한 도면이다.
도 4는 본 발명의 일실시례에 따른 한국어 학습자를 위한 한국어 발음교정 시스템의 사용자 학습 모니터링부를 설명하기 위한 도면이다.
도 5 내지 도 7은 본 발명의 일실시례에 따른 한국어 학습자를 위한 한국어 발음교정 시스템의 유효 데이터 선별 과정을 설명하기 위한 도면이다.
이상과 같은 본 발명에 대한 해결하고자 하는 과제, 과제의 해결 수단, 발명의 효과를 포함한 구체적인 사항들은 다음에 기재할 실시례 및 도면들에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시례들을 참조하면 명확해질 것이다.
이하, 첨부된 도면을 참조하여 본 발명을 보다 상세히 설명하기로 한다.
도 1은 본 발명의 일실시례에 따른 한국어 학습자를 위한 한국어 발음교정 시스템의 구성도이고, 도 2 및 도 3은 본 발명의 일실시례에 따른 한국어 학습자를 위한 한국어 발음교정 시스템의 학습 컨텐츠 제공부를 설명하기 위한 도면이고, 도 4는 본 발명의 일실시례에 따른 한국어 학습자를 위한 한국어 발음교정 시스템의 사용자 학습 모니터링부를 설명하기 위한 도면이고, 도 5 내지 도 7은 본 발명의 일실시례에 따른 한국어 학습자를 위한 한국어 발음교정 시스템의 유효 데이터 선별 과정을 설명하기 위한 도면이다.
<실시례 1>
도 1을 참고하면, 본 발명의 일실시례에 따른 한국어 학습자를 위한 한국어 발음교정 시스템(100)은 사용자 영상 인식부(110), 사용자 영상 분석부(120), 사용자 수준 평가부(130), 학습 컨텐츠 제공부(140) 및 사용자 학습 모니터링부(150)를 포함할 수 있다.
보다 상세하게는, 상기 사용자 영상 인식부(110)는 기지정된 사용자 단말을 사용자의 영상을 수집할 수 있다.
일례로, 상기 사용자 단말은 카메라 모듈 및 음성 인식 모듈을 포함할 수 있으며, 사용자 단말로부터 촬영된 영상은 기지정된 서버로 전송되며, 상기 사용자 영상 인식부(110)는 상기 서버로부터 사용자 영상을 다운받을 수 있다.
상기 사용자 영상 분석부(120)는 상기 사용자 영상 인식부(110)에서 인식된 영상을 분석하여 상기 사용자의 얼굴 인식 정보 및 사용자의 음성 인식 정보를 추출할 수 있다.
보다 상세하게는, 상기 사용자 영상 분석부(120)는, 상기 사용자 단말에 적어도 하나의 기설정된 모음 이미지를 제공하고 상기 모음 이미지를 발음하는 상기 사용자 영상을 수집하되, 상기 사용자 영상에서 상기 사용자의 얼굴 근육 움직임을 추출하여 상기 얼굴 인식 정보를 생성하는 얼굴 인식부(121) 및 상기 사용자 영상에서 상기 사용자의 얼굴 근육 움직임이 추출된 구간의 상기 음성 인식 정보를 생성하는 음성 인식부(122)를 포함할 수 있다.
따라서, 상기 사용자 영상이 '나' 라는 글자를 발음하는 영상인 경우, 상기 얼굴 인식부(121)는 상기 사용자의 얼굴 근육 움직임을 분석해 얼굴 인식 정보를 생성하고, 상기 음성 인식부(122)는 상기 사용자의 얼굴 근육 움직임이 발생하는 동안의 음성을 추출하여 음성 인식 정보를 생성할 수 있다.
상기 사용자 수준 평가부(130)는 상기 사용자 영상 분석부(120)에서 추출된 상기 얼굴 인식 정보 및 상기 음성 인식 정보와 기지정된 학습 DB(50)에 저장된 학습 데이터를 비교하여 상기 사용자의 한글 발음 수준을 평가할 수 있다.
보다 상세하게는, 상기 사용자 수준 평가부(130)는 상기 얼굴 인식 정보와 상기 학습 DB(50)에 저장된 모음 발음 학습 데이터를 비교하여 모음 일치율을 계산하는 모음 평가부(131), 상기 음성 인식 정보와 상기 학습 DB(50)에 저장된 자음 발음 학습 데이터를 비교하여 자음 일치율을 계산하는 자음 평가부(132) 및 상기 모음 일치율 및 상기 자음 일치율에 기초하여 상기 한글 발음 수준을 결정하는 발음 수준 결정부(133)를 포함할 수 있다.
또한, 상기 사용자 수준 평가부(130)는, 상기 사용자 단말의 상기 한글 발음 수준을 최초 1회 결정하되, 상기 한글 발음 수준은 0 수준 내지 3 수준 중 적어도 어느 하나로 결정될 수 있다.
예를 들어, 0 수준은 상기 모음 일치율 및 상기 자음 일치율이 각각 10% 미만인 경우이고, 1 수준은 상기 모음 일치율 및 상기 자음 일치율이 각각 30% 미만인 경우이고, 2 수준은 상기 모음 일치율 및 자음 일치율이 각각 각각 50% 미만인 경우이고, 3 수준은 상기 모음 일치율 및 자음 일치율 중 어느 하나가 50% 이상인 경우일 수 있다.
한편, 상기 학습 DB(50)에 저장된 모음 발음 학습 데이터는 아동, 성인 등 다양한 성별 및 연령대의 학습 모델로부터 촬영된 모음 및 자음별 얼굴 근육 움직임 영상을 포함하며, 상기 자음 발음 학습 데이터는 상기 학습 모델로부터 녹음된 모음 및 자음별 음성 데이터를 포함할 수 있다.
일례로, 상기 사용자 단말을 통해 사용자 정보 활용을 동의받은 경우, 상기 사용자 영상으로부터 추출된 얼굴 인식 정보 및 음성 인식 정보는 상기 학습 DB(50)에 학습 데이터로 저장될 수 있다.
한편, 상기 학습 컨텐츠 제공부(140)는 상기 사용자 수준 평가부(130)에서 산출된 상기 사용자의 한글 발음 수준에 기초하여 한글 학습 컨텐츠를 제공할 수 있다.
보다 상세하게는, 상기 학습 컨텐츠 제공부(140)는, 상기 사용자 수준 평가부(130)에서 결정된 상기 한글 발음 수준에 기초하여 상기 한글 학습 컨텐츠를 생성하되, 상기 사용자 단말로부터 학습 난이도, 학습 시간 및 학습 모드 중 적어도 어느 하나를 포함하는 학습 시작 신호를 입력받는 학습 설정 입력부(141), 상기 학습 난이도에 기초하여 상기 학습 DB(50)에 저장된 한글 이미지 및 한글 발음 음성 중 적어도 어느 하나 포함하여 한글 읽기 컨텐츠 및 한글 듣기 컨텐츠를 제공하는 한글 컨텐츠 생성부(142) 및 상기 한글 학습 컨텐츠에 대응하여 상기 사용자 단말로부터 입력된 학습 데이터를 평가하고 상기 사용자의 한글 발음 점수를 산출하는 한글 학습 평가부(143)를 포함할 수 있다.
또한, 도 2에 도시된 바와 같이, 상기 한글 컨텐츠 생성부(142)는, 상기 한글 이미지에 대응하여 상기 사용자 단말을 통해 입력된 상기 사용자 영상을 분석하여 상기 사용자의 발음 일치율을 계산하고, 상기 발음 일치율이 기설정된 기준값 이상인 경우, 타 한글 이미지 및 타 한글 발음 음성 중 적어도 어느 하나를 제공하고, 상기 한글 읽기 컨텐츠에서 상기 사용자의 발음 일치율이 상기 기준값 미만인 경우, 상기 한글 학습 컨텐츠의 제공이 종료되고, 상기 한글 이미지, 상기 한글 이미지에 대응하는 한글 발음 음성 및 상기 한글 발음 음성에 대응하는 얼굴 근육 움직임 영상을 포함하는 발음 교정 컨텐츠를 제공할 수 있다.
즉, 상기 한글 읽기 컨텐츠에 대하여 사용자 단말을 통해 정확한 발음이 입력된 경우에만 새로운 한글 학습 컨텐츠가 생성되고, 사용자 단말을 통해 부정확한 발음이 입력된 경우에는 발음 교정 컨텐츠를 제공하여 상기 사용자가 정확한 발음을 구사하도록 유도할 수 있다.
마찬가지로, 도 3에 도시된 바와 같이, 상기 한글 컨텐츠 생성부(142)는, 상기 한글 발음 음성에 대응하여 상기 사용자 단말을 통해 입력된 한글 이미지가 정답 한글 이미지인 경우, 타 한글 이미지 및 타 한글 발음 음성 중 적어도 어느 하나를 제공하고, 상기 한글 듣기 컨텐츠에서 상기 사용자 단말을 통해 입력된 한글 이미지가 상기 정답 한글 이미지가 아닌 경우, 상기 한글 학습 컨텐츠의 제공이 종료되고, 상기 한글 이미지, 상기 한글 이미지에 대응하는 한글 발음 음성 및 상기 한글 발음 음성에 대응하는 얼굴 근육 움직임 영상을 포함하는 발음 교정 컨텐츠를 제공할 수 있다.
한편, 상기 한글 학습 평가부(143)는, 상기 한글 컨텐츠 생성부(142)에서 상기 사용자 단말에 연속해서 제공한 상기 한글 이미지 및 상기 한글 발음 음성의 개수를 카운팅하되, 상기 카운팅 개수가 기설정된 기준 개수를 초과하는 경우, 추가 점수를 합산하여 상기 한글 발음 점수를 산출할 수 있다.
일례로, 상기 한글 학습 컨텐츠가 3개 생성될 때마다 3점의 추가 점수가 발생될 수 있다.
예를 들어, 상기 사용자 단말을 통해 10개의 한글 학습 컨텐츠가 생성된 경우, 상기 한글 학습 컨텐츠가 생성된 총 개수인 10점과 10개가 생성되는 동안 3점씩 3번 발생된 추가 점수 9점을 합산하여 총 19점으로 상기 사용자의 한글 발음 점수를 산출할 수 있다.
상기 추가 점수 및 추가 점수가 발생되는 조건은 상기 사용자 단말로부터 입력된 학습 난이도에 기초하여 조정될 수도 있다.
한편, 상기 한글 발음 수준이 0 수준에 가까울 수록 상기 한글 이미지 및 상기 한글 발음 음성의 글자수가 적은 것을 특징으로 한다.
일례로, 상기 사용자의 한글 발음 수준이 0 수준인 경우, 상기 한글 학습 컨텐츠는 한 글자로 구성된 단어의 한글 이미지 및 한글 발음 음성을 포함하고, 상기 사용자의 한글 발음 수준이 3 수준인 경우, 상기 한글 학습 컨텐츠는 네 글자 이내의 단어로 구성된 한글 이미지 및 한글 발음 음성을 포함하며, 상기 사용자의 한글 발음 수준이 5 수준 이상인 경우, 상기 한글 학습 컨텐츠는 짧은 문장 및 속담에 대응하는 한글 이미지 및 한글 발음 음성을 포함할 수 있다.
도 4를 참고하면, 상기 사용자 학습 모니터링부(150)는, 상기 한글 학습 평가부(143)에서 산출된 상기 한글 발음 점수를 기설정된 기간동안 모니터링 하여 최고 점수 및 누적 점수를 산출하고, 상기 최고 점수 및 상기 누적 점수 중 적어도 어느 하나가 기설정된 기준 점수를 초과하는 경우, 상기 한글 발음 수준을 자동 상향시킬 수 있다.
일례로, 상기 한글 발음 수준 상향을 위한 기준 점수는 상기 사용자의 현재 한글 발음 수준에 기초하여 차등적으로 적용되되, 상기 한글 발음 수준이 낮을 수록 상기 기준 점수는 낮게 설정될 수 있다.
일례로, 상기 사용자 학습 모니터링부(150)는 상기 최고 점수가 갱신되는 경우 또는 상기 한글 발음 수준이 상향되는 경우, 상기 사용자 단말에는 포인트 형식의 보상이 지급하는 사용자 보상부(미도시)를 더 포함할 수 있다.
또한, 상기 사용자는 상기 포인트를 활용하여 학습 컨텐츠를 연장하거나, 유료 학습 컨텐츠를 사용하는데 활용할 수도 있다.
한편, 상기 한글 발음 수준이 낮은 경우, 짧은 단어에 대하여 단기간 반복 학습을 통해 한글의 읽기와 듣기 실력을 향상 시킬 수 있으나, 긴 문장을 구사하기 위해서는 단순히 단어를 반복하는 학습 이외에도 동의어, 동음어, 문법 등의 학습이 병행되어야 한다.
따라서, 상기 한글 발음 수준이 높은 사용자에 대해서는 상기 한글 학습 컨텐츠로 빈칸 채우기 컨텐츠, 동의어 학습 컨텐츠, 관용 표현 학습 컨텐츠 등의 심화 학습 컨텐츠를 더 포함할 수도 있다.
<실시례 2>
한편, 본 발명의 일실시례에 따른 한국어 학습자를 위한 발음교정 시스템(100)의 상기 사용자 영상 인식부(110)는 상기 사용자 단말에 마련된 카메라 모듈을 통해서 사용자 영상 및 음성을 수집하되, 상기 카메라 모듈은 IMU 센서, ToF 센서 및 LIDAR 센서 중 적어도 어느 하나의 센서를 포함할 수 있다.
이때, 상기 사용자 영상 분석부(120)는 보다 정확한 영상 분석을 위해 데이터 선별부(미도시)를 더 포함하여, 상기 사용자 영상 인식부(110)의 카메라 모듈로부터 수집된 데이터에서 노이즈를 제거하고, 유효 데이터만을 이용하여 영상 분석을 수행할 수 있다.
보다 상세하게는, 상기 데이터 선별부(미도시)는, 기설정된 시간동안 상기 IMU 센서, 상기 ToF 센서 및 상기 LIDAR 센서 중 적어도 어느 하나의 센서로부터 측정되는 값의 상한값, 하한값 및 평균값을 이용하여 [수학식 1]에 따라 제한값(Lud)을 산출하고, 평균값에서 제한값을 뺀 차이값 내지 평균값에서 제한값을 더한 값까지를 정상범위로 산출하여, 산출된 정상범위를 제외한 데이터를 노이즈 데이터로 판단할 수 있다.
[수학식 1]
(여기서, Av는 평균값, Uv는 상한값, Lv는 하한값을 의미함)
여기서, 상기 상한값 및 상기 하한값은, 하한경계값부터 상한경계값에 이르는 범위로 정의되는 예측범위 내에서 도출하며, 상기 하한경계값은, 기설정된 초기값의 평균값에 평균편차의 α배를 뺀 값이고, 상기 상한경계값은, 기설정된 초기값의 평균값에 평균편차의 α배를 더한 값인 것을 특징으로 한다.
예를 들어, 상기 ToF 센서로부터 측정된 측정값에 대하여 노이즈를 제거하고 유효데이터를 추출하기 위해서 상기 데이터 선별부(미도시)에서는 상기 상기 ToF 센서의 측정값에 대한 정상범위 및 유효데이터 범위를 산출하되, 상기 [수학식 1]에서 상기 상한값(Uv)이 114이고, 상기 평균값(Av)이 98이며, 상기 하한값(Lv)이 71인 경우, 상한값과 평균값의 차이가 114-98=16, 평균값과 하한값의 차이는 98-71=27이므로, 더 큰 원소인 27이 제한값(Lud)으로 산출될 수 있다.
상기와 같이 제한값이 산출되면 정상범위가 결정될 수 있는데, 상기 평균값에서 상기 제한값을 뺀 값부터 상기 평균값에서 상기 제한값을 더한 값까지를 정상범위로 확정할 수 있다.
따라서, 상기 산출된 정상범위의 범위 내 포함되지 않은 데이터는 노이즈 데이터로 판단하는 것이 원칙이다.
다만, 노이즈 데이터를 보다 세분화하기 위해 아래와 같은 기준을 추가 적용할 수 있다. 일례로, 노이즈 데이터는 상기 센서로부터 측정된 측정값이 정상범위를 벗어나고, 상기 정상범위를 벗어난 데이터가 기설정된 횟수이상 연속적으로 발생하지 않는 동시에, 상기 정상범위를 벗어난 직전 데이터값인 종전값과 기설정된 오차범위(이때, 상기 오차범위는 센서의 종류와 민감도에 따라 -5% ~ +5% 내지 -20% ~ +20%사이로 설정할 수 있음) 내 포함되지 않는 값으로 판단된 측정값을 노이즈 데이터로 최종 결정하여, 노이즈 데이터 선별에 보다 정확도를 높일 수 있다.
또한, 상기 기설정된 횟수는, 2회 내지 5회로 설정하여 상기 횟수 범위를 만족하는지 여부에 따라 상기 정상범위를 벗어난 데이터가 연속적인지 불연속적인지를 판단할 수 있다.
여기서, 상기 기설정된 센서의 전체 측정값을 이용하여 정상범위를 산출하고 노이즈 데이터를 구분하는 과정은 도 5를 참고하여 더욱 상세히 설명한다.
도 5에 도시된 바와 같이, 상기 ToF 센서를 통해 피사체와의 거리에 대한 측정값은 그래프로 표현될 수 있다.
여기서, 상기 정상범위(40) 내에서 측정된 값들만 유효한 값으로 인식하는데, 상기 정상범위(40)는 기설정된 구간 동안의 초기값들을 입력받은 후, 상기 초기값들의 평균값(30)과 평균편차를 이용하여 산출할 수 있다.
이때, 상기 초기값들 중에서도 무의미한 데이터가 포함될 수 있으므로, 입력받은 전체 초기값들 중 예측범위 내에 있는 초기값들만 상기 정상범위(40) 도출에 이용하며, 상기 예측범위(50)는 아래와 같은 방법으로 산출될 수 있다.
상기 예측범위(50)를 산출하기 위해서는, 기설정된 구간 동안의 전체 초기값들의 평균값(30)에 평균편차의 α배수를 더한 값을 예측범위(50)의 상한경계값(10)으로, 기설정된 구간 동안의 전체 초기값들의 평균값(30)에 평균편차의 α배수를 뺀 값을 예측범위(50)의 하한경계값(20)으로 결정하여 상기 상한과 하한 사이 값을 예측범위(50)로 산출할 수 있다.
이때, 상기 α배수의 α값은 최소 1.5부터 최대 20까지 센서의 특성에 따라 설정될 수 있다.
일례로, 상기 ToF 센서를 통해 기설정된 구간동안 측정된 초기값의 평균값(30)이 100mm이고, 평균편차가 1.8로 산출되었으며, α배수가 10으로 설정된 경우, 예측범위(50)의 상한경계값(10)은 100+1.8×10=118mm 하한경계값(20)은 100-1.8×10=82mm로 산출될 수 있다.
상기와 같은 과정을 통해, 상기 데이터 선별부(미도시)에서는, 상기 평균값(30), 평균편차 및 배수를 이용하여 상한경계값(10) 및 하한경계값(20)을 산출하고, 그 사이 범위인 82mm ~ 118mm를 예측범위(50)로 설정할 수 있다.
상기와 같이, 평균값(30), 상한경계값(10) 및 하한경계값(20)을 이용하여 예측범위(50)를 산출함으로써 정상범위(40)를 확정하기 위하여 보다 신뢰성 있는 데이터 선별이 수행될 수 있다.
이하에서는 상기 예측범위(50)를 이용하여 정상범위(40)를 산출하기 위한 과정을 설명한다.
우선, 예측범위(50) 내 가장 큰 측정값을 상한값(15), 가장 작은 측정값을 하한값(16)으로 추출하고, 상기 [수학식 1]을 통해 상기 평균값(30), 상한값(15) 및 하한값(16)을 이용하여 제한값을 산출할 수 있다.
상기 [수학식 1]을 통해 제한값이 산출되면, 상기 평균(30)값에서 제한값을 뺀 측정값 내지 상기 평균값(30)에서 제한값을 더한 측정값을 정상범위(40)로 정하고, 상기 정상범위(40)를 벗어난 측정값을 노이즈 데이터로 판단할 수 있다.
이때, 앞서 결정된 예측범위 82mm ~ 118mm 내에서 가장 큰 값인 상한값(15) 및 가장 작은 값인 하한값(16)을 도출하고, 이를 [수학식 1]에 적용하여 제한값을 산출하면 제한값은 max{(109-98), (98-88)}=11mm로 결정될 수 있다.
즉, 상기 예측범위(50)를 벗어나는 데이터인 제1 지점 데이터(11), 제2 지점 데이터(12), 제3 지점 데이터(13) 및 제4 지점 데이터(14)를 상한값 및 하한값 산출에서 제외함으로써, 무의미한 데이터가 정상범위 산출에 사용되는 것을 사전에 방지할 수 있다.
상기와 같은 과정을 거쳐 상기 정상범위(40)는 평균값(30)과 상기 제한값의 차인 98-11=87mm부터 평균값(30)과 상기 제한값의 합인 98+11=109mm까지로 산출되고 상기 정상범위(40)에 포함되지 않은 측정값인 상기 제1 지점 데이터(11), 제2 지점 데이터(12), 제3 지점 데이터(13) 및 제4 지점 데이터(14)를 노이즈 데이터로 판단할 수 있다.
한편, 상기 데이터 선별부(미도시)에서 선별된 노이즈 데이터의 발생 패턴을 이용하여 센서불량 등 특이사항 발생 가능성을 판단할 수 있는데, 그 실시례는 이하에서 보다 상세하게 설명한다.
일례로, 상기 노이즈 데이터가 상기 종전값과 비교하여 상기 기설정된 오차범위 내에 존재하며, 상기 동일값의 센싱주기가 기설정된 시간 간격으로 다수 개 측정된다면, 이는 센서불량으로 인해 발생할 가능성이 높은 것으로 판단할 수 있다.
즉, 정상범위를 벗어나 노이즈 데이터로 판단된 다수의 측정값과 측정간격이 오차범위 내 포함되어 일정한 간격으로 측정되는 경우, 센서 측정 부위 내 오염물 존재, 센서의 전기적 신호 송수신 문제 등 지속적으로 정상범위를 벗어난 측정값이 측정될 가능성이 높을 것으로 판단되므로 센서불량 데이터로 인식하여 센서의 수리, 교체 등을 고려할 수 있는 근거로 사용될 수 있다.
일례로, 상기 도 5와 같이 정상범위가 설정되고, 상기 정상범위를 벗어나는 노이즈 데이터를 포함하고 있으나, 상기 센서불량 데이터 조건에 부합하는 경우, 상기 노이즈 데이터들은 센서불량으로 인해 발생되는 데이터로 인식할 수 있으며, 구체적인 실시례는 상기 도 6을 참고하여 더욱 상세히 설명한다.
도 6을 참고하면, 상기 ToF 센서를 통해 거리 데이터를 센싱하는 과정에서 상기 정상범위를 벗어난 노이즈 데이터가 다수회 발생되며, 종전 노이즈 데이터와 비교하여 -10% ~ +10%이내의 오차범위 내에서 연속적으로 발생하는 것을 확인할 수 있다.
이와 같이, 상기 오차범위 내에서 발생하는 노이즈 데이터가 일정한 주기로 반복되는 경우, 상기 노이즈 데이터들을 통해 센서불량이 발생한 것으로 예측할 수 있다.
여기서, 상기 노이즈 데이터가 일정한 주기로 반복된다 함은 노이즈 데이터가 나타나는 주기가 오차범위 -10% 내지 +10% 인 것을 의미할 수 있다.
보다 상세하게는, 상기 정상범위를 벗어난 제5 지점 데이터(21), 제6 지점 데이터(22) 및 제7 지점 데이터(23)가 측정되되, 상기 제5 지점 데이터(901)가 27초 시점에 측정되었고, 제6 지점 데이터(22)가 41초에 측정되었다면 제5 지점(21)과 제6 지점(22)의 시간간격은 14초(t1)이다. 또한, 제7 지점 데이터(23)는 54초에 측정되었으므로, 제6 지점 데이터(22)와 제7 지점 데이터(23)가 측정된 시간간격은 13초(t2)이므로, 제5 지점 데이터(21)에서 제6 지점 데이터(22)의 시간간격과 제6 지점 데이터(22)에서 제7 지점 데이터(23)의 시간간격은 1초이고, 오차범위 10% 범위인 1.4초를 초과하여 발생하지 않았다.
따라서, 다수의 노이즈 데이터가 정상 범위를 벗어났으며, 발생 주기가 일정한 범위 내에 있는 것으로 판단되므로, 센서에 불량이 발생한 것으로 예측할 수 있다.
따라서, 상기 데이터 선별부(미도시)에서 상기 ToF 센서에 센싱되는 데이터를 통해 센서불량으로 예측되는 경우, 상기 사용자 단말 등에 알람을 제공하여 센서의 불량여부 점검을 유도할 수도 있다.
한편, 상기 데이터 선별부(미도시)에서 측정된 다수의 데이터가 일정 시간동안 정상범위를 벗어나되, 유사한 값 범위 내에서 연속적으로 측정되는 경우, 센서불량이 아닌 주변 환경 요인으로 인해 오동작이 발생한 것으로 판단할 수 있다. 이는 도 7을 참고하여 더욱 상세히 설명한다.
도 7을 참고하면, 27초부터 42초 사이 구간에서 정상범위를 초과한 다수의 노이즈 데이터가 검출되되, 다수의 노이즈 데이터가 일정한 오차범위 내(ex. 구간 내 최초 출현한 노이즈 데이터 값으로부터 10% 범위 내)에 분포되어 있다. 이와 같은 경우, 센서의 불량이 아닌 센서가 측정되는 주변 환경 요인에 의한 오동작으로 판단할 수 있다. 예를 들어, 상기 ToF 센서가 기설정된 궤도를 따라 반복적으로 움직이며 피사체와거의 거리를 센싱하도록 설정된 경우, 구동 장치 등의 오동작 등이 센서로 수신되는 데이터 오류의 원인이 될 수 있다.
이러한 경우, 상기 사용자 단말 등에 주변 환경에 대한 점검을 유도하는 알람을 제공할 수도 있다.
상기와 같은 본 발명의 효과에 따르면, 사용자의 발음 영상으로부터 얼굴 인식 데이터와 음성 인식 데이터를 추출하고, 얼굴 인식 데이터와 음성 인식 데이터의 교차 검증을 통해 학습자의 발음 수준을 평가하고, 발음 교정 데이터를 제공함으로써, 학습자의 발음 수준을 보다 정확하게 평가하고, 시각 및 청각 자료를 통해 학습자가 보다 용이하게 발음을 교정할 수 있는 한국어 학습자를 위한 한국어 발음교정 시스템이 제공될 수 있다.
또한, 학습자의 발음 수준에 기초하여 게임 형식의 학습 컨텐츠를 생성함으로써, 학습자로 하여금 단계적인 한글 학습이 가능하고, 흥미유발을 통한 학습자의 지속적인 한글 학습을 유도하는 한국어 학습자를 위한 한국어 발음교정 시스템이 제공될 수 있다.
또한, 본 발명의 일실시례에 따른, 한국어 학습자를 위한 발음교정 시스템의 제어 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명의 일실시례는 비록 한정된 실시례와 도면에 의해 설명되었으나, 본 발명의 일실시례는 상기 설명된 실시례에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서 본 발명의 일실시례는 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
110 : 사용자 영상 인식부
120 : 사용자 영상 분석부 121 : 얼굴 분석부
122 : 음성 분석부
130 : 사용자 수준 평가부 131 : 모음 평가부
132 : 자음 평가부
133 : 발음 수준 결정부
140 : 학습 컨텐츠 제공부 141 : 학습 설정 입력부
142 : 학습 컨텐츠 생성부
143 : 한글 학습 평가부
150 : 사용자 학습 모니터링부

Claims (5)

  1. 기지정된 사용자 단말을 통해 사용자 영상을 수집하는 사용자 영상 인식부;
    상기 사용자 영상 인식부에서 인식된 영상을 분석하여 상기 사용자의 얼굴 인식 정보 및 상기 사용자의 음성 인식 정보를 추출하는 사용자 영상 분석부;
    상기 사용자 영상 분석부에서 추출된 상기 얼굴 인식 정보 및 상기 음성 인식 정보와 기지정된 학습 DB에 저장된 학습 데이터를 비교하여 상기 사용자의 한글 발음 수준을 평가하는 사용자 수준 평가부;
    상기 사용자 수준 평가부에서 산출된 상기 사용자의 한글 발음 수준에 기초하여 한글 학습 컨텐츠를 제공하는 학습 컨텐츠 제공부; 및
    상기 학습 컨텐츠 제공부에서 제공된 상기 한글 학습 컨텐츠의 이력을 모니터링하고, 기설정된 주기마다 상기 한글 발음 수준을 재평가하는 사용자 학습 모니터링부;를 포함하고,
    상기 사용자 수준 평가부는,
    상기 사용자 단말의 상기 한글 발음 수준을 최초 1회 결정하되, 상기 한글 발음 수준은 0 수준 내지 3 수준 중 적어도 어느 하나로 결정되며,

    상기 학습 컨텐츠 제공부는,
    상기 사용자 수준 평가부에서 결정된 상기 한글 발음 수준에 기초하여 상기 한글 학습 컨텐츠를 생성하되,
    상기 사용자 단말로부터 학습 난이도, 학습 시간 및 학습 모드 중 적어도 어느 하나를 포함하는 학습 시작 신호를 입력받는 학습 설정 입력부;
    상기 학습 난이도에 기초하여 상기 학습 DB에 저장된 한글 이미지 및 한글 발음 음성 중 적어도 어느 하나 포함하여 한글 읽기 컨텐츠 및 한글 듣기 컨텐츠를 제공하는 한글 컨텐츠 생성부; 및
    상기 한글 학습 컨텐츠에 대응하여 상기 사용자 단말로부터 입력된 학습 데이터를 평가하고 상기 사용자의 한글 발음 점수를 산출하는 한글 학습 평가부;를 포함하며,

    상기 한글 컨텐츠 생성부는,
    상기 한글 이미지에 대응하여 상기 사용자 단말을 통해 입력된 상기 사용자 영상을 분석하여 상기 사용자의 발음 일치율을 계산하고, 상기 발음 일치율이 기설정된 기준값 이상인 경우, 타 한글 이미지 및 타 한글 발음 음성 중 적어도 어느 하나를 제공하고,
    상기 한글 읽기 컨텐츠에서 상기 사용자의 발음 일치율이 상기 기준값 미만인 경우, 상기 한글 학습 컨텐츠의 제공이 종료되고, 상기 한글 이미지, 상기 한글 이미지에 대응하는 한글 발음 음성 및 상기 한글 발음 음성에 대응하는 얼굴 근육 움직임 영상을 포함하는 발음 교정 컨텐츠를 제공하며,

    상기 한글 발음 음성에 대응하여 상기 사용자 단말을 통해 입력된 한글 이미지가 정답 한글 이미지인 경우, 타 한글 이미지 및 타 한글 발음 음성 중 적어도 어느 하나를 제공하고,
    상기 한글 듣기 컨텐츠에서 상기 사용자 단말을 통해 입력된 한글 이미지가 상기 정답 한글 이미지가 아닌 경우, 상기 한글 학습 컨텐츠의 제공이 종료되고, 상기 한글 이미지, 상기 한글 이미지에 대응하는 한글 발음 음성 및 상기 한글 발음 음성에 대응하는 얼굴 근육 움직임 영상을 포함하는 발음 교정 컨텐츠를 제공하며,

    상기 한글 학습 평가부는,
    상기 한글 컨텐츠 생성부에서 상기 사용자 단말에 연속해서 제공한 상기 한글 이미지 및 상기 한글 발음 음성의 개수를 카운팅하되,
    상기 카운팅 개수가 기설정된 기준 개수를 초과하는 경우, 추가 점수를 합산하여 상기 한글 발음 점수를 산출하고,

    상기 한글 발음 수준이 0 수준에 가까울 수록 상기 한글 이미지 및 상기 한글 발음 음성의 글자수가 적은 것을 특징으로 하는 한국어 학습자를 위한 한국어 발음교정 시스템.
  2. 제1항에 있어서,
    상기 사용자 영상 분석부는,
    상기 사용자 단말에 적어도 하나의 기설정된 모음 이미지를 제공하고 상기 모음 이미지를 발음하는 상기 사용자 영상을 수집하되,
    상기 사용자 영상에서 상기 사용자의 얼굴 근육 움직임을 추출하여 상기 얼굴 인식 정보를 생성하는 얼굴 인식부; 및
    상기 사용자 영상에서 상기 사용자의 얼굴 근육 움직임이 추출된 구간의 상기 음성 인식 정보를 생성하는 음성 인식부;
    를 포함하는 것을 특징으로 하는 한국어 학습자를 위한 한국어 발음교정 시스템.
  3. 제1항에 있어서,
    상기 사용자 수준 평가부는,
    상기 얼굴 인식 정보와 상기 학습 DB에 저장된 모음 발음 학습 데이터를 비교하여 모음 일치율을 계산하는 모음 평가부;
    상기 음성 인식 정보와 상기 학습 DB에 저장된 자음 발음 학습 데이터를 비교하여 자음 일치율을 계산하는 자음 평가부; 및
    상기 모음 일치율 및 상기 자음 일치율에 기초하여 상기 한글 발음 수준을 결정하는 발음 수준 결정부;를 포함하는 것을 특징으로 하는 한국어 학습자를 위한 한국어 발음교정 시스템.
  4. 삭제
  5. 제1항에 있어서,
    상기 사용자 학습 모니터링부는,
    상기 한글 학습 평가부에서 산출된 상기 한글 발음 점수를 기설정된 기간동안 모니터링 하여 최고 점수 및 누적 점수를 산출하고, 상기 최고 점수 및 상기 누적 점수 중 적어도 어느 하나가 기설정된 기준 점수를 초과하는 경우, 상기 한글 발음 수준을 자동 상향시키는 것을 특징으로 하는 한국어 학습자를 위한 한국어 발음교정 시스템.

KR1020220096128A 2022-08-02 2022-08-02 한국어 학습자를 위한 한국어 발음교정 시스템 KR102623155B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220096128A KR102623155B1 (ko) 2022-08-02 2022-08-02 한국어 학습자를 위한 한국어 발음교정 시스템
PCT/KR2022/012907 WO2024029657A1 (ko) 2022-08-02 2022-08-30 한국어 학습자를 위한 한국어 발음교정 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220096128A KR102623155B1 (ko) 2022-08-02 2022-08-02 한국어 학습자를 위한 한국어 발음교정 시스템

Publications (1)

Publication Number Publication Date
KR102623155B1 true KR102623155B1 (ko) 2024-01-10

Family

ID=89511751

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220096128A KR102623155B1 (ko) 2022-08-02 2022-08-02 한국어 학습자를 위한 한국어 발음교정 시스템

Country Status (2)

Country Link
KR (1) KR102623155B1 (ko)
WO (1) WO2024029657A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100138654A (ko) * 2009-06-25 2010-12-31 유혜경 외국어 발음 학습 장치 및 방법
KR20180017905A (ko) * 2016-08-11 2018-02-21 주식회사 메디스윙 발음 교정 장치 및 발음 데이터 수집 장치
KR20190006348A (ko) * 2017-07-10 2019-01-18 조희정 말소리 교정 방법
KR102414626B1 (ko) * 2020-10-26 2022-06-30 주식회사 에듀템 외국어 발음 훈련 및 평가 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6172417B1 (ja) * 2016-08-17 2017-08-02 健一 海沼 語学学習システム及び語学学習プログラム
KR102212332B1 (ko) * 2019-01-11 2021-02-04 김주현 외국어 교육을 위한 발음 정확도 평가 장치 및 방법
KR20220011109A (ko) * 2020-07-20 2022-01-27 주식회사 대교 디지털 영어 학습 서비스 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100138654A (ko) * 2009-06-25 2010-12-31 유혜경 외국어 발음 학습 장치 및 방법
KR20180017905A (ko) * 2016-08-11 2018-02-21 주식회사 메디스윙 발음 교정 장치 및 발음 데이터 수집 장치
KR20190006348A (ko) * 2017-07-10 2019-01-18 조희정 말소리 교정 방법
KR102414626B1 (ko) * 2020-10-26 2022-06-30 주식회사 에듀템 외국어 발음 훈련 및 평가 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
공개특허공보 제10-2010-0138654호(2010.12.31. 공개) 1부.*
등록특허공보 제10-2414626호(2022.6.30. 공고) 1부.*

Also Published As

Publication number Publication date
WO2024029657A1 (ko) 2024-02-08

Similar Documents

Publication Publication Date Title
CN110782921B (zh) 语音测评方法和装置、存储介质及电子装置
CN105845134B (zh) 自由朗读题型的口语评测方法及系统
TWI446257B (zh) 使用平行極化語言模型的自動閱讀教導
US20130158977A1 (en) System and Method for Evaluating Speech Exposure
CN104252864B (zh) 实时语音分析方法和系统
KR100699663B1 (ko) 음성 인식 모델링을 사용하는 자동 언어 평가 시스템 및 방법
CN102568475B (zh) 用于普通话水平测评的系统和方法
CN103559892B (zh) 口语评测方法及系统
CN106448288A (zh) 一种交互式英语学习系统及方法
CN106782603B (zh) 智能语音评测方法及系统
CN108766415B (zh) 一种语音测评方法
CN111951789B (zh) 语音识别模型的训练、语音识别方法、装置、设备及介质
CN107818795B (zh) 一种英语口语的测评方法及装置
CN102184654B (zh) 诵读监督方法及装置
WO2018106703A1 (en) System and method for automated literacy assessment
US20180277145A1 (en) Information processing apparatus for executing emotion recognition
Inoue et al. A Study of Objective Measurement of Comprehensibility through Native Speakers' Shadowing of Learners' Utterances.
Sabu et al. Automatic assessment of children’s oral reading using speech recognition and prosody modeling
CN111915940A (zh) 一种口语发音评测和教学方法、系统、终端及存储介质
CN115132174A (zh) 一种语音数据处理方法、装置、计算机设备及存储介质
KR102623155B1 (ko) 한국어 학습자를 위한 한국어 발음교정 시스템
CN112562723A (zh) 发音准确度确定方法、装置、存储介质和电子设备
US11961510B2 (en) Information processing apparatus, keyword detecting apparatus, and information processing method
Eskenazi et al. Pinpointing pronunciation errors in children's speech: examining the role of the speech recognizer
CN113689882A (zh) 发音评测方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant