KR102260115B1 - 발음 향상을 위한 학습 자료를 제공하는 언어 학습 방법 - Google Patents

Abstract

일 실시예에 따르면 자동화된 시스템으로 간단하게 조음치료를 위한 학습 자료를 제공할 수 있는 언어 학습 방법을 제공한다.
일 실시예에 따른 언어 교육 방법은 단어 데이터로 포함된 데이터 베이스를 형성하는 단계;
상기 사용자(교육자)로부터 조건 단어, 대립쌍 및 무의미 음절표를 포함하는 결과 데이터의 종류를 입력 받는 단계;
상기 사용자(교육자)로부터 상기 결과 데이터의 종류에 대응되는 품사, 음절 갯수 및 적어도 하나의 음절을 포함하는 조건 데이터를 입력 받는 단계;
상기 조건 데이터와 상기 단어 데이터를 비교하여 상기 단어 데이터에서 상기 조건 데이터에 매칭되는 적어도 하나의 단어를 추출하는 단계;
상기 사용자(교육자)로부터 추출된 상기 적어도 하나의 단어를 출력하는 레이 아웃을 입력 받는 단계; 및
상기 레이 아웃의 적어도 일부에 상기 조건 데이터에 매칭되는 적어도 하나의 음절을 포함하는 상기 결과 데이터를 출력하는 단계;를 포함한다.

Description

발음 향상을 위한 학습 자료를 제공하는 언어 학습 방법{LANGUAGE LEARNING METHOD THAT PROVIDES LEARNING MATERIALS TO IMPROVE PRONUNCIATION}

본 발명은 조음 장애 아동의 효율적인 발음 학습을 위한 자동진단 및 학습계획, 학습 자료를 제공하는 언어 학습 방법에 관련된 기술이다.

기존의 아동의 발음 기능의 평가 및 치료는 전문기관의 방문을 통해 이루어지므로 쉽게 조음치료를 받는데 어려움이 있었다.

특히 이러한 조음 치료는 낯선 환경에서 이루어져 아동의 자연스러운 발음을 유도하기 어렵다

또한 조음 난이도는 훈련할 말소리의 문맥에 많은 영향을 받으며, 아동마다 어려워하는 문맥이 달라 최적화된 치료가 어렵거나, 최적화 된 치료를 제공하기 위해서는 많은 시간이 요구되었다.

한편 조음 치료에 있어서는 반복된 치료가 중요하며 반복 훈련을 위해서는 아동의 흥미를 끌 만한 요소가 필요하지만 기존의 학습 자료는 이러한 요소들이 부족하다.

기존의 학습 자료는 여러 가지 활동으로 활용하기 어렵고 아동에게 흥미를 유발하기 어려웠고 아동 각각에 최적화된 조음의 난이도를 제공하기 어려운 문제점이 있다.

또한 언어재활사의 체계적인 조음 평가 및 치료가 이루어 지기 어렵다. 또한 언어 재활사가 다른 언어 재활사나 기관에 자문을 구하기 어려운 상황이다.

따라서 조음장애 아동이나 보호자가 조음 장애 아동에 적합한 질 좋은 서비스를 받는데 어려움이 있다.

또한 최근에 비대면 서비스를 통하여 통신을 통한 원격 재활에 대한 요구도 늘어나고 있는 실정이다.

[선행 특허]

KR 10-2147110 B1

일 실시예에 따르면 시간과 공간의 제약 없는 비대면의 자동화된 시스템으로 간편하고 전문적인 방법으로 학습자를 평가하고, 평가 결과에 따른 최적화된 조음치료를 위한 학습 자료 및 솔루션을 제공할 수 있는 언어 학습 방법을 제공한다.

일 실시예에 따른 언어 교육 방법은 상기 사용자(교육자)에게 오류 변별 문항을 전산시스템이 제공하고, 상기 사용자(교육자)로부터 상기 오류 변별 문항 선택 및 상기 학습자의 연령 정보를 포함하는 상기 학습자 상태 정보를 입력 받는 단계;

상기 학습자 상태 정보를 기초로 발달적 오류 및 비 발달적 오류 여부를 전산시스템이 진단하여 상기 학습자의 조음 장애 여부를 판단하는 단계;

상기 학습자가 조음 장애인 것으로 판단되면, 지정된 단어 이름대기나 문장 읽기, 따라말하기 표정을 동영상으로 촬영하여 진단 기초 자료를 생성, 입력받는 단계;

상기 입력 자료를 구축된 진단 시스템(장애아동의 조음 활동 영상과 조음 장애 유형을 매칭 시키는 인공지능형 전산시스템)으로 자동 진단하는 단계;

상기 자동 진단 결과 매칭 정확도가 낮은 이격자료는 전문 인력이 개입하여 추가로 정밀 진단하는 단계;를 포함할 수 있다.

상기 진단 결과에 따라 확정된 조음 장애 유형의 치료 절차를 전산 시스템이 확정하고 치료를 위한 조건 단어, 대립쌍 및 무의미 음절표를 포함하는 학습 자료의 종류를 결정하는 단계;

상기 사용자(교육자)에게 치료 절차에 따라 대응되는 품사, 음절 개수 및 적어도 하나의 음소를 포함하는 조건 데이터를 그림과 함께 제시(철자 기준이 아닌 말소리 기준으로 구성된 데이터베이스에서 검색)하는 단계(조건단어 찾기 절차);

상기 사용자(교육자)에게 대립쌍 형성 제 1조건 테이터 및 상기 제 2 조건 데이터 각각에 매칭되는 복수의 단어를 그림과 함께 추출, 제시하는 단계(대립쌍 찾기 절차);

상기 사용자(교육자)에게 상기 무의미음절표 형성을 위한 상기 레이 아웃의 종류, 상기 레이아웃의 행, 열의 개수 및 상기 레이 아웃의 행 및 열에 대응되는 음절 중 적어도 하나에 대응되는 연습표를 제시하는 단계(무의미음절표 만들기 절차);

상기 학습자료 자동 제작 과정으로 추출된 결과 데이터를 출력(인쇄물 또는 파일형태)해서 연습하는 단계;

상기 학습자료를 게임과 연동해서 연습할 수 있도록 지원하는 단계;를 추가할 수 있다.

상기 학습자료를 활용한 조음치료 단계의 수행 이후 촬영된 조음 간이 진단 영상과 최초 진단 시 조음 활동 영상을 비교해 개선도를 추정하는 단계;

이렇게 수집된 영상과 최조 조음 진단 결과 자료는 자동 진단(딥러닝을 활용한 인공지능 엔진 사용) 수준에 반영하는 단계;로 구성된다.

일 실시예에 따른 언어 학습 방법은 자동화된 시스템으로 간단하게 조음치료를 위한 학습 자료를 제공할 수 있다.

일 실시예에 따른 언어 학습 방법은 아동 각각에 최적화된치료를 위한 학습 자료를 제공할 수 있다.

일 실시예에 따른 언어 학습 방법은 아동이 익숙한 환경에서 조음치료를 할 수 있도록 유도하여 효율적인 언어 학습이 가능하다.

도1은 결과 데이터 종류를 입력하는 인터페이스를 나타낸 도면이다.
도2는 조건 단어 찾기에 대응되는 조건 데이터를 입력하는 동작을 설명하기 위한 도면이다.
도3 및 도4는 조건 단어 찾기의 결과 단어를 나타낸 도면이다.
도5는 대립쌍 찾기에 대응되는 조건 데이터를 입력하는 동작을 설명하기 위한 도면이다.
도6 및 도7는 대립쌍 찾기 찾기의 결과 단어를 나타낸 도면이다.
도8및 도9는 무의미 음절표 찾기에 대응되는 조건 데이터를 입력하는 동작을 설명하기 위한 도면이다.
도10는 무의미 음절표 찾기의 결과 단어를 나타낸 도면이다.
도11은 레이 아웃을 입력하는 인터페이스를 나타낸 도면이다.
도 12내지 도14은 학습자가 이미지를 이용한 학습 게임을 실시하는 동작을 설명하기 위한 도면이다.
도15는 사용자(교육자)의 검색 기록을 나타낸 도면이다
도16는 단어 데이터를 나타낸 도면이다.
도17은 학습자의 학습 히스토리를 이용하여 학습자의 학습 레벨 판단 및 학습 솔루션을 제공하는 동작을 설명하기 위한 도면이다.
도18은 일 실시예에 따른 순서도이다.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의'부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.

또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.

단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.

각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.

이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.

도1은 결과 데이터 종류를 입력하는 인터페이스를 나타낸 도면이다.

도1을 참고하면 사용자(교육자)는 조음 치료를 위한 학습 자료를 제공하는 서버에 접속할 수 있고, 서버에 접근하면 서버는 도1과 같은 인터페이스를 출력할 수 있다.

한편 본 명세서에서 사용자(교육자)는 학습자를 교육시키는 교육자를 의미하며, 학습자는 결과 데이터로 언어를 학습하는 주체를 의미할 수 있다.

사용자(교육자)는 서버에 접속하여 결과 데이터의 종류를 선택할 수 있다. 결과 데이터는 조건 단어, 대립쌍 및 무의미 음절표를 포함할 수 있다.

조건 단어는 사용자(교육자)가 입력한 조건에 대응되는 단어를 의미할 수 있다.

한편 서버는 조건 단어 형성에 있어 말소리에 기반하여 데이터 베이스를 구축할 수 있다.

또한 서버는 사용자(교육자)가 원하는 음성 조건을 설정하면 데이터베이스에서 조건에 기반하여 원하는 단어를 검색할 수 있다.

서버는 검색된 단어와 그 단어에 해당하는 그림자료를 활용하여 치료 자료를 형성 할 수 있다.

또한 이러한 서버는 반응형 인터페이스를 생성하여 폰, 태블릿, PC 등의 사용자(교육자) 단말에서 자유롭게 치료자료를 공급할 수 있다.

또한 이렇게 형성된 치료자료는 이미지로 저장하거나 프린터로 출력하여 치료에 사용될 수 있다.

대립쌍은 사용자(교육자)가 입력한 음절 및 입력한 음절과 대립관계가 있는 단어를 대응시킨 단어 쌍을 의미할 수 있다.

사용자(교육자)가 대립을 원하는 음소를 선택하면 서버는 해당 음소의 대립쌍을 데이터 베이스에서 찾아줄 수 있다.

서버는 대립쌍과 해당하는 그림자료를 활용하여 치료자료를 만들 수 있다.

무의미 음절표는 의미를 포함하지 않는 음절이 배열된 표를 의미할 수 있다.

서버는 표 유형을 선택하고 연습을 원하는 항목과 횟수 등을 입력하면 무의미음절로 연습할 수 있는 표를 자동으로 생성하고 사용자(교육자)에게 제공할 수 있다.

사용자(교육자)는 도1에 나타난 바와 같은 결과 데이터의 종류를 선택할 수 있고, 서버는 사용자(교육자)에 선택에 따라서 후술하는 동작을 수행할 수 있다.

도2는 조건 단어 찾기 에 대응되는 조건 데이터를 입력하는 동작을 설명하기 위한 도면이고, 도3 및 도4는 조건 단어 찾기의 결과 단어를 나타낸 도면이다.

도2를 참고하면, 사용자(교육자)가 결과 데이터의 종류로 조건 단어를 입력하고, 조건 데이터를 입력하는 것을 나타내고 있다.

조건 데이터에는 품사, 음절수 및 초성 등을 포함한 음절 자체 및 적어도 하나의 음소를 포함할 수 있다 여기서 음소는 철자 기준이 아닌 말소리 기준으로 구성된 데이터베이스에서 검색하는 데이터를 의미할 수 있다.

구체적으로 품사는 체언, 용언 및 수식언 중 하나를 선택할 수 있다.(S21)

음절 수는 음절의 개수를 의미하며, 도2에서는 사용자(교육자)가 2음절을 선택한 것을 나타내고 있다. 또한 사용자(교육자)는 음절 자체를 선택할 수 있다. 도2에서는 사용자(교육자)가 2음절을 선택하였기 때문에 서버는 2개의 음절을 선택할 수 있는 화면을 출력할 수 있다(S22).

한편 음절은 초성, 활음, 모음 및 종성으로 구성될 수 있는데 사용자(교육자)는 필요에 따라서 초성, 활음, 모음 및 종성 중 하나의 조건을 의미할 수 있다. 즉 사용자(교육자)는 각 음절에 포함되는 초성, 활음, 모음 및 종성을 모두 결정할 수도 있지만 일부만 선택할 수도 있다.

도2에서는 사용자(교육자)가 첫번째 음절 종성 "ㅁ", 두번째 음정 초성을 "ㅂ"로 선택한 것을 나타내고 있다(S23, S24).

한편 서버는 이렇게 사용자(교육자)가 입력한 조건 데이터를 기초로 단어를 추출할 수 있다.

서버는 조건 데이터와 미리 저장된 단어 데이터를 비교하여 단어 데이터에서 조건 데이터에 매칭되는 적어도 하나의 단어를 추출할 수 있다. 상술한 단어 데이터에 대한 상세한 설명은 후술한다.

구체적으로 도3을 참고하면 첫번째 음절 종성 "ㅁ", 두번째 음정 초성을 "ㅂ"에 해당하는 단어들이 추출되어 출력된 모습을 나타내고 있다.

또한 사용자(교육자)가 이 상태에서 "엠버", "잠바", "신발", "건배", "신부", "왼발", "한복" 및 "냄비"를 선택한 경우 서버는 도4와 같은 결과 데이터를 출력할 수 있다.

한편 사용자(교육자)는 선택 이후에 단어를 출력하는 레이 아웃을 입력할 수 있다. 레이 아웃을 입력하는 자세한 동작은 후술한다.

한편 도4를 참고하면 서버가 사용자(교육자)가 선택한 레이 아웃에 조건 데이터에 매칭되는 적어도 하나의 단어를 출력하는 동작을 나타내고 있다. 한편 서버가 단어를 출력하는데 있어서 각 단어와 매칭되는 이미지를 함께 출력할 수 있다. 구체적으로 서버가 "신발"의 단어를 출력할 때 신발의 이미지를 함께 출력할 수 있다(S4). 한편 이렇게 출력된 단어를 사용자(교육자)의 인쇄 명령 등에 따라서 문서나 다른 파일 형태로 출력될 수 있다.

한편 도2내지4는 조건 단어를 출력하기 위해 사용자(교육자)가 조건 데이터를 입력하는 동작 및 출력되는 형태를 나타낸 일 실시예에 불과하며 조건 단어를 출력하는 동작이라면 그 동작의 제한은 없다.

도5는 대립쌍 찾기에 대응되는 조건 데이터를 입력하는 동작을 설명하기 위한 도면이다.

도5는 사용자(교육자)가 결과 데이터의 종류로 대립쌍을 입력한 경우를 나타내고 있다. 대립쌍의 경우 대립이 필수 적인 바 복수의 조건 데이터를 입력 받는 동작이 필요하다

즉 사용자(교육자)는 대립쌍 형성을 위한 제1조건 데이터 및 제2조건 데이터를 입력 할 수 있다.

도5에서는 제1조건 데이터로 첫 음절의 초성이 "ㄱ"인 것을 입력하는 동작을 나타내고 있다(S51).

한편 제2조건 데이터로 해당 첫 음절의 초성이 "ㅎ"인 것을 나타내고 있다.

이렇게 사용자(교육자)가 "ㄱ"및 "ㅎ"을 입력하면 서버는 각 조건 데이터에 부합하는 단어를 포함한 결과 데이터를 표시할 수 있다.

도6을 참고하면 사용자(교육자)가 입력한 제1조건 데이터 및 제2조건 데이터 각각에 대응되는 단어를 나타내고 있다.

서버는 사용자(교육자)가 입력한 조건 데이터에 부합하는 대립쌍을 출력할 수 있다. 사용자(교육자)는 출력한 대립 쌍 중에서 결과 데이터에 표현될 대립 쌍을 선택할 수 있다. 도6에서는 사용자(교육자)가 "개,해", "거리, 허리", "김, 힘", "감아, 하마"의 대립쌍을 선택하는 동작을 나타내고 있다(S61,S62, S63, S64).

이렇게 선택하면 서버는 도7과 같은 결과 데이터를 출력할 수 있다.

도7을 참고하면 사용자(교육자)가2X2의 레이 아웃을 선택한 경우로 각 대립쌍이 레이 아웃에 출력되어 결과 데이터를 형성한 것을 나타내고 있다.

구체적으로 "개, 해"의 대립쌍 및 각 대립쌍과 매칭되는 이미지, "거리, 허리" 대립쌍 및 각 대립쌍과 매칭되는 이미지, "김, 힘"의 대립쌍 및 각 대립쌍과 매칭되는 이미지, "감아, 하마"의 대립쌍 및 각 대립쌍과 매칭되는 이미지를 출력할 수 있다.

한편 서버가 결과 데이터를 출력하는데 있어 각 조건 데이터를 만족하는 단어와 각 단어와 매칭되는 이미지를 함께 출력할 수 있다.

한편 도5내지7은 조건 단어를 출력하기 위해 사용자(교육자)가 조건 데이터를 입력하는 동작 및 출력되는 형태를 나타낸 일 실시예에 불과하며 조건 단어를 출력하는 동작이라면 그 동작의 제한은 없다.

도8및 도9는 무의미 음절표 찾기에 대응되는 조건 데이터를 입력하는 동작을 설명하기 위한 도면이다.

도8을 참고하면 사용자(교육자)가 결과 데이터의 종류로 무의미 음절표를 입력한 경우 무의미 음절표 형성을 위한 레이 아웃의 종류를 출력하는 동작을 나타내고 있다. 도8에서는 사용자(교육자)가 첫 번째 레이 아웃을 선택한 경우(S81)를 나타내고 있다. 일 실시예에 따르면 사용자(교육자)가 선택한 레이 아웃은 1행에는 각 음절이 모두 표기되고 이하 행에서는 여백으로 출력되며, 다른 표에서는 모든 행 및 렬에 있어서 무의미 단어가 표시되어 출력될 수 있다.

한편 도9를 참고하면 사용자(교육자)는 무의미 음절표의 레이 아웃의 행 및 열의 개수 및 레이 아웃의 행 및 열에 대응되는 음절을 입력하는 동작을 나타내고 있다.

구체적으로 사용자(교육자)는 각 레이 아웃에 출력될 음절을 입력할 수 있으며, 도9에서는 "사, 서, 소, 수, 스, 시 새"의 음절을 입력한 것을 나타내고 있다(S91).

또한 사용자(교육자)는 무의미 음절표의 행의 개수를 입력할 수 있다. 구체적으로 도 9에서는 5개의 행을 출력하는 명령을 입력할 수 있다(S92).

또한 추가적으로 사용자(교육자)는 해당 레이 아웃에 모두 음절이 표시될지 여부의 조건 데이터도 입력할 수 있다(S93).

사용자(교육자)가 도8 및 도9와 같은 조건 데이터를 입력하면 도10과 같은 무의미 음절표를 출력할 수 있다.

도10에서는 7개의 열과 5개의 행으로 이루어진 무의미 음절표를 출력하였으나 무의미 음절표의 형태의 제한은 없다.

한편 무의미 음절표는 음절 자체에 의미가 부여되지 않은 음절의 집합으로 이루어진 음절표를 의미할 수 있다.

한편 이렇게 출력된 무의미 음절표를 사용자(교육자)의 인쇄 명령 등에 따라서 문서나 다른 파일 형태로 출력될 수 있다.

한편 도8내지10는 조건 단어를 출력하기 위해 사용자(교육자)가 조건 데이터를 입력하는 동작 및 출력되는 형태를 나타낸 일 실시예에 불과하며 조건 단어를 출력하는 동작이라면 그 동작의 제한은 없다.

도11은 레이 아웃을 입력하는 인터페이스를 나타낸 도면이다.

본 발명에서 레이 아웃은 결과 데이터가 출력되는 형태를 의미할 수 있으며, 각 조건 데이터를 만족하는 단어와 이미지는 각 레이아웃에 대응되어 출력될 수 있다.

한편 사용자(교육자)는 각 결과 데이터가 출력되는 레이 아웃의 형태를 선택할 수 있다. 도11에서는 사용자(교육자)가 10X2형태의 표, 3X3 형태의 표 및 6X3형태의 표를 선택할 수 있는 동작을 설명하였으나 사용자(교육자)가 선택할 수 있는 레이 아웃의 형태에는 제한이 없다.

한편 사용자(교육자)가 레이 아웃을 선택하면 서버는 각 레이 아웃에 대응되도록 결과 데이터를 출력할 수 있고, 결과 데이터는 조건 데이터에 부합한 단어 뿐만 아니라 이미지도 포함할 수 있다.

도 12내지 도14은 학습자가 이미지를 이용한 학습 게임을 실시하는 동작을 설명하기 위한 도면이다.

도12를 참고하면, 서버는 사용자(교육자)가 입력한 조건 데이터 등으로 학습자의 학습을 위한 게임(테스트) 수행을 위한 인터페이스를 출력하는 동작을 나타내고 있다.

구체적으로 사용자(교육자)사 초성이 "ㅅ"로 시작하는 조건 데이터를 입력한 경우 서버는 "ㅅ"로 시작하는 단어와 매칭되는 이미지 및 해당 이미지의 선택을 입력 받을 수 있는 인터페이스를 제공할 수 있다.

한편 데이터 베이스를 형성하는데 있어서 단어 데이터에 포함된 상기 적어도 하나의 단어 각각에 대응되는 소리 데이터를 포함한 데이터 베이스를 형성할 수 있다. 즉 단어 데이터는 이미지와 대응됨과 동시에 단어 데이터에 대응되는 소리 데이터도 포함되는 데이터 베이스를 형성할 수 있다.

도12를 참고하면 단어"수박"은 수박 이미지와 대응될 수 있고, 수박의 발음을 포함하는 소리 데이터와 대응될 수 있다(S122).

한편 도12에서는 같은"ㅅ"로 시작하는 단어 데이터와 대응되는 이미지를 선택하는 것으로 학습자는 "수박"에 대응되는 이미지 및 "사자"에 대응되는 이미지를 선택할 수 있다(S122, S121).

한편 이렇게 학습자가 선택한 결과는 후술하는 바와 같이 서버가 학습자의 학습 레벨을 평가 및 분석하는데 이용될 수 있다.

도13을 참고하면 대립쌍을 출력한 것으로 각 대립쌍의 단어 데이터와 대응되는 이미지를 출력한 것을 나타내고 있다.

도13을 참고하면 초성"ㅂ"과 "ㅁ"으로 구성된 단어의 대립쌍에 대응되는 이미지를 출력한 것을 나타내고 있다.

한편 서버는 해당 단어 데이터와 소리 데이터가 대응되므로 "발" 또는 "말"에 해당되는 소리 데이터를 출력할 수 있다.

한편 서버가 "말"에 대응되는 소리 데이터를 출력한 경우 학습자는 "발"또는 "말"에 대응되는 이미지를 선택할 수 있다(S131).

한편 이렇게 학습자가 선택한 결과는 후술하는 바와 같이 서버가 학습자의 학습 레벨을 평가 및 분석하는데 이용될 수 있다.

도14를 참고하면 서버는 복수의 단어 데이터와 매칭되는 복수의 이미지를 출력할 수 있다.

구체적으로 도14에서는"공"에 대응되는 이미지, "문"에 대응되는 이미지 및 "걸"에 대응되는 이미지를 출력할 수 있다.

또한 서버는 "ㄱ"의 음절을 출력할 수 있다. 일 실시예에 따르면 학습자는 "ㄱ"에 대응되는 단어 데이터에 부합하는 이미지를 선택할 수 있다(S141).

서버는 추가적으로 학습자가 선택한 이미지가 상기 제1단어 데이터에 대응되는지 여부를 판단할 수 있다.

구체적으로 학습자가 선택한 이미지(S141)가 "ㄱ"에 해당하는 단어 데이터에 부합한지 여부를 판단할 수 있다.

한편 이렇게 학습자가 선택한 결과는 후술하는 바와 같이 서버가 학습자의 학습 레벨을 평가 및 분석하는데 이용될 수 있다.

한편 도12내지 도14에서 서버가 출력하는 인터페이스는 학습자가 사용하는 사용자(교육자) 단말 등에 출력될 수 있으며 여기서 설명하는 인터페이스는 출력의 일 실시예이며 서버가 출력할 수 있는 인터페이스를 이용한 게임(테스트) 및 학습 지도 방법에 대한 제한은 없다.

도15는 사용자(교육자)의 검색 기록을 나타낸 도면이다

도15를 참고하면 서버는 사용자(교육자) 및 다른 사용자(교육자) 각각이 입력한 상기 조건 데이터를 수집할 수 있다.

즉 사용자(교육자)가 결과 데이터의 형성을 위하여 입력한 조건 데이터를 입력한 것과 다른 사용자(교육자)가 입력한 조건 데이터를 함께 수집할 수 있다.

한편 서버는 수집된 조건 데이터를 기초로 형성된 결과 데이터의 사용을 가이드 할 수 있다.

예를 들어 학습자가 "ㅂ?"ㅃ" 및"ㅍ"의 발음을 구별하기 어려운 상황인 경우 해당 음절이 포함된 조건 단어의 출력하기 위하여 지속적으로 조건 데이터를 입력할 수 있다(S151).

이 경우 서버는 해당 조건 데이터가 지속적으로 입력된 것으로 판단하고, 추후 사용자(교육자)가 다시 로그인 하여 조건 단어, 대립쌍 및 무의미 음절표 등의 결과 데이터를 출력하려고 하는 경우 "ㅂ?"ㅃ" 및 "ㅍ"와 연관된 결과 데이터를 형성하도록 가이드 할 수 있다.

한편 도15에서 설명한 동작은 조건 데이터를 수집하는 일 실시예에 불과하고, 사용자(교육자), 다른 사용자(교육자)들의 조건 데이터를 수집하는 방법 및 분석 방법에는 제한이 없다.

도16는 단어 데이터를 나타낸 도면이다.

단어 데이터는 서버가 데이터 베이스로서 저장할 수 있다.

각 단어는 음절 별로 분리되고 각 음절은 초성, 활음, 중성 및 종성으로 각각 분류되어 저장될 수 있다.

예를 들어 "가려"의 경우 2음절의 단어로 1음절에는 초성 "ㄱ", 중성"ㅏ"로 분류되고 2음절의 경우 초성 "ㄱ", 활음 "j" 및 중성 "ㅓ"로 분류되어 저장될 수 있다.

서버는 이러한 단어 데이터를 지속적으로 업데이트할 수 있으며, 각 단어 데이터에 대응되는 이미지 및 소리 데이터도 저장할 수 있다.

예를 들어 "골프"의 경우 "골프"에 대응되는 골프공 또는 골프채 이미지를 단어 데이터에 대응시키고 각 단어 데이터의 소리를 저장하는 소리 데이터를 "골프"의 단어 데이터에 대응하여 저장할 수 있다.

한편 도16에서 설명한 단어 데이터는 본 발명의 일 실시예에 불과하고, 해당 단어 데이터의 형성 방법, 종류 및 저장 형태의 제한은 없다.

도17은 학습자의 학습 히스토리를 이용하여 학습자의 학습 레벨 판단 및 학습 솔루션을 제공하는 동작을 설명하기 위한 도면이다.

도17을 참고하면 서버(200)는 도 12내지 도14에 개시된 인터페이스 등을 통하여 학습자의 입력을 받을 수 있다. 또한 서버(200)는 학습자 이외의 사용자(교육자)로부터 학습자(300)의 연령 정보를 입력 받을 수 있다.

서버(200)는 연령 정보 및 학습자의 이미지 선택을 기초로 학습자의 언어 학습 레벨을 판단할 수 있다.

구체적으로 서버는 발달과정에서 나타날 수 있는 발달적 오류와 비발달적 오류를 변별할 수 있는 문항, 즉 오류 변별 문항을 만들어서 체크리스트를 제공하고 이를 사용자(교육자) 단말을 통하여 사용자(교육자)에게 제공할 수 있다.

학습자들의 보호자들이 사용자(교육자) 단말을 이용하여 웹사이트에 들어와서 아동의 연령과 성별을 기입하고 체크리스트를 작성할 수 있다. 이러한 오류 변별 문항 선택 및 연령 정보는 학습자 상태 정보로 도출될 수 있다.

서버는 아동의 연령과 성별에 나타날 수 있는 발달적 오류인지, 비발달적 오류인지 확인하여 조음 장애 여부를 판단하고, 이를 보호자에게 제공할 수 있다.

이후 서버는 다양한 모음과 자음이 적절하게 포함된 정해진 단어와 문장으로 검사 도구를 기반으로 일반아동이 그 단어와 문장을 읽은 결과와, 조음 장애 아동이 그 문장을 읽은 결과를 입력 값으로 기계 학습을 수행할 수 있다.

구체적으로 사용자(교육자)가 입력한 연령 정보에 따라서 서버는 점수 정보를 변경할 수 있다. 즉 연령이 높을수록 요구되는 언어의 이해도가 높으므로 도12내지 14에 제시된 인터페이스에서 학습자가 출력된 소리 데이터 및 이미지에 부합하는 선택을 할 것이 요구된다.

따라서 서버는 이러한 연령까지 고려하여 학습자가 정확한 선택을 하였는지 여부를 판단하고 언어 학습 레벨을 판단할 수 있다.

이렇게 언어 학습 레벨을 판단한 결과는 사용자(교육자)에게 전달될 수 있다.

한편 서버(200)는 학습자의 발음 또는 학습자의 학습 영상을 포함하는 학습 히스토리를 수집할 수 있다.

이렇게 사용자(교육자)의 학습 히스토리를 수집하는데 있어서 마이크 및 카메라 등의 수집 디바이스(100)가 이용될 수 있다. 또한 서버는 보호자가 아동에게 정해진 단어와 문장을 말하도록 하고, 그 모습을 영상에 담은 히스토리 정보를 서버에 업로드할 수 있고 서버는 이를 기초로 검사를 수행하고 검사 결과를 사용자(교육자)에게 제공할 수 있다.

한편 서버(200)는 수집된 학습자 상태 정보 및 상기 학습자의 이미지 선택 및 학습 히스토리를 입력 값을 기초로 기계 학습을 수행하여 학습자의 언어 학습 레벨 및 언어 학습 레벨에 대응되는 학습 솔루션을 제공할 수 있다. 기계 학습은 방대한 데이터를 분석해 결과 예측하는 기술을 의미할 수 있다.

구체적으로 기계 학습은 사전 정보가 전혀 없는 상황에서 주어진 수많은 데이터를 비슷한 것끼리 분류하는 단계, 알고리즘을 활용해 군집 특징을 추출하는 단계, 이전 단계에서 구축된 알고리즘 구조를 쌓아 올려 더욱 복잡한 계층구조를 만들고, 수천 번 반복하는 방식으로 가장 최적화된 알고리즘 체계를 결정하는 단계로 수행될 수 있다.

한편 서버는 상술한 동작을 기반으로 학습 솔루션 제공할 수 있다

구체적으로 숙련된 치료사들 및 전공 교수 자문이 오류 패턴에 따라 접근했던 방법을 데이터화해서 기계 학습을 통해 서버는 데이터의 학습이 가능하다.

또한 상술한 동작 및 도출한 결과를 바탕으로 웹사이트에서 체계화된 솔루션을 사용자(교육자)에게 사용자(교육자) 단말을 통하여 제공할 수 있다.

서버는 솔루션에 따라 조건 단어 찾기, 대립쌍 찾기 및 무의미 음절표 만들기에서 적절한 치료자료를 생성하고 이를 사용자(교육자)에게 제공할 수 있다.

이러한 치료 자료를 받은 사용자(교육자)는 학습자에게 이를 제공할 수 있으며 학습자는 집에서 제시된 치료자료를 가지고 발음 학습을 반복적으로 수행할 수 있다.

서버는 어느 정도 연습 후에 다시 평가를 통해 진전 정도를 확인하고 진전 정도에 맞추어 새롭게 솔루션을 제시할 수 있다.

본 발명에서는 수집된 학습 히스토리를 분류하고, 해당 학습자의 군집 특성을 추출하여 최적의 학습 솔루션을 제공하는 형태로 제공될 수 있다.

한편 학습 솔루션은 언어 학습에 필요한 적절한 조건 단어 및 대립쌍을 추천하는 동작을 포함할 수 있다.

한편 도16에서 설명한 서버의 동작은 하나의 실시예에 불과하며 학습자의 레벨의 판단 및 솔루션의 제공 범위 내에서 유연하게 해석되어야 한다.

구체적으로 서버는 지정된 단어 이름대기나 문장 읽기, 따라 말하기 표정을 동영상으로 입력 받고 이를 이용하여 진단 기초 자료를 생성할 수 있다.

또한 서버는 입력 자료를 구축된 진단 시스템을 이용하여 학습자의 조음 장애 상태 및 학습 레벨을 진단할 수 있다.

즉 서버에는 장애아동의 조음 활동 영상과 조음 장애 유형을 매칭 시키는 인공지능형 전산시스템이 마련될 수 있고 서버는 이러한 시스템을 이용하여 학습자의 조음 장애 상태 및 학습 레벨을 진단할 수 있다.

한편 서버가 학습자를 진단한 결과가 정확하지 않은 경우 즉, 자동 진단 결과 매칭 정확도가 낮은 이격 자료는 전문 인력이 개입하여 추가로 정밀 진단할 수 있다. 한편 이 동작은 서버가 사용자(교육자)에게 제안하는 동작이다.

서버는 진단 결과에 따라 확정된 조음 장애 유형의 치료 절차를 전산 시스템이 확정하고 치료를 위한 조건 단어, 대립쌍 및 무의미 음절표를 포함하는 학습 자료의 종류를 결정할 수 있다.

또한 서버는 진단 결과에 따라 확정된 조음 장애 유형의 치료 절차를 전산 시스템이 확정하고 치료를 위한 조건 단어, 대립쌍 및 무의미 음절표를 포함하는 학습 자료의 종류를 결정할 수 있다.

서버는 사용자(교육자)에게 치료 절차에 따라 대응되는 품사, 음절 개수 및 적어도 하나의 음소를 포함하는 조건 데이터를 그림과 함께 제시할 수 있다.

구체적으로 서버는 철자 기준이 아닌 말소리 기준으로 구성된 데이터베이스에서 검색하여 조건 단어를 찾을 수 있다.

서버는 사용자(교육자)에게 대립쌍 형성 제 1조건 테이터 및 상기 제 2 조건 데이터 각각에 매칭되는 복수의 단어를 그림과 함께 추출, 제시할 수 있다.

서버는 사용자(교육자)에게 상기 무의미 음절표 형성을 위한 상기 레이 아웃의 종류, 상기 레이아웃의 행, 열의 개수 및 상기 레이 아웃의 행 및 열에 대응되는 음절 중 적어도 하나에 대응되는 연습표 즉 무의미 음절표를 제시할 수 있다.

또한 이후 학습자는 학습자료 자동 제작 과정으로 추출된 결과 데이터를 출력(인쇄물 또는 파일형태)해서 연습할 수 있다.

또한 서버는 학습자료를 게임(테스트)과 연동해서 연습할 수 있도록 지원하는 단계를 추가할 수 있다.

이후 서버는 학습자료를 활용한 조음치료 단계의 수행 이후 촬영된 조음 간이 진단 영상과 최초 진단 시 조음 활동 영상을 비교해 개선도를 추정할 수 있다.

한편 이렇게 수집된 영상과 최초 조음 진단 결과 자료는 자동 진단 수준에 반영할 수 있다. 서버가 자동 진단 수준에 반영할 때는 후술하는 인공지능 엔진 사용할 수 있다.

도18은 일 실시예에 따른 순서도이다.

도18을 참고하면, 서버는 단어 데이터를 포함한 데이터 베이스를 형성할 수 있다(1001).

또한 사용자(교육자)는 결과 데이터의 종류를 입력할 수 있다(1001). 결과 데이터는 조건 단어, 대립쌍 및 무의미 음절표를 포함할 수 있다.

또한 사용자(교육자)는 조건 데이터를 입력할 수 있다(1003). 서버는 입력 받은 조건 데이터를 기초로 기존 단어 데이터에 대응되는 단어를 추출할 수 있다(1004).

또한 사용자(교육자)는 해당 단어가 출력되는 레이 아웃을 입력할 수 있고(1005), 서버는 레이 아웃에 단어가 표시된 결과 데이터를 출력할 수 있다(1006).

한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.

컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.

이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다.본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.

200 : 서버
300 : 학습자

Claims (10)

1. 단어 데이터로 포함된 데이터 베이스를 형성하는 단계;
   교육자로부터 조건 단어, 대립쌍 및 무의미 음절표를 포함하는 결과 데이터의 종류를 입력 받는 단계;
   상기 교육자로부터 상기 결과 데이터의 종류에 대응되는 품사, 음절 갯수, 적어도 하나의 음절 및 적어도 하나의 음소를 포함하는 조건 데이터를 입력 받는 단계;
   상기 조건 데이터와 상기 단어 데이터를 비교하여 상기 단어 데이터에서 상기 조건 데이터에 매칭되는 적어도 하나의 단어를 추출하는 단계;
   상기 교육자로부터 추출된 상기 적어도 하나의 단어를 출력하는 레이 아웃을 입력 받는 단계; 및
   상기 레이 아웃의 적어도 일부에 상기 조건 데이터에 매칭되는 적어도 하나의 음절을 포함하는 결과 데이터를 출력하는 단계;를 포함하는 언어 교육 방법.
   
2. 제1항에 있어서,
   상기 교육자로부터 품사, 음절 갯수, 적어도 하나의 음절 및 적어도 하나의 음소를 포함하는 조건 데이터를 입력 받는 단계는,
   초성, 활음, 모음, 및 종성 각각에 해당하는 적어도 하나의 음절을 입력하는 단계;를 포함하는 언어 교육 방법.
   
3. 제1항에 있어서,
   상기 교육자로부터 품사, 음절 갯수, 적어도 하나의 음절 및 적어도 하나의 음소를 포함하는 조건 데이터를 입력 받는 단계는,
   상기 교육자로부터 대립쌍 형성 명령을 입력 받으면, 상기 대립쌍 형성을 위한 제1조건 데이터 및 제2조건 데이터를 입력 받는 단계;를 포함하고,
   상기 조건 데이터에 매칭되는 적어도 하나의 단어를 추출하는 단계는,
   상기 제1조건 데이터 및 상기 제2조건 데이터 각각에 매칭되는 복수의 단어를 그림과 함께 추출하는 단계;를 포함하는 언어 교육 방법.
   
4. 제1항에 있어서,
   상기 교육자로부터 추출된 상기 적어도 하나의 단어를 출력하는 레이 아웃을 입력 받는 단계는,
   상기 교육자로부터 무의미 음절표 명령을 입력 받으면,
   상기 무의미 음절표 형성을 위한 상기 레이 아웃의 종류, 상기 레이 아웃의 행 및 열의 개수 및 상기 레이 아웃의 행 및 열에 대응되는 음절 중 적어도 하나에 대응되는 명령을 입력 받고 상기 무의미 음절표가 포함된 연습표를 출력하는 단계;를 포함하는 언어 교육 방법.
   
5. 제1항에 있어서,
   상기 단어 데이터로 포함된 데이터 베이스를 형성하는 단계는,
   상기 단어 데이터에 포함된 상기 적어도 하나의 단어 각각에 대응되는 이미지를 포함한 상기 데이터 베이스를 형성하는 단계;를 포함하고
   상기 결과 데이터를 출력하는 단계는,
   상기 적어도 하나의 단어와 대응되는 상기 이미지를 출력하는 단계; 및
   상기 결과 데이터 및 상기 이미지를 기초로 형성된 테스트를 제공하는 단계;
   를 포함하는 언어 교육 방법.
   
6. 제5항에 있어서,
   상기 단어 데이터로 포함된 데이터 베이스를 형성하는 단계는,
   상기 단어 데이터에 포함된 상기 적어도 하나의 단어 각각에 대응되는 소리 데이터를 포함한 상기 데이터 베이스를 형성하는 단계;를 포함하고,
   상기 테스트를 제공하는 단계는,
   학습자로부터 상기 적어도 하나의 단어에 대응되는 이미지를 선택하는 명령을 입력 받으면, 상기 이미지에 대응되는 상기 소리 데이터를 출력하는 단계; 및
   상기 소리 데이터 출력 후, 상기 학습자로부터 상기 이미지 중 하나를 선택하는 선택 명령을 입력 받으면, 상기 선택 명령에 대응되는 상기 이미지와 상기 단어 데이터의 매칭 여부를 판단하는 단계;를 포함하는 언어 교육 방법.
   
7. 제5항에 있어서,
   상기 테스트를 제공하는 단계는,
   제1단어 데이터와 매칭되는 이미지 및 제2단어 데이터와 매칭되는 이미지를 출력하는 단계;
   제1단어 데이터에 대응되는 적어도 하나의 음절을 출력하는 단계;
   학습자가 이미지를 선택하는 명령을 입력 받는 단계; 및
   상기 학습자가 선택한 이미지가 상기 제1단어 데이터에 대응되는지 여부를 판단하는 단계;를 더 포함하는 언어 교육 방법.
   
8. 제5항에 있어서,
   상기 테스트를 제공하는 단계는,
   상기 교육자에게 오류 변별 문항을 제공하고, 상기 교육자로부터 상기 오류 변별 문항 선택 및 학습자의 연령 정보를 포함하는 학습자 상태 정보를 입력 받는 단계;
   상기 학습자 상태 정보를 기초로 발달적 오류 및 비 발달적 오류 여부를 판단하여 상기 학습자의 조음 장애 여부를 판단하는 단계;
   상기 학습자가 조음 장애인 것으로 판단되면, 상기 학습자로부터 상기 이미지의 선택을 입력 받는 단계; 및
   상기 학습자 상태 정보 및 상기 학습자의 이미지 선택을 기초로 상기 학습자의 언어 학습 레벨을 판단하는 단계;를 포함하는 언어 교육 방법.
   
9. 제8항에 있어서,
   상기 테스트를 제공하는 단계는,
   상기 학습 히스토리를 수집하고 학습 레벨에 따른 학습 솔루션 및 학습 자료의 종류를 결정하는 단계를 더 포함하되,
   상기 학습 히스토리를 수집하고 학습 레벨에 따른 학습 솔루션 및 학습 자료의 종류를 결정하는 단계는,
   지정된 단어 이름대기 및 문장 읽기를 포함하는 학습자의 발음 또는 상기 학습자의 따라 말하기 표정을 포함하는 학습 영상을 포함하는 학습 히스토리를 수집하는 단계;
   수집된 상기 학습 히스토리, 상기 학습자 상태 정보 및 상기 학습자의 이미지 선택을 입력 값으로 구축된 진단 시스템의 기계 학습을 수행하여 상기 학습자의 언어 학습 레벨을 결정하고, 상기 언어 학습 레벨에 대응되는 학습 솔루션을 제공하는 단계;
   상기 학습자의 언어 학습 레벨을 결정이 수행되지 않으면, 매칭 정확도가 낮은 이격 자료를 다른 전문 인력이 사용할 수 있도록 제공하는 단계; 및
   상기 언어 학습 레벨에 따라 학습 절차를 전산 시스템이 확정하고 학습을 위한 조건 단어, 대립쌍 및 무의미 음절표를 포함하는 학습 자료의 종류를 결정하는 단계;를 포함하는 언어 교육 방법.
   
10. 제1항에 있어서,
    상기 조건 데이터를 입력 받는 단계는,
    상기 교육자 및 다른 교육자 각각이 입력한 조건 데이터를 수집하는 단계;를 더 포함하고,
    상기 결과 데이터를 출력하는 단계는,
    수집된 상기 조건 데이터를 기초로 형성된 출력 데이터의 사용을 가이드하는 단계;
    상기 출력 데이터를 활용한 학습 수행 이후 촬영된 학습자의 영상 및 최초 상기 학습자의 조음 활동 영상을 비교해 개선도를 추정하는 단계; 및
    상기 개선도를 자동 진단을 통하여 상기 데이터 베이스에 반영하는 단계;
    를 더 포함하는 언어 교육 방법.

Images