KR102468713B1 - 학습자의 한글 필기에 대한 인공지능 기반의 획순 인식 장치 및 방법 - Google Patents

Abstract

본 발명의 일 목적은 인공 지능 기반으로 유아 학습자의 한글 필기를 글자 인식하고 한글 필기의 획순을 인식하여 정확한 획순에 의해 한글 필기가 쓰여졌는지 여부를 파악함으로써, 유아 학습자의 쓰기 교육에 있어서 획순에 대한 교육을 제공하는 것에 있다.
이를 위해, 본 발명의 일 실시예에 따른 학습자의 한글 필기에 대한 인공지능 기반의 획순 인식 장치는, 학습 클라이언트로부터 수신한 학습자의 한글 필기 데이터의 글자를 인식하는 필기 인식 모듈과, 상기 글자 인식된 한글 필기 데이터의 음소를 분해하여 음소 정보를 생성하고, 상기 음소 정보에 기초하여 상기 한글 필기 데이터의 각 음소가 정해진 순서에 의해 입력되었는지 여부를 판정하는 음소 분해 모듈 - 상기 음소 정보는 상기 한글 필기 데이터의 각 음소의 입력 순서에 대한 데이터를 포함함 - 과, 상기 음소 정보를 입력받아 음소의 각 획이 학습자에 의해 입력된 순서인 획순 인식 정보를 출력하는 인공 신경망 모듈을 포함하는 획순 식별 모듈 - 상기 획순 식별 모듈은 상기 획순 인식 정보에 기초하여 상기 학습자 클라이언트에게 피드백을 전송함 - 을 포함한다.

Description

학습자의 한글 필기에 대한 인공지능 기반의 획순 인식 장치 및 방법{AI- based Device and Method for Stroke Order Recognition of Korean Handwriting of Student}

본 발명은 학습자의 한글 필기에 대한 인공지능 기반의 획순 인식 장치 및 방법에 관한 것이며, 보다 구체적으로는, 인공 지능 기반으로 유아 학습자의 한글 필기를 글자 인식하고 한글 필기의 획순을 인식하여 정확한 획순에 의해 한글 필기가 쓰여졌는지 여부를 파악할 수 있는 장치 및 방법에 관한 것이다.

한글, 영어, 일어, 중국어 등 각종 언어들에 대한 교육열이 과열되면서, 최근의 학부모들은 빠르면 4세부터 한글, 영어 등 다양한 언어를 교육하기 시작하였다. 특히, 조기교육의 핵심인 한글의 경우, 한국교육과정평가원의 통계에 따르면, 입학 전 한글 교육 비율은 91.6%에 달하는 것으로 나타났다.

기존의 한글 교육 방식은 학부모 또는 돌보미의 돌봄 시간에 한글 학습지 등의 자료를 이용하여 교육하는 방식이 대세를 이루었고, 점차 온라인 혹은 오프라인에서 스마트폰이나 태블릿 등의 애플리케이션을 통해 교육하는 방식으로 전환되고 있었다. 그러나, 이러한 한글 교육 방식은 유아의 한글 수준과 관련 없는 기설정된 커리큘럼에 따른 저가의 일방향 한글 교육 방식이거나 학습지 교사의 지도가 포함된 고가의 양방향 한글 교육 방식이었다.

이러한 점 때문에 저가로 유아의 한글 교육을 수행하여야 하는 경우, 애플리케이션을 이용하여 한글 교육을 진행하더라도 난이도가 너무 높거나 너무 낮아 유아의 흥미를 유발하는 데에 어려움이 있었으며, 유아의 흥미 유발을 위해 학부모 또는 돌보미가 유아의 한글 교육에 많은 교육 시간을 할애하여야 하는 문제가 있었다. 또한, 학부모와 돌보미의 입장에서는, 시중에 판매되는 4,000개 이상의 한글 교육 학습지와 수많은 한글 교육 애플리케이션이라는 지나치게 많은 선택지 중에서 어떤 것이 가장 적절할지 선택해야 한다는 매우 어려운 문제가 있었다.

또한, 학습지 교사가 방문하여 지도하는 고가의 양방향 한글 교육 방식을 취하더라도, 학습지 교사는 일주일에 15분 교육하는 경우가 대부분이며, 나머지 시간에는 학부모가 직접 한글 교육을 책임져야 하는 문제가 있었다.
본 출원에 대한 선행 문헌으로는 예를 들어 대한민국 등록특허 제10-2297266호가 있다.

본 발명의 목적은 인공 지능 기반으로 유아 학습자의 한글 필기를 글자 인식하고 한글 필기의 획순을 인식하여 정확한 획순에 의해 한글 필기가 쓰여졌는지 여부를 파악함으로써, 유아 학습자의 쓰기 교육에 있어서 획순에 대한 교육을 제공하는 것에 있다.

다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 바로 제한되지 않으며, 언급되지는 않았으나 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있는 목적을 포함할 수 있다.

이하 본 발명의 목적을 달성하기 위한 구체적 수단에 대하여 설명한다.

본 발명의 일 실시예에 따른 학습자의 한글 필기에 대한 인공지능 기반의 획순 인식 장치는, 학습자 클라이언트로부터 수신한 학습자의 한글 필기 데이터의 글자를 인식하는 필기 인식 모듈과, 상기 글자 인식된 한글 필기 데이터의 음소를 분해하여 음소 정보를 생성하고, 상기 음소 정보에 기초하여 상기 한글 필기 데이터의 각 음소가 정해진 순서에 의해 입력되었는지 여부를 판정하는 음소 분해 모듈 - 상기 음소 정보는 상기 한글 필기 데이터의 각 음소의 입력 순서에 대한 데이터를 포함함 - 과, 상기 음소 정보를 입력받아 음소의 각 획이 학습자에 의해 입력된 순서인 획순 인식 정보를 출력하는 인공 신경망 모듈을 포함하는 획순 식별 모듈 - 상기 획순 식별 모듈은 상기 획순 인식 정보에 기초하여 상기 학습자 클라이언트에게 피드백을 전송함 - 을 포함한다.

본 발명의 일 실시예에 따른 학습자의 한글 필기에 대한 인공지능 기반의 획순 인식 장치에 있어서, 상기 획순 식별 모듈의 상기 인공 신경망 모듈에 입력되는 상기 음소 정보는 음소의 시계열적인 2차원 좌표 기반 데이터를 포함한다.

본 발명의 일 실시예에 따른 학습자의 한글 필기에 대한 인공지능 기반의 획순 인식 장치에 있어서, 상기 획순 식별 모듈은, 상기 인공 신경망 모듈에 상기 음소 정보를 입력하기 전에 상기 음소 정보에 대해 전처리로서 업샘플링 및 다운샘플링 중 하나를 수행하되, 상기 분해된 음소의 특정 획이 소정의 길이보다 짧은 경우 업샘플링을 수행하고, 상기 분해된 음소의 특정 획이 소정의 길이보다 긴 경우 다운샘플링을 수행한다.

본 발명의 일 실시예에 따른 학습자의 한글 필기에 대한 인공지능 기반의 획순 인식 장치에 있어서, 상기 획순 식별 모듈의 상기 인공 신경망 모듈의 사전 학습 세션에서, 복수의 사전학습용 음소 정보를 상기 인공 신경망 모듈에 입력하고, 상기 인공 신경망 모듈에서 출력한 사전 학습용 음소에 대한 획순 인식 정보를 사전 학습용 음소의 실제 획순 정보와 비교하고, 상기 획순 인식 정보와 상기 실제 획순 정보 사이의 에러가 최소화되도록 상기 인공 신경망 모듈을 사전 학습시킨다.

본 발명의 일 실시예에 따른 학습자의 한글 필기에 대한 인공지능 기반의 획순 인식 방법은, 학습자 클라이언트로부터 수신한 학습자의 한글 필기 데이터의 글자를 인식하는 단계와, 상기 글자 인식된 한글 필기 데이터의 음소를 분해하여 음소 정보를 생성하는 단계 - 상기 음소 정보는 상기 한글 필기 데이터의 각 음소의 입력 순서에 대한 데이터를 포함함 - 와, 상기 음소 정보에 기초하여, 상기 한글 필기 데이터의 각 음소가 정해진 순서에 의해 입력되었는지 여부를 판정하는 단계와, 인공 신경망 모듈에 상기 음소 정보를 입력하여 음소의 각 획이 학습자에 의해 입력된 순서인 획순 인식 정보를 출력하는 단계와, 상기 획순 인식 정보에 기초하여 상기 학습자 클라이언트에게 피드백을 전송하는 단계를 포함한다.

상기한 바와 같이, 본 발명에 의하면 이하와 같은 효과가 있다.

본 발명의 일 실시예에 따르면, 인공 지능 기반으로 유아 학습자의 한글 필기를 글자 인식하고 한글 필기의 획순을 인식하여 정확한 획순에 의해 한글 필기가 쓰여졌는지 여부를 파악할 수 있으며, 이에 유아 학습자의 쓰기 교육에 있어서 획순에 대한 교육을 제공할 수 있다는 효과를 가진다.

다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 일 실시예에 따른 유아 학습자의 한글 필기에 대한 인공지능 기반의 획순 인식 장치를 도시한 모식도이다.
도 2는 본 발명의 일 실시예에 따른 인공지능 기반의 필기 인식 모듈에 대한 예시적인 도면이다.
도 3은 본 발명의 일 실시예에 따른 획수 기반 음소 분해 모듈의 동작 원리를 설명하기 위한 예시적인 도면이다.
도 4는 본 발명의 다른 일 실시예에 따른 인공지능 기반 음소 분해 모듈의 동작 원리를 설명하기 위한 예시적인 도면이다.
도 5는 본 발명의 일 실시예에 따른 인공지능 기반의 획순 식별 모듈의 동작 원리를 설명하는 도면이다.
도 6은 본 발명의 일 실시예에 따라 음소 정보에 대해 수행되는 전처리를 예시적으로 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 획순 식별 모듈의 인공 신경망의 사전 학습 세션에 대해 개략적으로 설명하는 도면이다.
도 8은 본 발명의 일 실시예에 따른 유아 학습자의 한글 필기에 대한 인공지능 기반의 획순 인식 방법에 대한 흐름도이다.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 쉽게 실시할 수 있는 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 예에 한정되지 않는다. 또한, 본 발명의 바람직한 실시예에 대한 동작원리를 상세하게 설명함에 있어서 관련된 공지기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

또한, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용한다. 명세서 전체에서, 특정 부분이 다른 부분과 연결되어 있거나 위/아래에 있다고 할 때, 이는 직접적으로 연결되어 있거나, 위/아래에 있는 경우뿐만 아니라, 그 중간에 다른 구성요소를 사이에 두고, 간접적으로 연결되거나 위/아래에 있는 경우도 포함한다.

나아가, 명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.

"제1", "제2" 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이러한 구성요소들은 해당 용어들에 의해 한정되어서는 안 된다. 즉, 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

또한, 달리 구체적으로 명시하지 않는 한, "단수"의 표현은 본 명세서에서 하나 이상의 개체를 포함하는 것으로 사용된다. 마지막으로, 본 명세서에서 사용된 바와 같이, "또는"은 달리 구체적으로 명시하지 않는 한, 비-배타적인 "또는"을 의미한다.

또한, 본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

이하 발명의 설명에서, 한글은 낱소리(음소) 문자로서 자음(닿소리)과 모음(홑소리)으로 구성되며, 음절(소리마디)은 첫소리(초성), 가운뎃소리(중성), 끝소리(종성)의 낱소리(음소) 세 벌로 이루어지는데, 첫소리(초성)와 끝소리(종성)에는 닿소리(자음)를 쓰고 가운뎃소리(중성)에는 홀소리(모음)를 쓴다.

현대 한글에서 단음을 내는 닿소리(자음)에는 ㄱ,ㄴ,ㄷ,ㄹ,ㅁ 등 14자가 있고, 홑소리(모음)에는 ㅏ,ㅑ, ㅓ, ㅕ 등 10자가 있다. 복음을 내는 겹닿소리(쌍자음)에는 ㄲ, ㄸ, ㅃ, ㅆ, ㅉ 의 5자가 있고, 겹홑소리(쌍모음)에는 ㅐ, ㅒ, ㅔ, ㅖ 등 11자가 있다. 또한, 현대 한글에서 끝소리(종성)가 있을 때 활용되는 받침은 홑받침 또는 곁받침이 있고, 홑받침에는 모든 닿소리(자음)가 쓰이며, 곁받침에는 ㄲ,ㅆ,ㄳ,ㄵ 등 13자가 있다.

현대 한글은 낱자를 엮어 11,172(첫소리 19 × 가운뎃소리 21 × (끝소리 27 + 끝소리 없음 1))글자 마디를 쓸 수 있다. 11,172자 중 399자는 무받침 글자이며 10,773자는 받침 글자이다.

어문 규정에 의하여, 현대 한국어 표준어에서 실제 사용하는 음절은 이보다 적다. 한국어의 소리는 첫소리+가운뎃소리(+끝소리)로 이루어지는데, 표준어에서 첫소리에는 19가지 닿소리가 모두 쓰이되 첫소리에 놓인 ㅇ은 소리 나지 않는다. 끝소리는 7종성법에 따라 7갈래로 모이며 끝소리가 없는 것까지 더하여 모두 8갈래이므로 현대 한국어의 발음은 첫소리 19 × 가운뎃소리 21 × 끝소리 8 = 3,192가지 소리가 된다. 표준 발음법을 따르면 구개음 ㅈ, ㅉ, ㅊ 뒤의 이중 모음 ㅑ, ㅒ, ㅕ, ㅖ, ㅛ, ㅠ는 단모음 ㅏ, ㅐ, ㅓ, ㅔ, ㅗ, ㅜ로 소리나므로 첫소리 3 × 가운뎃소리 6 × 끝소리 8 = 144소리가 빠지고, 아울러 소리나는 첫소리 (ㅇ이 아닌 첫소리 뒤에 오는)를 얹은 가운뎃소리 [ㅢ]는 ㄴ을 제외하면(ㄴ의 경우는 구개음화에 따른 다른 음소로 인정하고 있다.) [ㅣ]로 소리나므로(한글 맞춤법 제9항 및 표준 발음법 제5항 단서 3) 첫소리 17 × 가운뎃소리 1 × 끝소리 8 = 136 소리가 다시 빠진다. 따라서, 현재 한국어 표준어에서 실제 사용하는 소리마디는 3192 - 144 - 136 = 2,912가지가 된다.

인공지능 기반의 획순 인식 장치의 개요

도 1은 본 발명의 일 실시예에 따른 유아 학습자의 한글 필기에 대한 인공지능 기반의 획순 인식 장치를 도시한 모식도이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 유아 학습자의 한글 필기에 대한 인공지능 기반의 획순 인식 장치(l00)는, 필기 인식 모듈(1), 음소 분해 모듈(2), 및 획순 식별 모듈(3)을 포함할 수 있다.

본 발명의 일 실시예에 따르면, 유아 학습자의 한글 필기에 대한 인공지능 기반의 획순 인식 장치(100)의 필기 인식 모듈(1)은 학습자 클라이언트(4)의 애플리케이션 모듈(5)로부터 학습자가 입력한 한글 필기 데이터를 수신할 수 있다. 학습자의 한글 필기 데이터는 시계열적인 2차원 좌표 기반 필기체 데이터로서, 예를 들어, 한글 필기 데이터는 학습자의 터치 입력의 2차원 좌표를 시간 순서대로 기록한 데이터일 수 있다. 이러한 한글 필기 데이터는 학습자 클라이언트(4)의 터치 스크린을 통한 학습자의 손가락 또는 스타일러스의 터치에 의해 입력되거나 마우스 등 다른 방식을 통해 입력될 수 있으며, 그 입력 방식에 대해 제한하지는 않는다.

일 실시예예 따르면, 필기 인식 모듈(1)은 인공 신경망 모듈을 이용한 딥 러닝을 통해 한글 필기 데이터가 어떠한 글자에 해당하는지를 글자 인식할 수 있다. 필기 인식 모듈(1)에 사용되는 인공 신경망 모듈은 예를 들어, CNN(Convolution Neural Network) 기반 인공 신경망으로, GoogLenet 신경망, Lenet 신경망 등을 이용한 것일 수 있다. 필기 인식 모듈(1)의 구체적인 구성에 대해서는 자세히 후술하도록 한다.

일 실시예에 따르면, 음소 분해 모듈(2)은 인공 신경망 모듈을 이용한 딥 러닝을 통해, 필기 인식 모듈(1)을 통해 글자 인식된 한글 필기 데이터가 나타내는 글자의 각 음소, 예를 들어, 초성, 중성 및 종성을 분해할 수 있다. 음소 분해 모듈(2)에 포함되는 인공 신경망 모듈은 예를 들어, YOLO, DPM, R-CNN 등일 수 있으며, 이에 대해서도 자세히 후술하도록 한다.

또한, 다른 일 실시예에 따르면, 음소 분해 모듈(2)은 필기 인식 모듈(1)을 통해 글자 인식된 한글 필기 데이터가 나타내는 글자가 무엇인지에 기반하여, 획수에 기초하여 한글 필기 데이터 내 어떤 입력이 초성인지, 중성인지 또는 종성인지 여부를 판별함으로써 음소를 분해할 수도 있다. 예를 들어, "램"이라는 글자를 쓰는 경우, "ㄹ"은 3획, "ㅐ"은 3획, "ㅁ"은 3획의 총 9획으로 필기하도록 구성되어 있으므로, "램"이라는 한글 필기의 첫 3획은 초성, 그 다음 3획은 중성, 그리고 마지막 3획은 종성에 해당한다는 점에 착안하여 음소를 분해할 수도 있다.

일 실시예에 따르면, 획순 식별 모듈(3)은 인공 신경망 모듈에 분해된 음소에 대응하는 시계열적인 2차원 좌표 기반 필기체 데이터베이스를 입력하여 해당 음소의 각 획이 정해진 순서로 입력되었는지 여부를 판별하는 획순 인식 정보를 출력할 수 있다. 여기서, 음소의 2차원 좌표 필기체 데이터베이스는 입력된 한글 필기 데이터의 형태에 대한 정보 뿐만 아니라 좌표를 순차적으로 표현한 정보를 포함할 수 있다. 획순 식별 모듈(3)에 사용되는 인공 신경망 모듈은 예를 들어 LSTM(Long Short Term Memory), RNN(Recurrent Neural Network) 등일 수 있으며, 이에 대해서도 자세히 후술하도록 한다.

또한, 일 실시예에 따르면, 획순 식별 모듈(3)은 출력된 획순 인식 정보에 기초하여 학습자 클라이언트(4)의 애플리케이션 모듈(5)에 피드백을 전송할 수 있다. 이러한 피드백은 학습자에게 잘못된 획순에 대한 정보(예를 들어, 학습자가 입력한 한글 필기의 몇번째 획이 틀렸는지)를 학습자에게 알리기 위한 것일 수 있으며, 정보의 구체적인 예에 대해서 한정하지는 않는다.

본 발명의 일 실시예에 따른 유아 학습자의 한글 필기에 대한 인공지능 기반의 획순 인식 장치(100)는 특정 웹서버, 클라우드 서버와 같은 가상 서버, 스마트폰, 태블릿 PC, 데스크탑 PC 등의 컴퓨팅 장치의 처리모듈에 의해 처리되고, 각 컴퓨팅 장치의 메모리 모듈에 저장되도록 구성될 수 있다. 다만, 이러한 장치(100)가 둘 이상의 컴퓨팅 디바이스의 처리모듈에 의해 분산 처리되고, 둘 이상의 컴퓨팅 디바이스의 메모리 모듈에 분산되어 저장될 수도 있으며, 이러한 점은 유아 학습자의 한글 필기에 대한 인공지능 기반의 획순 인식 장치(100)의 구체적인 구현 방법에 따라 다양하게 설계될 수 있다.

본 발명의 일 실시예에 따르면, 유아 학습자가 한글 필기를 적절한 형태로 작성하였는지에 대해 판별할 뿐만 아니라, 한글 필기의 획순이 올바른 순서로 입력되었는지도 파악할 수 있으므로, 유아 학습자의 쓰기 교육을 보다 체계적으로 수행할 수 있는 효과가 발생한다.

다만, 본 명세서에서는 학습자의 한글 필기 데이터, 즉, 한글 입력을 중심으로 설명하였지만, 동일하거나 유사한 원리가 영어, 중국어, 일본어, 불어 등과 같은 다른 언어에도 적용될 수 있다는 점을 본 기술 분야의 통상의 지식을 갖춘 자라면 용이하게 이해할 수 있을 것이다.

인공지능 기반의 필기 인식 모듈

도 2는 본 발명의 일 실시예에 따른 인공지능 기반의 필기 인식 모듈에 대한 예시적인 도면이다.

도 2를 참조하면, 인공지능 기반의 필기 인식 모듈(1)은 학습자의 한글 필기 데이터를 입력 받아, 한글 필기 데이터에 대응하는 한글 글자를 인식하고 출력할 수 있다. 도 2의 예에서는 "냇"이라는 한글 글자가 포함된 2차원 이미지(즉, 한글 필기 데이터)가 필기 인식 모듈(1)에 입력되게 되고, 그 출력으로서 한글 글자 "냇"을 필기 인식 모듈(1)이 글자 인식하여 출력하게 된다.

도 2를 참조하여 인공지능 기반의 필기 인식 모듈(1)의 구조 및 동작 원리에 대해 설명하도록 한다. 필기 인식 모듈(1)은 정규화 모듈, 인코딩 모듈, 복수의 inception 모듈, 풀링 및 FC(Fully Connected) 레이어를 포함할 수 있다.

먼저, 유아 학습자의 한글 필기 데이터(예를 들어, 한글 필기의 2차원 이미지)의 그리드 크기를 정규화 모듈을 통해 정규화(normalize)할 수 있다. 예를 들어, 정규화 모듈은 상이한 그리드 크기를 갖는 한글 필기 데이터를 60×60의 그리드 크기의 데이터로 변환할 수 있는데, 이를 위해 선형 보간법과 같은 이미지 전처리 기술을 사용할 수 있다.

정규화된 한글 필기 데이터는, 컨볼루션 레이어(convolution), Pooling 레이어 (max_pool), 활성화 레이어(ReLU), BN(batch_normalization) 레이어를 포함하는 인코딩 모듈에 입력될 수 있다. 그리고 이들 레이어로부터 특징 추출을 수행하여 인코딩된 한글 필기 데이터가 인코딩 모듈로부터 출력될 수 있다.

그 다음, 인코딩된 한글 필기 데이터가 복수의 inception 모듈에 입력될 수 있다. 이때, 복수의 inception 모듈은 기본적으로 같은 채널을 유지하며, 이 중에서 적어도 하나의 inception 모듈은 기본 inception 모듈에 대해 Factorization을 하여 연산량을 줄인 개선된 inception 모듈일 수 있다. 일 예에 따르면, inception 모듈의 연산을 통해 7×7 그리드의 512개의 채널이 만들어질 수 있으며 7×7의 데이터의 평균을 구한 뒤 FC 레이어를 통해 분류할 수 있도록 1×1×512의 노드로 변형할 수 있다.

마지막으로, FC 레이어를 통해 한글 필기 데이터의 분류를 수행하여 유아 학습자기 입력한 한글 필기 데이터가 어떤 한글 글자에 대응하는지를 결정할 수 있다.

이러한 인공지능 기반의 필기 인식 모듈(1)의 사전 학습 세션에서 MSE(Mean Square Error)를 사용하는 경우 오차 함수는

가 될 수 있으며, 이 때 X는 모델을 통한 예측 값, Y는 실제 정답이다. MSE는 예측 값과 실제 값의 L2 distance를 오류 값으로 사용한다.

다른 예로써는, CE(Cross Entropy)를 사용하며

의 오차 함수를 사용할 수도 있다. 여기서 X는 모델을 통한 예측 값이고, Y는 실제 정답이며 log(X)가 무한대로 발산하는 것을 막기 위해 ε라는 아주 작은 값을 더해줄 수 있다.

다만, 전술한 것과 같은 필기 인식 모듈(1)은 예시적인 것일 뿐이고, 다양한 인공 신경망 모듈이나 다른 모듈들이 사용될 수 있으며, 이에 대해 제한하지는 않는다.

획순 기반 음소 분해 모듈

도 3은 본 발명의 일 실시예에 따른 획수 기반 음소 분해 모듈의 동작 원리를 설명하기 위한 예시적인 도면이다.

도 3을 참조하면, 일 실시예에 따르면, 음소 분해 모듈(2)은 유아 학습자가 입력한 한글 필기 데이터 및 필기 인식 모듈(1)을 통해 판별된 한글 필기 데이터의 대응 한글 글자에 기초하여, 획수에 기반하여 한글 필기 데이터 내 어떤 입력이 초성인지, 중성인지 또는 종성인지 여부를 판별함으로써 음소를 분해하여 음소 정보를 생성하여 출력할 수 있다.

예를 들어, "램"이라는 글자를 쓰는 경우, "ㄹ"은 3획, "ㅐ"은 3획, "ㅁ"은 3획의 총 9획으로 필기하도록 구성되어 있으므로, "램"이라는 한글 필기의 첫 3획은 초성, 그 다음 3획은 중성, 그리고 마지막 3획은 종성에 해당한다는 점에 착안하여 음소를 분해하여, (초성, 중성) 또는 (초성, 중성 및 종성)에 해당하는 음소 정보를 출력할 수 있다.

비제한적인 일 예로써, 음소 분해 모듈(2)은 글자의 음소를 분해하는 경우, 한글 필기 데이터 중에서 획순에 기반하여 구분한 각 음소의 필기 데이터의 좌표 중 가장 상측, 좌측, 우측 및 하측에 있는 좌표(또는 가장 상측, 좌측, 우측 및 하측에 있는 좌표 보다 소정의 픽셀을 더 여유를 둔 좌표)에 기초하여 각 음소에 대한 바운딩 박스(41, 42, 43)를 생성하고, 각 바운딩 박스 내 데이터를 음소 정보로 출력할 수 있다.

한편, 이와 같은 획수 기반 음소 분해 모듈(2)의 음소 분해 메커니즘은 유아 학습자가 한글 글자를 정해진 획순에 기초하여 정확히 입력하였다는 것을 전제로 한다. 그러나, 예를 들어, 한글 글자에 대한 한글 필기 데이터에서 획수가 정해진 획수와 다른 경우(일례로 "램"이라는 글자의 획수가 9개가 아니라 10개로 입력된 경우), 또는 유아 학습자가 한글 필기 데이터의 각 음소를 초성, 중성, 종성 순으로 입력하지 않고 다른 순서로 입력한 경우 등이 발생할 수 있다. 이처럼 유아 학습자가 한글 글자를 정해진 음소 입력 순서에 기초하여 입력하지 않은 경우, 획수 기반 음소 분해 모듈은 한글 필기 데이터의 음소 분해에 실패하거나 에러가 발생할 수 있다.

따라서, 획수 기반 음소 분해 모듈(2)은 각 음소의 입력 순서가 정해진 순서에 부합하는지를 식별하는 과정을 거칠 수 있다. 구체적으로는, 한글 글자의 초성은 주로 왼쪽 상단이나 중간에 위치하고, 중성은 가로 길이의 중간 또는 우측이나 세로 길이의 중간 또는 아래 위치에 위치하며, 종성은 하단부에 위치하는 경우가 대부분이다. 따라서, 이러한 점에 착안하여, 획수 기반 음소 분해 모듈(2)은 한글 필기 데이터의 좌표의 시계열 데이터를 통해 초성, 중성, 종성의 정해진 위치에 부합되지 않는 위치에 데이터 입력이 이루어지는 경우를 식별하는 과정을 추가적으로 진행할 수 있다. 비제한적인 일 예로써, 한글 필기 데이터의 특정 음소의 좌표 데이터를 수신하고, 수신한 좌표 데이터가 해당 음소의 정해진 위치의 좌표 데이터와 어느 정도 정합되는지 여부를 수치화하고, 수치화된 정합도가 임계치 미만인 경우 해당 음소가 정해진 순서로 입력되지 않았다고 판단할 수 있다. 획수 기반 음소 분해 모듈(2)은 이러한 과정을 통해 한글 필기 데이터의 각 음소가 정해진 순서로 입력되었는지 여부를 판정할 수 있다.

그리고 판정 결과, 한글 필기 데이터의 각 음소가 정해진 순서로 입력되지 않아 획수에 기반한 음소 분해에 실패하거나 에러가 발생하는 경우, 획수 기반 음소 분해 모듈(2)은 학습자 애플리케이션(4)의 애플리케이션 모듈(5)에 학습자가 입력한 한글 필기 데이터의 획순 입력이 잘못되었음을 알리는 메시지가 출력되도록 할 수 있다. 또한, 이 경우, 획순 식별 모듈(3)로 음소 정보가 전송되지 않고 그대로 프로세스가 종료될 수 있다.

이러한 획수 기반 음소 분해 모듈을 통해, 낮은 연산 리소스를 활용하는 것만으로도 효율적으로 한글 필기 데이터의 음소 분해를 수행할 수 있을 뿐만 아니라 각 음소가 정확한 순서로 입력되었는지까지 판정하여 만약 음소 입력 순서가 틀리다면 프로세스를 조기에 종료할 수 있으므로, 전체적인 획수 인식 장치의 효율성을 제고할 수 있는 효과가 발생한다.

인공지능 기반 음소 분해 모듈

도 4는 본 발명의 다른 일 실시예에 따른 인공지능 기반 음소 분해 모듈의 동작 원리를 설명하기 위한 예시적인 도면이다.

도 4를 참조하면, 일 실시예에 따르면, 인공지능 기반의 음소 분해 모듈(2)은 인공 신경망 모듈을 이용한 딥 러닝을 통해, 필기 인식 모듈(1)을 통해 인식된 한글 필기 데이터가 나타내는 한글 글자의 각 음소, 예를 들어, 초성, 중성 및 종성을 분해하는 작용을 할 수 있다.

이와 같은 인공지능 기반 음소 분해 모듈(2)에 포함되는 인공 신경망 모듈은 예를 들어, YOLO, DPM, R-CNN 중 적어도 하나일 수 있다. 비제한적인 일 예에 따르면, 인공지능 기반 음소 분해 모듈(2)은 인공 신경망 모듈로서 YOLO를 사용할 수 있는데, YOLO의 객체 탐지(object detection) 또는 이미지 세그멘테이션(segmentation) 시스템은 R-CNN과는 달리 Convolution(합성곱) 신경망을 단 한 번 통과시키기 때문에 속도가 빨라서 실시간 객체 탐지가 가능하다는 장점을 가진다.

이러한 인공지능 기반 음소 분해 모듈(2)은 글자 인식된 한글 필기 데이터를 입력받아 그 출력으로서 음소 정보를 출력할 수 있다. 출력되는 음소 정보는 각 음소의 바운딩 박스(41, 42, 43) 내 데이터로서, 학습자의 한글 필기 데이터의 입력 순서에 따른 시계열적인 2차원 좌표 기반 데이터를 포함할 수 있다. 이에 더하여, 선택적으로, 음소 정보는 해당 음소가 어떠한 글자(예를 들어, 한글의 자음 또는 모음 중 어느 글자)인지에 대한 데이터 및/또는 각 음소의 입력 순서를 나타내는 음소 입력 순서 데이터를 포함할 수 있다.

일 실시예에 따르면, 인공지능 기반 음소 분해 모듈(2)은 학습자가 입력한 한글 필기 데이터의 각 음소의 음소 입력 순서 데이터에 기반하여 각 음소의 입력 순서가 대응하는 한글 글자의 음소의 정해진 순서(예를 들어, 도 4에 예시된 "램"의 경우 41 -> 42 -> 43의 순서)와 달리 입력되었다고 판정한 경우, 음소 분해 모듈(2)은 학습자 애플리케이션(4)의 애플리케이션 모듈(5)에 학습자가 입력한 한글 필기 데이터의 획순 입력이 잘못되었음을 알리는 메시지가 출력되도록 할 수 있다. 이 경우, 인공지능 기반 음소 분해 모듈(2)은 획순 식별 모듈(3)로 음소 정보를 전송하지 않고 그대로 프로세스가 종료시킬 수 있다.

이러한 인공지능 기반 음소 분해 모듈을 통해, 한글 필기 데이터에 대한 정확도 높은 음소 분해를 수행할 수 있을 뿐만 아니라 각 음소가 정확한 순서로 입력되었는지까지 판정할 수 있고, 만약 음소 입력 순서가 틀리다면 프로세스를 조기에 종료할 수 있으므로, 전체적인 획수 인식 장치의 효율성을 제고할 수 있는 효과가 발생한다.

인공지능 기반의 획순 식별 모듈

도 5는 본 발명의 일 실시예에 따른 인공지능 기반의 획순 식별 모듈의 동작 원리를 설명하는 도면이다.

도 5의 인공지능 기반의 획순 식별 모듈(3)은 사전 학습된 인공 신경망 모듈을 활용한 추론 세션에서, 음소 분해 모듈(2)로부터 한글 필기 데이터의 음소 정보를 수신하고, 각 음소 정보를 처리하여 획순 인식 정보를 출력할 수 있다.

인공지능 기반의 획순 식별 모듈(3)의 동작 과정을 설명하면, 먼저 획순 식별 모듈(3)은 수신한 각각의 음소 정보에 대해 전처리를 수행할 수 있는데, 이러한 전처리는 업샘플링(upsampling) 또는 다운샘플링(downsampling)을 포함할 수 있다.

그리고, 전처리된 음소 정보는 인공 신경망 모듈, 예를 들어, LSTM 네트워크 및 FC(Fully Connected) 레이어(내지는 Dense 레이어)에 입력되어 최종적으로 획순 인식 정보가 출력될 수 있다. 다만, 여기서의 LSTM 모듈 및 FC 레이어는 예시일 뿐이며, RNN 모듈, CNN 모듈 등이 활용될 수도 있으며, 이에 대해 한정하지는 않는다.

그리고, 획순 식별 모듈은 인공 신경망 모듈로부터 출력된 획순 인식 정보의 획순이 정해진 순서로 입력되었는지 여부에 대한 판별, 즉, 획순 정오 판별을 수행한다.

그리고 획순 정오 판별의 결과에 따라 학습자 클라이언트(4)에게 피드백을 전송할 수 있다. 이러한 피드백은 잘못된 획순에 대한 정보를 학습자에게 알리기 위한 것일 수 있으며, 피드백의 구체적인 내용에 대해서 한정하지는 않는다. 일례로, 획순 식별 모듈(2)은 학습자 애플리케이션(4)의 애플리케이션 모듈(5)에 학습자가 입력한 한글 필기 데이터의 어느 획순 입력이 잘못되었는지를 알려주는 메시지가 출력되도록 할 수 있다.

도 6은 본 발명의 일 실시예에 따라 음소 정보에 대해 수행되는 전처리를 예시적으로 나타낸 도면이다.

음소 정보에 대한 전처리는 한글 자모음 필기체의 인식률을 개선하기 위한 것으로서, 글자 종류 또는 디바이스의 입력 인터페이스에 따라 입력되는 데이터의 길이가 달라지는 문제에 대해 대처하기 위한 것이다. 음소 정보에 대한 전처리로써 업샘플링(upsampling)/다운샘플링(downsampling), Zero-Padding, Windowing 중 적어도 하나의 기법을 사용할 수 있다. 도 6은 비제한적인 일 예로써 음소 정보에 대한 전처리로 업샘플링(upsampling)/다운샘플링(downsampling)을 수행한 것인데, 도 6의 위에 도시된 예에서와 같이 음소 "ㄱ"에 대해 데이터 개수가 25개로 기준치(30개)보다 적은 경우, 업샘플링을 통해 데이터 개수가 30개가 되도록 픽셀 데이터를 추가할 수 있다. 또한, 도 6의 아래에 도시된 예에서와 같이 음소 "ㅂ"에 대해 데이터 개수가 40개로 기준치보다 많은 경우, 일부 픽셀 데이터를 제거하여 데이터 개수가 30개가 되도록 할 수 있다. 다만, 업샘플링/다운샘플링을 비롯한 음소 정보에 대한 전처리의 구체적인 방식은 다양하게 변형될 수 있으며, 이에 대해 한정하지는 않는다.

도 7은 본 발명의 일 실시예에 따른 획순 식별 모듈(3)의 인공 신경망의 사전 학습 세션에 대해 개략적으로 설명하는 도면이다.

도 7을 참조하면, 획순 식별 모듈(3)의 인공 신경망의 사전 학습 세션에서는 먼저, 복수의 사전 학습용 음소 정보가 인공 신경망에 입력될 수 있다. 이러한 복수의 사전 학습용 음소 정보는 기존에 복수의 학습자로부터 수집된 한글 필기체 데이터베이스로부터 획득될 수 있으며, 한글 필기체 데이터베이스는 복수의 학습자의 한글 필기 데이터의 입력 순서에 따른 시계열적인 2차원 좌표 기반 데이터베이스를 포함할 수 있다. 이러한 복수의 사전 학습용 음소 정보를 데이터의 시계열적 처리에 적합한 LSTM 모듈 및 FC 레이어의 조합을 통해 처리함으로써 획순 식별 모듈(3)의 인공 신경망은 획순 인식 정보를 출력할 수 있다.

획순 식별 모듈(3)의 인공 신경망 모듈이 사전 학습 세션에서 출력한 획순 인식 정보(즉, 음소의 획이 입력된 순서에 대한 인식 정보)는, 실제로 사전 학습용 음소의 획이 입력된 순서에 대한 정보인 실제 획순 정보와 비교될 수 있다. 그리고, 획순 인식 정보 및 실제 획순 정보 사이의 에러(-∑y _ilogp _i)가 최소화되도록 인공 신경망 모듈은 사전 학습될 수 있다. 일례로, 인공 신경망 모듈은 획순 인식 정보와 실제 획순 정보 사이의 에러(error)를 기초로 hidden layer의 weight를 업데이트하는 방식을 채용할 수 있다. 다수의 사전 학습용 음소 정보는 LSTM 모듈의 x1, x2, x3와 같은 input layer의 각 노드에 입력되고, w1과 같은 weight을 기반으로 h1, h2, h3와 같은 hidden layer를 지나 softmax 등의 cost function 기반으로 예측된 판단 예측 정보가 y1인 output layer로 출력되게 된다. 그리고 획순 인식 정보와 실제 획순 정보 사이와의 에러(-∑y _ilogp _i)를 기반으로 인공 신경망 모듈의 weight가 back propagation으로 업데이트될 수 있다. 이처럼 사전 학습된 획순 식별 모듈(3)의 인공 신경망을 이용해, 도 5의 획순 식별 모듈(3)의 추론 세션이 구현될 수 있다.

유아 학습자의 한글 필기에 대한 인공지능 기반의 획순 인식 방법

도 8은 본 발명의 일 실시예에 따른 유아 학습자의 한글 필기에 대한 인공지능 기반의 획순 인식 방법에 대한 흐름도이다.

도 8을 참조하면, 먼저 단계 S810에서, 학습자 클라이언트로부터 수신한 학습자의 한글 필기 데이터의 글자를 인식할 수 있다. 학습자의 한글 필기 데이터는 시계열적인 2차원 좌표 기반 데이터일 수 있으며, 학습자 클라이언트의 터치 스크린을 통한 손가락 또는 스타일러스의 터치에 의해 입력되거나 마우스 등 다른 방식을 통해 입력될 수 있다.

단계 S820에서는, 글자 인식된 한글 필기 데이터의 음소를 분해하여 음소 정보를 생성할 수 있다. 이러한 음소의 분해는, 전술한 것처럼, 획수 기반으로 이루어질 수도 있고, 인공지능 기반으로 이루어질 수도 있다. 또한, 이 때 생성된 음소 정보는 학습자가 입력한 한글 필기 데이터의 각 음소의 입력 순서를 나타내는 음소 입력 순서 데이터를 포함할 수 있다.

단계 S830에서는, 음소 정보(또는 음소 입력 순서 데이터)에 기초하여, 한글 필기 데이터의 각 음소가 정해진 순서에 의해 입력되었는지 여부를 판정할 수 있다. 만약 각 음소가 정해진 순서에 의해 입력되지 않았다고 판정되는 경우, 학습자가 입력한 한글 필기 데이터의 획순 입력이 잘못되었음을 알리는 메시지가 학습자 클라이언트에 출력되도록 할 수 있다. 또한, 이 경우, 그 다음 단계로 넘어가지 않고 그대로 프로세스가 종료될 수 있다.

단계 S840에서는, 인공 신경망 모듈에 음소 정보를 입력하여 음소의 각 획이 학습자에 의해 입력된 순서인 획순 인식 정보를 출력할 수 있다. 또한, 단계 S840에서는 음소 정보를 인공 신경망 모듈에 입력하기 전에 음소 정보에 대해 전처리를 수행할 수 있는데, 이러한 전처리는 업샘플링(upsampling) 또는 다운샘플링(downsampling)을 포함할 수 있다. 그리고, 전처리된 음소 정보는 인공 신경망 모듈, 예를 들어, LSTM 네트워크 및 FC(Fully Connected) 레이어(내지는 Dense 레이어)에 입력되어 최종적으로 획순 인식 정보가 출력될 수 있다. 그리고, 획순 식별 모듈은 인공 신경망 모듈로부터 출력된 각 음소의 획순 인식 정보의 획순이 정해진 순서로 입력되었는지 여부에 대한 판별, 즉, 획순 정오 판별을 수행할 수 있다.

단계 S850에서는, 획순 인식 정보에 기초하여 학습자 클라이언트에게 피드백을 전송할 수 있다. 즉, 획순 인식 정보에 기초한 획순 정오 판별을 수행한 결과, 학습자기 입력한 한글 필기 데이터의 획순이 잘못되었다고 판정되는 경우 이에 대해 학습자에게 피드백을 제공할 수 있다.

본 발명의 일 실시예에 따르면, 유아 학습자가 한글 필기를 적절한 형태로 작성하였는지에 대해 판별할 수 있을 뿐만 아니라, 한글 필기의 획순이 올바른 순서로 입력되었는지도 파악할 수 있으므로, 유아 학습자의 쓰기 교육을 보다 체계적으로 수행할 수 있는 효과가 발생한다.

컴퓨터 판독 가능한 기록매체

본 발명의 실시예들에 따른 각 단계들이나 동작들은, 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램의 실행에 따라 하나 이상의 프로세서를 포함하는 컴퓨터에 의해 수행될 수 있음은 자명하다.

전술한 기록매체에 저장된 각 명령어(instruction)는, 해당하는 각 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 통해 구현 가능하되, 이러한 컴퓨터 프로그램은 컴퓨터 판독 가능한 기록매체에 저장될 수 있고, 프로세서에 의해 실행 가능하다. 컴퓨터 판독 가능한 기록매체는 비일시적 판독 가능 매체(non-transitory readable medium)일 수 있다. 이 때, 비일시적 판독 가능 매체란 레지스터, 캐시, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 방법을 수행하기 위한 프로그램들은 소거가능 프로그래머블 판독 전용 메모리(EPROM), 전기적 소거가능 프로그래머블 판독 전용 메모리(EEPROM), 및 플래시 메모리 디바이스와 같은 반도체 메모리 디바이스, 내부 하드 디스크 및 이동식 디스크와 같은 자기 디스크, 광학-자기 디스크, 및 CD-ROM 및 DVD-ROM 디스크를 포함하는 비휘발성 메모리 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

본 문서에 개시된 다양한 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어^TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

이상에서 설명한 바와 같이, 본 발명이 속하는 기술 분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 상술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함하는 것으로 해석되어야 한다.

본 명세서 내에 기술된 특징들 및 장점들은 모두를 포함하지 않으며, 특히 많은 추가적인 특징들 및 장점들이 도면들, 명세서, 및 청구항들을 고려하여 당업자에게 명백해질 것이다. 더욱이, 본 명세서에 사용된 언어는 주로 읽기 쉽도록 그리고 교시의 목적으로 선택되었고, 본 발명의 주제를 묘사하거나 제한하기 위해 선택되지 않을 수도 있다는 것을 주의해야 한다.

본 발명의 실시예들의 상기한 설명은 예시의 목적으로 제시되었다. 이는 개시된 정확한 형태로 본 발명을 제한하거나, 빠뜨리는 것 없이 만들려고 의도한 것이 아니다. 당업자는 상기한 개시에 비추어 많은 수정 및 변형이 가능하다는 것을 이해할 수 있다.

그러므로 본 발명의 범위는 상세한 설명에 의해 한정되지 않고, 이를 기반으로 하는 출원의 임의의 청구항들에 의해 한정된다. 따라서, 본 발명의 실시예들의 개시는 예시적인 것이며, 이하의 청구항에 기재된 본 발명의 범위를 제한하는 것은 아니다.

100: 유아 학습자의 한글 필기에 대한 인공지능 기반의 획순 인식 장치
1: 필기 인식 모듈
2: 음소 분해 모듈
3: 획순 식별 모듈
4: 학습자 클라이언트
5: 애플리케이션 모듈

Claims (5)

1. 학습자의 한글 필기에 대한 인공지능 기반의 획순 인식 장치로서,
   학습자 클라이언트로부터 수신한 학습자의 한글 필기 데이터의 글자를 인식하는 인공 신경망 모듈을 포함하는 필기 인식 모듈과,
   상기 한글 필기 데이터에서 인식된 글자의 정해진 획순에 기초하여 음소를 분해하여 음소 정보를 생성하고, 상기 음소 정보에 기초하여 상기 한글 필기 데이터의 각 음소가 정해진 순서에 의해 입력되었는지 여부를 판정하는 음소 분해 모듈 - 상기 음소 정보는 상기 한글 필기 데이터의 각 음소의 입력 순서에 대한 데이터를 포함함 - 과,
   상기 음소 정보를 입력받아 음소의 각 획이 학습자에 의해 입력된 순서인 획순 인식 정보를 출력하는 인공 신경망 모듈을 포함하는 획순 식별 모듈 - 상기 획순 식별 모듈은 상기 획순 인식 정보에 기초하여 상기 학습자 클라이언트에게 피드백을 전송함 -
   을 포함하고,
   상기 음소 분해 모듈이 상기 인식된 글자의 정해진 획순에 기초한 음소 분해에 실패하는 경우, 상기 학습자 클라이언트에게 피드백을 전송하고 상기 음소 정보를 상기 획순 식별 모듈로 전송하지 않고 프로세스를 종료시키고,
   상기 획순 식별 모듈은, 상기 획순 식별 모듈의 인공 신경망 모듈에 상기 음소 정보를 입력하기 전에 상기 음소 정보에 대해 전처리로서 업샘플링 및 다운샘플링 중 하나를 수행하되, 상기 분해된 음소의 특정 획이 소정의 길이보다 짧은 경우 업샘플링을 수행하고, 상기 분해된 음소의 특정 획이 소정의 길이보다 긴 경우 다운샘플링을 수행하는
   인공지능 기반의 획순 인식 장치.
   
2. 제 1 항에 있어서,
   상기 획순 식별 모듈의 상기 인공 신경망 모듈에 입력되는 상기 음소 정보는 음소의 시계열적인 2차원 좌표 기반 데이터를 포함하는
   인공지능 기반의 획순 인식 장치.
   
3. 삭제
4. 제 1 항에 있어서,
   상기 획순 식별 모듈의 상기 인공 신경망 모듈의 사전 학습 세션에서, 복수의 사전학습용 음소 정보를 상기 인공 신경망 모듈에 입력하고, 상기 인공 신경망 모듈에서 출력한 사전 학습용 음소에 대한 획순 인식 정보를 사전 학습용 음소의 실제 획순 정보와 비교하고, 상기 획순 인식 정보와 상기 실제 획순 정보 사이의 에러가 최소화되도록 상기 인공 신경망 모듈을 사전 학습시키는
   인공지능 기반의 획순 인식 장치.
   
5. 학습자의 한글 필기에 대한 인공지능 기반의 획순 인식 방법으로서,
   학습자 클라이언트로부터 수신한 학습자의 한글 필기 데이터의 글자를 인공 신경망 모듈을 통해 인식하는 단계와,
   상기 한글 필기 데이터에서 인식된 글자의 정해진 획순에 기초하여 음소를 분해하여 음소 정보를 생성하는 단계 - 상기 음소 정보는 상기 한글 필기 데이터의 각 음소의 입력 순서에 대한 데이터를 포함함 - 와,
   상기 음소 정보에 기초하여, 상기 한글 필기 데이터의 각 음소가 정해진 순서에 의해 입력되었는지 여부를 판정하는 단계와,
   인공 신경망 모듈에 상기 음소 정보를 입력하여 음소의 각 획이 학습자에 의해 입력된 순서인 획순 인식 정보를 출력하는 단계와,
   상기 획순 인식 정보에 기초하여 상기 학습자 클라이언트에게 피드백을 전송하는 단계
   를 포함하고,
   상기 음소 정보를 생성하는 단계는, 상기 인식된 글자의 정해진 획순에 기초한 음소 분해에 실패하는 경우, 상기 학습자 클라이언트에게 피드백을 전송하고 상기 획순 인식 방법의 프로세스를 종료시키는 단계를 포함하고,
   상기 획순 인식 정보를 출력하는 단계 이전에, 인공 신경망 모듈에 상기 음소 정보를 입력하기 전 상기 음소 정보에 대해 전처리로서 업샘플링 및 다운샘플링 중 하나를 수행하되, 상기 분해된 음소의 특정 획이 소정의 길이보다 짧은 경우 업샘플링을 수행하고, 상기 분해된 음소의 특정 획이 소정의 길이보다 긴 경우 다운샘플링을 수행하는 단계를 포함하는
   인공지능 기반의 획순 인식 방법.
   

Images