KR20200058026A - 증강 현실을 이용한 한자 공부를 위한 전자 장치의 동작 방법 - Google Patents

Abstract

본 발명에 따른 증강현실을 이용한 한자 공부를 위한 단말 장치의 동작 방법은, AR 카메라를 이용하여 고사성어 한자 카드를 인식하는 단계, 상기 인식된 한자 카드에 대응하는 영상을 연결하는 단계, 광학문자 인식 모듈을 통하여 한자 사진을 인식하는 단계, 및 상기 광학문자 인식 모듈을 통하여 학습자의 필기체 한자를 인식하는 단계를 포함할 수 있다.

Description

증강 현실을 이용한 한자 공부를 위한 전자 장치의 동작 방법{OPERATING METHED IN ELECTRONIC DEVICE FOR KANJI STUDY USING AGUMENTED REALITY}

본 발명은 증강 현실을 이용한 한자 공부를 위한 전자 장치의 동작 방법에 관한 것이다.

글로벌 사회에서 외국어는 필수능력이 되어가고 있다. 세계 강국이자 우리나라와 인접한 중국과 일본 모두 한자를 사용하고 있으며, 우리나라 또한 한자를 기반으로 언어를 사용하고 있다. 하지만 문제는 이 한자가 너무 어려워서 배우기가 쉽지 않다는 것이다. 한자는 모양이 복잡하고 수도 많아서 단순히 강의를 듣는 것만으로는 배우기 어렵고 반복해서 쓰는 연습을 해야 하고, 각 한자의 부수, 기원, 구성하는 한자 등을 알면 더욱 배우기 쉽지만 이 경우 학습 교재의 부피가 커지게 되어 사람들이 한자를 배우는 것에 있어 접근하기가 어렵다. 이러한 한자의 자체의 어려움과 적절한 콘텐츠의 부족으로 인한 접근성의 어려움을 해결하고자 AR을 이용한 한자 공부 어플리케이션이 필요하다.

공개특허: 10-2015-0067653, 공개일: 2015년 6월 18일, 제목: 한자 부수를 이용한 증강현실 한자 학습 교구.

본 발명의 목적은 신규한 한자 공부 전자 장치의 동작 방법을 제공하는데 있다.

본 발명의 실시 예에 따른 증강현실을 이용한 한자 공부를 위한 단말 장치의 동작 방법은: AR(augmented reality) 카메라를 이용하여 고사성어 한자 카드를 인식하는 단계; 상기 인식된 한자 카드에 대응하는 영상을 연결하는 단계; 광학문자 인식 모듈을 통하여 한자 사진을 인식하는 단계; 및 상기 광학문자 인식 모듈을 통하여 학습자의 필기체 한자를 인식하는 단계를 포함할 수 있다.

실시 예에 있어서, 안드로이드 기반 유니티 뷰포리아(Unity Vuforia)을 이용하여 상기 고사성어 한자 카드에 대응하는 이미지를 생성하는 단계를 더 포함할 수 있다.

실시 예에 있어서, 상기 광학문자 인식 모듈은 Tesseract OCR를 포함할 수 있다.

실시 예에 있어서, 상기 한자 사진을 인식하는 단계는, 상기 한자 사진 위에 cropper 영역을 설정하는 단계를 더 포함할 수 있다.

실시 예에 있어서, 상기 인식된 한자 사진에 대응하는 한자의 한글 뜻을 출력하는 단계를 더 포함할 수 있다.

실시 예에 있어서, 상기 필기체 한자를 인식하는 단계는, 상기 필기체 한자에 대응하는 이미지를 변형하는 단계를 더 포함할 수 있다.

실시 예에 있어서, 상기 필기체 한자를 인식하는 단계는, 상기 필기체 한자에 대응하는 사진에 cropper 영역을 설정하고 자르는 단계를 더 포함할 수 있다.

실시 예에 있어서, SQLite 기반 내장 데이터베이스를 통해 한자를 검색하는 단계를 더 포함할 수 있다.

실시 예에 있어서, 객관식 혹은 주관식 형태의 급수별 한자 퀴즈 기능을 수행하는 단계를 더 포함할 수 있다.

실시 예에 있어서, 상기 광학 문자 인식 모듈은, 수신된 이미지를 히스토그램 스트레칭, 히스토그램 평활화, 이진화 작업과 역상 작업을 수행하고, 글자 단위로 혼합의 텍스트로 분류하는 것을 특징으로 한다.

본 발명의 실시 예에 따른 한자 공부를 위한 전자 장치의 동작 방법은, AR 프로젝터를 이용함으로써 한자 학습 효과를 극대화시킬 수 있다.

이하에 첨부되는 도면들은 본 실시 예에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 실시 예들을 제공한다. 다만, 본 실시예의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시 예로 구성될 수 있다.
도 1은 본 발명의 실시 예에 따른 한자 공부를 위한 전자 장치를 개념적으로 보여주는 도면이다.
도 2은 본 발명의 실시 예에 따른 Tesseract OCR의 추출 및 분석 결과를 예시적으로 보여주는 도면이다.
도 3은 본 발명의 실시 예에 따른 변환된 이미지로 추출 및 분석 결과를 예시적으로 보여주는 도면이다.
도 4는 본 발명의 실시 예에 따른 훈련 데이터를 예시적으로 보여주는 도면이다.
도 5는 본 발명의 실시 예에 따른 훈련을 위해 작업한 훈련 데이터의 모음을 예시적으로 보여주는 도면이다.
도 6은 본 발명의 실시 예에 따른 훈련된 파일을 이용한 인식을 예시적으로 보여주는 도면이다.
도 7은 본 발명의 실시 예에 따른 한자 공부를 위한 전자 장치의 어플리케이션의 기능을 예시적으로 보여주는 도면이다.
도 8은 본 발명의 실시 예에 따른 어플리케이션의 특징점 추출하는 방법을 예시적으로 보여주는 도면이다.
도 9는 본 발명의 실시 예에 따른 어플리케이션의 문자 선택 과정을 예시적으로 보여주는 도면이다.
도 10은 본 발명의 실시 예에 따른 어플리케이션의 다양한 프로그램 기능을 예시적으로 보여주는 도면이다.
도 11은 본 발명의 실시 예에 따른 한자 공부를 위한 전자 장치의 동작 방법을 예시적으로 보여주는 흐름도이다.

아래에서는 도면들을 이용하여 본 발명의 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있을 정도로 본 발명의 내용을 명확하고 상세하게 기재할 것이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다.

상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 혹은 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 혹은 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다. 본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함하다" 혹은 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 혹은 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 혹은 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 혹은 이들을 조합한 것들의 존재 혹은 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 발명의 실시 예에 따른 AR(augmented reality) 프로젝터를 이용한 한자공부 도우미 어플리케이션은, 한자를 익히고 활용할 수 있도록 다양한 콘텐츠와 학습 환경을 만들어 줄 수 있다. 기존의 다른 어플리케이션은 네이버 한자사전 혹은 다른 web 기반의 한자사전과 연동하여 찾고자 하는 단어의 링크를 제공하기 때문에, 인터넷이 제공되지 않는 환경에서는 원하는 정보를 얻지 못한다는 단점이 있으나, 본 발명의 실시 예에 따른 어플리케이션은 자체 내장된 데이터베이스를 통해 이러한 문제가 발생되지 않는다. 또한, 본 발명의 실시 예에 따른 어플리케이션은 한자-한글 뜻만 제공을 하던 기존의 방식에서 한자-영어 뜻, 급수별 한자를 각각 제공하여 학습자가 원하는 방법을 통해 정보를 획득할 수 있다.

종래의 어플리케이션은 찾고자 하는 한자 단어를 필기를 통해 입력을 하면 가장 유사도가 높은 한자 순으로 적게는 3-4개, 많게는 10개 이상의 예시를 주어 학습자가 직접 선택할 수 있도록 하는 방식이다. 반면에, 본 발명의 실시 예에 따른 어플리케이션은 Google Vision 기반의 Tesseract를 통한 글자인식을 통해 필기체 한자를 교육시켜 필기체 인식 정확도를 높이고, cropping 기능을 통해 직접 입력하거나, 카메라로 찍은 한자의 인식률을 높여 학습자가 원하는 정확한 정보를 얻을 수 있다.

또한, 본 발명의 실시 예에 따른 어플리케이션은 Unity Vuforia 기반의 AR 카메라를 이용해 등록한 고사성어 한자카드 통해 뜻 설명과 학습에 도움이 되는 모델 데이터 혹은 영상 정보 등을 조회할 수 있다. 본 발명의 실시 예에 따른 어플리케이션은 Android Studio, Visual Studio, Tesseract, Unity를 사용하여 구현될 수 있다. 이 때 사용되는 언어는 Java, C#, Linux 일 수 있다. 본 발명의 실시 예에 따른 어플리케이션은 Google Vision 기반의 필기체 글자인식 프로그램 Tesseract를 이용하여 한자 필기체를 학습시킨 한자정보를 학습자가 직접 입력한 글자나 사진 정보를 이용하여 원하는 결과를 얻을 수 있다.

도 1은 본 발명의 실시 예에 따른 한자 공부를 위한 전자 장치를 개념적으로 보여주는 도면이다. 도 1을 참조하면, 학습에 필요한 한자 글꼴, 필기체 이미지 데이터가 저장될 수 있다. 이미지 데이터가 Tesseract OCR(광학 문자 인식 모듈)를 통해 교육 및 분석될 수 있다. Tesseract OCR은 preprocessor과 segmentation 과정을 거쳐 나온 이미지를 신경망 기법과 template matching 기법을 통해서 input 이미지를 인식하고 출력 할 수 있다. 즉, 문자의 특징점이 추출되면 Tesseract를 통해 교육시킨 트레이닝 데이터의 데이터베이스 검색을 통해서 특징점이 유사한 문자들과의 template matcing을 통해 특징점과 원본 이미지와의 오차율이 가장 낮은 문자를 결과 값으로 제공할 수 있다. 그 결과 값을 통해 내장 데이터베이스에 저장된 한자 뜻을 사용자에게 제공할 수 있다.

실시 예에 있어서, 전자 장치(100, 안드로이드 단말기)에서 검색하고자 하는 한자가 그려질 수 있다. 학습자로부터 그려진 한자는 이전에 훈련된 Tesseract 학습 데이터와 비교하여 검색될 수 있다.

도 2은 본 발명의 실시 예에 따른 Tesseract OCR의 추출 및 분석 결과를 예시적으로 보여주는 도면이다.

Tesseract는 기본적으로 중국어를 지원하지만 한국에서 사용하는 한자와는 다르고, 아주 기본적인 교육만 이루어진 상태이기 때문에 필기체를 제대로 인식하는 것을 기대하기는 힘들다. 기본적으로 사진을 통해 사진을 찍은 경우에는 인식률이 매우 낮음으로 교육을 위한 파일을 만들기 위해서는 기본적으로 Scanner를 이용하여 깔끔하게 찍는 것이 좋고, 소프트웨어적으로는 imagemagick을 사용하여야 한다.

도 3은 본 발명의 실시 예에 따른 변환된 이미지로 추출 및 분석 결과를 예시적으로 보여주는 도면이다. 도 3을 참조하면, 아래의 세 가지의 기능이 사용될 수 있다. Resize 기능은 Image 크기 변환으로 글자 크기를 인식하기 좋은 크기로 변환하는데 사용될 수 있다. Density 기능은 Image 밀도 변환으로 기본적으로 스캐너나 카메라를 활용한 이미지의 경우 density가 너무 낮아서 인식률이 낮으므로 최소 80을 설정해야 하며 300이 적당한 크기로 사용될 수 있다. depth 기능은 Image 깊이 인데 density 기능이 사용될 수 있다. 대략 8정도가 적합하다. 그 이외에도 교육데이터의 상태에 따라 background (white) 기능은 배경색을 (흰색으로) 변경하는 것이고, threshold (50%) 기능은 이미지가 가지고 있는 색의 정도에 따라 흰색과 검은색으로 나누어주는 효과이다. 이는 이미지의 잡티 제거를 위해 사용될 수 있다. alpha off 기능은 투명도 제거를 위해 사용될 수 있다. 예를 들어, 이는 PNG file의 경우 주로 사용될 수 있다. 이미지를 변형하기만 해도 인식률이 어느 정도 높아질 수 있다. 한편, imagemagick을 이용하여 파일을 변형하고 나면, box file이 생성되어야 한다.

도 4는 본 발명의 실시 예에 따른 훈련 데이터를 예시적으로 보여주는 도면이다. box file을 만들고 나면 jTessBoxEditor를 이용하여 하나씩 정확한 train data가 설정될 수 있다. box file의 설정이 완료되면, 해당 box파일을 이용하여 훈련시킨 .tr data가 생성될 수 있다.

도 5는 본 발명의 실시 예에 따른 train를 위해 작업한 train data의 모음을 예시적으로 보여주는 도면이다. 도 5를 참조하면, 상술된 과정을 반복하여 여러 train data가 생성될 수 있다. 모든 box file의 내용을 통합하여 unicharset file가 생성될 수 있다. gedit을 이용하여 font_properties file을 만들고, font <italic>, <bold>, <fixed>, <serif>, <fraktur>가 설정될 수 있다.

도 6은 본 발명의 실시 예에 따른 훈련된 파일을 이용한 인식을 예시적으로 보여주는 도면이다. mftraining -F font_properties -U unicharset -O lang.unicharset *.tr/ cntraining *.tr 위 두 가지 과정을 통해 clustering 하고, 최종적으로 train 된 파일이 생성될 수 있다.

도 7은 본 발명의 실시 예에 따른 한자 공부를 위한 전자 장치(100)의 어플리케이션의 기능을 예시적으로 보여주는 도면이다. Android 환경 안에서 Unity Vuforia AR Camera를 이용하여 한자 낱말카드를 인식했을 때, 인식한 카드의 뜻과 관련된 영상정보 등의 기능이 제공될 수 있다. 학습자에게 한자 사전 기능과 급수별 한자 퀴즈 기능이 제공될 수 있다.

본 발명의 핵심적인 한자 필기체 인식 기능을 구현하기 위해서 Tesseract-OCR에 대한 분석이 필요하다. Tesseract OCR은 기본적으로 상위의 preprocessor와 segmentation 과정을 거쳐 나온 이미지를 신경망 기법과 template matching 기법을 사용하여 input 이미지를 인식하고 출력하는 원리이다.

본 발명의 실시 예에 따른 전자 장치(100)는, 도시되지 않았지만 통신 회로, 디스플레이, 메모리, 및 상기 통신 회로, 상기 디스플레이 및 상기 메모리와 전기적으로 연결된 적어도 하나의 프로세서를 포함할 수 있다. 한편, 프로세서는 최초 들어온 이미지를 처리하기 위해 히스토그램 스트레칭과 히스토그램 평활화, 이진화 작업과 역상 작업을 통하여 보다 효율적인 출력물을 얻기 위한 전처리 작업을 수행할 수 있다. 실시 예에 있어서, 영상인식 전처리 작업으로 세 가지의 작업(히스토그램/이치화/역상)이 수행될 수 있다.

도 8은 본 발명의 실시 예에 따른 어플리케이션의 특징점 추출하는 방법을 예시적으로 보여주는 도면이다.

Segmentation은 preprocessor 작업을 거친 뒤 이미지에서 글자 단위로 혼합의 Text를 분류하는 작업이다. 문자의 특징점을 추출하는 방법은 원래의 이미지에 out line을 생성한 후에 방향성을 정하고 방향성에 따라 다각형에 근접하게 추출할 수 있다.

도 9는 본 발명의 실시 예에 따른 어플리케이션의 문자 선택 과정을 예시적으로 보여주는 도면이다. 도 9를 참조하면, 문자의 특징점이 추출되면 Tesseract 데이터 검색을 통해서 특징점이 비슷한 문자들과의 Template Matching을 통해서 원본 이미지의 특징점과 가장 오차율이 낮은, 가장 정확도가 높은 문자가 선택될 수 있다. 이 때, input 이미지의 문자와의 오차율을 Tesseract Template에 저장하여 교육을 시킴으로써 더 나은 효율이 기대될 수 있다.

Xperia Touch 제품은 자체 카메라가 내장되어 있으나 카메라의 방향이 프로젝터 화면이 송출하는 방향의 수직 부분에 설치되어 있기 때문에 외장 거울을 이용하여 송출 화면과 카메라의 영역을 같게 함으로써 AR카메라를 통해 이미지 타겟팅이 가능하게 한다.

또한, 안드로이드 OS 기반이고 WiFi 기능이 있기 때문에, google 마켓에 등록한 정식 어플리케이션을 다운받아 본 발명의 실시 예에 따른 어플리케이션을 작동시킬 수 있다. 다만, 본 발명의 실시 예에 따른 어플리케이션은 기본적으로 카메라에 대한 권한을 요구를 하고 있다. 따라서 제품에 따라 카메라 권한을 요구하는 어플리케이션을 설치할 수 없게 설정되기 때문에, 권한 요구사항을 빼고 설치되어야 한다.

도 10은 본 발명의 실시 예에 따른 어플리케이션의 다양한 프로그램 기능을 예시적으로 보여주는 도면이다.

한자사전 기능은 인터넷 연결을 하지 않아도 SQLite 기반 내장 데이터베이스를 통해 어디서든 학습자가 학습하도록 할 수 있다. 검색은 찾고자 하는 내용 일부를 기입해도 오름차순으로 출력할 수 있다.

menu item과 fragment를 통해서 우의 카테고리 3개 각 정보가 제공될 수 있다. 찾고자 하는 한자 혹은 뜻 일부를 입력하고, 단어를 선택하면 webview를 통해 한자의 뜻이 표시될 수 있다. 우측상단에 있는

를 통해 학습자 개인의 북마크 기능이 제공될 수 있다.

또한, AR 기능은 Android 기반 Unity Vuforia에서 추출한 apk과 AR 카메라를 이용하여 한자 고사성어 낱말 카드 타겟을 인식하여 고사성어의 뜻, 기원에 대한 정보와 관련 동영상을 연결해 줄 수 있다. 유니티 뷰포리아를 통해서 고사성어 한자카드 이미지를 생성하여 타겟팅을 통해 해당 한자카드에 맞는 설명과 동영상 등의 기능이 제공될 수 있다. 유니티에서 gradle export를 통해서 안드로이드 개발환경에서 해당 기능을 수행할 수 있는 패키지 파일이 추출될 수 있다.

AR 프로젝터를 사용할 때, 프로젝터의 위치는 고정되므로 왼쪽 하얀 네모 칸에 찾고자 하는 한자카드를 올려놓을 때, 우측란에 해당 뜻이 제공될 수 있다. 그리고, 하단의 explain 버튼은 해당 한자 카드의 설명을 출력해주는 on/off 버튼이고, video 버튼은 해당 한자 카드의 관련 영상으로 가는 url을 제공, sound 버튼은 설명을 음성으로 지원할 수 있다.

한자 퀴즈 기능은 국가공인 한자시험 주최인 한국어문회, 한자교육진흥회, 대한검정회의 출제 객관식 문제유형을 각 급수별로 제공하여 자격증 취득과 학습자의 공부에 도움을 줄 수 있다.

국가공인 한자시험의 주최인 단체가 9곳이지만, 가장 대중적인 한국어문회, 한자교육진흥회, 대한검정회의 객관식 문제유형에 맞는 퀴즈가 제공될 수 있다. 각 문제마다 30초의 제한시간을 두고, 10초가 남았을 때, 학습자에게 경고가 주어질 수 있다. 각 문제를 풀 때마다, 학습자에게 문제의 피드백(정답)이 제공될 수 있다. 난이도는 각 급수에 따라 달라질 수 있다. 실시 예에 있어서, 주관식 문제가 학습자에게 제공될 수 있다.또한, 카메라/사진에서 한자 추출 및 검색 기능은, Tesseract OCR을 통해 오프라인 문자 인식과 문자 학습을 통해서 사진 속의 한자단어를 추출하여 뜻을 검색할 수 있는 기능을 제공할 수 있다. 또한, Crop 기능 추가하여 보다 정확한 한자 인식이 제공될 수 있다. 온라인 문자 인식이 아니기 때문에, 이미 작성된 인쇄체 또는 필기체 문자가 인식될 수 있다.

Load Image 버튼을 누르고 카메라로 찍거나, 갤러리에 있는 사진이 선택될 수 있다. 불러온 사진 위에 Crop 영역이 잡히고, 손으로 드래그를 해서 찾고자 하는 한자의 정확한 인식을 위해 검색 영역이 조절될 수 있다. 영역을 조절한 후 CROP Image 버튼을 누르면 Cropper 영역 하단 EditText 영역에 Tesseract OCR을 통해 인식한 한자 결과 값이 출력될 수 있다. 결과 값이 찾고자 하는 한자와 같다면 SEARCH 버튼을 누르면 해당 한자에 해당하는 한자-한글 뜻이 출력될 수 있다.

또한, 필기체 한자쓰기 및 검색 기능은, 학습자가 직접 쓴 한자단어를 인식하여 뜻을 검색할 수 있는 기능을 제공할 수 있다. 또한, Crop 기능을 추가하여 보다 정확한 한자 인식이 제공될 수 있다. 온라인 문자 인식이 아니기 때문에, 획수, 획순 등의 정보를 알 수 없으나, 이진화, 윤곽선 추출을 통해 형태 분석 과정을 통해 글자가 판단될 수 있다. 필기체, 한자 폰트를 교육한 Tesseract OCR을 이용하여 학습자가 bitmap 영역에 그린 글자를 인식 및 추출하여 해당하는 정보가 제공될 수 있다.

하얀색 바탕의 bitmap 영역에 찾고자 하는 한자단어가 그려질 수 있다. 그리고 사용자가 그리기 버튼을 누르면, bitmap canvas 영역에 drawing한 정보까지 함께 bitmap 파일로 저장되어 우측의 cropper 영역에 그린 파일이 보여질 수 있다. Cropper 영역을 조절하여 정확한 한자를 인식할 수 있고, 사용자가 CROP 버튼을 누르면 Cropper 영역에 있는 bitmap 파일을 학습 되는 Tesseract OCR 프로그램이 맞는 결과물이 출력될 수 있다. 마지막으로 사용자는 검색 버튼을 누를 수 있다.

한편, 글로벌 시대가 진행됨에 따라 외국어 능력의 필요성이 커지고, 중국시장의 영향력이 커지면서 한자의 필요성이 커지고 있다. 이에 따라 다양한 한자 공부 콘텐츠가 생겨나고 있으며, 본 발명의 실시 예에 따른 어플리케이션은 이에 못지않은 높은 유용성을 나타낼 수 있다. 특히 본 발명의 실시 예에 따른 어플리케이션은 높은 학습 성과를 얻을 수 있는 AR을 통한 한자 학습, 필기체를 인식하고 해당 한자 사전을 보는 기능, 퀴즈기능, 급수별 한자사전 등의 기능을 통해 학습자에게 다른 제품들과 차별화를 두며 더 높은 유용성을 나타낼 수 있다.

도 11은 본 발명의 실시 예에 따른 한자 공부를 위한 전자 장치의 동작 방법을 예시적으로 보여주는 흐름도이다. 도 1 내지 도 11을 참조하면, 전자 장치의 동작 방법은 다음과 같이 진행될 수 있다.

AR 카메라를 이용하여 고사성어 한자카드가 인식될 수 있다(S110). 인식된 한자카드에 대응하는 동영상이 연결될 수 있다. Tesseract OCR를 이용하여 오프라인 문자 인식 및 문자 학습이 수행될 수 있다(S120). Tesseract OCR를 이용하여 학습자가 쓴 한자 단어, 필기체 한자 단어가 인식될 수 있다(S130).

본 발명에 따른 단계들 및/또는 동작들은 기술분야의 통상의 기술자에 의해 이해될 수 있는 것과 같이, 다른 순서로, 또는 병렬적으로, 또는 다른 에포크(epoch) 등을 위해 다른 실시 예들에서 동시에 일어날 수 있다.

실시 예에 따라서는, 단계들 및/또는 동작들의 일부 또는 전부는 하나 이상의 비-일시적 컴퓨터-판독가능 매체에 저장된 명령, 프로그램, 상호작용 데이터 구조(interactive data structure), 클라이언트 및/또는 서버를 구동하는 하나 이상의 프로세서들을 사용하여 적어도 일부가 구현되거나 또는 수행될 수 있다. 하나 이상의 비-일시적 컴퓨터-판독가능 매체는 예시적으로 소프트웨어, 펌웨어, 하드웨어, 및/또는 그것들의 어떠한 조합일 수 있다. 또한, 본 명세서에서 논의된 "모듈"의 기능은 소프트웨어, 펌웨어, 하드웨어, 및/또는 그것들의 어떠한 조합으로 구현될 수 있다.

본 발명의 실시 예들의 하나 이상의 동작들/단계들/모듈들을 구현/수행하기 위한 하나 이상의 비-일시적 컴퓨터-판독가능 매체 및/또는 수단들은 ASICs(application-specific integrated circuits), 표준 집적 회로들, 마이크로 컨트롤러를 포함하는, 적절한 명령들을 수행하는 컨트롤러, 및/또는 임베디드 컨트롤러, FPGAs(field-programmable gate arrays), CPLDs(complex programmable logic devices), 및 그와 같은 것들을 포함할 수 있지만, 여기에 한정되지는 않는다.

한편, 상술 된 본 발명의 내용은 발명을 실시하기 위한 구체적인 실시 예들에 불과하다. 본 발명은 구체적이고 실제로 이용할 수 있는 수단 자체뿐 아니라, 장차 기술로 활용할 수 있는 추상적이고 개념적인 아이디어인 기술적 사상을 포함할 것이다.

100: 전자 장치

Claims (10)

1. 증강현실을 이용한 한자 공부를 위한 단말 장치의 동작 방법에 있어서:
   AR(augmented reality) 카메라를 이용하여 고사성어 한자 카드를 인식하는 단계;
   상기 인식된 한자 카드에 대응하는 영상을 연결하는 단계;
   광학문자 인식 모듈을 통하여 한자 사진을 인식하는 단계; 및
   상기 광학문자 인식 모듈을 통하여 학습자의 필기체 한자를 인식하는 단계를 포함하는 방법.
2. 제 1 항에 있어서,
   안드로이드 기반 유니티 뷰포리아(Unity Vuforia)을 이용하여 상기 고사성어 한자 카드에 대응하는 이미지를 생성하는 단계를 더 포함하는 방법.
3. 제 1 항에 있어서,
   상기 광학문자 인식 모듈은 Tesseract OCR를 포함하는 방법.
4. 제 1 항에 있어서,
   상기 한자 사진을 인식하는 단계는,
   상기 한자 사진 위에 cropper 영역을 설정하는 단계를 더 포함하는 방법.
5. 제 4 항에 있어서,
   상기 인식된 한자 사진에 대응하는 한자의 한글 뜻을 출력하는 단계를 더 포함하는 방법.
6. 제 1 항에 있어서,
   상기 필기체 한자를 인식하는 단계는,
   상기 필기체 한자에 대응하는 이미지를 변형하는 단계를 더 포함하는 방법.
7. 제 1 항에 있어서,
   상기 필기체 한자를 인식하는 단계는,
   상기 필기체 한자에 대응하는 사진에 cropper 영역을 설정하는 단계를 더 포함하는 방법.
8. 제 1 항에 있어서,
   SQLite 기반 내장 데이터베이스를 통해 한자를 검색하는 단계를 더 포함하는 방법.
9. 제 1 항에 있어서,
   객관식 혹은 주관식 형태의 급수별 한자 퀴즈 기능을 수행하는 단계를 더 포함하는 방법.
10. 제 1 항에 있어서,
    상기 광학 문자 인식 모듈은, 수신된 이미지를 히스토그램 스트레칭, 히스토그램 평활화, 이진화 작업과 역상 작업을 수행하고, 글자 단위로 혼합의 텍스트로 분류하는 것을 특징으로 하는 방법.

Images