KR102089392B1 - 증강현실 기반 코딩교육 옴니에듀 시스템 - Google Patents

Abstract

본 발명은 교재, 휴대용 단말기, 서버시스템 및 마스킹 카드로 구성된다. 상기 교재는 이미지를 포함하고 있으며, 상기 서버시스템에는 상기 교재의 이미지에 해당하는 동영상, 음성, 텍스트문서, 사진자료 등과 같이 여러 형태의 자료들이 이미지를 인덱스로 하여 데이터베이스화하여 저정되어 있다. 아울러 상기 자료들은 초급, 중급, 고급과 같이 난이도별로 하나의 이미지 인덱스에 여러 자료자 포함될 수 있으며, 사용자의 개인 능력에 따라 다양한 콘텐츠를 불러 사용할 수 있다.
이를 위하여 사용하는 것이 마스킹 카드이다. 마스킹 카드를 이용함으로써, 육안으로 또는 VR(Virtual Reality, Attribute, Mixed Reality 포함) 장비를 통하여 상기 교재를 이용하는 경우 별도의 휴대용 단말기 또는 상기 VR 장비의 조작 없이 서버로부터 원하는 정보를 얻을 수 있다.
특히 코딩 교육과 같이 하나의 명령어로 많은 일을 다양하게 처리하는 경우 여러 가지 예제를 포함한 콘텐츠를 제공할 수 있어 학습효과가 높다 하겠다. 기존의 코드방식은 이러한 문제를 해결할 수 없었으나, 본 발명은 휴대용 단말기의 앱 기능과 마스킹 카드를 이용하여 이러한 문제점을 해결하였다.

Description

증강현실 기반 코딩교육 옴니에듀 시스템{Augmented Reality Based Computer Coding Education Omni-Edu System}

본 발명은 증강현실을 이용한 교육 교재 및 그를 이용한 교육방법 시스템에 관한 기술이다. 본 발명의 "Omni Edu 시스템" 용어는 아트북 내부의 페이지를 촬영하면 증강현실을 통해 관련 동영상 콘텐츠로 연결되는 교육시스템을 의미한다.

본 발명이 전의 기술로는 천체 3D 콘텐츠를 이용한 3차원 실감형 스마트 교육시스템에 관한 것으로, 교육 또는 학습을 위한 천체 이미지 교재부(100), 천체 이미지를 촬영하고 인식하는 단말기(200) 또는 서버부(300), 인식된 천체이미지의 대응되는 3차원 가상현실, 증강현실 콘텐츠를 보여주는 콘텐츠 학습부(400)로 구성된 교육시스템 서비스로, 3D 콘텐츠의 현실성을 높이기 위해 투명-개방형 양안(Side-by-side) 방식 3D 안경을 개발, 제공함으로써 현실 속에 콘텐츠가 마치 살아 있는 경험을 제공하는 서비스 방법 및 시스템에 관한 발명이 있고,

또 다른 이전의 선행기술로는 서포터 장치를 매개로 증강현실 교육 서비스를 제공하는 교육서적 시스템은, 페이지별로 고유의 마커를 포함하는 교육서적; 영상을 촬영하는 카메라와, 상기 카메라에서 촬영된 상기 영상을 표시하는 디스플레이, 상기 영상에서 상기 마커를 인식하여 증강현실콘텐츠를 상기 영상에 합성하여 표시하는 증강현실애플리케이션을 포함하는 스마트폰; 상기 교육서적이 일 측에 부착되고, 상기 스마트폰은 타 측에 장착된 상태에서 상기 스마트폰을 상기 교육서적으로부터 일정 높이 이격된 위치에 고정시키는 서포터;로 구성되는 기술이 있다.

공개번호 10-2017-0064026 등록번호 10-1756142

본 발명은 지식을 전달하는 교육뿐만 아니라, 컴퓨터 프로그램 코딩과 같은 분야에 사용될 수 있는 증강현실을 결합한 교재와 교육시스템을 제공하고자 한다. 기존의 증강현실을 이용한 교재 또는 교육 시스템은 바코드 및 RFID 등을 이용하여 음성, 동영상, 웹사이트 등의 특정 콘텐츠를 1 대 1로 연결하는 시스템으로 구성되어있었다. 본 발명은 상기와 같은 마커를 사용하지 않으면서도, 증강현실을 교재를 통하여 원격 서버로부터 학습자가 원하는 콘텐츠를 쉽게 불러올 수 있는 수단을 제공하고자 한다.

본 발명은 상기와 같은 문제를 해결하기 위하여,

그림을 포함하여 구성되는 교재와 증강현실을 보여줄 수 있는 도구로 사용되는 통신네트워크 연결이 가능한 휴대용 단말기 및 상기 휴대용 단말기와 통신네트워크로 연결되는 서버시스템으로 구성되는 증강현실서버를 이용한 증강현실 기반 코딩교육 옴니에듀 시스템에 있어서,

상기 교재에서 상기 그림을 선택하여 상기 휴대용 단말기의 카메라로 촬영하는 이미지 획득 단계(S1)에 있어서, 이미지 획득을 위하여 상기 교재에서 설명을 추가로 보고자 하는 상기 그림을 상기 휴대용 단말기 카메라의 중앙에 일정크기 이상으로, 일정시간 이상 고정된 이미지로 유지하면 자동으로 이미지가 획득되고,

상기 S1단계에서 획득된 이미지를 상기 서버시스템으로 전송하는 이미지전송단계(S2); 및

상기 S2 단계에서 전송된 이미지를 상기 서버시스템에서 인식하는 이미지인식 단계(S3); 및

상기 S3에서 이미지 인식을 위하여 상기 교재에서 사용하는 상기 그림을 저장한 이미지 데이터베이스의 이미지와 상기 서버시스템에서 전송받은 이미지를 비교하는 이미지비교 단계(S4); 및

상기 이미지비교 단계(S4)에서 유사한 것으로 판단된 이미지를 코드화하는 이미지코드화 단계(S5); 및 상기 이미지로부터 찾아진 이미지코드를 이용하여 상기 서버시스템에 관련 콘텐츠를 찾아 상기 휴대용 단말기로 목록을 전송하는 목록전송단계(S6); 및

상기 목록전송단계에서 전송된 목록으로부터 상기 휴대용 단말기에서 콘텐츠를 선택하는 콘텐츠선택 단계(S7); 및

상기 콘텐츠를 상기 교재와 함께 보여주는 콘텐츠이용단계(S8); 를 포함하는 것을 특징으로 하는 증강현실 기반 코딩교육 옴니에듀 시스템을 제공한다.

또한, 상기 S1단계에서 상기 교재로부터 특정 이미지를 선택하기 위하여, 필요한 이미지만을 상기 휴대용 단말기로 촬영하기 위하여 마스킹카드를 더 이용하는 마스킹 카드 이용단계(T1);을 더 포함할 수 있다.

본 발명은 또한, 상기 마스킹 카드에서 이미지를 선택하는 선택부분의 모양을 원형 및 삼각형 내지 8각형을 사용함으로써, 선택 도형의 종류에 따라 상기 서버시스템에서 콘텐츠를 달리 검색하도록 검색조건을 달리할 수 있는 것을 특징으로 한다.

또한, 상기 마스킹 카드를 1개 이상 사용함으로써 2개의 이미지가 포함된 콘텐츠를 검색하여 사용할 수 있는 것을 특징으로 한다.

또한, 상기 서버에는 이미지로부터 도형을 인식하는 이미지처리알고리즘과 이미지로부터 이미지의 외곽선을 검출하는 이미지처리알고리즘이 적어도 포함된 이미지처리알고리즘을 내장한 이미지처리부를 구비하는 것을 특징으로 한다.

또한, 상기 서버시스템의 이미지처리는 색을 빨강, 초록, 파란색을 각각 256단계의 색으로 인식하고 이 색들의 변화를 인식하여 상기 도형 또는 이미지의 외곽선을 추출하는 것을 그 특징으로 한다.

본 발명은 상기와 같은 구성에 의하여 기존에 바코드, RFID 등을 사용하여 제공하는 증강현실 콘텐츠 제공의 경우 고정된 콘텐츠를 제공함으로써 발생하는 공부의 지루함을 없애주는 효과가 있어 학습효과를 높일 수 있는 장점이 있다. 특히 코딩 교육과 같이 하나의 명령어로 많은 일을 다양하게 처리하는 경우, 여러 가지 예제를 포함한 콘텐츠를 제공할 수 있어야 학습 효과가 높다 하겠다. 기존의 코드방식은 이러한 문제를 해결할 수 없었으나, 본 발명은 마스킹 카드를 이용하여 동일한 이미지를 선택하더라도 난이도 및 용도에 따라 필요한 콘텐츠를 다양하게 불러올 수 있는 장점이 있다.

도 1은 본 발명의 마스킹 카드
도 2은 본 발명의 실시예 중 마스킹 카드를 이용하는 예
도 3은 본 발명에서 예로든 스크래치 실행화면
도 4는 본 발명의 전체 시스템 구성도

본 발명은 교재, 휴대용 단말기, 서버시스템 및 마스킹 카드로 구성된다.

상기 교재는 이미지를 포함하고 있으며, 상기 서버시스템에는 상기 교재의 이미지에 해당하는 동영상, 음성, 텍스트문서, 사진자료 등과 같이 여러 형태의 자료들이 이미지를 인덱스로 하여 데이터베이스화하여 저정되어 있다. 아울러 상기 자료들은 초급, 중급, 고급과 같이 난이도별로 하나의 이미지 인덱스에 여러 자료가 포함될 수 있으며, 사용자의 개인 능력에 따라 다양한 콘텐츠를 불러 사용할 수 있다.

이를 위하여 사용하는 것이 마스킹 카드이다. 마스킹 카드를 이용함으로써, 육안으로 또는 VR(Virtual Reality, Attribute, Mixed Reality 포함) 장비를 통하여 상기 교재를 이용하는 경우 별도의 휴대용 단말기 또는 상기 VR 장비의 조작 없이 서버로부터 원하는 정보를 얻을 수 있다.

즉, 예로써, 상기 교재에서 이미지를 선택하여 상기 이미지와 관련된 초급자용 음성자료를 찾는 경우 노란테두리가 있는 사각형의 틀을 가지는 마스킹카드로 원하는 이미지를 선택하면, 상기 휴대용 단말기 또는 휴대용 단말기가 들어있는 VR장비를 통하여 이미지가 상기 서버시스템으로 전송되고, 상기 서버시스템에서 상기 이미지와 마스킹 카드을 인식하여 콘텐츠 데이터베이스에서 사각형의 틀은 음성을, 노란색은 초보자용을 선택하여 상기 휴대용 단말기로 즉시 보내줄 수 있다.

즉, 서버시스템과의 접속을 상기 휴대용단말기의 카메라를 통하여 마스킹 카드로 제어할 수 있게된다. 특별히 휴대용 단말기의 제어와 서버시스템의 제어코드는 사각의 검은색 사각형 테두리를 가지는 마스킹 카드에 중앙에 글자 또는 이미지로 명령을 전달할 수도 있다. 이러한 예는 도 1에 예로써 제시하였다.

상기 서버시스템에서 이미지를 인식하는 알고지즘은 기존의 영상처리 알고리즘을 사용할 수도 있고, 최근에 사용되고있는 딥러닝방식의 이미지 처리시스템을 사용할 수도 있을 것이다.

일반적인 영상처리알고리즘을 사용하는 경우 이미지를 구분하기 위하여 빨강, 초록, 파랑의 3가지 기본색을 각각 256으로 나누어 이들이 섞여진 색을 인식하고, 이미지의 경계부분에서 색이 변화가 큰 것을 이용하여 이미지와 배경을 구분함으로써 이미지를 인식한다. 본 발명에 사용되는 이미지는 교재에 있는 이미지를 증강현실을 위하여 촬영하여 획득하는 것이므로, 이를 염두에 두고 교재에 이미지를 만든다면 이미지 인식에 어려움은 없을 것으로 확신한다.

이렇게 이미지를 인식하여 상기 서버시스템에 구비된 데이터 베이스에 이미지 별로 코드를 부여하고, 각 코드에 초급, 중급, 고급의 등급을 두고 각종 학습자료를 업로드할 수 있다. 초급, 중급, 고급 및 제어명령어의 구분은 마스킹 카드의 테두리 색으로 설정할 수 있다. 초급은 노랑, 중급은 파랑, 고급은 빨강, 제어명령은 검은색으로 설정할 수 있다. 콘텐츠의 종류에 따라, 마스킹 카드의 모양을 구분할 수 있다. 원형은 동영상, 삼각형은 텍스트, 사각형은 음성, 오각형은 사진, 육각형은 3D 입체영상으로 정의할 수 있을 것이다.

또한, 동일한 형태의 콘텐츠도 기본 뜻, 사용방법, 사용된 예제, 사용된 실행 예제 등과 같이 모양에 따라 나누어 찾아볼 수 있는 장점이 있다.

본 발명의 실시예로 사용될 스크래치(MIT, 아이콘 형태의 프로그램도구)의 경우 이미지 형태의 명령어 블록을 쌓아 프로그램하는 프로그램 도구로, 사용자의 숙련도에 따라 프로그램블록의 이름, 용도, 사용방법, 사용예 등을 다양하게 찾아보고자 하는 경우 상기 마스킹 카드로 필요에 따라, 필요한 내용만을 바로 도움받을 수 있는 장점이 있다. 즉, 용도에 맞는 자료를 짧은 시간에 찾을 수 있는 장점이 있어 학습에 매우 효율적이다.

마스킹 카드는 종이로 만들어 사용할 수도 있고, 모양자와 같은 형태로 만들어 조합하여 사용할 수도 있을 것이다.

기존의 바코드 시스템과 다른 점이라면, 바코드 시스템 등은 교재의 페이지의 특정부분에 부착되어 그 페이지 전체와 관련된 자료를 전송할 수만 있는 반면, 마스킹 카드시스템은 교재에 포함된 어떠한 이미지도 사용할 수 있는 점에서 가장 큰 차이가 있다.

또한, 상기 서버시스템에는 본 발명의 핵심이되는 사항인 AR관련 단계별 코딩교육 커리큘럼에 따른 코딩 교육 동영상 콘텐츠, 코딩교육 아트북과 연계되는 음성, 텍스트, 동영상 및 3차원 동영상과 각종 코딩예제, 코드설명, 완성된 코딩의 실행 동영상 등의 종합 콘텐츠가 DB와 되어 저장되는 것은 물론이다.

또한, 상기 휴대용 단말기에는 상기와 같은 콘텐츠 들이 아트북(교재)와 연동되어 실행될 수 있도록 전용의 앱(어플리케이션)이 구동될 수 있다.

또한, 본 발명은 상기의 콘텐츠를 상기 휴대용 단말기를 통하여 플레이(실행)함에 있어, 기존의 바코드 등의 마커를 사용하지 않고, 교재의 이미지를 직접 인식하여 콘텐츠를 제공하는 것을 그 기본으로하고 있는 마커리스 트래킹 방식을 사용한다. 따라서, 사용자가 좀더 자세한 내용을 알고 싶은 내용이 상기 아트북(교재)내에 있는 경우, 상기 휴대용 단말기를 좀더 확인하고 싶은 내용이 있는 글자 또는 이미지에 가까이 접근하여 화면상의 영역에 크게 확대되어 일정시간(1초 미만)동안 유지되면 상기 이미지를 기반으로한 콘텐츠를 보여줄 수 있다. 또한 좀더 다양하고, 세분화된 정보를 빨리 찾기 위하여 상기에 설명한 바와 같은 마스킹 카드를 병행하여 사용하는 것도 가능하다. 즉, 교재 속의 이미지에 카메라를 접근하여 콘텐츠를 찾는 것은 쉬운 방법이기는 하지만, 이미지 인식 및 동작에 시간지연이 있어, 좀더 빠르고, 다양한 콘텐츠를 이용하고자 하는 경우 상기의 마스킹 카드를 사용하여, 빠르고 정확하게 보고싶은 내용을 상기 서버시스템에 전달할 수 있다. 본 발명에서는 상기의 두 가지 방법을 병행하여 사용할 수 있음은 물론이다. 특히 어린 아이들의 경우 조작이 미숙할 수 있어, 마스킹 카드를 이용하여, 이미지와 코딩 명령어들을 선택하여 사용하는 것이 더 편리할 수 있음은 물론이다.

상기와 같은 구성에 의하여 학습하는 방법을 설명하면 하기와 같다.

그림을 포함하여 구성되는 교재와 증강현실을 보여줄 수 있는 도구로 사용되는 통신네트워크 연결이 가능한 휴대용 단말기, 상기 휴대용 단말기와 통신네트워크로 연결되는 서버시스템으로 구성되는 증강현실 교육방법에 있어서,

상기 교재에서 특정 이미지를 선택하여 상기 휴대용 단말기로 촬영하는 이미지 획득 단계(S1)에 있어서, 이미지 획득을 위하여 상기 교재에서 설명을 추가로 보고자하는 이미지 또는 텍스트를 상기 휴대용 단말기의 중앙에 일정크기 이상으로, 일정시간이상 고정된 이미지로 유지하는 수단에 의하여 이미지가 획득되고,

상기 S1단계에서 획득된 이미지를 상기 서버시스템으로 전송하는 이미지전송단계(S2); 및

상기 S2 단계에서 전송된 이미지를 상기 서버시스템에서 인식하는 이미지인식 단계(S3); 및

상기 S3에서 이미지 인식을 위하여 상기 교재에서 사용하는 이미지를 저장한 이미지 데이터베이스의 이미지와 상기 서버시스템에서 전속받은 이미지를 비교하는 이미지비교단계(S4); 및

상기 이미지비교단계(S4)에서 유사한 것으로 판단된 이미지를 코드화하는 이미지 코드화단계(S5); 및

상기 이미지로부터 찾아진 이미지코드를 이용하여 상기 서버시스템에 관련 콘텐츠를 찾아 상기 휴대용 단말기로 목록을 전송하는 목록전송단계(S6); 및

상기 목록전송단계에서 전송된 목록으로부터 상기 휴대용 단말기에서 콘텐츠를 선택하는 콘텐츠선택단계(S7); 및

상기 선택된 콘텐츠를 상기 교재와 함께 보여주는 콘텐츠이용단계(S8);를 포함하는 것을 특징으로 하는 증강현실서버를 이용한 교재 및 그를 이용한 증강현실 교육방법을 제공한다.

또한, 상기 S1단계에서 상기 교재로부터 특정 이미지를 선택하기 위하여, 상기 특정 이미지만을 상기 휴대용 단말기로 촬영하기 위하여, 종이로된 사각형의 틀을 가지는 마스킹카드에서 상기 특정 이미지를 선택하는 선택부분의 모양을 원형 및 삼각형 내지 8각형을 사용하여, 상기 마스킹카드로 원하는 상기 특정 이미지를 선택하면, 상기 휴대용 단말기 또는 휴대용 단말기가 들어있는 VR장비를 통하여 상기 특정 이미지가 상기 서버시스템으로 전송되고, 상기 마스킹카드의 선택부분의 모양에 따라 상기 서버시스템에서 콘텐츠를 달리 검색하도록 검색조건을 달리할 수 있는 마스킹카드 이용단계(T1);를 더 포함하는 것을 특징으로 하는 증강현실 기반 코딩교육 옴니에듀 시스템.

본 발명은 또한, 상기 마스킹 카드의 선택 도형의 종류에 따라 상기 서버시스템에서 콘텐츠를 달리 검색하도록 검색조건을 달리할 수 있는 것을 특징으로 한다.

또한, 상기 마스킹 카드를 1개 이상 사용함으로써 2개의 이미지가 포함된 콘텐츠를 검색하여 사용할 수 있는 것을 특징으로 한다.

또한, 상기 서버에는 이미지로부터 도형을 인식하는 이미지처리알고리즘과 이미지로부터 이미지의 외곽선을 검출하는 이미지처리알고리즘이 적어도 포함된 이미지처리알고리즘을 내장한 이미지처리부를 구비하는 것을 특징으로 한다.

또한, 상기 서버시스템의 이미지처리는 색을 빨강, 초록, 파란색을 각각 256단계의 색으로 인식하고 이 색들의 변화를 인식하여 상기 도형 또는 이미지의 외곽선을 추출하는 것을 그 특징으로 한다.

또한, 본 발명에서는 상기 교재로부터 이미지를 선택하는 방법으로 상기 마스킹 카드와 더불어 적외선 LED가 구비된 펜타입 선택장치를 사용할 수 있다.

상기 선택장치는 인체에 무해하며 사람의 육안으로는 관찰되지 않고, 상기 휴대용 단말기에서 이미지를 획득할 때에만 이미지와 같이 획득될 수 있는 것이고, 이미 옆에서 비추는 것만으로도 이미지를 선택한 것으로 확인할 수 있다.

Claims (1)

1. 그림을 포함하여 구성되는 교재와 증강현실을 보여줄 수 있는 도구로 사용되는 통신네트워크 연결이 가능한 휴대용 단말기 및 상기 휴대용 단말기와 통신네트워크로 연결되는 서버시스템으로 구성되는 증강현실서버를 이용한 증강현실 기반 코딩교육 옴니에듀 시스템에 있어서,
   상기 교재에서 상기 그림을 선택하여 상기 휴대용 단말기의 카메라로 촬영하는 이미지 획득 단계(S1)에 있어서, 이미지 획득을 위하여 상기 교재에서 설명을 추가로 보고자하는 상기 그림을 상기 휴대용 단말기 카메라의 중앙에 일정크기 이상으로, 일정시간 이상 고정된 이미지로 유지하면 자동으로 이미지가 획득되고,
   상기 S1단계에서 획득된 이미지를 상기 서버시스템으로 전송하는 이미지전송단계(S2); 및
   상기 S2 단계에서 전송된 이미지를 상기 서버시스템에서 인식하는 이미지인식 단계(S3); 및
   상기 S3에서 이미지 인식을 위하여 상기 교재에서 사용하는 상기 그림을 저장한 이미지 데이터베이스의 이미지와 상기 서버시스템에서 전송받은 이미지를 비교하는 이미지비교 단계(S4); 및
   상기 이미지비교 단계(S4)에서 유사한 것으로 판단된 이미지를 코드화하는 이미지코드화 단계(S5); 및 상기 이미지로부터 찾아진 이미지코드를 이용하여 상기 서버시스템에 관련 콘텐츠를 찾아 상기 휴대용 단말기로 목록을 전송하는 목록전송단계(S6); 및
   상기 목록전송단계에서 전송된 목록으로부터 상기 휴대용 단말기에서 콘텐츠를 선택하는 콘텐츠선택 단계(S7); 및
   상기 콘텐츠를 상기 교재와 함께 보여주는 콘텐츠이용단계(S8); 및
   상기 S1단계에서 상기 교재로부터 특정 이미지를 선택하기 위하여, 상기 특정 이미지만을 상기 휴대용 단말기로 촬영하기 위하여, 종이로된 사각형의 틀을 가지는 마스킹카드에서 상기 특정 이미지를 선택하는 선택부분의 모양을 원형 및 삼각형 내지 8각형을 사용하여, 상기 마스킹카드로 원하는 상기 특정 이미지를 선택하면, 상기 휴대용 단말기 또는 휴대용 단말기가 들어있는 VR장비를 통하여 상기 특정 이미지가 상기 서버시스템으로 전송되고, 상기 마스킹카드의 선택부분의 모양에 따라 상기 서버시스템에서 콘텐츠를 달리 검색하도록 검색조건을 달리할 수 있는 마스킹카드 이용단계(T1);를 더 포함하는 것을 특징으로 하는 증강현실 기반 코딩교육 옴니에듀 시스템.

Images