KR102069878B1 - 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템 - Google Patents

Abstract

본 발명은 기존 SW교육형 스마트토이의 한계인 물리적 구성 및 콘텐츠의 확장성 문제를 극복하기 위한 피지컬(Physical) 인터페이스인 블록 모듈의 결합을 통해 교육용 프로그래밍 언어(EPL: Educational Programming Language) 저작을 가능하게 하고 그 효과를 증강현실(AR: Augmented Reality)콘텐츠로 구현할 수 있는 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템에 관한 것으로, 더욱 상세하게는, 직육면체의 블록 형태를 가지며, 각 면마다 명령어에 대응되는 식별부가 구비된 적어도 하나의 블록형 스마트토이; 설정된 패턴을 포함하는 증강현실 마커지; 상기 블록형 스마트토이를 촬영하는 제1촬영부와 상기 마커지를 촬영하는 제2촬영부를 포함하는 촬영부; 상기 제1촬영부의 영상으로부터 상기 식별부를 인식하여 하나의 실행문장을 완성하는 블록처리부; 상기 제2촬영부의 영상으로부터 상기 패턴을 인식하여 증강현실영상으로 변환하며, 상기 블록처리부의 실행문장에 따른 실행결과를 상기 증강현실영상에 반영시키는 영상처리부; 및 상기 제1촬영부, 제2촬영부 및 영상처리부에 의한 영상 중 적어도 어느 하나를 나타내는 디스플레이부;를 포함하는 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템에 관한 것이다.

Description

블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템{Augmented reality-based educational programming language authoring system using block smart toys}

본 발명은 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템에 관한 것으로, 특히, 기존 SW교육형 스마트토이의 한계인 물리적 구성 및 콘텐츠의 확장성 문제를 극복하기 위한 피지컬(Physical) 인터페이스인 블록 모듈의 결합을 통해 교육용 프로그래밍 언어(EPL: Educational Programming Language) 저작을 가능하게 하고 그 효과를 증강현실(AR: Augmented Reality)콘텐츠로 구현할 수 있는 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템에 관한 것이다.

코딩 교육을 목적으로 개발되는 EPL(Educational Programming Language) 컨텐츠의 경우 카드 또는 블록을 사용하는 제품들이 개발되고 있다.

그러나, 기존 블록을 이용한 제품의 경우 블록-블록, 보드-블록, 보드-E/D를 위해 전기적 연결, 또는 통신을 수단으로 사용하여 보드 제작 단가가 상승하고 추가적인 유지보수 시스템 구축을 위한 비용 소모가 발생하였다.

또한, 통신수단에도 문제점이 제기되었는데, 특히, RFID 방식의 통신 모듈의 경우 센서 개수 증가에 따른 제작 비용 증가 및 Y 축 다중입력 한계 문제가 발생하였으며, NFC 방식의 통신 모듈의 경우 센서 개수 증가에 따른 제작 비용 증가 및 Y 축 다중입력 한계 문제가 발생하였고, Bluetooth 방식의 통신 모듈의 경우 센서 개수 증가에 따른 제작 비용 증가 및 블록간 페어링 혼선 문제와 연결 끊김 문제가 발생함은 물론, Y 축 입력을 위한 고도 센서 추가 탑재가 필요하여 결국 제작비용이 상승하는 문제점이 제기되었다.

국내공개특허 제10-2018-0007991호

본 발명이 해결하고자 하는 기술적 과제는, 기존 SW교육형 스마트토이의 한계인 물리적 구성 및 콘텐츠의 확장성 문제를 극복하기 위한 피지컬(Physical) 인터페이스인 블록 모듈의 결합을 통해 교육용 프로그래밍 언어(EPL: Educational Programming Language) 저작을 가능하게 하고 그 효과를 증강현실(AR: Augmented Reality)콘텐츠로 구현할 수 있는 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템을 제공하는데 있다.

본 발명이 해결하고자 하는 다른 기술적 과제는, 종래의 통신 방식을 벗어나 다양하게 운용할 수 있는 영상인식 방식을 적용한 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템을 제공하는데 있다.

상기 기술적 과제를 달성하기 위한 본 발명의 특징에 따르면, 본 발명인 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템은, 직육면체의 블록 형태를 가지며, 각 면마다 명령어에 대응되는 식별부가 구비된 적어도 하나의 블록형 스마트토이; 설정된 패턴을 포함하는 증강현실 마커지; 상기 블록형 스마트토이를 촬영하는 제1촬영부와 상기 마커지를 촬영하는 제2촬영부를 포함하는 촬영부; 상기 제1촬영부의 영상으로부터 상기 식별부를 인식하여 하나의 실행문장을 완성하는 블록처리부; 상기 제2촬영부의 영상으로부터 상기 패턴을 인식하여 증강현실영상으로 변환하며, 상기 블록처리부의 실행문장에 따른 실행결과를 상기 증강현실영상에 반영시키는 영상처리부; 및 상기 제1촬영부, 제2촬영부 및 영상처리부에 의한 영상 중 적어도 어느 하나를 나타내는 디스플레이부;를 포함하는 것을 특징으로 한다.

또한, 상기 블록형 스마트토이가 삽입 배열되는 배열판을 더 포함하는 것을 특징으로 한다.

또한, 상기 증강현실영상에는 추가선택메뉴가 제공되는 것을 특징으로 한다.

또한, 상기 식별부는 적어도 하나의 명령어에 대응되는 것을 특징으로 한다.

이상에서 상술한 본 발명인 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템은 다음과 같은 효과가 있다.

먼저, 직육면체의 블록형 스마트토이를 사용함으로써 6개의 면에 각기 다른 식별부를 구성할 수 있으므로 하나의 블록형 스마트토이를 이용하여 다양한 명령어 구현이 가능하다.

또한, 영상인식 통해 최대 3개의 면을 식별할 수 있으므로 하나의 블록형 스마트토이만으로도 하나의 실행문장 완성이 가능하다.

또한, 블록형 스마트토이의 식별부 인식시 인식 순서를 설정함으로써, 배열과 배치에 대한 사고력 배양으로 사용자의 사고인지능력을 향상시킬 수 있다.

또한, 기존 SW교육형 스마트토이의 한계인 물리적 구성 및 콘텐츠의 확장성 문제를 극복하기 위한 피지컬(Physical) 인터페이스인 블록 모듈의 결합을 통해 교육용 프로그래밍 언어(EPL: Educational Programming Language) 저작을 가능하게 하고 그 효과를 증강현실(AR: Augmented Reality)콘텐츠로 구현할 수 있다.

또한, 증강현실영상을 통해 코딩 결과를 바로바로 확인함으로써, 즉각적인 수정이 가능하고 보다 짧은 시간 내에 결과물을 도출할 수 있으므로 사용자의 주의력을 높일 수 있다.

또한, 블록형 스마트토이 내부에 별도의 통신수단을 구비하지 않으므로, 종래에 제기된 문제점들을 해결할 수 있다.

도 1은 본 발명에 따른 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템의 일실시례에 의한 구성도,
도 2는 본 발명에 따른 블록형 스마트토이와 배열판을 나타낸 도면,
도 3은 본 발명에 따른 식별부의 다양한 형태를 나타낸 도면,
도 4는 본 발명에 따른 추가선택메뉴로 제공되는 일실시례에 따른 API(application programming interface)를 나타낸 도면.

이하, 본 발명의 일부 실시례들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시례를 설명함에 있어, 관련된 공지구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시례에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한, 본 발명의 실시례의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

도면들에 도시된 바에 따르면, 본 발명인 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템은 블록형 스마트토이(100), 증강현실 마커지(200), 촬영부(300), 볼록처리부(400), 영상처리부(500) 및 디스플레이부(600)를 포함하며, 배열판(700)을 더 포함할 수 있다.

블록형 스마트토이(100)는 정육면체 큐브 형태로 구성하는 것이 바람직하며, 각각의 면에는 명령어에 대응되는 식별부(110)가 구성된다.

명령어란 해결해야 할 문제, 즉 미션을 수행하기 위한 것으로 하기 [표 1]은 명령어에 대한 정의 및 예시 상태를 일실시례에 의해 나타낸 것이다. 명령어는 적용하고자 하는 환경에 따라 다양하게 표현할 수 있다.

이와 같은 명령어는 식별부(110)와 1;1 매칭시키거나, 복수의 명령어를 하나의 식별부(110)에 매칭시킬수도 있다. 일례로, 식별부(110)가 영문 'M'으로 인식되었을 경우 영문 'M'은 상기 [표 1]의 '(move) + (5)'로 코딩작업을 할 수 있으며, 이 경우 진행방향으로 5단위 이동하라는 의미가 된다. 또한, 동일하게 식별부(110)가 영문 'M'으로 인식되었을 경우 영문 'M'은 상기 [표 1]의 '(move) + (5) + (left)'로 코딩작업을 할 수 있으며, 이 경우 왼쪽으로 5단위 이동하라는 의미가 된다. 이와 같이 하나의 식별부(110)가 하나의 명령어를 의미하거나 복수 개의 조합된 명령어를 의미하도록 구성할 수 있다.

식별부(110)는 전술한 바와 같이 보이는 그대로의 의미와 다른 뜻을 갖는 명령어의 의미를 내포할 수도 있지만, 숫자나 문자 등과 같이 보이는 그대로의 의미를 나타낼 수도 있다. 식별부(110)는 도 3과 같이 다양한 형태로 나타낼 수 있으며, 도면상에는 숫자블록 마커와 기능블록 마커의 예시적 이미지를 나타낸 것으로써 문자 이외에도 기호나 표식 등 다양한 형태로 표현할 수 있다.

블록형 스마트토이(100)는 6개의 면에 각기 다른 식별부(110)를 구성하거나 동일한 식별부(110)를 둘 이상 구성할 수 있으며, 6개의 면 모두 동일한 식별부(110)로 구성할 수도 있다.

증강현실 마커지(200)는 사용자에게는 해결해야 할 문제(미션)와 같은 것으로 설정된 패턴을 포함하는 배경이미지 형태로 표현되며, 문제란 게임의 형태이거나 해결해야 할 스토리의 형태 등으로 구성될 수 있다. 증강현실 마커지(200) 자체를 직접적으로 이용할 수는 없으며, 증강현실 마커지(200)는 후술할 영상처리부(500)를 통해 증강현실(AR: Augmented Reality)영상으로 나타난다. 사용자는 증강현실영상을 보면서 블록형 스마트토이(100)를 이용하여 문제를 해결할 수 있다.

촬영부(300)는 제1촬영부(310)와 제2촬영부(320)를 포함하며, 제1촬영부(310)와 제2촬영부(320)는 각각 적어도 하나의 카메라로 구성될 수 있다. 제1촬영부(310)는 블록형 스마트토이(100)를 촬영하고, 제2촬영부(320)는 증강현실 마커지(200)를 촬영한다. 제1촬영부(310)와 제2촬영부(320)는 하나의 몸체에 하나의 모듈 형태로 구성하거나 각각의 모듈 형태로 구성할 수 있으며, 각각 별도의 몸체에 모듈 형태로 구성할 수도 있다.

블록처리부(400)는 제1촬영부(310)의 영상을 처리하여 식별부(110)를 인식하고, 인식된 결과를 가지고 하나의 실행문장(실행명령어)을 완성한다. 이때, 블록처리부(400)는 블록형 스마트토이(100)의 적어도 어느 한 면을 인식할 수 있으며, 최대 3개의 면을 동시에 인식할 수 있다. 복수의 면을 동시에 인식할 경우 기 설정된 순서대로 인식하도록 구성하거나, 동시에 인식 후 기 설정된 패턴대로 명령어를 조합하여 실행문장을 완성하도록 구성할 수 있다. 또한, 블록형 스마트토이(100)가 복수 개로 구성시 기 설정된 위치 순서대로 블록형 스마트토이(100)를 순차적으로 인식하도록 구성할 수 있다. 예컨데, 블록형 스마트토이(100)의 3개의 면을 인식할 경우 X, Y, Z 면 순서대로 인식하도록 구성하고, 다수의 블록형 스마트토이(100)가 3열 4행으로 배열될 경우 좌측에서 우측 순서로 이후 상부에서 하부 순서로 배열된 블록형 스마트토이(100)를 인식하도록 설정할 수 있다. 따라서, 이러한 설정 순서에 따라 사용자는 블록형 스마트토이(100)를 배열할 수 있다.

한편, 블록형 스마트토이(100)의 배열된 상태를 영상을 통해 인식하게 되므로, 도 2와 같이 블록형 스마트토이(100)가 삽입되어 지지될 수 있는 다수의 홈을 갖는 배열판(700)을 사용할 수 있다. 배열판(700)은 바둑판 형상으로 일정간격으로 배열된 홈에 블록형 스마트토이(100)를 삽입하여 체계적으로 배열할 수 있으므로 영상인식률을 향상시킬 수 있다. 배열판(700)에 형성된 홈은 블록형 스마트토이(100)의 형상에 대응된다.

영상처리부(500)는 제2촬영부(320)의 영상으로부터 상기 패턴을 인식하여 증강현실영상으로 변환한다. 또한, 블록처리부(400)와 연결되어 블록처리부(400)의 실행문장에 따른 실행결과를 상기 증강현실영상에 반영시킨다. 블록처리부(400)를 통해 생성된 실행문장은 상기 증강현실영상에 추가선택메뉴의 형태로 사용자에게 제공될 수 있다. 즉, 도 4와 같이 실행문장에 포함된 명령어를 나열하는 형태로 제공하여 사용자가 이를 통해 명령어를 새롭게 코딩할 수 있다. 물론, 블록형 스마트토이(100)를 배열 완성함으로써, 실행문자에 따라 실행된 결과를 상기 증강현실영상으로 통해 확인하도록 구성할 수도 있다. 상기 증강현실영상에는 블록형 스마트토이(100)만으로 제공할 수 없는 서브메뉴들을, 예컨데 사용자 이름, ID, 패스워드, 사용날짜, 저장기능 등을 추가적으로 제공하도록 구성할 수 있다.

디스플레이부(600)는 제1촬영부(310)와 제2촬영부(320)를 통해 촬영된 영상 및 영상처리부(500)에 의한 증강현실영상 중 적어도 어느 하나를 나타낼 수 있으며, 디스플레이부(600)는 적어도 하나의 모니터 등으로 구성될 수 있다.

이상에설 설명한 본 발명인 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템의 사용 상태를 설명하면 다음과 같다.

제2촬영부(320)를 통해 준비된 증강현실 마커지(200)를 촬영하고, 제1촬영부(310)는 배열판(700)을 촬영한다. 사용자는 디스플레이부(600)에 표시되는 증강현실영상을 통해 해결해야 할 문제(미션)를 인지한다.

해결해야 할 문제를 인지한 후에는 준비된 블록형 스마트토이(100)를 배열판(700)의 홈에 배열한다. 배열판(700)에 배열된 블록형 스마트토이(100)는 기 설정된 일정시간이 경과 후 식별부(110)를 통해 인식된 다수의 명령어들의 형태로 도 4와 같이 증강현실영상에 나타난다.

다양한 형태로 블록형 스마트토이(100)를 배열한 후 최종적으로 확정되면 사용자는 도 4와 같이 나타난 최종적으로 표시된 명령어들의 조합을 클릭하여 미션을 완수하며, 미션을 완수하기까지의 진행과정은 증강현실영상을 통해 확인할 수 있다. 증강현실영상을 통해 블록형 스마트토이(100)의 배열 조합 등을 수정할 수도 있다.

한편, 이와 같은 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템을 초급, 중급 및 고급으로 구성하고 난이도를 조정함으로써, 영유아서부터 성인에 이르기까지 연령별로 이용하도록 구성할 수 있으며, 영유아의 경우 학습인지능력을 향상시키고 사고력을 배양시킬 수 있다.

이상에서, 본 발명의 실시례를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시례에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 게시된 실시례들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시례에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 블록형 스마트토이 110 : 식별부
200 : 증강현실 마커지
300 : 촬영부 310 : 제1촬영부
320 : 제2촬영부
400 : 블록처리부
500 : 영상처리부
600 : 디스플레이부
700 : 배열판

Claims (4)

1. 직육면체의 블록 형태를 가지며, 상기 직육면체의 각 면마다 하나 또는 복수의 명령어에 대응되는 식별부가 구비된 복수의 블록형 스마트토이;
   상기 복수의 블록형 스마트토이가 삽입되어 지지될 수 있는 다수의 홈을 갖는 배열판;
   설정된 패턴을 포함하는 증강현실 마커지;
   상기 블록형 스마트토이를 촬영하는 제1촬영부와 상기 마커지를 촬영하는 제2촬영부를 포함하는 촬영부;
   상기 제1촬영부의 영상으로부터 상기 복수의 블록형 스마트토이를 촬영하며 상기 블록형 스마트토이의 상기 식별부들에 대응한 명령어들을 인식하고 조합하여 하나의 실행문장을 완성하는 블록처리부;
   상기 제2촬영부의 영상으로부터 상기 패턴을 인식하여 증강현실영상으로 변환하며, 상기 블록처리부를 통해 완성된 상기 실행문장에 따른 실행결과를 상기 증강현실영상에 반영시키는 영상처리부; 및
   상기 제1촬영부, 제2촬영부 및 영상처리부에 의한 영상 중 적어도 어느 하나를 나타내는 디스플레이부;를 포함하며,
   상기 블록처리부는 상기 스마트토이의 면들중 2개 이상의 면을 동시에 인식하는 경우 기 설정된 순서대로 인식하도록 구성되며,
   상기 영상처리부는 상기 블록처리부에 의해 완성된 상기 실행문장에 포함된 명령어들을 나열하는 형태로 추가선택메뉴를 사용자에게 제공하며,
   상기 복수의 명령어는 모션(motion) 명령어, 이벤트(event) 명령어, 반복(repeat) 명령어, 조건(if) 명령어, 및 표시설정(looks) 명령어를 포함하고,
   상기 모션 명령어는 이동(move) 명령어, 점프(jump) 명령어, 방향 전환(turn) 명령어를 포함하고,
   상기 이벤트 명령어는 선택(press) 명령어, 터치(touch) 명령어, 동작중(while) 명령어를 포함하고,
   상기 조건 명령어는 긍정 조건(if) 명령어, 부정 조건(else) 명령어, 및 종료(end) 명령어를 포함하고,
   상기 표시설정 명령어는 변경(change) 명령어 및 설정(set) 명령어를 포함하며,
   상기 증강현실영상은 상기 블록형 스마트토이를 통해 제공되지 않는 사용자 이름, ID, 패스워드, 사용날짜, 및 저장기능을 추가적으로 포함하는, 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템.
   
2. 삭제
3. 삭제
4. 삭제

Images