KR20220041579A

KR20220041579A - 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템

Info

Publication number: KR20220041579A
Application number: KR1020200124997A
Authority: KR
Inventors: 이종원
Original assignee: (주)이이알에스소프트
Priority date: 2020-09-25
Filing date: 2020-09-25
Publication date: 2022-04-01

Abstract

본 발명의 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템은 직육면체의 각 면마다 하나 또는 복수의 명령어에 대응되는 식별부가 구비된 복수의 블록형 스마트토이; 상기 복수의 블록형 스마트토이가 삽입되어 지지될 수 있는 다수의 홈을 갖는 배열판; 상기 블록형 스마트토이를 촬영하는 제1촬영부와 증강현실 마커지를 촬영하는 제2촬영부를 포함하는 촬영부; 상기 증강현실 마커지에 대응한 증강현실영상을 표시하는 디스플레이부; 상기 제1촬영부의 영상으로부터 상기 블록형 스마트 토이를 촬영하며 상기 블록형 스마트 토이의 상기 식별부에 대응한 명령어를 인식하고 상기 증강현실영상에 표시된 오브젝트의 선택 또는 코딩 미션에 관련된 명령어를 수신하며, 상기 식별부에 대응한 명령어와 상기 오브젝트에 대응된 명령어 또는 상기 수신된 명령어를 조합하고, 상기 조합된 명령어가 미리 정해진 행위, 논리, 또는 제어에 대응한다면, 상기 조합된 명령어들을 해당 실행 문장으로 완성하는 블록처리부; 및 상기 블록처리부로부터 상기 조합된 명령어들의 처리 결과를 상기 증강현실영상 상에 표시하도록 처리하는 영상처리부;를 포함한다.

Description

블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템{Augmented reality-based educational programming language authoring system using block smart toys}

본 발명은 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템에 관한 것으로, 특히, 기존 SW교육형 스마트토이의 한계인 물리적 구성 및 콘텐츠의 확장성 문제를 극복하기 위한 피지컬(Physical) 인터페이스인 블록 모듈의 결합을 통해 교육용 프로그래밍 언어(EPL: Educational Programming Language) 저작을 가능하게 하고 그 효과를 증강현실(AR: Augmented Reality)콘텐츠로 구현할 수 있는 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템에 관한 것이다.

코딩 교육을 목적으로 개발되는 EPL(Educational Programming Language) 컨텐츠의 경우 카드 또는 블록을 사용하는 제품들이 개발되고 있다.

그러나, 기존 블록을 이용한 제품의 경우 블록-블록, 보드-블록, 보드-E/D를 위해 전기적 연결, 또는 통신을 수단으로 사용하여 보드 제작 단가가 상승하고 추가적인 유지보수 시스템 구축을 위한 비용 소모가 발생하였다.

또한, 통신수단에도 문제점이 제기되었는데, 특히, RFID 방식의 통신 모듈의 경우 센서 개수 증가에 따른 제작 비용 증가 및 Y 축 다중입력 한계 문제가 발생하였으며, NFC 방식의 통신 모듈의 경우 센서 개수 증가에 따른 제작 비용 증가 및 Y 축 다중입력 한계 문제가 발생하였고, Bluetooth 방식의 통신 모듈의 경우 센서 개수 증가에 따른 제작 비용 증가 및 블록간 페어링 혼선 문제와 연결 끊김 문제가 발생함은 물론, Y 축 입력을 위한 고도 센서 추가 탑재가 필요하여 결국 제작비용이 상승하는 문제점이 제기되었다.

그러나, 코딩의 결과물을 HW(실물　완구)로 확인하는 방식은 직관적인 장점이 있으나 다양하고 정밀한 콘텐츠 제공을 위해서는 HW의 기능과 부품이 고도화 되어야 하며, 이는　가격경쟁력을　저해시키는　주요　요소가　됩니다.

국내공개특허 제10-2018-0007991호

본 발명이 해결하고자 하는 기술적 과제는, 기존 SW교육형 스마트토이의 한계인 물리적 구성 및 콘텐츠의 확장성 문제를 극복하기 위한 피지컬(Physical) 인터페이스인 블록 모듈의 결합을 통해 교육용 프로그래밍 언어(EPL: Educational Programming Language) 저작을 가능하게 하고 그 효과를 증강현실(AR: Augmented Reality)콘텐츠로 구현할 수 있는 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템을 제공하는데 있다.

본 발명이 해결하고자 하는 다른 기술적 과제는, 종래의 통신 방식을 벗어나 다양하게 운용할 수 있는 영상인식 방식을 적용한 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템을 제공하는데 있다.

본 발명의 실시예에 따르면, 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템은 직육면체의 블록 형태를 가지며, 상기 직육면체의 각 면마다 하나 또는 복수의 명령어에 대응되는 식별부가 구비된 복수의 블록형 스마트토이; 상기 복수의 블록형 스마트토이가 삽입되어 지지될 수 있는 다수의 홈을 갖는 배열판; 상기 블록형 스마트토이를 촬영하는 제1촬영부와 증강현실 마커지를 촬영하는 제2촬영부를 포함하는 촬영부; 상기 증강현실 마커지에 대응한 증강현실영상을 표시하는 디스플레이부; 상기 제1촬영부의 영상으로부터 상기 블록형 스마트 토이를 촬영하며 상기 블록형 스마트 토이의 상기 식별부에 대응한 명령어를 인식하고 상기 증강현실영상에 표시된 오브젝트의 선택 또는 코딩 미션에 관련된 명령어를 수신하며, 상기 식별부에 대응한 명령어와 상기 오브젝트에 대응된 명령어 또는 상기 수신된 명령어를 조합하고, 상기 조합된 명령어들이 미리 정해진 행위, 논리, 또는 제어에 대응한다면, 상기 조합된 명령어들을 실행 문장으로 완성하고, 상기 실행 문장을 증강 현실영상으로 구현하는 블록처리부; 및 상기 블록처리부로부터 상기 실행 문장의 처리 결과를 상기 증강현실영상 상에 표시하도록 처리하는 영상처리부;를 포함한다.

상기 복수의 명령어는 모션(motion) 명령어, 이벤트(event) 명령어, 반복(repeat) 명령어, 조건(if) 명령어, 및 표시설정(looks) 명령어를 포함하고, 상기 모션 명령어는 이동(move) 명령어, 점프(jump) 명령어, 방향 전환(turn) 명령어를 포함하고, 상기 이벤트 명령어는 선택(press) 명령어, 터치(touch) 명령어, 동작중(while) 명령어를 포함하고, 상기 조건 명령어는 긍정 조건(if) 명령어, 부정 조건(else) 명령어, 및 종료(end) 명령어를 포함하고, 상기 표시설정 명령어는 변경(change) 명령어 및 설정(set) 명령어를 포함할 수 있다.

상기 증강현실영상은 상기 블록형 스마트토이를 통해 제공되지 않는 사용자 이름, ID, 패스워드, 사용날짜, 및 저장기능을 추가적으로 포함할 수 있다.

상기 블록 처리부는 상기 블록형 스마트 토이의 식별부를 인식하는 블록 인식부; 상기 증강현실영상 상에 표시된 코딩 미션과 관련된 오브젝트나 버튼의 선택을 수신하거나, 사용자에 의해 입력된 명령어를 수신하는 코드 입력부; 상기 식별된 블록형 스마트 토이에 대응하는 명령어와 상기 오브젝트 또는 버튼이 나타내는 또는 상기 사용자에 의해 입력된 명령어를 조합하여 상기 증강현실(AR)을 구현시키는 작동 코드로 변환하는 코드 변환부; 및 상기 코드 변환부로부터 제공된 작동 코드를 증강현실영상으로 구현하는 코드 구현부를 포함할 수 있다.

이상에서 상술한 본 발명인 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템은 다음과 같은 효과가 있다.

먼저, 직육면체의 블록형 스마트토이를 사용함으로써 6개의 면에 각기 다른 식별부를 구성할 수 있으므로 하나의 블록형 스마트토이를 이용하여 다양한 명령어 구현이 가능하다.

또한, 영상인식 통해 최대 3개의 면을 식별할 수 있으므로 하나의 블록형 스마트토이만으로도 하나의 실행문장 완성이 가능하다.

또한, 블록형 스마트토이의 식별부 인식시 인식 순서를 설정함으로써, 배열과 배치에 대한 사고력 배양으로 사용자의 사고인지능력을 향상시킬 수 있다.

또한, 기존 SW교육형 스마트토이의 한계인 물리적 구성 및 콘텐츠의 확장성 문제를 극복하기 위한 피지컬(Physical) 인터페이스인 블록 모듈의 결합을 통해 교육용 프로그래밍 언어(EPL: Educational Programming Language) 저작을 가능하게 하고 그 효과를 증강현실(AR: Augmented Reality)콘텐츠로 구현할 수 있다.

또한, 증강현실영상을 통해 코딩 결과를 바로바로 확인함으로써, 즉각적인 수정이 가능하고 보다 짧은 시간 내에 결과물을 도출할 수 있으므로 사용자의 주의력을 높일 수 있다.

또한, 블록형 스마트토이 내부에 별도의 통신수단을 구비하지 않으므로, 종래에 제기된 문제점들을 해결할 수 있다.

또한, 코딩 결과물을 AR 그래픽을 통해 확인함으로써 고기능 HW장치와 유사한 수준의 직관성을 제공할 수 있으며, 동시에 물리적 장치의 단점인 물리·공간적 한계를 그래픽의 특성을 통해 해결할 수 있다.

도 1은 본 발명의 일 실시예에 따른 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템의 구성도이다.
도 2는 도 1의 교육용 프로그래밍언어 저작 시스템의 구현예를 도시한 도면이다.
도 3은 본 발명에 따른 식별부의 예들을 나타낸 도면이다.
도 4a 및 도 4b는 도 1의 촬영부의 인식 범위를 설명하기 위한 도면이다.
도 5는 본 발명에 따른 블록형 스마트 토이와 배열판을 나타낸 도면이다.
도 6a 및 도 6b는 본 발명에 따라 증강현실영상이 구현된 예를 나타낸 도면이다.
도 7은 본 발명에 따른 추가선택메뉴로 제공되는 일 실시예에 따른 API(application programming interface)를 나타낸 도면이다.
도 8은 본 발명의 실시예에 따른 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 방법의 흐름도이다.

이하, 본 발명의 일부 실시례들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시례를 설명함에 있어, 관련된 공지구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시례에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한, 본 발명의 실시례의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템의 구성도이며, 도 2는 도 1의 교육용 프로그래밍언어 저작 시스템의 구현예를 도시한 도면이다.

도 1 및 도 2를 참조하면, 본 발명인 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템은 블록형 스마트토이(100), 증강현실 마커지(200), 촬영부(300), 볼록코딩부(400), 영상처리부(500) 및 디스플레이부(600)를 포함하며, 배열판(700)을 더 포함할 수 있다.블록형 스마트토이(100)는 정육면체 큐브 형태로 구성하는 것이 바람직하며, 각각의 면에는 명령어에 대응되는 식별부(110)가 구성된다.

블록형 스마트토이(100)는 6개의 면에 각기 다른 식별부(110)를 구성하거나 동일한 식별부(110)를 둘 이상 구성할 수 있으며, 6개의 면 모두 동일한 식별부(110)로 구성할 수도 있다.

증강현실 마커지(200)는 사용자에게는 해결해야 할 문제(미션)와 같은 것으로 설정된 패턴을 포함하는 배경이미지 형태로 표현되며, 문제란 게임의 형태이거나 해결해야 할 스토리의 형태 등으로 구성될 수 있다. 증강현실 마커지(200) 자체를 직접적으로 이용할 수는 없으며, 증강현실 마커지(200)는 후술할 영상처리부(500)를 통해 증강현실(AR: Augmented Reality)영상으로 나타난다. 사용자는 증강현실영상을 보면서 블록형 스마트토이(100)를 이용하여 문제를 해결할 수 있다.

촬영부(300)는 제1촬영부(310)와 제2촬영부(320)를 포함하며, 제1촬영부(310)와 제2촬영부(320)는 각각 적어도 하나의 카메라로 구성될 수 있다. 제1촬영부(310)는 블록형 스마트토이(100)를 촬영하고, 제2촬영부(320)는 증강현실 마커지(200)를 촬영한다. 제1촬영부(310)와 제2촬영부(320)는 하나의 몸체에 하나의 모듈 형태로 구성하거나 각각의 모듈 형태로 구성할 수 있으며, 각각 별도의 몸체에 모듈 형태로 구성할 수도 있다.

촬영부(300)의 제1 촬영부(310)은 예컨대, 태블릿 PC에 장착되어 있는 전면 카메라(310)가 될 수 있고, 촬영부(300)의 제2 촬영부(320)은 예컨대, 태블릿 PC에 장착되어 있는 후면 카메라(320)가 될 수 있다. 촬영부(300)의 제1 촬영부(310)는 스마트 토이(100)를 촬영할 수 있다. 스마트 토이(100)는 육면체의 블록이 될 수 있다. 블록의 마커는 스마트 토이(100)의 식별부(110)가 될 수 있다.

도 3은 본 발명에 따른 식별부의 예들을 나타낸 도면이다.

식별부(110)는 도 3에 도시된 바와 같이, 숫자나 문자와 같은 기호 또는 그에 대응하는 명령어를 의미할 수 있다. 예컨대, 식별부(110)는 숫자나 문자 등과 같이 보이는 그대로의 의미를 나타낼 수도 있다. 식별부(110)는 도 3과 같이 다양한 형태로 나타낼 수 있으며, 도면상에는 숫자블록 마커와 기능블록 마커의 예시적 이미지를 나타낸 것으로서 문자 이외에도 기호나 표식 등 다양한 형태로 표현할 수 있다. 이 경우, 제1 촬영부(310)를 통해 스마트 토이들(100)을 인식할 때, 스마트 토이(100)들의 일부는 제1 촬영부(310)의 인식 범위를 벗어날 수 있다.

도 4a 및 도 4b는 도 1의 촬영부의 인식 범위를 설명하기 위한 도면이다. 도 4a 및 도 4b를 참조하면, 스마트 토이들(100)이 사용자에 의해 배열된 경우 제1 촬영부(310)에 의해 인식 불가한 블록형 스마트 토이(100)이 존재할 수 있다. 또는 제1 촬영부(310)에 의해 인식되지만 왜곡되어 인식되는 블록형 스마트 토이(100)가 존재할 수 있다.

이 경우, 이미 인식된 스마트 토이(100)는 제1 촬영부(310)의 인식 범위에서 제거하거나, 촬영부(300)는 제1 촬영부(310)의 인식 범위를 벗어난 스마트 토이(100)를 인식할 수 있는 보조 수단을 포함할 수 있다.

스마트 토이(100)는 예컨대, 배열판(700)에 배열될 수 있다. 이를 도 5를 참조하여 설명한다.

도 5는 본 발명에 따른 블록형 스마트 토이와 배열판을 나타낸 도면이다.

도 5를 참조하면, 블록형 스마트 토이(100)의 배열된 상태를 영상을 통해 인식하게 되므로, 도 3와 같이 블록형 스마트 토이(100)가 삽입되어 지지될 수 있는 다수의 홈을 갖는 배열판(700)을 사용할 수 있다. 배열판(700)은 바둑판 형상으로 일정간격으로 배열된 홈에 블록형 스마트 토이(100)를 삽입하여 체계적으로 배열할 수 있으므로 영상 인식률을 향상시킬 수 있다. 배열판(700)에 형성된 홈은 블록형 스마트 토이(100)의 형상에 대응된다.

한편, 스마트 토이(100)의 식별부(110)에 대응하는 명령어는해결해야 할 문제, 즉 미션을 수행하기 위한 것으로 하기 [표 1]은 명령어에 대한 정의 및 예시 상태를 일실시례에 의해 나타낸 것이다. 명령어는 적용하고자 하는 환경에 따라 다양하게 표현할 수 있다.

이와 같은 명령어는 식별부(110)와 1;1 매칭시키거나, 복수의 명령어를 하나의 식별부(110)에 매칭시킬수도 있다. 일례로, 식별부(110)가 영문 'M'으로 인식되었을 경우 영문 'M'은 상기 [표 1]의 '(move) + (5)'로 코딩작업을 할 수 있으며, 이 경우 진행방향으로 5단위 이동하라는 의미가 된다. 또한, 동일하게 식별부(110)가 영문 'M'으로 인식되었을 경우 영문 'M'은 상기 [표 1]의 '(move) + (5) + (left)'로 코딩작업을 할 수 있으며, 이 경우 왼쪽으로 5단위 이동하라는 의미가 된다. 이와 같이 하나의 식별부(110)가 하나의 명령어를 의미하거나 복수 개의 조합된 명령어를 의미하도록 구성할 수 있다.

또한, 영상 처리부(500)는 제2촬영부(320)를 통해 증강현실 마커지(200)를 인식하고, 증강현실 마커지(200)에 대응한 증강현실영상을 디스플레이부(600)에 표시할 수 있다. 사용자는 디스플레이부(600)에 표시되는 증강현실영상을 통해 해결해야 할 문제(미션)를 인지할 수 있다. 또한, 영상처리부(500)는 상기 블록 처리부로부터 조합된 명령어들 즉, 하나의 실행문장(실행명령어)의 처리 결과를 상기 증강현실영상 상에 표시하도록 처리한다.

또한, 블록코딩부(400)와 연결되어 블록코딩부(400)의 조합된 명령어들에 따른 실행결과를 상기 증강현실영상에 반영시킨다. 블록코딩부(400)를 통해 생성된 실행문장은 상기 증강현실영상에 추가선택메뉴의 형태로 사용자에게 제공될 수 있다.

블록코딩부(400)는 제1촬영부(310)의 영상을 처리하여 식별부(110) 즉, 블록을 인식할 수 있으며, 사용자로부터 디스플레이부(600)에 표시된 증강현실영상에 대한 소정의 오브젝트나 버튼의 선택을 수신할 수 있다. 블록코딩부(400)는 식별된 블록이 나타내는 코드 또는 명령어와 오브젝트 또는 버튼이 나타내는 코드 또는 명령어를 조합하여, 하나의 실행문장(실행명령어)을 완성한다.

구체적으로, 블록코딩부(400)는 블록 인식부(410), 코드 입력부(420), 코드 변환부(430) 및 코드 구현부(440)를 포함한다.

블록 인식부(410)는 사용자가 블록을 조작하는 행위나 그 행위를 통해 발생하는 블록의 특정한 패턴 등을 인식할 수 있다. 블록 인식부(410)는 제1 촬영부(310)로부터의 영상으로부터 블록 즉, 스마트 토이(100)의 식별부(110)를 인식할 수 있다.이 때, 블록 인식부(410)는 블록형 스마트 토이(100)의 적어도 어느 한 면을 인식할 수 있으며, 최대 3개의 면을 동시에 인식할 수 있다. 복수의 면을 동시에 인식할 경우 기 설정된 순서대로 인식하도록 구성하거나, 동시에 인식할 수 있다. 블록 인식부(410)는 식별된 블록의 패턴 또는 기호에 대응한 코드 또는 명령어를 코드 변환부(430)로 입력할 수 있다.

코드 입력부(420)는 사용자로부터 디스플레이부(600)에 표시된 증강현실영상에 대한 소정의 오브젝트나 버튼의 선택을 수신할 수 있다.

종래와 같이, 스마트 토이(100)을 가지고 코딩이 이루어져야 하는 경우 스마트 토이(100)는 그 활용에 있어서 물리적 한계를 나타낸다. 즉, 스마트 토이(100)는 정해진 개수의 문자 또는 기호를 나타내므로, 그에 대응한 명령어 또는 코드의 개수도 정해져 있다.

코드 입력부(420)는 사용자가 그래픽 유저 인터페이스(GUI)를 이용해 직접 디스플레이부(600)에 표시된 증강현실영상에 표시된 미션과 관련된 오브젝트나 버튼을 선택할 수 있도록 한다. 또는 코드 입력부(420)는 미션과 관련된 코드를 입력할 수 있도록 한다.

그에 따라, 코드 입력부(420)는 디스플레이부(600)에 표시된 증강현실영상에 표시된 미션과 관련된 오브젝트나 버튼의 선택을 수신할 수 있다. 코드 입력부(420)는 선택된 오브젝트 또는 버튼에 대응한 명령어 또는 코드를 코드 변환부(430)로 출력할 수 있다. 또는 코드 입력부(420)는 미션과 관련된 코드 또는 명령어를 수신할 수 있다.

코드 변환부(430)는 식별된 블록에 대응하는 명령어 또는 코드와 오브젝트 또는 버튼이 나타내는 사용자에 의해 입력된 명령어 또는 코드를 조합하고, 코드 구현부(440)에서 증강 현실(AR)을 구현시키는 작동 코드 예컨대, 기계어로 변환한다.

이때, 코드 변환부(430)는 기 설정된 패턴대로 명령어를 조합하여 실행문장을 완성하도록 구성할 수 있다. 또한, 블록형 스마트토이(100)가 복수 개로 구성시 기 설정된 위치 순서대로 블록형 스마트토이(100)를 순차적으로 인식하도록 구성할 수 있다. 예컨대, 블록형 스마트토이(100)의 3개의 면을 인식할 경우 X, Y, Z 면 순서대로 인식하도록 구성하고, 다수의 블록형 스마트토이(100)가 3열 4행으로 배열될 경우 좌측에서 우측 순서로 이후 상부에서 하부 순서로 배열된 블록형 스마트토이(100)를 인식하도록 설정할 수 있다. 따라서, 이러한 설정 순서에 따라 사용자는 블록형 스마트토이(100)를 배열할 수 있다.

한편, 코드 변환부(430)는 코드 입력부(420)를 통해 입력되는 명령어 또는 코드와 블록 인식부(410)을 통해 입력되는 명령어 또는 코드와 같이 코드 입력 방식이 이원화 됐으므로, 블록 인식부(410)을 통해 얻은 데이터와 GUI 즉, 코드 입력부(420)를 통해 입력한 데이터를 정해진 규격의 AR 작동　코드로　변환하는　알고리즘을 포함할 수 있다.

예컨대, 코드 변환부(430)는 어떤 시점에서 사용자의 입력이 끝났다고 판단하여 작동 코드로 변환할 것인가를 판단하는 알고리즘, 또는 어떤 시점에서 AR 구현을 시작하기 위해 코드 구현부(440)에 작동 코드를 전달할 것인가를 판단하는 알고리즘을 포함할 수 있다.

예컨대, 코드 변환부(430)는 블록 인식부(410)을 통해 얻은 코드 또는 명령어와 코드 입력부(420)를 통해 얻은 코드 또는 명령어들의 조합 즉, 실행 문장이 미리 정해진 행위, 논리, 또는 제어에 대응하면, 코드 구현부(440)에 해당 조합에 대한 작동 코드를 전달할 수 있다.

코드 구현부(440)는 코드 변환부(430)로부터 제공된 작동 코드를 증강 현실 영상으로 구현할 수 있다.

한편, 블록형 스마트토이(100)의 배열된 상태를 영상을 통해 인식하게 되므로, 도 5와 같이 블록형 스마트토이(100)가 삽입되어 지지될 수 있는 다수의 홈을 갖는 배열판(700)을 사용할 수 있다. 배열판(700)은 바둑판 형상으로 일정간격으로 배열된 홈에 블록형 스마트토이(100)를 삽입하여 체계적으로 배열할 수 있으므로 영상인식률을 향상시킬 수 있다. 배열판(700)에 형성된 홈은 블록형 스마트토이(100)의 형상에 대응된다.

물론, 블록형 스마트토이(100)를 배열 완성함으로써, 실행문자에 따라 실행된 결과를 상기 증강현실영상으로 통해 확인하도록 구성할 수도 있다. 상기 증강현실영상에는 블록형 스마트토이(100)만으로 제공할 수 없는 서브메뉴들을 예컨대, 사용자 이름, ID, 패스워드, 사용날짜, 저장기능 등을 추가적으로 제공하도록 구성할 수 있다.

디스플레이부(600)는 제1촬영부(310)와 제2촬영부(320)를 통해 촬영된 영상 및 영상처리부(500)에 의한 증강현실영상 중 적어도 어느 하나를 나타낼 수 있으며, 디스플레이부(600)는 적어도 하나의 모니터 등으로 구성될 수 있다.

이상에서 설명한 본 발명인 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템의 사용 상태를 설명하면 다음과 같다.

제2촬영부(320)를 통해 준비된 증강현실 마커지(200)를 촬영하고, 제1촬영부(310)는 배열판(700)을 촬영한다. 사용자는 디스플레이부(600)에 표시되는 증강현실영상을 통해 해결해야 할 문제(미션)를 인지한다.

해결해야 할 문제를 인지한 후에는 준비된 블록형 스마트토이(100)를 배열판(700)의 홈에 배열한다. 또한, 증강현실영상에 표시된 오브젝트 또는 버튼을 입력하여 명령어 또는 코드를 입력할 수 있다. 배열판(700)에 배열된 블록형 스마트토이(100)는 기 설정된 일정시간이 경과 후 다수의 명령어들의 조합에 따라 증강현실영상에 나타난다.

도 6a 및 도 6b는 본 발명에 따라 증강현실영상이 구현된 예를 나타낸 도면이다.

도 6a 및 도 6b에 도시된 바와 같이, 촬영부(300)가 마커지(200)를 촬영하면, 디스플레이부(600) 상에 증강현실영상이 표시된다. 증강현실영상에는 사용자가 GUI를 통해 선택할 수 있는 오브젝트 또는 버튼이 표시될 수 있다. 사용자는 스마트 토이(100)를 통해 코딩을 수행할 수 있다. 또한, 사용자는 제한적인 개수의 스마트 토이(100) 뿐만 아니라, 증강현실영상에 표시된 오브젝트나 버튼 또는 직접 코드를 입력함으로써 코딩을 수행할 수 있다.

다양한 형태로 블록형 스마트토이(100)를 배열한 후 최종적으로 확정되면 사용자는 도 7과 같이 나타난 최종적으로 표시된 명령어들의 조합을 클릭하여 미션을 완수하며, 미션을 완수하기까지의 진행과정은 증강현실영상을 통해 확인할 수 있다. 증강현실영상을 통해 블록형 스마트토이(100)의 배열 조합 등을 수정할 수도 있다.

전술한 바와 같이 구성된 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템에서 교육용 프로그래밍언어 저작 방법의 흐름도를 설명한다.

도 8은 본 발명의 실시예에 따른 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 방법의 흐름도이다.

도 8을 참조하면, 먼저, 프로그래밍언어 저작 시스템은 단계 S110에서 코딩 미션이 선택되는 지를 판단한다. 코딩 미션은 사용자에 의해 선택될 수 있다. 사용자는 디스플레이부(600) 상에 표시된 증강현실영상에서 복수개의 코딩 미션들 중 하나를 선택할 수 있다.

프로그래밍언어 저작 시스템은 하나의 코딩 미션이 선택되면, 단계 S120에서 촬영부(300)를 통해 블록 즉, 스마트 토이(100)를 인식한다. 이어서, 프로그래밍언어 저작 시스템은 단계 S130에서 사용자에 의해 오브젝트 또는 버튼이 선택되는 지를 판단할 수 있다. 오브젝트 또는 버튼은 증강현실영상에서 코딩 미션에 관련될 수 있다.

프로그래밍언어 저작 시스템은 단계 S140에서 코드 변환부(430)는 식별된 블록에 대응하는 명령어 또는 코드와 오브젝트 또는 버튼이 나타내는 또는 사용자에 의해 입력된 명령어 또는 코드를 조합한다. 이어서, 프로그래밍언어 저작 시스템은 단계 S150에서 블록 인식부(410)을 통해 얻은 코드 또는 명령어와 코드 입력부(420)를 통해 얻은 코드 또는 명령어의 조합이 미리 정해진 행위, 논리, 또는 제어에 대응하는 지를 판단한다. 미리 정해진 행위, 논리, 또는 제어는 미션을 수행하기 위한 프로세스들 중 하나일 수 있다.

프로그래밍언어 저작 시스템은 단계 S160에서 해당 조합이 미리 정해진 행위, 논리, 또는 제어에 대응하면, 해당 조합의 명령어들 또는 코드들을 작동 코드로 변환하여 증강현실영상으로 구현한다.

이어서, 프로그래밍언어 저작 시스템은 단계 S170에서 코딩 미션이 완료되었는지를 판단하고, 코딩 미션이 완료되지 않았다면, 단계 S120으로 되돌아 간다.

이러한 방식으로, 본 발명은 블록 인식부 뿐만 아니라 코드 입력부를 통해 코딩 미션을 위한 명령어들 또는 코드들을 입력할 수 있으므로, 블록형 스마트 토이의 물리적 한계를 극복하고, 다양한 코딩 미션들을 사용자에게 제공할 수 있는 효과가 있다.

한편, 이와 같은 블록형 스마트 토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템을 초급, 중급 및 고급으로 구성하고 난이도를 조정함으로써, 영유아서부터 성인에 이르기까지 연령별로 이용하도록 구성할 수 있으며, 영유아의 경우 학습인지능력을 향상시키고 사고력을 배양시킬 수 있다.

이상에서, 본 발명의 실시례를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시례에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 게시된 실시례들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시례에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 블록형 스마트토이 110 : 식별부
200 : 증강현실 마커지
300 : 촬영부 310 : 제1촬영부
320 : 제2촬영부
400 : 블록코딩부
500 : 영상처리부
600 : 디스플레이부
700 : 배열판

Claims

직육면체의 블록 형태를 가지며, 상기 직육면체의 각 면마다 하나 또는 복수의 명령어에 대응되는 식별부가 구비된 복수의 블록형 스마트토이;
상기 복수의 블록형 스마트토이가 삽입되어 지지될 수 있는 다수의 홈을 갖는 배열판;
상기 블록형 스마트토이를 촬영하는 제1촬영부와 증강현실 마커지를 촬영하는 제2촬영부를 포함하는 촬영부;
상기 증강현실 마커지에 대응한 증강현실영상을 표시하는 디스플레이부;
상기 제1촬영부의 영상으로부터 상기 블록형 스마트 토이를 촬영하며 상기 블록형 스마트 토이의 상기 식별부에 대응한 명령어를 인식하고 상기 증강현실영상에 표시된 오브젝트의 선택 또는 코딩 미션에 관련된 명령어를 수신하며, 상기 식별부에 대응한 명령어와 상기 오브젝트에 대응된 명령어 또는 상기 수신된 명령어를 조합하고, 상기 조합된 명령어들이 미리 정해진 행위, 논리, 또는 제어에 대응한다면, 상기 조합된 명령어들을 실행 문장으로 완성하고, 상기 실행 문장을 증강 현실영상으로 구현하는 블록처리부; 및
상기 블록처리부로부터 상기 실행 문장의 처리 결과를 상기 증강현실영상 상에 표시하도록 처리하는 영상처리부;를 포함하는 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템.
제1항에 있어서,
상기 복수의 명령어는 모션(motion) 명령어, 이벤트(event) 명령어, 반복(repeat) 명령어, 조건(if) 명령어, 및 표시설정(looks) 명령어를 포함하고,
상기 모션 명령어는 이동(move) 명령어, 점프(jump) 명령어, 방향 전환(turn) 명령어를 포함하고,
상기 이벤트 명령어는 선택(press) 명령어, 터치(touch) 명령어, 동작중(while) 명령어를 포함하고,
상기 조건 명령어는 긍정 조건(if) 명령어, 부정 조건(else) 명령어, 및 종료(end) 명령어를 포함하고,
상기 표시설정 명령어는 변경(change) 명령어 및 설정(set) 명령어를 포함하며,
상기 증강현실영상은 상기 블록형 스마트토이를 통해 제공되지 않는 사용자 이름, ID, 패스워드, 사용날짜, 및 저장기능을 추가적으로 포함하는, 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템.
제1항에 있어서,
상기 블록 처리부는
상기 블록형 스마트 토이의 식별부를 인식하는 블록 인식부;
상기 증강현실영상 상에 표시된 코딩 미션과 관련된 오브젝트나 버튼의 선택을 수신하거나, 사용자에 의해 입력된 명령어를 수신하는 코드 입력부;
상기 식별된 블록형 스마트 토이에 대응하는 명령어와 상기 오브젝트 또는 버튼이 나타내는 또는 상기 사용자에 의해 입력된 명령어를 조합하여 상기 증강현실(AR)을 구현시키는 작동 코드로 변환하는 코드 변환부; 및
상기 코드 변환부로부터 제공된 작동 코드를 증강현실영상으로 구현하는 코드 구현부를 포함하는 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템.