KR101985367B1 - 증강현실 기반의 교육용 게임 장치 및 이의 동작 방법 - Google Patents

Abstract

본 발명은 증강현실 기반의 교육용 게임 장치 및 방법에 관한 것이다.
본 발명은 퍼즐블록을 촬영하는 카메라부를 구비한 이동단말기와, 상기 이동단말기를 소정의 각도로 거치하고, 상기 퍼즐블록을 바닥면에 배치하는 거치장치와, 상기 거치장치의 상단에 배치되고, 상기 이동단말기의 카메라부가 상기 퍼즐블록을 촬영가능하도록 각도를 조정하는 반사부재를 포함하는 카메라 어댑터를 포함한다. 사용자가 직접 물리적으로 제어하는 퍼즐블록에 따라 이동단말기의 게임 애플리케이션을 동작함으로써 현존감(presence)과 몰입(flow)을 높여 학습효과 극대화하는 효과가 있다.

Description

증강현실 기반의 교육용 게임 장치 및 이의 동작 방법{Educational Game Device Based on Augmented Reality And Operating Method}

본 발명은 증강현실 기반의 교육용 게임 장치 및 방법에 관한 것으로, 특히 증강현실기술과 영상인식기술을 활용하여 유아를 대상으로 현존감과 몰입을 높여 학습효과를 증대시키는 증강현실 기반의 교육용 게임 장치 및 게임 장치의 동작 방법에 관한 것이다.

최근 인공지능 기술의 발달에 따라 소프트웨어 조기 교육에 대한 니즈가 높아지면서 아동 코딩 교육에 대한 관심이 증가되고 있다. 유아 코딩 교육은 주로 스크래치(scratch)를 활용하는 것이 일반적이나 키보드와 마우스를 입력장치로 사용하여 유아가 조작하기 어려운 점, 상기 입력장치만으로는 오감체험이 어려운 문제가 있어 증강현실 기술을 활용하여 교육 효과를 증대시키는 코딩교육교구가 요청되고 있다. 증강현실의 교육적 활용은 학습장면에 대한 맥락인식(context-awareness)의 증대와 부가적인 정보를 추가로 제공함으로써 관찰의 실제성을 높이고 학습 활동을 촉진시킨다는 장점이 있다.

한편, 증강현실을 이용한 아동용 코딩교육교구는 빛의 반사 및 불균일한 조명에 따른 객체 인식이 부정확한 문제가 있다. 종래기술로는 공개특허 제10-2010-0020051호(명칭:증강현실 기술을 이용한 교육용 보드게임 시스템)가 있으나, 객체에 특정 패턴을 부착하고 이를 인식하는 기술을 개시하고 있을 뿐이다.

본 발명이 해결하고자 하는 과제는 상기의 문제점을 해결하기 위해 안출된 것으로 퍼즐블록을 촬영하는 카메라부를 구비한 이동단말기와, 상기 이동단말기를 소정의 각도로 거치하고, 상기 퍼즐블록을 바닥면에 배치하는 거치장치와, 상기 거치장치의 상단에 배치되고, 상기 이동단말기의 카메라부가 상기 퍼즐블록을 촬영가능하도록 각도를 조정하는 반사부재를 포함하는 카메라 어댑터를 포함하는 증강현실 기반의 코딩교육용 게임 장치 및 동작 방법을 제공하는 것이다.

상기한 목적을 달성하기 위한 본 발명은 퍼즐블록을 촬영하는 카메라부를 구비한 이동단말기와, 상기 이동단말기를 소정의 각도로 거치하고, 상기 퍼즐블록을 바닥면에 배치하는 거치장치와, 상기 거치장치의 상단에 배치되고, 상기 이동단말기의 카메라부가 상기 퍼즐블록을 촬영가능하도록 각도를 조정하는 반사부재를 포함하는 카메라 어댑터를 포함한다.

위와 같은 과제해결수단을 통하여 본 발명은 사용자가 직접 물리적으로 제어하는 퍼즐블록에 따라 이동단말기의 게임 애플리케이션을 동작함으로써 현존감(presence)과 몰입(flow)을 높여 학습효과 극대화하는 효과가 있다.

또한, 촬영된 영상을 전처리하고 블록을 인식하는 알고리즘을 통해 카메라 캘리브레이션 단계에서 거리와 각도 자동 보정이 가능하고, 주변 조명에 강인한 물체 인식 전처리 과정에서 주변광에 따라 색이 영향을 받는 정도를 자동으로 보정하여 인식률이 향상되는 효과가 있다.

도 1은 본 발명의 일실시예에 따른 교육용 게임장치를 나타내는 사시도이다.
도 2와 도 3은 본 발명의 일실시예에 따른 거치장치를 나타내는 사시도와 분해도이다.
도 4는 본 발명의 일실시예에 따른 교육용 게임장치의 동작방법을 설명하는 순서도이다.
도 5는 본 발명의 다른 실시예에 따른 교육용 게임장치의 동작방법을 설명하는 순서도이다.
도 6은 본 발명의 일실시예에 따른 이동단말기를 나타내는 구성도이다.
도 7 내지 도 10은 본 발명의 일실시예에 따른 교육용 게임장치의 동작방법을 설명하는 순서도이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.

도 1은 본 발명의 일실시예에 따른 교육용 게임장치를 나타내는 사시도이다.

도 1을 참조하면, 본 발명의 교육용 게임장치는 이동단말기(300)를 소정의 각도로 거치하고, 퍼즐블록(200)을 바닥면에 배치하는 거치장치와, 퍼즐블록(200)을 촬영하는 카메라부를 구비한 이동단말기(300)와, 상기 거치장치의 상단에 배치되고, 이동단말기(300)의 카메라부가 상기 퍼즐블록을 촬영가능하도록 각도를 조정하는 반사부재를 포함하는 카메라 어댑터(140)를 포함한다. 상기 반사부재는 광각렌즈 또는 반사거울일 수 있으나 이에 대해 한정하는 것은 아니다.

퍼즐블록(200)은 다양한 모양의 블록들의 집합으로 액션블록, 방향블록, 숫자블록, 실행블록을 포함한다. 액션블록은 퍼즐블록의 첫번째 블록으로 행동을 결정하며, 예컨대 걷기(walk), 점프(jump), 파괴(destroy) 블록이 있다. 방향블록은 퍼즐블록의 두번째 블록으로 행동의 방향을 결정하며,예컨대 좌(left), 우(right), 위(up), 아래(down) 블록이 있다. 숫자블록은 퍼즐블록의 세번째 블록으로 행동을 몇번 반복할지를 결정하고 기본값은 '1'이다. 실행블록은 실행여부를 판단하기 위한 블록으로 실행블록의 중앙부에 실행 버튼을 사용자가 누르면 이를 인식하여 동작할 수 있다.

본 발명은 사용자가 다양한 조합의 퍼즐블록을 배치하면, 이동단말기(300)의 카메라부가 상기 퍼즐블록을 촬영하여 인식하고, 이동단말기(300)내에서 동작하는 게임 애플리케이션을 인식된 실행값에 따라 동작하도록 하는 증강현실을 활용한 교육용 게임으로 현존감과 몰입력을 높여 학습효과를 증대하는 효과가 있다.

도 2는 본 발명의 일실시예에 따른 거치장치를 나타내는 사시도이고, 도 3은 본 발명의 일실시예에 따른 지지장치의 각 구성을 나타내는 분해도이다.

도 2와 도 3을 참조하면, 거치장치는 바닥면에 상기 퍼즐블록을 배치하고, 상기 이동단말기가 미끄러지지 않도록 미끄럼방지부를 포함하는 받침부(110)와, 상기 이동단말기가 거치되고, 상기 이동단말기의 상단에 상기 카메라 어댑터가 배치되는 거치부(120)와, 상기 거치부를 지지하는 지지부(130)로 구성된다. 상기 거치부와 상기 받침부는 소정의 각도를 유지하도록 축회동이 가능한 힌지결합되고, 상기 거치부와 상기 지지부는 소정의 각도를 유지하도록 축회동이 가능한 힌지결합되어 연결된다.

도 4는 본 발명의 일실시예에 따른 교육용 게임장치의 동작방법을 설명하는 순서도이다.

도 4를 참조하면, 이동단말기(300)의 카메라부가 바닥면에 배치된 블록을 촬영한다(S410). 이후에, 카메라 어댑터에 의해 객체가 좌우반전된 영상이 촬영되므로 촬영된 영상을 좌우반전한다(S420). 좌우반전한 영상을 2D 평면 변환을 수행하고(S430), 이후에 영상 내 퍼즐블록 전체의 윤곽선을 검출한다(S440). 이후에 영상을 회전변환하고(S450), 영상 내의 다수개의 블록들을 각각 분할하고(S460), 각각의 블록을 인식한다(S470).

도 5는 본 발명의 다른 실시예에 따른 교육용 게임장치의 동작방법을 설명하는 순서도이다.

도 5를 참조하면, 이동단말기(300)의 카메라부가 영상을 촬영하고(S510), 영상내에서 일정 기준값 이상의 움직임이 있는지 판단한다(S520). 일정 기준값 이상의 움직임이 감지되면 프로세스를 종료하고, 움직임이 감지되지 않으면 퍼즐블록 중 실행 블록을 검출한다(S530). 실행 블록의 버튼 모션을 인식하고, 이후에 도 4의 S420 내지 S470의 단계를 수행한다.

도 6은 본 발명의 일실시예에 따른 이동단말기를 나타내는 구성도이다. 도 6을 참조하면, 이동단말기(300)는 입력부(310), 카메라부(320), 디스플레이부(330), 제어부(340), 통신부(350), 인식부(360), 영상전처리부(370)로 구성된다. 본 발명의 명세서에서의 이동단말기(100)는 컴퓨팅 장치로서, 스마트폰, 태블릿PC처럼 운영체제 소프트웨어와 다양한 애플리케이션 소프트웨어에 의해 정해진 프로세서를 실행할 수 있고, 휴대가 용이하여 이동중에도 쉽게 활용할 수 있는 모바일 컴퓨팅 디바이스이나 이에 대해 한정하는 것은 아니다.

입력부(310)는 입력수단에 의해 실행되는 입력 이벤트를 수신한다. 입력부(310)는 터치스크린일 수 있고, 터치 이벤트를 제어부(340)에 전달한다. 입력부(310)는 사용자가 이동단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 입력부(310)는 이동단말기(300)의 전후면 또는 측면에 위치하는 버튼, 터치 센서(정압/정전)로 구성될 수 있다.

카메라부(320)는 영상을 촬영하며, 촬영된 광 신호를 전기적 신호로 변환하는 카메라 센서와 상기 카메라 센서로부터 촬영되는 아날로그 영상신호를 디지털 데이터로 변환하는 신호처리부를 구비한다. 카메라부(320)는 카메라 어댑터에 의해 기설정된 특정영역에 배치된 블록퍼즐을 촬영할 수 있다.

디스플레이부(330)는 교육용 게임 애플리케이션을 로딩하고 이동단말기가 인식한 블록퍼즐의 결과값에 기초하여 게임 애플리케이션을 표시할 수 있다.

제어부(340)는 애플리케이션 소프트웨어의 실행에 관련한 프로세스의 처리를 제어하며, 이동단말기(300)의 각 구성의 동작을 제어한다. 제어부(340)는 애플리케이션 소프트웨어 뿐 아니라 월드 와이드 웹을 통해 웹 브라우저를 이용하여 실행에 관련한 프로세스의 처리를 제어할 수 있다.

통신부(350)는 외부 장치와 데이터를 주고 받는 역할을 하는 통신 모듈이다.

영상전처리부(370)는 상기 카메라부로부터 촬영된 영상을 좌우 반전하고, 영상을 2D 평면(2-dimension perspective) 변환하고, 영상 내 블록 전체의 윤곽선을 검출한 이후에 영상을 회전 변환하고 윤곽선 최대 영역을 추출한다.

인식부(360)는 영상전처리부(370)에서 전처리된 영상 내의 다수개의 블록들을 각각 분할하고, 각각의 블록들을 인식한다. 인식 결과를 json형식으로 반환할 수 있고, 상기 json은 아래 표 1과 같은 자료형식을 가지고 있다.

필드	타입	예
execute	bool	실행 블록이 눌러졌는지 확인
puzzleLines	int	퍼즐의 총 라인 수
puzzle	array	인식된 퍼즐블록
action	string	행동을 결정
direction	string	행동의 방향
number	int	행동을 몇번 반복할지 결정

추가적으로, 알고리즘 설계도에 따라 영상을 입력받고 인식을 실제로 시작하기 전, 초기에 설정해줘야 하는 값이 있으며, 영상 변환을 위해 사용하는 좌표 값을 미리 입력해줘야만 한다. 모눈종이를 통한 좌표 캘리브레이션으로 이동단말기(300)로 모눈종이를 사진으로 찍은 후 인식할 범위의 좌표 값을 구하는 과정이 필요하다. 구해진 좌표 값을 프로그램에 입력해 설정을 하며, 이 캘리브레이션은 이동단말기의 모델이 바뀌거나 거치장치 또는 카메라어댑처의 종류가 바뀔 때마다 필요하다.

도 7 내지 도 10은 본 발명의 일실시예에 따른 교육용 게임장치의 동작방법을 설명하는 순서도이다.

도 7 내지 도 10을 참조하면, 도 7(a)는 이동단말기로부터 촬영된 영상이고, 도 7(b)는 도 7(a)의 촬영된 영상을 좌우반전한 영상이다. 도 7(c)는 캘리브레이션한 좌표값을 이용해 2D 평면 변환(2-dimension perspective transform)을 한다. 이러한 변환을 통해 특정 각도에서 촬영한 영상을 평면도처럼 변환할 수 있다. 도 8(a)는 상기 변환 후 블록퍼즐이 한 줄인 경우 블록퍼즐 전체를 감싸는 최소면적 사각형을 구한다. 블록퍼즐이 두 줄 이상인 경우 HSV 채널 값의 범위를 기준으로 숫자 블록에 해당하는 주황색을 검출하고 그를 감싸는 최소면적 사각형을 구한다.

[식 1]

도 8(b)는 상기 최소면적 사각형을 기준으로 가로, 세로 중 긴 변이 X축과 수평이 되도록 회전변환을 시켜 항상 일정한 블록퍼즐을 얻는다. 도 8(c)는 이렇게 변환된 영상에서 퍼즐 전체를 감싸는 사각형을 구한다. 그리고 그 사각형에 해당하는 관심영역을 구한다. 상기 관심영역은 영상인식에 사용된다.

도 9(a)는 관심영역에 대해서 허프변환(hough transform)을 수행하여 선들을 구한다. 각 선의 두 개의 끝 좌표 값을 가지고 X축을 기준으로 각도를 구한다. 이 각도를 기준으로 0에 가까운 선에 해당하는 수평선을 구할 수 있다.

도 9(b)는 영상의 민감도에 따라 검출되는 수평선의 개수가 많아지는 경우가 있다. 이 경우, 수평선들의 집합이 정규분포를 따른다고 가정한 후, 표준편차가 3이 넘지 않는 수평선 집합의 평균을 기준으로 수평선을 구한다. 그리고 수평선을 기준으로 퍼즐을 나눈다.

도 10(a)는 수평선을 기준으로 나눠진 퍼즐을 미리 설정된 값을 기준으로 블록 단위로 나눠준다. 두 번째와 세 번째 블록에 대해 에지를 구한 후 정확하게 인식할 영역을 설정한다. 첫 번째 블록인 액션 블록에 대해서는 RGB 색상을 기준으로 인식한다. 예컨대 액션 블록은 각각 빨간색, 파란색, 노란색, 총 3가지 색상을 기준으로 나눠져있다. R값이 가장 크고 G와 B의 값 차이가 일정 기준 이하일 때 빨간색 블록이라고 인식한다. 파란색의 경우 B값이 가장 클 때 인식한다. 마지막으로 노란색의 경우 R값이 가장 크고 G와 B값의 차이가 일정 수준 이상일 때 인식한다. 두 번째와 세 번째 블록의 경우, 추출된 이진화 영상과 미리 저장된 이진화 영상을 XOR 논리연산을 통해 둘 간의 상호 유사도 비율을 구하는 방법으로 인식한다. 이렇게 세 블록에 대한 인식을 성공적으로 수행하면 결과 값이 json형식으로 반환된다.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100; 거치장치 110; 받침부
120; 거치부; 130; 지지부
140; 카메라 어댑터 150; 고정부
200; 블록퍼즐 300; 이동단말기
310; 입력부 320; 카메라부
330; 디스플레이부 340; 제어부
350; 통신부 360; 인식부
370; 영상전처리부

Claims (6)

1. (a) 이동단말기의 카메라부가 바닥면에 배치된 퍼즐블록을 촬영하는 단계;
   (b) 이동단말기의 영상전처리부가 촬영된 영상을 좌우 반전하고, 영상을 2D 평면(2-dimension perspective) 변환하고, 영상 내 퍼즐블록 전체의 윤곽선을 검출한 이후에 영상을 회전 변환하고 윤곽선 최대 영역을 추출하는 단계;
   (c) 이동단말기의 인식부가 영상 내의 퍼즐블록 중 다수개의 블록들을 각각 분할하고, 각각의 블록들을 인식하는 단계를 포함하고,
   상기 (b) 단계에서, 상기 퍼즐블록이 한 줄인 경우 퍼즐블록 전체를 감싸는 최소면적 사각형을 구하고, 상기 퍼즐블록이 두 줄 이상인 경우 HSV 채널 값의 범위를 기준으로 숫자 블록을 검출하고 그를 감싸는 최소면적 사각형을 구하며, 상기 최소면적 사각형을 기준으로 가로 세로 중 긴 변이 X축과 수평이 되도록 회전변환을 시켜 일정한 퍼즐블록을 얻어 퍼즐 전체를 감싸는 사각형을 구해 윤곽선을 검출하는 것을 특징으로 하는 증강현실 기반의 교육용 게임 방법.
2. 제1항에 있어서,
   상기 (c) 단계에 있어서, 다수개의 블록들은 액션 블록, 방향 블록, 숫자 블록, 실행 블록을 포함하고, 상기 액션 블록은 RGB 색상을 기준으로 인식하고,
   상기 방향 블록과 상기 숫자 블록은 추출화된 이진화 영상과 미리 저장된 이진화 영상을 XOR 논리 연산을 통해 상호 유사도 비율을 구하는 방법으로 인식하는 것을 특징으로 하는 증강현실 기반의 교육용 게임 방법.
3. 제2항에 있어서,
   상기 액션 블록은 퍼즐블록의 첫번째 블록으로 행동을 결정하며, 상기 방향 블록은 퍼즐블록의 두번째 블록으로 행동의 방향을 결정하며, 상기 숫자 블록은 퍼즐블록의 세번째 블록으로 행동을 몇 번 반복할 지를 결정하며, 상기 실행블록은 실행여부를 판단하기 위한 블록인 것을 특징으로 하는 증강현실 기반의 교육용 게임 방법.
4. 삭제
5. 삭제
6. 삭제

Images