KR20220105354A

KR20220105354A - Ar 교육 콘텐츠 체험 서비스 제공 방법 및 시스템

Info

Publication number: KR20220105354A
Application number: KR1020210007941A
Authority: KR
Inventors: 나재원; 최재욱; 김혜령
Original assignee: 나재원
Priority date: 2021-01-20
Filing date: 2021-01-20
Publication date: 2022-07-27

Abstract

본 발명은, 사용자 단말에서 AR 교육 콘텐츠 체험 서비스 제공 서버와 연동하여 상기 사용자 단말에서 실행되는 AR 교육 콘텐츠 체험 서비스 제공 방법에 있어서, 상기 AR 교육 콘텐츠 체험 서비스 제공 서버로부터, 사용자에게 상기 AR 교육 콘텐츠 체험 서비스를 제공하기 위한 어플리케이션을 상기 사용자 단말에 다운로딩(downloading) 및 설치하고, 실행하는 어플리케이션 실행 단계(S21); 상기 사용자 단말이, 상기 AR 교육 콘텐츠 체험 서비스 제공 서버로부터 AR 교육 콘텐츠 체험 서비스 제공 데이터(즉, 에셋 데이터)를 다운로딩(downloading)하는 AR 교육 콘텐츠 체험 서비스 제공 데이터 다운로딩 단계(S22); 수신된 상기 AR 교육 콘텐츠 체험 서비스 제공 데이터 중 실행 대상의(원하는) 가상 공간 테마가 상기 사용자에 의해 선택되는 가상 공간 테마 선택 단계(S23); 상기 사용자 단말(구체적으로, 사용자 단말의 출력부)을 통해, 상기 사용자에게, 상기 가상 공간 테마에 대한 콘텐츠 정보를 제공하는 콘텐츠 정보 제공 단계(S24); 상기 사용자 단말 내에 구비된 카메라(100)가 동작하여 현실 세계를 촬영하는 카메라 동작 단계(S25); 상기 카메라(100)를 통해 획득한 영상 내의 피사체에 대한 특징점을 기초로 하여, 현실 세계의 실내 공간의 평면(바닥면 또는 벽면)을 인식하는 실내 공간의 평면 인식 단계(S26); 상기 인식된 현실 세계의 실내 공간의 평면에, 가상 공간 객체가 생성될 위치를 특정(결정)하는 가상 공간 객체의 생성 위치 특정 단계(S27); 상기 특정된 위치에, 상기 가상 공간을 구성하는 객체들이 생성되는 가상 공간 객체 생성 단계(S28); 및 상기 카메라(100)가 구비되어 있는 상기 사용자 단말을 휴대한 상기 사용자가, 상기 가상 공간 내로 진입하고, 사용자가 선택한 가상 공간 테마가 실현되는 가상 공간 진입 및 가상 공간 테마 실현 단계(S29);를 포함함을 특징으로 한다.

Description

AR 교육 콘텐츠 체험 서비스 제공 방법 및 시스템{Method and system for providing educational contents experience service based on Augmented Reality}

본 발명은 증강 현실(Augmented Reality, AR) 기술에 관한 것으로, 특히 증강 현실 기술을 활용한 가상 공간(Virtual Space)과 유아교육 콘텐츠를 접목한 AR 교육 콘텐츠 체험 서비스 제공 방법 및 시스템에 관한 것이다.

2019년도에 들어, COVID-19 바이러스(virus)로 인한 펜데믹(세계적 대유행) 현상이 벌어지면서 모든 야외 활동이 제한되었다. 이에 따라 비대면을 일컫는 '언텍트(Untact)'에 온라인을 통한 외부와의 '연결(On)'을 더한 개념으로, 온텍트(Ontact) 활동을 지향하고 있다.

하지만 이로 인해, 야외 활동을 제한 받는 영, 유아 아동들은 신체적, 교육적, 정서적으로 발달해야 하는 중요한 시기를 놓치게 된다. 비록, 아동들에게 교육적인 콘텐츠를 제공하는 수 많은 어플리케이션이 존재하지만, 야외 활동을 충족시키고, 색다른 체험과 경험을 제공하기에는 턱없이 부족하다.

따라서 에듀테크(Edutech)의 한 분야인 증강 현실을 이용하여 직관적이고 몰입도 높은 교육 콘텐츠를 제공하는 연구를 진행하였다. 이에 더하여 아동들에게 신비로운 체험의 기회와 다양한 발달특성을 향상시키기 위하여 가상 공간(virtual space)에서 교육 콘텐츠를 제공하는 방법을 생각하게 되었다.

대한민국 공개특허 제10-2018-0010086호(2018.01.30.자 공개) 대한민국 공개특허 제10-2020-0102802호(2020.09.01.자 공개) 대한민국 등록특허 제10-1797867호(2017.11.08.자 등록)

본 발명은 상기와 같은 문제점을 해결하기 위하여 창출된 것으로, 본 발명의 주된 목적은, 본 발명의 목적은 증강 현실을 기반으로 현실 세계(real world)에 가상 공간(virtual space)을 생성한 후, 가상 공간에서 놀이 및 교육 콘텐츠를 제공, 이를 통해 유아의 발달특성 향상시키는 AR 교육 콘텐츠 체험 서비스 제공 방법 및 시스템을 제공하는 데 있다.

상기와 같은 목적을 이루기 위해 본 발명은, 사용자 단말에서 AR 교육 콘텐츠 체험 서비스 제공 서버와 연동하여 상기 사용자 단말에서 실행되는 AR 교육 콘텐츠 체험 서비스 제공 방법에 있어서, 상기 AR 교육 콘텐츠 체험 서비스 제공 서버로부터, 사용자에게 상기 AR 교육 콘텐츠 체험 서비스를 제공하기 위한 어플리케이션을 상기 사용자 단말에 다운로딩(downloading) 및 설치하고, 상기 어플리케이션을 실행하는 어플리케이션 실행 단계(S21); 상기 사용자 단말이, 상기 AR 교육 콘텐츠 체험 서비스 제공 서버로부터 AR 교육 콘텐츠 체험 서비스 제공 데이터(즉, 에셋 데이터)를 다운로딩(downloading)하는 AR 교육 콘텐츠 체험 서비스 제공 데이터 다운로딩 단계(S22); 수신된 상기 AR 교육 콘텐츠 체험 서비스 제공 데이터 중 실행 대상의(원하는) 가상 공간 테마가 상기 사용자에 의해 선택되는 가상 공간 테마 선택 단계(S23); 상기 사용자 단말(구체적으로, 사용자 단말의 출력부)을 통해, 상기 사용자에게, 상기 가상 공간 테마에 대한 콘텐츠 정보를 제공하는 콘텐츠 정보 제공 단계(S24); 상기 사용자 단말 내에 구비된 카메라(100)가 동작하여 현실 세계를 촬영하는 카메라 동작 단계(S25); 상기 카메라(100)를 통해 획득한 영상 내의 피사체에 대한 특징점을 기초로 하여, 현실 세계의 실내 공간의 평면(바닥면 또는 벽면)을 인식하는 실내 공간의 평면 인식 단계(S26); 상기 인식된 현실 세계의 실내 공간의 평면에, 가상 공간 객체가 생성될 위치를 특정(결정)하는 가상 공간 객체의 생성 위치 특정 단계(S27); 상기 특정된 위치에, 상기 가상 공간을 구성하는 객체들이 생성되는 가상 공간 객체 생성 단계(S28); 및 상기 카메라(100)가 구비되어 있는 상기 사용자 단말을 휴대한 상기 사용자가, 상기 가상 공간 내로 진입하고, 사용자가 선택한 가상 공간 테마가 실현되는 가상 공간 진입 및 가상 공간 테마 실현 단계(S29);를 포함함을 특징으로 한다.

또한, 본 발명에 따르면, 상기 가상 공간 객체 생성 단계(S28)에서의 가상 공간에 구성되는 객체들에는, 상기 가상 공간으로 진입하기 위한 가상 공간 진입문 객체(311)와, 상기 가상 공간 진입문 객체(311)를 제외한 가상 공간 내부 객체(312)로 이루어지며, 상기 특정된 위치에, 상기 가상 공간을 구성하는 객체들이 생성될 때, 상기 가상 공간 내에 상기 객체들 중 가상 공간 진입문 객체(311)만 가시화 상태가 되는 것을 특징으로 한다.

또한, 본 발명에 따르면, 상기 가상 공간 진입문 객체(311)의 전방에는 상기 카메라(100)와 연동되는 가상 카메라 객체(100')가 더 생성되고, 상기 가상 공간 진입 및 가상 공간 테마 실현 단계(S29)에서는, 상기 카메라(100)가 구비된 사용자 단말(10)을 휴대한 사용자가 현실 세계에서 이동을 하면, 상기 카메라(100)와 연동된 가상 카메라 객체(100')도, 상기 사용자가 이동한 위치와 방향으로 동일하게 이동하다가 가상 공간 진입문 객체(311)와 부딪혀 충돌하게 됨에 따라 상기 가상 공간 내에 생성된 모든 객체(311)(312)가 가시화되는 것을 특징으로 한다.

또한, 본 발명에 따르면, 상기 실내 공간의 평면 인식 단계(S26)는, 상기 카메라(100)를 통해, 상기 현실 세계의 실내 공간의 바닥면 또는 벽면을 촬영하는 촬영 단계; 및 상기 촬영된 영상을 판독하여, 상기 실내 공간의 바닥면 또는 벽면이 평평한 지의 여부를 판단하는 평면 여부 판단 단계;를 포함하고, 상기 실내 공간의 바닥면 또는 벽면이 평평하면, 상기 가상 공간 객체의 생성 위치 특정 단계(S27)를 수행하며, 상기 실내 공간의 바닥면 또는 벽면이 평평하지 않으면, 상기 촬영 단계로 되돌아가는 것을 특징으로 한다.

또한, 본 발명에 따르면, 상기 가상 공간 객체의 생성 위치 특정 단계(S27)는, 상기 실내 공간의 평면 인식 단계(S26)에서, 상기 실내 공간의 바닥면 또는 벽면이 평평했을 때, 상기 실내 공간의 바닥면 또는 벽면을 촬영하여 얻어진 영상의 중앙에 가상의 제1 표시기 객체(321)가 표시되는 단계; 상기 제1 표시기 객체(321)를 상기 영상 내의 상측에 위치시킴으로써 상기 제1 표시기 객체(321) 위에, 가상의 제2 표시기 객체(322)가 표시되는 단계; 및 상기 영상의 소정 부위를 사용자에 의해 터치함에 따라 상기 제1,2 표시기 객체(321)(322)가 위치하는 부분에, 상기 가상 공간 진입문 객체(311)가 생성되는 단계;를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따르면, 상기 가상 공간 진입 및 가상 공간 테마 실현 단계(S29)에서는, 상기 단말 사용자의 보행을 통해 상기 사용자가 선택한 가상 공간 테마가 실현되어 사용자가 상기 가상 공간 테마를 체험하게 되며, 사용자의 생활 공간(이동 공간)의 협소에 따른 상기 체험에 제약이 있을 경우에는, 상기 사용자 단말에 구비된 버튼을 이용하는 것을 특징으로 한다.

또한, 본 발명에 따르면, 상기 사용자 단말에 구비된 버튼은, 상기 가상 공간 객체의 크기를 조절하는 가상 공간 크기 조절 버튼과, 상기 가상 공간 내에서의 이동시, 사용자 보행을 통하지 않고 이동하기 위한 이동 버튼을 포함하는 것을 특징으로 한다.

또한, 본 발명에 따르면, 상기 콘텐츠 정보 제공 단계(S24)에서, 상기 사용자에게 상기 가상 공간 테마에 대한 콘텐츠 정보의 제공이 완료되면, 상기 콘텐츠 정보의 제공이 완료됨과 동시에, 상기 사용자 단말 내에 구비된 카메라(100)가 동작하는 것을 특징으로 한다.

또한, 본 발명에 따르면, 상기 사용자 단말(10) 또는 상기 카메라(100) 내에는 자이로 센서, 가속도 센서 및 3D 깊이 센서가 구비되고, 상기 자이로 센서는 상기 사용자 단말(10)의 기울임 정도나 회전 방향과 회전 속도를 측정하고, 상기 가속도 센서는 상기 사용자 단말(10)이 이동함에 따라, 상기 사용자 단말(10)의 움직임을 감지하고 상기 사용자 단말(10)의 움직이는 속도를 측정하며, 상기 3D 깊이 센서는 상기 카메라(100)에 의해 촬영된 영상 내의 피사체들에 대한 특징점(일례로서, 피사체의 꼭지점이나 경계선 등)을 추출하며, 이 추출한 특징점을 포함하여 영상의 모든 픽셀에 대한 3차원 좌표를 획득하는 것을 특징으로 한다.

또한, 본 발명에 따르면, 상기 현실 세계에서의 카메라(100)와 상기 제1 표시기 객체(321)간 거리가 1.6m를 초과하여 이격시킴으로써 상기 현실 세계에서의 바닥면 또는 벽면에 제2 표시기 객체(322)가 생성되는 것을 특징으로 한다.

또한, 본 발명에 따르면, 증강 현실을 기반으로 현실 세계에 생성된 가상 공간 속에서 사용자에게 교육 콘텐츠를 제공하는 어플리케이션이 탑재되고, AR 교육 콘텐츠 체험 서비스를 제공하기 위한 어플리케이션을 저장하는 AR 교육 콘텐츠 체험 서비스 제공 서버와 데이터 통신이 이루어지는 사용자 단말로서, 상기 AR 교육 콘텐츠 체험 서비스 제공 서버로부터, 사용자에게 상기 AR 교육 콘텐츠 체험 서비스를 제공하기 위한 어플리케이션을 다운로딩 및 설치하고, 실행하고, 상기 AR 교육 콘텐츠 체험 서비스 제공 서버로부터 AR 교육 콘텐츠 체험 서비스 제공 데이터를 다운로딩하며, 수신된 상기 AR 교육 콘텐츠 체험 서비스 제공 데이터 중 실행 대상의 가상 공간 테마가 상기 사용자에 의해 선택되며, 상기 사용자 단말의 출력부를 통해, 상기 사용자에게, 상기 가상 공간 테마에 대한 콘텐츠 정보를 제공하고, 상기 사용자 단말 내에 구비된 카메라가 동작하여 현실 세계를 촬영하고, 상기 카메라를 통해 획득한 영상 내의 피사체에 대한 특징점을 기초로 하여, 현실 세계의 실내 공간의 평면을 인식하며, 상기 인식된 현실 세계의 실내 공간의 평면에, 가상 공간 객체가 생성될 위치를 특정하고, 상기 특정된 위치에, 상기 가상 공간을 구성하는 객체들이 생성되고, 상기 카메라가 구비되어 있는 상기 사용자 단말을 휴대한 상기 사용자의 이동에 따라, 상기 카메라와 연동된 가상 카메라 객체가 상기 가상 공간 내로 진입하고, 사용자가 선택한 가상 공간 테마가 실현되는 것을 특징으로 한다.

또한, 본 발명에 따르면, 증강 현실을 기반으로 현실 세계에 생성된 가상 공간 속에서 유아에게 교육 콘텐츠를 제공하는 어플리케이션이 탑재(구비)된 사용자 단말(10)과, 이 사용자 단말(10)과 데이터 통신이 이루어지는 AR 교육 콘텐츠 체험 서비스 제공 서버(800)를 포함하는 AR 교육 콘텐츠 체험 서비스 제공 시스템에 있어서, 상기 사용자 단말(10)은, 상기 AR 교육 콘텐츠 체험 서비스 제공 서버로부터, 사용자에게 상기 AR 교육 콘텐츠 체험 서비스를 제공하기 위한 어플리케이션을 다운로딩(downloading) 및 설치하고, 실행하고, 상기 AR 교육 콘텐츠 체험 서비스 제공 서버로부터 AR 교육 콘텐츠 체험 서비스 제공 데이터(즉, 에셋 데이터)를 다운로딩(downloading)하며, 수신된 상기 AR 교육 콘텐츠 체험 서비스 제공 데이터 중 실행 대상의(원하는) 가상 공간 테마가 상기 사용자에 의해 선택되며, 상기 사용자 단말의 출력부를 통해, 상기 사용자에게, 상기 가상 공간 테마에 대한 콘텐츠 정보를 제공하고,상기 사용자 단말 내에 구비된 카메라(100)가 동작하여 현실 세계를 촬영하고, 상기 카메라(100)를 통해 획득한 영상 내의 피사체에 대한 특징점을 기초로 하여, 현실 세계의 실내 공간의 평면(바닥면 또는 벽면)을 인식하며, 상기 인식된 현실 세계의 실내 공간의 평면에, 가상 공간 객체가 생성될 위치를 특정(결정)하고, 상기 특정된 위치에, 상기 가상 공간을 구성하는 객체들이 생성되고, 상기 카메라(100)가 구비되어 있는 상기 사용자 단말을 휴대한 상기 사용자의 이동에 따라, 상기 카메라(100)와 연동된 가상 카메라 객체(100')가 상기 가상 공간 내로 진입하고, 사용자가 선택한 가상 공간 테마가 실현되는 것을 특징으로 한다.

또한, 본 발명에 따르면, 이와 같은 AR 교육 콘텐츠 체험 서비스 제공 방법을 컴퓨터에 실행시키기 위하여 매체에 저장된 프로그램을 제공한다.

또한, 본 발명에 따르면, 위와 같은 AR 교육 콘텐츠 체험 서비스 제공 방법을 컴퓨터에 실행시키는 프로그램을 기억하는 컴퓨터 판독 가능한 기억매체를 제공한다.

발달에는 결정적 시기가 있다. 영, 유아, 아동의 신체기관과 정신적 발달이 급격히 이루어지는 특정한 시기가 있으며 이 시기는 개인의 변화에 대해 가장 민감한 시기이다. 따라서 각 연령, 시기에 맞는 발달이 이루어지는 것이 중요하다.

본 발명은 증강 현실 기반의 가상 공간 속에서의 놀이 및 교육 콘텐츠를 제공 하는 방법을 제시하며, 이를 통해 듣기 발달, 언어 발달, 인지ㆍ지적 발달, 정서 발달, 분류화와 같은 발달 특성이 주로 향상되는 효과가 있다.

또한, 본 발명은 증강 현실을 이용하여 가상 공간 속에서 신비롭고 동화적인 그래픽을 제공한다. 그리고 유아의 호기심을 자극할 수 있는 다양한 정보와 내용들을, 단순한 그림을 넘어 가상의 3D 객체로 만나볼 수 있어, 물체에 대한 인지 능력을 향상시키고, 다양한 주제에 대한 내용을 캐릭터(안내자)가 음성으로 설명해줌으로써 유아의 듣기 능력이 향상시킬 수 있다. 또한 주제별로 해당하는 객체의 이름과 특징을 보고, 듣고, 따라 말하는 한글 및 영어 교육 콘텐츠를 통해 유아의 언어 능력이 향상된다. 학습한 내용에 대한 퀴즈 콘텐츠를 통해 한 번 더 학습함으로써 유아의 인지ㆍ지적 능력이 향상되며, 학습한 내용에 대한 카드 분류 콘텐츠를 통해 분류화 능력을 기를 수 있다. 그리고 다양한 사물과의 의사소통 혹은 돕기, 배려하기 콘텐츠 등을 통하여 유아의 정서적 성장을 이룰 수 있다. 이와 같이 가상 공간(virtual space) 속에서 교육콘텐츠를 제공하는 것은, 유아의 높은 몰입도 뿐만 아니라 발달 특성 향상 또한 더욱 큰 효과를 가질 수 있다.

도 1a는 본 발명의 일 실시예에 따른 AR 교육 콘텐츠 체험 서비스 제공 시스템도이다.
도 1b는 본 발명의 일 실시예에 따른 가상 공간부(300)의 상세도이다.
도 1c는 본 발명의 일 실시예에 따른 제어부(600)의 상세도이다.
도 2a 내지 도 2c는 본 발명의 일 실시예에 따른 가상 공간 구현부(310)에서의 가상 공간 구현을 설명하는 예시도이다.
도 3은 본 발명의 일 실시예에 따른 가상 공간 생성부(320)에서의 가상 공간 생성 과정을 나타내는 예시도,
도 3a 내지 도 3d는 도 3e의 가상 공간 생성 과정의 각 단계를 순서대로 나타내는 화면이다.
도 4a 내지 도 4m은 본 발명의 일 실시예에 따른 가상 공간 설정부(330)에서의 가상 공간 설정 과정을 나타내는 예시도이다.
도 5는 본 발명의 일 실시예에 따른 사용자 관점에서의 AR교육 콘텐츠 체험 서비스 제공 방법을 나타내는 순서도이다.
도 6은 본 발명의 일 실시예에 따라 에셋(Asset,자원) 저장부(830)로부터 에셋(Asset,자원)을 다운로드 하는 모습을 나타낸다.(도 5의 S22의 화면 예시도)
도 7a 내지 도 7d는 본 발명의 일 실시예에 따라 가상 공간 테마를 선택(터치)하고 정보를 보는 모습을 나타낸다.(도 5의 S23 및 S24의 화면 예시도)
도 8은 본 발명의 일 실시예에 따라 가상 공간 내부의 전체적인 모습을 나타낸다.(도 5의 S29a의 화면 예시도)
도 9a 내지 도 9c는 본 발명의 일 실시예에 따라 가상 공간 내부의 콘텐츠 중 일부의 모습을 나타낸다.(도 5의 S29b의 화면 예시도)
도 10은 본 발명의 일 실시예에 따라 콘텐츠 달성도를 보여주는 모습을 나타낸다.

이하, 본 발명의 실시 예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명은 여기에서 설명되는 실시 예에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시 예에 대한 이해가 방해되거나 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하기로 한다. 본 발명의 실시 예들을 설명함에 있어 구체적인 수치는 실시 예에 불과하며 이에 의하여 발명의 범위가 제한되지 아니한다.

본 명세서에 있어서 '부(部)'란 하드웨어에 의해 실현되는 유닛(unit) 블록, 소프트웨어에 의해 실현되는 유닛 블록(구성 요소), 양방을 이용하여 실현되는 유닛 블록(구성 요소)을 포함한다. 또한, 1개의 유닛블록이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛 블록(구성 요소)이 1개의 하드웨어에 의해 실현되어도 된다.

본 명세서에 있어서 '가상 공간'이란, 증강 현실(AR)로 구현된 가상의 공간을 의미하며 유아들을 위한 교육 콘텐츠를 진행함에 있어서, 더욱 높은 몰입감과 신비로운 경험을 체험할 수 있도록 한다. 본 발명에서 제공하는 '가상 공간 테마'의 일례로서, '봄 요정들의 숲', '따뜻한 여름의 무지개 동산', '가을에만 열리는 마법의 도서관', '행복한 크리스마스 마을', '신비로운 물 속 세계', '광활한 우주', '알쏭달쏭 공룡 세상'이 있다. 각 가상 공간 테마의 명칭에 알맞도록 구현된 가상 공간에는 유아들의 교육 콘텐츠들이 배치되어 있다. 이하, 실시예에 있어서 가상 공간에 대한 이해를 돕기 위해 도면을 제시하고 있으며, 모든 가상 공간에 대한 설명은 가상 공간 테마 '봄 요정들의 숲'을 예로 들어 설명하였다.

본 명세서에 있어서 '사용자(유저, user)'란, 본 발명을 이용하여 구현된 어플리케이션을 사용자 단말에 설치한 사람을 의미한다. 본 발명에서는 유아들을 위한 교육 콘텐츠를 제공하는 것이 주 목적이므로 사용자는 주로, 유아와 보호자가 된다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다. 이 때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 서브(Sub) 기능(업데이트 알림, 유료 콘텐츠 구매 등)에 대한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다.

도 1a는 본 발명의 일 실시예에 따른 AR 교육 콘텐츠 체험 서비스 제공 시스템도로서, 본 발명의 일 실시예에 따라 증강 현실을 기반으로 현실 세계에 생성된 가상 공간 속에서 유아에게 교육 콘텐츠를 제공하는 어플리케이션이 탑재(구비)된 사용자 단말(10)과, 이 사용자 단말(10)과 데이터 통신이 이루어지는 AR 교육 콘텐츠 체험 서비스 제공 서버(800)를 포함하여 이루어진다.

도 1a를 참조하면, 사용자 단말(10)은, 현실 공간에 가상 공간 객체를 생성하고 사용자에게 가상 공간 속에서 교육 콘텐츠를 제공하는 어플리케이션이 탑재(구비)된다.

또한, 사용자 단말(10)은 카메라(100), 입출력부(200), 가상 공간부(300), 증강 현실 콘텐츠부(400), 데이터 저장부(500), 제어부(600), 제1 통신부(700), AR 교육 콘텐츠 체험 서비스 제공 서버(800), 제2 통신부(810), 컨트롤러(820) 및 에셋(Asset, 자원) 저장부(830)를 포함한다.

도 1a에서 사용자 단말(10)에 구비된 카메라(100)는 사용자가 가상 세계가 아닌 현실 세계(현실 환경)를 촬영함으로써 현실 세계(현실 환경)에 대한 영상 데이터를 획득할 수 있다. 그리고 사용자 단말(10)이나 이 사용자 단말(10)에 구비된 카메라(100) 내에는 자이로 센서(Gyro Sensor), 가속도 센서(Accelerometer Sensor) 그리고 3D 깊이 센서(3D Depth Sensor)가 탑재(구비)될 수 있다. 자이로 센서는 특정 물체가 3차원 공간에서 움직이고 있는 방향을 측정할 때 사용되며, 사용자 단말(10)의 기울임 정도나 회전 방향과 회전 속도를 측정하는 데 사용된다. 또한, 가속도 센서는 사용자 단말(10)이 이동함에 따라, 사용자 단말(10)의 움직임을 감지하고 사용자 단말(10)의 움직이는 속도를 측정할 수 있다. 그리고 3D 깊이 센서는 카메라(100)에 의해 촬영된 영상 내의 피사체들에 대한 특징점(일례로서, 피사체의 꼭지점이나 경계선 등)을 추출하며, 추출한 특징점을 포함하여 영상의 모든 픽셀에 대한 3차원 좌표를 획득하기 위한 센서이다. 카메라(100)에 의해 현실 세계에 대한 영상과 자이로 센서와 가속도 센서로 획득한 사용자 단말(10)의 기울임 정도, 회전 방향, 회전 속도 데이터, 그리고 3D 깊이 센서로 추출한 영상 내의 피사체들에 대한 특징점과 영상 내의 모든 픽셀에 대한 3차원 좌표는 제어부(600)에 의해 데이터 저장부(500)에 저장된다.

입출력부(200)는 사용자와 사용자 단말(10)에 탑재(구비)된 어플리케이션이 상호작용하기 위한 매개체인 UI(User Interface)를 통해 키 조작을 입력받고 입력 신호를 생성하여 제어부(600)에 전달한다. 그리고 제어부(600)는 전달받은 입력 신호의 형태(버튼 입력, 문자 입력, 터치 입력 등)를 판단하고 이에 따른 이벤트(화면 전환, 데이터 송수신, 계산 등)를 처리한다. 예를 들어, 사용자가 도 7a에서 버튼(b)를 선택(터치)하면(누르면) 입출력부(200)에 의해 입력 신호가 제어부(600)에 전달된다. 제어부(600)는 전달받은 입력신호의 형태가 버튼(b) 입력이라는 것을 판단한 후, 도 7b로 화면을 전환시킨다.

도 1b는 본 발명의 일 실시예에 따른 가상 공간부(300)의 상세도이다.

도 1b를 참조하면, 가상 공간부(300)는 증강 현실로 생성될 가상 공간을 구현하기 위한 소프트웨어(가상 공간 구현을 위한 프로그래밍 방법)인 가상 공간 구현부(310), 가상 공간 객체(일례로서, 도 2a 및 도 2b를 참조하면, 가상 공간으로 진입하기 위한 문(이하, 간략히 '가상 공간 진입문'이라고도 함) 객체(311), 가상 공간을 구성하는 가상 공간 진입문 객체(311)를 제외한 나머지 객체(가상 공간 내부 객체, 312)를 포함함)를 증강 현실로 생성하기 위한 가상 공간 생성부(320), 가상 공간을 이용함에 있어서 편리한 기능(편리한 기능에 대한 상세 설명은 도 1b의 가상 공간 설정부(330)에 대한 설명부분을 참조함)을 제공하는 가상 공간 설정부(330)를 포함하고 있다.

또한, 앞에서 기재한 바와 같이, 가상 공간 구현부(310)는 증강 현실(AR)로 생성될 가상 공간을 구현하기 위한 소프트웨어(가상 공간 구현을 위한 프로그래밍 방법)이다. 도 2a 및 도 2b를 참조하면, 가상 공간 객체(311)(312)는 가상 공간으로 진입하기 위한 가상 공간 진입문 객체(311), 이 가상 공간 진입문 객체(311)를 제외하고 가상 공간을 구성하는 가상 공간 내부 객체(312)가 포함되어 있다. 모든 객체(311)(312)(즉, 가상 공간 객체)는 3D모델이고 이 3D모델에 색깔을 입히기 위한 재료(Material)로 구성되어 있다. 그리고 제어부(600)는 이러한 모든 객체(311)(312)를 렌더링(Rendering)하는 역할을 한다. 또한 제어부(600)에 의해서 모든 객체(311)(312)에 대한 재료(Material)에는 셰이더(Shader)가 내장되는데 셰이더(Shader)는 색조, 명암효과와 같이 3D 컴퓨터 그래픽에서 최종적으로 화면에 디스플레이(Display)하는 픽셀의 색을 정해주는 함수를 제공한다. 다양한 함수 중에서도 본 발명에서는 스텐실(Stencil) 함수를 적극적으로 활용하게 된다. 스텐실(Stencil)은 글자나 무늬, 그림 등의 모양을 오려낸 후, 생성된 구멍에 물감을 넣어 그림을 찍어 내는 기법이다. 스텐실(Stencil) 함수는 두 가지의 상태를 갖는데, 도 2a와 같이 가상 공간 진입문 객체(311)에만 색깔을 입히는 상태(이하, 간략히 “비가시화 상태”라고도 함), 그리고 도 2b와 같이 모든 객체(311)(312)에 색깔을 입히는 상태(이하, 간략히 “가시화 상태”라고도 함)가 있다. 도 2a를 참조하면, 가상 공간으로 진입하기 위한 가상 공간 진입문 객체(311)에 스텐실 셰이더(Stencil Shader)가 적용되어서 가상 공간 진입문 객체(311)에만 색깔이 입혀지고 이 가상 공간 진입문 객체(311)를 제외한 나머지 객체(가상 공간 내부 객체)(312)는 비가시화 상태가 된다. 도 2c는 도 2a에서 가상 공간 진입문 객체(311)를 확대한 화면으로, 구체적으로, 가상 공간 진입문 객체(311)를 통해서만 가상 공간 내부의 모습이 보이는 것을 확인할 수 있다. 이 때, 가상 공간 진입문 객체(311)에는 콜라이더(Collider)라고 하는 물리적으로 충돌이 가능한 속성을 갖고 있는데, 비가시화 상태인 도 2a에서 가상 카메라 객체(100')가 가상 공간 진입문 객체(311)와 부딪혀 충돌하게 되면 모든 객체(311)(312)에 색깔을 입히는 가시화 상태인 도 2b가 된다. 가상 카메라 객체(100')는 사용자 단말(10)의 카메라(100)와 연동된 가상의 카메라이다. 가상 카메라 객체(100')는 카메라(100)의 3차원 공간에서의 위치와 방향에 대한 좌표(x,y,z)값과 연동되어 있다. 만약, 카메라(100)가 구비된 사용자 단말(10)을 휴대한 사용자가 현실 세계에서 이동을 하면 사용자 단말(10)의 움직임을 인식한 자이로 센서와 가속도 센서가 사용자 단말(10)의 위치 좌표와 방향 좌표를 추출한다. 추출한 좌표를 제어부(600)에게 전달하면 제어부(600)는 가상 카메라 객체(100')의 위치 좌표와 방향 좌표를 사용자 단말(10)과 동일하게 움직이도록 제어한다. 이로써, 카메라(100)가 구비된 사용자 단말(10)을 휴대한 사용자가 현실 세계에서 이동을 하면, 가상 카메라 객체(100')가 동일한 위치와 방향으로 이동하다가 가상 공간 진입문 객체(311)와 부딪혀 충돌하게 되어, 도 2b와 같이 모든 객체(311)(312)가 가시화되는 것이다. 하지만, 사용자는 현실 세계에서 이동하고 있기 때문에 가상 공간 진입문 객체(311)를 향해 이동하기 위해서는, 가상 공간 진입문 객체(311) 또한 현실 세계에 존재해야만 한다. 따라서, 도 1b의 가상 공간 생성부(320)에서 상세하게 설명하듯이, 사용자는 가상 공간 진입문 객체(311)와 가상 공간 내부 객체(312)를 포함하고 있는 가상 공간 객체(311)(312)를 증강 현실(AR)기술을 이용하여 현실 세계에 생성시켜야만 한다. 이로써 사용자는 카메라(100)로 촬영한 영상을 통해 현실 세계에 생성된 가상 공간 진입문 객체(311)를 향해 이동할 수 있고, 카메라(100)와 동일하게 움직이는 가상 카메라 객체(100')가 가상 공간 진입문 객체(311)와 충돌(터치)하여 모든 객체(311)(312)의 가시화로 가상 공간이 가시화 상태가 된다. 그리고 사용자는 카메라(100)에 의해 촬영되는 영상을 통해 가상 공간 내부의 모습을 확인함으로써, 가상 공간 진입이 완료된다.

도 1b의 가상 공간 생성부(320)는 증강 현실을 이용하여 가상 공간 객체(311)(312)를 현실 세계에 생성할 수 있도록 하는 일련의 과정과 이를 위한 소프트웨어를 포함한다. 일련의 과정은 도 3a 내지 도 3e와 같으며 이를 참조하면, 도 3e의 S11 단계에서 사용자가 카메라(100)를 이용하여 현실 세계를 촬영함으로써 바닥면 인식을 수행한다. 도 3a를 참조하면, 카메라(100)를 통해 현실 공간을 촬영하고 있으며, 촬영을 통해 수집(획득)한 영상 데이터를 제어부(600)의 증강 현실 제어 모듈(630)에 전달한다. 도 1c를 참조하면, 증강 현실 제어 모듈(630)은 제어부(600)에 포함되는 모듈 중 하나로서, 증강 현실 기능을 수행함에 있어서 필요한 전반적인 기능(일례로서, 모션추적, 환경인식, 조명추정 등의 주요 기능 등)을 수행한다. 증강 현실 제어 모듈(630)의 모션추적 기능을 이용하면 사용자 단말(10)이나 이 사용자 단말(10)에 구비된 카메라(100) 내에 탑재(구비)되어 있는 3D깊이 센서(3D Depth Sensor)의 동작을 요청한다. 동작이 요청된 3D깊이 센서는 카메라(100)에 의해 촬영된 영상 내의 피사체들에 대한 특징점(일례로서, 꼭지점과 같은 모서리(Edge) 부분 등)을 추출할 뿐만 아니라 추출한 특징점을 포함한 영상의 모든 픽셀에 대한 3차원 좌표(x,y,z)를 획득한다. 그리고 추출한 특징점과 3차원 좌표를 이용하여 특정 사물과 장소 등의 위치 변화를 계산한다. 이와 동시에, 사용자 단말(10)이나 이 사용자 단말(10)에 구비된 카메라(100) 내에 탑재(구비)되어 있는 자이로 센서(Gyro Sensor), 가속도 센서(Accelerometer Sensor)의 동작을 요청한다. 이를 통해 사용자 단말(10)의 움직임이나 회전에 따라 카메라의 포즈(일례로서, 위치나 방향 등)을 추정할 수 있다. 또한 증강 현실 제어 모듈(630)의 환경인식 기능을 이용하면, 모션추적 기능을 통해 추출한 영상 내의 피사체에 대한 특징점을 기초로 하여 현실 세계의 평면(일례로서, 바닥면(수평면)이나 벽면(수직 평면)) 등을 감지한다. 환경인식 기능은 평면을 감지하기 위해서 피사체의 특징점을 통해 피사체의 경계선이 무엇인지를 판단하고, 경계선을 기준으로 내부에 존재하는 특징점들의 복잡도에 따라 평면인지 아닌지를 구분하게 된다. 만약 경계선 내부에 존재하는 특징점들의 복잡도가 높을 경우에는 평면이 아닌 사물이라고 판단할 것이며, 복잡도가 낮을 경우에는 평면이라고 판단할 것이다. 또한 증강 현실 제어 모듈(630)의 조명추정 기능을 사용하여 카메라(100)를 통해 촬영된 영상 내의 조명 정보(빛의 세기 등)를 인식하고, 인식된 조명 정보를 이용하여 가상의 환경에서 실제와 유사한 환경을 표현할 수 있게 한다. 위와 같은 방법으로 카메라를 통해 촬영한 현실 세계의 영상, 이 영상 내의 피사체들에 대한 특징점, 영상 내의 모든 픽셀에 대한 3차원 좌표, 특정 사물과 장소 등의 위치 변화, 카메라의 포즈(위치나 방향), 현실세계의 평면(바닥면, 벽면) 정보, 현실 세계의 조명 정보를 획득하고 이러한 데이터들을 제어부(600)를 통하여 데이터 저장부(500)에 저장한다. 이로써, 현실 세계에 증강 현실 객체를 생성할 수 있는 준비가 완료된다. 다만, 사용자는 위와 같은 선행 지식이 없기 때문에 증강 현실 제어 모듈(630)을 올바르게 사용하기 어렵다. 따라서 도 3a에서 환경인식 안내그림(323)이 상,하,좌,우로 움직임으로써 사용자가 환경인식 안내그림(323)을 따라서 바닥면을 상,하,좌,우로 스캔할 수 있도록 유도한다.

이어서, 도 3e의 S12 단계에서는 가상 공간 객체(311)(312)를 사용자가 원하는 현실 세계에서의 특정 위치에 생성할 수 있게 하는 도 3b에서 보이는 제1 표시기 객체(321)를 생성한다(도 3b 참조). 원형의 포털인 제1 표시기 객체(321)는 가상 공간 객체(311)(312)와 마찬가지로 증강 현실을 이용하여 현실 세계에 생성된 객체로서, 사용자가 가상 세계가 아닌 현실 세계(현실 환경)에서의 원하는 위치(즉, 현실 세계에서의 바닥면 또는 벽면의 특정 위치)에 가상 공간 객체(311)(312)를 생성시킬 수 있도록 시각적으로 표시하는 객체이다. 즉, 가상 공간 객체(311)(312)와 함께 제1 표시기 객체(321) 또한 증강 현실을 이용하여 현실 세계에 생성된 객체이므로, 증강 현실 제어 모듈(630)의 기능들을 활용해야 한다. 하지만, 직전 단계인 도 3e의 S11 단계에서 카메라(100)와 증강 현실 제어 모듈(630)을 이용하여 추출한 데이터들을 이미 데이터 저장부(500)에 저장해 놓았으므로, 곧바로 해당 데이터들을 전달받아 사용할 수 있다. 도 3e의 S12 단계에서는 제1 표시기 객체(321) 생성에 필요한 데이터(일례로서, 영상 내의 피사체들에 대한 특징점, 영상 내의 모든 픽셀에 대한 3차원 좌표, 특정 사물과 장소 등의 위치 변화, 카메라의 포즈(위치나 방향), 현실세계의 평면(바닥면, 벽면) 정보, 현실 세계의 조명 정보 등)을 제어부(600)에게 요청하고, 이 요청에 따라 제어부(600)는 데이터 저장부(500)로부터 해당 데이터들을 수집(획득)하여 가상 공간 생성부(320)에 전달한다. 해당 데이터들을 전달받은 도 3e의 S12 단계에서는 평면 정보를 바탕으로 바닥면을 인식할 수 있을 뿐만 아니라, 촬영하고 있는 영상 내의 바닥면의 각 픽셀에 대한 3차원 좌표를 획득할 수 있다. 따라서, 도 3b와 같이 제1 표시기 객체(321)를 현실 세계에 생성시킬 수 있게 된다. 다만 이 때, 제1 표시기 객체(321)를 생성시킬 위치를 결정해야 한다. 도 3b에서는 카메라(100)로 촬영하고 있는 영상 내의 중앙에 위치한 픽셀의 3차원 좌표를 기준으로 제1 표시기 객체(321)를 생성하였다. 예를 들어, 카메라(100)의 위치가 3차원 좌표 상으로 (0,0,0)이고, 촬영하고 있는 영상 내의 중앙에 위치한 픽셀의 3차원 좌표가 (0,1.5,0)이라면, 제1 표시기 객체(321)는 3차원 좌표 (0,1.5,0)에 생성될 것이다. 그리고 카메라(100)가 촬영하는 방향을 변경하여 중앙의 3차원 좌표 값이 (0,2,0)이 된다면 제1 표시기 객체(321)는 3차원 좌표 (0,2,0)에 위치하게 된다. 즉, 제1 표시기 객체(321)의 위치는 카메라(100)로 촬영하는 영상 내의 중앙에 위치한 픽셀의 3차원 좌표와 항상 동일하게 된다. 도 3b는 일례로서, 사용자가 휴대한 사용자 단말(10)의 카메라(100)와, 현실 세계에 생성된 제1 표시기 객체(321)가 일정 거리 이내인 상태(약 1.6m 이하)이다.

이어서, 도 3e의 S13 단계는 도 3c와 같이 카메라(100)로부터 제1 표시기 객체(321)가 멀어진 상태이다. 제어부(600)는 현실 세계에서의 카메라(100)와 제1 표시기 객체(321)간 거리가 약 1.6m를 초과하게 되면 상기 카메라(100)로부터 제1 표시기 객체(321)가 멀어진 상태로 간주하고, 가상 공간 생성부(320)는 현실 세계에서의 바닥면 또는 벽면에 제2 표시기 객체(322)를 생성한다. 제2 표시기 객체(322)는 제1 표시기 객체(321)와 함께 카메라(100)로 촬영하고 있는 영상 내의 중앙에 위치한 픽셀의 3차원 좌표에 위치하고 있다. 가상 공간 객체(311)(312)를 생성하기 위해서는 반드시 도 3c와 같이 제1,2 표시기 객체(321)(322)가 나타나야 하며, 가상 공간 객체(311)(312)는 제1,2 표시기 객체(321)(322)의 위치에서 생성되기 때문에 적절한 위치를 결정해야 한다. 이때, 제2 표시기 객체(322)는 제1 표시기 객체(321) 위에 출력되거나 제1 표시기 객체(321)와 중첩될 수 있다. 일례로서, 도 3c에서는 제2 표시기 객체(322)가 제1 표시기 객체(321) 위에 책 형태로 출력되는 것을 보여준다.

이어서, 도 3e의 S14 단계에서는 가상 공간 객체(311)(312)를 생성하기 위해 사용자의 입력을 대기하고 있다. 직전 단계인 도 3e의 S13 단계는 카메라(100)와 제1,2 표시기 객체(321)(322) 간 거리가 약 1.6m 초과인 상태로, 이 상태에서 사용자가 사용자 단말(10)의 터치스크린의 특정 위치를 터치하게 되면, 도 3d와 같이 제1,2 표시기 객체(321)(322)의 3차원 좌표 상에, 도 1b 및 도 2의 가상 공간 구현부(310)로부터 구현된 가상 공간 객체(311)(312)가 생성된다. 가상 공간 객체(311)(312)가 생성되면 가상 공간 객체(311)(312)의 3차원 크기 좌표, 3차원 위치 좌표, 3차원 방향 좌표 가 제어부(600)에 의하여 데이터 저장부(500)에 저장된다. 이 때, 현실 세계에 생성된 가상 공간 객체(311)(312)는 도 2b와 같이 가상 공간 진입문 객체(311)를 제외한 가상 공간 내부 객체(312)가 비가시화된 상태이다. 따라서, 도 3d와 같이 카메라(100)로 촬영한 영상 내의에는 가상 공간 진입문 객체(311)만 나타나게 된다. 하지만, 카메라(100)가 구비된 사용자 단말(10)을 휴대한 사용자가 현실 세계에 생성된 가상 공간 진입문 객체(311)를 향해 이동하게 되면 카메라(100)와 연동된 가상 카메라 객체(100')가 함께 이동하게 되면서 가상 공간 진입문 객체(311)와 충돌(터치)하게 되어, 모든 객체(311)(312)의 가시화로 가상 공간이 가시화 상태가 된다. 이 때, 사용자가 카메라(100)에 의해 촬영되는 영상을 통해 가상 공간 내부의 모습을 확인함으로써, 가상 공간 진입이 완료된다.

다음으로, 도 1b의 가상 공간 설정부(330)는 도 4b에서 좌측에 보이는 복수의 버튼(e)(f)(h)(k)(l)(n)을 통하여 사용자가 가상 공간을 생성하고 가상 공간 내부의 콘텐츠를 이용함에 있어서 발생할 수 있는 각종 문제(일례로서, 첫째, 사용자가 카메라(100)로 촬영되는 영상을 보면서 보행을 통해 가상 공간으로 이동하다 보면, 바닥에 놓인 조그마한 장애물이나 가구에 부딪힐 염려가 있다. 둘째, 사용자가 직접 보행을 하여 가상 공간 내부로 진입하고 콘텐츠를 향해 이동해야 하기 때문에 실내의 크기가 작거나 이동할 수 없는 공간에 있을 경우에는 사용이 불가능하다. 셋째, 성장에 따라서 유아의 키(height)가 다르기 때문에 가상 공간의 크기가 거대해보일 수도 있고, 작아 보일 수도 있어 사용이 불편해진다. 넷째, 가상 공간을 잘못된 곳에 배치한 경우에는 사용이 더욱더 불편해진다 등)을 해결한다. 도 4a를 참조하면, 사용자가 버튼(e)을 선택(터치)하면(누르면) 도 4b의 좌측에 보이는 것과 같이 하위 버튼(f)(h)(k)(l)(n)이 나타난다. 사용자가 도 4c에서 버튼(f)을 선택(터치)하면(누르면) 우측에 보이는 줌 슬라이더의 버튼(g)가 나타난다. 버튼(g)가 나타날 때, 제어부(600)는 데이터 저장부(500)에 저장되어 있던 가상 공간 객체(311)(312)의 크기를 수집(획득)하고 도 4e와 같이 사용자가 버튼(g)를 위로 올림에 따라서, 제어부(600)는 가상 공간 객체(311)(312)의 크기를 일정 확대시킨다. 그리고 도 4d와 같이 사용자가 버튼(g)를 아래로 내림에 따라서, 제어부(600)는 가상 공간 객체(311)(312)의 크기를 일정 축소시킨다. 도 4f에서 버튼(h)을 선택(터치)하면 도 4g에서 우측에 보이는 버튼(i)(j)가 나타난다. 사용자가 버튼(i)을 길게 선택(터치)함으로써, 도 2a에 보이는 가상 카메라 객체(100')의 3차원 상의 위치 좌표 값(x,y,z)을 제어부(600)를 이용하여 증가시켜 앞으로 이동시킨다. 그리고 버튼(j)를 길게 선택(터치)함으로써, 도 2a에 보이는 가상 카메라 객체(100')의 3차원 상의 위치 좌표 값(x,y,z)을 제어부(600)를 이용하여 감소시켜 뒤로 이동시킨다. 이를 통해 카메라(100)가 구비된 사용자 단말(10)를 휴대한 사용자는 보행을 할 필요 없이 버튼(i)(j)를 길게 선택(터치)함으로써 가상 카메라 객체(100')를 이동시킨다. 그리하여 보행을 할 필요 없이 가상 공간에 진입이 가능하며 멀리 위치해있는 콘텐츠를 향해 다가갈 수 있다. 그리고 도 4h에서 버튼(k)을 선택(터치)하면 제어부(600)에게 가상 공간 객체 파괴 신호를 전달하고, 도 4i와 같이 다시 도 1b 및 도 3e의 가상 공간 생성부(320)를 재가동하여 가상 공간을 다시 생성시킬 수 있다. 그리고 도 4j에서 버튼(l)을 선택(터치)하면 도 4k와 같이 버튼(m)이 나타난다. 사용자가 버튼(m)을 선택(터치)하면 카메라(100)로 촬영하고 있는 영상을 이미지 형태로 변환하여 SNS(Social Network Service)에 공유할 수 있다. 마지막으로, 도 4l에서 버튼(n)을 선택(터치)하면 카메라(100)의 동작을 종료하고, 도 4m으로 화면을 전환한다.

도 1a로 되돌아가서, 증강 현실 콘텐츠부(400)는 가상 공간 객체(311)(312) 내부에 존재하는 교육 콘텐츠 객체들에게 각각 다른 성질과, 사용자와 객체 간의 상호작용 방법을 가지게 한다. 도 9a 내지 도 9c는 본 발명의 일 실시예에 따라 가상 공간 내부의 콘텐츠 중 일부의 모습을 나타낸다(도 5의 S29b의 화면 예시도). 도 9a 내지 도 9c의 화면 예시들은 가상 공간 테마가 '봄 요정들의 숲'이고, 이 가상 공간 테마 '봄 요정들의 숲'의 가상 공간에서 사용자와 직접 상호작용이 가능한 교육 콘텐츠들 중 일부를 보여주고 있다. 모든 교육 콘텐츠들은 증강 현실 콘텐츠부(400)에 의해 각자의 성질을 유지하고 사용자와 문제없이 상호작용할 수 있도록 소프트웨어로 구현되어 있다. 예를 들어, 카드(B2)는 곤충, 식물, 과일 카드가 입출력부(200)를 통해 사용자에게 보여지고 있다. 사용자는 이 카드(B2)를 눌러 동식물 분류판(B3)에 올려놓음으로써 유아의 분류화를 향상시킬 수 있다. 그리고 도면부호 B4는 곤충 객체로, 나비 혹은 벌 등의 곤충들이 플록킹 알고리즘(Flocking Algorithm)에 의해 제어되어 일정한 범위 내에서 이동하고 있다. 플록킹 알고리즘(Flocking Algorithm)은 생명체가 집단으로 움직이는 것을 구현하는 알고리즘이다. 이러한 곤충 객체(B4)나, 식물 객체(B5)를 선택(터치)하면 해당 객체에 대한 정보를 제공한다. 이를 통해 곤충과 식물에 대한 정보를 학습할 수 있다. 그리고 도면부호 B6은 과일 객체로, 사용자가 바구니 객체(B7)를 들어 과일 객체(B6)를 선택(터치)하면 채집이 가능하다. 이렇게 채집한 과일 객체(B6)을 캐릭터(안내자)에게 전달하면서 캐릭터(안내자)와 상호작용하고 양보와 배려라는 정서 학습이 가능하다. 이와 같이, 가상 공간 테마 '봄 요정들의 숲'이외에도 나머지 6가지 가상 공간 테마 모두가 콘텐츠 객체를 통하여 다양한 교육 콘텐츠를 제공함으로써 유아들의 발달특성을 효과적으로 향상시킬 수 있다.

도 1a에서, 데이터 저장부(500)는 증강 현실을 기반으로 현실 세계(real world)에 가상 공간(virtual space)을 생성한 후, 가상 공간에서 놀이 및 교육 콘텐츠를 제공하기 위한 모든 데이터들을 저장한다. 일례로서, 데이터 저장부(500)는 카메라(100)를 통해 촬영한 현실 세계의 영상, 이 영상 내의 피사체들에 대한 특징점, 영상 내의 모든 픽셀에 대한 3차원 좌표, 특정 사물과 장소 등의 위치 변화, 카메라의 포즈(위치나 방향), 현실세계의 평면(바닥면, 벽면) 정보, 현실 세계의 조명 정보, 가상 공간 객체(311)(312)의 3차원 크기 좌표, 가상 공간 객체(311)(312)의 3차원 위치 좌표, 가상 공간 객체(311)(312)의 3차원 방향 좌표, 에셋(Asset, 자원)일례로서, 이미지, 텍스트, 오디오, 비디오, 3D Model, 이펙트(Effect, 효과), 애니메이션 등의 자원이다. 도 2a 및 도 2b의 가상 공간 진입문 객체(311)와 가상 공간 내부 객체(312) 즉, 가상 공간을 구성하는 모든 3D 모델과 이 3D 모델에 색깔을 입히기 위한 재료(Material)가 될 수 있으며, 도 7a 내지 도 7d와 도 10을 구성하고 있는 이미지, 텍스트들이 될 수 있다 등을 저장할 수 있는 공간이다.

제어부(600)는 사용자 단말(10)이 포함하고 있는 모든 유닛 블록(구성 요소)을 체계적으로 관리하고 제어하기 위하여 유니티 게임엔진(Unity Game Engine)을 이용한다. 유니티 게임엔진이란 애니메이션, AR/VR, 건축 시각화 등의 다양한 인터랙티브 콘텐츠(Interactive Contents) 제작을 위한 개발 도구이다. 도 1c를 참조하면, 제어부(600)는 유니티 게임엔진을 이용하여 2D/3D 그래픽을 렌더링(Rendering)하고 최적화하는 그래픽스 제어 모듈(610)과 데이터 입출력 모듈(620)을 포함하고, 증강 현실 콘텐츠 및 가상 공간을 구현할 수 있는 증강 현실 제어 모듈(630)을 포함한다. 뿐만 아니라, 제어부(600)는 증강 현실을 기반으로 현실 세계(real world)에 가상 공간(virtual space)을 생성하고, 가상 공간에서 놀이 및 교육 콘텐츠를 제공하기 위해 필요한 각종 데이터들을 데이터 저장부(500)에 저장하거나 다른 부(部)에서 필요로 하는 각종 데이터들을 데이터 저장부(500)로부터 수집(획득)하여 전달한다. 그리고 제1 통신부(810)로부터 전달받은 에셋(Asset) 데이터를 데이터 저장부(500)에 저장하고 수집(획득)한다. 그리고 제어부(600)는 각종 계산을 수행한다. 예를 들어, 도 4를 참조하면 도 4e와 같이 사용자가 버튼(g)를 위로 올림에 따라서, 제어부(600)는 가상 공간 객체(311)(312)의 크기를 일정 확대시킨다. 그리고 도 4d와 같이 사용자가 버튼(g)를 아래로 내림에 따라서, 제어부(600)는 가상 공간 객체(311)(312)의 크기를 일정 수준 축소시킨다. 사용자가 버튼(i)를 길게 선택(터치)함으로써, 도 2a에 보이는 가상 카메라 객체(100')의 3차원 상의 위치 좌표 값(x,y,z)을 제어부(600)를 이용하여 증가시켜 앞으로 이동시킨다. 그리고 버튼(j)를 길게 선택(터치)함으로써, 도 2a에 보이는 가상 카메라 객체(100')의 3차원 상의 위치 좌표 값(x,y,z)을 제어부(600)를 이용하여 감소시켜 뒤로 이동시킨다.

도 1c에서, 그래픽스 제어 모듈(610)은 모든 2D자원(버튼, 이미지 등)과 3D모델, 빛, 이펙트들이 화면 상에 보여지도록 하는 렌더링(Rendering) 과정을 수행한다. 다만, 렌더링 과정은 주로 사용자 단말(10)의 그래픽처리장치(GPU: Graphic Processing Unit)와 중앙처리장치(CPU: Central Processing Unit) 두 시스템(GPU, CPU)에 많은 처리(비용 등)를 요구하는데, 너무 많은 그래픽 처리가 요구될 경우에는 저성능의 단말에서는 실행이 어려울 수 있다. 따라서, 그래픽스 제어 모듈(610)을 통해 렌더링 속도를 극대화하기 위한 최적화 과정을 수행함으로써 사용자 단말(10)의 성능 차이를 극복할 수 있다.

또한, 도 1c에서, 데이터 입출력 모듈(620)는 입출력부(200)로부터 전달받은 입력 신호의 형태(버튼 입력, 문자 입력, 터치 입력 등)를 판단하고 이에 따라 출력 신호를 생성한다. 출력 신호는 화면 전환을 요청하는 신호, 각종 계산(예, 가상 공간 객체(311)(312)의 크기 확대/축소, 가상 카메라 객체(100')의 앞으로/뒤로 이동 등)을 요청하는 신호 등이 있다.

또한, 도 1c에서, 증강 현실 제어 모듈(630)은 증강 현실이 구현됨에 있어서 필요한 전반적인 기능들을 수행한다. 증강 현실 제어 모듈(630)은 모션추적, 환경인식, 조명추정 등 3가지의 주요 기능을 사용하여 스마트폰과 같은 사용자 단말(10)에 구비된 카메라(100)를 통해서 가상의 콘텐츠를 실제 세계와 통합(결합)함으로써 증강 현실을 구현한다.

증강 현실 제어 모듈(630)의 모션추적 기능을 이용하면, 사용자 단말(10)이나 이 사용자 단말(10)에 구비된 카메라(100) 내에 탑재(구비)되어 있는 3D깊이 센서(3D Depth Sensor)의 동작을 요청한다. 동작이 요청된 3D깊이 센서는 카메라(100)에 의해 촬영된 영상 내의 피사체들에 대한 특징점일례로서, 꼭지점과 같은 모서리(Edge) 부분 등을 추출할 뿐만 아니라 추출한 특징점을 포함한 영상의 모든 픽셀에 대한 3차원 좌표(x,y,z)를 획득한다. 그리고 추출한 특징점과 3차원 좌표를 이용하여 특정 사물과 장소 등의 위치 변화를 계산한다. 이와 동시에, 사용자 단말(10)이나 이 사용자 단말(10)에 구비된 카메라(100) 내에 탑재(구비)되어 있는 자이로 센서(Gyro Sensor), 가속도 센서(Accelerometer Sensor)의 동작을 요청한다. 이를 통해 사용자 단말(10)의 움직임이나 회전에 따라 카메라의 포즈(일례로서, 위치나 방향 등)을 추정할 수 있다.

증강 현실 제어 모듈(630)의 환경인식 기능을 이용하면, 모션추적 기능을 통해 추출한 대한 특징점(일례로서, 꼭지점과 같은 모서리(Edge) 부분)을 기반으로 하여 현실 세계의 평면일례로서, 바닥면(수평면)이나 벽면(수직 평면) 등을 감지한다. 환경인식 기능은 평면을 감지하기 위해서 피사체의 특징점을 통해 피사체의 경계선이 무엇인지를 판단하고, 경계선을 기준으로 내부에 존재하는 특징점들의 복잡도에 따라 평면인지 아닌지를 구분하게 된다. 만약 경계선 내부에 존재하는 특징점들의 복잡도가 높을 경우에는 평면이 아닌 사물이라고 판단할 것이며, 복잡도가 낮을 경우에는 평면이라고 판단할 것이다.

증강 현실 제어 모듈(630)의 조명추정 기능을 이용하면, 카메라(100)를 통해 촬영된 영상 내의 조명 정보(빛의 세기 등)를 인식하고, 인식된 조명 정보를 이용하여 가상의 환경에서 실제와 유사한 환경을 표현할 수 있다. 위와 같은 방법으로 카메라를 통해 촬영한 현실 세계의 영상, 이 영상 내의 피사체들에 대한 특징점, 영상 내의 모든 픽셀에 대한 3차원 좌표, 특정 사물과 장소 등의 위치 변화, 카메라의 포즈(위치나 방향), 현실세계의 평면(바닥면, 벽면) 정보, 현실 세계의 조명 정보를 획득하고 이러한 데이터들을 제어부(600)를 통하여 데이터 저장부(500)에 저장한다.

또한, 증강 현실 제어 모듈(630)의 또 다른 기능인 카메라가 가리키는 지향점 즉, 본 실시예에 따른 도 3a 내지 도 3d의 제1,2 표시기(321,322)를 이용하여 가상 공간 객체(311)(312)를 배치하고, 주변 사물, 평면 등의 표면 각도 추정 등의 기능을 제공한다.

도 1a에서, 제 1통신부(700)는 사용자 단말(10)과 AR 교육 콘텐츠 체험 서비스 제공 서버(800)간의 데이터 통신을 관리한다. 사용자 단말(10)의 가상 공간부(300)와 증강 현실 콘텐츠부(400)는 사용자에게 가상 공간을 이용한 교육 콘텐츠를 제공하기 위하여 에셋(Asset)(일례로서, 이미지, 텍스트, 오디오, 비디오, 3D Model, 효과(Effect), 애니메이션 등의 자원이다. 도 2a 및 도 2b의 가상 공간 진입문 객체(311)와 가상 공간 내부 객체(312) 즉, 가상 공간을 구성하는 모든 3D모델과 이 3D 모델에 색깔을 입히기 위한 재료(Material)가 될 수 있으며, 도 7a 내지 도 7e와 도 10을 구성하고 있는 이미지, 텍스트들이 될 수 있음)을 필요로 한다. 이러한 에셋(Asset) 데이터를 저장하고 있는 에셋(Asset) 저장부(830)가 만약, 사용자 단말(10) 내부에 포함된다면, 어플리케이션 유통채널(예, Google Play Store, App Store 등)에 게시하기 위한 어플리케이션 메모리 용량 허용치 150MB를 초과하게 된다. 이로 인해, 어플리케이션을 유통 채널에 게시할 수 없게 된다. 따라서, 에셋(Asset) 저장부(830)는 AR 교육 콘텐츠 체험 서비스 제공 서버(800)에 포함되어 있다.

또한, 제1 통신부(700)는 AR 교육 콘텐츠 체험 서비스 제공 서버(800)에 포함되어 있는 에셋(Asset) 저장부(830)로부터 에셋(Asset) 데이터를 가져오기 위하여 사용자 단말(10)의 네트워크 연결 상태를 체크한다. 그리고 네트워크에 연결되어 있다면 AR 교육 콘텐츠 체험 서비스 제공 서버(800)의 URL을 통해 AR 교육 콘텐츠 체험 서비스 제공 서버(800)에게 접근을 요청한다. 그리고 사용자 단말(10)의 가상 공간부(300)와 증강 현실 콘텐츠부(400) 등이 에셋(Asset) 데이터를 필요로 할 때, 제1 통신부(700)는 AR 교육 콘텐츠 체험 서비스 제공 서버(800)에게 에셋(Asset) 데이터를 요청한다. 그리고 AR 교육 콘텐츠 체험 서비스 제공 서버(800)로부터 전달받은 에셋(Asset) 데이터는 제어부(600)에 의해 데이터 저장부(500)에 저장한다.

AR 교육 콘텐츠 체험 서비스 제공 서버(800)는 사용자 단말(10)에 포함되어 있지 않은 외부 서버로서, 사용자 단말(10)과의 통신을 위한 제 2 통신부(810)와, 제1 통신부(700)에서 요청한 에셋(Asset) 데이터를 에셋(Asset) 저장부(830)로부터 수집(획득)하여 제2 통신부(810)에게 전달하는 컨트롤러(820)와, 에셋(Asset) 데이터를 저장하고 있는 에셋(Asset) 저장부(830)를 포함한다.

제2 통신부(810)는 사용자 단말(10)의 제1 통신부(700)가 요청한 AR 교육 콘텐츠 체험 서비스 제공 서버(800)와의 접근 요청을 허용한다. 그리고 제1 통신부(700)가 요청한 에셋(Asset) 데이터를 컨트롤러(820)에게 전달한다. 그리고 컨트롤러(820)로부터 전달받은 에셋(Asset) 데이터를 제1 통신부(700)에게 전달한다.

컨트롤러(820)는 제2 통신부(810)로부터 요청받은 에셋(Asset) 데이터가 에셋(Asset) 저장부(830)에 있는지 없는지를 판단한다. 만약 제2 통신부(810)로부터 요청받은 에셋(Asset) 데이터가 에셋(Asset) 저장부(830)에 있다면, 에셋(Asset)을 수집(획득)하여 제 2통신부에게 전달한다.

에셋(Asset) 저장부(830)는 사용자 단말(10)에서 필요한 에셋(Asset) 데이터를 저장하고 있다. 에셋(Asset)은 자원을 의미하며 본 발명에서는 이미지, 텍스트, 오디오, 비디오, 3D Model, 이펙트(Effect, 효과), 애니메이션 등의 자원을 포함하고 있다. 일례로서, 도 2a 및 도 2b의 가상 공간 진입문 객체(311)와 가상 공간 내부 객체(312) 즉, 가상 공간을 구성하는 모든 3D모델과 이 3D 모델에 색깔을 입히기 위한 재료(Material)가 될 수 있으며, 도 7a 내지 도 7d와 도 10의 화면을 구성하고 있는 이미지, 텍스트들이 될 수 있다.

다음으로, 본 발명의 일 실시예에 따른 증강 현실 기반의 가상 공간에서 유아의 발달특성 향상을 위한 AR AR 교육 콘텐츠 체험 서비스 제공 방법에 대해서 설명하기로 한다.

도 5는 증강 현실 기반의 가상 공간에서 유아의 발달특성 향상을 위한 AR 교육 콘텐츠 체험 서비스 제공 방법을 설명하기 위한 사용자 관점에서의 흐름도이다.

도 5를 참조하면, 본 발명은, 사용자 단말에서 AR 교육 콘텐츠 체험 서비스 제공 서버(800)와 연동하여 상기 사용자 단말에서 실행되는 AR 교육 콘텐츠 체험 서비스 제공 방법에 있어서,

어플리케이션 실행 단계(S21); AR 교육 콘텐츠 체험 서비스 제공 데이터 다운로딩 단계(S22); 가상 공간 테마 선택 단계(S23); 콘텐츠 정보 제공 단계(S24); 카메라 동작 단계(S25); 실내 공간의 평면 인식 단계(S26); 가상 공간 객체의 생성 위치 특정 단계(S27); 가상 공간 객체 생성 단계(S28); 및 가상 공간 진입 및 가상 공간 테마 실현 단계(S29)를 포함한다.

먼저, 본 발명에서는 어플리케이션 실행 단계(S21)를 수행한다.

어플리케이션 실행 단계(S21)에서는 사용자 단말(10)에, AR 교육 콘텐츠 체험 서비스 제공 서버(800)(보다 구체적으로는 AR 교육 콘텐츠 체험 서비스 제공 서버(800)의 에셋(Asset) 저장부(830))로부터 상기 AR 교육 콘텐츠 체험 서비스를 제공하기 위한 어플리케이션을 다운로딩(downloading) 및 설치하고, 이 사용자 단말(10)에 설치된 어플리케이션을 선택(터치)하여 실행한다.

AR 교육 콘텐츠 체험 서비스 제공 서버(800)는 어플리케이션 유통채널, 일례로서, 구글 플레이 스토어(Google Play Store)나, 앱스토어(Appstore) 등을 포함할 수 있다.

상기한 바와 같이, 본 발명에서는 어플리케이션 실행 단계(S21)를 수행한 후, AR 교육 콘텐츠 체험 서비스 제공 데이터 다운로딩 단계(S22)를 수행한다.

AR 교육 콘텐츠 체험 서비스 제공 데이터 다운로딩 단계(S22)에서는 AR 교육 콘텐츠 체험 서비스 제공 서버(800)(보다 구체적으로는 AR 교육 콘텐츠 체험 서비스 제공 서버(800)의 에셋(Asset) 저장부(830))로부터 에셋(Asset) 데이터(일례로서, 도 2a 및 도 2b의 가상 공간 진입문 객체(311)와 가상 공간 내부 객체(312) 즉, 가상 공간을 구성하는 모든 3D모델과 이 3D 모델에 색깔을 입히기 위한 재료(Material)가 될 수 있으며, 도 7a 내지 도 7d와 도 10을 구성하고 있는 이미지, 텍스트들이 될 수 있음) 다운로드를 진행할 수 있다. 도 6은 본 발명의 일 실시예에 따라 에셋(Asset,자원) 저장부(830)로부터 에셋(Asset,자원)을 다운로드 하는 모습을 나타낸다(도 5의 S22의 화면 예시도). 도 6에서, 도면부호 a는 에셋(Asset)을 다운로드함에 따른 진행율을 보여주고 있다. 에셋(Asset)을 다운로드 하기 위해서 사용자 단말(10)의 제1 통신부(700)는 사용자 단말(10)의 네트워크 연결 상태를 체크하고, AR 교육 콘텐츠 체험 서비스 제공 서버(800)에게 접근을 요청한다. AR 교육 콘텐츠 체험 서비스 제공 서버(800)의 제2 통신부(810)는 제1 통신부(700)가 요청한 AR 교육 콘텐츠 체험 서비스 제공 서버(800)와의 접근 요청을 허용한다. 또한, 사용자 단말(100)의 제1 통신부(700)를 통해 수신한 에셋(Asset) 데이터 요청 신호를 컨트롤러(820)에게 전달한다. 컨트롤러(820)는 제2 통신부(810)로부터 수신한 에셋(Asset) 데이터 요청 신호에 따라, 에셋(Asset) 저장부(830)로부터 에셋(Asset) 데이터를 수집(획득)하고, 이 수집(획득)한 에셋(Asset) 데이터를 다시 제 2 통신부(810)에게 전달한다. 그리고 제 2 통신부(810)는 전달받은 에셋(Asset) 데이터를 사용자 단말(100)의 제1 통신부(700)에게 전달한다. 제1 통신부(700)는 전달받은 에셋(Asset) 데이터를 제어부(600)를 이용하여 데이터 저장부(500)에 저장한다. 따라서, 도 6의 도면부호 a는 위의 과정을 통해 전달받은 에셋(Asset) 데이터를 데이터 저장부(500)에 저장하고 있는 과정을 나타낸다.

상기한 바와 같이, 본 발명에서는 AR 교육 콘텐츠 체험 서비스 제공 데이터 다운로딩 단계(S22)를 수행한 후, 가상 공간 테마 선택 단계(S23)를 수행한다.

가상 공간 테마 선택 단계(S23)에서는, 사용자가 원하는 가상 공간 테마를 선택할 수 있다. 도 7은 본 발명의 일 실시예에 따라 가상 공간 테마를 선택(터치)하고 정보를 보는 모습을 나타낸다(도 5의 S23의 화면 예시도). 도 7을 참조하면, 사용자가 입출력부(200)를 이용하여 도 7a에서 버튼(b)을 터치하게 되면, 복수의 가상 공간 테마 중 가상 공간 테마 '봄 요정들의 숲'을 선택(터치)했다는 신호가 제어부(600)로 전달된다. 이에 따라, 가상 공간 테마 '봄 요정들의 숲'에 대한 정보를 확인할 수 있는 화면(도 7b)로 전환되어 사용자 단말(10)을 통해 사용자에게 보여지게 된다.

상기한 바와 같이, 본 발명에서는 가상 공간 테마 선택 단계(S23)를 수행한 후, 콘텐츠 정보 제공 단계(S24)를 수행한다.

콘텐츠 정보 제공 단계(S24)는 도 7b에서 버튼(c)(일례로서, “콘텐츠 정보”버튼)을 선택(터치)하면, 도 7c에서와 같이 해당 가상 공간 테마 '봄 요정들의 숲'에 대한 정보, 일례로서, 해당 가상 공간 테마 '봄 요정들의 숲'에는 어떠한 교육 콘텐츠들이 포함되는지, 해당 가상 공간 테마가 어떠한 목적을 가지고 있는지, 주요 발달 특성이 무엇인지 등에 대한 정보를 확인할 수 있다. 그리고 버튼(d)(일례로서, “입장하기”버튼)을 선택(터치)하면, 가상 공간 테마 '봄 요정들의 숲'이라는 가상 공간을 생성하기 위한 화면(D)로 전환되고, 이와 동시에 카메라(100)가 동작하는 S25 단계가 행해진다.

상기한 바와 같이, 본 발명에서는 콘텐츠 정보 제공 단계(S24)를 수행한 후, 카메라 동작 단계(S25)를 수행한다.

카메라 동작 단계(S25)에서는, 가상 공간 객체(311)(312)를 생성하기 위한 가상 공간 생성부(320)가 동작하기 전에, 카메라(100)가 동작하고 있는 화면(D)에서, 가상 공간 설정부(330)가 포함하는 복수의 버튼(e)(f)(h)(k)(l)(n)에 대한 정보들을 설명하고 있다. 복수의 버튼(e)(f)(h)(k)(l)(n)은 사용자가 가상 공간을 생성하고 가상 공간 내부의 콘텐츠를 이용함에 있어서 발생할 수 있는 각종 문제(일례로서, 첫째, 사용자가 카메라(100)로 촬영되는 영상을 보면서 보행을 통해 가상 공간으로 이동하다 보면, 바닥에 놓인 조그마한 장애물이나 가구에 부딪힐 염려가 있다. 둘째, 사용자가 직접 보행을 하여 가상 공간 내부로 진입하고 콘텐츠를 향해 이동해야 하기 때문에 실내의 크기가 작거나 이동할 수 없는 공간에 있을 경우에는 사용이 불가능하다. 셋째, 성장에 따라서 유아의 키(height)가 다르기 때문에 가상 공간의 크기가 거대해보일 수도 있고, 작아 보일 수도 있어 사용이 불편해진다. 넷째, 가상 공간을 잘못된 곳에 배치한 경우에는 사용이 더욱더 불편해진다 등)을 해결할 수 있는 기능들을 수행한다. 각 버튼들((e)(f)(h)(k)(l)(n))에 대한 상세 설명은 도 4 설명 부분을 참조한다. 도 7d로부터 가상 공간 설정부(330)에서 제공하는 복수의 버튼(e)(f)(h)(k)(l)(n)에 대한 정보를 모두 숙지한 사용자는 닫기 버튼(x 버튼)(o)을 선택(터치)하여 도 5의 현실 세계의 실내공간의 평면 인식 단계(S26)로 진행할 수 있다.

상기한 바와 같이, 본 발명에서는 카메라 동작 단계(S25)를 수행한 후, 현실 세계의 실내 공간의 평면 인식 단계(S26)를 수행한다.

실내 공간의 평면 인식 단계(S26)에서는, 가상 공간을 생성하기 위해서 가상 공간 생성부(320)를 동작시킨다. 가상 공간 생성부(320)는 카메라(100)를 동작시켜 현실 세계를 촬영하고, 촬영을 통해 수집(획득)한 영상 데이터를 제어부(600)의 증강 현실 제어 모듈(630)에 전달한다. 도 1c를 참조하면, 증강 현실 제어 모듈(630)은 제어부(600)에 포함되는 모듈 중 하나로서, 증강 현실 기능을 수행함에 있어서 필요한 전반적인 기능(일례로서, 모션추적, 환경인식, 조명추정 등의 주요 기능) 들을 수행한다. 증강 현실 제어 모듈(630)의 모션추적 기능을 이용하면 사용자 단말(10)이나 이 사용자 단말(10)에 구비된 카메라(100) 내에 탑재(구비)되어 있는 3D깊이 센서(3D Depth Sensor)의 동작을 요청한다. 동작이 요청된 3D깊이 센서는 카메라(100)에 의해 촬영된 영상 내의 피사체들에 대한 특징점(일례로서, 꼭지점과 같은 모서리(Edge) 부분 등)을 추출할 뿐만 아니라 추출한 특징점을 포함한 영상의 모든 픽셀에 대한 3차원 좌표(x,y,z)를 획득한다. 그리고 추출한 특징점과 3차원 좌표를 이용하여 특정 사물과 장소 등의 위치 변화를 계산한다. 이와 동시에, 사용자 단말(10)이나 이 사용자 단말(10)에 구비된 카메라(100) 내에 탑재(구비)되어 있는 자이로 센서(Gyro Sensor), 가속도 센서(Accelerometer Sensor)의 동작을 요청한다. 이 자이로 센서와 가속도 센서를 통해 사용자 단말(10)의 움직임이나 회전에 따라 카메라의 포즈(일례로서, 위치나 방향 등)을 추정할 수 있다. 또한 증강 현실 제어 모듈(630)의 환경인식 기능을 이용하면, 모션추적 기능을 통해 추출한 영상 내의 피사체에 대한 특징점을 기초로 하여 현실 세계의 평면일례로서, 바닥면(수평면)이나 벽면(수직 평면) 등을 감지한다. 환경인식 기능은 현실 세계의 평면을 감지하기 위해서 피사체의 특징점을 통해 피사체의 경계선이 무엇인지를 판단하고, 경계선을 기준으로 내부에 존재하는 특징점들의 복잡도에 따라 평면인지 아닌지를 구분하게 된다. 만약 경계선 내부에 존재하는 특징점들의 복잡도가 높을 경우에는 평면이 아닌 사물이라고 판단할 것이며, 복잡도가 낮을 경우에는 평면이라고 판단할 것이다. 또한 증강 현실 제어 모듈(630)의 조명추정 기능을 사용하여 카메라(100)를 통해 촬영된 영상 내의 조명 정보(빛의 세기 등)를 인식하고, 인식된 조명 정보를 이용하여 가상의 환경에서 실제와 유사한 환경을 표현할 수 있게 한다. 위와 같은 방법으로 카메라를 통해 촬영한 현실 세계의 영상, 이 영상 내의 피사체들에 대한 특징점, 영상 내의 모든 픽셀에 대한 3차원 좌표, 특정 사물과 장소 등의 위치 변화, 카메라의 포즈(위치나 방향), 현실세계의 평면(바닥면, 벽면) 정보, 현실 세계의 조명 정보를 획득하고 이러한 데이터들을 제어부(600)를 통하여 데이터 저장부(500)에 저장한다. 이로써, 현실 세계에 증강 현실 객체를 생성할 수 있는 준비가 완료된다. 다만, 사용자는 위와 같은 선행 지식이 없기 때문에 증강 현실 제어 모듈(630)을 올바르게 사용하기 어렵다. 따라서 도 3a에서 환경인식 안내그림(323)이 상,하,좌,우로 움직임으로써 사용자가 환경인식 안내그림(323)을 따라서 바닥면을 상,하,좌,우로 스캔할 수 있도록 유도한다.

상기한 바와 같이, 본 발명에서는 실내 공간의 평면 인식 단계(S26)를 수행한 후, 가상 공간 객체의 생성 위치 특정 단계(S27)를 수행한다.

가상 공간 객체의 생성 위치 특정 단계(S27)에서는 도 3c와 같이 현실 세계에 생성된 제1,2 표시기 객체(321)(322)를 통해 가상 공간 객체의 생성 위치를 특정(결정)한다. 우선, 도 3b를 참조하면, 제1 표시기 객체(321)는 가상 공간 객체(311)(312)와 마찬가지로 증강 현실을 이용하여 현실 세계에 생성된 객체로서, 사용자가 현실 세계(현실 환경)에서의 원하는 위치(즉, 현실 세계에서의 바닥면 또는 벽면의 특정 위치)에 가상 공간을 생성시킬 수 있도록 시각적으로 표시하는 객체이다. 즉, 가상 공간 객체(311)(312)와 함께 제1 표시기 객체(321) 또한 증강 현실을 이용하여 현실 세계에 생성된 객체이므로 증강 현실 제어 모듈(630)의 기능들을 활용해야 한다. 하지만, 직전 단계인 도 5의 S26 단계에서 카메라(100)와 증강 현실 제어 모듈(630)을 이용하여 추출한 데이터들을 이미 데이터 저장부(500)에 저장해 놓았으므로 곧바로 해당 데이터들을 전달받아 사용할 수 있다. 도 5의 S27단계에서는 제1 표시기 객체(321) 생성에 필요한 데이터(일례로서, 영상 내의 피사체들에 대한 특징점, 영상 내의 모든 픽셀에 대한 3차원 좌표, 특정 사물과 장소 등의 위치 변화, 카메라의 포즈(위치나 방향), 현실세계의 평면(바닥면, 벽면) 정보, 현실 세계의 조명 정보 등)을 제어부(600)에게 요청하고, 이 요청에 따라 제어부(600)는 데이터 저장부(500)로부터 해당 데이터들을 수집(획득)하여 가상 공간 생성부(320)에 전달한다. 해당 데이터들을 전달받은 도 5의 S27 단계에서는 평면 정보를 바탕으로 바닥면을 인식할 수 있을 뿐만 아니라, 촬영하고 있는 영상 내의 바닥면의 각 픽셀에 대한 3차원 좌표를 획득할 수 있다. 따라서, 도 3b와 같이 제1 표시기 객체(321)를 현실 세계에 생성시킬 수 있게 된다. 다만 이 때, 제1 표시기 객체(321)를 생성시킬 위치를 결정해야 한다. 본 발명에서는 카메라(100)로 촬영하고 있는 영상 내의 중앙에 위치한 픽셀의 3차원 좌표를 기준으로 제1 표시기 객체(321)를 생성하였다. 예를 들어, 카메라(100)의 위치가 3차원 좌표 상으로 (0,0,0)이고, 촬영하고 있는 영상 내의 중앙에 위치한 픽셀의 3차원 좌표가 (0,1.5,0)이라면, 제1 표시기 객체(321)는 3차원 좌표 (0,1.5,0)에 생성될 것이다. 그리고 카메라(100)가 촬영하는 방향을 변경하여 중앙의 3차원 좌표 값이 (0,2,0)이 된다면 제1 표시기 객체(321)는 3차원 좌표 (0,2,0)에 위치하게 된다. 즉, 제1 표시기 객체(321)의 위치는 카메라(100)로 촬영하는 영상 내의 중앙에 위치한 픽셀의 3차원 좌표와 항상 동일하게 된다. 도 3b는 일례로서, 사용자가 휴대한 사용자 단말(10)의 카메라(100)와, 현실 세계에 생성된 제1 표시기 객체(321)가 일정 거리 이내인 상태(약 1.6m 이하)이다. 그리고 도 3c는 카메라(100)로부터 제1 표시기 객체(321)가 멀어진 상태이다. 다만 이때, 제어부(600)는 현실 세계에서의 카메라(100)와 제1 표시기 객체(321) 간 거리가 약 1.6m를 초과하게 되면 상기 카메라(100)로붜 제1 표시기 객체(321)가 멀어진 상태로 간주하고, 가상 공간 생성부(320)는 현실 세계에서의 바닥면 또는 벽면에 제2 표시기 객체(322)를 생성한다. 제2 표시기 객체(322)는 제1 표시기(311)와 함께 카메라(100)로 촬영하고 있는 영상 내의 중앙에 위치한 픽셀의 3차원 좌표에 위치하고 있다.

상기한 바와 같이, 본 발명에서는 가상 공간 객체의 생성 위치 특정 단계(S27)를 수행한 후, 가상 공간 객체 생성 단계(S28)를 수행한다.

가상 공간 객체 생성 단계(S28)에서는 가상 공간 객체(311)(312)를 생성하기 위해 사용자의 입력을 대기하고 있다. 직전 단계인 도 5의 S27 단계는 카메라(100)와 제1,2 표시기 객체(321)(322) 간 거리가 약 1.6m 초과인 상태로, 이 상태에서 사용자가 사용자 단말(10)의 터치스크린의 특정 위치를 터치하게 되면, 도 3d와 같이 제1,2 표시기 객체(321)(322)의 3차원 좌표 상에, 도 1b 및 도 2의 가상 공간 구현부(310)로부터 구현된 가상 공간 객체(311)(312)가 생성된다. 가상 공간 객체(311)(312)가 생성되면 가상 공간 객체(311)(312)의 3차원 크기 좌표, 3차원 위치 좌표, 3차원 방향 좌표가 제어부(600)에 의하여 데이터 저장부(500)에 저장된다. 이 때, 도 2a와 같이, 현실 세계에 생성된 가상 공간 객체(311)(312) 중 가상 공간 진입문 객체(311)를 제외한 나머지 객체들(즉, 가상 공간 내부 객체(312))가 비가시화된 상태가 된다.

상기한 바와 같이, 본 발명에서는 가상 공간 객체 생성 단계(S28)를 수행한 후, 가상 공간 진입 및 가상 공간 테마 실현 단계(S29)를 수행한다.

가상 공간 진입 및 가상 공간 테마 실현 단계(S29) 중 가상 공간 진입 단계(S29a)에서는 사용자가 직접 가상 공간 내부로 진입할 수 있게 된다. 도 5의 S28 단계에 의해 도 3d와 같이 카메라(100)로 촬영한 영상 내의에는 가상 공간 진입문 객체(311)만 나타나게 된다. 하지만, 카메라(100)가 구비된 사용자 단말(10)을 휴대한 사용자가 현실 세계에 생성된 가상 공간 진입문 객체(311)를 향해 이동하게 되면 도 2b에서 볼 수 있는, 카메라(100)와 연동된 가상 카메라 객체(100')가 함께 이동하게 되면서 가상 공간 진입문 객체(311)와 충돌(터치)하게 되어, 가상 공간을 가시화 상태로 변환시킨다. 이 때, 사용자가 카메라(100)에 의해 촬영되는 영상을 통해 가상 공간 내부의 모습을 확인함으로써, 가상 공간 진입이 완료된다. 도 8은 본 발명의 일 실시예에 따라 가상 공간 내부의 전체적인 모습을 나타낸다(도 5의 S29a의 화면 예시도). 도 8을 참조하면 가상 공간 테마 '봄 요정들의 숲'이라는 가상 공간 내부를 촬영했을 때 이미지이다. 도 8의 캐릭터(안내자) 객체(B1)는 사용자인 유아에게 가상 공간 이용방법을 설명하고, 콘텐츠의 위치를 안내하며, 콘텐츠 이용방법을 설명해준다. 캐릭터(안내자) 객체(B1)는 사용자에게는 다소 낯선 가상 공간이라는 매개체를 친근하게 접근할 수 있게 도와줌과 동시에, 사용자와 함께 가상 공간 속을 이동하면서 콘텐츠의 위치까지 안내해준다. 그리고 사용자가 콘텐츠를 이용하기에 앞서서 말풍선과 음성을 통해 자세하게 이용방법을 안내한다.

이어서, 가상 공간 진입 및 가상 공간 테마 실현 단계(S29) 중 가상 공간 테마 실현 단계(S29b)에서는 사용자가 교육 콘텐츠를 이용할 수 있게 된다. 도 9a 내지 도 9c의 화면 예시들은 가상 공간 테마가 '봄 요정들의 숲'이고, 이 가상 공간 테마 '봄 요정들의 숲'의 가상 공간에서 사용자와 직접 상호작용이 가능한 교육 콘텐츠들 중 일부이다. 모든 교육 콘텐츠들은 증강 현실 콘텐츠부(400)에 의해 각자의 성질을 유지하고 사용자와 문제없이 상호작용할 수 있도록 소프트웨어로 구현되어 있다. 예를 들어, 카드(B2)는 곤충, 식물, 과일 카드가 입출력부(200)를 통해 사용자에게 보여지고 있다. 사용자는 이 카드(B2)를 눌러 동식물 분류판(B3)에 올려놓음으로써 사용자인 유아의 분류화를 향상시킬 수 있다. 그리고 도면부호 B4는 곤충 객체로, 나비 혹은 벌 등의 곤충들이 플록킹 알고리즘(Flocking Algorithm)에 의해 제어되어 일정한 범위 내에서 이동하고 있다. 플록킹 알고리즘(Flocking Algorithm)은 생명체가 집단으로 움직이는 것을 구현하는 알고리즘이다. 이러한 곤충 객체(B4)나, 식물 객체(B5)를 선택(터치)하면 해당 객체에 대한 정보를 제공한다. 이를 통해 곤충과 식물에 대한 정보를 학습할 수 있다. 그리고 도면부호 B6은 과일 객체로, 사용자가 바구니 객체(B7)를 들어 과일 객체(B6)을 선택(터치)하면 채집이 가능하다. 이렇게 채집한 과일 객체(B6)을 캐릭터(안내자)에게 전달하면서 캐릭터(안내자)와 상호작용하고 양보와 배려라는 정서 학습이 가능하다. 이와 같이, 가상 공간 테마 '봄 요정들의 숲'이외에도 나머지 6가지 가상 공간 테마 모두가 콘텐츠 객체를 통하여 다양한 교육 콘텐츠를 제공함으로써 사용자인 유아들의 발달특성을 효과적으로 향상시킬 수 있다.

사용자는 캐릭터(안내자)와 함께 교육 콘텐츠를 해결해 나감에 따라, 콘텐츠 클리어(clear) 여부가 제어부(600)에 전달된다. 제어부(600)는 해당 콘텐츠가 클리어 되었는지를 판단하고 데이터 저장부(500)에 전달함으로써 특정 유저의 콘텐츠 달성도 데이터를 저장한다. 사용자는 도 10의 화면으로부터 자신의 콘텐츠 달성도를 사용자 단말(10)의 입출력부(200)로부터 확인할 수 있다.

본 발명에 따른 AR 교육 콘텐츠 체험 서비스 제공 시스템은 이와 같은 단계를 반복하는 것으로 한다.

본 발명의 일실시예에서는 본 발명의 시스템 및 방법을 이용하는 주체(사용자)가 유아라고 명시하였지만, 이에 한정하지는 않는다. 즉 본 발명의 시스템 및 방법은 유아뿐만 아니라 성인도 가능하며, 성인인 경우, 게임 등의 오락에 적용할 수 있다.

또한, 본 발명의 일실시예에서는 본 발명의 시스템 및 방법을 이용하는 장소가 실내 공간이라고 하였지만, 이에 한정하지는 않는다. 즉 본 발명의 시스템 및 방법은 실내 공간뿐만 아니라 실외 공간도 가능하다.

이처럼, 본 발명은, 사용자 단말에서 AR 교육 콘텐츠 체험 서비스 제공 서버와 연동하여 상기 사용자 단말에서 실행되는 AR 교육 콘텐츠 체험 서비스 제공 방법에 있어서, 상기 AR 교육 콘텐츠 체험 서비스 제공 서버로부터, 사용자에게 상기 AR 교육 콘텐츠 체험 서비스를 제공하기 위한 어플리케이션을 상기 사용자 단말에 다운로딩(downloading) 및 설치하고, 실행하는 어플리케이션 실행 단계(S21); 상기 사용자 단말이, 상기 AR 교육 콘텐츠 체험 서비스 제공 서버로부터 AR 교육 콘텐츠 체험 서비스 제공 데이터(즉, 에셋 데이터)를 다운로딩(downloading)하는 AR 교육 콘텐츠 체험 서비스 제공 데이터 다운로딩 단계(S22); 수신된 상기 AR 교육 콘텐츠 체험 서비스 제공 데이터 중 실행 대상의(원하는) 가상 공간 테마가 상기 사용자에 의해 선택되는 가상 공간 테마 선택 단계(S23); 상기 사용자 단말(구체적으로, 사용자 단말의 출력부)을 통해, 상기 사용자에게, 상기 가상 공간 테마에 대한 콘텐츠 정보를 제공하는 콘텐츠 정보 제공 단계(S24); 상기 사용자 단말 내에 구비된 카메라(100)가 동작하여 현실 세계를 촬영하는 카메라 동작 단계(S25); 상기 카메라(100)를 통해 획득한 영상 내의 피사체에 대한 특징점을 기초로 하여, 현실 세계의 실내 공간의 평면(바닥면 또는 벽면)을 인식하는 실내 공간의 평면 인식 단계(S26); 상기 인식된 현실 세계의 실내 공간의 평면에, 가상 공간 객체가 생성될 위치를 특정(결정)하는 가상 공간 객체의 생성 위치 특정 단계(S27); 상기 특정된 위치에, 상기 가상 공간을 구성하는 객체들이 생성되는 가상 공간 객체 생성 단계(S28); 및 상기 카메라(100)가 구비되어 있는 상기 사용자 단말을 휴대한 상기 사용자가, 상기 가상 공간 내로 진입하고, 사용자가 선택한 가상 공간 테마가 실현되는 가상 공간 진입 및 가상 공간 테마 실현 단계(S29);를 포함함을 특징으로 한다.

또한, 본 발명에 따르면, 상기 가상 공간 진입문 객체(311)의 전방에는 상기 카메라(100)와 연동되는 가상 카메라 객체(100'))가 더 생성되고, 상기 가상 공간 진입 및 가상 공간 테마 실현 단계(S29)에서는, 상기 카메라(100)가 구비된 사용자 단말(10)을 휴대한 사용자가 현실 세계에서 이동을 하면, 상기 카메라(100)와 연동된 가상 카메라 객체(100')도, 상기 사용자가 이동한 위치와 방향으로 동일하게 이동하다가 가상 공간 진입문 객체(311)와 부딪혀 충돌하게 됨에 따라 상기 가상 공간 내에 생성된 모든 객체(311)(312)가 가시화되는 것을 특징으로 한다.

또한, 본 발명에 따르면, 증강 현실을 기반으로 현실 세계에 생성된 가상 공간 속에서 유아에게 교육 콘텐츠를 제공하는 어플리케이션이 탑재(구비)된 사용자 단말(10)과, 이 사용자 단말(10)과 데이터 통신이 이루어지는 AR 교육 콘텐츠 체험 서비스 제공 서버(800)를 포함하는 AR 교육 콘텐츠 체험 서비스 제공 시스템에 있어서, 상기 사용자 단말(10)은, 상기 AR 교육 콘텐츠 체험 서비스 제공 서버로부터, 사용자에게 상기 AR 교육 콘텐츠 체험 서비스를 제공하기 위한 어플리케이션을 다운로딩(downloading) 및 설치하고, 상기 어플리케이션을 실행하고, 상기 AR 교육 콘텐츠 체험 서비스 제공 서버로부터 AR 교육 콘텐츠 체험 서비스 제공 데이터(즉, 에셋 데이터)를 다운로딩(downloading)하며, 수신된 상기 AR 교육 콘텐츠 체험 서비스 제공 데이터 중 실행 대상의(사용자가 원하는) 가상 공간 테마가 상기 사용자에 의해 선택되며, 상기 사용자 단말의 출력부를 통해, 상기 사용자에게, 상기 가상 공간 테마에 대한 콘텐츠 정보를 제공하고,상기 사용자 단말 내에 구비된 카메라(100)가 동작하여 현실 세계를 촬영하고, 상기 카메라(100)를 통해 획득한 영상 내의 피사체에 대한 특징점을 기초로 하여, 현실 세계의 실내 공간의 평면(바닥면 또는 벽면)을 인식하며, 상기 인식된 현실 세계의 실내 공간의 평면에, 가상 공간 객체가 생성될 위치를 특정(결정)하고, 상기 특정된 위치에, 상기 가상 공간을 구성하는 객체들이 생성되고, 상기 카메라(100)가 구비되어 있는 상기 사용자 단말을 휴대한 상기 사용자의 이동에 따라, 상기 카메라(100)와 연동된 가상 카메라 객체(100')가 상기 가상 공간 내로 진입하고, 사용자가 선택한 가상 공간 테마가 실현되는 것을 특징으로 한다.

또한, 본 발명에 따르면, 이와 같은 AR 교육 콘텐츠 체험 서비스 제공 방법을 컴퓨터에 실행시키는 프로그램을 기억하는 컴퓨터 판독 가능한 기억매체를 제공한다.

또한, 본 발명은 상술한 예시적인 실시예에서 설명한 것처럼, AR 교육 콘텐츠 체험 서비스 제공 방법, 및 시스템으로서 실현될 수 있다. 그렇지만, 본 발명은 AR 교육 콘텐츠 체험 서비스 제공 방법, 및 시스템에 한정되지 않는다. 예를 들면, 본 발명은 컴퓨터의 CPU에 의해 실행될 수 있는 소프트웨어 프로그램을 포함한다. 또, 본 발명은 상술한 소프트웨어 프로그램을 기억하는 기억매체도 포함한다.

[기타의 실시예(실시형태)]

본 발명은, 이하의 처리를 실행함으로써 실현될 수 있다. 다시 말해, 이 처리는 전술한 실시예(실시형태)의 기능을 실현할 수 있는 소프트웨어 프로그램을, 네트워크 또는 각종 기억매체를 통해서 시스템 또는 장치에 공급하고, 그 시스템 또는 장치의 컴퓨터(또는 CPU나 MPU)가 프로그램을 판독해서 실행하는 것을 포함한다.

그 밖의 실시예

본 발명의 추가 실시예(들)는, 상술한 실시 예(들) 중의 하나 또는 그 이상의 기능을 행하도록 기억매체(예를 들면, '비일시 컴퓨터 판독가능한 기억매체') 상에 기록된 컴퓨터 실행가능한 명령들(예를 들면, 1개 이상의 프로그램)을 판독 및 실행하고, 상술한 실시 예(들) 중의 하나 또는 그 이상의 기능을 수행하는 1개 이상의 회로(예를 들면, ASIC(Application Specific Integrated Circuit))를 포함하는 시스템 또는 장치의 컴퓨터에 의해서 실현될 수 있고, 또 예를 들면, 상술한 실시예(들) 중의 하나 또는 그 이상의 기능을 행하도록 기억매체로부터 컴퓨터 실행가능한 명령들을 판독 및 실행함으로써 및/또는 상술한 실시 예(들) 중의 하나 또는 그 이상의 기능을 수행하는 1개 이상의 회로를 제어함으로써 시스템 또는 장치의 컴퓨터에 의해 행해진 방법에 의해서도 실현될 수 있다. 이 컴퓨터는 CPU(Central Processing Unit), MPU(Micro Processing Unit), 또는 다른 회로 중 하나 또는 그 이상을 구비할 수도 있고, 독립된 컴퓨터 또는 독립된 컴퓨터 프로세서의 네트워크를 포함할 수도 있다. 이 컴퓨터 실행가능한 명령들은 예를 들면, 네트워크 또는 기억매체로부터 컴퓨터에 제공될 수도 있다. 이 기억매체는 예를 들면, 하드 디스크, RAM(random-access memory), ROM(read only memory), 분산 컴퓨팅 시스템의 스토리지, 광디스크(컴팩트 디스크(CD), DVD(digital versatile disc), Blue-ray Disc(BD)^TM 등), 플래시 메모리 디바이스, 메모리 카드 중 어느 하나 또는 그 이상을 포함할 수도 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10: 사용자 단말
100: 카메라
100': 가상 카메라 객체
311: 가상 공간 진입문 객체
312: 가상 공간 내부 객체
311: 제1 표시기 객체
312: 제2 표시기 객체
800: AR 교육 콘텐츠 체험 서비스 제공 서버

Claims

사용자 단말에서 AR 교육 콘텐츠 체험 서비스 제공 서버와 연동하여 상기 사용자 단말에서 실행되는 AR 교육 콘텐츠 체험 서비스 제공 방법으로서,
상기 AR 교육 콘텐츠 체험 서비스 제공 서버로부터, 사용자에게 상기 AR 교육 콘텐츠 체험 서비스를 제공하기 위한 어플리케이션을 상기 사용자 단말에 다운로딩 및 설치하고, 상기 어플리케이션을 실행하는 어플리케이션 실행 단계;
상기 사용자 단말이, 상기 AR 교육 콘텐츠 체험 서비스 제공 서버로부터 AR 교육 콘텐츠 체험 서비스 제공 데이터를 다운로딩하는 AR 교육 콘텐츠 체험 서비스 제공 데이터 다운로딩 단계;
수신된 상기 AR 교육 콘텐츠 체험 서비스 제공 데이터 중 실행 대상의 가상 공간 테마가 상기 사용자에 의해 선택되는 가상 공간 테마 선택 단계;
상기 사용자 단말을 통해, 상기 사용자에게, 상기 가상 공간 테마에 대한 콘텐츠 정보를 제공하는 콘텐츠 정보 제공 단계;
상기 사용자 단말 내에 구비된 카메라가 동작하여 현실 세계를 촬영하는 카메라 동작 단계;
상기 카메라를 통해 획득한 영상 내의 피사체에 대한 특징점을 기초로 하여, 현실 세계의 실내 공간의 평면을 인식하는 실내 공간의 평면 인식 단계;
상기 인식된 현실 세계의 실내 공간의 평면에, 가상 공간 객체가 생성될 위치를 특정하는 가상 공간 객체의 생성 위치 특정 단계;
상기 특정된 위치에, 상기 가상 공간을 구성하는 객체들이 생성되는 가상 공간 객체 생성 단계; 및
상기 카메라가 구비되어 있는 상기 사용자 단말을 휴대한 상기 사용자가, 상기 가상 공간 내로 진입하고, 사용자가 선택한 가상 공간 테마가 실현되는 가상 공간 진입 및 가상 공간 테마 실현 단계;를 포함하는, AR 교육 콘텐츠 체험 서비스 제공 방법.
제 1 항에 있어서,
상기 가상 공간 객체 생성 단계에서의 가상 공간에 구성되는 객체들에는, 상기 가상 공간으로 진입하기 위한 가상 공간 진입문 객체와, 상기 가상 공간 진입문 객체를 제외한 가상 공간 내부 객체로 이루어지며,
상기 특정된 위치에, 상기 가상 공간을 구성하는 객체들이 생성될 때, 상기 가상 공간 내에 상기 객체들 중 가상 공간 진입문 객체만 가시화 상태가 되는, AR 교육 콘텐츠 체험 서비스 제공 방법.
제 2 항에 있어서,
상기 가상 공간 진입문 객체의 전방에는 상기 카메라와 연동되는 가상 카메라 객체가 더 생성되고,
상기 가상 공간 진입 및 가상 공간 테마 실현 단계에서는,
상기 카메라가 구비된 사용자 단말을 휴대한 사용자가 현실 세계에서 이동을 하면, 상기 카메라와 연동된 가상 카메라 객체도, 상기 사용자가 이동한 위치와 방향으로 동일하게 이동하다가 가상 공간 진입문 객체와 부딪혀 충돌하게 됨에 따라 상기 가상 공간 내에 생성된 모든 객체가 가시화되는, AR 교육 콘텐츠 체험 서비스 제공 방법.
제 1 항에 있어서,
상기 실내 공간의 평면 인식 단계는,
상기 카메라를 통해, 상기 현실 세계의 실내 공간의 바닥면 또는 벽면을 촬영하는 촬영 단계; 및
상기 촬영된 영상을 판독하여, 상기 실내 공간의 바닥면 또는 벽면이 평평한 지의 여부를 판단하는 평면 여부 판단 단계;를 포함하고,
상기 실내 공간의 바닥면 또는 벽면이 평평하면, 상기 가상 공간 객체의 생성 위치 특정 단계를 수행하며,
상기 실내 공간의 바닥면 또는 벽면이 평평하지 않으면, 상기 촬영 단계로 되돌아가는, AR 교육 콘텐츠 체험 서비스 제공 방법.
제 4 항에 있어서,
상기 가상 공간 객체의 생성 위치 특정 단계는,
상기 실내 공간의 평면 인식 단계에서, 상기 실내 공간의 바닥면 또는 벽면이 평평했을 때, 상기 실내 공간의 바닥면 또는 벽면을 촬영하여 얻어진 영상의 중앙에 가상의 제1 표시기 객체가 표시되는 단계;
상기 제1 표시기 객체를 상기 영상 내의 상측에 위치시킴으로써 상기 제1 표시기 객체 위에, 가상의 제2 표시기 객체가 표시되는 단계; 및
상기 영상의 소정 부위를 사용자에 의해 터치함에 따라 상기 제1,2 표시기 객체가 위치하는 부분에, 상기 가상 공간 진입문 객체가 생성되는 단계;를 포함하는, AR 교육 콘텐츠 체험 서비스 제공 방법.
제 3 항에 있어서,
상기 가상 공간 진입 및 가상 공간 테마 실현 단계에서는,
상기 단말 사용자의 보행을 통해 상기 사용자가 선택한 가상 공간 테마가 실현되어 사용자가 상기 가상 공간 테마를 체험하게 되며,
사용자의 생활 공간의 협소에 따른 상기 체험에 제약이 있을 경우에는, 상기 사용자 단말에 구비된 버튼을 이용하는, AR 교육 콘텐츠 체험 서비스 제공 방법.
제 6 항에 있어서,
상기 사용자 단말에 구비된 버튼은,
상기 가상 공간 객체의 크기를 조절하는 가상 공간 크기 조절 버튼과,
상기 가상 공간 내에서의 이동시, 사용자 보행을 통하지 않고 이동하기 위한 이동 버튼을 포함하는, AR 교육 콘텐츠 체험 서비스 제공 방법.
제 1 항에 있어서,
상기 콘텐츠 정보 제공 단계에서, 상기 사용자에게 상기 가상 공간 테마에 대한 콘텐츠 정보의 제공이 완료되면,
상기 콘텐츠 정보의 제공이 완료됨과 동시에, 상기 사용자 단말 내에 구비된 카메라가 동작하는, AR 교육 콘텐츠 체험 서비스 제공 방법.
제 1 항에 있어서,
상기 사용자 단말 또는 상기 카메라 내에는 자이로 센서, 가속도 센서 및 3D 깊이 센서가 구비되고,
상기 자이로 센서는 상기 사용자 단말의 기울임 정도나 회전 방향과 회전 속도를 측정하고,
상기 가속도 센서는 상기 사용자 단말이 이동함에 따라, 상기 사용자 단말의 움직임을 감지하고 상기 사용자 단말의 움직이는 속도를 측정하며,
상기 3D 깊이 센서는 상기 카메라에 의해 촬영된 영상 내의 피사체들에 대한 특징점을 추출하며, 이 추출한 특징점을 포함하여 영상의 모든 픽셀에 대한 3차원 좌표를 획득하는, AR 교육 콘텐츠 체험 서비스 제공 방법.
제 4 항에 있어서,
상기 현실 세계에서의 카메라와 상기 제1 표시기 객체간 거리가 1.6m를 초과하여 이격시킴으로써 상기 현실 세계에서의 바닥면 또는 벽면에 제2 표시기 객체가 생성되는, AR 교육 콘텐츠 체험 서비스 제공 방법.
증강 현실을 기반으로 현실 세계에 생성된 가상 공간 속에서 사용자에게 교육 콘텐츠를 제공하는 사용자 단말과, 이 사용자 단말과 데이터 통신이 이루어지는 AR 교육 콘텐츠 체험 서비스 제공 서버를 포함하는 AR 교육 콘텐츠 체험 서비스 제공 시스템으로서,
상기 사용자 단말은,
상기 AR 교육 콘텐츠 체험 서비스 제공 서버로부터, 사용자에게 상기 AR 교육 콘텐츠 체험 서비스를 제공하기 위한 어플리케이션을 다운로딩 및 설치하고, 실행하고,
상기 AR 교육 콘텐츠 체험 서비스 제공 서버로부터 AR 교육 콘텐츠 체험 서비스 제공 데이터를 다운로딩하며,
수신된 상기 AR 교육 콘텐츠 체험 서비스 제공 데이터 중 실행 대상의 가상 공간 테마가 상기 사용자에 의해 선택되며,
상기 사용자 단말의 출력부를 통해, 상기 사용자에게, 상기 가상 공간 테마에 대한 콘텐츠 정보를 제공하고,
상기 사용자 단말 내에 구비된 카메라가 동작하여 현실 세계를 촬영하고,
상기 카메라를 통해 획득한 영상 내의 피사체에 대한 특징점을 기초로 하여, 현실 세계의 실내 공간의 평면을 인식하며,
상기 인식된 현실 세계의 실내 공간의 평면에, 가상 공간 객체가 생성될 위치를 특정하고,
상기 특정된 위치에, 상기 가상 공간을 구성하는 객체들이 생성되고,
상기 카메라가 구비되어 있는 상기 사용자 단말을 휴대한 상기 사용자의 이동에 따라, 상기 카메라와 연동된 가상 카메라 객체가 상기 가상 공간 내로 진입하고, 사용자가 선택한 가상 공간 테마가 실현되는, AR 교육 콘텐츠 체험 서비스 제공 방법.
증강 현실을 기반으로 현실 세계에 생성된 가상 공간 속에서 사용자에게 교육 콘텐츠를 제공하고; AR 교육 콘텐츠 체험 서비스를 제공하기 위한 어플리케이션을 저장하는 AR 교육 콘텐츠 체험 서비스 제공 서버와 데이터 통신이 이루어지는 사용자 단말로서,
상기 AR 교육 콘텐츠 체험 서비스 제공 서버로부터, 사용자에게 상기 AR 교육 콘텐츠 체험 서비스를 제공하기 위한 어플리케이션을 다운로딩 및 설치하고, 실행하고,
상기 AR 교육 콘텐츠 체험 서비스 제공 서버로부터 AR 교육 콘텐츠 체험 서비스 제공 데이터를 다운로딩하며,
수신된 상기 AR 교육 콘텐츠 체험 서비스 제공 데이터 중 실행 대상의 가상 공간 테마가 상기 사용자에 의해 선택되며,
상기 사용자 단말의 출력부를 통해, 상기 사용자에게, 상기 가상 공간 테마에 대한 콘텐츠 정보를 제공하고,
상기 사용자 단말 내에 구비된 카메라가 동작하여 현실 세계를 촬영하고,
상기 카메라를 통해 획득한 영상 내의 피사체에 대한 특징점을 기초로 하여, 현실 세계의 실내 공간의 평면을 인식하며,
상기 인식된 현실 세계의 실내 공간의 평면에, 가상 공간 객체가 생성될 위치를 특정하고,
상기 특정된 위치에, 상기 가상 공간을 구성하는 객체들이 생성되고,
상기 카메라가 구비되어 있는 상기 사용자 단말을 휴대한 상기 사용자의 이동에 따라, 상기 카메라와 연동된 가상 카메라 객체가 상기 가상 공간 내로 진입하고, 사용자가 선택한 가상 공간 테마가 실현되는, AR 교육 콘텐츠 체험 서비스 제공 방법.
청구항 1 내지 10에 기재된 AR 교육 콘텐츠 체험 서비스 제공 방법을 컴퓨터에 실행시키기 위하여 매체에 저장된 프로그램.
청구항 1 내지 10에 기재된 AR 교육 콘텐츠 체험 서비스 제공 방법을 컴퓨터에 실행시키는 프로그램을 기억하는 컴퓨터 판독 가능한 기억매체.