KR20210109362A

KR20210109362A - 혼합현실 내 몰입적 체험교육 제공을 위한 방법, 장치 및 프로그램

Info

Publication number: KR20210109362A
Application number: KR1020200024573A
Authority: KR
Inventors: 박성훈
Original assignee: 주식회사 디지포레
Priority date: 2020-02-27
Filing date: 2020-02-27
Publication date: 2021-09-06

Abstract

본 발명은 혼합현실 내 몰입적 체험교육 제공을 위한 방법, 장치 및 프로그램에 관한 것이다.
본 발명의 일 실시예에 따른 혼합현실 내 몰입적 체험교육 제공을 위한 방법은, 서버가 입력장치로부터 교육 컨텐츠 선택입력을 수신하는 단계; 상기 서버가 상기 입력장치로부터 교육 컨텐츠 제공 위치 선택입력을 수신하는 단계; 상기 서버가 사용자에게 교육 컨텐츠를 제공하는 단계; 및 상기 서버가 사용자의 미션 수행에 대한 평가 결과를 제공하는 단계를 포함한다.

Description

혼합현실 내 몰입적 체험교육 제공을 위한 방법, 장치 및 프로그램 {METHOD, APPARATUS AND PROGRAM FOR PROVIDING IMMERSIVE EXPERIENCE EDUCATION IN MIXED REALITY}

본 발명은 혼합현실 내 몰입적 체험교육 제공을 위한 방법, 장치 및 프로그램에 관한 것이다.

혼합현실(MR; Mixed Reality)이란 사용자가 눈으로 보는 현실 세계에 컴퓨터로 만든 가상의 오브젝트 또는 정보를 갖는 가상 세계를 겹쳐서 보여주는 기술을 말한다.

혼합현실에 대한 기술의 발전으로 다양한 분야에서 이를 응용하려는 시도가 이루어지고 있으며, 교육 분야에서도 혼합현실 기술을 접목시키는 시도가 활발히 이루어지고 있다.

그러나, 기존의 혼합현실을 이용한 교육용 컨텐츠는 사용자가 능동적으로 참여하지 않도록 구성되어 피교육자인 사용자가 교육용 컨텐츠에 흥미를 느끼거나 몰입하기 어려운 문제점이 있었다.

공개특허공보 제10-2014-0032575호, 2014.03.17

본 발명이 해결하고자 하는 과제는 다양한 시나리오에 따라 구성된 장면들을 사용자가 주인공이 되어 다양한 미션들을 수행하며 교육을 진행할 수 있도록 구성된 교육용 컨텐츠를 제공하는 것이다.

또한, 본 발명이 해결하고자 하는 과제는, 사용자의 미션 수행 결과 및 이에 대한 평가를 제공하는 교육용 컨텐츠를 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따른 서버가 혼합현실 기반으로 체험 교육 컨텐츠를 제공하는 방법은, 서버가 입력장치로부터 교육 컨텐츠 선택입력을 수신하는 단계; 상기 서버가 상기 입력장치로부터 교육 컨텐츠 제공 위치 선택입력을 수신하는 단계; 상기 서버가 사용자에게 교육 컨텐츠를 제공하는 단계; 및 상기 서버가 사용자의 미션 수행에 대한 평가 결과를 제공하는 단계를 포함한다.

또한, 다른 일 실시예로, 상기 교육 컨텐츠는, 특정한 시나리오에 대응되는 복수의 장면이 포함되고, 상기 복수의 장면은, 자동장면 또는 미션장면을 포함하고, 상기 자동장면은, 사용자의 입력과 관계없이 자동으로 진행되는 장면이고, 상기 미션장면은, 각각의 장면마다 설정된 미션이 있고, 사용자의 입력에 따른 미션 조건 충족 시 다음 장면으로 진행 가능한 장면인 것을 특징으로 한다.

또한, 다른 일 실시예로, 상기 입력장치 및 출력장치는 IMU센서, 위치센서 또는 음향센서를 포함하고, 상기 미션은, 음성 인식 미션, 오브젝트 미션, 터치 미션 또는 키스 미션을 포함하고, 상기 미션 조건 충족 판단은, 상기 IMU센서, 위치센서 또는 음향센서로부터 수집한 상기 입력장치의 위치정보, 상기 입력장치의 회전정보, 상기 출력장치의 위치정보, 상기 출력장치의 회전정보 또는 사용자의 음성정보를 기초로 판단하는 것이다.

또한, 다른 일 실시예로, 상기 미션이 음성 인식 미션인 경우, 상기 미션 수행에 대한 평가 결과는, 기준 텍스트에 포함된 단어의 개수에 대한 상기 사용자의 음성정보가 인식된 텍스트에 포함된 단어의 개수의 비율을 포함하는 것이다.

본 발명의 또 다른 일 실시예에 따른 교육 컨텐츠 제공 프로그램은, 하드웨어와 결합되어 상기 언급된 교육 컨텐츠 제공 방법을 실행하며, 매체에 저장된다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

상기 본 발명에 의하면, 다양한 시나리오에 따라 구성된 장면들을 사용자가 주인공이 되어 다양한 미션들을 수행하며 교육을 진행할 수 있도록 구성된 교육용 컨텐츠를 통해 사용자의 흥미를 유발하고 몰입감을 향상시킴으로써 사용자의 높은 참여율 및 이에 따른 교육 효과를 기대할 수 있다.

또한, 상기 본 발명에 의하면, 사용자의 미션 수행에 대한 평가 결과를 제공함으로써, 사용자의 교육에 대한 동기 부여를 기대할 수 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 혼합현실 내 몰입적 체험교육 제공 시스템의 관계도이다.
도 2는 본 발명의 일 실시예에 따른 입력장치를 설명하기 위한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 혼합현실 내 몰입적 체험교육 제공 방법의 순서도이다.
도 4는 본 발명의 일 실시예에 따른 교육 컨텐츠 선택입력 수신 단계를 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 교육 컨텐츠 제공 위치 선택입력 수신 단계를 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 최종위치 주변 공간 인식 단계를 설명하기 위한 예시도이다.
도 7 내지 도 11은 본 발명의 일 실시예에 따른 다양한 미션 수행 조건을 포함하는 교육 컨텐츠 제공 단계를 설명하기 위한 예시도이다.
도 12는 본 발명의 일 실시예에 따른 미션 수행 평가 결과 제공 단계를 설명하기 위한 예시도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 혼합현실 내 몰입적 체험교육 제공 시스템의 관계도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 혼합현실 내 몰입적 체험교육 제공 시스템은, 입력장치(10), 출력장치(20) 및 서버(30)로 구성된다.

상기 입력장치(10)는, 본 발명의 일 실시예에 따른 혼합현실 내 몰입적 체험교육의 진행과 관련한 명령 또는 데이터를 서버로 전송하기 위한 장치이다. 예를 들어, 상기 입력장치는 컨트롤러, 마이크, 마우스 또는 키보드를 포함할 수 있다.

도 2는 본 발명의 일 실시예에 따른 입력장치를 설명하기 위한 예시도이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 입력장치는 컨트롤러이고, 상기 컨트롤러는 터치 패드(1), 범퍼(2), 트리거(3) 또는 홈버튼(4) 중 적어도 하나 이상의 버튼을 포함한다.

일 실시예에서, 상기 터치 패드(1)는 사용자로부터 회전 또는 스크롤 명령을 입력받기 위한 것이다.

일 실시예에서, 상기 범퍼(2)는 터치 패드, 트리거 또는 홈버튼과 조합되어 새로운 명령을 입력받기 위한 것이다.

일 실시예에서, 상기 트리거(3)는 사용자로부터 선택 명령을 입력받기 위한 것이다.

일 실시예에서, 상기 홈버튼(4)는 사용자로부터 시작 화면으로 이동 명령을 입력받기 위한 것이다.

일 실시예에서, 상기 입력장치(20)는, IMU 센서(Inertial Measurement Unit Sensor) 또는 위치 센서를 더 포함할 수 있다. 또한, 일 실시예에서, 상기 IMU 센서는 3축 가속도 센서(Acceleration Sensor), 3축 자이로스코프 센서(Gyroscope Sensor) 및 3축 지자기 센서(terrestrial magnetism Sensor)중 적어도 하나 이상을 포함한다. 3축 가속도 센서는 x축, y축, z축의 이동관성(가속도)를 측정한다. 3축 자이로스코프 센서는 x축, y축, z축의 회전관성(각속도)를 측정한다. 3축 지자기 센서는 x축, y축, z축의 방위각(지자기의 방향)을 측정한다.

일 실시예에서, 상기 입력장치(20)의 IMU 센서 또는 위치 센서를 통하여 센싱된 사용자의 손의 위치정보 또는 회전정보를 서버(30)에 전송할 수 있다.

일 실시예에서, 서버가 입력장치로부터 수신한 사용자의 손의 위치정보 또는 회전정보는, MR공간 상에 출력되는 사용자 캐릭터의 손의 위치정보 또는 회전정보 생성에 이용될 수 있다.

또한, 일 실시예에서, 상기 입력장치(10)는 사용자의 음성 인식을 위한 음향 센서를 더 포함할 수 있다.

다른 실시예에서, 상기 음향 센서는 출력장치(20)에 포함되거나, 컨트롤러와 별도의 입력장치로 구성될 수 있다.

상기 출력장치(20)는, 본 발명의 일 실시예에 따른 혼합현실 내 몰입적 체험교육의 진행과 관련한 MR 공간 상의 유저 인터페이스(User Interface; UI), 가상의 오브젝트 또는 아바타를 출력하기 위한 장치이다. 예를 들어, 상기 출력장치는 헤드셋 또는 글라스 등의 MR기기일 수 있다.

일 실시예에서, 상기 출력장치(20)는 IMU 센서 또는 위치 센서를 더 포함할 수 있다. 또한, 상기 출력장치(20)가 헤드셋 또는 글라스와 같이 사용자의 머리에 착용되는 장치인 경우, 상기 출력장치(20)는 사용자 머리의 위치정보 또는 회전정보를 센싱하여 서버(30)에 전송할 수 있다.

일 실시예에서, 서버가 출력장치로부터 수신한 사용자의 머리의 위치정보 또는 회전정보는, MR공간 상에 출력되는 사용자 캐릭터의 위치정보 또는 사용자 시점 회전정보 생성에 이용될 수 있다.

구체적으로, 상기 수신한 회전정보가 수직 회전인 경우 사용자 캐릭터의 얼굴이 수직으로 회전되는 것이고, 상기 수신한 회전정보가 수평 회전인 경우 사용자 캐릭터 전체가 수평으로 회전되는 것일 수 있으나, 이에 제한되지 않는다.또한, 일 실시예에서, 상기 출력장치(20)는 깊이센서(depth sensor)를 더 포함할 수 있다. 상기 깊이 센서로부터 인식된 깊이정보를 기초로 3차원 공간 상에 메시(mesh)가 생성될 수 있다.

상기 서버(30)는, 상기 입력장치(10)로부터 사용자의 입력을 수신하고, 이를 기초로 혼합현실 내 몰입적 체험교육을 진행하며, 진행과정에 대응되는 출력신호를 상기 출력장치(20)로 전송한다. 이에 대하여는, 자세히 후술한다.

도 3은 본 발명의 일 실시예에 따른 혼합현실 내 몰입적 체험교육 제공 방법의 순서도이다.

도 3을 참조하면, 본 발명의 일 실시예에 따른 혼합현실 내 몰입적 체험교육 제공 방법은, 서버가 입력장치로부터 교육 컨텐츠 선택입력을 수신하는 단계(S100); 상기 서버가 상기 입력장치로부터 교육 컨텐츠 제공 위치 선택입력을 수신하는 단계(S200); 상기 서버가 사용자에게 교육 컨텐츠를 제공하는 단계(S300); 및 상기 서버가 사용자의 미션 수행에 대한 평가 결과를 제공하는 단계(S400)를 포함한다. 이하, 각 단계에 대한 상세한 설명을 기술한다.

이해의 편의를 위하여 로미오와 줄리엣 시나리오 기반 MR 공간에서의 사용자의 미션 진행을 통한 영어교육 컨텐츠의 경우를 예시로 본 발명의 일 실시예에 따른 혼합현실 내 몰입적 체험교육 제공 방법을 설명하나, 본 발명이 상기 예시에 제한되는 것은 아니다.

서버(30)가 입력장치(10)로부터 교육 컨텐츠 선택입력을 수신한다(S100).

일 실시예에서, 상기 교육 컨텐츠 선택입력은, 교육 컨텐츠의 유형, 난이도 또는 교육 목적 등 교육 컨텐츠에 관련된 선택사항에 대한 입력일 수 있다.

예를 들어, 도 4를 참조하면, 도 4의 경우 사용자가 "ENGLISH(2)"를 선택하는 경우 교육 컨텐츠 진행 시 출력되는 텍스트가 영문으로 출력될 수 있고, "한글(3)"을 선택하는 경우 한글로 출력될 수 있다. 또한, 일 실시예에서, 도 4와 같이 교육 컨텐츠의 유형, 난이도 등의 선택이 완료된 경우 "START(1)"를 선택함에 따라 교육 컨텐츠를 진행할 수 있다.

이어서, 서버(30)가 입력장치(10)로부터 교육 컨텐츠 제공 위치 선택입력을 수신한다(S200).

상기 교육 컨텐츠 제공 위치는, MR 공간 상에서 교육 컨텐츠 진행에 따라 가상의 오브젝트 또는 아바타가 출력되는 위치일 수 있다.

도 5를 참조하면, 일 실시예에서, 상기 교육 컨텐츠 제공 위치 선택입력은, 상기 입력장치(10) 또는 출력장치(20)의 방향에 따라 상기 MR공간 상에서 방향선(ray)이 형성되고, 상기 방향선의 이동(즉, 사용자에 의한 입력장치 또는 출력장치의 이동)에 따라 도 5(a)와 같이 후보위치가 설정될 수 있다.

이어서, 사용자가 입력장치의 트리거(3)를 조작하여 후보위치를 교육 컨텐츠 제공 최종위치로 선택할 수 있다. 이 과정에서, 도 5(b)와 같이 최종위치 확인 여부 선택 단계를 더 포함할 수 있다.

한편, 도 5(c)를 참조하면, 후보위치가 교육 컨텐츠 제공 위치 조건을 충족하지 않는 경우, 선택할수 없음에 대한 알림을 출력할 수 있다.

일 실시예에서, 상기 교육 컨텐츠 제공 최종위치가 선택된 이후에, 최종위치 주변 공간을 인식하는 단계를 더 포함할 수 있다.

예를 들어, 최종위치에 메인 오브젝트(예를 들어, 탁자 오브젝트)가 생성되고 최종위치 주변에 다른 오브젝트(예를 들어, 배경 오브젝트)가 생성되는 교육 컨텐츠를 제공하는 경우, 최종위치 주변 공간의 오브젝트 배치를 위한 메시(mesh)를 생성하기 위해 주변 공간을 인식(깊이정보 센싱)하는 것이다.

도 6을 참조하면, 일 실시예에서 상기 주변 공간 인식 단계는, 최종위치로부터 특정 간격 이격된 위치에 하나 이상의 공간 인식 UI를 출력하여 사용자의 주변공간에 대한 시선을 유도할 수 있다.

일 실시예에서, 도 6(a)와 같이 선택된 최종위치로부터 좌측 및 우측으로 일정 간격(예를 들어, 2m) 상에 공간 인식 UI를 출력하여 사용자가 주변 공간을 둘러보도록 유도함으로써, 컨텐츠 제공을 위해 필요한 공간의 깊이정보를 출력장치의 깊이센서로 인식하여 메시를 생성할 수 있다.

구체적으로, 도 6(b) 및 (c)를 참조하면, 우선 최종위치의 좌측에 대기 상태의 좌측 UI가 출력된다.

이어서, 헤드셋과 같은 출력장치(20)를 머리에 착용한 사용자가 상기 좌측 UI를 바라보는 경우, 출력장치의 방향에 따라 MR공간 상에서 방향선(ray)이 형성되어 상기 좌측 UI와 충돌할 수 있다.

상기 출력장치가 최종위치의 좌측공간을 향함에 따라 상기 출력장치의 깊이센서가 좌측공간의 깊이정보를 인식하고, 인식된 깊이정보를 기초로 생성 및 저장된 메시(mesh)가 일정 크기 이상에 도달하는 경우, 상기 좌측 UI가 완료 상태로 출력될 수 있다.

좌측 공간 인식이 완료되는 경우, 최종위치의 우측에 대기 상태의 우측 UI가 출력되어 사용자의 시선을 유도함으로써 우측 공간을 인식할 수 있다.

즉, 상기 주변 공간 인식 단계를 통하여 최종위치 주변 공간에 대한 깊이정보를 인식 및 메시를 생성함으로써, 다양한 오브젝트를 생성하여 교육 컨텐츠를 제공할 공간을 충분히 확보할 수 있다.

교육 컨텐츠 제공 위치가 선택되면, 서버(30)가 출력장치(20)에 교육 컨텐츠를 제공한다(S300).

일 실시예에서, 상기 교육 컨텐츠는 연속되는 복수의 장면(Scene)으로 구성되어 진행되는 것일 수 있다.

일 실시예에서, 상기 복수의 장면은, 사용자의 입력과 관계없이 자동으로 진행되는 자동장면 또는 각각의 장면마다 설정된 미션이 있고, 사용자의 입력에 따른 미션 조건 충족 시 다음 장면으로 진행 가능한 미션장면을 포함할 수 있다.

즉, 일 실시예에서 각각의 교육 컨텐츠에 따라 복수의 장면의 구성 및 순서가 설정되어 있으며, 사용자의 참여에 따라 교육 컨텐츠가 진행되는 것이다.

이하, 도 7 내지 도 11을 참조하여, 로미오와 줄리엣 시나리오 기반 교육 컨텐츠에 포함된 복수의 미션장면을 설명한다. 우선, 도 7 내지 도 8을 참조하여, 제1미션장면을 설명한다.

도 7(a)를 참조하면, 사용자가 선택한 교육 컨텐츠 제공 위치를 기반으로 MR 공간 상에 사용자의 교육 컨텐츠에 대한 몰입을 돕기 위한 배경 오브젝트(1), 선택 오브젝트가 위치할 탁자 오브젝트(2) 및 사용자의 선택을 미션 조건으로 하는 복수의 선택 오브젝트(3)가 생성된다. 구체적으로, 선택된 최종위치에 탁자 오브젝트(2)가 생성되고, 이를 중심으로 배경 오브젝트 또는 선택 오브젝트가 생성될 수 있다.

도 8을 참조하여, 사용자가 선택 오브젝트를 선택하는 방법의 일 실시예에 대하여 자세히 설명한다.

우선 사용자가 선택 가능한 오브젝트는 도 8과 같이 제1효과(파란색 effect)가 출력될 수 있으며, 선택 불가능한 오브젝트는 제2효과(회색 effect)가 출력될 수 있다.

이어서, 제1효과가 출력된 오브젝트에 대하여 컨트롤러(10)의 방향에 따라 상기 MR공간 상에서 형성된 방향선(컨트롤러 ray)이 충돌하는 경우, 해당 오브젝트에 대하여 제3효과(색이 밝게 변함)가 출력될 수 있다.

이어서, 상기 오브젝트에 대하여 제3효과가 출력된 상태에서(즉, 방향선이 상기 오브젝트와 충돌 중인 상태) 사용자가 컨트롤러의 트리거(3)를 조작하면, 상기 오브젝트가 선택되며 선택된 오브젝트에 대하여 제4효과(Particle effect)가 출력될 수 있다.

또한, 도 7 및 도 8을 참조하면, 각각의 선택 오브젝트를 선택하는 경우, 미리 설정된 텍스트가 음성 또는 이미지로 출력될 수 있다.

일 실시예에서, 상기 제1미션장면의 미션 조건은, 복수의 선택 오브젝트(3)를 정해진 순서에 따라 선택하는 것일 수 있다. 이 경우, 순서에 맞지 않거나 이미 선택한 오브젝트는 선택 불가능하도록 제2효과가 출력될 수 있다.

순서에 맞는 선택 오브젝트를 선택한 경우, 각각의 오브젝트에 설정된 텍스트가 음성 또는 이미지로 출력된다. 예를 들어, 도 7(b)를 참조하면, 사용자가 보석 오브젝트를 선택한 경우 "이집트 여인의 귀에 걸린 값비싼 보석 / A rich jewel in an Ethiop's ear", 까마귀 오브젝트를 선택한 경우 "까마귀 무리 / Crows", 꽃병 오브젝트를 선택한 경우 "진정한 아름다움 / True beauty", 횃불 오브젝트를 선택한 경우 "오, 횃불도 그녀에게 빛나는 법을 배우는구나 / Oh, She doth teach the torches to burn bright"의 텍스트가 출력될 수 있다. 상기 텍스트는, 한글 또는 영문 중 적어도 하나 이상으로 출력될 수 있다.

또한, 일 실시예에서, 상기 제1장면의 미션 조건을 충족한 경우, 제1장면을 위하여 생성된 배경 오브젝트(1), 탁자 오브젝트(2) 또는 선택 오브젝트(3)는 이후 진행될 장면에 따라 유지 또는 제거될 수 있다.

이어서, 도 9를 참조하여, 제2미션장면을 설명한다.

도 9(a)를 참조하면, 제2미션장면 시작에 따라 MR공간 상에서 줄리엣 캐릭터의 아바타(이하, 줄리엣)가 생성된 후 사용자 캐릭터(이하, 로미오)를 향하여 이동될 수 있다.

이후 줄리엣이 미리 설정된 기준선에 도달하는 경우, 도 9(b)와 같이 미리 설정된 음석인식 미션 조건이 텍스트 형식으로 출력될 수 있다.

즉, 일 실시예에서, 상기 제2미션장면의 미션 조건은, 사용자로부터 미리 설정된 텍스트에 대한 음성을 인식하는 것일 수 있다. 또한, 전술한 음향 센서가 사용자의 음성을 인식하여 인식된 텍스트를 저장한 경우, 서버가 미션 조건 충족으로 판단할 수 있다.

음성인식 및 저장된 텍스트는 이후 사용자의 미션 수행 평가 결과의 산출에 이용될 수 있으며, 이에 대하여는 후술한다.

이어서, 도 10을 참조하여, 제3미션장면을 설명한다.

일 실시예에서, 도 10(a)를 참조하면, 상기 제3미션장면의 미션 조건은, 줄리엣의 손을 터치하는 터치 조건일 수 있다.

도 10(b)를 참조하여, 일 실시예에 따른 터치 조건의 수행 방법을 설명한다.

터치 미션 알림을 출력한 후, 터치영역(예를 들면, 줄리엣의 손)에 제5효과(Collision 영역 생성)가 출력된다.

이어서, 사용자에 의하여 입력장치(10)가 상기 터치 영역에 위치하는 경우, 제5효과에서 색이 변경된 제6효과가 출력될 수 있다. 상시 입력장치의 위치는 전술한 위치 센서로부터 수집된 위치정보를 기초로 판단될 수 있다.

이어서, 제6효과가 출력된 상태(즉, 입력장치(10)가 터치 영역에 위치한 경우)에서 사용자가 트리거(3)를 일정 시간 이상 조작하는 경우 터치 조건 충족으로 판단되어 제7효과(Particle Effect)를 출력할 수 있다. 또한, 이 경우 트리거의 조작 시간을 표시하는 제8효과(원형 게이지 UI)를 출력할 수 있다.

이어서, 도 11을 참조하여, 제4미션장면을 설명한다.

일 실시예에서, 도 11(a)를 참조하면, 상기 제4미션장면의 미션 조건은, 줄리엣과 키스하는 조건일 수 있다.

도 11(b)를 참조하여, 일 실시예에 따른 키스 조건의 수행 방법을 설명한다.

키스 미션 알림을 출력한 후, 줄리엣 캐릭터 얼굴 앞의 키스영역에 제9효과(Collision 영역 생성)가 출력된다.

이어서, 사용자의 머리에 착용된 출력장치(20)가 키스 영역에 위치하는 경우 미션 조건 충족으로 판단될 수 있다.

이하, 도 7 내지 도 11을 참조하여 로미오와 줄리엣 시나리오 기반 교육 컨텐츠에 포함된 복수의 미션장면을 설명하였으나 이는 예시일 뿐이며, 본 발명의 교육 컨텐츠 및 미션 조건은 이에 제한되지 않는다.

서버가 사용자의 미션 수행에 대한 평가 결과를 제공한다(S400). 즉, 사용자가 선택한 교육 컨텐츠에 포함된 복수의 장면에 대하여 모두 진행 완료한 경우, 복수의 장면에 포함된 미션 수행에 대한 평가 결과를 제공한다.

일 실시예에서, 상기 미션 수행에 대한 평가 결과는, 복수의 미션 중 일부 미션에 대하여만 산출된느 것일 수 있다.

구체적으로, 전술한 예시의 경우, 특정 오브제트의 선택, 터치, 키스의 미션 조건은 장면의 진행을 위한 미션이므로, 상기 미션 수행에 대한 평가 결과에 반영되지 않고, 교육 목적에 부합하는 음성 인식 미션에 대한 수행 결과만 반영될 수 있다.

또한, 일 실싱예에서, 평가의 대상이 되는 미션이 음성 인식 미션인 경우, 미션 수행 결과의 평가는 사용자의 음성이 인식되어 저장된 텍스트와 기준 텍스트를 비교하여 이루어질 수 있다.

구체적으로, 상기 음성 인식 미션의 평가는, 각각의 텍스트에 포함된 단어들을 기준으로, 기준 텍스트에 포함된 단어에 대한 사용자의 음성 텍스트에 포함된 단어의 비율을 산출하는 것일 수 있다.

사용자의 미션 수행 평가 결과는, 도 12와 같이 출력되어 사용자에게 제공될 수 있다. 예를 들어, 산출된 비율 및 비율에 따라 미리 설정된 텍스트(EXCELLENT)가 함께 출력될 수 있다.

도 12(a)를 참조하면, 일 실시예에서 사용자의 미션 수행 평가 결과 제공 후, 엔딩 장면 또는 사용자로부터 재도전 여부의 선택을 입력받는 화면을 출력할 수 있다.

또한, 전술한 본 발명의 일 실시예에 따른 혼합현실 내 몰입적 체험교육 제공 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

10: 입력장치
20: 출력장치
30: 서버

Claims

서버가 혼합현실 기반으로 체험 교육 컨텐츠를 제공하는 방법에 있어서,
서버가 입력장치로부터 교육 컨텐츠 선택입력을 수신하는 단계;
상기 서버가 상기 입력장치로부터 교육 컨텐츠 제공 위치 선택입력을 수신하는 단계;
상기 서버가 사용자에게 교육 컨텐츠를 제공하는 단계; 및
상기 서버가 사용자의 미션 수행에 대한 평가 결과를 제공하는 단계를 포함하는, 교육 컨텐츠 제공 방법.
제1항에 있어서,
상기 교육 컨텐츠는, 특정한 시나리오에 대응되는 복수의 장면이 포함되고,
상기 복수의 장면은, 자동장면 또는 미션장면을 포함하고,
상기 자동장면은, 사용자의 입력과 관계없이 자동으로 진행되는 장면이고,
상기 미션장면은, 각각의 장면마다 설정된 미션이 있고, 사용자의 입력에 따른 미션 조건 충족 시 다음 장면으로 진행 가능한 장면인 것을 특징으로 하는, 교육 컨텐츠 제공 방법.
제2항에 있어서,
상기 입력장치 및 출력장치는 IMU센서, 위치센서 또는 음향센서를 포함하고,
상기 미션은, 음성 인식 미션, 오브젝트 미션, 터치 미션 또는 키스 미션을 포함하고,
상기 미션 조건 충족 판단은, 상기 IMU센서, 위치센서 또는 음향센서로부터 수집한 상기 입력장치의 위치정보, 상기 입력장치의 회전정보, 상기 출력장치의 위치정보, 상기 출력장치의 회전정보 또는 사용자의 음성정보를 기초로 판단하는 것인, 교육 컨텐츠 제공 방법.
제3항에 있어서,
상기 미션이 음성 인식 미션인 경우,
상기 미션 수행에 대한 평가 결과는, 기준 텍스트에 포함된 단어의 개수에 대한 상기 사용자의 음성정보가 인식된 텍스트에 포함된 단어의 개수의 비율을 포함하는, 교육 컨텐츠 제공 방법.
하드웨어인 컴퓨터와 결합되어, 제1항 내지 제4항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된, 교육 컨텐츠 제공 프로그램.