KR102616505B1

KR102616505B1 - 사용자 행동 기반의 실감 학습 콘텐츠 제공 방법

Info

Publication number: KR102616505B1
Application number: KR1020200111520A
Authority: KR
Inventors: 박정호; 조민영
Original assignee: 주식회사 듀코젠
Priority date: 2020-08-24
Filing date: 2020-09-02
Publication date: 2023-12-21
Also published as: KR20220025618A

Abstract

사용자 행동 기반의 실감 학습 콘텐츠 제공 방법이 개시된다. 본 발명의 실감 학습 콘텐츠 제공 방법은, HMD(Head Mounted Display) 및 양손 입력을 위한 VR 콘트롤러(Virtual Reality Controller)와 연동하는 VR 콘텐츠 제공용 컴퓨터가, HMD를 착용한 사용자의 관심 항목을 포함하는 인벤토리를 사용자가 바라보는 방향의 화면 상단에 표시하는 단계; 사용자의 행동 데이터에 기초하여 해당 사용자에게 추천할 복수의 VR 콘텐츠를 선정하고 각 VR 콘텐츠에 대한 추천 순서를 결정하는 단계; 선정된 VR 콘텐츠를 나타내는 썸네일 형태의 카드들을 인벤토리의 하단에 배열하되, 추천 순서에 따라 화면의 우측 및 좌측에 번갈아가며 거리 차이를 두어 배치하고 사용자가 오른손잡이인지 왼손잡이인지 여부에 따라 화면의 우측 또는 좌측에 우선적으로 배치하는 단계; VR 콘트롤러를 통해 사용자가 손가락을 펴서 카드 중 하나를 클릭하는 제스처가 감지되면, 클릭한 카드에 대응하는 VR 콘텐츠의 미리보기 데이터를 획득하는 단계; 및 미리보기 데이터를 카드보다 큰 사이즈로 카드에 오버레이하여 홀로그램 형태로 재생하는 단계;를 포함할 수 있다.

Description

사용자 행동 기반의 실감 학습 콘텐츠 제공 방법{Method for providing reality feeling learning contents based on user behavior}

본 발명은 VR 콘텐츠(Virtual Reality Contents)의 제공 방법에 대한 것으로, 더 구체적으로는 사용자가 VR HMD(Virtual Reality Head Mounted Display)를 쓰고 양손에 VR 콘트롤러(Controller)를 잡고 실감 학습 콘텐츠를 저작하거나 체험함에 있어서 편리하게 작업할 수 있도록 VR 콘텐츠를 사용자 맞춤형으로 효율적으로 표시하는 방법에 대한 것이다.

실감형 콘텐츠란 다양한 센서를 이용해서 사람의 제스처, 모션, 음성 등 행위를 인식하고 분석하는 기술을 활용하여 가상의 디지털 콘텐츠를 실제의 물체처럼 조작할 수 있게 만든 디지털 콘텐츠를 말한다.

근래에는 온라인 학습에 대한 수요가 증가하고 있으며 온라인 학습 콘텐츠 저작시 실감형으로 제작되는 경우도 많아지고 있다.

종래의 실감 학습 콘텐츠 저작 도구나 재생 도구에 따르면 사용자의 취향이나 선호도에 따라 사용자별로 적절한 리소스나 콘텐츠를 추천해주고 효율적으로 원하는 아이템을 선택할 수 있는 사용자 인터페이스가 부족한 실정이다.

본 발명은 상기와 같은 종래 기술의 문제점을 해소하기 위한 것으로, 사용자가 로그인할 때마다 자신의 최신 관심사 및 취향이 반영된 VR 콘텐츠 리스트를 추천하며, 가장 선순위로 추천된 VR 콘텐츠를 가장 조작하기 쉬운 위치에 배치하여 사용자 편의를 도모할 수 있는 사용자 행동 기반의 실감 학습 콘텐츠 제공 방법을 마련하고자 한다.

상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 사용자 행동 기반의 실감 학습 콘텐츠 제공 방법은, HMD(Head Mounted Display) 및 양손 입력을 위한 VR 콘트롤러(Virtual Reality Controller)와 연동하는 VR 콘텐츠 제공용 컴퓨터가, 상기 HMD를 착용한 사용자의 관심 항목을 포함하는 인벤토리를 상기 사용자가 바라보는 방향의 화면 상단에 표시하는 단계; 상기 사용자의 행동 데이터에 기초하여 해당 사용자에게 추천할 복수의 VR 콘텐츠를 선정하고 각 VR 콘텐츠에 대한 추천 순서를 결정하는 단계; 상기 선정된 VR 콘텐츠를 나타내는 썸네일 형태의 카드들을 상기 인벤토리의 하단에 배열하되, 상기 추천 순서에 따라 화면의 우측 및 좌측에 번갈아가며 거리 차이를 두어 배치하고 상기 사용자가 오른손잡이인지 왼손잡이인지 여부에 따라 상기 화면의 우측 또는 좌측에 우선적으로 배치하는 단계; 상기 VR 콘트롤러를 통해 상기 사용자가 손가락을 펴서 상기 카드 중 하나를 클릭하는 제스처가 감지되면, 상기 클릭한 카드에 대응하는 VR 콘텐츠의 미리보기 데이터를 획득하는 단계; 및 상기 획득된 미리보기 데이터를 상기 선택된 카드보다 큰 사이즈로 상기 선택된 카드에 오버레이하여 홀로그램 형태로 재생하는 단계;를 포함할 수 있다.

상기 사용자 행동 기반의 실감 학습 콘텐츠 제공 방법은, 상기 VR 콘트롤러를 통해 상기 사용자가 상기 카드 중 하나를 손으로 움켜쥐는 제스처가 감지되면, 해당 카드의 사이즈를 축소하여 상기 사용자의 손에 쥐어지도록 표시하는 단계; 및 상기 VR 콘트롤러를 통해 상기 사용자가 손에 쥔 카드를 상기 인벤토리에 던져 넣는 제스처가 감지되면, 해당 카드를 상기 인벤토리 내부로 이동시키고 나머지 카드들을 재배치하는 단계;를 더 포함할 수 있다.

상기 사용자 행동 기반의 실감 학습 콘텐츠 제공 방법은, 상기 사용자가 최초 로그인시 선택한 관심 있는 실감 학습 콘텐츠의 유형에 대한 정보, 상기 사용자가 실감 학습 콘텐츠를 재생하여 학습하는 과정에서 수집되는 정보, 상기 사용자의 방문 이력, 상기 사용자가 체험한 실감 학습 콘텐츠의 메타데이터 및 상기 사용자에 대한 개인 정보 중 적어도 하나를 이용하여 상기 사용자의 행동 데이터를 생성하는 단계;를 더 포함할 수 있다.

상기 사용자 행동 기반의 실감 학습 콘텐츠 제공 방법은, 상기 사용자가 최초 로그인시 선택한 관심 있는 VR 리소스의 유형에 대한 정보, 상기 사용자가 실감 학습 콘텐츠를 저작하는 과정에서 수집되는 정보, 상기 사용자가 반복 사용한 VR 리소스의 메타데이터, 상기 사용자가 저작한 실감 학습 콘텐츠의 메타데이터 및 상기 사용자에 대한 개인 정보 중 적어도 하나를 이용하여 상기 사용자의 행동 데이터를 생성하는 단계;를 더 포함할 수 있다.

본 발명에 의하면, 사용자는 로그인시 자신의 최신 관심사 및 취향이 반영된 추천 VR 콘텐츠 리스트를 볼 수 있으며, 가장 선순위로 추천된 VR 콘텐츠가 편한 손에 가까이 배치되므로 가장 편한 동작으로 VR 콘텐츠를 조작할 수 있다.

도 1은 본 발명의 일 실시예에 따른 사용자 행동 기반의 실감 학습 콘텐츠 제공 시스템의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 사용자 행동 기반의 실감 학습 콘텐츠 제공 방법을 설명하기 위한 순서도이다.
도 3 내지 도 12는 본 발명의 일 실시예에 따라 사용자 행동 기반의 실감 학습 콘텐츠를 제공하기 위한 사용자 인터페이스를 예시한 것이다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...수단", "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

도 1은 본 발명의 일 실시예에 따른 사용자 행동 기반의 실감 학습 콘텐츠 제공 시스템의 구성을 설명하기 위한 도면이다.

도 1을 참조하면, VR(Virtual Reality) 장비는 HMD(Head Mounted Display, 110) 및 양손 입력을 위한 VR 콘트롤러(VR Controller, 120, 130)를 포함하며, VR 장비는 VR 콘텐츠를 사용자에게 제공하는 VR 콘텐츠 제공 장치(100)와 연동하여 VR 콘텐츠의 저작 및 재생을 위한 입출력 기능을 수행한다.

본 발명에서 VR 콘텐츠는 VR 환경 내에서 학습 환경을 지원하는 실감 학습 콘텐츠와 이를 저작하는데 사용되는 VR 리소스(Resource)를 포함할 수 있다.

VR 콘텐츠 제공 장치(100)는 VR 콘트롤러(120, 130)를 통한 사용자의 입력에 따라 VR 리소스 즉, 인물 또는 사물을 나타내는 적어도 하나의 오브젝트를 가상 공간에 추가하고 편집하여 실감 학습 콘텐츠를 생성한다. 또한, VR 콘텐츠 제공 장치(100)는 사용자의 시선 이동 및 VR 콘트롤러(120, 130)를 통한 입력에 따라 복수의 VR 콘텐츠를 사용자에게 추천하고 사용자가 선택한 VR 콘텐츠의 미리보기, 체험, 인벤토리 저장 등이 가능하도록 제어한다.

HMD(110)는 사용자가 눈에 착용하는 장비로 VR 영상의 원점을 기준으로 사용자의 회전이나 눈의 움직임에 기초하여 사용자의 시선을 감지하는 감지부와 감지된 시선에 따라 VR 영상 구동 중 대응하는 시야 영역을 표시하는 표시부를 구비할 수 있다. 감지부는, HMD(110)의 회전을 감지하기 위해 각속도 센서, 자이로 센서 등을 구비할 수 있으며, 눈의 방향(시선)이나 움직임을 감지하는 아이트래킹 센서 등을 구비할 수 있다.

VR 콘트롤러(120, 130)는 사용자로부터 선택 신호, 조작 신호 등을 입력받는 구성으로서, 다양한 조작 버튼과 사용자 손의 제스처를 인식할 수 있는 구성요소를 포함할 수 있다. VR 콘트롤러(120, 130)는 왼손에 쥐고 사용하는 제1 콘트롤러(120)와 오른손에 쥐고 사용하는 제2 콘트롤러(130)로 구성될 수 있으며, 왼손과 오른손에 의한 버튼 누름, 각 손가락의 펼침, 각 손가락의 오므림, 손의 움직임 등의 제스처를 인식할 수 있다.

VR 콘텐츠 제공 장치(100)는 VR 콘텐츠의 선택, 생성 및 재생을 지원하는 컴퓨팅 장치로, 사용자 인터페이스 제공부(101), VR 콘텐츠 생성부(102), VR 콘텐츠 재생부(103), 사용자정보 저장부(104), 실감 학습 콘텐츠 저장부(105), VR 리소스 저장부(106)를 포함할 수 있다.

사용자 인터페이스 제공부(101)는 VR 콘텐츠 제공을 위한 GUI(Graphic User Interface)를 VR 공간에 표시한다. 구체적으로, 실감 학습 콘텐츠의 생성을 위한 VR 리소스의 선택 및 편집, 사용자별 맞춤형 VR 콘텐츠 추천, VR 콘텐츠의 선택 및 미리보기, 사용자별 인벤토리 관리, 사용자의 관심 유형을 포함한 설정 정보 입력 등을 위한 사용자 인터페이스를 생성하여 제공한다.

VR 콘텐츠 생성부(102)는 사용자의 편집에 따라 VR 콘텐츠를 생성하여 실감 학습 콘텐츠 저장부(105) 및 VR 리소스 저장부(106)에 저장한다. VR 콘텐츠 재생부(103)는 사용자의 입력에 따라 선택된 VR 콘텐츠나 사용자가 편집중인 VR 콘텐츠를 재생하며, VR 영상을 3차원 좌표계에 매칭시켜 구동시킨다.

사용자정보 저장부(104)는 사용자의 성별, 연령, 방문 이력 등의 개인 정보, 사용자가 최초 로그인시 선택한 관심 있는 VR 콘텐츠의 유형에 대한 정보, VR 콘텐츠 사용 이력에 대한 정보, 이들 정보를 통해 수집ㆍ생성ㆍ업데이트되는 행동 데이터 등을 저장한다.

제어부(140)는 다른 구성 요소를 제어하여 VR 콘텐츠 제공 방법을 실행하는 구성으로서, VR 영상 구동 중 사용자에 대한 정보, 사용자의 시선 정보 및 사용자 입력 신호 중 적어도 하나에 기초하여 사용자별 맞춤 서비스를 제공할 수 있다. 특히, 사용자 인터페이스 제공부(101)를 제어하여 사용자별 행동 데이터에 따라 사용자별로 다른 인터페이스 화면을 제공할 수 있다.

본 발명에서 사용자는 실감 학습 콘텐츠를 저작하는 저작자(선생님) 또는 실감 학습 콘텐츠를 재생하는 학생 이용자일 수 있다. 저작자는 방을 만들어서 해당 방을 꾸미고 여기서 재생될 실감 학습 콘텐츠를 저작할 수 있으며, 학생 사용자는 방에 참여하여 관심사에 부합하는 실감 학습 콘텐츠를 선택하여 재생할 수 있다.

본 발명에서 실감 학습 콘텐츠의 저작을 위한 리소스는 썸네일 형태의 카드로 생성되어 저작자에게 제공될 수 있다. 구체적으로, VR 리소스와 관련된 3D 그래픽 데이터, 공간 정보, 시나리오 정보를 카드의 형태로 저장하여 VR 저작 환경 내에서 복제하여 사용하도록 제공할 수 있다. 저작자가 카드를 선택하면 그에 해당하는 VR 리소스가 VR 환경 내에 표현된다. 저작자는 다수의 카드를 조합하고 각 카드의 옵션을 선택하는 방식으로 손쉽게 실감 학습 콘텐츠를 저작할 수 있다.

저작자가 본 발명에 따른 실감 학습 콘텐츠 제공 시스템에 처음 로그인하면 선호하는 리소스의 유형을 선택하도록 사용자 인터페이스를 제공한다. 또한, 저작자가 실감 학습 콘텐츠를 저작하는 과정에서의 행동을 분석하고, 저작된 실감 학습 콘텐츠의 메타데이터, 반복적으로 사용한 리소스 카드의 메타데이터, 저작자의 전공에 대한 정보 등 관련 정보를 수집하고, 수집된 정보를 이용하여 해당 저작자에 대한 행동 데이터를 생성 및 저장하고 관리한다. 다음 로그인시부터는 저작자가 선택한 관심 유형에 기반하되, 해당 저작자의 행동 데이터를 이용하여 새로운 VR 리소스를 VR 환경 내에서 추천한다.

학생 사용자가 본 발명에 따른 실감 학습 콘텐츠 제공 시스템에 처음 로그인하면 선호하는 실감 학습 콘텐츠의 유형을 선택하도록 사용자 인터페이스를 제공한다. 또한, 학생 사용자가 실감 학습 콘텐츠를 재생하여 학습하는 과정에서의 행동을 분석하고, 방문 횟수, 체험한 실감 학습 콘텐츠의 메타데이터, 사용자의 성별, 학년 등의 개인 정보 등 관련 정보를 수집하고, 수집된 정보를 이용하여 해당 사용자에 대한 행동 데이터를 생성 및 저장하고 관리한다. 다음 로그인시부터는 사용자가 선택한 관심 유형에 기반하되, 해당 사용자의 행동 데이터를 이용하여 새로운 실감 학습 콘텐츠를 VR 환경 내에서 추천한다.

상기와 같이 사용자의 행동 데이터에 기반하여 추천되는 VR 리소스 또는 실감 학습 콘텐츠를 VR 환경 내에서 표시할 수 있으며, 사용자는 VR HMD(110)와 콘트롤러(120, 130)를 착용한 상태에서 몇가지 유형의 행동을 통해 원하는 VR 리소스를 선택하거나 실감 학습 콘텐츠를 선택하여 재생할 수 있다.

도 2는 본 발명의 일 실시예에 따른 사용자 행동 기반의 실감 학습 콘텐츠 제공 방법을 설명하기 위한 순서도이고, 도 3 내지 도 12는 사용자 행동 기반의 실감 학습 콘텐츠를 제공하기 위한 사용자 인터페이스를 예시한 것이다.

도 2를 참조하면, 단계 S21에서는 HMD(110)를 착용한 사용자의 관심 항목을 포함하는 인벤토리를 사용자가 바라보는 방향의 화면 상단에 표시한다. 인벤토리는 사용자가 소유하거나 관심이 있는 콘텐츠 아이템을 보관하는 장소로 사용자별로 생성되고 관리되는 저장 공간이다.

도 3은 HMD(110)를 착용하고 및 콘트롤러(120, 130)를 양손에 쥔 사용자(330)가 시스템에 로그인했을 때 보여지는 VR 화면을 예시한 것으로, 해당 사용자의 관심 항목(310)이 들어있는 인벤토리(300)가 VR 화면의 상단 즉 추천 콘텐츠 리스트(320)의 위에 디스플레이된다.

사용자(330)가 왼편을 바라보고 있기 때문에 인벤토리(300)가 디스플레이되는 구체적인 위치는 화면의 좌측 상단이다. 인벤토리(300)에 들어 있는 아이템들은 사용자가 자주 사용하기 때문에 사용자의 시각 방향에서 바로 보이는 쪽에 배치하는 것이 바람직하다. 사용자가 바라보는 방향이 어느 쪽인지는 HMD(110)를 통해 감지될 수 있다.

인벤토리(300)의 화면상 위치는 사용자(330)가 바라보는 방향이 바뀜에 따라 자동으로 이동될 수 있다. 도 4에 도시된 바와 같이, 사용자(330)가 제자리에 서서 왼쪽을 바라보다가 오른쪽으로 고개를 돌리는 경우 즉 사용자(330)가 왼쪽에서 오른쪽으로 회전하여 방향을 바꾸면 인벤토리(300)도 왼쪽에서 오른쪽으로 이동될 것이다. 이에 따라 인벤토리는 항상 사용자(330)의 눈앞에서 제자리를 유지할 것이므로, 사용자(330)는 현재의 시각 방향에서 인벤토리(300)를 쉽게 확인하고 조작하여 이용할 수 있다.

본 발명에서 인벤토리는 사용자의 시선을 따라다니되 머리보다 살짝 위에 위치하므로 눈앞에 표시되는 VR 콘텐츠들을 가리지 않는다.

단계 S22에서는, 사용자의 행동 데이터에 기초하여 해당 사용자에게 추천할 복수의 VR 콘텐츠를 선정하고 각 VR 콘텐츠에 대한 추천 순서를 결정한다.

사용자가 학생 이용자인 경우 사용자의 행동 데이터는 해당 사용자가 최초 로그인시 선택한 관심 있는 실감 학습 콘텐츠의 유형에 대한 정보, 사용자가 실감 학습 콘텐츠를 재생하여 학습하는 과정에서 수집되는 정보, 사용자의 방문 이력, 사용자가 체험한 실감 학습 콘텐츠의 메타데이터 및 사용자에 대한 개인 정보 중 적어도 하나를 이용하여 생성될 수 있다.

사용자가 교사인 경우 사용자의 행동 데이터는 해당 사용자가 최초 로그인시 선택한 관심 있는 VR 리소스의 유형에 대한 정보, 사용자가 실감 학습 콘텐츠를 저작하는 과정에서 수집되는 정보, 사용자가 반복 사용한 VR 리소스의 메타데이터, 사용자가 저작한 실감 학습 콘텐츠의 메타데이터 및 사용자에 대한 개인 정보 중 적어도 하나를 이용하여 생성될 수 있다.

이와 같이, 사용자의 관심 항목이 선택되면 처음에는 관심 유형의 VR 콘텐츠들을 추천하다가, 이후에는 사용자가 매번 로그인할 때의 사용 이력을 반영하여 행동 데이터를 수집 및 업데이트하고 이를 이용하여 추천할만한 VR 콘텐츠들과 추천 순서를 결정한다. 콘텐츠 추천은 온톨로지(Ontology) 기반 또는 빅데이터 기반 알고리즘에 따라 수행될 수 있다.

단계 S23에서는, 추천을 위해 선정된 VR 콘텐츠를 나타내는 썸네일 형태의 카드들을 인벤토리의 하단에 배열한다. 각 카드는 대응하는 실감 학습 콘텐츠에 대한 메타데이터를 포함할 수 있으며, 이 경우 메타데이터는 장르, 과목, 학습방식, 난이도, 권장 연령 등을 포함할 수 있다. VR 리소스에 대응하는 썸네일 카드의 경우는 VR 리소스와 관련된 3D 그래픽 데이터, 공간 정보, 시나리오 정보를 카드의 형태로 제작한 것일 수 있다.

VR 콘텐츠 카드들은, 추천 순서에 따라 화면의 우측 및 좌측에 번갈아가며 거리 차이를 두어 배치되고 사용자가 오른손잡이인지 왼손잡이인지 여부에 따라 화면의 우측 또는 좌측에 우선적으로 배치될 수 있다.

도 3을 참조하면, 사용자에게 추천되는 VR 콘텐츠들이 카드(320)로 표시되어 인벤토리(300)의 하단에 배치된다. 화면의 좌측과 우측에 사용자와의 거리 차이가 있도록 카드들을 배치하되, 추천 순서가 높은 것은 가까이에 추천 순서가 낮은 것은 멀리에 해당 카드를 나열할 것이다.

또한, 사용자가 오른손잡이인 경우와 왼손잡이인 경우 서로 다른 순서로 VR 콘텐츠 카드들이 배치될 것이다.

사용자가 오른손잡이인 경우는 추천 순서에 따라 우측-좌측-우측-좌측-ㆍㆍㆍ의 순으로 우측에 우선적으로 배치한다. 도 5는 사용자가 오른손잡이인 경우의 VR 콘텐츠 카드 배치를 예시한 것으로, 우측의 가장 가까이에 배치되는 카드가 추천 순서가 1로 가장 높은 것이고 다음으로 추천 순서가 높은 2번째 카드는 좌측의 가장 가까운 위치에 배치됨을 알 수 있다. 유사한 방법으로 수천 순위가 3번째 및 4번째인 카드는 우측에서 조금 먼 위치 및 좌측에서 조금 먼 위치에 각각 배치되어 있다.

사용자가 왼손잡이인 경우는 추천 순서에 따라 좌측-우측-좌측-우측-ㆍㆍㆍ의 순으로 좌측에 우선적으로 배치되고 좌측과 우측에 번갈아 가며 배치될 것이다.

단계 S24에서는, VR 콘트롤러를 든 사용자의 제스처를 인식한다.

도 6을 참조하면, 사용자가 오른쪽 또는 왼쪽 눈앞에 표시된 VR 콘텐츠들을 가리키며 손바닥을 편 상태로 손을 쭉 밀어서 뒤로 보낼 수 있다. 이때 좌우의 콘텐츠들이 동시에 뒤고 밀려 나갈 것이다. 손바닥을 편 동작을 하는지 여부는 양손에 착용하고 있는 콘트롤러(120, 130)를 통해 인식될 수 있다.

VR 콘트롤러(120, 130)를 통해 사용자가 손가락을 펴서 상기 카드 중 하나를 클릭하는 제스처가 감지되면, 단계 S25로 이행하여 사용자가 클릭한 카드에 대응하는 VR 콘텐츠의 미리보기 데이터를 획득하고, 획득된 미리보기 데이터를 카드보다 큰 사이즈로 카드에 오버레이하여 홀로그램 형태로 재생한다.

도 7은 사용자가 손(700)의 손가락 하나를 펴서 소정의 카드(710)를 눌러주는 경우를 예시한 것이다. 제어부(140)는 이를 소정 카드(710)에 대한 클릭으로 인식하며, 해당 입력에 대한 응답으로 카드(710)에 대응하는 VR 콘텐츠의 미리보기를 재생할 것이다.

도 8은 선택된 카드(710)의 미리보기를 재생하는 화면을 예시한 것으로, 미리보기 데이터(800)를 카드(710) 위치보다 조금 아래에 카드(710) 사이즈보다 조금 더 크게 홀로그램처럼 재생하는 모습을 보여준다.

사용자는 미리보기를 재생해보고 마음에 들면 해당 VR 콘텐츠를 재생하여 체험하거나 인벤토리(300)에 던져 넣을 수 있다.

VR 콘트롤러(120, 130)를 통해 사용자가 카드 중 하나를 손으로 움켜쥐는 제스처가 감지되면, 단계 S26으로 이행하여 해당 카드의 사이즈를 축소하여 사용자의 손에 쥐어지도록 표시한다.

도 9 및 도 10을 참조하면, 사용자가 손으로 카드(900)를 움켜쥐는 동작을 하였을 때 VR 환경상 눈앞에 커다랗게 표시되는 카드(900)가 앞으로 쑥 밀려나오고 크기가 작아지면서 작은 카드(900')로 변형되어 손에 쥐어지는 모습으로 사용자 인터페이스가 표시됨을 알 수 있다

VR 콘트롤러(120, 130)를 통해 사용자에 손에 쥔 카드를 인벤토리에 던져 넣는 제스처가 감지되면, 단계 S27로 이행하여 해당 카드를 인벤토리 내부로 이동시키고, 단계 S28에서는 나머지 카드들을 재배치한다.

도 11은 사용자가 손에 쥔 카드(900')를 인벤토리로 던져 넣었을 때 해당 아이템(900〃)이 인벤토리로 이동하고 해당 카드의 뒤쪽에 배치되어 있던 카드들이 앞으로 당겨 오면서 채워지는 모습을 도시한 것이다.

사용자가 인벤토리에서 아이템(900〃)을 꺼내어 오른쪽이나 왼쪽 눈앞에 놓으면, 해당 위치에 아이템(900〃)에 대응하는 카드가 삽입되고 다른 카드들이 한칸씩 밀려나 재배치될 것이다.

추천되는 VR 콘텐츠가 많은 경우 동시에 2줄 이상으로 배치될 수 있다.

도 12는 VR 콘텐츠 카드들이 2줄로 배치되는 예를 도시한 것이다.

도 12의 예에서, 사용자의 눈높이(1200)를 기준으로 가까운 쪽에 추천 순위가 높은 카드가 우선 배치될 수 있다. 오른쪽 아래가 1순위, 오른쪽 위가 2순위, 왼쪽 아래가 3순위, 왼쪽 위가 4순위로 카드 배치가 해당 순서에 따라 수행될 것이다.

본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

본 발명은 VR 콘텐츠 재생 기술 분야에 적용될 수 있다.

100: VR 콘텐츠 제공 장치
140: 제어부
101: 사용자 인터페이스 제공부
102: VR 콘텐츠 생성부
103: VR 콘텐츠 재생부
104: 사용자정보 저장부
105: 실감 학습 콘텐츠 저장부
106: VR 리소스 저장부
110: HMD
120: 제1 콘트롤러
130: 제2 콘트롤러

Claims

HMD(Head Mounted Display) 및 양손 입력을 위한 VR 콘트롤러(Virtual Reality Controller)와 연동하는 VR 콘텐츠 제공용 컴퓨터가,
상기 HMD를 착용한 사용자의 관심 항목을 포함하는 인벤토리를 상기 사용자가 바라보는 방향의 화면 상단에 표시하는 단계;
상기 사용자의 행동 데이터에 기초하여 해당 사용자에게 추천할 복수의 VR 콘텐츠를 선정하고 각 VR 콘텐츠에 대한 추천 순서를 결정하는 단계; 및
상기 선정된 VR 콘텐츠를 나타내는 썸네일 형태의 카드들을 상기 인벤토리의 하단에 배열하되, 상기 추천 순서에 따라 화면의 우측 및 좌측에 번갈아가며 거리 차이를 두어 배치하고 상기 사용자가 오른손잡이인지 왼손잡이인지 여부에 따라 상기 화면의 우측 또는 좌측에 우선적으로 배치하는 단계;를 포함하며,
상기 사용자가 바라보는 방향이 바뀌는 것에 대응하여 바뀐 방향에 해당하는 위치로 상기 인벤토리가 이동되며,
상기 HMD에 출력되는 VR 콘텐츠의 VR 영상은 3차원 좌표계에 매칭되어 구동되며,
상기 3차원 좌표계에 매칭된 상기 썸네일 형태의 카드들은 상기 사용자와의 거리 차이가 실감될 수 있도록 3차원 형태의 배치로 표시되되, 상기 추천 순서가 높은 것은 가깝게 실감되도록 디스플레이되고, 상기 추천 순서가 낮은 것은 멀게 실감되도록 디스플레이되며,
상기 사용자가 오른손잡이인 경우에는 상기 추천 순서에 따라 우측-좌측의 순으로 우측에 우선적으로 배치되며,
상기 사용자가 왼손잡이인 경우에는 상기 추천 순서에 따라 좌측-우측의 순으로 좌측에 우선적으로 배치되는 것을 특징으로 하는 사용자 행동 기반의 실감 학습 콘텐츠 제공 방법.
제1항에 있어서,
상기 VR 콘트롤러를 통해 상기 사용자가 손가락을 펴서 상기 카드 중 하나를 클릭하는 제스처가 감지되면, 상기 클릭한 카드에 대응하는 VR 콘텐츠의 미리보기 데이터를 획득하는 단계; 및
상기 획득된 미리보기 데이터를 상기 클릭한 카드보다 큰 사이즈로 상기 클릭한 카드에 오버레이하여 홀로그램 형태로 재생하는 단계;를 포함하는 것을 특징으로 하는 사용자 행동 기반의 실감 학습 콘텐츠 제공 방법.
제1항에 있어서,
상기 VR 콘트롤러를 통해 상기 사용자가 상기 카드 중 하나를 손으로 움켜쥐는 제스처가 감지되면, 해당 카드의 사이즈를 축소하여 상기 사용자의 손에 쥐어지도록 표시하는 단계; 및
상기 VR 콘트롤러를 통해 상기 사용자가 손에 쥔 카드를 상기 인벤토리에 던져 넣는 제스처가 감지되면, 해당 카드를 상기 인벤토리 내부로 이동시키고 나머지 카드들을 재배치하는 단계;를 더 포함하는 것을 특징으로 하는 사용자 행동 기반의 실감 학습 콘텐츠 제공 방법.
제1항에 있어서,
상기 사용자가 최초 로그인시 선택한 관심 있는 실감 학습 콘텐츠의 유형에 대한 정보, 상기 사용자가 실감 학습 콘텐츠를 재생하여 학습하는 과정에서 수집되는 정보, 상기 사용자의 방문 이력, 상기 사용자가 체험한 실감 학습 콘텐츠의 메타데이터 및 상기 사용자에 대한 개인 정보 중 적어도 하나를 이용하여 상기 사용자의 행동 데이터를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 사용자 행동 기반의 실감 학습 콘텐츠 제공 방법.
제1항에 있어서,
상기 사용자가 최초 로그인시 선택한 관심 있는 VR 리소스의 유형에 대한 정보, 상기 사용자가 실감 학습 콘텐츠를 저작하는 과정에서 수집되는 정보, 상기 사용자가 반복 사용한 VR 리소스의 메타데이터, 상기 사용자가 저작한 실감 학습 콘텐츠의 메타데이터 및 상기 사용자에 대한 개인 정보 중 적어도 하나를 이용하여 상기 사용자의 행동 데이터를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 사용자 행동 기반의 실감 학습 콘텐츠 제공 방법.
제1항 내지 제5항 중 어느 한 항의 사용자 행동 기반의 실감 학습 콘텐츠 제공 방법을 수행하기 위해 기록매체에 기록된 컴퓨터 프로그램.