KR102094750B1

KR102094750B1 - Vr 영상을 이용한 다중 사용자 시청각 교육 시스템 및 교육 방법

Info

Publication number: KR102094750B1
Application number: KR1020180087343A
Authority: KR
Inventors: 김연표; 김수영
Original assignee: (주)소프트젠
Priority date: 2018-07-26
Filing date: 2018-07-26
Publication date: 2020-03-30
Also published as: KR20200012265A

Abstract

본 발명의 VR 영상을 이용한 다중 사용자 시청각 교육 시스템은 2차원 영상을 360° VR 영상으로 변환하고, 상기 VR 영상을 복수의 영역들로 분할하며, 분할된 각각의 영역에 위치 좌표를 설정하는 제어 장치와, 상기 제어 장치로부터 상기 VR 영상을 제공받아 표시하고, 상기 VR 영상을 바라보는 사용자의 중심 시점에 대응하는 중심 영역을 판단한 후, 상기 중심 영역의 위치 좌표를 상기 제어 장치에 제공하는 HMD 장치들을 포함하고, 상기 HMD 장치는, 시청 집중 기간 동안 상기 제어 장치에 의해 설정된 시청 집중 영역을 상기 중심 영역에 위치시킨 VR 영상을 표시한다.

Description

VR 영상을 이용한 다중 사용자 시청각 교육 시스템 및 교육 방법{MULTIPLE USERS AUDIOVISUAL EDUCATION SYSTEM USING VR IMAGE AND METHOD THEREOF}

본 발명은 VR 영상을 이용한 다중 사용자 시청각 교육 시스템 및 교육 방법에 관한 것으로서, 더 상세하게는 시청각 지도가 필요한 교육생에게 특정 시점의 영상을 제공하는 시스템 및 방법에 관한 것이다.

HMD(Head Mounted Display) 기기가 보급화됨에 따라 VR(Virtual Reality) 영상에 대한 관심도 높아지고 있다. HMD 기기는 마치 실제 주변 환경과 상호 작용을 하는 것처럼 느낄 수 있는 VR 영상을 사용자에게 제공할 수 있다.

360°VR 영상을 이용하면 사용자의 움직임에 따라 시점이 변화하여 다양한 시점의 영상이 제공될 수 있다. 이러한 특징을 활용하여 게임, 교육 등 다양한 분야에 적용하려는 시도가 활발하게 진행중에 있다.

하지만, 지적장애인과 같은 인지 능력이 부족한 사용자들은 VR 영상 시청에 따른 적절한 응답을 기대할 수 없으며, 특정 시점의 영상을 시청하도록 유도하는데 어려움이 있다. 따라서, 이러한 사용자들에게 제공되는 VR 영상을 이용한 시청각 교육 방법은 효율성이 떨어지는 문제가 있다.

본 발명은 전술한 문제점을 해결하고자 하는 것으로서, VR 영상을 복수의 영역으로 분할한 후 HMD 장치의 사용자가 바라보는 중심 시점을 판단하여 관리자가 원하는 시점의 영상을 사용자가 바라보도록 HMD 장치를 제어하는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템 및 교육 방법을 제공함에 목적이 있다.

전술한 목적을 달성하기 위하여, 본 발명은 2차원 영상을 360° VR 영상으로 변환하고, 상기 VR 영상을 복수의 영역들로 분할하며, 분할된 각각의 영역에 위치 좌표를 설정하는 제어 장치와, 상기 제어 장치로부터 상기 VR 영상을 제공받아 표시하고, 상기 VR 영상을 바라보는 사용자의 중심 시점에 대응하는 중심 영역을 판단한 후, 상기 중심 영역의 위치 좌표를 상기 제어 장치에 제공하는 HMD 장치들을 포함하고, 상기 HMD 장치는, 시청 집중 기간 동안 상기 제어 장치에 의해 설정된 시청 집중 영역을 상기 중심 영역에 위치시킨 VR 영상을 표시한다.

본 발명의 일 특징에 의하면, 상기 HMD 장치들은 상기 VR 영상을 소정의 기간 동안 동시에 표시할 수 있다.

본 발명의 다른 특징에 의하면, 상기 HMD 장치들은 상기 제어 장치로부터 수신된 영상 시작 신호를 기초로 동일한 시점에 상기 VR 영상을 표시할 수 있다.

본 발명의 또 다른 특징에 의하면, 상기 제어 장치는 상기 VR 영상을 관리자에게 표시하는 표시부를 포함하고, 상기 표시부에 표시되는 VR 영상은 상기 HMD 장치들 각각의 중심 영역의 위치 좌표가 표시될 수 있다.

본 발명의 또 다른 특징에 의하면, 상기 제어 장치는 상기 HMD 장치들 중 상기 시청 집중 영역에서 벗어난 영역에 상기 중심 영역의 위치 좌표가 표시되는 제1 HMD 장치의 중심 영역을 조절하기 위해 중심 위치 조절 정보를 생성하고, 상기 제1 HMD 장치에 상기 중심 위치 조절 정보를 제공할 수 있다.

본 발명의 또 다른 특징에 의하면, 상기 제1 HMD 장치가 상기 중심 위치 조절 정보를 수신한 경우, 블랙 영상을 표시하고 제1 HMD 장치의 중심 영역을 상기 시청 집중 영역에 위치시킨 후 상기 VR 영상을 표시할 수 있다.

본 발명의 또 다른 특징에 의하면, 상기 제1 HMD 장치는 상기 중심 위치 조절 정보를 기초로 상기 VR 영상을 회전하여 상기 제1 HMD 장치의 중심 영역을 상기 시청 집중 영역에 위치시킨 후 상기 VR 영상을 표시할 수 있다.

또한, 전술한 목적을 달성하기 위하여 복수의 영역으로 분할된 360°VR 영상을 표시하는 HMD 장치들과, 상기 HMD 장치를 제어하는 제어 장치를 포함하는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템의 교육 방법은, 상기 제어 장치가 인접한 HMD 장치들로 세션 생성 알림을 전송하는 단계와, 상기 HMD 장치들이 상기 세션 생성 알림에 응답하여 상기 제어 장치에 참여 알림을 전송하는 단계와, 상기 제어 장치가 상기 참여 알림을 전송한 HMD 장치들에 VR 영상과 영상 시작 신호를 전송하는 단계와, 상기 HMD 장치들이 상기 영상 시작 신호에 기초하여 상기 VR 영상을 표시하는 단계와, 상기 HMD 장치들이 상기 VR 영상을 바라보는 사용자의 중심 시점에 대응하는 중심 영역을 판단하여 상기 제어 장치에 상기 중심 영역의 위치 좌표를 전송하는 단계와, 상기 제어 장치가 상기 중심 영역의 위치 좌표를 이용하여 중심 위치 조절 정보를 생성하고, 상기 HMD 장치들에 상기 중심 위치 조절 정보를 전송하는 단계와, 상기 HMD 장치들이 상기 중심 위치 조절 정보를 기초로 상기 중심 영역에 상기 제어 장치에 의해 설정된 시청 집중 영역을 위치시킨 VR 영상을 표시하는 단계를 포함한다.

본 발명의 일 특징에 의하면, 상기 VR 영상을 이용한 다중 사용자 시청각 교육 시스템의 교육 방법은, 상기 제어 장치가 2차원 영상을 360°VR 영상으로 변환하고, 상기 VR 영상을 복수의 영역들로 분할하여 분할된 각각의 영역에 위치 좌표를 설정하는 단계를 더 포함할 수 있다.

본 발명의 다른 특징에 의하면, 상기 중심 위치 조절 정보를 전송하는 단계는, 상기 제어 장치가 상기 HMD 장치들 중 상기 시청 집중 영역에서 벗어난 영역에 중심 영역이 위치한 제1 HMD 장치를 판단하고, 상기 제1 HMD 장치의 중심 영역이 상기 시청 집중 영역에 위치하도록 상기 중심 위치 조절 정보를 생성하여 상기 제1 HMD 장치에 전송할 수 있다.

본 발명의 또 다른 특징에 의하면, 상기 시청 집중 영역을 위치시킨 VR 영상을 표시하는 단계는, 상기 제1 HMD 장치가 블랙 영상을 표시한 후 상기 제1 HMD 장치의 중심 영역을 상기 시청 집중 영역을 위치시킨 후 상기 VR 영상을 표시할 수 있다.

본 발명의 또 다른 특징에 의하면, 상기 시청 집중 영역을 위치시킨 VR 영상을 표시하는 단계는, 상기 제1 HMD 장치가 상기 중심 위치 조절 정보를 기초로 상기 VR 영상을 회전하여 상기 제1 HMD 장치의 중심 영역에 상기 시청 집중 영역을 위치시킨 후 상기 VR 영상을 표시할 수 있다.

본 발명의 또 다른 특징에 의하면, 상기 시청 집중 영역을 위치시킨 VR 영상을 표시하는 단계는, 상기 제1 HMD 장치가 상기 중심 위치 조절 정보를 기초로 상기 제1 HMD 장치의 중심 영역에 상기 시청 집중 영역을 위치시킨 후 일정 기간 동안 사용자의 중심 시점을 상기 시청 집중 영역에 고정할 수 있다.

본 발명의 VR 영상을 이용한 다중 사용자 시청각 교육 시스템 및 교육 방법에 의하면, 제어 장치의 관리자는 HMD 장치를 제어함으로써 인지 능력이 부족한 사용자에게 시청 집중 영역을 시청할 수 있도록 유도할 수 있다.

또한, 본 발명의 VR 영상을 이용한 다중 사용자 시청각 교육 시스템 및 교육 방법에 의하면, 제어 장치의 관리자는 시청 집중 영역을 시청하지 않는 사용자에게 시청 집중 영역을 시청할 수 있도록 HMD 장치를 제어한 후 일정 기간 동안 HMD 장치의 중심 시점을 고정하여 사용자에게 VR 영상의 특정 영역을 집중시킬 수 있다.

도 1은 본 발명의 실시 예에 따른 VR 영상을 이용한 다중 사용자 시청각 교육 시스템의 개략적인 도면이다.
도 2a와 도 2b는 본 발명의 실시 예에 따른 360°VR 영상을 설명하기 위한 도면이다.
도 3a는 본 발명의 실시 예에 따른 제1 HMD 장치에 상에 표시된 VR 영상을 설명하기 위한 도면이다.
도 3b는 본 발명의 실시 예에 따른 제2 HMD 장치 상에 표시된 VR 영상을 설명하기 위한 도면이다.
도 3c는 본 발명의 실시 예에 따른 제어 장치 상에 표시된 VR 영상을 설명하기 위한 도면이다.
도 4a와 도 도 4b 본 발명의 실시 예에 따른 변경된 시점의 VR 영상을 설명하기 위한 도면이다.
도 5는 본 발명의 실시 예에 따른 VR 영상을 이용한 다중 사용자 시청각 교육 시스템의 교육 방법을 설명하기 위한 흐름도이다.

이하에서는 본 발명의 실시 예에 관하여 첨부도면을 참조하여 상세하게 설명하기로 한다. 다만, 이하에서 설명되는 실시 예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명을 쉽게 실시할 수 있을 정도로 상세하게 설명하기 위한 것에 불과하며, 이로 인해 본 발명의 보호범위가 한정되는 것을 의미하지는 않는다. 그리고 본 발명의 여러 실시 예를 설명함에 있어서, 동일한 기술적 특징을 갖는 구성요소에 대하여는 동일한 도면부호를 사용하기로 한다.

도 1은 본 발명의 실시 예에 따른 VR 영상을 이용한 다중 사용자 시청각 교육 시스템의 개략적인 도면이다.

도 1을 참조하면, 본 발명의 실시 예에 따른 VR 영상을 이용한 다중 사용자 시청각 교육 시스템(10)은 제어 장치(100) 및 HMD 장치들(200A, 200B, 200C)을 포함할 수 있다.

제어 장치(100)는 HMD 장치들(200A, 200B, 200C)과의 무선 통신을 통해 HMD 장치들(200A, 200B, 200C)에서 재생되는 VR 영상을 제어할 수 있다. 제어 장치(100)는 무선 또는 유선으로 데이터를 주거나 받을 수 있는 무선 통신 장치기, 이동 장치기, 및 컴퓨팅 장치를 의미할 수 있다.

예컨대, 제어 장치(100)는 서버, PC, 스마트 폰(smart phone), 태블릿 (tablet) PC, 모바일 인터넷 장치(mobile internet device(MID)), 인터넷 태블릿, IoT(internet of things) 장치, IoE(internet of everything) 장치, 데스크 탑 컴퓨터(desktop computer), 랩탑(laptop) 컴퓨터, 워크스테이션 컴퓨터, 또는 PDA (personal digital assistant)를 의미할 수 있으나, 이에 한정되는 것은 아니다.

제어 장치(100)는 2차원 영상을 변환하여 360°VR 영상을 생성할 수 있다. 특히, 제어 장치(100)는 VR 영상을 복수의 영역들로 분할할 수 있고, 제어 장치(100)는 복수의 영역들 각각에 위치 좌표를 설정할 수 있다.

제어 장치(100)는 HMD 장치들(200A, 200B, 200C)의 사용자가 VR 영상의 특정 영역에 집중할 수 있도록 HMD 장치들(200A, 200B, 200C)에서 재생되는 VR 영상을 제어할 수 있다. 이에 대한 상세한 설명은 도 4a및 도 4b에서 설명한다.

또한, 제어 장치(100)는 HMD 장치들(200A, 200B, 200C)에서 재생되는 VR 영상의 시점을 고정할 수 있다. 제어 장치(100)의 관리자는 VR 영상의 특정 영역을 집중시키기 위해 HMD 장치의 중심 영역을 VR 영상의 특정 영역으로 변경시킨 후, 해당 시점을 일정 기간 동안 고정시킬 수 있다.

예컨대, 제어 장치(100)의 관리자는 제1 기간 동안 VR 영상에 포함된 '나무 영상'에 집중하도록 제어하기 위해 '나무 영상'를 포함하는 영역으로 HMD 장치들(200A, 200B, 200C)의 중심 영역을 변경한 후, '나무 영상'를 포함하는 영역으로 중심 영역을 고정시킬 수 있다. 따라서, HMD 장치들(200A, 200B, 200C)의 사용자가 머리를 움직여도 사용자의 중심 시점은 '나무 영상'를 포함하는 영역에 고정된 상태이므로 관리자는 사용자를 '나무'에만 집중시킬 수 있다.

HMD 장치들(200A, 200B, 200C)은 제어 장치(100)로부터 VR 영상을 수신하여 제어 장치(100)의 제어에 따라 VR 영상을 재생할 수 있다. 즉, HMD 장치들(200A, 200B, 200C)은 제어 장치(100)로부터 수신된 영상 시작 신호에 기초하여 특정 시점에 VR 영상을 재생할 수 있다. HMD 장치들(200A, 200B, 200C)이 수신한 영상 시작 신호는 동일한 시점을 포함하기 때문에, HMD 장치들(200A, 200B, 200C)은 동시에 VR 영상을 재생할 수 있다.

예컨대, 제1 HMD 장치(200A), 제2 HMD 장치(200B) 및 제3 HMD 장치(200C) 각각이 순차적으로 제어 장치(100)로부터 영상 시작 신호를 수신하였더라도, 영상 시작 신호에 포함된 시점에서 동시에 VR 영상을 재생할 수 있다.

HMD 장치들(200A, 200B, 200C) 각각은 사용자의 현재 중심 시점, 즉 사용자가 바라보고 있는 중심 영역의 위치 좌표를 제어 장치(100)에 제공할 수 있다.

실시 예에 따라, HMD 장치들(200A, 200B, 200C)은 기설정된 일정한 시간마다 중심 영역의 위치 좌표를 제어 장치(100)에 제공할 수 있다. 예컨대, HMD 장치들(200A, 200B, 200C) 각각은 0.5초마다 현재 중심 영역의 위치 좌표를 제어 장치(100)에 제공할 수 있다.

다른 실시 예에 따라, HMD 장치들(200A, 200B, 200C)은 특정한 이벤트 발생시마다 중심 영역의 위치 좌표를 제어 장치(100)에 제공할 수 있다.

예컨대, VR 영상에는 시간의 흐름에 따라 시청 집중 영역이 설정되어 있을 수 있다. 여기서, 시청 집중 영역이란 제어 장치(100)의 관리자가 HMD 장치의 사용자에게 시청하도록 유도를 하기위한 VR 영상의 일정 영역을 의미하며, 시청 집중 영역은 시간의 흐름에 따라 변경될 수 있다. 즉, VR 영상이 재생되는 제1 시점에서의 시청 집중 영역은 '나무 영상'에 관한 영역일 수 있지만, 제2 시점에서는 '토끼 영상'에 관한 영역일 수 있다.

이때, HMD 장치들(200A, 200B, 200C) 각각의 중심 영역이 시청 집중 영역의 임계 범위 내에 있을 경우 중심 영역의 위치 좌표를 제어 장치(100)에 제공하지 않고, 중심 영역이 시청 집중 영역의 임계 범위 밖에 있을 때만 중심 영역의 위치 좌표를 제어 장치(100)에 제공할 수 있다. 이는 제어 장치(100)에 잦은 빈도로 위치좌표를 제공할 경우, VR 영상을 제어하는데 부하를 발생될 위험을 줄이기 위함이다.

HMD 장치들(200A, 200B, 200C)이 제어 장치(100)로부터 중심 위치 조절 정보를 수신한 경우, HMD 장치는 중심 위치 조절 정보를 기초로 중심 영역에 VR 영상의 시청 집중 영역을 위치시킬 수 있다.

도 2a와 도 2b는 본 발명의 실시 예에 따른 360°VR 영상을 설명하기 위한 도면이다.

도 2a를 참조하면, 제어 장치(100)는 2차원 영상을 이용하여 구 형태의 360°VR 영상을 생성할 수 있다. 제어 장치(100)는 360°VR 영상을 복수의 영역(AR)들로 분할한 후, 각각의 영역(AR)에 위치 좌표를 설정할 수 있다. 이때, 복수의 영역들의 크기는 관리자의 설정에 따라 다양하게 변경될 수 있다.

도 2b를 참조하면, HMD 장치(200)의 사용자는 360°전방위에서 표시되는 VR 영상을 시청할 수 있다. HMD 장치(200)는 자이로 센서를 포함하며, 자이로 센서에서 측정된 정보를 이용하여 사용자가 어느 영역(AR)을 바라보고 있는지를 판단할 수 있다.

예컨대, 자이로 센서는 VR 영상을 기초로 x축, y축, 및 z축에 대한 자이로 센서 정보를 포함하며, 사용자의 움직임에 따라 자이로 센서의 x축, y축, 및 z축의 정보가 변경되면 사용자가 바라보는 VR 영상의 영역(AR)을 판단할 수 있다.

이러한 과정에 의해 판단된 중심 영역의 위치 좌표는 제어 장치(100)에 제공될 수 있다.

도 3a는 본 발명의 실시 예에 따른 제1 HMD 장치에 상에 표시된 VR 영상을 설명하기 위한 도면이고, 도 3b는 본 발명의 실시 예에 따른 제2 HMD 장치 상에 표시된 VR 영상을 설명하기 위한 도면이고, 도 3c는 본 발명의 실시 예에 따른 제어 장치 상에 표시된 VR 영상을 설명하기 위한 도면이다.

도 3a, 도 3b, 및 도 3c에는 중심 영역을 변경하는 방법을 설명하기 위해 제1 HMD 장치(200A)에서 표시되는 제1 VR 영상(IM1), 제2 HMD 장치(200B)에서 표시되는 제2 VR 영상(IM2), 및 제어 장치(100)에서 표시되는 제3 VR 영상(IM3)이 도시되어 있다.

도 3a와 도 3b를 참조하면, 제1 HMD 장치(200A)의 중심 영역은 제1 영역(AR1)에 위치하고 있기 때문에, 제1 HMD 장치(200A)의 사용자는 제1 영역(AR1)에 위치한 '토끼 영상'에 집중하고 있는 것으로 판단될 수 있다.

그리고, 제2 HMD 장치(200B)의 중심 영역은 제2 영역(AR2)에 위치하고 있기 때문에, 제2 HMD 장치(200B)의 사용자는 제2 영역(AR2)에 위치한 '나무 영상'에 집중하고 있는 것으로 판단될 수 있다.

도 3c를 참조하면, 제어 장치(100)에는 제1 및 제2 HMD 장치들(200A, 200B)에서 재생되는 제1 및 제2 VR 영상(IM1, IM2)과 동일한 제3 VR 영상(IM13)이 재생된다. 이때, 제어 장치(100)의 제3 VR 영상(IM13)에는 제1 및 제2 HMD 장치들(200A, 200B) 각각의 중심 영역(USER1, USER2)이 표시된다.

만약, 제어 장치(100)의 관리자가 제1 및 제2 HMD 장치들(200A, 200B)의 사용자들을 '토끼 영상'에 집중시키려고 한다면, '토끼 영상'에 해당하는 제1 영역(AR1)을 시청 집중 영역으로 설정할 수 있다.

이때, 제1 HMD 장치(200A)의 중심 영역은 이미 제1 영역(AR1)을 향하고 있기 때문에, 제어 장치(100)는 제2 HMD 장치(200B)의 중심 영역만을 변경시키기 위한 중심 위치 조절 정보를 생성할 수 있다.

즉, 제어 장치(100)는 제2 HMD 장치(200B)의 중심 영역이 제2 영역(AR2)에서 제1 영역(AR1)으로 이동할 수 있도록 중심 위치 조절 정보를 생성하여 제2 HMD 장치(200B)에 전송할 수 있다.

도 4a와 도 4b는 본 발명의 실시 예에 따른 변경된 시점의 VR 영상을 설명하기 위한 도면이다.

도 4a를 참조하면, 제어 장치(100)는 제2 HMD 장치(200B)의 중심 영역을 변경할 수 있다. 제2 HMD 장치(200B)의 중심 영역은 제2 영역에 위치한 '나무 영상'에 위치하고 있지만, 제어 장치(100)로부터 수신된 중심 위치 조절 정보를 이용하여 중심 영역을 제2 영역(AR2)으로 변경할 수 있다.

제2 HMD 장치(200B)의 중심 영역이 제2 영역(AR2)에서 제1 영역(AR1)으로 순간적으로 변경되는 경우 사용자는 눈에 피로감을 느낄 수 있다. 따라서, 제2 HMD 장치(200B)는 중심 영역을 제2 영역(AR2)에서 제1 영역(AR1)으로 변경시키기 전에 블랙 영상(BM)을 표시할 수 있다. 즉, 제2 HMD 장치(200B)는 중심 영역이 제2 영역(AR2)에 위치한 제2 VR 영상(IM2)의 재생을 중단하고, 블랙 영상(BM)을 재생할 수 있다. 일정 시간 이후 제2 HMD 장치(200B)는 중심 영역이 제1 영역(AR1)에 위치한 제2 VR 영상(IM2')를 재생할 수 있다. 따라서, 제2 HMD 장치(200B)의 사용자는 '나무 영상'을 시청하던 중에 블랙 영상을 시청하고, 일정 시간 동안 블랙 영상을 시청한 후 '토끼 영상'을 시청하게 된다.

이러한 방법에 의해 제2 HMD 장치(200B)의 사용자는 제어 장치(100)의 관리자의 의도대로 시청 집중 영역인 제1 영역(AR1)의 '토끼 영상'에 집중할 수 있게 된다.

도 4b를 참조하면, 제2 HMD 장치(200B)의 중심 영역이 제2 영역(AR2)에서 제1 영역(AR1)으로 순간적으로 변경되는 경우 사용자는 눈에 피로감을 느낄 수 있기 때문에, 제2 HMD 장치(200B)는 중심 영역을 점진적으로 제2 영역(AR2)에서 제1 영역(AR1)으로 이동시킬 수 있다.

즉, 제2 HMD 장치(200B)의 중심 영역은 제2 영역(AR2)의 '나무 영상'에 위치하고 있지만, 점진적으로 중심 영역이 제1 영역(AR1)에 위치할때까지 우측방향으로 이동시킬 수 있다. 제2 HMD 장치(200B)의 중심 영역이 제1 영역(AR1)에 위치하게 되는 경우 사용자가 '토끼 영상'에 집중할 수 있도록 제2 VR 영상(IM2)의 이동을 멈춘다.

또한, 제어 장치(100)는 제2 HMD 장치(200B)의 사용자가 '토끼 영상'에 집중할 수 있도록 일정 기간 동안 중심 영역을 제1 영역(AR1)에 고정시킬 수 있다. 이로써, 제2 HMD 장치(200B)의 사용자가 스스로 '토끼 영상'을 인지할 수 없는 경우라도 제어 장치(100)의 제어에 의해 중심 영역을 고정함으로써 사용자에게 '토끼 영상'을 인지시킬 수 있다.

도 5는 본 발명의 실시 예에 따른 VR 영상을 이용한 다중 사용자 시청각 교육 시스템의 교육 방법을 설명하기 위한 흐름도이다.

도 5를 참조하면, 복수의 영역으로 분할된 360°VR 영상을 표시하는 HMD 장치들과, 상기 HMD 장치를 제어하는 제어 장치를 포함하는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템의 교육 방법은 하기의 단계를 수행할 수 있다.

제어 장치(100)는 인접한 HMD 장치들(200A, 200B, 200C)로 세션 생성 알림을 전송할 수 있다(S100).

그리고, HMD 장치들(200A, 200B, 200C)은 세션 생성 알림에 응답하여 제어 장치(100)에 참여 알림을 전송할 수 있다(S110).

그리고, 제어 장치(100)는 참여 알림을 전송한 HMD 장치들(200A, 200B, 200C)에 VR 영상과 영상 시작 신호를 전송할 수 있다(S120).

그리고, HMD 장치들(200A, 200B, 200C)은 영상 시작 신호에 기초하여 상기 VR 영상을 표시할 수 있다(S130).

그리고, HMD 장치들(200A, 200B, 200C)은 VR 영상을 바라보는 사용자의 중심 시점에 대응하는 중심 영역을 판단하여 상기 제어 장치(100)에 상기 중심 영역의 위치 좌표를 전송할 수 있다(S140).

그리고, 제어 장치(100)는 중심 영역의 위치 좌표를 이용하여 중심 위치 조절 정보를 생성하고, HMD 장치들(200A, 200B, 200C)에 중심 위치 조절 정보를 전송할 수 있다(S150).

그리고, HMD 장치들(200A, 200B, 200C)은 중심 위치 조절 정보를 기초로 상기 중심 영역에 상기 제어 장치(100)에 의해 설정된 시청 집중 영역을 위치시킨 VR 영상을 표시할 수 있다(S160).

이상에서 본 발명의 실시 예에 관하여 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 특허청구범위를 벗어남이 없이 다양하게 변형 실시할 수 있을 것으로 이해된다.

100: 제어 장치
200A, 200B, 200C: HMD 장치들

Claims

2차원 영상을 360° VR 영상으로 변환하고, 상기 VR 영상을 복수의 영역들로 분할하며, 분할된 각각의 영역에 위치 좌표를 설정하는 제어 장치; 및
상기 제어 장치로부터 상기 VR 영상을 제공받아 표시하고, 상기 VR 영상을 바라보는 사용자의 중심 시점에 대응하는 중심 영역을 판단한 후, 상기 중심 영역의 위치 좌표를 상기 제어 장치에 제공하는 HMD 장치들을 포함하고,
상기 HMD 장치는, 시청 집중 기간 동안 상기 제어 장치에 의해 설정된 시청 집중 영역을 상기 중심 영역에 위치시킨 VR 영상을 표시하는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템.
제1항에 있어서,
상기 HMD 장치들은 상기 VR 영상을 소정의 기간 동안 동시에 표시하는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템.
제1항에 있어서,
상기 HMD 장치들은 상기 제어 장치로부터 수신된 영상 시작 신호를 기초로 동일한 시점에 상기 VR 영상을 표시하는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템.
제1항에 있어서,
상기 제어 장치는 상기 VR 영상을 관리자에게 표시하는 표시부를 포함하고, 상기 표시부에 표시되는 VR 영상은 상기 HMD 장치들 각각의 중심 영역의 위치 좌표가 표시되는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템.
제4항에 있어서,
상기 제어 장치는 상기 HMD 장치들 중 상기 시청 집중 영역의 임계 범위를 벗어난 영역에 상기 중심 영역의 위치 좌표가 표시되는 제1 HMD 장치의 중심 영역을 조절하기 위해 중심 위치 조절 정보를 생성하고, 상기 제1 HMD 장치에 상기 중심 위치 조절 정보를 제공하는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템.
제5항에 있어서,
상기 제1 HMD 장치가 상기 중심 위치 조절 정보를 수신한 경우, 블랙 영상을 표시하고 제1 HMD 장치의 중심 영역을 상기 시청 집중 영역에 위치시킨 후 상기 VR 영상을 표시하는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템.
제5항에 있어서,
상기 제1 HMD 장치는 상기 중심 위치 조절 정보를 기초로 상기 VR 영상을 회전하여 상기 제1 HMD 장치의 중심 영역을 상기 시청 집중 영역에 위치시킨 후 상기 VR 영상을 표시하는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템.
복수의 영역으로 분할된 360°VR 영상을 표시하는 HMD 장치들과, 상기 HMD 장치를 제어하는 제어 장치를 포함하는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템의 교육 방법에 있어서,
상기 제어 장치가 인접한 HMD 장치들로 세션 생성 알림을 전송하는 단계;
상기 HMD 장치들이 상기 세션 생성 알림에 응답하여 상기 제어 장치에 참여 알림을 전송하는 단계;
상기 제어 장치가 상기 참여 알림을 전송한 HMD 장치들에 VR 영상과 영상 시작 신호를 전송하는 단계;
상기 HMD 장치들이 상기 영상 시작 신호에 기초하여 상기 VR 영상을 표시하는 단계;
상기 HMD 장치들이 상기 VR 영상을 바라보는 사용자의 중심 시점에 대응하는 중심 영역을 판단하여 상기 제어 장치에 상기 중심 영역의 위치 좌표를 전송하는 단계;
상기 제어 장치가 상기 중심 영역의 위치 좌표를 이용하여 중심 위치 조절 정보를 생성하고, 상기 HMD 장치들에 상기 중심 위치 조절 정보를 전송하는 단계; 및
상기 HMD 장치들이 상기 중심 위치 조절 정보를 기초로 상기 중심 영역에 상기 제어 장치에 의해 설정된 시청 집중 영역을 위치시킨 VR 영상을 표시하는 단계를 포함하는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템의 교육 방법.
제8항에 있어서, 상기 세션 생성 알림을 전송하는 단계 이전에,
상기 제어 장치가 2차원 영상을 360°VR 영상으로 변환하고, 상기 VR 영상을 복수의 영역들로 분할하여 분할된 각각의 영역에 위치 좌표를 설정하는 단계를 더 포함하는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템의 교육 방법.
제8항에 있어서, 상기 중심 위치 조절 정보를 전송하는 단계는,
상기 제어 장치가 상기 HMD 장치들 중 상기 시청 집중 영역의 임계 범위를 벗어난 영역에 중심 영역이 위치한 제1 HMD 장치를 판단하고, 상기 제1 HMD 장치의 중심 영역이 상기 시청 집중 영역에 위치하도록 상기 중심 위치 조절 정보를 생성하여 상기 제1 HMD 장치에 전송하는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템의 교육 방법.
제10항에 있어서, 상기 시청 집중 영역을 위치시킨 VR 영상을 표시하는 단계는,
상기 제1 HMD 장치가 블랙 영상을 표시한 후 상기 제1 HMD 장치의 중심 영역에 상기 시청 집중 영역을 위치시킨 후 상기 VR 영상을 표시하는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템의 교육 방법.
제10항에 있어서, 상기 시청 집중 영역을 위치시킨 VR 영상을 표시하는 단계는,
상기 제1 HMD 장치가 상기 중심 위치 조절 정보를 기초로 상기 VR 영상을 회전하여 상기 제1 HMD 장치의 중심 영역에 상기 시청 집중 영역을 위치시킨 후 상기 VR 영상을 표시하는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템의 교육 방법.
제10항에 있어서, 상기 시청 집중 영역을 위치시킨 VR 영상을 표시하는 단계는,
상기 제1 HMD 장치가 상기 중심 위치 조절 정보를 기초로 상기 제1 HMD 장치의 중심 영역에 상기 시청 집중 영역을 위치시킨 후 일정 기간 동안 사용자의 중심 시점을 상기 시청 집중 영역에 고정하는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템의 교육 방법.