KR101756792B1 - Hmd형 가상현실 콘텐츠 모니터링 및 제어 시스템 - Google Patents

Abstract

본 발명은 HMD(Head Mount Display)형 가상현실 콘텐츠를 이용한 교육 시 이를 모니터링하고 제어하는 기술에 관한 것이다.
본 발명에 따른 HMD형 가상현실 콘텐츠 모니터링 및 제어 시스템은 가상현실 콘텐츠를 제공하고, 이를 시청하는 사용자의 시선 정보를 획득하여 전송하는 가상현실 단말과, 전송 받은 시선 정보를 전달하는 가상현실 콘텐츠 제어 서버 및 시선 정보를 이용하여 사용자의 콘텐츠 시청 상황을 모니터링하는 가상현실 모니터링 단말을 포함하는 것을 특징으로 한다.

Description

HMD형 가상현실 콘텐츠 모니터링 및 제어 시스템{SYSTEM FOR MONITORING AND CONTROLLING HEAD MOUNT DISPLAY TYPE VIRTUAL REALITY CONTENTS}

본 발명은 HMD(Head Mount Display)형 가상현실 콘텐츠를 이용한 교육 시 이를 모니터링하고 제어하는 기술에 관한 것이다.

가상현실(VR: Virtual Reality)은 특정한 환경이나 상황을 컴퓨터로 만들어서, 그것을 사용하는 사람이 마치 실제 주변 상황 또는 환경과 상호 작용을 하는 것처럼 만들어주는 인간과 컴퓨터 사이의 인터페이스를 말한다.

헤드마운트 디스플레이(HMD: Head Mounted Display)는 머리에 착용하는 디스플레이로, 사용자의 눈에 근접한 위치에 디스플레이가 설치되어 영상을 보여주며, HMD형 가상현실 콘텐츠는 헤드트래킹을 통해서 360도 전방향으로 콘텐츠를 시청하는 것이 가능하여 사용자의 몰입도가 높고, 이러한 높은 몰입감으로 인하여 가상현실 구현에 적용된다.

HMD형 가상현실 콘텐츠의 경우, 사용자 외에는 사용자가 현재 HMD를 이용하여 어떠한 내용을 보고 있는지 외부에서는 알 수가 없다.

외부 모니터를 이용하여 미러링(Mirroring)을 통하여 이를 알 수는 있으나, 동시에 다수의 사람들이 HMD형 가상현실 콘텐츠를 시청하는 경우에는 미러링을 통하여 모니터링하는 것이 불가능하다.

최근 HMD형 가상현실 구현 기술 발전에 따라 이를 다양한 분야에 적용하려는 시도가 있었으며, 특히 교육분야에서는 이를 이용하여 평소 쉽게 체험하기 어려운 천체형상, 과학 분야 등의 교육에 적용하고자 하는 사례가 증가하고 있다.

그러나, 종래 기술에 따르면 전술한 바와 같이 사용자가 현재 무엇을 보고 있는지를 모니터링하기 어려워, 교육의 진행이 어려운 문제점이 있다.

본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 가상현실 콘텐츠를 시청하는 사용자가 현재 무엇을 보고 있는지 모니터링하고, 이를 통하여 가상현실 콘텐츠 제어를 수행하는 것이 가능한 HMD형 가상현실 콘텐츠 모니터링 및 제어 시스템을 제공하는 데 그 목적이 있다.

본 발명에 따른 HMD형 가상현실 콘텐츠 모니터링 및 제어 시스템은 가상현실 콘텐츠를 제공하고, 이를 시청하는 사용자의 시선 정보를 획득하여 전송하는 가상현실 단말과, 전송 받은 시선 정보를 전달하는 가상현실 콘텐츠 제어 서버 및 시선 정보를 이용하여 사용자의 콘텐츠 시청 상황을 모니터링하는 가상현실 모니터링 단말을 포함하는 것을 특징으로 한다.

본 발명에 따른 HMD 형 가상현실 콘텐츠 모니터링 및 제어 방법은 가상현실 콘텐츠를 제공하는 단계와, 가상현실 콘텐츠를 시청하는 사용자의 시선 정보를 획득하는 단계 및 사용자의 시선 정보를 이용하여 콘텐츠 시청 상황을 모니터링하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따른 가상현실 모니터링 단말은 사용자에게 제공 중인 가상현실 콘텐츠를 디스플레이하되, 사용자의 시선 정보를 수신하고, 이를 가상현실 콘텐츠를 구성하는 360도 영상이 평면 영상으로 변환된 영상 상에 부가하여 디스플레이하는 것을 특징으로 한다.

본 발명에 따른 HMD형 가상현실 콘텐츠 모니터링 및 제어 시스템은 동시에 다수의 사용자가 동일한 가상현실 콘텐츠를 시청하는 경우, 별도의 미러링 없이도 사용자 시선 정보 및 사용자 고유 정보를 통하여 어떠한 사용자가 가상현실 콘텐츠 중 어떠한 부분을 시청하고 있는지 한눈에 모니터링하는 것을 가능하도록 지원함으로써, 가상현실 콘텐츠 제공 시 다수의 사용자의 시청 상황을 용이하게 확인하고, 이에 따른 적절한 콘텐츠 제어를 즉각 취할 수 있도록 하는 효과가 있다.

일례로, 가상현실 콘텐츠를 이용하여 교육을 진행하는 경우, 교육 환경에서의 교육생들의 학습 현황을 일목요연하게 모니터링하고, 콘텐츠의 진행 내용을 제어함으로써 가상현실 콘텐츠를 이용한 효과적인 교육이 이루어지는 효과가 있다.

즉, 가상현실 콘텐츠를 이용한 교육 제공 시 교육생들이 각자 현재 무엇을 보고 있는지를 모니터링하고, 이에 따라 교육 진행을 수행할 수 있도록 지원함으로써, 가상현실 콘텐츠를 이용한 교육의 효율성을 증대시키는 효과가 있다.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 실시예에 따른 HMD형 가상현실 콘텐츠 모니터링 및 제어 시스템을 나타내는 예시도이다.
도 2는 본 발명의 실시예에 따른 가상현실 단말의 시선 정보 획득 과정을 나타내는 예시도이다.
도 3은 본 발명의 실시예에 따른 가상현실 모니터링 단말의 화면을 나타내는 예시도이다.
도 4는 본 발명의 실시예에 따른 HMD 형 가상현실 콘텐츠 모니터링 및 제어 방법을 나타내는 순서도이다.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.

도 1은 본 발명의 실시예에 따른 HMD형 가상현실 콘텐츠 모니터링 및 제어 시스템을 나타내는 예시도이다.

본 발명의 실시예에 따른 HMD형 가상현실 콘텐츠 모니터링 및 제어 시스템은 가상현실 콘텐츠를 제공하는 HMD인 가상현실 단말(100)과, 가상현실 단말(100)로부터 전송 받은 시선 정보를 전달하는 가상현실 콘텐츠 제어 서버(200) 및 시선 정보를 이용하여 사용자(교육생)의 콘텐츠 시청 상황을 모니터링하는 가상현실 모니터링 단말(300)을 포함하여 구성된다.

가상현실 콘텐츠는 가상현실 모니터링 단말(300)이 가상현실 콘텐츠 제어 서버(200)를 통하여 전달하는 콘텐츠 제어 신호에 의하여, 교육생 1, 교육생 2 내지 교육생 n에 HMD형으로 착용되는 가상현실 단말(100a, 100b 내지 100n)을 통해 사용자(교육생)에게 제공된다.

이 때, 교육생 1, 교육생 2 내지 교육생 n에 HMD형으로 착용되는 가상현실 단말(100a, 100b 내지 100n)은 가상현실 콘텐츠를 시청하는 사용자의 시선 정보를 획득하여 가상현실 콘텐츠 제어 서버(200)로 전송한다.

가상현실 콘텐츠 제어 서버(200)는 도 1에 도시된 바와 같이, 사용자의 시선 정보를 가상현실 모니터링 단말(300)로 전달한다.

가상현실 콘텐츠 제어 서버(200)와 연결된 가상현실 단말(100)은 도 2에 도시된 바와 같이, 가상현실 콘텐츠를 시청하는 사용자 시야(FOB, Field of View)의 중심 좌표를 획득하여 시선 정보를 생성하고, 이를 가상현실 콘텐츠 제어 서버(200)로 전송한다.

즉, 가상현실 단말(100)은 현재 교육생이 보고 있는 방향의 중심 좌표를 가상현실 콘텐츠 제어 서버(200)로 전송하는데, 이 때 기설정된 주기(예: 매 1초)로 중심 좌표를 전송함이 바람직하다.

또한, 가상현실 모니터링 단말(300), 가상현실 단말(100), 가상현실 콘텐츠 제어 서버(200)는 기설정된 바에 따라 동기화되어, 각 가상현실 단말(100)을 착용하여 가상현실 콘텐츠를 시청하는 교육생의 시선 좌표를 실시간으로 전송 및 모니터링하는 것이 바람직하다.

동일한 가상현실 콘텐츠가 제공되는 중에도, 각 교육생은 각자 보고 있는 부분이 다를 수 있으므로, 가상현실 단말(100)은 시선 정보를 생성하여 전송하고, 이는 가상현실 콘텐츠 제어 서버(200)를 통해 가상현실 모니터링 단말(300)로 제공되어, 관리자(교육 진행자)는 가상현실 모니터링 단말(300)을 통해 각 교육생이 현재 가상현실 콘텐츠의 어느 부분을 시청하고 있는 것인지 확인할 수 있으므로, 적절한 모니터링 및 가상현실 콘텐츠의 제어가 가능하도록 지원한다.

본 발명의 실시예에 따르면, 별도의 미러링 없이 각 교육생의 시청 상황을 모니터링하되, 다수의 교육생 각자가 보고 있는 부위가 가상현실 콘텐츠 중 어느 부위인지를 일목요연하게 모니터링할 수 있도록 하기 위하여, 가상현실 단말(100)은 해당 시선 정보 및 이에 매칭되는 사용자의 고유 정보(예: 이름, 학번 등)를 가상현실 콘텐츠 제어 서버(200)로 전송하며, 가상현실 콘텐츠 제어 서버(200)는 이를 가상현실 모니터링 단말(300)로 전달한다.

일례로, 가상현실 콘텐츠를 이용한 수업이 진행되는 교실의 상황에서, 관리자는 모든 교육생을 육안으로 확인하여야 하므로, 가상현실 모니터링 단말(300)은 일반 스마트패드와 같은 형태로 구비되며, 가상현실 콘텐츠를 구성하는 360도 영상을 2차원 평면으로 펼친 영상 상에, 전달받은 시선 정보 및 이에 해당하는 사용자의 고유 정보를 부가하여 디스플레이하여 관리자(교육 진행자)에게 제공하게 된다.

일례로, 이러한 가상현실 모니터링 단말(300)의 디스플레이 상황은 도 3에 도시한 바와 같다.

따라서, 관리자는 가상현실 모니터링 단말(300)을 통하여 현재 수업에 제공되는 가상현실 콘텐츠에 대하여, 실시간으로 각 교육생이 어느 부위를 시청하고 있는지를 한눈에 파악할 수 있다.

도 3에 도시된 바와 같이, 가상현실 모니터링 단말(300)에 디스플레이되는 현황에는, 시작, 일시정지, 정지, 콘텐츠 진행 시간, 화면 최대화 버튼, 음량버튼이 구비되어, 관리자의 입력에 따른 콘텐츠 제어 신호를 생성하여 전달한다.

도 4는 본 발명의 실시예에 따른 HMD 형 가상현실 콘텐츠 모니터링 및 제어 방법을 나타내는 순서도이다.

본 발명의 실시예에 따른 HMD 형 가상현실 콘텐츠 모니터링 및 제어 방법은 가상현실 콘텐츠를 제공하는 단계(S100)와, 가상현실 콘텐츠를 시청하는 사용자의 시선 정보를 획득하는 단계(S200) 및 사용자의 시선 정보를 이용하여 콘텐츠 시청 상황을 모니터링하는 단계(S300)를 포함한다.

S100 단계는 가상현실 모니터링 단말을 통하여 입력되는 콘텐츠 선택 신호에 따라 선택된 가상현실 콘텐츠를 구성하는 360도 영상을 제공하는 단계이다.

S200 단계는 HMD형 가상현실 단말로부터, 사용자 시야의 중심 좌표를 이용하여 생성된 시선 정보를 획득하는 것으로, 기설정 주기(예: 매 1초)마다 획득하는 것이 바람직하다.

S300 단계는 S200 단계에서 획득한 시선 정보를 이용하여 가상현실 콘텐츠 중 사용자가 시청하는 부분을 표시하여 디스플레이하는 단계이다.

이 때, 가상현실 모니터링 단말을 이용하는 관리자로 하여금 적절한 체험 지도가 이루어질 수 있도록, S200 단계는 사용자의 시선 정보를 전달 받음에 있어서, 각 시선 정보에 해당되는 사용자의 고유 정보(예: 이름, 학번)를 획득하는 것이 바람직하다.

즉, S300단계는 도 3에 도시된 바와 같이, 가상현실 콘텐츠를 구성하는 360도 영상을 2차원 평면으로 펼친 영상 상에, 획득된 각각의 시선 정보 및 사용자의 고유 정보를 부가하여 디스플레이한다.

따라서, 이러한 디스플레이 화면을 통하여 관리자는 각 사용자가 체험 지도 중인 가상현실 콘텐츠 중 어느 부위를 시청하고 있는 것인지 확인하는 것이 가능하여, 적절한 체험 지도를 수행할 수 있다.

본 발명의 실시예에 따른 HMD형 가상현실 콘텐츠 모니터링 및 제어 방법은 S300 단계 이후, 콘텐츠 시청 상황 모니터링 결과에 따라, 가상현실 콘텐츠에 대한 시작, 일시정지 및 정지 중 적어도 어느 하나인 콘텐츠 제어 신호를 제공하는 단계를 더 포함하여 구성된다.

관리자는 가상현실 모니터링 단말을 통하여, 가상현실 콘텐츠에 대한 시작 명령, 일시정지 명령, 정지 명령을 입력하여 각 사용자의 가상현실 단말로 제공되는 가상현실 콘텐츠의 실행을 제어하게 된다.

이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100: 가상현실 단말 200: 가상현실 콘텐츠 제어 서버
300: 가상현실 모니터링 단말

Claims (17)

1. 360도 영상인 가상현실 콘텐츠를 디스플레이하여, 상기 가상현실 콘텐츠에 대한 사용자 시야의 중심 좌표를 획득하여 시선 좌표를 생성하고, 기설정된 주기로 상기 시선 좌표 및 이에 해당하는 사용자의 고유 정보를 전송하는 가상현실 단말;
   상기 가상현실 단말로부터 전송 받은 상기 시선 좌표 및 사용자의 고유 정보를 전달하는 가상현실 콘텐츠 제어 서버; 및
   상기 시선 좌표 및 사용자의 고유 정보를 전송받고, 상기 가상현실 단말 및 가상현실 콘텐츠 제어 서버와 동기화되어, 상기 360도 영상인 가상현실 콘텐츠를 평면 영상으로 변환시킨 영상 상에 각각의 사용자가 시청하고 있는 영역 및 그 영역을 시청하는 사용자의 고유 정보를 사용자별로 표출하고, 복수의 사용자의 콘텐츠 시청 상황 모니터링 결과에 따라 콘텐츠의 실행을 제어하고, 상기 가상현실 단말로 체험지도 명령을 전송하는 가상현실 모니터링 단말
   을 포함하는 HMD형 가상현실 콘텐츠 모니터링 및 제어 시스템.
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제

Images