KR20220014254A

KR20220014254A - 버스와 같은 차량에서 여행 가상현실 컨텐츠를 제공하는 방법 및 시스템

Info

Publication number: KR20220014254A
Application number: KR1020200094108A
Authority: KR
Inventors: 박가람; 곽미진
Original assignee: 박가람
Priority date: 2020-07-28
Filing date: 2020-07-28
Publication date: 2022-02-04

Abstract

본 발명은 버스와 같은 차량에서 여행 가상현실 컨텐츠를 제공하는 방법 및 시스템에 관한 것으로, 제어부는 카메라로부터 좌석의 위치 데이터를 얻어 이 위치에 좌석의 가상 객체 및 사용자의 가상 객체를 표시하고, HMD 장치로부터 얻은 사용자의 표정을 FACS AU를 통해 사용자의 가상 객체에 반영하고, 네비게이션으로부터 얻은 속도 정보를 컨텐츠에 반영하고, 컨트롤러로부터 얻은 사용자의 움직임의 정보를 컨텐츠에 반영하고 컨텐츠에 어울리는 효과를 효과장치로 나타낸다.

Description

버스와 같은 차량에서 여행 가상현실 컨텐츠를 제공하는 방법 및 시스템{METHOD OF PROVIDING TRAVELING VIRTUAL REALITY CONTENTS IN VEHICLE SUCH AS A BUS AND A SYSTEM THEREOF}

본 발명은 가상현실(Virtual Reality) 컨텐츠를 제공하는 방법 및 시스템에 관한 것으로, 구체적으로는 버스와 같은 차량에서 여행 가상현실 컨텐츠를 제공하는 방법 및 시스템에 관한 것이다.

가상현실은 가상 세계 또는 현실 세계의 객체나 배경 등을 컴퓨터를 사용해서 인공적으로 구현해 놓은 인공 세계 또는 그러한 기술을 의미하는 것으로, 이런 가상현실 기술은 가상의 세계를 사용자에게 제공하는 것과 현실의 세계를 사용자에게 제공하는 것으로 구분될 수 있으며, 전자의 경우 컴퓨터에 의해 만들어진 가상의 공간이나 환경에서 사용자가 몰입되는 경우이며, 후자의 경우 현실의 정보가 가상현실 시스템 기기를 통해 사용자에게 전달되는 경우로서, 증강현실이나 복합현실이 여기에 속한다.

이러한 가상현실 영상을 이용하면 사용자의 움직임에 따라 시점이 변화하여 다양한 시점의 영상이 제공될 수 있다. 이러한 특징을 활용하여 게임·교육·의료·영상·방송·광고·제조업 등 다양한 분야에 적용하려는 시도가 활발하게 진행 중에 있다.

최근에 미세먼지 문제로 사람들의 외부 활동은 제한되었으며, 특히 최근 코로나 19 사태를 거치면서, 사람들이 움직일 수 있는 범위는 더욱 제한되었다. 그에 따라 사람들의 외부 활동을 가상현실 컨텐츠로 대체하려는 시도가 활발하게 이루어지고 있다.

한편 우리 사회 전반적으로 저출산, 고령화가 심화되면서 지역의 인구가 수도권과 대도시로 몰리면서 지방은 인구감소로 인해 지역 소멸이라는 위기를 맞고 있다. 특히 지방은 도시 지역과 달리, 가상현실 컨텐츠 서비스를 제공하는 시설이 부족하여 학생들이 가상현실 컨텐츠를 접할 기회가 부족하다.

등록특허공보 제10-1633057호

본 발명은 위와 같은 문제점을 해결하기 위해 안출된 발명으로서, 본 발명은 가상현실 기술을 도입함으로써, 미세먼지 및 코로나 19에 의해 위축된 외부활동을 대신할 여행 가상현실 컨텐츠를 제공하기 위한 것이다.

또한 본 발명은 가상현실 컨텐츠를 접할 기회가 부족한 지방의 학생들에게 가상현실 컨텐츠로 시간 또는 장소에 제한되지 않는 여행을 제공하는 여행 가상현실 컨텐츠를 제공하기 위한 것이다.

또한 본 발명은 학생들이 차량에서 이동할 때 앉아서 지루한 시간을 보내는 문제를 해결하며, 차량의 이동 중에 여행의 경험을 제공하고자, 차량의 이동시에 여행 가상현실 컨텐츠를 제공하기 위한 것이다.

또한 본 발명은 사용자의 표정을 인식하고 가상현실 컨텐츠에서 사용자의 표정을 반영하기 위해 HMD 장치의 하부에 사용자의 하안을 촬영할 수 있는 카메라를 추가하였기 때문에, 본 발명에 따라 사용자의 하안의 움직임이 촬영되고 사용자의 표정이 인식될 수 있다.

또한 본 발명은 사용자가 여행 가상현실 컨텐츠를 제공받을 때, 단순히 혼자서 여행하는 것이 아니라 다수의 사용자가 서로의 표정이나 몸짓을 볼 수 있도록 하여 함께 여행하는 느낌을 제공하는 것이다.

본 발명에 따른 버스와 같은 차량에서 여행 가상현실 컨텐츠를 제공하는 방법은, (a) 제어부가 카메라로 하여금 차량 내부를 촬영하도록 하고 상기 카메라로부터 차량 좌석 데이터를 획득하여 상기 차량 좌석을 인식하는 단계; (b) 상기 제어부가 상기 차량 좌석에 해당하는 위치 데이터를 설정하는 단계; (c) 상기 제어부가 HMD 장치에 상기 위치 데이터에 위치한 상기 좌석의 가상 객체 및 사용자의 가상 객체가 나타나도록 하는 단계; (d) 상기 제어부가 상기 HMD 장치에 컨텐츠를 표시하는 단계; (e) 상기 제어부가 상기 HMD 장치로부터 사용자의 표정을 인식하는 단계; (f) 상기 제어부가 사용자의 표정을 얼굴 움직임 부호화 시스템(Facial Action Coding System Action Unit, FACS AU)에 따라 변환하는 단계; (g) 상기 제어부가 사용자의 표정을 상기 사용자의 가상 객체에 반영하는 단계; 및 (h) 상기 제어부가 사용자의 컨트롤러 움직임을 상기 사용자의 가상 객체의 손 동작에 반영하는 단계;를 포함하고, 상기 제어부가 네비게이션으로부터 차량의 속도를 수신하여 컨텐츠에 반영하고, 상기 제어부가 컨트롤러의 맥박센서가 사용자의 심장 박동수를 측정하도록 하여 사용자가 무료함을 느끼고 있다고 판단되면 사용자를 놀라게 하는 컨텐츠를 제공하고, 상기 제어부가 효과 장치가 컨텐츠의 날씨 또는 장소에 따라 눈, 비, 바람, 이슬, 안개, 폭우, 번개, 또는 향기의 시뮬레이션 효과를 내도록 구성되고, 상기 제어부가 컨텐츠의 제공 시간이 소정 길이의 시간을 넘으면 상기 효과 장치가 차량이 급발진, 급제동 또는 코너링할 때 차량의 좌석이 진동하게 하거나 사용자에게 물 또는 바람을 분사하도록 하고, 상기 제어부가 상기 HMD 장치들을 연결하여 차량 내부의 사용자들의 가상 객체들을 모두 표시하도록 할 수 있다.

본 발명에 따른 버스와 같은 차량에서 여행 가상현실 컨텐츠를 제공하는 방법은, 상기 HMD 장치의 하단에 사용자의 하안을 찍을 수 있는 카메라가 구비될 수 있다.

본 발명에 따른 버스와 같은 차량에서 여행 가상현실 컨텐츠를 제공하는 방법은, 상기 제어부가 상기 차량의 이동경로를 상기 컨텐츠에 반영할 수 있다.

본 발명에 따른 버스와 같은 차량에서 여행 가상현실 컨텐츠를 제공하는 방법은, 상기 좌석의 가상 객체 및 사용자의 가상 객체가 나타나도록 하는 단계가, 상기 제어부가 차량 좌석의 센서부에서 일정 수치 이상의 압력이 가해지는 것으로 인식되면 상기 차량 좌석으로부터 제어신호를 수신하는 단계; 상기 제어부가 수신된 상기 제어신호에 따라 상기 HMD 장치를 켜도록 제어하는 단계; 및 상기 제어부가 상기 HMD 장치들이 켜진 위치에 있는 좌석의 가상 객체 및 사용자의 가상 객체를 상기 HMD 장치에 표시하는 단계를 포함할 수 있다.

본 발명에 따른 버스와 같은 차량에서 여행 가상현실 컨텐츠를 제공하는 방법은, 상기 제어부가 상기 차량 좌석의 센서부에서 0.1 내지 20 킬로그램[kg]의 범위 내에서 일정 수치 이상의 무게가 측정될 경우에만 제어신호를 수신하도록 구성될 수 있다.

본 발명에 따른 버스와 같은 차량에서 여행 가상현실 컨텐츠를 제공하는 시스템은, (a) 카메라가 차량 내부를 촬영하도록 하고 상기 카메라로부터 차량 좌석 데이터를 획득하여 상기 차량 좌석을 인식하는 차량 좌석 인식 모듈; (b) 상기 차량 좌석에 해당하는 위치 데이터를 설정하는 위치 설정 모듈; (c) HMD 장치에 상기 위치 데이터에 위치한 상기 좌석의 가상 객체 및 사용자의 가상 객체가 나타나도록 하는 가상 객체 모듈; (d) 상기 HMD 장치에 컨텐츠를 표시하는 컨텐츠 제공 모듈; (e) 상기 HMD 장치로부터 사용자의 표정을 인식하는 표정 인식 모듈; (f) 사용자의 표정을 얼굴 움직임 부호화 시스템에 따라 변환하는 표정 변환 모듈; (g) 사용자의 표정을 상기 사용자의 가상 객체에 반영하는 표정 모듈; (h) 네비게이션으로부터 차량의 속도를 수신하여 컨텐츠에 반영하는 네비게이션 모듈; (i) 사용자의 컨트롤러 움직임을 상기 사용자의 가상 객체의 손 동작에 반영하는 동작 모듈; (j) 사용자의 컨트롤러의 맥박센서가 사용자의 심장 박동수를 측정하도록 하여 사용자가 무료한지 여부를 판단하는 판단 모듈; (k) 효과 장치가 상기 컨텐츠의 날씨 또는 장소에 따라 눈, 비, 바람, 이슬, 안개, 폭우, 번개, 또는 향기의 시뮬레이션 효과를 내도록 하거나, 컨텐츠의 제공 시간이 소정 길이의 시간을 넘으면 차량이 급발진, 급제동 또는 코너링할 때 차량의 좌석이 진동하게 하거나 사용자에게 물 또는 바람을 분사하도록 하는 효과 모듈; 및 (l) 상기 HMD 장치들을 연결하여 차량 내부의 사용자들의 가상 객체들을 모두 표시하도록 하는 통합 관리 모듈을 포함 할 수 있다.

본 발명에 따른 버스와 같은 차량에서 여행 가상현실 컨텐츠를 제공하는 시스템은, 상기 HMD 장치의 하단에 사용자의 하안을 찍을 수 있는 카메라가 구비될 수 있다.

본 발명에 따른 버스와 같은 차량에서 여행 가상현실 컨텐츠를 제공하는 시스템은, 상기 제어부가 상기 차량의 이동경로를 상기 컨텐츠에 반영할 수 있다.

본 발명에 따른 버스와 같은 차량에서 여행 가상현실 컨텐츠를 제공하는 시스템은, 상기 가상 객체 모듈이, 차량 좌석의 센서부에서 일정 수치 이상의 압력이 가해지는 것이 인식되면 상기 차량 좌석으로부터 제어신호를 수신하고, 수신된 상기 제어신호에 따라 상기 HMD 장치를 켜도록 제어하고, 상기 HMD 장치들이 켜진 위치에 있는 좌석의 가상 객체 및 사용자의 가상 객체를 상기 HMD 장치에 표시할 수 있다.

본 발명에 따른 버스와 같은 차량은 여행 가상현실 컨텐츠를 제공하는 시스템을 포함할 수 있다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명에 따른 버스와 같은 차량에서 여행 가상현실 컨텐츠를 제공하는 방법 및 시스템은 다음과 같은 효과들이 있다.

본 발명은 가상현실 기술을 이용함으로써, 가상 세계 또는 현실 세계를 인공적으로 구현할 수 있어 사용자의 환경에 상관없이 그 가상현실 내에서 사용자는 제한 없는 다양한 컨텐츠를 제공받을 수 있다. 그 중에서도 본 발명은 차량의 이동 중에 사용자에게 가상현실 컨텐츠를 제공하여 즐거움을 주는 한편, 사용자가 이동 중에 무료함을 느끼는지 여부를 심박수 측정을 통해 확인하여 이에 따라 사용자를 놀라게 하는 컨텐츠를 제공하여 사용자가 지루하지 않게 할 수 있다.

또한, 본 발명은 차량의 속도가 가상현실에 반영되기 때문에 사용자에게 가상현실의 현실감 및 몰입감을 주는 한편, 사용자가 움직이는 속도와 사용자가 보는 컨텐츠 사이에 부조화를 줄여 사이버 멀미를 경감시킬 수 있다.

또한, 본 발명은 가상현실 컨텐츠를 소정 길이의 시간, 예를 들어 20분 넘게 제공받았을 때 사이버 멀미가 발생할 수 있는데, 여기서 차량에 의한 멀미까지 발생하여 사용자의 멀미를 더욱 악화시킬 수 있는 바, 차량에 의한 멀미는 최소한 방지하고자 차량이 급발진, 급제동 또는 코너링할 때 사용자의 뇌의 주위를 분산시키도록 의자를 진동시키거나 사용자에게 물 또는 바람을 분사할 수 있다. 따라서 본 발명에 따라 가상현실 컨텐츠를 제공할 때 사용자의 멀미를 경감시킬 수 있다.

또한, 본 발명은 사용자가 이동하는 동안 여행 가상현실 컨텐츠를 제공하기 때문에, 사용자가 이동하지 않으며 가상현실 컨텐츠를 제공받는 것보다 생동감 있는 여행 경험을 느낄 수 있게 한다.

또한, 본 발명은 사용자의 가상 객체의 얼굴 표정, 몸의 움직임 및 손의 움직임을 다른 사용자가 볼 수 있도록 하므로, 서로의 반응을 확인하면서 공감하고 더욱 컨텐츠에 몰입하도록 할 수 있다.

또한, 본 발명은 버스와 같은 차량을 이용하여 여행 컨텐츠를 제공하는 것으로, 소외 지역에 거주하여 다양한 경험을 하기 어렵고, 가상현실을 쉽게 접하기 어려운 학생들이 있는 곳으로 여행 컨텐츠를 제공하는 시스템이 구비된 본 발명에 따른 버스가 직접 이동하여 위와 같은 학생들에게 여행 가상현실 컨텐츠를 제공할 수 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 버스와 같은 차량에서 여행 가상현실 컨텐츠를 제공하는 시스템을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 버스와 같은 차량에서 여행 가상현실 컨텐츠를 제공하는 방법을 나타낸 순서도이다.
도 3은 본 발명의 일 실시예에 따른 얼굴 움직임 부호화 시스템을 설명하기 위한 얼굴의 상 하부의 액션 유닛의 일부를 나타내는 그림이다.
도 4는 본 발명의 일 실시예에 따른 HMD 장치(200)를 제어하여 가상 객체를 표시하는 방법을 나타내는 순서도이다.
도 5는 본 발명의 일 실시예에 따른 다른 사용자의 HMD 장치(200)와 공유하여 가상 객체를 표시하는 방법을 설명하기 위한 순서도이다.
도 6은 본 발명의 일 실시예에 따른 효과 장치로 컨텐츠의 날씨 또는 장소에 따라 눈, 비, 바람, 이슬, 안개, 폭우, 번개, 또는 향기의 시뮬레이션 효과를 제공하고 컨텐츠의 제공 시간이 소정 길이의 시간을 넘고, 차량이 급발진, 급제동 또는 코너링할 때 차량의 좌석이 진동하거나 사용자에게 물 또는 바람이 분사되는 방법을 나타낸 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 통상의 기술자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

본 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 모듈 및/또는 섹션 외에 하나 이상의 다른 구성요소, 모듈 및/또는 섹션의 존재 또는 추가를 배제하지 않는다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하에서는 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 버스와 같은 차량에서 여행 가상현실 컨텐츠를 제공하는 시스템을 나타낸 도면이다.

도 1을 참조하면 제어부(100), HMD 장치(200), 카메라(300), 네비게이션(400), 컨트롤러(500) 및 효과장치(600)가 네트워크를 통해 서로 연결된다. 제어부(100), HMD 장치(200), 카메라(300), 네비게이션(400), 컨트롤러(500) 및 효과장치(600)는 네트워크를 통해서 서로 데이터 및/또는 정보를 송수신할 수 있다.

네트워크는 근거리 네트워크(Local Area Network; LAN), 도시권 네트워크(Metropolitan Area Network; MAN), 광대역 네트워크(Wide Area Network; WAN) 등과 같은 다양한 크기의 네트워크로 구성될 수 있다. 네트워크는 유선 또는 무선 네트워크로 구성될 수 있다.

제어부(100)는 차량 내부에 설치되고, HMD 장치(200)로 컨텐츠를 전송한다. 이에 따라 사용자는 컨텐츠를 감상할 수 있다.

또한 차량에 구비된 카메라(300)는 차량의 좌석을 촬영하고 HMD 장치(200)에 표시한다.

제어부(100)는 예를 들어, 데스크톱(desk top), 랩톱(lap top) 등과 같은 개인용 컴퓨터(Personal Computer; PC), 모바일 단말기, 및 스마트폰(smartphone)일 수 있다. 제어부(100)는 예시되지 않은 다른 컴퓨팅 장치일 수도 있다.

구체적으로 도 1을 참조하면, 상기 시스템은; 카메라가 차량 내부를 촬영하도록 하고 상기 카메라로부터 차량 좌석 데이터를 획득하여 상기 차량 좌석을 인식하는 차량 좌석 인식 모듈(110); 상기 차량 좌석에 해당하는 위치 데이터를 설정하는 위치 설정 모듈(120); HMD 장치에 상기 위치 데이터에 위치한 상기 좌석의 가상 객체 및 사용자의 가상 객체가 나타나도록 하는 가상 객체 모듈(131); 상기 HMD 장치에 컨텐츠를 표시하는 컨텐츠 제공 모듈(132); 상기 HMD 장치로부터 사용자의 표정을 인식하는 표정 인식 모듈(133); 사용자의 표정을 얼굴 움직임 부호화 시스템에 따라 변환하는 표정 변환 모듈(134); 사용자의 표정을 상기 가상 객체에 반영하는 표정 모듈(135); 네비게이션으로부터 차량의 속도를 수신하여 컨텐츠에 반영하는 네비게이션 모듈(140); 사용자의 컨트롤러 움직임을 상기 가상 객체의 손 동작에 반영하는 동작 모듈(150); 사용자의 컨트롤러의 맥박센서가 사용자의 심장 박동수를 측정하도록 하여 사용자가 무료한지 여부를 판단하는 판단 모듈(160), 효과 장치가 컨텐츠의 날씨 또는 장소에 따라 눈, 비, 바람, 이슬, 안개, 폭우, 번개, 또는 향기의 시뮬레이션 효과를 내도록 하거나, 컨텐츠의 제공 시간이 소정 길이의 시간을 넘으면 차량이 급발진, 급제동 또는 코너링할 때 차량의 좌석이 진동하게 하거나 사용자에게 물 또는 바람을 분사하도록 하는 효과 모듈(170) 및 상기 HMD 장치들을 연결하여 차량 내부의 사용자들의 가상 객체들을 모두 표시하도록 하는 통합 관리 모듈(180)을 포함한다.

차량 좌석 인식 모듈(110)이 차량 좌석을 인식하면, 위치 설정 모듈(120)은 차량에 해당 좌석의 위치를 파악하여 위치 데이터를 설정한다. 이는 카메라가 차량의 좌석의 구도를 촬영하고, 촬영에 의해 얻어진 이미지에서 좌석이 위치하는 지점의 좌표를 지정함으로써 위치 데이터를 설정하는 것이다.

가상 객체 모듈(131)은 HMD 장치(200)에 좌석의 가상 객체 및 사용자의 가상 객체를 표시한다. 사용자가 차량의 좌석에 착석하면 좌석의 센서부는 압력에 의해 사용자가 착석한 것을 인식한다. 사용자가 착석한 자리에 HMD 장치(200)가 켜지고, 해당 위치데이터에서 좌석의 가상 객체 및 사용자의 가상 객체가 나타나는 것이다. 차량의 이동 중에 사용자는 이동할 수 없으므로, 특정 위치에 사용자의 가상 객체가 고정된다.

가상 객체 모듈(131)은 가상 객체를 형성하는데, 상기 가상 객체는 동물, 캐릭터, 사람 등 다양한 모습을 가질 수 있다.

컨텐츠 제공 모듈(132)은 HMD 장치(200)에 컨텐츠가 나타나도록 한다. 위 컨텐츠는 주로 여행 컨텐츠로, 이동할 수 있는 차량, 비행기, 잠수함, 우주선, 말과 같은 이동 수단 내부에서 바라보는 관점의 컨텐츠가 제공된다.

차량이 이동하면 사용자들은 잠수함을 타고 이동하는 느낌, 사파리를 오프로드 차량을 타고 이동하는 느낌, 해외 유명 관광지를 차를 타고 돌아보는 느낌, 우주의 다른 행성을 탐험하는 느낌 등을 받을 수 있다.

또한 상기 컨텐츠는 차량의 이동 속도를 반영할 수 있다. 차량이 빠르게 움직이면 컨텐츠가 움직이는 속도가 빨라진다. 예를 들어, 가상현실에서 사용자는 외국 투어 버스에 탄 컨텐츠를 제공받는데, 현실에서 사용자가 타고 있는 차량의 속도가 빨라지면 가상현실 내의 외국 투어 버스도 함께 빠르게 움직인다.

따라서 사람이 HMD 장치(200)을 통해 시각적으로 느끼는 이동하는 감각과 인체의 전정기관을 통해 느껴지는 이동하는 감각이 일치하여 컨텐츠에 몰입할 수 있다.

또한, 상기 컨텐츠는 차량의 이동경로를 반영할 수 있다. 차량이 이동할 경로가 설정되면 컨텐츠 내에서도 동일한 경로가 설정된다. 예컨대, 차량이 이동할 경로에서 우회전하는 곳에서는 컨텐츠 내에서도 우회전 하는 경로로 나타난다. 또한 과속 방지턱이 있을 때 컨텐츠 내에서 과속 방지턱이나 장애물이 나타날 수 있다. 동일한 컨텐츠 내에서 움직이는 코스, 과속 방지턱 등 차량의 운행에 영향을 주는 요소들이 변경되는 것이다. 차량 내의 사용자가 제공받는 컨텐츠에서 이동하는 경로와 실제 차량이 이동하는 경로가 동일하여 컨텐츠에 더욱 몰입할 수 있다.

위 이동경로가 미리 정해질 때 사이버 멀미를 방지하기 위하여 차량의 속도가 일정할 수 있는 차량의 경로가 우선적으로 선택된다. 차량이 이동할 때 차량의 속도가 크게 변하는 구간이 많으면 사용자는 일반적인 멀미를 더 느끼게 된다. 게다가 본 발명은 HMD 장치(200)를 이용하는 것이므로 HMD 장치(200)에 의한 사이버 멀미가 추가적으로 발생할 수 있는 바, 사용자의 멀미를 방지하기 위해 차량의 속도가 일정할 수 있는 경로로 차량의 이동경로를 설정할 필요가 있다.

또한 차량이 이동하는 과정에서 이동경로를 변경할 수 있다. 처음에 설정된 이동경로와 다른 경로로 차량이 이동하면 사용자들이 제공받는 컨텐츠의 경로도 실시간으로 다시 설정될 수 있다.

컨텐츠 제공 모듈(132)은 사용자의 심박수가 느려 사용자가 무료한 상태라고 판단되면, 사용자를 놀라게 하는 컨텐츠를 제공하여 사용자를 즐겁게 할 수 있다.

표정 인식 모듈(133)은 HMD 장치(200)의 카메라로부터 사용자의 표정을 인식할 수 있다. 카메라는 사용자의 얼굴 표정의 변화를 실시간으로 변환하기 위해 동영상 등으로 사용자의 얼굴을 연속적으로 인식할 수 있다.

표정 인식 모듈(133)은 HMD 장치(200)의 카메라로부터 사용자의 얼굴이 포함된 영상을 수신한다.

HMD 장치(200)는 사용자의 얼굴을 찍는 카메라를 HMD 장치(200)의 하단에 구비할 수 있다. 왜냐하면 HMD 장치(200)는 광대뼈 주위와 눈썹의 움직임을 측정하기 위하여 접착면은 코를 중심 하단으로 하여 광대뼈와 눈썹을 상하 양 끝단으로 하는 환형으로 구비되므로 사용자의 하안이 측정되기 어렵기 때문이다. 따라서 본 발명의 HMD 장치(200)는 HMD 장치(200)의 하단에 사용자의 하안을 찍을 수 있는 카메라를 부착하여 사용자의 하안의 움직임을 촬영할 수 있다.

표정 인식 모듈(133)은 수신한 영상에서 얼굴을 검출하고, 검출된 얼굴에서 사용자의 표정을 인식한다. 여기서 사용자의 얼굴의 전체의 특징점들을 추출한다. 예컨대 얼굴 움직임 부호화 시스템에서 이용될 수 있는, 눈썹, 입술, 뺨, 보조개의 얼굴의 특징들을 추출한다.

표정 변환 모듈(134)은 얼굴 움직임 부호화 시스템에 따라 표정을 변환한다. HMD 장치(200)는 사용자의 얼굴 전체의 이미지에서, 사용자의 얼굴의 근육의 움직임을 기초로 사용자의 표정을 변환할 수 있다. HMD 장치(200)가 사용자의 얼굴을 촬영하고 사용자의 각 부위가 움직인 거리에 대한 정보를 도출하여 사용자의 표정을 도출한다. 예를 들어 뺨의 근육이 올라가고, 입술의 끝이 당겨지면 사용자의 표정은 행복이다.

적외선 측정값 변화를 측정하여 더욱 정확하게 사용자의 얼굴의 표정을 변환할 수 있다. HMD 장치(200)에 외선 발광부와 수광부를 서로 일정한 거리를 두고 배치되면 적외선 수광부에는 일정한 양의 적외선이 감지된다. 적외선이 피부에 완전 접촉하게 되면 공기 중으로 퍼져나가는 대신 피부층을 타고 반사 및 굴절이 일어나며 퍼져 나간다. 이때 사용자가 얼굴 근육을 움직이면 적외선 센서 사이에서 피부의 수축과 이완이 발생하고 적외선 측정값 변화로 이어진다. 적외선의 피부 전파 특성을 활용해 매우 미세한 피부 수축과 확장 등 얼굴 제스처 변화를 실시간으로 읽어낼 수 있다.

표정 모듈(135)은 사용자의 표정을 가상 객체의 표정으로 반영한다. 사용자의 표정이 행복으로 검출되면, 사용자의 가상 객체는 그에 맞는 행복한 표정을 짓는다. 가상 객체의 표정은 사용자의 표정 변화의 정도에 따라 변화되는 정도가 다를 수 있다.

동작 모듈(150)은 컨트롤러의 움직임을 가상 객체의 손의 움직임으로 반영한다. 컨트롤러(500)가 움직임 감지 센서를 포함하고, 이는 컨트롤러 상부판에 마련되어, 상부 판 몸체의 움직임을 감지하여 감지되는 정보를 움직임 정보로서 출력하는데, 동작 모듈(150)은 이를 가상 객체에 반영한다.

네비게이션 모듈(140)이 네비게이션(400)으로부터 차량이 이동하는 속도를 수신하면, 컨텐츠는 차량의 속도에 맞춰 진행된다. 이는 레이싱 게임에서 차량의 속도가 빠르게 되면 배경이 빠르게 지나가는 것과 동일한 원리로 진행될 수 있다.

판단 모듈(160)은 사용자의 컨트롤러의 맥박센서가 사용자의 심장 박동수를 측정하도록 하여 사용자가 무료한지 여부를 판단한다. 사용자에게 일반적인 컨텐츠를 제공함과 동시에 사용자가 무료하다고 느낄 때 사용자를 놀라게 하는 컨텐츠가 나오도록 하여 즐거움을 줄 수 있다.

효과 모듈(170)은 효과장치(600)가 컨텐츠에 맞춰서 실시간으로 눈, 비, 바람, 이슬, 안개, 폭우, 번개, 또는 향기 등의 시뮬레이션 효과들을 발생하도록 한다.

또한 컨텐츠가 소정 길이의 시간, 예를 들어 20분 넘게 제공되면 사용자가 시각과 신체의 감각의 부조화로 인해 사이버 멀미를 느낄 가능성이 높다. 여기서 차량의 이동 중에 가상현실 컨텐츠가 제공되면 차량에 의한 멀미도 발생할 여지가 있다. 차량의 멀미는 불규칙적인 움직임에 의한 저주파수 진동이 원인인데, 자동차에서는 급발진이나 급제동, 코너링 같이 수평방향으로 급변속 주행을 할 때 저주파수 진동이 생긴다.

따라서 효과 모듈(170)은 컨텐츠가 소정 길이의 시간, 예를 들어 20분 넘게 제공된 경우에, 사이버 멀미와 병행하여 발생할 수 있는 최소한 차량에 의한 멀미를 방지하기 위하여 효과 장치(600)로 하여금 차량의 주행 과정에 따라 저주파수 진동이 발생할 수 있는 상황에서 회전하는 감각을 크게 느끼게 하지 않도록 차량의 좌석을 회전시키거나, 효과 장치(600)가 차량의 좌석을 진동시키거나 사용자에게 물 또는 바람을 분사하도록 함으로써 사용자의 뇌의 주의를 다른 곳으로 돌려 차량에 의한 멀미를 방지할 수 있다. 즉, 멀미는 불규칙한 움직임에 대한 신체 반응인데 뇌가 이 반응에 집중하지 못하도록 주의를 다른 곳으로 돌려 멀미를 방지하는 것이다.

통합 관리 모듈(180)은 상기 HMD 장치들을 연결하여 차량 내부의 사용자들의 가상 객체들을 모두 표시하도록 한다. 차량 내부의 사용자들이 서로의 가상 객체를 볼 수 있고, 사용자의 표정, 손짓이 가상 객체에 반영되므로 함께 여행하는 느낌을 받을 수 있도록 한다.

HMD 장치(200)는 제어부(100)가 전송한 컨텐츠를 수신하여 표시한다. HMD 장치(200)는 컨텐츠를 표시할 때, 가상현실 효과를 제공한다. 예를 들어, HMD 장치(200)는 가상 객체를 볼 때, 실제 사람을 보는 느낌을 HMD 장치(200)를 착용한 사용자들에게 제공하게 된다.

HMD 장치(200)는 차량 내 운동 기구 별 또는 사람별로 배치되고, HMD 장치 착용이 고지되면, 사용자가 HMD 장치(200)를 자신의 머리에 착용한다.

이러한 HMD 장치(200)는, 예를 들어, 통신 기능 및 데이터 프로세싱 기능을 구비하고, 사용자의 머리에 착용될 수 있는 형태(form)일 수 있으며, 사용자에 의해 착용된 HMD 장치(200)는 화면상에 컨텐츠를 디스플레이 한다. 이때, HMD 장치(200)는 기 설정된 위치에 기 설정된 사이즈로 컨텐츠를 표시할 수 있다. 또한, HMD 장치(200)는 안경의 형태를 가질 수 있다. HMD 장치(200)는 프레임 등에 의해 사용자의 머리에 임시적으로 고정될 수 있다.

HMD 장치(200)는 자체적으로 CPU 및 Display를 가지는 제1타입(type)과 HMD 장치(200)에 모바일 디바이스(device)를 장착하여 사용할 수 있는 제2타입이 있다. 제2타입의 경우, 모바일 디바이스는 HMD 장치(200)가 컨텐츠를 디스플레이 하도록 제어하는 역할을 수행한다.

제1타입은 HMD 장치(200)는 제어부(100)로부터 컨텐츠를 수신하여 표시한다.

제2타입은 HMD 장치(200)는 유선 또는 무선 통신을 통해 모바일 디바이스와 연결된다. 모바일 디바이스는 제어부(100)로부터 컨텐츠를 수신하고, HMD 장치(200)는 모바일 디바이스로부터 컨텐츠를 수신하여 표시한다.

제2타입의 경우, HMD 장치(200)는 모바일 디바이스와 통신 연결될 수 있으며, HMD 장치(200)는 모바일 디바이스로부터 전송된 컨텐츠를 출력하도록 설계된다. 이때, HMD 장치(200)는 모바일 디바이스로부터 미러캐스트(miracast) 기술 등을 통해 컨텐츠를 수신하고, 수신한 컨텐츠를 디스플레이로 표시한다.

HMD 장치(200)와 연결된 모바일 디바이스는 스마트폰, 태블릿 PC, PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라, 및 기타 모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다. 또한 모바일 디바이스는 통신 기능 및 데이터 프로세싱 기능을 구비한 시계, 밴드 등 일 수 있으나, 이에 제한되지 않는다.

이처럼 유선 또는 무선 통신을 통해 모바일 디바이스와 HMD 장치(200)가 서로 연결된다. HMD 장치(200) 및 모바일 디바이스간 데이터 페어링을 위해 미러캐스트(miracast) 기술이나 와이파이 다이렉트(wifi-direct) 기술 등이 적용될 수도 있다.

HMD 장치(200)는, 제어부(100)로부터 설정된 가상환경 상에서 원거리 또는 근거리에 존재하는 사용자들이 가상의 콘텐츠를 가상현실 환경에서 공유하고, 손동작 등의 모션으로 콘텐츠를 제어할 수 있는 장치일 수 있다. HMD 장치(200)는, 손동작을 이용하여 가상의 물건을 옮기거나 선택하는 작업을 원격의 사용자와 공동으로 수행하도록 하는 장치일 수 있으며, HMD 장치(200)를 통하여 보고 있는 화면으로 원격지의 사용자와 그 아바타, 그리고 손동작을 이용하여 게임이나 교육 콘텐츠에서 설정된 임무를 완성하도록 하는 장치일 수 있다.

HMD 장치(200)는 센서 모듈을 포함할 수 있다. 센서 모듈은 물리량을 계측하거나 HMD 장치(200)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 예를 들면, 센서 모듈은 가속도 센서, 자이로 센서, 지자계 센서, 마그네틱 센서, 근접 센서, 그립 센서, 또는 생체 센서 중 적어도 하나를 포함할 수 있다. 예를 들어, 가속도 센서, 자이로 센서, 지자계 센서는 HMD 장치(200)을 착용한 사용자의 머리 움직임을 감지할 수 있다. 또한, 근접 센서 또는 그립 센서는 HMD 장치(200)의 착용 여부를 감지할 수 있다. 사용자의 착용 여부는 적외선 인식, 가압 인식, 캐패시턴스(혹은 유전율)의 변화 인식을 통해 감지될 수도 있다. 생체 센서는 예를 들어 후각 센서(E-nose sensor), EMG 센서(electromyography sensor), EEG 센서(electroencephalogram sensor), ECG 센서(electrocardiogram sensor), 또는 홍채 센서 등을 포함할 수 있다. 한편, 일 실시예에 따르면, 센서 모듈은 다양한 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다.

본 발명의 HMD 장치(200)는 HMD 장치(200)의 하단에 사용자의 하안을 찍을 수 있는 카메라를 부착하여 사용자의 하안의 움직임을 촬영할 수 있다.

HMD 장치(200)의 머리의 움직임을 감지하는 기술로, 사용자가 HMD 장치(200)를 착용한 상태에서 고개를 돌리면 컨텐츠 내에 가상 객체도 몸을 회전한다. 사용자는 컨텐츠 내에서 다른 사용자의 움직임을 가상 객체를 통해 인식할 수 있다.

카메라(300)는 입력되는 차량 좌석 데이터로부터 상기 좌석의 위치데이터를 설정하고 제어부(100)는 이를 컨텐츠에 반영하여 상기 위치데이터에 상기 좌석의 가상 객체 및 사용자의 가상 객체가 나타나도록 한다.

네비게이션(400)은 차량의 운전을 도와주는 장치 또는 프로그램을 말하는 것으로, 네비게이션(400)은 자체적으로 내장된 GPS 기능을 이용하여 주행 속도를 측정할 수 있고, 제어부(100)는 차량의 속도를 반영하여 컨텐츠의 이동 속도를 조절한다.

또한 네비게이션(400)은 사용자로부터 원하는 출발지 및 목적지가 입력되면, 네비게이션의 지리정보를 참조하여 그에 대응하는 경로 데이터를 생성하여 상기 제어부(400)가 경로데이터를 컨텐츠에 반영할 수 있다. 예컨대 경로 데이터에 따라서 컨텐츠의 경로가 결정되고, 상기 컨텐츠의 경로를 따라서 좌, 우회전 하여 사용자들은 이동하는 감각을 더욱 현실감 있게 느낄 수 있다.

컨트롤러(500)는 사용자의 손 동작을 나타내기 위한 것으로, 사용자가 컨트롤러를 쥐고 손을 움직이면 이에 따라서 컨텐츠 내에서 가상 객체의 손이 움직일 수 있다.

상기 컨트롤러(500)는 움직임 감지 센서를 포함하고, 이는 컨트롤러 상부판에 마련되어, 상부판 몸체의 움직임을 감지하여 감지되는 정보를 움직임 정보로서 출력한다. 움직임 감지 센서는, 상부판 몸체의 움직임을 실시간으로 감지하는 센서로서, X,Y,Z의 3축을 기준으로 직선 방향의 속도 변화나, 크기, 회전, 각도, 방위 등의 움직임 정보를 인식할 수 있다. 이러한 움직임 감지센서는 가속도 센서로 된 X,Y,Z축의 움직임을 감지하는 3축 센서로 구현되거나, 가속도 센서에 회전 감지 센서가 합쳐져 X,Y,Z축별로 회전을 감지할 수 있는 6축 센서 등으로 구현될 수 있다.

또한 상기 컨트롤러(500)는 맥박센서를 포함하고 있어 사용자가 상기 컨트롤러(500)를 사용할 때 사용자의 맥박을 측정할 수 있다. 심박수는 각성/긴장/무료한 상태를 기계적으로 파악하기 위한 수단으로서 유용한 지표이다. 따라서 사용자의 맥박을 측정하여 사용자에게 제공되는 컨텐츠가 변경될 수 있어 사용자의 상태에 맞는 컨텐츠가 제공될 수 있다.

컨텐츠가 처음 제공될 때 컨트롤러(500)는 맥박센서를 통해 사용자의 심박수를 측정한다(기준 심박수). 운전자의 나이, 성별 등에 따라 사용자의 기준 심박수를 정할 수 있지만, 차량을 탑승할 때 및 컨텐츠를 제공받을 때 사용자의 심박수가 상승하는 점을 고려하면 기준 심박수는 측정되어야 한다. 따라서 사용자가 컨트롤러(500)를 잡으면 기준 심박수가 측정된다. 여기서 제어부(100)는 사용자의 기준 심박수로부터 심장 박동을 느림, 정상, 빠름 또는 매우 빠름으로 분류할 수 있다. 바람직하게는 심박수가 40bpm ~ 55bpm(느림), 55bpm ~ 75bpm(정상), 75bpm ~ 120bpm(빠름) 또는 120bpm ~ 170bpm(매우 빠름)으로 분류될 수 있다.

사용자의 심장 박동이 느림 상태인 것으로 판단되면, 제어부(100)는 사용자가 무료하다고 판단하여 컨텐츠 내에서 사용자를 놀라게 하는 컨텐츠를 제공하여 사용자에게 즐거움을 주는 것이다. 예컨대, 사용자에게 제공되는 컨텐츠가 동물원 투어 버스 컨텐츠라면 사용자에게 사자가 갑자기 나타날 수 있다. 또는 바닷가를 투어하는 버스 컨텐츠라면 바닷가로부터 쓰나미가 몰려오는 컨텐츠가 제공될 수 있고, 도시를 투어하는 버스 컨텐츠라면 좀비들이 몰려오는 컨텐츠가 제공될 수 있다.

상기 맥박센서는 심박수를 측정하기 위해 먼저 심장 박동/펄스를 감지하고 1 분 동안 맥박을 계산하여 분당 박동을 얻는 것이다. 따라서 펄스를 감지하기 위해 손가락 한쪽에서 빛을 통과하고(고휘도 LED로 구성됨) 반대쪽에서 받는 빛의 강도를 측정한다(Light Dependent Resistor, LDR 사용). 심장이 박동할 때마다 증가된 혈액 세포에 의해 더 많은 빛이 흡수되며 LDR에서 받는 빛의 세기가 감소한다. 결과적으로 LDR의 저항 값이 증가하고, 이 저항 변동은 신호 컨디셔닝 회로 및 연산 증폭기(Operational Amplifier, OP-AMP)를 사용하여 전압 변동으로 변환된다. 신호는 마이크로 컨트롤러 입력으로 감지할 수 있을만큼 충분히 증폭된다. 마이크로 컨트롤러는 감지된 모든 펄스에 대해 인터럽트(interrupt)를 수신하고 1 분 내에 인터럽트 또는 펄스 수를 계산하도록 프로그래밍 된다.

효과장치(600)는 제어부(100)와 연결되며, 제어부(100)로부터 전송된 효과 제어 신호에 따라 컨텐츠에 필요한 효과를 발생시킨다. 이러한 효과장치(600)는 컨텐츠 관람시 컨텐츠와 연동하여 관객에게 다양한 효과를 제공하기 위해 차량 내에 설치될 수 있다. 효과장치(600)는 컨텐츠에 맞춰서 실시간으로 눈, 비, 바람, 이슬, 안개, 폭우, 번개, 또는 향기 등의 효과들을 발생한다.

또한, 효과 장치(600)는 차량의 좌석을 움직이거나, 사용자의 발목, 얼굴, 목 부위 등에 에어나 워터 등을 분사할 수 있다. 즉, 좌석의 일측에 레그 티클, 페이스 샷, 넥 샷, 워터 스프레이 샷, 바이브레이션 등과 같은 효과장치가 마련되며, 이에 따라 사용자는 시각 및 청각뿐만 아니라 촉각까지도 자극을 받을 수 있게 되고, 결국 사용자는 컨텐츠에 좀더 몰입하면서 관람을 할 수 있게 된다.

또한, 효과 장치(600)는 차량에 의한 멀미를 방지하기 위해 다양한 시뮬레이션 효과들을 제공할 수 있다. 20분 동안 3차원 가상현실을 경험한 사용자의 80％ 이상이 시각과 움직임의 부조화에 의해 발생하는 사이버 멀미(Cyber-sickness)를 경험하는 한편, 차량 자체에 의한 불규칙적인 움직임에 의한 일반적인 멀미가 발생할 수 있다. 즉, 소정 길이의 시간, 예를 들어 20분 넘게 차량 내에서 가상현실 컨텐츠를 제공받은 경우에 사이버 멀미 및 일반적인 멀미가 발생할 수 있다.

따라서 컨텐츠가 소정 길이의 시간, 예를 들어 20분 넘게 제공된 경우에, 사이버 멀미와 동시에 발생할 수 있는 차량에 의한 멀미는 최소한 방지하고자 효과 장치(600)로 하여금 차량의 주행 과정에 따라 그에 맞는 효과를 제공하여 차량의 멀미를 경감시킬 수 있다. 예를 들어 컨텐츠에서 사용자가 우측으로 이동하는 경우에 사용자의 좌석을 회전시켜줄 수 있고, 차량이 정지하는 경우에는 시트가 기울여질 수 있다.

또는 사용자의 뇌가 컨텐츠와 신체의 불규칙적인 다양한 신호들에 집중하지 못하도록 다른 감각을 자극할 수 있다. 특히, 차량이 급발진, 급제동 또는 코너링할 때 좌석이 진동할 수 있고, 사용자의 다리를 간지럽히거나 사용자에게 물이나 바람을 분사하는 것이다.

효과장치(600)는 내부적으로 실제 특수 효과를 구현하는 장치들, 즉 복수개의 효과장치들을 구동시키기 위한 기능부를 포함할 수 있는데, 이 기능부에는 효과장치들을 제어하는 데에 필요한 프로그램, 즉 펌웨어(Firmware)가 설치되어 있다. 펌웨어란 통상 기능부 내 저장공간, 구체적으로 ROM에 기록이 되는 것으로서, 효과장치(600)를 구성하는 효과장치들에 대한 제어 명령어를 포함한다. 위와 같은 펌웨어가 설치된 기능부는 제어부(100)로부터 효과 제어 신호를 수신한 뒤 펌웨어를 통해 효과장치들을 제어하게 된다.

효과장치(600)에는 사용자가 조작하여 효과장치(600)를 정지하기 위해서 별도의 제어장치를 구비한다. 사용자가 제어장치를 작동시키면 시뮬레이터는 정지한다. 제어장치는 스위치, 레버 등 그 종류에 제한되지 않는다.

차량의 좌석에는 양 옆과 가운데에 안전벨트 부착용 브라켓이 구비될 수 있어, 이곳에 장착되는 안전벨트를 사용자가 착용할 수 있도록 함으로써, 사용자는 안심하고 영상을 관람할 수 있고, 안전사고의 문제를 완전히 배제할 수 있다.

도 2는 본 발명의 일 실시예에 따른 버스와 같은 차량에서 여행 가상현실 컨텐츠를 제공하는 방법을 나타낸 순서도이다.

도 2를 참조하면, 본 발명은 차량 좌석 인식 단계(S210), 위치 데이터 설정 단계 (S220), 가상 객체 표현 단계(S230), 컨텐츠 표시 단계 (S240), 표정 인식 단계 (S250), 사용자 표정 변환 단계 (S260), 가상 객체 표정 반영 단계(S270), 및 컨트롤러 움직임을 가상 객체의 손동작에 반영하는 단계(S280)를 포함한다.

차량 좌석 인식 단계(S210)에서 해당 좌석에 가상 객체가 나타나도록 하기 위해 좌석을 인식하고, 이에 따른 위치 데이터를 설정한다(S220). 구체적으로 카메라가 차량의 좌석의 구도를 촬영하고, 촬영에 의해 얻어진 이미지에서 좌석이 위치하는 지점의 좌표를 지정함으로써 위치 데이터를 설정한다.

상기 위치 데이터에서 상기 좌석의 가상 객체 및 사용자의 가상 객체가 나타난다(S230). 사용자가 차량의 좌석에 착석하면 좌석의 센서부는 압력에 의해 사용자가 착석한 것을 인식한다. 사용자가 착석한 자리에 HMD 장치(200)가 켜지고, 해당 위치데이터에서 좌석의 가상 객체 및 사용자의 가상 객체가 표시되는 것이다. 차량의 이동 중에 사용자는 이동할 수 없으므로, 특정 위치에 사용자의 가상 객체가 고정된다.

또한 컨텐츠 표시 단계(S240)에서 컨텐츠가 제공될 때, 위에서 특정된 좌석의 사용자의 시점에서 컨텐츠를 제공한다. 컨텐츠 내에서 다수의 사용자의 가상 객체가 나타나고, 각각의 사용자의 시점의 컨텐츠가 제공된다. 예컨대 앞줄에 앉은 사용자는 뒷줄에 앉은 사용자의 가상 객체를 볼 수 있고, 뒷줄에 앉은 사용자는 앞줄에 앉은 사용자의 가상 객체를 볼 수 있다. 실제 사용자가 앉은 좌석이 왼쪽 창가라면, 투어 버스 가상현실 컨텐츠 내에서 왼쪽 창가에 앉은 시점의 컨텐츠를 볼 수 있다.

표정 인식 단계(S250)에서 사용자의 표정을 인식한다. 얼굴 움직임 부호화 시스템(Facial Action Coding System, FACS AU)에 따라 사용자의 표정을 반영하여 가상 객체에 반영한다(S260, S270). HMD 장치(200)는 사용자의 표정을 인식하는 카메라를 포함한다. 카메라는 사용자의 얼굴 표정의 변화를 실시간으로 변환 위해 동영상 등으로 연속적으로 사용자의 얼굴을 인식한다.

얼굴 움직임 부호화 시스템은 얼굴 표정 분석법으로 사람의 얼굴 근육을 해부학적 기반으로 분석, 설명한 것이다. 얼굴이 어떻게 움직이며, 움직이는 이유에 대해 이해하고자 컴퓨터 비전 기술을 통해 얼굴 근육의 움직임을 자동으로 기록하여 액션 유닛(Action Unit)을 분석할 수 있다. 액션 유닛에 따라 사람의 표정을 쉽게 구분하여 감정을 분석할 수 있다.

제어부(100)는 상기 카메라에서 검출된 사용자의 표정 변화 정보를 FACS AU 데이터를 이용하여 사용자의 표정을 변환한다. 상기 FACS AU 데이터는 가상 객체의 표정 생성에 이용되는 데이터를 눈, 코, 입이 포함된 인간의 표정을 나타내기 위한 요소들의 영역이 맵핑(Mapping)되어 있는 데이터베이스(DB)로 학습되었다.

도 3은 본 발명의 일 실시예에 따른 얼굴 움직임 부호화 시스템을 설명하기 위한 얼굴의 상 하부의 액션 유닛의 일부를 나타내는 그림이다(출처: 위키피디아, https://en.wikipedia.org/wiki/Facial_Action_Coding_System).

도 3을 참조하면 액션 유닛이 나타나 있고, 이를 조합하면 사람의 감정을 예측할 수 있다. 예를 들어 뺨의 근육이 올라가고(AU 6), 입술의 끝이 당겨지면(AU 12), 사용자의 표정은 행복으로 판단된다.

상기 얼굴 움직임 부호화 시스템에 의해 변환될 수 있는 표정은 공포, 놀람, 혐오, 슬픔, 분노, 행복 및 비웃음 중 하나이다.

사용자와 연결된 다른 사용자의 표정이 반영된 가상 객체를 볼 수 있어 함께 공감하며 컨텐츠를 즐길 수 있다.

HMD 장치(200)는 사용자의 머리의 회전을 감지한다. 그리고 컨트롤러(500)는 사용자의 손의 모션을 감지한다.

여기서, 제어부(100)는 HMD 장치(200)에 의해 감지되는 사용자의 머리 움직임에 따른 사용자의 시선 방향에 기초하여, 컨텐츠의 시점을 변경할 수 있다. 이에 따라, 사용자는 자신의 시선의 움직임에 따라 시야가 바뀌는 것을 실제로 느낄 수 있게 된다.

사용자의 심장 박동수를 측정하여 사용자가 무료함을 느끼고 있는지 여부를 판단된다(S291). 사용자의 심장 박동수는 컨트롤러(500)에 구비된 맥박센서에 의해 측정된다. 심장 박동수가 느리다고 판단되면 사용자를 놀라게 할 수 있는 컨텐츠를 제공하여 사용자를 즐겁게 할 수 있다(S292). 심장 박동수의 측정과 사용자를 놀라게 하는 컨텐츠를 제공하는 것은 컨텐츠의 제공이 끝날 때까지 반복된다.

도 4는 본 발명의 일 실시예에 따른 좌석의 센서를 이용하여 HMD 장치(200)를 제어하여 가상 객체를 표시하는 방법을 나타내는 순서도이다.

본 발명에 따른 HMD 장치를 제어하여 가상 객체를 표시하는 방법은, 제어여부결정단계(S410), 제어신호수신단계(S420), 제어단계(S430) 및 가상 객체 표시단계(S440)의 과정을 통해 이뤄진다.

먼저, 상기 제어여부결정단계(S410)에서는 센서부가 설치된 다수의 좌석 중 사용자가 착석하게 되면, 상기 센서부가 해당 좌석에 가해지는 압력을 측정하여, 상기 압력이 일정 수치를 넘는 경우에, 상기 제어부(100)는 제어신호수신단계(S420)에서 그에 따른 제어신호를 수신하게 된다.

이때, 바람직하게는 상기 센서부가 0.1 내지 20킬로그램[kg]의 범위 내에서 설정한 일정 수치 이상의 압력이 가해질 경우에만 동작되도록 설정되어, 사용자의 가방이나 옷 등과 같은 물체에 의해 오작동 되는 것이 방지될 수 있다.

따라서, 상기 신호를 수신하여 제어부(100)는 HMD 장치(200)가 켜지도록 제어할 수 있다(S430). HMD 장치(200)는 사용자가 위치한 곳에서만 켜지므로, HMD 장치(200)의 한정된 전력을 효율적으로 관리할 수 있다. 나아가 차량 내에서 제공되는 서비스로서, 제한된 전력 내에서 HMD 장치(200)를 제어함으로써 장시간 운영이 가능하게 된다.

가상 객체 표시 단계(S440)에서 제어부(100)는 HMD 장치(200)들이 켜진 위치에 있는 좌석의 가상 객체 및 사용자의 가상 객체를 HMD 장치(200)에 표시한다. 제어부(100)는 HMD 장치(200)가 켜진 위치에 좌석 및 사용자의 가상 객체를 표시하므로, 사용자가 실제로 있는 곳에서만 가상 객체를 표시할 수 있다.

도 5는 본 발명의 일 실시예에 따른 다른 사용자의 HMD 장치(200)와 공유하여 가상 객체를 표시하는 방법을 설명하기 위한 순서도이다.

다른 사용자의 HMD 장치(200)와 공유하여 가상 객체를 표시하는 방법은 제어부의 통합 관리 모듈(180)을 통해 이뤄진다.

통합 관리 모듈(180)은 가상 객체 모듈(131)로부터 다수의 사용자의 가상 객체가 생성된 정보를 수신한다(S510). 따라서 HMD 장치(200)에 자신 이외의 다른 다수의 사용자의 가상 객체가 나타날 수 있다.

HMD 장치(200) 및 컨트롤러(500)에 구비된 각각의 제어 모듈은 다수의 사용자에 대응하는 HMD 장치(200) 및 컨트롤러(500)의 센싱 정보를 상기 통합 관리 모듈(180)로 전송하고(S520), 가상 객체에 상기 센싱 정보가 반영된다(S530).

즉, 제1 사용자와 제2 사용자가 있는 경우, 상기 통합 관리 모듈(180)은 복수의 사용자 중 제1 사용자에 대응하는 HMD 장치(200) 및 컨트롤러(500)에서의 제1 센싱 정보와, 제2 사용자에 대응하는 HMD 장치(200) 및 컨트롤러(500)에서의 제 2 센싱 정보를 각각 대응되는 제어 모듈로부터 수신하고, 상기 제1 센싱 정보 및 상기 제2 센싱 정보를 상기 가상현실 콘텐츠 상에 동시에 반영한다.

상기 제1 센싱 정보 및 상기 제2 센싱 정보가 반영된 상기 가상 객체를 상기 HMD 장치(200)로 출력시킨다(S540).

상기 통합 관리 모듈(180)은 상기 제 1 및 제 2 센싱 정보에 대응하는 각 사용자의 표정 또는 제스처 이미지를 상기 가상현실 콘텐츠 상에 동시에 반영하여 제공할 수 있다.

상기 센싱 정보는 사용자의 움직임 정보(자세/위치) 및 제스처 정보 중 하나 이상을 포함할 수 있다.

요약하면, HMD 장치(200)가 사용자들의 머리의 움직임을 감지하고 상기 사용자의 머리의 움직임을 가상 객체에 반영하여 가상 객체의 몸이 회전한다. 또한 가상 객체의 표정은 카메라가 사용자의 표정을 인식하고 사용자의 표정의 변화가 얼굴 움직임 부호화 시스템에 의해 변환되고 상기 표정 변화가 가상 객체에 반영되어 나타난다. 또한 컨트롤러(500)에 의해 인식된 사용자의 손짓은 가상 객체에 반영되어 나타난다. 또한 통합 관리 모듈(180) 및 HMD 장치(200) 및 컨트롤러(500)의 제어 모듈에 의해 다수의 사용자들의 몸짓과 손짓이 통합되어 나타나므로, 사용자들은 가상 객체를 통해 서로의 반응을 관찰하고 더욱 컨텐츠에 몰입할 수 있다.

도 6은 본 발명의 일 실시예에 따른 효과 장치로 컨텐츠의 날씨 또는 장소에 따라 눈, 비, 바람, 이슬, 안개, 폭우, 번개, 또는 향기의 시뮬레이션 효과를 제공하고 컨텐츠의 제공 시간이 소정 길이의 시간을 넘고, 차량이 급발진, 급제동 또는 코너링할 때 차량의 좌석이 진동하거나 사용자에게 물 또는 바람이 분사되는 방법을 나타낸 도면이다.

도 6을 참조하면, 제공되는 컨텐츠에 따라 제어신호를 별도로 설정한다(S610). 이는 컨텐츠를 제공받는 자에게 컨텐츠를 제공받는 효과를 극대화시키기 위한 별도의 기준에 따라 설정될 수 있다. 예컨대, 컨텐츠 내에서 눈이 오는 날씨라면 컨텐츠의 해당 시간에 눈이 오는 효과를 제공하는 제어 신호가 설정될 수 있다.

컨텐츠의 제공 시간이 소정 길이의 시간을 넘는 경우에, 차량이 급발진, 급제동 또는 코너링 할 때 차량의 좌석이 진동하거나 사용자에게 물 또는 바람을 분사하도록 제어 신호가 설정될 수 있다.

상기 제어 신호가 효과장치(600)에 입력된다(S620). 사용자의 발목, 얼굴, 목 부위 등에 에어나 워터 등을 분사할 수 있다. 즉, 좌석의 일측에 레그 티클, 페이스 샷, 넥 샷, 워터 스프레이 샷, 바이브레이션 등의 효과장치가 구비되어 있다.

차량의 속도가 컨텐츠에 반영되므로 차량이 급발진, 급제동이 컨텐츠에 반영되고 컨텐츠에서 차량의 급발진, 급제동에 따라 제어 신호가 발생하고 상기 제어 신호가 효과장치(600)에 입력되어 차량의 좌석이 진동하거나 사용자에게 물 또는 바람이 분사될 수 있다. 또한 컨텐츠에 차량의 이동경로가 반영되므로 컨텐츠의 차량의 코너링이 발생하는 이동경로에서 차량의 좌석이 진동하거나 사용자에게 물 또는 바람이 분사되도록 하는 제어 신호가 효과장치(600)에 입력되어 차량의 좌석이 진동하거나 사용자에게 물 또는 바람이 분사될 수 있다.

HMD 장치(200)에서 컨텐츠가 제공되고(S630), 입력된 제어 신호에 따라 효과장치(600)가 구동된다(S640). HMD 장치(200)로 입력되는 컨텐츠 제공 신호는 컨텐츠 시간에 따라 효과장치(600) 제어 신호와 동기화되므로, 상기 S630 단계와 S640 단계는 동시에 이루어진다. 즉, 효과장치(600)는 제공되는 컨텐츠의 내용에 맞추어 구동하게 된다.

또한 사용자에게 제공된 컨텐츠의 길이가 소정 길이의 시간, 예를 들어 20분을 넘는 경우에는 사용자가 사이버 멀미를 느낄 수 있기 때문에, 사이버 멀미와 동시에 발생할 수 있는 차량에 의한 멀미를 경감시키고자 차량의 주행 과정에 따른 효과들이 제공될 수 있다. 우측으로 이동하는 경우에 차량의 좌석이 함께 회전하면 사용자는 신체가 움직이는 감각을 덜 느껴 멀미를 적게 느끼게 된다.

본 발명에서 여행 가상현실 컨텐츠를 제작할 수 있다. 예를 들어, 차를 타고 이동하는 과정에서 얻은 여행 경로의 영상이 컨텐츠로서 제공될 수 있다.

360도 촬영장치를 이용하여 여행 경로의 영상 획득단계, 여행 경로의 영상을 스티칭 프로그램을 이용하여 하나의 이미지로 합성한 후 여행 경로의 전체 영상을 생성하는 단계를 포함할 수 있다.

상기 여행 경로의 영상 획득단계에서는 360도 촬영장치를 이용하여 여행 경로의 영상을 촬영한다. 여행 경로의 영상을 촬영하여 상기 여행 경로가 상기 차량의 이동경로로 실시간으로 반영될 수 있다.

상기 360도 촬영장치는 여행 경로의 영상을 파노라마 형태로 촬영할 수 있도록 하는 카메라로 구성된다.

상기 360도 촬영장치는 360도 회전하면서 여행 경로의 영상을 촬영할 수 있도록 구성되며, 다수의 전방위 영상들을 획득 및 제공한다. 상기 360도 촬영장치는 지나치게 큰 광각을 갖는 렌즈를 사용할 경우 해상도가 떨어지고 렌즈 왜곡이 심화될 수 있으므로 적어도 두 개의 렌즈를 이용하여 복수의 상을 촬영할 수 있다.

상기 360도 촬영장치는 360도 구형 파노라마 촬영장치, 360도 원통형 파노라마 촬영장치 등을 포함한다.

상기 360도 촬영장치는 360도 촬영각도를 가진 어안렌즈를 포함한다. 360도 촬영장치로 배경을 촬영하는 경우 어안렌즈에 의해 왜곡 촬영되고, 어안렌즈로 왜곡된 이미지를 HMD 장치(200)의 볼록렌즈로 다시 왜곡하여 넓은 시야각의 최종정보를 제공하게 된다.

360도 동영상에 맞춘 다양한 모양과 크기의 카메라를 사용할 수 있다. 스키, 스카이다이빙과 같은 격렬한 활동의 경우 일반적으로 고프로 퓨전(GoPro Fusion) 카메라가 바람직하다. 정적인 촬영에서는 전체 이미지 서클과 개별 렌즈 파일을 제공하는 Z 캠 S1, S1 프로(S1 Pro), 인스타360° 프로(Insta360° Pro)가 바람직하다. 랩톱, 아이패드 또는 스마트폰에서 원격으로 촬영을 변경할 수도 있다.

촬영을 마친 영상은 제어부에서 가상현실 컨텐츠로 변환해야 한다. 8대의 카메라로 촬영한 영상을 예로 들면, 8개의 화면을 마치 하나의 영상인 것처럼 편집해야 한다. 이 과정에서 각 카메라의 영상 사이에 경계가 보이는데, 스티칭(Stitching) 작업을 통해 이 부분을 최대한 자연스럽게 보이도록 제거해야 한다.

여행 경로의 전체 영상을 생성하는 단계에서는 전체 여행 경로 영상을 미리 설정된 스티칭 프로그램을 이용하여 하나의 이미지로 합성한 후 여행 경로의 전체 영상을 생성한다.

스티칭 소프트웨어는 '미스티카 VR'(Mistika VR), '오토파노'(Autopanolar), 프리미어 프로(Premier Pro) 등 여러 종류가 있는데, 보통은 사진 스티칭, 동영상 스티칭 등 2개의 프로그램을 병행 사용한다.

가상현실 제작에 필요한 이미지 변환이 완료되면, 파노라마 영상을 포함하는 영상 콘텐츠를 생성하여 외부장치에 제공하거나 내부의 데이터베이스에 저장한다.

본 발명에 따른 차량은 여행 가상현실 컨텐츠를 제공하는 시스템을 포함할 수 있다. 차량의 공간에서 가상현실 영상 시청이 가능하고, 냉난방 시설을 구비하여 쾌적한 휴식 환경을 제공할 수 있고, 적어도 하나 이상의 좌석을 구비할 수 있다. 또한 일측에 편의시설, 냉장고, 싱크대, 화장실, 쇼파 및 테이블을 포함할 수 있다.

상기 차량은 가상현실 컨텐츠 제공 수단을 갖추고 있으므로 다양한 컨텐츠를 제공할 수 있는 한편, 기동성을 구비하여 가상현실 컨텐츠를 가상현실에 접근성이 떨어지는 수요자가 있는 곳에 직접 찾아갈 수 있다.

본 발명의 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는, 프로세서에 의해 실행되는 하드웨어 모듈, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM, EPROM, EEPROM, 플래시 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체에 상주할 수도 있다. 예시적인 기록 매체는 프로세서에 연결되며, 상기 프로세서는 기록 매체로부터 정보를 도출할 수 있고 기록 매체에 정보를 기입할 수 있다. 다른 방법으로, 기록 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 기록 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 모바일 디바이스 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 기록 매체는 모바일 디바이스 내에 개별 구성 요소로서 상주할 수도 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

또한 이상 설명한 본 발명의 서버나 방법의 구성요소와 단계들을 선택적으로 결합한 실시예 역시 본 발명의 권리범위에 속한다는 것은 당연하다.

100: 제어부
110: 좌석 인식 모듈
120: 위치 설정 모듈
131: 가상 객체 모듈
132: 컨텐츠 제공 모듈
133: 표정 인식 모듈
134: 표정 변환 모듈
135: 표정 모듈
140: 네비게이션 모듈
150: 동작 모듈
160: 판단 모듈
170: 효과 모듈
180: 통합 관리 모듈
200: HMD 장치
300: 카메라
400: 네비게이션
500: 컨트롤러
600: 효과장치

Claims

버스와 같은 차량에서 여행 가상현실 컨텐츠를 제공하는 방법에 있어서,
(a) 제어부가 카메라로 하여금 차량 내부를 촬영하도록 하고 상기 카메라로부터 차량 좌석 데이터를 획득하여 상기 차량 좌석을 인식하는 단계;
(b) 상기 제어부가 상기 차량 좌석에 해당하는 위치 데이터를 설정하는 단계;
(c) 상기 제어부가 HMD 장치에 상기 위치 데이터에 위치한 상기 좌석의 가상 객체 및 사용자의 가상 객체가 나타나도록 하는 단계;
(d) 상기 제어부가 상기 HMD 장치에 컨텐츠를 표시하는 단계;
(e) 상기 제어부가 상기 HMD 장치로부터 사용자의 표정을 인식하는 단계;
(f) 상기 제어부가 사용자의 표정을 얼굴 움직임 부호화 시스템(Facial Action Coding System Action Unit, FACS AU)에 따라 변환하는 단계;
(g) 상기 제어부가 사용자의 표정을 상기 사용자의 가상 객체에 반영하는 단계; 및
(h) 상기 제어부가 사용자의 컨트롤러 움직임을 상기 사용자의 가상 객체의 손 동작에 반영하는 단계;를 포함하고,
상기 제어부는 네비게이션으로부터 차량의 속도를 수신하여 컨텐츠에 반영하고,
상기 제어부는 컨트롤러의 맥박센서가 사용자의 심장 박동수를 측정하도록 하여 사용자가 무료함을 느끼고 있다고 판단되면 사용자를 놀라게 하는 컨텐츠를 제공하고,
상기 제어부는 효과 장치가 컨텐츠의 날씨 또는 장소에 따라 눈, 비, 바람, 이슬, 안개, 폭우, 번개, 또는 향기의 시뮬레이션 효과를 내도록 구성되고,
상기 제어부는 컨텐츠의 제공 시간이 소정 길이의 시간을 넘으면 상기 효과 장치가 차량이 급발진, 급제동 또는 코너링할 때 차량의 좌석이 진동하게 하거나 사용자에게 물 또는 바람을 분사하도록 하고,
상기 제어부는 상기 HMD 장치들을 연결하여 차량 내부의 사용자들의 가상 객체들을 모두 표시하도록 하는 것을 특징으로 하는 여행 가상현실 컨텐츠를 제공하는 방법.
제1항에 있어서,
상기 HMD 장치의 하단에 사용자의 하안을 찍을 수 있는 카메라가 구비되는 것을 특징으로 하는 여행 가상현실 컨텐츠를 제공하는 방법.
제1항에 있어서,
상기 제어부는 상기 차량의 이동경로를 상기 컨텐츠에 반영하는 것을 특징으로 하는 여행 가상현실 컨텐츠를 제공하는 방법.
제1항에 있어서,
상기 좌석의 가상 객체 및 사용자의 가상 객체가 나타나도록 하는 단계는,
상기 제어부가 차량 좌석의 센서부에서 일정 수치 이상의 압력이 가해지는 것으로 인식되면 상기 차량 좌석으로부터 제어신호를 수신하는 단계;
상기 제어부가 수신된 상기 제어신호에 따라 상기 HMD 장치를 켜도록 제어하는 단계; 및
상기 제어부가 상기 HMD 장치들이 켜진 위치에 있는 좌석의 가상 객체 및 사용자의 가상 객체를 상기 HMD 장치에 표시하는 단계를 포함하는 것을 특징으로 하는 여행 가상현실 컨텐츠를 제공하는 방법.
제4항에 있어서,
상기 제어부는 상기 차량 좌석의 센서부에서 0.1 내지 20 킬로그램[kg]의 범위 내에서 일정 수치 이상의 무게가 측정될 경우에만 제어신호를 수신하도록 구성된 것을 특징으로 하는 여행 가상현실 컨텐츠를 제공하는 방법.
버스와 같은 차량에서 여행 가상현실 컨텐츠를 제공하는 시스템에 있어서,
상기 시스템은,
(a) 카메라가 차량 내부를 촬영하도록 하고 상기 카메라로부터 차량 좌석 데이터를 획득하여 상기 차량 좌석을 인식하는 차량 좌석 인식 모듈;
(b) 상기 차량 좌석에 해당하는 위치 데이터를 설정하는 위치 설정 모듈;
(c) HMD 장치에 상기 위치 데이터에 위치한 상기 좌석의 가상 객체 및 사용자의 가상 객체가 나타나도록 하는 가상 객체 모듈;
(d) 상기 HMD 장치에 컨텐츠를 표시하는 컨텐츠 제공 모듈;
(e) 상기 HMD 장치로부터 사용자의 표정을 인식하는 표정 인식 모듈;
(f) 사용자의 표정을 얼굴 움직임 부호화 시스템에 따라 변환하는 표정 변환 모듈;
(g) 사용자의 표정을 상기 사용자의 가상 객체에 반영하는 표정 모듈;
(h) 네비게이션으로부터 차량의 속도를 수신하여 컨텐츠에 반영하는 네비게이션 모듈;
(i) 사용자의 컨트롤러 움직임을 상기 사용자의 가상 객체의 손 동작에 반영하는 동작 모듈;
(j) 사용자의 컨트롤러의 맥박센서가 사용자의 심장 박동수를 측정하도록 하여 사용자가 무료한지 여부를 판단하는 판단 모듈;
(k) 효과 장치가 상기 컨텐츠의 날씨 또는 장소에 따라 눈, 비, 바람, 이슬, 안개, 폭우, 번개, 또는 향기의 시뮬레이션 효과를 내도록 하거나, 컨텐츠의 제공 시간이 소정 길이의 시간을 넘으면 차량이 급발진, 급제동 또는 코너링할 때 차량의 좌석이 진동하게 하거나 사용자에게 물 또는 바람을 분사하도록 하는 효과 모듈; 및
(l) 상기 HMD 장치들을 연결하여 차량 내부의 사용자들의 가상 객체들을 모두 표시하도록 하는 통합 관리 모듈을 포함하는 것을 특징으로 하는 여행 가상현실 컨텐츠를 제공하는 시스템.
제6항에 있어서,
상기 HMD 장치의 하단에 사용자의 하안을 찍을 수 있는 카메라가 구비되는 것을 특징으로 하는 여행 가상현실 컨텐츠를 제공하는 시스템.
제6항에 있어서,
상기 제어부는 상기 차량의 이동경로를 상기 컨텐츠에 반영하는 것을 특징으로 하는 여행 가상현실 컨텐츠를 제공하는 시스템.
제6항에 있어서,
상기 가상 객체 모듈은,
차량 좌석의 센서부에서 일정 수치 이상의 압력이 가해지는 것이 인식되면 상기 차량 좌석으로부터 제어신호를 수신하고,
수신된 상기 제어신호에 따라 상기 HMD 장치를 켜도록 제어하고,
상기 HMD 장치들이 켜진 위치에 있는 좌석의 가상 객체 및 사용자의 가상 객체를 상기 HMD 장치에 표시하는 것을 특징으로 하는 여행 가상현실 컨텐츠를 제공하는 방법.
제6항 내지 제9항 중 어느 한 항에 따른 여행 가상현실 컨텐츠를 제공하는 시스템을 포함하는 차량.