KR20160108017A - 가상 여행 체험 장치 및 그 방법 - Google Patents

가상 여행 체험 장치 및 그 방법 Download PDF

Info

Publication number
KR20160108017A
KR20160108017A KR1020150031770A KR20150031770A KR20160108017A KR 20160108017 A KR20160108017 A KR 20160108017A KR 1020150031770 A KR1020150031770 A KR 1020150031770A KR 20150031770 A KR20150031770 A KR 20150031770A KR 20160108017 A KR20160108017 A KR 20160108017A
Authority
KR
South Korea
Prior art keywords
user
virtual
experience
movement
virtual tour
Prior art date
Application number
KR1020150031770A
Other languages
English (en)
Other versions
KR101850028B1 (ko
Inventor
김용완
김대환
김용선
김진호
조동식
김기홍
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020150031770A priority Critical patent/KR101850028B1/ko
Priority to US15/057,675 priority patent/US20160260252A1/en
Publication of KR20160108017A publication Critical patent/KR20160108017A/ko
Application granted granted Critical
Publication of KR101850028B1 publication Critical patent/KR101850028B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63G—MERRY-GO-ROUNDS; SWINGS; ROCKING-HORSES; CHUTES; SWITCHBACKS; SIMILAR DEVICES FOR PUBLIC AMUSEMENT
    • A63G31/00—Amusement arrangements
    • A63G31/16—Amusement arrangements creating illusions of travel
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/268—Image signal generators with monoscopic-to-stereoscopic image conversion based on depth image-based rendering [DIBR]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/385—Image reproducers alternating rapidly the location of the left-right image components on the display screens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 가상 여행 체험 장치 및 그 방법에 관한 것으로서, 본 발명의 일 면에 따른 가상 여행 체험 장치는 가상 여행 체험 콘텐츠의 영상을 출력하는 영상출력모듈, 사용자의 신체 움직임을 인식하는 동작인식모듈, 상기 동작 동작인식모듈을 통해 인식된 상기 신체 움직임에 따라, 상기 가상 여행 체험 콘텐츠의 영상에 포함된 다수의 객체의 움직임을 제어하는 콘텐츠구동모듈, 및 상기 가상 여행 체험 콘텐츠 내 지형 환경 및 상기 다수의 객체의 움직임 변화에 대한 체감 피드백을 상기 사용자에게 제공하는 사용자 인터페이스를 포함한다.

Description

가상 여행 체험 장치 및 그 방법{Device for virtual tour experience and method thereof}
본 발명은 가상 여행 체험 장치 및 그 방법에 관한 것으로, 특히 모션 플랫폼 연동형 사용자 제스처 기반의 가상 여행 체험 장치 및 방법에 관한 것이다.
오늘날 HMD(Head Mounted Display) 디바이스를 이용한 많은 가상현실(Virtual Reality, VR) 콘텐츠가 제작되고 있다. 여기서, HMD 디바이스란 사용자의 신체(머리)에 장착할 수 있는 헤드 마운트 디스플레이 장치를 말한다. 그러나, 대부분의 가상현실 콘텐츠는 단순히 시각적으로 보는 것에만 머물러, 사용자가 가상 환경에서 존재하고 상호작용하고 있다는 존재감을 느끼기 어렵다.
또한, 최근 사용자의 움직임을 정밀하게 알아낼 수 있는 깊이맵 센서, 광 시야각 HMD, 모션 플랫폼, 체감 착용형 인터페이스 등의 기술 발전에 힘입어, 인터랙티브(interactive) 가상 체험 시스템에 대한 요구가 증가하고 있다.
본 발명의 목적은 사용자의 신체 움직임에 따라 사용자가 의도하는 상황에 맞는 제스처를 인식하고 이를 반영하여, 가상 환경에서 상호작용(인터랙티브)의 콘텐츠를 체험할 수 있는 가상 여행 체험 장치 및 그 방법을 제공함에 있다.
전술한 과제를 달성하기 위한 본 발명의 일 양상에 따른 가상 여행 체험 장치는 가상 여행 체험 콘텐츠의 영상을 출력하는 영상출력모듈, 사용자의 신체 움직임을 인식하는 동작인식모듈, 상기 동작 동작인식모듈을 통해 인식된 상기 신체 움직임에 따라, 상기 가상 여행 체험 콘텐츠의 영상에 포함된 다수의 객체의 움직임을 제어하는 콘텐츠구동모듈, 및 상기 가상 여행 체험 콘텐츠 내 지형 환경 및 상기 다수의 객체의 움직임 변화에 대한 체감 피드백을 상기 사용자에게 제공하는 사용자 인터페이스를 포함한다.
상기 영상출력모듈은 상기 사용자의 시야각을 커버하는 광시야각 헤드 마운트 디스플레이(Head Mounted Display, HMD), 및 3D 영상이 재생 가능하고 상기 사용자와 소정 거리만큼 떨어진 파노라믹 디스플레이 장치를 포함한다. 또한, 상기 영상출력모듈은 상기 사용자가 바라보는 시선과 동일한 방향의 실제 환경을 촬영하는 광각 입체 카메라를 더 포함하며, 상기 광각 입체 카메라에 의해 촬영된 상기 실제 환경은 상기 광시야각 HMD를 통해 화면 출력된다.
상기 동작인식모듈은 상기 사용자의 손 움직임 및 상기 사용자의 전신 움직임을 감지하는 모션센서와 상기 사용자의 신체와 접촉하여 상기 사용자의 팔 움직임을 추적하는 체감형 인터페이스를 이용하여 상기 사용자의 신체 움직임을 인식한다.
상기 콘텐츠구동모듈은 상기 동작인식모듈에 의해 인식된 상기 사용자의 특정 제스처 및 상기 사용자의 시선 변화를 상기 영상출력모듈을 통해 화면 출력되는 상기 가상 여행 체험 콘텐츠에 반영한다.
상기 사용자 인터페이스는 상기 사용자가 탑승한 차량 형태의 모션 플랫폼의 움직임을 제어하는 인터페이스 제어부, 및 상기 가상 여행 체험 콘텐츠의 상황에 따라 발생하는 물리적 효과를 상기 사용자에게 제공하는 4D 효과 발생부를 포함한다.
상기 사용자 인터페이스는 상기 사용자의 신체 움직임과 상기 가상 여행 체험 콘텐츠 내 상기 다수의 객체와의 상호 작용을 통해 발생하는 물리적 효과를 오감으로 느낄 수 있는 상기 체감 피드백을 생성한다.
한편, 전술한 과제를 달성하기 위한 본 발명의 다른 양상에 따른 가상 여행 체험 방법은 가상 여행 체험 장치에 의한 가상 여행 체험 방법은 가상 여행 체험 콘텐츠의 영상을 출력하는 단계, 가상 여행을 체험하는 사용자의 신체 움직임을 인식하는 단계, 상기 신체 움직임에 따라, 상기 가상 여행 체험 콘텐츠의 영상에 포함된 다수의 객체의 움직임을 제어하는 단계, 및 상기 다수의 객체의 움직임 변화 및 상기 가상 여행 체험 콘텐츠 내 지형 환경에 따라 체감 피드백을 상기 사용자에게 제공하는 단계를 포함한다.
상기 화면 출력하는 단계는 상기 사용자의 시야각을 커버하는 형태와 상기 사용자와 소정 거리만큼 떨어진 3D 파노라마 형태 중 적어도 하나의 형태로 화면 출력한다. 또한, 상기 화면 출력하는 단계는 상기 사용자가 바라보는 시선과 동일한 방향의 실제 환경을 촬영하여 화면 출력한다.
상기 인식하는 단계는 상기 사용자의 손 움직임, 상기 사용자의 전신 움직임 및 상기 사용자의 팔 움직임 중 적어도 하나를 포함하는 상기 사용자의 신체 움직임을 인식한다.
상기 제어하는 단계는 상기 사용자의 특정 제스처 및 상기 사용자의 시선 변화를 화면 출력되는 상기 가상 여행 체험 콘텐츠에 반영한다.
상기 제공하는 단계는 상기 사용자가 탑승한 차량 형태의 모션 플랫폼의 움직임을 제어하거나, 상기 가상 여행 체험 콘텐츠의 가상 환경에 따라 발생하는 물리적 효과를 상기 사용자에게 제공한다. 또한, 상기 제공하는 단계는 상기 사용자의 신체 움직임과 상기 가상 여행 체험 콘텐츠 내 상기 다수의 객체와의 상호 작용을 통해 발생하는 물리적 효과를 상기 사용자가 오감으로 느낄 수 있도록 상기 체감 피드백을 생성한다.
본 발명의 실시예에 따르면, 여행 체험자(사용자)에게 가상 여행 체험 콘텐츠를 제공하는 중, 사용자의 신체 움직임을 인식하고, 인식된 사용자의 신체 움직임에 따라 가상 여행 체험 콘텐츠의 영상을 제어함으로써, 사용자의 신체 움직임에 따라 가상 여행 체험 콘텐츠에 포함된 다수의 객체(예컨대, 동물, 캐릭터 등)의 움직임(동작)을 변화시킬 수 있다.
또한, 본 발명의 실시예에 따르면, 가상 여행 체험 콘텐츠 내 물리적 지형 환경 및 다수의 객체의 움직임 변화에 따라 물리적인 효과를 생성하여 사용자에게 제공함으로써, 사용자가 전신으로 촉각, 시각, 청각, 후각 등의 체감 피드백을 제공받을 수 있게 한다.
도 1은 본 발명의 실시예에 따른 가상 여행 체험 장치에 의해 출력되는 영상을 예시한 도면.
도 2는 본 발명의 실시예에 따른 가상 여행 체험 장치 블록도.
도 3은 본 발명의 실시예에 따른 가상 여행 체험 장치의 간략한 구성을 예시한 도면.
도 4는 본 발명의 실시예에 따른 가상 여행 체험 장치의 영상출력모듈의 동작을 설명하기 위한 도면.
도 5는 본 발명의 실시예에 따른 가상 여행 체험 장치의 동작인식모듈의 동작을 설명하기 위한 도면.
도 46은는 본 발명의 실시예에 따른 가상 여행 체험 장치의 사용자 인터페이스의 동작을 설명하기 위한 도면.
도 7은 본 발명의 실시예에 따른 가상 여행 체험 방법 흐름도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고, 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예에 따른 가상 여행 체험 장치는 여행 체험자(사용자)에게 가상 여행 체험 콘텐츠를 제공하는 중, 사용자의 신체 움직임을 인식하고, 인식된 사용자의 신체 움직임에 따라 가상 여행 체험 콘텐츠의 영상을 제어한다. 이때, 본 발명의 실시예에 따른 가상 여행 체험 장치는 사용자의 신체 움직임에 따라 가상 여행 체험 콘텐츠에 포함된 다수의 객체(예컨대, 동물, 캐릭터 등)의 움직임(동작)을 변화시킬 수 있다.
예컨대, 본 발명의 실시예에 따른 가상 여행 체험 장치는 도 1에 예시된 바와 같이, 기린, 원숭이 및 코끼리 등과 같이 가상의 객체(동물)들을 포함하는 가상 여행 체험 콘텐츠의 영상에, 가상 여행을 체험하는 사용자들과 사용자들이 탑승한 차량 형태의 모션 플랫폼을 렌더링(rendering)함으로써, 사용자들이 차량을 타고 사파리를 체험하는 듯한 가상 여행을 체험할 수 있도록 한다.
또한, 본 발명의 실시예에 따른 가상 여행 체험 장치는 가상 여행 체험 콘텐츠 내 물리적 지형 환경 및 다수의 객체의 움직임 변화에 따라 체감 피드백을 제공한다. 이때, 본 발명의 실시예에 따른 가상 여행 체험 장치는 사용자가 탐승한 차량 형태의 모션 플랫폼 및 사용자와 접촉된 체감형 인터페이스를 통해 물리적 효과를 발생시킴으로써, 사용자는 전신으로 촉각, 시각, 청각, 후각 등의 체감 피드백을 제공받을 수 있다.
예컨대, 본 발명의 실시예에 따른 가상 여행 체험 장치를 통해 사용자는 가상 사파리 여행 체험과 같이, 사파리 내의 오프로드를 차량을 타고 이동을 하고 각각의 장소에서 가상의 동물들과의 상호작용에 따른 체험요소를 즐길 수 있다. 예컨대, 사용자는 기린에게 먹이주기, 코끼리가 사용자에게 물을 뿌리면 손을 흔들어 물을 닦기, 원숭이와 악수하기, 밤에 사용자 주변을 맴도는 반딧불을 손을 모으는 제스처를 통해 반딧불을 모으기 등과 같은 체험 요소들을 즐길 수 있다.
이때, 본 발명의 실시예에 따른 가상 여행 체험 장치는 모션 플랫폼을 상하, 전후, 좌우 방향으로 이동시키고 기울임으로써, 초원을 운전하는 듯한 사실적인 느낌을 사용자에게 제공할 수 있다. 또한, 사용자와 접촉된 체감형 인터페이스를 통해 진동, 바람, 음향 등을 발생시켜, 사용자가 실제로 다수의 객체와 접촉하는 듯한 느낌을 줄 수 있다.
이를 위해, 본 발명의 실시예에 따른 가상 여행 체험 장치는 도 2와 같은 구성을 포함한다.
도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 가상 여행 체험 장치(100)는 영상출력모듈(110), 동작인식모듈(120), 사용자 인터페이스(130) 및 콘텐츠구동모듈(140)를 포함한다. 이하, 도 3 내지 도 6을 참조하여 본 발명의 실시예에 따른 가상 여행 체험 장치(100)의 동작을 설명한다. 여기서, 도 3은 본 발명의 실시예에 따른 가상 여행 체험 장치의 간략한 구성을 예시한 도면이다.
가상 여행 체험 장치(100)의 영상출력모듈(110)은 가상 여행 체험 콘텐츠의 영상을 출력하여 사용자에게 제공한다. 이를 위해, 영상출력모듈(110)은 도 4와 같은 구성을 포함할 수 있다.
영상출력모듈(110)은 도 3에 예시된 바와 같이 사용자의 신체(머리)에 착용할 수 있는 안경 또는 고글 형태의 광시야각 헤드 마운트 디스플레이(Head Mounted Display, HMD)(121)를 포함한다. 이러한 광시야각 HMD(111)는 사용자의 시야각의 대부분을 커버함으로써, 마치 가상 환경 내에 사용자가 존재하는 듯한 느낌을 제공할 수 있다.
또한, 영상출력모듈(110)은 3D 영상이 재생 가능한 거치형 파노라믹 디스플레이 장치(112)를 더 포함할 수 있다. 이는, 사용자가 광시야각 HMD(111)를 착용하지 않고서도 가상 여행 체험 콘텐츠를 제공받을 수 있도록 하기 위함이다. 또한, 파노라믹 디스플레이 장치(112)를 통해 광시야각 HMD(111)를 착용하지 않은 다른 사용자 또한 가상 여행 체험 콘텐츠를 제공받을 수 있다. 파노라믹 디스플레이 장치(112)는 도 3에 도시된 바와 같이 가상 여행을 체험을 위해 사용자가 탑승하는 모션 플랫폼(200)과 소정 거리만큼 떨어진 위치에 거치된 액정 표시 장치(Liquid Crystal Display, LCD) 일 수 있다.
덧붙여, 영상출력모듈(110)은 비디오 쓰루(Video-Through)기능을 제공하는 광각 입체 카메라(113)에 의해 촬영되는 실제 환경을 화면 출력할 수 있다. 이때, 광각 입체 카메라(113)는 사용자가 바라보는 시선과 동일한 방향의 실제 환경을 촬영하기 위해, 도 3에 도시된 바와 같이 사용자가 착용한 광시야각 HMD(111)의 소정 위치에 장착될 수 있다. 이는, 사용자의 시야각 대부분을 커버하는 광시야각 HMD(111)에 의해, 광시야각 HMD(111)를 착용한 사용자가 가상 여행 체험을 위한 모션 플랫폼 탑승 등과 같은 준비 동작을 자유롭게 행하는데 어려움이 따를 수 있기 때문이다.
이때, 광각 입체 카메라(113)는 탈착 고정형 프레임 기구에 의해 광시야각 HMD(111)에 고정되어 장착될 수 있다. 또는, 광각 입체 카메라(113)는 사용자의 이마 부분에 머리띠와 같은 수단에 의해 고정될 수도 있다.
이에 따라, 영상출력모듈(110)은 사용자가 모션 플랫폼에 탑승하기 전이나 직후와 같이 가상 여행 체험 콘텐츠를 화면 출력하기 전, 광시야각 HMD(111)를 착용한 사용자의 시선이 향하는 실제 환경을 사용자에게 제공할 수 있다.
한편, 영상출력모듈(110)을 통해 화면 출력되는 3D 가상 여행 체험 콘텐츠는 후술하는 동작인식모듈(120)를 통해 인식되는 사용자의 움직임에 따라 표출 영상이 제어될 수 있다.
동작인식모듈(120)는 사용자의 신체(손 및 사용자 전신의 주요 관절) 움직임을 인식하기 위한 것이다. 구체적으로, 동작인식모듈(120)는 가상 여행 체험 콘텐츠에 포함된 다수의 객체와 사용자 간에 상호 작용을 가능하게 하기 위해, 사용자의 제스처를 인식한다. 이를 위해, 동작인식모듈(120)는 도 5에 도시된 바와 같이 구성을 포함할 수 있다.
획득부(121)는 모션 센서(310) 및 체감형 인터페이스(320) 각각으로부터 감지 데이터를 획득한다.
여기서, 모션 센서(310)는 사용자의 손의 움직임 및 사용자의 전신 움직임을 감지하기 위한 깊이 맵 센서일 수 있다. 예컨대, 모션 센서(310)는 사용자의 손의 움직임을 감지하기 위한 제1 모션 센서와 사용자의 팔을 포함한 전신의 움직임을 감지하기 위한 제2 모션 센서를 포함한다.
제1 모션 센서는 사용자의 신체 중 손의 움직임을 고정밀로 감지하기 위한 것이다. 예컨대, 제1 모션 센서는 도 3에 도시된 바와 같이 사용자가 착용한 광시야각 HMD(111)에 부착된 착용형 모션 센서일 수 있다. 이때, 제1 모션 센서는 탈착 고정형 프레임 기구에 의해 광각 입체 카메라(113)와 함께 광시야각 HMD(111)에 고정될 수 있다.
제2 모션 센서는 사용자의 팔을 포함한 전신의 주요 관절(예컨대, 머리, 목 등)의 자세를 감지하기 위한 것으로서, 사용자의 전신이 감지될 수 있는 소정 위치에 설치된 거치형 모션 센서이다. 예컨대, 제2 모션 센서는 가상 여행 체험을 위해 모션 플랫폼(200)에 탑승한 사용자의 전신이 감지될 수 있도록, 파노라믹 디스플레이 장치(112)의 근처에 위치할 수 있다. 이때, 제2 모션 센서는 모션 플랫폼(200)에 의해 가려지는 사용자의 신체(예컨대, 다리를 포함한 하체)는 감지하지 않을 수 있다.
체감형 인터페이스(320)는 사용자의 의도(제스처)를 반영하기 위한 데이터를 획득하기 위한 것이다. 예컨대, 체감형 인터페이스(320) 는 밴드 및 스마트 워치와 같이 사용자의 팔 움직임을 추적하기 위해 사용자의 손목 등의 소정 위치에 장착된 것일 수 있다. 이때, 체감형 인터페이스(320)에는 위치 센서, 가속도 센서, 자이로(gyro) 센서 등이 포함되어 있을 수 있다.
또한, 획득부(121)는 차량 내외관 목업(mockup)(210)의 소정 위치에 장착된 차량 내관 대시보드(dashboard)(220) 및 휠(wheel)을 포함한 모션 플랫폼(200)으로부터 감지 데이터를 더 획득할 수도 있다.
추적부(122)는 모션 센서(310), 체감형 인터페이스(320) 및 모션 플랫폼(200)으로부터 수신되는 감지 데이터를 이용하여 사용자의 신체 움직임(전신 모션)을 추적한다. 예컨대, 추적부(122)는 후술하는 확인부(123)에서 확인되는 사용자의 특정 제스처 확인을 위한 특정 움직임뿐만 아니라, 사용자가 행하는 모든 자세를 추적한다. 이렇게 추적된 사용자의 신체 움직임(자세)는 영상출력모듈(110)을 통해 실시간으로 출력될 수 있다.
또한, 추적부(122)는 실제 환경 내에서의 움직임이 가능한 실제 물체(오브젝트, object)의 움직임이 가상 환경 내에도 그대로 반영될 수 있도록 실제 물체의 움직임(자세)를 추적한다. 예컨대, 추적부(122)는 사용자가 탑승한 차량 형태의 모션 플랫폼(200)의 움직임을 추적한다. 이렇게 추적된 모션 플랫폼(200)의 움직임은 영상출력모듈(110)을 통해 출력되는 가상 차량의 움직임에 반영될 수 있다.
또한, 다수의 사용자가 동시에 가상 여행 체험에 참여한 경우, 추적부(122)는 운전자 및 운전자를 제외한 사용자(체험자)들을 각각 식별하고, 가상 여행 체험 콘텐츠를 제공하는 동안 사용자 별로 신체 움직임을 추적하기 위해 연속적 다자 식별 트래킹(추적)을 실시한다.
예컨대, 추적부(122)는 다수의 사용자 각각이 착용한 밴드 및 스마트 워치 및 착용형 모션 센서의 식별값(ID)을 이용하여 사용자를 식별하고, 사용자 별로 각각의 연속적인 신체 움직임을 추적한다. 또한, 이렇게 추적된 사용자 별 신체 움직임에 따라 사용자에게 제공되는 가상 여행 체험 콘텐츠의 표출 화면 또한 사용자 별로 각각 다르게 화면 출력될 수 있다.
이하에서는, 다수의 사용자 중 어느 하나의 사용자의 신체 움직임을 추적하는 것을 예를 들어 설명한다.
추적부(122)는 획득부(121)를 통해 일정 시간 동안 획득된 모션 센서(310) 및 체감형 인터페이스(320)의 감지 데이터를 이용하여 사용자의 신체 구부림, 신체 회전 방향 및 손 동작 중 적어도 하나의 신체 움직임을 추적한다. 이를 위해, 추적부(122)는 신체 움직임을 추적하기 위한 동작 인식 알고리즘을 포함할 수 있다.
예컨대, 추적부(122)는 일정 시간 동안 연속적으로 획득된 감지 데이터를 통해 사용자의 손이 위아래로 짧게 반복 이동하는 신체 움직임을 추적할 수 있다. 또는, 추적부(122)는 연속적으로 획득되는 감지 데이터를 통해 사용자의 머리가 양쪽 또는 위아래로 반복 이동하는 신체 움직임을 추적할 수 있다.
이와 같이 추적된 사용자의 신체 움직임을 이용하여 확인부(123)는 가상 여행 체험 콘텐츠에 반영하기 위한 사용자의 손 제스처 및 시선 변화를 확인할 수 있다. 이때, 확인부(123)는 추적된 신체 움직임에 대응하는 사용자의 제스처를 확인할 수 있다. 여기서, 추적된 신체 움직임(손 움직임)에 대응하는 제스처는 사전에 기설정되어 별도의 데이터베이스에 저장될 수 있다.
예컨대, 추적부(122)를 통해 사용자의 손이 위아래로 반복 이동하는 손 움직임이 추적된 경우, 확인부(123)는 ‘악수하기’의 제스처를 확인할 수 있다. 이와 같이, 확인부(123)는 사용자에게 제공되는 가상 여행 체험 콘텐츠를 구성하는 씬 별 시나리오(상황)에 적합한 사용자의 제스처(예컨대, 악수하기, 먹이 주기, 물 닦기, 손 모으기 등)을 확인한다.
또한, 추적부(122)를 통해 사용자의 머리가 이동하는 신체 움직임이 추적된 경우, 확인부(123)는 사용자의 시점 이동을 확인할 수 있다. 이는, 사용자의 자연스러운 시점 이동(사용자의 시선 위치 변화, 머리 회전)에 따라 광시야각 HMD(111)에서 출력되는 화면을 렌더링(rendering)하기 위함이다.
예컨대, 확인부(123)에서 확인된 사용자의 시점 이동에 따라 영상출력모듈(110)을 통해 출력되는 가상 여행 체험 콘텐츠의 영상의 장면이 회전할 수 있다. 이는, 마치 3D 가상 공간에서 사용자의 시선 방향이 전환되는 듯한 효과를 나타낼 수 있다. 이와 같은 사용자의 신체 움직임에 따른 가상 여행 체험 콘텐츠의 화면 전환은 3D 게임 프로그래밍에서 이용되는 것과 동일한 방식일 수 있다.
사용자 인터페이스(130)는 사용자에게 가상 여행 체험 콘텐츠 내 물리적 지형 환경 및 다수의 객체의 움직임 변화에 대한 체감 피드백을 제공한다. 이를 위해, 사용자 인터페이스(130)는 도 6과 같은 구성을 포함할 수 있다.
인터페이스 제어부(131)는 사용자가 실제와 동일한 차량을 타는 듯한 느낌을 주기 위한 모션 플랫폼의 전반적인 동작을 제어하기 위한 것이다. 여기서, 모션 플랫폼(200)은 도 3에 도시된 바와 같이 차량의 형태로 구현될 수 있다. 이때, 모션 플랫폼(200)은 도 3에 예시된 1인 탑승 형태가 아닌 다수의 사용자가 탑승할 수 있는 차량의 형태로 구현될 수도 있다.
인터페이스 제어부(131)는 사용자에게 가상 여행 체험 콘텐츠 내 물리적 지형 환경에 따라 모션 플랫폼(200)의 하드웨어(액추에이터)를 제어하여 모션 플랫폼(200)의 움직임을 제어할 수 있다. 이때, 인터페이스 제어부(131)는 모션 플랫폼(200)의 하드웨어 상에 장착된 차량 형태의 차량 내외관 목업(210)의 움직임(전후, 좌우 및 상하 이동 및 기울임 등)을 제어함으로써, 차량 내외관 목업(210)에 탑승한 사용자가 실제와 동일하게 차량을 타는 듯한 느낌(예컨대, 차량 흔들림)을 줄 수 있다.
이때, 차량 내외관 목업(210)의 내부에는 실제 차량과 동일하게 차량의 버튼 등의 사용자 조작에 의해 조작 신호를 입력 받기 위한 차량 내관 대시보드(220)가 장착될 수 있다. 차량 내관 대시보드(220)를 통해 입력된 조작 신호는 가상 여행 체험 장치(100)의 전반적인 동작을 제어하는 콘텐츠구동모듈(140)로 전달되어, 사용자의 의도가 가상 여행 체험 콘텐츠에 반영될 수 있다.
예컨대, 차량 내관 대시보드(220)에 장착된 핸들이 조작됨에 따라 핸들 조작 신호를 입력 받을 수 있으며, 이에 따라 차량의 방향을 전환하고자 하는 사용자의 의도를 입력 받을 수 있다. 이때, 차량 내외관 목업(210)의 외부에 장착된 차량 휠 또한 핸들의 조작 방향에 대응하여 움직일 수 있다.
4D 효과 발생부(132)는 사용자에게 제공되는 가상 여행 체험 콘텐츠의 시나리오(상황)에 따라 다양한 물리적 효과를 생성한다. 예컨대, 4D 효과 발생부(132)는 가상 여행 체험 시 가상 여행 체험 콘텐츠 내 오프로드를 따라 발생 가능한 먼지, 바람, 물 웅덩이(water-splash, 물튀김)와 같은 상황에 대응하여 바람, 연기, 물, 진동 등의 물리적 효과를 생성하여 사용자에게 제공할 수 있다. 이때, 4D 효과 발생부(132)는 사용자가 위치한 차량 내외관 목업(210) 내부의 소정 위치에 장착된 효과 발생 기기를 통해 물리적 효과를 발생시킬 수 있다.
또한, 4D 효과 발생부(132)는 사용자의 동작에 따른 가상 여행 체험 내 다수의 객체와의 상호 작용을 통해 발생하는 촉각을 사용자에게 제공할 수 있다. 예컨대, 4D 효과 발생부(132)는 가상 여행 체험 콘텐츠 내 원숭이, 기린, 얼룩말 등과 같은 다양한 객체를 향해 사용자가 행하는 동작(예컨대, 악수하기, 쓰다듬기 등)에 따라 발생하는 피드백을 사용자의 오감으로 느낄 수 있도록 체감 피드백을 제공한다. 이때, 4D 효과 발생부(132)는 도 3에 도시된 바와 같이 사용자가 착용한 밴드, 스마트 워치, 장갑 등과 같은 체감형 인터페이스(320)를 통해 진동, 바람 등을 발생시켜 체감 피드백을 제공할 수 있다.
콘텐츠구동모듈(140)은 본 발명의 실시예에 따른 가상 여행 체험 장치(100)의 전반적인 프로세스를 수행하기 위한 구성으로서, 가상 여행 체험 장치(100)의 모든 소프트웨어 프로그램을 구동할 수 있다. 콘텐츠구동모듈(140)은 콘텐츠 저작도구에 의해 생성된 가상 여행 체험 콘텐츠를 재생하며, 그에 따른 표출 영상이 영상출력모듈(110)을 통해 화면 출력될 수 있도록 제어한다. 그와 동시에, 콘텐츠구동모듈(140)은 동작인식모듈(120)을 통해 사용자의 신체 움직임이 인식되면, 그에 따라 영상출력모듈(110)을 통해 화면 출력되는 가상 여행 체험 콘텐츠의 영상을 제어한다.
콘텐츠구동모듈(140)은 사용자 또는 관리자의 조작에 의해 가상 여행 체험이 실행되면, 가상 여행 체험 콘텐츠를 재생하여 영상출력모듈(130)을 화면 출력한다. 여기서, 가상 여행 체험은 가상 여행 체험 콘텐츠를 구성하는 장면(scene, 씬)별 시나리오(상황)를 화면 출력하는 중, 사용자의 제스처(신체 움직임)에 따라 콘텐츠에 포함된 다양한 객체들의 움직임 및 체감 피드백 등의 사실적 반응을 사용자에게 제공하는 상황(context) 기반의 가상 체험 반응 시뮬레이션이다.
이때, 콘텐츠구동모듈(140)은 사용자가 체험을 쉽게 할 수 있도록, 가상의 에이전트 기능을 수행하는 가상 아바타를 기반으로 가상 여행 체험을 안내할 수 있다. 예컨대, 콘텐츠구동모듈(140)은 영상출력모듈(110)을 통해 재생되는 가상 여행 체험 콘텐츠의 영상(화면)에 가상 아바타 영상을 오버랩 하여 화면 출력될 수 있다. 또한, 콘텐츠구동모듈(140)은 가상 아바타의 말풍선 영상 또는 음성 출력을 통해, 이벤트(예컨대, 사용자가 현재 수행할 수 있는 동작들) 및 도움말 등을 안내할 수 있다.
또한, 콘텐츠구동모듈(140)은 실제 환경을 모델링하며, 실제 환경과 가상 환경의 영상을 정합한다. 이는, 사용자가 차량 형태의 모션 플랫폼(200)에 탑승하고, 광시야각 HMD(111)를 착용한 상황에서, 화면 출력되는 가상의 차량과 실제의 차량(차량 내외관 목업(210))의 괴리감을 줄이기 위함이다. 콘텐츠구동모듈(140)은 영상 처리 알고리즘을 이용하여 모델링된 실제 차량의 좌표 데이터와 화면 출력되는 가상의 차량의 좌표 데이터를 일치시킴으로써, 실제 차량과 가상 차량의 영상을 정합할 수 있다.
콘텐츠구동모듈(140)은 사용자의 입력 조작에 따라 가상 여행 체험 콘텐츠의 가상 여행 체험의 시나리오 이동(씬 별 이동 등)이 자동으로 진행될지 수동으로 진행될지 선택되어 구동할 수 있다. 이와 같은 선택은 가상 여행 체험이 진행되는 동안에 언제든지 사용자의 입력 조작에 의해 전환(수동->자동 또는 자동->수동)될 수 있다.
이후, 콘텐츠구동모듈(140)은 가상 여행 체험 장치(100)의 각 구성(사용자 인터페이스(130), 영상출력모듈(110) 및 동작인식모듈(120))로부터 수신되는 정보를 이용하여 실시간 4D 상호작용(interactive, 인터랙티브) 콘텐츠를 구동한다. 이에 따라, 콘텐츠구동모듈(140)는 사용자가 실제로 가상 환경 내에 존재하는 듯한 느낌을 줄 수 있도록 자연스러운 4D 인터랙션(interaction)을 제공할 수 있다.
예컨대, 동작인식모듈(120)을 통해 감지되는 사용자의 신체 움직임에 따라 가상 여행 체험 콘텐츠에 포함된 다수의 객체의 움직임을 변화시키거나, 영상출력모듈(110)를 통해 화면 출력되는 표출 영상의 장면이 회전(좌우, 상하 회전 등)할 수 있다. 아울러, 콘텐츠구동모듈(140)은 사용자 인터페이스(130)을 통해 사용자의 신체 움직임과 객체의 움직임에 따라, 사용자에게 시각, 청각, 촉각 등의 체감 피드백을 제공할 수 있다.
한편, 콘텐츠구동모듈(140)은 콘텐츠 저작도구를 통해 가상 여행 체험 콘텐츠를 저작할 수 있다. 이때, 가상 여행 체험 콘텐츠는 사용자에게 가상 체험이 제공되기 전에 사전에 저작될 수 있다. 또는, 가상 여행 체험 중 사용자 또는 제공자의 입력 조작에 의해 가상 여행 체험 콘텐츠가 저작될 수 있다.
이와 같이 본 발명의 실시예에 따르면 여행 체험자(사용자)에게 가상 여행 체험 콘텐츠를 제공하는 중, 사용자의 신체 움직임을 인식하고, 인식된 사용자의 신체 움직임에 따라 가상 여행 체험 콘텐츠의 영상을 제어함으로써, 사용자의 신체 움직임에 따라 가상 여행 체험 콘텐츠에 포함된 다수의 객체(예컨대, 동물, 캐릭터 등)의 움직임(동작)을 변화시킬 수 있다.
또한, 본 발명의 실시예에 따르면 가상 여행 체험 콘텐츠 내 물리적 지형 환경 및 다수의 객체의 움직임 변화에 따라 물리적인 효과를 생성하여 사용자에게 제공함으로써, 사용자가 전신으로 촉각, 시각, 청각, 후각 등의 체감 피드백을 제공받을 수 있게 한다.
도 7은 본 발명의 실시예에 따른 가상 여행 체험 방법 흐름도이다.
사용자 또는 관리자의 조작에 의해 가상 여행 체험이 실행되면, 가상 여행 체험 콘텐츠의 영상이 화면 출력되어 사용자에게 제공된다(S710).
이때, 가상 여행 체험 콘텐츠의 영상은 사용자의 신체(머리)에 착용할 수 있는 안경 또는 고글 형태의 광시야각 HMD(121)를 통해 화면 출력될 수 있다. 이러한 광시야각 HMD(121)에 의해 사용자의 시야각의 대부분이 커버되어, 마치 가상 환경 내에 사용자가 존재하는 듯한 느낌을 제공할 수 있다.
또는, 3D 영상이 재생 가능한 거치형 파노라믹 디스플레이 장치(122)를 통해 가상 여행 체험 콘텐츠의 영상이 화면 출력될 수 있다. 이는, 사용자가 광시야각 HMD(121)를 착용하지 않고서도 가상 여행 체험 콘텐츠를 제공받을 수 있도록 하기 위함이다. 또한, 파노라믹 디스플레이 장치(122)를 통해 광시야각 HMD(121)를 착용하지 않은 다른 사용자 또한 가상 여행 체험 콘텐츠를 제공받을 수 있다.
단계 S710이 수행됨과 동시에, 사용자의 신체 움직임이 인식된다(S720). 이는, 가상 여행 체험 콘텐츠에 포함된 다수의 객체와 사용자 간에 상호 작용을 하기 위함이다.
사용자의 손의 움직임 및 사용자의 전신 움직임을 감지하기 위한 모션 센서(310)와 사용자의 의도(제스처)를 반영하기 위해 사용자의 팔에 장착된 체감형 인터페이스(320)로부터 획득되는 감지 데이터를 이용하여 사용자의 움직임이 인식된다. 이때, 감지되는 사용자의 신체 움직임(자세)은 가상 여행 체험 콘텐츠의 영상에 오버랩 되어 화면 출력될 수 있다.
예컨대, 모션 센서(310) 및 체감형 인터페이스(320)로부터 일정시간 동안 획득되는 감지 데이터를 이용하여, 사용자의 신체 구부림, 신체 회전 방향 및 손 동작 중 적어도 하나의 신체 움직임이 추적된다.
예컨대, 사용자의 손이 위아래로 짧게 반복 이동하는 신체 움직임이 추적될 수 있다. 또는, 사용자의 머리가 양쪽 또는 위아래로 반복 이동하는 신체 움직임이 추적될 수 있다.
이와 같이 추적된 사용자의 신체 움직임을 이용하여 가상 여행 체험 콘텐츠에 반영하기 위한 사용자의 손 제스처 및 시선 변화를 확인할 수 있다. 이때, 추적된 신체 움직임(손 움직임)에 대응하는 제스처는 사전에 기설정되어 별도의 데이터베이스로부터 읽어 올 수 있다.
만약, 사용자의 손이 위아래로 반복 이동하는 손 움직임이 추적된 경우, ‘악수하기’의 제스처를 확인할 수 있다. 이와 같이, 사용자에게 제공되는 가상 여행 체험 콘텐츠를 구성하는 씬 별 시나리오(상황)에 적합한 사용자의 제스처(예컨대, 악수하기, 먹이 주기, 물 닦기, 손 모으기 등)이 확인될 수 있다.
또는, 사용자의 머리가 이동하는 신체 움직임이 추적된 경우, 사용자의 시점 이동을 확인할 수 있다. 이는, 사용자의 자연스러운 시점 이동(사용자의 시선 위치 변화, 머리 회전)에 따라 광시야각 HMD(121)에서 출력되는 화면을 렌더링(rendering)하기 위함이다.
단계 S720에서 사용자의 신체 움직임이 감지되면, 감지된 신체 움직임에 따라 가상 여행 체험 콘텐츠의 표출 화면이 제어된다(S730).
예컨대, 감지되는 사용자의 신체 움직임에 따라 가상 여행 체험 콘텐츠에 포함된 다수의 객체의 움직임이 변화되거나, 화면 출력되는 표출 영상의 장면이 회전(좌우, 상하 회전 등)될 수 있다.
예컨대, 사용자의 신체 움직임에 따라 가상 여행 체험 콘텐츠 내 원숭이, 기린, 얼룩말 등과 같은 다양한 객체의 움직임이 변화할 수 있다. 만약, 단계 S720에서, ‘악수하기’의 제스처가 인식된 경우, 가상 여행 체험 콘텐츠에 포함된 다수의 객체 영상 중 사용자의 손 영상과 오버랩 또는 접촉한 객체와 사용자는 마치 악수를 하는 듯한 동작이 화면 출력될 수 있다.
이에 따라 사용자는 체험 요소는 기린에게 먹이주기, 코끼리가 사용자에게 물을 뿌리면 손을 흔들어 물을 닦기, 원숭이와 악수하기, 밤에 사용자 주변을 맴도는 반딧불을 손을 모으는 제스처를 통해 반딧불을 모으기 등과 체험 요소들을 즐길 수 있다.
또는, 사용자의 시점 이동에 따라 화면 출력되는 가상 여행 체험 콘텐츠의 영상의 장면이 회전할 수 있다. 이는, 마치 3D 가상 공간에서 사용자의 시선 방향이 전환되는 듯한 효과를 나타낼 수 있다. 이와 같은 사용자의 신체 움직임에 따른 가상 여행 체험 콘텐츠의 화면 전환은 3D 게임 프로그래밍에서 이용되는 것과 동일한 방식일 수 있다
아울러, 사용자의 신체 움직임과 그에 대응하여 가상 여행 체험 콘텐츠의 객체의 움직임에 따라, 다양한 물리적 효과가 생성되어 사용자에게 제공된다(S740). 구체적으로, 가상 여행 체험 콘텐츠 내 물리적 지형 환경 및 다수의 객체의 움직임 변화에 따라 사용자에게 체감 피드백이 제공된다.
일 예로서, 사용자에게 가상 여행 체험 콘텐츠 내 물리적 지형 환경에 따라 모션 플랫폼(200)의 하드웨어(액추에이터)를 제어하여 모션 플랫폼(200)의 움직임을 제어할 수 있다. 이때, 모션 플랫폼(200)의 하드웨어 상에 장착된 차량 형태의 차량 내외관 목업(mockup)(210)을 전후, 좌우 및 상하 이동 및 기울임으로써, 차량 내외관 목업(210)에 탑승한 사용자가 실제와 동일하게 차량을 타는 듯한 느낌(예컨대, 차량 흔들림)을 줄 수 있다.
다른 예로서, 가상 여행 체험 콘텐츠의 시나리오(상황)에 따라 다양한 물리적 효과가 생성되어 사용자에게 제공된다. 예컨대, 가상 여행 체험 시 가상 여행 체험 콘텐츠 내 오프로드를 따라 발생 가능한 먼지, 바람, 물 웅덩이(water-splash, 물튀김)와 같은 상황에 대응하여, 바람, 연기, 물, 진동 등의 물리적 효과가 사용자에게 제공될 수 있다. 이때, 사용자가 위치한 차량 내외관 목업(210) 내부의 소정 위치에 장착된 효과 발생 기기를 통해 물리적 효과가 발생할 수 있다.
또한, 사용자의 신체 움직임에 따른 가상 여행 체험 내 다수의 객체와의 상호 작용을 통해 발생하는 촉각을 사용자에게 제공할 수 있다. 예컨대, 가상 여행 체험 콘텐츠 내 원숭이, 기린, 얼룩말 등과 같은 다양한 객체를 향해 사용자가 행하는 동작(예컨대, 악수하기, 쓰다듬기 등)에 따라 발생하는 촉각을 사용자가 느낄 수 있도록 체감 피드백이 제공된다. 이때, 사용자가 착용한 밴드, 스마트 워치, 장갑 등과 같은 체감형 인터페이스(320)를 통해 진동, 바람 등이 발생하여 체감 피드백이 제공될 수 있다.
이와 같이 본 발명의 실시예에 따르면 여행 체험자(사용자)에게 가상 여행 체험 콘텐츠를 제공하는 중, 사용자의 신체 움직임을 인식하고, 인식된 사용자의 신체 움직임에 따라 가상 여행 체험 콘텐츠의 영상을 제어함으로써, 사용자의 신체 움직임에 따라 가상 여행 체험 콘텐츠에 포함된 다수의 객체(예컨대, 동물, 캐릭터 등)의 움직임(동작)을 변화시킬 수 있다.
또한, 본 발명의 실시예에 따르면 가상 여행 체험 콘텐츠 내 물리적 지형 환경 및 다수의 객체의 움직임 변화에 따라 물리적인 효과를 생성하여 사용자에게 제공함으로써, 사용자가 전신으로 촉각, 시각, 청각 등의 체감 피드백을 제공받을 수 있게 한다.
이상, 본 발명의 바람직한 실시예를 통하여 본 발명의 구성을 상세히 설명하였으나, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 명세서에 개시된 내용과는 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 가상 여행 체험 장치
110 : 영상출력모듈 120 :동작 인식 모듈
130 : 사용자 인터페이스 140 : 콘텐츠구동모듈

Claims (14)

  1. 가상 여행 체험 콘텐츠의 영상을 출력하는 영상출력모듈;
    사용자의 신체 움직임을 인식하는 동작인식모듈;
    상기 동작 동작인식모듈을 통해 인식된 상기 신체 움직임에 따라, 상기 가상 여행 체험 콘텐츠의 영상에 포함된 다수의 객체의 움직임을 제어하는 콘텐츠구동모듈; 및
    상기 다수의 객체의 움직임 변화 및 상기 가상 여행 체험 콘텐츠 내 지형 환경에 대한 체감 피드백을 상기 사용자에게 제공하는 사용자 인터페이스;
    를 포함하는 가상 여행 체험 장치.
  2. 제1항에 있어서, 상기 영상출력모듈은,
    상기 사용자의 시야각을 커버하는 광시야각 헤드 마운트 디스플레이(Head Mounted Display, HMD)와 3D 영상이 재생 가능하고 상기 사용자와 소정 거리만큼 떨어진 파노라믹 디스플레이 장치 중 적어도 하나를 포함하는 것
    인 가상 여행 체험 장치.
  3. 제2항에 있어서, 상기 영상출력모듈은,
    상기 사용자가 바라보는 시선과 동일한 방향의 실제 환경을 촬영하는 광각 입체 카메라; 를 더 포함하며,
    상기 광각 입체 카메라에 의해 촬영된 상기 실제 환경은 상기 광시야각 HMD를 통해 화면 출력되는 것
    인 가상 여행 체험 장치.
  4. 제1항에 있어서, 상기 동작인식모듈은,
    상기 사용자의 손 움직임 및 상기 사용자의 전신 움직임을 감지하는 모션센서와 상기 사용자의 신체와 접촉하여 상기 사용자의 팔 움직임을 추적하는 체감형 인터페이스 중 적어도 하나로부터 획득되는 감지 데이터를 이용하여 상기 사용자의 신체 움직임을 인식하는 것
    인 가상 여행 체험 장치.
  5. 제1항에 있어서, 상기 콘텐츠구동모듈은,
    상기 동작인식모듈에 의해 인식된 상기 사용자의 특정 제스처 및 상기 사용자의 시선 변화를 상기 가상 여행 체험 콘텐츠의 영상에 반영하는 것
    인 가상 여행 체험 장치.
  6. 제1항에 있어서, 상기 사용자 인터페이스는,
    상기 사용자가 탑승한 차량 형태의 모션 플랫폼의 움직임을 제어하는 인터페이스 제어부; 및
    상기 가상 여행 체험 콘텐츠의 상황에 따라 발생하는 물리적 효과를 상기 사용자에게 제공하는 4D 효과 발생부;
    를 포함하는 것인 가상 여행 체험 장치.
  7. 제1항에 있어서, 상기 사용자 인터페이스는,
    상기 사용자의 신체 움직임과 상기 가상 여행 체험 콘텐츠 내 상기 다수의 객체와의 상호 작용을 통해 발생하는 물리적 효과를 오감으로 느낄 수 있는 상기 체감 피드백을 생성하는 것
    인 가상 여행 체험 장치.
  8. 가상 여행 체험 장치에 의한 가상 여행 체험 방법으로서,
    가상 여행 체험 콘텐츠의 영상을 출력하는 단계;
    가상 여행을 체험하는 사용자의 신체 움직임을 인식하는 단계;
    상기 신체 움직임에 따라, 상기 가상 여행 체험 콘텐츠의 영상에 포함된 다수의 객체의 움직임을 제어하는 단계; 및
    상기 다수의 객체의 움직임 변화 및 상기 가상 여행 체험 콘텐츠 내 지형 환경에 따라 체감 피드백을 상기 사용자에게 제공하는 단계
    를 포함하는 가상 여행 체험 방법.
  9. 제8항에 있어서, 상기 출력하는 단계는,
    상기 사용자의 시야각을 커버하는 형태와 상기 사용자와 소정 거리만큼 떨어진 3D 파노라마 형태 중 적어도 하나의 형태로 화면 출력하는 것
    인 가상 여행 체험 방법.
  10. 제8항에 있어서, 상기 출력하는 단계는,
    상기 사용자가 바라보는 시선과 동일한 방향의 실제 환경을 촬영하여 화면 출력하는 것
    인 가상 여행 체험 방법.
  11. 제8항에 있어서, 상기 인식하는 단계는,
    상기 사용자의 손 움직임, 상기 사용자의 전신 움직임 및 상기 사용자의 팔 움직임 중 적어도 하나를 포함하는 상기 사용자의 신체 움직임을 인식하는 것
    인 가상 여행 체험 방법.
  12. 제8항에 있어서, 상기 제어하는 단계는,
    상기 사용자의 특정 제스처 및 상기 사용자의 시선 변화를 화면 출력되는 상기 가상 여행 체험 콘텐츠에 반영하는 것
    인 가상 여행 체험 방법.
  13. 제8항에 있어서, 상기 제공하는 단계는,
    상기 사용자가 탑승한 차량 형태의 모션 플랫폼의 움직임을 제어하거나, 상기 가상 여행 체험 콘텐츠의 가상 환경에 따라 발생하는 물리적 효과를 상기 사용자에게 제공하는 것
    인 가상 여행 체험 방법.
  14. 제8항에 있어서, 상기 제공하는 단계는,
    상기 사용자의 신체 움직임과 상기 가상 여행 체험 콘텐츠 내 상기 다수의 객체와의 상호 작용을 통해 발생하는 물리적 효과를 상기 사용자가 오감으로 느낄 수 있도록 상기 체감 피드백을 생성하는 것
    인 가상 여행 체험 방법.
KR1020150031770A 2015-03-06 2015-03-06 가상 여행 체험 장치 및 그 방법 KR101850028B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150031770A KR101850028B1 (ko) 2015-03-06 2015-03-06 가상 여행 체험 장치 및 그 방법
US15/057,675 US20160260252A1 (en) 2015-03-06 2016-03-01 System and method for virtual tour experience

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150031770A KR101850028B1 (ko) 2015-03-06 2015-03-06 가상 여행 체험 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20160108017A true KR20160108017A (ko) 2016-09-19
KR101850028B1 KR101850028B1 (ko) 2018-05-30

Family

ID=56850941

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150031770A KR101850028B1 (ko) 2015-03-06 2015-03-06 가상 여행 체험 장치 및 그 방법

Country Status (2)

Country Link
US (1) US20160260252A1 (ko)
KR (1) KR101850028B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101965732B1 (ko) 2017-10-26 2019-04-04 (주)이노시뮬레이션 Gui 저작도구를 이용한 모션플랫폼의 제어방법
KR20190066429A (ko) * 2017-12-05 2019-06-13 한국전자통신연구원 가상 현실 콘텐츠의 시청 피로도 예측 모델에 관한 모니터링 장치 및 방법
KR102423905B1 (ko) * 2021-12-15 2022-07-21 박준 Hmd 환경의 골전도 청각 전달 방법
KR20220131368A (ko) 2021-03-20 2022-09-27 김세봉 실감형 랜선투어 플렛폼
KR20220146366A (ko) * 2021-04-23 2022-11-01 (주)에듀슨 360도 영상과 hmd를 활용하고, 메타버스 공간 내에서 진행되는 비대면 실시간 교육 방법

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106657975A (zh) * 2016-10-10 2017-05-10 乐视控股（北京）有限公司 视频播放方法及设备
US10296093B1 (en) * 2017-03-06 2019-05-21 Apple Inc. Altering feedback at an electronic device based on environmental and device conditions
CN107247512B (zh) * 2017-05-05 2019-11-29 北京凌宇世纪信息科技有限公司 一种转向控制方法、装置及系统
US10639557B2 (en) * 2017-06-22 2020-05-05 Jntvr Llc Synchronized motion simulation for virtual reality
US10803674B2 (en) 2017-11-03 2020-10-13 Samsung Electronics Co., Ltd. System and method for changing a virtual reality environment dynamically
DE102018213556A1 (de) * 2018-08-10 2020-02-13 Audi Ag Verfahren und System zum Betreiben von zumindest zwei von jeweiligen Fahrzeuginsassen am Kopf getragenen Anzeigeeinrichtungen
US11397508B1 (en) * 2019-06-11 2022-07-26 Hyper Reality Partners, Llc Virtual experience pillars
US11734893B2 (en) * 2021-08-17 2023-08-22 Sony Interactive Entertainment LLC Curating virtual tours
KR102492751B1 (ko) 2021-11-08 2023-02-01 나라라 주식회사 원격 조종로봇을 이용한 실시간 비대면 서비스 제공 시스템

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5130794A (en) * 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
US5577981A (en) * 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US20130316826A1 (en) * 2009-11-23 2013-11-28 Ofer LEVANON Haptic-simulation home-video game
US20120212499A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content control during glasses movement
KR101181505B1 (ko) * 2012-02-28 2012-09-10 한국과학기술원 다양하고 정교한 정보전달을 위한 입력 지점과 출력 지점이 분리된 햅틱 인터페이스
KR101177793B1 (ko) * 2012-04-18 2012-08-30 (주) 엔텍코아 입체영상 체험 장치 및 방법
US9256961B2 (en) * 2012-06-28 2016-02-09 Here Global B.V. Alternate viewpoint image enhancement
US9131153B2 (en) * 2013-03-12 2015-09-08 E-Lead Electronic Co., Ltd. Rearview panoramic head-up display device for vehicles

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101965732B1 (ko) 2017-10-26 2019-04-04 (주)이노시뮬레이션 Gui 저작도구를 이용한 모션플랫폼의 제어방법
KR20190066429A (ko) * 2017-12-05 2019-06-13 한국전자통신연구원 가상 현실 콘텐츠의 시청 피로도 예측 모델에 관한 모니터링 장치 및 방법
KR20220131368A (ko) 2021-03-20 2022-09-27 김세봉 실감형 랜선투어 플렛폼
KR20220146366A (ko) * 2021-04-23 2022-11-01 (주)에듀슨 360도 영상과 hmd를 활용하고, 메타버스 공간 내에서 진행되는 비대면 실시간 교육 방법
KR102423905B1 (ko) * 2021-12-15 2022-07-21 박준 Hmd 환경의 골전도 청각 전달 방법

Also Published As

Publication number Publication date
KR101850028B1 (ko) 2018-05-30
US20160260252A1 (en) 2016-09-08

Similar Documents

Publication Publication Date Title
KR101850028B1 (ko) 가상 여행 체험 장치 및 그 방법
JP7454544B2 (ja) 拡張現実及び仮想現実画像を生成するためのシステム及び方法
TWI732194B (zh) 用於在hmd環境中利用傳至gpu之預測及後期更新的眼睛追蹤進行快速注視點渲染的方法及系統以及非暫時性電腦可讀媒體
JP7277451B2 (ja) レーシングシミュレーション
JP7164630B2 (ja) 予測サッカード着地点に基づく動的グラフィックスレンダリング
CN110647237B (zh) 在人工现实环境中基于手势的内容共享
JP6276882B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
CN110646938B (zh) 近眼显示器系统
JP6410378B1 (ja) Ｖｒを用いた消火体験シミュレーションシステム、体験用消火器、及びプログラム
JP6392911B2 (ja) 情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラム
CN105359063A (zh) 利用追踪的头戴式显示器
US20180299948A1 (en) Method for communicating via virtual space and system for executing the method
EP3591503B1 (en) Rendering of mediated reality content
US10515481B2 (en) Method for assisting movement in virtual space and system executing the method
JP2018124981A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6820299B2 (ja) プログラム、情報処理装置、および方法
JP2018190196A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018109937A (ja) 情報処理方法、装置、情報処理システム、および当該情報処理方法をコンピュータに実行させるプログラム
JP6856572B2 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
WO2021153413A1 (ja) 情報処理装置、情報処理システム及び情報処理方法
JP2023038691A (ja) 研修支援システム
JP2021064399A (ja) プログラム、情報処理装置、および方法
JP2018195287A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right