KR102649487B1 - System for providing virtual experience contents to feel five senses - Google Patents

System for providing virtual experience contents to feel five senses Download PDF

Info

Publication number
KR102649487B1
KR102649487B1 KR1020200155593A KR20200155593A KR102649487B1 KR 102649487 B1 KR102649487 B1 KR 102649487B1 KR 1020200155593 A KR1020200155593 A KR 1020200155593A KR 20200155593 A KR20200155593 A KR 20200155593A KR 102649487 B1 KR102649487 B1 KR 102649487B1
Authority
KR
South Korea
Prior art keywords
user
experience
information
content
dummy object
Prior art date
Application number
KR1020200155593A
Other languages
Korean (ko)
Other versions
KR20220068622A (en
Inventor
김기홍
유정민
Original Assignee
김기홍
유정민
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김기홍, 유정민 filed Critical 김기홍
Priority to KR1020200155593A priority Critical patent/KR102649487B1/en
Publication of KR20220068622A publication Critical patent/KR20220068622A/en
Application granted granted Critical
Publication of KR102649487B1 publication Critical patent/KR102649487B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Architecture (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 가상 체험 콘텐츠 제공 시스템이 개시된다. 본 발명의 가상 체험 콘텐츠 제공 시스템은 사용자의 머리에 착용되고, 상기 사용자에게 시각적, 청각적, 촉각적 가상 체험을 제공하는 HMD(Head Mounted Display) 및 복수의 구조물들로 구현되고, 구조물들 중 일부분에 상기 사용자의 움직임을 감지하는 센서를 포함하는 체험공간을 포함하고, 상기 HMD는, 체험 시나리오에 따라 체험공간에 상응하는 3차원 가상공간을 생성하고, 체험공간으로부터 상기 사용자의 움직임 및 시선에 대한 움직임 정보를 수신하며, 수신된 움직임 정보에 대응되는 가상 체험과 관련된 콘텐츠로 제공한다.The present invention discloses a system for providing virtual experience content. The virtual experience content providing system of the present invention is implemented with a Head Mounted Display (HMD) and a plurality of structures that are worn on the user's head and provide a visual, auditory, and tactile virtual experience to the user, and some of the structures and an experience space including a sensor that detects the user's movement, wherein the HMD generates a three-dimensional virtual space corresponding to the experience space according to the experience scenario, and provides information about the user's movement and gaze from the experience space. Movement information is received and content related to a virtual experience corresponding to the received movement information is provided.

Description

오감을 느끼는 가상 체험 콘텐츠 제공 시스템{System for providing virtual experience contents to feel five senses}System for providing virtual experience contents to feel five senses}

본 발명은 가상 체험 콘텐츠 제공 기술에 관한 것으로, 더욱 상세하게는 실제 환경과 가상 환경을 매칭시킨 환경에서 실제 환경에서 체험하기 어려운 경험을 가상으로 체험할 수 있도록 지원하는 오감을 느끼는 가상 체험 콘텐츠 제공 시스템에 관한 것이다.The present invention relates to a technology for providing virtual experience content, and more specifically, a system for providing virtual experience content that feels the five senses that supports virtual experience of experiences that are difficult to experience in the real environment in an environment that matches the real environment and the virtual environment. It's about.

종래의 HMD(Head Mounted Display)를 이용한 체험형 콘텐츠의 경우는 앉거나 서서 즐기는 형태가 주를 이루고 있으며, 걷는 동작을 지원하더라도 제한된 구조물이 없는 개방된 허공에서 체험을 하는 형태에 해당하므로 사용자가 느끼는 사실감이나 존재감 측면에서는 수준이 상당히 떨어지는 측면이 있다. In the case of experiential content using a conventional HMD (Head Mounted Display), it is mainly enjoyed while sitting or standing, and even if it supports walking motions, it is a form of experiencing in an open space without restricting structures, so the user can feel the feeling. In terms of realism and presence, the level is quite low.

또한 종래의 HMD 형태의 가상현실 콘텐츠는 시각과 청각적 감각으로 콘텐츠가 개발되어 시각적으로 보여지는 디지털 데이터들의 물체와 사용자가 인터랙션하는 경우 물체를 만지거나 물체를 들어 올리거나 하는 부분에서 촉감이 느껴지지 않기 때문에 실제 체험과 동떨어진 괴리감이 발생되는 문제점을 가지고 있다.In addition, virtual reality content in the form of a conventional HMD is developed with visual and auditory senses, so when a user interacts with an object of visually displayed digital data, no sense of touch is felt when touching or lifting the object. Because it does not, it has the problem of creating a sense of disconnection from the actual experience.

한국등록특허공보 제10-1262848호(2013.05.09.)Korean Patent Publication No. 10-1262848 (2013.05.09.)

본 발명이 이루고자 하는 기술적 과제는 시간적, 공간적 제약을 없이 원격지에 존재하는 사용자에게 체험 시나리오에 맞는 가상 체험을 지원하는 오감을 느끼는 가상 체험 콘텐츠 제공 시스템을 제공하는데 목적이 있다.The technical problem to be achieved by the present invention is to provide a system for providing virtual experience contents that can feel the five senses, supporting virtual experiences tailored to the experience scenario to users located in remote locations without temporal or spatial constraints.

본 발명이 이루고자 하는 다른 기술적 과제는 시각 및 청각뿐만 아니라 촉각적, 후각, 미각 감각을 지원하여 사용자에게 실제 체험과 동떨어진 괴리감을 최소화시켜주는 오감을 느끼는 가상 체험 콘텐츠 제공 시스템을 제공하는데 목적이 있다.Another technical problem to be achieved by the present invention is to provide a system for providing virtual experience content that allows users to feel the five senses by supporting not only visual and auditory senses, but also tactile, olfactory, and gustatory senses to minimize the sense of disconnection from the actual experience.

상기 목적을 달성하기 위해 본 발명에 따른 오감을 느끼는 가상 체험 콘텐츠 제공 시스템은 사용자의 머리에 착용되고, 상기 사용자에게 시각적, 청각적, 촉각적 가상 체험을 제공하는 HMD(Head Mounted Display) 및 복수의 구조물들로 구현되고, 상기 구조물들 중 일부분에 상기 사용자의 움직임을 감지하는 센서를 포함하는 체험공간을 포함하고, 상기 HMD는, 체험 시나리오에 따라 상기 체험공간에 상응하는 3차원 가상공간을 생성하고, 상기 체험공간으로부터 상기 사용자의 움직임 및 시선에 대한 움직임 정보를 수신하며, 상기 수신된 움직임 정보에 대응되는 가상 체험과 관련된 콘텐츠로 제공하되, 상기 사용자가 상기 체험공간에 구비된 더미 오브제(dummy object)를 기 설정된 시간 이상 접촉되는 경우, 상기 사용자의 자세를 트래킹하고, 상기 트래킹된 자세 정보, 상기 더미 오브제의 실제 대상품에 대한 디지털 정보 및 상기 더미 오브제의 정보를 정합하여 형상, 질감 및 무게에 대한 특성이 포함된 촉각적 콘텐츠를 제공하는 것을 특징으로 한다.In order to achieve the above object, the system for providing virtual experience content that feels the five senses according to the present invention includes an HMD (Head Mounted Display) that is worn on the user's head and provides a visual, auditory, and tactile virtual experience to the user, and a plurality of devices. It is implemented with structures, and includes an experience space including a sensor that detects the user's movement in some of the structures, and the HMD generates a three-dimensional virtual space corresponding to the experience space according to an experience scenario. , Receiving movement information about the user's movement and gaze from the experience space, and providing content related to a virtual experience corresponding to the received movement information, wherein the user is a dummy object provided in the experience space. ) is contacted for more than a preset time, the user's posture is tracked, and the tracked posture information, digital information about the actual object of the dummy object, and information on the dummy object are matched to determine the shape, texture, and weight. It is characterized by providing tactile content that includes characteristics of

또한 상기 HMD는, 상기 움직임 정보 및 상기 자세 정보 중 적어도 하나를 이용하여 사용자의 손이 시각적으로 확인되는 시각적 콘텐츠를 생성하는 것을 특징으로 한다.Additionally, the HMD is characterized in that it generates visual content in which the user's hands are visually identified using at least one of the motion information and the posture information.

또한 상기 사용자가 상기 더미 오브제를 들어 올리거나 내리는 경우, 상기 HMD는, 상기 더미 오브제를 들어 올리거나 내리는 자세를 트래킹한 후, 상기 트래킹된 자세 정보, 상기 더미 오브제의 실제 대상품에 대한 디지털 정보 및 상기 더미 오브제의 정보를 정합하여 실제 대상품을 들어 올리거나 내리면서 발생되는 하중이 제공되도록 콘텐츠를 생성하는 것을 특징으로 한다.In addition, when the user lifts or lowers the dummy object, the HMD tracks the posture of lifting or lowering the dummy object and then collects the tracked posture information, digital information about the actual object of the dummy object, and Content is generated by matching the information of the dummy object to provide a load generated when lifting or lowering the actual object.

또한 상기 HMD는, 상기 더미 오브제를 들어 올리거나 내리는 자세가 트래킹되면 상기 실제 대상품과 관련된 상세정보가 더 출력되도록 콘텐츠를 생성하는 것을 특징으로 한다.In addition, the HMD is characterized in that it generates content so that detailed information related to the actual object is output when the posture of lifting or lowering the dummy object is tracked.

또한 상기 사용자가 상기 더미 오브제를 분해 또는 조립하는 경우, 상기 HMD는, 상기 더미 오브제를 분해 또는 조립하는 자세를 트래킹한 후, 상기 트래킹된 자세 정보, 상기 더미 오브제의 실제 대상품에 대한 디지털 정보 및 상기 더미 오브제의 정보를 정합하여 실제 대상품을 분해 또는 조립하면서 보여지는 내부 구조가 제공되도록 콘텐츠를 생성하는 것을 특징으로 한다.In addition, when the user disassembles or assembles the dummy object, the HMD tracks the posture of disassembling or assembling the dummy object and then collects the tracked posture information, digital information about the actual object of the dummy object, and The content is generated by matching the information of the dummy object to provide an internal structure that can be seen while disassembling or assembling the actual object.

또한 상기 HMD는, 상기 더미 오브제를 분해 또는 조립하는 자세가 트래킹되면 상기 분해 또는 조립과 관련된 상세정보가 더 출력되도록 콘텐츠를 생성하는 것을 특징으로 한다.In addition, the HMD is characterized in that when the posture of disassembling or assembling the dummy object is tracked, it generates content so that detailed information related to the disassembly or assembly is further output.

또한 상기 더미 오브제는, 내부에 실제 대상품의 내부에 존재하는 물질을 구비하거나, 해당 물질과 유사한 냄새, 맛을 발생하는 대체 물질을 구비하는 것을 특징으로 한다.In addition, the dummy object is characterized by having a substance present inside the actual object or a substitute substance that generates a similar odor and taste as the substance.

본 발명의 오감을 느끼는 가상 체험 콘텐츠 제공 시스템은 시간적, 공간적 제약을 없이 원격지에 존재하는 사용자에게 체험 시나리오를 기반으로 복수개의 구조물들을 이용하여 구성된 체험공간과 상응되는 3차원 가상 공간을 생성하고, 생성된 3차원 가상 공간에서의 가상 체험을 지원할 수 있다.The system for providing virtual experience content to feel the five senses of the present invention creates and creates a three-dimensional virtual space corresponding to an experience space constructed using a plurality of structures based on an experience scenario to a user located remotely without temporal or spatial constraints. It can support virtual experiences in a 3D virtual space.

또한 디지털 데이터와 더미 오브제를 실시간으로 추적 및 정합하여 시각, 청각, 촉각, 후각, 미각적 감각을 자연스럽게 제공할 수 있다.In addition, digital data and dummy objects can be tracked and matched in real time to naturally provide visual, auditory, tactile, olfactory, and gustatory sensations.

또한 단순히 더미 오브제를 만지는 체험만을 제공하는 것이 아니라 들어 올리거나 분해 또는 조립과 같은 다양한 체험을 지원할 수 있다.In addition, it does not simply provide the experience of touching a dummy object, but can support a variety of experiences such as lifting, disassembling, or assembling.

도 1은 본 발명의 실시예에 따른 가상 체험 콘텐츠 제공 시스템을 설명하기 위한 구성도이다.
도 2는 본 발명의 실시예에 따른 HMD를 설명하기 위한 블록도이다.
도 3은 본 발명의 실시예에 따른 체험공간을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 더미 오브제를 사용자가 만진 경우, 수행되는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 더미 오브제를 사용자가 분해하는 경우, 수행되는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 더미 오브제를 제작하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 가상 체험 콘텐츠 제공 방법을 설명하기 위한 순서도이다.1 is a configuration diagram for explaining a system for providing virtual experience content according to an embodiment of the present invention.
Figure 2 is a block diagram for explaining an HMD according to an embodiment of the present invention.
Figure 3 is a diagram for explaining an experience space according to an embodiment of the present invention.
Figure 4 is a diagram for explaining a process performed when a user touches a dummy object according to an embodiment of the present invention.
Figure 5 is a diagram for explaining a process performed when a user disassembles a dummy object according to an embodiment of the present invention.
Figure 6 is a diagram for explaining the process of producing a dummy object according to an embodiment of the present invention.
Figure 7 is a flowchart for explaining a method of providing virtual experience content according to an embodiment of the present invention.

본 발명은 “한국전통문화대학교 대학원 연구개발지원 사업”의 지원을 받아 수행되었다.This invention was carried out with support from the “Korea University of Traditional Culture Graduate School Research and Development Support Project.”

이하 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 당업자에게 자명하거나 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the attached drawings. First, it should be noted that when adding reference numerals to components in each drawing, the same components are given the same reference numerals as much as possible even if they are shown in different drawings. Additionally, in describing the present invention, if a detailed description of a related known configuration or function is determined to be obvious to those skilled in the art or may obscure the gist of the present invention, the detailed description will be omitted.

도 1은 본 발명의 실시예에 따른 가상 체험 콘텐츠 제공 시스템을 설명하기 위한 구성도이다.1 is a configuration diagram illustrating a system for providing virtual experience content according to an embodiment of the present invention.

도 1을 참조하면, 가상 체험 콘텐츠 제공 시스템(300)은 시간적, 공간적 제약을 없이 원격지에 존재하는 사용자에게 체험 시나리오에 맞는 가상 체험을 지원한다. 가상 체험 콘텐츠 제공 시스템(300)은 시각 및 청각뿐만 아니라 촉각, 후각, 미각적 감각을 지원하여 사용자에게 실제 체험과 동떨어진 괴리감을 최소화시켜준다. 가상 체험 콘텐츠 제공 시스템(300)은 HMD(Head Mounted Display)(100) 및 체험공간(200)을 포함한다.Referring to FIG. 1, the virtual experience content providing system 300 supports a virtual experience tailored to the experience scenario to a user located in a remote location without temporal or spatial restrictions. The virtual experience content providing system 300 supports not only visual and auditory senses, but also tactile, olfactory, and gustatory senses, minimizing the user's sense of disconnection from the actual experience. The virtual experience content providing system 300 includes a Head Mounted Display (HMD) 100 and an experience space 200.

HMD(100)는 사용자의 머리에 착용되고, 사용자에게 시각적, 청각적, 촉각적 가상 체험을 제공한다. HMD(100)는 체험 시나리오에 따라 가상 체험을 제공할 수 있으며, 체험 시나리오는 박물관 방문, 미술관 방문, 유적지 방문, 미로 탐험, 지하동굴 탐험 등 다양한 시나리오를 포함할 수 있다. HMD(100)는 체험 시나리오를 기반으로 체험공간(200)에 상응하는 3차원 가상공간을 생성한다. 이때 HMD(100)는 체험공간(200)으로부터 사용자의 움직임 및 시선에 대한 움직임 정보를 수신하고, 수신된 움직임 정보에 대응되는 가상 체험을 콘텐츠로 제공한다. 바람직하게는 HMD(100)는 체험공간(200)에 구비된 더미 오브제(dummy object)을 이용하여 보다 실감나는 가상 체험을 사용자에게 제공할 수 있다.The HMD 100 is worn on the user's head and provides visual, auditory, and tactile virtual experiences to the user. The HMD 100 can provide a virtual experience according to the experience scenario, and the experience scenario may include various scenarios such as visiting a museum, visiting an art gallery, visiting a historical site, exploring a maze, or exploring an underground cave. The HMD 100 creates a three-dimensional virtual space corresponding to the experience space 200 based on the experience scenario. At this time, the HMD 100 receives movement information about the user's movement and gaze from the experience space 200 and provides a virtual experience corresponding to the received movement information as content. Preferably, the HMD 100 can provide a more realistic virtual experience to the user by using a dummy object provided in the experience space 200.

체험공간(200)은 복수의 구조물들로 구현되고, 복수의 구조물들은 체험 시나리오 또는 가상 체험 콘텐츠의 기회에 따라 현실에 해당하는 체험공간에 구현되는 실제 구조물에 상응할 수 있다. 체험공간(200)은 구조물들 중 일부분에 사용자의 움직임을 감지하는 센서를 포함하여 사용자의 움직임을 감지한다. 센서는 움직임 센서, 터치 센서, 압력 센서, 방향 센서 등과 같이 사용자의 움직임이나, 시선 방향 등을 측정할 수 있는 다양한 센서들을 포함할 수 있으며, 체험공간(200)의 환경에 따라 카메라를 더 구비할 수 있다.The experience space 200 is implemented with a plurality of structures, and the plurality of structures may correspond to actual structures implemented in the experience space corresponding to reality according to the experience scenario or the opportunity of virtual experience content. The experience space 200 detects the user's movement by including a sensor that detects the user's movement in some of the structures. The sensor may include a variety of sensors that can measure the user's movement or gaze direction, such as a motion sensor, touch sensor, pressure sensor, direction sensor, etc., and may be further equipped with a camera depending on the environment of the experience space 200. You can.

상술된 바와 같이 가상 체험 콘텐츠 제공 시스템(300)은 사용자가 HMD(100)를 착용한 상태에서 체험공간(200)을 이동하면서 실제로 체험하기 어려운 경험을 3차원 가상공간에서 체험할 수 있도록 지원한다. 이때 가상 체험 콘텐츠 제공 시스템(300)은 HMD(100)와 체험공간(200)이 서로 간의 연동을 통해 종래의 가상 체험에서 발생되는 괴리감을 최소화할 수 있다.As described above, the virtual experience content providing system 300 supports the user to experience experiences that are difficult to experience in reality in a three-dimensional virtual space while moving through the experience space 200 while wearing the HMD 100. At this time, the virtual experience content providing system 300 can minimize the sense of disparity that occurs in the conventional virtual experience by linking the HMD 100 and the experience space 200 with each other.

도 2는 본 발명의 실시예에 따른 HMD를 설명하기 위한 블록도이다.Figure 2 is a block diagram for explaining an HMD according to an embodiment of the present invention.

도 1 및 도 2를 참조하면, HMD(100)는 통신부(10), 센서부(20), 마이크(30), 제어부(40), 디스플레이부(50) 및 저장부(60)를 포함한다.Referring to FIGS. 1 and 2 , the HMD 100 includes a communication unit 10, a sensor unit 20, a microphone 30, a control unit 40, a display unit 50, and a storage unit 60.

통신부(10)는 네트워크와 같은 통신망(미도시)을 통해 가상 체험 콘텐츠 제공을 위해 필요한 정보 및 데이터를 송수신한다. 즉 통신부(10)는 체험공간(200)과 통신을 하며, 체험공간(200)의 센서로부터 측정된 사용자의 움직임 및 시선에 대한 움직임 정보를 수신한다. The communication unit 10 transmits and receives information and data necessary for providing virtual experience content through a communication network (not shown) such as a network. That is, the communication unit 10 communicates with the experience space 200 and receives movement information about the user's movement and gaze measured from the sensor of the experience space 200.

센서부(20)는 사용자의 움직임을 측정한다. 센서부(20)는 체험공간(200)에 구비된 센서와 별도로 사용자의 움직임을 측정한다. 이를 통해 센서부(20)는 체험공간(200)에 구비된 센서로부터 감지되지 못한 미세한 사용자의 움직임을 측정할 수 있다. 센서부(20)는 움직임 또는 시선 방향 등을 측정할 수 있는 다양한 센서들을 포함한다.The sensor unit 20 measures the user's movement. The sensor unit 20 measures the user's movement separately from the sensor provided in the experience space 200. Through this, the sensor unit 20 can measure minute movements of the user that are not detected by the sensors provided in the experience space 200. The sensor unit 20 includes various sensors that can measure movement or gaze direction.

마이크(30)는 사용자의 음성을 입력받는다. 마이크(30)는 사용자가 원하는 사용자 입력을 음성을 입력받아 제어부(40)로 전달한다. 예를 들어 마이크(30)는 “볼륨 올려”, “볼륨 내려”, “상세한 설명 해줘” 등과 같은 간단한 사용자 입력을 입력받을 수 있다.The microphone 30 receives the user's voice. The microphone 30 receives the voice input desired by the user and transmits it to the control unit 40. For example, the microphone 30 can receive simple user inputs such as “Turn up the volume,” “Turn down the volume,” and “Please explain in detail.”

제어부(40)는 HMD(100)의 전체적인 제어를 수행한다. 제어부(40)는 사용자와 원거리에 위치하는 실제 공간에 대한 실시간 3차원 가시화 데이터를 생성한다. 여기서 실시간 3차원 가시화 데이터는 로컬이나 원격지에 존재하는 실제 공간을 가상 환경과 하나의 공간으로 정합하기 위해 생성할 수 있다. 예를 들어 제어부(40)는 파리의 루브르 박물관에 있는 모나리자에 대해서 실시간 3차원 가시화 데이터를 생성하고, 모나리자와 멀리 떨어진 한국에 설치된 체험공간(200)에 해당 데이터를 가시화함으로써, 체험공간(200)을 이용하는 사용자가 마치 실제로 모나리자를 보는 듯한 느낌을 받을 수 있도록 한다.The control unit 40 performs overall control of the HMD 100. The control unit 40 generates real-time 3D visualization data about a real space located far from the user. Here, real-time 3D visualization data can be generated to match the real space existing locally or remotely with the virtual environment into one space. For example, the control unit 40 generates real-time 3D visualization data for the Mona Lisa in the Louvre Museum in Paris, and visualizes the data in the experience space 200 installed in Korea, far away from the Mona Lisa, thereby creating the experience space 200. It allows users to feel as if they are actually seeing the Mona Lisa.

이때 제어부(40)는 실제 공간을 실시간으로 캡쳐한 이미지에서 배경과 사람을 분리하고, 배경에 상응하는 3차원 배경 가시화 데이터를 생성한다. 또한 제어부(40)는 사람에 상응하는 3차원 사람 가시화 데이터를 포인트 클라우드(Point Cloud) 데이터의 형태로 생성할 수 있다. 예를 들어 제어부(40)는 모나리자를 실시간으로 캡쳐한 이미지에 모나리자를 실제로 체험하가 캡처된 사람과 배경을 분리할 수 있다. 이때 제어부(40)는 분리된 사람에 상응하는 이미지 영역을 3차원 정보에 포함하고 있는 포인트 클라우드 데이터 형태로 획득할 수 있다. At this time, the control unit 40 separates the background and the person from the image captured in real time of the actual space and generates 3D background visualization data corresponding to the background. Additionally, the control unit 40 can generate 3D human visualization data corresponding to a person in the form of point cloud data. For example, the control unit 40 can actually experience the Mona Lisa in an image captured in real time and separate the captured person from the background. At this time, the control unit 40 may obtain the image area corresponding to the separated person in the form of point cloud data containing 3D information.

제어부(40)는 3차원 가시화 데이터가 생성되면 체험 시나리오에 따라 체험공간(200)에 상응하는 3차원 가상공간을 생성한다. 여기서 3차원 가상공간은 체험 시나리오를 기반으로 복수의 구조물들을 이용하여 구성된 체험공간(200)에 상응하고, 체험공간(200)은 실제 공간에 상응하게 설계되는 체험 시나리오에 따라 형태 및 구조를 변경할 수 있다. 즉 제어부(40)는 체험공간(200)에 해당하는 실제 공간을 3D 공간으로 생성하여 3차원 가상공간을 생성할 수 있다. When 3D visualization data is generated, the control unit 40 creates a 3D virtual space corresponding to the experience space 200 according to the experience scenario. Here, the three-dimensional virtual space corresponds to the experience space 200 constructed using a plurality of structures based on the experience scenario, and the experience space 200 can change its shape and structure according to the experience scenario designed to correspond to the actual space. there is. That is, the control unit 40 can create a 3D virtual space by creating a 3D space from the actual space corresponding to the experience space 200.

제어부(40)는 체험공간(200)으로부터 사용자의 움직임 및 시선에 대한 움직임 정보를 수신하면 수신된 움직임 정보를 이용하여 가상 체험에 관련된 콘텐츠를 생성한다. 여기서 제어부(40)는 움직임 정보를 통해 사용자 객체 데이터를 획득할 수 있다. 제어부(40)는 3차원 가상공간, 실시간 3차원 가시화 데이터를 정합하여 3차원 가상 체험공간을 생성하고, 사용자 객체 데이터, 3차원 가상 체험공간 및 실제 체험공간을 이용하여 사용자에게 실제 공간에 상응하는 실시간 콘텐츠를 생성할 수 있다. 이때 제어부(40)는 사용자 객체 데이터, 3차원 가상 체험공간 및 실제 체험공간을 시간적, 공간적 및 시각적으로 동기화시킬 수 있으며, 이러한 동기화를 통해 사용자는 사용자의 움직임에 대한 이벤트, 사용자의 위치에 따라 제공되는 가상화면, 사용자가 체험하는 시점에 해당하는 실제 공간의 상태 등을 실감나게 전달받을 수 있다.When the control unit 40 receives movement information about the user's movement and gaze from the experience space 200, it creates content related to the virtual experience using the received movement information. Here, the control unit 40 can obtain user object data through movement information. The control unit 40 generates a 3D virtual experience space by matching the 3D virtual space and real-time 3D visualization data, and uses user object data, 3D virtual experience space, and real experience space to provide the user with a 3D virtual experience space corresponding to the real space. Real-time content can be created. At this time, the control unit 40 can synchronize the user object data, the 3D virtual experience space, and the actual experience space temporally, spatially, and visually. Through this synchronization, the user can receive events about the user's movement and provide information according to the user's location. You can realistically receive information about the virtual screen being used and the state of the actual space at the time the user experiences it.

한편 제어부(40)는 사용자가 체험공간(200)에 구비된 더미 오브제를 기 설정된 시간 이상 접촉되는 경우, 사용자의 자세를 트래킹하고, 트래킹된 자세 정보, 더미 오브제의 실제 대상품에 대한 디지털 정보 및 더미 오브제의 정보를 정합하여 형상, 질감 및 무게에 대한 특성이 포함된 촉각적 콘텐츠를 생성한다. 이때 제어부(40)는 움직임 정보 및 자세 정보 중 적어도 하나를 이용하여 사용자의 손이 시각적으로 확인되는 시각적 콘텐츠를 생성한다. 이를 통해 사용자는 단순히 더미 오브제와 관련된 콘텐츠만 시각적으로 확인하는 것이 아니라 자신의 손도 시각적으로 확인함으로써, 가상 체험에서 발생되는 실제 상황과의 괴리감을 최소화할 수 있다. 여기서 기 설정된 시간은 약 3초 내지 10초로 설정할 수 있으며, 이로 인해 스치거나, 단순 접촉과 같은 동작을 필터링할 수 있다.Meanwhile, when the user touches the dummy object provided in the experience space 200 for more than a preset time, the control unit 40 tracks the user's posture and provides the tracked posture information, digital information about the actual object of the dummy object, and By matching the information of the dummy object, tactile content containing characteristics of shape, texture, and weight is created. At this time, the control unit 40 generates visual content that visually confirms the user's hands using at least one of movement information and posture information. Through this, users can not only visually check the content related to the dummy object but also visually check their own hands, minimizing the sense of disconnect from the actual situation that occurs in the virtual experience. Here, the preset time can be set to about 3 to 10 seconds, which allows actions such as grazing or simple contact to be filtered.

상술된 바와 같이 제어부(40)는 체험 시나리오에 따라 가상 체험과 관련된 콘텐츠를 생성할 뿐만 아니라, 마이크(30)로부터 입력된 사용자 입력에 따라 사용자에게 제공되는 콘텐츠를 생성할 수도 있다. As described above, the control unit 40 not only generates content related to the virtual experience according to the experience scenario, but also generates content provided to the user according to the user input received from the microphone 30.

디스플레이부(50)는 가상 체험과 관련된 콘텐츠를 시각적으로 출력한다. 디스플레이부(50)는 제어부(40)에 의해 사용자의 시선에 따라 콘텐츠의 해상도를 조정할 수 있으며, 바람직하게는 사용자의 시선이 머무는 영역을 고해상도로 조정하고, 사용자의 시선이 머물지 않는 영역을 저해상도로 조정할 수 있다. The display unit 50 visually outputs content related to the virtual experience. The display unit 50 can adjust the resolution of the content according to the user's gaze by the control unit 40. Preferably, the area where the user's gaze stays is adjusted to high resolution, and the area where the user's gaze does not stay is adjusted to low resolution. It can be adjusted.

저장부(60)는 HMD(100)를 구동하기 위한 프로그램 또는 알고리즘이 저장된다. 저장부(60)는 체험 시나리오가 저장되고, 움직임 정보, 자세 정보, 더미 오브제의 실제 대상품에 대한 디지털 정보 및 더미 오브제의 정보가 저장될 수 있다. 저장부(60)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기메모리, 자기 디스크 및 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다. The storage unit 60 stores a program or algorithm for driving the HMD 100. The storage unit 60 may store experience scenarios, motion information, posture information, digital information about the actual object of the dummy object, and information about the dummy object. The storage unit 60 includes flash memory type, hard disk type, multimedia card micro type, card type memory (for example, SD or XD memory, etc.), Random Access Memory (RAM), Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), magnetic memory, It may include at least one storage medium of a magnetic disk and an optical disk.

도 3은 본 발명의 실시예에 따른 체험공간을 설명하기 위한 도면이다.Figure 3 is a diagram for explaining an experience space according to an embodiment of the present invention.

도 1 및 도 3을 참조하면, 체험공간(200)은 복수의 구조물들 및 복수의 센서(210a 내지 210i)를 포함한다.Referring to FIGS. 1 and 3 , the experience space 200 includes a plurality of structures and a plurality of sensors 210a to 210i.

복수의 구조물들은 체험 시나리오 또는 가상 체험 콘텐츠의 기획에 따라 현실에 해당하는 체험공간(200)에 구현되는 실제 구조물에 상응한다. 이때 복수의 구조물들은 실제 구조물을 광대역 레이저 스캐닝한 정보를 기반으로 구현할 수 있으며, 목조 구조물, 평면형 구조물, 이동식 회전형 구조물, 터널형 구조물 등 다양한 형태로 구현될 수 있다. 여기서 복수의 구조물들은 체험 시나리오에 따른 동선으로 구성될 수 있으며, 바람직하게는 체험 시나리오의 극적 효과를 보여주기 위해 해당 체험 시나리오의 추천 동선으로 구성될 수 있다.The plurality of structures correspond to actual structures implemented in the experience space 200 corresponding to reality according to the plan of the experience scenario or virtual experience content. At this time, a plurality of structures can be implemented based on information obtained by wideband laser scanning of the actual structure, and can be implemented in various forms such as wooden structures, flat structures, mobile rotating structures, and tunnel-type structures. Here, the plurality of structures may be configured as a movement route according to the experience scenario, and preferably may be configured as a recommended movement route for the experience scenario in order to show the dramatic effect of the experience scenario.

복수의 센서(210a 내지 210i)는 복수의 구조물들 중 일부분에 설치되어 사용자의 움직임을 감지한다. 복수의 센서(210a 내지 210i)는 3차원 가상 공간에서 사용자의 움직임을 반영하기 위한 정보를 센싱한다. 이를 위해 복수의 센서(210a 내지 210i)는 움직임 센서, 터치 센서, 압력 센서, 방향 센서 등과 같이 사용자의 움직임이나, 시선 방향 등을 측정할 수 있는 다양한 센서들을 포함할 수 있으며, 체험공간(200)의 환경에 따라 카메라를 더 구비할 수 있다.A plurality of sensors (210a to 210i) are installed in some of the plurality of structures to detect the user's movement. A plurality of sensors 210a to 210i sense information to reflect the user's movement in a three-dimensional virtual space. To this end, the plurality of sensors 210a to 210i may include various sensors that can measure the user's movement or gaze direction, such as a motion sensor, a touch sensor, a pressure sensor, and a direction sensor, and the experience space 200 Additional cameras may be provided depending on the environment.

도 4는 본 발명의 실시예에 따른 더미 오브제를 사용자가 만진 경우, 수행되는 과정을 설명하기 위한 도면이고, 도 5는 본 발명의 실시예에 따른 더미 오브제를 사용자가 분해하는 경우, 수행되는 과정을 설명하기 위한 도면이며, 도 6은 본 발명의 실시예에 따른 더미 오브제를 제작하는 과정을 설명하기 위한 도면이다.Figure 4 is a diagram illustrating a process performed when a user touches a dummy object according to an embodiment of the present invention, and Figure 5 is a diagram illustrating a process performed when a user disassembles a dummy object according to an embodiment of the present invention. This is a drawing for explaining, and Figure 6 is a drawing for explaining the process of producing a dummy object according to an embodiment of the present invention.

도 1 및 도 4 내지 도 6을 참조하면, HMD(100)는 체험 시나리오에 따른 가상 체험과 관련된 콘텐츠를 제공하되, 사용자가 더미 오브제(220)를 만지거나, 조립 또는 분해하는 이벤트를 발생시키면 해당 이벤트에 맞는 콘텐츠를 제공한다. 여기서 더미 오브제(220)는 실제 대상품과 유사한 무게, 형상, 질감 등을 가지도록 형성될 수 있으며, 이를 위해 실제 대상품을 정밀 스캐닝한 디지털 데이터를 기반으로 3D 프린팅하여 제작할 수 있으나, 이에 한정하지 않는다(도 6).1 and 4 to 6, the HMD 100 provides content related to a virtual experience according to an experience scenario, but when the user generates an event of touching, assembling or disassembling the dummy object 220, the corresponding Provide content tailored to the event. Here, the dummy object 220 can be formed to have a weight, shape, texture, etc. similar to the actual object, and for this purpose, it can be produced by 3D printing based on digital data obtained by precisely scanning the actual object, but is not limited to this. (Figure 6).

사용자가 더미 오브제(220)를 들어 올리거나 내리는 경우, HMD(100)는 더미 오브제(220)를 들어 올리거나 내리는 자세를 트래킹한 정보를 자체적(립모션, 마커 등)으로 센싱하거나, 감지부(210a, 210b)로부터 수신한다. HMD(100)는 트래킹된 자세 정보, 더미 오브제(220)의 실제 대상품에 대한 디지털 정보 및 더미 오브제의 정보를 정합하여 실제 대상품을 들어 올리거나 내리면서 발생되는 하중이 제공되도록 콘텐츠를 생성한다. 이때 HMD(100)는 마커 센서를 이용하여 사용자가 하중을 느낄 수 있도록 지원하고, 립모션 센서를 이용하여 가상현실에서 사용자의 손이 나타나도록 지원할 수 있다. 즉 HMD(100)는 사용자의 손에 별도의 촉각 인지 기능이 있는 장갑을 착용하지 않아도 손의 동작을 센싱할 수 있다. HMD(100)는 사용자가 더미 오브제(220)에 구비된 센서로부터 사용자가 더미 오브제(220)를 올리거나 내리는 속도, 회전시키는 속도 등 다양한 정보를 수신한 후, 수신된 정보를 반영하여 콘텐츠를 생성할 수 있다. 이때 HMD(100)는 더미 오브제(220)를 들어 올리거나 내리는 자세가 트래킹되면 실제 대상품과 관련된 상세정보가 더 출력되도록 콘텐츠를 생성할 수 있다.When the user lifts or lowers the dummy object 220, the HMD 100 senses information tracking the posture of lifting or lowering the dummy object 220 by itself (leap motion, marker, etc.) or uses a detection unit ( It is received from 210a, 210b). The HMD 100 matches the tracked posture information, digital information about the actual object of the dummy object 220, and information on the dummy object to generate content so that the load generated while lifting or lowering the actual object is provided. . At this time, the HMD 100 can support the user to feel the load using a marker sensor, and support the user's hand to appear in virtual reality using a leave motion sensor. In other words, the HMD 100 can sense hand movements even without the user wearing gloves with a separate tactile recognition function. The HMD 100 receives various information such as the speed at which the user raises or lowers the dummy object 220 and the speed at which the user rotates the dummy object 220 from a sensor provided on the dummy object 220, and then generates content by reflecting the received information. can do. At this time, when the posture of lifting or lowering the dummy object 220 is tracked, the HMD 100 may generate content so that more detailed information related to the actual object is output.

또한 HMD(100)는 사용자가 상기 더미 오브제(220)를 분해 또는 조립하는 경우, 더미 오브제(220)를 분해 또는 조립하는 자세를 트래킹한 정보를 자체적(립모션, 마커 등)으로 센싱하거나, 감지부(210a, 210b)로부터 수신한 후, 트래킹된 자세 정보, 더미 오브제(220)의 실제 대상품에 대한 디지털 정보 및 더미 오브제(220)의 정보를 정합하여 실제 대상품을 분해 또는 조립하면서 보여지는 내부 구조가 제공되도록 콘텐츠를 생성한다. 예를 들어 더미 오브제(220)가 본체(220a)와 덮개(220b)가 있는 형태이고, 사용자가 더미 오브제(220)를 만지다가 덮개(220b)를 열어 더미 오브제(220)를 분리하면 HMD(100)는 덮개(220b)를 만지는 사용자의 손을 시각적으로 디스플레이하면서 덮개(220b)에 대한 하중이 느껴지도록 하여 사용자가 가상 체험과 실제 체험 간의 괴리감을 최소화한다. 이때 HMD(100)는 더미 오브제를 분해 또는 조립하는 자세가 트래킹되면 분해 또는 조립과 관련된 상세정보가 더 출력되도록 콘텐츠를 생성할 수 있다.In addition, when the user disassembles or assembles the dummy object 220, the HMD 100 senses or detects information tracking the posture of disassembling or assembling the dummy object 220 by itself (leap motion, marker, etc.). After receiving from the units 210a and 210b, the tracked posture information, the digital information about the actual object of the dummy object 220, and the information of the dummy object 220 are matched to display the image displayed while disassembling or assembling the actual object. Create content to provide internal structure. For example, the dummy object 220 has a body 220a and a cover 220b, and when the user touches the dummy object 220 and opens the cover 220b to separate the dummy object 220, the HMD (100) ) visually displays the user's hand touching the cover 220b and allows the user to feel the load on the cover 220b, thereby minimizing the user's sense of gap between the virtual experience and the actual experience. At this time, when the posture of disassembling or assembling the dummy object is tracked, the HMD 100 may generate content so that more detailed information related to disassembly or assembly is output.

한편 실제 대상품의 내부에 임의의 물질이 있고, 해당 물질이 고유한 냄새를 발생하는 경우, 더미 오브제(220)는 실제 대상품의 내부에 존재하는 물질을 구비하거나, 해당 물질과 유사한 냄새(230), 맛을 발생하는 대체 물질을 구비할 수 있다. 이를 통해 사용자는 더미 오브제(220)의 덮개(220b)를 들어 올릴 때 단순히 촉각적 효과인 하중만을 느끼는 것이 아니라, 후각적 효과인 냄새(230)와 미각적 효과인 맛도 인지함으로써, 복합적인 가상 체험을 수행할 수 있다.On the other hand, if there is a random substance inside the actual object and the substance generates a unique odor, the dummy object 220 has a substance present inside the actual object or has a similar odor to the substance (230 ), alternative substances that generate taste may be provided. Through this, when the user lifts the cover 220b of the dummy object 220, the user not only feels the load, which is a tactile effect, but also perceives the smell 230, which is an olfactory effect, and the taste, which is a gustatory effect, thereby creating a complex virtual experience. The experience can be carried out.

도 7은 본 발명의 실시예에 따른 가상 체험 콘텐츠 제공 방법을 설명하기 위한 순서도이다.Figure 7 is a flowchart for explaining a method of providing virtual experience content according to an embodiment of the present invention.

도 1 및 도 7을 참조하면, 가상 체험 콘텐츠 제공 방법은 시간적, 공간적 제약을 없이 원격지에 존재하는 사용자에게 체험 시나리오를 기반으로 복수개의 구조물들을 이용하여 구성된 체험공간과 상응되는 3차원 가상 공간을 생성하고, 생성된 3차원 가상 공간에서의 가상 체험을 지원한다. 가상 체험 콘텐츠 제공 방법은 디지털 데이터와 더미 오브제를 실시간으로 추적 및 정합하여 시각, 청각, 촉각, 후각, 미각적 감각을 자연스럽게 제공하고, 단순히 더미 오브제를 만지는 체험만을 제공하는 것이 아니라 들어 올리거나 분해 또는 조립과 같은 다양한 체험을 지원할 수 있다.Referring to Figures 1 and 7, the method of providing virtual experience content generates a three-dimensional virtual space corresponding to an experience space constructed using a plurality of structures based on an experience scenario to a user located remotely without temporal or spatial constraints. and supports virtual experiences in the created 3D virtual space. The virtual experience content provision method tracks and matches digital data and dummy objects in real time to naturally provide visual, auditory, tactile, olfactory, and gustatory senses. It does not simply provide the experience of touching the dummy object, but also provides the experience of lifting, disassembling, or It can support various experiences such as assembly.

S110단계에서, HMD(100)는 체험 시나리오에 따라 체험공간(200)에 상응하는 3차원 가상공간을 생성한다. 여기서 3차원 가상공간은 체험 시나리오를 기반으로 복수의 구조물들을 이용하여 구성된 체험공간(200)에 상응하고, 체험공간(200)은 실제 공간에 상응하게 설계되는 체험 시나리오에 따라 형태 및 구조를 변경할 수 있다. 즉 HMD(100)는 체험공간(200)에 해당하는 실제 공간을 3D 공간으로 생성하여 3차원 가상공간을 생성할 수 있다. 여기서 HMD(100)는 S110단계를 수행하기 이전에 사용자와 원거리에 위치하는 실제 공간에 대한 실시간 3차원 가시화 데이터를 생성할 수 있다.In step S110, the HMD 100 creates a three-dimensional virtual space corresponding to the experience space 200 according to the experience scenario. Here, the three-dimensional virtual space corresponds to the experience space 200 constructed using a plurality of structures based on the experience scenario, and the experience space 200 can change its shape and structure according to the experience scenario designed to correspond to the actual space. there is. In other words, the HMD 100 can create a 3D virtual space by creating a 3D space from the actual space corresponding to the experience space 200. Here, the HMD 100 may generate real-time 3D visualization data about a real space located far away from the user before performing step S110.

S120단계에서, HMD(100)는 체험공간(200)으로부터 사용자의 움직임 및 시선에 대한 움직임 정보를 수신하면 수신된 움직임 정보를 이용하여 가상 체험에 관련된 콘텐츠를 생성한다. 여기서 HMD(100)는 움직임 정보를 통해 사용자 객체 데이터를 획득할 수 있다. HMD(100)는 3차원 가상공간, 실시간 3차원 가시화 데이터를 정합하여 3차원 가상 체험공간을 생성하고, 사용자 객체 데이터, 3차원 가상 체험공간 및 실제 체험공간을 이용하여 사용자에게 실제 공간에 상응하는 실시간 콘텐츠를 생성할 수 있다.In step S120, when the HMD 100 receives movement information about the user's movement and gaze from the experience space 200, it generates content related to the virtual experience using the received movement information. Here, the HMD 100 can obtain user object data through movement information. The HMD (100) generates a 3D virtual experience space by matching 3D virtual space and real-time 3D visualization data, and uses user object data, 3D virtual experience space, and real experience space to provide the user with information corresponding to the real space. Real-time content can be created.

S130단계에서, HMD(100)는 사용자가 더미 오브제를 만졌는지 판단한다. HMD(100)는 체험공간(200)으로부터 수신된 움직임 정보를 이용하여 더밍 오브제와의 접촉 상태를 판단하고, 사용자가 더미 오브제를 기 설정된 시간 이상 접촉한 것으로 판단되면 S140단계를 수행하고, 접촉하지 않은 것으로 판단되면 S150단계를 수행한다.In step S130, the HMD 100 determines whether the user has touched the dummy object. The HMD 100 determines the state of contact with the dummy object using the motion information received from the experience space 200, and if it is determined that the user has touched the dummy object for more than a preset time, performs step S140 and does not make contact. If it is determined that it is not, perform step S150.

S140단계에서, HMD(100)는 더미 오브제의 실제 대상품과 관련된 콘텐츠를 제공한다. HMD(100)는 사용자의 자세를 트래킹하거나, 트래킹된 자세 정보를 수신하고, 트래킹된 자세 정보, 더미 오브제의 실제 대상품에 대한 디지털 정보 및 더미 오브제의 정보를 정합하여 형상, 질감 및 무게에 대한 특성이 포함된 촉각적 콘텐츠를 생성한다. 이때 HMD(100)는 움직임 정보 및 자세 정보 중 적어도 하나를 이용하여 사용자의 손이 시각적으로 확인되는 시각적 콘텐츠를 생성한다. 이를 통해 사용자는 단순히 더미 오브제와 관련된 콘텐츠만 시각적으로 확인하는 것이 아니라 자신의 손도 시각적으로 확인함으로써, 가상 체험에서 발생되는 실제 상황과의 괴리감을 최소화할 수 있다. 특히 더미 오브제가 분리가 가능하고, 내부에 실제 대상품의 내부에 존재하는 물질을 구비하거나, 해당 물질과 유사한 냄새, 맛을 발생하는 대체 물질을 구비한 경우, HMD(100)는 더미 오브제가 분리되면 내부 및 내부에 구비된 물질을 콘텐츠에 보여줄 수 있으며, 이와 동시에 사용자는 해당 물질에서 발생되는 냄새 및 맛을 인지하여 복합적인 가상 체험을 제공받을 수 있다.In step S140, the HMD 100 provides content related to the actual object of the dummy object. The HMD (100) tracks the user's posture, receives tracked posture information, and matches the tracked posture information, digital information about the actual object of the dummy object, and information about the dummy object to provide information on shape, texture, and weight. Create tactile content with characteristics. At this time, the HMD 100 uses at least one of movement information and posture information to generate visual content in which the user's hands are visually identified. Through this, users can not only visually check the content related to the dummy object but also visually check their own hands, minimizing the sense of disconnect from the actual situation that occurs in the virtual experience. In particular, if the dummy object is separable and has a material present inside the actual object or a substitute material that generates a similar odor or taste as the material, the HMD 100 separates the dummy object. When this happens, the inside and the materials contained therein can be shown in the content, and at the same time, the user can recognize the smell and taste generated from the material and receive a complex virtual experience.

S150단계에서, HMD(100)는 가상 체험이 종료되었는지 확인한다. HMD(100)는 체험공간(200)으로부터 수신된 움직임 정보를 이용하여 사용자가 복수의 구조물들을 모두 통과하여 가상 체험을 종료하였는지 판단하고, 사용자가 가상 체험을 모두 수행한 것으로 판단되면 시스템을 종료하고, 아직 수행하지 못한 체험이 있다고 판단되면 S120단계를 수행한다.In step S150, the HMD 100 checks whether the virtual experience has ended. The HMD 100 uses the motion information received from the experience space 200 to determine whether the user has passed all of the plurality of structures and ended the virtual experience, and when it is determined that the user has completed the virtual experience, the system is terminated. , If it is determined that there is an experience that has not yet been performed, step S120 is performed.

이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것은 아니며, 기술적 사상의 범주를 이탈함없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다. Although the preferred embodiments have been described and illustrated above to illustrate the technical idea of the present invention, the present invention is not limited to the configuration and operation as shown and described, and does not depart from the scope of the technical idea. Those skilled in the art will appreciate that many changes and modifications are possible to the present invention. Accordingly, all such appropriate changes, modifications and equivalents shall be considered to fall within the scope of the present invention.

10: 통신부
20: 센서부
30: 마이크
40: 제어부
50: 디스플레이부
60: 저장부
100: HMD
200: 체험공간
210: 감지부
220: 더미 오브제
230: 냄새10: Department of Communications
20: sensor unit
30: microphone
40: control unit
50: display unit
60: storage unit
100: HMD
200: Experience space
210: detection unit
220: Dummy object
230: Smell

Claims (7)

사용자의 머리에 착용되고, 상기 사용자에게 시각적, 청각적, 촉각적 가상 체험을 제공하는 HMD(Head Mounted Display); 및
복수의 구조물들로 구현되고, 상기 구조물들 중 일부분에 상기 사용자의 움직임을 감지하는 센서를 포함하는 체험공간;을 포함하고,
상기 HMD는,
체험 시나리오에 따라 상기 체험공간에 상응하는 3차원 가상공간을 생성하고, 상기 체험공간으로부터 상기 사용자의 움직임 및 시선에 대한 움직임 정보를 수신하며, 상기 수신된 움직임 정보에 대응되는 가상 체험과 관련된 콘텐츠로 제공하되,
상기 사용자가 상기 체험공간에 구비된 더미 오브제(dummy object)를 기 설정된 시간 이상 접촉되는 경우, 상기 사용자의 자세를 트래킹하고, 상기 트래킹된 자세 정보, 상기 더미 오브제의 실제 대상품에 대한 디지털 정보 및 상기 더미 오브제의 정보를 정합하여 형상, 질감 및 무게에 대한 특성이 포함된 촉각적 콘텐츠를 제공하고,
상기 사용자가 상기 더미 오브제를 들어 올리거나 내리는 경우, 상기 HMD는,
더미 오브제에 구비된 센서를 통해 상기 더미 오브제를 들어 올리거나 내리는 자세를 트래킹한 후, 상기 트래킹된 자세 정보, 상기 더미 오브제의 실제 대상품에 대한 디지털 정보 및 상기 더미 오브제의 정보를 정합하여 실제 대상품을 들어 올리거나 내리면서 발생되는 하중이 제공되도록 콘텐츠를 생성하되,
마커 센서를 이용하여 사용자가 하중을 느낄 수 있도록 지원하고, 립모션 센서를 이용하여 가상현실에서 사용자의 손이 나타나도록 지원하고,
상기 HMD는
사용자가 상기 더미 오브제를 분해 또는 조립하는 경우, 상기 더미 오브제가 분해 또는 조립되는 자세를 트래킹한 정보를 립모션이나 마커를 통해 자체적으로 센싱하거나 구조물에 설치되어 사용자의 움직임을 감지하는 감지부로부터 수신한 후, 상기 트래킹된 자세 정보, 상기 더미 오브제의 실제 대상품에 대한 디지털 정보 및 상기 더미 오브제의 정보를 정합하여 실제 대상품을 분해 또는 조립하면서 보여지는 내부 구조가 제공되도록 콘텐츠를 생성하는 것을 특징으로 하는 오감을 느끼는 가상 체험 콘텐츠 제공 시스템.A Head Mounted Display (HMD) that is worn on the user's head and provides visual, auditory, and tactile virtual experiences to the user; and
An experience space implemented with a plurality of structures and including a sensor that detects the user's movement in some of the structures,
The HMD is,
According to the experience scenario, a three-dimensional virtual space corresponding to the experience space is created, movement information about the user's movement and gaze is received from the experience space, and content related to the virtual experience corresponding to the received movement information is generated. Provide,
When the user touches a dummy object provided in the experience space for more than a preset time, the user's posture is tracked, and the tracked posture information, digital information about the actual object of the dummy object, and Provide tactile content including characteristics of shape, texture, and weight by matching the information of the dummy object,
When the user lifts or lowers the dummy object, the HMD,
After tracking the posture of lifting or lowering the dummy object through a sensor provided on the dummy object, the tracked posture information, digital information about the actual object of the dummy object, and information on the dummy object are matched to determine the actual object. Create content to provide the load generated by lifting or lowering the product,
A marker sensor is used to help the user feel the load, and a Leap Motion sensor is used to help the user's hands appear in virtual reality.
The HMD is
When a user disassembles or assembles the dummy object, information tracking the disassembly or assembly posture of the dummy object is sensed by itself through Leap Motion or a marker, or is received from a detection unit installed on the structure to detect the user's movement. After that, the tracked posture information, the digital information about the actual object of the dummy object, and the information of the dummy object are matched to generate content so that an internal structure visible while disassembling or assembling the actual object is provided. A virtual experience content provision system that allows you to feel the five senses. 제 1항에 있어서,
상기 HMD는,
상기 움직임 정보 및 상기 자세 정보 중 적어도 하나를 이용하여 사용자의 손이 시각적으로 확인되는 시각적 콘텐츠를 생성하는 것을 특징으로 하는 오감을 느끼는 가상 체험 콘텐츠 제공 시스템.According to clause 1,
The HMD is,
A system for providing virtual experience content that feels the five senses, characterized in that it generates visual content in which the user's hands are visually identified using at least one of the movement information and the posture information. 삭제delete 제 1항에 있어서,
상기 HMD는,
상기 더미 오브제를 들어 올리거나 내리는 자세가 트래킹되면 상기 실제 대상품과 관련된 상세정보가 더 출력되도록 콘텐츠를 생성하는 것을 특징으로 하는 오감을 느끼는 가상 체험 콘텐츠 제공 시스템.According to clause 1,
The HMD is,
A system for providing virtual experience content that feels the five senses, characterized in that it generates content so that detailed information related to the actual object is output when the posture of lifting or lowering the dummy object is tracked. 삭제delete 제 1항에 있어서,
상기 HMD는,
상기 더미 오브제를 분해 또는 조립하는 자세가 트래킹되면 상기 분해 또는 조립과 관련된 상세정보가 더 출력되도록 콘텐츠를 생성하는 것을 특징으로 하는 오감을 느끼는 가상 체험 콘텐츠 제공 시스템. According to clause 1,
The HMD is,
A system for providing virtual experience content that feels the five senses, characterized in that when the posture of disassembling or assembling the dummy object is tracked, content is generated to output more detailed information related to the disassembly or assembly. 제 1항에 있어서,
상기 더미 오브제는,
내부에 실제 대상품의 내부에 존재하는 물질을 구비하거나, 해당 물질과 유사한 냄새, 맛을 발생하는 대체 물질을 구비하는 것을 특징으로 하는 오감을 느끼는 가상 체험 콘텐츠 제공 시스템.
According to clause 1,
The dummy object is,
A system for providing virtual experience content that feels the five senses, characterized by having a substance present inside the actual object or an alternative substance that produces a similar odor and taste as the substance.
KR1020200155593A 2020-11-19 2020-11-19 System for providing virtual experience contents to feel five senses KR102649487B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200155593A KR102649487B1 (en) 2020-11-19 2020-11-19 System for providing virtual experience contents to feel five senses

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200155593A KR102649487B1 (en) 2020-11-19 2020-11-19 System for providing virtual experience contents to feel five senses

Publications (2)

Publication Number Publication Date
KR20220068622A KR20220068622A (en) 2022-05-26
KR102649487B1 true KR102649487B1 (en) 2024-03-21

Family

ID=81809792

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200155593A KR102649487B1 (en) 2020-11-19 2020-11-19 System for providing virtual experience contents to feel five senses

Country Status (1)

Country Link
KR (1) KR102649487B1 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101262848B1 (en) 2009-12-16 2013-05-09 한국전자통신연구원 Apparatus of reconfigurable platform for virtual reality based training simulator
KR20140113222A (en) * 2013-03-16 2014-09-24 차현진 Welding Training Device based on Virtual Reality
KR20190041386A (en) * 2017-10-12 2019-04-22 언차티드브이알 인코퍼레이티드 Multiple participant virtual reality attraction
KR102021851B1 (en) * 2017-11-23 2019-11-04 한길씨앤씨 주식회사 Method for processing interaction between object and user of virtual reality environment
KR102085129B1 (en) * 2019-10-25 2020-03-04 주식회사 테크노블러드코리아 Method for providing virtual reality advertisement

Also Published As

Publication number Publication date
KR20220068622A (en) 2022-05-26

Similar Documents

Publication Publication Date Title
US11157070B2 (en) Massive simultaneous remote digital presence world
CN110716645A (en) Augmented reality data presentation method and device, electronic equipment and storage medium
JP7079231B2 (en) Information processing equipment, information processing system, control method, program
CN105934227B (en) Audio navigation auxiliary
US20170132845A1 (en) System and Method for Reducing Virtual Reality Simulation Sickness
KR102125865B1 (en) Method for providing virtual experience contents and apparatus using the same
CN105339867A (en) Object display with visual verisimilitude
US20160371888A1 (en) Interactive information display
CN109696961A (en) Historical relic machine & equipment based on VR technology leads reward and realizes system and method, medium
KR20160020136A (en) Training system for treating disaster using virtual reality and role playing game
CN112673400A (en) Avatar animation
JP6737942B1 (en) Content distribution system, content distribution method, and content distribution program
US20200349766A1 (en) Methods and Systems for Viewing and Editing AR/VR Computer-based Designs Allowing Impaired Vision Simulation
KR102009400B1 (en) Method for providing realistic type image contents and server using the same
KR102649487B1 (en) System for providing virtual experience contents to feel five senses
KR101681501B1 (en) System and method for creating face avatar
KR20180098936A (en) HMD Working VR(virtual reality) Contents experience system based on Position Sensors
JP5864789B1 (en) Railway model viewing device, method, program, dedicated display monitor, scene image data for composition
CN112419509A (en) Virtual object generation processing method and system and VR glasses thereof
KR20170045678A (en) Avatar device using head mounted display
EP3534241A1 (en) Method, apparatus, systems, computer programs for enabling mediated reality
Halik et al. Extended reality (XR)
KR20120012292A (en) The sightseeing experiencing simulator device and the using method thereof
WO2023017584A1 (en) Virtual space experience system and complex space experience system
WO2023032264A1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right