KR20210025393A - Interaction system and method reflecting the real world - Google Patents

Interaction system and method reflecting the real world Download PDF

Info

Publication number
KR20210025393A
KR20210025393A KR1020190105401A KR20190105401A KR20210025393A KR 20210025393 A KR20210025393 A KR 20210025393A KR 1020190105401 A KR1020190105401 A KR 1020190105401A KR 20190105401 A KR20190105401 A KR 20190105401A KR 20210025393 A KR20210025393 A KR 20210025393A
Authority
KR
South Korea
Prior art keywords
content
sensory
user
body information
interactive content
Prior art date
Application number
KR1020190105401A
Other languages
Korean (ko)
Inventor
강지영
Original Assignee
단국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 단국대학교 산학협력단 filed Critical 단국대학교 산학협력단
Priority to KR1020190105401A priority Critical patent/KR20210025393A/en
Publication of KR20210025393A publication Critical patent/KR20210025393A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications

Abstract

An interaction system of the present invention may comprise: an interactive contents producing device producing interactive contents by processing virtual reality contents and real object information based on the virtual reality contents as sensory contents; an interactive contents showing device showing interactive contents produced by processing the sensory contents; and a wearable device attached to or worn on the body of a user, showing the produced interactive contents to deliver the sensory contents of the interactive contnets to the user and measuring the body information of the user. Accordingly, the present invention has an effect of providing a user with a high immersion effect through contents, which may interact with real objects.

Description

현실세계가 반영된 인터랙션 시스템 및 방법{Interaction system and method reflecting the real world}Interaction system and method reflecting the real world

본 발명은 인터랙션 시스템 및 방법에 관한 것으로, 더욱 상세하게는 현실세계에 존재하는 실제물체 정보를 인터랙션 콘텐츠에 반영하여 이를 상영하는 현실세계가 반영된 인터랙션 시스템 및 방법에 관한 것이다.The present invention relates to an interaction system and method, and more particularly, to an interaction system and method in which the real world is reflected by reflecting information on a real object existing in the real world to the interaction content and screening it.

지금 세계는 가상현실 분야에 대한 관심이 매우 뜨겁다. 가상현실 기술은 이미 1940년대 비행시뮬레이터를 시초로 하여 꾸준히 연구되어 왔지만, 최근의 관련 하드웨어 및 소프트웨어 기술의 발달로 착용형 가상현실 디바이스인 HMD(Head Mounted Display)가 상용화되면서 미래의 콘텐츠 플랫폼으로 주목을 받고 있다. The world is very interested in the field of virtual reality. Virtual reality technology has been steadily researched since the flight simulator in the 1940s, but with the recent development of related hardware and software technologies, HMD (Head Mounted Display), a wearable virtual reality device, has been commercialized, drawing attention as a future content platform. Are receiving.

그러나 빠르게 성장할 것으로 기대됐던 가상현실 시장은 그 성장세가 주춤하고 있다. 이는 하드웨어 및 관련 기술만을 중심으로 개발된 시장의 불균형으로 인해 아직 가상현실 시장이 확장해나갈 수 있는 가상현실 생태계가 확립되지 못하였기 때문이다. 특히 가상현실 디바이스를 중심으로 빠르게 성장한 시장을 위한 콘텐츠가 부족하다는 것이 가상현실 시장의 문제로 대두되고 있다. However, the virtual reality market, which was expected to grow rapidly, is slowing down. This is because a virtual reality ecosystem in which the virtual reality market can expand has not yet been established due to an imbalance in the market developed only with hardware and related technologies. In particular, the lack of content for a rapidly growing market centered on virtual reality devices is emerging as a problem in the virtual reality market.

이와 관련하여, 가상현실 인터랙션 콘텐츠가 결합된 웨어러블 기기는 사용자에게 진동 등 제한된 단순한 피드백만을 전달한다. 이러한 단순한 피드백은 사용자에게 어떠한 감성적 효과를 주는지에 대한 검증이 이루어지지 않았으며, 실제 오브젝트들과 상호작용하지 않는 현실세계와 차단된 공간에서 이루어진 경우가 대부분이었다.In this regard, the wearable device combined with the virtual reality interaction content only delivers limited simple feedback such as vibration to the user. This simple feedback has not been verified as to what kind of emotional effect it gives to the user, and most of the cases were made in a space that is blocked from the real world where real objects do not interact.

이에, 사용자와 인터랙션을 하는 가상현실 기술에 있어서 실제 오브젝트들과 상호작용이 가능한 콘텐츠를 통해 인터랙션의 몰입효과를 높이고, 이러한 콘텐츠가 사용자에게 어떤 영향을 미치는지에 관한 검증을 할 수 있는 기술을 개발할 필요성이 있다.Therefore, in virtual reality technology that interacts with users, it is necessary to develop a technology that can increase the immersion effect of interaction through content that can interact with real objects, and verify how such content affects users. There is this.

한국공개특허공보 제10-2019-0080530호Korean Patent Application Publication No. 10-2019-0080530 한국등록특허공보 제10-0634494호Korean Registered Patent Publication No. 10-0634494 미국공개특허공보 제10-2018-0190087호US Patent Publication No. 10-2018-0190087

이에 본 발명은 상기와 같은 제반 사항을 고려하여 제안된 것으로, 실제 오브젝트들과 상호작용이 가능한 콘텐츠를 통해 사용자에게 높은 몰입효과를 제공하는 것을 목적으로 한다.Accordingly, the present invention has been proposed in consideration of the above matters, and an object of the present invention is to provide a high immersion effect to a user through content that can interact with real objects.

또한, 본 발명은 감각 전달을 받은 사용자의 감성 반응을 동시에 측정하여 해당 감각 자극이 사용자에게 긍정적인 영향을 주는지 또는 부정적인 영향을 주는지 등을 평가함으로써, 콘텐츠 제작의 기초자료로 활용될 수 있도록 하는 것을 목적으로 한다.In addition, the present invention measures the emotional response of a user who has received sensory transmission at the same time and evaluates whether the sensory stimulus has a positive or negative effect on the user, so that it can be used as basic data for content creation. The purpose.

또한, 본 발명은 가상현실 콘텐츠에서 사용자에게 다양한 감각적 효과를 전달하는 것을 목적으로 한다.In addition, the present invention aims to deliver various sensory effects to users in virtual reality content.

또한, 본 발명은 웨어러블 기기를 손에 부착 또는 착용이 가능한 장갑 형태로 제작함으로써, 인체의 감각기관 중 가장 정밀한 손의 촉각정보를 신체정보로 측정하는 것을 목적으로 한다.In addition, an object of the present invention is to measure the most precise tactile information of the hand among the sense organs of the human body as body information by manufacturing a wearable device in the form of a glove that can be attached or worn on the hand.

또한, 본 발명은 한 손에는 자극입력부, 다른 한 손에는 측정부로 분리한 웨어러블 기기를 제작함으로써, 가상현실 환경에서 자유로운 인터랙션이 가능하도록 하는 것을 목적으로 한다.In addition, an object of the present invention is to make a wearable device separated by a stimulus input unit in one hand and a measurement unit in the other hand, thereby enabling free interaction in a virtual reality environment.

또한, 웨어러블 감성 시스템을 통하여 가상현실 환경의 감각 자극의 효과를 실시간으로 측정가능 하여 사용자의 감성 반응을 알 수 있기 때문에 향후 가상현실 영화, 게임, 교육, 시뮬레이션, 의료, 재활 등 다양한 분야에 효과적으로 활용할 수 있다.In addition, through the wearable sensibility system, it is possible to measure the effect of sensory stimulation in the virtual reality environment in real time, so that the user's emotional response can be known. I can.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해할 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.

상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 현실세계가 반영된 인터랙션 시스템은 가상현실 콘텐츠 및 이를 기초로 한 실제물체 정보를 감각 콘텐츠로 가공하여 인터랙티브 콘텐츠를 제작하는 인터랙티브 콘텐츠 제작 기기, 상기 감각 콘텐츠를 가공하여 제작된 인터랙티브 콘텐츠를 상영하는 인터랙티브 콘텐츠 상영 기기, 상기 제작된 인터랙티브 콘텐츠를 상영하는 사용자의 신체에 부착 또는 착용되어, 상기 인터랙티브 콘텐츠의 감각 콘텐츠를 상기 사용자에게 전달하고 상기 사용자의 신체정보를 측정하는 웨어러블 기기를 포함할 수 있다.In order to achieve the above object, the interaction system reflecting the real world according to the technical idea of the present invention is an interactive content production device that produces interactive content by processing virtual reality content and real object information based on it into sensory content. An interactive content screening device that displays interactive content produced by processing sensory content, and is attached or worn on the body of a user who screens the created interactive content to deliver the sensory content of the interactive content to the user, and the user's body It may include a wearable device that measures information.

이 때 상기 인터랙티브 콘텐츠 제작 기기는 가상현실 콘텐츠 및 이를 기초로 한 실제물체 정보를 감각 콘텐츠로 가공하는 감각 콘텐츠 가공부, 상기 가공된 감각 콘텐츠를 상기 가상현실 콘텐츠에 반영하여 인터랙티브 콘텐츠를 제작하는 인터랙티브 콘텐츠 제작부를 포함할 수 있다.At this time, the interactive content production device is a sensory content processing unit that processes virtual reality content and real object information based on it into sensory content, and interactive content that produces interactive content by reflecting the processed sensory content to the virtual reality content. It may include a manufacturing unit.

상기 웨어러블 기기는 상기 제작된 인터랙티브 콘텐츠의 감각 콘텐츠를 기초로 상기 제작된 인터랙티브 콘텐츠를 상영하는 사용자에게 감각적 효과를 전달하는 감각 콘텐츠 전달부, 상기 감각적 효과가 전달된 사용자로부터 신체정보를 측정하는 신체정보 측정부를 포함할 수 있다.The wearable device includes a sensory content delivery unit that delivers a sensory effect to a user who displays the created interactive content based on sensory content of the created interactive content, and body information that measures body information from the user to which the sensory effect is transmitted. It may include a measuring unit.

상기 감각 콘텐츠 전달부는 상기 사용자의 양손 중 어느 하나의 손에 부착 또는 착용되고, 상기 신체정보 측정부는 상기 사용자의 다른 하나의 손에 부착 또는 착용될 수 있다. The sensory content delivery unit may be attached or worn on either hand of the user's both hands, and the body information measurement unit may be attached or worn on the other hand of the user.

상기 감각 콘텐츠 전달부는 전기자극 센서, 열전도 센서, 초전도 센서 및 진동 센서 중 적어도 어느 하나 이상의 센서를 포함하여 상기 사용자에게 감각적 효과를 전달할 수 있다.The sensory content delivery unit may include at least one or more of an electric stimulation sensor, a thermal conductivity sensor, a superconducting sensor, and a vibration sensor to deliver a sensory effect to the user.

상기 감각 콘텐츠 전달부는 초음파 센서 및 관성측정 센서(Inertial Measurement Unit Sensor) 중 적어도 어느 하나 이상의 센서를 포함하여 상기 사용자에게 상기 인터랙티브 콘텐츠에 등장하는 실제물체 정보와 교감이 가능한 감각적 효과를 전달할 수 있다. The sensory content delivery unit may include at least one or more of an ultrasonic sensor and an inertial measurement unit sensor to deliver sensory effects capable of communicating with real object information appearing in the interactive content to the user.

상기 신체정보 측정부는 심박 센서 및 GSR 센서 중 적어도 어느 하나 이상의 센서를 포함하여 상기 사용자의 신체정보를 측정할 수 있다.The body information measuring unit may include at least one or more of a heart rate sensor and a GSR sensor to measure body information of the user.

한편, 상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 현실세계가 반영된 인터랙션 시스템은 상기 웨어러블 기기로부터 측정된 사용자의 신체정보를 분석하여 상기 사용자 또는 상기 인터랙티브 콘텐츠 중 적어도 어느 하나 이상의 반응평가 결과를 출력하는 신체정보 분석 기기를 더 포함할 수 있다.Meanwhile, in order to achieve the above object, the interaction system reflecting the real world according to the technical idea of the present invention analyzes the user's body information measured from the wearable device to evaluate the reaction of at least one of the user or the interactive content. It may further include a body information analysis device that outputs the result.

상기 신체정보 분석 기기는 상기 심박 센서 및 GSR 센서 중 적어도 어느 하나 이상의 센서를 통해 측정된 상기 사용자의 신체정보에 대한 수치를 상기 제작된 인터랙티브 콘텐츠가 상영되는 일정 구간의 시간대별로 합산하여, 상기 합산된 수치의 시간대별 변화량을 기초로 신체정보를 분석할 수 있다.The body information analysis device adds the values of the user's body information measured through at least one of the heart rate sensor and the GSR sensor for each time period of a predetermined section in which the produced interactive content is displayed, and the summed Body information can be analyzed based on the amount of change over time.

상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 현실세계가 반영된 인터랙션 방법은 인터랙티브 콘텐츠 제작기기에서 가상현실 콘텐츠 및 이를 기초로 한 실제물체 정보를 감각 콘텐츠로 가공하여 인터랙티브 콘텐츠를 제작하는 인터랙티브 콘텐츠 제작단계, 인터랙티브 콘텐츠 상영 기기에서 상기 감각 콘텐츠를 가공하여 제작된 인터랙티브 콘텐츠를 상영하는 인터랙티브 콘텐츠 상영단계, 웨어러블 기기에서 상기 제작된 인터랙티브 콘텐츠를 상영하는 사용자에게 상기 제작된 인터랙티브 콘텐츠의 감각 콘텐츠를 기초로 한 감각적 효과를 전달하는 감각 콘텐츠 전달단계, 웨어러블 기기에서 상기 감각적 효과가 전달된 사용자로부터 신체정보를 측정하는 신체정보 측정단계를 포함할 수 있다.In order to achieve the above object, the interaction method reflecting the real world according to the technical idea of the present invention is to produce interactive contents by processing virtual reality contents and real object information based thereon into sensory contents in an interactive contents production device. Content production step, interactive content screening step of screening interactive content produced by processing the sensory content on an interactive content screening device, based on sensory content of the produced interactive content to a user who screens the produced interactive content on a wearable device A sensory content delivery step of delivering one sensory effect, and a body information measurement step of measuring body information from a user to which the sensory effect is transmitted in a wearable device.

상기 인터랙티브 콘텐츠 제작 단계는 감각 콘텐츠 가공부에서 가상현실 콘텐츠 및 이를 기초로 한 실제물체 정보를 감각 콘텐츠로 가공하는 감각 콘텐츠 가공단계, 인터랙티브 콘텐츠 제작부에서 상기 가공된 감각 콘텐츠를 상기 가상현실 콘텐츠에 반영하여 인터랙티브 콘텐츠를 제작하는 인터랙티브 콘텐츠 제작단계를 포함할 수 있다.The interactive content production step includes a sensory content processing step of processing virtual reality content and real object information based on the virtual reality content into sensory content in a sensory content processing unit, and reflecting the processed sensory content in the virtual reality content by an interactive content production unit. It may include an interactive content production step of producing interactive content.

상기 감각 콘텐츠 전달단계는 상기 웨어러블 기기의 어느 하나의 모듈이 상기 사용자의 양손 중 어느 하나의 손에 부착 또는 착용되어 상기 사용자에게 감각적 효과를 전달하고, 상기 신체정보 측정단계는 상기 웨어러블 기기의 다른 하나의 모듈이 상기 사용자의 다른 하나의 손에 부착 또는 착용되어 상기 사용자의 신체정보를 측정할 수 있다.In the sensory content delivery step, any one module of the wearable device is attached or worn on one of the user's hands to transmit a sensory effect to the user, and the body information measuring step is the other one of the wearable device. A module of may be attached or worn on the user's other hand to measure the user's body information.

상기 감각 콘텐츠 전달단계는 전기자극 센서, 열전도 센서, 초전도 센서 및 진동 센서 중 적어도 어느 하나 이상의 센서를 포함하여 상기 사용자에게 감각적 효과를 전달할 수 있다.The sensory content delivery step may include at least one of an electric stimulation sensor, a thermal conductivity sensor, a superconducting sensor, and a vibration sensor to deliver a sensory effect to the user.

상기 감각 콘텐츠 전달단계는 초음파 센서 및 관성측정 센서(Inertial Measurement Unit Sensor) 중 적어도 어느 하나 이상의 센서를 포함하여 상기 사용자에게 상기 인터랙티브 콘텐츠에 등장하는 실제물체 정보와 교감이 가능한 감각적 효과를 전달할 수 있다. The sensory content delivery step may include at least one or more of an ultrasonic sensor and an inertial measurement unit sensor to deliver a sensory effect capable of interacting with real object information appearing in the interactive content to the user.

상기 신체정보 측정단계는 심박 센서 및 GSR 센서 중 적어도 어느 하나 이상의 센서를 포함하여 상기 사용자의 신체정보를 측정할 수 있다.In the step of measuring the body information, the user's body information may be measured by including at least one or more of a heart rate sensor and a GSR sensor.

한편, 상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 현실세계가 반영된 인터랙션 방법은 상기 신체정보 측정단계로부터 측정된 사용자의 신체정보를 분석하여 상기 사용자 또는 상기 인터랙티브 콘텐츠 중 적어도 어느 하나 이상의 반응평가 결과를 출력하는 신체정보 분석단계를 더 포함할 수 있다/On the other hand, in order to achieve the above object, the interaction method reflecting the real world according to the technical idea of the present invention analyzes the user's body information measured from the body information measurement step, and analyzes at least one of the user or the interactive content. The body information analysis step of outputting the response evaluation result may be further included./

상기 신체정보 분석단계는 상기 심박 센서 및 GSR 센서 중 적어도 어느 하나 이상의 센서를 통해 측정된 상기 사용자의 신체정보에 대한 수치를 상기 제작된 인터랙티브 콘텐츠가 상영되는 일정 구간의 시간대별로 합산하여, 상기 합산된 수치의 시간대별 변화량을 기초로 신체정보를 분석할 수 있다.In the step of analyzing the body information, the values of the user's body information measured through at least one of the heart rate sensor and the GSR sensor are summed for each time period in a predetermined section in which the produced interactive content is displayed, and the summed Body information can be analyzed based on the amount of change over time.

이상에서 설명한 바와 같은 현실세계가 반영된 인터랙션 시스템 및 방법에 따르면, According to the interaction system and method reflecting the real world as described above,

첫째, 실제 오브젝트들과 상호작용이 가능한 콘텐츠를 통해 사용자에게 높은 몰입효과를 제공할 수 있는 효과를 가진다.First, it has the effect of providing a high immersion effect to users through content that can interact with real objects.

둘째, 감각 전달을 받은 사용자의 감성 반응을 동시에 측정하여 해당 감각 자극이 사용자에게 긍정적인 영향을 주는지 또는 부정적인 영향을 주는지 등을 평가함으로써, 콘텐츠 제작의 기초자료로 활용될 수 있는 효과를 가진다.Second, it has an effect that can be used as basic data for content creation by simultaneously measuring the emotional response of the user who has received sensory transmission and evaluating whether the corresponding sensory stimulus has a positive or negative effect on the user.

셋째, 가상현실 콘텐츠에서 사용자에게 다양한 감각적 효과를 전달할 수 있는 효과를 가진다.Third, it has the effect of delivering various sensory effects to users in virtual reality content.

넷째, 웨어러블 기기를 손에 부착 또는 착용이 가능한 장갑 형태로 제작함으로써, 인체의 감각기관 중 가장 정밀한 손의 촉각정보를 신체정보로 측정할 수 있는 효과를 가진다.Fourth, by manufacturing the wearable device in the form of a glove that can be attached or worn on the hand, it has the effect of measuring the most precise tactile information of the hand among the sense organs of the human body as body information.

다섯째, 한 손에는 자극입력부, 다른 한 손에는 측정부로 분리한 웨어러블 기기를 제작함으로써, 가상현실 환경에서 자유로운 인터랙션이 가능한 효과를 가진다.Fifth, by manufacturing a wearable device separated by a stimulus input unit in one hand and a measurement unit in the other hand, free interaction is possible in a virtual reality environment.

여섯째, 이러한 웨어러블 감성 시스템을 통하여 가상현실 환경의 감각 자극의 효과를 실시간으로 측정가능 하여 사용자의 감성 반응을 알 수 있기 때문에 향후 가상현실 영화, 게임, 교육, 시뮬레이션, 의료, 재활 등 다양한 분야에 효과적으로 활용할 수 있다.Sixth, through this wearable sensibility system, it is possible to measure the effect of sensory stimulation in the virtual reality environment in real time, so that the user's emotional response can be known. Can be utilized.

도 1은 본 발명의 실시예에 따른 현실세계가 반영된 인터랙션 시스템을 나타낸 구성도.
도 2는 본 발명의 실시예에 따른 현실세계가 반영된 인터랙션 방법을 나타낸 순서도.
도 3은 도 2에 따른 인터랙티브 콘텐츠 제작 단계(S100)을 나타낸 순서도.
도 4는 본 발명의 실시예에 따른 장갑 형태의 웨어러블 기기를 나타낸 도면.1 is a block diagram showing an interaction system reflecting the real world according to an embodiment of the present invention.
2 is a flow chart showing an interaction method reflecting the real world according to an embodiment of the present invention.
3 is a flow chart showing the interactive content production step (S100) according to FIG.
4 is a view showing a wearable device in the form of a glove according to an embodiment of the present invention.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. 본 발명의 특징 및 이점들은 첨부 도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명의 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다. 또한 본 발명과 관련된 공지 기능 및 그 구성에 대한 구체적인 설명은 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 구체적인 설명을 생략하였음에 유의해야할 것이다.In order to fully understand the present invention, operational advantages of the present invention, and objects achieved by the implementation of the present invention, reference should be made to the accompanying drawings illustrating preferred embodiments of the present invention and the contents described in the accompanying drawings. Features and advantages of the present invention will become more apparent from the following detailed description based on the accompanying drawings. Prior to this, terms or words used in the present specification and claims are based on the principle that the inventor can appropriately define the concept of the term in order to explain it in the best way of his own invention. It should be interpreted as a corresponding meaning and concept. In addition, when it is determined that the detailed description of known functions and configurations thereof related to the present invention may unnecessarily obscure the subject matter of the present invention, it should be noted that the detailed description thereof has been omitted.

도 1은 본 발명의 실시예에 따른 현실세계가 반영된 인터랙션 시스템을 나타낸 구성도이다.1 is a block diagram showing an interaction system reflecting the real world according to an embodiment of the present invention.

먼저 도 1을 참조하면, 본 발명의 실시예에 따른 현실세계가 반영된 인터랙션 시스템은 인터랙션 콘텐츠 제작 기기(100), 인터랙티브 콘텐츠 상영 기기(200) 및 웨어러블 기기(300)를 포함할 수 있다.First, referring to FIG. 1, an interaction system reflecting the real world according to an embodiment of the present invention may include an interaction content production device 100, an interactive content screening device 200, and a wearable device 300.

인터랙션 콘텐츠 제작 기기(100)는 가상현실 콘텐츠 및 이를 기초로 한 실제물체 정보를 감각 콘텐츠로 가공하여 인터랙티브 콘텐츠를 제작할 수 있다.The interaction content production device 100 may produce interactive content by processing virtual reality content and real object information based on the virtual reality content into sensory content.

보다 상세하게, 인터랙션 콘텐츠 제작 기기(100)는 감각 콘텐츠 가공부(110) 및 인터랙티브 콘텐츠 제작부(130)를 포함할 수 있다.In more detail, the interactive content production device 100 may include a sensory content processing unit 110 and an interactive content production unit 130.

감각 콘텐츠 가공부(110)는 가상현실 콘텐츠 및 이를 기초로 한 실제물체 정보를 감각 콘텐츠로 가공할 수 있다. 이는 현실세계에 있는 실제물체, 즉 실제 오브젝트들과 상호작용이 가능하도록 감각 콘텐츠로 가공하기 위한 구성요소라 할 수 있다.The sensory content processing unit 110 may process virtual reality content and real object information based on the virtual reality content into sensory content. This can be said to be a component for processing into sensory content to enable interaction with real objects in the real world, that is, real objects.

인터랙티브 콘텐츠 제작부(130)는 상기 감각 콘텐츠 가공부(110)로부터 가공된 감각 콘텐츠를 상기 가상현실 콘텐츠에 반영하여 인터랙티브 콘텐츠를 제작할 수 있다. 이는 현실세계에 있는 실제물체, 즉 실제 오브젝트에 기초한 감각 콘텐츠가 반영된 가상현실 콘텐츠를 상영하는 사용자에게 높은 몰입효과를 제공하기 위한 인터랙티브 콘텐츠 제작 구성요소라 할 수 있다.The interactive content creation unit 130 may reflect the sensory content processed by the sensory content processing unit 110 to the virtual reality content to produce interactive content. This can be said to be an interactive content creation component to provide a high immersion effect to users who screen real objects in the real world, that is, virtual reality content reflecting sensory content based on real objects.

인터랙티브 콘텐츠 상영 기기(200)는 상기 인터랙션 콘텐츠 제작 기기(100)에 의해 제작된 인터랙티브 콘텐츠를 사용자에게 상영할 수 있다.The interactive content screening device 200 may screen the interactive content produced by the interactive content producing device 100 to a user.

웨어러블 기기(300)는 상기 인터랙션 콘텐츠 제작 기기(100)에 의해 제작된 인터랙티브 콘텐츠를 상영하는 사용자의 신체에 부착 또는 착용되어, 상기 인터랙티브 콘텐츠의 감각 콘텐츠를 사용자에게 전달할 수 있다.The wearable device 300 may be attached or worn on the body of a user who displays the interactive content produced by the interactive content production device 100 to deliver the sensory content of the interactive content to the user.

그리고, 웨어러블 기기(300)는 상기 인터랙티브 콘텐츠의 감각 콘텐츠가 전달된 사용자의 신체정보를 측정할 수 있다.In addition, the wearable device 300 may measure body information of a user to which sensory content of the interactive content is transmitted.

이를 위해 웨어러블 기기(300)는 감각 콘텐츠 전달부(310) 및 신체정보 측정부(330)를 포함할 수 있다.To this end, the wearable device 300 may include a sensory content delivery unit 310 and a body information measurement unit 330.

감각 콘텐츠 전달부(310)는 상기 인터랙션 콘텐츠 제작 기기(100)에 의해 제작된 인터랙티브 콘텐츠의 감각 콘텐츠를 기초로 상기 제작된 인터랙티브 콘텐츠를 상영하는 사용자에게 감각적 효과를 전달할 수 있다. 이는 사용자가 가상현실 콘텐츠를 통해 실제물체와의 상호작용을 감각적 효과로 전달받도록 하여, 사용자에게 높은 몰입효과를 제공하기 위한 구성요소라 할 수 있다.The sensory content delivery unit 310 may deliver a sensory effect to a user who screens the created interactive content based on the sensory content of the interactive content produced by the interactive content production device 100. This can be said to be a component for providing a high immersion effect to the user by allowing the user to receive the interaction with the real object through the virtual reality content as a sensory effect.

신체정보 측정부(330)는 상기 감각 콘텐츠 전달부(310)에 의해 감각적 효과가 전달된 사용자로부터 신체정보를 측정할 수 있다. 이는 감각 전달을 받은 사용자의 감성 반응을 동시에 측정하여 해당 감각 자극이 사용자에게 긍정적인 영향을 주는지 또는 부정적인 영향을 주는지 판단하기 위한 신체정보를 측정하기 위한 구성요소라 할 수 있다.The body information measurement unit 330 may measure body information from a user to whom a sensory effect is transmitted by the sensory content delivery unit 310. This can be said to be a component for measuring body information for determining whether the sensory stimulus has a positive or negative effect on the user by simultaneously measuring the emotional response of the user who has received sensory transmission.

이 때 웨어러블 기기(300)는 도 4에 도시된 바와 같이, 손에 부착 또는 착용이 가능한 장갑 형태로 제작할 수 있다. 이는 인체의 감각기관 중 가장 정밀한 손의 촉각정보를 신체정보로 측정할 수 있는 효과를 가진다.In this case, the wearable device 300 may be manufactured in the form of a glove that can be attached or worn on a hand, as shown in FIG. 4. This has the effect of measuring the most precise tactile information of the hand among the human body's sensory organs as body information.

이에 웨어러블 기기(300)의 감각 콘텐츠 전달부(310)는 사용자의 양손 중 어느 하나의 손에 부착 또는 착용되고, 신체정보 측정부(330)는 사용자의 다른 하나의 손에 부착 또는 착용될 수 있다. 이는 한 손에는 자극입력부, 다른 한 손에는 측정부로 분리한 웨어러블 기기를 제작함으로써, 가상현실 환경에서 자유로운 인터랙션이 가능한 효과를 가진다.Accordingly, the sensory content delivery unit 310 of the wearable device 300 may be attached or worn on one of the user's hands, and the body information measurement unit 330 may be attached or worn on the other hand of the user. . This has the effect of allowing free interaction in a virtual reality environment by manufacturing a wearable device separated by a stimulus input unit in one hand and a measurement unit in the other hand.

감각 콘텐츠 전달부(310)는 전기자극 센서, 열전도 센서, 초전도 센서 및 진동 센서 중 적어도 어느 하나 이상의 센서를 포함하여 사용자에게 감각적 효과를 전달할 수 있다. 이는 가상현실 콘텐츠에서 사용자에게 다양한 감각적 효과를 전달하기 위한 특징이라 할 수 있다.The sensory content delivery unit 310 may include at least one or more of an electric stimulation sensor, a thermal conductivity sensor, a superconducting sensor, and a vibration sensor to deliver a sensory effect to a user. This can be said to be a characteristic for delivering various sensory effects to users in virtual reality content.

사용자는 전기자극 센서를 통해 전기자극을 감지하고, 열전도 센서를 통해 열을 감지하고, 초전도 센서를 통해 차가움을 감지하고, 진동 센서를 통해 진동을 감지할 수 있다.A user can sense electrical stimulation through an electrical stimulation sensor, heat through a heat conduction sensor, sense coldness through a superconducting sensor, and sense vibration through a vibration sensor.

또한, 감각 콘텐츠 전달부(310)는 초음파 센서 및 관성측정 센서(Inertial Measurement Unit Sensor) 중 적어도 어느 하나 이상의 센서를 포함하여 사용자에게 상기 인터랙티브 콘텐츠에 등장하는 실제물체 정보와 교감이 가능한 감각적 효과를 전달할 수 있다. 이는 인터랙티브 콘텐츠에 등장하는 실제물체와의 근접을 감지하는 등, 사용자가 가상현실 콘텐츠에서 실제물체와의 다양한 교감을 하기 위한 특징이라 할 수 있다.In addition, the sensory content delivery unit 310 includes at least one or more of an ultrasonic sensor and an inertial measurement unit sensor to deliver sensory effects capable of communicating with information on real objects appearing in the interactive content to the user. I can. This can be said to be a characteristic for a user to interact with real objects in virtual reality contents in various ways, such as sensing proximity to real objects appearing in interactive contents.

이러한 감각 콘텐츠 전달부(310)에서 포함하고 있는 센서는 상기 센서들 외에 사용자에게 감각적 효과를 전달할 수 있는 다양한 종류의 센서들로 용이하게 변경할 수 있다. The sensors included in the sensory content delivery unit 310 can be easily changed to various types of sensors capable of transmitting sensory effects to the user in addition to the above sensors.

이 때 감각 콘텐츠 전달부(310)는 블루투스 통신, 와이파이(WiFi) 등의 다양한 종류의 무선 통신을 이용하여 사용자에게 감각적 효과를 전달할 수 있다.In this case, the sensory content delivery unit 310 may transmit sensory effects to the user by using various types of wireless communication such as Bluetooth communication and WiFi.

신체정보 측정부(330)는 심박 센서 및 GSR 센서 중 적어도 어느 하나 이상의 센서를 포함하여 사용자의 신체정보를 측정할 수 있다. 이는 감각 전달을 받은 사용자의 감성 반응을 동시에 측정하여 해당 감각 자극이 사용자에게 긍정적인 영향을 주는지 또는 부정적인 영향을 주는지 판단하고자 사용자의 스트레스 지수, 피부저항도 등을 측정하기 위한 구성요소라 할 수 있다.The body information measuring unit 330 may include at least one or more of a heart rate sensor and a GSR sensor to measure body information of a user. This can be said to be a component for measuring the user's stress index, skin resistance, etc. in order to determine whether the sensory stimulus has a positive or negative effect on the user by simultaneously measuring the emotional response of the user receiving sensory transmission. .

한편, 도 1에 도시된 바와 같이 본 발명의 실시예에 따른 현실세계가 반영된 인터랙션 시스템은 신체정보 분석 기기(400)를 더 포함할 수 있다.Meanwhile, as shown in FIG. 1, the interaction system reflecting the real world according to an embodiment of the present invention may further include a body information analysis device 400.

신체정보 분석 기기(400)는 상기 웨어러블 기기(300)로부터 측정된 사용자의 신체정보를 분석하여 사용자 또는 인터랙티브 콘텐츠 중 적어도 어느 하나 이상의 반응 평가 결과를 출력할 수 있다. 이는 감각 전달을 받은 사용자의 감성 반응을 동시에 측정하여 해당 감각 자극이 사용자에게 긍정적인 영향을 주는지 또는 부정적인 영향을 주는지 등을 평가함으로써, 콘텐츠 제작의 기초자료로 활용하기 위한 구성요소라 할 수 있다.The body information analysis device 400 may analyze the user's body information measured by the wearable device 300 and output a response evaluation result of at least one of the user or interactive content. This can be said to be a component to be used as basic data for content creation by simultaneously measuring the emotional response of the user receiving sensory transmission and evaluating whether the corresponding sensory stimulus has a positive or negative effect on the user.

이 때 사용자에게 긍정적인 영향을 주는 감각 자극의 경우, 해당 감각 자극을 기초로 한 감각반응의 디자인을 하는 등의 활용이 가능하다.In this case, in the case of sensory stimulation that positively affects the user, it is possible to use, for example, designing sensory responses based on the sensory stimulation.

보다 상세하게, 신체정보 분석 기기(400)는 상기 심박 센서 및 GSR 센서 중 적어도 어느 하나 이상의 센서를 통해 측정된 상기 사용자의 신체정보에 대한 수치를 상기 제작된 인터랙티브 콘텐츠가 상영되는 일정 구간의 시간대별로 합산하여, 상기 합산된 수치의 시간대별 변화량을 기초로 신체정보를 분석할 수 있다.In more detail, the body information analysis device 400 calculates the value of the user's body information measured through at least one or more of the heart rate sensor and the GSR sensor for each time period in a predetermined section in which the produced interactive content is displayed. By summing up, the body information may be analyzed based on the amount of change over time of the summed values.

이를 보다 상세히 설명하면, 사용자의 손에 적용된 감각자극은 사용자가 가상현실 공간에서 체험하는 스토리의 요소들과 적합하게 디자인되었을 때 몰입도를 높이고, 가상 환경에 존재하는 것처럼 느끼게 만드는 원격현전(Tele presence)을 느끼게 한다.To explain this in more detail, the sensory stimulation applied to the user's hand increases the level of immersion when it is designed appropriately with the elements of the story that the user experiences in the virtual reality space and makes them feel as if they exist in a virtual environment. ) To feel.

이러한 정보의 분석을 위해서는 콘텐츠와 연동된 감각자극을 느끼는 사용자의 감정 상태를 웨어러블 장비에 탑재되어 있는 심박 센서, GSR 센서 등을 통합 분석함으로써 평가할 수 있다. 이 때 통합 분석하고자 하는 센서는 관성측정 센서, 초음파 센서 등 다양한 센서들이 포함될 수 있다. 이러한 센서들을 통해 통합된 지수가 높다면 사용자의 스트레스 지수, 즉 콘텐츠에 몰입하지 못하는 것으로 분석할 수 있다. 여기에서 사용자의 감각자극에(특히 전기 자극 등) 대한 즉각적인 반응에 대한 스트레스 지수는 순간적으로 높아지는 것을 관찰할 수 있지만 콘텐츠 체험 시간이 흐를수록 사용자가 감각 자극에 익숙해지고 몰입함으로써, 스트레스 지수가 낮아지는 것으로 분석할 수 있다. In order to analyze such information, the emotional state of the user who feels the sensory stimulation linked to the content can be evaluated by integrated analysis of the heart rate sensor and GSR sensor installed in the wearable equipment. In this case, the sensor to be analyzed may include various sensors such as an inertial measurement sensor and an ultrasonic sensor. If the integrated index through these sensors is high, it can be analyzed that the user's stress index, that is, the inability to immerse in the content. Here, it can be observed that the stress index for the immediate response to the user's sensory stimulation (especially electrical stimulation, etc.) increases momentarily, but as the content experience time elapses, the user becomes more familiar with the sensory stimulation, and the stress index decreases. It can be analyzed as

도 2는 본 발명의 실시예에 따른 현실세계가 반영된 인터랙션 방법을 나타낸 순서도이다.2 is a flowchart illustrating an interaction method reflecting the real world according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 실시예에 따른 현실세계가 반영된 인터랙션 방법은 인터랙티브 콘텐츠 제작단계(S100), 인터랙티브 콘텐츠 상영단계(S200), 감각 콘텐츠 전달단계(S300) 및 신체정보 측정단계(S400)를 포함할 수 있다.2, the interaction method reflecting the real world according to an embodiment of the present invention includes an interactive content production step (S100), an interactive content screening step (S200), a sensory content delivery step (S300), and a body information measurement step (S400). ) Can be included.

인터랙티브 콘텐츠 제작단계는 인터랙티브 콘텐츠 제작기기(100)에서 가상현실 콘텐츠 및 이를 기초로 한 실제물체 정보를 감각 콘텐츠로 가공하여 인터랙티브 콘텐츠를 제작할 수 있다(S100).In the interactive content production step, the interactive content production device 100 may process virtual reality content and real object information based on the virtual reality content into sensory content to produce interactive content (S100).

보다 상세하게, S100은 도 3을 참조하여 설명할 수 있다. 도 3은 도 2에 따른 인터랙티브 콘텐츠 제작 단계(S100)를 나타낸 순서도로, 감각 콘텐츠 가공단계(S110) 및 인터랙티브 콘텐츠 제작단계(S130)를 포함할 수 있다.In more detail, S100 may be described with reference to FIG. 3. 3 is a flow chart showing the interactive content production step (S100) according to FIG. 2, and may include a sensory content processing step (S110) and an interactive content production step (S130).

도 3에 도시된 바와 같이, 감각 콘텐츠 가공단계는 감각 콘텐츠 가공부(110)에서 가상현실 콘텐츠 및 이를 기초로 한 실제물체 정보를 감각 콘텐츠로 가공할 수 있다(S110). 이는 현실세계에 있는 실제물체, 즉 실제 오브젝트들과 상호작용이 가능하도록 감각 콘텐츠로 가공하기 위한 단계라 할 수 있다.As shown in FIG. 3, in the sensory content processing step, the sensory content processing unit 110 may process virtual reality content and real object information based on the virtual reality content into sensory content (S110). This can be said to be a step for processing into sensory content to enable interaction with real objects in the real world, that is, real objects.

인터랙티브 콘텐츠 제작단계는 인터랙티브 콘텐츠 제작부(130)에서 S110으로부터 가공된 감각 콘텐츠를 가상현실 콘텐츠에 반영하여 인터랙티브 콘텐츠를 제작할 수 있다(S130). 이는 현실세계에 있는 실제물체, 즉 실제 오브젝트에 기초한 감각 콘텐츠가 반영된 가상현실 콘텐츠를 상영하는 사용자에게 높은 몰입효과를 제공하기 위한 인터랙티브 콘텐츠 제작 단계라 할 수 있다.In the interactive content production step, the interactive content production unit 130 may reflect the sensory content processed from S110 to the virtual reality content to produce the interactive content (S130). This can be said to be an interactive content production step to provide a high immersion effect to users who screen real objects in the real world, that is, virtual reality content reflecting sensory content based on real objects.

인터랙티브 콘텐츠 상영단계는 인터랙티브 콘텐츠 상영 기기(200)에서 S100으로부터 제작된 인터랙티브 콘텐츠를 사용자에게 상영할 수 있다(S200).In the interactive content screening step, the interactive content screening device 200 may display the interactive content produced from S100 to the user (S200).

감각 콘텐츠 전달단계는 웨어러블 기기(300)에서 S200에 의해 인터랙티브 콘텐츠를 상영하는 사용자에게 S100으로부터 제작된 인터랙티브 콘텐츠의 감각 콘텐츠를 기초로 한 감각적 효과를 전달할 수 있다(S300). 이는 사용자가 가상현실 콘텐츠를 통해 실제물체와의 상호작용을 감각적 효과로 전달받도록 하여, 사용자에게 높은 몰입효과를 제공하기 위한 단계라 할 수 있다.In the sensory content delivery step, a sensory effect based on sensory content of the interactive content produced from S100 may be delivered to a user who screens the interactive content by S200 in the wearable device 300 (S300). This is a step for providing a high immersion effect to the user by allowing the user to receive the interaction with the real object through the virtual reality content as a sensory effect.

이 때 웨어러블 기기(300)는 인터랙션 콘텐츠 제작 기기(100)에 의해 제작된 인터랙티브 콘텐츠를 상영하는 사용자의 신체에 부착 또는 착용되어, 상기 인터랙티브 콘텐츠의 감각 콘텐츠를 사용자에게 전달할 수 있다.In this case, the wearable device 300 may be attached or worn on the body of a user who displays the interactive content produced by the interaction content producing device 100 to deliver the sensory content of the interactive content to the user.

신체정보 측정단계는 웨어러블 기기(300)에서 S300에 의해 감각적 효과가 전달된 사용자로부터 신체정보를 측정할 수 있다(S400). 이는 감각 전달을 받은 사용자의 감성 반응을 동시에 측정하여 해당 감각 자극이 사용자에게 긍정적인 영향을 주는지 또는 부정적인 영향을 주는지 판단하기 위한 신체정보를 측정하기 위한 단계라 할 수 있다.In the body information measuring step, the wearable device 300 may measure body information from the user to whom the sensory effect is transmitted by S300 (S400). This can be said to be a step for measuring body information to determine whether the sensory stimulus has a positive or negative effect on the user by simultaneously measuring the emotional response of the user receiving sensory transmission.

이 때 웨어러블 기기(300)는 도 4에 도시된 바와 같이, 손에 부착 또는 착용이 가능한 장갑 형태로 제작할 수 있다. 이는 인체의 감각기관 중 가장 정밀한 손의 촉각정보를 신체정보로 측정할 수 있는 효과를 가진다.In this case, the wearable device 300 may be manufactured in the form of a glove that can be attached or worn on a hand, as shown in FIG. 4. This has the effect of measuring the most precise tactile information of the hand among the human body's sensory organs as body information.

이에 감각 콘텐츠 전달단계(S300)는 웨어러블 기기(300)의 어느 하나의 모듈이 사용자의 양손 중 어느 하나의 손에 부착 또는 착용되어 사용자에게 감각적 효과를 전달할 수 있다. 그리고 신체정보 측정단계(S400)는 웨어러블 기기(300)의 다른 하나의 모듈이 사용자의 다른 하나의 손에 부착 또는 착용되어 사용자의 신체정보를 측정할 수 있다. 이는 한 손에는 자극입력부, 다른 한 손에는 측정부로 분리한 웨어러블 기기를 제작함으로써, 가상현실 환경에서 자유로운 인터랙션이 가능한 효과를 가진다.Accordingly, in the sensory content delivery step S300, any one module of the wearable device 300 may be attached or worn on one of the user's hands to deliver a sensory effect to the user. In the body information measuring step S400, another module of the wearable device 300 may be attached or worn on the user's other hand to measure the user's body information. This has the effect of allowing free interaction in a virtual reality environment by manufacturing a wearable device separated by a stimulus input unit in one hand and a measurement unit in the other hand.

감각 콘텐츠 전달단계(S300)는 전기자극 센서, 열전도 센서, 초전도 센서 및 진동 센서 중 적어도 어느 하나 이상의 센서를 포함하여 사용자에게 감각적 효과를 전달할 수 있다. 이는 가상현실 콘텐츠에서 사용자에게 다양한 감각적 효과를 전달하기 위한 특징이라 할 수 있다.In the sensory content delivery step S300, a sensory effect may be delivered to a user by including at least one or more of an electric stimulation sensor, a thermal conductivity sensor, a superconducting sensor, and a vibration sensor. This can be said to be a characteristic for delivering various sensory effects to users in virtual reality content.

사용자는 전기자극 센서를 통해 전기자극을 감지하고, 열전도 센서를 통해 열을 감지하고, 초전도 센서를 통해 차가움을 감지하고, 진동 센서를 통해 진동을 감지할 수 있다.A user can sense electrical stimulation through an electrical stimulation sensor, heat through a heat conduction sensor, sense coldness through a superconducting sensor, and sense vibration through a vibration sensor.

또한, 감각 콘텐츠 전달단계(S300)는 초음파 센서 및 관성측정 센서(Inertial Measurement Unit Sensor) 중 적어도 어느 하나 이상의 센서를 포함하여 사용자에게 상기 인터랙티브 콘텐츠에 등장하는 실제물체 정보와 교감이 가능한 감각적 효과를 전달할 수 있다. 이는 인터랙티브 콘텐츠에 등장하는 실제물체와의 근접을 감지하는 등, 사용자가 가상현실 콘텐츠에서 실제물체와의 다양한 교감을 하기 위한 특징이라 할 수 있다.In addition, the sensory content delivery step (S300) includes at least any one or more of an ultrasonic sensor and an inertial measurement unit sensor to provide a sensory effect capable of interacting with real object information appearing in the interactive content to the user. I can. This can be said to be a characteristic for a user to interact with real objects in virtual reality contents in various ways, such as sensing proximity to real objects appearing in interactive contents.

이러한 감각 콘텐츠 전달단계(S300)에서 포함하고 있는 센서는 상기 센서들 외에 사용자에게 감각적 효과를 전달할 수 있는 다양한 종류의 센서들로 용이하게 변경할 수 있다. The sensor included in the sensory content delivery step S300 can be easily changed to various types of sensors capable of delivering sensory effects to the user in addition to the above sensors.

이 때 감각 콘텐츠 전달단계(S300)에서는 블루투스 통신, 와이파이(WiFi) 등의 다양한 종류의 무선 통신을 이용하여 사용자에게 감각적 효과를 전달할 수 있다.In this case, in the sensory content delivery step (S300), sensory effects may be delivered to the user by using various types of wireless communication such as Bluetooth communication and WiFi.

신체정보 측정단계(S400)는 심박 센서 및 GSR 센서 중 적어도 어느 하나 이상의 센서를 포함하여 사용자의 신체정보를 측정할 수 있다. 이는 감각 전달을 받은 사용자의 감성 반응을 동시에 측정하여 해당 감각 자극이 사용자에게 긍정적인 영향을 주는지 또는 부정적인 영향을 주는지 판단하고자 사용자의 스트레스 지수, 피부저항도 등을 측정하기 위한 단계라 할 수 있다.In the body information measuring step S400, the user's body information may be measured by including at least one or more of a heart rate sensor and a GSR sensor. This can be said to be a step for measuring the user's stress index, skin resistance, etc. to determine whether the sensory stimulation has a positive or negative effect on the user by simultaneously measuring the emotional response of the user who has received sensory transmission.

한편, 도 2에 도시된 바와 같이 본 발명의 실시예에 따른 현실세계가 반영된 인터랙션 방법은 신체정보 분석 단계(S500)를 더 포함할 수 있다.Meanwhile, as shown in FIG. 2, the interaction method reflecting the real world according to an exemplary embodiment of the present invention may further include a body information analysis step (S500 ).

신체정보 분석 단계(S500)는 상기 신체정보 측정단계(S400)로부터 측정된 사용자의 신체정보를 분석하여 사용자 또는 인터랙티브 콘텐츠 중 적어도 어느 하나 이상의 반응 평가 결과를 출력할 수 있다. 이는 감각 전달을 받은 사용자의 감성 반응을 동시에 측정하여 해당 감각 자극이 사용자에게 긍정적인 영향을 주는지 또는 부정적인 영향을 주는지 등을 평가함으로써, 콘텐츠 제작의 기초자료로 활용하기 위한 단계라 할 수 있다.In the body information analysis step S500, the body information of the user measured in the body information measurement step S400 may be analyzed and a response evaluation result of at least one of the user or interactive content may be output. This can be said to be a step to use as basic data for content creation by simultaneously measuring the emotional response of the user who has received sensory transmission and evaluating whether the sensory stimulus has a positive or negative effect on the user.

이 때 사용자에게 긍정적인 영향을 주는 감각 자극의 경우, 해당 감각 자극을 기초로 한 감각반응의 디자인을 하는 등의 활용이 가능하다.In this case, in the case of sensory stimulation that positively affects the user, it is possible to use, for example, designing a sensory response based on the sensory stimulation.

보다 상세하게, 신체정보 분석 기기(400)는 상기 심박 센서 및 GSR 센서 중 적어도 어느 하나 이상의 센서를 통해 측정된 상기 사용자의 신체정보에 대한 수치를 상기 제작된 인터랙티브 콘텐츠가 상영되는 일정 구간의 시간대별로 합산하여, 상기 합산된 수치의 시간대별 변화량을 기초로 신체정보를 분석할 수 있다.In more detail, the body information analysis device 400 calculates the value of the user's body information measured through at least one of the heart rate sensor and the GSR sensor for each time period in a predetermined section in which the produced interactive content is displayed. By summing, it is possible to analyze the body information based on the amount of change for each time period of the summed value.

이를 보다 상세히 설명하면, 사용자의 손에 적용된 감각자극은 사용자가 가상현실 공간에서 체험하는 스토리의 요소들과 적합하게 디자인되었을 때 몰입도를 높이고, 가상 환경에 존재하는 것처럼 느끼게 만드는 원격현전(Tele presence)을 느끼게 한다.To explain this in more detail, the sensory stimulation applied to the user's hand increases the level of immersion when it is designed appropriately with the elements of the story that the user experiences in the virtual reality space and makes them feel as if they exist in a virtual environment. ) To feel.

이러한 정보의 분석을 위해서는 콘텐츠와 연동된 감각자극을 느끼는 사용자의 감정 상태를 웨어러블 장비에 탑재되어 있는 심박 센서, GSR 센서 등을 통합 분석함으로써 평가할 수 있다. 이 때 통합 분석하고자 하는 센서는 관성측정 센서, 초음파 센서 등 다양한 센서들이 포함될 수 있다. 이러한 센서들을 통해 통합된 지수가 높다면 사용자의 스트레스 지수, 즉 콘텐츠에 몰입하지 못하는 것으로 분석할 수 있다. 여기에서 사용자의 감각자극에(특히 전기 자극 등) 대한 즉각적인 반응에 대한 스트레스 지수는 순간적으로 높아지는 것을 관찰할 수 있지만 콘텐츠 체험 시간이 흐를수록 사용자가 감각 자극에 익숙해지고 몰입함으로써, 스트레스 지수가 낮아지는 것으로 분석할 수 있다.In order to analyze such information, the emotional state of the user who feels the sensory stimulation linked to the content can be evaluated by integrated analysis of the heart rate sensor and GSR sensor installed in the wearable equipment. In this case, the sensors to be analyzed may include various sensors such as an inertial measurement sensor and an ultrasonic sensor. If the index integrated through these sensors is high, it can be analyzed that the user's stress index, that is, the inability to immerse in the content. Here, it can be observed that the stress index for the immediate response to the user's sensory stimulation (especially electrical stimulation, etc.) increases momentarily, but as the content experience time elapses, the user becomes more familiar with the sensory stimulation, and the stress index decreases. Can be analyzed.

이상에서 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정들도 본 발명의 범위에 속하는 것으로 간주되어야할 것이다.Although described and illustrated in connection with a preferred embodiment for illustrating the technical idea of the present invention in the above, the present invention is not limited to the configuration and operation as illustrated and described as described above, and deviates from the scope of the technical idea. It will be appreciated by those skilled in the art that many changes and modifications can be made to the present invention without. Accordingly, all such appropriate changes and modifications should be considered to be within the scope of the present invention.

100 : 인터랙티브 콘텐츠 제작기기
110 : 감각 콘텐츠 가공부 130 : 인터랙티브 콘텐츠 제작부
200 : 인터랙티브 콘텐츠 상영기기
300 웨어러블 기기 310 : 감각 콘텐츠 전달부
330 : 신체정보 측정부 400 : 신체정보 분석 기기100: interactive content production device
110: sensory content processing unit 130: interactive content production unit
200: Interactive content screening device
300 wearable device 310: sensory content delivery unit
330: body information measurement unit 400: body information analysis device

Claims (17)

가상현실 콘텐츠 및 이를 기초로 한 실제물체 정보를 감각 콘텐츠로 가공하여 인터랙티브 콘텐츠를 제작하는 인터랙티브 콘텐츠 제작 기기;
상기 감각 콘텐츠를 가공하여 제작된 인터랙티브 콘텐츠를 상영하는 인터랙티브 콘텐츠 상영 기기; 및
상기 제작된 인터랙티브 콘텐츠를 상영하는 사용자의 신체에 부착 또는 착용되어, 상기 인터랙티브 콘텐츠의 감각 콘텐츠를 상기 사용자에게 전달하고 상기 사용자의 신체정보를 측정하는 웨어러블 기기;를 포함하는 현실세계가 반영된 인터랙션 시스템.An interactive content production device for producing interactive content by processing virtual reality content and real object information based on the virtual reality content into sensory content;
An interactive content screening device that displays the interactive content produced by processing the sensory content; And
A wearable device that is attached or worn on the body of a user who screens the produced interactive content, delivers sensory content of the interactive content to the user, and measures body information of the user. 제 1 항에 있어서,
상기 웨어러블 기기로부터 측정된 사용자의 신체정보를 분석하여 상기 사용자 또는 상기 인터랙티브 콘텐츠 중 적어도 어느 하나 이상의 반응평가 결과를 출력하는 신체정보 분석 기기;를 더 포함하는 현실세계가 반영된 인터랙션 시스템.The method of claim 1,
A body information analysis device that analyzes the body information of the user measured from the wearable device and outputs a response evaluation result of at least one of the user or the interactive content. 제 1 항에 있어서, 상기 인터랙티브 콘텐츠 제작 기기는,
가상현실 콘텐츠 및 이를 기초로 한 실제물체 정보를 감각 콘텐츠로 가공하는 감각 콘텐츠 가공부; 및
상기 가공된 감각 콘텐츠를 상기 가상현실 콘텐츠에 반영하여 인터랙티브 콘텐츠를 제작하는 인터랙티브 콘텐츠 제작부;를 포함하는 현실세계가 반영된 인터랙션 시스템.The method of claim 1, wherein the interactive content production device,
A sensory content processing unit that processes virtual reality content and real object information based thereon into sensory content; And
An interactive content creation unit that produces interactive content by reflecting the processed sensory content on the virtual reality content. 제 1 항에 있어서, 상기 웨어러블 기기는,
상기 제작된 인터랙티브 콘텐츠의 감각 콘텐츠를 기초로 상기 제작된 인터랙티브 콘텐츠를 상영하는 사용자에게 감각적 효과를 전달하는 감각 콘텐츠 전달부; 및
상기 감각적 효과가 전달된 사용자로부터 신체정보를 측정하는 신체정보 측정부;를 포함하는 현실세계가 반영된 인터랙션 시스템. The method of claim 1, wherein the wearable device,
A sensory content delivery unit that delivers a sensory effect to a user who screens the created interactive content based on the sensory content of the created interactive content; And
An interaction system reflecting the real world, including a body information measuring unit that measures body information from a user to which the sensory effect has been transmitted. 제 4 항에 있어서,
상기 감각 콘텐츠 전달부는 상기 사용자의 양손 중 어느 하나의 손에 부착 또는 착용되고,
상기 신체정보 측정부는 상기 사용자의 다른 하나의 손에 부착 또는 착용되는 웨어러블 기기인 현실세계가 반영된 인터랙션 시스템.The method of claim 4,
The sensory content delivery unit is attached or worn on either hand of the user's both hands,
The body information measuring unit is an interaction system reflecting the real world, which is a wearable device attached or worn on the user's other hand. 제 4 항에 있어서, 상기 감각 콘텐츠 전달부는,
전기자극 센서, 열전도 센서, 초전도 센서 및 진동 센서 중 적어도 어느 하나이상의 센서를 포함하여 상기 사용자에게 감각적 효과를 전달하는 현실세계가 반영된 인터랙션 시스템.The method of claim 4, wherein the sensory content delivery unit,
An interaction system reflecting the real world, including at least one or more of an electric stimulation sensor, a heat conduction sensor, a superconducting sensor, and a vibration sensor, to deliver a sensory effect to the user. 제 4 항에 있어서, 상기 감각 콘텐츠 전달부는,
초음파 센서 및 관성측정 센서(Inertial Measurement Unit Sensor) 중 적어도 어느 하나 이상의 센서를 포함하여 상기 사용자에게 상기 인터랙티브 콘텐츠에 등장하는 실제물체 정보와 교감이 가능한 감각적 효과를 전달하는 현실세계가 반영된 인터랙션 시스템.The method of claim 4, wherein the sensory content delivery unit,
An interaction system reflecting the real world that includes at least one of at least one of an ultrasonic sensor and an inertial measurement unit sensor to deliver sensory effects that can interact with real object information appearing in the interactive content to the user. 제 4 항에 있어서, 상기 신체정보 측정부는,
심박 센서 및 GSR 센서 중 적어도 어느 하나 이상의 센서를 포함하여 상기 사용자의 신체정보를 측정하는 현실세계가 반영된 인터랙션 시스템.The method of claim 4, wherein the body information measuring unit,
An interaction system reflecting the real world that measures the user's body information, including at least one of a heart rate sensor and a GSR sensor. 제 8 항에 있어서, 상기 신체정보 분석 기기는,
상기 심박 센서 및 GSR 센서 중 적어도 어느 하나 이상의 센서를 통해 측정된 상기 사용자의 신체정보에 대한 수치를 상기 제작된 인터랙티브 콘텐츠가 상영되는 일정 구간의 시간대별로 합산하여, 상기 합산된 수치의 시간대별 변화량을 기초로 신체정보를 분석하는 현실세계가 반영된 인터랙션 시스템.The method of claim 8, wherein the body information analysis device,
The numerical values of the user's body information measured through at least one of the heart rate sensor and the GSR sensor are summed for each time period in a certain section in which the produced interactive content is screened, and the amount of change of the summed values for each time period is calculated. An interaction system that reflects the real world that analyzes body information on the basis of. 인터랙티브 콘텐츠 제작기기에서 가상현실 콘텐츠 및 이를 기초로 한 실제물체 정보를 감각 콘텐츠로 가공하여 인터랙티브 콘텐츠를 제작하는 인터랙티브 콘텐츠 제작단계;
인터랙티브 콘텐츠 상영 기기에서 상기 감각 콘텐츠를 가공하여 제작된 인터랙티브 콘텐츠를 상영하는 인터랙티브 콘텐츠 상영단계;
웨어러블 기기에서 상기 제작된 인터랙티브 콘텐츠를 상영하는 사용자에게 상기 제작된 인터랙티브 콘텐츠의 감각 콘텐츠를 기초로 한 감각적 효과를 전달하는 감각 콘텐츠 전달단계; 및
웨어러블 기기에서 상기 감각적 효과가 전달된 사용자로부터 신체정보를 측정하는 신체정보 측정단계;를 포함하는 현실세계가 반영된 인터랙션 방법.An interactive content production step of producing interactive content by processing virtual reality content and real object information based on the virtual reality content into sensory content in an interactive content production device;
An interactive content screening step of screening the interactive content produced by processing the sensory content in an interactive content screening device;
A sensory content delivery step of delivering sensory effects based on sensory content of the created interactive content to a user who screens the created interactive content on a wearable device; And
And a body information measuring step of measuring body information from a user to whom the sensory effect has been transmitted in a wearable device. 제 10 항에 있어서,
상기 신체정보 측정단계로부터 측정된 사용자의 신체정보를 분석하여 상기 사용자 또는 상기 인터랙티브 콘텐츠 중 적어도 어느 하나 이상의 반응평가 결과를 출력하는 신체정보 분석단계;를 더 포함하는 현실세계가 반영된 인터랙션 방법.The method of claim 10,
A body information analysis step of analyzing the body information of the user measured in the body information measuring step and outputting a response evaluation result of at least one of the user or the interactive content. 제 10 항에 있어서, 상기 인터랙티브 콘텐츠 제작 단계는,
감각 콘텐츠 가공부에서 가상현실 콘텐츠 및 이를 기초로 한 실제물체 정보를 감각 콘텐츠로 가공하는 감각 콘텐츠 가공단계; 및
인터랙티브 콘텐츠 제작부에서 상기 가공된 감각 콘텐츠를 상기 가상현실 콘텐츠에 반영하여 인터랙티브 콘텐츠를 제작하는 인터랙티브 콘텐츠 제작단계;를 포함하는 현실세계가 반영된 인터랙션 방법.The method of claim 10, wherein the creating of the interactive content comprises:
A sensory content processing step of processing virtual reality content and real object information based on the virtual reality content into sensory content in the sensory content processing unit; And
Interactive content production step of producing interactive content by reflecting the processed sensory content on the virtual reality content by an interactive content production unit; and an interaction method reflecting the real world. 제 10 항에 있어서,
상기 감각 콘텐츠 전달단계는 상기 웨어러블 기기의 어느 하나의 모듈이 상기 사용자의 양손 중 어느 하나의 손에 부착 또는 착용되어 상기 사용자에게 감각적 효과를 전달하고,
상기 신체정보 측정단계는 상기 웨어러블 기기의 다른 하나의 모듈이 상기 사용자의 다른 하나의 손에 부착 또는 착용되어 상기 사용자의 신체정보를 측정하는 현실세계가 반영된 인터랙션 방법.The method of claim 10,
In the sensory content delivery step, any one module of the wearable device is attached or worn on one of the user's hands to deliver a sensory effect to the user,
In the step of measuring the body information, the other module of the wearable device is attached or worn on the other hand of the user to measure the body information of the user. 제 10 항에 있어서, 상기 감각 콘텐츠 전달단계는,
전기자극 센서, 열전도 센서, 초전도 센서 및 진동 센서 중 적어도 어느 하나 이상의 센서를 포함하여 상기 사용자에게 감각적 효과를 전달하는 현실세계가 반영된 인터랙션 방법.The method of claim 10, wherein the sensory content delivery step,
An interaction method reflecting the real world of transmitting a sensory effect to the user by including at least one of at least one of an electric stimulation sensor, a thermal conductivity sensor, a superconducting sensor, and a vibration sensor. 제 10 항에 있어서, 상기 감각 콘텐츠 전달단계는,
초음파 센서 및 관성측정 센서(Inertial Measurement Unit Sensor) 중 적어도 어느 하나 이상의 센서를 포함하여 상기 사용자에게 상기 인터랙티브 콘텐츠에 등장하는 실제물체 정보와 교감이 가능한 감각적 효과를 전달하는 현실세계가 반영된 인터랙션 방법.The method of claim 10, wherein the sensory content delivery step,
An interaction method reflecting the real world, including at least one of an ultrasonic sensor and an inertial measurement unit sensor, to deliver sensory effects that can communicate with real object information appearing in the interactive content to the user. 제 10 항에 있어서, 상기 신체정보 측정단계는,
심박 센서 및 GSR 센서 중 적어도 어느 하나 이상의 센서를 포함하여 상기 사용자의 신체정보를 측정하는 현실세계가 반영된 인터랙션 방법.The method of claim 10, wherein the step of measuring the body information,
An interaction method reflecting the real world of measuring body information of the user, including at least one of a heart rate sensor and a GSR sensor. 제 16 항에 있어서, 상기 신체정보 분석단계는,
상기 심박 센서 및 GSR 센서 중 적어도 어느 하나 이상의 센서를 통해 측정된 상기 사용자의 신체정보에 대한 수치를 상기 제작된 인터랙티브 콘텐츠가 상영되는 일정 구간의 시간대별로 합산하여, 상기 합산된 수치의 시간대별 변화량을 기초로 신체정보를 분석하는 현실세계가 반영된 인터랙션 방법.The method of claim 16, wherein the analyzing of the body information comprises:
The numerical values of the user's body information measured through at least one of the heart rate sensor and the GSR sensor are summed for each time period in a certain section in which the produced interactive content is screened, and the amount of change of the summed values for each time period is calculated. An interaction method that reflects the real world, analyzing body information as a basis.
KR1020190105401A 2019-08-27 2019-08-27 Interaction system and method reflecting the real world KR20210025393A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190105401A KR20210025393A (en) 2019-08-27 2019-08-27 Interaction system and method reflecting the real world

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190105401A KR20210025393A (en) 2019-08-27 2019-08-27 Interaction system and method reflecting the real world

Publications (1)

Publication Number Publication Date
KR20210025393A true KR20210025393A (en) 2021-03-09

Family

ID=75179705

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190105401A KR20210025393A (en) 2019-08-27 2019-08-27 Interaction system and method reflecting the real world

Country Status (1)

Country Link
KR (1) KR20210025393A (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100634494B1 (en) 2002-08-19 2006-10-16 삼성전기주식회사 Wearable information input device, information processing device and information input method
KR20190080530A (en) 2017-12-28 2019-07-08 단국대학교 산학협력단 Active interaction system and method for virtual reality film

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100634494B1 (en) 2002-08-19 2006-10-16 삼성전기주식회사 Wearable information input device, information processing device and information input method
KR20190080530A (en) 2017-12-28 2019-07-08 단국대학교 산학협력단 Active interaction system and method for virtual reality film

Similar Documents

Publication Publication Date Title
LaViola Jr et al. 3D user interfaces: theory and practice
US8599194B2 (en) System and method for the interactive display of data in a motion capture environment
TWI432994B (en) Apparatus and method for sensory feedback
Chen Assessing factors critical to smart technology applications to mobile health care− the fgm-fahp approach
EP3598273A1 (en) Adaptive haptic effect rendering based on dynamic system identification
US20150018722A1 (en) Determination, communication, and presentation of user body position information
Cipresso et al. Psychometric assessment and behavioral experiments using a free virtual reality platform and computational science
Octavia et al. Adaptation in virtual environments: conceptual framework and user models
US8806337B2 (en) System and method for representation of avatars via personal and group perception, and conditional manifestation of attributes
Coelho et al. Authoring tools for creating 360 multisensory videos—Evaluation of different interfaces
KR20170004479A (en) Method for providing on-line Quit smoking clinic service and System there-of
JP5643716B2 (en) Information processing system, information processing method, information processing apparatus, information processing terminal, program, and recording medium
KR20210025393A (en) Interaction system and method reflecting the real world
KR20190007910A (en) Wearable hmd controller based on bio-signal for controlling virtual reality contents and hmd device and method thereof
Yuan et al. Non-intrusive movement detection in cara pervasive healthcare application
US20180116587A1 (en) Cubital Tunnel Infomatic Monitor
Rahman i-Therapy: a non-invasive multimedia authoring framework for context-aware therapy design
CN107219918A (en) A kind of design method of data glove interface module
Bacchini et al. Emopad: An affective gamepad
Mukhtar et al. Personalized healthcare self-management using social persuasion
Yan et al. Research on the generality of icon sizes based on visual attention
Raghu Prasad et al. Modeling of Human Hand Force Based Tasks Using Fitts’s Law
KR20200007206A (en) Apparatus and Method for Measuring Virtual Reality Motion Sickness
Palmisano et al. Effects of Constant and Time-Varying Display Lag on DVP and Cybersickness When Making Head-Movements in Virtual Reality
Nilsson Upper body ergonomics in virtual reality: An ergonomic assessment of the arms and neck in virtual environments

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination