KR20210111542A - Apparatus and method for simulating interactive virtual-reality fire extinguisher with haptic feedback - Google Patents

Apparatus and method for simulating interactive virtual-reality fire extinguisher with haptic feedback Download PDF

Info

Publication number
KR20210111542A
KR20210111542A KR1020200026613A KR20200026613A KR20210111542A KR 20210111542 A KR20210111542 A KR 20210111542A KR 1020200026613 A KR1020200026613 A KR 1020200026613A KR 20200026613 A KR20200026613 A KR 20200026613A KR 20210111542 A KR20210111542 A KR 20210111542A
Authority
KR
South Korea
Prior art keywords
fire extinguisher
actuator
virtual
virtual fire
control signal
Prior art date
Application number
KR1020200026613A
Other languages
Korean (ko)
Inventor
서상우
하산 와심
Original Assignee
한국전자통신연구원
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 경희대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to KR1020200026613A priority Critical patent/KR20210111542A/en
Publication of KR20210111542A publication Critical patent/KR20210111542A/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • A—HUMAN NECESSITIES
    • A62—LIFE-SAVING; FIRE-FIGHTING
    • A62C—FIRE-FIGHTING
    • A62C99/00—Subject matter not provided for in other groups of this subclass
    • A62C99/0081—Training methods or equipment for fire-fighting
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/24—Use of tools

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Emergency Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Fire-Extinguishing By Fire Departments, And Fire-Extinguishing Equipment And Control Thereof (AREA)

Abstract

Provided are a virtual fire extinguisher simulation device capable of performing haptic feedback-based interaction, and a method therefor. The device comprises: a haptic actuator formed in a hose of a virtual fire extinguisher, and including a first actuator configured to generate a kinesthetic feedback according to the airflow in response to an applied first control signal and a second actuator configured to generate a tactile feedback according to vibration in response to an applied second control signal; a sensor unit configured to measure the movement of the hose of the virtual fire extinguisher; and a control unit configured to estimate the position and posture of the hose of the virtual fire extinguisher according to data measured by the sensor unit and provide the first control signal and the second control signal to the first actuator and the second actuator, respectively.

Description

햅틱 피드백 기반 상호 작용이 가능한 가상 소화기 시뮬레이션 장치 및 방법{Apparatus and method for simulating interactive virtual-reality fire extinguisher with haptic feedback}Apparatus and method for simulating interactive virtual-reality fire extinguisher with haptic feedback

본 발명은 가상 소화기에 관한 것으로, 더욱 상세하게 말하자면, 햅틱 피드백 기반 상호 작용이 가능한 가상 소화기 시뮬레이션 장치 및 방법에 관한 것이다. The present invention relates to a virtual fire extinguisher, and more particularly, to a virtual fire extinguisher simulation apparatus and method capable of haptic feedback-based interaction.

화재 발생시 대피 절차를 사람들에게 알리기 위해 학교와 직장에서 정기적으로 소방 훈련을 실시하고 있다. Fire drills are held regularly at schools and workplaces to inform people of evacuation procedures in the event of a fire.

그러나 이러한 화재/안전 훈련의 화재 대피 훈련 환경은 실제 화재 상황과는 매우 다르므로 대부분의 사람들은 화재 발생시 제대로 대응할 수 없다. 특히, 소화기는 적절하게 다루기가 어렵고 대부분 일회용이며 재활용이 불가능하기 때문에, 일반적으로 실제 소화기가 소방 훈련에는 사용되지 못하고 있다.However, since the fire evacuation training environment of these fire/safety drills is very different from the actual fire situation, most people cannot properly respond in the event of a fire. In particular, since fire extinguishers are difficult to handle properly and most are disposable and cannot be recycled, actual fire extinguishers are generally not used in fire drills.

이에 따라 가상 환경에서 소방 시뮬레이션을 제공하는 기술들이 제안되었다. 2016년 JCSSE(International Joint Conference on Computer Science and Software Engineering)에 게재된 “가상 현실 플랫폼상의 화재 시뮬레이션”은 가상 환경에서 소방 시뮬레이션을 수행하는 것을 제시하고 있다. Accordingly, techniques for providing firefighting simulation in a virtual environment have been proposed. “Fire Simulation on Virtual Reality Platform” published in JCSSE (International Joint Conference on Computer Science and Software Engineering) in 2016 suggests performing firefighting simulation in a virtual environment.

그러나 이러한 화재 진압 시뮬레이션은 사용자와 소화기 사이에 상호 작용이 없이 단순히 조이스틱의 조작으로 화재가 진압되는 방식으로 시뮬레이션이 이루어진다. 따라서 사용자는 소화기 사용의 가장 중요한 측면 중 하나인 안전핀 뽑기, 낮게 겨냥하기, 손잡이 당기기, 흔들기 등의 PASS(Pull, Aim, Squeeze, Sweep) 기술을 배울 수 없다. However, this fire suppression simulation is performed in such a way that the fire is extinguished simply by manipulation of the joystick without interaction between the user and the fire extinguisher. Therefore, users cannot learn PASS (Pull, Aim, Squeeze, Sweep) techniques such as pulling the safety pin, aiming low, pulling the handle, and shaking, which are one of the most important aspects of using a fire extinguisher.

또한, 맘모스(Mammoth) XR에서 소화기 기술을 대화형 교육을 통해 경험할 수 있도록 하는 PASS VR(virtual reality) 응용 프로그램을 개발했다. 그러나 이 응요 프로그램은 손에 쉬는 형태의 상업용 컨트롤러와 연동하여 동작하며, 상업용 컨트롤러의 물리적 특성이 실제 소화기의 질감과 무게와 같은 물리적 특성이 크게 다르기 때문에, 소화기 기술을 배우는데 한계가 있으며 이를 실제 화재 재난 훈련에 적용하기에는 여전히 큰 어려움이 있다.In addition, Mammoth XR has developed a PASS VR (virtual reality) application that allows users to experience fire extinguisher technology through interactive training. However, this application program works in conjunction with a resting type of commercial controller, and since the physical properties of the commercial controller are significantly different from those of the actual fire extinguisher, such as the texture and weight, there is a limit to learning fire extinguisher technology, and it is There are still great difficulties in applying it to disaster drills.

본 발명이 해결하고자 하는 과제는 실제 소화기의 기능과 유사하게 사용자와의 상호 작용이 가능하도록, 햅틱 피드백 기반의 가상 소화기를 제공하는 것이다. The problem to be solved by the present invention is to provide a virtual fire extinguisher based on haptic feedback to enable interaction with a user similar to the function of an actual fire extinguisher.

또한, 본 발명이 해결하고자 하는 과제는 HMD(head-mounted display)를 사용하여 현실적인 시야와 운동 경험을 제공할 수 있는 소화기 시뮬레이션 장치 및 방법을 제공하는 것이다. In addition, the problem to be solved by the present invention is to provide a fire extinguisher simulation apparatus and method that can provide a realistic view and exercise experience using a head-mounted display (HMD).

본 발명의 실시 예에 따르면, 가상 소화기 시뮬레이션 장치가 제공된다. 상기 장치는, 가상 소화기의 호스 내에 형성되어 있으며, 인가되는 제1 제어 신호에 따라 공기 흐름에 따른 운동 감각 피드백을 생성하도록 구성된 제1 액츄에이터 및 인가되는 제2 제어 신호에 따라 진동에 따른 촉각 피드백을 생성하도록 구성된 제2 액츄에이터를 포함하는 햅틱 액츄에이터; 상기 가상 소화기의 상기 호스의 움직임을 측정하도록 구성된 센서부; 및 상기 센서부로부터 측정된 데이터에 따라 상기 가상 소화기의 호스의 위치와 자세를 추정하여 상기 제1 제어 신호 및 상기 제2 제어 신호를 상기 제1 액츄에이터 및 상기 제2 액츄에이터로 각각 제공하도록 구성된 제어부를 포함한다. According to an embodiment of the present invention, a virtual fire extinguisher simulation apparatus is provided. The device is formed in the hose of the virtual fire extinguisher and provides a first actuator configured to generate kinesthetic feedback according to an air flow according to an applied first control signal and a tactile feedback according to vibration according to a second applied control signal. a haptic actuator comprising a second actuator configured to generate; a sensor unit configured to measure the movement of the hose of the virtual fire extinguisher; and a control unit configured to estimate the position and posture of the hose of the virtual fire extinguisher according to the data measured from the sensor unit and provide the first control signal and the second control signal to the first actuator and the second actuator, respectively. include

본 발명의 실시 예에 따르면, HMD(head-mounted display)를 사용하여 현실적인 시야와 공압 근육 및 진동 촉각 변환기를 사용하는 운동 경험을 제공할 수 있는 대화식 가상 소화기를 제공할 수 있다. 따라서 사용자는 위치 인식용 트래커와 HMD 그리고 가상 소화기와 실시간 상호 작용할 수 있다. 그리고 가상 소화약제가 연소 대상으로 방출될 때, 사용자는 진동 피드백 및 공압 근육에 의해 생성된 공기 흐름에 따른 운동 감각 피드백을 모두 느끼게 된다. 이를 통하여 사용자는 실제 소화기를 사용하는 것과 동일한 경험을 할 수 있게 된다.According to an embodiment of the present invention, it is possible to provide an interactive virtual fire extinguisher that can provide a realistic view and an exercise experience using a pneumatic muscle and vibrotactile transducer using a head-mounted display (HMD). This allows users to interact in real time with location-aware trackers and HMDs and virtual fire extinguishers. And when the virtual extinguishing agent is released to the combustion target, the user feels both the vibration feedback and the kinesthetic feedback according to the air flow generated by the pneumatic muscle. Through this, the user can have the same experience as using an actual fire extinguisher.

따라서, 가상 현실 환경에서 사실적인 시야를 제공할 뿐만 아니라 진동에 따른 촉각 피드백 및 공기 흐름에 따른 운동 감각 피드백을 제공한다. 따라서 설계된 소화기는 실제 현실 세계의 소화기를 사용하면서 얻은 것과 동일한 경험을 제공할 수 있으므로, 소방 훈련을 보다 현실적으로 만들 수 있다. Therefore, it not only provides a realistic view in the virtual reality environment, but also provides tactile feedback according to vibration and kinesthetic feedback according to air flow. Thus, a designed fire extinguisher can provide the same experience you get while using a real-world fire extinguisher, making your fire drills more realistic.

도 1은 본 발명의 실시 예에 따른 가상 소화기 시뮬레이션 장치를 나타낸 도이다.
도 2는 본 발명의 실시 예에 따른 햅틱 액츄에이터의 구조를 나타낸 도이다.
도 3은 본 발명의 실시 예에 따른 햅틱 액츄에이터의 구체적인 구현 및 동작 예를 나타낸 도이다.
도 4는 본 발명의 실시 예에 따른 가상 소화기 시뮬레이션 방법의 흐름도이다.
도 5는 본 발명의 실시 예에 따른 가상 소화기 시뮬레이션에 따른 화재 진압 과정을 나타낸 예시도이다.
도 6은 본 발명의 다른 실시 예에 따른 가상 소화기 시뮬레이션 장치의 구조를 나타낸 도이다. 1 is a view showing a virtual fire extinguisher simulation apparatus according to an embodiment of the present invention.
2 is a diagram illustrating a structure of a haptic actuator according to an embodiment of the present invention.
3 is a diagram illustrating a specific implementation and operation example of a haptic actuator according to an embodiment of the present invention.
4 is a flowchart of a virtual fire extinguisher simulation method according to an embodiment of the present invention.
5 is an exemplary view illustrating a fire suppression process according to a virtual fire extinguisher simulation according to an embodiment of the present invention.
6 is a diagram showing the structure of a virtual fire extinguisher simulation apparatus according to another embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those of ordinary skill in the art can easily implement them. However, the present invention may be embodied in various different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated.

본 명세서에서 단수로 기재된 표현은 "하나" 또는 "단일" 등의 명시적인 표현을 사용하지 않은 이상, 단수 또는 복수로 해석될 수 있다.In the present specification, expressions described in the singular may be construed in the singular or plural unless an explicit expression such as “a” or “single” is used.

이하, 본 발명의 실시 예에 따른 가상 소화기 시뮬레이션 장치 및 방법에 대하여 설명한다. Hereinafter, a virtual fire extinguisher simulation apparatus and method according to an embodiment of the present invention will be described.

도 1은 본 발명의 실시 예에 따른 가상 소화기 시뮬레이션 장치를 나타낸 도이다. 1 is a view showing a virtual fire extinguisher simulation apparatus according to an embodiment of the present invention.

첨부한 도 1에서와 같이, 본 발명의 실시 예에 따른 가상 소화기 시뮬레이션 장치(100)는 가상 소화기(10), 센서부(20), 추적부(30), 햅틱 액츄에이터(haptic actuator)(40), 제어부(50) 및 통신부(60)를 포함하며, 이러한 가상 소화기 시뮬레이션 장치(100)는 HMD(head-mounted display) 장치(200)와 통신한다. 1, the virtual fire extinguisher simulation apparatus 100 according to an embodiment of the present invention includes a virtual fire extinguisher 10, a sensor unit 20, a tracking unit 30, and a haptic actuator 40. , a control unit 50 and a communication unit 60 , and such a virtual fire extinguisher simulation device 100 communicates with a head-mounted display (HMD) device 200 .

가상 소화기(10)는 가상 현실 소화기라고도 명명된다. 가상 소화기(10)의 상측에 분무 레버(discharge lever)(11), 캐리 레버(carry lever)(12)가 구비되어 있으며, 또한 상측에 분무 호스(discharge hose)(13)가 구비되어 있고, 분무 호스(13)의 끝에 노즐이 형성되어 있으며, 다만 분무 호스(13)를 통해 소화약제가 분출되지는 않는다. 이러한 가상 소화기(10)는 통상적인 소화기의 외형과 동일하거나 유사한 형태로 구현될 수 있으며, 특정 위치에 고정되지 않고 이동이 자유로울 수 있다. The virtual fire extinguisher 10 is also called a virtual reality fire extinguisher. A spray lever 11 and a carry lever 12 are provided on the upper side of the virtual fire extinguisher 10, and a discharge hose 13 is provided on the upper side, and spray A nozzle is formed at the end of the hose 13, but the extinguishing agent is not ejected through the spray hose 13. Such a virtual fire extinguisher 10 may be implemented in the same or similar shape to that of a conventional fire extinguisher, and may be freely moved without being fixed in a specific position.

센서부(20)는 복수의 센서를 포함하며, 구체적으로, 센서부(20)는 제1 센서(21), 제2 센서(22), 제3 센서(23)를 포함한다. 제1 센서(21)는 분무 호스(13)의 상측에 배치되고, 제2 센서(22)는 분무 호스(13)의 상측과 하측 사이의 중간에 배치되며, 제1 센서(21)와 제2 센서(22)는 분무 호스(13)의 움직임을 측정하여 대응하는 제1 센싱 데이터를 제어부(50)로 제공한다. 제3 센서(23)는 분무 호스(13)의 노즐에 배치되어 노즐의 움직임을 측정하여 대응하는 제2 센싱 데이터를 제어부(50)로 제공한다. 이러한 센서들은 9 자유도(nine-degree of freedom) IMU(Inertial Measurement Unit) 센서일 수 있으며, 3개의 센서를 사용하는 것을 예로 들었으나, 이에 한정되지는 않는다. The sensor unit 20 includes a plurality of sensors, and specifically, the sensor unit 20 includes a first sensor 21 , a second sensor 22 , and a third sensor 23 . The first sensor 21 is disposed on the upper side of the spray hose 13 , and the second sensor 22 is disposed halfway between the upper and lower sides of the spray hose 13 , and the first sensor 21 and the second The sensor 22 measures the movement of the spray hose 13 and provides corresponding first sensing data to the control unit 50 . The third sensor 23 is disposed on the nozzle of the spray hose 13 to measure the movement of the nozzle and provide corresponding second sensing data to the controller 50 . These sensors may be nine-degree of freedom (IMU) Inertial Measurement Unit (IMU) sensors, including but not limited to using three sensors.

추적부(30)는 가상 소화기(10)의 움직임을 추적하여 대응하는 추적 데이터를 제어부(50)로 제공한다. 추적부(30)로서 VIVE에서 제공된 HMD 추적기(tracker)가 가상 소화기(10)의 움직임 즉, 위치와 자세를 추정하는데 사용될 수 있다. 추적부(30)에 의해 가상 소화기(10)의 레버(11, 12)의 조작 여부를 측정할 수 있다. 또는 별도의 센서를 이용하여 레버(11, 12)의 조작 여부를 측정할 수 있거나 또는 카메라를 이용하여 레버(11, 12)의 조작 여부를 측정할 수 있다. The tracking unit 30 tracks the movement of the virtual fire extinguisher 10 and provides corresponding tracking data to the control unit 50 . As the tracker 30 , an HMD tracker provided by VIVE may be used to estimate the movement of the virtual fire extinguisher 10 , that is, the position and posture. It is possible to measure whether the levers 11 and 12 of the virtual fire extinguisher 10 are operated by the tracking unit 30 . Alternatively, the operation of the levers 11 and 12 may be measured using a separate sensor, or whether the levers 11 and 12 are operated may be measured using a camera.

햅틱 액츄에이터(40)는 소화기의 작동에 따른 햅틱 피드백(haptic feedback)을 제공한다. 본 발명의 실시 예에서 햅틱 액츄에이터(40)는 2가지 유형의 햅틱 피드백을 제공한다. 제1 햅틱 피드백은 분무 호스(13)의 노즐을 통한 공기 흐름(air flow) 특히, 갑작스러운 공기 흐름이다. 공기 흐름은 설정 상태에서(예를 들어, 화재 진압 프로세스의 시작시 사용자가 처음으로 가상 소화기(10)의 레버(11, 12)를 쥘 때) 분무 호스(13)의 노즐 끝으로부터 호스 전체에 대한 순간적인 움직임(momentary jerk)을 제공한다. 제2 햅틱 피드백은 공기/탄소 입자의 흐름으로 인한 지속적인 진동이다. 제1 햅틱 피드백에 따른 순간적인 움직임은 가상 소화기(10)의 레버(11, 12)를 쥘 때의 순간적인 운동 감각 피드백의 형태이며, 제2 햅틱 피드백에 따른 지속적인 진동은 촉각 피드백의 형태이다. The haptic actuator 40 provides haptic feedback according to the operation of the fire extinguisher. In an embodiment of the present invention, the haptic actuator 40 provides two types of haptic feedback. The first haptic feedback is an air flow through the nozzle of the spray hose 13 , in particular an abrupt air flow. Airflow flows from the nozzle end of the spray hose 13 to the entire hose in a set state (eg, when the user first grips the levers 11 and 12 of the virtual fire extinguisher 10 at the start of the fire suppression process). Provides a momentary jerk. The second haptic feedback is a continuous vibration due to the flow of air/carbon particles. The instantaneous movement according to the first haptic feedback is in the form of instantaneous kinesthetic feedback when the levers 11 and 12 of the virtual fire extinguisher 10 are held, and the continuous vibration according to the second haptic feedback is in the form of tactile feedback.

도 2는 본 발명의 실시 예에 따른 햅틱 액츄에이터의 구조를 나타낸 도이며, 도 3은 본 발명의 실시 예에 따른 햅틱 액츄에이터의 구체적인 구현 및 동작 예를 나타낸 도이다. 2 is a diagram illustrating a structure of a haptic actuator according to an embodiment of the present invention, and FIG. 3 is a diagram illustrating a specific implementation and operation example of the haptic actuator according to an embodiment of the present invention.

사용자가 이러한 햅틱 피드백에 따른 공기 흐름에 따른 순간적인 움직임과 지속적인 진동을 인식할 수 있도록, 햅틱 액츄에이터(40)는 제1 햅틱 피드백을 제공하는 제1 액츄에이터(41)와 제2 햅틱 피드백을 제공하는 제2 액츄에이터(42)를 포함한다. In order for the user to recognize the instantaneous movement and continuous vibration according to the air flow according to the haptic feedback, the haptic actuator 40 provides the first actuator 41 providing the first haptic feedback and the second haptic feedback. and a second actuator 42 .

제1 액츄에이터(41)는 공압 근육(air muscle)(411)을 포함한다. 공압 근육(411)은 고무 튜브를 고강성의 플라스틱 그물망이 감싸고 있는 구조로 이루어지며, 공기의 압력을 높이면 근육이 수축(길이가 짧아짐)되어, 사용자가 가상 소화기(10)의 레버(11, 12)를 쥘 때 순간적인 움직임을 생성한다. 이를 위해, 제1 액츄에이터(41)는 공기를 공급하는 압축 공기 공급원(Air supply)(412) 그리고 압축 공기 공급원(412)과 공압 근육(411) 사이에 위치되어 인가되는 제어 신호에 따라 개폐되는 공압식 밸브(413)를 포함하며, 압축 공기 공급원(412)으로부터 공압식 밸브(413)로 전달되는 공기의 양을 조절하는 레귤레이터(414)를 더 포함할 수 있다. The first actuator 41 comprises an air muscle 411 . The pneumatic muscle 411 has a structure in which a rubber tube is surrounded by a high-rigidity plastic mesh, and when the air pressure is increased, the muscle is contracted (shortened in length), and the user uses the levers 11 and 12 of the virtual fire extinguisher 10 ) creates a momentary movement when gripping. To this end, the first actuator 41 is located between the compressed air supply 412 and the compressed air supply 412 and the pneumatic muscle 411 for supplying air, and is a pneumatic type that opens and closes according to an applied control signal. It includes a valve 413 and may further include a regulator 414 for regulating the amount of air delivered from the compressed air source 412 to the pneumatic valve 413 .

공압식 밸브(413)는 제1 압력 밸브(4131)와 제2 압력 밸브(4132)를 포함한다. 제1 압력 밸브(4131)는 양압 밸브(positive pressure valve)이며, 제2 압력 밸브(4132)는 음압 밸브(negative pressure valve)이다. 제어부(50)로부터의 제어 신호에 따라 제1 압력 밸브(4131)와 제2 압력 밸브(4132)가 구동되어 압축 공기 공급원(412)으로부터의 공기 흐름이 공압 근육(411)으로 제공되어 순간적인 움직임인 운동 감각 피드백이 제공된다. 이러한 제1 압력 밸브(4131)와 제2 압력 밸브(4132)는 도 1에서, 화살표로 표시된 부분에 위치되어 공기 흐름을 분무 호스(13) 내부에 위치된 공압 근육(411)로 제공할 수 있다. The pneumatic valve 413 includes a first pressure valve 4131 and a second pressure valve 4132 . The first pressure valve 4131 is a positive pressure valve, and the second pressure valve 4132 is a negative pressure valve. According to the control signal from the control unit 50, the first pressure valve 4131 and the second pressure valve 4132 are driven so that the air flow from the compressed air supply source 412 is provided to the pneumatic muscle 411 to provide instantaneous movement. A kinesthetic feedback is provided. The first pressure valve 4131 and the second pressure valve 4132 may be located in the portion indicated by the arrow in FIG. 1 to provide air flow to the pneumatic muscle 411 located inside the spray hose 13 . .

한편, 제2 액츄에이터(42)는 펄스폭 변조 신호에 의해 구동되어 작동 전반에 걸쳐 공기 흐름의 센세이션(sensation)을 생성하여 지속적인 진동 피드백을 제공하며, 햅츄에이터(Haptuator)로 이루어질 수 있다. 예를 들어, 제2 액츄에이터(42)는 498Hz 펄스폭 변조 신호에 의해 구동되어 진동에 따른 촉각 피드백을 생성할 수 있다. On the other hand, the second actuator 42 is driven by a pulse width modulated signal to generate a sensation of air flow throughout the operation to provide continuous vibration feedback, and may be made of a haptuator. For example, the second actuator 42 may be driven by a 498 Hz pulse width modulated signal to generate tactile feedback according to vibration.

이러한 구조로 이루어지는 햅틱 액츄에이터(40)의 구체적인 구현 예를 살펴보면, 도 3에 도시되어 있듯이, 제1 액츄에이터(41)의 공압 근육(411)이 분무 호스(13) 내부에 형성되고, 제2 액츄에이터(42)이 분무 호스(13)의 노즐 부위에 형성될 수 있다. Looking at a specific implementation example of the haptic actuator 40 having this structure, as shown in FIG. 3 , the pneumatic muscle 411 of the first actuator 41 is formed inside the spray hose 13, and the second actuator ( 42 may be formed in the nozzle portion of the spray hose 13 .

공압 근육(411)이 고무 튜브를 고강성의 플라스틱 그물망이 감싸고 있는 구조로 이루어지며, 일반적인 상태(normal state)에서 공압 근육(411)은 도 3의 (a)와 같은 형태를 유지하며, 제1 액츄에이터(41)의 작동시 즉, 제1 액츄에이터(41)의 공압식 밸브(413)를 통해 공기가 제공되어 압력이 높아지면 길이가 짧아지면서 도 3의 (b)와 같이 부푼 상태(inflated state)가 된다. 이에 따라 사용자가 가상 소화기(10)의 레버(11, 12)를 쥘 때 순간적인 움직임인 운동 감각 피드백이 사용자에게 제공된다. The pneumatic muscle 411 is made of a structure in which a high-rigidity plastic mesh surrounds the rubber tube, and in a normal state, the pneumatic muscle 411 maintains the same shape as in FIG. 3 (a), and the first When the actuator 41 is operated, that is, when air is provided through the pneumatic valve 413 of the first actuator 41 and the pressure increases, the length is shortened and the inflated state as shown in FIG. do. Accordingly, when the user holds the levers 11 and 12 of the virtual fire extinguisher 10, kinesthetic feedback, which is an instantaneous movement, is provided to the user.

이러한 구조로 이루어지는 제1 액츄에이터(41)의 공압식 밸브(413)와 제2 액츄에이터(42)는 서로 동기화되어 동시에 운동 감각 피드백과 촉각 피드백을 동시에 제공할 수 있다. The pneumatic valve 413 and the second actuator 42 of the first actuator 41 having such a structure may be synchronized with each other to provide kinesthetic feedback and tactile feedback at the same time.

한편, 제어부(50)는 추적부(30)로부터 제공되는 추적 데이터에 따라 가상 소화기(10)의 움직임 즉, 위치와 자세를 추정하며, 센서부(20)로부터 제공되는 센싱 데이터에 따라 가상 소화기(10)의 분무 호스(13) 및/또는 노즐의 움직임 즉, 위치와 자세를 추정하고, 추정 결과를 통신부(60)를 통하여 HMD 장치(200)로 제공한다. 제어부(50)는 센서부(20)로부터 제공되는 데이터를 이용하여 IMU 센서 기반 운동학적 체인 포즈 추정 방법에 따라 분무 호스(13) 및/또는 노즐의 위치와 자세를 추정할 수 있다. On the other hand, the control unit 50 estimates the movement, that is, the position and posture of the virtual fire extinguisher 10 according to the tracking data provided from the tracking unit 30, and according to the sensing data provided from the sensor unit 20, the virtual fire extinguisher ( 10), the movement of the spray hose 13 and/or the nozzle is estimated, that is, the position and posture, and the estimation result is provided to the HMD device 200 through the communication unit 60 . The controller 50 may estimate the position and posture of the spray hose 13 and/or the nozzle according to the IMU sensor-based kinematic chain pose estimation method using data provided from the sensor unit 20 .

또한, 제어부(50)는 사용자가 가상 소화기(10)를 작동시키는 것으로 판단되면 제어 신호를 생성하여 햅틱 액츄에이터(40)로 제공하도록 구성된다. 예를 들어, 사용자가 가상 소화기(10)의 레버(11, 12)를 꽉 쥐면, 레버(11, 12)에 위치된 스위치(도시되지 않음)가 작동되고, 이러한 스위치 작동에 따라 제어부(50)는 사용자가 가상 소화기(10)를 작동시킨 것으로 판단하고, 제1 제어 신호 및 제2 제어 신호를 제1 액츄에이터(41) 및 제2 액츄에이터(42)로 각각 제공할 수 있다. In addition, when it is determined that the user operates the virtual fire extinguisher 10 , the control unit 50 is configured to generate a control signal and provide it to the haptic actuator 40 . For example, when the user grips the levers 11 and 12 of the virtual fire extinguisher 10, a switch (not shown) located on the levers 11 and 12 is operated, and according to the operation of the switch, the control unit 50 may determine that the user has operated the virtual fire extinguisher 10 , and provide the first control signal and the second control signal to the first actuator 41 and the second actuator 42 , respectively.

통신부(60)는 HMD 장치(200)와의 통신을 수행하며, 이외에도 외부의 다른 장치와의 통신을 수행할 수 있다. 또는 통신부(60)는 센서부(20) 및 추적부(30)와의 내부 통신을 수행하여 측정되는 데이터를 제어부(50)로 전달할 수도 있다. The communication unit 60 may communicate with the HMD device 200 and may also communicate with other external devices. Alternatively, the communication unit 60 may transmit data measured by performing internal communication with the sensor unit 20 and the tracking unit 30 to the control unit 50 .

이러한 제어부(50) 및 통신부(60)는 가상 소화기(10)의 내부에 형성될 수 있다. The control unit 50 and the communication unit 60 may be formed inside the virtual fire extinguisher 10 .

다음에는 이러한 구조로 이루어지는 가상 소화기 시뮬레이션 장치를 이용하여 본 발명의 실시 예에 따른 시뮬레이션 방법에 대하여 설명한다. Next, a simulation method according to an embodiment of the present invention using a virtual fire extinguisher simulation device having such a structure will be described.

도 4는 본 발명의 실시 예에 따른 가상 소화기 시뮬레이션 방법의 흐름도이며, 도 5는 본 발명의 실시 예에 따른 가상 소화기 시뮬레이션에 따른 화재 진압 과정을 나타낸 예시도이다. 4 is a flowchart of a virtual fire extinguisher simulation method according to an embodiment of the present invention, and FIG. 5 is an exemplary view illustrating a fire suppression process according to a virtual fire extinguisher simulation according to an embodiment of the present invention.

첨부한 도 4에서와 같이, 사용자는 HMD 장치(200)를 장착한 상태에서 화재 진압을 위한 시뮬레이션이 시작되면(S100), 시뮬레이션을 통해 사용자는 가상 소화기(10)가 실제 객체인 것처럼 가상 공간 상에서 상호작용할 수 있다. 사용자는 HMD 장치(200)를 통해 실시간으로 시각적 정보를 받게 된다. As shown in the attached FIG. 4 , when the simulation for fire suppression starts while the user is wearing the HMD device 200 ( S100 ), through the simulation, the user can use the virtual fire extinguisher 10 as a real object in the virtual space. can interact The user receives visual information in real time through the HMD device 200 .

이러한 상태에서, 첨부한 도 5에 예시된 바와 같이, 화재가 발생한 상황이 시각적으로 제공되어 사용자가 가상 소화기(10)를 조작하면, 추적부(30)의 추적 데이터에 따라 제어부(50)가 가상 소화기(10)의 위치와 자세를 추정하고(S110), 센서부(20)의 센싱 데이터에 따라 제어부(50)가 가상 소화기(10)의 분무 호스(13) 및 노즐의 위치와 자세를 추정한다(S120).In this state, as illustrated in the attached FIG. 5 , when the user operates the virtual fire extinguisher 10 as a situation in which a fire has occurred is provided visually, the control unit 50 performs a virtual operation according to the tracking data of the tracking unit 30 . The position and posture of the fire extinguisher 10 are estimated (S110), and the control unit 50 estimates the position and posture of the spray hose 13 and the nozzle of the virtual fire extinguisher 10 according to the sensing data of the sensor unit 20 (S120).

제어부(50)에 의해 추정된 추정 결과는 통신부(60)를 통해 HMD 장치(200)로 전송되며, 이에 따라 HMD 장치(10)에서 가상 소화기(10)의 움직임 및 분무 호스(13) 및 노즐의 움직임이 시각화된다(S130). 예를 들어, 가상 현실 환경에서 Obi Rope 와 같은 가상 로프 시뮬레이션 프로그램을 통하여 현실성 있게 렌더링 되어 시각화될 수 있다. The estimation result estimated by the control unit 50 is transmitted to the HMD device 200 through the communication unit 60, and accordingly, the movement of the virtual fire extinguisher 10 and the spray hose 13 and nozzle in the HMD device 10 The movement is visualized (S130). For example, it can be realistically rendered and visualized through a virtual rope simulation program such as Obi Rope in a virtual reality environment.

또한, 사용자가 가상 소화기(10)의 레버(11, 12)를 꽉 쥐어 가상 소화기(10)를 작동시키는 것으로 판단되면, 제어부(50)는 제1 제어 신호를 제1 액츄에이터(41)로 제공하여 순간적인 운동 감각 피드백이 생성되도록 한다(S140). 그리고 제어부(50)는 제2 제어 신호를 제2 액츄에이터(42)로 제공하여 촉각 피드백이 이 생성되도록 한다(S150). 이러한 단계(S140, S150)들은 서로 동기화되어 동시에 수행될 수 있다. In addition, when it is determined that the user operates the virtual fire extinguisher 10 by squeezing the levers 11 and 12 of the virtual fire extinguisher 10, the control unit 50 provides a first control signal to the first actuator 41 to Instantaneous kinesthetic feedback is generated (S140). Then, the controller 50 provides the second control signal to the second actuator 42 so that tactile feedback is generated (S150). These steps (S140, S150) may be performed simultaneously in synchronization with each other.

이에 따라 도 5에 예시된 바와 같이, 사용자는 HMD 장치(200)를 통해 시각화된 가상 환경에서 가상 소화기(10)를 통해 소화약제가 연소 대상으로 방출될 때, 가상 소화기(10)를 통해 제공되는 순간적인 운동 감각 피드백과 진동에 따른 촉각 피드백을 통해 가상 소화기(10)가 실제로 작동되는 것과 같은 현실적 감각을 느끼면서, 가상 환경에서 화재를 진압하는 것을 체험할 수 있다. Accordingly, as illustrated in FIG. 5 , when the fire extinguishing agent is released to the combustion target through the virtual fire extinguisher 10 in the virtual environment visualized through the HMD device 200 , the user is provided through the virtual fire extinguisher 10 . Through the instantaneous kinesthetic feedback and the tactile feedback according to vibration, it is possible to experience extinguishing a fire in a virtual environment while feeling a realistic sense as if the virtual fire extinguisher 10 is actually operated.

이러한 본 발명의 실시 예에 따르면, 가상 소화기, 호스의 움직임 추적, 햅틱 피드백 등을 기반으로 가상 소화기가 실제 객체인 것처럼 가상 공간 상의 모델과 상호작용할 수 있다. According to this embodiment of the present invention, it is possible to interact with the model in the virtual space as if the virtual fire extinguisher is a real object based on the virtual fire extinguisher, hose motion tracking, haptic feedback, and the like.

도 6은 본 발명의 다른 실시 예에 따른 가상 소화기 시뮬레이션 장치의 구조를 나타낸 도이다. 6 is a diagram showing the structure of a virtual fire extinguisher simulation apparatus according to another embodiment of the present invention.

첨부한 도 6에 도시되어 있듯이, 본 발명의 다른 실시 예에 따른 가상 소화기 시뮬레이션 장치(300)는, 프로세서(310), 메모리(320), 입력 인터페이스 장치(330), 출력 인터페이스 장치(340), 네트워크 인터페이스 장치(350) 및 저장 장치(360)를 포함하며, 이들은 버스(370)를 통해 통신할 수 있다. 6, the virtual fire extinguisher simulation device 300 according to another embodiment of the present invention includes a processor 310, a memory 320, an input interface device 330, an output interface device 340, network interface device 350 and storage device 360 , which may communicate via bus 370 .

프로세서(310)는 위의 도 1 내지 도 5를 토대로 설명한 방법들을 구현하도록 구성될 수 있다. 예를 들어, 프로세서(310)는 제어부의 기능을 수행하도록 구성될 수 있다. The processor 310 may be configured to implement the methods described with reference to FIGS. 1 to 5 above. For example, the processor 310 may be configured to perform a function of a control unit.

프로세서(310)는 중앙 처리 장치(CPU)이거나, 또는 메모리(320) 또는 저장 장치(360)에 저장된 명령을 실행하는 반도체 장치일 수 있다. The processor 310 may be a central processing unit (CPU) or a semiconductor device that executes instructions stored in the memory 320 or the storage device 360 .

메모리(320)는 프로세서(310)와 연결되고 프로세서(310)의 동작과 관련한 다양한 정보를 저장한다. 메모리(320)는 프로세서(310)에서 수행하기 위한 명령어를 저장하고 있거나 저장 장치(360)로부터 명령어를 로드하여 일시 저장할 수 있다. 프로세서(310)는 메모리(320)에 저장되어 있거나 로드된 명령어를 실행할 수 있다. 메모리는 ROM(321) 및 RAM(322)를 포함할 수 있다. The memory 320 is connected to the processor 310 and stores various information related to the operation of the processor 310 . The memory 320 may store instructions to be executed by the processor 310 or may temporarily store instructions by loading the instructions from the storage device 360 . The processor 310 may execute instructions stored in or loaded from the memory 320 . The memory may include a ROM 321 and a RAM 322 .

본 발명의 실시 예에서 메모리(320)/저장 장치(360)는 프로세서(310)의 내부 또는 외부에 위치할 수 있고, 이미 알려진 다양한 수단을 통해 프로세서(310)와 연결될 수 있다. 또한, 메모리(320)/저장 장치(360)는 예를 들어, 공유 공장 스토리지 및 제품 등록 데이터베이스 관리부의 기능을 수행하도록 구성될 수 있다. In an embodiment of the present invention, the memory 320/storage device 360 may be located inside or outside the processor 310 , and may be connected to the processor 310 through various known means. Further, the memory 320/storage device 360 may be configured to perform the functions of, for example, a shared factory storage and a product registration database manager.

입력 인터페이스 장치(330)는 입력되는 데이터를 제공받아 프로세서(310)로 전달하도록 구성될 수 있다. 예를 들어, 입력 인터페이스 장치(330)는 센서부, 추적부로부터의 데이터를 수신하여 프로세서(310)로 제공하도록 구성될 수 있다. 출력 인터페이스 장치(330)는 프로세서(310)의 처리 결과를 출력하도록 구성될 수 있다. 예를 들어, 프로세서(310)의 제어 신호를 햅틱 액츄에이터로 제공하도록 구성될 수 있다. The input interface device 330 may be configured to receive input data and transmit it to the processor 310 . For example, the input interface device 330 may be configured to receive data from the sensor unit and the tracking unit and provide it to the processor 310 . The output interface device 330 may be configured to output the processing result of the processor 310 . For example, it may be configured to provide a control signal of the processor 310 to a haptic actuator.

네트워크 인터페이스 장치(350)는 네트워크를 통해 입력되는 데이터를 제공받아 프로세서(310)로 전달하거나, 프로세서(310)의 처리 결과를 네트워크를 통해 다른 장치로 전송하도록 구성될 수 있다. 예를 들어, 네트워크 인터페이스 장치(350)는 HMD 장치의 통신을 수행하도록 구성될 수 있다. The network interface device 350 may be configured to receive data input through a network and transmit it to the processor 310 , or to transmit a processing result of the processor 310 to another device through a network. For example, the network interface device 350 may be configured to perform communication of the HMD device.

이러한 구조로 이루어지는 본 발명의 다른 실시 예에 따른 가상 소화기 시뮬레이션 장치(300)는 위의 실시 예에서 기술된 가상 소화기에 설치되어 햅틱 액츄에이터, 센서부, 추적부와 연계하여 위에 기술된 바와 같은 시뮬레이션을 수행할 수 있다. The virtual fire extinguisher simulation apparatus 300 according to another embodiment of the present invention having such a structure is installed in the virtual fire extinguisher described in the above embodiment and performs the simulation as described above in connection with the haptic actuator, the sensor unit, and the tracking unit. can be done

본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.The embodiment of the present invention is not implemented only through the apparatus and/or method described above, but a program for realizing a function corresponding to the configuration of the embodiment of the present invention, a recording medium in which the program is recorded, etc. Also, such an implementation can be easily implemented by those skilled in the art to which the present invention pertains from the description of the above-described embodiments.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improved forms of the present invention are also provided by those skilled in the art using the basic concept of the present invention as defined in the following claims. is within the scope of the right.

Claims (1)

가상 소화기 시뮬레이션 장치로서,
가상 소화기의 호스 내에 형성되어 있으며, 인가되는 제1 제어 신호에 따라 공기 흐름에 따른 운동 감각 피드백을 생성하도록 구성된 제1 액츄에이터 및 인가되는 제2 제어 신호에 따라 진동에 따른 촉각 피드백을 생성하도록 구성된 제2 액츄에이터를 포함하는 햅틱 액츄에이터;
상기 가상 소화기의 상기 호스의 움직임을 측정하도록 구성된 센서부; 및
상기 센서부로부터 측정된 데이터에 따라 상기 가상 소화기의 호스의 위치와 자세를 추정하여 상기 제1 제어 신호 및 상기 제2 제어 신호를 상기 제1 액츄에이터 및 상기 제2 액츄에이터로 각각 제공하도록 구성된 제어부
를 포함하는 시뮬레이션 장치.







A virtual fire extinguisher simulation device comprising:
a first actuator formed within the hose of the virtual fire extinguisher and configured to generate kinesthetic feedback according to vibration according to an applied second control signal and a first actuator configured to generate kinesthetic feedback according to an air flow according to a first applied control signal a haptic actuator comprising two actuators;
a sensor unit configured to measure the movement of the hose of the virtual fire extinguisher; and
A control unit configured to estimate the position and posture of the hose of the virtual fire extinguisher according to the data measured from the sensor unit and provide the first control signal and the second control signal to the first actuator and the second actuator, respectively
A simulation device comprising a.
KR1020200026613A 2020-03-03 2020-03-03 Apparatus and method for simulating interactive virtual-reality fire extinguisher with haptic feedback KR20210111542A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200026613A KR20210111542A (en) 2020-03-03 2020-03-03 Apparatus and method for simulating interactive virtual-reality fire extinguisher with haptic feedback

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200026613A KR20210111542A (en) 2020-03-03 2020-03-03 Apparatus and method for simulating interactive virtual-reality fire extinguisher with haptic feedback

Publications (1)

Publication Number Publication Date
KR20210111542A true KR20210111542A (en) 2021-09-13

Family

ID=77796881

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200026613A KR20210111542A (en) 2020-03-03 2020-03-03 Apparatus and method for simulating interactive virtual-reality fire extinguisher with haptic feedback

Country Status (1)

Country Link
KR (1) KR20210111542A (en)

Similar Documents

Publication Publication Date Title
Matsas et al. Design of a virtual reality training system for human–robot collaboration in manufacturing tasks
Boman International survey: Virtual-environment research
Lin et al. The effect of hand size and interaction modality on the virtual hand illusion
Slater et al. Steps and ladders in virtual reality
US6741911B2 (en) Natural robot control
JP6410378B1 (en) Fire extinguishing experience simulation system using VR, fire extinguisher for experience, and program
KR101338043B1 (en) Cognitive Rehabilitation System and Method Using Tangible Interaction
CN109144273B (en) Virtual fire experience method based on VR technology
Clark et al. On the role of wearable haptics for force feedback in teleimpedance control for dual-arm robotic teleoperation
JP4463120B2 (en) Imitation robot system and its imitation control method
Bloomfield et al. Virtual training via vibrotactile arrays
KR19990063940A (en) Model and control virtual environment controls
TW202101172A (en) Arm gaze-driven user interface element gating for artificial reality systems
JPWO2019059364A1 (en) Remote control manipulator system and control device
JP6730363B2 (en) Operation training system
WO2008065458A2 (en) System and method for moving real objects through operations performed in a virtual environment
TW202105129A (en) Artificial reality systems with personal assistant element for gating user interface elements
Fabiani et al. Human interface using the Rutgers Master II force feedback interface
Almeida et al. Towards natural interaction in immersive reality with a cyber-glove
Horie et al. Encounteredlimbs: A room-scale encountered-type haptic presentation using wearable robotic arms
Tanaka et al. Wearable haptic display for immersive virtual environment
Seo et al. Interactive virtual-reality fire extinguisher with haptic feedback
Hashimoto et al. TouchMe: An Augmented Reality Interface for Remote Robot Control.
Fani et al. Multi-cue haptic guidance through wearables for enhancing human ergonomics
KR20210111542A (en) Apparatus and method for simulating interactive virtual-reality fire extinguisher with haptic feedback