KR102167147B1

KR102167147B1 - Simulator and method to share training experience

Info

Publication number: KR102167147B1
Application number: KR1020190033337A
Authority: KR
Inventors: 황정훈; 김태근; 박종범; 원건; 원준희; 안재욱
Original assignee: 한국전자기술연구원; 주식회사 네비웍스
Priority date: 2018-03-29
Filing date: 2019-03-25
Publication date: 2020-10-16
Also published as: KR20190114801A

Abstract

본 발명은 훈련 경험을 공유하는 시뮬레이터 및 방법이 개시된다. 본 발명의 시뮬레이터는 영상을 출력하는 디스플레이부, 햅틱(haptic) 기술을 이용하여 햅틱 피드백을 출력하는 햅틱부, 가상환경에서 수행한 영상 및 햅틱 피드백이 연동된 훈련 데이터를 저장하는 저장부 및 저장부에 저장된 훈련 데이터가 재생되도록 디스플레이부 및 햅틱부를 제어하는 제어부를 포함한다.The present invention discloses a simulator and method for sharing training experience. The simulator of the present invention includes a display unit that outputs an image, a haptic unit that outputs haptic feedback using haptic technology, a storage unit and a storage unit that store training data linked to an image performed in a virtual environment and haptic feedback. And a control unit for controlling the display unit and the haptic unit to reproduce the training data stored in the device.

Description

Simulator and method to share training experience

본 발명은 시뮬레이션 기술에 관한 것으로, 더욱 상세하게는 숙련자의 훈련 경험이 포함된 훈련 데이터를 재생하여 복수의 훈련자들에게 훈련 경험을 체험시켜주는 훈련 경험을 공유하는 시뮬레이터 및 방법에 관한 것이다.The present invention relates to a simulation technology, and more particularly, to a simulator and a method for sharing a training experience that allows a plurality of trainees to experience the training experience by reproducing training data including the training experience of an expert.

일반적으로, 전문가의 기술을 습득하기 위해 훈련자들은 전문가가 직접 실행하는 것을 반복적으로 관찰하고, 전문가의 지도하에 훈련을 해본 후 전문가로부터 여러 가지 사항을 지적받고, 다시 시도하는 것을 반복한다. 그러나 이러한 경우에 전문가의 실행을 주로 시각적으로만 관찰하기 때문에 기술을 습득하기 위해 훈련자들은 실제 현장에서 별도의 시행착오를 겪어야 하는 문제점이 있다.In general, in order to acquire the skill of an expert, trainees repeatedly observe what the expert does, and after training under the expert's guidance, they are pointed out by experts and try again. However, in this case, since the execution of the expert is mainly observed only visually, there is a problem that the trainees have to undergo separate trial and error in the actual field in order to acquire the skill.

전술된 문제점을 해결하기 위해, 종래의 시뮬레이터는 가상환경에서 전문가의 기술 습득을 위한 훈련을 제공하였다. 하지만 이러한 시뮬레이터는 발생되는 시각 및 햅틱 현상을 훈련자에게 전달하는 것에 국한되어 왔다. 특히, 전문가의 경험을 훈련자에게 전달하는 데에 한계를 가지고 있다.In order to solve the above-described problem, the conventional simulator provides training for expert skill acquisition in a virtual environment. However, these simulators have been limited to delivering visual and haptic phenomena to the trainee. In particular, it has limitations in delivering expert experiences to trainees.

한국등록특허공보 제10-1390383호(2014.04.23.)Korean Registered Patent Publication No. 10-1390383 (2014.04.23.)

본 발명이 이루고자 하는 기술적 과제는 훈련 경험이 포함된 훈련 데이터를 재생하여 훈련자가 숙련자의 훈련 경험이 공유되도록 도와주는 훈련 경험을 공유하는 시뮬레이터 및 방법을 제공하는데 목적이 있다.It is an object of the present invention to provide a simulator and method for sharing training experiences that help trainees to share training experiences of skilled persons by reproducing training data including training experiences.

상기 목적을 달성하기 위해, 본 발명의 실시예에 따른 훈련 경험을 공유하는 시뮬레이터는 영상을 출력하는 디스플레이부, 햅틱(haptic) 기술을 이용하여 햅틱 피드백을 사용자에게 출력하는 햅틱부, 숙련자가 가상환경에서 수행한 영상 및 햅틱 피드백이 연동된 훈련 데이터를 저장하는 저장부, 상기 훈련 데이터를 상기 사용자에게 맞도록 상기 가상환경에서 수행되는 훈련의 종류 및 해당 훈련의 재생에 대한 제어를 설정하는 사용자 입력을 입력받는 입력부 및 상기 저장부에 저장된 훈련 데이터가 상기 사용자 입력에 따라 재생되도록 상기 디스플레이부 및 상기 햅틱부를 제어하는 제어부를 포함하되, 상기 사용자가 상기 사용자 입력을 설정하지 않은 경우, 상기 제어부는, 상기 사용자 입력에 의해 발생된 가상환경에서의 위치 및 햅틱 반응값을 연속적으로 저장시키고, 상기 저장된 정보를 역산하여 상기 사용자 입력을 추정하는 것을 특징으로 한다.In order to achieve the above object, a simulator for sharing training experience according to an embodiment of the present invention includes a display unit that outputs an image, a haptic unit that outputs haptic feedback to a user using haptic technology, and a virtual environment by a skilled person. A storage unit for storing training data in which the video and haptic feedback performed in the program are linked, and a user input for setting the type of training performed in the virtual environment and control for the playback of the training so that the training data fits the user. And a control unit for controlling the display unit and the haptic unit so that the training data stored in the input unit and the storage unit are played according to the user input, and when the user does not set the user input, the control unit A location in a virtual environment generated by a user input and a haptic response value are continuously stored, and the stored information is inverted to estimate the user input.

본 발명의 다른 실시예에 따른 훈련 경험을 공유하는 시뮬레이터는 영상을 출력하는 디스플레이부, 햅틱 기술을 이용하여 햅틱 피드백을 사용자에게 출력하는 햅틱부, 외부로부터 숙련자가 가상환경에서 수행한 영상 및 햅틱 피드백이 연동된 훈련 데이터를 수신하는 통신부, 상기 훈련 데이터를 상기 사용자에게 맞도록 상기 가상환경에서 수행되는 훈련의 종류 및 해당 훈련의 재생에 대한 제어를 설정하는 사용자 입력을 입력받는 입력부 및 상기 통신부로부터 수신된 훈련 데이터가 상기 사용자 입력에 따라 재생되도록 상기 디스플레이부 및 상기 햅틱부를 제어하는 제어부를 포함하되, 상기 사용자가 상기 사용자 입력을 설정하지 않은 경우, 상기 제어부는, 상기 사용자 입력에 의해 발생된 가상환경에서의 위치 및 햅틱 반응값을 연속적으로 저장시키고, 상기 저장된 정보를 역산하여 상기 사용자 입력을 추정하는 것을 특징으로 한다.A simulator for sharing a training experience according to another embodiment of the present invention includes a display unit that outputs an image, a haptic unit that outputs haptic feedback to a user using haptic technology, and an image and haptic feedback performed by an expert from the outside in a virtual environment. A communication unit that receives the interlocked training data, an input unit that receives a user input for setting the type of training performed in the virtual environment and control for the reproduction of the training so that the training data fits the user, and the communication unit And a control unit for controlling the display unit and the haptic unit so that the generated training data is reproduced according to the user input, and when the user does not set the user input, the control unit includes a virtual environment generated by the user input. It is characterized in that the location and haptic response values are continuously stored and the stored information is inverted to estimate the user input.

또한 상기 디스플레이부는, 사용자의 시선을 감지하는 트래킹부 및 상기 사용자의 시선 및 상기 훈련 데이터에 포함된 사용자의 시선이 동일하게 되도록 상기 훈련 데이터의 영상을 출력하는 영상 출력부를 포함하는 것을 특징으로 한다.In addition, the display unit may include a tracking unit that detects a user's gaze and an image output unit that outputs an image of the training data so that the user's gaze and the user's gaze included in the training data are the same.

또한 상기 햅틱부는, 상기 훈련 데이터에 포함된 사용자의 손에 대한 촉각, 질감 및 동작 중 적어도 하나를 재생하는 장갑, 상기 훈련 데이터에 포함된 사용자의 몸에 대한 역감, 질감 및 동작 중 적어도 하나를 재생하는 바디슈트, 상기 훈련 데이터에 포함된 의자의 진동 및 기울기를 재생하는 전동의자 및 상기 훈련 데이터에 포함된 조작 동작을 재생하는 조정기 중 둘 이상 포함하는 것을 특징으로 한다.In addition, the haptic unit reproduces at least one of a glove for reproducing at least one of a tactile sensation, a texture, and a motion for a user's hand included in the training data, and a force feeling for a user's body included in the training data, a texture, and a motion. It characterized in that it comprises at least two of the body suit for reproducing the vibration and inclination of the chair included in the training data, and an adjuster for reproducing the manipulation motion included in the training data.

또한 상기 제어부는, 상기 장갑, 상기 바디슈트, 상기 전동의자 및 상기 조정기를 개별 제어하는 것을 특징으로 한다.In addition, the control unit may individually control the gloves, the body suit, the electric chair, and the adjuster.

또한 상기 제어부는, 상기 디스플레이부 및 상기 햅틱부가 연동되도록 제어하거나, 개별 제어하는 것을 특징으로 한다.In addition, the control unit may control the display unit and the haptic unit to interlock or individually control the display unit.

또한 상기 제어부는, 상기 훈련 데이터의 동작 재생 범위를 선택적으로 설정하고, 상기 선택된 재생 범위만이 재생되도록 제어하는 것을 특징으로 한다.In addition, the controller may selectively set a motion reproduction range of the training data, and control to reproduce only the selected reproduction range.

또한 상기 제어부는, 상기 영상으로 인한 시각 반응 및 상기 햅틱 피드백으로 인한 힘촉각적 반응이 확대 또는 축소되도록 제어하는 것을 특징으로 한다.In addition, the control unit may control the visual response due to the image and the force-tactile response due to the haptic feedback to be enlarged or reduced.

또한 상기 제어부는, 상기 영상으로 인한 시각 반응 및 상기 햅틱 피드백으로 인한 힘촉각적 반응에 대한 시간의 배속이 조절되도록 제어하는 것을 특징으로 한다.In addition, the control unit is characterized in that the control to adjust the time double speed for the visual response due to the image and the tactile response due to the haptic feedback.

본 발명의 실시예에 따른 훈련 경험을 공유하는 방법은 시뮬레이터가 훈련 데이터를 사용자에게 맞도록 가상환경에서 수행되는 훈련의 종류 및 해당 훈련의 재생에 대한 제어를 설정하는 사용자 입력을 입력받는 단계, 상기 시뮬레이터가 기 저장된 가상환경에서 수행한 영상 및 햅틱 피드백이 연동된 훈련 데이터를 불러오는 단계, 상기 시뮬레이터가 상기 사용자 입력에 따라 상기 훈련 데이터가 재생되도록 디스플레이부 및 햅틱부를 제어하는 단계 및 상기 사용자가 상기 사용자 입력을 설정하지 않은 경우, 상기 시뮬레이터가 상기 사용자 입력에 의해 발생된 가상환경에서의 위치 및 햅틱 반응값을 연속적으로 저장시키고, 상기 저장된 정보를 역산하여 상기 사용자 입력을 추정하는 단계를 포함한다.The method of sharing training experience according to an embodiment of the present invention includes the steps of receiving a user input for setting a type of training performed in a virtual environment and a control for reproduction of the training so that the simulator fits the training data to the user, the Retrieving training data linked to an image and haptic feedback performed in a virtual environment in which a simulator is previously stored, controlling a display unit and a haptic unit so that the simulator plays the training data according to the user input, and the user And if the input is not set, the simulator continuously stores the position in the virtual environment and the haptic response value generated by the user input, and estimates the user input by inverting the stored information.

본 발명의 다른 실시예에 따른 훈련 경험을 공유하는 방법은 시뮬레이터가 훈련 데이터를 사용자에게 맞도록 가상환경에서 수행되는 훈련의 종류 및 해당 훈련의 재생에 대한 제어를 설정하는 사용자 입력을 입력받는 단계, 상기 시뮬레이터가 가상환경에서 수행한 영상 및 햅틱 피드백이 연동된 훈련 데이터를 외부로부터 수신하는 단계, 상기 시뮬레이터가 상기 사용자 입력에 따라 상기 훈련 데이터가 재생되도록 디스플레이부 및 햅틱부를 제어하는 단계 및 상기 사용자가 상기 사용자 입력을 설정하지 않은 경우, 상기 시뮬레이터가 상기 사용자 입력에 의해 발생된 가상환경에서의 위치 및 햅틱 반응값을 연속적으로 저장시키고, 상기 저장된 정보를 역산하여 상기 사용자 입력을 추정하는 단계를 포함한다.A method of sharing a training experience according to another embodiment of the present invention comprises the steps of receiving a user input for setting a type of training performed in a virtual environment and a control for reproduction of the training so that the simulator fits the training data to the user, Receiving training data in association with the image and haptic feedback performed by the simulator in the virtual environment from the outside, the simulator controlling the display unit and the haptic unit to reproduce the training data according to the user input, and the user If the user input is not set, the simulator continuously stores a location in a virtual environment and a haptic response value generated by the user input, and estimates the user input by inverting the stored information. .

본 발명에 따른 훈련 경험을 공유하는 시뮬레이터 및 방법은 기 저장된 숙련자의 훈련 경험이 포함된 훈련 데이터 또는 외부로부터 수신된 숙련자의 훈련 경험이 포함된 훈련 데이터를 재생하여 훈련자가 숙련자의 훈련 경험을 공유함으로써, 훈련 효과를 극대화할 수 있다.The simulator and method for sharing the training experience according to the present invention are provided by reproducing the training data including the training experience of the skilled person or training data received from the outside so that the trainee shares the training experience of the skilled person. , You can maximize the training effect.

이를 통해, 전문 기술이 필요한 다양한 분야에서 훈련자가 단시간에 숙련자의 훈련 경험을 익힐 수 있다. 특히, 본 발명은 시각 반응 및 힘촉각 반응이 동시에 반영된 훈련 경험을 제공할 수 있다.Through this, trainees in various fields requiring specialized skills can learn the training experience of skilled workers in a short time. In particular, the present invention can provide a training experience in which the visual response and the tactile response are simultaneously reflected.

도 1은 본 발명의 제1 실시예에 따른 시뮬레이션 시스템을 설명하기 위한 구성도이다.
도 2는 본 발명의 제2 실시예에 따른 시뮬레이션 시스템을 설명하기 위한 구성도이다.
도 3은 본 발명의 제3 실시예에 따른 시뮬레이션 시스템을 설명하기 위한 구성도이다.
도 4는 본 발명의 실시예에 따른 훈련용 시뮬레이터를 설명하기 위한 블록도이다.
도 5는 도 4의 디스플레이부를 설명하기 위한 블록도이다.
도 6은 도 4의 햅틱부를 설명하기 위한 블록도이다.
도 7은 본 발명의 실시예에 따른 훈련 경험을 공유하는 방법을 설명하기 위한 순서도이다.1 is a configuration diagram illustrating a simulation system according to a first embodiment of the present invention.
2 is a configuration diagram illustrating a simulation system according to a second embodiment of the present invention.
3 is a configuration diagram illustrating a simulation system according to a third embodiment of the present invention.
4 is a block diagram illustrating a training simulator according to an embodiment of the present invention.
5 is a block diagram illustrating a display unit of FIG. 4.
6 is a block diagram for explaining the haptic unit of FIG. 4.
7 is a flowchart illustrating a method of sharing a training experience according to an embodiment of the present invention.

이하 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 당업자에게 자명하거나 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. First of all, in adding reference numerals to elements of each drawing, note that the same elements are to have the same numerals as possible even if they are indicated on different drawings. In addition, in describing the present invention, when it is determined that a detailed description of a related known configuration or function is apparent to those skilled in the art or may obscure the subject matter of the present invention, the detailed description thereof will be omitted.

도 1은 본 발명의 제1 실시예에 따른 시뮬레이션 시스템을 설명하기 위한 구성도이고, 도 2는 본 발명의 제2 실시예에 따른 시뮬레이션 시스템을 설명하기 위한 구성도이며, 도 3은 본 발명의 제3 실시예에 따른 시뮬레이션 시스템을 설명하기 위한 구성도이다.1 is a configuration diagram illustrating a simulation system according to a first embodiment of the present invention, FIG. 2 is a configuration diagram illustrating a simulation system according to a second embodiment of the present invention, and FIG. It is a configuration diagram for explaining the simulation system according to the third embodiment.

도 1 내지 도 3은 시뮬레이션 시스템은 훈련 경험이 포함된 훈련 데이터를 재생하여 훈련자가 숙련자의 훈련 경험이 공유되도록 도와준다. 시뮬레이션 시스템은 훈련용 시뮬레이터(100)를 포함하고, 수집용 시뮬레이터(200) 및 관리서버(300)를 더 포함한다.The simulation systems of FIGS. 1 to 3 help trainees to share training experiences of skilled persons by reproducing training data including training experiences. The simulation system includes a training simulator 100, and further includes a collection simulator 200 and a management server 300.

훈련용 시뮬레이터(100)는 숙련자의 훈련 경험을 재생해주는 시뮬레이터로써, 훈련자에게 숙련자의 훈련 경험이 공유시켜준다. 여기서, 훈련 경험은 숙련자가 수행하는 가상현실의 시뮬레이션에 대한 훈련 과정을 의미하고, 바람직하게는 의료 수술, 차량 운전, 운동, 구조 훈련 등의 경험일 수 있다. 훈련용 시뮬레이터(100)는 영상으로 인한 시각적 반응 및 햅틱 피드백으로 인한 촉각, 역감 및 질감 중 적어도 하나의 반응에 대한 훈련 경험을 재생한다. 이 때, 훈련용 시뮬레이터(100)는 영상 및 햅틱 피드백이 서로 연동되도록 훈련 경험을 재생할 수 있다.The training simulator 100 is a simulator that reproduces the training experience of the expert, and the training experience of the expert is shared with the trainee. Here, the training experience means a training process for a virtual reality simulation performed by an expert, and may preferably be an experience such as medical surgery, vehicle driving, exercise, and rescue training. The training simulator 100 reproduces a training experience for at least one of a visual response due to an image and a tactile sensation, a force feeling, and a texture due to haptic feedback. In this case, the training simulator 100 may reproduce the training experience so that the image and the haptic feedback are interlocked with each other.

수집용 시뮬레이터(200)는 숙련자의 훈련 경험을 수집하여 훈련 데이터를 생성하는 시뮬레이터로써, 숙련자의 훈련 경험을 데이터화한다. 수집용 시뮬레이터(200)는 영상으로 인한 시각적 반응 및 햅틱 피드백으로 인한 촉각, 역감 및 질감 중 적어도 하나의 반응에 대한 훈련 과정을 수집한다. 이때 수집용 시뮬레이터(200)는 영상 및 햅틱 피드백이 서로 연동되도록 훈련 경험을 데이터화할 수 있다.The collection simulator 200 is a simulator that generates training data by collecting training experience of an expert, and converts training experience of an expert into data. The collection simulator 200 collects a training process for at least one of a visual response due to an image and a tactile sensation, an inverse feeling, and a texture due to haptic feedback. At this time, the collection simulator 200 may convert the training experience into data so that the image and the haptic feedback are interlocked with each other.

관리서버(300)는 복수의 훈련 데이터를 수집하고, 수집된 훈련 데이터를 저장 및 관리한다. 관리서버(300)는 다양한 종류의 시뮬레이션에 대한 훈련 데이터를 관리할 수 있다. 관리서버(300)는 데스크톱, 랩톱, 서버 컴퓨터, 클러스터 컴퓨터 등이 포함될 수 있다.The management server 300 collects a plurality of training data, and stores and manages the collected training data. The management server 300 may manage training data for various types of simulations. The management server 300 may include a desktop, a laptop, a server computer, a cluster computer, and the like.

여기서, 시뮬레이션 시스템은 훈련용 시뮬레이터(100), 수집용 시뮬레이터(200) 및 관리서버(300) 간의 통신을 연결해주는 통신망(400)이 구축된다. 통신망(400)은 백본망과 가입자망으로 구성될 수 있다. 백본망은 X.25 망, Frame Relay 망, ATM망, MPLS(Multi Protocol Label Switching) 망 및 GMPLS(Generalized Multi Protocol Label Switching) 망 중 하나 또는 복수의 통합된 망으로 구성될 수 있다. 가입자망은 FTTH(Fiber To The Home), ADSL(Asymmetric Digital Subscriber Line), 케이블망, 지그비(zigbee), 블루투스(bluetooth), Wireless LAN(IEEE 802.11b, IEEE 802.11a, IEEE 802.11g, IEEE 802.11n), Wireless Hart(ISO/IEC62591-1), ISA100.11a(ISO/IEC 62734), COAP(Constrained Application Protocol), MQTT(Multi-Client Publish/Subscribe Messaging), WIBro(Wireless Broadband), Wimax, 3G, HSDPA(High Speed Downlink Packet Access), 4G 및 차세대 통신망인 5G일 수 있다. 일부 실시예로, 통신망(400)은 인터넷망일 수 있고, 이동 통신망일 수 있다.Here, in the simulation system, a communication network 400 for connecting communication between the training simulator 100, the collection simulator 200 and the management server 300 is established. The communication network 400 may be composed of a backbone network and a subscriber network. The backbone network may be composed of one or more integrated networks of X.25 network, Frame Relay network, ATM network, Multi Protocol Label Switching (MPLS) network, and Generalized Multi Protocol Label Switching (GMPLS) network. Subscriber networks include FTTH (Fiber To The Home), ADSL (Asymmetric Digital Subscriber Line), cable network, zigbee, Bluetooth, Wireless LAN (IEEE 802.11b, IEEE 802.11a, IEEE 802.11g, IEEE 802.11n). ), Wireless Hart (ISO/IEC62591-1), ISA100.11a (ISO/IEC 62734), COAP (Constrained Application Protocol), MQTT (Multi-Client Publish/Subscribe Messaging), WIBro (Wireless Broadband), Wimax, 3G, It may be High Speed Downlink Packet Access (HSDPA), 4G and 5G, a next-generation communication network. In some embodiments, the communication network 400 may be an Internet network or a mobile communication network.

이하, 시뮬레이션 시스템의 다양한 실시예를 설명한다.Hereinafter, various embodiments of the simulation system will be described.

제1 실시예에 따른 제1 시뮬레이션 시스템(510)은 훈련용 시뮬레이터(100), 수집용 시뮬레이터(200) 및 관리서버(300)를 포함한다. 제1 시뮬레이션 시스템(510)의 훈련용 시뮬레이터(100)는 수집용 시뮬레이터(200) 및 관리서버(300) 중 적어도 하나로부터 훈련 데이터를 수신하고, 수신된 훈련 데이터에 대한 시뮬레이션을 재생한다. 여기서, 수집용 시뮬레이터(200)는 훈련 데이터를 훈련용 시뮬레이터(100)로 직접 전송하거나, 훈련 데이터를 관리서버(300)로 전송한다. 관리서버(300)는 훈련 데이터를 훈련용 시뮬레이터(100)로 전송한다. 이 때, 훈련용 시뮬레이터(100)는 수집용 시뮬레이터(200) 및 관리서버(300) 중 적어도 하나로 훈련 경험이 필요한 훈련 데이터를 요청하고, 요청된 훈련 데이터가 수신되면 훈련 데이터에 대한 시뮬레이션을 재생할 수 있다.The first simulation system 510 according to the first embodiment includes a training simulator 100, a collection simulator 200 and a management server 300. The training simulator 100 of the first simulation system 510 receives training data from at least one of the collection simulator 200 and the management server 300 and reproduces a simulation on the received training data. Here, the collection simulator 200 directly transmits the training data to the training simulator 100 or transmits the training data to the management server 300. The management server 300 transmits the training data to the training simulator 100. At this time, the training simulator 100 requests training data that requires training experience with at least one of the collection simulator 200 and the management server 300, and when the requested training data is received, the simulation for the training data can be reproduced. have.

제2 실시예에 따른 제2 시뮬레이션 시스템(530)은 훈련용 시뮬레이터(100) 및 수집용 시뮬레이터(200)를 포함한다. 제2 시뮬레이션 시스템(530)의 훈련용 시뮬레이터(100)는 수집용 시뮬레이터(200)로부터 훈련 데이터를 수신하고, 수신된 훈련 데이터에 대한 시뮬레이션을 재생한다. 이 때, 훈련용 시뮬레이터(100)는 수집용 시뮬레이터(200)로 훈련 경험이 필요한 훈련 데이터를 요청하고, 요청된 훈련 데이터가 수신되면 훈련 데이터에 대한 시뮬레이션을 재생할 수 있다.The second simulation system 530 according to the second embodiment includes a training simulator 100 and a collection simulator 200. The training simulator 100 of the second simulation system 530 receives training data from the collection simulator 200 and reproduces a simulation on the received training data. In this case, the training simulator 100 may request training data requiring training experience from the collection simulator 200, and when the requested training data is received, a simulation for the training data may be reproduced.

제3 실시예에 따른 제3 시뮬레이션 시스템(550)은 훈련용 시뮬레이터(100) 및 관리서버(300)를 포함한다. 제3 시뮬레이션 시스템(550)의 훈련용 시뮬레이터(100)는 관리서버(300)로부터 훈련 데이터를 수신하고, 수신된 훈련 데이터에 대한 시뮬레이션을 재생한다. 이 때, 훈련용 시뮬레이터(100)는 관리서버(300)로 훈련 경험이 필요한 훈련 데이터를 요청하고, 요청된 훈련 데이터가 수신되면 훈련 데이터에 대한 시뮬레이션을 재생할 수 있다.The third simulation system 550 according to the third embodiment includes a training simulator 100 and a management server 300. The training simulator 100 of the third simulation system 550 receives training data from the management server 300 and reproduces a simulation on the received training data. At this time, the training simulator 100 may request training data that requires training experience from the management server 300, and when the requested training data is received, a simulation of the training data may be reproduced.

제4 실시예에 따른 제4 시뮬레이션 시스템(미도시)은 훈련용 시뮬레이터(100)를 포함한다. 제4 시뮬레이션 시스템의 훈련용 시뮬레이터(100)는 외부 입력으로 기 저장된 훈련 데이터에 대한 시뮬레이션을 재생한다. 또한 훈련용 시뮬레이터(100)는 제1 시뮬레이션 시스템(510) 및 제2 시뮬레이션 시스템(530)의 수집용 시뮬레이터(200)의 기능을 포함하여 자체적으로 훈련 경험을 수집하여 훈련 데이터를 생성한 후, 생성된 훈련 데이터에 대한 시뮬레이션을 재생할 수 있다. A fourth simulation system (not shown) according to the fourth embodiment includes a training simulator 100. The training simulator 100 of the fourth simulation system reproduces a simulation on training data previously stored as an external input. In addition, the training simulator 100 generates training data by collecting training experience by itself, including the functions of the collection simulator 200 of the first simulation system 510 and the second simulation system 530, and then generates You can play the simulation on the training data.

전술된 바와 같이, 시뮬레이션 시스템은 다양한 구성으로 훈련 데이터에 대한 시뮬레이션을 재생하여 훈련자에게 숙련자의 훈련 경험을 공유시켜줄 수 있다. As described above, the simulation system can share the training experience of the skilled person with the trainee by playing the simulation on the training data in various configurations.

도 4 내지 도 6을 통해, 훈련용 시뮬레이터(이하, '시뮬레이터'라 함)를 보다 상세하게 설명한다. 도 4는 본 발명의 실시예에 따른 훈련용 시뮬레이터를 설명하기 위한 블록도이고, 도 5는 도 4의 디스플레이부를 설명하기 위한 블록도이며, 도 6은 도 4의 햅틱부를 설명하기 위한 블록도이다.4 to 6, a training simulator (hereinafter, referred to as'simulator') will be described in more detail. 4 is a block diagram illustrating a training simulator according to an embodiment of the present invention, FIG. 5 is a block diagram illustrating a display unit of FIG. 4, and FIG. 6 is a block diagram illustrating a haptic unit of FIG. 4. .

도 1 내지 도 6을 참조하면, 시뮬레이터(100)는 숙련자의 훈련 데이터를 재생하여 훈련자에게 제공함으로써, 훈련 효과를 극대화할 수 있다. 시뮬레이터(100)는 제어부(10), 디스플레이부(20) 및 햅틱부(30)를 포함하고, 저장부(40), 통신부(50) 및 입력부(60)를 더 포함한다.1 to 6, the simulator 100 reproduces training data of an expert and provides it to a trainee, thereby maximizing a training effect. The simulator 100 includes a control unit 10, a display unit 20, and a haptic unit 30, and further includes a storage unit 40, a communication unit 50, and an input unit 60.

디스플레이부(20)는 영상을 출력하여 가상환경을 시각으로 나타낸다. 또한 디스플레이부(20)는 사용자의 시각 반응을 측정할 수 있다. 디스플레이부(20)는 트래킹부(21) 및 영상 출력부(23)를 포함한다. 디스플레이부(20)는 트래킹부(21) 및 영상 출력부(23)가 일체형 또는 분리형일 수 있다. 바람직하게는, 디스플레이부(20)가 일체형인 경우, HMD(Head mounted Display)일 수 있으나, 이에 한정하지 않는다.The display unit 20 visually displays a virtual environment by outputting an image. In addition, the display unit 20 may measure a user's visual response. The display unit 20 includes a tracking unit 21 and an image output unit 23. In the display unit 20, the tracking unit 21 and the image output unit 23 may be integrated or separated. Preferably, when the display unit 20 is an integral type, it may be a head mounted display (HMD), but is not limited thereto.

트래킹부(21)는 사용자의 시선을 감지한다. 트래킹부(21)는 사용자 두부의 방향을 이용하여 사용자의 시선을 감지하거나, 사용자 눈동자의 방향을 추적하여 사용자의 시선을 감지할 수 있다. 트래킹부(21)는 시각 반응을 결정하는 최소 입력 파라미터만을 동기화하여 사용자의 시선을 감지하거나, 시각 반응 전체를 동기화하여 사용자의 시선을 감지할 수 있다. 이때 트래킹부(21)는 감지된 사용자의 시선을 데이터화할 수 있다. 트래킹부(11)는 자이로센서, 가속도센서, 기울기센서, 지자기센서, 적외선센서, 카메라 등을 포함할 수 있다. The tracking unit 21 detects the user's gaze. The tracking unit 21 may detect the user's gaze by using the direction of the user's head or track the direction of the user's pupils to detect the user's gaze. The tracking unit 21 may detect the user's gaze by synchronizing only the minimum input parameter that determines the visual response, or synchronize the entire visual response to detect the user's gaze. In this case, the tracking unit 21 may convert the detected user's gaze into data. The tracking unit 11 may include a gyro sensor, an acceleration sensor, a tilt sensor, a geomagnetic sensor, an infrared sensor, a camera, and the like.

영상 출력부(23)는 가상환경을 제공하기 위한 영상을 출력한다. 또한 영상 출력부(23)는 훈련 데이터와 동일한 시선이 유도되도록 영상을 재생할 수 있다. 즉, 훈련자의 시선 및 훈련 데이터에 포함된 숙련자의 시선이 동일하게 되도록 훈련 데이터의 영상을 출력할 수 있다. 이를 위해, 영상 출력부(23)는 훈련 데이터에 저장된 숙련자의 시선을 따라 특정 표시, 진동 등으로 훈련자의 시선을 유도할 수 있다.The image output unit 23 outputs an image for providing a virtual environment. In addition, the image output unit 23 may reproduce the image so that the same gaze as the training data is induced. That is, an image of the training data may be output so that the gaze of the trainee and the gaze of the expert included in the training data become the same. To this end, the image output unit 23 may induce the trainee's gaze with a specific display, vibration, etc. according to the gaze of the expert stored in the training data.

햅틱부(30)는 햅틱(haptic) 기술을 이용하여 햅틱 피드백을 출력한다. 햅틱부(30)는 가상환경의 촉각, 역감, 질감 및 동작 중 적어도 하나로 나타낸다. 또한 햅틱부(30)는 사용자의 햅틱 반응을 측정할 수 있다. 햅틱부(30)는 촉각, 역감, 질감 및 운동감을 결정하는 최소 입력 파라미터만을 동기화하여 햅틱 반응을 측정하거나, 햅틱 반응 전체를 동기화하여 측정하여 데이터화할 수 있다. 햅틱부(30)는 장갑(31), 바디슈트(33), 전동의자(35) 및 조정기(37) 중 둘 이상 포함한다. The haptic unit 30 outputs haptic feedback using haptic technology. The haptic unit 30 represents at least one of a sense of touch, a sense of force, a texture, and a motion of a virtual environment. In addition, the haptic unit 30 may measure a user's haptic response. The haptic unit 30 may measure a haptic response by synchronizing only a minimum input parameter that determines tactile sensation, force, texture, and motion, or synchronize and measure the entire haptic response to generate data. The haptic unit 30 includes two or more of the gloves 31, the body suit 33, the electric chair 35, and the adjuster 37.

장갑(31)은 사용자의 손에 착용되어 사용자의 손에 대한 촉각, 질감 및 동작 중 적어도 하나를 재생한다. 장갑(31)은 훈련 데이터와 동일한 동작을 재생한다. 이를 위해, 장갑(31)은 훈련 데이터의 동작을 재생하기 위해 손가락, 손바닥 등의 움직임을 제어해주는 가이드 모듈을 포함할 수 있다. 또한 장갑(31)은 훈련 데이터의 촉각, 질감을 재생하기 위해 내부에 감각 모듈을 포함할 수 있다. 이 때, 장갑(31)는 손가락 마디마다 촉각, 질감 및 동작 중 적어도 하나를 측정하는 센서를 포함하여 측정된 결과를 데이터화할 수 있다. The glove 31 is worn on the user's hand to reproduce at least one of tactile sensation, texture and motion of the user's hand. The gloves 31 reproduce the same movement as the training data. To this end, the glove 31 may include a guide module that controls movements of fingers and palms in order to reproduce the motion of training data. In addition, the glove 31 may include a sensory module therein to reproduce the tactile sense and texture of the training data. In this case, the glove 31 may include a sensor that measures at least one of tactile sensation, texture, and motion for each finger joint, and may convert the measured result into data.

바디슈트(33)는 사용자의 몸에 착용되어 사용자의 몸에 대한 역감, 질감 및 동작 중 적어도 하나를 재생한다. 바디슈트(33)는 훈련 데이터와 동일한 동작을 재생한다. 이를 위해, 바디슈트(33)는 훈련 데이터의 동작을 재생하기 위해 몸통, 팔, 다리, 목 등의 동작을 제어해주는 가이드 모듈을 포함할 수 있다. 또한 바디슈트(33)는 훈련 데이터의 역감, 질감을 재생하기 위해 내부에 감각 모듈을 포함할 수 있다. 이때 바디슈트(33)는 사용자의 몸통, 팔, 다리, 목 등의 동작을 측정하는 센서를 포함하여 측정된 결과를 데이터화할 수 있다. The body suit 33 is worn on the user's body and reproduces at least one of the user's body feeling, texture, and motion. The bodysuit 33 reproduces the same motion as the training data. To this end, the bodysuit 33 may include a guide module that controls motions of the trunk, arms, legs, and neck in order to reproduce the motion of the training data. In addition, the bodysuit 33 may include a sensory module therein to reproduce the force and texture of the training data. In this case, the bodysuit 33 may include a sensor for measuring motions of the user's torso, arms, legs, and neck, and may convert the measured results into data.

전동의자(35)는 사용자가 착석하는 의자로써, 훈련 과정에서 발생되는 의자의 진동 및 기울기를 재생한다. 전동의자(35)는 훈련 데이터와 동일한 동작을 재생한다. 이를 위해, 전동의자(35)는 훈련 데이터의 의자 상태를 재생하기 위해 진동 모듈, 모터 등을 포함할 수 있다. 또한 전동의자(35)는 의자 동작을 측정하는 센서를 일정한 간격으로 포함하여 측정된 결과를 데이터화할 수 있다. The electric chair 35 is a chair seated by the user, and reproduces the vibration and inclination of the chair generated during training. The electric chair 35 reproduces the same motion as the training data. To this end, the electric chair 35 may include a vibration module, a motor, or the like to reproduce the chair state of training data. In addition, the electric chair 35 may include a sensor for measuring the motion of the chair at regular intervals and convert the measured result into data.

조정기(37)는 사용자가 조작하는 기구로써, 조이스틱, 핸들, 페달 등이 포함된다. 조정기(37)는 훈련 과정에서 발생되는 조작 동작을 재생한다. 조정기(37)는 훈련 데이터와 동일한 동작을 재생한다. 이를 위해, 조정기(37)는 훈련 데이터의 조작 상태를 재생하기 위해 모터 등을 포함할 수 있다. 또한 조정기(35)는 사용자의 조작 동작을 측정하는 센서를 포함하여 측정된 결과를 데이터화할 수 있다. The adjuster 37 is a mechanism operated by the user, and includes a joystick, a handle, a pedal, and the like. The manipulator 37 reproduces the manipulating motion generated in the training process. The adjuster 37 reproduces the same motion as the training data. To this end, the adjuster 37 may include a motor or the like to reproduce the operation state of the training data. In addition, the adjuster 35 may include a sensor that measures a user's manipulation motion and converts the measured result into data.

저장부(40)는 통신부(50) 및 입력부(60)를 통해 수신되거나 입력된 훈련 데이터가 저장된다. 저장부(40)는 디스플레이부(20) 및 햅틱부(30)를 통해 측정된 훈련 데이터가 저장된다. 즉, 저장부(40)는 숙련자 및 훈련자가 수행한 가상환경에서의 훈련 데이터를 저장할 수 있다. 저장부(40)는 사용자별 훈련 데이터를 분류하여 저장하거나, 훈련 종류별 훈련 데이터를 분류하여 저장할 수 있다. 저장부(40)는 가상환경에 대한 시뮬레이션을 제공하는 시뮬레이션 프로그램이 저장될 수 있다. 여기서, 시뮬레이션 프로그램은 다양한 종류의 가상환경을 재연할 수 있다. 예를 들어, 시뮬레이션 프로그램은 자동차 운전, 제품 수리, 인명구조, 의료시술, 스포츠 등을 가상 시뮬레이션으로 재연할 수 있다. 저장부(40)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기메모리, 자기 디스크, 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다.The storage unit 40 stores training data received or input through the communication unit 50 and the input unit 60. The storage unit 40 stores training data measured through the display unit 20 and the haptic unit 30. That is, the storage unit 40 may store training data in a virtual environment performed by skilled and trainees. The storage unit 40 may classify and store training data for each user, or may classify and store training data for each type of training. The storage unit 40 may store a simulation program that provides a simulation for a virtual environment. Here, the simulation program can reproduce various types of virtual environments. For example, a simulation program can replay automobile driving, product repair, lifesaving, medical procedures, sports, and the like through virtual simulation. The storage unit 40 includes a flash memory type, a hard disk type, a media card micro type, a card type memory (eg, SD or XD memory, etc.), RAM (Random Access Memory, RAM), SRAM (Static Random Access Memory), ROM (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, It may include at least one storage medium of a magnetic disk and an optical disk.

통신부(50)는 외부로부터 가상환경에서 수행한 영상 및 햅틱 피드백이 연동된 훈련 데이터를 수신한다. 여기서, 외부는 수집용 시뮬레이터(200) 또는 관리서버(300)일 수 있다. 또한 통신부(50)는 관리서버(300)로 저장부(40)에 저장된 훈련 데이터 중 적어도 하나를 전송할 수 있다.The communication unit 50 receives training data in which an image performed in a virtual environment and haptic feedback are linked from the outside. Here, the outside may be a collection simulator 200 or a management server 300. In addition, the communication unit 50 may transmit at least one of training data stored in the storage unit 40 to the management server 300.

입력부(60)는 사용자 입력 또는 훈련 데이터를 입력받는다. 여기서, 사용자 입력은 사용자가 수행해야 하는 훈련의 종류 및 훈련에 대한 제어 설정을 포함할 수 있다. 즉, 사용자는 입력부(60)를 통해 가상환경에서 수행되는 훈련의 종류 및 해당 훈련의 재생에 대한 제어를 설정하는 사용자 입력을 입력할 수 있다. 한편, 디스플레이부(20)가 일체형인 HMD가 아닌 분리형이면서 영상 출력부(23)가 터치스크린 기능을 지원하는 경우, 입력부(60)는 영상 출력부(23)에 포함되어 별도로 구성하지 않을 수 있다.The input unit 60 receives user input or training data. Here, the user input may include a type of training to be performed by the user and a control setting for training. That is, the user may input a user input for setting the type of training performed in the virtual environment and control for the reproduction of the training through the input unit 60. On the other hand, when the display unit 20 is a separate type other than an integrated HMD and the image output unit 23 supports the touch screen function, the input unit 60 may be included in the image output unit 23 and may not be separately configured. .

제어부(10)는 저장부(40)에 저장된 훈련 데이터와 동일한 동작이 재생되도록 제어를 한다. 이를 통해, 제어부(10)는 숙련자의 훈련 경험이 훈련자에게 공유되도록 할 수 있다. 제어부(10)는 디스플레이부(20) 및 햅틱부(30)를 동시 제어하거나, 개별 제어할 수 있다. 또한 제어부(10)는 햅틱부(30)에 포함되는 장갑(31), 바디슈트(33), 전동의자(35) 및 조정기(37)를 독립적으로 개별 제어할 수 있다. The control unit 10 controls the same operation as the training data stored in the storage unit 40 to be reproduced. Through this, the control unit 10 may allow the training experience of the skilled person to be shared with the trainee. The controller 10 may control the display unit 20 and the haptic unit 30 at the same time or individually. In addition, the control unit 10 may independently individually control the gloves 31, the body suit 33, the electric chair 35, and the adjuster 37 included in the haptic unit 30.

또한 제어부(10)는 사용자 입력에 맞게 디스플레이부(20) 및 햅틱부(30)를 제어할 수 있다. 즉, 제어부(10)는 훈련 데이터의 동작 재생 범위를 선택적으로 설정하고, 선택된 재생 범위만이 재생되도록 제어한다. 제어부(10)는 영상으로 인한 시각 반응 및 햅틱 피드백으로 인한 힘촉각적 반응이 확대 또는 축소되어 재생되도록 제어한다. 여기서, 힘촉각적 반응은 위치(position), 회전(rotation), 힘(force), 속도(velocity) 등에 대한 반응을 의미한다. 제어부(90)는 영상으로 인한 시각 반응 및 햅틱 피드백으로 인한 에 대한 힘촉각적 반응에 시간의 배속이 조절되도록 제어한다. 또한 입력부(70)를 통해 추가적인 사용자 입력이 입력되는 경우, 제어부(90)는 추가된 사용자 입력에 포함된 훈련 경험이 재생되도록 제어한다.In addition, the controller 10 may control the display unit 20 and the haptic unit 30 according to a user input. That is, the control unit 10 selectively sets the motion reproduction range of the training data and controls only the selected reproduction range to be reproduced. The controller 10 controls the visual response due to the image and the force-tactile response due to the haptic feedback to be enlarged or reduced to be reproduced. Here, the tactile response means a response to position, rotation, force, and velocity. The control unit 90 controls the speed of time to be adjusted to the visual response due to the image and the force-tactile response to the haptic feedback. In addition, when an additional user input is input through the input unit 70, the control unit 90 controls the training experience included in the added user input to be reproduced.

한편, 제어부(90)는 사용자 입력에 해당되는 햅틱부(30)의 위치 값 또는 속도 값을 연속적으로 저장하는 동시에 가상환경 정보를 함께 저장할 수 있다. Meanwhile, the controller 90 may continuously store a position value or a velocity value of the haptic unit 30 corresponding to a user input and simultaneously store virtual environment information.

또한 사용자가 사용자 입력의 설정을 하지 않는 경우, 제어부(90)는 사용자 입력에 의해 발생된 가상환경에서의 위치 및 햅틱 반응 값을 연속적으로 저장시키고, 저장된 정보를 역산하여 사용자 입력을 추정할 수 있다.In addition, when the user does not set the user input, the control unit 90 may continuously store the location and haptic response value in the virtual environment generated by the user input, and estimate the user input by inverting the stored information. .

예를 들어 사용자와 사용자 입력을 입력한 사람이 서로 다른 경우 또는 사용자 입력이 기 저장된 설정으로 자동 진행되어 사용자 입력을 입력하는 단계가 생략된 경우, 사용자는 사용자 입력이 어떻게 설정되었는지 확인할 수 없어 수행되는 훈련 경험을 아무 생각 없이 수행하는 문제가 발생한다. 이러한 문제점을 해결하기 위해 제어부(90)는 사용자가 훈련 경험을 마친 후, 역산된 사용자 입력을 확인시켜줌으로써 사용자가 훈련 중에 해당 훈련이 어떤 훈련인지를 스스로 찾을 수 있도록 유도할 수 있다. 따라서 제어부(90)는 사용자가 사용자 입력의 설정을 하지 않더라도 사용자의 훈련 이해도를 높여 훈련 성과를 극대화시킬 수 있다.For example, if the user and the person who entered the user input are different, or if the user input is automatically proceeded to the pre-stored setting and the step of entering the user input is omitted, the user cannot check how the user input is set, The problem arises of carrying out the training experience without thinking. In order to solve this problem, the control unit 90 may induce the user to find out what type of training the user is during training by confirming the inverted user input after the user completes the training experience. Accordingly, even if the user does not set the user input, the control unit 90 can maximize the training performance by increasing the user's training understanding.

이하, 시뮬레이터(100)를 통해 훈련자가 숙련자의 훈련 경험을 공유하는 과정을 개시한다.Hereinafter, a process in which the trainee shares the training experience of the skilled person through the simulator 100 is started.

의료 훈련을 제공하는 경우, 시뮬레이터(100)는 숙련자가 수행한 의료 훈련에 대한 훈련 데이터를 불러온다. 이때 시뮬레이터(100)는 기 저장된 훈련 데이터를 불러오거나, 외부로부터 수신된 훈련 데이터를 불러올 수 있다. 시뮬레이터(100)는 불러온 훈련 데이터를 재생한다. 이때 훈련자는 숙련자가 훈련한 조건과 동일한 디스플레이부(20) 및 햅틱부(30)를 착용 또는 이용한 상태에서 훈련을 수행할 수 있다. 이를 통해, 훈련자는 숙련자가 수행한 의료 훈련 경험을 동일하게 체험함으로써, 훈련 효과를 극대화할 수 있다. 또한 훈련자는 숙련자의 훈련 데이터를 자기 자신에게 맞도록 가공하여 훈련 경험을 제공받을 수 있다. 예를 들면, 훈련자는 훈련 데이터 중 전체가 아닌 일부분에 대해서만 재생하여 해당 부분에 대한 훈련 경험만을 제공받거나, 시각 반응 및 힘촉각 반응을 확대/축소 또는 시간 배속할 수 있다.When providing medical training, the simulator 100 fetches training data for medical training performed by an expert. In this case, the simulator 100 may load previously stored training data or may load training data received from the outside. The simulator 100 reproduces the loaded training data. At this time, the trainee may perform training while wearing or using the display unit 20 and the haptic unit 30 identical to the conditions trained by the skilled person. Through this, the trainer can maximize the training effect by experiencing the same medical training experience performed by the skilled person. In addition, the trainee can be provided with training experience by processing the training data of skilled persons to suit themselves. For example, a trainee may play back only a part of the training data, not all, and receive only a training experience for that part, or may enlarge/reduce or time-rate the visual response and the tactile response.

운전 훈련을 제공하는 경우, 시뮬레이터(100)는 숙련자가 수행한 도로 주행 또는 차량 주차 등과 같은 운전 훈련에 대한 훈련 데이터를 불러온다. 이 때, 시뮬레이터(100)는 기 저장된 훈련 데이터를 불러오거나, 외부로부터 수신된 훈련 데이터를 불러올 수 있다. 시뮬레이터(100)는 불러온 훈련 데이터를 재생한다. 이 때, 훈련자는 숙련자가 훈련한 조건과 동일한 디스플레이부(20) 및 햅틱부(30)를 착용 또는 이용한 상태에서 훈련을 수행할 수 있다. 이를 통해, 훈련자는 숙련자가 수행한 운전 훈련 경험을 동일하게 체험함으로써, 훈련 효과를 극대화할 수 있다. 또한 훈련자는 숙련자의 훈련 데이터를 자기 자신에게 맞도록 가공하여 훈련 경험을 제공받을 수 있다. 예를 들면, 훈련자는 훈련 데이터 중 전체가 아닌 일부분에 대해서만 재생하여 해당 부분에 대한 훈련 경험만을 제공받거나, 시각 반응 및 힘촉각 반응을 확대/축소 또는 시간 배속할 수 있다.In the case of providing driving training, the simulator 100 fetches training data for driving training such as road driving or vehicle parking performed by an expert. In this case, the simulator 100 may load pre-stored training data or may load training data received from the outside. The simulator 100 reproduces the loaded training data. In this case, the trainee may perform training while wearing or using the display unit 20 and the haptic unit 30 identical to the conditions trained by the skilled person. Through this, the trainee can maximize the training effect by experiencing the same driving training experience performed by the skilled person. In addition, the trainee can be provided with training experience by processing the training data of skilled persons to suit themselves. For example, a trainee may play back only a part of the training data, not all, and receive only a training experience for that part, or may enlarge/reduce or time-rate the visual response and the tactile response.

한편, 시뮬레이터(100)는 숙련자의 훈련 데이터를 재생하는 것에 한정하지 않고, 훈련자의 훈련 데이터를 생성하여 생성된 훈련 데이터를 재생함으로써, 훈련자가 자기 자신에 대한 훈련 상태를 파악하여 보완할 부분을 인지할 수 있도록 지원할 수 있다.On the other hand, the simulator 100 is not limited to reproducing the training data of the skilled person, but by reproducing the generated training data by generating the training data of the trainee, the trainee recognizes the part to be supplemented by grasping the training state for himself. You can support to do it.

도 7은 본 발명의 실시예에 따른 훈련 경험을 공유하는 방법을 설명하기 위한 순서도이다.7 is a flowchart illustrating a method of sharing a training experience according to an embodiment of the present invention.

도 7을 참조하면, 훈련 경험을 공유하는 방법은 기 저장된 숙련자의 훈련 경험이 포함된 훈련 데이터 또는 외부로부터 수신된 숙련자의 훈련 경험이 포함된 훈련 데이터를 재생하여 훈련자가 숙련자의 훈련 경험을 공유함으로써, 훈련 효과를 극대화할 수 있다. 또한 전문 기술이 필요한 다양한 분야에서 훈련자가 단시간에 숙련자의 훈련 경험을 익힐 수 있다.Referring to FIG. 7, the method of sharing the training experience is by reproducing the training data including the training experience of the skilled person or training data received from the outside to share the training experience of the skilled person. , You can maximize the training effect. In addition, trainees in various fields that require specialized skills can acquire the training experience of skilled workers in a short time.

S11단계에서, 시뮬레이터(100)는 훈련 데이터를 불러온다. 시뮬레이터(100)는 기 저장된 훈련 데이터 또는 외부로부터 수신된 훈련 데이터를 불러온다. 여기서, 훈련 데이터는 훈련 경험이 많은 숙련자의 훈련 데이터일 수 있으나, 이에 한정하지 않을 수 있다.In step S11, the simulator 100 loads training data. The simulator 100 loads pre-stored training data or training data received from the outside. Here, the training data may be training data of a skilled person with many training experiences, but may not be limited thereto.

S13단계에서, 시뮬레이터(100)는 불러온 훈련 데이터를 재생한다. 이를 통해, 시뮬레이터(100)는 훈련 데이터와 동일한 영상 및 햅틱 피드백이 훈련자에게 제공되도록 재생한다. 시뮬레이터(100)는 훈련 데이터에 따라 디스플레이부(10) 및 햅틱부(30)를 제어함으로써, 훈련자가 숙련자의 훈련 경험을 체험할 수 있도록 한다. 시뮬레이터(100)는 사용자 입력에 따라 훈련 데이터를 가공할 수 있으며, 바람직하게는 훈련 데이터 중 전체가 아닌 일부분에 대해서만 재생하거나, 시각 반응 및 힘촉각 반응을 확대/축소 또는 시간 배속할 수 있다.In step S13, the simulator 100 reproduces the loaded training data. Through this, the simulator 100 reproduces the same image as the training data and haptic feedback to be provided to the trainee. The simulator 100 controls the display unit 10 and the haptic unit 30 according to the training data so that the trainee can experience the training experience of the skilled person. The simulator 100 may process training data according to a user input, and preferably reproduce only a part of the training data rather than all of the training data, or enlarge/reduce the visual response and the tactile response, or increase the time.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.Although the preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific preferred embodiments described above, and without departing from the gist of the present invention claimed in the claims, in the technical field to which the present invention pertains. Anyone of ordinary skill in the art can implement various modifications, as well as such modifications will be within the scope of the claims.

10: 제어부
20: 디스플레이부
21: 트래킹부
23: 영상 출력부
30: 햅틱부
31: 장갑
33: 바디슈트
35: 전동의자
37: 조정기
40: 저장부
50: 통신부
60: 입력부
100: 훈련용 시뮬레이터
200: 수집용 시뮬레이터
300: 관리서버
400: 통신망
510: 제1 시뮬레이션 시스템
530: 제2 시뮬레이션 시스템
550: 제3 시뮬레이션 시스템10: control unit
20: display unit
21: tracking unit
23: video output unit
30: haptic unit
31: gloves
33: body suit
35: electric chair
37: regulator
40: storage
50: communication department
60: input
100: training simulator
200: collection simulator
300: management server
400: communication network
510: first simulation system
530: second simulation system
550: third simulation system

Claims

A display unit outputting an image;
A haptic unit that outputs a haptic feedback to a user using a haptic technology;
A storage unit for storing training data linked to an image performed by an expert in a virtual environment and haptic feedback;
An input unit receiving a user input for setting a type of training performed in the virtual environment and a control for reproduction of the training so that the training data fits the user; And
A control unit for controlling the display unit and the haptic unit so that the training data stored in the storage unit is reproduced according to the user input;
When the user does not set the user input, the control unit,
A simulator for sharing a training experience, characterized in that the location in the virtual environment and the haptic response value generated by the user input are continuously stored, and the stored information is inverted to estimate the user input.

A display unit outputting an image;
A haptic unit that outputs haptic feedback to a user using haptic technology;
A communication unit configured to receive training data linked to an image performed by an expert in a virtual environment and haptic feedback from the outside;
An input unit receiving a user input for setting a type of training performed in the virtual environment and a control for reproduction of the training so that the training data fits the user; And
A control unit for controlling the display unit and the haptic unit to reproduce the training data received from the communication unit according to the user input;
When the user does not set the user input, the control unit,
A simulator for sharing a training experience, characterized in that the location in the virtual environment and the haptic response value generated by the user input are continuously stored, and the stored information is inverted to estimate the user input.

The method according to claim 1 or 2,
The display unit,
A tracking unit that detects a user's gaze; And
An image output unit for outputting an image of the training data so that the user's gaze sensed by the tracking unit and the user's gaze included in the training data are the same;
A simulator for sharing a training experience, comprising: a.

The method according to claim 1 or 2,
The haptic unit,
A glove that reproduces at least one of a tactile sensation, texture, and motion of the user's hand included in the training data;
A body suit for reproducing at least one of force, texture, and motion for the user's body included in the training data;
An electric chair for reproducing the vibration and inclination of the chair included in the training data; And
An adjuster for reproducing the manipulation motion included in the training data;
A simulator for sharing a training experience, comprising at least two of the above.

The method of claim 4,
The control unit,
A simulator for sharing training experience, characterized in that the gloves, the body suit, the electric chair, and the manipulator are individually controlled.

The method according to claim 1 or 2,
The control unit,
A simulator for sharing a training experience, characterized in that the display unit and the haptic unit are controlled to be interlocked or individually controlled.

The method according to claim 1 or 2,
The control unit,
A simulator for sharing a training experience, characterized in that selectively setting a motion reproduction range of the training data and controlling only the selected reproduction range to be reproduced.

The method according to claim 1 or 2,
The control unit,
A simulator for sharing a training experience, characterized in that controlling to expand or contract a visual response due to the image and a tactile response due to the haptic feedback.

The method according to claim 1 or 2,
The control unit,
A simulator for sharing a training experience, characterized in that controlling a time speed for a visual response due to the image and a tactile response due to the haptic feedback is controlled.

Receiving, by the simulator, a user input for setting a type of training performed in a virtual environment and a control for reproduction of the training so that the training data fits the user;
Fetching training data in which the image and haptic feedback performed in the virtual environment previously stored by the simulator are linked;
Controlling, by the simulator, a display unit and a haptic unit to reproduce the training data according to the user input; And
If the user does not set the user input, the simulator continuously stores a location in a virtual environment and a haptic response value generated by the user input, and estimates the user input by inverting the stored information ;
How to share your training experience, including.

Receiving, by the simulator, a user input for setting a type of training performed in a virtual environment and a control for reproduction of the training so that the training data fits the user;
Receiving training data in which an image performed by the simulator in a virtual environment and haptic feedback are linked from the outside;
Controlling, by the simulator, a display unit and a haptic unit to reproduce the training data according to the user input; And
If the user does not set the user input, the simulator continuously stores a location in a virtual environment and a haptic response value generated by the user input, and estimates the user input by inverting the stored information ;
How to share your training experience, including.