KR20180081274A - Method and system for making training program based on virtual reality - Google Patents
Method and system for making training program based on virtual reality Download PDFInfo
- Publication number
- KR20180081274A KR20180081274A KR1020170002304A KR20170002304A KR20180081274A KR 20180081274 A KR20180081274 A KR 20180081274A KR 1020170002304 A KR1020170002304 A KR 1020170002304A KR 20170002304 A KR20170002304 A KR 20170002304A KR 20180081274 A KR20180081274 A KR 20180081274A
- Authority
- KR
- South Korea
- Prior art keywords
- virtual reality
- environment
- virtual
- training
- dimensional
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/16—Using real world measurements to influence rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 가상현실기반 훈련 프로그램 제작 시스템 및 방법에 관한 것으로, 더욱 상세하게는 실제 환경을 바탕으로 3차원 가상현실을 구축하고, 가상현실 중에서 상호작용 가능한 객체를 지정하며, 객체에 대해 훈련 시나리오를 작성함으로써, 실제 환경 스캔 기반의 가상현실 훈련 프로그램을 제작하는 시스템 및 방법에 관한 것이다.The present invention relates to a virtual reality-based training program production system and method, and more particularly, to a virtual reality-based training program production system for constructing a three-dimensional virtual reality based on a real environment, designating interactive objects in a virtual reality, To a system and method for producing a virtual reality training program based on a real environment scan.
화재, 지진, 해일, 산사태, 각종 시설의 붕괴와 같은 재난 상황에 대한 대처방안과 대피 교육은 매우 중요하다. 재난이 주변으로 확산되는 것을 방지하기 위하여 신속한 조치가 이루어져야하므로 재난 처리 전문가뿐만 아니라 일반인들에게도 평상시의 대처 방안 및 대피를 위한 훈련이 필요하다. Measures to deal with disasters such as fire, earthquake, tsunami, landslide, collapse of various facilities and evacuation education are very important. Since prompt action must be taken to prevent disasters from spreading to the surrounding area, it is necessary for ordinary people as well as specialists to deal with disasters in daily activities and training for evacuation.
따라서 재난 발생 상황에 대한 훈련은 재난이 발생한 실제 상황과 유사한 상황에서 모의훈련을 실시해야하고, 훈련 경험에 기초하여 실제 재난 발생시 신속하고 적절하게 작전을 수행해야 한다.Therefore, disaster training should be simulated in a situation similar to the actual situation in which the disaster occurred, and the disaster should be promptly and properly operated based on training experience.
그러나, 종래의 모의 재난 훈련은 실제 재난 상황과 유사한 상황을 만들고 재난 진압 훈련을 실시하는 것이 일반적이다. 따라서 실제 상황과 유사한 상황을 만들기 위해서는 실제 공간의 희생이 있을 수 있고, 비용 부담이 있기 때문에 훈련의 횟수에 제한적인 면이 있다.However, conventional mock disaster drills generally make situations similar to actual disaster situations and conduct disaster suppression drills. Therefore, in order to create a situation similar to the actual situation, the actual space may be sacrificed, and the number of training is limited due to the cost burden.
아울러, 훈련을 요하는 상황은 대규모 산불, 고층건물의 화재, 강풍, 지진, 각종 시설이 붕괴되는 상황 등이 있는데, 이러한 상황은 재현하기도 어려울 뿐더러 모의 상황을 통해 훈련하기 실제적으로 어려운 문제점이 존재한다.In addition, the situation that requires training is such that large-scale forest fires, fire in high-rise buildings, strong winds, earthquakes, and the collapse of various facilities are difficult to reproduce, and there are practical difficulties in training through mock situations .
또한, 이와 같은 모의 재난 훈련은 실제 재난 훈련 준비 및 실행과정에서 비용 소모가 많고, 준비 시간이 오래 걸리는 데에 비해 훈련의 횟수는 한정적일 수밖에 없기 때문에 효율적이지 못하고, 참가자에 대한 사고 위험이 발생할 우려가 있으며, 모의 훈련을 위해 많은 인력이 동원되어야 하는 문제점이 있다. In addition, such simulated disaster drills are not efficient because the number of drills is limited in comparison to the fact that the preparation and execution of actual disaster drills are costly and require a long preparation time. Therefore, And there is a problem that a lot of manpower must be mobilized for simulation training.
따라서, 본 발명이 해결하고자 하는 과제는 실제 재난 상황을 재현하는 가상현실기반 훈련 프로그램을 제작하는데 그 목적이 있다. 이를 위해, 실제 환경을 스캔하여 3차원 가상현실을 구축하고, 구축된 가상현실에서 실제 재난 상황과 유사한 재난 상황이 재현되도록 상호작용 가능한 객체를 지정하고, 객체에 해당하는 액션을 선택하여 태스크를 정의함으로써 훈련 시나리오를 작성할 수 있는 가상현실기반 훈련 프로그램 제작 시스템을 제공한다.Therefore, a problem to be solved by the present invention is to produce a virtual reality-based training program that reproduces an actual disaster situation. To do this, we construct a 3D virtual reality by scanning the actual environment, designate interactive objects so that the disaster situation similar to the actual disaster situation is reproduced in the constructed virtual reality, select the action corresponding to the object and define the task Based training program production system capable of creating training scenarios.
아울러, 실제 환경을 스캔하기 위해 깊이 인식 카메라를 이용하고, 스캔 데이터에서 제작자가 상호작용 가능한 객체를 선정하며, 선정된 객체에 액션집합이나 애니메이션 등의 효과를 지정하기 위해, 시나리오 편집 툴을 통해 간단한 조작만으로 훈련 시나리오를 제작할 수 있는 가상현실기반 훈련 프로그램 제작 시스템을 제공한다.In addition, a depth-aware camera is used to scan the real environment, a creator selects interactable objects from the scan data, and a simple scenario-editing tool is used to specify effects such as action sets and animations on selected objects. And provides a virtual reality-based training program production system capable of producing training scenarios only by manipulation.
더불어, 시뮬레이션의 대상이 될 훈련 내용에 따라 미리 정해진 소정의 객체들과 이에 관련된 액션들을 옵션으로 사전에 정의하여 저장해둔 다음, 가상현실기반 훈련 프로그램을 제작할 시 이 옵션들을 가상환경에 추가함으로써, 아이템 결여에 의한 훈련환경의 불완전성을 보완할 수 있는 가상현실기반 훈련 프로그램 제작 시스템을 제공한다.In addition, predetermined objects and their associated actions are optionally defined and stored in advance according to the training content to be a simulation target, and then when these virtual reality-based training programs are created, these options are added to the virtual environment, Virtual reality based training program production system that can compensate for imperfection of training environment due to lack of virtual reality.
본 발명의 실시 예에 따른 가상현실기반 훈련 프로그램 제작 시스템은 실제 환경을 스캔하여 가상현실 데이터를 생성하는 실제 환경 스캔부와, 상기 가상현실 데이터를 이용하여 3D 가상현실환경을 구축하고, 사용자 인터페이스를 통해 제작자에게 상기 가상현실 데이터를 편집할 수 있는 툴을 제공하여, 가상훈련 시 소정의 객체와 훈련자 입력 간의 상호 작용이 가능하도록 적어도 하나의 객체를 선정하게 하며, 선정된 객체를 포함하는 가상훈련환경을 연출하거나, 대처를 위한 액션집합이나 애니메이션 효과를 지정하게 하는 가상환경 구축부 및 상기 가상훈련환경의 유형에 따라 설정된 대처절차를 상기 3D 가상현실환경에 적용한 가상훈련 시나리오를 생성하는 시나리오 편집부를 포함한다. The virtual reality-based training program production system according to an embodiment of the present invention includes an actual environment scan unit for generating virtual reality data by scanning an actual environment, a 3D virtual reality environment using the virtual reality data, A tool for editing the virtual reality data is provided to the creator so as to select at least one object so as to enable interaction between a predetermined object and a trainer input in virtual training, And a scenario editing unit for creating a virtual training scenario in which a coping procedure set according to the type of the virtual training environment is applied to the 3D virtual reality environment do.
다른 실시 예에 따른 가상환경 구축부는 시나리오 편집 대화상자에서 미션에 따른 플레이어마다 타임라인에 기반하여 태스크를 부여하는 방법으로 훈련 시나리오를 제작하는 방식의 상기 툴을 제공한다.The virtual environment establishing unit according to another embodiment provides the tool in a manner of creating a training scenario by assigning a task based on a time line to each player according to a mission in a scenario editing dialog box.
다른 실시 예에 따른 상기 가상환경 구축부는 상기 실제 환경 스캔부로부터 실시간으로 렌더링되는 상기 3차원 가상현실환경 속에서 훈련자 입력과 상호 작용 가능한 객체를 선택하고, 상기 선택에 연이어 펼침 메뉴로 나타나는 액션 목록에서 하나의 액션을 선택하는 것으로 인터랙티브한 상기 태스크를 정의한다.The virtual environment construction unit according to another embodiment selects an object capable of interacting with a trainee input in the 3D virtual reality environment rendered in real time from the real environment scan unit, The interactive task is defined by selecting one action.
다른 실시 예에 따른 가상환경 구축부는 시뮬레이션의 대상이 될 훈련 내용에 따라 미리 정해진 소정의 객체들과 상기 객체에 관련된 액션들을 옵션으로 사전에 정의하여 저장해둔 다음, 가상현실기반 훈련 프로그램을 제작할 시 상기 옵션들을 가상환경에 추가할 수 있는 옵션을 제공한다.The virtual environment construction unit according to another embodiment may be configured such that predetermined objects and actions related to the object are optionally defined and stored in advance according to the training contents to be a simulation target, Provides options to add options to the virtual environment.
다른 실시 예에 따른 가상환경 구축부는 상기 가상 현실 데이터를 생성하기 위해, 상기 툴을 통해 입력된 드래그 앤 드롭을 통해 바운딩 박스를 만들고, 상기 바운딩 박스 내부의 3차원 포인트를 취하며, 이후 원하는 오브젝트의 바운더리를 따라 분할영역으로 추출하기 위해 상기 3차원 포인트를 기반으로 PCA(Principal Component Analysis)를 적용하여 세가지 주축을 추출하고, 상기 PCA 주축을 기준으로 상기 3차원 포인트를 2차원에 투영시키며, 상기 투영된 2차원 평면에 대해서 사용자에 의해 세그먼테이션을 진행하고, 상기 2차원으로 투영된 부분의 세그먼테이션을 합침으로써 3차원 상에서 세그먼테이션을 완성한다.In order to generate the virtual reality data, the virtual environment construction unit according to another embodiment creates a bounding box through the drag and drop input through the tool, takes a three-dimensional point inside the bounding box, Extracting three principal axes by applying Principal Component Analysis (PCA) based on the three-dimensional point to extract the three-dimensional points along a boundary along the boundary, projecting the three-dimensional point in two dimensions on the basis of the PCA principal axis, The segmentation is performed by the user on the two-dimensional plane, and the segmentation on the two-dimensional projected portion is merged to complete the segmentation on the three-dimensional plane.
다른 실시 예에 따른 가상환경 구축부는 상기 PCA 주축을 이용하여 3차원 포인트 클라우드 데이터에서의 데이터간의 가장 큰 분산을 가지는 축을 이용하고, 상기 축과 직교되는 두 번째로 분산이 큰 축 및 세 번째로 분산이 큰 축을 추출한다.The virtual environment construction unit according to another embodiment uses an axis having the largest variance between data in the three-dimensional point cloud data by using the PCA main axis, the second largest dispersion axis orthogonal to the axis, and the third dispersion Extract this large axis.
다른 실시 예에 따른 가상환경 구축부는 상기 2차원으로 투영된 부분의 세그먼테이션을 합치기 위해 각 2차원 세그먼테이션 결과의 교집합을 취하거나 union-exclusive를 통해 세그먼테이션에 포함되지 않은 부분을 제거한다.The virtual environment constructing unit according to another embodiment may intersect each two-dimensional segmentation result to combine the segmentations of the two-dimensionally projected portions or remove the portions not included in the segmentation through union-exclusive.
또 다른 실시 예에 따른 가상현실기반 훈련 프로그램 제작 방법은 실제 환경을 스캔하여 가상현실 데이터를 생성하는 단계;According to another embodiment of the present invention, there is provided a virtual reality-based training program production method comprising: generating virtual reality data by scanning an actual environment;
상기 가상현실 데이터를 이용하여 3차원 가상현실환경을 구축하는 단계;Constructing a 3D virtual reality environment using the virtual reality data;
사용자 인터페이스를 통해 제작자에게 상기 가상현실 데이터를 편집할 수 있는 툴을 제공하여, 가상훈련 시 소정의 객체와 훈련자 입력간의 상호작용이 가능하도록 적어도 하나의 객체를 선정하게 하는 단계와, 상기 선정된 객체를 포함하는 가상훈련환경을 연출하거나, 대처를 위한 액션집합이나 애니메이션 효과를 지정하는 단계 및 상기 가상훈련환경의 유형에 따라 설정된 대처절차를 상기 3차원 가상현실환경에 적용한 상기 가상훈련 시나리오를 생성하는 단계를 포함한다.Providing a tool for editing the virtual reality data to a creator through a user interface to allow at least one object to be selected for interaction between a given object and a trainer input during virtual training; Generating virtual training scenarios in which an action set for coping or an animation effect is designated and a coping procedure set according to the type of the virtual training environment is applied to the 3D virtual reality environment, .
다른 실시 예에 따르면, 상기 가상훈련 시나리오를 훈련자의 HMD(Head mounted display)에 제공하여 상기 3차원 가상현실환경과 함께 디스플레이하는 단계를 더 포함한다.According to another embodiment, the method further comprises providing the virtual training scenario to a head mounted display (HMD) of the trainee and displaying the virtual training scenario together with the 3D virtual reality environment.
다른 실시 예에 따르면, 3차원 가상현실환경을 구축하는 단계는 시나리오 편집 대화상자에서 미션에 따른 플레이어마다 타임라인에 기반하여 태스크를 부여하는 방법으로 훈련 시나리오를 제작하는 방식의 상기 툴을 제공한다.According to another embodiment, the step of constructing a three-dimensional virtual reality environment provides the tool in a method of creating a training scenario by assigning a task to each player according to a mission in a scenario editing dialog box based on a timeline.
다른 실시 예에 따르면, 3차원 가상현실환경을 구축하는 단계는, 시나리오 편집 대화상자에서 미션에 따른 플레이어마다 타임라인에 기반하여 태스크를 부여하는 방법으로 훈련 시나리오를 제작하는 방식의 상기 툴을 제공한다.According to another embodiment, the step of constructing a three-dimensional virtual reality environment provides the tool of a method of creating a training scenario by assigning a task based on a time line to each player according to a mission in a scenario editing dialogue box .
다른 실시 예에 따르면, 실시간으로 렌더링되는 상기 3차원 가상현실환경 속에서 훈련자 입력과 상호 작용 가능한 객체를 선택하고, 상기 선택에 연이어 펼침 메뉴로 나타나는 액션 목록에서 하나의 액션을 선택하는 것으로 인터랙티브한 상기 태스크를 정의하는 단계를 더 포함한다.According to another embodiment, by selecting an object that can interact with a trainee input in the 3D virtual reality environment rendered in real time, and selecting one action from an action list represented by the selected menu in succession to the selection, And further defining a task.
다른 실시 예에 따르면, 시뮬레이션의 대상이 될 훈련 내용에 따라 미리 정해진 소정의 객체들과 상기 객체에 관련된 액션들을 옵션으로 사전에 정의하여 저장하는 단계 및 가상현실기반 훈련 프로그램을 제작할 시 상기 옵션들을 가상환경에 추가할 수 있는 옵션을 제공하는 단계를 더 포함한다.According to another embodiment, there is provided a method for creating a virtual reality-based training program, the method comprising: pre-defining and storing predetermined objects and actions related to the object in advance according to a training content to be a simulation target; And providing an option to add to the environment.
다른 실시 예에 따르면, 가상 현실 데이터를 생성하기 위해, 상기 툴을 통해 입력된 드래그 앤 드롭을 통해 바운딩 박스를 만드는 단계와, 상기 바운딩 박스 내부의 3차원 포인트를 취하며, 이후 원하는 오브젝트의 바운더리를 따라 분할영역으로 추출하기 위해 상기 3차원 포인트를 기반으로 PCA(Principal Component Analysis)를 적용하여 세가지 주축을 추출하는 단계와, 상기 PCA 주축을 기준으로 상기 3차원 포인트를 2차원에 투영시키며, 상기 투영된 2차원 평면에 대해서 사용자에 의해 세그먼테이션을 진행하는 단계 및 상기 2차원으로 투영된 부분의 세그먼테이션을 합침으로써 3차원 상에서 세그먼테이션을 완성하는 단계를 포함한다.According to another embodiment, there is provided a method of generating virtual reality data, comprising the steps of: creating a bounding box through drag and drop input through the tool to generate virtual reality data; taking a three-dimensional point inside the bounding box; Extracting three principal axes by applying Principal Component Analysis (PCA) based on the three-dimensional points to extract the three-dimensional points on the basis of the PCA principal axis, Dimensional plane, and completing the segmentation on the three-dimensional plane by combining the segmentation of the two-dimensionally projected portion.
다른 실시 예에 따르면, 상기 PCA 주축을 이용하여 3차원 포인트 클라우드 데이터에서의 데이터간의 가장 큰 분산을 가지는 축을 이용하고, 상기 축과 직교되는 두 번째로 분산이 큰 축 및 세 번째로 분산이 큰 축을 추출하는 단계를 더 포함한다.According to another embodiment, an axis having the largest variance between data in the three-dimensional point cloud data is used by using the PCA main axis, and the second largest dispersion axis orthogonal to the axis and the third large dispersion axis Further comprising the step of extracting.
다른 실시 예에 따르면, 2차원으로 투영된 부분의 세그먼테이션을 합치기 위해 각 2차원 세그먼테이션 결과의 교집합을 취하거나 union-exclusive를 통해 세그먼테이션에 포함되지 않은 부분을 제거하는 단계를 더 포함한다.According to another embodiment, the method further includes the step of intersecting each two-dimensional segmentation result to combine the segmentation of the two-dimensionally projected part or removing the part not included in the segmentation through union-exclusive.
본 발명의 일실시 예에 따르면, 실제 환경을 스캔하여 3차원 가상현실환경을 구축하고, 구축된 가상현실환경에서 실제 재난 상황과 유사한 재난 상황이 재현되도록 가상훈련 시 훈련자 입력과 상호작용 가능한 객체를 지정하고, 객체에 해당하는 액션이나 애니메이션을 선택하여 태스크를 정의함으로써 훈련 플랫폼을 제작할 수 있다.According to an embodiment of the present invention, a 3D virtual reality environment is constructed by scanning a real environment, and an object capable of interacting with a trainee input in a virtual training so that a disaster situation similar to an actual disaster situation is reproduced in a virtual reality environment You can create a training platform by specifying a task and defining the task by selecting the action or animation corresponding to the object.
아울러, 실제 환경을 스캔하기 위해 깊이 인식 카메라를 이용하고, 스캔 데이터에서 제작자가 가상훈련 시 훈련자 입력과 상호작용 가능한 객체를 선정하며, 선정된 객체에 액션집합이나 애니메이션의 효과를 지정하기 위해, 시나리오 편집 툴을 통해 간단한 조작만으로 훈련 시나리오를 제작할 수 있다.In addition, in order to use the depth recognition camera to scan the real environment, the creator of the scan data selects the object that can interact with the trainee input in the virtual training, and the effect of the action set or animation on the selected object, The editing tool allows you to create a training scenario with a simple operation.
더불어, 시뮬레이션의 대상이 될 훈련 내용에 따라 미리 정해진 소정의 객체들과 이에 관련된 액션들을 옵션으로 사전에 정의하여 저장해둔 다음, 가상현실기반 훈련 프로그램을 제작할 시 이 옵션들을 가상환경에 추가함으로써, 아이템 결여에 의한 훈련환경의 불완전성을 보완할 수 있다.In addition, predetermined objects and their associated actions are optionally defined and stored in advance according to the training content to be a simulation target, and then when these virtual reality-based training programs are created, these options are added to the virtual environment, It is possible to compensate for the incompleteness of the training environment by lack.
도 1은 본 발명의 일 실시예에 따른 가상현실기반 훈련 프로그램 제작 시스템의 개략적인 구성을 도시하는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 가상현실기반 훈련 프로그램을 제작하기 위한 엔진과 사용자 인터페이스(UI)의 동작을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 실제 환경을 스캔한 데이터를 나타내는 사진이다.
도 4a는 본 발명의 일 실시예에 따라 훈련 시 훈련자 입력과 상호작용될 객체를 선정하는 방법을 설명하기 위한 도면이다.
도 4b는 본 발명의 일실시 예에 따라 객체에 액션집합이나 애니메이션을 설정하기 위한 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 가상 현실 데이터를 생성하는 예를 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따라 훈련 내용의 옵션을 설정하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 따른 시나리오 생성을 설명하기 위한 도면이다.
도 8은 본 발명의 일실시 예에 따라 생성된 가상훈련 플랫폼의 일 예를 도시하는 도면이다.
도 9는 본 발명의 일 실시 예에 따른 가상현실기반 훈련 프로그램 제작 방법을 설명하기 위한 순서도이다.1 is a block diagram showing a schematic configuration of a virtual reality-based training program production system according to an embodiment of the present invention.
FIG. 2 is a flowchart illustrating an operation of an engine and a user interface (UI) for producing a virtual reality-based training program according to an embodiment of the present invention.
3 is a photograph showing data obtained by scanning an actual environment according to an exemplary embodiment of the present invention.
FIG. 4A is a diagram for explaining a method of selecting an object to be interacted with a trainee input at the time of training according to an embodiment of the present invention. FIG.
4B is a diagram illustrating a method for setting an action set or an animation on an object according to an embodiment of the present invention.
5 is a view for explaining an example of generating virtual reality data according to an embodiment of the present invention.
6 is a diagram for explaining a method of setting options of training contents according to an embodiment of the present invention.
7 is a diagram for explaining scenario generation according to an embodiment of the present invention.
8 is a diagram illustrating an example of a virtual training platform generated in accordance with one embodiment of the present invention.
FIG. 9 is a flowchart illustrating a method of manufacturing a virtual reality-based training program according to an embodiment of the present invention.
본 발명의 실시 예들을 설명하기에 앞서, 기존의 모의 재난 훈련에서 발생하는 문제점들을 검토한 후, 이들 문제점을 해결하기 위해 본 발명의 실시 예들이 채택하고 있는 기술적 수단을 개괄적으로 소개하도록 한다.Prior to describing the embodiments of the present invention, the technical means adopted by the embodiments of the present invention will be outlined to solve the problems occurring in the existing simulation disaster drill.
종래의 모의 재난 훈련은 실제 재난 상황과 유사한 상황을 만들고 재난 진압 훈련을 실시하는 것이 일반적이다. 따라서 실제 상황과 유사한 상황을 만들기 위해서는 실제 공간의 희생이 있을 수 있고, 비용 부담이 있기 때문에 훈련의 횟수에 제한적인 면이 있다.Conventional simulated disaster drills are generally used to create situations similar to actual disaster situations and to conduct disaster suppression drills. Therefore, in order to create a situation similar to the actual situation, the actual space may be sacrificed, and the number of training is limited due to the cost burden.
아울러, 훈련을 요하는 상황은 대규모 산불, 고층건물의 화재, 강풍, 지진, 각종 시설이 붕괴되는 상황 등이 있는데, 이러한 상황은 재현하기도 어려울 뿐더러 모의 상황을 통해 훈련하기 실제적으로 어려운 문제점이 존재한다.In addition, the situation that requires training is such that large-scale forest fires, fire in high-rise buildings, strong winds, earthquakes, and the collapse of various facilities are difficult to reproduce, and there are practical difficulties in training through mock situations .
또한, 이와 같은 모의 재난 훈련은 실제 재난 훈련 준비 및 실행과정에서 비용 소모가 많고, 준비 시간이 오래 걸리는 데에 비해 훈련의 횟수는 한정적일 수밖에 없기 때문에 효율적이지 못하고, 참가자는 훈련 중 사고가 발생할 위험이 있으며, 모의 훈련을 위해 많은 인력이 동원되어야 하는 문제점이 있다. In addition, these mock disaster drills are not efficient because the number of drills is inevitable in comparison to the fact that the preparation and execution of actual disaster drills are costly and require a long preparation time. Therefore, And there is a problem that a lot of manpower must be mobilized for simulation training.
따라서, 본 발명의 실시 예는 재난 현장 상황과 같은 가상의 재난 환경을 구성하여 사용자들을 모의 훈련시킴으로써, 실제 환경을 기반으로 한 훈련 경험에 기초하여 실제 재난 발생 시 신속하고 적절하게 작전을 수행할 수 있는 가상현실기반 훈련 프로그램을 제안한다.Accordingly, embodiments of the present invention can simulate users in a virtual disaster environment such as a disaster site situation, so that the user can perform operations promptly and appropriately in the event of actual disaster based on the training experience based on the actual environment We present a virtual reality based training program.
이하에서는 도면을 참조하여 본 발명의 실시 예들을 구체적으로 설명하도록 한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the following description and the accompanying drawings, detailed description of well-known functions or constructions that may obscure the subject matter of the present invention will be omitted. It is to be noted that the same constituent elements are denoted by the same reference numerals as possible throughout the drawings.
도 1은 본 발명의 일 실시예에 따른 가상현실기반 훈련 프로그램 제작 시스템의 개략적인 구성을 도시하는 블록도이고, 도 2는 본 발명의 일 실시예에 따른 가상현실기반 훈련 프로그램을 제작하기 위한 엔진과 사용자 인터페이스(UI)의 동작을 설명하기 위한 흐름도이며, 도 3은 본 발명의 일 실시예에 따른 실제 환경을 스캔한 데이터를 나타내는 사진이다.FIG. 1 is a block diagram showing a schematic configuration of a virtual reality-based training program production system according to an embodiment of the present invention. FIG. 2 is a block diagram of an engine for producing a virtual reality- FIG. 3 is a photograph showing data scanned in an actual environment according to an exemplary embodiment of the present invention. Referring to FIG.
도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 가상현실기반 훈련 프로그램 제작 시스템(100)은 실제 환경 스캔부(110), 가상환경 구축부(130), 시나리오 편집부(150) 및 가상 훈련 플랫폼(170)을 포함하여 구성된다. 1 and 2, a virtual reality-based training
실제 환경 스캔부(110)는 깊이 인식 카메라를 이용하여 실제 환경을 촬영하고 스캔을 진행한다. 예를 들어, 실제 환경을 3차원으로 스캔하는 과정은 구글의 탱고 태블릿, 마이크로소프트의 키넥트 등 기성품인 상용 플랫폼을 이용하여 모바일 환경에서 사용자가 재난 환경으로 설정할 환경을 촬영하여 획득할 수 있다. The actual
실제 환경 스캔부(110)는 실시간으로 실제 환경을 스캔함과 동시에 얻어진 센서 데이터로부터 SLAM(Simultaneous Localization and mapping) 알고리즘을 적용함으로써 가상환경에서의 3차원 표현정보를 계산하고, 이를 포맷에 맞게 저장한다. The actual
구글의 프로젝트인 탱고 태블릿의 경우 RGB-Depth 카메라의 센서를 이용한 심도 감지를 통해 포인트 클라우드를 생성하고, 이를 바탕으로 3차원 동작 및 지형지물을 추적하기 위한 모바일 플랫폼을 제공한다. Google's project Tango Tablet provides a mobile platform for creating point clouds through depth sensing using sensors from RGB-Depth cameras, and tracking three-dimensional motion and features based on them.
마이크로소프트의 키넥트의 경우 색깔 텍스쳐 정보를 얻기 위한 기존의 RGB 카메라에 IR Emitter (적외선 방사기)와 IR Depth Sensor(적외선 깊이 센서)를 추가함으로써, 피사체를 투영한 2차원 이미지뿐만 아니라 3차원 기하구조를 실시간으로 재건할 수 있는 툴과 튜토리얼을 제공한다.In the case of Microsoft's Kinect, by adding the IR Emitter and IR Depth Sensor to the existing RGB camera to obtain color texture information, it is possible to obtain not only two-dimensional images projecting the subject, Tools and tutorials that can be used to rebuild in real time.
가상환경 구축부(130)는 실제 환경 스캔에 의해 생성된 가상현실 데이터를 이용하여 3차원 가상현실환경을 구축한다. 가상환경 구축부(130)에서 구축된 3차원 가상현실환경은 사용자 인터페이스의 가상환경 편집창(200)에 표시된다.The virtual
가상현실기판 훈련 프로그램을 제작하는 제작자는 가상환경 편집창(200)을 통해 가상현실데이터를 획득할 수 있는 가상현실기기를 설정할 수 있다. 아울러, 동적 오브젝트를 설정할 수 있으며, 오브젝트 액션을 설정하고, 설정된 오브젝트를 편집 가능하다.The creator of the virtual reality substrate training program can set a virtual reality device capable of acquiring virtual reality data through the virtual
종래 기술에서는 가상 현실에서의 훈련 환경을 구축하기 위해 저작자가 컴퓨터 그래픽툴을 이용해 현실 아이템들을 일일이 재현하여 현실환경과 유사한 가상환경을 만들어야했다. In the prior art, in order to construct a training environment in a virtual reality, authors had to reproduce realistic items using a computer graphic tool to create a virtual environment similar to a real environment.
그러나, 본 발명에서는 깊이 인식 카메라를 이용하여 실제 환경을 스캔하여 가상현실데이터를 생성함으로써, 종래 기술에서 저작자가 가상 환경을 구축하기 위해 요구되었던 기술적 장벽을 낮추고, 더 빠른 시간 내에 실제 환경과 유사한 가상환경을 구축할 수 있게 되었다. 또한, 가상현실데이터에서 거의 마우스만을 이용하여 편집 가능한 플랫폼을 제공함으로써, 저작자가 코드를 작성하지 않고도 용이하고 신속하게 직관적으로 편집하고 시나리오 작성이 가능하게 되었다. However, in the present invention, by generating virtual reality data by scanning the actual environment using a depth recognition camera, it is possible to lower the technical barrier required for the author to construct a virtual environment in the prior art, The environment can be constructed. In addition, by providing a platform that can be edited using almost only a mouse in virtual reality data, authors can easily and quickly intuitively edit and create scenarios without writing code.
도 4a는 본 발명의 일 실시예에 따라 훈련 시 훈련자 입력과 상호작용될 객체를 선정하는 방법을 설명하기 위한 도면이고, 도 4b는 본 발명의 일실시 예에 따라 객체에 액션집합이나 애니메이션을 설정하기 위한 방법을 설명하기 위한 도면이며, 도 5는 본 발명의 일실시예에 따라 훈련 내용의 옵션을 설정하는 방법을 설명하기 위한 도면이다.FIG. 4A is a view for explaining a method of selecting an object to be interacted with a trainee input during training according to an embodiment of the present invention. FIG. 4B is a diagram illustrating an action set or an animation FIG. 5 is a view for explaining a method of setting options of training contents according to an embodiment of the present invention.
가상환경 구축부(130)는 도 4a에 도시된 바와 같이, 실제 환경 스캔을 기반으로 구축된 3차원 가상현실환경을 불러온 뒤, 이를 가상 현실 데이터로 변환한다. 그리고 가상 환경 데이터에서 가상 훈련 시 훈련자 입력과 상호 작용이 가능하도록 설정할 물체와 그렇지 않은 물체를 분리하기 위해 사용자 인터페이스의 가상환경 편집창(200)에서 제작자가 상호작용 가능한 소정의 객체를 선정하게 한다. 가상환경 구축부(130)는 실제환경 스캔부(110)로부터 실시간으로 3차원 가상현실환경 데이터를 렌더링한다. As shown in FIG. 4A, the virtual
예를 들어, 프로젝트 탱고 등의 상용 솔루션을 이용해 3차원 재구성된 환경을 편집창으로 불러온다. 이후 마우스를 이용해 제작자가 가상훈련 시 훈련자 입력과 상호작용 가능한 물체로서 선택하고 싶은 대상을 선택하게 한다(도 4a 및 도 4b의 파란색 실선 부분). 제작자는 이 같은 방식을 통해 직관적으로 훈련 시 훈련자 입력과 상호작용 가능한 물체를 지정할 수 있다. 여기서, 훈련자 입력이란 가상 훈련 수행시, 훈련자가 재난상황에 대해 대처하기 위해 취하는 액션 입력, 또는 객체를 이용하기 위한 액션 입력 등이 될 수 있고, 이들은 마우스나 키보드 등을 통해 입력될 수 있고 사용자 제스처를 통해 입력될 수도 있다.For example, a three-dimensional reconstructed environment is loaded into the editing window using a commercial solution such as Project Tango. The mouse is then used to allow the creator to select the object (s) to be selected as the interactable object with the trainer input in the virtual training (blue solid line portion in FIGS. 4A and 4B). In this way, the author intuitively designates an object that can interact with the trainee inputs during training. Herein, the trainee input may be an action input taken by the trainee in order to cope with a disaster situation or an action input for using the object when the virtual exercise is performed, and they may be input through a mouse or a keyboard, Lt; / RTI >
이를 좀 더 구체적으로 설명하자면, 프로젝트 탱고 등의 사용 솔루션을 이용해 3차원 재구성된 가상 현실 데이터를 가상환경 구축부(130)에서 불러온다. 가상 현실 데이터에서 특정 부분만을 선택하는 방법은 다음과 같은 4가지 절차를 거친다.More specifically, the virtual reality data reconstructed in three dimensions using the use solution such as a project tango is loaded in the virtual
도 5는 본 발명의 일 실시예에 따른 가상 현실 데이터를 생성하는 예를 설명하기 위한 도면이다.5 is a view for explaining an example of generating virtual reality data according to an embodiment of the present invention.
먼저, 도 5에 도시된 바와 같이 사용자가 원하는 물체에 대해 그 부분에 대한 드래그 앤 드롭을 통해서 바운딩 박스(bounding box)를 만든다. 3차원으로 재구성된 가상 현실 환경은 3차원 포인트로 구성되어 있기 때문에 바운딩 박스 내부의 3차원 포인트를 취할 수 있다. 이후 원하는 오브젝트의 바운더리를 따라 분할영역으로 추출하기 위해서는 바운딩 박스 내부의 3차원 포인트를 바탕으로 PCA(Principal Component Analysis)를 적용한다. PCA를 적용하면 바운딩 박스 내부의 3차원 포인트에 대해서 세 가지 주축을 추출할 수 있다. PCA 주축을 이용하는 이유는 3차원 포인트 클라우드 데이터에서의 데이터간의 가장 큰 분산을 가지는 축을 이용하고, 그와 직교되는 두 번째로 분산이 큰 축, 이후 세 번째로 분산이 큰 축을 추출할 수 있기 때문에 3차원 포인트 클라우드를 가장 잘 표현할 수 있고, 2차원 상 투영했을 때 가장 데이터 손실을 줄일 수 있는 방법이기 때문이다. First, as shown in FIG. 5, a user creates a bounding box by dragging and dropping a desired portion of the object. Since the virtual reality environment reconstructed in three dimensions consists of three-dimensional points, it can take three-dimensional points inside the bounding box. Then, in order to extract a boundary of a desired object along a boundary, PCA (Principal Component Analysis) is applied based on the three-dimensional point inside the bounding box. With PCA, you can extract three main axes for the three-dimensional points inside the bounding box. The reason for using the PCA main axis is that the axis having the greatest dispersion among the data in the three-dimensional point cloud data is used, and the axis having the second greatest dispersion orthogonal thereto and the axis having the greatest dispersion thereafter can be extracted. This is because it is the best way to express a dimensional point cloud and is the best way to reduce data loss when projecting in 2D.
이후 PCA 주축을 기준으로 3차원 포인트를 2차원 투영시킨다. 투영된 2차원 평면에 대해서 저작자가 직접 마우스를 이용하여 세그먼테이션을 진행한다. 이 과정에서 2차원 세그먼테이션 알고리즘인 Snake나 GrabCut 등을 사용할 수 있다. Then, the three-dimensional point is projected two-dimensionally on the basis of the PCA main axis. For the projected two-dimensional plane, the author directly performs the segmentation using the mouse. In this process, two-dimensional segmentation algorithms such as Snake and GrabCut can be used.
마지막으로 3가지 세그먼테이션된 2차원 투영된 결과에 대해서 2차원으로 투영된 부분의 세그먼테이션을 합침으로써 3차원 상에서 세그먼테이션이 완성된다. 2차원으로 투영된 부분의 세그먼테이션을 합치는 방법으로는 간단하게 각 2차원 세그먼테이션 결과의 교집합을 취하거나 union-exclusive를 통해 세그먼테이션에 포함되지 않은 부분을 제거할 수 있다. 이러한 방법은 가운데 구멍이 뚫린 경우나 3차원 오브젝트가 겹쳐있는 경우 등에 대해서는 정확하게 추출이 불가능할 수 있는데 여기에서의 3차원 오브젝트 추출의 목적은 완벽한 경계선을 추출하는 것이 아닌 사용자(훈련자)와의 상호작용을 하기 위함이기 때문에 어느 정도의 오차는 허락된다. 도 5에 도시된 바와 같은 방법으로 추출된 3차원 오브젝트는 데이터베이스화하여 다른 가상 환경을 제작할 때 재사용이 가능하다.Finally, segmentation is completed on three dimensions by combining the segmentation of the two-dimensionally projected part of the three segmented two-dimensional projected results. As a method of combining the segmentation of the two-dimensionally projected part, it is possible to simply take an intersection of each two-dimensional segmentation result or remove a part not included in the segmentation through union-exclusive. In this method, it is impossible to accurately extract, for example, the case where the center hole is opened or the three-dimensional object is overlapped. The purpose of the extraction of the three-dimensional object here is to extract a perfect boundary line, Because of this, some error is allowed. The 3D object extracted by the method as shown in FIG. 5 can be reused when a different virtual environment is created by converting it into a database.
기존발명은 3차원 포인트를 균등한 간격의 Voxel grid로 분할하여 해당 셀마다 포함된 점들의 개수를 누적시킨 후 임계치로 필터링을 통해 베이스면(바닥)을 결정한다. 이후 결정된 바닥에 다른 점을 누적시켜 물체를 결정하게 된다. 하지만 본 발명에서는 PCA를 통해 물체를 가장 잘 표현할 수 있는 축에 2차원으로 투영시킨 2차원 이미지에 대해 사용자의 개입을 통한 직관적인 분할을 적용할 수 있으며, 혹은 2차원 투영 이미지에 대해 Snake나 GrabCut과 같은 2차원 분할 알고리즘을 적용할 수 있다.In the conventional method, the three-dimensional points are divided into uniformly spaced voxel grids, the number of points included in each cell is accumulated, and the base surface (bottom) is determined by filtering the thresholds. Then, the object is determined by accumulating different points on the determined floor. However, in the present invention, it is possible to apply an intuitive division through a user's intervention to a two-dimensional image projected two-dimensionally on an axis that best expresses an object through the PCA, or to apply a Snake or GrabCut A two-dimensional segmentation algorithm such as the following can be applied.
또한, 기존 발명은 바닥을 찾은 후 바닥에 3차원 포인트를 누적시켜서 물체를 찾기 때문에 물체가 반드시 바닥에 붙어 있어야 하지만, 본 발명에서는 바닥을 찾을 필요 없이 초기 바운딩 박스(bounding box)만 정해주면 PCA를 이용하여 2차원으로 투영된 이미지에 대해서 분할을 수행하기 때문에 제약 조건이 없다. 또한, 기존 발명의 알고리즘에서는 누적된 3차원 포인트를 활용하기 때문에 피라미드와 같은 바닥으로 갈수록 3차원 포인트의 밀도가 높아지는 복잡한 3차원 물체에 대해서는 제대로 분할이 불가능해진다. 하지만 본 발명에서는 PCA를 활용한 주축으로의 투영이기 때문에 물체를 가장 잘 표현할 수 있는 방향으로의 2차원 투영이 가능해지고 따라서 전체 물체에 대한 정확한 분할이 가능해진다.In addition, since an existing invention requires an object to be attached to the floor in order to find an object by accumulating three-dimensional points on the floor after finding the floor, in the present invention, if only an initial bounding box is determined without searching the floor, There is no constraint because the image is divided into two-dimensionally projected images. In addition, since the algorithm of the present invention utilizes accumulated three-dimensional points, it is impossible to properly divide a complex three-dimensional object having a higher density of three-dimensional points toward a floor such as a pyramid. In the present invention, however, since the projection is performed on the principal axis using the PCA, the two-dimensional projection in the direction in which the object can be best represented becomes possible, and thus accurate division of the entire object becomes possible.
아울러, 시나리오 편집부(150)는 도 4a에 도시된 바와 같이 시나리오 편집창(210)을 통한 제작자 설정에 의해 훈련자 입력과 상호작용 가능한 객체에 대하여 가능한 액션집합을 정의하고, 애니메이션 등의 효과를 지정할 수 있다.4A, the
시나리오 편집창(210)은 제작자가 시나리오를 설정 및 편집가능하게 하고, 가상현실기기를 통해 시나리오가 실행 가능하게 한다. 구체적으로, 시나리오 편집창(210)은 가상훈련 시 훈련자 입력과 상호작용할 수 있는 범위를 선택 가능하게 하고 마우스 오른쪽 버튼을 누르면 도 4b와 같이 메뉴 바가 뜨게 한다. 여기서 선택한 범위에 대해 상호작용 물체로 지정할 것인지, 소정의 액션을 통해 상호작용할 수 있게 할 것인지 또는 상호작용이 발생했을 때 소정의 애니메이션 효과가 실행되도록 할 것인지를 설정할 수 있다. The
한편, 앞서 실제환경 스캔부(110)에서 스캔한 실제 환경 데이터의 3차원 정보는 스캔을 실시했던 당시의 토폴로지만을 담고 있기 때문에, 이를 바탕으로 상호작용이 가능한 부분을 정의하고 각종 이벤트에 해당하는 액션 및 효과들을 매핑하기에는 객체의 종류가 제한적이며, 실제 재난 환경을 표현하기에 제한적이며, 불완전한 점이 있다. Since the three-dimensional information of the actual environment data scanned by the actual
따라서, 도 6에 도시된 바와 같이 시뮬레이션의 대상이 될 훈련 내용에 따라 미리 정해진 몇 가지 객체들과 이와 관련된 동작들을 옵션으로 사전에 정의하여 옵션 저장부(152)에 저장해 두고, 필요할 때마다 이 옵션들을 가상환경에 추가함으로써, 아이템 결여에 의한 가상훈련환경의 불완전성을 보완할 수 있다.Therefore, as shown in FIG. 6, several objects predetermined in accordance with the training contents to be the subject of simulation and related operations are optionally defined in advance and stored in the
도 7은 본 발명의 일실시예에 따른 시나리오 생성을 설명하기 위한 도면이다.7 is a diagram for explaining scenario generation according to an embodiment of the present invention.
시나리오 편집부(150)는 재난유형에 따라 설정된 대처절차를 3차원 가상현실환경에 적용한 재난대처 시나리오를 생성한다. 즉, 재난상황에서 안전훈련을 체험할 수 있는 하나 이상의 훈련 시나리오를 생성한다. The
여기서, 재난유형은 홍수, 대설, 한파, 태풍과 같은 자연재난, 해양오염사고, 원전사고, 화재, 폭발, 지하철 사고 등 사회재난, 응급처치, 식중독, 물놀이안전, 학교폭력 예방 등 생활안전이 있을 수 있다. Here, disaster types include life safety such as floods, heavy snow, cold waves, typhoons, natural disasters, marine pollution accidents, nuclear accident, fire, explosion, subway accidents, social disasters, first aid, food poisoning, .
예를 들어, 재난유형이 화재인 경우, 3차원 가상현실환경에 대해서 화재현장에 대한 설계와 소방의 주요 대상물을 설정한다. 그리고, 실제와 거의 유사하게 상황을 구현하여 화재로 인한 연소특성 및 피난 상황등을 예측하여 그 결과에 따라 최적의 대처 시나리오를 도출한다.For example, if the disaster type is fire, design the fire scene and set the main object of fire fighting for 3D virtual reality environment. Then, by realizing the situation almost similar to the actual situation, the combustion characteristics due to the fire and the evacuation situation are predicted, and the optimal coping scenario is derived according to the result.
본 발명에서는 가상 훈련 환경의 유형을 재난유형들의 예로 설명하였으나, 재난상황 이외의 다른 훈련이 필요한 상황에 적용할 수 있음에 한정하지 않는다.In the present invention, the type of virtual training environment has been described as an example of disaster types, but the present invention is not limited to the case where disaster situations other than disaster situations are necessary.
구체적으로, 가상훈련 시 훈련자 입력과 상호작용 가능한 객체를 정의하고 난 이후, 도 7의 일러스트와 같이 시나리오 편집 대화상자를 띄우고 플레이어마다 타임라인에 기반하여 태스크를 부여하는 방법으로 평이하게 훈련 시나리오를 작성한다.Specifically, after defining an object capable of interacting with a trainer input in the virtual training, a scenario preparation dialogue box as shown in FIG. 7 is displayed and a training scenario is created in such a manner that a task is given to each player based on a timeline do.
즉, 시나리오 편집창에서는 타임라인 기반의 UI를 통한 태스크와 이벤트 기반의 편집을 통해 간단하게 훈련 시나리오를 생성 및 편집할 수 있는 직관적인 인터페이스를 제공한다. 저작자는 드래그 앤 드롭을 이용해 태스크와 이벤트를 타임라인 상에 배치하여 훈련 시나리오를 작성할 수 있다. That is, the scenario editing window provides an intuitive interface for creating and editing training scenarios simply through task-based editing through a timeline-based UI. Authors can create training scenarios by dragging and dropping tasks and events onto the timeline.
여기서 태스크는 플레이어와 상호작용할 대상이 될 객체와 해당 객체와의 액션, 이 두 가지로서 정의되며 보다 복잡한 상호작용의 경우 보어(complement)나 목적어(object)를 추가로 필요로 한다. In this case, the task is defined as two things: the object to be interacted with the player and the object, and the complement or object in the case of more complex interactions.
태스크의 각 항목에 해당하는 객체와 액션들을 대응시키는 데에는 간단한 마우스 조작만으로도 충분한다. 사용자는 시나리오 편집 대화상자를 열어둔 채로 가상환경 구축부(130)에서 실시간으로 렌더링되는 3차원 가상현실환경 속 상호작용 가능한 객체를 클릭하고, 이후 펼침메뉴로 나타나는 액션 목록에서 적어도 하나를 선택하는 것으로 인터랙티브하게 태스크를 정의할 수 있다. 시나리오 편집창을 제공하는 저작도구는 HMD(Head mounted display), ODT(Omni Directional Treadmill, 전방향 도보장치) 및 행동인식 입력장치 등의 가상 현실 인터페이스 장비들을 지원한다.A simple mouse operation is enough to match the object and action corresponding to each item of the task. The user can click on the interactable object in the 3D virtual reality environment rendered in real time in the virtual
도 8은 본 발명의 일실시 예에 따라 생성된 가상훈련 플랫폼의 일 예를 도시하는 도면이다.8 is a diagram illustrating an example of a virtual training platform generated in accordance with one embodiment of the present invention.
도 8에 도시된 바와 같이 본 발명의 일실시예에 따른 가상훈련 플랫폼은 깊이 인식 카메라를 이용하여 실제 환경을 스캔하고, 이를 바탕으로 가상훈련 시 훈련자 입력과 상호작용 가능한 물체를 지정하며, 시나리오 편집창을 통해 재난유형에 따라 설정된 대처절차를 3차원 가상현실환경에 적용하여 재난 대처 시나리오를 통해 생성되었기 때문에, 실제 환경을 바탕으로 한 훈련 경험에 기초하여 실제 재난 발생 시 신속하고 적절하게 작전을 수행할 수 있다.As shown in FIG. 8, the virtual training platform according to an exemplary embodiment of the present invention scans a real environment using a depth recognition camera, specifies an object capable of interacting with a trainee input during a virtual training, Because the coping procedure set up according to the disaster type through the window is applied to the 3D virtual reality environment and created through the disaster coping scenarios, based on the training experience based on real environment, can do.
이러한 가상훈련 플랫폼은 훈련자의 HMD(Head mounted display)에 제공된다. 즉, 훈련자가 HMD를 착용하면 3차원 가상현실환경과 함께 디스플레이되는 재난 상황에 대처하기 위한 행위를 하면, 가상훈련 플랫폼은 훈련자의 대처 행위를 입력으로 받아들여 그에 대응하는 변화된 환경을 출력한다. 이때, 미리 설정된 옵션들이 순차적으로 디스플레이된다.This virtual training platform is provided to the trainer's head mounted display (HMD). That is, when the trainee wears the HMD, if an act to cope with a disaster situation displayed together with the 3D virtual reality environment is performed, the virtual training platform receives the coping action of the trainee as input and outputs the corresponding changed environment. At this time, the preset options are sequentially displayed.
도 9는 본 발명의 일 실시 예에 따른 가상현실기반 훈련 프로그램 제작 방법을 설명하기 위한 순서도이다.FIG. 9 is a flowchart illustrating a method of manufacturing a virtual reality-based training program according to an embodiment of the present invention.
도 9를 참조하면, 본 발명의 일 실시 예에 따른 가상현실기반 훈련 프로그램 제작 방법은 먼저, 실제 환경을 스캔하여 가상현실 데이터를 생성하는 단계(S910)를 포함한다. 여기서, 가상 현실 데이터를 생성하기 위해, 상기 툴을 통해 입력된 드래그 앤 드롭을 통해 바운딩 박스를 만드는 단계와, 상기 바운딩 박스 내부의 3차원 포인트를 취하며, 이후 원하는 오브젝트의 바운더리를 따라 분할영역으로 추출하기 위해 상기 3차원 포인트를 기반으로 PCA(Principal Component Analysis)를 적용하여 세가지 주축을 추출하는 단계와, 상기 PCA 주축을 기준으로 상기 3차원 포인트를 2차원에 투영시키며, 상기 투영된 2차원 평면에 대해서 사용자에 의해 세그먼테이션을 진행하는 단계 및 상기 2차원으로 투영된 부분의 세그먼테이션을 합침으로써 3차원 상에서 세그먼테이션을 완성하는 단계를 포함할 수 있다.Referring to FIG. 9, a method for producing a virtual reality-based training program according to an embodiment of the present invention includes a step S910 of generating virtual reality data by scanning an actual environment. In order to generate the virtual reality data, a step of creating a bounding box through drag-and-drop input through the tool, a step of taking a three-dimensional point inside the bounding box, Extracting three principal axes by applying Principal Component Analysis (PCA) based on the three-dimensional point to extract the three-dimensional points; projecting the three-dimensional points on the basis of the principal axes of the PCA; And a step of completing the segmentation on the three-dimensional plane by merging the segmentation of the two-dimensionally projected portion.
여기서, 상기 PCA 주축을 이용하여 3차원 포인트 클라우드 데이터에서의 데이터간의 가장 큰 분산을 가지는 축을 이용하고, 상기 축과 직교되는 두 번째로 분산이 큰 축 및 세 번째로 분산이 큰 축을 추출하는 단계를 더 포함할 수 있다.Here, the step of extracting the axis having the greatest variance between the data in the three-dimensional point cloud data using the PCA main axis, the axis having the second largest dispersion and the axis having the third largest dispersion, which are perpendicular to the axis .
그리고, 상기 2차원으로 투영된 부분의 세그먼테이션을 합치기 위해 각 2차원 세그먼테이션 결과의 교집합을 취하거나 union-exclusive를 통해 세그먼테이션에 포함되지 않은 부분을 제거하는 단계를 더 포함할 수 있다.In order to combine the segmentations of the two-dimensionally projected portions, it may further include an intersection of the two-dimensional segmentation results or removing a portion not included in the segmentation through union-exclusive.
다음으로, 가상현실 데이터를 이용하여 3차원 가상현실환경을 구축하는 단계(S920)를 포함한다. 여기서, 3차원 가상현실환경을 구축하기 위해 시나리오 편집 대화상자에서 미션에 따른 플레이어마다 타임라인에 기반하여 태스크를 부여하는 방법으로 훈련 시나리오를 제작하는 방식의 툴을 제공할 수 있다. Next, a step of constructing a 3D virtual reality environment using virtual reality data (S920) is included. Here, in order to construct a three-dimensional virtual reality environment, it is possible to provide a tool for creating a training scenario by assigning a task based on a timeline to each player according to a mission in a scenario editing dialog box.
이를 위해, 사용자 인터페이스를 통해 제작자에게 상기 가상현실 데이터를 편집할 수 있는 툴을 제공하여, 가상훈련 시 소정의 객체와 훈련자 입력간의 상호작용이 가능하도록 적어도 하나의 객체를 선정하게 하는 단계(S930)를 포함한다. For this purpose, a step S930 of providing a tool for editing the virtual reality data to a creator through a user interface, so that at least one object can be selected in order to enable interaction between a predetermined object and a trainer input during virtual training, .
이 단계(S930)는 실시간으로 렌더링되는 상기 3차원 가상현실환경 속에서 훈련자 입력과 상호 작용 가능한 객체를 선택하고, 상기 선택에 연이어 펼침 메뉴로 나타나는 액션 목록에서 하나의 액션을 선택하는 것으로 인터랙티브한 상기 태스크를 정의하는 단계를 더 포함할 수 있다.In this step S930, an object capable of interacting with the trainee input is selected in the 3D virtual reality environment rendered in real time, and one action is selected from the action list represented by the selected menu in succession to the selection, And may further include defining a task.
아울러, 시뮬레이션의 대상이 될 훈련 내용에 따라 미리 정해진 소정의 객체들과 상기 객체에 관련된 액션들을 옵션으로 사전에 정의하여 저장하는 단계 및 가상현실기반 훈련 프로그램을 제작할 시 상기 옵션들을 가상환경에 추가할 수 있는 옵션을 제공하는 단계를 더 포함할 수 있다.Optionally, predefined and stored predetermined objects and actions related to the object are stored in advance according to the training content to be a simulation target, and the options are added to the virtual environment when the virtual reality-based training program is created And a step of providing an option to allow the user to select an option.
다음으로, 선정된 객체를 포함하는 가상훈련환경을 연출하거나, 대처를 위한 액션집합이나 애니메이션 효과를 지정하는 단계(S940) 및 상기 가상훈련환경의 유형에 따라 설정된 대처절차를 상기 3차원 가상현실환경에 적용한 상기 가상훈련 시나리오를 생성하는 단계(S950)를 포함한다. Next, a step S940 of directing a virtual training environment including the selected object or designating an action set or an animation effect for coping, and a coping procedure set according to the type of the virtual training environment, (S950) of generating the virtual training scenario applied to the virtual training scenario.
여기서, 가상현실기반 훈련 프로그램 제작 방법은 상기 가상훈련 시나리오 생성 단계 이후, 가상훈련 시나리오를 훈련자의 HMD(Head mounted display)에 제공하여 상기 3차원 가상현실환경과 함께 디스플레이하는 단계를 더 포함할 수 있다. 제안된 본 발명의 저작도구는 HMD 이외에도 ODT(Omni Directional Treadmill, 전방향 도보장치) 및 행동인식 입력장치 등의 가상 현실 인터페이스 장비들을 지원한다.Here, the method of producing a virtual reality-based training program may further include providing a virtual training scenario to a head mounted display (HMD) of the trainer after the virtual training scenario generation step, and displaying the virtual training scenario together with the 3D virtual reality environment . The proposed authoring tool of the present invention supports virtual reality interface devices such as ODT (Omni Directional Treadmill, forward walking device) and behavior recognition input device in addition to HMD.
이와 같은 본 발명의 일실시 예에 따르면, 실제 환경을 스캔하여 3차원 가상현실환경을 구축하고, 구축된 가상현실환경에서 실제 재난 상황과 유사한 재난 상황이 재현되도록 가상훈련 시 훈련자 입력과 상호작용 가능한 객체를 지정하고, 객체에 해당하는 액션이나 애니메이션을 선택하여 태스크를 정의함으로써 훈련 플랫폼을 제작할 수 있다.According to an embodiment of the present invention, a three-dimensional virtual reality environment is constructed by scanning an actual environment, and a virtual reality environment in which a virtual disaster situation similar to an actual disaster situation is reproduced can be interacted with a trainee input You can create a training platform by specifying an object and selecting the action or animation corresponding to the object to define the task.
아울러, 실제 환경을 스캔하기 위해 깊이 인식 카메라를 이용하고, 깊이 인식 카메라에 의해 획득된 스캔 데이터에서 제작자가 가상훈련 시 훈련자 입력과 상호작용 가능한 객체를 선정하며, 선정된 객체에 액션집합이나 애니메이션의 효과를 지정하기 위해, 시나리오 편집 툴을 통해 간단한 조작만으로 훈련 시나리오를 제작할 수 있다.In addition, a depth recognition camera is used to scan the real environment, and in the scan data acquired by the depth recognition camera, the creator selects an object capable of interacting with the trainer input in the virtual training, To specify the effect, you can create a training scenario with a simple operation through the scenario editing tool.
더불어, 시뮬레이션의 대상이 될 훈련 내용에 따라 미리 정해진 소정의 객체들과 이에 관련된 액션들을 옵션으로 사전에 정의하여 저장해둔 다음, 가상현실기반 훈련 프로그램을 제작할 시 이 옵션들을 가상환경에 추가함으로써, 아이템 결여에 의한 훈련환경의 불완전성을 보완할 수 있다.In addition, predetermined objects and their associated actions are optionally defined and stored in advance according to the training content to be a simulation target, and then when these virtual reality-based training programs are created, these options are added to the virtual environment, It is possible to compensate for the incompleteness of the training environment by lack.
기존 발명에서는 가상 현실에서의 훈련 환경을 구축하기 위해 저작자가 컴퓨터 그래픽 툴을 이용해 일일이 실제와 비슷한 가상 환경을 만들어야 했으나, 본 발명은 깊이 인식 카메라를 이용하여 실제 환경을 스캔해 가상 환경으로 불러옴으로써, 기존 발명에서 저작자가 가상 환경을 구축하기 위해 필요했던 기술적 장벽을 낮추고 더 짧은 시간 안에 실제 환경과 유사한 가상 환경을 구축할 수 있도록 하였다. 또한 불러온 실제 환경에서 마우스만을 사용한 편집을 용이하게 함으로서 코드를 작성하지 않고도 다양한 편집이 가능하도록 하였다.In the conventional invention, in order to construct a training environment in a virtual reality, the author must create a virtual environment similar to a real one by using a computer graphic tool. However, the present invention uses a depth recognition camera to scan a real environment, In the previous invention, the authors lowered the technical barriers needed to build a virtual environment and constructed a virtual environment similar to the actual environment in a shorter time. In addition, it facilitates editing using the mouse only in the actual environment that was called so that various editing can be done without writing code.
기존의 물리적 시설에 기반을 둔 실제 환경 기반의 훈련 플랫폼은 비용이 많이 들고 훈련자가 위험한 상황에 빠질 수 있는 위험이 있지만, 본 발명에서 제안하는 가상현실 기반 훈련 플랫폼은 반복훈련이 용이하고, 가상의 환경을 이용하기 때문에 위험성이 거의 없다. Although the actual environment-based training platform based on existing physical facilities is expensive and dangerous for the trainee to fall into dangerous situations, the virtual reality-based training platform proposed in the present invention is easy to repeat training, There is little risk because the environment is used.
또한, 실제 환경을 스캔하여 가상 현실 데이터로 변환하여 이용하기 때문에 피훈련자는 훈련이 필요한 실환경 내에서 요구되는 동일한 훈련에 몰입할 수 있고, 이에 훈련 효과를 높일 수 있다. 아울러, 항공, 해양, 경찰, 군대, 소방, 의료 분야, 교육기관의 특수 교육 및 훈련 등의 다양한 환경에 대한 교육 및 훈련 시뮬레이션을 빠른 시간 내에 제작함으로써, 제작에 필요한 비용을 절감할 수 있다. 또한, 본 발명의 저작도구는 모든 재난 환경이 물리 엔진 및 시뮬레이션 이론에 기반하고 있기 때문에 실환경을 기반한 재난 및 사고 상황 재현을 필요로 하는 군대, 검찰 및 경찰의 사고 분석 등에도 사용될 수 있다.Also, since the actual environment is scanned and converted into the virtual reality data, the trainee can immerse in the same training required in the actual environment in which the training is required, and the training effect can be enhanced. In addition, training and training simulations for various environments such as aviation, maritime, police, military, firefighting, healthcare, educational institutions, special education and training can be produced in a short period of time. In addition, the authoring tool of the present invention can be used for accident analysis of armed forces, prosecutors, and police who need to reproduce a disaster and an accident situation based on a real environment because all the disaster environments are based on the physics engine and the simulation theory.
더불어, 실제 환경을 스캔함과 동시에 훈련자와 상호작용 가능한 오브젝트를 저작자의 의도에 맞게 설정 및 변경할 수 있기 때문에, 스캔된 가상 환경 내에서의 상호작용이 가능해져 좀 더 능동적인 가상 훈련 플랫폼을 구현할 수 있다. 능동적인 가상 훈련 플랫폼의 구현은 훈련 효과의 향상으로 이어진다.In addition, scanning the real world and allowing the interactively interactable objects to be set and changed to the author's intentions allows interaction within the scanned virtual environment, enabling a more active virtual training platform have. Implementation of an active virtual training platform leads to improved training effectiveness.
안전 훈련에 대한 반복을 필수로 하는 해양, 항공 분야, 경찰, 군대, 소방, 의료 분야 등에서 본 발명의 가상현실기반 훈련 프로그램 제작 시스템 및 프로그램이 유용하게 사용될 것이며, 안전 불감증이 만연하고, 크고 작은 사고들이 발생하는 사회에서 본 발명의 가상현실기반 훈련 프로그램은 매우 유익하게 활용될 수 있을 것이다.The virtual reality-based training program production system and program of the present invention will be usefully used in the marine, aerospace, police, military, firefighting, medical fields and the like where it is necessary to repeat safety training, and safety insufficiency is prevalent, The virtual reality based training program of the present invention can be very advantageously utilized.
한편, 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.Meanwhile, the embodiments of the present invention can be embodied as computer readable codes on a computer readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like. In addition, the computer-readable recording medium may be distributed over network-connected computer systems so that computer readable codes can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present invention can be easily deduced by programmers skilled in the art to which the present invention belongs.
이상에서 본 발명에 대하여 그 다양한 실시 예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.The present invention has been described above with reference to various embodiments. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.
Claims (15)
상기 가상현실 데이터를 이용하여 3차원 가상현실환경을 구축하고, 사용자 인터페이스를 통해 제작자에게 상기 가상현실 데이터를 편집할 수 있는 툴을 제공하여, 가상훈련 시 소정의 객체와 훈련자 입력 간의 상호 작용이 가능하도록 적어도 하나의 객체를 선정하게 하며, 선정된 객체를 포함하는 가상훈련환경을 연출하거나, 대처를 위한 액션집합이나 애니메이션 효과를 지정하게 하는 가상환경 구축부; 및
상기 가상훈련환경의 유형에 따라 설정된 대처절차를 상기 3차원 가상현실환경에 적용한 가상훈련 시나리오를 생성하는 시나리오 편집부;를 포함하는 것을 특징으로 하는, 가상현실기반 훈련 프로그램 제작 시스템. An actual environment scan unit that scans the real environment to generate virtual reality data;
A 3D virtual reality environment is constructed using the virtual reality data and a tool for editing the virtual reality data is provided to the creator through a user interface so that interaction between a predetermined object and a trainee input A virtual environment construction unit for designating at least one object, designating a virtual training environment including a selected object, or designating an action set or an animation effect for coping; And
And a scenario editor for generating a virtual training scenario in which a coping procedure set according to the type of the virtual training environment is applied to the 3D virtual reality environment.
상기 가상환경 구축부는,
시나리오 편집 대화상자에서 미션에 따른 플레이어마다 타임라인에 기반하여 태스크를 부여하는 방법으로 훈련 시나리오를 제작하는 방식의 상기 툴을 제공하는, 가상현실기반 훈련 프로그램 제작 시스템.The method according to claim 1,
The virtual environment configuration unit,
The virtual reality-based training program production system provides the tool in a manner of creating a training scenario by assigning a task based on a timeline to each player according to a mission in a scenario editing dialog box.
상기 가상환경 구축부는,
상기 실제 환경 스캔부로부터 실시간으로 렌더링되는 상기 3차원 가상현실환경 속에서 훈련자 입력과 상호 작용 가능한 객체를 선택하고, 상기 선택에 연이어 펼침 메뉴로 나타나는 액션 목록에서 하나의 액션을 선택하는 것으로 인터랙티브한 상기 태스크를 정의하는, 가상현실기반 훈련 프로그램 제작 시스템.The method according to claim 1,
The virtual environment configuration unit,
Selecting an object capable of interacting with a trainer input in the 3D virtual reality environment rendered in real time from the real environment scan unit and selecting one action from an action list appearing as a drop-down menu in succession to the selection, Virtual reality based training program creation system that defines tasks.
상기 가상환경 구축부는,
시뮬레이션의 대상이 될 훈련 내용에 따라 미리 정해진 소정의 객체들과 상기 객체에 관련된 액션들을 옵션으로 사전에 정의하여 저장해둔 다음, 가상현실기반 훈련 프로그램을 제작할 시 상기 옵션들을 가상환경에 추가할 수 있는 옵션을 제공하는, 가상현실기반 훈련 프로그램 제작 시스템.The method according to claim 1,
The virtual environment configuration unit,
It is possible to optionally define predetermined objects and actions related to the object in advance according to the training contents to be a simulation target and to store the defined options in a virtual environment when creating a virtual reality based training program A virtual reality based training program production system that provides options.
상기 가상환경 구축부는 상기 가상현실 데이터를 생성하기 위해,
상기 툴을 통해 입력된 드래그 앤 드롭을 통해 바운딩 박스를 만들고, 상기 바운딩 박스 내부의 3차원 포인트를 취하며, 이후 원하는 오브젝트의 바운더리를 따라 분할영역으로 추출하기 위해 상기 3차원 포인트를 기반으로 PCA(Principal Component Analysis)를 적용하여 세가지 주축을 추출하고, 상기 PCA 주축을 기준으로 상기 3차원 포인트를 2차원에 투영시키며, 상기 투영된 2차원 평면에 대해서 사용자에 의해 세그먼테이션을 진행하고, 상기 2차원으로 투영된 부분의 세그먼테이션을 합침으로써 3차원 상에서 세그먼테이션을 완성하는, 가상현실기반 훈련 프로그램 제작 시스템.The method according to claim 1,
The virtual environment configuration unit may be configured to generate the virtual reality data,
Dimensional point to create a bounding box through drag and drop input through the tool, take a three-dimensional point inside the bounding box, and then extract it as a divided area along the boundary of the desired object. Principal Component Analysis) to extract three principal axes, two-dimensional projection of the three-dimensional point on the basis of the PCA principal axis, segmentation by the user on the projected two-dimensional plane, A virtual reality based training program production system for completing a segmentation on three dimensions by combining segmentation of a projected part.
상기 가상환경 구축부는,
상기 PCA 주축을 이용하여 3차원 포인트 클라우드 데이터에서의 데이터간의 가장 큰 분산을 가지는 축을 이용하고, 상기 축과 직교되는 두 번째로 분산이 큰 축 및 세 번째로 분산이 큰 축을 추출하는, 가상현실기반 훈련 프로그램 제작 시스템.6. The method of claim 5,
The virtual environment configuration unit,
Wherein the PCA main axis is used to extract an axis having the largest variance between data in the three-dimensional point cloud data and a second largest variance axis orthogonal to the axis and a third variance axis orthogonal to the axis, Training program production system.
상기 가상환경 구축부는,
상기 2차원으로 투영된 부분의 세그먼테이션을 합치기 위해 각 2차원 세그먼테이션 결과의 교집합을 취하거나 union-exclusive를 통해 세그먼테이션에 포함되지 않은 부분을 제거하는, 가상현실기반 훈련 프로그램 제작 시스템.6. The method of claim 5,
The virtual environment configuration unit,
Wherein the two-dimensional segmentation results are obtained by intersection of two-dimensional segmentation results or union-exclusive to remove segments not included in the segmentation in order to combine the segmentations of the two-dimensionally projected portions.
상기 가상현실 데이터를 이용하여 3차원 가상현실환경을 구축하는 단계;
사용자 인터페이스를 통해 제작자에게 상기 가상현실 데이터를 편집할 수 있는 툴을 제공하여, 가상훈련 시 소정의 객체와 훈련자 입력간의 상호작용이 가능하도록 적어도 하나의 객체를 선정하게 하는 단계;
상기 선정된 객체를 포함하는 가상훈련환경을 연출하거나, 대처를 위한 액션집합이나 애니메이션 효과를 지정하는 단계; 및
상기 가상훈련환경의 유형에 따라 설정된 대처절차를 상기 3차원 가상현실환경에 적용한 상기 가상훈련 시나리오를 생성하는 단계;를 포함하는, 가상현실기반 훈련 프로그램 제작 방법.Generating virtual reality data by scanning an actual environment;
Constructing a 3D virtual reality environment using the virtual reality data;
Providing a tool for editing the virtual reality data to a creator through a user interface to allow at least one object to be selected for interaction between a given object and a trainer input during virtual training;
Directing a virtual training environment including the selected object, or designating an action set or an animation effect for coping; And
And generating the virtual training scenario in which the coping procedure set according to the type of the virtual training environment is applied to the 3D virtual reality environment.
상기 가상훈련 시나리오를 훈련자의 HMD(Head mounted display)에 제공하여 상기 3차원 가상현실환경과 함께 디스플레이하는 단계를 더 포함하는, 가상현실기반 훈련 프로그램 제작 방법.9. The method of claim 8,
Providing the virtual training scenario to a head mounted display (HMD) of a trainee and displaying the virtual training scenario together with the 3D virtual reality environment.
상기 3차원 가상현실환경을 구축하는 단계는,
시나리오 편집 대화상자에서 미션에 따른 플레이어마다 타임라인에 기반하여 태스크를 부여하는 방법으로 훈련 시나리오를 제작하는 방식의 상기 툴을 제공하는, 가상현실기반 훈련 프로그램 제작 방법.9. The method of claim 8,
The step of constructing the 3D virtual reality environment includes:
A method for creating a virtual reality-based training program, the method comprising: creating a training scenario by assigning a task based on a timeline to each player according to a mission in a scenario editing dialog box.
실시간으로 렌더링되는 상기 3차원 가상현실환경 속에서 훈련자 입력과 상호 작용 가능한 객체를 선택하고, 상기 선택에 연이어 펼침 메뉴로 나타나는 액션 목록에서 하나의 액션을 선택하는 것으로 인터랙티브한 상기 태스크를 정의하는 단계를 더 포함하는, 가상현실기반 훈련 프로그램 제작 방법.9. The method of claim 8,
Selecting an interactive object with the trainer input in the 3D virtual reality environment rendered in real time and selecting an action from an action list represented by the selection menu in succession to the selection, A method for constructing a virtual reality based training program, further comprising:
시뮬레이션의 대상이 될 훈련 내용에 따라 미리 정해진 소정의 객체들과 상기 객체에 관련된 액션들을 옵션으로 사전에 정의하여 저장하는 단계; 및
가상현실기반 훈련 프로그램을 제작할 시 상기 옵션들을 가상환경에 추가할 수 있는 옵션을 제공하는 단계를 더 포함하는, 가상현실기반 훈련 프로그램 제작 방법.9. The method of claim 8,
Optionally defining and storing predetermined objects and actions related to the object in advance according to a training content to be a simulation target; And
Further comprising the step of providing an option to add said options to a virtual environment when creating a virtual reality based training program.
상기 가상 현실 데이터를 생성하기 위해,
상기 툴을 통해 입력된 드래그 앤 드롭을 통해 바운딩 박스를 만드는 단계;
상기 바운딩 박스 내부의 3차원 포인트를 취하며, 이후 원하는 오브젝트의 바운더리를 따라 분할영역으로 추출하기 위해 상기 3차원 포인트를 기반으로 PCA(Principal Component Analysis)를 적용하여 세가지 주축을 추출하는 단계;
상기 PCA 주축을 기준으로 상기 3차원 포인트를 2차원에 투영시키며, 상기 투영된 2차원 평면에 대해서 사용자에 의해 세그먼테이션을 진행하는 단계; 및
상기 2차원으로 투영된 부분의 세그먼테이션을 합침으로써 3차원 상에서 세그먼테이션을 완성하는 단계를 포함하는, 가상현실기반 훈련 프로그램 제작 방법.9. The method of claim 8,
In order to generate the virtual reality data,
Creating a bounding box through drag and drop input through the tool;
Extracting three spindles by applying PCA (Principal Component Analysis) based on the three-dimensional point to extract a three-dimensional point inside the bounding box and then extracting a divided area along a boundary of a desired object;
Dimensionally projecting the three-dimensional point on the basis of the PCA principal axis, and segmenting the projected two-dimensional plane by a user; And
And completing the segmentation on three dimensions by merging the segmentation of the two-dimensionally projected portion.
상기 PCA 주축을 이용하여 3차원 포인트 클라우드 데이터에서의 데이터간의 가장 큰 분산을 가지는 축을 이용하고, 상기 축과 직교되는 두 번째로 분산이 큰 축 및 세 번째로 분산이 큰 축을 추출하는 단계를 더 포함하는, 가상현실기반 훈련 프로그램 제작 방법.14. The method of claim 13,
Further comprising the step of using the axis having the largest variance between the data in the three-dimensional point cloud data using the PCA main axis and the second largest variance axis orthogonal to the axis and the third large variance axis Based virtual reality based training program.
상기 2차원으로 투영된 부분의 세그먼테이션을 합치기 위해 각 2차원 세그먼테이션 결과의 교집합을 취하거나 union-exclusive를 통해 세그먼테이션에 포함되지 않은 부분을 제거하는 단계를 더 포함하는, 가상현실기반 훈련 프로그램 제작 방법.
14. The method of claim 13,
Further comprising: intersecting each two-dimensional segmentation result to combine the segmentation of the two-dimensionally projected portion, or removing a portion not included in the segmentation through union-exclusive.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170002304A KR101931649B1 (en) | 2017-01-06 | 2017-01-06 | Method and system for making training program based on virtual reality |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170002304A KR101931649B1 (en) | 2017-01-06 | 2017-01-06 | Method and system for making training program based on virtual reality |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180081274A true KR20180081274A (en) | 2018-07-16 |
| KR101931649B1 KR101931649B1 (en) | 2018-12-21 |
Family
ID=63048035
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170002304A KR101931649B1 (en) | 2017-01-06 | 2017-01-06 | Method and system for making training program based on virtual reality |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101931649B1 (en) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102082261B1 (en) * | 2019-08-07 | 2020-02-27 | 한국건설기술연구원 | Disaster response system based on digital sop and method thereof |
| KR20200035696A (en) * | 2018-09-27 | 2020-04-06 | 주식회사 더픽트 | System and method for editing virtual reality image and video |
| KR102082262B1 (en) * | 2019-08-07 | 2020-05-29 | 한국건설기술연구원 | Disaster response system based on digital sop and method thereof |
| WO2020130275A1 (en) * | 2018-12-19 | 2020-06-25 | 주식회사 에이투젯 | Three-dimensional vr content production system |
| KR20200091594A (en) * | 2019-01-23 | 2020-07-31 | (주)린텍씨엠에스 | An Earthquake Evacuation Training System Using Virtual Reality |
| KR102204198B1 (en) * | 2019-07-31 | 2021-01-15 | 남서울대학교 산학협력단 | System for developing virtual training system for fire prevention |
| KR102204861B1 (en) * | 2020-07-22 | 2021-01-19 | 주식회사 네비웍스 | Scenario remodeling apparatus, and control method thereof |
| KR102229777B1 (en) * | 2020-06-29 | 2021-03-19 | 주식회사 네비웍스 | Remodeling apparatus for collision area, and control method thereof |
| KR102247808B1 (en) | 2019-12-26 | 2021-05-04 | (주)이노시뮬레이션 | Virtual training system with node-based scenario authoring |
| KR20210075387A (en) * | 2019-12-13 | 2021-06-23 | (주)토탈소프트뱅크 | Industrial Safety virtual training system including virtual training contents scenario editing function |
| KR20210106243A (en) * | 2020-02-20 | 2021-08-30 | 주식회사 에이모 | Apparatus for creating bounding box and method thereof |
| WO2022085816A1 (en) * | 2020-10-20 | 2022-04-28 | 주식회사 제이원더 | Video education system for virtual reality-based disaster and safety accident response training |
| KR20220080869A (en) * | 2020-12-08 | 2022-06-15 | (주)토탈소프트뱅크 | System for editing a scenario of complex risk situation for user oriented |
| KR20220147816A (en) * | 2021-04-28 | 2022-11-04 | (주)코어센스 | System for Providing training contents to strengthen response capabilities for fire fighting activity on-scene commander |
| KR102482927B1 (en) * | 2022-02-11 | 2022-12-30 | 대한민국 | Simulation methods for evacuation in a Massive Disaster |
| KR20230099713A (en) * | 2021-12-27 | 2023-07-05 | (주)토탈소프트뱅크 | Industrial safety virtual training system for multi-user training of user oriented be interlocked with crane simulator |
| KR102606532B1 (en) * | 2022-09-27 | 2023-11-29 | (주)케이앤엘정보시스템 | Disaster training device and disaster training system |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102231586B1 (en) | 2020-08-27 | 2021-03-24 | (주)피닉스스튜디오 | Situation Coping Training Simulator and Driving Method Thereof, and Computer Readable Recording Medium |
| KR102492499B1 (en) | 2020-12-10 | 2023-01-30 | 주식회사 제이콥시스템 | Simulator for Virtual Training and Driving Method Thereof |
| KR102666938B1 (en) * | 2020-12-31 | 2024-05-17 | 주식회사 후본 | Method and system for providing virtual training based on extended reality |
| KR102364020B1 (en) * | 2021-06-04 | 2022-02-17 | 대한민국 | Fire analysis method using fire scene footage |
| KR102364022B1 (en) * | 2021-06-04 | 2022-02-18 | 대한민국 | Fire analysis system using VR |
| KR102681205B1 (en) | 2021-12-07 | 2024-07-03 | 주식회사 이엠라이프 | 5g-based virtual reality nuclear accident joint evacuation training system |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09330425A (en) * | 1996-06-13 | 1997-12-22 | Nippon Telegr & Teleph Corp <Ntt> | Method for defining operation of object in three-dimensional virtual space |
| JP2005215801A (en) * | 2004-01-27 | 2005-08-11 | Matsushita Electric Works Ltd | Behavior simulation system |
| KR20130082692A (en) * | 2011-12-14 | 2013-07-22 | 건국대학교 산학협력단 | Apparatus and method for generating virtual world using image |
| KR20140113222A (en) * | 2013-03-16 | 2014-09-24 | 차현진 | Welding Training Device based on Virtual Reality |
| KR20160109066A (en) | 2015-03-09 | 2016-09-21 | (주)굿게이트 | Fire extinguisher for training, training system and method for corresponding to disaster based virtual reality using the same |
-
2017
- 2017-01-06 KR KR1020170002304A patent/KR101931649B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09330425A (en) * | 1996-06-13 | 1997-12-22 | Nippon Telegr & Teleph Corp <Ntt> | Method for defining operation of object in three-dimensional virtual space |
| JP2005215801A (en) * | 2004-01-27 | 2005-08-11 | Matsushita Electric Works Ltd | Behavior simulation system |
| KR20130082692A (en) * | 2011-12-14 | 2013-07-22 | 건국대학교 산학협력단 | Apparatus and method for generating virtual world using image |
| KR20140113222A (en) * | 2013-03-16 | 2014-09-24 | 차현진 | Welding Training Device based on Virtual Reality |
| KR20160109066A (en) | 2015-03-09 | 2016-09-21 | (주)굿게이트 | Fire extinguisher for training, training system and method for corresponding to disaster based virtual reality using the same |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200035696A (en) * | 2018-09-27 | 2020-04-06 | 주식회사 더픽트 | System and method for editing virtual reality image and video |
| KR20210084411A (en) * | 2018-09-27 | 2021-07-07 | 주식회사 더픽트 | System and method for editing virtual reality image and video |
| WO2020130275A1 (en) * | 2018-12-19 | 2020-06-25 | 주식회사 에이투젯 | Three-dimensional vr content production system |
| KR20200076234A (en) * | 2018-12-19 | 2020-06-29 | 주식회사 에이투젯 | System for producing 3 dimension virtual reality content |
| KR20200091594A (en) * | 2019-01-23 | 2020-07-31 | (주)린텍씨엠에스 | An Earthquake Evacuation Training System Using Virtual Reality |
| KR102204198B1 (en) * | 2019-07-31 | 2021-01-15 | 남서울대학교 산학협력단 | System for developing virtual training system for fire prevention |
| KR102082262B1 (en) * | 2019-08-07 | 2020-05-29 | 한국건설기술연구원 | Disaster response system based on digital sop and method thereof |
| KR102082261B1 (en) * | 2019-08-07 | 2020-02-27 | 한국건설기술연구원 | Disaster response system based on digital sop and method thereof |
| KR20210075387A (en) * | 2019-12-13 | 2021-06-23 | (주)토탈소프트뱅크 | Industrial Safety virtual training system including virtual training contents scenario editing function |
| KR102247808B1 (en) | 2019-12-26 | 2021-05-04 | (주)이노시뮬레이션 | Virtual training system with node-based scenario authoring |
| KR20210106243A (en) * | 2020-02-20 | 2021-08-30 | 주식회사 에이모 | Apparatus for creating bounding box and method thereof |
| KR102229777B1 (en) * | 2020-06-29 | 2021-03-19 | 주식회사 네비웍스 | Remodeling apparatus for collision area, and control method thereof |
| KR102204861B1 (en) * | 2020-07-22 | 2021-01-19 | 주식회사 네비웍스 | Scenario remodeling apparatus, and control method thereof |
| WO2022085816A1 (en) * | 2020-10-20 | 2022-04-28 | 주식회사 제이원더 | Video education system for virtual reality-based disaster and safety accident response training |
| KR20220080869A (en) * | 2020-12-08 | 2022-06-15 | (주)토탈소프트뱅크 | System for editing a scenario of complex risk situation for user oriented |
| KR20220147816A (en) * | 2021-04-28 | 2022-11-04 | (주)코어센스 | System for Providing training contents to strengthen response capabilities for fire fighting activity on-scene commander |
| KR20230099713A (en) * | 2021-12-27 | 2023-07-05 | (주)토탈소프트뱅크 | Industrial safety virtual training system for multi-user training of user oriented be interlocked with crane simulator |
| KR102482927B1 (en) * | 2022-02-11 | 2022-12-30 | 대한민국 | Simulation methods for evacuation in a Massive Disaster |
| KR102606532B1 (en) * | 2022-09-27 | 2023-11-29 | (주)케이앤엘정보시스템 | Disaster training device and disaster training system |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101931649B1 (en) | 2018-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101931649B1 (en) | Method and system for making training program based on virtual reality | |
| US12001974B2 (en) | Augmented reality smartglasses for use at cultural sites | |
| Kersten et al. | Development of a virtual museum including a 4D presentation of building history in virtual reality | |
| US11574438B2 (en) | Generating three-dimensional virtual scene | |
| KR101940720B1 (en) | Contents authoring tool for augmented reality based on space and thereof method | |
| Pereira et al. | Using panoramic augmented reality to develop a virtual safety training environment | |
| CN103970920A (en) | Earthquake emergency exercise virtual simulation system | |
| Abdullah et al. | Mobile game size estimation: Cosmic fsm rules, uml mapping model and unity3d game engine | |
| Dezen-Kempter et al. | Towards a digital twin for heritage interpretation | |
| US20210090343A1 (en) | Method, and a system for design reviews and trainings | |
| US11393153B2 (en) | Systems and methods performing object occlusion in augmented reality-based assembly instructions | |
| CN111429578B (en) | Three-dimensional model generation method and three-dimensional virtual overhaul system for thermal power plant unit | |
| Sinha et al. | Earthquake disaster simulation in immersive 3d environment | |
| US11625900B2 (en) | Broker for instancing | |
| KR20170105905A (en) | Method and apparatus for analyzing virtual reality content | |
| Kimer et al. | A model of software development process for virtual environments: definition and a case study | |
| KR20170142090A (en) | Event based 3D dynamic continuity generating method for producing 360 degree VR video and apparatus thereof | |
| Stamm et al. | Augmented virtuality in real time for pre-visualization in film | |
| Pratama et al. | An Overview of Generating VR Models for Disaster Zone Reconstruction Using Drone Footage | |
| Borba et al. | ArcheoVR: Exploring Itapeva's archeological site | |
| Rai et al. | Augmented reality in education and remote sensing | |
| Sundari et al. | Development of 3D Building Model Using Augmented Reality | |
| Filonik et al. | Interactive scenario visualisation in immersive virtual environments for decision making support | |
| KR102686485B1 (en) | Method and system for sharing collaboration space in extended reality using point cloud | |
| Ramsbottom | A virtual reality interface for previsualization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |