KR101931649B1 - 가상현실기반 훈련 프로그램 제작 시스템 및 방법 - Google Patents

Abstract

본 발명의 실시 예에 따른 가상현실기반 훈련 프로그램 제작 시스템은 실제 환경을 스캔하여 가상현실 데이터를 생성하는 실제 환경 스캔부와, 가상현실 데이터를 이용하여 3차원 가상현실환경을 구축하고, 사용자 인터페이스를 통해 제작자에게 가상현실 데이터를 편집할 수 있는 툴을 제공하여, 가상훈련 시 소정의 객체와 훈련자 입력 간의 상호 작용이 가능하도록 적어도 하나의 객체를 선정하게 하며, 선정된 객체에 대해 재난 상황을 연출하거나, 대처를 위한 액션집합이나 애니메이션 효과를 지정하게 하는 가상환경 구축부 및 재난유형에 따라 설정된 대처절차를 3차원 가상현실환경에 적용한 재난대처 시나리오를 생성하는 시나리오 편집부를 포함한다.

Description

가상현실기반 훈련 프로그램 제작 시스템 및 방법{METHOD AND SYSTEM FOR MAKING TRAINING PROGRAM BASED ON VIRTUAL REALITY}

본 발명은 가상현실기반 훈련 프로그램 제작 시스템 및 방법에 관한 것으로, 더욱 상세하게는 실제 환경을 바탕으로 3차원 가상현실을 구축하고, 가상현실 중에서 상호작용 가능한 객체를 지정하며, 객체에 대해 훈련 시나리오를 작성함으로써, 실제 환경 스캔 기반의 가상현실 훈련 프로그램을 제작하는 시스템 및 방법에 관한 것이다.

화재, 지진, 해일, 산사태, 각종 시설의 붕괴와 같은 재난 상황에 대한 대처방안과 대피 교육은 매우 중요하다. 재난이 주변으로 확산되는 것을 방지하기 위하여 신속한 조치가 이루어져야하므로 재난 처리 전문가뿐만 아니라 일반인들에게도 평상시의 대처 방안 및 대피를 위한 훈련이 필요하다.

따라서 재난 발생 상황에 대한 훈련은 재난이 발생한 실제 상황과 유사한 상황에서 모의훈련을 실시해야하고, 훈련 경험에 기초하여 실제 재난 발생시 신속하고 적절하게 작전을 수행해야 한다.

그러나, 종래의 모의 재난 훈련은 실제 재난 상황과 유사한 상황을 만들고 재난 진압 훈련을 실시하는 것이 일반적이다. 따라서 실제 상황과 유사한 상황을 만들기 위해서는 실제 공간의 희생이 있을 수 있고, 비용 부담이 있기 때문에 훈련의 횟수에 제한적인 면이 있다.

아울러, 훈련을 요하는 상황은 대규모 산불, 고층건물의 화재, 강풍, 지진, 각종 시설이 붕괴되는 상황 등이 있는데, 이러한 상황은 재현하기도 어려울 뿐더러 모의 상황을 통해 훈련하기 실제적으로 어려운 문제점이 존재한다.

또한, 이와 같은 모의 재난 훈련은 실제 재난 훈련 준비 및 실행과정에서 비용 소모가 많고, 준비 시간이 오래 걸리는 데에 비해 훈련의 횟수는 한정적일 수밖에 없기 때문에 효율적이지 못하고, 참가자에 대한 사고 위험이 발생할 우려가 있으며, 모의 훈련을 위해 많은 인력이 동원되어야 하는 문제점이 있다.

대한민국 공개특허 제10-2016-0109066호(2015년3월9일, “훈련용 소화기 및 이를 이용한 가상 현실 기반의 재난 대응 훈련 시스템 및 방법”)

따라서, 본 발명이 해결하고자 하는 과제는 실제 재난 상황을 재현하는 가상현실기반 훈련 프로그램을 제작하는데 그 목적이 있다. 이를 위해, 실제 환경을 스캔하여 3차원 가상현실을 구축하고, 구축된 가상현실에서 실제 재난 상황과 유사한 재난 상황이 재현되도록 상호작용 가능한 객체를 지정하고, 객체에 해당하는 액션을 선택하여 태스크를 정의함으로써 훈련 시나리오를 작성할 수 있는 가상현실기반 훈련 프로그램 제작 시스템을 제공한다.

아울러, 실제 환경을 스캔하기 위해 깊이 인식 카메라를 이용하고, 스캔 데이터에서 제작자가 상호작용 가능한 객체를 선정하며, 선정된 객체에 액션집합이나 애니메이션 등의 효과를 지정하기 위해, 시나리오 편집 툴을 통해 간단한 조작만으로 훈련 시나리오를 제작할 수 있는 가상현실기반 훈련 프로그램 제작 시스템을 제공한다.

더불어, 시뮬레이션의 대상이 될 훈련 내용에 따라 미리 정해진 소정의 객체들과 이에 관련된 액션들을 옵션으로 사전에 정의하여 저장해둔 다음, 가상현실기반 훈련 프로그램을 제작할 시 이 옵션들을 가상환경에 추가함으로써, 아이템 결여에 의한 훈련환경의 불완전성을 보완할 수 있는 가상현실기반 훈련 프로그램 제작 시스템을 제공한다.

본 발명의 실시 예에 따른 가상현실기반 훈련 프로그램 제작 시스템은 실제 환경을 스캔하여 가상현실 데이터를 생성하는 실제 환경 스캔부와, 상기 가상현실 데이터를 이용하여 3D 가상현실환경을 구축하고, 사용자 인터페이스를 통해 제작자에게 상기 가상현실 데이터를 편집할 수 있는 툴을 제공하여, 가상훈련 시 소정의 객체와 훈련자 입력 간의 상호 작용이 가능하도록 적어도 하나의 객체를 선정하게 하며, 선정된 객체를 포함하는 가상훈련환경을 연출하거나, 대처를 위한 액션집합이나 애니메이션 효과를 지정하게 하는 가상환경 구축부 및 상기 가상훈련환경의 유형에 따라 설정된 대처절차를 상기 3D 가상현실환경에 적용한 가상훈련 시나리오를 생성하는 시나리오 편집부를 포함한다.

다른 실시 예에 따른 가상환경 구축부는 시나리오 편집 대화상자에서 미션에 따른 플레이어마다 타임라인에 기반하여 태스크를 부여하는 방법으로 훈련 시나리오를 제작하는 방식의 상기 툴을 제공한다.

다른 실시 예에 따른 상기 가상환경 구축부는 상기 실제 환경 스캔부로부터 실시간으로 렌더링되는 상기 3차원 가상현실환경 속에서 훈련자 입력과 상호 작용 가능한 객체를 선택하고, 상기 선택에 연이어 펼침 메뉴로 나타나는 액션 목록에서 하나의 액션을 선택하는 것으로 인터랙티브한 상기 태스크를 정의한다.

다른 실시 예에 따른 가상환경 구축부는 시뮬레이션의 대상이 될 훈련 내용에 따라 미리 정해진 소정의 객체들과 상기 객체에 관련된 액션들을 옵션으로 사전에 정의하여 저장해둔 다음, 가상현실기반 훈련 프로그램을 제작할 시 상기 옵션들을 가상환경에 추가할 수 있는 옵션을 제공한다.

다른 실시 예에 따른 가상환경 구축부는 상기 가상 현실 데이터를 생성하기 위해, 상기 툴을 통해 입력된 드래그 앤 드롭을 통해 바운딩 박스를 만들고, 상기 바운딩 박스 내부의 3차원 포인트를 취하며, 이후 원하는 오브젝트의 바운더리를 따라 분할영역으로 추출하기 위해 상기 3차원 포인트를 기반으로 PCA(Principal Component Analysis)를 적용하여 세가지 주축을 추출하고, 상기 PCA 주축을 기준으로 상기 3차원 포인트를 2차원에 투영시키며, 상기 투영된 2차원 평면에 대해서 사용자에 의해 세그먼테이션을 진행하고, 상기 2차원으로 투영된 부분의 세그먼테이션을 합침으로써 3차원 상에서 세그먼테이션을 완성한다.

다른 실시 예에 따른 가상환경 구축부는 상기 PCA 주축을 이용하여 3차원 포인트 클라우드 데이터에서의 데이터간의 가장 큰 분산을 가지는 축을 이용하고, 상기 축과 직교되는 두 번째로 분산이 큰 축 및 세 번째로 분산이 큰 축을 추출한다.

다른 실시 예에 따른 가상환경 구축부는 상기 2차원으로 투영된 부분의 세그먼테이션을 합치기 위해 각 2차원 세그먼테이션 결과의 교집합을 취하거나 union-exclusive를 통해 세그먼테이션에 포함되지 않은 부분을 제거한다.

또 다른 실시 예에 따른 가상현실기반 훈련 프로그램 제작 방법은 실제 환경을 스캔하여 가상현실 데이터를 생성하는 단계;

상기 가상현실 데이터를 이용하여 3차원 가상현실환경을 구축하는 단계;

사용자 인터페이스를 통해 제작자에게 상기 가상현실 데이터를 편집할 수 있는 툴을 제공하여, 가상훈련 시 소정의 객체와 훈련자 입력간의 상호작용이 가능하도록 적어도 하나의 객체를 선정하게 하는 단계와, 상기 선정된 객체를 포함하는 가상훈련환경을 연출하거나, 대처를 위한 액션집합이나 애니메이션 효과를 지정하는 단계 및 상기 가상훈련환경의 유형에 따라 설정된 대처절차를 상기 3차원 가상현실환경에 적용한 상기 가상훈련 시나리오를 생성하는 단계를 포함한다.

다른 실시 예에 따르면, 상기 가상훈련 시나리오를 훈련자의 HMD(Head mounted display)에 제공하여 상기 3차원 가상현실환경과 함께 디스플레이하는 단계를 더 포함한다.

다른 실시 예에 따르면, 3차원 가상현실환경을 구축하는 단계는 시나리오 편집 대화상자에서 미션에 따른 플레이어마다 타임라인에 기반하여 태스크를 부여하는 방법으로 훈련 시나리오를 제작하는 방식의 상기 툴을 제공한다.

다른 실시 예에 따르면, 3차원 가상현실환경을 구축하는 단계는, 시나리오 편집 대화상자에서 미션에 따른 플레이어마다 타임라인에 기반하여 태스크를 부여하는 방법으로 훈련 시나리오를 제작하는 방식의 상기 툴을 제공한다.

다른 실시 예에 따르면, 실시간으로 렌더링되는 상기 3차원 가상현실환경 속에서 훈련자 입력과 상호 작용 가능한 객체를 선택하고, 상기 선택에 연이어 펼침 메뉴로 나타나는 액션 목록에서 하나의 액션을 선택하는 것으로 인터랙티브한 상기 태스크를 정의하는 단계를 더 포함한다.

다른 실시 예에 따르면, 시뮬레이션의 대상이 될 훈련 내용에 따라 미리 정해진 소정의 객체들과 상기 객체에 관련된 액션들을 옵션으로 사전에 정의하여 저장하는 단계 및 가상현실기반 훈련 프로그램을 제작할 시 상기 옵션들을 가상환경에 추가할 수 있는 옵션을 제공하는 단계를 더 포함한다.

다른 실시 예에 따르면, 가상 현실 데이터를 생성하기 위해, 상기 툴을 통해 입력된 드래그 앤 드롭을 통해 바운딩 박스를 만드는 단계와, 상기 바운딩 박스 내부의 3차원 포인트를 취하며, 이후 원하는 오브젝트의 바운더리를 따라 분할영역으로 추출하기 위해 상기 3차원 포인트를 기반으로 PCA(Principal Component Analysis)를 적용하여 세가지 주축을 추출하는 단계와, 상기 PCA 주축을 기준으로 상기 3차원 포인트를 2차원에 투영시키며, 상기 투영된 2차원 평면에 대해서 사용자에 의해 세그먼테이션을 진행하는 단계 및 상기 2차원으로 투영된 부분의 세그먼테이션을 합침으로써 3차원 상에서 세그먼테이션을 완성하는 단계를 포함한다.

다른 실시 예에 따르면, 상기 PCA 주축을 이용하여 3차원 포인트 클라우드 데이터에서의 데이터간의 가장 큰 분산을 가지는 축을 이용하고, 상기 축과 직교되는 두 번째로 분산이 큰 축 및 세 번째로 분산이 큰 축을 추출하는 단계를 더 포함한다.

다른 실시 예에 따르면, 2차원으로 투영된 부분의 세그먼테이션을 합치기 위해 각 2차원 세그먼테이션 결과의 교집합을 취하거나 union-exclusive를 통해 세그먼테이션에 포함되지 않은 부분을 제거하는 단계를 더 포함한다.

본 발명의 일실시 예에 따르면, 실제 환경을 스캔하여 3차원 가상현실환경을 구축하고, 구축된 가상현실환경에서 실제 재난 상황과 유사한 재난 상황이 재현되도록 가상훈련 시 훈련자 입력과 상호작용 가능한 객체를 지정하고, 객체에 해당하는 액션이나 애니메이션을 선택하여 태스크를 정의함으로써 훈련 플랫폼을 제작할 수 있다.

아울러, 실제 환경을 스캔하기 위해 깊이 인식 카메라를 이용하고, 스캔 데이터에서 제작자가 가상훈련 시 훈련자 입력과 상호작용 가능한 객체를 선정하며, 선정된 객체에 액션집합이나 애니메이션의 효과를 지정하기 위해, 시나리오 편집 툴을 통해 간단한 조작만으로 훈련 시나리오를 제작할 수 있다.

더불어, 시뮬레이션의 대상이 될 훈련 내용에 따라 미리 정해진 소정의 객체들과 이에 관련된 액션들을 옵션으로 사전에 정의하여 저장해둔 다음, 가상현실기반 훈련 프로그램을 제작할 시 이 옵션들을 가상환경에 추가함으로써, 아이템 결여에 의한 훈련환경의 불완전성을 보완할 수 있다.

도 1은 본 발명의 일 실시예에 따른 가상현실기반 훈련 프로그램 제작 시스템의 개략적인 구성을 도시하는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 가상현실기반 훈련 프로그램을 제작하기 위한 엔진과 사용자 인터페이스(UI)의 동작을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 실제 환경을 스캔한 데이터를 나타내는 사진이다.
도 4a는 본 발명의 일 실시예에 따라 훈련 시 훈련자 입력과 상호작용될 객체를 선정하는 방법을 설명하기 위한 도면이다.
도 4b는 본 발명의 일실시 예에 따라 객체에 액션집합이나 애니메이션을 설정하기 위한 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 가상 현실 데이터를 생성하는 예를 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따라 훈련 내용의 옵션을 설정하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 따른 시나리오 생성을 설명하기 위한 도면이다.
도 8은 본 발명의 일실시 예에 따라 생성된 가상훈련 플랫폼의 일 예를 도시하는 도면이다.
도 9는 본 발명의 일 실시 예에 따른 가상현실기반 훈련 프로그램 제작 방법을 설명하기 위한 순서도이다.

본 발명의 실시 예들을 설명하기에 앞서, 기존의 모의 재난 훈련에서 발생하는 문제점들을 검토한 후, 이들 문제점을 해결하기 위해 본 발명의 실시 예들이 채택하고 있는 기술적 수단을 개괄적으로 소개하도록 한다.

종래의 모의 재난 훈련은 실제 재난 상황과 유사한 상황을 만들고 재난 진압 훈련을 실시하는 것이 일반적이다. 따라서 실제 상황과 유사한 상황을 만들기 위해서는 실제 공간의 희생이 있을 수 있고, 비용 부담이 있기 때문에 훈련의 횟수에 제한적인 면이 있다.

아울러, 훈련을 요하는 상황은 대규모 산불, 고층건물의 화재, 강풍, 지진, 각종 시설이 붕괴되는 상황 등이 있는데, 이러한 상황은 재현하기도 어려울 뿐더러 모의 상황을 통해 훈련하기 실제적으로 어려운 문제점이 존재한다.

또한, 이와 같은 모의 재난 훈련은 실제 재난 훈련 준비 및 실행과정에서 비용 소모가 많고, 준비 시간이 오래 걸리는 데에 비해 훈련의 횟수는 한정적일 수밖에 없기 때문에 효율적이지 못하고, 참가자는 훈련 중 사고가 발생할 위험이 있으며, 모의 훈련을 위해 많은 인력이 동원되어야 하는 문제점이 있다.

따라서, 본 발명의 실시 예는 재난 현장 상황과 같은 가상의 재난 환경을 구성하여 사용자들을 모의 훈련시킴으로써, 실제 환경을 기반으로 한 훈련 경험에 기초하여 실제 재난 발생 시 신속하고 적절하게 작전을 수행할 수 있는 가상현실기반 훈련 프로그램을 제안한다.

이하에서는 도면을 참조하여 본 발명의 실시 예들을 구체적으로 설명하도록 한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.

도 1은 본 발명의 일 실시예에 따른 가상현실기반 훈련 프로그램 제작 시스템의 개략적인 구성을 도시하는 블록도이고, 도 2는 본 발명의 일 실시예에 따른 가상현실기반 훈련 프로그램을 제작하기 위한 엔진과 사용자 인터페이스(UI)의 동작을 설명하기 위한 흐름도이며, 도 3은 본 발명의 일 실시예에 따른 실제 환경을 스캔한 데이터를 나타내는 사진이다.

도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 가상현실기반 훈련 프로그램 제작 시스템(100)은 실제 환경 스캔부(110), 가상환경 구축부(130), 시나리오 편집부(150) 및 가상 훈련 플랫폼(170)을 포함하여 구성된다.

실제 환경 스캔부(110)는 깊이 인식 카메라를 이용하여 실제 환경을 촬영하고 스캔을 진행한다. 예를 들어, 실제 환경을 3차원으로 스캔하는 과정은 구글의 탱고 태블릿, 마이크로소프트의 키넥트 등 기성품인 상용 플랫폼을 이용하여 모바일 환경에서 사용자가 재난 환경으로 설정할 환경을 촬영하여 획득할 수 있다.

실제 환경 스캔부(110)는 실시간으로 실제 환경을 스캔함과 동시에 얻어진 센서 데이터로부터 SLAM(Simultaneous Localization and mapping) 알고리즘을 적용함으로써 가상환경에서의 3차원 표현정보를 계산하고, 이를 포맷에 맞게 저장한다.

구글의 프로젝트인 탱고 태블릿의 경우 RGB-Depth 카메라의 센서를 이용한 심도 감지를 통해 포인트 클라우드를 생성하고, 이를 바탕으로 3차원 동작 및 지형지물을 추적하기 위한 모바일 플랫폼을 제공한다.

마이크로소프트의 키넥트의 경우 색깔 텍스쳐 정보를 얻기 위한 기존의 RGB 카메라에 IR Emitter (적외선 방사기)와 IR Depth Sensor(적외선 깊이 센서)를 추가함으로써, 피사체를 투영한 2차원 이미지뿐만 아니라 3차원 기하구조를 실시간으로 재건할 수 있는 툴과 튜토리얼을 제공한다.

가상환경 구축부(130)는 실제 환경 스캔에 의해 생성된 가상현실 데이터를 이용하여 3차원 가상현실환경을 구축한다. 가상환경 구축부(130)에서 구축된 3차원 가상현실환경은 사용자 인터페이스의 가상환경 편집창(200)에 표시된다.

가상현실기판 훈련 프로그램을 제작하는 제작자는 가상환경 편집창(200)을 통해 가상현실데이터를 획득할 수 있는 가상현실기기를 설정할 수 있다. 아울러, 동적 오브젝트를 설정할 수 있으며, 오브젝트 액션을 설정하고, 설정된 오브젝트를 편집 가능하다.

종래 기술에서는 가상 현실에서의 훈련 환경을 구축하기 위해 저작자가 컴퓨터 그래픽툴을 이용해 현실 아이템들을 일일이 재현하여 현실환경과 유사한 가상환경을 만들어야했다.

그러나, 본 발명에서는 깊이 인식 카메라를 이용하여 실제 환경을 스캔하여 가상현실데이터를 생성함으로써, 종래 기술에서 저작자가 가상 환경을 구축하기 위해 요구되었던 기술적 장벽을 낮추고, 더 빠른 시간 내에 실제 환경과 유사한 가상환경을 구축할 수 있게 되었다. 또한, 가상현실데이터에서 거의 마우스만을 이용하여 편집 가능한 플랫폼을 제공함으로써, 저작자가 코드를 작성하지 않고도 용이하고 신속하게 직관적으로 편집하고 시나리오 작성이 가능하게 되었다.

도 4a는 본 발명의 일 실시예에 따라 훈련 시 훈련자 입력과 상호작용될 객체를 선정하는 방법을 설명하기 위한 도면이고, 도 4b는 본 발명의 일실시 예에 따라 객체에 액션집합이나 애니메이션을 설정하기 위한 방법을 설명하기 위한 도면이며, 도 5는 본 발명의 일실시예에 따라 훈련 내용의 옵션을 설정하는 방법을 설명하기 위한 도면이다.

가상환경 구축부(130)는 도 4a에 도시된 바와 같이, 실제 환경 스캔을 기반으로 구축된 3차원 가상현실환경을 불러온 뒤, 이를 가상 현실 데이터로 변환한다. 그리고 가상 환경 데이터에서 가상 훈련 시 훈련자 입력과 상호 작용이 가능하도록 설정할 물체와 그렇지 않은 물체를 분리하기 위해 사용자 인터페이스의 가상환경 편집창(200)에서 제작자가 상호작용 가능한 소정의 객체를 선정하게 한다. 가상환경 구축부(130)는 실제환경 스캔부(110)로부터 실시간으로 3차원 가상현실환경 데이터를 렌더링한다.

예를 들어, 프로젝트 탱고 등의 상용 솔루션을 이용해 3차원 재구성된 환경을 편집창으로 불러온다. 이후 마우스를 이용해 제작자가 가상훈련 시 훈련자 입력과 상호작용 가능한 물체로서 선택하고 싶은 대상을 선택하게 한다(도 4a 및 도 4b의 파란색 실선 부분). 제작자는 이 같은 방식을 통해 직관적으로 훈련 시 훈련자 입력과 상호작용 가능한 물체를 지정할 수 있다. 여기서, 훈련자 입력이란 가상 훈련 수행시, 훈련자가 재난상황에 대해 대처하기 위해 취하는 액션 입력, 또는 객체를 이용하기 위한 액션 입력 등이 될 수 있고, 이들은 마우스나 키보드 등을 통해 입력될 수 있고 사용자 제스처를 통해 입력될 수도 있다.

이를 좀 더 구체적으로 설명하자면, 프로젝트 탱고 등의 사용 솔루션을 이용해 3차원 재구성된 가상 현실 데이터를 가상환경 구축부(130)에서 불러온다. 가상 현실 데이터에서 특정 부분만을 선택하는 방법은 다음과 같은 4가지 절차를 거친다.

도 5는 본 발명의 일 실시예에 따른 가상 현실 데이터를 생성하는 예를 설명하기 위한 도면이다.

먼저, 도 5에 도시된 바와 같이 사용자가 원하는 물체에 대해 그 부분에 대한 드래그 앤 드롭을 통해서 바운딩 박스(bounding box)를 만든다. 3차원으로 재구성된 가상 현실 환경은 3차원 포인트로 구성되어 있기 때문에 바운딩 박스 내부의 3차원 포인트를 취할 수 있다. 이후 원하는 오브젝트의 바운더리를 따라 분할영역으로 추출하기 위해서는 바운딩 박스 내부의 3차원 포인트를 바탕으로 PCA(Principal Component Analysis)를 적용한다. PCA를 적용하면 바운딩 박스 내부의 3차원 포인트에 대해서 세 가지 주축을 추출할 수 있다. PCA 주축을 이용하는 이유는 3차원 포인트 클라우드 데이터에서의 데이터간의 가장 큰 분산을 가지는 축을 이용하고, 그와 직교되는 두 번째로 분산이 큰 축, 이후 세 번째로 분산이 큰 축을 추출할 수 있기 때문에 3차원 포인트 클라우드를 가장 잘 표현할 수 있고, 2차원 상 투영했을 때 가장 데이터 손실을 줄일 수 있는 방법이기 때문이다.

이후 PCA 주축을 기준으로 3차원 포인트를 2차원 투영시킨다. 투영된 2차원 평면에 대해서 저작자가 직접 마우스를 이용하여 세그먼테이션을 진행한다. 이 과정에서 2차원 세그먼테이션 알고리즘인 Snake나 GrabCut 등을 사용할 수 있다.

마지막으로 3가지 세그먼테이션된 2차원 투영된 결과에 대해서 2차원으로 투영된 부분의 세그먼테이션을 합침으로써 3차원 상에서 세그먼테이션이 완성된다. 2차원으로 투영된 부분의 세그먼테이션을 합치는 방법으로는 간단하게 각 2차원 세그먼테이션 결과의 교집합을 취하거나 union-exclusive를 통해 세그먼테이션에 포함되지 않은 부분을 제거할 수 있다. 이러한 방법은 가운데 구멍이 뚫린 경우나 3차원 오브젝트가 겹쳐있는 경우 등에 대해서는 정확하게 추출이 불가능할 수 있는데 여기에서의 3차원 오브젝트 추출의 목적은 완벽한 경계선을 추출하는 것이 아닌 사용자(훈련자)와의 상호작용을 하기 위함이기 때문에 어느 정도의 오차는 허락된다. 도 5에 도시된 바와 같은 방법으로 추출된 3차원 오브젝트는 데이터베이스화하여 다른 가상 환경을 제작할 때 재사용이 가능하다.

기존발명은 3차원 포인트를 균등한 간격의 Voxel grid로 분할하여 해당 셀마다 포함된 점들의 개수를 누적시킨 후 임계치로 필터링을 통해 베이스면(바닥)을 결정한다. 이후 결정된 바닥에 다른 점을 누적시켜 물체를 결정하게 된다. 하지만 본 발명에서는 PCA를 통해 물체를 가장 잘 표현할 수 있는 축에 2차원으로 투영시킨 2차원 이미지에 대해 사용자의 개입을 통한 직관적인 분할을 적용할 수 있으며, 혹은 2차원 투영 이미지에 대해 Snake나 GrabCut과 같은 2차원 분할 알고리즘을 적용할 수 있다.

또한, 기존 발명은 바닥을 찾은 후 바닥에 3차원 포인트를 누적시켜서 물체를 찾기 때문에 물체가 반드시 바닥에 붙어 있어야 하지만, 본 발명에서는 바닥을 찾을 필요 없이 초기 바운딩 박스(bounding box)만 정해주면 PCA를 이용하여 2차원으로 투영된 이미지에 대해서 분할을 수행하기 때문에 제약 조건이 없다. 또한, 기존 발명의 알고리즘에서는 누적된 3차원 포인트를 활용하기 때문에 피라미드와 같은 바닥으로 갈수록 3차원 포인트의 밀도가 높아지는 복잡한 3차원 물체에 대해서는 제대로 분할이 불가능해진다. 하지만 본 발명에서는 PCA를 활용한 주축으로의 투영이기 때문에 물체를 가장 잘 표현할 수 있는 방향으로의 2차원 투영이 가능해지고 따라서 전체 물체에 대한 정확한 분할이 가능해진다.

아울러, 시나리오 편집부(150)는 도 4a에 도시된 바와 같이 시나리오 편집창(210)을 통한 제작자 설정에 의해 훈련자 입력과 상호작용 가능한 객체에 대하여 가능한 액션집합을 정의하고, 애니메이션 등의 효과를 지정할 수 있다.

시나리오 편집창(210)은 제작자가 시나리오를 설정 및 편집가능하게 하고, 가상현실기기를 통해 시나리오가 실행 가능하게 한다. 구체적으로, 시나리오 편집창(210)은 가상훈련 시 훈련자 입력과 상호작용할 수 있는 범위를 선택 가능하게 하고 마우스 오른쪽 버튼을 누르면 도 4b와 같이 메뉴 바가 뜨게 한다. 여기서 선택한 범위에 대해 상호작용 물체로 지정할 것인지, 소정의 액션을 통해 상호작용할 수 있게 할 것인지 또는 상호작용이 발생했을 때 소정의 애니메이션 효과가 실행되도록 할 것인지를 설정할 수 있다.

한편, 앞서 실제환경 스캔부(110)에서 스캔한 실제 환경 데이터의 3차원 정보는 스캔을 실시했던 당시의 토폴로지만을 담고 있기 때문에, 이를 바탕으로 상호작용이 가능한 부분을 정의하고 각종 이벤트에 해당하는 액션 및 효과들을 매핑하기에는 객체의 종류가 제한적이며, 실제 재난 환경을 표현하기에 제한적이며, 불완전한 점이 있다.

따라서, 도 6에 도시된 바와 같이 시뮬레이션의 대상이 될 훈련 내용에 따라 미리 정해진 몇 가지 객체들과 이와 관련된 동작들을 옵션으로 사전에 정의하여 옵션 저장부(152)에 저장해 두고, 필요할 때마다 이 옵션들을 가상환경에 추가함으로써, 아이템 결여에 의한 가상훈련환경의 불완전성을 보완할 수 있다.

도 7은 본 발명의 일실시예에 따른 시나리오 생성을 설명하기 위한 도면이다.

시나리오 편집부(150)는 재난유형에 따라 설정된 대처절차를 3차원 가상현실환경에 적용한 재난대처 시나리오를 생성한다. 즉, 재난상황에서 안전훈련을 체험할 수 있는 하나 이상의 훈련 시나리오를 생성한다.

여기서, 재난유형은 홍수, 대설, 한파, 태풍과 같은 자연재난, 해양오염사고, 원전사고, 화재, 폭발, 지하철 사고 등 사회재난, 응급처치, 식중독, 물놀이안전, 학교폭력 예방 등 생활안전이 있을 수 있다.

예를 들어, 재난유형이 화재인 경우, 3차원 가상현실환경에 대해서 화재현장에 대한 설계와 소방의 주요 대상물을 설정한다. 그리고, 실제와 거의 유사하게 상황을 구현하여 화재로 인한 연소특성 및 피난 상황등을 예측하여 그 결과에 따라 최적의 대처 시나리오를 도출한다.

본 발명에서는 가상 훈련 환경의 유형을 재난유형들의 예로 설명하였으나, 재난상황 이외의 다른 훈련이 필요한 상황에 적용할 수 있음에 한정하지 않는다.

구체적으로, 가상훈련 시 훈련자 입력과 상호작용 가능한 객체를 정의하고 난 이후, 도 7의 일러스트와 같이 시나리오 편집 대화상자를 띄우고 플레이어마다 타임라인에 기반하여 태스크를 부여하는 방법으로 평이하게 훈련 시나리오를 작성한다.

즉, 시나리오 편집창에서는 타임라인 기반의 UI를 통한 태스크와 이벤트 기반의 편집을 통해 간단하게 훈련 시나리오를 생성 및 편집할 수 있는 직관적인 인터페이스를 제공한다. 저작자는 드래그 앤 드롭을 이용해 태스크와 이벤트를 타임라인 상에 배치하여 훈련 시나리오를 작성할 수 있다.

여기서 태스크는 플레이어와 상호작용할 대상이 될 객체와 해당 객체와의 액션, 이 두 가지로서 정의되며 보다 복잡한 상호작용의 경우 보어(complement)나 목적어(object)를 추가로 필요로 한다.

태스크의 각 항목에 해당하는 객체와 액션들을 대응시키는 데에는 간단한 마우스 조작만으로도 충분한다. 사용자는 시나리오 편집 대화상자를 열어둔 채로 가상환경 구축부(130)에서 실시간으로 렌더링되는 3차원 가상현실환경 속 상호작용 가능한 객체를 클릭하고, 이후 펼침메뉴로 나타나는 액션 목록에서 적어도 하나를 선택하는 것으로 인터랙티브하게 태스크를 정의할 수 있다. 시나리오 편집창을 제공하는 저작도구는 HMD(Head mounted display), ODT(Omni Directional Treadmill, 전방향 도보장치) 및 행동인식 입력장치 등의 가상 현실 인터페이스 장비들을 지원한다.

도 8은 본 발명의 일실시 예에 따라 생성된 가상훈련 플랫폼의 일 예를 도시하는 도면이다.

도 8에 도시된 바와 같이 본 발명의 일실시예에 따른 가상훈련 플랫폼은 깊이 인식 카메라를 이용하여 실제 환경을 스캔하고, 이를 바탕으로 가상훈련 시 훈련자 입력과 상호작용 가능한 물체를 지정하며, 시나리오 편집창을 통해 재난유형에 따라 설정된 대처절차를 3차원 가상현실환경에 적용하여 재난 대처 시나리오를 통해 생성되었기 때문에, 실제 환경을 바탕으로 한 훈련 경험에 기초하여 실제 재난 발생 시 신속하고 적절하게 작전을 수행할 수 있다.

이러한 가상훈련 플랫폼은 훈련자의 HMD(Head mounted display)에 제공된다. 즉, 훈련자가 HMD를 착용하면 3차원 가상현실환경과 함께 디스플레이되는 재난 상황에 대처하기 위한 행위를 하면, 가상훈련 플랫폼은 훈련자의 대처 행위를 입력으로 받아들여 그에 대응하는 변화된 환경을 출력한다. 이때, 미리 설정된 옵션들이 순차적으로 디스플레이된다.

도 9는 본 발명의 일 실시 예에 따른 가상현실기반 훈련 프로그램 제작 방법을 설명하기 위한 순서도이다.

도 9를 참조하면, 본 발명의 일 실시 예에 따른 가상현실기반 훈련 프로그램 제작 방법은 먼저, 실제 환경을 스캔하여 가상현실 데이터를 생성하는 단계(S910)를 포함한다. 여기서, 가상 현실 데이터를 생성하기 위해, 상기 툴을 통해 입력된 드래그 앤 드롭을 통해 바운딩 박스를 만드는 단계와, 상기 바운딩 박스 내부의 3차원 포인트를 취하며, 이후 원하는 오브젝트의 바운더리를 따라 분할영역으로 추출하기 위해 상기 3차원 포인트를 기반으로 PCA(Principal Component Analysis)를 적용하여 세가지 주축을 추출하는 단계와, 상기 PCA 주축을 기준으로 상기 3차원 포인트를 2차원에 투영시키며, 상기 투영된 2차원 평면에 대해서 사용자에 의해 세그먼테이션을 진행하는 단계 및 상기 2차원으로 투영된 부분의 세그먼테이션을 합침으로써 3차원 상에서 세그먼테이션을 완성하는 단계를 포함할 수 있다.

여기서, 상기 PCA 주축을 이용하여 3차원 포인트 클라우드 데이터에서의 데이터간의 가장 큰 분산을 가지는 축을 이용하고, 상기 축과 직교되는 두 번째로 분산이 큰 축 및 세 번째로 분산이 큰 축을 추출하는 단계를 더 포함할 수 있다.

그리고, 상기 2차원으로 투영된 부분의 세그먼테이션을 합치기 위해 각 2차원 세그먼테이션 결과의 교집합을 취하거나 union-exclusive를 통해 세그먼테이션에 포함되지 않은 부분을 제거하는 단계를 더 포함할 수 있다.

다음으로, 가상현실 데이터를 이용하여 3차원 가상현실환경을 구축하는 단계(S920)를 포함한다. 여기서, 3차원 가상현실환경을 구축하기 위해 시나리오 편집 대화상자에서 미션에 따른 플레이어마다 타임라인에 기반하여 태스크를 부여하는 방법으로 훈련 시나리오를 제작하는 방식의 툴을 제공할 수 있다.

이를 위해, 사용자 인터페이스를 통해 제작자에게 상기 가상현실 데이터를 편집할 수 있는 툴을 제공하여, 가상훈련 시 소정의 객체와 훈련자 입력간의 상호작용이 가능하도록 적어도 하나의 객체를 선정하게 하는 단계(S930)를 포함한다.

이 단계(S930)는 실시간으로 렌더링되는 상기 3차원 가상현실환경 속에서 훈련자 입력과 상호 작용 가능한 객체를 선택하고, 상기 선택에 연이어 펼침 메뉴로 나타나는 액션 목록에서 하나의 액션을 선택하는 것으로 인터랙티브한 상기 태스크를 정의하는 단계를 더 포함할 수 있다.

아울러, 시뮬레이션의 대상이 될 훈련 내용에 따라 미리 정해진 소정의 객체들과 상기 객체에 관련된 액션들을 옵션으로 사전에 정의하여 저장하는 단계 및 가상현실기반 훈련 프로그램을 제작할 시 상기 옵션들을 가상환경에 추가할 수 있는 옵션을 제공하는 단계를 더 포함할 수 있다.

다음으로, 선정된 객체를 포함하는 가상훈련환경을 연출하거나, 대처를 위한 액션집합이나 애니메이션 효과를 지정하는 단계(S940) 및 상기 가상훈련환경의 유형에 따라 설정된 대처절차를 상기 3차원 가상현실환경에 적용한 상기 가상훈련 시나리오를 생성하는 단계(S950)를 포함한다.

여기서, 가상현실기반 훈련 프로그램 제작 방법은 상기 가상훈련 시나리오 생성 단계 이후, 가상훈련 시나리오를 훈련자의 HMD(Head mounted display)에 제공하여 상기 3차원 가상현실환경과 함께 디스플레이하는 단계를 더 포함할 수 있다. 제안된 본 발명의 저작도구는 HMD 이외에도 ODT(Omni Directional Treadmill, 전방향 도보장치) 및 행동인식 입력장치 등의 가상 현실 인터페이스 장비들을 지원한다.

이와 같은 본 발명의 일실시 예에 따르면, 실제 환경을 스캔하여 3차원 가상현실환경을 구축하고, 구축된 가상현실환경에서 실제 재난 상황과 유사한 재난 상황이 재현되도록 가상훈련 시 훈련자 입력과 상호작용 가능한 객체를 지정하고, 객체에 해당하는 액션이나 애니메이션을 선택하여 태스크를 정의함으로써 훈련 플랫폼을 제작할 수 있다.

아울러, 실제 환경을 스캔하기 위해 깊이 인식 카메라를 이용하고, 깊이 인식 카메라에 의해 획득된 스캔 데이터에서 제작자가 가상훈련 시 훈련자 입력과 상호작용 가능한 객체를 선정하며, 선정된 객체에 액션집합이나 애니메이션의 효과를 지정하기 위해, 시나리오 편집 툴을 통해 간단한 조작만으로 훈련 시나리오를 제작할 수 있다.

더불어, 시뮬레이션의 대상이 될 훈련 내용에 따라 미리 정해진 소정의 객체들과 이에 관련된 액션들을 옵션으로 사전에 정의하여 저장해둔 다음, 가상현실기반 훈련 프로그램을 제작할 시 이 옵션들을 가상환경에 추가함으로써, 아이템 결여에 의한 훈련환경의 불완전성을 보완할 수 있다.

기존 발명에서는 가상 현실에서의 훈련 환경을 구축하기 위해 저작자가 컴퓨터 그래픽 툴을 이용해 일일이 실제와 비슷한 가상 환경을 만들어야 했으나, 본 발명은 깊이 인식 카메라를 이용하여 실제 환경을 스캔해 가상 환경으로 불러옴으로써, 기존 발명에서 저작자가 가상 환경을 구축하기 위해 필요했던 기술적 장벽을 낮추고 더 짧은 시간 안에 실제 환경과 유사한 가상 환경을 구축할 수 있도록 하였다. 또한 불러온 실제 환경에서 마우스만을 사용한 편집을 용이하게 함으로서 코드를 작성하지 않고도 다양한 편집이 가능하도록 하였다.

기존의 물리적 시설에 기반을 둔 실제 환경 기반의 훈련 플랫폼은 비용이 많이 들고 훈련자가 위험한 상황에 빠질 수 있는 위험이 있지만, 본 발명에서 제안하는 가상현실 기반 훈련 플랫폼은 반복훈련이 용이하고, 가상의 환경을 이용하기 때문에 위험성이 거의 없다.

또한, 실제 환경을 스캔하여 가상 현실 데이터로 변환하여 이용하기 때문에 피훈련자는 훈련이 필요한 실환경 내에서 요구되는 동일한 훈련에 몰입할 수 있고, 이에 훈련 효과를 높일 수 있다. 아울러, 항공, 해양, 경찰, 군대, 소방, 의료 분야, 교육기관의 특수 교육 및 훈련 등의 다양한 환경에 대한 교육 및 훈련 시뮬레이션을 빠른 시간 내에 제작함으로써, 제작에 필요한 비용을 절감할 수 있다. 또한, 본 발명의 저작도구는 모든 재난 환경이 물리 엔진 및 시뮬레이션 이론에 기반하고 있기 때문에 실환경을 기반한 재난 및 사고 상황 재현을 필요로 하는 군대, 검찰 및 경찰의 사고 분석 등에도 사용될 수 있다.

더불어, 실제 환경을 스캔함과 동시에 훈련자와 상호작용 가능한 오브젝트를 저작자의 의도에 맞게 설정 및 변경할 수 있기 때문에, 스캔된 가상 환경 내에서의 상호작용이 가능해져 좀 더 능동적인 가상 훈련 플랫폼을 구현할 수 있다. 능동적인 가상 훈련 플랫폼의 구현은 훈련 효과의 향상으로 이어진다.

안전 훈련에 대한 반복을 필수로 하는 해양, 항공 분야, 경찰, 군대, 소방, 의료 분야 등에서 본 발명의 가상현실기반 훈련 프로그램 제작 시스템 및 프로그램이 유용하게 사용될 것이며, 안전 불감증이 만연하고, 크고 작은 사고들이 발생하는 사회에서 본 발명의 가상현실기반 훈련 프로그램은 매우 유익하게 활용될 수 있을 것이다.

한편, 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

이상에서 본 발명에 대하여 그 다양한 실시 예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (15)

1. 실제 환경을 스캔하여 가상현실 데이터를 생성하는 실제 환경 스캔부;
   상기 가상현실 데이터를 이용하여 3차원 가상현실환경을 구축하고, 사용자 인터페이스를 통해 제작자에게 상기 가상현실 데이터를 편집할 수 있는 툴을 제공하여, 가상훈련 시 소정의 객체와 훈련자 입력 간의 상호 작용이 가능하도록 적어도 하나의 객체를 선정하게 하며, 선정된 객체를 포함하는 가상훈련환경을 연출하거나, 대처를 위한 액션집합이나 애니메이션 효과를 지정하게 하는 가상환경 구축부; 및
   상기 가상훈련환경의 유형에 따라 설정된 대처절차를 상기 3차원 가상현실환경에 적용한 가상훈련 시나리오를 생성하는 시나리오 편집부;를 포함하고,
   상기 가상환경 구축부는 상기 가상현실 데이터를 생성하기 위해,
   상기 툴을 통해 입력된 드래그 앤 드롭을 통해 바운딩 박스를 만들고, 상기 바운딩 박스 내부의 3차원 포인트를 취하며, 이후 원하는 오브젝트의 바운더리를 따라 분할영역으로 추출하기 위해 상기 3차원 포인트를 기반으로 PCA(Principal Component Analysis)를 적용하여 세가지 주축을 추출하고, 상기 PCA 주축을 기준으로 상기 3차원 포인트를 2차원에 투영시키며, 상기 투영된 2차원 평면에 대해서 사용자에 의해 세그먼테이션을 진행하고, 상기 2차원으로 투영된 부분의 세그먼테이션을 합침으로써 3차원 상에서 세그먼테이션을 완성하는 것을 특징으로 하는, 가상현실기반 훈련 프로그램 제작 시스템.
2. 제 1 항에 있어서,
   상기 가상환경 구축부는,
   시나리오 편집 대화상자에서 미션에 따른 플레이어마다 타임라인에 기반하여 태스크를 부여하는 방법으로 훈련 시나리오를 제작하는 방식의 상기 툴을 제공하는, 가상현실기반 훈련 프로그램 제작 시스템.
3. 제 1 항에 있어서,
   상기 가상환경 구축부는,
   상기 실제 환경 스캔부로부터 실시간으로 렌더링되는 상기 3차원 가상현실환경 속에서 훈련자 입력과 상호 작용 가능한 객체를 선택하고, 상기 선택에 연이어 펼침 메뉴로 나타나는 액션 목록에서 하나의 액션을 선택하는 것으로 인터랙티브한 태스크를 정의하는, 가상현실기반 훈련 프로그램 제작 시스템.
4. 제 1 항에 있어서,
   상기 가상환경 구축부는,
   시뮬레이션의 대상이 될 훈련 내용에 따라 미리 정해진 소정의 객체들과 상기 객체에 관련된 액션들을 옵션으로 사전에 정의하여 저장해둔 다음, 가상현실기반 훈련 프로그램을 제작할 시 상기 옵션들을 가상환경에 추가할 수 있는 옵션을 제공하는, 가상현실기반 훈련 프로그램 제작 시스템.
5. 삭제
6. 제 1 항에 있어서,
   상기 가상환경 구축부는,
   상기 PCA 주축을 이용하여 3차원 포인트 클라우드 데이터에서의 데이터간의 가장 큰 분산을 가지는 축을 이용하고, 상기 축과 직교되는 두 번째로 분산이 큰 축 및 세 번째로 분산이 큰 축을 추출하는, 가상현실기반 훈련 프로그램 제작 시스템.
7. 제 1 항에 있어서,
   상기 가상환경 구축부는,
   상기 2차원으로 투영된 부분의 세그먼테이션을 합치기 위해 각 2차원 세그먼테이션 결과의 교집합을 취하거나 union-exclusive를 통해 세그먼테이션에 포함되지 않은 부분을 제거하는, 가상현실기반 훈련 프로그램 제작 시스템.
8. 실제 환경을 스캔하여 가상현실 데이터를 생성하는 단계;
   상기 가상현실 데이터를 이용하여 3차원 가상현실환경을 구축하는 단계;
   사용자 인터페이스를 통해 제작자에게 상기 가상현실 데이터를 편집할 수 있는 툴을 제공하여, 가상훈련 시 소정의 객체와 훈련자 입력간의 상호작용이 가능하도록 적어도 하나의 객체를 선정하게 하는 단계;
   상기 선정된 객체를 포함하는 가상훈련환경을 연출하거나, 대처를 위한 액션집합이나 애니메이션 효과를 지정하는 단계; 및
   상기 가상훈련환경의 유형에 따라 설정된 대처절차를 상기 3차원 가상현실환경에 적용한 상기 가상훈련 시나리오를 생성하는 단계;를 포함하고,
   상기 가상 현실 데이터를 생성하기 위해,
   상기 툴을 통해 입력된 드래그 앤 드롭을 통해 바운딩 박스를 만드는 단계;
   상기 바운딩 박스 내부의 3차원 포인트를 취하며, 이후 원하는 오브젝트의 바운더리를 따라 분할영역으로 추출하기 위해 상기 3차원 포인트를 기반으로 PCA(Principal Component Analysis)를 적용하여 세가지 주축을 추출하는 단계;
   상기 PCA 주축을 기준으로 상기 3차원 포인트를 2차원에 투영시키며, 상기 투영된 2차원 평면에 대해서 사용자에 의해 세그먼테이션을 진행하는 단계; 및
   상기 2차원으로 투영된 부분의 세그먼테이션을 합침으로써 3차원 상에서 세그먼테이션을 완성하는 단계를 포함하는, 가상현실기반 훈련 프로그램 제작 방법.
9. 제 8 항에 있어서,
   가상훈련 시나리오를 훈련자의 HMD(Head mounted display)에 제공하여 상기 3차원 가상현실환경과 함께 디스플레이하는 단계를 더 포함하는, 가상현실기반 훈련 프로그램 제작 방법.
10. 제 8 항에 있어서,
    상기 3차원 가상현실환경을 구축하는 단계는,
    시나리오 편집 대화상자에서 미션에 따른 플레이어마다 타임라인에 기반하여 태스크를 부여하는 방법으로 훈련 시나리오를 제작하는 방식의 상기 툴을 제공하는, 가상현실기반 훈련 프로그램 제작 방법.
11. 제 8 항에 있어서,
    실시간으로 렌더링되는 상기 3차원 가상현실환경 속에서 훈련자 입력과 상호 작용 가능한 객체를 선택하고, 상기 선택에 연이어 펼침 메뉴로 나타나는 액션 목록에서 하나의 액션을 선택하는 것으로 인터랙티브한 태스크를 정의하는 단계를 더 포함하는, 가상현실기반 훈련 프로그램 제작 방법.
12. 제 8 항에 있어서,
    시뮬레이션의 대상이 될 훈련 내용에 따라 미리 정해진 소정의 객체들과 상기 객체에 관련된 액션들을 옵션으로 사전에 정의하여 저장하는 단계; 및
    가상현실기반 훈련 프로그램을 제작할 시 상기 옵션들을 가상환경에 추가할 수 있는 옵션을 제공하는 단계를 더 포함하는, 가상현실기반 훈련 프로그램 제작 방법.
13. 삭제
14. 제 8 항에 있어서,
    상기 PCA 주축을 이용하여 3차원 포인트 클라우드 데이터에서의 데이터간의 가장 큰 분산을 가지는 축을 이용하고, 상기 축과 직교되는 두 번째로 분산이 큰 축 및 세 번째로 분산이 큰 축을 추출하는 단계를 더 포함하는, 가상현실기반 훈련 프로그램 제작 방법.
15. 제 8 항에 있어서,
    상기 2차원으로 투영된 부분의 세그먼테이션을 합치기 위해 각 2차원 세그먼테이션 결과의 교집합을 취하거나 union-exclusive를 통해 세그먼테이션에 포함되지 않은 부분을 제거하는 단계를 더 포함하는, 가상현실기반 훈련 프로그램 제작 방법.
    
    

Images