KR102581805B1 - 메타버스 기반의 정유화학 플랜트 오퍼레이터 훈련 시스템 및 방법 - Google Patents

메타버스 기반의 정유화학 플랜트 오퍼레이터 훈련 시스템 및 방법 Download PDF

Info

Publication number
KR102581805B1
KR102581805B1 KR1020210124546A KR20210124546A KR102581805B1 KR 102581805 B1 KR102581805 B1 KR 102581805B1 KR 1020210124546 A KR1020210124546 A KR 1020210124546A KR 20210124546 A KR20210124546 A KR 20210124546A KR 102581805 B1 KR102581805 B1 KR 102581805B1
Authority
KR
South Korea
Prior art keywords
operator
data
metaverse
avatar
motion
Prior art date
Application number
KR1020210124546A
Other languages
English (en)
Other versions
KR20230041214A (ko
Inventor
이준석
Original Assignee
이준석
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이준석 filed Critical 이준석
Priority to KR1020210124546A priority Critical patent/KR102581805B1/ko
Publication of KR20230041214A publication Critical patent/KR20230041214A/ko
Application granted granted Critical
Publication of KR102581805B1 publication Critical patent/KR102581805B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass

Abstract

서로 협력하여 정유화학 플랜트에서 사용되는 기기를 훈련할 수 있는 메타버스 공간을 제공함으로써, 현실감이 높고 안전사고의 발생을 최소화할 수 있는 메타버스 기반의 정유화학 플랜트 오퍼레이터 훈련 시스템 및 방법을 개시한다.
실시예에 따른 메타버스 기반의 정유화학 플랜트 오퍼레이터 훈련 시스템은, 유무선 공유장치에 의해 네트워크로 연결되는 메타버스 서버와 복수 개의 단말을 이용하여 정유화학 플랜트 오퍼레이터를 훈련시키는 시스템에 있어서, 센서에 의해 제1 오퍼레이터의 동작과 소리에 대한 센싱데이터를 수집하고 동작과 소리에 대한 센싱데이터에 기초하여 제1 오퍼레이터의 동작데이터와 소리데이터를 생성하는 데이터생성부, 메타버스 서버와 통신하며 생성된 동작데이터와 소리데이터를 메타버스 서버로 전송하는 서버인터페이스부 및 영상과 음성을 출력하는 출력부를 포함하는 제1 단말; 센서에 의해 제2 오퍼레이터의 동작과 소리에 대한 센싱데이터를 수집하고 동작과 소리에 대한 센싱데이터에 기초하여 제2 오퍼레이터의 동작데이터와 소리데이터를 생성하는 데이터생성부, 메타버스 서버와 통신하며 생성된 동작데이터와 소리데이터를 메타버스 서버로 전송하는 서버인터페이스부 및 영상과 음성을 출력하는 출력부를 포함하는 제2 단말; 및 정유화학 플랜트에 대한 정보 데이터와 정유화학 플랜트에서 사용되는 기기에 대한 정보 데이터가 저장되는 데이터저장부, 데이터저장부에 저장된 데이터에 기초하는 메타버스 공간, 제1 오퍼레이터의 동작데이터에 기초하여 제1 오퍼레이터의 동작과 연동하여 움직이는 제1 오퍼레이터 아바타 및 제2 오퍼레이터의 동작데이터에 기초하여 제2 오퍼레이터의 동작과 연동하여 움직이는 제2 오퍼레이터 아바타를 생성하는 객체생성부, 제1 오퍼레이터와 제2 오퍼레이터의 동작데이터에 기초하여 기기를 선택하거나 제어하고 훈련 상황 속의 가상 객체들과 인터랙션 할 수 있도록 한 객체제어부 및 제1 오퍼레이터 아바타와 제2 오퍼레이터 아바타가 반영된 메타버스 공간을 제1 단말과 제2 단말에게 전송하는 단말인터페이스부를 포함하는 메타버스 서버;를 포함한다.

Description

메타버스 기반의 정유화학 플랜트 오퍼레이터 훈련 시스템 및 방법{METHOD AND SYSTEM FOR TRAINING PLANT OPERATOR BY METAVERSE SERVER}
본 개시(The Disclosure)는 메타버스 기반의 정유화학 플랜트 오퍼레이터 훈련 시스템 및 방법에 관한 것이다.
가상현실(VR)을 이용한 콘텐츠가 개발되면서 이를 이용한 훈련 장비들 또한 개발되고 있다. 특히, 이렇게 개발된 훈련 장비를 이용하여 현장 경험이 부족한 주니어 오퍼레이터를 훈련시키는 시스템이 개발되고 있다. 이러한 시스템을 이용하여 주니어 오퍼레이터는 실제 정유화학 플랜트에서 사용하는 드럼, 열교환기, 원심펌프, 컨트롤 밸브 등의 기능 및 작동 방법을 익혀 안전사고의 발생을 최소화해왔다.
하지만, 종래의 훈련 시스템은 싱글 플레이만 지원하므로 현장운전원과 보드운전원이 소통하고 협력해서 작업하는 실제 환경과 현실감이 떨어지는 문제점이 있다. 또한, 현장운전원의 역할만 지원하는 문제점이 있다.
본 개시가 해결하고자 하는 과제는, 서로 협력하여 정유화학 플랜트에서 사용되는 기기를 훈련할 수 있는 메타버스 공간을 제공함으로써, 현실감이 높고 안전사고의 발생을 최소화할 수 있는 메타버스 기반의 정유화학 플랜트 오퍼레이터 훈련 시스템 및 방법을 제공하는 것이다.
실시예에 따른 메타버스 기반의 정유화학 플랜트 오퍼레이터 훈련 시스템은, 유무선 공유장치에 의해 네트워크로 연결되는 메타버스 서버와 복수 개의 단말을 이용하여 정유화학 플랜트 오퍼레이터를 훈련시키는 시스템에 있어서, 센서에 의해 제1 오퍼레이터의 동작과 소리에 대한 센싱데이터를 수집하고 동작과 소리에 대한 센싱데이터에 기초하여 제1 오퍼레이터의 동작데이터와 소리데이터를 생성하는 데이터생성부, 메타버스 서버와 통신하며 생성된 동작데이터와 소리데이터를 메타버스 서버로 전송하는 서버인터페이스부 및 영상과 음성을 출력하는 출력부를 포함하는 제1 단말; 센서에 의해 제2 오퍼레이터의 동작과 소리에 대한 센싱데이터를 수집하고 동작과 소리에 대한 센싱데이터에 기초하여 제2 오퍼레이터의 동작데이터와 소리데이터를 생성하는 데이터생성부, 메타버스 서버와 통신하며 생성된 동작데이터와 소리데이터를 메타버스 서버로 전송하는 서버인터페이스부 및 영상과 음성을 출력하는 출력부를 포함하는 제2 단말; 및 정유화학 플랜트에 대한 정보 데이터와 정유화학 플랜트에서 사용되는 기기에 대한 정보 데이터가 저장되는 데이터저장부, 데이터저장부에 저장된 데이터에 기초하는 메타버스 공간, 제1 오퍼레이터의 동작데이터에 기초하여 제1 오퍼레이터의 동작과 연동하여 움직이는 제1 오퍼레이터 아바타 및 제2 오퍼레이터의 동작데이터에 기초하여 제2 오퍼레이터의 동작과 연동하여 움직이는 제2 오퍼레이터 아바타를 생성하는 객체생성부, 제1 오퍼레이터와 제2 오퍼레이터의 동작데이터에 기초하여 기기를 선택하거나 제어하고 훈련 상황 속의 가상 객체들과 인터랙션 할 수 있도록 한 객체제어부 및 제1 오퍼레이터 아바타와 제2 오퍼레이터 아바타가 반영된 메타버스 공간을 제1 단말과 제2 단말에게 전송하는 단말인터페이스부를 포함하는 메타버스 서버;를 포함하고, 메타버스 공간은, 기기의 보드가 위치하는 제1 영역과 기기가 위치하는 제2 영역을 포함하고, 객체제어부는, 제1 오퍼레이터의 아바타와 제2 오퍼레이터의 아바타 중 어느 하나의 아바타가 제1 영역에 위치하는 경우, 다른 하나의 아바타를 제2 영역으로 이동시키는 것을 특징으로 한다.
또한, 실시예에 따른 메타버스 기반의 정유화학 플랜트 오퍼레이터 훈련 시스템의 객체제어부는, 제1 영역에 위치하는 아바타에게 보드운전원의 권한을 부여하고, 제2 영역에 위치하는 아바타의 시야를 제1 영역에 위치하는 아바타에게 전송하는 것을 특징으로 한다.
또한, 실시예에 따른 메타버스 기반의 정유화학 플랜트 오퍼레이터 훈련 시스템의 객체제어부는, 제1 오퍼레이터의 아바타와 제2 오퍼레이터의 아바타 중 어느 하나의 아바타가 제2 영역에 위치하는 경우, 다른 하나의 아바타를 제1 영역으로 이동시키는 것을 특징으로 한다.
또한, 실시예에 따른 메타버스 기반의 정유화학 플랜트 오퍼레이터 훈련 시스템의 메타버스 서버는, 싱글훈련 콘텐츠부를 두어 제1 오퍼레이터가 단독으로 훈련하고자 할 경우, 제1 영역에 위치하여 보드운전원 역할을 하는 NPC(Non Player Character) 객체를 제1 오퍼레이터에게 제공하여 훈련을 수행하는 것을 특징으로 한다.
또한, 실시예에 따른 메타버스 기반의 정유화학 플랜트 오퍼레이터 훈련 방법은, 유무선 공유장치에 의해 네트워크로 연결되는 메타버스 서버와 복수 개의 단말을 이용하여 정유화학 플랜트 오퍼레이터를 훈련시키는 방법에 있어서, (a) 제1 단말이 센서에 의해 제1 오퍼레이터의 동작과 소리에 대한 센싱데이터를 수집하는 단계; (b) 제1 단말이 제1 오퍼레이터의 센싱데이터에 기초하여 동작데이터와 소리데이터를 생성하는 단계; (c) 제1 단말이 제1 오퍼레이터의 동작데이터와 소리데이터를 메타버스 서버로 전송하는 단계; (d) 제2 단말이 센서에 의해 제2 오퍼레이터의 동작과 소리에 대한 센싱데이터를 수집하는 단계; (e) 제2 단말이 제2 오퍼레이터의 센싱데이터에 기초하여 동작데이터와 소리데이터를 생성하는 단계; (f) 제2 단말이 제2 오퍼레이터의 동작데이터와 소리데이터를 메타버스 서버로 전송하는 단계; (g) 메타버스 서버가 정유화학 플랜트와 플랜트에서 사용되는 기기가 구현된 메타버스 공간, 제1 오퍼레이터의 동작데이터에 기초하여 제1 오퍼레이터의 동작과 연동하여 움직이는 제1 오퍼레이터 아바타 및 제2 오퍼레이터의 동작데이터에 기초하여 제2 오퍼레이터의 동작과 연동하여 움직이는 제2 오퍼레이터 아바타를 생성하는 단계; 및 (h) 메타버스 서버가 제1 오퍼레이터 아바타와 제2 오퍼레이터 아바타가 반영된 메타버스 공간을 제1 단말과 제2 단말에게 전송하는 단계;를 포함하고, 메타버스 공간은, 기기의 보드가 위치하는 제1 영역과 기기가 위치하는 제2 영역을 포함하고, (h)의 단계는, 제1 오퍼레이터의 아바타와 제2 오퍼레이터의 아바타 중 어느 하나의 아바타가 제1 영역에 위치하는 경우, 다른 하나의 아바타를 제2 영역으로 이동시키는 것을 특징으로 한다.
또한, 실시예에 따른 메타버스 기반의 정유화학 플랜트 오퍼레이터 훈련 방법의 (h)의 단계는, 제1 영역에 위치하는 아바타에게 보드운전원의 권한을 부여하고, 제2 영역에 위치하는 아바타의 시야를 제1 영역에 위치하는 아바타에게 전송하는 것을 특징으로 한다.
또한, 실시예에 따른 메타버스 기반의 정유화학 플랜트 오퍼레이터 훈련 방법의 (h)의 단계는, 제1 오퍼레이터의 아바타와 제2 오퍼레이터의 아바타 중 어느 하나의 아바타가 제2 영역에 위치하는 경우, 다른 하나의 아바타를 제1 영역으로 이동시키는 것을 특징으로 한다.
또한, 실시예에 따른 메타버스 기반의 정유화학 플랜트 오퍼레이터 훈련 방법의 메타버스 서버는, 제1 오퍼레이터가 단독으로 훈련하고자 할 경우, 제1 영역에 위치하여 보드운전원 역할을 하는 NPC(Non Player Character) 객체를 제1 오퍼레이터에게 제공하여 훈련을 수행하는 것을 특징으로 한다.
실시예에 따른 메타버스 기반의 정유화학 플랜트 오퍼레이터 훈련 시스템 및 방법은 여러 명의 주니어 오퍼레이터가 협력해서 작업함으로써 단순히 기기의 작동 방법만 익히는 것이 아니라 실전과 같은 환경을 조성해 훈련시킬 수 있으며, 안전사고의 발생을 최소화할 수 있다.
또한, 실시예에 따른 메타버스 기반의 정유화학 플랜트 오퍼레이터 훈련 시스템 및 방법은 여러 명의 주니어 오퍼레이터들 간에 실시간 소통이 가능하고, 이를 바탕으로 보드운전원의 역할을 부여받은 오퍼레이터가 현장운전원의 오퍼레이터에게 행동을 지시함으로써, 지정해 준 시나리오로만 진행되는 것이 아니라 보드운전원의 오퍼레이터의 지시에 따라 다양한 시나리오가 진행되어 현실감이 높다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 실시예에 따른 메타버스 기반의 정유화학 플랜트 오퍼레이터 훈련 시스템을 나타내는 도면이다.
도 2는 제1 단말과 제2 단말의 구성도이다.
도 3은 메타버스 서버의 구성도이다.
도 4는 실시예에 따른 메타버스 기반의 정유화학 플랜트 오퍼레이터 훈련 방법의 순서도이다.
본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시가 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
실시예에 따른 메타버스 기반의 정유화학 플랜트 오퍼레이터의 훈련 시스템[이하 '훈련 시스템(10)'이라 함]을 나타내는 도 1을 참조하면, 훈련 시스템(10)은 제1 단말(100), 제2 단말(200) 및 메타버스 서버(300)를 포함한다.
메타버스 서버(300)는 컴퓨팅 장치에 의하여 수행되는 방법을 수행하는 서버로서, 본 발명의 실시예에 따른 메타버스 기반의 정유화학 플랜트 오퍼레이터 훈련 방법[이하 '훈련 방법(S100)'이라 함]을 수행할 수 있다. 메타버스 서버(300)는 제1 단말(100)과 제2 단말(200)로부터 데이터를 받아 메타버스 공간을 생성하고, 이를 제1 단말(100)과 제2 단말(200)에 제공할 수 있다.
제1 단말(100)과 제2 단말(200)은 메타버스 서버(300)와 네트워크로 연결되어 메타버스 서버(300)로부터 메타버스 공간을 제공받을 수 있다. 제1 단말(100)과 제2 단말(200)은 제공받은 메타버스 공간 내에서 서로 협력하여 훈련을 실시할 수 있다. 또한, 제1 단말(100)과 제2 단말(200)은 한 개의 단말 또는 복수 개의 단말로 구성될 수 있으며, 그 개수는 한정되지 않는다.
네트워크는 근거리 통신망, 광역 통신망, 이동 통신망 및 Wibro 등과 같은 모든 종류의 유무선 네트워크로 구현될 수 있다.
제1 단말(100)과 제2 단말(200)의 구성도를 나타내는 도 2를 참조하면, 제1 단말(100)은 데이터생성부(110), 서버인터페이스부(120) 및 출력부(130)를 포함한다.
데이터생성부(110)는 센서에 의해 제1 오퍼레이터의 동작과 소리에 대한 센싱데이터를 수집하고, 동작과 소리에 대한 센싱데이터에 기초하여, 제1 오퍼레이터의 동작데이터와 소리데이터를 생성한다. 센서에는 오퍼레이터의 동작을 인식하는 립모션 기반의 모션 센서와 마이크가 사용될 수 있다.
서버인터페이스부(120)는 생성된 동작데이터와 소리데이터를 메타버스 서버(300)로 전송하며, 메타버스 서버(300)로부터 메타버스 공간 데이터를 수신한다. 즉, 데이터 송수신을 위한 인터페이스 기능을 수행한다.
출력부(130)는 메타버스 서버(300)로부터 전송받은 메타버스 공간을 출력한다. 3D 영상으로 구성되어 오퍼레이터에게 실제 상황을 극사실적으로 표현한 시각 콘텐츠 정보를 제공하기 위해 HMD(Head Mounted Display)와 스피커가 사용될 수 있다.
제2 단말(200)은 데이터생성부(210), 서버인터페이스부(220) 및 출력부(230)를 포함한다.
데이터생성부(210)는 센서에 의해 제2 오퍼레이터의 동작과 소리에 대한 센싱데이터를 수집하고, 동작과 소리에 대한 센싱데이터에 기초하여, 제2 오퍼레이터의 동작데이터와 소리데이터를 생성한다. 센서에는 오퍼레이터의 동작을 인식하는 립모션 기반의 모션 센서와 마이크가 사용될 수 있다.
서버인터페이스부(220)는 생성된 동작데이터와 소리데이터를 메타버스 서버(300)로 전송하며, 메타버스 서버(300)로부터 메타버스 공간 데이터를 수신한다. 즉, 데이터 송수신을 위한 인터페이스 기능을 수행한다.
출력부(230)는 메타버스 서버(300)로부터 전송받은 메타버스 공간을 출력한다. 3D 영상으로 구성되어 오퍼레이터에게 실제 상황을 극사실적으로 표현한 시각 콘텐츠 정보를 제공하기 위해 HMD(Head Mounted Display)와 스피커가 사용될 수 있다.
제1 단말(100)과 제2 단말(200)은 모바일 단말기를 이용할 수 있다. 모바일 단말기를 이용하여, 동작 및 소리 데이터를 메타버스 서버(300)로 전송할 수 있으며, 메타버스 서버(300)로부터 전송받은 메타버스 공간을 단말기의 디스플레이에 출력할 수 있다. 즉, 모바일 단말기는 햅틱효과와 내장된 마이크를 이용하여 메타버스 서버에 동작 및 소리 데이터를 전송할 수 있으며, 디스플레이를 이용하여, 자신의 아바타와 다른 공간에 위치한 사용자의 아바타가 투영된 메타버스 공간을 확인할 수 있다.
메타버스 서버(300)의 구성도를 나타내는 도 3을 참조하면, 메타버스 서버(300)는 데이터저장부(310), 객체생성부(320), 객체제어부(330) 및 단말인터페이스부(340)를 포함한다.
데이터저장부(310)는 정유화학 플랜트에 대한 정보 데이터와 정유화학 플랜트에서 사용되는 기기(드럼, 열교환기, 원심펌프, 컨트롤밸브 등)에 대한 정보 데이터가 저장된다.
객체생성부(320)는 데이터저장부(310)에 저장된 정보에 기초하여 정유화학 플랜트가 구현된 메타버스 공간을 생성하고 메타버스 공간 내에서 기기의 보드가 위치하는 제1 영역과 기기가 위치하는 제2 영역을 설정한다. 또한, 제1 단말(100)로부터 받은 제1 오퍼레이터의 동작데이터에 기초하여 제1 오퍼레이터의 동작과 연동되는 제1 오퍼레이터 아바타를 생성하고, 제2 단말(200)로부터 받은 제2 오퍼레이터의 동작데이터에 기초하여 제2 오퍼레이터의 동작과 연동되는 제2 오퍼레이터 아바타를 생성한다.
객체제어부(330)는 제1 오퍼레이터와 제2 오퍼레이터의 동작데이터에 기초하여 제1 오퍼레이터 아바타와 제2 오퍼레이터 아바타가 메타버스 공간에 구현된 기기를 선택하거나 제어할 수 있도록 한다. 또한, 훈련 상황 속의 가상 객체들과 인터랙션 할 수 있도록 한다.
또한, 객체제어부(330)는 제1 오퍼레이터의 아바타와 제2 오퍼레이터의 아바타 중 어느 하나의 아바타가 제1 영역에 위치하는 경우, 다른 하나의 아바타를 제2 영역으로 이동시킨다. 마찬가지로, 제1 오퍼레이터의 아바타와 제2 오퍼레이터의 아바타 중 어느 하나의 아바타가 제2 영역에 위치하는 경우, 다른 하나의 아바타를 제1 영역으로 이동시킨다.
또한, 제1 영역에 위치하는 아바타에게 보드운전원의 권한을 부여하고, 제2 영역에 위치하는 아바타에게 현장운전원의 권한을 부여한다. 이어서, 제1 영역에 위치하는 아바타에게 제2 영역에 위치하는 아바타의 시야를 전송함으로써, 제1 영역에 위치하는 아바타는 제2 영역에 위치하는 아바타의 시야를 실시간으로 확인하면서 제2 영역에 위치하는 아바타에게 지시를 내려 훈련을 진행할 수 있다.
단말인터페이스부(340)는 제1 오퍼레이터 아바타와 제2 오퍼레이터 아바타가 구현된 메타버스 공간을 제1 단말(100)과 제2 단말(200)에게 각각 전송한다.
또한, 메타버스 서버(300)는 싱글훈련 콘텐츠부(350)를 더 포함할 수 있다.
싱글훈련 콘텐츠부(350)는 제1 오퍼레이터가 단독으로 훈련하고자 할 경우, 제1 영역에 위치하여 보드운전원 역할을 하는 NPC(Non Player Character) 객체를 제1 오퍼레이터에게 제공하여 훈련을 수행할 수 있게 한다. 이 경우에는 제1 오퍼레이터가 제2 영역에 위치하여 현장운전원 역할을 실시하게 되며 기기를 조작하게 된다.
이하에서는 훈련 방법(S100)에 대해서 설명한다. 훈련 방법(S100)의 작용(기능)은 훈련 시스템(10)과 본질적으로 같은 것이므로 도 1 내지 도 3과 중복되는 설명은 생략하도록 한다.
훈련 방법(S100)의 순서도를 나타내는 도 5를 참조하면, 훈련 방법(S100)은 제1 단말이 센싱데이터를 수집하는 단계(110), 제1 단말이 동작데이터와 소리데이터를 생성하는 단계(S120), 제1 단말이 생성한 데이터를 메타버스 서버로 전송하는 단계(S130), 제2 단말이 센싱데이터를 수집하는 단계(S140), 제2 단말이 동작데이터와 소리데이터를 생성하는 단계(S150), 제2 단말이 생성한 데이터를 메타버스 서버로 전송하는 단계(S160), 메타버스 공간, 아바타들을 생성하는 단계(S170), 아바타들과 기기들이 인터랙션 할 수 있도록 제어하는 단계(S180) 및 메타버스 서버가 제1 단말과 제2 단말에게 메타버스 공간을 전송하는 단계(S190)를 포함한다.
제1 단말이 센싱데이터를 수집하는 단계(110)는 제1 단말이 센서에 의해 제1 오퍼레이터의 동작과 소리에 대한 센싱데이터를 수집하는 단계이다.
제1 단말이 동작데이터와 소리데이터를 생성하는 단계(S120)는 제1 단말이 제1 오퍼레이터의 동작과 소리에 대한 센싱데이터에 기초하여 동작데이터와 소리데이터를 생성하는 단계이다.
제1 단말이 생성한 데이터를 메타버스 서버로 전송하는 단계(S130)는 제1 단말이 제1 오퍼레이터의 동작데이터와 소리데이터를 메타버스 서버로 전송하는 단계이다.
제2 단말이 센싱데이터를 수집하는 단계(S140)는 제2 단말이 센서에 의해 제2 오퍼레이터의 동작과 소리에 대한 센싱데이터를 수집하는 단계이다.
제2 단말이 동작데이터와 소리데이터를 생성하는 단계(S150)는 제2 단말이 제2 오퍼레이터의 동작과 소리에 대한 센싱데이터에 기초하여 동작데이터와 소리데이터를 생성하는 단계이다.
제2 단말이 생성한 데이터를 메타버스 서버로 전송하는 단계(S160)는 제2 단말이 제2 오퍼레이터의 동작데이터와 소리데이터를 메타버스 서버로 전송하는 단계이다.
메타버스 공간, 아바타들을 생성하는 단계(S170)는 메타버스 서버가 정유화학 플랜트와 플랜트에서 사용되는 기기가 구현된 메타버스 공간과, 제1 오퍼레이터의 동작데이터에 기초하여 제1 오퍼레이터의 동작과 연동하여 움직이는 제1 오퍼레이터 아바타와, 제2 오퍼레이터의 동작데이터에 기초하여 제2 오퍼레이터의 동작과 연동하여 움직이는 제2 오퍼레이터 아바타를 생성하는 단계이다. 이때, 생성되는 메타버스 공간은 기기의 보드가 위치하는 제1 영역과 기기가 위치하는 제2 영역을 포함한다.
아바타들과 기기들이 인터랙션 할 수 있도록 제어하는 단계(S180)는 제1 오퍼레이터와 상기 제2 오퍼레이터의 동작데이터에 기초하여 기기를 선택하거나 제어하고 훈련 상황 속의 가상 객체들과 인터랙션 할 수 있도록 하는 단계이다.
또한, S180단계에서는 제1 오퍼레이터의 아바타와 제2 오퍼레이터의 아바타 중 어느 하나의 아바타가 제1 영역에 위치하는 경우, 다른 하나의 아바타를 제2 영역으로 이동시킨다. 마찬가지로, 제1 오퍼레이터의 아바타와 제2 오퍼레이터의 아바타 중 어느 하나의 아바타가 제2 영역에 위치하는 경우, 다른 하나의 아바타를 제1 영역으로 이동시킨다.
또한, S180단계에서는 제1 영역에 위치하는 아바타에게 보드운전원의 권한을 부여하고, 제2 영역에 위치하는 아바타에게 현장운전원의 권한을 부여한다. 이어서, 제1 영역에 위치하는 아바타에게 제2 영역에 위치하는 아바타의 시야를 전송함으로써, 제1 영역에 위치하는 아바타는 제2 영역에 위치하는 아바타의 시야를 실시간으로 확인하면서 제2 영역에 위치하는 아바타에게 지시를 내려 훈련을 진행할 수 있다.
메타버스 서버가 제1 단말과 제2 단말에게 메타버스 공간을 전송하는 단계(S190)는 메타버스 서버가 제1 오퍼레이터의 아바타와 제2 오퍼레이터의 아바타가 반영된 메타버스 공간을 제1 단말과 제2 단말에게 전송하는 단계이다.
메타버스 서버와 복수 개의 단말을 연결하는 방법 중 하나의 예로, Server의 역할을 하는 PC에서 AWS의 Virtual Machine을 실행시켜 Virtual Machine에서 Server를 실행한 뒤, Virtual Machine을 설정해서 다른 네트워크를 사용하고 있는 Client(단말)와 접속할 수 있도록 수정한 뒤, 설정이 완료되면 Oculus Quest 2에서 Open Level 명령어를 이용해서 Server에 접속한다.
복수 개의 단말이 서로 정보를 전달받는 방법 중 하나의 예로, 제1 단말의 행동을 Blueprint에서 Custom Event의 Run on Server로 Dedicated Server에 전달한 뒤, Dedicated Server는 제1 단말로부터 전달받은 정보를 Blueprint에서 Custom Event의 Multicast로 다른 단말에게 제1 단말의 행동을 전달하고, 다른 단말들은 Dedicated Server로부터 받은 제1 단말의 행동 정보를 각 단말의 화면에 복사한다.
전술한 훈련 시스템(10) 및 방법(S100)은 여러 명의 주니어 오퍼레이터가 협력해서 작업함으로써 단순히 기기의 작동 방법만 익히는 것이 아니라 실전과 같은 환경을 조성해 훈련시킬 수 있으며, 안전사고의 발생을 최소화할 수 있다.
또한, 전술한 훈련 시스템(10) 및 방법(S100)은 여러 명의 주니어 오퍼레이터들 간에 실시간 소통이 가능하고, 이를 바탕으로 보드운전원의 역할을 부여받은 오퍼레이터가 현장운전원의 오퍼레이터에게 행동을 지시함으로써, 지정해준 시나리오로만 진행되는 것이 아니라 보드운전원의 오퍼레이터의 지시에 따라 다양한 시나리오가 진행되어 현실감이 높다.
본 개시의 실시예를 설명할 때 사용된 표현(용어, 시각화된 이미지 등)들은 기술에 대한 이해를 높이기 위한 도구적인 목적에 의해 선택된 것에 불과하다.
또한, 여건상 본 개시는 제한된 수의 실시예에 의하여 설명되었고, 통상의 기술자는 설명된 실시예를 바탕으로 본 개시의 기술적 사상을 벗어나지 않는 범위 내에서 새로운 실시예들을 창안해 낼 수 있을 것이다.
따라서, 본 개시의 청구범위는 '발명의 설명' 및 '도면'에 나타난 일부 표현에 의하여 제한되어선 안되고, 명세서의 전반에 내재된 본원적인 기술적 사상을 바탕으로 폭넓게 해석되어야 함이 마땅하다.
10... 훈련시스템
100... 제1 단말
110... 데이터생성부
120... 서버인터페이스부
130... 출력부
200... 제2 단말
210... 데이터생성부
220... 서버인터페이스부
230... 출력부
300... 메타버스 서버
310... 데이터저장부
320... 객체생성부
330... 객체제어부
340... 단말인터페이스부
350... 싱글훈련 콘텐츠부

Claims (8)

  1. 유무선 공유장치에 의해 네트워크로 연결되는 메타버스 서버와 복수 개의 단말을 이용하여 정유화학 플랜트 오퍼레이터를 훈련시키는 시스템에 있어서,
    센서에 의해 제1 오퍼레이터의 동작과 소리에 대한 센싱데이터를 수집하고 상기 동작과 소리에 대한 센싱데이터에 기초하여 상기 제1 오퍼레이터의 동작데이터와 소리데이터를 생성하는 데이터생성부, 상기 메타버스 서버와 통신하며 상기 생성된 동작데이터와 소리데이터를 상기 메타버스 서버로 전송하는 서버인터페이스부 및 영상과 음성을 출력하는 출력부를 포함하는 제1 단말;
    센서에 의해 제2 오퍼레이터의 동작과 소리에 대한 센싱데이터를 수집하고 상기 동작과 소리에 대한 센싱데이터에 기초하여 상기 제2 오퍼레이터의 동작데이터와 소리데이터를 생성하는 데이터생성부, 상기 메타버스 서버와 통신하며 상기 생성된 동작데이터와 소리데이터를 상기 메타버스 서버로 전송하는 서버인터페이스부 및 영상과 음성을 출력하는 출력부를 포함하는 제2 단말; 및
    정유화학 플랜트에 대한 정보 데이터와 상기 정유화학 플랜트에서 사용되는 기기에 대한 정보 데이터가 저장되는 데이터저장부, 상기 데이터저장부에 저장된 데이터에 기초하는 메타버스 공간, 상기 제1 오퍼레이터의 동작데이터에 기초하여 상기 제1 오퍼레이터의 동작과 연동하여 움직이는 제1 오퍼레이터 아바타 및 상기 제2 오퍼레이터의 동작데이터에 기초하여 상기 제2 오퍼레이터의 동작과 연동하여 움직이는 제2 오퍼레이터 아바타를 생성하는 객체생성부, 상기 제1 오퍼레이터와 상기 제2 오퍼레이터의 동작데이터에 기초하여 상기 기기를 선택하거나 제어하고 훈련 상황 속의 가상 객체들과 인터랙션 할 수 있도록 한 객체제어부 및 상기 제1 오퍼레이터 아바타와 상기 제2 오퍼레이터 아바타가 반영된 상기 메타버스 공간을 상기 제1 단말과 상기 제2 단말에게 전송하는 단말인터페이스부를 포함하는 메타버스 서버;를 포함하고,
    상기 메타버스 공간은,
    상기 기기의 보드가 위치하는 제1 영역과 상기 기기가 위치하는 제2 영역을 포함하고,
    상기 객체제어부는,
    상기 제1 오퍼레이터의 아바타와 상기 제2 오퍼레이터의 아바타 중 어느 하나의 아바타가 상기 제1 영역에 위치하는 경우, 다른 하나의 아바타를 상기 제2 영역으로 이동시키는 것을 특징으로 하고,
    상기 객체제어부는,
    상기 제1 영역에 위치하는 아바타에게 보드운전원의 권한을 부여하고, 상기 제2 영역에 위치하는 아바타의 시야를 상기 제1 영역에 위치하는 아바타에게 전송하는 것을 특징으로 하는 메타버스 기반의 정유화학 플랜트 오퍼레이터 훈련 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 객체제어부는,
    상기 제1 오퍼레이터의 아바타와 상기 제2 오퍼레이터의 아바타 중 어느 하나의 아바타가 상기 제2 영역에 위치하는 경우, 다른 하나의 아바타를 상기 제1 영역으로 이동시키는 것을 특징으로 하는 메타버스 기반의 정유화학 플랜트 오퍼레이터 훈련 시스템.
  4. 제1항에 있어서,
    상기 메타버스 서버는,
    싱글훈련 콘텐츠부를 두어 상기 제1 오퍼레이터가 단독으로 훈련하고자 할 경우, 상기 제1 영역에 위치하여 보드운전원 역할을 하는 NPC(Non Player Character) 객체를 상기 제1 오퍼레이터에게 제공하여 훈련을 수행하는 것을 특징으로 하는 메타버스 기반의 정유화학 플랜트 오퍼레이터 훈련 시스템.
  5. 유무선 공유장치에 의해 네트워크로 연결되는 메타버스 서버와 복수 개의 단말을 이용하여 정유화학 플랜트 오퍼레이터를 훈련시키는 방법에 있어서,
    (a) 제1 단말이 센서에 의해 제1 오퍼레이터의 동작과 소리에 대한 센싱데이터를 수집하는 단계;
    (b) 제1 단말이 상기 제1 오퍼레이터의 센싱데이터에 기초하여 동작데이터와 소리데이터를 생성하는 단계;
    (c) 제1 단말이 상기 제1 오퍼레이터의 동작데이터와 소리데이터를 메타버스 서버로 전송하는 단계;
    (d) 제2 단말이 센서에 의해 제2 오퍼레이터의 동작과 소리에 대한 센싱데이터를 수집하는 단계;
    (e) 제2 단말이 상기 제2 오퍼레이터의 센싱데이터에 기초하여 동작데이터와 소리데이터를 생성하는 단계;
    (f) 제2 단말이 상기 제2 오퍼레이터의 동작데이터와 소리데이터를 메타버스 서버로 전송하는 단계;
    (g) 메타버스 서버가 정유화학 플랜트와 상기 플랜트에서 사용되는 기기가 구현된 메타버스 공간, 상기 제1 오퍼레이터의 동작데이터에 기초하여 상기 제1 오퍼레이터의 동작과 연동하여 움직이는 제1 오퍼레이터 아바타 및 상기 제2 오퍼레이터의 동작데이터에 기초하여 상기 제2 오퍼레이터의 동작과 연동하여 움직이는 제2 오퍼레이터 아바타를 생성하는 단계;
    (h) 메타버스 서버가 상기 제1 오퍼레이터와 상기 제2 오퍼레이터의 동작데이터에 기초하여 상기 기기를 선택하거나 제어하고 훈련 상황 속의 가상 객체들과 인터랙션 할 수 있도록 제어하는 단계; 및
    (i) 메타버스 서버가 상기 제1 오퍼레이터 아바타와 상기 제2 오퍼레이터 아바타가 반영된 상기 메타버스 공간을 상기 제1 단말과 상기 제2 단말에게 전송하는 단계;를 포함하고,
    상기 메타버스 공간은,
    상기 기기의 보드가 위치하는 제1 영역과 상기 기기가 위치하는 제2 영역을 포함하고,
    상기 (h)의 단계는,
    상기 제1 오퍼레이터의 아바타와 상기 제2 오퍼레이터의 아바타 중 어느 하나의 아바타가 상기 제1 영역에 위치하는 경우, 다른 하나의 아바타를 상기 제2 영역으로 이동시키는 단계;를 포함하는 것을 특징으로 하고,
    상기 (h)의 단계는,
    상기 제1 영역에 위치하는 아바타에게 보드운전원의 권한을 부여하고, 상기 제2 영역에 위치하는 아바타의 시야를 상기 제1 영역에 위치하는 아바타에게 전송하는 단계;를 포함하는 것을 특징으로 하는 메타버스 기반의 정유화학 플렌트 오퍼레이터 훈련 방법.
  6. 삭제
  7. 제5항에 있어서,
    상기 (h)의 단계는,
    상기 제1 오퍼레이터의 아바타와 상기 제2 오퍼레이터의 아바타 중 어느 하나의 아바타가 상기 제2 영역에 위치하는 경우, 다른 하나의 아바타를 상기 제1 영역으로 이동시키는 단계;를 포함하는 것을 특징으로 하는 메타버스 기반의 정유화학 플랜트 오퍼레이터 훈련 방법.
  8. 제5항에 있어서,
    상기 메타버스 서버는,
    상기 제1 오퍼레이터가 단독으로 훈련하고자 할 경우, 상기 제1 영역에 위치하여 보드운전원 역할을 하는 NPC(Non Player Character) 객체를 상기 제1 오퍼레이터에게 제공하여 훈련을 수행하는 것을 특징으로 하는 메타버스 기반의 정유화학 플랜트 오퍼레이터 훈련 방법.
KR1020210124546A 2021-09-17 2021-09-17 메타버스 기반의 정유화학 플랜트 오퍼레이터 훈련 시스템 및 방법 KR102581805B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210124546A KR102581805B1 (ko) 2021-09-17 2021-09-17 메타버스 기반의 정유화학 플랜트 오퍼레이터 훈련 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210124546A KR102581805B1 (ko) 2021-09-17 2021-09-17 메타버스 기반의 정유화학 플랜트 오퍼레이터 훈련 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20230041214A KR20230041214A (ko) 2023-03-24
KR102581805B1 true KR102581805B1 (ko) 2023-09-25

Family

ID=85872666

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210124546A KR102581805B1 (ko) 2021-09-17 2021-09-17 메타버스 기반의 정유화학 플랜트 오퍼레이터 훈련 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102581805B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009140492A (ja) * 2007-12-06 2009-06-25 Internatl Business Mach Corp <Ibm> 実世界の物体およびインタラクションを仮想世界内にレンダリングする方法、システムおよびコンピュータ・プログラム
JP2015075732A (ja) * 2013-10-11 2015-04-20 三菱重工業株式会社 プラント運転訓練装置、制御方法、プログラム及びプラント運転訓練システム
KR102185016B1 (ko) * 2020-06-24 2020-12-02 대한민국 화학 사고 대응 훈련용 가상 현실 제어 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101923723B1 (ko) * 2012-09-17 2018-11-29 한국전자통신연구원 사용자 간 상호작용이 가능한 메타버스 공간을 제공하기 위한 메타버스 클라이언트 단말 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009140492A (ja) * 2007-12-06 2009-06-25 Internatl Business Mach Corp <Ibm> 実世界の物体およびインタラクションを仮想世界内にレンダリングする方法、システムおよびコンピュータ・プログラム
JP2015075732A (ja) * 2013-10-11 2015-04-20 三菱重工業株式会社 プラント運転訓練装置、制御方法、プログラム及びプラント運転訓練システム
KR102185016B1 (ko) * 2020-06-24 2020-12-02 대한민국 화학 사고 대응 훈련용 가상 현실 제어 시스템

Also Published As

Publication number Publication date
KR20230041214A (ko) 2023-03-24

Similar Documents

Publication Publication Date Title
KR101918262B1 (ko) 혼합 현실 서비스 제공 방법 및 시스템
Craig et al. Developing virtual reality applications: Foundations of effective design
JP3625212B1 (ja) ３次元仮想空間シミュレータ、３次元仮想空間シミュレーションプログラム、およびこれを記録したコンピュータ読み取り可能な記録媒体
Vinayagamoorthy et al. An eye gaze model for dyadic interaction in an immersive virtual environment: Practice and experience
Inamura et al. Simulator platform that enables social interaction simulation—SIGVerse: SocioIntelliGenesis simulator
Nagendran et al. A unified framework for individualized avatar-based interactions
Barakonyi et al. Agents that talk and hit back: Animated agents in augmented reality
Gardner et al. The Immersive Education Laboratory: understanding affordances, structuring experiences, and creating constructivist, collaborative processes, in mixed-reality smart environments
KR20200083004A (ko) 가상현실 구현 시스템 및 이를 통해 구현된 가상현실을 이용한 기관실 교육 훈련 시스템
JP3715219B2 (ja) バーチャル現場訓練装置
WO2000004478A2 (en) A system containing a multi-user virtual learning environment
Rostami et al. The metaverse and beyond: Implementing advanced multiverse realms with smart wearables
Nagendran et al. AMITIES: Avatar-mediated interactive training and individualized experience system
US20210405369A1 (en) System and methods of holographic extended reality platform to layer virtual objects in real or augmented environments
Funk et al. HoloCollab: a shared virtual platform for physical assembly training using spatially-aware head-mounted displays
KR102057658B1 (ko) 가상 현실 게임 인터페이스 제공 장치 및 방법
KR102581805B1 (ko) 메타버스 기반의 정유화학 플랜트 오퍼레이터 훈련 시스템 및 방법
Pelechano et al. Feeling crowded yet?: crowd simulations for VR
US11868519B2 (en) Systems and methods for virtual training within three-dimensional adaptive learning environments
KR20200078816A (ko) 기 작성된 3d 모델을 활용한 가상현실을 이용한 설비 교육 훈련 시스템
Viant et al. Serious games for fire and rescue training
Liagkou et al. A case study of a virtual training environment
KR102247808B1 (ko) 노드기반 시나리오 저작기능이 포함된 가상훈련시스템
CN108734774A (zh) 虚拟肢体构建方法及装置、人机交互方法
CN114743422A (zh) 一种答题方法及装置和电子设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant