KR20230085803A - 멀티 사용자 기반 가상현실 원전사고 비상 대응 훈련 시스템 - Google Patents

멀티 사용자 기반 가상현실 원전사고 비상 대응 훈련 시스템 Download PDF

Info

Publication number
KR20230085803A
KR20230085803A KR1020220022675A KR20220022675A KR20230085803A KR 20230085803 A KR20230085803 A KR 20230085803A KR 1020220022675 A KR1020220022675 A KR 1020220022675A KR 20220022675 A KR20220022675 A KR 20220022675A KR 20230085803 A KR20230085803 A KR 20230085803A
Authority
KR
South Korea
Prior art keywords
training
virtual reality
emergency response
control
user based
Prior art date
Application number
KR1020220022675A
Other languages
English (en)
Other versions
KR102671394B1 (ko
Inventor
김대근
Original Assignee
주식회사 이엠라이프
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이엠라이프 filed Critical 주식회사 이엠라이프
Publication of KR20230085803A publication Critical patent/KR20230085803A/ko
Application granted granted Critical
Publication of KR102671394B1 publication Critical patent/KR102671394B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/08Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/10Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations all student stations being capable of presenting the same information simultaneously

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

실시예에서는 멀티 사용자 기반 가상현실 원전사고 비상대응 훈련 시스템을 통해 가상현실 기반의 원전 대응 훈련 컨텐츠를 제공한다. 실시예에서는 기본적인 시나리오 외에 추가적인 훈련 시나리오를 생성하는 툴을 제공하고, 진행중인 가상훈련을 실시간 모니터링하고 통제할 수 있도록 하는 시스템을 제공한다. 또한, 비상대응 훈련 사항들을 실시간으로 수집, 분석하여 분석 결과를 도출할 수 있다. 또한, 실시예에 따른 멀티 사용자 기반 가상현실 원전사고 비상 대응 훈련 시스템은 원전사고 발생시 주민들이 취해야 할 행동 등을 가상으로 훈련할 수 있는 콘텐츠를 제공하고, 훈련생 HMD 화면을 5G 기반의 스트리밍 데이터 전송을 통해 실시간으로 지휘관에게 제공하여 훈련생을 모니터링 할 수 있도록 한다.

Description

멀티 사용자 기반 가상현실 원전사고 비상 대응 훈련 시스템{MULTI-USER BASED VIRTUAL REALITY NUCLEAR ACCIDENT EMERGENCY RESPONSE TRAINING SYSTEM}
본 개시는 멀티 사용자 기반 가상현실 원전사고 비상 대응 훈련 시스템에 관한 것으로 구체적으로, 실시간 대피 훈련 콘텐츠, 실시간 훈련 통제 시스템 등의 실시간 훈련 환경을 가상현실로 제공하는 시스템에 관한 것이다.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
융합을 대표 키워드로 한 4차 산업혁명의 주요 분야 중 하나가 현실과 가상세계간 융합을 의미하는 가상현실이며, 가상훈련시스템(VRT)는 가상현실의 총 집약체로서, 다양한 소프트웨어 및 하드웨어 기술이 적용된다. 세계 가상훈련시스템 산업은 2015년부터 2022년까지 연평균 4.4%의 지속 성장과 함께 169억 USD(약 19조 6천억 원)의 시장을 형성할 것으로 예측된다. 단순 체감형 콘텐츠 분야에서 벗어나 세계 각국 정부 및 최고 기업들이 주목하는 새로운 산업영역으로 발전하고 있어 기술 개발 및 시장 진출이 시급한 상황이다.
최근 원자력시설 사고, 고장 및 방사선 관련 사건사고는 연평균 14건으로, 불규칙한 추세를 나타내고 있다. 울산지역은 방사능 재난사고 위험등급이 5단계로 사고 발생 위험성이 높은 지역이다. 울주를 포함한 울산지역은 국내 최대 원전 밀집 지역인 동해안 권역에 속해 있고 (2개의 비상계획 구역 내 포함), 방사능 사고의 위험을 내포하고 있는 원전과 지역 산업의 변화를 통한 인구의 밀집, 최근 들어 빈번히 발생하는 지진 및 태풍 등의 자연재해로 복합적인 대형재난이 발생할 수 있다는 전문가들의 분석이 나오고 있다. 방사능 사고 발생 시 1차 피해지역은 원전 주변 지역이고, 원전과 직접적 연관 시설인 발전 시설도 큰 피해를 입을 것으로 예측된다. 특히, 방사능 오염수의 바다 유입 시 어패류 양식시설, 인구가 밀집해 있는 다중 이용시설 등도 피해가 막대할 것으로 예상된다.
원전 재난은 1986년 체르노빌 원전사고와 2011년 3월 후쿠시마 원전사고에서도 보이듯이, 사고가 발생하면 대형재난으로 진행이 되므로, 신속한 주민소개(대피)와 함께 광범위한 지역 및 다수 주민들에 대한 정확한 통제와 철저한 사고의 대응을 진행하는 것이 피해를 가장 최소화할 수 있는 방법이다. 아울러, 원전 재난에 대한 적극적인 교육 및 대응역량 육성이 절실히 필요하지만, 예상 가능한 모든 원전 재난현장을 오프라인에서 그대로 재현할 수 없다.
원전 재난은 광범위한 지역에 확산하는 복합재난으로, 특히 풍향, 풍속 등에 따라 피해 범위와 대처요령이 달라진다. 원전 재난으로 인한 주민 대피 과정에서는 자가 차량, 버스, 기차, 배, 헬기 등을 모두를 활용해야 하므로 소개(대피) 체험에 제한 발생하는 경우가 많다. 또한, 원전 재난에서의 주민소개(대피) 과정은 다수 기관의 협업을 통해서만 통제가 가능하고, 다른 재난과 달리 주민소개(대피) 거리가 25Km 이상의 원거리 필요하다. 원전 재난의 특성상 거주지, 집결지 등의 구호소의 거리가 직전 25Km 이상으로 오프라인 훈련 시 실제 대피 안내에 대한 제한이 생겨, 예상 가능한 모든 재난현장을 오프라인에서 그대로 재현할 수 없다. 오프라인 훈련이 가능한 경우에도 안전 문제 및 현실적 대응의 어려움으로 원활한 훈련이 불가능한 경우가 많다. 또한, 교통, 출입통제소의 유동 차량이 많은 곳으로 실제상황과 유사한 훈련이 불가하고, 안전취약계층의 경우는 실제 이동훈련 불가하여, 이동 간 안전, 식사 등의 문제 발생한다.
1. 한국 특허등록 제10-1824863호 (2018.01.29) 2. 한국 특허등록 제10-2187621호 (2020.12.01)
실시예에서는 멀티 사용자 기반 가상현실 원전사고 비상대응 훈련 시스템을 통해 가상현실 기반의 원전 대응 훈련 컨텐츠를 제공한다. 실시예에서는 기본적인 시나리오 외에 추가적인 훈련 시나리오를 생성하는 툴을 제공하고, 진행중인 가상훈련을 실시간 모니터링하고 통제할 수 있도록 하는 시스템을 제공한다. 또한, 비상대응 훈련 사항들을 실시간으로 수집, 분석하여 분석 결과를 도출할 수 있다.
실시예에 따른 멀티 사용자 기반 가상현실 원전사고 비상 대응 훈련 시스템은 원전사고 발생시 주민들이 취해야 할 행동 등을 가상으로 훈련할 수 있는 콘텐츠를 제공하고, 훈련생 HMD 화면을 5G 기반의 스트리밍 데이터 전송을 통해 실시간으로 지휘관에게 제공하여 훈련생을 모니터링 할 수 있도록 한다.
또한, 사용자의 데이터를 서버로 연결하여 다수의 사용자가 동일한 가상 세계에서 서로의 행동정보를 전달받아 합동 훈련을 진행할 수 있는 VR용 콘텐츠 서버를 제공한다.
또한, 통제요원이 착용하고 있는 360 카메라를 통해 실시간으로 훈련 현장의 상황들을 현장감 있게 제공하여 스트리밍을 통해 훈련 현장을 연동하고, 훈련 전체를 통제하고 돌발 이벤트를 발생시킬 수 있는 비상 훈련 제어 시스템을 제공한다.
실시예에 따른 멀티 사용자 기반 가상현실 원전사고 비상 대응 훈련 시스템은 다수의 주민이 동시에 훈련할 수 있는 멀티네트워크 방식의 가상현실 원전사고 대피 훈련 컨텐츠를 생성하고 생성된 컨텐츠를 훈련생, 지휘관 및 통제요원을 포함하는 사용자에게 제공하는 가상현실 컨텐츠 제공 서버; 실시간으로 훈련을 통제하는 훈련통제시스템; 및 가상훈련에 참여하는 훈련생 및 통제요원이 착용하여 사용자 체험감을 생성하는 실감장비; 를 포함한다.
이상에서와 같은 실시예에 따른 멀티 사용자 기반 가상현실 원전사고 비상 대응 훈련 시스템은 원전사고 발생에 대비한 옥내 대피 훈련 및 주민소개 행동 훈련 5단계를 실감나게 훈련할 수 있도록 한다.
실시간 대피 훈련 콘텐츠, 실시간 훈련 통제 시스템 등의 실시간 훈련 환경 구축에 필요한 핵심 기술을 구축하여 국내 가상훈련시스템 산업을 발전시켜 오프라인 훈련 비용을 절감하고, 재난 훈련뿐만 아니라 기본 업무 훈련까지 실시예를 적용하여 직원 육성 교육 비용을 절감할 수 있다.
또한, 민간에 불편을 초래할 수 있고, 그에 따른 손실 비용 역시 발생할 수 있는 오프라인 훈련 대신 가상훈련시스템(VRT, Virtual Reality System)을 제공함으로써, XR(Extended Reality) 기기 및 기술을 이용해 위험하고 값비싼 현장훈련을 대체할 수 있다.
또한, 실제와 유사한 환경에서 안전한 교육 및 훈련 효과를 창출할 수 있도록 하고, 가상훈련시스템의 활성화로 각종 재난 상황에 대한 대처능력을 저렴한 비용으로 충분히 향상시킬 수 있다. 이를 통해, 각종 자연재해, 재난사고에 대한 초기 대응역량을 강화하여 사회의 안정성을 확보하는데 큰 기여를 할 수 있다. 또한, 실시예를 통해 그간 부족했던 교육계 및 산업계 전반에 대한 실습의 기회를 제공할 수 있고, 교육에서의 실습 과정 및 산업계의 직업훈련을 VRT로 손쉽게 진행할 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 실시예에 따른 멀티 사용자 기반 가상현실 원전사고 비상 대응 훈련 시스템을 나타낸 도면
도 2a는 실시예에 따른 멀티 사용자 기반 가상현실 원전사고 비상 대응 시스템 구성을 나타낸 도면
도 2b는 실시예에 따른 멀티사용자 기반 가상현실 원전사고 비상 대응 훈련 시스템의 인공지능을 통한 데이터 분석과정을 설명하기 위한 도면
도 3은 실시예에 따른 가상현실 컨텐츠 제공 서버의 데이터 처리 구성을 나타낸 도면
도 4는 실시예에 따른 가상현실 컨텐츠 제공 서버에서 제공하는 5G기반의 가상현실 원전사고 합동 대피훈련 콘텐츠 예를 나타낸 도면
도 5는 실시예에 따른 원전사고 합동 대피훈련 컨텐츠의 진행 플로우를 나타낸 도면
도 6은 실시예에 따른 멀티 사용자 기반 가상현실 원전사고 비상대응 훈련 시스템의 데이터 처리 구성을 나타낸 도면
도 7은 실시예에 따른 멀티 사용자 기반 가상현실 원전사고 비상대응 훈련 시스템 기능 설명을 위한 도면
도 8은 실시예에 따른 비상 훈련 제어 시스템이 제공하는 지휘자 UI(User Interface)를 나타낸 도면
도 9는 실시예에 따른 가상훈련에 참여하는 훈련생 및 통제요원이 착용하는 실감장비를 나타낸 도면
도 10은 실시예에 따른 햅틱 착용 모습(a)과 햅틱의 데이터 처리 구성(b)을 나타낸 도면
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 실시예에 따른 멀티 사용자 기반 가상현실 원전사고 비상 대응 훈련 시스템을 나타낸 도면이다.
도 1을 참조하면, 실시예에 따른 멀티 사용자 기반 가상현실 원전사고 비상 대응 훈련 시스템은 통제실에 위치한 지휘관들이 현장 훈련장에서 가상 훈련을 진행하고 있는 주민들의 행동을 원격에서 실시간 모니터링하고 통제할 수 있도록 한다.
실시예에서는 멀티 사용자 기반 가상현실 원전사고 비상대응 훈련 시스템을 통해 가상현실 기반의 원전 대응 훈련 컨텐츠를 제공한다. 실시예에서는 기본적인 시나리오 외에 추가적인 훈련 시나리오를 생성하는 툴을 제공하고, 진행중인 가상훈련을 실시간 모니터링하고 통제할 수 있도록 하는 시스템을 제공한다. 또한, 대응 훈련 사항들을 실시간으로 수집, 분석하여 분석 결과를 도출할 수 있다.
또한, 실시예에서는 주민들의 가상현실 속 현장을 직접 모니터링할 뿐만 아니라, 통제요원들의 카메라를 통해 훈련 현장의 모습을 실시간으로 모니터링 하고, 지휘관과 통제요원들이 실시간으로 음성 대화를 긴밀하게 진행하면서 대피 훈련을 진행할 수 있도록 한다. 또한, 실시예에서는 훈련 제어화면을 통해 실시간으로 훈련을 제어하고 돌발 상황을 발생시켜, 해당 훈련 통제 시스템을 통한 훈련으로 지휘관 통제 능력 배양할 수 있다. 또한, 실시예를 통해 여러 명이 동시에 훈련할 수 있는 확장형 비상 훈련 콘텐츠를 제공한다. 실시예서는 3인의 주민이 동시에 훈련할 수 있는 멀티네트워크 방식의 콘텐츠를 제공하고, 시스템 확장을 통해, 다른 마을 주민들과 합동으로 훈련할 수 있도록 한다.
도 2a는 실시예에 따른 멀티 사용자 기반 가상현실 원전사고 비상 대응 시스템 구성을 나타낸 도면이다.
도 2a를 참조하면, 실시예에 따른 5G 기반 가상현실 원전사고 합동 대피훈련 시스템은 가상현실 컨텐츠 제공 서버(100), 훈련 통제 시스템(200) 및 실감장비(300)를 포함하여 구성될 수 있다. 가상현실 컨텐츠 제공 서버(100)는 개인훈련, 합동 훈련 등 가상현실 원전사고 대피 훈련을 위한 가상현실 컨텐츠를 생성하고, 생성된 컨텐츠를 훈련생, 지휘관 및 통제요원을 포함하는 사용자에게 제공한다. 실시간 훈련 통제 시스템(200)은 훈련 제어화면을 통해 실시간으로 훈련을 제어하고 돌발 상황을 발생시켜, 실시간으로 훈련을 통제한다. 실감장비(300)는 가상훈련에 참여하는 훈련생 및 통제요원이 착용하는 햅틱 장비로서, 실시예에서는 햅틱 장비 연동을 통한 오감 자극 훈련 콘텐츠를 제공한다.
또한, 실시예에서는 비상대응 훈련 사항들을 실시간으로 수집, 분석하여 분석 결과를 도출할 수 있다. 실시예에서 비상대응 훈련 사항에는 훈련생의 모션 데이터, 훈련 진행 데이터, 통제요원들의 모션데이터, 통제 데이터, 돌발 상황 이벤트 발생 데이터 등 비상대응 훈련 중 훈련생 및 통제요원에 의해 생성되는 데이터 및 훈련 과정에서 생성되는 일련의 데이터를 포함한다. 실시예에서는 비상대응 훈련 사항들을 인공지능을 통해 분석하여 훈련생 모션에 대한 인과관계 분석을 수행하고 이를 훈련 컨텐츠 시나리오 생성에 이용할 수 있다.
도 2b는 실시예에 따른 멀티사용자 기반 가상현실 원전사고 비상 대응 훈련 시스템의 인공지능을 통한 데이터 분석과정을 설명하기 위한 도면이다.
실시예에서는 딥러닝을 통해 데이터를 분류한다. 딥러닝은 인공지능을 구현할 때 사용하는 머신러닝(기계학습)의 방법론 중 하나로서 실시예에서는 데이터를 나눌 때 사용하는 구분 방식은 “지도 학습(supervised learning)”과 “비지도학습(unsupervised learning)”으로 구분한다. 딥러닝은 사전지식을 사용하지 않는 비지도 학습을 의미하며, 구분 기준 없이 빅데이터 정보를 입력하고 컴퓨터가 알아서 구분하게 하는 방식으로 실시예에서는 스스로 비슷한 군집을 찾아 데이터를 분류한다. 또한, 실시예에서는 딥러닝 과정에서 비지도 학습 방법을 사용한 전처리 과정으로 데이터를 손질하여 인공신경망 최적화를 수행한다. 빅데이터로부터 데이터의 특징을 추출하고, 추출된 특징을 기반으로 학습을 한다. 실시예에서는 딥러닝 모델들을 통한 응용의 인식 성능을 높이기 위해 도 2b에 도시된 바와 같이 모델의 계층이 깊게하고(Deep), 특징(Feature)을 증가시켜 대규모 모델을 생성할 수 있다. 또한, 사용자가 가상현실 공간을 통해서 시뮬레이션 하는 다양한 상황을 학습하여 가상 캐릭터의 지능을 높여주는 방법으로 대규모 딥러닝 모델을 이용할 수 있다.
또한, 실시예에서는 강화학습을 이용하여 비상대응 훈련 데이터를 분석 및 학습할 수 있다. 강화학습은 머신러닝 방법론의 하나로서 에이전트가 특정 환경을 탐색하고 사전에 정의된 보상을 극대화하는 행동을 선택하는 방법이다. 에이전트는 좌우 이동과 같은 활동에 대한 결과값으로 보상을 얻게 되며, 이러한 과정을 반복하면서 에이전트는 보상을 가장 많이 획득할 수 있는 행동 정책을 스스로 결정하고 여러 번의 반복과 시행착오를 거쳐 조금씩 더 나은 방향으로 학습할 수 있다. 또한, 딥러닝 기술에 딥러닝을 적용하여 업그레이드한 심층강화학습을 통해 NPC 지능 및 가상환경 제작 등 인공지능의 성능을 개선하고 게임 플레이어들의 전투 기록을 활용하여 인간과 더욱 유사한 느낌을 주는 인공지능 NPC를 제공할 수 있다. 기존 게임에서 플레이 되었던 NPC는 주변 상황을 고려하지 않고 시나리오에 기반한 움직임을 보였으며 서너 개의 스킬을 정해진 순서대로 사용하였다. 하지만, 실시예에서는 먼저 사용자의 대전 기록으로 지도학습을 한 다음 강화학습으로 플레이하면서 배워 나가는 방식으로 NPC들은 프로게이머와 같은 일반 사용자들처럼 4~50여개의 스킬을 사용하면서 동시에 이동도 가능하다. 실시예에서는 해당 조합을 통해 수백 가지 상황을 만들면서 훈련 시나리오를 생성하고, 훈련 난이도를 조정할 수 있도록 한다. 을 즐길 수 있도록 한다. 또한, 실시예에서는 인공지능을 통해 사용자의 학습 경험을 관리하고 통제한다. 예를 들어, 훈련 과정 내 요소들 간의 균형 및 게임 내 콘텐츠 간 조화를 자동으로 미세하게 조정해주거나 돌발 상황의 종류와 강도를 판단하는 과정에서 사용할 수 있다.
도 3은 실시예에 따른 가상현실 컨텐츠 제공 서버의 데이터 처리 구성을 나타낸 도면이다.
도 3을 참조하면, 실시예에 따른 가상현실 컨텐츠 제공 서버(100)는 훈련 생성모듈(110), 훈련 진행 모듈(130) 및 데이터 관리 모듈(150)을 포함하여 구성될 수 있다. 본 명세서에서 사용되는 '모듈' 이라는 용어는 용어가 사용된 문맥에 따라서, 소프트웨어, 하드웨어 또는 그 조합을 포함할 수 있는 것으로 해석되어야 한다. 예를 들어, 소프트웨어는 기계어, 펌웨어(firmware), 임베디드코드(embedded code), 및 애플리케이션 소프트웨어일 수 있다. 또 다른 예로, 하드웨어는 회로, 프로세서, 컴퓨터, 집적 회로, 집적 회로 코어, 센서, 멤스(MEMS; Micro-Electro-Mechanical System), 수동 디바이스, 또는 그 조합일 수 있다.
훈련생성모듈(110)은 개인의 반복적인 가상 대피 훈련인 개인 훈련 및 통제 요원의 통제에 따라 진행되는 합동 훈련 컨텐츠를 생성한다. 실시예에서 훈련 생성모듈(110)은 훈련 종료 후 훈련에 참여한 훈련생 및 통제요원의 행동 데이터를 분석하고 분석 결과를 반영하여 가상현실 원전사고 대피 훈련 시나리오를 업데이트 할 수 있다. 예컨대, 훈련생의 이동 시간이 훈련 기준 시간을 초과하는 경우, 훈련생의 신속한 이동 지시 명령 횟수를 증가시킬 수 있다. 또한, 훈련생들이 설정된 시간보다 이른 시간에 훈련을 완료한 경우, 비상훈련 이벤트 발생을 증가시켜 훈련 난이도를 상승시킬 수 있다.
훈련 진행 모듈(130)은 사용자의 데이터 교환을 연결하여 다수의 사용자가 동일한 가상 세계에서 서로의 행동정보를 전달받아 합동 훈련을 진행할 수 있도록 한다.
데이터 관리 모듈(150)은 다수의 사용자가 한 공간에서 공존할 수 있도록 사용자의 이동, 행동, 상태 정보, 월드 맵 객체 및 트리거를 포함하는 훈련데이터를 동기화한다.
도 4는 실시예에 따른 가상현실 컨텐츠 제공 서버에서 제공하는 5G기반의 가상현실 원전사고 합동 대피훈련 콘텐츠 예를 나타낸 도면이다.
실시예에서는 초등학생 고학년 이상을 대상으로 하고, 5G기반 모바일 HMD 및 햅틱 장비를 장착하여 원전사고 발생시 주민들이 취해야 할 행동 등을 가상으로 훈련할 수 있는 콘텐츠를 제공한다. 실시예에서는 동시 대피 훈련 인원,
플레이 타임 등 훈련 세부 정보를 미리 설정하여, 세부 정보에 대응하는 컨텐츠를 유니티 3D 엔진을 통해 개발하여 제공할 수 있다. 실시예서는 가상현실 훈련 콘텐츠를 통해, 옥내 대피 훈련 및 주민소개 행동 훈련 5단계를 실감나게 훈련할 수 있도록 하고, 동시에 3명이 대피 훈련을 진행할 수 있으며, 행동 훈련 3단계부터 같은 가상 공간에서 훈련이 이루어지도록 한다. 또한, 개인 훈련 및 합동 훈련으로 콘텐츠를 진행할 수 있다. 실시예에서 제공하는 개인 훈련은 가상 대피 훈련을 개인적으로 반복적으로 훈련하는 것이고, 합동훈련은 지휘관의 지휘 아래 통제 요원의 통제에 따라 진행되는 훈련 콘텐츠로서, 지휘관 1명, 통제 요원 1명, 대피 훈련원 3명이 합동으로 훈련을 진행한다. 실시예에서 합동훈련 컨텐츠에서는 지휘관이 모든 가상 훈련을 통제하고, 돌발 상황 등을 발생시킬 수 있다.
도 5는 실시예에 따른 원전사고 합동 대피훈련 컨텐츠의 진행 플로우를 나타낸 도면이다.
도 5를 참조하면, 실시예에서는 1단계인 실행 과정에서 컨텐츠를 실행하면 방사선 사고가 발생했음을 나타내는 장면을 연출하고, 2단계인 옥내 대피 훈련 과정에서 방사선 사고발생 시 출입문 및 창문 등을 잠그는 훈련 및 재난대응상황을 파악하고 대국민 지시사항을 기다리는 훈련을 수행한다. 3단계인 주민소개 행동 훈련 1, 2단계에서는 집안 정리 및 대피 완료 표시 등을 하는 훈련 진행한다. 4단계인 주민소개 행동 훈련 3단계에서는 집결지로 이동하는 훈련을 실시하고, 5단계인 주민소개 행동 훈련 4,5 단계에서는 통제원들의 통제를 받아 차량으로 구호소로 이동하는 훈련을 수행한다. 6단계에서는 방사선 비상 사고를 수습 과정에서는 상황 완료 후 집으로 복귀 전 해야 할 행동 훈련하도록 합동 대피훈련 컨텐츠의 진행 플로우를 구성할 수 있다.
도 6은 실시예에 따른 멀티 사용자 기반 가상현실 원전사고 비상대응 훈련 시스템의 데이터 처리 구성을 나타낸 도면이다.
도 6을 참조하면, 실시예에 따른 실시간 훈련 통제 시스템(200)은 모니터링 모듈(210), 훈련현장 연동 모듈(230) 및 비상훈련 제어모듈(250)을 포함하여 구성될 수 있다. 모니터링 모듈(210)은 훈련생 HMD(Head Mounted Display) 화면을 5G 기반의 스트리밍 데이터 전송을 통해 실시간으로 통제실의 지휘관에게 제공한다. 훈련현장 연동 모듈(230)은 통제요원이 착용하고 있는 실감장비를 통해 실시간으로 훈련 현장의 상황들을 제공한다.
비상훈련 제어모듈(250)은 훈련 전체를 통제하고, 돌발 이벤트를 발생시킨다. 실시예에서 비상훈련 제어모듈(250)은 훈련 시작, 훈련 종료, 훈련 스킵, 정보 안내를 포함하는 훈련 제어를 수행하고, 지진 발생, 화재 발생, 부상자 발생, 이상 행동자 발생을 포함하는 돌발 이벤트를 발생시킨다. 또한, 비상훈련 제어모듈(250)은 실시간으로 수집되는 훈련생 및 통제요원의 행동 데이터에 따라 돌발 이벤트 발생여부를 결정하고, 돌발이벤트의 종류 및 발생 시점을 산출할 수 있다. 실시예에서는 훈련 난이도에 따라 돌발 이벤트 종류를 결정하고 발생시점을 산출할 수 있다. 구체적으로, 훈련 난이도가 높은 경우, 돌발이벤트 발생 빈도를 상향 조정하고, 훈련생들이 이동중일 때 돌발 이벤트를 발생시킬 수 있다. 아울러, 훈련 난이도에 따라 돌발 이벤트의 강도를 조정할 수 있다. 예컨대, 지진, 화재, 건물 붕괴 등 돌발이벤트 강도를 훈련 난이도에 따라 세부 제어함으로써 다양한 상황에서 대피 훈련이 가능하게 한다. 구체적으로, 훈련 난이도와 지진 이벤트의 진도 강도를 비례하게 제어함으로써, 보다 실감나는 훈련 상황을 생성할 수 있다.
도 7은 실시예에 따른 멀티 사용자 기반 가상현실 원전사고 비상대응 훈련 시스템 기능 설명을 위한 도면이다.
도 7을 참조하면, 실시예에 따른 실시간 훈련 통제 시스템은 훈련생 모니터링을 시스템을 제공한다. 예컨대, 각 훈련생들의 가상훈련 장면을 HMD 디스플레이 화면을 미러링해서 가상훈련 통제실의 지휘관에게 제공할 수 있다. 또한, 훈련생 HMD 화면을 5G 기반의 스트리밍 데이터 전송을 통해 실시간으로 끊김없이 지휘관에게 제공할 수 있다. 또한, 실시예에 따른 실시간 훈련 통제 시스템은 훈련 현장 스트리밍 연동한다. 실시예에서는 통제요원이 착용하고 있는 360 카메라를 통해 실시간으로 훈련 현장의 상황들을 현장감 있게 제공한다. 또한, 실시예에서는 360 카메라의 음성 기능을 이용하여 지휘관은 음성으로 명령을 진행하고, 지휘관과 현장 통제 요원간 음성 대화를 통한 긴밀한 훈련 진행할 수 있도록 한다.
도 8은 실시예에 따른 비상 훈련 제어 시스템이 제공하는 지휘자 UI(User Interface)를 나타낸 도면이다.
도 8을 참조하면, 실시예에 따른 비상 훈련 제어 시스템은 훈련장 각각에서 진행되는 훈련 전체를 통제하고, 돌발 이벤트를 발생시킬 수 있는 제어 시스템으로서, 훈련제어 기능 및 돌발이벤트 기능을 제공한다. 훈련 제어 기능은 훈련 시작, 훈련 종료, 훈련 스킵, 정보 안내 등을 포함하고, 돌발 이벤트 기능 지진 발생, 화재 발생, 부상자 발생, 이상 행동자 발생 등을 포함할 수 있다.
도 8에 도시된 바와 같이, 각 훈련장의 훈련 통제 메뉴에 훈련시작, 훈련종료, 훈련 일시 정지, 문제점 파악, 이전단계로, 다음 단계로, 안내문구 전송, 튜토리얼 진행 등의 아이콘을 제공하여 지휘자가 훈련을 진행 및 중단을 쉽게 제어할 수 있도록 한다. 또한, 각 훈련장의 돌발상황 메뉴에는 지진발생, 방사능 발생, 화제발생, 해일 발생, 비 발생, 건물 폭발, 눈 발생, 건물 붕괴 등의 돌발 이벤트 종류를 포함하고 지휘자가 아이콘 터치 시 돌발이벤트가 훈련에 반영되도록 제어할 수 있다.
도 9는 실시예에 따른 가상훈련에 참여하는 훈련생 및 통제요원이 착용하는 실감장비를 나타낸 도면이다.
도 9를 참조하면, 실시예에 따른 실감장비는 대피훈련 주민들을 위한 모바일 HMD(a), 통제 요원들을 위한 360도 카메라(b) 및 햅틱 세트(C)를 포함하여 구성될 수 있다. 모바일 HMD(a)는 5G 네트워크 및 와이파이를 지원하고, 360도 카메라(b)는 현장 상황을 지휘 통제실에 실시간으로 제공한다. 햅틱 세트(C)는 상체, 팔, 다리 햅틱으로 구성될 수 있다. 실시예에 따른 햅틱 세트는 총 70개의 진동 타격점을 포함하고, 폭발사고, 충돌사고, 장비 작동 등의 발생 시 정확한 타격점 및 타격 방향에 따라 진동을 발생시키도록 한다.
도 10은 실시예에 따른 햅틱 착용 모습(a)과 햅틱의 데이터 처리 구성(b)을 나타낸 도면이다.
도 10을 참조하면, 실시예에 따른 햅틱은 팔, 가슴, 다리에 착용하는 햅틱을 포함하여 구성될 수 있고, 햅틱 모듈, 허리 조절 벨트, 무선통신 모듈 및 전원공급장치를 포함하여 구성될 수 있다. 실시예에 따른 VR 컨텐츠 제공 서버는 몸, 팔 다리 등에 70여개의 진동 포인트를 가진 햅틱 장비와 햅틱 모듈을 통해 연동하고, 각 상황별로 햅틱 장치에 대한 최적화된 제어를 통해 폭발, 충격 등 위험 요소 발생 시 발생 방향에 맞춰 충격 시 촉각을 리얼하게 전달할 수 있도록 한다. 또한, 사용자의 체험감을 극대화해, 위험의 심각성을 사용자에게 효율적으로 전달한다. 실시예에서 허리조절 벨트는 햅틱 착용자의 신체 사이즈에 따라 자동 조절될 수 있고, 전원공급장치는 배터리 잔여량에 따라 충전 필요 알림을 시스템 관리자에게 전달할 수 있다.
이상에서와 같은 멀티 사용자 기반 가상현실 원전사고 비상 대응 훈련 시스템은 원전사고 발생에 대비한 옥내 대피 훈련 및 주민소개 행동 훈련 5단계를 실감나게 훈련할 수 있도록 한다. 실시간 대피 훈련 콘텐츠, 실시간 훈련 통제 시스템 등의 실시간 훈련 환경 구축에 필요한 핵심 기술을 구축하여 국내 가상훈련시스템 산업을 발전시켜 오프라인 훈련 비용을 절감하고, 재난 훈련뿐만 아니라 기본 업무 훈련까지 실시예를 적용하여 직원 육성 교육 비용을 절감할 수 있다.
또한, 민간에 불편을 초래할 수 있고, 그에 따른 손실 비용 역시 발생할 수 있는 오프라인 훈련 대신 가상훈련시스템(VRT, (Virtual Reality System)을 제공함으로써, XR(Extended Reality) 기기 및 기술을 이용해 위험하고 값비싼 현장훈련을 대체할 수 있다. 또한, 실제와 유사한 환경에서 안전한 교육 및 훈련 효과를 창출할 수 있도록 하고, 가상훈련시스템의 활성화로 각종 재난 상황에 대한 대처능력을 저렴한 비용으로 충분히 향상시킬 수 있다. 이를 통해, 각종 자연재해, 재난사고에 대한 초기 대응역량을 강화하여 사회의 안정성을 확보하는데 큰 기여를 할 수 있다. 또한, 실시예를 통해 그간 부족했던 교육계 및 산업계 전반에 대한 실습의 기회를 제공할 수 있고, 교육에서의 실습 과정 및 산업계의 직업훈련을 VRT로 손쉽게 진행할 수 있다.
개시된 내용은 예시에 불과하며, 특허청구범위에서 청구하는 청구의 요지를 벗어나지 않고 당해 기술분야에서 통상의 지식을 가진 자에 의하여 다양하게 변경 실시될 수 있으므로, 개시된 내용의 보호범위는 상술한 특정의 실시예에 한정되지 않는다.

Claims (8)

  1. 멀티 사용자 기반 가상현실 원전사고 비상 대응 훈련 시스템에 있어서,
    다수의 주민이 동시에 훈련할 수 있는 멀티네트워크 방식의 가상현실 원전사고 대피 훈련 컨텐츠를 생성하고 생성된 컨텐츠를 훈련생, 지휘관 및 통제요원을 포함하는 사용자에게 제공하는 가상현실 컨텐츠 제공 서버;
    실시간으로 훈련을 통제하는 훈련통제시스템; 및
    가상훈련에 참여하는 훈련생 및 통제요원이 착용하여 사용자 체험감을 생성하는 실감장비; 를 포함하는 멀티 사용자 기반 가상현실 원전사고 비상 대응 훈련 시스템.
  2. 제1항에 있어서, 상기 실시간 훈련 통제시스템은
    훈련생 HMD 화면을 5G 기반의 스트리밍 데이터 전송을 통해 실시간으로
    지휘관에게 제공하는 모니터링 모듈;
    통제요원이 착용하고 있는 실감장비를 통해 실시간으로 훈련 현장의 상황들을 제공하는 훈련현장 연동 모듈;
    훈련 전체를 통제하고, 돌발 이벤트를 발생시키는 비상훈련 제어모듈; 을 포함하는 것을 특징으로 하는 멀티 사용자 기반 가상현실 원전사고 비상 대응 훈련 시스템.
  3. 제1항에 있어서, 상기 가상현실 컨텐츠 제공 서버; 는
    개인의 반복적인 가상 대피 훈련인 개인 훈련 및 통제 요원의 통제에 따라 진행되는 합동 훈련 컨텐츠를 생성하는 훈련생성모듈;
    사용자의 데이터 교환을 연결하여 다수의 사용자가 동일한 가상 세계에서 서로의 행동정보를 전달받아 합동 훈련을 진행하는 훈련진행 모듈; 및
    다수의 사용자가 한 공간에서 공존할 수 있도록 사용자의 이동, 행동, 상태 정보, 월드 맵 객체 및 트리거를 포함하는 훈련데이터를 동기화하는 데이터 관리 모듈; 을 포함하는 것을 특징으로 하는 멀티 사용자 기반 가상현실 원전사고 비상 대응 훈련 시스템.
  4. 제1항에 있어서, 상기 훈련통제시스템은
    훈련생 HMD 화면을 5G 기반의 스트리밍 데이터 전송을 통해 실시간으로
    지휘관에게 제공하는 모니터링 모듈;
    통제요원이 착용하고 있는 실감장비를 통해 실시간으로 훈련 현장의 상황들을 제공하는 훈련현장 연동 모듈;
    훈련 전체를 통제하고, 돌발 이벤트를 발생시키는 비상훈련 제어모듈; 을 포함하는 것을 특징으로 하는 멀티 사용자 기반 가상현실 원전사고 비상 대응 훈련 시스템.
  5. 제2항에 있어서, 상기 훈련 통제시스템은
    실시간으로 수집되는 훈련생 및 통제요원의 행동 데이터에 따라 돌발 이벤트 발생여부를 결정하고, 돌발이벤트의 종류 및 발생 시점을 산출하는 것을 특징으로 하는 멀티 사용자 기반 가상현실 원전사고 비상 대응 훈련 시스템.
  6. 제1항에 있어서, 상기 실감장비; 는
    대피 훈련 주민들이 착용하는 모바일 HMD;
    통제 요원들이 착용하는 360도 카메라; 및
    폭발 사고, 충돌 사고, 장비 동작을 포함하는 이벤트 발생시 타격점 및 타격 방향에 따라 진동을 발생시키는 햅틱 세트(Haptics Set); 를 포함하는 것을 특징으로 하는 멀티 사용자 기반 가상현실 원전사고 비상 대응 훈련 시스템.
  7. 제2항에 있어서, 상기 훈련 통제시스템은
    훈련 시작, 훈련 종료, 훈련 스킵, 정보 안내를 포함하는 훈련 제어를 수행하고, 지진 발생, 화재 발생, 부상자 발생, 이상 행동자 발생을 포함하는 돌발 이벤트를 발생시키는 것을 특징으로 멀티 사용자 기반 가상현실 원전사고 비상 대응 훈련 시스템.
  8. 제1항에 있어서, 상기 가상현실 컨텐츠 제공 서버; 는
    훈련 종료 후 훈련에 참여한 훈련생 및 통제요원의 행동 데이터를 분석하고 분석 결과를 반영하여 가상현실 원전사고 대피 훈련 시나리오를 업데이트 하는 것을 특징으로 하는 멀티 사용자 기반 가상현실 원전사고 비상 대응 훈련 시스템.
KR1020220022675A 2021-12-07 2022-02-22 멀티 사용자 기반 가상현실 원전사고 비상 대응 훈련 시스템 KR102671394B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210173559 2021-12-07
KR1020210173559 2021-12-07

Publications (2)

Publication Number Publication Date
KR20230085803A true KR20230085803A (ko) 2023-06-14
KR102671394B1 KR102671394B1 (ko) 2024-06-03

Family

ID=

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101824863B1 (ko) 2017-08-14 2018-02-02 (주)인테크 디자인 가상현실 멀티 스토리텔링 영상극장 다중미디어 스트리밍 장치
KR102187621B1 (ko) 2018-11-26 2020-12-08 주식회사 망그로브 가상현실 3d 멀티디스플레이 기반의 내부 공간 확장이 가능한 이동형 체험 서비스 제공 차량

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101824863B1 (ko) 2017-08-14 2018-02-02 (주)인테크 디자인 가상현실 멀티 스토리텔링 영상극장 다중미디어 스트리밍 장치
KR102187621B1 (ko) 2018-11-26 2020-12-08 주식회사 망그로브 가상현실 3d 멀티디스플레이 기반의 내부 공간 확장이 가능한 이동형 체험 서비스 제공 차량

Similar Documents

Publication Publication Date Title
Rüppel et al. Designing a BIM-based serious game for fire safety evacuation simulations
Kaarlela et al. Digital twin and virtual reality for safety training
Longo et al. Emergency preparedness in industrial plants: A forward-looking solution based on industry 4.0 enabling technologies
KR101780949B1 (ko) 가상현실을 활용한 방사능 방재 훈련 시스템
CN108876046B (zh) 沉浸式虚拟现实灾害求生救援的最优路径选择系统
CN108268128A (zh) 一种安全生产应急预案3dvr虚拟现实演练系统
Conges et al. Crisis management exercises in virtual reality
CN107516448A (zh) 一种公共安全虚拟仿真平台
Xi et al. Simulating cooperative fire evacuation training in a virtual environment using gaming technology
CN114004051A (zh) 一种应用于民用机场应急救援的虚拟仿真系统构建方法
Babu et al. Collaborative game based learning of post-disaster management: serious game on incident management frameworks for post disaster management
Louka et al. Virtual reality tools for emergency operation support and training
Shree et al. Exploiting natural language for efficient risk-aware multi-robot sar planning
Muñoz-la Rivera et al. Virtual reality stories for construction training scenarios: The case of social distancing at the construction site
Sharma et al. Artificial intelligence agents for crowd simulation in an immersive environment for emergency response
Sharma et al. Virtual reality as a theme-based game tool for homeland security applications
KR102671394B1 (ko) 멀티 사용자 기반 가상현실 원전사고 비상 대응 훈련 시스템
KR20230085803A (ko) 멀티 사용자 기반 가상현실 원전사고 비상 대응 훈련 시스템
Congès et al. Virtual reality to train for crisis management
binti Sulaiman et al. Virtual reality training and skill enhancement for offshore workers
KR20230085802A (ko) 5g 기반 가상현실 원전사고 합동 대피훈련 시스템
Tena-Chollet et al. Design of a semi-virtual training environment (serious game) for decision-makers facing up a major crisis
CN113689576A (zh) 一种虚拟火灾场景下多智能体情景规划方法
Senthil et al. Simulation on Natural Disaster Fire Accident Evacuation Using Augmented Virtual Reality
de Almeida Serious games as a behaviour elicitation tool: applications to evacuation scenarios

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant