KR102494000B1 - 혼합현실 디스플레이 기반의 산업용 교육훈련 시스템 및 방법 - Google Patents
혼합현실 디스플레이 기반의 산업용 교육훈련 시스템 및 방법 Download PDFInfo
- Publication number
- KR102494000B1 KR102494000B1 KR1020200157527A KR20200157527A KR102494000B1 KR 102494000 B1 KR102494000 B1 KR 102494000B1 KR 1020200157527 A KR1020200157527 A KR 1020200157527A KR 20200157527 A KR20200157527 A KR 20200157527A KR 102494000 B1 KR102494000 B1 KR 102494000B1
- Authority
- KR
- South Korea
- Prior art keywords
- training
- mixed reality
- content
- user
- information
- Prior art date
Links
- 238000012549 training Methods 0.000 title claims abstract description 193
- 238000000034 method Methods 0.000 title claims abstract description 105
- 230000008569 process Effects 0.000 claims abstract description 75
- 238000007726 management method Methods 0.000 claims abstract description 54
- 230000006870 function Effects 0.000 claims abstract description 33
- 238000011156 evaluation Methods 0.000 claims abstract description 14
- 238000005516 engineering process Methods 0.000 claims abstract description 13
- 230000003190 augmentative effect Effects 0.000 claims abstract description 9
- 238000012544 monitoring process Methods 0.000 claims abstract description 4
- 238000004148 unit process Methods 0.000 claims abstract description 4
- 238000004891 communication Methods 0.000 claims description 20
- 239000003550 marker Substances 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 10
- 230000014509 gene expression Effects 0.000 claims description 10
- 230000003993 interaction Effects 0.000 claims description 7
- 238000013473 artificial intelligence Methods 0.000 claims description 6
- 238000011161 development Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 3
- 238000010191 image analysis Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000000977 initiatory effect Effects 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 17
- 238000004088 simulation Methods 0.000 description 13
- 238000012423 maintenance Methods 0.000 description 11
- 238000004519 manufacturing process Methods 0.000 description 11
- 230000007547 defect Effects 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000007654 immersion Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000543 intermediate Substances 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
본 발명의 일실시예에 따른 혼합현실 디스플레이 기반의 산업용 교육훈련 시스템은, 사용자가 가상 훈련하는 내용을 점검하기 위한 작업훈련 관리자 네트워크 구성과 다중 사용자 관리서버의 구성을 통해서 접속한 사용자단말이 통신으로 연결되어 기능을 전달하고 처리하며, 작업공정 미션 기능을 구현하여 작업공정이 수행될 때 산업체에서 제시하는 공정의 최종 기준을 적용하도록 제공하며, 작업공정의 단위공정별 교육훈련이 가능하도록 서비스를 제공하고, 공정별로 가상현실(VR)과 증강현실(AR) 기술이 사용되어 각 상황별 사용자단말에 연결되는 VR 장비를 통하여 직업 훈련 관련한 혼합 현실 컨텐츠를 제공하며, 혼합현실 컨텐츠 제공을 위한 데이터베이스를 구축하여 관리자가 관리자단말을 이용하여, 특정한 공정에 대한 가상 훈련시 접근하는 사용자정보를 제공받아 파악할 수 있으며, 이를 통해 사용자 모니터링이 가능하며, 훈련 평가에 대한 피드백정보를 제공하는 관리서버를 포함하는 것을 특징으로 한다.
Description
본 발명은 혼합현실 디스플레이 기반의 산업용 교육훈련시스템에 관한 것으로서, 더욱 상세하게는 모든 산업체들에서 필요로 하는 혼합현실 디스플레이를 기반으로 여러 사람이 서로 협동 공정이나 단독 공정을 가상 체험하고 훈련을 통해 산업체들이 지니고 있는 공정의 위험성, 복잡성, 초급(외국인) 근로자들의 정보전달의 어려움, 불량률 감소, 이로 인한 비용 절감 등을 통해 직접적인 매출 증대와 초급(외국인) 근로자의 공정접근에 대한 편리함을 줄 수 있는 혼합현실 디스플레이 기반의 산업용 교육훈련시스템에 관한 것이다.
일반적으로, 산업 현장에서는 직업상 훈련이 필요한 작업 공정들에 대해서 산업용 교육 훈련을 실시하고 있다.
예를 들어 항공기와 같은 고도장비는 작은 실수나 결함이 큰 사고로 이어질 수 있으므로 전문기술을 가진 정비요원에 의해 정비작업이 오류없이 수행되어야 한다. 또한 수십, 수만 가지 부품이 존재하는 고도장비의 특성상, 숙련된 정비사들이라도 방대한 양의 책 형태의 정비교범에서 해당 항목을 찾아 정비를 수행하는 것이 일반적이며, 숙련된 정비요원을 양성하기 위해서는 다년간의 전문화된 교육과정과, 훈련을 위한 고비용의 실물모형 장비가 필요하다.
더 상세하게는, 항공기와 같은 고도장비의 정비에 대한 교육훈련을 위한 시스템 및 방법에 대한 종래기술의 예로는, 예를 들면, 한국 등록특허공보 제10-1418484호에 따르면, 모의훈련 시스템을 이용한 항공기정비 교육방법으로서, 모의훈련 시스템의 각 서브시스템에 전원이 공급되면, 모의훈련 시스템의 각 서브시스템에 대한 자체고장 진단을 수행하는 단계와, 항공기 정비교육의 훈련항목을 선정하는 단계와, 선정된 훈련항목의 모의훈련 장비를 준비하여 모의훈련을 개시하기 위해 모의훈련 장비를 초기화하는 단계와, 점검사항을 확인하고 훈련절차별로 모의훈련 장비를 제어하는 단계와, 모의훈련을 종료하고 모의훈련 결과를 자동평가하는 단계와, 자동평가된 평가결과를 저장하고 평가결과를 출력하는 단계를 포함하여, 시뮬레이션 실습장비를 통하여 항공기의 정비사 교육이 이루어질 수 있도록 구성되는 모의훈련 장비 및 이를 이용한 항공기 정비교육 방법이 제시된 바 있다.
또한, 상기한 바와 같은 교육훈련 시스템 및 방법에 대한 종래기술의 다른 예로는, 예를 들면, 한국 공개특허공보 제10-2016-0123722호에 따르면, 교육 대상자에게 교육 소개, 과정안내 및 수강신청을 하는 단계와, 항공종사자 중 조종사, 항공사, 항공기관사, 운항관리사, 정비사를 나타내고, 학습방법으로서는 웹기반 학습, 음성강의, 실습강의, 동영상강의를 제시하는 단계와, 각 대상자 별, 과목별 교육시간을 제시하고, 학습내용(목차)으로서 1차 시-항공법, 2차 시-운항규정, 3차시-항공교통관제를 제시하여 교육하는 단계와, 운항관리 또는 정비관리에 따른 교육 완료 후 수료증을 출력하는 단계를 포함하여, 항공종사자 조종사, 승무원(항공사, 항공기관사), 운항관리사, 정비사의 주기적 교육을 온라인으로 실시할 수 있도록 구성되는 항공안전 온라인 교육시스템 관리방법이 제시된 바 있다.
아울러, 상기한 바와 같은 교육훈련 시스템 및 방법에 대한 종래기술의 또 다른 예로는, 예를 들면, 한국 등록특허공보 제10-1389706호에 따르면, 서버로부터 컨텐츠 및 컨텐츠에 따른 환경변수의 설정에 대한 명령을 수신하여 상기 컨텐츠를 표시하고, 수신된 명령에 대응하는 환경변수의 설정이 변경되도록 환경설정부를 제어하는 적어도 하나의 사용자 단말기와; 사용자 단말기로부터 사용자의 기본정보를 입력받아 입력된 기본정보 중 직군에 대응하는 컨텐츠를 사용자 단말기로 전송하고, 사용자 단말기의 설정값을 감지하고 컨텐츠의 제공 후 항목별 성취도를 측정하여 감지된 설정값이 기준값과 상이하거나 측정된 항목별 성취도가 기설정값에 미달하는 경우 추가 컨텐츠를 사용자 단말기로 전송하며, 사용자 단말기의 환경변수에 대한 정보를 사용자 단말기로부터 수신하고, 수신된 사용자의 기본정보에 대응하는 컨텐츠 및 컨텐츠에 따른 환경변수의 설정값을 변경하기 위한 명령신호를 임의의 시간에 사용자 단말기로 전송하는 서버를 포함하여, 일정한 집단 내의 구성원들에게 보안과 관련된 교육과 훈련을 실시할 수 있도록 구성되는 교육훈련시스템이 제시된 바 있다.
더욱이, 상기한 바와 같은 교육훈련 시스템 및 방법에 대한 종래기술의 또 다른 예로는, 예를 들면, 한국 등록특허공보 제10-0543543호에 따르면, 전력계통 고장복구 교육훈련 알고리즘이 수행되는 계통도 제작, 데이터베이스 관리, 고장복구 교육훈련을 위한 사용자 그래픽 인터페이스를 통해 교육훈련이 시작되면, 선로 온/오프, 발전기 출력조정, 부하투입의 계통을 조작하는 단계와, 계통조작단계 전에 154kV이상 송전망에 대한 전정전 명령이 있으면 계통조작 전에 모든 차단기를 트립 시키고, 모든 모선의 유효전력, 무효전력, 전압, 위상각을 0으로 설정하는 단계와, 계통조작이 완료되면 분석 기능을 수행하여 스테이틱 DB와 다이나믹 DB로 이루어짐과 더불어 PSS/E 데이터를 변환하여 데이터 형식인 SAV와 CAS 확장자로 구축되는 데이터베이스로부터 모든 송전망에 대한 Y-행렬을 구성하고, 조류계산을 수행한 후, 발전기 무효전력 공급초과, 모선 과전압 및 선로 과부하를 판단하여, 그 결과를 사용자 그래픽 인터페이스를 통해 사용자에게 그래픽적으로 전달하는 단계 및 상기 단계에서 전력계통해석이 완료된 후 다시 사용자의 계통복구 조작에 대해 준비하고, 이때, 계통연계 명령이 내려지면, 현재의 전력계통 데이터를 계통연계 저장형식인 CAS파일에 저장하는 단계를 포함하여, 국내 송전망의 대규모 정전발생시 운용자들의 위기대처 능력향상을 모색하기 위해 임의의 계통조작에 대한 해석 및 교육훈련 방법을 컴퓨터 환경에서 운용하기 위한 GUI(Graphical User Interface) 형태로 제공할 수 있도록 구성되는 전력계통 고장복구 교육훈련 알고리즘이 적용된 교육훈련시스템의 운용방법이 제시된 바 있다.
상기한 바와 같이, 종래의 교육훈련 시스템 및 방법에 대한 여러 가지 기술내용들이 제시된 바 있으나, 상기한 바와 같은 종래의 교육훈련 시스템 및 방법에 대한 기술내용들은 다음과 같은 문제점이 있는 것이었다.
즉, 더 상세하게는, 기존의 교육훈련 시스템 및 방법들은, 일반적으로, PC를 통해 모니터에 표시되거나 사용자 단말기의 화면에 표시되는 학습내용을 보면서 교육훈련이 이루어지는 것이 대부분으로, 이러한 모니터 기반 학습법은 훈련생의 몰입감이 제한적이며, 그로 인해 학습능률이 떨어지는 단점이 있었다.
또한, 기존의 교육훈련 시스템 및 방법들은, 훈련생의 실습 평가시 수작업으로 평가가 이루어지는 방식으로 인해 평가자별로 편차가 발생하여 평가의 공정성이 보장되지 못하는데 더하여, 정비교육 실습시 실물 모형이 요구됨으로 인해 전체적인 훈련비용이 증가하여 고비용이 되는 문제도 있었다.
상기한 바와 같이, 항공기와 같은 고도장비의 정비에 대한 교육훈련이 단순히 모니터에 표시되는 정보에 따라 진행되어 교육훈련생의 몰입감이 저하되고 학습능률이 저하되는 데 더하여, 종래의 교육훈련 시스템 및 방법들의 문제점을 해소하기 위하여는, 모니터 기반의 단조로운 학습방식을 탈피하여 교육훈련의 몰입감을 높이고 보다 효과적인 교육훈련이 이루어질 수 있도록 하는 동시에, 실물 모형이 없이도 교육훈련이 가능하도록 하여 전체적인 교육훈련 비용을 절감할 수 있도록 구성되는 새로운 구성의 교육훈련 시스템 및 방법을 제공하는 것이 바람직하나, 아직까지 그러한 요구를 모두 만족시키는 장치나 방법은 제시되지 못하고 있는 실정이다.
본 발명은 상기의 문제점을 해결하기 위해 안출된 것으로서 모든 산업체들에서 필요로 하는 혼합현실 디스플레이를 기반으로 여러 사람이 서로 협동 공정이나 단독 공정을 가상 체험하고 훈련을 통해 산업체들이 지니고 있는 공정의 위험성, 복잡성, 초급(외국인) 근로자들의 정보전달의 어려움, 불량률 감소, 이로 인한 비용 절감 등을 통해 직접적인 매출 증대와 초급(외국인) 근로자의 공정접근에 대한 편리함을 줄 수 있는 혼합현실 디스플레이 기반의 산업용 교육훈련시스템을 제공함에 그 목적이 있다.
또한 본 발명의 다른 목적은 혼합현실(mixed reality, MR) 디스플레이 기반의 산업용 교육훈련 플랫폼 개발에서는 훈련자가 가상훈련하는 내용을 점검하기 위한 작업훈련 관리자 네트워크 구성, 기반 구축 및 산업 공정의 프로토타입 개발로 공정과정을 관리하는 관리자와 공정 교육과 훈련을 MR/AR/VR 패드 및 글래스로 제공하기 위한 제작 기술, 그리고 몰입된 제조과정의 조립과 특정 공정에 대한 3D 컨텐츠 제작과 시뮬레이션 및 직접 조립 등의 체험 과정을 위한 MR/AR/VR 컨텐츠를 제공함에 있다.
본 발명의 일실시예에 따른 혼합현실 디스플레이 기반의 산업용 교육훈련 시스템은, 사용자가 가상 훈련하는 내용을 점검하기 위한 작업훈련 관리자 네트워크 구성과 다중 사용자 관리서버의 구성을 통해서 접속한 사용자단말이 통신으로 연결되어 기능을 전달하고 처리하며, 작업공정 미션 기능을 구현하여 작업공정이 수행될 때 산업체에서 제시하는 공정의 최종 기준을 적용하도록 제공하며, 작업공정의 단위공정별 교육훈련이 가능하도록 서비스를 제공하고, 공정별로 가상현실(VR)과 증강현실(AR) 기술이 사용되어 각 상황별 사용자단말에 연결되는 VR 장비를 통하여 직업 훈련 관련한 혼합 현실 컨텐츠를 제공하며, 혼합현실 컨텐츠 제공을 위한 데이터베이스를 구축하여 관리자가 관리자단말을 이용하여, 특정한 공정에 대한 가상 훈련시 접근하는 사용자정보를 제공받아 파악할 수 있으며, 이를 통해 사용자 모니터링이 가능하며, 훈련 평가에 대한 피드백정보를 제공하는 관리서버를 포함하는 것을 특징으로 한다.
상기 관리서버는 접속된 사용자단말기로 혼합현실 컨텐츠를 통하여 작업공정 미션 기능을 제공하고, 사용자단말기에서 선택된 컴포넌트 및 작업공정 달성 옵션에 따라 절차적으로 생성된 작업공정 미션에 대한 달성도 및 상호작용을 제공하는 컨텐츠부; 사용자단말에 설치되는 산업용 교육 훈련용 어플리케이션과 연동할 수 있으며, 산업용 교육 훈련용 어플리케이션은 VR 장비를 통하여 사용자에게 혼합현실 또는 가상현실 컨텐츠를 통하여 산업 현장의 공정 절차 등에 대한 산업용 교육 훈련을 수행하는 앱연동부; 산업용 교육 훈련용 어플리케이션을 실행한 사용자단말 또는 관리자단말과 연결되어 각종 정보를 송수신하기 위한 통신 프로토콜을 제공하는 통신부; 사용자정보(훈련자 또는 관리자 정보), 훈련을 위한 혼합현실 컨텐츠정보, 사용자 훈련 내역, 피드백 정보, 통계정보를 저장하는 데이터베이스;를 더 포함한다.
상기 컨텐츠부는 혼합현실 컨텐츠에 3D 모델 리소스 효과 및 표현기능의 구성이 수행되는데, 분할 리소스나 특정 이벤트에 따라 애니메이션과 함께 혹은 이전 이후에 주어질 효과를 포함하도록 컨텐츠 제작 및 적용하고, 사용자단말에 컨텐츠 제공시 사용자(훈련자)에게 전달되어질 반응과 교육적, 훈련적 피드백의 UI 및 표현 기능을 제공하는 것을 특징으로 한다.
상기 컨텐츠부는 상기 혼합현실 컨텐츠에 필요한 리소스는 3D 모델링 개발로 3D 모델링, 질감, 쉐이더, 리깅을 통해서 표현하여 구성되도록 제작되며, 제작되는 혼합현실 컨텐츠는 3D 모형 설계 데이터에 기반하여 3D 모형을 제작하고, MR/AR/VR 마커 위치 정보에 따라 3D 모형에 MR/AR/VR 마커를 부착하여 산업훈련을 위한 혼합현실 컨텐츠 영상을 제공하는 것을 특징으로 한다.
상기 관리서버는 상기 혼합현실 컨텐츠, 사용자정보, 훈련정보, 피드백정보의 노출과 변조를 방지하기 위해 해당 정보들에 대한 비밀키를 분배하고, 분배된 비밀키를 기반으로 데이터를 암호화하는 경량 암호 알고리즘을 수행하는 보안부;를 포함한다.
혼합현실 디스플레이 기반의 산업용 교육훈련 시스템의 관리서버를 이용한 혼합현실 디스플레이 기반의 산업용 교육훈련 방법에 있어서, VR 장치와 연결된 사용자단말에서 통신망을 통하여 상기 관리서버에 로그인하는 단계; 상기 사용자단말에서 관리서버에 접속하여 산업 교육 훈련용 혼합현실 컨텐츠를 제공받아 훈련을 개시하는 단계; 상기 관리서버는 상기 혼합현실 컨텐츠를 이용한 산업 훈련 도중 사용자의 훈련정보를 제공받는 단계; 관리자단말이 상기 관리서버에 접속하여 상기 훈련정보를 제공받고, 훈련 평가인 피드백 정보를 제공하는 단계; 상기 관리서버는 훈련 및 피드백정보에 대한 통계정보를 저장하는 단계; 상기 사용자단말 또는 관리자단말의 요청시 해당 사용자단말로 통계정보를 제공하는 단계;를 포함한다.
상기 관리서버는, 상기 관리자단말에 제공되는 제1 사용자단말의 훈련정보는 제1 사용자단말과 같은 직업 훈련을 수행하는 사용자에게 다른 훈련자의 훈련정보가 제공되어 서로 협업하여 훈련을 수행할 수 있도록 하고, 훈련에 대한 피드백정보를 제2 사용자단말로부터 제공받을 수 있도록 제공하는 것을 특징으로 한다.
본 발명에 따르면 초급 근로자(외국인 근로자)의 직무능력 향상을 위한 교육훈련 컨텐츠를 제공하며, 미숙련자의 교육훈련 상황은 미러링을 통해 관리자나 다른 교육생에게도 전달할 수 있어 높은 교육적 효과가 기대되고, 상호 인터렉션이 가능한 MR(혼합현실) 디스플레이 기반의 산업용 교육훈련이므로 단순강의식 교육이나 온라인 교육보다 뛰어난 효과가 기대된다.
또한, 혼합현실 디스플레이를 기반으로 여러 사람이 서로 협동 공정이나 단독 공정을 가상 체험하고 훈련을 통해 산업체들이 지니고 있는 공정의 위험성, 복잡성, 초급(외국인) 근로자들의 정보전달의 어려움, 불량률 감소, 이로 인한 비용 절감 등을 통해 직접적인 매출 증대와 초급(외국인) 근로자의 공정접근에 대한 편리함을 줄 수 있다.
아울러 구축 후 지속적인 교육이 가능하고, 강사 투입이 불필요하므로 교육비용 절감 효과가 있으며, 초급 근로자(외국인 근로자)의 실무적응 능력이 향상되어 빠른 실무 투입이 가능하며, 외국인 근로자 대상의 다국어 버전 교육을 준비하여 의사소통 가능한 교육이 가능하고, 실제와 유사한 가상 학습 환경을 구축, 교육, 훈련함으로써 전문지식 습득이 가능해지는 효과가 있다.
아울러 공정 체험과 관리자의 모니터링이 가능하면 특정 공정 미션에 대한 최종 제품화를 위하여 특정 시나리오별 훈련 패키지로 활용할 수 있으며, 예컨대 수요기관인 자동차 부품 회사에 맞게 커스터마이징하여 훈련 패키지를 제작하여 산업용 교육 훈련 플랫폼의 타당성 검증으로 수요처별로 플랫폼의 제품화, 상용화를 구현하고, 실효적인 시스템을 제공할 수 있는 효과가 있다.
도 1은 MR(혼합현실) 디스플레이 산업용 교육훈련의 적용예를 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 혼합현실 디스플레이 기반의 산업용 교육훈련 구조도를 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 산업용 교육훈련시스템의 작업공정 훈련 증강현실 서비스 리소스 제작예를 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 산업용 교육훈련시스템의 3D 객체 분할 리소스 및 애니메이션 제작예를 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 산업용 교육훈련시스템의 3D 모델 리소스 효과 및 표현기능 개발예를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 혼합현실 디스플레이 기반의 산업용 교육훈련 시스템의 구성을 설명하는 블록도이다.
도 7은 본 발명의 일 실시예에 따른 관리서버의 구성을 설명하는 블록도이다.
도 8은 본 발명의 일 실시예에 따른 혼합현실 디스플레이 기반의 산업용 교육훈련 방법을 설명하는 순서도이다.
도 2는 본 발명의 일실시예에 따른 혼합현실 디스플레이 기반의 산업용 교육훈련 구조도를 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 산업용 교육훈련시스템의 작업공정 훈련 증강현실 서비스 리소스 제작예를 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 산업용 교육훈련시스템의 3D 객체 분할 리소스 및 애니메이션 제작예를 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 산업용 교육훈련시스템의 3D 모델 리소스 효과 및 표현기능 개발예를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 혼합현실 디스플레이 기반의 산업용 교육훈련 시스템의 구성을 설명하는 블록도이다.
도 7은 본 발명의 일 실시예에 따른 관리서버의 구성을 설명하는 블록도이다.
도 8은 본 발명의 일 실시예에 따른 혼합현실 디스플레이 기반의 산업용 교육훈련 방법을 설명하는 순서도이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 설명하기 위하여 이하에서는 본 발명의 바람직한 실시예를 예시하고 이를 참조하여 살펴본다.
먼저, 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 또한 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명을 설명함에 있어서, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 MR(혼합현실) 디스플레이 산업용 교육훈련의 적용예를 나타내는 도면이며, 도 2는 본 발명의 일실시예에 따른 혼합현실 디스플레이 기반의 산업용 교육훈련 구조도를 나타내는 도면이고, 도 3은 본 발명의 일실시예에 따른 산업용 교육훈련시스템의 작업공정 훈련 증강현실 서비스 리소스 제작예를 나타내는 도면이며, 도 4는 본 발명의 일실시예에 따른 산업용 교육훈련시스템의 3D 객체 분할 리소스 및 애니메이션 제작예를 나타내는 도면이고, 도 5는 본 발명의 일실시예에 따른 산업용 교육훈련시스템의 3D 모델 리소스 효과 및 표현기능 개발예를 나타내는 도면이며, 도 6은 본 발명의 일 실시예에 따른 혼합현실 디스플레이 기반의 산업용 교육훈련 시스템의 구성을 설명하는 블록도이며, 도 7은 본 발명의 일 실시예에 따른 관리서버의 구성을 설명하는 블록도이다.
본 발명의 일실시예에 따른 혼합현실 디스플레이 기반의 산업용 교육훈련 시스템은 도 6에 도시된 바와 같이, VR 장비(10)가 연결되는 사용자단말(200), 관리자단말(100)이 각각 통신망(400)을 통하여 연결되는 다중 사용자를 위한 관리서버(300)를 포함할 수 있다.
여기서 사용자단말(200)과 관리자단말(100)은 VR 장비(10)와 연결되어 관리서버(300)에 접속한 후 혼합현실 또는 가상현실 기반의 산업 훈련을 위한 혼합현실 컨텐츠 서비스를 제공받을 수 있는 단말기로, 예컨대 퍼스널 컴퓨터, 노트북 컴퓨터, 스마트폰, 패블릿폰, 태블릿 등이 될 수 있다.
또한 본 발명의 혼합현실 디스플레이 기반의 산업용 교육훈련 시스템은 관리서버(300)를 구축하고, 관리서버(300)는 사용자(훈련자)가 가상훈련하는 내용을 점검하기 위한 작업훈련 관리자 네트워크 구성과 다중 사용자 관리서버(300)의 구성을 통해서 혼합현실 접속 단말기들이 통신으로 연결되어 서로의 기능을 전달하고 처리하여 유기적으로 동작한다.
특히 관리서버(300)는 특정한 이벤트 결과에 따라 반응하는 작업공정 미션 기능을 구현하여 여러 산업의 작업공정이 수행될 때 산업체에서 제시하는 공정의 최종 기준을 적용하도록 구성된다.
또한 산업체 특성마다 작업공정이 조립, 생산, 가공, 처리 등으로 다양하므로 관리서버(300)는 단위공정별 교육훈련이 가능하도록 개발하고, 작업공정별로 가상현실(VR)과 증강현실(AR) 기술이 사용되어 각 상황별 사용자단말(200)에 연결되는 VR 장비(10)를 제공한다.
여기서 VR 장비(10)에는 콘트롤러, MR/AR/VR 글래스와 패드, 관리자를 위한 모니터링 장치가 포함될 수 있고, MR/AR/VR 패드, MR/AR/VR 글래스 제공용 컨텐츠와 MR/AR/VR 컨텐츠의 정보 공유를 위한 DB를 구축하여 관리자가 특정한 작업공정에 접근하는 사용자의 정보를 사전에 파악할 수 있도록 하며, 교육훈련자를 미러링 등을 이용한 단말기 모니터를 통해 훈련자 모니터링이 가능하도록 구성된다.
또한 관리서버(300)는 작업공정 미션을 달성하기 위한 훈련자 그룹이 서로 협업하기 위하여 서버-클라이언트 구조로 구성된 서버로 접속하고 서버는 클라이언트(사용자단말(200), 관리자단말(100)) 간의 통신을 중계하는 역할을 수행하게 된다.
관리서버(300)는 세부적으로 도 7을 참조하면, 컨텐츠부(310), 앱연동부(320), 통신부(330), 보안부(340)를 더 포함한다.
컨텐츠부(310)는 다중 사용자 협업을 위한 관련 기능이 포함되도록 구성되는데, 작업공정 미션의 단계별 트리거 및 이벤트 등을 제어하며, 사용자들의 인터렉션 및 커뮤니케이션과 같은 네트워크 상호작용을 브로드케스트 하는 기능이 수행된다.
또한 컨텐츠부(310)는 컴포넌트 시스템이 구축되는데, 작업공정 미션 수행 시 스토리를 제외한 범용 컴포넌트들을 작성하여 템플릿화하며, 일종의‘데이터-컨테이너’와 같은 객관성을 유지하여 컴포넌트를 작성하고, 추후 절차적 컨텐츠 조립시 실제 데이터를 컴포넌트에 탑재하여 시스템에서 작업공정 미션 수행에 대한 상호작용을 수행할 수 있도록 구현한다.
아울러 컨텐츠부(310)는 절차적 컨텐츠 조립 기능이 포함되는데, 작업공정 미션 수행 시 스토리를 구성한 후 이에 따라 필요한 범용 컴포넌트들을 선택하여 작업공정 미션을 수주하는 데에 이용될 수 있다.
또한 컨텐츠부(310)는 작업공정 미션 달성 기능이 포함되는데, 선택된 컴포넌트 및 작업공정 달성 옵션 등에 따라 절차적으로 생성된 작업공정 미션에 대한 달성도 및 상호작용을 구현하게 된다.
또한 컨텐츠부(310)는 도 3에 도시된 바와 같이, 작업공정 훈련을 위한 혼합현실 또는 증강현실 서비스 리소스 제작이 수행되는데, 3D 컨텐츠 리소스 개발은 모델링 오브젝트가 컨텐츠의 기획 및 기능에 맞는 분류로 인해서 작성된 요소로 선정된다.
여기서 선정된 요소에 관련한 자료의 조사는 부품에 대한 사진과 정량적인 근거자료를 취합하며 요소 3D 컨텐츠 제작에 필요한 리소스를 수집하게 되고 필요에 따라서 원 컨텐츠의 저작권을 구매하기도 하고 기본적으로 수집한 리소스를 통해서 3D 기본 모델링을 설계하고 개발이 이루어지게 되며, 기본 모델링을 세부적인 모델링으로 접근하여 설계하고 제작한다.
아울러 컨텐츠부(310)는 도 4에서와 같이 혼합현실 컨텐츠 제공시 3D 객체 분할 리소스 및 애니메이션 제작이 이루어지는데, 개발되는 공정에서 사용자의 콘트롤러 조작에 따라 체험과 교육적으로 필요한 반응 컨텐츠를 위하여 원 모델링을 분리하여 재제작하는 과정과 이벤트를 통해서 이루어질 결과의 움직임을 애니메이션으로 제작하게 된다.
또한 컨텐츠부(310)는 도 5에서와 같이 혼합현실 컨텐츠에 3D 모델 리소스 효과 및 표현기능의 구성이 수행되는데, 분할 리소스나 특정 이벤트에 따라서 애니메이션과 함께 혹은 이전 이후에 주어질 효과를 제작 및 적용하고 이를 통해서 전달되어질 반응과 교육적, 훈련적 피드백의 UI 및 표현 기능을 구성한다.
또한 컨텐츠부(310)는 향후 특정 가공을 위한 작업공정 미션서버를 통해서 훈련자의 공정 교육훈련이 이루어지게 되며, 공정 정보 제공을 위한 UI/UX 역시 사용자의 입장, 외국인, 초급자, 중급자, 고급자 등의 수준이나 상황을 고려하여 정보 전달이 가능하도록 산업체에서의 전문용어 활용과 다국어로 구성된다.
아울러 모든 컨텐츠에 필요한 리소스는 3D 모델링 개발로 공정에 필요한 단일요소부터 조립완성품까지 3D 모델링, 질감, 쉐이더, 리깅을 통해서 표현할 수 있도록 구성되도록 컨텐츠부(310)에 의해 제작될 수 있다. 또한 제작되는 혼합현실 컨텐츠는 3D 모형 설계 데이터에 기반하여 3D 모형을 제작하고, MR/AR/VR 마커 위치 정보에 따라 3D 모형에 MR/AR/VR 마커를 부착하여 산업훈련 컨텐츠 영상 등을 사용자단말(200)에 제공한다. 3D 모형에 의한 혼합현실 기반 산업훈련 컨텐츠 영상은 이를테면 마커가 부착된 3D 모형과 결합하여 동작되는 영상 시나리오를 생성하고, 상기 생성된 영상 시나리오에 따라 혼합현실 기반의 컨텐츠를 제작하여 제공할 수 있다.
나아가 산업훈련 컨텐츠 영상 등을 사용자단말(200)에 제공시, MR/AR/VR 마커가 부착된 3D 모형에서 인공 지능(AI) 기반의 마커 인식 알고리즘을 이용하여 MR/AR/VR 마커를 인식하고, MR/AR/VR 마커에 동기화된 MR/AR/VR 컨텐츠에 따른 MR/AR/VR 영상을 제공할 수 있다.
구체적으로 혼합현실 컨텐츠는 인공 지능 기반의 마커 인식 알고리즘이 수행되어 영상 분석을 통해 객체 인식을 위한 후보 영역을 생성하고, 상기 생성된 후보 영역에서 하나 이상의 객체를 추출한 후 사전에 학습된 객체 검출 모델을 통해 추출된 하나 이상의 객체들 중에서 MR/AR/VR 마커를 인식한다. 객체 검출 모델은 R-CNN, Fast R-CNN, Faster R-CNN, Mask R-CNN, SSD, YOLO 중 적어도 하나 이상의 객체 검출용 CNN 모델을 사용한다.
특히, R-CNN은 MR/AR/VR 마커 인식을 위한 후보 영역을 생성하고, 생성된 후보 영역을 기반으로 CNN을 학습시켜 영상 내 객체의 위치를 검출한다. 즉, 입력된 카메라 영상에서 선택적 탐색 알고리즘을 이용하여 후보 영역들을 생성하고, 생성된 각 후보 영역들을 동일한 크기로 변환한 후 CNN을 통해 특징을 추출하고, 추출된 특징을 이용하여 후보 영역 내의 객체를 SVM을 이용하여 분류한다. SSD(Single Shot Detector)는 후보 영역을 생성하기 위한 RPN(Region Proposal Network), 즉 CNN을 따로 훈련시키지 않고 다양한 크기의 특징 맵을 이용하여 객체를 인식하는 것으로서, CNN 모델로부터 얻은 특징 맵과 같이 합성곱 층이 진행됨에 따라 크기가 줄어들게 된다. SSD는 이 과정에서 추출된 모든 특징 맵들을 추론 과정에서 사용하여 객체를 인식한다.
이와 같이, 인공 지능 기반의 마커 인식 알고리즘은 대용량의 학습데이터셋을 이용하여 학습된 객체 검출 모델을 이용하여 다양한 MR/AR/VR 마커의 모양, 크기, 색상을 정확하게 인식할 수 있어 마커 인식률을 높일 수 있고, MR/AR/VR 마커의 위치와 각도에 맞게 MR/AR/VR 컨텐츠를 지속적으로 증강시켜 줄 수 있다.
앱연동부(320)는 사용자단말(200)에 설치되는 산업용 교육 훈련용 어플리케이션과 연동할 수 있으며, 산업용 교육 훈련용 어플리케이션은 VR장비를 통하여 사용자에게 혼합현실 또는 가상현실 컨텐츠를 통하여 산업 현장의 공정 절차 등에 대한 산업용 교육 훈련을 수행할 수 있다.
아울러, 앱연동부(320)는 데이터베이스(350) 연동 API(응용프로그래밍 인터페이스)가 구성되는데, 이는 공동으로 해결할 미션 정보 및 달성에 따른 기록 등을 위해 데이터베이스(350)를 연동하도록 하는 것이다.
통신부(330)는 산업용 교육 훈련용 어플리케이션을 실행한 사용자단말(200) 또는 관리자단말(100)과 연결되어 각종 정보를 송수신하기 위한 통신 프로토콜을 제공하는 역할을 수행한다.
여기서 통신망(400)을 유무선 통신망(400)으로서, 인터넷, 인트라넷, 사설망, LTE, 5G 망이 될 수 있으며, 통신망(400)에는 통신 중계를 위한 허브, 게이트웨이 등이 더 포함될 수도 있다.
보안부(340)는 혼합현실 컨텐츠, 사용자정보, 훈련정보, 피드백정보 등의 노출과 변조를 방지하기 위해 해당 정보들에 대한 비밀키 분배하고, 분배된 비밀키를 기반으로 데이터를 암호화하는 경량 암호 알고리즘을 수행한다. 경량 암호 알고리즘에는 스마트 기기 등의 제한된 환경에서 구현하기 위해 설계된 암호 기술로서, 대칭키 암호 알고리즘인 HIGHT(HIGh security and light weigHT), LEA(Lightweight Encryption)와 해시함수인 LSH(Lightweight Secure Hash) 등이 있다.
데이터베이스(350)는 산업용 교육 훈련을 수행하는데 필요한 각종 정보를 저장할 수 있으며, 개인정보인 사용자정보(훈련자 또는 관리자 정보), 훈련을 위한 혼합현실 컨텐츠정보, 사용자 훈련 내역, 사용자 평가와 같은 피드백 등을 포함하는 통계정보를 저장하여 관리할 수 있다.
나아가 관리서버(300)는 블록체인서버(500)와 연계하여, 이더리움(Ethereum)이라는 블록체인 기반의 스마트컨트랙트 기능을 구현하여 컨텐츠 판매를 위한 판매 데이터에 대한 디지털 컨텐츠 권리 보호를 실현할 수도 있다.
블록체인 기반의 스마트컨트랙트는 블록체인 네트워크에 참여한 계약당사자가 계약 내용을 코드로 작성하여 블록체인에 기록하면 블록체인 기술은 계약 조건이 충족되는 경우에 블록체인에 기록된 계약 내용을 참고하여 해당 계약을 자동으로 실행한다. 이 경우, 블록체인 기술은 프로그램된 계약이 멈추지 않고 지속적으로 실행되도록 하고, 또한 외부의 관여 없이도 디지털 컨텐츠의 권리가 직접 이전될 수 있도록 한다. 즉, 블록체인 기술은 네트워크상의 노드가 스마트컨트랙트을 인식하고, 이를 위한 계약주소(contract address)를 만들고, 만일 거래를 원하는 자가 스마트컨트랙트의 계약주소로 계약의 실행에 필요한 조건을 전송하면 스마트컨트랙트가 자동으로 실행되도록 한다. 스마트컨트랙트는 미리 결정된 특정 조건이 충족되면 자동으로 실행되는 애플리케이션이며, 스마트컨트랙트를 구현하기 위해서는 네트워크를 통해 일어나는 모든 거래정보를 확인하고 감독하고 실행할 수 있는 블록체인 기술이 작동하는 플랫폼이 필요하다. 따라서, 블록체인 기반의 스마트 컨트랙트 기능이 구현된 DRM은 사용자들이 날짜, 생성 시간, 저자권자에 대한 구체적인 정보를 공유하고 확인할 수 있다.
구체적으로 컨텐츠 데이터가 대량 배포, 전송, 복제되는 것을 방지하기 위해 디지털 권리 관리(Digital rights management, DRM) 기술을 적용하는데, 블록체인 기반의 스마트 컨트랙트 기능을 통해 컨텐츠가 보호될 수 있도록 한다. 따라서, 운영 서버(100)는 블록체인 기반의 스마트 컨트랙트 기능을 통해 공유 단말 개수, 사용 기간을 포함한 계약 조건이 설정된 판매 데이터를 판매 등록하고, 공개 데이터를 협업서에 회원 가입된 사용자가 열람 또는 공유할 수 있도록 산업용 교육 훈련 컨텐츠 서비스 제공 페이지에 등록한다.
관리자단말(100)은 산업용 훈련을 위한 관리자가 소지한 단말이 될 수 있으며, 관리자는 이를테면, 직장 내 상급자, 직업 훈련 전문가 또는 시스템 구축 관리자 등이 될 수 있다.
관리자단말(100)은 산업용 교육 훈련용 어플리케이션을 통하여 시스템 설정을 변경하거나, 산업용 교육 훈련 대상자인 사용자들(신입 직원 등)을 모니터링하고, 훈련 결과에 대한 평가 등을 포함하는 피드백정보를 제공하는 역할을 수행할 수 있다.
도 8은 본 발명의 일 실시예에 따른 혼합현실 디스플레이 기반의 산업용 교육훈련 방법을 설명하는 순서도이다.
VR 장치와 연결된 사용자단말(200)에서 관리서버(300)에 로그인할 수 있다(S100).
여기서, 로그인 인증은 사용자정보를 제공받아 패스워드 입력에 의해 수행될 수 있으며, 사용자정보는 블록체인서버(500)를 통하여 유출되지 않도록 관리될 수도 있다.
로그인 접속 후, VR 장치와 연결된 사용자단말(200)에서 관리서버(300)에 접속하여 산업 훈련 컨텐츠를 온라인으로 제공받아 산업용 교육 훈련을 개시한다(S102).
사용자는 사용자단말(200)을 통하여 산업용 교육 훈련 도중 훈련정보를 관리서버(300)에 제공할 수 있다(S104). 여기서 훈련정보는 예컨대, 교육 훈련 중 사용자가 입력되는 정보(훈련 관련 파라미터, 컨텐츠 관련 시험문제 답안, 공정 진행도, 미션달성 여부 등)들이 될 수 있다.
또한, 관리자단말(100)은 로그인 인증을 통하여 관리서버(300)에 접속하여 각 사용자의 훈련정보를 제공받을 수 있으며, 훈련 평가인 피드백정보를 생성하여 관리서버(300)로 전송한다(S106).
나아가, 직업 훈련을 수행하는 사용자단말(200)은 복수로 존재할 수 있으며, 제1 사용자단말(200)에 의해 제공되는 훈련정보는 관리자단말(100)뿐만 아니라, 상호 협업을 위해 다른 훈련자인 제2 사용자단말(200)에도 요청시 제공될 수 있으며, 특히 같은 직업 훈련을 수행하는 사용자에게 다른 훈련자의 훈련정보가 제공되어 서로 협업하여 훈련을 수행할 수 있도록 하고, 훈련에 대한 피드백정보를 제2 사용자단말(200)로부터 제공받을 수도 있다.
관리서버(300)는 훈련 및 피드백정보를 데이터베이스(350)에 저장하여 관리할 수 있다(S108)
또한, 관리서버(300)는 사용자단말(200) 또는 관리자단말(100)의 요청시 해당 사용자단말(200)로 통계정보를 제공할 수 있다(S110).
이와 같이 본 발명은 도면에 도시된 일실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10 ; VR 장비
100 ; 관리자단말
200 ; 사용자단말
300 ; 관리서버
310 ; 컨텐츠부
320 ; 앱연동부
330 ; 통신부
340 ; 보안부
350 ; 데이터베이스
400 ; 통신망
500 ; 블록체인서버
100 ; 관리자단말
200 ; 사용자단말
300 ; 관리서버
310 ; 컨텐츠부
320 ; 앱연동부
330 ; 통신부
340 ; 보안부
350 ; 데이터베이스
400 ; 통신망
500 ; 블록체인서버
Claims (7)
- 사용자가 가상 훈련하는 내용을 점검하기 위한 작업훈련 관리자 네트워크 구성과 다중 사용자 관리서버의 구성을 통해서 접속한 사용자단말이 통신으로 연결되고, 작업공정 미션 기능을 구현하여 제공하며, 작업공정의 단위공정별 교육훈련이 가능하도록 서비스를 제공하고, 공정별로 가상현실(VR)과 증강현실(AR) 기술이 사용되어 각 상황별 사용자단말에 연결되는 VR 장비를 통하여 직업 훈련 관련한 혼합 현실 컨텐츠를 제공하며, 혼합현실 컨텐츠 제공을 위한 데이터베이스를 구축하여 관리자가 관리자단말을 이용하여, 특정한 공정에 대한 가상 훈련시 접근하는 사용자정보를 제공받아 파악할 수 있으며, 이를 통해 사용자 모니터링이 가능하며, 훈련 평가에 대한 피드백정보를 제공하는 관리서버를 포함하고,
상기 관리서버는,
접속된 사용자단말기로 혼합현실 컨텐츠를 통하여 작업공정 미션 기능을 제공하고, 사용자단말기에서 선택된 컴포넌트 및 작업공정 달성 옵션에 따라 절차적으로 생성된 작업공정 미션에 대한 달성도 및 상호작용을 제공하는 컨텐츠부;를 포함하며,
상기 컨텐츠부는,
상기 혼합현실 컨텐츠에 필요한 리소스는 3D 모델링 개발로 3D 모델링, 질감, 쉐이더, 리깅을 통해서 표현하여 구성되도록 제작되며, 제작되는 혼합현실 컨텐츠는 3D 모형 설계 데이터에 기반하여 3D 모형을 제작하고, MR/AR/VR 마커 위치 정보에 따라 3D 모형에 MR/AR/VR 마커를 부착하여 산업훈련을 위한 혼합현실 컨텐츠 영상을 제공하고,
상기 혼합현실 컨텐츠 영상을 상기 사용자단말에 제공시, 상기 MR/AR/VR 마커가 부착된 상기 3D 모형에서 인공 지능(AI) 기반의 마커 인식 알고리즘을 이용하여 상기 MR/AR/VR 마커를 인식하고, 상기 MR/AR/VR 마커에 동기화된 MR/AR/VR 컨텐츠에 따른 MR/AR/VR 영상을 제공하되,
상기 인공 지능 기반의 마커 인식 알고리즘이 수행되어 영상 분석을 통해 객체 인식을 위한 후보 영역을 생성하고, 상기 생성된 후보 영역에서 하나 이상의 객체를 추출한 후 사전에 학습된 객체 검출 모델을 통해 추출된 하나 이상의 객체들 중에서 상기 MR/AR/VR 마커를 인식하며, 상기 객체 검출 모델은 R-CNN, Fast R-CNN, Faster R-CNN, Mask R-CNN, SSD, YOLO 중 적어도 하나 이상의 객체 검출용 CNN 모델을 사용하고,
상기 관리서버는,
블록체인서버와 연계하여, 이더리움(Ethereum)이라는 블록체인 기반의 스마트컨트랙트 기능을 구현하여 컨텐츠 판매를 위한 판매 데이터에 대한 디지털 컨텐츠 권리 보호를 실현하고, 컨텐츠 데이터가 대량 배포, 전송, 복제되는 것을 방지하기 위해 디지털 권리 관리(Digital rights management, DRM) 기술을 적용하되,
상기 블록체인 기반의 스마트 컨트랙트 기능을 통해 공유 단말 개수, 사용 기간을 포함한 계약 조건이 설정된 상기 판매 데이터를 판매 등록하고, 공개 데이터를 협업서에 회원 가입된 사용자가 열람 또는 공유할 수 있도록 산업용 교육 훈련 컨텐츠 서비스 제공 페이지에 등록하는
혼합현실 디스플레이 기반의 산업용 교육훈련 시스템. - 제1항에 있어서,
상기 관리서버는,
사용자단말에 설치되는 산업용 교육 훈련용 어플리케이션과 연동할 수 있으며, 산업용 교육 훈련용 어플리케이션은 VR장비를 통하여 사용자에게 혼합현실 또는 가상현실 컨텐츠를 통하여 산업 현장의 공정 절차 등에 대한 산업용 교육 훈련을 수행하는 앱연동부;
산업용 교육 훈련용 어플리케이션을 실행한 사용자단말 또는 관리자단말과 연결되어 각종 정보를 송수신하기 위한 통신 프로토콜을 제공하는 통신부;
사용자정보(훈련자 또는 관리자 정보), 훈련을 위한 혼합현실 컨텐츠정보, 사용자 훈련 내역, 피드백 정보, 통계정보를 저장하는 데이터베이스;
를 더 포함하는 혼합현실 디스플레이 기반의 산업용 교육훈련 시스템. - 제2항에 있어서,
상기 컨텐츠부는
혼합현실 컨텐츠에 3D 모델 리소스 효과 및 표현기능의 구성이 수행되는데, 분할 리소스나 특정 이벤트에 따라 애니메이션과 함께 혹은 이전 이후에 주어질 효과를 포함하도록 컨텐츠 제작 및 적용하고, 사용자단말에 컨텐츠 제공시 사용자(훈련자)에게 전달되어질 반응과 교육적, 훈련적 피드백의 UI 및 표현 기능을 제공하는 것을 특징으로 하는 혼합현실 디스플레이 기반의 산업용 교육훈련 시스템. - 삭제
- 제2항에 있어서,
상기 관리서버는
상기 혼합현실 컨텐츠, 사용자정보, 훈련정보, 피드백정보의 노출과 변조를 방지하기 위해 해당 정보들에 대한 비밀키를 분배하고, 분배된 비밀키를 기반으로 데이터를 암호화하는 경량 암호 알고리즘을 수행하는 보안부;
를 포함하는 혼합현실 디스플레이 기반의 산업용 교육훈련 시스템. - 혼합현실 디스플레이 기반의 산업용 교육훈련 시스템의 관리서버를 이용한 혼합현실 디스플레이 기반의 산업용 교육훈련 방법에 있어서,
VR 장치와 연결된 사용자단말에서 통신망을 통하여 상기 관리서버에 로그인하는 단계;
상기 사용자단말에서 관리서버에 접속하여 산업 교육 훈련용 혼합현실 컨텐츠를 제공받아 훈련을 개시하는 단계;
상기 관리서버는 상기 혼합현실 컨텐츠를 이용한 산업 훈련 도중 사용자의 훈련정보를 제공받는 단계;
관리자단말이 상기 관리서버에 접속하여 상기 훈련정보를 제공받고, 훈련 평가인 피드백 정보를 제공하는 단계;
상기 관리서버는 훈련 및 피드백정보에 대한 통계정보를 저장하는 단계;
상기 사용자단말 또는 관리자단말의 요청시 해당 사용자단말로 통계정보를 제공하는 단계;를 포함하며,
상기 관리서버는,
컨텐츠부를 통해 접속된 사용자단말기로 혼합현실 컨텐츠를 통하여 작업공정 미션 기능을 제공하고, 사용자단말기에서 선택된 컴포넌트 및 작업공정 달성 옵션에 따라 절차적으로 생성된 작업공정 미션에 대한 달성도 및 상호작용을 제공하며,
상기 컨텐츠부는,
상기 혼합현실 컨텐츠에 필요한 리소스는 3D 모델링 개발로 3D 모델링, 질감, 쉐이더, 리깅을 통해서 표현하여 구성되도록 제작되며, 제작되는 혼합현실 컨텐츠는 3D 모형 설계 데이터에 기반하여 3D 모형을 제작하고, MR/AR/VR 마커 위치 정보에 따라 3D 모형에 MR/AR/VR 마커를 부착하여 산업훈련을 위한 혼합현실 컨텐츠 영상을 제공하고,
상기 혼합현실 컨텐츠 영상을 상기 사용자단말에 제공시, 상기 MR/AR/VR 마커가 부착된 상기 3D 모형에서 인공 지능(AI) 기반의 마커 인식 알고리즘을 이용하여 상기 MR/AR/VR 마커를 인식하고, 상기 MR/AR/VR 마커에 동기화된 MR/AR/VR 컨텐츠에 따른 MR/AR/VR 영상을 제공하되,
상기 인공 지능 기반의 마커 인식 알고리즘이 수행되어 영상 분석을 통해 객체 인식을 위한 후보 영역을 생성하고, 상기 생성된 후보 영역에서 하나 이상의 객체를 추출한 후 사전에 학습된 객체 검출 모델을 통해 추출된 하나 이상의 객체들 중에서 상기 MR/AR/VR 마커를 인식하며, 상기 객체 검출 모델은 R-CNN, Fast R-CNN, Faster R-CNN, Mask R-CNN, SSD, YOLO 중 적어도 하나 이상의 객체 검출용 CNN 모델을 사용하고,
상기 인공 지능 기반의 마커 인식 알고리즘은 대용량의 학습데이터셋을 이용하여 학습된 상기 객체 검출 모델을 이용하여 상기 MR/AR/VR 마커의 모양, 크기, 색상을 정확하게 인식할 수 있어 마커 인식률을 높이고, 상기 MR/AR/VR 마커의 위치와 각도에 맞게 MR/AR/VR 컨텐츠를 지속적으로 증강시키며,
상기 관리서버는,
블록체인서버와 연계하여, 이더리움(Ethereum)이라는 블록체인 기반의 스마트컨트랙트 기능을 구현하여 컨텐츠 판매를 위한 판매 데이터에 대한 디지털 컨텐츠 권리 보호를 실현하고, 컨텐츠 데이터가 대량 배포, 전송, 복제되는 것을 방지하기 위해 디지털 권리 관리(Digital rights management, DRM) 기술을 적용하되,
상기 블록체인 기반의 스마트 컨트랙트 기능을 통해 공유 단말 개수, 사용 기간을 포함한 계약 조건이 설정된 상기 판매 데이터를 판매 등록하고, 공개 데이터를 협업서에 회원 가입된 사용자가 열람 또는 공유할 수 있도록 산업용 교육 훈련 컨텐츠 서비스 제공 페이지에 등록하는
혼합현실 디스플레이 기반의 산업용 교육훈련 방법. - 제6항에 있어서,
상기 관리서버는,
상기 관리자단말에 제공되는 제1 사용자단말의 훈련정보는 제1 사용자단말과 같은 직업 훈련을 수행하는 사용자에게 다른 훈련자의 훈련정보가 제공되어 서로 협업하여 훈련을 수행할 수 있도록 하고,
훈련에 대한 피드백정보를 제2 사용자단말로부터 제공받을 수 있도록 제공하는 것을 특징으로 하는 혼합현실 디스플레이 기반의 산업용 교육훈련 방법.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20190165722 | 2019-12-12 | ||
| KR1020190165722 | 2019-12-12 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210075002A KR20210075002A (ko) | 2021-06-22 |
| KR102494000B1 true KR102494000B1 (ko) | 2023-01-31 |
Family
ID=76600697
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200157527A KR102494000B1 (ko) | 2019-12-12 | 2020-11-23 | 혼합현실 디스플레이 기반의 산업용 교육훈련 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102494000B1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102689402B1 (ko) * | 2021-11-26 | 2024-07-30 | 주식회사 오픈노트 | 배전스테이션 통합관리시스템 |
| CN118278753B (zh) * | 2024-06-03 | 2024-08-20 | 深圳市智造建筑信息科技有限公司 | 作业现场的风险信息评估方法、设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004127024A (ja) * | 2002-10-03 | 2004-04-22 | Canon Inc | 複合現実感システム用コンテンツ保護装置及び保護方法 |
| JP2017044496A (ja) * | 2015-08-24 | 2017-03-02 | 大豊精機株式会社 | 溶接検査方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100543543B1 (ko) | 2003-10-30 | 2006-01-20 | 한국전력공사 | 전력계통 고장복구 교육훈련 알고리즘이 적용된 교육훈련시스템의 운용방법 |
| KR101390383B1 (ko) * | 2010-11-16 | 2014-04-29 | 한국전자통신연구원 | 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치 |
| KR101418484B1 (ko) | 2012-12-26 | 2014-07-14 | 한국항공우주산업 주식회사 | 모의 훈련 장비 및 이를 이용한 항공기 정비 교육 방법 |
| KR101389706B1 (ko) | 2013-09-06 | 2014-04-29 | (주)씨드젠 | 교육훈련시스템 및 그 교육훈련방법 |
| KR20160123722A (ko) | 2015-04-17 | 2016-10-26 | 새동엔지니어링 주식회사 | 항공안전 온라인 교육시스템 관리방법 |
| KR101839113B1 (ko) * | 2016-03-30 | 2018-03-16 | (주)퓨처젠 | 다중 접속을 통하여 다수의 훈련자의 개별적인 가상훈련공간의 인식과 공유된 가상작업공간에서 집단적이며 조직적인 협력훈련이 가능한 몰입식 네트워크 가상훈련 시스템의 클라이언트 시스템을 구성하는 네트워크 가상훈련 처리장치 및 이를 이용한 몰입식 네트워크 가상훈련 방법. |
-
2020
- 2020-11-23 KR KR1020200157527A patent/KR102494000B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004127024A (ja) * | 2002-10-03 | 2004-04-22 | Canon Inc | 複合現実感システム用コンテンツ保護装置及び保護方法 |
| JP2017044496A (ja) * | 2015-08-24 | 2017-03-02 | 大豊精機株式会社 | 溶接検査方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210075002A (ko) | 2021-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Langley et al. | Establishing the usability of a virtual training system for assembly operations within the automotive industry | |
| CN103220364B (zh) | 一种基于云的系统管理训练平台架构 | |
| US9508051B2 (en) | Business development configuration | |
| Walker et al. | Training and learning for crisis management using a virtual simulation/gaming environment | |
| Tian | [Retracted] Immersive 5G Virtual Reality Visualization Display System Based on Big‐Data Digital City Technology | |
| CN105006183B (zh) | 一种电能表检定实训教学考核模拟仿真方法 | |
| KR20190124045A (ko) | 증강현실을 이용한 교육훈련 시스템 및 이를 이용한 교육훈련 방법 | |
| KR102494000B1 (ko) | 혼합현실 디스플레이 기반의 산업용 교육훈련 시스템 및 방법 | |
| CN108701424A (zh) | 基于模拟数据的课程计划事件和模拟服务器 | |
| CN108701421A (zh) | 能通过与计算设备的交互来配置课程计划的事件的模拟服务器 | |
| Pinheiro et al. | Development of a mechanical maintenance training simulator in OpenSimulator for F-16 aircraft engines | |
| CN108701420A (zh) | 能与多个服务器交互的模拟服务器 | |
| CN110032804A (zh) | 基于bim、mr与3dp技术结合的工程信息系统 | |
| CN113837908A (zh) | 一种基于课程的网络培训系统与方法 | |
| CN108701423A (zh) | 具有事件差异的视觉预测指示符和模拟服务器 | |
| Pinheiro et al. | Development of a mechanical maintenance training simulator in OpenSimulator for F-16 aircraft engines | |
| Tender et al. | Emerging technologies for health, safety and well-being in construction industry | |
| Kwok et al. | A virtual collaborative simulation-based training system | |
| Karinshak | Simulations in human‐AI crisis management systems | |
| Sendiang et al. | Implementasi Teknologi Mikroservice pada Pengembangan Mobile Learning | |
| Hawe et al. | STORMI: An agent-based simulation environment for evaluating responses to major incidents in the UK. | |
| Smirnova et al. | Digital technologies in the industry: application of immersive training technologies in the oil and gas complex | |
| Qrain et al. | Virtual reality simulators in the oil & gas industry review of existing solutions and method for evaluation | |
| Neto et al. | Enhancing Electrical Substation Training through Multi-User Virtual Reality Techniques | |
| Tena-Chollet et al. | Design of a semi-virtual training environment (serious game) for decision-makers facing up a major crisis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |