KR102467429B1 - 항만 장비 유지 보수를 위한 가상 훈련 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 가상 현실(VR) 및 증강 현실(AR)을 이용하여 항만 장비를 유지 보수하기 위한 가상 훈련 시스템을 제안한다. 상기 가상 훈련 시스템은 훈련자의 신체에 착용되어, 상기 훈련자의 신체 움직임에 따라 트래킹 정보를 생성하고, 수신된 영상 및 음향 데이터를 출력하여 가상 현실(Virtual Reality, VR)을 구현하는 가상 현실(VR) 장치; 상기 가상 현실(VR) 장치와의 접속을 제어하고, 상기 트래킹 정보에 따라 가상 현실(VR) 컨텐츠를 실행하고, 상기 가상 현실(VR) 컨텐츠의 실행에 따른 영상 및 음향 데이터를 상기 가상 현실(VR) 장치에 전송하는 클라이언트 장치; 및 상기 가상 현실(VR)을 이용하여 항만에 설치된 크레인의 정비 작업을 훈련하기 위하여 사전에 설정된 정비 시나리오에 따라 상기 가상 현실(VR) 컨텐츠를 전송하고, 상기 훈련자의 가상 현실(VR)을 이용한 정비 훈련 결과를 관리는 운용 통제 서버를 포함하여 구성될 수 있다.

Description

항만 장비 유지 보수를 위한 가상 훈련 시스템 및 그 방법{System of virtual training for port equipment maintenance, and method thereof}

본 발명은 가상 현실(Virtual Reality, VR) 및 증강 현실(Augmented Reality, AR)에 관한 것이다. 보다 상세하게는, 가상 현실(VR) 및 증강 현실(AR)을 이용하여 항만 장비를 유지 보수하기 위한 가상 훈련 시스템 및 그 방법에 관한 것이다.

가상 현실(VR)은 시각, 청각 또는 촉각 등을 통해 사용자와 상호작용을 수행할 수 있는 인공적인 환경을 생성하여, 사용자가 물리적으로 존재하지 않는 환경을 실제로 존재하는 것처럼 느끼게 해주는 기술이다. 이와 같은, 가상 현실(VR)은 사이버공간(cyberspace), 인공 현실(artificial reality), 가상 세계(virtual world), 합성 환경(synthetic environment) 또는 인공 환경(artificial environment) 등으로 불리우기도 한다.

증강 현실(AR)은 실제 현실 영상의 일부에 가상 이미지를 오버레이(overlay)하여 하나의 영상으로 보여주는 기술이다. 가상 현실(VR)은 착용자의 신체, 배경(background) 및 전경(foreground)가 모두 가상의 영상인 것과 비교하여, 증강 현실(AR)은 착용자의 신체, 배경 및 전경의 일부가 실제 현실 영상이라는 점에서 차이가 있다.

한편, 일반적인 항만(port)에는 컨테이너 화물의 하역 작업에 사용될 크레인(crane)이 하나 이상 설치되어 있다. 이와 같이, 항만에 설치된 크레인은 크게, 갠트리 크레인(gantry crane), 트랜스퍼 크레인(transfer crane) 및 해상 크레인(floating crane)으로 구분될 수 있다.

갠트리 크레인은 하역 작업의 기본이 되는 장비로, 선박에 실려 있는 컨테이너 화물을 내리거나, 컨테이너 화물을 선박에 싣는 작업에 사용되는 크레인이다. 이와 같은, 갠트리 크레인은 일반적으로 컨테이너 전용 부두의 안벽(quay wall)에 설치되어 안벽 크레인이라 지칭되기도 한다.

트랜스퍼 크레인은 상술한 갠트리 크레인에 의해 내려진 컨테이너 화물을 야드(yard)의 컨테이너 장치장(bonded shed)에 내리거나 올려주는 작업에 사용되는 크레인이다. 이와 같은, 트랜스퍼 크레인은 컨테이너 장치장으로 자유롭게 이동할 수 있는 두 개의 다리 구조물을 가지고 있으며, 다리 구조물에 구비된 이동 수단에 따라 레일식(rail-type)과 타이어식(tire-type)으로 구분될 수 있다.

그리고, 해상 크레인은 해상을 이동하며 하역 작업을 수행할 수 있도록 부선(barge) 위에 설치된 크레인이다. 이와 같은, 해상 크레인은 크레인 하부의 일부가 물 속에 잠겨 있는 특징을 가지고 있으며, 크레인 바셀 또는 플로팅 크레인으로 지칭되기도 한다.

상술한 바와 같은, 항만의 크레인은 컨테이너 화물의 원활한 하역 작업이 가능하도록 그 높이와 크기가 매우 크다는 공통점을 가지고 있다. 그리고, 높이와 크기가 매우 큰 항만 크레인을 유지 보수하는 작업 환경은 대표적인 위험 작업 환경에 해당한다.

따라서, 위험 작업 환경에서 항만 크레인을 유지 보수하는 작업에 투입되기 위해서는 특별한 훈련이 요구된다.

대한민국 등록특허공보 제10-1016779호, ‘유에스엔을 이용한 컨테이너 크레인용 기상/하중 통합 모니터링 시스템’, (2011.02.25. 공고)

본 발명의 일 목적은 가상 현실(VR) 및 증강 현실(AR)을 이용하여 항만 장비를 유지 보수하기 위한 가상 훈련 시스템을 제공하는 것이다.

본 발명의 다른 목적은 가상 현실(VR) 및 증강 현실(AR)을 이용하여 항만 장비를 유지 보수하기 위한 가상 훈련 방법을 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명은 상술한 바와 같은 기술적 과제를 달성하기 위한 가상 훈련 시스템을 제안한다.

상기 가상 훈련 시스템은 훈련자의 신체에 착용되어, 상기 훈련자의 신체 움직임에 따라 트래킹 정보를 생성하고, 수신된 영상 및 음향 데이터를 출력하여 가상 현실(Virtual Reality, VR)을 구현하는 가상 현실(VR) 장치; 상기 가상 현실(VR) 장치와의 접속을 제어하고, 상기 트래킹 정보에 따라 가상 현실(VR) 컨텐츠를 실행하고, 상기 가상 현실(VR) 컨텐츠의 실행에 따른 영상 및 음향 데이터를 상기 가상 현실(VR) 장치에 전송하는 클라이언트 장치; 및 상기 가상 현실(VR)을 이용하여 항만에 설치된 크레인의 정비 작업을 훈련하기 위하여 사전에 설정된 정비 시나리오에 따라 상기 가상 현실(VR) 컨텐츠를 전송하고, 상기 훈련자의 가상 현실(VR)을 이용한 정비 훈련 결과를 관리는 운용 통제 서버를 포함하여 구성될 수 있다.

또한, 상기 가상 훈련 시스템은 상기 훈련자의 신체에 안경 형태로 착용되어, 상기 훈련자의 시야 방향의 영상을 촬영하고, 수신된 영상 데이터를 증강 현실(Augmented Reality, AR)을 위해 구비된 글래스를 통해 출력하는 증강 현실(AR) 장치를 더 포함하여 구성될 수도 있다.

이 경우, 상기 클라이언트 장치는 상기 증강 현실(AR) 장치와의 접속을 제어하고, 상기 증강 현실(AR) 장치에 의해 촬영된 영상 데이터에 따라 증강 현실(AR) 컨텐츠를 실행하고, 상기 증강 현실(AR) 컨텐츠의 실행에 따른 영상 데이터를 상기 증강 현실(AR) 장치에 전송하며, 상기 운용 통제 서버는 상기 증강 현실(AR)을 이용하여 상기 항만에 설치된 크레인의 점검 작업을 훈련하기 위하여 사전에 설정된 점검 시나리오에 따라 상기 증강 현실(AR) 컨텐츠를 전송하고, 상기 훈련자의 증강 현실(AR)을 이용한 점검 훈련 결과를 관리할 수 있다.

한편, 상기 운용 통제 서버는 상기 정비 시나리오에 따른 가상 현실(VR) 속의 환경적 요인과 상기 정비 작업 훈련 결과를 기초로 기계 학습(machine learning)을 수행하고, 기계 학습된 인공지능(artificial intelligence, AI)을 이용하여, 상기 훈련자의 직무 적정성을 평가할 수 있다. 여기서, 상기 직무 적정성은 상기 훈련자가 상기 크레인과 관련된 작업을 수행하는 것이 적정한지 여부를 나타내는 지표이고, 상기 가상 현실(VR) 속의 환경적 요인에는 상가 가상 현실(VR) 컨텐츠에 포함된 크레인의 유형, 상기 크레인의 최대 높이, 상기 크레인 내의 정비 대상의 유형, 상기 정비 대상의 수, 상기 정비 대상의 위치 및 상기 가상 현실(VR) 속의 기상 조건이 포함되고, 상기 정비 작업 훈련 결과에는 훈련 수행 시간 및 상기 정비 작업의 성공 여부가 포함될 수 있다.

구체적으로, 상기 운용 통제 서버는 기 수행된 정비 작업 훈련과 관련하여 가상 현실(VR) 속 환경적 요인과 정비 작업 훈련 결과 사이 확률적 관계(probabilistic relationship)의 값을 평가하고, 상기 기 수행된 정비 작업 훈련과 관련하여 외부로부터 기 입력된 직무 적정성의 값과 상기 평가된 확률적 관계의 값으로 구성된 데이터 세트(data set)를 이용하여, 지도 학습(supervised learning)을 수행하여 상기 인공지능(AI)을 구축할 수 있다. 여기서, 상기 확률적 관계는 상기 환경적 요인에 포함된 요소와 상기 정비 작업 훈련 결과에 포함된 요소 사이에 존재하는 인과관계를 확률적으로 나타내는 지표일 수 있다. 특히, 상기 운용 통제 서버는 k-최근접 이웃 분류기(k-Nearest Neighbor Classifier)를 이용하여, 상기 환경적 요인과 상기 정비 작업 훈련 결과 사이의 확률적 관계의 값을 평가할 수도 있다.

이와 다르게, 상기 운용 통제 서버는 기 수행된 정비 작업 훈련과 관련하여 가상 현실(VR) 속 환경적 요인과 정비 작업 훈련 결과를 포함하는 데이터를 대상으로 군집 분석(clustering analysis)을 수행하고, 상기 군집 분석에 의해 분류된 하나 이상의 군집(cluster)을 이용하여, 비지도 학습(unsupervised learning)을 수행하여 상기 인공지능(AI)을 구축할 수도 있다.

한편, 상기 운용 통제 서버는 상기 기계 학습된 인공지능(AI)을 이용하여, 상기 가상 현실(VR) 속의 환경적 요인에 포함된 요소들 중에서 상기 직무 적정성에 가장 큰 영향을 미친 요소를 식별하고, 상기 식별된 요소가 다시 적용될 수 있도록 상기 증강 현실(AR)을 이용한 점검 시나리오를 수정할 수 있다.

구체적으로, 상기 운용 통제 서버는 상기 수정된 점검 시나리오에 따라 상기 증강 현실(AR) 컨텐츠를 상기 클라이언트 장치에 전송함에 있어, 상기 가장 큰 영향을 미친 요소와 관련된 증강 현실(AR) 컨텐츠의 형상, 크기, 색상 또는 선명도를 기존과 상이하게 변경하거나, 또는 상기 가장 큰 영향을 미친 요소와 관련된 증강 현실(AR) 컨텐츠의 일부를 제거한 후 상기 클라이언트 장치에 전송할 수 있다. 예를 들어, 상기 운용 통제 서버는 상기 가장 큰 영향을 미친 요소가 상기 크레인의 최대 높이에 해당하는 경우, 상기 증강 현실(AR) 컨텐츠 중에서 지표면 위에 오버레이(overlay)될 컨텐츠를 제거한 후 상기 클라이언트 장치에 전송할 수 있다.

본 발명은 상술한 바와 같은 기술적 과제를 달성하기 위한 가상 훈련 방법을 제안한다.

상기 가상 훈련 방법은 운용 통제 서버가 가상 현실(VR)을 이용하여 항만에 설치된 크레인의 정비 작업을 훈련하기 위하여 사전에 설정된 하나 이상의 정비 시나리오 중에서, 훈련자에 대응하여 설정된 정비 시나리오에 따라 가상 현실(VR) 컨텐츠를 클라이언트 장치에 전송하는 단계; 상기 클라이언트 장치가 상기 훈련자의 신체 움직임에 따라 생성된 트래킹 정보를 상기 훈련자의 신체에 착용된 가상 현실(VR) 장치로부터 수신하는 단계; 상기 클라이언트 장치가 상기 트래킹 정보에 따라 상기 가상 현실(VR) 컨텐츠를 실행하고, 상기 가상 현실(VR) 컨텐츠의 실행에 따른 영상 및 음향 데이터를 상기 가상 현실(VR) 장치에 전송하는 단계; 상기 클라이언트 장치가 상기 가상 현실(VR) 컨텐츠의 실행이 완료되면, 상기 정비 작업 훈련 결과를 상기 운용 통제 서버에 전송하는 단계; 및 상기 운용 통제 서버가 상기 정비 시나리오에 따른 가상 현실(VR) 속의 환경적 요인과 상기 정비 작업 훈련 결과를 기초로 기계 학습을 수행하고, 기계 학습된 인공지능(AI)을 이용하여, 상기 훈련자의 직무 적정성을 평가하는 단계를 포함할 수 있다.

기타 실시 예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 실시 예들에 따르면, 항만 크레인의 정비 작업을 가상 현실(VR)을 이용하여 훈련하고, 항만 크레인의 점검 작업을 증강 현실(AR)을 이용하여 훈련함으로써, 항만 크레인의 유지 보수 작업을 수행하기 위한 전문 인력을 신속히 양성할 수 있게 된다.

특히, 본 발명의 실시예들에 따르면, 가상 현실(VR) 또는 증강 현실(AR)을 이용하여 훈련한 결과를 이용하여 기계 학습(machine learning)을 수행함으로써, 기계 학습된 인공지능(Artificial Intelligence, AI)을 이용하여 항만 크레인의 유지 보수 작업을 수행할 작업자의 직무 적정성을 평가할 수 있게 된다.

본 발명의 효과들은 이상에서 언급한 효과로 제한되지 아니하며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 본 발명이 속한 기술분야의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따라 가상 훈련을 진행하는 모습을 도시한 예시도이다.
도 2는 본 발명의 일 실시예에 따른 가상 훈련 시스템의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 운용 통제 서버의 논리적 구성도이다.
도 4는 본 발명의 일 실시예에 따른 운용 통제 서버의 하드웨어 구성도이다.
도 5 및 도 6은 본 발명의 일 실시예에 따라 훈련자의 직무 적정성을 평가하기 위한 인공지능(AI)을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 가상 훈련 방법을 설명하기 위한 도면이다.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.

어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다. 본 발명의 사상은 첨부된 도면 외에 모든 변경, 균등물 내지 대체물에 까지도 확장되는 것으로 해석되어야 한다.

상술한 바와 같이, 항만에 설치된 여러 크레인들은 컨테이너 화물의 원활한 하역 작업이 가능하도록 그 높이와 크기가 매우 크다는 공통점을 가지고 있다. 이와 같은 이유로, 높이와 크기가 매우 큰 항만 크레인을 유지 보수하는 작업 환경은 대표적인 위험 작업 환경에 해당한다. 따라서, 위험 작업 환경에서 항만 크레인을 유지 보수하는 작업에 투입되기 위해서는 특별한 훈련이 요구된다.

따라서, 본 명세서는 가상 현실(VR) 및 증강 현실(AR)을 이용하여 항만 장비를 유지 보수하기 위한 가상 훈련 시스템을 제안하고자 한다.

도 1은 본 발명의 일 실시예에 따라 가상 훈련을 진행하는 모습을 도시한 예시도이다.

도 1에 도시된 바와 같이, 본 발명에 따르면 훈련자(10)는 가상 현실(VR) 또는 증강 현실(AR)을 이용하여, 항만에 설치된 크레인(20)의 유지 보수 작업을 훈련할 수 있게 된다. 구체적으로 본 발명에 따르면, 훈련자(10)는 가상 현실(VR)을 이용하여 항만에 설치된 크레인(20)의 정비(maintenance, repair) 작업을 훈련할 수 있게 된다. 또한, 훈련자(10)는 증강 현실(AR)을 이용하여 점검(inspection) 작업을 훈련할 수 있게 된다.

여기서, 크레인(20)은 항만에 설치되어 컨테이너 화물의 하역 작업에 사용되는 장비이다. 이와 같은, 크레인(20)은 갠트리 크레인, 트랜스퍼 크레인, 해상 크레인으로 분류될 수 있으나, 이에 한정되는 것은 아니다.

크레인(20)의 점검 작업은 크레인(20)이 하역 작업을 정상적으로 수행할 수 있는지 검사를 수행하는 작업이다. 그리고, 크레인(20)의 정비 작업은 하역 작업을 정상적으로 수행할 수 없는 크레인(20)을 수리하는 작업이다.

따라서, 본 발명에 따른 가상 훈련 시스템을 이용할 경우, 크레인(20)의 유지 보수 작업을 수행하기 위한 전문 인력을 신속히 양성할 수 있게 된다.

특히, 본 발명에 따른 가상 훈련 시스템은 가상 현실(VR) 또는 증강 현실(AR)을 이용하여 훈련한 결과를 이용하여 기계 학습(machine learning)을 수행함으로써, 기계 학습된 인공지능(AI)을 이용하여 훈련자(10)의 직무 적정성을 평가할 수 있게 된다.

이하, 상술한 바와 같은 특징을 가지는 본 발명의 일 실시예에 따른 가상 훈련 시스템의 구성 요소들에 대하여 구체적으로 설명하기로 한다.

도 2는 본 발명의 일 실시예에 따른 가상 훈련 시스템의 구성도이다.

도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 가상 훈련 시스템은 하나 이상의 가상 현실(VR) 장치(100), 증강 현실(AR) 장치(200), 클라이언트 장치(300), 운용 통제 서버(400) 및 시나리오 저작 장치(500)를 포함하여 구성될 수 있다.

이와 같은, 가상 훈련 시스템의 구성 요소들은 기능적으로 구분되는 요소들을 나타낸 것에 불과하므로, 어느 하나 이상의 구성 요소가 실제 물리적 환경에서는 서로 통합되어 구현될 수도 있다.

각각의 구성 요소에 대하여 설명하면, 가상 현실(VR) 장치(100)는 가상 현실(VR)을 이용하여 훈련자(10)에게 크레인(20)의 정비 작업을 훈련시키기 위한 장치이다.

구체적으로, 가상 현실(VR) 장치(100)는 훈련자(10)의 신체에 착용될 수 있는 웨어러블 장치로 구성될 수 있다. 예를 들어, 가상 현실(VR) 장치(100)에는 헤드 마운티드 디스플레이(Head Mounted Display, HMD), 가상 현실 조이스틱(joystick)이 포함될 수 있으나, 이에 한정되는 것은 아니다.

이와 같은, 가상 현실(VR) 장치(100)는 훈련자(10)의 신체에 착용되어, 훈련자(10)의 신체 움직임에 따라 트래킹 정보를 생성할 수 있다. 여기서, 트래킹 정보에는 훈련자(10)의 신체 움직임에 따른 이동 속도 및 자세각이 포함될 수 있으나, 이에 한정되지 않는다.

가상 현실(VR) 장치(100)는 트래킹 정보를 생성하기 위하여, 관성 측정 장치(Inertial Measurement Unit, IMU)를 포함하여 구성될 수 있다. 이와 같은, 관성 측정 장치(IMU)는 가속도계(accelerometer) 및 각속도계(gyroscope) 등을 포함할 수 있으며, 이에 한정되지 않는다.

관성 측정 장치(IMU)에 포함된 가속도계는 훈련자(10)의 움직임에 따라 변화되는 3축 방향의 가속도를 측정할 수 있다. 그리고, 관성 측정 장치(IMU)에 포함된 각속도계는 훈련자(10)의 움직임에 따라 변화되는 롤링(roll), 피칭(pitch), 요(yaw)의 각속도를 측정할 수 있다. 가상 현실(VR) 장치(100)는 측정된 3축 방향의 가속도 및, 롤링, 피칭, 요의 각속도를 적분하여 트래킹 정보를 생성할 수 있다. 그리고, 가상 현실(VR) 장치(100)는 생성된 트래킹 정보를 클라이언트 장치(300)에 전송할 수 있다.

한편, 가상 현실(VR) 장치(100)는 클라이언트 장치(300)로부터 영상 및 음향 데이터를 수신할 수 있다. 그리고, 가상 현실(VR) 장치(100)는 수신된 영상 및 음향 데이터를 출력하여 가상 현실(VR)을 구현할 수 있다.

다음 구성으로, 증강 현실(AR) 장치(200)는 증강 현실(AR)을 이용하여 훈련자(10)에게 크레인(20)의 점검 작업을 훈련시키기 위한 장치이다.

구체적으로, 증강 현실(AR) 장치(200)는 안경(glasses) 형태로 훈련자(10)의 신체에 착용될 수 있다. 이와 같은, 증강 현실(AR) 장치(200)는 훈련자(10)의 신체에 착용되어, 훈련자(10)의 시야 방향의 영상을 촬영할 수 있다. 이를 위하여, 증강 현실(AR) 장치(200)는 영상을 촬영할 수 있는 카메라를 포함하여 구성될 수 있다. 그리고, 증강 현실(AR) 장치(200)는 촬영된 영상을 클라이언트 장치(300)에 전송할 수 있다.

또한, 본 발명의 다른 실시예에 따른 증강 현실(AR) 장치(200)는 관성 측정 장치(IMU)를 추가적으로 포함하여 구성될 수도 있다. 이 경우, 증강 현실(AR) 장치(200)는 관성 측정 장치(IMU)를 이용하여 생성된 트래킹 정보를 클라이언트 장치(300)에 추가적으로 전송할 수 있다.

한편, 증강 현실(AR) 장치(200)는 클라이언트 장치(300)로부터 영상 데이터를 수신할 수 있다. 그리고, 증강 현실(AR) 장치(200)는 수신된 영상 데이터를 증강 현실(AR)을 위해 구비된 글래스를 통해 출력하여, 증강 현실(AR)을 구현할 수 있다.

상술한 바와 같은 가상 현실(VR) 장치(100) 및 증강 현실(AR) 장치(200)는 훈련자의 신체에 착용될 수 있는 장치에 해당하므로, 본 발명의 일 실시예에 따른 가상 훈련 시스템은 동시에 훈련을 진행하는 훈련자(10)의 수만큼 가상 현실(VR) 장치(100) 및 증강 현실(AR) 장치(200)를 포함하여 구성될 수 있다.

다음 구성으로, 클라이언트 장치(300)는 가상 훈련(VR) 장치(100)를 통해 크레인(20)의 정비 작업의 훈련을 진행하고, 증강 현실(AR) 장치(200)를 통해 크레인(20)의 점검 작업의 훈련을 진행하기 위한 장치이다.

구체적으로, 클라이언트 장치(300)는 가상 현실(VR) 장치(100) 및 증강 현실(AR) 장치(200)와의 접속을 제어할 수 있다. 그리고, 클라이언트 장치(300)는 가상 현실(VR) 장치(100) 또는 증강 현실(AR) 장치(200)와 시간 정보 또는 타이머를 동기화할 수 있다.

클라이언트 장치(300)는 운용 통제 서버(400)로부터 정비 시나리오를 구성하는 가상 현실(VR) 컨텐츠를 수신할 수 있다. 클라이언트 장치(300)는 가상 훈련(VR) 장치(100)로부터 트래킹 정보를 수신할 수 있다. 클라이언트 장치(300)는 수신된 트래킹 정보에 따라 가상 현실(VR) 컨텐츠를 실행할 수 있다. 그리고, 클라이언트 장치(300)는 가상 현실(VR) 컨텐츠의 실행에 따른 영상 및 음향 데이터를 가상 현실(VR) 장치(100)에 전송할 수 있다.

한편, 클라이언트 장치(300)는 운용 통제 서버(400)로부터 점검 시나리오를 구성하는 증강 현실(AR) 컨텐츠를 수신할 수 있다. 클라이언트 장치(300)는 증강 현실(AR) 장치(200)에 의해 촬영된 영상 데이터를 수신할 수 있다. 클라이언트 장치(300)는 수신된 영상 데이터에 따라 증강 현실(AR) 컨텐츠를 실행할 수 있다. 이 경우, 클라이언트 장치(300)는 증강 현실(AR) 장치(200)로부터 트래킹 정보를 추가적으로 수신하고, 수신된 트래킹 정보를 더 반영하여 증강 현실(AR) 컨텐츠를 실행할 수도 있다. 그리고, 클라이언트 장치(300)는 증강 현실(AR) 컨텐츠의 실행에 따른 영상 데이터를 증강 현실(AR) 장치(200)에 전송할 수 있다.

상술한 바와 같은 클라이언트 장치(300)는 한 명의 훈련자에 대응하여 가상 현실(VR) 또는 증강 현실(AR)을 구현하기 위한 장치에 해당하므로, 본 발명의 일 실시예에 따른 가상 훈련 시스템은 동시에 훈련을 진행하는 훈련자(10)의 수만큼 클라이언트 장치(300)를 포함하여 구성될 수 있다.

다음 구성으로, 운용 통제 서버(400)는 크레인(20)의 정비 작업의 훈련과 크레인(20)의 점검 작업의 훈련을 중앙에서 통제하기 위한 장치이다.

구체적으로, 운용 통제 서버(400)는 시나리오 저작 장치(500)로부터 정비 시나리오 또는 점검 시나리오를 수신하고, 수신된 정비 시나리오 또는 점검 시나리오를 구성하는 컨텐츠를 관리할 수 있다.

운용 통제 서버(400)는 훈련자(10)에 대응하여 설정된 정비 시나리오에 따라 클라이언트 장치(300)에 가상 현실(VR) 컨텐츠를 제공하고, 훈련자(10)의 가상 현실(VR)을 이용한 정비 훈련 결과를 수신하여 관리할 수 있다. 또한, 운용 통제 서버(400)는 훈련자(10)에 대응하여 설정된 점검 시나리오에 따라 클라이언트 장치(300)에 증강 현실(AR) 컨텐츠를 제공하고, 훈련자(10) 증강 현실(AR)을 이용한 점검 훈련 결과를 수신하여 관리할 수 있다.

특히, 본 발명의 일 실시예에 따른 운용 통제 서버(400)는 가상 현실(VR) 또는 증강 현실(AR)을 이용하여 훈련한 결과를 이용하여 기계 학습을 수행하고, 기계 학습된 인공지능(AI)을 이용하여 훈련자(10)의 직무 적정성을 평가할 수 있다.

이와 같은, 운용 통제 서버(400)의 구체적인 구성 및 동작에 대해서는 추후 도 3 내지 도 7을 참조하여 보다 구체적으로 후술하기로 한다.

다음 구성으로, 시나리오 저작 장치(500)는 크레인(20)의 정비 작업의 훈련과 크레인(20)의 점검 작업의 훈련에 이용될 시나리오를 생성하기 위한 장치이다.

구체적으로, 시나리오 저작 장치(500)는 사용자로부터 입력된 정보를 기초로, 정비 시나리오 또는 점검 시나리오를 생성할 수 있다.

여기서, 정비 시나리오는 가상 현실(VR)을 이용하여 항만에 설치된 크레인(20)의 정비(repair) 작업을 훈련하기 위한 각본을 의미한다. 이와 같은, 정비 시나리오에는 훈련자의 위치, 훈련자의 자세, 훈련자의 행위, 훈련자의 시선 방향, 훈련자의 역할, 크레인의 유형, 크레인의 위치, 크레인의 이동 방향, 크레인 내의 정비 대상의 유형, 정비 대상의 수, 정비 대상의 위치 및 기상 조건과 관련된, 가상 현실(VR) 컨텐츠(contents)를 포함하여 구성될 수 있으나, 이에 한정되지 않는다.

점검 시나리오는 증강 현실(AR)을 이용하여 항만에 설치된 크레인(20)의 점검(inspection) 작업을 훈련하기 위한 각본을 의미한다. 이와 같은, 점검 시나리오에는 훈련자의 위치, 훈련자의 자세, 훈련자의 행위, 훈련자의 시선 방향, 훈련자의 역할, 크레인의 유형, 크레인의 위치, 크레인의 이동 방향, 크레인 내의 점검 대상의 유형, 점검 대상의 수, 점검 대상의 위치 및 기상 조건과 관련된, 증강 현실(AR) 컨텐츠(contents)를 포함하여 구성될 수 있으나, 이에 한정되지 않는다.

그리고, 시나리오 저작 장치(500)는 생성된 정비 시나리오 또는 점검 시나리오를 운용 통제 서버(400)에 전송할 수 있다.

상술한 바와 같은, 클라이언트 장치(300), 운용 통제 서버(400) 및 시나리오 저작 장치(500)는 서로 데이터를 송수신하고, 송수신된 데이터를 이용하여 연산을 수행할 수 있는 장치라면 어떠한 장치라도 허용될 수 있다.

예를 들어, 클라이언트 장치(300), 운용 통제 서버(400) 또는 시나리오 저작 장치(500)는 데스크탑(desktop), 워크스테이션(workstation) 또는 서버(server) 등과 같은 고정식 컴퓨팅 장치 중 어느 하나가 될 수 있으나, 이에 한정되지 아니하고 스마트폰(smart phone), 랩탑(laptap), 태블릿(tablet), 패블릿(phablet), 휴대용 멀티미디어 재생장치(Portable Multimedia Player, PMP), 개인용 휴대 단말기(Personal Digital Assistants, PDA) 또는 전자책 단말기(E-book reader) 등과 같은 이동식 컴퓨팅 장치 중 어느 하나가 될 수도 있다.

가상 현실(VR) 장치(100), 증강 현실(AR) 장치(200), 클라이언트 장치(300), 운용 통제 서버(400) 및 시나리오 저작 장치(500)가 서로 데이터를 송수신하기 위한 네트워크는 근거리 무선 통신망, 이동 통신망, 공용 유선 통신망 중 하나 이상의 조합으로 구성될 수 있다.

네트워크를 구성하기 위한 근거리 무선 통신망은 블루투스(Bluetooth), BLE(Bluetooth Low Energy), 지그비(Zigbee), NFC(Near Field Communication), 와이파이(Wi-Fi), 와이맥스(Wimax), 와이브로(Wibro) 중 하나 이상이 포함될 수 있다. 네트워크를 구성하기 위한 이동 통신망은 코드 분할 다중 접속(Code Division Multiple Access, CDMA), 와이드 밴드 코드 분할 다중 접속(Wideband CDMA, WCDMA), 고속 패킷 접속(High Speed Packet Access, HSPA), 롱텀 에볼루션(Long Term Evolution, LTE), 5세대 이동통신(5th generation mobile telecommunication) 중 하나 이상이 포함될 수 있다. 그리고, 네트워크를 구성하기 위한 공용 유선 통신망은 이더넷(ethernet), 디지털가입자선(x Digital Subscriber Line, xDSL), 광동축 혼합망(Hybrid Fiber Coax, HFC), 광가입자망(Fiber To The Home, FTTH) 중 하나 이상이 포함될 수 있다.

이하, 상술한 바와 같은 운용 통제 서버(400)의 논리적 구성에 대하여 보다 구체적으로 설명하기로 한다.

도 3은 본 발명의 일 실시예에 따른 운용 통제 서버의 논리적 구성도이다.

도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 운용 통제 서버(400)는 통신부(405), 입출력부(410), 컨텐츠 관리부(415), VR 컨텐츠 스트리밍부(420), AR 컨텐츠 스트리밍부(425) 및 훈련 결과 관리부(430)를 포함하여 구성될 수 있다.

이와 같은, 운용 통제 서버(400)의 구성 요소들은 기능적으로 구분되는 요소들을 나타낸 것에 불과하므로, 실제 물리적 환경에서는 하나 이상의 구성 요소가 서로 통합되어 구현되거나, 또는 하나 이상의 구성 요소가 서로 다른 하드웨어 내에서 구현될 수 있다.

각각의 구성 요소에 대하여 설명하면, 통신부(405)는 클라이언트 장치(300) 및 시나리오 저작 장치(500)와 데이터를 송수신할 수 있다.

구체적으로, 통신부(405)는 시나리오 저작 장치(500)로부터 정비 시나리오 또는 점검 시나리오를 수신할 수 있다.

통신부(405)는 클라이언트 장치(300)로부터 가상 현실(VR)을 이용하여 정비 작업 훈련을 진행하기 위한 동기 신호를 수신할 수 있다. 통신부(405)는 클라이언트 장치(300)에 가상 현실(VR) 컨텐츠를 전송할 수 있다. 통신부(405)는 클라이언트 장치(300)로부터 정비 작업 훈련 결과를 수신할 수 있다.

통신부(405)는 클라이언트 장치(300)로부터 증강 현실(AR)을 이용하여 점검 작업 훈련을 진행하기 위한 동기 신호를 수신할 수 있다. 통신부(405)는 클라이언트 장치(300)에 증강 현실(AR) 컨텐츠를 전송할 수 있다. 통신부(405)는 클라이언트 장치(300)로부터 점검 작업 훈련 결과를 수신할 수 있다.

다음 구성으로, 입출력부(410)는 사용자 인터페이스를 수행하여, 운용 통제 서버(400)의 동작에 필요한 데이터를 입출력할 수 있다.

구체적으로, 입출력부(410)는 기 수행된 정비 작업의 직무 적정성의 값을 사용자로부터 입력 받을 수 있다. 입출력부(410)는 기 수행된 점검 작업의 직무 적정성의 값을 사용자로부터 입력 받을 수 있다. 이와 같이, 사용자로부터 입력된, 기 수행된 정비 작업의 직무 적정성 값과 기 수행된 점검 작업의 직무 적정성 값은 인공지능(AI)을 구축하는데 활용될 수 있다.

입출력부(410)는 훈련자(10)의 정비 작업 훈련 결과 또는 점검 작업 훈련 결과를 출력할 수 있다. 그리고, 입출력부(410)는 인공지능(AI)에 의해 평가된 훈련자(10)의 직무 적정성의 값을 출력할 수 있다.

다음 구성으로, 컨텐츠 관리부(415)는 정비 시나리오 또는 점검 시나리오를 구성하는 컨텐츠를 관리할 수 있다.

구체적으로, 컨텐츠 관리부(415)는 통신부(405)를 통해 시나리오 저작 장치(500)로부터 정비 시나리오 또는 점검 시나리오를 수신할 수 있다.

컨텐츠 관리부(415)는 수신된 정비 시나리오를 구성하는 가상 현실(VR) 컨텐츠를 분석하고, 분석된 가상 현실(VR) 컨텐츠의 유효성을 검증할 수 있다. 그리고, 컨텐츠 관리부(415)는 수신된 점검 시나리오를 구성하는 증강 현실(AR) 컨텐츠를 분석하고, 분석된 증강 현실(AR) 컨텐츠의 유효성을 검증할 수 있다.

그리고, 컨텐츠 관리부(415)는 클라이언트 장치(300) 또는 시나리오 저작 장치(500)가 관리하고 있는 가상 현실(VR) 컨텐츠 또는 증강 현실(AR) 컨텐츠가 컨텐츠 관리부(415)에 의해 관리되고 있는 가상 현실(VR) 컨텐츠 또는 증강 현실(AR) 컨텐츠와 동일하도록, 사전에 설정된 주기마다 동기화를 수행할 수 있다.

다음 구성으로, VR 컨텐츠 스트리밍부(420)는 클라이언트 장치(300)가 가상 현실(VR) 장치(100)를 통해 가상 현실(VR)을 구현할 수 있도록, 가상 현실(VR) 컨텐츠를 스트리밍할 수 있다.

구체적으로, VR 컨텐츠 스트리밍부(420)는 가상 현실(VR)을 이용하여 정비 작업 훈련을 진행하기 위한 동기 신호를, 통신부(405)를 통해 클라이언트 장치(300)로부터 수신할 수 있다.

VR 컨텐츠 스트리밍부(420)는 훈련자(10)에 대응하여 사전에 설정된 정비 시나리오를 구성하고 있는 가상 현실(VR) 컨텐츠들 중에서, 클라이언트 장치(300)로부터 수신된 동기 신호에 대응하는 가상 현실(VR) 컨텐츠를 식별할 수 있다. 그리고, VR 컨텐츠 스트리밍부(420)는 식별된 가상 현실(VR) 컨텐츠를 클라이언트 장치(300)에 전송할 수 있다.

다음 구성으로, AR 컨텐츠 스트리밍부(425)는 클라이언트 장치(300)가 증강 현실(AR) 장치(200)를 통해 증강 현실(VR)을 구현할 수 있도록, 증강 현실(AR) 컨텐츠를 스트리밍할 수 있다.

구체적으로, AR 컨텐츠 스트리밍부(425)는 증강 현실(AR)을 이용하여 점검 작업 훈련을 진행하기 위한 동기 신호를, 통신부(405)를 통해 클라이언트 장치(300)로부터 수신할 수 있다.

AR 컨텐츠 스트리밍부(425)는 훈련자(10)에 대응하여 사전에 설정된 점검 시나리오를 구성하고 있는 증강 현실(AR) 컨텐츠들 중에서, 클라이언트 장치(300)로부터 수신된 동기 신호에 대응하는 증강 현실(AR) 컨텐츠를 식별할 수 있다. 그리고, AR 컨텐츠 스트리밍부(425)는 식별된 증강 현실(AR) 컨텐츠를 클라이언트 장치(300)에 전송할 수 있다.

다음 구성으로, 훈련 결과 관리부(430)는 훈련자(10)의 정비 작업 훈련 결과 및 점검 작업 훈련 결과를 관리할 수 있다. 특히, 훈련 결과 관리부(430)는 정비 작업 훈련 결과 및 점검 작업 훈련 결과를 이용하여 기계 학습을 수행하고, 기계 학습된 인공지능(AI)을 이용하여 훈련자(10)의 직무 적정성을 평가할 수 있다.

구체적으로, 훈련 결과 관리부(430)는 통신부(405)를 통해, 클라이언트 장치(300)로부터 정비 작업 훈련 결과 및 점검 작업 훈련 결과를 수신할 수 있다. 여기서, 정비 작업 훈련 결과에는 훈련 수행 시간 및 정비 작업의 성공 여부가 포함될 수 있다. 그리고, 점검 작업 훈련 결과에는 훈련 수행 시간 및 점검 작업의 성공 여부가 포함될 수 있다. 그리고, 훈련 결과 관리부(430)는 수신된 정비 작업 훈련 결과 및 점검 작업 훈련 결과를 작업자별로 분류하여 관리할 수 있다.

한편, 훈련 결과 관리부(430)는 정비 시나리오에 따른 가상 현실(VR) 속의 환경적 요인과 정비 작업 훈련 결과를 기초로 기계 학습을 수행하고, 기계 학습된 인공지능(AI)을 이용하여 훈련자(10)의 정비 작업과 관련된 직무 적정성을 평가할 수 있다.

여기서, 직무 적정성은 훈련자(10)가 크레인(20)과 관련된 작업을 수행하는 것이 적정한지 여부를 나타내는 지표이다. 그리고, 가상 현실(VR) 속의 환경적 요인에는 가상 현실(VR) 컨텐츠에 포함된 크레인(20)의 유형, 크레인(20)의 최대 높이, 상기 크레인(20) 내의 정비 대상의 유형, 상기 정비 대상의 수, 상기 정비 상의 위치 및 상기 가상 현실(VR) 속의 기상 조건이 포함될 수 있으며, 이에 한정되는 것은 아니다.

이를 위하여, 훈련 결과 관리부(430)는 우선적으로 지도 학습(supervised learning)을 수행할 수 있다.

보다 구체적으로, 훈련 결과 관리부(430)는 훈련자(10)의 정비 작업 훈련이 수행되기 이전에 기 수행된 정비 작업 훈련과 관련하여, 가상 현실(VR) 속 환경적 요인과 정비 작업 훈련 결과 사이의 확률적 관계(probabilistic relationship)의 값을 평가할 수 있다. 여기서, 확률적 관계는 상기 환경적 요인에 포함된 요소와 정비 작업 훈련 결과에 포함된 요소 사이에 존재하는 인과관계를 확률적으로 나타내는 지표가 될 수 있다. 예를 들어, 훈련 결과 관리부(430)는 k-최근접 이웃 분류기(k-Nearest Neighbor Classifier)를 이용하여, 환경적 요인과 정비 작업 훈련 결과 사이의 확률적 관계의 값을 평가할 수 있다.

훈련 결과 관리부(430)는 훈련자(10)의 정비 작업 훈련이 수행되기 이전에 기 수행된 정비 작업 훈련과 관련하여, 입출력부(410)를 통해 외부로부터 기 입력된 직무 관련성의 값과 상기 평가된 확률적 관계의 값으로 구성된 데이터 세트(data set)를 이용하여 지도 학습을 수행함으로써, 정비 작업과 관련된 직무 적정성을 평가하기 위한 인공지능(AI)을 구축할 수 있다.

다음으로, 훈련 결과 관리부(430)는 비지도 학습(unsupervised learning)을 수행할 수 있다.

보다 구체적으로, 훈련 결과 관리부(430)는 훈련자(10)의 정비 작업 훈련이 수행되기 이전에 기 수행된 정비 작업 훈련과 관련하여, 가상 현실(VR) 속 환경적 요인과 정비 작업 훈련 결과를 포함하는 데이터를 대상으로 군집 분석(clustering analysis)을 수행할 수 있다. 훈련 결과 관리부(430)는 군집 분석에 의해 분류된 하나 이상의 군집(cluster)을 이용하여 비지도 학습을 수행함으로써, 상기 정비 작업과 관련된 직무 적정성을 평가하기 위한 인공지능(AI)을 구축할 수 있다.

한편, 훈련 결과 관리부(430)는 구축된 인공지능(AI)을 이용하여 정비 작업 훈련 이후에 수행될 점검 작업 훈련의 효율을 높일 수 있다.

보다 구체적으로, 훈련 결과 관리부(430)는 기계 학습된 인공지능(AI)을 이용하여, 가상 현실(VR) 속의 환경적 요인에 포함된 요소들 중에서 직무 적정성에 가장 큰 영향을 미친 요소를 식별할 수 있다. 그리고, 훈련 결과 관리부(430)는 직무 적정성에 가장 큰 영향을 미친 요소가 점검 작업 훈련에 다시 적용될 수 있도록, 증강 현실(AR)을 이용한 점검 시나리오를 수정할 수 있다.

이 경우, AR 컨텐츠 스트리밍부(425)는 수정된 점검 시나리오에 따라 증강 현실(AR) 컨텐츠를 클라이언트 장치(300)에 전송함에 있어, 직무 적정성에 가장 큰 영향을 미친 요소와 관련된 증강 현실(AR) 컨텐츠의 형상, 크기, 색상 또는 선명도를 기존과 상이하게 변경하거나, 직무 적정성에 가장 큰 영향을 미친 요소와 관련된 증강 현실(AR) 컨텐츠의 일부를 제거한 후 클라이언트 장치(300)에 전송할 수 있다.

예를 들어, AR 컨텐츠 스트리밍부(425)는 직무 적정성에 가장 큰 영향을 미친 요소가 크레인(20)의 최대 높이에 해당하는 경우, 점검 시나리오를 구성하는 증강 현실(AR) 컨텐츠 중에서 지표면 위에 오버레이(overlay)될 컨텐츠를 제거한 후, 클라이언트 장치(300)에 전송할 수 있다.

이를 통하여, 훈련 결과 관리부(430)는 항만에 설치된 크레인(20)의 유지 보수 작업을 수행할 작업자의 훈련 효과를 향상시키고, 그에 따른 직무 적정성을 평가할 수 있게 되는 것이다.

이하, 상술한 바와 같은 운용 통제 서버(400)의 논리적 구성요소를 구현하기 위한, 하드웨어에 대하여 보다 구체적으로 설명한다.

도 4는 본 발명의 일 실시예에 따른 운용 통제 서버의 하드웨어 구성도이다.

도 4에 도시된 바와 같이, 운용 통제 서버(400)는 프로세서(Processor, 450), 메모리(Memory, 455), 송수신기(Transceiver, 460), 입출력장치(Input/output device, 465) 및 데이터 버스(Bus, 470) 및 스토리지(Storage, 475)를 포함하여 구성될 수 있다.

프로세서(450)는 메모리(455)에 상주된 항만 장비의 유지 보수를 위한 가상 훈련 방법이 구현된 소프트웨어(480a)에 따른 명령어를 기초로, 운용 통제 서버(400)의 동작 및 기능을 구현할 수 있다. 메모리(455)에는 항만 장비의 유지 보수를 위한 가상 훈련 방법이 구현된 소프트웨어(480a)가 상주(loading)될 수 있다. 송수신기(460)는 클라이언트 장치(300) 및 시나리오 저작 장치(500)와 데이터를 송수신할 수 있다. 입출력장치(465)는 운용 통제 서버(400)의 동작에 필요한 데이터를 입출력할 수 있다. 데이터 버스(470)는 프로세서(450), 메모리(455), 송수신기(460), 입출력장치(465) 및 스토리지(475)와 연결되어, 각각의 구성 요소 사이가 서로 데이터를 전달하기 위한 이동 통로의 역할을 수행할 수 있다.

스토리지(475)는 항만 장비의 유지 보수를 위한 가상 훈련 방법이 구현된 소프트웨어(480a)의 실행을 위해 필요한 애플리케이션 프로그래밍 인터페이스(Application Programming Interface, API), 라이브러리(library) 파일, 리소스(resource) 파일 등을 저장할 수 있다. 스토리지(475)는 항만 장비의 유지 보수를 위한 가상 훈련 방법이 구현된 소프트웨어(480b)를 저장할 수 있다. 또한, 스토리지(475)는 데이터베이스(485)를 포함하여 저장할 수 있다. 여기서, 데이터베이스(485)에는 정비 시나리오, 점검 시나리오, 가상 현실(VR) 컨텐츠, 증강 현실(AR) 컨텐츠 및 훈련자의 개인 계정에 관한 정보가 저장될 수 있으나, 이에 한정되는 것은 아니다.

메모리(455)에 상주되거나 또는 스토리지(475)에 저장된 가상 훈련 방법을 구현하기 위한 소프트웨어(480a, 480b)는 가상 현실(VR)을 이용하여 정비 작업을 훈련하기 위한 하나 이상의 정비 시나리오 중에서 훈련자에 대응하여 설정된 정비 시나리오에 따라 가상 현실(VR) 컨텐츠를 클라이언트 장치에 전송하는 단계, 및 정비 시나리오에 따른 가상 현실(VR) 속의 환경적 요인과 정비 작업 훈련 결과를 기초로 기계 학습을 수행하고 기계 학습된 인공지능(AI)을 이용하여 상기 훈련자의 직무 적정성을 평가하는 단계를 실행시키기 위하여, 기록매체에 기록된 컴퓨터 프로그램이 될 수 있다.

보다 구체적으로, 프로세서(450)는 ASIC(Application-Specific Integrated Circuit), 다른 칩셋(chipset), 논리 회로 및/또는 데이터 처리 장치를 포함할 수 있다. 메모리(455)는 ROM(Read-Only Memory), RAM(Random Access Memory), 플래쉬 메모리, 메모리 카드, 저장 매체 및/또는 다른 저장 장치를 포함할 수 있다. 송수신기(460)는 유무선 신호를 처리하기 위한 베이스밴드 회로를 포함할 수 있다. 입출력장치(465)는 키보드(keyboard), 마우스(mouse), 및/또는 조이스틱(joystick) 등과 같은 입력 장치 및 액정표시장치(Liquid Crystal Display, LCD), 유기 발광 다이오드(Organic LED, OLED) 및/또는 능동형 유기 발광 다이오드(Active Matrix OLED, AMOLED) 등과 같은 영상 출력 장치 프린터(printer), 플로터(plotter) 등과 같은 인쇄 장치를 포함할 수 있다.

본 명세서에 포함된 실시 예가 소프트웨어로 구현될 경우, 상술한 방법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리(255)에 상주되고, 프로세서(250)에 의해 실행될 수 있다. 메모리(255)는 프로세서(250)의 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서(250)와 연결될 수 있다.

도 4에 도시된 각 구성요소는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시예는 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

또한, 펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현되어, 다양한 컴퓨터 수단을 통하여 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한, 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이하, 상술한 바와 같은 본 발명의 일 실시예에 따른 가상 훈련 시스템의 특징에 대하여 보다 구체적으로 설명하기로 한다.

도 5 및 도 6은 본 발명의 일 실시예에 따라 훈련자의 직무 적정성을 평가하기 위한 인공지능(AI)을 설명하기 위한 도면이다.

도 5 및 도 6에 도시된 바와 같이, 본 발명의 일 실시예에 따른 가상 훈련 시스템은 지도 학습을 통해 정비 작업과 관련된 훈련자(10)의 직무 적정성을 평가하기 위한 인공지능(AI)을 구축하고, 비지도 학습을 통해 기 구축된 인공지능(AI)을 재구축할 수 있다.

구체적으로, 가상 훈련 시스템의 운용 통제 서버(400)는 정비 작업 훈련이 수행되기 이전에 기 수행된 정비 작업 훈련과 관련하여, 가상 현실(VR) 속 환경적 요인과 정비 작업 훈련 결과 사이의 확률적 관계의 값을 평가할 수 있다.

여기서, 가상 현실(VR) 속의 환경적 요인에는 가상 현실(VR) 컨텐츠에 포함된 크레인(20)의 유형, 크레인(20)의 최대 높이, 상기 크레인(20) 내의 정비 대상의 유형, 상기 정비 대상의 수, 상기 정비 상의 위치 및 상기 가상 현실(VR) 속의 기상 조건이 포함될 수 있으며, 이에 한정되는 것은 아니다. 정비 작업 훈련 결과에는 훈련 수행 시간 및 정비 작업의 성공 여부가 포함될 수 있다. 그리고, 확률적 관계는 상기 환경적 요인에 포함된 요소와 정비 작업 훈련 결과에 포함된 요소 사이에 존재하는 인과관계를 확률적으로 나타내는 지표가 될 수 있다. 예를 들어, 운용 통제 서버(400)는 k-최근접 이웃 분류기를 이용하여, 환경적 요인과 정비 작업 훈련 결과 사이의 확률적 관계의 값을 평가할 수 있다.

그리고, 운용 통제 서버(400)는 훈련자(10)의 정비 작업 훈련이 수행되기 이전에 기 수행된 정비 작업 훈련과 관련하여, 외부로부터 기 입력된 직무 관련성의 값과 상기 평가된 확률적 관계의 값으로 구성된 데이터 세트를 이용하여 지도 학습을 수행할 수 있다.

다음으로, 운용 통제 서버(400)는 훈련자(10)의 정비 작업 훈련이 수행되기 이전에 기 수행된 정비 작업 훈련과 관련하여, 가상 현실(VR) 속 환경적 요인과 정비 작업 훈련 결과를 포함하는 데이터를 대상으로 군집 분석을 수행할 수 있다.

운용 통제 서버(400)는 군집 분석에 의해 분류된 하나 이상의 군집(cluster)을 이용하여 비지도 학습을 수행할 수 있다.

그리고, 운용 통제 서버(400)는 이와 같이 기계 학습된 인공 지능(AI)을 이용하여, 훈련자(10)의 정비 작업과 관련된 직무 적정성을 평가할 수 있다. 여기서, 직무 적정성은 훈련자(10)가 크레인(20)과 관련된 작업을 수행하는 것이 적정한지 여부를 나타내는 지표이다.

이하, 상술한 바와 같은 본 발명의 일 실시예에 따른 가상 훈련 시스템의 동작에 대하여 보다 구체적으로 설명하기로 한다.

도 7은 본 발명의 일 실시예에 따른 가상 훈련 방법을 설명하기 위한 도면이다.

도 7을 참조하면, 본 발명의 일 실시예에 따른 가상 훈련 시스템의 시나리오 저작 장치(500)는 사용자로부터 입력된 정보를 기초로 정비 시나리오를 생성하고, 생성된 정비 시나리오를 운용 통제 서버(400)에 전송할 수 있다(S110).

운용 통제 서버(400)는 시나리오 저작 장치(500)로부터 수신된 정비 시나리오를 구성하는 가상 현실(VR) 컨텐츠를 분석하고, 클라이언트 장치(300)로부터 동기 신호가 수신되면 이에 대응하는 가상 현실(VR) 컨텐츠를 클라이언트 장치(300)에 전송할 수 있다(S120).

클라이언트 장치(300)는 운용 통제 서버(400)로부터 가상 현실(VR) 컨텐츠를 수신하고, 가상 현실(VR) 장치(100)로부터 트래킹 정보를 수신할 수 있다(S130). 그리고, 클라이언트 장치(300)는 수신된 트래킹 정보에 따라 가상 현실(VR) 컨텐츠를 실행하고, 가상 현실(VR) 컨텐츠의 실행에 따른 영상 및 음향 데이터를 가상 현실(VR) 장치(100)에 전송할 수 있다(S140).

클라이언트 장치(300)는 운용 통제 서버(400)로부터 수신된 가상 현실(VR) 컨텐츠의 실행이 모두 종료되면, 훈련자(10)의 정비 작업 훈련 결과를 운용 통제 서버(400)에 전송할 수 있다(S150).

운용 통제 서버(400)는 정비 시나리오에 따른 가상 현실(VR) 속의 환경적 요인과 정비 작업 훈련 결과를 기초로 기계 학습을 수행하고, 기계 학습된 인공지능(AI)을 이용하여 훈련자(10)의 정비 작업과 관련된 직무 적정성을 평가할 수 있다(S160).

한편, 시나리오 저작 장치(500)는 사용자로부터 입력된 정보를 기초로 점검 시나리오를 생성하고, 생성된 점검 시나리오를 운용 통제 서버(400)에 전송할 수 있다(S210).

운용 통제 서버(400)는 시나리오 저작 장치(500)로부터 수신된 점검 시나리오를 구성하는 증강 현실(AR) 컨텐츠를 분석하고, 클라이언트 장치(300)로부터 동기 신호가 수신되면 이에 대응하는 증강 현실(AR) 컨텐츠를 클라이언트 장치(300)에 전송할 수 있다(S220).

클라이언트 장치(300)는 운용 통제 서버(400)로부터 증강 현실(AR) 컨텐츠를 수신하고, 증강 현실(VR) 장치(200)에 의해 촬영된 영상 데이터를 수신할 수 있다(S230). 그리고, 클라이언트 장치(300)는 수신된 영상 데이터에 따라 증강 현실(AR) 컨텐츠를 실행하고, 증강 현실(AR) 컨텐츠의 실행에 따른 영상 데이터를 증강 현실(AR) 장치(200)에 전송할 수 있다(S240).

클라이언트 장치(300)는 운용 통제 서버(400)로부터 수신된 증강 현실(AR) 컨텐츠의 실행이 모두 종료되면, 훈련자(10)의 점검 작업 훈련 결과를 운용 통제 서버(400)에 전송할 수 있다(S250).

그리고, 운용 통제 서버(400)는 수신된 정비 작업 훈련 결과 및 점검 작업 훈련 결과를 작업자별로 분류하여 관리할 수 있다(S260).

본 발명의 다른 실시예에 따르면, 운용 통제 서버(400)는 증강 현실(AR) 속의 환경적 요인과 점검 작업 훈련 결과를 기초로 추가적인 기계 학습을 수행하고, 추가적으로 기계 학습된 인공지능(AI)을 이용하여 훈련자(10)의 점검 작업과 관련된 직무 적정성을 평가할 수도 있다.

이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으나, 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서, 상술한 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 선정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

아울러, 본 발명에 따른 장치나 단말은 하나 이상의 프로세서로 하여금 앞서 설명한 기능들과 프로세스를 수행하도록 하는 명령에 의하여 구동될 수 있다. 예를 들어 그러한 명령으로는, 예컨대 JavaScript나 ECMAScript 명령 등의 스크립트 명령과 같은 해석되는 명령이나 실행 가능한 코드 혹은 컴퓨터로 판독 가능한 매체에 저장되는 기타의 명령이 포함될 수 있다. 나아가 본 발명에 따른 장치는 서버 팜(Server Farm)과 같이 네트워크에 걸쳐서 분산형으로 구현될 수 있으며, 혹은 단일의 컴퓨터 장치에서 구현될 수도 있다.

또한, 본 발명에 따른 장치에 탑재되고 본 발명에 따른 방법을 실행하는 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일 되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.

아울러, 본 발명에 따른 실시예를 설명하는데 있어서, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.

가상 현실(VR) 장치: 100 증강 현실(AR) 장치: 200
클라이언트 장치: 300 운용 통제 서버: 400
시나리오 저작 장치: 500
통신부: 205 입출력부: 210
컨텐츠 관리부: 215 VR 컨텐츠 스트리밍부: 220
AR 컨텐츠 스트리밍부: 225 훈련 결과 관리부: 230

Claims (10)

1. 훈련자의 신체에 착용되어, 상기 훈련자의 신체 움직임에 따라 트래킹 정보를 생성하고, 수신된 영상 및 음향 데이터를 출력하여 가상 현실(Virtual Reality, VR)을 구현하는 가상 현실(VR) 장치;
   상기 가상 현실(VR) 장치와의 접속을 제어하고, 상기 트래킹 정보에 따라 가상 현실(VR) 컨텐츠를 실행하고, 상기 가상 현실(VR) 컨텐츠의 실행에 따른 영상 및 음향 데이터를 상기 가상 현실(VR) 장치에 전송하는 클라이언트 장치; 및
   상기 가상 현실(VR)을 이용하여 항만에 설치된 크레인의 정비 작업을 훈련하기 위하여 사전에 설정된 정비 시나리오에 따라 상기 가상 현실(VR) 컨텐츠를 전송하고, 상기 훈련자의 가상 현실(VR)을 이용한 정비 작업 훈련 결과를 관리하는 운용 통제 서버를 포함하며,
   상기 운용 통제 서버는
   상기 정비 시나리오에 따른 가상 현실(VR) 속의 환경적 요인과 상기 정비 작업 훈련 결과를 기초로 기계 학습(machine learning)을 수행하고, 기계 학습된 인공지능(artificial intelligence, AI)을 이용하여, 상기 훈련자의 직무 적정성을 평가하고,
   기 수행된 정비 작업 훈련과 관련하여 가상 현실(VR) 속 환경적 요인과 정비 작업 훈련 결과 사이 확률적 관계(probabilistic relationship)의 값을 평가하고, 상기 기 수행된 정비 작업 훈련과 관련하여 외부로부터 기 입력된 직무 적정성의 값과 상기 평가된 확률적 관계의 값으로 구성된 데이터 세트(data set)를 이용하여, 지도 학습(supervised learning)을 수행하여 상기 인공지능(AI)을 구축하되,
   상기 직무 적정성은 상기 훈련자가 상기 크레인과 관련된 작업을 수행하는 것이 적정한지 여부를 나타내는 지표이고,
   상기 가상 현실(VR) 속의 환경적 요인에는 상가 가상 현실(VR) 컨텐츠에 포함된 크레인의 유형, 상기 크레인의 최대 높이, 상기 크레인 내의 정비 대상의 유형, 상기 정비 대상의 수, 상기 정비 대상의 위치 및 상기 가상 현실(VR) 속의 기상 조건이 포함되고,
   상기 정비 작업 훈련 결과에는 훈련 수행 시간 및 상기 정비 작업의 성공 여부가 포함하고,
   상기 확률적 관계는 상기 환경적 요인에 포함된 요소와 상기 정비 작업 훈련 결과에 포함된 요소 사이에 존재하는 인과관계를 확률적으로 나타내는 지표인 것을 특징으로 하는, 가상 훈련 시스템.
2. 제1 항에 있어서,
   상기 훈련자의 신체에 안경 형태로 착용되어, 상기 훈련자의 시야 방향의 영상을 촬영하고, 수신된 영상 데이터를 증강 현실(Augmented Reality, AR)을 위해 구비된 글래스를 통해 출력하는 증강 현실(AR) 장치를 더 포함하고,
   상기 클라이언트 장치는
   상기 증강 현실(AR) 장치와의 접속을 제어하고, 상기 증강 현실(AR) 장치에 의해 촬영된 영상 데이터에 따라 증강 현실(AR) 컨텐츠를 실행하고, 상기 증강 현실(AR) 컨텐츠의 실행에 따른 영상 데이터를 상기 증강 현실(AR) 장치에 전송하며,
   상기 운용 통제 서버는
   상기 증강 현실(AR)을 이용하여 상기 항만에 설치된 크레인의 점검 작업을 훈련하기 위하여 사전에 설정된 점검 시나리오에 따라 상기 증강 현실(AR) 컨텐츠를 전송하고, 상기 훈련자의 증강 현실(AR)을 이용한 점검 훈련 결과를 관리하는 것을 특징으로 하는, 가상 훈련 시스템.
3. 삭제
4. 삭제
5. 제2 항에 있어서, 상기 운용 통제 서버는
   k-최근접 이웃 분류기(k-Nearest Neighbor Classifier)를 이용하여, 상기 환경적 요인과 상기 정비 작업 훈련 결과 사이의 확률적 관계의 값을 평가하는 것을 특징으로 하는, 가상 훈련 시스템.
6. 제2 항에 있어서, 상기 운용 통제 서버는
   기 수행된 정비 작업 훈련과 관련하여 가상 현실(VR) 속 환경적 요인과 정비 작업 훈련 결과를 포함하는 데이터를 대상으로 군집 분석(clustering analysis)을 수행하고, 상기 군집 분석에 의해 분류된 하나 이상의 군집(cluster)을 이용하여, 비지도 학습(unsupervised learning)을 수행하여 상기 인공지능(AI)을 구축하는 것을 특징으로 하는, 가상 훈련 시스템.
7. 제2 항에 있어서, 상기 운용 통제 서버는
   상기 기계 학습된 인공지능(AI)을 이용하여, 상기 가상 현실(VR) 속의 환경적 요인에 포함된 요소들 중에서 상기 직무 적정성에 가장 큰 영향을 미친 요소를 식별하고, 상기 식별된 요소가 다시 적용될 수 있도록 상기 증강 현실(AR)을 이용한 점검 시나리오를 수정하는 것을 특징으로 하는, 가상 훈련 시스템.
8. 제7 항에 있어서, 상기 운용 통제 서버는
   상기 수정된 점검 시나리오에 따라 상기 증강 현실(AR) 컨텐츠를 상기 클라이언트 장치에 전송함에 있어, 상기 가장 큰 영향을 미친 요소와 관련된 증강 현실(AR) 컨텐츠의 형상, 크기, 색상 또는 선명도를 기존과 상이하게 변경하거나, 또는 상기 가장 큰 영향을 미친 요소와 관련된 증강 현실(AR) 컨텐츠의 일부를 제거한 후 상기 클라이언트 장치에 전송하는 것을 특징으로 하는, 가상 훈련 시스템.
9. 제8 항에 있어서, 상기 운용 통제 서버는
   상기 가장 큰 영향을 미친 요소가 상기 크레인의 최대 높이에 해당하는 경우, 상기 증강 현실(AR) 컨텐츠 중에서 지표면 위에 오버레이(overlay)될 컨텐츠를 제거한 후 상기 클라이언트 장치에 전송하는 것을 특징으로 하는, 가상 훈련 시스템.
10. 운용 통제 서버가, 가상 현실(VR)을 이용하여 항만에 설치된 크레인의 정비 작업을 훈련하기 위하여 사전에 설정된 하나 이상의 정비 시나리오 중에서, 훈련자에 대응하여 설정된 정비 시나리오에 따라 가상 현실(VR) 컨텐츠를 클라이언트 장치에 전송하는 단계;
    상기 클라이언트 장치가, 상기 훈련자의 신체 움직임에 따라 생성된 트래킹 정보를 상기 훈련자의 신체에 착용된 가상 현실(VR) 장치로부터 수신하는 단계;
    상기 클라이언트 장치가, 상기 트래킹 정보에 따라 상기 가상 현실(VR) 컨텐츠를 실행하고, 상기 가상 현실(VR) 컨텐츠의 실행에 따른 영상 및 음향 데이터를 상기 가상 현실(VR) 장치에 전송하는 단계;
    상기 클라이언트 장치가, 상기 가상 현실(VR) 컨텐츠의 실행이 완료되면, 상기 정비 작업 훈련 결과를 상기 운용 통제 서버에 전송하는 단계; 및
    상기 운용 통제 서버가, 상기 정비 시나리오에 따른 가상 현실(VR) 속의 환경적 요인과 상기 정비 작업 훈련 결과를 기초로 기계 학습을 수행하고, 기계 학습된 인공지능(AI)을 이용하여, 상기 훈련자의 직무 적정성을 평가하는 단계를 포함하되,
    상기 직무 적정성을 평가하는 단계는
    기 수행된 정비 작업 훈련과 관련하여 가상 현실(VR) 속 환경적 요인과 정비 작업 훈련 결과 사이 확률적 관계의 값을 평가하고, 상기 기 수행된 정비 작업 훈련과 관련하여 외부로부터 기 입력된 직무 적정성의 값과 상기 평가된 확률적 관계의 값으로 구성된 데이터 세트를 이용하여, 지도 학습을 수행하여 상기 인공지능(AI)을 구축하되,
    상기 직무 적정성은 상기 훈련자가 상기 크레인과 관련된 작업을 수행하는 것이 적정한지 여부를 나타내는 지표이고,
    상기 가상 현실(VR) 속의 환경적 요인에는 상가 가상 현실(VR) 컨텐츠에 포함된 크레인의 유형, 상기 크레인의 최대 높이, 상기 크레인 내의 정비 대상의 유형, 상기 정비 대상의 수, 상기 정비 대상의 위치 및 상기 가상 현실(VR) 속의 기상 조건이 포함되고,
    상기 정비 작업 훈련 결과에는 훈련 수행 시간 및 상기 정비 작업의 성공 여부가 포함하고,
    상기 확률적 관계는 상기 환경적 요인에 포함된 요소와 상기 정비 작업 훈련 결과에 포함된 요소 사이에 존재하는 인과관계를 확률적으로 나타내는 지표인 것을 특징으로 하는, 가상 훈련 방법.

Images