KR102113997B1

KR102113997B1 - 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템

Info

Publication number: KR102113997B1
Application number: KR1020160003136A
Authority: KR
Inventors: 정광모; 박병하; 신춘성
Original assignee: 전자부품연구원
Priority date: 2016-01-11
Filing date: 2016-01-11
Publication date: 2020-05-22
Also published as: KR20170083807A; WO2017122944A1

Abstract

본 발명은 네트워크로 연결된 원격 다중 훈련자가 참여하여 파이프 분해조립에 대한 가상 훈련을 수행하는 파이프 분해조립 가상 훈련 시스템에 관한 것으로, 복수의 비전 카메라를 통해 마커가 장착된 실제 공구의 움직임을 센싱하여 파이프 분해조립 훈련 콘텐츠 상의 공구 객체 움직임과 매칭 표시하며, 상기 공구의 움직임 센싱 데이터를 원격 연동 네트워크 미들웨어를 통해 케이브형 가상 훈련 시스템으로 전송하는 워크벤치형 가상 훈련 시스템과, 동작인식 센서를 통해 스크린 앞 훈련자의 손과 팔 동작을 인식하여 상기 훈련 콘텐츠 상의 공구 객체 움직임과 매칭 표시하며, 인식된 훈련자의 손과 팔 동작 센싱 데이터를 원격 연동 네트워크 미들웨어를 통해 상기 워크벤치형 가상 훈련 시스템으로 전송하는 케이브형 가상 훈련 시스템을 포함함을 특징으로 한다.

Description

원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템{VIRTUAL TRAINING SYSTEM FOR DISASSEMBLE AND ASSEMBLE A PIPE}

본 발명은 가상 훈련 시스템에 관한 것으로, 특히 네트워크로 연결된 원격 다중 훈련자가 참여하여 파이프 분해조립에 대한 가상 훈련을 수행하는 파이프 분해조립 가상 훈련 시스템에 관한 것이다.

가상 현실은 인공적으로 만들어낸 가상의 현실로 가상 현실 기술의 대표적인 목적은 가상의 경험을 사용자가 얻을 수 있도록 하는 것이다. 즉, 현실의 상황과 동일하거나 물리적으로 불가능한 가상의 시나리오를 사용자가 체험할 수 있도록 하는 것이다.

실제 도구를 이용한 기존의 훈련 방법은 소모성 재료의 사용, 제한된 훈련 공간, 부대 시설 관리 문제, 초보자의 안전사고 위험 및 훈련에 대한 소극적 대응 등 많은 어려움이 존재한다. 즉, 현장에서는 고도의 숙련된 작업자를 요구하고 있지만, 앞에서 열거한 문제점들은 효율적인 훈련 과정 수행에 걸림돌이 되고 있다. 이러한 문제점들을 해결하기 위해, 실제 작업 환경과 동일한 가상의 환경을 조성하고, 조성된 가상의 환경에서 상기한 문제점들로 인해 발생하는 어려움을 최소화하면서 작업자가 훈련을 수행할 수 있도록 하는 가상 훈련 시스템들이 각 산업분야에서 활발히 도입되고 있다.

이러한 가상 훈련 시스템은 초기에는 단일 훈련자 위주로 사용할 수 있는 시스템으로 개발되었으나, 기술발전과 적용 분야의 확장으로 인해 다자간 협업을 필요로 하는 기술 혹은 산업 분야에 접목하기 위한 가상 훈련 시스템들도 개발되기에 이르렀다.

하지만, 국방 분야의 가상 훈련 시스템은 LVC(Live-Virtual-Constructive) 기반의 다자 훈련 모델 및 시스템이 다양하게 존재하는데 반하여, 민간 분야, 예를 들면 수송체 운전 훈련, 기계조립/조작 훈련 등 대부분의 산업 분야에서는 아직도 단일 사용자 위주의 가상 훈련 시스템이 주를 이루고 있다.

이에 원격에 위치하는 다수의 훈련자가 하나의 훈련 콘텐츠를 공유하며 상호작용 방식을 통해 가상 훈련을 진행하는 원격 다중 훈련자 참여형 가상 훈련 시스템의 개발이 필요하다.

대한민국 등록특허공보 제10-1401656

이에 본 발명의 목적은 상술한 필요성에 따라 창안된 발명으로서, 원격의 다중 훈련자가 참여하여 공동으로 수행할 수 있는 파이프 분해조립 가상 훈련 시스템을 제공함에 있으며,

더 나아가 본 발명의 또 다른 목적은 국방 분야의 가상 훈련 시스템 규격에 기반한 네트워크 연동방식을 통하여, 마커 장착한 실제 공구를 사용하는 훈련자(움직임 인식기반 워크벤치형 가상 훈련 시스템 훈련자)와 동작인식 기반 훈련자(케이브형 가상 훈련 시스템 훈련자) 간에 하나의 가상 훈련 콘텐츠를 공유하면서 상호 작용하여 가상의 파이프 분해조립 훈련을 수행할 수 있는 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템을 제공함에 있다.

또한 본 발명의 다른 목적은 HMD 장치를 착용한 교수자가 원격으로 훈련자들의 파이프 분해조립 가상 훈련 상황을 모니터할 수 있는 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템을 제공함에 있다.

상술한 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템은 원격 네트워크를 통해 상호 연결 가능한 워크벤치형 가상 훈련 시스템과 케이브형 가상 훈련 시스템을 포함하되,

상기 워크벤치형 가상 훈련 시스템은 복수의 비전 카메라를 통해 마커가 장착된 실제 공구의 움직임을 센싱하여 파이프 분해조립 훈련 콘텐츠 상의 공구 객체 움직임과 매칭 표시하며, 상기 공구의 움직임 센싱 데이터를 원격 연동 네트워크 미들웨어를 통해 상기 케이브형 가상 훈련 시스템으로 전송하며,

상기 케이브형 가상 훈련 시스템은 동작인식 센서를 통해 스크린 앞 훈련자의 손과 팔 동작을 인식하여 상기 훈련 콘텐츠 상의 공구 객체 움직임과 매칭 표시하며, 인식된 훈련자의 손과 팔 동작 센싱 데이터를 원격 연동 네트워크 미들웨어를 통해 상기 워크벤치형 가상 훈련 시스템으로 전송함을 특징으로 한다.

변형 가능한 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템으로서 상술한 구성 외에 상기 원격 네트워크에 연결 가능하며 원격 연동 네트워크 미들웨어를 통해 상기 워크벤치형 가상 훈련 시스템과 케이브형 가상 훈련 시스템 각각에서 상기 공구의 움직임 센싱 데이터와 훈련자의 손과 팔 동작 센싱 데이터를 포함하는 훈련 데이터를 수신하여 훈련 콘텐츠 실행 상황정보를 표시하는 교수자 모니터링 시스템을 더 포함함을 또 다른 특징으로 한다.

상기 교수자 모니터링 시스템은 HMD(Head Mount Display) 기반의 모니터링 시스템임을 특징으로 하며,

상기 원격 연동 네트워크 미들웨어는 국방분야 가상 훈련 시스템의 연동 규격인 HLA(High Level Architecture) RTI(Run Time Infrastructure) 규격에 기반하는 원격 연동 네트워크 미들웨어임을 특징으로 한다.

또한 상기 파이프 분해조립 훈련 콘텐츠는 파이프 분해조립을 위한 복수의 훈련절차를 포함하며, 상기 복수의 훈련절차는 훈련자 손을 이용하는 케이브형 가상 훈련 시스템용 훈련절차들과 공구를 이용하는 워크벤치형 가상 훈련 시스템용 훈련절차들을 포함함을 특징으로 한다.

상술한 과제 해결 수단에 따르면, 본 발명은 국방 분야의 가상 훈련 시스템 규격에 기반한 네트워크 연동방식을 통하여, 원격에 위치하는 공동의 훈련자들이 하나의 가상 훈련 콘텐츠를 공유하면서 상호 작용하여 가상의 파이프 분해조립 훈련을 수행할 수 있는 효과가 있으며,

HMD 장치를 착용한 교수자 역시 원격으로 훈련자들의 파이프 분해조립 가상 훈련 상황을 실시간 모니터할 수 있는 효과가 있다.

도 1은 본 발명의 실시예에 따른 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템의 구성 예시도.
도 2는 본 발명의 실시예에 따른 가상 훈련 시스템의 파이프 분해조립 가상 훈련 절차 예시도.

이하 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 상세히 설명하기로 한다. 본 발명을 설명함에 있어 관련된 공지 기능 혹은 구성과 같은 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.

도 1은 본 발명의 실시예에 따른 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템의 구성도를 예시한 것이며, 도 2는 본 발명의 실시예에 따른 가상 훈련 시스템의 파이프 분해조립 가상 훈련 절차를 예시한 것이다.

도 1에 도시한 바와 같이 본 발명의 실시예에 따른 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템은 원격 네트워크를 통해 연결 가능한 워크벤치형 가상 훈련 시스템(100)과 케이브형 가상 훈련 시스템(200)을 포함한다. 변형 가능한 실시예에 따른 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템은 교수자 모니터링 시스템(300)을 더 포함할 수 있다.

워크벤치형 가상 훈련 시스템(100)은 복수, 예를 들면 3대의 비전 카메라를 통해 마커가 장착된 실제 공구의 움직임을 센싱하여 파이프 분해조립 훈련 콘텐츠 상의 공구 객체 움직임과 매칭 표시하며, 상기 공구의 움직임 센싱 데이터를 원격 연동 네트워크 미들웨어를 통해 케이브형 가상 훈련 시스템(200) 혹은 케이브형 가상 훈련 시스템(200)과 교수자 모니터링 시스템(300)으로 전송한다.

케이브형 가상 훈련 시스템(200)은 동작인식 센서(Kinect2)를 통해 스크린 앞 훈련자의 손과 팔 동작을 인식하여 상기 훈련 콘텐츠 상의 공구 객체 움직임과 매칭 표시하며, 인식된 훈련자의 손과 팔 동작 센싱 데이터를 원격 연동 네트워크 미들웨어를 통해 상기 워크벤치형 가상 훈련 시스템(100) 혹은 워크벤치형 가상 훈련 시스템(100)과 교수자 모니터링 시스템(300)으로 전송한다.

교수자 모니터링 시스템(300)은 원격 네트워크에 연결 가능하며 원격 연동 네트워크 미들웨어를 통해 상기 워크벤치형 가상 훈련 시스템(100)과 케이브형 가상 훈련 시스템(200) 각각에서 상기 공구의 움직임 센싱 데이터와 훈련자의 손과 팔 동작 센싱 데이터를 포함하는 훈련 데이터를 수신하여 훈련 콘텐츠 실행 상황정보를 표시한다. 이러한 교수자 모니터링 시스템(300)은 HMD(Head Mount Display) 기반의 모니터링 시스템일 수 있다.

상기 원격 연동 네트워크 미들웨어는 국방분야 가상 훈련 시스템의 연동 규격인 HLA(High Level Architecture)/RTI(Run Time Infrastructure) 규격에 기반하는 원격 연동 네트워크 미들웨어이다.

아울러 상기 파이프 분해조립 훈련 콘텐츠는 파이프 분해조립을 위한 복수(본 실시예에서는 12단계)의 훈련절차를 포함하며, 상기 복수의 훈련절차는 훈련자 손을 이용하는 케이브형 가상 훈련 시스템용 훈련절차들과 공구를 이용하는 워크벤치형 가상 훈련 시스템용 훈련절차들을 포함한다.

상기 케이브형 가상 훈련 시스템용 훈련절차는 손으로 밸브를 잠금, 손으로 파이프 교체, 손으로 밸브 개방, 손으로 파이프 밸브 잠금, 손으로 파이프 밸브개방 중 하나 이상의 훈련절차를 포함하며, 상기 워크벤치형 가상 훈련 시스템용 훈련절차는 드라이버로 파이프 거치대 나사 제거, 톱으로 이음새 절단, 망치로 가격, 드릴로 구멍 뚫음, 드라이버로 나사 삽입, 렌치로 너트 제거, 렌치로 너트 조임 중 하나의 이상의 훈련절차를 포함한다.

이하 도 2를 참조하여 상술한 파이프 분해조립 훈련 콘텐츠에 따른 파이프 분해조립 가상 훈련 시스템의 동작을 부연 설명하기로 한다.

도 2는 본 발명의 실시예에 따른 가상 훈련 시스템의 파이프 분해조립 가상 훈련 절차를 예시한 것이다. 워크벤치형 가상 훈련 시스템(100)과 케이브형 가상 훈련 시스템(200)을 이용하는 훈련자는 원격 네트워크를 통해 공동으로 파이프 분해조립 훈련을 실시할 수 있다.

도 2를 참조하면, 훈련 단계 "0"부터 "12"는 일련의 파이프 분해조립 훈련절차를 순서적으로 나열한 것이다. 이러한 훈련 단계 중 손으로 밸브를 잠금(단계 1), 손으로 파이프 교체(단계 5), 손으로 밸브 개방(단계 8), 손으로 T 파이프 밸브 잠금(단계 9), 손으로 T 파이프 밸브개방(단계 12)은 케이브형 가상 훈련 시스템용 훈련절차를 나타낸 것이며, 드라이버로 파이프 거치대 나사 제거(단계 2), 톱으로 이음새 절단(단계 3), 망치로 가격(단계 4), 드릴로 구멍 뚫음(단계 6), 드라이버로 나사 삽입(단계 7), 렌치로 너트 제거(단계 10), 렌치로 너트 조임(단계 11)은 워크벤치형 가상 훈련 시스템용 훈련절차를 나타낸 것이다.

보다 구체적으로, 파이프 분해조립 가상 훈련을 수행하는 공동의 훈련자는 각 시스템에 설치된 훈련 콘텐츠를 실행시켜 시작버튼을 클릭(단계 0)한다.

첫 번째 훈련 단계(단계 1)를 수행하기 위해 케이브형 가상 훈련 시스템(200)을 이용하는 훈련자는 동기화 항목인 밸브 애니메이션을 보고 손으로 밸브를 잠그는 행위를 취한다. 이러한 동작은 동작인식센서에 의해 인식되며, 인식된 훈련자의 손과 팔 동작 센싱 데이터는 원격 연동 네트워크 미들웨어를 통해 워크벤치형 가상 훈련 시스템(100)과 교수자 모니터링 시스템(300)으로 전송된다.

밸브 잠금이 완료되면 파이프 거치대의 나사를 제거하기 위한 단계 2가 수행된다. 이러한 경우 워크벤치형 가상 훈련 시스템(100)을 이용하는 훈련자는 공구인 드라이버를 이용하여 파이프 거치대의 나사를 제거하는 행위를 한다. 이때 워크벤치형 가상 훈련 시스템(100)은 비젼 카메라를 통해 마커 표시된 드라이버의 움직임을 센싱하여 파이프 분해조립 훈련 콘텐츠 상의 공구 객체 움직임과 매칭 표시하며, 상기 공구의 움직임 센싱 데이터를 원격 연동 네트워크 미들웨어를 통해 케이브형 가상 훈련 시스템(200)과 교수자 모니터링 시스템(300)으로 전송한다.

이에 케이브형 가상 훈련 시스템(200) 훈련자 및 교수자는 각각 원격에 위치하는 공동 참여 훈련자의 훈련 단계 수행행위를 관찰할 수 있으며, 자신이 수행해야 하는 훈련 단계에 대해 훈련을 단계적으로 수행한다.

즉, 워크벤치형 가상 훈련 시스템(100)을 이용하는 훈련자는 지시하는 훈련 단계에 맞춰 드라이버로 파이프 거치대 나사를 제거(단계 2), 톱으로 이음새 절단(단계 3), 망치로 파이프를 2회 가격(단계 4), 거치대 나사 구멍을 생성하기 위해 드릴로 구멍 뚫음(단계 6), 거치대 나사를 삽입하기 위해 드라이버로 나사 삽입(단계 7), T자형 파이프의 너트를 제거하기 위해 렌치로 너트 제거(단계 10), T자형 파이프 너트를 삽입하기 위해 렌치로 너트 조임(단계 11)과 같은 훈련 절차를 수행하며, 이때의 훈련절차 수행행위에 따른 공구의 움직임 센싱 데이터는 각각 케이브형 가상 훈련 시스템(200)과 교수자 모니터링 시스템(300)으로 전송되어 공유된다.

한편, 케이브형 가상 훈련 시스템(200)을 이용하는 훈련자 역시 지시하는 훈련 단계에 맞춰 손으로 밸브를 잠금(단계 1), 손상된 파이프를 교체하기 위해 손으로 파이프 교체(단계 5), 밸브를 풀기 위해 손으로 밸브 개방(단계 8), T파이프 밸브를 잠그기 위해 손으로 T 파이프 밸브 잠금(단계 9), T파이프 밸브를 개방하기 위해 손으로 T 파이프 밸브개방(단계 12)과 같은 훈련 절차를 수행한다. 각 훈련 절차 수행시 발생되는 훈련자의 손과 팔 동작 센싱 데이터는 앞서 설명한 바와 같이 워크벤치형 가상 훈련 시스템(100)과 교수자 모니터링 시스템(300)으로 전송되어 공유된다.

이로써, 교수자는 HMD 기반의 모니터링 시스템(300)을 통해 원격 공동 참여한 훈련자들의 파이프 분해조립 훈련상황을 실시간 모니터링 할 수 있으며, 워크벤치형 가상 훈련 시스템(100)과 케이브형 가상 훈련 시스템(200) 훈련자들은 하나의 가상 훈련 콘텐츠를 공유하면서 상호 작용하여 가상의 파이프 분해조립 훈련을 정상적으로 수행할 수 있게 되는 것이다.

이상은 도면에 도시된 실시예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.

Claims

워크벤치형 가상 훈련 시스템과 케이브형 가상 훈련 시스템이 원격 네트워크를 통해 연결되는 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템에 있어서,
상기 워크벤치형 가상 훈련 시스템은 복수의 비전 카메라를 통해 마커가 장착된 실제 공구의 움직임을 센싱하여 파이프 분해조립 훈련 콘텐츠 상의 공구 객체 움직임과 매칭 표시하며, 상기 공구의 움직임 센싱 데이터를 원격 연동 네트워크 미들웨어를 통해 상기 케이브형 가상 훈련 시스템으로 전송하며,
상기 케이브형 가상 훈련 시스템은 동작인식 센서를 통해 스크린 앞 훈련자의 손과 팔 동작을 인식하여 상기 훈련 콘텐츠 상의 공구 객체 움직임과 매칭 표시하며, 인식된 훈련자의 손과 팔 동작 센싱 데이터를 원격 연동 네트워크 미들웨어를 통해 상기 워크벤치형 가상 훈련 시스템으로 전송함을 특징으로 하는 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템.
청구항 1에 있어서, 상기 원격 네트워크에 연결 가능하며 원격 연동 네트워크 미들웨어를 통해 상기 워크벤치형 가상 훈련 시스템과 케이브형 가상 훈련 시스템 각각에서 상기 공구의 움직임 센싱 데이터와 훈련자의 손과 팔 동작 센싱 데이터를 포함하는 훈련 데이터를 수신하여 훈련 콘텐츠 실행 상황정보를 표시하는 교수자 모니터링 시스템;을 더 포함함을 특징으로 하는 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템.
청구항 2에 있어서, 상기 교수자 모니터링 시스템은 HMD(Head Mount Display) 기반의 모니터링 시스템임을 특징으로 하는 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템.
청구항 1 내지 청구항 3중 어느 한 항에 있어서, 상기 원격 연동 네트워크 미들웨어는 국방분야 가상 훈련 시스템의 연동 규격인 HLA(High Level Architecture) RTI(Run Time Infrastructure) 규격에 기반하는 원격 연동 네트워크 미들웨어임을 특징으로 하는 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템.
청구항 1 내지 청구항 3중 어느 한 항에 있어서, 상기 파이프 분해조립 훈련 콘텐츠는 파이프 분해조립을 위한 복수의 훈련절차를 포함하며, 상기 복수의 훈련절차는 훈련자 손을 이용하는 케이브형 가상 훈련 시스템용 훈련절차들과 공구를 이용하는 워크벤치형 가상 훈련 시스템용 훈련절차들을 포함함을 특징으로 하는 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템.
청구항 5에 있어서, 상기 케이브형 가상 훈련 시스템용 훈련절차는 손으로 밸브를 잠금, 손으로 파이프 교체, 손으로 밸브 개방, 손으로 파이프 밸브 잠금, 손으로 파이프 밸브개방 중 하나 이상의 훈련절차를 포함하고, 상기 워크벤치형 가상 훈련 시스템용 훈련절차는 드라이버로 파이프 거치대 나사 제거, 톱으로 이음새 절단, 망치로 가격, 드릴로 구멍 뚫음, 드라이버로 나사 삽입, 렌치로 너트 제거, 렌치로 너트 조임 중 하나의 이상의 훈련절차를 포함함을 특징으로 하는 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템.