KR102259762B1 - 안전 사고 예방을 위한 가상 현실을 활용한 크레인 협동 작업 훈련 시스템 - Google Patents

안전 사고 예방을 위한 가상 현실을 활용한 크레인 협동 작업 훈련 시스템 Download PDF

Info

Publication number
KR102259762B1
KR102259762B1 KR1020190161873A KR20190161873A KR102259762B1 KR 102259762 B1 KR102259762 B1 KR 102259762B1 KR 1020190161873 A KR1020190161873 A KR 1020190161873A KR 20190161873 A KR20190161873 A KR 20190161873A KR 102259762 B1 KR102259762 B1 KR 102259762B1
Authority
KR
South Korea
Prior art keywords
crane
virtual
virtual reality
avatar
display unit
Prior art date
Application number
KR1020190161873A
Other languages
English (en)
Inventor
홍의석
Original Assignee
주식회사 제이엔이웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 제이엔이웍스 filed Critical 주식회사 제이엔이웍스
Priority to KR1020190161873A priority Critical patent/KR102259762B1/ko
Application granted granted Critical
Publication of KR102259762B1 publication Critical patent/KR102259762B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 가상 현실을 활용한 크레인 협동 작업 훈련 시스템을 제안하며, 상기 시스템은 가상 크레인의 운전수에게 상기 가상 크레인의 운전 제어를 위한 신호수의 수신호를 검출하기 위한 추적 센서 및 센서 장갑, 그리고 상기 가상 크레인의 움직임을 나타내는 제1 가상현실 영상을 표시하기 위한 제1 가상현실 표시부로 구성되는 수신호 제어부, 상기 센서 및 상기 센서 장갑으로부터 상기 검출된 수신호를 수신하여 상기 신호수의 아바타의 몸 동작을 시뮬레이션하여 제2 가상현실 표시부로 전송하는 아바타 시뮬레이터, 상기 가상 크레인의 운전을 위한 페달 및 조이스틱, 그리고 상기 가상 크레인의 운전에 따른 상기 제1 가상 현실 영상 및 상기 시뮬레이션된 아바타의 몸 동작을 나타내는 제2 가상 현실 영상을 표시하기 위한 상기 제2 가상 현실 표시부로 구성되는 크레인 운전석 제어부, 상기 페달 및 상기 조이스틱의 조작에 따른 제어 신호에 따라 상기 가상 크레인의 움직임을 시뮬레이션하여 상기 제1 및 상기 제2 가상 현실 표시부로 전송하는 크레인 시뮬레이터; 및 상기 크레인 시뮬레이터로부터 상기 가상 크레인의 움직임 정보 및 상기 아바타 시뮬레이터로부터 상기 아바타의 몸 동작 정보를 수신하여, 상기 가상 크레인의 운전 제어를 분석하고 평가하는 크레인 운전 평가부를 포함하는 서버 장치를 포함할 수 있다.

Description

안전 사고 예방을 위한 가상 현실을 활용한 크레인 협동 작업 훈련 시스템{Cooperation Training System for Crane using Virtual Reality}
본 발명은 가상 현실을 활용한 크레인 협동 작업 훈련 시스템에 관한 것이다.
2017년 근로자 6명이 숨지고 25명이 다친 삼성중공업 거제조선소 크레인 충돌 사고 원인은 회사 측 안전 관리 소홀보다는 현장 운전자(신호수 와 크레인 운전자)들의 잘못으로 봐야 한다는 법원 판단과 같이 현장 인력의 안전교육이 무엇보다 중요하다. 이에 따라, 현장 인력의 훈련을 위한 도구가 필요하다.
다만, 조선소의 현장은 면적도 크고 장비들도 대규모이기에 가상 현실 컨텐츠를 이용하는 것이 적절하다. 가상 현실 콘텐츠는 교육 몰입도와 메시지 전달력을 높이는 효과가 있으며 실제와 동일한 가상현실에서 업무를 익힘으로써 비용과 시간을 절약할 수 있다.
위와 같은 문제점을 해결하기 위한 방안을 제안하고자 한다.
골리앗 크레인의 안전운전을 위해 크레인 운전자와 신호수 간의 실제 작업 교육, 훈련 과정을 분석하고, 교육, 훈련의 필요성이 높은 작업의 절차를 우선으로 가상 현실(VR; Virtual Reality) 기반 크레인 운전 훈련 시뮬레이션을 설계하고자 한다.
VR을 사용한 교육은 전통적인 교육에 비하여 2.7배의 효과를 보이며 집중력 100%이상 향상된다는 조사 결과가 있다. 또한, 특정 대상자를 목표로 하는 맞춤형 교육을 통하여 교육 목적과 효과를 높인다면 교육의 질적 향상을 이룰수 있을 것이다.
다시 말하면, VR 공간에서 3차원 가상 객체 또는 미디어 콘텐츠를 확인하고, 실시간으로 조작하며 고화질 그래픽을 이용한 교육 및 훈련을 수행할 수 있는 고화질 저지연의 가상현실 훈련 시스템을 제안하고자 한다.
본 발명에서 이루고자 하는 해결하고자 하는 과제들은 상기 해결하고자 하는 과제로 제한되지 않으며, 언급하지 않은 또 다른 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명은 가상 현실을 활용한 크레인 협동 작업 훈련 시스템을 제안하며, 상기 시스템은 가상 크레인의 운전수에게 상기 가상 크레인의 운전 제어를 위한 신호수의 수신호를 검출하기 위한 추적 센서 및 센서 장갑, 그리고 상기 가상 크레인의 움직임을 나타내는 제1 가상 현실 영상을 표시하기 위한 제1 가상 현실 표시부로 구성되는 수신호 제어부, 상기 센서 및 상기 센서 장갑으로부터 상기 검출된 수신호를 수신하여 상기 신호수의 아바타의 몸 동작을 시뮬레이션하여 제2 가상 현실 표시부로 전송하는 아바타 시뮬레이터, 상기 가상 크레인의 운전을 위한 페달 및 조이스틱, 그리고 상기 가상 크레인의 운전에 따른 상기 제1 가상 현실 영상 및 상기 시뮬레이션된 아바타의 몸 동작을 나타내는 제2 가상 현실 영상을 표시하기 위한 상기 제2 가상 현실 표시부로 구성되는 크레인 운전석 제어부, 상기 페달 및 상기 조이스틱의 조작에 따른 제어 신호에 따라 상기 가상 크레인의 움직임을 시뮬레이션하여 상기 제1 및 상기 제2 가상 현실 표시부로 전송하는 크레인 시뮬레이터; 및 상기 크레인 시뮬레이터로부터 상기 가상 크레인의 움직임 정보 및 상기 아바타 시뮬레이터로부터 상기 아바타의 몸 동작 정보를 수신하여, 상기 가상 크레인의 운전 제어를 분석하고 평가하는 크레인 운전 평가부를 포함하는 서버 장치를 포함할 수 있다.
추가로 또는 대안으로, 상기 시스템은 상기 수신호 제어부 및 상기 크레인 운전석 제어부는 상기 가상 크레인의 움직임 또는 상기 가상 크레인의 가상 주변 환경과 연동되는 입체 음향을 출력하는 스피커부를 더 포함할 수 있다.
추가로 또는 대안으로, 상기 시스템은 상기 서버 장치에 초고속, 저지연 무선 네트워크를 통해 연결되는 하나 이상의 관찰 단말을 더 포함하며, 상기 관찰 단말로 상기 가상 크레인의 움직임 정보 및 상기 아바타의 몸 동작 정보, 그리고 상기 평가의 결과 중 적어도 하나가 전송될 수 있다.
추가로 또는 대안으로, 상기 제1 가상 현실 표시부 또는 상기 제2 가상 현실 표시부는 상기 가상 크레인의 주변 환경을 나타내는 제3 가상 현실 영상을 표시할 수 있다.
추가로 또는 대안으로, 상기 제1 가상 현실 표시부 또는 상기 제2 가상 현실 표시부는 상기 가상 크레인에 매달린 가상의 화물이 이동할 가상의 경로를 나타내는 제4 가상 현실 영상을 표시할 수 있다.
추가로 또는 대안으로, 상기 크레인 운전 평가부는 상기 가상의 화물이 상기 가상의 경로의 개별 표적을 통과하는지에 따라 상기 가상 크레인의 운전 제어를 평가할 수 있다.
상기 과제 해결방법들은 본 발명의 실시예들 중 일부에 불과하며, 본원 발명의 기술적 특징들이 반영된 다양한 실시예들이 당해 기술분야의 통상적인 지식을 가진 자에 의해 이하 상술할 본 발명의 상세한 설명을 기반으로 도출되고 이해될 수 있다.
본 발명에 따르면 골리앗 크레인이 사용되는 현장에서의 협동 작업에 대한 훈련을 가상 현실을 통해 수행할 수 있다. 아울러 이러한 가상 현실을 통한 훈련은 시간 및 공간적으로도 효율적이며 비용적으로도 실제 훈련 대비 저렴한 장점이 있다.
본 발명에서 얻은 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시 예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 본 발명과 관련된 가상 현실을 활용한 크레인 협동 작업 훈련 시스템의 블록도를 도시한다.
도 2는 본 발명과 관련된 가상 현실을 활용한 크레인 협동 작업 훈련 시스템의 블록도를 도시한다.
도 3은 본 발명과 관련된 아바타를 위한 모델링 방식을 예시한다.
도 4는 본 발명과 관련된 신호수의 팔, 손동작 인식 및 가상 현실 영상 모델링에 대해 도시한다.
도 5는 본 발명과 관련된 골리앗 크레인의 운전 동작을 도시한다.
이하, 본 발명의 실시예를 첨부한 도면을 참고하여 설명한다. 그러나 본 발명은 본 명세서에서 설명하는 실시예에 한정되지 않으며 여러 가지 다른 형태로 구현될 수 있다. 본 명세서에서 사용되는 용어는 실시예의 이해를 돕기 위한 것이며, 본 발명의 범위를 한정하고자 의도된 것이 아니다. 또한, 이하에서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다.
도 1은 본 발명과 관련된 가상 현실을 활용한 크레인 협동 작업 훈련 시스템(100)의 블록도를 도시한다. 협동 작업이라 함은 크레인을 운전하는 운전수와 운전수에게 수신호를 전달하는 신호수 간의 협동에 의해 이루어지는 크레인 운전을 위한 일련의 작업을 의미한다.
상기 시스템은 수신호 제어부(110), 아바타 시뮬레이터(120), 크레인 운전석 제어부(130), 크레인 시뮬레이터(140) 및 서버 장치(150)를 포함할 수 있다.
상기 수신호 제어부는 가상 크레인의 운전수에게 상기 가상 크레인의 운전 제어를 위한 신호수의 수신호를 검출하기 위한 추적 센서 및 센서 장갑, 그리고 상기 가상 크레인의 움직임을 나타내는 가상 현실 영상을 표시하기 위한 상기 신호수를 위한 가상 현실 표시부로 구성될 수 있다.
상기 추적 센서는 상기 신호수의 신체 또는 착용 의복에 부착하여, 상기 신호수의 팔, 손 또는 상체 등의 신체의 움직임을 검출하기 위한 것으로서, 상기 신호수의 아바타를 생성하는데 사용될 수 있다.
상기 센서 장갑은 상기 신호수의 손가락의 움직임을 검출하기 위한 것이다. 상기 센서 장갑은 손 또는 손가락의 센싱 및 트래킹과 제어를 위해 손가락의 정확한 트래킹이 가능하며, 이는 다양한 훈련의 효과를 높이기 위함이다. 손가락에 대해 정확한 인식 및 표현을 통해, 가상 훈련시 정확한 수신호를 통한 훈련 및 훈련 학습 능력을 최대화할 수 있을 것이다.
상기 신호수를 위한 가상 현실 표시부는 사용자 착용가능한 디스플레이, 텔레비전, 모니터 등의 디스플레이 장치를 포함할 수 있다. 상기 가상 현실 표시부는 상기 가상 크레인의 움직임 뿐만 아니라, 상기 가상 크레인의 가상 주변 환경도 표시할 수 있으며, 상기 가상 주변 환경에는 작업장 배경, 다른 가상 크레인, 가상의 작업자 등도 포함될 수 있다. 상기 작업장 배경은 최대한 실제 사용 현장의 특성 적용을 통해 현실과 유사하게 표현하도록 구성될 수 있으며, 이에 따라 교육 또는 훈련의 효과를 향상시키고 향후 실제 업무 현장에의 적응력을 높일 수 있도록 한다.
상기 아바타 시뮬레이터는 상기 신호수의 움직임, 좀더 구체적으로는 상기 신호수의 손과 팔, 손가락, 상체 등의 움직임을 가상 현실 영상으로 표시하도록 하며, 상기 신호수의 움직임이 반영된 가상 현실 영상을 본 명세서에서는 "아바타"로 지칭하도록 한다. 상기 아바타를 모델링하기 위한 방법은 도 3을 참조하여 설명될 것이다. 도 3에는 상기 신호수를 가상 현실 영상으로 표시한 아바타(200)가 도시되며, 상기 신호수의 신체 또는 착용한 의복 위에 부착된 추적 센서(201 내지 220)의 위치가 도시된다. 상기 추적 센서로부터 획득된 정보에 따라, 상기 아바타의 움직임을 IK(Inverse kinematics)를 이용하여 실제 인체의 움직임과 유사하게 모델링할 수 있다.
상기 아바타 시뮬레이터는 상기 아바타의 몸 동작을 모델링 또는 시뮬레이션하여 상기 운전수를 위한 가상 현실 표시부로 전송할 수 있다.
상기 크레인 운전석 제어부는 상기 가상 크레인의 운전을 위한 페달 및 조이스틱, 그리고 상기 가상 크레인의 운전에 따른 가상 현실 크레인 영상 및 상기 시뮬레이션된 아바타의 몸 동작을 나타내는 가상 현실 영상을 표시하기 위한 상기 운전수를 위한 가상 현실 표시부를 포함할 수 있다.
상기 조이스틱의 수는 한정하지는 않으나, 실제 크레인의 운전석과 최대한 유사한 환경을 구성하기 위해, 2개인 것이 바람직하다.
상기 운전수를 위한 가상 현실 표시부는 착용가능한 디스플레이, 텔레비전, 모니터 등의 디스플레이 장치를 포함할 수 있다. 상기 가상 현실 표시부는 상기 가상 크레인 그리고 상기 가상 크레인에 매달린 가상의 화물의 움직임 뿐만 아니라, 상기 아바타의 팔, 손, 또는 몸 동작 또는 움직임을 표시할 수 있다. 또한, 상기 운전수를 위한 가상 현실 표시부는 상기 가상 크레인의 가상 주변 환경도 표시할 수 있으며, 상기 가상 주변 환경에는 작업장 배경, 다른 가상 크레인, 가상의 작업자 등도 포함될 수 있다. 상기 작업장 배경은 최대한 실제 사용 현장의 특성 적용을 통해 현실과 유사하게 표현하도록 구성될 수 있으며, 이에 따라 교육 또는 훈련의 효과를 향상시키고 향후 실제 업무 현장에의 적응력을 높일 수 있도록 한다.
상기 크레인 시뮬레이터는 상기 페달 및 상기 조이스틱의 조작에 따른 제어 신호에 따라 상기 가상 크레인의 움직임을 시뮬레이션하여 상기 운전수를 위한 가상 현실 표시부 및 상기 신호수를 위한 가상 현실 표시부로 전송할 수 있다.
상기 서버 장치는 상기 크레인 시뮬레이터로부터 상기 가상 크레인의 움직임 정보 및 상기 아바타 시뮬레이터로부터 상기 아바타의 몸 동작 정보를 수신하여, 상기 가상 크레인의 운전 제어를 분석하고 평가하는 크레인 운전 평가부를 포함할 수 있다.
상기 크레인 운전 평가부는 상기 가상 크레인의 운전, 예컨대 상기 가상 크레인에 매달린 가상의 화물이 예정된 가상 경로로 이동하는지를 체크하여, 상기 가상 크레인의 협동 작업 훈련을 평가할 수 있다.
상기 서버 장치는 유무선 네트워크를 통해 다른 시스템 또는 단말과 데이터를 송수신할 수 있는 통신부를 포함할 수 있다. 상기 유뮤선 네트워크는 3GPP의 5세대 무선 통신 규격, 5G 통신 네트워크를 활용하여 초고속, 저지연의 통신이 가능하게 한다.
또한, 상기 수신호 제어부 및 상기 크레인 운전석 제어부는 상기 가상 크레인의 움직임 또는 상기 가상 크레인의 가상 주변 환경과 연동되는 입체 음향을 출력하는 스피커부를 포함할 수 있고, 상기 가상 크레인의 움직임 또는 상기 가상 주변 환경에 따른 입체 음향을 출력함으로써, 상기 운전수나 상기 신호수가 느끼는 실제감 및 몰입감을 향상시킬 수 있다.
도 2는 본 발명과 관련된 가상 현실을 활용한 크레인 협동 작업 훈련 시스템의 블록도를 도시한다.
도 1에도 도시된, 서버 장치(150)는 통합 모니터링 시스템(160) 및 관찰 단말(170)과 유선 또는 무선으로 연결될 수 있다. 상기 유선 또는 무선 연결은, 3GPP의 5세대 무선 통신 규격, 5G 통신 네트워크를 통해 가능하며, 이를 통해 초고속, 저지연의 통신이 가능하다.
상기 통합 모니터링 시스템 또는 상기 관찰 단말은 상기 서버 장치로부터 상기 가상 크레인의 움직임 및 상기 아바타의 몸 동작 정보를 수신할 수 있다. 상기 통합 모니터링 시스템은 상기 수신된 정보를 표시하기 위한 별도의 표시부(미도시)를 포함할 수 있다.
또는, 상기 통합 모니터링 시스템 또는 상기 관찰 단말은 상기 운전수를 위한 가상 현실 표시부 또는 상기 신호수를 위한 가상 현실 표시부에 표시된 가상 현실 영상을 그대로 수신하여 이를 상기 표시부(미도시)에 표시하게 할 수 있다. 즉, 상기 운전수를 위한 가상 현실 표시부 또는 상기 신호수를 위한 가상 현실 표시부에 표시된 가상 현실 영상은 상기 통합 모니터링 시스템 또는 상기 관찰 단말에 실시간으로 공유될 수 있다.
관리자는 상기 통합 모니터링 시스템을 통해 상기 가상 현실 영상 또는 상기 가상 크레인의 움직임 및 상기 아바타의 몸 동작 정보를 확인할 수 있다. 즉, 상기 관리자는 상기 협동 작업 훈련(또는 교육) 장면을 실시간으로 확인할 수 있으며, 그에 따라 훈련 또는 교육을 평가할 수 있다.
상기 훈련 또는 교육의 평가는 상기 관리자에 의해 수동적으로 이루어질 수도 있고, 상기 가상 크레인의 움직임 및 상기 신호수의 움직임 등이 반영된 가상 현실 공간 내에서의 평가를 위한 소프트웨어에 의해 이루어질 수 있다. 후자에 대해서는 도 5를 참조하여 후술하도록 한다.
또한, 상기 관찰 단말은 동일 공간상에 있는 관리자 또는 훈련자를 제외한 외부에서 인원이 통신 네트워크를 이용하여 훈련 또는 교육 상황에 대해 확인이 가능하도록 한다. 예를 들어, 모바일 애플리케이션을 통하여 가상 현실 공간에서의 훈련 상황을 실시간으로 확인 가능하고 현재 훈련중인 신호수와 운전수의 화면을 보며 다른 훈련자의 훈련 모습을 모니터링 하거나 평가할 수 있는 환경이 구축될 수 있다.
도 4는 본 발명과 관련된 신호수의 팔, 손동작 인식 및 가상 현실 영상 모델링에 대해 도시한다. 도 3과 관련하여 설명한 아바타의 모델링은 상기 신호수의 손가락 움직임(310, 320)까지는 반영하지 못한다. 앞서 설명하였듯이, 센서 장갑의 착용을 통해 상기 신호수의 손가락의 움직임을 검출할 수 있다. 이에 따라, 상기 크레인의 운전을 제어하기 위한 수신호를 미리 정의해놓고, 이를 위한 아바타의 움직임 또는 포즈(330)를 모델링하여 상기 아바타 시뮬레이터 또는 상기 서버 장치 등에 저장해놓을 수가 있다. 모델링된 포즈(330)는 상기 신호수의 움직임에 따라 상기 가상 현실 영상으로서 상기 운전수를 위한 가상 현실 표시부 또는 상기 통합 모니터링 시스템, 상기 관찰 단말의 표시부에 표시될 수 있다.
도 5는 본 발명과 관련된 골리앗 크레인의 운전 동작을 도시한다.
상기 가상 현실을 활용한 훈련 또는 교육 시스템은 훈련자 또는 교육생에 대한 평가를 수행할 수 있어야 한다. 상기 훈련은 상기 운전수와 상기 신호수의 협력에 따른 결과로서 평가되어야 한다.
도 5에는 가상 크레인의 운전 모습(500), 즉, 가상 크레인(510)이 가상의 화물(520)을 옮기고 있는 장면이 도시된다. 이 장면은 상기 운전수를 위한 가상 현실 표시부, 상기 신호수를 위한 가상 현실 표시부, 상기 서버 장치, 상기 통합 모니터링 시스템, 상기 관찰 단말의 표시부에 표시될 수 있다.
상기 평가의 방법으로서, 본 발명에서는 가상의 경로(530)를 활용한 평가 방법을 도입한다. 상기 가상의 경로(530)는 상기 가상의 화물(520)이 지나가야할 경로 또는 위치를 나타낼 수 있다. 또한, 상기 가상의 경로는 가상 현실 공간에서 2차원 또는 3차원 좌표로 표현될 수 있는 점 또는 구역으로 구분되는 개별 표적들의 집합일 수 있다. 즉, 도 5에는 8개의 개별 표적들로 구성된 하나의 가상의 경로(530)가 도시된다고 말할 수 있다.
상기 가상의 경로는 상기 크레인 운전 평가부에 의해 생성될 수 있으며, 또는 상기 서버 장치의 별도의 구성에 의해 생성될 수 있다. 상기 가상의 경로는 상기 신호수를 위한 가상 현실 표시부 또는 상기 운전수를 위한 가상 현실 표시부에 표시될 수 있다.
도시되지는 않았으나, 상기 가상의 경로는 순차적으로 상기 가상의 화물이 지나가야하는 경로 또는 위치를 나타낼 수 있다. 상기 크레인 운전 평가부는 이러한 경로 또는 위치를 상기 화물이 지정된 순서대로 지나가는지를 판정하여 평가를 수행할 수 있다. 상기 크레인 운전 평가부는 상기 크레인 시뮬레이터로부터 상기 가상 크레인의 움직임 정보를 수신할 수 있으므로, 상기 가상 크레인에 매달린 가상의 화물의 움직임 정보, 즉 좌표 정보를 획득할 수 있다.
예를 들어, 상기 가상 크레인의 운전에 따라 상기 화물이 상기 가상의 경로(530)의 n개의 표적 중 a개의 표적을 순차적으로 통과하여 움직였다면, 상기 크레인 운전 평가부는 훈련 또는 교육의 평가의 결과로서 점수를 a/n*k (k는 상수)으로 결정할 수 있다. 즉, 상기 크레인 운전 평가부는 상기 가상 크레인의 운전의 평가 결과를 점수로 표현하여 나타낼 수 있다.
상기 평가 결과는 상기 신호수를 위한 가상 현실 표시부 또는 상기 운전수를 위한 가상 현실 표시부, 또는 상기 서버 장치, 상기 통합 모니터링 시스템, 상기 관찰 단말의 표시부에 표시될 수 있다.
이상의 명세서에서, "시스템"이 해당 방법 또는 절차 등을 수행하는 것으로 설명하였으나, "시스템"은 명칭일 뿐 권리범위가 그에 종속되는 것은 아니다. 즉, 시스템 외에도 장치로서도 해당 방법 또는 절차가 수행될 수 있으며, 그 뿐만 아니라 가상 현실을 활용한 크레인 협동 작업 훈련 또는 그의 평가를 위한 소프트웨어 또는 컴퓨터 또는 그밖의 기계, 장치 등으로 판독가능한 코드에 의해 상기 방법 또는 방식이 수행될 수 있다.
아울러, 본 발명의 또다른 양태(aspect)로서, 앞서 설명한 제안 또는 발명의 동작이 "컴퓨터"(시스템 온 칩(system on chip; SoC) 또는 (마이크로) 프로세서 등을 포함하는 포괄적인 개념)에 의해 구현, 실시 또는 실행될 수 있는 코드 또는 상기 코드를 저장 또는 포함한 컴퓨터-판독가능한 저장 매체 또는 컴퓨터 프로그램 제품(product) 등으로도 제공될 수 있고, 본 발명의 권리범위가 상기 코드 또는 상기 코드를 저장 또는 포함한 컴퓨터-판독가능한 저장 매체 또는 컴퓨터 프로그램 제품으로 확장가능하다.

Claims (6)

  1. 가상 현실을 활용한 크레인 협동 작업 훈련 시스템으로서,
    가상 크레인의 운전수에게 상기 가상 크레인의 운전 제어를 위한 신호수의 수신호를 검출하기 위한 추적 센서 및 센서 장갑, 그리고 상기 가상 크레인의 움직임을 나타내는 제1 가상 현실 영상을 표시하기 위한 제1 가상 현실 표시부로 구성되는 수신호 제어부;
    상기 센서 및 상기 센서 장갑으로부터 상기 검출된 수신호를 수신하여 상기 신호수의 아바타의 몸 동작을 시뮬레이션하여 제2 가상 현실 표시부로 전송하는 아바타 시뮬레이터;
    상기 가상 크레인의 운전을 위한 페달 및 조이스틱, 그리고 상기 가상 크레인의 운전에 따른 상기 제1 가상 현실 영상 및 상기 시뮬레이션된 아바타의 몸 동작을 나타내는 제2 가상 현실 영상을 표시하기 위한 상기 제2 가상 현실 표시부로 구성되는 크레인 운전석 제어부;
    상기 페달 및 상기 조이스틱의 조작에 따른 제어 신호에 따라 상기 가상 크레인의 움직임을 시뮬레이션하여 상기 제1 및 상기 제2 가상 현실 표시부로 전송하는 크레인 시뮬레이터; 및
    상기 크레인 시뮬레이터로부터 상기 가상 크레인의 움직임 정보 및 상기 아바타 시뮬레이터로부터 상기 아바타의 몸 동작 정보를 수신하여, 상기 가상 크레인의 운전 제어를 분석하고 평가하는 크레인 운전 평가부를 포함하는 서버 장치;를 포함하는 가상 현실 크레인 협동 작업 훈련 시스템.
  2. 제1항에 있어서, 상기 수신호 제어부 및 상기 크레인 운전석 제어부는 상기 가상 크레인의 움직임 또는 상기 가상 크레인의 가상 주변 환경과 연동되는 입체 음향을 출력하는 스피커부를 더 포함하는, 가상 현실 크레인 협동 작업 훈련 시스템.
  3. 제1항에 있어서, 상기 서버 장치에 초고속, 저지연 무선 네트워크를 통해 연결되는 하나 이상의 관찰 단말을 더 포함하며,
    상기 관찰 단말로 상기 가상 크레인의 움직임 정보 및 상기 아바타의 몸 동작 정보, 그리고 상기 평가의 결과 중 적어도 하나가 전송되는, 가상 현실 크레인 협동 작업 훈련 시스템.
  4. 제1항에 있어서,
    상기 제1 가상 현실 표시부 또는 상기 제2 가상 현실 표시부는 상기 가상 크레인의 주변 환경을 나타내는 제3 가상 현실 영상을 표시하는, 가상 현실 크레인 협동 작업 훈련 시스템.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 제1 가상 현실 표시부 또는 상기 제2 가상 현실 표시부는 상기 가상 크레인에 매달린 가상의 화물이 이동할 가상의 경로를 나타내는 제4 가상 현실 영상을 표시하는, 가상 현실 크레인 협동 작업 훈련 시스템.
  6. 제5항에 있어서, 상기 크레인 운전 평가부는 상기 가상의 화물이 상기 가상의 경로의 개별 표적을 통과하는지에 따라 상기 가상 크레인의 운전 제어를 평가하는, 가상 현실 크레인 협동 작업 훈련 시스템.
KR1020190161873A 2019-12-06 2019-12-06 안전 사고 예방을 위한 가상 현실을 활용한 크레인 협동 작업 훈련 시스템 KR102259762B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190161873A KR102259762B1 (ko) 2019-12-06 2019-12-06 안전 사고 예방을 위한 가상 현실을 활용한 크레인 협동 작업 훈련 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190161873A KR102259762B1 (ko) 2019-12-06 2019-12-06 안전 사고 예방을 위한 가상 현실을 활용한 크레인 협동 작업 훈련 시스템

Publications (1)

Publication Number Publication Date
KR102259762B1 true KR102259762B1 (ko) 2021-06-02

Family

ID=76372810

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190161873A KR102259762B1 (ko) 2019-12-06 2019-12-06 안전 사고 예방을 위한 가상 현실을 활용한 크레인 협동 작업 훈련 시스템

Country Status (1)

Country Link
KR (1) KR102259762B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114217606A (zh) * 2021-11-15 2022-03-22 武汉港迪智能技术有限公司 一种门座起重机远程智能化控制系统及其方法
KR20230148023A (ko) * 2022-04-15 2023-10-24 한화오션 주식회사 가상현실 기반의 트랜스포터 교육방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140011688A (ko) * 2012-07-18 2014-01-29 주식회사 도담시스템스 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치 및 방법
KR20160050617A (ko) * 2014-10-30 2016-05-11 대우조선해양 주식회사 트랜스포터 단말장치, 신호수 단말장치 및 이를 이용한 선박 블록의 운반경로 제공 방법
KR20180130978A (ko) * 2017-05-31 2018-12-10 (주)토탈소프트뱅크 기중기 운전 훈련장치
KR20190140759A (ko) * 2018-06-12 2019-12-20 (주)태성에스엔아이 가상 건설 시뮬레이션 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140011688A (ko) * 2012-07-18 2014-01-29 주식회사 도담시스템스 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치 및 방법
KR20160050617A (ko) * 2014-10-30 2016-05-11 대우조선해양 주식회사 트랜스포터 단말장치, 신호수 단말장치 및 이를 이용한 선박 블록의 운반경로 제공 방법
KR20180130978A (ko) * 2017-05-31 2018-12-10 (주)토탈소프트뱅크 기중기 운전 훈련장치
KR20190140759A (ko) * 2018-06-12 2019-12-20 (주)태성에스엔아이 가상 건설 시뮬레이션 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114217606A (zh) * 2021-11-15 2022-03-22 武汉港迪智能技术有限公司 一种门座起重机远程智能化控制系统及其方法
CN114217606B (zh) * 2021-11-15 2024-05-28 武汉港迪智能技术有限公司 一种门座起重机远程智能化控制系统及其方法
KR20230148023A (ko) * 2022-04-15 2023-10-24 한화오션 주식회사 가상현실 기반의 트랜스포터 교육방법
KR102664727B1 (ko) * 2022-04-15 2024-05-10 한화오션 주식회사 가상현실 기반의 트랜스포터 교육방법

Similar Documents

Publication Publication Date Title
Dhalmahapatra et al. Assessment of virtual reality based safety training simulator for electric overhead crane operations
CA2435222C (en) Remote control locomotive simulator
US5320538A (en) Interactive aircraft training system and method
KR101839113B1 (ko) 다중 접속을 통하여 다수의 훈련자의 개별적인 가상훈련공간의 인식과 공유된 가상작업공간에서 집단적이며 조직적인 협력훈련이 가능한 몰입식 네트워크 가상훈련 시스템의 클라이언트 시스템을 구성하는 네트워크 가상훈련 처리장치 및 이를 이용한 몰입식 네트워크 가상훈련 방법.
Juang et al. SimCrane 3D+: A crane simulator with kinesthetic and stereoscopic vision
KR101671320B1 (ko) 다중 접속을 통하여 다수의 훈련자의 개별적인 가상훈련공간의 인식과 공유된 가상작업공간에서 집단적이며 조직적인 협력훈련이 가능한 몰입식 네트워크 가상훈련 시스템의 클라이언트 시스템을 구성하는 네트워크 가상훈련 처리장치 및 이를 이용한 몰입식 네트워크 가상훈련 방법.
US20070048702A1 (en) Immersion-type live-line work training system and method
Jacobsen et al. Active personalized construction safety training using run-time data collection in physical and virtual reality work environments
KR102259762B1 (ko) 안전 사고 예방을 위한 가상 현실을 활용한 크레인 협동 작업 훈련 시스템
JP3715219B2 (ja) バーチャル現場訓練装置
KR20160020136A (ko) 가상현실과 rpg을 활용한 재난상황 대처 교육 시스템
CN110394779A (zh) 机器人的模拟装置
CN108922306A (zh) 一种针对物理实验的裸眼3d互动系统及方法
Nguyen et al. Mixed reality system for nondestructive evaluation training
KR102211108B1 (ko) Gmp 환경 모니터링을 위한 가상 현실 기반의 바이오 안전 캐비닛의 무균 입증 절차 교육 시스템
KR20190095849A (ko) 복합현실 장치를 이용한 동시 다지역 원격 교차제어 시스템 및 그 제어방법
CN109710077B (zh) 基于vr的虚拟物体碰撞判断方法、装置及机车实训系统
Lee et al. Goldeye: Enhanced spatial awareness for the visually impaired using mixed reality and vibrotactile feedback
Martínez-Gutiérrez et al. Convergence of virtual reality and digital twin technologies to enhance digital operators’ training in industry 4.0
Arévalo Arboleda et al. Exploring the visual space to improve depth perception in robot teleoperation using augmented reality: The role of distance and target’s pose in time, success, and certainty
Liu et al. Multi-user immersive environment for excavator teleoperation in construction
US20070271078A1 (en) Remote Control Locomotive Simulator
KR20160005841A (ko) 모션인식과 증강현실을 기반으로 하는 실시간 반응형 인체학습시스템
Grabowski Sense of touch in training tasks demanding high precision and short time of execution
KR20180127578A (ko) 수검자의 운전능력을 평가하기 위한 운전능력 평가 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant