KR20190013183A - 증강 현실 방법을 이용하여 장비를 원격 제어하는 가상 현실 구현 장치 및 그 방법 및 이를 이용한 관리 시스템 - Google Patents

증강 현실 방법을 이용하여 장비를 원격 제어하는 가상 현실 구현 장치 및 그 방법 및 이를 이용한 관리 시스템 Download PDF

Info

Publication number
KR20190013183A
KR20190013183A KR1020170097367A KR20170097367A KR20190013183A KR 20190013183 A KR20190013183 A KR 20190013183A KR 1020170097367 A KR1020170097367 A KR 1020170097367A KR 20170097367 A KR20170097367 A KR 20170097367A KR 20190013183 A KR20190013183 A KR 20190013183A
Authority
KR
South Korea
Prior art keywords
augmented reality
virtual
equipment
information
virtual reality
Prior art date
Application number
KR1020170097367A
Other languages
English (en)
Inventor
권도균
Original Assignee
권도균
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 권도균 filed Critical 권도균
Priority to KR1020170097367A priority Critical patent/KR20190013183A/ko
Publication of KR20190013183A publication Critical patent/KR20190013183A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 증강 현실로 구현되는 기준선 등을 기준으로 건설 장비의 작동 범위 및 작동 방법을 제공함으로써 원격에서 장비를 제어하는 가상 현실 구현 시스템 및 방법 및 이를 이용한 관리 시스템에 관한 것이다.

Description

증강 현실 방법을 이용하여 장비를 원격 제어하는 가상 현실 구현 장치 및 그 방법 및 이를 이용한 관리 시스템{VIRTUAL REALITY REALIZATION SYSTEM AND METHOD FOR REMOTE CONTROLLING THE MACHINERY USING THE AUGMENTED REALITY AND MANAGEMENT SYSTEM THEREOF}
본 발명은 증강 현실로 구현되는 기준선 등을 기준으로 건설 장비의 작동 범위 및 작동 방법을 제공함으로써 원격에서 장비를 제어하는 가상 현실 구현 시스템 및 방법 및 이를 이용한 관리 시스템에 관한 것이다.
선행 특허 문헌 : 대한민국 공개특허 10-2016-002856 (2016.03.02 공개)
본 발명은 기존의 원격 조정 장치가 가지는 문제점을 해결하기 위한 것으로서, 원격으로 장비, 특히 건설 장비의 주변 환경을 파악하면서 건설 장비를 제어하면서, 동시에 운전자가 작업 영역을 파악할 수 있는 건설 장비 원격 제어 장치를 제공하는 것을 주된 목적으로 한다.
이를 위하여 본 발명은 운전자가 장비를 원격으로 조작하고 운전자에게 가상 및 증강 현실을 제공하는 운전자 단말기, 운전자 단말기에 전달하는 증강 현실 및 가상 현실 정보를 제공하는 가상 및 증강 현실 제공부, 가상 및 증강 현실 제공부에 장비의 작업 영역 등의 작업 조건을 결정 및 제공하는 관리자 단말기, 장비의 주변 환경 정보를 상기 가상 및 증강 현실 제공부에 제공하는 주변 환경 감지부, 및 운전자의 조작에 따라 작업을 수행하는 장비를 포함하는 장비 원격 제어 시스템을 제공한다
본 발명에 따르면, 건설 장비의 운전자는 직접 장비에 탑승하지 않고도 원격으로 장비를 조작할 수 있기 때문에, 위험한 장소 등에서 장비에 직접 탑승하지 않고도 안전하게 장비를 조작할 수 있다. 또한, 원격의 제어 장소에서 다수의 운전자가 위치하기 때문에, 운전자들 사이의 의사 소통이나 작업 지시가 용이하다는 장점이 있다.
더 나아가, 본 발명에 따르면, 해당 작업자에게 개별적으로 작업 범위 및 영역을 증강현실로 보여주면서 작업을 진행할 수 있기 때문에, 기존에 작업자가 개인의 경험 및 노하우별로 차이가 났던 작업 수행 편차를 줄이고 체계적이고 통합적인 운전자 관리 시스템을 구축할 수 있다.
도 1은 본 발명에 따른 장비 원격 제어 시스템의 주요 구성 요소와 그 사이의 각종 정보 전달을 개략적으로 도시한 도면이다.
도 2는 본 발명에 따른 장비 원격 제어 시스템의 동작 방법을 단계별로 도시한 순서도이다.
도 3은 도 1의 주요 구성요소를 기능별 세부 구성요소별로 나누어 도시한 도면이다.
도 1은 본 발명에 따른 장비 원격 제어 시스템의 주요 구성 요소와 그 사이의 각종 정보 전달을 개략적으로 도시한 도면이다.
본 발명에 따른 장비 원격 제어 시스템은 운전자가 장비를 원격으로 조작하고 운전자에게 가상 및 증강 현실을 제공하는 운전자 단말기(100), 운전자 단말기에 전달하는 증강 현실 및 가상 현실 정보를 제공하는 가상 및 증강 현실 제공부(200), 가상 및 증강 현실 제공부에 장비의 작업 영역 등의 작업 조건을 결정 및 제공하는 관리자 단말기(300), 장비의 주변 환경 정보를 상기 가상 및 증강 현실 제공부(200)에 제공하는 주변 환경 감지부(400), 및 운전자의 조작에 따라 작업을 수행하는 장비(500)를 포함한다.
이하, 도 2를 참조하여 전체적인 본 시스템의 동작 방법을 설명한다.
먼저 주변 환경 감지부(400)는 장비의 주변 환경 또는 작업 대상이 되는 환경의 정보를 카메라 또는 센서부를 통해서 식별하여 이를 시각 정보 또는 공간의 크기 등을 나타내는 수치적인 정보(주변 환경 정보)로 변환하여 원격에 위치하는 가상 및 증강 현실 제공부(200)에 전달한다(주변 환경 감지 단계(S100)).
가상 및 증강 현실 제공부(200)는 1차적으로 상기 주변 환경 감지부(400)로부터 전달되는 주변 환경 정보를 수신하고, 이 중 장비의 주변 환경 중 시각 정보를 기초로 장비를 중심으로 하는 가상 현실을 구현한다(가상 현실 구현 단계(S200)). 여기서, "가상 현실"이란, 운전자의 입장에서 볼 때, 실제 탑승하고 있지 않는 장비에 마치 타고 있는 것과 같은 느낌을 받을 수 있는 360도 실시간의 가상 현실 감각을 제공한다는 점에서 "가상 현실"이란 단어를 사용한 것이다.
관리자 단말기는 관리자가 입력한 작업 조건을 상기 가상 및 증강 현실 제공부(200)에 전달한다(작업 조건 결정 단계(S300)). 단, 본 단계는 반드시 가상 현실 구현 단계 이후에 이루어지는 것은 아니며, 주변 환경 감지부(400)를 통해서 얻어지는 주변 환경 정보를 기준으로 이미 사전에 관리자가 입력해 놓을 수도 있다. 즉, 본 단계는 주변 환경 감지 단계(S100) 또는 가상 현실 구현 단계(S200)와는 독립적으로 위 2 단계 이전에 이루어질 수도 있고 위 2 단계와 동시에 이루어질 수도 있지만, 후술하는 증강 현실 매핑 단계(S400) 이전에 이루어져야만 한다.
가상 및 증강 현실 제공부(200)는 관리자 단말기로부터 전달되는 작업 조건 정보 및 공간 인식부를 통해서 전달되는 공간 정보를 기초로 상기 가상 현실 상에 상기 작업 조건을 공간 상에서 시각적으로 보일 수 있도록 증강 현실 방법을 통해 매핑한다(증강현실 매핑 단계(S400)).
이후 상기 증강 현실 정보가 매핑된 가상 현실 정보를 운전자 단말기에 전달하고 운전자 단말기는 이를 시각적으로 운전자에게 표시한다(운전자 단말기 상의 시각적 표시 단계(S500)).
이후 운전자는 위 가상 현실 상의 증강 현실 정보를 기준으로 조작부를 움직여 장비를 원격으로 제어하고, 장비가 원격으로 제어되는 영상을 상기 주변 환경 감지부를 통해서 다시 가상 현실로 실시간으로 제공받으면서 장비를 조작할 수 있다.
이를 통해서 본 발명에 따른 시스템은 현재 실시간으로 제공되는 장비의 주변 환경의 시각 정보를 기초로 하는 가상 현실 상에 작업 조건이 시각적으로 나타나기 때문에, 운전자는 어떤 부분을 정확하게 작업을 해야 하는지, 어디까지 작업을 해야 하는지를 눈으로 확인하면서 장비를 동작시킬 수 있다(운전자 조작 단계(S600)).
이하, 도 3을 참조하여 도 1의 주요 구성요소를 기능별 세부 구성요소별로 상세히 설명한다.
운전자 단말기(100)는 직접 상기 가상 및 증강 현실 제공부를 통해서 전달받는 작업 조건이 증강 현실로 매핑된 가상 현실 정보를 시각적으로 운전자에게 보여주는 디스플레이부(110) 및 운전자가 직접 핸들, 버튼, 래버 등의 조작 수단을 통해서 원격의 장비를 제어하는 조작부(130)를 포함한다.
운전자 단말기의 디스플레이부(110)는 바람직한 실시예로서, 가상 현실을 제공하는 HMD(Head Mounted Display)로서 사용자가 볼 수 있는 시야 각도를 감지하여 해당 시야 각도 상의 시각 정보를 디스플레이하는 장치가 바람직하지만, 가상 및 증강 현실 제공부로부터 전달되는 360도의 실시간 시각 정보를 제공하는 장치라면 어떤 장치라도 좋다. 바람직한 또 다른 실시예로서, 상기 디스플레이부(110)는 운전자의 주변을 360도로 복수의 디스플레이로 감싸서 하나의 폐쇄 공간을 제공하는 것도 좋다.
운전자 단말기의 조작부(130)는 실제 조작의 대상이 되는 장비의 조작 수단과 동일한 구성으로 이루어지는 것이 바람직하다. 예를 들어, 포크레인이 조작의 대상이 되는 장비인 경우, 기존 포크레인의 조작에 사용되는 복수의 레버 및 버튼 등으로 조작부가 구성될 수 있다. 이는 가상 및 증강 현실 하에서 실제 대상 장비를 조작하는 것과 같은 사용자 경험을 제공하고 기존 장비의 숙련자도 쉽게 본 시스템에 따른 조작부를 다룰 수 있도록 하기 위함이다.
가상 및 증강 현실 제공부(200)는 작업 환경 감지부를 통해서 전달되는 장비의 주변 환경, 예를 들어 작업 지역의 지리적 정보, 작업 대상물의 형태, 날씨 상태 등 장비 주변에 시각적으로 인지할 수 있는 360도의 실시간 시각 정보를 운전자 단말기에 제공하는 가상 현실 제공부(210), 및 관리자 단말기로부터 전달받는 소정의 작업 조건 정보를 기초로 해당 작업 조건을 상기 가상 현실 정보 상에 시각적으로 매핑하여 작업 조건이 증강 현실로 표시되도록 하는 증강 현실 제공부(230)를 포함한다. 특히, 상기 증강 현실 제공부(230)의 경우, 작업 조건을 가상 현실 상에 매핑할 때, 후술하는 공간 인식부(430)를 통해서 얻어지는 공간 정보를 기초로 매핑하는 것이 바람직하다.
가상 현실 제공부(210)는 장비 주변 환경 감지부(400)로부터 전달받는 장비 주변, 특히 360도의 실시간 시각 정보를 작업자 단말기에 제공하는 구성이고, 증강 현실 제공부(230) 역시 카메라에서 촬영된 시각 정보 상에 특정 정보를 시각적으로 매핑하는 구성으로서, 가상 현실 및 증강 현실을 구현하는 기본적인 방법은 이미 공지된 기술인 바, 본 명세서에서 자세한 설명은 생략한다.
관리자 단말기(300)는 상기 가상 및 증강 현실 제공부(200), 특히 증강 현실 제공부(230)에 작업을 수행함에 있어서 기준이 되는 작업 조건 정보을 결정한다. 상기 작업 조건 정보는 이후 가상 현실 상에 시각적으로 매핑(증강 현실)되어 작업자가 시각적으로 해당 작업 조건 정보를 인식하면서 장비를 원격 조정한다.
작업 조건이란, 예를 들어, 장비가 굴착 장비이고 특정 작업 대상물 (예를 들어, 언덕)을 10 m 굴착하여야 한다면, 해당 언덕에서 10m가 되는 목표 영역을 붉은 색 선 또는 영역으로 표시하여, 작업자가 굴착 장비를 원격으로 조작하여 굴착을 하다보면 해당 붉은 색 선 또는 영역이 나오도록 증강 현실로 시각화시킬 수 있다. 이로써, 작업자는 목표 영역까지 작업이 달성되었음을 직관적 및 시각적으로 알 수 있다.
주변 환경 감지부(400)는 장비가 위치하는 주변 환경에 대한 각종 정보를 감지하는 구성으로서, 장비에 부착되는 카메라부(410) 및 장비에 부착되거나 별도로 구비되는 공간 감지부(430)를 포함할 수 있다.
특히, 주변 환경 정보 중 시각적인 정보는 가상 현실을 구현할 때 반드시 필요한 필수 구성인바, 예를 들어 장비(500)에 부착되는 하나 이상의 카메라부(410)를 통해서 주변 환경에 대한 시각적 정보를 실시간으로 촬영하여 가상 현실 제공부(210)으로 전달하는 것이 바람직하다. 바람직한 실시예로서, 카메라부(410)는 복수의 카메라부가 서로 다른 영역을 촬영하고 이를 취합하여 360도의 시각 정보를 전달할 수도 있다. 또 다른 바람직한 실시예로서, 상기 카메라부(410)는 단일의 카메라로서 조작자의 시야 각도를 인식하여 조작자가 보고 있는 시야 쪽으로 360도 촬영 각도를 변경할 수 있도록 구성하여도 좋다. 본 실시예는 조작자 단말기가 HMD인 경우에 보다 효과적이다.
상기 주변 환경 감지부의 공간 감지부(430)는 장비가 위치하는 지점을 중심으로 주변 공간의 지리적 정보를 감지하는 장비로서, 예를 들어, 3D 공간 스캐너 등이 사용될 수 있다.
바람직한 실시예에 따르면, 상기 공간 감지부(430)를 통해서 얻어지는 공간 정보는 카메라부(410)를 통해서 얻어지는 시각 정보와 결합하여 시각적으로 보여지는 대상물의 크기, 지리적 위치 등을 인식할 수 있다. 만약 주변 공간이 상대적으로 큰 개방된 공간이라면 드론 등을 통해서 전체적인 공간을 인식하는 것도 좋고, 레이저, 적외선, 초음파 등의 반사를 통해서 공간을 인식하는 방법도 좋다. 이와 같은 방법으로 얻어지는 공간 정보는 특히 증강 현실 제공부(230)으로 전달되어 관리자 단말기로부터 전달되는 작업 조건을 상기 공간 정보에 적용하여 증강 현실로서 해당 공간 정보 상에 작업의 대상 및 목적이 되는 공간을 시각적으로 표시할 수 있도록 한다.
단, 실시간으로 계속적으로 촬영을 하는 카메라부와 달리 공간 인식부의 경우, 반드시 실시간으로 공간을 인식하여야 할 필요는 없고, 작업을 시작할 때 또는 소정의 시간 간격을 두고 측정하여도 좋다.
장비(500)는 실제 운전자가 조작하는 작업을 수행하는 장치로서, 바람직한 실시예로서, 포크레인이나 크레인 등의 건설 장비일 수 있다. 또 다른 바람직한 실시예로서, 폭팔물을 제거하는 장치나 터널 등의 사고 현장과 같이 직접 사람이 들어가서 작업하기에 위험한 장소에서 작업을 수행하는 장비일 수 있다.
100 : 운전자 단말기 110 : 디스플레이부
130 : 조작부
200 : 가상 및 증강 현실 제공부 210 : 가상 현실 제공부
230 : 증강 현실 제공부
300 : 관리자 단말기
400 : 주변 환경 감지부 410 : 카메라부
430 : 공간 감지부
500 : 장비

Claims (1)

  1. 원격으로 장비를 제어하는 가상 현실 구현 시스템 및 방법 및 이를 이용한 관리 시스템으로서,
    운전자가 장비를 원격으로 조작하고 운전자에게 가상 및 증강 현실을 제공하는 운전자 단말기;
    상기 운전자 단말기에 전달하는 상기 증강 현실 및 가상 현실 정보를 제공하는 가상 및 증강 현실 제공부;
    상기 가상 및 증강 현실 제공부에 상기 장비의 작업 영역 등의 작업 조건을 결정 및 제공하는 관리자 단말기;
    상기 장비의 주변 환경 정보를 상기 가상 및 증강 현실 제공부에 제공하는 주변 환경 감지부;및
    상기 운전자의 조작에 따라 작업을 수행하는 장비;를 포함하는 증강 현실 방법을 이용하여 장비를 원격 제어하는 가상 현실 구현 장치 및 그 방법 및 이를 이용한 관리 시스템.
KR1020170097367A 2017-07-31 2017-07-31 증강 현실 방법을 이용하여 장비를 원격 제어하는 가상 현실 구현 장치 및 그 방법 및 이를 이용한 관리 시스템 KR20190013183A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170097367A KR20190013183A (ko) 2017-07-31 2017-07-31 증강 현실 방법을 이용하여 장비를 원격 제어하는 가상 현실 구현 장치 및 그 방법 및 이를 이용한 관리 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170097367A KR20190013183A (ko) 2017-07-31 2017-07-31 증강 현실 방법을 이용하여 장비를 원격 제어하는 가상 현실 구현 장치 및 그 방법 및 이를 이용한 관리 시스템

Publications (1)

Publication Number Publication Date
KR20190013183A true KR20190013183A (ko) 2019-02-11

Family

ID=65370028

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170097367A KR20190013183A (ko) 2017-07-31 2017-07-31 증강 현실 방법을 이용하여 장비를 원격 제어하는 가상 현실 구현 장치 및 그 방법 및 이를 이용한 관리 시스템

Country Status (1)

Country Link
KR (1) KR20190013183A (ko)

Similar Documents

Publication Publication Date Title
US11421404B2 (en) Construction machine
US11548768B2 (en) Remote control device for crane, construction machine, and/or industrial truck
US11939747B2 (en) Display device, shovel, information processing apparatus
JP6586834B2 (ja) 作業支援方法、作業支援プログラム、及び作業支援システム
AU2007252840B2 (en) Methods and system for communication and displaying points-of-interest
US20190211532A1 (en) Construction machine
US9538131B2 (en) Remote behavior navigation system and processing method thereof
JP6071746B2 (ja) 情報提供装置及び情報提供システム
RU2018138301A (ru) Устройство дистанционного управления для крана, строительной машины и/или автопогрузчика
NO334183B1 (no) Metode og anordning for å kontrollere og overvåke det omliggende område til et ubemannet luftfartøy
JP2011198150A (ja) ヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法
US20210025131A1 (en) Remote control system and main control device
JP2010060344A (ja) 空間情報表示装置及び支援装置
US12054915B2 (en) Work assisting server and work assisting system
KR20190013183A (ko) 증강 현실 방법을 이용하여 장비를 원격 제어하는 가상 현실 구현 장치 및 그 방법 및 이를 이용한 관리 시스템
KR102279247B1 (ko) 증강 현실 방법을 이용하여 장비를 원격 제어하는 가상 현실 구현 장치 및 그 방법 및 이를 이용한 관리 시스템
JP3735708B2 (ja) 遠隔環境ガイド装置
CN112623160A (zh) 水下交互控制器与潜水员辅助系统
KR102480986B1 (ko) 복합현실 표시장치를 이용한 멀티 유저 운영시스템 및 그 방법
EP3218777B1 (en) A method of controlling a subsea platform, a system and a computer program product
WO2020159246A2 (ko) 증강 현실 방법을 이용하여 장비를 원격 제어하는 가상 현실 구현 장치 및 그 방법 및 이를 이용한 관리 시스템
KR101975556B1 (ko) 로봇의 관측 시점 제어 장치
JP5932889B2 (ja) ヘッドマウント型拡張現実映像提示装置及び仮想表示物操作方法
JP7109253B2 (ja) 地図情報作成装置、地図情報表示システム、及び、地図情報表示方法
AU2014277672A1 (en) System and method for headgear displaying position of machine implement