KR102422316B1 - System and method for remotely controlling a remote construction machine through a commercial mobile communication network - Google Patents

System and method for remotely controlling a remote construction machine through a commercial mobile communication network Download PDF

Info

Publication number
KR102422316B1
KR102422316B1 KR1020210146639A KR20210146639A KR102422316B1 KR 102422316 B1 KR102422316 B1 KR 102422316B1 KR 1020210146639 A KR1020210146639 A KR 1020210146639A KR 20210146639 A KR20210146639 A KR 20210146639A KR 102422316 B1 KR102422316 B1 KR 102422316B1
Authority
KR
South Korea
Prior art keywords
remote control
virtual private
private network
control device
construction machine
Prior art date
Application number
KR1020210146639A
Other languages
Korean (ko)
Inventor
김영한
Original Assignee
주식회사 다산네트웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 다산네트웍스 filed Critical 주식회사 다산네트웍스
Priority to KR1020210146639A priority Critical patent/KR102422316B1/en
Application granted granted Critical
Publication of KR102422316B1 publication Critical patent/KR102422316B1/en

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2058—Electric or electro-mechanical or mechanical control devices of vehicle sub-units
    • E02F9/2095—Control of electric, electro-mechanical or mechanical equipment not otherwise provided for, e.g. ventilators, electro-driven fans
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/12—Arrangements for remote connection or disconnection of substations or of equipment thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46—Interconnection of networks
    • H04L12/4641—Virtual LANs, VLANs, e.g. virtual private networks [VPN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)

Abstract

The present invention relates to a system for remotely controlling a remote construction machine through a commercial communication network and a method thereof. The construction machine remote control system of the present invention remotely controls the construction machine by establishing a virtual private network connection between the construction machine and the remote control apparatus. However, if the construction machine and the remote control apparatus are not directly connected to the virtual private network, the construction machine remote control system establishes virtual private network connection via a virtual private network relay server so that the construction machine is remotely controlled. The construction machine remote control system comprises: the remote control apparatus; a video collection unit; a telematics gateway unit; and an operation server.

Description

상용 통신망을 통해 원격지 건설기계를 원격 제어하는 시스템 및 방법 { SYSTEM AND METHOD FOR REMOTELY CONTROLLING A REMOTE CONSTRUCTION MACHINE THROUGH A COMMERCIAL MOBILE COMMUNICATION NETWORK }A system and method for remotely controlling a remote construction machine through a commercial communication network { SYSTEM AND METHOD FOR REMOTELY CONTROLLING A REMOTE CONSTRUCTION MACHINE THROUGH A COMMERCIAL MOBILE COMMUNICATION NETWORK }

본 발명은 원격지에 위치한 건설기계를 원격 제어하는 기술에 관한 것으로, 보다 상세하게는 상용 통신망을 사용하는 장치 사이에 가상 사설망을 연결하여 원격지에 위치한 건설기계를 제어하는 시스템 및 건설기계를 제어하는 방법에 관한 것이다. The present invention relates to a technology for remotely controlling a construction machine located at a remote location, and more particularly, a system for controlling a construction machine located at a remote location by connecting a virtual private network between devices using a commercial communication network, and a method for controlling the construction machine is about

굴삭기나 불도저 등과 같은 건설기계는 작업자가 운전석에 직접 탑승하여 조종장치를 조절하여 다양한 작업을 수행한다. 이러한 건설기계는 운용 특성상 건설현장, 재해현장 등 작업위치 및 환경 등이 열악한 경우가 많아 작업자의 탑승 조종이 위험한 상황이 종종 발생한다.In construction machines such as excavators and bulldozers, a worker directly gets on the driver's seat and controls a control device to perform various tasks. Due to the nature of the operation of these construction machines, the working location and environment such as construction sites and disaster sites are often poor, so the operator's boarding and maneuvering is often dangerous.

원격지에서 건설기계를 조종할 수 있는 시스템이 요구되고 있다. 최근 텔레매틱스 장치가 대형 굴삭기를 비롯한 건설기계에 텔레매틱스 장치가 장착되고 있어 이러한 장치를 이용한 원격 제어 시도가 많이 수행되고 있다.There is a need for a system that can control construction machinery from a remote location. Recently, as telematics devices are being installed in construction machines including large excavators, many attempts have been made to remotely control the telematics devices using such devices.

건설기계의 텔레매틱스 장치가 상용 통신망을 사용하더라도 장치에 부여되는 사설 IP 주소로 인해 원격 제어 장치에서 IP 네트워크를 통해 건설기계에 설치된 텔레매틱스 장치에 접속하여 원격 제어를 하는 것은 많은 어려움이 따른다. 이는 일반적으로 상용 통신망을 사용하는 경우 상용 통신망을 사용하는 장치가 통신을 개시하는 것은 용이하나, 상용 통신망 외부의 장치가 상용 통신망을 사용하는 장치에게 통신 연결하거나 상용 통신망 내의 장치간 P2P 통신은 실질적으로 불가능하기 때문이다.Even if the telematics device of the construction machine uses a commercial communication network, it is difficult to remotely control the telematics device installed in the construction machine through the IP network from the remote control device due to the private IP address assigned to the device. In general, when a commercial communication network is used, it is easy for a device using a commercial communication network to initiate communication. Because it is impossible.

전용망을 구성하여 이러한 문제를 해결할 수도 있으나 건설기계는 고정된 위치에서 작업하는 것이 아니므로 전용망 구성이 용이하지 않은 문제점이 있다.This problem can be solved by configuring a dedicated network, but there is a problem in that it is not easy to configure a dedicated network because construction equipment does not work in a fixed location.

건설기계의 이동성을 고려할 때 상용 통신망을 사용하더라도 건설기계의 텔레매틱스 장치를 활용하여 P2P(Peer to Peer) 통신이 가능하게 하는 방법이 필요하다.Considering the mobility of construction equipment, even if a commercial communication network is used, a method for enabling P2P (Peer to Peer) communication using the telematics device of the construction equipment is required.

본 발명은 원격지의 제어 장치에서 상용 통신망을 통해 건설기계를 제어하는 시스템 및 방법을 제공하는 것을 목적으로 한다.An object of the present invention is to provide a system and method for controlling a construction machine through a commercial communication network in a remote control device.

본 발명의 일 양상에 따른 건설기계 원격 제어 시스템은 원격 제어 장치와, 영상 수집부와, 텔레매틱스 게이트웨이 유닛과, 운영서버를 포함한다.A construction machine remote control system according to an aspect of the present invention includes a remote control device, an image collection unit, a telematics gateway unit, and an operation server.

영상 수집부와, 텔레매틱스 게이트웨이 유닛은 건설기계에 장착되며, 이때의 건설기계는 원격 제어 장치를 통한 원격 제어로 작동이 가능한 기계이다. The image collection unit and the telematics gateway unit are mounted on a construction machine, wherein the construction machine is a machine that can be operated by remote control through a remote control device.

영상 수집부는 건설기계에 설치된 하나 이상의 카메라를 통해 작업장소의 영상정보를 생성하여 전송한다.The image collection unit generates and transmits image information of the work place through one or more cameras installed in the construction machine.

텔레매틱스 게이트웨이 유닛은 건설기계에 장착되어 건설기계의 내부 네트워크 및 상용 통신망에 연결된다. 텔레매틱스 게이트웨이 유닛은 원격 제어 장치와 설정된 가상 사설망(VPN) 연결을 통해 원격 제어 장치로부터 건설기계를 작동시키는 제어신호 메시지를 수신하여 처리하고, 영상 수집부로부터 건설기계의 내부 네트워크를 통해 수신한 영상정보를 원격 제어 장치로 송신한다.The telematics gateway unit is mounted on the construction equipment and connected to the construction equipment's internal network and commercial communication network. The telematics gateway unit receives and processes a control signal message for operating the construction machine from the remote control device through a virtual private network (VPN) connection established with the remote control device, and image information received from the image collection unit through the internal network of the construction machine to the remote control device.

원격 제어 장치는 원격 제어하려는 텔레매틱스 게이트웨이 유닛과 가상 사설망 연결을 설정하는 통신부와, 통신부를 통해 수신한 작업장소의 영상정보를 표시하는 영상 출력부와, 건설기계를 원격으로 작동시키는 제어 신호 메시지를 발생시키는 조종부를 포함한다.The remote control device includes a communication unit that establishes a virtual private network connection with the telematics gateway unit to be remotely controlled, an image output unit that displays image information of the workplace received through the communication unit, and a control signal message for remotely operating the construction machine. Includes a control unit that lets

운영서버는 텔레매틱스 게이트웨이 유닛과 원격 제어 장치로부터 식별 아이디, 접속 정보를 포함하는 등록정보를 수신하여 등록하고 관리하는 등록관리부와, 원격 제어 장치와 텔레매틱스 게이트웨이 유닛에 가상 사설망 연결 명령을 전송하는 연결관리부를 포함한다.The operation server includes a registration management unit that receives, registers, and manages registration information including identification ID and access information from the telematics gateway unit and the remote control device, and a connection management unit that transmits a virtual private network connection command to the remote control device and the telematics gateway unit. include

본 발명의 부가적 양상에 따르면, 건설기계 원격 제어 시스템은 가상 사설망 릴레이 서버를 더 포함할 수 있다.According to an additional aspect of the present invention, the construction machine remote control system may further include a virtual private network relay server.

가상 사설망 릴레이 서버는 원격 제어 장치와 제1 가상 사설망 연결을 설정하고 텔레매틱스 게이트웨이 유닛과 제2 가상 사설망 연결을 설정한 상태에서 제1 가상 사설망과 제2 가상 사설망 사이의 패킷을 릴레이한다.The virtual private network relay server establishes a first virtual private network connection with the remote control device and relays packets between the first virtual private network and the second virtual private network in a state in which the telematics gateway unit and the second virtual private network connection are established.

이때, 운영서버의 연결관리부는 원격 제어 장치와 가상 사설망 릴레이 서버에 제1 가상 사설망 연결 명령을 전송하고 텔레매틱스 게이트웨이 유닛과 가상 사설망 릴레이 서버에 제2 가상 사설망 연결 명령을 전송하여 원격 제어 장치와 텔레매틱스 게이트웨이 유닛의 가상 사설망을 가상 사설망 릴레이 서버를 통해 경유시킬 수 있다.At this time, the connection management unit of the operation server transmits a first virtual private network connection command to the remote control device and the virtual private network relay server, and transmits a second virtual private network connection command to the telematics gateway unit and the virtual private network relay server, so that the remote control device and the telematics gateway The unit's virtual private network may be routed through the virtual private network relay server.

본 발명의 일 실시 예에 따른 건설기계 원격 제어 방법은 텔레매틱스 게이트웨이 유닛과 원격 제어 장치가 식별 아이디, 접속 정보를 포함하는 등록정보를 전송하여 운영서버에 등록하는 등록 단계와, 운영서버가 사용자 인터페이스를 통해 선택된 원격 제어 장치와 텔레매틱스 게이트웨이 유닛에 가상 사설망 연결 명령을 전송하는 연결 명령 단계와, 원격 제어 장치와 텔레매틱스 게이트웨이 유닛이 가상 사설망 연결을 설정하는 연결 설정 단계와, 텔레매틱스 게이트웨이 유닛이 카메라를 통해 촬영한 작업장소의 영상 정보를 가상 사설망 연결을 통해 원격 제어 장치로 전송하는 영상 전송 단계와, 원격 제어 장치가 건설기계를 원격으로 작동시키는 제어 신호 메시지를 전송하는 원격 제어 단계를 포함한다. 이때, 연결 설정 단계는 원격 제어 장치가 운영서버로부터 수신한 가상 사설망 연결 명령에 포함된 텔레매틱스 게이트웨이 유닛의 접속 정보를 사용하여 가상 사설망 연결을 설정한다.A construction machine remote control method according to an embodiment of the present invention includes a registration step in which a telematics gateway unit and a remote control device transmit registration information including identification ID and access information to register with an operation server, and the operation server configures a user interface A connection command step of sending a virtual private network connection command to the selected remote control device and the telematics gateway unit through a connection setting step, a connection establishment step of establishing a virtual private network connection between the remote control device and the telematics gateway unit, and The method includes an image transmission step of transmitting image information of the work place to a remote control device through a virtual private network connection, and a remote control step of transmitting a control signal message for remotely operating the construction machine by the remote control device. In this case, in the connection setting step, the remote control device establishes a virtual private network connection by using the connection information of the telematics gateway unit included in the virtual private network connection command received from the operation server.

본 발명의 또 다른 실시 예에 따르면, 건설기계 원격 제어 방법은 연결 명령 단계 수행 전 원격 제어 장치와 텔레매틱스 게이트웨이 유닛의 가상 사설망 연결 가능성을 판단하는 단계를 더 포함할 수 있다.According to another embodiment of the present invention, the method for remote control of a construction machine may further include determining the possibility of connecting the remote control device and the telematics gateway unit to a virtual private network before performing the connection command step.

원격 제어 장치와 텔레매틱스 게이트웨이 유닛 사이의 가상 사설망 연결이 가능하지 않은 것으로 판단되면 연결 명령 단계는 운영서버가 원격 제어 장치와 가상 사설망 릴레이 서버에 제1 가상 사설망 연결 명령을 전송하고 텔레매틱스 게이트웨이 유닛과 가상 사설망 릴레이 서버에 제2 가상 사설망 연결 명령을 전송하여 원격 제어 장치와 텔레매틱스 게이트웨이 유닛의 가상 사설망을 가상 사설망 릴레이 서버를 통해 경유시키는 단계이고, 연결 설정 단계는 원격 제어 장치와 가상 사설망 릴레이 서버가 제1 가상 사설망 연결을 설정하고, 텔레매틱스 게이트웨이 유닛과 가상 사설망 릴레이 서버가 제2 가상 사설망 연결을 설정하는 단계이다.If it is determined that the virtual private network connection between the remote control device and the telematics gateway unit is not possible, in the connection command step, the operation server sends a first virtual private network connection command to the remote control device and the virtual private network relay server, and the telematics gateway unit and the virtual private network sending a second virtual private network connection command to the relay server to pass the virtual private network of the remote control device and the telematics gateway unit through the virtual private network relay server, and in the connection establishment step, the remote control device and the virtual private network relay server perform the first virtual This is a step in which a private network connection is established, and the telematics gateway unit and the virtual private network relay server establish a second virtual private network connection.

본 발명에 의하면 상용 통신망을 사용하는 건설기계의 텔레매틱스 장치를 통해 원격지의 제어 장치에서 건설기계를 제어할 수 있다.According to the present invention, it is possible to control a construction machine from a remote control device through a telematics device for a construction machine using a commercial communication network.

도 1은 본 발명의 일 양상에 따른 건설기계 원격 제어를 위한 원격 제어 장치와 건설기계 사이의 가상 사설망 연결의 예시이다.
도 2는 본 발명의 또 다른 양상에 따라 가상 사설망 릴레이 서버를 이용하여 원격 제어 장치와 건설기계 사이의 가상 사설망을 연결하는 예시이다.
도 3은 본 발명의 건설기계 원격 제어 시스템의 블록도이다.
도 4는 원격 제어 장치와 텔레매틱스 게이트웨이 유닛 사이에 직접 가상 사설망 연결을 설정하여 원격 제어하는 절차도이다.
도 5는 원격 제어 장치와 텔레매틱스 게이트웨이 유닛이 가상 사설망 릴레이 서버를 경유하는 가상 사설망 연결을 설정하여 원격 제어하는 절차도이다.1 is an example of a virtual private network connection between a remote control device for remote control of a construction machine and a construction machine according to an aspect of the present invention.
2 is an example of connecting a virtual private network between a remote control device and a construction machine using a virtual private network relay server according to another aspect of the present invention.
3 is a block diagram of the construction machine remote control system of the present invention.
4 is a flowchart of remote control by establishing a direct virtual private network connection between the remote control device and the telematics gateway unit.
5 is a flowchart illustrating a procedure for remotely controlling a remote control device and a telematics gateway unit by establishing a virtual private network connection via a virtual private network relay server.

전술한, 그리고 추가적인 양상들은 첨부된 도면을 참조하여 설명하는 실시 예들을 통해 구체화된다. 각 실시 예들의 구성 요소들은 다른 언급이나 상호간에 모순이 없는 한 실시 예 내에서 다양한 조합이 가능한 것으로 이해된다. 블록도의 각 블록은 어느 경우에 있어서 물리적인 부품을 표현할 수 있으나 또 다른 경우에 있어서 하나의 물리적인 부품의 기능의 일부 혹은 복수의 물리적인 부품에 걸친 기능의 논리적인 표현일 수 있다. 때로는 블록 혹은 그 일부의 실체는 프로그램 명령어들의 집합(set)일 수 있다. 이러한 블록들은 전부 혹은 일부가 하드웨어, 소프트웨어 혹은 이들의 결합에 의해 구현될 수 있다.The foregoing and additional aspects are embodied through the embodiments described with reference to the accompanying drawings. It is understood that various combinations are possible within the embodiments as long as there is no contradiction between the elements of each embodiment. Each block in the block diagram may in some cases represent a physical part, but in other cases may be a part of the function of one physical part or a logical representation of a function across a plurality of physical parts. Sometimes a block or part of an entity may be a set of program instructions. All or a part of these blocks may be implemented by hardware, software, or a combination thereof.

도 1은 본 발명의 일 양상에 따른 건설기계 원격 제어를 위한 원격 제어 장치(120)와 건설기계 사이의 가상 사설망 연결의 예시이고, 도 3은 본 발명의 건설기계 원격 제어 시스템의 블록도이다. 본 발명의 일 양상에 따른 건설기계 원격 제어 시스템은 원격 제어 장치(120)와, 영상 수집부와, 텔레매틱스 게이트웨이 유닛(100)과, 운영서버(140)를 포함한다.1 is an example of a virtual private network connection between a remote control device 120 for remote control of a construction machine and a construction machine according to an aspect of the present invention, and FIG. 3 is a block diagram of a remote control system for a construction machine of the present invention. A construction machine remote control system according to an aspect of the present invention includes a remote control device 120 , an image collection unit, a telematics gateway unit 100 , and an operation server 140 .

건설기계는 중장비라고 하며 불도저, 굴삭기 등의 기계이다. 본 발명이 원격 제어하려는 건설기계에는 상용 통신망인 이동통신망을 통해 인터넷 연결이 가능한 텔레매틱스 게이트웨이 유닛(100)이 장착되어 있다. 원격 제어 장치(120)는 건설기계에 장착된 텔레매틱스 게이트웨이 유닛(100)을 이용하여 상용 통신망을 통해 원격 제어로 건설기계를 작동시킨다. Construction equipment is called heavy equipment and is a machine such as a bulldozer and an excavator. A telematics gateway unit 100 capable of connecting to the Internet through a mobile communication network, which is a commercial communication network, is mounted on a construction machine to be remotely controlled by the present invention. The remote control device 120 operates the construction machine by remote control through a commercial communication network using the telematics gateway unit 100 mounted on the construction machine.

본 발명의 건설기계 원격 제어 시스템은 원격 제어 장치(120)로 원격 제어를 할 수 있는 건설기계를 적어도 하나 이상 포함할 수 있으며, 이들 건설기계에는 상용 통신망에 연결된 텔레매틱스 게이트웨이 유닛(100)이 장착되어 있다.The construction machine remote control system of the present invention may include at least one construction machine that can be remotely controlled by the remote control device 120 , and these construction machines are equipped with a telematics gateway unit 100 connected to a commercial communication network. have.

영상 수집부는 건설기계에 설치된 하나 이상의 카메라를 통해 작업장소의 영상정보를 생성하여 전송한다. 카메라는 건설기계의 소정 위치에 하나 이상 설치되어 작업장소의 영상을 촬영하며, 영상 수집부는 촬영된 영상으로부터 영상정보를 생성한다. 영상 수집부는 원격지의 작업자가 마치 현장에서 건설기계에 탑승하여 조종하는 것과 같은 영상을 제공하기 위하여 건설기계 주변이 촬영된 영상을 수집한다. 영상 수집부는 건설기계의 내부 네트워크를 통해 텔레매틱스 게이트웨이 유닛(100)과 통신한다.The image collection unit generates and transmits image information of the work place through one or more cameras installed in the construction machine. One or more cameras are installed at a predetermined position of the construction machine to capture an image of the work place, and the image collecting unit generates image information from the captured image. The image collection unit collects images taken around the construction machine in order to provide an image as if a worker in a remote location boarded and manipulated the construction machine at the site. The image collection unit communicates with the telematics gateway unit 100 through the internal network of the construction machine.

텔레매틱스 게이트웨이 유닛(Telematics Gateway Unit, TGU, 100)은 일종의 텔레매틱스 장치이다. 텔레매틱스 게이트웨이 유닛(100)은 상용 통신망에 접속되어 있다. 상용 통신망의 예로 3G 이동통신망, 4G LTE 이동통신망, 5G 이동통신망 등이 있다. 텔레매틱스 게이트웨이 유닛(100)은 상용 통신망 즉, 이동통신망에 접속되어 건설기계에 인터넷 연결 서비스를 제공한다. 또한, 텔레매틱스 게이트웨이 유닛(100)은 건설기계의 내부 네트워크에 연결되어 건설기계의 다양한 전자 제어 유닛(ECU)과 통신한다. 이때, 텔레매틱스 게이트웨이 유닛(100)은 전자 제어 유닛과 직접 통신할 수도 있지만, 건설기계의 주 제어 유닛을 통해 통신할 수도 있다.The Telematics Gateway Unit (TGU, 100) is a kind of telematics device. The telematics gateway unit 100 is connected to a commercial communication network. Examples of commercial communication networks include 3G mobile communications networks, 4G LTE mobile communications networks, and 5G mobile communications networks. The telematics gateway unit 100 is connected to a commercial communication network, that is, a mobile communication network, and provides an Internet connection service to the construction machine. In addition, the telematics gateway unit 100 is connected to the internal network of the construction machine to communicate with various electronic control units (ECUs) of the construction machine. In this case, the telematics gateway unit 100 may communicate directly with the electronic control unit, or may communicate through the main control unit of the construction machine.

건설기계의 내부 네트워크는 CAN(Controller Area Network), 이더넷, FlexRay, LIN(Local Interconnect Network) 등 중 어느 하나일 수 있지만, 이더넷이 사용되는 것이 바람직하며 상위 계층으로 IP 네트워크가 사용되는 것이 바람직하다.The internal network of the construction machine may be any one of CAN (Controller Area Network), Ethernet, FlexRay, LIN (Local Interconnect Network), etc., but Ethernet is preferably used and an IP network is preferably used as an upper layer.

상용 통신망을 통해 인터넷 망과 연결된 텔레매틱스 게이트웨이 유닛(100)이 원격지의 원격 제어 장치(120)가 가상 사설망을 통해 전송한 건설기계 제어신호 메시지를 수신하여 건설기계의 내부 네트워크를 통해 특정 전자 제어 유닛으로 전달하여 건설기계가 원격으로 제어되도록 한다.The telematics gateway unit 100 connected to the Internet network through the commercial communication network receives the construction machine control signal message transmitted from the remote control device 120 through the virtual private network and sends it to a specific electronic control unit through the internal network of the construction machine. This allows the construction machinery to be remotely controlled.

상용 통신망에 접속되는 텔레매틱스 게이트웨이 유닛(100)은 통신망 사업자로부터 공인 IP 주소를 부여받는 것이 아니라 사설 IP 주소를 부여받는다. 따라서, 원격 제어 장치(120)가 텔레매틱스 게이트웨이 유닛(100)에 부여된 IP 주소를 알아내더라도 해당 텔레매틱스 게이트웨이 유닛(100)에 직접 메시지를 전달할 수 없는 문제가 발생된다. 즉, 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100) 사이에 P2P 통신이 불가능한 문제가 발생된다.The telematics gateway unit 100 connected to the commercial communication network is provided with a private IP address rather than a public IP address from a communication network operator. Accordingly, even if the remote control device 120 finds out the IP address assigned to the telematics gateway unit 100 , there is a problem that the message cannot be directly transmitted to the corresponding telematics gateway unit 100 . That is, there is a problem that P2P communication is impossible between the remote control device 120 and the telematics gateway unit 100 .

이러한 문제점을 해결하기 위하여 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)은 가상 사설망(Virtual Private Network, VPN) 연결을 설정 즉, 터널링(Tunneling)을 사용한다. 이때, 사용되는 터널링 프로토콜은 GRE(Generic Routing Encapsulation), IPSec(IP Security Protocol)과 같은 3계층 터널링 프로토콜일 수 있다.In order to solve this problem, the remote control device 120 and the telematics gateway unit 100 establish a virtual private network (VPN) connection, that is, use tunneling. In this case, the tunneling protocol used may be a three-layer tunneling protocol such as Generic Routing Encapsulation (GRE) and IP Security Protocol (IPSec).

텔레매틱스 게이트웨이 유닛(100)은 원격 제어 장치(120)와 가상 사설망 연결을 설정한 후 설정된 가상 사설망 연결을 통해 원격 제어 장치(120)로부터 건설기계를 작동시키는 제어신호 메시지를 수신한다. 또한, 텔레매틱스 게이트웨이 유닛(100)은 영상 수집부를 통해 생성된 영상정보를 내부 네트워크를 통해 수신하여 가상 사설망 연결 즉, VPN 터널을 통해 원격 제어 장치(120)로 송신한다.After establishing a virtual private network connection with the remote control device 120 , the telematics gateway unit 100 receives a control signal message for operating the construction machine from the remote control device 120 through the established virtual private network connection. Also, the telematics gateway unit 100 receives the image information generated through the image collection unit through an internal network and transmits it to the remote control device 120 through a virtual private network connection, that is, a VPN tunnel.

도 1은 원격 제어 장치#2(120_2)와 건설기계#2의 텔레매틱스 게이트웨이 유닛#2(TGU#1, 100_1) 사이에 가상 사설망 연결이 설정된 예를 도시하고 있다.1 illustrates an example in which a virtual private network connection is established between the remote control device #2 (120_2) and the telematics gateway unit #2 (TGU#1, 100_1) of the construction machine #2.

원격 제어 장치(120)는 통신부(121)와, 영상 출력부(123)와, 조종부(125)를 포함한다. 본 발명의 건설기계 원격 제어 시스템은 건설기계를 원격 제어를 할 수 있는 원격 제어 장치(120)를 적어도 하나 이상 포함할 수 있다. 원격 제어 장치(120)는 건설기계마다 조종부(125) 즉, 조종레버 등이 다르게 구성될 수 있어 원격 제어 가능한 건설기계의 종류가 정해져 있을 수 있다.The remote control device 120 includes a communication unit 121 , an image output unit 123 , and a control unit 125 . The construction machine remote control system of the present invention may include at least one remote control device 120 capable of remotely controlling the construction machine. The remote control device 120 may be configured to have a different control unit 125, ie, a control lever, etc. for each construction machine, so that the type of remote controllable construction machine may be determined.

원격 제어 장치(120)의 통신부(121)는 유선 또는 무선으로 인터넷 망에 연결될 수 있으며, 특히 상용 통신망 즉, 이동통신망을 통해 인터넷 망에 연결될 수 있다. 원격 제어 장치(120)의 통신부(121)는 원격 제어하려는 텔레매틱스 게이트웨이 유닛(100)과 가상 사설망 연결을 설정한다.The communication unit 121 of the remote control device 120 may be connected to the Internet network by wire or wirelessly, and in particular, may be connected to the Internet network through a commercial communication network, that is, a mobile communication network. The communication unit 121 of the remote control device 120 establishes a virtual private network connection with the telematics gateway unit 100 to be remotely controlled.

영상 출력부(123)는 하나 이상의 디스플레이를 포함하여, 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100) 사이에 형성된 가상 사설망 연결 즉, VPN 터널을 통해 수신한 작업장소의 영상정보를 통신부(121)로부터 전달받아 디스플레이에 표시한다. 이때 수신되는 영상정보는 복수의 카메라에 의해 촬영된 복수 개의 영상일 수 있으며, 이를 하나의 영상으로 통합한 후 디스플레이를 통해 출력하거나, 각각의 영상을 다른 디스플레이를 통해 출력할 수 있다. 예를 들어, 건설기계의 정면 방향의 촬영 영상과, 건설기계 좌우측 방향의 촬영 영상을 수신하는 경우 3개의 디스플레이를 통해 각각 정면 방향, 좌측 방향, 우측 방향 영상을 따로 출력할 수 있다. 건설기계를 원격 제어하려는 작업자는 영상 출력부(123)가 출력하는 영상을 보며 조종부(125)를 조종한다.The image output unit 123 includes one or more displays, and transmits image information of the work place received through a virtual private network connection formed between the remote control device 120 and the telematics gateway unit 100, that is, a VPN tunnel, to the communication unit 121 . ) and displayed on the display. In this case, the received image information may be a plurality of images photographed by a plurality of cameras, and may be output through a display after integrating them into one image, or each image may be output through another display. For example, when a photographed image in the front direction of the construction machine and a photographed image in the left and right directions of the construction machine are received, the images in the front direction, the left direction, and the right direction may be separately output through three displays. A worker who wants to remotely control the construction machine controls the control unit 125 while watching the image output by the image output unit 123 .

조종부(125)는 조이스틱 형태의 조종 레버 등을 포함하여, 건설기계를 원격으로 작동시키며 실제 건설기계를 제어하는 것과 동일한 제어 신호 메시지를 발생시킨다. 이때의 제어 신호 메시지가 전달되어야 하는 전자 제어 장치의 IP 주소는 실제 건설기계의 대응되는 전자 제어 장치의 IP 주소와 네트워크 주소만 다를 뿐 호스트 주소는 동일하다. 예를 들어, 건설기계의 제어 ECU의 IP 주소가 172.16.1.2인 경우 조종부(125)가 발생시키는 제어 신호 메시지의 172.16.0.2/24이고, 172.16.1.0/24 주소 대역은 건설기계의 내부 네트워크 주소 대역이며 172.16.0.0/24 주소 대역은 건설기계에 대응되는 원격 제어 장치(120)의 주소 대역이다.The control unit 125 includes a joystick-type control lever and the like to remotely operate the construction machine and generate the same control signal message as that for controlling the actual construction machine. At this time, the IP address of the electronic control device to which the control signal message should be transmitted is the same as the host address except that the IP address and the network address of the corresponding electronic control device of the actual construction machine are different. For example, when the IP address of the control ECU of the construction machine is 172.16.1.2, the control signal message generated by the control unit 125 is 172.16.0.2/24, and the 172.16.1.0/24 address band is the internal network of the construction machine. The address band and the 172.16.0.0/24 address band are the address bands of the remote control device 120 corresponding to the construction machine.

운영서버(140)는 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)이 가상 사설망 연결을 설정할 수 있도록 장치들을 등록하고, 네트워크 주소 변환(Network Address Translation)된 장치들의 공인 IP 주소(포트번호 포함) 등을 관리하는 네트워크에 연결된 컴퓨팅 장치로 프로세서와, 메모리와, 디스플레이와, 각종 입출력 장치를 포함한다. 운영서버(140)는 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)이 직접 연결할 수 있도록 공인 IP 주소를 가진다.The operation server 140 registers the devices so that the remote control device 120 and the telematics gateway unit 100 can establish a virtual private network connection, and the public IP addresses (including port numbers) of the network address translation devices. ) as a computing device connected to a network that manages and includes a processor, a memory, a display, and various input/output devices. The operation server 140 has a public IP address so that the remote control device 120 and the telematics gateway unit 100 can be directly connected.

운영서버(140)는 등록관리부(141)와, 연결관리부(143)를 포함한다. 등록관리부(141)와 연결관리부(143)는 적어도 그 기능의 일부가 프로세서에서 실행되는 컴퓨터 프로그램 명령어 세트로 구성된다.The operation server 140 includes a registration management unit 141 and a connection management unit 143 . The registration management unit 141 and the connection management unit 143 are composed of a set of computer program instructions, at least a part of the functions of which are executed in a processor.

등록관리부(141)는 텔레매틱스 게이트웨이 유닛(100)과 원격 제어 장치(120)로부터 식별 아이디, 접속 정보를 포함하는 등록정보를 수신하여 등록하고 관리한다. 즉, 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)은 원격 제어를 위하여 운영서버(140)에 장치를 구별할 수 있는 식별 아이디와, 접속 정보를 포함하는 등록정보를 전송하며 장치를 등록한다. 이때 접속 정보는 공인 IP 주소와 포트 정보를 포함하며, 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)이 사설 IP 주소를 갖는 경우 해당 장치로부터 수신된 등록정보를 전달하는 IP 패킷에 사용된 NAT 변환된 공인 IP 주소(포트번호 포함)가 접속 정보로 사용된다. 즉, 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)이 사설 IP 주소를 갖는 경우 운영서버(140)와 통신하기 위하여 네트워크 주소 변환(NAT)을 하게 되므로 운영서버(140)가 해당 장치들로부터 수신된 IP 패킷으로부터 접속 정보를 획득할 수 있다. 본 발명의 건설기계 원격 제어 시스템은 복수의 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)을 포함할 수 있으므로, 원격 제어를 위해 모든 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)이 등록 절차를 수행한다. 도 1의 예에서 원격 제어 장치#1(120_1), 원격 제어 장치#2(120_2), 건설기계#1의 텔레매틱스 게이트웨이 유닛#1(TGU#1, 100_1), 건설기계#2의 텔레매틱스 게이트웨이 유닛#2(TGU#2, 100_2), 건설기계#3의 텔레매틱스 게이트웨이 유닛#3(TGU#3, 100_3)들이 모두 운영서버(140)에 등록한다.The registration management unit 141 receives, registers and manages registration information including identification ID and access information from the telematics gateway unit 100 and the remote control device 120 . That is, the remote control device 120 and the telematics gateway unit 100 transmit registration information including an identification ID capable of distinguishing the device and access information to the operation server 140 for remote control and register the device. . At this time, the access information includes a public IP address and port information, and when the remote control device 120 and the telematics gateway unit 100 have private IP addresses, the NAT used for the IP packet that delivers the registration information received from the device The converted public IP address (including port number) is used as access information. That is, when the remote control device 120 and the telematics gateway unit 100 have a private IP address, network address translation (NAT) is performed in order to communicate with the operation server 140, so that the operation server 140 is sent from the corresponding devices. Access information can be obtained from the received IP packet. Since the construction machine remote control system of the present invention may include a plurality of remote control devices 120 and the telematics gateway unit 100, all the remote control devices 120 and the telematics gateway unit 100 are registered for remote control. carry out the procedure In the example of FIG. 1 , the remote control device #1 (120_1), the remote control device #2 (120_2), the telematics gateway unit #1 (TGU#1, 100_1) of the construction machine #1, and the telematics gateway unit # of the construction machine #2 2 (TGU#2, 100_2) and the telematics gateway unit #3 (TGU#3, 100_3) of the construction machine #3 are all registered in the operation server 140 .

건설기계는 이동이 가능한 장치로 작업장소가 변경될 수 있어, 접속 가능한 공인 IP 주소가 변경될 수 있다. 이처럼 건설기계가 이동되는 경우 새로 등록 절차를 수행하여야 할 수 있다. 원격 제어 장치(120)도 공인 IP 주소 변경 가능성이 있으면 즉, 원격 제어 장치(120)의 사설 IP 주소에 대한 공인 IP 주소 바인딩이 변경되면 다시 등록 절차를 수행하여야 할 수 있다.Construction equipment is a mobile device, and the work place can be changed, so the public IP address that can be accessed can be changed. If the construction equipment is moved in this way, a new registration procedure may have to be performed. If the remote control device 120 also has a possibility of changing the public IP address, that is, if the public IP address binding to the private IP address of the remote control device 120 is changed, a registration procedure may be performed again.

발명의 양상에 따라서는 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)은 설정된 주기로 등록 절차를 반복 수행할 수 있다.According to an aspect of the present invention, the remote control device 120 and the telematics gateway unit 100 may repeatedly perform the registration procedure at a set period.

운영서버(140)의 등록관리부(141)는 원격 제어 장치(120)와, 텔레매틱스 게이트웨이 유닛(100)의 상태를 설정된 주기로 점검하여 확인할 수 있다. 운영서버(140)의 등록관리부(141)가 확인하는 상태는 현재 원격 제어 중인지 여부와, 등록된 공인 IP 주소 정보로 외부에서 해당 장치로 통신이 가능한지 여부를 포함할 수 있다. 또한, 등록된 장치가 속한 네트워크에서 사용하는 NAT의 종류에 따라서는 주기적으로 메시지를 교환하여 해당 NAT에서 공인 IP 주소와 사설 IP 주소의 바인딩이 삭제되지 않도록 할 필요가 있으므로 등록관리부(141)가 반복적으로 등록된 장치들의 접속 정보 즉, 공인 IP 주소로 메시지를 전송하여 해당 바인딩이 유지되도록 관리할 수 있다.The registration management unit 141 of the operation server 140 may check and check the states of the remote control device 120 and the telematics gateway unit 100 at a set period. The state checked by the registration management unit 141 of the operation server 140 may include whether remote control is currently in progress, and whether communication is possible with the device from the outside using the registered public IP address information. In addition, depending on the type of NAT used in the network to which the registered device belongs, it is necessary to periodically exchange messages to prevent the binding of the public IP address and the private IP address from being deleted in the corresponding NAT. By sending a message to the access information of devices registered as , that is, a public IP address, it is possible to manage so that the corresponding binding is maintained.

연결관리부(143)는 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)의 접속 정보를 가상 사설망을 연결할 상대방에 전달하며 가상 사설망 연결 명령을 전송한다. 연결관리부(143)는 원격 제어 장치(120)로부터 가상 사설망 연결 요청을 수신하면 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)으로 가상 사설망 연결 명령을 전송한다. 이때, 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)이 가상 사설망 연결을 위한 터널링을 구성하여 가상 사설망 연결을 설정한다.The connection management unit 143 transmits connection information between the remote control device 120 and the telematics gateway unit 100 to a counterpart to which the virtual private network is to be connected, and transmits a virtual private network connection command. When receiving a virtual private network connection request from the remote control device 120 , the connection manager 143 transmits a virtual private network connection command to the remote control device 120 and the telematics gateway unit 100 . In this case, the remote control device 120 and the telematics gateway unit 100 configure tunneling for the virtual private network connection to establish the virtual private network connection.

도 2는 본 발명의 또 다른 양상에 따라 가상 사설망 릴레이 서버를 이용하여 원격 제어 장치와 건설기계 사이의 가상 사설망을 연결하는 예시이다. 본 발명의 부가적 양상에 따르면, 건설기계 원격 제어 시스템은 가상 사설망 릴레이 서버(160)를 더 포함할 수 있다.2 is an example of connecting a virtual private network between a remote control device and a construction machine using a virtual private network relay server according to another aspect of the present invention. According to an additional aspect of the present invention, the construction machine remote control system may further include a virtual private network relay server 160 .

원격 제어 장치(120)와, 텔레매틱스 게이트웨이 유닛(100)의 네트워크 환경에 따라 원격 제어 장치(120)와, 텔레매틱스 게이트웨이 유닛(100)이 직접 가상 사설망 연결 설정을 완료할 수 없는 문제가 발생한다. 일 예로, 특정 이동통신사업자의 5G 네트워크를 원격 제어 장치(120)와, 텔레매틱스 게이트웨이 유닛(100)이 사용하는 경우 이동통신사업자의 정책에 따라 가상 사설망 연결이 제한된다.Depending on the network environment of the remote control device 120 and the telematics gateway unit 100 , the remote control device 120 and the telematics gateway unit 100 cannot directly complete the virtual private network connection setting. For example, when the remote control device 120 and the telematics gateway unit 100 use the 5G network of a specific mobile communication service provider, the virtual private network connection is restricted according to the policy of the mobile communication service provider.

가상 사설망 릴레이 서버(160)는 원격 제어 장치(120)와, 텔레매틱스 게이트웨이 유닛(100)이 직접 가상 사설망 연결을 할 수 없을 때, 가상 사설망 릴레이 서버(160)와 원격 제어 장치(120) 및 가상 사설망 릴레이 서버(160)와 텔레매틱스 게이트웨이 유닛(100)이 각각 가상 사설망을 연결한 후 가상 사설망 릴레이 서버(160)가 두 가상 사설망을 브릿지하여 릴레이 서비스를 제공한다. 가상 사설망 릴레이 서버(160)는 운영서버(140)와 물리적으로 동일한 서버일 수 있으나, 별도의 공인 IP 주소를 갖는 서버로 구성되는 것이 바람직하다. 가상 사설망 릴레이 서버(160)는 복수 개 존재할 수 있다.When the virtual private network relay server 160 cannot directly connect to the virtual private network between the remote control device 120 and the telematics gateway unit 100, the virtual private network relay server 160, the remote control device 120, and the virtual private network After the relay server 160 and the telematics gateway unit 100 connect the virtual private networks, the virtual private network relay server 160 bridges the two virtual private networks to provide a relay service. The virtual private network relay server 160 may be the same server physically as the operation server 140 , but is preferably configured as a server having a separate public IP address. A plurality of virtual private network relay servers 160 may exist.

운영서버(140)는 접속 정보를 관리하여 가상 사설망 연결 요청을 받은 원격 제어 장치(120)와, 텔레매틱스 게이트웨이 유닛(100)이 직접 가상 사설망 연결이 가능한지 판단하여, 가능하지 않은 것으로 판단되면 가상 사설망 릴레이 서버(160)를 경유하도록 할 수 있다.The operation server 140 manages access information to determine whether direct virtual private network connection is possible between the remote control device 120 receiving the virtual private network connection request and the telematics gateway unit 100, and if it is determined that it is not possible, the virtual private network relay It can be made to go through the server 160 .

운영서버(140)의 연결관리부(143)는 원격 제어 장치(120)와 가상 사설망 릴레이 서버(160)에 제1 가상 사설망 연결 명령을 전송하여 가상 사설망 릴레이 서버(160)와 원격 제어 장치(120)가 제1 가상 사설망 연결을 설정하도록 하고, 텔레매틱스 게이트웨이 유닛(100)과 가상 사설망 릴레이 서버(160)에 제2 가상 사설망 연결 명령을 전송하여 가상 사설망 릴레이 서버(160)와 텔레매틱스 게이트웨이 유닛(100)이 제2 가상 사설망 연결을 설정하도록 한다. 또한 운영서버(140)의 연결관리부(143)는 가상 사설망 릴레이 서버(160)에 제1 가상 사설망과 제2 가상 사설망을 릴레이 하도록 명령을 전송하여 가상 사설망 릴레이 서버(160)가 제1 가상 사설망과 제2 가상 사설망 사이의 패킷을 릴레이하도록 할 수 있다. 따라서, 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)이 가상 사설망 릴레이 서버(160)를 경유하여 가상 사설망 연결을 설정할 수 있다. 가상 사설망 릴레이 서버(160)는 제1 가상 사설망을 통해 원격 제어 장치(120)로부터 텔레매틱스 게이트웨이 유닛(100)으로 향하는 패킷을 제2 가상 사설망으로 전달하여 해당 패킷이 텔레매틱스 게이트웨이 유닛(100)으로 전송되도록 하고, 제2 가상 사설망을 통해 텔레매틱스 게이트웨이 유닛(100)으로부터 원격 제어 장치(120)로 향하는 패킷을 제1 가상 사설망으로 전달하여 해당 패킷이 원격 제어 장치(120)로 전송되도록 한다.The connection management unit 143 of the operation server 140 transmits a first virtual private network connection command to the remote control device 120 and the virtual private network relay server 160 , and the virtual private network relay server 160 and the remote control device 120 . establishes a first virtual private network connection, and transmits a second virtual private network connection command to the telematics gateway unit 100 and the virtual private network relay server 160 so that the virtual private network relay server 160 and the telematics gateway unit 100 A second virtual private network connection is established. In addition, the connection management unit 143 of the operation server 140 transmits a command to the virtual private network relay server 160 to relay the first virtual private network and the second virtual private network, so that the virtual private network relay server 160 communicates with the first virtual private network. It is possible to relay packets between the second virtual private networks. Accordingly, the remote control device 120 and the telematics gateway unit 100 may establish a virtual private network connection via the virtual private network relay server 160 . The virtual private network relay server 160 transmits a packet from the remote control device 120 to the telematics gateway unit 100 through the first virtual private network to the second virtual private network so that the packet is transmitted to the telematics gateway unit 100 . and transmits a packet from the telematics gateway unit 100 to the remote control device 120 through the second virtual private network to the first virtual private network so that the corresponding packet is transmitted to the remote control device 120 .

도 2의 예에서, 원격 제어 장치#2(120_2)와 VPN 릴레이 서버(160)가 제1 VPN으로 연결 설정되고 건설기계#2의 텔레매틱스 게이트웨이 유닛#2(TGU#2, 100_2)와 VPN 릴레이 서버(160)가 제2 VPN으로 연결 설정된다. VPN 릴레이 서버(160)는 제1 VPN과 제2 VPN 사이의 패킷을 릴레이한다.In the example of FIG. 2 , the remote control device #2 (120_2) and the VPN relay server 160 are connected to the first VPN, and the telematics gateway unit #2 (TGU#2, 100_2) of the construction machine #2 and the VPN relay server (160) is established as a connection to the second VPN. The VPN relay server 160 relays packets between the first VPN and the second VPN.

본 발명의 부가적 양상에 따르면, 건설기계 원격 제어 시스템의 운영서버(140)는 웹 서비스 제공부(145)를 더 포함할 수 있다.According to an additional aspect of the present invention, the operation server 140 of the construction machine remote control system may further include a web service providing unit 145 .

웹 서비스 제공부(145)는 웹 서버로 웹 형태의 사용자 인터페이스를 제공한다. 웹 서비스 제공부(145)는 운영서버(140)에 등록된 텔레매틱스 게이트웨이 유닛(100)들의 리스트와 상태를 표시하여 원격 제어할 건설기계를 선택할 수 있는 사용자 인터페이스를 제공한다. 웹 서비스 제공부(145)는 원격 제어 장치(120)를 통해 접속한 작업자가 원격 제어를 원하는 건설기계를 선택할 수 있도록 한다. 웹 서비스 제공부(145)에서 건설기계가 선택되면 접속한 원격 제어 장치(120)로부터 가상 사설망 연결 요청이 수신된 것으로 처리되어 운영서버(140)에서 해당 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)으로 가상 사설망 연결 명령을 전송할 수 있다.The web service providing unit 145 provides a web-type user interface to a web server. The web service providing unit 145 provides a user interface for selecting a construction machine to be remotely controlled by displaying a list and status of the telematics gateway units 100 registered in the operation server 140 . The web service providing unit 145 allows a worker connected through the remote control device 120 to select a construction machine for which remote control is desired. When a construction machine is selected in the web service providing unit 145, the virtual private network connection request is processed as received from the accessed remote control device 120, and the operation server 140 connects the remote control device 120 and the telematics gateway unit ( 100) to transmit a virtual private network connection command.

본 발명의 일 실시 예에 따른 건설기계 원격 제어 방법은 등록 단계와, 연결 명령 단계와, 연결 설정 단계와, 영상 전송 단계와, 원격 제어 단계를 포함한다.A construction machine remote control method according to an embodiment of the present invention includes a registration step, a connection command step, a connection establishment step, an image transmission step, and a remote control step.

등록 단계는 텔레매틱스 게이트웨이 유닛(100)과 원격 제어 장치(120)가 식별 아이디, 접속 정보를 포함하는 등록정보를 전송하여 운영서버(140)에 등록하는 단계이다.The registration step is a step in which the telematics gateway unit 100 and the remote control device 120 transmit registration information including an identification ID and access information and register it in the operation server 140 .

운영서버(140)는 등록 단계에서 수신한 텔레매틱스 게이트웨이 유닛(100)과 원격 제어 장치(120)로부터 식별 아이디, 접속 정보를 포함하는 등록정보를 이용하여 해당 장치들을 등록하고 관리한다. 이때 접속 정보는 공인 IP 주소와 포트 정보를 포함하며, 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)이 사설 IP 주소를 갖는 경우 해당 장치로부터 수신된 등록정보를 전달하는 IP 패킷에 사용된 공인 IP 주소(NAT 변환된 IP 주소)가 접속 정보로 사용된다. 즉, 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)이 사설 IP 주소를 갖는 경우 운영서버(140)와 통신하기 위하여 네트워크 주소 변환을 하게 되므로 운영서버(140)가 해당 장치들로부터 수신된 IP 패킷으로부터 접속 정보를 획득할 수 있다. 본 발명의 원격 제어 방법을 사용하는 건설기계 원격 제어 시스템은 복수의 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)을 포함할 수 있으므로, 등록 단계는 원격 제어를 위해 모든 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)에 의해 수행된다. 도 1의 예에서 원격 제어 장치#1(120_1), 원격 제어 장치#2(120_2), 건설기계#1의 텔레매틱스 게이트웨이 유닛#1(TGU#1, 100_1), 건설기계#2의 텔레매틱스 게이트웨이 유닛#2(TGU#2, 100_2), 건설기계#3의 텔레매틱스 게이트웨이 유닛#3(TGU#3, 100_3)이 모두 운영서버(140)에 등록한다.The operation server 140 registers and manages the devices using registration information including identification IDs and access information from the telematics gateway unit 100 and the remote control device 120 received in the registration step. In this case, the access information includes a public IP address and port information, and when the remote control device 120 and the telematics gateway unit 100 have a private IP address, the public IP packet used for transferring the registration information received from the device is public. IP address (NAT converted IP address) is used as access information. That is, when the remote control device 120 and the telematics gateway unit 100 have private IP addresses, network address translation is performed to communicate with the operation server 140 , so that the operation server 140 receives the IP from the devices. Access information can be obtained from the packet. Since the construction machine remote control system using the remote control method of the present invention may include a plurality of remote control devices 120 and the telematics gateway unit 100, the registration step includes all remote control devices 120 for remote control. and the telematics gateway unit 100 . In the example of FIG. 1 , the remote control device #1 (120_1), the remote control device #2 (120_2), the telematics gateway unit #1 (TGU#1, 100_1) of the construction machine #1, and the telematics gateway unit # of the construction machine #2 2 (TGU#2, 100_2) and the telematics gateway unit #3 (TGU#3, 100_3) of the construction machine #3 are all registered in the operation server 140 .

연결 명령 단계는 운영서버(140)가 사용자 인터페이스를 통해 선택된 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)에 가상 사설망 연결 명령을 전송하는 단계이다. 이때, 운영서버(140)는 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)의 접속 정보를 상대방에 전달하며 가상 사설망 연결 명령을 전송한다.The connection command step is a step in which the operation server 140 transmits a virtual private network connection command to the selected remote control device 120 and the telematics gateway unit 100 through the user interface. In this case, the operation server 140 transmits connection information between the remote control device 120 and the telematics gateway unit 100 to the counterpart and transmits a virtual private network connection command.

연결 설정 단계는 운영서버(140)의 연결 명령에 따라 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)이 가상 사설망 연결을 설정하는 단계이다. 이때, 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)이 가상 사설망 연결을 위한 터널링을 구성하여 가상 사설망 연결을 설정한다. 이때, 연결 설정 단계는 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)이 운영서버(140)로부터 수신한 가상 사설망 연결 명령에 포함된 상대방 장치의 접속 정보를 사용하여 가상 사설망 연결 즉, VPN 터널을 설정한다.The connection establishment step is a step in which the remote control device 120 and the telematics gateway unit 100 establish a virtual private network connection according to a connection command from the operation server 140 . In this case, the remote control device 120 and the telematics gateway unit 100 configure tunneling for the virtual private network connection to establish the virtual private network connection. In this case, in the connection establishment step, the remote control device 120 and the telematics gateway unit 100 connect to a virtual private network, that is, a VPN tunnel, using the connection information of the counterpart device included in the virtual private network connection command received from the operation server 140 . to set

영상 전송 단계는 텔레매틱스 게이트웨이 유닛(100)이 카메라로부터 수신한 촬영된 작업장소의 영상 정보를 가상 사설망 연결을 통해 원격 제어 장치(120)로 전송하는 단계이다. 건설기계에 설치된 카메라를 통해 촬영된 건설기계 주변의 작업장소 촬영 영상이 가상 사설망 연결 즉, VPN 터널을 통해 원격 제어 장치(120)로 전송된다. 이때, 원격 제어 장치(120)는 하나 이상의 디스플레이를 포함하여, VPN 터널을 통해 수신한 작업장소의 영상정보를 통신부(121)로부터 전달받아 디스플레이에 표시한다. 이때 수신되는 영상정보는 복수의 카메라에 의해 촬영된 영상일 수 있으며, 이를 하나의 영상으로 통합한 후 디스플레이를 통해 출력하거나, 각각의 영상을 다른 디스플레이를 통해 출력할 수 있다. The image transmission step is a step in which the telematics gateway unit 100 transmits image information of the photographed work place received from the camera to the remote control device 120 through a virtual private network connection. An image of a work place around the construction machine, taken through a camera installed in the construction machine, is transmitted to the remote control device 120 through a virtual private network connection, that is, a VPN tunnel. In this case, the remote control device 120 includes one or more displays, and receives the image information of the work place received through the VPN tunnel from the communication unit 121 and displays it on the display. In this case, the received image information may be images captured by a plurality of cameras, and may be integrated into one image and output through a display, or each image may be output through another display.

원격 제어 단계는 원격 제어 장치(120)가 건설기계를 원격으로 작동시키는 제어 신호 메시지를 전송하는 단계이다. The remote control step is a step in which the remote control device 120 transmits a control signal message for remotely operating the construction machine.

원격 제어 장치(120)는 조이스틱 형태의 조종 레버 등을 포함하여, 건설기계를 원격으로 작동시키며 실제 건설기계를 제어하는 것과 동일한 제어 신호 메시지를 발생시켜 전송시킨다. 이때의 제어 신호 메시지가 전달되어야 하는 전자 제어 장치의 IP 주소는 실제 건설기계의 대응되는 전자 제어 장치의 IP 주소와 네트워크 주소만 다를 뿐 호스트 주소는 동일하다. 이때, 텔레매틱스 게이트웨이 유닛(100)은 수신한 제어신호 메시지의 목적지 IP 주소를 대응되는 건설기계의 대응되는 실제 전자 제어 장치의 IP 주소로 변경할 수 있다.The remote control device 120 remotely operates the construction machine, including a joystick-type control lever, and generates and transmits the same control signal message as that for controlling the actual construction machine. At this time, the IP address of the electronic control device to which the control signal message should be transmitted is the same as the host address except that the IP address and the network address of the corresponding electronic control device of the actual construction machine are different. In this case, the telematics gateway unit 100 may change the destination IP address of the received control signal message to the IP address of the corresponding actual electronic control device of the corresponding construction machine.

본 발명의 또 다른 실시 예에 따른 건설기계 원격 제어 방법은 상태 점검 단계를 더 포함할 수 있다.The method for remotely controlling a construction machine according to another embodiment of the present invention may further include a condition checking step.

상태 점검 단계는 운영서버(140)가 텔레매틱스 게이트웨이 유닛(100)의 상태를 설정된 주기로 점검하는 단계이다.The status check step is a step in which the operation server 140 checks the status of the telematics gateway unit 100 at a set cycle.

운영서버(140)는 원격 제어 장치(120)와, 텔레매틱스 게이트웨이 유닛(100)의 상태를 설정된 주기로 점검하여 확인할 수 있다. 운영서버(140)가 확인하는 상태는 현재 원격 제어 중인지 여부와, 등록된 공인 IP 주소 정보로 외부에서 해당 장치로 통신이 가능한지 여부를 포함할 수 있다. 또한, 등록된 장치가 속한 네트워크에서 사용하는 NAT의 종류에 따라서는 주기적으로 메시지를 교환하여 해당 NAT에서 공인 IP 주소와 사설 IP 주소의 바인딩이 삭제되지 않도록 할 필요가 있으므로 운영서버(140)가 반복적으로 등록된 장치들의 접속 정보 즉, 공인 IP 주소로 메시지를 전송하여 해당 바인딩이 유지되도록 관리할 수 있다.The operation server 140 may check and check the states of the remote control device 120 and the telematics gateway unit 100 at a set period. The state checked by the operation server 140 may include whether the current remote control is in progress, and whether communication is possible with the device from the outside using the registered public IP address information. In addition, depending on the type of NAT used in the network to which the registered device belongs, it is necessary to periodically exchange messages to prevent the binding of the public IP address and the private IP address from being deleted in the corresponding NAT. By sending a message to the access information of devices registered as , that is, a public IP address, it is possible to manage so that the corresponding binding is maintained.

도 4는 원격 제어 장치와 텔레매틱스 게이트웨이 유닛 사이에 직접 가상 사설망 연결을 설정하여 원격 제어하는 절차도이다. 도 4를 참조하여 설명하면, 텔레매틱스 게이트웨이 유닛(100)과 원격 제어 장치(120)가 식별 아이디, 접속 정보를 포함하는 등록정보를 전송하여 운영서버(140)에 등록 요청하고, 운영서버(140)는 등록 단계에서 수신한 텔레매틱스 게이트웨이 유닛(100)과 원격 제어 장치(120)로부터 식별 아이디, 접속 정보를 포함하는 등록정보로 해당 장치들을 등록하고 관리한다(S1000). 운영서버(140)는 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)의 상태를 설정된 주기로 점검한다(S1020). 이때, 운영서버(140)가 확인하는 상태는 현재 원격 제어 중인지 여부와, 등록된 공인 IP 주소 정보로 외부에서 해당 장치로 통신이 가능한지 여부를 확인할 수 있다. 운영서버(140)가 사용자 인터페이스를 통해 선택된 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)에 가상 사설망 연결 명령을 전송한다(S1040). 이때, 운영서버(140)는 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)의 접속 정보를 상대방에 전달하며 가상 사설망 연결 명령을 전송한다. 운영서버(140)의 연결 명령에 따라 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)이 가상 사설망 연결을 설정한다(S1060). 이때, 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)이 가상 사설망 연결을 위한 터널링을 구성하여 가상 사설망 연결을 설정한다. 이때, 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)이 운영서버(140)로부터 수신한 가상 사설망 연결 명령에 포함된 상대방 장치의 접속 정보를 사용하여 가상 사설망 연결 즉, VPN 터널을 설정한다. 텔레매틱스 게이트웨이 유닛(100)이 카메라로부터 수신된 촬영된 영상 정보를 가상 사설망을 통해 원격 제어 장치(120)로 전송한다. 즉, 건설기계에 설치된 카메라를 통해 촬영된 건설기계 주변의 작업장소 촬영 영상이 가상 사설망 연결 즉, VPN 터널을 통해 원격 제어 장치(120)로 전송된다(S1080). 이때, 원격 제어 장치(120)는 하나 이상의 디스플레이를 포함하여, VPN 터널을 통해 수신한 작업장소의 영상정보를 디스플레이에 표시한다. 작업자의 원격 제어 장치(120) 조종에 의해 원격 제어 장치(120)가 건설기계를 원격으로 작동시키는 제어 신호 메시지를 VPN 터널을 통해 전송한다(S1100). 이를 수신한 텔레매틱스 게이트웨이 유닛(100)은 연결된 차량 내부 네트워크를 통해 목적지 전자 제어 장치로 제어 메시지를 전달한다. 이때, 텔레매틱스 게이트웨이 유닛(100)은 수신한 제어신호 메시지의 목적지 IP 주소를 대응되는 건설기계의 대응되는 실제 전자 제어 장치의 IP 주소로 변경할 수 있다.4 is a flowchart of remote control by establishing a direct virtual private network connection between the remote control device and the telematics gateway unit. Referring to FIG. 4 , the telematics gateway unit 100 and the remote control device 120 transmit registration information including identification ID and access information to request registration from the operation server 140 , and the operation server 140 . registers and manages the devices with registration information including identification IDs and access information from the telematics gateway unit 100 and the remote control device 120 received in the registration step (S1000). The operation server 140 checks the states of the remote control device 120 and the telematics gateway unit 100 at a set cycle ( S1020 ). At this time, the state checked by the operation server 140 may check whether the current remote control is in progress and whether communication is possible with the device from the outside using the registered public IP address information. The operation server 140 transmits a virtual private network connection command to the selected remote control device 120 and the telematics gateway unit 100 through the user interface (S1040). In this case, the operation server 140 transmits connection information between the remote control device 120 and the telematics gateway unit 100 to the counterpart and transmits a virtual private network connection command. According to a connection command from the operation server 140 , the remote control device 120 and the telematics gateway unit 100 establish a virtual private network connection ( S1060 ). In this case, the remote control device 120 and the telematics gateway unit 100 configure tunneling for the virtual private network connection to establish the virtual private network connection. In this case, the remote control device 120 and the telematics gateway unit 100 establish a virtual private network connection, ie, a VPN tunnel, using the connection information of the counterpart device included in the virtual private network connection command received from the operation server 140 . The telematics gateway unit 100 transmits the captured image information received from the camera to the remote control device 120 through the virtual private network. That is, an image of a work place around the construction machine, taken through a camera installed in the construction machine, is transmitted to the remote control device 120 through a virtual private network connection, that is, a VPN tunnel (S1080). At this time, the remote control device 120 includes one or more displays, and displays the image information of the work place received through the VPN tunnel on the display. The remote control device 120 transmits a control signal message for remotely operating the construction machine through the VPN tunnel by the operator's manipulation of the remote control device 120 (S1100). Upon receiving this, the telematics gateway unit 100 transmits the control message to the destination electronic control device through the connected in-vehicle network. In this case, the telematics gateway unit 100 may change the destination IP address of the received control signal message to the IP address of the corresponding actual electronic control device of the corresponding construction machine.

본 발명의 또 다른 실시 예에 따르면, 건설기계 원격 제어 방법은 연결 명령 단계 수행 전 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)의 가상 사설망 연결 가능성을 판단하는 단계를 더 포함할 수 있다.According to another embodiment of the present invention, the method for remote control of a construction machine may further include determining a virtual private network connection possibility between the remote control device 120 and the telematics gateway unit 100 before performing the connection command step.

원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100) 사이의 가상 사설망 연결이 가능하지 않은 것으로 판단되면 연결 명령 단계는 운영서버(140)가 원격 제어 장치(120)와 가상 사설망 릴레이 서버(160)에 제1 가상 사설망 연결 명령을 전송하고 텔레매틱스 게이트웨이 유닛(100)과 가상 사설망 릴레이 서버(160)에 제2 가상 사설망 연결 명령을 전송하여 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)의 가상 사설망 연결을 가상 사설망 릴레이 서버(160)를 통해 경유시키는 단계이고, 연결 설정 단계는 원격 제어 장치(120)와 가상 사설망 릴레이 서버(160)가 제1 가상 사설망 연결을 설정하고, 텔레매틱스 게이트웨이 유닛(100)과 가상 사설망 릴레이 서버(160)가 제2 가상 사설망 연결을 설정하는 단계이다.If it is determined that the virtual private network connection between the remote control device 120 and the telematics gateway unit 100 is not possible, the connection command step is performed by the operation server 140 to the remote control device 120 and the virtual private network relay server 160 . A virtual private network connection between the remote control device 120 and the telematics gateway unit 100 by sending a first virtual private network connection command and sending a second virtual private network connection command to the telematics gateway unit 100 and the virtual private network relay server 160 is passed through the virtual private network relay server 160, and in the connection establishment step, the remote control device 120 and the virtual private network relay server 160 establish a first virtual private network connection, and the telematics gateway unit 100 and This is a step in which the virtual private network relay server 160 establishes a second virtual private network connection.

도 5는 원격 제어 장치와 텔레매틱스 게이트웨이 유닛이 가상 사설망 릴레이 서버를 경유하는 가상 사설망 연결을 설정하여 원격 제어하는 절차도이다. 도 5를 참조하여 설명하면, 텔레매틱스 게이트웨이 유닛(100)과 원격 제어 장치(120)가 식별 아이디, 접속 정보를 포함하는 등록정보를 전송하여 운영서버(140)에 등록 요청하고, 운영서버(140)는 등록 단계에서 수신한 텔레매틱스 게이트웨이 유닛(100)과 원격 제어 장치(120)로부터 식별 아이디, 접속 정보를 포함하는 등록정보로 해당 장치들을 등록하고 관리한다(S2000). 운영서버(140)는 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)의 상태를 설정된 주기로 점검한다(S2020). 이때, 운영서버(140)가 확인하는 상태는 현재 원격 제어 중인지 여부와, 등록된 공인 IP 주소 정보로 외부에서 해당 장치로 통신이 가능한지 여부를 확인할 수 있다. 운영서버(140)는 가상 사설망 연결 요청된 원격 조종 장치와 텔레매틱스 게이트웨이 유닛(100)의 가상 사설망 연결 가능성을 판단한다(S2040). 판단 결과 직접 가상 사설망 연결이 가능하면 연결 명령 전송 이후의 단계는 도 4에 도시된 절차와 동일하고, 직접 연결이 가능하지 않은 것으로 판단되면 운영서버(140)가 원격 제어 장치(120)와 가상 사설망 릴레이 서버(160)에 제1 가상 사설망 연결 명령을 전송하고(S2060), 텔레매틱스 게이트웨이 유닛(100)과 가상 사설망 릴레이 서버(160)에 제2 가상 사설망 연결 명령 전송한다(S2080). 운영서버(140)의 가상 사설망 연결 명령에 따라 원격 제어 장치(120)와 가상 사설망 릴레이 서버(160)가 제1 가상 사설망 연결을 설정하고(S2100), 텔레매틱스 게이트웨이 유닛(100)과 가상 사설망 릴레이 서버(160)가 제2 가상 사설망 연결을 설정한다(S2120). 가상 사설망 릴레이 서버(160)는 또한 제1 가상 사설망과 제2 가상 사설망의 릴레이를 설정한다. 가상 사설망 연결 설정이 완료되면 텔레매틱스 게이트웨이 유닛(100)이 카메라를 통해 촬영된 영상 정보를 가상 사설망 릴레이 서버(160)를 경유하여 제2 및 제1 가상 사설망 연결을 통해 원격 제어 장치(120)로 전송하고(S2140), 원격 제어 장치(120)가 건설기계를 원격으로 작동시키는 제어 신호 메시지를 가상 사설망 릴레이 서버(160)를 경유하여 제1 및 제2 가상 사설망 연결을 통해 텔레매틱스 게이트웨이 유닛(100)에 전송한다(S2160). 이를 수신한 텔레매틱스 게이트웨이 유닛(100)은 연결된 차량 내부 네트워크를 통해 목적지 전자 제어 장치로 제어 메시지를 전달한다. 이때, 텔레매틱스 게이트웨이 유닛(100)은 수신한 제어신호 메시지의 목적지 IP 주소를 대응되는 건설기계의 대응되는 실제 전자 제어 장치의 IP 주소로 변경할 수 있다.5 is a flowchart illustrating a procedure for remotely controlling a remote control device and a telematics gateway unit by establishing a virtual private network connection via a virtual private network relay server. Referring to FIG. 5 , the telematics gateway unit 100 and the remote control device 120 transmit registration information including identification ID and access information to request registration from the operation server 140 , and the operation server 140 . registers and manages the devices with registration information including identification IDs and access information from the telematics gateway unit 100 and the remote control device 120 received in the registration step (S2000). The operation server 140 checks the states of the remote control device 120 and the telematics gateway unit 100 at a set cycle (S2020). At this time, the state checked by the operation server 140 may check whether the current remote control is in progress and whether communication is possible with the device from the outside using the registered public IP address information. The operation server 140 determines the virtual private network connection possibility between the remote control device and the telematics gateway unit 100 requested to be connected to the virtual private network ( S2040 ). If it is determined that direct connection to the virtual private network is possible, the steps after transmission of the connection command are the same as the procedure shown in FIG. 4 , and if it is determined that direct connection is not possible, the operation server 140 connects the remote control device 120 with the virtual private network. A first virtual private network connection command is transmitted to the relay server 160 (S2060), and a second virtual private network connection command is transmitted to the telematics gateway unit 100 and the virtual private network relay server 160 (S2080). According to the virtual private network connection command of the operation server 140, the remote control device 120 and the virtual private network relay server 160 establish a first virtual private network connection (S2100), and the telematics gateway unit 100 and the virtual private network relay server (160) establishes a second virtual private network connection (S2120). The virtual private network relay server 160 also establishes a relay of the first virtual private network and the second virtual private network. When the virtual private network connection setting is completed, the telematics gateway unit 100 transmits image information captured through the camera to the remote control device 120 through the second and first virtual private network connections via the virtual private network relay server 160 . and (S2140), the remote control device 120 transmits a control signal message for remotely operating the construction machine to the telematics gateway unit 100 through the first and second virtual private network connections via the virtual private network relay server 160 It is transmitted (S2160). Upon receiving this, the telematics gateway unit 100 transmits the control message to the destination electronic control device through the connected in-vehicle network. In this case, the telematics gateway unit 100 may change the destination IP address of the received control signal message to the IP address of the corresponding actual electronic control device of the corresponding construction machine.

본 발명의 또 다른 실시 예에 따르면, 건설기계 원격 제어 방법은 건설기계 선택 단계를 더 포함할 수 있다.According to another embodiment of the present invention, the method for remote control of a construction machine may further include the step of selecting a construction machine.

건설기계 선택 단계는 운영서버(140)가 등록된 텔레매틱스 게이트웨이 유닛(100)들의 리스트와 상태를 표시하여 원격 제어할 건설기계를 선택할 수 있는 웹 형태의 사용자 인터페이스를 제공하고 원격 제어 장치(120)를 통해 접속한 작업자로부터 원격 제어를 원하는 건설기계를 선택 받는 단계이다. 운영서버(140)는 사용자에 의해 건설기계가 선택되면 접속한 원격 제어 장치(120)로부터 가상 사설망 연결 요청이 수신된 것으로 처리하여 해당 원격 제어 장치(120)와 텔레매틱스 게이트웨이 유닛(100)으로 가상 사설망 연결 명령을 전송할 수 있다.In the construction machine selection step, the operation server 140 displays a list and status of the registered telematics gateway units 100 to provide a web-type user interface for selecting a construction machine to be remotely controlled, and provides a remote control device 120 . This is the step of receiving the selection of the construction machine that you want to remotely control from the worker connected through it. When the construction machine is selected by the user, the operation server 140 processes the virtual private network connection request as received from the accessed remote control device 120 , and sends the virtual private network to the remote control device 120 and the telematics gateway unit 100 . A connection command can be sent.

이상에서 본 발명을 첨부된 도면을 참조하는 실시 예들을 통해 설명하였지만 이에 한정되는 것은 아니며, 이들로부터 당업자라면 자명하게 도출할 수 있는 다양한 변형 예들을 포괄하도록 해석되어야 한다. 특허청구범위는 이러한 변형 예들을 포괄하도록 의도되었다. Although the present invention has been described above with reference to the accompanying drawings, the present invention is not limited thereto, and it should be construed to encompass various modifications that can be apparent from those skilled in the art. The claims are intended to cover such variations.

Claims (8)

삭제delete 원격 제어 장치와, 영상 수집부와, 텔레매틱스 게이트웨이 유닛과, 운영서버를 포함하는 건설기계 원격 제어 시스템에 있어서,
건설기계에 설치된 하나 이상의 카메라를 통해 작업장소의 영상정보를 생성하여 전송하는 영상 수집부;
건설기계에 장착되어 건설기계의 내부 네트워크 및 상용 통신망에 연결되며, 원격 제어 장치와 설정된 가상 사설망(VPN) 연결을 통해 원격 제어 장치로부터 건설기계를 작동시키는 제어신호 메시지를 수신하고 영상 수집부로부터 건설기계의 내부 네트워크를 통해 수신한 영상정보를 원격 제어 장치로 송신하는 텔레매틱스 게이트웨이 유닛;
원격 제어하려는 텔레매틱스 게이트웨이 유닛과 가상 사설망 연결을 설정하는 통신부와, 통신부를 통해 수신한 작업장소의 영상정보를 표시하는 영상 출력부와, 건설기계를 원격으로 작동시키는 제어 신호 메시지를 발생시키는 조종부를 포함하는 원격 제어 장치; 및
텔레매틱스 게이트웨이 유닛과 원격 제어 장치로부터 식별 아이디, 접속 정보를 포함하는 등록정보를 수신하여 등록하고 관리하는 등록관리부와, 원격 제어 장치와 텔레매틱스 게이트웨이 유닛에 가상 사설망 연결 명령을 전송하는 연결관리부를 포함하는 운영서버;
를 포함하되,
원격 제어 장치는 운영서버로부터 수신한 가상 사설망 연결 명령에 포함된 텔레매틱스 게이트웨이 유닛의 접속 정보를 사용하여 가상 사설망 연결을 설정하고,
운영서버는 텔레매틱스 게이트웨이 유닛의 상태를 설정된 주기로 점검하는 건설기계 원격 제어 시스템.
A construction machine remote control system comprising a remote control device, an image collection unit, a telematics gateway unit, and an operation server, the remote control system comprising:
an image collecting unit that generates and transmits image information of a work place through one or more cameras installed in the construction machine;
It is mounted on the construction machine and connected to the internal network and commercial communication network of the construction machine. Through the virtual private network (VPN) connection set up with the remote control device, it receives a control signal message from the remote control device to operate the construction machine and receives the control signal message from the video collection unit. a telematics gateway unit that transmits image information received through an internal network of the machine to a remote control device;
It includes a communication unit that establishes a virtual private network connection with the telematics gateway unit to be remotely controlled, an image output unit that displays image information of the work place received through the communication unit, and a control unit that generates a control signal message for remotely operating the construction machine. remote control device; and
An operation comprising a registration management unit that receives, registers, and manages registration information including identification ID and access information from the telematics gateway unit and the remote control device, and a connection management unit that transmits a virtual private network connection command to the remote control device and the telematics gateway unit server;
including,
The remote control device establishes a virtual private network connection using the access information of the telematics gateway unit included in the virtual private network connection command received from the operation server,
The operation server is a remote control system for construction equipment that checks the status of the telematics gateway unit at set intervals.
 제 2 항에 있어서, 상기 시스템은 :
원격 조종 장치와 제1 가상 사설망 연결을 설정하고 텔레매틱스 게이트웨이 유닛과 제2 가상 사설망 연결을 설정한 상태에서 제1 가상 사설망과 제2 가상 사설망 사이의 패킷을 릴레이하는 가상 사설망 릴레이 서버를 더 포함하고,
상기 연결관리부는 원격 제어 장치와 가상 사설망 릴레이 서버에 제1 가상 사설망 연결 명령을 전송하고 텔레매틱스 게이트웨이 유닛과 가상 사설망 릴레이 서버에 제2 가상 사설망 연결 명령을 전송하여 원격 제어 장치와 텔레매틱스 게이트웨이 유닛의 가상 사설망 연결을 가상 사설망 릴레이 서버를 통해 경유시키는 건설기계 원격 제어 시스템.
3. The system of claim 2, wherein the system comprises:
A virtual private network relay server for relaying packets between the first virtual private network and the second virtual private network while establishing a first virtual private network connection with the remote control device and establishing a second virtual private network connection with the telematics gateway unit;
The connection management unit transmits a first virtual private network connection command to the remote control device and the virtual private network relay server, and transmits a second virtual private network connection command to the telematics gateway unit and the virtual private network relay server, so that the virtual private network between the remote control device and the telematics gateway unit. A construction machine remote control system that routes the connection through a virtual private network relay server.
 원격 제어 장치와, 영상 수집부와, 텔레매틱스 게이트웨이 유닛과, 운영서버를 포함하는 건설기계 원격 제어 시스템에 있어서,
건설기계에 설치된 하나 이상의 카메라를 통해 작업장소의 영상정보를 생성하여 전송하는 영상 수집부;
건설기계에 장착되어 건설기계의 내부 네트워크 및 상용 통신망에 연결되며, 원격 제어 장치와 설정된 가상 사설망(VPN) 연결을 통해 원격 제어 장치로부터 건설기계를 작동시키는 제어신호 메시지를 수신하고 영상 수집부로부터 건설기계의 내부 네트워크를 통해 수신한 영상정보를 원격 제어 장치로 송신하는 텔레매틱스 게이트웨이 유닛;
원격 제어하려는 텔레매틱스 게이트웨이 유닛과 가상 사설망 연결을 설정하는 통신부와, 통신부를 통해 수신한 작업장소의 영상정보를 표시하는 영상 출력부와, 건설기계를 원격으로 작동시키는 제어 신호 메시지를 발생시키는 조종부를 포함하는 원격 제어 장치; 및
텔레매틱스 게이트웨이 유닛과 원격 제어 장치로부터 식별 아이디, 접속 정보를 포함하는 등록정보를 수신하여 등록하고 관리하는 등록관리부와, 원격 제어 장치와 텔레매틱스 게이트웨이 유닛에 가상 사설망 연결 명령을 전송하는 연결관리부를 포함하는 운영서버;
를 포함하되,
원격 제어 장치는 운영서버로부터 수신한 가상 사설망 연결 명령에 포함된 텔레매틱스 게이트웨이 유닛의 접속 정보를 사용하여 가상 사설망 연결을 설정하고,
운영서버는 등록된 텔레매틱스 게이트웨이 유닛의 리스트와 상태를 표시하여 원격 제어할 건설기계를 선택할 수 있는 사용자 인터페이스를 제공하는 웹 서비스 제공부를 더 포함하는 건설기계 원격 제어 시스템.
A construction machine remote control system comprising a remote control device, an image collection unit, a telematics gateway unit, and an operation server, the remote control system comprising:
an image collecting unit that generates and transmits image information of a work place through one or more cameras installed in the construction machine;
It is mounted on the construction machine and connected to the internal network and commercial communication network of the construction machine. Through the virtual private network (VPN) connection set up with the remote control device, it receives a control signal message from the remote control device to operate the construction machine and receives the control signal message from the video collection unit. a telematics gateway unit that transmits image information received through an internal network of the machine to a remote control device;
It includes a communication unit that establishes a virtual private network connection with the telematics gateway unit to be remotely controlled, an image output unit that displays image information of the work place received through the communication unit, and a control unit that generates a control signal message for remotely operating the construction machine. remote control device; and
An operation comprising a registration management unit that receives, registers, and manages registration information including identification ID and access information from the telematics gateway unit and the remote control device, and a connection management unit that transmits a virtual private network connection command to the remote control device and the telematics gateway unit server;
including,
The remote control device establishes a virtual private network connection using the access information of the telematics gateway unit included in the virtual private network connection command received from the operation server,
The operation server further includes a web service providing unit that displays a list and status of the registered telematics gateway units and provides a user interface for selecting a construction machine to be remotely controlled.
 텔레매틱스 게이트웨이 유닛과 원격 제어 장치가 식별 아이디, 접속 정보를 포함하는 등록정보를 전송하여 운영서버에 등록하는 등록 단계;
운영서버가 사용자 인터페이스를 통해 선택된 원격 제어 장치와 텔레매틱스 게이트웨이 유닛에 가상 사설망 연결 명령을 전송하는 연결 명령 단계;
원격 제어 장치와 텔레매틱스 게이트웨이 유닛이 가상 사설망 연결을 설정하는 연결 설정 단계;
텔레매틱스 게이트웨이 유닛이 카메라를 통해 촬영한 작업장소의 영상 정보를 가상 사설망 연결을 통해 원격 제어 장치로 전송하는 영상 전송 단계; 및
원격 제어 장치가 건설기계를 원격으로 작동시키는 제어 신호 메시지를 전송하는 원격 제어 단계;
를 포함하되,
연결 설정 단계는 원격 제어 장치가 운영서버로부터 수신한 가상 사설망 연결 명령에 포함된 텔레매틱스 게이트웨이 유닛의 접속 정보를 사용하여 가상 사설망 연결을 설정하는 건설기계 원격 제어 방법.
a registration step in which the telematics gateway unit and the remote control device transmit registration information including identification ID and access information to register in the operation server;
a connection command step in which the operation server transmits a virtual private network connection command to the selected remote control device and the telematics gateway unit through a user interface;
a connection establishment step in which the remote control device and the telematics gateway unit establish a virtual private network connection;
an image transmission step of transmitting, by the telematics gateway unit, image information of a work place photographed through a camera to a remote control device through a virtual private network connection; and
a remote control step in which the remote control device transmits a control signal message for remotely operating the construction machine;
including,
The connection establishment step is a construction machine remote control method in which the remote control device establishes a virtual private network connection using connection information of the telematics gateway unit included in the virtual private network connection command received from the operation server.
 제 5 항에 있어서, 상기 방법은
운영서버가 텔레매틱스 게이트웨이 유닛의 상태를 설정된 주기로 점검하는 상태 점검 단계;
를 더 포함하는 건설기계 원격 제어 방법.
6. The method of claim 5, wherein the method
a status checking step in which the operation server checks the status of the telematics gateway unit at a set cycle;
Construction machine remote control method further comprising.
 제 6 항에 있어서, 상기 방법은
연결 명령 단계 수행 전 원격 조종 장치와 텔레매틱스 게이트웨이 유닛의 가상 사설망 연결 가능성을 판단하는 단계;를 더 포함하고,
원격 제어 장치와 텔레매틱스 게이트웨이 유닛 사이의 가상 사설망 연결이 가능하지 않은 것으로 판단되면 연결 명령 단계는 운영서버가 원격 제어 장치와 가상 사설망 릴레이 서버에 제1 가상 사설망 연결 명령을 전송하고 텔레매틱스 게이트웨이 유닛과 가상 사설망 릴레이 서버에 제2 가상 사설망 연결 명령을 전송하여 원격 제어 장치와 텔레매틱스 게이트웨이 유닛의 가상 사설망 연결을 가상 사설망 릴레이 서버를 통해 경유시키는 단계이고,
연결 설정 단계는 원격 제어 장치와 가상 사설망 릴레이 서버가 제1 가상 사설망 연결을 설정하고, 텔레매틱스 게이트웨이 유닛과 가상 사설망 릴레이 서버가 제2 가상 사설망 연결을 설정하는 단계인 건설기계 원격 제어 방법.
7. The method of claim 6, wherein the method
The method further includes a step of determining a virtual private network connection possibility between the remote control device and the telematics gateway unit before performing the connection command step;
If it is determined that the virtual private network connection between the remote control device and the telematics gateway unit is not possible, in the connection command step, the operation server sends a first virtual private network connection command to the remote control device and the virtual private network relay server, and the telematics gateway unit and the virtual private network transmitting a second virtual private network connection command to the relay server to pass the virtual private network connection between the remote control device and the telematics gateway unit through the virtual private network relay server,
The connection establishment step is a step in which the remote control device and the virtual private network relay server establish a first virtual private network connection, and the telematics gateway unit and the virtual private network relay server establish a second virtual private network connection.
 제 5 항에 있어서, 상기 방법은
운영서버가 등록된 텔레매틱스 게이트웨이 유닛의 리스트와 상태를 표시하고 사용자로부터 원격 제어할 건설기계를 선택을 받는 건설기계 선택 단계;
를 더 포함하는 건설기계 원격 제어 방법.6. The method of claim 5, wherein the method
a construction machine selection step in which the operation server displays a list and status of the registered telematics gateway units and receives a selection of a construction machine to be remotely controlled from a user;
Construction machine remote control method further comprising.
KR1020210146639A 2021-10-29 2021-10-29 System and method for remotely controlling a remote construction machine through a commercial mobile communication network KR102422316B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210146639A KR102422316B1 (en) 2021-10-29 2021-10-29 System and method for remotely controlling a remote construction machine through a commercial mobile communication network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210146639A KR102422316B1 (en) 2021-10-29 2021-10-29 System and method for remotely controlling a remote construction machine through a commercial mobile communication network

Publications (1)

Publication Number Publication Date
KR102422316B1 true KR102422316B1 (en) 2022-07-18

Family

ID=82700955

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210146639A KR102422316B1 (en) 2021-10-29 2021-10-29 System and method for remotely controlling a remote construction machine through a commercial mobile communication network

Country Status (1)

Country Link
KR (1) KR102422316B1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990084963A (en) * 1998-05-12 1999-12-06 토니헬샴 Remote management device using commercial communication network
KR20010112133A (en) * 2001-09-21 2001-12-20 이동주 Apparatus and method for working DB integrated holding house/remote using VPN
KR20120008840A (en) * 2010-07-20 2012-02-01 전자부품연구원 The mobile station for a remote control excavator
KR20130052822A (en) * 2011-11-14 2013-05-23 전자부품연구원 Remote controlling system for heavy equipment based on a communication channel and controlling method thereof
KR20130103545A (en) * 2011-07-25 2013-09-23 가부시끼 가이샤 구보다 Work machine, data communication system for work machine, operation system for work machine and work machine settings change system
KR20170105927A (en) * 2016-03-11 2017-09-20 두산인프라코어 주식회사 A works monitoring system using unmanned aerial vehicle

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990084963A (en) * 1998-05-12 1999-12-06 토니헬샴 Remote management device using commercial communication network
KR20010112133A (en) * 2001-09-21 2001-12-20 이동주 Apparatus and method for working DB integrated holding house/remote using VPN
KR20120008840A (en) * 2010-07-20 2012-02-01 전자부품연구원 The mobile station for a remote control excavator
KR20130103545A (en) * 2011-07-25 2013-09-23 가부시끼 가이샤 구보다 Work machine, data communication system for work machine, operation system for work machine and work machine settings change system
KR20130052822A (en) * 2011-11-14 2013-05-23 전자부품연구원 Remote controlling system for heavy equipment based on a communication channel and controlling method thereof
KR20170105927A (en) * 2016-03-11 2017-09-20 두산인프라코어 주식회사 A works monitoring system using unmanned aerial vehicle

Similar Documents

Publication Publication Date Title
US6711689B2 (en) Interception system and method
EP1437020B1 (en) System and method for enabling mobile edge services
US7099912B2 (en) Integrated service management system
AU2012220456B2 (en) Method and device arrangement for implementing remote control of properties
JP3782981B2 (en) Session relay system, client terminal, session relay method, remote access method, session relay program, and client program
CN103986638B (en) The method and apparatus of many public network links of ADVPN tunnel binding
CN111800399B (en) Information transmission method, device, equipment and storage medium
TWI523455B (en) Relay servers, relay communication systems and routing machines
CN105227541A (en) A kind of security strategy dynamic migration method and device
TWI551086B (en) Relay server and relay communication system
JP7398251B2 (en) How to remotely control video cameras and video surveillance systems
CN106416146B (en) Communication apparatus, communication method, and communication system
CN108183849A (en) Device management method, equipment and system based on L2TP
TWI527405B (en) Relay server and relay communication system
EP2605450A1 (en) Network information processing system, network information processing apparatus, and information processing method
KR102422316B1 (en) System and method for remotely controlling a remote construction machine through a commercial mobile communication network
JP5874356B2 (en) Relay server and relay communication system
JP3999353B2 (en) Method and system for determining communication path in computer network, and recording medium on which program is recorded
JP2009130528A (en) Network virtualization system, repeating installation, and program
JP2007286821A (en) Information sharing system and information sharing method
CA2880971A1 (en) Method and apparatus for using rendezvous server to make connections to fire alarm panels
CN113765765A (en) Data transmission system
JP4797638B2 (en) Communication relay device, operation target terminal, communication system, communication relay method, operation target terminal control method, program, and recording medium recording program
JP5633748B2 (en) Relay server and relay communication system
JP4180458B2 (en) VPN communication system and VPN tunnel forming method

Legal Events

Date Code Title Description
GRNT Written decision to grant