KR20220139031A - 건설기계의 제어 시스템 및 작업 가이드 라인 제공 방법 - Google Patents

건설기계의 제어 시스템 및 작업 가이드 라인 제공 방법 Download PDF

Info

Publication number
KR20220139031A
KR20220139031A KR1020210045155A KR20210045155A KR20220139031A KR 20220139031 A KR20220139031 A KR 20220139031A KR 1020210045155 A KR1020210045155 A KR 1020210045155A KR 20210045155 A KR20210045155 A KR 20210045155A KR 20220139031 A KR20220139031 A KR 20220139031A
Authority
KR
South Korea
Prior art keywords
coordinates
image
construction machine
excavator
construction
Prior art date
Application number
KR1020210045155A
Other languages
English (en)
Inventor
엄형식
장준현
윤기중
Original Assignee
현대두산인프라코어(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대두산인프라코어(주) filed Critical 현대두산인프라코어(주)
Priority to KR1020210045155A priority Critical patent/KR20220139031A/ko
Priority to US17/715,397 priority patent/US20220333355A1/en
Publication of KR20220139031A publication Critical patent/KR20220139031A/ko

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2033—Limiting the movement of frames or implements, e.g. to avoid collision between implements and the cabin
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E02F9/265—Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

상기 본 발명의 일 과제를 달성하기 위한 예시적인 실시예들에 따른 건설기계의 제어 시스템은, 건설기계의 주변에 위치한 물체를 인식하고 영상을 촬영하기 위한 3D 카메라, 상기 건설기계의 위치에 해당되는 기준 좌표를 획득하기 위한 위치 정보 수신 장치, 상기 영상으로부터 상기 건설기계에 대한 상기 물체의 상대 좌표를 인식하고, 상기 상대 좌표를 상기 기준 좌표를 기준으로 좌표 변환하여 3차원 좌표를 획득하기 위한 데이터 처리 장치, 및 상기 3차원 좌표를 갖는 영상을 화면 상에 표시하기 위한 제어 장치를 포함할 수 있다.

Description

건설기계의 제어 시스템 및 작업 가이드 라인 제공 방법{CONTROL SYSTEM AND GUIDE LINE RECOGNITION METHOD OF CONSTRUCTION MACHINE}
본 발명은 건설기계의 제어 시스템 및 작업 가이드 라인 제공 방법 에 관한 것이다. 보다 상세하게는, 굴삭기에 사용되는 건설기계의 제어 시스템 및 작업 가이드 라인 제공 방법에 관한 것이다.
건설기계가 건설 현장에서 정확하게 작업하기 위해서는, 측량 작업과 같은 작업 유도과정이 필요하다. 이러한 작업 유도 과정은 수동 측량을 기반으로 현장에 가이드 선을 설치하는 방법 등을 통해 작업 영역을 표시하여 지시하는 것이 일반적이다. 특히, 굴삭기의 경우 정밀 굴착 작업을 위해 보다 정교한 작업 유도과정이 필요로 한데, 최근에는 3차원 머신 컨트롤(Machine Control) 기술이 도입되고 있어 별도의 측량 과정 없이 정밀한 굴착 작업이 가능해지고 있다. 그러나 이러한 3차원 머신 컨트롤(Machine Control) 기능은 사전에 설계 도면 데이터의 입력이 필요하며 별도의 디스플레이를 통해 도면과 굴삭기의 형상만을 보여주기 때문에 작업 속도 향상에는 한계가 있을 수 있다.
본 발명의 일 과제는 건설기계의 주변을 인식하는 건설기계의 제어 시스템을 제공하는 데 있다.
본 발명의 다른 과제는 건설기계의 주변을 인식하는 건설 작업 가이드 라인 제공 방법을 제공하는 데 있다.
상기 본 발명의 일 과제를 달성하기 위한 예시적인 실시예들에 따른 건설기계의 제어 시스템은, 건설기계의 주변에 위치한 물체를 인식하고 영상을 촬영하기 위한 3D 카메라, 상기 건설기계의 위치에 해당되는 기준 좌표를 획득하기 위한 위치 정보 수신 장치, 상기 영상으로부터 상기 건설기계에 대한 상기 물체의 상대 좌표를 인식하고, 상기 상대 좌표를 상기 기준 좌표를 기준으로 좌표 변환하여 3차원 좌표를 획득하기 위한 데이터 처리 장치, 및 상기 3차원 좌표를 갖는 영상을 화면 상에 표시하기 위한 제어 장치를 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 데이터 처리 장치는, 상기 영상으로부터 상기 물체의 상대 좌표를 추출하기 위한 영상인식 모듈, 및 상기 물체의 상대 좌표를 상기 기준 좌표를 기준으로 좌표 변환하여 상기 3차원 좌표를 획득하기 위한 좌표변환 모듈을 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 좌표변환 모듈은 상기 건설기계의 X축, Y축, Z축에 대한 회전각을 반영하도록 상기 상대 좌표를 축 변환하여 보정된 상대 좌표를 획득하고, 상기 보정된 상대 좌표를 절대 좌표로 변환하여 상기 3차원 좌표를 획득할 수 있다.
예시적인 실시예들에 있어서, 상기 건설기계는, 굴삭기일 수 있다.
예시적인 실시예들에 있어서, 상기 데이터 처리 장치는, 상기 굴삭기의 최대 작업 반경에 대한 거리 데이터를 상기 3차원 좌표에 추가시키고, 상기 제어 장치는 상기 거리 데이터를 화면상에 표시할 수 있다.
예시적인 실시예들에 있어서, 상기 제어 장치는 건설 현장의 설계 도면 데이터를 상기 3차원 좌표와 연동하여 상기 화면 상에 표시할 수 있다.
예시적인 실시예들에 있어서, 상기 데이터 처리장치는 상기 영상을 분류하여 데이터 세트(Data set)로 저장하고 상기 영상에서 상기 물체를 인식하는 영상 판단부를 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 영상 판단부는 상기 데이터 세트(Data set)로부터 입체구조 또는 수동 측량을 위해 설치된 가이드 선을 특징점으로 추출할 수 있다.
상기 본 발명의 다른 과제를 달성하기 위한 예시적인 실시예들에 따른 건설기계의 제어 시스템은, 건설기계의 주변에 위치한 물체를 인식하고 영상을 촬영하기 위한 3D 카메라, 및 상기 영상으로부터 상기 물체의 상대 좌표를 추출하기 위한 영상인식 모듈을 포함하고, 상기 영상인식 모듈은 상기 영상을 분류하여 데이터 세트(Data set)로 저장하고 상기 데이터 세트로부터 기 학습된 알고리즘을 이용하여 상기 영상에서 상기 물체를 인식하는 영상 판단부를 포함하고, 상기 영상 판단부는 상기 데이터 세트(Data set)로부터 입체 구조 또는 수동 측량을 위해 설치된 가이드 선을 특징점으로 추출할 수 있다.
상기 본 발명의 다른 과제를 달성하기 위한 예시적인 실시예들에 따른 건설 작업 가이드 라인 제공 방법은, 3D 카메라를 통해 건설기계의 주변에 위치한 물체를 인식하고 영상을 촬영하고, 위치 정보 수신 장치를 통해 상기 건설기계의 위치에 해당되는 기준 좌표를 획득하고, 상기 영상으로부터 상기 건설기계에 대한 상기 물체의 상대 좌표를 인식하고, 상기 상대 좌표를 상기 기준 좌표를 기준으로 좌표 변환하여 3차원 좌표를 획득하고, 그리고 상기 3차원 좌표를 갖는 영상을 화면 상에 표시하는 것을 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 건설기계의 X축, Y축, Z축에 대한 회전각을 반영하도록 상기 상대 좌표를 축 변환하여 보정된 상대 좌표를 획득하는 것을 더 포함하고, 상기 3차원 좌표를 획득하는 것은 상기 보정된 상대 좌표를 상기 기준 좌표를 기준으로 하여 절대 좌표로 변환하는 것을 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 건설기계는 굴삭기일 수 있다.
예시적인 실시예들에 있어서, 상기 굴삭기의 최대 작업 반경에 대한 거리 데이터를 상기 3차원 좌표에 추가하는 것을 더 포함하고, 상기 영상을 화면 상에 표시하는 것은 상기 거리 데이터가 추가된 영상을 화면 상에 표시할 수 있다.
예시적인 실시예들에 있어서, 건설 현장의 설계 도면 데이터를 상기 3차원 좌표와 연동하여 상기 화면상에 표시할 수 있다.
예시적인 실시예들에 있어서, 상기 물체를 인식하고 영상을 촬영 하는 것은 상기 촬영된 영상을 분류하여 데이터 세트(Data set)로 저장하고 상기 영상에서 상기 물체를 인식하는 것을 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 물체를 인식하고 영상을 촬영 하는 것은 상기 데이터 세트(Data set)로부터 입체구조 또는 수동 측량을 위해 설치된 가이드 선을 특징점으로 추출하는 것을 더 포함할 수 있다.
예시적인 실시예들에 따른 건설기계의 제어 시스템은, 건설기계의 주변에 위치한 물체를 인식하고 영상을 촬영하기 위한 3D 카메라, 상기 건설기계의 위치에 해당되는 기준 좌표를 획득하기 위한 위치 정보 수신 장치, 상기 영상으로부터 상기 건설기계에 대한 상기 물체의 상대 좌표를 인식하고, 상기 상대 좌표를 상기 기준 좌표를 기준으로 좌표 변환하여 3차원 좌표를 획득하기 위한 데이터 처리 장치, 및 상기 3차원 좌표를 갖는 영상을 화면 상에 표시하기 위한 제어 장치를 포함할 수 있다.
따라서, 건설기계의 제어 시스템은 3D 카메라를 이용하여 건설기계의 주변 영상을 촬영하고 주변 영역에 대한 상대 좌표를 인식하여, 건설기계의 주변에 대한 상대 좌표 데이터를 획득하고, 위치 정보 수신 장치를 통해 건설기계의 위치에 대한 절대 좌표 데이터를 획득하고, 상기 상대 좌표 데이터에 상기 절대 좌표 데이터를 반영하여 3차원 영상 데이터를 획득할 수 있다. 이렇게 획득된 좌표들을 통해, 머신 가이던스(Machine Guidance) 또는 머신 컨트롤(Machine Control)과 같은 제어 장치와 연동할 수 있으며, 보다 정밀하고 정확한 건설 작업이 가능하게 할 수 있다.
다만, 본 발명의 효과는 상기 언급한 효과에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
도 1은 예시적인 실시예들에 따른 건설기계를 나타내는 측면도이다.
도 2는 예시적인 실시예들에 따른 건설기계의 제어 시스템을 나타내는 블록도이다.
도 3은 도 2의 3D 카메라에 의해 인식되는 건설기계의 주변 영역을 나타내는 도면이다.
도 4는 도 2의 영상인식 모듈에 의해 3D 카메라로부터의 촬영 영상에 대하여 평면 좌표를 설정하는 방법을 나타내는 도면이다.
도 5는 도 2의 영상인식 모듈에 의해 건설기계의 주변 공간에 대해 상대 좌표를 설정하는 방법을 나타내는 도면이다.
도 6은 도 2의 영상인식 모듈에 의해 설정된 건설기계에 대한 거리에 따른 작업 반경을 평면상에 나타내는 도면이다.
도 7은 도 2의 영상인식 모듈에 의해 설정된 건설기계에 대한 거리에 따른 작업 반경을 공간상에 나타내는 도면이다.
도 8은 도 2의 좌표변환 모듈에 의해 수행되는 건설기계에 대한 축 변환 보정을 나타내는 도면이다.
도 9는 도 2의 좌표변환 모듈에 의해 좌표 변환된 데이터가 반영된 영상이 표시되는 표시부의 화면을 나타내는 도면이다.
도 10은 예시적인 실시예들에 따른 건설기계의 작업 가이드 라인 제공 방법을 나타내는 흐름도이다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하고자 한다.
본 발명의 각 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다.
본 발명에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 안 된다.
즉, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 1은 예시적인 실시예들에 따른 건설기계를 나타내는 측면도이다. 도 2는 예시적인 실시예들에 따른 건설기계의 제어 시스템을 나타내는 블록도이다. 도 3은 도 2의 3D 카메라에 의해 인식되는 건설기계의 주변 영역을 나타내는 도면이다. 도 1에는 굴삭기가 도시되어 있으나 이로 인하여 예시적인 실시예들에 따른 건설기계의 제어 시스템(100)이 굴삭기에서만 이용되는 것으로 한정되는 것은 아니며, 휠 로더, 지게차와 같은 산업용 차량 등에도 적용될 수 있다.
도 1 내지 도 3을 참조하면, 건설기계의 제어 시스템(100)은 3D 카메라(110), 위치 정보 수신 장치(120), 데이터 처리 장치(200) 및 제어 장치(300)를 포함할 수 있다. 데이터 처리 장치(200)는 영상인식 모듈(400) 및 좌표변환 모듈(500)을 포함할 수 있다.
예시적인 실시예들에 있어서, 건설기계의 제어 시스템(100)은 건설기계(10)의 주변 영역을 인식하고 동시에 상기 주변 영역에 대한 3차원 영상을 작업자에 제공하는 공간 인식 제어 시스템일 수 있다. 건설기계의 제어 시스템(100)은 상기 주변 영역 내의 작업 영역에 대한 3차원 영상 정보를 작업자에게 제공하는 머신 가이던스(Machine Guidance) 시스템의 역할을 수행할 수 있다. 또한, 건설기계의 제어 시스템(100)은 전방 작업 장치의 버켓(28)이 작업 영역을 넘지 않도록 정밀 제어하는 건설기계(10)의 머신 컨트롤 (Machine Control) 시스템의 역할을 수행할 수 있다.
도 1에 도시된 바와 같이, 예시적인 실시예들에 있어서, 건설기계(10)가 굴삭기인 경우, 무한궤도가 구비되어 굴삭기 전체를 이동시키는 하부 주행체(20) 및 하부 주행체(20)의 상부에 회전 가능하게 구비되는 상부 선회체(22)를 포함할 수 있다. 상부 선회체(22)는 붐(24), 암(26) 및 버켓(28)을 갖는 전방 작업 장치를 포함할 수 있다.
예시적인 실시예들에 있어서, 3D 카메라(110)는 상부 선회체(22) 상에 굴삭기의 전면을 향하여 설치될 수 있다. 3D 카메라(110)는 굴삭기의 주변에 위치한 물체를 촬영하여 3차원 정보를 제공할 수 있다.
3D 카메라(110)는 촬영 렌즈(112)를 포함할 수 있다. 또한, 3D 카메라(110)는 물체인식 센서(114)를 더 포함할 수 있다. 예를 들어, 3D 카메라(110)는 작업 반경에 해당하는 굴삭기의 전방을 향하여 위치할 수 있다.
도 3에 도시된 바와 같이, 3D 카메라(110)는 굴삭기의 주변에 위치한 물체(T) 또는 주변의 일정한 영역(G)에 대하여 3D 카메라(110) 또는 굴삭기로부터 물체(T) 또는 일정 영역(G)까지의 거리를 측정하는 방식으로 공간을 인식할 수 있다.
예를 들면, 3D 카메라(110)는 스테레오 비전 카메라(Stereo Vision Camera)를 포함할 수 있다. 상기 스테레오 비전 카메라는 인접하여 위치하는 좌/우 양측 렌즈를 통해 입력되는 2차원의 좌/우 영상을 CPU, GPU, Hardware acceleration 등으로 구현된 스테레오 비전 시스템(Stereo Vision System)을 거쳐 좌/우 영상의 중심축 위치의 차이를 계산함으로써 3차원 거리 정보를 획득할 수 있다.
스테레오 비전 카메라는 좌/우 카메라의 배치에 따라서 평행식, 직교식, 수평식, 교차식, 수평 이동식을 포함할 수 있다. 스테레오 비전 카메라를 구성하는 좌/우 양측 렌즈 간의 간격은 5cm 내지 8cm일 수 있다. 스테레오 비전 카메라는 주변환경에 따라서 조도를 변화시킬 수 있다.
촬영 렌즈(112)는 굴삭기의 주변영상을 촬영할 수 있다. 상기 스테레오 비전 카메라가 사용되는 경우, 상기 촬영 렌즈는 밀접하여 위치하는 좌/우 렌즈를 포함할 수 있다. 이와 다르게, 촬영 렌즈(112)는 빛을 굴절시켜 사각 영역까지 촬영할 수 있는 광학 렌즈를 포함할 수 있다.
물체인식 센서(114)는 빛을 이용해 거리를 측정하고 물체를 감지하는 센서일 수 있다. 물체인식 센서(114)는 레이더(RADAR) 센서 또는 라이다(LIDAR, Light Detection and Ranging) 센서를 포함할 수 있다. 상기 레이더 센서는 전자기파를 외부로 발사해 재수신 되는 전자기파로 거리, 방향 등을 인지할 수 있다. 상기 라이다 센서는 파장이 짧은 펄스　레이저를 발사하여 정밀도 및 해상도를 높일 수 있다.
예시적인 실시예들에 있어서, 위치 정보 수신 장치(120)는 굴삭기의 위치 정보를 획득할 수 있다. 위치 정보 수신 장치(120)에 의해 획득한 굴삭기의 위치는 기준 좌표(L2)로 정의될 수 있다.
예를 들면, 위치 정보 수신 장치(120)는 글로벌 궤도 항법 위성 시스템(Global Navigation Satellite System, GNSS) 수신기를 포함할 수 있다. 상기 글로벌 궤도 항법 위성 시스템은 다수의 인공위성과 지상의 수신 장비를 이용하여 목표물의 위치를 파악하고 시각 정보를 제공하는 일련의 시스템일 수 있다. 상기 글로벌 궤도 항법 위성 시스템은 각 인공위성에 대한 보정정보를 기준국으로부터 수신하여 사용자 위치에서의 측위 오차를 보정함으로써 측위 정확도를 향상시키는 DGNSS(Differential Global Navigation Satellite System)방식을 사용할 수 있다. 예를 들면, 상기 위치 정보 수신 장치는 지피에스(GPS, Global Positioning System), 글로나스(GLONASS, GLObal Navigation Satellite System), 갈릴레오(Galileo), 베이더우(北斗, Beidou), 등을 포함할 수 있다.
예시적인 실시예들에 있어서, 데이터 처리 장치(200) 및 제어 장치(300)는 차량 제어 장치(VCU)의 일부 또는 별도의 컨트롤러로서 상부 선회체(22)에 탑재될 수 있다. 데이터 처리 장치(200) 및 제어 장치(300)는 머신 가이던스(Machine Guidance) 또는 머신 컨트롤(Machine Control)과 별개로 또는 일체로 구비될 수 있다. 데이터 처리 장치(200) 및 제어 장치(300)는 여기서 설명되는 기능들을 수행하기 위한 지정된 하드웨어, 소프트웨어 및 회로를 포함할 수 있다. 이러한 구성 요소들은 로직 회로, 마이크로프로세서, 메모리 장치들 등과 같은 전기적 회로들에 의해 물리적으로 수행될 수 있다.
예시적인 실시예들에 있어서, 데이터 처리 장치(200)를 구성하는 영상인식모듈(400)은 영상 판단부를 포함할 수 있다. 상기 영상 판단부는 3D카메라(110)가 촬영한 영상을 분석하고 학습할 수 있다. 데이터 처리 장치(200)는 상기 영상 판단부에서 상기 영상을 딥 러닝(Deep leaning)을 통해 분석하고 학습할 수 있다.
구체적으로, 상기 영상 판단부는 상기 영상을 분류하여 데이터 세트(Data set)로 저장할 수 있다. 상기 데이터 세트는 상기 영상으로부터 물체를 상기 딥 러닝을 통해 학습하기 위한 영상 데이터 표본을 의미할 수 있다. 상기 데이터 세트는 건설기계(10)의 상부 선회체(22)의 각도, 3D 카메라(110)의 각도 등에 따라 촬영된 영상 내용으로 분류되어 저장될 수 있다.
예시적인 실시예들에 있어서, 데이터 처리 장치(200)는 상기 영상 판단부를 통해 상기 데이터 세트(Data set)로부터 딥 러닝 기반의 의미론적 영상 분할(Semantic segmentation) 기법을 이용하여 특징점(keypoint)을 추출할 수 있다. 상기 의미론적 영상 분할(Semantic segmentation)은 상기 영상을 구성하는 이미지에 존재하는 객체를 픽셀단위로 분류하는 것을 의미할 수 있다. 상기 의미론적 영상 분할(Semantic segmentation)은 각 픽셀이 상기 영상에서 어떤 클래스에 해당하는지 라벨링(Labeling)할 수 있다. 상기 특징점은 상기 영상에서 불필요한 배경 등을 제외하고 특징이 될 수 있는 상기 객체의 픽셀들을 의미할 수 있다.
데이터 처리 장치(200)는 상기 특징점을 통해 상기 영상에서 상기 객체를 인식할 수 있다. 구체적으로, 데이터 처리 장치(200)는 상기 영상을 구성하는 복수 개의 이미지들에서 동일한 특징점을 추출할 수 있고, 상기 동일한 특징점을 갖는 객체를 동일한 객체로 인식하는 방법을 통해 상기 영상 내에서 상기 객체를 인식할 수 있다. 데이터 처리 장치(200)는 상기 특징점을 상기 객체에 따라 라벨링(Labeling)하여 분류할 수 있다.
예시적인 실시예들에 있어서, 데이터 처리 장치(200)는 상기 영상 판단부를 통해 입체 구조 또는 수동 측량을 위해 설치된 가이드 선을 상기 특징점으로 추출할 수 있다. 상기 영상 판단부는 상기 입체구조 또는 상기 가이드 선에 대한 상기 특징점을 라벨링하여 분류할 수 있다. 후술하는 바와 같이, 데이터 처리 장치(200)는 상기 영상 상에서 추출된 상기 특징점을 통해 상기 입체 구조 또는 상기 가이드 선 등에 대한 상대좌표를 설정할 수 있다.
제어 장치(300)는 표시부(310) 및 컨트롤러(320)를 포함할 수 있다. 표시부(310)는 굴삭기의 상부 선회체(22) 상에 위치한 사용자의 운전석에 설치되어 정보를 표시할 수 있다. 제어 장치 컨트롤러(320)는 상부 선회체(22) 내부에 설치되어 굴삭기의 움직임을 제어할 수 있다.
예시적인 실시예들에 있어서, 제어 장치(300)는 머신 가이던스(Machine Guidance) 기능 또는 머신 컨트롤(Machine Control) 기능을 수행할 수 있다. 머신 가이던스(Machine Guidance)는 굴삭기의 상태, 굴삭기의 조작 방법, 설정된 작업 범위, 위험 구역 등에 대한 정보를 운전자에게 제공하여 운전자의 굴삭기 조작을 안내하거나 작업진행 상황을 확인할 수 있게 할 수 있다. 머신 컨트롤(Machine Control)은 특정 조건 또는 설정된 작업 범위 내에서 반복되는 작업, 특정 작업을 위한 작업장치의 자세 변경, 위험 구역 진입 또는 차량의 전복 예견 시 자동 정지 또는 회피 구동, 설정된 작업 범위를 벗어나지 않도록 굴삭기의 구동을 제한하는 등의 능동 제어를 통해 운전자의 조작 편의를 돕거나 조작 실수에 의한 안전사고를 방지할 수 있다.
제어 장치(300)는 데이터 처리 장치(200)를 구성하는 영상인식 모듈(400) 및 좌표변환 모듈(500)을 통해 얻어진 3차원 좌표(TL) 및 평면 좌표(PL)를 전달 받을 수 있다. 후술하는 바와 같이, 3차원 좌표(TL)는 건설기계(10)의 3D 카메라(110)에 의해 촬영된 건설기계(10) 주변에 위치한 물체의 위치에 해당되는 상대 좌표(L1)(x1, y1, z1)를 위치 정보 수신 장치(120)에 의해 획득한 건설기계(10)의 위치에 해당되는 기준 좌표(L2)(x2, y2, z2)를 기준으로 절대 좌표로 변환하여 획득한 3차원 좌표(TL)(x3, y3, z3)를 의미할 수 있다.
제어 장치(300)는 표시부(310)를 통해 상기 3차원 좌표(TL)를 갖는 3차원 영상을 모니터와 같은 화면에 표시할 수 있다. 제어 장치(300)는 상기 3차원 좌표(TL)를 포함한 실세계 좌표 정보(geographic coordinate information)를 이용하여 컨트롤러(320)를 통해 굴삭기의 동작을 제어할 수 있다.
예시적인 실시예에 있어서, 제어 장치(300)는 상기 3차원 좌표(TL)와 외부에서 입력된 설계 도면 데이터를 연동할 수 있다. 상기 설계 도면 데이터에는 공사 현장에서 사용되는 굴삭기의 작업 내용, 작업 영역, 측량 지점, 구체적인 치수, 필요 물자 등이 포함될 수 있다.
예를 들어, 제어 장치(300)가 머신 가이던스(Machine Guidance) 기능을 수행하는 경우, 상기 3차원 좌표(TL)를 갖는 영상을 표시부(310)를 통해 화면에 표시할 수 있다. 또한, 굴삭기가 기 설정된 좌표(작업 영역)를 이탈하는 경우, 제어 장치(300)는 사용자에게 경고신호를 보내거나 화면 상에 이를 표시하여, 사용자에게 정보를 제공할 수 있다. 이와 다르게, 제어 장치(300)가 머신 컨트롤(Machine Control) 기능을 수행하는 경우, 제어 장치(300)는 기 설정된 좌표에 의해 정의된 작업 반경을 넘지 않도록 굴삭기를 제어하여, 굴삭기의 작업의 정밀도를 높일 수 있다.
이하에서는, 상기 데이터 처리 장치(200)에 대하여 상세히 설명하기로 한다.
도 4는 도 2의 영상인식 모듈에 의해 3D 카메라로부터의 촬영 영상에 대하여 평면 좌표를 설정하는 방법을 나타내는 도면이다. 도 5는 도 2의 영상인식 모듈에 의해 건설기계의 주변 공간에 대해 상대 좌표를 설정하는 방법을 나타내는 도면이다. 도 6은 도 2의 영상인식 모듈에 의해 설정된 건설기계에 대한 거리에 따른 작업 반경을 평면상에 나타내는 도면이다. 도 7은 도 2의 영상인식 모듈에 의해 설정된 건설기계에 대한 거리에 따른 작업 반경을 공간상에 나타내는 도면이다. 도 8은 도 2의 좌표변환 모듈에 의해 수행되는 건설기계에 대한 축 변환 보정을 나타내는 도면이다. 도 9는 도 2의 좌표변환 모듈에 의해 좌표 변환된 데이터가 반영된 영상이 표시되는 표시부의 화면을 나타내는 도면이다.
도 4 내지 도 9를 참조하면, 건설기계의 제어 시스템(100)은 영상인식 모듈(400)을 통해 굴삭기의 주변에 위치한 물체의 상대 좌표(L1)를 인식하고, 좌표변환 모듈(500)을 통해 상기 상대 좌표(L1)에 기준 좌표(L2)를 반영하여 좌표 변환된 3차원 좌표(TL)를 획득할 수 있다.
도 4에 도시된 바와 같이, 영상인식 모듈(400)은 3D 카메라(110)를 통해 촬영된 굴삭기의 주변 영상(IM)에 대하여 2D로 구성된 좌표를 설정할 수 있다. 3D 카메라(110)로 촬영된 영상(IM)에서 2D로 구성된 좌표를 평면 좌표(PL)라 정의할 수 있다. 예를 들어, 수동으로 입력하여 특정 위치나 기준을 설정하거나, 3D 카메라(110)를 통해 촬영된 2D 영상에 대하여 색상이나 형태 등을 인식하여 자동으로 특정 위치나 기준을 설정하여 평면 좌표를 설정할 수 있다.
예를 들어, 상기 평면 좌표(PL)는 굴삭기를 구성하는 버킷(bucket)의 위치를 PL1과 같이 인식하여 설정될 수 있다. 이러한 위치를 M과 같이 기준으로 설정할 수 있고, 이러한 기준에 따라 상대적으로 평면 내의 다른 물체(PL2)에 대하여도 좌표를 설정할 수 있다. 평면 좌표(PL)가 설정되는 특정 위치는 PL3와 같이 수동 측량을 위해 현장에 설치된 가이드 선, 공사 현장의 지면에 표시된 가이드 라인 등을 포함할 수 있다.
도 5에 도시된 바와 같이, 영상인식 모듈(400)은 3D 카메라(110)로 인식된 굴삭기의 주변에 위치한 물체 및 일정 영역에 대하여 좌표를 설정할 수 있다. 영상인식 모듈(400)이 상기 물체 및 상기 일정 영역에 대하여 설정한 좌표를 상대 좌표(L1)(x1, y1, z1)로 정의할 수 있다. 예를 들어, 상기 상대 좌표(L1)(x1, y, z1)는 3D 카메라(110)의 위치를 기준으로 설정될 수 있다. 이와 다르게 상기 상대 좌표(L1)(x1, y1, z1)는 굴삭기의 중심부를 기준으로 설정될 수 있다.
구체적으로, 3D 카메라(110)가 인식한 주변 공간에 대하여 3D 입체 공간을 재현할 수 있고, 재현된 상기 3D 입체 공간에 구체적인 좌표(상대 좌표)를 설정할 수 있다. 상기 설정된 좌표(상대 좌표)에는 L21와 같은 건설 현장의 입체 구조, L22와 같은 수동 측량을 위해 현장에 설치된 가이드 선, 공사 현장의 지면에 표시된 가이드 라인 등을 포함할 수 있다.
예시적인 실시예들에 있어서, 3D 카메라(110)가 스테레오 비전 카메라(Stereo Vision Camera)인 경우, 영상인식 모듈(400)은 좌/우 렌즈를 갖는 촬영 렌즈(112)를 통해 굴삭기의 주변에 대하여 영상을 촬영하고 굴삭기의 주변 공간을 인식할 수 있다. 예를 들어, 영상인식 모듈(400)은 상기 스테레오 비전 카메라를 이용하여 촬영된 좌/우 영상의 중심축 위치의 차이를 계산함으로써 3차원 거리 정보를 획득하여 주변 공간을 인식할 수 있다.
구체적인 공간에 대한 좌표(상대 좌표)를 설정하는 경우, 굴삭기를 기준으로 X방향은 우측 방향, Y방향은 전방, Z방향은 높이를 의미할 수 있다. 동일하게, X방향의 축을 X축, Y방향의 축을 Y축, Z방향의 축을 Z축으로 정의할 수 있다. 이에 따라, 굴삭기의 주변에 대한 위치를 특정할 때, 다음 식(1)과 같이 표시될 수 있다.
Figure pat00001
------ 식(1)
도 6 및 도 7에 도시된 바와 같이, 예시적인 실시예들에 있어서, 영상인식 모듈(400)은 3D 카메라(110)로 촬영한 영상 및 3차원 공간에 대하여 굴삭기의 최대 작업 반경을 설정할 수 있다. 영상인식 모듈(400)이 설정하는 공간에 대한 좌표(상대 좌표)에는 상기 최대 작업 반경이 포함될 수 있다.
예시적인 실시예들에 있어서, 2차원 영상에 굴삭기의 최대 작업반경(P1, P2), 최대 작업반경의 2/3(P3, P4), 최대 작업반경의 1/3(P5, P6)을 표시하는 3차원 상의 점을 변환하여 설정할 수 있다. 이와 다르게, 3D 카메라(110)를 통해 인식한 3차원 공간에 대하여 굴삭기의 최대 작업반경(P1, P2), 최대 작업반경의 2/3(P3, P4), 최대 작업반경의 1/3(P5, P6)을 설정할 수 있다.
예를 들어, 3쌍의 점(P1, P2, P3, P4, P5, P6)은 굴삭기의 하부 주행체의 양측에 구비되는 무한궤도 바퀴의 중심부에서 굴삭기의 최대 작업 반경까지 위치할 수 있다.
상기 점들(P1, P2, P3, P4, P5, P6)은 각각 3차원을 표현하도록 하기의 식과 같이 표현될 수 있다. 구체적으로, 굴삭기를 기준으로 X는 우측 방향, Y는 전방, Z는 높이를 의미할 수 있다.
1) 최대 작업 반경
Figure pat00002
2) 최대 작업 반경의 2/3
Figure pat00003
3) 최대 작업 반경의 1/3
Figure pat00004
여기서, Dx는 굴삭기 중심으로부터 무한궤도 바퀴의 중앙까지의 거리이고, Dy는 굴삭기 최대 작업반경이고, H는 굴삭기 중심좌표 측정지점으로부터 지면까지의 거리이다.
예시적인 실시예들에 있어서, 좌표변환 모듈(500)은 영상인식 모듈(400) 및 위치 정보 수신 장치(120)로부터 위치 좌표들에 대한 데이터를 수신할 수 있다.
좌표변환 모듈(500)은 위치 정보 수신 장치(120)에 의해 획득한 굴삭기의 위치에 해당하는 기준 좌표(L2)(x2, y2, z2)를 수신할 수 있다. 예를 들면, 위치 정보 수신 장치(120)는 글로벌 궤도 항법 위성 시스템(Global Navigation Satellite System, GNSS)을 이용하여 위치를 파악할 수 있다. 따라서, 영상인식 모듈(400)로부터 수신된 상기 상대 좌표(L1)(x1, y1, z1)가 3D 카메라(110)에 의해 획득한 영상을 분석하여 도출된 좌표인 것과 달리, 위치 정보 수신 장치(120)로부터 획득한 상기 기준 좌표(L2)(x2, y2, z2)는 외부를 통해 얻은 좌표, 즉, 실세계 좌표일 수 있다.
도 8에 도시된 바와 같이, 좌표변환 모듈(500)은 영상인식 모듈(400)을 통하여 파악된 굴삭기의 주변 공간에 대하여 설정된 상대 좌표(L1)를 축 변환하여 보정할 수 있다. 좌표변환 모듈(500)은 X축, Y축, Z축에 따라 축 변환을 수행할 수 있다. 좌표변환 모듈(500)은 축 변환에 따른 보정된 상대 좌표(L1')(x1', y1', z1')를 획득할 수 있다.
예를 들어, 좌표변환 모듈(500)은 상대 좌표(L1)를 축 변환하기 위해 필요한 축 변환 정도에 대한 데이터를 굴삭기 상에 설치된 버켓(bucket) 경사각 센서, 암(arm) 경사각 센서, 붐(boom) 경사각 센서, 선회각 센서, 수평 센서 등으로부터 수신할 수 있다.
좌표변환 모듈(500)은 굴삭기의 X축, Y축, Z축의 축 변환에 따라 상대 좌표(L1)(x1, y1, z1)를 축 변환 할 수 있다. 좌표변환 모듈(500)은 굴삭기의 상부 선회체의 회전 방향, 지면의 상태에 따라 변하는 굴삭기의 기울기, 굴삭기의 버켓(bucket), 암(arm), 붐(boom)의 경사각 등을 고려하여 보정할 수 있다. 좌표변환 모듈(500)은 건설기계(10)의 종류에 따라 상기 상대 좌표(L1)(x1, y1, z1)를 다르게 보정할 수 있다.
축 변환을 반영하기 위해서 오일러 각의 개념을 이용할 수 있다. 구체적으로, 영상인식 모듈(400)로부터 수신한 축 변환을 표현하는 X축, Y축, Z축 기준 회전각은 θRoll, θPitch, θYaw로 표현되며, 축 변환을 반영한 점(P)은 하기의 식(2)을 통하여 도출될 수 있다.
Figure pat00005
------ 식(2)
여기서, X축 회전각은 θRoll이고, Y축 회전각은 θPitch이고, Z축 회전각은 θYaw이다.
따라서, 본 발명에서는 굴삭기의 작업반경을 표시하는 각 점들을 굴삭기의 축 변환을 반영함으로써, 실제 작업반경을 정확하게 파악할 수 있다.
나아가, 굴삭기의 상부 선회체가 굴착 작업을 위해 회전하는 경우, 굴삭기 상에 위치하는 3D 카메라(110)의 위치도 변경될 수 있다. 좌표변환 모듈(500)은 굴삭기의 상부 선회체에 대한 회전된 정도를 고려하여 영상인식 모듈(400)을 통해 얻어진 굴삭기의 위치를 보정하여 재설정 할 수 있다. 굴삭기를 구성하는 하부 주행체, 상부 선회체, 엔진, 붐(boom), 암(arm) 및 버킷(bucket) 상에 3D 카메라(110) 또는 다른 센서가 위치하는 경우, 좌표변환 모듈(500)은 이러한 구체적 위치를 고려하여 굴삭기의 위치 좌표 값을 보정할 수 있다.
최종 좌표 데이터를 의미하는 3차원 좌표(TL)(x3, y3, z3)은 아래의 식(3) 또는 식(4)로 표현될 수 있다.
Figure pat00006
------ 식(3)
Figure pat00007
------ 식(4)
식(3) 또는 식(4)에 의해, 3차원 좌표(TL)(x3, y3, z3)는 상대 좌표(L1)(x1, y1, z1) 또는 축 변환을 통해 보정된 상대 좌표(L1')(x1', y1', z1')를 기준 좌표(L2)(x2, y2, z2)에 연동하여 획득한 최종 좌표에 대한 데이터로 정의할 수 있다. 좌표변환 모듈(500)은 상기 상대 좌표(L1)(x1, y1, z1) 또는 보정된 상대 좌표(L1')(x1', y1', z1')에 위치 정보 수신 장치(120)에 의해 획득한 상기 기준 좌표(L2)(x2, y2, z2)를 기준점으로 하여 좌표 변환하여 절대 좌표로서의 3차원 좌표(TL)(x3, y3, z3)를 도출할 수 있다.
구체적으로, 상기 기준 좌표(L2)(x2, y2, z2)는 굴삭기의 위치를 의미하는 절대 좌표일 수 있고 상기 상대 좌표(L1')(x1', y1', z1') 또는 보정을 통해 얻어진 상대 좌표(L1')(x1', y1', z1')는 굴삭기에 대한 주변 공간의 위치를 의미하는 상대 좌표를 의미할 수 있다. 상기 3차원 좌표(TL)(x3, y3, z3)를 통해 건설기계의 제어 시스템(100)은 굴삭기와 굴삭기의 주변 공간에 대한 종합적인 위치 및 좌표를 판단할 수 있다.
예시적인 실시예들에 있어서, 좌표변환 모듈(500)은 영상인식 모듈(400)을 통하여 파악된 굴삭기의 주변 공간에 대하여 설정된 상대 좌표(L1)(x1, y1, z1)를 굴삭기의 최대 작업 반경을 고려하여 축 변환하여 보정할 수 있다. 좌표변환 모듈(500)은 X축, Y축, Z축에 따라 축 변환 할 수 있다. 축 변환에 대한 데이터는 굴삭기의 회전 방향, 기울기의 정도 등 굴삭기에 구비된 센서 등을 통하여 수신할 수 있다.
좌표변환 모듈(500)은 상기 기준 좌표(L2)(x2, y2, z2)와 상기 상대 좌표(L1)(x1, y1, z1)를 포함하는 3차원 좌표(TL)(x3, y3, z3)와 3D 카메라(110)를 통해 촬영된 영상(IM)을 통해 구성된 평면 좌표(PL)를 연동시킬 수 있다. 구체적으로, 3차원 좌표(TL)에서 인식된 물체 및 영역에 대하여 평면 좌표(PL)에서 동일하게 인식된 물체 및 영역이 존재하는 경우 이를 서로 연동시켜 동일한 좌표로 표현할 수 있다. 이러한 과정을 통해, 3D로 구성된 3차원 좌표(TL)를 2D로 구성된 평면 좌표(PL)에 매칭시킴으로써, 사용자에게 화면 상으로 표시될 수 있다.
좌표변환 모듈(500)은 공간 상의 좌표로 인식된 3차원 좌표(TL)에 대하여 평면 좌표(PL)와 연동시키기 위해 카메라 행렬(Camera Matrix)을 사용하여 변환할 수 있다. 상기 카메라 행렬은 아래의 식(5)에 의해 표현될 수 있다.
Figure pat00008
------ 식(5)
여기서, fx는 x축 평면좌표초점거리이고, fy는 y축 평면좌표 초점거리이고, Cx는 x축 평면좌표 주점거리이고, Cy는 y축 평면좌표이고, skewcfx는 비대칭 계수이다.
좌표변환 모듈(500)에서 변환된 모든 좌표 정보는 제어 장치(300)로 전달될 수 있다. 도 9에 도시된 바와 같이, 제어 장치(300)의 표시부(310)는 굴삭기 사용자의 운전석에 설치되어 상기 3차원 좌표 정보(TL)(x3, y3, z3)를 갖는 영상을 화면에 표시할 수 있다. 제어 장치(300)는 상기 좌표 정보와 외부에서 입력된 설계 도면 데이터를 연동할 수 있다. 제어 장치(300)의 컨트롤러(320)는 상기 좌표 정보를 통해 굴삭기의 움직임을 제어할 수 있다.
상술한 바와 같이, 건설기계의 제어 시스템(100)은 3D 카메라(110)를 이용하여 건설기계(10)의 주변 영상을 촬영하고 주변 영역에 대한 상대 좌표(L1)를 인식하여, 건설기계(10)의 주변에 대한 상대 좌표 데이터를 획득하고, 위치 정보 수신 장치(120)을 통해 건설기계(10)의 위치에 대한 절대 좌표 데이터를 획득하고, 상기 상대 좌표 데이터에 상기 절대 좌표 데이터를 반영하여 3차원 영상 데이터를 획득할 수 있다. 이렇게 획득된 3차원 영상 데이터를 통해, 머신 가이던스(Machine Guidance) 또는 머신 컨트롤(Machine Control)과 같은 제어 장치(300)와 연동할 수 있으며, 보다 정밀하고 정확한 건설 작업이 가능하게 할 수 있다.
이하에서는, 도 1의 건설기계의 제어 시스템을 이용한 작업 가이드 라인 제공 방법에 대하여 설명하도록 한다.
도 10은 예시적인 실시예들에 따른 건설기계의 작업 가이드 라인 제공 방법을 나타내는 흐름도이다.
도 1 내지 도 10을 참조하면, 먼저, 3D 카메라를 통해 건설기계의 주변에 위치한 물체를 인식하고 영상을 촬영할 수 있다(S110).
예시적인 실시예들에 있어서, 3D 카메라(110)를 통해 건설기계(10)로부터 특정 물체 또는 일정 영역까지에 대한 거리를 측정할 수 있다. 또한, 3D 카메라(110)를 통해 주변을 영상으로 촬영할 수 있다. 3D 카메라(110)는 건설기계(10)의 주변에 위치한 상기 물체 또는 상기 일정 영역에 대하여 3D 카메라(110) 또는 건설기계(10)로부터 상기 물체 또는 상기 일정 영역까지의 거리를 측정하는 방식으로 공간을 인식할 수 있다. 3D 카메라(110)를 통해 인식된 주변 공간에 대한 거리 데이터 및 영상은 영상인식 모듈(400)으로 전달될 수 있다. 예를 들어, 상기 3D 카메라를 통해 물체를 인식하고 영상을 촬영하는 것(S110)에서 사용되는 3D 카메라(110)는 스테레오 비전 카메라(Stereo Vision Camera)를 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 물체를 인식하고 영상을 촬영하는 것은 상기 촬영된 영상을 분류하여 데이터 세트(Data set)로 저장하고, 상기 데이터 세트(Data set)로부터 상기 물체를 학습하는 것을 포함할 수 있다. 상기 데이터 세트(Data set)로부터 상기 물체를 학습하는 것은 데이터 처리 장치(200)를 구성하는 영상 판단부에서 딥 러닝(Deep leaning)을 통해 상기 물체를 분석하고 학습할 수 있다.
예시적인 실시예들에 있어서, 상기 물체를 인식하고 영상을 촬영하는 것은 상기 데이터 세트(Data set)로부터 의미론적 영상 분할(Semantic segmentation)을 통해 입체구조 또는 수동 측량을 위해 설치된 가이드 선을 특징점(Keypoint)으로 추출하는 것을 더 포함할 수 있다. 데이터 처리 장치(200)는 상기 입체구조 또는 상기 가이드 선에 대한 상기 특징점을 라벨링(Labeling)하여 분류할 수 있다.
이어서, 위치 정보 수신 장치(120)를 통해 상기 건설기계(10)의 위치에 해당되는 기준 좌표(L2)를 획득할 수 있다(S120).
예시적인 실시예들에 있어서, 위치 정보 수신 장치(120)를 이용해, 건설기계(10)의 위치 정보를 획득할 수 있다. 위치 정보 수신 장치(120)에 의해 획득한 상기 건설기계(10)의 위치는 기준 좌표(L2)(x2, y2, z2)로 정의될 수 있다. 위치 정보 수신 장치(120)를 통해 인식된 건설기계(10)의 위치 좌표는 좌표변환 모듈(500)로 전달될 수 있다. 예를 들어, 위치 정보 수신 장치(120)는 글로벌 궤도 항법 위성 시스템(Global Navigation Satellite System, GNSS) 수신기를 포함할 수 있다. 상기 글로벌 궤도 항법 위성 시스템은 다수의 인공위성과 지상의 수신 장비를 이용하여 목표물의 위치를 파악하고 시각 정보를 제공하는 일련의 시스템일 수 있다.
이어서, 상기 영상으로부터 상기 건설기계에 대한 상기 물체의 상대 좌표(L1)를 획득할 수 있고(S130), 상기 건설기계의 X축, Y축, Z축에 대한 회전각을 반영하도록 상기 상대 좌표를 축 변환하여 보정된 상대 좌표를 획득할 수 있다(S140).
예시적인 실시예들에 있어서, 3D 카메라(110)로 인식된 건설기계(10)의 주변에 위치한 물체 및 일정 영역에 대한 좌표를 획득할 수 있다. 이러한 작업은 영상인식 모듈(400)에서 이루어 질 수 있다. 영상인식 모듈(400)이 상기 물체 및 상기 일정 영역에 대하여 설정한 좌표를 상대 좌표(L1)(x1, y1, z1)로 정의할 수 있다. 설정된 상대 좌표(L1)(x1, y1, z1)는 좌표변환 모듈(500)로 전달될 수 있다. 예를 들어, 상기 상대 좌표(L1)(x1, y1, z1)는 3D 카메라(110)의 위치를 기준으로 설정될 수 있다. 이와 다르게 상기 상대 좌표(L1)(x1, y1, z1)는 건설기계(10)의 중심을 기준으로 설정될 수 있다.
구체적으로, 3D 카메라(110)가 인식한 주변 공간에 대하여 3D 입체 공간을 재현할 수 있고, 재현된 상기 3D 입체 공간에 구체적인 좌표(상대 좌표)를 설정할 수 있다. 상기 설정된 좌표(상대 좌표)에는 건설 현장의 입체 구조, 수동 측량을 위해 현장에 설치된 가이드 선, 공사 현장의 지면에 표시된 가이드 라인 등을 포함할 수 있다.
예시적인 실시예들에 있어서, 3D 카메라(110)가 스테레오 비전 카메라(Stereo Vision Camera)인 경우, 영상인식 모듈(400)은 좌/우 렌즈를 갖는 촬영 렌즈(112)를 통해 건설기계(10)의 주변에 대하여 영상을 촬영하고 건설기계(10)의 주변 공간을 인식할 수 있다. 예를 들어, 영상인식 모듈(400)은 스테레오 비전 카메라를 이용하여 촬영된 좌/우 영상의 중심축 위치의 차이를 계산함으로써 3차원 거리 정보를 획득하여 주변공간을 인식할 수 있다.
예시적인 실시예들에 있어서, 건설기계(10)의 주변 공간에 대하여 설정된 상대 좌표(L1)(x1, y1, z1)를 상기 건설기계(10)의 X축, Y축, Z축에 대한 회전각을 반영하도록 축 변환하여 보정할 수 있다. 이러한 보정은 좌표변환 모듈(500)에서 이루어 질 수 있다. 좌표변환 모듈(500)은 축 변환에 따른 보정된 상대 좌표(L1')(x1', y1', z1')를 획득할 수 있다.
예를 들어, 건설기계(10)가 굴삭기인 경우, 좌표변환 모듈(500)은 상대 좌표(L1)(x1, y1, z1)를 축 변환하기 위해 필요한 축 변환 정도에 대한 데이터를 굴삭기 상에 설치된 버켓(bucket) 경사각 센서, 암(arm) 경사각 센서, 붐(boom) 경사각 센서, 선회각 센서, 수평 센서 등으로부터 수신할 수 있다.
좌표변환 모듈(500)은 건설기계(10)의 종류에 따라 상기 상대 좌표(L1)(x1, y1, z1)를 다르게 보정할 수 있다. 예를 들어, 건설기계(10)가 굴삭기인 경우, 좌표변환 모듈(500)은 굴삭기의 X축, Y축, Z축의 축 변환에 따라 상대 좌표(L1)(x1, y1, z1)를 축 변환 할 수 있다. 좌표변환 모듈(500)은 굴삭기 상부 선회체의 회전 방향, 지면의 상태에 따라 변하는 굴삭기의 기울기, 굴삭기의 버켓(bucket), 암(arm), 붐(boom)의 경사각 등을 고려하여 보정할 수 있다.
이어서, 상대 좌표(L1)를 기준 좌표(L2)를 기준으로 좌표 변환하여 3차원 좌표(TL)를 획득할 수 있고(S150), 최대 작업 반경에 대한 거리 데이터를 3차원 좌표에 추가할 수 있다(S160).
예시적인 실시예들에 있어서, 보정을 통해 얻어진 상기 상대 좌표(L1')(x1', y1', z1')에 위치 정보 수신 장치(120)에 의해 획득한 상기 기준 좌표(L2)(x2, y2, z2)를 기준점으로 하여 좌표 변환하여 절대 좌표로서의 3차원 좌표(TL)(x3, y3, z3)를 도출할 수 있다. 3차원 좌표(TL)(x3, y3, z3)는 상기 기준 좌표(L2)(x2, y2, z2)와 상기 상대 좌표(L1')(x1', y1', z1')를 연동한 최종 좌표에 대한 데이터로 정의할 수 있다.
구체적으로, 상기 기준 좌표(L2)(x2, y2, z2)는 건설기계(10)의 위치를 의미하는 좌표일 수 있고 상기 상대 좌표(L1')(x1', y1', z1')는 건설기계(10)에 대한 주변 공간의 위치를 의미하는 상대 좌표를 의미할 수 있다. 상기 3차원 좌표(TL) (x3, y3, z3)를 통해 건설기계의 제어 시스템(100)은 건설기계(10)와 건설기계(10)의 주변 공간에 대한 종합적인 위치 및 좌표를 판단할 수 있다.
예시적인 실시예들에 있어서, 상기 건설기계(10)가 굴삭기인 경우, 3D 카메라(110)로 촬영한 영상 및 3차원 공간에 대하여 굴삭기의 최대 작업 반경을 설정할 수 있다. 영상인식 모듈(400)이 설정하는 공간에 대한 좌표(상대 좌표)에는 상기 최대 작업 반경이 포함될 수 있다.
이어서, 3차원 좌표를 갖는 영상을 화면 상에 표시할 수 있다(170S).
예시적인 실시예들에 있어서, 좌표변환 모듈(500)에서 변환된 모든 좌표 정보는 제어 장치(300)로 전달될 수 있다. 제어 장치(300)는 상기 3차원 좌표(TL)와 외부에서 입력된 설계 도면 데이터를 연동할 수 있다. 상기 설계 도면 데이터에는 공사 현장에서 사용되는 굴삭기의 작업 내용, 작업 영역, 측량 지점, 구체적인 치수, 필요 물자 등이 포함될 수 있다. 제어 장치(300)는 표시부(310)를 통해 상기 3차원 좌표(TL)를 갖는 3차원 영상을 모니터와 같은 화면에 표시할 수 있다. 제어 장치(300)는 상기 3차원 좌표(TL)를 포함한 실세계 좌표 정보(geographic coordinate information)를 이용하여 컨트롤러(320)를 통해 굴삭기의 동작을 제어할 수 있다.
예를 들어, 제어 장치(300)가 머신 가이던스(Machine Guidance) 기능을 수행하는 경우, 상기 3차원 좌표(TL)를 갖는 영상을 표시부(310)를 통해 화면에 표시할 수 있다. 또한, 건설기계(10)가 기 설정된 좌표(작업 영역)를 이탈하는 경우, 제어 장치(300)는 사용자에게 경고신호를 보내거나 화면상에 이를 표시하여, 사용자에게 정보를 제공할 수 있다. 이와 다르게, 제어 장치(300)가 머신 컨트롤(Machine Control) 기능을 수행하는 경우, 제어 장치(300)는 기 설정된 좌표에 의해 정의된 작업 반경을 넘지 않도록 건설기계(10)를 제어하여, 건설기계(10)의 작업의 정밀도를 높일 수 있다.
상술한 바와 같이, 건설 작업 가이드 라인 제공 방법은 3D 카메라를 통해 물체를 촬영한 영상을 획득할 수 있고(S110), 기준 좌표 및 상대 좌표를 획득할 수 있고(S120, S130), 상기 상대 좌표를 기준 좌표를 기준으로 변환하여 3차원 좌표를 획득 할 수 있다(S150). 이렇게 획득된 3차원 좌표 데이터를 통해, 머신 가이던스(Machine Guidance) 또는 머신 컨트롤(Machine Control)과 같이 제어 장치(300)와 연동할 수 있으며(S170), 보다 정밀한 건설 작업이 가능하게 할 수 있다.
이상에서는 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 건설기계 20: 하부 주행체
22: 상부 선회체 24: 붐
26: 암 28: 버켓
100: 건설기계의 제어 시스템 110: 3D 카메라
112: 촬영 렌즈 114: 물체인식 센서
120: 위치 정보 수신 장치 200: 데이터 처리 장치
300: 제어 장치 310: 표시부
320: 컨트롤러 400: 영상인식 모듈
500: 좌표변환 모듈

Claims (16)

  1. 건설기계의 주변에 위치한 물체를 인식하고 영상을 촬영하기 위한 3D 카메라;
    상기 건설기계의 위치에 해당되는 기준 좌표를 획득하기 위한 위치 정보 수신 장치;
    상기 영상으로부터 상기 건설기계에 대한 상기 물체의 상대 좌표를 인식하고, 상기 상대 좌표를 상기 기준 좌표를 기준으로 좌표 변환하여 3차원 좌표를 획득하기 위한 데이터 처리 장치; 및
    상기 3차원 좌표를 갖는 영상을 화면 상에 표시하기 위한 제어 장치를 포함하는 건설기계의 제어 시스템.
  2. 제 1 항에 있어서, 상기 데이터 처리 장치는,
    상기 영상으로부터 상기 물체의 상대 좌표를 추출하기 위한 영상인식 모듈; 및
    상기 물체의 상대 좌표를 상기 기준 좌표를 기준으로 좌표 변환하여 상기 3차원 좌표를 획득하기 위한 좌표변환 모듈을 포함하는 건설기계의 제어 시스템.
  3. 제 2 항에 있어서, 상기 좌표변환 모듈은 상기 건설기계의 X축, Y축, Z축에 대한 회전각을 반영하도록 상기 상대 좌표를 축 변환하여 보정된 상대 좌표를 획득하고, 상기 보정된 상대 좌표를 절대 좌표로 변환하여 상기 3차원 좌표를 획득하는 건설기계의 제어 시스템.
  4. 제 1 항에 있어서, 상기 건설기계는, 굴삭기인 건설기계의 제어 시스템.
  5. 제 4 항에 있어서, 상기 데이터 처리 장치는, 상기 굴삭기의 최대 작업 반경에 대한 거리 데이터를 상기 3차원 좌표에 추가시키고, 상기 제어 장치는 상기 거리 데이터를 화면 상에 표시하는 것을 특징으로 하는 건설기계의 제어 시스템.
  6. 제 1 항에 있어서, 상기 제어 장치는 건설 현장의 설계 도면 데이터를 상기 3차원 좌표와 연동하여 상기 화면 상에 표시하는 것을 특징으로 하는 건설기계의 제어 시스템.
  7. 제 2 항에 있어서, 상기 영상인식 모듈은 상기 영상을 분류하여 데이터 세트(Data set)로 저장하고 상기 데이터 세트로부터 기 학습된 알고리즘을 이용하여 상기 영상에서 상기 물체를 인식하는 영상 판단부를 포함하는 건설기계의 제어 시스템.
  8. 제 7 항에 있어서, 상기 영상 판단부는 상기 데이터 세트(Data set)로부터 입체 구조 또는 수동 측량을 위해 설치된 가이드 선을 특징점으로 추출하는 건설기계의 제어 시스템.
  9. 건설기계의 주변에 위치한 물체를 인식하고 영상을 촬영하기 위한 3D 카메라; 및
    상기 영상으로부터 상기 물체의 상대 좌표를 추출하기 위한 영상인식 모듈을 포함하고,
    상기 영상인식 모듈은 상기 영상을 분류하여 데이터 세트(Data set)로 저장하고 상기 데이터 세트로부터 기 학습된 알고리즘을 이용하여 상기 영상에서 상기 물체를 인식하는 영상 판단부를 포함하고,
    상기 영상 판단부는 상기 데이터 세트(Data set)로부터 입체 구조 또는 수동 측량을 위해 설치된 가이드 선을 특징점으로 추출하는 건설기계의 제어 시스템.
  10. 3D 카메라를 통해 건설기계의 주변에 위치한 물체를 인식하고 영상을 촬영하고;
    위치 정보 수신 장치를 통해 상기 건설기계의 위치에 해당되는 기준 좌표를 획득하고;
    상기 영상으로부터 상기 건설기계에 대한 상기 물체의 상대 좌표를 인식하고;
    상기 상대 좌표를 상기 기준 좌표를 기준으로 좌표 변환하여 3차원 좌표를 획득하고; 그리고
    상기 3차원 좌표를 갖는 영상을 화면 상에 표시하는 것을 포함하는 건설 작업 가이드 라인 제공 방법.
  11. 제 10 항에 있어서,
    상기 건설기계의 X축, Y축, Z축에 대한 회전각을 반영하도록 상기 상대 좌표를 축 변환하여 보정된 상대 좌표를 획득하는 것을 더 포함하고,
    상기 3차원 좌표를 획득하는 것은 상기 보정된 상대 좌표를 상기 기준 좌표를 기준으로 하여 절대 좌표로 변환하는 것을 포함하는 건설 작업 가이드 라인 제공 방법.
  12. 제 10 항에 있어서, 상기 건설기계는, 굴삭기인 건설 작업 가이드 라인 제공 방법.
  13. 제 12 항에 있어서, 상기 굴삭기의 최대 작업 반경에 대한 거리 데이터를 상기 3차원 좌표에 추가하는 것을 더 포함하고,
    상기 영상을 화면 상에 표시하는 것은 상기 거리 데이터가 추가된 영상을 화면 상에 표시하는 건설 작업 가이드 라인 제공 방법.
  14. 제 10 항에 있어서,
    건설 현장의 설계 도면 데이터를 상기 3차원 좌표와 연동하여 상기 화면상에 표시하는 것을 더 포함하는 건설 작업 가이드 라인 제공 방법.
  15. 제 10 항에 있어서, 상기 상대 좌표를 인식하는 것은 상기 촬영된 영상을 분류하여 데이터 세트(Data set)로 저장하고 상기 데이터 세트로부터 기 학습된 알고리즘을 이용하여 상기 영상에서 상기 물체를 인식하는 것을 포함하는 건설 작업 가이드 라인 제공 방법.
  16. 제 15 항에 있어서, 상기 상대 좌표를 인식하는 것은 상기 데이터 세트(Data set)로부터 입체 구조 또는 수동 측량을 위해 설치된 가이드 선을 특징점으로 추출하는 것을 더 포함하는 건설 작업 가이드 라인 제공 방법.
KR1020210045155A 2021-04-07 2021-04-07 건설기계의 제어 시스템 및 작업 가이드 라인 제공 방법 KR20220139031A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210045155A KR20220139031A (ko) 2021-04-07 2021-04-07 건설기계의 제어 시스템 및 작업 가이드 라인 제공 방법
US17/715,397 US20220333355A1 (en) 2021-04-07 2022-04-07 Control system of construction machinery and method of providing working guide line

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210045155A KR20220139031A (ko) 2021-04-07 2021-04-07 건설기계의 제어 시스템 및 작업 가이드 라인 제공 방법

Publications (1)

Publication Number Publication Date
KR20220139031A true KR20220139031A (ko) 2022-10-14

Family

ID=83599735

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210045155A KR20220139031A (ko) 2021-04-07 2021-04-07 건설기계의 제어 시스템 및 작업 가이드 라인 제공 방법

Country Status (2)

Country Link
US (1) US20220333355A1 (ko)
KR (1) KR20220139031A (ko)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102092121B1 (ko) * 2016-03-09 2020-04-24 라이카 게오시스템스 테크놀로지 에이/에스 정지 작업의 결과를 결정하기 위한 측정 장비
JP6925816B2 (ja) * 2017-02-09 2021-08-25 株式会社小松製作所 位置計測システム、作業機械、及び位置計測方法
KR102011386B1 (ko) * 2017-11-24 2019-08-16 인하대학교 산학협력단 굴삭기 작업반경 표시 방법
JP7037393B2 (ja) * 2018-03-08 2022-03-16 大成建設株式会社 作業車両用旋回制御システム
KR20210106409A (ko) * 2018-10-19 2021-08-30 스미토모 겐키 가부시키가이샤 쇼벨
JP7245084B2 (ja) * 2019-03-15 2023-03-23 日立Astemo株式会社 自動運転システム

Also Published As

Publication number Publication date
US20220333355A1 (en) 2022-10-20

Similar Documents

Publication Publication Date Title
AU2017318897B2 (en) Image display system for work machine
AU2015234395B2 (en) Real-time range map generation
KR101815269B1 (ko) 위치 계측 시스템 및 위치 계측 방법
US9481982B1 (en) Method and control system for surveying and mapping a terrain while operating a bulldozer
US11120577B2 (en) Position measurement system, work machine, and position measurement method
CN106029994B (zh) 校正系统、作业机械和校正方法
EP2187166A2 (en) Industrial Machine
JP6867132B2 (ja) 作業機械の検出処理装置及び作業機械の検出処理方法
US20220101552A1 (en) Image processing system, image processing method, learned model generation method, and data set for learning
KR101880185B1 (ko) 이동체 포즈 추정을 위한 전자 장치 및 그의 이동체 포즈 추정 방법
JP6880822B2 (ja) 装置、移動体装置及び方法
JP6826233B2 (ja) 作業機の外形形状測定システム，作業機の外形形状表示システム，作業機の制御システム及び作業機械
CN112673284A (zh) 坐标转换系统及作业机械
US20240028042A1 (en) Visual overlays for providing perception of depth
KR20220139031A (ko) 건설기계의 제어 시스템 및 작업 가이드 라인 제공 방법
US20220316188A1 (en) Display system, remote operation system, and display method
JP2017032276A (ja) 位置計測システム
US11908076B2 (en) Display system and display method
Borthwick et al. Mining haul truck localization using stereo vision
CN117545897A (zh) 进入检测系统

Legal Events

Date Code Title Description
A201 Request for examination