KR20210061159A - 건설기계의 제어 시스템 및 제어 방법 - Google Patents

건설기계의 제어 시스템 및 제어 방법 Download PDF

Info

Publication number
KR20210061159A
KR20210061159A KR1020190149023A KR20190149023A KR20210061159A KR 20210061159 A KR20210061159 A KR 20210061159A KR 1020190149023 A KR1020190149023 A KR 1020190149023A KR 20190149023 A KR20190149023 A KR 20190149023A KR 20210061159 A KR20210061159 A KR 20210061159A
Authority
KR
South Korea
Prior art keywords
data
region
interest
construction machine
information data
Prior art date
Application number
KR1020190149023A
Other languages
English (en)
Inventor
이희진
김동목
홍희승
남형도
노치원
이수준
Original Assignee
두산인프라코어 주식회사
포테닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 두산인프라코어 주식회사, 포테닛 주식회사 filed Critical 두산인프라코어 주식회사
Priority to KR1020190149023A priority Critical patent/KR20210061159A/ko
Publication of KR20210061159A publication Critical patent/KR20210061159A/ko

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Geometry (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

건설기계의 제어 시스템은 건설기계의 작업을 위한 측정 영역의 지형 정보 데이터를 획득하기 위한 데이터 획득 장치, 및 상기 데이터 측정 장치로부터 획득한 지형 정보 데이터 중에서 관심 영역의 데이터를 추출하고 추출된 데이터를 처리하여 상기 관심 영역의 지형 정보 데이터를 제공하기 위한 환경 데이터 처리 장치를 포함한다.

Description

건설기계의 제어 시스템 및 제어 방법{SYSTEM AND METHOD FOR CONTROLLING CONSTRUCTION MACHINERY}
본 발명은 건설기계의 제어 시스템 및 제어 방법에 관한 것이다. 보다 상세하게는, 자율 굴삭기와 같은 건설기계를 제어하기 위한 제어 시스템 및 이를 이용한 건설기계의 제어 방법에 관한 것이다.
자동화 굴삭기 시스템은 주어진 환경에서 스스로 판단하여 굴삭 작업을 수행할 수 있다. 무인 굴삭기는 신뢰성 있고 효율적인 방식으로 최적의 운동을 생성할 수 있는 성능을 가져야 한다. 상기 무인 굴삭기 시스템은 작업 지형을 파악하고 분석하기 위한 플랫폼을 사용할 필요가 있다. 이러한 작업 지형 특성을 정확히 분석하고 최적화된 알고리즘을 제공하기 위한 환경 데이터 처리 장치가 요구된다.
본 발명의 일 과제는 측정된 영역의 지형 정보를 빠르게 처리하고 정확하게 분석할 수 있는 건설기계의 제어 시스템을 제공하는 데 있다.
본 발명의 다른 과제는 상술한 제어 시스템을 이용하여 건설기계를 제어하는 방법을 제공하는 데 있다.
상기 본 발명의 일 과제를 달성하기 위한 예시적인 실시예들에 따른 건설기계의 제어 시스템은 건설기계의 작업을 위한 측정 영역의 지형 정보 데이터를 획득하기 위한 데이터 획득 장치, 및 상기 데이터 측정 장치로부터 획득한 지형 정보 데이터 중에서 관심 영역의 데이터를 추출하고 추출된 데이터를 처리하여 상기 관심 영역의 지형 정보 데이터를 제공하기 위한 환경 데이터 처리 장치를 포함한다.
예시적인 실시예들에 있어서, 상기 데이터 획득 장치는 상기 건설기계의 운전실 상면에 설치되는 제1 센서 및 상기 건설기계의 작업 장치의 하면에 설치되는 제2 센서를 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 제1 및 제2 센서들은 라이다(LiDAR) 센서 또는 스테레오 카메라 센서를 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 제2 센서는 상기 작업 장치 중에서 붐 또는 암의 하면에 설치될 수 있다.
예시적인 실시예들에 있어서, 상기 측정 영역의 지형 정보 데이터는 점군 데이터(PCD)를 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 환경 데이터 처리 장치는, 상기 데이터 측정 장치로부터 상기 측정 영역의 지형 정보 데이터를 수신하는 데이터 수신부, 상기 측정 영역에서 상기 관심 영역을 결정하고 상기 관심 영역의 데이터를 추출하는 데이터 추출부, 및 상기 추출된 데이터를 처리하여 상기 관심 영역의 지형 정보 데이터를 제공하기 위한 데이터 처리부를 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 건설기계의 제어 시스템은, 상기 관심 영역의 지형 정보 데이터에 기초하여 작업해야 할 면적, 체적 또는 경로를 결정하기 위한 제어 장치를 더 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 제어 장치는 관제부로부터 작업 종류에 관한 정보를 수신할 수 있다.
상기 본 발명의 다른 과제를 달성하기 위한 예시적인 실시예들에 따른 건설기계의 제어 방법에 있어서, 건설기계의 작업을 위한 측정 영역의 지형 정보 데이터를 획득한다. 상기 지형 정보 데이터 중에서 관심 영역의 데이터를 추출한다. 상기 추출된 데이터를 처리하여 상기 관심 영역의 지형 정보 데이터를 제공한다. 상기 관심 영역의 지형 정보 데이터에 기초하여 작업해야 할 면적, 체적 또는 경로를 결정한다.
예시적인 실시예들에 있어서, 상기 측정 영역의 지형 정보 데이터를 획득하는 것을 상기 건설기계의 운전실 상면에 설치되는 제1 센서 및 상기 건설기계의 작업 장치의 하면에 설치되는 제2 센서를 이용하는 것을 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 제1 및 제2 센서들은 라이다(LiDAR) 센서 또는 스테레오 카메라 센서를 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 제2 센서는 상기 작업 장치 중에서 붐 또는 암의 하면에 설치될 수 있다.
예시적인 실시예들에 있어서, 상기 측정 영역의 지형 정보 데이터는 점군 데이터(PCD)를 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 관심 영역의 지형 정보 데이터에 기초하여 작업해야 할 면적, 체적 또는 경로를 결정하는 것은 관제부로부터 작업 종류에 관한 정보를 수신하는 것을 포함할 수 있다.
예시적인 실시예들에 따르면, LiDAR와 같은 센서로부터 획득한 측정 영역의 원시(raw) 데이터를 곧바로 연산하여 자동 굴삭 작업 등에 적용하지 않고, 상기 측정 영역 내에서 관심 영역(ROI)을 설정하고 관심 영역(ROI)의 데이터만을 추출하고 상기 추출된 데이터를 연산하여 지형특성 판단 및 굴삭 계획을 수립하는 지형 데이터로 사용할 수 있다.
이에 따라, 불필요한 연산이 줄어들게 되어 지형 정보 처리 시스템을 소규모 플랫폼으로도 구현할 수 있도록 하여 시스템의 경제성을 확보할 수 있다. 또한, 작업에 필요한 부분의 지형만 추출함으로써 해당 영역의 지형적 특성을 파악하는데 있어 외부 영향 요소(지형과 무관한 불필요한 형상 등)를 제거하여 결과의 정확도를 향상시킬 수 있다.
다만, 본 발명의 효과는 상기 언급한 효과에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
도 1은 예시적인 실시예들에 따른 건설기계를 나타내는 측면도이다.
도 2는 예시적인 실시예들에 따른 건설기계의 제어 시스템을 나타내는 블록도이다.
도 3은 도 2의 제어 시스템에서 측정 영역 내의 관심 영역(Region of Interest, ROI)을 나타내는 평면도이다.
도 4는 예시적인 실시예들에 따른 건설기계의 제어 방법을 나타내는 순서도이다.
도 5a는 예시적인 실시예들에 따른 측정 영역의 지형 정보 데이터를 나타내는 이미지이고, 도 5b는 관심 영역의 지형 정보 데이터를 나타내는 이미지이다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하고자 한다.
본 발명의 각 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다.
본 발명에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 안 된다.
즉, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 1은 예시적인 실시예들에 따른 건설기계를 나타내는 측면도이다.
도 1을 참조하면, 건설기계(10)는 하부 주행체(20), 하부 주행체(20) 상에 선회 가능하도록 탑재되는 상부 선회체(30), 및 상부 선회체(30)에 설치된 운전실(50)과 작업 장치(60)를 포함할 수 있다.
하부 주행체(20)는 상부 선회체(30)를 지지하고, 엔진(110)에서 발생한 동력을 이용하여 굴삭기와 같은 건설기계(10)를 주행시킬 수 있다. 하부 주행체(20)는 무한궤도를 포함하는 무한궤도식 타입의 주행체일 수 있다. 이와 다르게, 하부 주행체(20)는 주행 휠들을 포함하는 휠 타입의 주행체일 수 있다. 상부 선회체(30)는 베이스로서의 상부 프레임(32)을 구비하고, 하부 주행체(20) 상에서 지면과 평행한 평면상에서 회전하여 작업 방향을 설정할 수 있다.
운전실(50)은 상부 프레임(32)의 좌측 전방부에 설치되고, 작업 장치(60)는 상부 프레임(32)의 전방부에 장착될 수 있다. 카운터 웨이트(40)는 상부 프레임(32)의 후방에 장착되어, 상기 건설기계가 하중을 상부로 올리는 작업을 수행할 때에 외력의 평형을 이루어 상기 건설기계를 안정시킬 수 있다.
작업 장치(60)는 붐(70), 암(80) 및 버켓(90)을 포함할 수 있다. 작업 장치(60)는 붐 실린더(72), 암 실린더(82) 및 버켓 실린더(92)와 같은 액추에이터의 구동에 의해 작동될 수 있다. 구체적으로, 붐(70)과 상부 프레임(32) 사이에는 붐(70)의 움직임을 제어하기 위한 붐 실린더(72)가 설치될 수 있다. 붐(70)과 암(80) 사이에는 암(80)의 움직임을 제어하기 위한 암 실린더(82)가 설치될 수 있다. 그리고, 암(80)과 버켓(90) 사이에는 버켓(90)의 움직임을 제어하기 위한 버켓 실린더(92)가 설치될 수 있다. 붐 실린더(72), 암 실린더(82) 및 버켓 실린더(92)가 신장 또는 수축함에 따라 붐(70), 암(80) 및 버켓(90)은 다양한 움직임을 구현할 수 있고, 작업 장치(60)는 여러 가지 작업을 수행할 수 있다. 이 때, 붐 실린더(72), 암 실린더(82) 및 버켓 실린더(92)는 유압 펌프로부터 공급되는 작동유에 의해 신장 또는 수축될 수 있다.
한편, 작업 목적에 따라 암(80)의 일단에는 버켓(90) 이외에도 다양한 어태치먼트들이 부착될 수 있다. 예를 들면, 상기 버켓은 굴삭 작업 또는 지면 평탄화 작업에 사용될 수 있고, 바위 등을 파쇄하기 위해서는 브레이커(도시되지 않음)가 사용될 수 있다. 또한, 고철 등을 자르기 위해서 절단기가 사용될 수 있다.
예시적인 실시예들에 있어서, 상기 건설기계는 굴삭기, 휠 로더, 지게차 등을 포함할 수 있다. 이하에서는 상기 건설기계가 굴삭기인 경우에 대하여 설명하기로 한다. 다만, 이로 인하여 예시적인 실시예들에 따른 제어 시스템이 굴삭기를 제어하기 위한 것으로 한정되는 것은 아님을 이해할 수 있을 것이다.
이하에서는, 상기 건설기계의 제어 시스템에 대하여 설명하기로 한다.
도 2는 예시적인 실시예들에 따른 건설기계의 제어 시스템을 나타내는 블록도이다. 도 3은 도 2의 제어 시스템에서 측정 영역 내의 관심 영역(Region of Interest, ROI)을 나타내는 평면도이다.
도 2 및 도 3을 참조하면, 건설기계의 제어 시스템은 건설기계(10)의 전방에 위치하는 측정 영역(영역 I)의 지형 정보 데이터를 획득하기 위한 데이터 획득 장치, 및 상기 데이터 획득 장치로부터 획득한 지형 정보 데이터 중에서 관심 영역(영역 II)의 지형 정보 데이터를 제공하기 위한 환경 데이터 처리 장치(200)를 포함할 수 있다. 또한, 상기 건설기계의 제어 시스템은 상기 관심 영역의 지형 정보 데이터에 기초하여 작업해야 할 면적, 체적 또는 경로를 결정하기 위한 제어 장치(300)를 더 포함할 수 있다. 또한, 상기 건설기계의 제어 시스템은 건설기계(10)의 자동 굴삭 작업을 위한 작업 정보를 제공하기 위한 관제부(400)를 더 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 데이터 획득 장치는 무인화 또는 자동화된 굴삭 작업을 위해 필요한 환경 데이터를 획득할 수 있다. 상기 데이터 획득 장치는 굴삭기 지형을 파악하고 주변 사물을 감지하기 위한 환경 데이터를 획득할 수 있다. 상기 데이터 획득 장치에 의해 측정되는 영역을 측정 영역(또는 지형 정보 취득 영역)(영역 II)이라 하기로 한다.
상기 데이터 획득 장치는 건설기계(10)의 운전실(50) 상면에 설치되는 제1 센서(100) 및 건설기계(10)의 작업 장치(60)의 하면에 설치되는 제2 센서(110)를 포함할 수 있다. 제2 센서(110)는 작업 장치(60) 중에서 붐(70) 또는 암(80)의 하면에 설치될 수 있다. 예를 들면, 제1 및 제2 센서들(100, 110)은 라이다(LiDAR) 센서 또는 스테레오 카메라 센서를 포함할 수 있다.
제1 센서(100)는 굴삭 영역 및 상차 영역을 스캐닝하여 굴삭기 전방의 형상 정보 데이터를 획득할 수 있다. 제2 센서(110)는 굴삭기 전방의 지면을 스캐닝하여 전방 지면 정보 및 사물 정보를 획득할 수 있다. 제1 및 제2 센서들(100, 110)은 점군 데이터(PCD, Point Cloud Data) 정보를 환경 데이터 처리 장치(200)로 출력할 수 있다. PCD는 측정된 영역의 지형을 좌표값을 가지는 점들로 표현한 데이터일 수 있다.
제1 센서(100)는 굴삭기 전방 방향을 기준으로 제1 수직 시야각(Field of View, FoV)(θ1) 및 제1 수평 시야각을 가질 수 있다. 예를 들면, 상기 제1 수직 시야각은 60도 내지 100도의 각도 범위를 가지고, 상기 제1 수평 시야각은 40도 내지 70도의 각도 범위를 가질 수 있다. 제2 센서(110)는 제2 수직 시야각(θ2) 및 제2 수평 시야각을 가질 수 있다. 예를 들면, 상기 제2 수직 시야각은 80도 내지 120도의 각도 범위를 가지고, 상기 제2 수평 시야각은 50도 내지 100도의 각도 범위를 가질 수 있다.
예시적인 실시예들에 있어서, 환경 데이터 처리 장치(200)는 획득한 지형 정보 데이터 중에서 관심 영역(영역 II)의 데이터를 추출하고 추출된 데이터를 처리하여 관심 영역(영역 II)의 지형 정보 데이터를 제공할 수 있다. 환경 데이터 처리 장치(200)는 데이터 수신부(210), 데이터 추출부(220) 및 데이터 처리부(230)를 포함할 수 있다.
데이터 수신부(210)는 상기 데이터 측정 장치에 의해 측정된 측정 영역(영역 I)의 지형 정보 데이터를 수신할 수 있다. 데이터 추출부(220)는 측정 영역(영역 I)에서 관심 영역(영역 II)을 결정하고 관심 영역(II)의 데이터를 추출할 수 있다. 데이터 처리부(230)는 상기 추출된 데이터를 처리하여 관심 영역(영역 II)의 지형 정보 데이터를 제공할 수 있다. 데이터 수신부(210), 데이터 추출부(220) 및 데이터 처리부(230)는 여기서 설명되는 기능들을 수행하기 위한 지정된 하드웨어, 소프트웨어 및 회로를 포함할 수 있다. 이러한 구성 요소들은 로직 회로, 마이크로프로세서, 메모리 장치들 등과 같은 전기적 회로들에 의해 물리적으로 수행될 수 있다.
도 3에 도시된 바와 같이, 데이터 추출부(220)는 측정 영역(영역 I)에서 관심 영역(영역 II)을 결정할 수 있다. 관심 영역(ROI)(영역 II)은 굴삭기에 설치된 센서들의 위치들, 상기 센서들에 의해 측정 가능한 영역, 실제 굴삭하고자 하는 작업 전체 영역 등에 의해 설정될 수 있다. 관심 영역(영역 II)은 수평 정보 및 수직 정보를 포함할 수 있다.
예를 들면, 관심 영역(영역 II)은 타겟 영역(굴삭기가 작업하고자 하는 전체 영역) 중 현재 굴삭기의 위치에서 선회를 하지 않고 프론트부(작업 장치)(60)를 조작하여 약 5미터의 깊이까지 작업 가능한 영역(또는 주변 영역 일부 포함)을 포함하도록 정의될 수 있다. 여기서, 상기 작업 가능한 영역에 더해지는 상기 주변 영역은 작업시 흙 무너짐 등을 고려하여 결정될 수 있다. 38톤 굴삭기 기준으로 관심 영역(영역 II)은 굴삭기의 선회 중심점(O)으로부터 전방 3미터 지점(L1)을 기준으로 전방 8미터(L2), 폭 3미터(W)로 정의될 수 있다.
데이터 추출부(220)는 LiDAR 등과 같은 센서에 의해 획득한 측정 영역(영역 I)의 PCD에서 관심 영역(영역 II)의 데이터를 추출할 수 있다. 예를 들면, 데이터 추출부(220)는 LiDAR의 좌표와 PCD 정보로부터 관심 영역(8m x 3m) 내의 데이터를 선택하여 관심 영역(영역 II)의 PCD 정보를 제공할 수 있다. 입력된 측정 영역(영역 I)의 PCD 정보는 측정 당시 센서의 위치를 기준으로 굴삭기 좌표계 변환될 수 있다. 이와 다르게, 글로벌 좌표계로 변환될 수도 있다. 이어서, 전체 PCD 중 관심 영역(ROI) 내부에 있는 점들의 정보만 남도록 하여 관심 영역(영역 II)의 PCD 정보를 추출할 수 있다.
데이터 처리부(230)는 관심 영역(영역 II)의 PCD 정보를 면 속성을 갖는 데이터로 처리할 수 있다. 관심 영역(ROI) 내부에 있는 점들은 후처리 연산과정을 거쳐 면 속성을 가진 데이터로 변환될 수 있다.
예를 들면, 관심 영역(영역 II)의 PCD 점들은 보간을 통해 균일한 격자 간격으로 재구성되고, 상기 점들은 비정규 삼각망(Triangulated Irregular Networks, TIN) 알고리즘을 통해 삼각형 형태로 연결되며 각 삼각형은 하나의 면 데이터가 될 수 있다. 상기 면 데이터(관심 영역의 지형 정보 데이터)는 후술하는 바와 같이, 제어 장치(300)에서 지형 특성 판단 및 굴삭 계획을 수립하기 위한 지형 데이터로 사용될 수 있다.
데이터 처리부(230)는 LiDAR 등과 같은 센서에 의해 획득한 측정 영역(영역 I)의 모든 PCD를 처리하지 않고, 관심 영역(ROI)의 PCD만을 처리하므로 연산 분량을 감소시키고 불필요한 영역의 지형 정보나 사물에 관한 PCD를 배제함으로써 정확하게 지형을 파악할 수 있다.
예시적인 실시예들에 있어서, 건설기계의 제어 장치(300)는 관제부(400)로부터 자동 굴삭 작업을 위한 작업 지역의 지형 정보 및 작업 정보를 수신할 수 있다. 상기 작업 지역은 굴삭기가 이동하고 작업하기 위한 구역으로 정의될 수 있다. 건설기계의 제어 장치(200)는 관제부(400)와 무선으로 연결될 수 있다. 예를 들면, 건설기계(10)는 관제부(400)와의 무선 통신을 위한 무선 송수신부를 포함할 수 있다. 상기 무선 송수신부는 CDMA, GSM과 같은 셀룰러 통신, Wi-Fi, 라디오 통신과 같이 공지의 통신 규격을 이용할 수 있다.
건설기계의 제어 장치(300)는 상기 관심 영역의 지형 정보 데이터 및 상기 작업 정보(작업 종류)에 기초하여 작업해야 할 면적, 체적 또는 경로(작업 계획)를 결정할 수 있다. 제어 장치(300)는 상기 결정된 작업 계획을 수행하기 위한 제어 신호를 출력할 수 있다. 제어 장치(300)는 시간에 따른 붐, 암 및 버켓의 조인트 각도값들에 대응하는 제어 신호를 생성하여 출력할 수 있다.
이에 따라, 붐 실린더(72), 암 실린더(82) 및 버켓 실린더(92)와 같은 액추에이터들은 상기 제어 신호에 대응하여 제어 밸브에 의해 구동되어 원하는 작업을 수행할 수 있다.
이하에서는, 도 2의 건설 기계의 제어 시스템을 이용하여 건설 기계를 제어하는 방법에 대하여 설명하기로 한다.
도 4는 예시적인 실시예들에 따른 건설기계의 제어 방법을 나타내는 순서도이다. 도 5a는 예시적인 실시예들에 따른 측정 영역의 지형 정보 데이터를 나타내는 이미지이고, 도 5b는 관심 영역의 지형 정보 데이터를 나타내는 이미지이다.
도 1 내지 도 5b를 참조하면, 먼저, 건설기계(10)의 무인화 또는 자동화된 작업을 위한 측정 영역(영역 I)의 지형 정보 데이터를 획득할 수 있다(S100).
예시적인 실시예들에 있어서, 건설기계(10)에 설치된 센서들을 이용하여 건설기계(10)의 전방에 위하는 측정 영역(영역 I)의 지형 정보 데이터를 획득할 수 있다.
예를 들면, 건설기계(10)의 운전실(50) 상면에 설치되는 제1 센서(100)를 이용하여 굴삭 영역 및 상차 영역을 스캐닝하여 굴삭기 전방의 형상 정보 데이터를 획득할 수 있다. 작업 장치(60) 중에서 붐(70) 또는 암(80)의 하면에 설치된 제2 센서(110)를 이용하여 굴삭기 전방의 지면을 스캐닝하여 전방 지면 정보 및 사물 정보를 획득할 수 있다. 예를 들면, 제1 및 제2 센서들(100, 110)은 라이다(LiDAR) 센서 또는 스테레오 카메라 센서를 포함할 수 있다.
제1 및 제2 센서들(100, 110)에 의해 획득한 측정 영역(영역 I)의 지형 정보 데이터는 점군 데이터(PCD, Point Cloud Data)를 포함할 수 있다. PCD는 측정된 영역의 지형을 좌표값을 가지는 점들로 표현한 데이터일 수 있다.
이어서, 측정 영역(영역 I)의 상기 지형 정보 데이터 중에서 관심 영역(영역 II)의 데이터를 추출하고(S110), 상기 추출된 데이터를 처리하여 관심 영역(영역 II)의 지형 정보 데이터를 제공할 수 있다(S120).
예시적인 실시예들에 있어서, 측정 영역(영역 I)에서 관심 영역(영역 II)을 결정할 수 있다. 관심 영역(ROI)(영역 II)은 굴삭기에 설치된 센서들의 위치들, 상기 센서들에 의해 측정 가능한 영역, 실제 굴삭하고자 하는 작업 전체 영역 등에 의해 설정될 수 있다. 관심 영역(영역 II)은 수평 정보 및 수직 정보를 포함할 수 있다.
LiDAR 등과 같은 센서에 의해 획득한 측정 영역(영역 I)의 PCD에서 관심 영역(영역 II)의 데이터를 추출할 수 있다. 예를 들면, LiDAR의 좌표와 PCD 정보로부터 관심 영역 내의 데이터를 추출하여 관심 영역(영역 II)의 PCD 정보를 제공할 수 있다. 입력된 측정 영역(영역 I)의 PCD 정보는 측정 당시 센서의 위치를 기준으로 굴삭기 좌표계 변환될 수 있다. 이와 다르게, 글로벌 좌표계로 변환될 수도 있다. 이어서, 전체 PCD 중 관심 영역(ROI) 내부에 있는 점들의 정보만 남도록 하여 관심 영역(영역 II)의 PCD 정보를 추출할 수 있다.
이어서, 관심 영역(영역 II)의 PCD 정보를 면 속성을 갖는 데이터로 처리할 수 있다. 관심 영역(ROI) 내부에 있는 점들은 후처리 연산과정을 거쳐 면 속성을 가진 데이터로 변환될 수 있다.
예를 들면, 관심 영역(영역 II)의 PCD 점들은 보간을 통해 균일한 격자 간격으로 재구성되고, 상기 점들은 비정규 삼각망(TIN) 알고리즘을 통해 삼각형 형태로 연결되며 각 삼각형은 하나의 면 데이터가 될 수 있다.
도 5a에는 측정 영역(영역 I)의 지형 정보 데이터를 나타내는 이미지가 도시되어 있고, 도 5b에는 관심 영역(영역 II)의 지형 정보 데이터를 나타내는 이미지가 도시되어 있다.
이후, 관심 영역(영역 II)의 지형 정보 데이터에 기초하여 작업해야 할 면적, 체적 또는 경로를 결정할 수 있다(S130).
예시적인 실시예들에 있어서, 관제부(400)로부터 자동 굴삭 작업을 위한 작업 지역의 지형 정보 및 작업 정보를 수신할 수 있다. 제어 장치(300)는 관심 영역(영역 II)의 지형 정보 데이터 및 상기 작업 정보(작업 종류)에 기초하여 작업해야 할 면적, 체적 또는 경로(작업 계획)를 결정할 수 있다. 제어 장치(300)는 상기 결정된 작업 계획을 수행하기 위한 제어 신호를 출력할 수 있다. 제어 장치(300)는 시간에 따른 붐, 암 및 버켓의 조인트 각도값들에 대응하는 제어 신호를 생성하여 출력할 수 있다.
이에 따라, 붐 실린더(72), 암 실린더(82) 및 버켓 실린더(92)와 같은 액추에이터들은 상기 제어 신호에 대응하여 제어 밸브에 의해 구동되어 원하는 작업을 수행할 수 있다.
상술한 바와 같이, LiDAR 또는 다른 센서로부터 획득한 측정 영역의 원시(raw) 데이터를 곧바로 연산하여 자동 굴삭 작업 등에 적용하지 않고, 상기 측정 영역 내에서 관심 영역(ROI)을 설정하고 관심 영역(ROI)의 데이터만을 추출하고 상기 추출된 데이터를 연산하여 지형특성 판단 및 굴삭 계획을 수립하는 지형 데이터로 사용할 수 있다.
이에 따라, 불필요한 연산이 줄어들게 되어 지형 정보 처리 시스템을 소규모 플랫폼으로도 구현할 수 있도록 하여 시스템의 경제성을 확보할 수 있다. 또한, 알고리즘적으로는 작업에 필요한 부분의 지형만 추출함으로써 해당 영역의 지형적 특성을 파악하는데 있어 외부 영향요소(지형과 무관한 불필요한 형상 등)를 제거하여 결과의 정확도를 향상시킬 수 있다.
이상에서는 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 건설기계 20: 하부 주행체
30: 상부 선회체 32: 상부 프레임
40: 카운터웨이트 50: 운전실
60: 작업 장치 70: 붐
72: 붐 실린더 80: 암
82: 암 실린더 90: 버켓
92: 버켓 실린더 100: 제1 센서
120: 제2 센서 200: 환경 데이터 처리 장치
210: 데이터 수신부 220: 데이터 추출부
230: 데이터 처리부 300: 제어 장치
400: 관제부

Claims (14)

  1. 건설기계의 작업을 위한 측정 영역의 지형 정보 데이터를 획득하기 위한 데이터 획득 장치; 및
    상기 데이터 측정 장치로부터 획득한 지형 정보 데이터 중에서 관심 영역의 데이터를 추출하고 추출된 데이터를 처리하여 상기 관심 영역의 지형 정보 데이터를 제공하기 위한 환경 데이터 처리 장치를 포함하는 건설기계의 제어 시스템.
  2. 제 1 항에 있어서, 상기 데이터 획득 장치는 상기 건설기계의 운전실 상면에 설치되는 제1 센서 및 상기 건설기계의 작업 장치의 하면에 설치되는 제2 센서를 포함하는 건설기계의 제어 시스템.
  3. 제 2 항에 있어서, 상기 제1 및 제2 센서들은 라이다(LiDAR) 센서 또는 스테레오 카메라 센서를 포함하는 건설기계의 제어 시스템.
  4. 제 2 항에 있어서, 상기 제2 센서는 상기 작업 장치 중에서 붐 또는 암의 하면에 설치되는 건설기계의 제어 시스템.
  5. 제 1 항에 있어서, 상기 측정 영역의 지형 정보 데이터는 점군 데이터(PCD)를 포함하는 건설기계의 제어 시스템.
  6. 제 1 항에 있어서, 상기 환경 데이터 처리 장치는
    상기 데이터 측정 장치로부터 상기 측정 영역의 지형 정보 데이터를 수신하는 데이터 수신부;
    상기 측정 영역에서 상기 관심 영역을 결정하고 상기 관심 영역의 데이터를 추출하는 데이터 추출부; 및
    상기 추출된 데이터를 처리하여 상기 관심 영역의 지형 정보 데이터를 제공하기 위한 데이터 처리부를 포함하는 건설기계의 제어 시스템.
  7. 제 1 항에 있어서,
    상기 관심 영역의 지형 정보 데이터에 기초하여 작업해야 할 면적, 체적 또는 경로를 결정하기 위한 제어 장치를 더 포함하는 건설기계의 제어 시스템.
  8. 제 7 항에 있어서, 상기 제어 장치는 관제부로부터 작업 종류에 관한 정보를 수신하는 건설기계의 제어 시스템.
  9. 건설기계의 작업을 위한 측정 영역의 지형 정보 데이터를 획득하고;
    상기 지형 정보 데이터 중에서 관심 영역의 데이터를 추출하고;
    상기 추출된 데이터를 처리하여 상기 관심 영역의 지형 정보 데이터를 제공하고; 그리고
    상기 관심 영역의 지형 정보 데이터에 기초하여 작업해야 할 면적, 체적 또는 경로를 결정하는 것을 포함하는 건설기계의 제어 방법.
  10. 제 9 항에 있어서, 상기 측정 영역의 지형 정보 데이터를 획득하는 것을 상기 건설기계의 운전실 상면에 설치되는 제1 센서 및 상기 건설기계의 작업 장치의 하면에 설치되는 제2 센서를 이용하는 것을 포함하는 건설기계의 제어 방법.
  11. 제 10 항에 있어서, 상기 제1 및 제2 센서들은 라이다(LiDAR) 센서 또는 스테레오 카메라 센서를 포함하는 건설기계의 제어 방법.
  12. 제 10 항에 있어서, 상기 제2 센서는 상기 작업 장치 중에서 붐 또는 암의 하면에 설치되는 건설기계의 제어 방법.
  13. 제 9 항에 있어서, 상기 측정 영역의 지형 정보 데이터는 점군 데이터(PCD)를 포함하는 건설기계의 제어 방법.
  14. 제 9 항에 있어서, 상기 관심 영역의 지형 정보 데이터에 기초하여 작업해야 할 면적, 체적 또는 경로를 결정하는 것은 관제부로부터 작업 종류에 관한 정보를 수신하는 것을 포함하는 건설기계의 제어 방법.
KR1020190149023A 2019-11-19 2019-11-19 건설기계의 제어 시스템 및 제어 방법 KR20210061159A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190149023A KR20210061159A (ko) 2019-11-19 2019-11-19 건설기계의 제어 시스템 및 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190149023A KR20210061159A (ko) 2019-11-19 2019-11-19 건설기계의 제어 시스템 및 제어 방법

Publications (1)

Publication Number Publication Date
KR20210061159A true KR20210061159A (ko) 2021-05-27

Family

ID=76135826

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190149023A KR20210061159A (ko) 2019-11-19 2019-11-19 건설기계의 제어 시스템 및 제어 방법

Country Status (1)

Country Link
KR (1) KR20210061159A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023089936A1 (ja) * 2021-11-17 2023-05-25 コベルコ建機株式会社 監視領域設定システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023089936A1 (ja) * 2021-11-17 2023-05-25 コベルコ建機株式会社 監視領域設定システム

Similar Documents

Publication Publication Date Title
US7865285B2 (en) Machine control system and method
KR102570490B1 (ko) 쇼벨 및 쇼벨의 표시장치
CN110779656B (zh) 机器稳定性检测和控制系统
US9487929B2 (en) Systems and methods for adjusting pass depth in view of excess materials
CN114945883A (zh) 用于自主移动材料的系统和方法
US20220101552A1 (en) Image processing system, image processing method, learned model generation method, and data set for learning
JP7071203B2 (ja) 作業機械
US20200326713A1 (en) System and method for maintaining a work surface at a worksite
JP2013520593A (ja) 機械上の参照位置に対する器具上の位置を決定するためのシステムおよび方法
JP7203616B2 (ja) 作業機械
JPWO2016047807A1 (ja) 校正システム、作業機械及び校正方法
US11821168B2 (en) Control device for loading machine and control method for loading machine
JP7023813B2 (ja) 作業機械
US20230243127A1 (en) Excavation information processing device, work machine, excavation support device, and excavation information processing method
US11454713B2 (en) Configuration of a LIDAR sensor scan area according to a cycle segment of an operation of a machine
JP2024052764A (ja) 表示制御装置及び表示方法
US20230243130A1 (en) Excavation plan creation device, working machine, and excavation plan creation method
KR20210061159A (ko) 건설기계의 제어 시스템 및 제어 방법
JP2017193958A (ja) 校正システム、作業機械及び校正方法
JP6616149B2 (ja) 施工方法、作業機械の制御システム及び作業機械
JP7536580B2 (ja) 表示制御装置及び表示方法
KR20210060967A (ko) 건설기계의 주변 환경 인지 시스템
CN115398066B (zh) 施工方法及施工系统
JP7301937B2 (ja) ショベル及びショベル用地形検知システム
EP4290017A1 (en) Excavation system

Legal Events

Date Code Title Description
E902 Notification of reason for refusal