KR20220102765A - 건설기계의 제어 시스템 및 방법 - Google Patents

건설기계의 제어 시스템 및 방법 Download PDF

Info

Publication number
KR20220102765A
KR20220102765A KR1020210005089A KR20210005089A KR20220102765A KR 20220102765 A KR20220102765 A KR 20220102765A KR 1020210005089 A KR1020210005089 A KR 1020210005089A KR 20210005089 A KR20210005089 A KR 20210005089A KR 20220102765 A KR20220102765 A KR 20220102765A
Authority
KR
South Korea
Prior art keywords
image
attachment
tracking
image processing
bucket
Prior art date
Application number
KR1020210005089A
Other languages
English (en)
Inventor
이상훈
Original Assignee
현대두산인프라코어(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대두산인프라코어(주) filed Critical 현대두산인프라코어(주)
Priority to KR1020210005089A priority Critical patent/KR20220102765A/ko
Priority to US17/575,299 priority patent/US20220220707A1/en
Publication of KR20220102765A publication Critical patent/KR20220102765A/ko

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

건설기계의 제어 시스템은 작업장치에 설치되어 상기 작업장치가 작업하는 영역을 촬상하기 위한 카메라, 상기 카메라에 의해 촬상된 영상에서 상기 작업장치의 어태치먼트의 형상을 인식하고 상기 어태치먼트가 영상의 중심 영역에 표시되도록 트랙킹 영상 처리를 수행하기 위한 영상 처리 장치, 및 상기 트랙킹 영상 처리된 영상을 표시하는 표시 장치를 포함한다.

Description

건설기계의 제어 시스템 및 방법{SYSTEM AND METHOD OF CONTROLLING CONSTRUCTION MACHINERY}
본 발명은 건설기계의 제어 시스템 및 방법에 관한 것이다. 보다 상세하게는, 굴삭기와 같은 건설기계의 작업 시에 작업 영역에 대한 영상을 제공하기 위한 제어 시스템 및 이를 이용한 건설기계의 제어 방법에 관한 것이다.
굴삭기와 같은 건설기계가 심굴삭, 트렌치 작업, 관로 작업 등과 같은 굴삭 작업을 수행할 때, 어라운드 뷰 모니터(Around View Monitor) 시스템은 붐 또는 암에 고정 설치된 카메라를 통해 작업 영역에 대한 영상을 작업자에게 제공할 수 있다. 하지만, 상기 작업 시에 상기 붐 또는 상기 암의 회전 각도에 따라 버켓이 상기 영상의 중심에서 벗어난 위치에서 표시되어 작업자의 시선이 화면 내에서 상기 버켓을 따라 이동하게 된다. 이에 따라, 상기 버켓의 시인성이 저하되어 작업자가 불편함을 느끼고 작업성 및 안정성이 저하될 수 있다.
본 발명의 일 과제는 작업 영역의 시인성을 향상시킬 수 있는 건설기계의 제어 시스템을 제공하는 데 있다.
본 발명의 다른 과제는 상술한 제어 시스템을 이용한 건설기계의 제어 방법을 제공하는 데 있다.
상기 본 발명의 일 과제를 달성하기 위한 예시적인 실시예들에 따른 건설기계의 제어 시스템은 작업장치에 설치되어 상기 작업장치가 작업하는 영역을 촬상하기 위한 카메라, 상기 카메라에 의해 촬상된 영상에서 상기 작업장치의 어태치먼트의 형상을 인식하고 상기 어태치먼트가 영상의 중심 영역에 표시되도록 트랙킹 영상 처리를 수행하기 위한 영상 처리 장치, 및 상기 트랙킹 영상 처리된 영상을 표시하는 표시 장치를 포함한다.
예시적인 실시예들에 있어서, 상기 영상 처리 장치는 상기 영상에서 상기 어태치먼트의 형상을 인식하여 상기 어태치먼트의 위치를 검출하는 형상 인식부, 및 상기 어태치먼트의 이동 궤적을 트랙킹하여 상기 어태치먼트가 상기 중심 영역에 위치하도록 상기 영상을 트랙킹 처리하는 트랙킹 영상 처리부를 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 형상 인식부는 상기 영상에서의 상기 어태치먼트의 실제 이미지와 기계 학습으로 미리 인식되어 저장된 상기 어태치먼트의 학습 이미지를 비교하여 상기 어태치먼트의 형상을 인식할 수 있다.
예시적인 실시예들에 있어서, 상기 영상 처리 장치는 상기 형상 인식부로부터 수신한 실제 이미지를 입력 데이터로 하여 딥 러닝 알고리즘을 실행하여 상기 어태치먼트의 상기 학습 이미지를 저장하는 저장부를 더 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 건설기계의 제어 시스템은 상기 영상 처리 장치에서의 트랙킹 영상 처리 조건을 설정하기 위한 입력부를 더 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 트랙킹 영상 처리 조건은 상기 표시 장치의 전체 표시 영역 중에서 상기 중심 영역이 차지하는 면적 및 해상도를 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 어태치먼트는 버켓을 포함할 수 있다.
상기 본 발명의 다른 과제를 달성하기 위한 예시적인 실시예들에 따른 건설기계의 제어 방법에 있어서, 작업장치에 설치된 카메라로부터 상기 작업장치가 작업하는 영역을 촬상한 영상을 획득한다. 상기 영상에서 상기 작업장치의 어태치먼트의 형상을 인식하여 상기 어태치먼트의 위치를 검출한다. 상기 어태치먼트가 영상의 중심 영역에 표시되도록 트랙킹 영상 처리를 수행한다. 상기 트랙킹 영상 처리된 영상을 표시 장치를 통해 표시한다.
예시적인 실시예들에 있어서, 상기 영상에서 상기 어태치먼트의 위치를 검출하는 것은, 상기 영상에서의 상기 어태치먼트의 실제 이미지와 기계 학습으로 미리 인식되어 저장된 상기 어태치먼트의 학습 이미지를 비교하여 상기 어태치먼트의 형상을 인식하여 상기 어태치먼트의 위치를 결정하는 것을 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 건설기계의 제어 방법은 상기 영상에서의 상기 실제 이미지를 입력 데이터로 하여 딥 러닝 알고리즘을 수행하여 상기 어태치먼트의 상기 학습 이미지를 획득하는 것을 더 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 건설기계의 제어 방법은 상기 어태치먼트의 위치를 트랙킹하도록 하는 영상 처리 조건을 설정하는 것을 더 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 영상 처리 조건은 상기 표시 장치의 전체 표시 영역 중에서 상기 중심 영역이 차지하는 면적 및 해상도를 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 어태치먼트는 버켓을 포함할 수 있다.
예시적인 실시예들에 따르면, 건설기계의 제어 시스템은 건설기계의 작업장치에 설치된 카메라로부터 촬상된 영상에서 버켓과 같은 어태치먼트의 형상을 인식하고 상기 버켓의 이동 궤적을 트랙킹(tracking)하여 상기 버켓이 표시 장치의 화면 상의 중심 영역에 표시되도록 트랙킹 영상 처리를 수행할 수 있다.
따라서, 트렌치 작업과 같은 굴삭 작업 중에도 작업 영역을 촬영한 영상에서 상기 버켓은 고정된 중심 영역에서 벗어나지 않도록 표시되므로, 작업 중에 작업자의 시선이 고정된 채로 상기 버켓을 바라보면서 작업을 수행할 수 있다. 이에 따라, 상기 작업 영역에 대한 시인성이 향상되고 안정성을 확보할 수 있다.
다만, 본 발명의 효과는 상기 언급한 효과에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
도 1은 예시적인 실시예들에 따른 건설기계를 나타내는 측면도이다.
도 2는 도 1의 건설기계가 수행하는 트렌치 작업을 나타내는 측면도이다.
도 3은 도 1의 건설기계의 제어 시스템을 나타내는 블록도이다.
도 4는 예시적인 실시예들에 따른 건설기계의 제어 방법을 나타내는 순서도이다.
도 5는 도 3의 카메라에 의해 촬상된 영상에서의 버켓을 나타내는 도면이다.
도 6a는 암 덤프 및 붐 다운 동작 시 카메라에 의해 촬상된 영상을 나타내는 도면이다.
도 6b는 도 6a의 영상이 트랙킹 영상 처리되어 표시 장치에 표시되는 화면을 나타내는 도면이다.
도 7a는 암 크라우드 및 붐 업 동작 시 카메라에 의해 촬상된 영상을 나타내는 도면이다.
도 7b는 도 7a의 영상이 트랙킹 영상 처리되어 표시 장치에 표시되는 화면을 나타내는 도면이다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하고자 한다.
본 발명의 각 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다.
본 발명에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 안 된다.
즉, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 1은 예시적인 실시예들에 따른 건설기계를 나타내는 측면도이다. 도 2는 도 1의 건설기계가 수행하는 트렌치 작업을 나타내는 측면도이다. 도 3은 도 1의 건설기계의 제어 시스템을 나타내는 블록도이다.
도 1 내지 도 3을 참조하면, 건설기계(10)는 하부 주행체(20), 하부 주행체(20) 상에 선회 가능하도록 탑재되는 상부 선회체(30), 및 상부 선회체(30)에 설치된 운전실(50)과 작업 장치(60)를 포함할 수 있다.
하부 주행체(20)는 상부 선회체(30)를 지지하고, 엔진(110)에서 발생한 동력을 이용하여 굴삭기와 같은 건설기계(10)를 주행시킬 수 있다. 하부 주행체(20)는 무한궤도를 포함하는 무한궤도식 타입의 주행체일 수 있다. 이와 다르게, 하부 주행체(20)는 주행 휠들을 포함하는 휠 타입의 주행체일 수 있다. 상부 선회체(30)는 베이스로서의 상부 프레임(32)을 구비하고, 하부 주행체(20) 상에서 지면과 평행한 평면상에서 회전하여 작업 방향을 설정할 수 있다.
운전실(50)은 상부 프레임(32)의 좌측 전방부에 설치되고, 작업 장치(60)는 상부 프레임(32)의 전방부에 장착될 수 있다. 카운터 웨이트(40)는 상부 프레임(32)의 후방에 장착되어, 상기 건설기계가 하중을 상부로 올리는 작업을 수행할 때에 외력의 평형을 이루어 상기 건설기계를 안정시킬 수 있다.
작업 장치(60)는 붐(70), 암(80) 및 버켓(90)을 포함할 수 있다. 작업 장치(60)는 붐 실린더(72), 암 실린더(82) 및 버켓 실린더(92)와 같은 액추에이터의 구동에 의해 작동될 수 있다. 구체적으로, 붐(70)과 상부 프레임(32) 사이에는 붐(70)의 움직임을 제어하기 위한 붐 실린더(72)가 설치될 수 있다. 붐(70)과 암(80) 사이에는 암(80)의 움직임을 제어하기 위한 암 실린더(82)가 설치될 수 있다. 그리고, 암(80)과 버켓(90) 사이에는 버켓(90)의 움직임을 제어하기 위한 버켓 실린더(92)가 설치될 수 있다. 붐 실린더(72), 암 실린더(82) 및 버켓 실린더(92)가 신장 또는 수축함에 따라 붐(70), 암(80) 및 버켓(90)은 다양한 움직임을 구현할 수 있고, 작업 장치(60)는 여러 가지 작업을 수행할 수 있다. 이 때, 붐 실린더(72), 암 실린더(82) 및 버켓 실린더(92)는 유압 펌프로부터 공급되는 작동유에 의해 신장 또는 수축될 수 있다.
한편, 작업 목적에 따라 암(80)의 일단에는 버켓(90)을 포함한 다양한 어태치먼트들이 부착될 수 있다. 예를 들면, 상기 버켓은 굴삭 작업, 트렌치 작업, 관로 작업 또는 지면 평탄화 작업에 사용될 수 있고, 바위 등을 파쇄하기 위해서는 브레이커(도시되지 않음)가 사용될 수 있다. 또한, 고철 등을 자르기 위해서 절단기가 사용될 수 있다.
예시적인 실시예들에 있어서, 상기 건설기계는 굴삭기, 휠 로더, 지게차 등을 포함할 수 있다. 이하에서는 상기 건설기계가 굴삭기인 경우에 대하여 설명하기로 한다. 다만, 이로 인하여 예시적인 실시예들에 따른 제어 시스템이 굴삭기를 제어하기 위한 것으로 한정되는 것은 아님을 이해할 수 있을 것이다.
이하에서는, 상기 건설기계의 제어 시스템에 대하여 설명하기로 한다.
도 3에 도시된 바와 같이, 상기 건설기계의 제어 시스템은 작업장치(60)에 설치되어 작업장치(60)가 작업하는 작업 영역을 촬상하기 위한 카메라(100), 카메라(100)에 의해 촬상된 영상에서 작업장치(60)의 어태치먼트가 영상의 중심 영역에 표시되도록 트랙킹(tracking) 영상 처리를 수행하기 위한 영상 처리 장치(200), 및 상기 트랙킹 영상 처리된 영상을 표시하기 위한 표시 장치(300)를 포함할 수 있다. 또한, 상기 건설기계의 제어 시스템은 영상 처리 장치(200)에서의 영상 처리 조건을 설정하기 위한 입력부(400)를 더 포함할 수 있다.
영상 처리 장치(200)는 엔진 제어 장치(ECU) 또는 차량 제어장치(VCU)의 일부 또는 별도의 컨트롤러로서 상부 선회체(30)에 탑재될 수 있다. 영상 처리 장치(200)는 여기서 설명되는 기능들을 수행하기 위한 지정된 하드웨어, 소프트웨어 및 회로를 포함할 수 있다. 이러한 구성 요소들은 로직 회로, 마이크로프로세서, 메모리 장치들 등과 같은 전기적 회로들에 의해 물리적으로 수행될 수 있다.
예시적인 실시예들에 있어서, 상기 건설기계의 제어 시스템은 굴삭기(10) 주변을 촬상하여 표시하기 위한 어라운드 뷰 모니터(Around View Monitor, AVM) 시스템을 위한 복수 개의 AVM 카메라들을 포함할 수 있다. 카메라(100)는 상기 복수 개의 AVM 카메라들 중 적어도 하나를 포함할 수 있다. 도 1 및 도 2에는 하나의 카메라가 도시되어 있으나, 이에 제한되지 않으며, 복수 개의 카메라들이 구비될 수 있다.
예를 들면, 상기 복수 개의 AVM 카메라들은 운전실(50) 상면에 설치되어 굴삭기의 전방을 촬상하기 위한 제1 카메라, 상부 프레임(32) 둘레에 이격 설치되어 주변 영역을 촬상하기 위한 복수 개의 제2 카메라들, 및 상부 프레임(32)의 후면에 설치되어 후방 영역을 촬상하기 위한 복수 개의 제3 카메라들을 포함할 수 있다.
예시적인 실시예들에 있어서, 카메라(100)는 작업장치(60)의 붐(70) 또는 암(80)에 설치되어 작업장치(60)가 작업하는 영역을 촬상할 수 있다. 카메라(100)는 붐(70) 또는 암(80)의 하부면에 장착되어 작업장치(60) 하부의 작업 영역을 향하도록 배치될 수 있다. 이와 다르게, 카메라(100)는 붐(70) 또는 암(80)의 측면에 장착되어 상기 작업 영역을 향하도록 배치될 수 있다.
카메라(100)는 굴삭기 전방 방향을 기준으로 수직 시야각(Field of View, FoV)(θ) 및 수평 시야각을 가질 수 있다. 예를 들면, 상기 수직 시야각 및 상기 수평 시야각은 60도 내지 150도의 각도 범위를 가질 수 있다.
카메라(100)를 통해 촬상된 영상을 표시 장치(300)를 통해 표시하고, 작업자는 표시 장치(300)의 화면 상에 표시되는 버켓(90)을 바라보면서 작업을 수행할 수 있다. 하지만, 카메라(100)가 붐(70) 또는 암(80)에 고정 설치되어 있으므로, 도 1 및 도 2에 도시된 바와 같이, 작업장치(60)가 작업을 수행할 때 작업 각도, 즉, 붐(70) 또는 암(80)의 회전 각도에 따라 버켓(90)이 카메라(100)를 통해 촬상된 영상에서 전체 화면의 중심에서 벗어난 위치에서 표시될 수 있다. 이에 따라, 작업 시에 작업자의 시선이 화면 내에서 버켓(90)을 따라 이동하므로, 작업자는 카메라(100)에 의해 촬상된 영상을 볼 때 버켓(90)의 시인성이 저하되어 굉장히 불편함을 느낄 수 있다. 후술하는 바와 같이, 영상 처리 장치(200)는 카메라(100)를 통해 촬상된 영상에서 버켓(90)의 형상을 인식하고 버켓(90)의 이동 궤적을 트랙킹(tracking)하여 버켓(90)이 표시 장치(300)의 화면 상의 중심 영역(트랙킹 표시 영역)에 표시되도록 트랙킹 영상 처리를 수행할 수 있다.
예시적인 실시예들에 있어서, 영상 처리 장치(200)는 형상 인식부(210), 트랙킹 영상 처리부(220) 및 저장부(230)를 포함할 수 있다. 영상 처리 장치(200)는 건설기계의 제어 장치 또는 디스플레이 장치에 내장된 제어 장치의 형태로 설치될 수 있다.
구체적으로, 형상 인식부(210)는 카메라(100)에 의해 촬상된 영상에서 작업장치(60)의 어태치먼트(즉, 버켓(90))의 형상을 인식하여 상기 어태치먼트가 표시되는 위치를 결정할 수 있다. 형상 인식부(210)는 상기 영상에서의 상기 어태치먼트의 실제 이미지와 기계 학습으로 미리 인식되어 저장된 상기 어태치먼트의 학습 이미지를 비교하여 상기 어태치먼트의 형상을 인식할 수 있다.
카메라(100)로부터 획득된 영상에서의 상기 어태치먼트는 복수 개의 픽셀들 중에서 대응되는 픽셀들로 표시될 수 있다. 여기서, 카메라(100)에 의해 촬영된 작업 공간은 동일한 크기의 격자로 표현하고, 각 격자에 물체의 유무가 표시될 수 있다.
형상 인식부(210)는 상기 영상에서의 실제 이미지와 저장부(230)에 저장된 상기 어태치먼트의 학습 이미지를 비교하고, 상기 실제 이미지와 저장된 어태치먼트의 이미지가 동일하면, 상기 어태치먼트로 인식할 수 있다. 여기서, 상기 어태치먼트의 학습 이미지는 카메라(100)에서 촬영한 어태치먼트(예를 들면, 버켓(90))의 다양한 형상들을 기계 학습하여 저장된 이미지들을 포함할 수 있다.
저장부(230)는 카메라(100)로부터 수신한 영상의 실제 이미지를 입력 데이터로 하여 기계 학습된 이미지일 수 있다. 여기서, 기계 학습(Machine Learning)은 인공 지능의 한 분야로 컴퓨터와 같은 처리 장치가 학습할 수 있도록 하는 알고리즘을 의미할 수 있다.
상기 기계 학습은 의사결정 트리(Decision Tree), KNN(K-nearest neighbor), 신경망(Neural Network), SVM(Support Vector Machine) 등을 포함하는 지도 학습(Supervised Learning)과, 클러스터링(Clustering) 등과 같은 비지도 학습(Unsupervised Learning) 및 딥러닝(Deep Learning), 합성곱 신경망(CNN: Convolutional Neural Network) 등을 포함하는 강화학습 등, 종류를 불문한다.
형상 인식부(210)는 상기 어태치먼트가 위치하는 카메라 화면상 픽셀 위치(시작점과 종점)을 파악하여 상기 어태치먼트의 위치를 결정할 수 있다.
트랙킹 영상 처리부(220)는 상기 어태치먼트의 이동 궤적을 트랙킹하여 상기 어태치먼트가 영상의 중심 영역(트랙킹 표시 영역)에 위치하도록 상기 영상을 트랙킹 처리할 수 있다. 예를 들면, 카메라(100)로부터 촬영한 영상에서의 상기 어태치먼트의 픽셀 위치로부터 상기 중심 영역까지의 상대 거리를 산출하고, 상기 상대 거리를 반영하여 상기 어태치먼트를 상기 중심 영역으로 이동시킬 수 있다.
또한, 트랙킹 영상 처리부(220)는 기 설정된 트랙킹 처리 조건에 따라 표시 장치(300)의 해상도에 맞도록 상기 어태치먼트의 크기를 조정하여, 상기 어태치먼트의 이동 궤적에 따른 크기 차이로 인한 시각적 왜곡을 해소할 수 있다. 트랙킹 영상 처리부(220)는 상기 트랙킹 처리된 영상을 실사와 같이 표시되도록 영상 처리하여 표시 장치(300)로 출력할 수 있다. 상술한 트랙킹 영상 처리부(220)의 기능은 영상처리를 위한 GP, CPU와 같은 단일의 프로세서 또는 각각 별도의 프로세서의 전산 처리를 통해 구현될 수 있다.
예시적인 실시예들에 있어서, 입력부(400)를 통해 영상 처리 장치(200)에서의 영상 처리 조건을 설정할 수 있다. 예를 들면, 상기 영상 처리 조건은 표시 장치(300)의 전체 표시 영역 중에서 상기 중심 영역(트랙킹 표시 영역)이 차지하는 위치, 면적 및 해상도에 대한 것일 수 있다. 상기 트랙킹 표시 영역의 크기 및 위치, 상기 해상도 등은 장비의 기종에 따라 제조사에서 고정되게 설정할 수 있고, 작업자 또는 정비 인원이 자유롭게 변경 설정할 수 있다.
예를 들면, 입력부(400)는 계기판 옵션 형태로 구현될 수 있으며, 작업자는 입력부(400)를 통해 상기 트랙킹 처리 영역, 상기 해상도 등을 변경할 수 있다.
표시 장치(300)는 상기 어태치먼트가 트랙킹되어 표시되는 트랙킹 표시 영역(R) 및 트랙킹 표시 영역(R)의 외부 영역으로 구분하여 영상을 디스플레이 할 수 있다. 표시 장치(300)는 트랙킹 표시 영역(R)의 구분이 가능하도록 트랙킹 표시 영역(R)의 외곽선을 부가적으로 표시할 수도 있고, 상기 외곽선 없이 트랙킹 처리에 따른 영상을 트랙킹 표시 영역(R)의 외부 영역의 영상과 연결하여 표시할 수 있다.
이하에서는, 도 3의 건설기계의 제어 시스템을 이용하여 건설기계를 제어하는 방법에 대하여 설명하기로 한다.
도 4는 예시적인 실시예들에 따른 건설기계의 제어 방법을 나타내는 순서도이다. 도 5는 도 3의 카메라에 의해 촬상된 영상에서의 버켓을 나타내는 도면이다. 도 6a는 암 덤프 및 붐 다운 동작 시 카메라에 의해 촬상된 영상을 나타내는 도면이고, 도 6b는 도 6a의 영상이 트랙킹 영상 처리되어 표시 장치에 표시되는 화면을 나타내는 도면이다. 도 7a는 암 크라우드 및 붐 업 동작 시 카메라에 의해 촬상된 영상을 나타내는 도면이고, 도 7b는 도 7a의 영상이 트랙킹 영상 처리되어 표시 장치에 표시되는 화면을 나타내는 도면이다.
도 1 내지 도 7b를 참조하면, 먼저, 건설기계(10)의 작업장치(60)에 설치된 카메라(100)를 통해 촬상된 영상(IM)을 획득할 수 있다(S100).
예시적인 실시예들에 있어서, 카메라(100)는 복수 개의 AVM 카메라들 중 적어도 하나를 포함할 수 있다. 카메라(100)는 작업장치(60)의 붐(70) 또는 암(80)에 설치되어 작업장치(60)가 작업하는 영역에 대한 영상(IM)을 획득할 수 있다. 카메라(100)는 붐(70) 또는 암(80)의 하부면에 장착되어 작업장치(60) 하부의 작업 영역을 향하도록 배치될 수 있다. 이와 다르게, 카메라(100)는 붐(70) 또는 암(80)의 측면에 장착되어 상기 작업 영역을 향하도록 배치될 수 있다.
이어서, 영상(IM)에서 버켓(90)의 형상을 인식하여 버켓(90)의 위치를 검출하고(S110), 버켓(90)이 영상의 중심 영역에 표시되도록 트랙킹 영상 처리를 수행할 수 있다(S120). 이후, 상기 트랙킹 영상 처리된 영상을 표시 장치(300)에서 표시할 수 있다(S130).
예시적인 실시예들에 있어서, 영상 처리 장치(200)는 영상(IM)으로부터 버켓(90)의 형상을 인식하여 버켓(90)의 위치를 결정할 수 있다. 예를 들면, 영상(IM)에서의 버켓(90)의 실제 이미지와 기계 학습으로 미리 인식되어 저장된 상기 버켓의 학습 이미지를 비교하여 상기 버켓의 위치를 결정할 수 있다.
도 5에 도시된 바와 같이, 카메라(100)로부터 획득된 영상(IM)에서의 버켓(90)은 복수 개의 픽셀들 중에서 대응되는 픽셀들로 표시될 수 있다. 여기서, 카메라(100)에 의해 촬영된 작업 공간은 동일한 크기의 격자로 표현하고, 각 격자에 물체의 유무가 표시될 수 있다.
영상(IM)에서의 실제 이미지와 기 저장된 상기 버켓의 학습 이미지를 비교하고, 상기 실제 이미지와 상기 기 저장된 버켓의 학습 이미지가 동일하면, 상기 버켓으로 인식할 수 있다. 여기서, 상기 버켓의 학습 이미지는 카메라(100)에서 촬영한 버켓(90)의 다양한 형상들을 기계 학습하여 저장된 이미지들을 포함할 수 있다. 기계 학습(Machine Learning)은 인공 지능의 한 분야로 컴퓨터와 같은 처리 장치가 학습할 수 있도록 하는 알고리즘을 의미할 수 있다.
이어서, 상기 버켓이 위치하는 카메라 화면상 픽셀 위치(시작점과 종점)을 파악하여 상기 버켓의 위치를 결정한 후, 상기 버켓이 영상의 중심 영역(트랙킹 표시 영역)(R)에 위치하도록 영상(IM)을 트랙킹 처리할 수 있다. 예를 들면, 카메라(100)로부터 촬영한 영상(IM)에서의 상기 버켓의 픽셀 위치로부터 중심 영역(트랙킹 표시 영역)까지의 상대 거리를 산출하고, 상기 상대 거리를 반영하여 상기 버켓을 상기 중심 영역으로 이동시킬 수 있다.
이 후, 상기 트랙킹 처리된 영상을 실사와 같이 표시되도록 영상 처리하여 표시 장치(300)로 출력할 수 있다.
도 6a에 도시된 바와 같이, 암 덤프 및 붐 다운 동작 시 카메라(100)로부터 획득한 영상(IM)에서 버켓(90)의 형상을 인식하여 버켓(90)의 위치를 결정할 수 있다. 이 때, 버켓(90)은 영상의 중앙이 아닌 상단에 위치할 수 있다. 도 6b에 도시된 바와 같이, 영상(IM)을 트랙킹 영상 처리하여 버켓(90)을 표시 장치(300)의 중심 영역(트랙킹 표시 영역(R))에 표시할 수 있다.
도 7a에 도시된 바와 같이, 암 크라우드 및 붐 업 동작 시 카메라(100)로부터 획득한 영상(IM)에서 버켓(90)의 형상을 인식하여 버켓(90)의 위치를 결정할 수 있다. 이 때, 버켓(90)은 영상의 중앙이 아닌 하단에 위치할 수 있다. 도 7b에 도시된 바와 같이, 영상(IM)을 트랙킹 영상 처리하여 버켓(90)을 표시 장치(300)의 중심 영역(트랙킹 표시 영역(R))에 표시할 수 있다.
이 경우에 있어서, 기 설정된 트랙킹 처리 조건에 따라 표시 장치(300)의 해상도에 맞도록 상기 버켓의 크기를 조정하여, 상기 버켓의 이동 궤적에 따른 크기 차이로 인한 시각적 왜곡을 해소할 수 있다. 예를 들면, 도 6b의 트랙킹 표시 영역(R)의 면적과 해상도 및 버켓(90)의 크기는 도 7b의 트랙킹 표시 영역(R)의 면적과 해상도 및 버켓(90)의 크기와 실질적으로 동일할 수 있다.
예시적인 실시예들에 있어서, 상기 영상을 트랙킹 처리하는 영상 처리 조건을 설정할 수 있다. 입력부(400)를 통해 영상 처리 장치(200)에서의 영상 처리 조건을 설정할 수 있다. 예를 들면, 상기 영상 처리 조건은 표시 장치(300)의 전체 표시 영역 중에서 상기 중심 영역(트랙킹 표시 영역)이 차지하는 면적, 해상도 등을 포함할 수 있다. 상기 트랙킹 표시 영역은 장비의 기종에 따라 선택될 수 있다.
상술한 바와 같이, 건설기계(10)의 작업장치(60)에 설치된 카메라(100)로부터 촬상된 영상에서 버켓(90)과 같은 어태치먼트의 형상을 인식하고 버켓(90)의 이동 궤적을 트랙킹(tracking)하여 버켓(90)이 표시 장치(300)의 화면 상의 중심 영역(트랙킹 표시 영역)(R)에 표시되도록 트랙킹 영상 처리를 수행할 수 있다.
따라서, 트렌치 작업과 같은 굴삭 작업 중에도 작업 영역을 촬영한 영상에서 버켓(90)은 고정된 중심 영역에서 벗어나지 않도록 표시되므로, 작업 중에 작업자의 시선이 고정된 채로 버켓(90)을 바라보면서 작업을 수행할 수 있다. 이에 따라, 상기 작업 영역에 대한 시인성이 향상되고 안정성을 확보할 수 있다.
이상에서는 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 건설기계 20: 하부 주행체
30: 상부 선회체 32: 상부 프레임
40: 카운터웨이트 50: 운전실
60: 프론트 작업 장치 70: 붐
72: 붐 실린더 80: 암
82: 암 실린더 90: 버켓
92: 버켓 실린더 100: 카메라
200: 영상 처리 장치 210: 형상 인식부
220: 트랙킹 영상 처리부 230: 저장부
300: 표시 장치 400: 입력부

Claims (13)

  1. 작업장치에 설치되어 상기 작업장치가 작업하는 영역을 촬상하기 위한 카메라;
    상기 카메라에 의해 촬상된 영상에서 상기 작업장치의 어태치먼트의 형상을 인식하고 상기 어태치먼트가 영상의 중심 영역에 표시되도록 트랙킹 영상 처리를 수행하기 위한 영상 처리 장치; 및
    상기 트랙킹 영상 처리된 영상을 표시하는 표시 장치를 포함하는 건설기계의 제어 시스템.
  2. 제 1 항에 있어서, 상기 영상 처리 장치는
    상기 영상에서 상기 어태치먼트의 형상을 인식하여 상기 어태치먼트의 위치를 검출하는 형상 인식부; 및
    상기 어태치먼트의 이동 궤적을 트랙킹하여 상기 어태치먼트가 상기 중심 영역에 위치하도록 상기 영상을 트랙킹 처리하는 트랙킹 영상 처리부를 포함하는 건설기계의 제어 시스템.
  3. 제 2 항에 있어서, 상기 형상 인식부는 상기 영상에서의 상기 어태치먼트의 실제 이미지와 기계 학습으로 미리 인식되어 저장된 상기 어태치먼트의 학습 이미지를 비교하여 상기 어태치먼트의 형상을 인식하는 건설기계의 제어 시스템.
  4. 제 2 항에 있어서, 상기 영상 처리 장치는 상기 형상 인식부로부터 수신한 실제 이미지를 입력 데이터로 하여 딥 러닝 알고리즘을 실행하여 상기 어태치먼트의 상기 학습 이미지를 저장하는 저장부를 더 포함하는 건설기계의 제어 시스템.
  5. 제 1 항에 있어서,
    상기 영상 처리 장치에서의 트랙킹 영상 처리 조건을 설정하기 위한 입력부를 더 포함하는 건설기계의 제어 시스템.
  6. 제 5 항에 있어서, 상기 트랙킹 영상 처리 조건은 상기 표시 장치의 전체 표시 영역 중에서 상기 중심 영역이 차지하는 면적 및 해상도를 포함하는 건설기계의 제어 시스템.
  7. 제 1 항에 있어서, 상기 어태치먼트는 버켓을 포함하는 건설기계의 제어 시스템.
  8. 작업장치에 설치된 카메라로부터 상기 작업장치가 작업하는 영역을 촬상한 영상을 획득하고;
    상기 영상에서 상기 작업장치의 어태치먼트의 형상을 인식하여 상기 어태치먼트의 위치를 검출하고;
    상기 어태치먼트가 영상의 중심 영역에 표시되도록 트랙킹 영상 처리를 수행하고; 그리고
    상기 트랙킹 영상 처리된 영상을 표시 장치를 통해 표시하는 것을 포함하는 건설기계의 제어 방법.
  9. 제 8 항에 있어서, 상기 영상에서 상기 어태치먼트의 위치를 검출하는 것은, 상기 영상에서의 상기 어태치먼트의 실제 이미지와 기계 학습으로 미리 인식되어 저장된 상기 어태치먼트의 학습 이미지를 비교하여 상기 어태치먼트의 형상을 인식하여 상기 어태치먼트의 위치를 결정하는 것을 포함하는 건설기계의 제어 방법.
  10. 제 9 항에 있어서,
    상기 영상에서의 상기 실제 이미지를 입력 데이터로 하여 딥 러닝 알고리즘을 수행하여 상기 어태치먼트의 상기 학습 이미지를 획득하는 것을 더 포함하는 건설기계의 제어 방법.
  11. 제 8 항에 있어서,
    상기 어태치먼트의 위치를 트랙킹하도록 하는 영상 처리 조건을 설정하는 것을 더 포함하는 건설기계의 제어 방법.
  12. 제 11 항에 있어서, 상기 영상 처리 조건은 상기 표시 장치의 전체 표시 영역 중에서 상기 중심 영역이 차지하는 면적 및 해상도를 포함하는 건설기계의 제어 방법.
  13. 제 8 항에 있어서, 상기 어태치먼트는 버켓을 포함하는 건설기계의 제어 방법.
KR1020210005089A 2021-01-14 2021-01-14 건설기계의 제어 시스템 및 방법 KR20220102765A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210005089A KR20220102765A (ko) 2021-01-14 2021-01-14 건설기계의 제어 시스템 및 방법
US17/575,299 US20220220707A1 (en) 2021-01-14 2022-01-13 System and method of controlling construction machinery

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210005089A KR20220102765A (ko) 2021-01-14 2021-01-14 건설기계의 제어 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20220102765A true KR20220102765A (ko) 2022-07-21

Family

ID=82321681

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210005089A KR20220102765A (ko) 2021-01-14 2021-01-14 건설기계의 제어 시스템 및 방법

Country Status (2)

Country Link
US (1) US20220220707A1 (ko)
KR (1) KR20220102765A (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10519631B2 (en) * 2017-09-22 2019-12-31 Caterpillar Inc. Work tool vision system
JP7318258B2 (ja) * 2019-03-26 2023-08-01 コベルコ建機株式会社 遠隔操作システムおよび遠隔操作サーバ
WO2020196838A1 (ja) * 2019-03-27 2020-10-01 住友重機械工業株式会社 ショベル及びショベルの管理装置

Also Published As

Publication number Publication date
US20220220707A1 (en) 2022-07-14

Similar Documents

Publication Publication Date Title
CN111051619B (zh) 作业机械
CN108055855B (zh) 作业机械
CN108699802B (zh) 作业机械
JPWO2016158265A1 (ja) 作業機械
CN112962709B (zh) 工程机械设备及其作业轨迹规划方法和系统、存储介质
KR20180102137A (ko) 작업 기계
CN113631779A (zh) 挖土机及施工系统
US20210140147A1 (en) A working machine provided with an image projection arrangement
JP2023174887A (ja) 作業機械、情報処理装置
CN114763701A (zh) 工程机械的控制系统及方法
US20220341131A1 (en) Operation instruction system
US20210363732A1 (en) System and method for selectively displaying image data in a working machine
JP6964109B2 (ja) 作業機械
KR20220102765A (ko) 건설기계의 제어 시스템 및 방법
KR20230017724A (ko) 건설기계의 제어 시스템 및 방법
KR20210060967A (ko) 건설기계의 주변 환경 인지 시스템
JP2015154240A (ja) 建設機械用俯瞰画像表示装置
JP7145137B2 (ja) 作業機械の制御装置
JP2023063989A (ja) ショベル
JP2023063990A (ja) ショベル
JP2023093109A (ja) 建設機械、及び情報処理装置
JP2023063991A (ja) ショベル
JP2023063988A (ja) ショベル
JP2021025223A (ja) 作業機械
KR20240056262A (ko) 건설기계의 제어 시스템 및 방법