KR20210068174A - 굴삭기의 버켓 위치 확인 시스템 이를 이용한 버켓 위치 확인 방법 - Google Patents

굴삭기의 버켓 위치 확인 시스템 이를 이용한 버켓 위치 확인 방법 Download PDF

Info

Publication number
KR20210068174A
KR20210068174A KR1020190156373A KR20190156373A KR20210068174A KR 20210068174 A KR20210068174 A KR 20210068174A KR 1020190156373 A KR1020190156373 A KR 1020190156373A KR 20190156373 A KR20190156373 A KR 20190156373A KR 20210068174 A KR20210068174 A KR 20210068174A
Authority
KR
South Korea
Prior art keywords
bucket
dimensional
analysis unit
excavator
image
Prior art date
Application number
KR1020190156373A
Other languages
English (en)
Other versions
KR102415420B1 (ko
Inventor
신대영
함영국
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020190156373A priority Critical patent/KR102415420B1/ko
Publication of KR20210068174A publication Critical patent/KR20210068174A/ko
Application granted granted Critical
Publication of KR102415420B1 publication Critical patent/KR102415420B1/ko

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

본 발명의 일 실시 예는 3차원 영상을 이용하여 굴삭기의 버켓 위치를 측정하고, 이를 이용하여 버켓의 이동 경로 또는 작업 경로가 시스템에 의해 제어될 수 있도록 하는 기술을 제공한다. 본 발명의 실시 예에 따른 굴삭기의 버켓 위치 확인 시스템은, 본체와 결합하고, 버켓과 버켓 주위의 이미지를 3차원으로 인식하며, 버켓 상 설정된 임의의 포인트인 버켓포인트에 대한 3차원 측정 값인 버켓위치를 획득하는 촬상분석부; 본체와 결합하고, GNSS 신호를 수신하여 촬상분석부의 3차원 GNSS 좌표 값인 기준좌표를 분석하는 기준좌표분석부; 및 본체와 결합하고, 촬상분석부로부터 전달 받은 버켓위치와 기준좌표분석부로부터 전달 받은 기준좌표를 분석하여 버켓포인트의 3차원 GNSS 좌표 값을 생성하는 통합제어부;를 포함한다.

Description

굴삭기의 버켓 위치 확인 시스템 이를 이용한 버켓 위치 확인 방법 {SYSTEM FOR MEASURING THE POSITION OF THE BUCKET OF THE EXCAVATOR AND METHOD FOR MEASURING THE POSITION OF THE BUCKET USING THE SAME}
본 발명은 굴삭기의 버켓 위치 확인 시스템 이를 이용한 버켓 위치 확인 방법에 관한 것으로, 더욱 상세하게는, 3차원 영상을 이용하여 굴삭기의 버켓 위치를 측정하고, 이를 이용하여 버켓의 이동 경로 또는 작업 경로가 시스템에 의해 제어될 수 있도록 하는 기술에 관한 것이다.
굴삭기의 현장 작업 진행 현황을 파악하고, 이를 이용하여 굴삭기의 작업을 제어하기 위해서는, 굴삭기에 포함된 버켓의 3차원 위치를 정밀 GNSS 위치 데이터를 근거로 정확히 파악하는 것이 필요하다. 종래기술에서는, 버켓의 위치를 측정하기 위하여, 붐과 암이 설치된 굴삭기의 각 관절에 복수 개의 기울기 센서를 설치하고, 각각의 기울기 센서 측정 값을 이용한 기구학적 연산과 수신된 GNSS 신호를 이용한 연산을 수행하였다.
그런데, 상기와 같은 종래기술을 이용하는 경우, 굴삭기에 복수 개의 기울기 센서를 유선 설치하고 튜닝하는 과정이 복잡하고, 충격이 빈번히 발생하는 버켓, 암, 붐 등에 기울기 센서가 설치되는 경우, 기울기 센서의 파손이 자주 발생하는 문제가 있다.
대한민국 공개특허 제 10-2014-0101474호(발명의 명칭: 굴삭기 버켓의 이동경로 추적제어시스템과 추적제어방법)에서는, 제1암의 회동을 위한 붐 실린더와, 제2암의 회동을 위한 암 실린더의 동작을 제어하는 메인밸브를 제어하도록, 해당 파이롯밸브와 병렬 배치되는 제어밸브; 상기 제1,2암과 지면이 이루는 내각을 측정하는 제1,2각도센서; 이동기울기를 포함한 입력값을 입력받아 처리하는 입력모듈; 및 상기 이동기울기의 경로로 버켓을 직선이동시키는 상기 제1,2암이 다른 자세를 취할 때, 상기 제1,2암이 지면과 이루는 내각 데이터를 연산하는 연산모듈;을 포함하는 것을 특징으로 하는 굴삭기의 이동경로 추적제어시스템이 개시되어 있다.
대한민국 공개특허 제 10-2014-0101474호
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 굴삭기에 복수 개의 기울기 센서를 설치하지 않고도 버켓의 위치를 확인할 수 있도록 하는 것이다.
그리고, 본 발명의 목적은, 굴삭기의 작업 환경에 대해 데이터 분석하고, 이를 이용하여 굴삭기의 자동 제어 또는 작업에 대한 보조 제어가 수행되도록 하는 것이다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 구성은, 본체, 붐, 암 및 버켓을 포함하는 굴삭기의 버켓 위치 확인 시스템에 있어서, 상기 본체와 결합하고, 상기 버켓과 상기 버켓 주위의 이미지를 3차원으로 인식하며, 상기 버켓 상 설정된 임의의 포인트인 버켓포인트에 대한 3차원 측정 값인 버켓위치를 획득하는 촬상분석부; 상기 본체와 결합하고, GNSS 신호를 수신하여 상기 촬상분석부의 3차원 GNSS 좌표 값인 기준좌표를 분석하는 기준좌표분석부; 및 상기 본체와 결합하고, 상기 촬상분석부로부터 전달 받은 상기 버켓위치와 상기 기준좌표분석부로부터 전달 받은 상기 기준좌표를 분석하여 상기 버켓포인트의 3차원 GNSS 좌표 값을 생성하는 통합제어부;를 포함한다.
본 발명의 실시 예에 있어서, 상기 촬상분석부는, 상기 버켓과 상기 버켓 주위의 이미지를 3차원으로 인식하여 3차원이미지를 생성하는 3차원카메라, 및 상기 3차원카메라로부터 전달 받은 상기 3차원이미지를 분석하여 상기 버켓위치를 분석하는 촬상분석기,를 구비할 수 있다.
본 발명의 실시 예에 있어서, 상기 촬상분석기는, 상기 3차원이미지로부터 상기 버켓의 이미지를 분리시키고, 분리된 상기 버켓의 이미지를 단순화시킬 수 있다.
본 발명의 실시 예에 있어서, 상기 버켓위치는, 상기 3차원카메라로부터 상기 버켓포인트까지의 3차원 거리, 방향 및 각도일 수 있다.
본 발명의 실시 예에 있어서, 상기 버켓의 실시간 위치를 표시하는 디스플레이부를 더 포함할 수 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 구성은, 상기 촬상분석부의 3차원카메라가 상기 버켓과 상기 버켓 주위의 이미지를 촬상하는 제1단계; 상기 촬상분석부의 촬상분석기가 상기 3차원이미지로부터 상기 버켓의 이미지를 분리시키고, 분리된 상기 버켓의 이미지를 단순화시키는 제2단계; 상기 촬상분석부가 상기 버켓위치를 획득하는 제3단계; 상기 기준좌표분석부가 GNSS 신호를 수신하여 상기 기준좌표를 분석 획득하는 제4단계; 및 상기 통합제어부가 상기 버켓위치와 상기 기준좌표를 분석하여 상기 버켓포인트의 3차원 GNSS 좌표 값을 생성하는 제5단계;를 포함한다.
본 발명의 실시 예에 있어서, 상기 통합제어부가 상기 굴삭기의 위치 및 회전 각도를 분석하는 제6단계를 더 포함할 수 있다.
상기와 같은 구성에 따른 본 발명의 효과는, 기울기 센서 등을 이용하고 복잡한 수식 연산을 수행하여 버켓의 위치를 측정하는 대신에, 3차원 영상을 인식하는 카메라 등을 이용하여 버켓의 위치를 측정하므로, 단순한 구성으로 시스템의 안정성을 향상시키고, 버켓의 위치 측정 정화도를 향상시킬 수 있다는 것이다.
그리고, 본 발명의 효과는, 버켓의 위치 등을 이용하여 작업 위치, 작업 내용, 작업 시 버켓 경로 등에 대한 데이터가 자동으로 생성되고, 이와 같은 데이터를 이용하여 굴삭기에 대한 자동 제어 또는 운전자를 보조하기 위한 제어가 수행되게 함으로써, 다소 조작이 미숙하더라도 굴삭기를 이용한 작업이 가능하게 함과 동시에, 굴삭기를 이용한 작업의 효율을 증대시킬 수 있다는 것이다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시 예에 따른 시스템이 형성된 굴삭기에 대한 모식도이다.
도 2는 본 발명의 일 실시 예에 따른 착용부에 대한 모식도이다.
도 3은 본 발명의 일 실시 예에 따른 버켓의 작업 경로에 대한 이미지이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시 예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하 첨부된 도면을 참고하여 본 발명에 대하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 시스템이 형성된 굴삭기(1)에 대한 모식도이다. 도 1에서 보는 바와 같이, 본체(40), 붐(31), 암(21) 및 버켓(11)을 포함하는 굴삭기(1)의 버켓(11) 위치를 확인하는 본 발명의 버켓 위치 확인 시스템은, 본체(40)와 결합하고, 버켓(11)과 버켓(11) 주위의 이미지를 3차원으로 인식하며, 버켓(11) 상 설정된 임의의 포인트인 버켓포인트(11a)에 대한 3차원 측정 값인 버켓위치를 획득하는 촬상분석부(100); 본체(40)와 결합하고, GNSS 신호를 수신하여 촬상분석부(100)의 3차원 GNSS 좌표 값인 기준좌표를 분석하는 기준좌표분석부(200); 및 본체(40)와 결합하고, 촬상분석부(100)로부터 전달 받은 버켓위치와 기준좌표분석부(200)로부터 전달 받은 기준좌표를 분석하여 버켓포인트(11a)의 3차원 좌표 값을 생성하는 통합제어부(300);를 포함할 수 있다.
굴삭기(1)의 본체(40)는 운전자가 위치하는 캐빈(cabin)(41)을 구비하고, 촬상분석부(100)는 케빈의 상단에 설치되어, 버켓(11)에 대한 촬상이 용이한 위치에 설치될 수 있다. 다만, 촬상분석부(100)의 위치가 상기와 같이 한정되는 것은 아니며, 버켓(11)과 버켓(11) 주위 환경의 이미지를 촬상하기 용이한 본체(40)의 일 부위에 촬상분석부(100)가 설치될 수 있다.
촬상분석부(100)는, 버켓(11)과 버켓(11) 주위의 이미지를 3차원으로 인식하여 3차원이미지를 생성하는 3차원카메라(110), 및 3차원카메라(110)로부터 전달 받은 3차원이미지를 분석하여 버켓위치를 분석하는 촬상분석기(120),를 구비할 수 있다.
3차원카메라(110)로 3차원 TOF(Time-of-Flight)카메라가 이용될 수 있다. TOF카메라는 근적외선을 쏘아 돌아오는 신호의 세기와 위상을 측정하여 촬영 대상과의 거리를 계산하는 방식으로 3차원 측정 값들을 생성하며, 2차원으로 배열된 여러 개의 LED가 동시에 촬영 대상을 향해 근적외선을 쏘아 특정 높이의 거리 측정에 한정되지 않고, FULL 3D(Dimension)를 촬영할 수 있다.
본 발명의 실시 예에서는, 3차원카메라(110)가 TOF카메라로 형성된다고 설명하고 있으나, 반드시 이에 한정되는 것은 아니고, 3차원카메라(110)는 Structured Light pattern 방식, Stereo vision방식 등을 이용하여 촬상 대상에 대한 3차원 이미지를 수집하는 카메라일 수 있다.
상기와 같이 형성되는 3차원카메라(110)는 버켓(11)과 버켓(11) 주위의 이미지를 3차원으로 촬영하여 3차원 이미지를 생성하고, 이와 같이 생성된 3차원이미지를 촬상분석기(120)로 전달할 수 있다. 그리고, 촬상분석기(120)는, 3차원이미지로부터 버켓(11)의 이미지를 분리시키고, 분리된 버켓(11)의 이미지를 단순화시킬 수 있다.
구체적으로, 3차원카메라(110)로부터 3차원이미지를 전달 받은 촬상분석기(120)는, 딥러닝 기반의 객체 탐색 기법을 이용하여 3차원이미지에서 버켓(11)의 이미지를 탐색한 후 버켓(11)의 이미지를 분류하여 분리할 수 있다. 여기서, 딥러닝 알고리즘으로는, R-CNN 알고리즘, YOLO(You only Look Once) 알고리즘, SSD (Single Shot Detector) 알고리즘 등이 이용될 수 있다.
다음으로, 촬상분석기(120)는, 3차원이미지로부터 분리된 버켓(11)의 이미지를 단순화시킬 수 있으며, 이를 위해, 촬상분석기(120)는 3차원이미지로부터 분리된 버켓(11)의 이미지 해상도(픽셀 수)를 감소시키는 이미지 처리를 수행함으로써 이미지를 단순화시킬 수 있다. 그리고, 촬상분석기(120)는, 상기와 같이 단순화된 버켓(11)의 이미지에 복수 개의 포인트를 설정할 수 있으며, 복수 개의 포인트 중 버켓(11)의 끝단(가장 하단)의 중심에 위치한 포인트를 버켓포인트(11a)로 설정하고, 이와 같은 버켓포인트(11a)에 대한 버켓위치를 도출할 수 있다. 본 발명의 실시 예에서는, 버켓(11)의 끝단의 중심에 버켓포인트(11a)가 설정된다고 설명하고 있으나, 이에 한정되는 것은 아니고, 버켓(11)의 다른 부위에 버켓포인트(11a)가 설정될 수도 있다. 버켓(11)과 다른 물체와의 거리 파악을 용이하게 하기 위해 복수 개의 포인트는 버켓(11)의 외측 윤곽선을 따라 형성되는 것이 바람직할 수 있다.
여기서, 버켓포인트(11a)의 3차원 측정 값인 버켓위치와 버켓포인트(11a) 외 다른 포인트간 거리는 일정하게 유지되고, 이에 따라, 굴삭기(1)의 작업에 의해 버켓(11)의 끝단에 다른 물체가 위치함으로써 3차원이미지에서 버켓포인트(11a)를 측정하기 용이하지 않은 경우에도, 다른 포인트들의 3차원 측정 값(거리, 방향, 각도)을 이용하여 버켓포인트(11a)의 위치를 연산함으로써, 촬상분석기(120)는 버켓포인트(11a)의 위치를 지속적으로 측정할 수 있다.
상기와 같이, 버켓(11)의 이미지를 분리시키고 단순화시키는 과정을 수행하고, 단순화시킨 이미지에서 복수 개의 포인트를 설정함으로써, 버켓(11)의 이미지 처리 속도를 향상시킬 수 있으며, 이에 따라, 버켓(11)의 위치를 확인하는 속도가 향상될 수 있다.
버켓위치는, 3차원카메라(110)로부터 버켓포인트(11a)까지의 3차원 거리, 방향 및 각도일 수 있다. 구체적으로, 버켓위치는, 3차원카메라(110)의 중심으로부터 버켓포인트(11a)까지의 거리, 3차원카메라(110)의 중심으로부터 버켓포인트(11a)로의 벡터 방향 및 각도일 수 있다. 여기서, 3차원카메라(110)의 중심을 기준으로 3차원 좌표계가 형성될 수 있다. 도 1에서, 3차원 좌표계로부터 버켓포인트(11a)로 연결된 화살표가 벡터 거리(L), 방향 및 각도(θx, θy, θz)에 대한 사항을 나타낼 수 있다.
기준좌표분석부(200)는 GNSS(Global Navigation Satellite System)수신기를 구비하고, GNSS 신호를 수신하여 기준좌표분석부(200)의 3차원 GNSS좌표를 획득할 수 있고, 도 1에서 보는 바와 같이, 기준좌표분석부(200)와 촬상분석부(100) 각각이 본체(40)와 결합하여 서로 간 고정된 위치에 존재하므로, 기준좌표분석부(200)는 동시에 촬상분석부(100)의 중심에 대한 3차원 GNSS좌표를 연산함으로써, 기준좌표를 획득할 수 있다. 그리고, 통합제어부(300)는, 상기와 같이 기준좌표를 전달 받고, 상기된 버켓위치에 대한 3차원 거리, 방향 및 각도를 이용하여, 버켓포인트(11a)의 3차원 GNSS 좌표 값을 실시간으로 생성할 수 있다.
이에 따라, 굴삭기(1)가 작동하여 버켓(11)을 이용한 작업을 수행함에 따라 버켓포인트(11a)의 GNSS 좌표 값도 실시간으로 변화하며, 이를 이용하여, 버켓(11)의 위치 이동, 회전 등에 대한 운동 정보를 실시간으로 획득할 수 있다.
본 발명의 버켓 위치 확인 시스템은, 버켓(11)의 실시간 위치를 표시하는 디스플레이부를 더 포함할 수 있다. 상기와 같은 버켓(11)의 운동 정보는 이미지화되어 디스플레이부에 표현될 수 있다. 구체적으로, 디스플레이부에는 굴삭기(1)의 축소 모형이 표현되고, 굴삭기(1)의 작동에 따라 굴삭기(1)의 축소 모형이 동일한 작동을 수행할 수 있다. 이는, 상기와 같은 버켓(11)의 위치 확인 뿐만 아니라, 기준좌표분석부(200)에 의한 본체(40)의 위치 확인이 가능하여 구현될 수 있다. 여기서, 본체(40)의 위치뿐만 아니라 본체(40)의 회전 각도 등도 분석될 수 있다.
이하, 본 발명의 버켓 위치 확인 시스템을 포함하는 운전자 보조시스템에 대해 설명하기로 한다. 먼저, 운전자 보조시스템에 적용되는 굴삭기(1)는, 캐빈(41)을 구비하는 본체(40), 본체(40)와 결합하는 붐(31), 붐(31)을 회동시키기 위한 붐 실린더(32), 붐(31)과 회동 가능하게 결합되는 암(21), 암(21)을 회동시키기 위한 암 실린더(22), 암(21)의 말단에 결합되는 버켓(11), 및 버켓(11)을 회동시키기 위한 버켓 실린더(12)를 포함할 수 있다. 본 발명의 실시 예에서는, 상기와 같은 구성의 굴삭기(1)에 본 발명의 운전자 보조시스템이 설치된다고 설명하고 있으나, 굴삭기(1)의 구성이 상기와 같이 한정되는 것은 아니고, 본 발명의 운전자 보조시스템은 다양한 굴삭기 및 건설기계에 이용될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 착용부(410)에 대한 모식도이다. 도 1과 도 2에서 보는 바와 같이, 본 발명의 운전자 보조시스템은, 상기된 촬상분석부(100)와 기준좌표분석부(200)를 포함하는 버켓위치확인모듈; 굴삭기(1)의 운전자 머리에 착용되는 착용부(410); 착용부(410)의 일 부위와 결합하고, 굴삭작업 목표물에 레이저를 조사하여 작업 위치를 지시하는 작업위치지시부(420); 착용부(410)의 타 부위와 결합하고, 작업 위치와 주위 지형에 대한 3차원 이미지인 지형이미지를 획득하고, 작업위치지시부(420)에 의한 레이저 조사 위치를 획득하는 작업위치촬상부(430);를 포함할 수 있다. 그리고, 통합제어부(300)는, 작업위치지시부(420)의 지시 위치와 버켓포인트(11a)의 위치 및 지형이미지를 분석하여 버켓(11)의 이동 경로를 확정하고, 버켓(11)의 이동을 위한 제어 신호를 생성할 수 있다.
착용부(410)는, HMD(Head Mounted Display)기기 또는 헬멧일 수 있다. 여기서, 헬멧은 일반적인 작업모 또는 다양한 기능이 구비된 스마트 헬멧일 수 있다. 그리고, 본 발명의 운전자 보조시스템은, 작업위치지시부(420)의 지시 위치 지정 후, 굴삭기(1)의 운전자의 조작 명령을 입력 받아 작업 위치의 확정 신호를 통합제어부(300)로 전달하는 조작부를 더 포함할 수 있다. 조작부는 조이스틱, 조작 패드, 터치패드 등 다양한 기기 중 선택되는 하나 이상의 기기일 수 있다.
도 2에서 보는 바와 같이, HMD기기는, 착용한 운전자에게 굴삭기(1) 작업에 대한 화면을 보여주면서, 버켓(11)의 위치에 대한 정보 등을 표시할 수 있다. 구체적으로, HMD기기의 화면에는, 작업위치촬상부(430)에 의해 촬영되는 버켓(11)과 버켓(11) 주위의 이미지가 표시되고, 작업위치지시부(420)가 레이저를 조사하는 위치인 작업 위치가 표시되며, 화면에 표시된 버켓(11)의 이미지 상에 버켓포인트(11a)의 3차원 GNSS 좌표 값을 표시될 수 있다. 또한, HMD기기의 화면에는, 운전자가 조작부를 통해 선택한 작업 위치 외에 각각의 작업 위치에 설정된 작업 사항 등이 표시될 수 있다. 이를 위해, HMD기기의 화면에는, 조작부의 조작에 따라 이동을 하는 커서가 표시될 수 있고, HMD기기의 화면을 통해 운전자는 통합제어부(300)에 명령을 전달할 수도 있다. HMD기기가 아닌 헬멧을 이용하는 운전자는 HMD기기의 화면에 표시된 각각의 사항을 상기된 디스플레이부를 통해 확인할 수 있다. 이와 같이, 착용부(410) 또는 착용부(410)와 디스플레이부의 조합에 의해 운전자는 굴삭기(1)의 실시간 작업 상황과 굴삭기(1) 작업과 관련된 정보를 확인할 수 있음과 동시에 조종이 가능하여, 운전자는 간단한 조작만으로도 굴삭기(1)의 반복적인 작업을 수행할 수 있다.
작업위치지시부(420)는 착용부(410)에 결합되어 운전자의 머리 움직임에 따라 방향 변경이 가능할 수 있다. 구체적으로, 도 2에서 보는 바와 같이, HMD기기는 운전자의 머리에 고정되도록 결착체(411)와 결합할 수 있고, 작업위치지시부(420)는 HMD기기의 일 측면에 설치될 수 있다. 그리고, 운전자가 머리를 움직여서 작업위치지시부(420)의 레이저 조사 위치를 변경할 수 있으며, 이와 같은 레이저 조사 위치 변경을 HMD기기로 확인할 수 있다.
작업위치지시부(420)와 마찬가지로, 작업위치촬상부(430)도 착용부(410)와 결합되어 운전자의 머리 움직임에 따라 방향 변경이 가능할 수 있다. 여기서, 작업위치촬상부(430)는 HMD기기의 타 측면에 설치될 수 있다. 운전자의 머리가 움직이면 작업위치촬상부(430)의 촬영 범위도 지속적으로 변경되게 되고, 작업위치촬상부(430)에 의해 촬영된 이미지는 통합제어부(300)로 실시간으로 전송될 수 있다. 그리고, 통합제어부(300)는 작업위치촬상부(430)로부터 수신된 이미지를 분석하여 작업 환경 주위의 전체 이미지를 생성할 수 있다. 작업위치촬상부(430)의 광축이 운전자의 머리 움직임에 따라 변경되더라도 작업위치촬상부(430)의 촬영 범위에는 버켓(11)의 계속 위치하도록 작업위치촬상부(430)의 촬영 범위가 설정될 수 있다. 이에 따라, 상기와 같이 실시간으로 버켓포인트(11a)의 3차원 GNSS 좌표 값을 측정할 수 있을 뿐만 아니라, 주위 환경 이미지와 버켓(11) 이미지 간 관계에 대해서도 지속적으로 통합제어부(300)에서 판단될 수 있다.
즉, 통합제어부(300)는 버켓포인트(11a)의 위치 및 지형이미지에 대한 분석을 수행하며, 하나의 위치에서 다른 위치로 버켓(11)의 위치를 변경시키는 경우, 장애물의 형성 여부에 따라 복수 개의 버켓(11) 이동 경로를 설정하고, 복수 개의 버켓(11) 이동 경로 중 최적의 이동 경로를 확정하여, 붐 실린더(32), 암 실린더(22), 버켓 실린더(12) 및 본체(40)에 제어 신호를 전달할 수 있다. 이에 따라, 최적의 버켓(11) 이동 경로를 따라 버켓(11)이 이동하도록 붐 실린더(32)의 길이(Cbm), 암 실린더(22)의 길이(Cam) 및 버켓 실린더(12)의 길이(Cbk) 각각이 가변하고, 본체(40)의 직선 운동 또는 회전 운동이 수행될 수 있다.
그리고, 이와 같이 통합제어부(300)가 최적의 버켓(11) 이동 경로를 확정하기 위하여 딥러닝 알고리즘을 이용할 수 있으며, 각각의 상황에 대한 학습 수행 후 딥러닝 알고리즘의 결과 값을 도출하여 최적의 버켓(11) 이동 경로를 확정할 수 있다. 여기서, 딥러닝 알고리즘으로는 심층 신경망, 합성곱 신경망 또는 순환 신경망 중 어느 하나의 알고리즘이 이용될 수 있다. 다만, 이에 한정되는 것은 아니다.
도 3은 본 발명의 일 실시 예에 따른 버켓(11)의 작업 경로에 대한 이미지이다. 도 3에서, 버켓포인트(11a)의 이동 위치 1 내지 6 각각에 의한 작업 경로는 1 내지 5의 단위경로(Path)로 구분되고, 도 3 하단의 속도(vT)-시간(Time) 그래프는 시간의 흐름에 따라 순차적으로 연결되는 각각의 단위경로에 대한 시간을 나타낼 수 있다. 그리고, 속도(vT)-시간(Time) 그래프의 숫자는 속도(단위 mm/sec)이다.
통합제어부(300)는, 작업 사항에 따른 버켓(11)의 작업 경로에 대한 데이터를 저장하고 있을 수 있다. 구체적으로, 통합제어부(300)에는 작업 경로에 따라 붐 실린더(32), 암 실린더(22), 버켓 실린더(12) 및 본체(40)의 작동을 자동으로 제어하기 위한 작업 경로 제어 데이터가 내장될 수 있고, 버켓(11)이 하나의 작업 위치로 이동한 후에는 통합제어부(300)는 작업 경로 제어 데이터를 이용하여 붐 실린더(32), 암 실린더(22), 버켓 실린더(12) 및 본체(40)의 작동을 제어함으로써, 소정의 작업이 수행되도록 자동 제어를 수행할 수 있다. 그리고, 작업 위치에 따라 버켓(11)의 작업 경로가 가변할 수 있다. 상기된 바와 같이 작업위치촬상부(430)로 버켓(11) 주위에 대한 이미지가 지속적으로 촬영되고 이에 대한 이미지가 통합제어부(300)에 의해 분석되므로, 작업 위치 및 그 주위에 장애물 등의 상황이 발생하거나 지형의 굴곡이 형성된 경우에는, 상기된 딥러닝 등에 의한 지형 판단에 의해 작업 경로 프로그램이 수정될 수도 있다.
도 3에서 보는 바와 같이, 운전자가 작업위치지시부(420)를 이용하여 작업 위치를 지시하면 굴삭기(1)에 대한 자동 제어가 수행될 수 있는데, 여기서 작업 위치는 포인트 1,6에서 포인트 2까지의 범위일 수 있다. 이와 같이, 작업 위치는 특정 포인트로 정해지거나, 하나의 포인트에서 다른 포인트까지의 거리로 정해지거나, 또는, 복수 개의 포인트에 의한 면적으로 정해질 수 있다. 상기와 같이, 운전자가 작업 위치를 지시하고 작업 위치에 대한 작업 사항에 대한 명령을 조작부에 입력하여 작업 사항을 확정하여 통합제어부(300)로 전달하면, 통합제어부(300)는 작업 경로 데이터에서 작업 사항에 적합한 작업 경로를 선택하고, 버켓포인트(11a)의 이동이 작업 경로를 따라 수행되도록, 붐 실린더(32), 암 실린더(22), 버켓 실린더(12) 및 본체(40)에 제어 신호를 전달할 수 있다.
작업 위치는 복수 개 형성될 수 있으며, 각각의 작업 위치에 대한 작업 사항이 상이하게 형성될 수 있다. 구체적으로, 운전자는, 복수 개의 작업 위치로써, 제1작업 위치, 제2작업 위치 및 제3작업 위치를 설정할 수 있고, 각각의 작업 위치에 따라 각각 다른 작업 사항을 설정할 수도 있다. 이와 같은 사항에 대한 정보를 전달 받은 통합제어부(300)는 각각의 작업 위치에서 각각 다른 작업 경로가 형성되도록 제어 신호를 생성할 수 있다.
본 발명의 실시 예에서는, 상기와 같이 버켓(11)의 위치가 자동 제어되고, 작업 위치 및 작업 사항 확정에 따라 작업 경로가 가변하면서 굴삭기(1)를 이용한 작업이 자동으로 수행된다고 설명하고 있으나, 운전자가 지속적으로 굴삭기(1)의 작업 과정을 관찰하면서 버켓(11)이 작업 경로를 벗어나거나, 작업 경로 내에 돌발성 장애물이 발생하는 경우, 운전자가 조작부를 수동으로 조작하여 수동으로 작업 경로를 변경시킬 수 있다.
이하, 본 발명의 시스템을 이용한 버켓(11) 위치 확인 방법에 대해 설명하기로 한다.
제1단계에서, 촬상분석부(100)의 3차원카메라(110)가 버켓(11)과 버켓(11) 주위의 이미지를 촬상할 수 있다. 다음으로, 제2단계에서, 촬상분석부(100)의 촬상분석기(120)가 3차원이미지로부터 버켓(11)의 이미지를 분리시키고, 분리된 버켓(11)의 이미지를 단순화시킬 수 있다. 그리고, 제3단계에서, 촬상분석부(100)가 버켓위치를 획득할 수 있다. 그 후, 제4단계에서, 기준좌표분석부(200)가 GNSS 신호를 수신하여 기준좌표를 분석 획득할 수 있다. 다음으로, 제5단계에서, 통합제어부(300)가 상기 버켓위치와 상기 기준좌표를 분석하여 상기 버켓포인트(11a)의 3차원 GNSS 좌표 값을 생성할 수 있다. 추가적으로, 제 6단계에서, 통합제어부(300)가 굴삭기(1)의 위치 및 회전 각도를 분석할 수 있다. 구체적으로, 굴삭기(1)의 위치는 기준좌표분석부(200)에서 획득한 기준좌표에 의해 특정될 수 있으며, 굴삭기(1)의 회전은 기준좌표에 대한 3차원 GNSS 좌표 값를 이용하거나, 또는, 버켓(11)의 위치 변화를 이용하여 연산될 수 있다. 나머지 상세한 사항은 상기된 사항과 동일하다.
이하, 본 발명의 운전자 보조시스템을 이용한 굴삭기 제어 방법에 대해 설명하기로 한다.
먼저, 제1단계에서, 굴삭기(1)의 운전자의 동작에 의해 작업위치지시부(420)의 레이저가 조사되어 작업 위치가 지시될 수 있다. 그리고, 제2단계에서, 작업위치촬상부(430)가 작업 위치와 주위 지형에 대한 3차원 이미지인 지형이미지를 획득하고, 작업위치지시부(420)에 의한 레이저 조사 위치를 획득하여 작업 위치가 확정될 수 있다. 다음으로, 버켓위치확인모듈이 버켓포인트(11a)의 위치를 측정하여 버켓포인트(11a)의 3차원 좌표 값이 확정될 수 있다. 그 후, 제3단계에서, 버켓위치확인모듈이 버켓포인트(11a)의 위치를 측정하여 버켓포인트(11a)의 3차원 좌표 값이 확정될 수 있다. 여기서, 버켓포인트(11a)의 3차원 좌표 값은, 3차원 GNSS 좌표 값일 수 있다.
다음으로, 제4단계에서, 통합제어부(300)가 작업위치지시부(420)의 지시 위치와 버켓포인트(11a)의 위치 및 지형이미지를 분석하여 버켓(11)의 이동 경로를 확정하고, 버켓(11)의 이동을 위한 제어 신호를 생성할 수 있다. 그리고, 제5단계에서, 통합제어부(300)의 제어 신호가 굴삭기(1)의 본체(40), 붐 실린더(32), 암 실린더(22) 또는 버켓 실린더(12)로 전달되어, 굴삭기(1)의 자동 제어가 수행될 수 있다. 나머지 상세한 사항은 상기된 사항과 동일하다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
1 : 굴삭기 11 : 버켓
11a : 버켓포인트 12 : 버켓 실린더
21 : 암 22 : 암 실린더
31 : 붐 32 : 붐 실린더
40 : 본체 41 : 캐빈
100 : 촬상분석부 110 : 3차원카메라
120 : 촬상분석기 200 : 기준좌표분석부
300 : 통합제어부 410 : 착용부
411 : 결착체 420 : 작업위치지시부
430 : 작업위치촬상부

Claims (7)

  1. 본체, 붐, 암 및 버켓을 포함하는 굴삭기의 버켓 위치 확인 시스템에 있어서,
    상기 본체와 결합하고, 상기 버켓과 상기 버켓 주위의 이미지를 3차원으로 인식하며, 상기 버켓 상 설정된 임의의 포인트인 버켓포인트에 대한 3차원 측정 값인 버켓위치를 획득하는 촬상분석부;
    상기 본체와 결합하고, GNSS 신호를 수신하여 상기 촬상분석부의 3차원 GNSS 좌표 값인 기준좌표를 분석하는 기준좌표분석부; 및
    상기 본체와 결합하고, 상기 촬상분석부로부터 전달 받은 상기 버켓위치와 상기 기준좌표분석부로부터 전달 받은 상기 기준좌표를 분석하여 상기 버켓포인트의 3차원 GNSS 좌표 값을 생성하는 통합제어부;를 포함하는 것을 특징으로 하는 굴삭기의 버켓 위치 확인 시스템.
  2. 청구항 1에 있어서,
    상기 촬상분석부는,
    상기 버켓과 상기 버켓 주위의 이미지를 3차원으로 인식하여 3차원이미지를 생성하는 3차원카메라, 및
    상기 3차원카메라로부터 전달 받은 상기 3차원이미지를 분석하여 상기 버켓위치를 분석하는 촬상분석기,를 구비하는 것을 특징으로 하는 굴삭기의 버켓 위치 확인 시스템.
  3. 청구항 2에 있어서,
    상기 촬상분석기는, 상기 3차원이미지로부터 상기 버켓의 이미지를 분리시키고, 분리된 상기 버켓의 이미지를 단순화시키는 것을 특징으로 하는 굴삭기의 버켓 위치 확인 시스템.
  4. 청구항 2에 있어서,
    상기 버켓위치는, 상기 3차원카메라로부터 상기 버켓포인트까지의 3차원 거리, 방향 및 각도인 것을 특징으로 하는 굴삭기의 버켓 위치 확인 시스템.
  5. 청구항 1에 있어서,
    상기 버켓의 실시간 위치를 표시하는 디스플레이부를 더 포함하는 것을 특징으로 하는 굴삭기의 버켓 위치 확인 시스템.
  6. 청구항 2의 굴삭기의 버켓 위치 확인 시스템을 이용한 버켓 위치 확인 방법에 있어서,
    상기 촬상분석부의 3차원카메라가 상기 버켓과 상기 버켓 주위의 이미지를 촬상하는 제1단계;
    상기 촬상분석부의 촬상분석기가 상기 3차원이미지로부터 상기 버켓의 이미지를 분리시키고, 분리된 상기 버켓의 이미지를 단순화시키는 제2단계;
    상기 촬상분석부가 상기 버켓위치를 획득하는 제3단계;
    상기 기준좌표분석부가 GNSS 신호를 수신하여 상기 기준좌표를 분석 획득하는 제4단계; 및
    상기 통합제어부가 상기 버켓위치와 상기 기준좌표를 분석하여 상기 버켓포인트의 3차원 GNSS 좌표 값을 생성하는 제5단계;를 포함하는 것을 특징으로 하는 버켓 위치 확인 방법.
  7. 청구항 6에 있어서,
    상기 통합제어부가 상기 굴삭기의 위치 및 회전 각도를 분석하는 제6단계를 더 포함하는 것을 특징으로 하는 버켓 위치 확인 방법.
KR1020190156373A 2019-11-29 2019-11-29 굴삭기의 버켓 위치 확인 시스템 이를 이용한 버켓 위치 확인 방법 KR102415420B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190156373A KR102415420B1 (ko) 2019-11-29 2019-11-29 굴삭기의 버켓 위치 확인 시스템 이를 이용한 버켓 위치 확인 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190156373A KR102415420B1 (ko) 2019-11-29 2019-11-29 굴삭기의 버켓 위치 확인 시스템 이를 이용한 버켓 위치 확인 방법

Publications (2)

Publication Number Publication Date
KR20210068174A true KR20210068174A (ko) 2021-06-09
KR102415420B1 KR102415420B1 (ko) 2022-07-04

Family

ID=76415251

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190156373A KR102415420B1 (ko) 2019-11-29 2019-11-29 굴삭기의 버켓 위치 확인 시스템 이를 이용한 버켓 위치 확인 방법

Country Status (1)

Country Link
KR (1) KR102415420B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009287298A (ja) * 2008-05-30 2009-12-10 Meidensha Corp 建設機械の刃先位置計測装置
JP2013036243A (ja) * 2011-08-09 2013-02-21 Topcon Corp 建設機械制御システム
KR20140101474A (ko) 2013-02-08 2014-08-20 임승선 굴삭기 버켓의 이동경로 추적제어시스템과 추적제어방법
KR20170107076A (ko) * 2015-03-05 2017-09-22 가부시키가이샤 고마쓰 세이사쿠쇼 작업 기계의 화상 표시 시스템, 작업 기계의 원격 조작 시스템 및 작업 기계
KR20180115756A (ko) * 2016-05-31 2018-10-23 가부시키가이샤 고마쓰 세이사쿠쇼 형상 계측 시스템, 작업 기계 및 형상 계측 방법
JP2019173352A (ja) * 2018-03-28 2019-10-10 コベルコ建機株式会社 建設機械
JP2019203291A (ja) * 2018-05-22 2019-11-28 株式会社小松製作所 油圧ショベル、およびシステム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009287298A (ja) * 2008-05-30 2009-12-10 Meidensha Corp 建設機械の刃先位置計測装置
JP2013036243A (ja) * 2011-08-09 2013-02-21 Topcon Corp 建設機械制御システム
KR20140101474A (ko) 2013-02-08 2014-08-20 임승선 굴삭기 버켓의 이동경로 추적제어시스템과 추적제어방법
KR20170107076A (ko) * 2015-03-05 2017-09-22 가부시키가이샤 고마쓰 세이사쿠쇼 작업 기계의 화상 표시 시스템, 작업 기계의 원격 조작 시스템 및 작업 기계
KR20180115756A (ko) * 2016-05-31 2018-10-23 가부시키가이샤 고마쓰 세이사쿠쇼 형상 계측 시스템, 작업 기계 및 형상 계측 방법
JP2019173352A (ja) * 2018-03-28 2019-10-10 コベルコ建機株式会社 建設機械
JP2019203291A (ja) * 2018-05-22 2019-11-28 株式会社小松製作所 油圧ショベル、およびシステム

Also Published As

Publication number Publication date
KR102415420B1 (ko) 2022-07-04

Similar Documents

Publication Publication Date Title
US9481982B1 (en) Method and control system for surveying and mapping a terrain while operating a bulldozer
JP5227139B2 (ja) 建設機械
CN107402000B (zh) 用于将显示装置相对于测量仪器相互关联的方法和系统
US8655022B2 (en) System and method for detecting position of underwater vehicle
US9482754B2 (en) Detection apparatus, detection method and manipulator
WO2016047807A1 (ja) 校正システム、作業機械及び校正方法
Chen et al. Indoor localization algorithms for a human-operated backpack system
CN104380137A (zh) 通过图像辅助的角度确定功能来间接测距的方法和手持测距设备
KR102606049B1 (ko) 건설 기계
CN104067111A (zh) 用于跟踪和监测目标对象上的差异的自动化系统和方法
US11977378B2 (en) Virtual path guidance system
US20220227000A1 (en) Geometrically appropriate tool selection assistance for determined work site dimensions
KR20170112999A (ko) 교정 시스템, 작업 기계 및 교정 방법
US10893190B2 (en) Tracking image collection for digital capture of environments, and associated systems and methods
KR102231510B1 (ko) 작업기의 외형 형상 측정 시스템, 작업기의 외형 형상 표시 시스템, 작업기의 제어 시스템 및 작업 기계
KR102417984B1 (ko) 굴삭기의 운전자 보조시스템 및 이를 이용한 굴삭기 제어 방법
KR101833795B1 (ko) 왜곡된 항공영상의 정사영상 처리 장치
JP2011013803A (ja) 周囲形状検出装置、自律移動装置、移動体の操縦補助装置、周囲形状検出方法、自律移動装置の制御方法及び移動体の操縦補助方法
CN109313263A (zh) 用于运行激光距离测量仪的方法
JP4436632B2 (ja) 位置誤差補正機能を持つ測量システム
CN107923744A (zh) 基于点云的表面施工
US20180101956A1 (en) Machine control measurements device
KR102415420B1 (ko) 굴삭기의 버켓 위치 확인 시스템 이를 이용한 버켓 위치 확인 방법
JP2017193958A (ja) 校正システム、作業機械及び校正方法
US20230291989A1 (en) Display control device and display method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant