KR20200092854A - 굴착기의 굴착 제어 방법 및 장치 - Google Patents

굴착기의 굴착 제어 방법 및 장치 Download PDF

Info

Publication number
KR20200092854A
KR20200092854A KR1020190141605A KR20190141605A KR20200092854A KR 20200092854 A KR20200092854 A KR 20200092854A KR 1020190141605 A KR1020190141605 A KR 1020190141605A KR 20190141605 A KR20190141605 A KR 20190141605A KR 20200092854 A KR20200092854 A KR 20200092854A
Authority
KR
South Korea
Prior art keywords
excavation
target
excavator
trajectory
point
Prior art date
Application number
KR1020190141605A
Other languages
English (en)
Other versions
KR102454694B1 (ko
Inventor
신징 청
루이강 양
야주에 양
페이샹 루
하오 수
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20200092854A publication Critical patent/KR20200092854A/ko
Application granted granted Critical
Publication of KR102454694B1 publication Critical patent/KR102454694B1/ko

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2054—Fleet management
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E02F9/265—Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 실시예는 굴착기의 굴착 제어 방법 및 장치를 개시한다. 상기 방법의 실시를 위한 형태는 재료 파일의 2차원 이미지를 획득하는 단계; 2차원 이미지에 기반하여 재료 파일의 3차원 모델을 생성하는 단계; 3차원 모델을 분석하여 재료 파일의 타겟 굴착점 및 타겟 굴착 궤적을 확정하는 단계; 및 굴착기가 타겟 굴착 궤적을 따라 타겟 굴착점 위치의 재료를 굴착하도록 제어하는 단계를 포함한다. 상기 실시형태는 타겟 굴착점 및 타겟 굴착 궤적에 기반하여 굴착기의 굴착 과정을 제어함으로써, 굴착기의 자율식 굴착을 구현하여 인건비를 절감할 뿐만 아니라 경제적 효과성도 향상시킨다.

Description

굴착기의 굴착 제어 방법 및 장치{METHOD AND APPARATUS FOR CONTROLLING EXCAVATOR TO EXCAVATE}
본 발명의 실시예는 굴착 기술분야에 관한 것으로, 구체적으로는 굴착기의 굴착 제어 방법 및 장치에 관한 것이다.
굴삭기로도 불리우는 굴착기는, 일반적으로 버킷을 사용하여 굴착기 지지면보다 높거나 낮은 재료를 굴착하고 운송 차량에 적재하거나 스톡 야드의 토공 기계에 언로딩한다. 현재 굴착기는 주로 운전자의 수동 조작에 의존하나, 굴착기의 경제적 효과를 향상시키기 위해서는 사람, 기계 및 일터를 정하고 직책을 명확히 하여야 한다.
그러나, 굴착기 조작은 특종 작업에 속하므로 특종 작업 조작 허가증을 보유한 운전자만이 굴착기를 운전할 수 있다. 따라서 굴착기 운전 작업 능력을 구비한 운전자 수의 제한을 받게 되므로 굴착기의 유휴 상태가 불가피하게 초래되어 경제적 효과성이 크게 저하된다.
본 발명의 실시예는 굴착기의 굴착 제어 방법 및 장치를 제시한다.
제1 양태에 따르면, 본 발명의 실시예는 재료 파일의 2차원 이미지를 획득하는 단계; 2차원 이미지에 기반하여 재료 파일의 3차원 모델을 생성하는 단계; 3차원 모델을 분석하여 재료 파일의 타겟 굴착점 및 타겟 굴착 궤적을 확정하는 단계; 굴착기가 타겟 굴착 궤적을 따라 타겟 굴착점 위치의 재료를 굴착하도록 제어하는 단계를 포함하는 굴착기의 굴착 제어 방법을 제공한다.
일부 실시예에서, 굴착기의 몸체 측면에는, 몸체가 회전하여 버킷 내의 재료를 언로딩하는 동안 2차원 이미지를 촬영하는 카메라가 장착된다.
일부 실시예에서, 카메라는 양안 카메라이고, 2차원 이미지는 양안 이미지이며, 2차원 이미지에 기반하여 재료 파일의 3차원 모델을 생성하는 단계는, 양안 이미지에 대해 이미지 매칭을 수행하여 양안 이미지의 디스패리티 맵을 획득하는 단계; 디스패리티 맵에 기반하여 재료 파일의 깊이 맵을 생성하는 단계; 및 깊이 맵에 대해 3차원 재구성을 수행하여 재료 파일의 3차원 모델을 획득하는 단계를 포함한다.
일부 실시예에서, 3차원 모델을 분석하여 재료 파일의 타겟 굴착점 및 타겟 굴착 궤적을 확정하는 단계는, 3차원 모델을 이산화하여 굴착점 집합을 얻는 단계; 굴착점 집합 내의 굴착점의 굴착 궤적 집합을 획득하는 단계; 굴착점 집합 내의 굴착점의 굴착 궤적 집합에 기반하여 후보 굴착점 집합을 선택하는 단계; 후보 굴착점 집합 내의 후보 굴착점의 재료 부피를 획득하는 단계; 및 후보 굴착점 집합 내의 후보 굴착점의 재료 부피에 기반하여 타겟 굴착점 및 타겟 굴착 궤적을 선택하는 단계를 포함한다.
일부 실시예에서, 굴착기가 타겟 굴착 궤적을 따라 타겟 굴착점 위치의 재료를 굴착하도록 제어하는 단계는, 굴착기의 베이스 및 굴착 암이 타겟 굴착 궤적을 따라 타겟 굴착점 위치의 재료에 대해 굴착시 타겟 각도 시퀀스를 확정하는 단계; 및 타겟 각도 시퀀스에 기반하여 베이스 및 굴착 암의 회전 각도 및 변위를 제어하고, 굴착기의 베이스 각도 센서 및 굴착 암 센서로부터 베이스 및 굴착 암의 현재 각도를 실시간으로 획득하며, 베이스 및 굴착 암이 타겟 굴착 궤적을 따라 타겟 굴착점 위치의 재료를 굴착하도록 타겟 각도 시퀀스 내의 현재 타겟 각도와 현재 각도의 차이값 크기 및 플러스 마이너스에 기반하여 폐쇄 루프 제어를 수행하는 단계를 포함한다.
제2 양태에 따르면, 본 발명의 실시예는 재료 파일의 2차원 이미지를 획득하는 획득 유닛; 2차원 이미지에 기반하여 재료 파일의 3차원 모델을 생성하는 생성 유닛; 3차원 모델을 분석하여 재료 파일의 타겟 굴착점 및 타겟 굴착 궤적을 확정하는 확정 유닛; 및 굴착기가 타겟 굴착 궤적을 따라 타겟 굴착점 위치의 재료를 굴착하도록 제어하는 제어 유닛을 포함하는 굴착기의 굴착 제어 장치를 제공한다.
일부 실시예에서, 굴착기의 몸체 측면에는 몸체가 회전하여 버킷 내의 재료를 언로딩하는 동안 2차원 이미지를 촬영하는 카메라가 장착된다.
일부 실시예에서, 카메라는 양안 카메라이고, 2차원 이미지는 양안 이미지이며, 생성 유닛은, 양안 이미지에 대해 이미지 매칭을 수행하여 양안 이미지의 디스패리티 맵을 획득하는 매칭 서브 유닛; 디스패리티 맵에 기반하여 재료 파일의 깊이 맵을 생성하는 생성 서브 유닛; 및 깊이 맵에 대해 3차원 재구성을 수행하여 재료 파일의 3차원 모델을 획득하는 재구성 서브 유닛을 포함한다.
일부 실시예에서, 확정 유닛은, 3차원 모델을 이산화하여 굴착점 집합을 얻는 이산화 서브 유닛; 굴착점 집합 내의 굴착점의 굴착 궤적 집합을 획득하는 제1 획득 서브 유닛; 굴착점 집합 내의 굴착점의 굴착 궤적 집합에 기반하여 후보 굴착점 집합을 선택하는 제1 선택 서브 유닛; 후보 굴착점 집합 내의 후보 굴착점의 재료 부피를 획득하는 제2 획득 서브 유닛; 및 후보 굴착점 집합 내의 후보 굴착점의 재료 부피에 기반하여 타겟 굴착점 및 타겟 굴착 궤적을 선택하는 제2 선택 서브 유닛을 포함한다.
일부 실시예에서, 제어 유닛은, 굴착기의 베이스 및 굴착 암이 타겟 굴착 궤적을 따라 타겟 굴착점 위치의 재료에 대해 굴착시 타겟 각도 시퀀스를 확정하는 확정 서브 유닛; 및 타겟 각도 시퀀스에 기반하여 베이스 및 굴착 암의 회전 각도 및 변위를 제어하고, 굴착기의 베이스 각도 센서 및 굴착 암 센서로부터 베이스 및 굴착 암의 현재 각도를 실시간으로 획득하며, 베이스 및 굴착 암이 타겟 굴착 궤적을 따라 타겟 굴착점 위치의 재료를 굴착하도록 타겟 각도 시퀀스 내의 현재 타겟 각도와 현재 각도의 차이값 크기 및 플러스 마이너스에 기반하여 폐쇄 루프 제어를 수행하는 제어 서브 유닛을 포함한다.
제3 양태에 따르면, 본 발명의 실시예는 하나 또는 복수의 프로세서; 및 하나 또는 복수의 프로그램이 저장된 저장 장치를 포함하는 전자 기기에 있어서, 하나 또는 복수의 프로그램이 하나 또는 복수의 프로세서에 의해 실행될 경우, 하나 또는 복수의 프로세서가 제1 양태 중 어느 구현 방식에 설명된 굴착기의 굴착 제어 방법을 구현하도록 하는 전자 기기를 제공한다.
제4 양태에 따르면, 본 발명의 실시예는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 매체에 있어서, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우, 제1 양태 중 어느 구현 방식에 설명된 굴착기의 굴착 제어 방법을 구현하는 컴퓨터 판독 가능 매체를 제공한다.
본 발명의 실시예에 의해 제공되는 굴착기의 굴착 제어 방법 및 장치는 우선 획득된 재료 파일의 양안 이미지에 기반하여 재료 파일의 3차원 모델을 생성하고; 다음 재료 파일의 3차원 모델을 분석하여 재료 파일의 타겟 굴착점 및 타겟 굴착 궤적을 확정하며; 마지막으로 굴착기가 타겟 굴착 궤적을 따라 타겟 굴착점 위치의 재료를 굴착하도록 제어한다. 타겟 굴착점 및 타겟 굴착 궤적에 기반하여 굴착기를 제어함으로써, 굴착기의 자율식 굴착을 구현하여 인건비를 절감할 뿐만 아니라 경제적 효과성도 향상시킨다.
아래 첨부 도면에 도시된 비 제한적인 실시예의 상세한 설명에 대한 열독 및 참조를 통해 본 발명의 다른 특징, 목적 및 이점이 보다 명백해질 것이다.
도 1은 본 발명이 적용 가능한 예시적인 시스템 아키텍처이다.
도 2는 본 발명에 따른 굴착기의 굴착 제어 방법의 일 실시예의 흐름도이다.
도 3은 이산화된 3차원 모델의 모식도이다.
도 4는 굴착 궤적의 모식도이다.
도 5는 본 발명에 따른 굴착기의 굴착 제어 방법의 다른 실시예의 흐름도이다.
도 6은 도 5에 의해 제공되는 굴착기의 굴착 제어 방법의 하나의 응용 상황의 모식도이다.
도 7은 본 발명에 따른 굴착기의 굴착 제어 장치의 일 실시예의 구조 모식도이다.
도 8은 본 발명 실시예의 전자 기기를 구현하기에 적합한 컴퓨터 시스템의 구조 모식도이다.
이하 첨부 도면 및 실시예를 결부시켜 본 발명을 더욱 자세히 설명한다. 여기서 설명되는 구체적인 실시예는 관련 발명을 해석하기 위한 것일뿐 본 발명은 이에 한정되지 않음을 이해할 수 있을 것이다. 이 밖에, 설명의 편의를 위해 도면에는 해당 발명과 관련된 부분만이 도시되었음을 유의해야 한다.
충돌되지 않는 한 본 발명의 실시예 및 실시예의 특징은 서로 결합될 수 있음을 유의해야 한다. 이하 첨부 도면을 참조하고 실시예를 결부시켜 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 굴착기의 굴착 제어 방법 또는 굴착기의 굴착 제어 장치를 적용 가능한 실시예의 예시적인 시스템 아키텍처(100)이다.
도 1에 도시된 바와 같이, 시스템 아키텍처(100)에는 카메라(101), 네트워크(102) 및 서버(103)가 포함될 수 있다. 네트워크(102)는 카메라(101)와 서버(103) 사이에서 통신 링크를 제공하는 매체에 사용된다. 네트워크(102)는 예를 들어, 유선, 무선 통신 링크 또는 광섬유 케이블 등 다양한 연결 타입을 포함할 수 있다.
카메라(101)는 무인 자율식 굴착기에 장착되는 카메라일 수 있다. 상기 카메라는 무인 자율식 굴착기가 굴착할 재료 파일의 2차원 이미지를 촬영할 수 있다. 일반적으로, 카메라(101)는 무인 자율식 굴착기의 몸체 측면에 장착되는 양안 카메라일 수 있다. 양안 카메라는 몸체가 회전하여 버킷 내의 재료를 언로딩하는 동안 재료 파일의 양안 이미지를 촬영할 수 있다.
서버(103)는 예를 들어, 무인 자율식 굴착기의 백엔드 서버와 같은 다양한 서비스를 제공하는 서버일 수 있다. 무인 자율식 굴착기의 백엔드 서버는 카메라(101)로부터 획득된 재료 파일의 2차원 이미지 등 데이터에 대해 분석 등 처리를 수행하고 처리 결과(예를 들어, 타겟 굴착점 및 타겟 굴착 궤적)에 따라 굴착기의 굴착을 제어할 수 있다.
서버(103)는 하드웨어 또는 소프트웨어일 수 있음에 유의해야 한다. 서버(103)가 하드웨어인 경우, 복수의 서버로 구성된 분산식 서버 클러스터로 구현되거나 단일 서버로 구현될 수 있다. 서버(103)가 소프트웨어인 경우, 복수의 소프트웨어 또는 소프트웨어 모듈로 구현되거나(예를 들어, 분산식 서비스를 제공하기 위해), 단일 소프트웨어 또는 소프트웨어 모듈로 구현될 수 있으며 여기서 구체적으로 한정하지 않는다.
본 발명의 실시예에 의해 제공되는 굴착기의 굴착 제어 방법은 일반적으로 서버(103)에 의해 수행된다는 점에 유의해야 한다. 대응되게, 굴착기의 굴착 제어 장치는 일반적으로 서버(103)에 설치된다.
도 1의 카메라, 네트워크 및 서버의 개수는 단지 예시적인 것일 뿐 구현 요구에 따라 임의의 개수의 카메라, 네트워크 및 서버가 구비될 수 있음을 이해해야 한다.
도 2를 계속 참조하면, 도 2는 본 발명에 따른 굴착기의 굴착 제어 방법의 일 실시예의 흐름(200)을 도시한다. 상기 굴착기의 굴착 제어 방법은 하기와 같은 단계를 포함한다.
단계 (201)에서, 재료 파일의 2차원 이미지를 획득한다.
본 실시예에서, 굴착기의 굴착 제어 방법의 수행주체(예를 들어, 도 1에 도시된 서버(103))는 유선 연결 방식 또는 무선 연결 방식을 통해 무인 자율식 굴착기에 장착된 카메라(예를 들어, 도 1에 도시된 카메라(101))로부터 재료 파일의 2차원 이미지를 획득할 수 있다. 여기서, 재료 파일은 재료 파일이 함께 놓여 형성된 것일 수 있으며, 재료는 주로 토양, 석탄, 토사 및 사전 루징을 거친 토양 및 암석 등이다.
일반적으로, 무인 자율식 굴착기에는 재료 파일의 2차원 이미지를 수집하기 위한 카메라가 장착될 수 있다. 무인 자율식 굴착기의 굴착 암에 의해 재료 파일을 촬영하는 카메라가 가려지지 않도록, 카메라를 무인 자율식 굴착기의 몸체 측면에 장착할 수 있다. 몸체가 회전하여 버킷 내의 재료를 언로딩하는 동안, 몸체 측면에 장착된 카메라는 재료 파일과 마주한다. 이 때, 카메라를 켜고 재료 파일을 촬영할 수 있다.
단계 (202)에서, 2차원 이미지에 기반하여 재료 파일의 3차원 모델을 생성한다.
본 실시예에서, 상기 수행주체는 2차원 이미지를 분석하고 분석 결과에 기반하여 재료 파일의 3차원 모델을 생성할 수 있다.
본 실시예의 일부 선택 가능한 실시형태에서, 몸체가 회전하여 버킷 내의 재료를 언로딩하는 동안, 카메라는 재료 파일의 다각도의 2차원 이미지를 촬영할 수 있다. 이에 따라, 상기 수행주체는 재료 파일의 3차원 모델을 얻기 위해 다각도 2차원 이미지를 이용하여 3차원 재구성을 수행할 수 있다.
본 실시예의 일부 선택 가능한 실시형태에서, 굴착기의 몸체 측면에 장착된 카메라는 양안 카메라일 수 있다. 따라서, 몸체가 회전하여 버킷 내의 재료를 언로딩하는 동안 양안 카메라에 의해 촬영된 재료 파일의 2차원 이미지는 양안 이미지일 수 있다. 양안 이미지는 양안 카메라가 동물의 양안 작동 메커니즘을 모방하여 촬영한 것이므로 각 양안 이미지 그룹 사이에는 일정한 정도의 수평 시차가 존재한다. 이에 따라, 상기 수행주체는 수평 시차에 따라 재료 파일과 양안 카메라 사이의 거리를 확정하여 재료 파일의 깊이 맵을 얻을 수 있다. 이어서, 상기 수행주체는 3차원 재구성 알고리즘을 이용하여 재료 파일의 깊이 맵에 대해 3차원 재구성을 수행함으로써 재료 파일의 3차원 모델을 획득할 수 있다. 예를 들어, 상기 수행주체는 우선 양안 이미지에 대해 이미지 매칭을 수행하여 양안 이미지의 디스패리티 맵을 얻고, 그 후 디스패리티 맵에 기반하여 재료 파일의 깊이 맵을 확정하며, 마지막으로 Kinect Fusion 알고리즘을 이용하여 깊이 맵에 대해 3차원 재구성을 수행하여 재료 파일의 3차원 모델을 얻을 수 있다.
단계 (203)에서, 3차원 모델을 분석하여 재료 파일의 타겟 굴착점 및 타겟 굴착 궤적을 확정한다.
본 실시예에서, 상기 수행주체는 재료 파일의 3차원 모델을 분석하고 분석 결과에 따라 재료 파일의 타겟 굴착점 및 타겟 굴착 궤적을 확정할 수 있다.
일반적으로, 상기 수행주체는 굴착점 집합을 얻기 위해 재료 파일의 3차원 모델을 이산화할 수 있다. 예를 들어, 상기 수행주체는 재료 파일의 3차원 모델의 높이에 대해 메쉬 이산화를 수행하여 복수의 메쉬를 얻을 수 있다. 여기서, 하나의 메쉬는 하나의 굴착점에 대응된다. 선택 가능하게, 높이 맵을 이산화하는 방법은 등고선 이산화 방법일 수 있다. 도 3은 이산화된 3차원 모델의 모식도를 도시한다. 도 3에서, 등고선 이산화 방법은 재료 파일의 3차원 모델을 28개의 메쉬로 이산화하고 아래로부터 위로, 왼쪽에서부터 오른쪽으로의 순서로 순차적으로 상기 28개의 메쉬를 라벨링한다.
실천 과정에서, 굴착 궤적은 삽입, 드래그, 회전, 리프트 이 네 부분으로 분해될 수 있다. 대응되게, 전체 굴착 궤적은 4개의 파라미터 즉 d1(삽입 깊이), d2(드래그 길이), r(회전 반경) 및 d3(리프트 높이)에 의해 부각될 수 있다. 도 4는 굴착 궤적의 모식도를 도시한다. 도 4에서, 굴착 궤적은 분해된 4개의 부분 및 4개의 파라미터에 의해 굴착 궤적에 마크업된다.
4개의 파라미터가 각자의 값 범위를 가지므로 값 범위 내에 속하는 4개의 파라미터를 임의로 조합하여 복수의 굴착 궤적, 즉 굴착 궤적 집합을 얻을 수 있다.
여기서, 상기 수행주체는 굴착점 집합 내의 각 굴착점의 굴착 궤적 집합을 분석하고, 분석 결과에 기반하여 타겟 굴착점을 선택할 수 있다. 일반적으로, 장애물 또는 무인 자율식 굴착기의 기계적 구조의 제한으로 인해 모든 굴착 궤적이 모두 가능한 것은 아니다. 따라서, 굴착 궤적 집합 중 가능한 굴착 궤적이 존재하는 굴착점은 타겟 굴착점이고, 가능한 굴착 궤적은 타겟 굴착 궤적일 수 있다.
단계 (204)에서, 굴착기가 타겟 굴착 궤적을 따라 타겟 굴착점 위치의 재료를 굴착하도록 제어한다.
본 실시예에서, 상기 수행주체는 무인 자율식 굴착기가 타겟 굴착 궤적을 따라 타겟 굴착점 위치의 재료에 대해 자율식 굴착을 수행하도록, 타겟 굴착점 및 타겟 굴착 궤적에 기반하여 무인 자율식 굴착기의 복수의 기기(예를 들어, 베이스 및 굴착 암)에 제어 명령을 발송할 수 있다.
본 발명의 실시예에 의해 제공되는 굴착기의 굴착 제어 방법은, 우선 획득된 재료 파일의 2차원 이미지에 기반하여 재료 파일의 3차원 모델을 생성하고, 다음 재료 파일의 3차원 모델을 분석하여 재료 파일의 타겟 굴착점 및 타겟 굴착 궤적을 확정하며, 마지막으로 굴착기가 타겟 굴착 궤적을 따라 타겟 굴착점 위치의 재료를 굴착하도록 제어한다. 타겟 굴착점 및 타겟 굴착 궤적에 기반하여 굴착기의 굴착 과정을 제어함으로써, 굴착기의 자율식 굴착을 구현하여 인건비를 절감할 뿐만 아니라 경제적 효과성도 향상시킨다.
도 5를 추가로 참조하면, 도 5는 본 발명에 따른 굴착기의 굴착 제어 방법의 다른 실시예의 흐름(500)을 도시한다. 상기 굴착기의 굴착 제어 방법은 하기와 같은 단계를 포함한다.
단계 (501)에서, 재료 파일의 2차원 이미지를 획득한다.
단계 (502)에서, 2차원 이미지에 기반하여 재료 파일의 3차원 모델을 생성한다.
본 실시예에서, 단계 (501 - 502)의 구체적인 조작은 이미 도 2에 도시된 실시예의 단계 (201 - 202)에서 자세히 설명하였으므로, 여기서 더 이상 반복하여 설명하지 않는다.
단계 (503)에서, 3차원 모델을 이산화하여 굴착점 집합을 얻는다.
본 실시예에서, 굴착기의 굴착 제어 방법의 수행주체(예를 들어, 도 1에 도시된 서버(103))는 굴착점 집합을 얻기 위해 재료 파일의 3차원 모델을 이산화할 수 있다. 일반적으로, 상기 수행주체는 등고선 이산화 방법을 이용하여 재료 파일의 3차원 모델을 메쉬 이산화하여 복수의 메쉬를 얻을 수 있다. 여기서, 하나의 메쉬는 하나의 굴착점에 대응된다.
단계 (504)에서, 굴착점 집합 내의 굴착점의 굴착 궤적 집합을 획득한다.
본 실시예에서, 굴착점 집합 내의 각 굴착점에 대해, 상기 수행주체는 우선 상기 굴착점의 굴착 궤적 집합을 획득할 수 있다. 실천 과정에서, 굴착 궤적은 삽입, 드래그, 회전, 리프트 이 4개 부분으로 분해될 수 있다. 대응되게, 전체 굴착 궤적은 4개의 파라미터 즉 d1, d2, r 및 d3에 의해 부각될 수 있다. 4개의 파라미터가 각자의 값 범위를 가지므로, 값 범위 내에 속하는 4개의 파라미터를 임의로 조합하여 복수의 굴착 궤적, 즉 굴착 궤적 집합을 얻을 수 있다.
단계 (505)에서, 굴착점 집합 내의 굴착점의 굴착 궤적 집합에 기반하여 후보 굴착점 집합을 선택한다.
본 실시예에서, 굴착점 집합 내의 각 굴착점에 대해, 상기 수행주체는 상기 굴착점의 굴착 궤적 집합을 분석하고, 분석 결과에 기반하여 상기 굴착점이 후보 굴착점인지 여부를 확정할 수 있다. 일반적으로, 장애물 또는 무인 자율식 굴착기의 기계적 구조의 제한으로 인해 모든 굴착 궤적이 모두 가능한 것은 아니다. 따라서, 굴착 궤적 집합 중 가능한 굴착 궤적이 존재하는 굴착점은 후보 굴착점이고, 굴착 궤적 집합 중 가능한 굴착 궤적이 존재하지 않는 굴착점은 후보 굴착점이 아니다.
본 실시예의 일부 선택 가능한 실시형태에서, 상기 수행주체는 상기 굴착점의 굴착 궤적 집합 내에 굴착기의 버킷이 이동 과정에서 장애물과 충돌되지 않고 또한 굴착 저항력이 굴착기의 굴착 동력보다 크지 않은 굴착 궤적이 존재하는지 여부를 확정할 수 있다. 존재하는 경우, 상기 굴착점을 후보 굴착점으로 후보 굴착점 집합에 추가하고, 확정된 굴착 궤적을 후보 굴착 궤적으로 상기 후보 굴착점의 후보 굴착 궤적 집합에 추가한다. 일반적으로, 굴착기의 버킷이 이동 과정에서 장애물과 충돌되지 않으며 또한 굴착 저항력이 굴착기의 굴착 동력보다 크지 않은 굴착 궤적은 가능한 굴착 궤적이다. 굴착기의 버킷이 이동 과정에서 장애물과 충돌하거나, 또는 굴착 저항력이 굴착기의 굴착 동력보다 큰 굴착 궤적은 가능한 굴착 궤적이 아니다. 이 경우, 후보 굴착점의 후보 굴착 궤적 집합 내의 후보 굴착 궤적은 모두 가능한 굴착 궤적이다.
단계 (506)에서, 후보 굴착점 집합 내의 후보 굴착점의 재료 부피를 획득한다.
본 실시예에서, 후보 굴착점 집합 내의 각 후보 굴착점에 대해, 상기 수행주체는 상기 후보 굴착점의 재료 부피를 얻기 위해 상기 후보 굴착점 위치의 재료를 분석할 수 있다. 구체적으로, 후보 굴착점 집합 내의 각 후보 굴착점에 대해, 상기 수행주체는 상기 후보 굴착점의 후보 굴착 궤적 집합 내의 후보 굴착 궤적의 파라미터에 기반하여, 상기 후보 굴착점의 재료 부피를 산출할 수 있다.
여기서, 굴착 궤적의 파라미터는 d1, d2, r 및 d3 을 포함할 수 있다. 각 후보 굴착 궤적은 하나의 파라미터 그룹을 구비하므로, 각 후보 굴착 궤적의 파라미터에 기반하여 하나의 재료 부피를 산출할 수 있다. 즉 각 후보 굴착 궤적은 하나의 재료 부피에 대응된다. 이 경우, 상기 후보 굴착점의 후보 굴착 궤적 집합 내의 각 후보 굴착 궤적에 대해, 상기 수행주체는 우선 굴착기 버킷의 폭, 상기 후보 굴착 궤적의 파라미터 내의 d1 및 d2 에 기반하여, 상기 후보 굴착 궤적에 대응되는 재료 부피를 산출하고, 다음 상기 후보 굴착점의 후보 굴착 궤적 집합 내의 후보 굴착 궤적에 대응되는 재료 부피에 기반하여, 상기 후보 굴착점의 재료 부피를 확정할 수 있다. 예를 들어, 상기 수행주체는 버킷의 폭, 상기 후보 굴착 궤적의 파라미터 내의 d1 및 d2 의 승적을 상기 후보 굴착 궤적에 대응되는 재료 부피로 사용할 수 있다. 이어서, 상기 수행주체는 후보 굴착 궤적 집합 내의 각 후보 굴착 궤적에 대응되는 재료 부피로부터 최대 재료 부피를 선택하여, 상기 후보 굴착점의 재료 부피로 사용할 수 있다.
단계 (507)에서, 후보 굴착점 집합 내의 후보 굴착점의 재료 부피에 기반하여 타겟 굴착점 및 타겟 굴착 궤적을 선택한다.
본 실시예에서, 후보 굴착점 집합 내의 각 후보 굴착점에 대해, 상기 수행주체는 상기 후보 굴착점이 타겟 굴착점인지 여부를 확정하기 위해 상기 후보 굴착점의 재료 부피를 분석할 수 있다. 상기 후보 굴착점이 타겟 굴착점인 경우, 상기 후보 굴착점의 후보 굴착 궤적 집합 내의 최대 재료 부피에 대응되는 후보 굴착 궤적은 타겟 굴착 궤적이다. 예를 들어, 상기 수행주체는 상기 후보 굴착점의 재료 부피와 기설정된 부피 임계치를 비교할 수 있다. 기설정된 부피 임계치보다 큰 경우, 상기 후보 굴착점을 타겟 굴착점으로 사용한다. 또한 예를 들어, 상기 수행주체는 후보 굴착점 집합으로부터 재료 부피가 최대인 후보 굴착점을 선택하여 타겟 굴착점으로 사용할 수 있다.
단계 (508)에서, 굴착기의 베이스 및 굴착 암이 타겟 굴착 궤적을 따라 타겟 굴착점 위치의 재료에 대해 굴착시 타겟 각도 시퀀스를 확정한다.
본 실시예에서, 상기 수행주체는 굴착기의 베이스 및 굴착 암 타겟 굴착 궤적을 따라 타겟 굴착점 위치의 재료에 대해 굴착시 타겟 각도 시퀀스를 확정하기 위해, 타겟 굴착 궤적을 분석할 수 있다. 여기서, 타겟 각도 시퀀스는 타겟 굴착 궤적 중 베이스 및 굴착 암의 각 표본점 위치의 타겟 각도를 포함할 수 있다. 일반적으로, 상기 수행주체는 타겟 굴착 궤적의 파라미터 내의 d1, d2, r 및 d3 에 따라 말단 위치의 포즈를 산출할 수 있다. 이어서, 역 운동학을 이용하여 타겟 굴착 궤적 중 베이스 및 굴착 암의 각 표본점 위치의 타겟 각도를 구하고 타겟 각도 시퀀스를 생성한다.
단계 (509)에서, 타겟 각도 시퀀스에 기반하여 베이스 및 굴착 암의 회전 각도 및 변위를 제어하고, 굴착기의 베이스 각도 센서 및 굴착 암 센서로부터 베이스 및 굴착 암의 현재 각도를 실시간으로 획득하며, 베이스 및 굴착 암이 타겟 굴착 궤적을 따라 타겟 굴착점 위치의 재료에 대해 굴착을 수행하도록, 타겟 각도 시퀀스 내의 현재 타겟 각도와 현재 각도의 차이값 크기 및 플러스 마이너스에 기반하여 폐쇄 루프 제어를 수행한다.
본 실시예에서, 타겟 각도 시퀀스 내의 현재 타겟 각도에 대해, 상기 수행주체는 현재 타겟 각도에 따라 베이스 및 굴착 암의 회전 각도 및 변위를 제어할 수 있다. 동시에, 상기 수행주체는 또한 베이스 각도 센서 및 굴착 암 센서로부터 베이스 및 굴착 암의 현재 각도를 실시간으로 획득할 수 있다. 일반적으로, 베이스 및 굴착 암의 현재 각도가 현재 타겟 각도와 동일하면, 이는 베이스 및 굴착 암이 타겟 굴착 궤적에서 벗어나지 않았음을 설명한다. 그러나, 실제 조작에서, 저항력의 영향으로 인해 베이스 및 굴착 암은 필연적으로 타겟 굴착 궤적에서 벗어나게 된다. 이 경우, 상기 수행주체는 베이스 및 굴착 암이 타겟 굴착 궤적을 따라 타겟 굴착점 위치의 재료에 대해 굴착을 수행하도록, 현재 타겟 각도와 현재 각도의 차이값 크기 및 플러스 마이너스에 기반하여 폐쇄 루프 제어를 수행할 수 있다. 이어서, 현재 타겟 각도의 다음 타겟 각도가 현재 타겟 각도로 되고 계속하여 상기 단계를 수행한다. 이는 상기 수행주체가 타겟 각도 시퀀스 내의 마지막 타겟 각도에 따라 폐쇄 루프 제어를 완료할 때까지 순환 반복된다. 이 경우, 베이스 및 굴착 암은 타겟 굴착 궤적을 따라 타겟 굴착점 위치의 재료에 대한 굴착을 완료한다.
여기서, 무인 자율식 굴착기는 상위 기기 및 하위 기기를 설치하여 굴착 과정에 대한 폐쇄 루프 제어를 구현할 수 있다. 상위 기기에는 컨트롤러로서 투스텝 제어 알고리즘을 설계할 수 있다. 투스텝 컨트롤러 즉 투스텝 기능을 구비한 컨트롤러는, 현재 타겟 각도와 현재 각도의 차이값 크기 및 플러스 마이너스에 따라 0 또는 1을 출력할 수 있다. 여기서, 0은 솔레노이드 밸브가 닫혀 있음을 의미하고, 1은 솔레노이드 밸브가 열려 있음을 의미한다. 동시에, 각 자유도는 시스템의 진동을 억제하기 위해 모두 대응되는 임계치를 설정한다. 하위 기기는 PCI(Peripheral Component Interconnect) 보드를 사용하여 센서 데이터를 수집하고 굴착 제어 명령을 발송한다. 여기서, 센서 시스템은 풀 라인식 변위 센서 및 회전식 전위차계를 사용하여 각 자유도의 변위 및 회전 각도를 피드백한다.
베이스 및 굴착 암 타겟 굴착 궤적을 따라 타겟 굴착점 위치의 재료에 대한 굴착을 완료한 후, 몸체를 회전시켜 버킷 내의 재료를 덤프 트럭에 언로딩할 수 있음에 유의해야 한다. 이 경우, 몸체 측면에 장착된 양안 카메라를 다시 켜고 재료 파일을 촬영하며 계속해서 본 발명의 실시예 내의 굴착기의 굴착 제어 방법을 수행한다. 이는 재료 파일이 굴착 완료될 때까지 순환 반복된다.
도 6을 계속 참조하면, 도 6은 도 5에 의해 제공되는 굴착기의 굴착 제어 방법의 하나의 응용 상황의 모식도이다. 도 6에 도시된 응용 상황에서, 무인 자율식 굴착기의 몸체가 회전하여 버킷 내의 흙을 언로딩하는 동안, 몸체 측면에 장착된 양안 카메라는 흙더미의 양안 이미지를 촬영하고, 무인 자율식 굴착기의 백엔드 서버에 발송할 수 있다. 우선, 백엔드 서버는 흙더미의 3차원 모델을 얻기 위해 3차원 재구성 알고리즘을 이용하여 양안 이미지에 대해 3차원 재구성을 수행할 수 있다. 그 후, 백엔드 서버는 굴착 전략 계획 알고리즘을 이용하여 3차원 모델을 분석하고, 흙더미의 타겟 굴착점을 결정할 수 있다. 다음, 백엔드 서버는 굴착 궤적 계획 알고리즘을 이용하여 타겟 굴착점을 분석하고, 베이스 및 굴착 암의 타겟 각도 시퀀스를 확정할 수 있다. 마지막으로, 백엔드 서버는 무인 자율식 굴착기의 자율식 굴착을 위해, 베이스 및 굴착 암의 타겟 각도 시퀀스에 따라 베이스 및 굴착 암의 각도 및 변위를 제어할 수 있다. 동시에, 자율식 굴착 과정에서, 굴착 암 센서는 굴착 암 각도를 실시간으로 수집하고, 베이스 센서는 베이스 각도를 실시간으로 수집하여 백엔드 서버에 실시간으로 발송한다. 백엔드 서버는 베이스 및 굴착 암이 타겟 굴착 궤적을 따라 타겟 굴착점 위치의 흙더미에 대해 굴착하도록, 타겟 각도 시퀀스, 굴착 암 각도 및 베이스 각도에 기반하여 폐쇄 루프 제어 알고리즘을 통해 폐쇄 루프 제어를 수행할 수 있다. 본 회 굴착이 완료되면, 굴착기는 몸체를 회전시켜 버킷 내의 흙을 덤프 트럭 내에 언로딩한다. 이 경우, 다시 양안 카메라를 켜고 흙더미를 촬영하며 상기 단계를 계속해서 수행한다. 이는 흙더미가 굴착 완료될 때까지 순환 반복된다.
도 5에서 보아낼 수 있다시피, 도 2에 대응되는 실시예와 비교하여 본 실시예에서 굴착기의 굴착 제어 방법의 흐름(500)은 재료 파일의 타겟 굴착점 및 타겟 굴착 궤적을 확정하는 단계 및 굴착기 굴착을 제어하는 단계를 강조한다. 따라서, 굴착 궤적 및 재료 부피를 결합시켜 타겟 굴착점 및 타겟 굴착 궤적을 선택하면, 가능한 굴착 궤적을 따라 타겟 굴착점 위치의 재료를 굴착할 수 있을 뿐더러, 굴착된 타겟 굴착점 위치의 재료 부피가 커 굴착 효율이 향상된다. 동시에 굴착기의 굴착 과정에 대해 폐쇄 루프 제어를 수행함으로써 굴착기의 자율식 굴착 과정을 정밀하게 제어한다.
도 7을 추가로 참조하면, 상기 각 도면에 도시된 방법의 구현으로서, 본 발명은 굴착기의 굴착 제어 장치의 일 실시예를 제공하며, 상기 장치 실시예는 도 2에 도시된 방법 실시예와 서로 대응된다. 상기 장치는 구체적으로 다양한 전자 기기에 적용될 수 있다.
도 7에 도시된 바와 같이, 본 실시예의 굴착기의 굴착 제어 장치(700)는 획득 유닛(701), 생성 유닛(702), 확정 유닛(703) 및 제어 유닛(704)을 포함할 수 있다. 여기서, 획득 유닛(701)은 재료 파일의 2차원 이미지를 획득하고, 생성 유닛(702)은 2차원 이미지에 기반하여 재료 파일의 3차원 모델을 생성하며, 확정 유닛(703)은 3차원 모델을 분석하여 재료 파일의 타겟 굴착점 및 타겟 굴착 궤적을 확정하고, 제어 유닛(704)은 굴착기가 타겟 굴착 궤적을 따라 타겟 굴착점 위치의 재료를 굴착하도록 제어한다.
본 실시예에서, 굴착기의 굴착 제어 장치(700) 중 획득 유닛(701), 생성 유닛(702), 확정 유닛(703) 및 제어 유닛(704)의 구체적인 처리 및 그 기술적 효과는 각각 도 2에서 대응되는 실시예의 단계 (201), 단계(202), 단계(203) 및 단계(204)의 관련 설명을 참조할 수 있으며 여기서 더 이상 반복하여 설명하지 않는다.
본 실시예의 일부 선택 가능한 실시형태에서, 굴착기의 몸체 측면에는 카메라가 장착될 수 있으며, 카메라는 몸체가 회전하여 버킷 내의 재료를 언로딩하는 동안 2차원 이미지를 촬영한다.
본 실시예의 일부 선택 가능한 실시형태에서, 카메라는 양안 카메라이고, 2차원 이미지는 양안 이미지이며, 생성 유닛(702)은 양안 이미지에 대해 이미지 매칭을 수행하여 양안 이미지의 디스패리티 맵을 획득하는 매칭 서브 유닛(도면에 도시되지 않음); 디스패리티 맵에 기반하여 재료 파일의 깊이 맵을 생성하는 생성 서브 유닛(도면에 도시되지 않음); 및 깊이 맵에 대해 3차원 재구성을 수행하여 재료 파일의 3차원 모델을 획득하는 재구성 서브 유닛(도면에 도시되지 않음)을 포함한다.
본 실시예의 일부 선택 가능한 실시형태에서, 확정 유닛(703)은, 3차원 모델을 이산화하여 굴착점 집합을 얻는 이산화 서브 유닛(도면에 도시되지 않음); 굴착점 집합 내의 굴착점의 굴착 궤적 집합을 획득하는 제1 획득 서브 유닛(도면에 도시되지 않음); 굴착점 집합 내의 굴착점의 굴착 궤적 집합에 기반하여 후보 굴착점 집합을 선택하는 제1 선택 서브 유닛(도면에 도시되지 않음); 후보 굴착점 집합 내의 후보 굴착점의 재료 부피를 획득하는 제2 획득 서브 유닛(도면에 도시되지 않음); 및 후보 굴착점 집합 내의 후보 굴착점의 재료 부피에 기반하여 타겟 굴착점 및 타겟 굴착 궤적을 선택하는 제2 선택 서브 유닛(도면에 도시되지 않음)을 포함한다.
본 실시예의 일부 선택 가능한 실시형태에서, 제어 유닛(704)은, 굴착기의 베이스 및 굴착 암이 타겟 굴착 궤적을 따라 타겟 굴착점 위치의 재료에 대해 굴착시 타겟 각도 시퀀스를 확정하는 확정 서브 유닛(도면에 도시되지 않음); 및 타겟 각도 시퀀스에 기반하여 베이스 및 굴착 암의 회전 각도 및 변위를 제어하고, 굴착기의 베이스 각도 센서 및 굴착 암 센서로부터 베이스 및 굴착 암의 현재 각도를 실시간으로 획득하며, 베이스 및 굴착 암이 타겟 굴착 궤적을 따라 타겟 굴착점 위치의 재료를 굴착하도록 타겟 각도 시퀀스 내의 현재 타겟 각도와 현재 각도의 차이값 크기 및 플러스 마이너스에 기반하여 폐쇄 루프 제어를 수행하는 제어 서브 유닛(도면에 도시되지 않음)을 포함한다.
이하 도 8을 참조하면, 본 발명의 실시예의 전자 기기(예를 들어, 도 1에 도시된 서버(103))를 구현하기에 적합한 컴퓨터 시스템(800)의 구조 모식도이다. 도 8에 도시된 전자 기기는 하나의 예시일 뿐, 본 발명 실시예의 기능 및 사용 범위에 대해 어떠한 한정도 해서는 안된다.
도 8에 도시된 바와 같이, 컴퓨터 시스템(800)은 판독 전용 메모리(ROM)(802)에 저장된 프로그램 또는 저장 부분(808)으로부터 랜덤 액세스 메모리(RAM)(803)로 로딩된 프로그램에 따라 다양하고 적절한 동작 및 처리를 수행할 수 있는 중앙 처리 장치(CPU)(801)를 포함한다. RAM(803)에는 또한 시스템(800)의 조작에 필요한 다양한 프로그램 및 데이터가 저장된다. CPU(801), ROM(802) 및 RAM(803)은 버스(804)를 통해 서로 연결된다. 입력/출력(I/O) 인터페이스(805) 역시 버스(804)에 연결된다.
키보드, 마우스 등을 포함하는 입력 부분(806); 예를 들어 음극선 관(CRT), 액정 디스플레이(LCD) 등 및 스피커 등을 포함하는 출력 부분(807); 하드 디스크 등을 포함하는 저장 부분(808); 및 LAN 카드, 모뎀 등과 같은 네트워크 인터페이스 카드를 포함하는 통신 부분(809)은 I/O 인터페이스(805)에 연결된다. 통신 부분(809)은 인터넷과 같은 네트워크를 통해 통신 처리를 수행한다. 드라이버(810) 역시 필요에 따라 I/O 인터페이스(805)에 연결된다. 자기 디스크, 광 디스크, 광 자기 디스크, 반도체 메모리 등과 같은 제거 가능한 매체(811)는 필요에 따라 그로부터 판독된 컴퓨터 프로그램이 저장 부분(808)에 설치되도록 필요에 따라 드라이브(810)에 장착된다.
특히, 본 개시의 실시예에 따르면, 상기에서 흐름도를 참조하여 설명한 과정은 컴퓨터 소프트웨어 프로그램으로서 구현될 수 있다. 예를 들어, 본 개시의 실시예는 컴퓨터 판독 가능 매체에 베어링된 컴퓨터 프로그램을 포함하는 컴퓨터 프로그램 제품을 포함하고, 상기 컴퓨터 프로그램은 흐름도에 도시된 방법을 수행하기 위한 프로그램 코드를 포함한다. 이러한 실시예에서, 상기 컴퓨터 프로그램은 통신 부분(809)을 통해 네트워크로부터 다운로드 및 설치될 수 있거나 및/또는 제거 가능한 매체(811)로부터 설치될 수 있다. 컴퓨터 프로그램이 중앙 처리 장치(CPU)(801)에 의해 실행될 때, 본 발명의 방법에 한정된 상기 기능들이 수행된다. 본 발명에 기재된 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 신호 매체 또는 컴퓨터 판독 가능 매체 또는 이 양자의 임의의 조합 일 수 있음에 유의해야한다. 컴퓨터 판독 가능 매체는, 예를 들어, 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 소자, 또는 이들의 임의의 조합 일 수 있지만, 이에 한정되지는 않는다. 컴퓨터 판독 가능 매체의 보다 구체적인 예는 하나 또는 복수의 와이어를 갖는 전기적 연결, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능 프로그램 가능 읽기 전용 메모리(PROM 또는 플래시 메모리), 광섬유, 휴대용 컴팩트 디스크 판독 전용 메모리(CD-ROM), 광학 저장 장치, 자기 저장 장치 또는 이들의 임의의 적절한 조합을 포함 할 수 있지만, 이에 한정되지는 않는다. 본 발명에서, 컴퓨터 판독 가능 매체는 명령 실행 시스템, 장치 또는 소자 또는 이들과 결합되어 사용될 수 있는 프로그램을 포함하거나 저장할 수 있는 임의의 타입의 매체일 수 있다. 본 발명에서, 컴퓨터 판독 가능 신호 매체는 컴퓨터 판독 가능 프로그램 코드를 베어링하는 베이스 밴드 또는 캐리어의 일부로 전파되는 데이터 신호를 포함 할 수있다. 이러한 전파된 데이터 신호는 전자기 신호, 광학 신호, 또는 상기 임의의 적절한 조합을 포함하지만 이에 한정되지 않는 다양한 형태를 취할 수있다. 컴퓨터 판독 가능 신호 매체는 또한 명령 실행 시스템, 장치 또는 소자에 사용되거나 이와 결합하여 사용하기 위한 프로그램을 전송, 전파 또는 수송할 수있는 컴퓨터 판독 가능 매체 이외의 임의의 컴퓨터 판독 가능 매체일 수 있다. 컴퓨터 판독 가능 매체에 포함된 프로그램 코드는 무선, 유선, 광섬유 케이블, RF 등, 또는 상기의 임의의 적절한 조합을 포함하지만 이에 한정되지 않는 임의의 적절한 매체에 의해 전송 될 수있다.
본 발명의 동작을 수행하기 위한 컴퓨터 프로그램 코드는 하나 또는 하나 이상의 프로그래밍 언어, 또는 그들의 조합으로 작성될 수 있다. 상기 프로그래밍 언어는 Java, Smalltalk, C++를 비롯한 객체 지향 프로그래밍 언어와 "C" 언어 또는 유사한 프로그래밍 언어를 비롯한 기존 절차적 프로그래밍 언어를 포함한다. 프로그램 코드는 완전히 사용자의 컴퓨터에서 실행되거나, 부분적으로 사용자의 컴퓨터에서 실행되거나, 독립형 소프트웨어 패키지로서 실행되거나, 일부는 사용자의 컴퓨터에서 실행되고 일부는 원격 컴퓨터에서 실행되거나, 또는 완전히 원격 컴퓨터 또는 서버에서 실행될 수 있다. 원격 컴퓨터의 경우 원격 컴퓨터는 LAN 또는 WAN을 포함한 모든 종류의 네트워크를 통해 사용자의 컴퓨터에 연결되거나 외부 컴퓨터에 연결될 수 있다(예를 들어, 인터넷 서비스 제공 업체를 이용하여 인터넷을 통해 연결).
도면의 흐름도 및 블록도는 본 발명의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 가능한 구현의 아키텍처, 기능 및 동작을 도시한다. 이 점에서, 흐름도 또는 블록도의 각 블록은 지정된 논리 기능을 구현하기 위한 하나 또는 하나 이상의 실행 가능한 명령을 포함하는 모듈, 프로그램 세그먼트 또는 코드의 일부를 나타낼 수 있다. 일부 대안적인 구현에서, 블록에 마크업된 기능은 또한 도면에 도시된 것과 다른 순서로 발생할 수 있음에 유의해야 한다. 예를 들어, 연속적으로 표현 된 2개의 블록은 실제로 병렬로 실행될 수 있고, 관련 기능에 따라 때때로 역순으로 실행될 수도 있다. 또한, 블록도 및/또는 흐름도의 각 블록, 및 블록도 및/또는 흐름도에서 블록의 조합은 지정된 기능 또는 동작을 수행하는 전용 하드웨어 기반 시스템에서 구현될 수 있거나 전용 하드웨어와 컴퓨터 명령어를 조합하여 구현할 수도 있음에 유의해야 한다.
본 발명의 실시예들에 설명된 유닛들은 소프트웨어 또는 하드웨어에 의해 구현될 수 있다. 설명 된 유닛은 또한 프로세서, 예를 들어 획득 유닛, 생성 유닛, 확정 유닛 및 제어 유닛을 포함하는 프로세서에 설치될 수도 있다. 여기서 이들 유닛의 명칭은 경우에 따라서는 유닛 자체로 한정되지 않으며, 예를 들어, 획득 유닛은 “재료 파일의 양안 이미지 획득 유닛”으로 기술될 수도 있다.
다른 양태로서, 본 발명은 상기 실시예에서 설명된 전자 기기에 포함될 수 있거나 상기 전자 기기에 조립되지 않고 별도로 존재할 수 있는 컴퓨터 판독 가능 매체를 제공한다. 상기 컴퓨터 판독 가능 매체에는 하나 또는 복수의 프로그램이 베어링되어, 상기 하나 또는 복수의 프로그램이 상기 전자 기기에 의해 실행시 상기 전자 기기로 하여금 재료 파일의 2차원 이미지를 획득하는 단계; 2차원 이미지에 기반하여 재료 파일의 3차원 모델을 생성하는 단계; 3차원 모델을 분석하여 재료 파일의 타겟 굴착점 및 타겟 굴착 궤적을 확정하는 단계; 및 굴착기가 타겟 굴착 궤적을 따라 타겟 굴착점 위치의 재료를 굴착하도록 제어하는 단계를 수행하도록 한다.
상기 설명은 본 발명의 바람직한 실시예 및 적용된 기술의 원리에 대한 설명일 뿐이다. 본 발명이 속하는 기술분야의 통상의 기술자들은 본 발명에 언급된 본 발명의 범위는 상기 기술적 특징의 특정 조합에 따른 기술적 해결수단에 한정되지 않으며, 동시에 본 발명의 사상을 벗어나지 않으면서 상기 기술적 특징 또는 그 균등한 특징에 대해 임의로 조합하여 형성된 다른 기술적 해결수단, 예를 들어, 상기 특징과 본 발명에 공개된(단 이에 한정되지 않음) 유사한 기능을 구비하는 기술적 특징을 서로 교체하여 형성된 기술적 해결수단을 포함함을 이해하여야 한다.

Claims (12)

  1. 굴착기의 굴착 제어 방법에 있어서,
    재료 파일(pile)의 2차원 이미지를 획득하는 단계;
    상기 2차원 이미지에 기반하여 상기 재료 파일의 3차원 모델을 생성하는 단계;
    상기 3차원 모델을 분석하여 상기 재료 파일의 타겟 굴착점 및 타겟 굴착 궤적을 확정하는 단계; 및
    굴착기가 상기 타겟 굴착 궤적을 따라 상기 타겟 굴착점 위치의 재료를 굴착하도록 제어하는 단계를 포함하는 굴착기의 굴착 제어 방법.
  2. 제1항에 있어서,
    상기 굴착기의 몸체 측면에는, 상기 몸체가 회전하여 버킷 내의 재료를 언로딩하는 동안 상기 2차원 이미지를 촬영하는 카메라가 장착된 굴착기의 굴착 제어 방법.
  3. 제2항에 있어서,
    상기 카메라는 양안 카메라이고, 상기 2차원 이미지는 양안 이미지이며,
    상기 2차원 이미지에 기반하여 상기 재료 파일의 3차원 모델을 생성하는 단계는,
    상기 양안 이미지에 대해 이미지 매칭을 수행하여 상기 양안 이미지의 디스패리티 맵을 획득하는 단계;
    상기 디스패리티 맵에 기반하여 상기 재료 파일의 깊이 맵을 생성하는 단계; 및
    상기 깊이 맵에 대해 3차원 재구성을 수행하여 상기 재료 파일의 3차원 모델을 획득하는 단계를 포함하는 굴착기의 굴착 제어 방법.
  4. 제1항에 있어서,
    상기 3차원 모델을 분석하여 상기 재료 파일의 타겟 굴착점 및 타겟 굴착 궤적을 확정하는 단계는,
    상기 3차원 모델을 이산화하여 굴착점 집합을 얻는 단계;
    상기 굴착점 집합 내의 굴착점의 굴착 궤적 집합을 획득하는 단계;
    상기 굴착점 집합 내의 굴착점의 굴착 궤적 집합에 기반하여 후보 굴착점 집합을 선택하는 단계;
    상기 후보 굴착점 집합 내의 후보 굴착점의 재료 부피를 획득하는 단계; 및
    상기 후보 굴착점 집합 내의 후보 굴착점의 재료 부피에 기반하여 타겟 굴착점 및 타겟 굴착 궤적을 선택하는 단계를 포함하는 굴착기의 굴착 제어 방법.
  5. 제1항에 있어서,
    상기 굴착기가 상기 타겟 굴착 궤적을 따라 상기 타겟 굴착점 위치의 재료를 굴착하도록 제어하는 단계는,
    상기 굴착기의 베이스 및 굴착 암(arm)이 상기 타겟 굴착 궤적을 따라 상기 타겟 굴착점 위치의 재료에 대해 굴착시 타겟 각도 시퀀스를 확정하는 단계; 및
    상기 타겟 각도 시퀀스에 기반하여 상기 베이스 및 굴착 암의 회전 각도 및 변위를 제어하고, 상기 굴착기의 베이스 각도 센서 및 굴착 암 센서로부터 상기 베이스 및 굴착 암의 현재 각도를 실시간으로 획득하며, 상기 베이스 및 굴착 암이 상기 타겟 굴착 궤적을 따라 상기 타겟 굴착점 위치의 재료를 굴착하도록 상기 타겟 각도 시퀀스 내의 현재 타겟 각도와 상기 현재 각도의 차이값 크기 및 플러스 마이너스에 기반하여 폐쇄 루프 제어를 수행하는 단계를 포함하는 굴착기의 굴착 제어 방법.
  6. 굴착기의 굴착 제어 장치에 있어서,
    재료 파일의 2차원 이미지를 획득하는 획득 유닛;
    상기 2차원 이미지에 기반하여 상기 재료 파일의 3차원 모델을 생성하는 생성 유닛;
    상기 3차원 모델을 분석하여 상기 재료 파일의 타겟 굴착점 및 타겟 굴착 궤적을 확정하는 확정 유닛; 및
    굴착기가 상기 타겟 굴착 궤적을 따라 상기 타겟 굴착점 위치의 재료를 굴착하도록 제어하는 제어 유닛을 포함하는 굴착기의 굴착 제어 장치.
  7. 제6항에 있어서,
    상기 굴착기의 몸체 측면에는, 상기 몸체가 회전하여 버킷 내의 재료를 언로딩하는 동안 상기 2차원 이미지를 촬영하는 카메라가 장착된 굴착기의 굴착 제어 장치.
  8. 제7항에 있어서,
    상기 카메라는 양안 카메라이고, 상기 2차원 이미지는 양안 이미지이며,
    상기 생성 유닛은,
    상기 양안 이미지에 대해 이미지 매칭을 수행하여 상기 양안 이미지의 디스패리티 맵을 획득하는 매칭 서브 유닛;
    상기 디스패리티 맵에 기반하여 상기 재료 파일의 깊이 맵을 생성하는 생성 서브 유닛; 및
    상기 깊이 맵에 대해 3차원 재구성을 수행하여 상기 재료 파일의 3차원 모델을 획득하는 재구성 서브 유닛을 포함하는 굴착기의 굴착 제어 장치.
  9. 제6항에 있어서,
    상기 확정 유닛은,
    상기 3차원 모델을 이산화하여 굴착점 집합을 얻는 이산화 서브 유닛;
    상기 굴착점 집합 내의 굴착점의 굴착 궤적 집합을 획득하는 제1 획득 서브 유닛;
    상기 굴착점 집합 내의 굴착점의 굴착 궤적 집합에 기반하여 후보 굴착점 집합을 선택하는 제1 선택 서브 유닛;
    상기 후보 굴착점 집합 내의 후보 굴착점의 재료 부피를 획득하는 제2 획득 서브 유닛; 및
    상기 후보 굴착점 집합 내의 후보 굴착점의 재료 부피에 기반하여 타겟 굴착점 및 타겟 굴착 궤적을 선택하는 제2 선택 서브 유닛을 포함하는 굴착기의 굴착 제어 장치.
  10. 제6항에 있어서,
    상기 제어 유닛은,
    상기 굴착기의 베이스 및 굴착 암이 상기 타겟 굴착 궤적을 따라 상기 타겟 굴착점 위치의 재료에 대해 굴착시 타겟 각도 시퀀스를 확정하는 확정 서브 유닛; 및
    상기 타겟 각도 시퀀스에 기반하여 상기 베이스 및 굴착 암의 회전 각도 및 변위를 제어하고, 상기 굴착기의 베이스 각도 센서 및 굴착 암 센서로부터 상기 베이스 및 굴착 암의 현재 각도를 실시간으로 획득하며, 상기 베이스 및 굴착 암이 상기 타겟 굴착 궤적을 따라 상기 타겟 굴착점 위치의 재료를 굴착하도록 상기 타겟 각도 시퀀스 내의 현재 타겟 각도와 상기 현재 각도의 차이값 크기 및 플러스 마이너스에 기반하여 폐쇄 루프 제어를 수행하는 제어 서브 유닛을 포함하는 굴착기의 굴착 제어 장치.
  11. 하나 또는 복수의 프로세서; 및
    하나 또는 복수의 프로그램이 저장된 저장 장치를 포함하는 전자 기기에 있어서,
    상기 하나 또는 복수의 프로그램이 상기 하나 또는 복수의 프로세서에 의해 실행될 경우, 상기 하나 또는 복수의 프로세서가 제1항 내지 제5항 중 어느 한 항에 따른 굴착기의 굴착 제어 방법을 구현하도록 하는 전자 기기.
  12. 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 매체에 있어서,
    상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우, 제1항 내지 제5항 중 어느 한 항에 따른 굴착기의 굴착 제어 방법을 구현하도록 하는 컴퓨터 판독 가능 매체.
KR1020190141605A 2019-01-25 2019-11-07 굴착기의 굴착 제어 방법 및 장치 KR102454694B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910075040.5 2019-01-25
CN201910075040.5A CN109814559A (zh) 2019-01-25 2019-01-25 用于控制挖掘机挖掘的方法和装置

Publications (2)

Publication Number Publication Date
KR20200092854A true KR20200092854A (ko) 2020-08-04
KR102454694B1 KR102454694B1 (ko) 2022-10-14

Family

ID=66605263

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190141605A KR102454694B1 (ko) 2019-01-25 2019-11-07 굴착기의 굴착 제어 방법 및 장치

Country Status (4)

Country Link
US (1) US11668076B2 (ko)
JP (1) JP7012698B2 (ko)
KR (1) KR102454694B1 (ko)
CN (1) CN109814559A (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801366A (zh) * 2019-01-25 2019-05-24 北京百度网讯科技有限公司 用于选取目标挖掘点的方法和装置
CN110409528B (zh) * 2019-07-25 2022-03-08 中国航空工业集团公司西安飞行自动控制研究所 一种挖掘机铲斗轨迹自动控制装置、方法和计算机可读存储介质
CN112836268A (zh) * 2019-11-25 2021-05-25 深圳云天励飞技术有限公司 管道挖掘方法及相关产品
CN111305293A (zh) * 2020-02-25 2020-06-19 深圳冰河导航科技有限公司 一种自动化平地机控制系统及其平地方法
CN111576539B (zh) * 2020-04-30 2022-07-29 三一重机有限公司 挖掘机控制方法、装置、计算机设备和可读存储介质
CN111733920B (zh) * 2020-06-30 2021-03-09 北京建工环境修复股份有限公司 一种智能上料控制系统及其控制方法
US11624171B2 (en) * 2020-07-31 2023-04-11 Baidu Usa Llc Engineering machinery equipment, and method, system, and storage medium for operation trajectory planning thereof
CN112435312B (zh) * 2020-09-04 2023-04-11 上海哔哩哔哩科技有限公司 运动轨迹的生成方法、装置、计算机设备和可读存储介质
CN113720967A (zh) * 2021-07-28 2021-11-30 中国人民解放军63653部队 一种基于角度离散化的砂土自主收集方法
CN114164877B (zh) * 2021-11-09 2023-04-14 中联重科土方机械有限公司 用于装载物料的方法、控制器及挖掘设备
CN115110598B (zh) * 2022-08-10 2023-11-28 安徽建工集团股份有限公司总承包分公司 一种三维拟合现场挖掘破碎装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04350220A (ja) * 1991-05-28 1992-12-04 Komatsu Ltd 掘削作業機の自動制御方法
JPH09228426A (ja) * 1996-02-21 1997-09-02 Shin Caterpillar Mitsubishi Ltd 建設機械の作業機制御装置
JPH1088625A (ja) 1996-09-13 1998-04-07 Komatsu Ltd 自動掘削機、自動掘削方法および自動積み込み方法
JPH11247230A (ja) * 1997-12-19 1999-09-14 Carnegie Mellon Univ 土工作業を計画するための方法と装置
KR19990082460A (ko) * 1996-12-12 1999-11-25 사쿠마 하지메 건설 기계의 제어 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201408582D0 (en) * 2014-05-14 2014-06-25 Ucl Business Plc A system and method for computer-assisted planning of a trajectory for a surgical insertion into a skull
CN104476548B (zh) * 2014-10-24 2016-06-01 四川省绵阳西南自动化研究所 一种挖掘机器人自主作业控制方法
KR101695914B1 (ko) * 2016-06-23 2017-01-16 부산대학교산학협력단 토공공사 수행시 굴삭기의 형상정보를 실시간 제공하는 굴삭기 3d 토공 bim 시스템
CN106836364B (zh) * 2017-01-17 2019-02-12 大连理工大学 智能挖掘机的自动控制系统及最优轨迹规划方法
JP6974436B2 (ja) 2017-03-22 2021-12-01 住友重機械工業株式会社 ショベル

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04350220A (ja) * 1991-05-28 1992-12-04 Komatsu Ltd 掘削作業機の自動制御方法
JPH09228426A (ja) * 1996-02-21 1997-09-02 Shin Caterpillar Mitsubishi Ltd 建設機械の作業機制御装置
JPH1088625A (ja) 1996-09-13 1998-04-07 Komatsu Ltd 自動掘削機、自動掘削方法および自動積み込み方法
KR19990082460A (ko) * 1996-12-12 1999-11-25 사쿠마 하지메 건설 기계의 제어 장치
JPH11247230A (ja) * 1997-12-19 1999-09-14 Carnegie Mellon Univ 土工作業を計画するための方法と装置

Also Published As

Publication number Publication date
US20200240117A1 (en) 2020-07-30
JP2020118016A (ja) 2020-08-06
US11668076B2 (en) 2023-06-06
CN109814559A (zh) 2019-05-28
JP7012698B2 (ja) 2022-01-28
KR102454694B1 (ko) 2022-10-14

Similar Documents

Publication Publication Date Title
KR102454694B1 (ko) 굴착기의 굴착 제어 방법 및 장치
KR102202558B1 (ko) 재료 파일의 3차원 재구성 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 매체
US11634883B2 (en) Checking volume in an excavation tool
KR102364862B1 (ko) 타겟 굴착점 선택 방법 및 장치
US20220243426A1 (en) Excavating earth from a dig site using an excavation vehicle
US8903689B2 (en) Autonomous loading
US20200032490A1 (en) Filling earth at a location within a dig site using an excavation vehicle
CN109903326B (zh) 用于确定工程机械设备的旋转角度的方法和装置
US11680384B2 (en) Autonomous operation by earth-moving vehicle based on triggering conditions
US20230053964A1 (en) Hierarchical planning for autonomous machinery on various tasks
US20240068202A1 (en) Autonomous Control Of Operations Of Powered Earth-Moving Vehicles Using Data From On-Vehicle Perception Systems
US20240117598A1 (en) Autonomous Control Of On-Site Movement Of Powered Earth-Moving Construction Or Mining Vehicles
KR102637524B1 (ko) 작업 기계
WO2023196207A1 (en) Autonomous control of operations of earth-moving vehicles using trained machine learning models
Makkonen et al. Automation of an excavator based on a 3D CAD model and GPS measurement

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant