KR20210020896A - 자율 작동 작업 기계의 작동 방법 및 장치 - Google Patents

자율 작동 작업 기계의 작동 방법 및 장치 Download PDF

Info

Publication number
KR20210020896A
KR20210020896A KR1020207035494A KR20207035494A KR20210020896A KR 20210020896 A KR20210020896 A KR 20210020896A KR 1020207035494 A KR1020207035494 A KR 1020207035494A KR 20207035494 A KR20207035494 A KR 20207035494A KR 20210020896 A KR20210020896 A KR 20210020896A
Authority
KR
South Korea
Prior art keywords
machine
semantic map
movement
collision
detected
Prior art date
Application number
KR1020207035494A
Other languages
English (en)
Inventor
우도 슐츠
토마스 틸
토마스 클리글
라인하르트 바이베를레
울프 니블링
슈탄레이 쿠리안 요제
헨드릭 쿠레
Original Assignee
로베르트 보쉬 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 로베르트 보쉬 게엠베하 filed Critical 로베르트 보쉬 게엠베하
Publication of KR20210020896A publication Critical patent/KR20210020896A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39082—Collision, real time collision avoidance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45012—Excavator

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 운동 시스템(110, 115, 120)을 포함하는 기계(100, 105)의 작동 방법 및 장치에 관한 것이며, 상기 기계(100, 105) 및/또는 상기 운동 시스템(110, 115, 120)의 포즈는 특히 시그널링을 사용하는 측정 방법에 의해 결정될 수 있고, 특히 시그널링을 사용하는 측정 방법에 의해 결정된 상기 기계(100, 105) 및/또는 상기 운동 시스템(110, 115, 120)의 포즈는 의미론적 맵(200)과 비교되며(215), 상기 기계(1l00, 105) 주변의 물체와의 조건부 허용 충돌 또는 허용되지 않는 충돌이 검출된다.

Description

자율 작동 작업 기계의 작동 방법 및 장치
본 발명은 각각의 독립 청구항의 전제부에 따라, 자율 작동 작업 기계, 특히 적어도 하나의 운동 시스템(kinematic system) 또는 도구를 포함하는 이동 작업 기계의 충돌 조건부 허용 작동을 위한 방법 및 장치에 관한 것이다. 본 발명은 또한 컴퓨터 프로그램, 컴퓨터 프로그램을 저장하기 위한 기계 판독 가능한 데이터 캐리어, 및 상기 방법이 실시될 수 있게 하는 전자 제어 장치에 관한 것이다.
관련 기계, 예를 들어 삽 굴착기와 같은 이동 건설 기계, 또는 트랙터 또는 콤바인 수확기와 같은 이동 임업 또는 농업 기계는 점점 자율적으로 작동되거나 운전자 보조 시스템에 의해 지원되거나 보조되어 작동된다. 이를 위한 필수 전제 조건은 기계 또는 해당 차량 주변의 환경 상황 또는 교통 상황을 신뢰성 있고 예측 가능하게 검출하는 것이다. 알려진 환경 모델은 상황 분석을 도출하고 기동 계획을 수행하는데 필요한 정보를 포함한다. 따라서, 환경 모델은 차량의 환경을 나타낸다. 예를 들어, 환경 모델은 차량 주변의 인프라 요소 및/또는 기타 도로 사용자, 특히 차량을 포함한다. 차량에 설치된 센서 시스템은 이동 또는 고정 물체를 검출하고, 제동이 필요한지 및/또는 궤도 계획 및 적절한 시스템 개입에 따라 회피가 필요한지, 또는 개입 기동이 필요하지 않은지의 여부를 결정해야 한다. 환경 모델을 생성하기 위해, 차량 자체 센서 및/또는 다른 차량의 센서 및/또는 주변에 고정적으로 설치된 센서에 의해 제공되는 데이터 또는 정보가 현재 지형 또는 인프라 데이터와 비교된다.
작업 기계의 공간적 상태는 로봇 공학에서 알려진 "포즈(pose)"에 의해 설명될 수 있다. 이는 장치의 모든 공간적 자유도를 정량화하여 장치의 완전한 기하학적 설명을 나타낸다. 공간적으로 단단한 장치의 경우, 예를 들어 자동차의 경우, 이는 공간에서 차량의 기준점 위치와 차량의 공간적 방향이다. 다 관절 작업 기계의 경우, 포즈는 기계의 각각의 개별 관절의 위치도 설명한다.
포즈라는 용어에 기초하여 "궤도"라는 용어는 이하에서 각각의 작업 기계의 포즈의 시간에 따른 변화로 이해되어야 한다.
도로 교통의 차량에서는 일반적으로 차량과 그 주변 사이의 충돌이 피해져야 하며, 충돌 가능성이 있는 물체에 대한 접근은 일반적으로 경고를 야기하지만, 작업 기계 및 그 도구에서는 작업 대상 또는 공작물 또는 재료와 필연적인, 프로세스 관련 접촉이 나타난다("의도적인 충돌").
본 발명은 작업 프로세스에 대해 조건부 충돌이 허용되는, 작업 기계 주변의 공간 (3D) 영역과 예를 들어 사람 보호때문에 충돌이 허용되지 않는 영역을 검출해야 하거나 결정해야 한다는 사상에 기초한다. 허용되는 충돌은 예를 들어, 재료를 들어 올리거나 이송하기 위해 또는 운동 시스템을 사용하여 기계의 환경을 처리하기 위해, 기계 또는 운동 시스템의 조작자에 의해 요구되는 충돌을 의미하는 것으로 이해될 수 있다. 허용되지 않는 충돌은 조작자에 의해 요구되지 않거나 재산 피해 또는 부상으로 인한 사고를 초래하는 충돌을 의미하는 것으로 이해될 수 있다.
이러한 공간 영역에 대한 검출은 기계 및/또는 운동 시스템 또는 도구 및/또는 작업 대상 및/또는 바람직하게 의미론적으로 표현되는 환경에서의 사람의 예측 가능하고 따라서 검증 가능한 상호 작용을 가능하게 한다. 여기서, 의미론적(semantic) 3D 맵이 사용되는데, 이는 모바일 로봇 공학에서 이미 사용되는 메트릭 맵을 나타내며 3D 측정점에 대한 기하학적 또는 지형 정보 외에도 각각의 측정점의 의미론적 용어(semantic terms)를 포함한다. 즉, 의미론적 맵(semantic map)은 맵의 포인트들의 용어 또는 라벨의 형태로 추가 정보를 갖는 메트릭 또는 기하학적 및/또는 지형 맵으로 이해될 수 있다. 이러한 맵에 의해, 허용되는 상호 작용을 가진 영역들과 허용되지 않는 상호 작용를 가진 영역들이 구별될 수 있고, 이를 기반으로 작업 영역 및 작업 프로세스에서 충돌 경고 및 시스템 개입이 구현될 수 있다.
센서들의 적절한 배치뿐만 아니라 상응하게 검출된 센서 신호들의 적절한 병합에 의해, 환경에 대한 관련 작업 기계 및/또는 작업 기계의 도구의 공간적 위치 및 방향, 소위 "포즈"가 예를 들어 도구의 포즈를 정의하는 소위 "Tool Center Point"(TCP)를 기초로 정확하게 결정될 수 있다. 이로 인해, 특히 자율 작동 작업 기계에서 해당 자동화 기능이 가능해진다.
TCP의 결정은 알려진 바와 같이, 예를 들어 굴착기, 텔레핸들러, 임업 기계, 건설 크레인 또는 트럭 적재 크레인용 조작자 운동 시스템을 갖는 기계에 대한 거의 모든 지원 시스템의 기초가 되는 것에 주의해야 한다. 또한, TCP에 대한 정확한 지식은 특히 기계의 자동 또는 반자동 작동의 경우 기계의 작업 영역을 정확하게 구분할 수 있게 하고 건설 진행 단계를 정확하게 프로토콜화할 수 있게 한다.
본 발명은 관련 작업 기계의 충돌 조건부 허용 작동 방법을 제안하고, 여기서 기계 및/또는 운동 시스템 또는 도구의 포즈는 포즈를 결정하는, 특히 시그널링을 사용하는 측정 방법에 의해 결정되며, 이렇게 결정된, 기계 또는 운동 시스템의 포즈는 의미론적 3D 맵과 비교되고, 이에 의해 기계 주변의 물체와의 조건부 허용 가능 충돌 또는 허용되지 않는 충돌이 확실하게 검출되거나 결정된다. 측정 방법은 센서에 의해 생성된 측정 데이터를 기반으로 기계 및/또는 도구의 포즈를 검출하는 것을 포함할 수 있다. 이 방법에서, 기계에 대한 환경 모델은 작업 기계에 배치된 환경 센서에 의해 및/또는 다른 기계의 센서에 의해 및/또는 기계의 주변에 고정적으로 설치된 센서에 의해 기존 의미론적 맵을 기반으로 생성될 수 있다.
이 방법에서는 물체와의 충돌 가능성이 있는 경우에도 기계가 작동 허용될 수 있는 의미론적 맵의 영역이 식별될 수 있으며, 기계가 물체와의 충돌 가능성과 관련하여 물체와의 충돌 없이 이동될 수 있는 의미론적 맵의 영역이 식별될 수 있다. 이러한 방식으로 식별된 의미론적 맵의 영역들은 운동 시스템의 TCP 위치 데이터와 비교될 수 있다.
이 방법에서는 또한 의미론적 맵 내의 물체가 기계 및/또는 운동 시스템과의 충돌 가능성과 관련하여 조건부로 허용되는 것으로 또는 허용되지 않는 것으로 분류될 수 있다. 또한, 기계의 작동 중에, 상기 분류된 물체에 대한 기계 및/또는 운동 시스템의 계획된 또는 예측된 이동 궤도에 기초하여 상기 계획되거나 예측된 이동 궤도의 영역에서 허용되지 않는 상호 작용이 검출되고, 적어도 하나의 상호 작용이 검출된 경우 경고 메시지가 기계의 조작자에게 출력되고 및/또는 기계의 작동 중에 충돌 방지 개입이 이루어진다.
마찬가지로 제안된 장치는 기계 또는 운동 시스템의 포즈 데이터 또는 센서 데이터를 기초로 의미론적 3D 맵을 이용하여 기계 주변의 물체와의 조건부 허용 가능 충돌 또는 허용되지 않는 충돌을 확실하게 검출 또는 결정하기 위해 그리고 기계 또는 상기 기계의 운동 시스템에 배치된 액추에이터를 물체와의 조건부 허용 가능 충돌만이 허용되도록 제어하기 위해, 상기 센서 시스템 및/또는 신호 기술에 의해 검출된 기계 및/또는 운동 시스템의 포즈 데이터를 사용한다.
장치는 의미론적 맵에 의해 기계의 위치를 결정하기 위한 위치 결정 요소, 기계가 수행할 작업 과제 및 작업 단계를 계획하기 위한 계획 요소, 기계 및/또는 운동 시스템 및/또는 기계 주변에 배치된 물체들의 이동을 계획, 예측 및 관찰하기 위한 궤도 계획 요소, 의미론적 맵에 기초한 환경 모델, 적어도 하나의 물체와의 잠재적인 충돌을 예측하기 위한 장면 해석 요소, 및 적어도 하나의 물체와의 허용되지 않는 충돌을 피하기 위한 적절한 조치를 실시하기 위한 액추에이터 관리 요소를 포함할 수 있다.
또한, 장치는 기계의 이동 역학 및 기계의 제어 및 조절 거동과 관련된 차량 모델을 갖거나 제공할 수 있다.
장치에서, 기계의 주변에 있는 추가 기계, 도구, 공작물 또는 작업 대상의 상호 작용 및 이와 관련된, 기계 환경의 변화는 장면 해석 요소에 의해 예측되고, 검출되며 및/또는 타당성 검사될 수 있다.
따라서, 본 발명은 관련 작업 기계의 자율적 또는 자동화 가능한 작동을 가능하게 한다.
본 발명은 특히 삽 굴착기 또는 잔디 깍기와 같은 이동 작업 기계에 사용될 수 있다.
컴퓨터 프로그램은 특히 컴퓨팅 장치 또는 제어 장치에서 실행될 때 방법의 모든 단계를 수행하도록 설계된다. 이를 통해, 구조적 변경없이 전자 제어 장치에서 방법이 구현될 수 있다. 이를 위해, 컴퓨터 프로그램이 저장된 기계 판독 가능한 데이터 캐리어가 제공된다. 컴퓨터 프로그램을 전자 제어 장치에 업로드함으로써, 제안된 방법에 의해 관련 기계를 작동 또는 제어하도록 설계된 전자 제어 장치가 얻어진다.
본 발명의 추가 장점들 및 구성들은 하기 설명 및 첨부한 도면에 나타난다.
전술한 특징들과 후술할 특징들은 각각의 제시된 조합으로뿐만 아니라 본 발명의 범위를 벗어나지 않으면서 다른 조합으로도 또는 단독으로 사용될 수 있음은 자명하다.
도 1은 "도구 중심점"(Tool Center Point: TCP)의 결정을 설명하기 위해 종래 기술에 따른 운동 시스템을 포함하는 삽 굴착기를 개략적으로 도시한다.
도 2는 본 발명에 따른 방법의 일 실시예를 나타내는 흐름도를 도시한다.
도 3은 본 발명에 따른 장치의 일 실시예를 나타내는 블록도를 도시한다.
도 1은 굴착기 암의 일부에 배치된 변위 센서에 의한 소위 TCP("Tool Center Point")의 결정을 설명하기 위해 삽 굴착기의 측 단면을 개략적으로 도시한다.
삽 굴착기는 하부 구조(100), 및 로터리 조인트(103)를 통해 상기 하부 구조(100)에 회전 가능하게 장착된 상부 구조(105)를 포함한다. 굴착기 암 형태의 운동 시스템, 특히 제 1 관절식 암(110), 거기에 배치된 제 2 관절식 암(115) 및 거기에 배치된 제 3 관절식 암(120)을 포함하는 운동 시스템이 상부 구조(105)에 배치된다. 제 3 관절식 암(120)에는 삽(125)이 배치되고, 상기 삽(125)의 상부 부분에는 TCP(127)가 배치된다. 제 1 관절식 암(110)은 제 1 연결부(130)를 통해 상부 구조(105)에 피벗 가능하게 배치되고, 제 2 연결부(135)를 통해 제 2 관절식 암(115)에 피벗 가능하게 연결된다. 이에 상응하게, 제 3 관절식 암(120) 및 삽(125)은 해당 연결부(137, 138)를 통해 피벗 가능하게 연결된다.
삽 굴착기가 작동 중일 때 관절식 암(110, 115, 120)은 완전한 비틀림 강성이 아니고 연결부(130, 135, 137, 138)는 조인트 유격을 가지므로, 삽(125), 특히 TCP(127)의 위치에서 예측할 수 없는 부정확성 또는 공차가 발생한다. 또한, 관절식 암(110, 115, 120) 및 삽(125)은 유압 실린더(140, 155, 170, 185)에 의해 유압식으로 작동되며, 그 연결부(145, 150, 160, 165, 175, 180, 190, 195)에도 조인트 유격이 발생하므로, TCP(127)의 위치를 결정할 때 추가 부정확성 또는 공차가 발생한다.
도 1에 도시된 삽 굴착기의 상부 구조(105)에 대한 TCP(127)의 상대 위치는 상이한 방식으로 측정될 수 있다. 이를 위해, 관성 센서와 로터리 엔코더가 사용될 수 있다. 그러나 특히 상부 구조가 회전할 때, 관성 센서에 의한 운동 요소의 위치에 기초한 위치 결정은 대개 비교적 부정확하다. 따라서, 상부 구조 상의 각각의 센서와 TCP(127) 사이에 시각적 접촉이 있는 경우, 예를 들어 추적 장치를 통해 검출된 TCP(127)의 실제 공간적 위치와 상기 관성 센서 및/또는 유압 실린더 위에 배치된 압력 센서를 통해 모델링된 위치 사이의 조정이 모델 계산을 기초로 수행될 수 있다. 대안으로서 또는 추가로, 정확한 TCP 위치가 적어도 하나의 고주파 신호 송신기 또는 신호 수신기 및/또는 적어도 하나의 광학 카메라 및/또는 적어도 하나의 레이저 거리 측정기 및/또는 적어도 하나의 초음파 센서에 의해 검출되는 직접적인 측정 방법이 고려된다.
도 2에 도시된 흐름도를 참조하여 아래에서 설명되는, 관련 작업 기계 주변의 물체와의 조건부로 허용되는 또는 허용되지 않는 충돌을 검출 또는 결정하기 위한 방법에서, 우선 작업 기계에 배치된 환경 센서(205) 및/또는 다른 기계의 센서에 의해 지형 또는 인프라를 기초로로 3D 환경 모델 또는 3D 환경 맵(200)이 작성된다. 또한, 머신 비전 또는 패턴 인식의 알려진 방법에 의해, 고정된 물체, 예를 들어 건물, 도로/길, 건설 굴착, 가로등, 나무 또는 건축 자재, 및 고정되지 않은 물체, 예를 들어 서있는 기계, 서있는 차량 또는 서있는 사람, 움직이는 물체, 예를 들어 달리는 사람, 움직이는 차량 또는 작동하는 기계가 검출되고 분류될 수 있다. 검출된 물체들은 선택적으로 예를 들어, 글로벌 내비게이션 시스템(GNSS)과 소위 "실시간 운동 시스템"(Real Time Kinematik: RTK)에 의해 지리적으로 참조될 수 있는 의미론적 맵에서 검출되는 것이 바람직하다. 따라서, 작업 기계는 의미론적 맵에서 독자적으로 및/또는 도움을 받아 위치 결정되어 거기서 내비게이션될 수 있다.
또한, 아래에 설명된 기능에 의해, 기계가 작업할 수 있는(허용 충돌) 의미론적 맵의 각각의 영역 또는 부분과 기계가 물체와 충돌하지 않으면서 움직일 수 있는 의미론적 맵의 영역 또는 부분이 식별된다(210). 가능한 충돌에 대한 경우에 따라 반복되는 테스트(215)에서 실제로 주변 물체와 작업 기계의 도구 또는 운동 시스템의 충돌이 나타나는 경우, 의미론적 맵의 상기 영역 또는 부분은 상기 방식으로 검출되거나 결정된 TCP 위치 데이터(225)와 비교될 수 있다(220).
기계(또는 차량) 및 그 도구의 이동 역학으로 인해, 가능하고 예측 가능한 이동 궤도 외에도, 주변 및/또는 가공할 공작물 또는 작업 재료와 필요하거나 유용한 접촉이 나타난다. 예를 들어, 휠 로더는 삽으로 땅 더미 내로 들어가서 벌크 재료를 집어 올릴 수 있고, 착암기는 끌로 돌이 많은 공작물이나 작업 재료에 둔각으로 놓여 재료를 깎아낼 수 있거나, 보러(borer)는 각각의 지면 내로 수직으로 들어가 기초공사를 할 수 있다. 이로 인해, 관련 물체들(공작물 또는 작업 재료)과의 필요한 접촉은 물론 도구 또는 각각의 작업 프로세스에 의존하는 상기 물체들의 변화가 나타나고, 이 변화는 여기에 설명된 방법 및 장치에 의해 안전하고 신뢰성 있게 검출될 수 있다.
의미론적 맵에서 도구, 공작물 및 작업 프로세스와 논리적으로 관련된 영역/부분들은 식별된다. 검출되거나 분류된 공작물을 향해 예측된 궤도을 따른 도구의 접근 및/또는 작업 프로세스 관점에서 볼 때 공작물에서의 그럴듯한 상호 작용 및 변화는 의미론적 맵에서 허용 충돌 영역으로서 표시된다.
파선 230으로 표시된 작업 기계의 작동 과정에서, 계획된 또는 예측된(235) 이동 궤도와 상기 궤도 영역에서 분류된 물체에 기초하여, 허용되지 않는 상호 작용이 검출되면(240), 기계 및/또는 운동 시스템 또는 도구를 중지시키거나 및/또는 각각의 물체를 피하기 위해 경고가 제공되고 및/또는 개입이 이루어진다(245). 예측된 궤도는 사람이나 다른 작업 기계를 통과하지 않을 수 있지만, 기존 작업 프로세스의 범위 내에서 아래에 설명된 대로 기계 또는 도구와 각각의 물체 간의 원하는 접촉이 허용된다.
궤도 계획을 위해, 조작자의 제어 명령뿐만 아니라 기계 또는 도구의 이동 역학을 기초로 도구 또는 기계의 궤도가 예측될 수 있다. 예측된 궤도가 사람의 신체와 겹치면, 기계 또는 도구는 즉시 또는 직접 정지된다. 사람이 움직이고 그 이동 궤도가 추정될 수 있다면, 이 궤도가 충돌 관리에 포함될 수 있다.
또한, 추가의 소위 "운전자 모니터링" 시스템을 사용하여 기계의 조작자의 시선 방향에 따라, 조작자가 기계의 상호 작용 영역에 있는 사람을 인식했고 기계의 이동 시에도 바라보고 있는지의 여부가 검출될 수 있다. 그런 다음, 분류된 사람은 해당 "운전자 모니터링" 카메라에 의해 검출되는 조작자의 시선 방향의 위장되지 않았거나 덮이지 않은 연장선에 위치한다. 그렇지 않은 경우, 기계가 즉시 중지될 수 있다.
상기 카메라 시스템에 추가로 제스처 인식 기능이 있으면, 이 제스처 인식 기능도 충돌 관리에 포함될 수 있다. 따라서, 기계의 조작자에게 지시하는 사람은 그 상호 작용 영역에서 예를 들어 수신호로, 도구 또는 이동해야 할 짐이 목표 위치에 도달했다는 것을 또는 도구의 방향이 변경되어야 함을 또는 짐이 예를 들어 위로 이동되어야 하거나 아래로 이동되어야 함을 표시할 수 있다.
의미론적 3D 맵에서 일반적으로 사람 위의 영역을 기계 또는 도구의 허용되지 않는 이동 영역으로서 표시하는 것이 바람직할 수 있다.
작업 기계에서 도구가 교체되면, 장치가 이를 인식하고 충돌 관리에서 이를 고려한다. 굴착기에서 삽을 끌로 교체하면, 다른 필요한, 허용되는 또는 중요한 작업 과제, 환경, 장면, 궤도, 조작, 충돌 관리 및 시스템 개입이 발생할 수 있다. 언급된 작업 프로세스 또는 기술 관계는 사전에 예를 들어, 개발 및 적용 단계에서 결정되고 기계의 기존 제어 유닛에 저장될 수 있다.
다음에서는, 농업용 작업 기계, 즉 콤바인 수확기의 예에서, 상기 의미론적 맵에 기초하여 해당 환경에서 콤바인 수확기를 제어하고 조절하기 위한 설명된 충돌 모니터링이 수행되는 방법이 설명된다.
센서 또는 기타 소스에 의해 제공되는 다음 정보는 이 농업 기계에서 충돌 관리를 위한 기초로서 사용될 수 있다:
- 환경 정보, 예를 들어 토폴로지, 초목, 생물, 날씨, 움직이거나 움직일 수 없는 물체;
- 기계 및 환경 내의 물체의 현재 위치 결정 또는 위치, 의미론적 및/또는 글로벌 맵 정보, 필드 맵;
- 기계 주변의 및 기계 내의 작물 및 작물 흐름 정보;
- 기계 및 작동 재료 정보, 예를 들어 기계 구성 요소의 작동점, 상태 정보, 물리적 변수;
- 조작자 정보, 예를 들어 기계에서 조작 요소의 위치 및 운전자/조작자의 시선 방향/주의력/피로 및 작업 프로세스 의도;
- 현재 시간과 날짜.
이 정보를 기초로, 충돌을 방지하기 위한 각각의 기계 기술 또는 작업 프로세스 컨텍스트에 대한 결론이 도출된다. 이러한 방식으로 결정된 컨텍스트는 장치의 거동을 조정하기 위해 장치에 의해 사용된다. 왜냐하면, 콤바인 수확기가 수확하는 동안, 기계에 잠재적으로 위험한 물체를 헤더로 집어 들어 콤바인 수확기의 가공 구성 요소로 이송하지 않으면서, 작물을 집어 들어 처리하는 것이 중요하기 때문이다.
이 애플리케이션에서, 콤바인 수확기가 센서를 사용하여 작물과 비작물을 능동적으로 구별하고 충돌이 검출되면 추가 수확을 중지하거나 각각의 장애물을 피함으로써, 의미론적 맵에 의해 충돌 방지가 구현될 수 있다. 환경 데이터를 기반으로 한 현재 분석 결과는 의미론적 맵에 저장되어 밭을 다시 수확하거나 밭을 작업할 때 다시 사용될 수 있다.
콤바인 수확기와 주변 물체 사이의 첫 번째 허용되는 충돌은 열매가 아직 달려있는 수확할 밭에 도착했을 때 결정된다. 콤바인 수확기는 부착된 도구, 예컨대 절단 장치로 그곳의 식물에 접근하고 허용되는 충돌로 상기 식물을 잘라낸 다음, 절단된 식물 부분을 기계 내부의 처리 구성 요소에 공급한다. 콤바인 수확기가 밭에서 열매 경로를 따라 가면, 한 번에 밭의 레인 끝에 도달한다. 작물 재고량이 거기서 끝나고 기계는 여기서 예를 들면 커팅 유닛의 손상을 피하기 위해, 커팅 유닛과 주변 물체, 예를 들면 울타리 또는 나무 간의 충돌을 방지해야 한다.
수확 중에, 수확된 작물은 콤바인 수확기의 곡물 탱크에서 운송 차량으로 정기적으로 적재된다. 이는 정지 상태에서 또는 수확이 아직 진행중인 동안 수행될 수 있다. 이를 위해, 언로딩 또는 이송 파이프는 접힌 상태로부터 이송 트레일러쪽으로 피벗되어 재료를 적재한다. 피벗 과정 동안 이송 파이프의 이동 궤도는 적어도 짧은 시간 동안 트레일러와 이송 파이프 사이의 허용되지 않는 접근으로 이어질 수 있다. 이 충돌 상태는 설명된 방법으로 검출될 수 있으며, 콤바인 수확기는 충돌이 발생하지 않는 방식으로 컨텍스트에 따라 제어될 수 있다.
농업 분야의 또 다른 애플리케이션은 경작 장치 또는 파종기를 구비한 트랙터와 작업할 밭 사이에 필요한 충돌이다. 예를 들어, 쟁기나 경운기는 흙을 뒤집거나 섞기 위해 갈래(prong) 또는 쟁기로 땅속으로 파고 들어간다. 여기서 가장 중요한 것은 균일한 가공과 균일한 혼합이다. 이 애플리케이션에서 충돌 관리에 사용되는 컨텍스트 시스템의 과제는 가공 프로세스에서 장치를 균일한 작업 깊이와 일정한 속도로 유지하는 것이다. 예를 들어 더 많은 식물이 남아 있거나 돌이 많은 땅 또는 굳은 땅이 미리 검출되면, 경작 장치가 컨텍스트에 따라 올려지거나 그 이동 속도가 변경된다.
마초 수확기, 야드 로더, 텔레스코픽 로더 등의 분야에서 추가 해당 또는 유사한 응용 예가 가능하다.
이미 설명했듯이, 건설 분야에서도 건설 기계를 사용할 때 의도적인 충돌 또는 이동 패턴이 자주 발생하며, 이는 이동이나 접근이 기계의 운전자 자신에 의해 (의식적으로) 트리거되었더라도 기계 알고리즘에 의해 자신의 기계의 잠재적인 충돌 또는 위험으로서 검출된다. 여기에 설명된 방법 및 장치는 한편으로는 작업 공정에서 토양 또는 벌크 재료와의 의식적인 충돌을 요구하고 재료 운반 삽과 운송 컨테이터의 충돌 또는 이송 컨테이너 내로 재료 운반 삽의 가상 삽입을 요구하는 굴착기 및 휠 로더에도 적용될 수 있다.
또 다른 응용 예는 지게차 또는 텔레스코픽 로더로 트럭을 적재할 때 2개의 차량 공간을 피벗하는 것이다. 여기서, 적재될 물품은 지게차의 포크 상에서 트럭 트레일러의 차량 엔빌로프 내로 이동된다. 충돌 경고 시스템의 경우 이러한 접근은 허용되지 않는 충돌을 의미하지만, 상황에 따라 운전자에 의해 의식적으로 유발된다.
도 3은 관련 작업 기계의 충돌 조건부 허용 작동을 위한 장치의 기능 요소들을 도시한다. 위치 결정 요소(300)에 의해, 의미론적 맵, 특히 의미론적 3D 맵 기반 위치 결정 및 각각의 기계 또는 기계의 도구 및/또는 사람들 및/또는 상호 작용 영역들 및/또는 물체들의 글로벌 또는 GNSS 기반 위치 결정이 수행된다.
관련 작업 기계를 작동하기 위해 최대로 장착된 장치가 여기에서 설명된다. 따라서, 장치의 분할 및/또는 다중화 및/또는 추가 조합이 가능하다.
제 2 기능 요소(302)는 작업 과제 및 작업 단계 또는 작업 과정 또는 그 일부의 계획을 수행한다(소위 "작업 계획"). 계획은 조작자(305) 및/또는 "빌딩 정보 모델"(BIM)에 의해 및/또는 사전에 학습된 조작 및/또는 작업 순서를 기반으로 수행된다. 제 3 기능 요소(310)는 기계 및/또는 도구뿐만 아니라 사람의 이동의 계획, 예측 및 관찰을 수행한다(소위 "궤도 계획"). 제 4 기능 요소(320)를 사용하여, 궤도 계획(310), 의미론적 3D 맵(312) 기반 환경 모델(315) 및 장면 해석(335)에서 예측된 잠재적인 충돌 및 타탕하지 않음이 검출되고, 제 5 기능 요소(330)를 사용하여, 시스템 개입(소위 "액추에이터 관리")에 의한 또는 과제 계획(302) 및 궤도 계획(310)의 업데이트에 의한 조치가 방지된다(소위 "충돌 관리"(320)).
운전자 모니터링뿐만 아니라 조작자와 조작 및 디스플레이 요소 간의 상호 작용은 인간-기계 인터페이스(322)에 의해 수행된다. 차량 모델(325)("vehicle model")은 각각의 운전 가능한 기계의 운동학과 역학 그리고 기계의 제어 및 조절 거동을 포함한다. 상기 액추에이터 관리(330)("actuator management")는 작동 전략에 따라 차량 및 도구의 길이 방향 및 횡 방향 이동들을 관련 액추에이터로 분할하는 것을 고려한다. 상기 장면 해석(335)("scene interpretation")에 의해, 기계, 도구, 공작물 또는 작업 대상의 상호 작용과 이와 관련된 환경 또는 물체의 변화가 예측되어, 검출되며 타당성 검사되고 충돌 관리 및 시스템 개입(340)에 대한 해당 지시 또는 명령은 상기 "액추에이터 관리"(330)에 의해 출력된다.
설명된 방법 또는 장치는 이를 위해 특별히 개발된 제어 장치에서도 사용될 수 있다.
설명된 방법은 관련 기계를 제어하기 위한 전자 제어 장치를 위한 제어 프로그램의 형태로 또는 하나 이상의 해당 전자 제어 유닛(ECU)의 형태로 구현될 수 있다.
100, 105: 기계
110, 115, 120: 운동 시스템
200, 312: 의미론적 맵
205: 환경 센서
225: TCP 위치 데이터
300: 위치 결정 요소
302: 계획 요소
310: 궤도 계획 요소
315: 환경 모델
330: 액추에이터 관리 요소
335: 장면 해석 요소

Claims (13)

  1. 운동 시스템(110, 115, 120)을 포함하는 기계(100, 105)의 작동 방법으로서, 상기 기계(100, 105) 및/또는 상기 운동 시스템(110, 115, 120)의 포즈는 특히 시그널링을 사용하는 측정 방법에 의해 결정되는, 상기 작동 방법에 있어서,
    특히 시그널링을 사용하는 상기 측정 방법에 의해 결정된 상기 기계(100, 105) 및/또는 상기 운동 시스템(110, 115, 120)의 포즈는 의미론적 맵(semantic map)(200, 312)과 비교되고(215), 이에 의해 상기 기계(100, 105) 주변의 물체와의 조건부 허용 가능 충돌 또는 허용되지 않는 충돌이 검출되는 것을 특징으로 하는 작동 방법.
  2. 제 1 항에 있어서, 상기 기계(100, 105)에 대한 환경 모델(315)은 상기 작업 기계에 배치된 환경 센서들(205)에 의해 및/또는 다른 기계의 센서들에 의해 및/또는 상기 기계의 주변에 고정적으로 설치된 센서들에 의해, 상기 의미론적 맵(312)에 기초하여 생성되는 것을 특징으로 하는 작동 방법.
  3. 제 2 항에 있어서, 상기 기계(100, 105)가 상기 물체와의 충돌이 가능한 경우에도 작동하도록 허용될 수 있는 상기 의미론적 맵(312)의 영역들이 식별될 수 있고(210), 상기 기계(100, 105)가 상기 물체와의 충돌과 관련해서 상기 물체와 충돌하지 않으면서 이동될 수 있는 상기 의미론적 맵(312)의 영역들이 식별될 수 있는 것을 특징으로 하는 작동 방법.
  4. 제 3 항에 있어서, 상기 의미론적 맵(312)의 식별된 영역들은 상기 운동 시스템(110, 115, 120)의 TCP 위치 데이터(225)와 비교되는(220) 것을 특징으로 하는 작동 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서, 상기 의미론적 맵(312)에서 상기 물체들은 상기 기계(100, 105) 및/또는 상기 운동 시스템(110, 115, 120)과의 충돌과 관련해서 조건부로 허용되는 것으로 또는 허용되지 않는 것으로 분류되는 것을 특징으로 하는 작동 방법.
  6. 제 5 항에 있어서, 상기 기계(100, 105)의 작동 중에, 상기 기계(100, 1005) 및/또는 상기 운동 시스템(110, 115, 120)의 계획된(235) 또는 예측된 이동 궤도에 기초하여 상기 계획된(235) 또는 예측된 이동 궤도의 영역에서 분류된 물체에 대해 허용되지 않는 상호 작용이 검출되고(240), 적어도 하나의 허용되지 않는 상호 작용이 검출되는 경우, 경고 메시지가 상기 기계(100, 105)의 조작자에게 출력되고 및/또는 상기 기계(100, 105)의 작동 중에 충돌 방지 개입이 수행되는(245) 것을 특징으로 하는 작동 방법.
  7. 운동 시스템(110, 115, 120)을 포함하는 기계(100, 105)의 작동 장치로서, 상기 기계(100, 105) 및/또는 상기 운동 시스템(110, 115, 120)의 포즈는 특히 시그널링을 사용하는 측정 방법에 의해 결정될 수 있는, 상기 작동 장치에 있어서,
    특히 시그널링을 사용한 측정 방법에 의해 결정된 상기 기계(100, 105) 및/또는 상기 운동 시스템(110, 115, 120)의 포즈를 의미론적 맵(312)과 비교하고, 상기 기계(100, 105)의 주변에 배치된 적어도 하나의 물체와의 조건부 허용 가능 충돌 또는 허용되지 않는 충돌을 검출하기 위한 컴퓨팅 수단을 포함하는 것을 특징으로 하는 작동 장치.
  8. 제 7 항에 있어서, 의미론적 맵(312)을 사용해서 상기 기계(100, 105)의 위치를 결정하기 위한 위치 결정 요소(300), 상기 기계(100, 105)에서 수행되는 작업 과제 및 작업 단계를 계획하기 위한 계획 요소(302), 상기 기계(100, 105) 및/또는 상기 운동 시스템(110, 115, 120) 및/또는 상기 기계(100, 105)의 주변에 배치된 물체의 이동을 계획, 예측 및 관찰하기 위한 궤도 계획 요소(310), 상기 의미론적 맵(312)에 기초한 환경 모델(315), 상기 적어도 하나의 물체와의 잠재적인 충돌을 예측하기(320) 위한 장면 해석 요소(335), 및 상기 적어도 하나의 물체와의 허용되지 않는 충돌을 피하기 위한 적절한 조치를 실시하기 위한 액추에어터 관리 요소(330)를 포함하는 것을 특징으로 하는 작동 장치.
  9. 제 8 항에 있어서, 상기 기계(100, 105)의 이동 역학 및 상기 기계(100, 105)의 제어 및 조절 거동에 관련된 차량 모델을 더 포함하는 것을 특징으로 하는 작동 장치.
  10. 제 8 항 또는 제 9 항에 있어서, 상기 장면 해석 요소(335)를 사용해서, 상기 기계(100, 105)의 주변에 있는 추가 기계, 도구, 공작물 또는 작업 대상의 상호 작용 및 그에 따른, 상기 기계(100, 105) 환경의 변화가 예측되고, 검출되며 및/또는 타당성 검사되는 것을 특징으로 하는 작동 장치.
  11. 제 1 항 내지 제 6 항 중 어느 한 항에 따른 방법의 각각의 단계를 실시하도록 설계된 컴퓨터 프로그램.
  12. 제 11 항에 따른 컴퓨터 프로그램이 저장된 기계 판독 가능한 데이터 캐리어.
  13. 상기된 기계를 제 1 항 내지 제 6 항 중 어느 한 항에 따른 방법에 의해 제어하도록 설계된 전자 제어 장치.
KR1020207035494A 2018-06-12 2019-05-13 자율 작동 작업 기계의 작동 방법 및 장치 KR20210020896A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018209336.9 2018-06-12
DE102018209336.9A DE102018209336A1 (de) 2018-06-12 2018-06-12 Verfahren und Einrichtung zum Betrieb von autonom betriebenen Arbeitsmaschinen
PCT/EP2019/062198 WO2019238330A1 (de) 2018-06-12 2019-05-13 Verfahren und einrichtung zum betrieb von autonom betriebenen arbeitsmaschinen

Publications (1)

Publication Number Publication Date
KR20210020896A true KR20210020896A (ko) 2021-02-24

Family

ID=66597546

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207035494A KR20210020896A (ko) 2018-06-12 2019-05-13 자율 작동 작업 기계의 작동 방법 및 장치

Country Status (4)

Country Link
JP (1) JP7143451B2 (ko)
KR (1) KR20210020896A (ko)
DE (1) DE102018209336A1 (ko)
WO (1) WO2019238330A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019204752A1 (de) * 2019-04-03 2020-03-26 Thyssenkrupp Ag Verfahren und Einrichtung zum Betrieb von insbesondere im Tagebau einsetzbaren Abraum- und Fördermaschinen
US11970839B2 (en) 2019-09-05 2024-04-30 Deere & Company Excavator with improved movement sensing
US11821167B2 (en) 2019-09-05 2023-11-21 Deere & Company Excavator with improved movement sensing
US11693411B2 (en) 2020-02-27 2023-07-04 Deere & Company Machine dump body control using object detection
CN111968262B (zh) * 2020-07-30 2022-05-20 国网智能科技股份有限公司 一种语义智能变电站巡视作业机器人导航系统及方法
US12008905B2 (en) 2020-09-18 2024-06-11 Stoneridge Electronics Ab Curb detection system for commercial vehicles
DE102020213294A1 (de) 2020-10-21 2022-04-21 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Überwachung eines Baustellenbereichs, Überwachungssystem, Computerprogramm und Speichermedium
CN113565324A (zh) * 2021-07-26 2021-10-29 中建四局第三建设有限公司 一种狭小空间内贝雷架整体水平滑移定点拆除方法
DE102021209150A1 (de) 2021-08-20 2023-02-23 Zf Friedrichshafen Ag Verfahren zum Überwachen eines Arbeitsumfelds einer Arbeitsmaschine
DE102021210113A1 (de) 2021-09-14 2023-03-16 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Steuerung einer Ausrüstungsdrehung einer Arbeitsausrüstung einer Arbeitsmaschine und Arbeitsmaschine
DE102021131571A1 (de) 2021-12-01 2023-06-01 Martin Lindenbauer Assistenzsystem
US20230339734A1 (en) * 2022-04-26 2023-10-26 Deere & Company Object detection system and method on a work machine
US20240185719A1 (en) * 2022-12-01 2024-06-06 Caterpillar Inc. Systems and methods for detecting false positives in collision notifications

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5826130A (ja) * 1981-08-10 1983-02-16 Meidensha Electric Mfg Co Ltd 土建作業方法
JPH1088625A (ja) * 1996-09-13 1998-04-07 Komatsu Ltd 自動掘削機、自動掘削方法および自動積み込み方法
US6044632A (en) * 1998-02-05 2000-04-04 Eaton Corporation, Cutler-Hammer Products Backup proximity sensor for a vehicle
US6363632B1 (en) * 1998-10-09 2002-04-02 Carnegie Mellon University System for autonomous excavation and truck loading
US7516563B2 (en) * 2006-11-30 2009-04-14 Caterpillar Inc. Excavation control system providing machine placement recommendation
US8315789B2 (en) * 2007-03-21 2012-11-20 Commonwealth Scientific And Industrial Research Organisation Method for planning and executing obstacle-free paths for rotating excavation machinery
US20090043462A1 (en) * 2007-06-29 2009-02-12 Kenneth Lee Stratton Worksite zone mapping and collision avoidance system
KR100955655B1 (ko) * 2007-10-17 2010-05-06 한국생산기술연구원 로봇의 자율 주행 방법
DE102013212154A1 (de) * 2013-06-26 2014-12-31 Robert Bosch Gmbh Vorrichtung zum Einpflegen von Arbeitsraumdaten in ein Arbeitsraumbegrenzungssystem einer Arbeitsmaschine
NL1041331B1 (nl) * 2015-06-02 2017-01-02 Sander Johannes Bernaerts Ing Onkruidverwijderinrichting.
DE102015010514B4 (de) * 2015-08-13 2019-06-13 Audi Ag Verfahren zur Ermittlung von Karteninformationen für einen Kartendatensatz einer Navigationsumgebung und Recheneinrichtung
JP6673786B2 (ja) * 2016-09-05 2020-03-25 株式会社クボタ 作業車自動走行システム及び走行経路管理装置
JP6599835B2 (ja) * 2016-09-23 2019-10-30 日立建機株式会社 鉱山用作業機械、障害物判別装置、及び障害物判別方法
DE102016224076A1 (de) * 2016-12-02 2018-06-07 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen einer Position eines Baggerarms mittels eines an einem Bagger angeordneten LIDAR-Systems
CN106802954B (zh) * 2017-01-18 2021-03-26 中国科学院合肥物质科学研究院 无人车语义地图模型构建方法及其在无人车上的应用方法
US10458810B2 (en) * 2017-12-21 2019-10-29 GM Global Technology Operations LLC Traffic light state assessment

Also Published As

Publication number Publication date
WO2019238330A1 (de) 2019-12-19
JP7143451B2 (ja) 2022-09-28
JP2021526086A (ja) 2021-09-30
DE102018209336A1 (de) 2019-12-12

Similar Documents

Publication Publication Date Title
KR20210020896A (ko) 자율 작동 작업 기계의 작동 방법 및 장치
US10479354B2 (en) Obstacle detection system for a work vehicle
AU2016200300B2 (en) Control system having tool tracking
CN107794967B (zh) 机器的控制系统
CN105604120A (zh) 用于辅助包括主体和能够相对于主体运动的执行器的类型的机器的使用者的系统
US10266117B2 (en) Device and method for providing a vehicle environment view for a vehicle
US20090088979A1 (en) Automated machine navigation system with obstacle detection
US20200356096A1 (en) Autonomous agricultural working machine and method of operation
US9651381B2 (en) Terrain mapping system using virtual tracking features
Baillie et al. A review of the state of the art in agricultural automation. Part III: Agricultural machinery navigation systems
EP3461955A1 (en) System for repositioning a backhoe digger
CN116472384A (zh) 具有用于检测作业区内的对象的装置的机器和对应方法
Stentz Robotic technologies for outdoor industrial vehicles
US20170314381A1 (en) Control system for determining sensor blockage for a machine
EP3901722B1 (en) Travel state display device and automated travel system
US20220282460A1 (en) System and method for terrain based control of self-propelled work vehicles
US20230359203A1 (en) Stability system for an articulated machine in a coasting mode
Powell et al. A sensor integration method for autonomous equipment
KR20230164521A (ko) 건설 기계 및 건설 기계의 주행 가능 영역 판단 방법
JP2023127232A (ja) 作業車両
Wang et al. Control System and Obstacle Avoidance Strategy for Orchard Unmanned Vehicle
JP2023066442A (ja) 建設機械
Nasrallah et al. Steer-by-wire Control System Using GPS for Articulated Vehicles

Legal Events

Date Code Title Description
WITB Written withdrawal of application