KR20230159824A

KR20230159824A - Recording media that records automatic driving systems, work vehicles, and automatic driving programs

Info

Publication number: KR20230159824A
Application number: KR1020237029909A
Authority: KR
Inventors: 미치히사 이이다; 도모야 스야마; 다카시 나카바야시; 슌스케 미야시타; 스케 미야시타
Original assignee: 가부시끼 가이샤 구보다
Priority date: 2021-03-22
Filing date: 2022-03-22
Publication date: 2023-11-22
Also published as: CN117043703A; JP2022146457A; WO2022202801A1

Abstract

자동 주행 시스템은, 위성 신호에 기초하여 측위 데이터를 산출하는 위성 측위 모듈(31)과, 측위 데이터에 기초하여 제1 기체 위치를 산출하는 제1 기체 위치 산출부(55)와, 거리 계측 센서(32)로부터의 측거 신호를 SLAM 알고리즘을 사용하여 처리하여, 제2 기체 위치를 산출하는 제2 기체 위치 산출부(50)와, 자동 주행 제어부(60)를 구비한다. 자동 주행 제어부(60)는, 제1 기체 위치에 기초하는 자동 주행 제어를 행하는 제1 모드와 제2 기체 위치에 기초하는 자동 주행 제어를 행하는 제2 모드를 가지며, 또한 주행 기체가 측위 데이터의 산출이 불가능한 제2 영역으로부터 측위 데이터의 산출이 가능한 제1 영역으로 이동할 때, 제2 영역에서는 제2 모드가 되고, 제1 영역에서는 제1 모드가 된다.The automatic navigation system includes a satellite positioning module 31 that calculates positioning data based on satellite signals, a first aircraft position calculation unit 55 that calculates the first aircraft position based on the positioning data, and a distance measurement sensor ( It is provided with a second aircraft position calculation unit 50 that processes the range signal from 32) using a SLAM algorithm to calculate the second aircraft position, and an automatic travel control unit 60. The automatic travel control unit 60 has a first mode for performing automatic travel control based on the first aircraft position and a second mode for performing automatic travel control based on the second aircraft position, and the traveling aircraft calculates positioning data. When moving from the impossible second area to the first area where positioning data can be calculated, the second area becomes the second mode, and the first area becomes the first mode.

Description

Recording media that records automatic driving systems, work vehicles, and automatic driving programs

본 발명은, 작업 장치를 장비한 주행 기체를 자동 주행시키는 자동 주행 시스템에 관한 것이다.The present invention relates to an automatic traveling system that automatically runs a traveling body equipped with a working device.

자동 주행하는 작업기의 대부분은, GNSS 등의 위성 측위 시스템을 사용한 기체 위치 산출 기능을 구비하고 있다. 산출된 기체 위치와 미리 설정된 목표 주행 경로에 기초하여 자동 주행이 행해진다. 그러나 위성 신호의 수신 상태가 나쁜 경우는, 기체 위치의 산출을 할 수 없거나, 혹은 산출되어도 부정확하다고 하는 문제가 발생한다. 또한, 위성 측위에 있어서 RTK를 사용하고 있는 경우, RTK 기지국의 통신 상태가 나쁜 경우도 마찬가지의 문제가 발생한다.Most of the work machines that run automatically are equipped with an aircraft position calculation function using a satellite positioning system such as GNSS. Automatic travel is performed based on the calculated aircraft position and a preset target travel route. However, when the reception condition of the satellite signal is poor, a problem arises in which the aircraft position cannot be calculated, or even if calculated, it is inaccurate. Additionally, when RTK is used in satellite positioning, the same problem occurs even when the communication condition of the RTK base station is poor.

위성 측위 시스템을 사용하지 않는 기체 위치 산출 기술로서, SLAM(Simultaneous Localization and Mapping)이 알려져 있다. 이 기술에서는, LIDAR 등의 거리 계측 센서에 의해 얻어지는 주위 환경의 점군 데이터인 환경 지도에 기초하여 기체 위치가 산출된다. 그러나 이 SLAM에 있어서도, 주위 환경에 특징점이 되는 특정물이 적은 경우, 기체 위치의 산출을 할 수 없거나, 혹은 산출되어도 부정확하다는 문제가 발생한다.SLAM (Simultaneous Localization and Mapping) is known as an aircraft position calculation technology that does not use a satellite positioning system. In this technology, the aircraft position is calculated based on an environmental map, which is point cloud data of the surrounding environment obtained by a distance measurement sensor such as LIDAR. However, even in this SLAM, if there are few specific objects that serve as characteristic points in the surrounding environment, the problem arises that the aircraft position cannot be calculated or is inaccurate even if calculated.

특허문헌 1에 의한 자동 주행 대차로서는, SLAM을 사용하여 산출된 기체 위치의 확률 분포(제1 확률 분포)와, 위성 측위 시스템을 사용하여 산출된 기체 위치의 확률 분포(제2 확률 분포)를 합성하여 작성된 합성 확률 분포(제3 확률 분포)의 피크 위치를 기체 위치라고 간주하여, 자동 주행 제어가 행해진다.As an autonomous vehicle according to Patent Document 1, a probability distribution of the aircraft position calculated using SLAM (first probability distribution) and a probability distribution of the aircraft position calculated using a satellite positioning system (second probability distribution) are synthesized. Automatic travel control is performed by considering the peak position of the synthetic probability distribution (third probability distribution) created as the aircraft position.

일본 특허 공개 제2018-206004호 공보Japanese Patent Publication No. 2018-206004

특허문헌 1에 의한 자동 주행 대차에서는, SLAM을 사용하여 산출된 기체 위치와 위성 측위 시스템을 사용하여 산출된 기체 위치 사이에서 신뢰 확률이 높은 쪽의 기체 위치를 이용함으로써, 어느 한쪽의 기체 위치 산출 기능이 좋지 못한 상태에 빠져도, 다른 쪽의 기체 위치 산출 기능이 리커버리할 수 있다. 그러나 양쪽의 기체 위치 산출 기능이 항상 동작하고 있어야 하므로, 제어계의 처리 부하나 소비 전력의 증대라고 하는 문제가 발생한다.In the automatic driving truck according to Patent Document 1, the position of the aircraft with a higher reliability probability is used between the position of the aircraft calculated using SLAM and the position of the aircraft calculated using the satellite positioning system, thereby providing a function for calculating the position of either aircraft. Even if it falls into this bad state, the other aircraft position calculation function can recover. However, since both aircraft position calculation functions must be operating at all times, problems such as an increase in the processing load and power consumption of the control system arise.

상기 실정을 감안하여, 본 발명의 목적은, 위성 측위와 SLAM을 적절하게 구분하여 사용하여, 다양한 환경하에서, 안정된 자동 주행을 실현시키는 자동 주행 시스템을 제공하는 것이다.In view of the above circumstances, the purpose of the present invention is to provide an automatic driving system that realizes stable automatic driving in various environments by appropriately using satellite positioning and SLAM.

작업 장치를 장비한 주행 기체를 자동 주행시키는 본 발명의 자동 주행 시스템은, 측위 위성으로부터의 위성 신호에 기초하여 측위 데이터를 산출하는 위성 측위 모듈과, 상기 측위 데이터에 기초하여 제1 기체 위치를 산출하는 제1 기체 위치 산출부와, 기체 주위의 적어도 일부를 측거하는 거리 계측 센서와, 상기 거리 계측 센서로부터의 측거 신호를 SLAM(Simultaneous Localization and Mapping) 알고리즘을 사용하여 처리하여, 제2 기체 위치를 산출하는 제2 기체 위치 산출부와, 상기 주행 기체를 자동 주행시키는 자동 주행 제어부를 구비하고, 상기 자동 주행 제어부는, 상기 제1 기체 위치에 기초하는 자동 주행 제어를 행하는 제1 모드와 상기 제2 기체 위치에 기초하는 자동 주행 제어를 행하는 제2 모드를 가지며, 또한 상기 주행 기체가 상기 측위 데이터의 산출이 불가능한 제2 영역으로부터 상기 측위 데이터의 산출이 가능한 제1 영역으로 이동할 때, 상기 제2 영역에서는 상기 제2 모드가 되고, 상기 제1 영역에서는 상기 제1 모드가 된다.The automatic travel system of the present invention, which automatically runs a traveling aircraft equipped with a working device, includes a satellite positioning module that calculates positioning data based on a satellite signal from a positioning satellite, and calculates a first aircraft position based on the positioning data. A first aircraft position calculation unit, a distance measurement sensor that measures at least a part of the surrounding aircraft, and a range measurement signal from the distance measurement sensor are processed using a SLAM (Simultaneous Localization and Mapping) algorithm to determine the second aircraft location. It is provided with a second body position calculation unit that calculates the position of the traveling body, and an automatic travel control unit that automatically runs the traveling body, wherein the automatic travel control unit includes a first mode that performs automatic travel control based on the first body position and the second mode. It has a second mode for performing automatic travel control based on the position of the aircraft, and when the traveling aircraft moves from a second area where calculation of the positioning data is not possible to a first area where calculation of the positioning data is possible, the second area becomes the second mode, and in the first area becomes the first mode.

이 자동 주행 시스템에서는, 측위 데이터의 산출이 불가능한 영역, 즉 위성 측위를 사용하여 정확한 자차 위치를 산출할 수 없거나, 혹은 전혀 자차 위치를 산출할 수 없는 영역에서는, SLAM 알고리즘을 사용하여 자차 위치를 산출하여, 자동 주행이 행해진다. 측위 데이터의 산출이 가능한 영역에서는, 위성 측위를 사용한 자동 주행이 행해진다. 위성 측위와 SLAM이 적절하게 구분하여 사용되므로, 자동 주행 제어계의 처리 부하나 소비 전력의 증대가 억제된다.In this automatic driving system, in areas where positioning data cannot be calculated, that is, in areas where the accurate own vehicle position cannot be calculated using satellite positioning, or where the own vehicle position cannot be calculated at all, the SLAM algorithm is used to calculate the own vehicle position. Thus, automatic driving is performed. In areas where positioning data can be calculated, automatic driving using satellite positioning is performed. Since satellite positioning and SLAM are used appropriately, an increase in the processing load and power consumption of the automatic driving control system is suppressed.

작업 장치를 장비한 주행 기체를 구비한 작업기에 있어서, 측위 데이터의 산출이 불가능해지는 제2 영역으로서, 공장 내, 창고 내, 헛간 내, 주차장 내, 큰 수목이 우거져 있는 집의 부지 내 등을 들 수 있다. 모두, 작업기는, 게이트부를 통해 출입하게 된다. 이 게이트부는, 출입구나 문이나 다리 등의 실체가 있는 것에 한정되는 것은 아니며, 지도 좌표에 의해 규정되는 영역이어도 된다. 게이트부 또는 게이트부를 형상화하는 윤곽물은, SLAM 알고리즘을 사용하여 기체 위치를 산출할 때에 필요해지는 특징 표지(랜드마크, 특정물)로서 이용하는 것도 가능하다. 이것으로부터, 본 발명의 적합한 실시 형태에서는, 상기 제2 영역에, 상기 주행 기체가 통과하는 게이트부가 구비되어 있고, 상기 자동 주행 제어부는, 상기 제2 모드에서, 상기 게이트부를 목표로 하는 자동 주행 제어를 행한다.For a work machine equipped with a traveling body equipped with a work device, the second area in which calculation of positioning data is impossible is, for example, inside a factory, inside a warehouse, inside a barn, inside a parking lot, inside a house lot with large trees, etc. You can. In all cases, the work machine enters and exits through the gate portion. This gate portion is not limited to having an actual entrance, door, or bridge, and may be an area defined by map coordinates. The gate portion or the outline that shapes the gate portion can also be used as a feature mark (landmark, specific object) required when calculating the aircraft position using the SLAM algorithm. From this, in a preferred embodiment of the present invention, the second area is provided with a gate section through which the traveling body passes, and the automatic travel control section performs automatic travel control targeting the gate section in the second mode. Do.

게이트부를 목표로 하는 자동 주행 제어에 있어서, 게이트부의 통과 폭이, 작업기의 기체 폭에 비해 그다지 여유가 없는 경우, 게이트부에 대해 정확하게 접근하는 자동 주행 제어가 요구된다. 이것을 위해서는, 상기 자동 주행 제어부가, 상기 제2 모드에서, 상기 게이트부의 폭 방향의 중심점을 주행 목표점으로 하는 자동 주행 제어를 행하는 것이 적합하다.In automatic travel control targeting the gate section, when the passage width of the gate section does not have much margin compared to the body width of the work machine, automatic travel control that accurately approaches the gate section is required. For this purpose, it is suitable for the automatic travel control unit to perform automatic travel control in the second mode using the center point in the width direction of the gate unit as the travel target point.

제2 모드에서 게이트부를 향할 때에 행해지는 기체 위치 산출의 가장 중요한 처리는, 게이트부를 포함하는 스캔 화상(점군 데이터, 점군 지도)을 사용한 스캔 매칭이다. 이 스캔 화상은 거리 계측 센서를 사용하여 취득된다. 스캔 매칭의 출발 참조 지도는, 게이트부를 포함하는 스캔 화상인 것이 적합하다. 즉, 스캔 화상에 게이트부가 포함되는 기체 위치가 주행 기체의 출발 위치로 되어 있는 것이 적합하다. 이것으로부터, 본 발명의 적합한 실시 형태에서는, 상기 제2 기체 위치 산출부는, 상기 게이트부를 포함하는 상기 제2 영역에 있어서의 상기 게이트부 주변의 특정물의 점군 지도이며 상기 제2 영역에 있어서의 상기 주행 기체의 출발점을 기준으로 하여 작성된 출발 참조 지도를 취득함과 함께, 상기 출발 참조 지도를 사용한 스캔 매칭에 의해 상기 제2 기체 위치를 산출한다.In the second mode, the most important process for calculating the position of the aircraft when heading toward the gate is scan matching using a scanned image (point cloud data, point cloud map) including the gate. This scanned image is acquired using a ranging sensor. The starting reference map for scan matching is preferably a scanned image including a gate portion. In other words, it is appropriate that the position of the aircraft including the gate portion in the scanned image is the starting position of the traveling aircraft. From this, in a preferred embodiment of the present invention, the second aircraft position calculation unit is a point cloud map of a specific object around the gate unit in the second area including the gate unit, and the travel in the second area. A departure reference map created based on the starting point of the aircraft is acquired, and the second aircraft position is calculated by scan matching using the departure reference map.

보다 구체적인 제2 영역으로서, 게이트부로서의 출입구를 통해 출입을 반복하는 공장이나 창고나 헛간 등의 시설 내를 들 수 있다. 그러한 시설은 지붕 등을 구비하고 있고, 위성 전파 상태는 매우 나쁘기 때문에, 제1 모드에서의 자동 주행은 불가능해진다. 따라서, 제2 모드에서의 자동 주행이 유리하게 사용된다. 단, 게이트부 주변에서는, 게이트부를 나타내는 점군 데이터나 게이트부 부근의 특징 표지를 나타내는 점군 지도로서의 점군 데이터에 있어서의 점군 수가 부족하여, 양호한 스캔 매칭이 곤란해지는 경우가 있다. 그러한 경우에는, 제1 모드 및 제2 모드에서의 자동 주행이 불가능해지므로, 특별한 모드에서의 자동 주행이 필요해진다. 이것으로부터, 본 발명의 적합한 실시 형태에서는, 상기 제2 영역에, 상기 제1 영역과 이격되고, 상기 게이트부로서 출입구를 갖는 옥내 영역과, 상기 제1 영역 및 상기 옥내 영역에 인접하고, 상기 옥내 영역과 상기 제1 영역을 연결하는 옥외 영역이 구비되어 있고, 상기 자동 주행 제어부는, 상기 제1 모드와, 상기 제2 모드와, 주행 거리를 계측하면서 규정의 타이밍에 규정량의 조타를 하는 자동 주행을 행하는 프로그래밍 모드를 가지며, 또한 상기 제2 영역 중의 상기 옥내 영역에서는, 상기 제2 모드가 되어 상기 출입구를 목표로 하는 자동 주행 제어를 행하고, 상기 제2 영역 중의 상기 옥외 영역에서는, 상기 프로그래밍 모드가 되어 상기 주행 기체를 상기 출입구로부터 상기 제1 영역으로 규정 경로를 따르도록 주행시킨다. 이 프로그래밍 모드에서 사용되는 프로그램에, 예를 들어 좌우의 선회 주행 프로그램이나 S자 선회 주행 프로그램을 내장함으로써, 주행 기체(1)는 자동으로, 좌선회 주행, 우선회 주행, S자 선회 주행을 행할 수 있다. 또한, 특히 조타를 행하지 않는 단순한 직진 주행이라면, 직진용의 프로그램에 의한 주행, 또는 프로그래밍 없음의 주행을 사용하면 적합하다.A more specific second area may be a facility such as a factory, warehouse, or barn where entry and exit are repeated through an entrance or exit as a gate. Since such facilities are equipped with roofs, etc., and the satellite radio wave conditions are very poor, automatic driving in the first mode becomes impossible. Therefore, automatic driving in the second mode is advantageously used. However, in the vicinity of the gate portion, the number of point clouds in the point cloud data representing the gate portion or as a point cloud map representing feature marks in the vicinity of the gate portion is insufficient, making good scan matching sometimes difficult. In such a case, automatic driving in the first and second modes becomes impossible, so automatic driving in a special mode becomes necessary. From this, in a preferred embodiment of the present invention, the second area includes an indoor area spaced apart from the first area and having an entrance as the gate portion, and adjacent to the first area and the indoor area, the indoor area An outdoor area is provided connecting the area and the first area, and the automatic driving control unit performs automatic steering by a prescribed amount at a prescribed timing while measuring the first mode, the second mode, and the driving distance. It has a programming mode for running, and in the indoor area of the second area, the second mode is used to perform automatic travel control targeting the entrance and exit, and in the outdoor area of the second area, the programming mode is performed. causes the traveling body to travel along a prescribed path from the entrance to the first area. By incorporating, for example, a left and right turning travel program or an S-shaped turning travel program into the program used in this programming mode, the traveling body 1 can automatically perform left-turning travel, right-turning travel, and S-shaped turning travel. You can. In addition, especially for simple straight driving without steering, it is suitable to use driving with a straight driving program or driving without programming.

본 발명의 적합한 실시 형태에서는, 상기 제2 영역에, 상기 제1 영역과 이격되고, 상기 게이트부로서 출입구를 갖는 옥내 영역과, 상기 제1 영역 및 상기 옥내 영역에 인접하고, 상기 옥내 영역과 상기 제1 영역을 연결하는 옥외 영역이 구비되어 있고, 상기 자동 주행 제어부는, 상기 제2 영역 중의 상기 옥내 영역에서는, 상기 제2 모드가 되어 상기 출입구를 목표로 하는 자동 주행 제어를 행하고, 상기 제2 영역 중의 상기 옥외 영역에서는, 상기 제2 모드가 되어 상기 옥내 영역에 있어서의 옥내 영역 특정물을 지표로 하여 상기 옥내 영역 특정물로부터 이격되는 자동 주행 제어를 행한다. 본 구성이라면, 전체적으로 제1 모드 및 제2 모드 이외의 모드가 불필요하며, 또한 옥내 영역의 내외를 통해 제2 모드를 사용할 수 있고, 모드의 전환이 불필요해져, 제어 처리부의 내부 구성이 심플해진다.In a preferred embodiment of the present invention, in the second area, an indoor area spaced apart from the first area and having an entrance as the gate portion, adjacent to the first area and the indoor area, the indoor area and the indoor area There is an outdoor area connecting the first area, and the automatic travel control unit enters the second mode in the indoor area of the second area to perform automatic travel control targeting the entrance and exit, and the automatic travel control unit performs automatic travel control targeting the entrance and exit. In the outdoor area of the area, the second mode is used to perform automatic travel control using an indoor area-specific object in the indoor area as an indicator to move away from the indoor area-specific object. With this configuration, there is no need for modes other than the first mode and the second mode as a whole, and the second mode can be used inside and outside the indoor area, switching between modes is unnecessary, and the internal configuration of the control processing unit is simplified.

상술한 위성 측위와 SLAM의 구분 사용은, 제1 영역으로부터 제2 영역으로의 주행 시, 예를 들어 옥외 영역으로부터 옥내 영역으로의 주행 시에도 이용 가능하다. 이것으로부터, 본 발명의 적합한 실시 형태에서는, 상기 자동 주행 제어부는, 상기 주행 기체가 상기 제1 영역으로부터 상기 제2 영역으로 이동할 때, 상기 제1 영역에서는 상기 제1 모드가 되고, 상기 제2 영역에서는 상기 제2 모드가 된다.The above-described separate use of satellite positioning and SLAM can also be used when driving from a first area to a second area, for example, when driving from an outdoor area to an indoor area. From this, in a preferred embodiment of the present invention, the automatic travel control unit enters the first mode in the first area when the traveling body moves from the first area to the second area, and becomes the second mode.

본 발명의 다른 특징은, 작업차이며, 작업 장치를 장비한 주행 기체와, 측위 위성으로부터의 위성 신호에 기초하여 측위 데이터를 산출하는 위성 측위 유닛과, 기체 주위의 적어도 일부를 측거하는 거리 계측 센서와, 1개 또는 복수의 프로세서와, 상기 1개 또는 복수의 프로세서에 의해 실행 가능한 프로그램 명령이 저장된 1개 또는 복수의 메모리를 구비하고, 상기 1개 또는 복수의 프로세서는, 상기 프로그램 명령을 실행함으로써, 제1 모드에서는, 상기 측위 데이터에 기초하여 제1 기체 위치를 산출함과 함께, 상기 제1 기체 위치에 기초하여 상기 주행 기체의 자동 주행 제어를 행하고, 제2 모드에서는, 상기 거리 계측 센서로부터의 측거 신호를 SLAM(Simultaneous Localization and Mapping) 알고리즘을 사용하여 처리함으로써 제2 기체 위치를 산출함과 함께, 상기 제2 기체 위치에 기초하여 상기 주행 기체의 자동 주행 제어를 행하고, 상기 주행 기체가 상기 측위 데이터의 산출이 불가능한 제2 영역으로부터 상기 측위 데이터의 산출이 가능한 제1 영역으로 이동할 때, 상기 제2 영역에서는 상기 제2 모드가 되고, 상기 제1 영역에서는 상기 제1 모드가 되는 점에 있다.Another feature of the present invention is a work vehicle, a traveling body equipped with a work device, a satellite positioning unit that calculates positioning data based on satellite signals from a positioning satellite, and a distance measurement sensor that measures at least a part of the surroundings of the body. and one or more processors and one or more memories storing program instructions executable by the one or more processors, wherein the one or more processors execute the program instructions. In the first mode, the first body position is calculated based on the positioning data, and automatic running control of the traveling body is performed based on the first body position, and in the second mode, the distance measurement sensor The range signal of When moving from a second area in which positioning data cannot be calculated to a first area in which positioning data can be calculated, the second mode becomes the second mode in the second area, and the first mode changes in the first area. .

또한, 본 발명에 있어서, 상기 제2 영역에, 상기 주행 기체가 통과하는 게이트부가 구비되어 있고, 상기 1개 또는 복수의 프로세서는, 상기 프로그램 명령을 실행함으로써, 상기 제2 모드에서, 상기 게이트부를 목표로 하는 자동 주행 제어를 행하면 적합하다.Furthermore, in the present invention, the second area is provided with a gate portion through which the traveling body passes, and the one or more processors execute the program command to control the gate portion in the second mode. It is suitable for carrying out targeted automatic driving control.

또한, 본 발명에 있어서, 상기 1개 또는 복수의 프로세서는, 상기 프로그램 명령을 실행함으로써, 상기 제2 모드에서, 상기 게이트부에 있어서의 폭 방향의 중심점을 주행 목표점으로 하는 자동 주행 제어를 행하면 적합하다.In addition, in the present invention, it is suitable if the one or more processors perform automatic travel control using the center point in the width direction of the gate portion as the travel target point in the second mode by executing the program command. do.

또한, 본 발명에 있어서, 상기 1개 또는 복수의 프로세서는, 상기 프로그램 명령을 실행함으로써 상기 제2 기체 위치를 산출할 때, 상기 게이트부를 포함하는 상기 제2 영역에 있어서의 상기 게이트부 주변의 특정물의 점군 지도이며 상기 제2 영역에 있어서의 상기 주행 기체의 출발점을 기준으로 하여 작성된 출발 참조 지도를 취득함과 함께, 상기 출발 참조 지도를 사용한 스캔 매칭에 의해 상기 제2 기체 위치를 산출하면 적합하다.Additionally, in the present invention, when the one or more processors calculate the second body position by executing the program command, a specific object around the gate unit in the second area including the gate unit is used. It is suitable to acquire a departure reference map that is a point cloud map and created based on the starting point of the traveling aircraft in the second area and calculate the position of the second aircraft by scan matching using the departure reference map. .

또한, 본 발명에 있어서, 상기 제2 영역에, 상기 제1 영역과 이격되고, 상기 게이트부로서 출입구를 갖는 옥내 영역과, 상기 제1 영역 및 상기 옥내 영역에 인접하고, 상기 옥내 영역과 상기 제1 영역을 연결하는 옥외 영역이 구비되어 있고, 상기 1개 또는 복수의 프로세서는, 상기 프로그램 명령을 실행함으로써, 프로그래밍 모드에서는, 주행 거리를 계측하면서 규정의 타이밍에 규정량의 조타를 하는 자동 주행을 행하고, 상기 제2 영역 중의 상기 옥내 영역에서는, 상기 제2 모드가 되어 상기 출입구를 목표로 하는 자동 주행 제어를 행하고, 상기 제2 영역 중의 상기 옥외 영역에서는, 상기 프로그래밍 모드가 되어 상기 주행 기체를 상기 출입구로부터 상기 제1 영역으로 규정 경로를 따르도록 주행시키면 적합하다.Furthermore, in the present invention, in the second area, an indoor area is spaced apart from the first area and has an entrance as the gate portion, and is adjacent to the first area and the indoor area, and the indoor area and the first area are adjacent to the first area and the indoor area. An outdoor area is provided connecting the areas, and the one or more processors execute the program command to perform automatic driving in the programming mode by measuring the driving distance and steering a specified amount at a specified timing. In the indoor area of the second area, the second mode is set to perform automatic travel control targeting the entrance and exit, and in the outdoor area of the second area, the programming mode is set to perform automatic running control targeting the entrance and exit. It is suitable if the vehicle is driven along a prescribed route from the entrance to the first area.

또한, 본 발명에 있어서, 상기 제2 영역에, 상기 제1 영역과 이격되고, 상기 게이트부로서 출입구를 갖는 옥내 영역과, 상기 제1 영역 및 상기 옥내 영역에 인접하고, 상기 옥내 영역과 상기 제1 영역을 연결하는 옥외 영역이 구비되어 있고, 상기 1개 또는 복수의 프로세서는, 상기 프로그램 명령을 실행함으로써, 상기 제2 영역 중의 상기 옥내 영역에서는, 상기 제2 모드가 되어 상기 출입구를 목표로 하는 자동 주행 제어를 행하고, 상기 제2 영역 중의 상기 옥외 영역에서는, 상기 제2 모드가 되어 상기 옥내 영역에 있어서의 옥내 영역 특정물을 지표로 하여 상기 옥내 영역 특정물로부터 이격되는 자동 주행 제어를 행하면 적합하다.Furthermore, in the present invention, in the second area, an indoor area is spaced apart from the first area and has an entrance as the gate portion, and is adjacent to the first area and the indoor area, and the indoor area and the first area are adjacent to the first area and the indoor area. An outdoor area connecting one area is provided, and the one or more processors execute the program instruction to enter the second mode in the indoor area of the second area and target the entrance. It is suitable to perform automatic running control, and in the outdoor area of the second area, the second mode is used to use an indoor area-specific object in the indoor area as an indicator and perform automatic driving control away from the indoor area-specific object.

또한, 본 발명에 있어서, 상기 1개 또는 복수의 프로세서는, 상기 프로그램 명령을 실행함으로써, 상기 주행 기체가 상기 제1 영역으로부터 상기 제2 영역으로 이동할 때에 상기 제1 영역에서는 상기 제1 모드가 되고, 상기 제2 영역에서는 상기 제2 모드가 되면 적합하다.Furthermore, in the present invention, the one or more processors execute the program command, so that when the traveling machine moves from the first area to the second area, the first area is in the first mode. , it is suitable if the second mode is used in the second area.

본 발명의 다른 특징은, 작업 장치를 장비한 주행 기체와, 측위 위성으로부터의 위성 신호에 기초하여 측위 데이터를 산출하는 위성 측위 모듈과, 기체 주위의 적어도 일부를 측거하는 거리 계측 센서를 갖는 작업차를 위한 자동 주행 프로그램을 기록한 기록 매체이며, 상기 측위 데이터에 기초하여 제1 기체 위치를 산출하는 제1 기체 위치 산출 기능과, 상기 거리 계측 센서로부터의 측거 신호를 SLAM(Simultaneous Localization and Mapping) 알고리즘을 사용하여 처리하여, 제2 기체 위치를 산출하는 제2 기체 위치 산출 기능과, 상기 주행 기체를 자동 주행시키는 자동 주행 제어 기능을 컴퓨터에 실현시키고, 상기 자동 주행 제어 기능은, 상기 제1 기체 위치에 기초하는 자동 주행 제어를 행하는 제1 모드와 상기 제2 기체 위치에 기초하는 자동 주행 제어를 행하는 제2 모드를 가지며, 또한 상기 주행 기체가 상기 측위 데이터의 산출이 불가능한 제2 영역으로부터 상기 측위 데이터의 산출이 가능한 제1 영역으로 이동할 때, 상기 제2 영역에서는 상기 제2 모드가 되고, 상기 제1 영역에서는 상기 제1 모드가 되는 자동 주행 프로그램을 기록하고 있는 점에 있다.Another feature of the present invention is a work vehicle having a traveling body equipped with a working device, a satellite positioning module that calculates positioning data based on satellite signals from a positioning satellite, and a distance measurement sensor that measures at least a part of the surroundings of the body. It is a recording medium on which an automatic driving program for A second aircraft position calculation function for calculating the second aircraft position and an automatic travel control function for automatically running the traveling aircraft are implemented on the computer, and the automatic travel control function is used to calculate the second aircraft position. It has a first mode for performing automatic travel control based on the position of the second aircraft, and a second mode for performing automatic travel control based on the position of the second aircraft, and the traveling aircraft receives the positioning data from a second area where calculation of the positioning data is impossible. When moving to the first area where calculation is possible, the automatic driving program that becomes the second mode in the second area and the first mode in the first area is recorded.

도 1은 콤바인의 전체 측면도이다.
도 2는 주행 기체 전방부에 장비된 LIDAR에 의한 유효 측거 범위의 일례를 도시하는 모식도이다.
도 3은 구체적인 제1 영역과 제2 영역의 예를 도시하는 모식적인 지도이다.
도 4는 콤바인에 탑재된 자동 주행 시스템의 기능부를 도시하는 기능 블록도이다.
도 5는 LIDAR를 사용한 스캔에 의해 취득된 점군 데이터를 모식적으로 도시하는 모식도이다.
도 6은 스캔 매칭을 설명하기 위한 모식적인 설명도이다.
도 7은 제2 모드에서의 자동 주행 제어를 평가하는 그래프이다.
도 8은 주차 시설로부터 포장까지의 자동 주행의 일례를 나타내는 흐름도이다.Figure 1 is an overall side view of the combine.
Fig. 2 is a schematic diagram showing an example of the effective range by LIDAR installed at the front of the traveling body.
Figure 3 is a schematic map showing examples of specific first and second areas.
Figure 4 is a functional block diagram showing the functional portion of the automatic driving system mounted on the combine.
Figure 5 is a schematic diagram schematically showing point cloud data acquired by scanning using LIDAR.
Figure 6 is a schematic diagram for explaining scan matching.
7 is a graph evaluating automatic driving control in the second mode.
Figure 8 is a flowchart showing an example of automatic driving from a parking facility to a pavement.

이하, 본 발명에 관한 자동 주행 시스템을 채용한 작업기의 일례로서, 농작업기인 콤바인을 도면에 기초하여 설명한다. 콤바인은, 작업 장치로서, 밀이나 벼 등의 곡간을 예취하여, 탈곡하는 수확 장치를 장비하고 있다. 이 실시 형태에서, 주행 기체(1)의 전후 방향을 정의할 때는, 작업 상태에 있어서의 기체 진행 방향을 따라 정의한다. 도 1에 부호 (F)로 나타내는 방향이 기체 전방측, 도 1에 부호 (B)로 나타내는 방향이 기체 후방측이다. 주행 기체(1)의 좌우 방향을 정의할 때는, 기체 진행 방향에서 본 상태에서 좌우를 정의한다. 「상측(상방)」 또는 「하측(하방)」은, 주행 기체(1)의 연직 방향(수직 방향)에서의 위치 관계이며, 지상 높이에 있어서의 관계를 나타낸다.Hereinafter, as an example of a work machine employing the automatic travel system according to the present invention, a combine, which is an agricultural work machine, will be described based on the drawings. A combine, as a working device, is equipped with a harvesting device that harvests and threshes grain stems such as wheat and rice. In this embodiment, when defining the front-back direction of the traveling body 1, it is defined according to the moving direction of the body in the working state. The direction indicated by symbol (F) in FIG. 1 is the front side of the aircraft, and the direction indicated by symbol (B) in FIG. 1 is the rear side of the aircraft. When defining the left and right directions of the traveling body 1, left and right are defined as seen from the direction of movement of the body. “Upper side (upward)” or “lower side (downward)” is a positional relationship in the vertical direction (vertical direction) of the traveling body 1, and represents a relationship in height above the ground.

도 1에 도시하는 바와 같이, 콤바인에서는, 좌우 한 쌍의 크롤러 주행 장치(10)를 구비한 주행 기체(1)의 전방부에 횡축심 주위로 승강 조작 가능하게, 수확 장치의 하나인 예취부(2)가 연결되어 있다. 좌우 각각의 크롤러 주행 장치(10)의 속도 차에 의해, 주행 기체(1)는 좌우 선회 가능해진다. 또 다른 작업 장치로서, 주행 기체(1)의 후방부에는, 기체 가로 폭 방향으로 배열되는 상태로 탈곡 장치(11)와, 곡립을 저류하는 곡립 탱크(12)가 구비되어 있다. 주행 기체(1)의 전방부 우측 개소에 탑승 운전부(14)가 구비되고, 이 탑승 운전부(14)의 하방에 도시되어 있지 않은 엔진이 구비되어 있다.As shown in FIG. 1, in the combine, the front part of the traveling body 1 equipped with a pair of left and right crawler traveling devices 10 is provided with a harvesting unit (one of the harvesting devices) that can be operated to raise and lower around the horizontal axis 2) is connected. Due to the speed difference between the left and right crawler traveling devices 10, the traveling body 1 can turn left and right. As another working device, the rear part of the traveling body 1 is equipped with the threshing device 11 and the grain tank 12 which stores grain in the state arranged in the body width direction. A boarding operation unit 14 is provided at the front right portion of the traveling body 1, and an engine not shown is provided below this boarding operation unit 14.

도 1에 도시하는 바와 같이, 탈곡 장치(11)는, 예취부(2)에 의해 예취되어 후방으로 반송되어 온 예취 곡간을 내부에 받아들여, 곡간의 밑동을 피드 체인(111)과 끼움 지지 레일(112)에 의해 끼움 지지하여 반송하면서 이삭 끝측을 급동(113)에서 탈곡 처리한다. 그리고 급동(113)의 하방에 구비된 선별부에서 탈곡 처리물에 대한 곡립 선별 처리가 실행되고, 거기에서 선별된 곡립이 곡립 탱크(12)로 반송되어, 저류된다. 또한, 상세한 설명은 하지 않지만, 곡립 탱크(12)에서 저류되는 곡립을 외부로 배출하는 곡립 배출 장치(13)가 작업 장치로서 구비되어 있다.As shown in FIG. 1, the threshing device 11 receives the harvested grain stem that has been harvested by the harvesting unit 2 and transported backward, and sandwiches the base of the grain stem with the feed chain 111 and the support rail. While being sandwiched and conveyed by (112), the tip side of the ear is threshed in the barrel (113). And the grain sorting process with respect to the threshed material is performed in the sorting part provided below the barrel 113, and the grain sorted there is conveyed to the grain tank 12 and is stored. In addition, although detailed explanation is not given, the grain discharge device 13 which discharges the grain stored in the grain tank 12 to the outside is provided as a working device.

예취부(2)에는, 일으켜진 식립 곡간의 밑동을 절단하는 바리캉형의 절단 장치(22), 곡간 반송 장치(23) 등이 구비되어 있다. 곡간 반송 장치(23)는, 밑동이 절단된 세로 자세의 예취 곡간을 서서히 옆으로 쓰러지는 자세로 변경시키면서, 피드 체인(111)의 시단부를 향해 반송한다.The reaping unit 2 is equipped with a barrican-type cutting device 22 for cutting the base of the raised planted grain stem, a grain stem conveyance device 23, etc. The grain stem conveyance device 23 conveys the harvested grain stem in the vertical position with the base cut toward the starting end of the feed chain 111 while gradually changing the posture to fall sideways.

탑승 운전부(14)의 천장부에는, 위성 측위 모듈(31)이 마련되어 있다. 위성 측위 모듈(31)에는, GNSS(global navigation satellite system) 신호(위성 신호의 일례)를 수신하기 위한 위성용 안테나가 포함되어 있다.A satellite positioning module 31 is provided on the ceiling of the boarding operation unit 14. The satellite positioning module 31 includes a satellite antenna for receiving a GNSS (global navigation satellite system) signal (an example of a satellite signal).

도 2에 도시하는 바와 같이, 주행 기체(1)의 전방부의 예취부(2)를 피한 위치에, 전방으로 연장된 브래킷을 통해, 기체 주위의 적어도 일부를 측거하는 거리 계측 센서로서의 LIDAR(Light Detection and Ranging)(32)가 장비되어 있다. 이 LIDAR(32)는, 수평 전방위 360°와 수직 시야 30°의 스캔 사양을 갖는 3D-LIDAR이다. 단, 주행 기체(1)나 예취부(2)를 검출하는 영역은 마스킹되므로, 이 LIDAR(32)는, 도 2에 도시하는 바와 같이, 실질적으로는, 전방 대략 180°의 점군 데이터를 취득하게 된다.As shown in FIG. 2, LIDAR (Light Detection) as a distance measurement sensor that measures at least a part of the surroundings of the body through a bracket extending forward at a position avoiding the reaping part 2 of the front part of the traveling body 1 and Ranging)(32) are equipped. This LIDAR 32 is a 3D-LIDAR with scan specifications of 360° horizontal omnidirectional and 30° vertical field of view. However, since the area for detecting the traveling body 1 and the harvesting unit 2 is masked, this LIDAR 32 acquires point cloud data approximately 180° forward, as shown in FIG. 2. do.

도 3에 도시되어 있는 바와 같이, 이 실시 형태에서는, 자동 주행 시스템에 의한 제어에 의해, 헛간 등의 주차 시설 PF(옥내 영역)에 주차되어 있는 콤바인은, 주차 위치를 출발점으로 하여, 그 게이트부로서의 출입구 GA를 통과하여, 사도 및 공도(농도 등)을 거쳐, 포장까지 자동 주행할 수 있다. 이 주행예에서는, 사도의 일부 및 공도는 측위 데이터에 기초하는 기체 위치(제1 기체 위치)의 산출이 가능한 제1 영역 A1이고, 주차 시설 PF 및 그 주변은 측위 위성으로부터의 측위 데이터에 기초하는 기체 위치(제2 기체 위치)의 산출이 불가능한 제2 영역 A2이다. 따라서, 제1 영역 A1에서의 자동 주행(제1 모드)은 측위 위성으로부터의 측위 데이터에 기초하여 산출되는 기체 위치를 사용하여 행해진다. 제2 영역 A2에서의 자동 주행(제2 모드)은 LIDAR(32)로부터의 측거 신호군인 점군 데이터를 SLAM(Simultaneous Localization and Mapping) 알고리즘을 사용하여 산출되는 기체 위치를 사용하여 행해진다. 또한, 제2 영역 A2에는, 제1 영역 A1과 이격되고, 게이트부로서의 출입구 GA를 갖는 주차 시설 PF(옥내 영역)와, 제1 영역 A1 및 주차 시설 PF(옥내 영역)에 인접하고, 옥내 영역과 제1 영역 A1을 연결하는 옥외 영역이 포함되어 있다.As shown in FIG. 3, in this embodiment, the combine parked in a parking facility PF (indoor area) such as a barn is controlled by an automatic travel system, using the parking position as a starting point, and the gate portion thereof. It can automatically drive through the gate GA, through the private and public roads (including roads), and all the way to the pavement. In this driving example, a part of a private road and a public road are the first area A1 where the aircraft position (first aircraft position) can be calculated based on positioning data, and the parking facility PF and its surroundings are based on positioning data from a positioning satellite. This is the second area A2, where calculation of the aircraft position (second aircraft position) is impossible. Accordingly, automatic navigation (first mode) in the first area A1 is performed using the aircraft position calculated based on positioning data from a positioning satellite. Automatic navigation (second mode) in the second area A2 is performed using point cloud data, which is a range signal group from LIDAR 32, and the aircraft position calculated using a SLAM (Simultaneous Localization and Mapping) algorithm. Additionally, in the second area A2, there is a parking facility PF (indoor area) that is spaced apart from the first area A1 and has an entrance/exit GA as a gate portion, and is adjacent to the first area A1 and the parking facility PF (indoor area), and is an indoor area. and an outdoor area connecting the first area A1.

도 4에는, 콤바인의 제어계의 기능 블록도가 도시되어 있다. 이 실시 형태의 제어계는, 복수의 ECU라고 불리는 전자 제어 유닛과, 각종 동작 기기, 센서군이나 스위치군, 그들 사이의 데이터 전송을 행하는 차량 탑재 LAN 등의 배선망으로 구성되어 있다.In Figure 4, a functional block diagram of the control system of the combine is shown. The control system of this embodiment is composed of a wiring network such as a plurality of electronic control units called ECUs, various operating devices, sensor groups and switch groups, and a vehicle-mounted LAN that transmits data between them.

이 기능 블록도에 나타내어진 제어계는, ECU로 구성되는 제1 제어 유닛(5)과 제2 제어 유닛(6)과 장애물 검출 유닛(4)을 구비하고 있다.The control system shown in this functional block diagram includes a first control unit 5 and a second control unit 6 comprised of an ECU, and an obstacle detection unit 4.

제1 제어 유닛(5)은 기체 위치를 산출하는 유닛이며, 제1 기체 위치 산출부(55)와 제2 기체 위치 산출부(50)를 구비하고 있다. 제1 기체 위치 산출부(55)는 위성 측위 모듈(31)로부터의 측위 데이터에 기초하여 주행 기체(1)의 기준 위치로서의 기체 위치(제1 기체 위치)를 산출한다. 주행 기체(1)의 기준 위치로서, 예를 들어 주행 기체(1)의 전후 및 좌우의 중심 위치, 주행 기체(1)의 전방부 중심 위치 등이 채용된다.The first control unit 5 is a unit that calculates the body position, and is provided with a first body position calculation unit 55 and a second body position calculation unit 50. The first body position calculation unit 55 calculates the body position (first body position) as a reference position of the traveling body 1 based on the positioning data from the satellite positioning module 31. As a reference position of the traveling body 1, for example, the center position of the front, rear, and left and right sides of the traveling body 1, the center position of the front part of the traveling body 1, etc. are employed.

이 위성 측위 모듈(31)은, RTK(Real Time Kinematic) 측위를 사용하고 있으므로, 기지점인 기지국에서 취득하여 전송되어 오는 신호와, 미지점인 주행 기체(1)에 장비된 이동국으로서의 위성 측위 모듈(31)에서 수신된 신호를 해석하여, 측위 데이터를 산출한다. RTK 측위에서는, 측위 개시 시에, 반송파의 파수의 후보를 압축하는 처리에서의 해인 FLOAT해, 또한 파수를 결정한 해인 FIX해가 구해진다. 이 실시 형태에서는, 적정한 FIX해가 구해지는 주행 영역을 측위 데이터의 산출이 가능한 주행 영역(제1 영역 A1)으로 하고, 적정한 FIX해가 구해지지 않는 주행 영역을 측위 데이터의 산출이 불가능한 주행 영역(제2 영역 A2)으로 한다.Since this satellite positioning module 31 uses RTK (Real Time Kinematic) positioning, the signal acquired and transmitted from the base station, which is a known point, and the satellite positioning module as a mobile station equipped on the traveling aircraft 1, which is an unknown point ( 31), the received signal is interpreted and positioning data is calculated. In RTK positioning, at the start of positioning, a FLOAT solution, which is a solution in the process of compressing the candidate wave number of the carrier wave, and a FIX solution, which is a solution for determining the wave number, are obtained. In this embodiment, the driving area where an appropriate FIX solution is obtained is set as a driving area where positioning data can be calculated (first area A1), and the driving area where an appropriate FIX solution is not obtained is set as a driving area where positioning data cannot be calculated (first area A1). Let it be the second area A2).

제2 기체 위치 산출부(50)는, LIDAR(32)의 스캔 조작에 의해 생성되는 측거 신호를 SLAM 알고리즘을 사용하여 처리하여, 주행 기체(1)의 기준 위치로서의 기체 위치(제2 기체 위치)를 산출한다. 제2 기체 위치 산출부(50)는, 참조 지도 기억부(51)와 SLAM 실행부(52)를 구비하고 있다.The second aircraft position calculation unit 50 processes the range signal generated by the scan operation of the LIDAR 32 using the SLAM algorithm, and processes the aircraft position as the reference position of the traveling aircraft 1 (second aircraft position). Calculate . The second aircraft position calculation unit 50 includes a reference map storage unit 51 and a SLAM execution unit 52.

이 SLAM 알고리즘에서는, 주행 전의 LIDAR 스캔에 의해 얻어진 점군 데이터를 참조 점군 데이터(출발 참조 지도)로 하고, 주행 후의 LIDAR 스캔에 의해 얻어지는 점군 데이터를 입력 점군 데이터(점군 지도)로 한다. 이 점군 데이터에 있어서, 출입구 GA의 주변의 특정물로서의 내벽면이나 농기구나 집기 등이 점군으로서 나타내어진다. 도 5에는, 주차 시설 PF에 주차한 콤바인이 출입구 GA를 향하는 자동 주행 예에서의, 참조 점군 데이터가 나타내져 있다. 참조 점군 데이터는, 실제로는 삼차원의 점군이지만, 도 5에서는, 보기 쉽게 하기 위해, 굵은 실선으로 나타나 있고, 출입구 GA는 실체가 없는 공백으로서 나타나 있다. 참조 점군 데이터는 주행 직전에 취득해도 되고, 더 이전에 취득해도 된다. 참조 점군 데이터는 참조 지도 기억부(51)에 기억된다. 그 기억 시에, 출입구 GA 또는 출입구 GA의 중심점의 좌표(지도 위치) 또는 주차 위치를 링크시킨다.In this SLAM algorithm, point cloud data obtained by LIDAR scanning before driving is used as reference point cloud data (departure reference map), and point cloud data obtained by LIDAR scanning after driving is used as input point cloud data (point cloud map). In this point cloud data, the inner wall surface, agricultural equipment, furniture, etc., as specific objects around the entrance GA, are represented as a point cloud. In FIG. 5, reference point cloud data in an example of automatic travel in which a combine parked in parking facility PF heads toward entrance GA is shown. The reference point cloud data is actually a three-dimensional point cloud, but in Fig. 5, for ease of viewing, it is shown as a thick solid line, and the entrance GA is shown as an insubstantial blank space. Reference point cloud data may be acquired immediately before driving or may be acquired earlier. The reference point cloud data is stored in the reference map storage unit 51. When stored, the coordinates (map location) of the entrance GA or the center point of the entrance GA or the parking position are linked.

주행 기체(1)의 주행이 개시되면, LIDAR 스캔에 의해 입력 점군 데이터가 취득된다. 도 6에는, 참조 점군 데이터와 입력 점군 데이터가 나타내어져 있다. 입력 점군 데이터는 굵은 실선으로 나타내어지고, 참조 점군 데이터는 이점쇄선으로 나타내어져 있다. 이 참조 점군 데이터에 입력 점군 데이터가 겹치도록 점군을 병진·회전 이동시킴으로써 얻어지는 이동 벡터에 기초하여, 주행 기체(1)의 이동량(위치 어긋남, 방위 어긋남)이 산출되고, 그 결과, 주행 후의 주행 기체(1)의 기체 위치(제2 기체 위치)가 구해진다. 이 처리는 스캔 매칭이라고 불리고, SLAM 실행부(52)에 의해 실행된다. 이 스캔 매칭을 10fps 정도로 반복함으로써, 주행하는 주행 기체(1)의 제2 기체 위치가 축차 산출된다.When the traveling body 1 starts traveling, input point cloud data is acquired by LIDAR scanning. In Figure 6, reference point cloud data and input point cloud data are shown. Input point cloud data is represented by a thick solid line, and reference point cloud data is represented by a two-dashed line. Based on the movement vector obtained by translationally and rotationally moving the point cloud so that the input point cloud data overlaps with this reference point cloud data, the movement amount (position misalignment, azimuth misalignment) of the traveling body 1 is calculated, and as a result, the traveling body after running The aircraft position (second aircraft position) in (1) is obtained. This process is called scan matching and is executed by the SLAM execution unit 52. By repeating this scan matching at about 10 fps, the second body position of the traveling body 1 is calculated one by one.

또한, 통상의 SLAM 알고리즘에서는, 스캔 매칭으로 기체 위치를 산출할 때마다, 그 기체 위치에서의 입력 점군 데이터를 참조 점군 데이터로 하여, 순차 참조 점군 데이터를 재기입한다(지도 갱신). 이 실시 형태에서는, 하드웨어의 처리 부하를 저감시켜 처리 속도를 높이기 위해, 지도 갱신을 행하지 않고, 최초의 참조 점군 데이터를 그대로 계속해서 사용한다.In addition, in the normal SLAM algorithm, each time the aircraft position is calculated by scan matching, the input point cloud data at the aircraft position is used as reference point cloud data, and the reference point cloud data is sequentially rewritten (map update). In this embodiment, in order to reduce the processing load on hardware and increase processing speed, map update is not performed and the original reference point cloud data is continuously used as is.

도 7에, 주차 시설 PF의 서로 다른 위치에 주차한 콤바인이 출입구 GA를 향하는 자동 주행(제2 모드)에서의 각 궤적이 모식적으로 도시되어 있다. 도 7에서는, 출입구 GA의 폭 방향에서 중심의 점인 주행 목표점에 부호 CP가 부여되어 있다. 주차 위치인 출발점 a는, 주행 목표점의 연장선에 대해 우측으로 어긋나 있고, 출발점 b는 좌측으로 어긋나 있다. 출발점 a로부터의 주행 궤적은 가는 실선으로 나타내어지고, 출발점 b로부터의 주행 궤적은 점선으로 나타내어져 있다. 이 실험 결과로부터, 출발점 a 및 b로부터의 주행에서는, 처음에는 좌우로 흔들리지만, 도중에 거의 직진이 되고, 최종적으로는 주행 목표점에 대해 +-15cm 이내로 수렴되고 있는 것이 판명되어 있다. 주행 목표점의 연장선 상에 위치하는 출발점 c(주행 목표점에 대해 어긋남이 없는 위치)로부터의 주행에서는, 거의 직진하여, 정확하게 주행 목표점에 도달한다.In FIG. 7, each trajectory in automatic travel (second mode) in which combines parked at different positions of the parking facility PF are heading toward the entrance GA is schematically shown. In Fig. 7, the symbol CP is given to the travel target point, which is the central point in the width direction of the entrance/exit GA. The starting point a, which is the parking position, is shifted to the right with respect to the extension line of the driving target point, and the starting point b is shifted to the left. The driving trajectory from starting point a is indicated by a thin solid line, and the driving trajectory from starting point b is indicated by a dotted line. From the results of this experiment, it was revealed that when traveling from starting points a and b, the vehicle sways left and right at first, but moves almost straight along the way, and ultimately converges to within +-15 cm of the target point. In driving from the starting point c located on the extension of the traveling target point (a position without deviation from the traveling target point), the vehicle moves almost straight and accurately reaches the traveling target point.

제2 제어 유닛(6)은, 이 콤바인의 제어계의 핵심 유닛이며, 입출력 인터페이스로서, 입출력 신호 처리 유닛(6A)을 구비하고 있다. 입출력 신호 처리 유닛(6A)에는, 주행 상태 검출 센서군(81)이나 작업 상태 검출 센서군(82)을 포함하는 차량 센서군(8A), 차량 주행 기기군(84)이나 작업 장치 기기군(85)을 포함하는 동작 기기군(8B)이 접속되어 있다. 주행 상태 검출 센서군(81)에는, 주행 거리를 검출하는 주행 거리 센서, 엔진 회전수 조정구, 액셀러레이터 페달, 브레이크 페달, 변속 조작구 등의 상태를 검출하는 센서가 포함되어 있다. 작업 상태 검출 센서군(82)에는, 예취부(2), 탈곡 장치(11), 곡립 배출 장치(13), 곡간 반송 장치(23)에 있어서의 장치 상태 및 곡간이나 곡립의 상태를 검출하는 센서가 포함되어 있다. 차량 주행 기기군(84)에는, 차량 주행에 관한 제어 기기, 예를 들어 엔진 제어 기기, 변속 제어 기기, 제동 제어 기기, 조타 제어 기기 등이 포함되어 있다. 작업 장치 기기군(85)에는, 예취부(2), 탈곡 장치(11), 곡립 배출 장치(13), 곡간 반송 장치(23)에 있어서의 동력 제어 기기 등이 포함되어 있다.The second control unit 6 is a core unit of the control system of this combine, and is provided with an input/output signal processing unit 6A as an input/output interface. The input/output signal processing unit 6A includes a vehicle sensor group 8A including a driving state detection sensor group 81 and a work state detection sensor group 82, a vehicle traveling device group 84, and a work device device group 85. ) is connected to an operating device group 8B including: The driving state detection sensor group 81 includes sensors that detect the states of the driving distance sensor, the engine speed adjustment tool, the accelerator pedal, the brake pedal, and the shift control tool, which detect the driving distance. The working state detection sensor group 82 includes sensors that detect the state of the equipment and the state of the grain stem or grain in the reaping unit 2, the threshing device 11, the grain discharge device 13, and the grain stem conveyance device 23. is included. The vehicle driving device group 84 includes control devices related to vehicle driving, such as engine control devices, shift control devices, braking control devices, and steering control devices. The work equipment group 85 includes the reaping unit 2, the threshing device 11, the grain discharge device 13, the power control device in the grain conveying device 23, and the like.

제2 제어 유닛(6)은, 또한 자동 주행 제어부(60), 수동 주행 제어부(61), 작업 장치 제어부(62)를 구비하고 있다. 자동 주행 제어 모드가 선택되면, 자동 주행 제어부(60)는 자동 주행 파라미터에 의해 규정된 엔진 회전수나 차속으로 주행 기체(1)를 주행시키도록, 차량 주행 기기군(84)에 제어 신호를 부여한다. 수동 주행 제어 모드가 선택되면, 수동 주행 제어부(61)는 운전자에 의한 액셀러레이터 페달이나 변속 레버에 대한 조작에 기초하여 차량 주행 기기군(84)에 주행 제어 신호를 부여한다. 수동 주행 제어 모드와 자동 주행 제어 모드 사이의 모드 전환에는, 도시되어 있지 않은 자동/수동 전환 조작구가 사용되는데, 콤바인의 작업 주행 상태에 따라서, 자동적으로 모드 전환이 행해지는 경우도 있다.The second control unit 6 also includes an automatic travel control unit 60, a manual travel control unit 61, and a work device control unit 62. When the automatic travel control mode is selected, the automatic travel control unit 60 provides a control signal to the vehicle travel device group 84 to drive the vehicle 1 at the engine speed or vehicle speed specified by the automatic travel parameters. . When the manual travel control mode is selected, the manual travel control unit 61 provides a travel control signal to the vehicle travel device group 84 based on the driver's operation of the accelerator pedal or shift lever. For mode switching between the manual travel control mode and the automatic travel control mode, an automatic/manual switching operation tool (not shown) is used, but depending on the work travel state of the combine, mode switching may be performed automatically.

자동 주행 제어부(60)는, 제1 모드 실행부(60a), 제2 모드 실행부(60b), 제3 모드 실행부(60c), 목표 설정부(60d)를 구비하고 있다. 제1 모드 실행부(60a)는, 제1 기체 위치 산출부(55)에 의해 산출된 제1 기체 위치에 기초하는 자동 주행 제어(제1 모드)를 행한다. 제2 모드 실행부(60b)는, 제2 기체 위치 산출부(50)에 의해 산출된 제2 위치에 기초하는 자동 주행 제어(제2 모드)를 행한다. 예를 들어, 주행 기체(1)가 측위 데이터의 산출이 불가능한 제2 영역 A2로부터 측위 데이터의 산출이 가능한 제1 영역 A1로 이동하는 경우, 제2 영역 A2에서는 제2 모드에서의 자동 주행이 되고, 제1 영역 A1에서는 제1 모드에서의 자동 주행이 된다.The automatic travel control unit 60 includes a first mode executing unit 60a, a second mode executing unit 60b, a third mode executing unit 60c, and a goal setting unit 60d. The first mode execution unit 60a performs automatic travel control (first mode) based on the first body position calculated by the first body position calculation unit 55. The second mode execution unit 60b performs automatic travel control (second mode) based on the second position calculated by the second body position calculation unit 50. For example, when the traveling aircraft 1 moves from the second area A2, where positioning data cannot be calculated, to the first area A1, where positioning data can be calculated, automatic driving in the second mode is performed in the second area A2. , In the first area A1, automatic driving is performed in the first mode.

제3 모드 실행부(60c)는, 주행 거리를 계측하면서 규정의 타이밍에 규정량의 조타를 하는 프로그래밍 모드를 실행하여, 제1 모드나 제2 모드와는 다른 자동 주행을 행한다. 제3 모드 실행부(60c)는 위성 측위에 기초하는 자동 주행이나 SLAM 알고리즘에 기초하는 자동 주행이 불가능할 때, 프로그래밍 모드를 실행한다. 이 프로그래밍 모드에서 사용되는 프로그램에는, 좌우의 선회 주행 프로그램이나 S자 선회 주행 프로그램 등이 포함되어 있고, 이들 프로그램을 실행함으로써, 주행 기체(1)는 자동으로, 좌선회 주행, 우선회 주행, S자 선회 주행을 행한다. 이 프로그래밍 모드에는, 특히 조타를 행하지 않는 단순한 직진 주행을 행하는 프로그램도 포함되어 있다.The third mode executing unit 60c executes a programming mode in which steering is performed by a specified amount at a specified timing while measuring the travel distance, and performs automatic traveling that is different from the first mode or the second mode. The third mode execution unit 60c executes the programming mode when automatic driving based on satellite positioning or automatic driving based on the SLAM algorithm is not possible. Programs used in this programming mode include left and right turning travel programs, S-shaped turning travel programs, etc., and by executing these programs, the traveling body 1 automatically performs left turning travel, right turning travel, and S-shaped turning travel programs. Now, perform a turning drive. This programming mode also includes a program for simple straight driving without any steering.

목표 설정부(60d)는, 자동 주행 시의 주행 목표를 설정하는 것이다. 제1 모드에서의 주행 목표는 목표 주행 경로이고, 제2 모드에서는 목표점 또는 목표 영역이다. 프로그래밍 모드에서는, 프로그램에 의해 규정되는 주행 방위와 주행 거리에 기초하여 주행하기 때문에 특별한 주행 목표를 필요로 하지 않지만, 프로그램에 있어서 주행 목표를 설정해도 된다.The goal setting unit 60d sets a driving goal during automatic driving. The driving goal in the first mode is a target driving path, and in the second mode, it is a target point or target area. In the programming mode, no special travel goal is required because the vehicle travels based on the travel direction and travel distance specified by the program, but a travel target may be set in the program.

작업 장치 제어부(62)는, 미리 설정되어 있는 자동 작업 파라미터에 기초하여, 또는 운전자에 의한 작업 조작구에 대한 조작에 기초하여 작업 장치 기기군(85)에 작업 제어 신호를 부여한다.The work device control unit 62 provides a work control signal to the work device group 85 based on preset automatic work parameters or based on the operator's operation of the work tool.

장애물 검출 유닛(4)은, LIDAR(32)로부터 측거 신호를 이용하여 장애물 검출을 행한다. LIDAR(32) 대신에, 혹은 LIDAR(32)와 함께 초음파 센서나 적외선 센서 등을 사용하도록 구성되어도 된다. 장애물 검출 유닛(4)에 의해, 기체 진행 방향으로 장애물이 검출된 경우, 주행 기체(1)는 감속 또는 정지한다.The obstacle detection unit 4 uses a range signal from the LIDAR 32 to detect obstacles. It may be configured to use an ultrasonic sensor or an infrared sensor instead of the LIDAR 32 or together with the LIDAR 32. When an obstacle is detected in the travel direction of the aircraft by the obstacle detection unit 4, the traveling aircraft 1 decelerates or stops.

이 콤바인에는, 도 4에 도시하는 바와 같이, 관성 측위 유닛(33)이 구비되어 있다. 관성 측위 유닛(33)은 주로 위성 측위 모듈(31)에 의한 위성 항법을 보완하기 위해, 자이로 가속도 센서나 자기 방위 센서를 구비하고 있다.As shown in FIG. 4, this combine is equipped with an inertial positioning unit 33. The inertial positioning unit 33 is mainly equipped with a gyro acceleration sensor or a magnetic orientation sensor to supplement satellite navigation by the satellite positioning module 31.

다음으로, 도 3에 도시된 바와 같은 지도에 있어서의, 주차 시설 PF로부터 포장에 도달할 때까지의 자동 주행의 일례를, 도 8의 흐름도를 사용하여 설명한다. 이 형태에서는, 적어도 포장까지 이어지는 공도와 사도의 일부를 포함하는 영역이 제1 영역 A1이고, 적어도 주차 시설 PF(옥내 영역)와 사도의 나머지 일부를 포함하는 제2 영역 A2이다.Next, an example of automatic driving from the parking facility PF to the pavement on the map shown in FIG. 3 will be explained using the flowchart in FIG. 8. In this form, the area that includes at least the public road leading to the pavement and part of the private road is the first area A1, and the second area A2 includes at least the parking facility PF (indoor area) and the remaining part of the private road.

주차 시설 PF에서의 주차 위치를 출발점으로 하여 주행을 개시하므로, 출발점에 있어서의 점군 데이터인 출발 참조 지도를 취득한다(#01). 그때, 주행 목표로서, 주차 시설 PF의 출입구 GA의 폭 방향의 중심점 CP(주행 목표점, 도 7 참조)이 설정된다(#02).Since driving is started using the parking position in the parking facility PF as the starting point, a starting reference map that is point cloud data at the starting point is acquired (#01). At that time, the center point CP (travel target point, see Fig. 7) in the width direction of the entrance/exit GA of the parking facility PF is set as the travel target (#02).

주차 시설 PF 내는, 위성 측위 모듈(31)에서의 측위 데이터의 산출이 불가능한 제2 영역 A2이므로, 제2 모드에서의 자동 주행이 개시된다(#04). 주행 기체(1)가 움직이기 시작하면, 스캔 매칭 처리가 개시되고(#05), 주행 기체(1)의 기체 위치(제2 위치)가 산출된다(#06). 산출된 기체 위치가 주행 목표점에 도달하였는지 여부가 체크된다(#07). 기체 위치가 주행 목표점에 도달하지 않았으면(#07 "아니오" 분기), 스텝 #04로 되돌아가, 산출된 기체 위치와 주행 목표점에 기초하는 제2 모드에서의 자동 주행이 속행된다.Since the parking facility PF is a second area A2 in which calculation of positioning data by the satellite positioning module 31 is not possible, automatic driving in the second mode is started (#04). When the traveling body 1 starts to move, the scan matching process is started (#05), and the body position (second position) of the traveling body 1 is calculated (#06). It is checked whether the calculated aircraft position has reached the driving target point (#07). If the aircraft position has not reached the travel target point (#07 "No" branch), the process returns to step #04, and automatic travel in the second mode based on the calculated aircraft position and the travel target point continues.

스텝 #07의 체크에서, 기체 위치가 주행 목표점에 도달하였으면(#07 "예" 분기), 위성 측위 상태 진단 처리가 행해진다(#08). 이 위성 측위 상태 진단 처리는, 선행하여, 제2 모드에서의 자동 주행 중에 행해져도 된다. 위성 측위 상태 진단 처리에 있어서의 진단 결과, 즉, 위성 측위 모듈(31)에 있어서 적정한 FIX해가 구해지는지 여부, 즉 현재 위치가 측위 데이터의 산출이 가능한 영역인지 여부가 체크된다(#09). 위성 측위 상태 진단 처리에서 측위 데이터에 기초하는 자동 주행(제1 모드)이 불가능하다고 하는 진단 결과가 나왔으면(#09 「불가」분기), 제3 모드 실행부(60c)에 의한 자동 주행(프로그래밍 모드)이 행해진다(#10). 프로그래밍 모드에서의 자동 주행에서는, 제2 모드에서의 자동 주행의 주행 목표점으로부터 직진으로 제1 모드에서의 자동 주행이 행해지는 위치(본 실시 형태에서는 사도의 도중 개소)에 도달하는 경우에는, 제3 모드 실행부(60c)에서 직진용의 프로그램이 선택되고, 주행 기체(1)는 직진한다. 또한, 제2 모드에서의 자동 주행의 주행 목표점으로부터 곡선 궤적을 거쳐 제1 모드에서의 자동 주행이 행해지는 위치에 도달하는 경우에는, 곡선 주행용의 프로그램이 선택된다. 이에 의해 주행 기체(1)는 제2 영역 A2인 주차 시설 PF로부터 제1 영역 A1인 도로로 규정 경로를 따르도록 주행할 수 있다. 이 프로그래밍 모드에서의 자동 주행은, 측위 데이터에 기초하는 자동 주행(제1 모드)이 가능해질 때까지 행해지므로, 스텝 #08로 되돌아가, 다시 스텝 #09의 체크가 행해진다.In the check in step #07, if the aircraft position has reached the travel target point (#07 "Yes" branch), satellite positioning status diagnosis processing is performed (#08). This satellite positioning status diagnosis process may be performed in advance during automatic driving in the second mode. The diagnosis result in the satellite positioning status diagnosis process, that is, whether an appropriate FIX solution is obtained in the satellite positioning module 31, that is, whether the current position is an area in which positioning data can be calculated, is checked (#09). If the satellite positioning status diagnosis processing results in a diagnosis that automatic driving (first mode) based on positioning data is impossible (#09 “impossible” branch), automatic driving (programming) is performed by the third mode execution unit 60c. mode) is performed (#10). In automatic driving in the programming mode, when reaching the position where automatic driving in the first mode is performed (in this embodiment, a place along the way of the private road) by going straight from the driving target point of the automatic driving in the second mode, the third A program for going straight is selected in the mode executing unit 60c, and the traveling body 1 moves straight. Additionally, when reaching a position where automatic driving in the first mode is performed from the driving target point of automatic driving in the second mode through a curved trajectory, a program for curved driving is selected. Thereby, the traveling body 1 can travel along a prescribed route from the parking facility PF which is the second area A2 to the road which is the first area A1. Since automatic driving in this programming mode is performed until automatic driving based on positioning data (first mode) is possible, the process returns to step #08 and the check in step #09 is performed again.

스텝 #08의 체크에서, 위성 측위 상태 진단 처리에서 측위 데이터에 기초하는 자동 주행(제1 모드)이 가능하다고 하는 진단 결과가 나왔으면(#09 「가능」분기), 제1 모드에서의 자동 주행을 위한 주행 목표로서, 사도의 일부 및 공도(도 3 참조)에 목표 주행 경로가 설정된다(#11). 이 목표 주행 경로의 설정은, 이 흐름도의 개시 시점 등에서, 선행하여 행해져도 된다. 목표 주행 경로가 설정되면, 제1 모드에서의 자동 주행이 행해진다(#12). 이 제1 모드에서의 자동 주행은, 설정된 목표 주행 경로의 종점인 포장의 입구까지 행해진다. 따라서, 주행 기체(1)가 포장의 입구에 도달하였는지 여부가 체크된다(#13). 주행 기체(1)가 포장의 입구에 도달하면(#13 "예" 분기), 포장 작업(수확 작업)을 행하기 위한 포장 작업 주행 경로가 설정되고(#14), 포장 작업이 행해진다(#15).In the check in step #08, if the satellite positioning status diagnosis processing results in a diagnosis that automatic driving (first mode) based on positioning data is possible (#09 “possible” branch), automatic driving in first mode is performed. As a driving goal, a target driving route is set (#11) on a part of a private road and a public road (see FIG. 3). Setting of this target travel route may be performed in advance, such as at the start of this flowchart. Once the target travel route is set, automatic travel in the first mode is performed (#12). Automatic driving in this first mode is performed up to the entrance of the pavement, which is the end point of the set target driving route. Accordingly, it is checked whether the traveling body 1 has reached the entrance of the package (#13). When the traveling body 1 reaches the entrance of the field (#13 "Yes" branch), the field work travel route for performing the field work (harvest work) is set (#14), and the field work is performed (# 15).

도 4에 도시하는 바와 같이, 제1 제어 유닛(5) 및 제2 제어 유닛(6)이, 프로그램 명령(91)이 저장된 1개 또는 복수의 메모리(90)를 포함하고 있으면 적합하다. 이 경우, 제1 제어 유닛(5) 및 제2 제어 유닛(6)에 포함되는 메모리(90) 이외의 각 요소(예를 들어, 제1 기체 위치 산출부(55), 제2 기체 위치 산출부(50), 자동 주행 제어부(60))는, 프로그램 명령(91)을 실행함으로써 이상에서 설명한 것을 행하는 프로세서로서 구성되어 있어도 된다. 이 경우, 예를 들어 제1 기체 위치 산출부(55), 제2 기체 위치 산출부(50), 자동 주행 제어부(60)는, 프로그램 명령(91)을 실행함으로써, 제1 모드에서는, 위성 측위 모듈(31)로부터의 측위 데이터에 기초하여 제1 기체 위치를 산출함과 함께, 당해 제1 기체 위치에 기초하여 주행 기체(1)의 자동 주행 제어를 행하고, 제2 모드에서는, LIDAR(32)로부터의 측거 신호를 SLAM 알고리즘을 사용하여 처리함으로써 제2 기체 위치를 산출함과 함께, 당해 제2 기체 위치에 기초하여 주행 기체(1)의 자동 주행 제어를 행하고, 주행 기체(1)가 측위 데이터의 산출이 불가능한 제2 영역 A2로부터 측위 데이터의 산출이 가능한 제1 영역 A1로 이동할 때, 제2 영역 A2에서는 제2 모드가 되고, 제1 영역 A1에서는 제1 모드가 된다.As shown in FIG. 4, it is suitable if the first control unit 5 and the second control unit 6 include one or more memories 90 in which program instructions 91 are stored. In this case, each element other than the memory 90 included in the first control unit 5 and the second control unit 6 (e.g., the first body position calculation unit 55, the second body position calculation unit (50), the automatic travel control unit (60) may be configured as a processor that performs what is described above by executing the program instruction (91). In this case, for example, the first aircraft position calculation unit 55, the second aircraft position calculation unit 50, and the automatic travel control unit 60 perform satellite positioning in the first mode by executing the program command 91. The position of the first aircraft is calculated based on the positioning data from the module 31, and automatic travel control of the traveling aircraft 1 is performed based on the position of the first aircraft, and in the second mode, LIDAR 32 By processing the range signal from using the SLAM algorithm, the second aircraft position is calculated, and automatic travel control of the traveling aircraft 1 is performed based on the second aircraft position, and the traveling aircraft 1 receives the positioning data. When moving from the second area A2, where calculation of positioning data is not possible, to the first area A1 where positioning data can be calculated, the second area A2 becomes the second mode, and the first area A1 becomes the first mode.

또한, 위성 측위 모듈(31)은, 본 발명에 관한 「위성 측위 유닛」에 상당한다.Additionally, the satellite positioning module 31 corresponds to the “satellite positioning unit” according to the present invention.

〔다른 실시 형태〕[Other Embodiments]

(1) 상술한 실시 형태에 있어서, 주행 기체(1)가, 주차 시설 PF의 출입구 GA에 설정된 주행 목표점에 어긋남을 갖고 도달한 경우, 동소로부터 출입구 GA를 나와 주차 시설 PF의 밖으로의 자동 주행에 있어서, 관성 측위 유닛(33)을 사용한 관성 항법으로 그 어긋남을 보정하는 보정 주행 처리가 행해져도 된다. 이 관성 항법에서는, 관성 측위 유닛(33)에 의해 산출되는 주행 기체(1)의 자세 변화와 주행 상태 검출 센서군(81)에 포함되어 있는 주행 거리 센서에 의한 주행 거리가 조타 제어를 위해 사용된다. 이 관성 항법에 의한 보정 주행 처리는, 주행 기체(1)가 제2 영역 A2로부터 제1 영역 A1로 이동할 때에 발생하는 어긋남을 보정하기 위해 이용할 수 있다. 이 보정 주행 처리는, 제3 모드 실행부(60c)에 있어서의 옵션으로서 내장할 수 있다.(1) In the above-described embodiment, when the traveling body 1 reaches the travel target point set at the entrance GA of the parking facility PF with a deviation, it leaves the entrance GA from the same location and automatically travels out of the parking facility PF. In this case, correction travel processing to correct the deviation may be performed by inertial navigation using the inertial positioning unit 33. In this inertial navigation, the change in attitude of the traveling body 1 calculated by the inertial positioning unit 33 and the traveling distance by the traveling distance sensor included in the traveling state detection sensor group 81 are used for steering control. . This correction travel process based on inertial navigation can be used to correct the deviation that occurs when the traveling body 1 moves from the second area A2 to the first area A1. This correction travel processing can be incorporated as an option in the third mode execution unit 60c.

(2) 도 4에 도시된 기능 블록도에 있어서의 각 기능부의 구분은, 설명을 이해하기 쉽게 하기 위해서의 일례이며, 다양한 기능부를 통합하거나, 단일의 기능부를 복수로 분할하거나 하는 것은 자유이다. 또한, 제1 제어 유닛(5)과 제2 제어 유닛(6)을 부분적 또는 전면적으로 통합해도 된다. 나아가, 그들 기능부의 일부 또는 전부를, 작업기로부터 탈착 가능하며, 차량 탑재 LAN에 무선 또는 유선으로 접속 가능한 퍼스컴이나 태블릿 컴퓨터에 구축해도 된다.(2) The division of each functional unit in the functional block diagram shown in FIG. 4 is an example to make the explanation easier to understand, and various functional units may be integrated or a single functional unit may be divided into a plurality. Additionally, the first control unit 5 and the second control unit 6 may be partially or completely integrated. Furthermore, part or all of these functional parts may be built into a personal computer or tablet computer that is detachable from the work machine and can be connected wirelessly or wired to the vehicle-mounted LAN.

(3) 상술한 실시 형태에 있어서는, 이해하기 쉽게 하기 위해, 주차 시설 PF내에서는, 주차 위치로부터 출입구 GA까지 제2 모드에서 주행하는 예를 나타냈다. 그러나 거리 계측 센서(LIDAR(32))의 계측 성능에 따라서는, 진행 방향 전방을 스캔하여 얻어진 점군 데이터의 양상은, 주행 기체가 출입구 GA에 가까워지면 가까워질수록 급격하게 변화되어, 출입구 근방에서는, 그때까지의 스캔으로 얻어졌던 점군 데이터로부터, 출입구 자체나 출입구 부근의 특징 표지(특정물 등)를 나타내는 점군이 결손되는 경우가 있다. 그렇게 하면, 스캔 매칭이 곤란해진다. 따라서 실제로는 주차 시설 PF의 내부이지만, 물리적인 셔터 등의 도어 위치보다 조금 앞에서 제2 모드를 종료하고, 그 후의 프로그래밍 모드로 이행하는 경우도 있을 수 있다. 즉, 프로그래밍 모드가 개시되는 옥외 영역은, 엄밀하게 옥외일 필요는 없고, 출입구 GA가 옥내 영역의 실제의 도어보다 옥내측으로 조금 들어간 위치로 설정되고, 그 출입구 GA로부터 외측의 옥내 부분으로부터 개시되어 있어도 된다.(3) In the above-described embodiment, for ease of understanding, an example of driving in the second mode from the parking position to the entrance GA within the parking facility PF was shown. However, depending on the measurement performance of the distance measurement sensor (LIDAR 32), the aspect of the point cloud data obtained by scanning the forward direction of travel changes rapidly as the traveling aircraft approaches the entrance GA, and in the vicinity of the entrance GA, From the point cloud data obtained by scanning up to that point, there are cases where the point cloud representing the entrance itself or characteristic signs (specific objects, etc.) near the entrance or exit are missing. If you do so, scan matching becomes difficult. Therefore, although it is actually inside the parking facility PF, there may be a case where the second mode is terminated a little before the physical door position of the shutter or the like and the second mode is transferred to the subsequent programming mode. In other words, the outdoor area where the programming mode is started does not have to be strictly outdoors, and the entrance GA is set to a position slightly farther inside the indoor area than the actual door of the indoor area, and the programming mode is started from the indoor part outside the entrance GA. do.

(4) 상술한 실시 형태에서는, 콤바인이 주차 시설 PF로부터 포장을 향할 때의 자동 주행 예를 나타냈다. 그러나, 이것에 더하여, 포장으로부터 공도나 사도를 통하여 주차 시설 PF로 되돌아 올 때에도 자동 주행으로 복귀하도록 구성되어 있어도 된다. 이 경우, 제1 영역 A1로부터 제2 영역 A2로의 주행 시에, 제1 영역(공도 등)을 위성 측위에 기초하는 제1 모드에서 주행하고, 제2 영역 중의 사도의 일부(옥외 영역)를 프로그래밍 모드에서 주행하고, 제2 영역 중의 주차 시설 PF 내부(옥내 영역)를 SLAM에 기초하는 제2 모드에 의해 주행하면 된다.(4) In the above-described embodiment, an example of automatic running when the combine heads from the parking facility PF to the pavement was shown. However, in addition to this, the vehicle may be configured to return to automatic driving even when returning from the pavement to the parking facility PF through a public road or a private road. In this case, when driving from the first area A1 to the second area A2, the first area (public road, etc.) is driven in the first mode based on satellite positioning, and a part of the road (outdoor area) in the second area is programmed. It is sufficient to drive in this mode and drive in the second mode based on SLAM inside the parking facility PF (indoor area) in the second area.

(5) 상술한 실시 형태에서는, 옥외 영역에서의 자동 주행에 대해, 프로그래밍 모드를 사용하는 예를 나타냈지만, 이것에 한정되는 것은 아니다. 예를 들어, LIDAR(32)가 주행 기체(1)의 후방을 스캔할 수 있도록 구성하거나, 혹은 주행 기체(1)의 후방부에도 LIDAR(32)를 추가 장비하고 있는 경우, 예를 들어 제2 영역 A2 중 주차 시설 PF의 옥내 영역에서는, 제2 모드에서 출입구 GA를 목표로 하는 자동 주행 제어를 행하고, 제2 영역 A2 중 주차 시설 PF의 옥외 영역에서도, 후방의 주차 시설 PF에 속하는 특정물(옥내 영역 특정물), 예를 들어 출입구 GA나 그 주변물이나 주차 시설 PF의 외벽부 중 특징이 있는 부분을 지표로 하여, 제2 모드에서 주차 시설 PF로부터 이격되는 자동 주행 제어를 행하는 것도 가능하다.(5) In the above-described embodiment, an example of using a programming mode for automatic driving in an outdoor area is shown, but it is not limited to this. For example, if the LIDAR (32) is configured to scan the rear of the traveling aircraft (1), or if the LIDAR (32) is additionally equipped at the rear of the traveling aircraft (1), for example, the second In the indoor area of the parking facility PF in area A2, automatic driving control targeting the entrance/exit GA is performed in the second mode, and also in the outdoor area of the parking facility PF in the second area A2, a specific object belonging to the rear parking facility PF (indoor It is also possible to perform automatic driving control away from the parking facility PF in the second mode, using as an indicator a characteristic portion of the entrance GA or its surroundings or the outer wall of the parking facility PF.

(6) 상술한 실시 형태에서는, 거리 계측 센서로서 LIDAR(32)를 사용한 예를 나타냈지만, 이것에 한정되는 것은 아니다. 거리 계측 센서로서, HD 카메라나 ToF(Time OF Flight) 카메라를 사용해도 된다.(6) In the above-described embodiment, an example of using the LIDAR 32 as a distance measurement sensor is shown, but it is not limited to this. As a distance measurement sensor, an HD camera or a Time of Flight (ToF) camera may be used.

(7) 상술한 실시 형태는, 제2 영역에 옥내 영역(주차 시설 PF)과 옥외 영역이 포함되는 예를 나타냈지만, 이것에 한정되는 것은 아니다. 예를 들어, 제1 영역에 주차 시설이 가로로 놓여 있는 형태, 즉, 제2 영역으로서 제1 영역과 인접하는 옥내 영역만을 대상으로 하는 형태나, 제2 영역이 옥외 영역 뿐인 형태에도 본 발명은 적용할 수 있다.(7) Although the above-described embodiment shows an example in which the second area includes an indoor area (parking facility PF) and an outdoor area, it is not limited to this. For example, the present invention applies to a form in which parking facilities are placed horizontally in the first area, that is, a form in which only the indoor area adjacent to the first area is targeted as the second area, or a form in which the second area is only an outdoor area. It can be applied.

(8) 상기 실시 형태에 있어서의 각 부재의 기능을 컴퓨터에 실현시키는 자동 주행 프로그램을 기록한 기록 매체로서 구성되어 있어도 된다.(8) It may be configured as a recording medium on which an automatic driving program that realizes the functions of each member in the above embodiment on a computer is recorded.

또한, 상기 실시 형태(다른 실시 형태를 포함함, 이하 동일함)에서 개시되는 구성은, 모순이 발생하지 않는 한, 다른 실시 형태에서 개시되는 구성과 조합하여 적용하는 것이 가능하고, 또한 본 명세서에 있어서 개시된 실시 형태는 예시이며, 본 발명의 실시 형태는 이것에 한정되지 않고, 본 발명의 목적을 일탈하지 않는 범위 내에서 적절하게 개변하는 것이 가능하다.In addition, the configuration disclosed in the above embodiment (including other embodiments, the same applies hereinafter) can be applied in combination with the configuration disclosed in other embodiments, as long as there is no conflict, and is also included in this specification. The disclosed embodiments are examples, and the embodiments of the present invention are not limited thereto, and may be appropriately modified without departing from the purpose of the present invention.

본 발명은, 콤바인뿐만 아니라, 콤바인 이외의 작업기, 예를 들어 이앙기나 트랙터 등의 농작업기, 셔블 카 등의 건설 기계, 제설기나 살수기 등의 도로 정비기 등의 자동 주행 시스템에 적용할 수 있다.The present invention can be applied not only to combines, but also to automatic driving systems such as work machines other than combines, such as agricultural machines such as rice transplanters and tractors, construction machines such as shovel cars, and road maintenance machines such as snowplows and sprinklers.

1: 주행 기체
5: 제1 제어 유닛
6: 제2 제어 유닛
31: 위성 측위 모듈(위성 측위 유닛)
32: LIDAR(거리 계측 센서)
33: 관성 측위 유닛
50: 제2 기체 위치 산출부
51: 참조 지도 기억부
52: SLAM 실행부
55: 제1 기체 위치 산출부
60: 자동 주행 제어부
60a: 제1 모드 실행부
60b: 제2 모드 실행부
60c: 제3 모드 실행부
60d: 목표 설정부
90: 메모리
91: 프로그램 명령
A1: 제1 영역
A2: 제2 영역
a: 출발점
b: 출발점
c: 출발점
GA: 출입구(게이트부, 옥내 영역 특정물)
PF: 주차 시설(옥내 영역, 제2 영역)1: Running body
5: first control unit
6: second control unit
31: Satellite positioning module (satellite positioning unit)
32: LIDAR (ranging measurement sensor)
33: Inertial positioning unit
50: Second aircraft position calculation unit
51: Reference map memory
52: SLAM execution unit
55: First aircraft position calculation unit
60: automatic driving control unit
60a: first mode execution unit
60b: second mode execution unit
60c: third mode execution unit
60d: Goal setting section
90: memory
91: Program command
A1: first area
A2: Second area
a: starting point
b: starting point
c: starting point
GA: Entrance (gate part, indoor area specific object)
PF: Parking facilities (indoor area, second area)

Claims

A traveling body equipped with a working device,
a satellite positioning module that calculates positioning data based on satellite signals from a positioning satellite;
a first aircraft position calculation unit that calculates the first aircraft position based on the positioning data;
A distance measurement sensor that measures at least a portion of the aircraft's surroundings,
a second aircraft position calculation unit that processes the ranging signal from the distance measurement sensor using a SLAM (Simultaneous Localization and Mapping) algorithm to calculate the second aircraft position;
Equipped with an automatic travel control unit that automatically runs the traveling body,
The automatic travel control unit has a first mode for performing automatic travel control based on the first aircraft position and a second mode for performing automatic travel control based on the second aircraft position, and the traveling aircraft is provided with the positioning data. When moving from a second area where calculation of positioning data is impossible to a first area where calculation of the positioning data is possible, the automatic driving system becomes the second mode in the second area and the first mode in the first area.

According to paragraph 1,
In the second area, a gate portion through which the traveling body passes is provided,
An automatic travel system in which the automatic travel control unit performs automatic travel control targeting the gate unit in the second mode.

According to paragraph 2,
An automatic travel system in which the automatic travel control unit performs automatic travel control in the second mode using the center point in the width direction of the gate unit as a travel target point.

According to paragraph 2 or 3,
The second aircraft position calculation unit is a point cloud map of a specific object around the gate unit in the second area including the gate unit, and a departure reference map created based on the starting point of the traveling aircraft in the second area. An automatic navigation system that acquires and calculates the second aircraft location by scan matching using the departure reference map.

According to any one of claims 2 to 4,
In the second area, an indoor area that is spaced apart from the first area and has an entrance as the gate portion, and an outdoor area that is adjacent to the first area and the indoor area and connects the indoor area and the first area. This is provided,
The automatic travel control unit has the first mode, the second mode, and a programming mode that performs automatic travel in which steering is performed by a specified amount at a specified timing while measuring the travel distance, and further, the indoor space in the second area is provided. In the area, the second mode is entered to perform automatic travel control targeting the entrance and exit, and in the outdoor area of the second area, the programming mode is entered and the traveling machine is guided along a defined path from the entrance to the first area. An automatic driving system that drives to follow.

According to any one of claims 2 to 4,
In the second area, an indoor area that is spaced apart from the first area and has an entrance as the gate portion, and an outdoor area that is adjacent to the first area and the indoor area and connects the indoor area and the first area. This is provided,
In the indoor area of the second area, the automatic travel control unit enters the second mode and performs automatic travel control targeting the entrance and exit, and in the outdoor area of the second area, the automatic travel control unit enters the second mode and performs automatic travel control targeting the entrance and exit. An automatic travel system that uses an indoor area-specific object in the indoor area as an indicator and performs automatic travel control to move away from the indoor area-specific object.

According to any one of claims 1 to 6,
The automatic travel control unit is configured to change the first mode to the first mode in the first area and the second mode to the second area when the traveling machine moves from the first area to the second area.

A traveling body equipped with a working device,
a satellite positioning unit that calculates positioning data based on satellite signals from a positioning satellite;
A distance measurement sensor that measures at least a portion of the aircraft's surroundings,
One or more processors,
It has one or more memories storing program instructions executable by the one or more processors,
The one or more processors execute the program instructions,
In the first mode, the first aircraft position is calculated based on the positioning data, and automatic travel control of the traveling aircraft is performed based on the first aircraft position,
In the second mode, the second aircraft position is calculated by processing the range signal from the distance measurement sensor using a SLAM (Simultaneous Localization and Mapping) algorithm, and the traveling aircraft is automatically operated based on the second aircraft position. Perform travel control,
When the traveling aircraft moves from a second area where calculation of the positioning data is not possible to a first area where calculation of the positioning data is possible, the second mode is in the second area, and the first mode is in the first area. becoming,
Work truck.

According to clause 8,
In the second area, a gate portion through which the traveling body passes is provided,
The work vehicle wherein the one or more processors perform automatic travel control targeting the gate unit in the second mode by executing the program command.

According to clause 9,
The work vehicle wherein the one or more processors perform automatic travel control in the second mode by executing the program command, with the center point in the width direction of the gate portion as the travel target point.

According to claim 9 or 10,
When calculating the position of the second aircraft by executing the program command, the one or more processors are a point cloud map of a specific object around the gate unit in the second area including the gate unit, and the second A work vehicle that acquires a departure reference map created based on the starting point of the traveling machine in an area and calculates the position of the second machine by scan matching using the departure reference map.

According to any one of claims 9 to 11,
In the second area, an indoor area that is spaced apart from the first area and has an entrance as the gate portion, and an outdoor area that is adjacent to the first area and the indoor area and connects the indoor area and the first area. This is provided,
The one or more processors execute the program instructions,
In the programming mode, automatic driving is performed by measuring the driving distance and steering a specified amount at a specified timing,
In the indoor area of the second area, the second mode is used to perform automatic travel control targeting the entrance and exit,
A work vehicle that enters the programming mode in the outdoor area of the second area to cause the traveling body to travel along a prescribed path from the entrance to the first area.

According to any one of claims 9 to 11,
In the second area, an indoor area that is spaced apart from the first area and has an entrance as the gate portion, and an outdoor area that is adjacent to the first area and the indoor area and connects the indoor area and the first area. This is provided,
The one or more processors execute the program instructions,
In the indoor area of the second area, the second mode is used to perform automatic travel control targeting the entrance and exit,
In the outdoor area of the second area, the work vehicle is in the second mode and performs automatic travel control using an indoor area-specific object in the indoor area as an indicator to move away from the indoor area-specific object.

According to any one of claims 8 to 13,
By executing the program command, the one or more processors enter the first mode in the first area when the traveling body moves from the first area to the second area, and in the second area, the one or more processors execute the program command. A work vehicle used in the second mode.

Recorded an automatic driving program for a work vehicle having a traveling machine equipped with a work device, a satellite positioning module that calculates positioning data based on satellite signals from a positioning satellite, and a distance measurement sensor that measures at least a part of the surroundings of the machine. It is a recording medium,
A first aircraft position calculation function for calculating the first aircraft position based on the positioning data,
A second aircraft position calculation function that processes the ranging signal from the distance measurement sensor using a SLAM (Simultaneous Localization and Mapping) algorithm to calculate the second aircraft position;
Implementing an automatic travel control function for automatically running the traveling machine on a computer,
The automatic travel control function has a first mode for performing automatic travel control based on the first aircraft position and a second mode for performing automatic travel control based on the second aircraft position, and the traveling aircraft is configured to perform the positioning. When moving from a second area where data cannot be calculated to a first area where positioning data can be calculated, the automatic driving program becomes the second mode in the second area and the first mode in the first area. recorded media.