KR20210157043A - Autonomous agricultural machine device to increase the recognition rate of autonomous traveling path and operation method thereof - Google Patents

Autonomous agricultural machine device to increase the recognition rate of autonomous traveling path and operation method thereof Download PDF

Info

Publication number
KR20210157043A
KR20210157043A KR1020200074850A KR20200074850A KR20210157043A KR 20210157043 A KR20210157043 A KR 20210157043A KR 1020200074850 A KR1020200074850 A KR 1020200074850A KR 20200074850 A KR20200074850 A KR 20200074850A KR 20210157043 A KR20210157043 A KR 20210157043A
Authority
KR
South Korea
Prior art keywords
area
autonomous driving
cultivated
agricultural machine
boundary
Prior art date
Application number
KR1020200074850A
Other languages
Korean (ko)
Other versions
KR102445673B1 (en
Inventor
김국환
이시영
김현종
홍영기
이명훈
김경철
류희석
양창주
서다솜
김강섭
Original Assignee
대한민국(농촌진흥청장)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대한민국(농촌진흥청장) filed Critical 대한민국(농촌진흥청장)
Priority to KR1020200074850A priority Critical patent/KR102445673B1/en
Publication of KR20210157043A publication Critical patent/KR20210157043A/en
Application granted granted Critical
Publication of KR102445673B1 publication Critical patent/KR102445673B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/007Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
    • A01B69/008Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/02Ridge-marking or like devices; Checkrow wires; Accessories therefor
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00Type of vehicle
    • B60Y2200/20Off-Road Vehicles
    • B60Y2200/22Agricultural vehicles
    • B60Y2200/221Tractors

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Soil Sciences (AREA)
  • Environmental Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Guiding Agricultural Machines (AREA)

Abstract

The present invention relates to an autonomous agricultural machine device, and in detail, to a technology for increasing recognition accuracy when an autonomous agricultural machine recognizes an autonomous driving route and environment. The autonomous agricultural machine device of the present invention comprises: a tillage line marking module for marking tillage lines on a farmland along a running direction of the autonomous agricultural machine device; and an autonomous driving control module for determining an uncultivated area, based on the tillage lines formed by the tillage line marking module and image information of the farmland, and controlling the autonomous agricultural machine device to travel the uncultivated area.

Description

자율 주행 경로의 인식율을 높이기 위한 자율 주행 농기계 장치 및 그 동작 방법{AUTONOMOUS AGRICULTURAL MACHINE DEVICE TO INCREASE THE RECOGNITION RATE OF AUTONOMOUS TRAVELING PATH AND OPERATION METHOD THEREOF}AUTONOMOUS AGRICULTURAL MACHINE DEVICE TO INCREASE THE RECOGNITION RATE OF AUTONOMOUS TRAVELING PATH AND OPERATION METHOD THEREOF

본 발명은 자율 주행 농기계 장치로, 자세하게는 자율 주행 농기계 장치가 자율 주행 경로 및 환경을 인식할 때 인식의 정확도를 높일 수 있도록 하는 기술이다.The present invention is an autonomous driving agricultural machine device, and in detail, a technology for increasing recognition accuracy when an autonomous driving agricultural machine device recognizes an autonomous driving route and environment.

최근 국내 산업은 4차 산업혁명이란 슬로건을 통해 인공지능과 ICT 기술을 융합하여 미국, 독일, 일본과 같은 기술 선진국들의 수준에 견줄 산업시스템을 구축하고 있다. 이러한 산업 구조의 변화는 농업분야에도 영향을 미치게 되는데, 농업분야의 새로운 산업시스템의 대표적인 예로 스마트 팜이 손꼽히고 있다.Recently, the domestic industry is building an industrial system comparable to the level of advanced technological countries such as the United States, Germany, and Japan by converging artificial intelligence and ICT technology under the slogan of the 4th industrial revolution. This change in the industrial structure also affects the agricultural sector, and the smart farm is cited as a representative example of a new industrial system in the agricultural sector.

자율주행기술은 기본적으로 도로를 주행하는 자동차에 적용되고 있지만, 군사적인 목적이나 농업기술에도 많이 이용되고 있다. 구체적으로 자율주행기술을 적용된 농기계로서 자율주행 트랙터가 있다. 자율주행트랙터는 스스로 알아서 움직이는 트랙터로서, 경작지의 위치와 크기를 측정하여 경작지에 맞는 작업경로를 설정하면, 작업경로를 따라 이동하면서 작업을 수행하도록 구성된다.Autonomous driving technology is basically applied to vehicles driving on roads, but it is also widely used for military purposes and agricultural technology. Specifically, there is an autonomous driving tractor as an agricultural machine to which autonomous driving technology is applied. The self-driving tractor is a tractor that moves on its own, and when a work path suitable for cultivated land is set by measuring the location and size of cultivated land, it is configured to perform work while moving along the working path.

한편, 자율주행 트랙터와 관련한 연구는 국내에서도 활발히 진행되어, 자동 경로 생성 등의 기술을 개발하였지만, 기술 선진국에 비해 측정 위치의 정확도, 노지 상태, 트랙터 주요 요소에 대한 모니터링을 크게 고려하지 않아 작업 안정성을 확보하는데 어려움이 있다.On the other hand, research related to autonomous tractors has been actively conducted in Korea, and technologies such as automatic route generation have been developed. is difficult to obtain.

다시 말해서, 자율 주행 경로 및 환경을 인식하는 과정에서 인식률이 떨어져 안정성을 확보하는데 어려움이 있다.In other words, in the process of recognizing the autonomous driving route and environment, the recognition rate is low, so it is difficult to secure stability.

본 발명은 자율 주행 경로 및 환경을 인식하는 과정에서 정확도를 높이기 위한 자율 주행 농기계 장치 및 그 동작 방법을 제공하고자 한다.An object of the present invention is to provide an autonomous driving agricultural machine device and an operating method thereof for increasing accuracy in the process of recognizing an autonomous driving route and environment.

자율 주행 농기계 장치로서, 상기 자율 주행 농기계 장치의 주행 방향을 따라 경작지에 경작 라인을 표시하는 경작 라인 표시 모듈 및 상기 경작 라인 표시 모듈에 의해 생성된 상기 경작 라인 및 상기 경작지의 영상 정보에 기초하여 미경작 영역을 결정하고, 상기 자율 주행 농기계 장치가 상기 미경작 영역을 주행하도록 제어하는 자율주행 제어 모듈을 포함한다.An autonomous driving agricultural machine device, comprising: a cultivation line display module for displaying cultivation lines on farmland along a running direction of the autonomous driving farm machine device; and an autonomous driving control module that determines a cultivated area and controls the autonomous driving agricultural machine device to drive in the uncultivated area.

상기 자율주행 제어 모듈은,상기 영상 정보 및 경작 영역 패턴 정보에 기초하여 경작지 영역 간의 경계를 결정하는 영역 경계 결정부 및 상기 경계 및 상기 경작 영역 패턴 정보에 기초하여 상기 미경작 영역을 결정하고, 주행 경로를 생성하는 미경작 영역 결정부를 포함한다.The autonomous driving control module is configured to include: an area boundary determiner that determines a boundary between cultivated areas based on the image information and cultivated area pattern information; and a non-cultivated area based on the boundary and the cultivated area pattern information; and an uncultivated area determinant that creates a path.

자율 주행 농기계 장치는 상기 경작 영역 패턴 정보를 학습시켜 상기 경작 영역 패턴 정보를 업데이트하여 상기 영역 경계 결정부 및 상기 미경작 영역 결정부에 제공하는 패턴 정보 학습부를 더 포함한다.The autonomous driving agricultural machine apparatus further includes a pattern information learning unit that learns the cultivated area pattern information, updates the cultivated area pattern information, and provides it to the area boundary determiner and the non-cultivated area determiner.

상기 영역 경계 결정부는, 제1 주행시, 경작 영역 패턴 정보에 기초하여, 상기 경작지의 영상 정보로부터 제1 경계를 추출하여 제1 주행 경로를 생성하고, 상기 제1 주행 이후의 주행시, 상기 경작 영역 패턴 정보에 기초하여 제2 경계를 추출한다.The region boundary determining unit generates a first driving path by extracting a first boundary from the image information of the cultivated land based on the cultivation area pattern information during a first driving, and when driving after the first driving, the cultivation region pattern A second boundary is extracted based on the information.

상기 제1 경계는 상기 자율 주행 농기계 장치가 경작해야 할 영역과 경작하지 않아야 할 영역을 구분하는 경계이고, 상기 제2 경계는 상기 미경작 영역과 경작 영역을 구분하는 경계이다.The first boundary is a boundary that separates an area to be cultivated and an area not to be cultivated by the autonomous driving agricultural machine device, and the second boundary is a boundary that separates the non-cultivated area from the cultivated area.

상기 경작 라인 표시 모듈은, 상기 자율 주행 농기계 장치의 주행방향에 따라 상기 미경작 영역에 경작 라인을 표시하는 표시부 및 상기 자율 주행 농기계 장치로부터 상기 경작지로 연장되고, 상기 표시부를 고정시키는 연장부를 포함한다.The cultivation line display module includes a display unit for displaying a cultivation line in the uncultivated area according to a driving direction of the autonomous driving agricultural machine device, and an extension part extending from the autonomous driving farm machine device to the cultivated land and fixing the display unit .

상기 자율주행 제어 모듈은 상기 자율 주행 농기계 장치가 경작 영역의 5 내지 10%를 중첩시켜 경작하도록 제어한다.The autonomous driving control module controls the autonomous driving agricultural machine device to cultivate overlapping 5 to 10% of the cultivation area.

자율 주행 농기계 장치의 동작 방법으로서, 경작 라인 표시 모듈이 상기 자율 주행 농기계 장치의 주행 방향을 따라 경작지에 경작 라인을 표시하는 단계 자율주행 제어 모듈이 상기 경작 라인 표시 모듈에 의해 생성된 상기 경작 라인 및 상기 경작지의 영상 정보에 기초하여 미경작 영역을 결정하고, 상기 자율 주행 농기계 장치가 상기 미경작 영역을 주행하도록 제어하는 단계를 포함한다.A method of operating an autonomous driving agricultural machine device, comprising: displaying, by a cultivation line display module, a cultivation line on farmland along a driving direction of the autonomous driving farm machine device; and determining an uncultivated area based on the image information of the cultivated land, and controlling the autonomous driving agricultural machinery to drive the uncultivated area.

상기 미경작 영역을 주행하도록 제어하는 단계는, 영역 경계 결정부가 경작 영역 패턴 정보에 기초하여 경작지 영역 간의 경계를 결정하는 단계 및 미경작 영역 결정부가 상기 경계 및 상기 경작 영역 패턴 정보에 기초하여 경작지 내의 상기 미경작 영역을 결정하고 주행 경로를 생성하는 단계를 포함한다.The controlling to drive the uncultivated area may include: determining, by an area boundary determining unit, a boundary between cultivated land areas based on cultivated area pattern information; and determining the uncultivated area and creating a travel route.

상기 경작지에 경작 라인을 표시하는 단계는, 연장부가 상기 자율 주행 농기계 장치로부터 상기 경작지로 연장되고, 상기 표시부를 고정시키는 단계 및 상기 표시부가 상기 자율 주행 농기계 장치의 주행방향에 따라 상기 미경작 영역에 경작 라인을 표시하는 단계를 포함한다.The displaying of the tillage line on the cultivated land includes: an extension extending from the autonomous driving agricultural machine to the cultivated land, fixing the display, and the displaying part on the uncultivated area according to the driving direction of the autonomous driving agricultural machine. and marking the tillage line.

자율 주행 농기계 시스템은 자율 주행 농기계 장치 및 경작 영역을 촬영하기 위한 카메라를 포함하고, 상기 자율 주행 농기계 장치는 상기 자율 주행 농기계 장치의 주행 방향을 따라 경작지에 경작 라인을 표시하는 경작 라인 표시 모듈 및 상기 경작 라인 표시 모듈에 의해 생성된 상기 경작 라인 및 상기 경작지의 영상 정보에 기초하여 미경작 영역을 결정하고, 상기 자율 주행 농기계 장치가 상기 미경작 영역을 주행하도록 제어하는 자율주행 제어 모듈을 포함한다.The autonomous driving agricultural machine system includes an autonomous driving farm machine device and a camera for photographing a cultivation area, wherein the autonomous driving farm machine device includes a cultivation line display module for displaying cultivation lines on farmland along a driving direction of the autonomous driving farm machine device, and the and an autonomous driving control module that determines an uncultivated area based on the image information of the cultivated line and the cultivated land generated by the tillage line display module, and controls the autonomous driving agricultural machinery to drive the uncultivated area.

본 발명을 통해 자율 주행 경로 및 환경을 인식하는 과정에서 적은 예산 및 복잡한 추가 알고리즘의 필요 없이 인식의 정확도를 높일 수 있다.Through the present invention, in the process of recognizing an autonomous driving route and environment, it is possible to increase the recognition accuracy without the need for a small budget and complex additional algorithms.

도 1은 본 발명의 일 실시예에 따른 자율 주행 농기계 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 경작 라인 표시 모듈의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 경작 라인 표시 모듈이 결착된 자율 주행 농기계 장치의 사진이다.
도 4는 본 발명의 일 실시예에 따른 자율주행 제어 모듈의 블록도이다.
도 5는 자율주행 제어 모듈의 다른 일 실시예를 나타낸 블록도이다.
도 6a는 경작 라인 표시 모듈을 포함하지 않은 자율 주행 농기계 장치의 결과를 나타낸 사진이고, 도 6b는 경작 라인 표시 모듈을 포함한 자율 주행 농기계 장치의 결과를 나타낸 사진이다.
도 7는 본 발명의 일 실시예에 따른 자율 주행 농기계 장치의 동작 방법을 나타낸 순서도이다.
도 8은 본 발명의 일 실시예에 따른 미경작 영역 결정 단계의 동작 방법을 나타낸 순서도이다.
도 9는 본 발명의 일 실시예에 따른 자율 주행 농기계 시스템을 나타낸 도면이다.
1 is a block diagram of an autonomous driving agricultural machine apparatus according to an embodiment of the present invention.
2 is a block diagram of a cultivation line display module according to an embodiment of the present invention.
3 is a photograph of an autonomous driving agricultural machine to which a cultivation line display module is attached according to an embodiment of the present invention.
4 is a block diagram of an autonomous driving control module according to an embodiment of the present invention.
5 is a block diagram illustrating another embodiment of an autonomous driving control module.
6A is a photograph showing the results of the autonomous driving agricultural machine apparatus not including the cultivation line display module, and FIG. 6B is a photograph showing the results of the autonomous driving agricultural machine apparatus including the cultivation line display module.
7 is a flowchart illustrating a method of operating an autonomous driving agricultural machine apparatus according to an embodiment of the present invention.
8 is a flowchart illustrating a method of determining an uncultivated area according to an embodiment of the present invention.
9 is a view showing an autonomous driving agricultural machine system according to an embodiment of the present invention.

이하, 본 명세서에 개시된 실시 예들을 도면을 참조하여 상세하게 설명하고 자 한다. 본문에서 달리 명시하지 않는 한, 도면의 유사한 참조번호들은 유사한 구성요소들을 나타낸다. 상세한 설명, 도면들 및 청구항들에서 상술하는 예시적인 실시 예들은 한정을 위한 것이 아니며, 다른 실시 예들이 이용될 수 있으며, 여기서 개시되는 기술의 사상이나 범주를 벗어나지 않는 한 다른 변경들도 가능하다. 당업자는 본 개시의 구성요소들, 즉 여기서 일반적으로 기술되고, 도면에 기재되는 구성요소들을 다양하게 다른 구성으로 배열, 구성, 결합, 도안할 수 있으며, 이것들의 모두는 명백하게 고안 되어지며, 본 개시의 일부를 형성하고 있음을 용이하게 이해할 수 있을 것이다. 도면에서 여러 층(또는 막), 영역 및 형상을 명확하게 표현하기 위하여 구성요소의 폭, 길이, 두께 또는 형상 등은 과장되어 표현될 수도 있다.Hereinafter, embodiments disclosed in the present specification will be described in detail with reference to the drawings. Unless otherwise specified in the text, like reference numbers in the drawings indicate like elements. Exemplary embodiments described above in the detailed description, drawings, and claims are not intended to be limiting, and other embodiments may be used, and other changes may be made without departing from the spirit or scope of the technology disclosed herein. Those skilled in the art may arrange, construct, combine, and design in variously different configurations the elements of the present disclosure, i.e., the elements generally described herein and illustrated in the drawings, all of which are clearly devised, and the present disclosure It can be easily understood that it forms a part of In the drawings, in order to clearly express various layers (or films), regions, and shapes, the width, length, thickness, or shape of the components may be exaggerated.

개시된 기술에 관한 설명은 구조적 내지 기능적 설명을 위한 실시 예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시 예에 의하여 제한되는 것으로 해석되어서는 아니된다. 즉, 실시 예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물을 포함하는 것으로 이해되어야 한다.Since the description of the disclosed technology is only an embodiment for structural or functional description, the scope of the disclosed technology should not be construed as being limited by the embodiment described in the text. That is, since the embodiment may have various changes and may have various forms, it should be understood that the scope of the disclosed technology includes equivalents capable of realizing the technical idea.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, “포함하다” 또는 “가지다” 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expression is to be understood as including the plural expression unless the context clearly dictates otherwise, and terms such as “comprises” or “have” refer to the embodied feature, number, step, action, component, part or these It is to be understood that this is intended to indicate that a combination exists, and does not preclude the possibility of addition or existence of one or more other features or numbers, steps, operations, components, parts, or combinations thereof.

여기서 사용된 모든 용어들은 다르게 정의되지 않는 한, 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 용어들은 관련기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석 될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which the disclosed technology belongs, unless otherwise defined. Terms defined in commonly used dictionaries should be interpreted as being consistent with the meaning of the context of the related art, and cannot be interpreted as having an ideal or excessively formal meaning unless explicitly defined in the present application.

도 1은 본 발명의 일 실시예에 따른 자율 주행 농기계 장치(100)의 블록도이다. 도 1을 참조하면, 자율 주행 농기계 장치(100)는 경작 라인 표시 모듈(130)과 자율주행 제어 모듈(150)을 포함한다.1 is a block diagram of an autonomous driving agricultural machine apparatus 100 according to an embodiment of the present invention. Referring to FIG. 1 , the autonomous driving agricultural machine apparatus 100 includes a cultivation line display module 130 and an autonomous driving control module 150 .

자율 주행 농기계 장치(100)는 트랙터, 콤바인, 경운기 등과 같이 경작지의 밭갈이, 비료살포, 비료운반, 각종 농작물 운반 등의 작업에 이용되는 다양한 운행 수단을 의미할 수 있다.The autonomous driving agricultural machine apparatus 100 may refer to various operating means used for work such as plowing, fertilizer spraying, fertilizer transport, and transporting of various crops, such as a tractor, a combine, and a tiller.

경작 라인 표시 모듈(130)은 자율 주행 농기계 장치(100)의 주행 방향을 따라 경작지에 경작 라인을 표시한다. 경작 라인 표시 모듈(130)이 경작지에 경작 라인을 표시함으로써, 경작 영역과 미경작 영역 사이의 경계가 육안으로도 명확하게 경계가 인식될 수 있다. 또한, 인공지능 알고리즘이나 머신러닝과 같은 영상 처리 기법을 활용하였을 때도 명확하게 인식 될 수 있다. 이때, 영상 처리 기법을 위한 영상은 LiDAR와 같은 2차원 영상일 수 있으며, 3차원 정보인 DEPTH 또는 텍스쳐일 수도 있다.The cultivation line display module 130 displays the cultivation line on the farmland along the driving direction of the autonomous driving agricultural machine device 100 . Since the cultivation line display module 130 displays the cultivation lines on the cultivated land, the boundary between the cultivated area and the non-cultivated area can be clearly recognized with the naked eye. In addition, it can be clearly recognized when using image processing techniques such as artificial intelligence algorithms or machine learning. In this case, the image for the image processing technique may be a 2D image such as LiDAR, or DEPTH or texture, which is 3D information.

경작 라인 표시 모듈(130)은 자율 주행 농기계 장치(100)에 탈부착이 가능하도록 할 수 있다. 또한, 각도 조절과 높낮이 조절이 가능하도록 제공될 수 있다. 경작 라인 표시 모듈(130)에 대한 구체적인 내용은 도 2에서 후술될 것이다.The cultivation line display module 130 may be detachably attached to the autonomous driving agricultural machine apparatus 100 . In addition, it may be provided to enable angle adjustment and height adjustment. Details of the cultivation line display module 130 will be described later with reference to FIG. 2 .

자율주행 제어 모듈(150)은 경작 라인 표시 모듈(130)에 의해 생성된 경작 라인 및 경작지의 영상 정보에 기초하여 미경작 영역을 결정한다. 또한, 자율 주행 농기계 장치(100)가 미경작 영역을 주행하도록 제어한다.The autonomous driving control module 150 determines an uncultivated area based on the image information of the cultivated line and the cultivated land generated by the cultivated line display module 130 . In addition, the autonomous driving agricultural machine apparatus 100 is controlled to travel in an uncultivated area.

자율주행 제어 모듈(150)은 자율 주행 농기계 장치(100)가 경작 영역의 5 내지 10%를 중첩시켜 경작하도록 제어한다. 경작 영역의 5 내지 10%를 중첩시켜 경작시키는 것은 경작 라인 표시 모듈(130)로 인해 생성된 경작 라인이 다음 작업 시에 중첩 범위 내에 있어 경작 작업과 동시에 없어져 경작 상태에 영향을 미치지 않게 할 수 있다.The autonomous driving control module 150 controls the autonomous driving agricultural machine device 100 to overlap 5 to 10% of the cultivation area to cultivate. The cultivation of overlapping 5 to 10% of the tillage area makes it possible that the tillage line generated by the tillage line display module 130 is within the overlapping range during the next work and disappears at the same time as the tillage work so as not to affect the tillage condition. .

자율주행 제어 모듈(150)이 작업경로를 생성할 때 가장 중요하게 고려해야 할 사항으로는 경작 구간 사이의 거리, 선회 방법과 선회 거리, 회행 작업 수 또는 주행 경로와 순서 중 적어도 하나이다. 작업 구간 사이의 거리는 자율 주행 농기계 장치(100)와 경작기의 고유작업 폭을 고려해야 하기 때문이며, 이를 고려하지 않으면 경작이 중첩되는 현상이 발생한다.When the autonomous driving control module 150 generates a work route, the most important considerations include at least one of a distance between cultivation sections, a turning method and a turning distance, the number of turning tasks, or a driving route and order. This is because the distance between the work sections has to take into account the inherent working width of the autonomous driving agricultural machine device 100 and the tiller, and if this is not taken into account, a phenomenon of overlapping cultivation occurs.

또한, 자율 주행 농기계 장치(100)의 구조상 작업 폭과 길이가 일반 차량보다 클 뿐만 아니라, 중량도 크고, 쉽게 후진, 회전을 할 수 없기 때문에, 최적의 선회 경로와 최적의 회행 작업 수를 고려해야 한다. 그리고 주행 경로와 순서의 계산이 부실할 경우에는, 작업이 겹치는 구간 혹은 작업을 못한 공간이 생기게 된다. 따라서, 이들 요인을 모두 고려하여 경작경로를 생성해야 한다. 자율주행 제어 모듈(150)에 대한 자세한 내용은 도 4 및 도 5에서 후술될 것이다.In addition, since the working width and length of the autonomous driving agricultural machine device 100 are larger than that of a general vehicle, and also have a large weight, and cannot easily reverse and rotate, the optimal turning path and the optimal number of turning operations must be considered. . And if the calculation of the driving route and order is poor, there is a section where the work overlaps or a space where the work is not performed. Therefore, it is necessary to create a cultivation path taking all these factors into consideration. Details of the autonomous driving control module 150 will be described later with reference to FIGS. 4 and 5 .

본 발명의 실시예에 따른 자율 주행 농기계 장치(100)에 따르면, 자율 주행 농기계 장치(1000의 물리적인 구성의 큰 변경없이, 적은 비용으로 경작 영역과 미경작 영역을 보기 명확하게 인식하여 경작 작업의 효율을 더 높일 수 있다.According to the autonomous driving agricultural machine device 100 according to the embodiment of the present invention, without a large change in the physical configuration of the autonomous driving agricultural machine device 1000, it is possible to clearly recognize the cultivated area and the uncultivated area at a low cost, so that the cultivation work can be improved. efficiency can be further increased.

도 2는 본 발명의 일 실시예에 따른 경작 라인 표시 모듈(130)의 블록도이다. 도 3은 본 발명의 일 실시예에 따른 경작 라인 표시 모듈이 결착된 자율 주행 농기계 장치(100)의 사진이다. 도 2 및 도3을 참조히면, 경작 라인 표시 모듈(130)은 표시부(132)와 연장부(134)를 포함한다.2 is a block diagram of a cultivation line display module 130 according to an embodiment of the present invention. 3 is a photograph of the autonomous driving agricultural machine apparatus 100 to which the cultivation line display module is attached according to an embodiment of the present invention. 2 and 3 , the cultivation line display module 130 includes a display unit 132 and an extension unit 134 .

표시부(132)는 자율 주행 농기계 장치(100)의 주행방향에 따라 미경작 영역에 경작 라인을 표시한다. 표시부(132)는 복수개로 제공될 수 있다. 표시부(132)는 막대, 돌출부 및 액체 또는 가루 배출 수단 중 적어도 하나일 수 있다. 이때, 액체 배출 수단은 액체 성분을 일정하게 배출하여 경작 영역에 경작 라인을 표시할 수 있다. 이와 비슷하게, 가루 배출 수단은 가루 성분을 일정하게 배출하여 경작 영역에 경작 라인을 표시할 수 있다.The display unit 132 displays the cultivation line in the uncultivated area according to the driving direction of the autonomous driving agricultural machine device 100 . A plurality of display units 132 may be provided. The display unit 132 may be at least one of a rod, a protrusion, and a liquid or powder discharging means. At this time, the liquid discharging means may constantly discharge the liquid component to mark the cultivation line in the cultivation area. Similarly, the flour discharging means may discharge the flour component uniformly to mark the tillage line in the tillage area.

연장부(134)는 자율 주행 농기계 장치(100)로부터 경작지로 연장되고, 표시부(132)를 고정시킬 수 있다. 도 3은 참고일뿐, 2개 이상의 연장부가 제공될 수 있다. 연장부(134)는 표시부(132)의 개수와 동일하게 제공될 수 있으며, 자율 주행 농기계 장치(100)의 후면에 연결될 수 있다. 연장부(134)의 일단에는 표시부(132)가 결착되어 있을 수 있다.The extension part 134 may extend from the autonomous driving agricultural machine device 100 to the farmland, and may fix the display part 132 . 3 is for reference only, two or more extensions may be provided. The extension 134 may be provided in the same number as the number of display units 132 , and may be connected to the rear surface of the autonomous driving agricultural machine apparatus 100 . A display unit 132 may be coupled to one end of the extension unit 134 .

연장부(134)는 표시부(132)의 높낮이 및 각도를 조절할 수 있다. 예를 들어, 자율 주행 농기계 장치(100)의 후면에 3개의 연장부(134) 중 하나의 연장부(134)만 사용하고 싶다면, 두 개의 연장부(134)는 지면과 평행한 상태로 조절될 수 있고 하나의 연장부(134)만 지면으로 향하도록 각도를 조절할 수 있다.The extension part 134 may adjust the height and angle of the display part 132 . For example, if it is desired to use only one extension 134 among the three extension portions 134 on the rear surface of the autonomous driving agricultural machine apparatus 100, the two extension portions 134 may be adjusted to be parallel to the ground. and the angle can be adjusted so that only one extension 134 faces the ground.

본 발명의 일 실시예에 있어서, 자율 주행 농기계 장치(100)는 경작 라인 표시 제어 모듈을 더 포함할 수 있다. 경작 라인 표시 제어 모듈은 자율 주행 농기계 장치(100)의 미경작 영역 생성부(154)에서 생성한 주행 경로에 기초하여 적어도 하나의 표시부(132)들의 높낮이 및 각도를 제어한다.In an embodiment of the present invention, the autonomous driving agricultural machine apparatus 100 may further include a cultivation line display control module. The cultivation line display control module controls the height and angle of the at least one display unit 132 based on the driving path generated by the uncultivated area generation unit 154 of the autonomous driving agricultural machine apparatus 100 .

예를 들어, 주행 경로가 반시계 방향으로 회전하는 것일 경우, 좌측 후방에 위치한 표시부(1320만 경작 라인을 형성할 수 있도록 제어한다. 구체적으로, 좌측 후방에 위치한 표시부(132)만 지면을 향하도록 각도를 제어하고, 그 외의 표시부(132)들은 지면과 평행하도록 제어한다. 또 다른 예로는, 주행 경로가 시계 방향으로 회전하는 경우, 우측 후방에 위치한 표시부만 경작 라인을 형성할 수 있도록 제어한다. 구체적으로, 우칙 후방에 위치한 표시부(132)만 지면을 향하도록 각도를 제어하고, 그 외의 표시부(132)들은 지면과 평행하도록 제어한다. 이때, 표시부(132)의 각도는 연장부(134)의 각도와 동일할 수 있다.For example, when the driving path rotates counterclockwise, the display unit located at the rear left side (13.2 million cultivation lines) is controlled to form. Specifically, only the display unit 132 located at the rear left side faces the ground. The angle is controlled, and the other display units 132 are controlled to be parallel to the ground As another example, when the driving path rotates clockwise, only the display unit located on the right rear side is controlled to form a tillage line. Specifically, the angle is controlled so that only the display unit 132 located at the rear of the right hand faces the ground, and the other display units 132 are controlled to be parallel to the ground. At this time, the angle of the display unit 132 is the may be equal to the angle.

도 4는 본 발명의 일 실시예에 따른 자율주행 제어 모듈(150)의 블록도이다. 도 5는 자율주행 제어 모듈(150')의 다른 일 실시예를 나타낸 블록도이다.4 is a block diagram of an autonomous driving control module 150 according to an embodiment of the present invention. 5 is a block diagram illustrating another embodiment of the autonomous driving control module 150'.

도 4를 참조하면, 자율주행 제어 모듈(150)은 영역 경계 결정부(152)와 미경작 영역 결정부(154)를 포함한다.Referring to FIG. 4 , the autonomous driving control module 150 includes an area boundary determining unit 152 and an uncultivated area determining unit 154 .

영역 경계 결정부(152)는 경작 영역 패턴 정보에 기초하여 경작지 영역 간의 경계를 결정한다.The area boundary determining unit 152 determines boundaries between cultivated land areas based on the cultivated area pattern information.

영역 경계 결정부(152)는 제1 주행시에 경작 영역 패턴 정보에 기초하여 경작지의 영상 정보로부터 제1 경계를 추출하여 제1 주행 경로를 생성한다. 제1 주행 이후의 주행시에는 경작 영역 패턴 정보에 기초하여 제2 경계를 추출한다.The region boundary determiner 152 generates a first driving path by extracting a first boundary from image information of the cultivated land based on the cultivated region pattern information during the first driving. When driving after the first driving, the second boundary is extracted based on the cultivation area pattern information.

제1 경계는 자율 주행 농기계 장치가 경작해야 할 영역과 경작하지 않아야 할 영역을 구분한 경계이다. 다른 말로는, 자율 주행 농기계 장치가 주행 해야 할 영역과 주행하지 않아야 할 영역이다. 예를들어, 경작해야 할 경작지와 경작하지 않아야 할 둑일 수 있다. 제2 경계는 미경작 영역과 경작 영역을 구분하는 경계이다.The first boundary is a boundary dividing an area to be cultivated and an area not to be cultivated by the autonomous driving agricultural machine apparatus. In other words, there are areas in which autonomous driving agricultural machinery should drive and areas in which it should not. For example, it could be arable land that should be cultivated and a weir that should not be cultivated. The second boundary is a boundary dividing the uncultivated area and the cultivated area.

경계를 인식하기 위해서 딥러닝 알고리즘을 이용한다. 딥러닝 알고리즘은 세그멘테이션 결과만을 기반으로 하여 검출하게 된다. 이때, 세그멘테이션은 정확한 검출을 하기 어렵다는 문제점이 있다. 이러한 문제점을 해결하기 위하여 세그멘테이션 결과에 후처리를 통해 라인을 피팅하게 된다. 본 발명은 경작 라인을 표시함으로써, 후처리 공정 없이 경계를 인식하고, 경작 작업의 효율성을 높일 수 있다.Deep learning algorithms are used to recognize boundaries. The deep learning algorithm detects based only on the segmentation result. In this case, there is a problem in that it is difficult to accurately detect the segmentation. To solve this problem, a line is fitted to the segmentation result through post-processing. According to the present invention, by displaying the cultivation line, the boundary can be recognized without a post-processing process, and the efficiency of the cultivation operation can be increased.

경작 영역 패턴 정보는 패턴 정보 학습부(151)로부터 제공될 수 있다. 패턴 정보 학습부(151)는 자율주행 제어 모듈의 외부에 존재하여, 데이터를 제공해 줄 수 있다. The cultivation area pattern information may be provided from the pattern information learning unit 151 . The pattern information learning unit 151 may exist outside the autonomous driving control module to provide data.

예를 들어, 패턴 정보 학습부(151)는 클라우드 서버 내에 위치하여, 자율주행 제어 모듈(150)로부터 영상 정보를 전송 받아 딥러닝 알고리즘에 기초하여 영상을 학습하고, 학습된 영상에 기초하여 경작 영역의 패턴 정보를 인식한다. 패턴 정보 학습부(151)는 경작 영역 패턴 정보를 학습시켜 경작 영역 패턴 정보를 업데이트하여 영역 경계 결정부 및 미경작 영역 결정부에 제공한다.For example, the pattern information learning unit 151 is located in the cloud server, receives image information from the autonomous driving control module 150, learns an image based on a deep learning algorithm, and a cultivation area based on the learned image Recognizes pattern information of The pattern information learning unit 151 learns the cultivated area pattern information, updates the cultivated area pattern information, and provides it to the area boundary determiner and the non-cultivated area determiner.

미경작 영역 결정부(154)는 영역 경계 결정부(152)에서 결정된 경계에 기초하여 미경작 영역을 결정한다.The uncultivated area determining unit 154 determines an uncultivated area based on the boundary determined by the area boundary determining unit 152 .

미경작 영역은 영역간의 경계 및 경작 영역 패턴 정보에 기초하여 결정된다. 기설정된 패턴 정보와 촬영된 영상을 비교하여 영역간의 경계를 결정하고, 결정된 영역간의 경계와 기설정된 영역 정보를 비교하여 미경작 영역을 결정한다. 이때, 기설정된 영역 정보는 패턴 정보에 의해 학습된 영역 정보이다.The uncultivated area is determined based on the boundary between the areas and the cultivated area pattern information. A boundary between regions is determined by comparing preset pattern information with a photographed image, and an uncultivated region is determined by comparing the boundary between the determined regions with preset region information. In this case, the preset area information is area information learned by pattern information.

미경작 영역 결정부(154)는 경작지를 적어도 하나이상의 영역으로 분류한다. 각각의 영역에 포함되는 주행로의 수가 서로 동일한 소정값이 되도록 경작지를 분류할 수 있다. 또한, 경작이 도중에 중단되었을 경우에도, 경작지에 있어서 경작 영역과 미경작 영역의 지점이 교대로 나타나는 부분을 작은 범위로 제어할 수 있다. 따라서 경작 영역과 미경작 영역의 구분이 명확하게 되기 쉽고, 원활하게 경작을 재개할 수 있다.The uncultivated area determining unit 154 classifies the cultivated land into at least one or more areas. The cultivated land may be classified so that the number of driving paths included in each area becomes a predetermined value equal to each other. Also, even when cultivation is stopped in the middle, it is possible to control a portion in which the points of the cultivated area and the non-cultivated area alternately appear in a small range in the cultivated land. Accordingly, the division between the cultivated area and the non-cultivated area is easily made clear, and cultivation can be smoothly resumed.

패턴 정보 학습부(151)는 경작 영역 패턴 정보를 학습시켜 경작 영역 패턴 정보를 업데이트 하여 영역 경계 결정부(152) 및 미경작 영역 결정부(154)에 제공한다. 패턴 정보 학습부(151)는 적어도 하나 이상의 카메라로 촬영된 영상 정보로부터 경작지 영역 간의 경계를 추출하고, 경계 간의 패턴을 식별하여 저장한다. 패턴 정보 학습부(151)는 경작 영역의 경계들과 자율 주행 농기계 장치와의 거리 정보를 산출하는 기술을 포함할 수도 있다.The pattern information learning unit 151 learns the cultivated area pattern information, updates the cultivated area pattern information, and provides it to the area boundary determiner 152 and the non-cultivated area determiner 154 . The pattern information learning unit 151 extracts boundaries between farmland areas from image information captured by at least one or more cameras, identifies and stores patterns between the boundaries. The pattern information learning unit 151 may include a technology for calculating distance information between the boundaries of the cultivation area and the autonomous driving agricultural machine.

패턴 정보 학습부(151)는 일반적으로 비슷한 색깔과 형태에 기초하여 영상처리 하게 되면 영역간의 오차율이 높다는 문제점을 해결하기 위해, 딥러닝 알고리즘을 통해 패턴 정보를 학습시킨다.The pattern information learning unit 151 generally learns pattern information through a deep learning algorithm in order to solve the problem that the error rate between regions is high when images are processed based on similar colors and shapes.

패턴 정보 학습부(151)는 학습된 패턴 정보에 기초하여 현재의 경작지의 패턴 정보를 인식한다. 이때, 패턴 정보는 색깔, 형태, 재질, 구조 및 토성 중 적어도 하나를 포함한다. 예를 들어, 비교적 진한 부분은 경작 영역이고, 비교적 연한 부분은 미경작 영역일 수 있다. The pattern information learning unit 151 recognizes the pattern information of the current cultivated land based on the learned pattern information. In this case, the pattern information includes at least one of color, shape, material, structure, and Saturn. For example, the relatively dark portions may be cultivated areas and the relatively light portions may be uncultivated areas.

한편, 토성에 따라 토양의 색깔이 다르기 때문에, 경작 영역과 미경작 영역을 색깔로 구분하는 것은 어렵다. 따라서, 패턴 영역 정보만으로 정확하게 경작 영역과 미경작 영역을 구분하기는 힘들다. 후술할 바와 같이, 본 발명은 패턴 영역 정보뿐만 아니라 경작 라인을 함께 인식함으로써, 경작 영역과 미경작 영역을 구분하기 위한 정확도를 높일 수 있다.On the other hand, since the color of the soil is different depending on the soil type, it is difficult to distinguish the cultivated area from the uncultivated area by color. Therefore, it is difficult to accurately distinguish a cultivated area from an uncultivated area only with the pattern area information. As will be described later, according to the present invention, by recognizing not only the pattern area information but also the cultivation line, the accuracy for distinguishing the cultivated area from the non-cultivated area can be increased.

도 5를 참조하면, 자율주행 제어 모듈(150')은 패턴 정보 학습부(151'), 영역 경계 결정부(152'), 및 미경작 영역 결정부(154')를 포함한다. 패턴 정보 학습부(151'), 영역 경계 결정부(152'), 및 미경작 영역 결정부(154')는 도 4에 개시된 패턴 정보 학습부(151), 영역 경계 결정부(152) 및 미경작 영역 결정부(154)와 동일하므로 자세한 내용은 생략될 것이다.Referring to FIG. 5 , the autonomous driving control module 150 ′ includes a pattern information learning unit 151 ′, an area boundary determining unit 152 ′, and an uncultivated area determining unit 154 ′. The pattern information learning unit 151 ′, the area boundary determining unit 152 ′, and the uncultivated area determining unit 154 ′ include the pattern information learning unit 151 , the area boundary determining unit 152 and the uncultivated area determining unit 152 shown in FIG. 4 . Since it is the same as the cultivation area determining unit 154 , the detailed description will be omitted.

도 4와 다른 점은, 패턴 정보 학습부(151')이 자율주행 제어 모듈(150')내에 위치한다는 점이다. 헤비하지 않은 알고리즘을 사용할 경우, 패턴 정보 학습부(151')가 자율주행 제어 모듈(150')내에 위치하여 프로세스를 간략화할 수 있다. 예를 들어, 패턴 정보 학습부(151')가 사용하는 알고리즘은 외부 서버에 저장하고, 외부 서버로부터 알고리즘 실행 결과를 받아서, 경작 영역의 패턴 정보를 결정하여 영역 경계 결정부에서 경계를 결정할 수 있다.The difference from FIG. 4 is that the pattern information learning unit 151' is located in the autonomous driving control module 150'. When a non-heavy algorithm is used, the pattern information learning unit 151 ′ is located in the autonomous driving control module 150 ′ to simplify the process. For example, the algorithm used by the pattern information learning unit 151 ′ may be stored in an external server, and an algorithm execution result may be received from the external server, the pattern information of the cultivated area may be determined, and the boundary may be determined by the area boundary determining unit. .

도 6a는 경작 라인 표시 모듈을 포함하지 않은 자율 주행 농기계 장치의 결과를 나타낸 사진이고, 도 6b는 경작 라인 표시 모듈을 포함한 자율 주행 농기계 장치의 결과를 나타낸 사진이다.6A is a photograph showing the results of the autonomous driving agricultural machine apparatus not including the cultivation line display module, and FIG. 6B is a photograph showing the results of the autonomous driving agricultural machine apparatus including the cultivation line display module.

도 6a를 참조하면, 경작 영역과 미경작 영역이 명확하게 인식되지 않아 영상 처리 결과, 일부의 경계만 인식된 것을 확인 할 수 있었다.Referring to FIG. 6A , since the cultivated area and the uncultivated area were not clearly recognized, as a result of image processing, it was confirmed that only a part of the boundary was recognized.

예를 들어, 자율 주행 농기계 장치가 경작지의 외곽을 한바퀴 돌게 되면 자율주행 제어 모듈은 영상 처리를 통해 미경작 영역과 경작 영역의 경계를 색깔 혹은 패턴만으로 구분하게 된다.For example, when an autonomous driving agricultural machine goes around the periphery of a cultivated field, the autonomous driving control module distinguishes the boundary between an uncultivated area and a cultivated area only by color or pattern through image processing.

도 6b를 참조하면, 경작 영역 상에 경작 라인이 표시되어, 영상 처리 결과 경작 영역과 미경작 영역의 경계가 명확하게 인식된 것을 확인 할 수 있었다. 또한, 인공지능 알고리즘이나 머신러닝 등 영상 처리기법을 활용하였을 때도 명확하게 인식되어 높은 인식률을 나타낼 수 있다.Referring to FIG. 6B , cultivation lines are displayed on the cultivated area, and as a result of image processing, it can be confirmed that the boundary between the cultivated area and the uncultivated area is clearly recognized. In addition, when an image processing technique such as an artificial intelligence algorithm or machine learning is used, it is clearly recognized and a high recognition rate can be displayed.

예를 들어, 자율 주행 농기계 장치가 경작지의 외곽을 한바퀴 돌게 되면 경작 라인 표시 모듈에 의해 경작 영역에 경작 라인이 생기게 된다. 자율주행 제어 모듈은 영상 처리를 통해 경작 라인을 인식하고 미경작 영역과 경작 영역의 경계를 명확하게 할 수 있다.For example, when the autonomous driving agricultural machinery device goes around the periphery of the cultivated land, a cultivation line is created in the cultivation area by the cultivation line display module. The autonomous driving control module can recognize the cultivation line through image processing and clarify the boundary between the uncultivated and cultivated areas.

도 7은 본 발명의 일 실시예에 따른 자율 주행 농기계 장치의 동작 방법을 나타낸 순서도이다. 도 8은 본 발명의 일 실시예에 따른 미경작 영역 결정 단계의 동작 방법을 나타낸 순서도이다. 도 7 및 도 8을 참조하면, 자율 주행 농기계 장치의 동작 방법은 경작 라인 표시 단계(S11), 미경작 영역 결정 단계(S13), 및 미경작 영역 주행 단계(S15)를 포함한다.7 is a flowchart illustrating a method of operating an autonomous driving agricultural machine according to an embodiment of the present invention. 8 is a flowchart illustrating a method of determining an uncultivated area according to an embodiment of the present invention. Referring to FIGS. 7 and 8 , the method of operating the autonomous driving agricultural machine includes a step of displaying a cultivation line ( S11 ), a step of determining an uncultivated area ( S13 ), and a step of driving an uncultivated area ( S15 ).

경작 라인 표시 단계(S11)는 경작 라인 표시 모듈이 자율 주행 농기계 장치의 주행 방향을 따라 경작지에 경작 라인을 표시하는 단계이다. 경작 라인 표시 단계는 연장부가 자율 주행 농기계 장치로부터 표시부를 고정시킨다. 그 후, 표시부가 자율 주행 농기계 장치의 주행방향에 따라 미경작 영역에 경작 라인을 표시한다.The cultivation line display step S11 is a step in which the cultivation line display module displays the cultivation line on the farmland along the driving direction of the autonomous driving agricultural machine. In the cultivation line display step, the extension fixes the display unit from the autonomous driving agricultural machine device. After that, the display unit displays the cultivation line in the uncultivated area according to the traveling direction of the autonomous driving agricultural machine.

미경작 영역 결정 단계(S13)는 자율주행 제어 모듈이 경작 라인 표시 모듈에 의해 생성된 경작 라인 및 경작지의 영상 정보에 기초하여 미경작 영역을 결정하는 단계이다. 영상 정보를 딥러닝 알고리즘을 통해 학습 시키고, 패턴 정보와 경작 라인에 기초하여 경계를 결정한다. 미경작 영역은 영역 간의 경계와 기설정된 영역 정보를 비교하여 결정할 수 있다. 본 발명은 경작 라인을 표시함으로써, 영역 간의 경계를 보다 명확하게 할 수 있다.The uncultivated area determination step S13 is a step in which the autonomous driving control module determines the uncultivated area based on the image information of the cultivated line and the cultivated land generated by the tillage line display module. Image information is learned through a deep learning algorithm, and boundaries are determined based on pattern information and cultivation lines. The uncultivated area may be determined by comparing the boundary between the areas with preset area information. In the present invention, the boundaries between areas can be made clearer by marking the cultivation lines.

구체적으로 도 8을 참조하면, 미경작 영역 결정 단계(S13)는 제1 경계를 결정하는 단계(S131), 제2 경계를 결정하는 단계(S133) 및 미경작 영역을 결정하는 단계(S135)를 포함한다. 제1 경계를 결정하는 단계(S131)는 제1 주행시, 자율주행 제어 모듈이 경작 영역 패턴 정보에 기초하여, 상기 경작지의 영상 정보로부터 제1 경계를 추출한다. 제2 경계를 결정하는 단계(S133)는 자율주행 제어 모듈이 경작 영역 패턴 정보에 기초하여 제2 경계를 추출한다. 미경작 영역을 결정하는 단계(S135)는 자율주행 제어 모듈이 영역 간의 경계와 기설정된 영역 정보를 비교하여 미경작 영역을 결정한다.Specifically, referring to FIG. 8 , the step of determining the uncultivated area ( S13 ) includes the step of determining the first boundary ( S131 ), the step of determining the second boundary ( S133 ), and the step of determining the uncultivated area ( S135 ). include In the step of determining the first boundary ( S131 ), during the first driving, the autonomous driving control module extracts the first boundary from the image information of the cultivated land based on the cultivation area pattern information. In the step of determining the second boundary ( S133 ), the autonomous driving control module extracts the second boundary based on the cultivation area pattern information. In the step of determining the uncultivated area ( S135 ), the autonomous driving control module determines the uncultivated area by comparing the boundary between the areas with preset area information.

미경작 영역 주행 단계(S15)는 자율주행 제어 모듈이 자율 주행 농기계 장치가 미경작 영역을 주행하도록 제어하는 단계이다. 미경작 영역을 주행하도록 하는 단계는 영역 경계 결정부가 경작 영역 패턴 정보에 기초하여 경작지 영역 간의 경계를 결정하고, 경계에 기초하여 주행 경로를 생성한다. 또한, 미경작 영역 결정부가 경계에 기초하여 경작지 내의 미경작 영역을 결정한다.The uncultivated area driving step S15 is a step in which the autonomous driving control module controls the autonomous driving agricultural machinery to drive the uncultivated area. In the step of driving the uncultivated area, the area boundary determining unit determines a boundary between the cultivated areas based on the cultivated area pattern information, and generates a driving route based on the boundary. In addition, the uncultivated area determining unit determines the uncultivated area in the cultivated land based on the boundary.

도 9는 본 발명의 일 실시예에 따른 자율 주행 농기계 시스템(1000)을 나타낸 도면이다. 도 9를 참조하면, 자율 주행 농기계 시스템(1000)은 자율 주행 농기계 장치(100_1)와 카메라(200)를 포함한다. 자율 주행 장치는 도 1에 도시된 자율 주행 농기계 장치(100)와 동일하므로 생략될 것이다.9 is a diagram illustrating an autonomous driving agricultural machine system 1000 according to an embodiment of the present invention. Referring to FIG. 9 , the autonomous driving agricultural machine system 1000 includes an autonomous driving agricultural machine device 100_1 and a camera 200 . Since the autonomous driving device is the same as the autonomous driving agricultural machine device 100 shown in FIG. 1 , it will be omitted.

카메라(200)는 경작지의 영상을 촬영하며, 복수 개일 수 있다. 또한, 카메라(200)는 자율 주행 농기계 장치에 부착되어 있을 수도 있고, 경작지 외부에 배치되어 경작지를 촬영할 수도 있다. 이때, 카메라(200)는 RGB카메라, IP카메라, HD-SDI 카메라, 아날로그 카메라, 화재감지 컬러카메라, 열화상 카메라, SD(720x486, NTSC)급의 해상도에서 HD(1920x5080, HD5080p) 카메라, IP줌 스피드 카메라 또는 CCTV 카메라 중 적어도 하나일 수 있다. RTK-GPS나 레이저 센서와 같은 고가의 장비를 사용하지 않고 카메라(200)만을 사용하여 자율 주행에 활용할 수 있는 기술을 통해 생산비용 및 추가적인 기술 개발 비용을 줄일 수 있다.The camera 200 captures an image of cultivated land, and there may be a plurality of cameras. In addition, the camera 200 may be attached to the autonomous driving agricultural machine device or may be disposed outside the cultivated land to photograph the cultivated land. At this time, the camera 200 is an RGB camera, an IP camera, an HD-SDI camera, an analog camera, a fire detection color camera, a thermal imager, an HD (1920x5080, HD5080p) camera, an IP zoom at the resolution of the SD (720x486, NTSC) level. It may be at least one of a speed camera or a CCTV camera. Production costs and additional technology development costs can be reduced through a technology that can be used for autonomous driving using only the camera 200 without using expensive equipment such as RTK-GPS or a laser sensor.

카메라(200)의 설치 높이가 높을수록 양호한 영상 품질을 확보할 수 있으며, 이와 같이 각 카메라(200)가 차량의 사각지대를 해소할 수 있는 위치의 선정과 합성된 주변 영상의 화질 저하를 최소화할 수 있는 설치위치와 시야각 설정이 중요하며, 차종 및 차의 크기에 따라 각각 다르게 설정할 수 있는 것이므로, 본 발명은 여기에 한정되지 않는다.The higher the installation height of the camera 200, the better the image quality can be secured. It is important to set the possible installation position and viewing angle, and since it can be set differently depending on the type of vehicle and the size of the vehicle, the present invention is not limited thereto.

또한, 카메라(200)를 자율 주행 차량의 전방, 후방, 좌측, 우측에 설치하였다면 4개의 카메라(200)를 통해 촬상된 영상을 보정처리 할 수 있으며, 자율 주행 농기계 장치(100_1)의 360°주변을 확인할 수 있다. 이때, 전방 카메라(200)와 후방 카메라(200)는 설치될 높이를 동일하게 하고, 좌, 우측 카메라(200)도 설치될 높이를 동일하게 하는 것이 영상들을 합성하여 주변의 경계를 추출하기 유리하다.In addition, if the camera 200 is installed on the front, rear, left, and right sides of the autonomous vehicle, images captured by the four cameras 200 can be corrected, and 360° around the autonomous driving agricultural machine device 100_1 can confirm. In this case, it is advantageous to synthesize the images and extract the boundary around the front camera 200 and the rear camera 200 to have the same height to be installed, and to set the left and right cameras 200 to have the same height. .

100 : 자율 주행 농기계 장치
200 : 카메라
130 : 경작 라인 표시 모듈
132 : 표시부
134 : 연장부
150 : 자율주행 제어 모듈
151 : 패턴 정보 학습부
152 : 영역 경계 결정부
154 : 미경작 영역 결정부
1000 : 자율 주행 농기계 시스템
100: autonomous driving agricultural machinery
200 : camera
130: cultivation line display module
132: display unit
134: extension
150: autonomous driving control module
151: pattern information learning unit
152: region boundary determining unit
154: uncultivated area determining unit
1000: autonomous driving agricultural machinery system

Claims (11)

자율 주행 농기계 장치로서,
상기 자율 주행 농기계 장치의 주행 방향을 따라 경작지에 경작 라인을 표시하는 경작 라인 표시 모듈; 및
상기 경작 라인 표시 모듈에 의해 생성된 상기 경작 라인 및 상기 경작지의 영상 정보에 기초하여 미경작 영역을 결정하고, 상기 자율 주행 농기계 장치가 상기 미경작 영역을 주행하도록 제어하는 자율주행 제어 모듈을 포함하는 자율 주행 농기계 장치.
An autonomous driving agricultural machine device comprising:
a cultivation line display module for displaying cultivation lines on farmland along the driving direction of the autonomous driving agricultural machine device; and
and an autonomous driving control module that determines an uncultivated area based on the image information of the cultivated line and the cultivated land generated by the tillage line display module, and controls the autonomous driving agricultural machine to drive the uncultivated area Autonomous agricultural machinery.
제1항에 있어서,
상기 자율주행 제어 모듈은,
상기 영상 정보 및 경작 영역 패턴 정보에 기초하여 경작지 영역 간의 경계를 결정하는 영역 경계 결정부; 및
상기 경계 및 상기 경작 영역 패턴 정보에 기초하여 상기 미경작 영역을 결정하고, 주행 경로를 생성하는 미경작 영역 결정부를 포함하는 자율 주행 농기계 장치.
According to claim 1,
The autonomous driving control module,
an area boundary determiner configured to determine a boundary between cultivated areas based on the image information and the cultivated area pattern information; and
and an uncultivated area determiner configured to determine the uncultivated area based on the boundary and the cultivated area pattern information and generate a driving route.
제2항에 있어서,
상기 경작 영역 패턴 정보를 학습시켜 상기 경작 영역 패턴 정보를 업데이트하여 상기 영역 경계 결정부 및 상기 미경작 영역 결정부에 제공하는 패턴 정보 학습부를 더 포함하는 자율 주행 농기계 장치.
3. The method of claim 2,
and a pattern information learning unit that learns the cultivated area pattern information, updates the cultivated area pattern information, and provides the information to the area boundary determining unit and the non-cultivating area determining unit.
제2항에 있어서,
상기 영역 경계 결정부는,
제1 주행시, 경작 영역 패턴 정보에 기초하여, 상기 경작지의 영상 정보로부터 제1 경계를 추출하여 제1 주행 경로를 생성하고,
상기 제1 주행 이후의 주행시, 상기 경작 영역 패턴 정보에 기초하여 제2 경계를 추출하는 자율 주행 농기계 장치.
3. The method of claim 2,
The region boundary determining unit,
During the first driving, based on the cultivated area pattern information, extracting a first boundary from the image information of the cultivated land to generate a first driving route,
When driving after the first driving, the autonomous driving agricultural machine apparatus extracts a second boundary based on the cultivation area pattern information.
제4항에 있어서,
상기 제1 경계는 상기 자율 주행 농기계 장치가 경작해야 할 영역과 경작하지 않아야 할 영역을 구분하는 경계이고,
상기 제2 경계는 상기 미경작 영역과 경작 영역을 구분하는 경계인 자율 주행 농기계 장치.
5. The method of claim 4,
The first boundary is a boundary for dividing an area to be cultivated and an area not to be cultivated by the autonomous driving agricultural machine device;
The second boundary is a boundary that separates the uncultivated area from the cultivated area.
제1항에 있어서,
상기 경작 라인 표시 모듈은,
상기 자율 주행 농기계 장치의 주행방향에 따라 상기 미경작 영역에 경작 라인을 표시하는 적어도 하나의 표시부; 및
상기 자율 주행 농기계 장치로부터 상기 경작지로 연장되고, 상기 표시부를 고정시키는 적어도 하나의 연장부를 포함하는 자율 주행 농기계 장치.
According to claim 1,
The cultivation line display module,
at least one display unit for displaying a cultivation line in the uncultivated area according to a driving direction of the autonomous driving agricultural machine; and
and at least one extension part extending from the autonomous driving farm machine device to the farmland and fixing the display part.
제1항에 있어서,
상기 자율주행 제어 모듈은 상기 자율 주행 농기계 장치가 경작 영역의 5 내지 10%를 중첩시켜 경작하도록 제어하는 자율 주행 농기계 장치.
According to claim 1,
The autonomous driving control module controls the autonomous driving agricultural machinery to overlap 5 to 10% of the cultivated area to cultivate the autonomous driving agricultural machinery.
자율 주행 농기계 장치의 동작 방법으로서,
경작 라인 표시 모듈이 상기 자율 주행 농기계 장치의 주행 방향을 따라 경작지에 경작 라인을 표시하는 단계;
자율주행 제어 모듈이 상기 경작 라인 표시 모듈에 의해 생성된 상기 경작 라인 및 상기 경작지의 영상 정보에 기초하여 미경작 영역을 결정하고, 상기 자율 주행 농기계 장치가 상기 미경작 영역을 주행하도록 제어하는 단계를 포함하는 자율 주행 농기계 장치의 동작 방법.
A method of operating an autonomous driving agricultural machine, comprising:
displaying, by a cultivation line display module, a cultivation line on the farmland along a driving direction of the autonomous driving agricultural machine;
determining, by the autonomous driving control module, an uncultivated area based on the image information of the cultivated line and the cultivated land generated by the tillage line display module, and controlling the autonomous driving agricultural machinery to drive the uncultivated area A method of operating an autonomous driving agricultural machine comprising a.
제8항에 있어서,
상기 미경작 영역을 주행하도록 제어하는 단계는,
영역 경계 결정부가 경작 영역 패턴 정보에 기초하여 경작지 영역 간의 경계를 결정하는 단계; 및
미경작 영역 결정부가 상기 경계 및 상기 경작 영역 패턴 정보에 기초하여 경작지 내의 상기 미경작 영역을 결정하고 주행 경로를 생성하는 단계를 포함하는 자율 주행 농기계 장치의 동작 방법.
9. The method of claim 8,
The step of controlling to drive the uncultivated area comprises:
determining, by an area boundary determining unit, a boundary between cultivated land areas based on the cultivated area pattern information; and
and determining, by an uncultivated area determining unit, the uncultivated area in the cultivated land based on the boundary and the cultivated area pattern information and generating a driving route.
제9항에 있어서,
상기 경작지에 경작 라인을 표시하는 단계는,
연장부가 상기 자율 주행 농기계 장치로부터 상기 경작지로 연장되고, 상기 표시부를 고정시키는 단계; 및
상기 표시부가 상기 자율 주행 농기계 장치의 주행방향에 따라 상기 미경작 영역에 경작 라인을 표시하는 단계를 포함하는 자율 주행 농기계 장치의 동작 방법.
10. The method of claim 9,
The step of marking the cultivation line on the farmland,
an extension portion extending from the autonomous driving agricultural machine device to the farmland, and fixing the display portion; and
and displaying, by the display unit, a cultivation line in the uncultivated area according to a driving direction of the autonomous driving agricultural machine.
자율 주행 농기계 장치; 및
경작 영역을 촬영하기 위한 카메라를 포함하고,
상기 자율 주행 농기계 장치는,
상기 자율 주행 농기계 장치의 주행 방향을 따라 경작지에 경작 라인을 표시하는 경작 라인 표시 모듈; 및
상기 경작 라인 표시 모듈에 의해 생성된 상기 경작 라인 및 상기 경작지의 영상 정보에 기초하여 미경작 영역을 결정하고, 상기 자율 주행 농기계 장치가 상기 미경작 영역을 주행하도록 제어하는 자율주행 제어 모듈을 포함하는 자율 주행 농기계 시스템.
autonomous agricultural machinery; and
a camera for photographing the cultivated area;
The autonomous driving agricultural machine device,
a cultivation line display module for displaying cultivation lines on farmland along the driving direction of the autonomous driving agricultural machine device; and
and an autonomous driving control module that determines an uncultivated area based on the image information of the cultivated line and the cultivated land generated by the tillage line display module, and controls the autonomous driving agricultural machine to drive the uncultivated area Autonomous agricultural machinery system.
KR1020200074850A 2020-06-19 2020-06-19 Autonomous agricultural machine device to increase the recognition rate of autonomous traveling path and operation method thereof KR102445673B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200074850A KR102445673B1 (en) 2020-06-19 2020-06-19 Autonomous agricultural machine device to increase the recognition rate of autonomous traveling path and operation method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200074850A KR102445673B1 (en) 2020-06-19 2020-06-19 Autonomous agricultural machine device to increase the recognition rate of autonomous traveling path and operation method thereof

Publications (2)

Publication Number Publication Date
KR20210157043A true KR20210157043A (en) 2021-12-28
KR102445673B1 KR102445673B1 (en) 2022-09-22

Family

ID=79178170

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200074850A KR102445673B1 (en) 2020-06-19 2020-06-19 Autonomous agricultural machine device to increase the recognition rate of autonomous traveling path and operation method thereof

Country Status (1)

Country Link
KR (1) KR102445673B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102520435B1 (en) 2022-10-28 2023-04-12 주식회사 지엘아이엔에스 A lidar sensor-based agricultural machinery safety management system providing obstacle warning function and its control method
KR102682096B1 (en) 2022-12-15 2024-07-05 주식회사 대동 Method and system for changing the location recognition method of autonomous agricultural vehicle

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07203706A (en) * 1994-01-20 1995-08-08 Fuji Heavy Ind Ltd Autonomous travel working vehicle
JP2017211893A (en) * 2016-05-27 2017-11-30 国立研究開発法人農業・食品産業技術総合研究機構 Moving vehicle travelling control device
JP2018041358A (en) * 2016-09-09 2018-03-15 ヤンマー株式会社 Autonomous travelling system
JP2018045710A (en) * 2014-02-06 2018-03-22 ヤンマー株式会社 Accompanying travel work system
KR102017965B1 (en) * 2014-12-11 2019-09-03 얀마 가부시키가이샤 Work vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07203706A (en) * 1994-01-20 1995-08-08 Fuji Heavy Ind Ltd Autonomous travel working vehicle
JP2018045710A (en) * 2014-02-06 2018-03-22 ヤンマー株式会社 Accompanying travel work system
KR102017965B1 (en) * 2014-12-11 2019-09-03 얀마 가부시키가이샤 Work vehicle
JP2017211893A (en) * 2016-05-27 2017-11-30 国立研究開発法人農業・食品産業技術総合研究機構 Moving vehicle travelling control device
JP2018041358A (en) * 2016-09-09 2018-03-15 ヤンマー株式会社 Autonomous travelling system

Also Published As

Publication number Publication date
KR102445673B1 (en) 2022-09-22

Similar Documents

Publication Publication Date Title
CN110243372B (en) Intelligent agricultural machinery navigation system and method based on machine vision
US20200358997A1 (en) Methods for automatic registration of 3d image data
RU2736730C2 (en) Agricultural working machine
EP2187166B1 (en) Industrial Machine
KR102445673B1 (en) Autonomous agricultural machine device to increase the recognition rate of autonomous traveling path and operation method thereof
US10033924B2 (en) Panoramic view imaging system
US10129521B2 (en) Depth sensing method and system for autonomous vehicles
US20170019657A1 (en) Stereo auto-calibration from structure-from-motion
JP6735303B2 (en) Work vehicle and crop row recognition program
US20120170812A1 (en) Driving support display device
CN105100600B (en) For the method calibrated automatically in panoramic visualization system
KR102304098B1 (en) Automatic driving agricultural machine device supporting image-based path recognition and steering angle calculation techniques and operation method thereof
CN106530239B (en) The mobile target low altitude tracking method of miniature self-service gyroplane based on the bionical flake of big visual field
RU2763451C1 (en) Automatic driving system for grain processing, automatic driving method and automatic identification method
JP2020067698A (en) Partition line detector and partition line detection method
CN104574443B (en) The cooperative tracking method of moving target between a kind of panoramic camera
English et al. Learning crop models for vision-based guidance of agricultural robots
KR102340543B1 (en) Attached tpye-agricultural working path detecting appatatus
Bakken et al. Robot-supervised learning of crop row segmentation
JPH11149557A (en) Surrounding environment recognizing device for autonomous traveling vehicle
Hanawa et al. Development of a stereo vision system to assist the operation of agricultural tractors
JP6841553B2 (en) Imaging device
CN117765340A (en) Model training method, image edge detection method and multi-sensor calibration method
JP2020036569A (en) Travel control device for travel vehicle
CN113239948B (en) Data fusion method and system for millimeter wave radar and video image

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right