KR20210157043A - Autonomous agricultural machine device to increase the recognition rate of autonomous traveling path and operation method thereof - Google Patents
Autonomous agricultural machine device to increase the recognition rate of autonomous traveling path and operation method thereof Download PDFInfo
- Publication number
- KR20210157043A KR20210157043A KR1020200074850A KR20200074850A KR20210157043A KR 20210157043 A KR20210157043 A KR 20210157043A KR 1020200074850 A KR1020200074850 A KR 1020200074850A KR 20200074850 A KR20200074850 A KR 20200074850A KR 20210157043 A KR20210157043 A KR 20210157043A
- Authority
- KR
- South Korea
- Prior art keywords
- area
- autonomous driving
- cultivated
- agricultural machine
- boundary
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 23
- 238000003971 tillage Methods 0.000 claims abstract description 19
- 239000000284 extract Substances 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 15
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000007599 discharging Methods 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 239000003337 fertilizer Substances 0.000 description 2
- 235000013312 flour Nutrition 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
- A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
- A01B69/007—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
- A01B69/008—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
- A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
- A01B69/02—Ridge-marking or like devices; Checkrow wires; Accessories therefor
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2200/00—Type of vehicle
- B60Y2200/20—Off-Road Vehicles
- B60Y2200/22—Agricultural vehicles
- B60Y2200/221—Tractors
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mechanical Engineering (AREA)
- Soil Sciences (AREA)
- Environmental Sciences (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Guiding Agricultural Machines (AREA)
Abstract
Description
본 발명은 자율 주행 농기계 장치로, 자세하게는 자율 주행 농기계 장치가 자율 주행 경로 및 환경을 인식할 때 인식의 정확도를 높일 수 있도록 하는 기술이다.The present invention is an autonomous driving agricultural machine device, and in detail, a technology for increasing recognition accuracy when an autonomous driving agricultural machine device recognizes an autonomous driving route and environment.
최근 국내 산업은 4차 산업혁명이란 슬로건을 통해 인공지능과 ICT 기술을 융합하여 미국, 독일, 일본과 같은 기술 선진국들의 수준에 견줄 산업시스템을 구축하고 있다. 이러한 산업 구조의 변화는 농업분야에도 영향을 미치게 되는데, 농업분야의 새로운 산업시스템의 대표적인 예로 스마트 팜이 손꼽히고 있다.Recently, the domestic industry is building an industrial system comparable to the level of advanced technological countries such as the United States, Germany, and Japan by converging artificial intelligence and ICT technology under the slogan of the 4th industrial revolution. This change in the industrial structure also affects the agricultural sector, and the smart farm is cited as a representative example of a new industrial system in the agricultural sector.
자율주행기술은 기본적으로 도로를 주행하는 자동차에 적용되고 있지만, 군사적인 목적이나 농업기술에도 많이 이용되고 있다. 구체적으로 자율주행기술을 적용된 농기계로서 자율주행 트랙터가 있다. 자율주행트랙터는 스스로 알아서 움직이는 트랙터로서, 경작지의 위치와 크기를 측정하여 경작지에 맞는 작업경로를 설정하면, 작업경로를 따라 이동하면서 작업을 수행하도록 구성된다.Autonomous driving technology is basically applied to vehicles driving on roads, but it is also widely used for military purposes and agricultural technology. Specifically, there is an autonomous driving tractor as an agricultural machine to which autonomous driving technology is applied. The self-driving tractor is a tractor that moves on its own, and when a work path suitable for cultivated land is set by measuring the location and size of cultivated land, it is configured to perform work while moving along the working path.
한편, 자율주행 트랙터와 관련한 연구는 국내에서도 활발히 진행되어, 자동 경로 생성 등의 기술을 개발하였지만, 기술 선진국에 비해 측정 위치의 정확도, 노지 상태, 트랙터 주요 요소에 대한 모니터링을 크게 고려하지 않아 작업 안정성을 확보하는데 어려움이 있다.On the other hand, research related to autonomous tractors has been actively conducted in Korea, and technologies such as automatic route generation have been developed. is difficult to obtain.
다시 말해서, 자율 주행 경로 및 환경을 인식하는 과정에서 인식률이 떨어져 안정성을 확보하는데 어려움이 있다.In other words, in the process of recognizing the autonomous driving route and environment, the recognition rate is low, so it is difficult to secure stability.
본 발명은 자율 주행 경로 및 환경을 인식하는 과정에서 정확도를 높이기 위한 자율 주행 농기계 장치 및 그 동작 방법을 제공하고자 한다.An object of the present invention is to provide an autonomous driving agricultural machine device and an operating method thereof for increasing accuracy in the process of recognizing an autonomous driving route and environment.
자율 주행 농기계 장치로서, 상기 자율 주행 농기계 장치의 주행 방향을 따라 경작지에 경작 라인을 표시하는 경작 라인 표시 모듈 및 상기 경작 라인 표시 모듈에 의해 생성된 상기 경작 라인 및 상기 경작지의 영상 정보에 기초하여 미경작 영역을 결정하고, 상기 자율 주행 농기계 장치가 상기 미경작 영역을 주행하도록 제어하는 자율주행 제어 모듈을 포함한다.An autonomous driving agricultural machine device, comprising: a cultivation line display module for displaying cultivation lines on farmland along a running direction of the autonomous driving farm machine device; and an autonomous driving control module that determines a cultivated area and controls the autonomous driving agricultural machine device to drive in the uncultivated area.
상기 자율주행 제어 모듈은,상기 영상 정보 및 경작 영역 패턴 정보에 기초하여 경작지 영역 간의 경계를 결정하는 영역 경계 결정부 및 상기 경계 및 상기 경작 영역 패턴 정보에 기초하여 상기 미경작 영역을 결정하고, 주행 경로를 생성하는 미경작 영역 결정부를 포함한다.The autonomous driving control module is configured to include: an area boundary determiner that determines a boundary between cultivated areas based on the image information and cultivated area pattern information; and a non-cultivated area based on the boundary and the cultivated area pattern information; and an uncultivated area determinant that creates a path.
자율 주행 농기계 장치는 상기 경작 영역 패턴 정보를 학습시켜 상기 경작 영역 패턴 정보를 업데이트하여 상기 영역 경계 결정부 및 상기 미경작 영역 결정부에 제공하는 패턴 정보 학습부를 더 포함한다.The autonomous driving agricultural machine apparatus further includes a pattern information learning unit that learns the cultivated area pattern information, updates the cultivated area pattern information, and provides it to the area boundary determiner and the non-cultivated area determiner.
상기 영역 경계 결정부는, 제1 주행시, 경작 영역 패턴 정보에 기초하여, 상기 경작지의 영상 정보로부터 제1 경계를 추출하여 제1 주행 경로를 생성하고, 상기 제1 주행 이후의 주행시, 상기 경작 영역 패턴 정보에 기초하여 제2 경계를 추출한다.The region boundary determining unit generates a first driving path by extracting a first boundary from the image information of the cultivated land based on the cultivation area pattern information during a first driving, and when driving after the first driving, the cultivation region pattern A second boundary is extracted based on the information.
상기 제1 경계는 상기 자율 주행 농기계 장치가 경작해야 할 영역과 경작하지 않아야 할 영역을 구분하는 경계이고, 상기 제2 경계는 상기 미경작 영역과 경작 영역을 구분하는 경계이다.The first boundary is a boundary that separates an area to be cultivated and an area not to be cultivated by the autonomous driving agricultural machine device, and the second boundary is a boundary that separates the non-cultivated area from the cultivated area.
상기 경작 라인 표시 모듈은, 상기 자율 주행 농기계 장치의 주행방향에 따라 상기 미경작 영역에 경작 라인을 표시하는 표시부 및 상기 자율 주행 농기계 장치로부터 상기 경작지로 연장되고, 상기 표시부를 고정시키는 연장부를 포함한다.The cultivation line display module includes a display unit for displaying a cultivation line in the uncultivated area according to a driving direction of the autonomous driving agricultural machine device, and an extension part extending from the autonomous driving farm machine device to the cultivated land and fixing the display unit .
상기 자율주행 제어 모듈은 상기 자율 주행 농기계 장치가 경작 영역의 5 내지 10%를 중첩시켜 경작하도록 제어한다.The autonomous driving control module controls the autonomous driving agricultural machine device to cultivate overlapping 5 to 10% of the cultivation area.
자율 주행 농기계 장치의 동작 방법으로서, 경작 라인 표시 모듈이 상기 자율 주행 농기계 장치의 주행 방향을 따라 경작지에 경작 라인을 표시하는 단계 자율주행 제어 모듈이 상기 경작 라인 표시 모듈에 의해 생성된 상기 경작 라인 및 상기 경작지의 영상 정보에 기초하여 미경작 영역을 결정하고, 상기 자율 주행 농기계 장치가 상기 미경작 영역을 주행하도록 제어하는 단계를 포함한다.A method of operating an autonomous driving agricultural machine device, comprising: displaying, by a cultivation line display module, a cultivation line on farmland along a driving direction of the autonomous driving farm machine device; and determining an uncultivated area based on the image information of the cultivated land, and controlling the autonomous driving agricultural machinery to drive the uncultivated area.
상기 미경작 영역을 주행하도록 제어하는 단계는, 영역 경계 결정부가 경작 영역 패턴 정보에 기초하여 경작지 영역 간의 경계를 결정하는 단계 및 미경작 영역 결정부가 상기 경계 및 상기 경작 영역 패턴 정보에 기초하여 경작지 내의 상기 미경작 영역을 결정하고 주행 경로를 생성하는 단계를 포함한다.The controlling to drive the uncultivated area may include: determining, by an area boundary determining unit, a boundary between cultivated land areas based on cultivated area pattern information; and determining the uncultivated area and creating a travel route.
상기 경작지에 경작 라인을 표시하는 단계는, 연장부가 상기 자율 주행 농기계 장치로부터 상기 경작지로 연장되고, 상기 표시부를 고정시키는 단계 및 상기 표시부가 상기 자율 주행 농기계 장치의 주행방향에 따라 상기 미경작 영역에 경작 라인을 표시하는 단계를 포함한다.The displaying of the tillage line on the cultivated land includes: an extension extending from the autonomous driving agricultural machine to the cultivated land, fixing the display, and the displaying part on the uncultivated area according to the driving direction of the autonomous driving agricultural machine. and marking the tillage line.
자율 주행 농기계 시스템은 자율 주행 농기계 장치 및 경작 영역을 촬영하기 위한 카메라를 포함하고, 상기 자율 주행 농기계 장치는 상기 자율 주행 농기계 장치의 주행 방향을 따라 경작지에 경작 라인을 표시하는 경작 라인 표시 모듈 및 상기 경작 라인 표시 모듈에 의해 생성된 상기 경작 라인 및 상기 경작지의 영상 정보에 기초하여 미경작 영역을 결정하고, 상기 자율 주행 농기계 장치가 상기 미경작 영역을 주행하도록 제어하는 자율주행 제어 모듈을 포함한다.The autonomous driving agricultural machine system includes an autonomous driving farm machine device and a camera for photographing a cultivation area, wherein the autonomous driving farm machine device includes a cultivation line display module for displaying cultivation lines on farmland along a driving direction of the autonomous driving farm machine device, and the and an autonomous driving control module that determines an uncultivated area based on the image information of the cultivated line and the cultivated land generated by the tillage line display module, and controls the autonomous driving agricultural machinery to drive the uncultivated area.
본 발명을 통해 자율 주행 경로 및 환경을 인식하는 과정에서 적은 예산 및 복잡한 추가 알고리즘의 필요 없이 인식의 정확도를 높일 수 있다.Through the present invention, in the process of recognizing an autonomous driving route and environment, it is possible to increase the recognition accuracy without the need for a small budget and complex additional algorithms.
도 1은 본 발명의 일 실시예에 따른 자율 주행 농기계 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 경작 라인 표시 모듈의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 경작 라인 표시 모듈이 결착된 자율 주행 농기계 장치의 사진이다.
도 4는 본 발명의 일 실시예에 따른 자율주행 제어 모듈의 블록도이다.
도 5는 자율주행 제어 모듈의 다른 일 실시예를 나타낸 블록도이다.
도 6a는 경작 라인 표시 모듈을 포함하지 않은 자율 주행 농기계 장치의 결과를 나타낸 사진이고, 도 6b는 경작 라인 표시 모듈을 포함한 자율 주행 농기계 장치의 결과를 나타낸 사진이다.
도 7는 본 발명의 일 실시예에 따른 자율 주행 농기계 장치의 동작 방법을 나타낸 순서도이다.
도 8은 본 발명의 일 실시예에 따른 미경작 영역 결정 단계의 동작 방법을 나타낸 순서도이다.
도 9는 본 발명의 일 실시예에 따른 자율 주행 농기계 시스템을 나타낸 도면이다.1 is a block diagram of an autonomous driving agricultural machine apparatus according to an embodiment of the present invention.
2 is a block diagram of a cultivation line display module according to an embodiment of the present invention.
3 is a photograph of an autonomous driving agricultural machine to which a cultivation line display module is attached according to an embodiment of the present invention.
4 is a block diagram of an autonomous driving control module according to an embodiment of the present invention.
5 is a block diagram illustrating another embodiment of an autonomous driving control module.
6A is a photograph showing the results of the autonomous driving agricultural machine apparatus not including the cultivation line display module, and FIG. 6B is a photograph showing the results of the autonomous driving agricultural machine apparatus including the cultivation line display module.
7 is a flowchart illustrating a method of operating an autonomous driving agricultural machine apparatus according to an embodiment of the present invention.
8 is a flowchart illustrating a method of determining an uncultivated area according to an embodiment of the present invention.
9 is a view showing an autonomous driving agricultural machine system according to an embodiment of the present invention.
이하, 본 명세서에 개시된 실시 예들을 도면을 참조하여 상세하게 설명하고 자 한다. 본문에서 달리 명시하지 않는 한, 도면의 유사한 참조번호들은 유사한 구성요소들을 나타낸다. 상세한 설명, 도면들 및 청구항들에서 상술하는 예시적인 실시 예들은 한정을 위한 것이 아니며, 다른 실시 예들이 이용될 수 있으며, 여기서 개시되는 기술의 사상이나 범주를 벗어나지 않는 한 다른 변경들도 가능하다. 당업자는 본 개시의 구성요소들, 즉 여기서 일반적으로 기술되고, 도면에 기재되는 구성요소들을 다양하게 다른 구성으로 배열, 구성, 결합, 도안할 수 있으며, 이것들의 모두는 명백하게 고안 되어지며, 본 개시의 일부를 형성하고 있음을 용이하게 이해할 수 있을 것이다. 도면에서 여러 층(또는 막), 영역 및 형상을 명확하게 표현하기 위하여 구성요소의 폭, 길이, 두께 또는 형상 등은 과장되어 표현될 수도 있다.Hereinafter, embodiments disclosed in the present specification will be described in detail with reference to the drawings. Unless otherwise specified in the text, like reference numbers in the drawings indicate like elements. Exemplary embodiments described above in the detailed description, drawings, and claims are not intended to be limiting, and other embodiments may be used, and other changes may be made without departing from the spirit or scope of the technology disclosed herein. Those skilled in the art may arrange, construct, combine, and design in variously different configurations the elements of the present disclosure, i.e., the elements generally described herein and illustrated in the drawings, all of which are clearly devised, and the present disclosure It can be easily understood that it forms a part of In the drawings, in order to clearly express various layers (or films), regions, and shapes, the width, length, thickness, or shape of the components may be exaggerated.
개시된 기술에 관한 설명은 구조적 내지 기능적 설명을 위한 실시 예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시 예에 의하여 제한되는 것으로 해석되어서는 아니된다. 즉, 실시 예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물을 포함하는 것으로 이해되어야 한다.Since the description of the disclosed technology is only an embodiment for structural or functional description, the scope of the disclosed technology should not be construed as being limited by the embodiment described in the text. That is, since the embodiment may have various changes and may have various forms, it should be understood that the scope of the disclosed technology includes equivalents capable of realizing the technical idea.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, “포함하다” 또는 “가지다” 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expression is to be understood as including the plural expression unless the context clearly dictates otherwise, and terms such as “comprises” or “have” refer to the embodied feature, number, step, action, component, part or these It is to be understood that this is intended to indicate that a combination exists, and does not preclude the possibility of addition or existence of one or more other features or numbers, steps, operations, components, parts, or combinations thereof.
여기서 사용된 모든 용어들은 다르게 정의되지 않는 한, 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 용어들은 관련기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석 될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which the disclosed technology belongs, unless otherwise defined. Terms defined in commonly used dictionaries should be interpreted as being consistent with the meaning of the context of the related art, and cannot be interpreted as having an ideal or excessively formal meaning unless explicitly defined in the present application.
도 1은 본 발명의 일 실시예에 따른 자율 주행 농기계 장치(100)의 블록도이다. 도 1을 참조하면, 자율 주행 농기계 장치(100)는 경작 라인 표시 모듈(130)과 자율주행 제어 모듈(150)을 포함한다.1 is a block diagram of an autonomous driving
자율 주행 농기계 장치(100)는 트랙터, 콤바인, 경운기 등과 같이 경작지의 밭갈이, 비료살포, 비료운반, 각종 농작물 운반 등의 작업에 이용되는 다양한 운행 수단을 의미할 수 있다.The autonomous driving
경작 라인 표시 모듈(130)은 자율 주행 농기계 장치(100)의 주행 방향을 따라 경작지에 경작 라인을 표시한다. 경작 라인 표시 모듈(130)이 경작지에 경작 라인을 표시함으로써, 경작 영역과 미경작 영역 사이의 경계가 육안으로도 명확하게 경계가 인식될 수 있다. 또한, 인공지능 알고리즘이나 머신러닝과 같은 영상 처리 기법을 활용하였을 때도 명확하게 인식 될 수 있다. 이때, 영상 처리 기법을 위한 영상은 LiDAR와 같은 2차원 영상일 수 있으며, 3차원 정보인 DEPTH 또는 텍스쳐일 수도 있다.The cultivation
경작 라인 표시 모듈(130)은 자율 주행 농기계 장치(100)에 탈부착이 가능하도록 할 수 있다. 또한, 각도 조절과 높낮이 조절이 가능하도록 제공될 수 있다. 경작 라인 표시 모듈(130)에 대한 구체적인 내용은 도 2에서 후술될 것이다.The cultivation
자율주행 제어 모듈(150)은 경작 라인 표시 모듈(130)에 의해 생성된 경작 라인 및 경작지의 영상 정보에 기초하여 미경작 영역을 결정한다. 또한, 자율 주행 농기계 장치(100)가 미경작 영역을 주행하도록 제어한다.The autonomous
자율주행 제어 모듈(150)은 자율 주행 농기계 장치(100)가 경작 영역의 5 내지 10%를 중첩시켜 경작하도록 제어한다. 경작 영역의 5 내지 10%를 중첩시켜 경작시키는 것은 경작 라인 표시 모듈(130)로 인해 생성된 경작 라인이 다음 작업 시에 중첩 범위 내에 있어 경작 작업과 동시에 없어져 경작 상태에 영향을 미치지 않게 할 수 있다.The autonomous
자율주행 제어 모듈(150)이 작업경로를 생성할 때 가장 중요하게 고려해야 할 사항으로는 경작 구간 사이의 거리, 선회 방법과 선회 거리, 회행 작업 수 또는 주행 경로와 순서 중 적어도 하나이다. 작업 구간 사이의 거리는 자율 주행 농기계 장치(100)와 경작기의 고유작업 폭을 고려해야 하기 때문이며, 이를 고려하지 않으면 경작이 중첩되는 현상이 발생한다.When the autonomous
또한, 자율 주행 농기계 장치(100)의 구조상 작업 폭과 길이가 일반 차량보다 클 뿐만 아니라, 중량도 크고, 쉽게 후진, 회전을 할 수 없기 때문에, 최적의 선회 경로와 최적의 회행 작업 수를 고려해야 한다. 그리고 주행 경로와 순서의 계산이 부실할 경우에는, 작업이 겹치는 구간 혹은 작업을 못한 공간이 생기게 된다. 따라서, 이들 요인을 모두 고려하여 경작경로를 생성해야 한다. 자율주행 제어 모듈(150)에 대한 자세한 내용은 도 4 및 도 5에서 후술될 것이다.In addition, since the working width and length of the autonomous driving
본 발명의 실시예에 따른 자율 주행 농기계 장치(100)에 따르면, 자율 주행 농기계 장치(1000의 물리적인 구성의 큰 변경없이, 적은 비용으로 경작 영역과 미경작 영역을 보기 명확하게 인식하여 경작 작업의 효율을 더 높일 수 있다.According to the autonomous driving
도 2는 본 발명의 일 실시예에 따른 경작 라인 표시 모듈(130)의 블록도이다. 도 3은 본 발명의 일 실시예에 따른 경작 라인 표시 모듈이 결착된 자율 주행 농기계 장치(100)의 사진이다. 도 2 및 도3을 참조히면, 경작 라인 표시 모듈(130)은 표시부(132)와 연장부(134)를 포함한다.2 is a block diagram of a cultivation
표시부(132)는 자율 주행 농기계 장치(100)의 주행방향에 따라 미경작 영역에 경작 라인을 표시한다. 표시부(132)는 복수개로 제공될 수 있다. 표시부(132)는 막대, 돌출부 및 액체 또는 가루 배출 수단 중 적어도 하나일 수 있다. 이때, 액체 배출 수단은 액체 성분을 일정하게 배출하여 경작 영역에 경작 라인을 표시할 수 있다. 이와 비슷하게, 가루 배출 수단은 가루 성분을 일정하게 배출하여 경작 영역에 경작 라인을 표시할 수 있다.The
연장부(134)는 자율 주행 농기계 장치(100)로부터 경작지로 연장되고, 표시부(132)를 고정시킬 수 있다. 도 3은 참고일뿐, 2개 이상의 연장부가 제공될 수 있다. 연장부(134)는 표시부(132)의 개수와 동일하게 제공될 수 있으며, 자율 주행 농기계 장치(100)의 후면에 연결될 수 있다. 연장부(134)의 일단에는 표시부(132)가 결착되어 있을 수 있다.The
연장부(134)는 표시부(132)의 높낮이 및 각도를 조절할 수 있다. 예를 들어, 자율 주행 농기계 장치(100)의 후면에 3개의 연장부(134) 중 하나의 연장부(134)만 사용하고 싶다면, 두 개의 연장부(134)는 지면과 평행한 상태로 조절될 수 있고 하나의 연장부(134)만 지면으로 향하도록 각도를 조절할 수 있다.The
본 발명의 일 실시예에 있어서, 자율 주행 농기계 장치(100)는 경작 라인 표시 제어 모듈을 더 포함할 수 있다. 경작 라인 표시 제어 모듈은 자율 주행 농기계 장치(100)의 미경작 영역 생성부(154)에서 생성한 주행 경로에 기초하여 적어도 하나의 표시부(132)들의 높낮이 및 각도를 제어한다.In an embodiment of the present invention, the autonomous driving
예를 들어, 주행 경로가 반시계 방향으로 회전하는 것일 경우, 좌측 후방에 위치한 표시부(1320만 경작 라인을 형성할 수 있도록 제어한다. 구체적으로, 좌측 후방에 위치한 표시부(132)만 지면을 향하도록 각도를 제어하고, 그 외의 표시부(132)들은 지면과 평행하도록 제어한다. 또 다른 예로는, 주행 경로가 시계 방향으로 회전하는 경우, 우측 후방에 위치한 표시부만 경작 라인을 형성할 수 있도록 제어한다. 구체적으로, 우칙 후방에 위치한 표시부(132)만 지면을 향하도록 각도를 제어하고, 그 외의 표시부(132)들은 지면과 평행하도록 제어한다. 이때, 표시부(132)의 각도는 연장부(134)의 각도와 동일할 수 있다.For example, when the driving path rotates counterclockwise, the display unit located at the rear left side (13.2 million cultivation lines) is controlled to form. Specifically, only the
도 4는 본 발명의 일 실시예에 따른 자율주행 제어 모듈(150)의 블록도이다. 도 5는 자율주행 제어 모듈(150')의 다른 일 실시예를 나타낸 블록도이다.4 is a block diagram of an autonomous
도 4를 참조하면, 자율주행 제어 모듈(150)은 영역 경계 결정부(152)와 미경작 영역 결정부(154)를 포함한다.Referring to FIG. 4 , the autonomous
영역 경계 결정부(152)는 경작 영역 패턴 정보에 기초하여 경작지 영역 간의 경계를 결정한다.The area
영역 경계 결정부(152)는 제1 주행시에 경작 영역 패턴 정보에 기초하여 경작지의 영상 정보로부터 제1 경계를 추출하여 제1 주행 경로를 생성한다. 제1 주행 이후의 주행시에는 경작 영역 패턴 정보에 기초하여 제2 경계를 추출한다.The
제1 경계는 자율 주행 농기계 장치가 경작해야 할 영역과 경작하지 않아야 할 영역을 구분한 경계이다. 다른 말로는, 자율 주행 농기계 장치가 주행 해야 할 영역과 주행하지 않아야 할 영역이다. 예를들어, 경작해야 할 경작지와 경작하지 않아야 할 둑일 수 있다. 제2 경계는 미경작 영역과 경작 영역을 구분하는 경계이다.The first boundary is a boundary dividing an area to be cultivated and an area not to be cultivated by the autonomous driving agricultural machine apparatus. In other words, there are areas in which autonomous driving agricultural machinery should drive and areas in which it should not. For example, it could be arable land that should be cultivated and a weir that should not be cultivated. The second boundary is a boundary dividing the uncultivated area and the cultivated area.
경계를 인식하기 위해서 딥러닝 알고리즘을 이용한다. 딥러닝 알고리즘은 세그멘테이션 결과만을 기반으로 하여 검출하게 된다. 이때, 세그멘테이션은 정확한 검출을 하기 어렵다는 문제점이 있다. 이러한 문제점을 해결하기 위하여 세그멘테이션 결과에 후처리를 통해 라인을 피팅하게 된다. 본 발명은 경작 라인을 표시함으로써, 후처리 공정 없이 경계를 인식하고, 경작 작업의 효율성을 높일 수 있다.Deep learning algorithms are used to recognize boundaries. The deep learning algorithm detects based only on the segmentation result. In this case, there is a problem in that it is difficult to accurately detect the segmentation. To solve this problem, a line is fitted to the segmentation result through post-processing. According to the present invention, by displaying the cultivation line, the boundary can be recognized without a post-processing process, and the efficiency of the cultivation operation can be increased.
경작 영역 패턴 정보는 패턴 정보 학습부(151)로부터 제공될 수 있다. 패턴 정보 학습부(151)는 자율주행 제어 모듈의 외부에 존재하여, 데이터를 제공해 줄 수 있다. The cultivation area pattern information may be provided from the pattern
예를 들어, 패턴 정보 학습부(151)는 클라우드 서버 내에 위치하여, 자율주행 제어 모듈(150)로부터 영상 정보를 전송 받아 딥러닝 알고리즘에 기초하여 영상을 학습하고, 학습된 영상에 기초하여 경작 영역의 패턴 정보를 인식한다. 패턴 정보 학습부(151)는 경작 영역 패턴 정보를 학습시켜 경작 영역 패턴 정보를 업데이트하여 영역 경계 결정부 및 미경작 영역 결정부에 제공한다.For example, the pattern
미경작 영역 결정부(154)는 영역 경계 결정부(152)에서 결정된 경계에 기초하여 미경작 영역을 결정한다.The uncultivated
미경작 영역은 영역간의 경계 및 경작 영역 패턴 정보에 기초하여 결정된다. 기설정된 패턴 정보와 촬영된 영상을 비교하여 영역간의 경계를 결정하고, 결정된 영역간의 경계와 기설정된 영역 정보를 비교하여 미경작 영역을 결정한다. 이때, 기설정된 영역 정보는 패턴 정보에 의해 학습된 영역 정보이다.The uncultivated area is determined based on the boundary between the areas and the cultivated area pattern information. A boundary between regions is determined by comparing preset pattern information with a photographed image, and an uncultivated region is determined by comparing the boundary between the determined regions with preset region information. In this case, the preset area information is area information learned by pattern information.
미경작 영역 결정부(154)는 경작지를 적어도 하나이상의 영역으로 분류한다. 각각의 영역에 포함되는 주행로의 수가 서로 동일한 소정값이 되도록 경작지를 분류할 수 있다. 또한, 경작이 도중에 중단되었을 경우에도, 경작지에 있어서 경작 영역과 미경작 영역의 지점이 교대로 나타나는 부분을 작은 범위로 제어할 수 있다. 따라서 경작 영역과 미경작 영역의 구분이 명확하게 되기 쉽고, 원활하게 경작을 재개할 수 있다.The uncultivated
패턴 정보 학습부(151)는 경작 영역 패턴 정보를 학습시켜 경작 영역 패턴 정보를 업데이트 하여 영역 경계 결정부(152) 및 미경작 영역 결정부(154)에 제공한다. 패턴 정보 학습부(151)는 적어도 하나 이상의 카메라로 촬영된 영상 정보로부터 경작지 영역 간의 경계를 추출하고, 경계 간의 패턴을 식별하여 저장한다. 패턴 정보 학습부(151)는 경작 영역의 경계들과 자율 주행 농기계 장치와의 거리 정보를 산출하는 기술을 포함할 수도 있다.The pattern
패턴 정보 학습부(151)는 일반적으로 비슷한 색깔과 형태에 기초하여 영상처리 하게 되면 영역간의 오차율이 높다는 문제점을 해결하기 위해, 딥러닝 알고리즘을 통해 패턴 정보를 학습시킨다.The pattern
패턴 정보 학습부(151)는 학습된 패턴 정보에 기초하여 현재의 경작지의 패턴 정보를 인식한다. 이때, 패턴 정보는 색깔, 형태, 재질, 구조 및 토성 중 적어도 하나를 포함한다. 예를 들어, 비교적 진한 부분은 경작 영역이고, 비교적 연한 부분은 미경작 영역일 수 있다. The pattern
한편, 토성에 따라 토양의 색깔이 다르기 때문에, 경작 영역과 미경작 영역을 색깔로 구분하는 것은 어렵다. 따라서, 패턴 영역 정보만으로 정확하게 경작 영역과 미경작 영역을 구분하기는 힘들다. 후술할 바와 같이, 본 발명은 패턴 영역 정보뿐만 아니라 경작 라인을 함께 인식함으로써, 경작 영역과 미경작 영역을 구분하기 위한 정확도를 높일 수 있다.On the other hand, since the color of the soil is different depending on the soil type, it is difficult to distinguish the cultivated area from the uncultivated area by color. Therefore, it is difficult to accurately distinguish a cultivated area from an uncultivated area only with the pattern area information. As will be described later, according to the present invention, by recognizing not only the pattern area information but also the cultivation line, the accuracy for distinguishing the cultivated area from the non-cultivated area can be increased.
도 5를 참조하면, 자율주행 제어 모듈(150')은 패턴 정보 학습부(151'), 영역 경계 결정부(152'), 및 미경작 영역 결정부(154')를 포함한다. 패턴 정보 학습부(151'), 영역 경계 결정부(152'), 및 미경작 영역 결정부(154')는 도 4에 개시된 패턴 정보 학습부(151), 영역 경계 결정부(152) 및 미경작 영역 결정부(154)와 동일하므로 자세한 내용은 생략될 것이다.Referring to FIG. 5 , the autonomous
도 4와 다른 점은, 패턴 정보 학습부(151')이 자율주행 제어 모듈(150')내에 위치한다는 점이다. 헤비하지 않은 알고리즘을 사용할 경우, 패턴 정보 학습부(151')가 자율주행 제어 모듈(150')내에 위치하여 프로세스를 간략화할 수 있다. 예를 들어, 패턴 정보 학습부(151')가 사용하는 알고리즘은 외부 서버에 저장하고, 외부 서버로부터 알고리즘 실행 결과를 받아서, 경작 영역의 패턴 정보를 결정하여 영역 경계 결정부에서 경계를 결정할 수 있다.The difference from FIG. 4 is that the pattern information learning unit 151' is located in the autonomous driving control module 150'. When a non-heavy algorithm is used, the pattern
도 6a는 경작 라인 표시 모듈을 포함하지 않은 자율 주행 농기계 장치의 결과를 나타낸 사진이고, 도 6b는 경작 라인 표시 모듈을 포함한 자율 주행 농기계 장치의 결과를 나타낸 사진이다.6A is a photograph showing the results of the autonomous driving agricultural machine apparatus not including the cultivation line display module, and FIG. 6B is a photograph showing the results of the autonomous driving agricultural machine apparatus including the cultivation line display module.
도 6a를 참조하면, 경작 영역과 미경작 영역이 명확하게 인식되지 않아 영상 처리 결과, 일부의 경계만 인식된 것을 확인 할 수 있었다.Referring to FIG. 6A , since the cultivated area and the uncultivated area were not clearly recognized, as a result of image processing, it was confirmed that only a part of the boundary was recognized.
예를 들어, 자율 주행 농기계 장치가 경작지의 외곽을 한바퀴 돌게 되면 자율주행 제어 모듈은 영상 처리를 통해 미경작 영역과 경작 영역의 경계를 색깔 혹은 패턴만으로 구분하게 된다.For example, when an autonomous driving agricultural machine goes around the periphery of a cultivated field, the autonomous driving control module distinguishes the boundary between an uncultivated area and a cultivated area only by color or pattern through image processing.
도 6b를 참조하면, 경작 영역 상에 경작 라인이 표시되어, 영상 처리 결과 경작 영역과 미경작 영역의 경계가 명확하게 인식된 것을 확인 할 수 있었다. 또한, 인공지능 알고리즘이나 머신러닝 등 영상 처리기법을 활용하였을 때도 명확하게 인식되어 높은 인식률을 나타낼 수 있다.Referring to FIG. 6B , cultivation lines are displayed on the cultivated area, and as a result of image processing, it can be confirmed that the boundary between the cultivated area and the uncultivated area is clearly recognized. In addition, when an image processing technique such as an artificial intelligence algorithm or machine learning is used, it is clearly recognized and a high recognition rate can be displayed.
예를 들어, 자율 주행 농기계 장치가 경작지의 외곽을 한바퀴 돌게 되면 경작 라인 표시 모듈에 의해 경작 영역에 경작 라인이 생기게 된다. 자율주행 제어 모듈은 영상 처리를 통해 경작 라인을 인식하고 미경작 영역과 경작 영역의 경계를 명확하게 할 수 있다.For example, when the autonomous driving agricultural machinery device goes around the periphery of the cultivated land, a cultivation line is created in the cultivation area by the cultivation line display module. The autonomous driving control module can recognize the cultivation line through image processing and clarify the boundary between the uncultivated and cultivated areas.
도 7은 본 발명의 일 실시예에 따른 자율 주행 농기계 장치의 동작 방법을 나타낸 순서도이다. 도 8은 본 발명의 일 실시예에 따른 미경작 영역 결정 단계의 동작 방법을 나타낸 순서도이다. 도 7 및 도 8을 참조하면, 자율 주행 농기계 장치의 동작 방법은 경작 라인 표시 단계(S11), 미경작 영역 결정 단계(S13), 및 미경작 영역 주행 단계(S15)를 포함한다.7 is a flowchart illustrating a method of operating an autonomous driving agricultural machine according to an embodiment of the present invention. 8 is a flowchart illustrating a method of determining an uncultivated area according to an embodiment of the present invention. Referring to FIGS. 7 and 8 , the method of operating the autonomous driving agricultural machine includes a step of displaying a cultivation line ( S11 ), a step of determining an uncultivated area ( S13 ), and a step of driving an uncultivated area ( S15 ).
경작 라인 표시 단계(S11)는 경작 라인 표시 모듈이 자율 주행 농기계 장치의 주행 방향을 따라 경작지에 경작 라인을 표시하는 단계이다. 경작 라인 표시 단계는 연장부가 자율 주행 농기계 장치로부터 표시부를 고정시킨다. 그 후, 표시부가 자율 주행 농기계 장치의 주행방향에 따라 미경작 영역에 경작 라인을 표시한다.The cultivation line display step S11 is a step in which the cultivation line display module displays the cultivation line on the farmland along the driving direction of the autonomous driving agricultural machine. In the cultivation line display step, the extension fixes the display unit from the autonomous driving agricultural machine device. After that, the display unit displays the cultivation line in the uncultivated area according to the traveling direction of the autonomous driving agricultural machine.
미경작 영역 결정 단계(S13)는 자율주행 제어 모듈이 경작 라인 표시 모듈에 의해 생성된 경작 라인 및 경작지의 영상 정보에 기초하여 미경작 영역을 결정하는 단계이다. 영상 정보를 딥러닝 알고리즘을 통해 학습 시키고, 패턴 정보와 경작 라인에 기초하여 경계를 결정한다. 미경작 영역은 영역 간의 경계와 기설정된 영역 정보를 비교하여 결정할 수 있다. 본 발명은 경작 라인을 표시함으로써, 영역 간의 경계를 보다 명확하게 할 수 있다.The uncultivated area determination step S13 is a step in which the autonomous driving control module determines the uncultivated area based on the image information of the cultivated line and the cultivated land generated by the tillage line display module. Image information is learned through a deep learning algorithm, and boundaries are determined based on pattern information and cultivation lines. The uncultivated area may be determined by comparing the boundary between the areas with preset area information. In the present invention, the boundaries between areas can be made clearer by marking the cultivation lines.
구체적으로 도 8을 참조하면, 미경작 영역 결정 단계(S13)는 제1 경계를 결정하는 단계(S131), 제2 경계를 결정하는 단계(S133) 및 미경작 영역을 결정하는 단계(S135)를 포함한다. 제1 경계를 결정하는 단계(S131)는 제1 주행시, 자율주행 제어 모듈이 경작 영역 패턴 정보에 기초하여, 상기 경작지의 영상 정보로부터 제1 경계를 추출한다. 제2 경계를 결정하는 단계(S133)는 자율주행 제어 모듈이 경작 영역 패턴 정보에 기초하여 제2 경계를 추출한다. 미경작 영역을 결정하는 단계(S135)는 자율주행 제어 모듈이 영역 간의 경계와 기설정된 영역 정보를 비교하여 미경작 영역을 결정한다.Specifically, referring to FIG. 8 , the step of determining the uncultivated area ( S13 ) includes the step of determining the first boundary ( S131 ), the step of determining the second boundary ( S133 ), and the step of determining the uncultivated area ( S135 ). include In the step of determining the first boundary ( S131 ), during the first driving, the autonomous driving control module extracts the first boundary from the image information of the cultivated land based on the cultivation area pattern information. In the step of determining the second boundary ( S133 ), the autonomous driving control module extracts the second boundary based on the cultivation area pattern information. In the step of determining the uncultivated area ( S135 ), the autonomous driving control module determines the uncultivated area by comparing the boundary between the areas with preset area information.
미경작 영역 주행 단계(S15)는 자율주행 제어 모듈이 자율 주행 농기계 장치가 미경작 영역을 주행하도록 제어하는 단계이다. 미경작 영역을 주행하도록 하는 단계는 영역 경계 결정부가 경작 영역 패턴 정보에 기초하여 경작지 영역 간의 경계를 결정하고, 경계에 기초하여 주행 경로를 생성한다. 또한, 미경작 영역 결정부가 경계에 기초하여 경작지 내의 미경작 영역을 결정한다.The uncultivated area driving step S15 is a step in which the autonomous driving control module controls the autonomous driving agricultural machinery to drive the uncultivated area. In the step of driving the uncultivated area, the area boundary determining unit determines a boundary between the cultivated areas based on the cultivated area pattern information, and generates a driving route based on the boundary. In addition, the uncultivated area determining unit determines the uncultivated area in the cultivated land based on the boundary.
도 9는 본 발명의 일 실시예에 따른 자율 주행 농기계 시스템(1000)을 나타낸 도면이다. 도 9를 참조하면, 자율 주행 농기계 시스템(1000)은 자율 주행 농기계 장치(100_1)와 카메라(200)를 포함한다. 자율 주행 장치는 도 1에 도시된 자율 주행 농기계 장치(100)와 동일하므로 생략될 것이다.9 is a diagram illustrating an autonomous driving
카메라(200)는 경작지의 영상을 촬영하며, 복수 개일 수 있다. 또한, 카메라(200)는 자율 주행 농기계 장치에 부착되어 있을 수도 있고, 경작지 외부에 배치되어 경작지를 촬영할 수도 있다. 이때, 카메라(200)는 RGB카메라, IP카메라, HD-SDI 카메라, 아날로그 카메라, 화재감지 컬러카메라, 열화상 카메라, SD(720x486, NTSC)급의 해상도에서 HD(1920x5080, HD5080p) 카메라, IP줌 스피드 카메라 또는 CCTV 카메라 중 적어도 하나일 수 있다. RTK-GPS나 레이저 센서와 같은 고가의 장비를 사용하지 않고 카메라(200)만을 사용하여 자율 주행에 활용할 수 있는 기술을 통해 생산비용 및 추가적인 기술 개발 비용을 줄일 수 있다.The
카메라(200)의 설치 높이가 높을수록 양호한 영상 품질을 확보할 수 있으며, 이와 같이 각 카메라(200)가 차량의 사각지대를 해소할 수 있는 위치의 선정과 합성된 주변 영상의 화질 저하를 최소화할 수 있는 설치위치와 시야각 설정이 중요하며, 차종 및 차의 크기에 따라 각각 다르게 설정할 수 있는 것이므로, 본 발명은 여기에 한정되지 않는다.The higher the installation height of the
또한, 카메라(200)를 자율 주행 차량의 전방, 후방, 좌측, 우측에 설치하였다면 4개의 카메라(200)를 통해 촬상된 영상을 보정처리 할 수 있으며, 자율 주행 농기계 장치(100_1)의 360°주변을 확인할 수 있다. 이때, 전방 카메라(200)와 후방 카메라(200)는 설치될 높이를 동일하게 하고, 좌, 우측 카메라(200)도 설치될 높이를 동일하게 하는 것이 영상들을 합성하여 주변의 경계를 추출하기 유리하다.In addition, if the
100 : 자율 주행 농기계 장치
200 : 카메라
130 : 경작 라인 표시 모듈
132 : 표시부
134 : 연장부
150 : 자율주행 제어 모듈
151 : 패턴 정보 학습부
152 : 영역 경계 결정부
154 : 미경작 영역 결정부
1000 : 자율 주행 농기계 시스템100: autonomous driving agricultural machinery
200 : camera
130: cultivation line display module
132: display unit
134: extension
150: autonomous driving control module
151: pattern information learning unit
152: region boundary determining unit
154: uncultivated area determining unit
1000: autonomous driving agricultural machinery system
Claims (11)
상기 자율 주행 농기계 장치의 주행 방향을 따라 경작지에 경작 라인을 표시하는 경작 라인 표시 모듈; 및
상기 경작 라인 표시 모듈에 의해 생성된 상기 경작 라인 및 상기 경작지의 영상 정보에 기초하여 미경작 영역을 결정하고, 상기 자율 주행 농기계 장치가 상기 미경작 영역을 주행하도록 제어하는 자율주행 제어 모듈을 포함하는 자율 주행 농기계 장치.An autonomous driving agricultural machine device comprising:
a cultivation line display module for displaying cultivation lines on farmland along the driving direction of the autonomous driving agricultural machine device; and
and an autonomous driving control module that determines an uncultivated area based on the image information of the cultivated line and the cultivated land generated by the tillage line display module, and controls the autonomous driving agricultural machine to drive the uncultivated area Autonomous agricultural machinery.
상기 자율주행 제어 모듈은,
상기 영상 정보 및 경작 영역 패턴 정보에 기초하여 경작지 영역 간의 경계를 결정하는 영역 경계 결정부; 및
상기 경계 및 상기 경작 영역 패턴 정보에 기초하여 상기 미경작 영역을 결정하고, 주행 경로를 생성하는 미경작 영역 결정부를 포함하는 자율 주행 농기계 장치.According to claim 1,
The autonomous driving control module,
an area boundary determiner configured to determine a boundary between cultivated areas based on the image information and the cultivated area pattern information; and
and an uncultivated area determiner configured to determine the uncultivated area based on the boundary and the cultivated area pattern information and generate a driving route.
상기 경작 영역 패턴 정보를 학습시켜 상기 경작 영역 패턴 정보를 업데이트하여 상기 영역 경계 결정부 및 상기 미경작 영역 결정부에 제공하는 패턴 정보 학습부를 더 포함하는 자율 주행 농기계 장치.3. The method of claim 2,
and a pattern information learning unit that learns the cultivated area pattern information, updates the cultivated area pattern information, and provides the information to the area boundary determining unit and the non-cultivating area determining unit.
상기 영역 경계 결정부는,
제1 주행시, 경작 영역 패턴 정보에 기초하여, 상기 경작지의 영상 정보로부터 제1 경계를 추출하여 제1 주행 경로를 생성하고,
상기 제1 주행 이후의 주행시, 상기 경작 영역 패턴 정보에 기초하여 제2 경계를 추출하는 자율 주행 농기계 장치.3. The method of claim 2,
The region boundary determining unit,
During the first driving, based on the cultivated area pattern information, extracting a first boundary from the image information of the cultivated land to generate a first driving route,
When driving after the first driving, the autonomous driving agricultural machine apparatus extracts a second boundary based on the cultivation area pattern information.
상기 제1 경계는 상기 자율 주행 농기계 장치가 경작해야 할 영역과 경작하지 않아야 할 영역을 구분하는 경계이고,
상기 제2 경계는 상기 미경작 영역과 경작 영역을 구분하는 경계인 자율 주행 농기계 장치.5. The method of claim 4,
The first boundary is a boundary for dividing an area to be cultivated and an area not to be cultivated by the autonomous driving agricultural machine device;
The second boundary is a boundary that separates the uncultivated area from the cultivated area.
상기 경작 라인 표시 모듈은,
상기 자율 주행 농기계 장치의 주행방향에 따라 상기 미경작 영역에 경작 라인을 표시하는 적어도 하나의 표시부; 및
상기 자율 주행 농기계 장치로부터 상기 경작지로 연장되고, 상기 표시부를 고정시키는 적어도 하나의 연장부를 포함하는 자율 주행 농기계 장치.According to claim 1,
The cultivation line display module,
at least one display unit for displaying a cultivation line in the uncultivated area according to a driving direction of the autonomous driving agricultural machine; and
and at least one extension part extending from the autonomous driving farm machine device to the farmland and fixing the display part.
상기 자율주행 제어 모듈은 상기 자율 주행 농기계 장치가 경작 영역의 5 내지 10%를 중첩시켜 경작하도록 제어하는 자율 주행 농기계 장치.According to claim 1,
The autonomous driving control module controls the autonomous driving agricultural machinery to overlap 5 to 10% of the cultivated area to cultivate the autonomous driving agricultural machinery.
경작 라인 표시 모듈이 상기 자율 주행 농기계 장치의 주행 방향을 따라 경작지에 경작 라인을 표시하는 단계;
자율주행 제어 모듈이 상기 경작 라인 표시 모듈에 의해 생성된 상기 경작 라인 및 상기 경작지의 영상 정보에 기초하여 미경작 영역을 결정하고, 상기 자율 주행 농기계 장치가 상기 미경작 영역을 주행하도록 제어하는 단계를 포함하는 자율 주행 농기계 장치의 동작 방법.A method of operating an autonomous driving agricultural machine, comprising:
displaying, by a cultivation line display module, a cultivation line on the farmland along a driving direction of the autonomous driving agricultural machine;
determining, by the autonomous driving control module, an uncultivated area based on the image information of the cultivated line and the cultivated land generated by the tillage line display module, and controlling the autonomous driving agricultural machinery to drive the uncultivated area A method of operating an autonomous driving agricultural machine comprising a.
상기 미경작 영역을 주행하도록 제어하는 단계는,
영역 경계 결정부가 경작 영역 패턴 정보에 기초하여 경작지 영역 간의 경계를 결정하는 단계; 및
미경작 영역 결정부가 상기 경계 및 상기 경작 영역 패턴 정보에 기초하여 경작지 내의 상기 미경작 영역을 결정하고 주행 경로를 생성하는 단계를 포함하는 자율 주행 농기계 장치의 동작 방법.9. The method of claim 8,
The step of controlling to drive the uncultivated area comprises:
determining, by an area boundary determining unit, a boundary between cultivated land areas based on the cultivated area pattern information; and
and determining, by an uncultivated area determining unit, the uncultivated area in the cultivated land based on the boundary and the cultivated area pattern information and generating a driving route.
상기 경작지에 경작 라인을 표시하는 단계는,
연장부가 상기 자율 주행 농기계 장치로부터 상기 경작지로 연장되고, 상기 표시부를 고정시키는 단계; 및
상기 표시부가 상기 자율 주행 농기계 장치의 주행방향에 따라 상기 미경작 영역에 경작 라인을 표시하는 단계를 포함하는 자율 주행 농기계 장치의 동작 방법.10. The method of claim 9,
The step of marking the cultivation line on the farmland,
an extension portion extending from the autonomous driving agricultural machine device to the farmland, and fixing the display portion; and
and displaying, by the display unit, a cultivation line in the uncultivated area according to a driving direction of the autonomous driving agricultural machine.
경작 영역을 촬영하기 위한 카메라를 포함하고,
상기 자율 주행 농기계 장치는,
상기 자율 주행 농기계 장치의 주행 방향을 따라 경작지에 경작 라인을 표시하는 경작 라인 표시 모듈; 및
상기 경작 라인 표시 모듈에 의해 생성된 상기 경작 라인 및 상기 경작지의 영상 정보에 기초하여 미경작 영역을 결정하고, 상기 자율 주행 농기계 장치가 상기 미경작 영역을 주행하도록 제어하는 자율주행 제어 모듈을 포함하는 자율 주행 농기계 시스템.autonomous agricultural machinery; and
a camera for photographing the cultivated area;
The autonomous driving agricultural machine device,
a cultivation line display module for displaying cultivation lines on farmland along the driving direction of the autonomous driving agricultural machine device; and
and an autonomous driving control module that determines an uncultivated area based on the image information of the cultivated line and the cultivated land generated by the tillage line display module, and controls the autonomous driving agricultural machine to drive the uncultivated area Autonomous agricultural machinery system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200074850A KR102445673B1 (en) | 2020-06-19 | 2020-06-19 | Autonomous agricultural machine device to increase the recognition rate of autonomous traveling path and operation method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200074850A KR102445673B1 (en) | 2020-06-19 | 2020-06-19 | Autonomous agricultural machine device to increase the recognition rate of autonomous traveling path and operation method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210157043A true KR20210157043A (en) | 2021-12-28 |
KR102445673B1 KR102445673B1 (en) | 2022-09-22 |
Family
ID=79178170
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200074850A KR102445673B1 (en) | 2020-06-19 | 2020-06-19 | Autonomous agricultural machine device to increase the recognition rate of autonomous traveling path and operation method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102445673B1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102520435B1 (en) | 2022-10-28 | 2023-04-12 | 주식회사 지엘아이엔에스 | A lidar sensor-based agricultural machinery safety management system providing obstacle warning function and its control method |
KR102682096B1 (en) | 2022-12-15 | 2024-07-05 | 주식회사 대동 | Method and system for changing the location recognition method of autonomous agricultural vehicle |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07203706A (en) * | 1994-01-20 | 1995-08-08 | Fuji Heavy Ind Ltd | Autonomous travel working vehicle |
JP2017211893A (en) * | 2016-05-27 | 2017-11-30 | 国立研究開発法人農業・食品産業技術総合研究機構 | Moving vehicle travelling control device |
JP2018041358A (en) * | 2016-09-09 | 2018-03-15 | ヤンマー株式会社 | Autonomous travelling system |
JP2018045710A (en) * | 2014-02-06 | 2018-03-22 | ヤンマー株式会社 | Accompanying travel work system |
KR102017965B1 (en) * | 2014-12-11 | 2019-09-03 | 얀마 가부시키가이샤 | Work vehicle |
-
2020
- 2020-06-19 KR KR1020200074850A patent/KR102445673B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07203706A (en) * | 1994-01-20 | 1995-08-08 | Fuji Heavy Ind Ltd | Autonomous travel working vehicle |
JP2018045710A (en) * | 2014-02-06 | 2018-03-22 | ヤンマー株式会社 | Accompanying travel work system |
KR102017965B1 (en) * | 2014-12-11 | 2019-09-03 | 얀마 가부시키가이샤 | Work vehicle |
JP2017211893A (en) * | 2016-05-27 | 2017-11-30 | 国立研究開発法人農業・食品産業技術総合研究機構 | Moving vehicle travelling control device |
JP2018041358A (en) * | 2016-09-09 | 2018-03-15 | ヤンマー株式会社 | Autonomous travelling system |
Also Published As
Publication number | Publication date |
---|---|
KR102445673B1 (en) | 2022-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110243372B (en) | Intelligent agricultural machinery navigation system and method based on machine vision | |
US20200358997A1 (en) | Methods for automatic registration of 3d image data | |
RU2736730C2 (en) | Agricultural working machine | |
EP2187166B1 (en) | Industrial Machine | |
KR102445673B1 (en) | Autonomous agricultural machine device to increase the recognition rate of autonomous traveling path and operation method thereof | |
US10033924B2 (en) | Panoramic view imaging system | |
US10129521B2 (en) | Depth sensing method and system for autonomous vehicles | |
US20170019657A1 (en) | Stereo auto-calibration from structure-from-motion | |
JP6735303B2 (en) | Work vehicle and crop row recognition program | |
US20120170812A1 (en) | Driving support display device | |
CN105100600B (en) | For the method calibrated automatically in panoramic visualization system | |
KR102304098B1 (en) | Automatic driving agricultural machine device supporting image-based path recognition and steering angle calculation techniques and operation method thereof | |
CN106530239B (en) | The mobile target low altitude tracking method of miniature self-service gyroplane based on the bionical flake of big visual field | |
RU2763451C1 (en) | Automatic driving system for grain processing, automatic driving method and automatic identification method | |
JP2020067698A (en) | Partition line detector and partition line detection method | |
CN104574443B (en) | The cooperative tracking method of moving target between a kind of panoramic camera | |
English et al. | Learning crop models for vision-based guidance of agricultural robots | |
KR102340543B1 (en) | Attached tpye-agricultural working path detecting appatatus | |
Bakken et al. | Robot-supervised learning of crop row segmentation | |
JPH11149557A (en) | Surrounding environment recognizing device for autonomous traveling vehicle | |
Hanawa et al. | Development of a stereo vision system to assist the operation of agricultural tractors | |
JP6841553B2 (en) | Imaging device | |
CN117765340A (en) | Model training method, image edge detection method and multi-sensor calibration method | |
JP2020036569A (en) | Travel control device for travel vehicle | |
CN113239948B (en) | Data fusion method and system for millimeter wave radar and video image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |