KR102445673B1 - 자율 주행 경로의 인식율을 높이기 위한 자율 주행 농기계 장치 및 그 동작 방법 - Google Patents

자율 주행 경로의 인식율을 높이기 위한 자율 주행 농기계 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR102445673B1
KR102445673B1 KR1020200074850A KR20200074850A KR102445673B1 KR 102445673 B1 KR102445673 B1 KR 102445673B1 KR 1020200074850 A KR1020200074850 A KR 1020200074850A KR 20200074850 A KR20200074850 A KR 20200074850A KR 102445673 B1 KR102445673 B1 KR 102445673B1
Authority
KR
South Korea
Prior art keywords
area
autonomous driving
cultivated
agricultural machine
boundary
Prior art date
Application number
KR1020200074850A
Other languages
English (en)
Other versions
KR20210157043A (ko
Inventor
김국환
이시영
김현종
홍영기
이명훈
김경철
류희석
양창주
서다솜
김강섭
Original Assignee
대한민국
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대한민국 filed Critical 대한민국
Priority to KR1020200074850A priority Critical patent/KR102445673B1/ko
Publication of KR20210157043A publication Critical patent/KR20210157043A/ko
Application granted granted Critical
Publication of KR102445673B1 publication Critical patent/KR102445673B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/007—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
    • A01B69/008—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/02—Ridge-marking or like devices; Checkrow wires; Accessories therefor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/20—Off-Road Vehicles
    • B60Y2200/22—Agricultural vehicles
    • B60Y2200/221—Tractors

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Soil Sciences (AREA)
  • Environmental Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Guiding Agricultural Machines (AREA)

Abstract

본 발명은 자율 주행 농기계 장치로, 자세하게는 자율 주행 농기계가 자율 주행 경로 및 환경을 인식할 때 인식의 정확도를 높일 수 있도록 하는 기술이다. 자율 주행 농기계 장치로서, 상기 자율 주행 농기계 장치의 주행 방향을 따라 경작지에 경작 라인을 표시하는 경작 라인 표시 모듈 및 상기 경작 라인 표시 모듈에 의해 생성된 상기 경작 라인 및 상기 경작지의 영상 정보에 기초하여 미경작 영역을 결정하고, 상기 자율 주행 농기계 장치가 상기 미경작 영역을 주행하도록 제어하는 자율주행 제어 모듈을 포함한다.

Description

자율 주행 경로의 인식율을 높이기 위한 자율 주행 농기계 장치 및 그 동작 방법{AUTONOMOUS AGRICULTURAL MACHINE DEVICE TO INCREASE THE RECOGNITION RATE OF AUTONOMOUS TRAVELING PATH AND OPERATION METHOD THEREOF}
본 발명은 자율 주행 농기계 장치로, 자세하게는 자율 주행 농기계 장치가 자율 주행 경로 및 환경을 인식할 때 인식의 정확도를 높일 수 있도록 하는 기술이다.
최근 국내 산업은 4차 산업혁명이란 슬로건을 통해 인공지능과 ICT 기술을 융합하여 미국, 독일, 일본과 같은 기술 선진국들의 수준에 견줄 산업시스템을 구축하고 있다. 이러한 산업 구조의 변화는 농업분야에도 영향을 미치게 되는데, 농업분야의 새로운 산업시스템의 대표적인 예로 스마트 팜이 손꼽히고 있다.
자율주행기술은 기본적으로 도로를 주행하는 자동차에 적용되고 있지만, 군사적인 목적이나 농업기술에도 많이 이용되고 있다. 구체적으로 자율주행기술을 적용된 농기계로서 자율주행 트랙터가 있다. 자율주행트랙터는 스스로 알아서 움직이는 트랙터로서, 경작지의 위치와 크기를 측정하여 경작지에 맞는 작업경로를 설정하면, 작업경로를 따라 이동하면서 작업을 수행하도록 구성된다.
한편, 자율주행 트랙터와 관련한 연구는 국내에서도 활발히 진행되어, 자동 경로 생성 등의 기술을 개발하였지만, 기술 선진국에 비해 측정 위치의 정확도, 노지 상태, 트랙터 주요 요소에 대한 모니터링을 크게 고려하지 않아 작업 안정성을 확보하는데 어려움이 있다.
다시 말해서, 자율 주행 경로 및 환경을 인식하는 과정에서 인식률이 떨어져 안정성을 확보하는데 어려움이 있다.
본 발명은 자율 주행 경로 및 환경을 인식하는 과정에서 정확도를 높이기 위한 자율 주행 농기계 장치 및 그 동작 방법을 제공하고자 한다.
자율 주행 농기계 장치로서, 상기 자율 주행 농기계 장치의 주행 방향을 따라 경작지에 경작 라인을 표시하는 경작 라인 표시 모듈 및 상기 경작 라인 표시 모듈에 의해 생성된 상기 경작 라인 및 상기 경작지의 영상 정보에 기초하여 미경작 영역을 결정하고, 상기 자율 주행 농기계 장치가 상기 미경작 영역을 주행하도록 제어하는 자율주행 제어 모듈을 포함한다.
상기 자율주행 제어 모듈은,상기 영상 정보 및 경작 영역 패턴 정보에 기초하여 경작지 영역 간의 경계를 결정하는 영역 경계 결정부 및 상기 경계 및 상기 경작 영역 패턴 정보에 기초하여 상기 미경작 영역을 결정하고, 주행 경로를 생성하는 미경작 영역 결정부를 포함한다.
자율 주행 농기계 장치는 상기 경작 영역 패턴 정보를 학습시켜 상기 경작 영역 패턴 정보를 업데이트하여 상기 영역 경계 결정부 및 상기 미경작 영역 결정부에 제공하는 패턴 정보 학습부를 더 포함한다.
상기 영역 경계 결정부는, 제1 주행시, 경작 영역 패턴 정보에 기초하여, 상기 경작지의 영상 정보로부터 제1 경계를 추출하여 제1 주행 경로를 생성하고, 상기 제1 주행 이후의 주행시, 상기 경작 영역 패턴 정보에 기초하여 제2 경계를 추출한다.
상기 제1 경계는 상기 자율 주행 농기계 장치가 경작해야 할 영역과 경작하지 않아야 할 영역을 구분하는 경계이고, 상기 제2 경계는 상기 미경작 영역과 경작 영역을 구분하는 경계이다.
상기 경작 라인 표시 모듈은, 상기 자율 주행 농기계 장치의 주행방향에 따라 상기 미경작 영역에 경작 라인을 표시하는 표시부 및 상기 자율 주행 농기계 장치로부터 상기 경작지로 연장되고, 상기 표시부를 고정시키는 연장부를 포함한다.
상기 자율주행 제어 모듈은 상기 자율 주행 농기계 장치가 경작 영역의 5 내지 10%를 중첩시켜 경작하도록 제어한다.
자율 주행 농기계 장치의 동작 방법으로서, 경작 라인 표시 모듈이 상기 자율 주행 농기계 장치의 주행 방향을 따라 경작지에 경작 라인을 표시하는 단계 자율주행 제어 모듈이 상기 경작 라인 표시 모듈에 의해 생성된 상기 경작 라인 및 상기 경작지의 영상 정보에 기초하여 미경작 영역을 결정하고, 상기 자율 주행 농기계 장치가 상기 미경작 영역을 주행하도록 제어하는 단계를 포함한다.
상기 미경작 영역을 주행하도록 제어하는 단계는, 영역 경계 결정부가 경작 영역 패턴 정보에 기초하여 경작지 영역 간의 경계를 결정하는 단계 및 미경작 영역 결정부가 상기 경계 및 상기 경작 영역 패턴 정보에 기초하여 경작지 내의 상기 미경작 영역을 결정하고 주행 경로를 생성하는 단계를 포함한다.
상기 경작지에 경작 라인을 표시하는 단계는, 연장부가 상기 자율 주행 농기계 장치로부터 상기 경작지로 연장되고, 상기 표시부를 고정시키는 단계 및 상기 표시부가 상기 자율 주행 농기계 장치의 주행방향에 따라 상기 미경작 영역에 경작 라인을 표시하는 단계를 포함한다.
자율 주행 농기계 시스템은 자율 주행 농기계 장치 및 경작 영역을 촬영하기 위한 카메라를 포함하고, 상기 자율 주행 농기계 장치는 상기 자율 주행 농기계 장치의 주행 방향을 따라 경작지에 경작 라인을 표시하는 경작 라인 표시 모듈 및 상기 경작 라인 표시 모듈에 의해 생성된 상기 경작 라인 및 상기 경작지의 영상 정보에 기초하여 미경작 영역을 결정하고, 상기 자율 주행 농기계 장치가 상기 미경작 영역을 주행하도록 제어하는 자율주행 제어 모듈을 포함한다.
본 발명을 통해 자율 주행 경로 및 환경을 인식하는 과정에서 적은 예산 및 복잡한 추가 알고리즘의 필요 없이 인식의 정확도를 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 자율 주행 농기계 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 경작 라인 표시 모듈의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 경작 라인 표시 모듈이 결착된 자율 주행 농기계 장치의 사진이다.
도 4는 본 발명의 일 실시예에 따른 자율주행 제어 모듈의 블록도이다.
도 5는 자율주행 제어 모듈의 다른 일 실시예를 나타낸 블록도이다.
도 6a는 경작 라인 표시 모듈을 포함하지 않은 자율 주행 농기계 장치의 결과를 나타낸 사진이고, 도 6b는 경작 라인 표시 모듈을 포함한 자율 주행 농기계 장치의 결과를 나타낸 사진이다.
도 7는 본 발명의 일 실시예에 따른 자율 주행 농기계 장치의 동작 방법을 나타낸 순서도이다.
도 8은 본 발명의 일 실시예에 따른 미경작 영역 결정 단계의 동작 방법을 나타낸 순서도이다.
도 9는 본 발명의 일 실시예에 따른 자율 주행 농기계 시스템을 나타낸 도면이다.
이하, 본 명세서에 개시된 실시 예들을 도면을 참조하여 상세하게 설명하고 자 한다. 본문에서 달리 명시하지 않는 한, 도면의 유사한 참조번호들은 유사한 구성요소들을 나타낸다. 상세한 설명, 도면들 및 청구항들에서 상술하는 예시적인 실시 예들은 한정을 위한 것이 아니며, 다른 실시 예들이 이용될 수 있으며, 여기서 개시되는 기술의 사상이나 범주를 벗어나지 않는 한 다른 변경들도 가능하다. 당업자는 본 개시의 구성요소들, 즉 여기서 일반적으로 기술되고, 도면에 기재되는 구성요소들을 다양하게 다른 구성으로 배열, 구성, 결합, 도안할 수 있으며, 이것들의 모두는 명백하게 고안 되어지며, 본 개시의 일부를 형성하고 있음을 용이하게 이해할 수 있을 것이다. 도면에서 여러 층(또는 막), 영역 및 형상을 명확하게 표현하기 위하여 구성요소의 폭, 길이, 두께 또는 형상 등은 과장되어 표현될 수도 있다.
개시된 기술에 관한 설명은 구조적 내지 기능적 설명을 위한 실시 예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시 예에 의하여 제한되는 것으로 해석되어서는 아니된다. 즉, 실시 예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물을 포함하는 것으로 이해되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, “포함하다” 또는 “가지다” 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
여기서 사용된 모든 용어들은 다르게 정의되지 않는 한, 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 용어들은 관련기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석 될 수 없다.
도 1은 본 발명의 일 실시예에 따른 자율 주행 농기계 장치(100)의 블록도이다. 도 1을 참조하면, 자율 주행 농기계 장치(100)는 경작 라인 표시 모듈(130)과 자율주행 제어 모듈(150)을 포함한다.
자율 주행 농기계 장치(100)는 트랙터, 콤바인, 경운기 등과 같이 경작지의 밭갈이, 비료살포, 비료운반, 각종 농작물 운반 등의 작업에 이용되는 다양한 운행 수단을 의미할 수 있다.
경작 라인 표시 모듈(130)은 자율 주행 농기계 장치(100)의 주행 방향을 따라 경작지에 경작 라인을 표시한다. 경작 라인 표시 모듈(130)이 경작지에 경작 라인을 표시함으로써, 경작 영역과 미경작 영역 사이의 경계가 육안으로도 명확하게 경계가 인식될 수 있다. 또한, 인공지능 알고리즘이나 머신러닝과 같은 영상 처리 기법을 활용하였을 때도 명확하게 인식 될 수 있다. 이때, 영상 처리 기법을 위한 영상은 LiDAR와 같은 2차원 영상일 수 있으며, 3차원 정보인 DEPTH 또는 텍스쳐일 수도 있다.
경작 라인 표시 모듈(130)은 자율 주행 농기계 장치(100)에 탈부착이 가능하도록 할 수 있다. 또한, 각도 조절과 높낮이 조절이 가능하도록 제공될 수 있다. 경작 라인 표시 모듈(130)에 대한 구체적인 내용은 도 2에서 후술될 것이다.
자율주행 제어 모듈(150)은 경작 라인 표시 모듈(130)에 의해 생성된 경작 라인 및 경작지의 영상 정보에 기초하여 미경작 영역을 결정한다. 또한, 자율 주행 농기계 장치(100)가 미경작 영역을 주행하도록 제어한다.
자율주행 제어 모듈(150)은 자율 주행 농기계 장치(100)가 경작 영역의 5 내지 10%를 중첩시켜 경작하도록 제어한다. 경작 영역의 5 내지 10%를 중첩시켜 경작시키는 것은 경작 라인 표시 모듈(130)로 인해 생성된 경작 라인이 다음 작업 시에 중첩 범위 내에 있어 경작 작업과 동시에 없어져 경작 상태에 영향을 미치지 않게 할 수 있다.
자율주행 제어 모듈(150)이 작업경로를 생성할 때 가장 중요하게 고려해야 할 사항으로는 경작 구간 사이의 거리, 선회 방법과 선회 거리, 회행 작업 수 또는 주행 경로와 순서 중 적어도 하나이다. 작업 구간 사이의 거리는 자율 주행 농기계 장치(100)와 경작기의 고유작업 폭을 고려해야 하기 때문이며, 이를 고려하지 않으면 경작이 중첩되는 현상이 발생한다.
또한, 자율 주행 농기계 장치(100)의 구조상 작업 폭과 길이가 일반 차량보다 클 뿐만 아니라, 중량도 크고, 쉽게 후진, 회전을 할 수 없기 때문에, 최적의 선회 경로와 최적의 회행 작업 수를 고려해야 한다. 그리고 주행 경로와 순서의 계산이 부실할 경우에는, 작업이 겹치는 구간 혹은 작업을 못한 공간이 생기게 된다. 따라서, 이들 요인을 모두 고려하여 경작경로를 생성해야 한다. 자율주행 제어 모듈(150)에 대한 자세한 내용은 도 4 및 도 5에서 후술될 것이다.
본 발명의 실시예에 따른 자율 주행 농기계 장치(100)에 따르면, 자율 주행 농기계 장치(1000의 물리적인 구성의 큰 변경없이, 적은 비용으로 경작 영역과 미경작 영역을 보기 명확하게 인식하여 경작 작업의 효율을 더 높일 수 있다.
도 2는 본 발명의 일 실시예에 따른 경작 라인 표시 모듈(130)의 블록도이다. 도 3은 본 발명의 일 실시예에 따른 경작 라인 표시 모듈이 결착된 자율 주행 농기계 장치(100)의 사진이다. 도 2 및 도3을 참조히면, 경작 라인 표시 모듈(130)은 표시부(132)와 연장부(134)를 포함한다.
표시부(132)는 자율 주행 농기계 장치(100)의 주행방향에 따라 미경작 영역에 경작 라인을 표시한다. 표시부(132)는 복수개로 제공될 수 있다. 표시부(132)는 막대, 돌출부 및 액체 또는 가루 배출 수단 중 적어도 하나일 수 있다. 이때, 액체 배출 수단은 액체 성분을 일정하게 배출하여 경작 영역에 경작 라인을 표시할 수 있다. 이와 비슷하게, 가루 배출 수단은 가루 성분을 일정하게 배출하여 경작 영역에 경작 라인을 표시할 수 있다.
연장부(134)는 자율 주행 농기계 장치(100)로부터 경작지로 연장되고, 표시부(132)를 고정시킬 수 있다. 도 3은 참고일뿐, 2개 이상의 연장부가 제공될 수 있다. 연장부(134)는 표시부(132)의 개수와 동일하게 제공될 수 있으며, 자율 주행 농기계 장치(100)의 후면에 연결될 수 있다. 연장부(134)의 일단에는 표시부(132)가 결착되어 있을 수 있다.
연장부(134)는 표시부(132)의 높낮이 및 각도를 조절할 수 있다. 예를 들어, 자율 주행 농기계 장치(100)의 후면에 3개의 연장부(134) 중 하나의 연장부(134)만 사용하고 싶다면, 두 개의 연장부(134)는 지면과 평행한 상태로 조절될 수 있고 하나의 연장부(134)만 지면으로 향하도록 각도를 조절할 수 있다.
본 발명의 일 실시예에 있어서, 자율 주행 농기계 장치(100)는 경작 라인 표시 제어 모듈을 더 포함할 수 있다. 경작 라인 표시 제어 모듈은 자율 주행 농기계 장치(100)의 미경작 영역 생성부(154)에서 생성한 주행 경로에 기초하여 적어도 하나의 표시부(132)들의 높낮이 및 각도를 제어한다.
예를 들어, 주행 경로가 반시계 방향으로 회전하는 것일 경우, 좌측 후방에 위치한 표시부(1320만 경작 라인을 형성할 수 있도록 제어한다. 구체적으로, 좌측 후방에 위치한 표시부(132)만 지면을 향하도록 각도를 제어하고, 그 외의 표시부(132)들은 지면과 평행하도록 제어한다. 또 다른 예로는, 주행 경로가 시계 방향으로 회전하는 경우, 우측 후방에 위치한 표시부만 경작 라인을 형성할 수 있도록 제어한다. 구체적으로, 우칙 후방에 위치한 표시부(132)만 지면을 향하도록 각도를 제어하고, 그 외의 표시부(132)들은 지면과 평행하도록 제어한다. 이때, 표시부(132)의 각도는 연장부(134)의 각도와 동일할 수 있다.
도 4는 본 발명의 일 실시예에 따른 자율주행 제어 모듈(150)의 블록도이다. 도 5는 자율주행 제어 모듈(150')의 다른 일 실시예를 나타낸 블록도이다.
도 4를 참조하면, 자율주행 제어 모듈(150)은 영역 경계 결정부(152)와 미경작 영역 결정부(154)를 포함한다.
영역 경계 결정부(152)는 경작 영역 패턴 정보에 기초하여 경작지 영역 간의 경계를 결정한다.
영역 경계 결정부(152)는 제1 주행시에 경작 영역 패턴 정보에 기초하여 경작지의 영상 정보로부터 제1 경계를 추출하여 제1 주행 경로를 생성한다. 제1 주행 이후의 주행시에는 경작 영역 패턴 정보에 기초하여 제2 경계를 추출한다.
제1 경계는 자율 주행 농기계 장치가 경작해야 할 영역과 경작하지 않아야 할 영역을 구분한 경계이다. 다른 말로는, 자율 주행 농기계 장치가 주행 해야 할 영역과 주행하지 않아야 할 영역이다. 예를들어, 경작해야 할 경작지와 경작하지 않아야 할 둑일 수 있다. 제2 경계는 미경작 영역과 경작 영역을 구분하는 경계이다.
경계를 인식하기 위해서 딥러닝 알고리즘을 이용한다. 딥러닝 알고리즘은 세그멘테이션 결과만을 기반으로 하여 검출하게 된다. 이때, 세그멘테이션은 정확한 검출을 하기 어렵다는 문제점이 있다. 이러한 문제점을 해결하기 위하여 세그멘테이션 결과에 후처리를 통해 라인을 피팅하게 된다. 본 발명은 경작 라인을 표시함으로써, 후처리 공정 없이 경계를 인식하고, 경작 작업의 효율성을 높일 수 있다.
경작 영역 패턴 정보는 패턴 정보 학습부(151)로부터 제공될 수 있다. 패턴 정보 학습부(151)는 자율주행 제어 모듈의 외부에 존재하여, 데이터를 제공해 줄 수 있다.
예를 들어, 패턴 정보 학습부(151)는 클라우드 서버 내에 위치하여, 자율주행 제어 모듈(150)로부터 영상 정보를 전송 받아 딥러닝 알고리즘에 기초하여 영상을 학습하고, 학습된 영상에 기초하여 경작 영역의 패턴 정보를 인식한다. 패턴 정보 학습부(151)는 경작 영역 패턴 정보를 학습시켜 경작 영역 패턴 정보를 업데이트하여 영역 경계 결정부 및 미경작 영역 결정부에 제공한다.
미경작 영역 결정부(154)는 영역 경계 결정부(152)에서 결정된 경계에 기초하여 미경작 영역을 결정한다.
미경작 영역은 영역간의 경계 및 경작 영역 패턴 정보에 기초하여 결정된다. 기설정된 패턴 정보와 촬영된 영상을 비교하여 영역간의 경계를 결정하고, 결정된 영역간의 경계와 기설정된 영역 정보를 비교하여 미경작 영역을 결정한다. 이때, 기설정된 영역 정보는 패턴 정보에 의해 학습된 영역 정보이다.
미경작 영역 결정부(154)는 경작지를 적어도 하나이상의 영역으로 분류한다. 각각의 영역에 포함되는 주행로의 수가 서로 동일한 소정값이 되도록 경작지를 분류할 수 있다. 또한, 경작이 도중에 중단되었을 경우에도, 경작지에 있어서 경작 영역과 미경작 영역의 지점이 교대로 나타나는 부분을 작은 범위로 제어할 수 있다. 따라서 경작 영역과 미경작 영역의 구분이 명확하게 되기 쉽고, 원활하게 경작을 재개할 수 있다.
패턴 정보 학습부(151)는 경작 영역 패턴 정보를 학습시켜 경작 영역 패턴 정보를 업데이트 하여 영역 경계 결정부(152) 및 미경작 영역 결정부(154)에 제공한다. 패턴 정보 학습부(151)는 적어도 하나 이상의 카메라로 촬영된 영상 정보로부터 경작지 영역 간의 경계를 추출하고, 경계 간의 패턴을 식별하여 저장한다. 패턴 정보 학습부(151)는 경작 영역의 경계들과 자율 주행 농기계 장치와의 거리 정보를 산출하는 기술을 포함할 수도 있다.
패턴 정보 학습부(151)는 일반적으로 비슷한 색깔과 형태에 기초하여 영상처리 하게 되면 영역간의 오차율이 높다는 문제점을 해결하기 위해, 딥러닝 알고리즘을 통해 패턴 정보를 학습시킨다.
패턴 정보 학습부(151)는 학습된 패턴 정보에 기초하여 현재의 경작지의 패턴 정보를 인식한다. 이때, 패턴 정보는 색깔, 형태, 재질, 구조 및 토성 중 적어도 하나를 포함한다. 예를 들어, 비교적 진한 부분은 경작 영역이고, 비교적 연한 부분은 미경작 영역일 수 있다.
한편, 토성에 따라 토양의 색깔이 다르기 때문에, 경작 영역과 미경작 영역을 색깔로 구분하는 것은 어렵다. 따라서, 패턴 영역 정보만으로 정확하게 경작 영역과 미경작 영역을 구분하기는 힘들다. 후술할 바와 같이, 본 발명은 패턴 영역 정보뿐만 아니라 경작 라인을 함께 인식함으로써, 경작 영역과 미경작 영역을 구분하기 위한 정확도를 높일 수 있다.
도 5를 참조하면, 자율주행 제어 모듈(150')은 패턴 정보 학습부(151'), 영역 경계 결정부(152'), 및 미경작 영역 결정부(154')를 포함한다. 패턴 정보 학습부(151'), 영역 경계 결정부(152'), 및 미경작 영역 결정부(154')는 도 4에 개시된 패턴 정보 학습부(151), 영역 경계 결정부(152) 및 미경작 영역 결정부(154)와 동일하므로 자세한 내용은 생략될 것이다.
도 4와 다른 점은, 패턴 정보 학습부(151')이 자율주행 제어 모듈(150')내에 위치한다는 점이다. 헤비하지 않은 알고리즘을 사용할 경우, 패턴 정보 학습부(151')가 자율주행 제어 모듈(150')내에 위치하여 프로세스를 간략화할 수 있다. 예를 들어, 패턴 정보 학습부(151')가 사용하는 알고리즘은 외부 서버에 저장하고, 외부 서버로부터 알고리즘 실행 결과를 받아서, 경작 영역의 패턴 정보를 결정하여 영역 경계 결정부에서 경계를 결정할 수 있다.
도 6a는 경작 라인 표시 모듈을 포함하지 않은 자율 주행 농기계 장치의 결과를 나타낸 사진이고, 도 6b는 경작 라인 표시 모듈을 포함한 자율 주행 농기계 장치의 결과를 나타낸 사진이다.
도 6a를 참조하면, 경작 영역과 미경작 영역이 명확하게 인식되지 않아 영상 처리 결과, 일부의 경계만 인식된 것을 확인 할 수 있었다.
예를 들어, 자율 주행 농기계 장치가 경작지의 외곽을 한바퀴 돌게 되면 자율주행 제어 모듈은 영상 처리를 통해 미경작 영역과 경작 영역의 경계를 색깔 혹은 패턴만으로 구분하게 된다.
도 6b를 참조하면, 경작 영역 상에 경작 라인이 표시되어, 영상 처리 결과 경작 영역과 미경작 영역의 경계가 명확하게 인식된 것을 확인 할 수 있었다. 또한, 인공지능 알고리즘이나 머신러닝 등 영상 처리기법을 활용하였을 때도 명확하게 인식되어 높은 인식률을 나타낼 수 있다.
예를 들어, 자율 주행 농기계 장치가 경작지의 외곽을 한바퀴 돌게 되면 경작 라인 표시 모듈에 의해 경작 영역에 경작 라인이 생기게 된다. 자율주행 제어 모듈은 영상 처리를 통해 경작 라인을 인식하고 미경작 영역과 경작 영역의 경계를 명확하게 할 수 있다.
도 7은 본 발명의 일 실시예에 따른 자율 주행 농기계 장치의 동작 방법을 나타낸 순서도이다. 도 8은 본 발명의 일 실시예에 따른 미경작 영역 결정 단계의 동작 방법을 나타낸 순서도이다. 도 7 및 도 8을 참조하면, 자율 주행 농기계 장치의 동작 방법은 경작 라인 표시 단계(S11), 미경작 영역 결정 단계(S13), 및 미경작 영역 주행 단계(S15)를 포함한다.
경작 라인 표시 단계(S11)는 경작 라인 표시 모듈이 자율 주행 농기계 장치의 주행 방향을 따라 경작지에 경작 라인을 표시하는 단계이다. 경작 라인 표시 단계는 연장부가 자율 주행 농기계 장치로부터 표시부를 고정시킨다. 그 후, 표시부가 자율 주행 농기계 장치의 주행방향에 따라 미경작 영역에 경작 라인을 표시한다.
미경작 영역 결정 단계(S13)는 자율주행 제어 모듈이 경작 라인 표시 모듈에 의해 생성된 경작 라인 및 경작지의 영상 정보에 기초하여 미경작 영역을 결정하는 단계이다. 영상 정보를 딥러닝 알고리즘을 통해 학습 시키고, 패턴 정보와 경작 라인에 기초하여 경계를 결정한다. 미경작 영역은 영역 간의 경계와 기설정된 영역 정보를 비교하여 결정할 수 있다. 본 발명은 경작 라인을 표시함으로써, 영역 간의 경계를 보다 명확하게 할 수 있다.
구체적으로 도 8을 참조하면, 미경작 영역 결정 단계(S13)는 제1 경계를 결정하는 단계(S131), 제2 경계를 결정하는 단계(S133) 및 미경작 영역을 결정하는 단계(S135)를 포함한다. 제1 경계를 결정하는 단계(S131)는 제1 주행시, 자율주행 제어 모듈이 경작 영역 패턴 정보에 기초하여, 상기 경작지의 영상 정보로부터 제1 경계를 추출한다. 제2 경계를 결정하는 단계(S133)는 자율주행 제어 모듈이 경작 영역 패턴 정보에 기초하여 제2 경계를 추출한다. 미경작 영역을 결정하는 단계(S135)는 자율주행 제어 모듈이 영역 간의 경계와 기설정된 영역 정보를 비교하여 미경작 영역을 결정한다.
미경작 영역 주행 단계(S15)는 자율주행 제어 모듈이 자율 주행 농기계 장치가 미경작 영역을 주행하도록 제어하는 단계이다. 미경작 영역을 주행하도록 하는 단계는 영역 경계 결정부가 경작 영역 패턴 정보에 기초하여 경작지 영역 간의 경계를 결정하고, 경계에 기초하여 주행 경로를 생성한다. 또한, 미경작 영역 결정부가 경계에 기초하여 경작지 내의 미경작 영역을 결정한다.
도 9는 본 발명의 일 실시예에 따른 자율 주행 농기계 시스템(1000)을 나타낸 도면이다. 도 9를 참조하면, 자율 주행 농기계 시스템(1000)은 자율 주행 농기계 장치(100_1)와 카메라(200)를 포함한다. 자율 주행 장치는 도 1에 도시된 자율 주행 농기계 장치(100)와 동일하므로 생략될 것이다.
카메라(200)는 경작지의 영상을 촬영하며, 복수 개일 수 있다. 또한, 카메라(200)는 자율 주행 농기계 장치에 부착되어 있을 수도 있고, 경작지 외부에 배치되어 경작지를 촬영할 수도 있다. 이때, 카메라(200)는 RGB카메라, IP카메라, HD-SDI 카메라, 아날로그 카메라, 화재감지 컬러카메라, 열화상 카메라, SD(720x486, NTSC)급의 해상도에서 HD(1920x5080, HD5080p) 카메라, IP줌 스피드 카메라 또는 CCTV 카메라 중 적어도 하나일 수 있다. RTK-GPS나 레이저 센서와 같은 고가의 장비를 사용하지 않고 카메라(200)만을 사용하여 자율 주행에 활용할 수 있는 기술을 통해 생산비용 및 추가적인 기술 개발 비용을 줄일 수 있다.
카메라(200)의 설치 높이가 높을수록 양호한 영상 품질을 확보할 수 있으며, 이와 같이 각 카메라(200)가 차량의 사각지대를 해소할 수 있는 위치의 선정과 합성된 주변 영상의 화질 저하를 최소화할 수 있는 설치위치와 시야각 설정이 중요하며, 차종 및 차의 크기에 따라 각각 다르게 설정할 수 있는 것이므로, 본 발명은 여기에 한정되지 않는다.
또한, 카메라(200)를 자율 주행 차량의 전방, 후방, 좌측, 우측에 설치하였다면 4개의 카메라(200)를 통해 촬상된 영상을 보정처리 할 수 있으며, 자율 주행 농기계 장치(100_1)의 360°주변을 확인할 수 있다. 이때, 전방 카메라(200)와 후방 카메라(200)는 설치될 높이를 동일하게 하고, 좌, 우측 카메라(200)도 설치될 높이를 동일하게 하는 것이 영상들을 합성하여 주변의 경계를 추출하기 유리하다.
100 : 자율 주행 농기계 장치
200 : 카메라
130 : 경작 라인 표시 모듈
132 : 표시부
134 : 연장부
150 : 자율주행 제어 모듈
151 : 패턴 정보 학습부
152 : 영역 경계 결정부
154 : 미경작 영역 결정부
1000 : 자율 주행 농기계 시스템

Claims (11)

  1. 자율 주행 농기계 장치로서,
    상기 자율 주행 농기계 장치의 주행 방향을 따라 경작지에 경작 라인을 표시하는 적어도 하나의 표시부를 포함하는 경작 라인 표시 모듈; 및
    상기 경작 라인 표시 모듈에 의해 생성된 상기 경작 라인 및 상기 경작지의 영상 정보에 기초하여 미경작 영역을 결정하고, 상기 자율 주행 농기계 장치가 상기 경작라인을 중첩하면서 상기 미경작 영역을 주행하도록 주행 경로를 생성하는 자율주행 제어 모듈을 포함하며,
    상기 주행 경로가 반시계 방향인지 아닌지 여부에 따라, 상기 적어도 하나의 표시부 중 상기 주행 방향의 좌측 및 우측에 위치한 표시부 중 하나가 상기 경작 라인을 표시하도록 상기 경작 라인 표시 모듈을 제어하는, 자율 주행 농기계 장치.
  2. 제1항에 있어서,
    상기 자율주행 제어 모듈은,
    상기 영상 정보 및 경작 영역 패턴 정보에 기초하여 경작지 영역 간의 경계를 결정하는 영역 경계 결정부; 및
    상기 경계 및 상기 경작 영역 패턴 정보에 기초하여 상기 미경작 영역을 결정하고, 주행 경로를 생성하는 미경작 영역 결정부를 포함하는 자율 주행 농기계 장치.
  3. 제2항에 있어서,
    상기 경작 영역 패턴 정보를 학습시켜 상기 경작 영역 패턴 정보를 업데이트하여 상기 영역 경계 결정부 및 상기 미경작 영역 결정부에 제공하는 패턴 정보 학습부를 더 포함하는 자율 주행 농기계 장치.
  4. 제2항에 있어서,
    상기 영역 경계 결정부는,
    제1 주행시, 경작 영역 패턴 정보에 기초하여, 상기 경작지의 영상 정보로부터 제1 경계를 추출하여 제1 주행 경로를 생성하고,
    상기 제1 주행 이후의 주행시, 상기 경작 영역 패턴 정보에 기초하여 제2 경계를 추출하는 자율 주행 농기계 장치.
  5. 제4항에 있어서,
    상기 제1 경계는 상기 자율 주행 농기계 장치가 경작해야 할 영역과 경작하지 않아야 할 영역을 구분하는 경계이고,
    상기 제2 경계는 상기 미경작 영역과 경작 영역을 구분하는 경계인 자율 주행 농기계 장치.
  6. 제1항에 있어서,
    상기 경작 라인 표시 모듈은,
    상기 자율 주행 농기계 장치로부터 상기 경작지로 연장되고, 상기 적어도 하나의 표시부를 고정시키는 적어도 하나의 연장부를 포함하는 자율 주행 농기계 장치.
  7. 제1항에 있어서,
    상기 자율주행 제어 모듈은 상기 자율 주행 농기계 장치가 경작 영역의 5 내지 10%를 중첩시켜 경작하도록 제어하는 자율 주행 농기계 장치.
  8. 자율 주행 농기계 장치의 동작 방법으로서,
    경작 라인 표시 모듈에 포함된 적어도 하나의 표시부가 상기 자율 주행 농기계 장치의 주행 방향을 따라 경작지에 경작 라인을 표시하는 단계;
    자율주행 제어 모듈이 상기 경작 라인 표시 모듈에 의해 생성된 상기 경작 라인 및 상기 경작지의 영상 정보에 기초하여 미경작 영역을 결정하고, 상기 자율 주행 농기계 장치가 상기 경작 라인을 중첩하면서 상기 미경작 영역을 주행하도록 주행 경로를 생성하는 단계를 포함하며,
    상기 자율 주행 농기계 장치는, 상기 주행 경로가 반시계 방향인지 아닌지 여부에 따라, 상기 적어도 하나의 표시부 중 상기 주행 방향의 좌측 및 우측에 위치한 표시부 중 하나가 상기 경작 라인을 표시하도록 상기 경작 라인 표시 모듈을 제어하는 자율 주행 농기계 장치의 동작 방법.
  9. 제8항에 있어서,
    상기 미경작 영역을 주행하도록 제어하는 단계는,
    영역 경계 결정부가 경작 영역 패턴 정보에 기초하여 경작지 영역 간의 경계를 결정하는 단계; 및
    미경작 영역 결정부가 상기 경계 및 상기 경작 영역 패턴 정보에 기초하여 경작지 내의 상기 미경작 영역을 결정하고 주행 경로를 생성하는 단계를 포함하는 자율 주행 농기계 장치의 동작 방법.
  10. 삭제
  11. 자율 주행 농기계 장치; 및
    경작 영역을 촬영하기 위한 카메라를 포함하고,
    상기 자율 주행 농기계 장치는,
    상기 자율 주행 농기계 장치의 주행 방향을 따라 경작지에 경작 라인을 표시하는 적어도 하나의 표시부를 포함하는 경작 라인 표시 모듈; 및
    상기 경작 라인 표시 모듈에 의해 생성된 상기 경작 라인 및 상기 경작지의 영상 정보에 기초하여 미경작 영역을 결정하고, 상기 자율 주행 농기계 장치가 상기 경작 라인을 중첩하면서 상기 미경작 영역을 주행하도록 주행 경로를 생성하는 자율주행 제어 모듈을 포함하며,
    상기 주행 경로가 반시계 방향인지 아닌지 여부에 따라, 상기 적어도 하나의 표시부 중 상기 주행 방향의 좌측 및 우측에 위치한 표시부 중 하나가 상기 경작 라인을 표시하도록 상기 경작 라인 표시 모듈을 제어하는 자율 주행 농기계 시스템.
KR1020200074850A 2020-06-19 2020-06-19 자율 주행 경로의 인식율을 높이기 위한 자율 주행 농기계 장치 및 그 동작 방법 KR102445673B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200074850A KR102445673B1 (ko) 2020-06-19 2020-06-19 자율 주행 경로의 인식율을 높이기 위한 자율 주행 농기계 장치 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200074850A KR102445673B1 (ko) 2020-06-19 2020-06-19 자율 주행 경로의 인식율을 높이기 위한 자율 주행 농기계 장치 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20210157043A KR20210157043A (ko) 2021-12-28
KR102445673B1 true KR102445673B1 (ko) 2022-09-22

Family

ID=79178170

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200074850A KR102445673B1 (ko) 2020-06-19 2020-06-19 자율 주행 경로의 인식율을 높이기 위한 자율 주행 농기계 장치 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR102445673B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102520435B1 (ko) 2022-10-28 2023-04-12 주식회사 지엘아이엔에스 장애물 경보 기능을 제공하는 라이다 센서 기반 농기계 안전 관리 시스템 및 이의 제어방법
KR20240094235A (ko) 2022-12-15 2024-06-25 주식회사 대동 자율 주행 농기계의 위치인식방식 변경 방법 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017211893A (ja) * 2016-05-27 2017-11-30 国立研究開発法人農業・食品産業技術総合研究機構 移動車両の走行制御装置
JP2018041358A (ja) 2016-09-09 2018-03-15 ヤンマー株式会社 自律走行システム
JP2018045710A (ja) 2014-02-06 2018-03-22 ヤンマー株式会社 併走作業システム
KR102017965B1 (ko) * 2014-12-11 2019-09-03 얀마 가부시키가이샤 작업 차량

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07203706A (ja) * 1994-01-20 1995-08-08 Fuji Heavy Ind Ltd 自律走行作業車

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018045710A (ja) 2014-02-06 2018-03-22 ヤンマー株式会社 併走作業システム
KR102017965B1 (ko) * 2014-12-11 2019-09-03 얀마 가부시키가이샤 작업 차량
JP2017211893A (ja) * 2016-05-27 2017-11-30 国立研究開発法人農業・食品産業技術総合研究機構 移動車両の走行制御装置
JP2018041358A (ja) 2016-09-09 2018-03-15 ヤンマー株式会社 自律走行システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102520435B1 (ko) 2022-10-28 2023-04-12 주식회사 지엘아이엔에스 장애물 경보 기능을 제공하는 라이다 센서 기반 농기계 안전 관리 시스템 및 이의 제어방법
KR20240094235A (ko) 2022-12-15 2024-06-25 주식회사 대동 자율 주행 농기계의 위치인식방식 변경 방법 및 시스템

Also Published As

Publication number Publication date
KR20210157043A (ko) 2021-12-28

Similar Documents

Publication Publication Date Title
Han et al. Deepvio: Self-supervised deep learning of monocular visual inertial odometry using 3d geometric constraints
RU2736730C2 (ru) Сельскохозяйственная рабочая машина
EP2187166B1 (en) Industrial Machine
KR102445673B1 (ko) 자율 주행 경로의 인식율을 높이기 위한 자율 주행 농기계 장치 및 그 동작 방법
US10033924B2 (en) Panoramic view imaging system
US9509979B2 (en) Stereo auto-calibration from structure-from-motion
US10129521B2 (en) Depth sensing method and system for autonomous vehicles
JP6735303B2 (ja) 作業車両および作物列認識プログラム
US20120170812A1 (en) Driving support display device
CN105100600B (zh) 用于全景可视系统中的自动校准的方法
CN106412426A (zh) 全聚焦摄影装置及方法
CN104881869A (zh) 一种移动平台上的实时全景跟踪与拼接方法
CN104574443B (zh) 一种全景摄像机间运动目标的协同跟踪方法
JP2020067698A (ja) 区画線検出装置及び区画線検出方法
KR20210054347A (ko) 영상 기반 경로 인식 및 조향각 산출 기술을 지원하는 자율 주행 농기계 장치 및 그 동작 방법
English et al. Learning crop models for vision-based guidance of agricultural robots
KR102340543B1 (ko) 부착형 농작업 경로 인식 장치
Bakken et al. Robot-supervised learning of crop row segmentation
JPH11149557A (ja) 自律走行車の周囲環境認識装置
Griffith et al. Survey registration for long‐term natural environment monitoring
Hanawa et al. Development of a stereo vision system to assist the operation of agricultural tractors
JP6841553B2 (ja) 撮像装置
CN117765340A (zh) 模型训练方法、图像边缘检测方法、及多传感器标定方法
JP2020076714A (ja) 位置姿勢推定装置
JP2020036569A (ja) 走行車両の走行制御装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right