KR20210069816A - 부착형 농작업 경로 인식 장치 - Google Patents
부착형 농작업 경로 인식 장치 Download PDFInfo
- Publication number
- KR20210069816A KR20210069816A KR1020190159521A KR20190159521A KR20210069816A KR 20210069816 A KR20210069816 A KR 20210069816A KR 1020190159521 A KR1020190159521 A KR 1020190159521A KR 20190159521 A KR20190159521 A KR 20190159521A KR 20210069816 A KR20210069816 A KR 20210069816A
- Authority
- KR
- South Korea
- Prior art keywords
- path
- agricultural
- image
- steering
- work machine
- Prior art date
Links
- 238000004364 calculation method Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000003384 imaging method Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 238000007619 statistical method Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
- A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
- A01B69/007—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
- A01B69/008—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2201/00—Application
- G05D2201/02—Control of position of land vehicles
- G05D2201/0201—Agriculture or harvesting machine
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Soil Sciences (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Environmental Sciences (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Guiding Agricultural Machines (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
본 발명은 농작업 경로 인식 장치에 관한 것으로, 보다 구체적으로는 다양한 농작업 기계에 간단하게 설치가능한 보다 경제적인 부착형 농작업 경로 인식 장치에 관한 것이다.
본 발명에 따르면, 스피드스프레이어 및 트랙터를 포함하는 농작업 기계에 부착되어 농작업 기계의 자율주행 경로를 탐색하고 농작업 기계의 조향각을 제어하기 위한 부착형 농작업 경로 인식 장치가 제공되고, 부착형 농작업 경로 인식 장치는,
농작업 기계의 이동 방향의 정면 이미지를 촬영하고 촬영된 영상을 수집하기 위한 영상 수집부;
영상 수집부로부터 수집된 정면 이미지에 대한 이미징 처리를 수행하여 농작업 기계의 자율주행 경로를 발견하고 농작업 기계를 조향시키기 위한 조향 명령을 생성하는 연산부;
농작업 기계의 조향 장치에 전기 및 기계적으로 연결되고, 연산부에서 계산된 자율주행 경로를 따라 농작업 기계의 조향 장치를 구동하는 모터 제어 명령을 생성하는 조향 제어부; 및
상기 영상 수집부, 상기 연산부, 상기 조향 제어부에 필요한 전원을 제공하기 위한 전원부를 포함하고,
상기 연산부는,
영상 수집부에서 취득된 정면 이미지를 호출하는 동작;
호출된 정면 이미지를 복수의 패치 이미지들 분할하는 동작;
복수의 패치 이미지들에 대한 각각의 경로 확률을 계산하는 동작;
각각의 계산된 경로 확률을 이용하여 전체 정면 이미지에 대한 확률점수 지도를 생성하는 동작;
생성된 확률점수 지도 상에서 경로 영역을 판단하는 동작;
경로 영역에 대해 가장자리 점을 검출하는 동작;
상기 검출된 가장자리 점을 이용하여 좌측 및 우측의 대표 경계선을 구하는 동작을 수행하고,
상기 연산부는 좌측 및 우측의 대표 경계선이 만나는 교차점을 계산하고, 계산된 교차점을 농작업 기계의 이동 경로 목표점으로 결정한다.
본 발명에 따르면, 스피드스프레이어 및 트랙터를 포함하는 농작업 기계에 부착되어 농작업 기계의 자율주행 경로를 탐색하고 농작업 기계의 조향각을 제어하기 위한 부착형 농작업 경로 인식 장치가 제공되고, 부착형 농작업 경로 인식 장치는,
농작업 기계의 이동 방향의 정면 이미지를 촬영하고 촬영된 영상을 수집하기 위한 영상 수집부;
영상 수집부로부터 수집된 정면 이미지에 대한 이미징 처리를 수행하여 농작업 기계의 자율주행 경로를 발견하고 농작업 기계를 조향시키기 위한 조향 명령을 생성하는 연산부;
농작업 기계의 조향 장치에 전기 및 기계적으로 연결되고, 연산부에서 계산된 자율주행 경로를 따라 농작업 기계의 조향 장치를 구동하는 모터 제어 명령을 생성하는 조향 제어부; 및
상기 영상 수집부, 상기 연산부, 상기 조향 제어부에 필요한 전원을 제공하기 위한 전원부를 포함하고,
상기 연산부는,
영상 수집부에서 취득된 정면 이미지를 호출하는 동작;
호출된 정면 이미지를 복수의 패치 이미지들 분할하는 동작;
복수의 패치 이미지들에 대한 각각의 경로 확률을 계산하는 동작;
각각의 계산된 경로 확률을 이용하여 전체 정면 이미지에 대한 확률점수 지도를 생성하는 동작;
생성된 확률점수 지도 상에서 경로 영역을 판단하는 동작;
경로 영역에 대해 가장자리 점을 검출하는 동작;
상기 검출된 가장자리 점을 이용하여 좌측 및 우측의 대표 경계선을 구하는 동작을 수행하고,
상기 연산부는 좌측 및 우측의 대표 경계선이 만나는 교차점을 계산하고, 계산된 교차점을 농작업 기계의 이동 경로 목표점으로 결정한다.
Description
본 발명은 농작업 경로 인식 장치에 관한 것으로, 보다 구체적으로는 다양한 농작업 기계에 간단하게 설치가능한 보다 경제적인 부착형 농작업 경로 인식 장치에 관한 것이다.
농업 분야는 농업 인구의 감소 및 고령화, 농업 경영비 상승 등으로 농업 여건 개선이 시급한 실정이다.따라서, 농업 분야의 경쟁력을 갖추어야 하는데, 그 중 가장 중요한 요소가 IT 및 센서 기술과의 접목을 통한 고부가가치 산업으로의 변신이라 할 수 있다.
최근 국내 산업은 4차 산업혁명이란 슬로건을 통해 인공지능과 ICT 기술을 융합하여 미국, 독일, 일본과 같은 기술 선진국들의 수준에 견줄 산업시스템을 구축하고 있다. 이러한 산업 구조의 변화는 농업분야에도 영향을 미치게 되는데, 농업분야의 새로운 산업시스템의 대표적인 예로 스마트 팜이 손꼽히고 있다.
스마트 팜은 온실 내설치된 센서들의 데이터를 모듈에서 수집하고, 무선 통신을 통해 사용자에게 PC 혹은 스마트폰으로 실시간 모니터링할 수 있도록 정보를 전송하거나 사용자가 설정해둔 값에 따라 온실 내 환경 등을 조절하고 있다. 따라서, 스마트 팜 시스템을 적용하면, 데이터가 실시간으로 확인되고, 실시간 환경 조절이 가능하기 때문에 사용자는 증가한 수확량으로 고소득을 취할 수 있게 된다.
이와 함께, 최근 전자 기술의 발전으로, 농기계를 무인으로 운용하고 있다. 무인농기계에서 사용되는 자율주행기술은 운전자의 조작없이 자동차 스스로 주행환경을 인식하여 목표 지점까지 운행할 수 있도록 하는 기술로서, 차선이탈 방지시스템과 차량 변경 제어기술, 장애물 회피 기술 등을 이용하여 출발지와 목적지를 입력하면 최적의 주행경로를 선택하여 스스로 주행할 수 있도록하며, 자율주행기술이 적용된 자동차를 자율주행자동차 또는 무인자동차라 한다
이러한 자율주행기술은 기본적으로 도로를 주행하는 자동차에 적용되고 있지만, 군사적인 목적이나 농업기술에도 많이 이용되고 있다. 구체적으로 자율주행기술을 적용된 농기계로서 자율주행 트랙터가 있다. 자율주행트랙터는 스스로 알아서 움직이는 트랙터로서, 경작지의 위치와 크기를 측정하여 경작지에 맞는 작업경로를 설정하면, 작업경로를 따라 이동하면서 작업을 수행하도록 구성된다.
이러한 자율주행 트랙터에는 GPS(Global Positioning System)를 이용한 위치인식 시스템과, 속도와 방향 및 가속도를 측정하는 IMU(Inertial Mwasurement Unit; 관성항법장치) 기술, 자율주행시 이동 방향을 모니터로 보여주는 하이브리드 EPS(Hybrid Electronic Power Steering) 시스템, 작업경로 생성 및 추종기술 등 4가지의 기술이 접목되어 있다.
자율주행트랙터와 같은 농업기계는 국내의 열악한 농업환경과 인력난 등을 고려하면, 경쟁력제고를 위한 필수 선택이라 할 수 있지만, 경지면적이 좁고 비탈진 농지가 많은 농업환경으로 인해 국내에는 쉽게 적용되지 못하고 있으며, 가격이 고가라는 문제점이 있다.
또한 농업 인구 감소 및 고령화에 따라 기존 농작업을 효율적으로 수행할 수 있고 일관적인 작업이 가능한 무인 자율주행 농작업기계에 대한 개발이 요구되고 있지만, 규격화되어 있는 도로를 인식하는 자동차와 달리 농업의 경우 과수, 작물 사이에 위치한 토양을 인식해야 하는 농작업용 경로 인식에서는 일반적인 영상처리의 경우 환경변화에 취약하고 영상학습의 경우 대부분 전체영상을 대상으로 진행되어 고성능-고가의 시스템 및 연산량이 많아 실제 적용이 어려움이 있으며, 연산량을 감소시키면서 다양한 농작업기에 간단히 설치 가능한 저가의 다목적 경로인식 시스템 개발이 요구되고 있는 실정이다.
본 발명은 전술한 문제점에 기반하여 안출된 발명으로서, 농작업용 경로 인식에서 경로 인식을 위한 연산량을 감소시키면서 다양한 농작업기에 간단히 설치 가능한 저가의 부착형 농작업 경로 인식 장치를 제공하는 것을 목적으로 한다.
전술한 과제를 해결하기 위해, 본 발명의 일양태에 따르면, 스피드스프레이어 및 트랙터를 포함하는 농작업 기계에 부착되어 농작업 기계의 자율주행 경로를 탐색하고 농작업 기계의 조향각을 제어하기 위한 부착형 농작업 경로 인식 장치가 제공되고,
부착형 농작업 경로 인식 장치는
농작업 기계의 이동 방향의 정면 이미지를 촬영하고 촬영된 영상을 수집하기 위한 영상 수집부;
영상 수집부로부터 수집된 정면 이미지에 대한 이미징 처리를 수행하여 농작업 기계의 자율주행 경로를 발견하고 농작업 기계를 조향시키기 위한 조향 명령을 생성하는 연산부;
농작업 기계의 조향 장치에 전기 및 기계적으로 연결되고, 연산부에서 계산된 자율주행 경로를 따라 농작업 기계의 조향 장치를 구동하는 모터 제어 명령을 생성하는 조향 제어부; 및
상기 영상 수집부, 상기 연산부, 상기 조향 제어부에 필요한 전원을 제공하기 위한 전원부를 포함하고,
연산부는,
영상 수집부에서 취득된 정면 이미지를 호출하는 동작;
호출된 정면 이미지를 복수의 패치 이미지들로 분할하는 동작;
복수의 패치 이미지들에 대한 각각의 경로 확률을 계산하는 동작;
각각의 계산된 경로 확률을 이용하여 전체 정면 이미지에 대한 확률점수 지도를 생성하는 동작;
생성된 확률점수 지도 상에서 경로 영역을 판단하는 동작;
경로 영역에 대해 가장자리 점을 검출하는 동작;
상기 검출된 가장자리 점을 이용하여 좌측 및 우측의 대표 경계선을 구하는 동작을 수행하고,
연산부는 좌측 및 우측의 대표 경계선이 만나는 교차점을 계산하고 계산된 교차점을 농작업 기계의 이동 경로 목표점으로 결정하거나, 좌측 및 우측의 대표 경계선이 교차하지 않는 경우에는, 좌측 및 우측 대표 경계선의 각각의 끝점 사이의 중간점을 목표점으로 결정하도록 동작된다.
전술한 양태에서, 연산부는 좌측 및 우측의 대표 경계선이 만나는 교차점을 계산하고, 상기 정면 이미지의 중심선과, 상기 중심선 상의 하단점으로부터 상기 교차점을 연결한 직선 사이의 편향각을 계산하여 조향 제어부로 전송하고, 조향 제어부는 수신된 편향각에 대응하는 만큼 조향장치를 조향하도록 모터 제어 명령을 생성한다.
또한 전술한 양태에서 복수의 패치 이미지들에 대한 각각의 경로 확률은, 0 과 1 사이의 확률값을 가지고, 상기 연산부는 미리 결정된 임계값(T)보다 큰 값을 가지는 영역을 경로 영역으로 선정하고, 상기 임계값은 0.6 이상인 것이 바람직하다.
또한 전술한 양태에서 좌측 및 우측의 대표 경계선을 구하는 동작은 호프 변환을 통한 직선 검출 또는 회귀식을 이용한 통계 방법 등을 이용하여 결정될 수도 있다.
본 발명에 따르면 경로를 인식하기 위해 농작업 기계의 정면 영상을 복수개의 패치 영상으로 분할하고 분할된 패치 영상들에 기반하여 농작업용 경로 여부를 판단함으로써 경로 인식을 위한 연산량을 감소시키면서 또한 다양한 농작업기에 간단히 설치 가능한 저가의 부착형 농작업 경로 인식 장치 및 방법을 제공할 수 있다.
도 1은 본 발명에 따른 부착형 농작업 경로 인식 장치를 구비한 농작업 기계의 일례를 나타낸 도면;
도 2는 부착형 농작업 경로 인식 장치의 내부 구성을 개략적으로 도시한 블록도;
도 3은 본 발명에 따른 부착형 농작업 경로 인식 장치의 연산부에서의 동작을 나타내는 설명도;
도 4는 본 발명에 따른 부착형 농작업 경로 인식 장치의 연산부에서 동작을 설명하기 위한 도면으로 (a) 연산부에서 생성된 확률 점수 지도를 나타내는 도면, (b) 생성된 확률 점수 지도 상에서 경로인 것으로 판단된 패치 영역을 나타내는 도면, (c) 경로인 것으로 판단된 패치 영역에서 기준점 또는 모서리 점을 결정하는 것을 예시적으로 나타낸 도면, (d) 좌측 및 우측 기준점을 이용하여 좌측 및 우측 경계선을 생성하는 것을 예시적으로 나타낸 도면, (e) 좌측 및 우측 경계선을 이용하여 교차점을 구하고, 교차점을 이용하여 조향각 정보를 계산하는 것을 예시적으로 나타낸 도면이다.
도 2는 부착형 농작업 경로 인식 장치의 내부 구성을 개략적으로 도시한 블록도;
도 3은 본 발명에 따른 부착형 농작업 경로 인식 장치의 연산부에서의 동작을 나타내는 설명도;
도 4는 본 발명에 따른 부착형 농작업 경로 인식 장치의 연산부에서 동작을 설명하기 위한 도면으로 (a) 연산부에서 생성된 확률 점수 지도를 나타내는 도면, (b) 생성된 확률 점수 지도 상에서 경로인 것으로 판단된 패치 영역을 나타내는 도면, (c) 경로인 것으로 판단된 패치 영역에서 기준점 또는 모서리 점을 결정하는 것을 예시적으로 나타낸 도면, (d) 좌측 및 우측 기준점을 이용하여 좌측 및 우측 경계선을 생성하는 것을 예시적으로 나타낸 도면, (e) 좌측 및 우측 경계선을 이용하여 교차점을 구하고, 교차점을 이용하여 조향각 정보를 계산하는 것을 예시적으로 나타낸 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되는 실시예를 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이다.
본 명세서에서 본 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 그리고 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 따라서, 몇몇 실시예들에서, 잘 알려진 구성 요소, 잘 알려진 동작 및 잘 알려진 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명되지 않는다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 그리고, 본 명세서에서 사용된(언급된) 용어들은 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, '포함(또는, 구비)한다'로 언급된 구성 요소 및 동작은 하나 이상의 다른 구성요소 및 동작의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.
이하 첨부된 도면을 참조하여 본 발명의 실시예에 대해 설명하도록 한다.
도 1은 본 발명에 따른 부착형 농작업 경로 인식 장치(10)를 구비한 농작업기계(20)를 개략적으로 나타낸 도면이다. 도 1에 도시된 바와 같이 부착형 농작업 경로 인식 장치(10)(이하 경로 인식 장치라고 함)는 농작업 기계(20)의 일부분에 부착되도록 형성된다. 도시된 도면에서 경로 인식 장치(10)는 농작업 기계(20)의 상부측에 부착되고 있지만 본 발명은 이에 한정되는 것은 아니고 농작업 기계(20)의 이동 방향을 방해받지 않고 관찰할 수 있는 부분, 예를 들면, 농작업 기계(20)의 전방면 또는 농작업 기계의 내부에 제공될 수도 있다. 여기서 농작업 기계는 스피드스프레이어, 트랙터 등의 기계를 포함한다.
경로 인식 장치(10)는 영상을 촬영하여 수집을 하고, 수집된 영상을 분석하고, 분석된 영상을 통해 농작업 기계의 이동 경로를 발견하고 발견된 이동 경로로 농작업 기계의 조향 수단을 제어하여 농작업 기계(20)가 경로를 따라 추종할 수 있도록 제어를 수행하게 된다.
도 2는 본 발명에 따른 농작업 경로 인식 장치(10)의 내부 구성을 개략적으로 나타낸 기능 블록도이다. 도 2에 도시된 바와 같이 농작업 경로 인식 장치(10)는 농작업 기계의 이동 방향을 촬영하고 촬영된 영상을 수집하기 위한 영상 수집부(100), 영상 수집부(100)로부터 수집된 영상에 대한 이미징 처리를 수행하여 경로를 발견하고 농작업 기계의 조향 명령을 생성하는 연산부(200), 연산부(200)에서 발견된 경로를 따라 농작업 기계의 조향 장치를 구동하는 모터 제어 명령을 생성하는 조향 제어부(300) 및 영상 수집부(100), 연산부(200), 조향 제어부(300)에 필요한 전원을 제공하는 전원부(400)를 포함하고, 조향 제어부(300)는 조향 장치(500)에 전기 기계적으로 연결되어 있다.
영상 수집부(100)는 디지털 카메라를 포함하며, 농작업 기계 이동 방향의 정면 영상을 촬영하도록 구성된다. 여기서 정면 영상이란 농작업 기계의 주행방향으로 실시간 촬영되는 주행(작업) 경로가 포함된 실시간 수집 영상이다.
영상 수집부(100)에서 수집된 영상은 연산부(200)에서의 이미지 처리를 위해 메모리 등의 이미지 저장부(미도시)에 저장되고, 연산부는 이미지 저장부에 저장된 영상을 분석하게 된다. 영상 수집부(100), 즉 디지털 카메라(100)에서 촬영을 수행하는 이미지 센서는 그 광축이 농작업 기계의 정면 조향축과 일치되도록 농작업 기계에 설치된다. 농작업 기계의 정면 조향각이 이미지 센서의 광축과 일치됨에 따라 촬영된 영상에서 발견된 최종 경로 지점으로의 조향각이 발견될 수 있다. 이에 대해서는 후술하여 보다 구체적으로 설명하도록 한다.
연산부(200)는 수집되는 큰 사이즈 영상을 작은 사이즈의 복수의 패치로 분할한 후 영상처리, 기계학습(딥러닝, SVM, KNN) 등의 방법을 통해 경로 점수를 계산하고 주행경로 및 조향각을 계산한다. 연산부는 영상 수집부(100)에서 촬영된 경로의 정면 영상을 분석하여 경로를 발견하고 발견된 경로에 따른 조향각을 산출하며, 산출된 조향각을 후단에 배치된 조향 제어부(300)에 전송하도록 구성된다.
도 3은 연산부(200)에서 수행되는 이미지 분석을 통한 경로 발견 및 조향각 산출 방법을 나타내는 도면이다. 도 3에 도시된 바와 같이 먼저 연산부(200)는 단계 S100에서 영상 수집부(100)에서 취득된 정면 이미지를 호출한다.
이어진 단계 S110에서 연산부(200)는 호출된 정면 이미지를 미리 결정된 패치 사이즈로의 분할을 수행한다. 도 3에 도시된 바와 같이 이미지는 M × N개로 이루어진 패치 이미지들의 그룹으로 분할된다. 여기서 패치 이미지란 수집된 정면 영상의 분할 영상으로 분할 영상이 경로인지 아닌지를 판별하기 위한 영상규격(가변적 선택 가능)을 의미한다.
이어진 단계 S120에서 연산부(200)는 패치된 이미지 별로 경로 확률을 계산하게 된다. 연산부(200)는 각각의 패치된 이미지에서 획득되는 컬러 정보, 이미지의 패턴 정보 등을 이용한 기계학습(딥러닝, SVM, KNN)을 통해 패치별로 경로 확률을 계산하는데, 계산된 결과는 해당하는 패치 이미지가 경로에 해당하는 것으로 기대되는 확률값을 나타내며,
다시 도 3을 참조하면, 단계 S130에서는 단계 S120에서 계산된 확률값을 이용하여 패치 이미지별로 계산된 경로 확률값을 이용하여 전체 이미지에 대한 확률점수지도를 생성하게 된다(도 4의 (a) 참조).
연산부(200)는 도 3 및 도 4의 (a)에 도시된 바와 같이 경로 확률로 이루어진 확률 점수 지도를 이용하여 경로 여부를 판별한다. 해당하는 패치 이미지들이 0 과 1 사이의 확률값을 가짐에 따라 경로를 정의하기 위해 임계값(T)보다 큰 값을 가지는 구역을 경로 영역으로 선정할 필요가 있으며, 본 발명에서는 확률값 0.6 이상인 경우 경로인 것으로 예시적으로 선정하였으며, 경로의 임계값(T)가 높아질수록 보다 안전한 경로의 획득이 가능하게 된다. 도 4의 (b)는 전술한 바와 같이 임계값 T=0.6 이상인 경우에서 정의된 경로를 나타낸다.
이어진 단계 S140에서는 경로로 판정된 패치 이미지들에 대한 경계선을 검출하게 된다. 경로 정의를 위한 경계선 검출에서는, 도 4의 (c)에 도시된 것처럼 먼저 선택된 패치 영역의 좌, 우 가장자리 점들을 추출하여 수행된다. 일반적으로 각각의 열에서 패치 영역의 가장 좌측 및 우측을 선정하여 검출될 수도 있지만, 영상처리의 경계 혹은 꼭지점 검출 기술 등을 이용하여 가장자리 점들이 검출될 수 있다.
이후, 검출된 가장자리 점들을 이용하여 도 4의 (d)에 도시된 것처럼 좌측 및 우측의 각각의 가장자리 점들을 대표하는 직선을 생성(호프변환을 통한 직선 검출이나, 회귀식 등의 통계 방법 등을 이용하여 선정)하여 2개의 경계선이 생성되게 된다.
이어진 단계에서는 단계 S140에서 검출된 좌측 및 우측의 가장자리 점들을 대표하는 직선의 교차점을 구하게 된다. 이 교차점은 현재 진행되는 경로의 소실점이며 농작업 기계가 추종해야 되는 목표 방향을 나타낸다. 한편 목표점은 산출하는 과정에서 교차점이 없는 경우에는 좌측 및 우측 대표선의 각각의 끝점 사이의 중심점을 이용하여 계산될 수도 있다.
도 4의 (e)에 도시된 바와 같이, 디지털 카메라의 이미지 센서의 광축과 농작업 기계의 정면 방향이 일치하기 때문에, 영상의 중심선은 농작업 기계의 정면 기준 방향으로 되고, 따라서 농작업 기계의 조향각은 영상의 중심선과, 영상의 중심하단에서 소실점까지 이은 직선 사이의 편향각으로 정의될 수 있다.
다시 도 2를 참조하면 연산부(200)에서 계산된 조향각 정보는 조향 제어부(300)으로 전송되고, 조향 제어부(300)는 조향장치(500)에 연결된 모터에 모터 제어신호를 전송하여 조향 장치(500)를 계산된 조향각도 만큼 조향시키게 되고, 따라서 농작업 기계는 생성된 경로를 추종하여 이동할 수 있게 된다.
본 발명에 따르면 경로를 인식하기 위해 농작업 기계의 정면 영상을 복수개의 패치 영상으로 분할하고 분할된 패치 영상들에 기반하여 농작업용 경로 여부를 판단함으로써 경로 인식을 위한 연산량을 감소시키면서 또한 다양한 농작업기에 간단히 설치 가능한 저가의 부착형 농작업 경로 인식 장치 및 방법을 제공할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술분야에서 통상의 지식을 갖는 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 게시된 실시예는 본 발명의 기술 사상을 한정하기 위한 것이 아닌 설명을 위한 것이고, 이런 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.
따라서 본 발명의 보호 범위는 전술한 실시예에 의해 제한되기 보다는 아래의 청구범위에 의하여 해석되어야하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 부착형 농작업 경로 인식 장치
20: 농작업 기계
100: 영상 수집부
200: 연산부
300: 조향 제어부
400: 전원부
500: 조향 장치
20: 농작업 기계
100: 영상 수집부
200: 연산부
300: 조향 제어부
400: 전원부
500: 조향 장치
Claims (4)
- 스피드스프레이어 및 트랙터를 포함하는 농작업 기계에 부착되어 농작업 기계의 자율주행 경로를 탐색하고 농작업 기계의 조향각을 제어하기 위한 부착형 농작업 경로 인식 장치에 있어서,
상기 부착형 농작업 경로 인식 장치는
농작업 기계의 이동 방향의 정면 이미지를 촬영하고 촬영된 영상을 수집하기 위한 영상 수집부;
영상 수집부로부터 수집된 정면 이미지에 대한 이미징 처리를 수행하여 농작업 기계의 자율주행 경로를 발견하고 농작업 기계를 조향시키기 위한 조향 명령을 생성하는 연산부;
농작업 기계의 조향 장치에 전기 및 기계적으로 연결되고, 연산부에서 계산된 자율주행 경로를 따라 농작업 기계의 조향 장치를 구동하는 모터 제어 명령을 생성하는 조향 제어부; 및
상기 영상 수집부, 상기 연산부, 상기 조향 제어부에 필요한 전원을 제공하기 위한 전원부를 포함하고,
상기 연산부는,
영상 수집부에서 취득된 정면 이미지를 호출하는 동작;
호출된 정면 이미지를 복수의 패치 이미지들로 분할하는 동작;
복수의 패치 이미지들에 대한 각각의 경로 확률을 계산하는 동작;
각각의 계산된 경로 확률을 이용하여 전체 정면 이미지에 대한 확률점수 지도를 생성하는 동작;
생성된 확률점수 지도 상에서 경로 영역을 판단하는 동작;
경로 영역에 대해 가장자리 점을 검출하는 동작;
상기 검출된 가장자리 점을 이용하여 좌측 및 우측의 대표 경계선을 구하는 동작을 수행하고,
상기 연산부는 좌측 및 우측의 대표 경계선이 만나는 교차점을 계산하고 계산된 교차점을 농작업 기계의 이동 경로 목표점으로 결정하거나, 좌측 및 우측의 대표 경계선이 교차하지 않는 경우에는, 좌측 및 우측 대표 경계선의 각각의 끝점 사이의 중간점을 목표점으로 결정하는 것을 특징으로 하는
부착형 농작업 경로 인식 장치.
- 제1항에 있어서,
상기 연산부는 좌측 및 우측의 대표 경계선이 만나는 교차점을 계산하고, 상기 정면 이미지의 중심선과, 상기 중심선 상의 하단점으로부터 상기 교차점을 연결한 직선 사이의 편향각을 계산하여 조향 제어부로 전송하고,
조향 제어부는 수신된 편향각에 대응하는 만큼 조향장치를 조향하도록 모터 제어 명령을 생성하는 것을 특징으로 하는
부착형 농작업 경로 인식 장치.
- 제1항에 있어서,
복수의 패치 이미지들에 대한 각각의 경로 확률은, 0 과 1 사이의 확률값을 가지고, 상기 연산부는 미리 결정된 임계값(T)보다 큰 값을 가지는 영역을 경로 영역으로 선정하고, 상기 임계값은 0.6 이상인 것을 특징으로 하는
부착형 농작업 경로 인식 장치.
- 제3항에 있어서,
좌측 및 우측의 대표 경계선을 구하는 동작은 호프 변환을 통한 직선 검출 또는 회귀식을 이용한 통계 방법 등을 이용하여 결정되는
부착형 농작업 경로 인식 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190159521A KR102340543B1 (ko) | 2019-12-04 | 2019-12-04 | 부착형 농작업 경로 인식 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190159521A KR102340543B1 (ko) | 2019-12-04 | 2019-12-04 | 부착형 농작업 경로 인식 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210069816A true KR20210069816A (ko) | 2021-06-14 |
| KR102340543B1 KR102340543B1 (ko) | 2021-12-20 |
Family
ID=76417762
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190159521A KR102340543B1 (ko) | 2019-12-04 | 2019-12-04 | 부착형 농작업 경로 인식 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102340543B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102593906B1 (ko) * | 2022-10-11 | 2023-10-26 | 주식회사 웨이브에이아이 | 자율주행 방재장치 및 그 제어방법 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240008423A (ko) | 2022-07-04 | 2024-01-19 | 주식회사 대동 | 자율 주행 트랙터의 정지 작업 경로 설정 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014006588A (ja) * | 2012-06-21 | 2014-01-16 | Toyota Central R&D Labs Inc | 路面境界推定装置及びプログラム |
| KR20190103524A (ko) * | 2018-02-13 | 2019-09-05 | 코가플렉스 주식회사 | 자율 주행 장치 및 방법 |
-
2019
- 2019-12-04 KR KR1020190159521A patent/KR102340543B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014006588A (ja) * | 2012-06-21 | 2014-01-16 | Toyota Central R&D Labs Inc | 路面境界推定装置及びプログラム |
| KR20190103524A (ko) * | 2018-02-13 | 2019-09-05 | 코가플렉스 주식회사 | 자율 주행 장치 및 방법 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102593906B1 (ko) * | 2022-10-11 | 2023-10-26 | 주식회사 웨이브에이아이 | 자율주행 방재장치 및 그 제어방법 |
| WO2024080461A1 (ko) * | 2022-10-11 | 2024-04-18 | 주식회사 웨이브에이아이 | 자율주행 방재장치 및 그 제어방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102340543B1 (ko) | 2021-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11530924B2 (en) | Apparatus and method for updating high definition map for autonomous driving | |
| US10650253B2 (en) | Method for estimating traffic lanes | |
| CN109074668B (zh) | 路径导航方法、相关装置及计算机可读存储介质 | |
| US9710925B2 (en) | Robust anytime tracking combining 3D shape, color, and motion with annealed dynamic histograms | |
| US11195028B2 (en) | Real-time simultaneous detection of lane marker and raised pavement marker for optimal estimation of multiple lane boundaries | |
| JP5952611B2 (ja) | 走行制御装置 | |
| CN110531376A (zh) | 用于港口无人驾驶车辆的障碍物检测和跟踪方法 | |
| KR102056147B1 (ko) | 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치 | |
| CN104700414A (zh) | 一种基于车载双目相机的前方道路行人快速测距方法 | |
| CN110163047B (zh) | 一种检测车道线的方法及装置 | |
| EP3644225A1 (en) | Method and apparatus for determining driving information | |
| CN112232275B (zh) | 基于双目识别的障碍物检测方法、系统、设备及存储介质 | |
| US11335099B2 (en) | Proceedable direction detection apparatus and proceedable direction detection method | |
| CN114419098A (zh) | 基于视觉变换的运动目标轨迹预测方法及装置 | |
| KR102340543B1 (ko) | 부착형 농작업 경로 인식 장치 | |
| JP2020067698A (ja) | 区画線検出装置及び区画線検出方法 | |
| Cui et al. | Real-time global localization of intelligent road vehicles in lane-level via lane marking detection and shape registration | |
| Ma et al. | Crlf: Automatic calibration and refinement based on line feature for lidar and camera in road scenes | |
| JP2019154379A (ja) | 作業車両および作物列認識プログラム | |
| Fries et al. | Autonomous convoy driving by night: The vehicle tracking system | |
| CN111510704A (zh) | 校正摄像头错排的方法及利用其的装置 | |
| Manivannan et al. | Vision based intelligent vehicle steering control using single camera for automated highway system | |
| Jiang et al. | Obstacle detection and tracking for intelligent agricultural machinery | |
| CN113611008B (zh) | 一种车辆行驶场景采集方法、装置、设备及介质 | |
| Rasmussen et al. | Trail following with omnidirectional vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |