KR102077219B1 - 줄기 검출을 이용한 과수원 자율주행 차량의 경로 설정 방법 및 시스템 - Google Patents
줄기 검출을 이용한 과수원 자율주행 차량의 경로 설정 방법 및 시스템 Download PDFInfo
- Publication number
- KR102077219B1 KR102077219B1 KR1020180133076A KR20180133076A KR102077219B1 KR 102077219 B1 KR102077219 B1 KR 102077219B1 KR 1020180133076 A KR1020180133076 A KR 1020180133076A KR 20180133076 A KR20180133076 A KR 20180133076A KR 102077219 B1 KR102077219 B1 KR 102077219B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- tree trunk
- lowest point
- ratio
- autonomous vehicle
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 37
- 239000002420 orchard Substances 0.000 claims abstract description 69
- 238000006243 chemical reaction Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 5
- 238000009826 distribution Methods 0.000 description 19
- 238000005516 engineering process Methods 0.000 description 14
- 235000011430 Malus pumila Nutrition 0.000 description 13
- 235000015103 Malus silvestris Nutrition 0.000 description 13
- 241000220225 Malus Species 0.000 description 12
- 238000009313 farming Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 241000196324 Embryophyta Species 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000004807 localization Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 239000002689 soil Substances 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 244000141359 Malus pumila Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000003973 irrigation Methods 0.000 description 2
- 230000002262 irrigation Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 241000219094 Vitaceae Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000004720 fertilization Effects 0.000 description 1
- 239000003337 fertilizer Substances 0.000 description 1
- 235000021021 grapes Nutrition 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000007665 sagging Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Mathematical Physics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
본 발명은 과수원 자율주행 차량의 학습 및 경로 설정에 있어서, 나무 줄기를 검출하여 경로를 설정하고 검출 알고리즘을 스스로 학습하는 방법 및 시스템에 관한 것으로, 더욱 상세하게는 관심영역의 세그먼트의 최저점 검출 및 학습 방법 및 시스템에 관한 것으로, 자율주행 차량의 영상처리부가 상기 자율주행 차량 주변 환경의 영상을 획득해 변환하는 단계; 변환된 상기 영상에서 나무 줄기의 위치를 결정하는 단계; 및 상기 나무 줄기의 위치에 따른 상기 자율주행 차량의 주행 경로를 설정하는 단계;를 포함하는 구성을 개시한다.
Description
본 발명은 과수원 자율주행 차량의 학습 및 경로 설정에 있어서, 나무 줄기를 검출하여 경로를 설정하고 검출 알고리즘을 스스로 학습하는 방법 및 시스템에 관한 것으로, 더욱 상세하게는 관심영역의 세그먼트의 최저점 검출 및 학습 방법 및 시스템에 관한 것이다.
쌀 재배와 같은 농업이 기원전 10,000 년 전부터 시작되었다고 한다. 그 후, 문명은 농업을 기반으로 시작되었고 농업 기술은 요즘 인류 역사상으로 발전했다. 농업은 점차 집중화되어 가고 있으며 첨단 기술의 사용으로 발전하고 있다. 농업은 인간 활동과 사회의 유지를 위한 필수 조건이다. 전 세계의 정부는 농업 기술 개발에 대한 투자를 늘리고 있으며, 민간 부문의 지출은 공공 부문 지출을 따라 잡고 있다. 보다 풍부하고 도시화 된 미래의 인구에게 먹이를 주는 높은 수준의 생산성을 달성하려면 농업 연구 및 개발에 상당한 투자가 필요하다. 이러한 추세의 일부로 스마트 농업과 정밀 농업에 대한 관심이 증가하고 있다. 정밀 농업은 정보 통신 기술 (ICT), 센서 기술, 정보 처리 기술 및 가변 시비 기술을 통한 환경 친화적인 농업 기술을 이용하여 농기계의 자동화를 통해 농작물 및 작물 간격 영역의 예측 가능성을 높일 수 있다.
정밀 농업의 기본 개념은 "적시에 올바른 장소에서 올바른 처우를 적용"하는 것으로 정의된다. 수확량과 품질의 차이는 농지 위치에 따른 토양 특성과 작물 성장 특성의 차이 때문이다. 다시 말해, 정밀 농업은 더 넓은 지역에서 균일 한 농업 작업을 수행하는 기계화된 농업과 달리 작은 지역의 위치 특성에 적합한 변형된 처방에 기반한 정보화 농업을 의미한다. 이를 실현하기 위해 센서 기술, ICT 기술, 정보 관리 등 다양한 기술이 통합되어있어 노동력이 적으면서도 생산성이 보장된다.
정밀 농업의 개발은 과수원 작물을 재배하고 수확하는 새로운 방법을 제공한다. 특히 과수원 농업 로봇 기술을 사용하면 정기적인 정량 분사뿐만 아니라 과수원 관개가 가능 해져 농부의 작업량이 감소하고 생산성이 향상된다. 결과적으로, 농민들은 농약, 화학 비료 및 기타 자원의 과도한 사용을 피할 수 있고 환경 오염을 예방할 수 있다. 이러한 과수원 농산물 로봇을 사용하면 고품질의 사과, 포도 및 다른 과일을 생산할 수 있다. 전형적인 과수원 농장 로봇의 개발을 위한 기본 기술은 위치 인식 기술이다. 특히 사과 과수원의 경우 야외 자연 환경이며 사과 나무는 곧은 평행선으로 심어져 있고 두 줄의 줄 사이의 거리는 거의 동일하며 한 줄의 각 줄 사이의 거리도 거의 비슷하다. 따라서 이동 로봇의 위치 인식 및 이동 경로 생성에 적합하다. 그러나 식재 장소는 정확하지 않다. 따라서 과수원 이동 로봇의 현지화를 위해서는 나무 인식이 필요하다. 또한, 나무의 형상이 다양하기 때문에, 나무를 정확하게 검출하고 위치 정보를 얻는 것이 어렵다. 이러한 이유 때문에 야외 사과 과수원 환경은 일반적으로 반 구조화된 환경이라고 한다.
최근 과수원을 위한 이동 로봇 연구자들은 과수원에서 정밀 농업을 실현하기 위한 SLAM (synchronized localization and mapping) 방법을 적용했다. SLAM이 적용될 때 반 구조화 과수원 환경에서 나무의 위치는 SLAM의 지표로 사용될 수 있으며 자율 이동을 위한 위치 파악 및 검색 경로에 대한 정보를 제공하는 데 사용될 수 있다. 하지만, 이러한 기술에도 불구하고 과수원 환경에서 나무 줄기를 정확하게 식별하고 위치를 결정하는 것은 여전히 어렵다.
도 1은 과수원 영상의 모호한 영역의 예시이다.
도 1을 참조하면, 과수원 환경에서의 나무 줄기 인식 기술은 과수원의 정밀 농업과 자율 주행 및 이동 로봇의 자율 작동을 위한 매우 중요한 기술이다. 사과 나무의 경우 가지가 낮아서 줄기의 길이가 짧고, 가지와 잎은 도 1과 같이 줄기를 시각적으로 가리는 경우가 많다. 또한 과수원 잡초는 줄기를 덮는다 땅은 불규칙하게 토양과 잡초로 구성되어 있으며 바닥 패턴이 고르지 않은 경우가 많다. 이러한 이유로 머신 비전을 사용하여 나무 줄기를 기반으로 이동 경로를 결정하는 것이 더욱 어려워진다.
따라서, 본 발명은 상기한 바와 같은 문제점을 해결하기 위한 것으로서, 나무 줄기를 인식하는 알고리즘과 사과 과수원에서 무인 지상 차량 (UGV)이 이동할 수 있는 경로를 생성하는 방법을 개시한다. 나무 줄기의 가장 낮은 점을 검출하기 위해 베이지안 분류를 적용하고 이러한 점들을 연결하여 자유 공간을 추출하면 중심선이 생성한다. 트렁크 검출을 위해 단안 근적외선 (NIR) 카메라 이미지를 나무 줄기를 포함하는 밝기 영역과 다른 영역으로 나누어 진 이진 영상으로 변환한다. 나무 줄기를 포함하는 세그먼트의 가장 낮은 지점이 감지되었고 나무 줄기의 가장 낮은 지점은 순진한 베이지안 확률을 적용하여 결정되었다. 탐지된 나무 줄기의 가장 낮은 지점은 선형 회귀 분석을 사용하여 과수원 골목의 자유 공간 중심선을 추정하는 데 사용되었으며, 골목의 중심선은 UGV의 이동 경로 또는 탐색 정보로 사용할 수 있다.
상기한 문제를 해결하기 위한 본 발명의 일 실시 예에 따른 줄기 검출을 이용한 과수원 자율주행 차량의 경로 설정 방법은 자율주행 차량의 영상처리부가 상기 자율주행 차량 주변 환경의 영상을 획득해 변환하는 단계; 변환된 상기 영상에서 나무 줄기의 위치를 결정하는 단계; 및 상기 나무 줄기의 위치에 따른 상기 자율주행 차량의 주행 경로를 설정하는 단계;를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 영상 변환 단계는, 상기 영상의 장애물 및 배경을 구분하는 흑백 영상으로 변환하는 단계;를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 결정 단계는, 상기 장애물의 최저점을 검출하는 단계; 및 상기 최저점 중 나무 줄기의 최저점을 검출하는 단계;를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 최저점 검출 단계는, LL비(세그먼트의 로컬 최저점과 로컬 최고점의 비) 및 x-y비(상기 로컬 최저점의 x 및 y 값의 비)를 획득하는 단계; 상기 LL비 및 x-y비의 베이지안 분류에 따른 나무 줄기 해당 확률을 연산하는 단계; 및 상기 확률에 따른 나무 줄기의 최하점을 검출하는 단계;를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 최저점 검출 단계는, 상기 나무 줄기 최하점 검출 결과를 이용해 재학습하는 단계;를 더 포함할 수 있다.
상기한 문제를 해결하기 위한 본 발명의 일 실시 예에 따른 줄기 검출을 이용한 과수원 자율주행 차량의 경로 설정 시스템은 자율주행 차량의 영상처리부가 상기 자율주행 차량 주변 환경의 영상을 획득해 변환하는 영상처리부; 변환된 상기 영상에서 나무 줄기의 위치를 결정하는 줄기검출부; 및 상기 나무 줄기의 위치에 따른 상기 자율주행 차량의 주행 경로를 설정하는 경로설정부;를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 영상처리부는, 상기 영상의 장애물 및 배경을 구분하는 흑백 영상으로 변환할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 줄기검출부는, 상기 장애물의 최저점을 검출하고, 상기 최저점 중 나무 줄기의 최저점을 검출할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 줄기검출부는, LL비(세그먼트의 로컬 최저점과 로컬 최고점의 비) 및 x-y비(상기 로컬 최저점의 x 및 y 값의 비)를 획득하고, 상기 LL비 및 x-y비의 베이지안 분류에 따른 나무 줄기 해당 확률을 연산하고, 상기 확률에 따른 나무 줄기의 최하점을 검출할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 줄기검출부는, 상기 나무 줄기 최하점 검출 결과를 이용해 재학습할 수 있다.
본 발명에 따르면, 기존의 방법보다 더 정확하게 과수원에 위치하는 나무의 위치를 파악할 수 있다.
또한, 반복적인 학습을 통해 획득한 영상에서 나무 줄기의 하부를 검출하는 정확도를 향상시킬 수 있다.
한편, 본 발명의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 효과들이 포함될 수 있다.
도 1은 과수원 영상의 모호한 영역의 예시이다.
도 2는 본 발명의 일 실시 예에 따른 줄기 검출을 이용한 과수원 자율주행 차량의 경로 설정 시스템의 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 반 구조화된 환경 및 카메라의 각도의 일 예시이다.
도 4는 본 발명의 일 실시 예에 따른 과수원 자율주행 차량의 경로 설정 시스템 및 영상처리부가 획득하는 영상의 일 예시이다.
도 5는 본 발명의 일 실시 예에 따른 줄기 검출을 위한 LL비 및 x-y비를 이용한 줄기 위치 학습방법의 알고리즘도이다.
도 6는 본 발명의 일 실시 예에 따른 변환된 흑백 이미지 및 선택된 관심영역의 일 예시이다.
도 7은 본 발명의 일 실시 예에 따른 관심 영역에서의 나무 줄기 최저점의 추출 결과이다.
도 8은 본 발명의 일 실시 예에 따른 690 훈련 데이터 세트 포인트의 분포 특성 그래프이다.
도 9는 본 발명의 일 실시 예에 따른 690 훈련 데이터 세트 포인트에 대한 각 클래스의 평균 및 분산 값이다.
도 10은 본 발명의 일 실시 예에 따른 줄기 검출을 이용한 과수원 자율주행 차량의 경로 설정 방법의 알고리즘도이다.
도 11은 본 발명의 일 실시 예에 따른 예상되는 두 개의 경계 노란색 라인과 골목 중앙 레드 라인이다.
도 12는 전방 위치 매핑을위한 그리드 패턴 이미지 이다.
도 13은 수동 결정과 MV 지원 결정의 비교이다.
도 14는 본 발명의 일 실시 예에 따른 다음 목표 지점의 조향 각도이다.
도 15는 본 발명의 일 실시 예에 따른 순차적 229 이미지의 특성이다.
도 16은 본 발명의 일 실시 예에 따른 줄기 검출을 이용한 과수원 자율주행 차량의 경로 설정 방법의 흐름도이다.
도 2는 본 발명의 일 실시 예에 따른 줄기 검출을 이용한 과수원 자율주행 차량의 경로 설정 시스템의 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 반 구조화된 환경 및 카메라의 각도의 일 예시이다.
도 4는 본 발명의 일 실시 예에 따른 과수원 자율주행 차량의 경로 설정 시스템 및 영상처리부가 획득하는 영상의 일 예시이다.
도 5는 본 발명의 일 실시 예에 따른 줄기 검출을 위한 LL비 및 x-y비를 이용한 줄기 위치 학습방법의 알고리즘도이다.
도 6는 본 발명의 일 실시 예에 따른 변환된 흑백 이미지 및 선택된 관심영역의 일 예시이다.
도 7은 본 발명의 일 실시 예에 따른 관심 영역에서의 나무 줄기 최저점의 추출 결과이다.
도 8은 본 발명의 일 실시 예에 따른 690 훈련 데이터 세트 포인트의 분포 특성 그래프이다.
도 9는 본 발명의 일 실시 예에 따른 690 훈련 데이터 세트 포인트에 대한 각 클래스의 평균 및 분산 값이다.
도 10은 본 발명의 일 실시 예에 따른 줄기 검출을 이용한 과수원 자율주행 차량의 경로 설정 방법의 알고리즘도이다.
도 11은 본 발명의 일 실시 예에 따른 예상되는 두 개의 경계 노란색 라인과 골목 중앙 레드 라인이다.
도 12는 전방 위치 매핑을위한 그리드 패턴 이미지 이다.
도 13은 수동 결정과 MV 지원 결정의 비교이다.
도 14는 본 발명의 일 실시 예에 따른 다음 목표 지점의 조향 각도이다.
도 15는 본 발명의 일 실시 예에 따른 순차적 229 이미지의 특성이다.
도 16은 본 발명의 일 실시 예에 따른 줄기 검출을 이용한 과수원 자율주행 차량의 경로 설정 방법의 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 '줄기 검출을 이용한 과수원 자율주행 차량의 경로 설정 방법 및 시스템'을 상세하게 설명한다. 설명하는 실시 예들은 본 발명의 기술 사상을 당업자가 용이하게 이해할 수 있도록 제공되는 것으로 이에 의해 본 발명이 한정되지 않는다. 또한, 첨부된 도면에 표현된 사항들은 본 발명의 실시 예들을 쉽게 설명하기 위해 도식화된 도면으로 실제로 구현되는 형태와 상이할 수 있다.
한편, 이하에서 표현되는 각 구성부는 본 발명을 구현하기 위한 예일 뿐이다. 따라서, 본 발명의 다른 구현에서는 본 발명의 사상 및 범위를 벗어나지 않는 범위에서 다른 구성부가 사용될 수 있다.
또한, 각 구성부는 순전히 하드웨어 또는 소프트웨어의 구성만으로 구현될 수도 있지만, 동일 기능을 수행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합으로 구현될 수도 있다. 또한, 하나의 하드웨어 또는 소프트웨어에 의해 둘 이상의 구성부들이 함께 구현될 수도 있다.
또한, 어떤 구성요소들을 '포함'한다는 표현은, '개방형'의 표현으로서 해당 구성요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성요소들을 배제하는 것으로 이해되어서는 안 된다.
도 2는 본 발명의 일 실시 예에 따른 줄기 검출을 이용한 과수원 자율주행 차량의 경로 설정 시스템의 블록도이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 줄기 검출을 이용한 과수원 자율주행 차량의 경로 설정 시스템은 영상처리부(210), 줄기검출부(220) 및 경로설정부(230)를 포함할 수 있다.
상기 영상처리부(210)는 자율주행 차량의 주변 환경의 영상(이후 언급되는 '영상'과 동일하게 인식될 수 있다.)을 획득할 수 있다. 상기 영상처리부(210)는 상기 자율주행 차량의 진행 방향 또는 진행하려는 방향의 주변 환경의 영상을 획득할 수 있다. 상기 영상처리부(210)는 획득한 상기 영상을 변환할 수 있다. 상기 영상처리부(210)는 획득한 상기 영상을 흑백 영상으로 변환할 수 있다. 상기 영상처리부(210)는 상기 영상을 변환하면서 장애물과 장애물 외의 부분이 구분되도록 변환할 수 있다. 상기 영상처리부(210)는 상기 영상에서 장애물을 흰색 또는 검은색으로 변환하고, 장애물 외의 부분을 검은색 또는 흰색으로 변환할 수 있다. 상기 영상처리부(210)는 독립된 장애물을 각각 세그먼트로 인식할 수 있다. 즉 하나의 폐쇄된 영역을 가지는 장애물을 각각 하나의 세그먼트로 인식할 수 있다. 상기 영상처리부(210)는 상기 영상의 세그먼트가 구분될 수 있도록 표시할 수 있다. 상기 영상처리부(210)는 상기 영상을 장애물의 위치가 세그먼트로 표시되도록 변환할 수 있다. 상기 영상처리부(210)는는 CMOS 이미지 센서 카메라, 근적외선(NIR) 카메라를 포함할 수 있다.
상기 줄기검출부(220)는 상기 영상처리부(210)에서 획득한 상기 영상 또는 변환된 상기 영상을 이용해 나무 줄기를 검출할 수 있다. 상기 줄기검출부(220)는 상기 영상 또는 변환된 상기 영상의 세그먼트에 최저점을 검출할 수 있다. 상기 줄기검출부(220)는 상기 영상 또는 변환된 상기 영상에서 상기 장애물의 최저점을 검출할 수 있다. 상기 줄기검출부(220)는 상기 영상 또는 변환된 상기 영상의 검출된 상기 최저점 중 나무 줄기의 최저점을 검출할 수 있다. 상기 줄기검출부(220)는 인공지능이 스스로 나무 줄기의 최저점을 검출할 수 있다. 상기 줄기검출부(220)는 검출된 상기 나무 줄기의 최저점을 이용해 나무의 위치를 검출할 수 있다. 상기 줄기검출부(220)는 베이지안 분류를 통해 상기 나무 줄기의 최하점을 검출할 수 있다. 상기 줄기검출부(220)는 각각의 세그먼트의 LL비(세그먼트의 로컬 최저점과 로컬 최고점의 비) 및 x-y비(상기 로컬 최저점의 x 및 y 값의 비)를 획득할 수 있다. 상기 줄기검출부(220)는 상기 LL비 및 x-y비의 베이지안 분류에 따른 나무 줄기 해당 확률을 연산할 수 있다. 상기 줄기검출부(220)는 상기 확률에 따른 나무 줄기의 최하점을 검출할 수 있다. 상기 줄기검출부(220)는 상기 나무 줄기 최하점 검출 결과를 이용해 재학습하여 나무 줄기 검출 청확도를 높일 수 있다. 상기 줄기검출부(220)는 복수의 과수원 영상을 포함하는 데이터 세트를 이용해 학습될 수 있다. 상기 줄기검출부(220)는 학습 결과를 이용해 상기 영상에 위치하는 나무 줄기의 최하점을 검출하고 나무의 위치를 검출할 수 있다. 상기 줄기검출부(220)는 상기 영상에서 나무 줄기를 검출한 결과를 학습할 수 있다.
상기 경로설정부(230)는 검출된 상기 나무의 위치 또는 나무 줄기의 최저점을 이용해 상기 자율주행 차량의 주행 경로를 설정할 수 있다. 상기 경로설정부(230)는 상기 나무의 위치들을 연결하는 복수의 직선 사이를 주행 경로로 설정할 수 있다. 상기 경로설정부(230)는 상기 나무의 위치들을 연결하는 복수의 직선의 중앙을 주행 경로로 설정하고 표시할 수 있다. 상기 경로설정부(230)는 상기 나무의 위치들을 연결하는 복수의 직선을 상기 주행 경로와 구분되도록 표시할 수 있다. 즉, 상이한 색으로 표시하거나 구분되는 외형의 선으로 표시할 수 있다. 상기 경로설정부(230)는 설정된 경로로 상기 자율주행 차량이 이동하게 할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 반 구조화된 환경 및 카메라의 각도의 일 예시이고, 도 4는 본 발명의 일 실시 예에 따른 과수원 자율주행 차량의 경로 설정 시스템 및 영상처리부가 획득하는 영상의 일 예시이다.
도 3 및 도 4를 참조하면, 반 구조화 사과 과수원은 전형적인 옥외 자연 사과 과수원 환경일 수 있지만 자가 운전 농기구가 운행하기에는 좋은 상태가 아니다. 나무는 약 1 ~ 4m 간격으로 직선 줄에 심어져 있을 수 있고, 두 개의 직선 줄 사이의 거리는 약 4-8m일 수 있다. 그러나 동일한 과수원 내에서도 나무의 간격과 줄 간격은 일정하지 않지만 수십 센티미터 정도 다를 수 있다. 나무의 줄기는 때로는 많은 잡초로 덮어질 수 있며, 때로는 도 1에서와 같이 처진 가지와 잎으로 덮여 있다. 과수원 땅은 잡초가 자라는 지역과 토양이 밝혀진 지역에 따라 다양한 패턴을 가지고 있다. 상기한 이러한 조건은 머신 비전(MV) 방법을 사용하는 자율 주행 농기계의 탐색 경로를 이미지를 기반으로 예측하기 어렵게 만든다.
도 3에서 볼 수 있듯이 일반적으로 SLAM(simultaneous localization and mapping) 또는 이미지 수집을 위한 정보 수집 수단과 같은 자율 주행 장비는 차량이 실제 과수원의 나무 두 줄 사이를 이동해야 한다.
사과 과수원 환경의 근적외선 이미지를 얻기 위한 본 발명의 일 실시 예에 따른 과수원 자율주행 차량의 경로 설정 시스템은 CMOS 이미지 센서 (CIS) 카메라로 도 3과 도 4a와 같이 구성될 수 있다. 카트 길이와 너비는 각각 1.0m와 0.8m이며 가시 파장 카메라와 근적외선(NIR) 카메라의 3 가지 유형을 사용하여 적색, 녹색 및 청색 (RGB) 이미지와 다중 파장 대역 근적외선 이미지를 수집 할 수 있다. 상기 자율주행 차량은 또한 전원 공급 장치, 모터 구동 장치, 다중 파동 카메라, 카메라 각도를 제어하는 짐벌 및 이미지 캡처 프로그램용 컴퓨터를 포함할 수 있다. 이미지 캡처 프로그램은 LabVIEW를 사용하여 개발될 수 있다. 포착된 근적외선 이미지는 도 4b와 같을 수 있다. 과수원 환경에서 근적외선 이미지의 특징은 나뭇잎, 잡초, 구름, 하늘이 밝게 보인다. 반면에 나무 줄기, 가지 및 토양은 비교적 어둡다. 본 발명의 일 실시 예에 사용 된 근적외선(NIR) 카메라는 750-850 nm 통과 NIR 필터를 포함할 수 있다. 근적외선(NIR) 활성 광선을 750-850 nm에서 사용하여 야간에 여유 공간을 예측할 수 있다. 카메라의 광축이 사과 과수원의 지표면과 항상 평행하도록 짐벌(gimbal)를 사용하여 카메라 경사각(θ)과 롤각을 항상 "0도"로 설정될 수 있다. 본 발명의 일 실시 예에 따르면, 카메라의 수평각 (ah) 범위는 110도, 수직 각도 (av) 범위는 100도, 이미지 해상도는 320-240 일 수 있다. 카메라는 표면에서 1m 높이에 설치되었다. 본 발명의 일 실시 예에서 과수원에서 농업 작업을 위한 자율 이동 장비의 속도가 3.6 km / h라고 가정했다. 이미지 수집은 25 cm 간격으로 수행되었다. 3.6 km/h 속도 조건에서 25 cm 간격으로 이미지를 수집하는 것은 초당 4 프레임을 의미한다. 또한 고성능뿐만 아니라 로우 엔드 컴퓨터 프로세스에서도 초당 320 ~ 240 그레이 스케일 이미지 4 개를 처리 할 수 있다. 3.6km / h의 속도로 주행하는 농업 자치 장비는 갑자기 예기치 않은 상황에 빠지면 즉시 중단 될 수 있다. 25cm마다 상황을 업데이트하고 확인함으로써 농업 자치기구의 자율적 인 농업 운영, 장애물 탐지 및 여행 경로를 확보할 수 있다.
나이브 베이지안(Naive Bayes) 분류는 베이지안 정리를 적용하는 확률 론적 분류기의 일종으로, 클래스 속성간에 상호 독립성이 있다고 가정하고 1950 년대 이래로 기계 학습 분야에서 광범위하게 연구되어왔다. 통계 및 컴퓨터 과학 분야에서, 나이브 베이지안 분류기는 텍스트 분류에 사용되고 있으며 스팸, 스포츠 또는 정치와 같은 여러 범주 중 하나로서 문서를 판단하는 대중적인 방법으로 사용되고 있다. 디자인과 단순화된 가정에도 불구하고 나이브 베이지안 분류기는 많은 복잡한 실제 상황에서 상당히 잘 작동하는 것으로 알려져 있다. 감독 학습 설정에서 나이브 베이지안 분류는 분류에 필요한 매개 변수를 결정하거나 매개 변수를 추정하기 위해 소수의 교육 데이터만 필요로 한다. 많은 실제 응용에서, 나이브 베이즈 모델의 파라미터 추정은 베이지안 확률 또는 베이지안 방법을 사용하지 않는 비전문가에게 적용 할 수있는 MLE(maximum likelihood estimation)를 사용한다. 나이브 베이지안 분류의 기본 가정은 각 클래스 내의 속성 값이 가우스 분포를 나타낼 것이라는 점이다. 즉, 각 클래스의 속성은 평균 및 표준 편차와 같은 속성 값으로 나타낼 수 있으며 관측 확률은 이러한 가우스 정규 분포를 사용하여 효율적으로 계산할 수 있다. 가우시안 정규 분포 우도 모델은 특히 샘플 데이터가 모두 실수이고 클래스의 데이터가 정규 분포를 나타내면 나이브 베이지안 분류 모델 중에서 사용할 수 있는 것으로 알려져 있다. 나이브 베이지안 모델은 다음과 같이 정규 분포 (또는 가우시안 분포)에 대한 확률 밀도 함수인 수학식 1로 표현 될 수 있다
[수학식 1]
여기서, C는 인스턴스의 클래스를 나타내고, x는 특정 관찰 된 속성 값을 나타내며, m은 클래스 C와 연관된 값의 평균이고, s는 분산을 나타낸다.
도 5는 본 발명의 일 실시 예에 따른 줄기 검출을 위한 LL비 및 x-y비를 이용한 줄기 위치 학습방법의 알고리즘도이다.
본 발명의 일 실시 예에서는 과수원의 자율 작업 장치의 주행 경로를 생성하기 위해 골목 중앙선을 탐지한다. 이를 위해 나무 줄기의 가장 낮은 지점을 감지해야 하며, 이 지점을 연결하여 나무의 줄기를 찾아야 하며 골목의 중심선을 순서대로 계산해야 한다. 이 과정에서 가장 중요하고 어려운 단계는 나무 줄기의 가장 낮은 지점을 감지하는 것이다. 나이브 베이지안 확률은이 본 발명에서 골목 중심선 탐지 알고리즘 중 나무 줄기의 가장 낮은 지점의 탐지 단계에 적용된다. 나이브 베이지안 분류를 적용하려면 나이브 베이지안 분류자를 훈련해야 한다. 훈련 과정은 도 5에 설명되어있다. 과수원 이미지에서 기본 이미지 전처리 방법에 해당하는 흐림, 부식 및 확장을 포함한 형태 이미지 전처리가 수행되어 이진 이미지로 변환되었다. 도 5를 참조하면, 줄기 검출을 이용한 과수원 자율주행 차량의 경로 설정 방법은 이미지 데이터 세트를 이용해 학습하고, 학습 결과를 이용해 나무 줄기의 최저점을 검출해 나무의 위치를 검출할 수 있다. 획득한 영상을 적응적으로 흑백으로 변환하며 복수의 장애물의 위치를 세그멘테이션 하고, 영상의 관심영역(ROI)를 설정하고, 각 세그먼트의 LLPs(Local Lowest Point)를 검출하고, 각 세그먼트의 LLP에 기반해 LTPs(Local Top Point)를 검출할 수 있다. 상기 LLP 및 LTP를 이용해 LL비(세그먼트의 로컬 최저점과 로컬 최고점의 비) 및 x-y비(상기 로컬 최저점의 x 및 y 값의 비)를 연산할 수 있다. 이후 상기 LL비(세그먼트의 로컬 최저점과 로컬 최고점의 비) 및 x-y비(상기 로컬 최저점의 x 및 y 값의 비)를 파라미터로 하여 세그먼트의 최저점들 중 나무 줄기의 최저점을 검출할 수 있다. 이후 나무 줄기의 최저점 검출 결과를 이용해 학습을 수행할 수 있다.
도 6는 본 발명의 일 실시 예에 따른 변환된 흑백 이미지 및 선택된 관심영역의 일 예시이고, 도 7은 본 발명의 일 실시 예에 따른 관심 영역에서의 나무 줄기 최저점의 추출 결과이다.
도 6 및 도 7을 참조하면, 이진 이미지에서 나무 줄기를 포함하는 백색 영역과 잡초, 잎 및 하늘을 포함하는 흑색 영역이 시각적으로 구별 가능하다. 그러나, 그것은 많은 소음을 포함한다. 첫 번째 단계로 변환 된 이진 이미지를 사용하여 도 7와 같이 로컬 세그먼트의 가장 낮은 지점을 추출한다. 추출된 점들은 (국소 최저) LL비와 x-y비 값으로 변환되고, 학습은 나이브 베이지안 분류기를 완성하기 위해 수행된다. LL 비율은 LLP (로컬 최저점)의 y 값과 LTP (로컬 최고점) 점 사이의 거리 값의 비율로 정의될 수 있다. 여기서 LLP는 흰색 세그먼트와 검정색 배경 사이의 로컬 최하위 경계 지점으로 정의되며 LTP는 동일한 세그먼트 영역에서 LLP 위에있는 가장 먼 지점으로 정의될 수 있다. x-y 비율은 LLP 지점의 x 값과 y 값의 비율로 정의될 수 있다. 본 발명의 일 실시 예에서 학습을 위한 데이터 세트는 사과 과수원에서 가져와 36 개의 이미지가 모두 사용되었다. 이진 이미지에서 추출한 데이터 세트 포인트 (세그먼트의 가장 낮은 포인트) 수는 246 개의 나무 줄기 포인트와 444 개의 나무줄기가 아닌 포인트를 포함하여 690 개의 포인터였다. 카메라의 기울기 및 롤 각도가 설정되면 누락된 선의 위치가 이미지에서 고정된다. 따라서 본 발명의 일 실시 예에서는 나무 줄기가 존재하는 영역인 누락선 아래 주요 영역에 관심 영역 (ROI)을 설정하고 ROI의 나머지 단계를 진행한다.
도 8은 본 발명의 일 실시 예에 따른 690 훈련 데이터 세트 포인트의 분포 특성 그래프이다.
도 8을 참조하면, 나이브 베이지안 분류기를 적용하는 일반적인 가정은 각 클래스의 속성을 나타내는 샘플 값의 분포가 가우스 분포를 나타내야 한다는 것이다. 그러므로, LL 비율과 x-y 비율은 나이브 베이지안 분류를 사용하여 분류하기 위해 가우스 분포가 되어야 한다. 상기한 추출된 690 개의 학습 데이터 세트 포인트의 분포가 도 8에 나와 있으며 4 개의 그래프는 각 클래스에 대한이 데이터 세트의 가우스 분포를 보여줍니다. 도 8a, 8b는 각각 나무 줄기 포인트 및 다른 노이즈 포인트에 대한 LL 비 값의 분포를 도시한다. 같은 방식으로, 도 8c, 8d는 각각 나무줄기 포인트와 다른 노이즈 포인트에 대한 x-y 비율 값의 분포를 보여준다. 도 8a, c는 대칭 가우스 분포를 도시하고, 도 8b, d는 비대칭 특성을 도시한다. 그러나 본 발명에서는 간선 점 데이터의 가깝게 비교되는 데이터 분포 특성이 가우시안 분포 형태라는 점을 감안하여 가우시안 분포를 약간의 오차로 모델링 했다. 일반적으로 각 클래스에 대해 가우스 분포가 표시되므로 나이브 베이지안 분류를 적용한다.
도 9는 본 발명의 일 실시 예에 따른 690 훈련 데이터 세트 포인트에 대한 각 클래스의 평균 및 분산 값이다.
각 클래스의 평균 및 분산은 도 9에 요약되어있다. 나무 줄기 포인트에 대한 LL 비율의 평균값은 0.415이고, 분산은 0.023이고, x-y 비율에 대한 평균 값은 2.505이고, 분산은 1.49이다. 반면, 비 나무 줄기 포인트의 LL 비의 평균값은 0.144, 분산은 0.011, x-y 비의 평균값은 1.64, 분산은 0.896이었다. 이 결과는 본 발명에서 각 나무 줄기의 최저점을 추출하기 위한 나이브 베이지안 분류기의 특성으로 사용된다.
상기 수학식 1은 각 클래스의 한 클래스의 특성 (예를 들어, 나무 줄기 포인트 및 비 나무 줄기 포인트)에 대한 사후 확률을 찾는 모델이다. 그러나 본 발명에서는 추정 결과의 정확도를 높이기 위해 LL 비율과 x-y 비율의 두 가지 유형이 적용된다. 분류될 문제 인스턴스가 x1과 x2이고이 두 인스턴스 피처가 서로 독립적 인 경우, 이 인스턴스에 클래스 변수 C를 할당하는 사후 확률은 수학식 2와 같이 나타낼 수 있다.
[수학식 2]
도 10은 본 발명의 일 실시 예에 따른 줄기 검출을 이용한 과수원 자율주행 차량의 경로 설정 방법의 알고리즘도이다.
도 10을 참조하면, 본 발명에서는 트렁크 포인트 및 기타 잡음 클래스에 해당하는 클래스를 분류한다. 나이브 베이지안 분류기를 사용하여 나무 줄기의 가장 낮은 지점을 검출하는 프로세스 블록 다이어그램이 도 10에 나와 있다. 트렁크의 가장 낮은 지점을 검출하기 위해 블러링, 부식 및 확장과 같은 형태 학적 이미지 전처리가 사과 과수원은 훈련 분류 프로세스와 유사하며 이진 이미지로 변환된다. 다음으로, LL 비율과 x-y 비율은 메인 나무 줄기 영역 ROI 내의 영역에서 얻어졌다. 수학식 2에서, 분류를 요구하는 인스턴스 x1 및 x2는 LL 비율 및 x-y 비율이다. 또한 나무 줄기 포인트와 비 나무 줄기 포인트는 각 클래스에 해당한다. 형태학적 이미지 전처리를 거친 이미지에는 LLP 포인트가 많이 포함된다. 각 LLP 포인트는 나무 줄기 포인트 클래스 또는 비 나무 줄기 포인트 클래스로 분류 될 수 있다. 본 발명에서는 수학식 2를 사용하여 각 LLP 포인트가 나무 줄기 포인트 클래스 또는 비 나무 줄기 포인트 클래스로 분류될 확률을 계산하고 확률을 더 큰 확률 클래스로 최종 분류와 비교한다.
도 11은 본 발명의 일 실시 예에 따른 예상되는 두 개의 경계 노란색 라인과 골목 중앙 레드 라인이다.
도 11을 참조하면, 골목의 중심선을 추정하기 위해 이미지의 모든 LLP 포인트를 대상으로 하는 나무 줄기 클래스와 비 나무 줄기 클래스의 분류가 완료되면 줄기 클래스로 분류된 점에 대해 최소 제곱법을 사용하여 선형 회귀선을 계산한다.. 전형적인 과수원 환경에서 우리는 과수원 골목의 경계선을 각각 왼쪽과 오른쪽으로 얻을 수 있다. 두 경계선은 도 11에서 두 개의 노란색 선으로 표시된다. 마지막으로 이 두 경계를 이용하여 과수원 골목 중앙선을 계산하고 도 11에서 골목 중앙을 빨간색 선으로 표시 하였다. 본 발명의 일 실시 예에서는 나이브 베이지안 분류기 훈련에서 사용 된 36 개의 이미지를 포함하여 229 장의 사진에 대해 과수원 중심선 탐지 실험을 수행했다.
도 12는 전방 위치 매핑을위한 그리드 패턴 이미지 이고, 도 13은 수동 결정과 MV 지원 결정의 비교이다.
도 12 및 도 13을 참조하면, 무인 지상 차량(UGV)을 움직이는 가장 간단한 방법은 자율 주행 운전을 수행하는 방법으로 현재 기준점에서 다음 관심 지점으로의 조향 제어를 이용하는 것이다. 이 때, 현재 위치와 목표 위치와의 위치 관계를 나타내는 파라미터를 이해하는 것이 중요하다. 본 발명의 알고리즘을 통해 감지된 중심선상의 한 지점은 UGV 이동을 위한 다음 시점의 목표 지점이다. UGV 및 목표 지점의 현재 위치와 관련된 변수는 다음의 프로세서 변수로 사용될 수 있다. 따라서, 본 발명에서는 다음 목표 지점인 나무가 배열된 공간의 중심을 나타내는 골목 중심선을 계산했다. 그 후, 골목 중심선에서 3m 앞쪽에 위치한 목표 지점과 목표 조향각은 사후 처리를 통해 계산된다. 3m 앞의 영상에서 위치를 결정하기 위해 도 12와 같은 그리드 영상 실험을 수행 하였다. 위에서 설명한 것처럼 카메라 경사각(θ)과 롤 각은 0으로 고정되어 카메라는 항상 땅에 평행했다. 이 조건에서 획득한 이미지의 특정 y 축 위치는 정면의 특정 거리와 일치한다. 정확한 위치는 새의 눈 이미지(bird's eye image)로의 변환을 통해 결정될 수 있지만, 알고리즘의 복잡성을 최소화하기 위해 약간의 오차를 허용했다. 도 9a-c에 도시 된 바와 같이, 목표 조향각 (
)은 UGV의 현재 지점에 기초하여 3m 전방의 다음 지점으로 이동하기 위한 조향각을 나타낸다. 수동 결정 지점과 MV 지원 결정 지점은 각 선의 3m 지점을 가리킨다. 본 발명의 일 실시 예에서 사용된 과수원 연속 이미지는 0.25m 간격으로 수집되었으며 229 개의 이미지가 수집되어 57.25m 골목길에 해당되었다. 우리는 본 발명의 일 실시 예에 따른 알고리즘에 의해 추출 된 MV 보조 중심선을 육안으로 결정된 수동 중심선과 비교하여 평가했다.
도 14는 본 발명의 일 실시 예에 따른 다음 목표 지점의 조향 각도이고, 도 15는 본 발명의 일 실시 예에 따른 순차적 229 이미지의 특성이다.
도 14 및 도 15를 참조하면, 수동 결정 중심선과 MV 지원 결정 중심선의 특성을 정량적으로 비교하기 위해 각 중심선보다 3m 앞선 지점을 기준으로 각 조향각을 계산했다. 목표 지점이 현재 카메라 방향 선을 기준으로 왼쪽에 위치하면 음의 스티어링 각도 값으로 표시되고 오른쪽은 양수 값으로 표시된다. 229 이미지의 결과가 도 14에 나와 있습니다. 그래프를 통해 수동 중심선 및 MV 지원 중심선의 점을 기준으로 약 57m를 이동하면서 목표 조향각의 변화를 비교할 수 있다. MV 중심의 중심선을 기준으로 한 조향각의 변화는 수동 중심선을 기반으로 한 변화보다 단조롭고 비교적 안정적인 조향 변동을 필요로 함을 알 수 있다.
최대 229 개의 조향각, 최대 좌, 최대 우측, 표준 편차 및 제로 크로싱 수를 추출하여 도 15에 나타내었다. MV- 보조 중심선 및 수동 중심선의 평균값은 
?0.2도 및 1.3도이다. 본 발명의 일 실시 예에 따른 알고리즘의 결과의 평균값과 육안 검사에 의한 수동 방법의 결과 사이의 차이는 약 1.1도였다. 첫째, 제로 크로싱 수에 대해 MV 지원 센터 라인과 수동 중심 라인 값은 각각 50과 27이었다. 이 실험에서 제로 크로싱 수는 UGV가 약 57m를 여행하는 동안 지그재그 조향이 카메라 중심보다 3m 앞의 목표 위치와 일치하는 데 필요한 횟수를 의미한다. 따라서, 제로 크로싱 값의 수가 많을수록 UGV의 지그재그 조향 이동이 더 많아 져서 주행이 불안정하다는 것을 의미한다. 따라서, 본 발명의 일 실시 예에 따른 알고리즘은 제로 크로싱의 수를 비교하여 육안 판정 결과보다 안정적이라고 결론 내릴 수 있다. 최대 왼쪽 및 최대 오른쪽 값은 목표 지점으로 운전하기 위해 계산 된 229 개의 조향각 중에서 가장 큰 왼쪽 또는 가장 큰 오른쪽 조향각을 나타낸다. 최대 왼쪽의 경우, MV 지원 중심선과 수동 중심선의 값은 각각 -5.5와 -9.2도다. 최대 오른쪽의 경우 MV 지원 센터 라인과 수동 중심선은 각각 6.1도 및 8.6도 였다. 두 경우 모두 본 발명의 일 실시 예에 따른 알고리즘의 결과는 수동 결정 결과보다 작은 조향 각도를 보였다. 제로 크로싱의 수를 비교 한 결과 상기 알고리즘은 수동 중심선 결정보다 안정적이라고 결론 내릴 수 있다. 마지막으로 229 개의 테스트 이미지에서 얻은 스티어링 각도의 표준 편차를 비교했다. 표준 편차는 분산량의 제곱근으로 정의된 데이터 분산의 척도다. 표준 편차가 작을수록 평균값에서 변수 거리가 가까워진다.
상기 비교 결과 도 15에 나타난 표준 편차는 본 발명의 일 실시 예에 따른 229 개의 샘플 이미지에서 추출한 229 점의 평균값에서 229 점 사이의 거리 차이의 제곱근을 나타낸다. 도 15에서 볼 수 있듯이 제안 된 알고리즘의 표준 편차에 대한 결과는 수동 중심선 결정보다 작다. 표준 편차의 비교는 상기 알고리즘에 의해 추출된 이동 경로 정보가 육안 수동 결정 중심선보다 더 안정하다는 것을 보여준다. 도 15에서 볼 수 있듯이 최대 왼쪽, 최대 오른쪽, 표준 편차 및 제로 크로즈 수를 비교 한 결과 상기 알고리즘으로 계산 된 MV 지원 중심선이 수동 중심선보다 모든 항목에서 더 안정적이라는 것을 알 수 있다. 과수원 항법을 위한 단안 근적외선 카메라를 이용한 과수원의 자유 공간과 주행 중심선 결정 알고리즘은 낙엽, 낙엽 및 혼합지로 인한 과수원의 사과 과수원 환경을 포함하여 과수원 환경에서 UGV를 유도 할 가능성을 보여 준다.
그러나 본 발명의 일 실시 예에 따른 알고리즘을 사용하기 위해서는 몇 가지 전제 조건이 필요하다. 첫째, 카메라의 광축이 항상지면과 평행하도록 동일한 기능의 짐벌 또는 유사한 것을 사용하여 카메라 경사각과 롤각을 항상 "0"으로 설정한다. 둘째, 자유 행 공간에서 주행하는 동안 다양한 과수원 환경 변화로 인해 중심선이 검출되지 않으면 UGV의 차량 자세, 속도 및 조향각과 같은 피드백 정보를 활용할 필요가 있다. 또한 동일한 품종에서도 재배 기술과 계절에 따라 과수원 환경을 바꿀 수 있다. 다양한 환경에서 추가적인 실험을 통해 알고리즘을 보완될 수 있다. 상기 알고리즘은 나무에 나뭇잎이 거의 없는 계절에 더 효과적이지만 잎이 많은 여름의 경우 동일한 지역 및 같은 종류의 사과 과수 일지라도 이미지 처리 방법이 다를 수 있다. 이 경우 하늘 기반 머신 비전 기술과 같은 적응형 이미지 처리 방법을 구현해야 한다. 본 발명의 일 실시 예에 따른 접근법의 또 다른 한계는 UGV가 나무 사이의 중앙 경로를 따라 이동을 처리하지만 줄의 끝을 처리하지 않는다는 것이다. 나무 줄기 행의 끝은 여러 가지 방법으로 처리 될 수 있다. 나무 줄기 행의 확장에 연속적인 나무 줄기가 없다는 것을 이미지에서 감지 할 수 있다. 또한 초음파 센서를 사용하여 나무 줄기의 끝을 인식 할 수 있다. 본 발명의 일 실시 예에서 사용 된 750-850 nm 근적외선 이미지의 경우 야간에 해당 파장의 활성 광선을 사용하여 이미지를 획득할 수 있으며 상기 알고리즘을 그대로 사용할 수 있다.
도 16은 본 발명의 일 실시 예에 따른 줄기 검출을 이용한 과수원 자율주행 차량의 경로 설정 방법의 흐름도이다.
도 16을 참조하면, 본 발명의 일 실시 예에 따른 줄기 검출을 이용한 과수원 자율주행 차량의 경로 설정 방법은 자율주행 차량의 영상처리부가 상기 자율주행 차량 주변 환경의 영상을 획득해 변환하는 단계(S1610)를 포함할 수 있다.
S1610 단계에서, 상기 영상처리부(210)는 자율주행 차량의 주변 환경의 영상(이후 언급되는 '영상'과 동일하게 인식될 수 있다.)을 획득할 수 있다. 상기 영상처리부(210)는 상기 자율주행 차량의 진행 방향 또는 진행하려는 방향의 주변 환경의 영상을 획득할 수 있다. 상기 영상처리부(210)는 획득한 상기 영상을 변환할 수 있다. 상기 영상처리부(210)는 획득한 상기 영상을 흑백 영상으로 변환할 수 있다. 상기 영상처리부(210)는 상기 영상을 변환하면서 장애물과 장애물 외의 부분이 구분되도록 변환할 수 있다. 상기 영상처리부(210)는 상기 영상에서 장애물을 흰색 또는 검은색으로 변환하고, 장애물 외의 부분을 검은색 또는 흰색으로 변환할 수 있다. 상기 영상처리부(210)는 독립된 장애물을 각각 세그먼트로 인식할 수 있다. 즉 하나의 폐쇄된 영역을 가지는 장애물을 각각 하나의 세그먼트로 인식할 수 있다. 상기 영상처리부(210)는 상기 영상의 세그먼트가 구분될 수 있도록 표시할 수 있다. 상기 영상처리부(210)는 상기 영상을 장애물의 위치가 세그먼트로 표시되도록 변환할 수 있다. 상기 영상처리부(210)는는 CMOS 이미지 센서 카메라, 근적외선(NIR) 카메라를 포함할 수 있다.
본 발명의 일 실시 예에 따른 줄기 검출을 이용한 과수원 자율주행 차량의 경로 설정 방법은 변환된 상기 영상에서 나무 줄기의 위치를 결정하는 단계(S1620)를 포함할 수 있다.
S1620 단계에서, 상기 줄기검출부(220)는 상기 영상처리부(210)에서 획득한 상기 영상 또는 변환된 상기 영상을 이용해 나무 줄기를 검출할 수 있다. 상기 줄기검출부(220)는 상기 영상 또는 변환된 상기 영상의 세그먼트에 최저점을 검출할 수 있다. 상기 줄기검출부(220)는 상기 영상 또는 변환된 상기 영상에서 상기 장애물의 최저점을 검출할 수 있다. 상기 줄기검출부(220)는 상기 영상 또는 변환된 상기 영상의 검출된 상기 최저점 중 나무 줄기의 최저점을 검출할 수 있다. 상기 줄기검출부(220)는 인공지능이 스스로 나무 줄기의 최저점을 검출할 수 있다. 상기 줄기검출부(220)는 검출된 상기 나무 줄기의 최저점을 이용해 나무의 위치를 검출할 수 있다. 상기 줄기검출부(220)는 베이지안 분류를 통해 상기 나무 줄기의 최하점을 검출할 수 있다. 상기 줄기검출부(220)는 각각의 세그먼트의 LL비(세그먼트의 로컬 최저점과 로컬 최고점의 비) 및 x-y비(상기 로컬 최저점의 x 및 y 값의 비)를 획득할 수 있다. 상기 줄기검출부(220)는 상기 LL비 및 x-y비의 베이지안 분류에 따른 나무 줄기 해당 확률을 연산할 수 있다. 상기 줄기검출부(220)는 상기 확률에 따른 나무 줄기의 최하점을 검출할 수 있다. 상기 줄기검출부(220)는 상기 나무 줄기 최하점 검출 결과를 이용해 재학습하여 나무 줄기 검출 청확도를 높일 수 있다. 상기 줄기검출부(220)는 복수의 과수원 영상을 포함하는 데이터 세트를 이용해 학습될 수 있다. 상기 줄기검출부(220)는 학습 결과를 이용해 상기 영상에 위치하는 나무 줄기의 최하점을 검출하고 나무의 위치를 검출할 수 있다. 상기 줄기검출부(220)는 상기 영상에서 나무 줄기를 검출한 결과를 학습할 수 있다.
본 발명의 일 실시 예에 따른 줄기 검출을 이용한 과수원 자율주행 차량의 경로 설정 방법은 상기 나무 줄기의 위치에 따른 상기 자율주행 차량의 주행 경로를 설정하는 단계(S1630)를 포함할 수 있다.
S1630 단계에서, 상기 경로설정부(230)는 검출된 상기 나무의 위치 또는 나무 줄기의 최저점을 이용해 상기 자율주행 차량의 주행 경로를 설정할 수 있다. 상기 경로설정부(230)는 상기 나무의 위치들을 연결하는 복수의 직선 사이를 주행 경로로 설정할 수 있다. 상기 경로설정부(230)는 상기 나무의 위치들을 연결하는 복수의 직선의 중앙을 주행 경로로 설정하고 표시할 수 있다. 상기 경로설정부(230)는 상기 나무의 위치들을 연결하는 복수의 직선을 상기 주행 경로와 구분되도록 표시할 수 있다. 즉, 상이한 색으로 표시하거나 구분되는 외형의 선으로 표시할 수 있다. 상기 경로설정부(230)는 설정된 경로로 상기 자율주행 차량이 이동하게 할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통 상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
Claims (10)
- 자율주행 차량의 영상처리부가 상기 자율주행 차량 주변 환경의 영상을 획득해 변환하는 단계;
변환된 상기 영상에서 나무 줄기의 위치를 결정하는 단계; 및
상기 나무 줄기의 위치에 따른 상기 자율주행 차량의 주행 경로를 설정하는 단계;를 포함하고,
상기 영상 변환 단계는,
상기 영상의 장애물 및 배경을 구분하는 흑백 영상으로 변환하는 단계;를 포함하며,
상기 결정 단계는,
상기 장애물의 최저점을 검출하는 단계; 및
상기 최저점 중 나무 줄기의 최저점을 검출하는 단계;를 포함하되,
상기 최저점 검출 단계는,
LL비(세그먼트의 로컬 최저점과 로컬 최고점의 비) 및 x-y비(상기 로컬 최저점의 x 및 y 값의 비)를 획득하는 단계;
상기 LL비 및 x-y비의 베이지안 분류에 따른 나무 줄기 해당 확률을 연산하는 단계; 및
상기 확률에 따른 나무 줄기의 최하점을 검출하는 단계;를 포함하는 줄기 검출을 이용한 과수원 자율주행 차량의 경로 설정 방법.
- 삭제
- 삭제
- 삭제
- 제1항에 있어서,
상기 최저점 검출 단계는,
상기 나무 줄기 최하점 검출 결과를 이용해 재학습하는 단계;를 더 포함하는 줄기 검출을 이용한 과수원 자율주행 차량의 경로 설정 방법.
- 자율주행 차량의 영상처리부가 상기 자율주행 차량 주변 환경의 영상을 획득해 변환하는 영상처리부;
변환된 상기 영상에서 나무 줄기의 위치를 결정하는 줄기검출부; 및
상기 나무 줄기의 위치에 따른 상기 자율주행 차량의 주행 경로를 설정하는 경로설정부;를 포함하고,
상기 영상처리부는,
상기 영상의 장애물 및 배경을 구분하는 흑백 영상으로 변환하고,
상기 줄기검출부는,
상기 장애물의 최저점을 검출하고, 상기 최저점 중 나무 줄기의 최저점을 검출하며,
LL비(세그먼트의 로컬 최저점과 로컬 최고점의 비) 및 x-y비(상기 로컬 최저점의 x 및 y 값의 비)를 획득하고,
상기 LL비 및 x-y비의 베이지안 분류에 따른 나무 줄기 해당 확률을 연산하고,
상기 확률에 따른 나무 줄기의 최하점을 검출하는 줄기 검출을 이용한 과수원 자율주행 차량의 경로 설정 시스템.
- 삭제
- 삭제
- 삭제
- 제6항에 있어서,
상기 줄기검출부는,
상기 나무 줄기 최하점 검출 결과를 이용해 재학습하는 것을 특징으로 하는 줄기 검출을 이용한 과수원 자율주행 차량의 경로 설정 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180133076A KR102077219B1 (ko) | 2018-11-01 | 2018-11-01 | 줄기 검출을 이용한 과수원 자율주행 차량의 경로 설정 방법 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180133076A KR102077219B1 (ko) | 2018-11-01 | 2018-11-01 | 줄기 검출을 이용한 과수원 자율주행 차량의 경로 설정 방법 및 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102077219B1 true KR102077219B1 (ko) | 2020-02-13 |
Family
ID=69515253
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180133076A KR102077219B1 (ko) | 2018-11-01 | 2018-11-01 | 줄기 검출을 이용한 과수원 자율주행 차량의 경로 설정 방법 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102077219B1 (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11149557A (ja) * | 1997-11-19 | 1999-06-02 | Fuji Heavy Ind Ltd | 自律走行車の周囲環境認識装置 |
| KR20140076484A (ko) * | 2012-12-12 | 2014-06-20 | 더 보잉 컴파니 | 나무 계측 시스템 |
| KR101806453B1 (ko) * | 2016-07-07 | 2017-12-07 | 한국항공대학교산학협력단 | 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치 및 방법 |
-
2018
- 2018-11-01 KR KR1020180133076A patent/KR102077219B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11149557A (ja) * | 1997-11-19 | 1999-06-02 | Fuji Heavy Ind Ltd | 自律走行車の周囲環境認識装置 |
| KR20140076484A (ko) * | 2012-12-12 | 2014-06-20 | 더 보잉 컴파니 | 나무 계측 시스템 |
| KR101806453B1 (ko) * | 2016-07-07 | 2017-12-07 | 한국항공대학교산학협력단 | 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Counting apples and oranges with deep learning: A data-driven approach | |
| Yu et al. | Fruit detection for strawberry harvesting robot in non-structural environment based on Mask-RCNN | |
| Montoya-Cavero et al. | Vision systems for harvesting robots: Produce detection and localization | |
| Tian et al. | Machine vision identification of tomato seedlings for automated weed control | |
| Strothmann et al. | Plant classification with in-field-labeling for crop/weed discrimination using spectral features and 3d surface features from a multi-wavelength laser line profile system | |
| Zhang et al. | Review of current robotic approaches for precision weed management | |
| Tian et al. | Application status and challenges of machine vision in plant factory—A review | |
| Czymmek et al. | Vision-based deep learning approach for real-time detection of weeds in organic farming | |
| de Luna et al. | Tomato growth stage monitoring for smart farm using deep transfer learning with machine learning-based maturity grading | |
| Yang et al. | Real-time detection of crop rows in maize fields based on autonomous extraction of ROI | |
| Lin et al. | Automatic detection of plant rows for a transplanter in paddy field using faster r-cnn | |
| CN111727457B (zh) | 一种基于计算机视觉的棉花作物行检测方法、装置及存储介质 | |
| Kalampokas et al. | Grape stem detection using regression convolutional neural networks | |
| Majeed et al. | Development and performance evaluation of a machine vision system and an integrated prototype for automated green shoot thinning in vineyards | |
| Miao et al. | Efficient tomato harvesting robot based on image processing and deep learning | |
| Silwal et al. | Bumblebee: A Path Towards Fully Autonomous Robotic Vine Pruning. | |
| de Silva et al. | Towards agricultural autonomy: crop row detection under varying field conditions using deep learning | |
| Li et al. | Review of machine-vision-based plant detection technologies for robotic weeding | |
| Kraemer et al. | From plants to landmarks: Time-invariant plant localization that uses deep pose regression in agricultural fields | |
| Bellocchio et al. | A novel vision-based weakly supervised framework for autonomous yield estimation in agricultural applications | |
| Ren et al. | A review of the large-scale application of autonomous mobility of agricultural platform | |
| Borrenpohl et al. | Automated pruning decisions in dormant sweet cherry canopies using instance segmentation | |
| Yang et al. | Vision based fruit recognition and positioning technology for harvesting robots | |
| KR102077219B1 (ko) | 줄기 검출을 이용한 과수원 자율주행 차량의 경로 설정 방법 및 시스템 | |
| De Silva et al. | Towards infield navigation: leveraging simulated data for crop row detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |