KR101406210B1 - 영상 센서를 이용하여 파종기의 운행을 제어하는 장치 및 방법 - Google Patents

영상 센서를 이용하여 파종기의 운행을 제어하는 장치 및 방법 Download PDF

Info

Publication number
KR101406210B1
KR101406210B1 KR1020130000270A KR20130000270A KR101406210B1 KR 101406210 B1 KR101406210 B1 KR 101406210B1 KR 1020130000270 A KR1020130000270 A KR 1020130000270A KR 20130000270 A KR20130000270 A KR 20130000270A KR 101406210 B1 KR101406210 B1 KR 101406210B1
Authority
KR
South Korea
Prior art keywords
soil
seeder
image
information
rgb
Prior art date
Application number
KR1020130000270A
Other languages
English (en)
Inventor
주영훈
김진규
Original Assignee
군산대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 군산대학교산학협력단 filed Critical 군산대학교산학협력단
Priority to KR1020130000270A priority Critical patent/KR101406210B1/ko
Application granted granted Critical
Publication of KR101406210B1 publication Critical patent/KR101406210B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01C—PLANTING; SOWING; FERTILISING
    • A01C7/00—Sowing
    • A01C7/08—Broadcast seeders; Seeders depositing seeds in rows
    • A01C7/085—Broadcast seeders
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01C—PLANTING; SOWING; FERTILISING
    • A01C7/00—Sowing
    • A01C7/08—Broadcast seeders; Seeders depositing seeds in rows
    • A01C7/16—Seeders with other distributing devices, e.g. brushes, discs, screws or slides
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Soil Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Environmental Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Sowing (AREA)

Abstract

영상 센서를 이용하여 파종기의 운행을 제어하는 장치 및 방법이 개시된다. 파종기의 운행을 제어하는 방법은, RGB 카메라를 이용하여 이동 방향의 토양에 대한 영상 정보를 획득하고, IR 카메라를 이용하여 이동 방향의 토양에 대한 깊이 정보를 획득하고, 영상 정보와 깊이 정보에 기초하여 파종하고자 하는 토양의 상태 및 위치를 감지하며, 감지 결과에 따라 파종기의 동작을 제어한다.

Description

영상 센서를 이용하여 파종기의 운행을 제어하는 장치 및 방법{Apparatus and method for controlling operation of seeding machine using imaging sensor}
본 발명은 농기계의 운행을 제어하는 기술에 관한 것으로, 특히 파종기에 구비된 영상 센서를 이용하여 파종기가 운행하고자 하는 방향의 토양의 상태를 감지하고, 감지된 토양의 상태에 적합한 파종기의 수행 동작을 제어하는 장치, 방법 및 그 방법을 기록한 기록매체에 관한 것이다.
일반적으로, 파종은 단위 면적당의 수확량을 결정하는 중요한 요인이며 흙의 준비 작업에 뒤따르는 모든 농업의 가장 초보적인 작업이라 할 수 있다. 종자에 적합한 환경을 만들어 주는 일, 이들의 생육에 적합한 밀도를 형성하는 일은 수량과 직결되는 문제이므로 파종 작업에서는 파종량이 적당하고 결주가 나타나지 않도록 하여야 한다. 파종법은 대개 산파, 조파, 그리고 점파로 분류된다. 산파법은 지표면에서 사방으로 넓게 파종하는 방법으로 목초, 곡물 등을 파종할 시 이용하는 방법이다. 조파법은 일정한 간격의 줄에 연속으로 파종하는 방법으로, 곡류, 채소 등을 파종할 시 이용하는 방법이다. 점파법은 일정한 간격의 줄에 일정한 간격으로 한 알 또는 여러 알씩 파종하는 방법으로, 옥수수, 콩류, 감자, 야채 등을 파종할 시 이용하는 방법이다.
파종 작업은 거의 대부분이 인력에 의존하고 있으나, 점진적으로 기계화되어 가고 있다. 파종기는 작물의 종류 및 재배 목적에 따라 파종 양식이 다르며 크게 산파기, 조파기, 및 점파기의 세 종류로 나뉜다. 작물에 따라서는 곡물 파종기, 목화 파종기, 및 감자 파종기 등이 있다.
이러한 종래의 파종기는 토양의 상태 및 환경에 대한 고려없이 작업자가 직업 육안으로 인지한 결과와 경험을 토대로 파종기를 운행하여야 한다는 점에서 파종기 제어에 어려움이 존재하였다. 이하에서 인용되는 선행기술문헌에는 이랑의 경사 정도 및 두둑의 높이에 따라 기계적인 방식(유압 시스템)을 이용하여 파종의 깊이 내지 경사도를 조절하는 기술적 수단이 제안되어 있으나, 여전히 파종기의 운행 자체는 사람의 경험에 의존해야 할 뿐만 아니라, 파종기가 운행하고자 하는 노면의 전반적인 배치 내지 상태를 파악할 수 없다는 한계가 존재한다.
한국 공개특허 1998-061911, 한국기계연구원, 1998.10.07 공개.
본 발명의 실시예들이 해결하고자 하는 기술적 과제는, 종래의 파종기의 운행에 있어서 토양의 상태 및 주위 환경에 대한 판단이 전적으로 사용자의 인지 능력과 경험에 의존하는 불편함으로 해소하고, 기구적인 보조 수단을 이용하여 토양의 상태에 따른 파종 기능을 조절하더라도 토양 자체에 대한 전반적인 배치 및 상태를 파악할 수는 없으며, 여전히 파종기의 운행 및 정렬은 사용자의 개인적인 능력에 의존할 수 밖에 없다는 한계를 극복하고자 한다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 파종기의 운행을 제어하는 방법은, 상기 파종기에 구비된 RGB 카메라를 이용하여 이동 방향의 토양에 대한 영상 정보를 획득하는 단계; 상기 파종기에 구비된 IR(intra red) 카메라를 이용하여 상기 이동 방향의 토양에 대한 깊이 정보를 획득하는 단계; 상기 영상 정보와 상기 깊이 정보에 기초하여 파종하고자 하는 토양의 상태 및 위치를 감지하는 단계; 및 상기 감지 결과에 따라 상기 파종기의 동작을 제어하는 단계;를 포함한다.
일 실시예에 따른 상기 운행 제어 방법에서, 상기 영상 정보를 획득하는 단계는, 상기 RGB 카메라를 이용하여 RGB 영상을 촬영하는 단계; 상기 RGB 영상으로부터 색상 정보를 추출하는 단계; 토양에 대한 색상 데이터베이스를 참조하여 상기 촬영된 영상을 이진 영상으로 변환하는 단계; 및 히스토그램(histogram) 정보를 이용하여 상기 이진 영상으로부터 에지(edge)를 추출함으로써 상기 촬영된 RGB 영상 내에 존재하는 토양의 형태에 대한 정보를 생성하는 단계;를 포함한다.
일 실시예에 따른 상기 운행 제어 방법에서, 상기 깊이 정보를 획득하는 단계는, IR 프로젝터(projector)를 이용하여 적외선을 방사하는 단계; 상기 IR 카메라를 이용하여 적외선 영상을 촬영하는 단계; 및 상기 적외선 영상에 기초하여 상기 파종기로부터 상기 토양의 각 부분까지의 거리 정보를 추출함으로써 상기 촬영된 적외선 영상 내에 존재하는 토양의 깊이에 대한 정보를 생성하는 단계;를 포함한다.
일 실시예에 따른 상기 운행 제어 방법에서, 상기 토양의 상태 및 위치를 감지하는 단계는, 상기 영상 정보와 상기 깊이 정보를 대응시켜 하나의 영상에 대한 공간 지도를 생성하는 단계; 및 생성된 상기 공간 지도 내에서 토양이 형성하고 있는 각 부분의 상태 및 위치 정보를 추출하는 단계;를 포함한다.
일 실시예에 따른 상기 운행 제어 방법에서, 상기 파종기의 동작을 제어하는 단계는, 상기 감지 결과에 따라 상기 파종기에 구비된 액추에이터(actuator)의 가로축과 세로축을 조절함으로써 상기 토양의 상태 및 위치에 대응하여 상기 파종기의 소정 동작을 수행시킬 수 있다.
일 실시예에 따른 상기 운행 제어 방법은, 파종기에 구비된 중력 센서를 이용하여 상기 파종기의 방향과 자세를 감지하는 단계; 및 감지된 상기 파종기의 방향과 자세를 고려하여 상기 파종기의 운행을 위한 기준 방향을 보정하거나 상기 파종기의 운행의 속도를 조절하는 단계;를 더 포함할 수 있다.
일 실시예에 따른 상기 운행 제어 방법은, 파종기에 구비된 압력 센서를 이용하여 상기 파종기의 운행을 위한 구동 수단과 연계하여 상기 토양의 경도를 측정하는 단계; 및 측정된 상기 토양의 경도를 고려하여 상기 파종기의 수행 동작의 강도 및 속도를 조절하는 단계;를 더 포함할 수 있다.
일 실시예에 따른 상기 운행 제어 방법은, 상기 파종하고자 하는 토양의 상태 및 위치에 대한 영상을 출력하고, 상기 파종기의 수행 동작의 보조선을 상기 출력된 영상 위에 부가하여 사용자에게 표시하는 단계;를 더 포함할 수 있다. 또한, 상기 보조선을 따라 동작하는 액추에이터의 동작의 수행 여부를 표시함으로써 상기 사용자로 하여금 상기 액추에이터에 대한 자동 제어 또는 수동 제어 여부를 입력받는 단계;를 더 포함할 수 있다.
한편, 이하에서는 상기 기재된 파종기의 운행을 제어하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 파종기의 운행을 제어하는 장치는, RGB 영상을 촬영하는 RGB 카메라; 적외선 영상을 촬영하는 IR 카메라; 상기 RGB 카메라를 이용하여 이동 방향의 토양에 대한 영상 정보를 획득하고, 상기 IR 카메라를 이용하여 상기 이동 방향의 토양에 대한 깊이 정보를 획득하며, 상기 영상 정보와 상기 깊이 정보에 기초하여 파종하고자 하는 토양의 상태 및 위치를 감지하고, 상기 감지 결과에 따라 상기 파종기의 동작에 대한 제어 명령을 생성하는 처리부; 및 생성된 상기 제어 명령에 따라 상기 파종기의 구동 수단을 제어하는 액추에이터;를 포함한다.
일 실시예에 따른 상기 운행 제어 장치에서, 상기 처리부는, 상기 RGB 카메라를 이용하여 촬영된 RGB 영상으로부터 색상 정보를 추출하고, 토양에 대한 색상 데이터베이스를 참조하여 상기 촬영된 영상을 이진 영상으로 변환하며, 히스토그램 정보를 이용하여 상기 이진 영상으로부터 에지를 추출함으로써 상기 촬영된 RGB 영상 내에 존재하는 토양의 형태에 대한 영상 정보를 생성한다.
일 실시예에 따른 상기 운행 제어 장치에서, 상기 처리부는, 상기 IR 카메라를 이용하여 촬영된 적외선 영상에 기초하여 상기 파종기로부터 상기 토양의 각 부분까지의 거리 정보를 추출함으로써 상기 촬영된 적외선 영상 내에 존재하는 토양의 깊이에 대한 정보를 생성한다.
일 실시예에 따른 상기 운행 제어 장치에서, 상기 처리부는, 상기 영상 정보와 상기 깊이 정보를 대응시켜 하나의 영상에 대한 공간 지도를 생성하며, 생성된 상기 공간 지도 내에서 토양이 형성하고 있는 각 부분의 상태 및 위치 정보를 추출한다.
일 실시예에 따른 상기 운행 제어 장치에서, 상기 처리부는, 상기 감지 결과에 따라 상기 액추에이터의 가로축과 세로축을 조절함으로써 상기 토양의 상태 및 위치에 대응하여 상기 파종기의 소정 동작을 수행시키는 제어 명령을 생성한다.
일 실시예에 따른 상기 운행 제어 장치에서, 상기 파종기는 중력 센서를 더 구비하며, 상기 처리부는, 상기 중력 센서를 이용하여 상기 파종기의 방향과 자세를 감지하고, 감지된 상기 파종기의 방향과 자세를 고려하여 상기 파종기의 운행을 위한 기준 방향을 보정하거나 상기 파종기의 운행의 속도를 조절하는 제어 명령을 생성한다.
일 실시예에 따른 상기 운행 제어 장치에서, 상기 파종기는 압력 센서를 더 구비하며, 상기 처리부는, 상기 압력 센서를 이용하여 상기 파종기의 운행을 위한 구동 수단과 연계하여 상기 토양의 경도를 측정하고, 측정된 상기 토양의 경도를 고려하여 상기 파종기의 수행 동작의 강도 및 속도를 조절하는 제어 명령을 생성한다.
일 실시예에 따른 상기 운행 제어 장치에서, 상기 파종기는 디스플레이 수단을 더 구비하며, 상기 처리부는, 상기 디스플레이 수단을 통해 상기 파종하고자 하는 토양의 상태 및 위치에 대한 영상을 출력하고, 상기 파종기의 수행 동작의 보조선을 상기 출력된 영상 위에 부가하여 표시할 수 있다. 또한, 상기 처리부는, 상기 보조선을 따라 동작하는 액추에이터의 동작의 수행 여부를 표시함으로써 사용자로 하여금 상기 액추에이터에 대한 자동 제어 또는 수동 제어 여부를 입력받을 수 있다.
본 발명의 실시예들은, 파종기에 구비된 영상 센서들을 이용하여 영상 정보와 깊이 정보를 획득하고 이에 기초하여 토양의 상태 및 위치를 감지함으로써, 사용자의 경험과 무관하게 자동화된 파종기 제어 및 운행이 가능하며, 특히 영상 센서를 통해 확보한 토양에 대한 공간 지도를 활용함으로써 파종기가 직접 맞닿는 토양 뿐만 아니라 운행하고자 하는 방향의 토양에 대한 전반적인 배치 및 상태를 미리 파악함으로써 보다 효율적인 운행 및 정렬을 유도할 수 있다.
도 1은 종래의 이양기 등과 같은 농기계를 운행하는 모습을 예시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 센서를 이용하여 파종기의 운행을 제어하는 방법을 도시한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 도 2의 파종기 운행 제어 방법에서, 영상 정보를 획득하는 과정을 보다 구체적으로 도시한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 도 2의 파종기 운행 제어 방법에서, 깊이 정보를 획득하는 과정을 보다 구체적으로 도시한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 도 2의 파종기 운행 제어 방법에서, 토양의 상태 및 위치를 감지하는 과정을 보다 구체적으로 도시한 흐름도이다.
도 6 및 도 7은 본 발명의 일 실시예들이 채택하고 있는 파종기에 구비된 영상 센서의 구현예와 이를 이용한 정보 획득 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 영상 센서를 이용하여 파종기의 운행을 제어하는 장치를 도시한 블록도이다.
도 1은 종래의 이양기 등과 같은 농기계를 운행하는 모습을 예시한 도면이다.
도 1의 [A]를 참조하면, 2명의 작업자가 이양기의 견치대에 적재된 벼의 상태를 확인하면서, 이와 동시에 논에 형성된 이랑과 이식 간격 등을 고려하여 이양기를 조작하게 된다. 즉, 토양의 상태에 대한 인지와 이에 따른 농기계의 운행이 전적으로 작업자의 인지 능력과 경험에 따라 좌우된다. 또한, 도 1의 [B]를 참조하면, 이미 일정한 간격으로 이식된 벼의 형성 라인과 간격이 작업자의 수동 운전에 의해 이루어지고 있음을 확인할 수 있다.
앞서 논의된 바와 같이, 이러한 수작업에 의존한 농기계의 운행은 특히 파종기와 같이 토양의 상태에 따라 민감하게 좌우될 수 있는 기계에서 더욱 큰 문제점과 불편함이 나타나게 된다. 특히 토양의 경우, 성토된 형태, 높낮이, 언덕, 비탈길 또는 내리막의 형성 여부, 토양의 경도 등과 같이 다양한 환경 요인에 따라 파종 품질이 달라지게 되는데, 이러한 고려 요소들은 현재 전적으로 작업자의 경험에 의존하고 있는 실정이다. 따라서, 파종기가 작업하고자 하는 영역 내의 토양의 상태를 전반적으로 인지하고, 이에 기초하여 파종기를 전자동으로 제어할 수 있는 기술적 수단이 요구되는 바이다.
이하에서는, 도면을 참조하여 상기된 기술적 과제를 해결하기 위한 본 발명의 실시예들을 구체적으로 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 명칭 및 도면 부호로 나타내고 있음에 유의하여야 한다.
도 2는 본 발명의 일 실시예에 따른 영상 센서를 이용하여 파종기의 운행을 제어하는 방법을 도시한 흐름도로서, 다음과 같은 단계들을 포함한다.
S210 단계에서, 파종기는 상기 파종기에 구비된 RGB 카메라를 이용하여 파종 작업의 대상인 토양과 비작업 대상인 토양 이외의 영역을 구분함으로써 이동 방향의 토양에 대한 영상 정보를 획득한다. RGB 카메라는 RGB 영상 데이터(color_R, color_G, color_B)와 색상 컬러 데이터를 입력받는 수단으로서, 파종기가 이동하고자 하는 방향에 위치한 토양을 촬영하고, 이로부터 작업 대상물과 대상물의 방향을 탐지하기 위한 일련의 연산을 수행하게 된다. 영상 정보를 획득하는 보다 구체적인 과정은 이후 도 3을 참조하여 설명하도록 한다.
S230 단계에서, 파종기는 상기 파종기에 구비된 IR(intra red) 카메라를 이용하여 상기 파종기로부터 상기 이동 방향에 형성된 토양에 대한 깊이 정보를 획득한다. IR 카메라는 각 픽셀(화소 영역)마다의 거리로 표현되는 깊이 데이터(l_x, l_y, l_z)를 획득하기 위한 수단으로서, 파종기가 이동하고자 하는 방향에 위치한 토양의 형태에 따라 각 부분별로 파종기까지의 거리(깊이 정보)를 추출하기 위한 일련의 연산을 수행하게 된다. 깊이 정보를 획득하는 보다 구체적인 과정은 이후 도 4를 참조하여 설명하도록 한다.
S250 단계에서, 파종기는 상기 S210 단계 및 S230 단계를 통해 획득된 영상 정보와 깊이 정보에 기초하여 파종하고자 하는 토양에 형성된 이랑이나 두둑의 높이 및 노면의 배치와 같은 토양의 상태 및 파종기로부터 토양까지의 거리를 감지한다. 보다 구체적으로, 파종기가 인지하고자 하는 환경 요소에 대한 수행 동작은 다음을 동작들을 포함할 수 있다. 즉, ① 작업 대상(파종하고자 하는 토양 내지 이랑)의 색상 정보를 이용하여 대상을 파악하고, ② 작업 대상에 대한 동작(파종 동작)을 위해 정확한 높이를 추출하고 이에 적합한 파종기의 액추에이터 내지 차체 구동 조향부의 동작을 제어하며, ③ 작업 대상과 파종기까지의 거리 내지 작업 지표와의 거리를 사용자가 모니터링 가능하도록 시각적으로 가공하여 제공하는 동작 등이다.
S270 단계에서, 파종기는 상기 S250 단계를 통한 감지 결과에 따라 상기 파종기의 동작을 제어한다. 이상의 S250 단계 내지 S270 단계에 관한 보다 구체적인 처리 과정은 이후 도 5를 참조하여 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 도 2의 파종기 운행 제어 방법에서, 영상 정보를 획득하는 과정(S210 단계)을 보다 구체적으로 도시한 흐름도로서, 여기서는 S210 단계에 집중하여 상술하도록 한다.
S211 단계에서, 파종기는 RGB 카메라를 이용하여 RGB 영상을 촬영한다. 이 때, RGB 영상은 색상 정보를 포함하는 이미지 데이터를 의미한다.
S213 단계에서, 파종기는 상기 S211 단계를 통해 촬영된 RGB 영상으로부터 색상 정보를 추출한다. 이러한 색상 정보는 이후 촬영된 영상 내에서 작업 대상(토양)과 비작업 대상을 구분하기 위한 수단으로 활용된다.
S215 단계에서, 파종기는 상기 S213 단계를 통해 추출된 색상 정보와 토양에 대한 색상 데이터베이스를 참조하여 토양에 해당하는 영역과 토양 이외의 영역을 구분함으로써 상기 촬영된 영상을 이진 영상으로 변환한다. 작업 대상(토양)의 색상 정보를 데이터베이스에서 조회하고, 이에 기초하여 RGB 영상의 각 부분이 의미하는 바를 추론할 수 있다. 이 때, 색상 데이터베이스는 파종기의 활용 환경을 고려하여 미리 적절한 영상 값의 범위를 정의하여 저장해 놓을 수 있을 것이다. 예를 들어, RGB 영상 내에서 황토색과 갈색의 색상 정보를 포함하는 부분 영역은 토양에 해당할 것이며, 그외의 초록색이나 파란색과 같은 다른 색상 정보를 포함하는 부분 영역은 토양이 아닌 식물 내지 물에 해당한다고 판별할 수 있다. 즉, S215 단계에서는 이러한 판단을 위한 전 처리 과정으로서 히스토그램과 에지 추출을 위한 이진 영상 변환을 수행하게 된다.
S217 단계에서, 파종기는 히스토그램(histogram) 정보를 이용하여 상기 이진 영상으로부터 토양과 토양 이외의 영역 간의 경계인 에지(edge)를 추출함으로써 상기 촬영된 RGB 영상 내에 존재하는 토양의 형태에 대한 정보를 생성한다. S217 단계에서는 히스토그램의 임계값 처리 기법을 적용하여 가장 우측의 픽셀 영상 값이 미리 지정된 범위 내에 존재하는지 여부를 판단하고, 입력된 영상의 처리된 에지 라인이 작업 대상의 에지 데이터와 유사한지 여부를 판단할 수 있다. 이러한 과정은 파종시 토양의 양 라인(둔덕/골)을 추출하기 위한 처리 과정에 해당한다. 즉, 최초의 기본 방향 탐지는 작업 대상(토양)의 왼쪽 끝단을 탐지하기 위하여 입력된 RGB 영상으로부터 히스토그램 기법을 활용하여 입력된 가장 왼쪽의 픽셀값이 지정된 픽셀값의 범위 내에 들어오면 최초 방향의 기준으로 선정한 다음, 에지 탐색을 통하여 작업 대상의 보다 정확한 방향을 인지하게 된다.
도 4는 본 발명의 일 실시예에 따른 도 2의 파종기 운행 제어 방법에서, 깊이 정보를 획득하는 과정(S230)을 보다 구체적으로 도시한 흐름도로서, 여기서는 S230 단계에 집중하여 상술하도록 한다.
S231 단계에서, 파종기는 IR 프로젝터(projector)를 이용하여 적외선을 방사한다. 여기서, IR 프로젝터는 적외선 영상 촬영을 위한 보조 수단으로서 활용될 수 있다.
S233 단계에서, 파종기는 IR 카메라를 이용하여 적외선 영상을 촬영한다.
S235 단계에서, 파종기는 상기 적외선 영상에 기초하여 상기 파종기로부터 상기 토양의 각 부분까지의 거리 정보를 추출함으로써 상기 촬영된 적외선 영상 내에 존재하는 토양의 깊이에 대한 정보를 생성한다.
도 5는 본 발명의 일 실시예에 따른 도 2의 파종기 운행 제어 방법에서, 토양의 상태 및 위치를 감지하는 과정(S250)을 보다 구체적으로 도시한 흐름도로서, 여기서는 S250 단계와 S270 단계에 집중하여 상술하도록 한다.
S251 단계에서, 파종기는 영상 정보와 깊이 정보를 대응시키되 영상 정보와 토양의 각 화소 영역마다의 거리 데이터를 사상시킴으로써 하나의 영상에 대한 공간 지도를 생성한다. 이러한 공간 지도는 작업 대상의 방향 및 위치 데이터와 지표면의 토양 각 부분마다의 거리 데이터를 사상시킴으로써 생성될 수 있다.
S253 단계에서, 파종기는 S251 단계를 통해 생성된 상기 공간 지도 내에서 토양이 형성하고 있는 각 부분의 상태 및 위치 정보를 추출한다.
S270 단계에서, 파종기의 동작을 제어하는 단계는, 상기 S250 단계를 통한 감지 결과에 따라 상기 파종기에 구비된 액추에이터(actuator)의 구동축(예를 들어, 가로축과 세로축)을 조절함으로써 상기 토양의 상태 및 위치에 대응하여 상기 파종기의 특정 동작을 수행시키게 된다. 또한, 필요에 따라서는 차체의 조향 구동부를 제어할 수도 있을 것이다.
도 6 및 도 7은 본 발명의 일 실시예들이 채택하고 있는 파종기에 구비된 영상 센서의 구현예와 이를 이용한 정보 획득 과정을 설명하기 위한 도면이다.
도 6을 참조하면, 파종기(800)는 일측에 일군(group)의 센서부(10)를 구비할 수 있다. 이러한 센서부(10)는 적어도 하나의 RGB 센서와 적어도 하나의 IR 센서를 포함하며, 적외선 영상 촬영의 성능을 보장하기 위해 IR 프로젝터를 포함할 수 있다. 즉, 파종기(800)는 이러한 센서부(10)를 이용하여 주행하고자 하는 방향의 토양에 대한 RGB 영상과 IR 영상을 촬영한 후, 이상에서 제안한 일련의 연산을 통해 각각 영상 정보와 깊이 정보를 생성하고, 이에 기초하여 토양의 상태 및 위치를 감지하게 된다.
도 7의 [A]는 RGB 카메라를 통해 촬영된 영상을 순차적으로 처리하는 과정을 예시한 것으로, 히스토그램 적용과 에지 탐색을 통해 작업 대상(예를 들어, 벼)과 그외의 부분을 명확하게 분리해내고 있음을 보여준다.
도 7의 [B]는 IR 카메라를 통해 촬영된 영상을 예시한 것으로, 해당 영상 내에는 파종기로부터의 거리 정보가 포함되어 있다.
이제, 도 7의 [A]로부터 생성된 영상 정보와 도 7의 [B]로부터 생성된 깊이 정보를 대응시켜 하나의 영상에 대한 종합적인 공간 지도를 생성할 수 있으며, 파종기는 이에 기초하여 주행하고자 하는 방향의 토양에 대한 상태 및 위치 정보를 감지할 수 있다.
한편, 도 6에서 센서는 3가지 종류를 예시하였으나, 토양의 상태를 감지하기 위한 다양한 센서들이 추가적으로 활용될 수 있다.
첫 번째 예로서, 중력 센서가 활용될 수 있다. 즉, 파종기에 구비된 중력 센서를 이용하여 상기 파종기가 위치해 있는 방향과 자세를 감지하고, 감지된 상기 파종기의 방향과 자세를 고려하여 상기 파종기의 운행을 위한 기준 방향을 보정하거나 상기 파종기의 운행의 속도를 조절하는 것이 가능하다.
두 번째 예로서, 압력 센서가 활용될 수 있다. 즉, 파종기에 구비된 압력 센서를 이용하여 상기 파종기의 운행을 위한 구동 수단과 연계하여 상기 토양의 경도를 측정하고, 측정된 상기 토양의 경도를 고려하여 상기 파종기의 수행 동작의 강도 및 속도를 조절하는 것이 가능하다.
나아가, 본 실시예들에 따른 파종기는 토양의 상태 감지 결과를 시각적으로 사용자에게 제공하는 디스플레이 장치를 더 포함할 수 있다. 즉, 파종하고자 하는 토양의 상태 및 위치에 대한 영상을 출력하고, 상기 파종기의 파종 동작을 안내하는 보조선을 상기 출력된 영상 위에 부가하여 사용자에게 표시함으로써 현재 파종기의 제어 동작을 보다 효과적으로 제공하는 것이 가능하다. 또한, 상기 보조선을 따라 동작하는 액추에이터의 구동 수단 제어 동작의 수행 여부를 표시함으로써 상기 사용자로 하여금 상기 액추에이터에 대한 자동 제어 또는 수동 제어 여부를 인터랙티브하게 입력받을 수도 있을 것이다.
도 8은 본 발명의 일 실시예에 따른 영상 센서를 이용하여 파종기의 운행을 제어하는 장치를 도시한 블록도로서, 앞서 도 2 내지 도 5를 통해 설명한 각 단계에 대응하는 구성을 제시하고 있다. 따라서, 여기서는 설명의 중복을 피하기 위해 하드웨어 구성 및 각 구성의 연결 관계를 중심으로 그 기능과 동작을 약술하도록 한다.
센서부(10)는 복수 개의 영상 센서를 포함한다. 본 발명의 실시예들에 따른 파종기(800)는 파종기의 주행 방향에 구비되어 RGB 영상을 촬영하는 적어도 하나의 RGB 카메라(11), 파종기의 주행 방향에 구비되어 적외선 영상을 촬영하는 적어도 하나의 IR 카메라(15)를 구비하는 것이 바람직하다. 또한, 필요에 따라 IR 프로젝터(13)를 더 포함할 수 있다.
처리부(20)는 파종기에 구비되어 상기 RGB 카메라(11)를 이용하여 이동 방향의 토양에 대한 영상 정보를 획득하고, 상기 IR 카메라(15)를 이용하여 상기 이동 방향의 토양에 대한 깊이 정보를 획득하며, 상기 영상 정보와 상기 깊이 정보에 기초하여 파종하고자 하는 토양의 상태 및 위치를 감지하고, 상기 감지 결과에 따라 상기 파종기(800)의 동작에 대한 제어 명령을 생성한다.
이 때, 처리부(20)는, 상기 RGB 카메라(11)를 이용하여 촬영된 RGB 영상으로부터 색상 정보를 추출하고, 토양에 대한 색상 데이터베이스를 참조하여 상기 촬영된 영상을 이진 영상으로 변환하며, 히스토그램 정보를 이용하여 상기 이진 영상으로부터 에지를 추출함으로써 상기 촬영된 RGB 영상 내에 존재하는 토양의 형태에 대한 영상 정보를 생성한다.
또한, 처리부(20)는, 상기 IR 카메라(15)를 이용하여 촬영된 적외선 영상에 기초하여 상기 파종기(800)로부터 상기 토양의 각 부분까지의 거리 정보를 추출함으로써 상기 촬영된 적외선 영상 내에 존재하는 토양의 깊이에 대한 정보를 생성한다.
나아가, 처리부(20)는, 상기 영상 정보와 상기 깊이 정보를 대응시켜 하나의 영상에 대한 공간 지도를 생성하며, 생성된 상기 공간 지도 내에서 토양이 형성하고 있는 각 부분의 상태 및 위치 정보를 추출한다. 그런 다음, 상기 처리부(20)는, 상기 감지 결과에 따라 상기 액추에이터의 구동축(예를 들어, 가로축과 세로축)을 조절함으로써 상기 토양의 상태 및 위치에 대응하여 상기 파종기의 파종 동작을 수행시키는 제어 명령을 생성하게 된다.
액추에이터(30)는 상기 처리부(20)와 전기적으로 연결되어 상기 처리부(20)를 통해 생성된 상기 제어 명령에 따라 상기 파종기(800)의 구동 수단(400)을 제어한다. 이러한 구동 수단(400)은 차체 조향 구동 수단 등이 포함될 수 있을 것이다.
한편, 앞서 소개한 바와 같이, 본 발명의 실시예들에 따른 파종기(800)는 이상에서 기술된 영상 센서 외에도 토양의 상태를 감지하기 위한 다양한 센서들 내지 부가적인 구성이 활용될 수 있다.
일 실시예에 따른 파종기(800)는 중력 센서(미도시)를 더 구비할 수 있으며, 이 경우 상기 처리부(20)는, 상기 중력 센서를 이용하여 상기 파종기의 방향과 자세를 감지하고, 감지된 상기 파종기의 방향과 자세를 고려하여 상기 파종기의 운행을 위한 기준 방향을 보정하거나 상기 파종기의 운행의 속도를 조절하는 제어 명령을 생성할 수 있다.
다른 실시예에 따른 파종기(800)는 압력 센서(미도시)를 더 구비할 수 있으며, 이 경우 상기 처리부(20)는, 상기 압력 센서를 이용하여 상기 파종기의 운행을 위한 구동 수단과 연계하여 상기 토양의 경도를 측정하고, 측정된 상기 토양의 경도를 고려하여 상기 파종기의 수행 동작의 강도 및 속도를 조절하는 제어 명령을 생성할 수 있다.
또 다른 실시예에 따른 파종기(800)는 디스플레이 수단(50)을 더 구비할 수 있으며, 이 경우 상기 처리부(20)는, 상기 디스플레이 수단(50)을 통해 상기 파종하고자 하는 토양의 상태 및 위치에 대한 영상을 출력하고, 상기 파종기의 수행 동작의 보조선을 상기 출력된 영상 위에 부가하여 표시할 수 있다. 나아가, 상기 처리부(20)는, 상기 보조선을 따라 동작하는 액추에이터의 동작의 수행 여부를 표시하고 사용자로 하여금 상기 액추에이터에 대한 자동 제어 또는 수동 제어 여부를 입력받음으로써 보다 편리한 사용자 인터페이스를 제공할 수 있다.
상기된 본 발명의 실시예들에 따르면, 파종기에 구비된 영상 센서들을 이용하여 영상 정보와 깊이 정보를 획득하고 이에 기초하여 토양의 상태 및 위치를 감지함으로써, 사용자의 경험과 무관하게 자동화된 파종기 제어 및 운행이 가능하며, 특히 영상 센서를 통해 확보한 토양에 대한 공간 지도를 활용함으로써 파종기가 직접 맞닿는 토양 뿐만 아니라 운행하고자 하는 방향의 토양에 대한 전반적인 배치 및 상태를 미리 파악함으로써 보다 효율적인 운행 및 정렬을 유도할 수 있다.
한편, 본 발명의 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
800 : 파종기
10 : 센서부 11 : RGB 카메라
13 : IR 프로젝터 15 : IR 카메라
20 : 처리부 30 : 액추에이터
40 : 구동 수단 50 : 디스플레이 수단

Claims (10)

  1. 파종기의 운행을 제어하는 방법에 있어서,
    상기 파종기에 구비된 RGB 카메라를 이용하여 파종 작업의 대상인 토양과 비작업 대상인 토양 이외의 영역을 구분함으로써 이동 방향의 토양에 대한 영상 정보를 획득하는 단계;
    상기 파종기에 구비된 IR(intra red) 카메라를 이용하여 상기 파종기로부터 상기 이동 방향에 형성된 토양에 대한 깊이 정보를 획득하는 단계;
    상기 영상 정보와 상기 깊이 정보에 기초하여 파종하고자 하는 토양이 형성된 상태 및 상기 파종기로부터 상기 토양까지의 거리를 감지하는 단계; 및
    상기 감지 결과에 따라 상기 파종기의 동작을 제어하는 단계;를 포함하는 방법.
  2. 제 1 항에 있어서,
    상기 영상 정보를 획득하는 단계는,
    상기 RGB 카메라를 이용하여 RGB 영상을 촬영하는 단계;
    상기 RGB 영상으로부터 색상 정보를 추출하는 단계;
    상기 추출된 색상 정보와 토양에 대한 색상 데이터베이스를 참조하여 토양에 해당하는 영역과 토양 이외의 영역을 구분함으로써 상기 촬영된 영상을 이진 영상으로 변환하는 단계; 및
    히스토그램(histogram) 정보를 이용하여 상기 이진 영상으로부터 토양과 토양 이외의 영역 간의 경계인 에지(edge)를 추출함으로써 상기 촬영된 RGB 영상 내에 존재하는 토양의 형태에 대한 정보를 생성하는 단계;를 포함하는 방법.
  3. 제 1 항에 있어서,
    상기 깊이 정보를 획득하는 단계는,
    IR 프로젝터(projector)를 이용하여 적외선을 방사하는 단계;
    상기 IR 카메라를 이용하여 적외선 영상을 촬영하는 단계; 및
    상기 적외선 영상에 기초하여 상기 파종기로부터 상기 토양의 각 화소 영역까지의 거리 정보를 추출함으로써 상기 촬영된 적외선 영상 내에 존재하는 토양의 깊이에 대한 정보를 생성하는 단계;를 포함하는 방법.
  4. 제 1 항에 있어서,
    상기 토양의 상태 및 거리를 감지하는 단계는,
    상기 영상 정보와 상기 깊이 정보를 대응시키되 상기 영상 정보와 상기 토양의 각 화소 영역마다의 거리 데이터를 사상시킴으로써 하나의 영상에 대한 공간 지도를 생성하는 단계; 및
    생성된 상기 공간 지도 내에서 토양이 형성하고 있는 각 화소 영역에 대한 성토 형태 및 거리 정보를 추출하는 단계;를 포함하는 방법.
  5. 제 1 항에 있어서,
    상기 파종기의 동작을 제어하는 단계는,
    상기 감지 결과에 따라 상기 파종기에 구비된 구동 수단을 제어하는 액추에이터(actuator)의 구동축을 조절함으로써 상기 토양의 상태 및 거리에 대응하여 상기 파종기의 파종 동작을 수행시키는 것을 특징으로 하는 방법.
  6. 삭제
  7. 삭제
  8. 제 1 항에 있어서,
    상기 파종하고자 하는 토양의 상태 및 거리에 대한 영상을 출력하고, 상기 파종기의 파종 동작을 안내하는 보조선을 상기 출력된 영상 위에 부가하여 사용자에게 표시하는 단계; 및
    상기 보조선을 따라 동작하는 액추에이터의 구동 수단 제어 동작의 수행 여부를 표시함으로써 상기 사용자로 하여금 상기 액추에이터에 대한 자동 제어 또는 수동 제어 여부를 입력받는 단계;를 더 포함하는 방법.
  9. 삭제
  10. 파종기의 운행을 제어하는 장치에 있어서,
    상기 파종기의 주행 방향에 구비되어 RGB 영상을 촬영하는 RGB 카메라;
    상기 파종기의 주행 방향에 구비되어 적외선 영상을 촬영하는 IR 카메라;
    상기 파종기에 구비되어 상기 RGB 카메라를 이용하여 파종 작업의 대상인 토양과 비작업 대상인 토양 이외의 영역을 구분함으로써 이동 방향의 토양에 대한 영상 정보를 획득하고, 상기 IR 카메라를 이용하여 상기 파종기로부터 상기 이동 방향에 형성된 토양에 대한 깊이 정보를 획득하며, 상기 영상 정보와 상기 깊이 정보에 기초하여 파종하고자 하는 토양이 형성된 상태 및 상기 파종기로부터 상기 토양까지의 거리를 감지하고, 상기 감지 결과에 따라 상기 파종기의 동작에 대한 제어 명령을 생성하는 처리부; 및
    상기 파종기에 구비되어 상기 처리부와 전기적으로 연결되고, 생성된 상기 제어 명령에 따라 상기 파종기의 구동 수단을 제어하는 액추에이터;를 포함하는 장치.
KR1020130000270A 2013-01-02 2013-01-02 영상 센서를 이용하여 파종기의 운행을 제어하는 장치 및 방법 KR101406210B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130000270A KR101406210B1 (ko) 2013-01-02 2013-01-02 영상 센서를 이용하여 파종기의 운행을 제어하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130000270A KR101406210B1 (ko) 2013-01-02 2013-01-02 영상 센서를 이용하여 파종기의 운행을 제어하는 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101406210B1 true KR101406210B1 (ko) 2014-06-12

Family

ID=51132513

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130000270A KR101406210B1 (ko) 2013-01-02 2013-01-02 영상 센서를 이용하여 파종기의 운행을 제어하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101406210B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180177123A1 (en) * 2016-12-27 2018-06-28 Kubota Corporation Work Vehicle
KR101919613B1 (ko) * 2016-12-09 2019-02-08 (주)솔로몬시스템 농업용 방제로봇
KR20190072015A (ko) * 2017-12-15 2019-06-25 전자부품연구원 융합 센서 데이터 시각화 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0628032A (ja) * 1992-07-06 1994-02-04 Kubota Corp 自動走行作業車の走行制御装置
KR100835987B1 (ko) 2007-02-07 2008-06-10 순천대학교 산학협력단 농업용 통합 센서 서버 시스템
WO2011013179A1 (ja) 2009-07-31 2011-02-03 富士通株式会社 移動体位置検出装置および移動体位置検出方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0628032A (ja) * 1992-07-06 1994-02-04 Kubota Corp 自動走行作業車の走行制御装置
KR100835987B1 (ko) 2007-02-07 2008-06-10 순천대학교 산학협력단 농업용 통합 센서 서버 시스템
WO2011013179A1 (ja) 2009-07-31 2011-02-03 富士通株式会社 移動体位置検出装置および移動体位置検出方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101919613B1 (ko) * 2016-12-09 2019-02-08 (주)솔로몬시스템 농업용 방제로봇
US20180177123A1 (en) * 2016-12-27 2018-06-28 Kubota Corporation Work Vehicle
JP2018102240A (ja) * 2016-12-27 2018-07-05 株式会社クボタ 作業車
US10524416B2 (en) * 2016-12-27 2020-01-07 Kubota Corporation Work vehicle
KR20190072015A (ko) * 2017-12-15 2019-06-25 전자부품연구원 융합 센서 데이터 시각화 장치 및 방법
KR102347226B1 (ko) * 2017-12-15 2022-01-04 한국전자기술연구원 융합 센서 데이터 시각화 장치 및 방법

Similar Documents

Publication Publication Date Title
US20200355829A1 (en) Plant treatment based on morphological and physiological measurements
Yang et al. Greenness identification based on HSV decision tree
CN105043247B (zh) 残余物监测和基于残余物的控制
Bakker et al. A vision based row detection system for sugar beet
EP3167698A1 (en) System for residue detection and implement control and method for such
JP2022510487A (ja) デジタル画像および機械学習モデルを使用した圃場異常の地図作成
BR102014027364B1 (pt) sistema de controle e de medição da altura de corte para uma ceifeira de base, método, e, colheitadeira
Shrestha et al. Automatic corn plant population measurement using machine vision
Lati et al. Robust methods for measurement of leaf-cover area and biomass from image data
Wibowo et al. Spatio-temporal analysis of rice field phenology using Sentinel-1 image in Karawang Regency West Java, Indonesia
Chang et al. An automated yield monitoring system II for commercial wild blueberry double-head harvester
KR101406210B1 (ko) 영상 센서를 이용하여 파종기의 운행을 제어하는 장치 및 방법
Shirzadifar et al. Mapping crop stand count and planting uniformity using high resolution imagery in a maize crop
US10820478B1 (en) System and method for providing a visual indication of field surface conditions
Fang et al. 3D quantification of plant root architecture in situ
EP4315227A1 (en) Agricultural analysis robotic systems and methods thereof
KR20190069648A (ko) 인삼의 영상 이미지 분석을 통한 생육량 측정 방법
Dobbs et al. New directions in weed management and research using 3D imaging
CN113614517A (zh) 用于非侵入性根表型分析的方法和装置
Kim et al. Case study: Cost-effective weed patch detection by multi-spectral camera mounted on unmanned aerial vehicle in the buckwheat field
Tsoulias et al. In-situ detection of apple fruit using a 2D LiDAR laser scanner
EP3905109A1 (en) System for controlling agricultural operations by optical means
Moghaddam et al. Developing a selective thinning algorithm in sugar beet fields using machine vision system
Badua Control system response for seed placement accuracy on row crop planters
Chimwai et al. Fresh Weight Estimation of Lettuce Using 3D Stereoscopic Technique

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170421

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180525

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190530

Year of fee payment: 6

R401 Registration of restoration