KR20220027505A - 농업용 로봇의 주행제어장치 및 방법 - Google Patents

Abstract

본 발명은 노지와 같은 비정형 환경에서 운용되는 농업용 로봇과 같은 농업 기계에 장착되어 농작업을 위한 주행 경로를 주행함에 있어, 관성센서와 카메라가 동기화된 3차원 영상정보를 기반으로 목표 작업 경로를 효과적으로 주행하도록 제어하기 위한 농업용 로봇의 주행제어장치 및 방법에 관한 것으로, 관성합법장치와 카메라가 동기화된 농업용 로봇에서의 주행 제어 방법에 있어서, 관성항법장치의 자세 정보와 카메라의 3차원 영상 정보를 동기화시켜 초기 상태에서 카메라의 자세에 따른 3차원 영상 정보를 설정하는 단계; IMU 카메라 모듈로부터 획득된 3차원 영상 정보에서 주행 목표점을 설정하고, 카메라 위치에 따른 초기 위치 좌표 옵셋값을 설정하는 단계; 작업할 농지에서의 주행 경로 정보를 입력받는 단계; IMU 카메라 모듈로부터 입력된 3차원 영상을 일정 시간 단위로 분석하여 초기 목표 점에서 이탈된 오차값을 계산하는 단계; 및 계산한 오차값이 임계치 이상인 경우 목표 방향에서 경로가 이탈한 것으로 판단하여 경로 이탈 오차값만큰 주행 각도를 제어하는 단계를 포함한다.

Description

농업용 로봇의 주행제어장치 및 방법{Driving control device of agricultural robot and Method for the same}

본 발명은 농업용 로봇의 주행제어장치 및 방법에 관한 것으로, 더욱 자세하세는 노지와 같은 비정형 환경에서 운용되는 농업용 로봇과 같은 농업 기계에 장착되어 농작업을 위한 주행 경로를 주행함에 있어, 관성센서와 카메라가 동기화된 3차원 영상정보를 기반으로 목표 작업 경로를 효과적으로 주행하도록 제어하기 위한 농업용 로봇의 주행제어장치 및 방법에 관한 것이다.

자율주행형 농업용 로봇에는 GPS(Global Positioning System)를 이용한 위치인식 시스템과, 속도와 방향 및 가속도를 측정하는 관성항법장치(IMU: Inertial Measurement Unit)와, 자율 주행시 이동 방향을 모니터로 보여 모니터링 시스템, 작업경로 생성 및 추종기술이 적용된다.

통상 자동차가 주행하는 도로의 경우에는 현재 정확한 위치 정보를 기반으로 작성된 전자지도가 있고, 또한 도로의 차선 등과 같은 표식을 통해 경로 주행이 가능하다. 하지만, 농지와 같은 비정형 환경은 현재 농지의 정확한 GPS 정보가 없고, 더욱이 농업용 로봇이 주행을 하는데 있어서 경로를 인식하기 위한 특별한 표식이 없는 상태이다.

이와 같은 문제점을 해결하기 위해 종래 기술은 수목 등 자연물이나 미리 설치한 목표 폴 등을 목표로 하여 카메라로 촬영하고, 이를 기반으로 차량을 목표를 향해 제어하는 방법을 제시하고 있다.

하지만, 이와 같은 종래 기술은 카메라 영상만을 이용하기 때문에 노지와 같은 환경에서는 적용할 수 없는 문제점이 있다. 즉, 노지 환경에서는 주행 차량이 계속적으로 흔들리기 때문에 카메라로 촬영하는 대상물이 계속적으로 흔들리게 되고 이에 따라 주행 차량이 계속적으로 목표물을 향해 이동하는 것이 어렵게 된다.

대한민국 특허10-2127312호에는 농업용 작업 차량 및 이의 제어 시스템이 제시되어 있는데, 종래 농업용 작업 차량은 차체에 설치되어 차체의 현재 위치 및 자세를 감지하는 센서와, 상기 차체에 설치되어 상기 차체의 주변 환경의 영상 이미지를 획득하는 카메라를 포함하는 디텍터; 및 상기 차체의 현재 위치 및 자세에 기초하여 상기 차체의 현재 상태를 생성하는 현재 상태 생성부와, 상기 영상 이미지에 기초하여 상기 차체의 주행 가능한 영역 정보를 생성하는 주행 영역 생성부와, 상기 차체의 현재 상태 및 상기 차체의 주행 가능한 영역 정보에 기초하여 상기 차체의 목표 위치 및 자세를 결정하는 다음 상태 결정부와, 상기 차체의 목표 위치 및 자세에 기초하여 상기 차체를 제어하는 제어부를 포함하고 있다.

하지만, 이와 같은 종래의 농업용 작업 차량은 카메라의 2차원 영상과 차량의 자세 정보만을 활용하여 제어하기 때문에 과수원과 같이 차량의 주행 목표를 특정할 수 있는 환경에는 적용할 수 있지만, 노지와 같이 현재 작물이 식재되어 있지 않은 환경에서는 적용할 수 없는 문제점이 있다.

10-2127312(등록일자: 2020.06.22)

본 발명은 종래 기술의 문제점을 해결하기 위해 안출된 것으로, 노지와 같은 비정형 환경에서 농작물이 식재되지 않은 환경에서도 관성센서와 카메라가 동기화된 3차원 영상정보를 기반으로 목표 작업 경로를 효과적으로 주행하도록 제어할 수 있는 농업용 로봇의 주행제어장치 및 그 방법을 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명에 따른 주행제어방법은, 관성합법장치와 카메라가 동기화된 농업용 로봇에서의 주행제어방법에 있어서, 관성항법장치의 자세 정보와 카메라의 3차원 영상 정보를 동기화시켜 초기 상태에서 카메라의 자세에 따른 3차원 영상 정보를 설정하는 단계; IMU 카메라 모듈로부터 획득된 3차원 영상 정보에서 주행 목표점을 설정하고, 카메라 위치에 따른 초기 위치 좌표 옵셋값을 설정하는 단계; 작업할 농지에서의 주행 경로 정보를 입력받는 단계; IMU 카메라 모듈로부터 입력된 3차원 영상을 일정 시간 단위로 분석하여 초기 목표 점에서 이탈된 오차값을 계산하는 단계; 및 계산한 오차값이 임계치 이상인 경우 목표 방향에서 경로가 이탈한 것으로 판단하여 경로 이탈 오차값만큰 주행 각도를 제어하는 단계를 포함한다.

상기와 같은 본 발명은 노지와 같은 비정형 환경에서 운용되는 농업용 로봇과 같은 농업 기계에 장착되어 농작업을 위한 주행 경로를 주행함에 있어, 관성센서와 카메라가 동기화된 3차원 영상정보를 기반으로 목표 작업 경로를 효과적으로 주행하도록 제어할 수 있다.

도1은 본 발명에 따른 농업용 로봇의 주행제어장치의 블럭 구성도이다.
도2는 본 발명에 따른 농업용 로봇의 주행제어방법을 나타낸 흐름이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대해 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며 명세서 전체에서 동일 또는 유사한 구성요소에 대해서는 동일한 도면부호가 사용되었다. 또한, 널리 알려져 있는 공지기술의 경우 그 구체적인 설명은 생략한다.

본 명세서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 발명에 따른 농업용 로봇의 주행제어장치는 관성항법장치(IMU)가 일체화된 카메라 모듈과 정확한 측위가 가능한 RTK-GPS와, 라이다와, 카메라와, 작업 차량의 자세 제어를 위한 관성항법장치(IMU)와, 제어부와, 구동부와, 입력부와, 통신부와, 표시부로 구성된다. 관성항법장치가 일체화된 카메라 모듈은 농업용 로봇의 전방 선단에 설치되어 있는 것이 바람직하다.

본 발명에 따른 농업용 작업 차량의 주행제어장치에서는 관성항법장치(IMU)와 카메라를 동기화시켜 3차원 공간 정보를 획득한다. 다시 말해, 카메라는 3차원 카메라로 3차원 영상 획득이 가능하며, 관성항법장치의 자세 정보와 3차원 영상 정보를 동기화시켜 현재 카메라로부터 얻어진 3차원 영상의 기울어진 각도를 매칭시킨다.

다시 말해, 노지 환경에서는 항상 농업용 작업 차량의 자세가 평행을 유지하는 것이 아니라 기울질 수 있고, 전방 선단에 설치된 카메라에 의해 촬영된 영상 또한 기울어진 상태의 영상일 수 있다. 이와 같이 기울어진 영상을 기반으로 추적하여 주행을 제어하는 경우 실제 목표 지점을 이탈할 가능성이 매우 높다. 더욱이 현재 정확성이 높은 RTK-GPS 또한 위치 오차가 30cm 정도이기 때문에 농업용 작업 차량이 위치 정보만에 의지하여 주행하는 경우 작업자가 실제 원하는 작업 경로를 벗어나 작업을 진행할 수 있는 문제점이 있다.

이와 같은 문제점을 해결하기 위해 본 발명에 따른 농업용 작업 차량의 주행제어 시스템에서는 관성항법장치의 자세 정보와 카메라의 3차원 영상 정보를 동기화시켜 초기 상태에서 카메라의 자세에 따른 3차원 영상 정보를 설정한다. 즉, 현재 농업용 작업 차량의 자세에서 입력되는 3차원 영상 정보를 주행방향의 목표로 인식한다.

제어부는 IMU 카메라 모듈로부터 획득된 3차원 영상 정보에서 주행 목표점을 설정하고, 자세 정보를 동기화시킨다. 이와 같이 초기 3차원 공간 좌표를 설정하고, 카메라 위치에 따른 초기 위치 좌표 옵셋값을 설정한다. 즉, 현재 카메라 위치와 RTK-GPS가 설치된 위치 사이에는 차이가 있기 때문에 초기 위치 설정 시 설치된 카메라의 위치와 GPS 수신기 간의 거리 오차를 위치 옵셋값으로 설정한다.

이후 농업용 작업 차량은 작업할 농지에서의 주행 경로 정보를 입력받는다. 주행 경로 정보는 주행 경로를 표시한 위치 좌표 정보일 수 있다.

제어부는 IMU 카메라 모듈로부터 입력된 3차원 영상을 일정 시간 단위로 분석하여 초기 목표 점에서 이탈된 오차값을 계산한다. 다시 말해, 카메라의 3차원 공간에서 목표로 설정한 목표의 방향과 현재 입력된 3차원 영상의 목표점과 자세 정보를 기반으로 벗어난 각도를 계산한다. 이와 같이 계산한 오차값이 임계치 이상인 경우 목표 방향에서 경로가 이탈한 것으로 판단하여 경로 이탈 오차값만큰 주행 각도를 제어한다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였으나, 본 발명의 권리범위가 이에 한정되는 것은 아니며 본 발명이 속하는 분야에서 통상의 지식을 가진 자가 여러 가지로 변형 및 개량한 형태 또한 본 발명의 권리범위에 속한다.

Claims (1)

1. 관성합법장치와 카메라가 동기화된 농업용 로봇에서의 주행제어방법에 있어서,
   관성항법장치의 자세 정보와 카메라의 3차원 영상 정보를 동기화시켜 초기 상태에서 카메라의 자세에 따른 3차원 영상 정보를 설정하는 단계;
   IMU 카메라 모듈로부터 획득된 3차원 영상 정보에서 주행 목표점을 설정하고, 카메라 위치에 따른 초기 위치 좌표 옵셋값을 설정하는 단계;
   작업할 농지에서의 주행 경로 정보를 입력받는 단계;
   IMU 카메라 모듈로부터 입력된 3차원 영상을 일정 시간 단위로 분석하여 초기 목표 점에서 이탈된 오차값을 계산하는 단계; 및
   계산한 오차값이 임계치 이상인 경우 목표 방향에서 경로가 이탈한 것으로 판단하여 경로 이탈 오차값만큰 주행 각도를 제어하는 단계를 포함하는 주행제어방법.
   
   

Images