KR102129738B1 - 높이 보정이 가능한 높이 센싱 알고리즘을 구비한 자율주행 트랙터 - Google Patents

Abstract

본 발명은 농작업용 트랙터에 관한 것으로, 경사보정이 가능한 높이센싱 알고리즘을 구비한 자율주행 트랙터가 제공된다. 본 발명에 따르면, 트랙터는 트랙터의 전방에 설치되는 스테레오 카메라, 트랙터의 무게 중심에 설치되어 트랙터의 기울기값을 측정하는 자세측정 센서, 트랙터의 자율주행을 위한 자율주행용 제어부를 구비하고, 스테레오 카메라는 트랙터의 자율주행시 전방의 물체를 스테레오방식으로 촬영하도록 구성되고, 자세측정 센서는 트랙터의 pitch, yaw, roll 값을 측정하도록 구성되고, 자율주행용 제어부는 상기 스테레오 카메라로부터 입력되는 적어도 2개의 스테레오 영상에 기반하여 전방 물체의 높이를 계산하도록 구성되고, 자율주행용 제어부는 측정된 트랙터의 pitch, yaw, roll 값을 이용하여 전방 물체의 높이를 보정하도록 구성되고, 자율주행용 제어부는, 상기 계산된 전방 물체의 높이에 기반하여 트랙터의 차고의 높이를 승강하거나, 자율주행을 계속 진행할 것인지 또는 자율주행을 정지할 것인지를 판단하도록 구성된다.

Description

높이 보정이 가능한 높이 센싱 알고리즘을 구비한 자율주행 트랙터{AUTONOMOUS TRACTOR HAVING CROP HIGHT SENSING ALGORITHM AND HIGHT CORRECTING ALGORITHM}

본 발명은 농작업용 트랙터에 관한 것으로, 자율주행을 위한 경사 보정이 가능한 높이 센싱 알고리즘을 이용한 자율주행 트랙터에 관한 것이다.

트랙터는 갈수록 줄어드는 농업인구와 농업인의 노령화 문제로 농업인구가 줄어드는 현시대에서, 1인당 농사작업 효율을 증대시키기 위해서 없어서는 안 될 필수장비이다.

트랙터는 견인력을 이용해서 농업 분야에서 각종 작업을 하는 작업용 자동차로써, 현재 농업용 트랙터는 전방에 전방 로더를 설치하여 그 로더에 각종 작업용 어태치먼트를 장착하여 운반, 내리기, 싣기 등의 각종 작업을 수행하고, 후방부에는 후방 링크를 통해 로터베이터 등을 장착하여 경운 등의 작업을 수행하는 것이 일반적이다.

농작업용 트랙터는 드넓은 농지에서 작동하는 장비로써, 농민들에게 필수적인 장비이지만, 단순하고 느리게 이동하면서 반복적인 작업을 수행하는 단점이 있다. 또한, 일손이 부족하며, 일거리가 농사철에 몰리는 특성이 있는 농업분야에서 단순하고 느린 작업을 수행하기 위해 농민들이 트랙터 위에서 많은 시간과 에너지를 소모하고 있으며, 이 때문에 1인당 농사작업 효율성이 떨어지고, 생산량 또한 떨어지는 문제점이 있다

이런 문제점을 해결하기 위해 트랙터가 자율적으로 이동하도록 하여 트랙터의 작업효율을 향상시키는 자율주행 트랙터가 알려져 있다. 이와 같은 자율주행 트랙터의 경우 다양한 밭작물 등에 이용되고 있다.

이와 관련해서 대한민국공개특허 10-2013-0138463호에는 농업용 트랙터의 자율주행 시스템에 대해 시사하고 있으며, 본 발명에 따른 농업용 트랙터의 자율주행 제어 시스템은, 트랙터의 기어를 변환하기 위한 변속 액추에이터;트랙터의 속력을 조절하기 위한 가속 액추에이터;트랙터의 속력을 측정하기 위한휠엔코더;주행모드 상태를 표시하는 표시창과 자율주행 또는 수동주행 모드선택을 위한 스위치와 비상정지 버튼을 포함하는 컨트롤패널;트랙터의 자율주행 운전 정보가 미리 저장되는 데이터저장부;상기 컨트롤 패널에서 자율주행 모드가 선택되었을 경우에 상기 데이터저장부에 저장된 자율주행 운전정보와 상기 휠엔코더에서 측정되어 전송되어 오는 속력값을 비교하여 상기 변속 액추에이터와 상기 가속 액추에이터를 상기 데이터저장부에 저장된 자율주행 운전정보와 상응하도록 제어하는 제어부;를 포함하여 자율주행 트랙터의 속도를 제어하는 기술에 대해 시사하고 있다.

그러나 실제 트랙터의 자율주행에 있어서 트랙터가 특정높이 이상의 작물들을 만나게 되는 경우 이를 회피하거나 정지하지 않고 계속 트랙터가 계속 자율주행을 진행하는 경우 트랙터가 이동하면서 작물을 훼손하는 문제가 발생된다. 이와 관련하여 상기 특허문헌에서는 트랙터의 자율주행 속도만을 제어하는 기술에 대해 시사하고 있을 뿐이며, 자율주행 트랙터가 자율주행 도중 만나게 되는 장애물 특히, 특정 높이의 밭작물을 만나는 경우 이를 회피하거나 정지하는 기술에 대해서는 시사하고 있지 않아 자율주행의 효율성이 떨어지게 된다.

또한 자율주행 트랙터에서, 최근 트랙터 및 농작업기계 부착하여 작물 영상을 인식하여 높이를 측정하고, 작물 높이에 따라 지상고 제어를 실시하는 밭 환경 작물 영상 인식 시스템에 대한 개발이 활발히 진행중에 있다.

이러한 밭 작물 재배용 트랙터의 경우 작물의 생육 환경을 인식하여 작업을 수행할 장소의 작업 조건에 맞추어 지상고 조절이 이뤄져야 하며, 지리적 위치에 대한 경사지 작업 수행 시 운전자 좌석의 기울기로 인한 조작 불편함을 전후 지상고를 조절하여 최대한 편안한 운전 조건을 제공하여 안전하고 피로도가 낮게 작업을 수행할 수 있는 조건을 만족시켜야만 한다.

또한 자율주행 트랙터가 주행시 특정 높이 작물에 대한 주행 정지나 회피를 위해 작물 높이 센싱 알고리즘에 대한 개발이 활발히 진행중에 있지만, 트랙터는 주로 노지 작업에 이용되기 때문에, 토양의 표면이 고르지 못하고 경사 진 곳이 많고 트랙터의 자세가 안정적이지 않아 작물의 실제 높이를 정확하게 측정하는데 어려움이 발생하고 있다.

본 발명은 전술한 문제점에 기반하여 안출된 발명으로서 트랙터가 자율주행시 특정 높이의 작물을 만나게 되는 경우 이를 회피하거나 정지하기 위한 자율주행용의 높이센싱용 알고리즘을 구비한 자율주행 트랙터를 제공하고 또한 경사진 노면으로 인해 작물의 높이 인식의 오차를 보정할 수 있는 경사보정이 가능한 자율주행 트랙터를 제공하는 것을 목적으로 한다.

전술한 과제를 해결하기 위해, 본 발명의 일양태에 따르면 경사보정이 가능한 높이센싱 알고리즘을 구비한 자율주행 트랙터가 제공된다. 본 발명에 따르면, 트랙터는 트랙터의 전방에 설치되는 스테레오 카메라, 트랙터의 무게 중심에 설치되어 트랙터의 기울기값을 측정하는 자세측정 센서, 트랙터의 자율주행을 위한 자율주행용 제어부를 구비하고, 스테레오 카메라는 트랙터의 자율주행시 전방의 물체를 스테레오방식으로 촬영하도록 구성되고, 자세측정 센서는 트랙터의 pitch, yaw, roll 값을 측정하도록 구성되고, 자율주행용 제어부는 상기 스테레오 카메라로부터 입력되는 스테레오 영상에 기반하여 전방 물체의 높이를 계산하도록 구성되고, 자율주행용 제어부는 측정된 트랙터의 pitch, yaw, roll 값을 이용하여 전방 물체의 높이를 보정하도록 구성되고, 자율주행용 제어부는, 상기 계산된 전방 물체의 높이에 기반하여 트랙터의 차고의 높이를 승강하거나, 자율주행을 계속 진행할 것인지 또는 자율주행을 정지할 것인지를 판단하도록 구성된다.

또한 전술한 양태에서 자율주행용 제어부는, 자율주행 제어부는 복수의 스테레오 카메라로부터의 영상을 취득하는 영상 수신부; 수신된 영상으로부터 거리 및 높이를 판단하는데 이용되는 대응맵(disparity map)을 생성하기 위한 대응맵 생성부; 대응 맵으로부터 목표 장애물 또는 목표 작물까지의 거리를 계산하기 위한 거리계산부; 적어도 거리계산부로부터 계산된 거리결과 이용하여 장애물 또는 작물의 높이를 계산하기 위한 높이 계산부; 높이 계산부에서 계산된 높이 오차를 보정하기 위한 오차 보정부를 더 포함한다.

또한 전술한 양태에서 스테레오 카메라는 2개의 영상센서를 포함하는 카메라로 이루어지고, 상기 2개의 카메라는 트랙터의 동일한 높이 부분에 서로 60mm ~ 70mm 범위 내에서 이격되어 설치되어 있다.

또한 전술한 양태에서 스테레오 카메라는 제1 카메라 및 제2 카메라로 이루어지고, 제1 카메라 및 제2 카메라는 CCD(charge coupled device) 영상센서(image sensor), MOS(metal oxide semi-conductor) 영상 센서, CPD(charge priming device) 영상센서 및 CID(charge injection device) 영상센서 등과 같은 센서들 중 어느 하나의 센서를 이용하여 구현된다.

또한 전술한 양태에서 대응맵 생성부는 제1 및 제2 영상을 통해 매칭을 수행하고, 상기 매칭 방법은 상기 스테레오 영상으로 입력된 제1 영상 또는 제2 영상 중에서 하나의 영상을 기준 영상으로 설정하고, 상기 선택된 기준 영상의 기준 픽셀 주위로 일정 영역의 블록을 설정하여, 선택되지 않은 나머지 영상에서 기준 영상의 상기 일정 영역의 블록과 대응되는 가장 유사한 영역을 찾아 변이를 추정하여 대응맵을 생성하고,

거리계산부는 대응맵을 이용하여 카메라로부터 목표 작물까지의 거리 검출을 수행한 후 에지 검출을 수행하고, 에지 검출을 수행하여 서로 연결된 구성요소들을 각각 구분하도록 구성된다.

또한 전술한 양태에서, 높이 오차 보정은 경사가 발생된 상태의 카메라 좌표계에서 투영된 피사체 좌표를, yaw, pitch, roll 이 모두 0인 기준 상태의 카메라 좌표계에서 바라본 좌표로 변환하여 수행된다.

본 발명에 따르면 트랙터가 자율주행시 특정 높이의 작물을 만나게 되는 경우 작물의 높이를 계산하고 작물의 높이가 주행가능한 높이인 경우 자율주행을 계속 진행하는 반면 작물의 높이가 주행불가능한 높이인 것으로 판단된 경우 주행을 정하도록 구성된다.

또한 본 발명에 따르면 트랙터에 자세 측정 센서를 제공함으로써 카메라를 통한 작물 인식시 노면의 경사 등에 의해 발생되는 작물의 높이 인식에 있어서의 오차를 보정함으로써 보다 정확한 작물의 높이의 추정이 가능하게 된다.

도 1은 본 발명에 따른 자율주행가능한 트랙터의 주요 구성을 설명하기 위한 설명도.
도 2는 본 발명에 따른 자율주행 트랙터의 자율주행 제어부의 내부구성을 나타내는 블록도.
도 3은 본 발명에 따른 자율주행 트랙터의 자율주행 제어부에서의 이미지 처리 과정을 예시적으로 나타내는 도면.
도 4는 본 발명에 따른 자율주행 트랙터의 자율주행 제어부에서의 대상 작물의 높이 계산 과정을 설명하기 위한 설명도.
도 5는 본 발명에 따른 자율주행 트랙터에서 높이 보정이 필요한 상황을 예시적으로 설명하기 위한 설명도.
도 6은 기준 상태에서의 자율주행 트랙터의 센서 및 카메라 좌표계와, 핀홀 카메라 모델을 설명하는 도면.
도 7은 기준 상태 센서 및 카메라 좌표계와, 경사가 발생된 상태에서의 센서 및 카메라 좌표계를 설명하기 위한 도면.
도 8은 피치(pitch), 롤(roll), 요(yaw)가 발생된 경우의 높이 측정과, 피치, 롤, 요를 0으로 보정한 이후의 높이의 차이를 예시적으로 나타낸 도면.
도 9는 본 발명에 따른 자율주행 트랙터의 자율주행 동작 흐름을 나타내는 순서도.
도 10는 본 발명에 따른 자율주행 트랙터의 자율주행에 이용되는 작물높이센싱 알고리즘의 주요 동작을 나타내는 순서도.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되는 실시예를 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이다.

본 명세서에서 본 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 그리고 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 따라서, 몇몇 실시예들에서, 잘 알려진 구성 요소, 잘 알려진 동작 및 잘 알려진 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명되지 않는다.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 그리고, 본 명세서에서 사용된(언급된) 용어들은 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, '포함(또는, 구비)한다'로 언급된 구성 요소 및 동작은 하나 이상의 다른 구성요소 및 동작의 존재 또는 추가를 배제하지 않는다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부된 도면들을 참조하여 본 발명의 기술적 특징을 구체적으로 설명한다.

도 1은 본 발명에 따른 자율주행용 높이 센싱 알고리즘을 채용한 트랙터(10)의 일례를 개략적으로 도시한 도면이다. 도 1에 도시한 바와 같이 높이 센싱 알고리즘을 채용한 트랙터(이하 자율주행 트랙터라고 함)(10)는 자율주행 트랙터(10)의 전방에 장착되는 복수의 카메라(바람직하게는 2개의 스테레오 카메라)(200); 자세측정 센서(220); 및 자율주행 제어부(100)를 포함하여 구성된다. 자율주행 트랙터(10)는 2개의 카메라(200)로부터 자율주행 트랙터가 주행하는 전방의 영상을 촬영하고, 자율주행 제어부(100)는 카메라(200)로부터 입력되는 영상에 기반하여 전방에 위치되는 장애물(또는 작물)의 높이를 판단하며, 판단결과에 따라 엔진을 제어하는 엔진 및 차고 제어부(300)로 주행 명령을 송출하도록 구성된다. 자체측정 센서(220)는 트랙터의 무게 중심에 설치되며 자세측정센서(220)로부터 측정된 피치(pitch), 롤(roll), 요(yaw)의 값은 트랙터의 자율주행 제어부(100)로 전송되고 자율주행 제어부(100)는 수신된 피치(pitch), 롤(roll), 요(yaw) 값을 이용하여 전방 작물 또는 장애물의 높이를 결정하여 결정된 높이에 따라 엔진의 구동 및 정지, 차고의 높이를 조절하게 된다.

도 2는 본 발명에 따른 자율주행 트랙터(10)의 자율주행 제어부(100)의 구성을 보다 세부적으로 나타낸 블록도이고, 도 3은 자율주행 제어부(100)에 의해 수행되는 이미지 처리를 개략적으로 도시한 도면이다. 도 2 및 도 3에 도시한 바와 같이 자율주행 제어부(100)는 전방의 복수의 카메라(200)(C1,C2)로부터 영상을 수신하고 이에 기반하여 엔진 및 차고 제어부(300)의 동작을 제어하도록 구성된다.

보다 구체적으로 자율주행 제어부(100)는 설정된 프로그램에 의해 동작하는 하나 이상의 마이크로 프로세서로 구현될 수 있으며, 이러한 설정된 프로그램은 후술하는 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 높이센싱 알고리즘및 높이 보정 알고리즘에 포함된 각 단계를 수행하기 위한 일련의 명령을 포함하는 것으로 이해될 수 있다.

자율주행 제어부(100)는 복수의 스테레오 카메라로부터의 영상을 취득하는 영상 수신부(110), 수신된 영상으로부터 거리 및 높이를 판단하는데 이용되는 맵(map)을 생성하기 위한 대응맵 생성부(120), 대응맵(120)을 이용하여 카메라로부터 목표 장애물 또는 목표 작물까지의 거리를 계산하기 위한 거리계산부(130), 거리계산부(130)부로부터 계산된 거리결과 등을 이용하여 장애물 또는 작물의 높이를 계산하기 위한 높이 계산부(140), 및 높이 계산부(140)에서의 높이에 대해 자세측정 센서로부터 검출된 값들을 이용하여 높이를 보정하기 위한 오차 보정부(150)를 를 포함한다.

스테레오 카메라(200)는 트랙터 전방의 상부에 돌출 형성되고 트랙터가 이동하는 전방 경로의 작물을 실시간으로 촬영한다. 스테레오 카메라(200)는 제1 카메라(C1) 및 제2 카메라(C2)를 통해 차량의 전방을 촬영한다. 또한 제1 카메라(C1) 및 제2 카메라(C2)는 동일 높이에서 사람의 눈과 비슷한 60mm~70mm의 간격을 갖고 설치되어 촬영을 수행하도록 구성된다. 제1카메라(C1) 및 제2카메라(C2)를 통해 각각 제1 영상 및 제 2 영상이 획득한다. 제1 카메라(C1) 및 제2카메라(C2)는 CCD(charge coupled device) 영상센서(image sensor), MOS(metal oxide semi-conductor) 영상 센서, CPD(charge priming device) 영상센서 및 CID(charge injection device) 영상센서 등과 같은 센서들 중 어느 하나의 센서를 이용하여 구현될 수 있다.

스테레오 카메라(200)에서 작물을 실시간으로 촬영하기 때문에 운전자가 트랙터 경로에 작물이 존재하는지 확인하지 않아도 작물을 파악할 수 있다. 또한, 스테레오 카메라(200)에서 촬영된 영상은 영상 수신부(110)로 전송하게 된다.

영상 수신부(110)는 스테레오 카메라(200)로부터 쵤영된 제1 영상 및 제2 영상을 수신하고 이를 저장한다.

대응맵(disparity map) 생성부(120)는 제1 및 제2 영상을 통해 매칭을 수행한다. 매칭 방법은 상기 스테레오 영상으로 입력된 제1 영상 또는 제2 영상 중에서 하나의 영상을 기준 영상으로 설정하고, 상기 선택된 기준 영상의 기준 픽셀 주위로 일정 영역의 블록을 설정하여, 선택되지 않은 나머지 영상에서 기준 영상의 상기 일정 영역의 블록과 대응되는 가장 유사한 영역을 찾아 변이를 추정하고 대응맵(디스패리티 맵이라고도 함)을 구하는 스테레오 매칭 방법이다.

디스패리티는 좌우 스테레오 카메라의 영상의 지점 P의 투영된 픽셀좌표 p_l(x_l,y_l), p_r(x_r,y_r) 사이의 x축 거리차이이고, 스테레오 영상의 촬영 높이는 동일하므로 y_l=y_r 이 된다. 따라서 Pl의 디스패리티 값은 다음과 같이 된다.

여기서 xl은 P_l의 x좌표(O_l좌표계 기준)이고, xr은 P_r의 x좌표(O_r좌표계 기준)이다.

p_l(x_l,y_l)에 매칭되는 p_r(x_r,y_r)의 검출은 pr이 포함된 영상에서 y=yl 라인 픽셀 중 가장 pl과 유사한 픽셀을 선정하여 수행된다. 유사함의 판단 기준은 좌/우 영상의 일정영역의 블록 사이의 상관성을 구한 후 차이의 제곱을 합하는 SSD(Sum of Squared difference), 픽셀간의 상관관계를 이용하는 NC(Normalized Crosscoefficient)등을 포함할 수 있다.

다음으로 거리계산부(130)에 대해 설명한다. 거리 계산부는 전술한 바와 같이 대응맵 생성부(120)에서 생성된 대응맵을 이용하여 스테레오 카메라와 장애물 또는 작물 까지의 거리를 계산하도록 구성된다.

거리계산부(130)는 정확한 거리 검출을 위해 전술한 대응맵으로부터 노이즈를 제거하는 단계를 더 포함할 수 있다. 거리 계산부(130)는 스테레오 카메라로부터 작물까지의 거리를 계산한 후, 에지 검출 단계를 수행한다.

영상에서의 에지(edge)란 영상의 밝기가 낮은 값에서 높은 값으로, 또는 이와 반대로 변하는 지점에 존재하는 부분을 가리킨다. 에지는 영상안에 있는 객체의 경계(boundary)를 가리키는 것으로서, 모양(shape), 방향성(direction)을 탐지할 수 있는 등 여러 정보가 담겨있다.

에지 검출 단계는 영상 안에서 영역의 경계를 나타낸 영상처리 과정으로 본 발명의 실시예에서는 영상 밝기의 불연속점으로 윤곽선에 해당하는 픽셀을 구한다. 에지는 통상적으로 영상의 명암도를 기준으로 명암의 변화가 큰 지점이다. 따라서 이러한 명암, 밝기 변화율 즉 기울기를 검출해야한다.

본 발명에서 에지 검출 방법으로, 이에 한정되는 것은 아니지만 소벨, 프리윗, 로버츠 마스크를 이용하는 1차 미분 알고리즘의 에지 검출이 이용될 수도 있고, 라플라시안, 로그(LOG(Laplacian of Gaussian)), DoG(Difference of Gaussian)와 같은 2차 미분 알고리즘 또는 캐니 에지 검출 중 어느 하나가 이용될 수도 있다.

다음으로 거리계산부(130)은 에지를 검출한 이후 에지를 연결하고, 연결된 구성요소들을 서로 구분한다. 연결된 구성요소들을 구분하는 것은 영상내 서로 겹쳐져 있는 구성요소를 구분하는 것, 즉 배경으로부터 대상작물을 추출해내기 위한 전처리 단계를 의미한다.

이를 위해 본 발명에서는 대응맵에서 작물중심좌표 높이를 기준으로 일정높이 범위 필터링이 수행되고 결과적으로 대상 작물의 후보 영역이 검출된다.

결과적으로 본 발명에서는 에지 검출을 통해 대상 작물을 포함한 여러 경계면을 검출하고, 검출된 영역 내부에서 커넥티드 컴포넌트(connected component) 방법을 이용하여 작물영역에 포함되는 픽셀들을 서로 연결하여 배경과 작물을 서로 구분해 낼 수 있게 된다.

다음으로 높이 계산부(140)에 대해 설명한다. 거리계산부(130)에서 에지 검출된 영상으로부터 서로 연결된 구성요소(connected component)들을 구분한 뒤, 목표 작물의 높이를 측정하기 위해 목표 작물 분할화(target object segmentation)을 진행 한다. 목표 작물 분할화는 높이 계산부(140)에서 작물 높이의 추정을 위해 필요한 부분만 인식하기 위하여 전체 사진 중 해당하는 작물만을 추출하는 과정을 의미한다.

이러한 일련의 과정으로 높이를 측정하려는 피사체가 전체 사진으로부터 분할되면 카메라와 초점과의 거리, 카메라와 이전에 계산하였던 피사체와의 거리 등을 이용한 관계식으로 작물의 높이를 계산한다.

분할된 목표 작물의 높이의 계산과 관련하여 도 4를 참조하여 이하에 설명하도록 한다.

이미지 센서에 맺힌 상의 실제 크기를 알기 위해서는 촬영된 픽셀의 실제 촬영 거리(Z)를 알아야만 한다. 거리 Z는 두개의 스테레오 영상에 촬영된 P점의 위치 차이를 통해 계산될 수 있으며 다음과 같다.

여기서, f는 초점거리, T는 카메라간 거리, x_l는 p_l의 x좌표(Q_l 좌표계 기준), x_r은 p_r의 x좌표(Q_r 좌표계 기준), x_l-x_r은 디스패리티(좌우 영상에 맺힌 픽셀 거리)를 나타낸다.

P(X,Y,Z)의 Z좌표 계산 → X 좌표 계산 가능 (아래는 기준 좌표계가 왼쪽카메라인 경우)

따라서 영상내 목표 작물의 높이는 목표 작물의 최고점 픽셀을 이용하여 높이가 계산 가능하게 되며 다음과 같이 계산될 수 있다.

작물의 높이 = Y + 카메라 높이 = (Z·(y))/f + 카메라 높이

여기서 Y는 카메라가 설치되어 있는 높이, y는 카메라 기준 좌표계의 높이(카메라로 촬영된 영상의 픽셀 높이)를 의미한다.

도 5는 전술한 바와 같은 높이 인식 절차에서의 오차가 발생될 수 있는 상황을 예시적으로 나타낸 도면이다. 도 5의 (a)에서와 같이 지면이 수평한 상태일 때 전수한 바와 같은 작물의 높이 인식은 비교적 정확하게 수행될 수 있다. 그러나 도 5의 (b)에 도시된 바와 같이 지면이 경사지게 된 경우 카메라의 광축이 노면의 경사 정도에 따라 대응하여 변화되고 이는 카메라에 의해 얻어진 영상에서의 작물의 높이에 영향을 주게 된다. 따라서 지면의 상태 또는 차량의 자세 상태에 따라 측정되는 작물의 높이가 보정될 필요가 있다.

본 발명의 실시예에서는 영상을 통해 계산된 작물의 높이를 보정하기 위해 트랙터의 무게 중심부에 자세측정 센서(220)가 제공되고, 자세측정 센서(220)는 트랙터의 요(yaw)(Z축), 피치(pitch)(X축), 롤(roll)(Y축)의 기울기 각을 실시간 측정하여 오차 보정부(150)로 전송하고 오차보정부(150)은 높이 계산부(140)에서 얻어진 높이에 대한 보정을 수행하게 된다.

도 6은 지면이 수평한 상태(yaw, pitch,l roll이 모두 0인 상태)에서의 센서 좌표계, 카메라 좌표계를 핀홀 카메라 모델로 변환한 것을 예시적으로 나타낸 도면이다. 이와 같이 자세측정 센서(220)로부터 측정된 yaw, pitch,l roll이 모두 0인 상태는 작물의 정확한 높이 측정이 가능한 기준 상태(즉, 기준 센서 좌표계, 기준 센서 카메라 좌표계)인 것으로 정의한다.

기준 좌표계에서 Y축은 지면과 수직한 아래 방향, X, Z는 지면과 평행하고 Z축은 작물을 향한 방향으로 가정한다. 기준 센서 좌표계와 기준 카메라 좌표계의 축들은 서로 동일한 방향을 가지며, 트랙터의 프레임이 강체라 가정했을 때 이동된 좌표계들도 각각의 축들이 기준 좌표계들과 동일한 방향을 나타낸다.

자세측정 센서(220)로부터 측정된 기울기 각을 이용하여 현재 센서 좌표계가 기준 센서 좌표계로부터 얼마만큼 회전이동을 알 수 있으며, 센서-카메라 설치 위치의 기구학적 거리를 통해 현재 이동된 카메라 좌표계가 구해질 수 있다. 촬영된 영상은 이동된 카메라 좌표계의 위치이며, 이를 기준 카메라 좌표계에서 바라본 좌표로 변환하면 기준 카메라 좌표계에서(기준 상태에서) 카메라를 통해 측정된 피사체가 추정될 수 있게 된다.

도 7은 트랙터의 자세측정 센서(220)의 센서 좌표계와 카메라 좌표계의 기준 좌표계와, 트랙터의 이동후 좌표계의 상관관계를 설명하기 위한 도면이다. 도 7에서,

(X-Y-Z)_t1이 이동전(기준) 센서 좌표계,

(X-Y-Z)_t2이 이동후(현재) 센서 좌표계,

(X-Y-Z)_c1이 이동전(기준) 카메라 좌표계,

(X-Y-Z)_c2이 이동후(현재) 카메라 좌표계,

P_c1 이 이동전(기준) 카메라 좌표계에서 계산된 피사체

P_c2이 이동후(현재) 카메라 좌표계에서 계산된 피사체를 각각 나타낸다.

자세측정 센서로부터 수신된 Yaw, pitch, roll 값을 이용하면

기준 센서 좌표계 (X-Y-Z)_t1 → 이동후 센서 좌표계 (X-Y-Z)_t2의 변환이 가능하며, 센서와 카메라의 기구학적 관계에 의해 이동후 카메라 좌표계 (X-Y-Z)_c2의 계산 가능하다.

변환행렬을 이용하면 c2 좌표계(이동후(현재) 카메라 좌표계)에서 바라본 Pc2를 t2좌표계(이동후(현재) 센서 좌표계))에서 바라본 Pt2(이동후(현재) 센서 좌표계에서 계산된 피사체)로, t1 좌표계(이동전(기준) 센서 좌표계)에서 바라본 Pt1(이동전(기준) 센서 좌표계에서 계산된 피사체)으로, c1 좌표계(이동전(기준) 카메라 좌표계)에서 바라본 Pc1(이동전(기준) 카메라 좌표계에서 계산된 피사체)로 변환가능하며, 여기서 계산된 Pc1은 트랙터가 평지에서(3축 기울기 값이 0)에서 촬영된 피사체로서 최종 보정된 결과가 된다.

도 8은 전술한 바와 같이 트랙터의 자세측정 센서(220)으로부터 피치 -5, 롤 10, 요 0의 값이 입력되었을 때 피치 0, 롤 0, 요 0이 되도록 보정한 이후의 Pc1의 이미지를 나타낸다.

구체적으로 실제 작물 높이는 65cm이며, 카메라를 이용하여 높이 값을 측정하였을 때, 경사도(pitch, roll,yaw)에 따라서 작물의 높이가 다르게 측정된다. pitch -5, roll 10, yaw 0 경사 조건에서 작물 높이데이터 측정 결과, 작물의 높이는 68.50 cm로 측정되었으며, 실제 작물 높이와 오차는 3.50 cm로 나타났다. 개발된 알고리즘으로 보정 후, 작물 값은 65.69 cm로 실제 작물 높이와 오차는 0.69 cm로 감소하였음을 알 수 있다.

다음으로 도 9을 참조하여 본 발명에 따른 작물 높이 센싱 알고리즘을 구비한 자율주행 트랙터의 자율 주행 동작에 대해 설명한다.

*

도 9는 본 발명에 따른 작물 높이 센싱 알고리즘을 구비한 자율주행 트랙터의 동작 흐름을 나타낸 흐름도이다. 도 9에 나타낸 바와 같이 먼저 단계 S100에서 사용자에 의해 자율주행 트랙터(10)의 작업모드가 설정된다. 단계 S100에서는 수동 주행모드 또는 자율주행모드가 사용자에 의해 선택될 수 있다.

단계 S110에서 자율주행모드가 선택된 경우 자율주행 제어부(100)는 단계 S120으로 진행하여 주행전방의 작물 영상을 촬영하고, 단계 S110에서 자율주행 모드가 아닌 수동주행 모드가 선택된 경우에는 단계 S180으로 진행하여 모든 자율주행 프로세스를 종료한다.

단계 S120에서 스테레오 카메라(C1,C2)에 의해 전방의 장애물 또는 작물이 촬영되고 생성된 각각의 스테레오 영상을 수신한다. 이와 동시에 자세측정 센서로부터 pitch, roll, yaw의 경사도 값이 측정된다.

단계 S130에서는 수신된 스테레오 영상을 이용하여 자율주행 제어부(100)는 작물의 높이를 계산하기 위한 작물높이 센싱 알고리즘 및 보정 알고리즘을 수행한다.

단계 S130에서 보정된 작물높이가 계산되면 자율주행 제어부(100)는 작물의 높이 기반하여 주행이 가능한지 여부와 차고의 높이 조절 여부를 판단하게 된다. 단계 S140에서 주행가능한 것으로 판단되거나 차고 높이 조절이 필요한 것으로 판단되면(즉 작물의 높이가 미리결정된 높이값 이하인 경우에는), 단계 S150에서 자율주행 제어부(100)는 엔진 및 차고 제어부에 차고 높이를 변경하고 계속하여 작업할 것을 지시하고, 단계 S140에서 주행불가능한 것으로 판단되면(즉 작물의 높이가 미리결정된 높이값을 초과한 경우에는), 단계는 S160으로 진행하여 자율주행 제어부(100)는 엔진 및 차고 제어부에 정지할 것을 지시한다.

단계 S170에서는 단계 S150 및 단계 S160과 같은 판단결과에 기반하여 자율주행을 종료하는 경우에는 단계 S180으로 진행하고 자율주행을 종료하지 않는 경우에는 단계는 S110으로 계속되어 단계 S110 ~ 단계S170을 반복하여 수행한다.

다음으로 도 10는 본 발명에 따른 작물높이 센싱 알고리즘의 흐름을 나타내는 흐름도이다.

도 10에 도시한 바와 같이, 단계 S120에서 스테레오카메라로부터 영상이 촬영되고 단계 S131에서 자율주행 제어부(100)의 영상수신부(110)에서 촬영된 스테레오 영상을 각각 수신하는 동시에 자세측정 센서(220)로부터 경사도값(pitch, roll,yaw)를 수신한다.

단계 S132에서 수신된 스테레오 영상은 대응맵 생성부(120)로 보내지고 대응맵 생성부(120)는 스테레오 영상을 이용하여 대응맵을 생성한다.

단계 S133에서 거리 계산부는 대응맵에 기반하여 목표 작물까지의 거리를 계산하고, 단계 S134에서 에지 검출을 통해 에지를 검출하고 에지 검출을 통해 연결된 구성요소들을 파악하고 이를 구성요소들별로 구분한다.(구분하는 의미가 맞는지 검토 필요)

단계 S135에서는 구분된 구성요소들에 기반하여 목표 작물을 확인하고 목표 작물의 높이를 검출하기 위해 목표 작물만을 분할하는 작업이 수행된다.

단계 S136에서는 분할된 목표 작물에 대해 작물의 높이를 계산하고, 단계 S137에서는 측정된 경사도값(pitch, roll,yaw)을 이용하여 현재의 트랙터의 카메라 좌표계에서 계사된 피사체 Pc2를 기준 센서 좌표계(Pt1)에서 바라본 Pc1(기준 카메라 좌표계에서 계산된 피사체)으로 변환하여 높이를 보정한다.

본 발명에 따르면 트랙터가 자율주행시 특정 높이의 작물을 만나게 되는 경우 작물의 높이를 계산하고 작물의 높이가 주행가능한 높이인 경우 자율주행을 계속 진행하고, 동시에 계산된 높이에 기반하여 트랙터의 차고의 높이를 승강시키는 반면 작물의 높이가 주행불가능한 높이인 것으로 판단된 경우 주행을 정하도록 구성되어 작물이 트랙터에 의해 손상 또는 훼손되는 것을 방지할 수 있게 되고, 또한 밭작업 기계화율을 증대시켜 밭농가에서 자율주행 트랙터 주행이 가능해질 뿐만 아니라, 장애물 인식을 통한 안전 확보에도 기여할 수 있다는 효과가 얻어질 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술분야에서 통상의 지식을 갖는 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 게시된 실시예는 본 발명의 기술 사상을 한정하기 위한 것이 아닌 설명을 위한 것이고, 이런 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.

따라서 본 발명의 보호 범위는 전술한 실시예에 의해 제한되기 보다는 아래의 청구범위에 의하여 해석되어야하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10: 자율주행 트랙터
100: 자율주행용 제어부
200: 스테레오 카메라
220: 자세측정 센서
110: 영상 수신부
120: 대응맵생성부
130: 거리계산부
140: 높이계산부
150: 오차보정부
300: 엔진제어부

Claims (6)

1. 높이 센싱 알고리즘을 구비한 자율주행 트랙터에 있어서,
   트랙터는 트랙터의 전방에 설치되는 스테레오 카메라, 트랙터의 무게 중심에 설치되어 트랙터의 기울기값을 측정하는 자세측정 센서, 트랙터의 자율주행을 위한 자율주행용 제어부를 구비하고,
   상기 스테레오 카메라는 트랙터의 자율주행시 전방의 물체를 스테레오방식으로 촬영하도록 구성되고,
   상기 자세측정 센서는 트랙터의 pitch, yaw, roll 값을 측정하도록 구성되고,
   상기 자율주행용 제어부는 상기 스테레오 카메라로부터 입력되는 스테레오 영상에 기반하여 전방 물체의 높이를 계산하도록 구성되고,
   상기 자율주행용 제어부는 측정된 트랙터의 pitch, yaw, roll 값을 이용하여 전방 물체의 높이를 보정하도록 구성되고,
   상기 자율주행용 제어부는, 상기 계산된 전방 물체의 높이에 기반하여 트랙터의 차고의 높이를 승강하거나, 자율주행을 계속 진행할 것인지 또는 자율주행을 정지할 것인지를 판단하도록 구성되고,
   상기 자율주행용 제어부는,
   자율주행 제어부는 복수의 스테레오 카메라로부터의 영상을 취득하는 영상 수신부;
   수신된 영상으로부터 거리 및 높이를 판단하는데 이용되는 대응맵(disparity map)을 생성하기 위한 대응맵 생성부;
   대응 맵으로부터 목표 장애물 또는 목표 작물까지의 거리를 계산하기 위한 거리계산부;
   적어도 거리계산부로부터 계산된 거리결과 이용하여 장애물 또는 작물의 높이를 계산하기 위한 높이 계산부;
   높이 계산부에서 계산된 높이 오차를 보정하기 위한 오차 보정부를 더 포함하고,
   상기 스테레오 카메라는 2개의 영상센서를 포함하는 카메라 비전 시스템으로 이루어지고,
   대응맵 생성부는 제1 및 제2 영상을 통해 매칭을 수행하고, 상기 매칭 방법은 상기 스테레오 영상으로 입력된 제1 영상 또는 제2 영상 중에서 하나의 영상을 기준 영상으로 설정하고, 선택된 기준 영상의 기준 픽셀 주위로 일정 영역의 블록을 설정하여, 선택되지 않은 나머지 영상에서 기준 영상의 상기 일정 영역의 블록과 대응되는 가장 유사한 영역을 찾아 변이를 추정하여 대응맵을 생성하고,
   상기 거리계산부는 대응맵을 이용하여 카메라로부터 목표 작물까지의 거리 검출을 수행한 후 에지 검출을 수행하고, 에지 검출을 수행하여 서로 연결된 구성요소들을 각각 구분하도록 구성되고,
   높이 계산부는 거리 계산부에서 에지 검출된 영상으로부터 서로 연결된 구성 요소들을 구분한 뒤 목표 작물의 높이 추정을 위해 대상이 되는 작물 영역만을 추출하는 목표 작물 분할화를 수행하여 목표 작물의 높이를 다음의 식 (1)과 같이 계산하고,
   목표 작물의 높이 = Y + 카메라 높이 = (Z·(y))/f + 카메라 높이 식(1)
   여기서 Y는 카메라가 설치되어 있는 높이, y는 카메라 기준 좌표계의 높이(카메라로 촬영된 영상의 픽셀 높이)를 의미하고,
   높이 오차 보정은 경사가 발생된 상태의 카메라 좌표계에서 투영된 피사체 좌표를, yaw, pitch, roll 이 모두 0인 기준 상태의 카메라 좌표계에서 바라본 좌표로 변환하여 수행되는 것을 특징으로 하는
   높이센싱 알고리즘을 구비한 자율주행 트랙터.
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제

Images