KR20220065524A - 팜봇의 레일 탑승 제어장치 - Google Patents

Abstract

본 발명은 팜봇의 레일 탑승 제어장치에 관한 것이다.
본 발명은 주변 상황인지를 위한 데이터 프레임을 일정한 시간 간격으로 데이터 프레임을 획득하는 센서부; 상기 센서부에 의해 획득한 데이터 프레임를 이용하여 레일을 검출하고 레일의 라인정보를 설정하는 검출부; 상기 레일의 라인정보를 이용하여 진입선을 설정하고, 진입선을 실좌표계로 변환하고, 진입선상에서 진입점을 설정하고, 진입점으로 이동하기 위한 구동정보를 설정하는 제어부; 및 상기 제어부에 의해 설정된 구동정보에 따라 팜봇을 이동하시키는 구동부를 포함한다.

Description

팜봇의 레일 탑승 제어장치{Farm robot's rail boarding control device}

본 발명은 농장(스마트팜)에서 팜봇(농장용 로봇)을 활용함에 있어 특히, 주행 경로에 레일이 설치된 경우, 팜봇이 레일을 탑승하기 위한 검출, 판단 제어를 하기 위한 장치 및 방법에 관한 것이다.

스마트팜 보급이 활성화되고, 팜봇 활용이 증가하고 있다.

일부 온실형 스마트팜에는 바닥에 레일을 설치하여 운반 카트의 이동 보조용으로 활용하고 있다.

이러한 스마트팜에서 팜봇을 운영함에 있어 팜봇이 자율적으로 이동하기 위해서는 일반적인 자율주행 기술뿐만 아니라, 필요에 따라 레일에 탑승하기 위한 기술이 필요하게 된다.

하지만, 팜봇이 레일에 탑승하기 위해서는 정확한 위치 설정이 필요하나 실외인 경우에는 GPS-RTK를 사용하여 정확한 위치설정이 가능하지만 실내에서는 정확도가 많이 떨어지는 문제점이 있다.

또는, 고성능의 라이다(Lidar)를 활용하여, 지도작업(mapping), 위치설정(localization)을 수행할 수 있지만, 고비용이 들고, 고성능의 라이다를 활용할 수 없는 환경적 제약이 따르는 경우가 많다.

또는, 마그네틱을 매설하거나, QR코드등의 마크를 바닥 또는 기구물에 부착하여 활용하는 경우가 많지만, 정형화되지 않은 농업환경에서 활용은 어려운 문제점이 있다.

본 발명은 종래 문제점을 해결하기 위한 것으로, 일반적으로 활용하는 센서, 카메라, 중/저가의 라이다, 댑스 카메라 등을 이용하여, 팜봇이 레일을 탑승하기 위한 진입선과 진입점(위치, 방향)을 설정하고, 진입점으로 이동하기 위한 팜봇의 제어 장치와 방법을 제공하고자 한다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 팜봇의 레일 탑승 제어장치는 주변 상황인지를 위한 데이터 프레임을 일정한 시간 간격으로 데이터 프레임을 획득하는 센서부; 상기 센서부에 의해 획득한 데이터 프레임를 이용하여 레일을 검출하고 레일의 라인정보를 설정하는 검출부; 상기 레일의 라인정보를 이용하여 진입선으로 설정하고, 진입선을 실좌표계로 변환하고, 진입선상에서 진입점을 설정하고, 진입점으로 이동하기 위한 구동정보를 설정하는 제어부; 및 상기 제어부에 의해 설정된 구동정보에 따라 팜봇을 이동하시키는 구동부를 포함한다.

상기 제어부는 레일의 라인정보와 저장부에 저장된 센서부의 설치 위치정보, 팜봇의 위치정보, 센서의 특성정보, 레일 정보 등 하나 이상의 정보를 이용하여 진입선을 설정할 수 있다.

그리고, 상기 센서부는 카메라 센서 또는 라이다 센서 또는 DEPTH 카메라 중 하나 인 것이 바람직하다.

본 발명의 일 실시예에 따르면, 영상 정보 획득 센서를 활용하여 레일이 설치되어 있는 농장 또는 스마트팜에서 팜봇이 레일 탑승을 위한 정확한 진입선 및 진입점을 설정하고, 구동부를 제어함으로써 팜봇이 레일에 탑승할 수 있는 효과가 있다.

도 1은 본 발명에 따른 팜봇의 레일 탑승 제어장치를 설명하기 위한 구성블록도.
도 2a 및 도 2b는 본 발명의 팜봇의 레일 탑승을 위하여 제어에 대한 실시 예를 설명하기 위한 참고도.
도 3 내지 도 5는 본 발명의 일 실시예에서 영상 프레임에서 레일을 검출하는 과정을 설명하기 위한 참고도.
도 6은 본 발명의 일 실시예에서 검출된 레일의 라인정보(y=ax+b) 설정 예를 설명하기 위한 참고도.
도 7은 본 발명의 일 실시예에 따른 팜봇의 레일 탑승 제어 방법을 설명하기 위한 순서도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

도 1은 본 발명에 따른 팜봇의 레일 탑승 제어장치를 설명하기 위한 구성블록도이다.

본 발명의 일실시예에 따른 팜봇의 레일 탑승 제어장치는 센서부(100), 검출부(200), 제어부(300) 및 구동부(400)를 포함한다.

센서부(100)는 주변 환경인지를 위하여 일정한 시간 간격으로 데이터 프레임을 획득한다.

검출부(200)는 센서부(100)에 의해 획득한 데이터 프레임에서 레일을 검출하고, 검출된 레일에서 라인정보를 설정한다.

제어부(300)는 상기 레일의 라인정보를 이용하여 진입선을 설정하고, 진입선을 실좌표계로 변환한다. 이를 위해, 저장부(500)에는 실좌표계(월드좌표계 또는 로봇좌표계)를 통해 구현된 MAP가 저장되어 관리된다.

그리고 제어부(300)는 저장부(500)에 저장된 MAP의 실좌표계를 기준으로 센서부(100)의 좌표계(영상좌표계)에 의한 검출된 진입선을 실좌표계에 매칭된 진입선으로 변환한다.

또한 제어부(300)는 레일의 라인정보를 이용하여 팜봇이 레일 탑승을 위해 변환된 실좌표계에 매칭된 실제 진입선과 팜봇의 GSP 현재위치(P)를 기반으로 진입선상에서 진입점을 설정하고, 진입점으로 이동하기 위한 구동정보를 설정한다.

구동부(400)는 제어부(300)의 구동정보를 기반으로 팜봇을 이동시킨다.

한편, 본 발명의 일실시예에 따른 저장부(500)에는 실좌표계를 기준으로 작성된 MAP이 저장되고, 팜봇의 기준점(중심점) 대비 센서부(100)의 설치 위치, 설치 방향 정보를 포함한다.

그리고 저장부(500)는 레일의 굵기, 레일 폭, 지면에 대한 높이 등의 레일 정보를 포함할 수 있고, 센서부(100)의 특성, 즉 카메라인 경우에는 해상도, focal length, FOV, pixel size, pixel 크기 등의 센서의 특성정보를 포함할 수 있다.

그리고, 저장부(500)는 팜봇의 크기 등의 형상정보를 포함할 수 있다.

도 2a 및 도 2b는 본 발명의 팜봇의 레일 탑승을 위하여 제어에 대한 실시 예를 설명하기 위한 참고도이다.

본 실시예에서는 센서부(100)를 카메라라 가정하고, 팜봇(201)이 자율주행 또는 기타 다른 방법으로 탑승 레일 근처까지 이동하여 레일에 탑승하고자 하는 실시 예를 설명한다.

먼저, 센서부(100)인 카메라는 탑승할 레일이 있는 영상프레임을 캡쳐하여(208, 도 3) 검출부(200)에 제공한다.

그러면, 검출부(200)는 필요에 따라 도 4에 도시된 바와 같이, 일정한 영역(a)을 설정하여 검출 과정을 수행할 수 있다.

이후, 검출부(200)는 캡쳐된 영상 프레임에서 도 5에 도시된 바와 같이 레일(202)을 검출한다. 여기서 레일 검출 관련 기술은 자동차의 차선유지장치 또는 차선이탈 방지를 위한 차선 검출 기술을 활용하면 어렵지 않게 구현 가능하다.

검출부(200)는 도 6에 도시된 바와 같이, 상기 검출된 레일의 라인정보(예:y=ax+b)를 설정한다.

검출부(200)는 레일의 왼쪽 라인정보(203: yl=a1*x+b1) 또는 오른쪽 라인정보(204: yr=a2?x+b2)등 하나 이상의 라인정보를 제공한다.

검출부(200)가 검출하는 레일의 라인정보는 레일의 엣지(edge) 검출 후 설정 가능하다.

제어부(300)는 레일의 왼쪽 또는 오른쪽 하나 이상의 라인정보를 이용하여 진입선(205)을 설정한다.

한편, 팜봇(201)에 설치된 센서부(100)인 카메라가 정중앙에 위치하는 경우, 진입선은 하기의 [수학식 1]과 방법으로 설정할 수 있다.

[수학식 1]

진입선=-(b1/a1+b2/a2)(2)x +(b1+b2)(2), if a1, a2 동일한 부호일 경우,

이에 반해, 카메라가 팜봇(201)의 정중앙에 위치하지 않는 경우, 센서의 설치 위치를 고려하여 보정된 진입선을 설정한다.

제어부(300)는 레일의 특성을 고려하여 실좌표계 진입선을 설정할 수 있다.

제어부는 라인정보를 이용하여 다양한 방법으로 진입선을 설정할 수 있다.

제어부(300)는 도 2a에 도시된 바와 같이, 진입선에서 팜봇(201)이 현재위치, 팜봇(201)의 구동특성, 장애물의 유무에 따라 진입이 가능한 구간을 한정할 수 있다.

따라서, 제어부(300)는 이동 방식, 진입 거리 및 이동 효율에 따라, 진입점 설정을 다르게 할 수 있다.

먼저, 팜봇(2010이 현재위치(P)에서 1차원(x축)으로 이동해야 할 경우, 진입선상에 있는 진입점{X}(206)을 진입점으로 설정한다.

한편, 제어부(300)는 현재위치(P)에서 2차원(x축, y축)으로 이동 가능할 경우, 진입선상에 있는 가장 가까운 진입점2{X2, Y2}(207)를 진입점으로 설정할 수 있다.

반면에, 제어부(300)는 팜봇(201)의 현재 위치, 팜봇(201)의 구동 특성과 이동 효율성을 고려하여 2차원 진입점3{X3, Y3}(209)을 진입선(205)상에서의 최적의 진입점으로 설정할 수도 있다.

통상적으로, 장애물을 포함한 MAP을 구성하고, 현재의 위치에서 최적의 진입점과 진입점으로의 이동경로를 설정하는 RRT(Rapidy exploring randon tree) 알고리즘과 같은 다양한 방법들이 있다.

제어부(300)는 현재위치(P) 대비 진입점으로 이동하기 위한 구동정보를 설정한다.

이때, 제어부(300)는 팜봇(201)의 이동속도, 이동방향, 이동경로 등 하나 이상의 정보를 이용하여 구동정보를 설정할 수 있다.

그리고 제어부(300)는 팜봇(201)의 현재 위치와 진입점을 기반으로 최적의 이동경로 등 구동정보를 설정한다.

제어부(300)는 팜봇(201)의 구동 특성과 이동 효율성을 고려하여 최적의 진입점과 구동정보를 동시에 설정 설정할 수 있다.

제어부(300)는 구동정보에 기반하여 팜봇(201)을 구동하기 위한 제어신호를 구동부(400)로 제공한다.

구동부(400)는 제어신호에 따라 팜봇(201)을 이동하여 진입점으로 이동하게 한다.

제어부(300)는 레일의 왼쪽 또는 오른쪽 하나의 라인정보를 이용하여, 레일폭등의 레일형상정보를 이용하여 진입선 설정이 가능하다.

제어부(300)는 카메라의 설치 위치를 고려한 진입선(205)을 설정할 수 있다.

제어부(300)는 팜봇(201)의 현재 위치를 고려한 진입선(205)을 설정할 수 있다.

제어부(300)는 센서부(100)의 특성정보(예: 카메라인 경우, 이미지 센서의 해상도, focal length, pixel 크기, FOV등)를 이용하여 진입선(205)을 설정할 수 있다.

본 발명에서 위치라 함은 도 2b에 도시된 바와 같이, {X, Y} 또는 {X,Y, Z}위치와 방향정보를 포함한다.

제어부(300)는 구동정보를 설정함에 있어, 한번에 진입점까지 가기 위한 구동정보를 설정할 수 있으며, 필요에 따라 점차적으로 진입점으로 이동하기 위한 구동정보를 설정할 수 있다.

통상적으로, 영상 이미지에서의 레일의 라인정보, 또는 진입선 정보 등은 영상센서의 좌표계의 정보를 로봇기준의 2차원적-실좌표계를 기준으로 변환하여 사용한다.

팜봇(201)의 기준점 대비 센서의 위치, 센서의 방향, 센서의 특성을 반영하여 변환하며, 팜봇(201)의 실좌표계(로봇좌표계 또는 월드좌표계) 기준으로 정보를 변환, 설정하여 활용한다.

이러한 변환은 통상적인 수준의 엔지니어가 활용하는 기술에 속한다.

또한, 팜봇(201)이 이동하기 위한 진입점 위치정보는 절대좌표를 이용할 수 있고, 팜봇(201)의 위치에 대한 상대 좌표로 설정 및 활용할 수 있다.

진입선상 또는 탑승완료를 판단하는 것은 도 7에서 alpha + beta = 0 이거나, 0부근의 값인 경우 진입선상 또는 탑승완료임을 판단할 수 있다.

또한, 상기 발명은 한번에 진입점까지 이동할 수 있지만, 여러 번 반복 수행을 통하여 진입점에 이동할 수 있다.

이하, 하기에서는 본 발명의 일 실시예에 따른 팜봇의 레일 탑승 제어 방법에 대하여 도 7을 참조하여 설명하기로 한다.

먼저, 팜봇(201)이 자율주행 또는 기타 다른 방법으로 탑승 레일 근처까지 이동한다(S710).

이어서, 센서부(100)에 의해 탑승할 레일이 있는 영상프레임을 캡쳐한다(S720).

검출부(200)에 의해, 캡쳐된 영상 프레임에서 레일(202)을 검출한다(S730). 여기서 레일 검출 관련 기술은 자동차의 차선유지장치 또는 차선이탈 방지를 위한 차선 검출 기술을 활용하면 어렵지 않게 구현 가능하다.

이후, 검출부(200)를 통해, 검출된 레일의 라인정보(예:y=ax+b)를 설정한다(S740). 본 실시예에서의 검출부(200)는 레일의 왼쪽 라인정보(203: yl=a1*x+b1) 또는 오른쪽 라인정보(204: yr=a2*x+b2)등 하나 이상의 라인정보를 제공한다.

이어서, 제어부(300)를 통해, 레일의 왼쪽, 오른쪽 라인정보를 이용하여 진입선(205)을 설정한다(S750). 본 실시예에서는 팜봇(201)에 설치된 센싱부(100)인 카메라가 정중앙에 위치하는 경우, 진입선은 하기의 [수학식 1]과 방법으로 설정할 수 있다.

이후, 제어부(300)는 레일의 특성을 고려하여 실좌표계 진입점을 설정한다(S760). 한편, 제어부(300)는 진입선에서 팜봇(201)이 현재위치, 팜봇(201)의 구동특성, 장애물의 유무에 따라 진입이 가능한 구간을 한정할 수 있다. 따라서, 제어부(300)는 이동 방식, 진입 거리 및 이동 효율에 따라, 진입점 설정을 다르게 할 수 있다.

먼저, 팜봇(2010이 현재위치(P)에서 1차원(x축)으로 이동해야 할 경우, 진입선상에 있는 진입점{X}(206)을 진입점으로 설정한다.

한편, 제어부(300)는 현재위치(P)에서 2차원(x축, y축)으로 이동 가능할 경우, 진입선상에 있는 가장 가까운 진입점2{X2, Y2}(207)를 진입점으로 설정할 수 있다.

반면에, 제어부(300)는 팜봇(201)의 현재 위치, 팜봇(201)의 구동 특성과 이동 효율성을 고려하여 2차원 진입점3{X3, Y3}(209)을 진입선(205)상에서의 최적의 진입점으로 설정할 수도 있다.

통상적으로, 장애물을 포함한 MAP을 구성하고, 현재의 위치에서 최적의 진입점과 진입점으로의 이동경로를 설정하는 RRT(Rapidy exploring randon tree) 알고리즘과 같은 다양한 방법들이 있다.

이와 같이, 상기와 같은 다양한 방법으로, 제어부(300)는 현재위치(P) 대비 진입점으로 이동하기 위한 구동정보를 설정한다(S770). 이때, 제어부(300)는 팜봇(201)의 이동속도, 이동방향, 이동경로 등 하나 이상의 정보를 이용하여 구동정보를 설정할 수 있다. 그리고 제어부(300)는 팜봇(201)의 현재 위치와 진입점을 기반으로 최적의 이동경로 등 구동정보를 설정한다.

또한, 제어부(300)는 팜봇(201)의 구동 특성과 이동 효율성을 고려하여 최적의 진입점과 구동정보를 동시에 설정 설정할 수 있다. 제어부(300)는 구동정보에 기반하여 팜봇(201)을 구동하기 위한 제어신호를 구동부(400)로 제공한다.

이후, 구동부(400)는 제어신호에 따라 팜봇(201)을 이동하여 진입점으로 이동하게 한다(S780).

한편, 진입선상 또는 탑승완료를 판단하는 것은 alpha + beta = 0 이거나, 0부근의 값인 경우 진입선상 또는 탑승완료임을 판단할 수 있다.

제어부(300)는 레일의 라인정보를 이용하여 다양하게 탑승완료를 판단할 수 있다.

이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.

Claims (1)

1. 주변 상황인지를 위한 데이터 프레임을 일정한 시간 간격으로 데이터 프레임을 획득하는 센서부;
   상기 센서부에 의해 획득한 데이터 프레임를 이용하여 레일을 검출하고 레일의 라인정보를 설정하는 검출부;
   상기 레일의 라인정보를 이용하여 진입선을 설정하고, 진입선을 실좌표계로 변환하고, 진입선상에서 진입점을 설정하고, 진입점으로 이동하기 위한 구동정보를 설정하는 제어부; 및
   상기 제어부에 의해 설정된 구동정보에 따라 팜봇을 이동하시키는 구동부를 포함하는 팜봇의 레일 탑승 제어장치.
   

Images