KR20240029162A - 로봇 자기위치 설정 방법 및 장치 - Google Patents

Abstract

본 발명에 따른 로봇 자기위치 설정 장치는 로봇의 외부 영상을 촬영하는 카메라부, 전달받은 상기 외부 영상에서 구조물의 관심 영역을 설정하고, 상기 관심 영역 내에서 대상으로 하는 상기 구조물의 특징을 인식하는 인식부, 상기 카메라부의 특성 정보, 설치 위치 정보, 설치 방향 정보 중 적어도 하나를 포함하는 카메라 정보와 상기 구조물의 높이 정보, 형태 정보, 길이 정보, 기울기 정보, 곡률 정보, 크기 정보 중 적어도 하나를 포함하는 구조물 정보 중 적어도 하나를 저장하는 저장부 및 상기 카메라 정보 및 구조물 정보 중 적어도 하나와 인식된 상기 구조물의 특징에 기초하여 상기 로봇의 구조물 내 횡방향 위치 및 종방향 위치 중 적어도 하나를 설정하는 위치설정부를 포함한다.

Description

로봇 자기위치 설정 방법 및 장치{METHOD FOR SETTING UP ROBOT SELF-POSITIONING AND APPRATUS FOR THE SAME}

본 발명은 로봇의 자기 위치 설정 방법 및 장치에 관한 것으로, 보다 구체적으로는 스마트팜 내 자율주행 하는 로봇의 자기위치 설정 방법 및 장치에 관한 것이다.

종래 노동집약적 산업인 농업에 다양한 IT 기술을 접목한 스마트팜(smart farm) 기반의 농업 기술이 주목받고 있다. 도 1에 나타내어진 바와 같은 스마트팜 에서는 사물인터넷 기반 센싱 기술을 통하여 수집된 정보나 로봇을 통해 수집된 정보를 분석하여 농장을 운영 관리한다.

또한 인구고령화 등의 영향으로 숙련인력을 확보하기가 점차 어려워지고 있어 로봇을 이용한 스마트팜 기술에 대한 연구가 활발하다. 이와 관련하여 온실 내에서 로봇을 이용한 스마트팜에서 로봇의 위치를 파악하고 이동 제어를 하기 위해 GPS 위성을 활용하는 경우, 위성 신호의 수신 감도가 좋지 않아 GPS기반 또는 실시간 이동측위(Real Time Kimematic;RTK) GPS 기반의 로봇 자기 위치설정(현지화(localization) 또는 측위(positioning)라고도 칭함) 기능을 활용할 수 없다

이러한 GPS 기반의 문제를 해소하기 위해 UWB(ultra wideband) 비컨(beacon)등의 인프라를 이용하는 방법을 적용할 수 있지만 이는 인프라 구축 및 관리 비용의 증대 문제가 있고, 바닥에 QR코드 또는 마크를 부착하는 방식을 이용하여 GPS 기반의 문제를 해소하는 방식 또한 부착된 마크의 시간 경과에 따른 훼손으로 인한 오작동 문제가 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 로봇에 설치된 카메라를 이용하여 온실의 지붕 구조물의 형태를 인식하고 그에 기반하여 로봇의 자기 위치 설정을 하는 방법 및 장치를 제공하는 데 있다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 로봇 자기위치 설정장치는 외부 영상을 촬영하는 카메라부, 전달받은 상기 외부 영상에서 구조물의 관심 영역을 설정하고, 상기 관심 영역 내에서 대상으로 하는 구조물의 특징을 인식하는 인식부, 상기 카메라부의 특성 정보, 설치 위치 정보, 설치 방향 정보 중 적어도 하나를 포함하는 카메라 정보와 상기 구조물의 높이 정보, 형태 정보, 길이 정보, 기울기 정보, 곡률 정보, 크기 정보 중 적어도 하나를 포함하는 구조물 정보 중 적어도 하나를 저장하는 저장부 및 상기 카메라 정보 및 구조물 정보 중 적어도 하나와 인식된 상기 구조물의 특징에 기초하여 상기 로봇의 구조물 내 횡방향 위치 및 종방향 위치 중 적어도 하나를 설정하는 위치설정부를 포함한다.

본 발명에 의하면, 스마트팜 기반 온실 내에서 동작하는 로봇이 자기위치를 설정하기 위해 미약한 GPS 신호에 의지하지 않고 온실의 지붕 구조물의 형태를 인식하여 정밀하게 로봇의 횡방향 위치 또는 종방향 위치를 설정할 수 있다.

도 1은 종래 기술에 따른 스마트팜을 나타내는 개념도이다.
도 2는 본 발명의 일 실시예에 따른 로봇 자기위치 설정 장치를 나타내는 구성도이다.
도 3은 종래 기술에 따른 스마트팜 기반 온실을 나타내는 개념도이다.
도 4a 내지 4d는 본 발명의 일 실시예에 따른 구조물 인식을 나타내는 개념도이다.
도 5는 본 발명의 일 실시예에 따른 스마트팜 기반 온실에서의 로봇 자기위치 설정을 나타내는 개념도이다.
도 6는 본 발명의 일 실시예에 따른 로봇 자기위치 설정 방법을 나타내는 흐름도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 몇몇 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 권리범위는 실시예로부터 관련되는 본 발명의 기술적 사상에 속하는 모든 변경, 변형, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에만, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 제시되는 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 출원에서 사용된 "상기" 및 이와 유사한 지시어는 단수 및 복수 모두를 지시하는 것일 수 있다. 또한 본 개시에 따른 방법을 설명하는 단계의 순서를 명백하게 지정하는 기재가 없다면, 기재된 단계들은 목적하는 바를 수행하기 위한 순서로 행해질 수 있다. 기재된 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다.

기술적이거나 과학적인 용어를 포함해서 본 명세서에서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있으며, 이상적이거나 과도하게 축소된 형식적인 의미로 해석되지 않아야 할 것이며, 본 명세서에서 어떤 용어의 의미를 정의할 경우 해 용어는 그 정의된 대로 해석되어야 한다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

스마트팜은 도 1에 나타내어진 바와 같이 비닐하우스, 유리온실, 축사 등에 사물인터넷 기술, 빅데이터, 인공지능, 로봇 등 기술을 접목하여 작물과 가축의 생육환경을 원격 및/또는 자동으로 적정하게 유지 관리하는 농장을 의미하며 단순원격 제어단계, 데이터 기반 정밀 생육관리 단계, 인공지능을 활용한 무인자동화 단계로 점차 발전하고 있다.

본 발명은, 도 3에 나타내어진 바와 같은 스마트팜 기반 온실 내에서 동작하는 로봇(팜봇이라고도 칭함)이 그에 설치된 카메라가 촬영한 온실의 지붕 구조물을 인식하고 그에 기초하여 로봇의 횡방향 위치 또는 종방향 위치를 설정하여 실내에서는 미약한 GPS신호나 훼손에 취약한 QR코드나 마크, 고가의 UWB 비컨 등에 의지하지 않고도 로봇이 자기 위치를 측위하는 구성을 요지로 한다. 이러한 측위에 기반하여 로봇은 온실 내에서 자율주행을 하며 파종, 수확, 비료나 약제 투여 등의 여러 동작을 수행할 수 있다.

도 2는 본 발명의 일 실시예에 따른 로봇 자기위치 설정 장치를 나타내는 구성도이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 로봇 자기위치 설정 장치(200)는 외부 영상을 촬영하는 카메라부(210), 온실 지붕 등과 같은 목표 대상에서 구조물의 특징을 인식하는 인식부(220), 카메라의 특성 정보 등과 구조물의 높이 정보 등을 저장하는 저장부(230), 저장부(230)의 카메라 정보 및 구조물 정보와 인식된 구조물의 특징에 기초하여 로봇의 자기위치를 설정하는 위치설정부(240)를 포함한다.

본 발명의 일 실시예에 따른 로봇 자기위치 설정 장치(200)의 카메라부(210)는 스마트팜 내에서 움직이며 파종, 농약 살포, 비료 투여, 작물 상태 관리, 수확 등을 하는 로봇(팜봇)에 설치되는 하나 이상의 카메라를 의미한다. 본 발명의 카메라부(210)는 작물, 스마트팜 실내나 특정 구조물, 토양 등과 같은 로봇 외부의 영상을 촬영하고, 그 촬영된 외부 영상을 로봇 자기위치 설정 장치(200)의 인식부(220)로 전달한다.

로봇에 설치되는 카메라부(210)의 카메라는 구현 방식에 따라 로봇의 다양한 위치에 설치될 수 있고 다양한 방향을 주시하도록 설치될 수 있다(즉, 복수의 카메라가 설치된 경우 각각의 카메라마다 설치되는 위치와 주시 방향이 다르게 설치될 수 있다). 또한, 필요시 로봇 자체의 판단이나 센싱에 기초하여 자동으로나 운영자의 제어에 의해 로봇의 카메라 위치나 카메라 주시 방향이 변동되도록 구현될 수 있다.

본 발명의 로봇 자기위치 설정 장치(200)의 인식부(220)는 카메라부(210)로부터 전달받은 외부 영상에 관심 영역을 설정한다. 일례로 인식부(220)가 카메라부(210)로부터 전달받은 외부 영상이 도 4a에 나타내어진 바와 같이 온실의 상단부분이 촬영된 영상이라면, 인식부(220)는 도 4b에 나타내어진 바와 같이 온실의 천정 구조물을 관심영역으로 설정할 수 있다.

본 발명의 인식부(220)는 설정된 관심영역에서 인식 목표로 설정된 구조물의 특징을 인식한다. 인식되는 구조물의 특징은 구조물의 위치, 구조물의 높이, 구조물의 형태, 구조물의 길이, 구조물의 기울기, 구조물의 곡률, 구조물의 기울기, 구조물의 크기 등을 포함하며, 인식부(220)는 인식된 구조물의 특징에 대한 정보(이하 구조물 특징 정보라 칭함)를 생성하여 후술할 위치인식부(240)로 전달한다.

본 발명의 인식부(220)는 구조물의 특징 중 특징선을 인식하는 방식으로 구조물의 특징을 인식할 수 있다. 이때, 본 발명의 인식부(220)는 자율주행 자동차의 차선 인식 기술을 이용하여 구조물을 인식할 수 있고, 영상 인식 관련 인공지능 기술(일례로, 딥러닝 기술)을 이용하여 구조물을 인식할 수 있다.

일례로, 관심영역이 온실의 천정 구조물이라면 인식 목표 구조물의 특징은 도 4c에 나타내어진 바와 같이 온실 천정의 종방향 및/또는 횡방향의 골격형 지지대로서, 이 경우 종방향 및/또는 횡방향의 골격형 지지대를 구조물의 특징인 특징선으로 인식할 수 있다. 즉, 인식부(220)는 구조물의 특징선의 기울기, 특징선의 곡률 정보, 특징선의 순서를 인식할 수 있다.

또한 인식부(220)는 출입문으로부터 몇번째 특징선이 인식되는지를 파악할 수 있다(즉, 출입문으로부터 몇번째 지붕 구조물인지 인식). 또한 인식부(220)는 도 4d에 나타내어진 바와 같이 구조물의 특징 중 시작 및/또는 마지막 골격형 지지대인지 여부를 인식할 수 있다.

본 발명의 로봇 자기위치 설정 장치(200)의 저장부(230)는 카메라부(210)의 카메라의 특성, 카메라의 설치 위치, 카메라의 주시 방향에 관한 정보인 카메라 정보와 구조물의 위치, 구조물의 높이, 구조물의 형태, 구조물의 길이, 구조물의 기울기, 구조물의 곡률, 구조물의 기울기, 구조물의 크기 등에 대한 정보인 구조물 정보를 저장한다. 이때 로봇 자기위치 설정 장치는 유무선 방식으로 구조물 정보를 수신할 수 있다. 즉, 본 발명의 자기위치 설정 장치가 설정된 로봇이 특정 온실에서만 동작하지 않고 다른 온실에서도 동작할 때 필요한 해당 온실의 구조물 정보를 유무선 통신을 통해 전달받아 저장부(230)에 저장할 수 있다.

한편, 카메라의 주시 방향은 상대 주시 방향(간접 주시 방향이라고도 칭함)과 절대 주시 방향(직접 주시 방향이라고도 칭함)이 가능하다. 상대 주시 방향은 로봇을 기준으로 할 때 로봇에 설치된 카메라의 설치방향을 의미하고, 절대 주시 방향은 카메라가 주시하는 방향으로 로봇의 정면 방향과 카메라의 설치 방향에 기초하여 결정된다.

본 발명의 로봇 자기위치 설정 장치(200)의 위치설정부(240)는 저장부(230)로부터 전달받는 카메라 정보와 구조물 정보와 인식부(220)로부터 전달받은 구조물 특징 정보를 이용하여 도 5에 나타내어진 바와 같이 로봇의 횡방향 위치 및/또는, 종방향 위치를 설정할 수 있다. 즉, 본 발명의 위치설정부(240)는 로봇이 배치된 온실의 구조물 정보와 인식부가 인식한 온실의 구조물 특징 정보를 비교하여 로봇의 횡방향 위치와 종방향 위치 중 적어도 하나를 설정할 수 있다(한편, 종방향 위치는 라이다(lidar)를 이용해 설정될 수도 있다). 이때 위치설정부(240)는 온실의 구조물 특징 정보를 인식할 때 카메라 정보를 고려하여 인식한다(카메라부의 위치와 주시 방향에 따라 인식되는 구조물 특징 정보가 변동될 수 있기 때문에 이를 방지하기 위함).

또한, 본 발명의 위치설정부(240)는 출입구로부터의 로봇의 모터 구동 정도로부터 파악한 위치 정보를 이용하여 더욱 정확하게 로봇의 횡방향 위치와 종방향 위치 중 적어도 하나를 설정할 수 있다. 그리고, 본 발명의 위치설정부(240)에서 로봇의 횡방향 위치 및/또는 종방향 위치를 설정할 때 카메라 영상의 좌표계와 로봇의 내부 좌표계가 다른 경우 카메라 영상의 좌표계를 로봇의 내부 좌표계로 변환할 수 있다. 위치설정부는 설정된 로봇의 횡방향 위치 및/또는 종방향 위치에 관한 정보를 후술할 제어부(250)로 전달한다.

본 발명의 로봇 자기위치 설정 장치(200)의 제어부(250)는 위치설정부(240)로부터 전달받은 로봇의 횡방향 위치 및/또는 종방향 위치 정보에 기초하여 로봇의 자율주행(이동과 정지) 제어를 수행한다. 이외에도 제어부(250)는 스마트팜으로부터 별도의 제어명령도 수신하여 로봇을 제어할 수 있다(즉, 로봇의 이동 또는 정지와 같은 구동 외에도, 수확, 파종, 투여 등의 동작 관련 제어를 수행할 수 있음).

본 발명의 로봇 자기위치 설정 장치(200)가 설치된 로봇은 스마트팜 기반 온실의 바닥에 설치된 레일을 따라 이동할 수 있으며 이 경우 로봇의 횡방향 위치와 종방향 위치 파악의 정확도를 더욱 높일 수 있다.

도 6은 본 발명의 일 실시예에 따른 로봇의 자기 위치 설정 장치를 이용한 로봇의 자기 위치 설정방법을 나타내는 흐름도이다.

팜봇의 로봇 자기위치 설정 장치(200)에 설치된 카메라부(210)가 외부 영상을 획득한다(S610). 본 발명의 인식부(220)는 카메라부(210)로부터 전달받은 외부 영상에서 팜봇이 동작할 구조물의 관심 영역을 설정한다(S620). 본 발명의 인식부(220)는 설정된 관심 영역에서 구조물의 특징을 인식한다(S630). 인식부(220)는 위치설정부(240)에게 인식된 구조물 특징 정보를 위치설정부(240)로 전달한다.

본 발명의 위치설정부(240)는 저장부로부터 전달받는 카메라 정보와 구조물 정보와 인식부로부터 전달받은 구조물 특징 정보에 기초하여 구조물 내에서의 로봇의 횡방향 및 종방향 위치를 설정한다(S640). 즉, 위치설정부(240)는 로봇이 배치된 온실의 구조물 정보와 인식부가 인식한 온실의 구조물 특징 정보를 비교하여 구조물 내에서의 로봇의 횡방향 위치 및/또는 종방향 위치를 설정할 수 있다. 위치설정부(240)가 온실의 구조물 특징 정보를 인식할 때 전술한 바와 같이 카메라 정보를 고려하여 인식한다.

본 발명의 제어부(250)는 설정된 로봇의 횡방향 위치와 종방향 위치에 기초하여 로봇의 온실 내에서의 위치를 결정한다(S650). 제어부(250)는 결정된 로봇의 위치에 기초하여(또는 스마트팜으로부터 전달받은 제어명령도 같이 이용하여) 로봇을 제어한다(S660).

이상의 실시예들은 하나 이상의 프로세서, 메모리, 및 저장수단을 포함하는 다양한 형태의 컴퓨팅 수단을 이용하여 구현될 수 있다. 또한 유무선 네트워크에 연결된 네트워크 인터페이스를 포함할 수 있다. 상기 프로세서는 메모리 및/또는 저장 유닛에 저장된 처리 명령어를 실행하는 중앙 처리 유닛 또는 반도체 장치일 수 있다. 상기 메모리 및 상기 저장 유닛은 휘발성 저장 매체 또는 비 휘발성 저장 매체를 포함할 수 있다. 예컨대, 상기 메모리는 ROM 및 RAM을 포함할 수 있다. 따라서, 본 발명의 실시예들은 컴퓨터로 구현하는 방법 또는 상기 컴퓨터상에 저장된 컴퓨터 실행 가능 명령어를 가진 비(non)-일시적 컴퓨터 판독 가능 매체로서 구현될 수 있다. 본 발명의 일 실시예에서, 프로세서에 의해 실행될 때, 컴퓨터 판독 가능 명령은 본 발명의 적어도 한 양태에 따른 방법을 수행할 수 있다.

이상, 본 발명의 바람직한 실시예를 통해 본 발명의 구성에 대하여 상세히 설명하였다. 그러나 전술한 실시예는 예시에 불과한 것으로서, 본 발명의 권리범위를 제한하지 아니한다. 본 발명의 기술분야에 통상의 지식을 가진 자라면 본 명세서의 교시와 시사로부터 본 발명의 기술적 사상의 범주내의 다양한 변형과 변경이 가능할 것이다. 예컨대, 인식부(220) 및 위치설정부(240)는 하나의 모듈로 통합되어 구현되거나 또는 둘이나 그 이상의 장치로 분할하여 구현될 수 있다. 따라서, 본 발명의 보호범위는 이하의 특허청구범위의 기재에 의하여 정하여짐이 마땅하다.

Claims (1)

1. 로봇의 외부 영상을 촬영하는 카메라부;
   전달받은 상기 외부 영상에서 구조물의 관심 영역을 설정하고, 상기 관심 영역 내에서 대상으로 하는 상기 구조물의 특징을 인식하는 인식부;
   상기 카메라부의 특성 정보, 설치 위치 정보, 설치 방향 정보 중 적어도 하나를 포함하는 카메라 정보와 상기 구조물의 높이 정보, 형태 정보, 길이 정보, 기울기 정보, 곡률 정보, 크기 정보 중 적어도 하나를 포함하는 구조물 정보 중 적어도 하나를 저장하는 저장부; 및
   상기 카메라 정보 및 구조물 정보 중 적어도 하나와 인식된 상기 구조물의 특징에 기초하여 상기 로봇의 구조물 내 횡방향 위치 및 종방향 위치 중 적어도 하나를 설정하는 위치설정부를 포함하는 로봇 자기위치 설정 장치.