KR102347511B1 - 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇 및 이의 제어 방법 - Google Patents

Abstract

본 발명은 잔디깍기 작업 영역을 촬영한 영상을 분석하여 이동경로 및 활동 영역을 생성하여 효율적인 작업 동작 제어가 가능하도록 한 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇 및 이의 제어 방법에 관한 것으로, 잔디깍기 로봇의 본체에 설치되어 작업 개시 이전에 작업 영역의 전체 영역을 촬상하는 작업영역 촬영부;작업영역 촬영부에서 촬영된 영상을 분석하는 영상 분석부;영상 분석부의 분석 결과를 기준으로 잔디에 관하여 미리 학습시킨 특징들을 이용하여, 잔디밭에 있는 식물들을 잔디와 잔디가 아닌 것으로 구분하고 잔디 상태를 판단하는 식물 특성 판단부;영상 분석부의 분석 결과를 기준으로 잔디경계선을 산출하는 잔디 경계선 산출부;잔디 경계선 산출부에서 산출된 잔디 경계선을 기준으로 작업 영역을 지정하고, 작업을 위한 이동 경로를 생성하는 작업 영역 지정 및 이동경로 생성부;작업 영역 지정 및 이동경로 생성부에서 지정된 영역 및 이동경로를 주행하면서 잔디깍기 작업을 수행하기 위한 제어를 하는 주행 및 작업 제어부;를 포함하는 것이다.

Description

잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇 및 이의 제어 방법{Robotic lawn mower using image processing of lawn boundary and Method for Controlling the same}

본 발명은 잔디 깎기 장치에 관한 것으로, 구체적으로 작업 영역을 촬영한 영상을 분석하여 이동경로 및 활동 영역을 생성하여 효율적인 작업 동작 제어가 가능하도록 한 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇 및 이의 제어 방법에 관한 것이다.

잔디 깎기 장치(lawn mower)는 가정의 마당이나 운동장 등에 심어진 잔디를 다듬기 위한 장치이다. 이러한 잔디깎기 장치는 가정에서 사용된 가정용과, 넓은 운동장이나 넓은 농장에서 사용되는 트랙터용 등으로 구분되기도 한다.

가정용 잔디 깎기 장치에는 사람이 직접 잔디 깎기를 뒤에서 끌고 다니며 잔디를 깍는 워크 비하인드(walk behind)타입과, 사람이 직접 손으로 들고 다니는 핸드 타입이 존재한다.

그러나 두 타입의 잔디 깎기 장치 모두 사람이 직접 잔디 깎기 장치를 작동시켜야 하는 번거로움이 있다.

특히, 현대의 바쁜 일상 속에서 잔디 깎기 장치를 사용자가 직접 작동하여 마당의 잔디를 깍기 어려우므로, 잔디를 깍을 외부의 사람을 고용하는 것이 대부분이고, 이에 따른 고용 비용이 발생된다.

따라서, 이러한 추가적인 비용의 발생을 방지하고 사용자의 수고로움을 덜기 위한 자동로봇타입의 잔디 깎기 장치가 개발되고 있다.

잔디 깍기 장치는 일반 가정의 마당이나 혹은 운동장과 같은 심어진 잔디를 다듬기 위한 장비이다. 이러한 기기에 최근 자율주행의 기술의 발달로 인해 더 이상 인간이 직접 이 장비를 사용하여 잔디를 다듬지 않아도 된다.

종래 기술의 잔디 깍기 로봇은 잔디 경계를 구분하는 바운더리(Boundary) 전력선을 따로 설치하여, 로봇이 제초작업을 하다 이 선을 넘지 않도록 유도하는 기술이 사용되고 있다.

이와 같이 종래 기술의 잔디 깍기 로봇은 잔디와 잔디가 아닌 일반 길거리에 대한 구분점에 대한 인식을 위하여 바운더리(Boundary) 전력선을 따로 설치하여 전력을 흘려보내어 잔디와 잔디가 아닌 길에 대한 구분 점을 만들었다.

이는 잔디 깍기 로봇의 구입에 추가하여 바운더리(Boundary) 전력선 설치 공사를 하여야 하므로 비용 증가, 잔디 영역의 훼손, 미관 저해 등의 문제를 발생시키게 된다.

따라서, 잔디 깍기 로봇의 자율 주행을 위한 새로운 기술의 개발이 요구되고 있다.

대한민국 공개특허 제10-2013-0015457호 대한민국 공개특허 제10-2018-0101809호 대한민국 공개특허 제10-2010-0032154호

본 발명은 종래 기술의 잔디 깎기 장치의 문제점을 해결하기 위한 것으로, 작업 영역을 촬영한 영상을 분석하여 이동경로 및 활동 영역을 생성하여 효율적인 작업 동작 제어가 가능하도록 한 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇 및 이의 제어 방법을 제공하는데 그 목적이 있다.

본 발명은 잔디깍기 로봇이 작업 영역에서 동작할때 카메라를 이용하여 잔디와 잔디가 아닌 지점을 스스로 구분하는 영상처리 기술을 적용하여 잔디깍기 로봇의 효율적인 주행 및 동작 제어가 가능하도록 한 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇 및 이의 제어 방법을 제공하는데 그 목적이 있다.

본 발명은 영상처리 기술과 딥러닝 기술로 로봇이 스스로 잔디 상태에 대한 학습을 통하여 상시 관리를 하여 잔디 상태 관리의 효율성을 높이고, 거주자의 관리 스트레스를 줄일 수 있도록 한 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇 및 이의 제어 방법을 제공하는데 그 목적이 있다.

본 발명은 작업 구역 범위를 지정하는 것에 의해 잔디깍기 로봇이 자동으로 지정 범위내에서만 작업을 수행하는 것에 의해 사용자의 편리성을 높일 수 있도록 한 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇 및 이의 제어 방법을 제공하는데 그 목적이 있다.

본 발명은 영상처리기술과 딥러닝 기술로 잔디에 관하여 미리 학습시킨 특징들을 이용하여, 잔디밭에 있는 식물들을 잔디와 잔디가 아닌 것으로 구분할 수 있도록 하여 잔디 관리의 효율성을 높인 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇 및 이의 제어 방법을 제공하는데 그 목적이 있다.

본 발명은 영상처리기술과 딥러닝 기술을 이용하여 해당 영역의 평균 주행속도, 장애물 존재 유무, 잔디 제거량 등의 영역 특성을 기억하고, 장애물 회피 주행을 하는 것에 의해 잔디깍기 로봇의 주행 안정성 및 작업 효율성을 높인 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇 및 이의 제어 방법을 제공하는데 그 목적이 있다.

본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇은 잔디깍기 로봇의 본체에 설치되어 작업 개시 이전에 작업 영역의 전체 영역을 촬상하는 작업영역 촬영부;작업영역 촬영부에서 촬영된 영상을 분석하는 영상 분석부;영상 분석부의 분석 결과를 기준으로 잔디에 관하여 미리 학습시킨 특징들을 이용하여, 잔디밭에 있는 식물들을 잔디와 잔디가 아닌 것으로 구분하고 잔디 상태를 판단하는 식물 특성 판단부;영상 분석부의 분석 결과를 기준으로 잔디경계선을 산출하는 잔디 경계선 산출부;잔디 경계선 산출부에서 산출된 잔디 경계선을 기준으로 작업 영역을 지정하고, 작업을 위한 이동 경로를 생성하는 작업 영역 지정 및 이동경로 생성부;작업 영역 지정 및 이동경로 생성부에서 지정된 영역 및 이동경로를 주행하면서 잔디깍기 작업을 수행하기 위한 제어를 하는 주행 및 작업 제어부;를 포함하는 것을 특징으로 한다.

여기서, 잔디 경계선 산출부는, 작업영역 촬영부에서 촬영된 영상에서 잔디 색인 초록색 계열의 색상 데이터가 인식되면 해당 영역만을 잔디로 인식하여 잔디 경계선을 산출하거나, 작업영역 촬영부에서 촬영된 영상에서 잔디 이외의 색상이 검출되면 해당 영역을 잔디가 아닌 영역으로 인식하여 잔디 경계선을 산출하거나,식물 특성 판단부에서 잔디밭에 있는 식물들을 잔디와 잔디가 아닌 것으로 구분한 결과를 기준으로 잔디 경계선을 산출하는 것을 특징으로 한다.

그리고 작업영역 촬영부에서 촬영된 영상에서 잔디 이외의 색상이 검출되면, 촬영 지점을 원점으로하여 경계점까지의 거리를 인식하여 잔디깍기 로봇이 이 거리를 중점으로 움직이게 하며, 측정된 거리만큼 도달 했음에도 잔디의 영역점이 측정이 될 경우 다시 한 번 측정을 통하여 작동하여 잔디경계선 산출하는 것을 특징으로 한다.

그리고 상기 주행 및 작업 제어부의 제어에 의해 잔디깍기 작업을 수행하면서 작업영역 촬영부는 계속 촬영을 하고, 영상처리기술과 딥러닝 기술을 이용하여 해당 영역의 평균 주행속도, 장애물 존재 유무, 잔디 제거량의 영역 특성을 학습하는 영역 특성 학습부와, 영역 특성 학습부에서 학습된 영역 특성을 저장하고 잔디깍기 작업을 수행하기 위한 제어를 위하여 주행 및 작업 제어부로 제공하는 영역 특성 저장 및 제공부를 더 포함하는 것을 특징으로 한다.

그리고 영역 특성 학습부는 특정 영역의 이전 작업시에 촬영된 영상과 현재 작업중에 촬영된 영상을 비교하여 영역 변화 특성을 학습을 하는 것을 특징으로 한다.

그리고 상기 작업영역 촬영부에서 촬영된 영상 분석 결과 및 초음파 센서를 통한 감지 신호를 기초하여 잔디깍기 작업을 수행시에 경로상에 위치하는 장애물을 검출하는 장애물 검출부를 더 포함하는 것을 특징으로 한다.

그리고 잔디 작업 영역내의 지정 영역에 무선 충전 스케이션을 구비하여 잔디깍기 로봇이 충전 상태에 따라 자동으로 복귀하여 충전 및 작업 개시를 하는 것을 특징으로 한다.

다른 목적을 달성하기 위한 본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇의 제어 방법은 잔디깍기 로봇의 본체에 설치되어 작업 개시 이전에 작업 영역의 전체 영역을 촬상하는 작업영역 촬영 단계;작업영역 촬영 단계에서 촬영된 영상을 분석하는 영상 분석 단계;영상 분석 단계의 분석 결과를 기준으로 잔디에 관하여 미리 학습시킨 특징들을 이용하여, 잔디밭에 있는 식물들을 잔디와 잔디가 아닌 것으로 구분하고 잔디 상태를 판단하는 식물 특성 판단 단계;영상 분석 단계의 분석 결과를 기준으로 잔디경계선을 산출하는 잔디 경계선 산출 단계;잔디 경계선 산출 단계에서 산출된 잔디 경계선을 기준으로 작업 영역을 지정하고, 작업을 위한 이동 경로를 생성하는 작업 영역 지정 및 이동경로 생성 단계;작업 영역 지정 및 이동경로 생성 단계에서 지정된 영역 및 이동경로를 주행하면서 잔디깍기 작업을 수행하기 위한 제어를 하는 주행 및 작업 제어 단계;를 포함하는 것을 특징으로 한다.

여기서, 잔디 경계선 산출 단계는,작업영역 촬영부에서 촬영된 영상에서 잔디 색인 초록색 계열의 색상 데이터가 인식되면 해당 영역만을 잔디로 인식하여 잔디 경계선을 산출하거나,작업영역 촬영부에서 촬영된 영상에서 잔디 이외의 색상이 검출되면 해당 영역을 잔디가 아닌 영역으로 인식하여 잔디 경계선을 산출하거나,식물 특성 판단부에서 잔디밭에 있는 식물들을 잔디와 잔디가 아닌 것으로 구분한 결과를 기준으로 잔디 경계선을 산출하는 것을 특징으로 한다.

그리고 작업영역 촬영부에서 촬영된 영상에서 잔디 이외의 색상이 검출되면,촬영 지점을 원점으로하여 경계점까지의 거리를 인식하여 잔디깍기 로봇이 이 거리를 중점으로 움직이게 하며, 측정된 거리만큼 도달 했음에도 잔디의 영역점이 측정이 될 경우 다시 한 번 측정을 통하여 작동하여 잔디경계선 산출하는 것을 특징으로 한다.

그리고 식물 특성 판단 단계에서 잔디 이외의 다른 식물이 발견된 것으로 판단되면 이종 식물 제거 및 재탐색 과정을, 이종 식물 제거를 하고, 촬영 지점을 원점으로 하여 경계점까지의 거리를 인식하여 잔디깍기 로봇이 이 거리를 중점으로 움직이게 하며 재탐색을 하는 단계와,재탐색을 하는 단계에서 잔디 이외의 다른 식물이 더 발견되면 이종 식물 제거 과정 및 재탐색 과정을 다시 수행하고,잔디 이외의 다른 식물이 더 발견되지 않으면 최초 이종 식물 발견 지점으로 복귀하여 다시 잔디깍기 작업을 수행하는 단계를 포함하여 수행하는 것을 특징으로 한다.

그리고 상기 주행 및 작업 제어 단계의 제어에 의해 잔디깍기 작업을 수행하면서 작업영역 촬영부는 계속 촬영을 하고, 영상처리기술과 딥러닝 기술을 이용하여 해당 영역의 평균 주행속도, 장애물 존재 유무, 잔디 제거량의 영역 특성을 학습하는 영역 특성 학습 단계와, 영역 특성 학습 단계에서 학습된 영역 특성을 저장하고 잔디깍기 작업을 수행하기 위한 제어를 위하여 주행 및 작업 제어부로 제공하는 영역 특성 저장 및 제공 단계를 더 포함하는 것을 특징으로 한다.

그리고 상기 작업영역 촬영 단계에서 촬영된 영상 분석 결과 및 초음파 센서를 통한 감지 신호를 기초하여 잔디깍기 작업을 수행시에 경로상에 위치하는 장애물을 검출하는 단계를 더 포함하는 것을 특징으로 한다.

이상에서 설명한 바와 같은 본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇 및 이의 제어 방법은 다음과 같은 효과가 있다.

첫째, 작업 영역을 촬영한 영상을 분석하여 이동경로 및 활동 영역을 생성하여 효율적인 작업 동작 제어가 가능하도록 한다.

둘째, 잔디깍기 로봇이 작업 영역에서 동작할때 카메라를 이용하여 잔디와 잔디가 아닌 지점을 스스로 구분하는 영상처리 기술을 적용하여 잔디깍기 로봇의 효율적인 주행 및 동작 제어가 가능하도록 한다.

셋째, 영상처리 기술과 딥러닝 기술로 로봇이 스스로 잔디 상태에 대한 학습을 통하여 상시 관리를 하여 잔디 상태 관리의 효율성을 높이고, 거주자의 관리 스트레스를 줄일 수 있도록 한다.

넷째, 작업 구역 범위를 지정하는 것에 의해 잔디깍기 로봇이 자동으로 지정 범위내에서만 작업을 수행하는 것에 의해 사용자의 편리성을 높일 수 있도록 한다.

다섯째, 영상처리기술과 딥러닝 기술로 잔디에 관하여 미리 학습시킨 특징들을 이용하여, 잔디밭에 있는 식물들을 잔디와 잔디가 아닌 것으로 구분할 수 있도록 하여 잔디 관리의 효율성을 높인다.

여섯째, 영상처리기술과 딥러닝 기술을 이용하여 해당 영역의 평균 주행속도, 장애물 존재 유무, 잔디 제거량 등의 영역 특성을 기억하고, 장애물 회피 주행을 하는 것에 의해 잔디깍기 로봇의 주행 안정성 및 작업 효율성을 높인다.

도 1은 본 발명에 따른 잔디깍기 로봇의 영상처리를 이용하는 잔디경계선 산출의 일 예를 나타낸 구성도
도 2는 본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇의 전체 구성 블록도
도 3은 본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇의 상세 구성 블록도
도 4내지 도 6은 본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇의 제어 방법을 나타낸 플로우 차트
도 7은 잡초로 의심되는 식물을 발견했을 때의 잔디깍기 로봇의 동작의 일 예를 나타낸 구성도

이하, 본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇 및 이의 제어 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.

본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇 및 이의 제어 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.

도 1은 본 발명에 따른 잔디깍기 로봇의 영상처리를 이용하는 잔디경계선 산출의 일 예를 나타낸 구성도이고, 도 2는 본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇의 전체 구성 블록도이다.

본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇 및 이의 제어 방법은 작업 영역을 촬영한 영상을 분석하여 이동경로 및 활동 영역을 생성하는 것으로, 잔디깍기 로봇이 작업 영역에서 동작할때 카메라를 이용하여 잔디와 잔디가 아닌 지점을 스스로 구분하는 영상처리 기술을 적용하여 잔디깍기 로봇의 효율적인 주행 및 동작 제어가 가능하도록 한 것이다.

이를 위하여, 본 발명은 영상처리 기술과 딥러닝 기술로 로봇이 스스로 잔디 상태에 대한 학습을 통하여 상시 관리를 하는 구성 및 작업 구역 범위를 지정하는 것에 의해 잔디깍기 로봇이 자동으로 지정 범위내에서만 작업을 수행하는 구성을 포함할 수 있다.

특히, 영상처리기술과 딥러닝 기술로 잔디에 관하여 미리 학습시킨 특징들을 이용하여, 잔디밭에 있는 식물들을 잔디와 잔디가 아닌 것으로 구분하는 구성을 포함할 수 있다.

본 발명은 영상처리기술과 딥러닝 기술을 이용하여 해당 영역의 평균 주행속도, 장애물 존재 유무, 잔디 제거량 등의 영역 특성을 기억하고, 장애물 회피 주행을 하는 구성을 포함할 수 있다.

본 발명은 잔디 작업 영역내의 지정 영역에 무선 충전 스케이션을 구비하여 잔디깍기 로봇이 충전 상태에 따라 자동으로 복귀하여 충전 및 작업 개시를 할 수 있도록 하는 구성을 포함할 수 있다.

도 1은 본 발명에 따른 잔디깍기 로봇의 영상처리를 이용하는 잔디경계선 산출의 일 예를 나타낸 것으로, 잔디깍기 로봇 본체에 카메라를 가지고 있으며, 카메라로부터 받아온 영상은 잔디의 색상을 구별하여 경계점을 구분한다.

잔디경계선 산출을 위한 구분 방법은 다음과 같다.

첫째, 카메라로 측정되는 화면에서 잔디 색인 초록색 계열의 색상 데이터가 인식되면, 그곳은 잔디로 인식한다.

둘째, 카메라로 측정되는 화면에서 잔디이외의 색상이 들어왔을 경우 카메라 촬영시점을 원점으로 경계점까지의 거리를 인식하여 잔디깍기 로봇이 이 거리를 중점으로 움직이게 하며, 측정된 거리만큼 도달 했음에도 잔디의 영역점이 측정이 될 경우 다시 한 번 측정을 통하여 작동하여 잔디경계선 산출을 한다.

셋째, 영상처리기술과 딥러닝 기술로 잔디에 관하여 미리 학습시킨 특징들을 이용하여, 잔디밭에 있는 식물들을 잔디와 잔디가 아닌 것으로 구분한다.

잔디깍기 로봇이 '잔디'가 아닌 식물을 발견했을 때, 일정 범위내의 잔디가 아닌 식물의 유무를 확인 후 일정 범위 안에 있는 식물이외의 식물을 제거할 수 있도록 한다.

본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇은 도 2에서와 같이, 잔디경계선 산출을 위한 작업 영역의 촬영을 위한 카메라 및 주행 제어, 장애물 검출, 제초 작업 제어를 위한 센서들과, 카메라 및 센서에 의해 영상 분석 및 센싱 신호에 의한 이동 경로 생성 및 작업 영역 지정을 하는 이동경로 및 활동영역 생성기와, 잔디깍기 작업을 위한 이동 및 제초 작업 진행을 제어하는 차량 제어기와, 영상처리기술과 딥러닝 기술로 잔디에 관하여 미리 학습시킨 특징들을 이용하여, 잔디밭에 있는 식물들을 잔디와 잔디가 아닌 것으로 구분하고, 장애물 인식을 하는 장애물 및 이종 식물 인식기와, 영상처리기술과 딥러닝 기술로 잔디에 관하여 미리 학습시킨 특징들의 저장 및 영상처리기술과 딥러닝 기술을 이용하여 해당 영역의 평균 주행속도, 장애물 존재 유무, 잔디 제거량 등의 영역 특성을 저장하는 메모리를 포함한다.

본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇의 상세 구성을 설명하면 다음과 같다.

도 3은 본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇의 상세 구성 블록도이다.

본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇은 도 3에서와 같이, 잔디깍기 로봇의 본체에 설치되어 작업 개시 이전에 작업 영역의 전체 영역을 촬상하는 작업영역 촬영부(10)와, 작업영역 촬영부(10)에서 촬영된 영상을 분석하는 영상 분석부(20)와, 영상 분석부(20)의 분석 결과를 기준으로 잔디에 관하여 미리 학습시킨 특징들을 이용하여, 잔디밭에 있는 식물들을 잔디와 잔디가 아닌 것으로 구분하고 잔디 상태를 판단하는 식물 특성 판단부(30)와, 영상 분석부(20)의 분석 결과를 기준으로 잔디경계선을 산출하는 잔디 경계선 산출부(40)와, 잔디 경계선 산출부(40)에서 산출된 잔디 경계선을 기준으로 작업 영역을 지정하고, 작업을 위한 이동 경로를 생성하는 작업 영역 지정 및 이동경로 생성부(50)와, 작업 영역 지정 및 이동경로 생성부(50)에서 지정된 영역 및 이동경로를 주행하면서 잔디깍기 작업을 수행하기 위한 제어를 하는 주행 및 작업 제어부(60)와, 주행 및 작업 제어부(60)의 제어에 의해 잔디깍기 작업을 수행하면서 작업영역 촬영부(10)는 계속 촬영을 하고, 영상처리기술과 딥러닝 기술을 이용하여 해당 영역의 평균 주행속도, 장애물 존재 유무, 잔디 제거량 등의 영역 특성을 학습하는 영역 특성 학습부(70)와, 영역 특성 학습부(70)에서 학습된 영역 특성을 저장하고 잔디깍기 작업을 수행하기 위한 제어를 위하여 주행 및 작업 제어부(60)로 제공하는 영역 특성 저장 및 제공부(80)와, 작업영역 촬영부(10)에서 촬영된 영상 분석 결과 및 초음파 센서 등을 통한 감지 신호를 기초하여 잔디깍기 작업을 수행시에 경로상에 위치하는 장애물을 검출하는 장애물 검출부(90)를 포함한다.

본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇의 제어 방법을 구체적으로 설명하면 다음과 같다.

도 4내지 도 6은 본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇의 제어 방법을 나타낸 플로우 차트이고, 도 7은 잡초로 의심되는 식물을 발견했을 때의 잔디깍기 로봇의 동작의 일 예를 나타낸 구성도이다.

도 4는 영상 분석 및 잔디 인식 과정을 나타낸 것이다.

먼저, 작업영역 촬영부(10)에서 전체 잔디깍기 작업 영역을 촬영하고(S401), 촬영된 영상을 영상 분석부(20)에서 분석을 하는 단계(S401)와, 영상 분석부(20)에서 분석된 결과를 기준으로 잔디경계선을 산출하는 단계(S403)와, 잔디 경계선 산출부(40)에서 산출된 잔디 경계선을 기준으로 작업 영역을 지정하고, 작업을 위한 이동 경로를 생성하는 단계(S404)와, 잔디깍기 작업을 수행하면서 작업영역 촬영부(10)는 계속 촬영을 하고 영상 분석 결과를 경로상에 위치하는 장애물을 검출하는 장애물 검출부(90) 및 잔디와 잔디가 아닌 것으로 구분하고 잔디 상태를 판단하는 식물 특성 판단부(30)로 전송하는 단계(S405)를 포함한다.

도 5는 잔디가 아닌 식물 검출 및 장애물 회피 방법을 나타낸 것이다.

먼저, 촬영된 영상을 영상 분석부(20)에서 분석을 하여 잔디 인식이 이루어지면(S501), 식물 특성 판단부(30)에서 잔디를 구분하는 단계(S502)와, 영상내에서 잔디 영역을 검출하고(S503), 해당 잔디 영역에서 제초기를 작동하는 단계(S504)와, 작업 영역 지정 및 이동경로 생성부(50)에서 생성된 경로를 주행하면서(S505) 장애물이 검출되면(S506) 회피 주행을 하고, 최종 목적지까지 이동하면서 잔디깍기 작업을 수행하는 단계(S507)를 포함한다.

여기서, 식물 특성 판단부(30)에서 잔디를 구분하는 단계(S502)에서 잔디 이외의 다른 식물이 발견된 것으로 판단되면 도 6 및 도 7에서 나타낸 이종 식물 제거 및 재탐색 과정을 수행한다.

이종 식물 제거 및 재탐색 과정은 도 6에서와 같이, 이종 식물 제거를 하고(S601), 촬영 지점을 원점으로 하여 경계점까지의 거리를 인식하여 잔디깍기 로봇이 이 거리를 중점으로 움직이게 하며 재탐색을 하는 단계(S602)와, 재탐색을 하는 단계에서 잔디 이외의 다른 식물이 더 발견되면 이종 식물 제거 과정 및 재탐색 과정을 다시 수행하고, 잔디 이외의 다른 식물이 더 발견되지 않으면 최초 이종 식물 발견 지점으로 복귀하여 다시 잔디깍기 작업을 수행하는 단계(S604)를 포함한다.

이상에서 설명한 본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇 및 이의 제어 방법은 작업 영역을 촬영한 영상을 분석하여 이동경로 및 활동 영역을 생성하는 것으로, 잔디깍기 로봇이 작업 영역에서 동작할때 카메라를 이용하여 잔디와 잔디가 아닌 지점을 스스로 구분하는 영상처리 기술을 적용하여 잔디깍기 로봇의 효율적인 주행 및 동작 제어가 가능하도록 한 것이다.

이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.

그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

10. 작업영역 촬영부 20. 영상 분석부
30. 식물 특성 판단부 40. 잔디 경계선 산출부
50. 작업 영역 지정 및 이동경로 생성부 60. 주행 및 작업 제어부
70. 영역 특성 학습부 80. 영역 특성 저장 및 제공부
90. 장애물 검출부

Claims (13)

1. 잔디깍기 로봇의 본체에 설치되어 작업 개시 이전에 작업 영역의 전체 영역을 촬상하는 작업영역 촬영부;
   작업영역 촬영부에서 촬영된 영상을 분석하는 영상 분석부;
   영상 분석부의 분석 결과를 기준으로 잔디에 관하여 미리 학습시킨 특징들을 이용하여, 잔디밭에 있는 식물들을 잔디와 잔디가 아닌 것으로 구분하고 잔디 상태를 판단하는 식물 특성 판단부;
   영상 분석부의 분석 결과를 기준으로 잔디경계선을 산출하는 잔디 경계선 산출부;
   잔디 경계선 산출부에서 산출된 잔디 경계선을 기준으로 작업 영역을 지정하고, 작업을 위한 이동 경로를 생성하는 작업 영역 지정 및 이동경로 생성부;
   작업 영역 지정 및 이동경로 생성부에서 지정된 영역 및 이동경로를 주행하면서 잔디깍기 작업을 수행하기 위한 제어를 하는 주행 및 작업 제어부;를 포함하고,
   작업영역 촬영부에서 촬영된 영상에서 잔디 이외의 색상이 검출되면, 촬영 지점을 원점으로하여 경계점까지의 거리를 인식하여 잔디깍기 로봇이 이 거리를 중점으로 움직이게 하며, 측정된 거리만큼 도달 했음에도 잔디의 영역점이 측정이 될 경우 다시 한 번 측정을 통하여 작동하여 잔디경계선 산출하고,
   식물 특성 판단부에서 잔디 이외의 다른 식물이 발견된 것으로 판단되면, 이종 식물 제거를 하고, 촬영 지점을 원점으로 하여 경계점까지의 거리를 인식하여 잔디깍기 로봇이 이 거리를 중점으로 움직이게 하며 재탐색을 하고 재탐색을 하는 단계에서 잔디 이외의 다른 식물이 더 발견되면 이종 식물 제거 과정 및 재탐색 과정을 다시 수행하고, 잔디 이외의 다른 식물이 더 발견되지 않으면 최초 이종 식물 발견 지점으로 복귀하여 다시 잔디깍기 작업을 수행하는 것을 특징으로 하는 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇.
2. 제 1 항에 있어서, 잔디 경계선 산출부는,
   작업영역 촬영부에서 촬영된 영상에서 잔디 색인 초록색 계열의 색상 데이터가 인식되면 해당 영역만을 잔디로 인식하여 잔디 경계선을 산출하거나,
   작업영역 촬영부에서 촬영된 영상에서 잔디 이외의 색상이 검출되면 해당 영역을 잔디가 아닌 영역으로 인식하여 잔디 경계선을 산출하거나,
   식물 특성 판단부에서 잔디밭에 있는 식물들을 잔디와 잔디가 아닌 것으로 구분한 결과를 기준으로 잔디 경계선을 산출하는 것을 특징으로 하는 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇.
3. 삭제
4. 제 1 항에 있어서, 상기 주행 및 작업 제어부의 제어에 의해 잔디깍기 작업을 수행하면서 작업영역 촬영부는 계속 촬영을 하고,
   영상처리기술과 딥러닝 기술을 이용하여 해당 영역의 평균 주행속도, 장애물 존재 유무, 잔디 제거량의 영역 특성을 학습하는 영역 특성 학습부와,
   영역 특성 학습부에서 학습된 영역 특성을 저장하고 잔디깍기 작업을 수행하기 위한 제어를 위하여 주행 및 작업 제어부로 제공하는 영역 특성 저장 및 제공부를 더 포함하는 것을 특징으로 하는 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇.
5. 제 4 항에 있어서, 영역 특성 학습부는 특정 영역의 이전 작업시에 촬영된 영상과 현재 작업중에 촬영된 영상을 비교하여 영역 변화 특성을 학습을 하는 것을 특징으로 하는 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇.
6. 제 1 항에 있어서, 상기 작업영역 촬영부에서 촬영된 영상 분석 결과 및 초음파 센서를 통한 감지 신호를 기초하여 잔디깍기 작업을 수행시에 경로상에 위치하는 장애물을 검출하는 장애물 검출부를 더 포함하는 것을 특징으로 하는 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇.
7. 제 1 항에 있어서, 잔디 작업 영역내의 지정 영역에 무선 충전 스케이션을 구비하여 잔디깍기 로봇이 충전 상태에 따라 자동으로 복귀하여 충전 및 작업 개시를 하는 것을 특징으로 하는 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇.
8. 잔디깍기 로봇의 본체에 설치되어 작업 개시 이전에 작업 영역의 전체 영역을 촬상하는 작업영역 촬영 단계;
   작업영역 촬영 단계에서 촬영된 영상을 분석하는 영상 분석 단계;
   영상 분석 단계의 분석 결과를 기준으로 잔디에 관하여 미리 학습시킨 특징들을 이용하여, 잔디밭에 있는 식물들을 잔디와 잔디가 아닌 것으로 구분하고 잔디 상태를 판단하는 식물 특성 판단 단계;
   영상 분석 단계의 분석 결과를 기준으로 잔디경계선을 산출하는 잔디 경계선 산출 단계;
   잔디 경계선 산출 단계에서 산출된 잔디 경계선을 기준으로 작업 영역을 지정하고, 작업을 위한 이동 경로를 생성하는 작업 영역 지정 및 이동경로 생성 단계;
   작업 영역 지정 및 이동경로 생성 단계에서 지정된 영역 및 이동경로를 주행하면서 잔디깍기 작업을 수행하기 위한 제어를 하는 주행 및 작업 제어 단계;를 포함하고,
   작업영역 촬영 단계에서 촬영된 영상에서 잔디 이외의 색상이 검출되면, 촬영 지점을 원점으로하여 경계점까지의 거리를 인식하여 잔디깍기 로봇이 이 거리를 중점으로 움직이게 하며, 측정된 거리만큼 도달 했음에도 잔디의 영역점이 측정이 될 경우 다시 한 번 측정을 통하여 작동하여 잔디경계선 산출하고,
   식물 특성 판단 단계에서 잔디 이외의 다른 식물이 발견된 것으로 판단되면, 이종 식물 제거를 하고, 촬영 지점을 원점으로 하여 경계점까지의 거리를 인식하여 잔디깍기 로봇이 이 거리를 중점으로 움직이게 하며 재탐색을 하고 재탐색을 하는 단계에서 잔디 이외의 다른 식물이 더 발견되면 이종 식물 제거 과정 및 재탐색 과정을 다시 수행하고, 잔디 이외의 다른 식물이 더 발견되지 않으면 최초 이종 식물 발견 지점으로 복귀하여 다시 잔디깍기 작업을 수행하는 것을 특징으로 하는 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇의 제어 방법.
9. 제 8 항에 있어서, 잔디 경계선 산출 단계는,
   작업영역 촬영부에서 촬영된 영상에서 잔디 색인 초록색 계열의 색상 데이터가 인식되면 해당 영역만을 잔디로 인식하여 잔디 경계선을 산출하거나,
   작업영역 촬영부에서 촬영된 영상에서 잔디 이외의 색상이 검출되면 해당 영역을 잔디가 아닌 영역으로 인식하여 잔디 경계선을 산출하거나,
   식물 특성 판단부에서 잔디밭에 있는 식물들을 잔디와 잔디가 아닌 것으로 구분한 결과를 기준으로 잔디 경계선을 산출하는 것을 특징으로 하는 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇의 제어 방법.
10. 삭제
11. 삭제
12. 제 8 항에 있어서, 상기 주행 및 작업 제어 단계의 제어에 의해 잔디깍기 작업을 수행하면서 작업영역 촬영부는 계속 촬영을 하고,
    영상처리기술과 딥러닝 기술을 이용하여 해당 영역의 평균 주행속도, 장애물 존재 유무, 잔디 제거량의 영역 특성을 학습하는 영역 특성 학습 단계와,
    영역 특성 학습 단계에서 학습된 영역 특성을 저장하고 잔디깍기 작업을 수행하기 위한 제어를 위하여 주행 및 작업 제어부로 제공하는 영역 특성 저장 및 제공 단계를 더 포함하는 것을 특징으로 하는 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇의 제어 방법.
13. 제 8 항에 있어서, 상기 작업영역 촬영 단계에서 촬영된 영상 분석 결과 및 초음파 센서를 통한 감지 신호를 기초하여 잔디깍기 작업을 수행시에 경로상에 위치하는 장애물을 검출하는 단계를 더 포함하는 것을 특징으로 하는 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇의 제어 방법.
    

Images