KR20220095102A - 강화학습을 이용한 유해조류 제어 방법 및 장치 - Google Patents

Abstract

개시된 기술은 강화학습을 이용한 유해조류 제어 방법 및 장치에 관한 것으로, 제어장치가 과수원 내 조류(Birds)에 대한 이미지를 수신하는 단계; 상기 제어장치가 상기 이미지를 강화학습 모델에 입력하여 상기 과수원 내 설치된 액추에이터에 대한 구동정보를 출력하는 단계; 상기 제어장치가 상기 구동정보를 토대로 상기 액추에이터를 구동하는 단계; 및 상기 제어장치가 상기 액추에이터의 구동 이후 상기 조류의 움직임에 대한 정보를 상기 강화학습 모델에 입력하여 상기 강화학습 모델의 파라미터를 조절하는 단계;를 포함한다.

Description

강화학습을 이용한 유해조류 제어 방법 및 장치 {METHOD AND DEVICE FOR CONTROL HARMFUL BIRDS USING REINFORCEMENT LEARNING}

개시된 기술은 강화학습을 이용하여 과수원 내 유해조류를 제어하는 방법 및 장치에 관한 것이다.

과수원은 제한된 영역에서 고부가가치 과일을 생산하는 밭으로 자연환경과 맞닿아 있어서 조류나 해충으로 인해 재배중인 과일의 상품가치가 떨어지는 문제가 발생할 가능성이 높다. 특히, 조류는 환경 변화에 잘 적응하고 지능적인 행동을 하여 종래 과수 피해를 방지하는 여러 가지 방제시스템을 피해 과일에 피해를 입히는 일이 자주 발생하고 있었다.

종래 유해조류 퇴치 시스템은 특정 관심 지역에 대하여 조류의 접근을 차단하는 방식을 이용하였다. 가령, 총소리나 불빛 등을 이용하여 조류를 ?i아내는 액추에이터를 주기적으로 구동하거나 조류가 발견될 때마다 구동하는 방식을 이용하였다. 그러나 과일에 피해를 입히는 까마귀나 까치 등의 유해조류들은 대부분 지능이 높은 편이어서 초기에는 퇴치 시스템을 피해 달아나지만 일정 시간이 지난 이후에는 시스템의 허점을 노려 과수원에 접근하는 문제가 있었다.

한국 등록특허 제10-2249642호

개시된 기술은 강화학습을 이용하여 과수원 내 유해조류를 적응적으로 제어하는 방법 및 장치를 제공하는데 있다.

상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 1 측면은 제어장치가 과수원 내 조류(Birds)에 대한 이미지를 수신하는 단계, 상기 제어장치가 상기 이미지를 강화학습 모델에 입력하여 상기 과수원 내 설치된 액추에이터에 대한 구동정보를 출력하는 단계, 상기 제어장치가 상기 구동정보를 토대로 상기 액추에이터를 구동하는 단계 및 상기 제어장치가 상기 액추에이터의 구동 이후 상기 조류의 움직임에 대한 정보를 상기 강화학습 모델에 입력하여 상기 강화학습 모델의 파라미터를 조절하는 단계를 포함하는 유해조류 제어 방법을 제공하는데 있다.

상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 2 측면은 과수원 내 조류(Birds)에 대한 이미지를 촬영하는 카메라, 상기 이미지를 입력값으로 이용하여 상기 과수원에 설치된 액추에이터에 대한 동작을 결정하는 구동정보를 출력하는 강화학습 모델을 저장하는 저장장치 및 상기 구동정보에 따라 상기 액추에이터를 구동하고, 상기 액추에이터의 구동 이후 상기 조류의 움직임에 대한 정보를 상기 강화학습 모델에 입력하여 상기 강화학습 모델의 파라미터를 조절하는 프로세서를 포함하는 유해조류 제어 장치를 제공하는데 있다.

개시된 기술의 실시 예들은 다음의 장점들을 포함하는 효과를 가질 수 있다. 다만, 개시된 기술의 실시 예들이 이를 전부 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

개시된 기술의 일 실시예에 따른 강화학습을 이용한 유해조류 제어 방법 및 장치는 조류의 행동 변화에 따라 적응적으로 액추에이터를 구동하여 과수원 피해를 최소화하는 효과가 있다.

또한, 먹이를 별도로 배치한 구역으로 조류를 유도하여 과일의 상품가치가 떨어지는 것을 방지하는 효과가 있다.

도 1은 개시된 기술의 일 실시예에 따른 강화학습을 이용한 유해조류 제어 과정을 나타낸 도면이다.
도 2는 개시된 기술의 일 실시예에 따른 강화학습을 이용한 유해조류 제어 방법에 대한 순서도이다.
도 3은 개시된 기술의 일 실시예에 따른 강화학습을 이용한 유해조류 제어 장치에 대한 블록도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제 1 , 제 2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 한다. 그리고 "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다.

그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이다.

도 1은 개시된 기술의 일 실시예에 따른 강화학습을 이용한 유해조류 제어 과정을 나타낸 도면이다. 도 1을 참조하면 제어장치는 과수원 내 조류에 대한 이미지를 수신하여 조류가 유해조류인지 판단하고 판단 결과에 따라 과수원 내 액추에이터를 제어하여 과수원 피해를 방지할 수 있다. 그리고 조류 제어에 따른 최적의 액추에이터 구동을 위해 이러한 과정을 반복 수행할 수 있다.

제어장치는 강화학습 모델에 조류에 대한 이미지를 상태정보로 입력할 수 있다. 즉, 조류가 침입한 과수원은 환경(Environment)이고, 환경을 촬영한 이미지는 강화학습 모델에 입력하는 상태(State)정보일 수 있다.

한편, 조류가 과일에 해를 미치는 유해조류인지 아닌지를 판단하기 위해 제어장치는 조류의 종류를 분류하는 딥러닝 모델을 더 포함할 수 있다. 그리고 딥러닝 모델에 이미지를 입력하여 조류가 과수원에 피해를 유발할 수 있는 유해조류인지 아닌지 판단할 수 있다. 딥러닝 모델은 사전에 다수의 조류에 대한 이미지를 학습데이터로 활용하여 학습된 모델로 종래 이미지 분류를 위해 학습된 CNN을 이용할 수 있다. 여기에서 조류에 대한 이미지는 과수원에 설치된 카메라를 이용하여 획득할 수 있다. 통상적으로 과일이 맺힌 나무의 상단 부분을 촬영하여 조류가 공중에서 나무로 착지하는 것을 이미지로 촬영할 수 있다. 이를 위하여 과수원 내 일정 높이를 촬영하도록 카메라의 설치 위치 내지는 각도가 조절될 수 있다. 제어장치와 카메라는 유선 또는 무선으로 연결되어 있으며 과수원 내에는 복수의 카메라들이 각 구역마다 설치될 수 있다. 그리고 조류의 종류 예측에 대한 정확도를 높이기 위해서 소정의 이미지 전처리 과정을 거칠 수 있다. 예컨대, 이미지에 포함된 노이즈를 제거하고 그레이스케일로 변환하는 과정을 수행할 수 있다.

한편, 조류 이미지에 대한 딥러닝 모델의 출력 결과에 따라 제어장치는 조류가 유해조류인지 판단할 수 있다. 만약 과수원에 침입한 조류가 과일에 해를 미치는 유해조류에 해당하면, 제어장치는 액추에이터에 대한 구동정보를 획득하기 위해서 강화학습 모델에 이미지를 입력할 수 있다. 물론 유해조류가 아닌 것으로 판단하면 미리 설정된 주기대로 이미지를 계속해서 획득하는 과정만 수행할 수 있다. 즉, 제어장치에 탑재된 딥러닝 모델은 강화학습 모델을 이용하여 액추에이터에 대한 구동정보를 획득하기 이전에 조류가 유해한지 아닌지를 판단하기 위해 이용된다.

한편, 제어장치는 강화학습 모델에 이미지를 입력함에 따라 액추에이터에 대한 구동정보를 획득할 수 있다. 즉, 강화학습 모델의 출력값은 액추에이터의 구동정보를 의미한다. 구동정보는 액추에이터의 구동 주기, 구동 횟수 및 구동 레벨을 설정하는 정보일 수 있다. 제어장치는 이러한 구동정보를 토대로 과수원에 설치된 액추에이터를 구동할 수 있다. 액추에이터는 음향장치, 유체 분사장치 및 광 발생장치를 포함한다. 제어장치는 강화학습 모델에서 출력된 구동정보에 따라 액추에이터의 구동 주기, 구동 횟수 및 구동 레벨을 제어할 수 있다. 예컨대, 조류가 과수원에 큰 피해를 미치는 종류라면 피해 규모가 커지는 것을 방지하기 위해 액추에이터의 구동 횟수를 늘리거나 구동 레벨을 높일 수 있다.

한편, 제어장치는 액추에이터를 구동하여 조류를 과수원 내 특정 구역으로 유도할 수 있다. 여기에서 특정 구역은 과수원 내 과수가 존재하지 않는 구역 또는 사전에 조류의 먹이를 배치한 구역을 의미한다. 액추에이터를 아무리 적응적으로 제어하더라도 조류의 먹이활동은 본능의 영역에 해당하므로 이를 완벽하게 차단하는 것은 불가능에 가깝다. 따라서, 조류가 과일에 피해를 주지 않게 ?i아내되 별도의 먹이를 구비하여 먹이를 수급할 수 있도록 배려할 수 있다. 이를 통해 조류가 과일에 피해를 입히제 못하게 제어하여 과수원 생산성을 높일 수 있다.

한편, 액추에이터를 구동한 이후 제어장치는 조류의 움직임에 대한 정보를 강화학습 모델에 입력하여 강화학습 모델의 파라미터를 조절할 수 있다. 즉, 강화학습 모델이 출력한 구동정보에 대한 리워드(Reward)로 조류의 움직임에 대한 정보를 입력할 수 있다. 제어장치는 과수원에 설치된 센서를 통해 조류가 움직이는 방향, 속도 등을 감지한 값을 조류의 움직임에 대한 정보로 획득하거나 조류에 대한 이미지를 촬영하는데 이용한 카메라를 다시 이용하여 연속적으로 촬영된 조류의 이미지를 통해 조류의 움직임을 파악하는 것으로 조류의 움직임에 대한 정보를 획득할 수 있다. 제어장치는 조류의 움직임에 대한 정보를 강화학습 모델에 입력 가능한 형태로 변환시킬 수 있다. 예컨대, 조류의 움직임에 대한 정보를 벡터로 변환시킬 수 있다. 제어장치는 변환된 벡터를 강화학습 모델에 입력하여 파라미터를 조절할 수 있다. 여기에서 파라미터를 조절한다는 것은 강화학습 모델이 과수원의 피해를 최소화하는 구동정보를 출력하도록 학습하는 것을 의미한다. 강화학습 모델은 이러한 과정을 반복하여 최적의 구동정보를 출력하도록 학습될 수 있다. 따라서, 유해조류를 적응적으로 제어하여 과수원 피해를 최소화할 수 있다.

도 2는 개시된 기술의 일 실시예에 따른 강화학습을 이용한 유해조류 제어 방법에 대한 순서도이다. 도 2를 참조하면 유해조류 제어 방법(200)은 210 내지 240 단계를 포함한다. 각 단계는 제어장치를 통해 순차적으로 수행될 수 있다.

210 단계에서 제어장치가 과수원 내 조류(Birds)에 대한 이미지를 수신한다. 제어장치는 카메라를 통해 획득된 이미지를 토대로 과수원에 조류가 접근하는지 혹은 과수원 내부로 침입하는지 확인할 수 있다. 이 과정에서 카메라 이외에 별도의 센서를 이용하여 조류의 접근 내지는 침입을 감지할 수도 있다.

220 단계에서 제어장치가 이미지를 강화학습 모델에 입력하여 액추에이터에 대한 구동정보를 출력한다. 액추에이터는 유해조류가 과일에 피해를 입히지 않도록 제어하는 장치로 유해조류를 ?i아내기 위하 다양한 방식으로 조류에 자극을 가하는 수단들을 포함한다. 예컨대, 음향장치, 유체 분사장치 및 광 발생장치를 포함할 수 있다. 강화학습 모델은 이러한 액추에이터의 구동을 제어하기 위한 구동정보를 출력한다.

230 단계에서 제어장치가 구동정보를 토대로 액추에이터를 구동한다. 제어장치는 구동정보에 따라 액추에이터의 구동 주기, 구동 횟수 및 구동 레벨을 제어할 수 있으며 액추에이터를 구동하여 유해조류가 과수원 내 과수가 존재하지 않는 구역 또는 사전에 조류의 먹이를 배치한 구역으로 이동하도록 유도할 수 있다.

240 단계에서 제어장치가 액추에이터의 구동 이후 조류의 움직임에 대한 정보를 강화학습 모델에 입력하여 강화학습 모델의 파라미터를 조절한다. 강화학습 모델은 과수원 피해가 최소화되도록 액추에이터에 대한 구동정보를 출력하는 방향으로 학습될 수 있다. 예컨대, 액추에이터가 구동된 후 제어장치로부터 입력된 조류의 움직임에 대한 정보에 따라 조류가 목적하는 구역으로 잘 이동하지 않는다는 리워드가 제공되면 액추에이터의 구동 주기나 횟수, 레벨 등을 높이기 위해 파라미터가 조절될 수 있다. 이에 따라 다음에 유해조류에 대한 상태정보가 입력되면 보다 높은 구동 주기, 구동 횟수 및 구동 레벨에 상응하는 구동정보를 출력할 수 있다.

도 3은 개시된 기술의 일 실시예에 따른 강화학습을 이용한 유해조류 제어 장치에 대한 블록도이다. 도 3을 참조하면 유해조류 제어 장치(300)는 카메라(310), 저장장치(320) 및 프로세서(330)를 포함한다.

카메라(310)는 과수원 내 조류(Birds)에 대한 이미지를 촬영한다. 카메라는 제어장치의 제어에 따라 이미지 촬영을 위한 주기 내지는 횟수가 설정될 수 있다. 카메라(310)는 일반적인 영상 촬영에 이용되는 광학카메라를 이용할 수 있다.

저장장치(320)는 조류의 종류에 따라 액추에이터를 제어하기 위한 구동정보를 출력하는 강화학습 모델을 저장한다. 저장장치는 강화학습 모델과 별개로 조류의 종류를 예측하는 딥러닝 모델을 더 저장할 수 있다. 저장장치는 이러한 모델들을 저장할 수 있는 용량을 가진 메모리로 구현될 수 있다.

프로세서(330)는 강화학습 모델에서 출력된 구동정보에 따라 과수원에 설치된 액추에이터를 구동한다. 프로세서(330)는 유해조류 제어 장치(300)의 CPU로 구현될 수 있다. 프로세서는 액추에이터에 구동정보에 상응하는 제어신호를 전송하여 유해 조류가 미리 정해진 구역으로 이동하도록 유도할 수 있다. 그리고 액추에이터를 구동한 다음 조류의 움직임에 대한 정보를 강화학습 모델에 리워드로 제공하여 파라미터를 조절할 수 있다. 프로세서는 이러한 과정을 반복하여 강화학습 모델이 과수원 피해를 최소화시키는 방향으로 학습시킬 수 있다.

한편, 상술한 유해조류 제어 장치(300)는 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수도 있다. 상기 프로그램은 일시적 또는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM (read-only memory), PROM (programmable read only memory), EPROM(Erasable PROM, EPROM) 또는 EEPROM(Electrically EPROM) 또는 플래시 메모리 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

일시적 판독 가능 매체는 스태틱 램(Static RAM，SRAM), 다이내믹 램(Dynamic RAM，DRAM), 싱크로너스 디램 (Synchronous DRAM，SDRAM), 2배속 SDRAM(Double Data Rate SDRAM，DDR SDRAM), 증강형 SDRAM(Enhanced SDRAM，ESDRAM), 동기화 DRAM(Synclink DRAM，SLDRAM) 및 직접 램버스 램(Direct Rambus RAM，DRRAM) 과 같은 다양한 RAM을 의미한다.

개시된 기술의 일 실시예에 따른 강화학습을 이용한 유해조류 제어 방법 및 장치는 이해를 돕기 위하여 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 개시된 기술의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.

Claims (12)

1. 제어장치가 과수원 내 조류(Birds)에 대한 이미지를 수신하는 단계;
   상기 제어장치가 상기 이미지를 강화학습 모델에 입력하여 상기 과수원 내 설치된 액추에이터에 대한 구동정보를 출력하는 단계;
   상기 제어장치가 상기 구동정보를 토대로 상기 액추에이터를 구동하는 단계; 및
   상기 제어장치가 상기 액추에이터의 구동 이후 상기 조류의 움직임에 대한 정보를 상기 강화학습 모델에 입력하여 상기 강화학습 모델의 파라미터를 조절하는 단계;를 포함하는 유해조류 제어 방법.
2. 제 1 항에 있어서,
   상기 제어장치는 상기 조류의 종류를 분류하는 딥러닝 모델을 더 포함하고, 상기 딥러닝 모델은 상기 이미지가 입력되면 상기 조류가 유해조류인지 분류하는 유해조류 제어 방법.
3. 제 1 항에 있어서,
   상기 제어장치는 상기 액추에이터를 구동하여 상기 조류를 상기 과수원 내 특정 구역으로 유도하는 유해조류 제어 방법.
4. 제 3 항에 있어서,
   상기 특정 구역은 상기 과수원 내 과수가 존재하지 않는 구역 또는 사전에 조류의 먹이를 배치한 구역인 유해조류 제어 방법.
5. 제 1 항에 있어서,
   상기 제어장치는 상기 구동정보에 따라 상기 액추에이터의 구동 주기, 구동 횟수 및 구동 레벨을 제어하는 유해조류 제어 방법.
6. 제 1 항에 있어서,
   상기 액추에이터는 음향장치, 유체 분사장치 및 광 발생장치를 포함하는 유해조류 제어 방법.
7. 과수원 내 조류(Birds)에 대한 이미지를 촬영하는 카메라;
   상기 이미지를 입력값으로 이용하여 상기 과수원에 설치된 액추에이터에 대한 동작을 결정하는 구동정보를 출력하는 강화학습 모델을 저장하는 저장장치; 및
   상기 구동정보에 따라 상기 액추에이터를 구동하고, 상기 액추에이터의 구동 이후 상기 조류의 움직임에 대한 정보를 상기 강화학습 모델에 입력하여 상기 강화학습 모델의 파라미터를 조절하는 프로세서;를 포함하는 유해조류 제어 장치.
8. 제 7 항에 있어서,
   상기 저장장치는 상기 조류의 종류를 분류하는 딥러닝 모델을 더 포함하고, 상기 딥러닝 모델은 상기 이미지가 입력되면 상기 조류가 유해조류인지 분류하는 유해조류 제어 장치.
9. 제 7 항에 있어서,
   상기 프로세서는 상기 액추에이터를 구동하여 상기 조류를 상기 과수원 내 특정 구역으로 유도하는 유해조류 제어 장치.
10. 제 9 항에 있어서,
    상기 특정 구역은 상기 과수원 내 과수가 존재하지 않는 구역 또는 사전에 조류의 먹이를 배치한 구역인 유해조류 제어 장치.
11. 제 7 항에 있어서,
    상기 프로세서는 상기 구동정보에 따라 상기 액추에이터의 구동 주기, 구동 횟수 및 구동 레벨을 제어하는 유해조류 제어 장치.
12. 제 7 항에 있어서,
    상기 액추에이터는 음향장치, 유체 분사장치 및 광 발생장치를 포함하는 유해조류 제어 장치.

Images