KR20240076336A

KR20240076336A - 수조 내의 특정 개체를 분리하기 위한 시스템, 방법 및 컴퓨터 프로그램

Info

Publication number: KR20240076336A
Application number: KR1020220189671A
Authority: KR
Inventors: 조보현; 박진기
Original assignee: (주)빌리언이십일
Priority date: 2022-11-23
Filing date: 2022-12-29
Publication date: 2024-05-30

Abstract

수조 내의 특정 개체를 분리하기 위한 방법이 개시된다. 본 방법은 수조 영상에 포함된 복수의 개체들 중 수조 내의 분리가 필요한 특정 개체를 식별하는 단계, 식별된 특정 개체에 식별 정보를 할당하는 단계, 식별된 특정 개체를 트랙킹하는 단계 및 식별된 특정 개체의 분리를 위한 프로세스를 수행하는 단계를 포함한다. 여기서, 특정 개체는 질병이 있는 개체 및 크기가 작은 개체 중 적어도 하나를 포함할 수 있다.

Description

수조 내의 특정 개체를 분리하기 위한 시스템, 방법 및 컴퓨터 프로그램{System, method, and computer program for isolating specific entities in water bath}

본 발명은 수조 내에서 분리가 필요한 특정 개체(예를 들어, 질병이 있는 개체, 수조 내의 다른 개체들 대비 사이즈가 작은 개체 등)를 분리하기 위한 기술에 관한 발명이다.

최근 급격한 기후 변화에 따른 수온이 상승하고 있으며, 수온 상승에 따라 해양 환경이 변화되고 있다. 이는 해양 생태계를 변화시킬 정도로 큰 영향을 미치고 있다.

또한, 특정 어종을 남획함에 따라 해당 어종의 번식이 어렵게 되고, 그 결과로 어종이 고갈되어 버리는 위기에 처하는 일까지 빈번하게 발생하고 있다.

이러한 문제점을 해결하기 위하여 도입된 것이 양식장이며, 양식장에는 수조에 해당 어종에 맞는 수중 환경이 조성되고, 생태계의 천적에 위협받지 않게 되므로 생산성이 극대화될 수 있다.

양식장의 일정한 수조 내 많은 수산 생물들의 생산성 증대를 위해서는, 수산 생물의 상태를 실시간 모니터링하여 질병이 있는 개체나, 타 개체 대비 사이즈가 작은 개체 등을 분리하기 위한 기술이 필요하다.

종래에는, 관리자가 눈으로 수조를 보면서 수조 내에서 분리가 필요한 개체를 특정하고, 해당 개체를 직접 잡아서 분리하였다. 다만, 이러한 종래 방식에 따르면, 관리자의 육안으로 모니터링하기 때문에, 수조 내의 수많은 개체들 중 분리가 필요한 개체를 특정하는데 어려움이 있었고, 특히, 물의 탁도가 높은 일부 양식장 환경에서는 해당 개체의 특정이 더욱 어렵다는 문제점이 있었다.

이에 따라, 종래에는 질병이 있는 개체나, 타 개체 대비 사이즈가 작은 개체 등의 분리에 많은 시간과 노동력이 소모되어, 양식장의 생산성을 높이는데 한계가 있었다.

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 수조 내의 복수의 개체들 중 분리가 필요한 특정 개체(특정 개체는 질병이 있는 개체 및 크기가 작은 개체 중 적어도 하나를 포함)를 식별하고, 식별된 특정 개체의 분리를 위한 프로세스를 수행하는 시스템, 방법 및 컴퓨터 프로그램을 제안함에 있다.

본 문서에 개시된 실시예들의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 수조 내의 특정 개체를 분리하기 위한 방법은 수조 영상에 포함된 복수의 개체들 중 수조 내의 분리가 필요한 특정 개체를 식별하는 단계, 상기 특정 개체는 질병이 있는 개체 및 크기가 작은 개체 중 적어도 하나를 포함하고, 상기 식별된 특정 개체에 식별 정보를 할당하는 단계, 상기 식별된 특정 개체를 트랙킹하는 단계 및 상기 식별된 특정 개체의 분리를 위한 프로세스를 수행하는 단계를 포함한다.

그리고, 상기 식별하는 단계는, 상기 수조 영상으로부터 질병 개체 및 질병 개체의 질병 종류를 분류하도록 학습된 제1 인공 신경망 모델을 이용하여 상기 질병이 있는 개체를 식별할 수 있다.

또한, 상기 식별하는 단계는, 생육 모델링 모델을 이용하여 상기 수조의 개체들의 크기들을 예측하는 단계 및 상기 예측된 크기보다 작은 개체를 식별하는 단계를 포함할 수 있다.

그리고, 상기 식별 정보는, 개체 ID를 포함하고, 개체 질병 종류 및 개체 크기 중 적어도 하나를 더 포함할 수 있다.

또한, 상기 트랙킹하는 단계는, 상기 식별된 특정 개체의 영상과 상기 식별 정보로 학습된 제2 인공 신경망 모델을 이용하여 상기 식별된 특정 개체를 검출하여 트랙킹하는 단계를 포함할 수 있다.

그리고, 상기 특정 개체의 분리를 위한 프로세스를 수행하는 단계는, 개체 식별 마커를 상기 특정 개체로 이동시키는 단계를 포함할 수 있다.

또한, 상기 특정 개체의 분리를 위한 프로세스를 수행하는 단계는, 상기 특정 개체의 포획을 위한 개체 포획 장치를 상기 특정 개체로 이동시키는 단계를 포함할 수 있다.

그리고, 상기 포획 장치는 포획된 개체를 촬영하는 촬영부를 구비하고, 상기 촬영부를 통해 촬영된 포획 개체 영상을 수신하는 단계; 상기 포획 개체 영상을 기초로 상기 포획 개체의 상태를 분석하는 단계 및 상기 분석 결과에 따라 포획 개체의 방출 여부를 제어하는 단계를 더 포함할 수 있다.

또한, 상기 개체 식별 마커는 레이저 방출 수단에 의하여 형성되고, 상기 이동시키는 단계는 상기 레이저 방출 수단에 의하여 형성된 레이저 빔을 상기 특정 개체가 위치한 영역으로 조사하는 단계일 수 있다.

그리고, 상기 레이저 방출 수단과 연동하여 동작하는 촬영 수단을 더 포함하고, 상기 촬영 수단은 상기 레이저 방출 수단의 레이저 빔이 향하는 영역을 촬영하도록 팬(pan), 틸트(tilt), 및 줌(zom) 중 적어도 하나를 제어하는 단계를 더 포함할 수 있다.

또한, 상기 수조에는 소정 격자(grid)가 형성되고, 상기 소정 격자를 이용하여 상기 수조 내의 특정 개체의 위치 좌표를 산출하는 단계를 더 포함할 수 있다.

그리고, 상기 소정 격자는 발광형 및 야광형 격자 중 적어도 하나일 수 있다.

한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 수조 내의 특정 개체를 분리하기 위한 시스템은 수조 영상에 포함된 복수의 개체들 중 수조 내의 분리가 필요한 특정 개체를 식별하는 특정 개체 식별부, 상기 식별된 특정 개체에 식별 정보를 할당하며, 상기 식별된 특정 개체를 트랙킹하는 트랙킹부 및 상기 식별된 특정 개체의 분리를 위한 프로세스를 수행하도록 분리 프로세스 수행부를 제어하는 분리 프로세스 제어부를 포함하고, 상기 특정 개체는 질병이 있는 개체 및 크기가 작은 개체 중 적어도 하나를 포함할 수 있다.

또한, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램은 상술한 방법을 실행시키는 프로그램 코드를 포함할 수 있다.

또한, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 컴퓨터 판독 가능한 기록 매체는 상술한 방법을 실행하기 위한 프로그램이 기록될 수 있다.

본 발명의 다양한 실시 예에 따르면, 수조 내에서 분리가 필요한 특정 개체를 관리자가 용이하게 찾을 수 있다.

또한, 본 발명의 다양한 실시 예에 따르면, 수조 내에서 분리가 필요한 특정 개체의 분리에 소요되는 시간 및 노동력을 줄일 수 있다.

도 1은 본 발명의 일 실시 예에 따른 수조 내 특정 개체를 분리하기 위한 시스템을 개략적으로 나타내는 개념도이다.
도 2는 본 발명의 일 실시 예에 따른 양식장을 보다 구체적으로 나타내는 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 데이터 처리부를 구체적으로 나타내는 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 수조 내의 특정 개체를 분리하는 방법을 나타내는 타이밍도이다.
도 5는 본 발명의 일 실시 예에 따른 수조 영상을 나타내는 도면이다.
도 6은 본 발명의 일 실시 예에 따른 인공 신경망을 이용한 질병 개체 식별 과정을 나타내는 도면이다.
도 7은 본 발명의 일 실시 예에 따른 옵티컬 플로우를 이용한 개체 트랙킹 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 개체 식별 마커로 레이저를 이용한 예시를 나타내는 도면이다.
도 9는 본 발명의 일 실시 예에 따른 개체 포획 장치를 나타내는 블록도이다.
도 10은 은 본 발명의 일 실시 예에 따른 포획 개체의 방출 여부 제어 과정을 타내는 흐름도이다.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시 예에 대하여 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시 예에 따른 시스템을 개략적으로 설명하는 도면이다. 도 2는 본 발명의 일 실시 예에 따른 양식장을 보다 구체적으로 나타내는 블록도이다. 도 1 내지 2를 참조하면, 시스템(1000)은 양식장(10)의 복수의 수조(100-1,100-2,..100-N : 이하, 100), 복수의 수조 각각에 설치된 촬영부(200), 촬영부(200)의 촬영 영상을 처리하는 데이터 처리부(300), 데이터 처리부(300)에서 분리 대상으로 특정된 특정 개체의 분리를 위한 프로세스를 수행하는 분리 프로세스 수행부(400) 및 양식장을 관리하는 관리자의 단말기(500)의 전부 또는 일부를 포함할 수 있다.

여기서, 양식장(10)은 어업에 필요한 여러 장치들이 구비된 실물의 양식장으로, 수원의 종류에 따라 담수(freshwater)로 수산 생물을 양식하는 담수 양식장과 해수(sea water)로 수산 생물을 양식하는 해수 양식장을 포함할 수 있다.

또한, 양식장(10)은 양식 방식에 따라 바다나 호수에 그물을 쳐서 구획을 짓고 그 안에서 수산 생물을 양식하는 가두리 양식장, 육상의 노지에 물을 받아 수산 생물을 양식하는 노지 양식장 및 육상에 양식 설비를 갖추어 수산 생물을 양식하는 육상 양식장을 포함할 수 있다.

본 발명에 따른 양식장(10)은 상술한 분류에 따른 담수 양식장, 해수 양식장, 가두리 양식장, 노지 양식장 및 육상 양식장 등을 모두 포함하는 개념일 수 있다.

본 발명에서 양식의 대상이 되는 수산 생물은 어류, 갑각류, 식물 등 물에서 자라는 동물, 식물 등 모든 생물을 포함하는 개념일 수 있다.

이하에서는 설명의 편의를 위하여 수산 생물은 어류를 기준으로 설명하기로 한다. 다만, 이는 본 발명의 일 실시 예로, 본 발명의 수산 생물의 예시는 어류에 한정되는 것은 아니다.

한편, 양식장(10)은 수산 생물이 양식되는 복수의 수조(100)로 구성될 수 있다. 여기서, 복수의 수조(100) 각각을 구성하는 면에는 격자(grid)가 형성될 수 있다. 또는, 복수의 수조(100) 각각에는 수산 생물을 채집할 수 있는 샘플링망이 설치될 수 있고, 샘플링망에 상술한 격자가 형성될 수 있다.

이러한, 격자는 수조(100) 내의 특정 개체의 위치 좌표 및 특정 개체의 크기 중 적어도 하나를 산출하는데 이용될 수 있다. 여기서, 격자는 발광형 및/또는 야광형 격자일 수 있다.

촬영부(200)는 수조(100) 내에서 양식되는 수산 생물을 포함하는 영상을 촬영할 수 있다. 여기서, 촬영부(200)는 수조(100)의 상부에 설치되거나, 또는 수조(100)의 내부에 설치될 수 있다.

한편, 양식장(10)은 다양한 구성 요소들을 기초로 양식장(10)에 대한 다양한 데이터를 수집할 수 있다. 도 2를 참조하여 보다 구체적으로 설명하면, 양식장(10)은 자동화 장치(11), 액츄에이터(12), 환경 센서(13), 에너지원(14), 통신부(15), 제어부(16)를 포함할 수 있다.

자동화 장치(11)는 히트 펌프, 해수 펌프, 냉각 장치, 용존 산소 공급 장치, 사료공급 장치, 어류 선별 장치, 피시 펌프, 열원공급 장치 등으로 구성될 수 있다.

그리고, 액츄에이터(12)는 자동화 장치(11)들을 구동하기 위한 밸브, 개폐 장치, 스위치, 회전 장치 등을 포함할 수 있다.

그리고, 환경 센서(13)는 수조 내의 용존 산소(Dissolved Oxigen) 농도를 측정하는 용존산소 센서, 수온을 측정하는 수온센서, 염분을 측정하는 염도 센서, 수소이온농도를 측정하는 pH 센서 등을 포함할 수 있다.

그리고, 에너지원(14)은 양식장에서 필요로 하는 에너지를 공급하기 위한 에너지 소스로, 축전지, 계통전원, 신재생 에너지 등의 전력 소스를 포함할 수 있다. 그리고, 에너지원(14)은 상기 전력 소스의 발전량, 충전량, 열원 온도 등을 측정하는 모니터링 수단을 더 포함할 수 있다.

한편, 통신부(15)는 양식장(10)과 다른 기기들 간의 통신 기능을 유선 및/또는 무선 통신 네트워크를 통해 가능하게 할 수 있다. 일 예로, 통신부(15)는 자동화 장치(11), 액츄에이터(12), 환경 센서(13) 및 에너지원(14) 중 적어도 하나의 동작 상태 데이터를 데이터 처리부(300)에 전송할 수 있다. 다른 예로, 통신부(15)는 복수의 수조(100) 각각에 설치된 촬영부(200)에서 촬영된 영상을 데이터 처리부(300)에 전송할 수 있다. 또 다른 예로, 통신부(15)는 데이터 처리부(300)로부터 각종 제어 데이터를 수신할 수 있다.

데이터 처리부(300)는 획득된 다양한 데이터를 분석 및 처리하여 각종 유의미한 데이터를 생성할 수 있고, 생성된 데이터를 기초로 시스템(1000)의 전반적인 동작을 제어할 수 있다. 일 예로, 데이터 처리부(300)는 양식장(10) 내의 여러 장치를 제어하기 위한 데이터를 생성할 수 있고, 양식장(10)의 제어부(16)는 데이터 처리부(300)로부터 수신된 데이터를 기초로 양식장(10) 내 여러 장치를 제어할 수 있다.

여기서, 데이터 처리부(300)는 양식장(10)의 현장에 구비된 에지 컴퓨팅 디바이스(edge computing device)로 구현될 수 있고, 또는 외부 센터에 구비되는 것으로 구현될 수도 있다.

한편, 상술한 양식장(10)의 구성은 하나의 예시이며 폭기장치, 수차장치, 자동백신장치, 용존 산소 용해 장치, 드럼필터, 거품분리기, 바이오필터, 여과조 등과 같이 어류 양식을 위해 필요한 여러 장치가 추가로 구비될 수 있다.

한편, 본 발명의 일 실시 예에 따른 데이터 처리부(300)는 수조 내의 분리가 필요한 특정 개체, 예를 들어, 질병이 있는 개체 및/또는 크기가 작은 개체 등의 분리를 위한 프로세스가 수행되도록 시스템(1000)의 전반적인 동작을 제어할 수 있다.

구체적으로, 데이터 처리부(300)는 촬영부(200)로부터 획득된 수조 촬영 영상에 포함된 복수의 개체들 중 수조 내의 분리가 필요한 특정 개체를 식별하고, 식별된 특정 개체에 식별 정보를 할당하며, 식별된 특정 개체를 트랙킹하고, 식별된 특정 개체의 분리를 위한 프로세스를 수행하도록 분리 프로세스 수행부(400)를 제어할 수 있다.

분리 프로세스 수행부(400)는 특정 개체를 분리하기 위한 가이드를 생성하여 관리자에게 제공하거나 또는 특정 개체를 포획하는 기능을 수행할 수 있다.

한편, 관리자 단말기(500)는 데이터 처리부(300)로부터 수신된 데이터를 기초로 양식장(10)에 대한 다양한 정보를 표시할 수 있다. 예를 들어, 관리자 단말기(500)는 양식장(10)의 동작 상태를 표시하거나, 수조(100)의 특정 개체 분리 프로세스의 진행 상태를 표시할 수 있다.

여기서, 관리자 단말기(500)는 유무선 통신 기능을 구비하여 스마트 양식 관리 장치(100)에 접속하여 각종 정보를 수신하여 표시할 수 있는 다양한 장치, 일 예로, 스마트폰, 노트북 컴퓨터, PC(Personal computer), 태블릿 컴퓨터, 스마트 글래스, 스마트 워치 등으로 구현될 수 있다.

이하에서는 도 3을 참조하여 상술한 특정 개체 분리 프로세스를 수행하는 데이터 처리부(300)에 대하여 보다 상세히 설명하기로 한다.

도 3은 본 발명의 일 실시 예에 따른 데이터 처리부(300)를 구체적으로 나타내는 블록도이다. 도 4는 본 발명의 일 실시 예에 따른 수조 내의 특정 개체를 분리하는 방법을 나타내는 타이밍도이다.

도 3 내지 4를 참조하면, 데이터 처리부(300)는 특정 개체 식별부(310), 트랙킹부(320) 및 분리 프로세스 제어부(330)의 전부 또는 일부를 포함할 수 있다.

이하에서는, 데이터 처리부(300)의 각 구성 모듈 별로 분류하여 설명하였으나, 각 구성 모듈의 기능은 모두 데이터 처리부(300)에서 수행되는 것으로 설명될 수도 있다.

촬영부(200)는 수조 영상을 촬영할 수 있고(S101), 데이터 처리부(300)는 촬영된 수조 영상을 획득할 수 있다(S102). 촬영부(200)에서 촬영된 수조 영상에 대해 도 5를 참조하여 보다 상세히 설명하면, 수조 영상(810)은 복수의 수산 생물들(811), 상기 수산 생물들의 양식에 사용되는 물(미도시) 및 수조에 형성된 격자(813)를 포함할 수 있다.

여기서, 격자(813)는 X축 및 Y축으로 구성된 2차원 격자일 수 있고, 격자에 의하여 형성된 복수의 영역(814)들 각각은 동일한 X 축 길이와 동일한 Y 축 길이를 가지도록 구성될 수 있다. 이 경우, 데이터 처리부(300)는 수산 생물(811)과 복수의 영역(814)을 비교하여 수산 생물(811)의 크기를 산출할 수 있다.

또한, 격자(813)는 수조(100) 내에서 수산 생물(811)의 위치 좌표를 산출하는데 이용될 수 있다. 구체적으로, 데이터 처리부(300)는 격자(813)를 구성하는 복수의 영역(814) 각각에 할당된 위치 좌표값을 이용하여 수산 생물(811)의 위치 좌표를 산출할 수 있다.

여기서, 격자는 발광형 및/또는 야광형 격자일 수 있다. 다만, 이는 본 발명의 일 예시일 뿐, 격자는 비발광형 또는 비양광형으로 구현될 수도 있다. 비발광형 또는 비향광형 격자의 일 예시는 수조의 바닥면에 페인트 등으로 그려진 격자일 수 있다.

또한, 격자는 수조(10)의 바닥면에 형성될 수 있다. 다만, 이는 본 발명의 일 예시일 뿐, 격자는 수조(10)의 측면에 형성될 수도 있고, 수조(10)의 수중 또는 수면 위에 배치된 격자판으로 구현될 수도 있다.

또는, 복수의 수조(100) 각각에는 수산 생물을 채집할 수 있는 샘플링망이 설치될 수 있고, 샘플링망에 상술한 격자가 형성될 수 있다.

한편, 데이터 처리부(300)의 특정 개체 식별부(310)는 촬영부(200)에서 촬영된 수조 영상에 포함된 복수의 개체들 중 분리가 필요한 특정 개체를 식별할 수 있다(S103).

일 예로, 특정 개체 식별부(310)는 학습된 제1 인공 신경망 모델을 이용하여 수조 영상의 복수의 개체들 중 질병이 있는 개체를 식별할 수 있다. 구체적으로, 특정 개체 식별부(310)는 촬영부(200)에서 촬영된 수조 영상(71)을 프레임(frame) 단위로 제1 인공 신경망 모델(73)에 입력하고, 수조 영상 내 질병이 있는 개체의 영역을 나타내는 바운딩 박스(bounding box)(75-1,75-2) 및 바운딩 박스에 대응되는 개체의 질병 정보가 포함된 수조 영상(75)을 획득할 수 있다.

일 예로, 넙치는 기생충에 의한 스쿠티카병, 세균에 의한 비브리오증, 바이러스에 의한 림포시스티스 등 다양한 질병이 존재하고, 각 질병의 종류에 따라 어류 영상에는 하기 표 1과 같은 증상을 포함하고 있다.

질병 종류	증상
스쿠티카병	체표 염증, 두부 손상, 안구 백락 및 돌출
비브리오증	체색 흑화, 등 부위의 부분적 발적과 궤양, 복부 측면 출혈
림포시스티스	입 주위의 종양, 체표 출혈

본 발명에 따른 제1 인공 신경망 모델(73)은 질병 개체 영상에 질병의 종류가 라벨링(labeling)된 학습 데이터를 이용하여 학습된 모델일 수 있고, 제1 인공 신경망 모델(73)의 파라미터들은 학습 데이터를 이용한 학습 과정을 통해 조정될 수 있다.

이러한 학습된 제1 인공 신경망 모델(73)은 입력 영상(71)으로부터 질병 개체(75-1,75-2)를 인식하여, 출력 수조 영상(75) 내 질병 개체(75-1,75-2)의 영역을 나타내는 바운딩 박스(bounding box) 및 해당 바운딩 박스에 대응되는 질병 개체의 질병 종류 분류(classification) 결과를 출력할 수 있다.

여기서, 제1 인공 신경망 모델은, 일 예로, 컨벌루션 신경망(Convolution Neural Network : CNN) 모델일 수 있다.

한편, 다른 예로, 특정 개체 식별부(310)는 비교군 대비 크기가 작은 개체를 식별할 수 있다. 구체적으로, 특정 개체 식별부(310)는 생육 모델링 모델을 이용하여 수조(100)의 개체들의 크기들을 예측하고, 예측된 크기보다 작은 개체를 식별할 수 있다. 여기서, 생육 모델링 모델은 수조(100)의 산소, 온도, 염도 등의 환경 데이터 및 사료 공급량 등을 입력받아 해당 수조(100)에서 양식되는 개체의 예상 크기를 모델링하는 모델일 수 있다.

또는, 특정 개체 식별부(310)는 수조(100)에 형성된 격자(813)를 이용하여 수조(100) 내부의 복수의 개체들에 대한 평균 크기를 산출할 수 있고, 산출된 평균 크기 보다 작은 개체를 식별할 수 있다.

그리고, 특정 개체 식별부(310)는 복수의 개체들 중 식별된 특정 개체에 대해서만 식별 정보를 할당할 수 있다(S104). 구체적으로, 특정 개체 식별부(310)는 식별된 특정 개체의 영상에 식별 정보를 할당하여 메모리에 저장할 수 있다. 여기서, 식별 정보는 개체 ID(Identification)을 포함하고, 개체 질병 종류 및 개체 크기 중 적어도 하나를 더 포함할 수 있다. 이러한 특정 개체 식별부(310)의 식별 정보 할당에 따라, 분리가 필요특정 개체들 각각은 서로 식별 가능할 수 있다.

즉, 수조(100) 내에는 수많은 개체들이 양식되고 있기에, 전체 개체에 식별 정보를 할당하는 것은 불가능할 수 있으나, 질병이 있는 개체나 사이즈가 작는 개체와 같은 일부의 특정 개체에 대해서는 식별 정보를 할당할 수 있다.

한편, 데이터 처리부(300)의 트랙킹부(320)는 식별된 특정 개체를 트랙킹할 수 있다(S105). 구체적으로, 트랙킹부(320)는 식별된 특정 개체의 영상과 식별 정보로 학습된 제2 인공 신경망 모델을 이용하여 상기 식별된 특정 개체를 검출하여 트랙킹을 수행할 수 있다.

즉, 본 발명에 따른 제2 인공 신경망 모델은 복수의 개체들로부터 식별된 특정 개체의 검출을 위하여 학습된 모델로, 특정 개체의 영상과 식별 정보가 라벨링된 학습 데이터를 이용하여 학습된 모델일 수 있다. 이러한 제2 인공 신경망 모델의 파라미터들은 학습 데이터를 이용한 학습 과정을 통해 조정될 수 있다.

여기서, 상술한 제1 인공 신경망 모델과 상술한 제2 인공 신경망 모델은 서로 다른 데이터로 학습된 서로 다른 모델일 수 있다. 일 예로, 제2 인공 신경망 모델은 컨벌루션 신경망(Convolution Neural Network : CNN) 모델일 수 있다.

만약, 제2 인공 신경망 모델을 이용한 트랙킹 도중 식별된 특정 개체의 검출이 실패하는 경우, 트랙킹부(320)는 식별된 특정 개체가 검출되었던 시점의 특정 개체 이미지의 옵티컬 플로우(Optical flow)를 이용하여 트랙킹을 수행할 수 있다. 이에 대해서는 도 7을 참조하여 보다 구체적으로 설명하기로 한다.

도 7은 본 발명의 일 실시 예에 따른 옵티컬 플로우를 이용한 트랙킹 과정을 설명하기 위한 도면이다. 도 7을 참조하면, 수조 영상의 제1 프레임에서는 제2 인공 신경망 모델을 이용하여 제1 특정 개체(85-1)와 제2 특정 개체(85-2)가 검출되었으나, 이 후의 제2 프레임에서는 제2 인공 신경망 모델을 이용하여 제2 특정 개체(85-2) 만이 검출되고 제1 특정 개체(85-1)가 검출되지 않았음을 알 수 있다. 이 경우, 트랙킹부(320)는 제1 특정 개체가 검출되었던 제1 프레임의 특정 개체(85-1)의 특징점(86-1)을 추출하고, 추출된 특징점(86-1)의 옵티컬 플로우(86)를 이용하여 제1 특정 개체(85-1)를 트랙킹할 수 있다.

한편, 트랙킹부(320)는 프레임 별로 제2 인공 신경망 모델을 이용한 특정 개체 검출 과정을 수행할 수 있고, 만약 제2 프레임 이후의 제3 프레임에서 제1 특정 개체(85-1) 및 제2 특정 개체(85-2)가 모두 검출되면, 옵티컬 플로우를 이용한 트랙킹 과정을 중단하고, 제2 인공 신경망 모델을 이용한 트랙킹을 수행할 수 있다.

분리 프로세스 제어부(330)는 특정 개체의 분리를 위한 프로세스가 분리 프로세스 수행부(400)에 의하여 수행되도록 제어할 수 있다(S106). 여기서, 분리 프로세스 수행부(400)는 개체 식별 마커 생성부(410) 및 개체 포획 장치(420) 중 적어도 하나를 포함할 수 있다.

일 예로, 분리 프로세스 제어부(330)는 개체 식별 마커 생성부(410)를 제어하여, 개체 식별 마커를 상기 특정 개체로 이동시키도록 제어할 수 있다. 다른 예로, 분리 프로세스 제어부(330)는 개체 포획 장치(420)를 제어하여 개체 포획 장치(520)를 상기 특정 개체로 이동시키도록 제어할 수 있다.

여기서, 분리 프로세스 제어부(330)는 수조에 형성된 격자를 이용하여 산출된 특정 개체의 위치 좌표를 이용하여 개체 식별 마커 생성부(410) 및 개체 포획 장치(420) 중 적어도 하나의 이동을 제어할 수 있다.

이에 대해서는 도 8 내지 9를 참조하여 보다 구체적으로 설명하기로 한다.

도 8은 본 발명의 일 실시 예에 따른 개체 식별 마커 생성부를 나타내는 도면이다. 도 8을 참조하면, 개체 식별 마커 생성부(410)는 분리가 필요한 특정 개체를 향하여 개체 식별 마커를 조사하는 레이저 방출 수단으로 구현될 수 있다. 이 경우, 개체 식별 마커 생성부(410)는 개체 식별 마커를 레이저 빔(91)으로 형성하고, 특정 개체의 위치 좌표를 이용하여 레이저 빔(91)을 특정 개체(85-1)가 위치한 영역으로 조사할 수 있다. 이 경우, 특정 개체(85-1)가 위치한 물의 표면에는 레이저 빔(91)이 형성될 수 있다.

또한, 특정 개체들은 수조(10) 내에서 자유롭게 이동할 수 있기에, 트랙킹부(320)는 수조(10) 내에서 이동 중인 개체들을 트랙킹하고 개체들의 위치 좌표를 산출할 수 있다. 그리고, 분리 프로세스 제어부(330)는 트랙킹에 따라 실시간으로 산출된 위치 좌표를 기초로 개체 식별 마커 생성부(410)의 레이저 빔(91)의 조사 위치를 제어할 수 있고, 개체 식별 마커 생성부(410)는 해당 위치에 레이저 빔을 조사할 수 있다.

이에 따라, 관리자는 물의 표면에 형성된 레이저 빔(91)을 보면서, 질병이 있거나 또는 크기가 작은 특정 개체가 해당 레이저 빔(91) 하부의 물 속에 위치한다는 것을 예측할 수 있고, 이를 통해 수조 내의 복수의 개체들 중 분리가 필요한 특정 개체를 용이하게 찾을 수 있다.

한편, 레이저 방출 수단과 연동하여 동작하는 촬영부를 더 포함할 수 있다. 여기서, 촬영부는 도 1 에 도시된 촬영부(200)로 구현되거나, 촬영부(200)와는 별개의 촬영 수단으로 구현될 수도 있다. 일 예로, 데이터 처리부(300)는 촬영부(200)는 레이저 방출 수단의 레이저 빔이 향하는 영역을 촬영하도록 팬(pan), 틸트(tilt), 및 줌(zom) 중 적어도 하나를 제어할 수 있다. 이 경우, 촬영부(200)를 통해 촬영된 영상은 빔이 조사된 영역의 특정 개체를 정확히 촬영하기 위한 용도로 이용될 수 있다.

한편, 상술한 예시에 따르면, 개체 식별 마커가 레이저 빔으로 구현된 것을 예로 설명하였으나, 이에 한정되는 것은 아니다. 본 발명의 다른 구현 예에 따르면, 개체 식별 마커는 물 위를 떠다니는 볼(ball)로 구현되거나 또는 조명과 같이 관리자의 육안으로 확인 가능한 가시광으로 구현될 수도 있다.

도 9은 본 발명의 일 실시 예에 따른 개체 포획 장치를 나타내는 도면이다. 도 9를 참조하면, 개체 포획 장치(420)는 주행부(421), 포획부(422), 촬영부(423) 및 통신부(424)의 전부 또는 일부를 포함할 수 있다. 주행부(421)는 개체 포획 장치(420)가 수조(100) 내의 수상 및/또는 수중을 주행하기 위한 동력을 제공할 수 있고, 또한, 수조(100)에 형성된 격자를 이용하여 개체 포획 장치(420)의 위치를 산출하여 개체 포획 장치(520)의 주행을 제어할 수 있다. 여기서, 주행부(421)는 일 예로 자율 주행 모듈로 구현될 수 있으나, 이에 제한되는 것은 아니다.

포획부(422)는 특정 개체를 포획하기 위한 포획 공간을 구비할 수 있고, 특정 개체를 포획 공간으로 유도하기 위한 사료 공급 모듈을 포함할 수 있다. 여기서, 포획 공간은 특정 개체를 분리 양육하기 위한 공간의 기능도 수행할 수 있고, 포획 공간에는 포획 개체에 질병 치료를 위한 약을 공급하는 약 공급부를 포함할 수 있다. 또한, 상술한 사료 공급 모듈은 포획 개체의 사이즈를 키우기 위해 포획된 개체에 사료를 개별적으로 공급하는 기능을 수행할 수 있다.

그리고, 촬영부(423)는 포획 공간에 포획된 특정 개체를 촬영할 수 있고, 통신부(424)는 촬영된 특정 개체의 영상을 데이터 처리부(300)에 전송할 수 있다. 또한, 통신부(424)는 특정 개체가 포획되면, 알림을 생성하여 데이터 처리부(300)에 전송할 수도 있다.

이러한 본 발명에 따르면, 관리자가 직접 물에 들어가서 특정 개체를 포획할 필요 없이, 개체 포획 장치(420)가 특정 개체로 접근하고 포획 공간으로 특정 개체를 유도하여 포획함으로써, 관리자의 개체 포획에 소요되는 리소스를 줄일 수 있다.

한편, 개체 포획 장치(420)를 이용한 이후 처리 동작에 대해서는 도 10을 참조하여 보다 구체적으로 설명하기로 한다.

개체 포획 장치(420)는 포획 개체 촬영 영상을 데이터 처리부(300)에 전송할 수 있고(S201), 데이터 처리부(300)는 수신된 포획 개체 영상을 분석하여 포획 개체가 분리가 필요한 특정 개체가 맞는지 분석할 수 있다(S202). 이 경우, 데이터 처리부(300)는 포획 개체 영상을 특정 개체의 영상과 식별 정보가 라벨링된 학습 데이터를 이용하여 학습된 모델인 상술한 제2 인공 신경망 모델을 이용하여 상기 포획 개체가 분리가 필요한 특정 개체인지 분석할 수 있다.

만약, 포획 개체가 분리가 필요한 특정 개체인 경우, 데이터 처리부(300)는 관리자 단말기(500)에 포획 여부를 안내할 수 있다(S203).

그리고, 데이터 처리부(300)는 포획 개체 영상을 기초로 포획 개체의 상태를 분석할 수 있다(S204).

구체적으로, 데이터 처리부(300)는 포획 개체가 질병이 낳았는지 여부를 분석할 수 있다. 일 예로, 데이터 처리부(300)는 포획 개체 영상을 질병 개체를 식별하도록 학습된 상술한 제1 인공 신경망 모델을 이용하여 포획 개체의 질병이 해소되었는지 여부를 판단할 수 있다.

또한, 데이터 처리부(300)는 포획 개체의 사이즈가 타 개체들의 평균 사이즈에 도달하였는지 여부를 분석할 수 있다.

한편, 포획 개체의 분석 결과를 기초로 데이터 처리부(300)는 포획 개체 상태 업데이트 정보를 관리자 단말기(500)에 전송할 수 있고, 데이터 처리부(300)는 분석 결과에 따라 포획 개체의 방출 여부를 제어할 수 있다(S205). 만약, 데이터 처리부(300)에서 포획 개체의 방출로 결정된 경우, 개체 포획 장치(420)는 포획 공간에 포획된 포획 개체를 방출할 수 있고, 데이터 처리부(300)에서 포획 개체의 미방출로 결정된 경우, 개체 포획 장치(420)는 포획 공간에 포획된 포획 개체의 포획 상태를 유지할 수 있다.

이러한 본 발명의 다양한 실시 예에 따르면, 수조 내에서 분리가 필요한 특정 개체를 관리자가 용이하게 찾을 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 명세서를 통해 개시된 모든 실시예들과 조건부 예시들은, 본 발명의 기술 분야에서 통상의 지식을 가진 당업자가 독자가 본 발명의 원리와 개념을 이해하도록 돕기 위한 의도로 기술된 것으로, 당업자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다.

그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

한편, 상술한 본 발명의 다양한 실시 예들에 따른 수조 내의 특정 개체를 분리하는 방법은 프로그램으로 구현되어 서버 또는 기기들에 제공될 수 있다. 이에 따라 각 장치들은 프로그램이 저장된 서버 또는 기기에 접속하여, 상기 프로그램을 다운로드 할 수 있다.

또한, 상술한 본 발명의 다양한 실시 예들에 따른 방법은 프로그램으로 구현되어 다양한 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다. 비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

10 : 양식장 100 : 수조
200 : 촬영부 300 : 데이터 처리부
400 : 분리 프로세스 수행부 500 : 관리자 단말기

Claims

수조 내의 특정 개체를 분리하기 위한 방법에 있어서,
수조 영상에 포함된 복수의 개체들 중 수조 내의 분리가 필요한 특정 개체를 식별하는 단계, 상기 특정 개체는 질병이 있는 개체 및 크기가 작은 개체 중 적어도 하나를 포함하고;
상기 식별된 특정 개체에 식별 정보를 할당하는 단계;
상기 식별된 특정 개체를 트랙킹하는 단계; 및
상기 식별된 특정 개체의 분리를 위한 프로세스를 수행하는 단계;를 포함하는 방법.
제1항에 있어서,
상기 식별하는 단계는,
상기 수조 영상으로부터 질병 개체 및 질병 개체의 질병 종류를 분류하도록 학습된 제1 인공 신경망 모델을 이용하여 상기 질병이 있는 개체를 식별하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 식별하는 단계는,
생육 모델링 모델을 이용하여 상기 수조의 개체들의 크기들을 예측하는 단계; 및
상기 예측된 크기보다 작은 개체를 식별하는 단계;를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 식별 정보는,
개체 ID를 포함하고, 개체 질병 종류 및 개체 크기 중 적어도 하나를 더 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 트랙킹하는 단계는,
상기 식별된 특정 개체의 영상과 상기 식별 정보로 학습된 제2 인공 신경망 모델을 이용하여 상기 식별된 특정 개체를 검출하여 트랙킹하는 단계;를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 특정 개체의 분리를 위한 프로세스를 수행하는 단계는,
개체 식별 마커를 상기 특정 개체로 이동시키는 단계를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 특정 개체의 분리를 위한 프로세스를 수행하는 단계는,
상기 특정 개체의 포획을 위한 개체 포획 장치를 상기 특정 개체로 이동시키는 단계를 포함하는 것을 특징으로 하는 방법.
제7항에 있어서,
상기 포획 장치는 포획된 개체를 촬영하는 촬영부를 구비하고, 상기 촬영부를 통해 촬영된 포획 개체 영상을 수신하는 단계;
상기 포획 개체 영상을 기초로 상기 포획 개체의 상태를 분석하는 단계; 및
상기 분석 결과에 따라 포획 개체의 방출 여부를 제어하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
제6항에 있어서,
상기 개체 식별 마커는 레이저 방출 수단에 의하여 형성되고,
상기 이동시키는 단계는 상기 레이저 방출 수단에 의하여 형성된 레이저 빔을 상기 특정 개체가 위치한 영역으로 조사하는 단계인 것을 특징으로 하는 방법.
제9항에 있어서,
상기 레이저 방출 수단과 연동하여 동작하는 촬영 수단을 더 포함하고,
상기 촬영 수단은 상기 레이저 방출 수단의 레이저 빔이 향하는 영역을 촬영하도록 팬(pan), 틸트(tilt), 및 줌(zom) 중 적어도 하나를 제어하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 수조에는 소정 격자(grid)가 형성되고,
상기 소정 격자를 이용하여 상기 수조 내의 특정 개체의 위치 좌표를 산출하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
제11항에 있어서,
상기 소정 격자는 발광형 및 야광형 격자 중 적어도 하나인 것을 특징으로 하는 방법.
수조 내의 특정 개체를 분리하기 위한 시스템에 있어서,
수조 영상에 포함된 복수의 개체들 중 수조 내의 분리가 필요한 특정 개체를 식별하는 특정 개체 식별부;
상기 식별된 특정 개체에 식별 정보를 할당하며, 상기 식별된 특정 개체를 트랙킹하는 트랙킹부; 및
상기 식별된 특정 개체의 분리를 위한 프로세스를 수행하도록 분리 프로세스 수행부를 제어하는 분리 프로세스 제어부;를 포함하고,
상기 특정 개체는 질병이 있는 개체 및 크기가 작은 개체 중 적어도 하나를 포함하는 것을 특징으로 하는 시스템.
제1항 내지 제12항 중 어느 한 항에 기재된 방법을 실행시키는 프로그램 코드를 포함하는 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.
제1항 내지 제12항 중 어느 한 항에 기재된 방법을 실행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.