KR20240042764A - 종자 수출입 시 공간적인 특징정보를 이용한 병충해를 조사하기 위한 장치 및 이를 위한 방법 - Google Patents

Abstract

본 발명의 바람직한 실시예에 따른 병충해를 조사하기 위한 장치는 길이 조절 가능한 약대의 일단에 연결된 반사경을 통해 반사된 선박의 어느 일 영역을 촬영하여 입력 영상을 생성하는 영상수집부와, 학습된 검출모델을 통해 상기 입력 영상을 분석하여 해충의 종류 및 위치 정보를 검출하는 검출부와, 해충의 종류 및 위치 정보를 포함하는 검출 정보를 생성하고, 생성된 검출 정보를 사용자장치에 제공하는 정보제공부를 포함한다.

Description

종자 수출입 시 공간적인 특징정보를 이용한 병충해를 조사하기 위한 장치 및 이를 위한 방법{Apparatus and method for investigating pests using spatial characteristic information when importing and exporting seeds}

본 발명은 병충해를 조사하기 위한 기술에 관한 것으로, 보다 상세하게는 종자 수출입 시 공간적인 특징정보를 이용한 병충해를 조사하기 위한 장치 및 이를 위한 방법에 관한 것이다.

NAPPO(북미식물보호기구) 회원국 기준 검역범 시행으로 무역선을 통해 작물 종자 수출입 시, 예컨대, 아시아매미나방(AGM) 등과 같이 해상무역 경로를 통하여 유입되는 병해충 무감염을 증명하기 위해 수출겸역증명서, 전자식물검역증명서 등의 무감염 검사증명서 제출이 필수적으로 요구된다.

이에 따라, 검역원이 정박한 무역선에 출입하여 검사를 진행하지만 조사 시 많은 시간 소요와 인력이 소요된다. 더욱이, 선박 검역의 수요, 선박 종류 다양화 및 대형화 등으로 인한 검역환경의 변화로 국제무역 의존도 및 무역량 증가로 검사원의 업무강도 및 안전사고 증가, 검사원의 경험과 주관적인 판단에 의한 검역 오판단이 발생할 수 있다. 게다가, 검역 고위험기 기간 기존의 육안판별과 같은 수동적인 방법으로는 검역의 정확성, 유해 생물에 대한 방역 안전성을 확보하는데 어려움이 있다.

한국공개특허 제2022-0105773호 (2022년07월28일 공개)

본 발명의 목적은 종자 수출입 시 공간적인 특징정보를 이용한 병충해를 조사하기 위한 장치 및 이를 위한 방법을 제공함에 있다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 병충해를 조사하기 위한 장치는 길이 조절 가능한 약대의 일단에 연결된 반사경을 통해 반사된 선박의 어느 일 영역을 촬영하여 입력 영상을 생성하는 영상수집부와, 학습된 검출모델을 통해 상기 입력 영상을 분석하여 해충의 종류 및 위치 정보를 검출하는 검출부와, 해충의 종류 및 위치 정보를 포함하는 검출 정보를 생성하고, 생성된 검출 정보를 사용자장치에 제공하는 정보제공부를 포함한다.

상기 검출부는 상기 입력 영상을 상기 학습된 검출모델에 입력하고, 상기 검출모델이 상기 입력 영상에 대해 복수의 계층간 가중치가 적용되는 복수의 연산을 수행하여 상기 입력 영상에서 객체가 차지하는 영역을 나타내는 바운딩박스 및 상기 바운딩박스 내의 객체에 대한 인식 결과를 나타내는 클래스별 확률값을 도출하면, 상기 클래스별 확률값에 따라 상기 해충의 종류를 검출하고, 상기 바운딩박스를 상기 해충의 위치 정보로 검출하는 것을 특징으로 한다.

상기 장치는 학습용 입력 영상 및 입력 영상에 대한 레이블을 포함하는 학습 데이터를 마련하고, 학습용 입력 영상을 학습이 완료되지 않은 검출모델에 입력하고, 검출모델이 학습용 입력 영상에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 학습용 입력 영상에서 객체가 차지하는 영역을 나타내는 바운딩박스 및 바운딩박스 내의 객체에 대한 인식 결과를 나타내는 클래스별 확률값을 포함하는 학습용 출력 영상을 도출하면, 손실 함수를 통해 학습용 출력 영상과 상기 레이블과의 차이를 나타내는 손실을 산출하고, 상기 손실이 최소화되도록 검출모델의 가중치를 갱신하는 최적화를 수행하는 학습부를 더 포함한다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 병충해를 조사하기 위한 방법은 영상수집부가 길이 조절 가능한 약대의 일단에 연결된 반사경을 통해 반사된 선박의 어느 일 영역을 촬영하여 입력 영상을 생성하는 단계와, 검출부가 학습된 검출모델을 통해 상기 입력 영상을 분석하여 해충의 종류 및 위치 정보를 검출하는 단계와, 정보제공부가 해충의 종류 및 위치 정보를 포함하는 검출 정보를 생성하고, 생성된 검출 정보를 사용자장치에 제공하는 단계를 포함한다.

상기 해충의 종류 및 위치 정보를 검출하는 단계는 검출부가 상기 입력 영상을 상기 학습된 검출모델에 입력하는 단계와, 상기 검출모델이 상기 입력 영상에 대해 복수의 계층간 가중치가 적용되는 복수의 연산을 수행하여 상기 입력 영상에서 객체가 차지하는 영역을 나타내는 바운딩박스 및 상기 바운딩박스 내의 객체에 대한 인식 결과를 나타내는 클래스별 확률값을 도출하는 단계와, 검출부가 상기 클래스별 확률값에 따라 상기 해충의 종류를 검출하고, 상기 바운딩박스를 상기 해충의 위치 정보로 검출하는 단계를 포함한다.

상기 방법은 상기 입력 영상을 생성하는 단계 전, 학습부가 학습용 입력 영상 및 입력 영상에 대한 레이블을 포함하는 학습 데이터를 마련하는 단계와, 상기 학습부가 학습용 입력 영상을 학습이 완료되지 않은 검출모델에 입력하는 단계와, 검출모델이 학습용 입력 영상에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 학습용 입력 영상에서 객체가 차지하는 영역을 나타내는 바운딩박스 및 바운딩박스 내의 객체에 대한 인식 결과를 나타내는 클래스별 확률값을 포함하는 학습용 출력 영상을 도출하는 단계와, 상기 학습부가 손실 함수를 통해 학습용 출력 영상과 상기 레이블과의 차이를 나타내는 손실을 산출하는 단계와, 상기 손실이 최소화되도록 검출모델의 가중치를 갱신하는 최적화를 수행하는 단계를 더 포함한다.

본 발명에 따르면, 선박 내 다양한 장소에 존재하는 병해충에 대해 검사시 한정된 검사원에 대한 업무강도 해소와 안전 확보 및 검사에 소요되는 시간을 감소시킬수 있다. 또한, 본 발명은 길이 조절 가능한 막대에 설치된 카메라를 이용하여 촬영하기 때문에 선박 내 다양한 위치에 대한 검사를 진행할 뿐만 아니라, 객관적인 판단 결과 확보와 검역 안전성을 확보할 수 있다. 더욱이, 본 발명은 도출된 검출 정보를 검역 증거 자료로 활용함으로써 수출검역증명서 또는 전자식물검역증명서 발급 신뢰성 제공 및 제시할 수 있다.

도 1은 본 발명의 실시예에 따른 종자 수출입 시 공간적인 특징정보를 이용한 병충해를 조사하기 위한 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 종자 수출입 시 공간적인 특징정보를 이용한 병충해를 조사하기 위한 장치의 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 종자 수출입 시 공간적인 특징정보를 이용한 병충해를 조사하기 위한 검출모델을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 종자 수출입 시 공간적인 특징정보를 이용한 병충해를 조사하기 위한 검출모델의 출력 영상을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 종자 수출입 시 공간적인 특징정보를 이용한 병충해를 조사하기 위한 검출모델을 학습시키는 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 실시예에 따른 종자 수출입 시 공간적인 특징정보를 이용한 병충해를 조사하기 위한 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 종자 수출입 시 공간적인 특징정보를 이용한 병충해를 조사하기 위한 장치를 구현하기 위한 하드웨어 시스템의 예시도이다.

본 발명의 과제 해결 수단의 특징 및 이점을 보다 명확히 하기 위하여, 첨부된 도면에 도시된 본 발명의 특정 실시 예를 참조하여 본 발명을 더 상세하게 설명한다.

다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.

이하의 설명 및 도면에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.

더하여, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급할 경우, 이는 논리적 또는 물리적으로 연결되거나, 접속될 수 있음을 의미한다. 다시 말해, 구성요소가 다른 구성요소에 직접적으로 연결되거나 접속되어 있을 수 있지만, 중간에 다른 구성요소가 존재할 수도 있으며, 간접적으로 연결되거나 접속될 수도 있다고 이해되어야 할 것이다.

또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.

아울러, 본 발명의 범위 내의 실시 예들은 컴퓨터 실행가능 명령어 또는 컴퓨터 판독가능 매체에 저장된 데이터 구조를 가지거나 전달하는 컴퓨터 판독가능 매체를 포함한다. 이러한 컴퓨터 판독가능 매체는, 범용 또는 특수 목적의 컴퓨터 시스템에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EPROM, CD-ROM 또는 기타 광 디스크 저장장치, 자기 디스크 저장장치 또는 기타 자기 저장장치, 또는 컴퓨터 실행가능 명령어, 컴퓨터 판독가능 명령어 또는 데이터 구조의 형태로 된 소정의 프로그램 코드 수단을 저장하거나 전달하는 데에 이용될 수 있고, 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스 될 수 있는 임의의 기타 매체와 같은 물리적 저장 매체를 포함할 수 있지만, 이에 한정되지 않는다.

이하의 설명 및 특허 청구 범위에서, "네트워크"는 컴퓨터 시스템들 및/또는 모듈들 간의 전자 데이터를 전송할 수 있게 하는 하나 이상의 데이터 링크로서 정의된다. 정보가 네트워크 또는 다른 (유선, 무선, 또는 유선 또는 무선의 조합인) 통신 접속을 통하여 컴퓨터 시스템에 전송되거나 제공될 때, 이 접속은 컴퓨터-판독가능매체로서 이해될 수 있다. 컴퓨터 판독가능 명령어는, 예를 들면, 범용 컴퓨터 시스템 또는 특수 목적 컴퓨터 시스템이 특정 기능 또는 기능의 그룹을 수행하도록 하는 명령어 및 데이터를 포함한다. 컴퓨터 실행가능 명령어는, 예를 들면, 어셈블리어, 또는 심지어는 소스코드와 같은 이진, 중간 포맷 명령어일 수 있다.

아울러, 본 발명은 퍼스널 컴퓨터, 랩탑 컴퓨터, 핸드헬드 장치, 멀티프로세서 시스템, 마이크로프로세서-기반 또는 프로그램 가능한 가전제품(programmable consumer electronics), 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 모바일 전화, PDA, 페이저(pager) 등을 포함하는 다양한 유형의 컴퓨터 시스템 구성을 가지는 네트워크 컴퓨팅 환경에서 적용될 수 있다. 본 발명은 또한 네트워크를 통해 유선 데이터 링크, 무선 데이터 링크, 또는 유선 및 무선 데이터 링크의 조합으로 링크된 로컬 및 원격 컴퓨터 시스템 모두가 태스크를 수행하는 분산형 시스템 환경에서 실행될 수 있다. 분산형 시스템 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치에 위치될 수 있다.

먼저, 본 발명의 실시예에 따른 종자 수출입 시 공간적인 특징정보를 이용한 병충해를 조사하기 위한 시스템에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 종자 수출입 시 공간적인 특징정보를 이용한 병충해를 조사하기 위한 시스템을 설명하기 위한 도면이다.

도 1의 (A) 및 (B)를 참조하면, 본 발명의 실시예에 따른 병충해를 조사하기 위한 시스템은 조사장치(10) 및 사용자장치(20)를 포함한다.

조사장치(10)는 본 발명의 실시예에 따라 선박 내에 해충이 존재하는지 여부를 검출하기 위한 것이다. 조사장치(10)의 외형은 길이 조절 가능한 약대(11)와 약대(11)의 일단에 연결된 광각의 반사경(12)을 포함한다. 조사장치(10)는 해충이 검출되면, 이를 알리는 검출 정보를 생성하고, 생성된 검출 정보를 사용자장치(20)에 전달한다.

사용자장치(20)는 사용자가 사용하는 장치로, 스마트폰, 태블릿 PC 등의 무선 통신 가능한 모바일 장치를 예시할 수 있다. 사용자장치(20)는 조사장치(10)로부터 검출 정보를 수신하면, 수신된 검출 정보를 국가법령정보센터의 수출검역증명서 또는 전자식물검역인증서, 국제식물검역인증원 무감염증명서 등과 같은 다양한 검역인증 증명서에 첨부할 수 있다.

다음으로, 본 발명의 실시예에 따른 종자 수출입 시 공간적인 특징정보를 이용한 병충해를 조사하기 위한 장치에 대해 설명하기로 한다. 도 2는 본 발명의 실시예에 따른 종자 수출입 시 공간적인 특징정보를 이용한 병충해를 조사하기 위한 장치의 구성을 설명하기 위한 도면이다. 도 3은 본 발명의 실시예에 따른 종자 수출입 시 공간적인 특징정보를 이용한 병충해를 조사하기 위한 검출모델을 설명하기 위한 도면이다. 도 4는 본 발명의 실시예에 따른 종자 수출입 시 공간적인 특징정보를 이용한 병충해를 조사하기 위한 검출모델의 출력 영상을 설명하기 위한 도면이다.

도 2를 참조하면, 본 발명의 실시예에 따른 조사장치(10)는 영상수집부(200), 검출부(300) 및 정보제공부(400)를 포함한다. 이러한 영상수집부(200), 검출부(300) 및 정보제공부(400)는 조사장치(10)의 약대(11)의 내부에 형성된다.

또한, 추가적으로, 조사장치(10)는 학습부(100)를 더 포함할 수 있다. 이러한 학습부(100)는 예컨대, PC 등과 같이 개별적인 장치로 형성되어 검출부(300)에 연결되거나, 약대(11)의 내부에 형성될 수 있다.

학습부(100)는 본 발명의 실시예에 따른 검출모델(DM)을 학습시키 위한 것이다. 검출모델(DM)은 기계학습(Machine Learning) 혹은 심층학습(Deep Learning)을 통해 생성될 수 있다. 도 3을 참조하면, 본 발명의 실시예에 따른 검출모델(DM)은 YOLO 기반의 인공신경망이 될 수 있다. 하지만, 본 발명이 이에 한정되는 것은 아니며, Mask-RCNN, Faster-RCNN, Visual Transformer, YOLOV1-V5, SSD(Single-Shot Multibox Object Detector), FPN(Feature Pyramid Network), RefineDet, Cascade R-CNN, M2Det 등과 같이 다양한 모델을 사용할 수 있다. 검출모델(DM)은 복수의 계층을 포함한다. 복수의 계층은 컨벌루션층(convolution layer), 디컨벌루션층(deconvolution layer), 풀링층(pooling layer), 완전연결층(fully-connected layer), 순환층(Recurrent layer), 그래프층(Graph layer)을 포함할 수 있다. 또한, 복수의 연산은 컨벌루션 연산, 디컨벌루션 연산, 풀링 연산, 활성화함수에 의한 연산 등을 포함한다. 학습이 완료된 검출모델(DM)은 검출부(400)에 제공될 수 있다. 이러한 학습부(100)의 학습 방법은 아래에서 더 상세하게 설명될 것이다.

영상수집부(200)는 카메라와 같은 영상 센서를 포함한다. 이러한 영상 센서의 렌즈는 반사경(12)을 지향하여 약대(11)에서 노출될 수 있다. 영상수집부(200)는 반사경(12)을 통해 반사된 선박의 어느 일 영역을 촬영하여 입력 영상을 생성한다. 생성된 입력 영상은 검출부(300)에 제공된다.

검출부(300)는 검출모델(DM)을 통해 영상수집부(200)가 반사경(12)을 통해 반사된 영역을 촬영한 영상, 즉, 입력 영상을 분석하여 입력 영상에 해충이 존재하는지 여부를 검출하기 위한 것이다.

도 3을 참조하면, 검출모델(DM)은 복수의 계층을 포함하며, 복수의 계층 각각은 복수의 연산을 포함한다. 또한, 복수의 계층 상호 간은 가중치(w: weight)로 연결된다. 어느 하나의 계층의 연산 결과는 가중치가 적용되어 다음 계층의 연산에 대한 입력이 된다. 즉, 검출모델(DM)의 어느 한 계층은 이전 계층으로부터 가중치를 적용한 값을 입력받고, 이에 대한 연산을 수행하고, 그 연산 결과에 가중치를 적용하여 다음 계층의 입력으로 전달한다. 이러한 복수의 계층은 컨벌루션(Convolution) 연산 및 활성화함수에 의한 연산을 포함하는 복수의 컨벌루션층(Convolution Layer: CL), 풀링(Pooling) 연산을 수행하는 풀링층(Pooling Layer: PL), 디컨벌루션(Deconvolution) 연산 및 활성화함수에 의한 연산을 포함하는 디컨벌루션층(Deconvolution Layer: DL), 활성화함수에 의한 연산을 포함하는 완전연결층(Fully-connected Layer: FL) 등을 포함할 수 있다.

검출모델(DM)은 영상수집부(200)가 반사경(12)을 통해 반사된 피사체를 촬영한 영상인 입력 영상을 입력받고, 입력 영상에 대해 복수의 계층간 연결되는 가중치가 적용되는 복수의 연산을 수행하여 출력 영상을 생성한다. 출력 영상은 도 4에 도시된 바와 같이, 객체가 차지하는 영역을 나타내는 바운딩박스(B) 및 바운딩박스(B) 내의 객체에 대한 인식 결과를 나타내는 클래스별 확률값을 포함한다.

바운딩박스(B)는 박스의 중심을 나타내는 중심 좌표(x, y)와 중심 좌표(x, y)를 기준으로 하는 박스의 폭(w) 및 높이(h)로 표현된다.

클래스별 확률값은 복수의 클래스 각각에 속할 확률이다. 클래스는 학습 대상 객체인 해충의 종류가 될 수 있다. 예컨대, 복수의 클래스는 제1 해충, 제2 해충, 제3 해충 및 제4 해충이 될 수 있다. 추가적인 실시예에 따르면, 복수의 클래스는 알집 및 오영역(false positive area)을 포함할 수 있다. 여기서, 오영역(false positive area)은 선박 내 오염, 페인트 벗겨짐, 그리고 부식 등을 나타낸다.

예시적으로, 각각 제1 내지 제4 해충을 나타내는 제1 내지 제4 클래스(C1, C2, C3, C4)가 존재한다고 가정한다. 예컨대, 클래스별 확률값으로, "C1=0.9011, C2=0.0188, C3=0.0701, C4=0.0100")이 출력되었다고 가정한다. 이러한 클래스별 확률값은 바운딩박스(B) 내의 객체가 제1 해충일 확률이 90%이고, 제2 해충일 확률이 2%이고, 제3 해충일 확률이 7%이고, 제4 해충일 확률이 1%임을 나타낸다.

검출부(300)는 클래스별 확률값에 따라 해충의 종류를 검출하고, 바운딩박스(BB)를 해충의 위치 정보로 검출한다. 예컨대, 클래스별 확률값이 "C1=0.9011, C2=0.0188, C3=0.0701, C4=0.0100"인 경우, 검출부(300)는 해충의 종류를 확률값이 90%로 가장 높은 제1 해충인 것으로 검출하고, 바운딩박스(B)의 중심좌표, 폭 및 높이(x, y, w, h)를 해충의 위치 정보로 검출한다.

정보제공부(400)는 검출부(300)가 검출한 해충의 종류 및 위치 정보를 포함하는 검출 정보를 생성하고, 생성된 검출 정보를 사용자장치(20)에 제공한다. 이러한 검출 정보는 출력 영상과 출력 영상의 해충의 종류 및 위치 정보를 설명하는 텍스트를 포함할 수 있다.

다음으로, 본 발명의 실시예에 따른 병충해를 조사하기 위한 검출모델(DM)에 대한 학습 방법에 대해서 설명하기로 한다. 도 5는 본 발명의 실시예에 따른 종자 수출입 시 공간적인 특징정보를 이용한 병충해를 조사하기 위한 검출모델을 학습시키는 방법을 설명하기 위한 흐름도이다.

도 5를 참조하면, 학습부(100)는 S110 단계에서 학습 데이터를 마련한다. 학습 데이터는 학습용 입력 영상 및 입력 영상에 대한 레이블을 포함한다. 학습용 입력 영상은 학습 대상 객체가 촬영된 영상이다. 전술한 바와 같이, 학습 대상 객체는 복수의 클래스를 포함하며, 클래스는 서로 다른 해충을 구분한다. 추가적으로, 클래스는 알집 혹은 오영역이 될 수 있다.

레이블은 학습용 입력 영상에서 학습 대상 객체가 차지하는 영역을 나타내는 레이블박스(LB) 및 레이블박스(LB)에 존재하는 학습 대상 객체의 클래스를 나타내는 레이블벡터를 포함한다. 학습 대상 객체는 각각 제1 내지 제4 해충을 나타내는 제1 내지 제4 클래스(C1, C2, C3, C4)를 포함한다고 가정한다. 예컨대, 학습용 입력 영상이 제1 해충(C1)을 촬영한 영상이라면, 레이블박스(LB)는 제1 해충이 차지하는 영역을 중심좌표(x', y'), 폭(w') 및 높이(h')를 통해 표현되는 박스로 나타내며, 레이블벡터는 "C1=1, C2=0, C3=0, C4=0"과 같이 표시될 수 있다.

학습부(100)는 S120 단계에서 학습용 입력 영상을 학습이 완료되지 않은 검출모델(DM)에 입력한다. 그러면, 검출모델(DM)은 S130 단계에서 학습용 입력 영상에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 학습용 입력 영상에서 객체가 차지하는 영역을 나타내는 바운딩박스(B) 및 바운딩박스(B) 내의 객체에 대한 인식 결과를 나타내는 클래스별 확률값(예컨대, "C1=0.7512, C2=0.0678, C3=0.0747, C4=0.1063")을 포함하는 학습용 출력 영상을 도출한다.

이어서, 학습부(100)는 S140 단계에서 손실 함수를 통해 학습용 출력 영상과 상기 레이블과의 차이를 나타내는 손실을 산출한다. 즉, 손실은 학습용 출력 영상의 바운딩박스(B)(x, y, w, h)와 레이블박스(LB)(x', y', w', h')와의 차이 및 클래스별 확률값("C1=0.7512, C2=0.0678, C3=0.0747, C4=0.1063")과 레이블벡터("C1=1, C2=0, C3=0, C4=0")와의 차이를 나타낸다.

그런 다음, 학습부(100)는 S150 단계에서 손실이 최소화되도록 역전파(Backpropagation) 알고리즘을 통해 검출모델(DM)의 가중치를 갱신하는 최적화를 수행한다.

다음으로, 학습부(100)는 S160 단계에서 학습 종료를 위해 필요한 조건을 만족하는지 여부를 판별한다. 여기서, 조건은 앞서(S140) 산출된 손실이 기 설정된 기준치 미만인지 여부가 될 수 있다. S160 단계의 판별 결과, 학습 종료를 위해 필요한 조건을 만족하지 않으면, 즉, 앞서(S140) 산출된 손실이 기준치 이상이면, S110 단계로 진행하여 전술한 S110 단계 내지 S160 단계를 반복한다. 이는 학습이 서로 다른 복수의 학습용 관심 오디오 신호를 이용하여 반복되는 것을 의미한다. 반면, S160 단계의 판별 결과, 학습 종료를 위해 필요한 조건을 만족하면, 즉, 앞서(S140) 산출된 손실이 기준치 미만이면, S170 단계로 진행하여 학습을 종료한다.

다음으로, 본 발명의 실시예에 따른 종자 수출입 시 공간적인 특징정보를 이용한 병충해를 조사하기 위한 방법을 설명하기로 한다. 도 6은 본 발명의 실시예에 따른 종자 수출입 시 공간적인 특징정보를 이용한 병충해를 조사하기 위한 방법을 설명하기 위한 흐름도이다.

도 5를 참조하면, 영상수집부(200)는 S210 단계에서 반사경(12)을 통해 반사된 선박의 어느 일 영역을 촬영하여 입력 영상을 생성한다. 입력 영상은 검출부(300)에 제공된다.

검출부(300)는 S220 단계에서 입력 영상을 검출모델(DM)에 입력한다. 그러면, 검출모델(DM)은 S230 단계에서 입력 영상에 대해 복수의 계층간 가중치가 적용되는 복수의 연산을 수행하여 입력 영상에서 객체가 차지하는 영역을 나타내는 바운딩박스(B)(x, y, w, h) 및 바운딩박스(B) 내의 객체에 대한 인식 결과를 나타내는 클래스별 확률값(예컨대, "C1=0.9011, C2=0.0188, C3=0.0701, C4=0.0100")을 포함하는 출력 영상을 도출한다.

검출부(300)는 S240 단계에서 클래스별 확률값에 따라 가장 높은 확률값을 가지는 클래스를 선택하여 해충의 종류를 검출하고, 바운딩박스(B)의 중심좌표, 폭 및 높이(x, y, w, h)를 해충의 위치 정보로 검출한다. 예컨대, 클래스별 확률값이 "C1=0.9011, C2=0.0188, C3=0.0701, C4=0.0100"인 경우, 검출부(300)는 해충의 종류를 확률값이 90%로 가장 높은 제1 해충인 것으로 검출하고, 바운딩박스(B)의 중심좌표, 폭 및 높이(x, y, w, h)를 해충의 위치 정보로 검출한다.

정보제공부(400)는 S250 단계에서 검출부(300)가 검출한 해충의 종류 및 위치 정보를 포함하는 검출 정보를 생성하고, 생성된 검출 정보를 사용자장치(20)에 제공한다. 이러한 검출 정보는 출력 영상과 출력 영상의 해충의 종류 및 위치 정보를 설명하는 텍스트를 포함할 수 있다. 이에 따라, 사용자장치(20)는 조사장치(10)로부터 검출 정보를 수신하면, 수신된 검출 정보를 국가법령정보센터의 수출검역증명서 또는 전자식물검역인증서, 국제식물검역인증원 무감염증명서 등과 같은 다양한 검역인증 증명서에 첨부할 수 있다.

이와 같이, 본 발명은 길이 조정 가능한 막대에 설치된 카메라를 이용하여 촬영한 영상 내 공간적인 특징정보 분석을 통해 종자 수입 및 수출 병해 조사를 하여 사용자에게 제공한다. 본 발명은 검사원의 경험과 주관적인 판단을 통해 수행하는 기존 수작업 방법보다 카메라를 통해 촬영한 영상 내 아시아매미나방 및 알집 등과 같은 다양한 병해 검출을 수행함으로써 검역의 정확성 및 방역 안정성을 확보할 수 있다. 이러한 본 발명은 선박 종류 다양화 및 대형화 등으로 인한 검역환경의 변화와 복잡한 구조 내 검역의 어려움과 검역 업무강도 및 안전사고 증가의 문제에 대하여 카메라로 촬영된 영상 내 병해 분류 및 위치 검출 결과 영상을 제공함으로써 검역 정확성 증가 및 업무강도 완화, 안전사고 감소 등과 같은 이점을 제공할 수 있다.

한편, 전술한 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

도 7은 본 발명의 일 실시예에 따른 종자 수출입 시 공간적인 특징정보를 이용한 병충해를 조사하기 위한 장치를 구현하기 위한 하드웨어 시스템의 예시도이다.

도 7에 도시된 바와 같이, 본 발명의 일 실시예에 따른 하드웨어 시스템(2000)은, 프로세서부(2100), 메모리 인터페이스부(2200), 및 주변장치 인터페이스부(2300)를 포함하는 구성을 가질 수 있다.

이러한, 하드웨어 시스템(2000) 내 각 구성은, 개별 부품이거나 하나 이상의 집적 회로에 집적될 수 있으며, 이러한 각 구성들은 버스 시스템(도시 안됨)에 의해서 결합될 수 있다.

여기서, 버스 시스템의 경우, 적절한 브리지들, 어댑터들, 및/또는 제어기들에 의해 연결된 임의의 하나 이상의 개별적인 물리 버스들, 통신 라인들/인터페이스들, 및/또는 멀티 드롭(multi-drop) 또는 포인트 투 포인트(point-to-point) 연결들을 나타내는 추상화(abstraction)이다.

프로세서부(2100)는 하드웨어 시스템에서 다양한 기능들을 수행하기 위해 메모리 인터페이스부(2200)를 통해 메모리부(2210)와 통신함으로써, 메모리부(2210)에 저장된 다양한 소프트웨어 모듈을 실행하는 역할을 수행하게 된다.

여기서, 메모리부(2210)에는 앞서 도 2를 참조하여 설명한 학습부(100), 검출부(300) 및 정보제공부(400)를 포함하는 구성 각각은 소프트웨어 모듈 형태로 저장될 수 있으며, 그 외 운영 체계(OS)가 추가로 저장될 수 있다. 이러한 학습부(100), 검출부(300) 및 정보제공부(400)를 포함하는 구성은 프로세서부(2100)에 로드되어 실행될 수 있다.

이상 설명한 학습부(100), 검출부(300) 및 정보제공부(400)를 포함하는 각 구성은 프로세서에 의해 실행되는 소프트웨어 모듈 또는 하드웨어 모듈 형태로 구현되거나, 소프트웨어 모듈과 하드웨어 모듈이 조합된 형태로도 구현될 수 있다.

이와 같이, 프로세서에 의해 실행되는 소프트웨어 모듈, 하드웨어 모듈, 내지는 소프트웨어 모듈과 하드웨어 모듈이 조합된 형태는 실제 하드웨어 시스템(예: 컴퓨터 시스템)으로 구현될 수 있을 것이다.

운영 체계(예: I-OS, Android, Darwin, RTXC, LINUX, UNIX, OS X, WINDOWS, 또는 VxWorks와 같은 임베디드 운영 체계)의 경우, 일반적인 시스템 작업들(예를 들어, 메모리 관리, 저장 장치 제어, 전력 관리 등)을 제어 및 관리하는 다양한 절차, 명령어 세트, 소프트웨어 컴포넌트 및/또는 드라이버를 포함하고 있으며 다양한 하드웨어 모듈과 소프트웨어 모듈 간의 통신을 용이하게 하는 역할을 수행하게 된다.

참고로, 메모리부(2210)는 캐쉬, 메인 메모리 및 보조 기억장치(secondary memory)를 포함하지만 이에 제한되지 않는 메모리 계층구조가 포함할 수 있는데, 이러한 메모리 계층구조의 경우 예컨대 RAM(예: SRAM, DRAM, DDRAM), ROM, FLASH, 자기 및/또는 광 저장 장치[예: 디스크 드라이브, 자기 테이프, CD(compact disk) 및 DVD(digital video disc) 등]의 임의의 조합을 통해서 구현될 수 있다.

주변장치 인터페이스부(2300)는 프로세서부(2100)와 주변장치 간에 통신을 가능하게 하는 역할을 수행한다.

여기서 주변장치의 경우, 하드웨어 시스템(2000)에 상이한 기능을 제공하기 위한 것으로서, 본 발명의 일 실시예에서는, 예컨대, 통신부(2310)가 포함될 수 있다.

여기서, 통신부(2310)는 다른 장치와의 통신 기능을 제공하는 역할을 수행하는 수행하게 되며, 이를 위해 예컨대, 안테나 시스템, RF 송수신기, 하나 이상의 증폭기, 튜너, 하나 이상의 발진기, 디지털 신호 처리기, 코덱(CODEC) 칩셋, 및 메모리 등을 포함하지만 이에 제한되지는 않으며, 이 기능을 수행하는 공지의 회로를 포함할 수 있다.

이러한, 통신부(2310)가 지원하는 통신 프로토콜로는, 예컨대, 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 5G 통신시스템, 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS), 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra-Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신망으로는 유선 LAN(Local Area Network), 유선 WAN(Wide Area Network), 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있으며, 이제 제한되는 것이 아닌, 다른 장치와의 통신 환경을 제공할 수 있는 프로토콜은 모두 포함될 수 있다.

본 발명의 일 실시예에 따른 하드웨어 시스템(2000)에서 메모리부(2210)에 소프트웨어 모듈 형태로 저장되어 있는 각 구성은 프로세서부(2100)에 의해 실행되는 명령어의 형태로 메모리 인터페이스부(2200)와 주변장치 인터페이스부(2300)를 매개로 통신부(2310)와의 인터페이스를 수행한다.

이상에서 설명한 바와 같이, 본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안 되며, 오히려 특정한 발명의 특정한 실시 형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시 형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시 형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.

마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시 형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.

본 명세서에서 설명한 주제의 특정한 실시 형태를 설명하였다. 기타의 실시형태들은 이하의 청구항의 범위 내에 속한다. 예컨대, 청구항에서 인용된 동작들은 상이한 순서로 수행되면서도 여전히 바람직한 결과를 성취할 수 있다. 일 예로서, 첨부 도면에 도시한 프로세스는 바람직한 결과를 얻기 위하여 반드시 그 특정한 도시된 순서나 순차적인 순서를 요구하지 않는다. 특정한 구현 예에서, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다.

본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.

따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.

10: 조사장치
11: 약대
12: 반사경
100: 학습부
200: 영상수집부
300: 검출부
400: 정보제공부

Claims (6)

1. 병충해를 조사하기 위한 장치에 있어서,
   길이 조절 가능한 약대의 일단에 연결된 반사경을 통해 반사된 선박의 어느 일 영역을 촬영하여 입력 영상을 생성하는 영상수집부;
   학습된 검출모델을 통해 상기 입력 영상을 분석하여 해충의 종류 및 위치 정보를 검출하는 검출부; 및
   해충의 종류 및 위치 정보를 포함하는 검출 정보를 생성하고, 생성된 검출 정보를 사용자장치에 제공하는 정보제공부;
   를 포함하는 것을 특징으로 하는
   병충해를 조사하기 위한 장치.
2. 제1항에 있어서,
   상기 검출부는
   상기 입력 영상을 상기 학습된 검출모델에 입력하고,
   상기 검출모델이 상기 입력 영상에 대해 복수의 계층간 가중치가 적용되는 복수의 연산을 수행하여 상기 입력 영상에서 객체가 차지하는 영역을 나타내는 바운딩박스 및 상기 바운딩박스 내의 객체에 대한 인식 결과를 나타내는 클래스별 확률값을 도출하면,
   상기 클래스별 확률값에 따라 상기 해충의 종류를 검출하고, 상기 바운딩박스를 상기 해충의 위치 정보로 검출하는 것을 특징으로 하는
   병충해를 조사하기 위한 장치.
3. 제1항에 있어서,
   학습용 입력 영상 및 입력 영상에 대한 레이블을 포함하는 학습 데이터를 마련하고,
   학습용 입력 영상을 학습이 완료되지 않은 검출모델에 입력하고,
   검출모델이 학습용 입력 영상에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 학습용 입력 영상에서 객체가 차지하는 영역을 나타내는 바운딩박스 및 바운딩박스 내의 객체에 대한 인식 결과를 나타내는 클래스별 확률값을 포함하는 학습용 출력 영상을 도출하면,
   손실 함수를 통해 학습용 출력 영상과 상기 레이블과의 차이를 나타내는 손실을 산출하고,
   상기 손실이 최소화되도록 검출모델의 가중치를 갱신하는 최적화를 수행하는
   학습부;
   를 더 포함하는 것을 특징으로 하는
   병충해를 조사하기 위한 장치.
4. 병충해를 조사하기 위한 방법에 있어서,
   영상수집부가 길이 조절 가능한 약대의 일단에 연결된 반사경을 통해 반사된 선박의 어느 일 영역을 촬영하여 입력 영상을 생성하는 단계;
   검출부가 학습된 검출모델을 통해 상기 입력 영상을 분석하여 해충의 종류 및 위치 정보를 검출하는 단계; 및
   정보제공부가 해충의 종류 및 위치 정보를 포함하는 검출 정보를 생성하고, 생성된 검출 정보를 사용자장치에 제공하는 단계;
   를 포함하는 것을 특징으로 하는
   병충해를 조사하기 위한 방법.
5. 제4항에 있어서,
   상기 해충의 종류 및 위치 정보를 검출하는 단계는
   검출부가 상기 입력 영상을 상기 학습된 검출모델에 입력하는 단계;
   상기 검출모델이 상기 입력 영상에 대해 복수의 계층간 가중치가 적용되는 복수의 연산을 수행하여 상기 입력 영상에서 객체가 차지하는 영역을 나타내는 바운딩박스 및 상기 바운딩박스 내의 객체에 대한 인식 결과를 나타내는 클래스별 확률값을 도출하는 단계; 및
   검출부가 상기 클래스별 확률값에 따라 상기 해충의 종류를 검출하고, 상기 바운딩박스를 상기 해충의 위치 정보로 검출하는 단계;
   를 포함하는 것을 특징으로 하는
   병충해를 조사하기 위한 방법.
6. 제4항에 있어서,
   상기 입력 영상을 생성하는 단계 전,
   학습부가 학습용 입력 영상 및 입력 영상에 대한 레이블을 포함하는 학습 데이터를 마련하는 단계;
   상기 학습부가 학습용 입력 영상을 학습이 완료되지 않은 검출모델에 입력하는 단계;
   검출모델이 학습용 입력 영상에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 학습용 입력 영상에서 객체가 차지하는 영역을 나타내는 바운딩박스 및 바운딩박스 내의 객체에 대한 인식 결과를 나타내는 클래스별 확률값을 포함하는 학습용 출력 영상을 도출하는 단계;
   상기 학습부가 손실 함수를 통해 학습용 출력 영상과 상기 레이블과의 차이를 나타내는 손실을 산출하는 단계; 및
   상기 손실이 최소화되도록 검출모델의 가중치를 갱신하는 최적화를 수행하는 단계;
   를 더 포함하는 것을 특징으로 하는
   병충해를 조사하기 위한 방법.

Images