KR20180081104A - 항공 이미지 획득 및 분석을 위한 방법 - Google Patents

Abstract

멀티 스펙트럼 화상 획득 및 분석을 위한 방법 및 시스템으로서, 상기 방법은 예비 멀티 스펙트럼 항공 이미지들을 미리 정의된 측량 파라미터들에 따라 미리 선택된 해상도로 캡처하는 단계, 캡처된 상기 이미지들의 대규모 블롭 분할을 사용하여 실시간 또는 근 실시간으로 현장에서 또는 들판에서의 위치에서 예비 분석을 자동으로 수행하는 단계, 미리 정의된 측량 파라미터들 내에서 변칙들을 검출하는 단계 및 그것에 대응하는 출력을 제공하는 단계, 및 상기 예비 분석 출력으로부터, 상기 미리 선택된 해상도보다 높은 해상도로의 이미지 획득 및 분석의 제2 스테이지를 수행할지 여부를 결정하는 단계를 포함한다. 본 발명은 또한 분석 및 객체 식별을 위한 방법을 포함하며, 상기 방법은 고 해상도 멀티 스펙트럼 이미지들을 미리 정의된 객체 파라미터들에 따라 분석하는 단계, 상기 미리 정의된 객체 파라미터들 내 파라미터들이 찾아질 때, 그러한 파라미터들을 포함하는 상기 이미지들에 관해 블록 분할을 수행하여 블롭들을 식별하는 단계, 및 그러한 블롭들에 제한된 객체들을 미리 정의된 기준 파라미터들과 비교하여 미리 정의된 객체 파라미터들을 갖는 객체들을 식별하는 단계를 포함한다.

Description

항공 이미지 획득 및 분석을 위한 방법

관련 출원들

본 출원은 2015년 11월 8일에 출원된, 미국 가 특허 출원 번호 62/252,513의 이익을 주장한다.

기술분야

본 발명은 일반적으로 이미지 획득 및 분석, 특히 항공 이미지 획득 및 분석에 관한 것이다.

항공 원격 감지는 지난 수십 년간 빠르게 발전해왔다.

원격 감지는 다양한 목적 중에서도 농업 및 다른 환경 모니터링 목적을 위해 사용되고 있다. 초경량 및 경량 유인 항공기들의 적정 가격에 더하여, 경 항공기, 이를테면 드론들, 호버크라프트 및 많은 다른 유형의 UAV의 빠른 발전으로, 이미지 획득을 포함한, 원격 감지가 발전하고 있고 소규모 기관들 및 농장주들이 접근가능하다.

항공기들은 원격으로 제어 및 관리될 수 있다. 도시 또는 들판 위를 비행할 때, 원격 감지를 위해 이미지들이 캡처될 수 있다. 무인 항공기들의 비행 임무는, 자동 조종 장치를 구비한 유인 항공기들처럼, 임무에 따른 특정 루트들 미리 계획할 수 있고, 또한 필요에 따라 실시간으로 변경될 수 있다.

농업 원격 감지 측정을 위한 주요한 운송 수단인 NDVI(Normalized Difference of Vegetation Index) 소프트웨어 및 툴들은, 다른 목적을 위한 많은 원격 감지 툴과 같이, 환경 및 들판/농작물 상태를 모니터링하는 기관들 및 농장주들을 돕는다. NDVI 식생 지수(Normalized Difference Vegetation Index) 측정은 통상적으로 반드시 우주 정류장 또는 항공기로부터가 아니더라도, 원격 감지 측정치들을 분석하기 위해, 그리고 관측하고 있는 타겟이 생 녹색 식생을 포함하는지 여부를 가늠하기 위해 사용될 수 있다.

NDVI 및 다른 멀티 스펙트럼 및 하이퍼 스펙트럼 툴들은, 우측 이미지 획득 장비에 기초하여 적절하게 사용될 때, 예를 들어, 해중에 해파리 떼 및 정어리 떼의 존재, 얕은 지중에 군대 지뢰들, 지상에 금속 물체들의 존재, 식생 스트레스 및 활력도, 건조/습지들, 삼림 건강 및 병, 유해 동물 및 가축의 존재를 나타낼 수 있다. NDVI 분석 및 유사한 툴들의 결과로 초래된 출력은 간단한 그래픽 지표(예를 들어, 비트맵 이미지)로 제시될 수 있다.

그러나, NDVI 및 모든 다른 툴의 분석은 일반적으로 오프라인으로 행해지고(드론/비행기/위성의 획득 이후) 이미지의 상이한 영역들을 다양한 색상으로 나타내는, 결과로 초래된 이미지 또는 이미지들의 세트(정사 사진들)는 상당히 지연되어 농장주/사용자에게 제시된다. 또한, 보통 사람/농장주를 위해, 이러한 툴들의 출력 이미지들은 그가 전문가가 아니고, 비트맵에 제시되는 것을 충분히 이해하기 위해 필요한 분석들을 수행할 수 없기 때문에, 많은 값을 갖지 않는다. 뿐만 아니라, 대부분의 경우 분석 결과들에 기초하여, 사용자는 표시된 변칙의 정확한 속성을 찾기 위해, 보다 면밀히 살피기 위해 들판으로 보내진다. 이미지들을 분석하고 리포트를 농장주에게 보내는 서비스들이 있으나, 일반적으로 이러한 리포트들은 이미지들을 의사가 X-레이 방사선 사진을 검토하는 것과 유사한 방식으로 검토하는 사람 전문가에 의해 준비되고, 그러한 분석들은 화상의 획득 하루 또는 수 일 이후 보내지며, 위에서 언급된 바와 같이, 많은 경우 추가의 보다 상세한 탐색을 필요로 한다.

통상적인 농업용 원격 감지는 그러한 필요의 좋은 예의 역할을 할 수 있다. 농장주가 그의 농작물에 가루이 또는 진딧물(aphids)의 존재를 시기 적절하게 알아내기 위해 측량하기 원하고, 가루이 및 진딧물 양자의 크기가 단지 1mm 내지 2mm인 경우, 농작물을 전부 다 스크리닝해 그것들을 찾을 수 없다는 것은 분명하다. 그러나, 저 해상도 화상(가시, 하이퍼 스펙트럼 또는 멀티 스펙트럼 이미지들)에 뚜렷한 변화들이 있을 수 있으며, 이것들은 들판의 특정 영역이 몇몇 미확인 유해 동물 또는 병에 감염될 수 있음을 나타낸다. 불행하게도, 최상의 위성 화상(GeoEye-1와 같은)은 40cm당 1 픽셀을 가지며, 이는 그러한 유해 동물의 조기 발견에 충분하지 않다. 예를 들어, 25 mm 렌즈로 지상 3 미터를 촬영하는 항공 드론 이미징은 1.6x2.4m(3.84 제곱 미터)의 직사각형 영역을 커버할 수 있다. 10 메가 픽셀 카메라를 사용하는 것은 제곱 cm당 26 픽셀을 의미한다.

따라서, 보다 양호한 원격 감지를 가능하게 할 뿐만 아니라, 지연된 권고가 소용이 없고, 늦은 분석의 손해가 비가역적일 수 있는 많은 경우와 같이, 최종 사용자(기관들/농장주들)에게 즉각적인 또는 단기적인 분석 결과들 및 권고를 제공할 자동 분석을 위한 지능적인 방법 및 의사 결정 지원 시스템에 대한 요구가 존재한다.

알려지지 않은 형상의 객체의 획득된 이미지들을 분석하고 객체를 식별하기 위해 그것들을 데이터베이스 내 형상들과 비교하기 위한 알려진 이미지 프로세싱 컴퓨터 프로그램들이 있다. 심층 신경망 접근법에 기초한 이미지 분류 방법이 이를 위해 가장 흔하게 사용되는 방법들 중 하나이다.

컴퓨터 이미지 분석에서, 주변 영역들과 비교해 속성들, 이를테면 휘도 또는 색상이 상이한 디지털 이미지에서의 영역들을 검출하기 위한 블롭 검출(blob detection) 방법들이 알려져 있다. 형식에 구애되지 않고, 블롭은 몇몇 속성이 일정하거나 대체로 일정한 이미지의 영역이다; 블롭에서의 모든 지점은 어떤 의미에서 서로 유사한 것으로 고려될 수 있다. 블롭 분할 방법론에서, 각 디지털 이미지는 그레이 레벨 휘도, 다시 말해 256 레벨의 휘도로 구성된다. 이미지에서의 각 픽셀은 이러한 레벨들 중 하나와 연관된다. 블롭 분할 접근법은 동일한 휘도의 인접한 픽셀들을 그룹화하고 그것들을 디스플레이 상에 개별 객체 또는 블롭으로서 나타낸다. 다시 말해, 각 블롭의 크기는 포함된 픽셀들의 수로 획정된다.

본 발명에 따른 멀티 스펙트럼 이미지 데이터의 획득 및 분석을 바람직하게는 실시간으로 또는 근 실시간으로 가능하게 하는 자동 분석 방법 및 의사 결정 지원 시스템이 제공된다. 특히, 상기 방법은 초기 이미지들에서 변칙들을 살피기 위해 선택된 기준들에 따라, 블롭마다 수십 픽셀을 그룹화하여, 소규모 상에 제2 이미지 획득 및 블롭 분할을 진행할지 여부를 결정하기 위해, 초기 분석을 위해, 블롭마다 수천 픽셀에 이르는, 대규모 상에의 초기 이미지 획득 및 블롭 분할을 포함한다.

본 발명에 따르면, 멀티 스펙트럼 화상 획득 및 분석을 위한 방법이 제공되며, 상기 방법은 예비 멀티 스펙트럼 항공 이미지들을 미리 정의된 측량 파라미터들에 따라 미리 선택된 해상도로 캡처하는 단계, 캡처된 상기 이미지들의 대규모 블롭 분할을 사용하여 실시간 또는 근 실시간으로 현장에서 또는 들판에서의 위치에서 예비 분석을 자동으로 수행하는 단계, 상기 미리 정의된 측량 파라미터들 내에서 변칙들을 검출하는 단계 및 그것에 대응하는 출력을 제공하는 단계, 및 상기 예비 분석 출력으로부터, 상기 미리 선택된 해상도보다 높은 해상도로의 이미지 획득 및 분석의 제2 스테이지를 수행할지 여부를 결정하는 단계를 포함한다.

본 발명의 실시예들에 따르면, 상기 방법은 GPS 데이터를 검출된 상기 변칙들과 연관짓는 단계, 및 이미지 획득 디바이스에, 실시간 또는 근 실시간으로, 연관된 상기 GPS 데이터를 사용하여 상기 미리 선택된 해상도보다 높은 해상도로 검출된 상기 변칙들 중 적어도 하나의 추가 멀티 스펙트럼 이미지들을 캡처할 것을 지시하는 단계, 및 캡처된 상기 이미지들의 소규모 블롭 분할을 사용하여 실시간 또는 근 실시간으로 분석을 수행하는 단계를 더 포함한다.

본 발명에 따르면, 멀티 스펙트럼 화상 획득 및 분석을 위한 시스템이 더 제공되며, 상기 시스템은 적어도 하나의 멀티 스펙트럼 이미지 캡처 디바이스, 상기 이미지 캡처 디바이스에 연결되는 프로세서로서, 상기 프로세서는 블롭 분할 모듈을 포함하는 이미지 프로세싱 모듈을 실행하여 미리 정의된 측량 파라미터들에 따라 블롭 분할에 의해 캡처된 이미지들을 자동으로 분석하고 상기 미리 정의된 측량 파라미터들 내에 속하는 각 이미지 상의 변칙들에 대응하는 출력을 제공하되, 상기 블롭 분할 모듈은 대규모 블롭 분할 및 소규모 블롭 분할 양자를 구현할 수 있는, 상기 프로세서, 및 상기 변칙들의 지리적 위치의 표시를 제공하도록 적응 및 구성된 지리적 위치 표시자로서, 상기 프로세서가 상기 멀티 스펙트럼 이미지 캡처 디바이스들 중 하나에 표시된 상기 지리적 위치에 보내 상기 출력에 응답하여 상기 변칙들의 이미지들을 캡처할지 여부를 자동으로 결정하도록 구성되는, 상기 지리적 위치 표시자를 포함한다.

또한 본 발명에 따르면, 분석 및 객체 식별을 위한 방법이 제공되며, 상기 방법은 고 해상도 멀티 스펙트럼 이미지들을 미리 정의된 객체 파라미터들에 따라 분석하는 단계, 상기 미리 정의된 객체 파라미터들 내 파라미터들이 찾아질 때, 그러한 파라미터들을 포함하는 상기 이미지들에 관해 블록 분할을 수행하여 블롭들을 식별하는 단계, 및 그러한 블롭들에 제한된 객체들을 미리 정의된 기준 파라미터들과 비교하여 미리 정의된 객체 파라미터들을 갖는 객체들을 식별하는 단계를 포함한다.

본 발명은 도면들과 함께 하기의 상세한 설명으로부터 더 이해될 것이며, 도면들에서:
도 1a는 본 발명의 일 실시예에 따라 농장 들판의 가시 및 NIR 이미지들을 획득하는 데 적합한 필터들을 사용하여 들판 위를 비행하는 UAV로부터의 이미지 한 쌍의 샷을 도시한다;
도 1b는 가시 이미지 상에 중첩되는 선택된 NDVI 값들과 연관되는 도 1a에서의 픽셀들을 도시한다;
도 1c는 이러한 픽셀들의 세트로부터 도출되는 도 1b로부터의 최대 34 블롭의 세트를 도시한다;
도 2a는 소정의 농장 들판의 가시 및 NIR 이미지들의 쌍을 도시한다;
도 2b는 도 2a의 이미지들로부터 도출되는 선택된 NDVI 값들의 범위와 연관된 픽셀들을 도시한다;
도 2c는 도 2b로부터 최고 밀도 값들을 갖는 다각형들과 연관된 점들의 세트를 도시한다;
도 3a 및 도 3b는 본 발명의 일 실시예에 따른, 검출이 공표되는 방법을 예시한다;
도 4a 및 도 4b는 색상들이 백색에 "가까운" 거리로 제한되는 작은 블롭들을 추출한 결과로 초래된 검출된 SMS 유해 동물의 세트를 도시한다;
도 5a 및 도 5b는 SMS 유해 동물 존재를 플래깅하여, 밀접한 상관관계를 예시한다;
도 6a, 도 6b 및 도 6c는 상관관계가 미리 설계된 임계 값을 초과할 때 유해 동물 검출을 플래깅한 것을 예시한다;
도 7a, 도 7b 및 도 7c는 각각, 원래 CMS 유해 동물, 원래 유해 동물의 최대 세 개의 블롭의 픽셀들의 투영의 결과로 초래된 바이너리 이미지, 및 프로세싱 이후 유해 동물의 결과적인 경계들을 예시한다;
도 8a 및 도 8b는 블롭 분할 CMS-기반 검출 방법을 예시한다;
도 9a는 감귤류 잎벌레나방(Citrus Leafminer)의 전형적인 마인(mine)을 도시한다;
도 9b 및 도 9c는 도 9a의 이미지의 경계들 및 계산된 코너 점들을 도시한다;
도 10은 마름병과 연관되는 식물에서의 색상들을 강화시키기 위한 색상 조작의 사용을 예시한다; 그리고
도 11은 본 발명의 실시예들에 따라 구성되고 가동되는 시스템의 블록도 예시이다.

본 발명은 보다 양호한 원격 감지를 제공하고, 최종 사용자(기관들/농장주들)에게 증강된 화상 획득을 제공할, 이미지 획득 및 분석 및 의사 결정 지원 시스템에 대한 독창적인 방법을 제공한다. 특히, 상기 방법은 멀티 스펙트럼 화상의 1- 또는 2-스테이지 획득 및 분석을 가능하게 하되, 여기서 적어도 하나의 제1 스테이지 분석은 큰 영역에 걸쳐 저 해상도로 실시간으로 또는 근 실시간으로 수행된다. 이러한 분석의 결과들로부터, 보다 적은 영역 상에 고 해상도로, 멀티 스펙트럼 이미지 획득 및 분석의 제2 스테이지를 진행할지 여부에 대한 결정이 이루어진다. 분석은 현장에서 즉, 지리학적 위치들의 추후 추가로 각 이미지 또는 프레임을 획득할 때 수행될 수 있거나, 또는 분석은 보다 큰 영역의 지오태그된 정사 사진 상에 수행될 수 있다. 본 발명의 목적들을 위해, 각 획득된 이미지에 대한 근 실시간 분석, 특히 현장(들판) 분석은 획득 세션 이후 수초 미만(5초 이하)을 의미하고, 수십 헥타르 이상의 들판을 커버하는 지오태그된 정사 사진의 생성 및 분석을 위해, 근 실시간은 획득 이후 수 분(15분 이하)을 의미한다. 멀티 스펙트럼 이미지들을 캡처하고 있는 항공기 상의 프로세서를 제공하는 것은 실시간으로 캡처된 개별적인 프레임들의 분석 및 관심 영역들의 식별을 가능하게 할 수 있다. 본 발명에 따르면, 현장에서 캡처된 화상이 무선 네트워크를 통해 프로세싱 플랫폼(예를 들어, 컴퓨터)으로 송신되는 경우 상기한 근 실시간 또는 실시간 분석을 수행하는 것이 또한 가능하다.

본 발명에 따르면, 저 해상도 이미지들의 분석은 관심 변칙들 또는 영역들을 식별하기 위해, 대규모 블롭 분할을 사용하여 수행된다. 분석의 제2 스테이지는 예를 들어, 유해 동물 검출 및 식별을 위해, 고 해상도 이미지 획득의 결과들을 분석할 때, 소규모 블롭 분할을 이용한다. 특히, 본 발명은 가시 범위 내 이미지들이 아닌 멀티 스펙트럼 데이터의 획득 및 분석을 이용한다. 본 발명의 몇몇 실시예에 따르면, 획득 및 분석의 제2 스테이지를 수행할지 여부에 관한 결정이 자동으로 이루어진다.

상기한 자동 의사 결정 지원 시스템은 획득 프로세스의 관리를 보조하여, 획득된 화상을 분석할 것이고, 예비 캡처된 이미지들의 초기 분석에 기초하여, 선택된 지리학적 영역들의 보다 상세한 화상의 획득을 가능하게 할 것이며, 그에 따라 보다 큰 영역에 걸쳐 획득하는 것이 비현실적인 해상도로 측량된 영역들 내 관심 지점들의 조사를 가능하게 한다. 다른 작업들 중에서도, 증강된 화상 획득은 측량을 요청한 사람에 의해 미리 정의된, NDVI 값들 또는 다른 측정치들의 원하는 특정 범위와 같은, 요청된 특정 속성들을 갖게 정확하게 표시한 영역들과 관계가 있다.

본 발명은 추가의 효율적인 가시 및 하이퍼 스펙트럼 또는 멀티 스펙트럼 자동 항공 화상 획득 및 분석을 위한 방법을 제공함으로써, 원하는 NDVI - 또는 다른 식생 지수 기반 -값들 또는 임의의 다른 선택된 파라미터들과 연관된 자동으로 표시한 영역들에 대한 효율적인 솔루션을 제공한다. 이는 분석 동안, 연관된 값들이 요청된 NDVI 또는 다른 파라미터 범위에 제한되는 블롭들의 정확한 검출을 가능하게 하기에 충분한, 해상도 용어 "저 해상도 획득"으로 이미지들을 획득함으로써 실현된다. 이는 통상적으로, 식생을 몇몇 유형의 스트레스 상태로 나타내는(예를 들어, 평균적으로 최적의 NDVI 값보다 15% 내지 20% 낮은 NDVI 값들로 나타내는) 블롭들을 자동으로 찾음으로써 수행된다. 스트레스는 식생 상태 및 건강에 관한 다양한 이슈, 이를테면 건조, 활력도, 유해 동물 및 병을 나타낼 수 있다.

이미지 획득 디바이스는 스펙트럼의 넓은 대역에 걸쳐 멀티 스펙트럼 이미지들을 획득하도록 준비될 수 있다는 것이 이해될 것이다. 대안적으로, 또는 추가적으로, 이미지 획득 디바이스는 측량에서 찾아지는 객체들에 따라 선택되는, 복수의 미리 선택된 대역 또는 색상 채널에서 이미지들을 획득하도록 준비될 수 있다. 어느 경우든, 멀티 스펙트럼 이미지의 분석은 측량에서 찾아지는 객체들에 따라 선택되는 획득된 색상 채널들을 이용하여 수행될 것이다.

바람직하게는, 저 해상도 획득 디바이스는 저 왜곡 카메라를 사용, 바람직하게는 NADIR 짐벌을 사용한다. 이는 수직 뷰를 확보함에 따라, 카메라 각도로 인한 왜곡을 최소화하는 것을 가능하게 한다. 대안적으로, 다른 적합한 저 해상도 획득 디바이스들이 이용될 수 있다. 바람직하게는, 이미지 획득 디바이스는 자동 디지털 캘리브레이션 장치를 구비하며, 그에 따라 색상 채널들의 복잡한 정렬 없이, 그리고 전처리, 이를테면 이미지들의 모핑 및 왜곡 보정 없이, 개별적으로 캡처된 이미지들의 프로세싱을 가능하게 한다. 적합한 이미지 캡처 장치의 예들이 출원인들의 2015년 11월 26일에 출원되어 계류중인 미국 특허 출원 USSN 62/260,272에 설명된다.

본 발명은 그것의 고유한 화상 획득 및 파일 유형에 의해 획득된 화상의 빠른 더 정확히 말하면 실시간 분석을 가능하게 한다. 멀티 스펙트럼 이미지 획득은 바람직하게는 파일 유형(이를테면 JPEG, RAW, TIFF 또는 임의의 이미지 파일 포맷)을 사용하여 수행되어야 하는 한편 멀티 스펙트럼 채널들(블루, 그린, 레드, 레드-에지, NIR - 그것들 전부 또는 일부)은 다수의 채널 이미지들로서 나란히 저장된다. 이는 별개의 영역들로 나눠지는 단일 센서를 사용하는 다수의 렌즈의 사용을 통해(위에서 인용된 이미지 캡처 특허 출원에 설명된 바와 같이) 가장 효율적으로 수행될 수 있다. 상기한 카메라(다수의 렌즈 및 단일 센서를 갖는)를 사용하면, 상이한 RGB(레드 그린 블루) 및 NIR(근 적외선) 채널들이 별개로 저장될 수 있다. 그리하여, 예를 들어, 레드 채널이 센서의 좌측 상에서 캡처될 수 있는 한편, 근 적외선 채널은 센서의 우측 상에서 캡처될 수 있다. 또한, 그린 및 블루의 상이한 범위들이 센서의 상이한 영역들 상에서 캡처될 수 있는 한편, 그 다음 모든 채널이 단일 파일로 저장된다. 상기한 캡처 프로세스는 단일 센서와 두 개의 렌즈를 사용하여 6개까지 별개의 채널의 간단한 분리를 가능하게 한다. 임의의 측은 최적으로 레드, 그린 및 블루 셰이드의 세 개 까지의 채널을 포함할 수 있다. 상기한 파일 구조는 간단하고 빠른 채널 분리를 가능하게 한다. 상이한 레드 유형들(650nm 또는 710nm)이 850nm 채널과 나란히 저장되고, 동일한 방식으로 상이한 좁은 블루 및 그린 채널들을 가질 수 있음에 따라, 채널들을 RGB로 분리하는 것 및 이미지를 두 개(두 개의 렌즈가 사용되는 경우)로 분리하는 것은 모든 상이한 채널을 생성할 것이다. 상기한 파일 포맷은 임의의 표준 RGB 포맷 파일 이를테면 JPG, BMP, PNG, TIFF 등일 수 있는 반면, 이러한 파일들은 3개의 대역 또는 3개의 대역 및 감마 채널로 제한된다. 현재 사용되는 중요한 식생 지수들이 관심 블롭들을 정확하게 검출하기 위해 둘보다 많은 대역을 채용함에 따라(이를테면 레드 블루 및 NIR 대역을 채용하는 A VI - "대기 저항 식생 지수(Atmospherically Resistance Vegetation Index)"), 그러한 나란한 분리는 관심 블롭들의 정확한 식별을 위해 중요하다.

본 발명은 주변 영역들과 비교해 속성들, 이를테면 휘도 또는 색상이 상이한 디지털 이미지들에서의 영역들을 검출하기 위한 블롭 검출 방법들을 이용한다. 그러한 영역들 또는 변칙들은 추가 조사를 필요로 하는 가능한 문제 영역들을 나타낸다. 측량된 영역에서 미리 정의된 파라미터들과 연관된 블롭들의 검출은 화상 획득 미션의 제2 단계, 고 해상도 단계를 유도한다. 그러한 유도는 GPS 데이터를 이러한 블롭들과 연관짓고 UAV/드론/호버크라프트/울트라라이트 등 상의 이미지 캡처 디바이스에, 근 실시간 처리든, 실시간 처리든 또는 후처리든 관계 없이, 추가의 매우 세밀한(보다 높은 해상도의) 이미지들을 취할 것을 지시함으로써 실현될 수 있다. 그러한 세밀한 화상 획득은 동일한 항공기 및 캡처 디바이스에 의해, 또는 다른 캡처 디바이스를 사용한 동일한 항공기에 의해, 또는 보다 높은 해상도의 캡처 디바이스를 갖는 다른 항공기에 의해, 또는 캡처 디바이스를 갖는 지상 차량에 의해 이루어질 수 있다.

매우 세밀한 화상이 획득되면(VIS, 하이퍼 스펙트럼 또는 멀티 스펨트럼 화상), 즉각적으로 또는 단기로, 또는 장기로 획득된 화상을 분석하고 농장주가 취하길 필요로 하는 단계들을 결정하는 것을 돕는 것이 가능하다. 이러한 분석의 제2 스테이지는 또한 블롭 분할, 통상적으로 소규모 블롭 분할을 사용하여 수행된다.

다시 말해, 본 발명은 원격 감지 디바이스들을 이용하는 전자동 의사 결정 지원 시스템을 생성하기 위해, 청므은 낮고 그 다음 높은 해상도의 화상의 자동 분석을 적용한다. 저 해상도 화상은 고 고도 및/또는 저 해상도 카메라 및/또는 단 촛점 길이 항공 화상 획득의 결과일 수 있다. 보다 낮은 해상도가 처리할 적은 데이터를 제공하기 때문에, 저 해상도 스캐닝이 훨씬 더 빠르고 보다 효율적이다. 고 해상도의 세밀한 화상은 저 고도 획득 및/또는 고 해상도 카메라 및/또는 장 촛점 길이(줌)를 통해 또는 더 정확히 말하면 지면으로부터의 화상을 획득하여 획득될 수 있다.

본 발명에 따르면, 이미지 캡처 디바이스들을 효율적으로 이용하기 위해, 그리고 관심 블롭들 상에 고 해상도 화상의 "포커싱"을 맞추고 요청된 측량에 따라 그것들의 속성을 가능한 정확하게 식별하면서, 실시간 또는 근 실시간으로 가능한 환경/현장의 빠르고 실제적인 스캐닝을 수행하기 위해, 이미지 획득 프로세스의 각 단계에 대해 상이한 방법들이 사용된다. 예를 들어, 농업용 목적들을 위해, 본 발명은 농작물의 유해 동물, 병 및 식생 활력도 및 다른 측면들을 확인하기 위해 자동 분류법을 구현한다.

특정 측량의 목적에 따라, 관심 블롭들이 미리 정의되는 것을 명확하게 하는 것이 중요하다. 예를 들어, 지뢰들이 발견되는 경우라면, 적합한 분석(NDVI 또는 임의의 다른 식생 지수 기반 메트릭 또는 미리 선택된 파라미터들을 사용한) 이후 그것들의 그래픽 표현을 나타내는 픽셀들이 관심 픽셀들로서 정의될 것이다. 예를 들어, 목화 덮대가 발견되는 경우라면, 흰 목화 다래를 나타내는 픽셀들이 관심 픽셀들 및 블롭들로서 정의될 것이다.

본 발명에 따른 하나의 가능한 실시예의 제1 단계는 상당히 저 해상도의 멀티 스펙트럼 화상의 항공 획득을 포함한다. 상기한 저 해상도는 100 제곱 센티미터(10cm x 10cm)당 1 픽셀 또는 더 정확히 말하면 제곱 미터당 1 픽셀, 또는 위성들에 의해 캡처되는 것과 유사한 임의의 다른 해상도일 수 있으며, 이는 수 년에 걸쳐 요청된 측량을 위한 원격 감지에 적절한 것으로 증명되었다. 다시 말해, 예를 들어, 농업용 측량이 목화 덮개 상에 포커싱되는 경우, 이미지 획득은 50mm 촛점 길이 카메라를 사용하여 수백 미터의 고도로부터 이루어질 수 있다는 것이 이미 알려져 있다(다양한 미국 DOA 공보에 기록된 바와 같이). 그러한 경우, 네 개의 스펙트럼 대역(레드; 그린; 블루 및 근 적외선)의 멀티 스펙트럼 카메라가 NDVI 제시를 위해 요청된 화상을 획득할 수 있다는 것이 알려져 있다.

본 발명에 따른, 이러한 농업용 원격 감지 예의 제2 단계는 NDVI(및/또는 그것에 기반한 툴들 중 하나)에 따른, 분석을 포함한다. 분석의 결과로 초래된 값들은 목화로 덮힌 영역들을 하나의 색상으로 그리고 목화로 덮히지 않은 영역들을 다른 색상으로 제시하는 이미지로서 제시될 수 있다. 동일한 원리가 대부분의 농업용 측량들에 적용되며, 여기서 건조하거나 건강하지 않은 식생 또는 잡초가 하나의 색상으로 "페인팅"될 것이고 건강한 식생은 "페인팅된" 다른 색상을 보일 것이다. 이러한 착색된 픽셀들은 단지 사용자 친화적인 방식으로 분석들의 결과들을 나타낸 것이고, 자동 분석은 이러한 픽셀들에 첨부되는 값들을 사용한다.

본 발명에 따른, 제3 단계는 이미지 분석 동안 미리 정의된 파라미터들, 예를 들어, NDVI 값들(또는 다른 농업용 식생 지수 메트릭)과 연관된 픽셀들의 블롭들로의 자동 모음을 포함한다. 그러한 블롭들의 생성은 요청된 측량에 따른 균일한 양자화 연산을 수반한다. 몇몇 측량(이를테면 가루이 검출)에서, 매우 적은 픽셀은 무시될 수 없고 더 정확히 말하면 작은 블롭들이 중요한 한편, 다른 측량들(이를테면 다랑어 어군 검출)에서는 단지 큰 블롭들만 중요하다. NDVI가 사실상 합성 이미지일 때, 즉, 각 픽셀이 레드 및 NIR 채널들로부터 취해지는 계산된 값을 가질 때, 임의의 상기한 블롭 생성 이전, NDVI는 획득된 이미지의 중요한 피처들을 최적으로 보존하는 연속 블롭들의 생성을 가능하게 하는 진보된 잡음 제어 연산 처리될 수 있다.

예를 들어, 변칙들이 관찰되는 경우 그리고 그것들의 정도 또는 크기가 미리 선택된 임계치를 넘는 경우, 이미지 획득 및 분석의 제2 스테이지가 요청되는지 여부를 결정하기 위해 시스템 프로세서에 의해 이러한 예비 분석이 사용된다. 그렇지 않은 경우에는, 측량이 종료되고 이러한 정보가 측량을 요청한 사람에게 보내진다. 다른 한편으로는, 제2 스테이지가 정당하게 만들어지는 것으로 결정되는 경우, 프로세서는 이후에 설명될 바와 같이, 자동으로 진행하거나, 또는 측량을 요청한 사람에게 통지하고 수동 명령들을 기다린다. 대안적으로, 획득의 제2 단계로 진행할지 여부를 결정하기 위해 블롭 분할 이후 이미지들의 분석이 수동으로(사람에 의해 시각적으로) 실현될 수 있다.

자동 획득 및 분석의 경우, 제4 단계는 측량이 포커싱되는 변칙들(유해 동물에 감염된 들판, 누수 등)을 나타내는 블롭들에 GPS 데이터를 첨부하는 것을 포함한다. GPS 데이터는 다양한 방식으로 이미지들에 부착될 수 있다. 몇몇 카메라는 그것들에 통합된 내장된 GPS 센서를 갖는다. 다른 경우들에서, 카메라들은 가동 스마트폰에 의해 무선으로 작동된다(카메라에 부착되는 가동 스마트폰 또는 자동 조종 장치/프로세싱 플랫폼으로부터 GPS 데이터를 추가할 수 있는, Sony의 QX1 렌즈와 같은 카메라 및 Olympus Air A01 카메라를 이용하는 경우와 같이). 본 발명에 다른, 바람직한 솔루션은 보다 양호한 정확성에 기인하여, 일반적으로 항공기 위에 위치되고 자동 조종 장치에, 또는 카메라에 직접(카메라에 의해 지원되는 경우) 연결되는, 항공기의 GPS 센서로부터 GPS 데이터를 추가하는 것이다. 항공기들이 빠르게 이동할 수 있음에 따라, 화상의 캡처 시간 및 GPS 데이터를 동기화시키는 것이 중요하다. 각 프레임은 그것과 연관된 GPS 데이터를 가질 수 있거나, 보다 큰 영역의 정사 사진이 지오태그될 수 있다는 것이 이해될 것이다.

다른 방식, 그리고 가장 정확한 방식은 획득된 이미지들의 정사 사진을 생성하고 그것을 정확한 맵에 맞추는 것에 의한다. 그러한 매칭은, 그것이 느리고 상당히 집약적인 계산을 요구하더라도, 렌즈 왜곡에서 기인하는 편향 및 편차, 위성 신호들의 부족, 및 화상을 획득하는 동안 항공기의 각도를 극복한다.

본 발명에 따른 제5 단계는 관심 블롭들에 의해 대표되는 영역들의 매우 세밀한 화상 획득의 자동 준비를 포함한다. 바람직하게는 멀티 스펙트럼 또는 하이퍼 스펙트럼 카메라인 화상 획득 디바이스(예를 들어, 공수 또는 지반 카메라)는 그러한 위치들의 상세한 화상을 캡처하기 위해 이러한 블롭들의 지리적인 위치로 보내진다. 매우 상세한 화상을 획득하기 위한 몇몇 가능한 방법은 농작물 수 피트/미터 위를 비행하는 저 고도 호버 크라프트 또는 헬리콥터를 사용하는 것 또는 지면 로봇을 보내는 것그리고/또는 사람이 가능한 가장 가까운 거리로부터 화상을 획득하는 것이다. 다른 방법은 카메라를 보다 긴 촛점 길이의 줌으로 사용하는 것이다. 그러나, 이러한 방법은 하이퍼 스펙트럼 또는 멀티 스펙트럼의 매우 세밀한 화상이 요청되는 경우, 매우 고가이고 비효율적이다. 위에서 설명된 바와 같이, 관심 블롭들에서의 상기한 면밀한 살핌이란 예를 들어, lOMega 픽셀들에서의 0.8m x 1.2m 직사각형의 화상의 획득을 의미할 수 있기 때문에, GPS 데이터의 정확성이 중요하다.

몇몇 측량(이를테면 다랑어 어군 검출)에서는, 단일 이미지에서의 블롭의 GPS 데이터는 충분하지 않을 수 있고, 블롭들의 GPS 데이터 변경들의 추가 분석과 함께, 다수의 연속 이미지에 기반하여 궤적이 예측될 필요가 있다는 것이 주의되어야 한다. 프로세싱 및 획득 시간으로 계산되는 그러한 분석은 시스템이 고정적이지 않은, 요청된 관심 블롭들을 따라가게 하고, 그것들의 예측된 위치에서 그러한 블롭들의 세밀한 화상을 획득하게 할 것이다.

본 발명에 따른, 제6 단계는 조사 결과들의 자동 분류법 및 식별을 포함한다. 본 발명의 목적들을 위한 자동 분류법, 또는 생물 분류학은 그 중에서도, 유기체들에 대한 분류들, 그것들의 식별을 위한 키들, 및 그것들의 분배에 관한 데이터를 설명 및 제공하는 것을 포함한다. 이러한 단계는 상당히 복잡한 단계이고, 그것은 그것 자체가 몇몇 서브 단계를 포함한다. 아래에 설명될 객체들의 자동 분류법 및 식별은 위에서 설명된 자동 이미지 획득 방법들 및 시스템의 수단에 의할 뿐만 아니라, 임의의 방식으로 캡처된 고 해상도 화상을 분석하기 위해 이용될 수 있다는 것이 이해될 것이다.

먼저, 획득된 화상은 측량 유형에 따라 분석된다. 예를 들어, 획득된 화상이 단지 가시 스펙트럼을 가질 경우, 녹엽들 상에서 진딧물(greenfly)을 식별하는 것이 가루이를 식별하는 것보다 어렵다. 그러나, 진딧물(greenfly)이 엽록소와 동일한 방식으로 근 적외선 스펙트럼을 반사하지 않기 때문에, 녹엽들 상의 진딧물의 NIR 화상을 추가하면 그린 카모플라쥬를 제거한다.

둘째로, 미심쩍은 객체들(진딧물들(aphid), 진딧물(greenfly), 유충들, 메뚜기들 등)의 존재가 발견디면, 각 단편의 중심에 있는 직사각형들을 그림으로써, 그러한 객체들을 포함하는 화상의 단편들이 추출된다. 바람직하게는, 각 단편은 보다 양호한 분류 및 식별을 가능하게 하기 위해, 최소 배경 "잡음"과 단일 객체를 포함한다. 미심쩍은 객체들은 바람직하게는 먼저 측량 유형에 따라 기준 유해 동물 데이터베이스를 포함하는 원격 서버를 이용함으로써 분류된다. 예를 들어, 농업용 측량의 유해 동물/병을 분류하기 위한 바람직한 방식은 위치, 농작물 유형, 및 농작물의 그러한 특정 유형과 관련된 가능한 유해 동물/병의 뱅크에의 기준을 포함할 것이다. 그러나, 또한 획득 플랫폼에서 자동 분류법을 수행하는 것이 가능하다. 이 경우, 획득 플랫폼은 그것을 플랫폼 프로세싱 메모리에 있는 기준 유해 동물 이미지들의 작은 데이터 세트와 비교함으로써 유해 동물을 식별할 수 있는 내부 프로그램을 구비할 것이다. 제7 단계는 미심쩍은(그리고 이전 단계에서 그것들이 분류된 경우, 분류된) 객체들의 식별을 포함한다.

이 단계에서 객체들을 식별하기 위한 기본 기저의 아이디어는 획득된 이미지의 제한된 크기의 서브 이미지들로의 적절한 분할이 미심쩍은 객체들이 세밀하게 획득된 이미지에 있는 경우, 그것들이 제한된 크기의 서브 이미지들에서 발견될 수 있는 높은 가능성을 보장한다는 주장과 연관된다.

제한된 크기의 서브 이미지들의 크기는 이미지 크기를 측량의 포커싱이 맞춰지는 객체들을 나타내기로 되어 있는 블롭들의 크기와 매칭하여, 측량 유형에 따라 셋팅된다. 블롭들을 ?마하는, 그러한 제한된 크기의 서브 이미지들의 세트가 준비되면, 서브 이미지들의 이러한 세트 내에서 객체들을 식별하는 프로세스가 이러한 서브 이미지들의 세트를 식별을 위한 원격 서버로 전송하거나 로컬 식별 코드를 활성화함으로써 즉석에서 객체를 식별하는 것 중 어느 하나에 의해 실현될 수 있다.

다양한 이미지 분할 방법 및 대응하는 검출 방법이 본 발명에서 상세하게 설명된다. 일반적으로, 단순한 구조를 갖는 객체들 및 복잡한 구조를 갖는 객체들, 두 유형의 객체가 찾아진다. 몇몇 특정 이미지 분할 기반 방법이 각 유형에 맞추어 조정된다.

본 발명에 따른, 제8 단계는 수신인(측량을 지시한 사람 또는 서비스 제공자)에게 분석 결과들을 보내는 것을 포함한다. 결과들은 조사 결과들의 가능한 식별을 포함하고 그것들은 또한 예를 들어, 유해 동물을 퇴치하거나 불을 끄거나 또는 구지 지뢰들 주위에 담장 및 경고 표지들을 두기 위해(측량에 따라) 취해질 필요가 있는 단계들에 관한 어드바이스를 포함할 수 있다. 예를 들어 프로세싱 플랫폼이 셀룰러 연결(예를 들어, 3G 또는 LTE)을 구비하는 스마트폰일 때, 결과들은 클라우드(인터넷)로부터, 또는 더 정확히 말하면 항공기로부터 화상의 작은 단편들로 전송된다. 본 발명의 몇몇 가능한 실시예에서, 화상의 단편들, 위치 및 어드바이스가 멀티미디어 메시징 서비스(MMS)를 통해 또는 인스턴트 메시징 서비스(IM), 이를테면 메신저, 왓츠앱, 스카이프 등을 통해 사용자에게 전송된다.

대표적인 농업용 측량에서의 단계들 중 일부에 대한 상세한 설명

특정 NDVI(및 유사한 메트릭스) 값들과 연관된 영역들의 식별

바람직한 프로세스는 다음 단계들을 포함할 것이다:

1. 효율적인 범위(바람직하게는 수십 미터 내지 수백 미터 이상의 고도)로부터 가시 및/또는 하이퍼 스펙트럼 또는 멀티 스펙트럼 화상을 캡처하는 단계;

2. 목적하는 측량(예를 들어 건조도; 식생 활력도; 유해 동물; 병; 등)에 따라 화상을 분석하는 단계;

3. 이미지들에서 대규모 블롭 분할에 의한 보다 상세한 조사를 필요로 하는 관심 영역들을 정의하는 단계.

4. 정밀한 GPS 데이터를 관심 영역들에 첨부하는 단계.

5. 이미지 캡처 디바이스와 동일한 항공기 또는 다른 차량을 이러한 관심 영역으로 자동으로 보내, 측량 유형에 따라 세밀한(보다 높은 해상도의) 화상을 취할 것을 지시하는 단계. 통상적으로, 플랫폼에 고 해상도 획득을 수행할 것을 지시하는 기준들은 최적의 NDVI 값보다 10% 또는 20% 낮은 NDVI 값들과 연관되는 블롭들의 존재 - 즉, "식생 스트레스"의 표시일 것이다.

여기서 전체 목적은 항공기로부터, 상대적으로 저 해상도 화상으로부터, 특정 NDVI(또는 몇몇 다른 툴) 값들과 연관된 관심 영역들을 자동으로 검출하는 것이다. 그러한 관심 영역들은 통상적으로 식생 스트레스/활력도, 습지들, 물로 덮힌 영역들, 숙성한 농작물, 식생 활력도 등을 포함할 수 있다. NDVI(또는 다른 식생 지수 기반) 맵이 사실상 합성 이미지임에 따라, 그것은 극히 큰 잡음량을 수반한다. 그리하여, 전처리 잡음 제거 연산이 수행될 수 있다. 본 발명에서, 바람직하게는 NDVI 이미지의 주요한 특징들을 보존하는 진보된 잡음 제거 알고리즘이 채용된다. (예를 들어, "Total Variation Filter" -, Chambolle 2004 참조). 대안적으로, 임의의 다른 적합한 잡음 제거 알고리즘이 이용될 수 있다.

그러한 영역들의 자동 검출은 바람직하게는 구성가능한 수의 픽셀 및 밀도에 기초하여, 요청된 측량에 대한 평균 값들(예를 들어, NDVI 또는 EVI 또는 임의의 유사한 메트릭)로부터의 편차를 나타내는 블롭들의 픽셀들로 "모음"으로써 수행될 수 있다.

NDVI 메트릭을 사용하는 프로세스의 하나의 가능한 실시예는 다음과 같다:

계산을 위한 입력은 멀티 스펙트럼 공수 카메라에 의해 획득된 바와 같은, -1 내지 1의 NDVI 값들의 매트릭스이다. 식 NDVI = (NIR -VIS_RED)/(NIR + VIS RED)를 사용하여, NDVI 값들을 내기 위해 NI 대역 및 VIS RED 대역이 사용된다. 그러한 NIR 및 VIS Red 대역들은 대역들의 중심이 650nm 및 850nm인, 20nm 내지 70nm의 협대역들일 수 있다.

본 발명의 하나의 상기한 가능한 실시예에서, NDVI 맵 상에 진보된 잡음 제거 연산을 적용한 후, 요청된 NDVI 값들을 갖는 블롭들이 찾아진다. 요청된 NDVI 값들과 연관된 픽셀들은 다음 세 단계 절차를 통해 블롭들을 정의하기 위해 "모아진다":

단계 1. 관심 영역이 NDVI 값들, 또는 다른 미리 정의된 파라미터가 값들의 알려진 범위와 연관된다고 가정하면, 알고리즘은 NDVI 이미지의 바이너리 맵을 구성하하며, 이때 NDVI 값들의 관련된 범위와 연관된 관련 픽셀들은 1로 셋팅되고 상기 픽셀들의 나머지는 0으로 셋팅된다.

단계 2. 1로부터 도출되는 바이너리 맵과 연관된 모든 가능한 블롭(클러스터)의 세트는 예를 들어, 클러스터 라벨링 알고리즘, 또는 다른 적합한 알고리즘을 사용하여 구성된다. 이러한 알고리즘은 "Hoshen Kopelman" 클러스터 라벨링 알고리즘(1975)에 기초한다. 기본적으로, 본 발명에서 사용되는 Hoshen Kopelman 알고리즘은 바이너리 맵을 하나의 패스로 래스터 스캐닝하고, 스캐닝 프로세스에 따라 모든 블롭을 찾으며, 그것들에 실행 인덱스를 당한다.

블롭들의 구성을 위한 다른 기술들, 이를테면 인접 픽셀들의 소모적 탐색법들이 또한 이용될 수 있으나, 그것들은 컴퓨터 로드를 초래한다..

단계 3. 소정의 블롭들의 그룹을 변칙 또는 "요청된 NDVI 값들에 속하는, 관심 영역"으로서 정의하기 위한 결정 기준은 다음과 같이 정의된다:

1. 소정의 단일 블롭에 속하는 픽셀들의 수가 소정의 임계 파라미터를 초과하는 경우.

2. 모두 (블롭들의 세트의 중력 중심으로부터) 소정의 반경에 국한되는, 블롭들의 세트에 속하는 픽셀들의 수가 소정의 임계치를 초과하는 경우.

도 1a, 도 1b 및 도 1c는 절차가 어떻게 작용하는지를 예시한다. 도 1a는 농장 들판의 가시 및 NI 이미지들을 획득하는 데 적합한 필터들을 사용하여 들판 위를 비행하는 UAV로부터의 이미지 한 쌍의 샷을 도시한다. 도 1b는 가시 이미지 상에 중첩되는 범위가 -0.3 내지 -0.1에 이르는 NDVI 값들(적색으로 착색된)(미리 정의된 관심 범위)과 연관된 픽셀들을 도시한다. 이러한 픽셀들은 들판 내 습지들을 표시한다. 도 1c는 위에서 설명된 알고리즘을 사용하여 자동으로 계산된 픽셀들의 이러한 세트로부터 도출되는 34 최대 블롭(랜덤으로 착색된, 각 블롭이 200을 초과하는 수의 픽셀을 포함함)의 세트를 도시한다.

본 발명의 다른 실시예에서, 미리 선택된 NDVI 값들과 연관된 영역들의 검출이 다음 절차에 의해 수행된다.

요청된 NDVI 값들과 연관된 픽셀들의 바이너리 맵은 동일한 영역들을 갖는 다각형들로 분할되고, 각 다각형의 밀도가 계산된다. 다음 요청된 NDVI 값들과 연관된 영역들의 중심들을 나타내기 위해 큰 밀도를 갖는 다각형이 선택된다.

도 2a, 도 2b 및 도 2c는 이러한 절차가 어떻게 작용하는지 도시한다. 도 2a는 소정의 농장 들판의 가시 및 NIR 이미지들의 쌍을 도시한다. 도 2b는 도 2a의 이미지들로부터 도출된 범위가 0.75 내지 0.9에 이르는 NDVI 값들(미리 정의된 관심 범위)과 연관된 픽셀들을 도시한다. 도 2c는 최고 밀도 값들을 갖는 다각형들과(사실상 크기 4x4의 블록들) 연관된 점들의 세트(백색으로 마킹됨)를 도시한다. 좌측 이미지의 적색점들은 NDVI 값들의 범위가 0.75 내지 0.9에 이르는 모든 픽셀의 세트를 도시한다.

위에서 설명된 방법은 도 11에 개략적으로 예시된 멀티 스펙트럼 화상 획득 및 분석을 위한 시스템(10)에 의해 구현될 수 있다. 시스템(10)은 적어도 하나의 멀티 스펙트럼 이미지 캡처 디바이스(12) 및 이미지 캡처 디바이스(12)에 연결되는 프로세서(14)를 포함한다. 바람직하게는, 프로세서는 데이터 및 명령들을 교환하기 위해 사용자(20)와 2 방향으로 통신한다. 프로세서는 블롭 분할 모듈(18)을 포함하는 이미지 프로세싱 모듈(16)을 실행하여 미리 정의된 측량 파라미터들에 따라 블롭 분할에 의해 캡처된 이미지들을 자동으로 분석하고 미리 정의된 측량 파라미터들 내에 속하는 각 이미지 상의 변칙들에 대응하는 출력을 제공한다. 위에서 설명된 바와 같이, 이러한 출력은 프로세서(14)에 의해 사용되거나 사용자(20)에게 제공될 수 있다. 블롭 분할 모듈(18)은 대규모 블롭 분할 및 소규모 블롭 분할 양자를 구현할 수 있다. 상기 시스템은 변칙들의 지리적 위치의 표시를 제공하도록 적응 및 구성된 지리적 위치 표시자(22)를 더 포함한다. 지리적 위치 표시자(22)는 본 실시예에서 별개의 유닛인 것으로 예시되지만, 본 발명의 다른 실시예들에 따르면, 그것은 이미지 캡처 디바이스(12)의 일부일 수 있다. 프로세서는 멀티 스펙트럼 이미지 캡처 디바이스들 중 하나에 표시된 지리적 위치로 보내 출력에 응답하여 변칙들의 이미지들을 캡처할지 여부를 자동으로 결정하도록 더 구성된다.

본 발명은 또한 멀티 스펙트럼 이미지들에서 객체들을 식별하기 위한 방법에 관한 것이다. 상기 방법은 고 해상도 멀티 스펙트럼 이미지들을 미리 정의된 객체 파라미터들에 따라 분석하는 단계 및, 미리 정의된 객체 파라미터들 내 파라미터들이 찾아질 때, 그러한 파라미터들을 포함하는 이미지들에 관해 블록 분할을 수행하여 블롭들을 식별하는 단계를 포함한다. 이러한 블롭들에 제한된 객체들은 미리 정의된 객체 파라미터들을 갖는 객체들을 식별하기 위해 미리 정의된 기준 파라미터들과 비교된다. 몇몇 실시예에 따르면, 객체들은 비교 전에 분류된다. 이러한 방법의 사용의 다수의 비-제한적인 예는 다음과 같다.

단순 모폴러지 객체들의 자동 식별

식별을 위해 선택된 몇몇 객체는 통상적으로 작은 얼룩의 형상의, 매우 단순한 모폴러지(형태 및 구조)(이후 "SMS" - 단순 모폴러지 구조(Simple Morphology Structure))를 갖는 속성을 지닌다. SMS 객체들을 검출하는 하나의 유용한 접근법은 매우 작은 블롭들(1 내지 15 픽셀)의 세트의 계산, 각 작은 블롭 주위 작은 이미지의 추출, 및 이러한 이미지에서 선택된 객체 탐색을 수반한다. 통상적으로, 그러한 탐색은 작은 블롭들 및 기준 패턴들 간 내부 패턴 매칭 프로그램을 작동하는 것을 수반할 것이다.

SMS 객체들을 검출하는 하나의 중요한 구현은 그것의 작은 유해 동물 검출에의 적용이다. 유해 동물의 SMS 이미지들은 통상적으로 경계들이 타원 형상에 의해 근사화될 수 있는 "작은 얼룩"의 형상을 보인다.

감염된 영역들에서 SMS 유해 동물의 컴퓨터화된 식별은 다음 관측 가정들에 기초한다:

a. SMS의 이미지들이 타원과 같은 형상을 지녀 기하학상 의미가 있고, 일반적으로, SMS 유해 동물의 그것의 주변들에 대한 색상 대비가 매우 예리하다.

b. 감염된 식물의 시각적 모폴러지는 감염되지 않은 식물과 비교하여 높은 농도의 "얼룩들" - SMS 유해 동물 - 을 포함한다. 그리하여, 감염된 식물이 적합한 이미지 프로세싱 툴로 "얼룩들의 농도"를 비교함으로써 감염되지 않은 식물과 구별될 수 있다.

본 발명은 위에서 설명된 관측 가정들을 유효한 알고리즘들로 변환하는 것에 기초한 SMS 유해 동물의 자동 검출 방법들을 채용한다.

이러한 관측들의 하나의 알고리즘 실시예에서, 획득된 이미지(가시 또는 NI 또는 NDVI 이미지, 또는 CMYK(시안, 마젠타, 옐로우 및 블랙)와 같은 임의의 유형의 채널 구분)는 먼저 회색도 이미지로 변환되고 그 다음 회색도 블롭 기반 분할된다. 이미지의 품질에 따라, 통상적으로 효율적인 블롭 분할이 균일한 양자화 연산을 수반할 것이다. 회색도의 32개의 값은 일반적으로 대부분 적용예에 충분하다. 회색도 값들의 각각의 바이너리 맵은 위에서 설명된 Hoshen-Kopelman 클러스터 라벨링 알고리즘의 대상이 되고, 모든 회색도 값으로 이루어지는 모든 가능한 블롭의 세트가 생성 및 저장된다.

계산된 블롭들의 이러한 세트로부터, 픽셀들의 작은 임계 수보다 작은 크기를 갖는 근소 블롭들(통상적으로, 10개의 픽셀보다 작은 크기를 갖는, 하지만 이에 제한되지 않는)이 추출된다.

이미지는 몇몇, 동등한 크기의 서브 이미지로 분할된다. 각 서브 이미지에서, 위에서 설명된 방법에 의해 생성된 작은 블롭들의 수가 카운트된다. 서브 이미지들의 소정의 백분율에서의 작은 블롭들의 수가 미리 정의된 캘리브레이트된 임계 값을 초과할 경우 SMS 유해 동물의 존재의 검출이 공표된다. 그러한 임계치 셋팅은 농업의 액제 살포 정책들에 매칭하도록 셋팅될 수 있다.

본 발명의 다른 알고리즘 실시예에서, 이미지는 회색도 이미지로 변환되고 위에서 설명된 동일한 방법을 사용하여 회색도 블롭 분할된다. 분할된 블롭들의 세트로부터, 매우 작은 크기를 갖는(통상적으로 이에 제한되지 않지만 10 픽셀보다 적은 크기를 갖는) 블롭들이 선택되고 그것들의 중력 중심들이 정합된다.

각 정합된 중력 중심 주위 모든 서브 이미지(통상적으로 이에 제한되지 않지만, 50 픽셀 미만으로 셋팅되는 반경 길이를 갖는)가 추출되고 상관 연산자 또는 미리 프로그램된 심층 신경망 분류자 기능을 사용하여, 메모리에 있는, 통상적으로 타원 형태를 갖는, SMS 유해 동물의 기준 이미지들과 비교된다. 상관관계가 미리 설정된 임계 값을 초과하고/거나, 성공적인 분류가 플래깅될 경우, 검출이 공표된다. 도 3a 및 도 3b는 이러한 방법이 어떻게 작용하는지 실증한다. 두 개의 회색도 이미지는 감염된 목화 들판을 도시한다. 도 3에서의 이미지 상에 중첩되는 적색점들의 세트는 위에서 설명된 방법에 의해 계산된 바와 같이, 픽셀들의 수가 50 미만인 모든 작은 블롭의 중력 중심들을 도시한다. 이러한 예에서, 회색도 이미지는 32 레벨로 감소되었다. 이러한 점들의 각각의 점 주위 16x16 픽셀 크기의 작은 이미지들이 추출되었고 상관 연산자를 사용하여 기준 이미지들에 대해 매칭되었다. 도 3b에서의 이미지 상에 중첩되는 적색점들의 세트는 상관 연산자가 찾은 모든 서브 이미지를 도시한다.

분석의 다른 알고리즘 실시예에서, 작은 블롭들의 선택은 통상적으로 조회시 SMS 유해 동물을 특징 짓는 기준 색상에 가까운 거리 내에 있는 색상을 갖는 블롭들의 세트에 제한된다. 본 발명에서, 두 개의 소정의 RGB 색상 간 거리는 다음과 같이 정의된다:

XI = { R1,G1,B1 } 그리고 X2 = {R2,G2,B2}

이면

Distance[Xl,X2] = Max{Abs[R1-R2] , Abs[G1-G2] , Abs[B1-B2] };

도 4a 및 도 4b는 이러한 절차가 어떻게 작용하는지 도시한다. 도 4a는 SMS 유해 동물(흰색)의 세트를 포함하는 잎을 도시한다. 도 4b는 색상들이 위에서 정의된 의미로 흰색에 "가까운"(본 예에서, 40 색상 유닛 미만) 거리에 제한되는 작은 블롭들을 추출한 결과로 초래된 검출된 SMS 유해 동물의 세트(도 4a의 이미지 상에 중첩되는 보라점들로 표시됨)를 도시한다. 디스플레이에서 유해 동물을 나타내기 위해 선택된 색상은 그 자체로 의미가 없고, 디스플레이가 임의의 선택된 색상일 수 있다는 것이 이해될 것이다.

분석의 다른 알고리즘 실시예에서, SMS 유해 동물의 검출은 다음 방법을 사용하여 수행된다. 행 방향 및 열 방향 인터레이싱 연산자를 형성함으로써, 가시 이미지의 획득된 회색도 이미지가 몇몇, 예를 들어, 네 개의, 매우 유사한 중첩하지 않는 이미지로 분할된 결과, 합이 원래 이미지에 걸쳐 정확하게 이어지는 네 개의 서브 이미지가 형성된다. 여기서, 원래 회색도 이미지는 X인 것으로 표시되고, XI, X2, X3 및 X4는 인터레이싱 연산자의 적용에 기인하여 초래된 서브 이미지들이라고 가정된다.

이미지 A("X의 가속 이미지")를 A = (X1 + X4 - 2*X3);으로서 정의하면, 이미지 A의 대비를 증진시킬 것이다. A로부터 최고 휘도 값들을 갖는 픽셀들의 미리 선택된 수의 세트를 추출하면 SMS 유해 동물을 포함할 매우 높은 가능성을 갖는 픽셀들의 세트를 낸다는 것이 주장된다. 계산된 높은 값의 픽셀들의 세트 주위 작은 서브 이미지들이 추출되고 그것들의 콘텐츠가 메모리에 있는 기준 SMS 유해 동물의 이미지들과 비교다. 밀접한 상관관계는 SMS 유해 동물의 존재를 플래깅할 것이다. 도 5a 및 도 5b는 이러한 아이디어를 예시한다. 도 5a는 SMS 유해 동물을 포함하는 감염된 잎을 도시하고 도 5b는 도 5a 상에 중첩되는 적색점들의 세트를 도시한다. 적색점들은 위에서 설명된 방법에 의해 생성된 점들이며, 이를 위해 상관자가 그것들의 대응하는 추출된 작은 서브 이미지들 SMS 유해 동물을 포함하는 것으로 식별했다..

상기한 알고리즘 아이디어의 다른 실시예에서, SMS 유해 동물의 검출은 다음 방법을 사용하여 수행된다. 가시 또는 NIR 이미지들의 회색도는 에지 검출 연산자 처리된다. 그 결과로 초래된 에지 검출된 이미지로부터, 세기 값들이 소정의 임계 값을 초과하는 픽셀들의 세트가 선택된다.

이러한 픽셀들 주위 작은 서브 이미지가 추출되고 그것들의 콘텐츠가 상관관계 방법을 사용하여 알려진 기준 이미지들과 비교된다. 상관관계가 미리 설계된 임계 값을 초과하는 경우, 유해 동물 검출이 플래깅된다. 도 6a, 도 6b 및 도 6c는 그러한 아이디어를 실증한다. 도 6a는 SMs 유해 동물(화이트로 착색됨)을 포함하는 잎을 도시하고, 도 6b는 도 6a의 에지 검출 적용을 도시하며, 도 6c는 설명된 방법에 따라 도 6b로부터 관련된 점들을 추출한 결과인 도 6a 상에 중첩되는 점(옐로우)들의 집합을 도시한다.

상기한 알고리즘 아이디어의 다른 실시예에서, SMS 유해 동물의 검출은 다음 방법을 사용하여 수행된다. 가시 또는 NIR 이미지들의 회색도는 바이너리 임계 연산된다. 임계 레벨은 다음과 같이 계산된다: 매우 높은 임계치(어두운 프레임)에서 시작하여, 임계 레벨이 점진적으로 감소되며 그에 따라 흰 점들의 수(임계 연산의 결과로 초래된)가 소정의 레벨을 초과할 경우, 목적하는 임계가 공표된다.

그 결과로 초래된 이미지로부터, 세기 값들이 상기한 목적하는 임계 값을 초과하는 픽셀들의 세트가 선택된다. 이러한 픽셀들 주위 작은 서브 이미지가 추출되고 그것들의 콘텐츠가 상관관계 방법을 사용하여 알려진 기준 이미지들과 비교된다. 상관관계가 미리 설계된 임계 값을 초과하는 경우, 유해 동물 검출이 플래깅된다.

복합 모폴러지 객체들의 자동 식별

식별이 요청된 몇몇 객체는 복합 구조(이하 CMS)를 갖는 속성을 지닌다. CMS 객체들을 검출하기 위한 일반적 접근법은 이미지를 요청된 특정 객체 모롤러지에 따라, 중간 크기를 갖는 블롭들로 분할하는 것을 수반한다. CMS 객체들이 획득된 이미지에 존재할 경우, 그것들은 이에 제한되지 않지만, 바람직하게는 심층 신경망 접근법을 사용하여, 통상적으로 식별을 위한 원격 서버로 이러한 상당히 작은 이미지들(일반적으로 단지 수십 픽셀로 제한되는)을 전송함으로써, 그러한 중간 크기의 블롭들 주변 몇몇 이미지에서 찾아질 가능성이 높다. 다른 식별 옵션은 객체를 식별할 수 있는 내부 코드(이를테면 위에서 설명된)를 활성화하는 것이다.

다수의 CMS 유해 동물 식별 방법이 이제 설명될 것이다.

CMS 유해 동물의 예들은 파리, 메뚜기, 곤충 등이다. 이러한 유해 동물의 구조들을 관측하는 것은 검출이 일반적으로 복잡한 매칭 코드를 필요로 하는 매우 복잡한 모폴러지를 보인다.

유해 동물 CMS 검출 방법의 일 실시예에서, 획득된 이미지(임의로 가시 및/또는 NI 및/또는 NDVI 및/또는 다른 식생 지수 기반 이미지)는 먼저 회색도 변환 및 히스토그램 균등화된다. 그 다음 이미지는 위에서 설명된 Hoshen Kopelman 클러스터 라벨링 접근법을 사용하여 블롭 분할된다.

중간에서 높은 수의 픽셀을 갖는 블롭들이 선택하고 소정의 레벨 미만의 반경을 갖는(통상적으로, 이에 제한되지 않지만, 32 픽셀) 이러한 블롭들의 중력 중심들 주변 서브 이미지들이 추출된다.

선택된 서브 이미지들의 각각은 바람직하게는, 4 회색도 값을 사용하여, 추가 블롭 분할된다. 대안적으로, 상이한 수의 세기 값이 이용될 수 있다. 계산된 블롭들이 그것들의 픽셀들의 크기에 대하여 배열된다. 예를 들어, 선택된 수의 제1 세 개의 큰 블롭이 추출되고 그것들의 관련 픽셀들을 포함하는 바이너리 이미지가 생성된다. 상기한 추출된 서브 이미지에서 유해 동물이 "캡처"되는 경우, 그리고 모폴러지 경계들을 표시하기 위해, 두 개의 모폴러지 바이너리 연산자: 바이너리 확장 연산자 및 바이너리 약화 연산자가 큰 블롭들을 포함하는 바이너리 맵 상에 적용된다. 마지막으로, 확장된 이미지와 약화된 이미지 간 차가 계산되어, 유해 동물 모폴러지의 경계들을 대략적으로 캡처하는 이미지가 된다.

도 7a, 도 7b 및 도 7c는 알고리즘이 어떻게 작용하는지 실증한다. 도 7a에서의 각 이미지들은 원래 CMS 유해 동물을 도시한다. 도 7b에서의 각 이미지는 도 7a에서의 대응하는 이미지의 최대 세 개의 블롭의 픽셀들의 투영의 결과로 초래된 바이너리 이미지를 도시한다. 그리고 도 7c에서의 각 이미지는 바이너리 약화 및 확장 연산자들의 적용 이후 두 7a의 대응하는 유해 동물의 결과로 초래된 경계들을 도시한다. 그 다음 도 7c에서의 결과적인 이미지들은 예측자 및 분류자와 같은, 심층 신경망 또는 다른 기계 시각 방법을 사용한 상관관계 절차 및/또는 분류 절차를 사용하여, 유사한 유형의 이미지들, 예를 들어, CMS 유해 동물 경계들과 비교된다.

블롭 분할 CMS 기반 검출 방법의 다른 실시예에서, 가시 이미지 또는 NI 이미지 또는 NDVI 또는 다른 식생 지수 기반 이미지의 회색도는 블롭 분할되고(바람직하게는, 이에 제한되지 않지만, 4 세기 레벨) 선택된 픽셀들의 크기를 갖는, 예를 들어, 범위가 50 내지 300 픽셀 수에 이르는 블롭들이 추출된다. 그러한 각 블롭 주변 이미지가 추출되고 유해 동물 분류를 위한 트레이닝 세트로서 사용되었던 유해 동물 이미지들의 대량 데이터 세트와 비교되어, 예측자 및 분류자와 같은, 심층 신경망 접근법 또는 다른 기계 시각 방법을 사용하여 CMS 유해 동물의 올바른 카테고리로의 분류를 위한 원격 서버로 전송된다. 도 8a 및 도 8b는 이러한 개념을 예시한다. 도 8a는 CMS 진딧물(aphids)이 감염된 잎을 도시하고, 도 8b는 크기들의 범위가 100 내지 200 픽셀에 이르는 블롭들의 세트를 도시한다. 유해 동물 및 추출된 블롭들 간 매치가 중요하다.

객체들의 자동 간접 식별

몇몇 경우, 특히 자동 유해 동물 식별의 경우, 유해 동물의 존재는 그것의 주변에 미치는 그것의 고유한 영향에 의해 검출될 수 있다. 다시 말해, 획득된 이미지들에서 실제 유해 동물을 캡처하는 것이 어렵거나 불가능할 수 있지만, 유해 동물의 존재는 식물의 상태로부터 추론될 수 있다. 많은 그러한 상황 중 그러한 두 경우가 아래에서 단지 비-제한적인 예로서 제시된다.

"감귤류 잎벌레나방"으로 알려진 유해 동물은 하나의 마땅한 예로서 역할을 할 수 있다. 이러한 유해 동물에 기인한, "구불구불한" 마인들의 존재는 일반적으로 입 표면에서 발견된다. 그리하여, 그러한 마인의 검출은 이러한 유해 동물의 존재를 나타낸다. 본 발명은 이러한 유해 동물을 식별하기 위해 두 개의 알고리즘 방법을 제시한다:

A. 이전 섹션에서 설명된 바와 같은, 복합 모폴러지 구조의 자동 식별을 위한 방법을 사용하는 것으로서 이때 상대적으로 큰 수의 픽셀(통상적으로 100 내지 7000을 갖는 블롭들 주위 이미지들이 추출되고 이러한 이미지의 콘텐츠는 감귤류 잎벌레나방을 포함하는 다양한 기준 이미지와 비교된다.

B. 특정 잎벌레나방에 맞춰진 검출 알고리즘이 다음과 같이 설명된다: 상대적으로 큰 수의 픽셀을 갖는 블롭들의 이미지들이 추출된다. 이러한 이미지들에 있는 객체들일 공산이 있는 경계들이 계산된다. 임의의 그러한 이미지 상에서, 이미지 코너 필터가 적용되고 계산된 코너 좌표들의 수가 카운트된다. 코너 좌표들의 수가 소정의 임계치를 초과하는 경우, 감귤류 잎벌레나방의 검출이 공표된다.

도 9a, 도 9b 및 도 9c는 그러한 아이디어를 실증한다: 도 9a는 감귤류 잎벌레나방의 전형적인 마인(노란색으로 둘러싸인)을 도시하고 도 9b는 그것의 경계들을 도시하며 도 9c는 코너 필터의 적용 결과로 초래된 결과적인 코너점들을 도시한다(아래 도면). 명백하게 상대적으로 큰 수의 그러한 점은 마인의 존재를 나타낸다.

그것의 배경에 관한 객체의 겉모양이 상이한 스펙트럼 대역들에서 볼 때 상이하다는 것이 이해될 것이다. 본 발명의 실시예들에 따르면, 이러한 사실이 다양한 관심 객체의 분리 및 식별을 개선하기 위해 이용될 수 있다. 예를 들어, 고 해상도 멀티 스펙트럼 이미지는 먼저 보이는 객체의 겉모양을 강화시키고 이미지의 객체들의 나머지와 구분하기 위해 색상 조작될 수 있다. 이러한 조작들은 원래 멀티 스펙트럼 가시 대역들의 일부 및 CMYK(시안 마젠타 옐로우 키(블랙)) 색상 공간 및/또는 HLS(색조 명도 채도) 색상 공간 및/또는 임의의 다른 색상 공간 또는 공간들로부터의 몇몇 채널을 조합하는 것을 포함할 수 있다. RGB 색상 공간, CMYK 색상 공간, HSL 색상 공간 및 가능한 다른 색상 공간들로부터 개별적인 대역들 간 다양한 조합으로 본 발명에서의 멀티 스펙트럼의 협대역들을 사용하는 것을 그것의 주변 배경과 탐색된 객체의 개선된 구분을 가능하게 한다.

병 또는 다른 객체의 겉모양의 특수성이 다양한 색상 채널 및 매트리스에서 조사된 후, 이러한 겉모양을 강화시키는 산술적 계산이 선택된다. 대역들의 그러한 조합들은 다양한 이미지 프로세싱 툴, 이를테면 이미지 차, 가감, 가장 밝은/가장 어두운 픽셀들, 이미지 조정 등을 사용하여 실현될 수 있다. 조합은 상이한 매트리스들에서 객체의 겉모양에 따라, 두 개의 채널/매트리스 이상 간에 이루어질 수 있다. 이는 단지 RGB 색상 공간을 사용함으로써보다 훨씬 더 양호한 배경 색상과의 객체 구분을 제공한다. 탐색된 객체의 추가 구분은 일반적으로, 또한 멀티 스펙트럼 빛띠의 특정 650 nm 적색 대역을 통합함으로써 이루어질 수 있다. 이 경우, 확연히 드러난 흰색이 객체의 검출을 나타낸다. 다양한 색상 조합의 교차 검출을 수행하면 검출을 개선할 수 있다. 위에서 설명된 바와 같은 다양한 색상 조합은 특정 유형들의 유해 동물에 맞춰 미리 선택될 수 있음에 따라, 유해 동물 검출의 가능성을 증가시킨다.

본 발명의 이러한 실시예들에 따른,자동 간접 유해 동물 식별의 중요한 다른 예로서, 본 출원에 의해 마름병 현상을 참조하여 제시된다. 마름병은 병원성 유기체에 의한 감염에 반응하여 식물들에 영향을 미치는 증상들을 나타낸다. 그것은 통상적으로 갈색 및 건조한 잎과 연관된다. 본 발명에 따르면, 마름병에 대한 자동 검색이 획득된 고 해상도 멀티 스펙트럼 이미지를 사용하여 수행된다. 획득된 이미지는 먼저 이미지의 다른 객체들로부터 마름병의 겉모양을 강화 및 구분하기 위해, 위에서 설명된 바와 같이 색상 조작된다. RGB 색상 공간, CMYK 색상 공간, HSL 색상 공간 및 가능한 다른 색상 공간들로부터 개별적인 협대역들 간 다양한 조합의 사용은 그것들의 주변 배경과 마름병이 감염된 잎들의 실질적인 구분을 가능하게 한다. 이는 통상적으로 잎의 초록 부분 또는 토양의 갈색이다.

성공적인 색상 조작은 통상적으로 일반적으로 두 개(또는 그 이상의) 확연히 드러나는 지배적인 색상으로, 매우 선명하게 마름병 부분을 보인다. 편의를 위해, 이들은 주요 색상 및 보조 색상으로 칭해진다. 이러한 색상 값들은 수행된 특정 색상 조합에 따른다. 도 10은 이러한 예를 예시한다. 여기서 색상 조작은 RGB 채널들로 이루어지는 가시 이미지 및 이미지의 CMYK 색상과 연관된 마젠차 채널 간 이미지 차를 취하는 것으로 이루어진다. 중심의 잎은 두 색상을 선명하게 보인다 - 갈색 및 보라색. 자동 마름병 검출 알고리즘은 먼저 주요 색상과 연관된 모든 픽셀을 추출하고 이러한 세트 상에 블롭 분할을 적용한다. 그것들의 바로 부근 보조 색상과 연관된 픽셀들을 지니는 블롭들이 마름병과 연관되는 것으로 공표된다.

색상 조작의 이러한 원리는 마름병을 참조하여 위에서 예증되었지만, 그것은 유해 동물 또는 병의 상이한 유형들을 탐색하든 전체적으로 상이한 객체들을 모니터링하든 많은 상이한 적용예에서 이용될 수 있다는 것이 이해될 것이다. 중요한 단계들은 멀티 스펙트럼 이미지들을 캡처하는 단계 및 블롭 분할 이후, 이미지들의 다양한 색상 공간으로의 분할을 수행하는 단계 및 선택된 색상 채널들을 교차하여 보이는 객체들이 이미지의 나머지 중에 두드러지게 하게 하는 단계이다.

본 발명이 농업용 측량들에 관해 위에서 예증되었지만, 예를 들어 어군 또는 지뢰들 또는 지면 상의 다른 표면 변칙들을 찾는, 추가 조사를 위한 로컬 변칙들을 검출하기 위해 바다에서 또는 지면상의 영역을 스캔하는 것이 필요한 많은 다른 상황에 적용가능하다는 것이 이해될 것이다.

본 발명이 제한될 수의 실시예에 대해 설명되었지만, 본 발명의 많은 변경, 변형 및 다른 적용이 이루어질 수 있다는 것이 이해될 것이다. 본 발명이 단지 예로서 앞에서 설명된 것으로 제한되지 ?는다는 것이 더 이해될 것이다. 오히려, 본 발명은 단지 이하의 청구범위에 의해 제한된다.

참고문헌

"퍼콜레이션 및 클러스터 분배".

식생 맵핑에서의 원격 감지 화상: 리뷰

원격 감지 및 스펙트럼 대역들에 관한 미국 농무부에의 기준

농업용 원격 감지를 위한 두 개의 고객 등급 카메라에 기초한 공수 멀티 스펙트럼 이미징 시스템

US DOA에 의해 설명된 바와 같은 UAV 화상은 최대 0.1m(10cm)당 단지 하나의 픽셀을 사용하며, 이는 위에서 설명된 상황보다 x12.5 낮은 해상도인 한편, 앞에서 언급된 상황에서의 50mm 렌즈의 사용은 3미터 고도에서 DOA 연구의 최대 해상도와 비교하여 - 제곱 센티미터당 100 픽셀에 비해 - x50 해상도를 초래할 것이다.

이러한 유형의 해상도의 감지 필드들은 유해 동물 유형의 식별, 진딧물 및 파래 간 훨씬 먼 구별을 가능하게 한다.

"전체 변형 최소화 및 적용에 대한 알고리즘".

Claims (26)

1. 멀티 스펙트럼 화상 획득 및 분석을 위한 방법으로서,
   멀티 스펙트럼 항공 이미지들을 미리 정의된 측량 파라미터들에 따라 미리 선택된 해상도로 캡처하는 단계;
   캡처된 상기 이미지들의 대규모 블롭 분할을 사용하여 실시간 또는 근 실시간으로 예비 분석을 자동으로 수행하는 단계;
   상기 미리 정의된 측량 파라미터들에 따라 분석된 상기 이미지 데이터에서 변칙들을 검출하고 그것에 대응하여 출력을 제공하는 단계;
   GPS 데이터를 검출된 상기 변칙들과 연관짓는 단계; 및
   상기 출력으로부터, 상기 미리 선택된 해상도보다 높은 해상도로의 이미지 획 및 소규모 블록 분할을 사용하는 분석의 제2 스테이지를 수행할지 여부를 결정하는 단계를 포함하는, 방법.
2. 청구항 1에 있어서,
   이미지 획득 디바이스에, 연관된 상기 GPS 데이터를 사용하여 상기 미리 선택된 해상도보다 높은 해상도로 검출된 상기 변칙들 중 적어도 하나의 추가 멀티 스펙트럼 이미지들을 캡처할 것을 지시하는 단계; 및
   상기 추가 멀티 스펙트럼 이미지들의 소규모 블롭 분할을 사용하여 실시간 또는 근 실시간으로 분석을 수행하는 단계를 더 포함하는, 방법.
3. 청구항 1 또는 2에 있어서, 상기 결정하는 단계가 자동으로 수행되는, 방법.
4. 청구항 2에 있어서, 상기 지시하는 단계는 상기 이미지 획득 디바이스에 자동으로 지시하는 것을 포함하는, 방법.
5. 청구항 1 또는 2에 있어서, 상기 결정하는 단계는:
   상기 이미지의 바이너리 맵을 구성하는 단계로서, 파라미터 값들의 미리 정의된 범위와 연관된 픽셀들은 1로 셋팅되고 상기 픽셀들의 나머지는 0으로 셋팅되는, 상기 바이너리 맵을 구성하는 단계;
   상기 바이너리 맵을 래스터 스캐닝함으로써 상기 바이너리 맵과 연관된 모든 가능한 블롭의 세트를 구성하여, 상기 스캐닝 프로세스를 따라 블롭들을 찾고 그것들에 실행 인덱스를 할당하는 단계;
   다음의 경우 블롭들의 그룹을 변칙으로서 정의하는 단계로서:
   a. 소정의 단일 블롭에 속하는 픽셀들의 수가 미리 정의된 임계 파라미터를 초과할 때; 또는
   b. 모두 (블롭들의 세트의 중력 중심으로부터) 소정의 반경에 국한되는 상기 블롭들의 세트에 속하는 픽셀들의 수가 미리 정의된 임계치를 초과할 때, 상기 블롭들의 그룹을 변칙으로서 정의하는 단계를 포함하는, 방법.
6. 청구항 2에 있어서, 검출된 상기 변칙들 중 적어도 하나의 모폴러지를 알려진 객체들의 모폴러지와 비교하는 단계를 더 포함하는, 방법.
7. 청구항 1 내지 6 중 어느 한 항에 있어서, 상기 멀티 스펙트럼 이미지들은 가시 및 NI 이미지들을 포함하는 그룹으로부터 선택된 적어도 두 개의 이미지를 포함하는, 방법.
8. 멀티 스펙트럼 화상 획득 및 분석을 위한 시스템으로서,
   적어도 하나의 멀티 스펙트럼 이미지 캡처 디바이스;
   상기 이미지 캡처 디바이스에 연결되는 프로세서로서;
   상기 프로세서는 블롭 분할 모듈을 포함하는 이미지 프로세싱 모듈을 실행하여 미리 정의된 측량 파라미터들에 따라 블롭 분할에 의해 캡처된 이미지들을 자동으로 분석하고 상기 미리 정의된 측량 파라미터들 내에 속하는 각 이미지 상의 변칙들에 대응하는 출력을 제공하되;
   상기 블롭 분할 모듈은 대규모 블롭 분할 및 소규모 블롭 분할 양자를 구현할 수 있는, 상기 프로세서 및
   상기 변칙들의 지리적 위치의 표시를 제공하도록 적응 및 구성된 지리적 위치 표시자로서;
   상기 프로세서가 상기 적어도 하나의 멀티 스펙트럼 이미지 캡처 디바이스 중 하나에 보내 표시된 상기 지리적 위치에 상기 출력에 응답하여 상기 변칙들의 이미지들을 캡처할지 여부를 자동으로 결정하도록 구성되는, 상기 지리적 위치 표시자를 포함하는, 시스템.
9. 청구항 7에 있어서, 상기 프로세서는 데이터 및 명령들을 교환하기 위해 사용자와 2 방향으로 통신하는, 시스템.
10. 멀티 스펙트럼 이미지들에서 객체들을 식별하기 위한 방법으로서,
    고 해상도 멀티 스펙트럼 이미지들을 미리 정의된 객체 파라미터들에 따라 분석하는 단계;
    상기 미리 정의된 객체 파라미터들 내 파라미터들이 찾아질 때, 그러한 파라미터들을 포함하는 상기 이미지들에 관해 블록 분할을 수행하여 블롭들을 식별하는 단계;
    상기 블롭들에 제한된 객체들을 미리 정의된 기준 파라미터들과 비교하여 상기 객체 파라미터들을 갖는 객체들을 식별하는 단계를 포함하는, 방법.
11. 청구항 10에 있어서,
    상기 비교하는 단계 전에 상기 객체들을 분류하는 단계를 더 포함하는, 방법.
12. 청구항 10 또는 11에 있어서,
    획득된 상기 이미지들을 상기 측량 유형에 따라 제한된 크기의 서브 이미지들의 세트로 분할하는 단계,
    이미지 크기를 상기 블롭들의 크기와 매칭하는 단계; 및
    다음 중 어느 하나에 의해 상기 서브 이미지들의 세트 내에서 상기 객체들을 식별하는 단계로서:
    식별을 위해 원격 서버에 이러한 상기 서브 이미지들의 세트를 전송하는 단계; 또는
    로컬 식별 코드를 활성화함으로써 즉석에서 상기 객체를 식별하는 단계 중 어느 하나에 의해, 상기 서브 이미지들의 세트 내에서 상기 객체들을 식별하는 단계를 더 포함하는, 방법.
13. 청구항 10 또는 11에 있어서, 상기 이미지에서 선택된 단순 모폴러지 구조(SMS, Simple Morphology Structure) 객체를 검출하기 위해 상기 블롭들과 기준 패턴들 간 내부 패턴 매칭 프로그램을 활성화하는 단계를 더 포함하는, 방법.
14. 청구항 10 또는 11에 있어서, 상기 이미지를 회색도 블롭 기반으로 분할되는 회색도 이미지로 변환하는 단계로서;
    상기 회색도 값들의 각각의 바이너리 맵은 Hoshen-Kopelman 클러스터 라벨링 알고리즘의 대상이 되고 모든 회색도 값들로 이루어지는 모든 가능한 블롭이 생성 및 저장되고;
    계산된 블롭들의 이러한 세트로부터, 미리 정의된 픽셀들의 임계 수보다 작은 크기를 갖는 근소 블롭들을 추출하는 단계;
    상기 이미지를 몇몇, 동등한 크기의 서브 이미지로 분할하는 단계;
    각 서브 이미지에서 작은 블롭들의 수를 카운트하는 단계;
    및 상기 서브 이미지들의 소정의 백분율에서의 작은 블롭들의 수가 미리 정의된 캘리브레이트된 임계 값을 초과할 때 단순 모폴러지 구조 유해 동물의 존재의 검출을 공표하는 단계를 더 포함하는, 방법.
15. 청구항 10 또는 11에 있어서, 상기 이미지를 회색도 블롭 분할되는 회색도 이미지로 변환하는 단계;
    분할된 상기 블롭들의 세트로부터, 미리 정의된 매우 작은 크기를 갖고 그것들의 중력 중심들에 정합하는 블롭들을 선택하는 단계;
    각 정합된 중력 중심 주위 서브 이미지들을 추출하는 단계; 및
    기계 시각 방법을 사용하여, 추출된 상기 서브 이미지들을 단순 모폴러지 구조 유해 동물의 기준 이미지들과 비교하는 단계; 및
    상관관계가 미리 설정된 임계 값을 초과하고/거나, 성공적인 분류가 플래깅될 때 단순 모폴러지 구조 유해 동물의 검출을 공표하는 단계를 더 포함하는, 방법.
16. 청구항 10 또는 11에 있어서,
    상기 멀티 스펙트럼 이미지들에 관해 블롭 분할을 수행하는 단계;
    상기 단순 모폴러지 구조 유해 동물을 통상적으로 특징짓는 미리 선택된 기준 색상에 가까운 거리 내에 있는 색상을 갖는 작은 블롭들을 선택하는 단계를 더 포함하며, 여기서 두 소정의 RGB 색상 간 상기 거리는:
    XI = { R1,G1,B1 } 그리고 X2 = {R2,G2,B2}이면
    Distance[X1,X2] = Max{Abs[R1-R2] , Abs[G1-G2] , Abs[B1-B2] }와 같이 정의되는, 방법.
17. 청구항 10 또는 11에 있어서,
    행 방향 및 열 방향 인터레이싱 연산자를 형성함으로써, 가시 이미지의 획득된 회색도 이미지 X를 몇몇 매우 유사한 중첩하지 않는 이미지로 분할한 결과, 합이 원래 이미지에 걸쳐 정확하게 이어지는 네 개의 서브 이미지(X1, X2, X3 및 X4)가 되는 단계;
    이미지 A를 X의 가속 이미지: A = (X1 + X4 - 2*X3)으로서 정의하여 이미지 A의 대비를 증진시킬 단계;
    A로부터 최고 휘도 값을 갖는 픽셀들의 미리 선택된 수의 세트를 추출하여 픽셀들의 세트를 내는 단계;
    계산된 높은 값의 상기 픽셀들의 세트 주위 작은 서브 이미지들을 추출하는 단계; 및
    그것들의 콘텐츠를 이미지 내에 있는 기준 단순 모폴러지 구조 유해 동물의 이미지들과 비교하는 단계; 및
    밀접한 상관관계가 있을 때 단순 모폴러지 구조 유해 동물의 존재를 플래깅하는 단계를 더 포함하는, 방법.
18. 청구항 10 또는 11에 있어서,
    가시 또는 NIR 이미지를 그레이 스케일 이미지로 변환하는 단계;
    상기 이미지들의 상기 회색도가 에지 검출 연산되게 하는 단계;
    그 결과로 초래된 에지 검출된 이미지로부터, 세기 값들이 소정의 임계 값을 초과하는 픽셀들의 세트가 선택되는 단계;
    이러한 픽셀들 주위 작은 서브 이미지들을 추출하는 단계;
    상관관계 방법을 사용하여 상기 서브 이미지들의 콘텐츠를 알려진 기준 이미지들과 비교하는 단계; 및
    상기 상관관계가 미리 설계된 임계 값을 초과하는 경우 유해 동물 검출을 플래깅하는 단계를 더 포함하는, 방법.
19. 청구항 10 또는 11에 있어서,
    가시 또는 NI 이미지의 회색도 이미지에 관해 바이너리 임계 연산을 수행하는 단계;
    결과로 초래된 이미지로부터, 세기 값들이 미리 정의된 임계 값을 초과하는 픽셀들의 세트를 선택하는 단계;
    이러한 픽셀들 주위 작은 서브 이미지들을 추출하는 단계;
    상관관계 방법을 사용하여 추출된 상기 작은 서브 이미지들의 콘텐츠를 알려진 기준 이미지들과 비교하는 단계; 및
    상관관계 측정치가 미리 설계된 임계 값을 초과할 때 단순 모폴러지 구조 유해 동물 검출을 플래깅하는 단계를 더 포함하는, 방법.
20. 청구항 10 또는 11에 있어서,
    획득된 이미지에 관해 회색도 변환 및 히스토그램 균등화를 수행하는 단계;
    상기 회색도 이미지에 관해 블롭 분할을 수행하는 단계;
    중간 수에서 높은 수의 픽셀을 갖는 블롭들을 선택하고 미리 선택된 크기보다 작은 반경을 갖는 이러한 블롭들의 중력 중심들 주위 서브 이미지들을 추출하는 단계;
    선택된 상기 서브 이미지들의 각각에 관해 추가 블롭 분할을 수행하는 단계;
    산출된 상기 블롭들을 그것들의 픽셀들의 크기에 대하여 배열하는 단계;
    선택된 수의 큰 블롭을 추출하고 그것들의 관련 픽셀들을 포함하는 바이너리 이미지를 생성하는 단계;
    추출된 상기 서브 이미지에서 복합 모폴러지 구조 유해 동물이 "캡처"되는 경우, 두 개의 모폴러지 바이너리 연산자: 바이너리 확장 연산자 및 바이너리 약화 연산자가 상기 큰 블롭들을 포함하는 상기 바이너리 맵 상에 적용되는 단계;
    확장된 이미지와 약화된 이미지 간 차를 계산한 결과, 유해 동물 모폴러지의 경계들을 대략적으로 캡처하는 이미지가 되는 단계; 및
    계산된 상기 경계들을 CMS 유해 동물 경계들의 저장된 기준 이미지들과 비교하는 단계를 더 포함하는, 방법.
21. 청구항 10 또는 11에 있어서,
    가시 이미지 또는 NI 이미지를 회색도 이미지로 변환하는 단계;
    상기 회색도 이미지에 관해 블롭 분할을 수행하는 단계;
    선택된 픽셀들의 크기를 갖는 블롭들을 추출하는 단계;
    그러한 각 블롭 주변 이미지를 추출하는 단계; 및
    그러한 각 이미지를 원격 서버에 기계 시각 방법을 사용하여 CMS 유해 동물의 카테고리로 분류하는 단계를 더 포함하는, 방법.
22. 청구항 10 또는 11에 있어서,
    상대적으로 큰 수의 픽셀을 갖는 블롭들의 이미지들을 추출하는 단계;
    추출된 상기 이미지들에 있는 예상 객체들의 경계들을 계산하는 단계;
    그러한 각 이미지 상에 이미지 코너 필터를 적용하는 단계,
    계산된 코너 좌표들의 수를 카운트하는 단계; 및
    계산된 상기 코너 좌표들의 수가 소정의 임계치를 초과하는 경우, 간접적 식별에 의해 감귤류 잎벌레나방(Citrus Leafminer)의 검출이 공표되는 단계를 더 포함하는, 방법.
23. 청구항 10 또는 11에 있어서,
    마름병(blight)과 연관된 식물에서의 색상들을 강화시키기 위해 상기 식물의 멀티 스펙트럼 이미지들 상에 색상 조작을 수행하는 단계;
    미리 정의된 허용 오차를 사용하여, 지배적인 주요 색상과 연관된 상기 이미지에서의 모든 픽셀의 세트로 블록 분할들을 수행하는 단계;;
    검출된 상기 주요 색상 블롭들에 대한 상기 블롭의 바로 부근에서의 지배적인 보조 색상과 연관된 픽셀들과의 매치를 찾는 단계;
    그러한 매치가 찾아질 때 잎마름을 공표하는 단계를 더 포함하는, 방법.
24. 청구항 10 또는 11에 있어서,
    상기 이미지에서 객체의 겉모양을 강화시키고 다른 객체들과 구분하기 위해 고 해상도 멀티 스펙트럼 이미지 상에 색상 조작을 수행하는 단계;
    조작된 상기 이미지에 관해 블롭 분할을 수행하는 단계;
    상기 이미지들을 적어도 두 개의 색상 공간에 따른 색상 채널들로 나누는 단계; 및
    상기 객체의 겉모양을 강화시키기 위해 상기 적어도 두 개의 색상 공간으로부터 선택된 색상 채널들을 조합하는 단계를 더 포함하는, 방법.
25. 청구항 24에 있어서, 배경 색상과의 객체 분리를 개선하기 위해 다양한 색상 조합의 교차 검출을 수행하는 단계를 더 포함하는, 방법.
26. 청구항 24 또는 25에 있어서, 상기 조합하는 단계는 상기 멀티 스펙트럼 빛띠의 650 nm 적색 대역을 통합하는 단계를 더 포함하는, 방법.

Images