KR102470873B1 - 영상처리를 이용한 작물 생육량 측정 장치 및 그 방법 - Google Patents
영상처리를 이용한 작물 생육량 측정 장치 및 그 방법 Download PDFInfo
- Publication number
- KR102470873B1 KR102470873B1 KR1020200075169A KR20200075169A KR102470873B1 KR 102470873 B1 KR102470873 B1 KR 102470873B1 KR 1020200075169 A KR1020200075169 A KR 1020200075169A KR 20200075169 A KR20200075169 A KR 20200075169A KR 102470873 B1 KR102470873 B1 KR 102470873B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- growth rate
- noise
- stickers
- growing point
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2509—Color coding
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
- A01G7/00—Botany in general
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2518—Projection by scanning of the object
- G01B11/2522—Projection by scanning of the object the position of the object changing and being recorded
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Abstract
본 발명은 영상처리를 통해 작물의 생육량을 측정할 수 있는 생육량 측정 장치에 관한 것이다. 본 출원의 일 실시예에 따른 생육량 측정 장치는 영상을 통해 참조 구, 제1 및 제2 생장점 스티커를 인식하는 인식부, 상기 영상에 기반하여 상기 참조 구, 상기 제1 및 제2 생장점 스티커의 색을 색상 모델로 계산하는 계산부 및 상기 참조 구, 상기 제1 및 제2 생장점 스티커 중 적어도 하나의 윤곽선을 추출하고, 상기 제1 및 제2 생장점 스티커의 윤곽선 정보에 기반하여 작물의 생육량을 추출하는 추출부를 포함한다.
Description
본 발명은 영상처리를 통해 작물의 생육량을 측정할 수 있는 생육량 측정 장치에 관한 것이다.
최근 인터넷, 근거리 무선통신 기술, 이미지 프로세싱 및 다양한 센싱 ICT(Information & Communication Technology)복합 기술은 농작물 재배 및 생장 모니터링 시스템에 적용되어 발전하고 있다. 아울러, 농작물의 생장 환경을 관리할 수 있는 온실 모니터링과 관리 시스템 또한 함께 발전하는 추세이다.
농작물의 높이를 측정하는 경우 일부 농작물의 높이가 2m를 넘으면 화각에 잡히지 않기 때문에 일정 재배기간이 지나면 높이를 파악할 수 없는 문제가 있다. 아울러 촬영 후 이미지 인식에 있어서, 군락 별로 밀집해 있는 작물을 촬영하면, 작물이 겹쳐 있는 경우, 작물 기관을 정확히 인식하기 어렵다. 또한, 현재 측정된 작물 데이터를 수집하여, 작물의 생육 변화량을 예측하거나 작물 상태를 진단할 수 있는 시스템이 부재한 상황이다.
본 출원은 촬영된 영상에 기반하여 작물의 생육량 측정의 정확도 및 편의성을 높일 수 있는 영상 기반의 생육량 측정장치를 개발하는데 목적이 있다.
본 출원의 일 실시예에 따른 생육량 측정 장치는 영상을 통해 참조 구, 제1 및 제2 생장점 스티커를 인식하는 인식부, 상기 영상에 기반하여 상기 참조 구, 상기 제1 및 제2 생장점 스티커의 색을 색상 모델로 계산하는 계산부 및 상기 참조 구, 상기 제1 및 제2 생장점 스티커 중 적어도 하나의 윤곽선을 추출하고, 상기 제1 및 제2 생장점 스티커의 윤곽선 정보에 기반하여 작물의 생육량을 추출하는 추출부를 포함한다.
본 출원의 일 실시예에 있어서, 상기 참조 구는 상기 작물의 위치를 파악하기 위해 상기 작물의 일정거리 이내에 위치하여 있고, 상기 제1 생장점 스티커는 상기 작물의 이전 생장점에 위치하여 있으며, 상기 제2 생장점 스티커는 상기 작물의 현재 생장점에 위치하여 있다.
본 출원의 일 실시예에 있어서, 상기 색상 모델에 기반하여 추출된 상기 참조 구, 제1 및 제2 생장점 스티커 중 적어도 하나의 잡음을 제거하는 잡음 제거부를 더 포함하고, 상기 잡음 제거부는 상기 영상을 흑백 영상으로 변환시킨다.
본 출원의 일 실시예에 있어서, 상기 잡음 제거부는 가우시안 블러 및 중간값 블러 중 적어도 하나를 상기 흑백 영상에 적용하여 블러 처리한다.
본 출원의 일 실시예에 있어서, 상기 잡음 제거부는 블러 처리된 상기 흑백 영상을 이진화하여 상기 제1 및 제2 생육량 스티커의 잡음을 제거한다.
본 출원의 일 실시예에 있어서, 상기 잡음 제거부는 침식과 팽창 연산을 통해 상기 제1 및 제2 생육량 스티커의 잡음을 제거하는 것을 더 포함한다.
본 출원의 일 실시예에 있어서, 상기 잡음 제거부는 블러 처리된 상기 흑백 영상을 허프 변환하여 상기 참조 구의 잡음 제거한다.
본 출원의 일 실시예에 있어서, 상기 제1 생육량 스티커와 상기 제2 생육량 스티커의 위치 차이가 작물의 생육량이다.
본 출원의 일 실시예에 있어서, 상기 생육량은 상기 작물의 자란 정도이고, 상기 생육량은 상기 작물의 성숙도, 병해, 및 과실의 형태를 더 포함한다.
본 출원의 일 실시예에 따른 생육량 측정 장치의 동작방법은 인식부가 영상을 통해 참조 구, 제1 및 제2 생장점 스티커를 인식하는 단계, 계산부가 상기 영상에 기반하여 상기 참조 구, 상기 제1 및 제2 생장점 스티커의 색을 색상 모델로 계산하는 단계, 잡음 제거부가 상기 색상 모델에 기반하여 추출된 상기 참조 구, 상기 제1 및 제2 생장점 스티커 중 적어도 하나의 잡음을 제거하는 단계 및 추출부가 상기 참조 구, 상기 제1 및 제2 생장점 스티커 중 적어도 하나의 윤곽선을 추출하고, 상기 제1 및 제2 생장점 스티커의 윤곽선 정보에 기반하여 작물의 생육량을 추출하는 단계를 포함한다.
본 출원의 일 실시예에 있어서, 상기 잡음 제거부가 상기 제1 및 제2 생육량 스티커의 잡음을 제거하는 단계는 상기 잡음 제거부는 상기 영상을 흑백 영상으로 변환하는 단계, 상기 흑백 영상에 가우시안 블러 및 중간값 블러 중 적어도 하나를 적용하는 단계 및 블러 처리된 상기 흑백 영상을 이진화하는 단계를 포함한다.
본 출원의 일 실시예에 있어서, 상기 잡음 제거부가 상기 참조 구의 잡음을 제거하는 단계는 상기 잡음 제거부가 상기 영상을 흑백 영상으로 변환하는 단계, 상기 흑백 영상에 상기 가우시안 블러 및 상기 중간값 블러 중 적어도 하나를 적용하는 단계 및 블러 처리된 상기 흑백 영상을 허프 변환하는 단계를 포함한다.
본 출원의 일 실시예에 있어서, 생육량 측정 시스템은 생육량 측정 장치, 상기 생육량 측정 장치에 영상을 제공하기 위해 영상을 촬영하는 영상 촬영 장치를 포함하며, 상기 생육량 측정 장치는 영상을 통해 참조 구, 제1 및 제2 생장점 스티커를 인식하는 인식부, 상기 영상에 기반하여 상기 참조 구, 제1 및 제2 생장점 스티커의 색을 색상 모델로 계산하는 계산부 및 상기 참조 구, 상기 제1 및 제2 생장점 스티커 중 적어도 하나의 윤곽선을 추출하고, 상기 제1 및 제2 생장점 스티커의 윤곽선 정보에 기반하여 작물의 생육량을 추출하는 추출부를 포함한다.
본 출원의 일 실시예에 따른 영상 기반의 생육량 측정 장치는 작물의 생육량 측정의 정확도 및 편의성을 높일 수 있다.
도 1은 본 출원의 일 실시예에 따른 생육량 측정 장치의 블록도이다.
도 2a 내지 2i는 본 출원의 일 실시예에 따른 윤곽선을 추출하기 위한 복수 개의 잡음 제거 방법을 보여주는 사진들이다.
도 3은 본 출원의 일 실시예에 따른 생육량 측정 장치의 동작방법을 도시한 순서도이다.
도 4는 본 출원의 일 실시예에 따른 생육량 측정 시스템의 도면이다.
도 5는 본 출원의 일 실시예에 따른 생육량 측정 시스템을 스마트팜에 적용한 예를 나타낸 도면이다.
도 2a 내지 2i는 본 출원의 일 실시예에 따른 윤곽선을 추출하기 위한 복수 개의 잡음 제거 방법을 보여주는 사진들이다.
도 3은 본 출원의 일 실시예에 따른 생육량 측정 장치의 동작방법을 도시한 순서도이다.
도 4는 본 출원의 일 실시예에 따른 생육량 측정 시스템의 도면이다.
도 5는 본 출원의 일 실시예에 따른 생육량 측정 시스템을 스마트팜에 적용한 예를 나타낸 도면이다.
이하, 첨부된 도면을 참조하여 본 개시를 설명한다. 본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.
본 개시에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 개시에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 출원의 일 실시예에 따른 생육량 측정 장치(100)의 블록도이다.
도 1을 참조하면, 본 출원의 생육량 측정 장치(100)는 인식부(120), 계산부(140), 잡음 제거부(160) 및 추출부(180)를 포함할 수 있다.
인식부(120)는 영상을 통해 참조 구 및 제1 및 제2 생장점 스티커를 인식한다. 본 출원의 일 실시예에 있어서, 인식부(120)는 영상 촬영 장치를 통해 온실 또는 비닐 하우스와 같은 작물의 재배지를 촬영을 하고, 영상 내의 참조 구 및 제1 및 제2 스티커를 인식한다. 작물은 토마토, 가지, 고추 등과 같이 땅을 기준으로 수평방향으로 자라는 식물일 수 있다.
본 출원의 일 실시예에 있어서, 참조 구는 작물의 위치를 파악하기 위해 작물의 일정거리 이내에 위치하여 있고, 제1 생장점 스티커는 작물의 이전 생장점에 위치하여 있으며, 제2 생장점 스티커는 작물의 현재 생장점에 위치하여 있다.
본 출원의 일 실시예에 있어서, 생장점 스티커는 사각형 모양일 수 있다. 생장점 스티커는 작물의 생장점에 위치되어 있으며, 이전의 생장점에 위치한 제1 생장점 스티커, 현재의 생장점에 위치한 제2 생장점 스티커로 위치하여 있을 수 있다. 다만, 생장점 스티커의 형태, 개수는 이에 한정되지 않으며, 필요에 따라 변형되어 사용될 수 있다.
계산부(140)는 영상에 기반하여 참조 구, 제1 및 제2 생장점 스티커의 색을 색상 모델로 계산한다. 참조 구, 제1 및 제2 생장점 스티커를 찾아내기 위해 직관적으로 표현이 가능한 HSV 색상모델을 사용할 수 있다. HSV 색상모델은 일반 카메라로 취득된 RGB 영상을 수식을 이용하여 HSV 값으로 계산할 수 있다.
R, G, B는 0~1의 범위를 가지며, 기존의 RGB의 범위가 0~255 일 때는, 255로 나누어준다. H는 0~360의 범위를, V와 S는 0~1의 범위를 가진다. H가 0보다 작으면 360을 더하여 최종 H를 구한다. 그러나, 환경에 따라서 단일색만 나타나는 것이 아닐 수 있으므로, HSV 색상을 위의 수식을 기반으로 계산하여 비슷한 영역대로 추출한다.
잡음 제거부(160)는 매끄럽지 않게 추출된 영상을 매끄럽게 제공할 수 있도록 영상의 잡음을 제거한다. 추출된 영상이 매끄럽다면 잡음 제거부(160)는 생략이 가능하다. 잡음 제거부(160)는 색상 모델에 기반하여 추출된 참조 구, 제1 및 제2 생장점 스티커 중 적어도 하나의 잡음을 제거한다.
잡음을 제거하기 위해서 잡음 제거부(160)는 인식부(120)에서 촬영된 영상을 흑백 영상으로 변환시킨다. 제1 및 제2 생장점 스티커에 대한 잡음을 제거하기 위해서는 흑백 영상에 가우시안 블러 및 중간값 블러 중 적어도 하나를 적용하여 흑백 영상에 블러 처리를 한다. 블러 처리된 흑백 영상을 이진화하여 제1 및 제2 생육량 스티커의 잡음을 제거한다. 잡음이 제거된 후 영상에 침식과 팽창 연산을 진행한다. 침식과 팽창 연산은 영상 상의 노이즈를 제거하기 위해 작아졌던 영상 내의 물체의 크기를 복원시키기 위한 과정일 수 있다.
참조 구에 대한 잡음을 제거하기 위해서는 흑백 영상을 허프 변환하여 잡음을 제거한다. 허프 변환은 이미지에서 모양을 찾는 방법으로, 이미지의 형태를 찾을수 있으며, 누락되거나 깨진 영역을 복원할 수 있다. 허프 변환은 수학적 이론을 바탕으로 하여 함수로 구현된다. 허프변환은 직선의 방정식을 이용한다. 하나의 점을 지나는 무수한 직선의 방적식은 y=mx+c로 표현할 수 있으며, 이것을 삼각함수를 이용하여 변형하면 
로 표현할 수 있다.
예를 들어, 3개의 점이 있고, 그 중 제1 직선을 찾아야 한다면, 각 점(x,y)에 대해서 삼각함수를 이용하여 
값을 1 ~ 180까지 변화를 하면서 원점에서 (x,y)까지의 거리(r)을 구한다. 그러면 (
, r)로 구성된 180개의 2차원 배열을 구할 수 있습니다. 동일한 방법으로 두번째 점에 대해서도 
값을 변화해 가면서 2차원 배열을 구한다. 이렇게 해서 구해서 2차원 배열을 다시 그래프로 표현하면 사인파 그래프로 표현이 된다. 3개의 점에 대한 3개의 방정식의 만나는 점이 바로 직선인 확률이 높은 점이다.
추출부(180)는 잡음이 제거된 참조 구, 제1 및 제2 생장점 스티커 중 적어도 하나의 윤곽선을 추출하고, 윤곽선에 기초하여 작물의 생육량을 추출한다.
추출된 두 개의 생장점 스티커의 중심 사이의 거리를 픽셀로 구한다. 참조 구 지름의 픽셀 값을 구해서 10mm당 참조 구의 픽셀의 개수를 구한다. 참조 구 지름의 픽셀 값을 이용해 중심 간의 거리를 mm 단위로 계산하여 작물 간 사이의 거리를 구한다.
생육량은 작물의 자란 정도이고, 제1 생육량 스티커와 제2 생육량 스티커의 위치 차이일 수 있다. 본 출원의 일 실시예에 따른 생육량은 작물의 성숙도, 병해, 및 과실의 형태를 더 포함할 수 있다.
본 출원의 일 실시예에 있어서, 참조 구를 이용하여 작물이 겹쳐 있는 경우에도 작물의 위치를 파악할 수 있다. 예를 들어, 각각의 작물과 일정거리 이격되어 위치하고 있는 각각의 참조 구의 색상 또는 형상을 다르게 함으로써 각각의 작물의 위치를 파악할 수 있다.
본 출원의 일 실시예에 있어서, 제1 및 제2 생장점 스티커를 통해 일부 작물의 높이가 높더라도 작물의 생육량을 확인할 수 있다.
상술한 바와 같이, 참조 구, 제1 및 제2 생장점 스티커를 포함하는 생육량 측정 장치(100)를 통해 작물의 생육량 측정의 정확도 및 편의성을 높일 수 있다.
한편, 상술한 설명은 예시적인 것이며, 본 출원의 기술적 사상은 이에 한정되지 않음이 이해될 것이다. 예를 들어, 도 1의 생육량 측정 장치(100)는 잡음 제거부(160)를 포함하는 것으로 설명되었다. 다만, 이는 예시적인 것이며, 본 출원의 다른 실시 예에 있어서, 생육량 측정 장치(100)는 잡음 제거부(160)를 포함하지 않을 수 있다.
도 2a 내지 2i는 본 출원의 일 실시예에 따른 윤곽선을 추출하기 위한 복수 개의 잡음 제거 방법을 보여주는 영상이다.
도 2a 내지 2i를 참조하면, 도 2a는 원본 영상으로 작물의 위치를 파악하기 위한 빨간색 직사각형의 스티커가 부착되어 있다.
도 2b는 원본 영상에서 흑백 영상으로 변환 후, 가우시안 블러를 적용했을 때의 영상이다. 가우시안 블러는 가우시안 함수를 이용하여 이미지를 흐리게 만든 것이다. 가우시안 블러는 이미지 노이즈를 줄이고 디테일을 줄이기 위해 그래픽 소프트웨어에서 사용된다.
도 2c는 원본 영상에서 흑백 영상으로 변환 후, 중간값 블러를 적용했을 때의 영상이다. 중간값 블러는 픽셀 주변 사각형 영역에서 중간값을 선택하여 해당 픽셀의 값으로 교체하는 방식이다. 적은 개수의 픽셀에서 크게 튀는 값을 갖는 픽셀은 평균값 계산에 큰 영향을 줄 수 있기 때문에 평균값을 사용하는 단순 블러는 홀로 독립되어 나타나는 잡음에 민감하게 반응할 수 있다. 따라서 중간값을 선택하여 블러 처리하는 중간값 블러는 단순 블러의 문제점을 해결할 수 있다.
도 2d는 원본 영상에서 흑백 영상으로 변환 후, 영상 이진화를 적용했을 때의 영상이다. 영상 이진화는 모든 픽셀을 오로지 흑과 백으로만 표현된다.
도 2e는 원본 영상에서 흑백 영상으로 변환 후, 가우시안 블러와 영상 이진화를 적용했을 때의 영상이다. 가우시안 블러를 통해 이미지를 흐릿하게 한 후, 영상 이진화를 통해 모든 픽셀을 흑과 백으로만 표현함으로써, 영상의 잡음을 보다 효과적으로 제거할 수 있다.
도 2f는 원본 영상에서 흑백 영상으로 변환 후, 중간값 블러와 영상 이진화를 적용했을 때의 영상이다. 중간값 블러를 통해 영상을 균일화 시키고, 영상 이진화를 통해 흑과 백으로 표현함으로써, 영상의 잡음을 보다 효과적으로 제거할 수 있다.
도 2g는 원본 영상에서 흑백 영상으로 변환 후, 중간값 블러와 OTSU 이진화를 적용했을 때의 영상이다. OTSU 이진화는 영상의 히스토그램 형태가 쌍봉형(bimodal)이라고 가정하였을 때 계곡점(valley)을 찾아서 그 점을 임계값(T)으로 하는 것이다. 즉, 어떤 집합을 두 부류(클래스)로 나눌 때 상대적으로 몰려있는 부분들은 같은 부류(클래스)로 분류되는 것이다. OTSU 이진화는 쌍봉(2개의 히스토그램)에서 중간 값을 잡아주므로, 임계값을 비교적 정확하게 잡을 수 있다. OTSU 이진화와 중간값 블러를 통해 영상의 잡을을 효과적으로 제거할 수 있다.
도 2h는 원본 영상에서 흑백 영상으로 변환 후, 침식과 팽창 연산을 적용했을 때의 영상이다. 침식과 팽창 연산은 영상 상의 노이즈를 제거하기 위해 작아졌던 영상 내의 물체의 크기를 복원시키기 위한 과정일 수 있다.
도 2i는 위의 여러가지 방법들을 이용하여 원본 영상에 있는 빨간색 직사각형의 스티커의 윤곽선을 추출한 영상이다. 윤곽선 추출을 위해 위의 방법들 중 하나의 방법을 이용할 수 있고, 여러가지 방법을 동시에 적용할 수 도 있다.
상기한 구성을 갖는 생육량 측정 장치는 다음과 같은 방법으로 동작될 수 있다.
도 3은 본 출원의 일 실시예에 따른 생육량 측정 장치의 동작방법을 도시한 순서도이다.
도 3을 참조하면, 생육량 측정 장치의 동작방법은 인식부가 참조 구, 제1 및 제2 생육량 스티커 인식하는 단계(S11), 계산부가 인식된 색을 색상 모델로 계산하는 단계(S13), 잡음 제거부가 참조 구, 제1 및 제2 생장점 스티커의 잡음을 제거하는 단계(S15), 추출부가 참조 구 및 제2 생장점 스티커의 윤곽선을 추출하는 단계(S17), 및 추출부가 추출된 윤곽선에 기반하여 작물의 생육량을 추출하는 단계(S19)를 포함한다.
인식부가 참조 구, 제1 및 제2 생육량 스티커 인식하는 단계(S11)는 영상 촬영 장치를 통해 온실 또는 비닐 하우스와 같은 작물의 재배지를 촬영을 하고, 영상 내의 참조 구 및 제1 및 제2 스티커를 인식한다.
계산부가 인식된 색을 색상 모델로 계산하는 단계(S13)는 영상에 기반하여 참조 구, 제1 및 제2 생장점 스티커의 색을 색상 모델로 계산한다. 색상 모델로는 참조 구, 제1 및 제2 생장점 스티커를 찾아내기 위해 직관적으로 표현이 가능한 HSV 색상모델을 사용할 수 있다. HSV 색상모델은 일반 카메라로 취득된 RGB 영상을 수식을 이용하여 HSV 값으로 계산할 수 있다.
잡음 제거부가 참조 구, 제1 및 제2 생장점 스티커의 잡음을 제거하는 단계(S15)는 다양한 방법을 통해 매끄럽지 않게 추출된 영상을 매끄럽게 제공할 수 있도록 영상의 잡음을 제거한다. 추출된 영상이 매끄럽다면 S15 단계는 생략이 가능하다.
본 출원의 일 실시예에 있어서, 잡음 제거부가 제1 및 제 생육량 스티커의 잡음을 제거하는 방법은 다음과 같다. 잡음 제거부가 촬영된 영상을 흑백 영상으로 변환한다. 변환된 흑백 영상에 가우시안 블러 및 중간값 블러 중 적어도 하나를 적용하여 블러 처리한다. 블러 처리된 흑백 영상을 이진화아여 잡음을 제거한다.
본 출원의 일 실시예에 있어서, 잡음 제거부가 참조 구의 잡음을 제거하는 방법은 다음과 같다. 잡음 제거부가 영상을 흑백 영상으로 변환한다. 변환된 흑백 영상에 가우시안 블러 및 중간값 블러 중 적어도 하나를 적용하여 블러 처리한다. 블러 처리된 흑백 영상을 허프 변환하여 잡음을 제거한다.
추출부가 참조 구 및 제2 생장점 스티커의 윤곽선을 추출하는 단계(S17)는 잡음이 제거된 참조 구, 제1 및 제2 생장점 스티커 중 적어도 하나의 윤곽선을 추출한다.
추출부가 추출된 윤곽선에 기반하여 작물의 생육량을 추출하는 단계(S19)는 추출된 윤곽선에 기초하여 작물의 생육량을 추출한다. 생육량은 작물의 자란 정도이고, 제1 생육량 스티커와 제2 생육량 스티커의 위치 차이일 수 있다. 본 출원의 일 실시예에 따른 생육량은 작물의 성숙도, 병해, 및 과실의 형태를 더 포함할 수 있다.
본 출원의 일 실시예에 있어서, 참조 구를 이용하여 작물이 겹쳐 있는 경우에도 작물의 위치를 파악할 수 있다. 예를 들어, 각각의 작물과 일정거리 이격되어 위치하고 있는 각각의 참조 구의 색상 또는 형상을 다르게 함으로써 각각의 작물의 위치를 파악할 수 있다.
본 출원의 일 실시예에 있어서, 제1 및 제2 생장점 스티커를 통해 일부 작물의 높이가 높더라도 작물의 생육량을 확인할 수 있다.
상술한 바와 같이, 참조 구, 제1 및 제2 생장점 스티커를 포함하는 생육량 측정 장치(100)를 통해 작물의 생육량 측정의 정확도 및 편의성을 높일 수 있다.
도 4는 본 출원의 일 실시예에 따른 생육량 측정 시스템(1000)의 도면이다.
도 4를 참조하면, 생육량 측정 시스템(1000)은 영상 촬영 장치(200_1)와 생육량 측정 장치(100_1)를 포함한다. 영상 촬영 장치(200_1)는 생육량 측정 장치(100_1)에 영상을 제공하기 위해 영상을 촬영한다. 영상 촬영 장치(200_1)는 영상을 촬영할 수 있는 카메라가 장착되어 있는 전자 디바이스 중 하나일 수 있다.
예를 들어, 영상 촬영 장치(200_1)는 IP카메라, HD-SDI 카메라, 아날로그 카메라, 화재감지 컬러카메라, 열화상 카메라, SD(720x486, NTSC)급의 해상도에서 HD(1920x5080, HD5080p) 카메라, IP줌 스피드 카메라 또는 CCTV 카메라 중 적어도 하나일 수 있다.
생육량 측정 장치(100_1)는 도 1에 기재된 생육량 측정 장치와 동일 할 수 있다. 따라서, 자세한 설명을 생략될 것이다.
생육량 측정 장치(100_1)는 인식부(120_1), 계산부(140_1), 추출부(180_1)를 포함한다. 인식부(120_1)는 영상을 통해 참조 구, 제1 및 제2 생장점 스티커를 인식한다. 계산부(140_1)는 영상에 기반하여 참조 구, 제1 및 제2 생장점 스티커의 색을 생상 모델로 계산한다. 추출부(180_1)는 참조 구, 제1 및 제2 생장점 스티커 중 적어도 하나의 윤곽선을 추출하고, 제1 및 제2 생장점 스티커의 윤곽선 정보에 기반하여 작물의 생육량을 추출한다.
본 출원의 일 실시예에 있어서, 생육량 측정 장치(100_1)는 잡음 제거부(160_1)를 더 포함할 수 있다. 잡음 제거부(160_1)는 촬영된 영상이 매끄럽지 않을 경우, 여러가지의 블러 처리 방법 중 적어도 하나를 선택하여 영상을 블러 처리한다.
도 5는 본 출원의 일 실시예에 따른 생육량 측정 시스템을 스마트 팜에 적용한 예를 나타낸 도면이다.
도 5를 참조하면, 생육량 측정 시스템은 스마트팜(2000)에도 적용이 가능하다. 스마트팜(2000)은 생육량 측정 시스템, 서버(300), 및 사용자 단말(400)을 포함할 수 있다. 생육량 측정 시스템은 생육량 측정 장치(100_2)와 영상 촬영 장치(200_2)를 포함하고, 생육량 측정 장치(100_2) 및 영상 촬영 장치(200_2)는 도 4에 개시된 생육량 측정 장치 및 영상 촬영 장치와 동일하므로 자세한 설명은 생략될 것이다.
본 출원의 일 실시예에 있어서, 생육량 측정 시스템은 온실 혹은 비닐하우스와 같은 작물 재배 시설 내에 배치될 수 있다. 생육량 측정 시스템은 서버(300)를 통해 사용자 단말(400)과 통신할 수 있다.
예를 들면, 사용자 단말(400)은 스마트폰(Smartphone), 스마트패드(Smart Pad), 태블릿 PC, 웨어러블 디바이스, PCS(Personal CommunicationSystem), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(PersonalHandyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000,CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(WirelessBroadband Internet) 단말기 같은 모든 종류의 무선 통신 장치, 데스크탑 컴퓨터, 및 스마트 TV와 같은 고정용 단말기일 수도 있다.
서버(300)는 사용자 단말(400)과 생육량 측정 시스템을 연결하여 서로 통신이 가능하도록 한다. 서버(300)는 생육량 측정 장치(100_2)의 데이터를 사용자 단말(400)에 제공할 수 있다.
본 출원의 일 실시예에 있어서, 생육량 측정 장치(100_2)는 온실 혹은 비닐하우스 외부에 배치될 수 있다.
본 명세서와 도면에 개시된 실시 예들은 본 개시의 내용을 쉽게 설명하고, 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 개시의 범위를 한정하고자 하는 것은 아니다. 따라서 본 개시의 범위는 여기에 개시된 실시 예들 이외에도 본 개시의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.
100 : 생육량 측정 장치
100_1 : 생육량 측정 장치
100_2 : 생육량 측정 장치
120 : 인식부
120_1 : 인식부
140 : 계산부
140_1 : 계산부
160 : 잡음 제거부
160_1 : 잡음 제거부
180 : 추출부
180_1 : 추출부
200_1 : 영상 촬영 장치
200_2 : 영상 촬영 장치
300 : 서버
400 : 사용자 단말
1000 : 생육량 측정 시스템
2000 : 스마트팜
100_1 : 생육량 측정 장치
100_2 : 생육량 측정 장치
120 : 인식부
120_1 : 인식부
140 : 계산부
140_1 : 계산부
160 : 잡음 제거부
160_1 : 잡음 제거부
180 : 추출부
180_1 : 추출부
200_1 : 영상 촬영 장치
200_2 : 영상 촬영 장치
300 : 서버
400 : 사용자 단말
1000 : 생육량 측정 시스템
2000 : 스마트팜
Claims (13)
- 영상을 통해 참조 구, 제1 및 제2 생장점 스티커를 인식하는 인식부;
상기 영상에 기반하여 상기 참조 구, 상기 제1 및 제2 생장점 스티커의 색을 색상 모델로 계산하는 계산부;
상기 참조 구, 상기 제1 및 제2 생장점 스티커 중 적어도 하나의 윤곽선을 추출하고, 상기 제1 및 제2 생장점 스티커의 윤곽선 정보에 기반하여 작물의 생육량을 추출하는 추출부; 및
상기 색상 모델에 기반하여 추출된 상기 참조 구, 제1 및 제2 생장점 스티커 중 적어도 하나의 잡음을 제거하는 잡음 제거부를 포함하고,
상기 색상 모델은 HSV 색상모델이고, 상기 영상은 RGB 영상이며, 상기 계산부는 상기 RGB 영상을 HSV 값으로 계산하고,
상기 참조 구는 상기 작물의 위치를 판단하기 위해 사용되고, 상기 제1 및 제2 생장점 스티커는 상기 작물의 생육량을 측정하기 위해 사용되며,
상기 참조 구의 잡음은 허프 변환을 통해 제거되고, 상기 제1 및 제2 생장점 스티커의 잡음은 영상 이진화를 통해 제거되고,
상기 잡음 제거부는 상기 영상을 흑백 영상으로 변환시키고, 가우시안 블러를 상기 흑백 영상에 적용하여 블러 처리하고,
상기 잡음 제거부는 상기 블러 처리된 흑백 영상을 이진화하고 침식과 팽창 연산을 통해 상기 제1 및 제2 생육량 스티커의 잡음을 제거하며, 상기 블러 처리된 흑백 영상을 허프 변환하여 상기 참조 구의 잡음을 제거하는, 생육량 측정 장치. - 제1항에 있어서,
상기 참조 구는 상기 작물의 위치를 파악하기 위해 상기 작물의 일정거리 이내에 위치하여 있고,
상기 제1 생장점 스티커는 상기 작물의 이전 생장점에 위치하여 있으며,
상기 제2 생장점 스티커는 상기 작물의 현재 생장점에 위치하여 있는 생육량 측정 장치. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 제1항에 있어서,
상기 제1 생육량 스티커와 상기 제2 생육량 스티커의 위치 차이가 작물의 생육량인 생육량 측정 장치. - 제8항에 있어서,
상기 생육량은 상기 작물의 자란 정도이고,
상기 생육량은 상기 작물의 성숙도, 병해, 및 과실의 형태를 더 포함하는 생육량 측정 장치. - 생육량 측정 장치의 동작방법에 있어서,
인식부가 영상을 통해 참조 구, 제1 및 제2 생장점 스티커를 인식하는 단계;
계산부가 상기 영상에 기반하여 상기 참조 구, 상기 제1 및 제2 생장점 스티커의 색을 색상 모델로 계산하는 단계;
잡음 제거부가 상기 색상 모델에 기반하여 추출된 상기 참조 구, 상기 제1 및 제2 생장점 스티커 중 적어도 하나의 잡음을 제거하는 단계; 및
추출부가 상기 참조 구, 상기 제1 및 제2 생장점 스티커 중 적어도 하나의 윤곽선을 추출하고, 상기 제1 및 제2 생장점 스티커의 윤곽선 정보에 기반하여 작물의 생육량을 추출하는 단계를 포함하고,
상기 색상 모델은 HSV 색상모델이고, 상기 영상은 RGB 영상이며, 상기 계산부는 상기 RGB 영상을 HSV 값으로 계산하고,
상기 참조 구는 상기 작물의 위치를 판단하기 위해 사용되고, 상기 제1 및 제2 생장점 스티커는 상기 작물의 생육량을 측정하기 위해 사용되며,
상기 참조 구의 잡음은 허프 변환을 통해 제거되고, 상기 제1 및 제2 생장점 스티커의 잡음은 영상 이진화를 통해 제거되고,
상기 잡음 제거부는 상기 영상을 흑백 영상으로 변환시키고, 가우시안 블러를 상기 흑백 영상에 적용하여 블러 처리하고,
상기 잡음 제거부는 상기 블러 처리된 흑백 영상을 이진화하고 침식과 팽창 연산을 통해 상기 제1 및 제2 생육량 스티커의 잡음을 제거하며, 상기 블러 처리된 흑백 영상을 허프 변환하여 상기 참조 구의 잡음을 제거하는, 생육량 측정 장치의 동작방법. - 제10항에 있어서,
상기 잡음 제거부가 상기 제1 및 제2 생육량 스티커의 잡음을 제거하는 단계는,
상기 잡음 제거부는 상기 영상을 흑백 영상으로 변환하는 단계;
상기 흑백 영상에 상기 가우시안 블러를 적용하는 단계; 및
블러 처리된 상기 흑백 영상을 이진화하는 단계;를 포함하는 생육량 측정 장치의 동작방법. - 제11항에 있어서,
상기 잡음 제거부가 상기 참조 구의 잡음을 제거하는 단계는,
상기 잡음 제거부가 상기 영상을 흑백 영상으로 변환하는 단계;
상기 흑백 영상에 상기 가우시안 블러를 적용하는 단계; 및
블러 처리된 상기 흑백 영상을 허프 변환하는 단계;를 포함하는 생육량 측정 장치의 동작방법. - 생육량 측정 장치;
상기 생육량 측정 장치에 영상을 제공하기 위해 영상을 촬영하는 영상 촬영 장치를 포함하며,
상기 생육량 측정 장치는,
영상을 통해 참조 구, 제1 및 제2 생장점 스티커를 인식하는 인식부;
상기 영상에 기반하여 상기 참조 구, 제1 및 제2 생장점 스티커의 색을 색상 모델로 계산하는 계산부;
상기 참조 구, 상기 제1 및 제2 생장점 스티커 중 적어도 하나의 윤곽선을 추출하고, 상기 제1 및 제2 생장점 스티커의 윤곽선 정보에 기반하여 작물의 생육량을 추출하는 추출부; 및
상기 색상 모델에 기반하여 추출된 상기 참조 구, 제1 및 제2 생장점 스티커 중 적어도 하나의 잡음을 제거하는 잡음 제거부를 포함하고,
상기 색상 모델은 HSV 색상모델이고, 상기 영상은 RGB 영상이며, 상기 계산부는 상기 RGB 영상을 HSV 값으로 계산하고,
상기 참조 구는 상기 작물의 위치를 판단하기 위해 사용되고, 상기 제1 및 제2 생장점 스티커는 상기 작물의 생육량을 측정하기 위해 사용되며,
상기 참조 구의 잡음은 허프 변환을 통해 제거되고, 상기 제1 및 제2 생장점 스티커의 잡음은 영상 이진화를 통해 제거되고,
상기 잡음 제거부는 상기 영상을 흑백 영상으로 변환시키고, 가우시안 블러를 상기 흑백 영상에 적용하여 블러 처리하고,
상기 잡음 제거부는 상기 블러 처리된 흑백 영상을 이진화하고 침식과 팽창 연산을 통해 상기 제1 및 제2 생육량 스티커의 잡음을 제거하며, 상기 블러 처리된 흑백 영상을 허프 변환하여 상기 참조 구의 잡음을 제거하는, 생육량 측정 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200075169A KR102470873B1 (ko) | 2020-06-19 | 2020-06-19 | 영상처리를 이용한 작물 생육량 측정 장치 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200075169A KR102470873B1 (ko) | 2020-06-19 | 2020-06-19 | 영상처리를 이용한 작물 생육량 측정 장치 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210157194A KR20210157194A (ko) | 2021-12-28 |
| KR102470873B1 true KR102470873B1 (ko) | 2022-11-29 |
Family
ID=79178229
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200075169A KR102470873B1 (ko) | 2020-06-19 | 2020-06-19 | 영상처리를 이용한 작물 생육량 측정 장치 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102470873B1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102582588B1 (ko) | 2022-06-09 | 2023-09-25 | 그리트 주식회사 | Ai를 활용한 작물의 엽 생육지수 측정시스템 |
| KR102500784B1 (ko) | 2022-06-09 | 2023-02-17 | 그리트 주식회사 | 작물의 엽 생육지수 ai측정을 활용한 작물 재배 시스템 |
| KR102500781B1 (ko) | 2022-06-09 | 2023-02-17 | 그리트 주식회사 | 작물의 엽 생육측정을 위한 ai기반 카메라모듈이 구비된 생육측정장치 |
| KR102522341B1 (ko) | 2022-11-04 | 2023-04-18 | 아이티컨버젼스 주식회사 | 인공지능을 이용한 작물 생육 자동 계측 시스템 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130201334A1 (en) * | 2010-06-10 | 2013-08-08 | Manoj R C | Illumination Invariant and Robust Apparatus and Method for Detecting and Recognizing Various Traffic Signs |
| KR101470763B1 (ko) * | 2013-12-26 | 2014-12-08 | 성균관대학교산학협력단 | 영상에서 컬러 객체를 검출하는 방법 및 영상에서 컬러 객체를 검출하는 장치 |
| KR101501851B1 (ko) * | 2013-11-28 | 2015-03-11 | 울산대학교 산학협력단 | 최적화된 누적 셀에서의 허프 변환을 이용한 차선 검출 장치 및 방법 |
| KR101681282B1 (ko) * | 2015-12-03 | 2016-12-02 | 동국대학교 산학협력단 | 대상체 검출 장치 및 방법 |
| KR101959728B1 (ko) * | 2017-11-06 | 2019-03-20 | 대한민국 | 색좌표 코드를 갖는 작물 유인줄을 이용한 자동 생육량 측정 장치 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150000435A (ko) * | 2013-06-21 | 2015-01-02 | 순천대학교 산학협력단 | 작물 생장 단계 인식 및 환경 제어 시스템 및 그 방법 |
| KR101974638B1 (ko) * | 2017-01-23 | 2019-05-03 | 한국과학기술연구원 | 식물 영상 처리 장치 및 방법 |
-
2020
- 2020-06-19 KR KR1020200075169A patent/KR102470873B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130201334A1 (en) * | 2010-06-10 | 2013-08-08 | Manoj R C | Illumination Invariant and Robust Apparatus and Method for Detecting and Recognizing Various Traffic Signs |
| KR101501851B1 (ko) * | 2013-11-28 | 2015-03-11 | 울산대학교 산학협력단 | 최적화된 누적 셀에서의 허프 변환을 이용한 차선 검출 장치 및 방법 |
| KR101470763B1 (ko) * | 2013-12-26 | 2014-12-08 | 성균관대학교산학협력단 | 영상에서 컬러 객체를 검출하는 방법 및 영상에서 컬러 객체를 검출하는 장치 |
| KR101681282B1 (ko) * | 2015-12-03 | 2016-12-02 | 동국대학교 산학협력단 | 대상체 검출 장치 및 방법 |
| KR101959728B1 (ko) * | 2017-11-06 | 2019-03-20 | 대한민국 | 색좌표 코드를 갖는 작물 유인줄을 이용한 자동 생육량 측정 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210157194A (ko) | 2021-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102470873B1 (ko) | 영상처리를 이용한 작물 생육량 측정 장치 및 그 방법 | |
| Aquino et al. | vitisBerry: An Android-smartphone application to early evaluate the number of grapevine berries by means of image analysis | |
| CN113536864B (zh) | 手势识别方法、装置、计算机可读存储介质及终端设备 | |
| CN109299703B (zh) | 对鼠情进行统计的方法、装置以及图像采集设备 | |
| WO2018176938A1 (zh) | 红外光斑中心点提取方法、装置和电子设备 | |
| KR101023207B1 (ko) | 영상 객체 추출 장치 및 그 방법 | |
| CN106296725B (zh) | 运动目标实时检测与跟踪方法及目标检测装置 | |
| CN111144337B (zh) | 火灾检测方法、装置及终端设备 | |
| CN110930411B (zh) | 一种基于深度相机的人体分割方法及系统 | |
| WO2022082999A1 (zh) | 一种物体识别方法、装置、终端设备及存储介质 | |
| CN111368635A (zh) | 一种基于毫米波的多人步态识别方法及装置 | |
| CN113673584A (zh) | 一种图像检测方法及相关装置 | |
| CN110222647B (zh) | 一种基于卷积神经网络的人脸活体检测方法 | |
| CN111126250A (zh) | 一种基于ptgan的行人重识别方法及装置 | |
| CN111199198A (zh) | 一种图像目标定位方法、图像目标定位装置及移动机器人 | |
| Xiangshu et al. | Urban individual tree crown detection research using multispectral image dimensionality reduction with deep learning | |
| CN113435367A (zh) | 社交距离评估方法、装置及存储介质 | |
| CN109919164B (zh) | 用户界面对象的识别方法及装置 | |
| CN110516731B (zh) | 一种基于深度学习的视觉里程计特征点检测方法及系统 | |
| CN111080683A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US20190102888A1 (en) | Image processing apparatus and method and monitoring system | |
| WO2022156319A1 (zh) | 摄像头移动的检测方法、设备、电子设备、存储介质和程序 | |
| CN114419489A (zh) | 特征提取网络的训练方法、装置、终端设备和介质 | |
| CN113658118A (zh) | 图像噪声程度估计方法、装置、电子设备及存储介质 | |
| CN112418112A (zh) | 一种果园病虫害监测预警方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |