KR102531781B1 - 딥러닝 세그멘테이션 인식 기술을 이용한 작물 생장 측정 장치 및 그 방법 - Google Patents
딥러닝 세그멘테이션 인식 기술을 이용한 작물 생장 측정 장치 및 그 방법 Download PDFInfo
- Publication number
- KR102531781B1 KR102531781B1 KR1020200145452A KR20200145452A KR102531781B1 KR 102531781 B1 KR102531781 B1 KR 102531781B1 KR 1020200145452 A KR1020200145452 A KR 1020200145452A KR 20200145452 A KR20200145452 A KR 20200145452A KR 102531781 B1 KR102531781 B1 KR 102531781B1
- Authority
- KR
- South Korea
- Prior art keywords
- crop
- stem
- growth
- information
- flower
- Prior art date
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013135 deep learning Methods 0.000 title abstract description 14
- 238000005516 engineering process Methods 0.000 title abstract description 14
- 238000005259 measurement Methods 0.000 claims abstract description 47
- 238000000605 extraction Methods 0.000 claims abstract description 44
- 238000002372 labelling Methods 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000000691 measurement method Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 235000013399 edible fruits Nutrition 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000001931 thermography Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003337 fertilizer Substances 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000017260 vegetative to reproductive phase transition of meristem Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/04—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/08—Measuring arrangements characterised by the use of optical techniques for measuring diameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N2021/8466—Investigation of vegetal material, e.g. leaves, plants, fruits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명은 딥러닝 세그멘테이션 인식 기술을 이용한 작물 생장 측정 장치 및 그 방법에 관한 것으로, 좀 더 자세하게는 딥러닝 세그멘테이션을 이용하여 작물의 생장 길이 및 화방을 굵기를 구하는 기술에 관한 것이다. 본 발명의 일 실시예에 따른 작물 생장 측정 방법에 있어서, 작물을 촬영한 영상을 입력받는 단계, 제1 추출 파라미터에 기초하여, 상기 영상에서 인식된 상기 작물의 측정 대상의 줄기 세그멘테이션 정보를 추출하는 단계, 제2 추출 파라미터에 기초하여, 상기 영상에서 인식된 상기 작물의 측정 대상의 화방 박스 정보를 추출하는 단계, 및 상기 줄기 세그멘테이션 정보와 상기 화방 박스 정보의 교차 정보에 기반하여 상기 작물의 생장 길이 및 화방 부근의 줄기 굵기 중 적어도 하나를 측정하는 단계를 포함한다.
Description
본 발명은 딥러닝 세그멘테이션 인식 기술을 이용한 작물 생장 측정 장치 및 그 방법에 관한 것으로, 좀 더 자세하게는 딥러닝 세그멘테이션을 이용하여 작물의 생장 길이 및 화방 부근의 줄기 굵기를 구하는 기술에 관한 것이다.
최근 인터넷, 근거리 무선통신 기술, 이미지프로세싱 및 다양한 센싱 ICT(Information & Communication Technology)복합 기술은 농작물 재배 및 생장 모니터링 시스템에 적용되어 발전하고 있다. 아울러, 농작물의 생장 환경을 관리할 수 있는 온실 모니터링과 관리 시스템 또한 함께 발전하는 추세이다.
그러나, 작업자가 일정한 주기마다 대량의 작물에 대해 각 단별 생육 상태를 육안으로 확인하고 기록하기에는 많은 노동력과 시간이 소요된다. 뿐만 아니라, 작물이 작업자의 키보다 높게 생장하거나, 작업자가 대량의 작물 중에서 특정 작물 내 특정 단의 생육 상태를 확인하지 못하고 그냥 지나치는 경우에, 작물의 각 단별생육 상태를 정확하게 파악하기 어렵다는 문제점이 발생했다.
또한, 농작물의 높이를 측정하는 경우 일부 농작물의 총 높이가 2m를 넘으면 화각에 잡히지 않기 때문에 일정재배기간이 지나면 농작물의 높이를 파악할 수 없는 문제가 있다. 아울러 촬영 후 이미지 인식에 있어서, 군락 별로 밀집해 있는 작물을 촬영하면, 작물이 겹쳐 있는 경우, 작물 기관을 정확히 인식하기 어렵다. 또한, 현재 측정된 작물 데이터를 수집하여, 작물의 생육 변화량을 예측하거나 작물 상태를 진단할 수 있는 시스템이 부재한 상황이다.
본 발명은 딥러닝 세그멘테이션을 이용하여 작물의 생장 길이 및 화방 부근의 줄기 굵기를 구하는 작물 생육 장치 및 그 방법을 제공하고자 한다.
본 발명의 일 실시예에 따른 작물 생장 측정 방법에 있어서, 작물을 촬영한 영상을 입력받는 단계, 제1 추출 파라미터에 기초하여, 상기 영상에서 인식된 상기 작물의 측정 대상의 줄기 세그멘테이션 정보를 추출하는 단계, 제2 추출 파라미터에 기초하여, 상기 영상에서 인식된 상기 작물의 측정 대상의 화방 박스 정보를 추출하는 단계, 및 상기 줄기 세그멘테이션 정보와 상기 화방 박스 정보의 교차 정보에 기반하여 상기 작물의 생장 길이 및 화방 부근의 줄기 굵기 중 적어도 하나를 측정하는 단계를 포함한다.
본 발명의 일 실시예에 있어서, 상기 작물의 생장 길이 및 화방 부근의 줄기 굵기 중 적어도 하나를 측정하는 단계는, 상기 줄기 세그멘테이션 정보의 최고점과 상기 화방 박스 정보의 최저점의 차이를 측정하여 상기 작물의 생장 길이를 계산하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 작물의 생장 길이 및 화방 부근의 줄기 굵기 중 적어도 하나를 측정하는 단계는, 상기 줄기 세그멘테이션 정보와 상기 화방 박스 정보의 교차부분에 생성된 교차 라인의 길이를 측정하여 상기 작물의 화방 부근의 줄기 굵기를 계산하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 영상을 입력받는 단계 이후에, 상기 작물 별로 기설정된 임계값에 기초하여, 상기 영상에서 상기 생장 측정 대상 작물을 인식하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 작물의 측정 대상 중 줄기와 화방을 구분하여 라벨링하는 라벨링 단계를 더 포함할 수 있으며, 상기 라벨링 단계에서, 상기 화방 박스 정보의 최저점의 적어도 일부가 상기 줄기 세그멘테이션 정보의 결과에 따른 상기 작물의 줄기에 교차되도록 할 수 있다.
본 발명의 일 실시예에 있어서, 상기 작물의 생장 길이 및 화방 부근의 줄기 굵기 중 적어도 하나를 측정하는 단계에서, 고정설치된 카메라를 통해 상기 작물의 생장 변화를 실시간으로 측정하여, 레퍼런스 값과 비교함으로써, 상기 작물의 생장 길이를 측정할 수 있다.
본 발명의 일 실시예에 있어서, 상기 작물의 생장 길이 및 화방 부근의 줄기 굵기 중 적어도 하나를 측정하는 단계에서, 상기 카메라 중 Depth 카메라를 이용하여 상기 영상과 상기 작물의 절대 크기를 입력받아, 상기 작물의 생장 길이 및 상기 화방 부근의 줄기 굵기 중 적어도 하나를 추출할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제1 추출 파라미터는 상기 측정 대상의 줄기 세그멘테이션에 사용되는 객체 정보를 포함하고, 상기 제2 추출 파라미터는 상기 측정 대상의 화방 박스 정보를 추출하기 위해 사용되는 객체 정보를 포함하며, 상기 상기 교차 라인 및 상기 작물의 정보 중 적어도 하나를 이용하여 상기 제1 및 제2 파라미터를 업데이트하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 작물 생장 측정 장치는 작물을 촬영한 영상을 입력받는 영상 입력부, 제1 추출 파라미터에 기초하여, 상기 영상에서 인식된 상기 작물의 측정 대상의 줄기 세그멘테이션 정보를 추출하는 줄기 세그멘테이션부, 제2 추출 파라미터에 기초하여, 상기 영상에서 인식된 상기 작물의 화방 박스 정보를 추출하는 화방 박스 작업부, 및 상기 줄기 세그멘테이션 정보와 상기 화방 박스 정보의 교차 정보에 기반하여 상기 작물의 생장 길이 및 화방 부근의 줄기 굵기 중 적어도 하나를 측정하는 생장 계산부를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 생장 계산부는 상기 줄기 세그멘테이션 정보의 최고점과 상기 화방 박스 정보의 최저점의 차이를 측정하여 상기 작물의 생장 길이를 계산할 수 있다.
본 발명의 일 실시예에 있어서, 상기 생장 계산부는 상기 줄기 세그멘테이션 정보와 상기 화방 박스 정보의 교차부분에 생성된 교차 라인의 길이를 측정하여 화방 부근의 줄기 굵기를 계산할 수 있다.
본 발명의 일 실시예에 있어서, 상기 줄기 세그멘테이션 정보와 상기 화방 박스 정보를 이용하여, 상기 작물의 측정 대상 중 줄기와 화방을 구분하여 라벨링하는 작물 라벨링부를 더 포함할 수 있으며, 상기 작물 라벨링부에서, 상기 화방 박스 정보의 최저점의 적어도 일부가 상기 줄기 세그멘테이션 정보의 결과에 따른 상기 작물의 줄기에 교차되도록 할 수 있다.
본 발명의 일 실시예에 있어서, 상기 생장 계산부는 고정설치된 카메라를 통해 상기 작물의 생장 변화를 실시간으로 측정하여, 레퍼런스 값과 비교함으로써, 상기 작물의 생장 길이를 측정할 수 있다.
본 발명이 일 실시예에 따른 작물 생장 측정 시스템은 작물 생장 측정 장치, 작물을 촬영하기 위한 카메라, 및 상기 작물 생장 측정 장치의 정보를 표시하는 사용자 단말을 포함하며, 상기 작물 생장 측정 장치는, 작물을 촬영한 영상을 입력받는 영상 입력부, 제1 추출 파라미터에 기초하여, 상기 영상에서 인식된 상기 작물의 측정 대상의 줄기 세그멘테이션 정보를 추출하는 줄기 세그멘테이션부, 제2 추출 파라미터에 기초하여, 상기 영상에서 인식된 상기 작물의 화방 박스 정보를 추출하는 화방 박스 작업부, 및 상기 줄기 세그멘테이션 정보와 상기 화방 박스 정보의 교차 정보에 기반하여 상기 작물의 생장 길이 및 화방 부근의 줄기 굵기 중 적어도 하나를 측정하는 생장 계산부를 포함한다.
본 발명의 일 실시예에 따른 컴퓨터프로그램은 작물을 촬영한 영상을 입력받는 단계, 제1 추출 파라미터에 기초하여, 상기 영상에서 인식된 상기 작물의 측정 대상의 줄기 세그멘테이션 정보를 추출하는 단계, 제2 추출 파라미터에 기초하여, 상기 영상에서 인식된 상기 작물의 화방 박스 정보를 추출하는 단계, 상기 줄기 세그멘테이션 정보와 상기 화방 박스 정보의 교차 정보에 기반하여 상기 작물의 생장 길이 및 화방 부근의 줄기 굵기 중 적어도 하나를 측정하는 단계를 실행시키기 위하여 매체에 저장된다.
본 출원의 일 실시예에 따른 작물 생장 측정 방법은 작물의 생장 길이 및 화방 부근의 줄기 굵기를 정확하고 신속하게 구할 수 있다.
도 1은 종래의 작물 생육 상태를 측정하는 방법에 대한 도면이다.
도 2는 본 발명의 일 실시예에 따른 작물 생장 측정 방법에 대해 도시한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 생장 측정 대상 작물을 인식하는 단계를 도시한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 작물의 생장 길이 및 화방 부근의 줄기 굵기 중 적어도 하나를 측정하는 단계를 도시한 순서도이다.
도 5는 본 발명의 일 실시예에 따른 작물 생장 측정 장치에 대한 블록도이다.
도 6은 본 발명의 일 실시예에 따른 굵기 측정 방법을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 작물 생장 측정 시스템을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 작물 생장 측정 방법에 대해 도시한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 생장 측정 대상 작물을 인식하는 단계를 도시한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 작물의 생장 길이 및 화방 부근의 줄기 굵기 중 적어도 하나를 측정하는 단계를 도시한 순서도이다.
도 5는 본 발명의 일 실시예에 따른 작물 생장 측정 장치에 대한 블록도이다.
도 6은 본 발명의 일 실시예에 따른 굵기 측정 방법을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 작물 생장 측정 시스템을 나타낸 도면이다.
이하, 본 명세서에 개시된 실시 예들은 도면을 참조하여 상세하게 설명하고 자 한다. 본문에서 달리 명시하지 않는 한, 도면의 유사한 참조번호들은 유사한 구성요소들을 나타낸다. 상세한 설명, 도면들 및 청구항들에서 상술하는 예시적인 실시 예들은 한정을 위한 것이 아니며, 다른 실시 예들이 이용될 수 있으며, 여기서 개시되는 기술의 사상이나 범주를 벗어나지 않는 한 다른 변경들도 가능하다. 당업자는 본 개시의 구성요소들, 즉 여기서 일반적으로 기술되고, 도면에 기재되는 구성요소들을 다양하게 다른 구성으로 배열, 구성, 결합, 도안할 수 있으며, 이것들의 모두는 명백하게 고안 되어지며, 본 개시의 일부를 형성하고 있음을 용이하게 이해할 수 있을 것이다. 도면에서 여러 층(또는 막), 영역 및 형상을 명확하게 표현하기 위하여 구성요소의 폭, 길이, 두께 또는 형상 등은 과장되어 표현될 수도 있다.
개시된 기술에 관한 설명은 구조적 내지 기능적 설명을 위한 실시 예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시 예에 의하여 제한되는 것으로 해석되어서는 아니된다. 즉, 실시 예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물을 포함하는 것으로 이해되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, “포함하다” 또는 “가지다” 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
여기서 사용된 모든 용어들은 다르게 정의되지 않는 한, 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 용어들은 관련기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석 될 수 없다.
도 1은 종래의 작물 생육 상태를 측정하는 방법에 대한 도면이다.
도 1을 참조하면, 종래에는 딥러닝 box 인식 방법을 이용하여 작물의 생장점 및 화방을 인식하였다. 상단의 녹색 box는 생장점을 인식한 경우이고, 하단의 녹색 box는 화방을 인식한 경우이다. 그러나, 이 방법을 이용하여 작물의 생장 길이 및 화방 부근의 줄기 굵기를 인식하는 경우에 오차가 커서 추가의 알고리즘이 필요하고, 농작물의 생육은 상황마다 다르기 때문에 표준적인 알고리즘이 필요해 상용화에 어려움이 있었다. 또한, 세그멘테이션 알고리즘의 경우, 매번 수확물을 따서 측정해야하는 문제가 발생할 수 있다. 이에 더해, 단순히 열매의 크기로만 측정하기 어려운 경우와 매번 측정하여야하는 열매 위치가 다를 수 있기 때문에, 일률적인 측정방법이 되기 어렵다는 문제점이 발생할 수 있다.
이에 따라, 본 발명은 줄기 세그멘테이션 정보와 화방 박스 정보를 조합하여 생장 정도를 측정하는 작물 생장 측정 장치 및 그 방법에 대해 후술하고자 한다.
도 2는 본 발명의 일 실시예에 따른 작물 생장 측정 방법에 대해 도시한 순서도이다.
도 2를 참조하면, 작물 생장 측정 방법은 작물을 촬영한 영상을 입력받는 단계(S11), 영상 내 생장 측정 대상 작물을 인식하는 단계(S13), 작물의 줄기 세그멘테이션 정보를 추출하는 단계(S15), 작물의 화방 박스 정보를 추출하는 단계(S17), 및 작물의 생장 길이 및 화방 부근의 줄기 굵기 중 적어도 하나를 측정하는 단계(S19)를 포함한다.
일 실시예에 있어서, 화방 부근의 줄기 굵기는 개화된 첫 화방 부근의 줄기 두께일 수 있다. 즉, 화방 자체의 줄기의 굵기가 아닌, 화방과 접하는 줄기 부분의 두께 또는 화방이 개화되는 줄기 부분의 두께를 의미한다.
일 실시예에 있어서, 작물의 생장 길이는 생장점으로부터, 화방이 개화된 줄기 부분까지의 길이일 수 있으며, 여기서 화방은 첫 개화된 화방, 즉, 줄기의 생장점에 가장 인접한 화방을 의미할 수 있다.
작물을 촬영한 영상을 입력받는 단계(S11)는 카메라를 통해 촬영된 작물의 영상을 입력받을 수 있다. 이때, 카메라는 IP카메라, HD-SDI 카메라, 아날로그 카메라, 화재감지 컬러카메라, 열화상 카메라, SD(720x486, NTSC)급의 해상도에서 HD(1920x5080, HD5080p) 카메라, IP줌 스피드 카메라, CCTV 카메라, Depth 카메라 중 적어도 하나일 수 있다. 카메라는 고정되어 설치될 수 있으며, 실시간으로 작물의 생장변화를 확인할 수 있다.
영상 내 생장 측정 대상 작물을 인식하는 단계(S13)는 작물 별로 기설정된 임계값에 기초하여, 영상에서 생장 측정 대상 작물을 인식할 수 있다. 영상 내의 작물은 획일적으로 생장되지 않기 때문에, 영상 내에 생장 측정 대상이 되는 작물을 인식할 필요가 있다. 일 실시예에 있어서, 작물을 인식하기 위해 딥러닝 기술을 이용할 수 있다. 딥러닝 기술을 이용하기 위해서는, 여러 각도와 위치에서의 대상 작물의 사진을 수집할 필요가 있다. 또한, 정확성을 높이기 위하여, 영상 기법을 사용하여, 대상 작물의 사진을 크기 별, 각도 별로 x n개의 수량으로 증가시킬 수 있다. 상기의 방법을 통해 영상 내의 생장 측정 대상 작물을 인식할 수 있다. 이와 관련하여, 구체적인 내용은 도 3에서 후술될 것이다.
작물의 줄기 세그멘테이션 정보를 추출하는 단계(S15)는 제1 추출 파라미터에 기초하여, 영상에서 인식된 상기 작물의 측정 대상의 줄기 세그멘테이션 정보를 추출할 수 있다. 일 실시예에 있어서, 줄기 세그멘테이션 정보는 세그멘테이션화된 작물의 줄기일 수 있다. 즉, 줄기 세그멘테이션 정보는 작물의 줄기만을 추출한 정보일 수 있다. 제1 추출 파라미터는 측정 대상의 줄기 세그멘테이션에 사용되는 객체 정보를 포함할 수 있다.
작물의 화방 박스 정보를 추출하는 단계(S17)는 제2 추출 파라미터에 기초하여, 상기 영상에서 인식된 작물의 측정 대상의 화방 박스 정보를 추출할 수 있다. 일 실시예에 있어서, 화방 박스 정보는 꽃과 꽃의 줄기까지를 박스 처리한 정보일 수 있다. 제2 추출 파라미터는 측정 대상의 화방 박스 정보를 추출하기 위해 사용되는 객체 정보를 포함할 수 있다.
일 실시예에 있어서, 작물의 줄기 세그멘테이션 정보를 추출하는 단계(S15) 및 작물의 화방 박스 정보를 추출하는 단계(S17)의 순서는 변경될 수 있다. 예를 들어, 작물의 화방 박스 정보를 추출하는 단계(S17)를 실시한 후, 작물의 줄기 세그멘테이션 정보를 추출하는 단계(S15)를 실행할 수 있다.
작물의 생장 길이 및 화방 부근의 줄기 굵기 중 적어도 하나를 측정하는 단계(S19)는 줄기 세그멘테이션 정보와 화방 박스 정보의 교차 정보에 기반하여 작물의 생장 길이 및 화방 부근의 줄기 굵기 중 적어도 하나를 측정할 수 있다.
일 실시예에 있어서, 줄기 세그멘테이션 정보의 최고점과 화방 박스 정보의 최저점의 차이를 측정하여, 작물의 생장 길이를 측정할 수 있다.
다른 일 실시예에 있어서, 고정 설치된 카메라를 통해 작물의 생장 변화를 실시간으로 측정하여, 기존의 레퍼런스 값과 비교함으로써, 작물의 생장 길이를 측정할 수 있다. 예를 들어, 기존의 레퍼런스 값은 전날 작물의 생장값일 수 있다.
일 실시예에 있어서, 줄기 세그멘테이션 정보와 화방 박스 정보의 교차부분에 생성된 교차 라인의 길이를 측정하여 작물의 굵기를 측정할 수 있다. 일 실시예에 있어서, 교차 라인은 작물의 메인 줄기에 생성된다.
일 실시예에 있어서, Depth 카메라를 이용하여 영상과 작물의 절대 크기를 입력받아, 작물의 생장 길이 및 화방 부근의 줄기 굵기 중 적어도 하나를 측정하여 생장 측정의 정확도를 높일 수 있다.
일 실시예에 있어서, 교차 라인과 교차 정보는 기설정된 임계치 정보에 기초하여 결정될 수 있다. 또한, 교차 라인과 같은 측정 결과 및 작물의 정보는 딥러닝 알고리즘을 이용하여 학습 과정을 거쳐 제1 및 제2 추출 파라미터를 업데이트 할 수 있다. 제1 및 제2 추출 파라미터를 업데이트하여, 더 정확하게 교차 라인을 추출할 수 있다.
이와 관련하여, 구체적인 내용은 도 4에서 후술될 것이다.
작물 생장 측정 방법은 작물의 측정 대상 중 줄기와 화방을 구분하여 라벨링하는 라벨링 단계를 더 포함할 수 있다. 라벨링 단계에서, 화방 박스 정보의 적어도 일부가 줄기 세그멘테이션 정보의 결과에 따른 작물의 줄기에 교차되도록 할 수 있다. 이때, 작물의 줄기에 교차되는 부분은 화방 박스 정보의 최저점일 수 있다.
작물의 줄기 세그멘테이션 정보를 추출하는 단계(S15) 및 작물의 화방 박스 정보를 추출하는 단계(S17)는 라벨링 단계에 기초하여, 각각 줄기 세그멘테이션 정보와 화방 박스 정보를 추출할 수 있다.
도 3은 본 발명의 일 실시예에 따른 생장 측정 대상 작물을 인식하는 단계를 도시한 순서도이다.
도 3을 참조하면, 생장 측정 대상 작물을 인식하는 단계(S13)는 인식 임계치 및 작물의 구분 기준 설정 단계(S131), 학습된 파일 로딩 단계(S133), 학습된 파일과 현재의 영상을 비교하기 위해 준비하는 단계(S135), 및 대상물 정확도가 임계치보다 큰지의 여부를 판단하는 단계(S137)를 포함할 수 있다.
인식 임계치 및 작물의 구분 기준 설정 단계(S131)는 작물 별로 인식 하기위해 임계치를 정하고, 각 작물의 종류, 구성 등을 구분하기 위한 기준을 설정할 수 있다. 이때, 작물의 구성은 생장점, 화방, 및 줄기 중 적어도 하나일 수 있다.
학습된 파일 로딩 단계(S133)는 제1 추출 파라미터 및 제2 추출 파라미터로 학습된 작물의 영상을 로딩하는 단계일 수 있다.제1 추출 파라미터 및 제2 추출 파라미터는 S131 단계에서 설정된 기준에 기반하여 학습된 알고리즘일 수 있다. 예를 들어, 제1 추출 파라미터 및 제2 추출 파라미터는 R-CNN 및 YOLACT과 같은 세그멘테이션 툴 기반의 알고리즘일 수 있다. 제1 추출 파라미터 및 제2 추출 파라미터는 M(Restricted Boltzmann Machine), Autoencoder, Convolutional Neural Network, Recurrent Neural Network, 및 Deep Q-Network과 같은 딥러닝 알고리즘으로 학습 및 업데이트될 수 있다.
학습된 파일과 현재의 영상을 비교하기 위해 준비하는 단계(S135)는 현재의 작물의 영상을 입력받는 단계(S11)와 기설정된 기준으로 학습된 파일을 로딩받는 단계(S133)를 비교하기 위해 준비하는 단계일 수 있다.
대상물 정확도가 임계치보다 큰지의 여부를 판단하는 단계(S137)는 대상물의 정확도를 기설정된 인식 임계치보다 큰지 판단하여, 대상물의 정확도가 기설정된 인식 임계치보다 클 경우, 생장 측정 대상 작물이 정확하게 인식되었다고 판단할 수 있다. 이 경우, 작물의 줄기 세그멘테이션 정보를 추출하는 단계(S15)로 넘어갈 수 있다. 그러나, 대상물의 정확도가 기설정된 인식 임계치보다 작을 경우, 생장 측정 대상 작물의 인식이 정확하지 않다고 판단할 수 있다. 이 경우에 학습된 파일과 현재의 영상을 비교하기 위한 준비 단계(S135)로 되돌아 갈 수 있다.
도 4는 본 발명의 일 실시예에 따른 작물의 생장 길이 및 화방 부근의 줄기 굵기 중 적어도 하나를 측정하는 단계를 구체적으로 도시한 순서도이다.
도 4를 참조하면, 화방 박스 정보의 최저점을 추출하는 단계(S191), 줄기 세그멘테이션 정보의 최고점을 추출하는 단계(S193), 및 생장 길이를 계산하는 단계(S195)를 포함할 수 있다.
화방 박스 정보의 최저점을 추출하는 단계(S191)는 라벨링 단계에서 작물의 줄기와 화방 박스의 적어도 일부가 겹치도록 되어 있어, 화방 박스 정보와 줄기 세그멘테이션 정보가 교차하는 부분을 추출하는 단계일 수 있다. 일 실시예에 있어서, 교차하는 부분 중 가장 아래에 있는 최저점 부분을 추출할 수 있다.
줄기 세그멘테이션 정보의 최고점을 추출하는 단계(S193)는 작물의 생장점을 추출하는 단계일 수 있다. 줄기 세그멘테이션 정보의 최고점은 줄기의 최상단으로, 작물의 생장점일 수 있다.
일 실시예에 있어서, 화방 박스 정보의 최저점을 추출하는 단계(S191)와 줄기 세그멘테이션 정보의 최고점을 추출하는 단계(S193)의 순서는 서로 변경될 수 있다. 예를 들어, 줄기 세그멘테이션 정보의 최고점을 추출하는 단계(S193)를 먼저 진행하고, 화방 박스 정보의 최저점을 추출하는 단계(S191)를 진행할 수 있다.
생장 길이를 계산하는 단계(S195)는 [줄기 세그멘테이션 정보의 최고점 - 화방 박스 정보의 최저점]을 계산하는 것 일 수 있다. 즉, 생장점의 위치에서 교차 라인까지의 차이를 계산하는 단계일 수 있다.
일 실시예에 있어서, 최저점과 최고점은 각각 수치적으로 계산할 수 있으며, 이미지를 비교하여 이미지 결과로부터 수치를 추출할 수도 있다.
종래의 세그멘테이션 알고리즘의 경우, 매번 수확물을 따서 측정해야하는 문제가 발생할 수 있다. 이에 더해, 단순히 열매의 크기로만 측정하기 어려운 경우와 매번 측정하여야하는 열매 위치가 다를 수 있기 때문에, 일률적인 측정방법이 되기 어렵다는 문제점이 발생할 수 있다. 그러나, 본 발명의 경우, 딥러닝 알고리즘으로 제1 및 제2 추출 파라미터를 학습하여, 간단하고 정확하게 자동으로 작물의 생육 길이를 추출할 수 있다.
화방 부근의 줄기 굵기를 측정하는 단계는 화방 박스 정보의 최저점을 추출하는 단계(S193) 및 화방 부근의 줄기 굵기를 계산하는 단계(S199)를 포함할 수 있다.
화방 박스 정보의 최저점을 추출하는 단계(S191)는 작물의 생장 길이를 측정하기 위해 필요한 화방 박스 정보의 최저점을 추출하는 단계(S191)와 동일할 수 있다.
화방 부근의 줄기 굵기를 계산하는 단계(S199)는 화방 박스 정보의 최저점과 줄기 세그멘테이션 정보의 교차 라인의 길이를 계산하는 것일 수 있다. 즉, 화방 박스 정보의 최저점과 줄기 세그멘테이션 정보에 따른 줄기의 교차 부분의 길이를 측정한 것일 수 있다. 교차 라인은 세그멘테이션을 통해 인식한 작물의 줄기 부분과 화방 박스 정보의 최저점이 교차되는 부분을 라인으로 나타낸 것 일 수 있다.
종래의 박스 인식의 경우 오차가 커서 추가의 알고리즘이 필요하고, 농작물의 생육은 상황마다 다르기 때문에 표준적인 알고리즘이 필요해 상용화에 어려움이 있다는 문제점이 있었다. 하지만, 본 발명의 경우, 간단하고 정확하게 화방 부근의 줄기 굵기를 구할 수 있다.
이와 같이, 본 발명의 작물 생육 장치 및 그 방법을 통해 작물의 생장 길이 및 화방을 굵기를 보다 정확하게 구할 수 있다. 또한, 사람의 작업이 많이 필요하는 측정 부분을 자동화할 수 있어서, 작물 생장 분석에 필요한 자료 취득을 용이하게 할 수 있다.
도 5는 본 발명의 일 실시예에 따른 작물 생장 측정 장치에 대한 블록도이다.
도 5를 참조하면, 작물 생장 측정 장치(10)는 영상 입력부(100), 측정 대상 인식부(200), 줄기 세그멘테이션부(400), 화방 박스 작업부(500), 및 생장 계산부(600)를 포함할 수 있다.
영상 입력부(100)는 작물을 촬영한 영상을 입력받을 수 있다. 영상은 카메라를 통해 촬영될 수 있다. 이때, 카메라는 IP카메라, HD-SDI 카메라, 아날로그 카메라, 화재감지 컬러카메라, 열화상 카메라, SD(720x486, NTSC)급의 해상도에서 HD(1920x5080, HD5080p) 카메라, IP줌 스피드 카메라, CCTV 카메라, Depth 카메라 중 적어도 하나일 수 있다. 카메라는 고정되어 설치될 수 있으며, 실시간으로 작물의 생장변화를 확인할 수 있다. 일 실시예에 있어서, Depth 카메라는 작물의 절대 크기를 제공할 수 있다.
측정 대상 인식부(200)는 작물 별로 기설정된 임계값에 기초하여, 영상에서 생장 측정 대상 작물을 인식할 수 있다. 영상 내의 작물은 획일적으로 생장하지 않기 때문에, 영상 내에 생장 측정 대상이 되는 작물을 인식할 필요가 있다.
일 실시예에 있어서, 작물을 인식하기 위해 딥러닝 기술을 이용할 수 있다. 딥러닝 기술을 이용하기 위해, 여러 각도와 위치에서의 대상 작물의 사진을 수집할 수 있다. 또한, 정확성을 높이기 위하여, 영상 기법을 사용하여, 대상 작물의 사진을 크기 별, 각도 별로 x n개의 수량으로 증가시킬 수 있다.
작물 생장 측정 장치는 작물의 측정 대상 중 줄기와 화방을 구분하여 라벨링하는 작물 라벨링부(300)를 더 포함할 수 있다. 작물 라벨링부(300)에서, 화방 박스 정보의 적어도 일부가 줄기 세그멘테이션 정보의 결과에 따른 작물의 줄기에 교차되도록 할 수 있다. 이때, 작물의 줄기 부분에 교차되는 부분은 화방 박스 정보의 최저점일 수 있다.
줄기 세그멘테이션부(400)는 제1 추출 파라미터에 기초하여, 영상에서 인식된 생장 측정 대상 작물의 줄기 세그멘테이션 정보를 추출할 수 있다. 일 실시예에 있어서, 줄기 세그멘테이션 정보는 세그멘테이션화된 작물의 줄기일 수 있다. 즉, 줄기 세그멘테이션 정보는 작물의 줄기만을 추출한 정보일 수 있다.
작물의 화방 박스 작업부(500)는 제2 추출 파라미터에 기초하여, 영상에서 인식된 상기 작물의 측정 대상의 화방 박스 정보를 추출할 수 있다. 일 실시예에 있어서, 화방 박스 정보는 꽃과 꽃의 줄기까지를 박스 처리한 정보일 수 있다.
줄기 세그멘테이션부(400) 및 작물의 화방 박스 작업부(500)는 작물 라벨링부(300)에 기초하여, 각각 줄기 세그멘테이션 정보와 화방 박스 정보를 추출할 수 있다.
생장 계산부(600)는 줄기 세그멘테이션 정보와 화방 박스 정보의 교차 정보에 기반하여 작물의 생장 길이 및 화방 부근의 줄기 굵기 중 적어도 하나를 측정할 수 있다.
일 실시예에 있어서, 줄기 세그멘테이션 정보의 최고점과 화방 박스 정보의 최저점의 차이를 측정하여, 작물의 생장 길이를 측정할 수 있다.
일 실시예에 있어서, 고정 설치된 카메라를 통해 작물의 생장 변화를 실시간으로 측정하여, 기존의 레퍼런스 값과 비교함으로써, 작물의 생장 길이를 측정할 수 있다. 예를 들어, 기존의 레퍼런스 값은 전날 작물의 생장값일 수 있다.
일 실시예에 있어서, 줄기 세그멘테이션 정보와 화방 박스 정보의 교차부분에 생성된 교차 라인의 길이를 측정하여 작물의 굵기를 측정할 수 있다. 교차 라인은 화방과 가까운 줄기 부분으로부터 화방과 먼 줄기 부분까지의 거리일 수 있다. 예를 들어, 교차 라인은 교차 지점으로부터 줄기까지의 최단 거리로 결정될 수 있다.
일 실시예에 있어서, Depth 카메라를 이용하여 영상과 작물의 절대 크기를 입력받아, 작물의 생장 길이 및 화방 부근의 줄기 굵기 중 적어도 하나를 측정하여 생장 측정의 정확도를 높일 수 있다.
일 실시예에 있어서, 교차 라인과 교차 정보는 기설정된 임계치 정보에 기초하여 결정될 수 있다. 또한, 교차 라인과 같이 측정된 정보 및 작물의 정보는 제1 및 제2 추출 파라미터에 업데이트 될 수 있다.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수 도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
도 6은 본 발명의 일 실시예에 따른 화방 부근의 줄기 굵기 측정 방법을 나타낸 도면이다.
도 6을 참조하면, 작물의 화방 부근의 줄기 굵기는 줄기(410)와 화방(510)에 기초하여 결정될 수 있다. 편의를 위해 작물의 줄기와 화방을 제외한 잎은 생략되었다.
도 6에서 확인할 수 있는 바와 같이, 줄기(410)와 화방(510)의 교차부분에 생성된 교차 라인(415)의 길이를 측정하여 작물의 굵기를 측정할 수 있다. 이때, 교차 라인(415)은 줄기 세그멘테이션으로부터 추출된 작물의 줄기와 화방 박스 정보의 최저점의 교차 부분일 수 있다. 즉, W는 교차 라인의 길이이며, 화방 부근의 줄기 굵기일 수 있다.
일 실시예에 있어서, 줄기는 제1 라인(411)과 제2 라인(412)을 포함할 수 있으며, 제2 라인(412)은 화방 박스 정보(510)와 교차되는 라인일 수 있다. 교차 라인(415)은 제2 라인(412)에서 화방 박스 정보(510)의 최저점 부분과 제1 라인(411)까지의 거리로 결정될 수 있다.
일 실시예에 있어서, 화방 부근의 줄기 굵기는 개화된 첫 화방 부근의 줄기 두께일 수 있다. 즉, 화방 자체의 줄기의 굵기가 아닌, 화방과 접하는 줄기 부분의 두께 또는 화방이 개화되는 줄기 부분의 두께를 의미한다. 화방 부근의 줄기 굵기 W는 줄기 세그멘테이션 정보(410)와 화방 박스 정보(510)가 교차되는 부분을 작물의 줄기 상에 라인으로 나타낸 것일 수 있다. 이때, 라인은 줄기 상에 나타낼 수 있는 길이 중 최단 길이일 수 있다.
일 실시예에 있어서, 작물의 생장 길이는 생장점으로부터, 화방이 개화된 줄기 부분까지의 길이일 수 있으며, 여기서 화방은 첫 개화된 화방, 즉, 줄기의 생장점에 가장 인접한 화방을 의미할 수 있다. 작물의 생장 길이는 H로, 교차 라인으로부터 생장점까지의 최단 길이일 수 있다.
도 7은 본 발명의 일 실시예에 따른 작물 생장 측정 시스템을 나타낸 도면이다.
도 7을 참조하면, 작물 생장 측정 시스템은 작물 생장 측정 장치(10), 카메라(30), 및 사용자 단말(50)을 포함할 수 있다.
작물 생장 측정 장치(10)는 도 5에 개시된 작물 생장 측정 장치(10)와 동일할 수 있다.
카메라(30)는 작물을 촬영하기 위한 것 일 수 있다. 카메라(30)는 IP카메라, HD-SDI 카메라, 아날로그 카메라, 화재감지 컬러카메라, 열화상 카메라, SD(720x486, NTSC)급의 해상도에서 HD(1920x5080, HD5080p) 카메라, IP줌 스피드 카메라, CCTV 카메라, Depth 카메라 중 적어도 하나일 수 있다. 카메라는 고정되어 설치될 수 있으며, 실시간으로 작물의 생장변화를 확인할 수 있다. 이때, Depth 카메라는 작물의 절대 크기를 구할 수 있다.
사용자 단말(50)은 작물 생장 측정 장치의 정보를 표시할 수 있다. 재배자는 자신의 사용자 단말(50)을 통해 현재 생육 중인 작물의 생육 측정대상의 생육 상태를 손쉽게 확인할 수 있다. 따라서, 상기 재배자는 상기 작물이 정상적으로 생장하고 있는지 판단할 수 있고, 만약 생장이 원활하게 이루어지지 않는다고 판단되는 작물에 대해서는 보다 많은 양의 비료 또는 영양제를 공급하는 등의 재배과정을 변화시킬 수 있다.
사용자 단말(50)은 유선단말 또는 무선단말을 포함하는 광범위한 개념으로, PC(Personal Computer), IP 텔레비전(Internet Protocol Television), 노트형 퍼스컴(Notebook-sized personal computer), PDA(Personal Digital Assistant), 스마트폰, IMT-2000(International Mobile Telecommunication 2000)폰, GSM(Global System for Mobile Communication)폰, GPRS(General Packet Radio Service)폰, WCDMA(Wideband Code Division Multiple Access)폰, UMTS(Universal Mobile Telecommunication Service)폰, MBS(Mobile Broadband System)폰 등을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 컴퓨터프로그램은 컴퓨터에 작물을 촬영한 영상을 입력받는 단계, 제1 추출 파라미터에 기초하여, 상기 영상에서 인식된 상기 작물의 측정 대상의 줄기 세그멘테이션 정보를 추출하는 단계, 제2 추출 파라미터에 기초하여, 상기 영상에서 인식된 상기 작물의 화방 박스 정보를 추출하는 단계, 상기 줄기 세그멘테이션 정보와 상기 화방 박스 정보의 교차 정보에 기반하여 상기 작물의 생장 길이 및 화방 부근의 줄기 굵기 중 적어도 하나를 측정하는 단계를 실행시키기 위하여 매체에 저장될 수 있다.
컴퓨터 프로그램은 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
10 : 작물 생장 측정 장치
30 : 카메라
50 : 사용자 단말
100 : 영상 입력부
200 : 측정 대상 인식부
300 : 작물 라벨링부
400 : 줄기 세그멘테이션부
410 : 줄기
411 : 제1 라인
412 : 제2 라인
415 : 교차 라인
500 : 화방 박스 작업부
510 : 화방
600 : 생장 계산부
30 : 카메라
50 : 사용자 단말
100 : 영상 입력부
200 : 측정 대상 인식부
300 : 작물 라벨링부
400 : 줄기 세그멘테이션부
410 : 줄기
411 : 제1 라인
412 : 제2 라인
415 : 교차 라인
500 : 화방 박스 작업부
510 : 화방
600 : 생장 계산부
Claims (15)
- 작물 생장 측정 방법에 있어서,
작물을 촬영한 영상을 입력받는 단계;
제1 추출 파라미터에 기초하여, 상기 영상에서 인식된 상기 작물의 측정 대상의 줄기 세그멘테이션 정보를 추출하는 단계;
제2 추출 파라미터에 기초하여, 상기 영상에서 인식된 상기 작물의 측정 대상의 화방 박스 정보를 추출하는 단계; 및
상기 줄기 세그멘테이션 정보와 상기 화방 박스 정보의 교차 정보에 기반하여 상기 작물의 생장 길이 및 화방 부근의 줄기 굵기 중 적어도 하나를 측정하는 단계를 포함하고,
상기 작물의 생장 길이 및 화방 부근의 줄기 굵기 중 적어도 하나를 측정하는 단계는,
상기 줄기 세그멘테이션 정보의 최고점과 상기 화방 박스 정보의 최저점의 차이를 측정하여 상기 작물의 생장 길이를 계산하는 단계를 포함하는 작물 생장 측정 방법. - 삭제
- 제1항에 있어서,
상기 작물의 생장 길이 및 화방 부근의 줄기 굵기 중 적어도 하나를 측정하는 단계는,
상기 줄기 세그멘테이션 정보와 상기 화방 박스 정보의 교차부분에 생성된 교차 라인의 길이를 측정하여 상기 작물의 화방 부근의 줄기 굵기를 계산하는 단계를 더 포함하는 작물 생장 측정 방법. - 제1항에 있어서,
상기 영상을 입력받는 단계 이후에,
상기 작물 별로 기설정된 임계값에 기초하여, 상기 영상에서 생장 측정 대상 작물을 인식하는 단계를 더 포함하는 작물 생장 측정 방법. - 제1항에 있어서,
상기 작물의 측정 대상 중 줄기와 화방을 구분하여 라벨링하는 라벨링 단계를 더 포함하며,
상기 라벨링 단계에서, 상기 화방 박스 정보의 최저점의 적어도 일부가 상기 줄기 세그멘테이션 정보의 결과에 따른 상기 작물의 줄기에 교차되도록하는 작물 생장 측정 방법. - 제1항에 있어서,
상기 작물의 생장 길이 및 화방 부근의 줄기 굵기 중 적어도 하나를 측정하는 단계에서, 고정설치된 카메라를 통해 상기 작물의 생장 변화를 실시간으로 측정하여, 레퍼런스 값과 비교함으로써, 상기 작물의 생장 길이를 측정하는 작물 생장 측정 방법. - 제6항에 있어서,
상기 작물의 생장 길이 및 화방 부근의 줄기 굵기 중 적어도 하나를 측정하는 단계에서, 상기 카메라 중 Depth 카메라를 이용하여 상기 영상과 상기 작물의 절대 크기를 입력받아, 상기 작물의 생장 길이 및 상기 화방 부근의 줄기 굵기 중 적어도 하나를 추출하는 작물 생장 측정 방법. - 제1항에 있어서,
상기 제1 추출 파라미터는 상기 측정 대상의 줄기 세그멘테이션에 사용되는 객체 정보를 포함하고,
상기 제2 추출 파라미터는 상기 측정 대상의 화방 박스 정보를 추출하기 위해 사용되는 객체 정보를 포함하며,
상기 줄기 세그멘테이션 정보와 상기 화방 박스 정보의 교차부분에 생성된 교차 라인 및 상기 작물의 정보 중 적어도 하나를 이용하여 상기 제1 및 제2 파라미터를 업데이트하는 단계를 포함하는 작물 생장 측정 방법. - 작물을 촬영한 영상을 입력받는 영상 입력부;
제1 추출 파라미터에 기초하여, 상기 영상에서 인식된 상기 작물의 측정 대상의 줄기 세그멘테이션 정보를 추출하는 줄기 세그멘테이션부;
제2 추출 파라미터에 기초하여, 상기 영상에서 인식된 상기 작물의 화방 박스 정보를 추출하는 화방 박스 작업부; 및
상기 줄기 세그멘테이션 정보와 상기 화방 박스 정보의 교차 정보에 기반하여 상기 작물의 생장 길이 및 화방 부근의 줄기 굵기 중 적어도 하나를 측정하는 생장 계산부를 포함하고,
상기 생장 계산부는 상기 줄기 세그멘테이션 정보의 최고점과 상기 화방 박스 정보의 최저점의 차이를 측정하여 상기 작물의 생장 길이를 계산하는 작물 생장 측정 장치. - 삭제
- 제9항에 있어서,
상기 생장 계산부는 상기 줄기 세그멘테이션 정보와 상기 화방 박스 정보의 교차부분에 생성된 교차 라인의 길이를 측정하여 화방 부근의 줄기 굵기를 계산하는 작물 생장 측정 장치. - 제9항에 있어서,
상기 줄기 세그멘테이션 정보와 상기 화방 박스 정보를 이용하여, 상기 작물의 측정 대상 중 줄기와 화방을 구분하여 라벨링하는 작물 라벨링부를 더 포함하며,
상기 작물 라벨링부에서, 상기 화방 박스 정보의 최저점의 적어도 일부가 상기 줄기 세그멘테이션 정보의 결과에 따른 상기 작물의 줄기에 교차되도록하는 작물 생장 측정 장치. - 제9항에 있어서,
상기 생장 계산부는 고정설치된 카메라를 통해 상기 작물의 생장 변화를 실시간으로 측정하여, 레퍼런스 값과 비교함으로써, 상기 작물의 생장 길이를 측정하는 작물 생장 측정 장치. - 작물 생장 측정 장치;
작물을 촬영하기 위한 카메라; 및
상기 작물 생장 측정 장치의 정보를 표시하는 사용자 단말을 포함하며,
상기 작물 생장 측정 장치는,
작물을 촬영한 영상을 입력받는 영상 입력부;
제1 추출 파라미터에 기초하여, 상기 영상에서 인식된 상기 작물의 측정 대상의 줄기 세그멘테이션 정보를 추출하는 줄기 세그멘테이션부;
제2 추출 파라미터에 기초하여, 상기 영상에서 인식된 상기 작물의 화방 박스 정보를 추출하는 화방 박스 작업부; 및
상기 줄기 세그멘테이션 정보와 상기 화방 박스 정보의 교차 정보에 기반하여 상기 작물의 생장 길이 및 화방 부근의 줄기 굵기 중 적어도 하나를 측정하는 생장 계산부를 포함하고,
상기 생장 계산부는 상기 줄기 세그멘테이션 정보의 최고점과 상기 화방 박스 정보의 최저점의 차이를 측정하여 상기 작물의 생장 길이를 계산하는 작물 생장 측정 시스템. - 컴퓨터에 작물 생장 측정 방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램으로서,
상기 작물 생장 측정 방법은,
작물을 촬영한 영상을 입력받는 단계;
제1 추출 파라미터에 기초하여, 상기 영상에서 인식된 상기 작물의 측정 대상의 줄기 세그멘테이션 정보를 추출하는 단계;
제2 추출 파라미터에 기초하여, 상기 영상에서 인식된 상기 작물의 화방 박스 정보를 추출하는 단계;
상기 줄기 세그멘테이션 정보와 상기 화방 박스 정보의 교차 정보에 기반하여 상기 작물의 생장 길이 및 화방 부근의 줄기 굵기 중 적어도 하나를 측정하는 단계를 포함하고,
상기 작물의 생장 길이 및 화방 부근의 줄기 굵기 중 적어도 하나를 측정하는 단계는,
상기 줄기 세그멘테이션 정보의 최고점과 상기 화방 박스 정보의 최저점의 차이를 측정하여 상기 작물의 생장 길이를 계산하는 단계를 포함하는, 매체에 저장된 컴퓨터프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200145452A KR102531781B1 (ko) | 2020-11-03 | 2020-11-03 | 딥러닝 세그멘테이션 인식 기술을 이용한 작물 생장 측정 장치 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200145452A KR102531781B1 (ko) | 2020-11-03 | 2020-11-03 | 딥러닝 세그멘테이션 인식 기술을 이용한 작물 생장 측정 장치 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220059820A KR20220059820A (ko) | 2022-05-10 |
| KR102531781B1 true KR102531781B1 (ko) | 2023-05-12 |
Family
ID=81591889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200145452A KR102531781B1 (ko) | 2020-11-03 | 2020-11-03 | 딥러닝 세그멘테이션 인식 기술을 이용한 작물 생장 측정 장치 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102531781B1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116147508B (zh) * | 2022-10-18 | 2023-09-19 | 广西科技大学 | 一种用于甘蔗收割机的蔗稍高度视觉测量方法 |
| KR20240067500A (ko) * | 2022-11-09 | 2024-05-17 | 주식회사 아비넨 | 딥러닝을 이용한 작물 생장률 모니터링 시스템 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3234411B2 (ja) * | 1994-09-07 | 2001-12-04 | 株式会社マキ製作所 | 花茎の中心線を求める方法 |
| JP2017042133A (ja) * | 2015-08-28 | 2017-03-02 | 株式会社日立製作所 | 植物生長速度算出システム、及び植物生長速度算出方法 |
| KR101752313B1 (ko) | 2015-11-13 | 2017-07-12 | 사단법인 한국온실작물연구소 | L(Lindenmayer) 시스템과 이미지 및 빔 척도를 이용한 작물체 초장 및 생육량 측정 시스템 |
| JP2018143214A (ja) | 2017-03-09 | 2018-09-20 | パナソニック株式会社 | 果梗位置推定装置および果梗位置推定方法 |
| US20200355829A1 (en) | 2013-07-11 | 2020-11-12 | Blue River Technology Inc. | Plant treatment based on morphological and physiological measurements |
-
2020
- 2020-11-03 KR KR1020200145452A patent/KR102531781B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3234411B2 (ja) * | 1994-09-07 | 2001-12-04 | 株式会社マキ製作所 | 花茎の中心線を求める方法 |
| US20200355829A1 (en) | 2013-07-11 | 2020-11-12 | Blue River Technology Inc. | Plant treatment based on morphological and physiological measurements |
| JP2017042133A (ja) * | 2015-08-28 | 2017-03-02 | 株式会社日立製作所 | 植物生長速度算出システム、及び植物生長速度算出方法 |
| KR101752313B1 (ko) | 2015-11-13 | 2017-07-12 | 사단법인 한국온실작물연구소 | L(Lindenmayer) 시스템과 이미지 및 빔 척도를 이용한 작물체 초장 및 생육량 측정 시스템 |
| JP2018143214A (ja) | 2017-03-09 | 2018-09-20 | パナソニック株式会社 | 果梗位置推定装置および果梗位置推定方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220059820A (ko) | 2022-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102306304B (zh) | 人脸遮挡物识别方法及其装置 | |
| KR101832724B1 (ko) | 영상이미지를 통한 농작물 생육 진단 시스템 및 방법 | |
| KR101822410B1 (ko) | 작물 영상을 사용한 작물 생육 진단 장치 | |
| US20050286760A1 (en) | Method for associating stereo image and three-dimensional data preparation system | |
| CN109977813A (zh) | 一种基于深度学习框架的巡检机器人目标定位方法 | |
| KR102531781B1 (ko) | 딥러닝 세그멘테이션 인식 기술을 이용한 작물 생장 측정 장치 및 그 방법 | |
| EP3642792A1 (en) | Data processing of images of a crop | |
| CN110084842B (zh) | 一种机器人云台伺服二次对准方法及装置 | |
| CN111476785B (zh) | 基于位置记录的夜间红外反光水尺检测方法 | |
| US20180121726A1 (en) | Plot gap identification | |
| CN106446002A (zh) | 一种基于运动目标在地图中轨迹的视频检索方法 | |
| CN108829762B (zh) | 基于视觉的小目标识别方法和装置 | |
| CN104732564A (zh) | 一种玉米叶面积无损动态监测装置与方法 | |
| CN109470179A (zh) | 一种大规模水耕蔬菜长势检测系统及方法 | |
| US20180121725A1 (en) | Plot gap identification | |
| CN114359817A (zh) | 基于出入口人行识别的人流量测量方法 | |
| CN113610890A (zh) | 一种基于多路摄像头的实时人员轨迹二维平面显示方法 | |
| CN108874910B (zh) | 基于视觉的小目标识别系统 | |
| CN113778091A (zh) | 一种风电场升压站设备巡检方法 | |
| KR20180086832A (ko) | 영상기반 작물 생육데이터 측정 모바일 앱 및 그 디바이스 | |
| CN117593341B (zh) | 一种基于打猎相机目标物监控数据的处理系统及方法 | |
| KR101525915B1 (ko) | 대상물 정보제공시스템 및 대상물 정보제공장치와 대상물 정보제공방법 | |
| CN112184814A (zh) | 定位方法和定位系统 | |
| CN117558026A (zh) | 一种规模化牧场基于ai眼镜识别牛只的方法及系统 | |
| CN111627059A (zh) | 一种棉花叶片中心点位置定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20201103 |
|
| PA0201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20220415 Patent event code: PE09021S01D |
|
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20221020 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20230403 |
|
| GRNT | Written decision to grant | ||
| PR0702 | Registration of establishment of national patent |
Patent event code: PR07021E01D Comment text: Registration of Establishment of National Patent Patent event date: 20230509 |
|
| PR1002 | Payment of registration fee |
Payment date: 20230509 End annual number: 20 Start annual number: 1 |
|
| PG1601 | Publication of registration |