KR101763835B1 - 군락에서 영상이미지를 통한 작물기관별 이미지식별시스템 - Google Patents

군락에서 영상이미지를 통한 작물기관별 이미지식별시스템 Download PDF

Info

Publication number
KR101763835B1
KR101763835B1 KR1020150159043A KR20150159043A KR101763835B1 KR 101763835 B1 KR101763835 B1 KR 101763835B1 KR 1020150159043 A KR1020150159043 A KR 1020150159043A KR 20150159043 A KR20150159043 A KR 20150159043A KR 101763835 B1 KR101763835 B1 KR 101763835B1
Authority
KR
South Korea
Prior art keywords
crop
image
information
pixel
color
Prior art date
Application number
KR1020150159043A
Other languages
English (en)
Other versions
KR20170052416A (ko
Inventor
이영호
서범석
김찬우
Original Assignee
사단법인 한국온실작물연구소
아인정보기술 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 사단법인 한국온실작물연구소, 아인정보기술 주식회사 filed Critical 사단법인 한국온실작물연구소
Publication of KR20170052416A publication Critical patent/KR20170052416A/ko
Application granted granted Critical
Publication of KR101763835B1 publication Critical patent/KR101763835B1/ko

Links

Images

Classifications

    • G06K9/00778—
    • G06K9/4619—
    • G06K9/6202—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Mining

Abstract

본 발명은 군락에서 영상이미지를 통한 작물기관별 이미지식별시스템에 있어서, 상기 작물의 생장을 촬영하는 적어도 하나 이상의 카메라 장치, 상기 작물이 설치된 특정 군락지역의 환경 정보를 검출 수집하는 온실환경시스템 및, 상기 카메라 장치에서 촬영된 작물이 포함된 영상과 상기 온실환경시스템에서 수집된 군락지역의 환경 정보를 기반으로, 상기 작물의 생육정보를 검출하여 작물생장 추적하는 정보처리장치를 포함하고, 상기 정보처리장치는 상기 카메라 장치에서 촬영된 복수의 작물이 포함된 영상에서 작물의 기관별 위치를 식별하고, 상기 식별된 복수의 작물 기관별 개별 영상을 획득하며, 상기 획득된 각각의 작물기관에 대한 개별 영상에서 해당 작물기관의 특징을 추출하여, 작물의 생육정보를 검출 처리하는 것을 특징으로 하는 군락에서 영상이미지를 통한 작물기관별 이미지식별시스템에 관한 것으로, 기존의 작물 인식방식 즉, 개별작물을 화분을 이용하여 작물 개별을 인식하는 방식과 작물의 엽인식에 국한되어 있음으로 발생되는 문제점을 해결하여, 작물의 이미지를 작물기관별로 식별 처리함으로써, 과실 수확량예측과 생리장애 진단 등의 정확성과 신뢰성을 높인다.

Description

군락에서 영상이미지를 통한 작물기관별 이미지식별시스템{System for distinguishing image divided by crop organ using image in colony}
본 발명은 작물의 이미지식별시스템에 관한 것으로, 더욱 상세하게는 군락에서 영상이미지를 통한 작물기관별 이미지식별시스템에 관한 것이다.
종래, 작물의 이미지 식별 기술시장과 관련하여, 독일의 렘나테크(Lemnatec)가 있는데, 이러한 독일의 농업 전문회사인 렘나테크(Lemnatec)는 잎이 나고 꽃이 피고 열매가 맺히는 식물의 활동을 이미징하고 분석하는 시스템을 개발하는 기업이다. 그리고, 렘나테크의 작물 이미지 식별 시스템은 식물을 화분에서 재배하고 컨베이어를 통해 케비넷 암실에서 촬영하여 이미지를 분석하는 시스템으로 전체적으로, 설비비용이 고가이다. 다른 예로, 내비오닉스코리아가 있는데, 내비오닉스코리아의 스마트폰 기반 식물자동인식시스템은 스마트폰 기반하에서 잎 모양과 옆 테두리 인식을 위한 특정 디텍션하는 방식이며 이미지분석방식도 스마트폰을 촬영하는 사용자가 잎 가까이에서 근접 촬영하는 방식으로, 작물의 이미지 식별 시스템이 제한적이다(선행문헌 참조, 선행문헌: 대한민국 출원번호 제10-2010-0117078호, 발명의 명칭 "작물 생장 관측 방법 및 이를 위한 시스템").
본 발명은 상기한 문제점을 해결하기 위해 개발된 것으로, 기존의 작물 인식방식 즉, 개별작물을 화분을 이용하여 작물 개별 인식하는 방식과 작물의 엽인식에 국한되어 있는 문제점을 해결할 수 있도록 하는 군락에서 영상이미지를 통한 작물기관별 이미지식별시스템을 제공하는데 그 목적이 있다.
이러한 목적을 달성하기 위한 본 발명에 따른 군락에서 영상이미지를 통한 작물기관별 이미지식별시스템은,
군락에서 영상이미지를 통한 작물기관별 이미지식별시스템에 있어서, 상기 작물의 생장을 촬영하는 적어도 하나 이상의 카메라 장치, 상기 작물이 설치된 특정 군락지역의 환경 정보를 검출 수집하는 온실환경시스템 및, 상기 카메라 장치에서 촬영된 작물이 포함된 영상과 상기 온실환경시스템에서 수집된 군락지역의 환경 정보를 기반으로, 상기 작물의 생육정보를 검출하여 작물생장 추적하는 정보처리장치를 포함하고, 상기 정보처리장치는 상기 카메라 장치에서 촬영된 복수의 작물이 포함된 영상에서 작물의 기관별 위치를 식별하고, 상기 식별된 복수의 작물 기관별 개별 영상을 획득하며, 상기 획득된 각각의 작물기관에 대한 개별 영상에서 해당 작물기관의 특징을 추출하여, 작물의 생육정보를 검출 처리하는 것을 특징으로 한다.
바람직하게, 상기 정보처리장치는 상기 카메라 장치에서 촬영된 적어도 어느 하나 이상의 작물이 포함된 영상을 작물기관별로 분석하는 이미지분석엔진, 상기 이미지분석엔진에서 분석된 영상을 데이터베이스에 저장하고, 작물생장 추적하는 데이터베이스 관리부, 상기 카메라 장치에서 작물의 생장 영상이 입력된 경우, 상기 입력된 작물의 생장 영상 데이터를 촬영일시별로 자동저장하고, 상기 이미지분석엔진에서 영상 데이터가 작물기관별로 분석된 경우 작물기관별 크기 나 굵기등 생육정보를 저장하는 DB서버 및, 상기 DB에 저장된 작물의 생육정보를 기간별로 비교하여 디스플레이해서 작물의 생육상태를 확인 처리하는 정보제공 서버를 포함하는 것을 특징으로 한다.
그리고, 상기 온실환경시스템은 카메라 촬영시 해당작물의 주변습도를 측정하고 설정 부위의 온도를 측정해서, 촬영 이미지와 더불어 데이터베이스에 저장되도록 하고, 상기 카메라 장치는 온실내부에 특정작물 설정 포인트마다 작물의 상측에 설치되어 작물 엽을 촬영하는 제1 카메라 및, 상기 작물의 측면에 설치되어 작물줄기, 굵기, 화방수, 과일수를 촬영하는 제2 카메라를 포함하며, 상기 이미지분석엔진은 상기 카메라 장치에서 촬영된 이미지가 데이터베이스에 저장된 경우 자동으로 이미지분석엔진에 원본이미지를 작물 기관별로 엽, 줄기, 화방, 과일, 소엽 중 적어도 어느 하나 이상을 포함하여 분리해서 데이터베이스에 저장하고, 작물기관별로 엽장, 엽폭, 생장점길이, 생장점굵기, 경경, 화방수, 착과수, 마디길이 중 적어도 어느 하나 이상을 검출하여 데이터베이스에 저장하고, 상기 데이타베이스 관리부는 상기 이미지분석엔진에서 분석되어 데이터베이스에 저장된 작물 기관별 생육정보를 촬영된 작물과 작물의 기관별로 아이디(ID)를 부여하여 기간별로 생육상태를 추적 관리하며, 상기 정보제공 서버가 상기 DB에 저장된 작물의 생육정보를 기간별로 비교하여 디스플레이해서 작물의 생육상태를 확인 처리하는 것은 상기 DB에 저장된 작물의 엽온도변화를 기간별로 비교하여 디스플레이해서, 작물의 생육상태를 확인 처리하는 것을 특징으로 한다.
바람직하게, 상기 이미지분석엔진은 작물의 기관별 색상, 모양 패턴, 크기, 경계(edge) 정보 중 적어도 어느 하나 이상을 작물 대상에 상응하여 조합 사용해서 작물기관 대상을 검출하고, 상기 작물의 색상 정보를 사용해서 작물기관 대상을 검출하는 것은 a) RGB(Red-Green-Blue) 색 정보를 HSV(색상(Hue),채도(Saturation),진하기(Value))의 좌표를 기반으로 기설정된 특정 색을 지정) 색공간으로 변환하고, b) 상기 변환된 HSV 색공간 기반의 영상 내 해당 작물의 색특징을 가진 픽셀(Pixel)을 획득하며, c) 상기 획득된 해당 작물의 색특징을 가진 픽셀 정보에 기초하여, 화방, 과일, 줄기, 엽 중 적어도 어느 하나 이상을 포함한 작물기관 대상의 고유 특성에 맞는 특징을 추정하여, 작물기관 대상을 검출하고, 상기 색상 정보와, 상기 모양 패턴, 크기, 경계(edge) 중 적어도 어느 하나 이상의 정보를 조합하여 작물기관 대상을 검출하는 것은 a) RGB(Red-Green-Blue) 색 정보를 HSV(색상(Hue),채도(Saturation),진하기(Value))의 좌표를 기반으로 기설정된 특정 색을 지정) 색공간으로 변환하고, b) 상기 변환된 HSV 색공간 기반의 영상 내 해당 작물의 색특징과 모양 패턴특징을 가진 픽셀(Pixel)을 획득하며, c) 상기 획득된 해당 작물의 색특징과 모양 패턴을 가진 픽셀 정보에 기초하여, 화방, 과일, 줄기, 엽 중 적어도 어느 하나 이상을 포함한 작물기관 대상의 고유 특성에 맞는 특징을 추정하여, 작물기관 대상을 검출하며, 상기 모양 패턴 정보를 이용하여 작물기관 대상을 검출하는 것은 a) 작물의 기관별 고유 모양 패턴을 기반으로 픽셀 세그먼테이션(Pixel segmentation)하여, 해당 작물의 모양 패턴을 가진 픽셀(Pixel)을 획득하며, c) 상기 획득된 해당 작물의 모양 패턴을 가진 픽셀 정보에 기초하여, 화방, 과일, 줄기, 엽 중 적어도 어느 하나 이상을 포함한 작물기관 대상의 고유 특성에 맞는 특징을 추정하여, 작물기관 대상을 검출하고, 상기 작물의 기관별 고유 모양 패턴을 기반으로 픽셀 세그먼테이션(Pixel segmentation)하여, 해당 작물의 모양 패턴을 가진 픽셀(Pixel)을 획득하는 것(a))은 작물 기관별 대상의 크기나 경계(edge) 정보 중 적어도 어느 하나 이상을 포함한 정보와, 상기 작물의 기관별 고유 모양 패턴 정보를 조합하여 픽셀 세그먼테이션(Pixel segmentation)해서, 해당 작물의 모양 패턴과 크기나 경계(edge) 정보 중 적어도 어느 하나 이상을 포함한 정보를 가진 픽셀(Pixel)을 획득하는 것을 특징으로 한다.
바람직하게, 상기 화방 작물기관 대상을 검출하는 것은 a) 여러 화방대상 안의 색 값을 HSL 3차원색공간으로 변환하고, H,S,L 색값의 범위를 추정하며, b) 화방의 색특징에 상응하는 설정 H,S,L 색값의 문턱(threshold) 범위에 속하는 화소들을 화방으로 정하고, c) 상기 정해진 화방 화소를 가진 이미지를 화방과 배경의 2개값을 가지는 2값 화소로 구성하며, d) 상기 구성된 2값 화소 기반의 이미지를 모폴로지 침식(morphology erosion) 및, 확장연산자를 적용하고 연결 성분 추출 및 대상분리로, 화방대상영역을 결정하여, 상기 화방 작물기관 대상을 검출하며, 상기 열매 작물기관 대상을 검출하는 것은 a) 상기 작물의 열매모양에 상응하는 주 화소의 일정 화소 값 간 평균이나 분산 또는, 화소값 절대값 차의 평균이나 분산 특징정보 중 적어도 어느 하나 이상의 특징정보와, 기설정된 다층신경망(MLP) 기반의 열매화소 식별 관련 트레이닝 데이터셋 및, 상기 트레이닝 식별사전으로 된 식별기를 해당 작물의 원본 이미지에 적용하여 열매화소를 획득하고, b) 상기 해당 작물의 원본 이미지를 경계(edge) 처리하고 설정 횟수만큼 수축, 세선화(thining)하여 나온 이미지의 블랙(black)에 대응하여 상기 획득된 열매이미지의 화소를 제거해서, 열매가 분리된 이미지로부터 상기 열매 작물기관 대상을 검출하고, 상기 줄기 작물기관 대상을 검출하는 것은 a) 상기 작물의 줄기모양에 상응하는 주 화소의 일정 화소 값 간 평균이나 분산 또는, 화소값 절대값 차의 평균이나 분산 특징정보 중 적어도 어느 하나 이상의 특징정보와, 기설정된 다층신경망(MLP) 기반의 열매화소 식별 관련 트레이닝 데이터셋 및, 상기 트레이닝 식별사전으로 된 식별기를 해당 작물의 원본 이미지에 적용하여 줄기화소를 획득하고, b) 상기 해당 작물의 원본 이미지를 경계(edge) 처리하고 설정 횟수만큼 수축, 세선화(thining)하여 나온 이미지의 블랙(black)에 대응하여 상기 획득된 줄기이미지의 화소를 제거해서, 줄기가 분리된 이미지 중에서 높이/너비가 가장 큰 대상을 선정하여, 상기 줄기 작물기관 대상을 검출하며, 상기 엽 작물기관 대상을 검출하는 것은 a) HSL 색공간에서 칼라 클러스터링을 기반으로 엽의 색특징과 단색 배경에 상응하는 엽 영역을 검출하고, b) 모폴로지 딜레이션(morphology dilation)을 설정 횟수만큼 적용하여 마디성분을 제거하고 남은 소엽을 연결성분추출 기반으로 카운팅(counting)하며, 잎영역에 대하여 고유값 계산으로 너비, 높이, 면적, 소엽 갯수를 추출하여, 상기 엽 작물기관 대상을 검출하는 것을 특징으로 한다.
본 발명은 기존의 작물 인식방식 즉, 개별작물을 화분을 이용하여 작물 개별을 인식하는 방식과 작물의 엽인식에 국한되어 있음으로 발생되는 문제점을 해결하여, 작물의 이미지를 작물기관별로 식별 처리함으로써, 과실 수확량 예측과 생리장애 진단 등의 정확성과 신뢰성을 높인다.
도 1은 본 발명에 따른 군락에서 영상이미지를 통한 작물기관별 이미지식별시스템의 구성을 도시한 도면
도 2 내지 도 4는 본 발명에 따른 픽셀 세그먼테이션(Pixel segmentation) 동작을 설명하는 도면
도 5는 본 발명에 따른 화방 검출 동작을 설명하는 도면
도 6 내지 도 11은 본 발명에 따른 과일 검출 동작을 순서대로 설명하는 도면
도 12는 본 발명에 따른 줄기 검출 동작을 설명하는 도면
도 13a 내지 도 13b는 본 발명에 따른 엽 검출 동작을 설명하는 도면
도 14는 본 발명에 따른 영상 이미지 분석과정을 순서대로 도시한 도면
도 1은 본 발명에 따른 군락에서 영상이미지를 통한 작물기관별 이미지식별시스템의 구성을 도시한 도면이다.
도 1에 도시된 바와 같이, 본 발명에 따른 시스템은 군락에서 영상이미지를 통한 작물기관별 이미지식별시스템에 있어서, 상기 작물의 생장을 촬영하는 적어도 하나 이상의 카메라 장치, 상기 작물이 설치된 특정 군락지역의 환경 정보를 검출 수집하는 온실환경시스템(200) 및, 상기 카메라 장치에서 촬영된 복수의 작물이 포함된 영상에서 작물의 기관별 위치를 식별하고, 상기 식별된 복수의 작물 기관별 개별 영상을 획득하며, 상기 획득된 각각의 작물기관에 대한 개별 영상에서 해당 작물기관의 특징을 추출하여, 작물의 생육정보를 검출 처리하고, 작물생장 추적하는 정보처리장치(300)를 포함한다.
카메라 장치는 작물의 생장을 주/야간 촬영하는 복수개의 카메라로, 좌우 회전이 가능한 촬영 장치로 구성한다. 상기 카메라 장치는 온실내부에 특정작물 설정 포인트마다 작물의 상측에 설치되어 작물 엽을 촬영하는 제1 카메라(101) 및, 상기 작물의 측면에 설치되어 작물줄기, 굵기, 화방수, 과일수를 촬영하는 제2 카메라(102)를 포함한다.
온실환경시스템(200)은 작물이 설치된 특정 군락지역의 환경 정보를 검출 수집하는 것으로, 온도계, 습도계, 카메라가 하나의 축대에 설치되어, 설치된 특정 군락지역의 온도와 습도를 측정한다. 구체적으로, 상기 온실환경시스템(200)은 카메라 촬영시 해당작물의 주변습도를 측정하고 설정 부위의 온도를 측정해서, 촬영 이미지와 더불어 데이터베이스에 저장되도록 한다.
정보처리장치(300)는 카메라 장치에서 촬영된 복수의 작물이 포함된 영상에서 작물의 기관별 위치를 식별하고, 상기 식별된 복수의 작물 기관별 개별 영상을 획득하며, 상기 획득된 각각의 작물기관에 대한 개별 영상에서 해당 작물기관의 특징을 추출하여, 작물의 생육정보를 검출 처리하는 것이다. 상기 정보처리장치(300)는 상기 카메라 장치에서 촬영된 적어도 어느 하나 이상의 작물이 포함된 영상을 작물기관별로 분석하는 이미지분석엔진, 상기 이미지분석엔진에서 분석된 영상을 데이터베이스에 저장하고, 작물생장 추적하는 데이터베이스 관리부, 상기 카메라 장치에서 작물의 생장 영상이 입력된 경우, 상기 입력된 작물의 생장 영상 데이터를 촬영일시별로 자동저장하고, 상기 이미지분석엔진에서 영상 데이터가 작물기관별로 분석된 경우 작물기관별 크기 나 굵기등 생육정보를 저장하는 DB서버 및, 상기 DB에 저장된 작물의 생육정보를 기간별로 비교하여 디스플레이해서 작물의 생육상태를 확인 처리하는 정보제공 서버를 포함한다. 상기 이미지분석엔진은 상기 카메라 장치에서 촬영된 이미지가 데이터베이스에 저장된 경우 자동으로 이미지분석엔진에 원본이미지를 작물 기관별로 엽, 줄기, 화방, 과일, 소엽 중 적어도 어느 하나 이상을 포함하여 분리해서 데이터베이스에 저장하고, 작물기관별로 엽장, 엽폭, 생장점길이, 생장점굵기, 경경, 화방수, 착과수, 마디길이 중 적어도 어느 하나 이상을 검출하여 데이터베이스에 저장한다. 그리고, 상기 이미지분석엔진은 작물의 기관별 색상, 모양 패턴, 크기, 경계(edge) 정보 중 적어도 어느 하나 이상을 작물 대상에 상응하여 조합 사용해서 작물기관 대상을 검출하고, 상기 작물의 색상 정보를 사용해서 작물기관 대상을 검출하는 것은, a) RGB(Red-Green-Blue) 색 정보를 HSV(색상(Hue),채도(Saturation),진하기(Value))의 좌표를 기반으로 기설정된 특정 색을 지정) 색공간으로 변환하고, b) 상기 변환된 HSV 색공간 기반의 영상 내 해당 작물의 색특징을 가진 픽셀(Pixel)을 획득하며, c) 상기 획득된 해당 작물의 색특징을 가진 픽셀 정보에 기초하여, 화방, 과일, 줄기, 엽 중 적어도 어느 하나 이상을 포함한 작물기관 대상의 고유 특성에 맞는 특징을 추정하여, 작물기관 대상을 검출한다. 이때, 상기 색상 정보와, 상기 모양 패턴, 크기, 경계(edge) 중 적어도 어느 하나 이상의 정보를 조합하여 작물기관 대상을 검출하는 것은 a) RGB(Red-Green-Blue) 색 정보를 HSV(색상(Hue),채도(Saturation),진하기(Value))의 좌표를 기반으로 기설정된 특정 색을 지정) 색공간으로 변환하고, b) 상기 변환된 HSV 색공간 기반의 영상 내 해당 작물의 색특징과 모양 패턴특징을 가진 픽셀(Pixel)을 획득하며, c) 상기 획득된 해당 작물의 색특징과 모양 패턴을 가진 픽셀 정보에 기초하여, 화방, 과일, 줄기, 엽 중 적어도 어느 하나 이상을 포함한 작물기관 대상의 고유 특성에 맞는 특징을 추정하여, 작물기관 대상을 검출한다. 또한, 상기 모양 패턴 정보를 이용하여 작물기관 대상을 검출하는 것은 a) 작물의 기관별 고유 모양 패턴을 기반으로 픽셀 세그먼테이션(Pixel segmentation)하여, 해당 작물의 모양 패턴을 가진 픽셀(Pixel)을 획득하며, c) 상기 획득된 해당 작물의 모양 패턴을 가진 픽셀 정보에 기초하여, 화방, 과일, 줄기, 엽 중 적어도 어느 하나 이상을 포함한 작물기관 대상의 고유 특성에 맞는 특징을 추정하여, 작물기관 대상을 검출한다. 그리고, 상기 작물의 기관별 고유 모양 패턴을 기반으로 픽셀 세그먼테이션(Pixel segmentation)하여, 해당 작물의 모양 패턴을 가진 픽셀(Pixel)을 획득하는 것(a))은 작물 기관별 대상의 크기나 경계(edge) 정보 중 적어도 어느 하나 이상을 포함한 정보와, 상기 작물의 기관별 고유 모양 패턴 정보를 조합하여 픽셀 세그먼테이션(Pixel segmentation)해서, 해당 작물의 모양 패턴과 크기나 경계(edge) 정보 중 적어도 어느 하나 이상을 포함한 정보를 가진 픽셀(Pixel)을 획득하는 것이다. 한편, 상기 화방 작물기관 대상을 검출하는 것은 a) 여러 화방대상 안의 색 값을 HSL 3차원색공간으로 변환하고, H,S,L 색값의 범위를 추정하며, b) 화방의 색특징에 상응하는 설정 H,S,L 색값의 문턱(threshold) 범위에 속하는 화소들을 화방으로 정하고, c) 상기 정해진 화방 화소를 가진 이미지를 화방과 배경의 2개값을 가지는 2값 화소로 구성하며, d) 상기 구성된 2값 화소 기반의 이미지를 모폴로지 침식(morphology erosion) 및, 확장연산자를 적용하고 연결 성분 추출 및 대상분리로, 화방대상영역을 결정하여, 상기 화방 작물기관 대상을 검출한다. 더불어, 상기 열매 작물기관 대상을 검출하는 것은 a) 상기 작물의 열매모양에 상응하는 주 화소의 일정 화소 값 간 평균이나 분산 또는, 화소값 절대값 차의 평균이나 분산 특징정보 중 적어도 어느 하나 이상의 특징정보와, 기설정된 다층신경망(MLP) 기반의 열매화소 식별 관련 트레이닝 데이터셋 및, 상기 트레이닝 식별사전으로 된 식별기를 해당 작물의 원본 이미지에 적용하여 열매화소를 획득하고, b) 상기 해당 작물의 원본 이미지를 경계(edge) 처리하고 설정 횟수만큼 수축, 세선화(thining)하여 나온 이미지의 블랙(black)에 대응하여 상기 획득된 열매이미지의 화소를 제거해서, 열매가 분리된 이미지로부터 상기 열매 작물기관 대상을 검출한다. 그리고, 상기 줄기 작물기관 대상을 검출하는 것은 a) 상기 작물의 줄기모양에 상응하는 주 화소의 일정 화소 값 간 평균이나 분산 또는, 화소값 절대값 차의 평균이나 분산 특징정보 중 적어도 어느 하나 이상의 특징정보와, 기설정된 다층신경망(MLP) 기반의 열매화소 식별 관련 트레이닝 데이터셋 및, 상기 트레이닝 식별사전으로 된 식별기를 해당 작물의 원본 이미지에 적용하여 줄기화소를 획득하고, b) 상기 해당 작물의 원본 이미지를 경계(edge) 처리하고 설정 횟수만큼 수축, 세선화(thining)하여 나온 이미지의 블랙(black)에 대응하여 상기 획득된 줄기이미지의 화소를 제거해서, 줄기가 분리된 이미지 중에서 높이/너비가 가장 큰 대상을 선정하여, 상기 줄기 작물기관 대상을 검출한다. 또한, 상기 엽 작물기관 대상을 검출하는 것은 a) HSL 색공간에서 칼라 클러스터링을 기반으로 엽의 색특징과 단색 배경에 상응하는 엽 영역을 검출하고, b) 모폴로지 딜레이션(morphology dilation)을 설정 횟수만큼 적용하여 마디성분을 제거하고 남은 소엽을 연결성분추출 기반으로 카운팅(counting)하며, 잎영역에 대하여 고유값 계산으로 너비, 높이, 면적, 소엽 갯수를 추출하여,상기 엽 작물기관 대상을 검출한다. 한편, 상기 데이타베이스 관리부는 상기 이미지분석엔진에서 분석되어 데이터베이스에 저장된 작물 기관별 생육정보를 촬영된 작물과 작물의 기관별로 아이디(ID)를 부여하여 기간별로 생육상태를 추적 관리한다. 그리고, 상기 정보제공 서버는 상기 DB에 저장된 작물의 생육정보를 기간별로 비교하여 디스플레이해서 작물의 생육상태를 확인 처리함에 있어서, 상기 DB에 저장된 작물의 엽온도변화를 기간별로 비교하여 디스플레이해서, 작물의 생육상태를 확인 처리한다.
도 2 내지 도 4는 본 발명에 따른 픽셀 세그먼테이션(Pixel segmentation) 동작을 설명하는 도면이다.
도 2는 본 발명에 따른 HSV색정보를 이용한 픽셀 세그먼테이션(Pixel segmentation) 동작을 설명하는 도면이고, 도 3은 HSV정보와 문양(texture)정보를 이용한 픽셀 세그먼테이션(Pixel segmentation) 동작을 설명하는 도면이며, 도 4는 HSV정보와 문양(texture), 모양(shape), 크기 정보를 이용한 픽셀 세그먼테이션(Pixel segmentation) 동작을 설명하는 도면이다.
도 2 내지 도 4에 도시된 바와 같이, 본 발명은 작물의 줄기와 화방, 열매, 엽검출과 인식이 작물의 기관별 색상과 모양 패턴과 크기정보를 이용하여 진행한다. 작물의 색상은 RGB(Red-Green-Blue) 색정보를 HSV(색상(Hue), 채도(Saturation), 진하기(Value)의 좌표를 써서 특정한 색을 지정) 색공간으로 변환하여 그 작물의 색특징을 가지는 픽셀(Pixel)들을 얻어서 그에 기초하여 검출을 진행한다. 그러나, 토마토의 과일과 같이 색상면에서 점차적으로 변하는 대상에 대해서는 색정보를 이용하기 어렵다. 이때 대상의 패턴정보를 이용하여 픽셀(Pixel segmentation)을 진행한다. 이밖에도 대상의 경계(edge)정보와 크기값을 이용하여 검출정확도를 높인다. 위의 4가지특징을 결합하여 대상을 나타내는 픽셀과 배경픽셀을 갈라내는 분류기를 기계학습의 방법으로 구축하여 작물검출을 진행하는 방법을 이용한다. 그리고, 줄기와 엽, 화방과 과일의 경우에 대하여 대상의 특성에 맞는 특징을 각각 구성하여 검출기능를 작성한다.
도 5는 본 발명에 따른 화방 검출 동작을 설명하는 도면이다.
도 5에 도시된 바와 같이, 본 발명은 작물대상중 화방이 노란색을 가지며 다른 대상들에 비하여 선명한 특징이 있다. 이 때문에 색정보만으로 대상을 추출할수 있다. 구체적으로는, 여러 화방대상 안의 색 값을 HSL 3차원색공간으로 넘기고 H,S,L 색값의 범위를 추정하며, 문턱(threshold) 범위를 정하여 그 범위에 들어가는 화소들을 화방에 결정하는 단순식별 법을 적용한다. 다음, 이미지를 화방과 배경의 2개값을 가지는 2값 화소로 만들고 모폴로지 침식 연산(morphology erosion), 확장연산자를 적용하여 연결 성분 추출 및 대상분리를 진행해서 화방대상영역을 결정한다. 화방의 형태 및 특징은 다음과 같다. - 노란색꽃의 끝이 뾰족하고 꽂잎이 5장 혹은 6장이고, - 수정후에는 꽃이이 뒤로 젖혀지며, - 꽃잎을 싸고있는 5장의 별모양의 화판이 있다(길이 3cm내외, 폭 3mm이내).
도 6 내지 도 11은 본 발명에 따른 과일 검출 동작을 순서대로 설명하는 도면이다.
도 6 내지 도 11에 도시된 바와 같이, 본 발명은 열매가 둥근모양 특징으로 열매안의 화소들은 녹색 또는 적색을 가지며 둥근모양에 대상안의 화소들의 쉐도우(shade) 값이 변하는 특징이 있으며, 단순히 주요 화소의 색특징만으로는 식별이 어렵다. 이로부터 주요 화소의 일정한 화소 값들의 평균,분산,화소값 절대값차의 평균과 분산을 특징으로 하고 그 특징과 다층신경망(MLP)을 이용하여 열매화소를 식별하기 위한 트레이닝 데이터셋(Training dataset) 작성 및 트레이닝(Training)을 통한 식별사전을 작성, 식별기를 구성한다. 그리고, 이 식별기를 원본이미지 도 6에 적용하여 도 7을 얻고, 도 6의 경계(edge) 이미지 도 8을를 얻으며 그를 여러번 수축하여 도 9를 얻는다. 그런 다음, 도 9를 세선화(thining)하여 도 10을 얻고, 도 10 이미지의 블랙에 대응한 도 2 이미지의 화소를 제거(화이트로 함)하여 열매들이 분리된 도 11 이미지를 최종결과로 한다. 본 발명에 따른 과일의 형태 및 특징은 다음과 같다. 즉. - 원형에 가깝고 초기에는 꽃 화탁에 생성되고 과일이크면서 꽃이 떨어지고 과일의 색깔이 성장하면서 빨갛게 변함. - 둥근원형의 과일이 2cm이상인것 식별 이때는 꽃받침대에 같이 붙어있음. - 꽃받침이 떨어지고 과일이 점차 생장함.
도 12는 본 발명에 따른 줄기 검출 동작을 설명하는 도면이다.
도 12에 도시된 바와 같이, 본 발명은 줄기추출이 기본적으로 열매추출과 같지만 트레이닝(Training) 패턴의 준비(Training dataset) 방법이 차이난다. 도 11의 이미지를 얻은 후 높이/너비가 가장 큰 대상하나를 출력결과로 한다. 줄기의 형태 및 특징은 다음과 같다. - 수직형태이며 일정간격으로 엽,측지,화방이 생장됨. - 색상은 연녹색이며 줄기몸체에 가는털이 있음 굵기 2cm 내외. - 식물체의 주축
도 13a와 도 13b는 본 발명에 따른 엽 검출 동작을 설명하는 도면이다.
도 13a와 도 13b에 도시된 바와 같이, 본 발명은 엽이 현재 배경이 단색인 경우를 가정하고 있으며, 먼저 HSL색공간에서의 칼라 클러스터링(color clustering)을 이용하여 엽 영역을 찾는다. 그런 다음, 모폴로지 딜레이션(morphology dilation)을 여러번 적용하여 마디성분을 제거하고 소엽만 남긴다. 그리고, 이 소엽들을 연결성분추출법으로 카운팅(counting)하며 잎영역에 대하여 고유값계산의 방법으로 너비, 높이, 면적, 소엽 갯수를 추출한다. 엽의 형태 및 특징은 다음과 같다. - 줄기에서 나온 엽병에 깃털모양의 소엽이 붙어있음. 엽병이 줄기와 90도에서 + - 30도 이내에 있음. - 소엽의 엽선이 톱니모양의 예각이고 소엽의 끝이 뾰족함. - 소엽은 주맥과 측맥이 있으며 측맥이 주맥족으로 깊이 들어가 있음. - 엽은 녹색 엽맥(주맥,측맥)은 약간 흰색과 회색을 가짐
도 14는 본 발명에 따른 영상 이미지 분석과정을 순서대로 도시한 도면이다.
도 14에 도시된 바와 같이, 본 발명에 따른 영상 이미지 분석과정은 카메라 장치에서 촬영된 복수의 작물이 포함된 영상에서 작물의 기관별 위치를 식별하고, 상기 식별된 복수의 작물 기관별 개별 영상을 획득하며, 상기 획득된 각각의 작물기관에 대한 개별 영상에서 해당 작물기관의 특징을 추출하는 방식으로, 작물 대상에 맞게 이루어진다.
그리고, 상기 카메라 장치에서 촬영된 이미지가 데이터베이스에 저장된 경우 자동으로 이미지분석엔진에 원본이미지를 작물 기관별로 엽, 줄기, 화방, 과일, 소엽 중 적어도 어느 하나 이상을 포함하여 분리해서 데이터베이스에 저장하고, 작물기관별로 엽장, 엽폭, 생장점길이, 생장점굵기, 경경, 화방수, 착과수, 마디길이 중 적어도 어느 하나 이상을 검출하여 데이터베이스에 저장한다.
구체적으로는 다음과 같다.
먼저, 작물의 기관별 색상, 모양 패턴, 크기, 경계(edge) 정보 중 적어도 어느 하나 이상을 작물 대상에 상응하여 조합 사용해서 작물기관 대상을 검출한다.
이때, 상기 작물의 색상 정보를 사용해서 작물기관 대상을 검출하는 것은 a) RGB(Red-Green-Blue) 색 정보를 HSV(색상(Hue),채도(Saturation),진하기(Value))의 좌표를 기반으로 기설정된 특정 색을 지정) 색공간으로 변환하고, b) 상기 변환된 HSV 색공간 기반의 영상 내 해당 작물의 색특징을 가진 픽셀(Pixel)을 획득하며, c) 상기 획득된 해당 작물의 색특징을 가진 픽셀 정보에 기초하여, 화방, 과일, 줄기, 엽 중 적어도 어느 하나 이상을 포함한 작물기관 대상의 고유 특성에 맞는 특징을 추정하여, 작물기관 대상을 검출한다.
그리고, 상기 색상 정보와, 상기 모양 패턴, 크기, 경계(edge) 중 적어도 어느 하나 이상의 정보를 조합하여 작물기관 대상을 검출하는 것은 a) RGB(Red-Green-Blue) 색 정보를 HSV(색상(Hue),채도(Saturation),진하기(Value))의 좌표를 기반으로 기설정된 특정 색을 지정) 색공간으로 변환하고, b) 상기 변환된 HSV 색공간 기반의 영상 내 해당 작물의 색특징과 모양 패턴특징을 가진 픽셀(Pixel)을 획득하며, c) 상기 획득된 해당 작물의 색특징과 모양 패턴을 가진 픽셀 정보에 기초하여, 화방, 과일, 줄기, 엽 중 적어도 어느 하나 이상을 포함한 작물기관 대상의 고유 특성에 맞는 특징을 추정하여, 작물기관 대상을 검출한다.
또한, 상기 모양 패턴 정보를 이용하여 작물기관 대상을 검출하는 것은 a) 작물의 기관별 고유 모양 패턴을 기반으로 픽셀 세그먼테이션(Pixel segmentation)하여, 해당 작물의 모양 패턴을 가진 픽셀(Pixel)을 획득하며, c) 상기 획득된 해당 작물의 모양 패턴을 가진 픽셀 정보에 기초하여, 화방, 과일, 줄기, 엽 중 적어도 어느 하나 이상을 포함한 작물기관 대상의 고유 특성에 맞는 특징을 추정하여, 작물기관 대상을 검출한다.
그리고, 상기 작물의 기관별 고유 모양 패턴을 기반으로 픽셀 세그먼테이션(Pixel segmentation)하여, 해당 작물의 모양 패턴을 가진 픽셀(Pixel)을 획득하는 것(a))은 작물 기관별 대상의 크기나 경계(edge) 정보 중 적어도 어느 하나 이상을 포함한 정보와, 상기 작물의 기관별 고유 모양 패턴 정보를 조합하여 픽셀 세그먼테이션(Pixel segmentation)해서, 해당 작물의 모양 패턴과 크기나 경계(edge) 정보 중 적어도 어느 하나 이상을 포함한 정보를 가진 픽셀(Pixel)을 획득한다.
한편, 화방 작물기관 대상을 검출하는 것은 a) 여러 화방대상 안의 색 값을 HSL 3차원색공간으로 변환하고, H,S,L 색값의 범위를 추정하며, b) 화방의 색특징에 상응하는 설정 H,S,L 색값의 문턱(threshold) 범위에 속하는 화소들을 화방으로 정하고, c) 상기 정해진 화방 화소를 가진 이미지를 화방과 배경의 2개값을 가지는 2값 화소로 구성하며, d) 상기 구성된 2값 화소 기반의 이미지를 모폴로지 침식(morphology erosion) 및, 확장연산자를 적용하고 연결 성분 추출 및 대상분리로, 화방대상영역을 결정하여, 상기 화방 작물기관 대상을 검출한다(도 5 참조).
그리고, 상기 열매 작물기관 대상을 검출하는 것은,a) 상기 작물의 열매모양에 상응하는 주 화소의 일정 화소 값 간 평균이나 분산 또는, 화소값 절대값 차의 평균이나 분산 특징정보 중 적어도 어느 하나 이상의 특징정보와, 기설정된 다층신경망(MLP) 기반의 열매화소 식별 관련 트레이닝 데이터셋 및, 상기 트레이닝 식별사전으로 된 식별기를 해당 작물의 원본 이미지에 적용하여 열매화소를 획득하고, b) 상기 해당 작물의 원본 이미지를 경계(edge) 처리하고 설정 횟수만큼 수축, 세선화(thining)하여 나온 이미지의 블랙(black)에 대응하여 상기 획득된 열매이미지의 화소를 제거해서, 열매가 분리된 이미지로부터 상기 열매 작물기관 대상을 검출한다(도 6 내지 도 11 참조).
또한, 상기 줄기 작물기관 대상을 검출하는 것은 a) 상기 작물의 줄기모양에 상응하는 주 화소의 일정 화소 값 간 평균이나 분산 또는, 화소값 절대값 차의 평균이나 분산 특징정보 중 적어도 어느 하나 이상의 특징정보와, 기설정된 다층신경망(MLP) 기반의 열매화소 식별 관련 트레이닝 데이터셋 및, 상기 트레이닝 식별사전으로 된 식별기를 해당 작물의 원본 이미지에 적용하여 줄기화소를 획득하고, b) 상기 해당 작물의 원본 이미지를 경계(edge) 처리하고 설정 횟수만큼 수축, 세선화(thining)하여 나온 이미지의 블랙(black)에 대응하여 상기 획득된 줄기이미지의 화소를 제거해서, 줄기가 분리된 이미지 중에서 높이/너비가 가장 큰 대상을 선정하여, 상기 줄기 작물기관 대상을 검출한다(도 12 참조).
그리고, 상기 엽 작물기관 대상을 검출하는 것은 a) HSL 색공간에서 칼라 클러스터링을 기반으로 엽의 색특징과 단색 배경에 상응하는 엽 영역을 검출하고, b) 모폴로지 딜레이션(morphology dilation)을 설정 횟수만큼 적용하여 마디성분을 제거하고 남은 소엽을 연결성분추출 기반으로 카운팅(counting)하며, 잎영역에 대하여 고유값 계산으로 너비, 높이, 면적, 소엽 갯수를 추출하여, 상기 엽 작물기관 대상을 검출한다(도 13 참조).
* 도면의 주요 부분에 대한 부호의 설명 *
101 : 제1 카메라 102 : 제2 카메라
200 : 온실환경시스템 300 : 정보처리장치
301 : 이미지분석엔진 302 : 데이터베이스 관리부
303 : DB서버 304 : 정보제공 서버

Claims (5)

  1. 군락에서 영상이미지를 통한 작물기관별 이미지식별시스템에 있어서,
    상기 작물의 생장을 촬영하는 적어도 하나 이상의 카메라 장치;
    상기 작물이 설치된 특정 군락지역의 환경 정보를 검출 수집하는 온실환경시스템; 및,
    상기 카메라 장치에서 촬영된 작물이 포함된 영상과 상기 온실환경시스템에서 수집된 군락지역의 환경 정보를 기반으로, 상기 작물의 생육정보를 검출하여 작물생장 추적하는 정보처리장치;
    를 포함하고,
    상기 정보처리장치는 상기 카메라 장치에서 촬영된 복수의 작물이 포함된 영상에서 작물의 기관별 위치를 식별하고, 상기 식별된 복수의 작물 기관별 개별 영상을 획득하며, 상기 획득된 각각의 작물기관에 대한 개별 영상에서 해당 작물기관의 특징을 추출하여, 작물의 생육정보를 검출 처리하는 것을 특징으로 하는 군락에서 영상이미지를 통한 작물기관별 이미지식별시스템.
  2. 제 1 항에 있어서,
    상기 정보처리장치는,
    상기 카메라 장치에서 촬영된 적어도 어느 하나 이상의 작물이 포함된 영상을 작물기관별로 분석하는 이미지분석엔진;
    상기 이미지분석엔진에서 분석된 영상을 데이터베이스에 저장하고, 작물생장 추적하는 데이터베이스 관리부;
    상기 카메라 장치에서 작물의 생장 영상이 입력된 경우, 상기 입력된 작물의 생장 영상 데이터를 촬영일시별로 자동저장하고, 상기 이미지분석엔진에서 영상 데이터가 작물기관별로 분석된 경우 작물기관별 크기 나 굵기등 생육정보를 저장하는 DB서버; 및,
    상기 DB에 저장된 작물의 생육정보를 기간별로 비교하여 디스플레이해서 작물의 생육상태를 확인 처리하는 정보제공 서버;
    를 포함하는 군락에서 영상이미지를 통한 작물기관별 이미지식별시스템.
  3. 제 2 항에 있어서,
    상기 온실환경시스템은
    카메라 촬영시 해당작물의 주변습도를 측정하고 설정 부위의 온도를 측정해서, 촬영 이미지와 더불어 데이터베이스에 저장되도록 하고,

    상기 카메라 장치는,
    온실내부에 특정작물 설정 포인트마다 작물의 상측에 설치되어 작물 엽을 촬영하는 제1 카메라; 및,
    상기 작물의 측면에 설치되어 작물줄기, 굵기, 화방수, 과일수를 촬영하는 제2 카메라;
    를 포함하며,

    상기 이미지분석엔진은
    상기 카메라 장치에서 촬영된 이미지가 데이터베이스에 저장된 경우 자동으로 이미지분석엔진에 원본이미지를 작물 기관별로 엽, 줄기, 화방, 과일, 소엽 중 적어도 어느 하나 이상을 포함하여 분리해서 데이터베이스에 저장하고, 작물기관별로 엽장, 엽폭, 생장점길이, 생장점굵기, 경경, 화방수, 착과수, 마디길이 중 적어도 어느 하나 이상을 검출하여 데이터베이스에 저장하고,

    상기 데이터베이스를 관리하는 데이터베이스 관리부는
    상기 이미지분석엔진에서 분석되어 데이터베이스에 저장된 작물 기관별 생육정보를 촬영된 작물과 작물의 기관별로 아이디(ID)를 부여하여 기간별로 생육상태를 추적 관리하며,

    상기 정보제공 서버가 상기 DB에 저장된 작물의 생육정보를 기간별로 비교하여 디스플레이해서 작물의 생육상태를 확인 처리하는 것은,
    상기 DB에 저장된 작물의 엽온도변화를 기간별로 비교하여 디스플레이해서, 작물의 생육상태를 확인 처리하는 것을 특징으로 하는 군락에서 영상이미지를 통한 작물기관별 이미지식별시스템.
  4. 제 3 항에 있어서,
    상기 이미지분석엔진은
    작물의 기관별 색상, 모양 패턴, 크기, 경계(edge) 정보 중 적어도 어느 하나 이상을 작물 대상에 상응하여 조합 사용해서 작물기관 대상을 검출하고,

    상기 작물의 색상 정보를 사용해서 작물기관 대상을 검출하는 것은,
    a) RGB(Red-Green-Blue) 색 정보를 HSV(색상(Hue),채도(Saturation),진하기(Value))의 좌표를 기반으로 기설정된 특정 색을 지정) 색공간으로 변환하고,
    b) 상기 변환된 HSV 색공간 기반의 영상 내 해당 작물의 색특징을 가진 픽셀(Pixel)을 획득하며,
    c) 상기 획득된 해당 작물의 색특징을 가진 픽셀 정보에 기초하여, 화방, 과일, 줄기, 엽 중 적어도 어느 하나 이상을 포함한 작물기관 대상의 고유 특성에 맞는 특징을 추정하여,
    작물기관 대상을 검출하고,

    상기 색상 정보와, 상기 모양 패턴, 크기, 경계(edge) 중 적어도 어느 하나 이상의 정보를 조합하여 작물기관 대상을 검출하는 것은,
    a) RGB(Red-Green-Blue) 색 정보를 HSV(색상(Hue),채도(Saturation),진하기(Value))의 좌표를 기반으로 기설정된 특정 색을 지정) 색공간으로 변환하고,
    b) 상기 변환된 HSV 색공간 기반의 영상 내 해당 작물의 색특징과 모양 패턴특징을 가진 픽셀(Pixel)을 획득하며,
    c) 상기 획득된 해당 작물의 색특징과 모양 패턴을 가진 픽셀 정보에 기초하여, 화방, 과일, 줄기, 엽 중 적어도 어느 하나 이상을 포함한 작물기관 대상의 고유 특성에 맞는 특징을 추정하여,
    작물기관 대상을 검출하며,

    상기 모양 패턴 정보를 이용하여 작물기관 대상을 검출하는 것은,
    a) 작물의 기관별 고유 모양 패턴을 기반으로 픽셀 세그먼테이션(Pixel segmentation)하여, 해당 작물의 모양 패턴을 가진 픽셀(Pixel)을 획득하며,
    c) 상기 획득된 해당 작물의 모양 패턴을 가진 픽셀 정보에 기초하여, 화방, 과일, 줄기, 엽 중 적어도 어느 하나 이상을 포함한 작물기관 대상의 고유 특성에 맞는 특징을 추정하여,
    작물기관 대상을 검출하고,

    상기 작물의 기관별 고유 모양 패턴을 기반으로 픽셀 세그먼테이션(Pixel segmentation)하여, 해당 작물의 모양 패턴을 가진 픽셀(Pixel)을 획득하는 것(a))은,
    작물 기관별 대상의 크기나 경계(edge) 정보 중 적어도 어느 하나 이상을 포함한 정보와, 상기 작물의 기관별 고유 모양 패턴 정보를 조합하여 픽셀 세그먼테이션(Pixel segmentation)해서, 해당 작물의 모양 패턴과 크기나 경계(edge) 정보 중 적어도 어느 하나 이상을 포함한 정보를 가진 픽셀(Pixel)을 획득하는 것을 특징으로 하는 군락에서 영상이미지를 통한 작물기관별 이미지식별시스템.
  5. 제 4 항에 있어서,
    상기 화방 작물기관 대상을 검출하는 것은,
    a) 여러 화방대상 안의 색 값을 HSL 3차원색공간으로 변환하고, H,S,L 색값의 범위를 추정하며,
    b) 화방의 색특징에 상응하는 설정 H,S,L 색값의 문턱(threshold) 범위에 속하는 화소들을 화방으로 정하고,
    c) 상기 정해진 화방 화소를 가진 이미지를 화방과 배경의 2개값을 가지는 2값 화소로 구성하며,
    d) 상기 구성된 2값 화소 기반의 이미지를 모폴로지 침식(morphology erosion) 및, 확장연산자를 적용하고 연결 성분 추출 및 대상분리로, 화방대상영역을 결정하여,
    상기 화방 작물기관 대상을 검출하며,

    상기 과일 작물기관 대상을 검출하는 것은,
    a) 상기 작물의 열매모양에 상응하는 주 화소의 일정 화소 값 간 평균이나 분산 또는, 화소값 절대값 차의 평균이나 분산 특징정보 중 적어도 어느 하나 이상의 특징정보와, 기설정된 다층신경망(MLP) 기반의 열매화소 식별 관련 트레이닝 데이터셋 및, 상기 트레이닝 식별사전으로 된 식별기를 해당 작물의 원본 이미지에 적용하여 열매화소를 획득하고,
    b) 상기 해당 작물의 원본 이미지를 경계(edge) 처리하고 설정 횟수만큼 수축, 세선화(thining)하여 나온 이미지의 블랙(black)에 대응하여 상기 획득된 열매이미지의 화소를 제거해서,
    열매가 분리된 이미지로부터 상기 열매 작물기관 대상을 검출하고,

    상기 줄기 작물기관 대상을 검출하는 것은,
    a) 상기 작물의 줄기모양에 상응하는 주 화소의 일정 화소 값 간 평균이나 분산 또는, 화소값 절대값 차의 평균이나 분산 특징정보 중 적어도 어느 하나 이상의 특징정보와, 기설정된 다층신경망(MLP) 기반의 열매화소 식별 관련 트레이닝 데이터셋 및, 상기 트레이닝 식별사전으로 된 식별기를 해당 작물의 원본 이미지에 적용하여 줄기화소를 획득하고,
    b) 상기 해당 작물의 원본 이미지를 경계(edge) 처리하고 설정 횟수만큼 수축, 세선화(thining)하여 나온 이미지의 블랙(black)에 대응하여 상기 획득된 줄기이미지의 화소를 제거해서, 줄기가 분리된 이미지 중에서 높이/너비가 가장 큰 대상을 선정하여,
    상기 줄기 작물기관 대상을 검출하며,

    상기 엽 작물기관 대상을 검출하는 것은,
    a) HSL 색공간에서 칼라 클러스터링을 기반으로 엽의 색특징과 단색 배경에 상응하는 엽 영역을 검출하고,
    b) 모폴로지 딜레이션(morphology dilation)을 설정 횟수만큼 적용하여 마디성분을 제거하고 남은 소엽을 연결성분추출 기반으로 카운팅(counting)하며, 잎영역에 대하여 고유값 계산으로 너비, 높이, 면적, 소엽 갯수를 추출하여,
    상기 엽 작물기관 대상을 검출하는 것을 특징으로 하는 군락에서 영상이미지를 통한 작물기관별 이미지식별시스템.
KR1020150159043A 2015-10-30 2015-11-12 군락에서 영상이미지를 통한 작물기관별 이미지식별시스템 KR101763835B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20150151855 2015-10-30
KR1020150151855 2015-10-30

Publications (2)

Publication Number Publication Date
KR20170052416A KR20170052416A (ko) 2017-05-12
KR101763835B1 true KR101763835B1 (ko) 2017-08-03

Family

ID=58740575

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150159043A KR101763835B1 (ko) 2015-10-30 2015-11-12 군락에서 영상이미지를 통한 작물기관별 이미지식별시스템

Country Status (1)

Country Link
KR (1) KR101763835B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019083336A1 (ko) * 2017-10-27 2019-05-02 전북대학교산학협력단 신경회로망 학습에 의한 작물과 잡초 식별 방법 및 장치
KR20190047636A (ko) * 2017-10-27 2019-05-08 전북대학교산학협력단 신경회로망 학습에 의한 작물과 잡초 식별 방법 및 장치
KR20200075092A (ko) * 2018-12-10 2020-06-26 대한민국(농촌진흥청장) 레이저 센서를 이용한 새머리구간 인식 방법 및 이를 채용한 과원 로봇장치
KR20200080432A (ko) * 2018-12-26 2020-07-07 사단법인 한국온실작물연구소 딸기의 이미지 분석을 통한 생육 진단 방법
KR20220022961A (ko) 2020-08-20 2022-03-02 아이티컨버젼스 주식회사 개선된 작물생육 분석시스템
KR102485816B1 (ko) 2021-11-03 2023-01-09 아이티컨버젼스 주식회사 이미지 수집장치를 이용한 작물 생육 분석 시스템

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101956158B1 (ko) 2017-08-22 2019-03-08 한국과학기술연구원 식물 잎 식별 시스템 및 방법
KR101996528B1 (ko) * 2017-09-06 2019-07-04 국립생태원 생태환경 연구 시스템 및 그 방법
KR102095539B1 (ko) * 2017-12-05 2020-03-31 농업회사법인 원스베리 주식회사 인삼의 영상 이미지 분석을 통한 생육량 측정 방법
CN108022113A (zh) * 2017-12-28 2018-05-11 深圳春沐源控股有限公司 验证追溯信息准确性的方法、服务器及存储介质
KR102151513B1 (ko) 2019-07-18 2020-09-03 재단법인한국조선해양기자재연구원 수소 정제 장치를 포함하는 부생수소 운반선
KR102277648B1 (ko) * 2019-11-29 2021-07-15 한국과학기술연구원 고정형 식물 영상 획득장치
KR102195389B1 (ko) 2020-02-03 2020-12-24 주식회사 씨팩토리 생태 놀이를 위한 게임 제어 방법 및 장치
KR102434210B1 (ko) * 2020-07-03 2022-08-19 부산대학교 산학협력단 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 시스템 및 방법
KR102380989B1 (ko) * 2021-01-19 2022-04-01 송원호 스마트팜에서 재배되는 작물에 대한 생육 레시피 정보를 제공하는 스마트팜 제어장치 및 이의 동작방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011103870A (ja) 2009-11-13 2011-06-02 Shijin Kogyo Sakushinkai 植物の特徴の自動測定システム、方法および記録媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011103870A (ja) 2009-11-13 2011-06-02 Shijin Kogyo Sakushinkai 植物の特徴の自動測定システム、方法および記録媒体

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019083336A1 (ko) * 2017-10-27 2019-05-02 전북대학교산학협력단 신경회로망 학습에 의한 작물과 잡초 식별 방법 및 장치
KR20190047636A (ko) * 2017-10-27 2019-05-08 전북대학교산학협력단 신경회로망 학습에 의한 작물과 잡초 식별 방법 및 장치
KR102188521B1 (ko) * 2017-10-27 2020-12-08 전북대학교산학협력단 신경회로망 학습에 의한 작물과 잡초 식별 방법 및 장치
KR20200075092A (ko) * 2018-12-10 2020-06-26 대한민국(농촌진흥청장) 레이저 센서를 이용한 새머리구간 인식 방법 및 이를 채용한 과원 로봇장치
KR102150119B1 (ko) * 2018-12-10 2020-09-01 대한민국 레이저 센서를 이용한 새머리구간 인식 방법 및 이를 채용한 과원 로봇장치
KR20200080432A (ko) * 2018-12-26 2020-07-07 사단법인 한국온실작물연구소 딸기의 이미지 분석을 통한 생육 진단 방법
KR102201595B1 (ko) * 2018-12-26 2021-01-12 사단법인 한국온실작물연구소 딸기의 이미지 분석을 통한 생육 진단 방법
KR20220022961A (ko) 2020-08-20 2022-03-02 아이티컨버젼스 주식회사 개선된 작물생육 분석시스템
KR102485816B1 (ko) 2021-11-03 2023-01-09 아이티컨버젼스 주식회사 이미지 수집장치를 이용한 작물 생육 분석 시스템

Also Published As

Publication number Publication date
KR20170052416A (ko) 2017-05-12

Similar Documents

Publication Publication Date Title
KR101763835B1 (ko) 군락에서 영상이미지를 통한 작물기관별 이미지식별시스템
Anand et al. An application of image processing techniques for detection of diseases on brinjal leaves using k-means clustering method
Yu et al. Automatic image-based detection technology for two critical growth stages of maize: Emergence and three-leaf stage
US8781174B2 (en) Method and system for recognizing plant diseases and recording medium
Payne et al. Estimation of mango crop yield using image analysis–segmentation method
Wang et al. Automated crop yield estimation for apple orchards
Saxena et al. A survey of image processing techniques for agriculture
McCarthy et al. Applied machine vision of plants: a review with implications for field deployment in automated farming operations
Diago et al. Assessment of flower number per inflorescence in grapevine by image analysis under field conditions
Nielsen et al. Vision-based 3D peach tree reconstruction for automated blossom thinning
KR101822410B1 (ko) 작물 영상을 사용한 작물 생육 진단 장치
Victorino et al. Yield components detection and image-based indicators for non-invasive grapevine yield prediction at different phenological phases
Sarkate et al. Application of computer vision and color image segmentation for yield prediction precision
KR20140125229A (ko) 과수의 생산량 예측 시스템 및 그것의 구동 방법
Samanta et al. Scab diseases detection of potato using image processing
CN112257702A (zh) 一种基于增量学习的农作物病害识别方法
Majeed et al. Estimating the trajectories of vine cordons in full foliage canopies for automated green shoot thinning in vineyards
Tashakkori et al. Image processing for honey bee hive health monitoring
Wang et al. Automated mango flowering assessment via refinement segmentation
Wang et al. Segmentation algorithm of muskmelon fruit with complex background
CN112541383B (zh) 杂草区域的识别方法和装置
KR101810901B1 (ko) 작물체의 생육 시뮬레이션 장치
Zhao et al. Automatic sweet pepper detection based on point cloud images using subtractive clustering
Victorino et al. Grapevine yield prediction using image analysis-improving the estimation of non-visible bunches
US20190026547A1 (en) System and Method for Detecting Skin in an Image

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant