KR20190021089A - 식물 잎 식별 시스템 및 방법 - Google Patents

식물 잎 식별 시스템 및 방법 Download PDF

Info

Publication number
KR20190021089A
KR20190021089A KR1020170106228A KR20170106228A KR20190021089A KR 20190021089 A KR20190021089 A KR 20190021089A KR 1020170106228 A KR1020170106228 A KR 1020170106228A KR 20170106228 A KR20170106228 A KR 20170106228A KR 20190021089 A KR20190021089 A KR 20190021089A
Authority
KR
South Korea
Prior art keywords
plant
leaf
area
image
path
Prior art date
Application number
KR1020170106228A
Other languages
English (en)
Other versions
KR101956158B1 (ko
Inventor
이상욱
김준식
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020170106228A priority Critical patent/KR101956158B1/ko
Priority to US15/921,586 priority patent/US10679096B2/en
Publication of KR20190021089A publication Critical patent/KR20190021089A/ko
Application granted granted Critical
Publication of KR101956158B1 publication Critical patent/KR101956158B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/143Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/34Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • G06T2207/20041Distance transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • G06T2207/20044Skeletonization; Medial axis transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

식물 잎 식별 시스템은 대상 식물을 촬영하여 식물 이미지를 생성하는 식물 이미지 촬영부; 상기 식물 이미지에서 배경 영역과 식물 영역을 구분하고, 상기 식물 영역을 포함하는 식물 영역 이미지를 생성하는 식물 영역 이미지 추출부; 상기 식물 영역 이미지를 골격화하고, 골격화된 식물 영역 이미지에서 뿌리 정점, 분기점, 잎끝 정점을 식별하고, 상기 뿌리 정점부터 잎끝 정점까지 가능한 모든 경로를 계산하여 복수의 후보 잎 경로를 생성하는 후보 잎 경로 생성부 및 상기 복수의 후보 잎 경로를 선별하여 상기 식물 이미지와 부합하는 최종 잎 경로를 재구성하는 최종 잎 경로 재구성부를 포함한다.

Description

식물 잎 식별 시스템 및 방법{System and method for plant leaf identification}
본 발명은 식물 잎 식별 시스템 및 방법에 관한 것으로, 구체적으로 식물 잎의 전체적인 식별뿐만 아니라, 개별 잎을 각각 식별할 수 있어 잎의 상태를 개별적으로 판단할 수 있는 식물 잎 식별 시스템 및 방법에 관한 것이다.
최근 10여 년 동안 유전체학과 유전학 분야의 급속한 발전으로, 핵심 작물에 대한 방대한 게놈 정보가 축적되었으며, 이의 이용 가능한 상황이나, 이러한 유전체학의 기술 발전이 작물 생산량 증대 및 기능성 발현으로 연결되기 위해서는 발현형체학과 표현형 분석 분야의 기술 발전이 동반되어야 한다.
발현 형체학(phenomics)은 세포 내에서 일어나는 RNA와 단백질 등과 같은 생명체들의 표현형(phenotype)을 조사하고 그 양을 측정하는 것을 기반으로, 세포의 기능을 연구하는 학문으로, 표현형 정보를 측정하고 자료화하기 위해서는 대상물의 개별적인 분석이 요구된다.
하지만, 현재까지도 발현 형체학에서 식물의 개별적인 분석, 즉 식물의 개별 잎을 분석하기 위해서는 사람이 이를 직접 확인하는 노동 집약적이며 시간 소모적인 분석 방법이 사용되고 있다.
발현 형체학이 유전체학과 보조를 맞추고 작물 생산량 증대에 실질적으로 기여하기 위해서, 고속 처리(high-throughput) 가능하고, 자동화된 개별 잎 분석 기술이 필요한 실정이다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 식물의 개별 잎까지 자동으로 식별할 수 있는 식물 잎 식별 시스템 및 방법을 제공한다.
본 명세서의 일 실시예에 따른 식물 잎 식별 시스템은 대상 식물을 촬영하여 식물 이미지를 생성하는 식물 이미지 촬영부, 상기 식물 이미지에서 배경 영역과 식물 영역을 구분하고, 상기 식물 영역을 포함하는 식물 영역 이미지를 생성하는 식물 영역 이미지 추출부, 상기 식물 영역 이미지를 골격화하여 골격화된 식물 영역 이미지를 생성하는 식물 영역 이미지 골격화부, 상기 골격화된 식물 영역 이미지에서 뿌리 정점, 분기점, 잎끝 정점을 식별하고, 상기 뿌리 정점부터 잎끝 정점까지 가능한 모든 경로를 계산하여 복수의 후보 잎 경로를 생성하는 후보 잎 경로 생성부 및 상기 복수의 후보 잎 경로를 선별하여 상기 식물 이미지와 부합하는 최종 잎 경로를 재구성하는 최종 잎 경로 재구성부를 포함한다.
일 실시예에서, 상기 식물 영역 이미지 추출부는 라플라시안 필터링(Laplacian Filtering)을 통해 초기 식물 영역과 초기 배경 영역을 결정하고, 식물 영역에 대한 색 분포 확률 모델과 배경 영역에 대한 색 분포 확률 모델에 따라 상기 초기 식물 영역과 상기 초기 배경 영역을 식물 영역과 배경 영역으로 구분할 수 있다.
일 실시예에서, 상기 식물 영역 이미지 추출부는 상기 식물 영역과 상기 배경 영역으로 결정된 모수값을 상기 식물 영역에 대한 색 분포 확률 모델과 상기 배경 영역에 대한 색 분포 확률 모델에 반영하여 각 파라미터를 업데이트하고, 상기 업데이트 된 분포 확률 모델로 상기 식물 영역과 상기 배경 영역의 구분 과정을 반복하되, 상기 식물 영역에 대한 분포 확률 모델의 파라미터와 상기 배경 영역에 대한 색 분포 확률 모델의 파라미터가 더 이상 업데이트되지 않을 때까지 상기 식물 영역과 상기 배경 영역의 구분 과정을 반복할 수 있다.
일 실시예에서, 상기 골격화된 식물 영역 이미지는 검은 세선으로 표시되는 세선화된 식물 영역을 포함하며, 상기 세선화된 식물 영역에 포함된 제1 픽셀은 상기 제1 픽셀을 둘러싸는 8개의 픽셀의 특성에 따라 상기 뿌리 정점, 상기 분기점 또는 상기 잎끝 정점으로 식별할 수 있다.
일 실시예에서, 상기 후보 잎 경로 생성부는 상기 제1 픽셀을 둘러싸는 8개의 픽셀 중 적어도 3개 이상이 상기 세선화된 식물 영역에 해당하는 경우, 상기 제1 픽셀을 상기 분기점으로 식별할 수 있다.
일 실시예에서, 상기 최종 잎 경로 재구성부는 상기 세선화된 식물 영역에 해당하는 픽셀의 기울기를 계산하고, 상기 픽셀과 이웃 픽셀들의 기울기 유사성을 나타내는 지표로서 상기 후보 잎 경로의 잎 경로 우도를 산출할 수 있다.
일 실시예에서, 상기 최종 잎 경로 재구성부는 상기 분기점, 상기 뿌리 정점, 상기 잎끝 정점으로 구성된 경로 그래프의 비용 함수의 합이 최소가 되는 경로를 상기 최종 잎 경로로 결정하되, 상기 최종 잎 경로는 모든 상기 뿌리 정점과 모든 상기 잎끝 정점을 포함하도록 결정될 수 있다.
본 명세서의 일 실시예에 따른 식물 잎 식별 방법은 식물 잎 식별 시스템이, 대상 식물을 촬영하여 식물 이미지를 생성하는 단계; 상기 식물 잎 식별 시스템이, 상기 식물 이미지에서 식물 영역과 배경 영역을 구분하고, 상기 식물 영역을 포함하는 식물 영역 이미지를 생성하는 단계; 상기 식물 잎 식별 시스템이, 상기 식물 영역 이미지를 골격화하여 골격화된 식물 영역 이미지를 생성하는 단계; 상기 식물 잎 식별 시스템이 상기 골격화된 식물 영역 이미지에서 뿌리 정점, 분기점, 잎끝 정점을 식별하고, 상기 뿌리 정점부터 잎끝 정점까지 가능한 모든 경로를 계산하여 복수의 후보 잎 경로를 생성하는 단계; 및 상기 식물 잎 식별 시스템이, 복수의 후보 잎 경로를 선별하여 상기 식물 이미지와 부합하는 최종 잎 경로를 재구성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 식물 영역 이미지를 생성하는 단계는 라플라시안 필터링(Laplacian Filtering)을 통해 초기 식물 영역과 초기 배경 영역을 결정하는 단계 및 식물 영역에 대한 색 분포 확률 모델과 배경 영역에 대한 색 분포 확률 모델에 따라 상기 초기 식물 영역과 상기 초기 배경 영역을 식물 영역과 배경 영역으로 구분하는 단계를 포함할 수 있다.
일 실시예에서, 상기 식물 영역과 상기 배경 영역의 구분 단계는 상기 식물 영역과 상기 배경 영역으로 결정된 모수값을 상기 식물 영역에 대한 색 분포 확률 모델과 상기 배경 영역에 대한 색 분포 확률 모델에 반영하여 각 파라미터를 업데이트하여 상기 업데이트 된 분포 확률 모델로 상기 식물 영역과 상기 배경 영역의 구분 과정을 반복하여 수행하는 단계를 포함하며, 상기 식물 영역과 상기 배경 영역의 구분 과정을 반복하여 수행하는 단계는 상기 식물 영역에 대한 분포 확률 모델의 파라미터와 상기 배경 영역에 대한 색 분포 확률 모델의 파라미터가 더 이상 업데이트되지 않을 때까지 반복될 수 있다.
일 실시예에서, 상기 골격화된 식물 영역 이미지는 검은 세선으로 표시되는 세선화된 식물 영역을 포함하며, 상기 세선화된 식물 영역에 포함된 제1 픽셀은 상기 제1 픽셀을 둘러싸는 8개의 픽셀의 특성에 따라 상기 뿌리 정점, 상기 분기점 또는 상기 잎끝 정점으로 식별될 수 있다.
일 실시예에서, 상기 제1 픽셀을 둘러싸는 8개의 픽셀 중 적어도 3개 이상이 상기 세선화된 식물 영역에 해당하는 경우, 상기 제1 픽셀은 상기 분기점으로 식별될 수 있다.
일 실시예에서, 상기 최종 잎 경로 재구성 단계는 상기 세선화된 식물 영역에 해당하는 픽셀의 기울기를 계산하고, 상기 픽셀과 이웃 픽셀들의 기울기 유사성을 나타내는 지표로서 상기 후보 잎 경로의 잎 경로 우도를 산출할 수 있다.
일 실시예에서, 상기 최종 잎 경로 재구성 단계는 상기 분기점, 상기 뿌리 정점, 상기 잎끝 정점으로 구성된 경로 그래프의 비용 함수의 합이 최소가 되는 경로를 상기 최종 잎 경로로 결정하되, 상기 최종 잎 경로는 모든 상기 뿌리 정점과 모든 상기 잎끝 정점을 포함하도록 결정할 수 있다.
본 발명의 일 실시예에 따른 식물 잎 식별 시스템은 식물 잎의 개별적인 식별이 가능하며, 식별된 개별 잎에서 전체 식물 형상으로의 재구성이 정확하고 용이한 장점이 있다. 또한, 시스템의 구성들의 처리 과정이 자동화, 고속화되어 제공되는 바, 보다 신속하고 개선된 식물 잎 식별 시스템을 제공할 수 있다.
도 1은 일 실시예에 따른 식물 잎 식별 시스템의 개략적인 블록도이다.
도 2는 식물 영역 이미지의 추출 과정을 나타내는 예시적인 도면이다.
도 3은 식물 영역 이미지의 골격화 과정을 나타내는 예시적인 도면이다.
도 4는 골격화 식물 영역 이미지에서 정점 및 분기점을 식별하는 방법을 나타내는 예시적인 도면이다.
도 5는 후보 잎 경로 생성부에서 계산된 복수의 후보 잎 경로를 나타내는 예시적인 도면이다.
도 6은 후보 잎 경로의 잎 경로 우도를 계산한 그래프이다.
도 7은 일 실시예에 따른 식물 잎 식별 방법의 순서도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당 업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있다. 따라서, 후술하는 상세한 설명은 한정적인 의미로 기술된 것이 아니며, 본 발명의 범위는 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에서 동일하거나 유사한 기능을 지칭한다.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.
도 1은 일 실시예에 따른 식물 잎 식별 시스템의 개략적인 블록도이고, 도 2는 식물 영역 이미지의 추출 과정을 나타내는 예시적인 도면이며, 도 3은 식물 영역 이미지의 골격화 과정을 나타내는 예시적인 도면이고, 도 4는 골격화 식물 영역 이미지에서 정점 및 분기점을 식별하는 방법을 나타내는 예시적인 도면이며, 도 5는 후보 잎 경로 생성부에서 계산된 복수의 후보 잎 경로를 나타내는 예시적인 도면이고, 도 6은 후보 잎 경로의 잎 경로 우도를 계산한 그래프이다.
도 1 내지 도 6을 참조하면, 본 실시예에 따른 식물 잎 식별 시스템(10)은 식물 이미지 촬영부(100), 식물 영역 이미지 추출부(110), 식물 영역 이미지 골격화부(120), 후보 잎 경로 생성부(130), 최종 잎 경로 재구성부(140)를 포함한다. 실시예들에 따른 식물 잎 식별 시스템 및 이를 구성하는 각각의 장치 또는 부(unit)는, 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 식물 잎 식별 시스템의 각각의 구성요소는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 하드웨어는 CPU(Central Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다. 예를 들어, 식물 이미지 촬영부(100)는, 대상물을 촬영하여 이미지화하기 위한 하드웨어 및 이를 제어하여 촬영을 수행하고 이미지화를 처리함으로써 후속 처리를 위한 형태로 변환하는 소프트웨어의 조합을 지칭할 수 있다.
식물 이미지 촬영부(100)는 대상 식물을 촬영하여 식물 이미지(P)를 생성할 수 있다. 식물 이미지 촬영부(100)는 식물의 이미지를 측정하기 위한 이미지 센서를 포함할 수 있다. 식물 이미지 촬영부(100)는 대상 식물을 정면에서 촬영하여 식물 이미지(P)를 생성할 수 있다. 다만, 이에 한정되는 것은 아니며, 다른 실시예에서 식물 이미지 촬영부(100)는 대상 식물의 정면, 후면, 좌면, 우면, 상면 중 적어도 하나 이상의 방향에서 촬영을 수행할 수 있다.
여기서, 대상 식물을 촬영하는 공간은 후술할 식물 잎의 용이한 추출을 위해 단일색의 배경을 가지는 공간일 수 있다. 구체적으로 식물 잎과 대조되거나 구별이 용이한 색, 보색 관계를 형성하는 색의 배경을 가지는 공간일 수 있으나, 이에 한정되는 것은 아니다. 대상 식물은 컨베이어 시스템 등을 통해 순차적으로 촬영 장소를 통과하면서 촬영될 수 있으나, 이에 한정되는 것은 아니다. 생성된 식물 이미지(P)는 식물 영역 이미지 추출부(110)로 제공될 수 있다.
식물 영역 이미지 추출부(110)는 도 2에 도시된 바와 같이, 식물 이미지(P)에서 식물 영역과 배경 영역을 구분할 수 있다. 식물 영역 이미지 추출부(110)는 식물 영역에 대한 색 분포 확률 모델과 배경 영역에 대한 색 분포 확률 모델을 포함하고 있으며, 이를 기준으로 사용자의 개입 없이 식물 영역과 배경 영역을 구분할 수 있다. 본 실시예에 따른 식물 영역 이미지 추출부(110)는 다음과 같은 순서로 식물 영역과 배경 영역을 구분 지을 수 있으나, 각 영역을 구분하는 방법 및 순서가 이에 한정되는 것은 아니다.
식물 영역 이미지 추출부(110)는 라플라시안 필터링(Laplacian Filtering)을 통해 초기 식물 영역과 초기 배경 영역을 결정할 수 있다. 종래 사용자에 의해 주어지는 배경 영역과 식물 영역은 라플라시안 필터링의 결과에 의해 대체될 수 있다. 식물 영역 이미지 추출부(110)는 라플라시안 필터링(Laplacian Filtering)을 통해 초기 식물 영역을 추출할 수 있다. 라플라시안 필터링(Laplacian Filtering)은 두 영역의 개략적인 경계를 설정하는 정도의 구분으로, 도 2에 도시된 바와 같이 식물 영역내의 끊김이나 구멍이 존재할 수 있다.
이후, 모폴로지 연산(Morphological Operation)을 통해 주변부의 노이즈 성분이 제거될 수 있다. 초기 식물 영역과 초기 배경 영역은 식물 영역에 대한 색 분포 확률 모델과 배경 영역에 대한 색 분포 확률 모델에 따라 각각 식물 영역과 배경 영역으로 결정될 수 있다. 이후 기대값 최대화 알고리즘(EM algorithm)을 통해 각 색분포 확률 모델의 파라미터가 더 이상 변하지 않을 때까지 식물 영역과 배경 영역의 구분은 전체적으로 반복되어 수행될 수 있다.
식물 영역과 배경 영역으로 결정된 모수값은 식물 영역에 대한 색 분포 확률 모델과 배경 영역에 대한 색 분포 확률 모델에 각각 업데이트될 수 있으며, 업데이트된 확률 모델로 상술한 식물 영역과 배경 영역의 구분은 새로 수행될 수 있다. 식물 영역 이미지 추출부(110)는 색 분포 확률 모델의 파라미터가 더 이상 업데이트되지 않을 때까지 이러한 구분을 반복 수행할 수 있으며, 보다 식물 영역내의 끊김이나 구멍이 없는 최적화된 최종 식물 영역 이미지(P')를 생성할 수 있다. 식물 영역 이미지(P')는 검은색으로 표시되는 식물 영역을 포함할 수 있다.
식물 영역 이미지 골격화부(120)는 식물 영역 이미지(P')를 골격화된 식물 영역 이미지(SP)로 변환할 수 있다. 즉, 후보 잎 경로 생성부(130)는 식물 영역 이미지(P')를 골격화(skeletonization)할 수 있다. 여기서, 도 3에 도시된 바와 같이, 골격화란 식물의 실재 두께와 상관없이 식물 영역이 일정한 픽셀(Pixel) 크기를 가지도록 세선화(thinning)하는 과정으로, 세선화 알고리즘(thinning algorithm)을 통해 수행될 수 있다. 따라서, 골격화된 식물 영역 이미지(SP)는 검은 세선으로 표시되는 식물 영역을 포함할 수 있다. 골격화된 식물 영역 이미지(SP)는 대상 식물의 전체적인 골격을 나타내는 이미지로, 이를 기준으로 후술하는 후보 잎 경로 생성과 최종 잎 경로 재구성이 수행될 수 있다. 식물 영역 이미지 골격화부(120)는 골격화된 식물 영역 이미지(SP)를 후보 잎 경로 생성부(130) 및 최종 잎 경로 재구성부(140)로 제공할 수 있다.
후보 잎 경로 생성부(130)는 골격화된 식물 영역 이미지에서 정점(E)과 분기점(V)을 식별할 수 있다. 후보 잎 경로 생성부(130)는 골격화된 식물 영역 이미지에 포함된 하나의 픽셀과 이를 둘러싸는 8개의 픽셀과의 관계를 통해 상기 하나의 픽셀을 정점(E) 또는 분기점(V)으로 식별할 수 있다. 즉, 본 실시예에서 후보 잎 경로 생성부(130)는 분석하려는 픽셀과 이를 중심으로 이를 한 겹으로 둘러싸는 8개의 픽셀과의 관계를 분석할 수 있으나, 이는 예시적인 것으로 다른 실시예에서는 기준 픽셀과 이를 두 겹으로 둘러싸는 더 많은 픽셀과의 관계를 분석하여 정점(E), 분기점(V)을 식별할 수도 있다.
도 4(a)는 골격화된 식물 영역 이미지와 픽셀 그룹과의 관계를 도시하고, 도 4(b)는 골격화된 식물 영역 이미지의 각 픽셀을 정점(E) 또는 분기점(V)으로 분류한 예시도이다. 골격화된 식물 영역 이미지의 각 픽셀에서 정점(E) 또는 분기점(V)으로 분리되지 않은 부분은 줄기에 해당할 수 있다.
도 4(a)에서 골격화된 식물 영역 이미지가 포함된 픽셀은 검은 픽셀로 도시된다. 줄기에 해당하는 픽셀은 이를 둘러싸는 검은 픽셀이 2개인 것을 알 수 있다. 즉, 해당 픽셀을 기준으로 두 개의 식물 영역이 연속적이라는 것을 알 수 있다. 분기점(V)에 해당하는 픽셀은 이를 둘러싸는 검은 픽셀이 적어도 3개 이상인 것을 알 수 있다. 즉, 해당 픽셀을 기준으로 하나의 줄기가 적어도 2개로 갈라지는 분기점인 것을 확인할 수 있다. 정점(E)은 이를 둘러싸는 검은 픽셀이 1개인 것을 알 수 있다. 즉, 정점(E)을 마지막으로 더 이상 줄기가 연장되거나 분기되지 않는 지점으로 주변부의 검은 픽셀은 1개일 수 있다. 여기서, 정점(E)은 뿌리 정점(E1)과 잎끝 정점(E2)로 구분될 수 있다. 후보 잎 경로 생성부(130)는 골격화된 식물 영역 이미지의 가장 하부에 위치하고 있는 정점을 뿌리 정점(E1)으로 설정할 수 있다.
후보 잎 경로 생성부(130)는 상술한 바와 같이 뿌리 정점(E1), 분기점(V), 잎끝 정점(E2)을 각각 설정한 후, 설정된 뿌리 정점(E1)부터 잎끝 정점(E2)까지 가능한 모든 경로를 계산하여 복수의 후보 잎 경로를 생성할 수 있다. 후보 잎 경로 생성부(130)는 뿌리 정점(E1)에서 잎끝 정점(E2)에 향상하는 모든 잎 경로를 그래프 탐색 알고리즘을 이용해 추출할 수 있다. 이러한 잎 경로에는 적어도 하나 이상의 분기점(V)이 포함된 경로를 포함할 수 있으나, 분기점(V)이 없이 뿌리 정점(E1)에서 잎끝 정점(E2)까지 연결되는 경로를 포함할 수도 있다. 도 4의 골격화된 식물 영역 이미지에서 그래프 탐색 알고리즘을 통해 도 5에 도시된 복수의 후보 잎 경로를 추출할 수 있다. 이러한 복수의 후보 잎 경로는 모든 경우의 수를 고려하여 생성된 것으로 실재 식물 잎이 구현할 수 없는 경로도 포함할 수 있다. 후보 잎 경로 생성부(130)는 뿌리 정점(E1), 분기점(V), 잎끝 정점(E2) 및 복수의 후보 잎 경로를 최종 잎 경로 재구성부(140)에 제공할 수 있다.
최종 잎 경로 재구성부(140)는 복수의 후보 잎 경로를 취사선택하여 식물 이미지와 부합하는 최종 잎 경로를 재구성할 수 있다. 최종 잎 경로 재구성부(140)는 복수의 후보 잎 경로를 선별하여 식물 이미지와 부합하는 최종 잎 경로를 생성할 수 있다. 최종 잎 경로 재구성부(140)는 개별 잎 식별을 식물 잎의 개별적 특성뿐만 아니라 식물 전체에 대한 전체적인 특성을 고려하여 전체적인 최종 잎 경로를 재구성할 수 있다.
먼저, 최종 잎 경로 재구성부(140)는 상기 생성된 복수의 후보 잎 경로 중 잎 경로 우도(lp)를 산출할 수 있다. 여기서 잎 경로 우도(lp)란 추출된 개별 후보 잎 경로가 실재 잎과 얼마나 유사한지를 평가하는 지표일 수 있다. 최종 잎 경로 재구성부(140)는 골격 식물 영역 이미지 내 각 픽셀의 기울기를 계산하고, 각 픽셀의 기울기가 주변 이웃 픽셀들과 얼마나 유사한지를 von Mises 분포의 집중도(k)로서 산출할 수 있다. 그리고 복수의 후보 잎 경로들 각각의 잎 경로에 해당하는 픽셀의 집중도(k)를 잎 경로 우도(lp)로 도시할 수 있다.
도 6에 도시된 바와 같이, 잎 경로 우도(lp)는 잎 경로에 따른 집중도(k)의 변화를 도시한다. 도 6의 그래프에서 X축은 뿌리 정점(E1)에서 잎끝 정점(E2)까지의 잎 경로를 나타내며 Y축은 경로상의 위치한 각 픽셀의 집중도(k)를 나타낸다. 그래프에서, 각도가 급격하게 변하는 부분은 집중도(k)가 낮게 나타나는 것을 확인할 수 있다. 도 6b 및 도 6d와 같이 각도가 급격하게 변하는 부분이 많은 잎 경로는 식물 형태학에서 도출될 수 없는 잎 경로일 수 있으며, 실재 잎에 해당되지 않을 수 있다. 도 6a 및 도 6c의 경우 실재 잎에서 나타날 수 있는 각도 변화에 나타내는 바, 해당 잎 후보 경로는 실재 잎의 경로일 수 있다. 최종 잎 경로 재구성부(140)에서 산출된 각각의 잎 경로 우도(lp)는 개별 잎의 개별적 특성을 분석하는 자료가 될 수 있을 뿐만 아니라 전체적인 최종 잎 경로를 결정하는 자료가 될 수 있다.
최종 잎 경로 재구성부(140)는 뿌리 정점, 분기점, 잎끝 정점 및 잎 경로 우도(lp)를 고려하여 전체적인 최종 잎 경로를 재구성할 수 있다. 즉, 최종 잎 경로 재구성부(140)는 개별 잎의 부드러움이나 자연스러움뿐만 아니라 식별된 잎들이 전체 식물을 온전하게 구성할 수 있는 지 여부를 분석하여 식물 전체 잎 형상 그래프를 재구성할 수 있다.
여기서, 본 실시예에 따른 최종 잎 경로 재구성부(140)는 최소 경로 커버 알고리즘을 통해 최종 잎 경로의 결정할 수 있다. 분기점(V), 정점(뿌리 정점, 잎끝 정점 모두 포함, E)으로 구성된 경로 그래프{G = (V, E)}에서, 잎 경로의 비용 함수의 합이 최소가 되는 경로를 최종 잎 경로로 산출하되, 모든 정점(뿌리 정점, 잎끝 정점 모두 포함)이 적어도 한번은 사용되어야 한다. 모든 정점(E)은 상기 최종 잎 경로에 포함되어야 한다. 후보 잎 경로 중 잎 경로 우도(lp)의 분석을 통해 실재 잎과 유사하도록 산출된 경로라도, 특정 정점으로의 연결을 제외하는 경로에 해당한다면, 식물 전체 형상을 온전하게 구성할 수 없게 되므로, 이러한 후보 잎 경로는 제외될 수 있다. 이러한 최소 경로 커버 알고리즘은 하기 [수학식 1]과 같이 정리될 수 있다.
[수학식 1]
Figure pat00001
V: 모든 분기점들의 집합, E: 모든 정점들의 집합, P: 경로 그래프에서 가능한 모든 경로의 집합, Pe: P에 포함되는 집합으로 정점(E)를 포함하고 있는 경로들의 집합, c(p): 잎 경로 p의 비용 함수, xp: 잎 경로 p가 경로 커버에 존재하는 지 구분하는 이진 변수
여기서, 잎 경로 p의 비용 함수[c(p)]는 하기 [수학식 2]와 같이, 후보 잎 경로의 각 경로 우도(lp)를 통해 산출될 수 있으며, 따라서, 일반적인 식물 잎의 형태와 같이 부드러운 모양을 갖지 않는 경로는 최소 경로 값 산출에서 불이익을 받을 수 있다.
[수학식 2]
Figure pat00002
Np: 잎 경로 p의 모든 픽셀들 주위의 이웃들의 집합, kn: 이웃(n)과의 기울기 유사성
최종 잎 경로 재구성부(140)는 상술한 바와 같이, 잎 경로 p의 비용 함수의 최종 합이 최소가 되는 최종 잎 경로를 산출할 수 있다. 식물 형상 그래프 재구성 문제는 정수 선형 최적화 문제의 하나로, 잘 알려진 Bound-and-Cut 알고리즘과 같은 조합 최적화(combinatorial optimization) 기법을 통해 결과 값을 도출할 수 있다.
이렇게 재구성된 최종 잎 경로는 대상 식물의 개별 잎에 대응되는 개별 그래프가 조합된 것으로 개별 잎의 특성뿐만 아니라 식물 전체적으로 특성을 나타내는 데이터일 수 있다. 즉, 최종 잎 경로의 재구성 과정은 앞서 계산한 잎 경로 우도를 사용하여 지역적, 개별적 관점의 정보를 활용하며, 이전 과정에서 추출한 후보 잎 경로의 하위 집합으로부터 식물 형상 그래프를 가능한 완벽하게 재구성하는 과정으로, 식물의 구조적 특성이 전체적, 전역적으로 반영될 수 있다.
본 실시예에 따른 식물 잎 식별 시스템(10)은 재구성된 최종 잎 경로를 통해 식물 잎을 개별적뿐만 아니라 전체적으로 식별하는 식물 잎 식별부(미도시)를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 식물 잎 식별 시스템은 식물 잎의 개별적인 식별이 가능하며, 식별된 개별 잎에서 전체 식물 형상으로의 재구성이 정확하고 용이한 장점이 있다. 또한, 시스템의 구성들의 처리 과정이 자동화, 고속화되어 제공되는 바, 보다 신속하고 개선된 식물 잎 식별 시스템을 제공할 수 있다.
이하, 본 발명의 일 실시예에 따른 식물 잎 식별 방법에 대해 설명하도록 한다. 도 7은 본 발명의 일 실시예에 따른 식물 잎 식별 방법의 순서도이다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 식물 잎 식별 방법은 식물 이미지 촬영 단계(S110), 식물 영역 이미지 추출 단계(S120), 식물 영역 이미지 골격화 단계(S130), 후보 잎 경로 생성 단계(S140), 최종 잎 경로 재구성 단계(S150)를 포함한다.
여기서, 상술한 각 단계를 수행하는 식물 잎 식별 시스템은 상술한 도 1의 식물 잎 식별 시스템(10)일 수 있으며, 이에 대한 구체적인 설명은 생략하도록 한다. 또한, 본 실시예의 설명을 위해 도 1 내지 도 6이 참조될 수 있다.
먼저, 식물 이미지를 촬영한다(S110).
식물 잎 식별 시스템(10)은 식물 이미지 촬영부(100), 식물 영역 이미지 추출부(110), 후보 잎 경로 생성부(130), 최종 잎 경로 재구성부(140)를 포함할 수 있고, 식물 이미지의 촬영은 식물 이미지 촬영부(100)에서 수행될 수 있다.
대상 식물을 촬영하여 식물 이미지(P)를 생성하는 단계는 식물 이미지 촬영부(100)에서 수행될 수 있다. 식물 이미지 촬영부(100)는 식물의 이미지를 측정하기 위한 이미지 센서를 포함할 수 있다. 식물 이미지 촬영부(100)는 대상 식물을 정면에서 촬영하여 식물 이미지(P)를 생성할 수 있다. 다만, 이에 한정되는 것은 아니며, 다른 실시예에서 식물 이미지 촬영부(100)는 대상 식물의 정면, 후면, 좌면, 우면, 상면 중 적어도 하나 이상의 방향에서 촬영을 수행할 수 있다. 생성된 식물 이미지(P)는 식물 영역 이미지 추출부(110)로 제공될 수 있다.
이어서, 식물 영역 이미지를 추출한다(S120).
식물 영역 이미지의 추출은 식물 영역 이미지 추출부(110)에서 수행될 수 있다. 식물 영역 이미지 추출부(110)는 식물 영역에 대한 색 분포 확률 모델과 배경 영역에 대한 색 분포 확률 모델을 포함하고 있으며, 이를 기준으로 사용자의 개입 없이 식물 영역과 배경 영역을 구분할 수 있다.
식물 영역 이미지 추출부(110)는 라플라시안 필터링(Laplacian Filtering)을 통해 초기 식물 영역과 초기 배경 영역을 결정할 수 있다. 식물 영역 이미지 추출부(110)는 라플라시안 필터링(Laplacian Filtering)을 통해 초기 식물 영역을 추출할 수 있다.
이후, 모폴로지 연산(Morphological Operation)을 통해 주변부의 노이즈 성분이 제거될 수 있다. 초기 식물 영역과 초기 배경 영역은 식물 영역에 대한 색 분포 확률 모델과 배경 영역에 대한 색 분포 확률 모델에 따라 각각 식물 영역과 배경 영역으로 결정될 수 있다. 이후 기대값 최대화 알고리즘(EM algorithm)을 통해 각 색분포 확률 모델의 파라미터가 더 이상 변하지 않을 때까지 식물 영역과 배경 영역의 구분은 전체적으로 반복되어 수행될 수 있으며, 최종적으로 식물 영역 이미지(P')를 생성할 수 있다. 최종적인 식물 영역 이미지(P')는 검은색으로 표시되는 식물 영역을 포함할 수 있다.
본 실시예에 따른 식물 영역 이미지 추출부(110)는 상술한 방법 및 순서로 식물 영역과 배경 영역을 구분 지을 수 있으나, 각 영역을 구분하는 방법 및 순서가 이에 한정되는 것은 아니다.
이어서, 식물 영역 이미지를 골격화한다(S130).
식물 영역 이미지(P')의 골격화는 후보 잎 경로 생성부(130)에서 생성될 수 있다. 후보 잎 경로 생성부(130)는 식물 영역 이미지(P')를 골격화된 식물 영역 이미지(SP)로 변환할 수 있다. 여기서 골격화란 식물의 실재 두께와 상관없이 식물 영역이 일정한 픽셀(Pixel) 크기를 가지도록 세선화(thinning)하는 과정일 수 있으며, 세선화 알고리즘(thinning algorithm)을 통해 수행될 수 있다. 따라서, 골격화된 식물 영역 이미지(SP)는 검은 세선으로 표시되는 식물 영역을 포함할 수 있다.
이어서, 후보 잎 경로를 생성한다(S140).
후보 잎 경로 생성부(130)는 골격화된 식물 영역 이미지에서 정점(E)과 분기점(V)을 식별할 수 있다. 후보 잎 경로 생성부(130)는 골격화된 식물 영역 이미지에 포함된 하나의 픽셀과 이를 둘러싸는 8개의 픽셀과의 관계를 통해 상기 하나의 픽셀을 정점(E) 또는 분기점(V)으로 식별할 수 있다. 즉, 본 실시예에서 후보 잎 경로 생성부(130)는 분석하려는 픽셀과 이를 중심으로 이를 한 겹으로 둘러싸는 8개의 픽셀과의 관계를 분석할 수 있으나, 이는 예시적인 것으로 다른 실시예에서는 기준 픽셀과 이를 두 겹으로 둘러싸는 더 많은 픽셀과의 관계를 분석하여 정점(E), 분기점(V)을 식별할 수도 있다.
후보 잎 경로 생성부(130)는 뿌리 정점(E1), 분기점(V), 잎끝 정점(E2)을 각각 설정한 후, 설정된 뿌리 정점(E1)부터 잎끝 정점(E2)까지 가능한 모든 경로를 계산하여 복수의 후보 잎 경로를 생성할 수 있다. 후보 잎 경로 생성부(130)는 뿌리 정점(E1)에서 잎끝 정점(E2)에 향상하는 모든 잎 경로를 그래프 탐색 알고리즘을 이용해 추출할 수 있다. 이러한 잎 경로에는 적어도 하나 이상의 분기점(V)이 포함된 경로를 포함할 수 있으나, 분기점(V)이 없이 뿌리 정점(E1)에서 잎끝 정점(E2)까지 연결되는 경로를 포함할 수도 있다. 이러한 복수의 후보 잎 경로는 모든 경우의 수를 고려하여 생성된 것으로 실재 식물 잎이 구현할 수 없는 경로도 포함할 수 있다.
마지막으로, 최종 잎 경로 재구성 단계(S150)를 포함한다.
복수의 후보 잎 경로를 취사선택하여 식물 이미지와 부합하는 최종 잎 경로를 재구성할 수 있다. 이러한 최종 잎 경로 재구성 단계는 최종 잎 경로 재구성부(140)에서 수행될 수 있다. 최종 잎 경로 재구성부(140)는 개별 잎 식별을 식물 잎의 개별적 특성뿐만 아니라 식물 전체에 대한 전체적인 특성을 고려하여 전체적인 최종 잎 경로를 재구성할 수 있다.
먼저, 최종 잎 경로 재구성부(140)는 상기 생성된 복수의 후보 잎 경로 중 잎 경로 우도(lp)를 산출할 수 있다. 여기 서 잎 경로 우도(lp)란 추출된 개별 후보 잎 경로가 실재 잎과 얼마나 유사한지를 평가하는 지표일 수 있다. 최종 잎 경로 재구성부(140)는 골격 식물 영역 이미지 내 각 픽셀의 기울기를 계산하고, 각 픽셀의 기울기가 주변 이웃 픽셀들과 얼마나 유사한지를 von Mises 분포의 집중도(k)로서 산출할 수 있다. 그리고 복수의 후보 잎 경로들 각각의 잎 경로에 해당하는 픽셀의 집중도(k)를 잎 경로 우도(lp)로 도시할 수 있다. 잎 경로 우도(lp)는 잎 경로에 따른 집중도(k)의 변화를 도시하며, 각도가 급격하게 변하는 부분은 집중도(k)가 낮게 나타나는 것을 확인할 수 있다. 이렇게 각도가 급격하게 변하는 부분이 많은 잎 경로는 식물 형태학에서 도출될 수 없는 잎 경로일 수 있으며, 실재적인 잎에 해당되지 않을 수 있다. 즉, 산출된 각각의 잎 경로 우도(lp)는 개별 잎의 개별적 특성을 분석하는 자료가 될 수 있을 뿐만 아니라 전체적인 최종 잎 경로를 결정하는 자료가 될 수 있다.
최종 잎 경로 재구성부(140)는 뿌리 정점, 분기점, 잎끝 정점 및 잎 경로 우도(lp)를 고려하여 전체적인 최종 잎 경로를 재구성할 수 있다. 즉, 최종 잎 경로 재구성부(140)는 개별 잎의 부드러움이나 자연스러움뿐 만 아니라 식별된 잎들이 전체 식물을 온전하게 구성할 수 있는 지 여부를 분석하여 식물 전체 잎 형상 그래프를 재구성할 수 있다.
본 실시예에 따른 최종 잎 경로 재구성부(140)는 최소 경로 커버 알고리즘을 통해 최종 잎 경로의 결정할 수 있다. 분기점(V), 정점(뿌리 정점, 잎끝 정점 모두 포함, E)으로 구성된 경로 그래프{G = (V, E)}에서, 잎 경로의 비용 함수의 합이 최소가 되는 경로를 최종 잎 경로로 산출하되, 모든 정점(뿌리 정점, 잎끝 정점 모두 포함)이 적어도 한번은 사용되어야 한다. 모든 정점(E)은 상기 최종 잎 경로에 포함되어야 한다. 후보 잎 경로 중 잎 경로 우도(lp)의 분석을 통해 실재 잎과 유사하도록 산출된 경로라도, 특정 정점으로의 연결을 제외하는 경로에 해당한다면, 식물 전체 형상을 온전하게 구성할 수 없게 되므로, 이러한 후보 잎 경로는 제외될 수 있다. 이러한 최소 경로 커버 알고리즘은 하기 [수학식 1]과 같이 정리될 수 있다.
[수학식 1]
Figure pat00003
V: 모든 분기점들의 집합, E: 모든 정점들의 집합, P: 경로 그래프에서 가능한 모든 경로의 집합, Pe: P에 포함되는 집합으로 정점(E)를 포함하고 있는 경로들의 집합, c(p): 잎 경로 p의 비용 함수, xp: 잎 경로 p가 경로 커버에 존재하는 지 여부
여기서, 잎 경로 p의 비용 함수[c(p)]는 하기 [수학식 2]와 같이, 후보 잎 경로의 각 경로 우도(lp)를 통해 산출될 수 있으며, 따라서, 일반적인 식물 잎의 형태와 같이 부드러운 모양을 갖지 않는 경로는 최소 경로 값 산출에서 불이익을 받을 수 있다.
[수학식 2]
Figure pat00004
Np: 잎 경로 p의 모든 픽셀들 주위의 이웃들의 집합, kn: 이웃(n)과의 기울기 유사성
최종 잎 경로 재구성부(140)는 상술한 바와 같이, 잎 경로 p의 비용 함수의 최종 합이 최소가 되는 최종 잎 경로를 산출할 수 있다. 식물 형상 그래프 재구성 문제는 정수 선형 최적화 문제의 하나로, 잘 알려진 Bound-and-Cut 알고리즘과 같은 조합 최적화(combinatorial optimization) 기법을 통해 결과 값을 도출할 수 있다.
이렇게 재구성된 최종 잎 경로는 대상 식물의 개별 잎에 대응되는 개별 그래프가 조합된 것으로 개별 잎의 특성뿐만 아니라 식물 전체적으로 특성을 나타내는 데이터일 수 있다. 즉, 최종 잎 경로의 재구성 과정은 앞서 계산한 잎 경로 우도를 사용하여 지역적, 개별적 관점의 정보를 활용하며, 이전 과정에서 추출한 후보 잎 경로의 하위 집합으로부터 식물 형상 그래프를 가능한 완벽하게 재구성하는 과정으로, 식물의 구조적 특성이 전체적, 전역적으로 반영될 수 있다.
본 발명의 일 실시예에 따른 식물 잎 식별 시스템은 재구성된 최종 잎 경로와 대상 식물을 비교 식별하는 단계를 더 포함할 수 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 식물 잎 식별 방법은 식물 잎의 개별적인 식별이 가능하며, 식별된 개별 잎에서 전체 식물 형상으로의 재구성이 정확하고 용이한 장점이 있다.
이상에서 설명한 실시예들에 따른 식물 잎 식별 방법에 의한 동작은, 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 식물 잎 식별 방법에 의한 동작을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서는 실시예들을 참조하여 설명하였지만 본 발명은 이러한 실시예들 또는 도면에 의해 한정되는 것으로 해석되어서는 안 되며, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 식물 잎 식별 시스템
100: 식물 이미지 촬영부
110: 식물 영역 이미지 추출부
120: 식물 영역 이미지 골격화부
130: 후보 잎 경로 생성부
140: 최종 잎 경로 재구성부

Claims (14)

  1. 대상 식물을 촬영하여 식물 이미지를 생성하는 식물 이미지 촬영부;
    상기 식물 이미지에서 배경 영역과 식물 영역을 구분하고, 상기 식물 영역을 포함하는 식물 영역 이미지를 생성하는 식물 영역 이미지 추출부;
    상기 식물 영역 이미지를 골격화하여 골격화된 식물 영역 이미지를 생성하는 식물 영역 이미지 골격화부;
    상기 골격화된 식물 영역 이미지에서 뿌리 정점, 분기점, 잎끝 정점을 식별하고, 상기 뿌리 정점부터 잎끝 정점까지 가능한 모든 경로를 계산하여 복수의 후보 잎 경로를 생성하는 후보 잎 경로 생성부; 및
    상기 복수의 후보 잎 경로를 선별하여 상기 식물 이미지와 부합하는 최종 잎 경로를 재구성하는 최종 잎 경로 재구성부를 포함하는 식물 잎 식별 시스템.
  2. 제1 항에 있어서,
    상기 식물 영역 이미지 추출부는 라플라시안 필터링(Laplacian Filtering)을 통해 초기 식물 영역과 초기 배경 영역을 결정하고, 식물 영역에 대한 색 분포 확률 모델과 배경 영역에 대한 색 분포 확률 모델에 따라 상기 초기 식물 영역과 상기 초기 배경 영역을 식물 영역과 배경 영역으로 구분하는 식물 잎 식별 시스템.
  3. 제2 항에 있어서,
    상기 식물 영역 이미지 추출부는 상기 식물 영역과 상기 배경 영역으로 결정된 모수값을 상기 식물 영역에 대한 색 분포 확률 모델과 상기 배경 영역에 대한 색 분포 확률 모델에 반영하여 각 파라미터를 업데이트하고, 상기 업데이트 된 분포 확률 모델로 상기 식물 영역과 상기 배경 영역의 구분 과정을 반복하되,
    상기 식물 영역에 대한 분포 확률 모델의 파라미터와 상기 배경 영역에 대한 색 분포 확률 모델의 파라미터가 더 이상 업데이트되지 않을 때까지 상기 식물 영역과 상기 배경 영역의 구분 과정을 반복하는 식물 잎 식별 시스템.
  4. 제1 항에 있어서,
    상기 골격화된 식물 영역 이미지는 검은 세선으로 표시되는 세선화된 식물 영역을 포함하며,
    상기 세선화된 식물 영역에 포함된 제1 픽셀은 상기 제1 픽셀을 둘러싸는 8개의 픽셀의 특성에 따라 상기 뿌리 정점, 상기 분기점 또는 상기 잎끝 정점으로 식별되는 식물 잎 시스템.
  5. 제4 항에 있어서,
    상기 후보 잎 경로 생성부는 상기 제1 픽셀을 둘러싸는 8개의 픽셀 중 적어도 3개 이상이 상기 세선화된 식물 영역에 해당하는 경우, 상기 제1 픽셀을 상기 분기점으로 식별하는 식물 잎 식별 시스템.
  6. 제4 항에 있어서,
    상기 최종 잎 경로 재구성부는 상기 세선화된 식물 영역에 해당하는 픽셀의 기울기를 계산하고, 상기 픽셀과 이웃 픽셀들의 기울기 유사성을 나타내는 지표로서 상기 후보 잎 경로의 잎 경로 우도를 산출하는 식물 잎 식별 시스템.
  7. 제6 항에 있어서,
    상기 최종 잎 경로 재구성부는 상기 분기점, 상기 뿌리 정점, 상기 잎끝 정점으로 구성된 경로 그래프의 비용 함수의 합이 최소가 되는 경로를 상기 최종 잎 경로로 결정하되,
    상기 최종 잎 경로는 모든 상기 뿌리 정점과 모든 상기 잎끝 정점을 포함하도록 결정되는 식물 잎 식별 시스템.
  8. 식물 잎 식별 시스템이, 대상 식물을 촬영하여 식물 이미지를 생성하는 단계;
    상기 식물 잎 식별 시스템이, 상기 식물 이미지에서 식물 영역과 배경 영역을 구분하고, 상기 식물 영역을 포함하는 식물 영역 이미지를 생성하는 단계;
    상기 식물 잎 식별 시스템이, 상기 식물 영역 이미지를 골격화하여 골격화된 식물 영역 이미지를 생성하는 단계;
    상기 식물 잎 식별 시스템이 상기 골격화된 식물 영역 이미지에서 뿌리 정점, 분기점, 잎끝 정점을 식별하고, 상기 뿌리 정점부터 잎끝 정점까지 가능한 모든 경로를 계산하여 복수의 후보 잎 경로를 생성하는 단계; 및
    상기 식물 잎 식별 시스템이, 복수의 후보 잎 경로를 선별하여 상기 식물 이미지와 부합하는 최종 잎 경로를 재구성하는 단계를 포함하는 식물 잎 식별 방법.
  9. 제8 항에 있어서,
    상기 식물 영역 이미지를 생성하는 단계는,
    라플라시안 필터링(Laplacian Filtering)을 통해 초기 식물 영역과 초기 배경 영역을 결정하는 단계 및
    식물 영역에 대한 색 분포 확률 모델과 배경 영역에 대한 색 분포 확률 모델에 따라 상기 초기 식물 영역과 상기 초기 배경 영역을 식물 영역과 배경 영역으로 구분하는 단계를 포함하는 식물 잎 식별 방법
  10. 제9 항에 있어서,
    상기 식물 영역과 상기 배경 영역의 구분 단계는,
    상기 식물 영역과 상기 배경 영역으로 결정된 모수값을 상기 식물 영역에 대한 색 분포 확률 모델과 상기 배경 영역에 대한 색 분포 확률 모델에 반영하여 각 파라미터를 업데이트하여 상기 업데이트 된 분포 확률 모델로 상기 식물 영역과 상기 배경 영역의 구분 과정을 반복하여 수행하는 단계를 포함하며,
    상기 식물 영역과 상기 배경 영역의 구분 과정을 반복하여 수행하는 단계는 상기 식물 영역에 대한 분포 확률 모델의 파라미터와 상기 배경 영역에 대한 색 분포 확률 모델의 파라미터가 더 이상 업데이트되지 않을 때까지 반복되는 식물 잎 식별 방법.
  11. 제8 항에 있어서,
    상기 골격화된 식물 영역 이미지는 검은 세선으로 표시되는 세선화된 식물 영역을 포함하며,
    상기 세선화된 식물 영역에 포함된 제1 픽셀은 상기 제1 픽셀을 둘러싸는 8개의 픽셀의 특성에 따라 상기 뿌리 정점, 상기 분기점 또는 상기 잎끝 정점으로 식별되는 식물 잎 방법.
  12. 제11 항에 있어서,
    상기 제1 픽셀을 둘러싸는 8개의 픽셀 중 적어도 3개 이상이 상기 세선화된 식물 영역에 해당하는 경우, 상기 제1 픽셀은 상기 분기점으로 식별되는 식물 잎 식별 방법.
  13. 제11 항에 있어서,
    상기 최종 잎 경로 재구성 단계는 상기 세선화된 식물 영역에 해당하는 픽셀의 기울기를 계산하고, 상기 픽셀과 이웃 픽셀들의 기울기 유사성을 나타내는 지표로서 상기 후보 잎 경로의 잎 경로 우도를 산출하는 식물 잎 식별 방법.
  14. 제13 항에 있어서,
    상기 최종 잎 경로 재구성 단계는 상기 분기점, 상기 뿌리 정점, 상기 잎끝 정점으로 구성된 경로 그래프의 비용 함수의 합이 최소가 되는 경로를 상기 최종 잎 경로로 결정하되,
    상기 최종 잎 경로는 모든 상기 뿌리 정점과 모든 상기 잎끝 정점을 포함하도록 결정되는 식물 잎 식별 방법.
KR1020170106228A 2017-08-22 2017-08-22 식물 잎 식별 시스템 및 방법 KR101956158B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170106228A KR101956158B1 (ko) 2017-08-22 2017-08-22 식물 잎 식별 시스템 및 방법
US15/921,586 US10679096B2 (en) 2017-08-22 2018-03-14 System and method for plant leaf identification

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170106228A KR101956158B1 (ko) 2017-08-22 2017-08-22 식물 잎 식별 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20190021089A true KR20190021089A (ko) 2019-03-05
KR101956158B1 KR101956158B1 (ko) 2019-03-08

Family

ID=65435284

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170106228A KR101956158B1 (ko) 2017-08-22 2017-08-22 식물 잎 식별 시스템 및 방법

Country Status (2)

Country Link
US (1) US10679096B2 (ko)
KR (1) KR101956158B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12131276B2 (en) 2017-01-19 2024-10-29 Massachusetts Institute Of Technology Data-driven system for optimal vehicle fleet dimensioning and real-time dispatching based on shareability networks
CN110321787A (zh) * 2019-05-13 2019-10-11 仲恺农业工程学院 基于联合稀疏表示的病害识别方法、系统及存储介质
WO2021007554A1 (en) * 2019-07-11 2021-01-14 Sneyders Yuri Determining image feature height disparity
JP7542954B2 (ja) * 2020-01-16 2024-09-02 キヤノン株式会社 画像診断装置、画像診断システム、画像診断方法、およびプログラム
CN111462301B (zh) * 2020-03-05 2022-10-28 清华大学 用于多视图植物三维重建的生成模型的构建方法
CN113313193A (zh) * 2021-06-15 2021-08-27 杭州睿胜软件有限公司 植物图片识别方法、可读存储介质及电子设备
CN115530773B (zh) * 2022-10-17 2024-01-05 广州市番禺区中心医院 一种基于病人摄入饮食的心血管疾病评估预防系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080022257A (ko) * 2006-09-06 2008-03-11 아주대학교산학협력단 잎맥의 특징점을 이용한 잎 분류방법
JP2010088407A (ja) * 2008-10-03 2010-04-22 Honda Motor Co Ltd 穂の構造の解析方法および装置
KR101327482B1 (ko) * 2012-10-18 2013-11-08 성균관대학교산학협력단 이파리 영상의 잎맥 검출 및 특징 추출 방법 및 장치
KR20160147374A (ko) * 2015-06-15 2016-12-23 한국전자통신연구원 전역 대조도 기반 영상 매팅을 통한 영상 내부의 관심 객체 추출 장치 및 방법
KR20170052416A (ko) * 2015-10-30 2017-05-12 사단법인 한국온실작물연구소 군락에서 영상이미지를 통한 작물기관별 이미지식별시스템
KR101743516B1 (ko) * 2016-04-12 2017-06-07 부산가톨릭대학교 산학협력단 디지털 잎 저작 장치 및 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3918143B2 (ja) 2000-12-28 2007-05-23 独立行政法人科学技術振興機構 植物認識システム
DK1433377T3 (da) 2002-12-23 2008-06-16 Cropdesign Nv Automatiseret plantebeholderhåndteringssystem
US8355900B2 (en) 2008-10-03 2013-01-15 Honda Motor Co. Ltd. Method and apparatus for analyzing panicle structure
JP2011034178A (ja) * 2009-07-30 2011-02-17 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
KR20120076491A (ko) 2010-11-26 2012-07-09 한국생명공학연구원 식물정보 제공서비스 시스템 및 그 방법
KR20140006440U (ko) 2013-06-19 2014-12-30 임완중 이미지와 분류 형질을 이용하여 대상 식물을 식별할 수 있는 시스템 및 그 방법
US10008035B1 (en) * 2015-05-18 2018-06-26 Blue River Technology Inc. System and method of virtual plant field modelling

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080022257A (ko) * 2006-09-06 2008-03-11 아주대학교산학협력단 잎맥의 특징점을 이용한 잎 분류방법
JP2010088407A (ja) * 2008-10-03 2010-04-22 Honda Motor Co Ltd 穂の構造の解析方法および装置
KR101327482B1 (ko) * 2012-10-18 2013-11-08 성균관대학교산학협력단 이파리 영상의 잎맥 검출 및 특징 추출 방법 및 장치
KR20160147374A (ko) * 2015-06-15 2016-12-23 한국전자통신연구원 전역 대조도 기반 영상 매팅을 통한 영상 내부의 관심 객체 추출 장치 및 방법
KR20170052416A (ko) * 2015-10-30 2017-05-12 사단법인 한국온실작물연구소 군락에서 영상이미지를 통한 작물기관별 이미지식별시스템
KR101743516B1 (ko) * 2016-04-12 2017-06-07 부산가톨릭대학교 산학협력단 디지털 잎 저작 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김진모, "컨투어기반 잎맥 패턴의 절차적 모델링", Journal of Korea Game Society v.14, no.5 (2014)* *

Also Published As

Publication number Publication date
US20190065890A1 (en) 2019-02-28
US10679096B2 (en) 2020-06-09
KR101956158B1 (ko) 2019-03-08

Similar Documents

Publication Publication Date Title
KR101956158B1 (ko) 식물 잎 식별 시스템 및 방법
CN107945150B (zh) 基因测序的图像处理方法及系统及计算机可读存储介质
Ziamtsov et al. Machine learning approaches to improve three basic plant phenotyping tasks using three-dimensional point clouds
CN104217418A (zh) 钙化血管的分割
JP2012058787A (ja) 情報処理装置、およびその処理方法
CN112529918B (zh) 一种脑部ct图像中脑室区域分割的方法、装置及设备
CN117557557B (zh) 一种基于细胞核分割模型的甲状腺病理切片细胞检测方法
CN114757908B (zh) 基于ct影像的图像处理方法、装置、设备及存储介质
CN116523898A (zh) 一种基于三维点云的烟草表型性状提取方法
JP2007200246A (ja) 画像処理アルゴリズムの評価方法、生成方法、装置、プログラムおよび記録媒体
JP6687395B2 (ja) 医用画像処理装置、医用画像処理方法及び医用イメージング装置
Smafield et al. Automatic dendritic length quantification for high throughput screening of mature neurons
CN117541423A (zh) 基于融合图谱特征的棉蚜危害监测方法及系统
US11887315B2 (en) Method and apparatus for tracking an object
CN112288697A (zh) 用于量化异常程度的方法、装置、电子设备及可读存储介质
JP6132485B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
CN116778486A (zh) 一种血管造影图像的点云分割方法、装置、设备及介质
KR101979906B1 (ko) 3차원 트리 구조 이미지의 형태 분석 시스템 및 방법
JP6356015B2 (ja) 遺伝子発現情報解析装置、遺伝子発現情報解析方法、及びプログラム
Khan et al. Segmentation of single and overlapping leaves by extracting appropriate contours
Amitha et al. Developement of computer aided system for detection and classification of mitosis using SVM
WO2016158962A1 (ja) 細胞分析用情報生成装置、細胞分析用情報生成方法及びプログラム
Ariawan et al. Geometry feature extraction of shorea leaf venation based on digital image and classification using random forest
CN108090483B (zh) 乳腺肿块候选区的检测方法及装置
JP2016189702A (ja) 細胞分析モデル生成装置及び細胞分析モデル生成方法、細胞分析装置及び細胞分析方法、並びにプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant