KR20200087343A - 딥 러닝을 이용한 식물 분류 시스템 및 그 방법 - Google Patents

딥 러닝을 이용한 식물 분류 시스템 및 그 방법 Download PDF

Info

Publication number
KR20200087343A
KR20200087343A KR1020180173861A KR20180173861A KR20200087343A KR 20200087343 A KR20200087343 A KR 20200087343A KR 1020180173861 A KR1020180173861 A KR 1020180173861A KR 20180173861 A KR20180173861 A KR 20180173861A KR 20200087343 A KR20200087343 A KR 20200087343A
Authority
KR
South Korea
Prior art keywords
plant
information
feature points
server
feature point
Prior art date
Application number
KR1020180173861A
Other languages
English (en)
Other versions
KR102155138B1 (ko
Inventor
김태종
Original Assignee
월드버텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 월드버텍 주식회사 filed Critical 월드버텍 주식회사
Priority to KR1020180173861A priority Critical patent/KR102155138B1/ko
Priority to JP2019147035A priority patent/JP2020109610A/ja
Publication of KR20200087343A publication Critical patent/KR20200087343A/ko
Application granted granted Critical
Publication of KR102155138B1 publication Critical patent/KR102155138B1/ko

Links

Images

Classifications

    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/481—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding

Abstract

본 발명은 딥 러닝을 이용한 식물 분류 시스템 및 그 방법을 개시한다. 즉, 본 발명은 식물의 잎, 줄기, 가지, 꽃, 열매 등에 대해서 딥 러닝을 이용해서 식물의 월별 생육 상태에 따른 특징점을 확인하고, 개화 시기, 착과 시기 등에 따른 해당 식물의 특징점을 확인하고, 해당 식물의 변종에 대한 특징점을 확인하고, 상기 확인된 특징점에 대한 정보를 데이터베이스화한 후, 특정 이미지에 포함된 식물에 대한 분류 요청이 있는 경우, 해당 이미지 내의 메타 정보를 근거로 상기 데이터베이스화된 정보들 중에서 해당 이미지에 대응하는 식물 정보 및 상기 식물 정보에 대응하는 부가 정보를 제공함으로써, 현재 상태의 식물에 대한 분류 정확도를 높여, 양질의 정보를 제공하여 사용자의 만족도를 높일 수 있다.

Description

딥 러닝을 이용한 식물 분류 시스템 및 그 방법{System for classifying plant using deep learning and method thereof}
본 발명은 딥 러닝을 이용한 식물 분류 시스템 및 그 방법에 관한 것으로서, 특히 식물의 잎, 줄기, 가지, 꽃, 열매 등에 대해서 딥 러닝을 이용해서 식물의 월별 생육 상태에 따른 특징점을 확인하고, 개화 시기, 착과 시기 등에 따른 해당 식물의 특징점을 확인하고, 해당 식물의 변종에 대한 특징점을 확인하고, 상기 확인된 특징점에 대한 정보를 데이터베이스화한 후, 특정 이미지에 포함된 식물에 대한 분류 요청이 있는 경우, 해당 이미지 내의 메타 정보를 근거로 상기 데이터베이스화된 정보들 중에서 해당 이미지에 대응하는 식물 정보 및 상기 식물 정보에 대응하는 부가 정보를 제공하는 딥 러닝을 이용한 식물 분류 시스템 및 그 방법에 관한 것이다.
우리 주위에서 쉽게 다양한 식물들을 발견할 수 있으며, 특히 야외 활동이 늘어나면서 새로운 식물들을 만나게 되는 경우가 늘어나고 있다.
하지만, 일반인들은 식물에 대한 지식과 경험이 한정되어 있어, 새로운 식물들을 알아보기 어려운 상태이며, 전문가의 경우에도 모든 식물들을 식별하는 것이 용이하지 않은 상태이다.
식물을 식별하기 위해서 도감을 사용하거나 휴대폰을 이용하여 촬영된 영상에서 해당 식물과 관련한 정보를 제공하는 일부 예가 존재하고 있으나, 단순히 꽃 또는 잎 위주의 식물 분류로 인해, 꽃이 없거나 잎을 잘 찍을 수 없는 식물이라던지 또는 식물의 상태에 따른 식물 분류에 대한 정확도가 낮아지는 단점이 있다.
한국공개특허 제10-2012-0076491호 [제목: 식물정보 제공서비스 시스템 및 그 방법]
본 발명의 목적은 식물의 잎, 줄기, 가지, 꽃, 열매 등에 대해서 딥 러닝을 이용해서 식물의 월별 생육 상태에 따른 특징점을 확인하고, 개화 시기, 착과 시기 등에 따른 해당 식물의 특징점을 확인하고, 해당 식물의 변종에 대한 특징점을 확인하고, 상기 확인된 특징점에 대한 정보를 데이터베이스화한 후, 특정 이미지에 포함된 식물에 대한 분류 요청이 있는 경우, 해당 이미지 내의 메타 정보를 근거로 상기 데이터베이스화된 정보들 중에서 해당 이미지에 대응하는 식물 정보 및 상기 식물 정보에 대응하는 부가 정보를 제공하는 딥 러닝을 이용한 식물 분류 시스템 및 그 방법을 제공하는 데 있다.
본 발명의 실시예에 따른 딥 러닝을 이용한 식물 분류 시스템은 월별로 동일 식물에 대해 상기 식물을 포함하는 영상 정보를 획득하고, 상기 획득된 영상 정보 내의 식물의 잎, 줄기, 가지, 꽃 및 열매에 대해서 월별 생육 상태에 따른 복수의 특징점을 추출하고, 상기 추출된 복수의 특징점 간의 상관관계에 따른 상관 벡터를 산출하고, 상기 획득된 영상 정보 내의 식물의 잎, 줄기, 가지, 꽃 및 열매에 대해서 색상이나 형태를 각각 확인하고, 상기 추출된 식물의 월별 생육 상태에 따른 복수의 특징점 정보, 상기 복수의 특징점 간의 상관관계에 따른 상관 벡터, 상기 확인된 해당 식물의 잎, 줄기, 가지, 꽃, 열매 등의 색상이나 형태, 상기 식물과 관련한 상세 정보 및 상기 식물의 관리 방법에 대한 부가 정보를 포함하는 식물 정보를 데이터베이스화하여 저장하는 서버; 및 특정 식물과 관련한 다른 영상 정보를 포함하는 식물 분류 요청 정보 및 상기 단말의 식별 정보를 상기 서버에 전송하는 단말을 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 상관 벡터는, 특징점 간의 거리 및 방향 정보를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 서버는, 상기 추출된 잎과 관련한 하나 이상의 특징점, 상기 추출된 줄기와 관련한 하나 이상의 특징점, 상기 추출된 가지와 관련한 하나 이상의 특징점, 상기 추출된 꽃과 관련한 하나 이상의 특징점 및 상기 추출된 열매와 관련한 하나 이상의 특징점 간의 하나 이상의 상관 벡터를 산출하여, 잎과 줄기와 가지와 꽃과 열매 간의 특징을 확할 수 있다.
본 발명과 관련된 일 예로서 상기 서버는, 상기 식물 분류 요청 정보에 포함된 다른 영상 정보 내의 메타 정보를 확인하고, 상기 식물 분류 요청 정보에 포함된 다른 영상 정보 내의 객체가 식물인지 여부를 판단하고, 상기 판단 결과, 상기 다른 영상 정보 내의 객체가 식물일 때, 상기 서버에 의해, 상기 다른 영상 정보 내의 객체에 대한 잎, 줄기, 가지, 꽃 및 열매에 대한 복수의 다른 특징점을 추출하고, 상기 추출된 복수의 다른 특징점 간의 상관관계에 따른 다른 상관 벡터를 산출하고, 상기 식물 분류 요청 정보에 포함된 다른 영상 정보 내의 객체의 잎, 줄기, 가지, 꽃 및 열매의 색상이나 형태를 확인하고, 상기 데이터베이스화된 식물 정보 내의 월별 복수의 식물과 관련한 복수의 특징점 및 해당 복수의 특징점과 관련한 상관 벡터 중에서, 상기 확인된 메타 정보에 대응하는 특정 월에 해당하는 복수의 식물과 관련한 적어도 하나의 특징점 및 해당 적어도 하나의 특징점과 관련한 상관 벡터를 확인하고, 상기 확인된 특정 월에 해당하는 복수의 식물과 관련한 적어도 하나의 특징점 및 해당 적어도 하나의 특징점과 관련한 상관 벡터 중에서 상기 추출된 특정 식물과 관련한 복수의 다른 특징점 및 상기 산출된 다른 상관 벡터 간의 유사도를 각각 산출하고, 상기 산출된 복수의 유사도 중에서 유사도가 가장 큰 식물 정보를 확인하고, 상기 확인된 식물 정보에 포함된 상세 정보 및 부가 정보를 상기 단말에 전송하며, 상기 단말은, 상기 전송된 식물 분류 요청 정보에 응답하여 상기 서버로부터 전송되는 상기 특정 식물과 관련한 상세 정보 및 부가 정보를 표시할 수 있다.
본 발명의 실시예에 따른 딥 러닝을 이용한 식물 분류 방법은 서버에 의해, 월별로 동일 식물에 대해 상기 식물을 포함하는 영상 정보를 획득하는 단계; 상기 서버에 의해, 상기 획득된 영상 정보 내의 식물의 잎, 줄기, 가지, 꽃 및 열매에 대해서 월별 생육 상태에 따른 복수의 특징점을 추출하는 단계; 상기 서버에 의해, 상기 추출된 복수의 특징점 간의 상관관계에 따른 상관 벡터를 산출하는 단계; 상기 서버에 의해, 상기 획득된 영상 정보 내의 식물의 잎, 줄기, 가지, 꽃 및 열매에 대해서 색상이나 형태를 각각 확인하는 단계; 및 상기 서버에 의해, 상기 추출된 식물의 월별 생육 상태에 따른 복수의 특징점 정보, 상기 복수의 특징점 간의 상관관계에 따른 상관 벡터, 상기 확인된 해당 식물의 잎, 줄기, 가지, 꽃, 열매 등의 색상이나 형태, 상기 식물과 관련한 상세 정보 및 상기 식물의 관리 방법에 대한 부가 정보를 포함하는 식물 정보를 데이터베이스화하여 저장하는 단계를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 상관 벡터를 산출하는 단계는, 잎의 중앙 부위의 특징점과 해당 특징점에 인접한 적어도 하나의 다른 인접 특징점 간의 상관 벡터를 산출하는 과정; 줄기의 중앙 부위의 특징점과 해당 특징점에 인접한 적어도 하나의 다른 인접 특징점 간의 상관 벡터를 산출하는 과정; 가지의 중앙 부위의 특징점과 해당 특징점에 인접한 적어도 하나의 다른 인접 특징점 간의 상관 벡터를 산출하는 과정; 꽃의 중앙 부위의 특징점과 해당 특징점에 인접한 적어도 하나의 다른 인접 특징점 간의 상관 벡터를 산출하는 과정; 및 열매의 중앙 부위의 특징점과 해당 특징점에 인접한 적어도 하나의 다른 인접 특징점 간의 상관 벡터를 산출하는 과정 중 적어도 하나의 과정을 포함할 수 있다.
본 발명과 관련된 일 예로서 단말에 의해, 특정 식물과 관련한 다른 영상 정보를 포함하는 식물 분류 요청 정보 및 상기 단말의 식별 정보를 상기 서버에 전송하는 단계; 상기 서버에 의해, 상기 단말로부터 전송되는 식물 분류 요청 정보에 포함된 다른 영상 정보 내의 메타 정보를 확인하는 단계; 상기 서버에 의해, 상기 식물 분류 요청 정보에 포함된 다른 영상 정보 내의 객체가 식물인지 여부를 판단하는 단계; 상기 판단 결과, 상기 다른 영상 정보 내의 객체가 식물일 때, 상기 서버에 의해, 상기 다른 영상 정보 내의 객체에 대한 잎, 줄기, 가지, 꽃 및 열매에 대한 복수의 다른 특징점을 추출하는 단계; 상기 서버에 의해, 상기 추출된 복수의 다른 특징점 간의 상관관계에 따른 다른 상관 벡터를 산출하는 단계; 상기 서버에 의해, 상기 식물 분류 요청 정보에 포함된 다른 영상 정보 내의 객체의 잎, 줄기, 가지, 꽃 및 열매의 색상이나 형태를 확인하는 단계; 상기 서버에 의해, 상기 데이터베이스화된 식물 정보 내의 월별 복수의 식물과 관련한 복수의 특징점 및 해당 복수의 특징점과 관련한 상관 벡터 중에서, 상기 확인된 메타 정보에 대응하는 특정 월에 해당하는 복수의 식물과 관련한 적어도 하나의 특징점 및 해당 적어도 하나의 특징점과 관련한 상관 벡터를 확인하는 단계; 상기 서버에 의해, 상기 확인된 특정 월에 해당하는 복수의 식물과 관련한 적어도 하나의 특징점 및 해당 적어도 하나의 특징점과 관련한 상관 벡터 중에서 상기 추출된 특정 식물과 관련한 복수의 다른 특징점 및 상기 산출된 다른 상관 벡터 간의 유사도를 각각 산출하는 단계; 상기 서버에 의해, 상기 산출된 복수의 유사도 중에서 유사도가 가장 큰 식물 정보를 확인하는 단계; 상기 서버에 의해, 상기 확인된 식물 정보에 포함된 상세 정보 및 부가 정보를 상기 단말에 전송하는 단계; 및 상기 단말에 의해, 상기 전송된 식물 분류 요청 정보에 응답하여 상기 서버로부터 전송되는 상기 특정 식물과 관련한 상세 정보 및 부가 정보를 표시하는 단계를 더 포함할 수 있다.
본 발명은 식물의 잎, 줄기, 가지, 꽃, 열매 등에 대해서 딥 러닝을 이용해서 식물의 월별 생육 상태에 따른 특징점을 확인하고, 개화 시기, 착과 시기 등에 따른 해당 식물의 특징점을 확인하고, 해당 식물의 변종에 대한 특징점을 확인하고, 상기 확인된 특징점에 대한 정보를 데이터베이스화한 후, 특정 이미지에 포함된 식물에 대한 분류 요청이 있는 경우, 해당 이미지 내의 메타 정보를 근거로 상기 데이터베이스화된 정보들 중에서 해당 이미지에 대응하는 식물 정보 및 상기 식물 정보에 대응하는 부가 정보를 제공함으로써, 현재 상태의 식물에 대한 분류 정확도를 높여, 양질의 정보를 제공하여 사용자의 만족도를 높일 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 딥 러닝을 이용한 식물 분류 시스템의 구성을 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 서버의 구성을 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 딥 러닝을 이용한 식물 분류 방법을 나타낸 흐름도이다.
도 4는 본 발명의 실시예에 따른 단말의 화면의 예를 나타낸 도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 본 발명의 실시예에 따른 딥 러닝을 이용한 식물 분류 시스템(10)의 구성을 나타낸 블록도이다.
도 1에 도시한 바와 같이, 딥 러닝을 이용한 식물 분류 시스템(10)은 서버(100) 및 단말(200)로 구성된다. 도 1에 도시된 식물 분류 시스템(10)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 식물 분류 시스템(10)이 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 식물 분류 시스템(10)이 구현될 수도 있다.
또한, 도 2에 도시한 바와 같이, 서버(100)는 통신부(110), 저장부(120), 표시부(130), 음성 출력부(140) 및 제어부(150)로 구성된다. 도 2에 도시된 서버(100)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 2에 도시된 구성 요소보다 많은 구성 요소에 의해 서버(100)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 서버(100)가 구현될 수도 있다.
상기 통신부(110)는 유/무선 통신망을 통해 내부의 임의의 구성 요소 또는 외부의 임의의 적어도 하나의 단말기와 통신 연결한다. 이때, 상기 외부의 임의의 단말기는 상기 단말(200), 다른 단말(미도시) 등을 포함할 수 있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등이 있으며, 상기 통신부(110)는 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 또한, 근거리 통신 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신 기술로는 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.
또한, 상기 통신부(110)는 유니버설 시리얼 버스(Universal Serial Bus: USB)를 통해 임의의 단말과 정보를 상호 전송할 수 있다.
또한, 상기 통신부(110)는 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 상기 단말(200), 상기 다른 단말 등과 무선 신호를 송수신한다.
또한, 상기 통신부(110)는 상기 단말(200)로부터 전송되는 특정 식물과 관련한 영상 정보를 포함하는 식물 분류 요청 정보, 단말(200)의 식별 정보 등을 포함하는 다양한 정보를 수신한다.
상기 저장부(120)는 다양한 사용자 인터페이스(User Interface: UI), 그래픽 사용자 인터페이스(Graphic User Interface: GUI) 등을 저장한다.
또한, 상기 저장부(120)는 상기 서버(100)가 동작하는데 필요한 데이터와 프로그램 등을 저장한다.
즉, 상기 저장부(120)는 상기 서버(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 서버(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한, 이러한 응용 프로그램 중 적어도 일부는 서버(100)의 기본적인 기능을 위하여 출고 당시부터 서버(100)상에 존재할 수 있다. 한편, 응용 프로그램은 상기 저장부(120)에 저장되고, 서버(100)에 설치되어, 제어부(150)에 의하여 상기 서버(100)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
또한, 상기 저장부(120)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다. 또한, 서버(100)는 인터넷(internet)상에서 저장부(120)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영하거나, 또는 상기 웹 스토리지와 관련되어 동작할 수도 있다.
또한, 상기 저장부(120)는 상기 제어부(150)의 제어에 의해 상기 수신된 다양한 정보 등을 저장한다.
상기 표시부(또는 디스플레이부)(130)는 상기 제어부(150)의 제어에 의해 상기 저장부(120)에 저장된 사용자 인터페이스 및/또는 그래픽 사용자 인터페이스를 이용하여 다양한 메뉴 화면 등과 같은 다양한 콘텐츠를 표시할 수 있다. 여기서, 상기 표시부(130)에 표시되는 콘텐츠는 다양한 텍스트 또는 이미지 데이터(각종 정보 데이터 포함)와 아이콘, 리스트 메뉴, 콤보 박스 등의 데이터를 포함하는 메뉴 화면 등을 포함한다. 또한, 상기 표시부(130)는 터치 스크린 일 수 있다.
또한, 상기 표시부(130)는 액정 디스플레이(Liquid Crystal Display: LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display: TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode: OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display), 전자잉크 디스플레이(e-ink display), LED(Light Emitting Diode) 중에서 적어도 하나를 포함할 수 있다.
또한, 상기 표시부(130)는 상기 제어부(150)의 제어에 의해 상기 수신된 다양한 정보 등을 표시한다.
상기 음성 출력부(140)는 상기 제어부(150)에 의해 소정 신호 처리된 신호에 포함된 음성 정보를 출력한다. 여기서, 상기 음성 출력부(140)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.
또한, 상기 음성 출력부(140)는 상기 제어부(150)에 의해 생성된 안내 음성을 출력한다.
또한, 상기 음성 출력부(140)는 상기 제어부(150)에 의해 상기 수신된 다양한 정보 등에 대응하는 음성 정보(또는 음향 효과)를 출력한다.
상기 제어부(controller, 또는 MCU(microcontroller unit)(150)는 상기 레이더 시스템을 위한 서버(100)의 전반적인 제어 기능을 실행한다.
또한, 상기 제어부(150)는 상기 저장부(120)에 저장된 프로그램 및 데이터를 이용하여 서버(100)의 전반적인 제어 기능을 실행한다. 상기 제어부(150)는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다. CPU는 상기 저장부(120)에 액세스하여, 상기 저장부(120)에 저장된 O/S를 이용하여 부팅을 수행할 수 있으며, 상기 저장부(120)에 저장된 각종 프로그램, 콘텐츠, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.
또한, 상기 제어부(150)는 월별(또는 계절별/분기별)로 동일 식물에 대해 해당 식물을 포함한 영상 정보를 획득(또는 촬영)한다.
즉, 상기 제어부(150)는 1년 12개월에 대해서 월별로 식물의 상태를 확인할 수 있도록 식물을 포함한 영상 정보를 획득한다. 이때, 상기 서버(100)는 해당 서버(100)에 구비된 카메라부(미도시)를 통해 임의의 식물을 포함하는 영상 정보를 획득할 수도 있고 또는, 다른 단말이나 다른 서버로부터 제공되는 임의의 식물을 포함하는 영상 정보를 상기 통신부(110)를 통해 수신할 수도 있다.
또한, 상기 제어부(150)는 상기 촬영된(또는 획득된) 영상 정보 내의 식물의 잎, 줄기, 가지, 꽃, 열매 등에 대해서 월별 생육 상태에 따른 복수의 특징점을 추출(또는 확인)한다.
즉, 상기 제어부(150)는 월별로 촬영된 동일 식물에 대한 영상 정보별로 복수의 특징점을 각각 추출한다.
또한, 상기 제어부(150)는 상기 추출된 복수의 특징점 간의 상관관계에 따른 상관 벡터를 산출한다. 이때, 상기 상관 벡터는 특징점 간의 거리(또는 크기), 임의의 기준 특징점을 근거로 하는 방향 등의 정보를 포함한다.
즉, 상기 제어부(150)는 잎의 중앙 부위(또는 잎의 일측)의 특징점과 해당 특징점에 인접한 적어도 하나의 다른 인접 특징점 간의 상관 벡터를 산출하고, 줄기의 중앙 부위의 특징점과 해당 특징점에 인접한 적어도 하나의 다른 인접 특징점 간의 상관 벡터를 산출하고, 가지의 중앙 부위의 특징점과 해당 특징점에 인접한 적어도 하나의 다른 인접 특징점 간의 상관 벡터를 산출하고, 꽃의 중앙 부위의 특징점과 해당 특징점에 인접한 적어도 하나의 다른 인접 특징점 간의 상관 벡터를 산출하고, 열매의 중앙 부위의 특징점과 해당 특징점에 인접한 적어도 하나의 다른 인접 특징점 간의 상관 벡터를 산출하여, 잎, 줄기, 가지, 꽃, 열매 등의 특징(또는 형태)을 확인한다.
또한, 상기 제어부(150)는 상기 추출된 잎과 관련한 하나 이상의 특징점, 상기 추출된 줄기와 관련한 하나 이상의 특징점, 상기 추출된 가지와 관련한 하나 이상의 특징점, 상기 추출된 꽃과 관련한 하나 이상의 특징점, 상기 추출된 열매와 관련한 하나 이상의 특징점 간의 하나 이상의 상관 벡터를 산출하여, 잎과 줄기와 가지와 꽃과 열매 간의 특징(또는 형태)을 확인한다.
이때, 상기 제어부(150)는 월별로 촬영된 동일 식물에 대한 영상 정보별로 해당 식물과 관련한 특징점 추출 및 상관 벡터 산출 기능을 수행할 뿐만 아니라, 해당 식물과 관련한 특정 시점인 개화 시기, 착과 시기 등에 대해 해당 식물의 특징점 추출 및 관련된 상관 벡터 산출 기능을 수행할 수도 있다.
또한, 상기 제어부(150)는 원물에 대응하는 해당 식물에 대한 월별 특징점 추출 및 관련된 상관 벡터 산출뿐만 아니라, 해당 식물과 관련한 변종식물이 존재하는 경우, 해당 변종식물과 관련한 잎, 줄기, 가지, 꽃, 열매 등에 대한 복수의 특징점 추출과 상기 추출된 변종식물과 관련한 복수의 특징점에 대해 상관 벡터를 산출할 수도 있다.
또한, 상기 제어부(150)는 해당 식물의 잎, 줄기, 가지, 꽃, 열매 등의 색상이나 형태(또는 모양)를 미리 설정된 이미지 분석 방법을 통해 확인(또는 검출)할 수도 있다.
이와 같이, 상기 제어부(150)는 영상 정보를 분석하여, 해당 식물과 관련한 다양한 정보를 획득(또는 수집)한다.
또한, 상기 제어부(150)는 해당 영상 정보 분석을 통해, 시기별(또는 월별)로 해당 식물의 잎, 줄기, 가지, 꽃, 열매 등에 대한 특징을 파악(또는 확인)할 수 있으며, 이렇게 파악된 정보들(또는 특징들)을 근거로 특정 식물에 대한 식물 분류(또는 식물 판단/검색)를 용이하게 수행할 수 있다.
또한, 상기 제어부(150)는 상기 확인된 식물의 월별 생육 상태에 따른 복수의 특징점 정보, 복수의 특징점 간의 상관관계에 따른 상관 벡터, 상기 확인된 해당 식물의 잎, 줄기, 가지, 꽃, 열매 등의 색상이나 형태, 해당 식물과 관련한 상세 정보, 해당 식물의 관리 방법에 대해 부가 정보 등을 포함하는 식물 정보를 데이터베이스화하여 상기 저장부(120)에 저장한다. 이때, 상기 제어부(150)는 별도의 독립된 데이터베이스(DB)(미도시)에 상기 데이터베이스화된 식물의 품종별 식물 정보를 저장할 수도 있다.
이와 같이, 상기 제어부(150)는 임의의 식물에 대해서 월별로 및/또는 특정 시점별로(예를 들어 개화 시기, 착과 시기 등 포함) 식물의 잎, 줄기, 가지, 꽃, 열매 등에 대한 영상 정보를 근거로 복수의 특징점을 추출한 후, 상기 추출된 복수의 특징점 간의 상관관계에 따른 상관 벡터를 각각 산출할 수 있다.
또한, 이와 같이, 상기 제어부(150)는 상기 임의의 식물에 대해 추출된 월별 복수의 특징점과 상관 벡터에 대해서 딥 러닝 학습 방법을 통해서 해당 특징점 및 상관 벡터에 대한 정보를 지속적으로 업데이트(또는 관리)할 수 있다.
또한, 상기 제어부(150)는 딥 러닝 학습 방법을 통해서 식물의 품종별로 상기 월별 및/또는 특정 시점별 영상 정보를 획득하는 과정, 상기 획득된 영상 정보 내의 복수의 특징점 추출 및 관련한 상관 벡터를 산출하는 과정 등을 수행하여, 빅 데이터 기반의 식물 정보에 대해서 체계화된 관리 기능을 제공할 수 있다.
또한, 상기 제어부(150)는 상기 단말(200)로부터 전송되는 특정 식물과 관련한 영상 정보를 포함하는 식물 분류 요청 정보, 단말(200)의 식별 정보 등을 상기 통신부(110)를 통해 수신한다.
또한, 상기 제어부(150)는 상기 수신된 식물 분류 요청 정보에 포함된 영상 정보 내의 메타 정보를 확인(또는 추출)한다. 이때, 상기 메타 정보는 해당 영상 정보를 촬영한 촬영 날짜 및 시각 정보(또는 촬영된 시점의 월(month) 정보), 조도 정보 등을 포함한다.
즉, 상기 제어부(150)는 해당 식물 분류 요청 정보에 포함된 영상 정보가 촬영된 시점을 확인하기 위해서, 해당 영상 정보 내의 메타 정보를 확인하여, 해당 영상 정보가 촬영된 월(month)을 확인한다.
또한, 상기 제어부(150)는 상기 수신된 식물 분류 요청 정보에 포함된 영상 정보 내의 객체(또는 특정 식물)와 관련한 복수의 특징점을 추출한다.
또한, 상기 제어부(150)는 상기 추출된 복수의 특징점 간의 다른 상관 벡터를 산출한다.
즉, 상기 제어부(150)는 상기 수신된 식물 분류 요청 정보에 포함된 영상 정보 내의 객체가 식물인지 여부를 판단한다.
이와 같이, 상기 제어부(150)는 상기 수신된 식물 분류 요청 정보에 포함된 영상 정보 내의 객체에 대해서, 미리 설정된 객체 인식 알고리즘 등을 통해 해당 객체의 특징을 확인하고, 상기 확인된 객체의 특징을 통해서 해당 객체가 식물인지 아닌지 여부를 판단할 수 있다.
상기 판단 결과, 상기 수신된 식물 분류 요청 정보에 포함된 영상 정보 내의 객체가 식물이 아닌 경우, 상기 제어부(150)는 해당 식물 분류 요청 정보에 포함된 영상 정보 내의 객체가 식물이 아님을 나타내는 정보를 상기 통신부(110)를 통해 해당 단말(200)에 제공하고, 전체 과정을 종료한다.
상기 판단 결과, 상기 수신된 식물 분류 요청 정보에 포함된 영상 정보 내의 객체가 식물인 경우, 상기 제어부(150)는 해당 영상 정보 내의 객체에 대한 잎, 줄기, 가지, 꽃, 열매 등에 대해서 복수의 특징점을 추출(또는 확인)한다.
또한, 상기 제어부(150)는 상기 추출된 복수의 특징점 간의 상관관계에 따른 상기 다른 상관 벡터를 산출한다. 이때, 상기 다른 상관 벡터는 특징점 간의 거리(또는 크기), 임의의 기준 특징점을 근거로 하는 방향 등의 정보를 포함한다.
즉, 상기 제어부(150)는 상기 추출된 해당 객체와 관련한 잎의 중앙 부위의 특징점과 해당 특징점에 인접한 적어도 하나의 다른 인접 특징점 간의 다른 상관 벡터를 산출하고, 상기 추출된 해당 객체와 관련한 줄기의 중앙 부위의 특징점과 해당 특징점에 인접한 적어도 하나의 다른 인접 특징점 간의 다른 상관 벡터를 산출하고, 상기 추출된 해당 객체와 관련한 가지의 중앙 부위의 특징점과 해당 특징점에 인접한 적어도 하나의 다른 인접 특징점 간의 다른 상관 벡터를 산출하고, 상기 추출된 해당 객체와 관련한 꽃의 중앙 부위의 특징점과 해당 특징점에 인접한 적어도 하나의 다른 인접 특징점 간의 다른 상관 벡터를 산출하고, 상기 추출된 해당 객체와 관련한 열매의 중앙 부위의 특징점과 해당 특징점에 인접한 적어도 하나의 다른 인접 특징점 간의 다른 상관 벡터를 산출하여, 해당 객체의 잎, 줄기, 가지, 꽃, 열매 등의 특징(또는 형태)을 확인한다.
또한, 상기 제어부(150)는 상기 추출된 해당 객체에 대응하는 잎과 관련한 하나 이상의 특징점, 상기 추출된 해당 객체에 대응하는 줄기와 관련한 하나 이상의 특징점, 상기 추출된 해당 객체에 대응하는 가지와 관련한 하나 이상의 특징점, 상기 추출된 해당 객체에 대응하는 꽃과 관련한 하나 이상의 특징점, 상기 추출된 해당 객체에 대응하는 열매와 관련한 하나 이상의 특징점 간의 하나 이상의 다른 상관 벡터를 산출하여, 잎과 줄기와 가지와 꽃과 열매 간의 특징(또는 형태)을 확인한다.
이와 같이, 상기 제어부(150)는 해당 식물 분류 요청 정보에 포함된 영상 정보 내의 객체인 식물의 특징을 확인하기 위해서, 해당 식물의 특징을 확인할 수 있는 파라미터들(예를 들어 특징점 추출, 부위별 특징점 간의 상관관계 등 포함)을 산출(또는 확인)할 수 있다.
또한, 상기 제어부(150)는 해당 식물 분류 요청 정보에 포함된 영상 정보 내의 객체의 잎, 줄기, 가지, 꽃, 열매 등의 색상이나 형태(또는 모양)를 상기 미리 설정된 이미지 분석 방법을 통해 확인(또는 검출)할 수도 있다.
또한, 상기 제어부(150)는 상기 저장부(120)에 데이터베이스화된 식물 정보 중에서 상기 확인된(또는 추출된) 메타 정보에 대응하는 월(또는 해당 월을 기준으로 미리 설정된 간격(예를 들어 1개월)만큼의 전/후를 포함하는 기간/범위)과 관련한 식물 정보를 대상으로, 상기 추출된 특정 식물과 관련한 복수의 특징점 및 상기 산출된 다른 상관 벡터(또는 해당 특정 식물과 관련한 복수의 특징점을 근거로 산출된 다른 상관 벡터)에 대응하는 식물 정보를 확인(또는 검색)한다.
즉, 상기 제어부(150)는 상기 저장부(120)에 데이터베이스화된 식물 정보 내의 월별 복수의 식물과 관련한 복수의 특징점 및 해당 복수의 특징점과 관련한 상관 벡터 중에서 상기 추출된 특정 식물과 관련한 복수의 특징점 및 상기 산출된 다른 상관 벡터 간의 유사도를 각각 산출하고, 상기 산출된 복수의 유사도 중에서 유사도가 가장 큰 식물 정보를 확인(또는 검색)한다.
이때, 상기 제어부(150)는 상기 확인 시간을 줄이고 검색의 정확도를 높이기 위해서, 상기 데이터베이스화된 식물 정보 내의 월별 복수의 식물과 관련한 복수의 특징점 및 해당 복수의 특징점과 관련한 상관 벡터 중에서 상기 확인된(또는 추출된) 메타 정보에 대응하는 특정 월(또는 해당 특정 월을 포함하는 특정 기간)에 해당하는 복수의 식물과 관련한 적어도 하나의 특징점 및 해당 적어도 하나의 특징점과 관련한 상관 벡터 중에서 상기 추출된 특정 식물과 관련한 복수의 특징점 및 상기 산출된 다른 상관 벡터 간의 유사도를 각각 산출하고, 상기 산출된 복수의 유사도 중에서 유사도가 가장 큰 식물 정보를 확인할 수도 있다. 여기서, 상기 식물 정보는 복수의 특징점 정보, 복수의 특징점 간의 상관관계에 따른 상관 벡터, 상기 확인된 해당 식물의 잎, 줄기, 가지, 꽃, 열매 등의 색상이나 형태, 해당 식물과 관련한 상세 정보, 해당 식물의 관리 방법에 대한 부가 정보 등을 포함한다. 또한, 해당 식물과 관련한 상세 정보는 해당 식물의 일반 표기명(또는 유통명), 학명, 영명, 과명, 원산지, 분류, 생육 형태, 생장 높이(cm), 생장 너비(cm), 생태형, 잎무늬, 잎색, 향기, 번식방법 등을 포함한다. 또한, 상기 부가 정보는 관리 수준, 관리 요구도, 광 요구도, 배치 장소, 생장 속도, 생육 적온, 겨울 최저 온도, 습도, 비료, 토양, 물주기(예를 들어 봄, 여름, 가을, 겨울별 물주기), 병충해, 병충해 관리, 기능성 정보 등을 포함한다.
또한, 상기 제어부(150)는 상기 확인된(또는 검색된) 식물 정보에 포함된 상세 정보, 부가 정보 등을 상기 통신부(110)를 통해 상기 단말(200)에 전송한다.
또한, 상기 제어부(150)는 상기 확인된(또는 검색된) 식물 정보에 포함된 상세 정보, 부가 정보 등을 상기 표시부(130) 및/또는 상기 음성 출력부(140)를 통해 출력한다.
상기 단말(200)은 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 폴더블 단말기(Foldable Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 스마트 TV, 디지털방송용 단말기, AVN(Audio Video Navigation) 단말기, A/V(Audio/Video) 시스템, 플렉시블 단말기(Flexible Terminal), 디지털 사이니지 장치 등과 같은 다양한 단말기에 적용될 수 있다.
또한, 상기 단말(200)은 상기 서버(100)를 구성하는 상기 통신부(110), 상기 저장부(120), 상기 표시부(130), 상기 음성 출력부(140), 상기 제어부(150)에 대응하는 각 구성 요소를 포함하여 구성할 수 있다.
또한, 상기 단말(200)은 상기 서버(100), 다른 단말 등과 통신한다.
또한, 상기 단말(200)은 해당 단말(200)에 구비된 카메라(미도시)를 통해 특정 식물과 관련한 영상 정보를 획득(또는 촬영)한다. 이때, 상기 특정 식물과 관련한 영상 정보는 이미지 형태 또는 동영상 형태일 수 있으며, 해당 단말(200)에서 해당 특정 식물을 촬영한 영상 정보이거나 또는, 다른 단말(미도시) 등으로부터 제공받은 해당 특정 식물을 포함하는 영상 정보일 수 있다.
즉, 해당 획득된 영상 정보 내의 특정 식물에 대한 상세 정보 등을 확인하고자 하는 경우, 상기 단말(200)은 상기 특정 식물과 관련한 영상 정보를 포함하는 식물 분류 요청 정보를 생성한다.
또한, 상기 단말(200)은 상기 생성된 식물 분류 요청 정보, 단말(200)의 식별 정보 등을 상기 서버(100)에 전송한다. 여기서, 상기 단말(20)의 식별 정보는 MDN(Mobile Directory Number), 모바일 IP, 모바일 MAC, Sim(subscriber identity module: 가입자 식별 모듈) 카드 고유 정보, 시리얼번호 등을 포함한다.
또한, 상기 단말(200)은 앞서 전송된 식물 분류 요청 정보 등에 응답하여 상기 서버(100)로부터 전송되는 상기 특정 식물과 관련한 상세 정보, 부가 정보 등을 수신한다.
또한, 상기 단말(200)은 상기 수신된 상세 정보, 부가 정보, 상기 식물 분류 요청 정보에 포함된 특정 식물과 관련한 영상 정보 등을 표시한다.
본 발명의 실시예에서는 상기 단말(200)에서 상기 서버(100)에 상기 특정 식물과 관련한 영상 정보를 포함하는 식물 분류 요청 정보 등을 전송하고, 이에 대해 상기 서버(100)에서 관련된 식물 정보, 부가 정보 등을 상기 단말(200)에 제공하는 것을 설명하고 있으나, 이에 한정되는 것은 아니며, 상기 단말(200)은 해당 단말(200)에 설치된 전용 앱을 통해 상기 식물 분류 요청 정보 전송 기능, 응답 정보 수신 기능 등을 수행하거나 또는, 상기 서버(100)에서 제공하는 웹 사이트에 접속하여 상기 식물 분류 요청 정보 전송 기능, 응답 정보 수신 기능 등을 수행할 수도 있다.
이와 같이, 식물의 잎, 줄기, 가지, 꽃, 열매 등에 대해서 딥 러닝을 이용해서 식물의 월별 생육 상태에 따른 특징점을 확인하고, 개화 시기, 착과 시기 등에 따른 해당 식물의 특징점을 확인하고, 해당 식물의 변종에 대한 특징점을 확인하고, 상기 확인된 특징점에 대한 정보를 데이터베이스화한 후, 특정 이미지에 포함된 식물에 대한 분류 요청이 있는 경우, 해당 이미지 내의 메타 정보를 근거로 상기 데이터베이스화된 정보들 중에서 해당 이미지에 대응하는 식물 정보 및 상기 식물 정보에 대응하는 부가 정보를 제공할 수 있다.
이하에서는, 본 발명에 따른 딥 러닝을 이용한 식물 분류 방법을 도 1 내지 도 4를 참조하여 상세히 설명한다.
도 3은 본 발명의 실시예에 따른 딥 러닝을 이용한 식물 분류 방법을 나타낸 흐름도이다.
먼저, 서버(100)는 월별(또는 계절별/분기별)로 동일 식물에 대해 해당 식물을 포함한 영상 정보를 획득(또는 촬영)한다.
즉, 상기 서버(100)는 1년 12개월에 대해서 월별로 식물의 상태를 확인할 수 있도록 식물을 포함한 영상 정보를 획득한다.
또한, 상기 서버(100)는 상기 촬영된(또는 획득된) 영상 정보 내의 식물의 잎, 줄기, 가지, 꽃, 열매 등에 대해서 월별 생육 상태에 따른 복수의 특징점을 추출(또는 확인)한다.
즉, 상기 서버(100)는 월별로 촬영된 동일 식물에 대한 영상 정보별로 복수의 특징점을 각각 추출한다.
또한, 상기 서버(100)는 상기 추출된 복수의 특징점 간의 상관관계에 따른 상관 벡터를 산출한다. 이때, 상기 상관 벡터는 특징점 간의 거리(또는 크기), 임의의 기준 특징점을 근거로 하는 방향 등의 정보를 포함한다.
즉, 상기 서버(100)는 잎의 중앙 부위(또는 잎의 일측)의 특징점과 해당 특징점에 인접한 적어도 하나의 다른 인접 특징점 간의 상관 벡터를 산출하고, 줄기의 중앙 부위의 특징점과 해당 특징점에 인접한 적어도 하나의 다른 인접 특징점 간의 상관 벡터를 산출하고, 가지의 중앙 부위의 특징점과 해당 특징점에 인접한 적어도 하나의 다른 인접 특징점 간의 상관 벡터를 산출하고, 꽃의 중앙 부위의 특징점과 해당 특징점에 인접한 적어도 하나의 다른 인접 특징점 간의 상관 벡터를 산출하고, 열매의 중앙 부위의 특징점과 해당 특징점에 인접한 적어도 하나의 다른 인접 특징점 간의 상관 벡터를 산출하여, 잎, 줄기, 가지, 꽃, 열매 등의 특징(또는 형태)을 확인한다.
또한, 상기 서버(100)는 상기 추출된 잎과 관련한 하나 이상의 특징점, 상기 추출된 줄기와 관련한 하나 이상의 특징점, 상기 추출된 가지와 관련한 하나 이상의 특징점, 상기 추출된 꽃과 관련한 하나 이상의 특징점, 상기 추출된 열매와 관련한 하나 이상의 특징점 간의 하나 이상의 상관 벡터를 산출하여, 잎과 줄기와 가지와 꽃과 열매 간의 특징(또는 형태)을 확인한다.
이때, 상기 서버(100)는 월별로 촬영된 동일 식물에 대한 영상 정보별로 해당 식물과 관련한 특징점 추출 및 상관 벡터 산출 기능을 수행할 뿐만 아니라, 해당 식물과 관련한 특정 시점인 개화 시기, 착과 시기 등에 대한 해당 식물의 특징점 추출 및 관련된 상관 벡터 산출 기능을 수행할 수도 있다.
또한, 상기 서버(100)는 원물에 대응하는 해당 식물에 대한 월별 특징점 추출 및 관련된 상관 벡터 산출뿐만 아니라, 해당 식물과 관련한 변종식물이 존재하는 경우, 해당 변종식물과 관련한 잎, 줄기, 가지, 꽃, 열매 등에 대한 복수의 특징점 추출과 상기 추출된 변종식물과 관련한 복수의 특징점에 대한 상관 벡터를 산출할 수도 있다.
또한, 상기 서버(100)는 해당 식물의 잎, 줄기, 가지, 꽃, 열매 등의 색상이나 형태(또는 모양)를 미리 설정된 이미지 분석 방법을 통해 확인(또는 검출)할 수도 있다.
이와 같이, 상기 서버(100)는 영상 정보를 분석하여, 해당 식물과 관련한 다양한 정보를 획득(또는 수집)한다.
일 예로, 상기 서버(100)는 식물의 품종별로 1월 ~ 12월까지 매월 1일날 각각의 식물을 포함하는 영상 정보를 촬영한다. 이때, 해당 식물은 자연 상태에서 생육 중이거나 인공 시설에서 생육 중인 상태일 수 있다.
또한, 상기 서버(100)는 월별로 촬영된 영상 정보 내의 식물의 잎, 줄기, 가지, 꽃, 열매 등에 대해서 월별로 복수의 특징점을 각각 추출한다.
또한, 상기 서버(100)는 상기 월별로 추출된 잎과 관련한 하나 이상의 특징점, 상기 월별로 추출된 줄기와 관련한 하나 이상의 특징점, 상기 월별로 추출된 가지와 관련한 하나 이상의 특징점, 상기 월별로 추출된 꽃과 관련한 하나 이상의 특징점, 상기 월별로 추출된 열매와 관련한 하나 이상의 특징점 간의 하나 이상의 상관 벡터를 산출한다. 이때, 상기 산출되는 상관 벡터는 월별로 정렬된 상태(예를 들어 1월달 내지 12월달 각각에 대해서 잎, 줄기, 가지, 꽃, 열매 간의 상관관계)일 수 있다.
또한, 상기 서버(100)는 상기 월별로 촬영된 영상 정보 내의 식물의 잎, 줄기, 가지, 꽃, 열매 등에 대한 색상이나 형태를 각각 확인한다(S210).
이후, 상기 서버(100)는 상기 확인된 식물의 월별 생육 상태에 따른 복수의 특징점 정보, 복수의 특징점 간의 상관관계에 따른 상관 벡터, 상기 확인된 해당 식물의 잎, 줄기, 가지, 꽃, 열매 등의 색상이나 형태, 해당 식물과 관련한 상세 정보, 해당 식물의 관리 방법에 대한 부가 정보 등을 포함하는 식물 정보를 데이터베이스화하여 저장한다.
이와 같이, 상기 서버(100)는 임의의 식물에 대해서 월별로 및/또는 특정 시점별로(예를 들어 개화 시기, 착과 시기 등 포함) 식물의 잎, 줄기, 가지, 꽃, 열매 등에 대한 영상 정보를 근거로 복수의 특징점을 추출한 후, 상기 추출된 복수의 특징점 간의 상관관계에 따른 상관 벡터를 각각 산출할 수 있다.
또한, 이와 같이, 상기 서버(100)는 상기 임의의 식물에 대해 추출된 월별 복수의 특징점과 상관 벡터에 대해서 딥 러닝 학습 방법을 통해서 해당 특징점 및 상관 벡터에 대한 정보를 지속적으로 업데이트(또는 관리)할 수 있다.
또한, 상기 서버(100)는 딥 러닝 학습 방법을 통해서 식물의 품종별로 상기 월별 및/또는 특정 시점별 영상 정보를 획득하는 과정, 상기 획득된 영상 정보 내의 복수의 특징점 추출 및 관련한 상관 벡터를 산출하는 과정 등을 수행하여, 빅 데이터 기반의 식물 정보에 대해서 체계화된 관리 기능을 제공할 수 있다.
일 예로, 상기 서버(100)는 식물의 품종별로 상기 월별로 추출된 복수의 특징점, 해당 복수의 특징점과 관련한 상관 벡터, 해당 식물의 잎, 줄기, 가지, 꽃, 열매 등의 색상이나 형태, 해당 식물과 관련한 상세 정보, 해당 식물의 관리 방법에 대한 부가 정보 등을 데이터베이스화하여 저장한다(S320).
이후, 단말(200)은 특정 식물과 관련한 영상 정보를 포함하는 식물 분류 요청 정보, 단말(200)의 식별 정보 등을 상기 서버(100)에 전송한다. 이때, 상기 특정 식물과 관련한 영상 정보는 이미지 형태 또는 동영상 형태일 수 있으며, 해당 단말(200)에서 해당 특정 식물을 촬영한 영상 정보이거나 또는, 다른 단말(미도시) 등으로부터 제공받은 해당 특정 식물을 포함하는 영상 정보일 수 있다. 또한, 상기 단말(200)의 식별 정보는 MDN, 모바일 IP, 모바일 MAC, Sim(가입자 식별 모듈) 카드 고유 정보, 시리얼번호 등을 포함한다.
일 예로, 제 1 단말(200)은 해당 상기 제 1 단말의 사용자 제어에 의해 해당 제 1 단말에 구비된 카메라(미도시)를 통해 제 1 식물(예를 들어 산세베리아)을 포함하는 제 1 영상 정보를 촬영하고, 상기 촬영된 제 1 식물을 포함하는 제 1 영상 정보를 근거로 해당 제 1 식물에 대한 상세 정보 등을 요청하기 위한 제 1 식물 분류 요청 정보를 생성한다.
또한, 상기 제 1 단말은 상기 생성된 제 1 식물 분류 요청 정보, 상기 제 1 단말의 식별 정보 등을 상기 서버(100)에 전송한다(S330).
이후, 상기 서버(100)는 상기 단말(200)로부터 전송되는 특정 식물과 관련한 영상 정보를 포함하는 식물 분류 요청 정보, 단말(200)의 식별 정보 등을 수신한다.
또한, 상기 서버(100)는 상기 수신된 식물 분류 요청 정보에 포함된 영상 정보 내의 메타 정보를 확인(또는 추출)한다. 이때, 상기 메타 정보는 해당 영상 정보를 촬영한 촬영 날짜 및 시각 정보(또는 촬영된 시점의 월(month) 정보), 조도 정보 등을 포함한다.
또한, 상기 서버(100)는 상기 수신된 식물 분류 요청 정보에 포함된 영상 정보 내의 객체(또는 특정 식물)와 관련한 복수의 특징점을 추출한다.
또한, 상기 서버(100)는 상기 추출된 복수의 특징점 간의 다른 상관 벡터를 산출한다.
즉, 상기 서버(100)는 상기 수신된 식물 분류 요청 정보에 포함된 영상 정보 내의 객체가 식물인지 여부를 판단한다.
상기 판단 결과, 상기 수신된 식물 분류 요청 정보에 포함된 영상 정보 내의 객체가 식물인 경우, 상기 서버(100)는 해당 영상 정보 내의 객체에 대한 잎, 줄기, 가지, 꽃, 열매 등에 대해서 복수의 특징점을 추출(또는 확인)한다.
또한, 상기 서버(100)는 상기 추출된 복수의 특징점 간의 상관관계에 따른 상기 다른 상관 벡터를 산출한다. 이때, 상기 다른 상관 벡터는 특징점 간의 거리(또는 크기), 임의의 기준 특징점을 근거로 하는 방향 등의 정보를 포함한다.
즉, 상기 서버(100)는 상기 추출된 해당 객체와 관련한 잎의 중앙 부위의 특징점과 해당 특징점에 인접한 적어도 하나의 다른 인접 특징점 간의 다른 상관 벡터를 산출하고, 상기 추출된 해당 객체와 관련한 줄기의 중앙 부위의 특징점과 해당 특징점에 인접한 적어도 하나의 다른 인접 특징점 간의 다른 상관 벡터를 산출하고, 상기 추출된 해당 객체와 관련한 가지의 중앙 부위의 특징점과 해당 특징점에 인접한 적어도 하나의 다른 인접 특징점 간의 다른 상관 벡터를 산출하고, 상기 추출된 해당 객체와 관련한 꽃의 중앙 부위의 특징점과 해당 특징점에 인접한 적어도 하나의 다른 인접 특징점 간의 다른 상관 벡터를 산출하고, 상기 추출된 해당 객체와 관련한 열매의 중앙 부위의 특징점과 해당 특징점에 인접한 적어도 하나의 다른 인접 특징점 간의 다른 상관 벡터를 산출하여, 해당 객체의 잎, 줄기, 가지, 꽃, 열매 등의 특징(또는 형태)을 확인한다.
또한, 상기 서버(100)는 상기 추출된 해당 객체에 대응하는 잎과 관련한 하나 이상의 특징점, 상기 추출된 해당 객체에 대응하는 줄기와 관련한 하나 이상의 특징점, 상기 추출된 해당 객체에 대응하는 가지와 관련한 하나 이상의 특징점, 상기 추출된 해당 객체에 대응하는 꽃과 관련한 하나 이상의 특징점, 상기 추출된 해당 객체에 대응하는 열매와 관련한 하나 이상의 특징점 간의 하나 이상의 다른 상관 벡터를 산출하여, 잎과 줄기와 가지와 꽃과 열매 간의 특징(또는 형태)을 확인한다.
또한, 상기 서버(100)는 해당 식물 분류 요청 정보에 포함된 영상 정보 내의 객체의 잎, 줄기, 가지, 꽃, 열매 등의 색상이나 형태(또는 모양)를 상기 미리 설정된 이미지 분석 방법을 통해 확인(또는 검출)할 수도 있다.
일 예로, 상기 서버(100)는 상기 제 1 단말로부터 전송되는 제 1 식물 분류 요청 정보, 상기 제 1 단말의 식별 정보 등을 수신한다.
또한, 상기 서버(100)는 상기 제 1 식물 분류 요청 정보에 포함된 제 1 영상 정보 내의 메타 정보(예를 들어 2018년 12월 01일 오후 03시 30분 15초) 등을 확인한다.
또한, 상기 서버(100)는 상기 제 1 식물 분류 요청 정보에 포함된 제 1 영상 정보 내의 객체가 식물인지 여부를 판단하고, 해당 객체가 식물로 판단될 때, 해당 객체에 대한 잎, 줄기, 가지, 꽃, 열매 등에 대해서 복수의 특징점을 추출한다.
또한, 상기 서버(100)는 상기 추출된 해당 객체에 대한 잎과 관련한 하나 이상의 특징점, 줄기와 관련한 하나 이상의 특징점, 가지와 관련한 하나 이상의 특징점, 꽃과 관련한 하나 이상의 특징점, 열매와 관련한 하나 이상의 특징점 간의 하나 이상의 다른 상관 벡터를 각각 산출한다.
또한, 상기 서버(100)는 상기 제 1 영상 정보 내의 객체의 잎, 줄기, 가지, 꽃, 열매 등에 대한 색상이나 형태를 각각 확인한다(S340).
이후, 상기 서버(100)는 상기 데이터베이스화된 식물 정보 중에서 상기 확인된(또는 추출된) 메타 정보에 대응하는 월(또는 해당 월을 기준으로 미리 설정된 간격(예를 들어 1개월)만큼의 전/후를 포함하는 기간/범위)과 관련한 식물 정보를 대상으로, 상기 추출된 특정 식물과 관련한 복수의 특징점 및 상기 산출된 다른 상관 벡터(또는 해당 특정 식물과 관련한 복수의 특징점을 근거로 산출된 다른 상관 벡터)에 대응하는 식물 정보를 확인(또는 검색)한다.
즉, 상기 서버(100)는 상기 데이터베이스화된 식물 정보 내의 월별 복수의 식물과 관련한 복수의 특징점 및 해당 복수의 특징점과 관련한 상관 벡터 중에서 상기 추출된 특정 식물과 관련한 복수의 특징점 및 상기 산출된 다른 상관 벡터 간의 유사도를 각각 산출하고, 상기 산출된 복수의 유사도 중에서 유사도가 가장 큰 식물 정보를 확인(또는 검색)한다. 이때, 상기 서버(100)는 상기 확인 시간을 줄이고 검색의 정확도를 높이기 위해서, 상기 데이터베이스화된 식물 정보 내의 월별 복수의 식물과 관련한 복수의 특징점 및 해당 복수의 특징점과 관련한 상관 벡터 중에서 상기 확인된(또는 추출된) 메타 정보에 대응하는 특정 월(또는 해당 특정 월을 포함하는 특정 기간)에 해당하는 복수의 식물과 관련한 적어도 하나의 특징점 및 해당 적어도 하나의 특징점과 관련한 상관 벡터 중에서 상기 추출된 특정 식물과 관련한 복수의 특징점 및 상기 산출된 다른 상관 벡터 간의 유사도를 각각 산출하고, 상기 산출된 복수의 유사도 중에서 유사도가 가장 큰 식물 정보를 확인할 수도 있다. 여기서, 상기 식물 정보는 복수의 특징점 정보, 복수의 특징점 간의 상관관계에 따른 상관 벡터, 상기 확인된 해당 식물의 잎, 줄기, 가지, 꽃, 열매 등의 색상이나 형태, 해당 식물과 관련한 상세 정보, 해당 식물의 관리 방법에 대한 부가 정보 등을 포함한다. 또한, 해당 식물과 관련한 상세 정보는 해당 식물의 일반 표기명(또는 유통명), 학명, 영명, 과명, 원산지, 분류, 생육 형태, 생장 높이(cm), 생장 너비(cm), 생태형, 잎무늬, 잎색, 향기, 번식방법 등을 포함한다. 또한, 상기 부가 정보는 관리 수준, 관리 요구도, 광 요구도, 배치 장소, 생장 속도, 생육 적온, 겨울 최저 온도, 습도, 비료, 토양, 물주기(예를 들어 봄, 여름, 가을, 겨울별 물주기), 병충해, 병충해 관리, 기능성 정보 등을 포함한다.
또한, 상기 서버(100)는 상기 확인된(또는 검색된) 식물 정보에 포함된 상세 정보, 부가 정보 등을 상기 단말(200)에 전송한다.
일 예로, 상기 서버(100)는 상기 데이터베이스화된 식물 정보 내의 월별 복수의 식물과 관련한 복수의 특징점 및 해당 복수의 특징점과 관련한 상관 벡터 중에서 상기 확인된 제 1 영상 정보 내의 메타 정보(예를 들어 2018년 12월 01일 오후 03시 30분 15초)에 대응하는 특정 월(예를 들어 12월)(또는 해당 특정 월인 12월 전후의 11월 ~ 01월)과 관련하는 12월에 획득된 영상 정보들을 근거로 추출된 상기 복수의 식물과 관련한 적어도 하나의 특징점 및 해당 적어도 하나의 특징점과 관련한 상관 벡터 중에서 상기 추출된 객체에 대한 잎, 줄기, 가지, 꽃, 열매 등과 관련한 복수의 특징점 및 해당 복수의 특징점과 관련한 하나 이상의 다른 상관 벡터 간의 유사도를 각각 산출하고, 상기 산출된 복수의 유사도 중에서 유사도가 가장 큰 제 11 식물 정보(예를 들어 산세베리아와 관련한 식물 정보)를 확인한다.
또한, 상기 서버(100)는 상기 데이터베이스화된 식물 정보 중에서, 상기 확인된 제 11 식물 정보(예를 들어 산세베리아와 관련한 식물 정보)에 포함된 해당 산세베리아에 대한 제 11 상세 정보, 해당 산세베리아의 관리 방법에 대한 제 11 부가 정보 등을 확인한다.
또한, 상기 서버(100)는 상기 확인된 제 11 상세 정보(예를 들어 산세베리아와 관련한 상세 정보), 해당 제 11 상세 정보와 관련한 제 11 부가 정보 등을 상기 제 1 단말에 전송한다(S350).
이후, 상기 단말(200)은 앞서 전송된 식물 분류 요청 정보 등에 응답하여 상기 서버(100)로부터 전송되는 상기 특정 식물과 관련한 상세 정보, 부가 정보 등을 수신한다.
또한, 상기 단말(200)은 상기 수신된 상세 정보, 부가 정보, 상기 식물 분류 요청 정보에 포함된 특정 식물과 관련한 영상 정보 등을 표시한다.
일 예로, 상기 제 1 단말은 앞서 전송된 제 1 식물 분류 요청 정보 등에 응답하여 상기 서버(100)로부터 전송되는 산세베리아와 관련한 제 11 상세 정보, 해당 산세베리아의 관리 방법에 대한 제 11 부가 정보 등을 수신한다.
또한, 도 4에 도시된 바와 같이, 상기 제 1 단말은 상기 제 1 식물 분류 요청 정보에 포함된 제 1 영상 정보 내의 제 1 식물, 상기 수신된 제 11 상세 정보, 제 11 부가 정보 등을 함께 표시(400)한다(S360).
본 발명의 실시예는 앞서 설명된 바와 같이, 식물의 잎, 줄기, 가지, 꽃, 열매 등에 대해서 딥 러닝을 이용해서 식물의 월별 생육 상태에 따른 특징점을 확인하고, 개화 시기, 착과 시기 등에 따른 해당 식물의 특징점을 확인하고, 해당 식물의 변종에 대한 특징점을 확인하고, 상기 확인된 특징점에 대한 정보를 데이터베이스화한 후, 특정 이미지에 포함된 식물에 대한 분류 요청이 있는 경우, 해당 이미지 내의 메타 정보를 근거로 상기 데이터베이스화된 정보들 중에서 해당 이미지에 대응하는 식물 정보 및 상기 식물 정보에 대응하는 부가 정보를 제공하여, 현재 상태의 식물에 대한 분류 정확도를 높여, 양질의 정보를 제공하여 사용자의 만족도를 높일 수 있다.
전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 딥 러닝을 이용한 식물 분류 시스템 100: 서버
200: 단말 110: 통신부
120: 저장부 130: 표시부
140: 음성 출력부 150: 제어부

Claims (7)

  1. 월별로 동일 식물에 대해 상기 식물을 포함하는 영상 정보를 획득하고, 상기 획득된 영상 정보 내의 식물의 잎, 줄기, 가지, 꽃 및 열매에 대해서 월별 생육 상태에 따른 복수의 특징점을 추출하고, 상기 추출된 복수의 특징점 간의 상관관계에 따른 상관 벡터를 산출하고, 상기 획득된 영상 정보 내의 식물의 잎, 줄기, 가지, 꽃 및 열매에 대해서 색상이나 형태를 각각 확인하고, 상기 추출된 식물의 월별 생육 상태에 따른 복수의 특징점 정보, 상기 복수의 특징점 간의 상관관계에 따른 상관 벡터, 상기 확인된 해당 식물의 잎, 줄기, 가지, 꽃, 열매 등의 색상이나 형태, 상기 식물과 관련한 상세 정보 및 상기 식물의 관리 방법에 대한 부가 정보를 포함하는 식물 정보를 데이터베이스화하여 저장하는 서버; 및
    특정 식물과 관련한 다른 영상 정보를 포함하는 식물 분류 요청 정보 및 상기 단말의 식별 정보를 상기 서버에 전송하는 단말을 포함하는 딥 러닝을 이용한 식물 분류 시스템.
  2. 제 1 항에 있어서,
    상기 상관 벡터는,
    특징점 간의 거리 및 방향 정보를 포함하는 것을 특징으로 하는 딥 러닝을 이용한 식물 분류 시스템.
  3. 제 1 항에 있어서,
    상기 서버는,
    상기 추출된 잎과 관련한 하나 이상의 특징점, 상기 추출된 줄기와 관련한 하나 이상의 특징점, 상기 추출된 가지와 관련한 하나 이상의 특징점, 상기 추출된 꽃과 관련한 하나 이상의 특징점 및 상기 추출된 열매와 관련한 하나 이상의 특징점 간의 하나 이상의 상관 벡터를 산출하여, 잎과 줄기와 가지와 꽃과 열매 간의 특징을 확인하는 것을 특징으로 하는 딥 러닝을 이용한 식물 분류 시스템.
  4. 제 1 항에 있어서,
    상기 서버는,
    상기 식물 분류 요청 정보에 포함된 다른 영상 정보 내의 메타 정보를 확인하고, 상기 식물 분류 요청 정보에 포함된 다른 영상 정보 내의 객체가 식물인지 여부를 판단하고, 상기 판단 결과, 상기 다른 영상 정보 내의 객체가 식물일 때, 상기 서버에 의해, 상기 다른 영상 정보 내의 객체에 대한 잎, 줄기, 가지, 꽃 및 열매에 대한 복수의 다른 특징점을 추출하고, 상기 추출된 복수의 다른 특징점 간의 상관관계에 따른 다른 상관 벡터를 산출하고, 상기 식물 분류 요청 정보에 포함된 다른 영상 정보 내의 객체의 잎, 줄기, 가지, 꽃 및 열매의 색상이나 형태를 확인하고, 상기 데이터베이스화된 식물 정보 내의 월별 복수의 식물과 관련한 복수의 특징점 및 해당 복수의 특징점과 관련한 상관 벡터 중에서, 상기 확인된 메타 정보에 대응하는 특정 월에 해당하는 복수의 식물과 관련한 적어도 하나의 특징점 및 해당 적어도 하나의 특징점과 관련한 상관 벡터를 확인하고, 상기 확인된 특정 월에 해당하는 복수의 식물과 관련한 적어도 하나의 특징점 및 해당 적어도 하나의 특징점과 관련한 상관 벡터 중에서 상기 추출된 특정 식물과 관련한 복수의 다른 특징점 및 상기 산출된 다른 상관 벡터 간의 유사도를 각각 산출하고, 상기 산출된 복수의 유사도 중에서 유사도가 가장 큰 식물 정보를 확인하고, 상기 확인된 식물 정보에 포함된 상세 정보 및 부가 정보를 상기 단말에 전송하며,
    상기 단말은,
    상기 전송된 식물 분류 요청 정보에 응답하여 상기 서버로부터 전송되는 상기 특정 식물과 관련한 상세 정보 및 부가 정보를 표시하는 것을 특징으로 하는 딥 러닝을 이용한 식물 분류 시스템.
  5. 서버에 의해, 월별로 동일 식물에 대해 상기 식물을 포함하는 영상 정보를 획득하는 단계;
    상기 서버에 의해, 상기 획득된 영상 정보 내의 식물의 잎, 줄기, 가지, 꽃 및 열매에 대해서 월별 생육 상태에 따른 복수의 특징점을 추출하는 단계;
    상기 서버에 의해, 상기 추출된 복수의 특징점 간의 상관관계에 따른 상관 벡터를 산출하는 단계;
    상기 서버에 의해, 상기 획득된 영상 정보 내의 식물의 잎, 줄기, 가지, 꽃 및 열매에 대해서 색상이나 형태를 각각 확인하는 단계; 및
    상기 서버에 의해, 상기 추출된 식물의 월별 생육 상태에 따른 복수의 특징점 정보, 상기 복수의 특징점 간의 상관관계에 따른 상관 벡터, 상기 확인된 해당 식물의 잎, 줄기, 가지, 꽃, 열매 등의 색상이나 형태, 상기 식물과 관련한 상세 정보 및 상기 식물의 관리 방법에 대한 부가 정보를 포함하는 식물 정보를 데이터베이스화하여 저장하는 단계를 포함하는 딥 러닝을 이용한 식물 분류 방법.
  6. 제 5 항에 있어서,
    상기 상관 벡터를 산출하는 단계는,
    잎의 중앙 부위의 특징점과 해당 특징점에 인접한 적어도 하나의 다른 인접 특징점 간의 상관 벡터를 산출하는 과정;
    줄기의 중앙 부위의 특징점과 해당 특징점에 인접한 적어도 하나의 다른 인접 특징점 간의 상관 벡터를 산출하는 과정;
    가지의 중앙 부위의 특징점과 해당 특징점에 인접한 적어도 하나의 다른 인접 특징점 간의 상관 벡터를 산출하는 과정;
    꽃의 중앙 부위의 특징점과 해당 특징점에 인접한 적어도 하나의 다른 인접 특징점 간의 상관 벡터를 산출하는 과정; 및
    열매의 중앙 부위의 특징점과 해당 특징점에 인접한 적어도 하나의 다른 인접 특징점 간의 상관 벡터를 산출하는 과정 중 적어도 하나의 과정을 포함하는 것을 특징으로 하는 딥 러닝을 이용한 식물 분류 방법.
  7. 제 5 항에 있어서,
    단말에 의해, 특정 식물과 관련한 다른 영상 정보를 포함하는 식물 분류 요청 정보 및 상기 단말의 식별 정보를 상기 서버에 전송하는 단계;
    상기 서버에 의해, 상기 단말로부터 전송되는 식물 분류 요청 정보에 포함된 다른 영상 정보 내의 메타 정보를 확인하는 단계;
    상기 서버에 의해, 상기 식물 분류 요청 정보에 포함된 다른 영상 정보 내의 객체가 식물인지 여부를 판단하는 단계;
    상기 판단 결과, 상기 다른 영상 정보 내의 객체가 식물일 때, 상기 서버에 의해, 상기 다른 영상 정보 내의 객체에 대한 잎, 줄기, 가지, 꽃 및 열매에 대한 복수의 다른 특징점을 추출하는 단계;
    상기 서버에 의해, 상기 추출된 복수의 다른 특징점 간의 상관관계에 따른 다른 상관 벡터를 산출하는 단계;
    상기 서버에 의해, 상기 식물 분류 요청 정보에 포함된 다른 영상 정보 내의 객체의 잎, 줄기, 가지, 꽃 및 열매의 색상이나 형태를 확인하는 단계;
    상기 서버에 의해, 상기 데이터베이스화된 식물 정보 내의 월별 복수의 식물과 관련한 복수의 특징점 및 해당 복수의 특징점과 관련한 상관 벡터 중에서, 상기 확인된 메타 정보에 대응하는 특정 월에 해당하는 복수의 식물과 관련한 적어도 하나의 특징점 및 해당 적어도 하나의 특징점과 관련한 상관 벡터를 확인하는 단계;
    상기 서버에 의해, 상기 확인된 특정 월에 해당하는 복수의 식물과 관련한 적어도 하나의 특징점 및 해당 적어도 하나의 특징점과 관련한 상관 벡터 중에서 상기 추출된 특정 식물과 관련한 복수의 다른 특징점 및 상기 산출된 다른 상관 벡터 간의 유사도를 각각 산출하는 단계;
    상기 서버에 의해, 상기 산출된 복수의 유사도 중에서 유사도가 가장 큰 식물 정보를 확인하는 단계;
    상기 서버에 의해, 상기 확인된 식물 정보에 포함된 상세 정보 및 부가 정보를 상기 단말에 전송하는 단계; 및
    상기 단말에 의해, 상기 전송된 식물 분류 요청 정보에 응답하여 상기 서버로부터 전송되는 상기 특정 식물과 관련한 상세 정보 및 부가 정보를 표시하는 단계를 더 포함하는 것을 특징으로 하는 딥 러닝을 이용한 식물 분류 방법.
KR1020180173861A 2018-12-31 2018-12-31 딥 러닝을 이용한 식물 분류 시스템 및 그 방법 KR102155138B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180173861A KR102155138B1 (ko) 2018-12-31 2018-12-31 딥 러닝을 이용한 식물 분류 시스템 및 그 방법
JP2019147035A JP2020109610A (ja) 2018-12-31 2019-08-09 ディープランニングを利用した植物分類システムおよびその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180173861A KR102155138B1 (ko) 2018-12-31 2018-12-31 딥 러닝을 이용한 식물 분류 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20200087343A true KR20200087343A (ko) 2020-07-21
KR102155138B1 KR102155138B1 (ko) 2020-09-11

Family

ID=71570074

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180173861A KR102155138B1 (ko) 2018-12-31 2018-12-31 딥 러닝을 이용한 식물 분류 시스템 및 그 방법

Country Status (2)

Country Link
JP (1) JP2020109610A (ko)
KR (1) KR102155138B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102489183B1 (ko) * 2021-11-25 2023-01-17 주식회사 월메이드 식물 이미지 기반 식물 생육 정보 제공 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012083938A (ja) * 2010-10-12 2012-04-26 Sony Corp 学習装置、学習方法、識別装置、識別方法、およびプログラム
KR20120076491A (ko) 2010-11-26 2012-07-09 한국생명공학연구원 식물정보 제공서비스 시스템 및 그 방법
KR20160049569A (ko) * 2014-10-27 2016-05-10 충북대학교 산학협력단 스마트기기를 이용한 식물정보 제공 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012083938A (ja) * 2010-10-12 2012-04-26 Sony Corp 学習装置、学習方法、識別装置、識別方法、およびプログラム
KR20120076491A (ko) 2010-11-26 2012-07-09 한국생명공학연구원 식물정보 제공서비스 시스템 및 그 방법
KR20160049569A (ko) * 2014-10-27 2016-05-10 충북대학교 산학협력단 스마트기기를 이용한 식물정보 제공 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102489183B1 (ko) * 2021-11-25 2023-01-17 주식회사 월메이드 식물 이미지 기반 식물 생육 정보 제공 방법 및 장치

Also Published As

Publication number Publication date
KR102155138B1 (ko) 2020-09-11
JP2020109610A (ja) 2020-07-16

Similar Documents

Publication Publication Date Title
US20210103779A1 (en) Mobile image search system
CN106777177A (zh) 检索方法和装置
CN106776675B (zh) 一种基于移动终端的植物识别方法及系统
US9779442B1 (en) Provide a recommendation for garden items
US20220383053A1 (en) Ephemeral content management
US20180373207A1 (en) Cognitive plant clinic
WO2017215207A1 (zh) 基于地理位置的植物识别系统及方法
WO2016201963A1 (zh) 应用程序的推送方法及装置
WO2010125236A1 (en) Method and apparatus of collecting data for agricultural analysis
WO2017080173A1 (zh) 基于自然信息识别的推送系统和方法及一种客户端
US20180157682A1 (en) Image information processing system
CN104484408A (zh) 植物信息的搜索处理方法和系统
US8918414B2 (en) Information providing device, information providing method, information providing processing program, and recording medium having information providing processing program recorded thereon
US20180144494A1 (en) Information processing device, information processing method, and program
CN109118387A (zh) 基于区块链的建筑总包企业信用评价方法、区块链及存储介质
US11601391B2 (en) Automated image processing and insight presentation
CN104520848A (zh) 按照出席者搜索事件
KR101481323B1 (ko) 이동 단말로부터 전달되는 식물 영상을 이용한 식물 정보 제공 시스템
CN107122189A (zh) 图像显示方法及装置
CN105760390A (zh) 图片检索系统及方法
KR102155138B1 (ko) 딥 러닝을 이용한 식물 분류 시스템 및 그 방법
KR20180086776A (ko) 태깅 어플리케이션을 이용하여 식물 식별 정보를 태깅 및 분석하는 방법, 이를 실행하는 휴대용 스마트 기기 및 이를 포함하는 식물 생육정보 분석 시스템
CN106933939B (zh) 用户设备及其控制方法
KR20160024427A (ko) 사용자의 관심 영역을 추출하는 전자 장치 및 관심 영역 추출 방법
KR20140006440U (ko) 이미지와 분류 형질을 이용하여 대상 식물을 식별할 수 있는 시스템 및 그 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant