KR101673558B1 - 스마트기기를 이용한 식물정보 제공 시스템 및 방법 - Google Patents

Abstract

본 발명은 스마트기기를 이용한 식물정보 제공 시스템 및 방법에 관한 것으로서, 대상 식물에 대한 촬영 가이드 정보를 제공하며, 촬영 영상에서의 대상 식물의 존재 여부를 판별하고, 촬영 영상을 이용하여 대상 식물의 식물정보를 요청하는 스마트기기와, 스마트기기로부터 전송된 촬영 영상에 대해 식물 추출 알고리즘을 통해 대상 식물의 식물정보를 식물정보 데이터베이스로부터 추출하여 스마트기기로 전송하는 서버를 포함한다. 본 발명에 따르면, 스마트기기에서 촬영 가이드에 따른 촬영이 이루어짐으로써 해당 식물에 대한 정확한 영상을 획득할 수 있으며, 스마트기기에서 촬영된 영상으로부터 1차적으로 해당 식물의 존재 여부를 판별하는 대상 판별을 수행함으로써 더욱 정확한 영상을 확보할 수 있고, 서버에서 식물 추출 알고리즘을 통해 해당 식물을 분석함으로써 정확한 식물정보를 제공할 수 있다.

Description

스마트기기를 이용한 식물정보 제공 시스템 및 방법{SYSTEM AND METHOD FOR PROVIDING PLANT INFORMATION USING SMART DEVICE}

본 발명은 스마트기기를 이용한 식물정보 제공 시스템 및 방법에 관한 것으로, 더욱 상세하게는 스마트기기에서의 촬영 가이드 및 촬영 대상 판별과, 서버에서의 식물 분석을 통해 정확한 식물정보를 제공할 수 있도록 하는 스마트기기를 이용한 식물정보 제공 시스템 및 방법에 관한 것이다.

기존에도 스마트기기를 이용하여 식물정보를 제공하는 방안들이 많이 제안된 바 있다.

하나의 방안으로서, 스마트기기와 서버간 통신을 통해 식물정보 요청 및 다운로드를 통해 식물정보를 확인하는 기법이 있다. 그런데, 이 기법은 다운로드된 방대한 자료를 직접 검색하여야 하므로 번거로운 단점이 있다.

이에 이러한 단점을 보완하기 위해, 또한 다른 방안으로서, 스마트기기에서 식물을 촬영한 후, 식물 영상을 서버로 전송하여 검색이 이루어지도록 하고, 서버로부터 식물정보를 다운로드하여 출력하는 기법이 있다. 그런데, 이 기법은 스마트기기에서 단순히 근접 촬영만 수행하여 서버로 전송하므로, 즉 촬영 가이드가 설정되지 않음에 따라 서버에서 해당 식물을 분석하는데 오류가 많이 발생하는 문제점이 있다.

대한민국 공개특허공보 제10-2011-0127473(공개일 2011.11.25.)

[1] "Interactive Graph Cuts for Optimal Boundary & Region Segmentation of Objects in N-D Images" ECSE-626: Statistical Computer Vision (ICCV 2001) [2] "A Method for Regional Feature Extraction of Flower Images," International Conference on ICIP-2010:Yong Pei, and Weiqun Cao (2010) [3] "Tutorial: Image Segmentation", Graduate Institute of Communication Engineering National Taiwan University, Taipei, Taiwan, ROC : Yu-Hsiang Wang

따라서, 본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 스마트기기에서 촬영 가이드를 통한 촬영이 이루어지도록 함과 아울러 촬영 영상에서 대상 판별을 수행한 후 촬영 영상을 서버로 전송하고, 서버에서 식물 추출 알고리즘을 통해 정확한 식물정보 제공이 가능하도록 하는 스마트기기를 이용한 식물정보 제공 시스템 및 방법을 제공하는데 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 스마트기기를 이용한 식물정보 제공 시스템은, 대상 식물에 대한 촬영 가이드 정보를 제공하며, 촬영 영상에서의 상기 대상 식물의 존재 여부를 판별하고, 상기 촬영 영상을 이용하여 상기 대상 식물의 식물정보를 요청하는 스마트기기; 및 상기 스마트기기로부터 전송된 상기 촬영 영상에 대해 식물 추출 알고리즘을 통해 상기 대상 식물의 식물정보를 식물정보 데이터베이스로부터 추출하여 상기 스마트기기로 전송하는 서버를 포함하는 것을 특징으로 한다.

이 때, 상기 스마트기기는, 상기 촬영 가이드에서 선택한 식물의 분류체계에 맞게 촬영되었는지 확인하기 위해, 식물에 대한 기계학습을 시켜 구현된 판별기를 포함하는 것이 바람직하다.

또한, 상기 서버는, 상기 식물 추출 알고리즘을 통해 해당 식물을 분석하여 특징을 추출하고, 추출된 식물정보를 대조하는 식물정보 데이터베이스를 포함하는 것이 바람직하다.

한편, 본 발명의 스마트기기를 이용한 식물정보 제공 방법은, (a) 스마트기기에서, 촬영하고자 하는 대상 식물에 대한 속성을 선택할 수 있도록 촬영 가이드를 제공하는 단계; (b) 상기 스마트기기에서, 상기 대상 식물의 촬영에 대응하여 상기 촬영 가이드를 통해 선택한 상기 대상 식물의 분류체계에 맞게 촬영되었는지 확인하는 단계; 및 (c) 서버에서, 크롭(CROP) 알고리즘을 이용하여 상기 대상 식물과 배경을 분리하고, 식물정보 데이터베이스에서 검색을 수행하는 단계를 포함하는 것을 특징으로 한다.

상기 단계 (a)에서 촬영 가이드는 상기 대상 식물의 촬영 프레임을 제공하는 것이 바람직하다.

상기 단계 (b)는 식물에 대한 기계학습을 시켜 구현된 판별기를 통해 이루어지는 것이 바람직하다.

상기 크롭 알고리즘은, 중심 영역과 모서리 영역의 색상차를 구분하여, 배경에 해당하는 부분을 검은색으로 채우는 방법과, 상기 스마트기기에서의 촬영 프레임의 크기에 맞추어 잘라내는 방법을 선택적으로 사용할 수 있다.

상술한 바와 같이, 본 발명에 의한 스마트기기를 이용한 식물정보 제공 시스템 및 방법에 따르면, 스마트기기에서 촬영 가이드에 따른 촬영이 이루어짐으로써 해당 식물에 대한 정확한 영상을 획득할 수 있다.

또한, 본 발명에 따르면, 스마트기기에서 촬영된 영상으로부터 1차적으로 해당 식물의 존재 여부를 판별하는 대상 판별을 수행함으로써 더욱 정확한 영상을 확보할 수 있다.

그리고, 본 발명에 따르면, 서버에서 식물 추출 알고리즘을 통해 해당 식물을 분석함으로써 정확한 식물정보를 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 스마트기기를 이용한 식물정보 제공 시스템의 운영개념도이다.
도 2는 본 발명의 일 실시예에 따른 스마트기기를 이용한 식물정보 제공 시스템의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 스마트기기를 이용한 식물정보 제공 방법의 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 대상 판별 과정을 나타낸 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 식물 추출 알고리즘의 흐름도이다.

이하, 본 발명의 스마트기기를 이용한 식물정보 제공 시스템 및 방법에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 스마트기기를 이용한 식물정보 제공 시스템의 운영개념도이다.

도 1을 참조하면, 먼저, 촬영하고자 하는 대상 식물에 대한 속성(예를 들어, 꽃 모양, 꽃잎 수)을 확인한 후, 속성 조건 입력 또는 검색에 대응하여 해당 속성에 대응하는 촬영 가이드를 스마트기기에 출력한다. 이에 사용자가 촬영 가이드를 확인하고, 대상 식물을 촬영한다. 이에 스마트기기에서는 촬영 영상에 대상 식물이 존재하는지 판별(대상 판별)한다. 이 때, 대상 판별은, 스마트기기에서의 자체적인 분석을 통해 이루어질 수도 있고, 촬영 영상을 서버로 전송하여 분석 결과를 응답받을 수도 있을 것이다. 한편, 대상 판별시, 스마트기기 자체적으로 분석한 결과, 분석 결과를 얻을 수 없으면 서버를 통해 분석 결과를 응답받는 것도 바람직할 것이다. 여기서, 대상 판별은 촬영된 영상에서의 식물 존재 여부를 판별하는 것뿐만 아니라, 식물의 대한 상세정보인 식물정보를 추출하는 것을 포함할 수 있다.

이어서, 대상 판별이 완료되면, 촬영 영상은 서버로 전송되고, 이에 서버에서는 식물 추출 알고리즘을 통해 해당 식물을 분석하여 특징을 추출하고, 추출된 식물정보를 식물정보 데이터베이스에 대조하여 식물정보를 스마트기기로 제공한다.

이와 같이, 본 발명은 촬영 가이드, 대상 판별, 식물 추출 알고리즘을 통해 오차를 최소화하여 보다 높은 인식률로 더 정확한 식물정보를 제공한다.

도 2는 본 발명의 일 실시예에 따른 스마트기기를 이용한 식물정보 제공 시스템의 구성도이다.

도 2를 참조하면, 본 발명의 스마트기기를 이용한 식물정보 제공 시스템은, UI(User Interface, 11)를 통해 대상 식물에 대한 촬영 가이드 정보를 제공하며, 카메라(12)를 통한 촬영 영상에서의 대상 식물의 존재 여부를 판별하고, 통신부(13)를 통해 촬영 영상을 이용하여 대상 식물의 식물정보를 요청하는 스마트기기(1)와, 통신부(21)를 통해 스마트기기(1)로부터 전송된 촬영 영상을 수신하여 영상 분석부(22)에서의 식물 추출 알고리즘의 실행을 통해 대상 식물의 식물정보를 식물정보 데이터베이스(23)로부터 추출하여 스마트기기(1)로 전송하는 서버(2)를 포함한다.

여기서, 스마트기기(1)는 촬영 가이드를 제공함에 있어, 예를 들어 꽃의 모양은 "국가 생물 종 지식 정보 시스템"에 등록되어 있는 꽃 모양에 대한 분류 체계를 기반으로 5가지로 압축하여 제공하며, 꽃잎 수는 10개 이하에 대해 사용자의 입력을 받으며, 그 이상일 경우에는 "알 수 없음"등으로 제공한다. 그리고, 촬영시 원모양의 촬영 프레임을 제공하여 일정한 크기의 꽃 모양을 얻을 수 있도록 하는 것이 바람직하다.

또한, 스마트기기(1)는 OPenCV에서 제공하는 기계 학습프로그램을 이용하여 식물에 대한 기계학습을 시켜 구현된 판별기를 통해 촬영 가이드에서 선택한 식물(예를 들어, 꽃)의 분류체계에 맞게 촬영되었는지 확인한 후, 영상 가공부(14)를 통해 가공된 영상을 출력하는 것이 바람직하다.

여기서, 판별기가 꽃에 대해 학습이 이루어지는 과정에 대해 간략하게 설명한다.

꽃의 촬영 영상에 대해 적외선센서를 이용하여 촬영 영상 전체를 스캐닝하고, 스캐닝을 통해 센서데이터를 획득한다. 촬영 가이드에서 제공하는 촬영 프레임을 설정갯수의 단위셀로 분할한다. 분할된 각각의 단위셀 내에서 측정된 센서데이터를 이용하여 각 단위셀을 대표하는 대표값을 산출한다. 산출된 각 단위셀별 대표값을 인자로 하는 꽃의 특징벡터를 추출한다. 특징벡터가 추출되면 추출된 특징벡터 인자들을 비교하여 꽃의 종류를 학습하게 되는데, 특징벡터의 인자가 너무 많을 경우 꽃의 종류를 구별하기 어려우므로, 특징벡터의 차원을 감소시키는 과정을 진행하는 것이 바람직하다. 이는 특징벡터의 불필요한 부분을 제거하여 연산대상을 줄이고, 진위 판별에 있어 중요한 대표 특징벡터만을 추출하기 위함이다. 이에, 선형특징추출법을 적용하여 추출된 특징벡터의 차원을 감소시키고, 꽃의 특징을 대표하는 소정의 대표 특징벡터만을 선별하는 것이 바람직하다.

그리고, 서버(2)는 스마트기기(1)에서 수신된 촬영 영상을 비교할 수 있도록 영상 분석부(22)에서의 식물 추출 알고리즘을 통해 식물의 일부분(예를 들어, 꽃 부분)을 크롭(CROP)후 HSV 색상값을 추출한다. 여기서, 식물 추출 알고리즘은 두 가지 CROP 알고리즘을 이용하는데, 먼저 중심 영역과 모서리 영역의 색상차를 구분하여, 배경에 해당하는 부분을 검은색으로 채우는 방법을 우선적으로 사용하고, 이 CROP 과정에서 문제가 발생할 경우 스마트기기(1)에서 촬영된 촬영 프레임의 크기에 맞추어 잘라내는 방법을 사용한다. 그 후 꽃 잎 부분과 꽃 중심부분의 색상을 평균 내어 HSV 색상값을 추출한다. 한편, 서버(2)에서 HSV 색상값의 추출이 이루어지지 않을 경우에는 후보리스트를 제공할 수도 있다. 여기서, HSV(Hue Saturation Value)는 RGB(Red, Green, Blue)처럼 색상(Hue), 채도(Saturation), 명도(Value)로 색을 지정하는 방법을 의미한다.

한편, 영상 분석 대상이 꽃일 경우에는, 꽃은 색계통에 따라 HSV 공간 상에 특정 위치에 분포하게 되는데, 영상 분석부(22)에서는 HSV 좌표계 중에서 Hue 정보를 알 수 있는 색공간만을 이용하여 꽃의 색을 구분할 수 있다.

그러면, 여기서 상기와 같이 구성된 시스템을 이용한 본 발명의 스마트기기를 이용한 식물정보 제공 방법에 대해 설명하기로 한다.

도 3은 본 발명의 일 실시예에 따른 스마트기기를 이용한 식물정보 제공 방법의 흐름도이다.

S(Step)1 : 사용자가 촬영하고자 하는 대상 식물에 대한 속성(예를 들어, 꽃 모양, 꽃잎 수)을 촬영 가이드를 통해 선택한다. 이 때, 속성을 선택함에 있어, 예를 들어 꽃의 모양은 "국가 생물 종 지식 정보 시스템"에 등록되어 있는 꽃 모양에 대한 분류 체계를 기반으로 5가지로 압축하여 제공하며, 꽃잎 수는 10개 이하에 대해 사용자의 입력을 받으며, 그 이상일 경우에는 "알 수 없음"등으로 제공한다.

S2 : 이후, 촬영 프레임을 고려하여 대상 식물을 촬영한다.

S3 : OPenCV에서 제공하는 기계 학습프로그램을 이용하여 식물에 대한 기계학습을 시켜 구현된 판별기를 통해 촬영 가이드에서 선택한 식물의 분류체계에 맞게 촬영되었는지 확인한다. 즉, 촬영 영상에서의 대상 식물의 존재 여부를 판별하는 대상 판별을 수행한다. 이 때, 대상 판별 과정에서 가공된 영상을 전송하는 것이 바람직하다.

S4 : 대상 판별이 완료되면, 스마트기기(1)는 촬영 영상을 서버(2)로 전송한다.

S5 : 이에 서버(2)에서는 식물 추출 알고리즘을 통해 식물의 일부분(예를 들어, 꽃 부분)을 CROP후 HSV 색상값을 추출한다.

S6 : 다음으로 서버(2)는 추출한 데이터(꽃 잎 부분과 꽃 중심부분의 색상 평균)를 기반으로 식물정보 데이터베이스(23)에서 검색한다. 이 때, 검색에 있어, 꽃 모양(촬영 가이드를 통해 사용자로부터 제공받은 데이터 값), 꽃잎 수(촬영 가이드를 통해 사용자로부터 제공받은 데이터 범위(1~10, 알 수 없음)), 꽃 잎 꽃 중심 색상(각 영역의 평균 색상 값의 범위), 개화 시기(촬영시간을 기점으로 한 값)를 기준으로 식물정보 데이터베이스(23)에서 대상을 검색한다.

S7 : 검색이 완료되면, 검색된 결과를 스마트기기(1)에 반환한다.

S8 : 스마트기기(1)는 대표영상과 꽃 이름을 출력한다.

S9 : 사용자에게 검색결과가 대상 식물과 일치하는지 확인을 받는다.

S10 : 검색결과가 대상 식물과 일치하는 경우, 꽃에 대한 상세 정보(학명, 꽃말, 서식지, 개화시기 등)를 제공한다. 한편, 검색결과가 대상 식물과 일치하지 않는 경우, 후보리스트를 제공할 수 있다.

도 4는 본 발명의 일 실시예에 따른 대상 판별 과정을 나타낸 흐름도이다.

도 4를 참조하면, 대상 식물에 대해 촬영이 이루어지면, 기계 학습프로그램을 이용하여 꽃에 대한 기계학습을 시켜 구현된 판별기를 통해 영상에 대상 식물이 존재하는지 판별한다(S21 ~ S22).

대상 식물이 존재할 경우에는 서버(2)로 촬영 영상을 전송하고(S23), 그렇지 않을 경우에는 재촬영 메시지를 출력한다(S24).

도 5는 본 발명의 일 실시예에 따른 식물 추출 알고리즘의 흐름도이다.

도 5를 참조하면, 먼저, 식물의 일부분(예를 들어, 꽃 부분)을 크롭(CROP)한다(S51).

중심 영역과 모서리 영역의 색상차를 구분하여, 배경에 해당하는 부분을 검은색으로 채운다. 이를 통해 확실한 전경과 배경을 기점으로 색상차에 따라 좌표에 값을 배정한 후, 전경 이외의 값을 가진 부분을 삭제하여 대상 식물을 분리한다(S52).

배경과 대상 식물이 분리되었는가를 판별하여, 배경과 대상 식물이 분리되지 않을 경우, 즉 CROP 과정에서 문제가 발생할 경우, 'Step 1'에서 스마트기기(1)에 의해 촬영된 촬영 프레임의 크기에 맞추어 잘라낸다(S53 ~ S54). 이를 통해 식물과 배경이 분리된다.

한편, 배경과 대상 식물이 분리되면, 꽃 잎 부분과 꽃 중심부분의 색상을 평균 내어 HSV 색상값을 추출한다(S55).

이와 같이, 본 발명은 촬영 가이드, 대상 판별 및 식물 추출 알고리즘을 통해 식물을 보다 정확히 판별하고, 보다 정확한 식물정보를 추출할 수 있도록 향상시켜, 더 정확한 식물정보를 제공할 수 있다. 즉, 사용자에게 촬영 가이드를 제공하여 정확한 정보 입력이 이루어지도록 하고, 영상을 서버(2)로 전송하기 이전에 대상 판별을 통하여 보다 높은 인식률로 더 정확한 정보를 제공할 수 있고, 서버(2)에서 필요한 부분을 분리하기 위한 분석단계에서 서로 다른 알고리즘을 적용하여 오차를 최소화할 수 있다. 이와 같이, 다양한 식물정보를 제공하는 서버(2)를 통해 관찰된 식물정보를 영상으로 획득한 후 상기 서버(2)로 전송함으로써 해당 식물 영상을 분석하여 그에 해당하는 식물에 대한 정보를 쉽고 더 정확하게 제공받을 수 있는 이점이 있다. 또한, 사용자가 필요한 식물에 대한 상세정보를 스마트기기(1)를 이용하여 서버(2)로부터 제공받을 수 있어 식물에 관한 정보를 용이하게 파악할 수 있고, 교육적으로도 매우 유익한 이점이 있다.

이상에서 몇 가지 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것이 아니고 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다.

1 : 스마트기기
14 : 영상 가공부
2 : 서버
22 : 영상 분석부

Claims (7)

1. 대상 식물에 대한 속성에 대응하는 촬영 가이드를 제공하여 사용자가 상기 대상 식물을 촬영할 수 있도록 하며, 촬영 영상에서의 상기 대상 식물의 존재 여부를 판별하고, 상기 촬영 영상을 이용하여 상기 대상 식물의 식물정보를 요청하는 스마트기기; 및
   상기 스마트기기로부터 전송된 상기 촬영 영상에 대해 식물 추출 알고리즘을 통해 상기 대상 식물의 식물정보를 식물정보 데이터베이스로부터 추출하여 상기 스마트기기로 전송하는 서버를 포함하며,
   상기 스마트기기는 상기 촬영 가이드에서 선택한 식물의 분류체계에 맞게 촬영되었는지 확인하기 위해, 식물에 대한 기계학습을 시켜 구현된 판별기
   를 포함하고,
   상기 판별기는 상기 대상 식물의 촬영 영상에 대해 적외선 센서를 이용하여 촬영 영상 전체를 스캐닝하여 센서데이터를 획득하고, 상기 촬영 가이드에서 제공하는 촬영 프레임을 설정 갯수의 단위셀로 분할한 후, 분할된 각각의 단위셀 내에서 측정된 센서데이터를 이용하여 각 단위셀을 대표하는 대표값을 산출하고, 산출된 각 단위셀별 대표값을 인자로 하는 상기 대상 식물의 특징벡터를 추출하고, 추출된 특징벡터의 인자들을 비교하여 상기 대상 식물의 종류를 학습하는
   스마트기기를 이용한 식물정보 제공 시스템.
   
2. 삭제
3. 제1항에 있어서,
   상기 서버는 상기 식물 추출 알고리즘을 통해 해당 식물을 분석하여 특징을 추출하고, 추출된 식물정보를 대조하는 상기 식물정보 데이터베이스를 포함하는 스마트기기를 이용한 식물정보 제공 시스템.
   
4. (a) 스마트기기에서, 촬영하고자 하는 대상 식물에 대한 속성을 선택할 수 있도록 촬영 가이드를 제공하는 단계;
   (b) 상기 스마트기기에서, 상기 대상 식물의 촬영에 대응하여 상기 촬영 가이드를 통해 선택한 상기 대상 식물의 분류체계에 맞게 촬영되었는지 확인하는 단계; 및
   (c) 서버에서, 크롭(CROP) 알고리즘을 이용하여 상기 대상 식물과 배경을 분리하고, 식물정보 데이터베이스에서 검색을 수행하는 단계를 포함하며,
   상기 단계 (b)는 식물에 대한 기계학습을 시켜 구현된 판별기를 통해 이루어지고,
   상기 판별기는 상기 대상 식물의 촬영 영상에 대해 적외선 센서를 이용하여 촬영 영상 전체를 스캐닝하여 센서데이터를 획득하고, 상기 촬영 가이드에서 제공하는 촬영 프레임을 설정 갯수의 단위셀로 분할한 후, 분할된 각각의 단위셀 내에서 측정된 센서데이터를 이용하여 각 단위셀을 대표하는 대표값을 산출하고, 산출된 각 단위셀별 대표값을 인자로 하는 상기 대상 식물의 특징벡터를 추출하고, 추출된 특징벡터의 인자들을 비교하여 상기 대상 식물의 종류를 학습하는
   스마트기기를 이용한 식물정보 제공 방법.
   
5. 제4항에 있어서,
   상기 단계 (a)에서 촬영 가이드는 상기 대상 식물의 촬영 프레임을 제공하는 스마트기기를 이용한 식물정보 제공 방법.
   
6. 삭제
7. 제4항에 있어서,
   상기 크롭 알고리즘은,
   중심 영역과 모서리 영역의 색상차를 구분하여, 배경에 해당하는 부분을 검은색으로 채우는 방법과, 상기 스마트기기에서의 촬영 프레임의 크기에 맞추어 잘라내는 방법을 선택적으로 사용하는 스마트기기를 이용한 식물정보 제공 방법.

Images