KR20220004454A - 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 시스템 및 방법 - Google Patents
파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 시스템 및 방법 Download PDFInfo
- Publication number
- KR20220004454A KR20220004454A KR1020200082305A KR20200082305A KR20220004454A KR 20220004454 A KR20220004454 A KR 20220004454A KR 1020200082305 A KR1020200082305 A KR 1020200082305A KR 20200082305 A KR20200082305 A KR 20200082305A KR 20220004454 A KR20220004454 A KR 20220004454A
- Authority
- KR
- South Korea
- Prior art keywords
- roi
- interest
- region
- panoramic image
- smart farm
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000004458 analytical method Methods 0.000 claims abstract description 25
- 238000007726 management method Methods 0.000 claims description 66
- 230000008859 change Effects 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 13
- 238000013500 data storage Methods 0.000 claims description 9
- 238000007405 data analysis Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 12
- 238000000357 thermal conductivity detection Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 3
- 230000003252 repetitive effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000000059 patterning Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H04N5/23238—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Strategic Management (AREA)
- Marine Sciences & Fisheries (AREA)
- Animal Husbandry (AREA)
- Economics (AREA)
- Agronomy & Crop Science (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Mining & Mineral Resources (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 시스템 및 방법이 제시된다. 일 실시예에 따른 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 방법은, 스마트 팜에서 카메라를 이용하여 동영상을 촬영하는 단계; 촬영된 상기 동영상을 이용하여 전체 이미지를 나타내는 파노라마 영상을 생성하는 단계; 상기 파노라마 영상에서 사용자가 관리하고자 하는 작물의 부분을 관심 영역(Region of Interest, ROI)으로 지정하는 단계; 상기 관심 영역(ROI)으로 지정한 부분의 특징 정보를 분석하는 단계; 상기 특징 정보를 이용하여 상기 파노라마 영상에서 상기 관심 영역(ROI)과 일치하는 부분을 추출하는 단계; 추출된 상기 부분에 대한 특징 정보를 누적하는 단계; 및 누적된 데이터의 분석을 통한 생육 기간 동안의 변화를 확인하는 단계를 포함하여 이루어질 수 있다.
Description
아래의 실시예들은 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 시스템 및 방법에 관한 것으로, 더욱 상세하게는 동영상을 통한 파노라마 영상 생성과 관심 영역에 대한 특징 정보 분석을 통한 생육 상태를 확인하는 과정에 관한 것이다.
스마트 팜은 IoT(Internet of Things), 데이터 기반 관리 등의 기술이 적용됨에 따라 생산되는 농산물뿐만 아니라 자라는 동안에 생육 정보에 대한 정보를 얻기 위해 많은 기술이 적용되고 있다. 이러한 농산물에 대한 정보를 얻기 위하여 다양한 기술을 활용하고 있다. 특히, 카메라의 영상에는 많은 정보가 내재되어 있으며 저장할 수 있다. 그러나 영상으로부터 정보를 얻기 위해서는 영상 처리에 대한 기술이 요구된다. 일반적인 영상처리 기술은 많이 보급되어 왔지만 스마트 팜에 대한 관심이 깊어짐에 따라 정보를 처리하고 공유하는 더 안정된 기술들이 보급되고 있으며, 그에 맞는 영상처리 기술이 필요하다.
스마트 팜에서 농산물에 대한 정보는 일정한 영역이나 고정된 위치의 카메라를 이용하여 매시, 매일 반복적인 촬영으로 얻고 저장할 수 있다. 많은 양의 정보가 얻어지게 되고, 이를 위한 정보처리에 많은 시간이 소요되며, 발전된 최신 기술들이 사용되고 있다. 원하는 영역이나 물체를 특징을 이용하여 여러 개의 사진으로부터 혹은 동영상에서 얻는 방법은 컴퓨터 비전 기술과 영상처리 기술들을 기반으로 얻어져 왔다. 그 특징에는 색상, 질감, 에지(edge) 등이 있고, 특히 에지(edge)의 경우 색상과 결합하여 영역과 물체를 얻는 방법들이 제안되었다. 하지만 아직 자연적인 환경에서 카메라로부터 수집된 영상은 그에 맞는 처리가 힘들다. 최근에는 딥러닝을 이용한 RCNN 네트워크(network) 등의 발전된 형태들이 제안됨에 따라, 영상에서의 에지(edge) 추출과 물체의 윤곽을 얻는 분야에 적용되고 있지만 아직 객체 탐지(object detection)를 위한 방법은 계속 연구되고 있다.
이와 같이, 기존의 방법은 작물의 인식을 위해서 특정 포인트에 카메라를 위치하여 넓은 구역에 대한 관리를 할 수 없고, 자동화를 위한 인식 방법들은 특정한 환경하에서만 이루어지고 미리 쌓아놓은 데이터베이스들이 필요하다.
한국공개특허 10-2020-0045219호는 이러한 카메라 영상 및 데이터의 동시 통신을 위한 스마트 제어보드를 이용한 원격지 제어 시스템이 적용된 스마트 팜에 관한 기술을 기재하고 있다.
실시예들은 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 시스템 및 방법에 관하여 기술하며, 보다 구체적으로 영상을 통한 파노라마 영상 생성과 관심 영역에 대한 특징 정보 분석을 통한 생육 상태를 확인하는 기술을 제공한다.
실시예들은 일정한 경로로 이동하는 카메라를 이용하여 동영상을 주기적으로 촬영하고, 촬영된 동영상을 이용하여 파노라마 영상을 구축한 후, 파노라마 영상 처리를 이용하여 스마트 팜의 작물 재배 관리의 효율성을 위한 데이터베이스를 구축하고 관심 있는 부분 별로 데이터를 추출하여, 추출된 영역의 크기, 색상 등에 의한 상태를 누적하여 생육 전 과정을 효율적으로 관리할 수 있는, 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 시스템 및 방법을 제공하는데 있다.
일 실시예에 따른 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 방법은, 스마트 팜에서 카메라를 이용하여 동영상을 촬영하는 단계; 촬영된 상기 동영상을 이용하여 전체 이미지를 나타내는 파노라마 영상을 생성하는 단계; 상기 파노라마 영상에서 사용자가 관리하고자 하는 작물의 부분을 관심 영역(Region of Interest, ROI)으로 지정하는 단계; 상기 관심 영역(ROI)으로 지정한 부분의 특징 정보를 분석하는 단계; 상기 특징 정보를 이용하여 상기 파노라마 영상에서 상기 관심 영역(ROI)과 일치하는 부분을 추출하는 단계; 추출된 상기 부분에 대한 특징 정보를 누적하는 단계; 및 누적된 데이터의 분석을 통한 생육 기간 동안의 변화를 확인하는 단계를 포함하여 이루어질 수 있다.
상기 동영상을 이용하여 전체 이미지를 나타내는 파노라마 영상을 생성하는 단계는, 상기 동영상에서 프레임 단위로 이미지를 나누고, SIFT 연산을 통해 획득한 특징점을 기준으로 나누어진 상기 이미지의 일치하는 부분을 이어주어 파노라마 영상을 완성할 수 있다.
상기 관심 영역(ROI)으로 지정한 부분의 특징 정보를 분석하는 단계는, 선택한 상기 관심 영역(ROI)에서 색상, 질감 및 모양 중 적어도 어느 하나 이상의 특징 정보를 분석할 수 있다.
상기 특징 정보를 이용하여 상기 파노라마 영상에서 상기 관심 영역(ROI)과 일치하는 부분을 추출하는 단계는, 상기 파노라마 영상에서 관심 영역이 선택됨에 따라 전체 파노라마 영상에서 상기 관심 영역(ROI)과 일치하는 특징 정보를 갖는 부분을 선정하며, 선정된 상기 부분을 새로운 관심 영역(ROI)으로 등록할 수 있다.
상기 특징 정보를 이용하여 상기 파노라마 영상에서 상기 관심 영역(ROI)과 일치하는 부분을 추출하는 단계는, 선택한 상기 관심 영역(ROI)에서 색상, 질감 및 모양 중 적어도 어느 하나 이상의 특징 정보를 선택하여 상기 파노라마 영상에서 상기 관심 영역(ROI)과 일치하는 부분을 추출할 수 있다.
상기 특징 정보를 이용하여 상기 파노라마 영상에서 상기 관심 영역(ROI)과 일치하는 부분을 추출하는 단계는, 선택한 상기 관심 영역(ROI)에서 색상에 대한 특징 정보를 선택하여 상기 파노라마 영상에서 상기 관심 영역(ROI)과 일치하는 부분을 추출하며, RGB 색상 공간에서의 분석 결과와 HSV 공간에서의 분석 결과를 통해 일치하는 부분들을 획득하여 표시할 수 있다.
상기 특징 정보를 이용하여 상기 파노라마 영상에서 상기 관심 영역(ROI)과 일치하는 부분을 추출하는 단계는, 선택한 상기 관심 영역(ROI)에서 질감에 대한 특징 정보를 선택하여 상기 파노라마 영상에서 상기 관심 영역(ROI)과 일치하는 부분을 추출하며, Color-LBP를 이용하여 상기 관심 영역(ROI)에서 획득되는 질감 특징을 분석하여 분석 결과와 일치하는 부분들을 획득하여 표시할 수 있다.
상기 특징 정보를 이용하여 상기 파노라마 영상에서 상기 관심 영역(ROI)과 일치하는 부분을 추출하는 단계는, 선택한 상기 관심 영역(ROI)에서 모양에 대한 특징 정보를 선택하여 상기 파노라마 영상에서 상기 관심 영역(ROI)과 일치하는 부분을 추출하며, 상기 관심 영역(ROI)에서 윤곽선을 찾은 다음 모양 매칭(shape matching)을 위한 TCDS를 사용하여 상기 관심 영역(ROI)의 모양과 일치하는 부분을 찾을 수 있다.
상기 관심 영역(ROI)을 관리하는 단계를 더 포함하고, 상기 관심 영역(ROI)을 관리하는 단계는, 상기 관심 영역(ROI)을 추가 또는 삭제할 수 있다.
상기 추출된 부분에 대한 특징 정보를 누적하는 단계는, 추출된 상기 관심 영역(ROI)과 일치하는 부분들을 상기 파노라마 영상이 생육 기간에 따라 계속적으로 바뀌어도 그 위치에 대한 특징 정보나 값들을 계속적으로 누적시킬 수 있다.
상기 추출된 부분에 대한 특징 정보를 누적하는 단계는, 상기 파노라마 영상에서 상기 관심 영역(ROI)에 대한 색상, 질감 및 모양 중 적어도 어느 하나 이상의 특징 정보를 저장하여 생육 기간 동안의 데이터베이스를 구축할 수 있다.
다른 실시예에 따른 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 시스템은, 스마트 팜에서 촬영된 동영상을 이용하여 전체 이미지를 나타내는 파노라마 영상을 생성하는 파노라마 영상 생성부; 상기 파노라마 영상에서 사용자가 관리하고자 하는 작물의 부분을 관심 영역(Region of Interest, ROI)으로 지정함에 따라 상기 관심 영역(ROI)으로 지정한 부분의 특징 정보를 분석하는 ROI 선택부; 상기 특징 정보를 이용하여 상기 파노라마 영상에서 상기 관심 영역(ROI)과 일치하는 부분을 추출하는 ROI 매칭부; 추출된 상기 부분에 대한 특징 정보를 누적하는 데이터 저장부; 및 누적된 데이터의 분석을 통한 생육 기간 동안의 변화를 확인하는 데이터 분석부를 포함하여 이루어질 수 있다.
상기 ROI 선택부는, 선택한 상기 관심 영역(ROI)에서 색상, 질감 및 모양 중 적어도 어느 하나 이상의 특징 정보를 분석할 수 있다.
상기 ROI 매칭부는, 상기 파노라마 영상에서 관심 영역이 선택됨에 따라 전체 파노라마 영상에서 상기 관심 영역(ROI)과 일치하는 특징 정보를 갖는 부분을 선정하며, 선정된 상기 부분을 새로운 관심 영역(ROI)으로 등록할 수 있다.
상기 관심 영역(ROI)을 관리하는 ROI 관리부를 더 포함하고, 상기 ROI 관리부는, 상기 관심 영역(ROI)을 추가 또는 삭제할 수 있다.
실시예들에 따르면 일정한 경로로 이동하는 카메라를 이용하여 동영상을 주기적으로 촬영하고, 촬영된 동영상을 이용하여 파노라마 영상을 구축한 후, 파노라마 영상 처리를 이용하여 스마트 팜의 작물 재배 관리의 효율성을 위한 데이터베이스를 구축하고 관심 있는 부분 별로 데이터를 추출하여, 추출된 영역의 크기, 색상 등에 의한 상태를 누적하여 생육 전 과정을 효율적으로 관리할 수 있는, 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 시스템 및 방법을 제공할 수 있다.
실시예들에 따르면 파노라마 영상을 이용함에 따라 중복되거나 동일 영역에 대한 반복적인 정보를 파악할 수 있고, 정보 처리가 용이할 뿐만 아니라, 동영상 촬영을 통해 넓은 구역에 대한 영상 관리가 필요할 경우에 요구되었던 많은 수의 고정형 카메라를 설치할 필요가 없어지고, 관리에 요구되는 소유 비용도 현저하게 줄일 수 있는, 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 시스템 및 방법을 제공할 수 있다.
도 1은 일 실시예에 따른 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 방법을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 시스템을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 방법을 나타내는 흐름도이다.
도 4는 일 실시예에 따른 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 시스템을 나타내는 도면이다.
도 5는 일 실시예에 따른 동영상으로부터 파노라마 영상을 추출하는 방법을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 ROI 특징 정보의 분석 결과의 예를 나타내는 도면이다.
도 7은 일 실시예에 따른 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 시스템의 화면의 예를 나타내는 도면이다.
도 8은 일 실시예에 따른 색상 윤곽을 획득하는 방법을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 부분 윤곽을 위한 패턴화를 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 부분 매칭을 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 색상에 따른 윤곽선 비교를 나타내는 도면이다.
도 2는 일 실시예에 따른 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 시스템을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 방법을 나타내는 흐름도이다.
도 4는 일 실시예에 따른 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 시스템을 나타내는 도면이다.
도 5는 일 실시예에 따른 동영상으로부터 파노라마 영상을 추출하는 방법을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 ROI 특징 정보의 분석 결과의 예를 나타내는 도면이다.
도 7은 일 실시예에 따른 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 시스템의 화면의 예를 나타내는 도면이다.
도 8은 일 실시예에 따른 색상 윤곽을 획득하는 방법을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 부분 윤곽을 위한 패턴화를 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 부분 매칭을 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 색상에 따른 윤곽선 비교를 나타내는 도면이다.
이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
아래의 실시예들은 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 시스템 및 방법에 관한 것으로, 스마트 팜(smart farm)에서 일정한 경로로 이동하는 카메라를 이용하여 동영상을 주기적으로 촬영하고, 촬영된 동영상을 이용하여 파노라마 영상을 구축한 후, 파노라마 영상 처리를 이용하여 스마트 팜의 작물 재배 관리의 효율성을 위한 데이터베이스를 구축하고 관심 있는 부분 별로 데이터를 추출하여, 추출된 영역의 크기, 색상 등에 의한 상태를 누적하여 생육 전 과정을 효율적으로 관리할 수 있다.
도 1은 일 실시예에 따른 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 방법을 설명하기 위한 도면이다.
도 1을 참조하면, 생육 상태를 분석할 구역에 일정한 위치에 카메라를 놓고 관리가 필요한 부분을 카메라가 이동하여 동영상(110)을 획득할 수 있다. 획득한 동영상(110)을 통해 파노라마 영상(120)을 생성하고 사용자가 관리하고자 하는 작물의 부분을 관심 영역(Region of Interest, ROI)으로 지정하게 되면 관심 영역(ROI)으로 지정한 부분의 특징 정보를 획득하고, 획득한 특징 정보를 이용하여 전체적인 사진인 파노라마 영상(120)에서 관심 영역(ROI)와 비슷한 부분을 찾아내어 위치를 기억할 수 있다. 영상이 일차에 따라 흘러감에 따라 관심 영역(ROI)와 찍힌 위치의 색상, 질감 및 모양 등의 특징 정보를 계속하여 누적하고 생육 기간 동안의 정보를 누적할 수 있다.
여기서, 스마트 팜 생육 관리에 대한 데이터 수집의 편리성을 위해 동영상(110)으로 촬영할 수 있다. 동영상의 경우 관리는 편리하지만 사람이 눈으로 확인하거나 자동화하기가 힘들고, 촬영된 동영상이 중복되거나 동일 영역에 대한 반복적인 정보를 파악하기가 힘들다. 이에 따라 실시예들은 한눈으로 정보를 파악할 수 있는 파노라마 영상(120)을 이용할 수 있다.
이와 같이, 실시예들은 스마트 팜 생육 관리를 위해 동영상(110)으로 촬영 후 파노라마 영상(120)을 생성함으로써, 동영상(110)의 장점과 파노라마 영상(120)의 장점을 가질 수 있다. 다시 말하면, 실시예들은 동영상 촬영을 통해 넓은 구역에 대한 영상 관리가 필요할 경우에 요구되었던 많은 수의 고정형 카메라를 설치할 필요가 없어지고, 관리에 요구되는 소유 비용도 현저하게 줄일 수 있다. 또한, 일정한 경로가 있으면 항상 동일한 환경으로 동영상을 얻을 수 있다. 실시예들은 파노라마 영상(120)을 이용함에 따라 중복되거나 동일 영역에 대한 반복적인 정보를 파악할 수 있고, 정보 처리가 용이하다.
도 2는 일 실시예에 따른 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 시스템을 설명하기 위한 도면이다.
도 2를 참조하면, 일 실시예에 따른 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 시스템(200)은 파노라마 영상 생성부(미도시), ROI 선택부(210), ROI 매칭부(220), 데이터 저장부(240) 및 데이터 분석부(250)를 포함하여 이루어질 수 있다. 실시예에 따라 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 시스템은 ROI 관리부(230)를 더 포함할 수 있다.
파노라마 영상 생성부는 스마트 팜에서 촬영된 동영상을 이용하여 전체 이미지를 나타내는 파노라마 영상을 생성할 수 있다.
보다 구체적으로, 파노라마 영상 생성부는 카메라를 통해 획득한 동영상을 파노라마 영상으로 변환할 수 있으며, 파노라마 영상 변환은 동영상에서 프레임 단위로 나눈 이미지를 통해 이루어질 수 있다. 이 때, SIFT 연산을 통해 얻어낸 특징점을 기준으로 나뉜 이미지의 일치하는 부분을 이어주어 파노라마 영상을 완성할 수 있다.
ROI 선택부(210)는 파노라마 영상에서 사용자가 관리하고자 하는 작물의 부분을 관심 영역(Region of Interest, ROI)으로 지정함에 따라 관심 영역(ROI)으로 지정한 부분의 특징 정보를 분석할 수 있다. ROI 선택부(210)는 선택한 관심 영역(ROI)에서 색상, 질감 및 모양 중 적어도 어느 하나 이상의 특징 정보를 분석할 수 있다.
ROI 매칭부(220)는 특징 정보를 이용하여 파노라마 영상에서 관심 영역(ROI)과 일치하는 부분을 추출할 수 있다. 즉, ROI 매칭부(220)는 관심 영역에 대한 관심 영역(ROI)을 지정하면 관심 영역(ROI)에 대한 색상, 질감 및 모양 정보를 추출하고 파노라마 영상에서 일치하는 부분을 추출할 수 있다.
ROI 매칭부(220)는 파노라마 영상에서 관심 영역이 선택됨에 따라 전체 파노라마 영상에서 관심 영역(ROI)과 일치하는 특징 정보를 갖는 부분을 선정하며, 선정된 부분을 새로운 관심 영역(ROI)으로 등록할 수 있다. 이와 같이 관심 영역(ROI)에 대한 정보는 파노라마 영상에 직접 비교함에 따라 기존에 요구되었던 작물의 사전 정보가 필요하지 않게 되고, 관심 영역(ROI)의 특징 정보인 색상, 질감 및 모양을 통해 일치하는 부분을 동시에 얻을 수 있어 원하는 부분을 전체적으로 추출할 수 있다.
또한, ROI 관리부(230)는 관심 영역(ROI)을 관리하는 것으로, 관심 영역(ROI)을 추가 또는 삭제할 수 있다. 이와 같이 ROI 관리부(230)는 생육 기간 동안 관심 영역(ROI)에 대한 수정, 삭제 등의 편집을 수행하여 관리 시스템의 유용성을 높일 수 있다.
데이터 저장부(240)는 추출된 부분에 대한 특징 정보를 누적할 수 있다.
그리고, 데이터 분석부(250)는 누적된 데이터의 분석을 통한 생육 기간 동안의 변화를 확인할 수 있다. 생육 기간 동안의 관심 영역(ROI)에 대한 정보를 누적하여 저장하고, 이를 분석함으로써 사용자가 지정한 작물의 변화를 확인할 수 있다. 즉, 생육하는 동안 데이터를 누적하여 생육 정보를 관리할 수 있다. 파노라마 영상에서 관심 영역(ROI)과 일치하는 부분들의 정보를 계속적으로 얻어내어 각 부분들의 색상, 질감 및 모양 정보가 어떻게 변하는지 확인할 수 있고, 통계적인 데이터와 변화가 심한 부분과 변화가 적은 부분을 확인할 수 있다.
실시예들에 따르면 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 시스템을 통해 기존 방법들이 넓은 구역을 관리하기 위해서 필요로 하였던 카메라 개수에 따른 소유 비용 절감과 특정한 환경과 포인트, 그리고 쌓아놓은 데이터베이스가 있어야만 이루어지던 인식 방법에 대한 문제를 해결할 수 있다.
도 3은 일 실시예에 따른 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 방법을 나타내는 흐름도이다.
도 3을 참조하면, 일 실시예에 따른 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 방법은, 스마트 팜에서 카메라를 이용하여 동영상을 촬영하는 단계(310), 촬영된 동영상을 이용하여 전체 이미지를 나타내는 파노라마 영상을 생성하는 단계(320), 파노라마 영상에서 사용자가 관리하고자 하는 작물의 부분을 관심 영역(Region of Interest, ROI)으로 지정하는 단계(330), 관심 영역(ROI)으로 지정한 부분의 특징 정보를 분석하는 단계(340), 특징 정보를 이용하여 파노라마 영상에서 관심 영역(ROI)과 일치하는 부분을 추출하는 단계(350), 추출된 부분에 대한 특징 정보를 누적하는 단계(360), 및 누적된 데이터의 분석을 통한 생육 기간 동안의 변화를 확인하는 단계(370)를 포함하여 이루어질 수 있다.
또한, 관심 영역(ROI)을 관리하는 단계를 더 포함할 수 있다.
아래에서 일 실시예에 따른 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 방법의 각 단계를 설명한다.
일 실시예에 따른 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 방법은 도 2에서 설명한 일 실시예에 따른 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 시스템을 예를 들어 보다 상세히 설명할 수 있다. 일 실시예에 따른 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 시스템은 파노라마 영상 생성부, ROI 선택부, ROI 매칭부, 데이터 저장부 및 데이터 분석부를 포함하여 이루어질 수 있다. 실시예에 따라 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 시스템은 ROI 관리부를 더 포함할 수 있다.
단계(310)에서, 스마트 팜에서 카메라를 이용하여 동영상을 촬영할 수 있다.
단계(320)에서, 파노라마 영상 생성부는 촬영된 동영상을 이용하여 전체 이미지를 나타내는 파노라마 영상을 생성할 수 있다. 파노라마 영상 생성부는 동영상에서 프레임 단위로 이미지를 나누고, SIFT 연산을 통해 획득한 특징점을 기준으로 나누어진 이미지의 일치하는 부분을 이어주어 파노라마 영상을 완성할 수 있다.
단계(330)에서, ROI 선택부는 파노라마 영상에서 사용자가 관리하고자 하는 작물의 부분을 관심 영역(ROI)으로 지정할 수 있다.
단계(340)에서, ROI 선택부는 관심 영역(ROI)으로 지정한 부분의 특징 정보를 분석할 수 있다. ROI 선택부는 선택한 관심 영역(ROI)에서 색상, 질감 및 모양 중 적어도 어느 하나 이상의 특징 정보를 분석할 수 있다.
단계(350)에서, ROI 매칭부는 특징 정보를 이용하여 파노라마 영상에서 관심 영역(ROI)과 일치하는 부분을 추출할 수 있다. ROI 매칭부는 파노라마 영상에서 관심 영역이 선택됨에 따라 전체 파노라마 영상에서 관심 영역(ROI)과 일치하는 특징 정보를 갖는 부분을 선정하며, 선정된 부분을 새로운 관심 영역(ROI)으로 등록할 수 있다.
이러한 ROI 매칭부는 선택한 관심 영역(ROI)에서 색상, 질감 및 모양 중 적어도 어느 하나 이상의 특징 정보를 선택하여 파노라마 영상에서 관심 영역(ROI)과 일치하는 부분을 추출할 수 있다.
일례로, ROI 매칭부는 선택한 관심 영역(ROI)에서 색상에 대한 특징 정보를 선택하여 파노라마 영상에서 관심 영역(ROI)과 일치하는 부분을 추출하며, RGB 색상 공간에서의 분석 결과와 HSV 공간에서의 분석 결과를 통해 일치하는 부분들을 획득하여 표시할 수 있다.
다른 예로, ROI 매칭부는 선택한 관심 영역(ROI)에서 질감에 대한 특징 정보를 선택하여 파노라마 영상에서 관심 영역(ROI)과 일치하는 부분을 추출하며, Color-LBP를 이용하여 관심 영역(ROI)에서 획득되는 질감 특징을 분석하여 분석 결과와 일치하는 부분들을 획득하여 표시할 수 있다.
또 다른 예로, ROI 매칭부는 선택한 관심 영역(ROI)에서 모양에 대한 특징 정보를 선택하여 파노라마 영상에서 관심 영역(ROI)과 일치하는 부분을 추출하며, 관심 영역(ROI)에서 윤곽선을 찾은 다음 모양 매칭(shape matching)을 위한 TCDS를 사용하여 관심 영역(ROI)의 모양과 일치하는 부분을 찾을 수 있다.
또한 색상, 질감 및 모양에 대해서 필요한 경우 조합하여 관심 영역(ROI)와 일치하는 부분을 찾아낼 수 있다.
한편, 관심 영역(ROI)을 관리하는 단계를 더 포함할 수 있다. ROI 관리부는 관심 영역(ROI)을 추가 또는 삭제할 수 있는 것으로, 생육 기간 동안 관심 영역(ROI)에 대한 수정, 삭제 등의 편집을 수행하여 관리 시스템의 유용성을 높일 수 있다.
단계(360)에서, 데이터 저장부는 추출된 부분에 대한 특징 정보를 누적할 수 있다. 데이터 저장부는 추출된 관심 영역(ROI)과 일치하는 부분들을 파노라마 영상이 생육 기간에 따라 계속적으로 바뀌어도 그 위치에 대한 특징 정보나 값들을 계속적으로 누적시킬 수 있다.
또한, 데이터 저장부는 파노라마 영상에서 관심 영역(ROI)에 대한 색상, 질감 및 모양 중 적어도 어느 하나 이상의 특징 정보를 저장하여 생육 기간 동안의 데이터베이스를 구축할 수 있다.
단계(370)에서, 데이터 분석부는 누적된 데이터의 분석을 통한 생육 기간 동안의 변화를 확인할 수 있다.
도 4는 일 실시예에 따른 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 시스템을 나타내는 도면이다.
도 4를 참조하면, 일 실시예에 따른 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 시스템(420)은 카메라를 통해 촬영된 동영상(410)을 전달 받아 효율적으로 생육 관리를 할 수 있다. 일 실시예에 따른 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 시스템(420)은 분석부(430) 및 관리부(440)를 포함할 수 있다. 여기서, 분석부(430)는 도 2에서 설명한 ROI 선택부 및 ROI 매칭부를 포함할 수 있고, 관리부(440)는 도 2에서 설명한 ROI 관리부, 데이터 저장부 및 데이터 분석부를 포함할 수 있다.
분석부(430)는 이미지 분석 영역(431), 색상, 질감 및 모양 수집 영역(432), 그리고 특징 값에 따른 매칭 영역(433)을 포함할 수 있다. 이미지 분석 영역(431)에서 파노라마 영상에서 선택된 ROI의 특징 정보를 분석할 수 있고, 색상, 질감 및 모양 수집 영역(432)에서 ROI의 특징 정보를 분석하여 색상, 질감 및 모양 정보를 수집할 수 있다. 또한 특징 값에 따른 매칭 영역(433)에서 분석된 ROI의 특징 정보와 동일한 특징 정보를 갖는 영역을 찾을 수 있다.
관리부(440)는 ROI 관리 영역(441), 생육 기간 동안의 변화 확인 영역(442), 그리고 ROI간의 색상, 질감 및 모양 확인 영역(443)을 포함할 수 있다. 추출된 ROI와 일치하는 부분들은 파노라마 영상이 생육 기간에 따라 계속적으로 바뀌어도 그 위치에 대한 특징이나 값들을 계속적으로 누적시킬 수 있다. 생육 기간 동안의 데이터베이스는 색상, 질감 및 모양 특징을 저장하여 구축할 수 있다. 값의 저장은 시간, 날짜 별로 ROI 관리 영역(441)을 통해 이루어질 수 있다. ROI 관리 영역(441)은 ROI 계열별 일치하는 부분들의 위치 값들을 저장함으로써 데이터베이스 구축을 원활하게 한다.
저장된 데이터베이스는 ROI 관리 영역(441)과 생육 기간 동안의 변화 확인 영역(442)을 통해 확인할 수 있다. ROI 관리 영역(441)은 ROI 계열 간의 비교와 ROI와 일치하는 부분들 간의 비교를 하게 해준다. ROI 계열 간의 비교는 지정한 날짜와 시간에서의 특징 값들의 차이를 확인할 수 있고 색상, 질감 및 모양 중 선택하여 생육 기간 동안의 차이를 비교할 수 있다.
도 5는 일 실시예에 따른 동영상으로부터 파노라마 영상을 추출하는 방법을 설명하기 위한 도면이다.
도 5를 참조하면, 카메라를 통해 획득한 동영상을 파노라마 영상으로 변환할 수 있으며, 파노라마 영상 변환은 동영상에서 프레임 단위로 나눈 이미지를 통해 이루어질 수 있다. 이 때, SIFT 연산을 통해 얻어낸 특징점을 기준으로 나뉜 이미지의 일치하는 부분을 이어주어 파노라마 영상을 완성할 수 있다.
사용자가 원하는 관심 영역(ROI)을 파노라마 영상에서 선택할 수 있다. 하나의 영상에서 관심 영역으로 선택되면 전체 파노라마 영상에서 이와 동일한 특징을 갖는 영역이 선정되며, 선정된 영역은 새로운 관심 영역으로 등록된다. 이 때 ROI를 추가, 삭제도 가능하다.
도 6은 일 실시예에 따른 ROI 특징 정보의 분석 결과의 예를 나타내는 도면이다.
도 6을 참조하면, 선택한 ROI에서 특징 정보 3가지 색상, 질감 및 모양을 선택하여 ROI와 일치하는 부분을 찾을 수 있다. 도 6의 (a)에 도시된 바와 같이, 색상은 RGB 색상 공간에서의 분석 결과와 HSV 공간에서의 분석 결과를 통해 일치하는 부분들을 획득하여 표시할 수 있다. 도 6의 (b)에 도시된 바와 같이, 질감의 경우 Color-LBP를 이용하여 ROI 부분에서 얻어지는 질감 특징을 분석하여 분석 결과와 일치하는 부분들을 획득하여 표시할 수 있다. 도 6의 (c)에 도시된 바와 같이, 모양의 경우 ROI에서 윤곽선을 찾은 다음 모양 매칭(shape matching)을 위한 TCDs를 사용하여 ROI 모양과 일치하는 부분을 찾아낼 수 있다. 또한 색상, 질감 및 모양에 대해서 필요한 경우 조합하여 ROI와 일치하는 부분을 찾아낼 수 있다.
도 7은 일 실시예에 따른 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 시스템의 화면의 예를 나타내는 도면이다.
도 7을 참조하면, ROI와 일치하는 부분들 간의 비교는 생육 기간 동안의 색상, 질감 및 모양에 대한 변화를 전체적으로 확인할 수 있고, 원할 경우 특정한 기간 동안의 변화 추이를 파노라마 영상과 함께 확인할 수 있다. 색상, 질감 및 모양 값들의 저장은 각각이 가지는 기준을 통해 이루어지고 확인할 수 있다.
일례로, 특징 값 중 색상 부분은 생육 기간 동안의 변화를 그래프로 확인할 수 있으며 각 색상 공간이 가지는 최대 비율 값을 기준으로 나타낼 수 있고, 색상 공간이 가지는 평균 값을 기준으로 나타낼 수 있다. 또한, ROI에 대한 색상 변화를 눈으로 확인해보기 위한 이미지 모음을 할 수 있다.
다른 예로, 특징 값 중 질감 부분은 생육 기간 동안의 변화를 각 수치에 따라 그래프와 그림 등을 통해 확인할 수 있다. 또한 원할 경우 ROI 전체 부분에서 질감을 나타내는 각 수치의 비율 값의 변화를 확인할 수 있다.
또 다른 예로, 특징 값 중 모양 부분은 ROI에서 나타난 윤곽 부분의 변화를 그림으로 확인 할 수 있으며 수치화한 값을 통해 모양의 변화를 그래프로 확인할 수 있다. 또한 ROI에서 나타난 윤곽선에 대해 생육 기간 동안의 상대적인 크기 변화를 확인할 수 있다.
ROI가 하나 이상이 선택될 경우 ROI간의 특징 값들의 차이를 확인할 수 있다. 이것은 생육 기간 동안의 결과를 날짜에 따라 각각의 값들을 확인할 수 있으며 ROI와 파노라마 영상에서 일치하는 부분들 사이에서도 확인할 수 있다.
아래에서는 파노라마 영상에서 부분 색상 윤곽(partial color contour)을 이용하여 객체(object)을 찾는 방법의 예를 설명한다. 일반적인 자연 환경에서 영상의 객체는 뚜렷한 하나의 윤곽으로 나타나기 보다는 여러 형태의 부분 윤곽들로 나타나게 된다. 아래에서는 이러한 영상에서 나타난 부분 윤곽들을 객체의 부분 윤곽과 패턴(pattern)에 따라 매칭(matching)하는 방법을 제안한다. 색상에 따라 달라질 수 있는 부분 윤곽을 고려하고 부분 매칭에는 TCDs 방법을, 패턴 매칭에는 부분의 조합과 빈도를 이용하였다. 따라서 부분 윤곽들로부터 색상과 모양 매칭(shape matching)을 통해 조합된 객체를 찾는 방법을 보여준다.
자연적인 빛 또는 외부적인 환경으로 인하여 비슷한 색상이 나타나는 경우 색상 값을 기준으로 나뉘어진 윤곽이 뚜렷하게 나타나지 않게 되고 영상에서 하나의 관심 영역에 대한 에지(edge) 특징을 정확하게 얻기 힘들다. 이를 위해 영상에 다양한 필터(filter)를 이용한 전처리 기술들을 적용하고, 이것들을 큰 색상공간에 따라 나누어 각각 처리함에 따라 관심 영역에 대한 에지(edge) 특징을 얻기 위한 방법들이 제안되어 왔다. 윤곽 매칭 기법은 영상에서 얻어낸 에지(edge)의 같은 색이나 강도를 가지는 연속된 점들을 윤곽으로 지정하고 여러 개의 윤곽간의 차이점을 이용하여 매칭하는 방법이다. 이런 윤곽 매칭 분야는 모양 매칭에 속하게 되어 각각의 물체가 가지는 모양에 대한 특징 정보를 찾아내고 분류하기 위해 사용된다.
기존의 객체 탐지는 에지(edge) 탐지기를 이용하여 이미지에서 생산물의 윤곽선을 얻고 모양 특징을 얻기 위해 윤곽 매칭을 하였다. 부분 윤곽 탐지는 윤곽 탐지 분야에서 가려진 물체와 부분적으로 매칭되는 부분을 얻기 위해서 계속적으로 연구되는 내용이다. 부분 윤곽 매칭은 두 부분 윤곽의 일치하는 부분을 식별하거나 닫힌 윤곽의 일부와 열린 윤곽 사이의 가장 일치하는 부분을 찾아내는 것을 목표로 한다. TCDs는 ‘A novel method for 2D nonrigid partial shape matching(2018)’에서 제안된 partial shape matching을 위한 방법으로 triangle-centroid-distance를 이용한 모양 매칭을 위한 방법으로 triangle-centroid-distance를 이용한 모양 특징을 추출할 수 있다.
도 8은 일 실시예에 따른 색상 윤곽을 획득하는 방법을 설명하기 위한 도면이다.
도 8을 참조하면, 이미지를 색상에 따라 분리하고 Sobel을 적용한 결과를 보여준다. 이미지가 가지는 색에 따른 윤곽들을 R,G,B에 따라 각각 얻기 위해 이미지를 R,G,B 공간으로 분리할 수 있다. 이 1차원 이미지에 소벨 필터(sobel filter)를 적용하여 얻을 수 있는 부분 윤곽을 최대한 많이 획득할 수 있다.
도 9는 일 실시예에 따른 부분 윤곽을 위한 패턴화를 설명하기 위한 도면이다.
도 9를 참조하면, 이미지에서 획득한 부분 윤곽들로부터 객체를 특정하기 위해 객체가 가지는 모양 특징을 패턴화할 수 있다. 기준이 되는 객체를 결정하기 위해 영역을 정하고 영역 안에서 얻어진 윤곽을 4개로 분리하여 TCDs를 통해 값을 획득할 수 있다. 이 값들은 객체가 가지는 모양 특징에 대한 패턴 값이 된다. 패턴의 4가지 분류는 sample point로 정한 128개에서 4분의 1만큼을 시작점에 따라 분류할 수 있다.
도 10은 일 실시예에 따른 부분 매칭을 설명하기 위한 도면이다.
도 10을 참조하면, Local TCDs의 값들이 Length ratio로 인해 바뀌었을 때의 부분 point를 나타낸다. 객체 탐지의 전 단계로써 패턴 각각의 값과 이미지의 부분 간의 매칭할 수 있다. 부분 매칭을 위해 이미지가 가지는 윤곽의 TCDs 값과 패턴 TCDs 값들을 비교할 수 있다. Local TCDs 값들이 이미지 윤곽과 비교될 때 length ratio를 Local TCDs의 길이 값과 이미지 윤곽의 길이 값을 통해 얻고 5단계로 나누어 각 비율만큼 곱해 부분이 sample point에 의해 달라질 수 있는 경우를 고려하였다.
도 11은 일 실시예에 따른 색상에 따른 윤곽선 비교를 나타내는 도면이다.
도 11에 도시된 바와 같이, 자연환경에서 물체를 감지하기 위해서 각 물체가 가질 수 있는 주요 색을 기준으로 처리를 한 뒤에 윤곽선을 찾아내는 과정이 성능 향상에 도움이 되는 것을 알 수 있다. 이에 스마트 팜 환경에서의 과일과 작물의 윤곽선이 주요 색상을 통해 다르게 표현되는 것을 실험을 통해 확인할 수 있다.
실시예들에 따르면 자연적인 환경에서 부분 윤곽을 이용하여 객체 탐지를 하는 방법을 제공한다. 빛과 환경에 따라 달라질 수 있는 윤곽을 고려하여 R,G,B 공간의 부분 윤곽을 찾아내고 스마트 팜 환경에서 농산물이 가지는 지역적인 특징을 부분 윤곽에서 Local TCDs로 표현할 수 있다. Local TCDs를 정의함으로써 객체가 가질 수 있는 모양 특징을 부분의 위치와 연결시킬 수 있다. 정의된 Local TCDs를 기반으로 한 라벨링(labeling)은 부분 매칭의 결과로 일치되는 부분 중 객체 모양 특징을 지역적으로 가진 부분을 찾아낼 수 있다.
이상에서 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
또한, 명세서에 기재된 "…부", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (15)
- 스마트 팜에서 카메라를 이용하여 동영상을 촬영하는 단계;
촬영된 상기 동영상을 이용하여 전체 이미지를 나타내는 파노라마 영상(panoramic image)을 생성하는 단계;
상기 파노라마 영상에서 사용자가 관리하고자 하는 작물의 부분을 관심 영역(Region of Interest, ROI)으로 지정하는 단계;
상기 관심 영역(ROI)으로 지정한 부분의 특징 정보를 분석하는 단계;
상기 특징 정보를 이용하여 상기 파노라마 영상에서 상기 관심 영역(ROI)과 일치하는 부분을 추출하는 단계;
추출된 상기 부분에 대한 특징 정보를 누적하는 단계; 및
누적된 데이터의 분석을 통한 생육 기간 동안의 변화를 확인하는 단계
를 포함하는, 스마트 팜 생육 관리 방법. - 제1항에 있어서,
상기 동영상을 이용하여 전체 이미지를 나타내는 파노라마 영상을 생성하는 단계는,
상기 동영상에서 프레임 단위로 이미지를 나누고, SIFT 연산을 통해 획득한 특징점을 기준으로 나누어진 상기 이미지의 일치하는 부분을 이어주어 파노라마 영상을 완성하는 것
을 특징으로 하는, 스마트 팜 생육 관리 방법. - 제1항에 있어서,
상기 관심 영역(ROI)으로 지정한 부분의 특징 정보를 분석하는 단계는,
선택한 상기 관심 영역(ROI)에서 색상, 질감 및 모양 중 적어도 어느 하나 이상의 특징 정보를 분석하는 것
을 특징으로 하는, 스마트 팜 생육 관리 방법. - 제1항에 있어서,
상기 특징 정보를 이용하여 상기 파노라마 영상에서 상기 관심 영역(ROI)과 일치하는 부분을 추출하는 단계는,
상기 파노라마 영상에서 관심 영역이 선택됨에 따라 전체 파노라마 영상에서 상기 관심 영역(ROI)과 일치하는 특징 정보를 갖는 부분을 선정하며, 선정된 상기 부분을 새로운 관심 영역(ROI)으로 등록하는 것
을 특징으로 하는, 스마트 팜 생육 관리 방법. - 제1항에 있어서,
상기 특징 정보를 이용하여 상기 파노라마 영상에서 상기 관심 영역(ROI)과 일치하는 부분을 추출하는 단계는,
선택한 상기 관심 영역(ROI)에서 색상, 질감 및 모양 중 적어도 어느 하나 이상의 특징 정보를 선택하여 상기 파노라마 영상에서 상기 관심 영역(ROI)과 일치하는 부분을 추출하는 것
을 특징으로 하는, 스마트 팜 생육 관리 방법. - 제5항에 있어서,
상기 특징 정보를 이용하여 상기 파노라마 영상에서 상기 관심 영역(ROI)과 일치하는 부분을 추출하는 단계는,
선택한 상기 관심 영역(ROI)에서 색상에 대한 특징 정보를 선택하여 상기 파노라마 영상에서 상기 관심 영역(ROI)과 일치하는 부분을 추출하며, RGB 색상 공간에서의 분석 결과와 HSV 공간에서의 분석 결과를 통해 일치하는 부분들을 획득하여 표시하는 것
을 특징으로 하는, 스마트 팜 생육 관리 방법. - 제5항에 있어서,
상기 특징 정보를 이용하여 상기 파노라마 영상에서 상기 관심 영역(ROI)과 일치하는 부분을 추출하는 단계는,
선택한 상기 관심 영역(ROI)에서 질감에 대한 특징 정보를 선택하여 상기 파노라마 영상에서 상기 관심 영역(ROI)과 일치하는 부분을 추출하며, Color-LBP를 이용하여 상기 관심 영역(ROI)에서 획득되는 질감 특징을 분석하여 분석 결과와 일치하는 부분들을 획득하여 표시하는 것
을 특징으로 하는, 스마트 팜 생육 관리 방법. - 제5항에 있어서,
상기 특징 정보를 이용하여 상기 파노라마 영상에서 상기 관심 영역(ROI)과 일치하는 부분을 추출하는 단계는,
선택한 상기 관심 영역(ROI)에서 모양에 대한 특징 정보를 선택하여 상기 파노라마 영상에서 상기 관심 영역(ROI)과 일치하는 부분을 추출하며, 상기 관심 영역(ROI)에서 윤곽선을 찾은 다음 모양 매칭(shape matching)을 위한 TCDS를 사용하여 상기 관심 영역(ROI)의 모양과 일치하는 부분을 찾는 것
을 특징으로 하는, 스마트 팜 생육 관리 방법. - 제1항에 있어서,
상기 관심 영역(ROI)을 관리하는 단계
를 더 포함하고,
상기 관심 영역(ROI)을 관리하는 단계는,
상기 관심 영역(ROI)을 추가 또는 삭제하는 것
을 특징으로 하는, 스마트 팜 생육 관리 방법. - 제1항에 있어서,
상기 추출된 부분에 대한 특징 정보를 누적하는 단계는,
추출된 상기 관심 영역(ROI)과 일치하는 부분들을 상기 파노라마 영상이 생육 기간에 따라 계속적으로 바뀌어도 그 위치에 대한 특징 정보나 값들을 계속적으로 누적시키는 것
을 특징으로 하는, 스마트 팜 생육 관리 방법. - 제1항에 있어서,
상기 추출된 부분에 대한 특징 정보를 누적하는 단계는,
상기 파노라마 영상에서 상기 관심 영역(ROI)에 대한 색상, 질감 및 모양 중 적어도 어느 하나 이상의 특징 정보를 저장하여 생육 기간 동안의 데이터베이스를 구축하는 것
을 특징으로 하는, 스마트 팜 생육 관리 방법. - 스마트 팜에서 촬영된 동영상을 이용하여 전체 이미지를 나타내는 파노라마 영상을 생성하는 파노라마 영상 생성부;
상기 파노라마 영상(panoramic image)에서 사용자가 관리하고자 하는 작물의 부분을 관심 영역(Region of Interest, ROI)으로 지정함에 따라 상기 관심 영역(ROI)으로 지정한 부분의 특징 정보를 분석하는 ROI 선택부;
상기 특징 정보를 이용하여 상기 파노라마 영상에서 상기 관심 영역(ROI)과 일치하는 부분을 추출하는 ROI 매칭부;
추출된 상기 부분에 대한 특징 정보를 누적하는 데이터 저장부; 및
누적된 데이터의 분석을 통한 생육 기간 동안의 변화를 확인하는 데이터 분석부
를 포함하는, 스마트 팜 생육 관리 시스템. - 제12항에 있어서,
상기 ROI 선택부는,
선택한 상기 관심 영역(ROI)에서 색상, 질감 및 모양 중 적어도 어느 하나 이상의 특징 정보를 분석하는 것
을 특징으로 하는, 스마트 팜 생육 관리 시스템. - 제12항에 있어서,
상기 ROI 매칭부는,
상기 파노라마 영상에서 관심 영역이 선택됨에 따라 전체 파노라마 영상에서 상기 관심 영역(ROI)과 일치하는 특징 정보를 갖는 부분을 선정하며, 선정된 상기 부분을 새로운 관심 영역(ROI)으로 등록하는 것
을 특징으로 하는, 스마트 팜 생육 관리 시스템. - 제12항에 있어서,
상기 관심 영역(ROI)을 관리하는 ROI 관리부
를 더 포함하고,
상기 ROI 관리부는,
상기 관심 영역(ROI)을 추가 또는 삭제하는 것
을 특징으로 하는, 스마트 팜 생육 관리 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200082305A KR102434210B1 (ko) | 2020-07-03 | 2020-07-03 | 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200082305A KR102434210B1 (ko) | 2020-07-03 | 2020-07-03 | 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220004454A true KR20220004454A (ko) | 2022-01-11 |
| KR102434210B1 KR102434210B1 (ko) | 2022-08-19 |
Family
ID=79355862
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200082305A KR102434210B1 (ko) | 2020-07-03 | 2020-07-03 | 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102434210B1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024043363A1 (ko) * | 2022-08-25 | 2024-02-29 | 한국전자기술연구원 | 영상 분할 기법을 이용한 작물의 표준 색상 정보 제공 장치 및 방법 |
| KR102597253B1 (ko) | 2023-07-09 | 2023-11-06 | 주식회사 성호에스아이코퍼레이션 | 영상을 기반으로 한 작물재배 생육 플랫폼 구축을 통한스마트 팜 시스템 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013005725A (ja) * | 2011-06-22 | 2013-01-10 | Nikon Corp | 成長度合検出装置、植物栽培システム、植物栽培プラント、成長度合検出方法及びプログラム |
| KR20170052416A (ko) * | 2015-10-30 | 2017-05-12 | 사단법인 한국온실작물연구소 | 군락에서 영상이미지를 통한 작물기관별 이미지식별시스템 |
| KR101846301B1 (ko) * | 2017-05-10 | 2018-04-09 | 안주형 | 자동제어 장비를 이용한 작물 수확 및 관리 시스템 |
| KR20200028953A (ko) * | 2017-06-14 | 2020-03-17 | 그로우 솔루션즈 테크, 엘엘씨 | 그로우 포드 상태의 외부 알림을 제공하기 위한 시스템 및 방법 |
| KR20200045219A (ko) | 2018-10-22 | 2020-05-04 | 이종건 | 카메라 영상 및 데이터의 동시 통신을 위한 스마트 제어보드를 이용한 원격지 제어 시스템이 적용된 스마트 팜 |
-
2020
- 2020-07-03 KR KR1020200082305A patent/KR102434210B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013005725A (ja) * | 2011-06-22 | 2013-01-10 | Nikon Corp | 成長度合検出装置、植物栽培システム、植物栽培プラント、成長度合検出方法及びプログラム |
| KR20170052416A (ko) * | 2015-10-30 | 2017-05-12 | 사단법인 한국온실작물연구소 | 군락에서 영상이미지를 통한 작물기관별 이미지식별시스템 |
| KR101846301B1 (ko) * | 2017-05-10 | 2018-04-09 | 안주형 | 자동제어 장비를 이용한 작물 수확 및 관리 시스템 |
| KR20200028953A (ko) * | 2017-06-14 | 2020-03-17 | 그로우 솔루션즈 테크, 엘엘씨 | 그로우 포드 상태의 외부 알림을 제공하기 위한 시스템 및 방법 |
| KR20200045219A (ko) | 2018-10-22 | 2020-05-04 | 이종건 | 카메라 영상 및 데이터의 동시 통신을 위한 스마트 제어보드를 이용한 원격지 제어 시스템이 적용된 스마트 팜 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102434210B1 (ko) | 2022-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4194025B2 (ja) | 照明不変の客体追跡方法及びこれを用いた映像編集装置 | |
| Li et al. | Immature green citrus fruit detection and counting based on fast normalized cross correlation (FNCC) using natural outdoor colour images | |
| CN111797653B (zh) | 基于高维图像的图像标注方法和装置 | |
| KR101346730B1 (ko) | 화상 처리 시스템, 화상 처리 장치 및 방법, 프로그램, 및기록 매체 | |
| DE112017006136T5 (de) | System und Verfahren zur CNN-Schichtenteilung | |
| CN110210276A (zh) | 一种移动轨迹获取方法及其设备、存储介质、终端 | |
| US10558844B2 (en) | Lightweight 3D vision camera with intelligent segmentation engine for machine vision and auto identification | |
| US10957055B2 (en) | Methods and systems of searching for an object in a video stream | |
| US6771798B1 (en) | Hyperspectral visualization extensible workbench | |
| US10891019B2 (en) | Dynamic thumbnail selection for search results | |
| US10846325B2 (en) | Information search system and information search program | |
| KR20070079330A (ko) | 표시 제어장치 및 방법, 컴퓨터 프로그램, 및 기록 매체 | |
| CN109711345A (zh) | 一种火焰图像识别方法、装置及其存储介质 | |
| CN101443791A (zh) | 在数字图像中实现改进的前景/背景分离 | |
| KR102434210B1 (ko) | 파노라마 영상에 의한 다양한 개체의 스마트 팜 생육 관리 시스템 및 방법 | |
| JP6456031B2 (ja) | 画像認識装置、画像認識方法およびプログラム | |
| Schlipsing et al. | Adaptive pattern recognition in real-time video-based soccer analysis | |
| CN103324655A (zh) | 图像检索系统、图像检索装置以及图像检索方法 | |
| CN114511820A (zh) | 货架商品检测方法、装置、计算机设备及存储介质 | |
| Molina et al. | Color and size image dataset normalization protocol for natural image classification: A case study in tomato crop pathologies | |
| DE102022124537A1 (de) | Verfahren zur erstellung eines optimierten/adaptiven bereichs von interesse (roi) basierend auf einer erkennung einer strichcodeposition im sichtfeld (fov) | |
| Putzu et al. | A mobile application for leaf detection in complex background using saliency maps | |
| Neethi et al. | Intelligent Mango Canopies Yield Estimation Using Machine Vision | |
| TWI779867B (zh) | 4d高光譜影像建模之方法 | |
| Katiyar et al. | Fruit Recognition System Using MATLAB |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |