KR20170114065A - 작물 영상 및 생육 정보의 관제 서비스 시스템 및 방법 - Google Patents
작물 영상 및 생육 정보의 관제 서비스 시스템 및 방법 Download PDFInfo
- Publication number
- KR20170114065A KR20170114065A KR1020160040173A KR20160040173A KR20170114065A KR 20170114065 A KR20170114065 A KR 20170114065A KR 1020160040173 A KR1020160040173 A KR 1020160040173A KR 20160040173 A KR20160040173 A KR 20160040173A KR 20170114065 A KR20170114065 A KR 20170114065A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- crop
- information
- growth information
- control
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 61
- 238000007781 pre-processing Methods 0.000 claims description 24
- 239000000284 extract Substances 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 11
- 238000003702 image correction Methods 0.000 claims description 9
- 238000010801 machine learning Methods 0.000 claims description 8
- 238000005728 strengthening Methods 0.000 claims description 8
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims 6
- 229910052698 phosphorus Inorganic materials 0.000 claims 6
- 239000011574 phosphorus Substances 0.000 claims 6
- 238000010586 diagram Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 238000007596 consolidation process Methods 0.000 description 2
- 230000001066 destructive effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Mining & Mineral Resources (AREA)
- Marine Sciences & Fisheries (AREA)
- Animal Husbandry (AREA)
- Agronomy & Crop Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 작물 영상 및 생육 정보의 관제 서비스 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 영상 센서 및 거리 영상 센서를 구비하여 작물 영상 및 거리 영상 정보를 획득하는 영상 수집 장치; 상기 영상 수집 장치로부터 작물 영상 및 거리 영상 정보를 수집하고, 상기 수집된 작물 영상 및 거리 영상 정보를 이용해 대상 작물을 인식하고 상기 인식된 대상 작물의 생육 정보를 추출하는 영상 처리 장치; 및 상기 영상 처리 장치로부터 수신된 작물 영상 및 상기 추출된 생육 정보를 저장하고, 상기 저장된 작물 영상 및 생육 정보 중에서 대상 작물에 대응하는 작물 영상 및 생육 정보를 검색하여 사용자 단말에 제공하는 통합 관리 서버를 포함한다.
Description
본 발명은 작물 영상 및 생육 정보의 관제 서비스 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 작물 영상을 기반으로 하여 대상 작물을 인식하고, 대상 작물 영상의 수집 및 생육 정보를 추출하여 작물 영상 서비스를 제공할 수 있는 작물 영상 및 생육 정보의 관제 서비스 시스템 및 방법에 관한 것이다.
일반적으로 작물 생장과 생장 속도 등을 관측하기 위하여 사람의 육안에 의한 계측 방법을 사용하여 왔다. 작물은 햇빛이 많은 여름에 가장 많이 생장하게 되는데 날씨의 변화가 심한 경우 일년의 총 소출을 예상하기 어렵고, 이에 따라 수출입하고자 하는 특정 작물 및 작물의 양과 또한 수입되는 작물 및 작물의 양을 예측하기 어렵다.
또한, 기상 변화에 따른 작물 생장 관측 및 소출 예측을 보다 정확히 하기 위하여 산간오지의 작물 생장 등도 정확히 측정하는 것이 필수적임에도 불구하고, 이를 매 순간마다 정확히 측정할 수 있는 수단이 없으며, 사람이 매번 일일이 관측하여야 하는 불편함이 있었기 때문에, 정확한 작물 생장 자료를 관측 및 저장하는데 곤란한 문제점이 있다.
더구나, 사람이 관측함으로써 재배 작물의 생장 상태를 관찰하는 데에는 관찰시점의 불일치와 관찰빈도가 제한되는 문제점이 있고, 사람이 직접 측정 시 손으로 만지며 측정하는 관계로 일반적 상장과의 차이가 있으며, 작물의 생육 정보 측정에 많은 시간을 낭비하고, 연구원 또는 농촌진흥청과 정보를 교환하는데 불편함이 많았으며 이로 인해 연구 자료로 사용할 수 없어 한 해의 소출을 예측하기 어렵다는 문제점이 있다.
종래에는 이러한 단점을 해결하기 위해서 온실을 자동으로 관리하였다. 하지만, 온실 내부를 관리하기 위해 온실 내부 천장 부분에 촬영 기기를 장착하여 줌인 또는 줌아웃을 통하여 작물을 관찰하는 경우, 실제 작물 생육 상태를 정확히 측정할 수 없다는 문제점이 있다.
본 발명의 실시 예들은 작물 영상 및 생육 정보의 관제 서비스 방법에 관한 것으로 컬러 및 거리 영상 센서를 이용해 작물의 생육 정보를 추출하여 농업 종사자, 농업 연구소, 농업 정책 관련자 등에게 서비스하고자 한다.
본 발명의 제1 측면에 따르면, 영상 센서 및 거리 영상 센서를 구비하여 작물 영상 및 거리 영상 정보를 획득하는 영상 수집 장치; 상기 영상 수집 장치로부터 작물 영상 및 거리 영상 정보를 수집하고, 상기 수집된 작물 영상 및 거리 영상 정보를 이용해 대상 작물을 인식하고 상기 인식된 대상 작물의 생육 정보를 추출하는 영상 처리 장치; 및 상기 영상 처리 장치로부터 수신된 작물 영상 및 상기 추출된 생육 정보를 저장하고, 상기 저장된 작물 영상 및 생육 정보 중에서 대상 작물에 대응하는 작물 영상 및 생육 정보를 검색하여 사용자 단말에 제공하는 통합 관리 서버를 포함하는 작물 영상 및 생육 정보의 관제 서비스 시스템이 제공될 수 있다.
상기 영상 처리 장치는 상기 영상 수집 장치로부터 작물 영상 및 거리 영상 정보를 수집하는 작물 영상 수집부; 상기 통합 관리 서버로부터 센서 제어명령을 수신하는 제어명령 수신부; 상기 수신된 제어명령을 이용해 상기 영상 센서를 제어하는 센서 제어부; 상기 수집된 작물 영상 및 거리 영상 정보를 이용해 대상 작물을 인식하고 상기 인식된 대상 작물의 생육 정보를 추출하는 생육 정보 추출부; 및 상기 수집된 작물 영상 및 상기 추출된 생육 정보를 상기 통합 관리 서버에 송신하는 정보 송신부를 포함할 수 있다.
상기 센서 제어부는 상기 수신된 팬(Pan), 틸트(Tilt) 및 줌(Zoom)에 대한 센서 제어명령 중 적어도 하나의 센서 제어명령을 이용해 상기 영상 센서를 제어할 수 있다.
상기 생육 정보 추출부는 상기 수집된 작물 영상에 대해 영상 전처리를 수행하는 작물 영상 전처리부; 상기 전처리된 작물 영상에서 각 화상 강도를 이용해 작물의 영역을 분할하고, 상기 작물 영상의 거리 영상 정보에서 깊이 정보를 이용하여 대상 작물을 분할하는 작물 영상 분할부; 상기 분할된 작물 영상과 거리 영상 정보의 왜곡 및 위치를 계산하여 보정 및 정합하는 영상 보정 및 정합부; 상기 분할된 작물 영상을 기설정된 기계학습을 이용하여 학습 및 인식을 통해 각 대상 작물의 인식자를 할당하는 영상 학습 및 인식부; 및 상기 할당된 작물의 인식자를 이용해 각 대상 작물의 생육 정보를 추출하는 생육 정보 추출부를 포함할 수 있다.
상기 작물 영상 전처리부는 상기 수집된 작물 영상에 대해 잡음 제거, 기설정된 색상 영역의 강화, 동일 영역 내 화상 강도 차이의 완화 및 간선 강화 중 적어도 하나의 영상 전처리를 수행할 수 있다.
상기 작물 영상 분할부는 상기 전처리된 작물 영상에 대해 각 색상 채널의 비율 차이를 이용해 기설정된 색상 영역을 분할하고, 대상 거리를 마스크로 하여 관심 깊이 내의 객체를 분할할 수 있다.
상기 생육 정보 추출부는 각 대상 작물의 높이, 너비, 녹색지수 및 캐노피 중 적어도 하나의 생육 정보를 추출할 수 있다.
상기 통합 관리 서버는 상기 수신된 작물 영상 및 생육 정보를 저장하는 작물 영상 데이터베이스; 상기 사용자 단말로부터 입력된 센서 제어명령을 상기 영상 처리 장치에 송신하는 제어명령 송신부; 상기 영상 처리 장치로부터 작물 영상 및 생육 정보를 수신하는 정보 수신부; 상기 사용자 단말로부터 요청된 작물에 대응하는 작물 영상 및 생육 정보를 상기 작물 영상 데이터베이스로부터 검색하는 작물 영상 검색부; 및 상기 검색된 작물 영상에 대한 작물 영상 및 생육 정보를 사용자 단말에 제공하는 작물 영상 서비스부를 포함할 수 있다.
상기 작물 영상 서비스부는 선택된 관측지에 대해서 센서 제어명령을 입력하여 상기 영상 센서를 제어하기 위한 영상센서 제어탭과, 각 관측지의 작물 영상을 출력하는 관제 모니터탭으로 이루어진 전체 관제 페이지를 통해 상기 사용자 단말에 작물 영상을 서비스할 수 있다.
상기 작물 영상 서비스부는 선택된 관측지에 대해서 센서 제어명령을 입력하여 상기 영상 센서를 제어하기 위한 영상센서 제어탭과, 조회일자별 관측지의 작물 영상, 조회일자별 생육 정보, 기설정된 기간의 생육 정보의 변화량 중 적어도 하나를 출력하는 상세 관제 모니터탭으로 이루어진 상세 관제 페이지를 통해 상기 사용자 단말에 작물 영상을 서비스할 수 있다.
한편, 본 발명의 제2 측면에 따르면, 영상 수집 장치가 영상 센서 및 거리 영상 센서를 통해 작물 영상 및 거리 영상 정보를 획득하는 영상 획득 단계; 상기 영상 처리 장치가 상기 영상 수집 장치로부터 작물 영상 및 거리 영상 정보를 수집하고, 상기 수집된 작물 영상 및 거리 영상 정보를 이용해 대상 작물을 인식하고 상기 인식된 대상 작물의 생육 정보를 추출하는 영상 처리 단계; 및 통합 관리 서버가 상기 영상 처리 장치로부터 수신된 작물 영상 및 생육 정보를 저장하고, 대상 작물에 대응하는 작물 영상 및 생육 정보를 검색하여 사용자 단말에 제공하는 통합 관리 단계를 포함하는 작물 영상 및 생육 정보의 관제 서비스 방법이 제공될 수 있다.
상기 영상 처리 단계는 상기 작물 영상 및 거리 영상 정보를 수집하는 단계; 상기 통합 관리 서버로부터 센서 제어명령을 수신하는 단계; 상기 수신된 제어명령을 이용해 상기 영상 센서를 제어하는 단계; 상기 수집된 작물 영상 및 거리 영상 정보를 이용해 대상 작물을 인식하고 상기 인식된 대상 작물의 생육 정보를 추출하는 단계; 및 상기 수집된 작물 영상 및 상기 추출된 생육 정보를 상기 통합 관리 서버에 송신하는 단계를 포함할 수 있다.
상기 영상 센서를 제어하는 단계는 상기 수신된 팬(Pan), 틸트(Tilt) 및 줌(Zoom)에 대한 센서 제어명령 중 적어도 하나의 센서 제어명령을 이용해 상기 영상 센서를 제어할 수 있다.
상기 생육 정보를 추출하는 단계는 상기 수집된 작물 영상에 대해 영상 전처리를 수행하는 단계; 상기 전처리된 작물 영상에서 각 화상 강도를 이용해 작물의 영역을 분할하고, 상기 작물 영상의 거리 영상 정보에서 깊이 정보를 이용하여 대상 작물을 분할하는 단계; 상기 분할된 작물 영상과 거리 영상 정보의 왜곡 및 위치를 계산하여 보정 및 정합하는 단계; 상기 분할된 대상 작물을 기설정된 기계학습을 이용하여 학습 및 인식을 통해 각 대상 작물의 인식자를 할당하는 단계; 및 상기 할당된 작물의 인식자를 이용해 각 대상 작물의 생육 정보를 추출하는 단계를 포함할 수 있다.
상기 영상 전처리를 수행하는 단계는 상기 수집된 작물 영상에 대해 잡음 제거, 기설정된 색상 영역의 강화, 동일 영역 내 화상 강도 차이의 완화 및 간선 강화 중 적어도 하나의 영상 전처리를 수행할 수 있다.
상기 분할하는 단계는 상기 전처리된 작물 영상에 대해 각 색상 채널의 비율 차이를 이용해 기설정된 색상 영역을 분할하고, 대상 거리를 마스크로 하여 관심 깊이 내의 객체를 분할할 수 있다.
상기 생육 정보를 추출하는 단계는 각 대상 작물의 높이, 너비, 녹색지수 및 캐노피 중 적어도 하나의 생육 정보를 추출할 수 있다.
상기 통합 관리 단계는 상기 수신된 작물 영상 및 생육 정보를 작물 영상 데이터베이스에 저장하는 단계; 상기 사용자 단말로부터 입력된 센서 제어명령을 상기 영상 처리 장치에 송신하는 단계; 상기 영상 처리 장치로부터 작물 영상 및 생육 정보를 수신하는 단계; 사용자 단말로부터 요청된 작물에 대응하는 작물 영상 및 생육 정보를 상기 작물 영상 데이터베이스로부터 검색하는 단계; 및 상기 검색된 작물 영상에 대한 작물 영상 및 생육 정보를 사용자 단말에 제공하는 단계를 포함할 수 있다.
상기 사용자 단말에 제공하는 단계는 선택된 관측지에 대해서 센서 제어명령을 입력하여 상기 영상 센서를 제어하기 위한 영상센서 제어탭과, 각 관측지의 작물 영상을 출력하는 관제 모니터탭으로 이루어진 전체 관제 페이지를 통해 상기 사용자 단말에 작물 영상을 서비스할 수 있다.
상기 사용자 단말에 제공하는 단계는 선택된 관측지에 대해서 센서 제어명령을 입력하여 상기 영상 센서를 제어하기 위한 영상센서 제어탭과, 조회일자별 관측지의 작물 영상, 조회일자별 생육 정보, 기설정된 기간의 생육 정보의 변화량 중 적어도 하나를 출력하는 상세 관제 모니터탭으로 이루어진 상세 관제 페이지를 통해 상기 사용자 단말에 작물 영상을 서비스할 수 있다.
본 발명의 실시 예들은 컬러 및 거리 영상 센서를 이용해 작물의 생육 정보를 추출하여 농업 종사자, 농업 연구소, 농업 정책 관련자 등에게 서비스할 수 있다.
또한, 본 발명의 실시 예들은 영상을 이용하여 주기적으로 생육 정보를 추출함으로써 단순하고 반복적인 작업을 자동으로 수행할 수 있다.
또한, 본 발명의 실시 예들은 사용자의 주관을 배제한 객관적인 정보를 수집할 수 있다.
또한, 본 발명의 실시 예들은 종래의 파괴적인 방법과 달리 영상을 이용한 비파괴적인 방법으로 정보를 수집할 수 있다.
또한, 본 발명의 실시 예들은 IoT 기반의 데이터 전송 방법을 통해 작물이 생육되는 여러 환경 중 시설이 아닌 일반 노지에서 데이터를 전송할 수 있다.
또한, 본 발명의 실시 예들은 센서 네트워크나 유선을 이용한 방법으로는 열악한 환경과 광활한 범위의 노지를 감당할 수 없기 때문에 LTE 기반의 M2M 모뎀을 이용하면 환경에 상관없이 추출한 데이터를 전송할 수 있다.
또한, 본 발명의 실시 예들은 위계 일치 및 정규화를 거쳐 생육 데이터를 수집하고, 장기적으로 수집된 방대한 양의 과거 데이터를 주기별 작물의 상태를 비교할 수 있고, 예측 관련 모델링을 통해 생육 정도나 생산량을 예측할 수 있으며, 이러한 정보를 이용해 비정상적인 경우에 대비하거나 농업 정책 등을 결정할 수 있다.
도 1은 본 발명의 실시 예에 따른 작물 영상 및 생육 정보의 관제 서비스 시스템의 구성도이다.
도 2는 본 발명의 실시 예에 따른 도 1의 영상 처리 장치 및 통합 관리 서버의 구성도이다.
도 3은 본 발명의 실시 예에 따른 도 2의 생육 정보 추출부의 구성도이다.
도 4는 본 발명의 실시 예에 따른 작물영상 서비스를 위한 전체 관제 페이지에 대한 설명도이다.
도 5는 본 발명의 실시 예에 따른 작물영상 서비스를 위한 상세 관제 페이지에 대한 설명도이다.
도 6은 본 발명의 실시 예에 따른 영상 처리 장치에서의 작물 영상 및 생육 정보의 관제 서비스 방법에 대한 흐름도이다.
도 7은 본 발명의 실시 예에 따른 통합 관리 서버에서의 작물 영상 및 생육 정보의 관제 서비스 방법에 대한 흐름도이다.
도 2는 본 발명의 실시 예에 따른 도 1의 영상 처리 장치 및 통합 관리 서버의 구성도이다.
도 3은 본 발명의 실시 예에 따른 도 2의 생육 정보 추출부의 구성도이다.
도 4는 본 발명의 실시 예에 따른 작물영상 서비스를 위한 전체 관제 페이지에 대한 설명도이다.
도 5는 본 발명의 실시 예에 따른 작물영상 서비스를 위한 상세 관제 페이지에 대한 설명도이다.
도 6은 본 발명의 실시 예에 따른 영상 처리 장치에서의 작물 영상 및 생육 정보의 관제 서비스 방법에 대한 흐름도이다.
도 7은 본 발명의 실시 예에 따른 통합 관리 서버에서의 작물 영상 및 생육 정보의 관제 서비스 방법에 대한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고, 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 실시 예에 따른 작물 영상 및 생육 정보의 관제 서비스 시스템의 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 실시 예에 따른 작물 영상 및 생육 정보의 관제 서비스 시스템(100)은 영상 수집 장치(110), 영상 처리 장치(120) 및 통합 관리 서버(130)를 포함한다.
본 발명의 실시 예에 따른 작물 영상 및 생육 정보의 관제 서비스 시스템(100)은 농업 IT 분야에서 영상 기반으로 작물을 주기적으로 모니터링한다. 작물 영상 및 생육 정보의 관제 서비스 시스템(100)은 영상 기반의 주기적 모니터링을 위해서는 컬러 기반의 작물 영상과 거리 영상 정보(예컨대, 깊이 정보 등)를 이용해 전처리, 분할, 보정, 정합, 학습 및 인식 등의 생육 정보를 추출하는 기능을 수행한다.
그리고 작물 영상 및 생육 정보의 관제 서비스 시스템(100)은 IoT(Internet of Thing) 기반으로 작물 영상 및 생육 정보 등과 관련된 데이터를 송수신한다. 또한, 작물 영상 및 생육 정보의 관제 서비스 시스템(100)은 이러한 작물 영상 및 생육 정보의 저장 및 색인을 가능하게 하는 작물 영상 데이터베이스(DB: Database)(131)를 관리한다. 이와 같이, 통합 관리 서버(130)에 전송된 작물 영상 및 생육 정보의 데이터는 작물 영상 데이터베이스(131)를 통해 저장 및 색인이 가능하도록 서비스된다. 또한, 수집된 작물 영상 및 생육 정보 등과 관련된 데이터는 생육 모델링 및 생산량 예측 등에 객관적인 연구 자료로 이용될 수 있다.
여기서, 관측지에 설치된 각 스테이션의 IoT 기기인 영상 처리 장치(120)로부터 수집된 생육 정보는 M2M 모뎀을 이용해 통합 관리 서버(130)로 전송된다.
이하, 도 1의 작물 영상 및 생육 정보의 관제 서비스 시스템(100)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.
영상 수집 장치(110)는 영상 센서(111) 및 거리 영상 센서(112)를 구비한다. 영상 수집 장치(110)는 구비된 영상 센서(111) 및 거리 영상 센서(112)를 이용하여 작물 영상 및 거리 영상 정보를 획득한다. 여기서, 작물 영상은 컬러 기반의 작물 영상이다.
그리고 영상 처리 장치(120)는 영상 수집 장치(110)로부터 작물 영상 및 거리 영상 정보를 수집하고, 그 수집된 작물 영상 및 거리 영상 정보를 이용해 대상 작물을 인식한다. 그리고 영상 처리 장치(120)는 그 인식된 대상 작물의 생육 정보를 추출한다.
여기서, 영상 처리 장치(120)는 컬러 기반의 작물 영상에서 각 화상 강도를 이용해 작물의 영역을 분할할 수 있다. 또한, 영상 처리 장치(120)는 거리 영상 정보에서 깊이 정보를 이용하여 모니터링 대상인 대상 작물만을 분할할 수 있다. 이를 위해서, 영상 처리 장치(120)는 컬러 기반의 작물 영상과 거리 영상 정보의 카메라 왜곡 및 위치를 계산하여 보정 및 정합할 수 있다. 그리고 영상 처리 장치(120)는 기설정된 기계학습을 통해 작물 인식을 위한 모델을 생성하여 세부 생육 정보를 추출할 수 있다. 일례로, 영상 처리 장치(120)는 추출된 생육 정보를 IoT 기술인 LTE 기반의 M2M 모뎀을 이용하여 작물이 위치한 관측지의 시설과 노지에 상관없이 통합 관리 서버(130)로 전송할 수 있다.
이후, 통합 관리 서버(130)는 영상 처리 장치(120)로부터 수신된 작물 영상 및 생육 정보를 저장한다. 통합 관리 서버(130)는 대상 작물에 대응하는 작물 영상 및 생육 정보를 검색하여 사용자 단말에 제공한다. 여기서, 통합 관리 서버(130)로 전송된 작물 영상 및 생육 정보는 작물 영상 데이터베이스(131)에 저장되어 통합 관리 서버(130)에 의해 관리된다. 이후, 통합 관리 서버(130)는 이러한 작물 영상 및 생육 정보를 원하는 모든 사용자에게 작물 영상을 서비스할 수 있다.
작물 영상 서비스에는 기본적으로 작물 영상의 검색 및 색인을 통해 사용자(농민)가 작물을 체계적으로 관리하게 도와줄 수 있다. 또한, 통합 관리 서버(130)는 수집된 자료들(예컨대, 작물 영상, 생육 정보 등)의 분석 및 생육 모델링을 통해 생육 정도나 생산량 등을 예측할 수 있다.
한편, 본 발명의 일 실시 예로서, LTE M2M 모뎀 기반의 작물 영상 및 생육 정보의 관제 서비스 시스템(100)이 구조물(10)에 부착된 일 실시 예를 살펴보기로 한다.
도 1에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 작물 영상 및 생육 정보의 관제 서비스 시스템(100)은 각 관측 지점의 영상 수집 장치(110), 영상 처리 장치(120) 및 관리 센터 내의 통합 관리 서버(130)를 포함한다.
영상 수집 장치(110)는 내부에 컬러 영상 센서(111)와 거리 영상 센서(112)를 포함한다. 영상 수집 장치(110)는 눈, 비, 직사광선 등 노지 환경에 맞도록 하우징되어 구조물(10)에 부착된다.
여기서, 영상 처리 장치(120)는 작물영상 처리 단말, LTE 기반 M2M 모뎀을 포함할 수 있다.
영상 처리 장치(120)의 작물영상 처리 단말은 컬러 기반의 영상 센서(111) 및 거리 영상 센서(112)와 케이블로 연결되어 영상 정보를 처리한다.
LTE M2M 모뎀은 작물영상 처리 단말과 처리된 영상 정보 및 센서 제어명령을 LTE 기반으로 송수신한다. LTE M2M 모뎀은 노지 환경에 맞도록 하우징되어 구조물(10)에 부착된다.
한편, 통합 관제실의 통합 관리 서버(130)는 인터넷을 통해 LTE M2M 모뎀으로부터 작물 영상을 수신하거나, 센서 제어명령을 송신한다. 그리고
여기서, 통합 관리 서버(130)는 영상 관제 서버와 작물 영상 데이터베이스(131)를 포함할 수 있다.
영상 관제 서버는 클라이언트(140) 측의 사용자 단말의 요구에 따라 작물 영상 정보를 서비스한다. 또한, 영상 관제 서버는 수신된 작물 영상을 작물 영상 데이터베이스(131)에 저장한다.
클라이언트(140)는 각 농가의 사용자가 사용자 단말(예컨대, PC 또는 모바일 기기)을 이용하여 영상 관제 서버에 접속한 후 실시간 또는 작물 영상 데이터베이스(131)에 미리 저장된 작물 영상 정보를 열람할 수 있다.
도 2는 본 발명의 실시 예에 따른 도 1의 영상 처리 장치 및 통합 관리 서버의 구성도이다.
도 2에 도시된 바와 같이, 본 발명의 실시 예에 따른 영상 처리 장치(120)는 작물 영상 수집부(121), 제어명령 수신부(122), 센서 제어부(123), 생육 정보 추출부(124) 및 정보 송신부(125)를 포함한다.
이하, 도 1의 작물 영상 및 생육 정보의 관제 서비스 시스템(100)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.
작물 영상 수집부(121)는 영상 수집 장치(110)로부터 작물 영상 및 거리 영상 정보를 수집한다. 작물 영상 수집부(121)는 영상 수집 장치(110)의 각 영상 센서(111)로부터 영상을 수집할 수 있다. 여기서, 작물 영상 수집부(121)는 영상 센서(111)와 거리 영상 센서(112)로부터 영상 정보를 수신받아 디지털 영상으로 변환할 수 있다. 이후, 작물 영상 수집부(121)는 내부에 구비된 메모리에 변환된 디지털 영상을 임시로 저장할 수 있다.
한편, 제어명령 수신부(122)는 통합 관리 서버(130)로부터 센서 제어명령을 수신한다. 여기서, 제어명령 수신부(122)는 영상 센서(111)의 팬(Pan), 틸트(Tilt), 줌(Zoom) 중에서 적어도 하나의 PTZ(Pan, Tilt, Zoom) 제어명령을 수신할 수 있다.
센서 제어부(123)는 제어명령 수신부(122)에서 수신된 제어명령을 이용해 영상 수집 장치(110)의 영상 센서(111)를 제어할 수 있다. 즉, 센서 제어부(123)는 제어명령 수신부(122)에서 수신된 팬(Pan), 틸트(Tilt) 및 줌(Zoom)에 대한 센서 제어명령 중 적어도 하나의 센서 제어명령을 이용해 영상 센서(111)를 제어할 수 있다.
이와 같이, 제어명령 수신부(122)는 통합 관리 서버(130)로부터 센서의 제어명령을 수신하며, 센서 제어부(123)가 그 수신된 명령을 판독하여 영상 센서(111)의 팬(Pan), 틸트(Tilt), 줌(Zoom)을 제어할 수 있다.
한편, 생육 정보 추출부(124)는 작물 영상 수집부(121)에서 수집된 작물 영상 및 거리 영상 정보를 이용해 대상 작물을 인식하고 그 인식된 대상 작물의 생육 정보를 추출한다. 즉, 생육 정보 추출부(124)는 작물 영상 및 거리 영상 정보를 이용해 생육 정보를 추출할 수 있다.
이후, 정보 송신부(125)는 작물 영상 수집부(121)에서 수집된 작물 영상 및 생육 정보 추출부(124)에서 추출된 생육 정보를 통합 관리 서버(130)에 송신한다. 일례로, 정보 송신부(125)는 LTE M2M 모뎀을 이용하여 통합 관리 서버(130)에 수집된 영상 정보 및 추출된 생육 정보를 송신할 수 있다.
본 발명의 실시 예에 따른 통합 관리 서버(130)는 작물 영상 데이터베이스(131), 제어명령 송신부(132), 정보 수신부(133), 작물 영상 검색부(134) 및 작물 영상 서비스부(135)를 포함한다.
이하, 도 2의 통합 관리 서버(130)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.
정보 수신부(133)는 영상 처리 장치(120)로부터 작물 영상 및 생육 정보를 수신한다. 여기서, 정보 수신부(133)는 영상 처리 장치(120)로부터 작물 영상 및 생육 정보를 함께 수신하거나, 시차를 두고 나누어서 수신할 수 있다. 일례로, 정보 수신부(133)는 LTE M2M 모뎀을 통해 송신된 작물 영상과 생육 정보를 수신받을 수 있다.
작물 영상 데이터베이스(131)는 정보 수신부(133)에서 수신된 작물 영상 및 생육 정보를 저장한다.
한편, 제어명령 송신부(132)는 사용자 단말로부터 입력된 센서 제어명령을 영상 처리 장치(120)에 송신한다. 일례로, 제어명령 송신부(132)는 사용자 단말로부터 입력된 영상 센서(111)의 PTZ 정보를 LTE M2M 모뎀으로 송신할 수 있다.
이후, 정보 수신부(133)가 영상 처리 장치(120)로부터 작물 영상 및 생육 정보를 수신하면, 작물 영상 검색부(134)는 사용자 단말로부터 요청된 작물에 대응하는 작물 영상 및 생육 정보를 데이터베이스로부터 검색하여 출력한다. 이때, 작물 영상 검색부(134)는 원하는 작물 영상 및 생육 정보가 작물 영상 데이터베이스(131)에 저장되면, 사용자로부터 요구된 작물 영상 및 생육 정보를 검색할 수 있다.
작물 영상 서비스부(135)는 작물 영상 검색부(134)에서 검색된 작물 영상에 대한 작물 영상 및 생육 정보를 사용자 단말에 제공한다. 이때, 작물 영상 서비스부(135)는 실시간 작물 영상 또는 작물 영상 데이터베이스(131)에 미리 저장된 영상을 제공할 수 있다.
이를 위해, 작물 영상 서비스부(135)는 사용자 단말에 통합 관리 서버(130)의 작물 영상 인터페이스를 제공하며, 사용자가 원하는 각종 정보를 보여줄 수 있다.
도 3은 본 발명의 실시 예에 따른 도 2의 생육 정보 추출부의 구성도이다.
도 3을 참조하면 본 발명의 실시 예에 따른 생육 정보 추출부(124)는 작물 영상 전처리부(310), 작물 영상 분할부(320), 영상 보정 및 정합부(330), 영상 학습 및 인식부(340) 및 정보 추출부를 포함할 수 있다.
이하, 도 2의 생육 정보 추출부(124)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.
작물 영상 전처리부(310)는 작물 영상 수집부(121)에서 수집된 작물 영상에 대해 영상 전처리를 수행한다. 작물 영상 전처리부(310)는 상기 수집된 작물 영상에 대해 잡음 제거, 기설정된 색상 영역의 강화, 동일 영역 내 화상 강도 차이의 완화 및 간선 강화 중 적어도 하나의 영상 전처리를 수행할 수 있다.
그리고 작물 영상 분할부(320)는 전처리된 작물 영상에서 각 화상 강도를 이용해 작물의 영역을 분할하고, 상기 작물 영상의 거리 영상 정보에서 깊이 정보를 이용하여 대상 작물을 분할한다.
여기서, 작물 영상 분할부(320)는 작물 영상 전처리부(310)에서 전처리된 작물 영상에 대해 RGB 각 색상 채널의 비율 차이를 이용해 기설정된 색상 영역(예컨대, 작물의 색상인 녹색 영역)을 분할할 수 있다. 작물 영상 전처리부(310)는 대상 거리를 마스크로 하여 관심 깊이 내의 객체 즉, 대상 작물을 분할할 수 있다.
그리고 영상 보정 및 정합부(330)는 분할된 작물 영상과 거리 영상 정보의 왜곡 및 위치를 계산하여 보정 및 정합한다. 영상 보정 및 정합부(330)는 분할된 컬러 기반의 영상 정보와 거리 영상 정보의 정합에 필요한 요소를 계산하여 왜곡 등을 보정할 수 있다. 이후, 영상 보정 및 정합부(330)는 작물 영상과 거리 영상 정보를 정합하여 모니터링 대상 작물을 탐지할 수 있다. 컬러 기반의 영상 정보와 거리 영상 정보의 카메라 왜곡 및 위치를 계산할 수 있다. 또한, 영상 보정 및 정합부(330)는 학습을 통해 인식을 위한 모델을 생성하여 세부 생육 정보를 추출할 수 있다.
영상 학습 및 인식부(340)는 영상 보정 및 정합부(330)에서 분할된 대상 작물을 기설정된 기계학습을 이용하여 학습 및 인식을 통해 각 대상 작물의 인식자를 할당한다. 영상 학습 및 인식부(340)는 탐지된 대상 객체 즉, 작물을 기계학습을 이용하여 학습 및 인식을 통해 각 대상 작물의 인식자를 부여할 수 있다.
정보 추출부(350)는 영상 학습 및 인식부(340)에서 할당된 작물의 인식자를 이용해 각 대상 작물의 생육 정보를 추출할 수 있다. 여기서, 정보 추출부(350)는 각 대상 작물의 높이, 너비, 녹색지수 및 캐노피 중 적어도 하나의 생육 정보를 추출할 수 있다. 이때, 정보 추출부(350)는 각 대상 작물의 생육 정보를 주기적으로 추출하여 수치화할 수 있다.
한편, 작물 영상 및 생육 정보의 관제 서비스 방법의 그래픽 유저 인터페이스(GUI: Graphic User Interface)는 하기의 도 4 및 도 5와 같이 전체 관제 페이지와 세부 관제 페이지로 이루어질 수 있다.
도 4는 본 발명의 실시 예에 따른 작물영상 서비스를 위한 전체 관제 페이지에 대한 설명도이다.
도 4에 도시된 바와 같이, 작물 영상 서비스부(135)는 선택된 관측지에 대해서 센서 제어명령을 입력하여 영상 센서(111)를 제어하기 위한 영상센서 제어탭(411)과, 각 관측지의 작물 영상을 출력하는 관제 모니터탭(412)으로 이루어진 전체 관제 페이지(410)를 통해 상기 사용자 단말에 작물 영상을 서비스한다.
전체 관제 페이지(410)는 도 4와 같이, 영상 센서 제어탭(411)과 전체 관제 모니터탭(412)으로 이루어질 수 있다. 영상 센서 제어탭(411)은 전체 관제 모니터탭(412)에서 선택된 관측지에 대해 상, 하, 좌, 우, 줌 인, 줌 아웃 등의 센서 제어를 선택할 수 있다. 전체관제 모니터탭(412)은 등록된 모든 관측지의 영상 정보를 실시간으로 볼 수 있다.
이때, 사용자가 각 관측지를 더블 클릭하면, 작물 영상 서비스부(135)는 전체 관측 페이지(410)를 해당 관측지의 도 5에 도시된 상세 관제 페이지(510)로 이동시켜 사용자에게 서비스할 수 있다.
도 5는 본 발명의 실시 예에 따른 작물영상 서비스를 위한 상세 관제 페이지에 대한 설명도이다.
도 5에 도시된 바와 같이, 작물 영상 서비스부(135)는 사용자에 의해 선택된 관측지에 대해서 센서 제어명령을 입력하여 영상 센서(111)를 제어하기 위한 영상센서 제어탭(411)과, 조회일자별 관측지의 작물 영상, 조회일자별 생육 정보, 기설정된 기간의 생육 정보의 변화량 중 적어도 하나를 출력하는 상세 관제 모니터탭(511)으로 이루어진 상세 관제 페이지(510)를 통해 사용자 단말에 작물 영상을 서비스한다.
상세 관제 페이지(510)는 도 5와 같이, 영상 센서 제어탭(411), 상세 관제 모니터탭(511), 생육 정보탭(512)으로 이루어질 수 있다.
여기서, 영상 센서 제어탭(411)은 전체 관제 페이지(410)와 같은 기능에 과거 영상을 조회하기 위한 조회 일자의 선택 기능이 추가될 수 있다. 사용자는 각 연, 월, 일에 대해 콤보 박스를 선택한 후 해당 일자를 선택할 수 있다.
사용자는 상세 관제 모니터탭(511)을 통해 해당 관측 지점의 실시간 영상과 함께 조회 일자의 과거 영상을 검색하여 볼 수 있다. 이때, 특정 기간의 생육 정보 변화량이 그래프로 표시될 수 있다.
사용자는 생육 정보탭(512)을 통해 현재 수집된 생육 정보와 조회 일자의 과거 생육정보를 검색하여 볼 수 있다.
도 6은 본 발명의 실시 예에 따른 영상 처리 장치에서의 작물 영상 및 생육 정보의 관제 서비스 방법에 대한 흐름도이다.
영상 처리 장치(120)는 영상 수집 장치(110)로부터 작물 영상 및 거리 영상 정보를 수집한다(S601).
그리고 영상 처리 장치(120)는 통합 관리 서버(130)로부터 센서 제어명령을 수신한다(S602).
이어서, 영상 처리 장치(120)는 수신된 제어명령을 이용해 영상 센서(111)를 제어한다(S603).
그리고 영상 처리 장치(120)는 수집된 작물 영상에 대해 영상 전처리를 수행한다(S604).
이후, 영상 처리 장치(120)는 상기 전처리된 작물 영상에서 각 화상 강도를 이용해 작물의 영역을 분할하고, 상기 작물 영상의 거리 영상 정보에서 깊이 정보를 이용하여 대상 작물을 분할한다(S605).
그리고 영상 처리 장치(120)는 분할된 작물 영상과 거리 영상 정보의 왜곡 및 위치를 계산하여 보정 및 정합한다(S606).
이어서, 영상 처리 장치(120)는 분할된 대상 작물을 기설정된 기계학습을 이용하여 학습 및 인식을 통해 각 대상 작물의 인식자를 할당한다(S607).
그리고 영상 처리 장치(120)는 할당된 작물의 인식자를 이용해 각 대상 작물의 생육 정보를 추출한다(S608).
이후, 영상 처리 장치(120)는 수집된 작물 영상 및 상기 추출된 생육 정보를 상기 통합 관리 서버(130)에 송신한다(S609).
도 7은 본 발명의 실시 예에 따른 통합 관리 서버에서의 작물 영상 및 생육 정보의 관제 서비스 방법에 대한 흐름도이다.
통합 관리 서버(130)는 수신된 작물 영상 및 생육 정보를 저장한다(S701).
그리고 통합 관리 서버(130)는 사용자 단말로부터 입력된 센서 제어명령을 영상 처리 장치(120)에 송신한다(S702).
이후, 통합 관리 서버(130)는 영상 처리 장치(120)로부터 작물 영상 및 생육 정보를 수신한다(S703).
그리고 통합 관리 서버(130)는 사용자 단말로부터 요청된 작물에 대응하는 작물 영상 및 생육 정보를 데이터베이스로부터 검색한다(S704).
이어서, 통합 관리 서버(130)는 상기 검색된 작물 영상에 대한 작물 영상 및 생육 정보를 사용자 단말에 제공한다(S705).
이상, 본 발명의 바람직한 실시예를 통하여 본 발명의 구성을 상세히 설명하였으나, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 명세서에 개시된 내용과는 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 작물 영상 및 생육 정보의 관제 서비스 시스템
10: 구조물 110: 영상 수집 장치
111: 영상 센서 112: 거리 영상 센서
120: 영상 처리 장치 121: 작물 영상 수집부
122: 제어명령 수신부 123: 센서 제어부
124: 생육 정보 추출부 125: 정보 송신부
130: 통합 관리 서버 131: 작물 영상 데이터베이스(DB)
132: 제어명령 송신부 133: 정보 수신부
134: 작물 영상 검색부 135: 작물 영상 서비스부
140: 클라이언트 310: 작물 영상 전처리부
320: 작물 영상 분할부 330: 영상 보정 및 정합부
340: 영상 학습 및 인식부 350: 정보 추출부
10: 구조물 110: 영상 수집 장치
111: 영상 센서 112: 거리 영상 센서
120: 영상 처리 장치 121: 작물 영상 수집부
122: 제어명령 수신부 123: 센서 제어부
124: 생육 정보 추출부 125: 정보 송신부
130: 통합 관리 서버 131: 작물 영상 데이터베이스(DB)
132: 제어명령 송신부 133: 정보 수신부
134: 작물 영상 검색부 135: 작물 영상 서비스부
140: 클라이언트 310: 작물 영상 전처리부
320: 작물 영상 분할부 330: 영상 보정 및 정합부
340: 영상 학습 및 인식부 350: 정보 추출부
Claims (20)
- 영상 센서 및 거리 영상 센서를 구비하여 작물 영상 및 거리 영상 정보를 획득하는 영상 수집 장치;
상기 영상 수집 장치로부터 작물 영상 및 거리 영상 정보를 수집하고, 상기 수집된 작물 영상 및 거리 영상 정보를 이용해 대상 작물을 인식하고 상기 인식된 대상 작물의 생육 정보를 추출하는 영상 처리 장치; 및
상기 영상 처리 장치로부터 수신된 작물 영상 및 상기 추출된 생육 정보를 저장하고, 상기 저장된 작물 영상 및 생육 정보 중에서 대상 작물에 대응하는 작물 영상 및 생육 정보를 검색하여 사용자 단말에 제공하는 통합 관리 서버
를 포함하는 작물 영상 및 생육 정보의 관제 서비스 시스템.
- 제1항에 있어서, 상기 영상 처리 장치는
상기 영상 수집 장치로부터 작물 영상 및 거리 영상 정보를 수집하는 작물 영상 수집부;
상기 통합 관리 서버로부터 센서 제어명령을 수신하는 제어명령 수신부;
상기 수신된 제어명령을 이용해 상기 영상 센서를 제어하는 센서 제어부;
상기 수집된 작물 영상 및 거리 영상 정보를 이용해 대상 작물을 인식하고 상기 인식된 대상 작물의 생육 정보를 추출하는 생육 정보 추출부; 및
상기 수집된 작물 영상 및 상기 추출된 생육 정보를 상기 통합 관리 서버에 송신하는 정보 송신부
를 포함하는 것인 작물 영상 및 생육 정보의 관제 서비스 시스템.
- 제2항에 있어서, 상기 센서 제어부는
상기 수신된 팬(Pan), 틸트(Tilt) 및 줌(Zoom)에 대한 센서 제어명령 중 적어도 하나의 센서 제어명령을 이용해 상기 영상 센서를 제어하는 것
인 작물 영상 및 생육 정보의 관제 서비스 시스템.
- 제2항에 있어서, 상기 생육 정보 추출부는
상기 수집된 작물 영상에 대해 영상 전처리를 수행하는 작물 영상 전처리부;
상기 전처리된 작물 영상에서 각 화상 강도를 이용해 작물의 영역을 분할하고, 상기 작물 영상의 거리 영상 정보에서 깊이 정보를 이용하여 대상 작물을 분할하는 작물 영상 분할부;
상기 분할된 작물 영상과 거리 영상 정보의 왜곡 및 위치를 계산하여 보정 및 정합하는 영상 보정 및 정합부;
상기 분할된 작물 영상을 기설정된 기계학습을 이용하여 학습 및 인식을 통해 각 대상 작물의 인식자를 할당하는 영상 학습 및 인식부; 및
상기 할당된 작물의 인식자를 이용해 각 대상 작물의 생육 정보를 추출하는 생육 정보 추출부
를 포함하는 것인 작물 영상 및 생육 정보의 관제 서비스 시스템.
- 제4항에 있어서, 상기 작물 영상 전처리부는
상기 수집된 작물 영상에 대해 잡음 제거, 기설정된 색상 영역의 강화, 동일 영역 내 화상 강도 차이의 완화 및 간선 강화 중 적어도 하나의 영상 전처리를 수행하는 것
인 작물 영상 및 생육 정보의 관제 서비스 시스템.
- 제4항에 있어서, 상기 작물 영상 분할부는
상기 전처리된 작물 영상에 대해 각 색상 채널의 비율 차이를 이용해 기설정된 색상 영역을 분할하고, 대상 거리를 마스크로 하여 관심 깊이 내의 객체를 분할하는 것
인 작물 영상 및 생육 정보의 관제 서비스 시스템.
- 제4항에 있어서, 상기 생육 정보 추출부는
각 대상 작물의 높이, 너비, 녹색지수 및 캐노피 중 적어도 하나의 생육 정보를 추출하는 것
인 작물 영상 및 생육 정보의 관제 서비스 시스템.
- 제1항에 있어서, 상기 통합 관리 서버는
상기 수신된 작물 영상 및 생육 정보를 저장하는 작물 영상 데이터베이스;
상기 사용자 단말로부터 입력된 센서 제어명령을 상기 영상 처리 장치에 송신하는 제어명령 송신부;
상기 영상 처리 장치로부터 작물 영상 및 생육 정보를 수신하는 정보 수신부;
상기 사용자 단말로부터 요청된 작물에 대응하는 작물 영상 및 생육 정보를 상기 작물 영상 데이터베이스로부터 검색하는 작물 영상 검색부; 및
상기 검색된 작물 영상에 대한 작물 영상 및 생육 정보를 사용자 단말에 제공하는 작물 영상 서비스부
를 포함하는 것인 작물 영상 및 생육 정보의 관제 서비스 시스템.
- 제8항에 있어서, 상기 작물 영상 서비스부는
선택된 관측지에 대해서 센서 제어명령을 입력하여 상기 영상 센서를 제어하기 위한 영상센서 제어탭과, 각 관측지의 작물 영상을 출력하는 관제 모니터탭으로 이루어진 전체 관제 페이지를 통해 상기 사용자 단말에 작물 영상을 서비스하는 것
인 작물 영상 및 생육 정보의 관제 서비스 시스템.
- 제8항에 있어서, 상기 작물 영상 서비스부는
선택된 관측지에 대해서 센서 제어명령을 입력하여 상기 영상 센서를 제어하기 위한 영상센서 제어탭과, 조회일자별 관측지의 작물 영상, 조회일자별 생육 정보, 기설정된 기간의 생육 정보의 변화량 중 적어도 하나를 출력하는 상세 관제 모니터탭으로 이루어진 상세 관제 페이지를 통해 상기 사용자 단말에 작물 영상을 서비스하는 것
인 작물 영상 및 생육 정보의 관제 서비스 시스템.
- 영상 수집 장치가 영상 센서 및 거리 영상 센서를 통해 작물 영상 및 거리 영상 정보를 획득하는 영상 획득 단계;
상기 영상 처리 장치가 상기 영상 수집 장치로부터 작물 영상 및 거리 영상 정보를 수집하고, 상기 수집된 작물 영상 및 거리 영상 정보를 이용해 대상 작물을 인식하고 상기 인식된 대상 작물의 생육 정보를 추출하는 영상 처리 단계; 및
통합 관리 서버가 상기 영상 처리 장치로부터 수신된 작물 영상 및 생육 정보를 저장하고, 대상 작물에 대응하는 작물 영상 및 생육 정보를 검색하여 사용자 단말에 제공하는 통합 관리 단계
를 포함하는 작물 영상 및 생육 정보의 관제 서비스 방법.
- 제11항에 있어서, 상기 영상 처리 단계는
상기 작물 영상 및 거리 영상 정보를 수집하는 단계;
상기 통합 관리 서버로부터 센서 제어명령을 수신하는 단계;
상기 수신된 제어명령을 이용해 상기 영상 센서를 제어하는 단계;
상기 수집된 작물 영상 및 거리 영상 정보를 이용해 대상 작물을 인식하고 상기 인식된 대상 작물의 생육 정보를 추출하는 단계; 및
상기 수집된 작물 영상 및 상기 추출된 생육 정보를 상기 통합 관리 서버에 송신하는 단계
를 포함하는 것인 작물 영상 및 생육 정보의 관제 서비스 방법.
- 제12항에 있어서, 상기 영상 센서를 제어하는 단계는
상기 수신된 팬(Pan), 틸트(Tilt) 및 줌(Zoom)에 대한 센서 제어명령 중 적어도 하나의 센서 제어명령을 이용해 상기 영상 센서를 제어하는 것
인 작물 영상 및 생육 정보의 관제 서비스 방법.
- 제12항에 있어서, 상기 생육 정보를 추출하는 단계는
상기 수집된 작물 영상에 대해 영상 전처리를 수행하는 단계;
상기 전처리된 작물 영상에서 각 화상 강도를 이용해 작물의 영역을 분할하고, 상기 작물 영상의 거리 영상 정보에서 깊이 정보를 이용하여 대상 작물을 분할하는 단계;
상기 분할된 작물 영상과 거리 영상 정보의 왜곡 및 위치를 계산하여 보정 및 정합하는 단계;
상기 분할된 대상 작물을 기설정된 기계학습을 이용하여 학습 및 인식을 통해 각 대상 작물의 인식자를 할당하는 단계; 및
상기 할당된 작물의 인식자를 이용해 각 대상 작물의 생육 정보를 추출하는 단계
를 포함하는 것인 작물 영상 및 생육 정보의 관제 서비스 방법.
- 제14항에 있어서, 상기 영상 전처리를 수행하는 단계는
상기 수집된 작물 영상에 대해 잡음 제거, 기설정된 색상 영역의 강화, 동일 영역 내 화상 강도 차이의 완화 및 간선 강화 중 적어도 하나의 영상 전처리를 수행하는 것
인 작물 영상 및 생육 정보의 관제 서비스 방법.
- 제14항에 있어서, 상기 분할하는 단계는
상기 전처리된 작물 영상에 대해 각 색상 채널의 비율 차이를 이용해 기설정된 색상 영역을 분할하고, 대상 거리를 마스크로 하여 관심 깊이 내의 객체를 분할하는 것
인 작물 영상 및 생육 정보의 관제 서비스 방법.
- 제14항에 있어서, 상기 생육 정보를 추출하는 단계는
각 대상 작물의 높이, 너비, 녹색지수 및 캐노피 중 적어도 하나의 생육 정보를 추출하는 것
인 작물 영상 및 생육 정보의 관제 서비스 방법.
- 제11항에 있어서, 상기 통합 관리 단계는
상기 수신된 작물 영상 및 생육 정보를 작물 영상 데이터베이스에 저장하는 단계;
상기 사용자 단말로부터 입력된 센서 제어명령을 상기 영상 처리 장치에 송신하는 단계;
상기 영상 처리 장치로부터 작물 영상 및 생육 정보를 수신하는 단계;
사용자 단말로부터 요청된 작물에 대응하는 작물 영상 및 생육 정보를 상기 작물 영상 데이터베이스로부터 검색하는 단계; 및
상기 검색된 작물 영상에 대한 작물 영상 및 생육 정보를 사용자 단말에 제공하는 단계
를 포함하는 것인 작물 영상 및 생육 정보의 관제 서비스 방법.
- 제18항에 있어서, 상기 사용자 단말에 제공하는 단계는
선택된 관측지에 대해서 센서 제어명령을 입력하여 상기 영상 센서를 제어하기 위한 영상센서 제어탭과, 각 관측지의 작물 영상을 출력하는 관제 모니터탭으로 이루어진 전체 관제 페이지를 통해 상기 사용자 단말에 작물 영상을 서비스하는 것
인 작물 영상 및 생육 정보의 관제 서비스 방법.
- 제18항에 있어서, 상기 사용자 단말에 제공하는 단계는
선택된 관측지에 대해서 센서 제어명령을 입력하여 상기 영상 센서를 제어하기 위한 영상센서 제어탭과, 조회일자별 관측지의 작물 영상, 조회일자별 생육 정보, 기설정된 기간의 생육 정보의 변화량 중 적어도 하나를 출력하는 상세 관제 모니터탭으로 이루어진 상세 관제 페이지를 통해 상기 사용자 단말에 작물 영상을 서비스하는 것
인 작물 영상 및 생육 정보의 관제 서비스 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160040173A KR20170114065A (ko) | 2016-04-01 | 2016-04-01 | 작물 영상 및 생육 정보의 관제 서비스 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160040173A KR20170114065A (ko) | 2016-04-01 | 2016-04-01 | 작물 영상 및 생육 정보의 관제 서비스 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20170114065A true KR20170114065A (ko) | 2017-10-13 |
Family
ID=60139839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160040173A KR20170114065A (ko) | 2016-04-01 | 2016-04-01 | 작물 영상 및 생육 정보의 관제 서비스 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20170114065A (ko) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112418473A (zh) * | 2019-08-20 | 2021-02-26 | 阿里巴巴集团控股有限公司 | 农作物信息的处理方法、装置、设备及计算机存储介质 |
| KR20220109990A (ko) * | 2021-01-29 | 2022-08-05 | 라온피플 주식회사 | 촬영장치 및 촬영방법 |
| KR20230064030A (ko) * | 2021-11-02 | 2023-05-10 | 아이티컨버젼스 주식회사 | 노지 작물 재배를 위한 기상환경 및 작물 생육 분석 시스템 |
| KR20230104521A (ko) * | 2021-12-30 | 2023-07-10 | 한양대학교 산학협력단 | 식물 피노믹스 기반의 식물 상태 예측 방법 및 분석장치 |
| KR20240017696A (ko) | 2022-08-01 | 2024-02-08 | 한국전자기술연구원 | 작물 생장 관리를 위한 시계열 추적 데이터 생성 방법 및 시스템 |
| WO2024043363A1 (ko) * | 2022-08-25 | 2024-02-29 | 한국전자기술연구원 | 영상 분할 기법을 이용한 작물의 표준 색상 정보 제공 장치 및 방법 |
| KR20240083254A (ko) | 2022-12-02 | 2024-06-12 | 대한민국(농촌진흥청장) | 3d 뎁스 카메라를 이용한 옥수수 생육 자동 측정 방법 |
-
2016
- 2016-04-01 KR KR1020160040173A patent/KR20170114065A/ko unknown
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112418473A (zh) * | 2019-08-20 | 2021-02-26 | 阿里巴巴集团控股有限公司 | 农作物信息的处理方法、装置、设备及计算机存储介质 |
| KR20220109990A (ko) * | 2021-01-29 | 2022-08-05 | 라온피플 주식회사 | 촬영장치 및 촬영방법 |
| KR20230064030A (ko) * | 2021-11-02 | 2023-05-10 | 아이티컨버젼스 주식회사 | 노지 작물 재배를 위한 기상환경 및 작물 생육 분석 시스템 |
| KR20230104521A (ko) * | 2021-12-30 | 2023-07-10 | 한양대학교 산학협력단 | 식물 피노믹스 기반의 식물 상태 예측 방법 및 분석장치 |
| KR20240017696A (ko) | 2022-08-01 | 2024-02-08 | 한국전자기술연구원 | 작물 생장 관리를 위한 시계열 추적 데이터 생성 방법 및 시스템 |
| WO2024043363A1 (ko) * | 2022-08-25 | 2024-02-29 | 한국전자기술연구원 | 영상 분할 기법을 이용한 작물의 표준 색상 정보 제공 장치 및 방법 |
| KR20240083254A (ko) | 2022-12-02 | 2024-06-12 | 대한민국(농촌진흥청장) | 3d 뎁스 카메라를 이용한 옥수수 생육 자동 측정 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20170114065A (ko) | 작물 영상 및 생육 정보의 관제 서비스 시스템 및 방법 | |
| CN101980249A (zh) | 作物发育及长势自动观测方法及装置 | |
| CN110728332A (zh) | 一种基于物联网的农业数据分析方法及系统 | |
| CN114331753B (zh) | 农事智能化的方法、装置及控制设备 | |
| CN104732494A (zh) | 一种基于图像去雾的组培监控方法及系统 | |
| CN106971167A (zh) | 基于无人机平台的作物生长分析方法及其分析系统 | |
| CN107908689A (zh) | 一种烟叶生长环境数据采集装置及其方法 | |
| CN102759528A (zh) | 一种农作物叶部病害检测方法 | |
| CN106447814A (zh) | 一种机器人实现自动考勤的方法 | |
| CN205986949U (zh) | 一种基于数据分析的农业指导系统 | |
| CN210570820U (zh) | 一种农业检测预警系统 | |
| CN104732564A (zh) | 一种玉米叶面积无损动态监测装置与方法 | |
| KR20210074509A (ko) | 클라우드 기반 실시간 온실 환경 의사결정지원 서버 및 이를 이용한 실시간 온실 환경 의사결정지원 시스템 | |
| CN115328063B (zh) | 基于人工智能的设备优化系统及方法 | |
| CN113342036A (zh) | 一种农作物的精准管控系统及其管控方法 | |
| CN102905110A (zh) | 用于远程多区域图像监控的系统和方法 | |
| KR20180086832A (ko) | 영상기반 작물 생육데이터 측정 모바일 앱 및 그 디바이스 | |
| CN111047458A (zh) | 一种农田监控方法 | |
| CN101536899A (zh) | 人体生物信息采集系统 | |
| CN112417193B (zh) | 野外虫草搜寻辨识方法及系统 | |
| CN111855653A (zh) | 一种植物干旱监测方法、监测模块和监测装置 | |
| CN104316111B (zh) | 一种基于小气候监测系统监测天然牧草的方法 | |
| CN111598874B (zh) | 一种基于智能移动端的红树林郁闭度调查方法 | |
| CN108153903B (zh) | 一种测绘作业实时采集系统 | |
| CN114567860A (zh) | 一种基于北斗报文通讯的菇棚智能监测控制方法和系统 |