KR20190015656A - Ｉｏｔ 기반 과수 모니터링 시스템 및 방법 - Google Patents
Ｉｏｔ 기반 과수 모니터링 시스템 및 방법 Download PDFInfo
- Publication number
- KR20190015656A KR20190015656A KR1020170098604A KR20170098604A KR20190015656A KR 20190015656 A KR20190015656 A KR 20190015656A KR 1020170098604 A KR1020170098604 A KR 1020170098604A KR 20170098604 A KR20170098604 A KR 20170098604A KR 20190015656 A KR20190015656 A KR 20190015656A
- Authority
- KR
- South Korea
- Prior art keywords
- unit
- image
- fruit
- camera
- monitored
- Prior art date
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012544 monitoring process Methods 0.000 title claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 44
- 238000004891 communication Methods 0.000 claims abstract description 15
- 238000013528 artificial neural network Methods 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 19
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 11
- 230000033001 locomotion Effects 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims 1
- 238000003306 harvesting Methods 0.000 abstract description 10
- 230000006870 function Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 8
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 6
- 240000003768 Solanum lycopersicum Species 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 241000146226 Physalis ixocarpa Species 0.000 description 4
- 230000032683 aging Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 125000000391 vinyl group Chemical group [H]C([*])=C([H])[H] 0.000 description 3
- 229920002554 vinyl polymer Polymers 0.000 description 3
- 206010019345 Heat stroke Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 235000013311 vegetables Nutrition 0.000 description 2
- 241001672694 Citrus reticulata Species 0.000 description 1
- 240000009088 Fragaria x ananassa Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004345 fruit ripening Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 235000021012 strawberries Nutrition 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H04N5/2257—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Animal Husbandry (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Mining & Mineral Resources (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Marine Sciences & Fisheries (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Agronomy & Crop Science (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
본 발명은 이동형 자율 주행으로 농업자동화를 구현하고 영상 처리기술을 통해 과일의 익은 정도 판단하여 사용자가 직관적으로 바로 인지하여 과일을 수확할 수 있는 과수 모니터링 시스템 및 방법에 관한 것이다.
이를 위해, 이동형 바퀴가 구비된 본체와, 전원부 및 통신부와, 모니터링 대상 물체를 영상 촬영하는 카메라부와, 상기 모니터링 대상 물체가 위치하는 장소의 온도 및 습도를 측정하는 온/습도 센서와, 상기 카메라부에 엘리베이션 기능을 제공하는 지지부로서 리프트와, 상기 리프트 상의 이동축과 연결된 카메라부를 상승 또는 하강시키거나 구동축을 통해 연결된 상기 본체의 이동형 바퀴를 구동시키는 구동부와, 상기 온/습도 센서를 통해 수신된 데이터와 임계치를 비교하거나 상기 구동부를 제어하거나 상기 카메라를 통해 촬영된 모니터링 대상 물체의 익은 정도를 판단하는 제어부를 포함하는 IOT 기반 과수 모니터링 시스템 및 방법을 제공한다.
이를 위해, 이동형 바퀴가 구비된 본체와, 전원부 및 통신부와, 모니터링 대상 물체를 영상 촬영하는 카메라부와, 상기 모니터링 대상 물체가 위치하는 장소의 온도 및 습도를 측정하는 온/습도 센서와, 상기 카메라부에 엘리베이션 기능을 제공하는 지지부로서 리프트와, 상기 리프트 상의 이동축과 연결된 카메라부를 상승 또는 하강시키거나 구동축을 통해 연결된 상기 본체의 이동형 바퀴를 구동시키는 구동부와, 상기 온/습도 센서를 통해 수신된 데이터와 임계치를 비교하거나 상기 구동부를 제어하거나 상기 카메라를 통해 촬영된 모니터링 대상 물체의 익은 정도를 판단하는 제어부를 포함하는 IOT 기반 과수 모니터링 시스템 및 방법을 제공한다.
Description
본 발명은 과수 모니터링 시스템에 관한 것으로, 보다 상세하게는 이동형 자율 주행으로 농업자동화를 구현하고 영상 처리기술을 통해 과일의 익은 정도 판단하여 사용자가 직관적으로 바로 인지하여 과일을 수확할 수 있는 과수 모니터링 시스템 및 방법에 관한 것이다.
오늘날 농촌사회는 인구의 고령화와 초보 귀농인 유입의 증가로 전문 인력이 감소하고, 점점 높아지는 기온으로 인해 열사병 피해가 증가하는 등 많은 어려움을 겪고 있다.
현재 토마토, 딸기, 귤 등 다양한 채소나 과일 등에서 비닐하우스 재배가 이루어지고 있는데, 이러한 채소나 과일을 수확하는데 농촌 인력 부족에 따른 어려움뿐 만 아니라 전술한 바와 같이 농촌 인구의 고령화 및 하우스 재배에 따른 환경적 영향으로 어려움은 배가되고 있는 실정이다.
이에 따라 농업에 사용할 수 있는 IOT 기술 개발이 절실히 요구되고 있으며, 한국등록특허 10-1405858호에 제시된 바와 같이, 소비자가 잘 익은 과일을 영상으로 직접 선택하면서 로봇 장치를 원격 조정하여 과일을 수확할 수 있도록 하는 영상인식 과일 수확용 로봇 장치가 개발되고 있다.
그러나, 여전히 과일 수확용 로봇 장치의 제조시의 고비용 문제와 과일의 익은 정도를 판단하는데 정확도가 낮은 문제점이 있다.
본 발명은 전술한 바와 같은 문제점을 해결하기 위한 것으로, 이동형의 자율 주행으로 농업자동화를 구현할 수 있고 OpenCV를 이용한 영상 처리기술로 과일의 익은 정도 판단시에 사용자가 직관적이고 바로 인지할 수 있게 할 뿐만 아니라 다층 신경망 구조를 통해 정확도를 향상시킬 수 있는 이동형 IOT 기반 과수 모니터링 시스템 및 방법을 제공하는 것을 목적으로 한다.
이를 위해, 본 발명은 이동형 바퀴가 구비된 본체와, 전원부 및 통신부와, 모니터링 대상 물체를 영상 촬영하는 카메라부와, 상기 모니터링 대상 물체가 위치하는 장소의 온도 및 습도를 측정하는 온/습도 센서와, 상기 카메라부에 엘리베이션 기능을 제공하는 지지부로서 리프트와, 상기 리프트 상의 이동축과 연결된 카메라부를 상승 또는 하강시키거나 구동축을 통해 연결된 상기 본체의 이동형 바퀴를 구동시키는 구동부와, 상기 온/습도 센서를 통해 수신된 데이터와 임계치를 비교하거나 상기 구동부를 제어하거나 상기 카메라를 통해 촬영된 모니터링 대상 물체의 익은 정도를 판단하는 제어부를 포함하는 IOT 기반 과수 모니터링 시스템을 제공한다.
바람직하게, 상기 과수 모니터링 시스템과 네트워크로 연결된 사용자 단말기를 더 포함하고, 상기 사용자 단말기와 상기 통신부는 마스터 슬레이브 방식의 블루투스 통신을 하고, 상기 사용자 단말기는 상기 통신부를 통해 상기 제어부로 제어명령을 전송하여 원격 제어할 수 있다.
바람직하게, 상기 제어부는 상기 카메라부를 통해 촬영된 모니터링 대상 물체의 성숙도를 Open CV 를 이용한 영상처리기술을 통해 "GOOD(성숙 상태로 수확 가능한 것으로 판단) 또는 "BAD"(미성숙 상태로 수확 불가로 판단)의 2가지 상태로 표시하여 최종적으로 수확 여부를 판단하는 영상처리부를 더 포함할 수 있다.
바람직하게, 상기 제어부는 BP 신경망 처리 과정을 수행하는 BP 신경망 처리부를 더 포함할 수 있다.
본 발명의 다른 태양에 따르면, 이동형 바퀴가 구비된 본체와, 모니터링 대상 물체를 영상 촬영하는 카메라부를 구비한 시스템에서의 과수 모니터링 방법에 있어서, (a) 상기 카메라를 이동시켜 모니터링 대상 물체를 촬영하고 촬영된 대상 물체의 이미지를 수신받는 단계; 및 (b) 상기 수신된 대상 물체의 이미지에서 Open CV를 이용한 영상처리기술을 통해 "GOOD(성숙 상태로 수확 가능한 것으로 판단) 또는 "BAD"(미성숙 상태로 수확 불가로 판단)의 2가지 상태로 표시하여 최종적으로 수확 여부를 판단하는 단계를 포함할 수 있다.
바람직하게, 상기 (b) 단계에서, (b-1) 트랙바(tracbars) 창으로 HSV의 값을 조절하여, 이진화된 대상물체의 이미지를 획득하는 단계; 및 (b-2) 상기 이진화된 대상물체의 위치를 좌표로 얻어, 관심영역(ROI) 창을 출력하는 단계를 더 포함할 수 있다.
바람직하게, (b-3) 상기 관심영역을 제외한 모든 배경을 제거하고 적색 및 녹색의 각 임계값(threshold) 이상을 가지면 카운팅 데이터 값을 1씩 증가시키고, 최종적으로 카운팅 데이터 내에서 적색의 비율이 70% 이상이면 "GOOD"으로 판단하고, 상기 적색의 비율이 70% 미만이면 "BAD"로 판단하는 단계를 더 포함할 수 있다.
바람직하게, 상기 (b-2) 단계에서 ROI 이미지를 커버한 후에 배경 없이 대상 물체 이미지를 얻기 위해 캐니 에지 필터를 이용할 수 있다.
바람직하게, (c) 상기 (b) 단계에서의 "GOOD) 또는 "BAD"의 2가지 상태로 표시하는 과정에서 BP 신경망 처리 과정을 추가하는 단계를 더 포함할 수 있다.
바람직하게, 상기 신경망은 피드포워드 커넥션(feedforward connection)을 갖는 다층 신경망 구조이다.
본 발명에 따른 과수 모니터링 시스템 및 방법은 OpenCV를 이용한 영상 처리기술로 과일의 익은 정도를 최종적으로 2가지 상태로 표시하여 사용자가 직관적이고 바로 인지하여 사용자 편의성을 제공할 수 있다.
또한, 영상 처리 기술과 다층 신경망 구조를 통해 정확도가 95%에 달하므로, 실험결과도 높은 인식율을 확인할 수 있어 기존 영상처리 방법보다 정확도를 향상시킬 수 있다.
이를 통해, 농촌 인력 고령화와 더운 날씨에 따른 일사병으로 고통받는 문제점을 해결할 수 있고, 과수 농가에서 초보자의 숫자가 증가함에 따른 비숙련 문제에 대해서도 초보자가 과일의 수확여부를 결정할 때 도움을 줄 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 이동형 IOT 기반 과수 모니터링 시스템을 나타낸 사시도,
도 2는 도 1의 시스템의 구성을 나타낸 기능블럭도,
도 3은 도 1 및 도 2의 과수 모니터링 시스템에서의 원격 제어용 PC GUI 화면,
도 4는 도 1 및 도 2의 과수 모니터링 시스템에서의 영상 처리 GUI 화면,
도 5는 도 1 및 도 2의 과수 모니터링 시스템에서의 OpenCV를 이용한 영상 처리 과정을 나타낸 흐름도,
도 6a 내지 도 6d는 도 5의 영상처리과정을 나타낸 PC 화면,
도 7은 도 5의 영상처리과정에서 HSV 화면,
도 8은 도 5의 영상처리과정에서 Canny를 이용한 배경 제거 화면,
도 9는 도 1 및 도 2의 과수 모니터링 시스템에서의 신경망 처리 과정의 다층 신경망 구조를 나타낸 도면,
도 10은 도 1 및 도 2의 신경망 처리 과정의 MATLAB 상의 BP 신경망 구조를 나타낸 도면,
도 11a 및 도 11b는 도 10의 신경망 처리의 실험 결과를 나타낸 그래프,
도 12는 도 10의 신경망 처리 과정에서 LabVIEW에 의한 GUI의 BP 신경망 프로그램을 나타낸 도면,
도 13a 및 도 13b는 각각 도 1 및 도 2의 과수 모니터링 시스템에서 랩 상의 적색 볼과 녹색 볼을 판단하는 GUI 프로그램 화면을 나타낸 도면,
도 14는 도 1 및 도 2의 과수 모니터링 시스템에서 신경망을 이용한 경우를 threshold method와 비교하여 나타낸 도면,
도 15는 실제 실험 환경으로 온실을 나타낸 사진,
도 16a 및 도16b는 각각 도 15의 온실에서 적색 및 녹색 토마토를 판단하는 GUI 프로그램을 나타낸 화면이다.
도 2는 도 1의 시스템의 구성을 나타낸 기능블럭도,
도 3은 도 1 및 도 2의 과수 모니터링 시스템에서의 원격 제어용 PC GUI 화면,
도 4는 도 1 및 도 2의 과수 모니터링 시스템에서의 영상 처리 GUI 화면,
도 5는 도 1 및 도 2의 과수 모니터링 시스템에서의 OpenCV를 이용한 영상 처리 과정을 나타낸 흐름도,
도 6a 내지 도 6d는 도 5의 영상처리과정을 나타낸 PC 화면,
도 7은 도 5의 영상처리과정에서 HSV 화면,
도 8은 도 5의 영상처리과정에서 Canny를 이용한 배경 제거 화면,
도 9는 도 1 및 도 2의 과수 모니터링 시스템에서의 신경망 처리 과정의 다층 신경망 구조를 나타낸 도면,
도 10은 도 1 및 도 2의 신경망 처리 과정의 MATLAB 상의 BP 신경망 구조를 나타낸 도면,
도 11a 및 도 11b는 도 10의 신경망 처리의 실험 결과를 나타낸 그래프,
도 12는 도 10의 신경망 처리 과정에서 LabVIEW에 의한 GUI의 BP 신경망 프로그램을 나타낸 도면,
도 13a 및 도 13b는 각각 도 1 및 도 2의 과수 모니터링 시스템에서 랩 상의 적색 볼과 녹색 볼을 판단하는 GUI 프로그램 화면을 나타낸 도면,
도 14는 도 1 및 도 2의 과수 모니터링 시스템에서 신경망을 이용한 경우를 threshold method와 비교하여 나타낸 도면,
도 15는 실제 실험 환경으로 온실을 나타낸 사진,
도 16a 및 도16b는 각각 도 15의 온실에서 적색 및 녹색 토마토를 판단하는 GUI 프로그램을 나타낸 화면이다.
본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 대한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다.
이하에서 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 설명하면 다음과 같다.
도 1 및 도 2는 본 발명의 바람직한 실시예에 따른 이동형 IOT 기반 과수 모니터링 시스템을 나타낸 도면들로서, 도 1은 사시도이고, 도 2는 시스템의 구성도이다.
도 1 및 도 2를 참조하면, 본 발명에 따른 과수 모니터링 시스템은, 본체(110)와, 상기 본체(110) 상에 형성되는 카메라부(130), 온/습도 센서(160), 전원부(180), 구동부(120), 리프트부(140), 통신부(170) 및 제어부(150)로 구성된다.
먼저, 본체(110)는 카메라(130), 각종 센서, 배터리 등의 각 구성부품이 설치되며, 그 하부에는 구동부(120)를 통해 이동 가능하게 2륜, 4륜 또는 그 이상의 바퀴가 구비될 수 있다. 또한, 어려운 지형 환경을 극복하기 위해 바퀴(wheel) 대신에 캐터필러 밴드(caterpillar band) 등이 사용될 수 있다.
상기 본체(110)에는 모니터링 대상 물체를 영상 촬영하는 카메라부(130)와, 모니터링 대상 물체가 위치하는 비닐하우스 내부의 온도 및 습도를 측정하는 온/습도 센서(160)와, 배터리 등의 전원부(180)와, 카메라부(130)와 본체(110)의 이동을 구현하는 구동부(120)와, 상기 카메라부(130)와 구동부(120) 등의 각 구성부를 제어하는 제어부(150)가 구비된다.
여기서, 온/습도 센서(160)는 모니터링 대상 물체가 재배되는 비닐하우스 등의 온도와 습도 데이터를 실시간으로 동기화하고 연속적으로 값을 확인할 수 있다. 즉, 온/습도 센서(160)를 통해 데이터 값을 측정하고 온도 및 습도의 통계 값은 수치화되어 A/D 컨버터(미도시)를 통해 제어부(150)로 전송된다.
제어부(150)는 온/습도 센서(160)를 통해 수신된 데이터와 임계치(설정된 바람직한 재배장소에서의 온도 및 습도 값)과 비교하여 낮거나 높으면 이를 제어하여 비닐하우스 등의 재배장소의 최적화된 온도 및 습도를 제공할 수 있는데, 아래 수학식 1 및 수학식 2에 따라, 온도 및 습도값은 제어부(150)에 입력되는 과정을 통해 설명할 수 있다.
[수학식 1]
T = -40.00 + 0.01·SOT
여기서, SOT는 온도에 대한 전압값이다,
[수학식 2]
H = -0.4 + 0.0405·SORH + (-2.8·10-6·SORH 2 )
여기서, SORH는 습도에 대한 전압값을 나타낸다.
또한, 제어부(150)는 상기 카메라를 통해 촬영된 모니터링 대상 물체의 성숙도(가령, 과일의 익은 정도)를 Open CV(Open Source Computer Vision)을 이용한 영상처리기술을 통해 "GOOD(성숙 상태로 수확 가능한 것으로 판단) 또는 "BAD"(미성숙 상태로 수확 불가로 판단)의 2가지 상태로 표시하여 최종적으로 수확 여부를 판단한다. 이때, 영상처리부(152)를 통한 Open CV 영상처리과정 이후에 보완적으로 BP 신경망 처리부(153)를 통한 신경망 처리 과정을 더 추가하여 정확도를 향상시킬 수 있으며, 이에 대해서는 후술한다. 또한, 제어부(150)는 MCU로서 AVR ATmega128(SHT-11 Data Sheet)(151), 영상처리부(152) 및 BP 신경망 처리부(153)를 포함하여 일체로 구성할 수 있다.
또한, 제어부(150)는 영상처리과정에서 비닐하우스 등 실내 환경에서는 조명 강도(세기)의 영향을 감소시킬 필요가 있다. 이에 따라, 카메라 렌즈의 렌즈 후드의 크기가 증가함에 따라 필터 렌즈를 사용하거나 조명세기의 영향에 따른 노이즈를 제거하는 영상 처리 알고리즘을 통해 이를 개선할 수 있다.
또한, 제어부(150)는 영상처리과정에서 "GOOD"으로 판단한 경우에는 구동부(120)를 제어하여 해당 모니터링 대상 물체로 이동하여 별도의 가위 및 바구니 등의 수확 도구를 구비하여 수확할 수 있게 할 수 있다.
카메라부(130)는 모니터링 대상 물체가, 가령 토마토나 사과 등의 과수인 경우에는 각 과수의 키 높이가 다르므로 엘리베이션 기능을 제공할 필요가 있다. 이때, 상기 카메라부(130)에 상승 또는 하강의 엘리베이션 기능을 제공하는 지지부로서 리프트(lift)(140)와, 상기 리프트(140) 상의 이동축과 연결된 카메라부(130)를 상승 또는 하강시키는 리프트 구동부(미도시)를 형성한다. 여기서, 상기 리프트 구동부는 제1 서보모터 등을 통해 카메라부(130)의 상승 또는 하강의 엘리베이션 기능을 제공함 이외에도 카메라부(130)를 좌/우로 360까지 회전시켜 영상 촬영의 편의를 제공할 수 있다.
본체 구동부(120)는 제2 서보모터를 통해 구동축을 통해 연결된 본체의 4륜 바퀴를 구동시켜 본체를 전/후/좌/우로 이동가능하게 할 수 있다. 즉, 본체 구동부(120)는 바퀴부를 이동시키는 구동 모터(제2 서보모터)와, 상기 구동모터의 속도 및 방향을 제어하는 모터 드라이버를 구비하다. 이때, 제어부(150)는 제어 명령(후술하는 사용자 단말기의 제어 명령을 통신부를 통해 수신받고 수신받은 경우도 포함)에 따라 상기 모터 드라이버를 통해 상기 모터를 제어하거나 상기 카메라를 제어하는데, H 브릿지 회로(H-bridge circuit)를 이용하여, 본체를 전/후/좌/우로 움직일 수 있게 한다.
전술한 이동형 IOT 기반 과수 모니터링 시스템(100)과 사용자 단말기(300)가 네트워크로 되면, 사용자는 자신의 단말기를 통해 통신부(170)와 연결하여 과수 모니터링 시스템(100)을 원격 제어할 수 있다. 즉, 사용자 단말기(노트북 PC, 스마트폰 등)에서 통신부(170)을 통해 과수 모니터링 시스템(100)의 구동부(120), 카메라부(130)를 제어하여 모니터링 되는 물체의 영상처리를 사용자가 직접 제어할 수 있도록 한다. 여기서, 통신부(170)는, 예를 들어, FB155BC 블루투스 모듈과 FB200AS 블루투스 리시버(Receiver)를 이용할 수 있고, 이때에는 블루투스 모듈을 이용한 최대 통신 거리는 15m까지 가능하다. 게다가, 온/습도 센서(160), 구동부(120), 리프트(140), 카메라부(130)가 모두 슬레이브(Slave) 모드이고, 수신부가 마스터(master) 모드이면, 이들 모두는 사용자 단말기의 GUI 프로그램에 의해 원격제어될 수 있다. 근거리 무선통신망으로 이미지의 무선 전송이 행해지도록 와이파이(wifi)가 더 추가될 수 있고, 이것은 이동형 과일 모니터링 시스템의 실용성을 크게 향상시킬 수 있다.
또한, 사용자 단말기(300)와 과수 모니터링 시스템(100)과 네트워크로 연결된 서버 시스템을 더 구현할 수 있고, 상기 서버(미도시) 사용자 식별정보를 저장하는 데이터베이스를 더 포함할 수 있고, 다수의 사용자 단말기가 상기 서버에 접속하여 과수 모니터링 서비스 프로그램을 다운받아 설치하여, 스마트폰용 앱(어플리케이션) 프로그램으로 웹 또는 모바일 상에서 서비스할 수 있다.
도 3 및 도 4는 도 1 및 도 2의 과수 모니터링 시스템(100)에서의 원격 제어용 사용자 단말기(300) 화면을 나타낸 도면이다. 가령 도 3은 PC GUI 화면을 나타낸 도면이고, 도 4는 영상 처리 GUI 화면을 나타낸 도면으로, 모두 LabVIEW용 GUI 프로그램에 의해 구현될 수 있다. 이때, 랩뷰(LabView)는 유선으로 다양한 기능에 연결될 수 있고, 다양한 언어와 비교하여 그래픽 프로그래밍 언어에 기반한 디자인된 이미지가 좀 더 직관적이고 프로그래밍이 더 빠른 장점이 있다. 게다가 랩뷰는 전면 패널을 통해 다양한 형태로 디스플레이될 수 있어, 이를 예로 들어 설명한다.
PC GUI의 전원공급창(310)은 프로그램의 시작 또는 정지 버튼으로 구성된다. 상태 디스플레이 및 신경망 트레이닝 창(320)은 과일 성숙도의 두가지 상태, 즉 GOOD 또는 BAD 중에서 어느 하나를 출력하기 위해 OpenCV 환경 뱅크를 사용하여 생성된 영상처리 엔진을 사용한다.
PC 제어창(330)은 구동부 모터의 운동 방향 및 카메라의 상승 및 하강, 회전을 제어하기 위해 다양한 버튼을 사용할 수 있다.
설정창(340)은 제어부(즉, ATmega128), 블루투스 수신부, 카메라 저장 포트, 영상 처리 테스트 데이터 파일, 및 세팅 및 온도 설정창(window)로 구성된다.
현재 온/습도 센서창(350)은 온/습도 센서를 통해 측정된 장소의 내부 온도 및 습도를 디스플레이한다.
시간 디스플레이창(360)는 현재 날짜 및 시간을 보여주고, 비디오 출력ㅊ창(370)은 카메라에 의해 촬영된 이미지를 보여준다.
프로그램이 운영되면, 카메라 포트 뿐만아니라 ATmega128 및 한 쌍의 블루투스 수신기는 GUI와 연결된다. 이후 시작 버튼을 누르면 실시간 영상이 표시된다.
각 버튼의 사용을 통해 PC 제어창(330)은 MCU(ATmega128)에서 모터 및 카메라의 제어값을 변경하거나 모터 및 카메라의 운동을 제어하거나 연속적으로 현재 날짜, 시간, 온도 및 습도를 표시할 수 있다.
측정된 온도가 설정값보다 더 크면 고온도에 대한 LED 경고등에 불이 들어오고 동시에 LED는 "경고"의 단어가 표시된다.
또한, 사용자가 신경망 트레이닝(training) 창(320) 버튼을 누르면 신경망(neural network)이 트레이닝된다(여기서, 미리 지정한 폴더에 트레이닝 샘플을 저장할 수 있다.) 그리고 나서 사용자가 도 4에 도시된 바와 같이, 영상처리 버튼을 누르면, 오리지널 이미지, 바이너리 이미지 및 HSV 창이 팝업된다. 마지막으로 사용자가 과일의 숙성 레벨을 판단할 수 있고 GUI 패널에서 실시간으로 "good" 또는 "bad" 광 중에서 어느 하나가 켜지면서 그 결과를 확인할 수 있다.
이하에서, 도 5 내지 도 8을 참조하여 도 1 및 도 2의 본 발명에 따른 과수 모니터링 시스템에서의 영상처리부(151)를 통한 Open CV 영상처리과정을 설명한다.
또한, 도 9 내지 도 12를 참조하여 BP 신경망 처리부(152)를 통한 신경망 처리 과정에 대해서 자세히 설명한다.
<OpenCV을 이용한 영상 처리 과정>
도 5는 도 1 및 도 2의 과수 모니터링 시스템(100)에서의 OpenCV를 이용한 영상 처리 과정을 나타낸 흐름도이고, 도 6a 내지 도 6d는 도 5의 영상처리과정을 나타낸 PC 화면, 도 7은 도 5의 영상처리과정에서 HSV 화면이고, 도 8은 도 5의 영상처리과정에서 Canny를 이용한 배경 제거 화면이다.
도 5 및 도 6에 도시된 바와 같이, OpenCV를 이용한 영상 처리 과정은, 도 6a를 참조하여 영상 처리 출력 스크린(실제 영상을 출력함), 도 6c를 참조하여 HSV 설정 스크린, 도 6b를 참조하여 HSV 설정값을 이용하여 얻은 바이너리(binary) 코드 화면 및 도 6a를 참조하여 오브젝트 창(OBJECT window)(배경을 제거하고 단지 과일만 보여줌)으로 구성된다. 즉, 도 2의 영상처리부(152)는, 도 6a에 도시된 바와 같이, 카메라를 통해 과일의 영상을 촬영하고, 영상이미지를 수신받는다.
이어, 도 6c에 도시된 바와 같이, 트랙바(tracbars) 창으로 HSV의 값을 조절하여, 도 6b에 도시된 바와 같이, 이진화된 과일의 이미지를 획득한다.
이후, 이진화된 과일의 위치를 좌표로 얻어, 도 6d에 도시된 바와 같이, 관심영역(ROI, Region of Interest)창을 출력한다. 이에 따라 과일 영역을 제외한 모든 배경을 제거하고 레드, 그린의 각 임계값(threshold) 이상을 가지면 카운팅 데이터값을 1씩 증가시킨다. 최종적으로 카운팅 데이터 내 레드(red)의 비율이 70% 이상이면 good, 70% 미만이면 bad로 판별한다.
이때, 비주얼 스튜디오 2012 C++의 개발 환경에서, 사진을 얻기 위해 OpenCV를 이용하고, 과일의 숙성 판단을 추적하기 위해 HSV 칼러 스페이스가 사용될 수 있다.
도 5 및 도 6에 도시된 바와 같이, 영상처리 프로그램이 시작되면, 오리지널 이미지 뿐만아니라 오리지널 이미지에 기반한 바이너리 이미지도 출력된다(각 채널 값은 트랙바에서 설정되고 지정된 HSV 값은 바이너리 이미지가 획득될 수 있도록 inRange 함수(inRange function)에서 입력될 수 있다). S 값은 트랙바 창을 통해 조정된다. 오브젝트의 윤곽(outline)은 점차 바이너리 이미지로 나타날 것이다. 이때, OpenCV에서 모멘트 함수(moment function)을 사용하여 바이너리 이미지에서 오브젝트의 중심 좌표를 결정할 것이다(S510, S520).
ROI(Region of Interest) 함수는 200px × 200px 영역(region)을 인터셉트(intercept)하기 위해 베이스로서 상기 중심좌표를 사용할 것이다. 오리지널 이미지와 바이너리 이미지에서 중심 좌표의 위치가 동일하기 때문에, 오리지널 이미지에서 동일한 위치에서의 영역과 동일한 크기가 또한 컷 아웃(cut out)될 수 있다(S540).
다음, ROI에서 오브젝트 부분은 바이너리 이미지에서 오브젝트의 윤곽을 인식할 수 있는 에지 검출 알고리즘(edge detection algorithm)으로서 캐니 에지 필터링(canny edge filtering)에 의해 제거될 수 있다(S550). 그리고, 단지 바이너리 이미지의 블랙(black) 배경만이 유지된다(S560).
그리고 나서, 바이너리 이미지의 검은색 배경은 오리지널 이미지를 커버할 것이며, 마침내 도 6d에 도시된 바와 같이, 그 제거된 배경과 함께 ROI가 얻어진다(S570).
< HSV 칼러 스페이스를 이용한 과일 영역의 추출과정>
HSV 칼러 스페이스는 인간의 눈 관찰과 가장 가깝고 이에 기반한 칼러 모델이다. 즉, 이 모델은 색상(Hue), 채도(Saturation) 및 명도(value)로 구성된다.
여기서, 색상은 가시광선의 단파장 분광분석이 용이한 소형분광기로서, 가령 파이버 옵틱 분광기(fiber optic spectrometer, 미국 Ocean optic사의 장비)에서 기준으로 빨강(red)을 가장 긴 파장으로 칼러 테이블에서 각 위치를 찾는 값이다. 0°는 상대 배치각(relative configuration angle)을 나타내고 최대 범위는 360°까지이다. 채도는 0%에서 100%까지의 범위를 가지며, 물체의 색상의 진하고 엷음의 정도를 나타내는 선명도의 정도를 말한다. 명도는 0%에서 100%까지의 범위를 가지며, 물체의 색상이 지니는 밝기의 정도를 나타낸다.
다음 수학식 3에서 나타낸 바와 같이, 입력 이미지는 획득된 이미지를 HSV로 개조하기 위해 사용되는 RGB 형태에서 획득된다.
[수학식 3]
여기서, θ는 적색에 기반하고, 이에 대한 정의 다음의 수학식 4에서 설명한다.
수학식 3에서, 색상의 변화가 B≤G이면, 색상의 범위는 0°에서 180°까지이고, 색상의 변화가 B > G이면, 색상의 범위는 0°에서 360°까지이다. 또한, S 및 V는 0에서 1 사이의 값을 가진다.
[수학식 4]
이러한 방식을 이용하여, 도 7에 도시된 바와 같이, 과일의 정확한 상태를 추출하기 위해 조절가능한 HSV 값의 트랙바(Trackbars)를 이용할 수 있다. 이때, HSV의 각 채널은 1바이트를 가지므로 0~255 숫자를 사용할 수 있다.
0°~ 360°범위는 최대 1바이트 값으로 색상(H)을 표현하기 위해 사용될 수 있고, 그 절반의 범위로 0°~ 180°까지로 감소시킬 수 있으며, S 및 V는 0°~ 255°범위 내에서 표시될 수 있다.
<이미지를 컷팅하기 위해 ROI 이용 과정(Using ROI to cut the Image)>
ROI는 단지 부분적으로 처리될 필요가 있는 사진들에 주로 적용될 수 있다. ROI 사진을 획득하기 위해, 지정된 범위에서 ROI 함수를 사용할 필요가 있다. 게다가, 이 함수는 입력 적색 볼(red ball)의 중심 좌표를 이용할 필요가 있다. 적색 볼의 중심 좌표를 획득하기 위해 바이너리 코드 화면으로부터 추출된 물체(대상물)를 감지할 수 있는 모멘트 함수(moment function)를 적용할 수 있다.
이러한 모멘트 함수는 수학식 5에서 나타낸다.
[수학식 5]
여기서, m00는 아웃라인(outline)의 길이이고, m00에 의해 나누어진 m10 및 m01은 측정 영역의 중심 좌표로서 x축 및 Y축 좌표를 나타낸다.
결과적으로, 중심 좌표는 ROI 함수에서 사용되고 ROI는 추출될 수 있다. 만약 중심 좌표가 ROI 함수에서 사용되면, 위치에 관계없이 추적(트래킹, tracking)은 관심영역(ROI)을 추출하기 위해 실행될 수 있다.
<캐니 에지 필터링에 의한 배경 삭제 과정(Removal of the Background by Canny Edge Filtering)>
캐니 에지 필터링은 대표적인 콘투어 검출 알고리즘(contour detection)으로서 1986년 John F.Canny에 의해 제안된 콘투어 추출 알고리즘이다. 캐니 알고리즘의 기본적인 아이디어는 그레이 스케일 밀도(gray scale intensity)(백(白)에서 흑(黑)까지의 명도를 10단계로 나눈 무채색 색표)가 가장 강하게 변하는 지점(위치)를 찾는 것이다. 먼저, 이미지를 평활화(smooth)하기 위해 가우시안 필터링(Gaussian filtering)을 사용하고 노이즈를 제거한다. 이어서, Sobel operator(1968년 스탠포드 인공지능 연구소에서 어원 소벨이 고안해낸 가장자리 검출 알고리즘으로서, 3×3 크기의 행렬을 사용하여 연산을 하였을 때 중심을 기준으로 각 방향의 앞뒤의 값을 비교하여서 변화량을 검출하는 알고리즘)과 결합되어, 각 픽셀의 기울기 강도(gradient intensity)와 기울기 방향이 계산된다. 구별이 잘 되지 않는 경계를 명확하게 하기 위해 비 최대치 억제 기술(Non-Maximum suppression technique)을 이용한다. 다음으로, 경계를 보다 명확하게 하기 위해 임계치의 최대 범위와 최소 범위를 설정하는 Double Thresholding technology를 이용한다. 그리고 나서, 검은색 배경(black background)으로 마스크 템플릿(mask template)을 만들기 위해 물체(대상)의 아웃라인과 ROI 이미지의 경계 사이의 지역을 채워넣는다. 마스크 템플릿에 의해 ROI 이미지를 커버한 후에 배경 없이 물체 이미지를 얻고, 도 8에 도시된 바와 같이, 이미지 콘투어를 추출하고 과일 영역을 얻기 위해 캐니 에지 필터를 이용한다.
샘플 데이터를 얻기 위해, ROI 함수를 배경 제거된 이미지에 적용하는 과정을 계속한다. 이 영상의 중심점을 이미 확인한 것을 고려하면 ROI 함수를 사용하여 이미지의 관심영역을 얻을 때 상기 중심점을 사용하는 것을 계속한다. 관심 영역을 얻기 위해 8×50px의 범위에서 수평방향과 50×8px의 범위에서 수직방향으로 ROI 함수를 적용한다. ROI 영역에서 픽셀들이 개별적으로 판독되는 동안에, cvGetReal2D 함수(function)을 적용하여 픽셀 데이터를 얻을 수 있다. 마지막으로 수평방향으로 400 데이터와 수직 방향으로 400 데이터가 신경망(neural network) 이용을 제공하기 위해 2개의 TXT 파일에 저장될 수 있다.
<다층 신경망 처리 과정(Multi-layer Neural Network)>
신경망은 다수의 단일처리장치(simple processing units)들로 구성되고, 각 단일 처리 장치는 가변 가중치 방식(variable weight)으로 연결된 병렬분산(parallel distributed) 시스템이다. 뉴런(neuron)은 멀티입력 단일출력의 비선형 디바이스인 인공 신경망의 기본적인 처리 유닛(unit)이다. 가장 유명한 신경망 학습 알고리즘은 기울기 알고리즘(gradient algorithm)으로서 BP(back-propagation) 네트워크 에러용 BP 학습 알고리즘이다. 이 알고리즘은 BP 신경망이 빨리 바람직한 학습 효과를 얻을 수 있도록 제곱근 오차(the square of error)의 기울기 방향과 네트워크의 가중치로부터 네트워크의 가중치를 수정할 수 있는 원리를 기반으로 하는 튜터(tutor) 학습에 속한다.
1986년에 Rumelhart, Hinton, 및 Williams는 완전하고 간결하게 인공 신경망에 대한 BP 알고리즘(error back-propagation training algorithm)을 제안했다. 그것은 단위 가중치(unit weight)를 가지고 다층 네트워크에서 질서정연하게 학습 문제를 푼다. 또한, 그 알고리즘은 가장 널리 사용되고 있는 포워드 피드백(forward feedback) 네트워크의 한 종류인 소위 BP 네트워크로 불리는 네트워크를 형성한다.
피드포워드 커넥션(feedforward connection)을 갖는 다층 신경망(MNN, Multilayered Neural Network) 구조는 도 9에 도시된다.
MNN의 입력-출력 노드 관계는 다음과 같이 기술된다.
즉, 출력 노드 k, 숨은 노드 j, 입력 노드 i에 대하여 다음 수학식 6 내지 수학식 9가 성립한다.
[수학식 6]
[수학식 7]
[수학식 8]
[수학식 9]
여기서, Ok는 출력 노드 k의 출력이고, Oi는 입력 노드 i의 출력이고, Oj는 숨은 노드 j의 출력이다. 또한, f(·)는 시그모이드 활성화 함수(sigmoid activation function), J는 숨은 노드 J에서 숨은 노드의 개수, I는 입력 노드의 개수를 말한다.
BP 방법에서, 신경망의 가중치는 비용 함수(cost function)의 음의 기울기에 비례하는 값을 더함에 의해 조정될 수 있으며, 비용 함수 E는 다음의 수학식 10과 같이 정의될 수 있다.
[수학식 10]
여기서, dk는 원하는 값이고, Ok는 출력 노드 k의 출력이고, N은 출력 노드의 개수이다.
또한, 첨자 i, j, k는 각각 입력층, 숨은 층, 출력층에서 어느 하나의 노드를 말한다.
갱신된 가중치와 출력 가중치의 증가된 변화는 다음의 수학식 11 및 12와 같이 계산된다.
[수학식 11]
[수학식 12]
여기서, η는 학습 비율이고, α는 학습 속도를 증가시키는 모멘텀 기간이고, wk은 출력 노드 k로부터 숨은 노드 j 까지의 가중치이다.
출력 노드 k에서의 에러 신호δk는 chain rule로부터 획득되고 다음 수학식 13과 같이 정의된다.
[수학식 13]
여기서, fk(·)는 시그모이드 활성화 함수(sigmoid activation function)의 도함수이다.
유사하게, 히든 층과 에러 신호의 가중치-업데이트 방정식(weight-update equation)은 다음의 수학식 14 내지 16과 같다.
[수학식 14]
[수학식 15]
[수학식 16]
<실험 결과 및 토론>
도 10에 도시된 바와 같이, MATLAB이 BP 신경망 건설에 적용될 수 있다. 여기서, 800개의 입력노드, 10개의 숨은 노드, good 또는 bad 중 어느 하나의 2개의 출력 노드로 구성될 수 있다.
도 11은 신경망의 실험 결과를 나타낸 그래프로서, 붉은 선 "O"는 실험 샘플의 실제 출력을 나타내고, 푸른 선 "*"는 신경망의 실험 출력을 나타내며, 그 비교결과는 100%의 정확도를 보여준다.
도 12는 BP 신경망 프로그램을 LabVIEW에 의한 GUI로 나타낸 도면이다.
즉, GUI 상에서 신경망 훈련 프로그램은 신경망을 훈련시키기 위해 MATLAB 프로그램을 직접 불러내도록 구성하여 보다 편리하고 실용성을 향상시킨다.
다음으로, ROI 및 캐니 에지 필터링 후에 카메라에 의해 획득된 물체의 이미지를 구비하고, 단지 측정될 물체의 영역이 커팅(cut)된다.
이어, GUI 프로그램은, 도 13에 도시된 바와 같이, 적색 볼과 녹색 볼을 평가하는데 적용된다. 여기서, 볼이 적색이면 "GOOD" 불빛이 켜지고, 볼이 녹색이면 "BAD" 불빛이 켜진다. 이에, 50번 실험이 행해지고, 그 중 48개가 성공적이나 2개는 실패하여 인식율이 96%에 이르러 실험결과는 기대치에 만족시킨다.
실험에서, 볼의 상태는 다음의 수학식 17을 이용한 threshold method에 의해 판단될 수 있다.
[수학식 17]
여기서, │red│및 │green│은 각각 적색 픽셀과 녹색 픽셀의 개수를 말하고, δT는 heuristic method에 의해 결정되는 결정 임계치이다.
환경에 대한 임계치의 민감도 때문에 δT 값은 환경에 따라 조정될 수 있다. 예를 들면, 도 14에 도시된 바와 같이, 실시간 이미지는 적색 볼이고, 이에 따라 정확한 판단은 "good"이어야 한다. 그러나, 임계치 δT 값이 90%이면, threshold method는 잘못된 판단(bad)이 이루어지나, 신경망이 동시에 정확한 판단(good)을 하게 된다.
이와 같이, threshold method와 비교하여, 신경망은 보다 넓은 응용성과 더 나은 정확도를 가지게 된다.
본 발명에 따른 과수 모니터링 시스템의 실험은, 도 15에 도시된 바와 같이, 온실에서 수행될 수 있다.
GUI 프로그램을 이용하여, 직관적으로 실시간 온도는 21℃로 측정되고, 실시간 습도는 23%로 측정된다. 게다가, 도 16a 및 도 16b에 도시된 바와 같이, 실제 토마토가 재배되는 실험이 행해지고, 도 16(a)와 같이, 적색 토마토의 이미지일 경우에는 인식 결과가 "GOOD"으로 나타나고, 반면에 도 16(b)와 같이, 녹색 토마토의 이미지일 경우에는 인식 결과가 "BAD"로 나타난다. 그러므로, 각각 녹색 토마토 및 적색 토마토 10개에 대해 실험이 행해지고, 그 결과는 적색 토마토의 인식율이 100%, 녹색 토마토의 인식율이 90%로 나타났다. 실험 결과는 기대치를 만족시키고 본 발명에 따른 과수 모니터링 시스템은 매우 높은 인식율을 가짐을 확인할 수 있다.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 과수 모니터링 시스템
110: 본체
120: 구동부
130; 카메라부
140; 리프트(lift)
150: 제어부
160: 온/습도 센서
170: 통신부
180: 전원부
110: 본체
120: 구동부
130; 카메라부
140; 리프트(lift)
150: 제어부
160: 온/습도 센서
170: 통신부
180: 전원부
Claims (10)
- 이동형 바퀴가 구비된 본체와,
전원부 및 통신부와,
모니터링 대상 물체를 영상 촬영하는 카메라부와,
상기 모니터링 대상 물체가 위치하는 장소의 온도 및 습도를 측정하는 온/습도 센서와,
상기 카메라부에 엘리베이션 기능을 제공하는 지지부로서 리프트와
상기 리프트 상의 이동축과 연결된 카메라부를 상승 또는 하강시키거나 구동축을 통해 연결된 상기 본체의 이동형 바퀴를 구동시키는 구동부와,
상기 온/습도 센서를 통해 수신된 데이터와 임계치를 비교하거나 상기 구동부를 제어하거나 상기 카메라를 통해 촬영된 모니터링 대상 물체의 익은 정도를 판단하는 제어부를 포함하는 것을 특징으로 IOT 기반 과수 모니터링 시스템.
- 제1항에 있어서,
상기 과수 모니터링 시스템과 네트워크로 연결된 사용자 단말기를 더 포함하고,
상기 사용자 단말기와 상기 통신부는 마스터 슬레이브 방식의 블루투스 통신을 하고,
상기 사용자 단말기는 상기 통신부를 통해 상기 제어부로 제어명령을 전송하여 원격 제어하는 것을 특징으로 하는 IOT 기반 과수 모니터링 시스템.
- 제1항에 있어서,
상기 제어부는 상기 카메라부를 통해 촬영된 모니터링 대상 물체의 성숙도를 Open CV 를 이용한 영상처리기술을 통해 "GOOD(성숙 상태로 수확 가능한 것으로 판단) 또는 "BAD"(미성숙 상태로 수확 불가로 판단)의 2가지 상태로 표시하여 최종적으로 수확 여부를 판단하는 영상처리부를 더 포함하는 것을 특징으로 하는 IOT 기반 과수 모니터링 시스템.
- 제3항에 있어서,
상기 제어부는 BP 신경망 처리 과정을 수행하는 BP 신경망 처리부를 더 포함하는 것을 특징으로 하는 IOT 기반 과수 모니터링 시스템.
- 이동형 바퀴가 구비된 본체와, 모니터링 대상 물체를 영상 촬영하는 카메라부를 구비한 시스템에서의 과수 모니터링 방법에 있어서,
(a) 상기 카메라를 이동시켜 모니터링 대상 물체를 촬영하고 촬영된 대상 물체의 이미지를 수신받는 단계; 및
(b) 상기 수신된 대상 물체의 이미지에서 Open CV를 이용한 영상처리기술을 통해 "GOOD(성숙 상태로 수확 가능한 것으로 판단) 또는 "BAD"(미성숙 상태로 수확 불가로 판단)의 2가지 상태로 표시하여 최종적으로 수확 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 IOT 기반 과수 모니터링 방법.
- 제5항에 있어서,
상기 (b) 단계에서,
(b-1) 트랙바(tracbars) 창으로 HSV의 값을 조절하여, 이진화된 대상물체의 이미지를 획득하는 단계; 및
(b-2) 상기 이진화된 대상물체의 위치를 좌표로 얻어, 관심영역(ROI) 창을 출력하는 단계를 더 포함하는 것을 특징으로 하는 IOT 기반 과수 모니터링 방법.
- 제6항에 있어서,
(b-3) 상기 관심영역을 제외한 모든 배경을 제거하고 적색 및 녹색의 각 임계값(threshold) 이상을 가지면 카운팅 데이터 값을 1씩 증가시키고, 최종적으로 카운팅 데이터 내에서 적색의 비율이 70% 이상이면 "GOOD"으로 판단하고, 상기 적색의 비율이 70% 미만이면 "BAD"로 판단하는 단계를 더 포함하는 것을 특징으로 하는 IOT 기반 과수 모니터링 방법.
- 제6항에 있어서,
상기 (b-2) 단계에서 ROI 이미지를 커버한 후에 배경 없이 대상 물체 이미지를 얻기 위해 캐니 에지 필터를 이용하는 것을 특징으로 하는 IOT 기반 과수 모니터링 방법.
- 제5항에 있어서,
(c) 상기 (b) 단계에서의 "GOOD) 또는 "BAD"의 2가지 상태로 표시하는 과정에서 BP 신경망 처리 과정을 추가하는 단계를 더 포함하는 것을 특징으로 하는 IOT 기반 과수 모니터링 방법.
- 제9항에 있어서
상기 신경망은 피드포워드 커넥션(feedforward connection)을 갖는 다층 신경망 구조인 것을 특징으로 하는 IOT 기반 과수 모니터링 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170098604A KR102002632B1 (ko) | 2017-08-03 | 2017-08-03 | Ｉｏｔ 기반 과수 모니터링 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170098604A KR102002632B1 (ko) | 2017-08-03 | 2017-08-03 | Ｉｏｔ 기반 과수 모니터링 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190015656A true KR20190015656A (ko) | 2019-02-14 |
| KR102002632B1 KR102002632B1 (ko) | 2019-07-23 |
Family
ID=65366209
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170098604A KR102002632B1 (ko) | 2017-08-03 | 2017-08-03 | Ｉｏｔ 기반 과수 모니터링 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102002632B1 (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200132532A (ko) * | 2019-05-17 | 2020-11-25 | 제주한라대학교산학협력단 | 관광지 방문객 관제시스템 및 그 관제방법 |
| CN113139406A (zh) * | 2020-01-19 | 2021-07-20 | 合肥美亚光电技术股份有限公司 | 带皮大蒜识别方法、系统及分选设备 |
| CN113298835A (zh) * | 2021-06-16 | 2021-08-24 | 大连大学 | 一种果实采收成熟度加权评估方法 |
| CN113678641A (zh) * | 2021-08-24 | 2021-11-23 | 北京市农业局信息中心 | 一种可准确夹持农作物母枝的5g人工智能采摘机器人 |
| US20220164989A1 (en) * | 2019-02-15 | 2022-05-26 | Appharvest Technology, Inc. | Ripeness detection system using hue color space and peak finding |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101405858B1 (ko) | 2013-12-04 | 2014-06-16 | 안성훈 | 영상인식 과일 수확용 로봇 장치 |
| KR20150000435A (ko) * | 2013-06-21 | 2015-01-02 | 순천대학교 산학협력단 | 작물 생장 단계 인식 및 환경 제어 시스템 및 그 방법 |
-
2017
- 2017-08-03 KR KR1020170098604A patent/KR102002632B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150000435A (ko) * | 2013-06-21 | 2015-01-02 | 순천대학교 산학협력단 | 작물 생장 단계 인식 및 환경 제어 시스템 및 그 방법 |
| KR101405858B1 (ko) | 2013-12-04 | 2014-06-16 | 안성훈 | 영상인식 과일 수확용 로봇 장치 |
Non-Patent Citations (2)
| Title |
|---|
| ‘[08편]이미지 연산 처리를 이용한 이미지 합성 하기’, 네이버 블로그(2015.10.11. 게재) <URL : http://blog.naver.com/samsjang/220503082434> 1부.* * |
| 노현권 외 1인. 하이퍼 스펙트랄 반사광 및 형광 산란을 이용한 사과 품질 측정. 바이오시스템공학. 2009년 2월, 제34권, 제1호, pp.37-43 (2009.02.) 1부.* * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220164989A1 (en) * | 2019-02-15 | 2022-05-26 | Appharvest Technology, Inc. | Ripeness detection system using hue color space and peak finding |
| KR20200132532A (ko) * | 2019-05-17 | 2020-11-25 | 제주한라대학교산학협력단 | 관광지 방문객 관제시스템 및 그 관제방법 |
| CN113139406A (zh) * | 2020-01-19 | 2021-07-20 | 合肥美亚光电技术股份有限公司 | 带皮大蒜识别方法、系统及分选设备 |
| CN113298835A (zh) * | 2021-06-16 | 2021-08-24 | 大连大学 | 一种果实采收成熟度加权评估方法 |
| CN113298835B (zh) * | 2021-06-16 | 2023-07-28 | 大连大学 | 一种果实采收成熟度加权评估方法 |
| CN113678641A (zh) * | 2021-08-24 | 2021-11-23 | 北京市农业局信息中心 | 一种可准确夹持农作物母枝的5g人工智能采摘机器人 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102002632B1 (ko) | 2019-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102002632B1 (ko) | Ｉｏｔ 기반 과수 모니터링 시스템 및 방법 | |
| Jia et al. | Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot | |
| Tian et al. | Instance segmentation of apple flowers using the improved mask R–CNN model | |
| US10977494B2 (en) | Recognition of weed in a natural environment | |
| RU2764872C2 (ru) | Распознавание сорняка в естественной среде | |
| CN110200598A (zh) | 一种大型养殖场体征异常禽类检测系统及检测方法 | |
| CN108154102A (zh) | 一种道路交通标志识别方法 | |
| CN107909008A (zh) | 基于多通道卷积神经网络和粒子滤波的视频目标跟踪方法 | |
| KR102151688B1 (ko) | 작물의 숙도 판별 장치, 방법 및 그 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 | |
| US20230230373A1 (en) | System and method for estimating vegetation coverage in a real-world environment | |
| CN107862333A (zh) | 一种在复杂环境下判断物体燃烧区域的方法 | |
| CN116058195B (zh) | 一种叶菜生长环境光照调控方法、系统及装置 | |
| KR101944374B1 (ko) | 이상 개체 검출 장치 및 방법, 이를 포함하는 촬상 장치 | |
| CN113822198B (zh) | 基于uav-rgb图像和深度学习的花生生长监测方法、系统及介质 | |
| KR20190143518A (ko) | 이상 개체 판단 장치 및 방법 | |
| CN115861686A (zh) | 基于边缘深度学习的荔枝关键生长期识别检测方法及系统 | |
| Pramudhita et al. | Strawberry Plant Diseases Classification Using CNN Based on MobileNetV3-Large and EfficientNet-B0 Architecture | |
| KR20230061863A (ko) | 합성곱신경망과 다층 퍼셉트론의 앙상블 모델을 이용한 과실 발달 단계 예측 장치 및 그 방법 | |
| KR20200084164A (ko) | 사육장 환경 관리 장치 | |
| CN108090910A (zh) | 一种基于信息熵梯度简化pcnn模型的夜间室外番茄植株图像分割算法 | |
| Amemiya et al. | Development of a support system for judging the appropriate timing for grape harvesting | |
| CN115376125A (zh) | 一种基于多模态数据融合的目标检测方法以及基于目标检测模型的在体果实采摘方法 | |
| CN115294467A (zh) | 茶叶病害的检测方法及相关装置 | |
| CN112115824A (zh) | 果蔬检测方法、装置、电子设备以及计算机可读介质 | |
| CN112418112A (zh) | 一种果园病虫害监测预警方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |