KR20150000435A - 작물 생장 단계 인식 및 환경 제어 시스템 및 그 방법 - Google Patents

작물 생장 단계 인식 및 환경 제어 시스템 및 그 방법 Download PDF

Info

Publication number
KR20150000435A
KR20150000435A KR1020140076682A KR20140076682A KR20150000435A KR 20150000435 A KR20150000435 A KR 20150000435A KR 1020140076682 A KR1020140076682 A KR 1020140076682A KR 20140076682 A KR20140076682 A KR 20140076682A KR 20150000435 A KR20150000435 A KR 20150000435A
Authority
KR
South Korea
Prior art keywords
crop
growth
stage
image
color
Prior art date
Application number
KR1020140076682A
Other languages
English (en)
Inventor
김응곤
김경옥
장승호
Original Assignee
순천대학교 산학협력단
주식회사 신안그린테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 순천대학교 산학협력단, 주식회사 신안그린테크 filed Critical 순천대학교 산학협력단
Publication of KR20150000435A publication Critical patent/KR20150000435A/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G9/00Cultivation in receptacles, forcing-frames or greenhouses; Edging for beds, lawn or the like
    • A01G9/24Devices or systems for heating, ventilating, regulating temperature, illuminating, or watering, in greenhouses, forcing-frames, or the like
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00Botany in general
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G9/00Cultivation in receptacles, forcing-frames or greenhouses; Edging for beds, lawn or the like
    • A01G9/14Greenhouses
    • A01G9/143Equipment for handling produce in greenhouses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02Agriculture; Fishing; Forestry; Mining
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
    • Y02A40/25Greenhouse technology, e.g. cooling systems therefor

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Ecology (AREA)
  • Agronomy & Crop Science (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Mining & Mineral Resources (AREA)
  • Botany (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Forests & Forestry (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 시설 내 식물 생장 단계에 따라서 적절한 환경을 제어하는 시스템및 그 방법에 관한 것으로써, 영상 처리를 이용하여 작물의 각 생장 단계를 발아기, 모종시기,개화기,성숙기로 인식하고 각 성장 단계에 따른 최적의 환경을 유지하도록 생장환경을 제어하고 또한, 온실 환경정보와 작물의 생장 상태를 실시간으로 데이터화하여 전달할 수 있게 된다. 본 발명에 의하면 카메라 영상 처리를 이용하여 시설 내에 작물의 생장 단계를 인식하고 생장 단계에 따라 생장에 적합한 환경을 조성하도록 함으로써, 작물을 균일하게 재배하여 작물 성장단계에 최적의 생장 환경을 유지하도록 관리할 수 있어 결국 생산원가 절감 및 고품질의 작물을 생산할 수 있는 효과를 제공한다.

Description

작물 생장 단계 인식 및 환경 제어 시스템 및 그 방법{Recongnition of Plant Growth Steps and Environmental Monitoring System and Method thereof}
본 발명은 작물 생장 단계 인식 및 환경 제어 시스템 및 그 방법에 관한 것으로써, 보다 상세하게는 시설 내에서 재배되는 작물의 생장 단계를 인식하고 이를 기초로 시설의 환경을 제어하는 시스템 및 그 방법에 관한 것이다.
하우스나 온실 또는 식물공장 등의 시설 내의 작물의 균일한 생장 정도는 작물 생장 단계를 체계화하는데 있어 큰 영향을 미치는 중요한 요소다. 작물 생장기간 동안 생장 정도를 균일하게 하기 위해서는 작물에 따라 적절한 생장환경을 마련해 주어야 한다. 하지만 현재 보급된 시설재배 자동화 시스템은 주어진 설정 값에 따라 시설 내의 여러 가지 환경 요소들,즉 온도,습도,이산화탄소 등을 자동으로 조절할 뿐 작물의 생장 상태를 바탕으로 한 시설 환경 제어는 해주지 못하고 있는 실정이다. 특기 개화와 착화 시기에 있어서 재배 작물에 따라 적정한 기준 외의 온도,습도 환경에서는 수확량이 감소되는 문제가 있다.
현재 국내 농업은 국제화 개방화와 WTO, OECD 가입 등으로 더 이상 지역적인
틀에서 보호받지 못하고 있는 위기 상황이다. 이를 대비하기 위해서 작물 생장에 필요한 최적 환경을 인공적으로 조절하여 원하는 시기에 원하는 상태의 작물을 안정적으로 수확하는 시스템과 온실 환경에 대한 계측 및 제어 장치 분야에 대한 연구는 근래에 활발히 진행되고 있고 IT 기술을 융합한 환경제어와 재배 관리의 실용화도 상당히 진척되고 있는데 이에 대한 문제점으로 실제 모니터링 시스템의 구축 및 통합관리 시스템 활용도는 미비한 상태이다.
이러한 문제점들의 용인으로서는 대부분의 온실시스템은 하드웨어의 안정성과 신뢰성의 문제,운영 소프트웨어 부분의 미흡으로 시설 내 작물의 생장 상태를 관찰하고 분석하면서 운영되는 시스템의 구축은 제대로 이루어지지 않고 있다. 현재 보급된 시설재배 자동화 시스템은 주어진 설정값에 따라 온실 내의 온도,습도,이산화탄소 등 환경 정보들을 자동으로 조절할 뿐 작물의 생장 단계(발아기,모종시기,개화기,성숙기)를 바탕으로 하는 온실 환경제어는 하지 못하고 있는 실정이다. 또한 작물의 생장 상태를 육안으로 판별시에 오차로 인한 신뢰도가 떨어지는 문제점이 있다.
이러한 대책으로 저렴한 가격의 IT 융합 제품을 장착하여 농가의 생산성 및 품질 향상을 통한 농가 소득 증대,환경 개선 및 농가 경영비의 절감을 위한 기술이 절실히 요구되고 있으며,고품질의 안전한 농산물을 계절에 구애받지 않고 필요한 시간과 수요에 따라 계획적으로 생산하기 위해서는 작물의 성장 단계에 따라 최적의 환경조건을 제공해 줄 수 있는 자동화 시스템이 필요하다.
본 발명은 상기와 같은 점을 감안하여 안출된 것으로써, 본 발명은 시설 내 식물 생장 단계에 따라서 적절한 환경을 제어하는 시스템으로서, 영상 처리를 이용하여 작물의 각 생장 단계를 발아기,모종시기,개화기,성숙기로 인식하고 각 생장 단계에 따른 최적의 환경을 유지하도록 생장환경을 제어하도록 하는 작물 생장 단계 인식 및 환경 제어 시스템 및 그 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명에 따른 작물 생장 단계 인식 및 환경 제어 시스템은, 시설 내에 설치된 카메라(120)로부터 작물 원본 영상을 획득하여, 상기 작물 원본 영상으로부터 작물의 관심 영역을 추출한 후 이로부터 작물의 형태나 크기 또는 색상 중 적어도 하나의 정보를 인식하여 작물의 생장 단계를 인식하고, 상기 인식된 적어도 하나의 정보를 이용하여 발아기, 모종시기, 개화기, 성숙기로 구분되는 작물의 생장 단계를 분류하며, 각 생장 단계에 따라 환경제어 명령을 보내는 생장 단계 인식 및 분류 서버(220); 및 상기 시설 내의 카메라(120)로부터 작물 원본 영상을 수신하여 상기 생장 단계 인식 및 분류 서버(220)에 보내고, 상기 생장 단계 인식 및 분류 서버(220)로부터 각 생장 단계에 따라 환경제어 명령을 수신하는 경우 상기 시설 내의 환경장치 제어모듈()에 환경제어 명령을 송출하는 송수신 및 환경제어 서버(240)를 포함한다.
상기 생장 단계 인식 및 분류 서버(220)는, 상기 작물 원본 영상으로부터 작물의 관심 영역을 추출하고 상기 관심 영역으로부터 색상을 추출하고, 상기 관심 영역의 컬러 영상을 흑백 영상으로 변환한 후 이진화 영상을 추출하고 상기 이진화 영상으로부터 캐니 에지 및 헤리스 코너 기법을 이용하여 작물의 형태 및 크기를 추출하며, 상기 작물의 색상과 형태 및 크기 정보를 이용하여 작물의 생장 단계를 인식 및 분류한다.
한편, 상기 목적을 달성하기 위한 본 발명에 따른 작물 생장 단계 인식 및 환경 제어 방법은, a) 시설 내에 설치된 카메라로부터 작물 원본 영상을 수신하는 단계; b) 상기 작물 원본 영상으로부터 작물의 관심 영역을 추출한 후, 이로부터 작물의 형태나 크기 또는 색상 중 적어도 하나의 정보를 인식하여 작물의 생장 단계를 인식하는 단계; c) 상기 인식된 적어도 하나의 정보를 이용하여 발아기, 모종시기, 개화기, 성숙기로 구분되는 작물의 생장 단계를 분류하는 단계; 및, d) 상기 각 생장 단계에 따라 시설에 환경제어 명령을 송출하는 단계;를 포함한다.
상기 b) 단계는, b1) 상기 작물 원본 영상으로부터 작물의 관심 영역을 추출하는 단계; b2) 상기 관심 영역으로부터 색상을 추출하는 단계; b3) 상기 관심 영역의 컬러 영상을 흑백 영상으로 변환한 후 이진화 영상을 추출하는 단계; 및, b4) 상기 이진화 영상으로부터 캐니 에지 및 헤리스 코너 기법을 이용하여 작물의 형태 및 크기를 추출하는 단계를 포함한다.
본 발명에 의하면 카메라 영상 처리를 이용하여 시설 내에 작물의 생장 단계를 인식하고 생장 단계에 따라 생장에 적합한 환경을 조성하도록 함으로써, 작물을 균일하게 재배하여 작물 성장단계에 최적의 생장 환경을 유지하도록 관리할 수 있어 결국 생산원가 절감 및 고품질의 작물을 생산할 수 있는 효과를 제공한다. 그리고 단계별 작물 생장 정보 수집 및 제어를 통해 최적의 온도와 수분을 유지시킴으로서 냉해 및 고사로 인한 손실을 사전에 예방할 수 있는 효과를 제공한다. 또한 본 발명에 의하면 온실 환경의 다양성에 유연하며,영상처리를 통한 단계별 최적 생장환경을 판단하여 최적 제어를 하기 때문에 온실 내의 환경 제어장치의 에너지 낭비를 줄이고,생산성을 높일 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 작물 생장 단계 인식 및 환경 제어 시스템 의 블록 구성도,
도 2는 본 발명의 실시예에 따른 작물 생장 단계 인식 및 환경 제어 방법의 흐름도,
도 3은 관심 영역의 크기를 구하는 알고리즘,
도 4는 관심 영역의 색상을 구하는 알고리즘,
도 5는 RGB 색상을 HSV 색상 변환하기 위한 알고리즘,
도 6은 적응적 이진화 방법의 개념을 설명하기 위한 도면,
도 7은 작물 이진화 처리 알고리즘,
도 8은 잎 형태의 이진화 처리 방법을 이용하여 추출한 화면,
도 9는 줄기 형태의 이진화 처리 방법을 이용하여 추출한 화면,
도 10은 열매 형태의 이진화 처리 방법을 이용하여 추출한 화면,
도 11은 캐니 에지 검출 프로세스를 설명한 도면,
도 12는 CV Canny 에지 추출 알고리즘,
도 13은 캐니 에지 알고리즘을 이용한 에지 검출,
도 14는 캐니 에지 알고리즘을 이용한 길이 검출,
도 15는 줄기 형태를 해리스 코너를 이용한 검출,
도 16은 열매 형태를 해리스 코너를 이용한 검출,
도 17은 해리스 코너 알고리즘,
도 18은 본 발명의 실시예에 따른 발아기와 모종 시기의 영상 처리 결과 화면,
도 19는 개화기와 성숙기의 영상 처리 결과 화면을 나타낸 것이다.
본 발명의 상기와 같은 목적, 특징 및 다른 장점들은 첨부도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명함으로써 더욱 명백해질 것이다. 이하 첨부된 도면을 참조하여 본 발명의 실시예에 따른 작물 생장 단계 인식 및 환경 제어 시스템 및 그 방법에 대해 상세히 설명하기로 한다.
도 1을 참조하면, 본 발명의 실시예에 다른 작물 생장 단계 인식 및 환경 제어 시스템은 카메라(120)와 USN 센서모듈(140) 및 환경장치 제어모듈(160)이 설치되는 시설(100)과, 생장 단계 인식 및 분류 서버(220)와 송수신 및 환경제어 서버(240)와 데이터베이스 서버(260)를 포함하는 서버(200)와, 스마트 기기(320)와 PC(340)를 포함하는 사용자 기기(300)를 포함한다.
카메라(120)는 시설 내에 설치된 작물을 촬영하여 영상정보를 획득하고, 이 영상정보를 송수신 및 환경제어 서버(240)에 보내도록 한다.
USN 센서모듈(140)은 생장 환경에 필요한 요소를 수집하기 위해 다양한 센서 등을 하나의 모듈에 통합한 센싱 노드, 센싱 노드의 센싱 데이터를 수신하고 이를 송수신 및 환경제어 서버(240)에 보내도록 한다. 환경장치 제어모듈(160)은 시설 내의 작물이 적절하게 자라도록 하는 각종 환경 제어 장치를 포함하는 개념이다. 시설 내의 데이터 수집 및 제어를 위한 장치들은 온도, 습도, 이산화탄소, 창문 모터들, 풍향, 풍속, 일사량, 감우 장치들로 구성되어 있다. 풍속, 풍향, 일사량, 감우 장치로부터 환경 데이터를 컨트롤 보드의 내부에 위치한 센서에서 인식하고, 컨트롤 보드 외부에 위치한 센서를 통하여 온도, 습도, 디바이스로부터의 측정 데이터를 MUX(multiplexer)로 전송한다.
서버(200)는 센서 네트워크 연결 상태 및 작물 생장환경 정보를 분석하여 저장한다. 입력 부분에서의 데이터 처리 과정은 단일 센서의 경우 센싱한 하나의 센싱 값만 서버로 들어온다. 그러나 통합 센서 모듈의 경우에는 여러 센서의 센싱 값이 합쳐진 하나의 데이터로 들어오게 된다.
생장 단계 인식 및 분류 서버(220)는 시설 내에 설치된 카메라(120)로부터 작물 원본 영상을 획득하여, 상기 작물 원본 영상으로부터 작물의 관심 영역을 추출한 후 이로부터 작물의 형태나 크기 또는 색상 중 적어도 하나의 정보를 인식하여 작물의 생장 단계를 인식한다. 그리고 상기 인식된 적어도 하나의 정보를 이용하여 발아기, 모종시기, 개화기, 성숙기로 구분되는 작물의 생장 단계를 분류하며, 각 생장 단계에 따라 환경제어 명령을 보내게 된다.
송수신 및 환경제어 서버(240)는 시설(100)로부터 오는 각종 센싱 데이터를 수신하고 이를 데이터베이스 서버(260)에 저장하도록 한다. 또한 송수신 및 환경제어 서버(240)는 시설(100) 내의 카메라(120)로부터 작물 원본 영상을 수신하여 상기 생장 단계 인식 및 분류 서버(220)에 보내고, 생장 단계 인식 및 분류 서버(200)로부터 각 생장 단계에 따라 환경제어 명령을 수신하는 경우 시설(100) 내의 환경장치 제어모듈(160)에 환경제어 명령을 송출하야, 환경장치 제어모듈(160)의 각 제어장치들이 생장 단계에 맞게 적절하게 환경을 조절하도록 한다.
사용자 기기(300)는 실시간으로 작물 생장 환경 정보 확인을 위하여 사용자 PC(340) 및 스마트 기기(320)에서 데이터베이스 서버(260)로 접속하는 사용자 모니터링 프로그램으로 나타낸다. 사용자 원격 모니터링 프로그램은 데이터베이스 서버로의 접속을 관리하는 부분, 영상처리 부분, 센서로 부터 취득한 데이터를 실시간으로 확인할 수 있는 부분에 따라 데이터베이스 서버에 저장된 데이터를 관리하는 부분으로 구성한다.
본 발명에 따른 작물 생장 단계 인식 및 환경 제어 시스템은 두 가지 방법에 의해서 모니터링 및 제어된다. 시설(100)에서 수집한 시설 내의 상태 정보와 환경 데이터는 무선 모바일 디바이스로 직접 데이터를 전송하여 데이터 및 장치의 상태를 모니터링 및 제어한다. 다른 방법으로 장치의 상태 정보와 환경 데이터는 XML(extensible markup language)을 통하여 클라이언트 컴퓨터(PC, 340)로 데이터를 전송하고 갱신한다.
한편, 도 2를 참조하면 상기 구성을 갖는 시스템 중 생장 단계 인식 및 분류 서버(220)에 의해 동작하는 본 발명의 실시예에 따른 작물 생장 단계 인식 및 환경 제어 방법은, a) 시설 내에 설치된 카메라(100)로부터 작물 원본 영상을 수신하는 단계(S310), b) 상기 작물 원본 영상으로부터 작물의 관심 영역을 추출한 후, 이로부터 작물의 형태나 크기 또는 색상 중 적어도 하나의 정보를 인식하여 작물의 생장 단계를 인식하는 단계(S320~S360), c) 상기 인식된 적어도 하나의 정보를 이용하여 발아기, 모종시기, 개화기, 성숙기로 구분되는 작물의 생장 단계를 분류하는 단계(S370), 및 d) 상기 각 생장 단계에 따라 시설에 환경제어 명령을 송출하는 단계(S380)를 포함한다.
또한, 상기 생장 단계를 인식하는 b) 단계는, b1) 상기 작물 원본 영상으로부터 작물의 관심 영역을 추출하는 단계(S320), b2) 상기 관심 영역으로부터 색상을 추출하는 단계(S330), b3) 상기 관심 영역의 컬러 영상을 흑백 영상으로 변환한 후 이진화 영상을 추출하는 단계(S340), 및 b4) 상기 이진화 영상으로부터 캐니 에지 및 헤리스 코너 기법을 이용하여 작물의 형태 및 크기를 추출하는 단계(S350, S360)를 포함한다. 이하 각 단계에 따른 동작을 구체적으로 살펴보기로 한다.
카메라(100)를 통하여 얻은 작물 원본 영상으로부터 작물 형태를 추출을 하기 위해 작물의 관심 영역을 획득한다(S320). 작물 전체 화면 영역에서 비관심 영역은 배제하고, 특별한 영역을 추출한다. 작물 전체 화면 중에서도 사용자가 가장 관심을 갖는 영역을 구별하는 기법으로 추출 방법으로는 영상 중심 지역을 지정한다. 이러한 방법은 네트워크 상황에 따라 관심 영역만 전송하거나, 주변 영역과 관심 영역을 구분하여 차별적으로 전송함으로써 화질을 높일 수 있다. 또한 원본 이미지와 해상도가 다른 기기에 대해서 관심 영역을 중심으로 주변 영역을 잘라냄으로써 필요한 작물 영상을 보존할 수 있다.
도 3은 관심 영역에 크기를 구하기 위해서는 맨 위에 찍힌 마커와 맨 아래 찍힌 마커 사이값에 대해서 픽셀 차이값을 이용하였다. for문 사용해서 가장 큰 값을 찾아서 구한 길이에 대해서 평균값을 구하였다. 평균값을 이용하면 보다 정확한 크기를 찾을 수 있다.
관심 영역 분석에서 열매를 인식하기 위해서 색상과 형태(모양)이 중요한데, 여기서 먼저 색상을 추출한다(S330). 일반적으로 컬러 영상에서 색은 RGB를 사용하고 있다. RGB 색상은 빨강, 초록, 파랑으로 각각 8bit로 구성되어 있다. 이들 조합이 색을 표현하는데 매우 많은 색을 표현한다. 영상에서 색상을 처리할 때는 RGB 색상을 다른 색상 시스템으로 변환 한 후 여러 가지 특징을 찾는다.
도 4는 관심 영역의 색깔을 구하는 알고리즘을 나타낸다. 원본 이미지에서 관심 영역을 설정하여 CvScalar 구조체, cvGet2D( )함수를 이용하여 색을 추출한다. 하나의 픽셀은 적색, 녹색, 청색의 색 정보와 x, y의 위치 정보를 가지고 있으며 이미지는 이 픽셀들의 집합으로 이루어진다. cvSet( )함수는 이미지를 주어진 색으로 칠하는 함수이다. 관심 영역을 설정 할때는 25 * 25의 펙셀을 설정하여 색상을 추출한다.
작물 단계별의 생장에서 꽃이나 열매를 인식하기 위해서는 색상이 매우 중요하다. 꽃이나 열매를 인식하기 위해서 관심 영역을 선택하여 영역 내부의 색상을 분석한다. RGB 색상 모델로 구성된 입력 영상에 대해, RGB 값으로부터 색조와 채도 그리고 명도 값을 분리하기 위해 HSV(hue, saturation, value) 색상 모델을 적용한다.
HSV 색상 모델은 카메라와 작물 표면의 방향, 광원의 방향, 광원의 명도, specular highlight등에 대해 민감하지 않고 변화가 적다는 특성을 보인다. 도 5는 RGB 색상 모델을 HSV 색상 모델로 변환하는 알고리즘이다. 여기에서 빨강, 초록, 파랑은 각각 픽셀의 RGB 값을 나타내고, MAX와 MIN은 빨강, 초록, 파랑 값 중에서 최대 값과 최소 값을 의미한다. 주어진 RGB 값이 각각 0과 255 사이의 정수 값이라고 가정한다.
HSI 색상 모델에서 유채색을 구분하기 위해서는 색조 값이 핵심적인 역할을 하고, 무채색을 구분하기 위해서는 명도 값이 핵심적인 역할을 한다. 채도 값은 유채색에서 색상의 진하고 엷음을 나타내는 값이다. 원래는 유채색에만 쓰이는 값이지만, 실세계의 영상에서 사람이 시각적으로 보이기에 무채색일지라도 빛의 반사 또는 주변 환경이 비춰짐에 따라 RGB 값이 모두 같은 값이 아닌 경우가 많다. 이 경우 RGB 값은 각각에 대해서 그리 큰 차이가 없기 때문에, 채도 값이 크게 나타나지 않는다.
다음으로 컬러 영상을 흑백 영상으로 변환한 후, 이 흑백 영상으로부터 이진 영상을 유도해낸다(S340). 흑백 영상으로 변환하는 이유는 RGB 영상에서 바로 이진 영상을 변환할 수 없기 때문에 흑백 영상으로 변환하는 것이다.
이진 영상 유도 방법은 영상을 임계값(threshold)을 기준으로 0과 1의 값만을 가지는 2레벨 영상으로 변환한다. 영상의 이진화 임계값 설정 방법은 전역적 임계값(global threshold), 블록 이진화 기법, 적응적 임계값(adaptive threshold)설정, 보간적 임계값(iterative threshold) 설정 등이 있다. 영상의 내용을 기준으로 자동적으로 적절한 임계값을 찾아주는 적응적 임계값 설정 방법을 이용하였다.
적응적 임계값은 전체 영상의 히스토그램을 이용하는 것이 아니라 영상의 일부분에 대한 히스토그램을 가지고 그 일부분만을 위한 임계값을 구하는 방법이다. 도 6은 전체 작물 영상을 m * m 개의 소 영상으로 분할한 다음 각 소 영상에 대하여 히스토그램을 조사하여 그 소 영상에 대한 임계값 Tij(1≤i, j≤m)을 결정한다.
도 7에서는 입력 영상의 대해서 size * size의 크기를 갖는 블록을 잡아서 화소 값의 평균값을 구하여 그 부분에서의 임계값으로 설정한다. 그리고 이 값을 기준으로 이진화를 진행한다. 이진화 처리 과정은 원본 영상에서 블러링 단계를 걸쳐서, 임계치를 조절하여 이진화 이미지로 리턴한다. 도 8, 도 9, 도 10은 잎 형태, 줄기 형태, 열매 형태를 이진화 처리 방법을 이용하여 추출한 영상이다.
그 후 이진화 영상으로부터 캐니 에지 및 헤리스 코너 기법을 이용하여 작물의 형태 및 크기를 추출하게 된다(S350, S360).
에지 추출은 1차 미분의 기울기 크기를 사용하여 에지를 검출하는 cvSobel 함수와 2차 미분 필터링 함수인 csLaplece, LoG(Laplacian of Gaussian)로 필터링한 후에 0-교차점을 찾아 에지를 검출한다. cvCanny 함수를 사용한 에지 검출은 1채널인 입력 영상에서 에지를 검출하여 결과를 edges에 저장한다. aperture_size * aperture_size 크기의 커널 필터를 사용하고, 히스테리시스 임계값에 사용되는 두 임계값 threshold1 < threshold2를 사용하여 에지를 연결한다. 캐니 에지 검출 알고리즘은 다음과 같다. 도 11은 캐니(Canny) 에지 검출 프로세스 처리를 나타낸다.
캐니 에지 처리 과정은 영상에서 그레이 변환하여 Cv.Canny()함수를 호출하여 결과를 리턴한다. CV.Canny() 함수는 단계 1인 가우시안 필터링을 하지 않으므로, 영상에서 잡음을 제거하기 위해서는 직접 CV.Smooth 함수를 호출하여 영상을 부드럽게 한다. 단계 2의 그레디언트 계산은 CV.Sobel(src, dx, 1, 0, aperture_size), CV.Sobel(src, dy, 0, 1, aperture_size)로 기울기를 계산한다. 도 12는 CV.Canny를 이용한 에지추출 알고리즘을 나타낸다. 도 13과 도 14는 캐니 에지 알고리즘을 이용한 에지 추출을 나타낸다.
영상 내에 존재하는 코너의 밀도를 이용하여 효율적으로 식물의 길이를 추출 할 수 있다. 잘못된 코너 추출을 줄이기 위해 코너 맵을 생성하기 전 가우시안 필터를 사용한다. 해리스 코너 검출기를 이용하여 이러한 코너 맵을 생성한다. 해리스 코너 검출기에 대하여 간단히 살펴보면, 기본적으로 지역적인 신호 변화를 측정할 수 있는 자동 상관 관계 지역 함수에 바탕을 두고 있다. 영상 내에서 점(x,y) 가 주어지고 이에 대한 변화량이 (Δx,Δy)로 주어지면 자동 상관 관계 함수는 식 1과 같이 표현 할 수 있다.
Figure pat00001
I(·,·)은 밝기를 나타내며 (xi,yi)은 가우시안 윈도 내부의 점들을 나타낸다. (Δx,Δy)만큼 움직인 영역을 테일러 확장을 이용하여 표현하면 식 2와 같다.
Figure pat00002
Ix(·,·), Iy(·,·)은 각각 x, y에 대한 기울기를 나타낸다. 식 2를 식 1에 대입하여 정리하면 아래의 식 3과 같다.
Figure pat00003
식 3의 두 번째 행렬을 C(x,y)라 하고 이를 이용하여 코너의 정도를 판단하게 된다. 코너의 정도는 식 3에 의하여 결정되고 각 픽셀에 대하여 코너의 정도를 나타내는
Figure pat00004
값을 이용하여 아래 식 4, 5와 같이 코너 맵을 생성한다.
Figure pat00005
Figure pat00006
여기서
Figure pat00007
를 사용하였으며 HCM 은
Figure pat00008
값을 이용하여 이진화한 코너 맵을 나타낸다.
도 15와 도 16은 줄기와 열매 형태를 해리스 코너를 이용하여 코너 검출한 결과 화면이다. 도 17은 해리스 코너를 이용한 코너 검출 알고리즘이다.
이와 같이 캐니 에지검출 기법과 해리스 코너를 이용해 특징점을 추출하여 작물의 형태, 길이를 분류하고, 또한 색상을 추출하여 색상을 분류하여 결국 작물의 생장 단계(발아기, 모종 시기, 개화기, 성숙기)를 분류하게 된다(S370).
도 18은 발아기와 모종 시기를 작물의 길이와 형태를 이용하여 작물의 단계를 인식한 결과 화면이다.
그리고 도 19는 개화기와 성숙기를 인식하는 영상으로 먼저 관심영역을 지정하고 관심영역의 색상은 관심 영역에서 가장 많은 비율을 갖고 있는 꽃의 색상과 열매의 색상 정확도를 높이기 위해서 작물의 형태를 이용하여 단계를 인식한 결과 화면이다.
마지막으로 각 생장 단계 분류에 따른 환경제어 명령을 하도록 제어하게 된다(S380). 발아기와 모종 시기는 작물의 길이와, 작물의 형태를 이용하여 각 단계를 찾아 단계에 맞는 환경을 설정한다. 작물의 개화기와 성숙기를 인식하기 위해서는 색상을 추출하고, 정확도를 높이기 위해 형태를 추출하여 개화기이면 개화기에 맞는 환경 제어를 하고 종료를 하고 성숙기이면 성숙기에 맞는 환경제어를 하고 종료한다.
이상에서 본 발명의 바람직한 실시예에 대하여 설명하였으나 본 발명은 상술,한 특정의 실시예에 한정되지 아니한다. 즉, 본 발명이 속하는 기술분야에서 통상의 지식을 가지는 자라면 첨부된 특허청구범위의 사상 및 범주를 일탈함이 없이 본 발명에 대한 다수의 변경 및 수정이 가능하며, 그러한 모든 적절한 변경 및 수정의 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.

Claims (4)

  1. 시설(100) 내에 설치된 카메라(120)로부터 작물 원본 영상을 획득하여, 상기 작물 원본 영상으로부터 작물의 관심 영역을 추출한 후 이로부터 작물의 형태나 크기 또는 색상 중 적어도 하나의 정보를 인식하여 작물의 생장 단계를 인식하고, 상기 인식된 적어도 하나의 정보를 이용하여 발아기, 모종시기, 개화기, 성숙기로 구분되는 작물의 생장 단계를 분류하며, 각 생장 단계에 따라 환경제어 명령을 보내는 생장 단계 인식 및 분류 서버(220); 및,
    상기 시설 내의 카메라(120)로부터 작물 원본 영상을 수신하여 상기 생장 단계 인식 및 분류 서버(220)에 보내고, 상기 생장 단계 인식 및 분류 서버(220)로부터 각 생장 단계에 따라 환경제어 명령을 수신하는 경우 상기 시설 내의 환경장치 제어모듈(160)에 환경제어 명령을 송출하는 송수신 및 환경제어 서버(240)를 포함하는 것을 특징으로 하는 작물 생장 단계 인식 및 환경 제어 시스템.
  2. 제 1 항에 있어서, 상기 생장 단계 인식 및 분류 서버(220)는,
    상기 작물 원본 영상으로부터 작물의 관심 영역을 추출하고 상기 관심 영역으로부터 색상을 추출하고, 상기 관심 영역의 컬러 영상을 흑백 영상으로 변환한 후 이진화 영상을 추출하고 상기 이진화 영상으로부터 캐니 에지 및 헤리스 코너 기법을 이용하여 작물의 형태 및 크기를 추출하며, 상기 작물의 색상과 형태 및 크기 정보를 이용하여 작물의 생장 단계를 인식 및 분류하는 것을 특징으로 하는 작물 생장 단계 인식 및 환경 제어 시스템.
  3. a) 시설 내에 설치된 카메라로부터 작물 원본 영상을 수신하는 단계;
    b) 상기 작물 원본 영상으로부터 작물의 관심 영역을 추출한 후, 이로부터 작물의 형태나 크기 또는 색상 중 적어도 하나의 정보를 인식하여 작물의 생장 단계를 인식하는 단계;
    c) 상기 인식된 적어도 하나의 정보를 이용하여 발아기, 모종시기, 개화기, 성숙기로 구분되는 작물의 생장 단계를 분류하는 단계; 및,
    d) 상기 각 생장 단계에 따라 시설에 환경제어 명령을 송출하는 단계;를 포함하는 것을 특징으로 하는 작물 생장 단계 인식 및 환경 제어 방법.
  4. 제 3 항에 있어서, 상기 b) 단계는,
    b1) 상기 작물 원본 영상으로부터 작물의 관심 영역을 추출하는 단계;
    b2) 상기 관심 영역으로부터 색상을 추출하는 단계;
    b3) 상기 관심 영역의 컬러 영상을 흑백 영상으로 변환한 후 이진화 영상을 추출하는 단계; 및,
    b4) 상기 이진화 영상으로부터 캐니 에지 및 헤리스 코너 기법을 이용하여 작물의 형태 및 크기를 추출하는 단계를 포함하는 것을 특징으로 하는 작물 생장 단계 인식 및 환경 제어 방법.
KR1020140076682A 2013-06-21 2014-06-23 작물 생장 단계 인식 및 환경 제어 시스템 및 그 방법 KR20150000435A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130071560 2013-06-21
KR20130071560 2013-06-21

Publications (1)

Publication Number Publication Date
KR20150000435A true KR20150000435A (ko) 2015-01-02

Family

ID=52474547

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140076682A KR20150000435A (ko) 2013-06-21 2014-06-23 작물 생장 단계 인식 및 환경 제어 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR20150000435A (ko)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160137727A (ko) * 2015-05-20 2016-12-01 성균관대학교산학협력단 작물의 생육 정보 수집 장치 및 방법
WO2018057799A1 (en) * 2016-09-21 2018-03-29 iUNU, LLC Horticultural care tracking, validation and verification
KR20180055604A (ko) * 2016-11-17 2018-05-25 전라남도 군락에서 열화상 이미지를 통한 작물기관별 온도식별시스템에 사용되는 정보처리장치
KR20190015656A (ko) * 2017-08-03 2019-02-14 경북대학교 산학협력단 Iot 기반 과수 모니터링 시스템 및 방법
CN109781729A (zh) * 2019-01-17 2019-05-21 广西慧云信息技术有限公司 一种葡萄生理情况在线监控系统
US10339380B2 (en) 2016-09-21 2019-07-02 Iunu, Inc. Hi-fidelity computer object recognition based horticultural feedback loop
KR20190104811A (ko) * 2018-03-02 2019-09-11 한국과학기술연구원 작물활성지수 기반 시설원예 복합환경 제어시스템 및 방법
CN110377961A (zh) * 2019-06-25 2019-10-25 北京百度网讯科技有限公司 作物生长环境控制方法、装置、计算机设备及存储介质
US10635274B2 (en) 2016-09-21 2020-04-28 Iunu, Inc. Horticultural care tracking, validation and verification
US10791037B2 (en) 2016-09-21 2020-09-29 Iunu, Inc. Reliable transfer of numerous geographically distributed large files to a centralized store
CN111964723A (zh) * 2020-08-18 2020-11-20 合肥金果缘视觉科技有限公司 一种基于人工智能的花生米短芽检测系统
KR20210074484A (ko) * 2019-12-12 2021-06-22 대한민국(농촌진흥청장) 클라우드 기반 주간 온실 환경 의사결정지원 서버 및 이를 이용한 주간 온실 환경 의사결정지원 시스템
KR20210074501A (ko) * 2019-12-12 2021-06-22 대한민국(농촌진흥청장) 클라우드 기반 일간 온실 환경 의사결정지원 서버 및 이를 이용한 일간 온실 환경 의사결정지원 시스템
KR20210074509A (ko) * 2019-12-12 2021-06-22 대한민국(농촌진흥청장) 클라우드 기반 실시간 온실 환경 의사결정지원 서버 및 이를 이용한 실시간 온실 환경 의사결정지원 시스템
US11062516B2 (en) 2018-02-07 2021-07-13 Iunu, Inc. Augmented reality based horticultural care tracking
KR20210112452A (ko) * 2020-03-05 2021-09-15 김성연 영상처리 기술을 적용한 버섯 객체 생장 모니터링 방법
KR20210157194A (ko) * 2020-06-19 2021-12-28 대한민국(농촌진흥청장) 영상처리를 이용한 작물 생육량 측정 장치 및 그 방법
US11244398B2 (en) 2016-09-21 2022-02-08 Iunu, Inc. Plant provenance and data products from computer object recognition driven tracking
US11538099B2 (en) 2016-09-21 2022-12-27 Iunu, Inc. Online data market for automated plant growth input curve scripts
WO2024043363A1 (ko) * 2022-08-25 2024-02-29 한국전자기술연구원 영상 분할 기법을 이용한 작물의 표준 색상 정보 제공 장치 및 방법

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160137727A (ko) * 2015-05-20 2016-12-01 성균관대학교산학협력단 작물의 생육 정보 수집 장치 및 방법
US10791037B2 (en) 2016-09-21 2020-09-29 Iunu, Inc. Reliable transfer of numerous geographically distributed large files to a centralized store
US10635274B2 (en) 2016-09-21 2020-04-28 Iunu, Inc. Horticultural care tracking, validation and verification
US11347384B2 (en) 2016-09-21 2022-05-31 Iunu, Inc. Horticultural care tracking, validation and verification
US11411841B2 (en) 2016-09-21 2022-08-09 Iunu Inc. Reliable transfer of numerous geographically distributed large files to a centralized store
US10339380B2 (en) 2016-09-21 2019-07-02 Iunu, Inc. Hi-fidelity computer object recognition based horticultural feedback loop
WO2018057799A1 (en) * 2016-09-21 2018-03-29 iUNU, LLC Horticultural care tracking, validation and verification
US11783410B2 (en) 2016-09-21 2023-10-10 Iunu, Inc. Online data market for automated plant growth input curve scripts
US11538099B2 (en) 2016-09-21 2022-12-27 Iunu, Inc. Online data market for automated plant growth input curve scripts
US11244398B2 (en) 2016-09-21 2022-02-08 Iunu, Inc. Plant provenance and data products from computer object recognition driven tracking
US11776050B2 (en) 2016-09-21 2023-10-03 Iunu, Inc. Online data market for automated plant growth input curve scripts
KR20180055604A (ko) * 2016-11-17 2018-05-25 전라남도 군락에서 열화상 이미지를 통한 작물기관별 온도식별시스템에 사용되는 정보처리장치
KR20190015656A (ko) * 2017-08-03 2019-02-14 경북대학교 산학협력단 Iot 기반 과수 모니터링 시스템 및 방법
US11804016B2 (en) 2018-02-07 2023-10-31 Iunu, Inc. Augmented reality based horticultural care tracking
US11062516B2 (en) 2018-02-07 2021-07-13 Iunu, Inc. Augmented reality based horticultural care tracking
KR20190104811A (ko) * 2018-03-02 2019-09-11 한국과학기술연구원 작물활성지수 기반 시설원예 복합환경 제어시스템 및 방법
CN109781729A (zh) * 2019-01-17 2019-05-21 广西慧云信息技术有限公司 一种葡萄生理情况在线监控系统
CN110377961B (zh) * 2019-06-25 2023-04-28 北京百度网讯科技有限公司 作物生长环境控制方法、装置、计算机设备及存储介质
CN110377961A (zh) * 2019-06-25 2019-10-25 北京百度网讯科技有限公司 作物生长环境控制方法、装置、计算机设备及存储介质
KR20210074509A (ko) * 2019-12-12 2021-06-22 대한민국(농촌진흥청장) 클라우드 기반 실시간 온실 환경 의사결정지원 서버 및 이를 이용한 실시간 온실 환경 의사결정지원 시스템
KR20210074501A (ko) * 2019-12-12 2021-06-22 대한민국(농촌진흥청장) 클라우드 기반 일간 온실 환경 의사결정지원 서버 및 이를 이용한 일간 온실 환경 의사결정지원 시스템
KR20210074484A (ko) * 2019-12-12 2021-06-22 대한민국(농촌진흥청장) 클라우드 기반 주간 온실 환경 의사결정지원 서버 및 이를 이용한 주간 온실 환경 의사결정지원 시스템
KR20210112452A (ko) * 2020-03-05 2021-09-15 김성연 영상처리 기술을 적용한 버섯 객체 생장 모니터링 방법
KR20210157194A (ko) * 2020-06-19 2021-12-28 대한민국(농촌진흥청장) 영상처리를 이용한 작물 생육량 측정 장치 및 그 방법
CN111964723A (zh) * 2020-08-18 2020-11-20 合肥金果缘视觉科技有限公司 一种基于人工智能的花生米短芽检测系统
WO2024043363A1 (ko) * 2022-08-25 2024-02-29 한국전자기술연구원 영상 분할 기법을 이용한 작물의 표준 색상 정보 제공 장치 및 방법

Similar Documents

Publication Publication Date Title
KR20150000435A (ko) 작물 생장 단계 인식 및 환경 제어 시스템 및 그 방법
Fu et al. A novel image processing algorithm to separate linearly clustered kiwifruits
Aquino et al. A new methodology for estimating the grapevine-berry number per cluster using image analysis
Li et al. Immature green citrus fruit detection and counting based on fast normalized cross correlation (FNCC) using natural outdoor colour images
Zhou et al. Using colour features of cv.‘Gala’apple fruits in an orchard in image processing to predict yield
CN102663397B (zh) 一种小麦出苗的自动检测方法
KR101822410B1 (ko) 작물 영상을 사용한 작물 생육 진단 장치
Masood et al. Plants disease segmentation using image processing
CN111007013B (zh) 面向东北冷凉区的作物轮作休耕遥感监测方法与装置
Ji et al. In-field automatic detection of maize tassels using computer vision
CN113252584B (zh) 基于5g传输的作物生长检测方法及系统
CN106845366B (zh) 基于图像的甘蔗覆盖度自动检测方法
CN110599507A (zh) 一种番茄识别定位方法及系统
Zhang et al. Yield estimation of citrus fruit using rapid image processing in natural background
Dwivedi et al. Study of machine learning techniques for plant disease recognition in agriculture
CN115641504A (zh) 一种基于作物物候特征与决策树模型的田块边界自动化遥感提取方法
CN115861686A (zh) 基于边缘深度学习的荔枝关键生长期识别检测方法及系统
KR20190069648A (ko) 인삼의 영상 이미지 분석을 통한 생육량 측정 방법
Swarup et al. Strawberry plant wetness detection using color and thermal imaging
CN105427279A (zh) 一种基于计算机视觉及物联网的草原旱情监测系统和方法
Li et al. A novel approach for the 3D localization of branch picking points based on deep learning applied to longan harvesting UAVs
Wijethunga et al. Digital image analysis based automated kiwifruit counting technique
CN115953690B (zh) 用于无人收割机行进校准的倒伏作物识别方法
AHM et al. A deep convolutional neural network based image processing framework for monitoring the growth of soybean crops
Peng et al. Detecting coffee (Coffea arabica L.) sequential flowering events based on image segmentation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application