KR102649593B1 - 작물 모니터링 장치 - Google Patents

작물 모니터링 장치 Download PDF

Info

Publication number
KR102649593B1
KR102649593B1 KR1020210121651A KR20210121651A KR102649593B1 KR 102649593 B1 KR102649593 B1 KR 102649593B1 KR 1020210121651 A KR1020210121651 A KR 1020210121651A KR 20210121651 A KR20210121651 A KR 20210121651A KR 102649593 B1 KR102649593 B1 KR 102649593B1
Authority
KR
South Korea
Prior art keywords
unit
photographing
image
target object
control unit
Prior art date
Application number
KR1020210121651A
Other languages
English (en)
Other versions
KR20230038941A (ko
Inventor
황승미
김석기
감명곤
Original Assignee
라온피플 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 라온피플 주식회사 filed Critical 라온피플 주식회사
Priority to KR1020210121651A priority Critical patent/KR102649593B1/ko
Publication of KR20230038941A publication Critical patent/KR20230038941A/ko
Application granted granted Critical
Publication of KR102649593B1 publication Critical patent/KR102649593B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G9/00Cultivation in receptacles, forcing-frames or greenhouses; Edging for beds, lawn or the like
    • A01G9/24Devices or systems for heating, ventilating, regulating temperature, illuminating, or watering, in greenhouses, forcing-frames, or the like
    • A01G9/26Electric devices
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16MFRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02Heads
    • F16M11/04Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
    • F16M11/043Allowing translations
    • F16M11/046Allowing translations adapted to upward-downward translation movement
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/56Accessories

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)

Abstract

복수열을 이루면서 소정의 높이로 설치되어 작물의 생장공간을 제공하는 배드의 사이를 이동하면서 작물의 생장상태를 모니터링하는 작물 모니터링 장치를 제시하며, 상기 배드 사이의 지면과 상기 배드의 상부 중 적어도 하나에 이동 가능하게 설치되어 상기 배드를 따라 이동하는 이동유닛; 상기 이동유닛에 설치되어 작물을 촬영하면서 제1 이미지 및 제2 이미지를 제공하는 촬영유닛; 상기 이동유닛에 설치되어 상기 촬영유닛을 승강 가능하게 지지하면서 상기 촬영유닛의 높이를 조절하는 적어도 하나의 승강유닛; 상기 촬영유닛의 촬영상태정보를 저장하는 메모리; 및 상기 제1 이미지에 기초하여 상기 촬영유닛의 촬영상태정보를 결정하고, 상기 촬영상태정보에 기초하여 작물의 일부분 중 타깃객체를 촬영하도록 상기 이동유닛, 상기 촬영유닛 및 상기 승강유닛을 제어하며, 상기 타깃객체를 촬영한 상기 제2 이미지를 기반으로 진단정보를 생성하는 제어부를 포함한다.

Description

작물 모니터링 장치{CROP MONITERING APPARATUS}
본 명세서에서 개시되는 실시예들은 작물 모니터링 장치에 관한 것으로, 더욱 상세하게는 작물의 배드 사이를 이동하면서 작물을 촬영하여 작물의 생장상태를 모니터링할 수 있는 작물 모니터링 장치에 관한 것이다.
최근 들어, 정보통신기술을 농업의 생산/가공/유통/소비 등에 접목 하여 원격에서 자동으로 작물의 생육환경을 관리하도록 하고 생산효율성을 높일 수 있도록 하고, 식물재배를 농촌 환경은 물론 도심 속에서도 구축할 수 있는 스마트팜(smart farm) 기술이 개발되고 있다.
구체적으로, 스마트팜이란, 비닐하우스, 축사 등 기존의 농사 기술에 정보통신기술(Information Communication Technoloy)을 접목하여 원격 및 자동으로 작물 또는 가축의 생육환경을 적절하게 유지, 관리할 수 있는 농장에 관련된 기술을 지칭한다. 스마트팜을 이용함으로써, 작물의 생육 정보와 환경 정보에 대한 데이터를 기반으로 최적의 생육 환경을 조성하여 농산물의 생산성과 품질을 제고할 수 있다.
여기서, 작물의 생육 상태를 정확하게 진단하기 위해서는 작물의 생장점을 관찰하는 것이 중요하다.
그런데, 작물의 생장공간을 이루는 배지의 높이가 불균일하여 촬영 이미지마다 서로 차이가 있으며, 작물이 생장함에 따라 생장점의 위치가 달라지므로 작물을 촬영하기 위한 카메라도 생장점의 높이에 맞게 일일이 설치되어야 하는 번거로움이 있다.
스마트팜의 구현을 위한 관련된 선행기술로서 한국공개특허공보 제10-2020-0140953호에 개시된 자율주행식 무인방제차량의 분사장치가 있으나, 차량으로부터 전송되는 카메라의 영상을 통해 차량을 이동시키면서 작물에 약액을 분사하는 구성만이 개시되어 있을 뿐이어서 작물의 생장점의 높이에 맞게 촬영할 수 없는 문제점이 있다.
따라서, 상술한 문제점을 해결하기 위한 기술이 필요하게 되었다.
한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 명세서에서 개시되는 실시예들은, 작물의 생장점에 대응하는 높이에서 작물을 촬영함으로써 작물의 생장상태를 정확하게 진단할 수 있는 작물 모니터링 장치를 제시하는데 목적이 있다.
구체적으로, 본 명세서에서 개시되는 실시예들은, 촬영유닛을 지지하는 승강유닛의 승강을 통해 촬영유닛을 작물의 생장점에 대응하는 높이로 승강시키면서 작물의 촬영을 수행할 수 있는 작물 모니터링 장치를 제시하는데 목적이 있다.
또한, 본 명세서에서 개시되는 실시예들은, 작물이 생장하는 배드 사이의 지면 또는 배드의 상부를 이동하면서 작물의 생장점을 촬영할 수 있는 작물 모니터링 장치를 제시하는데 목적이 있다.
또한, 본 명세서에서 개시되는 실시예들은, 배드의 상부를 이동할 경우에는 배드의 길이방향은 물론, 배드를 가로지르는 방향으로 이동하면서 작물의 생장점을 촬영할 수 있는 작물 모니터링 장치를 제시하는데 목적이 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 작물 모니터링 장치의 일 실시예에 따르면, 복수열을 이루면서 소정의 높이로 설치되어 작물의 생장공간을 제공하는 배드의 사이를 이동하면서 작물의 생장상태를 모니터링하는 작물 모니터링 장치에 있어서, 상기 배드 사이의 지면과 상기 배드의 상부 중 적어도 하나에 이동 가능하게 설치되어 상기 배드를 따라 이동하는 이동유닛; 상기 이동유닛에 설치되어 작물을 촬영하면서 제1 이미지 및 제2 이미지를 제공하는 촬영유닛; 상기 이동유닛에 설치되어 상기 촬영유닛을 승강 가능하게 지지하면서 상기 촬영유닛의 높이를 조절하는 적어도 하나의 승강유닛; 상기 촬영유닛의 촬영상태정보를 저장하는 메모리; 및 상기 제1 이미지에 기초하여 상기 촬영유닛의 촬영상태정보를 결정하고, 상기 촬영상태정보에 기초하여 작물의 일부분 중 타깃객체를 촬영하도록 상기 이동유닛, 상기 촬영유닛 및 상기 승강유닛을 제어하며, 상기 타깃객체를 촬영한 상기 제2 이미지를 기반으로 진단정보를 생성하는 제어부를 포함할 수 있다.
전술한 과제 해결 수단 중 어느 하나에 의하면, 작물의 생장점에 대응하는 높이에서 작물을 촬영함으로써 작물의 생장상태를 정확하게 진단할 수 있는 작물 모니터링 장치를 제시할 수 있다.
전술한 과제 해결 수단 중 어느 하나에 의하면, 촬영유닛을 지지하는 승강유닛의 승강을 통해 촬영유닛을 작물의 생장점에 대응하는 높이로 승강시키면서 작물의 촬영을 수행할 수 있는 작물 모니터링 장치를 제시할 수 있다.
전술한 과제 해결 수단 중 어느 하나에 의하면, 작물이 생장하는 배드 사이의 지면 또는 배드의 상부를 이동하면서 작물의 생장점을 촬영할 수 있는 작물 모니터링 장치를 제시할 수 있다.
전술한 과제 해결 수단 중 어느 하나에 의하면, 배드의 상부를 이동할 경우에는 배드의 길이방향은 물론, 배드를 가로지르는 방향으로 이동하면서 작물의 생장점을 촬영할 수 있는 작물 모니터링 장치를 제시할 수 있다.
개시되는 실시예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 개시되는 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 일 실시예에 따른 작물 모니터링 장치가 지상에 설치된 상태를 나타내는 구성도이다.
도 2는 일 실시예에 따른 작물 모니터링 장치가 배드의 상부에 설치된 상태를 나타내는 구성도이다.
도 3은 일 실시예에 따른 작물 모니터링 장치의 구성을 나타내는 블록도이다.
도 4는 일 실시예에 따른 작물 모니터링 장치의 이동레일이 배드의 상부에 설치된 상태를 나타내는 구성도이다.
도 5는 일 실시예에 따른 작물 모니터링 장치에 의한 작물 모니터링 방법을 나타내는 순서도이다.
아래에서는 첨부한 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 아래에서 설명되는 실시예들은 여러 가지 상이한 형태로 변형되어 실시될 수도 있다. 실시예들의 특징을 보다 명확히 설명하기 위하여, 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략하였다. 그리고, 도면에서 실시예들의 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐 아니라, '그 중간에 다른 구성을 사이에 두고 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성이 어떤 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들을 더 포함할 수도 있음을 의미한다.
이하 첨부된 도면을 참고하여 실시예들을 상세히 설명하기로 한다.
다만, 이를 설명하기에 앞서 아래에서 사용되는 용어들의 의미를 먼저 정의한다.
'작물'이란 농장에서 재배되는 식물뿐만 아니라 산림식물이나 온실의 식물을 지칭하며, 예를 들어 식용작물, 공예작물, 사료작물, 비료작물, 원예작물 등이 될 수 있다.
'타깃객체'는 생육 진단 또는 병해충 검출의 대상을 의미하는 것으로서, 농장에서 작물의 과실, 열매, 꽃, 잎 등일 수 있다.
도 1은 일 실시예에 따른 작물 모니터링 장치가 지상에 설치된 상태를 나타내는 구성도이고, 도 2는 일 실시예에 따른 작물 모니터링 장치가 배드의 상부에 설치된 상태를 나타내는 구성도이며, 도 3은 일 실시예에 따른 작물 모니터링 장치의 구성을 나타내는 블록도이다. 또한, 도 4는 일 실시예에 따른 작물 모니터링 장치의 이동레일이 배드의 상부에 설치된 상태를 나타내는 구성도이고, 도 5는 일 실시예에 따른 작물 모니터링 장치에 의한 작물 모니터링 방법을 나타내는 순서도이다.
일 실시예에 따른 작물 모니터링 장치(10)는 도 1에 도시된 바와 같이 작물의 생장공간을 제공하는 배드(1)의 사이를 이동하면서 작물의 촬영을 통해 작물의 생장상태를 관찰하기 위한 장치이다.
여기서, 배드(1)는 작물의 생장을 위한 영양분이 마련되어 미도시된 작물이 식재되면서 생장하는 구성으로 소정의 높이로 설치될 수 있으며, 복수열을 이루면서 길이방향으로 연속될 수 있다.
구체적으로, 일 실시예에 따른 작물 모니터링 장치(10)는 도 1 내지 도 3에 도시된 바와 같이 이동유닛(100), 촬영유닛(200), 승강유닛(300), 메모리(400) 및 제어부(500)를 포함하여 구성될 수 있다.
상기 이동유닛(100)은 후술되는 구성요소들의 설치공간을 제공하는 구성요소이며, 도 1에 도시된 바와 같이 배드(1) 사이의 지면을 이동하거나 도 2에 도시된 바와 같이 배드(1)의 상부를 이동하면서 배드(1)의 길이 방향을 따라 이동하는 구성요소이다.
이러한 이동유닛(100)은 도 1 및 도 2에 도시된 바와 같이 로봇(110) 및 이동레일(120)을 포함하여 구성될 수 있다.
상기 로봇(110)은 자율주행이나 원격제어에 의한 주행을 통해 배드(1) 사이의 지면이나 배드(1)의 상부를 주행하면서 후술되는 촬영유닛(200) 및 승강유닛(300)을 배드(1)의 길이 방향을 따라 이동시킬 수 있다.
이러한 로봇(110)은 후술되는 제어부(400)의 제어에 의해 작동하면서 주행할 수 있다.
여기서, 로봇(110)은 제어부(500)에 의해 작동하는 복수의 바퀴의 회전을 통해 이동하거나 무한궤도의 회전을 통해 주행할 수 있으나 이에 한정하지 않으며, 원격제어에 의해 주행할 수 있는 모든 구성이 적용될 수 있다.
상기 이동레일(120)은 전술한 로봇(110)의 이동경로를 제공하기 위한 구성요소이다.
이러한 이동레일(120)은 배드(1)의 사이 지면의 길이방향을 따라 설치되거나 배드(1)의 상부에 설치될 수 있다.
여기서, 이동레일(120)은 로봇(110)이 배드(1) 사이의 지면을 따라 이동하는 구성을 가질 경우에는 생략될 수도 있다.
한편, 이동레일(120)은 로봇(110)이 배드(1)의 상부를 이동하도록 구성될 경우에는, 도 2에 도시된 바와 같이 배드(1)의 사이에 길이 방향을 따라 설치될 수 있다.
이에 따라, 로봇(110)은 배드(1) 상부에 설치된 이동레일(120)에 매달린 상태로 설치되어 이동레일(120)의 길이방향을 따라 이동할 수 있다.
상기 촬영유닛(200)은 로봇(110)에 설치된 상태로 로봇(110)과 함께 이동하면서 배드(1)의 작물을 촬영하는 구성요소이다.
이러한 촬영유닛(200)은 후술되는 승강유닛(300)을 매개로 로봇(110)에 설치되어 소정의 높이로 조절되면서 촬영을 수행할 수 있다.
구체적으로, 촬영유닛(200)은 실시예에 따르면, PTZ(Pan Tilt Zoom) 카메라로 구성되어 렌즈의 회전, 각도 및 확대가 제어부(500)에 의해 원격으로 제어될 수 있으며, 피사체의 상을 받아들여, 광 신호를 수신하여 이를 전기적 신호로 변환한 후, 변환된 신호를 영상 신호로 생성하여 이미지를 생성할 수 있다.
이에 따라, 촬영유닛(200)은 회전을 통해 2열의 배드(1)의 사이에서 회전하면서 촬영을 수행함으로써 로봇(110)의 양쪽에 각각 배치된 배드(1)의 작물을 제각기 촬영하여 이미지를 생성할 수 있다.
또한, 촬영유닛(200)은 오토포커싱 기능을 탑재하고 있어 피사체에 대한 초점을 자동으로 맞출 수 있다. 이러한 촬영유닛(200)은 실시예에 따르면, EO(Electro-Optical) 센서(전자광학센서) 또는 IR(infrared) 센서(적외선 센서)로 구현될 수 있으며 그에 따라 화각(FOV; field of view) 내의 대상을 촬영할 수 있고 분석의 대상이 되는 촬영이미지를 생성할 수 있다. 또한 화각 내에서 촬영될 장면에 관한 이미지로서 화각 내의 대상을 표현하는 임시이미지도 촬영유닛(200)은 제어부(500)로 전달할 수 있다.
상기 승강유닛(300)은 이동유닛(100)을 구성하는 로봇(110)에 설치되어 촬영유닛(200)을 승강 가능하게 지지하는 구성요소이며, 제어부(500)의 제어에 의해 작동하면서 촬영유닛(200)의 높이를 조절하기 위한 구성요소이다.
즉, 승강유닛(300)은 배드(1)에 식재된 작물의 생장점과 같은 타깃객체에 대응하는 높이로 촬영유닛(200)을 승강시키는 구성요소이다.
이러한 승강유닛(300)은 도 1에 발췌 도시된 바와 같이 텔레스코픽봉(310) 및 길이조절부재(320)를 포함하여 구성될 수 있다.
상기 텔레스코픽봉(310)은 이동유닛(100)을 구성하는 로봇(110)과 촬영유닛(200)을 연결하면서 길이가 신축하는 구성요소이다.
구체적으로, 텔레스코픽봉(310)은 복수로 분할된 텔레스코픽 구조의 봉으로 구성되어 하단부가 로봇(110)에 고정되면서 상단부에 촬영유닛(200)이 설치될 수 있으며, 단위봉들의 인출을 통해 길이가 늘어나거나 단위봉들의 인입을 통해 길이가 줄어들면서 촬영유닛(200)을 승강시킬 수 있다.
상기 길이조절부재(320)는 텔레스코픽봉(310)의 길이를 조절함으로써 촬영유닛(200)을 소정의 높이로 조절하기 위한 구성요소이다.
이러한 길이조절부재(320)는 후술되는 제어부(500)에서 결정되는 촬영유닛(200)의 촬영상태정보를 기반으로 작동하면서 텔레스코픽봉(310)의 길이를 소정의 길이로 조절할 수 있다.
구체적으로, 길이조절부재(320)는 도 1에 발췌 도시된 바와 같이 랙기어(321) 및 피니언기어(322)를 포함하여 구성될 수 있다.
랙기어(321)는 텔레스코픽봉(310)의 일부분에 길이방향을 따라 톱니형태를 이루면서 형성될 수 있다.
피니언기어(322)는 랙기어(321)를 직선운동시키기 위한 구성요소로, 랙기어(321)와 맞물린 상태로 정회전 또는 역회전하면서 랙기어(321)를 전전후진시키는 구성요소이다.
이러한 피니언기어(322)는 제어부(500)의 제어에 의해 회전하는 미도시된 구동모터에 연결될 수 있으며, 제어부(500)에 의한 정회전을 통해 랙기어(321)를 전진시키면서 텔레스코픽봉(310)의 길이를 확장시키거나, 역회전을 통해 랙기어(321)를 로봇(110) 방향으로 후진시키면서 텔레스코픽봉(310)의 길이를 축소시킬 수 있다.
한편, 길이조절부재(320)는 유압펌프 또는 공압펌프로 구성되어 제어부(500)의 제어에 의해 작동하면서 유압이나 공압을 공급함으로써 텔레스코픽봉(310)의 길이를 신축시킬 수 있다.
상기 메모리(400)는 후술하는 제어부(500)에서 결정되는 촬영유닛(200)의 촬영상태정보를 저장하는 구성요소이다.
또한, 메모리(400)에는 파일, 어플리케이션 및 프로그램 등과 같은 다양한 종류의 데이터가 설치 및 저장될 수 있다.
한편, 전술한 촬영유닛(200)은 제어부(500)의 제어를 통해 작물을 촬영하면서 제1 이미지 및 제2 이미지를 제어부(500)로 제공할 수 있다.
관련하여 이하에서는 설명의 편의상, 전체 영역 내에서 타깃객체에 대응되는 이미지가 소정의 크기 이상의 면적을 차지하는 이미지를 '제2이미지'라 칭하며, 그 이외의 이미지는 '제1이미지'라 칭한다.
상기 제어부(500)는 제1 이미지에 기초하여 촬영유닛(200)의 촬영상태정보를 결정하고, 이를 기초로 작물의 일부분 중 생장점과 같은 타깃객체를 촬영하도록 이동유닛(100)과 촬영유닛(200) 및 승강유닛(300)을 제어하는 구성요소이며, 또한, 타깃객체를 촬영한 제2 이미지를 기반으로 작물에 대한 진단 정보를 생성하여 제공하는 구성요소이다.
이러한 제어부(500)는 작물 모니터링 장치(10)의 전체적인 동작을 제어하며, CPU 또는 GPU 등과 같은 프로세서를 포함할 수 있다. 또한, 메모리(400)에 저장된 프로그램을 실행시키거나, 메모리(400)에 저장된 파일을 읽어오거나, 새로운 파일을 메모리(400)에 저장할 수도 있다.
구체적으로, 제어부(500)는 제1 이미지에서 타깃후보객체를 하나 이상 식별해낼 수 있다.
예를 들어, 제어부(500)는 촬영유닛(200)이 생성한 이미지가 작물 전체를 촬영한 것이라면, 해당 촬영이미지 내에서는 타깃객체인 작물의 생장점이 복수 개 존재할 수 있다. 따라서 제어부(500)는 획득한 이미지 내에서, 타깃객체로 추정되는 타깃후보객체를 하나 이상 식별해낼 수 있다.
이를 위해 제어부(500)는 YOLO(YOU ONLY LOOK ONCE) 모델 또는 R-CNN(REGION BASED CONVOLUTIONAL NEURAL NETWORK) 모델, SSD(SINGLE SHOT MULTIBOX DETECTOR) 모델 등의 타깃객체 검출에 유리한 객체 식별 모델로 구현된 인공신경망을 학습시키고, 학습된 인공신경망에 기반하여 제1이미지 내에서의 타깃후보객체를 식별해낼 수 있다.
예를 들어, 제어부(500)는 작물의 생장점이 타깃객체일 경우, 작물을 촬영한 제1이미지를 학습된 인공신경망에 입력하여 제1이미지 내에서의 생장점을 식별해내고 식별된 위치를 바운딩박스로 처리함으로써 타깃후보객체를 추출해낼 수 있다.
그에 따라 제어부(500)는 제1이미지 내에서 타깃후보객체의 위치좌표 및 타깃후보객체의 개수를 결정할 수 있다.
예를 들어 제어부(500)는 제1이미지 내에서 타깃객체후보 영역이 바운딩박스로 구분된다면, 바운딩박스의 중심점 또는 바운딩박스의 일 꼭지점을 위치좌표로 추출할 수 있고, 또한 바운딩박스의 개수를 카운팅하여 타깃후보객체의 개수를 결정할 수 있다.
그리고 일 실시예에 따르면, 제어부(500)는 타깃후보객체가 복수개라면, 제2이미지의 획득을 위해 복수 개의 타깃후보객체 중 하나를 선택하고 선택된 타깃후보객체를 타깃객체로 결정할 수 있다.
그리고, 선택된 타깃후보객체에 관한 진단정보가 생성된다면, 제어부(500)는 제1이미지 내에서 식별된 다른 타깃후보객체를 타깃객체로 선정할 수 있으며, 제1이미지 내에서 모든 타깃후보객체에 관한 진단정보가 생성될 때까지 위 과정을 반복할 수 있다.
또 다른 실시예에 따르면, 제어부(500)는 타깃후보객체가 한 개라면 상기 한 개의 타깃후보객체를 타깃객체로 결정할 수 있다.
제어부(500)는 현재의 촬영상태정보, 현재의 거리정보 및 제1이미지 내에서의 타깃객체의 위치좌표에 기초하여 촬영상태정보를 결정할 수 있다.
이를 위해 제어부(500)는 타깃객체의 위치좌표를 결정할 수 있다.
실시예에 따르면 제어부(500)는 제1이미지 내에서 타깃객체의 식별을 위해 타깃후보객체를 에워싸는 바운딩박스의 중심점의 좌표를 연산하고 중심점의 좌표를 타깃객체의 위치좌표로 결정하거나, 또는 바운딩박스의 일 꼭지점의 좌표를 타깃객체의 위치좌표로 결정할 수 있다.
또 다른 실시예에 따르면 제어부(500)는 타깃객체 중에서 소정의 화소값을 갖는 위치의 좌표를 타깃객체의 위치좌표로 결정할 수 있는데 예를 들어, 타깃객체로 판단되는 영역 내에서 가장 밝은 화소값을 갖는 위치를 타깃객체의 위치좌표로 결정할 수 있다.
또한 제어부(500)는 현재의 촬영상태정보를 획득할 수 있다. 이때 현재의 촬영상태정보는 가장 최신의 촬영상태정보를 업데이트하고 있는 메모리(400)로부터 획득할 수 있다.
여기서, '촬영상태정보'는 팬(PAN) 각도, 틸트(TILT) 각도 및 줌 배율 중 적어도 하나를 포함할 수 있다. 또한 촬영상태정보는 추가로 포커싱값을 더 포함할 수 있다. 예를 들어 촬영상태정보에 따라 제어부(500)는 촬영유닛(200)을 상하좌우로 이동시키거나, 렌즈의 줌 배율을 조정하거나 포커싱을 조절하여 원거리/근거리의 피사체를 적절하게 촬영할 수 있도록 할 수 있다.
또한 촬영상태정보는 추가로, 촬영시의 환경에 관한 정보를 포함할 수 있으며, 예를 들어, 조도, 온도, 습도 및 풍속 등의 정보를 포함할 수 있다.
제어부(500)는 제1 이미지의 중심좌표가 피사체를 바라보는 촬영장치의 팬 각도 및 틸트 각도이므로 해당 팬 각도 및 틸트 각도를 현재의 촬영상태정보로 획득할 수 있다.
또한 제어부(500)는 현재의 거리정보를 획득할 수 있는데, 실시예에 따르면 거리측정부(130)로부터 획득할 수 있다. 따라서 예를 들어 제1이미지의 중심좌표에 대응되는 피사체까지의 거리를, 거리측정부(130)가 측정하여 획득할 수 있다.
이러한 거리측정부(130)는 하나의 실시예로서, TOF(TIME OF FLIGHT) 원리를 기반으로 촬영유닛(200)에서부터 타깃객체까지의 거리를 측정할 수 있다. 예를 들어, 거리측정부(130)는 지향성이 우수한 레이저를, 거리 측정하고자 하는 타깃객체에 대해 발사한 뒤, 레이저가 타깃객체로부터 반사되어 돌아온 시간을 측정하여 거리를 계산할 수 있다.
이러한 거리측정부(130)는 예를 들어, 레이저 거리측정기로 구현되거나, 뎁스 카메라로 구현될 수 있다. 다만 거리측정부(130)가 타깃객체까지 거리를 측정하는 방식은 상술된 예에 제한되는 것은 아니다.
따라서 실시예에 따르면, 제어부(500)는 제1이미지의 중심좌표에서부터 타깃객체의 위치좌표 간의 좌표차이를 연산하고, 현재의 거리정보에 기초하여 위치좌표를 촬영하기 위한 팬 각도 및 틸트 각도를 연산할 수 있다. 그리고 연산된 팬 각도 및 틸트 각도를 현재의 촬영상태정보에 반영함으로써 촬영상태정보를 생성할 수 있다.
그에 따라 제어부(500)는 이동유닛(100) 및 승강유닛(300)이 작동하도록 제어할 수 있으며 그에 따라 타깃객체가 촬영유닛(200)의 화각 내에 위치할 수 있다.
또한, 제어부(500)는 승강유닛(300)을 제어할 경우, 제1 이미지 내에서 배드(1)를 타깃객체로 식별하면서 배드(1)를 기반으로 승강유닛(300)을 제어할 수 있다.
예를 들어, 제어부(500)는 타깃객체로 식별된 배드(1)의 경계선을 기반으로 승강유닛(300)을 제어할 수 있으며, 촬영유닛(200)의 높이를 배드(1)의 경계선 중앙에 위치하도록 승강유닛(300)을 제어할 수 있다.
추가로 제어부(500)는, 촬영상태정보에 기초하여 이동유닛(100)이 이동한 이후, 촬영유닛(200)이 타깃객체를 보다 정밀하게 촬영하도록 촬영상태정보를 갱신할 수 있다.
실시예에 따라 제어부(500)는 타깃객체에 대해 촬영유닛(200)이 촬영할 수 있도록 포커싱값을 결정할 수 있다.
예를 들어, 제어부(500)는 타깃객체까지의 거리에 기초하여 초점을 맞추기 위한 포커싱값을 연산할 수 있으며, 이를 위해 거리측정부(130)로 하여금 촬영유닛(200)에서부터 타깃객체까지의 거리를 측정하도록 할 수 있다.
또한 예를 들어, 제어부(500)는 촬영유닛(200)에 구비된 오토포커싱 기능을 동작시키고 그에 따라 결정된 포커싱값을 메모리(400)에 저장할 수 있다.
또 다른 실시예에 따라 제어부(500)는 촬영유닛(200)을 통해 보이는 화각 내 이미지에서, 타깃객체에 관한 이미지 영역이 전체 이미지 영역 내에서 소정의 비율 이상을 차지하도록 줌 배율을 정할 수 있다.
이를 위해 예를 들어 제어부(500)는 픽셀 비율을 분석함으로써 타깃객체에 관한 이미지 영역이 전체 이미지 영역 내에서 소정의 비율 이상을 차지하도록 줌 배율을 정할 수 있다. 즉 제어부(500)는 타깃객체에 대응되는 픽셀의 개수가, 이미지의 전체 픽셀 개수 중 소정의 개수 이상 차지하도록 줌 배율을 조정할 수 있다.
이를 위해 제어부(500)는 화각 내 피사체 이미지 내에서 타깃객체로 추청되는 영역의 픽셀을 카운팅할 수 있다. 예를 들어, 타깃객체에 대응되는 색상의 픽셀을, 타깃객체로 추정되는 영역의 픽셀로 판단하고 제어부(500)는 타깃객체로 추정되는 영역의 픽셀을 카운팅할 수 있다.
또한 예를 들어, 제어부(500)는 타깃객체가 차지하는 면적을 연산하고, 타깃객체의 면적이 이미지의 면적에서 소정의 비율 이상 차지하도록 줌 배율을 조정할 수 있다. 따라서, 타깃객체가 귤일 때 원형의 과실인 귤의 가로 비율을 측정하여, 이미지 내에서 귤이 차지하는 면적을 원의 넓이를 계산하는 방식으로 연산함으로써 귤에 관한 이미지가 전체 이미지에서 차지하는 비율을 계산할 수 있다.
또는 예를 들어, 제어부(500)는 타깃객체의 경계를 식별하여 타깃객체의 크기를 연산함으로써 타깃객체에 관한 이미지 영역이 전체 이미지 영역 내에서 소정의 비율 이상을 차지하도록 줌 배율을 조정할 수 있다.
또는 예를 들어, 제어부(500)는 타깃객체의 경계를 식별하여 타깃객체의 경계와 이미지의 경계 간의 거리가 소정의 거리 이내가 되도록 줌 배율을 조정할 수 있다.
상술된 바에 따라 포커싱값 및 줌 배율이 연산되면 제어부(500)는 촬영상태정보를 갱신할 수 있다. 즉, 제어부(500)는 촬영유닛(200)으로 하여금 연산된 포커싱값 및 줌 배율에 따라 피사체를 촬영하도록 제어할 수 있다.
그에 따라 제어부(500)는 타깃객체가 포함된 제2이미지를 획득할 수 있다.
그리고 제어부(500)는 제2이미지를 분석함으로써 타깃객체의 생육정보 및 병해충정보 중 적어도 하나를 진단정보로서 생성할 수 있다.
관련하여 진단정보는, 이동유닛(100) 또는 촬영유닛(200)이 위치한 공간에서의 타깃객체의 위치좌표에 관한 정보도 포함할 수 있으며, 예를 들어 진단정보를 생성할 때의 이동유닛(100) 또는 촬영유닛(200)의 gps 정보 또는 이동유닛(100) 또는 촬영유닛(200)가 위치한 구획에 관한 정보 등을 포함할 수 있다. 관련하여 구획정보는, 예를 들어, 작물의 생육시설이나 구체적인 배드(1) 위치 등을 식별하기 위한 정보일 수 있으며, 구체적으로, 하나 이상의 과실(또는 꽃, 또는 잎 또는 줄기)이 존재하는 작물 식별정보 또는 작물이 위치하는 배드(1)의 식별정보일 수 있다.
제어부(500)는 진단정보의 생성을 위해 타깃객체와 배경을 분리하여, 제2이미지 내에서 타깃객체를 식별할 수 있다.
예를 들어, 제어부(500)는, 타깃객체의 엣지(edge)를 딥러닝 모델을 기반으로 식별함으로써, 엣지 내에 위치한 타깃객체와, 엣지 외부에 위치한 배경을 분리해낼 수 있다.
제어부(500)는 제2이미지를 분석하여 생육정보를 생성할 수 있다.
이때 생육정보는 타깃객체가 예를 들어 과실일 때, 수확 가능 시기를 판단하기 위해 어느정도 성장하였는지에 관한 정보로서, 예를 들어, 품종, 크기, 착색도 등의 정보를 포함할 수 있으며, 또한 크기와 착색도에 기반하여 생장시기 중 어느 시기인지에 관한 정보도 포함할 수 있다.
실시예에 따르면 제어부(500)는 타깃객체의 크기를 측정할 수 있다.
제어부(500)는 제2이미지 내에서의 엣지 내의 타깃객체의 가로 및 세로의 길이와, 타깃객체까지의 거리에 기초하여 실제 타깃객체의 가로 및 세로의 길이를 연산할 수 있다. 연산된 가로 및 세로의 길이를 기반으로 타깃객체의 크기를 결정할 수 있다.
실시예에 따르면, 제어부(500)는 타깃객체의 품종 및 타깃객체의 색상에 따라 착색도를 측정할 수 있다.
예를 들어 제어부(500)는 타깃객체의 품종이 딸기일 때 빨간색 정도를 측정하여 착색도를 측정할 수 있다.
상술된 바에 따라 측정된 크기 및 착색도를 제어부(500)는 생육정보로서 생성할 수 있다.
또한, 제어부(500)는, 타깃객체의 품종, 크기 및 착색도에 기초하여 타깃객체의 생장단계를 결정할 수 있다. 따라서 예를 들어, 타깃객체가 충분히 성장하여 수확해야 할 시기라면, 수확시기임을 생육정보에 추가할 수 있다.
반면 제어부(500)는 제2이미지를 분석하여 타깃객체의 병해충정보를 생성할 수 있다.
이를 위해 제어부(500)는 품종 별, 해충 피해 별, 병균(또는 바이러스) 별로 타깃객체가 가질 수 있는 모습이 포함된 이미지를 입력하여 병해충 영역을 출력하도록 딥러닝 모델을 학습시킬 수 있다. 이 때의 딥러닝 모델은 CNN(CONVOLUTIONAL NEURAL NETWORK), RNN(RECURRENT NEURAL NETWORK) 등이 될 수 있다. 그리고 학습된 딥러닝 모델에 제2이미지를 입력할 수 있으며, 이때 엣지가 식별된 제2이미지를 입력하여 타깃객체에 대응되는 영역에서 병해충 영역을 검출하여 표시하도록 할 수 있다.
또한 제어부(500)는 품종 별, 해충 별 타깃객체가 가질 수 있는 모습이 포함된 이미지를 입력하여 해충을 식별해낼 수 있도록 딥러닝 모델을 학습시킬 수 있다. 이 때의 딥러닝 모델은 CNN(CONVOLUTIONAL NEURAL NETWORK), RNN(RECURRENT NEURAL NETWORK) 등이 될 수 있다. 그리고 학습된 딥러닝 모델에 제2이미지를 입력할 수 있으며, 이때 해충의 위치를 검출하여 표시하도록 하거나, 해충의 개수 또는 해충의 종류를 검출하여 표시하도록 할 수 있다.
아울러 제어부(500)는 진단정보를 검증할 수 있다.
작물의 경우 해충이 존재하거나 질병이 있는 경우 통상 하나의 개체에서만 발견되지 않고 군집으로 발견되는 경우가 많으므로, 일 타깃객체에 대해 진단정보로서 병해충이 검출되었을 때, 제어부(500)는 다른 타깃객체에 관한 진단정보를 비교함으로써 진단정보를 검증할 수 있다.
예를 들어, 일 타깃객체에 대해 해충이 발견되었음을 나타내는 진단정보가 생성되었다면, 제어부(500)는 다른 타깃객체에 관한 진단정보에서 해충에 관한 정보가 포함되지 않았다면, 생성된 진단정보가 잘못 생성되었다고 판단하고 제2이미지의 분석을 다시 진행할 수 있다.
이때 다른 타깃객체는 검증의 대상이 되는 타깃객체와 소정의 범위 내에 위치한 것일 수 있다. 예를 들어 다른 타깃객체는 검증 대상 타깃객체와 같은 이미지 내에서 촬영되었던 타깃객체일 수 있다. 또는 예를 들어 다른 타깃객체는, 진단정보에 포함된 위치정보를 기준으로 소정의 범위 내에 위치한 타깃객체일 수 있다.
한편, 한편 메모리(400)에는 파일, 어플리케이션 및 프로그램 등과 같은 다양한 종류의 데이터가 설치 및 저장될 수 있다.
이때, 제어부(500)는 메모리(400)에 저장된 데이터에 접근하여 이를 이용하거나, 또는 새로운 데이터를 메모리(400)에 저장할 수도 있다. 또한, 제어부(500)는 메모리(400)에 설치된 프로그램을 실행할 수도 있다. 예를 들어, 메모리(400)는 이동유닛(100), 촬영유닛(200) 및 승강유닛(300)을 제어하여 촬영방법을 수행하기 위한 프로그램이 설치될 수 있으며, 또는 촬영상태정보를 저장할 수도 있다. 메모리(400)는 또한 촬영장치의 팬 각도 또는 틸트 각도를 원점으로 되돌리기 위해 최초 촬영상태정보도 저장할 수 있고, 촬영상태정보가 갱신되면 갱신된 촬영상태정보도 저장할 수 있다.
한편, 제어부(500)는 통신부(550)를 통해 다른 장치 또는 네트워크와 유무선 통신을 수행할 수 있다.
가령 통신부(550)는 입출력장치(미도시) 또는 전자단말(미도시)과 통신하여 작물의 촬영을 수행하기 위한 각종 정보를 송수신할 수 있다. 이를 위해, 통신부(550)는 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, 통신 모듈은 칩셋(chipset)의 형태로 구현될 수 있다.
예를 들어, 통신부(550)가 지원하는 무선 통신은, 예를 들어 Wi-Fi(Wireless Fidelity), Wi-Fi Direct, 블루투스(Bluetooth), UWB(Ultra Wide Band) 또는 NFC(Near Field Communication), 2G 내지 5G 통신 기술 또는 그 이상의 통신 기술 등일 수 있다. 또한, 통신부(550)가 지원하는 유선 통신은, 예를 들어 USB, Ethernet 또는 HDMI(High Definition Multimedia Interface) 등일 수 있다.
실시예에 따르면, 통신부(550)는 제어부(500) 에 의해 생성된 진단정보를, 외부의 장치로 송신할 수 있다. 이때 외부의 장치는 예를 들어 입출력장치(미도시)이거나 또는 예를 들어, 과실을 채집하는 채집기, 비닐하우스 내의 스프링쿨러, 에어컨, 난방기, 조명기기, 도어개폐기, 비료투입기, 농약분무기 등이거나 또는 예를 들어, 병해충이 존재하는 과실 을 표시하기 위한 마킹장치 등이 될 수 있다.
또 다른 실시예에 따르면 통신부(550)는 제어부(500)에 의해 생성된 진단정보를 서버로 송신할 수 있다. 서버는 제어부(500) 와 네트워크를 통해 통신이 가능한 컴퓨터로 구현되거나 클라우드 컴퓨팅 서버로 구현될 수 있다. 또한, 서버는 데이터를 저장할 수 있는 저장장치를 포함하거나 제 3의 서버를 통해 데이터를 저장할 수 있다. 또한, 서버는 관리자의 단말과 통신할 수 있다.
또한 일 실시예에 따른 작물 모니터링 장치(10)는 추가적으로 입출력부(미도시)를 더 포함할 수 있다.
입출력부(미도시)는 관리자로부터 입력을 수신하기 위한 입력부와 작업의 수행 결과 또는 촬영장치(100)의 상태 등의 정보를 표시하기 위한 출력부를 포함할 수 있다. 예를 들어 입출력부(미도시)는 농장 등을 운영하는 관리자의 입력을 수신하는 조작 패널(operation panel) 및 화면을 표시하는 디스플레이 패널(display panel) 등을 포함할 수 있다.
구체적으로 입력부는 키보드, 물리 버튼, 터치 스크린 또는 마이크 등과 같이 다양한 형태의 입력을 수신할 수 있는 장치들을 포함할 수 있다. 또한, 출력부는 디스플레이 패널 또는 스피커 등을 포함할 수 있다. 다만, 이에 한정되지 않고 입출력부(미도시)는 다양한 입출력을 지원하는 구성을 포함할 수 있다.
실시예에 따르면, 입력부는 관리자로부터 촬영의 수행을 위한 조작을 입력 받을 수도 있다. 또한, 출력부는 진단정보를 관리자가 확인할 수 있도록 진단정보를 출력하여 제공하거나 진단정보에 대응되는 알람이나 경고음을 출력할 수 있다.
이러한 입출력부(미도시)는 작물 모니터링 장치(10)와 통신부(550)를 통해 통신하도록 별도의 장치인 입출력장치(미도시)로 구현되어 작물 모니터링 장치 (10) 외부에 위치할 수도 있다.
한편, 전술한 이동레일(120)은 로봇(110)이 배드(1)의 상부를 이동하도록 구성될 경우, 도 4에 도시된 바와 같이 종방향레일(121) 및 횡방향레일(122)을 포함하여 구성될 수 있다.
종방향레일(121)은 배드(1)의 상부에 설치되면서 배드(1)의 사이를 따라 연장됨으로써 로봇(110)의 이동경로를 배드(1)의 종방향 즉 길이방향으로 제공할 수 있다.
횡방향레일(122)은 배드(1)의 상부에 설치되면서 종방향레일(121)과 직교 상태를 이루도록 연장됨으로써 로봇(110)의 이동경로를 배드(1)의 횡방향 즉 배드(1)를 가로지르는 방향으로 제공할 수 있다.
이에 따라, 촬영유닛(200)은 로봇(110)과 함께 종방향레일(121)을 따라 이동하면서 종방향레일(121)의 양측에 배치된 배드(1)의 작물의 촬영을 수행할 수 있으며, 횡방향레일(122)을 따라 이동하면서 이웃하는 종방향레일(121)로 이동하여 작물의 촬영을 수행할 수 있다.
여기서, 촬영유닛(200)은 횡방향레일(122)을 따라 이동할 경우 배드(1)를 가로질러야 하기 때문에 이동하는 과정에서 배드(1)와 충돌할 수 있다.
이때, 전술한 거리측정부(130)는 촬영유닛(200)과 배드(1)와의 거리를 측정하여 제어부(500)로 인가할 수 있으며, 제어부(500)는 거리측정부(130)에서 인가된 데이터를 기반으로 승강유닛(300)을 작동시켜 촬영유닛(200)을 상승시킬 수 있다.
이에 따라, 촬영유닛(200)은 횡방향레일(122)을 이동하는 과정에서 배드(1)와 충돌하지 않고 소정의 간격을 이루면서 이동할 수 있다.
한편, 종방향레일(121)과 횡방향레일(122) 중 적어도 하나는 소정의 곡률을 갖는 원호 형태를 이루면서 연장될 수 있다.
즉, 종방향레일(121) 또는 횡방향레일(122)은 일직선으로 연장되지 않고 원호형태로 연장됨으로써 로봇(110)이 이동하는 과정에서 복수의 배드(1)를 다양한 각도로 거칠 수 있도록 할 수 있다.
한편, 도 5는 일 실시예에 따른 작물 모니터링 장치(10)에 의한 촬영방법을 설명하기 위한 순서도이다. 도 5에 도시된 촬영방법은 도1 내지 도 4를 통해 설명된 작물 모니터링 장치(10)에서 시계열적으로 처리하는 단계들을 포함한다. 따라서 이하에서 생략된 내용이라고 하더라도 도 1 내지 도 4에 도시된 작물 모니터링 장치(10)에 관하여 이상에서 기술한 내용은 도 5에 도시된 실시예에 따른 촬영방법에도 이용될 수 있다.
도 5에서 도시된 바와 같이 작물 모니터링 장치(10)는 제1이미지를 획득할 수 있다 (S100).
이때, 제어부(500)는 이동유닛(100)을 제어하여 촬영유닛(200)을 이동유닛(100)과 함께 배드(1)의 사이 지면 또는 배드(1)의 상부를 따라 이동시킨 후, 촬영유닛(100)을 제어하여 배드(1)에 식재된 작물을 촬영하면서 제1 이미지를 획득할 수 있다.
제1이미지를 획득한 제어부(500)는 제1이미지 내에서 타깃후보객체를 식별할 수 있다 (S200).
이를 위해 제어부(500)는 YOLO모델 또는 R-CNN 모델로 구현된 인공신경망을 학습시키고 학습된 인공신경망에 제1이미지를 입력함으로써 타깃후보객체를 식별해낼 수 있다.
또한, 제어부(500)는 상술된 바와 같이 식별된 타깃후보객체 중 하나를 선택하여 타깃객체로 결정할 수 있다 (S300).
이때, 제어부(500)는 각 타깃후보객체를 에워싸는 바운딩박스의 중심점을 기준으로, 제1이미지의 최하단 좌측 꼭지점을 기준으로 x축 방향으로 순차적으로 타깃후보객체를 선택할 수 있다. 따라서 제어부(500)는 타깃후보객체를 먼저 순차적으로 선택하여 타깃객체로 결정하고 타깃후보객체에 관한 진단정보를 순차적으로 생성할 수 있다.
이와 같이 결정된 타깃객체의 촬영을 위해, 제어부(500)는 촬영유닛(200)의 높이를 타깃객체에 대응하는 높이로 조절할 수 있다(S400)
이때. 제어부(500)는 승강유닛(300)을 제어하여 촬영유닛(200)을 승강시키면서 타깃객체의 바운딩박스의 중심점에 대응하는 좌표로 촬영유닛(200)을 승강시킴으로써 촬영유닛(2000을 타깃객체에 대응하는 높이로 이동시킬 수 있다.
또한, 제어부(500)는 배드(1)의 경계선을 타깃객체로 식별하여 승강유닛(300)을 제어하면서 촬영유닛(200)의 높이를 배드(1)의 경계선 중앙에 위치하도록 이동시킬 수도 있다.
또한, 제어부(500)는 촬영유닛(200)의 촬영상태정보를 결정할 수 있다(S500).
제어부(500)는 촬영유닛(200)의 현재 촬영상태정보, 현재의 거리정보, 및 제1이미지 내에서의 타깃객체의 위치좌표에 기초하여 촬영상태정보를 결정할 수 있다.
실시예에 따라 제어부(500)는 현재의 촬영상태정보, 현재의 거리정보, 및 제1이미지 내에서의 타깃객체의 위치좌표에 기초하여 팬 각도 및 틸트 각도를 연산함으로써 촬영상태정보를 생성할 수 있다.
한편, 제어부(500)는 줌 배율이 낮아 타깃객체가 작게 촬영되거나, 포커싱값이 맞지 않아 타깃객체가 낮은 해상도로 찍히게 되면 촬영상태정보를 갱신할 수 있다 (S600).
실시예에 따르면 제어부(500)는 촬영유닛(200)의 렌즈를 통해 보이는 화각 내 이미지에서, 타깃객체에 관한 이미지 영역이 전체 이미지 영역 내에서 소정의 비율 이상을 차지하도록 줌 배율을 정할 수 있다.
제어부(500)는 촬영상태정보에 기초하여 촬영유닛(200)을 틸팅 또는 포커싱하거나 줌 배율을 조정함으로써 타깃객체를 촬영함으로써 제2이미지를 획득할 수 있다 (S700).
이때, 제어부(500)는 촬영이미지 또는 포커싱된 이미지 내에서 타깃객체로
식별되는 영역이 전체 이미지 내에서 차지하는 비율이 소정 비율 이상이 아니라면, 촬영유닛(200)의 줌 배율을 조정하여 타깃객체로 식별되는 영역이 전체 이미지 내에서 소정 비율 이상 차지하도록 할 수 있다.
이와 같이 타깃객체를 촬영함으로써 제2이미지를 획득하면, 제어부(500)는 제2이미지에 기초하여 진단정보를 생성할 수 있다 (S800).
이때, 제어부(500)는 제2이미지 내에서, 타깃객체의 엣지(edge)를 딥러닝 모델을 기반으로 식별함으로써, 엣지 내에 위치한 타깃객체와, 엣지 외부에 위치한 배경을 분리해낼 수 있다.
그리고 제어부(500)는 타깃객체의 이미지를 분석함으로써 생육정보 및 병해충정보 중 적어도 하나를 포함하는 진단정보를 생성할 수 있다.
예를 들어, 제어부(500)는 이미지에서 병해충정보를 생성할 수 있는데, 해충이 파먹은 위치인 병해충 영역을 식별하여 관련 정보를 포함하는 진단정보를 생성할 수 있다. 예를 들어 병해충 영역의 개수, 해충의 개수, 해충이나 병해충 영역을 분석함에 따라 해충에 관한 정보 또는 병균에 관한 정보를 포함하여 진단정보를 생성할 수 있다.
상술된 단계 S300 내지 단계 S800는, 제1이미지 내에서 식별된 타깃후보객체 중에서 진단정보가 생성되지 않은 타깃후보객체가 없을 때까지 반복될 수 있다 (S900).
상술된 바에 따른 촬영방법으로 제1이미지에 관한 진단정보를 생성하면, 작물 모니터링 장치(10)는 또 다른 피사체를 촬영하여 제1이미지를 획득할 수 있다.
이때, 획득된 제1이미지가 이전에 분석되었던 제1이미지와 중첩되는 영역이 존재한다고 판단되면, 제어부(500)는 촬영상태정보를 갱신하여 다른 팬 각도 또는 틸트 각도에서 촬영하여 제1이미지를 획득할 수 있다. 또는 제1이미지가 획득된 촬영유닛(200)의 위치정보와 팬 및 틸트 각도에 기초하여, 획득된 제1이미지가 이전에 분석된 제1이미지와 동일한 위치에서 동일한 대상을 촬영한 것이라고 판단할 수 있고 그에 따라 제어부(500)는 촬영상태정보를 갱신하여 다른 팬 각도 또는 틸트 각도에서 촬영하여 제1이미지를 획득할 수 있다.
상기와 같이 설명된 촬영방법은 컴퓨터에 의해 실행 가능한 명령어 및 데이터를 저장하는, 컴퓨터로 판독 가능한 매체의 형태로도 구현될 수 있다. 이때, 명령어 및 데이터는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터 기록 매체일 수 있는데, 컴퓨터 기록 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 예를 들어, 컴퓨터 기록 매체는 HDD 및 SSD 등과 같은 마그네틱 저장 매체, CD, DVD 및 블루레이 디스크 등과 같은 광학적 기록 매체, 또는 네트워크를 통해 접근 가능한 서버에 포함되는 메모리일 수 있다.
상기와 같이 설명된 촬영방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다.
상기와 같이 설명된 촬영방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.
여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다.
또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다.
그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다.
이상의 실시예들에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field programmable gate array) 또는 ASIC 와 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램특허 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.
구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로부터 분리될 수 있다.
뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU 들을 재생시키도록 구현될 수도 있다. 상술된 실시예들은 예시를 위한 것이며, 상술된 실시예들이 속하는 기술분야의 통상의 지식을 가진 자는 상술된 실시예들이 갖는 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 상술된 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 명세서를 통해 보호 받고자 하는 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태를 포함하는 것으로 해석되어야 한다.
10 : 작물 모니터링 장치
100 : 이동유닛
110 : 로봇
120 : 이동레일
121 : 종방향레일
122 : 횡방향레일
130 : 거리측정부
200 : 촬영유닛
300 : 승강유닛
310 : 텔레스코픽봉
320 : 길이조절부재
321 : 랙기어
322 : 피니언기어
400 : 메모리
500 : 제어부
550 : 통신부

Claims (12)

  1. 복수열을 이루면서 소정의 높이로 설치되어 작물의 생장공간을 제공하는 배드의 사이를 이동하면서 작물의 생장상태를 모니터링하는 작물 모니터링 장치에 있어서,
    상기 배드 사이의 지면과 상기 배드의 상부 중 적어도 하나에 이동 가능하게 설치되어 상기 배드를 따라 이동하는 이동유닛;
    상기 이동유닛에 설치되어 작물을 촬영하면서 제1 이미지 및 제2 이미지를 제공하는 촬영유닛;
    상기 이동유닛에 설치되어 상기 촬영유닛을 승강 가능하게 지지하면서 상기 촬영유닛의 높이를 조절하는 적어도 하나의 승강유닛;
    상기 촬영유닛의 촬영상태정보를 저장하는 메모리; 및
    상기 제1 이미지에 기초하여 상기 촬영유닛의 촬영상태정보를 결정하고, 상기 촬영상태정보에 기초하여 작물의 일부분 중 타깃객체를 촬영하도록 상기 이동유닛, 상기 촬영유닛 및 상기 승강유닛을 제어하며, 상기 타깃객체를 촬영한 상기 제2 이미지를 기반으로 진단정보를 생성하는 제어부를 포함하며,
    상기 제어부는,
    상기 제1 이미지 내에 상기 배드를 상기 타깃객체로 식별하고, 상기 배드의 경계선을 기반으로 상기 승강유닛을 제어하면서 상기 촬영유닛의 높이를 조절하되, 상기 촬영유닛의 높이를 상기 배드의 경계선 중앙에 위치하도록 상기 승강유닛을 제어하고,
    상기 제어부는,
    상기 타깃객체에 관한 생육정보 및 병해충정보 중 적어도 하나에 관한 진단정보를 생성하되, 상기 타깃객체에 대한 상기 진단정보에서 상기 병해충정보가 생성되었다면 상기 진단정보를 다른 타깃객체에 관한 진단정보와 비교하여 검증하는, 작물 모니터링 장치.
  2. 제 1 항에 있어서,
    상기 이동유닛은,
    상기 촬영유닛 및 상기 승강유닛의 설치공간을 제공하면서 상기 배드 사이의 지면 및 상기 배드의 상부 중 하나에 배치되고, 상기 제어부의 제어에 의해 이동하면서 상기 촬영유닛 및 상기 승강유닛을 이동시키는 로봇을 포함하는 작물 모니터링 장치.
  3. 제 2 항에 있어서,
    상기 이동유닛은,
    상기 배드 사이의 지면 및 상기 배드의 상부 중 하나에 설치되어 상기 로봇의 이동경로를 제공하는 이동레일을 더 포함하는 작물 모니터링 장치.
  4. 제 3 항에 있어서,
    상기 이동레일은,
    상기 배드의 상부에 설치되면서 상기 배드의 사이를 따라 제각기 연장되는 종방향레일; 및
    상기 종방향레일과 직교 상태를 이루면서 상기 배드의 상부에 설치되어 상기 로봇이 상기 배드를 가로지르는 방향으로 이동하는 것을 허용하는 횡방향레일을 포함하는 작물 모니터링 장치.
  5. 제 4 항에 있어서,
    상기 종방향레일 및 상기 횡방향레일 중 적어도 하나는,
    소정의 곡률을 갖는 원호 형태를 이루면서 연장되는, 작물 모니터링 장치.
  6. 제 4 항에 있어서,
    상기 이동유닛은,
    상기 로봇에 설치된 상태로 상기 제어부에 의해 작동하며, 상기 로봇이 횡방향레일로 이동할 경우 상기 촬영유닛과 상기 배드의 거리를 감지하여 상기 제어부에 제공하면서 상기 촬영유닛과 상기 배드의 간격을 유지시키는 거리측정부를 더 포함하는 작물 모니터링 장치.
  7. 제 1 항에 있어서,
    상기 승강유닛은,
    소정의 길이를 가지면서 길이가 신축 가능하도록 텔레스코픽 구조의 봉으로 이루어져 상기 이동유닛과 상기 촬영유닛을 연결하는 텔레스코픽봉; 및
    상기 제어부의 제어에 의해 작동하면서 상기 텔레스코픽봉의 길이를 상기 촬영상태정보에 대응하는 길이로 조절하는 길이조절부재를 포함하는 작물 모니터링 장치.
  8. 제 7 항에 있어서,
    상기 길이조절부재는,
    상기 텔레스코픽봉의 일부분에 길이방향을 따라 형성되는 톱니형태의 랙기어; 및
    상기 랙기어에 맞물린 상태로 상기 제어부에 의해 정회전 또는 역회전하면서 상기 랙기어를 직선운동시키는 피니언기어를 포함하는 작물 모니터링 장치.
  9. 삭제
  10. 제 1 항에 있어서,
    상기 제어부는,
    상기 제1 이미지에 기초하여 상기 타깃객체를 식별하고, 상기 제1 이미지에서의 상기 타깃객체의 위치에 기초하여 상기 촬영유닛의 촬영상태정보를 결정하는, 작물 모니터링 장치.
  11. 제 1 항에 있어서,
    상기 제어부는,
    상기 제2 이미지의 전체 영역 내에서 상기 타깃객체에 대응하는 이미지가 소정의 크기 이상의 면적을 차지하도록 상기 촬영상태정보를 갱신하는, 작물 모니터링 장치.
  12. 삭제
KR1020210121651A 2021-09-13 2021-09-13 작물 모니터링 장치 KR102649593B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210121651A KR102649593B1 (ko) 2021-09-13 2021-09-13 작물 모니터링 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210121651A KR102649593B1 (ko) 2021-09-13 2021-09-13 작물 모니터링 장치

Publications (2)

Publication Number Publication Date
KR20230038941A KR20230038941A (ko) 2023-03-21
KR102649593B1 true KR102649593B1 (ko) 2024-03-20

Family

ID=85801095

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210121651A KR102649593B1 (ko) 2021-09-13 2021-09-13 작물 모니터링 장치

Country Status (1)

Country Link
KR (1) KR102649593B1 (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102085029B1 (ko) * 2017-10-13 2020-03-05 비와일즈 주식회사 작물 모니터링 장치, 작물 모니터링 방법 및 작물 모니터링 시스템
KR102272780B1 (ko) * 2019-12-20 2021-07-05 주식회사 포스코 설비 진단 로봇 및 그 능동 회피 방법

Also Published As

Publication number Publication date
KR20230038941A (ko) 2023-03-21

Similar Documents

Publication Publication Date Title
US11367207B2 (en) Identifying and treating plants using depth information in a single image
GB2553631B (en) Data Processing of images of a crop
KR102291827B1 (ko) 스마트 팜의 작물 자동 생육 계측 시스템 및 그 방법
CN110046613B (zh) 一种作物冠层原位生长表型监测装置及三维重建方法
CN105547360B (zh) 基于情景感知的作物冠层图像采集方法
CN105547252A (zh) 基于情景感知的作物冠层图像采集装置
KR102261087B1 (ko) 영상기반 감시 장치 및 그 동작방법
Diago et al. On‐the‐go assessment of vineyard canopy porosity, bunch and leaf exposure by image analysis
WO2023050783A1 (zh) 除草机器人及其除草路径的规划方法、装置和介质
CA3163802A1 (en) Mobile sensing system for crop monitoring
JP2017184673A (ja) 植物栽培支援装置、植物栽培支援システム、植物栽培支援方法、プログラム、記憶媒体
JP2020054289A (ja) 施設栽培果実の収穫予測システム
KR102479284B1 (ko) 식생 지수 획득 유닛 및 이를 포함하는 식물 모니터링 장치
US20220207852A1 (en) Generating a ground plane for obstruction detection
KR102380989B1 (ko) 스마트팜에서 재배되는 작물에 대한 생육 레시피 정보를 제공하는 스마트팜 제어장치 및 이의 동작방법
KR20160137727A (ko) 작물의 생육 정보 수집 장치 및 방법
KR102649593B1 (ko) 작물 모니터링 장치
KR102114384B1 (ko) 영상기반 작물 생육데이터 측정 모바일 앱 및 그 디바이스
KR102375362B1 (ko) Ai 기반 축사 환경 조사 방법 및 장치
Shinoda et al. RoseTracker: A system for automated rose growth monitoring
RU2423042C2 (ru) Электронно-оптический способ регулирования технологии производства агропродукции
KR20230157141A (ko) 지상 이동형 객체 모니터링 장치
KR102664578B1 (ko) 촬영장치 및 촬영방법
WO2020218157A1 (ja) 予測システム、予測方法、および予測プログラム
EP3874936A1 (en) Plant growth monitoring system

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)