KR102590772B1 - Apparatus and method for measuring length of leaf stem - Google Patents
Apparatus and method for measuring length of leaf stem Download PDFInfo
- Publication number
- KR102590772B1 KR102590772B1 KR1020210078992A KR20210078992A KR102590772B1 KR 102590772 B1 KR102590772 B1 KR 102590772B1 KR 1020210078992 A KR1020210078992 A KR 1020210078992A KR 20210078992 A KR20210078992 A KR 20210078992A KR 102590772 B1 KR102590772 B1 KR 102590772B1
- Authority
- KR
- South Korea
- Prior art keywords
- inner leaf
- deep learning
- learning model
- stem
- measuring
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
- A01G9/00—Cultivation in receptacles, forcing-frames or greenhouses; Edging for beds, lawn or the like
- A01G9/24—Devices or systems for heating, ventilating, regulating temperature, illuminating, or watering, in greenhouses, forcing-frames, or the like
- A01G9/26—Electric devices
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Environmental Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
속잎 줄기 길이 측정 장치 및 속잎 줄기 길이 측정 방법을 제시하며, 본 명세서에 개시된 일 실시예에 따른 속잎 줄기 길이 측정 장치는, 영상을 획득하기 위한 입출력부, 딥러닝을 수행하기 위한 프로그램이 저장되는 메모리, 및 상기 프로그램을 실행함으로써 영상 프레임에 대한 딥러닝을 수행하는 제어부를 포함하며, 상기 제어부는, 학습된 제1딥러닝 모델을 이용하여 작물을 촬영한 영상 프레임으로부터 밑둥의 위치를 획득하고, 학습된 제2딥러닝 모델을 이용하여 상기 영상 프레임으로부터 속잎의 위치를 획득하면, 상기 밑둥의 위치 및 상기 속잎의 위치에 기초하여 속잎 줄기의 길이를 산출한다.An apparatus for measuring inner leaf stem length and a method for measuring inner leaf stem length are presented, and the apparatus for measuring inner leaf stem length according to an embodiment disclosed herein includes an input/output unit for acquiring an image, and a memory storing a program for performing deep learning. , and a control unit that performs deep learning on the image frame by executing the program, wherein the control unit acquires the position of the stump from the image frame in which the crop is photographed using the learned first deep learning model, and learns When the position of the inner leaf is obtained from the image frame using the second deep learning model, the length of the inner leaf stem is calculated based on the position of the stump and the position of the inner leaf.
Description
본 명세서에 개시된 실시예는 속잎 줄기 길이 측정 장치 및 속잎 줄기 길이 측정 방법에 관한 것으로서, 보다 상세하게는 딥러닝을 이용하여 속잎을 식별함으로써 속잎 줄기의 길이를 측정하는 장치 및 방법에 관한 것이다.The embodiments disclosed in this specification relate to an apparatus for measuring inner leaf stem length and a method for measuring inner leaf stem length. More specifically, it relates to an apparatus and method for measuring the length of an inner leaf stem by identifying the inner leaf using deep learning.
최근 들어 스마트팜(smart farm) 구현을 위한 관심이 높아지고 있다.Recently, interest in implementing smart farms has been increasing.
스마트팜이란, 농작물, 가축 및 수산물 등의 생육 환경을 적정하게 유지하기 위해 자동으로 관리할 수 있도록 함으로써 생산의 효율성뿐만 아니라 편리성도 높이는 농업 시스템이다.Smart farm is an agricultural system that improves not only production efficiency but also convenience by automatically managing crops, livestock, and marine products to maintain an appropriate growth environment.
예를 들어, 스마트팜에서, 작물의 줄기가 성장하는 속도를 자동으로 측정함으로써 작물의 생육을 진단할 수 있다. For example, in a smart farm, crop growth can be diagnosed by automatically measuring the speed at which crop stems grow.
한편 식물마다 생장을 나타내는 지표가 각기 상이할 수 있는데, 예를 들어 딸기와 같이 속잎이 있는 식물은 속잎 생장 속도가 식물 생장의 지표에 중요한 역할을 수행한다. 예를 들어 속잎이 자라남에 따라 속잎의 줄기가 길어지는데, 길어지는 속도에 따라 속잎의 생장속도를 확인할 수 있고 이는 딸기의 생장속도를 유추하는데 이용될 수 있다. Meanwhile, the indicators indicating growth may be different for each plant. For example, in plants with inner leaves, such as strawberries, the inner leaf growth rate plays an important role in the indicator of plant growth. For example, as the inner leaf grows, the stem of the inner leaf becomes longer. Depending on the lengthening speed, the growth rate of the inner leaf can be confirmed, and this can be used to infer the growth rate of strawberries.
다만 속잎은 다른 잎 또는 줄기와 함께 위치하고 있는 경우가 많아 속잎을 식별해내기 어려운 문제점이 있다. However, since the inner leaves are often located together with other leaves or stems, it is difficult to identify the inner leaves.
관련하여 한국공개특허 제10-2020-0122612 호에서 제안하는 작물 생육 제어 시스템은, 온실 내부의 작물의 생육 상태 및 온실 내부의 환경 정보를 센싱하는 센서, 온실 내부의 환경을 관리하기 위한 환경 제어기, 작물에 양액을 공급하는 양액기 및 센서에 의해 센싱된 작물의 생육 상태 정보 및 온실 내부의 환경 정보에 기초하여 환경 제어기의 제어 설정값 및 양액기의 제어 설정값을 획득하는 작물 재배 분석 장치를 포함함에 대해 기재하고 있으나, 해당 시스템은 딸기와 같은 작물에 양액을 공급하기 위한 기술에 대해 기재할 뿐 속잎 줄기를 측정하기 위한 기술에 대해 제안하고 있지 못하다.In relation to this, the crop growth control system proposed in Korean Patent Publication No. 10-2020-0122612 includes a sensor that senses the growth status of crops inside the greenhouse and environmental information inside the greenhouse, an environmental controller to manage the environment inside the greenhouse, It includes a crop cultivation analysis device that obtains the control set value of the environmental controller and the control set value of the nutrient solution based on the growth status information of the crop sensed by the nutrient solution and sensor that supplies nutrient solution to the crops and the environmental information inside the greenhouse. However, the system only describes technology for supplying nutrient solution to crops such as strawberries and does not suggest technology for measuring inner leaf stems.
따라서 상술된 문제점을 해결하기 위한 기술이 필요하게 되었다.Therefore, technology to solve the above-mentioned problems has become necessary.
한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.Meanwhile, the above-described background technology is technical information that the inventor possessed for deriving the present invention or acquired in the process of deriving the present invention, and cannot necessarily be said to be known technology disclosed to the general public before filing the application for the present invention. .
본 명세서에서 개시되는 실시예들은, 속잎 줄기 길이 측정 장치 및 속잎 줄기 길이 측정 방법을 제시하는 데 목적이 있다. The purpose of the embodiments disclosed herein is to present a device for measuring inner leaf stem length and a method for measuring inner leaf stem length.
또한 본 명세서에 개시되는 실시예들은, 딥러닝을 이용하여 빠르면서도 정확하게 속잎 줄기 길이를 측정하는 데 목적이 있다.Additionally, the embodiments disclosed herein are aimed at quickly and accurately measuring inner leaf stem length using deep learning.
또한 본 명세서에서 개시되는 실시예들은, 속잎 줄기의 길이 측정하여 작물의 생장을 모니터링하는 데 목적이 있다.Additionally, the embodiments disclosed herein are aimed at monitoring the growth of crops by measuring the length of inner leaf stems.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시예에 따르면, 작물의 속잎 줄기를 측정하기 위한 장치로서, 영상을 획득하기 위한 입출력부, 딥러닝을 수행하기 위한 프로그램이 저장되는 메모리, 및 상기 프로그램을 실행함으로써 영상 프레임에 대한 딥러닝을 수행하는 제어부를 포함하며, 상기 제어부는, 학습된 제1딥러닝 모델을 이용하여 작물을 촬영한 영상 프레임으로부터 밑둥의 위치를 획득하고, 학습된 제2딥러닝 모델을 이용하여 상기 영상 프레임으로부터 속잎의 위치를 획득하면, 상기 밑둥의 위치 및 상기 속잎의 위치에 기초하여 속잎 줄기의 길이를 산출할 수 있다.As a technical means for achieving the above-described technical problem, according to one embodiment, there is a device for measuring the inner leaf stem of a crop, including an input/output unit for acquiring an image, a memory storing a program for performing deep learning, and It includes a control unit that performs deep learning on the image frame by executing the program, wherein the control unit acquires the position of the stump from the image frame in which the crop is photographed using the learned first deep learning model, and uses the learned first deep learning model to obtain the position of the stump. 2If the position of the inner leaf is obtained from the image frame using a deep learning model, the length of the inner leaf stem can be calculated based on the position of the stump and the position of the inner leaf.
다른 실시예에 따르면, 속잎 줄기 측정 장치가 작물의 속잎 줄기를 측정하기 위한 방법으로서, 학습된 제1딥러닝 모델을 이용하여 작물을 촬영한 영상 프레임으로부터 밑둥의 위치를 획득하는 단계, 학습된 제2딥러닝 모델을 이용하여 상기 영상 프레임으로부터 속잎의 위치를 획득하는 단계, 및 상기 밑둥의 위치 및 상기 속잎의 위치에 기초하여 속잎 줄기의 길이를 산출하는 단계를 포함할 수 있다.According to another embodiment, the inner leaf stem measuring device is a method for measuring the inner leaf stem of a crop, comprising the steps of acquiring the position of the stump from an image frame photographing the crop using a learned first deep learning model, and the learned first deep learning model. 2It may include obtaining the position of the inner leaf from the image frame using a deep learning model, and calculating the length of the inner leaf stem based on the position of the stump and the position of the inner leaf.
또 다른 실시예에 따르면, 속잎 줄기 측정 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체로서, 학습된 제1딥러닝 모델을 이용하여 작물을 촬영한 영상 프레임으로부터 밑둥의 위치를 획득하는 단계, 학습된 제2딥러닝 모델을 이용하여 상기 영상 프레임으로부터 속잎의 위치를 획득하는 단계, 및 상기 밑둥의 위치 및 상기 속잎의 위치에 기초하여 속잎 줄기의 길이를 산출하는 단계를 포함할 수 있다.According to another embodiment, a computer-readable recording medium on which a program for performing a method of measuring inner leaf stems is recorded, comprising: acquiring the position of the stump from an image frame photographing a crop using a learned first deep learning model; It may include obtaining the position of the inner leaf from the image frame using the learned second deep learning model, and calculating the length of the inner leaf stem based on the position of the stump and the position of the inner leaf.
다른 실시예에 따르면, 속잎 줄기 측정 장치에 의해 수행되며, 속잎 줄기 측정 방법을 수행하기 위해 매체에 저장된 컴퓨터 프로그램으로서, 학습된 제1딥러닝 모델을 이용하여 작물을 촬영한 영상 프레임으로부터 밑둥의 위치를 획득하는 단계, 학습된 제2딥러닝 모델을 이용하여 상기 영상 프레임으로부터 속잎의 위치를 획득하는 단계, 및 상기 밑둥의 위치 및 상기 속잎의 위치에 기초하여 속잎 줄기의 길이를 산출하는 단계를 포함할 수 있다.According to another embodiment, it is performed by an inner leaf stem measuring device and is a computer program stored in a medium for performing the inner leaf stem measuring method, wherein the position of the stump is obtained from an image frame of a crop photographed using a learned first deep learning model. Obtaining the position of the inner leaf from the image frame using a learned second deep learning model, and calculating the length of the inner leaf stem based on the position of the stump and the position of the inner leaf. can do.
전술한 과제 해결 수단 중 어느 하나에 의하면, 속잎 줄기 길이 측정 장치 및 속잎 줄기 길이 측정 방법을 제시하는 데 목적이 있다. According to one of the means for solving the above-mentioned problem, the purpose is to present a device for measuring inner leaf stem length and a method for measuring inner leaf stem length.
또한 전술한 과제 해결 수단 중 어느 하나에 의하면, 딥러닝을 이용하여 빠르면서도 정확하게 속잎 줄기 길이를 측정할 수 있다.In addition, according to any one of the above-mentioned problem solving means, the inner leaf stem length can be measured quickly and accurately using deep learning.
또한 전술한 과제 해결 수단 중 어느 하나에 의하면, 속잎 줄기의 길이 측정하여 작물의 생장을 모니터링할 수 있다. In addition, according to any one of the above-mentioned problem solving means, the growth of crops can be monitored by measuring the length of the inner leaf stem.
개시되는 실시예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 개시되는 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects that can be obtained from the disclosed embodiments are not limited to the effects mentioned above, and other effects not mentioned are clear to those skilled in the art to which the disclosed embodiments belong from the description below. It will be understandable.
도 1은 본 명세서에 개시된 일 실시예에 따른 속잎 줄기 측정 장치를 설명하기 위한 구성도이다.
도 2는 본 명세서에 개시된 일 실시예에 따른 속잎 줄기 측정 장치를 도시한 블록도이다.
도 3 내지 도 5는 본 명세서에 개시된 일 실시예에 따른 속잎 줄기 측정 장치를 설명하기 위한 예시도이다.
도 6은 본 명세서에 개시된 일 실시예에 따른 속잎 줄기 측정 방법을 설명하기 위한 예시도이다.1 is a configuration diagram illustrating a device for measuring inner leaf stems according to an embodiment disclosed herein.
Figure 2 is a block diagram showing an inner leaf stem measuring device according to an embodiment disclosed herein.
Figures 3 to 5 are exemplary diagrams for explaining an inner leaf stem measuring device according to an embodiment disclosed herein.
Figure 6 is an exemplary diagram for explaining a method of measuring inner leaf stems according to an embodiment disclosed herein.
아래에서는 첨부한 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 아래에서 설명되는 실시예들은 여러 가지 상이한 형태로 변형되어 실시될 수도 있다. 실시예들의 특징을 보다 명확히 설명하기 위하여, 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략하였다. 그리고, 도면에서 실시예들의 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Below, various embodiments will be described in detail with reference to the attached drawings. The embodiments described below may be modified and implemented in various different forms. In order to more clearly explain the characteristics of the embodiments, detailed descriptions of matters widely known to those skilled in the art to which the following embodiments belong have been omitted. In addition, in the drawings, parts that are not related to the description of the embodiments are omitted, and similar parts are given similar reference numerals throughout the specification.
명세서 전체에서, 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐 아니라, '그 중간에 다른 구성을 사이에 두고 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성이 어떤 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들을 더 포함할 수도 있음을 의미한다.Throughout the specification, when a configuration is said to be “connected” to another configuration, this includes not only cases where it is “directly connected,” but also cases where it is “connected with another configuration in between.” In addition, when a configuration “includes” a configuration, this means that other configurations may be further included rather than excluding other configurations, unless specifically stated to the contrary.
이하 첨부된 도면을 참고하여 실시예들을 상세히 설명하기로 한다.Hereinafter, embodiments will be described in detail with reference to the attached drawings.
다만 이를 설명하기에 앞서, 아래에서 사용되는 용어들의 의미를 먼저 정의한다. However, before explaining this, we first define the meaning of the terms used below.
'속잎'은 밑둥(또는 크라운)으로부터 솟아나는 잎으로서 속잎이 자라 작물의 잎이 된다.'Internal leaves' are leaves that emerge from the base (or crown) and grow into the leaves of crops.
위에 정의한 용어 이외에 설명이 필요한 용어는 아래에서 각각 따로 설명한다.Terms that require explanation other than those defined above are explained separately below.
도 1은 본 명세서에 개시된 일 실시예에 따른 속잎 줄기 측정 장치를 설명하기 위한 구성도이다.1 is a configuration diagram illustrating a device for measuring inner leaf stems according to an embodiment disclosed herein.
일 실시예에 따르면, 속잎 줄기 측정 장치(100)에는 딥러닝 모델을 수행하기 위한 프로그램이 설치 및 구동될 수 있고, 속잎 줄기 측정 장치(100)는 구동된 컴퓨터 프로그램의 제어에 따라 본 명세서에 기재된 실시예에 따른 속잎 줄기 측정 방법을 수행할 수 있다.According to one embodiment, a program for performing a deep learning model may be installed and driven in the inner leaf stem measuring device 100, and the inner leaf stem measuring device 100 may be configured as described herein under the control of the driven computer program. The inner leaf stem measurement method according to the example can be performed.
예를 들어 속잎 줄기 측정 장치(100)는 작물을 촬영한 영상을 구성하는 프레임으로부터 딥러닝을 이용하여 속잎을 식별해내고 속잎 줄기의 길이를 산출함으로써 작물의 생장을 예측할 수 있다.For example, the inner leaf stem measurement device 100 can predict the growth of crops by identifying inner leaves using deep learning from frames that make up images of crops and calculating the length of inner leaf stems.
이와 같은 속잎 줄기 측정 장치(100)는 관리자와 인터랙션할 수 있는 애플리케이션이 설치된 단말로 구현되거나 서버-클라이언트 시스템으로 구현될 수 있으며, 서버-클라이언트 시스템으로 구현되는 경우 관리자와의 인터랙션을 위한 온라인 서비스용 애플리케이션이 설치된 단말을 포함할 수 있다.This internal leaf stem measuring device 100 may be implemented as a terminal with an application installed that can interact with the manager or as a server-client system. When implemented as a server-client system, it can be used as an online service for interaction with the manager. It may include a terminal where the application is installed.
예를 들어 서버-클라이언트 시스템으로 구현된 속잎 줄기 측정 장치(100)는, 도 1에서 도시된 바와 같이, 하나 이상의 단말(10, 11) 및 서버(20)로 구성될 수 있으며, 단말(10, 11) 및 서버(20)는 네트워크(N)를 통해 통신할 수 있다.For example, the inner leaf stem measurement device 100 implemented as a server-client system may be composed of one or more terminals 10 and 11 and a server 20, as shown in FIG. 1, and the terminal 10, 11) and the server 20 can communicate through the network (N).
단말(10, 11)은 네트워크(N)를 통해 원격지의 서버에 접속하거나, 타 단말 및 서버와 연결 가능한 컴퓨터나 휴대용 단말기, 텔레비전, 웨어러블 디바이스(Wearable Device) 등으로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop)등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), GSM(Global System for Mobile communications), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet), 스마트폰(Smart Phone), 모바일 WiMAX(Mobile Worldwide Interoperability for Microwave Access) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 또한, 텔레비전은 IPTV(Internet Protocol Television), 인터넷 TV(Internet Television), 지상파 TV, 케이블 TV 등을 포함할 수 있다. 나아가 웨어러블 디바이스는 예를 들어, 시계, 안경, 액세서리, 의복, 신발 등 인체에 직접 착용 가능한 타입의 정보처리장치로서, 직접 또는 다른 정보처리장치를 통해 네트워크를 경유하여 원격지의 서버에 접속하거나 타 단말과 연결될 수 있다.The terminals 10 and 11 may be implemented as computers, portable terminals, televisions, wearable devices, etc. that can connect to a remote server through a network (N) or connect to other terminals and servers. Here, the computer includes, for example, a laptop, desktop, laptop, etc. equipped with a web browser, and the portable terminal is, for example, a wireless communication device that guarantees portability and mobility. , PCS (Personal Communication System), PDC (Personal Digital Cellular), PHS (Personal Handyphone System), PDA (Personal Digital Assistant), GSM (Global System for Mobile communications), IMT (International Mobile Telecommunication)-2000, CDMA (Code) All types of handhelds such as Division Multiple Access)-2000, W-CDMA (W-Code Division Multiple Access), Wibro (Wireless Broadband Internet), Smart Phone, Mobile WiMAX (Mobile Worldwide Interoperability for Microwave Access), etc. (Handheld)-based wireless communication device may be included. Additionally, television may include IPTV (Internet Protocol Television), Internet TV (Internet Television), terrestrial TV, cable TV, etc. Furthermore, a wearable device is a type of information processing device that can be worn directly on the human body, such as a watch, glasses, accessories, clothing, or shoes, and can connect to a remote server or other terminal via a network directly or through another information processing device. can be connected to
그리고 서버(20)는 속잎 줄기 측정 장치(100)의 관리자와의 인터랙션을 위한 애플리케이션이나 웹브라우저가 설치된 단말(10, 11)과 네트워크(N)를 통해 통신이 가능한 컴퓨터로 구현되거나 클라우드 컴퓨팅 서버로 구현될 수 있다. 또한, 서버(20)는 물리적으로 분리된 복수의 서버에서 수행되거나 하나의 서버에서 수행될 수 있으며, 또한 데이터를 저장할 수 있는 저장장치를 포함하거나 제 3의 서버를 통해 데이터를 저장할 수 있다.And the server 20 is implemented as a computer capable of communicating through a network (N) with terminals (10, 11) installed with an application or web browser for interaction with the manager of the inner leaf stem measurement device (100), or as a cloud computing server. It can be implemented. Additionally, the server 20 may be performed on a plurality of physically separated servers or on a single server, and may also include a storage device capable of storing data or may store data through a third server.
따라서 서버-클라이언트 시스템으로 구현된 속잎 줄기 측정 장치(100)는 예를 들어, 단말(11)이 논, 밭, 과수원 상에서 이동하거나 또는 비닐하우스 내부를 이동하면서 작물을 촬영하고 그에 따라 획득된 영상을 서버(20)로 송신함에 따라, 서버(20)에서 속잎 줄기의 길이를 측정하고 측정된 결과값, 또는 측정 결과값에 따른 작물의 생육정보를, 단말(10)을 통해 관리자가 확인할 수 있도록 출력할 수 있다.Therefore, the inner leaf stem measurement device 100 implemented as a server-client system, for example, photographs crops while the terminal 11 moves on a rice field, field, or orchard or moves inside a greenhouse, and captures the images obtained accordingly. As transmitted to the server 20, the server 20 measures the length of the inner leaf stem and outputs the measured result or crop growth information according to the measurement result so that the manager can check it through the terminal 10. can do.
한편 도 2는 일 실시예에 따른 속잎 줄기 측정 장치(100)를 도시한 블록도이다. Meanwhile, Figure 2 is a block diagram showing an inner leaf stem measuring device 100 according to an embodiment.
도 2를 참조하면, 일 실시예에 따른 속잎 줄기 측정 장치(100)는, 입출력부(110), 제어부(120), 통신부(130) 및 메모리(140)를 포함할 수 있다. 예를 들어, 속잎 줄기 측정 장치(100)가 서버-클라이언트 시스템으로 구현된 상태라면, 입출력부(110), 제어부(120), 통신부(130) 및 메모리(140) 각각의 구성요소는 단말(10, 11) 또는 서버(20)를 통해 구현될 수 있다.Referring to FIG. 2, the inner leaf stem measuring device 100 according to an embodiment may include an input/output unit 110, a control unit 120, a communication unit 130, and a memory 140. For example, if the inner leaf stem measurement device 100 is implemented as a server-client system, each component of the input/output unit 110, control unit 120, communication unit 130, and memory 140 is connected to the terminal 10. , 11) or may be implemented through the server 20.
입출력부(110)는 사용자로부터 입력을 수신하기 위한 입력부와, 작업의 수행 결과 또는 사용자 단말(100)의 상태 등의 정보를 표시하기 위한 출력부를 포함할 수 있다. 예를 들어, 입출력부(110)는 사용자 입력을 수신하는 조작 패널(operation panel) 및 화면을 표시하는 디스플레이 패널(display panel) 등을 포함할 수 있다.The input/output unit 110 may include an input unit for receiving input from a user and an output unit for displaying information such as a task performance result or the status of the user terminal 100. For example, the input/output unit 110 may include an operation panel that receives user input and a display panel that displays a screen.
구체적으로, 입력부는 키보드, 물리 버튼, 터치 스크린, 카메라 또는 마이크 등과 같이 다양한 형태의 사용자 입력을 수신할 수 있는 장치들을 포함할 수 있다. 또한, 출력부는 디스플레이 패널 또는 스피커 등을 포함할 수 있다. 다만, 이에 한정되지 않고 입출력부(110)는 다양한 입출력을 지원하는 구성을 포함할 수 있다.Specifically, the input unit may include devices that can receive various types of user input, such as a keyboard, physical button, touch screen, camera, or microphone. Additionally, the output unit may include a display panel or a speaker. However, the input/output unit 110 is not limited to this and may include a configuration that supports various inputs and outputs.
실시예에 따르면 입력부는 대상물인 작물을 촬영한 영상을 생성하거나, 또는 외부 디바이스를 통해 생성된 영상을 입력으로서 수신할 수 있다. 또한 출력부는 상기 영상에 대한 연산의 결과인 생육정보 등을 출력하거나, 생육에 따른 알람 등을 출력할 수 있다.According to the embodiment, the input unit may generate an image of a crop as an object, or may receive an image generated through an external device as an input. Additionally, the output unit may output growth information, etc., which is a result of calculation on the image, or output an alarm according to growth.
제어부(120)는 속잎 줄기 측정 장치(100)의 전체적인 동작을 제어하며, CPU 등과 같은 프로세서를 포함할 수 있다. 제어부(120)는 입출력부(110)를 통해 수신한 사용자 입력에 대응되는 동작을 수행하도록 속잎 줄기 측정 장치(100)에 포함된 다른 구성들을 제어할 수 있다.The control unit 120 controls the overall operation of the inner leaf stem measurement device 100 and may include a processor such as a CPU. The control unit 120 may control other components included in the inner leaf stem measuring device 100 to perform operations corresponding to user input received through the input/output unit 110.
예를 들어, 제어부(120)는 메모리(140)에 저장된 프로그램을 실행시키거나, 메모리(140)에 저장된 파일을 읽어오거나, 새로운 파일을 메모리(140)에 저장할 수도 있다. 제어부(120)에 관해 보다 자세한 사항은 후술한다.For example, the control unit 120 may execute a program stored in the memory 140, read a file stored in the memory 140, or store a new file in the memory 140. More details regarding the control unit 120 will be described later.
통신부(130)는 다른 디바이스 또는 네트워크와 유무선 통신을 수행할 수 있다. 이를 위해, 통신부(130)는 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, 통신 모듈은 칩셋(chipset)의 형태로 구현될 수 있다.The communication unit 130 may perform wired or wireless communication with other devices or networks. To this end, the communication unit 130 may include a communication module that supports at least one of various wired and wireless communication methods. For example, a communication module may be implemented in the form of a chipset.
통신부(130)가 지원하는 무선 통신은, 예를 들어 Wi-Fi(Wireless Fidelity), Wi-Fi Direct, 블루투스(Bluetooth), UWB(Ultra Wide Band) 또는 NFC(Near Field Communication) 등일 수 있다. 또한, 통신부(130)가 지원하는 유선 통신은, 예를 들어 USB 또는 HDMI(High Definition Multimedia Interface) 등일 수 있다.Wireless communication supported by the communication unit 130 may be, for example, Wi-Fi (Wireless Fidelity), Wi-Fi Direct, Bluetooth, UWB (Ultra Wide Band), or NFC (Near Field Communication). Additionally, wired communication supported by the communication unit 130 may be, for example, USB or HDMI (High Definition Multimedia Interface).
메모리(140)에는 파일, 어플리케이션 및 프로그램 등과 같은 다양한 종류의 데이터가 설치 및 저장될 수 있다. 제어부(120)는 메모리(140)에 저장된 데이터에 접근하여 이를 이용하거나, 또는 새로운 데이터를 메모리(140)에 저장할 수도 있다. 또한, 제어부(120)는 메모리(140)에 설치된 프로그램을 실행할 수도 있다. 예를 들어 메모리(140)에는 속잎 줄기 측정 방법을 수행하기 위한 프로그램이 설치될 수 있다.Various types of data, such as files, applications, and programs, can be installed and stored in the memory 140. The control unit 120 may access and use data stored in the memory 140, or may store new data in the memory 140. Additionally, the control unit 120 may execute a program installed in the memory 140. For example, a program for performing a method of measuring inner leaf stems may be installed in the memory 140.
일 실시예에 따르면, 입출력부(110)를 통해 작물을 촬영한 영상을 획득하면, 제어부(120)는 메모리(140)에 저장된 프로그램을 실행시켜 속잎 줄기 측정 방법을 수행한다.According to one embodiment, when an image of a crop is acquired through the input/output unit 110, the control unit 120 executes a program stored in the memory 140 to perform a method of measuring inner leaf stems.
한편 도 3 내지 도 5를 참조하여, 본 명세서에 개시된 일 실시예에 따른 제어부(120)의 동작을 설명한다.Meanwhile, with reference to FIGS. 3 to 5, the operation of the control unit 120 according to an embodiment disclosed herein will be described.
관련하여 도 3 내지 도 5는 본 명세서에 개시된 일 실시예에 따른 속잎 줄기 측정 장치(100)를 설명하기 위한 예시도로서, 속잎 줄기 측정 장치(100)가 구현되는 단말(10)의 화면을 통해 나타나는 영상 프레임의 일례를 도시한 것이다.In relation to this, FIGS. 3 to 5 are exemplary diagrams for explaining the inner leaf stem measurement device 100 according to an embodiment disclosed herein, through the screen of the terminal 10 on which the inner leaf stem measurement device 100 is implemented. This shows an example of a video frame that appears.
제어부(120)는 작물을 촬영한 영상 프레임을 분석할 수 있다.The control unit 120 may analyze image frames in which crops are photographed.
이때 영상 프레임에 대한 정확한 분석을 위해 영상 프레임에 대한 전처리를 수행할 수 있으며, 예를 들어 제어부(120)는 영상이 촬영된 촬영 시점의 일조량에 기초하여 영상 프레임의 색상, 채도 등을 보정할 수 있다.At this time, preprocessing may be performed on the image frame for accurate analysis of the image frame. For example, the control unit 120 may correct the color, saturation, etc. of the image frame based on the amount of sunlight at the time the image was captured. there is.
일 실시예에 따르면 제어부(120)는 학습된 딥러닝 모델을 이용하여, 작물을 촬영한 영상 프레임으로부터 밑둥의 위치를 획득할 수 있다.According to one embodiment, the control unit 120 may use a learned deep learning model to obtain the position of the stump from an image frame in which a crop is photographed.
이를 위해 영상 프레임 내에서 밑둥을 디텍션한 결과값을 출력하도록 딥러닝 모델을 학습시킬 수 있다. 이때 도 3에서 도시된 바와 같이 제어부(120)는 오브젝트 디텍션(object detection)을 통해 영상 프레임(300) 내에서 밑둥을 식별하고 식별된 밑둥을 에워싸는 바운딩박스(310)를 영상 프레임 내에 표시할 수 있다. 이러한 딥러닝 모델은, 예를 들어, CNN(convolutional neural network), RNN(recurrent neural network) 등의 네트워크 모델로 구현될 수 있다.For this purpose, a deep learning model can be trained to output the result of detecting the stump within the video frame. At this time, as shown in FIG. 3, the control unit 120 can identify the stump within the image frame 300 through object detection and display a bounding box 310 surrounding the identified stump within the image frame. . This deep learning model may be implemented as a network model, for example, a convolutional neural network (CNN) or a recurrent neural network (RNN).
제어부(120)는 예를 들어, 밑둥을 에워싸는 바운딩박스(310)를 획득하면, 바운딩박스(310)의 중점 또는 꼭지점 중 일 지점을 밑둥의 위치로 설정할 수 있다. 예를 들어 도 3에서 도시된 바와 같이 바운딩박스(310) 내에서 중점(320)을 밑둥의 위치로 설정할 수 있다.For example, when the control unit 120 obtains the bounding box 310 surrounding the stump, it can set one of the midpoints or vertices of the bounding box 310 as the position of the stump. For example, as shown in FIG. 3, the midpoint 320 within the bounding box 310 can be set as the position of the base.
또는 제어부(120)는 예를 들어 밑둥을 에워싸는 바운딩박스(310)를 획득하면, 바운딩박스(310) 내에서 색상을 분석함으로써 소정값의 색상이 위치하는 픽셀을 밑둥의 위치로 설정할 수 있다. 즉 예를 들어, 바운딩박스(310) 내에 갈색에 관한 색상값을 갖는 픽셀의 위치를 밑둥의 위치로 설정할 수 있다. 또는 예를 들어, 바운딩박스(310) 내에 갈색의 색상값을 갖는 픽셀의 위치가 복수 개이고 복수 개의 픽셀 중 일부의 픽셀이 인접하게 위치하면 상기 일부의 픽셀 중 임의의 픽셀의 위치를 밑둥의 위치로 설정할 수 있다. Alternatively, for example, when the control unit 120 obtains the bounding box 310 surrounding the stump, it can analyze the color within the bounding box 310 and set a pixel where a color of a predetermined value is located as the position of the stump. That is, for example, the position of a pixel with a color value related to brown within the bounding box 310 can be set as the position of the base. Or, for example, if there are a plurality of pixels with a brown color value in the bounding box 310 and some of the pixels are located adjacent to each other, the position of any pixel among the plurality of pixels is selected as the position of the base. You can set it.
이와 같이 밑둥의 위치를 식별하면, 제어부(120)는 학습된 딥러닝 모델을 이용하여 영상 프레임으로부터 속잎의 위치를 획득할 수 있다. If the position of the stump is identified in this way, the control unit 120 can obtain the position of the inner leaf from the image frame using the learned deep learning model.
이를 위해 영상 프레임을 이용하여 영상 프레임 내에서의 속잎을 표시한 결과값을 출력하도록 딥러닝 모델을 학습시킬 수 있다. 예를 들어 영상 프레임 내에서 속잎을 식별하고 식별된 속잎을 에워싸는 바운딩박스를 출력하도록 딥러닝 모델을 학습시킬 수 있다. 이때 딥러닝 모델은, 예를 들어, CNN(convolutional neural network), RNN(recurrent neural network) 등의 네트워크 모델로 구현될 수 있다.For this purpose, a deep learning model can be trained using video frames to output results showing the inner leaves within the video frame. For example, a deep learning model can be trained to identify inner leaves within an image frame and output a bounding box surrounding the identified inner leaves. At this time, the deep learning model may be implemented as a network model, such as a convolutional neural network (CNN) or a recurrent neural network (RNN).
이를 위해 제어부(120)는 밑둥의 위치를 기준으로 영상 프레임 내에서 소정의 영역을 크롭(crop)함으로써 크롭 영역을 획득할 수 있다. 또는 제어부(120)는 밑둥을 에워싸는 바운딩박스의 경계를 기준으로 그 내부를 크롭함으로써 크롭 영역을 획득할 수 있다.To this end, the control unit 120 can obtain a cropped area by cropping a predetermined area within the image frame based on the position of the stump. Alternatively, the control unit 120 may obtain the crop area by cropping the inside based on the boundary of the bounding box surrounding the stump.
그리고 제어부(120)는 크롭 영역을 학습된 딥러닝 모델에 입력함으로써 속잎의 위치를 식별할 수 있다. 즉 작물의 잎 중에서 속잎은 밑둥의 주변에 위치함에 착안하여 밑둥의 위치를 기준으로 소정의 반경 이내의 영역을 크롭함으로써 크롭 영역을 획득하고, 크롭 영역을 딥러닝 모델에 입력함으로써 속잎의 위치를 식별할 수 있다.And the control unit 120 can identify the location of the inner leaf by inputting the crop area into the learned deep learning model. That is, focusing on the fact that among crop leaves, the inner leaves are located around the base, the crop area is obtained by cropping the area within a certain radius based on the position of the base, and the location of the inner leaves is identified by inputting the crop area into a deep learning model. can do.
일 실시예에 따르면 딥러닝 모델을 이용하여 크롭 영역으로부터 속잎 위치를 획득할 수 있다.According to one embodiment, the inner leaf location can be obtained from the crop area using a deep learning model.
예를 들어 도 4에서 도시된 바와 같이, 딥러닝 모델에 크롭 영역을 입력함으로써 크롭 영역 내에서의 잎을 세그먼테이션(segmentation)을 통해 식별해낼 수 있다.For example, as shown in Figure 4, by inputting the crop area into a deep learning model, leaves within the crop area can be identified through segmentation.
학습된 딥러닝 모델은 크롭 영역을 입력 받음에 따라 속잎을 에워싸는 바운딩박스를 출력할 수 있다. 예를 들어, 도 4에서 도시된 바와 같이 제어부(120)는 세 단계를 거치면서 바운딩박스를 출력할 수 있는데, 즉, 도 4의 (a)에서 도시된 바와 같이, 크롭 영역을 그레이 스케일(gray scale)함에 따라 전처리된 크롭 영역(410) 내에서 객체의 경계를 출력하도록 학습된 딥러닝 모델을 이용할 수 있고, 또한, 크롭 영역(410)을 학습된 딥러닝 모델에 입력함으로써 그에 따라 도 4의 (b)에서 도시된 바와 같이 폐곡선으로서 소정의 원형을 갖는 객체를 '잎'으로서 식별해낼 수 있으며, 도 4의 (b)의 프레임과 크롭 영역을 함께 입력함으로써 학습된 딥러닝 모델이 도 4의 (c)에서 도시된 바와 같이 식별된 잎(431) 주변을 바운딩박스로 에워싼 출력값을 제공하도록 함으로써, 제어부(120)는 크롭 영역(430)에서 잎을 식별해낼 수 있다. The learned deep learning model can output a bounding box surrounding the inner leaf as it receives the crop area. For example, as shown in FIG. 4, the control unit 120 can output a bounding box in three steps, that is, as shown in (a) of FIG. 4, the crop area is converted to gray scale. A deep learning model learned to output the boundary of an object within the preprocessed crop area 410 can be used according to the scale, and by inputting the crop area 410 into the learned deep learning model, the As shown in (b), an object with a predetermined circular shape as a closed curve can be identified as a 'leaf', and the deep learning model learned by inputting the frame and crop area of (b) of Figure 4 together is shown in Figure 4. As shown in (c), the control unit 120 can identify the leaf in the crop area 430 by providing an output value surrounding the identified leaf 431 with a bounding box.
상술된 바에 따라 딥러닝 모델이 결과값을 출력할 수 있도록 제어부(120)는 크롭 영역을 입력함으로써 속잎을 에워싸는 바운딩박스를 출력하도록 딥러닝 모델을 학습시킬 수 있다.As described above, the control unit 120 can train the deep learning model to output a bounding box surrounding the inner leaf by inputting the crop area so that the deep learning model can output the result.
또한 제어부(120)는 식별된 잎을 에워싸는 바운딩박스 내에서의 중점, 꼭지점 또는 임의의 지점을, 속잎의 위치로 설정할 수 있으며, 또는 잎이 통상 줄기에 연결되어 있음에 착안하여 잎으로 추정되는 폐곡선과 줄기로 추정되는 선이 만나는 지점을 속잎의 위치로 설정할 수 있다.In addition, the control unit 120 can set the midpoint, vertex, or arbitrary point within the bounding box surrounding the identified leaf as the position of the inner leaf, or a closed curve estimated to be a leaf based on the fact that the leaf is usually connected to the stem. The point where the lines presumed to be the stem meet can be set as the location of the inner leaf.
또 다른 실시예에 따르면 제어부(120)는 딥러닝 모델을 이용하여 크롭 영역으로부터 잎맥을 식별해낼 수 있다. 예를 들어 크롭 영역(410) 내에서 객체의 경계를 세그먼테이션을 통해 식별해내되, 폐곡선으로서의 소정의 원형을 갖는 객체 내부의 선을 식별해냄으로써 해당 선을 잎맥으로 식별해낼 수 있다.According to another embodiment, the control unit 120 may identify leaf veins from the crop area using a deep learning model. For example, the boundary of an object within the crop area 410 can be identified through segmentation, and by identifying a line inside the object that has a predetermined circular shape as a closed curve, the line can be identified as a leaf vein.
이를 위해 제어부(120)는 크롭 영역을 입력하였을 때 잎맥 및 잎 중 적어도 하나를 세그먼테이션하여 표시되도록 딥러닝 모델을 학습시킬 수 있다.To this end, the control unit 120 may train a deep learning model to segment and display at least one of the leaf veins and leaves when the crop area is input.
또한 제어부(120)는 '잎'으로 추정되는 폐곡선 내에서의 잎맥을 복수 개 식별할 수 있다. 따라서 학습된 딥러닝 모델을 이용하여 '잎'과 '잎맥'이 식별되면 제어부(120)는 예를 들어, 복수 개의 잎맥이 중첩되는 위치를 식별함으로써 해당 위치를 속잎의 위치로서 식별하거나, 또는 예를 들어, 복수 개의 잎맥이 모두 연결되어 있는 주맥(costa)를 식별하고 주맥의 양 끝단 중 일 지점을 속잎의 위치로 설정할 수 있다. Additionally, the control unit 120 may identify a plurality of leaf veins within a closed curve presumed to be a 'leaf'. Therefore, when 'leaf' and 'leaf vein' are identified using the learned deep learning model, the control unit 120 identifies the position as the position of the inner leaf by, for example, identifying the position where a plurality of leaf veins overlap, or, for example, For example, the main vein (costa) where multiple leaf veins are all connected can be identified and one point at both ends of the main vein can be set as the location of the inner leaf.
또한 제어부(120)는 식별된 속잎을 라벨링함으로써 속잎 줄기의 성장을 추적할 수 있다. Additionally, the control unit 120 can track the growth of the inner leaf stem by labeling the identified inner leaf.
일 실시예에 따르면 현 시점(t) 직전의 분석 이전 시점(t-1)에서 기 식별된 속잎을 기준으로 소정 반경 내 일 영역에 위치한 속잎이 식별되었다면 해당 기 식별된 속잎이 성장한 것으로 판단하고 기 식별된 속잎과 동일한 라벨링을 갖도록 처리할 수 있다. 이때 이전 시점(t)은 현재 속잎 줄기를 측정하기 직전에 속잎 줄기가 측정된 시점을 지칭한다. 예를 들어, 제어부(120)는 이전 시점(t-1)에서 라벨링된 속잎A를 기준으로 소정의 반경 내 상부에 위치한 속잎은 속잎 A가 자라난 것으로 판단하고 현 시점(t)에서 해당 속잎을 'A'라 라벨링할 수 있으나, 속잎A를 기준으로 소정의 반경 내 위에 하단에 위치한 속잎은 새로운 속잎이라 판단하고 현 시점(t)에서 해당 속잎을 새로운 식별정보로 라벨링할 수 있다.According to one embodiment, if an inner leaf located in an area within a predetermined radius is identified based on the previously identified inner leaf at a time point (t-1) before the analysis immediately before the current time point (t), it is determined that the identified inner leaf has grown, and the inner leaf is determined to have grown. It can be processed to have the same labeling as the identified inner leaves. At this time, the previous time point (t) refers to the time when the inner leaf stem was measured immediately before measuring the current inner leaf stem. For example, the control unit 120 determines that the inner leaf A has grown in the upper inner leaf within a predetermined radius based on the inner leaf A labeled at the previous time point (t-1), and selects the inner leaf at the current time point (t). It can be labeled as 'A', but the inner leaf located above and below within a predetermined radius based on inner leaf A is judged to be a new inner leaf, and the inner leaf can be labeled with new identification information at the current time (t).
관련하여 영상 프레임으로부터 밑둥의 위치를 파악하기 위한 딥러닝 모델을 제1딥러닝 모델이라 칭하고, 영상 프레임으로부터 속잎의 위치를 파악하기 위한 딥러닝 모델을 제2딥러닝 모델이라 칭할 수 있다. 제1딥러닝 모델 및 제2딥러닝 모델 각각은 서로 다른 네트워크일 수 있고 또는 동일한 네트워크일 수 있다. In this regard, the deep learning model for determining the location of the stump from the image frame may be referred to as the first deep learning model, and the deep learning model for determining the location of the inner leaf from the image frame may be referred to as the second deep learning model. Each of the first deep learning model and the second deep learning model may be a different network or the same network.
상술된 바에 따라 속잎의 위치를 식별하면 제어부(120)는 밑둥의 위치에서부터 속잎 위치까지의 거리를 측정함으로써 속잎 줄기의 길이를 산출할 수 있다.If the position of the inner leaf is identified as described above, the control unit 120 can calculate the length of the inner leaf stem by measuring the distance from the position of the base to the position of the inner leaf.
즉, 도 5에서 도시된 바와 같이, 영상 프레임(500) 내에서, 제어부(120)는 밑둥으로 식별된 바운딩박스(510) 내 일 지점을 밑둥의 위치로, 속잎으로 식별된 바운딩박스(520) 내 일 지점을 속잎의 위치로 결정할 수 있다.That is, as shown in FIG. 5, within the image frame 500, the control unit 120 sets a point within the bounding box 510 identified as the stump as the position of the stump and the bounding box 520 identified as the inner leaf. My work point can be determined by the position of the inner leaf.
그리고 일 실시예에 따르면 제어부(120)는, 밑둥의 위치에서부터 속잎의 위치까지의 거리를 직선거리를 속잎 줄기의 길이로 산출할 수 있는데, 예를 들어, 프레임 내에서의 밑둥 위치 좌표와, 프레임 내에서의 속잎 위치 좌표 간의 차를 연산함으로써 속잎 줄기 길이를 산출할 수 있다. 그에 따라 도 5에서 도시된 바와 같이 제어부(120)는 속잎 줄기 길이(550)를 산출할 수 있다.And according to one embodiment, the control unit 120 can calculate the straight line distance from the position of the stump to the position of the inner leaf as the length of the inner leaf stem. For example, the coordinates of the stump position within the frame and the frame The inner leaf stem length can be calculated by calculating the difference between the inner leaf position coordinates within the inner leaf. Accordingly, as shown in FIG. 5, the control unit 120 can calculate the inner leaf stem length 550.
또 다른 실시예에 따르면 제어부(120)는 밑둥의 위치에서부터 속잎의 위치까지 연결되는 줄기를 식별해내고, 곡선 형상의 줄기의 길이를 정적분을 이용하여 산출할 수 있다.According to another embodiment, the control unit 120 can identify a stem connected from the position of the base to the position of the inner leaf, and calculate the length of the curved stem using a definite integral.
다른 실시예에 따르면 제어부(120)는 이전 시점(t-1)의 프레임과 현 시점(t)의 프레임을 중첩시키되, 밑둥의 위치를 일치시키고 그에 따라 이전 시점(t-1)의 속잎의 위치와 현 시점(t)의 속잎의 위치 간의 차이를 산출할 수 있다. 상기 차이를, 이전 시점(t-1)의 속잎 줄기의 길이에 더함으로써 현 시점(t)의 속잎 줄기의 길이를 산출할 수 있다.According to another embodiment, the control unit 120 overlaps the frame at the previous time point (t-1) and the frame at the current time point (t), matches the position of the stump, and accordingly matches the position of the inner leaf at the previous time point (t-1). The difference between the position of the inner leaf at the current time (t) can be calculated. The length of the inner leaf stem at the current time (t) can be calculated by adding the difference to the length of the inner leaf stem at the previous time point (t-1).
관련하여 현 시점(t)에서 밑둥의 위치가 설정될 때, 이전 시점(t-1)에서의 밑둥의 위치와 오차가 발생될 수 있다. 예를 들어 현 시점(t)에서 밑둥으로 식별된 바운딩박스의 중점을 밑둥의 위치로 설정할 수 있는데, 이전 시점(t-1)에서 밑둥으로 식별된 바운딩박스의 일 꼭지점이 현 시점(t)의 바운딩박스의 꼭지점과 상이하거나 가로변 또는 세로변의 길이가 상이함에 따라 중점이 달리 설정됨으로써 이전 시점(t-1)의 밑둥의 위치와 다른 지점에 현 시점(t)의 밑둥의 위치가 설정될 수 있다. 밑둥은 근 시일 내에 이동하기 어려우므로, 이전 시점(t-1)의 프레임과 현 시점(t)의 프레임을 중첩시킬 때 밑둥의 위치를 일치시킴으로써 보다 정확한 속잎 길이를 산출할 수 있다.In relation to this, when the position of the stump is set at the current time point (t), an error may occur compared to the position of the stump at the previous time point (t-1). For example, the midpoint of the bounding box identified as the base at the current time point (t) can be set to the position of the base, and one vertex of the bounding box identified as the base at the previous time point (t-1) is the position of the base at the current time point (t). The midpoint is set differently depending on the vertex of the bounding box or the length of the horizontal or vertical sides, so that the position of the base at the current time (t) can be set at a different point from the position of the base at the previous time (t-1). . Since it is difficult to move the stump in the near future, a more accurate inner leaf length can be calculated by matching the position of the stump when overlapping the frame at the previous time (t-1) and the frame at the current time (t).
이와 같이 산출된 속잎 줄기의 길이를, 제어부(120)는 속잎 줄기 생장 그래프에 반영할 수 있다.The control unit 120 may reflect the length of the inner leaf stem calculated in this way on the inner leaf stem growth graph.
속잎 줄기 생장 그래프는 속잎 별로 시간에 따른 길이 변화를 나타낸 그래프로서 속잎 길이가 산출될 때마다 업데이트될 수 있다.The inner leaf stem growth graph is a graph showing the change in length of each inner leaf over time and can be updated each time the inner leaf length is calculated.
또한 제어부(120)는 속잎 줄기 생장 그래프를 분석하여 작물의 생장 상태에 관한 정보인 생육정보를 제공할 수 있다. 이때 생육정보는 작물의 생장 상태를 나타내기 위한 제반 정보일 수 있으며, 예를 들어, 작물의 생장상태가 양호한지 여부, 작물의 성장단계 등의 정보를 포함할 수 있다. Additionally, the control unit 120 may provide growth information, which is information about the growth state of the crop, by analyzing the inner leaf stem growth graph. At this time, the growth information may be any information to indicate the growth condition of the crop, and may include, for example, whether the crop's growth condition is good, the growth stage of the crop, etc.
예를 들어 제어부(120)는 속잎 줄기 생장 그래프의 기울기가 소정의 기간 동안 0으로 수렴하면 작물 생장에 문제가 있다고 판단하고 알람을 관리자에게 제공할 수 있다.For example, if the slope of the inner leaf stem growth graph converges to 0 for a predetermined period, the control unit 120 may determine that there is a problem with crop growth and provide an alarm to the manager.
또는 예를 들어 제어부(120)는 속잎 줄기 생장 그래프를 분석함으로써 과실이 몇 개 열릴 지 예측하는 결과값을 제공하거나, 생장 단계로서 관수 시점임을 알람으로 관리자에게 제공할 수 있다.Or, for example, the control unit 120 may provide a result predicting how many fruits will be opened by analyzing the inner leaf stem growth graph, or may provide the manager with an alarm indicating the time of irrigation as a growth stage.
한편 도 6은 일 실시예에 따른 속잎 줄기 측정 방법을 설명하기 위한 순서도이다. Meanwhile, Figure 6 is a flowchart for explaining a method of measuring inner leaf stems according to an embodiment.
도 6에 도시된 실시예에 따른 속잎 줄기 측정 방법은 도 1 내지 도 5에 도시된 속잎 줄기 측정 장치(100)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 1 내지 도 5에 도시된 속잎 줄기 측정 장치(100)에 관하여 이상에서 기술한 내용은 도 6에 도시된 실시예에 따른 속잎 줄기 측정 방법에도 적용될 수 있다.The method of measuring inner leaf stems according to the embodiment shown in FIG. 6 includes steps processed in time series in the inner leaf stem measuring device 100 shown in FIGS. 1 to 5. Therefore, even if the content is omitted below, the content described above regarding the inner leaf stem measuring device 100 shown in FIGS. 1 to 5 can also be applied to the inner leaf stem measuring method according to the embodiment shown in FIG. 6.
도 6에서 도시된 바와 같이 속잎 줄기 측정 장치(100)는 학습된 제1딥러닝 모델을 이용하여 작물을 촬영한 영상 프레임으로부터 밑둥의 위치를 획득할 수 있다 (S610).As shown in FIG. 6, the inner leaf stem measuring device 100 can acquire the position of the stump from an image frame in which a crop is photographed using the learned first deep learning model (S610).
예를 들어, 제1딥러닝 모델은 영상 프레임으로부터 밑둥을 에워싼 바운딩박스를 출력하도록 학습될 수 있으며, 그에 따라 속잎 줄기 측정 장치(100)가 학습된 제1딥러닝 모델을 이용하여 영상 프레임으로부터 밑둥의 위치를 식별해낼 수 있다.For example, the first deep learning model can be learned to output a bounding box surrounding the base from the image frame, and accordingly, the inner leaf stem measurement device 100 uses the learned first deep learning model to output a bounding box surrounding the base from the image frame. The location of the stump can be identified.
그리고 속잎 줄기 측정 장치(100)는 학습된 제2딥러닝 모델을 이용하여 상기 영상 프레임으로부터 속잎의 위치를 획득할 수 있다 (S620). And the inner leaf stem measuring device 100 can acquire the position of the inner leaf from the image frame using the learned second deep learning model (S620).
예를 들어 속잎 줄기 측정 장치(100)는 밑둥의 위치를 기준으로 영상 프레임 내에서의 영역을 크롭함으로써 크롭 영역을 획득하고 상기 크롭 영역을 상기 제2딥러닝 모델에 입력함으로써 속잎 위치를 획득할 수 있다. 이때 제2딥러닝 모델은 상기 크롭 영역 내에서 잎맥을 식별함으로써 속잎이 식별되도록 학습된 것일 수 있다. 또한 속잎 줄기 측정 장치(100)는 속잎 내에서의 잎맥을 복수개 식별하고, 상기 복수 개의 잎맥이 중첩되는 위치를 식별할 수 있다. For example, the inner leaf stem measurement device 100 can acquire the cropped area by cropping the area within the image frame based on the position of the stump, and obtain the inner leaf position by inputting the cropped area into the second deep learning model. there is. At this time, the second deep learning model may be learned to identify inner leaves by identifying leaf veins within the cropped area. In addition, the inner leaf stem measuring device 100 can identify a plurality of leaf veins within the inner leaf and identify positions where the plurality of leaf veins overlap.
상술된 바에 따라 획득된 밑둥의 위치 및 속잎의 위치에 기초하여 속잎 줄기 측정 장치(100)는 속잎 줄기의 길이를 산출할 수 있다(S630). Based on the position of the base and the inner leaf obtained as described above, the inner leaf stem measurement device 100 can calculate the length of the inner leaf stem (S630).
예를 들어 속잎 줄기 측정 장치(100)는 이전 시점(t-1)의 프레임과 현 시점(t)의 프레임을 중첩시키되, 밑둥의 위치를 일치시키고 그에 따라 이전 시점(t-1)의 속잎의 위치와 현 시점(t)의 속잎의 위치 간의 차이를 산출할 수 있다. 상기 차이를, 이전 시점(t-1)의 속잎 줄기의 길이에 더함으로써 현 시점(t)의 속잎 줄기의 길이를 산출할 수 있다.For example, the inner leaf stem measuring device 100 overlaps the frame at the previous time point (t-1) with the frame at the current time point (t), matches the position of the base, and accordingly matches the frame of the inner leaf at the previous time point (t-1). The difference between the position and the position of the inner leaf at the current time (t) can be calculated. The length of the inner leaf stem at the current time (t) can be calculated by adding the difference to the length of the inner leaf stem at the previous time point (t-1).
아울러 속잎 줄기 측정 장치(100)는 산출된 속잎 줄기의 길이를, 속잎 줄기 생장 그래프에 반영함으로써 생육정보를 제공할 수 있다(S640). In addition, the inner leaf stem measuring device 100 can provide growth information by reflecting the calculated length of the inner leaf stem in the inner leaf stem growth graph (S640).
따라서 예를 들어, 작물의 건강한 성장을 위해 필요한 요소가 있다면 속잎 줄기 측정 장치(100)는 알람 등을 통해 관리자에게 요청할 수 있는데, 분석 대상이 된 속잎의 성장 속도가 평균 성장 속도보다 느리다면 해당 작물에 대한 관리가 필요하다고 판단하고 알람을 관리자에게 제공할 수 있다.Therefore, for example, if there are elements necessary for the healthy growth of the crop, the inner leaf stem measuring device 100 can request the manager through an alarm, etc., and if the growth rate of the inner leaf to be analyzed is slower than the average growth rate, the inner leaf stem measuring device 100 can make a request to the manager through an alarm, etc. You can determine that management is necessary and provide an alarm to the manager.
이상의 실시예들에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field programmable gate array) 또는 ASIC 와 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램특허 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.The term '~unit' used in the above embodiments refers to software or hardware components such as FPGA (field programmable gate array) or ASIC, and the '~unit' performs certain roles. However, '~part' is not limited to software or hardware. The '~ part' may be configured to reside in an addressable storage medium and may be configured to reproduce on one or more processors. Therefore, as an example, '~ part' refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and variables.
구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로부터 분리될 수 있다.The functions provided within the components and 'parts' may be combined into a smaller number of components and 'parts' or may be separated from additional components and 'parts'.
뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU 들을 재생시키도록 구현될 수도 있다.In addition, the components and 'parts' may be implemented to regenerate one or more CPUs within the device or secure multimedia card.
실시예에 따른 속잎 길이 측정 방법은 컴퓨터에 의해 실행 가능한 명령어 및 데이터를 저장하는, 컴퓨터로 판독 가능한 매체의 형태로도 구현될 수 있다. 이때, 명령어 및 데이터는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터 기록 매체일 수 있는데, 컴퓨터 기록 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 예를 들어, 컴퓨터 기록 매체는 HDD 및 SSD 등과 같은 마그네틱 저장 매체, CD, DVD 및 블루레이 디스크 등과 같은 광학적 기록 매체, 또는 네트워크를 통해 접근 가능한 서버에 포함되는 메모리일 수 있다. The method for measuring inner leaf length according to the embodiment may also be implemented in the form of a computer-readable medium that stores instructions and data executable by a computer. At this time, instructions and data can be stored in the form of program code, and when executed by a processor, they can generate a certain program module and perform a certain operation. Additionally, computer-readable media can be any available media that can be accessed by a computer and includes both volatile and non-volatile media, removable and non-removable media. Additionally, computer-readable media may be computer recording media, which are volatile and non-volatile implemented in any method or technology for storage of information such as computer-readable instructions, data structures, program modules, or other data. It can include both volatile, removable and non-removable media. For example, computer recording media may be magnetic storage media such as HDDs and SSDs, optical recording media such as CDs, DVDs, and Blu-ray discs, or memory included in servers accessible through a network.
또한 실시예에 따른 속잎 줄기 측정 방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다. Additionally, the method for measuring inner leaf stems according to the embodiment may be implemented as a computer program (or computer program product) including instructions executable by a computer. A computer program includes programmable machine instructions processed by a processor and may be implemented in a high-level programming language, object-oriented programming language, assembly language, or machine language. . Additionally, the computer program may be recorded on a tangible computer-readable recording medium (eg, memory, hard disk, magnetic/optical medium, or solid-state drive (SSD)).
따라서 실시예에 따른 속잎 줄기 측정 방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다. Therefore, the method for measuring inner leaf stems according to the embodiment can be implemented by executing the computer program as described above by a computing device. The computing device may include at least some of a processor, memory, a storage device, a high-speed interface connected to the memory and a high-speed expansion port, and a low-speed interface connected to a low-speed bus and a storage device. Each of these components is connected to one another using various buses and may be mounted on a common motherboard or in some other suitable manner.
여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다. Here, the processor can process instructions within the computing device, such as displaying graphical information to provide a graphic user interface (GUI) on an external input or output device, such as a display connected to a high-speed interface. These may include instructions stored in memory or a storage device. In other embodiments, multiple processors and/or multiple buses may be utilized along with multiple memories and memory types as appropriate. Additionally, the processor may be implemented as a chipset consisting of chips including multiple independent analog and/or digital processors.
또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다. Memory also stores information within a computing device. In one example, memory may be comprised of volatile memory units or sets thereof. As another example, memory may consist of non-volatile memory units or sets thereof. The memory may also be another type of computer-readable medium, such as a magnetic or optical disk.
그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다. And the storage device can provide a large amount of storage space to the computing device. A storage device may be a computer-readable medium or a configuration that includes such media, and may include, for example, devices or other components within a storage area network (SAN), such as a floppy disk device, a hard disk device, an optical disk device, Or it may be a tape device, flash memory, or other similar semiconductor memory device or device array.
상술된 실시예들은 예시를 위한 것이며, 상술된 실시예들이 속하는 기술분야의 통상의 지식을 가진 자는 상술된 실시예들이 갖는 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 상술된 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above-described embodiments are for illustrative purposes, and those skilled in the art will recognize that the above-described embodiments can be easily modified into other specific forms without changing the technical idea or essential features of the above-described embodiments. You will understand. Therefore, the above-described embodiments should be understood in all respects as illustrative and not restrictive. For example, each component described as unitary may be implemented in a distributed manner, and similarly, components described as distributed may also be implemented in a combined form.
본 명세서를 통해 보호 받고자 하는 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태를 포함하는 것으로 해석되어야 한다.The scope sought to be protected through this specification is indicated by the patent claims described later rather than the detailed description above, and should be interpreted to include the meaning and scope of the claims and all changes or modified forms derived from the equivalent concept. .
100: 속잎 줄기 측정 장치
110: 입출력부 120: 제어부
130: 통신부 140: 메모리100: Inner leaf stem measuring device
110: input/output unit 120: control unit
130: Communication unit 140: Memory
Claims (12)
영상을 획득하기 위한 입출력부;
딥러닝을 수행하기 위한 프로그램이 저장되는 메모리; 및
상기 프로그램을 실행함으로써 영상 프레임에 대한 딥러닝을 수행하는 제어부를 포함하며,
상기 제어부는,
학습된 제1딥러닝 모델을 이용하여 작물을 촬영한 영상 프레임으로부터 밑둥의 위치를 획득하고, 학습된 제2딥러닝 모델을 이용하여 상기 영상 프레임으로부터 속잎의 위치를 획득하면, 상기 밑둥의 위치 및 상기 속잎의 위치에 기초하여 속잎 줄기의 길이를 산출하며,
상기 밑둥의 위치를 기준으로 상기 영상 프레임 내에서의 영역을 크롭(crop)함으로써 크롭 영역을 획득하고 상기 크롭 영역을 상기 제2딥러닝 모델에 입력함으로써 속잎 위치를 획득하는, 속잎 줄기 측정 장치.A device for measuring the inner leaf stem of a crop,
An input/output unit for acquiring an image;
Memory in which a program for performing deep learning is stored; and
It includes a control unit that performs deep learning on image frames by executing the program,
The control unit,
When the position of the stump is obtained from an image frame in which a crop is photographed using the learned first deep learning model, and the position of the inner leaf is obtained from the image frame using the learned second deep learning model, the position of the stump and Calculate the length of the inner leaf stem based on the position of the inner leaf,
An inner leaf stem measurement device that acquires the cropped area by cropping the area within the image frame based on the position of the stump and acquires the inner leaf position by inputting the cropped area into the second deep learning model.
상기 제어부는,
상기 크롭 영역 내에서 잎맥을 식별함으로써 속잎이 식별되도록 상기 제2딥러닝 모델을 학습시키는, 속잎 줄기 측정 장치.According to paragraph 1,
The control unit,
An inner leaf stem measurement device that trains the second deep learning model to identify inner leaves by identifying leaf veins within the crop area.
상기 제어부는,
상기 잎맥을 복수개 식별하고, 상기 복수 개의 잎맥이 중첩되는 위치를 식별함으로써 상기 속잎의 위치를 식별하는, 속잎 줄기 측정 장치.According to paragraph 3,
The control unit,
An inner leaf stem measuring device that identifies the position of the inner leaf by identifying a plurality of leaf veins and identifying a position where the plurality of leaf veins overlap.
상기 제어부는,
산출된 속잎 줄기의 길이를, 속잎 줄기 생장 그래프에 반영함으로써 생육정보를 제공하는, 속잎 줄기 측정 장치.According to paragraph 1,
The control unit,
An inner leaf stem measuring device that provides growth information by reflecting the calculated inner leaf stem length on an inner leaf stem growth graph.
학습된 제1딥러닝 모델을 이용하여 작물을 촬영한 영상 프레임으로부터 밑둥의 위치를 획득하는 단계;
학습된 제2딥러닝 모델을 이용하여 상기 영상 프레임으로부터 속잎의 위치를 획득하는 단계; 및
상기 밑둥의 위치 및 상기 속잎의 위치에 기초하여 속잎 줄기의 길이를 산출하는 단계를 포함하고,
상기 속잎의 위치를 획득하는 단계는,
상기 밑둥의 위치를 기준으로 상기 영상 프레임 내에서의 영역을 크롭함으로써 크롭 영역을 획득하는 단계; 및
상기 크롭 영역을 상기 제2딥러닝 모델에 입력함으로써 속잎 위치를 획득하는 단계를 포함하는, 속잎 줄기 측정 방법.An inner leaf stem measuring device is a method for measuring the inner leaf stem of a crop,
Obtaining the position of the stump from an image frame in which a crop is photographed using the learned first deep learning model;
Obtaining the position of the inner leaf from the image frame using a learned second deep learning model; and
Comprising the step of calculating the length of the inner leaf stem based on the position of the stump and the position of the inner leaf,
The step of acquiring the position of the inner leaf is,
Obtaining a cropped area by cropping an area within the image frame based on the position of the stump; and
A method of measuring inner leaf stems, comprising the step of acquiring the inner leaf position by inputting the cropped area into the second deep learning model.
상기 제2딥러닝 모델은,
상기 크롭 영역 내에서 잎맥을 식별함으로써 속잎이 식별되도록 학습된 것인, 속잎 줄기 측정 방법.According to clause 6,
The second deep learning model is,
A method of measuring inner leaf stems, which is learned to identify inner leaves by identifying leaf veins within the crop area.
상기 속잎의 위치를 획득하는 단계는,
상기 잎맥을 복수개 식별하고, 상기 복수 개의 잎맥이 중첩되는 위치를 식별함으로써 상기 속잎의 위치를 식별하는 단계를 포함하는, 속잎 줄기 측정 방법.According to clause 8,
The step of acquiring the position of the inner leaf is,
A method for measuring inner leaf stems, comprising identifying the position of the inner leaf by identifying a plurality of leaf veins and identifying a position where the plurality of leaf veins overlap.
산출된 속잎 줄기의 길이를, 속잎 줄기 생장 그래프에 반영함으로써 생육정보를 제공하는 단계를 더 포함하는, 속잎 줄기 측정 방법.According to clause 6,
A method of measuring inner leaf stems, further comprising providing growth information by reflecting the calculated length of inner leaf stems on a growth graph of inner leaf stems.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210078992A KR102590772B1 (en) | 2021-06-17 | 2021-06-17 | Apparatus and method for measuring length of leaf stem |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210078992A KR102590772B1 (en) | 2021-06-17 | 2021-06-17 | Apparatus and method for measuring length of leaf stem |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220168915A KR20220168915A (en) | 2022-12-26 |
KR102590772B1 true KR102590772B1 (en) | 2023-10-19 |
Family
ID=84547631
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210078992A KR102590772B1 (en) | 2021-06-17 | 2021-06-17 | Apparatus and method for measuring length of leaf stem |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102590772B1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108362698B (en) * | 2018-02-06 | 2020-08-11 | 北京农业智能装备技术研究中心 | Method and device for detecting main stem nodes of seedlings |
KR102145617B1 (en) * | 2017-01-23 | 2020-08-19 | 한국과학기술연구원 | System for selecting plants based on phenotypes and method thereof |
JP2021058129A (en) * | 2019-10-07 | 2021-04-15 | 一般財団法人機械振興協会 | Growth monitoring system and growth monitoring method of field crop |
-
2021
- 2021-06-17 KR KR1020210078992A patent/KR102590772B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102145617B1 (en) * | 2017-01-23 | 2020-08-19 | 한국과학기술연구원 | System for selecting plants based on phenotypes and method thereof |
CN108362698B (en) * | 2018-02-06 | 2020-08-11 | 北京农业智能装备技术研究中心 | Method and device for detecting main stem nodes of seedlings |
JP2021058129A (en) * | 2019-10-07 | 2021-04-15 | 一般財団法人機械振興協会 | Growth monitoring system and growth monitoring method of field crop |
Also Published As
Publication number | Publication date |
---|---|
KR20220168915A (en) | 2022-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Tedesco-Oliveira et al. | Convolutional neural networks in predicting cotton yield from images of commercial fields | |
US10643073B2 (en) | System, method, program for display on wearable terminal | |
US20200012853A1 (en) | Method and system for crop type identification using satellite observation and weather data | |
WO2016029796A1 (en) | Method, device and system for identifying commodity in video image and presenting information thereof | |
US9323984B2 (en) | System and methods of adaptive sampling for emotional state determination | |
KR102214652B1 (en) | Apparatus and method for analyzing image | |
US20230419410A1 (en) | Remote farm damage assessment system and method | |
JP2014095967A (en) | Information processing apparatus, information processing method and program | |
US9952658B2 (en) | System and method for improving viewing experience on a digital device | |
Behera et al. | On-tree fruit monitoring system using IoT and image analysis | |
US20160171407A1 (en) | Method and system for classifying plant disease through crowdsourcing using a mobile communication device | |
KR102590772B1 (en) | Apparatus and method for measuring length of leaf stem | |
Elhariri et al. | Strawberry-DS: Dataset of annotated strawberry fruits images with various developmental stages | |
Niu et al. | YOLO-plum: A high precision and real-time improved algorithm for plum recognition | |
KR102228196B1 (en) | Method and apparatus for deciding ensemble weight about base meta learner | |
KR20220017673A (en) | Apparatus and method for classification based on deep learning | |
Turečková et al. | Slicing aided large scale tomato fruit detection and counting in 360-degree video data from a greenhouse | |
KR102545632B1 (en) | Apparatus and method for crop | |
KR102082430B1 (en) | Apparatus and method for detecting medicinal products | |
KR102273334B1 (en) | Method and apparatus for learning neural network using multi channel image | |
Vidanapathirana et al. | Pomegranate Farming Monitoring System | |
KR20240084406A (en) | Apparatus and method for predicting crop production | |
KR102640565B1 (en) | Apparatus and method for detecting abnormal object | |
KR102499215B1 (en) | Device and method for supporting deep learning | |
KR20200057813A (en) | Method for detecting medicinal products and apparatus thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |