KR20210087729A - Method and Apparatus for Predicting of Brix and Acidity of Strawberries Using Image Data - Google Patents

Method and Apparatus for Predicting of Brix and Acidity of Strawberries Using Image Data Download PDF

Info

Publication number
KR20210087729A
KR20210087729A KR1020200000808A KR20200000808A KR20210087729A KR 20210087729 A KR20210087729 A KR 20210087729A KR 1020200000808 A KR1020200000808 A KR 1020200000808A KR 20200000808 A KR20200000808 A KR 20200000808A KR 20210087729 A KR20210087729 A KR 20210087729A
Authority
KR
South Korea
Prior art keywords
strawberry
acidity
sugar content
predicting
target
Prior art date
Application number
KR1020200000808A
Other languages
Korean (ko)
Other versions
KR102363905B1 (en
Inventor
전원배
조완현
나명환
Original Assignee
재단법인대구경북과학기술원
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원, 전남대학교산학협력단 filed Critical 재단법인대구경북과학기술원
Priority to KR1020200000808A priority Critical patent/KR102363905B1/en
Publication of KR20210087729A publication Critical patent/KR20210087729A/en
Application granted granted Critical
Publication of KR102363905B1 publication Critical patent/KR102363905B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06K9/6221—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/02—Food
    • G01N33/025—Fruits or vegetables
    • G06K9/46—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/8466—Investigation of vegetal material, e.g. leaves, plants, fruits
    • G06K2209/17—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Food Science & Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Biochemistry (AREA)
  • Medicinal Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Sorting Of Articles (AREA)

Abstract

The present invention relates to a method and device for predicting harvest time of strawberries using image data, which includes the steps of: acquiring image data for a target strawberry for sugar content and acidity prediction; segmenting a strawberry image included in the image data using a segmentation algorithm; checking the maturity level of the target strawberry by extracting features from the segmented strawberry image; generating a statistical model using a probabilistic soft logic (PSL) model; and predicting the sugar content and acidity of the target strawberry using the statistical model. Other embodiments are also applicable.

Description

영상데이터를 이용한 딸기의 당도 및 산도 예측 방법 및 장치{Method and Apparatus for Predicting of Brix and Acidity of Strawberries Using Image Data}Method and Apparatus for Predicting of Brix and Acidity of Strawberries Using Image Data

본 발명은 영상데이터를 이용한 딸기의 당도 및 산도 예측 방법 및 장치에 관한 것이다. The present invention relates to a method and apparatus for predicting sugar content and acidity of strawberries using image data.

현재의 과수원 농가에서는 과일의 수확시기를 판단하기 위해 관리자가 일일이 과수원의 과일들의 생육상태를 육안으로 확인하고, 복수의 과일을 샘플로 채취하여 당도 및 산도를 직접 확인하였다. 그러나, 이와 같이 관리자가 생육상태를 육안으로 확인하기 위해서는 많은 인력 및 시간이 소모되는 문제점이 있다. 또한, 샘플에 대한 당도 및 산도의 확인만으로는 과수원에서 수확되는 모든 과일에 대한 품질을 보증하기 어려운 문제점이 발생된다.In the current orchard farmhouse, in order to determine the harvest time of the fruits, the manager visually checked the growth status of the fruits in the orchard, and collected a plurality of fruit samples to directly check the sugar content and acidity. However, there is a problem in that a lot of manpower and time is consumed in order for the manager to visually check the growth state. In addition, there is a problem in that it is difficult to guarantee the quality of all fruits harvested in the orchard only by checking the sugar content and acidity of the sample.

이러한 종래의 문제점을 해결하기 위한 본 발명의 실시 예들은 딸기 수확시기, 수확된 딸기의 영상데이터, 딸기의 당도 및 산도를 기반으로 학습을 수행하고, 학습결과를 기반으로 수확 예정인 딸기의 당도 및 산도를 예측할 수 있는 영상데이터를 이용한 딸기의 당도 및 산도 예측 방법 및 장치를 제공하는 것이다. Embodiments of the present invention for solving these conventional problems perform learning based on strawberry harvest time, image data of harvested strawberries, sugar content and acidity of strawberries, and sugar content and acidity of strawberries to be harvested based on the learning results To provide a method and apparatus for predicting sugar content and acidity of strawberries using image data that can predict

본 발명의 실시 예에 따른 딸기의 당도 및 산도 예측 방법은, 당도 및 산도 예측을 위한 적어도 하나의 대상 딸기에 대한 영상데이터를 획득하는 단계, 분할 알고리즘을 이용하여 상기 영상데이터에 포함된 딸기이미지를 분할하는 단계, 상기 분할된 딸기이미지에서 특징을 추출하여 상기 대상 딸기의 성숙도를 확인하는 단계, PSL(probabilistic soft logic)모델을 이용하여 통계모델을 생성하는 단계 및 상기 통계모델을 이용하여 상기 대상 딸기의 당도 및 산도를 예측하는 단계를 포함하는 것을 특징으로 한다.The method for predicting sugar content and acidity of strawberries according to an embodiment of the present invention includes the steps of: obtaining image data for at least one target strawberry for predicting sugar content and acidity; and dividing the strawberry image included in the image data using a segmentation algorithm. segmenting, extracting features from the segmented strawberry image to confirm the maturity level of the target strawberry, generating a statistical model using a probabilistic soft logic (PSL) model, and using the statistical model to determine the target strawberry It is characterized in that it comprises the step of predicting the sugar content and acidity.

또한, 딸기이미지를 분할하는 단계는, ellipsoid hough transform을 이용한 상기 분할 알고리즘을 이용하여 상기 딸기이미지를 분할하는 단계인 것을 특징으로 한다. In addition, the step of segmenting the strawberry image is characterized in that the step of segmenting the strawberry image using the segmentation algorithm using the ellipsoid hough transform.

또한, 대상 딸기의 성숙도를 확인하는 단계는, 상기 분할된 딸기이미지의 RGB(red, green, blue)값을 추출하고 상기 RGB값을 HSV(hue, saturation, value)값으로 변환하여 상기 딸기이미지의 특징을 추출하는 단계 및 상기 HSV값으로 상기 대상 딸기의 성숙도를 복수의 레벨로 분류하는 단계를 포함하는 것을 특징으로 한다.In addition, the step of confirming the maturity of the target strawberry extracts the RGB (red, green, blue) values of the divided strawberry image and converts the RGB values into HSV (hue, saturation, value) values of the strawberry image. It characterized in that it comprises the step of extracting the feature and classifying the maturity level of the target strawberry into a plurality of levels by the HSV value.

또한, 영상데이터를 획득하는 단계 이전에, 상기 대상 딸기의 수확 정보를 입력하는 단계를 더 포함하는 것을 특징으로 한다.In addition, before the step of acquiring the image data, it characterized in that it further comprises the step of inputting harvest information of the target strawberry.

또한, 대상 딸기의 당도 및 산도를 예측하는 단계는, 상기 수확 정보와 상기 성숙도를 기반으로 상기 당도를 예측하기 위한 회귀모델의 계수와 상기 산도를 예측하기 위한 회귀모델의 계수를 산출하는 단계 및 상기 산출된 회귀모델의 계수들을 이용하여 상기 당도 및 산도를 예측하는 단계를 포함하는 것을 특징으로 한다.In addition, the predicting of the sugar content and acidity of the target strawberry may include calculating a coefficient of a regression model for predicting the sugar content and a coefficient of a regression model for predicting the acidity based on the harvest information and the maturity level; and predicting the sugar content and acidity using the calculated coefficients of the regression model.

또한, 대상 딸기의 당도 및 산도를 예측하는 단계 이후에, MSE(mean square error)와 상관 계수를 이용하여 예측된 대상 딸기의 당도 및 산도의 정확도를 확인하여 검증을 수행하는 단계를 더 포함하는 것을 특징으로 한다.In addition, after predicting the sugar content and acidity of the target strawberry, the method further comprising the step of verifying by confirming the accuracy of the predicted sugar content and acidity of the target strawberry using a mean square error (MSE) and a correlation coefficient characterized.

또한, 영상데이터를 획득하는 단계 이전에, 복수의 샘플 딸기의 수확 시기와 성숙도별 당도 및 산도를 확인하는 단계, 상기 샘플 딸기에 대한 당도 및 산도에 대한 일원분산분석을 통해 상기 수확 시기와 성숙도별 당도 및 산도 각각의 평균값에 대한 분산을 확인하는 단계 및 상기 확인된 분산을 학습결과로 저장하는 단계를 더 포함하는 것을 특징으로 한다. In addition, prior to the step of acquiring image data, the step of confirming the harvest time of a plurality of sample strawberries and the sugar content and acidity for each maturity level, and the one-way ANOVA analysis on the sugar content and acidity for the sample strawberries by the harvest time and maturity level It characterized in that it further comprises the step of confirming the variance for each average value of sugar and acidity, and the step of storing the checked variance as a learning result.

또한, 검증을 수행하는 단계는, 예측된 상기 대상 딸기에 대한 당도 및 산도와 상기 저장된 학습결과를 비교하여 상기 검증을 수행하는 단계인 것을 특징으로 한다. In addition, the step of performing the verification is characterized in that the verification is performed by comparing the predicted sugar content and acidity of the target strawberry with the stored learning result.

아울러, 본 발명의 실시 예에 따른 딸기의 당도 및 산도를 예측하는 전자장치는, 적어도 하나의 대상 딸기에 대한 영상데이터를 획득하는 적어도 하나의 영상획득부 및 분할 알고리즘을 이용하여 영상데이터에 포함된 딸기이미지를 분할하여 상기 딸기이미지의 특징을 추출하고 상기 특징을 기반으로 상기 대상 딸기의 성숙도를 확인하고, PSL(probabilistic soft logic)모델을 이용하여 생성된 통계모델을 이용하여 상기 대상 딸기의 당도 및 산도를 예측하는 제어부를 포함하는 것을 특징으로 한다.In addition, the electronic device for predicting the sugar content and acidity of strawberries according to an embodiment of the present invention uses at least one image acquisition unit and a segmentation algorithm to acquire image data for at least one target strawberry included in the image data. The strawberry image is segmented to extract the characteristics of the strawberry image, and the maturity level of the target strawberry is confirmed based on the characteristics, and the sugar content and the target strawberry using a statistical model generated using a probabilistic soft logic (PSL) model. It is characterized in that it comprises a control unit for predicting acidity.

상술한 바와 같이 본 발명에 따른 영상데이터를 이용한 딸기의 당도 및 산도 예측 방법 및 장치는, 딸기 수확시기, 수확된 딸기의 영상데이터, 딸기의 당도 및 산도를 기반으로 학습을 수행하고, 학습결과를 기반으로 수확 예정인 딸기의 당도 및 신도를 예측함으로써 딸기의 당도 및 산도 확인을 위해 관리자가 일일이 딸기의 생육상태를 육안으로 확인하거나, 샘플을 채취하여 당도 및 산도를 직접 확인해야 하는 번거로움을 해소하고, 인력 및 시간의 소모를 최소화할 수 있는 효과가 있다.As described above, the method and apparatus for predicting sugar content and acidity of strawberries using image data according to the present invention perform learning based on strawberry harvest time, image data of harvested strawberries, and sugar content and acidity of strawberries, and display the learning results. By predicting the sugar content and elongation of strawberries to be harvested based on the prediction, the administrator can visually check the growth status of strawberries one by one to check the sugar content and acidity of strawberries, or take samples to eliminate the hassle of checking sugar content and acidity directly. , there is an effect that can minimize the consumption of manpower and time.

도 1은 본 발명의 실시 예에 따른 딸기의 당도 및 산도를 예측하기 위한 전자장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 실시 예에 따른 딸기의 당도 및 산도를 예측하기 위해 학습을 수행하는 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 실시 예에 따른 딸기의 당도 및 산도를 예측하는 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 실시 예에 따른 7월에서 9월에 수확된 딸기의 당도와 산도의 학습값 및 예측값의 분포를 나타낸 그래프이다.
도 5는 본 발명의 실시 예에 따른 9월에서 11월에 수확된 딸기의 당도와 산도의 학습값 및 예측값의 분포를 나타낸 그래프이다.
도 6은 본 발명의 실시 예에 따른 7월에서 11월에 수확된 딸기의 당도와 산도의 예측값의 검증결과를 설명하기 위한 도면이다.1 is a block diagram showing the configuration of an electronic device for predicting the sugar content and acidity of strawberries according to an embodiment of the present invention.
2 is a flowchart illustrating a method of performing learning to predict the sugar content and acidity of strawberries according to an embodiment of the present invention.
3 is a flowchart for explaining a method of predicting sugar content and acidity of strawberries according to an embodiment of the present invention.
4 is a graph showing the distribution of learning values and predicted values of sugar content and acidity of strawberries harvested in July to September according to an embodiment of the present invention.
5 is a graph showing the distribution of learning values and predicted values of sugar content and acidity of strawberries harvested from September to November according to an embodiment of the present invention.
6 is a view for explaining the verification result of the predicted values of the sugar content and acidity of strawberries harvested in July to November according to an embodiment of the present invention.

이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략할 수 있고, 명세서 전체를 통하여 동일 또는 유사한 구성 요소에 대해서는 동일한 참조 부호를 사용할 수 있다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings. DETAILED DESCRIPTION The detailed description set forth below in conjunction with the appended drawings is intended to describe exemplary embodiments of the present invention and is not intended to represent the only embodiments in which the present invention may be practiced. In order to clearly explain the present invention in the drawings, parts irrelevant to the description may be omitted, and the same reference numerals may be used for the same or similar components throughout the specification.

본 발명의 일 실시 예에서, “또는”, “적어도 하나” 등의 표현은 함께 나열된 단어들 중 하나를 나타내거나, 또는 둘 이상의 조합을 나타낼 수 있다. 예를 들어, “A 또는 B”, “A 및 B 중 적어도 하나”는 A 또는 B 중 하나만을 포함할 수 있고, A와 B를 모두 포함할 수도 있다.In an embodiment of the present invention, expressions such as “or” and “at least one” may indicate one of the words listed together, or a combination of two or more. For example, “A or B” or “at least one of A and B” may include only one of A or B, or both A and B.

도 1은 본 발명의 실시 예에 따른 딸기의 당도 및 산도를 예측하기 위한 전자장치의 구성을 나타낸 블록도이다. 1 is a block diagram showing the configuration of an electronic device for predicting the sugar content and acidity of strawberries according to an embodiment of the present invention.

도 1을 참조하면, 본 발명에 따른 전자장치(100)는 통신부(110), 입력부(120), 센서부(130), 영상획득부(140), 표시부(150), 메모리(160) 및 제어부(170)를 포함한다. Referring to FIG. 1 , an electronic device 100 according to the present invention includes a communication unit 110 , an input unit 120 , a sensor unit 130 , an image acquisition unit 140 , a display unit 150 , a memory 160 and a control unit. (170).

통신부(110)는 외부장치(미도시)와의 통신을 수행할 수 있다. 통신부(110)는 외부장치와의 통신을 통해 학습하고자 하는 샘플 딸기에 대한 영상데이터를 수신하여 제어부(170)로 제공할 수 있다. 이를 위해, 통신부(110)는 5G(5th generation communication), LTE-A(long term evolution-advanced), LTE(long term evolution), Wi-Fi(wireless fidelity) 등의 무선 통신을 수행할 수 있고, USB(universal serial bus) 등을 이용한 유선 통신을 수행할 수 있다. The communication unit 110 may communicate with an external device (not shown). The communication unit 110 may receive image data for a sample strawberry to be learned through communication with an external device and provide it to the control unit 170 . To this end, the communication unit 110 5G (5 th generation communication), LTE-A (long term evolution-advanced), LTE (long term evolution), to perform wireless communication, such as Wi-Fi (wireless fidelity), and , can perform wired communication using a universal serial bus (USB), etc.

입력부(120)는 전자장치(100)의 사용자 입력에 대응하여 입력데이터를 발생시킨다. 이를 위해, 입력부(120)는 키보드, 마우스, 키패드, 돔 스위치, 터치패널, 터치키 및 버튼 등의 입력장치를 포함할 수 있다.The input unit 120 generates input data in response to a user input of the electronic device 100 . To this end, the input unit 120 may include an input device such as a keyboard, a mouse, a keypad, a dome switch, a touch panel, a touch key, and a button.

센서부(130)는 샘플 딸기의 학습을 위해 샘플 딸기의 당도 및 산도를 확인할 수 있는 센서를 포함할 수 있다. The sensor unit 130 may include a sensor capable of checking the sugar content and acidity of the sample strawberry for learning of the sample strawberry.

영상획득부(140)는 샘플 딸기 및 대상 딸기에 대한 영상데이터를 획득하기 위한 이미지센서일 수 있으며, 획득된 영상데이터를 제어부(170)로 제공한다. The image acquisition unit 140 may be an image sensor for acquiring image data for the sample strawberry and the target strawberry, and provides the obtained image data to the controller 170 .

표시부(150)는 전자장치(100)의 동작에 따른 출력 데이터를 출력한다. 이를 위해, 표시부(150)는 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이, 마이크로 전자기계 시스템(MEMS; micro electro mechanical systems) 디스플레이 및 전자 종이(electronic paper) 디스플레이를 포함할 수 있다. 표시부(150)는 입력부(120)와 결합되어 터치 스크린(touch screen)으로 구현될 수 있다.The display unit 150 outputs output data according to the operation of the electronic device 100 . To this end, the display unit 150 includes a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, and a micro electro mechanical system (MEMS). systems) displays and electronic paper displays. The display unit 150 may be combined with the input unit 120 to be implemented as a touch screen.

메모리(160)는 전자장치(100)의 동작 프로그램들을 저장한다. 메모리(160)는 영상획득부(140)에서 획득된 영상데이터를 분석하기 위한 알고리즘, 샘플 딸기에 대한 학습결과, 대상 딸기의 당도 및 산도를 예측하기 위한 복수의 알고리즘 등을 저장한다. The memory 160 stores operation programs of the electronic device 100 . The memory 160 stores an algorithm for analyzing the image data acquired by the image acquisition unit 140, a learning result for a sample strawberry, and a plurality of algorithms for predicting the sugar content and acidity of the target strawberry.

첫 번째로 제어부(170)는 복수의 샘플 딸기를 학습시켜 학습결과를 생성한다. 보다 구체적으로, 제어부(170)는 샘플 딸기에 대한 학습을 수행하기 위한 요청신호가 수신되면 영상획득부(140)를 활성화한다. 제어부(170)는 영상획득부(140)에서 획득된 샘플 딸기에 대한 영상데이터에 포함된 딸기이미지를 추출하여 딸기이미지를 분할한다. 이때, 제어부(170)는 메모리(160)에 저장된 분할 알고리즘을 이용하여 딸기이미지를 분할할 수 있으며, 분할 알고리즘은 ellipsoid hough transform을 이용하여 구축된 알고리즘일 수 있다. First, the controller 170 generates a learning result by learning a plurality of sample strawberries. More specifically, the control unit 170 activates the image acquisition unit 140 when a request signal for performing learning on the sample strawberry is received. The control unit 170 extracts the strawberry image included in the image data for the sample strawberry obtained by the image acquisition unit 140 and divides the strawberry image. In this case, the controller 170 may divide the strawberry image using the segmentation algorithm stored in the memory 160 , and the segmentation algorithm may be an algorithm constructed using the ellipsoid hough transform.

제어부(170)는 분할된 딸기이미지를 분석하여 RGB(red, green, blue)값을 확인하고, 확인된 RGB값을 HSV(hue, saturation, value)값으로 변환한다. 제어부(170)는 변환된 HSV값을 이용하여 샘플 딸기의 성숙도를 확인한다. 이때, 성숙도는 white, turning, ripe의 3가지 레벨로 분류되어 확인될 수 있으며, white는 샘플 딸기의 표면에 빨간색이 30%미만, turning은 샘플 딸기의 표면에 빨간색이 30%에서 59%사이, ripe는 샘플 딸기의 표면에 빨간색이 60%이상인 경우일 수 있다. The control unit 170 analyzes the divided strawberry image to check RGB (red, green, blue) values, and converts the checked RGB values into HSV (hue, saturation, value) values. The controller 170 checks the maturity level of the sample strawberry using the converted HSV value. At this time, the degree of maturity can be classified and checked into three levels: white, turning, and ripe. In white, the surface of the sample strawberry has less than 30% red, and in turning, the surface of the sample strawberry has red between 30% and 59%, Ripe may be when the surface of the sample strawberry has more than 60% red.

제어부(170)는 센서부(130)를 제어하여 샘플 딸기의 당도 및 산도를 확인하고 확인된 당도 및 산도에 대한 분산분석을 수행한다. 이때, 제어부(170)는 일원분산분석(one-way ANOVA)을 통해 샘플 딸기의 성숙도를 기반으로 성숙도별 당도에 대한 평균값의 분산을 확인한다. 또한, 제어부(170)는 일원분산분석을 통해 샘플 딸기의 성숙도를 기반으로 성숙도별 산도에 대한 평균값의 분산을 확인한다. 제어부(170)는 산출된 성숙도별 당도에 대한 평균값의 분산과 성숙도별 산도에 대한 평균값의 분산을 학습결과로써 메모리(160)에 저장한다. 이때, 제어부(170)는 샘플 딸기의 수확 시기를 기반으로 성숙도별 당도에 대한 평균값의 분산과 성숙도별 산도에 대한 평균값의 분산을 저장할 수 있다. The controller 170 controls the sensor unit 130 to check the sugar content and acidity of the sample strawberry, and performs ANOVA on the confirmed sugar content and acidity. At this time, the control unit 170 checks the variance of the average value of the sugar content for each maturity level based on the maturity level of the sample strawberry through one-way ANOVA. In addition, the control unit 170 checks the variance of the average value for acidity by maturity level based on the maturity level of the sample strawberry through one-way ANOVA. The control unit 170 stores the calculated variance of the average value for the sugar content for each maturity level and the variance of the average value for the acidity level for each maturity level as a learning result in the memory 160 . In this case, the control unit 170 may store the variance of the average value of the sugar content for each maturity level and the variance of the average value of the acidity value for each maturity level based on the harvest time of the sample strawberry.

두 번째로 제어부(170)는 적어도 하나의 대상 딸기에 대한 영상데이터를 분석하여 대상 딸기의 당도와 산도를 예측하고, 예측값에 대한 검증을 수행한다. 보다 구체적으로, 제어부(170)는 대상 딸기의 당도 및 산도 예측을 위한 요청신호에 따라 입력부(120)로부터 당도 및 산도 예측을 위한 대상 딸기에 대한 수확정보를 입력받는다. 이때, 수확정보는 대상 딸기를 수확하고자 하는 시기에 대한 정보일 수 있다. Second, the controller 170 analyzes the image data of at least one target strawberry to predict the sugar content and acidity of the target strawberry, and verifies the predicted values. More specifically, the control unit 170 receives harvest information on the target strawberry for sugar content and acidity prediction from the input unit 120 according to a request signal for predicting the sugar content and acidity of the target strawberry. In this case, the harvest information may be information on a time when the target strawberry is to be harvested.

제어부(170)는 대상 딸기에 대한 영상데이터에 포함된 딸기이미지를 추출하여 딸기이미지를 분할한다. 이때, 제어부(170)는 메모리(160)에 저장된 분할 알고리즘을 이용하여 딸기이미지를 분할하고, 분할된 딸기이미지를 분석하여 RGB(red, green, blue)값을 확인한다. 제어부(170)는 확인된 RGB값을 HSV(hue, saturation, value)값으로 변환하고, HSV값을 이용하여 대상 딸기의 성숙도를 확인한다. 이때, 성숙도는 white, turning, ripe의 3가지 레벨로 분류되어 확인될 수 있다. The controller 170 divides the strawberry image by extracting the strawberry image included in the image data for the target strawberry. At this time, the control unit 170 divides the strawberry image using the segmentation algorithm stored in the memory 160 , and analyzes the segmented strawberry image to check RGB (red, green, blue) values. The control unit 170 converts the confirmed RGB value into an HSV (hue, saturation, value) value, and uses the HSV value to check the maturity of the target strawberry. At this time, maturity can be identified by being classified into three levels of white, turning, and ripe.

이어서, 제어부(170)는 통계모델을 생성하고, 이를 이용하여 대상 딸기의 당도 및 산도를 예측한다. 보다 구체적으로, 제어부(170)는 PSL(probabilistic soft logic)모델을 이용하여 성숙도별로 대상 딸기의 당도와 산도를 예측하기 위한 통계 모델을 생성한다. 그리고 제어부(170)는 수확시기와 성숙도를 기반으로 당도를 예측하기 위한 회귀모델의 계수를 산출하고, 산도를 예측하기 위한 회귀모델의 계수를 산출한다. 제어부(170)는 산출된 계수를 이용하여 대상 딸기의 당도 및 산도를 예측할 수 있다. Next, the controller 170 generates a statistical model and predicts the sugar content and acidity of the target strawberry using the generated statistical model. More specifically, the controller 170 generates a statistical model for predicting the sugar content and acidity of the target strawberry for each maturity level using a probabilistic soft logic (PSL) model. And the controller 170 calculates the coefficients of the regression model for predicting the sugar content based on the harvest time and maturity, and calculates the coefficients of the regression model for predicting the acidity. The controller 170 may predict the sugar content and acidity of the target strawberry using the calculated coefficient.

제어부(170)는 예측된 대상 딸기의 당도 및 산도에 대한 검증을 수행한다. 예컨대, 제어부(170)는 MSE(mean square error)와 상관 계수를 이용하여 예측된 대상 딸기의 당도 및 산도의 정확도를 확인한다. 제어부(170)는 검증이 완료되면 대상 딸기의 당도와 산도 및 정확도를 표시부(150)에 표시한다.The controller 170 verifies the predicted sugar content and acidity of the target strawberry. For example, the controller 170 checks the accuracy of the predicted sugar content and acidity of the target strawberry using a mean square error (MSE) and a correlation coefficient. When the verification is completed, the control unit 170 displays the sugar content, acidity, and accuracy of the target strawberry on the display unit 150 .

아울러, 본 발명의 실시 예에서는 영상획득부(140)가 전자장치(100)에 포함되는 것을 예로 설명하고 있으나, 반드시 이에 한정되는 것은 아니다. 즉, 영상획득부(140)는 디지털 카메라, 스마트 폰 카메라 등 전자장치(100)와 별도로 구비된 카메라일 수 있다. 이와 같이, 전자장치(100)와 카메라가 별도로 구비된 경우 전자장치(100)와 카메라는 Wi-Fi(wireless fidelity), 블루투스(bluetooth), BLE(bluetooth low energy) 등의 무선 통신을 수행할 수 있고, USB(universal serial bus)와 같은 유선 통신을 수행할 수 있다. In addition, although it is described as an example that the image acquisition unit 140 is included in the electronic device 100 in the embodiment of the present invention, it is not necessarily limited thereto. That is, the image acquisition unit 140 may be a camera provided separately from the electronic device 100, such as a digital camera or a smart phone camera. In this way, when the electronic device 100 and the camera are separately provided, the electronic device 100 and the camera can perform wireless communication such as Wi-Fi (wireless fidelity), Bluetooth (bluetooth), and BLE (bluetooth low energy). and can perform wired communication such as a universal serial bus (USB).

도 2는 본 발명의 실시 예에 따른 딸기의 당도 및 산도를 예측하기 위해 학습을 수행하는 방법을 설명하기 위한 순서도이다. 2 is a flowchart illustrating a method of performing learning to predict the sugar content and acidity of strawberries according to an embodiment of the present invention.

도 2를 참조하면, 201단계에서 제어부(170)는 입력부(120)로부터 샘플 딸기에 대한 학습을 수행하기 위한 요청신호의 수신여부를 확인한다. 201단계의 확인결과 요청신호가 수신되면 제어부(170)는 203단계를 수행하고, 요청신호가 수신되지 않으면 제어부(170)는 요청신호의 수신을 대기한다. Referring to FIG. 2 , in step 201 , the control unit 170 checks whether a request signal for performing learning on a sample strawberry is received from the input unit 120 . If the request signal is received as a result of the confirmation in step 201, the control unit 170 performs step 203. If the request signal is not received, the control unit 170 waits for the reception of the request signal.

203단계에서 제어부(170)는 영상획득부(140)를 활성화하여 학습을 위해 수확된 샘플 딸기에 대한 영상데이터를 획득한다. 205단계에서 제어부(170)는 영상데이터에 포함된 딸기이미지를 추출하여 딸기이미지를 분할한다. 이때, 제어부(170)는 메모리(160)에 저장된 분할 알고리즘을 이용하여 딸기이미지를 분할할 수 있으며, 분할 알고리즘은 ellipsoid hough transform을 이용하여 구축된 알고리즘일 수 있다. In step 203, the control unit 170 activates the image acquisition unit 140 to acquire image data for the sample strawberry harvested for learning. In step 205, the controller 170 extracts the strawberry image included in the image data and divides the strawberry image. In this case, the controller 170 may divide the strawberry image using the segmentation algorithm stored in the memory 160 , and the segmentation algorithm may be an algorithm constructed using the ellipsoid hough transform.

207단계에서 제어부(170)는 분할된 딸기이미지를 분석하여 딸기이미지의 특징을 추출한다. 보다 구체적으로, 제어부(170)는 딸기이미지의 분석을 통해 RGB(red, green, blue)값을 확인하고, 확인된 RGB값을 HSV(hue, saturation, value)값으로 변환한다. 209단계에서 제어부(170)는 변환된 HSV값을 이용하여 샘플 딸기의 성숙도를 확인한다. 이때, 성숙도는 white, turning, ripe의 3가지 레벨로 분류되어 확인될 수 있으며, white는 샘플 딸기의 표면에 빨간색이 30%미만, turning은 샘플 딸기의 표면에 빨간색이 30%에서 59%사이, ripe는 샘플 딸기의 표면에 빨간색이 60%이상인 경우일 수 있다. In step 207, the control unit 170 analyzes the segmented strawberry image to extract features of the strawberry image. More specifically, the control unit 170 checks the RGB (red, green, blue) values through the analysis of the strawberry image, and converts the checked RGB values into HSV (hue, saturation, value) values. In step 209, the controller 170 checks the maturity level of the sample strawberry using the converted HSV value. At this time, the degree of maturity can be classified and checked into three levels: white, turning, and ripe. In white, the surface of the sample strawberry has less than 30% red, and in turning, the surface of the sample strawberry has red between 30% and 59%, Ripe may be when the surface of the sample strawberry has more than 60% red.

211단계에서 제어부(170)는 센서부(130)를 제어하여 샘플 딸기의 당도 및 산도를 확인하고 213단계를 수행한다. 213단계에서 제어부(170)는 확인된 당도 및 산도에 대한 분산분석을 수행한다. 보다 구체적으로, 제어부(170)는 일원분산분석(one-way ANOVA)을 통해 샘플 딸기의 성숙도를 기반으로 성숙도별 당도에 대한 평균값의 분산을 확인한다. 또한, 제어부(170)는 일원분산분석을 통해 샘플 딸기의 성숙도를 기반으로 성숙도별 산도에 대한 평균값의 분산을 확인한다. 215단계에서 제어부(170)는 산출된 성숙도별 당도에 대한 평균값의 분산과 성숙도별 산도에 대한 평균값의 분산을 학습결과로써 메모리(160)에 저장한다. 이때, 제어부(170)는 샘플 딸기의 수확 시기를 기반으로 성숙도별 당도에 대한 평균값의 분산과 성숙도별 산도에 대한 평균값의 분산을 저장할 수 있다.In step 211 , the control unit 170 controls the sensor unit 130 to check the sugar content and acidity of the sample strawberry, and performs step 213 . In step 213, the control unit 170 performs ANOVA on the confirmed sugar content and acidity. More specifically, the control unit 170 checks the variance of the average value of the sugar content for each maturity level based on the maturity level of the sample strawberry through one-way ANOVA. In addition, the control unit 170 confirms the variance of the average value for the acidity for each maturity level based on the maturity level of the sample strawberry through the one-way ANOVA. In step 215 , the controller 170 stores the calculated variance of the average value for the sugar content for each maturity level and the variance of the average value for the acidity level for each maturity level as a learning result in the memory 160 . In this case, the controller 170 may store the variance of the average value of the sugar content for each maturity level and the variance of the average value of the acidity level according to the maturity level based on the harvest time of the sample strawberry.

도 3은 본 발명의 실시 예에 따른 딸기의 당도 및 산도를 예측하는 방법을 설명하기 위한 순서도이다.3 is a flowchart for explaining a method of predicting sugar content and acidity of strawberries according to an embodiment of the present invention.

도 3을 참조하면, 301단계에서 제어부(170)는 대상 딸기의 당도 및 산도 예측을 위한 요청신호의 수신여부를 확인한다. 301단계의 확인결과 입력부(120)로부터 요청신호가 수신되면 제어부(170)는 303단계를 수행하고, 요청신호가 수신되지 않으면 요청신호의 수신을 대기한다. Referring to FIG. 3 , in step 301 , the control unit 170 checks whether a request signal for estimating sugar and acidity of a target strawberry is received. If the request signal is received from the input unit 120 as a result of checking in step 301, the control unit 170 performs step 303. If the request signal is not received, the controller 170 waits for reception of the request signal.

303단계에서 제어부(170)는 입력부(120)로부터 당도 및 산도 예측을 위한 대상 딸기에 대한 수확정보를 입력받는다. 이때, 수확정보는 대상 딸기를 수확하고자 하는 시기에 대한 정보일 수 있다. 305단계에서 제어부(170)는 대상 딸기의 성숙도를 확인한다. 이때, 성숙도를 확인하는 방법은, 도 2의 203단계 내지 209단계에서 설명하였으므로, 구체적인 설명을 생략하기로 한다. In step 303 , the control unit 170 receives harvest information on the target strawberry for predicting sugar content and acidity from the input unit 120 . In this case, the harvest information may be information on a time when the target strawberry is to be harvested. In step 305, the controller 170 checks the maturity level of the target strawberry. In this case, since the method of confirming the maturity has been described in steps 203 to 209 of FIG. 2 , a detailed description thereof will be omitted.

307단계에서 제어부(170)는 통계모델을 생성하고, 309단계에서 제어부(170)는 통계모델을 이용하여 대상 딸기의 당도 및 산도를 예측한다. 보다 구체적으로, 제어부(170)는 PSL(probabilistic soft logic)모델을 이용하여 성숙도별로 대상 딸기의 당도와 산도를 예측하기 위한 통계 모델을 생성한다. 그리고 제어부(170)는 수확시기와 성숙도를 기반으로 당도를 예측하기 위한 회귀모델의 계수를 산출하고, 산도를 예측하기 위한 회귀모델의 계수를 산출한다. 제어부(170)는 산출된 계수를 이용하여 대상 딸기의 당도 및 산도를 예측할 수 있다. In step 307, the controller 170 generates a statistical model, and in step 309, the controller 170 predicts the sugar content and acidity of the target strawberry using the statistical model. More specifically, the controller 170 generates a statistical model for predicting the sugar content and acidity of the target strawberry for each maturity level using a probabilistic soft logic (PSL) model. And the controller 170 calculates the coefficients of the regression model for predicting the sugar content based on the harvest time and maturity, and calculates the coefficients of the regression model for predicting the acidity. The controller 170 may predict the sugar content and acidity of the target strawberry using the calculated coefficient.

311단계에서 제어부(170)는 예측된 대상 딸기의 당도 및 산도에 대한 검증을 수행한다. 보다 구체적으로, 제어부(170)는 MSE(mean square error)와 상관 계수를 이용하여 예측된 대상 딸기의 당도 및 산도의 정확도를 확인한다. 313단계에서 제어부(170)는 검증이 완료되면 315단계를 수행하고, 검증이 완료되지 않으면 303단계로 회귀하여 상기의 동작을 재수행할 수 있다. 이때, 제어부(170)는 예측된 대상 딸기의 당도 및 산도의 정확도가 임계치 예컨대, 80%이상이면 검증이 완료된 것으로 확인할 수 있다. 315단계에서 제어부(170)는 검증이 완료된 대상 딸기의 당도와 산도 및 정확도를 표시부(150)에 표시한다. In step 311, the controller 170 verifies the predicted sugar content and acidity of the target strawberry. More specifically, the controller 170 checks the accuracy of the predicted sugar content and acidity of the target strawberry using a mean square error (MSE) and a correlation coefficient. In step 313 , when the verification is completed, the controller 170 performs step 315 , and when the verification is not completed, the controller 170 may return to step 303 and perform the above operation again. In this case, the controller 170 may confirm that the verification is completed when the predicted accuracy of the sugar content and acidity of the target strawberry is equal to or greater than a threshold, for example, 80%. In step 315 , the controller 170 displays the sugar content, acidity and accuracy of the verified target strawberry on the display unit 150 .

도 4는 본 발명의 실시 예에 따른 7월에서 9월에 수확된 딸기의 당도와 산도의 학습값 및 예측값의 분포를 나타낸 그래프이다. 도 5는 본 발명의 실시 예에 따른 9월에서 11월에 수확된 딸기의 당도와 산도의 학습값 및 예측값의 분포를 나타낸 그래프이다. 4 is a graph showing the distribution of learning values and predicted values of sugar content and acidity of strawberries harvested in July to September according to an embodiment of the present invention. 5 is a graph showing the distribution of learning values and predicted values of sugar content and acidity of strawberries harvested from September to November according to an embodiment of the present invention.

도 4의 (a)는 7월에서 9월(예컨대, 27주에서 37주)에 수확된 딸기 중 성숙도가 white인 딸기의 당도와 산도의 학습값 및 예측값의 분포를 나타낸 그래프, (b)는 성숙도가 turning인 딸기의 당도와 산도의 학습값 및 예측값의 분포를 나타낸 그래프, (c)는 성숙도가 ripe인 딸기의 당도와 산도의 학습값 및 예측값의 분포를 나타낸 그래프이다. 4 (a) is a graph showing the distribution of learning values and predicted values of sugar and acidity of strawberries with a maturity of white among strawberries harvested from July to September (eg, from 27 weeks to 37 weeks), (b) is A graph showing the distribution of the learning values and predicted values of sugar and acidity of a strawberry whose maturity is turning, (c) is a graph showing the distribution of the learned and predicted values of sugar and acidity of a ripe strawberry.

아울러, 도 5의 (a)는 9월에서 11월(예컨대, 38주에서 47주)에 수확된 딸기 중 성숙도가 white인 딸기의 당도와 산도의 학습값 및 예측값의 분포를 나타낸 그래프, (b)는 성숙도가 turning인 딸기의 당도와 산도의 학습값 및 예측값의 분포를 나타낸 그래프, (c)는 성숙도가 ripe인 딸기의 당도와 산도의 학습값 및 예측값의 분포를 나타낸 그래프이다.In addition, (a) of FIG. 5 is a graph showing the distribution of learning values and predicted values of sugar content and acidity of strawberries having a maturity of white among strawberries harvested in September to November (eg, from 38 weeks to 47 weeks), (b ) is a graph showing the distribution of learning values and predicted values of sugar and acidity of a strawberry with a maturity of turning, and (c) is a graph showing the distribution of learning and predicted values of sugar and acidity of a strawberry with a ripeness of maturity.

이때, 도 4 및 도 5에 도시된 학습값은 도 2에서와 같이 일원분산분석을 통해 산출된 샘플 딸기에 대한 학습결과에 대한 그래프이고, 예측값은 도 3에서와 같이 통계 모델을 통해 산출된 예측값에 대한 그래프이다. At this time, the learning values shown in FIGS. 4 and 5 are graphs of the learning results for the sample strawberry calculated through one-way ANOVA as in FIG. 2 , and the predicted values are the predicted values calculated through the statistical model as in FIG. 3 . is a graph for

도 6은 본 발명의 실시 예에 따른 7월에서 11월에 수확된 딸기의 당도와 산도의 예측값의 검증결과를 설명하기 위한 도면이다.6 is a view for explaining the verification result of the predicted values of the sugar content and acidity of strawberries harvested in July to November according to an embodiment of the present invention.

도 4 내지 도 6을 참조하면, 7월에서 9월에 수확된 딸기 중에서는 성숙도가 ripe일 때의 상관계수가 -0.0949로 가장 낮음을 확인할 수 있다. 또한, 9월에서 11월에 수확된 딸기 중에서는 성숙도가 white일 때의 상관계수가 -0.0346으로 가장 낮음을 확인할 수 있다. 4 to 6 , among strawberries harvested in July to September, it can be confirmed that the correlation coefficient when maturity is ripe is -0.0949, which is the lowest. In addition, it can be seen that among the strawberries harvested from September to November, the correlation coefficient when the maturity is white is -0.0346, which is the lowest.

이와 관련하여 7월에서 9월에 수확된 딸기의 당도와 산도에 대한 분포를 나타낸 그래프인 도 4에서 학습값과 예측값의 분포가 가장 작은 그래프는 도 4의 (c)에 해당하는 그래프임을 확인할 수 있다. 또한, 9월에서 11월에 수확된 딸기의 당도와 산도에 대한 분포를 나타낸 그래프인 도 5에서 학습값과 예측값의 분포가 가장 작은 그래프는 도 5의 (a)에 해당하는 그래프임을 확인할 수 있다. 이와 같이, 도 3을 통한 딸기의 당도 및 산도에 대한 예측값이 정확한 결과를 나타냄을 확인할 수 있다. In this regard, in Fig. 4, which is a graph showing the distribution of sugar content and acidity of strawberries harvested in July to September, it can be seen that the graph with the smallest distribution of learning values and predicted values is the graph corresponding to (c) of FIG. have. In addition, in FIG. 5, which is a graph showing the distribution of sugar content and acidity of strawberries harvested in September to November, it can be seen that the graph with the smallest distribution of the learning value and the predicted value is the graph corresponding to (a) of FIG. 5 . . As such, it can be confirmed that the predicted values for the sugar content and acidity of the strawberry through FIG. 3 show accurate results.

본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Embodiments of the present invention disclosed in the present specification and drawings are merely provided for specific examples in order to easily explain the technical contents of the present invention and help the understanding of the present invention, and are not intended to limit the scope of the present invention. Therefore, the scope of the present invention should be construed as including all changes or modifications derived based on the technical spirit of the present invention in addition to the embodiments disclosed herein are included in the scope of the present invention.

Claims (9)

당도 및 산도 예측을 위한 적어도 하나의 대상 딸기에 대한 영상데이터를 획득하는 단계;
분할 알고리즘을 이용하여 상기 영상데이터에 포함된 딸기이미지를 분할하는 단계;
상기 분할된 딸기이미지에서 특징을 추출하여 상기 대상 딸기의 성숙도를 확인하는 단계;
PSL(probabilistic soft logic)모델을 이용하여 통계모델을 생성하는 단계; 및
상기 통계모델을 이용하여 상기 대상 딸기의 당도 및 산도를 예측하는 단계;
를 포함하는 것을 특징으로 하는 딸기의 당도 및 산도 예측 방법.acquiring image data for at least one target strawberry for sugar content and acidity prediction;
segmenting the strawberry image included in the image data using a segmentation algorithm;
checking the maturity level of the target strawberry by extracting features from the divided strawberry image;
generating a statistical model using a probabilistic soft logic (PSL) model; and
predicting the sugar content and acidity of the target strawberry using the statistical model;
A method for predicting sugar content and acidity of strawberries, comprising: 제1항에 있어서,
상기 딸기이미지를 분할하는 단계는,
ellipsoid hough transform을 이용한 상기 분할 알고리즘을 이용하여 상기 딸기이미지를 분할하는 단계인 것을 특징으로 하는 딸기의 당도 및 산도 예측 방법. According to claim 1,
The step of dividing the strawberry image is,
A method for predicting sugar content and acidity of strawberries, characterized in that the step of segmenting the strawberry image using the segmentation algorithm using the ellipsoid hough transform. 제2항에 있어서,
상기 대상 딸기의 성숙도를 확인하는 단계는,
상기 분할된 딸기이미지의 RGB(red, green, blue)값을 추출하고 상기 RGB값을 HSV(hue, saturation, value)값으로 변환하여 상기 딸기이미지의 특징을 추출하는 단계; 및
상기 HSV값으로 상기 대상 딸기의 성숙도를 복수의 레벨로 분류하는 단계;
를 포함하는 것을 특징으로 하는 딸기의 당도 및 산도 예측 방법. 3. The method of claim 2,
The step of confirming the maturity level of the target strawberry,
extracting the RGB (red, green, blue) values of the divided strawberry image and converting the RGB values into HSV (hue, saturation, value) values to extract the characteristics of the strawberry image; and
classifying the maturity level of the target strawberry into a plurality of levels based on the HSV value;
A method for predicting sugar content and acidity of strawberries, comprising: 제3항에 있어서,
상기 영상데이터를 획득하는 단계 이전에,
상기 대상 딸기의 수확 정보를 입력하는 단계;
를 더 포함하는 것을 특징으로 하는 딸기의 당도 및 산도 예측 방법. 4. The method of claim 3,
Before acquiring the image data,
inputting harvest information of the target strawberry;
Strawberry sugar content and acidity prediction method, characterized in that it further comprises. 제4항에 있어서,
상기 대상 딸기의 당도 및 산도를 예측하는 단계는,
상기 수확 정보와 상기 성숙도를 기반으로 상기 당도를 예측하기 위한 회귀모델의 계수와 상기 산도를 예측하기 위한 회귀모델의 계수를 산출하는 단계; 및
상기 산출된 회귀모델의 계수들을 이용하여 상기 당도 및 산도를 예측하는 단계;
를 포함하는 것을 특징으로 하는 딸기의 당도 및 산도 예측 방법. 5. The method of claim 4,
The step of predicting the sugar content and acidity of the target strawberry,
calculating coefficients of a regression model for predicting the sugar content and coefficients of a regression model for predicting the acidity based on the harvest information and the maturity; and
predicting the sugar content and acidity using the calculated coefficients of the regression model;
A method for predicting sugar content and acidity of strawberries, comprising: 제5항에 있어서,
상기 대상 딸기의 당도 및 산도를 예측하는 단계 이후에,
MSE(mean square error)와 상관 계수를 이용하여 예측된 대상 딸기의 당도 및 산도의 정확도를 확인하여 검증을 수행하는 단계;
를 더 포함하는 것을 특징으로 하는 딸기의 당도 및 산도 예측 방법. 6. The method of claim 5,
After predicting the sugar content and acidity of the target strawberry,
performing verification by checking the accuracy of the predicted sugar content and acidity of the target strawberry using a mean square error (MSE) and a correlation coefficient;
Strawberry sugar content and acidity prediction method, characterized in that it further comprises. 제6항에 있어서,
상기 영상데이터를 획득하는 단계 이전에,
복수의 샘플 딸기의 수확 시기와 성숙도별 당도 및 산도를 확인하는 단계;
상기 샘플 딸기에 대한 당도 및 산도에 대한 일원분산분석을 통해 상기 수확 시기와 성숙도별 당도 및 산도 각각의 평균값에 대한 분산을 확인하는 단계; 및
상기 확인된 분산을 학습결과로 저장하는 단계;
를 더 포함하는 것을 특징으로 하는 딸기의 당도 및 산도 예측 방법.7. The method of claim 6,
Before acquiring the image data,
checking the sugar content and acidity according to harvest time and maturity level of the plurality of sample strawberries;
confirming the variance of each average value of sugar and acidity by harvest time and maturity through one-way ANOVA on the sugar content and acidity of the sample strawberry; and
storing the identified variance as a learning result;
Strawberry sugar content and acidity prediction method, characterized in that it further comprises. 제7항에 있어서,
상기 검증을 수행하는 단계는,
예측된 상기 대상 딸기에 대한 당도 및 산도와 상기 저장된 학습결과를 비교하여 상기 검증을 수행하는 단계인 것을 특징으로 하는 딸기의 당도 및 산도 예측 방법. 8. The method of claim 7,
The step of performing the verification is:
The method for predicting sugar content and acidity of strawberry, characterized in that the verification is performed by comparing the predicted sugar content and acidity of the target strawberry with the stored learning result. 적어도 하나의 대상 딸기에 대한 영상데이터를 획득하는 적어도 하나의 영상획득부; 및
분할 알고리즘을 이용하여 영상데이터에 포함된 딸기이미지를 분할하여 상기 딸기이미지의 특징을 추출하고 상기 특징을 기반으로 상기 대상 딸기의 성숙도를 확인하고, PSL(probabilistic soft logic)모델을 이용하여 생성된 통계모델을 이용하여 상기 대상 딸기의 당도 및 산도를 예측하는 제어부;
를 포함하는 것을 특징으로 하는 딸기의 당도 및 산도 예측 장치.at least one image acquisition unit for acquiring image data for at least one target strawberry; and
The strawberry image included in the image data is segmented using a segmentation algorithm, the characteristics of the strawberry image are extracted, the maturity level of the target strawberry is confirmed based on the characteristics, and statistics generated using a probabilistic soft logic (PSL) model a controller for predicting sugar content and acidity of the target strawberry using a model;
A device for predicting sugar content and acidity of strawberries, comprising:
KR1020200000808A 2020-01-03 2020-01-03 Method and Apparatus for Predicting of Brix and Acidity of Strawberries Using Image Data KR102363905B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200000808A KR102363905B1 (en) 2020-01-03 2020-01-03 Method and Apparatus for Predicting of Brix and Acidity of Strawberries Using Image Data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200000808A KR102363905B1 (en) 2020-01-03 2020-01-03 Method and Apparatus for Predicting of Brix and Acidity of Strawberries Using Image Data

Publications (2)

Publication Number Publication Date
KR20210087729A true KR20210087729A (en) 2021-07-13
KR102363905B1 KR102363905B1 (en) 2022-02-18

Family

ID=76858644

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200000808A KR102363905B1 (en) 2020-01-03 2020-01-03 Method and Apparatus for Predicting of Brix and Acidity of Strawberries Using Image Data

Country Status (1)

Country Link
KR (1) KR102363905B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743333A (en) * 2021-09-08 2021-12-03 苏州大学应用技术学院 Strawberry maturity identification method and device
KR102448123B1 (en) * 2022-01-14 2022-09-27 그린데이터랩 주식회사 Method And Apparatus for Predicting Agricultural Freshness
CN116523910A (en) * 2023-07-03 2023-08-01 湖北省林业科学研究院 Intelligent walnut maturity detection method based on image data
KR20240005474A (en) 2022-07-05 2024-01-12 한국식품연구원 Method for discriminating maturity of Kiwi using fluorescence analysis

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100800597B1 (en) * 2006-09-25 2008-02-04 한국농업대학 산학협력단 Method for measuring sugar content of fuji apple and it's measuring board
KR101832724B1 (en) * 2016-09-08 2018-04-16 아인정보기술 주식회사 System and method for diagnosing crop through the video image
KR20190065604A (en) * 2017-12-04 2019-06-12 한국식품연구원 Method for determining quality of object

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100800597B1 (en) * 2006-09-25 2008-02-04 한국농업대학 산학협력단 Method for measuring sugar content of fuji apple and it's measuring board
KR101832724B1 (en) * 2016-09-08 2018-04-16 아인정보기술 주식회사 System and method for diagnosing crop through the video image
KR20190065604A (en) * 2017-12-04 2019-06-12 한국식품연구원 Method for determining quality of object

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743333A (en) * 2021-09-08 2021-12-03 苏州大学应用技术学院 Strawberry maturity identification method and device
CN113743333B (en) * 2021-09-08 2024-03-01 苏州大学应用技术学院 Strawberry maturity recognition method and device
KR102448123B1 (en) * 2022-01-14 2022-09-27 그린데이터랩 주식회사 Method And Apparatus for Predicting Agricultural Freshness
KR20240005474A (en) 2022-07-05 2024-01-12 한국식품연구원 Method for discriminating maturity of Kiwi using fluorescence analysis
CN116523910A (en) * 2023-07-03 2023-08-01 湖北省林业科学研究院 Intelligent walnut maturity detection method based on image data
CN116523910B (en) * 2023-07-03 2023-09-08 湖北省林业科学研究院 Intelligent walnut maturity detection method based on image data

Also Published As

Publication number Publication date
KR102363905B1 (en) 2022-02-18

Similar Documents

Publication Publication Date Title
KR102363905B1 (en) Method and Apparatus for Predicting of Brix and Acidity of Strawberries Using Image Data
CN110637460B (en) Visual quality preserving quantitative parameter prediction using deep neural networks
CN108446705B (en) Method and apparatus for image processing
US9524558B2 (en) Method, system and software module for foreground extraction
US20140286527A1 (en) Systems and methods for accelerated face detection
EP3904866A1 (en) Defect inspecting device, defect inspecting method, and program for same
CN110717953B (en) Coloring method and system for black-and-white pictures based on CNN-LSTM (computer-aided three-dimensional network-link) combination model
AU2015201623A1 (en) Choosing optimal images with preference distributions
KR20200145827A (en) Facial feature extraction model learning method, facial feature extraction method, apparatus, device, and storage medium
CN115547270B (en) Color difference adjustment method, device, equipment and storage medium based on spectrum analysis
CN112966646A (en) Video segmentation method, device, equipment and medium based on two-way model fusion
CN112233075B (en) Video definition evaluation method and device, storage medium and electronic equipment
US11409492B2 (en) System including a plurality of display apparatus and control method thereof
US11881015B2 (en) High-precision identification method and system for substations
US10813202B2 (en) Method and system for vision-based automatic fault notification and classification of system lighting
US20230342903A1 (en) Abnormality detection device, abnormality detection method, and abnormality detection system
US20230260270A1 (en) Learning utilization system, utilizing device, learning device, non-transitory computer-readable medium, and learning utilization method
US20220101626A1 (en) Confidence measure for a deployed machine learning model
US20210103778A1 (en) Apparatus and method for recognizing a face based on artificial intelligence
US11687782B2 (en) Systems and methods for recognition of user-provided images
US11669949B2 (en) Apparatus and method for inferring contrast score of an image
JP2009153003A (en) Apparatus and method for image processing, program for use therein, and learning apparatus
WO2021038840A1 (en) Object number estimation device, control method, and program
US20230056947A1 (en) Learning apparatus, method, and storage medium
CN109543532B (en) Fiber classification method based on classification standard and human behavior

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right