WO2022154519A1 - 과일을 식별하는 장치 및 방법 - Google Patents

과일을 식별하는 장치 및 방법 Download PDF

Info

Publication number
WO2022154519A1
WO2022154519A1 PCT/KR2022/000645 KR2022000645W WO2022154519A1 WO 2022154519 A1 WO2022154519 A1 WO 2022154519A1 KR 2022000645 W KR2022000645 W KR 2022000645W WO 2022154519 A1 WO2022154519 A1 WO 2022154519A1
Authority
WO
WIPO (PCT)
Prior art keywords
fruit
defective
certainty
image data
unit
Prior art date
Application number
PCT/KR2022/000645
Other languages
English (en)
French (fr)
Inventor
곽호재
Original Assignee
주식회사 에이오팜
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이오팜 filed Critical 주식회사 에이오팜
Publication of WO2022154519A1 publication Critical patent/WO2022154519A1/ko
Priority to US18/351,165 priority Critical patent/US20240131558A1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/16—Sorting according to weight
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/38—Collecting or arranging articles in groups
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/009—Sorting of fruit

Definitions

  • An embodiment of the present invention relates to a fruit, and more particularly, to an apparatus and method for identifying a fruit.
  • a worker determines the grade of a fruit by checking the condition of the fruit with the naked eye.
  • the grade of fruit is largely determined based on the weight of the fruit, defective conditions such as cuts, bruises, bruises, and pest infestation of the fruit had to be visually determined by workers.
  • An embodiment of the present invention proposes an apparatus and method for identifying fruits while minimizing manpower and cost.
  • one embodiment of the present invention proposes an apparatus and method for identifying a fruit with accuracy and consistency.
  • a fruit identification device includes: a fruit input unit for arranging a plurality of fruits in a line and rotating each of the aligned fruits; a fruit sorting unit for sequentially sorting the sorted fruits under the control of the controller; an image acquisition unit for sequentially photographing the rotating fruits to generate a plurality of image data for one fruit; and extracting only fruit from the image data to generate a plurality of fruit image data, determining the weight of the fruit using the plurality of fruit image data, and determining the grade of the fruit using the weight of the fruit.
  • a fruit identification method includes a process in which a control unit aligns a plurality of fruits in a row through a fruit input unit, and rotates each of the aligned fruits; generating, by the control unit, a plurality of image data for one fruit by sequentially photographing the rotating fruits through an image acquisition unit; generating, by the controller, a plurality of fruit image data by extracting only fruits from the image data; determining, by the controller, the weight of the fruit by using the plurality of fruit image data, and determining the grade of the fruit by using the weight of the fruit; a process in which the control unit processes the image data to determine a plurality of certainty of defective features, and compares the certainty of the defective feature with a predetermined reference degree of certainty of defective features; determining, by the controller, the fruit as a defective state or a normal state based on the comparison result; moving, by the controller, the fruit to a defective area through a fruit sorting unit when the fruit is in the defective state; and moving, by the control unit, the fruit to a
  • An embodiment of the present invention can identify fruit while minimizing manpower and cost.
  • an embodiment of the present invention can identify fruits with accuracy and consistency.
  • FIG. 1 is a block diagram of a fruit identification device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a control unit according to an embodiment of the present invention.
  • FIG. 3 is a view illustrating a fruit moving unit according to an embodiment of the present invention.
  • FIG. 4 is a view showing a fruit rotating unit according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an image acquisition unit according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a procedure for an artificial intelligence unit to determine a plurality of rogue feature certainties according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a procedure for determining, by an artificial intelligence unit, a degree of certainty of a defective characteristic with respect to a defective fruit according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a procedure for determining, by an artificial intelligence unit, a degree of certainty of a defective characteristic for a normal fruit according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a fruit identification apparatus for identifying a fruit according to an embodiment of the present invention.
  • Embodiments of the present invention can apply various transformations and can have various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the scope of the specific embodiments, and it should be understood to include all transformations, equivalents and substitutes included in the spirit and scope of the invention. In describing the embodiments, if it is determined that a detailed description of a related known technology may obscure the subject matter, the detailed description thereof will be omitted.
  • a 'module' or 'unit' performs at least one function or operation, and may be implemented as hardware or software, or a combination of hardware and software.
  • a plurality of 'modules' or a plurality of 'units' are integrated into at least one module and implemented with at least one processor (not shown) except for 'modules' or 'units' that need to be implemented with specific hardware.
  • a part when a part is “connected” with another part, it is not only “directly connected” but also “electrically connected” with another element interposed therebetween. also includes In addition, when a part "includes” a certain component, this means that other components may be further included, rather than excluding other components, unless otherwise stated.
  • FIG. 1 is a block diagram of a fruit identification device according to an embodiment of the present invention.
  • the fruit identification device includes a control unit 101 , a memory 103 , an image acquisition unit 105 , a display unit 107 , a communication unit 109 , a fruit input unit 111 , and a fruit classification unit 113 .
  • the fruit input unit 111 includes a fruit moving unit 115 and a fruit rotating unit 117 .
  • the fruit moving unit 115 selects one fruit from among a plurality of fruits, and moves the selected fruit to the fruit rotating unit 117 using a conveyor roller or a conveyor belt. For example, as shown in 301 of FIG. 3 , the fruit moving unit 115 aligns a plurality of fruits in a line using an alignment mechanism, and sequentially arranges a plurality of fruits arranged in a line using a conveyor belt. It can be transmitted to the fruit rotating unit 117 .
  • the fruit rotating unit 117 sequentially receives a plurality of fruits from the fruit moving unit 115 , rotates one of the sequentially received fruits, and then moves it to the fruit sorting unit 113 .
  • the fruit rotating part 117 may have a curved bottom surface, and one side of the bottom surface may be configured to be inclined to one side rather than the other side.
  • the fruit rotating unit 117 may rotate the fruit 360 degrees so that all sides of one fruit are exposed using the inclined bottom surface, and transmit the rotated fruit to the fruit sorting unit 113 .
  • the fruit sorting unit 113 sequentially receives a plurality of fruits from the fruit rotating unit 117 and sequentially moves the received fruits to different areas under the control of the control unit 101 .
  • the different areas may include a defective area storing defective fruit and a normal area storing normal fruit.
  • a bad fruit may refer to a fruit in which the fruit has bad conditions such as cuts, bruises, bruises, and pest infestations.
  • a normal fruit may represent a fruit in which no bad condition exists.
  • the normal region may be divided into a plurality of regions according to a predetermined number of fruit grades.
  • the fruit grade may be determined by the user in consideration of the size of the fruit.
  • the image acquisition unit 105 generates a plurality of image data by photographing all sides of a fruit rotated in the fruit tree rotating unit 117 using a plurality of cameras, and outputs the plurality of generated image data to the controller 101 .
  • a bird's eye view of the image acquisition unit 105 may include three cameras as shown in 501 of FIG. 5 .
  • three cameras are spaced 120 degrees apart, and the focus of the three cameras can be centered.
  • three cameras may be arranged side by side.
  • the memory 103 stores various programs and data necessary for the operation of the fruit identification device.
  • the memory 103 may be implemented as a non-volatile memory, a volatile memory, a flash-memory, a hard disk drive (HDD), or a solid state drive (SSD).
  • the display unit 107 displays image data under the control of the control unit 101 .
  • the implementation method of the display unit 107 is not limited, and for example, a Liquid Crystal Display (LCD), an Organic Light Emitting Diode (OLED) display, an Active-Matrix Organic Light-Emitting Diode (AM-OLED), and a Plasma Display (PDP). Panel) may be implemented in various types of displays.
  • the display unit 107 may additionally include an additional configuration according to its implementation method.
  • the display unit 107 includes an LCD display panel (not shown), a backlight unit (not shown) for supplying light thereto, and a panel for driving the panel (not shown). It may include a driving substrate (not shown).
  • the display unit 107 may be provided as a touch screen (not shown) by being coupled to a touch panel (not shown) of an input/output unit (not shown).
  • the communication unit 109 communicates with various types of external devices according to various types of wired or wireless communication methods.
  • the communication unit 109 may transmit identification result data including identification results for a plurality of fruits to a user's portable terminal (not shown).
  • the identification result data may include the number of defective fruits identified by the fruit identification device, a defective state for each defective fruit, the number of normal fruits, and a grade for each normal fruit.
  • the communication unit 109 may include various wireless communication modules such as a Wi-Fi module, an LTE module, a 5G module, a LoRa module, a Bluetooth module, and a Zigbee module.
  • a Wi-Fi module may perform communication using a Wi-Fi method
  • the LTE module may perform communication according to various communication standards such as IEEE and LTE.
  • the communication unit 109 may perform communication according to various communication standards such as a LAN, RS-232C, RS-422, RS-485, or USB port.
  • the controller 101 controls the overall operation of the fruit identification device using various programs stored in the memory 103 .
  • the controller 101 generates a plurality of image data for a fruit through the image acquisition unit 105 , determines a grade and a defective state of a fruit by using the generated plurality of image data, and The fruit may be classified based on the determined grade and the defective state through the classification unit 113 .
  • control unit 101 will be described in detail with reference to FIG. 2 .
  • FIG. 2 is a block diagram of the control unit 101 according to an embodiment of the present invention.
  • control unit 101 includes a fruit image extraction unit 201 , a fruit size determination unit 203 , and an artificial intelligence unit 205 .
  • the fruit image extraction unit 201 receives a plurality of image data corresponding to one fruit from the image acquisition unit 105 and extracts only the fruit from the plurality of image data through a predetermined image processing technology. to generate a plurality of fruit image data.
  • the fruit image extractor 201 may output the generated plurality of fruit image data to the fruit size determiner 203 .
  • the image processing technology may be a technology of extracting an outline from image data and extracting image data included in the outline when the extracted outline is close to a circular shape.
  • each of the plurality of fruit image data may be image data including only fruits.
  • the fruit size determiner 203 determines a fruit size for one fruit using a plurality of fruit image data, and determines a grade for one fruit using the determined fruit size and a pre-specified grade table for each fruit size.
  • the grade table for each fruit size may be a table indicating grades according to the fruit size.
  • the grade table for each fruit size may be divided into grades 1 to 8 according to the size of the apple.
  • the fruit size determining unit 203 when the plurality of cameras of the image acquiring unit 105 are stereo cameras, the fruit size determining unit 203 generates 3D fruit image data by synthesizing a plurality of fruit image data using a 3D reconstruction method. Then, the volume of one fruit may be calculated using the generated 3D fruit image data.
  • a stereo camera is a camera used to take a stereoscopic picture, and can take a picture of a fruit at the same time with two identical lenses corresponding to the left and right eyes.
  • the fruit size determining unit 203 may determine a grade corresponding to the volume of fruit calculated in the grade table for each fruit size, and determine the grade of one fruit as the confirmed grade.
  • the fruit size determining unit 203 calculates the weight of one fruit by using a plurality of fruit image data, and determines the grade of one fruit by using the calculated weight and a pre-specified rating table for each fruit weight.
  • the grade table by weight of fruit may be a table indicating grades according to weight of fruit.
  • the grade table for each weight of the fruit may be divided into grades 1 to 8 according to the weight of the apple.
  • the fruit size determining unit 203 detects a density table for each fruit stored in advance in the memory 103 , checks the density of the corresponding fruit from the detected fruit density table, and a fruit calculated based on the determined density You can calculate the weight of a fruit by multiplying it by its volume.
  • the density table for each fruit may be a table in which densities for each fruit are recorded.
  • the fruit size determining unit 203 may determine a grade corresponding to the weight of the fruit calculated in the grade table for each fruit weight, and determine the grade of one fruit as the confirmed grade.
  • the artificial intelligence unit 205 receives a plurality of image data corresponding to a single fruit from the image acquisition unit 105 , and analyzes the inputted image data to determine a plurality of defective feature certainties. That is, the artificial intelligence unit 205 determines a plurality of defect feature certainties corresponding to a plurality of image data.
  • the plurality of bad feature certainties may represent the probability that the plurality of image data contains at least one of the characteristics of the bad state of the fruit (wound, bruise, bruise, and pest infection of the fruit). have.
  • the artificial intelligence unit 205 checks whether one of the plurality of determined certainty of the defective feature is equal to or greater than a predetermined reference certainty of the defective feature.
  • a predetermined reference certainty of the defective feature For example, the baseline bad feature certainty may be 90 percent.
  • the artificial intelligence unit 205 determines the corresponding fruit as a defective state.
  • the control unit 101 moves the corresponding fruit to the defective area through the fruit sorting unit 113 .
  • the control unit 101 displays the fruit image data on which the grade of the corresponding fruit, the certainty of a plurality of defective characteristics, and the defective characteristics are projected through the display unit 107 .
  • the fruit image data on which the defective feature is projected may be image data on which only the defective state is projected from the fruit image data.
  • the artificial intelligence unit 205 determines the corresponding fruit as a normal state.
  • control unit 101 moves the corresponding fruit to the normal region corresponding to the determined grade through the fruit classifying unit 113 .
  • the control unit 101 displays the grade of the corresponding fruit and the certainty of a plurality of defective characteristics through the display unit 107 .
  • control unit 101 generates identification result data for a plurality of fruits, and transmits the identification result data generated through the communication unit 109 to the user's portable terminal.
  • an embodiment of the present invention can identify the fruit while minimizing manpower and cost.
  • an embodiment of the present invention can identify fruits with accuracy and consistency.
  • the artificial intelligence unit employs a deep learning learning algorithm.
  • the deep learning learning algorithm may include an autoencoder, a convolutional neural network (CNN), a recurrent neural network (RNN), a generative adversarial network (GAN), and the like.
  • CNN convolutional neural network
  • RNN recurrent neural network
  • GAN generative adversarial network
  • the deep learning learning algorithm listed in the present invention is only an example, and is not limited thereto.
  • CNN which is any one of the deep learning algorithms listed above, is applied, but is not limited thereto. That is, in the present invention, various types of deep learning learning algorithms may be used according to the user's selection.
  • FIG. 6 is a diagram illustrating a procedure in which the artificial intelligence unit 205 determines a plurality of degrees of certainty of defective features according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a procedure for determining, by the artificial intelligence unit 205, a degree of certainty of a defective characteristic for a defective fruit according to an embodiment of the present invention.
  • the artificial intelligence unit 205 generates a final feature (refer to FIG. 6 ) channel by processing one image data 701 among a plurality of image data. For example, 16 channels among 256 channels of the final feature channel may be activated as in the 707 screen.
  • the artificial intelligence unit 205 generates a bad feature projection 703 by multiplying the final feature channel by the weight of the Fully Connect Layer for each channel. Then, the artificial intelligence unit 205 generates the fruit image data 705 on which the defective features are projected by synthesizing the projection diagram 703 of the defective features with the corresponding image data 701 .
  • the artificial intelligence unit 205 determines a feature average value by dividing the sum of all the G channel values among the RGB channel values of each pixel of the bad feature projection diagram 703 image by the total number of pixels, and assigns a Softmax to the determined feature average value. It is applied to determine the degree of certainty of the defective feature.
  • Softmax can be expressed by Equation 1 below.
  • n may indicate the total number of projections
  • i may indicate a unique number of projections
  • yi may represent a feature average value of each projection
  • e may represent a natural constant
  • the certainty of the bad feature may be determined to be 99.9%, and the certainty of the normal feature may be determined to be 0%.
  • FIG. 8 is a diagram illustrating a procedure for determining, by the artificial intelligence unit 205, a degree of certainty of a defective characteristic for a normal fruit according to an embodiment of the present invention.
  • the artificial intelligence unit 205 generates a final feature channel by processing one image data 801 among a plurality of image data. For example, among 256 channels of the final feature channel, 16 channels may be activated like an 807 screen.
  • the artificial intelligence unit 205 generates a bad feature projection 803 by multiplying the final feature channel by the weight of the Fully Connect Layer for each channel. Then, the artificial intelligence unit 205 generates the fruit image data 805 on which the defective features are projected by synthesizing the defective feature projection 803 with the corresponding image data 801 .
  • the artificial intelligence unit 205 determines a feature average value by dividing the sum of all the G channel values among the RGB channel values of each pixel of the bad feature projection diagram 803 image by the total number of pixels, and assigns a Softmax to the determined feature average value. It is applied to determine the degree of certainty of the defective feature. For example, when the image data 801 is in a normal state, the certainty of the bad feature may be determined to be 1%, and the certainty of the normal feature may be determined to be 99%.
  • FIG. 9 is a flowchart illustrating a fruit identification apparatus for identifying a fruit according to an embodiment of the present invention.
  • the controller 101 of the fruit identification apparatus receives a plurality of image data for each fruit from the image acquisition unit 105 in step 901 .
  • each of the plurality of image data may include a shape of one fruit.
  • step 903 the controller 101 generates a plurality of fruit image data by extracting only fruits from a plurality of image data through a predetermined image processing technique.
  • the fruit image extractor 201 may output the generated plurality of fruit image data to the fruit size determiner 203 .
  • step 905 the controller 101 determines a fruit size for one fruit using a plurality of fruit image data, and determines a grade for one fruit using the determined fruit size and a pre-specified grade table for each fruit size.
  • the controller 101 when the plurality of cameras of the image acquisition unit 105 are stereo cameras, the controller 101 generates and generates 3D fruit image data by synthesizing a plurality of fruit image data using a 3D reconstruction method.
  • the volume of one fruit can be calculated using the three-dimensional fruit image data.
  • the controller 101 may check a grade corresponding to the volume of fruit calculated in the grade table for each fruit size, and determine the grade of one fruit as the confirmed grade.
  • control unit 101 detects the density table for each fruit stored in advance in the memory 103 , checks the density of the corresponding fruit from the detected density table for each fruit, and calculates the volume of the fruit based on the confirmed density. You can calculate the weight of one fruit by multiplying it.
  • controller 101 may check the grade corresponding to the weight of the fruit calculated in the grade table for each fruit weight, and determine the grade of one fruit as the confirmed grade.
  • step 907 the controller 101 determines a plurality of defective features by analyzing a plurality of image data for one fruit. That is, the control unit 101 determines a plurality of defect feature certainties corresponding to a plurality of image data.
  • step 909 the controller 101 checks whether one of the plurality of determined certainty of the defective characteristic is equal to or greater than a predetermined reference certainty of the defective characteristic.
  • the baseline bad feature certainty may be 90 percent.
  • step 911 if one of the plurality of failure characteristic certainties is equal to or greater than the reference failure characteristic certainty level, the controller 101 proceeds to step 911 . On the other hand, if all of the plurality of bad feature certainties are less than the reference bad feature certainty, the controller 101 proceeds to step 915 .
  • step 911 the controller 101 determines that the fruit is in a bad state.
  • step 913 the controller 101 moves the corresponding fruit to the defective area through the fruit sorting unit 113 .
  • the control unit 101 displays the fruit image data on which the grade of the corresponding fruit, the certainty of a plurality of defective characteristics, and the defective characteristics are projected through the display unit 107 .
  • step 915 the controller 101 determines that the corresponding fruit is in a normal state.
  • step 917 the control unit 101 moves the corresponding fruit to the normal region corresponding to the determined grade through the fruit classifying unit 113 .
  • the control unit 101 displays the grade of the corresponding fruit and the certainty of a plurality of defective characteristics through the display unit 107 .
  • control unit 101 generates identification result data for a plurality of fruits, and transmits the identification result data generated through the communication unit 109 to the user's portable terminal.
  • an embodiment of the present invention can identify the fruit while minimizing manpower and cost.
  • an embodiment of the present invention can identify fruits with accuracy and consistency.
  • control unit 103 memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Supplying Of Containers To The Packaging Station (AREA)
  • Packaging Of Special Articles (AREA)

Abstract

본 발명은 과일을 식별하는 장치 및 방법에 관한 것으로, 투입된 다수의 과일들을 순차적으로 분류하고 영상 데이터를 생성한 후, 각 과일의 무게를 기반으로 과일의 등급을 결정하고 불량 특징 확신도를 이용하여 불량 상태 또는 정상 상태를 결정함으로써, 과일들을 분류할 수 있는 효과가 있다.

Description

과일을 식별하는 장치 및 방법
본 발명의 일 실시 예는 과일에 관한 것으로, 특히, 과일을 식별하는 장치 및 방법에 관한 것이다.
일반적으로 노동자가 육안으로 과일의 상태를 일일이 확인하여 과일에 대한 등급을 결정한다. 특히, 과일의 등급은 대체로 과일의 무게를 기반으로 결정되지만, 과일의 상처, 멍, 상함 및 병충해 감염과 같은 불량 상태는 노동자가 육안으로 판별해야 했다.
이와 같이, 노동자가 과일의 불량 상태를 직접 판별해야 하므로, 과일을 식별하기 위한 인력과 비용이 많이 소모되어 농림업의 효율이 저하되는 문제점이 있었다. 그리고 노동자가 과일 식별에 대한 전문성이 없는 경우, 노동자가 과일에 잘못된 등급을 매겨서 과일 식별에 대한 정확성 및 일관성이 떨어지는 문제점이 있다.
따라서, 이러한 문제점을 해결하기 위한 방안의 필요성이 대두하였다.
본 발명의 일 실시 예는 인력과 비용을 최소화하면서 과일을 식별하는 장치 및 방법을 제안한다.
그리고 본 발명의 일 실시 예는 정확성 및 일관성을 가지면서 과일을 식별하는 장치 및 방법을 제안한다.
본 발명의 일 실시 예에 따른, 과일 식별 장치는, 다수의 과일들을 한 줄로 정렬하고, 상기 정렬된 과일들 각각을 회전시키는 과일 투입부; 제어부의 제어에 따라 상기 정렬된 과일들을 순차적으로 분류하는 과일 분류부; 상기 회전하는 과일들을 순차적으로 촬영하여 한 과일에 대한 다수의 영상 데이터들을 생성하는 영상 획득부; 및 상기 영상 데이터들에서 과일만을 추출하여 다수의 과일 영상 데이터들을 생성하며, 상기 다수의 과일 영상 데이터들을 이용하여 상기 과일의 무게를 결정하고, 상기 과일의 무게를 이용하여 상기 과일의 등급을 결정하며, 상기 영상 데이터들을 처리하여 다수의 불량 특징 확신도들을 결정하고, 상기 불량 특징 확신도들과 미리 지정된 기준 불량 특징 확신도를 비교하며, 상기 비교 결과를 기반으로, 상기 과일을 불량 상태 또는 정상 상태로 결정하고, 상기 과일이 상기 불량 상태인 경우, 상기 과일 분류부를 통해 상기 과일을 불량 영역으로 이동시키고, 상기 과일이 상기 정상 상태인 경우, 상기 과일 분류부를 통해 상기 과일을 다수의 정상 영역들 중에서 상기 과일의 등급에 대응하는 정상 영역으로 이동시키는 상기 제어부를 포함한다.
본 발명의 일 실시 예에 따른, 과일 식별 방법은, 제어부가, 과일 투입부를 통해 다수의 과일들을 한 줄로 정렬하고, 상기 정렬된 과일들 각각을 회전시키는 과정; 상기 제어부가, 영상 획득부를 통해 상기 회전하는 과일들을 순차적으로 촬영하여 한 과일에 대한 다수의 영상 데이터들을 생성하는 과정; 상기 제어부가, 상기 영상 데이터들에서 과일만을 추출하여 다수의 과일 영상 데이터들을 생성하는 과정; 상기 제어부가, 상기 다수의 과일 영상 데이터들을 이용하여 상기 과일의 무게를 결정하고, 상기 과일의 무게를 이용하여 상기 과일의 등급을 결정하는 과정; 상기 제어부가, 상기 영상 데이터들을 처리하여 다수의 불량 특징 확신도들을 결정하고, 상기 불량 특징 확신도들과 미리 지정된 기준 불량 특징 확신도를 비교하는 과정; 상기 제어부가, 상기 비교 결과를 기반으로, 상기 과일을 불량 상태 또는 정상 상태로 결정하는 과정; 상기 제어부가, 상기 과일이 상기 불량 상태인 경우, 과일 분류부를 통해 상기 과일을 불량 영역으로 이동시키는 과정; 및 상기 제어부가, 상기 과일이 상기 정상 상태인 경우, 상기 과일 분류부를 통해 상기 과일을 다수의 정상 영역들 중에서 상기 과일의 등급에 대응하는 정상 영역으로 이동시키는 과정을 포함한다.
본 발명의 일 실시 예는 인력과 비용을 최소화하면서 과일을 식별할 수 있다.
그리고 본 발명의 일 실시 예는 정확성 및 일관성을 가지면서 과일을 식별할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 과일 식별 장치의 블록 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 제어부의 블록 구성도이다.
도 3은 본 발명의 일 실시 예에 따른 과일 이동부를 도시한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 과일 회전부를 도시한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 영상 획득부를 도시한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 인공지능부가 다수의 불량 특징 확신도들을 결정하는 절차를 도시한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 인공지능부가 불량 과일에 대한 불량 특징 확신도를 결정하는 절차를 도시한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 인공지능부가 정상 과일에 대한 불량 특징 확신도를 결정하는 절차를 도시한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 과일 식별 장치가 과일을 식별하는 흐름도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명의 실시 예에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당하는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 발명의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 발명된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시 예에서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 발명의 실시 예에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 발명의 일 실시 예에 따른 과일 식별 장치의 블록 구성도이다.
도 1을 참조하면, 과일 식별 장치는 제어부(101)와 메모리(103)와 영상 획득부(105)와 표시부(107)와 통신부(109)와 과일 투입부(111)와 과일 분류부(113)를 포함한다.
각 구성요소를 살펴보면, 과일 투입부(111)는 과일 이동부(115)와 과일 회전부(117)를 포함한다.
과일 이동부(115)는 다수의 과일들 중에서 한 과일을 선택하고, 컨베이어 롤러 또는 컨베이어 밸트를 이용하여 선택된 과일을 과일 회전부(117)로 이동시킨다. 예를 들면, 과일 이동부(115)는 도 3의 301에 도시된 바와 같이, 정렬 기구를 이용하여 다수의 과일들을 한 줄로 정렬시키고, 컨베이어 밸트를 이용하여 한 줄로 정렬된 다수의 과일들을 순차적으로 과일 회전부(117)로 전달할 수 있다.
과일 회전부(117)는 과일 이동부(115)로부터 다수의 과일들을 순차적으로 수신하고, 순차적으로 수신된 과일들 중 한 과일을 회전시킨 후, 과일 분류부(113)로 이동시킨다. 예를 들면, 과일 회전부(117)는 도 4의 401에 도시된 바와 같이, 바닥면이 곡선을 이루며, 바닥면의 일 측면이 다른 측면보다 한 쪽으로 기울어지게 구성될 수 있다. 예를 들면, 과일 회전부(117)는 기울어진 바닥면을 이용하여 한 과일의 모든 면이 드러나도록 과일을 360도 회전시키고, 회전된 과일을 과일 분류부(113)로 전달할 수 있다.
과일 분류부(113)는 다수의 과일들을 과일 회전부(117)로부터 순차적으로 수신하고, 제어부(101)의 제어에 따라 수신된 과일들을 순차적으로 서로 다른 영역으로 이동시킨다. 예를 들면, 서로 다른 영역은 불량 과일을 저장하는 불량 영역과 정상 과일을 저장하는 정상 영역을 포함할 수 있다. 예를 들면, 불량 과일은 과일에 상처, 멍, 상함 및 병충해 감염과 같은 불량 상태가 존재하는 과일을 나타낼 수 있다. 예를 들면, 정상 과일은 불량 상태가 존재하지 않는 과일을 나타낼 수 있다. 예를 들면, 정상 영역은 미리 지정된 과일 등급의 개수에 따라 복수의 영역들로 나누어질 수 있다. 예를 들면, 과일 등급은 과일의 크기를 고려하여 사용자에 의해 결정될 수 있다.
영상 획득부(105)는 다수의 카메라들을 이용하여 과수 회전부(117)에서 회전하는 한 과일의 모든 면을 촬영하여 다수의 영상 데이터들을 생성하고, 생성된 다수의 영상 데이터들을 제어부(101)로 출력한다. 예를 들면, 영상 획득부(105)의 부감도는 도 5의 501과 같이, 세 개의 카메라들을 포함할 수 있다. 예를 듬련, 세 개의 카메라들은 120도 간격으로 배치되며, 세 개의 카메라들의 초점들은 가운데에 맞춰질 수 있다. 예를 들면, 영상 획득부(105)의 측면도는 도 5의 503과 같이, 세 개의 카메라들이 나란히 배열될 수 있다.
메모리(103)는 과일 식별 장치의 동작에 필요한 각종 프로그램 및 데이터를 저장한다. 예를 들면, 메모리(103)는 비휘발성 메모리, 휘발성 메모리, 플래시 메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다.
표시부(107)는 제어부(101)의 제어에 따라 영상 데이터를 표시한다. 표시부(107)의 구현 방식은 한정되지 않으며, 예를 들면, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, AM-OLED(Active-Matrix Organic Light-Emitting Diode), PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 표시부(107)는 그 구현 방식에 따라서 부가적인 구성을 추가적으로 포함할 수 있다. 예를 들면, 표시부(107)가 액정 방식인 경우, 표시부(107)는 LCD 디스플레이 패널(미도시)과, 이에 광을 공급하는 백라이트 유닛(미도시)과, 패널(미도시)을 구동시키는 패널 구동기판(미도시)을 포함할 수 있다. 표시부(107)는 입출력부(미도시)의 터치 패널(미도시)과 결합되어 터치 스크린(미도시)으로 제공될 수 있다.
통신부(109)는 다양한 유형의 유선 또는 무선 통신 방식에 따라 다양한 유형의 외부 기기와 통신을 수행한다. 예를 들면, 통신부(109)는 다수의 과일들에 대한 식별 결과를 포함하는 식별 결과 데이터를 사용자의 휴대 단말기(미도시)로 전송할 수 있다. 예를 들면, 식별 결과 데이터는 과일 식별 장치가 식별한 불량 과일의 개수, 불량 과일 별 불량 상태, 정상 과일의 개수 및 정상 과일 별 등급을 포함할 수 있다. 예를 들면, 통신부(109)는 와이파이 모듈과 LTE 모듈과 5G 모듈과 LoRa 모듈과 블루투스 모듈과 지그비(Zigbee) 모듈 등 다양한 무선 통신 모듈을 포함할 수 있다. 예를 들면, 와이파이(WiFi) 모듈은 와이파이 방식으로 통신을 수행하며, LTE 모듈은 IEEE, LTE 등과 같은 다양한 통신 규격에 따라 통신을 수행할 수 있다. 예를 들면, 통신부(109)는 랜(LAN)이나 RS-232C나 RS-422이나 RS-485나 유에스비(USB) 포트 등과 같은 다양한 통신 규격에 따라 통신을 수행할 수 있다.
제어부(101)는 메모리(103)에 저장된 각종 프로그램을 이용하여 과일 식별 장치의 전반적인 동작을 제어한다. 예를 들면, 제어부(101)는 영상 획득부(105)를 통해 한 과일에 대한 다수의 영상 데이터들을 생성하고, 생성된 다수의 영상 데이터들을 이용하여 한 과일의 등급 및 불량 상태를 결정하고, 과일 분류부(113)를 통해 결정된 등급 및 불량 상태를 기반으로 한 과일을 분류할 수 있다.
이제부터 도 2를 참조하여 제어부(101)를 자세히 설명하고자 한다.
도 2는 본 발명의 일 실시 예에 따른 제어부(101)의 블록 구성도이다.
도 2를 참조하면, 제어부(101)는 과일 영상 추출부(201)와 과일 크기 결정부(203)와 인공지능부(205)를 포함한다.
각 구성요소를 살펴보면, 과일 영상 추출부(201)는 영상 획득부(105)로부터 한 과일에 대응하는 다수의 영상 데이터들을 입력받고, 미리 지정된 이미지 처리 기술을 통해 다수의 영상 데이터들에서 과일만을 추출하여 다수의 과일 영상 데이터들을 생성한다. 그리고 과일 영상 추출부(201)는 생성된 다수의 과일 영상 데이터들을 과일 크기 결정부(203)로 출력할 수 있다. 예를 들면, 이미지 처리 기술은 영상 데이터에서 윤곽선을 추출하고, 추출된 윤곽선이 원형에 가까우면, 윤곽선에 포함된 영상 데이터를 추출하는 기술일 수 있다. 예를 들면, 다수의 과일 영상 데이터들 각각은 과일만을 포함하는 영상 데이터일 수 있다.
과일 크기 결정부(203)는 다수의 과일 영상 데이터들을 이용하여 한 과일에 대한 과일 크기를 결정하고, 결정된 과일 크기와 미리 지정된 과일 크기별 등급표를 이용하여 한 과일에 대한 등급을 결정한다. 예를 들면, 과일 크기별 등급표는 과일 크기에 따른 등급을 나타내는 표일 수 있다. 예를 들면, 과일이 사과인 경우, 과일 크기별 등급표는 사과의 크기에 따라 1등급부터 8등급까지 구분될 수 있다.
예를 들면, 영상 획득부(105)의 다수의 카메라들이 스테레오 카메라인 경우, 과일 크기 결정부(203)는 3차원 재건법을 이용하여 다수의 과일 영상 데이터들을 합성하여 3차원 과일 영상 데이터를 생성하고, 생성된 3차원 과일 영상 데이터를 이용하여 한 과일에 대한 부피를 계산할 수 있다. 예를 들면, 스테레오 카메라는 입체 사진의 촬영에 사용하는 카메라로, 좌우의 눈에 해당되는 2개의 동종의 렌즈들로 동시에 과일의 사진을 촬영할 수 있다. 그리고 과일 크기 결정부(203)는 과일 크기별 등급표에서 계산된 과일의 부피에 해당하는 등급을 확인하고, 한 과일의 등급을 확인된 등급으로 결정할 수 있다.
그리고 과일 크기 결정부(203)는 다수의 과일 영상 데이터를 이용하여 한 과일의 무게를 계산하고, 계산된 무게와 미리 지정된 과일 무게별 등급표를 이용하여 한 과일에 대한 등급을 결정한다. 예를 들면, 과일 무게별 등급표는 과일 무게에 따른 등급을 나타내는 표일 수 있다. 예를 들면, 과일이 사과인 경우, 과일 무게별 등급표는 사과의 무게에 따라 1등급부터 8등급까지 구분될 수 있다.
예를 들면, 과일 크기 결정부(203)는 메모리(103)에 미리 저장된 과일 별 밀도표를 검출하고, 검출된 과일 별 밀도표에서 해당 과일에 대한 밀도를 확인하고, 확인된 밀도에 계산된 과일의 부피를 곱하여 한 과일의 무게를 계산할 수 있다. 예를 들면, 과일 별 밀도표는 각종 과일 별로 밀도가 기록된 표일 수 있다. 그리고 과일 크기 결정부(203)는 과일 무게별 등급표에서 계산된 과일의 무게에 해당하는 등급을 확인하고, 한 과일의 등급을 확인된 등급으로 결정할 수 있다.
인공지능부(205)는 영상 획득부(105)로부터 한 과일에 대응하는 다수의 영상 데이터들을 입력받고, 입력된 다수의 영상 데이터들을 분석하여 다수의 불량 특징 확신도들을 결정한다. 즉, 인공지능부(205)는 다수의 영상 데이터들에 대응하는 다수의 불량 특징 확신도들을 결정한다. 예를 들면, 다수의 불량 특징 확신도들은 다수의 영상 데이터들에 과일의 불량 상태(과일의 상처, 멍, 상함 및 병충해 감염)에 대한 특징들 중 적어도 하나를 포함하고 있다고 확신하는 확률을 나타낼 수 있다.
그리고 인공지능부(205)는 결정된 다수의 불량 특징 확신도들 중 하나가 미리 지정된 기준 불량 특징 확신도 이상인지 여부를 확인한다. 예를 들면, 기준 불량 특징 확신도는 90퍼센트일 수 있다.
확인 결과, 다수의 불량 특징 확신도들 중 하나가 기준 불량 특징 확신도 이상이면, 인공지능부(205)는 해당 과일을 불량 상태로 결정한다.
이후에, 제어부(101)는 과일 분류부(113)를 통해 해당 과일을 불량 영역으로 이동시킨다. 이때, 제어부(101)는 표시부(107)를 통해 해당 과일의 등급과 다수의 불량 특징 확신도들과 불량 특징이 투영된 과일 영상 데이터들을 표시한다. 예를 들면, 불량 특징이 투영된 과일 영상 데이터들은 과일 영상 데이터들에서 불량 상태만 투영된 영상 데이터일 수 있다.
이와 달리, 다수의 불량 특징 확신도들 모두가 기준 불량 특징 확신도 미만이면, 인공지능부(205)는 해당 과일을 정상 상태로 결정한다.
이후에, 제어부(101)는 과일 분류부(113)를 통해 해당 과일을 결정된 등급에 대응하는 정상 영역으로 이동시킨다. 이때, 제어부(101)는 표시부(107)를 통해 해당 과일의 등급과 다수의 불량 특징 확신도들을 표시한다.
그리고 제어부(101)는 다수의 과일들에 대한 식별 결과 데이터를 생성하고, 통신부(109)를 통해 생성된 식별 결과 데이터를 사용자의 휴대 단말기로 전송한다.
이러한 구성을 통해, 본 발명의 일 실시 예는 인력과 비용을 최소화하면서 과일을 식별할 수 있다. 그리고 본 발명의 일 실시 예는 정확성 및 일관성을 가지면서 과일을 식별할 수 있다.
본 발명의 일 실시 예에 따른 인공지능부는 딥러닝 학습 알고리즘을 채용한다. 예를 들면, 딥러닝 학습 알고리즘은 Autoencoder, CNN(Convolutional Neural Networks), RNN(Recurrent neural network), GAN(Generative Adversarial Network) 등을 포함할 수 있다. 그러나 본 발명에서 열거한 딥러닝 학습 알고리즘은 일 예시일 뿐, 이에 한정되는 것은 아니다.
본 발명에서는 앞에서 열거한 딥러닝 학습 알고리즘 중 어느 하나인 CNN을 적용되지만, 이에 한정되는 것은 아니다. 즉, 본 발명에서는 사용자의 선택에 따라 다양한 종류의 딥러닝 학습 알고리즘이 사용될 수도 있다.
도 6은 본 발명의 일 실시 예에 따른 인공지능부(205)가 다수의 불량 특징 확신도들을 결정하는 절차를 도시한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 인공지능부(205)가 불량 과일에 대한 불량 특징 확신도를 결정하는 절차를 도시한 도면이다.
도 7을 참조하면, 인공지능부(205)는 다수의 영상 데이터들 중 한 영상 데이터(701)를 처리하여 최종 특징(feature, 도6 참조) 채널을 생성한다. 예를 들면, 최종 특징 채널의 256채널들 중에서 16채널은 707 화면과 같이 활성화될 수 있다.
그리고 인공지능부(205)는 최종 특징 채널에 채널 별 Fully Connect Layer의 가중치를 곱하여 불량 특징 투영도(703)를 생성한다. 그리고 인공지능부(205)는 해당 영상 데이터(701)에 불량 특징 투영도(703)를 합성하여 불량 특징이 투영된 과일 영상 데이터(705)를 생성한다.
그리고 인공지능부(205)는 불량 특징 투영도(703) 이미지의 각 픽셀의 RGB 채널 값 중 G 채널 값을 전부 더한 값을 전체 픽셀 숫자로 나누어 특징 평균 값을 결정하고, 결정된 특징 평균 값에 Softmax를 적용하여 불량 특징 확신도를 결정한다.
예를 들면, Softmax는 다음과 같은 수학식 1로 나타낼 수 있다.
[수학식 1]
Figure PCTKR2022000645-appb-img-000001
예를 들면, n은 투영도의 총 개수를 나타내며, i는 투영도의 고유번호를 나타낼 수 있다. 그리고 yi는 각 투영도의 특징 평균값을 나타내고, e는 자연상수를 나타낼 수 있다.
예를 들면, 영상 데이터(701)가 썩은 부분을 포함하는 경우, 불량 특징 확신도는 99.9%, 정상 특징 확신도는 0%로 결정될 수 있다.
도 8은 본 발명의 일 실시 예에 따른 인공지능부(205)가 정상 과일에 대한 불량 특징 확신도를 결정하는 절차를 도시한 도면이다.
도 8을 참조하면, 인공지능부(205)는 다수의 영상 데이터들 중 한 영상 데이터(801)를 처리하여 최종 특징 채널을 생성한다. 예를 들면, 최종 특징 채널의 256채널들 중에서 16채널은 807 화면과 같이 활성화될 수 있다.
그리고 인공지능부(205)는 최종 특징 채널에 채널별 Fully Connect Layer의 가중치를 곱하여 불량 특징 투영도(803)를 생성한다. 그리고 인공지능부(205)는 해당 영상 데이터(801)에 불량 특징 투영도(803)를 합성하여 불량 특징이 투영된 과일 영상 데이터(805)를 생성한다.
그리고 인공지능부(205)는 불량 특징 투영도(803) 이미지의 각 픽셀의 RGB 채널 값 중 G 채널 값을 전부 더한 값을 전체 픽셀 숫자로 나누어 특징 평균 값을 결정하고, 결정된 특징 평균 값에 Softmax를 적용하여 불량 특징 확신도를 결정한다. 예를 들면, 영상 데이터(801)가 정상 상태인 경우, 불량 특징 확신도는 1%, 정상 특징 확신도는 99%로 결정될 수 있다.
도 9는 본 발명의 일 실시 예에 따른 과일 식별 장치가 과일을 식별하는 흐름도이다.
도 9를 참조하면, 과일 식별 장치의 제어부(101)는, 901 단계에서, 영상 획득부(105)로부터 과일 별로 다수의 영상 데이터들을 수신한다. 예를 들면, 다수의 영상 데이터들 각각은 한 과일의 형태를 포함할 수 있다.
903 단계에서, 제어부(101)는 미리 지정된 이미지 처리 기술을 통해 다수의 영상 데이터들에서 과일만을 추출하여 다수의 과일 영상 데이터들을 생성한다. 그리고 과일 영상 추출부(201)는 생성된 다수의 과일 영상 데이터들을 과일 크기 결정부(203)로 출력할 수 있다.
905 단계에서, 제어부(101)는 다수의 과일 영상 데이터들을 이용하여 한 과일에 대한 과일 크기를 결정하고, 결정된 과일 크기와 미리 지정된 과일 크기별 등급표를 이용하여 한 과일에 대한 등급을 결정한다.
예를 들면, 영상 획득부(105)의 다수의 카메라들이 스테레오 카메라인 경우, 제어부(101)는 3차원 재건법을 이용하여 다수의 과일 영상 데이터들을 합성하여 3차원 과일 영상 데이터를 생성하고, 생성된 3차원 과일 영상 데이터를 이용하여 한 과일에 대한 부피를 계산할 수 있다. 그리고 제어부(101)는 과일 크기별 등급표에서 계산된 과일의 부피에 해당하는 등급을 확인하고, 한 과일의 등급을 확인된 등급으로 결정할 수 있다.
예를 들면, 제어부(101)는 메모리(103)에 미리 저장된 과일 별 밀도표를 검출하고, 검출된 과일 별 밀도표에서 해당 과일에 대한 밀도를 확인하고, 확인된 밀도에 계산된 과일의 부피를 곱하여 한 과일의 무게를 계산할 수 있다. 그리고 제어부(101)는 과일 무게별 등급표에서 계산된 과일의 무게에 해당하는 등급을 확인하고, 한 과일의 등급을 확인된 등급으로 결정할 수 있다.
907 단계에서, 제어부(101)는 한 과일에 대한 다수의 영상 데이터들을 분석하여 다수의 불량 특징 확신도들을 결정한다. 즉, 제어부(101)는 다수의 영상 데이터들에 대응하는 다수의 불량 특징 확신도들을 결정한다.
909 단계에서, 제어부(101)는 결정된 다수의 불량 특징 확신도들 중 하나가 미리 지정된 기준 불량 특징 확신도 이상인지 여부를 확인한다. 예를 들면, 기준 불량 특징 확신도는 90퍼센트일 수 있다.
확인 결과, 다수의 불량 특징 확신도들 중 하나가 기준 불량 특징 확신도 이상이면, 제어부(101)는 911 단계로 진행한다. 이와 달리, 다수의 불량 특징 확신도들 모두가 기준 불량 특징 확신도 미만이면, 제어부(101)는 915 단계로 진행한다.
911 단계에서, 제어부(101)는 해당 과일을 불량 상태로 결정한다. 913 단계에서, 제어부(101)는 과일 분류부(113)를 통해 해당 과일을 불량 영역으로 이동시킨다. 이때, 제어부(101)는 표시부(107)를 통해 해당 과일의 등급과 다수의 불량 특징 확신도들과 불량 특징이 투영된 과일 영상 데이터들을 표시한다.
915 단계에서, 제어부(101)는 해당 과일을 정상 상태로 결정한다. 917 단계에서, 제어부(101)는 과일 분류부(113)를 통해 해당 과일을 결정된 등급에 대응하는 정상 영역으로 이동시킨다. 이때, 제어부(101)는 표시부(107)를 통해 해당 과일의 등급과 다수의 불량 특징 확신도들을 표시한다.
이후에, 제어부(101)는 다수의 과일들에 대한 식별 결과 데이터를 생성하고, 통신부(109)를 통해 생성된 식별 결과 데이터를 사용자의 휴대 단말기로 전송한다.
이러한 동작을 통해, 본 발명의 일 실시 예는 인력과 비용을 최소화하면서 과일을 식별할 수 있다. 그리고 본 발명의 일 실시 예는 정확성 및 일관성을 가지면서 과일을 식별할 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다. 예를 들면, 본 발명의 일 실시 예에서는 과일을 식별하는 것으로 설명하였으나, 이에 한정되지 않는다. 예를 들면, 본 발명의 일 실시 예에서는 과일뿐만 아니라 농림산물을 식별할 수 있다.
[부호의 설명]
101: 제어부 103: 메모리
105: 영상 획득부 107: 표시부
109: 통신부 111: 과일 투입부
113: 과일 분류부 115: 과일 이동부
117: 과일 회전부
201: 과일 영상 추출부 203: 과일 크기 식별부
205: 인공지능부

Claims (10)

  1. 다수의 과일들을 한 줄로 정렬하고, 상기 정렬된 과일들 각각을 회전시키는 과일 투입부;
    제어부의 제어에 따라 상기 정렬된 과일들을 순차적으로 분류하는 과일 분류부;
    상기 회전하는 과일들을 순차적으로 촬영하여 한 과일에 대한 다수의 영상 데이터들을 생성하는 영상 획득부; 및
    상기 영상 데이터들에서 과일만을 추출하여 다수의 과일 영상 데이터들을 생성하며, 상기 다수의 과일 영상 데이터들을 이용하여 상기 과일의 무게를 결정하고, 상기 과일의 무게를 이용하여 상기 과일의 등급을 결정하며, 상기 영상 데이터들을 처리하여 다수의 불량 특징 확신도들을 결정하고, 상기 불량 특징 확신도들과 미리 지정된 기준 불량 특징 확신도를 비교하며, 상기 비교 결과를 기반으로, 상기 과일을 불량 상태 또는 정상 상태로 결정하고, 상기 과일이 상기 불량 상태인 경우, 상기 과일 분류부를 통해 상기 과일을 불량 영역으로 이동시키고, 상기 과일이 상기 정상 상태인 경우, 상기 과일 분류부를 통해 상기 과일을 다수의 정상 영역들 중에서 상기 과일의 등급에 대응하는 정상 영역으로 이동시키는 상기 제어부를 포함하는 과일 식별 장치.
  2. 제1항에 있어서,
    상기 제어부는, 상기 불량 특징 확신도들 중 적어도 하나가 상기 기준 불량 특징 확신도 이상이면, 상기 과일을 상기 불량 상태로 결정하고, 상기 불량 특징 확신도들 모두가 상기 기준 불량 특징 확신도 미만이면, 상기 과일을 상기 정상 상태로 결정하는 것을 특징으로 하는 과일 식별 장치.
  3. 제1항에 있어서,
    상기 불량 상태는, 과일의 상처, 멍, 상함 및 병충해 감염 중 적어도 하나를 포함하는 것을 특징으로 하는 과일 식별 장치.
  4. 제1항에 있어서,
    표시부를 더 포함하며,
    상기 제어부는, 상기 과일이 상기 불량 상태인 경우, 상기 표시부를 통해 상기 과일의 등급과 상기 불량 특징 확신도들과 불량 특징이 투영된 다수의 과일 영상 데이터들을 표시하고, 상기 과일이 상기 정상 상태인 경우, 상기 표시부를 통해 상기 과일의 등급과 상기 불량 특징 확신도들을 표시하는 것을 특징으로 하는 과일 식별 장치.
  5. 제1항에 있어서,
    통신부를 더 포함하며,
    상기 제어부는, 상기 과일들에 대한 식별 결과 데이터를 생성하고, 상기 통신부를 통해 상기 식별 결과 데이터를 사용자의 휴대 단말기로 전송하는 것을 특징으로 하는 과일 식별 장치.
  6. 제어부가, 과일 투입부를 통해 다수의 과일들을 한 줄로 정렬하고, 상기 정렬된 과일들 각각을 회전시키는 과정;
    상기 제어부가, 영상 획득부를 통해 상기 회전하는 과일들을 순차적으로 촬영하여 한 과일에 대한 다수의 영상 데이터들을 생성하는 과정;
    상기 제어부가, 상기 영상 데이터들에서 과일만을 추출하여 다수의 과일 영상 데이터들을 생성하는 과정;
    상기 제어부가, 상기 다수의 과일 영상 데이터들을 이용하여 상기 과일의 무게를 결정하고, 상기 과일의 무게를 이용하여 상기 과일의 등급을 결정하는 과정;
    상기 제어부가, 상기 영상 데이터들을 처리하여 다수의 불량 특징 확신도들을 결정하고, 상기 불량 특징 확신도들과 미리 지정된 기준 불량 특징 확신도를 비교하는 과정;
    상기 제어부가, 상기 비교 결과를 기반으로, 상기 과일을 불량 상태 또는 정상 상태로 결정하는 과정;
    상기 제어부가, 상기 과일이 상기 불량 상태인 경우, 과일 분류부를 통해 상기 과일을 불량 영역으로 이동시키는 과정; 및
    상기 제어부가, 상기 과일이 상기 정상 상태인 경우, 상기 과일 분류부를 통해 상기 과일을 다수의 정상 영역들 중에서 상기 과일의 등급에 대응하는 정상 영역으로 이동시키는 과정을 포함하는 과일 식별 방법.
  7. 제6항에 있어서,
    상기 과일을 불량 상태 또는 정상 상태로 결정하는 과정은,
    상기 불량 특징 확신도들 중 적어도 하나가 상기 기준 불량 특징 확신도 이상이면, 상기 과일을 상기 불량 상태로 결정하는 과정; 및
    상기 불량 특징 확신도들 모두가 상기 기준 불량 특징 확신도 미만이면, 상기 과일을 상기 정상 상태로 결정하는 과정을 포함하는 것을 특징으로 하는 과일 식별 방법.
  8. 제6항에 있어서,
    상기 불량 상태는, 과일의 상처, 멍, 상함 및 병충해 감염 중 적어도 하나를 포함하는 것을 특징으로 하는 과일 식별 방법.
  9. 제6항에 있어서,
    상기 제어부가, 상기 과일이 상기 불량 상태인 경우, 표시부를 통해 상기 과일의 등급과 상기 불량 특징 확신도들과 불량 특징이 투영된 다수의 과일 영상 데이터들을 표시하는 과정; 및
    상기 제어부가, 상기 과일이 상기 정상 상태인 경우, 상기 표시부를 통해 상기 과일의 등급과 상기 불량 특징 확신도들을 표시하는 과정을 더 포함하는 과일 식별 방법.
  10. 제6항에 있어서,
    상기 제어부가, 상기 과일들에 대한 식별 결과 데이터를 생성하고, 통신부를 통해 상기 식별 결과 데이터를 사용자의 휴대 단말기로 전송하는 과정을 더 포함하는 과일 식별 방법.
PCT/KR2022/000645 2021-01-15 2022-01-13 과일을 식별하는 장치 및 방법 WO2022154519A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/351,165 US20240131558A1 (en) 2021-01-15 2023-07-12 Device and method for classifying fruits

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210005676A KR102285603B1 (ko) 2021-01-15 2021-01-15 과일을 식별하는 장치 및 방법
KR10-2021-0005676 2021-01-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/351,165 Continuation US20240131558A1 (en) 2021-01-15 2023-07-12 Device and method for classifying fruits

Publications (1)

Publication Number Publication Date
WO2022154519A1 true WO2022154519A1 (ko) 2022-07-21

Family

ID=77314784

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/000645 WO2022154519A1 (ko) 2021-01-15 2022-01-13 과일을 식별하는 장치 및 방법

Country Status (3)

Country Link
US (1) US20240131558A1 (ko)
KR (2) KR102285603B1 (ko)
WO (1) WO2022154519A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102285603B1 (ko) * 2021-01-15 2021-08-04 주식회사 에이오팜 과일을 식별하는 장치 및 방법
KR102508829B1 (ko) * 2022-11-24 2023-03-10 주식회사 사이언스테크 농산물 선별 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015193711A1 (en) * 2014-06-17 2015-12-23 Expert Ymaging, Sl Method and device for automated parameters calculation of an object
KR20170056716A (ko) * 2015-11-06 2017-05-24 대한민국(농촌진흥청장) 결함 검출 시스템 및 결함 검출 방법
KR101839548B1 (ko) * 2016-12-29 2018-03-19 한국식품연구원 농산물 선별장치
JP2020148620A (ja) * 2019-03-13 2020-09-17 株式会社ナベル 卵分類装置、卵分類方法及びコンピュータプログラム
KR20200126849A (ko) * 2019-04-30 2020-11-09 대한민국(농촌진흥청장) 딸기 품질 판별장치 및 이를 이용한 딸기 품질 판별방법
KR102285603B1 (ko) * 2021-01-15 2021-08-04 주식회사 에이오팜 과일을 식별하는 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015193711A1 (en) * 2014-06-17 2015-12-23 Expert Ymaging, Sl Method and device for automated parameters calculation of an object
KR20170056716A (ko) * 2015-11-06 2017-05-24 대한민국(농촌진흥청장) 결함 검출 시스템 및 결함 검출 방법
KR101839548B1 (ko) * 2016-12-29 2018-03-19 한국식품연구원 농산물 선별장치
JP2020148620A (ja) * 2019-03-13 2020-09-17 株式会社ナベル 卵分類装置、卵分類方法及びコンピュータプログラム
KR20200126849A (ko) * 2019-04-30 2020-11-09 대한민국(농촌진흥청장) 딸기 품질 판별장치 및 이를 이용한 딸기 품질 판별방법
KR102285603B1 (ko) * 2021-01-15 2021-08-04 주식회사 에이오팜 과일을 식별하는 장치 및 방법

Also Published As

Publication number Publication date
US20240131558A1 (en) 2024-04-25
KR102497722B1 (ko) 2023-02-08
KR102285603B1 (ko) 2021-08-04
KR20220103607A (ko) 2022-07-22

Similar Documents

Publication Publication Date Title
WO2022154519A1 (ko) 과일을 식별하는 장치 및 방법
US10268435B2 (en) Display device, multi-display system, and ID determination method for display device
JP5608627B2 (ja) 送信装置、受信装置及び方法
WO2017074005A1 (ko) Cctv 자동선별 모니터링 시스템, cctv 자동선별 모니터링 관리서버 및 관리방법
CN107103330A (zh) 一种指示灯状态识别方法和装置
WO2021095991A1 (ko) 불량 이미지 생성 장치 및 방법
WO2018143486A1 (ko) 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법
CN108872265A (zh) 检测方法、装置及系统
US20220414861A1 (en) Product inspection system and method
WO2020004815A1 (ko) 데이터의 어노말리 감지 방법
CN112977974A (zh) 烟包外观质量检测装置及其方法、烟包包装机
TW200815747A (en) Inspection system
CN112881430A (zh) 一种基于图像识别的显示屏缺陷监测系统及其检测方法
WO2016104990A1 (ko) 컨텐츠 제공 장치, 디스플레이 장치 및 그 제어 방법
CN109240069B (zh) 液晶显示钟表类产品生产自动检测系统
US20170316257A1 (en) Device and method for monitoring people, method for counting people at a location
WO2020166849A1 (en) Display system for sensing defect on large-size display
CN117274720A (zh) 一种计算机硬件异常检测方法及系统
CN107271145A (zh) 显示单元的检测方法及系统
CN106845466A (zh) 一种基于图像的产品识别方法及其系统
WO2022131720A1 (ko) 건축물 이미지를 생성하는 장치 및 방법
JP6303219B1 (ja) 画像処理システム及び画像処理方法
WO2022097893A1 (ko) Led 패널 계측 장치, 시스템 및 제어 방법
CN109975299B (zh) 发光源检测系统与方法
WO2021060684A1 (ko) 머신 러닝을 이용한 영상 내 객체 인식 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22739714

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 23/11/2023)