KR20230082834A - Apparatus for sorting fruit based on image - Google Patents

Apparatus for sorting fruit based on image Download PDF

Info

Publication number
KR20230082834A
KR20230082834A KR1020210170678A KR20210170678A KR20230082834A KR 20230082834 A KR20230082834 A KR 20230082834A KR 1020210170678 A KR1020210170678 A KR 1020210170678A KR 20210170678 A KR20210170678 A KR 20210170678A KR 20230082834 A KR20230082834 A KR 20230082834A
Authority
KR
South Korea
Prior art keywords
fruit
sorting
target
unit
pair
Prior art date
Application number
KR1020210170678A
Other languages
Korean (ko)
Other versions
KR102551306B1 (en
Inventor
권경주
Original Assignee
(주)리눅스아이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)리눅스아이티 filed Critical (주)리눅스아이티
Priority to KR1020210170678A priority Critical patent/KR102551306B1/en
Publication of KR20230082834A publication Critical patent/KR20230082834A/en
Application granted granted Critical
Publication of KR102551306B1 publication Critical patent/KR102551306B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/38—Collecting or arranging articles in groups
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G37/00—Combinations of mechanical conveyors of the same kind, or of different kinds, of interest apart from their application in particular machines or use in particular manufacturing processes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
    • B65G2201/02—Articles
    • B65G2201/0202—Agricultural and processed food products
    • B65G2201/0211—Fruits and vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Sorting Of Articles (AREA)

Abstract

The present invention relates to an apparatus for sorting a fruit based on an image, which comprises: a fruit sorting unit selectively sorting a subject fruit to one of both sides in a transversal direction; and a sorting processing unit controlling the fruit sorting process of the fruit sorting unit. According to an embodiment of the present invention, the fruit sorting unit includes: a sorting frame; a sorting rotation member installed on the sorting frame to be rotatable around a longitudinal direction as an axis; a pair of rotation rollers exposed to an upper side of the sorting rotation member, and installed on the sorting rotation member to be rotatable around the transversal direction or the longitudinal direction as an axis, and having the subject fruit settled from an upper side; a sorting rotation driving unit rotating the sorting rotation member to one of both sides in the transversal direction so that the subject fruit settled on the rotation rollers can be sorted; a roller driving unit rotating one or more of the pair of rotation rollers so that the subject fruit settled on the pair of rotation rollers can be rotated; and a camera assembly having one or more camera modules photographing the subject fruit rotating as the pair of rotation rollers rotate. According to an embodiment of the present invention, the sorting processing unit can control the sorting rotation driving unit so that the subject fruit can be sorted based on an image photographed by the camera modules. Therefore, fruits can be more precisely sorted.

Description

영상 기반의 과일 선별 장치{APPARATUS FOR SORTING FRUIT BASED ON IMAGE}Image-based fruit sorting device {APPARATUS FOR SORTING FRUIT BASED ON IMAGE}

본 발명은 영상 기반의 과일 선별 장치에 관한 것으로서, 보다 상세하게는, 선별의 대상이 되는 대상 과일을 촬영한 영상에 기반하여 과일을 선별하는 영상 기반의 과일 선별 장치에 관한 것이다.The present invention relates to an image-based fruit sorting apparatus, and more particularly, to an image-based fruit sorting apparatus for sorting fruits based on a photographed image of a target fruit to be sorted.

사과 등과 같은 과일의 선별은 생산된 과일을 상품화시키는 공정이다. 수확된 과일을 신선하고 균일하게 선별하여 농산물의 상품적 가치를 향상시킴으로서 부가가치를 높일 수 있는 특성을 지니고 있다.Selection of fruits such as apples is a process of commercializing the produced fruits. It has the characteristics of increasing added value by selecting harvested fruits fresh and uniform to improve the commercial value of agricultural products.

특히 과일의 선별은 과일 각각 개체의 크기, 무게, 형상, 색깔, 상처 유무 등 과일의 품위를 결정지을 수 있는 요인이 다양하여 선별 기준은 과일의 종류뿐만 아니라 품종 간에도 차이가 있어 이에 따른 등급별 분류가 요구된다. 따라서 상품성을 높이기 위해서는 균일한 선별과 포장을 진행하여야 한다.In particular, in the sorting of fruits, there are various factors that can determine the quality of each fruit, such as the size, weight, shape, color, and presence of scars. It is required. Therefore, in order to increase marketability, uniform selection and packaging should be carried out.

일반적으로 과일 선별 과정은 컨베이어를 따라 이동하는 대상 과일을 작업자가 등급별도 분류하는 과정을 거치는데, 근래에는 과일의 크기나 무게별로 자동으로 분류하여 선별하는 과일 선별 장치가 널리 사용되고 있다.In general, in the fruit sorting process, a worker sorts target fruits moving along a conveyor by grade. Recently, a fruit sorting device that automatically classifies and sorts fruits by size or weight has been widely used.

대상 과일을 등급별로 분류하는 기준은 크기나 무게에 따라 분류하는 방법도 있으나, 동일한 크기나 무게에 대해서도 일정 기준의 등급으로 나누어 선별하는 방법도 있다.Criteria for classifying target fruits by grade include a method of classifying according to size or weight, but there is also a method of classifying the same size or weight into grades of a certain standard.

그러나, 기존의 크기나 무게 중심의 과일 선별 장치는 크기나 무게로 선별하는데 국한되어 있어, 동일 크기나 무게의 대상 과일을 등급별로 선별하는데에는 한계가 있었다.However, conventional fruit sorting devices based on size or weight are limited to sorting by size or weight, and there is a limit to sorting target fruits of the same size or weight by grade.

이에, 대상 과일을 촬영한 영상을 기반으로 하여, 과일을 선별하는 기술이 제안되고 있는데, 근래에 한국공개특허공보 제10-2020-0084940호에 개시된 'CNN 기반 병해 및 손상 과일 분류 장치 및 방법'과 같이, 딥러닝(Deep learning)과 같은 AI 기술을 기반으로, 대상 과일에 대해 촬영된 영상을 이용하여 대상 과일을 분류하는 기술이 제안되고 있다.Accordingly, a technology for sorting fruits based on images taken of the target fruit has been proposed. Recently, 'CNN-based diseased and damaged fruit classification apparatus and method' disclosed in Korean Patent Publication No. 10-2020-0084940 As described above, based on AI technology such as deep learning, a technique of classifying a target fruit using an image taken of the target fruit has been proposed.

이와 같은, 대상 과일을 촬영한 영상을 기반으로 하는 과일 선별 장치의 경우, 영상의 질(Quality)이 분류의 정확도에 영향을 미치게 된다. 과일의 경우, 촬영하는 방향에 따라 흠집과 같이 등급에 영향을 미치는 곳이 촬영되지 않을 수 있어, 정확도가 높은 AI 기반 분류 모델을 사용하더라도 정확한 분류가 이루어지지 않을 수 있다.In the case of such a fruit sorting device based on a photographed image of a target fruit, the quality of the image affects the accuracy of classification. In the case of fruits, depending on the direction in which they are photographed, places that affect grades, such as scratches, may not be photographed, so accurate classification may not be achieved even if an AI-based classification model with high accuracy is used.

한국공개특허공보 제10-2020-0084940호Korean Patent Publication No. 10-2020-0084940

본 발명은 상기와 같은 점을 감안하여 안출된 것으로서, 본 발명의 목적은 간단한 구조로 대상 과일을 다각도에서, 다양한 방향으로 촬영하고, 이를 기반으로 대상 과일을 분류할 수 있는 영상 기반의 과일 선별 장치를 제공하는데 그 목적이 있다.The present invention has been devised in consideration of the above points, and an object of the present invention is an image-based fruit sorting device capable of photographing a target fruit from various angles and in various directions with a simple structure and classifying the target fruit based on this. Its purpose is to provide

또한, 본 발명은 영상 기반으로 대상 과일을 분류하는데 있어, 인공지능 기반의 분류 모델을 이용하여, 보다 정확한 분류가 가능한 영상 기반의 과일 선별 장치를 제공하는데 또 다른 목적이 있다.In addition, another object of the present invention is to provide an image-based fruit sorting device capable of more accurate classification using an artificial intelligence-based classification model in classifying target fruits based on images.

본 발명의 목적은, 본 발명에 따라, 영상 기반의 과일 선별 장치에 있어서, 대상 과일을 가로 방향 양측 중 어느 한 방향으로 선택적으로 분류하는 과일 선별부와, 상기 과일 선별부의 과일 선별 과정을 제어하는 선별 프로세싱부를 포함하며; 상기 과일 선별부는 선별 프레임과, 상기 선별 프레임에 세로 방향을 축으로 회전 가능하게 설치되는 선별 회전 부재와, 상기 선별 회전 부재의 상부 측에 노출된 상태로, 상기 선별 회전 부재에 상기 가로 방향 또는 상기 세로 방향을 축으로 회전 가능하게 설치되고, 상기 대상 과일이 상부로부터 안착되는 한 쌍의 회전 롤러와, 한 쌍의 상기 회전 롤러에 안착된 상기 대상 과일이 분류되도록 상기 선별 회전 부재를 상기 가로 방향 양측 중 어느 한 방향으로 회전시키는 선별 회전 구동부와, 한 쌍의 상기 회전 롤러에 안착된 상기 대상 과일이 회전하도록 한 쌍의 상기 회전 롤러 중 적어도 하나를 회전시키는 롤러 구동부와, 한 쌍의 상기 회전 롤러의 회전에 따라 회전하는 상기 대상 과일을 촬영하는 적어도 하나의 카메라 모듈을 갖는 카메라 어셈블리를 포함하며; 상기 선별 프로세싱부는 상기 카메라 모듈에 의해 촬영된 영상에 기초하여, 상기 대상 과일이 분류되도록 상기 선별 회전 구동부를 제어하는 것을 특징으로 하는 영상 기반의 과일 선별 장치에 의해서 달성된다.An object of the present invention is to provide, in an image-based fruit sorting device according to the present invention, a fruit sorting unit that selectively classifies target fruits in one of both sides in a horizontal direction, and a fruit sorting unit that controls a fruit sorting process of the fruit sorting unit. Includes a selection processing unit; The fruit sorting unit includes a sorting frame, a sorting rotating member rotatably installed on the sorting frame in a vertical direction, and exposed to an upper portion of the sorting rotating member, and is connected to the sorting rotating member in the horizontal direction or the fruit sorting member. A pair of rotating rollers installed to be rotatable in a vertical direction and on which the target fruit is seated from the top, and the sorting rotation member so that the target fruit seated on the pair of rotating rollers is sorted, are provided on both sides in the horizontal direction. a sorting rotation drive unit for rotating in one direction, a roller drive unit for rotating at least one of the pair of rotation rollers so that the target fruit seated on the pair of rotation rollers rotates, and a pair of rotation rollers. a camera assembly having at least one camera module that photographs the rotating target fruit according to rotation; The sorting processing unit is achieved by an image-based fruit sorting device characterized in that it controls the sorting rotation driving unit so that the target fruit is classified based on the image captured by the camera module.

여기서, 한 쌍의 상기 회전 롤러는 상기 세로 방향을 축으로 회전 가능하게 상기 선별 회전 부재에 설치되며; 상기 대상 과일이 상부로부터 안착 가능하게 상기 가로 방향으로 상호 소정 간격 이격된 상태로 배열될 수 있다.Here, the pair of rotation rollers are installed on the sorting rotation member to be rotatable in the longitudinal direction; The target fruit may be arranged spaced apart from each other by a predetermined distance in the horizontal direction so as to be seated from the top.

또한, 각각의 상기 회전 롤러는 중앙 부분으로부터 상기 세로 방향 양측으로 테이퍼진 형상을 가질 수 있다.In addition, each of the rotating rollers may have a tapered shape from a central portion to both sides in the longitudinal direction.

그리고, 상기 선별 회전 부재는 상기 세로 방향으로 상호 이격되고, 각각 상기 선별 프레임에 회전 가능하게 결합되는 한 쌍의 회전 플레이트와, 상기 한 쌍의 회전 플레이트를 상호 연결하는 연결 플레이트를 포함하며; 한 쌍의 상기 회전 롤러는 한 쌍의 상기 회전 플레이트 사이에서 한 쌍의 상기 회전 플레이트에 양측이 각각 회전 가능하게 결합되되, 상기 연결 플레이트의 상부에 위치할 수 있다.And, the sorting rotation member includes a pair of rotation plates spaced apart from each other in the longitudinal direction and rotatably coupled to the sorting frame, and a connection plate interconnecting the pair of rotation plates; Both sides of the pair of rotation rollers are rotatably coupled to the pair of rotation plates between the pair of rotation plates, and may be positioned above the connection plate.

그리고, 상기 대상 과일을 상기 과일 선별부로 이송시켜 상기 대상 과일 하나씩이 한 쌍의 상기 회전 롤러에 안착시키는 과일 이송부와; 한 쌍의 상기 회전 롤러로 상기 대상 과일이 이동하는 것을 감지하는 이동 검출 센서를 더 포함할 수 있다.And, a fruit transfer unit for transferring the target fruit to the fruit sorting unit and seating each target fruit on the pair of rotation rollers; A movement detection sensor for detecting movement of the target fruit by the pair of rotating rollers may be further included.

그리고, 상기 과일 이송부는 상기 세로 방향으로 상기 대상 과일이 이송되는 제1 컨베이어부와, 상기 제1 컨베이어부로부터 이송되는 상기 대상 과일을 하나씩 상기 세로 방향으로 상기 과일 선별부 측으로 이송시켜 한 쌍의 상기 회전 롤러에 하나씩의 상기 대상 과일을 안착시키는 제2 컨베이어부를 포함하며; 상기 제2 컨베이어부는 하나씩의 상기 대상 과일이 안착 가능한 형태로 마련되고, 상기 세로 방향으로 소정 간격 이격된 상태로 배열된 복수의 과일 트레이를 포함할 수 있다.Further, the fruit transfer unit transfers a first conveyor unit through which the target fruit is transferred in the vertical direction, and the target fruit transferred from the first conveyor unit, one by one, in the vertical direction toward the fruit sorting unit, so that the pair of the a second conveyor unit for seating one of the target fruits on a rotating roller; The second conveyor unit may include a plurality of fruit trays provided in a form in which one target fruit can be seated and arranged at a predetermined interval in the vertical direction.

그리고, 상기 제2 컨베이어부는 상기 제1 컨베이어부로부터 일정 각도 경사지게 설치되며; 상기 제2 컨베이어부의 말단의 높이는 한 쌍의 상기 회전 롤러보다 높게 형성되어, 상기 제2 컨베이어부의 구동에 따라 상기 제2 컨베이어부의 말단에 위치하는 상기 과일 트레이 내의 상기 대상 과일이 상기 한 쌍의 회전 롤러로 낙하하여 안착될 수 있다.And, the second conveyor unit is installed inclined at a predetermined angle from the first conveyor unit; The height of the end of the second conveyor unit is higher than that of the pair of rotation rollers, so that the target fruit in the fruit tray located at the end of the second conveyor unit moves along the pair of rotation rollers according to the operation of the second conveyor unit. It can be dropped and settled.

그리고, 상기 이동 검출 센서는 상기 제2 컨베이어부의 말단에서 상기 대상 과일의 이동을 감지할 수 있다.The movement detection sensor may detect movement of the target fruit at an end of the second conveyor unit.

그리고, 상기 선별 프로세싱부는 상기 카메라 모듈에 의해 촬영된 영상을 입력받아 해당 대상 과일의 분류를 위한 추론 결과를 출력하는 인공 지능 기반의 분류 모델과; 상기 분류 모델의 추론 결과에 기초하여 해당 대상 과일이 분류되도록 상기 선별 회전 구동부를 제어하는 프로세싱 제어부를 포함할 수 있다.The sorting processing unit may include an artificial intelligence-based classification model that receives an image captured by the camera module and outputs an inference result for classifying the target fruit; A processing control unit controlling the sorting rotation driving unit to classify the corresponding target fruit based on the reasoning result of the classification model may be included.

그리고, 상기 분류 모델은 상기 대상 과일의 유형에 따라 구분되는 복수의 과일 유형별 분류 모델을 포함할 수 있다.The classification model may include a plurality of classification models for each type of fruit classified according to the type of the target fruit.

그리고, 각각의 상기 과일 유형별 분류 모델은 해당 대상 과일의 분류 기준 등급에 따라 구분되는 복수의 등급별 분류 모델을 포함하고; 상기 분류 기준 등급은 제1 등급으로부터 제N 등급으로 구분되며; 상기 등급별 분류 모델은 제1 등급과 그 외 등급으로 분류하기 위한 제1 등급 분류 모델로부터 제N-1 등급과 그 외 등급으로 분류하기 위한 제N-1 등급 분류 모델까지를 포함할 수 있다.And, each of the classification models for each type of fruit includes a plurality of classification models for each class classified according to the classification criterion level of the target fruit; The classification criterion level is divided into a first level and an N-th level; The classification models for each class may include from a first class classification model for classifying into a first class and other classes to an N-1 class classification model for classifying into an N-1 class and other classes.

그리고, 상기 카메라 모듈은 복수개로 구성되고, 한 쌍의 상기 회전 롤러의 상부에 상호 상이한 방향에서 상기 대상 과일을 촬영 가능하게 설치될 수 있다.In addition, the camera module may be composed of a plurality, and may be installed above the pair of rotating rollers to photograph the target fruit in mutually different directions.

그리고, 각각의 상기 카메라 모듈은 한 쌍의 상기 회전 롤러가 회전함에 따라 상기 대상 과일이 회전하는 동안 하나의 상기 대상 과일을 적어도 2 회 이상 촬영할 수 있다.Further, each of the camera modules may photograph one target fruit at least twice while the target fruit rotates as the pair of rotation rollers rotate.

그리고, 상기 분류 모델은 복수의 상기 카메라 모듈 각각에서 촬영된 적어도 2장 이상의 영상을 입력으로 하여, 해당 대상 과일의 분류를 위한 추론 결과를 출력할 수 있다.In addition, the classification model may output an inference result for classifying a corresponding target fruit by taking at least two or more images captured by each of the plurality of camera modules as an input.

본 발명에 따르면, 간단한 구조로 대상 과일을 다각도에서, 다양한 방향으로 촬영하고, 이를 기반으로 대상 과일을 분류할 수 있는 영상 기반의 과일 선별 장치가 제공된다.According to the present invention, an image-based fruit sorting device capable of photographing a target fruit from various angles and in various directions with a simple structure and classifying the target fruit based on this is provided.

또한, 영상 기반으로 대상 과일을 분류하는데 있어, 인공지능 기반의 분류 모델을 이용하여, 보다 정확한 분류가 가능한 영상 기반의 과일 선별 장치가 제공된다.In addition, in classifying a target fruit based on an image, an image-based fruit sorting device capable of more accurate classification using an artificial intelligence-based classification model is provided.

또한, 분류 모델이 대상 과일의 유형별, 및/또는 대상 과일의 등급별로 구분되어, 간단한 분류 구조를 통해서도 다양한 분류 작업이 가능한 영상 기반의 과일 선별 장치가 제공된다.In addition, an image-based fruit sorting device capable of performing various classification tasks through a simple classification structure is provided, in which classification models are classified according to types of target fruits and/or grades of target fruits.

도 1은 본 발명의 일 실시예에 따른 과일 선별 장치의 사시도이고,
도 2는 본 발명의 일 실시예에 따른 과일 선별 장치의 측면도이고,
도 3은 본 발명의 일 실시예에 따른 과일 선별 장치의 평면도이고,
도 4는 본 발명의 일 실시예에 따른 과일 선별 장치의 제어블록도이고,
도 5는 도 1의 A 영역을 확대한 도면이고,
도 6 및 도 7은 본 발명의 일 실시예에 따른 과일 선별부의 일부 분해 사시도이고,
도 8은 본 발명의 일 실시예에 따른 카메라 어셈블리의 사시도이고,
도 9는 본 발명의 일 실시예에 따른 카메라 어셈블리의 저면도이고,
도 10은 본 발명의 일 실시예에 따른 과일 선별 장치의 선별 프로세싱부의 구성의 예를 나타낸 도면이고,
도 11 및 도 12는 본 발명의 일 실시예에 따른 분류 모델의 종류, 학습 과정, 분류 과정을 설명하기 위한 도면이다.1 is a perspective view of a fruit sorting device according to an embodiment of the present invention;
2 is a side view of a fruit sorting device according to an embodiment of the present invention;
3 is a plan view of a fruit sorting device according to an embodiment of the present invention;
4 is a control block diagram of a fruit sorting device according to an embodiment of the present invention;
5 is an enlarged view of area A of FIG. 1;
6 and 7 are partially exploded perspective views of a fruit sorting unit according to an embodiment of the present invention;
8 is a perspective view of a camera assembly according to an embodiment of the present invention;
9 is a bottom view of a camera assembly according to an embodiment of the present invention;
10 is a diagram showing an example of the configuration of a sorting processing unit of a fruit sorting device according to an embodiment of the present invention;
11 and 12 are views for explaining a type of classification model, a learning process, and a classification process according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. Advantages and features of the present invention, and methods of achieving them, will become clear with reference to the detailed description of the following embodiments taken in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, only these embodiments are intended to complete the disclosure of the present invention, and are common in the art to which the present invention belongs. It is provided to fully inform the person skilled in the art of the scope of the invention, and the invention is only defined by the scope of the claims.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.Terminology used herein is for describing the embodiments and is not intended to limit the present invention. In this specification, singular forms also include plural forms unless specifically stated otherwise in a phrase. As used herein, "comprises" and/or "comprising" does not exclude the presence or addition of one or more other elements other than the recited elements. Like reference numerals throughout the specification refer to like elements, and “and/or” includes each and every combination of one or more of the recited elements. Although "first", "second", etc. are used to describe various components, these components are not limited by these terms, of course. These terms are only used to distinguish one component from another. Accordingly, it goes without saying that the first element mentioned below may also be the second element within the technical spirit of the present invention.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used with meanings commonly understood by those skilled in the art to which the present invention belongs. In addition, terms defined in commonly used dictionaries are not interpreted ideally or excessively unless explicitly specifically defined.

이하, 첨부 도면을 참조하여 본 발명에 대해 상세히 설명한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 과일 선별 장치(10)의 사시도이고, 도 2는 본 발명의 일 실시예에 따른 과일 선별 장치(10)의 측면도이고, 도 3은 본 발명의 일 실시예에 따른 과일 선별 장치(10)의 평면도이고, 도 4는 본 발명의 일 실시예에 따른 과일 선별 장치(10)의 제어블록도이다.1 is a perspective view of a fruit sorting device 10 according to an embodiment of the present invention, FIG. 2 is a side view of the fruit sorting device 10 according to an embodiment of the present invention, and FIG. 3 is an embodiment of the present invention. It is a plan view of the fruit sorting device 10 according to the example, and FIG. 4 is a control block diagram of the fruit sorting device 10 according to an embodiment of the present invention.

도 1 내지 도 4를 참조하여 설명하면, 본 발명의 일 실시예에 따른 영상 기반의 과일 선별 장치(10)는 과일 선별부(100) 및 선별 프로세싱부(200)를 포함할 수 있다.Referring to FIGS. 1 to 4 , the image-based fruit sorting apparatus 10 according to an embodiment of the present invention may include a fruit sorting unit 100 and a sorting processing unit 200.

본 발명의 실시예에 따른 과일 선별부(100)는 대상 과일(F)을 가로 방향(W) 양측 중 어느 한 방향을 선택적으로 분류한다. 그리고, 선별 프로세싱부(200)는 과일 선별부(100)의 과일 선별 과정을 제어한다. 즉, 본 발명의 실시예에 따른 선별 프로세싱부(200)는 과일 선별부(100)를 제어하여, 대상 과일(F)을 기 설정된 기준에 따라 두 분류로 분류하여 선별하게 된다.The fruit sorting unit 100 according to an embodiment of the present invention selectively sorts the target fruit F in either direction of both sides of the horizontal direction W. Also, the sorting processing unit 200 controls the fruit sorting process of the fruit sorting unit 100 . That is, the sorting processing unit 200 according to an embodiment of the present invention controls the fruit sorting unit 100 to classify the target fruit F into two categories according to a predetermined criterion and sort them.

또한, 본 발명의 실시예에 따른 과일 선별 장치(10)는 과일 이송부(300)를 더 포함하여 구성될 수 있다. 여기서, 과일 이송부(300)는 대상 과일(F)을 과일 선별부(100)로 이송시켜 대상 과일(F) 하나씩을 과일 선별부(100)로 이송시킨다. 본 발명의 실시예에 따른 과일 이송부(300)에 대한 상세한 설명은 후술한다.In addition, the fruit sorting device 10 according to the embodiment of the present invention may further include a fruit transfer unit 300 . Here, the fruit transfer unit 300 transfers the target fruit F to the fruit sorting unit 100 and transfers one target fruit F to the fruit sorting unit 100 . A detailed description of the fruit transfer unit 300 according to an embodiment of the present invention will be described later.

도 5는 도 1의 A 영역을 확대한 도면이다. 도 6 및 도 7은 본 발명의 일 실시예에 따른 과일 선별부(100)의 일부 분해 사시도이고, 도 8은 본 발명의 일 실시예에 따른 카메라 어셈블리(160)의 사시도이고, 도 9는 본 발명의 일 실시예에 따른 카메라 어셈블리(160)의 저면도이다.FIG. 5 is an enlarged view of area A of FIG. 1 . 6 and 7 are partially exploded perspective views of a fruit sorting unit 100 according to an embodiment of the present invention, FIG. 8 is a perspective view of a camera assembly 160 according to an embodiment of the present invention, and FIG. It is a bottom view of the camera assembly 160 according to one embodiment of the invention.

본 발명의 실시예에 따른 과일 선별부(100)는 선별 프레임(110), 선별 회전 부재(120), 한 쌍의 회전 롤러(130), 선별 회전 구동부(140), 롤러 구동부(150), 및 카메라 어셈블리(160)를 포함할 수 있다.The fruit sorting unit 100 according to an embodiment of the present invention includes a sorting frame 110, a sorting rotating member 120, a pair of rotating rollers 130, a sorting rotation driving unit 140, a roller driving unit 150, and A camera assembly 160 may be included.

본 발명의 실시예에 따른 선별 프레임(110)은 과일 선별부(100)를 구성하는 선별 회전 부재(120)와 카메라 어셈블리(160) 등의 구성요소를 지지한다. 여기서, 도 1 및 도 2에서는 카메라 어셈블리(160)를 지지하는 선별 프레임(110)이 도시되어 있지 않으나, 카메라 어셈블리(160)의 상부 측에서 카메라 어셈블리(160)를 지지하기 위한 선별 프레임(110)이 배치될 수 있음은 물론이다.The sorting frame 110 according to an embodiment of the present invention supports components such as the sorting rotation member 120 and the camera assembly 160 constituting the fruit sorting unit 100 . Here, in FIGS. 1 and 2, the selection frame 110 supporting the camera assembly 160 is not shown, but the selection frame 110 for supporting the camera assembly 160 on the upper side of the camera assembly 160 It goes without saying that this can be arranged.

일 예로, 가로, 세로 및 높이 방향(H)으로 빔 형태의 프레임이 상호 연결되어, 전체 지지 구조를 형성하는 메인 프레임을 구성하고, 메인 프레임의 일부가 카메라 어셈블리(160)를 지지하는 선별 프레임(110)으로 기능할 수 있다. 또는 메인 프레임에 카메라 어셈블리(160)를 지지하는 선별 프레임(110)이 고정된 상태로 카메라 어셈블리(160)를 지지하도록 구성될 수 있다.For example, beam-shaped frames are interconnected in the horizontal, vertical, and height directions (H) to form a main frame that forms the entire support structure, and a part of the main frame supports the camera assembly 160. The sorting frame ( 110) can function. Alternatively, the selection frame 110 supporting the camera assembly 160 may be configured to support the camera assembly 160 in a fixed state to the main frame.

그리고, 선별 회전 부재(120)를 지지하는 선별 프레임(110)은, 도 5 내지 도 7에 도시된 바와 같이, 메인 프레임에 설치 가능한 형태로 마련되어 선별 회전 부재(120)를 지지한다.In addition, the sorting frame 110 supporting the sorting rotation member 120 is provided in a form that can be installed on the main frame and supports the sorting rotation member 120, as shown in FIGS. 5 to 7 .

본 발명의 실시예에 따른 선별 회전 부재(120)는 선별 프레임(110)에 세로 방향(L)을 축으로 회전 가능하게 설치된다.The sorting rotation member 120 according to an embodiment of the present invention is rotatably installed in the sorting frame 110 in the vertical direction (L) as an axis.

그리고, 한 쌍의 회전 롤러(130)는 선별 회전 부재(120)의 상부 측에 노출된 상태로, 선별 회전 부재(120)에 가로 방향(W) 또는 세로 방향(L)을 축으로 회전 가능하게 설치된다. 본 발명의 실시예에서는 한 쌍의 롤러가 세로 방향(L)을 축으로 회전 가능하게 설치되는 것을 예로 하여 도시하고 있다.Then, the pair of rotating rollers 130 are exposed to the upper side of the sorting rotating member 120, and are rotatable in the horizontal direction (W) or the vertical direction (L) of the sorting rotating member 120 as an axis. installed In the embodiment of the present invention, it is shown as an example that a pair of rollers are rotatably installed about an axis in the longitudinal direction (L).

본 발명의 실시예에 따른 선별 회전 구동부(140)는 선별 회전 부재(120)를 세로 방향(L)을 축으로 정역 회전시킨다. 이를 통해, 한 쌍의 회전 롤러(130)에 대상 과일(F)이 안착되는 경우, 선별 프로세싱부(200)는 선별 회전 부재(120)가 선별 결과에 따라 가로 방향(W) 양측 중 어느 한 방향으로 회전하도록 선별 회전 구동부(140)를 제어함으로써, 대상 과일(F)을 양측으로 분류 가능하게 된다.Selection rotation driving unit 140 according to an embodiment of the present invention rotates the selection rotation member 120 forward and backward in the longitudinal direction (L) axis. Through this, when the target fruit F is seated on the pair of rotating rollers 130, the sorting processing unit 200 moves the sorting rotating member 120 in either direction of either side of the horizontal direction W according to the sorting result. By controlling the sorting rotation driving unit 140 to rotate, it is possible to sort the target fruit F into both sides.

본 발명의 실시예에 따른 한 쌍의 롤러 구동부(150)는 한 쌍의 회전 롤러(130)에 안착된 대상 과일(F)이 회전하도록 한 쌍의 회전 롤러(130) 중 적어도 하나를 회전시킨다. 본 발명의 실시예에서는 롤러 구동부(150)가 한 쌍의 회전 롤러(130) 중 하나에 축 연결되어, 하나의 회전 롤러(130)를 회전시키는 것을 예로 한다.The pair of roller driving units 150 according to the embodiment of the present invention rotates at least one of the pair of rotating rollers 130 so that the target fruit F seated on the pair of rotating rollers 130 rotates. In the embodiment of the present invention, it is exemplified that the roller driving unit 150 is shaft-connected to one of the pair of rotating rollers 130 to rotate one rotating roller 130 .

본 발명의 실시예에 따른 카메라 어셈블리(160)는 적어도 하나의 카메라 모듈(161)을 포함하여 구성될 수 있다. 본 발명의 실시예에서는 3개의 카메라 모듈(161)이 카메라 어셈블리(160)를 구성하는 것을 예로 하는데, 이에 대한 상세한 설명은 후술한다.The camera assembly 160 according to an embodiment of the present invention may include at least one camera module 161 . In the embodiment of the present invention, three camera modules 161 constitute the camera assembly 160 as an example, and a detailed description thereof will be described later.

본 발명에서는, 카메라 모듈(161)이 한 쌍의 회전 롤러(130)의 회전에 따라 회전하는 대상 과일(F)을 촬영함으로써, 대상 과일(F)을 다양한 방향에서 촬영 가능하게 되어, 후술할 선별 프로세싱부(200)가 카메라 모듈(161)에 의해 촬영된 영상에 기반하여 과일을 선별할 때, 보다 정확한 선별이 가능하게 된다.In the present invention, the camera module 161 photographs the target fruit F rotating according to the rotation of the pair of rotating rollers 130, thereby enabling the target fruit F to be photographed in various directions, which will be described later. When the processing unit 200 sorts fruits based on the image taken by the camera module 161, more accurate sorting is possible.

상기와 같은 구성에 따라, 앞서 설명한 바와 같이, 선별 프로세싱부(200)는 카메로 모듈에 의해 촬영된 영상에 기초하여, 대상 과일(F)이 분류되도록 선별 회전 구동부(140)를 제어함으로서, 대상 과일(F)이 선별 회전 부재(120)의 가로 방향(W) 양측 중 어느 하나에 선택적으로 분류 가능하게 된다.According to the configuration described above, as described above, the sorting processing unit 200 controls the sorting rotation driving unit 140 so that the target fruit F is classified based on the image captured by the camera module, Fruits F can be selectively sorted on either side of the horizontal direction W of the sorting rotation member 120 .

한편, 본 발명의 실시예에 따른 한 쌍의 회전 롤러(130)는 가로 방향(W)으로 상호 소정 간격 이격된 상태로 배열된다. 이를 통해, 대상 과일(F)이 한 쌍의 회전 롤러(130) 사이에 안정적으로 안착된 상태에서, 회전 롤러(130)의 회전에 따라 회전하면서 카메라 모듈(161)에 의해 촬영될 수 있다.Meanwhile, a pair of rotating rollers 130 according to an embodiment of the present invention are arranged spaced apart from each other at a predetermined interval in the horizontal direction (W). Through this, in a state where the target fruit F is stably seated between the pair of rotating rollers 130, it can be photographed by the camera module 161 while rotating according to the rotation of the rotating rollers 130.

또한, 본 발명에서는 각각의 회전 롤러(130)가 중앙 부분으로부터 세로 방향(L) 양측으로 테이퍼진 형상을 갖도록 구성되어, 대상 과일(F)이 보다 안정적으로 안착된 상태로 회전 가능하게 된다. 또한, 테이퍼진 형상에 따라, 선별 회전 부재(120)가 가로 방향(W) 양측 중 어느 한 방향으로 회전할 때, 해당 방향으로 회전 롤러(130)로부터 보다 용이하게 이탈이 가능하게 된다.In addition, in the present invention, each rotating roller 130 is configured to have a tapered shape from the central portion to both sides of the longitudinal direction L, so that the target fruit F can rotate in a more stable seated state. In addition, according to the tapered shape, when the sorting rotating member 120 rotates in either direction of both sides of the horizontal direction (W), it is possible to more easily separate from the rotating roller 130 in that direction.

여기서, 본 발명의 실시예에서는 선별 회전 부재(120)가 한 쌍의 회전 플레이트(121,122)와, 연결 플레이트(123)를 포함하는 것을 예로 한다.Here, in the embodiment of the present invention, it is exemplified that the selection rotation member 120 includes a pair of rotation plates 121 and 122 and a connection plate 123.

한 쌍의 회전 플레이트(121,122)는 각각 세로 방향(L)으로 상호 이격된 상태로, 선별 프레임(110)에 회전 가능하게 결합된다. 그리고, 연결 플레이트(123)는 한 쌍의 회전 플레이트(121,122)를 상호 연결한다.The pair of rotation plates 121 and 122 are rotatably coupled to the sorting frame 110 while being spaced apart from each other in the vertical direction L. Also, the connection plate 123 connects the pair of rotation plates 121 and 122 to each other.

여기서, 본 발명의 실시예에서는 연결 플레이트(123)가 한 쌍의 회전 플레이트(121,122)에 높이 방향(H)으로 중간 부분에서 한 쌍의 회전 플레이트(121,122)를 연결하고, 한 쌍의 회전 롤러(130)가 한 쌍의 회전 플레이트(121,122) 사이에서 연결 플레이트(123)의 상부에 위치하는 것을 예로 한다.Here, in the embodiment of the present invention, the connection plate 123 connects the pair of rotation plates 121 and 122 to the pair of rotation plates 121 and 122 in the middle portion in the height direction H, and the pair of rotation rollers ( 130) is positioned on top of the connection plate 123 between the pair of rotation plates 121 and 122 as an example.

그리고, 한 쌍의 회전 롤러(130)는 연결 플레이트(123)의 상부에서 각각 상호 이격된 한 쌍의 회전 플레이트(121,122)에 회전 가능하게 결합되는 것을 예로 한다.And, for example, the pair of rotation rollers 130 are rotatably coupled to a pair of rotation plates 121 and 122 spaced apart from each other at an upper portion of the connection plate 123 .

한편, 본 발명의 실시예에 따른 과일 선별부(100)는 제1 등급 이동부(171) 및 제2 등급 이동부(172)를 더 포함하여 구성될 수 있다.Meanwhile, the fruit sorting unit 100 according to the embodiment of the present invention may further include a first class moving unit 171 and a second class moving unit 172.

본 발명의 실시예에 따른 제1 등급 이동부(171) 및 제2 등급 이동부(172)는 과일 선별 부재의 가로 방향(W) 양측에 각각 배치된다. 이를 통해, 과일 선별 부재가 세로 방향(L) 양측 중 어느 일 방향으로 회전하여, 한 쌍의 회전 롤러(130)에 안착된 대상 과일(F)을 한 쌍의 회전 롤러(130)로부터 이탈시키게 되면, 이탈된 대상 과일(F)은 제1 등급 이동부(171) 및 제2 등급 이동부(172) 중 어느 하나를 따라 이동하게 된다.The first grade moving unit 171 and the second class moving unit 172 according to an embodiment of the present invention are disposed on both sides of the fruit sorting member in the horizontal direction W, respectively. Through this, when the fruit sorting member rotates in either direction of both sides of the vertical direction (L), the target fruit (F) seated on the pair of rotating rollers (130) is separated from the pair of rotating rollers (130). , the separated target fruit F moves along one of the first class moving unit 171 and the second class moving unit 172 .

여기서, 도면에 도시되지 않았으나, 제1 등급 이동부(171) 및 제2 등급 이동부(172)의 말단에는 제1 등급 이동부(171) 및 제2 등급 이동부(172)를 통해 이동하는 대상 과일(F)을 수집하기 위한 수집통이 배치될 수 있다.Here, although not shown in the figure, at the ends of the first class moving unit 171 and the second class moving unit 172, a subject moving through the first class moving unit 171 and the second class moving unit 172 A collection container for collecting the fruit F may be disposed.

한편, 본 발명의 실시에에 따른 카메라 어셈블리(160)는, 도 8 및 도 9에 도시된 바와 같이, 앞서 설명한 복수의 카메라 모듈(161), 카메라 브래킷(162)을 포함할 수 있다. 또한, 카메라 어셈블리(160)는 복수의 조명부(163,164)를 포함할 수 있다.Meanwhile, as shown in FIGS. 8 and 9 , the camera assembly 160 according to an embodiment of the present invention may include the plurality of camera modules 161 and the camera bracket 162 described above. In addition, the camera assembly 160 may include a plurality of lighting units 163 and 164 .

본 발명의 실시예에 따른 카메라 브래킷(162)은 복수의 카메라 모듈(161)이, 도 6에 도시된 바와 같이, 한 쌍의 회전 롤러(130)의 상부에 상호 상이한 방향에서 대상 과일(F)을 촬영 가능하게 각각의 카메라 모듈(161)을 지지한다.In the camera bracket 162 according to an embodiment of the present invention, a plurality of camera modules 161, as shown in FIG. 6, are placed on top of a pair of rotating rollers 130 in mutually different directions to target fruit F. Supports each camera module 161 to be able to shoot.

그리고, 각각의 카메라 모듈(161)은 한 쌍의 회전 롤러(130)가 회전함에 따라 대상 과일(F)이 회전하는 동안 하나의 대상 과일(F)에 대해 적어도 2회 이상 촬영하는 것을 예로 한다. 본 발명에서는 각각의 카메라 모듈(161)이 대상 과일(F)이 회전하는 동안 3회 촬영하여 각각 세장씩이 영상을 획득하여, 총 9장의 대상 과일(F)에 대한 영상이 촬영되는 것을 예로 한다.In addition, as an example, each camera module 161 photographs one target fruit F at least twice while the target fruit F rotates as the pair of rotating rollers 130 rotate. In the present invention, it is taken as an example that each camera module 161 takes three images while the target fruit F rotates and acquires three images each, so that a total of nine images of the target fruit F are captured. .

본 발명의 실시예에서는 복수의 카메라 모듈(161)이 다양한 각도에서 대상 과일(F)을 촬영할 수 있도록, 한 쌍의 회전 롤러(130) 상부에서 일정 각도로 이격 배치된 상태로 대상 과일(F)을 주시하며 촬영하는 것을 예로 한다.In the embodiment of the present invention, the plurality of camera modules 161 are spaced apart from the top of the pair of rotating rollers 130 at a certain angle so that the target fruit F can be photographed at various angles, and the target fruit F is captured. For example, watching and filming.

일 예로, 도 9에 도시된 바와 같이, 3개의 카메라 모듈(161)이 각각 120ㅀ 간격으로 대상 과일(F)을 중심으로 방사상으로 배치되도록 카메라 브래킷(162)에 설치될 수 있다.For example, as shown in FIG. 9 , three camera modules 161 may be installed on the camera bracket 162 so as to be radially arranged around the target fruit F at 120° intervals.

여기서, 복수의 조명부(163,164)는 각각의 카메라 모듈(161) 인근에 배치되는 3개의 제1 카메라 모듈(161)과, 대상 과일(F)의 상부 측에 위치하는 제2 카메라 모듈(161)을 포함하는 것을 예로 한다.Here, the plurality of lighting units 163 and 164 include three first camera modules 161 disposed near each camera module 161 and a second camera module 161 located on the upper side of the target fruit F. Including is an example.

본 발명의 실시예에 따른 제1 조명부(163) 및 제2 조명부(164)는 대상 과일(F)에 광이 집중되지 않고 간접광 형태로 조사되도록, 전면에 확산판과 같은 광을 확산하는 시트가 배치되는 것을 예로 한다.The first lighting unit 163 and the second lighting unit 164 according to an embodiment of the present invention diffuse light such as a diffusion plate on the front surface of the sheet so that the light is not concentrated on the target fruit F and is irradiated in the form of indirect light. For example, it is arranged.

다시, 도 1 내지 도 3을 참조하여 설명하면, 본 발명의 실시예에 따른 과일 이송부(300)는 제1 컨베이어부(320) 및 제2 컨베이어부(310)를 포함하여 구성될 수 있다.Again, referring to FIGS. 1 to 3 , the fruit transfer unit 300 according to an embodiment of the present invention may include a first conveyor unit 320 and a second conveyor unit 310 .

본 발명의 실시예에 따른 제1 컨베이어부(320)는 세로 방향(L)으로 대상 과일(F)을 이송한다. 그리고, 제2 컨베이어부(310)는 제1 컨베이어부(320)로부터 이송되는 대상 과일(F)을 하나씩 세로 방향(L)으로 과일 선별부(100) 측으로 이송시켜 한 쌍의 회전 롤러(130)에 하나씩의 대상 과일(F)을 안착시킨다.The first conveyor unit 320 according to the embodiment of the present invention transports the target fruit F in the vertical direction L. In addition, the second conveyor unit 310 transfers the target fruits F transferred from the first conveyor unit 320 one by one in the vertical direction L to the side of the fruit sorting unit 100 so that the pair of rotating rollers 130 Place one target fruit (F) on

여기서, 제2 컨베이어부(310)는, 도 5에 도시된 바와 같이, 하나씩의 대상 과일(F)이 안착 가능한 형태로 마련되고, 세로 방향(L)으로 소정 간격 이격된 상태로 배열되는 복수의 과일 트레이(311)를 포함하는 것을 예로 한다. 본 발명에서는, 도 5에 도시된 바와 같이, 인접한 한 쌍씩의 과일 트레이(311)가 하나의 대상 과일(F)을 이동시키도록 반원 형태의 함몰부가 형성되어, 하나의 대상 과일(F)이 인접한 한 쌍의 과일 트레이(311)에 안착된 상태로 이동하는 것을 에로 한다.Here, the second conveyor unit 310, as shown in FIG. 5, is provided in a form in which one target fruit F can be seated and is arranged at a predetermined interval in the vertical direction L. For example, including a fruit tray 311 . In the present invention, as shown in FIG. 5 , a semicircular depression is formed so that a pair of adjacent fruit trays 311 move one target fruit F, so that one target fruit F is adjacent to each other. It is erotic to move while seated on a pair of fruit trays 311.

또한, 본 발명의 실시예에 따른 제2 컨베이어부(310)는, 도 2에 도시된 바와 같이, 제1 컨베이어부(320)로부터 일정 각도 경사지게 설치되어, 대상 과일(F)을 이동시키는 것을 예로 한다.In addition, as shown in FIG. 2 , the second conveyor unit 310 according to the embodiment of the present invention is installed at an angle inclined from the first conveyor unit 320 to move the target fruit F as an example. do.

그리고, 제2 컨베이어부(310)의 말단은 도 2 및 도 5에 도시된 바와 같이, 그 높이가 한 쌍의 회전 롤러(130)보다 높게 형성되는 것을 예로 한다. 이를 통해, 제2 컨베이어부(310)의 구동에 따라 제2 컨베이어부(310)의 말단에 위치하는 과일 트레이(311) 내의 대상 과일(F)이 한 쌍의 회전 롤러(130)로 낙하하여 한 쌍의 회전 롤러(130)에 안착되는 것을 예로 한다.And, as shown in FIGS. 2 and 5 , the end of the second conveyor unit 310 is formed higher than the pair of rotating rollers 130 as an example. Through this, according to the driving of the second conveyor unit 310, the target fruit F in the fruit tray 311 located at the end of the second conveyor unit 310 falls to the pair of rotating rollers 130, For example, it is seated on a pair of rotating rollers 130 .

여기서, 본 발명의 실시예에 따른 과일 선별 장치(10)는 한 쌍의 회전 롤러(130)로 대상 과일(F)이 이동하는 것을 감지하는 이동 검출 센서(400)를 더 포함하여 구성될 수 있다.Here, the fruit sorting device 10 according to the embodiment of the present invention may further include a movement detection sensor 400 for detecting the movement of the target fruit F by a pair of rotating rollers 130. .

본 발명의 실시예에서는 이동 검출 센서(400)가 제2 컨베이어부(310)의 말단에서 대상 과일(F)이 이동하는 것을 감지하는 것을 예로 한다. 즉, 대상 과일(F)은 이동 검출 센서(400)에 의해 감지된 후, 한 쌍의 회전 롤러(130)로 낙하하게 된다. 본 발명의 실시예에서는 이동 검출 센서(400)는 적외선 센서 등이 적용되는 것을 예로 한다.In the embodiment of the present invention, it is exemplified that the movement detection sensor 400 detects the movement of the target fruit F at the end of the second conveyor unit 310 . That is, after the target fruit F is detected by the movement detection sensor 400, it falls onto the pair of rotating rollers 130. In an embodiment of the present invention, it is assumed that an infrared sensor or the like is applied as the movement detection sensor 400 .

본 발명의 실시예에 따른 선별 프로세싱부(200)는, 도 4에 도시된 바와 같이, 제1 컨베이어부(320)를 회전시키는 제1 컨베이어 구동부(312)와, 제1 컨베이어부(320)를 회전시키는 제2 컨베이어 구동부(322)를 제어하여, 제1 컨베이어부(320) 및 제2 컨베이어부(310)를 통해 대상 과일(F)을 과일 선별부(100)로 이송시키게 된다.As shown in FIG. 4, the sorting processing unit 200 according to an embodiment of the present invention includes a first conveyor driving unit 312 for rotating the first conveyor unit 320 and the first conveyor unit 320. By controlling the rotating second conveyor driving unit 322, the target fruit F is transferred to the fruit sorting unit 100 through the first conveyor unit 320 and the second conveyor unit 310.

도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 제1 컨베이어부(320)와 제2 컨베이어부(310)가 지면으로부터 상부에 위치하는 것을 예로 한다. 이 경우, 작업자가 대상 과일(F)을 제1 컨베이어부(320)에 올려놓을 수 있다. 다른 예로, 과일 이송부(300)가 제3 컨베이어부를 더 포함하여 구성되고, 제3 컨베이어부가 지면으로부터 경사지게 제2 컨베이어부(310)와 연결된 상태로, 작업자가 지면에 놓인 과일 상자로부터 대상 과일(F)을 제3 컨베이어부에 올려 놓아 이송되도록 구성될 수도 있다.As shown in FIG. 2 , it is taken as an example that the first conveyor unit 320 and the second conveyor unit 310 according to the embodiment of the present invention are positioned above the ground. In this case, a worker may place the target fruit F on the first conveyor unit 320 . As another example, the fruit transfer unit 300 further includes a third conveyor unit, and in a state in which the third conveyor unit is connected to the second conveyor unit 310 at an angle from the ground, the operator removes the target fruit F from a fruit box placed on the ground. ) may be configured to be transferred by putting it on the third conveyor unit.

상기와 같은 구성에 따라, 본 발명의 실시예에 따른 과일 선별 장치(10)의 선별 과정에 대해 상세히 설명한다.According to the configuration as described above, the sorting process of the fruit sorting device 10 according to the embodiment of the present invention will be described in detail.

먼저, 대상 과일(F)들이 제1 컨베이어부(320) 위에 놓여진 상태에서, 선별 프로세싱부(200)는 대상 과일(F)의 분류를 위해 제1 컨베이어 구동부(312) 및 제2 컨베이어 구동부(322)를 제어하여, 대상 과일(F)들이 제1 컨베이어부(320)를 거쳐 제2 컨베이어부(310)로 이송되도록 제??나다.First, in a state where the target fruits F are placed on the first conveyor unit 320, the sorting processing unit 200 uses the first conveyor driving unit 312 and the second conveyor driving unit 322 to classify the target fruit F. ) is controlled so that the target fruits F are transferred to the second conveyor unit 310 via the first conveyor unit 320.

그리고, 제2 컨베이어부(310)의 한 쌍의 과일 트레이(311)에 놓여진 대상 과일(F)이 제2 컨베이어부(310)의 말단으로 이동하여 이동 검출 센서(400)에 의해 감지되면, 선별 프로세싱부(200)는 대상 과일(F)이 낙하할 때까지 제2 컨베이어 구동부(322)를 구동시킨 후, 제2 컨베이어 구동부(322)를 정지시킨다. 여기서, 대상 과일(F)이 낙하하는지 여부는 이동 검출 센서(400)의 설치 위치와, 제2 컨베이어 구동부(322)의 회전 속도 등을 고려하여 설정되는 시간을 통해 인식 가능하다. 여기서, 선별 프로세싱부(200)는 대상 과일(F)의 낙하가 인식되는 경우, 제1 컨베이어 구동부(312)의 구동도 정지시킬 수 있다.Then, when the target fruit F placed on the pair of fruit trays 311 of the second conveyor unit 310 moves to the end of the second conveyor unit 310 and is detected by the movement detection sensor 400, sorting The processing unit 200 drives the second conveyor driving unit 322 until the target fruit F falls, and then stops the second conveyor driving unit 322 . Here, whether or not the target fruit F falls can be recognized through a set time considering the installation position of the movement detection sensor 400 and the rotational speed of the second conveyor driving unit 322 . Here, the sorting processing unit 200 may also stop driving the first conveyor driving unit 312 when the fall of the target fruit F is recognized.

선별 프로세싱부(200)가 대상 과일(F)이 낙하여 한 쌍의 회전 롤러(130)에 안착된 것으로 인식되면, 롤러 구동부(150)를 회전시켜 한 쌍의 회전 롤러(130)에 안착된 대상 과일(F)이 회전하도록 한다.When the sorting processing unit 200 recognizes that the target fruit F has fallen and is seated on the pair of rotating rollers 130, the roller driving unit 150 is rotated to rotate the object seated on the pair of rotating rollers 130. Let the fruit (F) rotate.

그리고, 대상 과일(F)이 회전하는 동안, 선별 프로세싱부(200)는 카메라 모듈(161)이 기 설정된 횟수, 예컨대 전술한 바와 같이, 3회씩 대상 과일(F)을 촬영하도록 제어하게 된다.Then, while the target fruit F rotates, the selection processing unit 200 controls the camera module 161 to photograph the target fruit F a preset number of times, for example, three times as described above.

그런 다음, 선별 프로세싱부(200)는 각각의 카메라 모듈(161)에 의해 촬영된 영상을 수신하고, 이를 기반으로 현재 한 쌍의 회전 롤러(130)에 안착된 대상 과일(F)을 판독하여 분류 결과를 도출한다.Then, the sorting processing unit 200 receives the images taken by each camera module 161, and based on this, reads and classifies the target fruit F currently seated on the pair of rotating rollers 130. To derive the results.

그리고, 선별 프로세싱부(200)는 분류 결과에 기반하여, 선별 회전 구동부(140)가 가로 방향(W) 양측 중 어느 일 방향으로 회전하도록 제어하여, 한 쌍의 회전 롤러(130)에 안착된 대상 과일(F)을 어느 일측을 분류하게 된다. 여기서, 선별 프로세싱부(200)는 카메라 모듈(161)에 의한 촬영이 완료된 후 롤러 구동부(150)의 구동을 정지시킬 수 있다.Then, the sorting processing unit 200 controls the sorting rotation driving unit 140 to rotate in either direction of both sides of the horizontal direction (W) based on the classification result, so that the object seated on the pair of rotating rollers 130 One side of the fruit (F) is classified. Here, the selection processing unit 200 may stop the driving of the roller driving unit 150 after the photographing by the camera module 161 is completed.

상기와 같이 하나의 대상 과일(F)에 대한 선별이 완료되면, 앞서 설명한 과정을 반복적으로 수행하여, 전체 대상 과일(F)에 대한 선별 과정을 완료하게 된다.When the selection of one target fruit (F) is completed as described above, the process described above is repeatedly performed to complete the selection process for all target fruits (F).

도 10은 본 발명의 실시예에 따른 과일 선별 장치(10)의 선별 프로세싱부(200)의 구성의 예를 나타낸 도면이다.10 is a diagram showing an example of the configuration of the sorting processing unit 200 of the fruit sorting device 10 according to an embodiment of the present invention.

도 10을 참조하여 설명하면, 본 발명의 실시예에 따른 선별 프로세싱부(200)는 분류 모델(210) 및 프로세싱 제어부(220)를 포함할 수 있다. 또한, 선별 프로세싱부(200)는 선별 통신부(240), 영상 디스플레이부(230), 데이터 저장부(260) 및 사용자 입력부(250)를 더 포함하여 구성될 수 있다.Referring to FIG. 10 , the selection processing unit 200 according to an embodiment of the present invention may include a classification model 210 and a processing control unit 220 . In addition, the selection processing unit 200 may further include a selection communication unit 240, an image display unit 230, a data storage unit 260, and a user input unit 250.

사용자 입력부(250)는 작업자의 조작에 따라 다양한 입력, 예를 들어, 분류 작업 개시 등의 입력 신호를 입력받는다. 여기서, 사용자 입력부(250)는 마우스, 키보드 형태로 마련될 수 있고, 영상 디스플레이부(230)와 화면 터치를 통해 입력되는 터치 입력부를 포함할 수 있다.The user input unit 250 receives various inputs, for example, an input signal such as start of a sorting operation, according to an operator's manipulation. Here, the user input unit 250 may be provided in the form of a mouse or keyboard, and may include an image display unit 230 and a touch input unit that is input through a screen touch.

데이터 저장부(260)는 카메라 모듈(161)에 의해 촬영된 영상이 저장될 수 있다. 여기서, 데이터 저장부(260)에 의해 저장된 대상 과일(F)에 대한 영상은 추후 전문가나 작업자의 레이블링 과정을 거친 후, 분류 모델(210)의 재학습 등에 사용될 수 있다.The data storage unit 260 may store images captured by the camera module 161 . Here, the image of the target fruit F stored by the data storage unit 260 may be used for re-learning of the classification model 210 after a labeling process by an expert or operator later.

선별 통신부(240)는 선별 프로세싱부(200) 외부와 통신한다. 본 발명의 실시예에서는 선별 통신부(240)가 내부 통신부(241) 및 외부 통신부(242)를 포함하는 것을 예로 한다.The selection communication unit 240 communicates with the outside of the selection processing unit 200 . In an embodiment of the present invention, it is exemplified that the selection communication unit 240 includes an internal communication unit 241 and an external communication unit 242 .

내부 통신부(241)는 본 발명의 실시예에 따른 과일 선별 장치(10)를 구성하는 구성 요소들과의 통신을 수행한다. 예를 들어 내부 통신부(241)는 선별 회전 구동부(140), 롤러 구동부(150), 제1 컨베이어 구동부(312), 제2 컨베이어 구동부(322), 카메라 모듈(161)과의 통신을 수행한다.The internal communication unit 241 communicates with components constituting the fruit sorting device 10 according to the embodiment of the present invention. For example, the internal communication unit 241 communicates with the sorting rotation driving unit 140, the roller driving unit 150, the first conveyor driving unit 312, the second conveyor driving unit 322, and the camera module 161.

외부 통신부(242)는 본 발명의 실시예에 따른 과일 선별 장치(10)의 외부 디바이스와 통신할 수 있다. 예를 들어, 관리자의 휴대용 디바이스에 설치된 관리 앱과의 통신을 수행하거나, 본 발명의 실시예에 따른 과일 선별 장치(10)를 지원하는 과일 선별 지원 서버(미도시)와의 통신을 수행할 수 있다.The external communication unit 242 may communicate with an external device of the fruit sorting apparatus 10 according to an embodiment of the present invention. For example, it is possible to perform communication with a management app installed on a manager's portable device or to perform communication with a fruit sorting support server (not shown) that supports the fruit sorting apparatus 10 according to an embodiment of the present invention. .

본 발명의 실시예에서는 내부 통신부(241)와 외부 통신부(242)가 구분되는 것으로 설명하고 있으나, 동일한 통신 방식을 통해 내부 및 외부와의 통신이 수행되도록 구성될 수 있음은 물론이다.In the embodiment of the present invention, the internal communication unit 241 and the external communication unit 242 are described as being separated, but it can be configured to perform internal and external communication through the same communication method, of course.

본 발명의 실시예에 따른 분류 모델(210)은 카메라 모듈(161)에 의해 촬영된 영상을 입력받아 해당 대상 과일(F)의 분류를 위한 추론 결과를 출력한다. 본 발명의 실시예에서는 분류 모델(210)이 딥러닝(Deep learning)과 같은 인공지능 기반의 추론을 통해 대상 과일(F)을 분류하는 것을 예로 한다.The classification model 210 according to an embodiment of the present invention receives an image captured by the camera module 161 and outputs an inference result for classifying the target fruit F. In an embodiment of the present invention, it is exemplified that the classification model 210 classifies the target fruit F through artificial intelligence-based reasoning such as deep learning.

본 발명의 실시예에 따른 프로세싱 제어부(220)는 앞서 설명한 바와 같이, 영상 기반의 과일 선별 장치(10)의 전체 동작을 제어한다. 특히, 프로세싱 제어부(220)는 분류 모델(210)의 추론 결과에 기초하여 해당 대상 과일(F)이 분류되도록 선별 회전 구동부(140)를 제어하게 된다.As described above, the processing controller 220 according to an embodiment of the present invention controls the entire operation of the image-based fruit sorting device 10 . In particular, the processing control unit 220 controls the sorting rotation driving unit 140 to classify the target fruit F based on the reasoning result of the classification model 210 .

여기서, 본 발명의 실시예에 따른 분류 모델(210)은 대상 과일(F)의 유형에 따라 분류되는 복수의 유형별 분류 모델(211a,211b)을 포함할 수 있다. 예를 들어, 사과를 분류하기 위한 제1 과일 분류 모델(211a), 배를 분류하기 위한 제L 과일 분류 모델(211b)을 포함할 수 있다.Here, the classification model 210 according to an embodiment of the present invention may include a plurality of classification models 211a and 211b classified according to the type of the target fruit F. For example, a first fruit classification model 211a for classifying apples and an Lth fruit classification model 211b for classifying pears may be included.

즉, 하나의 과일 선별 장치(10)를 이용하여, 다양한 유형의 대상 과일(F)에 대한 분류 모델(210)들을 개별적으로 등록시켜, 대상 과일(F)의 유형에 따라 해당 분류 모델(210)을 이용함으로써, 대상 과일(F)의 유형에 따라 선별을 위한 별도의 장치를 구입하지 않아도 무방하여, 비용을 최소화시킬 수 있다.That is, by using one fruit sorting device 10, classification models 210 for various types of target fruits F are individually registered, and corresponding classification models 210 according to the types of target fruits F By using, it is possible to minimize the cost without purchasing a separate device for sorting according to the type of target fruit (F).

또한, 본 발명의 실시예에서는 각각의 과일 유형별 분류 모델(211a,211b)이 해당 대상 과일(F)의 분류 기준 등급에 따라 구분되는 복수의 등급별 분류 모델(211a1,211a2,211a3,211b1,211b2,211b3)을 포함할 수 있다.In addition, in the embodiment of the present invention, each of the classification models 211a and 211b for each fruit type is classified according to the classification criterion level of the corresponding target fruit F. 211b3).

도 10에서는 제1 과일 분류 모델(211a)이 제1 등급 분류 모델(211a1) 제2 등급 분류 모델(211a2), 제N-1 등급 분류 모델(211a3)을 포함하여 대상 과일(F)의 분류 기준 등급에 따라 N-1 개의 등급별 분류 모델(211a1,211a2,211a3)을 포함하는 것을 예로 하고 있다. 이 때, 제1 과일 분류 모델(211a)에 해당하는 대상 과일(F)의 분류 기준 등급은 N 등급으로 구분된다.In FIG. 10 , the first fruit classification model 211a includes the first classification model 211a1, the second classification model 211a2, and the N-1th classification model 211a3 to classify the target fruit F. It is exemplified that N-1 class classification models 211a1, 211a2, and 211a3 are included according to the class. At this time, the classification standard grade of the target fruit F corresponding to the first fruit classification model 211a is classified as N grade.

그리고, 제2 과일 분류 모델(210)이 제1 등급 분류 모델(211b1) 제2 등급 분류 모델(211b2), 제M-1 등급 분류 모델(211b3)을 포함하여 대상 과일(F)의 분류 기준 등급에 따라 M-1 개의 등급별 분류 모델(211b1,211b2,211b3)을 포함하는 것을 예로 하고 있다. 이 때, 제2 과일 분류 모델(210)에 해당하는 대상 과일(F)의 분류 기준 등급은 M 등급으로 구분된다.In addition, the second fruit classification model 210 includes the first classification model 211b1, the second classification model 211b2, and the M-1st classification model 211b3, and the classification standard grade of the target fruit F. It is exemplified to include M-1 class classification models 211b1 , 211b2 , and 211b3 according to . At this time, the classification standard grade of the target fruit F corresponding to the second fruit classification model 210 is classified as M grade.

도 11을 참조하여 설명하면, 도 11에 도시된 예에서는 대상 과질의 분류 기준 등급이 4 등급을 구분되고, 등급별 분류 모델(211a1,211a2,211a3)이 3개, 즉 제1 등급 분류 모델(211a1), 제2 등급 분류 모델(211a2), 및 제3 등급 분류 모델(211a3)로 구분되는 것을 예로 한다.Referring to FIG. 11, in the example shown in FIG. 11, the classification standard grade of the target fruit quality is divided into 4 grades, and there are three classification models 211a1, 211a2, and 211a3 for each grade, that is, the first grade classification model 211a1 ), a second classification model 211a2, and a third classification model 211a3.

그리고, 등급별 분류 모델(211a1,211a2,211a3)의 학습을 위한 학습 데이터는 다음과 같이 구분된다.In addition, learning data for learning the classification models 211a1 , 211a2 , and 211a3 for each grade are classified as follows.

○ : 제1 등급에 해당하는 대상 과일(F)에 대한 영상들○: Images of the target fruit (F) corresponding to the first grade

◎ : 제2 등급에 해당하는 대상 과일(F)에 대한 영상들◎: Images of target fruits (F) corresponding to the second grade

⊙ : 제3 등급에 해당하는 대상 과일(F)에 대한 영상들⊙ : Images of target fruits (F) corresponding to the 3rd grade

● : 제4 등급에 해당하는 대상 과일(F)에 대한 영상들● : Images of the target fruit (F) corresponding to the 4th grade

상기와 같은 학습 데이터에 해당하는 영상들 각각에는 해당 등급이 레이블링된다.Each of the images corresponding to the above training data is labeled with a corresponding grade.

상기와 같이, 학습 데이터가 수집되면, 제1 등급 분류 모델(211a1)은 제1 등급의 대상 과일(F)을 분류하기 위해 학습된다. 도 11에 도시된 바와 같이, 제1 등급에 해당하는 대상 과일(F)에 대한 영상이 예컨대, 정(T)으로, 나머지 등급, 즉 제2 등급, 제3 등급, 제4 등급에 해당하는 대상 과일(F)에 대한 영상이 예컨대, 부(F)로 하는 입력 데이터로 입력되고, 정(T)에 해당하는 제1 등급의 영상을 출력으로 하도록 학습된다.As described above, when learning data is collected, the first class classification model 211a1 is trained to classify the target fruit F of the first class. As shown in FIG. 11, the image of the target fruit F corresponding to the first grade is, for example, positive (T), and the remaining grades, that is, objects corresponding to the second, third, and fourth grades. An image of fruit (F) is input as input data, for example negative (F), and it is learned to output a first-class image corresponding to positive (T).

따라서, 제1 등급 분류 모델(211a1)을 이용하여 과일 선별 장치(10)가 동작하게 되면, 대상 과일(F)이, 제1 등급과 나머지 등급으로 분류된다.Accordingly, when the fruit sorting device 10 operates using the first grade classification model 211a1, the target fruit F is classified into the first grade and the remaining grades.

제2 등급 분류 모델(211a2)은 제1 등급과 제2 등급의 대상 과일(F)을 분류하기 위해 학습된다. 도 11에 도시된 바와 같이, 제1 등급 및 제2 등급에 해당하는 대상 과일(F)에 대한 영상이 정(T)으로, 나머지 등급, 즉 제3 등급, 제4 등급에 해당하는 대상 과일(F)에 대한 영상이 부(F)로 하는 입력 데이터로 입력되고, 정(T)에 해당하는 제1 등급 및 제2 등급의 영상을 출력으로 하도록 학습된다.The second class classification model 211a2 is trained to classify target fruits F of first class and second class. As shown in FIG. 11, the image of the target fruit F corresponding to the first and second grades is positive (T), and the remaining grades, that is, the target fruit corresponding to the third and fourth grades ( An image for F) is input as input data to be negative (F), and it is learned to output images of the first and second grades corresponding to positive (T).

따라서, 제2 등급 분류 모델(211a2)을 이용하여 과일 선별 장치(10)가 동작하게 되면, 대상 과일(F)이, 제1 등급 및 제2 등급이 하나로, 나머지 제3 등급 및 제4 등급이 다른 하나로 분류될 수 있다.Therefore, when the fruit sorting device 10 operates using the second class classification model 211a2, the target fruit F has one first class and a second class, and the remaining third and fourth classes. can be classified as different.

마찬가지로, 제3 등급 분류 모델(211a3)은 제1 등급, 제2 등급 및 제3 등급의 대상 과일(F)을 분류하기 위해 학습된다. 도 11에 도시된 바와 같이, 제1 등급, 제2 등급, 제3 등급에 해당하는 대상 과일(F)에 대한 영상이 정(T)으로, 나머지 등급인 제4 등급에 해당하는 대상 과일(F)에 대한 영상이 부(F)로 하는 입력 데이터로 입력되고, 정(T)에 해당하는 제1 등급, 제2 등급, 및 제3 등급의 영상을 출력으로 하도록 학습된다.Similarly, the third class classification model 211a3 is trained to classify the target fruit F of the first class, the second class, and the third class. As shown in FIG. 11, the image of the target fruit (F) corresponding to the first, second, and third grades is positive (T), and the target fruit (F) corresponding to the fourth grade, the remaining grades ) is input as input data for negative (F), and it is learned to output images of the first, second, and third grades corresponding to positive (T).

따라서, 제3 등급 분류 모델(211a3)을 이용하여 과일 선별 장치(10)가 동작하게 되면, 대상 과일(F)이, 제1 등급, 제2 등급, 및 제3 등급이 하나로, 나머지 제4 등급이 다른 하나로 분류될 수 있다.Therefore, when the fruit sorting device 10 is operated using the third grade classification model 211a3, the target fruit F is composed of one first grade, second grade, and third grade, and the remaining fourth grade. These can be classified as different.

상기와 같이, 대상 과일(F)에 대한 분류 모델(210)이 제1 등급 분류 모델(211a1), 제2 등급 분류 모델(211a2), 그리고 제3 등급 분류 모델(211a3)로 구분된 상황에서, 본 발명의 실시예에 대한 과일 선별 장치(10)를 이용하여 대상 과일(F)을 분류하는 다양한 방법에 대해, 도 12를 참조하여 설명한다.As described above, in a situation where the classification model 210 for the target fruit F is divided into the first classification model 211a1, the second classification model 211a2, and the third classification model 211a3, Various methods of classifying the target fruit F using the fruit sorting device 10 according to the embodiment of the present invention will be described with reference to FIG. 12 .

일 실시예로, 대상 과일(F)들을 제1 등급, 제2 등급, 제3 등급, 제4 등급, 즉 각 등급별로 분로하고자 할 때, 먼저, 제1 등급 분류 모델(211a1)을 이용하게 되면, 전체 대상 과일(F) 중, 도 12의 (a)에 도시된 바와 같이, 제1 등급에 해당하는 대상 과일(F)이 선별될 수 있다.As an embodiment, when trying to shunt the target fruits F according to the first, second, third, and fourth grades, that is, each grade, first, when the first grade classification model 211a1 is used , as shown in (a) of FIG. 12 , among all target fruits F, target fruits F corresponding to the first grade may be selected.

그런 다음, 제1 등급 분류 모델(211a1)을 통해 제1 등급이 아닌 것으로 분류된 나머지 대상 과일(F)을 제2 등급 분류 모델(211a2)을 통해 분류하게 되면, 도 12의 (b)에 도시된 바와 같이, 제2 등급에 해당하는 대상 과일(F)이 선별될 수 있다.Then, when the remaining target fruits (F) classified as non-first grade through the first grade classification model 211a1 are classified through the second grade classification model 211a2, shown in FIG. 12(b). As described above, the target fruit F corresponding to the second grade may be selected.

그리고, 제2 등급 분류 모델(211a2)을 통해 제2 등급이 아닌 것으로 분류된 나머지 대상 과일(F), 즉 전체 대상 과일(F)에서 제1 등급 및 제2 등급에 해당하는 대상 과일(F)이 이미 선별된 나머지 대상 과일(F)을 제3 등급 분류 모델(211a33)을 통해 분류하게 되면, 도 12의 (c)에 도시된 바와 같이, 제3 등급과 제4 등급으로 분류되어 최종적으로, 대상 과일(F)들이 제1 등급, 제2 등급, 제3 등급 및 제4 등급으로 분류 가능하게 된다.And, the remaining target fruits F classified as non-second grade through the second grade classification model 211a2, that is, target fruits F corresponding to the first and second grades among all target fruits F When the remaining target fruit F already selected is classified through the third class classification model 211a33, as shown in FIG. 12(c), it is classified into the third class and the fourth class, and finally, Target fruits F can be classified into first, second, third, and fourth grades.

다른 실시예로, 제2 등급 이상의 대상 과일(F)을 분류하고자 할 때, 즉, 전제 대상 과일(F) 중에, 제1 등급과 제2 등급에 해당하는 대상 과일(F) 만을 분류하고자 할 때에는 전체 대상 과일(F)을 제2 등급 분류 모델(211a2)을 통해 분류하게 되면, 이를 구현할 수 있게 된다.In another embodiment, when trying to classify target fruits (F) of the second grade or higher, that is, when trying to classify only target fruits (F) corresponding to the first and second grades among all target fruits (F) If all target fruits F are classified through the second grade classification model 211a2, this can be implemented.

상기와 같은 구성을 통해, 본 발명의 실시예에 따른 과일 선별부(100)와 같이, 단지 가로 방향(W) 양측, 즉 대상 과일(F)을 두가지로만 분류하기 위한 간단한 구조를 갖는 과일 선별 구조를 통해서도, 다양한 등급으로의 분류가 가능하게 된다.Through the above configuration, like the fruit sorting unit 100 according to the embodiment of the present invention, a fruit sorting structure having a simple structure for classifying only two sides of the horizontal direction (W), that is, target fruit (F) into two. Also through, it is possible to classify into various grades.

또한, 해마다 정부 시책이나, 그 해 해당 과일의 품질이 달라져, 최상위 등급 기준이 바뀌는 경우에도, 최상위 등급을 분류하기 위한 기준에 해당하는 어느 하나의 모델을 이용하여 분류할 수 있어, 분류 기준 등급의 변동에도 능동적으로 대처가 가능하게 된다.In addition, even if the highest grade standard changes due to government policies or the quality of the fruit in that year changes every year, classification can be performed using one of the models corresponding to the criteria for classifying the highest grade, It is also possible to actively respond to changes.

앞서 설명한 바와 같이, 과일 선별 지원 서버와의 연동을 통해, 본 발명의 실시예에 따른 과일 선별 장치(10)의 작업자가 과일 선별 지원 서버에 접속하여 원하는 분류 모델(210)을 다운로드 받아 사용하게 되면, 모든 분류 모델(210)을 한번에 과일 선별 장치(10)에 등록하지 않더라도 상황에 따라 적용이 가능하게 된다.As described above, when an operator of the fruit sorting apparatus 10 according to an embodiment of the present invention connects to the fruit sorting support server and downloads and uses a desired classification model 210 through linkage with the fruit sorting support server, , Even if all classification models 210 are not registered in the fruit sorting device 10 at once, they can be applied according to circumstances.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.Although the embodiments of the present invention have been described with reference to the accompanying drawings, those skilled in the art to which the present invention pertains can be implemented in other specific forms without changing the technical spirit or essential features of the present invention. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.

10 : 과일 선별 장치 100 : 과일 선별부
110 : 선별 프레임 120 : 선별 회전 부재
121,122 : 회전 플레이트 123 : 연결 플레이트
130 : 회전 롤러 140 : 선별 회전 구동부
150 : 롤러 구동부 160 : 카메라 어셈블리
161 : 카메라 모듈 162 : 카메라 브래킷
163 : 제1 조명부 164 : 제2 조명부
171 : 제1 등급 이동부 172 : 제2 등급 이동부
200 : 선별 프로세싱부 210 : 분류 모델
220 : 프로세싱 제어부 230 : 영상 디스플레이부
240 : 선별 통신부 241 : 내부 통신부
242 : 외부 통신부 250 : 사용자 입력부
260 : 데이터 저장부 300 : 과일 이송부
310 : 제2 컨테이너부 311 : 과일 트레이
320 : 제1 컨테이너부 400 : 이동 검출 센서10: fruit sorting device 100: fruit sorting unit
110: sorting frame 120: sorting rotating member
121,122: rotation plate 123: connection plate
130: rotating roller 140: sorting rotation drive
150: roller driving unit 160: camera assembly
161: camera module 162: camera bracket
163: first lighting unit 164: second lighting unit
171: first class moving unit 172: second class moving unit
200: sorting processing unit 210: classification model
220: processing control unit 230: image display unit
240: selective communication unit 241: internal communication unit
242: external communication unit 250: user input unit
260: data storage unit 300: fruit transfer unit
310: second container unit 311: fruit tray
320: first container unit 400: movement detection sensor

Claims (14)

영상 기반의 과일 선별 장치에 있어서,
대상 과일을 가로 방향 양측 중 어느 한 방향으로 선택적으로 분류하는 과일 선별부와,
상기 과일 선별부의 과일 선별 과정을 제어하는 선별 프로세싱부를 포함하며;
상기 과일 선별부는
선별 프레임과,
상기 선별 프레임에 세로 방향을 축으로 회전 가능하게 설치되는 선별 회전 부재와,
상기 선별 회전 부재의 상부 측에 노출된 상태로, 상기 선별 회전 부재에 상기 가로 방향 또는 상기 세로 방향을 축으로 회전 가능하게 설치되고, 상기 대상 과일이 상부로부터 안착되는 한 쌍의 회전 롤러와,
한 쌍의 상기 회전 롤러에 안착된 상기 대상 과일이 분류되도록 상기 선별 회전 부재를 상기 가로 방향 양측 중 어느 한 방향으로 회전시키는 선별 회전 구동부와,
한 쌍의 상기 회전 롤러에 안착된 상기 대상 과일이 회전하도록 한 쌍의 상기 회전 롤러 중 적어도 하나를 회전시키는 롤러 구동부와,
한 쌍의 상기 회전 롤러의 회전에 따라 회전하는 상기 대상 과일을 촬영하는 적어도 하나의 카메라 모듈을 갖는 카메라 어셈블리를 포함하며;
상기 선별 프로세싱부는 상기 카메라 모듈에 의해 촬영된 영상에 기초하여, 상기 대상 과일이 분류되도록 상기 선별 회전 구동부를 제어하는 것을 특징으로 하는 영상 기반의 과일 선별 장치.In the image-based fruit sorting device,
A fruit sorting unit that selectively classifies target fruits in either direction of both sides in the horizontal direction;
a sorting processing unit controlling a fruit sorting process of the fruit sorting unit;
The fruit sorting unit
a selection frame;
A sorting rotation member rotatably installed in the sorting frame in a longitudinal direction;
a pair of rotation rollers exposed to the upper side of the sorting rotation member, rotatably installed on the sorting rotation member in the horizontal direction or the vertical direction, and on which the target fruit is seated from the top;
a sorting rotation driving unit for rotating the sorting rotation member in one of both sides of the horizontal direction so that the target fruit seated on the pair of rotation rollers is sorted;
a roller driving unit which rotates at least one of the pair of rotation rollers so that the target fruit seated on the pair of rotation rollers rotates;
a camera assembly having at least one camera module for photographing the target fruit rotating according to the rotation of the pair of rotation rollers;
The image-based fruit sorting device according to claim 1 , wherein the sorting processing unit controls the sorting rotation drive unit to classify the target fruit based on the image captured by the camera module. 제1항에 있어서,
한 쌍의 상기 회전 롤러는
상기 세로 방향을 축으로 회전 가능하게 상기 선별 회전 부재에 설치되며;
상기 대상 과일이 상부로부터 안착 가능하게 상기 가로 방향으로 상호 소정 간격 이격된 상태로 배열되는 것을 특징으로 하는 영상 기반의 과일 선별 장치.According to claim 1,
The pair of rotating rollers
It is installed on the sorting rotating member to be rotatable about the longitudinal direction;
The image-based fruit sorting device, characterized in that the target fruit is arranged spaced apart from each other at a predetermined interval in the horizontal direction so that the target fruit can be seated from the top. 제2항에 있어서,
각각의 상기 회전 롤러는 중앙 부분으로부터 상기 세로 방향 양측으로 테이퍼진 형상을 갖는 것을 특징으로 하는 영상 기반의 과일 선별 장치.According to claim 2,
Image-based fruit sorting device, characterized in that each of the rotating rollers has a tapered shape from the central portion to both sides in the longitudinal direction. 제2항에 있어서,
상기 선별 회전 부재는
상기 세로 방향으로 상호 이격되고, 각각 상기 선별 프레임에 회전 가능하게 결합되는 한 쌍의 회전 플레이트와,
상기 한 쌍의 회전 플레이트를 상호 연결하는 연결 플레이트를 포함하며;
한 쌍의 상기 회전 롤러는 한 쌍의 상기 회전 플레이트 사이에서 한 쌍의 상기 회전 플레이트에 양측이 각각 회전 가능하게 결합되되, 상기 연결 플레이트의 상부에 위치하는 것을 특징으로 하는 영상 기반의 과일 선별 장치.According to claim 2,
The sorting rotating member
A pair of rotation plates spaced apart from each other in the vertical direction and rotatably coupled to the selection frame, respectively;
a connection plate interconnecting the pair of rotation plates;
The pair of rotation rollers are rotatably coupled to both sides of the pair of rotation plates between the pair of rotation plates, respectively, and are located on top of the connection plate. Image-based fruit sorting device. 제1항에 있어서,
상기 대상 과일을 상기 과일 선별부로 이송시켜 상기 대상 과일 하나씩이 한 쌍의 상기 회전 롤러에 안착시키는 과일 이송부와;
한 쌍의 상기 회전 롤러로 상기 대상 과일이 이동하는 것을 감지하는 이동 검출 센서를 더 포함하는 것을 특징으로 하는 영상 기반의 과일 선별 장치.According to claim 1,
a fruit conveying unit for transferring the target fruit to the fruit sorting unit so that each target fruit is seated on the pair of rotating rollers;
The image-based fruit sorting device further comprising a movement detection sensor for detecting movement of the target fruit with the pair of rotation rollers. 제5항에 있어서,
상기 과일 이송부는
상기 세로 방향으로 상기 대상 과일이 이송되는 제1 컨베이어부와,
상기 제1 컨베이어부로부터 이송되는 상기 대상 과일을 하나씩 상기 세로 방향으로 상기 과일 선별부 측으로 이송시켜 한 쌍의 상기 회전 롤러에 하나씩의 상기 대상 과일을 안착시키는 제2 컨베이어부를 포함하며;
상기 제2 컨베이어부는
하나씩의 상기 대상 과일이 안착 가능한 형태로 마련되고, 상기 세로 방향으로 소정 간격 이격된 상태로 배열된 복수의 과일 트레이를 포함하는 것을 특징으로 하는 영상 기반의 과일 선별 장치.According to claim 5,
The fruit transfer unit
A first conveyor unit through which the target fruit is transported in the vertical direction;
a second conveyor unit which transfers the target fruits transported from the first conveyor unit one by one in the longitudinal direction toward the fruit sorting unit and places each target fruit on a pair of rotation rollers;
The second conveyor unit
The image-based fruit sorting device comprising a plurality of fruit trays provided in a form in which one of the target fruits can be seated and arranged at a predetermined interval in the vertical direction. 제6항에 있어서,
상기 제2 컨베이어부는 상기 제1 컨베이어부로부터 일정 각도 경사지게 설치되며;
상기 제2 컨베이어부의 말단의 높이는 한 쌍의 상기 회전 롤러보다 높게 형성되어, 상기 제2 컨베이어부의 구동에 따라 상기 제2 컨베이어부의 말단에 위치하는 상기 과일 트레이 내의 상기 대상 과일이 상기 한 쌍의 회전 롤러로 낙하하여 안착되는 것을 특징으로 하는 영상 기반의 과일 선별 장치.According to claim 6,
The second conveyor unit is installed inclined at a predetermined angle from the first conveyor unit;
The height of the end of the second conveyor unit is higher than that of the pair of rotation rollers, so that the target fruit in the fruit tray located at the end of the second conveyor unit moves along the pair of rotation rollers according to the operation of the second conveyor unit. An image-based fruit sorting device, characterized in that it falls and settles. 제7항에 있어서,
상기 이동 검출 센서는 상기 제2 컨베이어부의 말단에서 상기 대상 과일의 이동을 감지하는 것을 특징으로 하는 영상 기반의 과일 선별 장치.According to claim 7,
The image-based fruit sorting device, characterized in that the movement detection sensor detects the movement of the target fruit at the end of the second conveyor unit. 제1항에 있어서,
상기 선별 프로세싱부는
상기 카메라 모듈에 의해 촬영된 영상을 입력받아 해당 대상 과일의 분류를 위한 추론 결과를 출력하는 인공 지능 기반의 분류 모델과;
상기 분류 모델의 추론 결과에 기초하여 해당 대상 과일이 분류되도록 상기 선별 회전 구동부를 제어하는 프로세싱 제어부를 포함하는 것을 특징으로 하는 영상 기반의 과일 선별 장치.According to claim 1,
The selection processing unit
an artificial intelligence-based classification model that receives the image captured by the camera module and outputs an inference result for classifying the target fruit;
and a processing control unit controlling the sorting rotation driving unit so that the corresponding target fruit is classified based on the reasoning result of the classification model. 제9항에 있어서,
상기 분류 모델은 상기 대상 과일의 유형에 따라 구분되는 복수의 과일 유형별 분류 모델을 포함하는 것을 특징으로 하는 영상 기반의 과일 선별 장치.According to claim 9,
The image-based fruit sorting device, characterized in that the classification model includes a plurality of classification models for each fruit type classified according to the type of the target fruit. 제10항에 있어서,
각각의 상기 과일 유형별 분류 모델은 해당 대상 과일의 분류 기준 등급에 따라 구분되는 복수의 등급별 분류 모델을 포함하고;
상기 분류 기준 등급은 제1 등급으로부터 제N 등급으로 구분되며;
상기 등급별 분류 모델은
제1 등급과 그 외 등급으로 분류하기 위한 제1 등급 분류 모델로부터 제N-1 등급과 그 외 등급으로 분류하기 위한 제N-1 등급 분류 모델까지를 포함하는 것을 특징으로 하는 영상 기반의 과일 선별 장치.According to claim 10,
Each of the classification models for each type of fruit includes a plurality of classification models for each class classified according to the classification criterion level of the target fruit;
The classification criterion level is divided into a first level and an N-th level;
The class classification model is
Image-based fruit sorting, characterized in that it includes from the first class classification model for classifying into the first class and other classes to the N-1 class classification model for classifying into the N-1 class and other classes. Device. 제9항에 있어서,
상기 카메라 모듈은 복수개로 구성되고, 한 쌍의 상기 회전 롤러의 상부에 상호 상이한 방향에서 상기 대상 과일을 촬영 가능하게 설치되는 것을 특징으로 하는 영상 기반의 과일 선별 장치.According to claim 9,
The image-based fruit sorting device, characterized in that the camera module is composed of a plurality and is installed on top of the pair of rotation rollers to be able to photograph the target fruit in mutually different directions. 제12항에 있어서,
각각의 상기 카메라 모듈은 한 쌍의 상기 회전 롤러가 회전함에 따라 상기 대상 과일이 회전하는 동안 하나의 상기 대상 과일을 적어도 2 회 이상 촬영하는 것을 특징으로 하는 영상 기반의 과일 선별 장치.According to claim 12,
Each camera module photographs one target fruit at least twice or more while the target fruit rotates as the pair of rotation rollers rotate. 제13항에 있어서,
상기 분류 모델은 복수의 상기 카메라 모듈 각각에서 촬영된 적어도 2장 이상의 영상을 입력으로 하여, 해당 대상 과일의 분류를 위한 추론 결과를 출력하는 것을 특징으로 하는 영상 기반의 과일 선별 장치.According to claim 13,
The image-based fruit sorting device according to claim 1 , wherein the classification model takes at least two or more images captured by each of the plurality of camera modules as input and outputs an inference result for classifying the corresponding target fruit.
KR1020210170678A 2021-12-02 2021-12-02 Apparatus for sorting fruit based on image KR102551306B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210170678A KR102551306B1 (en) 2021-12-02 2021-12-02 Apparatus for sorting fruit based on image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210170678A KR102551306B1 (en) 2021-12-02 2021-12-02 Apparatus for sorting fruit based on image

Publications (2)

Publication Number Publication Date
KR20230082834A true KR20230082834A (en) 2023-06-09
KR102551306B1 KR102551306B1 (en) 2023-07-05

Family

ID=86765039

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210170678A KR102551306B1 (en) 2021-12-02 2021-12-02 Apparatus for sorting fruit based on image

Country Status (1)

Country Link
KR (1) KR102551306B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2656359B2 (en) * 1988-03-15 1997-09-24 オートライン・インコーポレーテッド Method and apparatus for handling objects
JP2001269628A (en) * 2000-03-27 2001-10-02 Ishii Ind Co Ltd Article rotating device
KR20180056946A (en) * 2016-11-21 2018-05-30 한국콘베어공업주식회사 Article sorting system using picking robot
KR20200084940A (en) 2018-12-24 2020-07-14 순천대학교 산학협력단 CNN(Convolutional Neural Network) based pest and damage fruit classification device and method
JP2021021729A (en) * 2019-07-24 2021-02-18 開必拓數據股▲分▼有限公司 Moving article classification system and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2656359B2 (en) * 1988-03-15 1997-09-24 オートライン・インコーポレーテッド Method and apparatus for handling objects
JP2001269628A (en) * 2000-03-27 2001-10-02 Ishii Ind Co Ltd Article rotating device
KR20180056946A (en) * 2016-11-21 2018-05-30 한국콘베어공업주식회사 Article sorting system using picking robot
KR20200084940A (en) 2018-12-24 2020-07-14 순천대학교 산학협력단 CNN(Convolutional Neural Network) based pest and damage fruit classification device and method
JP2021021729A (en) * 2019-07-24 2021-02-18 開必拓數據股▲分▼有限公司 Moving article classification system and method

Also Published As

Publication number Publication date
KR102551306B1 (en) 2023-07-05

Similar Documents

Publication Publication Date Title
KR20230082836A (en) System for supporting fruit sort based on artificial intelligence
CN103323457B (en) Fruit appearance defect real-time online detection system and detection method
US9862005B2 (en) Apparatus and method for sorting plant material units
CN1329132C (en) On-line fruit quality detection and classification apparatus and method based on three camera chains
CN110125021B (en) Automatic silkworm cocoon sorting device
US11027923B1 (en) Chute accumulation system
CN109351655B (en) Red date sorting unit
CN113145492A (en) Visual grading method and grading production line for pear appearance quality
CN110694921A (en) Vegetable sorting system and control method thereof
CN114275425B (en) Automatic check-in robot seeding and sorting system, method, equipment and medium
JP2021021729A (en) Moving article classification system and method
CN102941189A (en) Controllable rotary angle insection tray device of fruit sorter
KR102551306B1 (en) Apparatus for sorting fruit based on image
CN116441190A (en) Longan detection system, method, equipment and storage medium
KR20230082835A (en) Apparatus for sorting fruit based on artificial intelligence
CN114570664A (en) Force sense-based fruit hardness and softness identification method, sorting device and control method
CN209271938U (en) A kind of improvement device of jujube pickout apparatus
KR20240050768A (en) Apparatus for sorting fruit based on image using rotating roller
KR20240050769A (en) Apparatus for sorting fruit based on artificial intelligence having classification model for fruit type
WO2024178865A1 (en) Goods sorting system
JP2000176385A (en) Sorting apparatus for fruit, etc.
Athari et al. Design and Implementation of a Parcel Sorter Using Deep Learning
KR102615225B1 (en) Smart separate collection system
CN117102054A (en) Sugarcane seed 360-degree turning sugarcane bud identification and screening device and control method thereof
CN118060211A (en) Automatic Chinese chestnut sorting system and method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right