KR102497722B1 - 과일을 식별하는 장치 및 방법 - Google Patents
과일을 식별하는 장치 및 방법 Download PDFInfo
- Publication number
- KR102497722B1 KR102497722B1 KR1020210099577A KR20210099577A KR102497722B1 KR 102497722 B1 KR102497722 B1 KR 102497722B1 KR 1020210099577 A KR1020210099577 A KR 1020210099577A KR 20210099577 A KR20210099577 A KR 20210099577A KR 102497722 B1 KR102497722 B1 KR 102497722B1
- Authority
- KR
- South Korea
- Prior art keywords
- fruit
- defective
- feature
- images
- features
- Prior art date
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 274
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000002950 deficient Effects 0.000 claims abstract description 105
- 241000132456 Haplocarpha Species 0.000 claims abstract description 28
- 238000013473 artificial intelligence Methods 0.000 claims description 25
- 238000013135 deep learning Methods 0.000 claims description 8
- 208000034656 Contusions Diseases 0.000 claims description 7
- 241000607479 Yersinia pestis Species 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 206010052428 Wound Diseases 0.000 claims description 3
- 208000027418 Wounds and injury Diseases 0.000 claims description 3
- 208000015181 infectious disease Diseases 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 5
- 238000004891 communication Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 238000000605 extraction Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 208000032544 Cicatrix Diseases 0.000 description 2
- 206010061217 Infestation Diseases 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 231100000241 scar Toxicity 0.000 description 2
- 230000037387 scars Effects 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/36—Sorting apparatus characterised by the means used for distribution
- B07C5/361—Processing or control devices therefor, e.g. escort memory
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/16—Sorting according to weight
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
- B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
- B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/36—Sorting apparatus characterised by the means used for distribution
- B07C5/38—Collecting or arranging articles in groups
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
- B07C2501/009—Sorting of fruit
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Supplying Of Containers To The Packaging Station (AREA)
- Packaging Of Special Articles (AREA)
Abstract
본 발명의 일 실시 예에 따른, 과일 식별 장치 및 방법은, 다수의 과일들을 한 줄로 정렬하고, 상기 정렬된 과일들 각각을 회전시키는 과일 투입부; 제어부의 제어에 따라 상기 정렬된 과일들을 순차적으로 분류하는 과일 분류부; 상기 회전하는 과일들을 순차적으로 촬영하여 한 과일에 대한 다수의 영상 데이터들을 생성하는 영상 획득부; 및 상기 영상 데이터들에서 과일만을 추출하여 다수의 과일 영상 데이터들을 생성하며, 상기 다수의 과일 영상 데이터들을 이용하여 상기 과일의 무게를 결정하고, 상기 과일의 무게를 이용하여 상기 과일의 등급을 결정하며, 상기 영상 데이터들을 처리하여 다수의 불량 특징 확신도들을 결정하고, 상기 불량 특징 확신도들과 미리 지정된 기준 불량 특징 확신도를 비교하며, 상기 비교 결과를 기반으로, 상기 과일을 불량 상태 또는 정상 상태로 결정하고, 상기 과일이 상기 불량 상태인 경우, 상기 과일 분류부를 통해 상기 과일을 불량 영역으로 이동시키고, 상기 과일이 상기 정상 상태인 경우, 상기 과일 분류부를 통해 상기 과일을 다수의 정상 영역들 중에서 상기 과일의 등급에 대응하는 정상 영역으로 이동시키는 상기 제어부를 포함한다.
Description
본 발명의 일 실시 예는 과일에 관한 것으로, 특히, 과일을 식별하는 장치 및 방법에 관한 것이다.
일반적으로 노동자가 육안으로 과일의 상태를 일일이 확인하여 과일에 대한 등급을 결정한다. 특히, 과일의 등급은 대체로 과일의 무게를 기반으로 결정되지만, 과일의 상처, 멍, 상함 및 병충해 감염과 같은 불량 상태는 노동자가 육안으로 판별해야 했다.
이와 같이, 노동자가 과일의 불량 상태를 직접 판별해야 하므로, 과일을 식별하기 위한 인력과 비용이 많이 소모되어 농림업의 효율이 저하되는 문제점이 있었다. 그리고 노동자가 과일 식별에 대한 전문성이 없는 경우, 노동자가 과일에 잘못된 등급을 매겨서 과일 식별에 대한 정확성 및 일관성이 떨어지는 문제점이 있다.
따라서, 이러한 문제점을 해결하기 위한 방안의 필요성이 대두하였다.
본 발명의 일 실시 예는 인력과 비용을 최소화하면서 과일을 식별하는 장치 및 방법을 제안한다.
그리고 본 발명의 일 실시 예는 정확성 및 일관성을 가지면서 과일을 식별하는 장치 및 방법을 제안한다.
본 발명의 일 실시 예에 따른, 과일 식별 장치는, 적어도 하나의 과일을 촬영하여 다수의 제1 영상을 생성하는 영상 획득부; 및 상기 다수의 제1 영상에서 과일만 추출된 다수의 제2 영상을 생성하고, 상기 다수의 제2 영상을 기반으로, 상기 과일의 무게를 결정하고 상기 결정된 무게를 기반으로 상기 과일의 등급을 결정하고, 상기 다수의 제1 영상을 분석하여 다수의 불량 특징 확신도를 결정하고, 상기 결정된 다수의 불량 특징 확신도를 미리 지정된 기준 불량 특징 확신도와 비교하고, 상기 비교 결과를 기반으로, 상기 과일의 불량 또는 정상 상태를 결정하는 제어부를 포함ㅎ한다.
또한, 상기 제어부는, 상기 과일을 불량 상태로 결정하고, 상기 다수의 불량 특징 확신도가 모두 상기 기준 불량 특징 확신도 미만이면, 상기 과일이 정상 상태인 것으로 결정하고, 상기 다수의 불량 특징 확신도 중 적어도 하나가 상기 기준 불량 특징 확신도 이상인 경우 상기 과일이 불량 상태인 것으로 결정하고, 상기 불량 특징 확신도는 과일의 불량 상태에 대한 특징 중 적어도 하나를 포함하고 있다고 확신하는 확률을 의미하는 것이고, 상기 불량 상태는 과일의 상처, 멍, 상함 및 병충해 감염 중 적어도 하나를 포함할 수 있다.
또한, 상기 제어부는, 딥러닝 학습 알고리즘으로 구축된 인공지능부를 제어하여, 상기 다수의 제1 영상 중에서 하나의 제1 영상을 처리하여 최종 특징 채널을 생성하고, 상기 최종 특징 채널에 채널별 완전 연결 계층(Fully connected layer)의 가중치를 곱하여 불량 특징 투영도를 생성하고, 상기 하나의 제1 영상에 상기 생성된 불량 특징 투영도를 합성하여 불량 특징이 투영된 과일 영상 데이터(이하, 불량 특징 투영도 이미지)를 생성하고, 상기 불량 특징 투영도 이미지를 기반으로 상기 불량 특징 확신도를 결정하는 것을 특징으로 한다.
또한, 상기 제어부는, 상기 불량 특징 투영도 이미지의 각 픽셀의 RGB 채널값 중에서 G 채널값을 전부 더한 값을 전체 픽셀 숫자로 나누어 특징 평균값을 결정하고, 상기 결정된 특징 평균값에 Softmax를 적용하여 상기 불량 특징 확신도를 결정하는 것을 특징으로 한다.
또한, 상기 Softmax는 하기 수학식 1인 것으로 특징으로 한다.
[수학식 1]
, (n= 투영도의 총 개수, i= 투영도의 고유번호, yi= 각 투영도의 특징 평균값, e= 자연상수)
또한, 상기 다수의 제1 영상은, 과일 회전부에 의해 회전된 상기 과일의 모든 면이 다수의 카메라를 통해 촬영된 것이고, 상기 제어부는 상기 다수의 카메라가 스테레오 카메라인 경우, 3차원 재건법을 이용하여 상기 다수의 제2 영상을 합성하여 3차원 과일 영상을 생성하고, 상기 생성된 3차원 과일 영상을 이용하여 상기 과일에 대한 부피를 계산하는 것을 특징으로 한다.
또한, 상기 제어부는, 상기 다수의 제2 영상을 기반으로, 상기 과일의 무게를 결정하고 상기 결정된 무게를 기반으로 상기 과일의 등급을 결정하고, 적어도 하나의 과일에 대한 식별 결과 데이터를 사용자의 단말로 전송하는 것을 특징으로 한다.
또한, 상기 제어부는, 상기 다수의 제2 영상을 이용하여 상기 과일의 무게를 계산하고, 상기 계산된 무게와 미리 지정된 과일 무게별 등급표를 기반으로 상기 과일에 대한 등급을 결정하고, 미리 저장된 과일별 밀도표에서 상기 과일의 밀도를 확인하고, 상기 확인된 밀도에 상기 계산된 과일의 부피를 곱하여 상기 과일의 무게를 계산하는 것을 특징으로 한다.
또한, 상기 제어부는, 상기 과일을 불량 상태로 결정하고, 상기 다수의 불량 특징 확신도가 모두 상기 기준 불량 특징 확신도 미만이면, 상기 과일이 정상 상태인 것으로 결정하고, 상기 다수의 불량 특징 확신도 중 적어도 하나가 상기 기준 불량 특징 확신도 이상인 경우 상기 과일이 불량 상태인 것으로 결정하고, 상기 불량 특징 확신도는 과일의 불량 상태에 대한 특징 중 적어도 하나를 포함하고 있다고 확신하는 확률을 의미하는 것이고, 상기 불량 상태는 과일의 상처, 멍, 상함 및 병충해 감염 중 적어도 하나를 포함할 수 있다.
또한, 상기 제어부는, 딥러닝 학습 알고리즘으로 구축된 인공지능부를 제어하여, 상기 다수의 제1 영상 중에서 하나의 제1 영상을 처리하여 최종 특징 채널을 생성하고, 상기 최종 특징 채널에 채널별 완전 연결 계층(Fully connected layer)의 가중치를 곱하여 불량 특징 투영도를 생성하고, 상기 하나의 제1 영상에 상기 생성된 불량 특징 투영도를 합성하여 불량 특징이 투영된 과일 영상 데이터(이하, 불량 특징 투영도 이미지)를 생성하고, 상기 불량 특징 투영도 이미지를 기반으로 상기 불량 특징 확신도를 결정하는 것을 특징으로 한다.
또한, 상기 제어부는, 상기 불량 특징 투영도 이미지의 각 픽셀의 RGB 채널값 중에서 G 채널값을 전부 더한 값을 전체 픽셀 숫자로 나누어 특징 평균값을 결정하고, 상기 결정된 특징 평균값에 Softmax를 적용하여 상기 불량 특징 확신도를 결정하는 것을 특징으로 한다.
또한, 상기 Softmax는 하기 수학식 1인 것으로 특징으로 한다.
[수학식 1]
또한, 상기 다수의 제1 영상은, 과일 회전부에 의해 회전된 상기 과일의 모든 면이 다수의 카메라를 통해 촬영된 것이고, 상기 제어부는 상기 다수의 카메라가 스테레오 카메라인 경우, 3차원 재건법을 이용하여 상기 다수의 제2 영상을 합성하여 3차원 과일 영상을 생성하고, 상기 생성된 3차원 과일 영상을 이용하여 상기 과일에 대한 부피를 계산하는 것을 특징으로 한다.
또한, 상기 제어부는, 상기 다수의 제2 영상을 기반으로, 상기 과일의 무게를 결정하고 상기 결정된 무게를 기반으로 상기 과일의 등급을 결정하고, 적어도 하나의 과일에 대한 식별 결과 데이터를 사용자의 단말로 전송하는 것을 특징으로 한다.
또한, 상기 제어부는, 상기 다수의 제2 영상을 이용하여 상기 과일의 무게를 계산하고, 상기 계산된 무게와 미리 지정된 과일 무게별 등급표를 기반으로 상기 과일에 대한 등급을 결정하고, 미리 저장된 과일별 밀도표에서 상기 과일의 밀도를 확인하고, 상기 확인된 밀도에 상기 계산된 과일의 부피를 곱하여 상기 과일의 무게를 계산하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따른, 과일 식별 방법은, 적어도 하나의 과일이 촬영된 다수의 제1 영상에서 과일만 추출된 다수의 제2 영상을 생성하는 단계; 상기 다수의 제2 영상을 기반으로, 상기 과일의 무게를 결정하고, 상기 결정된 무게를 기반으로 상기 과일의 등급을 결정하는 단계; 상기 다수의 제1 영상을 분석하여 다수의 불량 특징 확신도를 결정하고, 상기 결정된 다수의 불량 특징 확신도를 미리 지정된 기준 불량 특징 확신도와 비교하는 단계; 및 상기 비교 결과를 기반으로, 상기 과일의 불량 또는 정상 상태를 결정하는 단계를 포함한다.
본 발명의 일 실시 예는 인력과 비용을 최소화하면서 과일을 식별할 수 있다.
그리고 본 발명의 일 실시 예는 정확성 및 일관성을 가지면서 과일을 식별할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 과일 식별 장치의 블록 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 제어부의 블록 구성도이다.
도 3은 본 발명의 일 실시 예에 따른 과일 이동부를 도시한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 과일 회전부를 도시한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 영상 획득부를 도시한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 인공지능부가 다수의 불량 특징 확신도들을 결정하는 절차를 도시한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 인공지능부가 불량 과일에 대한 불량 특징 확신도를 결정하는 절차를 도시한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 인공지능부가 정상 과일에 대한 불량 특징 확신도를 결정하는 절차를 도시한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 과일 식별 장치가 과일을 식별하는 흐름도이다.
도 2는 본 발명의 일 실시 예에 따른 제어부의 블록 구성도이다.
도 3은 본 발명의 일 실시 예에 따른 과일 이동부를 도시한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 과일 회전부를 도시한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 영상 획득부를 도시한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 인공지능부가 다수의 불량 특징 확신도들을 결정하는 절차를 도시한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 인공지능부가 불량 과일에 대한 불량 특징 확신도를 결정하는 절차를 도시한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 인공지능부가 정상 과일에 대한 불량 특징 확신도를 결정하는 절차를 도시한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 과일 식별 장치가 과일을 식별하는 흐름도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명의 실시 예에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당하는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 발명의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 발명된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시 예에서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 발명의 실시 예에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 발명의 일 실시 예에 따른 과일 식별 장치의 블록 구성도이다.
도 1을 참조하면, 과일 식별 장치는 제어부(101)와 메모리(103)와 영상 획득부(105)와 표시부(107)와 통신부(109)와 과일 투입부(111)와 과일 분류부(113)를 포함한다.
각 구성요소를 살펴보면, 과일 투입부(111)는 과일 이동부(115)와 과일 회전부(117)를 포함한다.
과일 이동부(115)는 다수의 과일들 중에서 한 과일을 선택하고, 컨베이어 롤러 또는 컨베이어 밸트를 이용하여 선택된 과일을 과일 회전부(117)로 이동시킨다. 예를 들면, 과일 이동부(115)는 도 3의 301에 도시된 바와 같이, 정렬 기구를 이용하여 다수의 과일들을 한 줄로 정렬시키고, 컨베이어 밸트를 이용하여 한 줄로 정렬된 다수의 과일들을 순차적으로 과일 회전부(117)로 전달할 수 있다.
과일 회전부(117)는 과일 이동부(115)로부터 다수의 과일들을 순차적으로 수신하고, 순차적으로 수신된 과일들 중 한 과일을 회전시킨 후, 과일 분류부(113)로 이동시킨다. 예를 들면, 과일 회전부(117)는 도 4의 401에 도시된 바와 같이, 바닥면이 곡선을 이루며, 바닥면의 일 측면이 다른 측면보다 한 쪽으로 기울어지게 구성될 수 있다. 예를 들면, 과일 회전부(117)는 기울어진 바닥면을 이용하여 한 과일의 모든 면이 드러나도록 과일을 360도 회전시키고, 회전된 과일을 과일 분류부(113)로 전달할 수 있다.
과일 분류부(113)는 다수의 과일들을 과일 회전부(117)로부터 순차적으로 수신하고, 제어부(101)의 제어에 따라 수신된 과일들을 순차적으로 서로 다른 영역으로 이동시킨다. 예를 들면, 서로 다른 영역은 불량 과일을 저장하는 불량 영역과 정상 과일을 저장하는 정상 영역을 포함할 수 있다. 예를 들면, 불량 과일은 과일에 상처, 멍, 상함 및 병충해 감염과 같은 불량 상태가 존재하는 과일을 나타낼 수 있다. 예를 들면, 정상 과일은 불량 상태가 존재하지 않는 과일을 나타낼 수 있다. 예를 들면, 정상 영역은 미리 지정된 과일 등급의 개수에 따라 복수의 영역들로 나누어질 수 있다. 예를 들면, 과일 등급은 과일의 크기를 고려하여 사용자에 의해 결정될 수 있다.
영상 획득부(105)는 다수의 카메라들을 이용하여 과수 회전부(117)에서 회전하는 한 과일의 모든 면을 촬영하여 다수의 영상 데이터들을 생성하고, 생성된 다수의 영상 데이터들을 제어부(101)로 출력한다. 예를 들면, 영상 획득부(105)의 부감도는 도 5의 501과 같이, 세 개의 카메라들을 포함할 수 있다. 예를 듬련, 세 개의 카메라들은 120도 간격으로 배치되며, 세 개의 카메라들의 초점들은 가운데에 맞춰질 수 있다. 예를 들면, 영상 획득부(105)의 측면도는 도 5의 503과 같이, 세 개의 카메라들이 나란히 배열될 수 있다.
메모리(103)는 과일 식별 장치의 동작에 필요한 각종 프로그램 및 데이터를 저장한다. 예를 들면, 메모리(103)는 비휘발성 메모리, 휘발성 메모리, 플래시 메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다.
표시부(107)는 제어부(101)의 제어에 따라 영상 데이터를 표시한다. 표시부(107)의 구현 방식은 한정되지 않으며, 예를 들면, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, AM-OLED(Active-Matrix Organic Light-Emitting Diode), PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 표시부(107)는 그 구현 방식에 따라서 부가적인 구성을 추가적으로 포함할 수 있다. 예를 들면, 표시부(107)가 액정 방식인 경우, 표시부(107)는 LCD 디스플레이 패널(미도시)과, 이에 광을 공급하는 백라이트 유닛(미도시)과, 패널(미도시)을 구동시키는 패널 구동기판(미도시)을 포함할 수 있다. 표시부(107)는 입출력부(미도시)의 터치 패널(미도시)과 결합되어 터치 스크린(미도시)으로 제공될 수 있다.
통신부(109)는 다양한 유형의 유선 또는 무선 통신 방식에 따라 다양한 유형의 외부 기기와 통신을 수행한다. 예를 들면, 통신부(109)는 다수의 과일들에 대한 식별 결과를 포함하는 식별 결과 데이터를 사용자의 휴대 단말기(미도시)로 전송할 수 있다. 예를 들면, 식별 결과 데이터는 과일 식별 장치가 식별한 불량 과일의 개수, 불량 과일 별 불량 상태, 정상 과일의 개수 및 정상 과일 별 등급을 포함할 수 있다. 예를 들면, 통신부(109)는 와이파이 모듈과 LTE 모듈과 5G 모듈과 LoRa 모듈과 블루투스 모듈과 지그비(Zigbee) 모듈 등 다양한 무선 통신 모듈을 포함할 수 있다. 예를 들면, 와이파이(WiFi) 모듈은 와이파이 방식으로 통신을 수행하며, LTE 모듈은 IEEE, LTE 등과 같은 다양한 통신 규격에 따라 통신을 수행할 수 있다. 예를 들면, 통신부(109)는 랜(LAN)이나 RS-232C나 RS-422이나 RS-485나 유에스비(USB) 포트 등과 같은 다양한 통신 규격에 따라 통신을 수행할 수 있다.
제어부(101)는 메모리(103)에 저장된 각종 프로그램을 이용하여 과일 식별 장치의 전반적인 동작을 제어한다. 예를 들면, 제어부(101)는 영상 획득부(105)를 통해 한 과일에 대한 다수의 영상 데이터들을 생성하고, 생성된 다수의 영상 데이터들을 이용하여 한 과일의 등급 및 불량 상태를 결정하고, 과일 분류부(113)를 통해 결정된 등급 및 불량 상태를 기반으로 한 과일을 분류할 수 있다.
이제부터 도 2를 참조하여 제어부(101)를 자세히 설명하고자 한다.
도 2는 본 발명의 일 실시 예에 따른 제어부(101)의 블록 구성도이다.
도 2를 참조하면, 제어부(101)는 과일 영상 추출부(201)와 과일 크기 결정부(203)와 인공지능부(205)를 포함한다.
각 구성요소를 살펴보면, 과일 영상 추출부(201)는 영상 획득부(105)로부터 한 과일에 대응하는 다수의 영상 데이터들을 입력받고, 미리 지정된 이미지 처리 기술을 통해 다수의 영상 데이터들에서 과일만을 추출하여 다수의 과일 영상 데이터들을 생성한다. 그리고 과일 영상 추출부(201)는 생성된 다수의 과일 영상 데이터들을 과일 크기 결정부(203)로 출력할 수 있다. 예를 들면, 이미지 처리 기술은 영상 데이터에서 윤곽선을 추출하고, 추출된 윤곽선이 원형에 가까우면, 윤곽선에 포함된 영상 데이터를 추출하는 기술일 수 있다. 예를 들면, 다수의 과일 영상 데이터들 각각은 과일만을 포함하는 영상 데이터일 수 있다.
과일 크기 결정부(203)는 다수의 과일 영상 데이터들을 이용하여 한 과일에 대한 과일 크기를 결정하고, 결정된 과일 크기와 미리 지정된 과일 크기별 등급표를 이용하여 한 과일에 대한 등급을 결정한다. 예를 들면, 과일 크기별 등급표는 과일 크기에 따른 등급을 나타내는 표일 수 있다. 예를 들면, 과일이 사과인 경우, 과일 크기별 등급표는 사과의 크기에 따라 1등급부터 8등급까지 구분될 수 있다.
예를 들면, 영상 획득부(105)의 다수의 카메라들이 스테레오 카메라인 경우, 과일 크기 결정부(203)는 3차원 재건법을 이용하여 다수의 과일 영상 데이터들을 합성하여 3차원 과일 영상 데이터를 생성하고, 생성된 3차원 과일 영상 데이터를 이용하여 한 과일에 대한 부피를 계산할 수 있다. 예를 들면, 스테레오 카메라는 입체 사진의 촬영에 사용하는 카메라로, 좌우의 눈에 해당되는 2개의 동종의 렌즈들로 동시에 과일의 사진을 촬영할 수 있다. 그리고 과일 크기 결정부(203)는 과일 크기별 등급표에서 계산된 과일의 부피에 해당하는 등급을 확인하고, 한 과일의 등급을 확인된 등급으로 결정할 수 있다.
그리고 과일 크기 결정부(203)는 다수의 과일 영상 데이터를 이용하여 한 과일의 무게를 계산하고, 계산된 무게와 미리 지정된 과일 무게별 등급표를 이용하여 한 과일에 대한 등급을 결정한다. 예를 들면, 과일 무게별 등급표는 과일 무게에 따른 등급을 나타내는 표일 수 있다. 예를 들면, 과일이 사과인 경우, 과일 무게별 등급표는 사과의 무게에 따라 1등급부터 8등급까지 구분될 수 있다.
예를 들면, 과일 크기 결정부(203)는 메모리(103)에 미리 저장된 과일 별 밀도표를 검출하고, 검출된 과일 별 밀도표에서 해당 과일에 대한 밀도를 확인하고, 확인된 밀도에 계산된 과일의 부피를 곱하여 한 과일의 무게를 계산할 수 있다. 예를 들면, 과일 별 밀도표는 각종 과일 별로 밀도가 기록된 표일 수 있다. 그리고 과일 크기 결정부(203)는 과일 무게별 등급표에서 계산된 과일의 무게에 해당하는 등급을 확인하고, 한 과일의 등급을 확인된 등급으로 결정할 수 있다.
인공지능부(205)는 영상 획득부(105)로부터 한 과일에 대응하는 다수의 영상 데이터들을 입력받고, 입력된 다수의 영상 데이터들을 분석하여 다수의 불량 특징 확신도들을 결정한다. 즉, 인공지능부(205)는 다수의 영상 데이터들에 대응하는 다수의 불량 특징 확신도들을 결정한다. 예를 들면, 다수의 불량 특징 확신도들은 다수의 영상 데이터들에 과일의 불량 상태(과일의 상처, 멍, 상함 및 병충해 감염)에 대한 특징들 중 적어도 하나를 포함하고 있다고 확신하는 확률을 나타낼 수 있다.
그리고 인공지능부(205)는 결정된 다수의 불량 특징 확신도들 중 하나가 미리 지정된 기준 불량 특징 확신도 이상인지 여부를 확인한다. 예를 들면, 기준 불량 특징 확신도는 90퍼센트일 수 있다.
확인 결과, 다수의 불량 특징 확신도들 중 하나가 기준 불량 특징 확신도 이상이면, 인공지능부(205)는 해당 과일을 불량 상태로 결정한다.
이후에, 제어부(101)는 과일 분류부(113)를 통해 해당 과일을 불량 영역으로 이동시킨다. 이때, 제어부(101)는 표시부(107)를 통해 해당 과일의 등급과 다수의 불량 특징 확신도들과 불량 특징이 투영된 과일 영상 데이터들을 표시한다. 예를 들면, 불량 특징이 투영된 과일 영상 데이터들은 과일 영상 데이터들에서 불량 상태만 투영된 영상 데이터일 수 있다.
이와 달리, 다수의 불량 특징 확신도들 모두가 기준 불량 특징 확신도 미만이면, 인공지능부(205)는 해당 과일을 정상 상태로 결정한다.
이후에, 제어부(101)는 과일 분류부(113)를 통해 해당 과일을 결정된 등급에 대응하는 정상 영역으로 이동시킨다. 이때, 제어부(101)는 표시부(107)를 통해 해당 과일의 등급과 다수의 불량 특징 확신도들을 표시한다.
그리고 제어부(101)는 다수의 과일들에 대한 식별 결과 데이터를 생성하고, 통신부(109)를 통해 생성된 식별 결과 데이터를 사용자의 휴대 단말기로 전송한다.
이러한 구성을 통해, 본 발명의 일 실시 예는 인력과 비용을 최소화하면서 과일을 식별할 수 있다. 그리고 본 발명의 일 실시 예는 정확성 및 일관성을 가지면서 과일을 식별할 수 있다.
본 발명의 일 실시 예에 따른 인공지능부는 딥러닝 학습 알고리즘을 채용한다. 예를 들면, 딥러닝 학습 알고리즘은 Autoencoder, CNN(Convolutional Neural Networks), RNN(Recurrent neural network), GAN(Generative Adversarial Network) 등을 포함할 수 있다. 그러나 본 발명에서 열거한 딥러닝 학습 알고리즘은 일 예시일 뿐, 이에 한정되는 것은 아니다.
본 발명에서는 앞에서 열거한 딥러닝 학습 알고리즘 중 어느 하나인 CNN을 적용되지만, 이에 한정되는 것은 아니다. 즉, 본 발명에서는 사용자의 선택에 따라 다양한 종류의 딥러닝 학습 알고리즘이 사용될 수도 있다.
도 6은 본 발명의 일 실시 예에 따른 인공지능부(205)가 다수의 불량 특징 확신도들을 결정하는 절차를 도시한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 인공지능부(205)가 불량 과일에 대한 불량 특징 확신도를 결정하는 절차를 도시한 도면이다.
도 7을 참조하면, 인공지능부(205)는 다수의 영상 데이터들 중 한 영상 데이터(701)를 처리하여 최종 특징(feature, 도6 참조) 채널을 생성한다. 예를 들면, 최종 특징 채널의 256채널들 중에서 16채널은 707 화면과 같이 활성화될 수 있다.
그리고 인공지능부(205)는 최종 특징 채널에 채널 별 Fully Connect Layer의 가중치를 곱하여 불량 특징 투영도(703)를 생성한다. 그리고 인공지능부(205)는 해당 영상 데이터(701)에 불량 특징 투영도(703)를 합성하여 불량 특징이 투영된 과일 영상 데이터(705)를 생성한다.
그리고 인공지능부(205)는 불량 특징 투영도(703) 이미지의 각 픽셀의 RGB 채널 값 중 G 채널 값을 전부 더한 값을 전체 픽셀 숫자로 나누어 특징 평균 값을 결정하고, 결정된 특징 평균 값에 Softmax를 적용하여 불량 특징 확신도를 결정한다.
예를 들면, Softmax는 다음과 같은 수학식 1로 나타낼 수 있다.
예를 들면, n은 투영도의 총 개수를 나타내며, i는 투영도의 고유번호를 나타낼 수 있다. 그리고 
는 각 투영도의 특징 평균값을 나타내고, e는 자연상수를 나타낼 수 있다.
예를 들면, 영상 데이터(701)가 썩은 부분을 포함하는 경우, 불량 특징 확신도는 99.9%, 정상 특징 확신도는 0%로 결정될 수 있다.
도 8은 본 발명의 일 실시 예에 따른 인공지능부(205)가 정상 과일에 대한 불량 특징 확신도를 결정하는 절차를 도시한 도면이다.
도 8을 참조하면, 인공지능부(205)는 다수의 영상 데이터들 중 한 영상 데이터(801)를 처리하여 최종 특징 채널을 생성한다. 예를 들면, 최종 특징 채널의 256채널들 중에서 16채널은 807 화면과 같이 활성화될 수 있다.
그리고 인공지능부(205)는 최종 특징 채널에 채널별 Fully Connect Layer의 가중치를 곱하여 불량 특징 투영도(803)를 생성한다. 그리고 인공지능부(205)는 해당 영상 데이터(801)에 불량 특징 투영도(803)를 합성하여 불량 특징이 투영된 과일 영상 데이터(805)를 생성한다.
그리고 인공지능부(205)는 불량 특징 투영도(803) 이미지의 각 픽셀의 RGB 채널 값 중 G 채널 값을 전부 더한 값을 전체 픽셀 숫자로 나누어 특징 평균 값을 결정하고, 결정된 특징 평균 값에 Softmax를 적용하여 불량 특징 확신도를 결정한다. 예를 들면, 영상 데이터(801)가 정상 상태인 경우, 불량 특징 확신도는 1%, 정상 특징 확신도는 99%로 결정될 수 있다.
도 9는 본 발명의 일 실시 예에 따른 과일 식별 장치가 과일을 식별하는 흐름도이다.
도 9를 참조하면, 과일 식별 장치의 제어부(101)는, 901 단계에서, 영상 획득부(105)로부터 과일 별로 다수의 영상 데이터들을 수신한다. 예를 들면, 다수의 영상 데이터들 각각은 한 과일의 형태를 포함할 수 있다.
903 단계에서, 제어부(101)는 미리 지정된 이미지 처리 기술을 통해 다수의 영상 데이터들에서 과일만을 추출하여 다수의 과일 영상 데이터들을 생성한다. 그리고 과일 영상 추출부(201)는 생성된 다수의 과일 영상 데이터들을 과일 크기 결정부(203)로 출력할 수 있다.
905 단계에서, 제어부(101)는 다수의 과일 영상 데이터들을 이용하여 한 과일에 대한 과일 크기를 결정하고, 결정된 과일 크기와 미리 지정된 과일 크기별 등급표를 이용하여 한 과일에 대한 등급을 결정한다.
예를 들면, 영상 획득부(105)의 다수의 카메라들이 스테레오 카메라인 경우, 제어부(101)는 3차원 재건법을 이용하여 다수의 과일 영상 데이터들을 합성하여 3차원 과일 영상 데이터를 생성하고, 생성된 3차원 과일 영상 데이터를 이용하여 한 과일에 대한 부피를 계산할 수 있다. 그리고 제어부(101)는 과일 크기별 등급표에서 계산된 과일의 부피에 해당하는 등급을 확인하고, 한 과일의 등급을 확인된 등급으로 결정할 수 있다.
예를 들면, 제어부(101)는 메모리(103)에 미리 저장된 과일 별 밀도표를 검출하고, 검출된 과일 별 밀도표에서 해당 과일에 대한 밀도를 확인하고, 확인된 밀도에 계산된 과일의 부피를 곱하여 한 과일의 무게를 계산할 수 있다. 그리고 제어부(101)는 과일 무게별 등급표에서 계산된 과일의 무게에 해당하는 등급을 확인하고, 한 과일의 등급을 확인된 등급으로 결정할 수 있다.
907 단계에서, 제어부(101)는 한 과일에 대한 다수의 영상 데이터들을 분석하여 다수의 불량 특징 확신도들을 결정한다. 즉, 제어부(101)는 다수의 영상 데이터들에 대응하는 다수의 불량 특징 확신도들을 결정한다.
909 단계에서, 제어부(101)는 결정된 다수의 불량 특징 확신도들 중 하나가 미리 지정된 기준 불량 특징 확신도 이상인지 여부를 확인한다. 예를 들면, 기준 불량 특징 확신도는 90퍼센트일 수 있다.
확인 결과, 다수의 불량 특징 확신도들 중 하나가 기준 불량 특징 확신도 이상이면, 제어부(101)는 911 단계로 진행한다. 이와 달리, 다수의 불량 특징 확신도들 모두가 기준 불량 특징 확신도 미만이면, 제어부(101)는 915 단계로 진행한다.
911 단계에서, 제어부(101)는 해당 과일을 불량 상태로 결정한다. 913 단계에서, 제어부(101)는 과일 분류부(113)를 통해 해당 과일을 불량 영역으로 이동시킨다. 이때, 제어부(101)는 표시부(107)를 통해 해당 과일의 등급과 다수의 불량 특징 확신도들과 불량 특징이 투영된 과일 영상 데이터들을 표시한다.
915 단계에서, 제어부(101)는 해당 과일을 정상 상태로 결정한다. 917 단계에서, 제어부(101)는 과일 분류부(113)를 통해 해당 과일을 결정된 등급에 대응하는 정상 영역으로 이동시킨다. 이때, 제어부(101)는 표시부(107)를 통해 해당 과일의 등급과 다수의 불량 특징 확신도들을 표시한다.
이후에, 제어부(101)는 다수의 과일들에 대한 식별 결과 데이터를 생성하고, 통신부(109)를 통해 생성된 식별 결과 데이터를 사용자의 휴대 단말기로 전송한다.
이러한 동작을 통해, 본 발명의 일 실시 예는 인력과 비용을 최소화하면서 과일을 식별할 수 있다. 그리고 본 발명의 일 실시 예는 정확성 및 일관성을 가지면서 과일을 식별할 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다. 예를 들면, 본 발명의 일 실시 예에서는 과일을 식별하는 것으로 설명하였으나, 이에 한정되지 않는다. 예를 들면, 본 발명의 일 실시 예에서는 과일뿐만 아니라 농림산물을 식별할 수 있다.
101: 제어부 103: 메모리
105: 영상 획득부 107: 표시부
109: 통신부 111: 과일 투입부
113: 과일 분류부 115: 과일 이동부
117: 과일 회전부
201: 과일 영상 추출부 203: 과일 크기 식별부
205: 인공지능부
105: 영상 획득부 107: 표시부
109: 통신부 111: 과일 투입부
113: 과일 분류부 115: 과일 이동부
117: 과일 회전부
201: 과일 영상 추출부 203: 과일 크기 식별부
205: 인공지능부
Claims (10)
- 적어도 하나의 과일을 촬영하여 다수의 제1 영상을 생성하는 영상 획득부; 및
상기 다수의 제1 영상에서 과일만 추출된 다수의 제2 영상을 생성하고, 상기 다수의 제2 영상을 기반으로, 상기 과일의 무게를 결정하고 상기 결정된 무게를 기반으로 상기 과일의 등급을 결정하고, 상기 다수의 제1 영상을 분석하여 다수의 불량 특징 확신도를 결정하고, 상기 결정된 다수의 불량 특징 확신도를 미리 지정된 기준 불량 특징 확신도와 비교하고, 상기 비교 결과를 기반으로, 상기 과일의 불량 또는 정상 상태를 결정하는 제어부를 포함하며,
상기 제어부는, 딥러닝 학습 알고리즘으로 구축된 인공지능부를 제어하여, 상기 다수의 제1 영상 중에서 하나의 제1 영상을 처리하여 최종 특징 채널을 생성하고, 상기 최종 특징 채널에 채널별 완전 연결 계층(Fully connected layer)의 가중치를 곱하여 불량 특징 투영도를 생성하고, 상기 하나의 제1 영상에 상기 생성된 불량 특징 투영도를 합성하여 불량 특징이 투영된 과일 영상 데이터(이하, 불량 특징 투영도 이미지)를 생성하고, 상기 불량 특징 투영도 이미지를 기반으로 상기 불량 특징 확신도를 결정하고,
불량 특징 투영도 이미지의 각 픽셀의 RGB 채널값 중에서 G 채널값을 전부 더한 값을 전체 픽셀 숫자로 나누어 특징 평균값을 결정하고, 상기 결정된 특징 평균값에 Softmax를 적용하여 상기 불량 특징 확신도를 결정하는 것을 특징으로 하는,
과일 식별 장치.
- 제1항에 있어서,
상기 제어부는,
상기 과일을 불량 상태로 결정하고, 상기 다수의 불량 특징 확신도가 모두 상기 기준 불량 특징 확신도 미만이면, 상기 과일이 정상 상태인 것으로 결정하고,
상기 다수의 불량 특징 확신도 중 적어도 하나가 상기 기준 불량 특징 확신도 이상인 경우 상기 과일이 불량 상태인 것으로 결정하고,
상기 불량 특징 확신도는 과일의 불량 상태에 대한 특징 중 적어도 하나를 포함하고 있다고 확신하는 확률을 의미하는 것이고,
상기 불량 상태는 과일의 상처, 멍, 상함 및 병충해 감염 중 적어도 하나를 포함하는 것인,
과일 식별 장치.
- 삭제
- 삭제
- 제1항에 있어서,
상기 Softmax는 하기 수학식 1인 것으로 특징으로 하는,
과일 식별 장치.
[수학식 1]
, (n= 투영도의 총 개수, i= 투영도의 고유번호, yi= 각 투영도의 특징 평균값, e= 자연상수)
- 제1항에 있어서,
상기 다수의 제1 영상은,
과일 회전부에 의해 회전된 상기 과일의 모든 면이 다수의 카메라를 통해 촬영된 것이고,
상기 제어부는 상기 다수의 카메라가 스테레오 카메라인 경우,
3차원 재건법을 이용하여 상기 다수의 제2 영상을 합성하여 3차원 과일 영상을 생성하고,
상기 생성된 3차원 과일 영상을 이용하여 상기 과일에 대한 부피를 계산하는 것을 특징으로 하는,
과일 식별 장치.
- 제6항에 있어서,
상기 제어부는,
상기 다수의 제2 영상을 기반으로, 상기 과일의 무게를 결정하고 상기 결정된 무게를 기반으로 상기 과일의 등급을 결정하고,
적어도 하나의 과일에 대한 식별 결과 데이터를 사용자의 단말로 전송하는 것을 특징으로 하는,
과일 식별 장치.
- 제7항에 있어서,
상기 제어부는,
상기 다수의 제2 영상을 이용하여 상기 과일의 무게를 계산하고, 상기 계산된 무게와 미리 지정된 과일 무게별 등급표를 기반으로 상기 과일에 대한 등급을 결정하고,
미리 저장된 과일별 밀도표에서 상기 과일의 밀도를 확인하고, 상기 확인된 밀도에 상기 계산된 과일의 부피를 곱하여 상기 과일의 무게를 계산하는 것을 특징으로 하는,
과일 식별 장치.
- 과일 식별 장치에 의해 수행되는,
적어도 하나의 과일이 촬영된 다수의 제1 영상에서 과일만 추출된 다수의 제2 영상을 생성하는 단계;
상기 다수의 제2 영상을 기반으로, 상기 과일의 무게를 결정하고, 상기 결정된 무게를 기반으로 상기 과일의 등급을 결정하는 단계;
상기 다수의 제1 영상을 분석하여 다수의 불량 특징 확신도를 결정하고, 상기 결정된 다수의 불량 특징 확신도를 미리 지정된 기준 불량 특징 확신도와 비교하는 단계; 및
상기 비교 결과를 기반으로, 상기 과일의 불량 또는 정상 상태를 결정하는 단계를 포함하며,
상기 과일 식별 장치는,
딥러닝 학습 알고리즘으로 구축된 인공지능부를 제어하여, 상기 다수의 제1 영상 중에서 하나의 제1 영상을 처리하여 최종 특징 채널을 생성하고, 상기 최종 특징 채널에 채널별 완전 연결 계층(Fully connected layer)의 가중치를 곱하여 불량 특징 투영도를 생성하고, 상기 하나의 제1 영상에 상기 생성된 불량 특징 투영도를 합성하여 불량 특징이 투영된 과일 영상 데이터(이하, 불량 특징 투영도 이미지)를 생성하고, 상기 불량 특징 투영도 이미지를 기반으로 상기 불량 특징 확신도를 결정하고,
불량 특징 투영도 이미지의 각 픽셀의 RGB 채널값 중에서 G 채널값을 전부 더한 값을 전체 픽셀 숫자로 나누어 특징 평균값을 결정하고, 상기 결정된 특징 평균값에 Softmax를 적용하여 상기 불량 특징 확신도를 결정하는 것을 특징으로 하는,
과일 식별 방법.
- 하드웨어인 컴퓨터와 결합되어, 제9항의 방법을 실행시키기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210099577A KR102497722B1 (ko) | 2021-01-15 | 2021-07-29 | 과일을 식별하는 장치 및 방법 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210005676A KR102285603B1 (ko) | 2021-01-15 | 2021-01-15 | 과일을 식별하는 장치 및 방법 |
| KR1020210099577A KR102497722B1 (ko) | 2021-01-15 | 2021-07-29 | 과일을 식별하는 장치 및 방법 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210005676A Division KR102285603B1 (ko) | 2021-01-15 | 2021-01-15 | 과일을 식별하는 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220103607A KR20220103607A (ko) | 2022-07-22 |
| KR102497722B1 true KR102497722B1 (ko) | 2023-02-08 |
Family
ID=77314784
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210005676A KR102285603B1 (ko) | 2021-01-15 | 2021-01-15 | 과일을 식별하는 장치 및 방법 |
| KR1020210099577A KR102497722B1 (ko) | 2021-01-15 | 2021-07-29 | 과일을 식별하는 장치 및 방법 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210005676A KR102285603B1 (ko) | 2021-01-15 | 2021-01-15 | 과일을 식별하는 장치 및 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20240131558A1 (ko) |
| KR (2) | KR102285603B1 (ko) |
| WO (1) | WO2022154519A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102674504B1 (ko) | 2023-05-19 | 2024-06-11 | 독고재영 | 과일의 숙성도 판별 정보를 기반으로 한 물류 처리 방법 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102285603B1 (ko) * | 2021-01-15 | 2021-08-04 | 주식회사 에이오팜 | 과일을 식별하는 장치 및 방법 |
| KR102508829B1 (ko) * | 2022-11-24 | 2023-03-10 | 주식회사 사이언스테크 | 농산물 선별 시스템 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020148620A (ja) * | 2019-03-13 | 2020-09-17 | 株式会社ナベル | 卵分類装置、卵分類方法及びコンピュータプログラム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2957861A1 (en) * | 2014-06-17 | 2015-12-23 | Expert Ymaging, SL | Device and method for automated parameters calculation of an object |
| KR101750858B1 (ko) * | 2015-11-06 | 2017-07-11 | 대한민국 | 결함 검출 시스템 및 결함 검출 방법 |
| KR101839548B1 (ko) * | 2016-12-29 | 2018-03-19 | 한국식품연구원 | 농산물 선별장치 |
| KR102239387B1 (ko) * | 2019-04-30 | 2021-04-12 | 대한민국 | 딸기 품질 판별장치 및 이를 이용한 딸기 품질 판별방법 |
| KR102285603B1 (ko) * | 2021-01-15 | 2021-08-04 | 주식회사 에이오팜 | 과일을 식별하는 장치 및 방법 |
-
2021
- 2021-01-15 KR KR1020210005676A patent/KR102285603B1/ko active IP Right Grant
- 2021-07-29 KR KR1020210099577A patent/KR102497722B1/ko active IP Right Grant
-
2022
- 2022-01-13 WO PCT/KR2022/000645 patent/WO2022154519A1/ko unknown
-
2023
- 2023-07-12 US US18/351,165 patent/US20240131558A1/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020148620A (ja) * | 2019-03-13 | 2020-09-17 | 株式会社ナベル | 卵分類装置、卵分類方法及びコンピュータプログラム |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102674504B1 (ko) | 2023-05-19 | 2024-06-11 | 독고재영 | 과일의 숙성도 판별 정보를 기반으로 한 물류 처리 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022154519A1 (ko) | 2022-07-21 |
| KR102285603B1 (ko) | 2021-08-04 |
| US20240131558A1 (en) | 2024-04-25 |
| KR20220103607A (ko) | 2022-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102497722B1 (ko) | 과일을 식별하는 장치 및 방법 | |
| GB2581626A (en) | Method and system for classifying an object-of-interest using an artificial neural network | |
| US9176989B2 (en) | Image quality analysis for searches | |
| CN110334585A (zh) | 表格识别方法、装置、计算机设备和存储介质 | |
| US10463257B2 (en) | System and method for identifying physical properties of feet | |
| US10950037B2 (en) | Deep novel view and lighting synthesis from sparse images | |
| JP2021522591A (ja) | 三次元実物体を実物体の二次元のスプーフと区別するための方法 | |
| US10943370B2 (en) | Compression of multi-dimensional object representations | |
| KR20200084940A (ko) | Cnn 기반 병해 및 손상 과일 분류 장치 및 방법 | |
| US11308348B2 (en) | Methods and systems for processing image data | |
| US11783192B2 (en) | Hybrid deep learning method for recognizing facial expressions | |
| CN114511820A (zh) | 货架商品检测方法、装置、计算机设备及存储介质 | |
| Gurari et al. | Predicting foreground object ambiguity and efficiently crowdsourcing the segmentation (s) | |
| US20220020176A1 (en) | Detection of a calibration object for modifying image parameters | |
| CN105989571B (zh) | 基于使用结构相似性的图像匹配对计算机视觉预处理进行的控制 | |
| JPWO2020183837A1 (ja) | 計数システム、計数装置、機械学習装置、計数方法、部品配置方法、および、プログラム | |
| EP3664021A1 (en) | Server and method for recognizing image using deep learning | |
| US11470248B2 (en) | Data compression apparatus, model generation apparatus, data compression method, model generation method and program recording medium | |
| KR102424098B1 (ko) | 딥러닝을 이용한 드론 검출 장치 및 방법 | |
| KR20210041328A (ko) | 인공지능 기반 얼굴 인식 장치 및 방법 | |
| Etz et al. | Ground truth for training and evaluation of automatic main subject detection | |
| CN113792801B (zh) | 人脸炫光程度的检测方法、装置、设备及存储介质 | |
| US20220121852A1 (en) | System and method for three dimensional object counting | |
| CN114663299A (zh) | 适用于煤矿井下的图像去雾模型的训练方法及其装置 | |
| US11010903B1 (en) | Computer vision and machine learning techniques for item tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |