KR20230082835A - 인공지능 기반의 과일 선별 장치 - Google Patents

Abstract

본 발명은 인공지능 기반의 과일 선별 장치에 관한 것으로, 대상 과일을 가로 방향 양측 중 어느 한 방향으로 선택적으로 분류하는 과일 선별부와, 상기 과일 선별부의 과일 선별 과정을 제어하는 선별 프로세싱부를 포함하고; 상기 과일 선별부는 상기 대상 과일을 촬영하는 적어도 하나의 카메라 모듈을 갖는 카메라 어셈블리를 포함하고; 상기 선별 프로세싱부는 상기 카메라 모듈에 의해 촬영된 영상을 입력받아 해당 대상 과일의 분류를 위한 추론 결과를 출력하는 인공지능 기반의 분류 모델과, 상기 분류 모델의 추론 결과에 기초하여 해당 대상 과일이 분류되도록 상기 과일 선별부를 제어하는 프로세싱 제어부를 포함하는 것을 특징으로 한다.

Description

인공지능 기반의 과일 선별 장치{APPARATUS FOR SORTING FRUIT BASED ON ARTIFICIAL INTELLIGENCE}

본 발명은 인공지능 기반의 과일 선별 장치에 관한 것으로서, 보다 상세하게는, 선별의 대상이 되는 대상 과일을 촬영한 영상에 기반하여 인공 지능 기반의 분류 모델에 의해 대상 과일을 선별하는 인공지능 기반의 과일 선별 장치에 관한 것이다.

사과 등과 같은 과일의 선별은 생산된 과일을 상품화시키는 공정이다. 수확된 과일을 신선하고 균일하게 선별하여 농산물의 상품적 가치를 향상시킴으로서 부가가치를 높일 수 있는 특성을 지니고 있다.

특히 과일의 선별은 과일 각각 개체의 크기, 무게, 형상, 색깔, 상처 유무 등 과일의 품위를 결정지을 수 있는 요인이 다양하여 선별 기준은 과일의 종류뿐만 아니라 품종 간에도 차이가 있어 이에 따른 등급별 분류가 요구된다. 따라서 상품성을 높이기 위해서는 균일한 선별과 포장을 진행하여야 한다.

일반적으로 과일 선별 과정은 컨베이어를 따라 이동하는 대상 과일을 작업자가 등급별도 분류하는 과정을 거치는데, 근래에는 과일의 크기나 무게별로 자동으로 분류하여 선별하는 과일 선별 장치가 널리 사용되고 있다.

대상 과일을 등급별로 분류하는 기준은 크기나 무게에 따라 분류하는 방법도 있으나, 동일한 크기나 무게에 대해서도 일정 기준의 등급으로 나누어 선별하는 방법도 있다.

그러나, 기존의 크기나 무게 중심의 과일 선별 장치는 크기나 무게로 선별하는데 국한되어 있어, 동일 크기나 무게의 대상 과일을 등급별로 선별하는데에는 한계가 있었다.

이에, 대상 과일을 촬영한 영상을 기반으로 하여, 과일을 선별하는 기술이 제안되고 있는데, 근래에 한국공개특허공보 제10-2020-0084940호에 개시된 'CNN 기반 병해 및 손상 과일 분류 장치 및 방법'과 같이, 딥러닝(Deep learning)과 같은 인공지능 기술을 기반으로, 대상 과일에 대해 촬영된 영상을 이용하여 대상 과일을 분류하는 기술이 제안되고 있다.

이와 같은, 대상 과일을 촬영한 영상을 기반으로 하는 과일 선별 장치의 경우, 영상의 질(Quality)이 분류의 정확도에 영향을 미치게 된다. 과일의 경우, 촬영하는 방향에 따라 흠집과 같이 등급에 영향을 미치는 곳이 촬영되지 않을 수 있어, 정확도가 높은 인공지능 기반 분류 모델을 사용하더라도 정확한 분류가 이루어지지 않을 수 있다.

또한, 동일한 대상 과일이더라도 정부의 시책이나, 해당 년도의 과일의 품질이 달라져, 최상위 등급 기준이 바뀌는 경우가 있는데, 이 경우 기존의 인공지능 기반의 분류 모델은 이에 대응하지 못하는 문제점이 있다.

한국공개특허공보 제10-2020-0084940호

본 발명은 상기와 같은 점을 감안하여 안출된 것으로서, 본 발명의 목적은 간단한 구조의 과일 선별 구조를 이용하면서도 보다 정확한 분류가 가능한 인공지능 기반의 과일 선별 장치를 제공하는데 있다.

또한, 본 발명은 간단한 구조의 과일 선별 구조를 이용하면서도 대상 과일의 등급별로 분류가 가능한 인공지능 기반의 과일 선별 장치를 제공하는데 또 다른 목적이 있다.

그리고, 본 발명은 최상위 등급과 같이 대상 과일을 분류하는 분류 기준 등급이 변경되더라도 능동적으로 대처가 가능한 과일 선별 장치를 제공하는데 또 다른 목적이 있다.

본 발명의 목적은, 본 발명에 따라, 인공지능 기반의 과일 선별 장치에 있어서, 대상 과일을 가로 방향 양측 중 어느 한 방향으로 선택적으로 분류하는 과일 선별부와, 상기 과일 선별부의 과일 선별 과정을 제어하는 선별 프로세싱부를 포함하고; 상기 과일 선별부는 상기 대상 과일을 촬영하는 적어도 하나의 카메라 모듈을 갖는 카메라 어셈블리를 포함하고; 상기 선별 프로세싱부는 상기 카메라 모듈에 의해 촬영된 영상을 입력받아 해당 대상 과일의 분류를 위한 추론 결과를 출력하는 인공지능 기반의 분류 모델과, 상기 분류 모델의 추론 결과에 기초하여 해당 대상 과일이 분류되도록 상기 과일 선별부를 제어하는 프로세싱 제어부를 포함하는 것을 특징으로 하는 인공지능 기반의 과일 선별 장치에 의해서 달성된다.

여기서, 상기 분류 모델은 상기 대상 과일의 유형에 따라 구분되는 복수의 과일 유형별 분류 모델을 포함할 수 있다.

또한, 각각의 상기 과일 유형별 분류 모델은 해당 대상 과일의 분류 기준 등급에 따라 구분되는 복수의 등급별 분류 모델을 포함하고; 상기 분류 기준 등급은 제1 등급으로부터 제N 등급으로 구분되며; 상기 등급별 분류 모델은 제1 등급과 그 외 등급으로 분류하기 위한 제1 등급 분류 모델로부터 제N-1 등급 이상과 그 외 등급으로 분류하기 위한 제N-1 등급 분류 모델까지를 포함할 수 있다.

그리고, 상기 제1 등급 분류 모델은 상기 제1 등급과 그 외 등급의 영상을 입력 학습 데이터로 하고 상기 제1 등급의 영상을 출력 학습 데이터로 하여 학습되어 생성되고; 상기 N-1 등급 분류 모델은 상기 N-1 등급 이상과 상기 N 등급의 영상을 입력 학습 데이터로 하고, 상기 N-1 등급의 영상을 출력 학습 데이터로 하여 학습되어 생성될 수 있다.

그리고, 상기 카메라 모듈은 복수개로 구성되고, 상기 대상 과일의 상부에 상호 상이한 방향에서 상기 대상 과일을 촬영 가능하게 상기 과일 선별부에 설치될 수 있다.

그리고, 각각의 상기 카메라 모듈은 상기 대상 과일이 상기 과일 선별부에서 회전하는 동안 하나의 상기 대상 과일을 적어도 2 회 이상 촬영할 수 있다.

그리고, 상기 분류 모델은 복수의 상기 카메라 모듈 각각에서 촬영된 적어도 2장 이상의 영상을 입력으로 하여, 해당 대상 과일의 분류를 위한 추론 결과를 출력할 수 있다.

본 발명에 따르면, 간단한 구조의 과일 선별 구조를 이용하면서도 보다 정확한 분류가 가능한 인공지능 기반의 과일 선별 장치가 제공된다.

또한, 간단한 구조의 과일 선별 구조를 이용하면서도 대상 과일의 등급별로 분류가 가능한 인공지능 기반의 과일 선별 장치가 제공된다.

그리고, 최상위 등급과 같이 대상 과일을 분류하는 분류 기준 등급이 변경되더라도 능동적으로 대처가 가능한 인공지능 기반의 과일 선별 장치가 제공된다.

도 1은 본 발명의 일 실시예에 따른 과일 선별 장치의 사시도이고,
도 2는 본 발명의 일 실시예에 따른 과일 선별 장치의 측면도이고,
도 3은 본 발명의 일 실시예에 따른 과일 선별 장치의 평면도이고,
도 4는 본 발명의 일 실시예에 따른 과일 선별 장치의 제어블록도이고,
도 5는 본 발명의 일 실시예에 따른 과일 선별 장치의 선별 프로세싱부의 구성의 예를 나타낸 도면이고,
도 6 및 도 7은 본 발명의 일 실시예에 따른 분류 모델의 종류, 학습 과정, 분류 과정을 설명하기 위한 도면이고,
도 8은 도 1의 A 영역을 확대한 도면이고,
도 9 및 도 10은 본 발명의 일 실시예에 따른 과일 선별부의 일부 분해 사시도이고,
도 11은 본 발명의 일 실시예에 따른 카메라 어셈블리의 사시도이고,
도 12는 본 발명의 일 실시예에 따른 카메라 어셈블리의 저면도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부 도면을 참조하여 본 발명에 대해 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 과일 선별 장치(10)의 사시도이고, 도 2는 본 발명의 일 실시예에 따른 과일 선별 장치(10)의 측면도이고, 도 3은 본 발명의 일 실시예에 따른 과일 선별 장치(10)의 평면도이고, 도 4는 본 발명의 일 실시예에 따른 과일 선별 장치(10)의 제어블록도이다.

도 1 내지 도 4를 참조하여 설명하면, 본 발명의 일 실시예에 따른 인공지능 기반의 과일 선별 장치(10)는 과일 선별부(100) 및 선별 프로세싱부(200)를 포함할 수 있다.

본 발명의 실시예에 따른 과일 선별부(100)는 대상 과일(F)를 가로 방향 양측 중 어느 한 방향으로 선택적으로 분류한다. 즉, 본 발명의 실시예에 따른 과일 선별부(100)는 대상 과일을 정(T) 또는 부(F) 두 방향 중 어느 한 방향으로 분류하여, 대상 과일(F)를 두 분류로 분류하게 된다.

여기서, 본 발명의 실시예에 따른 과일 선별부(100)는 대상 과일(F)를 촬영하는 적어도 하나의 카메라 모듈(161, 도 11 및 도 12 참조)을 포함하는 카메라 어셈블리(160)를 포함할 수 있다.

본 발명의 실시예에 따른 과일 선별부(100), 그리고, 카메라 어셈블리(160)의 구성에 대해서는 후술한다.

본 발명의 실시예에 따른 선별 프로세싱부(200)는 과일 선별부(100)의 과일 선별 과정을 제어한다.

도 5는 본 발명의 실시예에 따른 과일 선별 장치(10)의 선별 프로세싱부(200)의 구성의 예를 나타낸 도면이다.

도 5를 참조하여 설명하면, 본 발명의 실시예에 따른 선별 프로세싱부(200)는 분류 모델(210) 및 프로세싱 제어부(220)를 포함할 수 있다. 또한, 선별 프로세싱부(200)는 선별 통신부(240), 영상 디스플레이부(230), 데이터 저장부(260) 및 사용자 입력부(250)를 더 포함하여 구성될 수 있다.

사용자 입력부(250)는 작업자의 조작에 따라 다양한 입력, 예를 들어, 분류 작업 개시 등의 입력 신호를 입력받는다. 여기서, 사용자 입력부(250)는 마우스, 키보드 형태로 마련될 수 있고, 영상 디스플레이부(230)와 화면 터치를 통해 입력되는 터치 입력부를 포함할 수 있다.

데이터 저장부(260)는 카메라 모듈(161)에 의해 촬영된 영상이 저장될 수 있다. 여기서, 데이터 저장부(260)에 의해 저장된 대상 과일(F)에 대한 영상은 추후 전문가나 작업자의 레이블링 과정을 거친 후, 분류 모델(210)의 재학습 등에 사용될 수 있다.

선별 통신부(240)는 선별 프로세싱부(200) 외부와 통신한다. 본 발명의 실시예에서는 선별 통신부(240)가 내부 통신부(241) 및 외부 통신부(242)를 포함하는 것을 예로 한다.

내부 통신부(241)는 본 발명의 실시예에 따른 과일 선별 장치(10)를 구성하는 구성 요소들과의 통신을 수행한다. 예를 들어 내부 통신부(241)는 후술할 선별 회전 구동부(140), 롤러 구동부(150), 제1 컨베이어 구동부(312), 제2 컨베이어 구동부(322), 카메라 모듈(161)과의 통신을 수행한다.

외부 통신부(242)는 본 발명의 실시예에 따른 과일 선별 장치(10)의 외부 디바이스와 통신할 수 있다. 예를 들어, 관리자의 휴대용 디바이스에 설치된 관리 앱과의 통신을 수행하거나, 본 발명의 실시예에 따른 과일 선별 장치(10)를 지원하는 과일 선별 지원 서버(미도시)와의 통신을 수행할 수 있다.

본 발명의 실시예에서는 내부 통신부(241)와 외부 통신부(242)가 구분되는 것으로 설명하고 있으나, 동일한 통신 방식을 통해 내부 및 외부와의 통신이 수행되도록 구성될 수 있음은 물론이다.

본 발명의 실시예에 따른 분류 모델(210)은 카메라 모듈(161)에 의해 촬영된 영상을 입력받아 해당 대상 과일(F)의 분류를 위한 추론 결과를 출력한다. 본 발명의 실시예에서는 분류 모델(210)이 딥러닝(Deep learning)과 같은 인공지능 기반의 추론을 통해 대상 과일(F)을 분류하는 것을 예로 한다.

본 발명의 실시예에 따른 프로세싱 제어부(220)는 앞서 설명한 바와 같이, 과일 선별 장치(10)의 전체 동작을 제어한다. 특히, 프로세싱 제어부(220)는 분류 모델(210)의 추론 결과에 기초하여 해당 대상 과일(F)이 분류되도록 과일 선별부(100)의 후술할 선별 회전 구동부(140)를 제어하게 된다.

여기서, 본 발명의 실시예에 따른 분류 모델(210)은 대상 과일(F)의 유형에 따라 분류되는 복수의 유형별 분류 모델(211a,211b)을 포함할 수 있다. 예를 들어, 사과를 분류하기 위한 제1 과일 분류 모델(211a), 배를 분류하기 위한 제L 과일 분류 모델(211b)을 포함할 수 있다.

즉, 하나의 과일 선별 장치(10)를 이용하여, 다양한 유형의 대상 과일(F)에 대한 분류 모델(210)들을 개별적으로 등록시켜, 대상 과일(F)의 유형에 따라 해당 분류 모델(210)을 이용함으로써, 대상 과일(F)의 유형에 따라 선별을 위한 별도의 장치를 구입하지 않아도 무방하여, 비용을 최소화시킬 수 있다.

또한, 본 발명의 실시예에서는 각각의 과일 유형별 분류 모델(211a,211b)이 해당 대상 과일(F)의 분류 기준 등급에 따라 구분되는 복수의 등급별 분류 모델(211a1,211a2,211a3,211b1,211b2,211b3)을 포함할 수 있다.

도 5에서는 제1 과일 분류 모델(211a)이 제1 등급 분류 모델(211a1) 제2 등급 분류 모델(211a2), 제N-1 등급 분류 모델(211a3)을 포함하여 대상 과일(F)의 분류 기준 등급에 따라 N-1 개의 등급별 분류 모델(211a1,211a2,211a3)을 포함하는 것을 예로 하고 있다. 이 때, 제1 과일 분류 모델(211a)에 해당하는 대상 과일(F)의 분류 기준 등급은 N 등급으로 구분된다.

그리고, 제2 과일 분류 모델(210)이 제1 등급 분류 모델(211b1) 제2 등급 분류 모델(211b2), 제M-1 등급 분류 모델(211b3)을 포함하여 대상 과일(F)의 분류 기준 등급에 따라 M-1 개의 등급별 분류 모델(211b1,211b2,211b3)을 포함하는 것을 예로 하고 있다. 이 때, 제2 과일 분류 모델(210)에 해당하는 대상 과일(F)의 분류 기준 등급은 M 등급으로 구분된다.

도 6을 참조하여 설명하면, 도 6에 도시된 예에서는 대상 과질의 분류 기준 등급이 4 등급을 구분되고, 등급별 분류 모델(211a1,211a2,211a3)이 3개, 즉 제1 등급 분류 모델(211a1), 제2 등급 분류 모델(211a2), 및 제3 등급 분류 모델(211a3)로 구분되는 것을 예로 한다.

그리고, 등급별 분류 모델(211a1,211a2,211a3)의 학습을 위한 학습 데이터는 다음과 같이 구분된다.

○ : 제1 등급에 해당하는 대상 과일(F)에 대한 영상들

◎ : 제2 등급에 해당하는 대상 과일(F)에 대한 영상들

⊙ : 제3 등급에 해당하는 대상 과일(F)에 대한 영상들

● : 제4 등급에 해당하는 대상 과일(F)에 대한 영상들

상기와 같은 학습 데이터에 해당하는 영상들 각각에는 해당 등급이 레이블링된다.

상기와 같이, 학습 데이터가 수집되면, 제1 등급 분류 모델(211a1)은 제1 등급의 대상 과일(F)을 분류하기 위해 학습된다. 도 6에 도시된 바와 같이, 제1 등급에 해당하는 대상 과일(F)에 대한 영상이 예컨대, 정(T)으로, 나머지 등급, 즉 제2 등급, 제3 등급, 제4 등급에 해당하는 대상 과일(F)에 대한 영상이 예컨대, 부(F)로 하는 입력 데이터로 입력되고, 정(T)에 해당하는 제1 등급의 영상을 출력으로 하도록 학습된다.

따라서, 제1 등급 분류 모델(211a1)을 이용하여 과일 선별 장치(10)가 동작하게 되면, 대상 과일(F)이, 제1 등급과 나머지 등급으로 분류된다.

제2 등급 분류 모델(211a2)은 제1 등급과 제2 등급의 대상 과일(F)을 분류하기 위해 학습된다. 도 6에 도시된 바와 같이, 제1 등급 및 제2 등급에 해당하는 대상 과일(F)에 대한 영상이 정(T)으로, 나머지 등급, 즉 제3 등급, 제4 등급에 해당하는 대상 과일(F)에 대한 영상이 부(F)로 하는 입력 데이터로 입력되고, 정(T)에 해당하는 제1 등급 및 제2 등급의 영상을 출력으로 하도록 학습된다.

따라서, 제2 등급 분류 모델(211a2)을 이용하여 과일 선별 장치(10)가 동작하게 되면, 대상 과일(F)이, 제1 등급 및 제2 등급이 하나로, 나머지 제3 등급 및 제4 등급이 다른 하나로 분류될 수 있다.

마찬가지로, 제3 등급 분류 모델(211a3)은 제1 등급, 제2 등급 및 제3 등급의 대상 과일(F)을 분류하기 위해 학습된다. 도 6에 도시된 바와 같이, 제1 등급, 제2 등급, 제3 등급에 해당하는 대상 과일(F)에 대한 영상이 정(T)으로, 나머지 등급인 제4 등급에 해당하는 대상 과일(F)에 대한 영상이 부(F)로 하는 입력 데이터로 입력되고, 정(T)에 해당하는 제1 등급, 제2 등급, 및 제3 등급의 영상을 출력으로 하도록 학습된다.

따라서, 제3 등급 분류 모델(211a3)을 이용하여 과일 선별 장치(10)가 동작하게 되면, 대상 과일(F)이, 제1 등급, 제2 등급, 및 제3 등급이 하나로, 나머지 제4 등급이 다른 하나로 분류될 수 있다.

상기와 같이, 대상 과일(F)에 대한 분류 모델(210)이 제1 등급 분류 모델(211a1), 제2 등급 분류 모델(211a2), 그리고 제3 등급 분류 모델(211a3)로 구분된 상황에서, 본 발명의 실시예에 대한 과일 선별 장치(10)를 이용하여 대상 과일(F)을 분류하는 다양한 방법에 대해, 도 7을 참조하여 설명한다.

일 실시예로, 대상 과일(F)들을 제1 등급, 제2 등급, 제3 등급, 제4 등급, 즉 각 등급별로 분로하고자 할 때, 먼저, 제1 등급 분류 모델(211a1)을 이용하게 되면, 전체 대상 과일(F) 중, 도 7의 (a)에 도시된 바와 같이, 제1 등급에 해당하는 대상 과일(F)이 선별될 수 있다.

그런 다음, 제1 등급 분류 모델(211a1)을 통해 제1 등급이 아닌 것으로 분류된 나머지 대상 과일(F)을 제2 등급 분류 모델(211a2)을 통해 분류하게 되면, 도 7의 (b)에 도시된 바와 같이, 제2 등급에 해당하는 대상 과일(F)이 선별될 수 있다.

그리고, 제2 등급 분류 모델(211a2)을 통해 제2 등급이 아닌 것으로 분류된 나머지 대상 과일(F), 즉 전체 대상 과일(F)에서 제1 등급 및 제2 등급에 해당하는 대상 과일(F)이 이미 선별된 나머지 대상 과일(F)을 제3 등급 분류 모델(211a33)을 통해 분류하게 되면, 도 7의 (c)에 도시된 바와 같이, 제3 등급과 제4 등급으로 분류되어 최종적으로, 대상 과일(F)들이 제1 등급, 제2 등급, 제3 등급 및 제4 등급으로 분류 가능하게 된다.

다른 실시예로, 제2 등급 이상의 대상 과일(F)을 분류하고자 할 때, 즉, 전제 대상 과일(F) 중에, 제1 등급과 제2 등급에 해당하는 대상 과일(F) 만을 분류하고자 할 때에는, 도 7의 (d)에 도시된 바와 같이, 전체 대상 과일(F)을 제2 등급 분류 모델(211a2)을 통해 분류하게 되면, 이를 구현할 수 있게 된다.

상기와 같은 구성을 통해, 본 발명의 실시예에 따른 과일 선별부(100)와 같이, 단지 가로 방향(W) 양측, 즉 대상 과일(F)을 두 가지로만 분류하기 위한 간단한 구조를 갖는 과일 선별 구조를 통해서도, 다양한 등급으로의 분류가 가능하게 된다.

또한, 해마다 정부 시책이나, 그 해 해당 과일의 품질이 달라져, 최상위 등급 기준이 바뀌는 경우에도, 최상위 등급을 분류하기 위한 기준에 해당하는 어느 하나의 모델을 이용하여 분류할 수 있어, 분류 기준 등급의 변동에도 능동적으로 대처가 가능하게 된다.

앞서 설명한 바와 같이, 과일 선별 지원 서버와의 연동을 통해, 본 발명의 실시예에 따른 과일 선별 장치(10)의 작업자가 과일 선별 지원 서버에 접속하여 원하는 분류 모델(210)을 다운로드 받아 사용하게 되면, 모든 분류 모델(210)을 한번에 과일 선별 장치(10)에 등록하지 않더라도 상황에 따라 적용이 가능하게 된다.

다시, 도 1 내지 도 4를 참조하여 본 발명의 일 실시예에 따른 과일 선별 장치(10)의 기구부들의 구성의 예에 대해 설명한다.

본 발명의 실시예에 따른 과일 선별부(100)는 대상 과일(F)을 가로 방향(W) 양측 중 어느 한 방향을 선택적으로 분류한다. 또한, 본 발명의 실시예에 따른 과일 선별 장치(10)는 과일 이송부(300)를 더 포함하여 구성될 수 있다. 여기서, 과일 이송부(300)는 대상 과일(F)을 과일 선별부(100)로 이송시켜 대상 과일(F) 하나씩을 과일 선별부(100)로 이송시킨다. 본 발명의 실시예에 따른 과일 이송부(300)에 대한 상세한 설명은 후술한다.

도 8은 도 1의 A 영역을 확대한 도면이다. 도 9 및 도 10은 본 발명의 일 실시예에 따른 과일 선별부(100)의 일부 분해 사시도이고, 도 11은 본 발명의 일 실시예에 따른 카메라 어셈블리(160)의 사시도이고, 도 12는 본 발명의 일 실시예에 따른 카메라 어셈블리(160)의 저면도이다.

본 발명의 실시예에 따른 과일 선별부(100)는 선별 프레임(110), 선별 회전 부재(120), 한 쌍의 회전 롤러(130), 선별 회전 구동부(140), 롤러 구동부(150), 및 카메라 어셈블리(160)를 포함할 수 있다.

본 발명의 실시예에 따른 선별 프레임(110)은 과일 선별부(100)를 구성하는 선별 회전 부재(120)와 카메라 어셈블리(160) 등의 구성요소를 지지한다. 여기서, 도 1 및 도 2에서는 카메라 어셈블리(160)를 지지하는 선별 프레임(110)이 도시되어 있지 않으나, 카메라 어셈블리(160)의 상부 측에서 카메라 어셈블리(160)를 지지하기 위한 선별 프레임(110)이 배치될 수 있음은 물론이다.

일 예로, 가로, 세로 및 높이 방향(H)으로 빔 형태의 프레임이 상호 연결되어, 전체 지지 구조를 형성하는 메인 프레임을 구성하고, 메인 프레임의 일부가 카메라 어셈블리(160)를 지지하는 선별 프레임(110)으로 기능할 수 있다. 또는 메인 프레임에 카메라 어셈블리(160)를 지지하는 선별 프레임(110)이 고정된 상태로 카메라 어셈블리(160)를 지지하도록 구성될 수 있다.

그리고, 선별 회전 부재(120)를 지지하는 선별 프레임(110)은, 도 8 내지 도 10에 도시된 바와 같이, 메인 프레임에 설치 가능한 형태로 마련되어 선별 회전 부재(120)를 지지한다.

본 발명의 실시예에 따른 선별 회전 부재(120)는 선별 프레임(110)에 세로 방향(L)을 축으로 회전 가능하게 설치된다.

그리고, 한 쌍의 회전 롤러(130)는 선별 회전 부재(120)의 상부 측에 노출된 상태로, 선별 회전 부재(120)에 가로 방향(W) 또는 세로 방향(L)을 축으로 회전 가능하게 설치된다. 본 발명의 실시예에서는 한 쌍의 롤러가 세로 방향(L)을 축으로 회전 가능하게 설치되는 것을 예로 하여 도시하고 있다.

본 발명의 실시예에 따른 선별 회전 구동부(140)는 선별 회전 부재(120)를 세로 방향(L)을 축으로 정역 회전시킨다. 이를 통해, 한 쌍의 회전 롤러(130)에 대상 과일(F)이 안착되는 경우, 선별 프로세싱부(200)의 분류 모델(210)의 추론 결과에 기초하여, 선별 회전 부재(120)가 선별 결과에 따라 가로 방향(W) 양측 중 어느 한 방향으로 회전하도록 선별 회전 구동부(140)를 제어함으로써, 대상 과일(F)을 양측으로 분류 가능하게 된다.

본 발명의 실시예에 따른 한 쌍의 롤러 구동부(150)는 한 쌍의 회전 롤러(130)에 안착된 대상 과일(F)이 회전하도록 한 쌍의 회전 롤러(130) 중 적어도 하나를 회전시킨다. 본 발명의 실시예에서는 롤러 구동부(150)가 한 쌍의 회전 롤러(130) 중 하나에 축 연결되어, 하나의 회전 롤러(130)를 회전시키는 것을 예로 한다.

본 발명의 실시예에 따른 카메라 어셈블리(160)는 적어도 하나의 카메라 모듈(161)을 포함하여 구성될 수 있다. 본 발명의 실시예에서는 3개의 카메라 모듈(161)이 카메라 어셈블리(160)를 구성하는 것을 예로 하는데, 이에 대한 상세한 설명은 후술한다.

본 발명에서는, 카메라 모듈(161)이 한 쌍의 회전 롤러(130)의 회전에 따라 회전하는 대상 과일(F)을 촬영함으로써, 대상 과일(F)을 다양한 방향에서 촬영 가능하게 되어, 후술할 선별 프로세싱부(200)가 카메라 모듈(161)에 의해 촬영된 영상에 기반하여 과일을 선별할 때, 보다 정확한 선별이 가능하게 된다.

상기와 같은 구성에 따라, 앞서 설명한 바와 같이, 선별 프로세싱부(200)는 카메로 모듈에 의해 촬영된 영상에 기초하여, 대상 과일(F)이 분류되도록 선별 회전 구동부(140)를 제어함으로서, 대상 과일(F)이 선별 회전 부재(120)의 가로 방향(W) 양측 중 어느 하나에 선택적으로 분류 가능하게 된다.

한편, 본 발명의 실시예에 따른 한 쌍의 회전 롤러(130)는 가로 방향(W)으로 상호 소정 간격 이격된 상태로 배열된다. 이를 통해, 대상 과일(F)이 한 쌍의 회전 롤러(130) 사이에 안정적으로 안착된 상태에서, 회전 롤러(130)의 회전에 따라 회전하면서 카메라 모듈(161)에 의해 촬영될 수 있다.

또한, 본 발명에서는 각각의 회전 롤러(130)가 중앙 부분으로부터 세로 방향(L) 양측으로 테이퍼진 형상을 갖도록 구성되어, 대상 과일(F)이 보다 안정적으로 안착된 상태로 회전 가능하게 된다. 또한, 테이퍼진 형상에 따라, 선별 회전 부재(120)가 가로 방향(W) 양측 중 어느 한 방향으로 회전할 때, 해당 방향으로 회전 롤러(130)로부터 보다 용이하게 이탈이 가능하게 된다.

여기서, 본 발명의 실시예에서는 선별 회전 부재(120)가 한 쌍의 회전 플레이트(121,122)와, 연결 플레이트(123)를 포함하는 것을 예로 한다.

한 쌍의 회전 플레이트(121,122)는 각각 세로 방향(L)으로 상호 이격된 상태로, 선별 프레임(110)에 회전 가능하게 결합된다. 그리고, 연결 플레이트(123)는 한 쌍의 회전 플레이트(121,122)를 상호 연결한다.

여기서, 본 발명의 실시예에서는 연결 플레이트(123)가 한 쌍의 회전 플레이트(121,122)에 높이 방향(H)으로 중간 부분에서 한 쌍의 회전 플레이트(121,122)를 연결하고, 한 쌍의 회전 롤러(130)가 한 쌍의 회전 플레이트(121,122) 사이에서 연결 플레이트(123)의 상부에 위치하는 것을 예로 한다.

그리고, 한 쌍의 회전 롤러(130)는 연결 플레이트(123)의 상부에서 각각 상호 이격된 한 쌍의 회전 플레이트(121,122)에 회전 가능하게 결합되는 것을 예로 한다.

한편, 본 발명의 실시예에 따른 과일 선별부(100)는 제1 등급 이동부(171) 및 제2 등급 이동부(172)를 더 포함하여 구성될 수 있다.

본 발명의 실시예에 따른 제1 등급 이동부(171) 및 제2 등급 이동부(172)는 과일 선별 부재의 가로 방향(W) 양측에 각각 배치된다. 이를 통해, 과일 선별 부재가 세로 방향(L) 양측 중 어느 일 방향으로 회전하여, 한 쌍의 회전 롤러(130)에 안착된 대상 과일(F)을 한 쌍의 회전 롤러(130)로부터 이탈시키게 되면, 이탈된 대상 과일(F)은 제1 등급 이동부(171) 및 제2 등급 이동부(172) 중 어느 하나를 따라 이동하게 된다.

여기서, 도면에 도시되지 않았으나, 제1 등급 이동부(171) 및 제2 등급 이동부(172)의 말단에는 제1 등급 이동부(171) 및 제2 등급 이동부(172)를 통해 이동하는 대상 과일(F)을 수집하기 위한 수집통이 배치될 수 있다.

한편, 본 발명의 실시에에 따른 카메라 어셈블리(160)는, 도 11 및 도 12에 도시된 바와 같이, 앞서 설명한 복수의 카메라 모듈(161), 카메라 브래킷(162)을 포함할 수 있다. 또한, 카메라 어셈블리(160)는 복수의 조명부(163,164)를 포함할 수 있다.

본 발명의 실시예에 따른 카메라 브래킷(162)은 복수의 카메라 모듈(161)이, 도 9에 도시된 바와 같이, 한 쌍의 회전 롤러(130)의 상부에 상호 상이한 방향에서 대상 과일(F)을 촬영 가능하게 각각의 카메라 모듈(161)을 지지한다.

그리고, 각각의 카메라 모듈(161)은 한 쌍의 회전 롤러(130)가 회전함에 따라 대상 과일(F)이 회전하는 동안 하나의 대상 과일(F)에 대해 적어도 2회 이상 촬영하는 것을 예로 한다. 본 발명에서는 각각의 카메라 모듈(161)이 대상 과일(F)이 회전하는 동안 3회 촬영하여 각각 세장씩이 영상을 획득하여, 총 9장의 대상 과일(F)에 대한 영상이 촬영되는 것을 예로 한다.

즉, 본 발명의 실시예에 따른 분류 모델(210)은 하나의 대상 과일(F)에 대해 총 9장의 영상 세트를 학습 데이터 및 입력 데이터로 사용하도록 구성될 수 있다.

본 발명의 실시예에서는 복수의 카메라 모듈(161)이 다양한 각도에서 대상 과일(F)을 촬영할 수 있도록, 한 쌍의 회전 롤러(130) 상부에서 일정 각도로 이격 배치된 상태로 대상 과일(F)을 주시하며 촬영하는 것을 예로 한다.

일 예로, 도 12에 도시된 바와 같이, 3개의 카메라 모듈(161)이 각각 120ㅀ 간격으로 대상 과일(F)을 중심으로 방사상으로 배치되도록 카메라 브래킷(162)에 설치될 수 있다.

여기서, 복수의 조명부(163,164)는 각각의 카메라 모듈(161) 인근에 배치되는 3개의 제1 카메라 모듈(161)과, 대상 과일(F)의 상부 측에 위치하는 제2 카메라 모듈(161)을 포함하는 것을 예로 한다.

본 발명의 실시예에 따른 제1 조명부(163) 및 제2 조명부(164)는 대상 과일(F)에 광이 집중되지 않고 간접광 형태로 조사되도록, 전면에 확산판과 같은 광을 확산하는 시트가 배치되는 것을 예로 한다.

다시, 도 1 내지 도 3을 참조하여 설명하면, 본 발명의 실시예에 따른 과일 이송부(300)는 제1 컨베이어부(320) 및 제2 컨베이어부(310)를 포함하여 구성될 수 있다.

본 발명의 실시예에 따른 제1 컨베이어부(320)는 세로 방향(L)으로 대상 과일(F)을 이송한다. 그리고, 제2 컨베이어부(310)는 제1 컨베이어부(320)로부터 이송되는 대상 과일(F)을 하나씩 세로 방향(L)으로 과일 선별부(100) 측으로 이송시켜 한 쌍의 회전 롤러(130)에 하나씩의 대상 과일(F)을 안착시킨다.

여기서, 제2 컨베이어부(310)는, 도 8에 도시된 바와 같이, 하나씩의 대상 과일(F)이 안착 가능한 형태로 마련되고, 세로 방향(L)으로 소정 간격 이격된 상태로 배열되는 복수의 과일 트레이(311)를 포함하는 것을 예로 한다. 본 발명에서는, 도 8에 도시된 바와 같이, 인접한 한 쌍씩의 과일 트레이(311)가 하나의 대상 과일(F)을 이동시키도록 반원 형태의 함몰부가 형성되어, 하나의 대상 과일(F)이 인접한 한 쌍의 과일 트레이(311)에 안착된 상태로 이동하는 것을 에로 한다.

또한, 본 발명의 실시예에 따른 제2 컨베이어부(310)는, 도 2에 도시된 바와 같이, 제1 컨베이어부(320)로부터 일정 각도 경사지게 설치되어, 대상 과일(F)을 이동시키는 것을 예로 한다.

그리고, 제2 컨베이어부(310)의 말단은 도 2 및 도 8에 도시된 바와 같이, 그 높이가 한 쌍의 회전 롤러(130)보다 높게 형성되는 것을 예로 한다. 이를 통해, 제2 컨베이어부(310)의 구동에 따라 제2 컨베이어부(310)의 말단에 위치하는 과일 트레이(311) 내의 대상 과일(F)이 한 쌍의 회전 롤러(130)로 낙하하여 한 쌍의 회전 롤러(130)에 안착되는 것을 예로 한다.

여기서, 본 발명의 실시예에 따른 과일 선별 장치(10)는 한 쌍의 회전 롤러(130)로 대상 과일(F)이 이동하는 것을 감지하는 이동 검출 센서(400)를 더 포함하여 구성될 수 있다.

본 발명의 실시예에서는 이동 검출 센서(400)가 제2 컨베이어부(310)의 말단에서 대상 과일(F)이 이동하는 것을 감지하는 것을 예로 한다. 즉, 대상 과일(F)은 이동 검출 센서(400)에 의해 감지된 후, 한 쌍의 회전 롤러(130)로 낙하하게 된다. 본 발명의 실시예에서는 이동 검출 센서(400)는 적외선 센서 등이 적용되는 것을 예로 한다.

본 발명의 실시예에 따른 선별 프로세싱부(200)는, 도 4에 도시된 바와 같이, 제1 컨베이어부(320)를 회전시키는 제1 컨베이어 구동부(312)와, 제1 컨베이어부(320)를 회전시키는 제2 컨베이어 구동부(322)를 제어하여, 제1 컨베이어부(320) 및 제2 컨베이어부(310)를 통해 대상 과일(F)을 과일 선별부(100)로 이송시키게 된다.

도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 제1 컨베이어부(320)와 제2 컨베이어부(310)가 지면으로부터 상부에 위치하는 것을 예로 한다. 이 경우, 작업자가 대상 과일(F)을 제1 컨베이어부(320)에 올려놓을 수 있다. 다른 예로, 과일 이송부(300)가 제3 컨베이어부를 더 포함하여 구성되고, 제3 컨베이어부가 지면으로부터 경사지게 제2 컨베이어부(310)와 연결된 상태로, 작업자가 지면에 놓인 과일 상자로부터 대상 과일(F)을 제3 컨베이어부에 올려 놓아 이송되도록 구성될 수도 있다.

상기와 같은 구성에 따라, 본 발명의 실시예에 따른 과일 선별 장치(10)의 선별 과정에 대해 상세히 설명한다.

먼저, 대상 과일(F)들이 제1 컨베이어부(320) 위에 놓여진 상태에서, 선별 프로세싱부(200)는 대상 과일(F)의 분류를 위해 제1 컨베이어 구동부(312) 및 제2 컨베이어 구동부(322)를 제어하여, 대상 과일(F)들이 제1 컨베이어부(320)를 거쳐 제2 컨베이어부(310)로 이송되도록 제??나다.

그리고, 제2 컨베이어부(310)의 한 쌍의 과일 트레이(311)에 놓여진 대상 과일(F)이 제2 컨베이어부(310)의 말단으로 이동하여 이동 검출 센서(400)에 의해 감지되면, 선별 프로세싱부(200)는 대상 과일(F)이 낙하할 때까지 제2 컨베이어 구동부(322)를 구동시킨 후, 제2 컨베이어 구동부(322)를 정지시킨다. 여기서, 대상 과일(F)이 낙하하는지 여부는 이동 검출 센서(400)의 설치 위치와, 제2 컨베이어 구동부(322)의 회전 속도 등을 고려하여 설정되는 시간을 통해 인식 가능하다. 여기서, 선별 프로세싱부(200)는 대상 과일(F)의 낙하가 인식되는 경우, 제1 컨베이어 구동부(312)의 구동도 정지시킬 수 있다.

선별 프로세싱부(200)가 대상 과일(F)이 낙하여 한 쌍의 회전 롤러(130)에 안착된 것으로 인식되면, 롤러 구동부(150)를 회전시켜 한 쌍의 회전 롤러(130)에 안착된 대상 과일(F)이 회전하도록 한다.

그리고, 대상 과일(F)이 회전하는 동안, 선별 프로세싱부(200)는 카메라 모듈(161)이 기 설정된 횟수, 예컨대 전술한 바와 같이, 3회씩 대상 과일(F)을 촬영하도록 제어하게 된다.

그런 다음, 선별 프로세싱부(200)는 각각의 카메라 모듈(161)에 의해 촬영된 영상을 수신하고, 이를 기반으로 현재 한 쌍의 회전 롤러(130)에 안착된 대상 과일(F)을 판독하여 분류 결과를 도출한다.

그리고, 선별 프로세싱부(200)는 분류 결과에 기반하여, 선별 회전 구동부(140)가 가로 방향(W) 양측 중 어느 일 방향으로 회전하도록 제어하여, 한 쌍의 회전 롤러(130)에 안착된 대상 과일(F)을 어느 일측을 분류하게 된다. 여기서, 선별 프로세싱부(200)는 카메라 모듈(161)에 의한 촬영이 완료된 후 롤러 구동부(150)의 구동을 정지시킬 수 있다.

상기와 같이 하나의 대상 과일(F)에 대한 선별이 완료되면, 앞서 설명한 과정을 반복적으로 수행하여, 전체 대상 과일(F)에 대한 선별 과정을 완료하게 된다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

10 : 과일 선별 장치 100 : 과일 선별부
110 : 선별 프레임 120 : 선별 회전 부재
121,122 : 회전 플레이트 123 : 연결 플레이트
130 : 회전 롤러 140 : 선별 회전 구동부
150 : 롤러 구동부 160 : 카메라 어셈블리
161 : 카메라 모듈 162 : 카메라 브래킷
163 : 제1 조명부 164 : 제2 조명부
171 : 제1 등급 이동부 172 : 제2 등급 이동부
200 : 선별 프로세싱부 210 : 분류 모델
220 : 프로세싱 제어부 230 : 영상 디스플레이부
240 : 선별 통신부 241 : 내부 통신부
242 : 외부 통신부 250 : 사용자 입력부
260 : 데이터 저장부 300 : 과일 이송부
310 : 제2 컨테이너부 311 : 과일 트레이
320 : 제1 컨테이너부 400 : 이동 검출 센서

Claims (7)

1. 인공지능 기반의 과일 선별 장치에 있어서,
   대상 과일을 가로 방향 양측 중 어느 한 방향으로 선택적으로 분류하는 과일 선별부와,
   상기 과일 선별부의 과일 선별 과정을 제어하는 선별 프로세싱부를 포함하고;
   상기 과일 선별부는 상기 대상 과일을 촬영하는 적어도 하나의 카메라 모듈을 갖는 카메라 어셈블리를 포함하고;
   상기 선별 프로세싱부는
   상기 카메라 모듈에 의해 촬영된 영상을 입력받아 해당 대상 과일의 분류를 위한 추론 결과를 출력하는 인공지능 기반의 분류 모델과,
   상기 분류 모델의 추론 결과에 기초하여 해당 대상 과일이 분류되도록 상기 과일 선별부를 제어하는 프로세싱 제어부를 포함하는 것을 특징으로 하는 인공지능 기반의 과일 선별 장치.
2. 제1항에 있어서,
   상기 분류 모델은 상기 대상 과일의 유형에 따라 구분되는 복수의 과일 유형별 분류 모델을 포함하는 것을 특징으로 하는 인공지능 기반의 과일 선별 장치.
3. 제2항에 있어서,
   각각의 상기 과일 유형별 분류 모델은 해당 대상 과일의 분류 기준 등급에 따라 구분되는 복수의 등급별 분류 모델을 포함하고;
   상기 분류 기준 등급은 제1 등급으로부터 제N 등급으로 구분되며;
   상기 등급별 분류 모델은
   제1 등급과 그 외 등급으로 분류하기 위한 제1 등급 분류 모델로부터 제N-1 등급 이상과 그 외 등급으로 분류하기 위한 제N-1 등급 분류 모델까지를 포함하는 것을 특징으로 하는 인공지능 기반의 과일 선별 장치.
4. 제3항에 있어서,
   상기 제1 등급 분류 모델은 상기 제1 등급과 그 외 등급의 영상을 입력 학습 데이터로 하고 상기 제1 등급의 영상을 출력 학습 데이터로 하여 학습되어 생성되고;
   상기 N-1 등급 분류 모델은 상기 N-1 등급 이상과 상기 N 등급의 영상을 입력 학습 데이터로 하고, 상기 N-1 등급 이상의 영상을 출력 학습 데이터로 하여 학습되어 생성되는 것을 특징으로 하는 인공지능 기반의 과일 선별 장치.
5. 제4항에 있어서,
   상기 카메라 모듈은 복수개로 구성되고, 상기 대상 과일의 상부에 상호 상이한 방향에서 상기 대상 과일을 촬영 가능하게 상기 과일 선별부에 설치되는 것을 특징으로 하는 인공지능 기반의 과일 선별 장치.
6. 제5항에 있어서,
   각각의 상기 카메라 모듈은 상기 대상 과일이 상기 과일 선별부에서 회전하는 동안 하나의 상기 대상 과일을 적어도 2 회 이상 촬영하는 것을 특징으로 하는 인공지능 기반의 과일 선별 장치.
7. 제6항에 있어서,
   상기 분류 모델은 복수의 상기 카메라 모듈 각각에서 촬영된 적어도 2장 이상의 영상을 입력으로 하여, 해당 대상 과일의 분류를 위한 추론 결과를 출력하는 것을 특징으로 하는 인공지능 기반의 과일 선별 장치.

Images