KR102504385B1 - 분류의 정확도를 높이는 토마토 운반 대차용 선별 장치 및 그 동작방법 - Google Patents

분류의 정확도를 높이는 토마토 운반 대차용 선별 장치 및 그 동작방법 Download PDF

Info

Publication number
KR102504385B1
KR102504385B1 KR1020210077527A KR20210077527A KR102504385B1 KR 102504385 B1 KR102504385 B1 KR 102504385B1 KR 1020210077527 A KR1020210077527 A KR 1020210077527A KR 20210077527 A KR20210077527 A KR 20210077527A KR 102504385 B1 KR102504385 B1 KR 102504385B1
Authority
KR
South Korea
Prior art keywords
tomato
tomatoes
unit
image
matching
Prior art date
Application number
KR1020210077527A
Other languages
English (en)
Other versions
KR20220168027A (ko
Inventor
김경철
홍영기
최인찬
김국환
권경도
류희석
Original Assignee
대한민국
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대한민국 filed Critical 대한민국
Priority to KR1020210077527A priority Critical patent/KR102504385B1/ko
Publication of KR20220168027A publication Critical patent/KR20220168027A/ko
Application granted granted Critical
Publication of KR102504385B1 publication Critical patent/KR102504385B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/38—Collecting or arranging articles in groups
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/009—Sorting of fruit

Landscapes

  • Sorting Of Articles (AREA)

Abstract

본 발명은 토마토 운반 대차용 선별 장치 및 그 동작 방법에 관한 것으로, 본 발명의 일 실시예에 따른 토마토 운반 대차용 선별 장치는 복수의 토마토를 일 방향으로 이동시키는 이송부, 상기 복수의 토마토의 영상을 획득하는 영상 획득부, 상기 복수의 토마토의 영상에 기초하여, 상기 복수의 토마토 각각을 복수의 그룹들 중 어느 하나의 그룹에 매칭시키는 매칭부, 상기 복수의 토마토 각각에 대한 상기 이송부 상의 위치를 검출하는 위치 검출부, 및 상기 매칭부로부터 획득된 매칭 정보 및 상기 위치 검출부로부터 획득된 위치 정보에 기초하여, 상기 복수의 토마토 각각을 상기 이송부 주변에 배치된 복수의 박스들 중 대응하는 박스로 선별하여 배출하는 선별부를 포함한다.

Description

분류의 정확도를 높이는 토마토 운반 대차용 선별 장치 및 그 동작방법{SORTING DEVICE FOR TOMATO CARRIER OF INCREASES SORTING ACCURACY AND OPERATION METHOD THEREOF}
본 발명은 토마토 운반 대차용 선별 장치 및 그 동작 방법에 관한 것으로, 좀 더 자세하게는 토마토를 자동으로 분류할 수 있는 장치를 대차 혹은 주행 장치에 올려 사용할 수 있도록 하는 장치에 관한 것이다.
일반적으로, 수확된 농산물은 출하되기 전 상품성을 높이기 위해 크기 또는 무게별로 선별된다. 즉, 오이, 가지, 호박, 당근 등과 같은 농산물과 같이 서로 다른 크기의 물품들이 혼합된 상태에서 선별 대상물은 크기에 따라 등급을 나누어 상품으로 유통되는 것이 일반적이며, 등급에 따라 해당 물품의 상품가치 및 판매 가격이 달라지기 때문에 이들을 크기별로 선별하는 선별작업은 물품 가치의 증대 측면에서 매우 중요한 작업이라 할 수 있다.
이런 선별과정에서 객관적인 기준이 마련되지 않아 작업자의 주관적인 판단에 따라 육안으로 농산물을 분류하는 선별과정이 이루어짐에 따라, 다수의 인원을 확보한 상태에서 인력에 의한 선별작업으로 인해 인건비와 작업시간이 과다하게 소요된다는 문제점이 있다.
또한, 농산물 선별장치는 하나의 메인컨베이어에 의해 선별 대상물을 이송하면서 선별부의 제어에 따라 작동되는 로봇 암으로 선별 대상물을 파지하여 선별하는 방식을 채택하고 있기 때문에, 농산물의 선별시 작업량이 많을 경우, 분류되지 못한 농산물이 생길 수 있다. 분류되지 못한 농산물은 컨베이어의 끝에 도달하게 되면 떨어지게 되어 농산물이 망가지게 된다는 문제점이 있다.
본 출원은 토마토를 자동으로 분류함으로써, 정확한 분류가 가능해지도록 하는 토마토 운반 대차용 선별 장치를 제공하는 것에 목적이 있다.
본 발명의 일 실시예에 따른 토마토 운반 대차용 선별 장치는 복수의 토마토를 일 방향으로 이동시키는 이송부, 상기 복수의 토마토의 영상을 획득하는 영상 획득부, 상기 복수의 토마토의 영상에 기초하여, 상기 복수의 토마토 각각을 복수의 그룹들 중 어느 하나의 그룹에 매칭시키는 매칭부, 상기 복수의 토마토 각각에 대한 상기 이송부 상의 위치를 검출하는 위치 검출부, 및 상기 매칭부로부터 획득된 매칭 정보 및 상기 위치 검출부로부터 획득된 위치 정보에 기초하여, 상기 복수의 토마토 각각을 상기 이송부 주변에 배치된 복수의 박스들 중 대응하는 박스로 선별하여 배출하는 선별부를 포함한다.
본 발명의 일 실시예에 있어서, 상기 매칭부는, 상기 복수의 토마토의 영상을 수신하는 영상 수신 모듈, 상기 복수의 토마토의 영상으로부터 상기 복수의 토마토 객체들을 검출하는 객체 검출 모듈, 상기 복수의 토마토 객체 각각의 검출 정확도를 측정하는 검출 정확도 측정 모듈, 및 상기 복수의 토마토 객체 중 상기 검출 정확도 측정 모듈에서 측정된 검출 정확도가 기설정된 객체 검출 임계값 이상인 토마토의 객체에 대한 숙도를 측정하는 숙도 측정 모듈을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 매칭부는 상기 객체 검출 모듈에서 검출되지 않은 토마토 객체들에 대해, 히트맵에 기초하여 상기 토마토 객체를 추가로 검출하는 어텐션 모듈을 더 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 히트맵은 학습된 이미지와 유사한 지점의 일치도를 색깔로 표현할 수 있다.
본 발명의 일 실시예에 있어서, 상기 매칭부는 상기 복수의 토마토 각각의 숙도를 구분하기 위해 상기 복수의 토마토 각각의 외관 상태에 따라 상기 복수의 그룹 중 어느 하나의 그룹에 매칭시킬 수 있다.
본 발명의 일 실시예에 있어서, 상기 복수의 그룹은 제1 내지 제6 그룹을 포함할 수 있으며, 상기 제1 내지 제6 그룹은 각각 녹숙기, 변색기, 최색기, 도색기, 담적색기, 및 완숙기일 수 있다.
본 발명의 일 실시예에 있어서, 상기 숙도 측정 모듈은 상기 복수의 토마토의 영상에서 상기 복수의 토마토 각각의 이미지에 대해 HSV 칼라 값이 기설정된 값 이상 변화되는 부분을 경계로 하여 이미지를 추출하고, 상기 추출된 이미지에 대해서 상기 HSV 칼라 값의 분포 정도를 히스토그램으로 디스플레이할 수 있다.
본 발명의 일 실시예에 있어서, 상기 검출 정확도는 주변 평균값과 상기 토마토의 객체 검출값의 중간으로 설정될 수 있다.
본 발명의 일 실시예에 있어서, 상기 위치 검출부는, 복수의 광센서를 이용하여 상기 이송부에서 상기 복수의 토마토 각각이 지나가는 횟수에 기초하여 상기 복수의 토마토 각각의 위치를 검출할 수 있다.
본 발명의 일 실시예에 있어서, 상기 복수의 광센서는 상기 복수의 토마토 각각이 담길 상기 복수의 박스들의 위치에 대응되도록 배치되고, 상기 이송부의 끝단에 대응되도록 배치될 수 있다.
본 발명의 일 실시예에 있어서, 상기 이송부의 끝단에 대응되도록 배치된 광센서에 상기 복수의 토마토 중 어느 하나가 인식될 경우에는 상기 이송부의 동작을 중지할 수 있다.
본 발명의 일 실시예에 따른 토마토 운반 대차용 선별 장치의 동작 방법은, 이송부가 복수의 토마토를 일 방향으로 이동시키는 단계, 영상 획득부가 상기 복수의 토마토의 영상을 획득하는 단계, 매칭부가 상기 복수의 토마토의 영상에 기초하여, 상기 복수의 토마토 각각을 복수의 그룹들 중 어느 하나의 그룹에 매칭시키는 단계, 위치 검출부가 상기 복수의 토마토 각각에 대한 상기 이송부 상의 위치를 검출하는 단계, 및 상기 매칭부로부터 획득된 매칭 정보 및 상기 위치 검출부로부터 획득된 위치 정보에 기초하여, 상기 복수의 토마토 각각을 상기 이송부 주변에 배치된 복수의 박스들 중 대응하는 박스로 선별하여 배출하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 복수의 토마토 각각을 복수의 그룹들 중 어느 하나의 그룹에 매칭시키는 단계는, 상기 복수의 토마토의 영상을 수신하는 단계, 상기 복수의 토마토의 영상으로부터 상기 복수의 토마토 객체들을 검출하는 단계, 상기 복수의 토마토 객체 각각의 검출 정확도를 측정하는 단계, 및 상기 복수의 토마토 객체 중 상기 검출 정확도 측정 모듈에서 측정된 검출 정확도가 기설정된 객체 검출 임계값 이상인 토마토의 객체에 대한 숙도를 측정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 복수의 토마토 각각을 복수의 그룹들 중 어느 하나의 그룹에 매칭시키는 단계는, 상기 객체들을 검출하는 단계에서 검출되지 않은 토마토 객체들에 대해, 히트맵에 기초하여 상기 토마토 객체를 추가로 검출하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 토마토 운반 대차용 선별 시스템은, 토마토 운반 대차용 선별 장치, 상기 토마토 운반 대차용 선별 장치와 서로 통신이 가능한 서버, 및 상기 서버를 통해 상기 토마토 운반 대차용 선별 장치와 통신이 가능한 사용자 단말기를 포함하고, 상기 토마토 운반 대차용 선별 장치는, 복수의 토마토를 일 방향으로 이동시키는 이송부, 상기 복수의 토마토의 영상을 획득하는 영상 획득부, 상기 복수의 토마토의 영상에 기초하여, 상기 복수의 토마토 각각을 복수의 그룹들 중 어느 하나의 그룹에 매칭시키는 매칭부, 상기 복수의 토마토 각각에 대한 상기 이송부 상의 위치를 검출하는 위치 검출부, 및 상기 매칭부로부터 획득된 매칭 정보 및 상기 위치 검출부로부터 획득된 위치 정보에 기초하여, 상기 복수의 토마토 각각을 상기 이송부 주변에 배치된 복수의 박스들 중 대응하는 박스로 선별하여 배출하는 선별부를 포함한다.
본 발명의 일 실시예에 있어서, 상기 매칭부는, 상기 복수의 토마토의 영상을 수신하는 영상 수신 모듈, 상기 복수의 토마토의 영상으로부터 상기 복수의 토마토 객체들을 검출하는 객체 검출 모듈, 상기 복수의 토마토 객체 각각의 검출 정확도를 측정하는 검출 정확도 측정 모듈, 및 상기 복수의 토마토 객체 중 상기 검출 정확도 측정 모듈에서 측정된 검출 정확도가 기설정된 객체 검출 임계값 이상인 토마토의 객체에 대한 숙도를 측정하는 숙도 측정 모듈을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 매칭부는 상기 객체 검출 모듈에서 검출되지 않은 토마토 객체들에 대해, 히트맵에 기초하여 상기 토마토 객체를 추가로 검출하는 어텐션 모듈을 더 포함할 수 있다.
본 출원의 토마토 운반 대차용 선별 장치는 토마토를 자동으로 분류함으로써, 정확한 분류가 가능해질 수 있다.
도 1은 본 발명의 일 실시예에 따른 토마토 운반 대차용 선별 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 토마토 운반 대차용 선별 장치의 상세도이다.
도 3은 본 발명의 일 실시예에 따른 매칭부의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 어텐션(Attention)모듈의 히트맵(Heat map)을 통한 객체 검출을 예시적으로 나타낸 도면이다.
도 5는 본 발명의 다른 실시예에 따른 매칭부의 블록도이다.
도 6은 본 발명의 일 실시예에 따른 토마토 운반 대차용 선별 장치의 동작방법을 도시한 순서도이다.
도 7은 본 발명의 일 실시예에 따른 분류 단계의 구체적인 동작방법을 도시한 순서도이다.
도 8은 본 발명의 일 실시예에 따른 토마토 운반 대차용 선별 시스템을 스마트 팜에 적용한 예를 나타낸 도면이다.
이하, 첨부된 도면을 참조하여 본 개시를 설명한다. 본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.
본 개시에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 개시에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 토마토 운반 대차용 선별 장치의 블록도이다.
도 1을 참조하면, 토마토 운반 대차용 선별 장치(10)는 이송부(100), 영상 획득부(200), 매칭부(300), 위치 검출부(400), 및 선별부(500)를 포함할 수 있다.
이송부(100)는 복수의 토마토를 일 방향으로 이동시킬 수 있다. 다만, 이는 예시적인 것이며, 본 발명의 기술적 사상은 이에 한정되지 않음이 이해될 것이다. 예를 들어, 이송부(100)가 U자 형태일 경우 이송부(100)는 복수의 토마토를 U자 형태에 맞게 이동시킬 수 있다.
이송부(100)는 복수의 토마토를 복수의 토마토의 영상을 획득하기 위한 영역과 복수의 토마토가 선별될 수 있는 영역으로 이송시킬 수 있다. 예를 들어, 이송부(100)는 복수의 토마토 각각의 영상을 획득하기 위한 영상 획득 영역과 복수의 토마토가 기설정된 기준에 맞게 선별되어 복수의 박스 중 어느 하나에 배출될 수 있도록 하는 선별 영역에 복수의 토마토가 이송될 수 있다.
이송부(100)는 컨베이어 벨트일 수 있다. 다만, 이는 예시적인 것이며, 본 발명의 기술적 사상은 이에 한정되지 않음이 이해될 것이다. 예를 들어, 레일과 같은 복수의 토마토를 이송시킬 수 있는 이송 장치라면 가능할 수 있다.
영상 획득부(200)는 복수의 토마토의 영상을 획득할 수 있다. 영상 획득부(200)는 이송부(100)측을 촬영하는 형태로 설치되어 있을 수 있다. 영상 획득부(200)는 복수의 카메라를 포함할 수 있으며, 복수의 토마토 각각의 영상을 획득할 수도 있고, 복수의 토마토 전체의 영상을 획득할 수 있다.
영상 획득부(200)는 획득한 영상을 매칭부(300)에 송신할 수 있다. 예를 들어, 영상 획득부(200)는 소형PC를 포함하고, 소형PC는 라즈베리파이(Raspberry Pi)일 수 있다. 여기서 소형PC(라즈베리파이(RaspberryPi)는 영상 획득부(200)에서 획득한 토마토 영상을 매칭부(300)로 송신할 수 있다. 영상 획득부(200)의 소형 PC는 생성되는 이미지 데이터에 순차적으로 통신 체크 데이터를 송신할 수 있다. 이에 따라, 데이터의 수신 시에 데이터의 이상 유무를 판단할 수 있다.
매칭부(300)는 복수의 토마토의 영상에 기초하여, 복수의 토마토 각각을 복수의 그룹들 중 어느 하나의 그룹에 매칭시킬 수 있다.
매칭부(300)는 영상 수신 모듈(310), 객체 검출 모듈(330), 어텐션 모듈(350), 검출 정확도 측정 모듈(370), 숙도 측정 모듈(390)을 포함한다.
영상 수신 모듈(310)은 복수의 토마토의 영상을 수신할 수 있고, 객체 검출 모듈(330)은 복수의 토마토의 영상으로부터 상기 복수의 토마토 객체들을 검출할 수 있다. 어텐션 모듈(350)은 객체 검출 모듈(330)에서 검출되지 않은 토마토 객체들에 대해, 히트맵에 기초하여 토마토 객체를 추가로 검출할 수 있으며, 검출 정확도 측정 모듈(370)은 복수의 토마토 객체 각각의 검출 정확도를 측정할 수 있다. 숙도 측정 모듈(390)은 복수의 토마토 객체 중 검출 정확도 측정 모듈(370)에서 측정된 검출 정확도가 기설정된 객체 검출 임계값 이상인 토마토의 객체에 대한 숙도를 측정할 수 있다. 이와 관련하여 구체적인 내용은 도 3에서 후술될 것이다.
위치 검출부(400)는 복수의 토마토 각각에 대한 이송부(100) 상의 위치를 검출할 수 있다. 위치 검출부(400)는 복수의 광센서를 이용하여 복수의 토마토 각각에 대한 이송부(100) 상의 위치를 검출할 수 있다. 예를 들어, 위치 검출부(400)는 복수의 광센서에 복수의 토마토 각각이 지나가는 횟수에 기초하여 위치를 검출할 수 있다. 이와 관련하여, 구체적인 내용은 도 2에서 후술될 것이다.
선별부(500)는 매칭부(300)로부터 획득된 매칭 정보 및 위치 검출부(400)로부터 획득된 위치 정보에 기초하여, 복수의 토마토 각각을 이송부(100) 주변에 배치된 복수의 박스들 중 대응하는 박스로 선별하여 배출할 수 있다. 예를 들어, 선별부(500)는 복수의 토마토 중 하나의 토마토가 매칭부(300)로부터 제5 그룹에 매칭되었다면, 위치 검출부(400)로부터 카운팅 횟수가 5가 되었을 경우에 이에 대응하는 토마토 박스에 토마토를 배출할 수 있다. 이때, 토마토 박스는 복수의 광센서들 사이에 배치되어 있을 수 있다.
상술한 바와 같이, 본 발명의 토마토 운반 대차용 선별 장치(10)는 숙도에 따라 매칭된 매칭 정보 및 이송부(100) 상의 위치 정보에 기초하여, 복수의 토마토 각각을 복수의 박스들 중 대응하는 박스로 선별하여 배출할 수 있다. 이에 따라, 복수의 토마토를 자동으로 분류함으로써, 정확한 분류가 가능해질 수 있다.
좀 더 구체적으로, 본 발명의 토마토 운반 대차용 선별 장치(10)는 복수의 토마토를 일 방향으로 이동시키며, 영상을 획득할 수 있다. 본 발명의 토마토 운반 대차용 선별 장치(10)는 획득된 복수의 토마토 영상에 기초하여, 복수의 토마토 각각을 복수의 그룹 중 어느 하나의 그룹에 매칭시키고, 이송부(100) 상의 위치를 검출한다.
그 결과, 매칭 정보 및 위치 정보에 기초하여 복수의 토마토 각각을 상기 이송부(100) 주변에 배치된 복수의 박스들 중 대응하는 박스로 선별하여 배출할 수 있다. 이에 따라, 복수의 토마토를 자동으로 분류함으로써, 정확한 분류가 가능해질 수 있다.
도 2는 본 발명의 일 실시예에 따른 토마토 운반 대차용 선별 장치의 상세도이다.
도 2를 참조하면, 토마토 운반 대차용 선별 장치(10)는 이송부(100)를 중심으로 하여, 이송부(100)의 일측 및 타측에 위치 검출부가 배치되어 있으며, 이송부(100)의 앞단에는 영상 획득부(200)가 배치되어 있을 수 있다. 이때, 일측의 위치 검출부에는 복수의 광센서의 발광부(410_1~410_N)가 배치되어 있고, 타측의 위치 검출부에는 복수의 광센서의 수광부(420_1~420_N)가 배치되어 있을 수 있다.
선별부의 복수의 선별 장치(510_1~510_N)는 위치 검출부의 일측에 배치된 복수의 광센서 각각의 사이에 위치할 수 있고, 선별부의 복수의 박스들(520_1~520_N)는 각각 위치 검출부의 타측의 아래에 배치될 수 있다. 이때, 복수의 박스들(520_1~520_N)는 복수의 광센서 사이마다 배치될 수 있다.
토마토 운반 대차용 선별 장치(10)는 이송부(100)를 통해 이송되는 복수의 토마토의 영상을 영상 획득부(200)를 통해 획득할 수 있다. 영상 획득부(200)는 획득된 영상을 매칭부로 송신할 수 있다.
매칭부는 복수의 토마토의 영상으로부터 복수의 토마토 객체들을 검출하고, 복수의 토마토 객체들 각각에 대한 검출 정확도와 숙도에 기초하여 토마토를 복수의 그룹 중 적어도 하나의 그룹에 매칭시킬 수 있다. 예를 들어, 복수의 토마토 중 어느 하나의 토마토는 제5 그룹에 매칭될 수 있다.
위치 검출부는 매칭부의 매칭 결과에 기초하여 복수의 토마토 중 어느 하나의 토마토가 해당 그룹의 박스로 배출될 수 있도록 광센서를 이용하여 어느 하나의 토마토의 위치를 파악할 수 있다. 예를 들어, 제1 광센서(410_1, 420_1)가 카운팅 되었다면, 토마토의 위치는 제1 광센서(410_1, 420_1)가 있는 위치라고 검출될 수 있다. 다른 예로, 제3 광센서(410_3, 420_3)가 카운팅 되었다면, 토마토의 위치는 제3 광센서(410_3, 420_3)가 있는 위치라고 검출될 수 있다.
선별부는 매칭부의 매칭 결과 및 위치 검출부의 위치 결과에 기초하여, 복수의 토마토 각각이 해당하는 그룹의 박스로 들어갈 수 있도록 선별하여 배출할 수 있다. 예를 들어, 제1 그룹의 토마토는 제1 박스(520_1)로, 제2 그룹의 토마토는 제2 박스(520_2)로, 제3 그룹의 토마토는 제3 박스(520_3)로, 제4 그룹의 토마토는 제4 박스(520_4)로, 제5 그룹의 토마토는 제5 박스로, 제6 그룹의 토마토는 제6 박스로 배출된다고 가정하고, 매칭부에서 토마토가 제3 그룹에 매칭되었다면, 위치 검출부는 토마토가 제1 광센서(410_1, 420_1), 제2 광센서(410_2, 420_2), 및 제3 광센서(410_3, 420_3) 각각에 한번씩 카운팅 되어 총 3번의 카운팅이 되었을 경우에 해당 박스의 위치에 도달했다고 검출할 수 있다. 이때, 선별부는 제3 선별 장치(510_3)를 이용하여 토마토를 제3 그룹에 대응하는 제3 박스(520_3)로 밀거나 가져올 수 있다.
다른 예로는, 매칭부에서 토마토가 제5 그룹에 매칭되었다면, 위치 검출부는 토마토가 제1 광센서(410_1, 420_1), 제2 광센서(410_2, 420_2), 및 제3 광센서(410_3, 420_3), 제4 광센서, 및 제5 광센서 각각에 한번씩 카운팅 되어 총 5번의 카운팅이 되었을 경우에 해당 박스의 위치에 도달했다고 검출할 수 있다. 이때, 선별부는 제5 선별 장치를 이용하여 토마토를 제5 그룹에 대응하는 제5 박스로 밀거나 가져올 수 있다.
일 실시예에 있어서, 토마토 운반 대차용 선별 장치(10)는 위치 검출부의 제1 광센서(410_1, 420_1)의 전체 카운팅 횟수를 저장하여, 출하량을 카운팅할 수 있다. 복수의 토마토는 복수의 박스로 선별되기 위하여 제1 광센서(410_1, 420_1)를 지나기 때문에, 제1 광센서(410_1, 420_1)의 전체 카운팅 횟수를 이용하여, 출하량을 측정할 수 있다.
일 실시예에 있어서, 토마토 운반 대차용 선별 장치(10)는 대차, 자율 주행 장치와 같은 이동 장치 위에 올려놓고 사용될 수 있다. 이 경우, 토마토 운반 대차용 선별 장치(10) 또는 이동 장치에 거리 센서를 부착하여, 작업자와 일정 거리를 유지하며 추종할 수 있다.
상술한 바와 같이, 본 발명의 토마토 운반 대차용 선별 장치(10)는 숙도에 따라 매칭된 매칭 정보 및 이송부(100) 상의 위치 정보에 기초하여, 복수의 토마토 각각을 복수의 박스들 중 대응하는 박스로 선별하여 배출할 수 있다. 이에 따라, 복수의 토마토를 자동으로 분류함으로써, 정확한 분류가 가능해질 수 있다.
도 3은 본 발명의 일 실시예에 따른 매칭부의 블록도이다.
도 3을 참조하면, 매칭부(300)는 영상 수신 모듈(310), 객체 검출 모듈(330), 어텐션 모듈(350), 검출 정확도 측정 모듈(370), 숙도 측정 모듈(390)을 포함한다.
영상 수신 모듈(310)은 영상 획득부에서 전송된 영상을 수신할 수 있다. 예를 들어, 영상 수신 모듈(310)은 영상 획득부에 장착된 소형PC와 동일한 네트워크를 구성할 수 있다.
영상 수신 모듈(310)은 영상 획득부에서 송신된 이미지 데이터와 통신 체크 데이터로부터, 이미지 데이터와 통신 체크 데이터의 순서를 확인하여 데이터의 이상 유무를 판단할 수 있다.
객체 검출 모듈(330)은 토마토의 영상 또는 이미지 데이터로부터 토마토 객체를 검출할 수 있다. 이때, 토마토의 영상은 복수의 토마토가 전체가 찍힌 영상일 수 있고, 복수의 토마토 중 하나의 토마토가 찍힌 영상일 수도 있다.
예를 들어, 객체 검출 모듈(330)은 영상 수신 모듈(310)에서 수신된 토마토 영상의 개별 이미지 프레임에서 토마토의 존재 유무를 우선적으로 판단할 수 있다. 토마토가 존재할 경우, 객체 검출 모듈(330)은 토마토의 이미지 위치를 산출 표시할 수 있다.
다른 예로, 객체 검출 모듈(330)은 인공지능 모듈을 활용하여 학습된 이미지와 수신된 토마토 영상을 비교하여 이미지 일치 여부를 판단할 수 있다. 이 경우, 객체 검출 모듈(330)은 학습된 이미지 대비 합성곱이 높은 부분을 토마토 객체로 검출할 수 있다.
한편, 객체 검출 모듈(330)은 검출된 토마토 객체의 수량을 카운트하여, 토마토 객체의 전체 수량을 측정할 수도 있다.
어텐션 모듈(350)은 객체 검출 모듈(330)에서 우선적으로 검출된 토마토 객체의 검출 정확도를 추가적으로 향상시킬 수 있다. 즉, 어텐션 모듈(350)은 검출되지 않은 객체들이 있는지 파악하고, 이를 추가로 검출할 수 있다.
예를 들어, 객체 검출 모듈(330)에서는 일치 강도가 높은(학습된 이미지 대비 합성곱이 높은) 부분을 1차적으로 검출하고, 어텐션 모듈(350)은 검출 정확도를 높이기 위해 이미지의 히트맵을 통하여 추가적으로 객체를 검출할 수 있다. 이 경우, 이미지 히트맵은 학습된 이미지와 유사한 지점에 대해 일치도를 색깔로 표현하도록 구현될 수 있다.
이때, 검출 정확도는 영상을 통해 전달되는 이미지에는 토마토의 줄기, 잎, 열매 이외에 다른 이미지는 존재하지 않다고 해도 될 정도로 미비하기 때문에 주변 평균값과 토마토의 객체 검출값의 중간값으로 설정될 수 있다. 다만, 이는 예시적인 것이며, 본 발명의 기술적 사상은 이에 한정되지 않음이 이해될 것이다.
검출 정확도 측정 모듈(370)은 객체 검출 모듈(330) 및 어텐션 모듈(350)에서 검출된 토마토 객체에 대한 검출 정확도를 측정하고, 토마토 객체의 검출 정확도가 기설정된 검출 정확도값 이상인 토마토를 선별할 수 있다.
숙도 측정 모듈(390)은 객체 검출 모듈(330) 및 어텐션 모듈(350)을 통하여 검출된 토마토에 대하서 HSV 칼라 값이 급격하게 변화되는 부분을 경계로 하여 이미지를 추출할 수 있다. 또한, 숙도 측정 모듈(390)은 추출된 이미지에 대해서 HSV 칼라 값의 분포 정도를 히스토그램으로 표현할 수 있다.
이후, 토마토의 숙도를 구분하기 위해, 숙도 측정 모듈(390)은 외관 상태에 따른 제1 내지 제6 그룹으로 구분하여 HSV 칼라 값이 분포하는 비율을 계산하여 숙도를 판정할 수 있다. 이때, 제1 내지 제6 그룹은 각각 녹숙기, 변색기, 최색기, 도색기, 담적색기, 완숙기일 수 있다.
예를 들면, 숙도 측정 모듈(390)은 이하의 표 1과 같이 토마토의 숙도를 측정할 수 있다.
숙도 설명
녹숙기 과피 전체가 녹색
변색기 과실 꼭지점에 주황색이 발현되고, 과피 전체의 10%이하 착색
최색기 과피 전체의 10% 이상에서 30%까지 착색
도색기 과피 전체의 30% 이상에서 60%까지 착색, 과피 전체가 채색되었으나, 매우 연한 색상
담적색기 과피 전체의 60% 이상에서 90%까지 착색, 과실 표면은 분홍빛의 적색
완숙기 과피 전체의 90% 이상 착색됨, 진한 적색
다만, 이는 예시적인 것이며, 본 발명의 기술적 사상은 이에 한정되지 않음이 이해될 것이다.
상술한 바와 같이, 본 출원의 토마토 운반 대차용 선별 장치는 복수의 토마토의 영상으로부터 복수의 토마토 객체들을 검출하고, 복수의 토마토 객체들 각각에 대한 검출 정확도와 숙도에 기초하여 토마토를 복수의 그룹 중 적어도 하나의 그룹에 매칭시킬 수 있다. 이에 따라, 토마토 운반 대차용 선별 장치는 토마토를 자동으로 분류함으로써, 정확한 분류가 가능해질 수 있다.
도 4는 본 발명의 일 실시예에 따른 어텐션(Attention)모듈의 히트맵(Heat map)을 통한 객체 검출을 예시적으로 나타낸 도면이다.
도 4를 참조하면, 히트맵(Heat map)을 통한 객체 검출은, 학습된 이미지와 비교 대상 이미지의 유사한 지점에 대해 일치도를 색깔로 표현한다.
예를 들면, 학습된 이미지와 비교 대상 이미지의 유사도가 높은 지점은 붉은색으로 표현되고 유사도가 낮은 지점은 푸른색으로 표현될 수 있다. 이에 따라, 학습된 이미지의 토마토 이미지와 비교대상 이미지의 토마토 이미지의 히트맵(Heat map) 검출을 통해 객체 검출 모듈에서 검출되지 못한 토마토 객체들이 있는지 파악하고, 이를 추가로 검출할 수 있다.
도 5는 본 발명의 다른 실시예에 따른 매칭부의 블록도이다.
도 5를 참조하면, 매칭부(300_1)는 영상 수신 모듈(310_1), 객체 검출 모듈(330_1), 검출 정확도 측정 모듈(370_1), 및 숙도 측정 모듈(390_1)을 포함한다.
영상 수신 모듈(310_1) 및 객체 검출 모듈(330_1)은 도 3에 개시된 영상 수신 모듈(310) 및 객체 검출 모듈(330)와 유사하다. 따라서, 동일하거나 유사한 구성요소는 동일하거나 유사한 참조번호를 사용하여 표기되었다. 또한, 간략한 설명을 위하여, 중복되는 설명은 이하 생략될 것이다.
검출 정확도 측정 모듈(370_1)은 객체 검출 모듈(330_1)에서만 검출된 토마토 객체에 대한 검출 정확도를 측정하고, 토마토 객체의 검출 정확도가 기설정된 검출 정확도값 이상인 토마토를 선별할 수 있다.
숙도 측정 모듈(390_1)은 검출 정확도 측정 모듈(370_1)에서 선별된 토마토의 숙도를 측정할 수 있다. 예를 들어, 숙도 측정 모듈(390_1)은 객체 검출 모듈(330_1)을 통하여 측정된 토마토에 대해서 HSV 칼라 값이 급격하게 변화되는 부분을 경계로 하여 이미지를 추출할 수 있다. 또한, 숙도 측정 모듈(390_1)은 추출된 이미지에 대해서 HSV 칼라 값의 분포 정도를 히스토그램으로 표현할 수 있다. 이 후, 토마토 의 숙도를 구분하기 위해, 숙도 측정 모듈(390_1)은 외관 상태에 따른 제1 내지 제6 그룹(녹숙기, 변색기, 최색기, 도색기, 담적색기, 완숙기)으로 구분하여 HSV 칼라 값이 분포하는 비율을 계산하여 숙도를 판정할 수 있다.
도 6은 본 발명의 일 실시예에 따른 토마토 운반 대차용 선별 장치의 동작방법을 도시한 순서도이다.
S100 단계는 이송부가 복수의 토마토를 일 방향으로 이동시킨다. 예를 들어, 복수의 토마토를 복수의 토마토의 영상을 획득하기 위한 영역과 복수의 토마토가 선별될 수 있는 영역으로 이송시킬 수 있다.
S200 단계는 영상 획득부가 복수의 토마토의 영상을 획득한다. 예를 들어, 복수의 토마토 각각의 영상을 획득할 수도 있고, 복수의 토마토 전체의 영상을 획득할 수 있다.
S300 단계는 매칭부가 복수의 토마토의 영상에 기초하여, 복수의 토마토 각각을 복수의 그룹들 중 어느 하나의 그룹에 매칭시킨다. 예를 들어, 복수의 토마토의 영상으로부터 복수의 토마토 객체들을 검출하고, 복수의 토마토 객체들 각각에 대한 검출 정확도와 숙도에 기초하여 토마토를 복수의 그룹 중 적어도 하나의 그룹에 매칭시킬 수 있다.
S400 단계는 복수의 토마토 각각에 대한 이송부 상의 위치를 검출한다. 예를 들어, 위치 검출부는 복수의 광센서에 복수의 토마토 각각이 지나가는 횟수에 기초하여 위치를 검출할 수 있다.
S500 단계는 매칭부로부터 획득된 매칭 정보 및 위치 검출부로부터 획득된 위치 정보에 기초하여, 복수의 토마토 각각을 이송부 주변에 배치된 복수의 박스들 중 대응하는 박스로 선별하여 배출한다. 예를 들어, 선별부는 복수의 토마토 중 하나의 토마토가 매칭부로부터 제5 그룹에 매칭되었다면, 위치 검출부로부터 카운팅 횟수가 5가 되었을 경우에 이에 대응하는 토마토 박스에 토마토를 배출할 수 있다. 이때, 토마토 박스는 복수의 광센서들 사이에 배치되어 있을 수 있다.
상술한 바와 같이, 본 발명의 토마토 운반 대차용 선별 장치는 숙도에 따라 매칭된 매칭 정보 및 이송부 상의 위치 정보에 기초하여, 복수의 토마토 각각을 복수의 박스들 중 대응하는 박스로 선별하여 배출할 수 있다. 이에 따라, 복수의 토마토를 자동으로 분류함으로써, 정확한 분류가 가능해질 수 있다.
좀 더 구체적으로, 본 발명의 토마토 운반 대차용 선별 장치는 복수의 토마토를 일 방향으로 이동시키며, 영상을 획득할 수 있다. 본 발명의 토마토 운반 대차용 선별 장치는 획득된 복수의 토마토 영상에 기초하여, 복수의 토마토 각각을 복수의 그룹 중 어느 하나의 그룹에 매칭시키고, 이송부 상의 위치를 검출한다.
그 결과, 매칭 정보 및 위치 정보에 기초하여 복수의 토마토 각각을 상기 이송부 주변에 배치된 복수의 박스들 중 대응하는 박스로 선별하여 배출할 수 있다. 이에 따라, 복수의 토마토를 자동으로 분류함으로써, 정확한 분류가 가능해질 수 있다.
도 7은 본 발명의 일 실시예에 따른 분류 단계의 구체적인 동작방법을 도시한 순서도이다. 다만, 도 7은 복수의 그룹이 제1 내지 6그룹을 포함하는 예시적인 동작 방법일 뿐, 이에 한정되지 않고 복수의 그룹에 따라 동작방법은 달라질 수 있다.
S310 단계는 영상 획득부로부터 복수의 토마토의 영상을 수신한다.
S320 단계는 복수의 토마토 영상으로부터 상기 복수의 토마토 객체들을 검출한다. 예를 들어, 수신된 토마토 영상의 개별 이미지 프레임에서 토마토의 존재 유무를 우선적으로 판단할 수 있다. 토마토가 존재할 경우 토마토의 이미지 위치를 산출 표시할 수 있다.
다른 예로, 인공지능 모듈을 활용하여 학습된 이미지와 수신된 토마토 영상을 비교하여 이미지 일치 여부를 판단할 수 있다. 이 경우, 학습된 이미지 대비 합성곱이 높은 부분을 토마토 객체로 검출할 수 있다.
S330 단계는 객체들을 검출하는 단계에서 검출되지 않은 토마토 객체들에 대해, 히트맵에 기초하여 토마토 객체를 추가로 검출한다. 예를 들어, 검출 정확도를 높이기 위해 이미지의 히트맵을 통하여 추가적으로 객체를 검출할 수 있다. 이 경우, 이미지 히트맵은 학습된 이미지와 유사한 지점에 대해 일치도를 색깔로 표현하도록 구현될 수 있다.
S340 단계는 복수의 토마토 객체 각각의 검출 정확도를 측정하는 단계로, 토마토 검출 정확도가 객체 검출 임계값 이상인지를 판단한다. 토마토 검출 정확도가 객체 검출 임계값 이상일 경우, 숙도를 측정하기 위해, S351 단계로 넘어간다. 반면, 토마토 검출 정확도가 객체 검출 임계값 이상이 아닐 경우, 토마토 객체를 검출하는 S320단계로 다시 돌아간다.
S351 내지 S356 단계는 복수의 토마토 객체 중 검출 정확도 측정 모듈에서 측정된 검출 정확도가 기설정된 객체 검출 임계값 이상인 토마토의 객체에 대한 숙도를 측정한다.
구체적으로, S351 단계는 토마토의 숙도가 제1 그룹에 해당하는지를 판단한다. 토마토의 숙도가 제1 그룹에 해당할 경우, S400 단계로 넘어간다. 반면, 토마토의 속도가 제1 그룹에 해당하지 않을 경우, S352 단계로 넘어간다.
구체적으로, S352 단계는 토마토의 숙도가 제2 그룹에 해당하는지를 판단한다. 토마토의 숙도가 제2 그룹에 해당할 경우, S400 단계로 넘어간다. 반면, 토마토의 속도가 제2 그룹에 해당하지 않을 경우, S353 단계로 넘어간다.
구체적으로, S353 단계는 토마토의 숙도가 제3 그룹에 해당하는지를 판단한다. 토마토의 숙도가 제3 그룹에 해당할 경우, S400 단계로 넘어간다. 반면, 토마토의 속도가 제3 그룹에 해당하지 않을 경우, S354 단계로 넘어간다.
구체적으로, S354 단계는 토마토의 숙도가 제4 그룹에 해당하는지를 판단한다. 토마토의 숙도가 제4 그룹에 해당할 경우, S400 단계로 넘어간다. 반면, 토마토의 속도가 제4 그룹에 해당하지 않을 경우, S355 단계로 넘어간다.
구체적으로, S355 단계는 토마토의 숙도가 제5 그룹에 해당하는지를 판단한다. 토마토의 숙도가 제5 그룹에 해당할 경우, S400 단계로 넘어간다. 반면, 토마토의 속도가 제5 그룹에 해당하지 않을 경우, S356 단계로 넘어간다.
구체적으로, S361 단계는 토마토의 숙도가 제6 그룹에 해당하는지를 판단한다. 토마토의 숙도가 제6 그룹에 해당할 경우, S400 단계로 넘어간다. 반면, 토마토의 속도가 제6 그룹에 해당하지 않을 경우, S340 단계로 넘어간다.
도 8은 본 발명의 일 실시예에 따른 토마토 운반 대차용 선별 시스템을 스마트 팜에 적용한 예를 나타낸 도면이다.
도 8을 참조하면, 토마토 운반 대차용 선별 시스템(1000)은 스마트팜에도 적용 가능하다. 토마토 운반 대차용 선별 시스템(1000)은 토마토 운반 대차용 선별 장치(10), 서버(800), 및 사용자 단말(900)을 포함할 수 있다.
토마토 운반 대차용 선별 장치(10)는 이송부, 영상 획득부, 매칭부, 위치 검출부, 및 선별부를 포함하고, 이송부, 영상 획득부, 매칭부, 위치 검출부, 및 선별부는 도 1에 개시된 이송부(100), 영상 획득부(200), 매칭부(300), 위치 검출부(400), 및 선별부(500)와 동일하므로 자세한 설명은 생략될 것이다.
토마토 운반 대차용 선별 시스템은 서버(800)를 통해 사용자 단말(900)과 통신할 수 있다. 예를 들어, 사용자 단말(900)은 스마트폰(Smartphone), 스마트패드(Smart Pad), 태블릿 PC, 웨어러블 디바이스, PCS(Personal CommunicationSystem), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(PersonalHandyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000,CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(WirelessBroadband Internet) 단말기 같은 모든 종류의 무선 통신 장치, 데스크탑 컴퓨터, 및 스마트 TV와 같은 고정용 단말기일 수도 있다.
서버(800)는 사용자 단말기(900)와 토마토 운반 대차용 선별 장치(10)를 연결하여 서로 통신이 가능하도록 한다.
예를 들어, 토마토 운반 대차용 선별 장치(10)가 비상 정지했을 경우, 서버(800)는 사용자 단말기(900)와 토마토 운반 대차용 선별 장치(10)를 연결하여, 토마토 운반 대차용 선별 장치(10)로부터 사용자 단말기(900)에 비상 정지 알림을 제공할 수 있다.
상술한 바와 같이, 본 발명의 토마토 운반 대차용 선별 시스템은 토마토 운반 대차용 선별 장치(10)를 포함함으로써, 숙도에 따라 매칭된 매칭 정보 및 이송부 상의 위치 정보에 기초하여, 복수의 토마토 각각을 복수의 박스들 중 대응하는 박스로 선별하여 배출할 수 있다. 이에 따라, 복수의 토마토를 자동으로 분류함으로써, 정확한 분류가 가능해질 수 있다.
이상에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술 분야에 통상의 지식을 갖는 자라면, 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.
10 : 토마토 운반 대차용 선별 장치
100 : 이송부
200 : 영상 획득부
300, 300_1 : 매칭부
310, 310_1 : 영상 수신 모듈
330, 330_1 : 객체 검출 모듈
350 : 어텐션 모듈
370, 370_1 : 검출 정확도 측정 모듈
390, 390_1 : 숙도 측정 모듈
400 : 위치 검출부
410_1~410_N : 광센서의 발광부
420_1~420_N : 광센서의 수광부
500 : 선별부
510_1~510_N : 선별 장치
520_1~520_N : 박스

Claims (18)

  1. 복수의 토마토를 일 방향으로 이동시키는 이송부;
    상기 복수의 토마토의 영상을 획득하는 영상 획득부;
    상기 복수의 토마토의 영상에 기초하여, 상기 복수의 토마토 각각을 복수의 그룹들 중 어느 하나의 그룹에 매칭시키는 매칭부;
    상기 복수의 토마토 각각에 대한 상기 이송부 상의 위치를 검출하는 위치 검출부; 및
    상기 매칭부로부터 획득된 매칭 정보 및 상기 위치 검출부로부터 획득된 위치 정보에 기초하여, 상기 복수의 토마토 각각을 상기 이송부 주변에 배치된 복수의 박스들 중 대응하는 박스로 선별하여 배출하는 선별부를 포함하고,
    상기 매칭부는,
    상기 복수의 토마토의 영상을 수신하는 영상 수신 모듈;
    상기 복수의 토마토의 영상으로부터 상기 복수의 토마토 객체들을 검출하는 객체 검출 모듈;
    상기 복수의 토마토 객체 각각의 검출 정확도를 측정하는 검출 정확도 측정 모듈; 및
    상기 복수의 토마토 객체 중 상기 검출 정확도 측정 모듈에서 측정된 검출 정확도가 기설정된 객체 검출 임계값 이상인 토마토의 객체에 대한 숙도를 측정하는 숙도 측정 모듈을 포함하는, 토마토 운반 대차용 선별 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 매칭부는,
    상기 객체 검출 모듈에서 검출되지 않은 토마토 객체들에 대해, 히트맵에 기초하여 상기 토마토 객체를 추가로 검출하는 어텐션 모듈을 더 포함하는, 토마토 운반 대차용 선별 장치.
  4. 제3항에 있어서,
    상기 히트맵은 학습된 이미지와 유사한 지점의 일치도를 색깔로 표현하는, 토마토 운반 대차용 선별 장치.
  5. 제1항에 있어서,
    상기 매칭부는 상기 복수의 토마토 각각의 숙도를 구분하기 위해 상기 복수의 토마토 각각의 외관 상태에 따라 상기 복수의 그룹 중 어느 하나의 그룹에 매칭시키는, 토마토 운반 대차용 선별 장치.
  6. 제5항에 있어서,
    상기 복수의 그룹은 제1 내지 제6 그룹을 포함할 수 있으며,
    상기 제1 내지 제6 그룹은 각각 녹숙기, 변색기, 최색기, 도색기, 담적색기, 및 완숙기인, 토마토 운반 대차용 선별 장치.
  7. 제3항에 있어서,
    상기 숙도 측정 모듈은 상기 복수의 토마토의 영상에서 상기 복수의 토마토 각각의 이미지에 대해 HSV 칼라 값이 기설정된 값 이상 변화되는 부분을 경계로 하여 이미지를 추출하고, 상기 추출된 이미지에 대해서 상기 HSV 칼라 값의 분포 정도를 히스토그램으로 디스플레이 하는, 토마토 운반 대차용 선별 장치.
  8. 제3항에 있어서,
    상기 검출 정확도는 주변 평균값과 상기 토마토의 객체 검출값의 중간으로 설정되는, 토마토 운반 대차용 선별 장치.
  9. 제1항에 있어서,
    상기 위치 검출부는,
    복수의 광센서를 이용하여 상기 이송부에서 상기 복수의 토마토 각각이 지나가는 횟수에 기초하여 상기 복수의 토마토 각각의 위치를 검출하는, 토마토 운반 대차용 선별 장치.
  10. 제9항에 있어서,
    상기 복수의 광센서는 상기 복수의 토마토 각각이 담길 상기 복수의 박스들의 위치에 대응되도록 배치되고, 상기 이송부의 끝단에 대응되도록 배치되는, 토마토 운반 대차용 선별 장치.
  11. 제10항에 있어서,
    상기 이송부의 끝단에 대응되도록 배치된 광센서에 상기 복수의 토마토 중 어느 하나가 인식될 경우에는 상기 이송부의 동작을 중지하는, 토마토 운반 대차용 선별 장치.
  12. 이송부가 복수의 토마토를 일 방향으로 이동시키는 단계;
    영상 획득부가 상기 복수의 토마토의 영상을 획득하는 단계;
    매칭부가 상기 복수의 토마토의 영상에 기초하여, 상기 복수의 토마토 각각을 복수의 그룹들 중 어느 하나의 그룹에 매칭시키는 단계;
    위치 검출부가 상기 복수의 토마토 각각에 대한 상기 이송부 상의 위치를 검출하는 단계; 및
    상기 매칭부로부터 획득된 매칭 정보 및 상기 위치 검출부로부터 획득된 위치 정보에 기초하여, 상기 복수의 토마토 각각을 상기 이송부 주변에 배치된 복수의 박스들 중 대응하는 박스로 선별하여 배출하는 단계를 포함하고,
    상기 복수의 토마토 각각을 복수의 그룹들 중 어느 하나의 그룹에 매칭시키는 단계는,
    상기 복수의 토마토의 영상을 수신하는 단계;
    상기 복수의 토마토의 영상으로부터 상기 복수의 토마토 객체들을 검출하는 단계;
    상기 복수의 토마토 객체 각각의 검출 정확도를 측정하는 단계; 및
    상기 복수의 토마토 객체 중 상기 검출 정확도를 측정하는 단계에서 측정된 검출 정확도가 기설정된 객체 검출 임계값 이상인 토마토의 객체에 대한 숙도를 측정하는 단계를 포함하는, 토마토 운반 대차용 선별 장치의 동작 방법.
  13. 삭제
  14. 제12항에 있어서,
    상기 복수의 토마토 각각을 복수의 그룹들 중 어느 하나의 그룹에 매칭시키는 단계는,
    상기 객체들을 검출하는 단계에서 검출되지 않은 토마토 객체들에 대해, 히트맵에 기초하여 상기 토마토 객체를 추가로 검출하는 단계를 더 포함하는, 토마토 운반 대차용 선별 장치의 동작 방법.
  15. 토마토 운반 대차용 선별 장치;
    상기 토마토 운반 대차용 선별 장치와 서로 통신이 가능한 서버; 및
    상기 서버를 통해 상기 토마토 운반 대차용 선별 장치와 통신이 가능한 사용자 단말기를 포함하고,
    상기 토마토 운반 대차용 선별 장치는,
    복수의 토마토를 일 방향으로 이동시키는 이송부;
    상기 복수의 토마토의 영상을 획득하는 영상 획득부;
    상기 복수의 토마토의 영상에 기초하여, 상기 복수의 토마토 각각을 복수의 그룹들 중 어느 하나의 그룹에 매칭시키는 매칭부;
    상기 복수의 토마토 각각에 대한 상기 이송부 상의 위치를 검출하는 위치 검출부; 및
    상기 매칭부로부터 획득된 매칭 정보 및 상기 위치 검출부로부터 획득된 위치 정보에 기초하여, 상기 복수의 토마토 각각을 상기 이송부 주변에 배치된 복수의 박스들 중 대응하는 박스로 선별하여 배출하는 선별부를 포함하고,
    상기 매칭부는,
    상기 복수의 토마토의 영상을 수신하는 영상 수신 모듈;
    상기 영상으로부터 상기 복수의 토마토 객체들을 검출하는 객체 검출 모듈;
    상기 복수의 토마토 객체 각각의 검출 정확도를 측정하는 검출 정확도 측정 모듈; 및
    상기 복수의 토마토 객체 중 상기 검출 정확도 측정 모듈에서 측정된 검출 정확도가 기설정된 객체 검출 임계값 이상인 토마토의 객체에 대한 숙도를 측정하는 숙도 측정 모듈을 포함하는, 토마토 운반 대차용 선별 시스템.
  16. 삭제
  17. 제15항에 있어서,
    상기 매칭부는,
    상기 객체 검출 모듈에서 검출되지 않은 토마토 객체들에 대해, 히트맵에 기초하여 상기 토마토 객체를 추가로 검출하는 어텐션 모듈을 더 포함하는, 토마토 운반 대차용 선별 시스템.
  18. 제15항에 있어서,
    상기 토마토 운반 대차용 선별 장치는 비상 정지시에 상기 사용자 단말기에 비상 정지 알림을 제공하는, 토마토 운반 대차용 선별 시스템.
KR1020210077527A 2021-06-15 2021-06-15 분류의 정확도를 높이는 토마토 운반 대차용 선별 장치 및 그 동작방법 KR102504385B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210077527A KR102504385B1 (ko) 2021-06-15 2021-06-15 분류의 정확도를 높이는 토마토 운반 대차용 선별 장치 및 그 동작방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210077527A KR102504385B1 (ko) 2021-06-15 2021-06-15 분류의 정확도를 높이는 토마토 운반 대차용 선별 장치 및 그 동작방법

Publications (2)

Publication Number Publication Date
KR20220168027A KR20220168027A (ko) 2022-12-22
KR102504385B1 true KR102504385B1 (ko) 2023-03-02

Family

ID=84578232

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210077527A KR102504385B1 (ko) 2021-06-15 2021-06-15 분류의 정확도를 높이는 토마토 운반 대차용 선별 장치 및 그 동작방법

Country Status (1)

Country Link
KR (1) KR102504385B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014100709A (ja) * 2014-02-06 2014-06-05 Yanmar Co Ltd 選果機

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0634778U (ja) * 1992-08-26 1994-05-10 有限会社武藤選果機製作所 農産物の選別機
JPH10297754A (ja) * 1997-04-30 1998-11-10 Mitsubishi Heavy Ind Ltd 自動仕分け装置
KR102289455B1 (ko) * 2019-03-07 2021-08-12 김동일 엘리베이터 비상연락 시스템 및 안전관리 어플리케이션이 설치된 엘리베이터 안전관리 단말

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014100709A (ja) * 2014-02-06 2014-06-05 Yanmar Co Ltd 選果機

Also Published As

Publication number Publication date
KR20220168027A (ko) 2022-12-22

Similar Documents

Publication Publication Date Title
US11003958B2 (en) Food quality image classification
KR101928111B1 (ko) 계산대
Gomes et al. Applications of computer vision techniques in the agriculture and food industry: a review
Benalia et al. Computer vision for automatic quality inspection of dried figs (Ficus carica L.) in real-time
JP6790160B2 (ja) インテリジェントマシンのネットワーク
Eissa et al. Understanding color image processing by machine vision for biological materials
Mizushima et al. A low-cost color vision system for automatic estimation of apple fruit orientation and maximum equatorial diameter
US20190385337A1 (en) Article positioning method and system
US20230214982A1 (en) Machine learning-based assessment of food item quality
US20160292539A1 (en) Method for associating objects with object classes and device for sorting objects
Pauly et al. A new method for sorting and grading of mangos based on computer vision system
KR102504385B1 (ko) 분류의 정확도를 높이는 토마토 운반 대차용 선별 장치 및 그 동작방법
US20240062265A1 (en) Ultraviolet light and machine learning-based assessment of food item quality
Pothula et al. Evaluation of a new apple in-field sorting system for fruit singulation, rotation and imaging
KR102496860B1 (ko) 토마토의 출하량 측정 방법 및 그 장치
Bayano-Tejero et al. Cleaning system, batch sorting and traceability between field-industry in the mechanical harvesting of table olives
CN111815240A (zh) 一种具备分类托运式物流系统
Muladi et al. Classification of eligibility consumption of manalagi apple fruit varieties using backpropagation
Zhang et al. Automated infield sorting and handling of apples
Liu et al. Intelligent bamboo part sorting system design via machine vision
KR20120021769A (ko) 센서를 이용한 과실 자동 선별장치
Contreras et al. Classification of fruits using machine vision and collaborative Robotics
Pavithra et al. A random forest based smart fruit counting
US20220164989A1 (en) Ripeness detection system using hue color space and peak finding
Zhirkova et al. Optoelectronic Quality Control of Apples Using Methods of Multidimensional Statistical Analysis in the Frames of Lean Manufacturing Approach

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right