KR102624395B1 - 비전 기반 무의 볼륨 추정 시스템 - Google Patents

Abstract

본 발명은 무의 부피를 추정할 수 있는 시스템에 관한 것으로 본 발명의 일양태에 따르면 비전 기반 무의 볼륨 추정 시스템이 제공되고, 이 시스템은, 컨베이어벨트 상부에 설치되고 무가 컨베이어 벨트 상에서 지나갈 때 무의 이미지를 촬영하기 위한 이미지 촬영 수단; 상기 이미지 촬영 수단에 필요한 광을 제공하기 위한 조명 수단; 및 상기 이미지 촬영 수단을 통해 촬영된 무 이미지를 통해 무의 부피를 추정하기 위한 부피 추정 수단을 포함하고, 상기 이미지 촬영 수단은 무가 컨베이어 상에서 정해진 장소를 지나갈 때 자동으로 이미지를 촬영하도록 구성된다.

Description

비전 기반 무의 볼륨 추정 시스템{VISION-BASED RADISH VOLUME ESTIMATION SYSTEM}

본 발명은 무의 부피를 추정할 수 있는 시스템에 관한 것으로 보다 구체적으로는 비전 기반의 무 볼륨 추정 시스템에 관한 것이다.

현장 특정 작물 관리(SSCM) 또는 정밀 농업(PA)은 작물의 경작지 내 및 경작지 변동성을 포함하기 위해 감지 및 관찰에 의존하는 농업 개념이다. 이는 농장 관리 관행을 촉진하여 투입 비용을 줄이면서 수익 가치를 높일 수 있는 소프트웨어를 개발하는 것을 목표로 한다. PA의 채택은 토지와 물과 같은 자원의 지속 가능한 사용을 촉진하면서 수확량을 증가시키는 주요 동인 중 하나로 확인되었다. 감지 및 컴퓨팅 성능의 기술 발전은 현재의 관행을 보다 정확하고 덜 낭비적으로 만들기 위한 새롭고 혁신적인 도구와 방법의 채택을 통해 점진적으로 생산성의 증가로 이어지고 있다.

보다 구체적으로, 작물 수확량 추정은 농민이 수확물류를 효율적으로 관리하고 손실을 신속하게 설명하는 데 도움이 되는 중요한 SSCM 도구이다. 정확하고 조기 수익률 예측도 무역 및 시장 계획의 핵심이다. 작물 수확량 추정을 위해 크기는 품질 기준을 충족하고 시장 가치를 높이기 위해 모든 농산물에 대한 중요한 매개 변수 중 하나로 사용된다. 농산물의 크기는 상대적으로 측정하기 쉽기 때문에 종종 무게로 표시된다. 예를 들어, 수동 칭량 절차는 디지털 캘리퍼스를 사용하여 수행되지만 프로세스는 사람의 오류가 발생하기 쉽다. 또한 로드 셀의 사용은 지속적인 교정 요구 사항과 높은 기계적 구조 비용으로 인해 시간이 많이 소요되는 것으로 입증되었다. 따라서 수확 중 수확량 모니터링에서 부피를 추정하는 실용적인 접근 방식이 바람직하다.

부피 측정의 두 가지 일반적인 방법은 가스 변위와 물 변위를 포함한다. . 두 방법 모두 실용적이지 않으며 실내에서 수행된다. 더욱이, 물 변위는 농산물에 해로운 영향을 미칠 수 있고 가스 변위는 시간 소모적이라는 단점이 있다. 최근 몇 년 동안 머신 비전은 이미지 분석 및 이미지 처리 절차를 사용하여 농산물의 물리적 속성을 비파괴적으로 결정하는 방법으로서 농업 및 식품 산업에서 점점 더 유용하다는 것이 밝혀졌다. 그러나 비전 카메라의 선택은 대부분의 경우 픽셀 해상도에 따라 달라진다. 픽셀 크기가 작을수록 집광 능력이 줄어들고 노이즈 가능성이 증가하고 동적 범위가 감소한다. 또한 회절로 인한 분해능 손실에 기여할 수 있다.

카메라 선택은 고르지 않은 현장 조건과 불안정한 장면에서 수행되는 비전 기반 수율 모니터링 시스템 응용 프로그램에서 중요한 문제이다. 카메라의 움직임은 캡처된 이미지의 유효 공간 해상도에 영향을 미치는 것으로 알려져 있다. 픽셀 크기를 줄이면 각 픽셀에 입사되는 빛이 줄어들며, 이는 노출 시간을 늘려 감소되는 효과이다. 그러나 노출 시간이 길수록 불안정한 장면에서 카메라 모션 블러가 증가한다. 이전 연구에서 카메라 질량이 감소함에 따라 카메라 움직임이 증가하는 것으로 나타났지만 다양한 수확 조건에서 이 움직임이 이미지 품질에 미치는 영향은 적절한 비전 기반 수확량 모니터링 시스템을 개발하는 데 중요하다. 예를 들어 컨베이어 속도가 증가함에 따라 움직이는 물체에 대한 비전 시스템의 볼륨 예측 정확도가 감소한다. 또한, 진동은 이미지 품질의 열화를 초래하는 것으로 알려져 있다. 따라서 이러한 조건의 영향 평가는 비전 기반 수확량 모니터링 시스템의 핵심이다.

과일 및 채소와 같은 특수 작물의 수확량 모니터링 기술은 수확 방법의 다양성으로 인해 잠재력을 최대한 발휘하지 못했다. 이러한 시스템은 다양한 분야와 수확기 작동 조건을 고려하여 개발되어야 한다. 비전 기반 시스템의 경우 적절한 카메라 선택, 진동과 같은 고르지 않은 필드 조건의 영향, 컨베이어 속도가 이 작업의 핵심 요소이다. 따라서 본 발명의 목적은 실험실 테스트 벤치를 통해 시뮬레이션된 한국 밭의 다양한 수확 조건을 고려한 비전 기반 무의 양 예측 시스템을 개발하는 것이다.

대한민국 공개실용 20-2021-0001665(2021년07월19일)

본 발명의 목적은 실험실 테스트 벤치를 통해 시뮬레이션된 한국 밭의 다양한 수확 조건을 고려한 비전 기반 무의 양 예측 시스템을 제공하는데 있다.

전술한 목적을 달성하기 위해 본 발명의 일양태에 따르면 비전 기반 무의 볼륨 추정 시스템이 제공되고, 이 시스템은,

컨베이어벨트 상부에 설치되고 무가 컨베이어 벨트 상에서 지나갈 때 무의 이미지를 촬영하기 위한 이미지 촬영 수단;

상기 이미지 촬영 수단에 필요한 광을 제공하기 위한 조명 수단; 및

상기 이미지 촬영 수단을 통해 촬영된 무 이미지를 통해 무의 부피를 추정하기 위한 부피 추정 수단을 포함하고,

상기 이미지 촬영 수단은 무가 컨베이어 상에서 정해진 장소를 지나갈 때 자동으로 이미지를 촬영하도록 구성된다.

전술한 양태에서 부피 추정 수단에 의한 부피 추정 동작은,

상기 이미지 촬영 수단으로부터 RGB 이미지를 획득하는 동작;

RGB 이미지에 전처리를 수행하는 동작 - 여기서 전처리 동작은 RGB 이미지로부터 배경을 제거하는 동작을 포함함 - ;

상기 배경이 제거된 이미지로부터 특징점을 추출하는 동작; 및

상기 추출된 특징점을 이용하여 무의 부피를 추정하는 동작을 포함한다.

또한 전술한 어느 하나의 양태에서, 특징점을 추출하는 동작은 무의 면적(A), 너비(W), 편심도(E), 면적비(AR), 조밀함(C), 길이(L), 원형도(C) 및 진원도(R:Roundness)를 포함하고,

면적(A)은 이미지 내의 개체에 있는 픽셀의 총량으로 구해진다.

또한 전술한 어느 하나의 양태에서, 편심도(E)는 타원의 주축을 사용하여 다음의 식으로 계산되고,

λ1은 픽셀 거리로 표현되는 장축 끝점의 차이로서

으로 표기되고

λ2는 픽셀 거리로 표시되는 단축 끝점의 차이로서

로 표기되는

여기서 좌표(X1, Y1) 및 (X2, Y2)는 장축 끝점을 나타내고, 좌표(M2, N2) 및 (M1, N1)은 보조 축 끝점을 나타낸다.

또한 전술한 어느 하나의 양태에서, 진원도(R)은 다음의 식으로 정의되고,

여기서 A는 면적이고 L은 무의 장축이다.

본 발명에 따르면 테스트 벤치를 통해 시뮬레이션된 한국 밭의 다양한 수확 조건을 고려한 비전 기반 무의 양 예측 시스템을 제공할 수 있다.

도 1은 무 질량 측정을 위한 수율 모니터링 테스트 벤치를 나타내는 도면;
도 2는 비전 시스템 설정을 나타내는 도면;
도 3은 카메라 트리거를 위한 회로도를 나타내는 도면;
도 4는 무 모양의 타원형 표현을 나타내는 도면;
도 5는 비전 기반 무 분할 및 볼륨 계산의 흐름도를 나타내는 도면;
도 6은 이미지 처리를 통한 무 크기 특징 추출을 나타내는 도면;
도 7은 무의 부피 예측을 위한 크기 및 모양 특징을 나타내는 도면;
도 8은 진동 테이블에 부착된 회전 블레이드를 나타내는 도면;
도 9는 보정 테스트를 위한 진동 테이블 설정을 나타내는 도면;
도 10은 푸리에 분석을 사용한 이미지 품질 평가의 흐름도를 나타내는 도면;
도 11은 스튜던트화 잔차 플롯을 나타내는 도면;
도 12는 잔차의 정규 확률도를 나타내는 도면;
도 13은 적합 부피에 대한 잔차 도표을 나타내는 도면;
도 14는 물 변위 및 VCXG 이미지에 의한 무 부피 측정 비교을 나타내는 도면;
도 15는 물 변위와 Raspberry-Pi 이미지에 의한 무 부피 측정 비교를 나타내는 도면;
도 16은 진동 테이블 보정을 위해 선택된 세 가지 진동 레벨을 나타내는 도면;
도 17은 무 신호에서 가장 지배적인 주파수를 보여주는 스펙트로그램을 나타내는 도면;
도 18는 다양한 속도에서 이미지의 푸리에 스펙트럼을 나타내는 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되는 실시예를 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이다.

본 명세서에서 본 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 그리고 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 따라서, 몇몇 실시예들에서, 잘 알려진 구성 요소, 잘 알려진 동작 및 잘 알려진 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명되지 않는다.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 그리고, 본 명세서에서 사용된(언급된) 용어들은 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, '포함(또는, 구비)한다'로 언급된 구성 요소 및 동작은 하나 이상의 다른 구성요소 및 동작의 존재 또는 추가를 배제하지 않는다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.

이하 첨부된 도면을 참조하여 본 발명의 실시예에 대해 설명하도록 한다.

테스트 벤치 준비 및 이미지 수집 시스템

- 테스트벤치 본체

- 경사 및 진동 테이블

- 영상획득 시스템 준비

실험은 무 수확의 운전 조건, 특히 컨베이어 속도에 따라 설계 및 구축된 컨베이어 시스템에 대해 수행되었다. 최대 0.20 m/s의 컨베이어 속도는 무 수확 기계에 의해 사용된다. 컨베이어 시스템은 벨트 치수 1700 × 500 mm, 경사 27°, 컨베이어 속도 최대 0.25 m/s로 현대 농업 회사(대한민국 익산)에서 제조했다. 이미지 수집 시스템은 도 1과 같이 테스트 벤치에 구성되었다.

시스템은 실내 라이트박스, GIGE 이미지 획득 프로토콜이 있는 VCXG-15C(미국 바우머) 카메라, Raspberry-Pi 카메라, 형광 광원 및 랩톱 컴퓨터로 구성되고, 랩톱 컴퓨터에는 Python 프로그래밍, Visual Studio, STM32 CubeMX 프로그래밍 소프트웨어 및 하드웨어 트리거링을 위한 근접 센서가 장착되어 있다.

VCXG - 15C 카메라는 빠른 데이터 전송, 더 높은 다이내믹 레인지로 인해 선택되었으며 밝은 영역과 어두운 영역 모두에서 이미지를 캡처할 수 있다. 이러한 요소는 프로젝트의 성격에 필수적이었다. 반면에 라즈베리파이 카메라는 가격이 저렴하고 동적 조명 조건에서 성능을 발휘할 수 있기 때문에 선택되었다. 두 카메라 모두 3채널 RGB 이미지를 캡처할 수 있는 Bayer 필터가 장착되어 있다. 이미지 해상도는 두 카메라 모두에 대해 640 x 480픽셀로 설정되었다. 카메라는 D65 광원을 사용하여 동일한 조명 조건에 노출되었다. 카메라는 컨베이어 표면에서 30cm 떨어진 곳에 설치되었다(도 2(a)). 평면도 이미지를 캡처하기 위해 무 이동에 수직이다. RGB 이미지는 두 카메라에서 자동으로 수집되었으며 도 2(c)와 같이 근접 센서를 사용하여 트리거되었다. 카메라 및 기타 주변 장치에 전원을 공급하기 위해 도 2(b)와 같이 데이터 수집 상자를 구성했다. 도 3은 VCXG 카메라에 대한 자동 트리거링을 위한 근접 센서의 연결을 보여준다.

VCXG-15C 및 Raspberry Pi 카메라에서 수집한 이미지는 각각 노트북 컴퓨터와 SD 카드에 JPEG 형식으로 저장되었다. 두 카메라 모두 컨베이어 속도 0.05m/s, 노출 시간 10000ms에서 예비 실험을 수행했다.

이미지 처리 및 볼륨 추정 알고리즘

부피 계산을 위해 많은 무 샘플을 처리하여 모양에서 가장 작은 곡선을 찾는다. 무는 도 4와 같이 좋은 타원형 피팅 결과를 보였다. 타원은 다음의 식 (1)를 따른다. 무 샘플의 평균 너비/높이는 0.95인 것으로 나타났다.

캡처된 이미지를 처리하고 분석하기 위해 Python 프로그래밍 3.7로 작성된 컴퓨터 프로그램이 개발되었다. 색 분할은 컬러 영상을 이용하여 가능하며 다양한 색 공간에서 수행할 수 있다. 이미지 처리 순서(도 5)와 같이 RGB 색 공간에서 이미지를 처리했다. 각 무의 원래 색상을 회색조로 변환하고 두 번째로 이미지 필터를 사용하여 두 가지 형태학적 기법을 적용했다. 첫 번째는 객체에서 원하지 않는 경계 픽셀을 제거하기 위해 수행되는 침식 작업이다. 두 번째는 팽창으로, 이미지의 개체를 확대하고 개체 안의 작은 구멍을 채운다. 이러한 작업은 OpenCV 기능과 (5x5) 구조화 커널을 사용하여 적용되었다.

그런 다음 농업의 컴퓨터 비전 응용 프로그램에서 널리 사용되는 Gaussian otsu의 임계값을 사용하여 이미지를 임계값으로 지정했다. 적절한 분할을 얻으려면 이미지에 이중 모드 강도 히스토그램이 있어야 한다. 다음으로 도 6과 같이 경계 상자를 그려 크기 특징을 추출하고 모양 특징을 계산하였다. 무로 분류되지 않은 경우 개체 속성이 삭제되었다.

면적(A), 너비(W), 편심도(E), 면적비(AR), 조밀함(C), 길이(L), 원형도(C) 및 진원도(R)가 선택된 특징이다. 면적은 이미지 내의 개체에 있는 픽셀의 총량이다. 이는 볼륨에 대한 일반적인 기능이다.

편심률(E)은 λ1과 λ2의 비율이다. 이는 더 많은 원형 모양의 물체에 대해 더 낮은 이심률이 관찰됨을 의미한다. 편심은 아래와 같이 주축을 사용하여 계산할 수 있다.

λ1은 픽셀 거리로 표현되는 장축 끝점의 차이이다.

좌표(X1, Y1) 및 (X2, Y2)는 장축 끝점을 나타낸다. λ2는 픽셀 거리로 표시되는 단축 끝점의 차이이다.

좌표(M2, N2) 및 (M1, N1)은 보조 축 끝점을 나타낸다.

면적비(AR)는 면적, 길이 및 너비의 함수로 다음 식과 같이 정의되었다.

원형도는 둘레, P 및 면적(A)에서 계산되었다. P는 객체 경계의 길이로 정의된다. N 꼭짓점의 이미지를 고려하면 C= {(xn, yn)}, n = 1, …., N 및 (x1, y1) = (XN, YN)이며, P는 다음과 같이 정의된다.

그런 다음 원형도 C는 다음과 같이 계산된다.

진원도 R은 진원도와 유사하지만 무의 둘레를 따라 불규칙한 경계에 둔감한다. 또한 주요 축도 고려한다. 아래와 같이 정의된다.

여기서 A는 면적이고 L은 무의 장축이다.

밀집도(Compactness)(C)는 둘레가 같은 원 면적에 대한 무 면적 비율로 주어졌다. 추출된 모든 크기 특징과 계산된 형상 매개변수는 도 6에 나와 있다.

다중 선형 회귀 모델 개발(실험 및 분석 절차로 이동)

도 7과 같이 총 8개의 크기와 모양 매개변수를 고려하였으며, 무의 부피를 종속변수로, 다른 모든 선택된 변수를 독립변수로 사용하였다.

실제 부피 측정(실험 및 분석 절차로 이동)

전통적인 부피 측정에서는 물체를 물에 담그고 모든 표면이 잠길 때까지 용기에 넣는다. 변위된 물은 다른 용기에 수집되고 그 부피가 측정되며, 여기서 변위된 물의 부피는 물체의 부피로 간주된다. 이 원리에 의해 초기에 무의 부피를 측정하기 위해 부피 측정 시스템이 설정되었다. 테두리에서 5cm 떨어진 20L 플라스틱 버킷을 통해 5cm 직경의 구멍을 뚫었습니다. 중공 고무 튜브를 구멍을 통해 끼워 넣어 주둥이를 형성하여 변위된 물을 5L 플라스틱 눈금이 있는 비이커에 수집할 수 있도록 했다. 무의 부피를 측정하기 위해 플라스틱 통에 물을 붓고 무를 담그고 여분의 물이 주둥이를 통해 눈금이 있는 비커로 배수될 때까지 무의 부피를 읽는다.

진동 테스트를 위한 진동 테이블 보정(테스트 벤치로 이동)

진동 시스템은 진동 테이블, 전원 및 속도 컨트롤러로 구성된다. 진동 테이블의 치수 및 사양은 표 1에 나와 있다.

처음에는 블레이드 위치가 서로에 대해 조정되었다. 가능한 블레이드 위치는 도 8에 나와 있다. 블레이드는 보정 테스트마다 다른 위치에서 조정되었다. 보정하는 동안 275RPM(분당 회전수)의 일정한 속도가 무작위로 선택되었다. 진동 측정을 위해 3개의 가속도 센서(Model: 356A15, PCB Piezotronics Inc., Depew, NY, USA)를 진동 테이블 상단의 3개 위치에 설치했다(도 9). 가속도 레벨은 3가지 다른 방향(X-세로, Y-횡, Z-수직)에서 측정되었다. 평균 가속도/진동(Aw)은 수학식 3을 사용하여 계산되었다. 식 (4)는 ISO 2631-1의 표준을 기반으로 Aw에서 총 가속도(Av)를 계산하는 데 사용되었다.

(3)

(4)

데이터 수집을 위해 센서는 데이터 수집 모듈(모델: NI USB-6234, National Instruments, Austin, TX, USA) 및 LabVIEW(버전: 2020, National Instruments, TX, USA)와 인터페이스되었다. 1kHz의 샘플링 속도로 수집된 데이터로 총 32개의 교정 테스트가 수행되었다.

진동에서 캡처한 이미지의 이미지 품질 측정(실험 및 분석 절차로 이동)

하중이 가해진 조건에서 무부하 컨베이어 벨트는 현장 조건에서 0.37~0.48m/s2와 1.01~1.66m/s2 사이의 진동을 경험했다(Chowdhury et al., 2020). 따라서 진동 테이블 보정 후 하중 조건 범위 내에서 0.43 m/s2의 진동 수준을 선택했다.

초기 테스트 결과에 따라 진동 테스트를 위해 Raspberry Pi 카메라를 고려했다. 첫 번째 실험에서와 동일한 카메라 설정이 유지되었다. 실험은 컨베이어 벨트의 최소 및 최대 작동 속도 수준에 각각 해당하는 0.05m/s 및 0.25m/s의 두 가지 다른 속도 수준에서 수행되었다.

RaspberrPi 카메라의 이미지 품질을 정량화하기 위해 참조 없는 이미지 품질 평가(NR-QA)(Wang & Bovik, 2006)가 적용되었다. 이미지의 이상적인 버전이 부분적으로 또는 완전히 알려지지 않았기 때문에 이 방법을 채택했다(Leclaire & Moisan, 2015). 정량화는 도 10과 같이 De & Masilamani(2013)가 설명한 단계에 따라 고속 푸리에 변환을 사용하여 각 무 이미지에 대해 식 10에서 계산된 주파수 영역의 이미지 흐림(FM) 정도를 기반으로 했다.

(10)

실험 및 분석 절차

쌍을 이루는 t-검정 및 평균 차이 신뢰 구간 접근 방식을 사용하여 부피 측정값을 비교하고, 특히 두 측정값 간의 유의한 차이를 테스트했다. 또한 측정 간의 일치도는 Bland-Altman 접근법에 의해 플롯되었다. 통계 분석은 모두 SAS(Institute Inc, Campus drive Cary, NC, USA)를 사용하여 수행되었다. 또한 paired t-test와 평균차 신뢰구간 접근법을 사용하여 이미지 품질 측정값을 비교했다. 통계 분석은 모두 SAS(Institute Inc, Campus drive Cary, NC, USA)를 사용하여 수행되었다.

결과

다양한 매개변수 조합을 고려하여 여러 모델이 개발되었다. Akaike 정보 기준(AIC), RMSE(제곱 평균 제곱근) 및 결정 계수를 사용하여 각 카메라 모델에 가장 적합한 모델을 선택했다. 최대 R2, 최소 RMSE 및 AIC를 갖는 MLR 모델이 볼륨 예측에 가장 적합한 모델로 선택되었다. 표 2는 각 카메라 모델에 대해 선택된 기능을 보여준다. 그러나 모델이 신뢰할 수 있으려면 독립변수가 오차항의 독립성, 정규성, 다중공선성 등의 가정을 충족해야 한다. 따라서 이러한 가정에 대해 모델을 평가했다.

오차항의 독립성(실험 및 분석 절차로 이동)

오류의 독립성을 조사하기 위해 표 3과 같이 Dubin and Watson test(DURBIN & WATSON, 1950)를 사용하였다. 이 통계적 검정에 따르면 1.5에서 2.5 사이의 값은 오류 간에 상관관계가 없음을 나타낸다.

이상치 탐지 및 정규성(실험 및 분석 절차로 이동)

이상치는 나머지 데이터 포인트에서 멀리 떨어진 관측치이다. 두 모델 모두에서 가능한 이상치를 감지하기 위해 스튜던트화 잔차 플롯이 사용되었다. 신뢰 구간을 벗어나면 잔차의 크기가 큽니다. 도 11의 플롯을 기반으로 유의미한 이상값이 식별되지 않았다. 정규성을 평가하기 위해 Quantile-quantile plot을 도 12와 같이 작도했다. 도면에서 대부분의 점이 기준선을 따라 떨어지는 것을 보여주므로 데이터는 정규 분포를 나타낸다.

등분산성(실험 및 분석 절차로 이동)

도 13(a)와 13(b)는 두 모델의 적합 부피에 대한 잔차 플롯을 보여준다. 모든 경우에 기준선 주변의 잔차 분포는 오차 분산의 불변성을 나타내는 무작위이다.

다중 공선성(Multicollinearity)(실험 및 분석 절차로 이동)

다중 공선성은 독립 변수 간의 높은 상관 관계의 결과이다. 분산 인플레이션 계수를 사용하여 감지한다. 불안정한 다중 선형 회귀 모델의 경우 계수 추정값의 분산이 크다. 표 4는 선택된 다중 선형 회귀 모델의 예측 변수에 대한 VIF를 보여준다. 종래 연구에 따르면 각 예측 변수에 대해 VIF 값이 10을 초과해서는 안 된다고 말한다. 표 3에서 VIF 값은 5 미만이었다.

영상처리에서 수위변위까지의 체적추정 비교

표 5 및 도 14는 VCXG 카메라 이미지의 체적 측정과 물 변위 방법의 비교를 보여준다. 무 예측과 물 변위 사이의 평균 부피 차이는 물 변위와 비교하여 부피를 과대평가하여 D1 = -43.83 cm3(95% 신뢰 구간: -160.6 및 72.93 cm3)이었다. 체적차의 표준편차는 SD1 = 126.2 cm3이었다. paired t-test 결과는 물 변위법으로 측정한 무의 부피가 VCXG 영상에서 추정한 부피와 크게 다르지 않은 것으로 나타났다(p=0.2411)(Table 5). 이 두 방법 간의 부피 차이는 정규 분포를 따르고 부피 차이의 95%는 95% 일치 한계로 알려진 D1 - 1.96 SD1과 D1 + 1.96SD1 사이에 있을 것으로 예상되었다.

물 변위법과 VCXG 이미지로 측정된 부피의 비교에 대한 일치 한계는 -291.27 및 203.61 cm3에서 계산되었다(도 14(b)). 그 결과 무의 크기가 커질수록 무의 부피가 과대평가된 것으로 나타났다. 이는 카메라와 무 표면 사이의 거리가 줄어들었기 때문일 수 있으며, 무의 크기가 커질수록 효과가 증가한다. 종래 단일 CCD 카메라를 사용하여 수박에 대한 부피 추정과 유사한 결과를 보고했다. 그러나 귤 부피 추정에 대해 대조적인 결과를 보고하였다. 그들의 연구에서 귤 크기는 부피 추정에 영향을 미치지 않았으며 이는 두 대의 CCD 카메라를 사용했기 때문이다.

두 방법 간의 평균 부피 차이는 D2 = 26.23 cm3(95% 신뢰 구간: -43.08 및 95.54 cm3)이었습니다. 체적차의 표준편차는 SD2 = 74.94 cm3이었다. 이 경우 paired t-test 결과 측정된 부피는 물 치환법으로 측정한 부피와 유의한 차이가 없는 것으로 나타났다(P = 0.2982)(Table 6). 이 두 방법을 비교할 때 일치의 95% 한계는 -120.65 및 173.11 cm3에서 계산되었다(도 15b).

VCXG 카메라 결과와 대조적으로 도 15b는 무의 크기가 Raspberry-Pi 이미지를 사용한 부피 추정에 영향을 미치지 않았음을 보여준다. 축소된 카메라 픽셀 크기로 인해 과대 평가의 영향이 줄어들 수 있음을 나타냅니다. 요약하면, VCXG 이미지와 Raspberry Pi 이미지로 무의 부피를 추정한 평균 백분율 차이는 각각 12.81%와 7.05%였습니다.

진동 테이블 교정 수행(실험 및 분석 절차로 이동)

32개의 교정 테스트 데이터가 분석되었다. 분석 후 선택된 진동 수준은 도 16과 같이 0.43, 0.78 및 0.98m/s2였습니다. 마지막으로 0.43m/s2의 진동 수준이 하중 조건에서 현장의 무 수확 조건을 기반으로 한 실험에 대해 고려되었다.

이미지 품질 평가

연구 결과는 고르지 않은 필드 조건, 특히 실험실 테스트 벤치를 사용하여 시뮬레이션된 진동의 영향에서 RaspberryPi 카메라를 사용할 가능성을 보여주었습니다. 이미지 품질 점수 지수는 다른 속도, 동일한 진동 및 노출 시간에서 캡처한 이미지에 대해 결정되었다. 모든 이미지에 대한 이미지 품질 점수는 표 7에 나와 있다.

도 17에서 볼 수 있듯이 진동 데이터의 스펙트로그램은 약 70Hz와 20Hz에서 일관성이 있는 100Hz 미만의 진동 주파수 수준을 보여준다. 이러한 진동은 진폭이 크기 때문에 화질이 저하된다.

대조적으로, 푸리에 분석(도 18)의 결과는 테스트된 두 컨베이어 속도에 대해 원점 주위에 큰 크기의 명확한 링을 보여준다. 종래 연구에서 유사하게 푸리에 변환을 이용하여 홍채 이미지의 품질을 평가하고 푸리에 스펙트럼에서 원점 주위에 큰 크기의 고리가 나타나면 이미지를 양호한 것으로 분류했다. 이 연구는 서로 다른 컨베이어 속도에서 캡처한 무 이미지에 대해 진동 노이즈를 사용하여 두 속도에서 이미지 품질 사이에 명확한 차이가 없는 것과 유사한 결과를 얻었다.

이러한 결과로부터 진동은 0.05m/s 및 0.25m/s 모두에서 캡처된 이미지의 이미지 품질에 거의 영향을 미치지 않았다고 말할 수 있다. 결과는 비교적 낮은 속도로 수확되는 무 수확량 모니터링 시스템의 개발에 유망하다. 본 발명에서 제시한 결과에 기초하여, 우리는 무 수확의 부하 조건에서 경험하는 진동 수준에서 진동 주기가 짧을 가능성이 있다고 주장할 수 있다. 이미지 품질의 저하가 노출 시간(te)과 진동 주기(to)의 비율에 달려 있다고 말한다. 이는 아래 방정식을 사용하여 이 관계를 수학적으로 설명된다.

짧은 진동 주기는 카메라 노출 시간 내에 더 완전한 진동 주기로 이어지며, 따라서 주어진 소산 에너지에 대해 더 작은 블러 반경을 만든다. 따라서 이미지 품질에는 영향을 미치지 않는다.

결론

이 발명에서는 두 개의 다른 카메라 모델에서 무 이미지를 캡처했다. 라즈베리 파이 카메라와 VCXG 카메라. 처음에 이미지는 무의 부피 추정에 대한 성능을 비교하기 위해 동일한 작동 조건에서 촬영되었다. RaspberryPi 및 VCXG 카메라 모델 이미지에서 각각 7% 및 12%의 백분율 오류를 얻었습니다. 이미지 품질에 대한 진동의 영향을 확인하기 위한 추가 테스트에서는 다양한 컨베이어 속도에서 효과가 없는 것으로 나타났다. 본 발명에서는 이런 결과를 바탕으로 픽셀 크기가 작은 카메라 모델의 이미지가 무의 부피 추정을 향상시키고 이미지가 진동 효과의 영향을 덜 받는다고 주장할 수 있다.

이 작업을 확장하기 위해 몇 가지 개선 작업을 수행할 수 있다. 예를 들어, 카메라는 동적 광원을 수용하는 범위가 제한되어 있는 것으로 알려져 있다. 그러나 수확량 모니터링은 매우 동적으로 변하는 실제 자연광 조건에서 수행된다. 본 발명에서는 이 외부 조명을 실내 라이트박스를 이용하여 차단하였지만, 기계 구조에 따라 무채 수확기에 설치할 가능성을 신중히 검토해야 한다. 또한 이 연구의 볼륨 추정은 조명이나 기타 조건에 민감할 수 있는 RGB 색상 정보를 기반으로 했다. 따라서 무의 색을 결정할 가능성이 있는 다른 색 공간을 탐색해야 한다.

체적 추정 정확도를 향상시키기 위해서는 크기 및 모양 특성을 사용하는 다른 기계 학습 예측 방법을 연구해야 한다. 다양한 알고리즘이 개발 및 확장되어 이러한 방법을 사용하는 부피 추정 연구에 대한 이론적 기반을 제공한다. 그러나 기존 연구 결과의 대부분은 보편적이지 않다. 따라서 무에 대한 부피 기반 수확량 모니터링 시스템의 개발은 빛 차단과 같은 현장 제약과 특정 정확한 이미지 처리 방법을 고려해야 한다. 또한 진동으로 인해 이미지 품질이 저하되지 않는 것으로 나타났다. 이것은 비전 기반 수확량 모니터링 시스템에 바람직한 효과이다. 그러나 보다 결정적인 결과를 얻으려면 노출 시간, 컨베이어 속도 및 진동 수준을 다르게 하여 여러 테스트를 수행될 필요성이 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(Digital Signal Processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(Programmable Logic Unit), 마이크로프로세서, 또는 명령(Command)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리요소(Processing Element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(Parallel Processor)와 같은, 다른 처리 구성(Processing Configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(Computer Program), 코드(Code), 명령(Command), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(Collectively)처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(Component), 물리적 장치, 가상 장치(Virtual Equipment), 컴퓨터 저장매체 또는 장치에 구체화(Embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM, DVD와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속하는 것으로 해석되어야만 한다.

Claims (5)

1. 컨베이어벨트 상부에 설치되고 무가 컨베이어 벨트 상에서 지나갈 때 무의 이미지를 촬영하기 위한 이미지 촬영 수단;
   상기 이미지 촬영 수단에 필요한 광을 제공하기 위한 조명 수단; 및
   상기 이미지 촬영 수단을 통해 촬영된 무 이미지를 통해 무의 부피를 추정하기 위한 부피 추정 수단을 포함하고,
   상기 이미지 촬영 수단은 무가 컨베이어 상에서 정해진 장소를 지나갈 때 자동으로 이미지를 촬영하도록 구성되고,
   상기 부피 추정 수단에 의한 부피 추정 동작은,
   상기 이미지 촬영 수단으로부터 RGB 이미지를 획득하는 동작;
   RGB 이미지에 전처리를 수행하는 동작 - 여기서 전처리 동작은 RGB 이미지로부터 배경을 제거하는 동작을 포함함 - ;
   상기 배경이 제거된 이미지로부터 특징점을 추출하는 동작; 및
   상기 추출된 특징점을 이용하여 무의 부피를 추정하는 동작을 포함하고,
   상기 특징점을 추출하는 동작은 무의 면적(A), 너비(W), 편심도(E), 면적비(AR), 조밀함(C), 길이(L), 원형도(C), 진원도(R:Roundness), 및 종횡비(Aspcet ratio) 를 포함하고,
   면적(A)은 이미지 내의 개체에 있는 픽셀의 총량으로 구해지고,
   편심도(E)는 타원의 주축을 사용하여 다음의 식으로 계산되고,
   
   λ1은 픽셀 거리로 표현되는 장축 끝점의 차이로서
   으로 표기되고
   λ2는 픽셀 거리로 표시되는 단축 끝점의 차이로서
   로 표기되는
   여기서 좌표(X1, Y1) 및 (X2, Y2)는 장축 끝점을 나타내고, 좌표(M2, N2) 및 (M1, N1)은 보조 축 끝점을 나타내며,
   진원도(R)은 다음의 식으로 정의되고,
   
   여기서 A는 면적이고 L은 무의 장축이고,
   조밀함(C)은 둘레가 같은 원 면적에 대한 무 면적의 비율로서
   로 정의되고,
   원형도(C)는 둘레, P 및 면적(A)에서 계산되데, P는 객체 경계의 길이로 정의되고, N 꼭짓점의 이미지를 고려하면 C= {(xn, yn)}, n = 1, …., N 및 (x1, y1) = (XN, YN)이며, P는 로 정의되고,
   원형도 C는 로 계산되는 것을 특징으로 하는
   비전 기반 무의 볼륨 추정 시스템.
2. 삭제
3. 삭제
4. 삭제
5. 삭제