KR20240059042A - 인공지능 기반 마늘 꼭지 검출 시스템 - Google Patents
인공지능 기반 마늘 꼭지 검출 시스템 Download PDFInfo
- Publication number
- KR20240059042A KR20240059042A KR1020220139787A KR20220139787A KR20240059042A KR 20240059042 A KR20240059042 A KR 20240059042A KR 1020220139787 A KR1020220139787 A KR 1020220139787A KR 20220139787 A KR20220139787 A KR 20220139787A KR 20240059042 A KR20240059042 A KR 20240059042A
- Authority
- KR
- South Korea
- Prior art keywords
- garlic
- image
- cutting
- stem
- artificial intelligence
- Prior art date
Links
- 235000004611 garlic Nutrition 0.000 title claims abstract description 129
- 238000001514 detection method Methods 0.000 title claims abstract description 58
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 26
- 244000245420 ail Species 0.000 title 1
- 240000002234 Allium sativum Species 0.000 claims abstract description 128
- 238000005520 cutting process Methods 0.000 claims abstract description 59
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000000513 principal component analysis Methods 0.000 claims description 10
- 238000013136 deep learning model Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000013528 artificial neural network Methods 0.000 description 19
- 238000000034 method Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000012549 training Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013145 classification model Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000003306 harvesting Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 241000255925 Diptera Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 마늘 꼭지 검출 시스템에 관한 것으로 보다 구체적으로는 인공지능 또는 딥러닝 기술을 이용하여 마늘 꼭지를 검출할 있는 인공지능 기반 마늘 꼭지 검출 시스템에 관한 것이다. 본 발명의 일양태에 따르면, 컨베이어 벨트 상에서 이동하는 마늘의 꼭지를 검출하기 위한 인공지능 기반 마늘 꼭지 검출 시스템이 제공되고, 상기 시스템은, 컨베이어 벨트 상부에 제공되는 영상 획득부; 및 상기 영상 획득부에서 획득된 마늘 영상으로부터 마늘의 꼭지를 예측하도록 학습된 인공지능기반의 꼭지 검출부를 포함하고, 꼭지 검출부는 마늘 영상으로부터 마늘의 꼭지의 절단 위치 및 절단 각도를 계산하여 꼭지 절단부로 전송하도록 구성된다.
Description
본 발명은 마늘 꼭지 검출 시스템에 관한 것으로 보다 구체적으로는 인공지능 또는 딥러닝 기술을 이용하여 마늘 꼭지를 검출할 있는 인공지능 기반 마늘 꼭지 검출 시스템에 관한 것이다.
국내에서 마늘은 연간 약 40만톤이 생산되며, 1인당 약 8kg을 소비하는, 생산 및 소비 측면에서 전 세계를 기준으로도 상당히 높은 수준의 농작물이다. 마늘의 수확 후 선별기는 통마늘을 취급하는 경우가 많으며, 깐마늘의 경우 산지유통센터에서 알 크기를 기준으로 선별한 후 저장 및 작업 상태가 좋지 않은 것을 최종 포장 단계에서 수작업으로 제거하는 방식을 취하고 있다.
국내 마늘 유통 시장에서 통마늘 거래량은 감소하고 깐마늘 거래량은 증가하고 있는 추세이고, 기존의 깐마늘 선별기는 단순 선별 작업 위주이며, 깐마늘의 수확 후에 꼭지를 절단하는 처리 기술은 수작업으로 진행되어 왔고 마늘 형상의 다양성으로 인해 자동화 기술의 개발에 어려움이 있다.
종래에는 작업자가 일일이 수작업으로 마늘 꼭지를 제거하여야 해서, 마늘 꼭지를 제거하는 데에 많은 시간이 소요되고, 작업자가 정해진 시간에 처리할 수 있는 물량이 한정적임은 물론 과다한 인건비가 발생되어 생산성이 떨어지는 문제가 있고, 수작업으로 인해 꼭지가 제거된 마늘의 품질이 균일하지 못한 문제점이 있었다.
또한 종래 기계적으로 마늘 꼭지를 절단하는 마늘 꼭지 절단 장치를 이용하더라도 이는 개별적인 마늘의 형상을 고려하지 않은 채 동일한 위치에서 마늘 꼭지를 자르는 작업만 진행하여 불필요하게 많은 부위의 마늘을 버리게 되는 부작용이 존재한다는 문제점이 있었다.
본 발명은 전술한 문제점에 기반하여 안출된 발명으로 컨베이어 벨트의 위에 놓여서 이동하는 깐마늘의 꼭지부위(근부, 뿌리부)를 실시간으로 검출하고 꼭지를 절단할 수 있도록 꼭지의 2차원 좌표값과 절단각도를 추출하기 위한 딥러닝 기반의 마늘 꼭지 검출 시스템을 제공하는 것을 목적으로 한다.
전술한 과제를 해결하기 위해 본 발명의 일양태에 따르면, 컨베이어 벨트 상에서 이동하는 마늘의 꼭지를 검출하기 위한 인공지능 기반 마늘 꼭지 검출 시스템이 제공되고, 상기 시스템은,
컨베이어 벨트 상부에 제공되는 영상 획득부; 및
상기 영상 획득부에서 획득된 마늘 영상으로부터 마늘의 꼭지를 예측하도록 학습된 인공지능기반의 꼭지 검출부를 포함하고,
상기 꼭지 검출부는 마늘 영상으로부터 마늘의 꼭지의 절단 위치 및 절단 각도를 계산하여 꼭지 절단부로 전송하도록 구성된다.
전술한 양태에서, 꼭지 검출부는 영상 획득부로부터 마늘을 포함하는 영상을 수신한 후 수신된 영상으로부터 마늘 부분을 추출하기 위한 전처리 동작을 수행하도록 구성된다.
또한 전술한 어느 하나의 양태에서, 전처리 동작은
RGB 색좌표로 이루어진 영상을 HSV 색좌표 영상으로 변환하는 동작; 및
상기 변환된 HSV 색좌표 영상을 2진화 임계 처리하는 동작을 포함한다.
또한 전술한 어느 하나의 양태에서, 꼭지 검출부는 마늘 영상에 대한 전처리 동작을 수행한 후, 마늘 부위에 대한 산점도를 이용하여 주성분 분석(PCA)을 이용하여 마늘을 두방향으로 정렬하는 동작; 딥러닝 모델을 이용하여 마늘 꼭지 방향을 분류하는 동작; 및 꼭지 공간 정보를 추출하기 위해 마늘 영역 산점도를 기반으로 2차 회귀 곡선을 추출하는 동작을 수행하도록 구성된다.
또한 전술한 어느 하나의 양태에서, 딥러닝 모델을 이용하여 마늘 꼭지 방향을 분류하는 동작은 마늘 꼭지의 방향을 상방 및 하방으로 분류하고,
마늘 꼭지가 상방으로 분류된 경우 상기 꼭지 검출부는 상방 10%에 해당하는 값을 회귀 곡선에 대입한 좌표를 절단 좌표로 지정하고 회귀 곡선의 해당점의 접속에 수직인 직선을 절단선으로 지정하고,
마늘 꼭지가 하방으로 분류된 경우 상기 꼭지 검출부는 하방 10%에 해당하는 값을 회귀 곡선에 대입한 좌표를 절단 좌표로 지정하고 회귀 곡선의 해당점의 접속에 수직인 직선을 절단선으로 지정한다.
또한 전술한 어느 하나의 양태에서, 꼭지 검출부는 원본 영상 기준 절단 좌표 및 절단 각도를 꼭지 절단부로 전송하도로 구성된다.
이와 같은 본 발명에 따르면, GPU를 사용하지 않는 저사양 PC를 사용하더라도 0.3초 미만의 절단부 결정 속도를 보여 수작업 대비 최소 3배 이상의 효율성 증대를 보일 수 있다.
또한 국내 농산업 유통 시장에서 고성능 PC를 사용한다는 것은 비용면에서 부담스러울 수 있기 때문에, PC 사양에 무관하게 높은 작업 속도와 성능이 발휘되는 이점이 있다.
또한 깐마늘의 불규칙한 형상 특성에 대해 각각의 개체마다 동일한 비율의 절단량을 취할 수 있으며, 최적의 절단 각도를 계산할 수 있기 꼭지 절단으로 인해 마늘이 낭비되는 문제가 해결될 수 있다.
또한 본 발명에서 사용된 인공지능 모델은 다양한 형상뿐만 아니라 크기가 작은 것부터 큰 경우까지 넓은 범위의 형태를 갖는 마늘을 이용될 수 있으므로 다양한 마늘에 적용될 수 있는 이점이 있다.
도 1은 본 발명의 하나의 실시예에 따른 인공지능 기반 마늘 꼭지 검출 시스템의 일례를 나타내는 도면;
도 2는 인공지능 기반 마늘 꼭지 검출 시스템에서 학습장치의 일례를 나타내는 도면;
도 3은 촬영된 마늘 영상으로부터 마늘 꼭지를 검출하고 절단 좌표 및 절단 각도를 계산하는 과정을 나타내는 흐름도;
도 4는 식품용 컨베이어 상에서 무작위 촬영된 마늘 방향 마늘을 나타내는 도면;
도 5는 주성분 분석 기반 마늘 방향 하부 정렬의 예를 나타내는 도면;
도 6은 인공지능 기반 마늘 방향 분류 모델에서의 하부 방향 판별 예를 나타내는 도면;
도 7은 원본 영상 기준 절단 좌표 및 절단 각도의 추출을 나타내는 도면;
도 8은 정렬 영상 기준 마늘 절단 좌표 및 각도를 나타내는 도면;
도 9는 마늘 꼭지 절단 좌표 및 절단 각도 추출을 나타내는 도면이다.
도 2는 인공지능 기반 마늘 꼭지 검출 시스템에서 학습장치의 일례를 나타내는 도면;
도 3은 촬영된 마늘 영상으로부터 마늘 꼭지를 검출하고 절단 좌표 및 절단 각도를 계산하는 과정을 나타내는 흐름도;
도 4는 식품용 컨베이어 상에서 무작위 촬영된 마늘 방향 마늘을 나타내는 도면;
도 5는 주성분 분석 기반 마늘 방향 하부 정렬의 예를 나타내는 도면;
도 6은 인공지능 기반 마늘 방향 분류 모델에서의 하부 방향 판별 예를 나타내는 도면;
도 7은 원본 영상 기준 절단 좌표 및 절단 각도의 추출을 나타내는 도면;
도 8은 정렬 영상 기준 마늘 절단 좌표 및 각도를 나타내는 도면;
도 9는 마늘 꼭지 절단 좌표 및 절단 각도 추출을 나타내는 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되는 실시예를 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이다.
본 명세서에서 본 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 그리고 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 따라서, 몇몇 실시예들에서, 잘 알려진 구성 요소, 잘 알려진 동작 및 잘 알려진 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명되지 않는다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 그리고, 본 명세서에서 사용된(언급된) 용어들은 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, '포함(또는, 구비)한다'로 언급된 구성 요소 및 동작은 하나 이상의 다른 구성요소 및 동작의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.
이하 첨부된 도면을 참조하여 본 발명의 실시예에 대해 설명하도록 한다. 도 1은 본 발명에 따른 인공지능 기반 마늘 꼭지 검출 시스템의 일례를 나타내는 도면이다. 도 1에 도시된 바와 같이 인공지능 기반 마늘 꼭지 검출 시스템(10)은 컨베이어 벨트와 같이 마늘을 일방향으로 이동시키기 위한 마늘 이송부(400); 상기 마늘 이송부의 상측에 배치되어 마늘 이송부(400)를 통해 이동되어 오는 마늘을 촬영하기 위한 영상 획득부(100); 상기 영상 획득부(100)에서 촬영된 마늘 영상을 통해 마늘 꼭지를 검출하기 위한 꼭지 검출부(200); 상기 꼭지 검출부(200)에서 계산된 검출 결과에 따라 마늘 꼭지를 절단하기 위한 꼭지 절단부(300)를 포함한다. 여기서 꼭지 검출부(200)는 딥러닝 기반의 꼭지 검출 알고리즘을 수행하고 꼭지 검출 알고리즘은 학습부(500)에 의해 사전에 학습된 상태이다.
영상 확득부(100)는 마늘 이송부(400)를 통해 이동되는 마늘을 촬영을 정확하게 촬영할 수 있도록 조명(110) 및 카메라(120)을 포함한다. 이송부(400)를 통해 이송되어 오는 마늘의 영상을 자동으로 촬영을 위해 영상 획득부(100)에는 카메라 촬영 트리거링을 위한 근접 센서가 더 제공될 수도 있다.
카메라(120)는 이에 한정되는 것은 아니지만 RGB 이미지를 획득할 수 있는 카메라가 이용될 수 있으며, 카메라(120)는 마늘의 평면도를 획득하기 위해 이송부(300)의 벨트 표면으로부터 수직방향으로 미리 정해진 높이에 설치되었다.
카메라(120)를 통해 촬영된 영상은 꼭지 검출부(200)로 전송되고 꼭지 검출부(200)는 촬영된 마늘 영상으로부터 마늘 꼭지의 절단 위치 및 절단 각도를 계산하게 된다.
꼭지 검출부(200)는 마늘 영상으로부터 꼭지의 절단 위치 좌표 및 절단 각도를 계산하도록 학습부(500)에 의해 학습된다. 꼭지 검출부(200)로서 랩톱 컴퓨터 또는 노트북과 같은 상용 컴퓨터에 Python 3 기반의 API가 설치되고, 데이터의 저장은 텍스트 기반의 파일(예를 들면 csv)과 이미지(bmp, jpg) 파일의 저장을 지원한다. 꼭지 검출부(200)는 Python 3 기반의 기본적인 API를 지원하고, Nvidia CUDA, CuDNN, Google Tensorflow library 활용으로 GPU 연산 지원, 및 cikit-learn, OpenCV library 활용을 통한 영상처리 작업을 수행하도록 구성되었다.
분석장치(200)는 딥러닝 또는 인공지능을 학습을 통해 생성된 모기 판별 모델을 포함한다. 인공학습에 대한 이해를 돕기 위해 인공신경망 학습장치(500)에 대해 도 6을 참조하여 먼저 설명하도록 한다.
도 2는 마늘 꼭지 검출 모델을 훈련하기 위한 학습장치의 일례를 나타낸다. 신경망 학습장치(500)는 훈련 데이터를 이용하여 기계 학습을 수행할 수 있는 장치로서, 인공 신경망으로 구성된 모델을 이용하여 학습하는 장치를 포함할 수 있다. 즉, 신경망 훈련 장치는 데이터 마이닝, 데이터 분석, 지능형 의사 결정 및 기계 학습 알고리즘을 위해 이용될 정보를 수신, 분류, 저장 및 출력하도록 구성될 수 있다. 여기서, 기계 학습 알고리즘은 딥 러닝 알고리즘을 포함할 수 있다.
신경망 학습 장치(500)는 적어도 하나의 외부 장치 또는 단말기와 통신할 수 있고, 외부 장치를 대신하여 혹은 외부장치를 도와 데이터를 분석하거나 학습하여 결과를 도출할 수 있다. 여기서, 다른 장치를 도운다는 의미는 분산 처리를 통한 연산력의 분배를 의미할 수 있다.
신경망 학습 장치(500)는 인공 신경망을 학습하기 위한 장치로서, 통상적으로 서버를 의미할 수 있고, 신경망 학습 서버 등으로 지칭할 수 있다. 신경망 학습 장치(500)는 주기적으로 혹은 요청에 의하여 꼭지 검출부(200)로 학습한 꼭지 검출 모델을 전송하거나 이미 설치된 꼭지 검출 모델을 업데이트할 수도 있다.
신경망 학습 장치(500)는 통신부(Communication Unit, 510), 입력부(Input Unit, 520), 메모리(Memory, 530), 러닝 프로세서(Learning Processor, 540), 및 프로세서(Processor, 560) 등을 포함할 수 있다.
통신부(510)는 무선 통신부(미도시) 및 인터페이스부(미도시)를 포함하는 구성을 의미할 수 있다. 즉, 통신부(510)는 유무선 통신이나 인터페이스를 통하여 드론과 같은 다른 장치와 데이터를 송수신할 수 있다.
입력부(520)는 모델 학습을 위한 훈련 데이터 또는 학습된 모델(a trained model)을 이용하여 출력을 획득하기 위한 입력 데이터 등을 획득할 수 있다. 입력부(520)는 가공되지 않은 입력 데이터를 획득할 수도 있으며, 이 경우 러닝 프로세서(540) 또는 프로세서(560)는 획득한 데이터를 전처리하여 모델 학습에 입력이 가능한 훈련 데이터 또는 전처리된 입력 데이터를 생성할 수 있다.
메모리(530)는 러닝 프로세서(540) 또는 신경망 학습 장치(500)에서 학습된 모델을 저장할 수 있다. 이때, 메모리(530)는 필요에 따라 학습된 모델을 학습 시점 또는 학습 진척도 등에 따라 복수의 버전으로 구분하여 저장할 수 있다. 이때, 메모리(530)는 입력부(520)에서 획득한 입력 데이터, 모델 학습을 위하여 이용되는 학습 데이터(또는 훈련 데이터), 모델의 학습 히스토리 등을 저장할 수 있다. 이때, 메모리(530)에 저장된 입력 데이터는 모델 학습에 적합하게 가공된 데이터뿐만 아니라, 가공되지 않은 입력 데이터 그 자체일 수 있다.
메모리(530)는 모델 저장부(531) 및 데이터베이스(532) 등을 포함할 수 있다. 모델 저장부(531)는 러닝 프로세서(540)을 통하여 학습 중인 또는 학습된 꼭지 검출을 위한 신경망 모델을 저장하며, 학습을 통하여 모델이 업데이트되면 업데이트 된 모델을 저장한다. 이때, 모델 저장부(531)는 필요에 따라 학습된 모델을 학습 시점 또는 학습 진척도 등에 따라 복수의 버전으로 구분하여 저장할 수 있다.
데이터베이스(532)는 입력부(520)에서 획득한 입력 데이터, 모델 학습을 위하여 이용되는 학습 데이터(또는 훈련 데이터), 모델의 학습 히스토리 등을 저장할 수 있다. 데이터베이스(532)에 저장된 입력 데이터는 모델 학습에 적합하게 가공된 데이터뿐만 아니라, 가공되지 않은 입력 데이터 그 자체일 수 있다.
러닝 프로세서(540)는 훈련 데이터 또는 트레이닝 셋(training set)을 이용하여 인공 신경망(131a)을 훈련(training, 또는 학습)시킬 수 있다. 러닝 프로세서(540)는 프로세서(560)가 입력부(520)를 통해 획득한 입력 데이터를 전처리한 데이터를 바로 획득하여 인공 신경망을 학습하거나, 데이터베이스(532)에 저장된 전처리된 입력 데이터를 획득하여 인공 신경망을 학습할 수 있다.
구체적으로, 러닝 프로세서(540)는 앞서 설명한 다양한 학습 기법을 이용하여 인공 신경망(531a)을 반복적으로 학습시킴으로써, 마늘 꼭지 검출을 위한 인공 신경망의 최적화된 모델 파라미터들을 결정할 수 있다. 본 명세서에서는 훈련 데이터를 이용하여 학습됨으로써 파라미터가 결정된 인공 신경망을 학습 모델 또는 학습된 모델(a trained model)이라 칭할 수 있다.
이때, 학습 모델은 통신부(510)를 통해 직업 매칭 서버(10) 전송되어 탑재될 수도 있다. 또한, 학습 모델이 업데이트되는 경우, 업데이트된 학습 모델은 통신부(510)를 통해 꼭지 검출부(200)에 전송되어 탑재될 수 있다.
러닝 프로세서(540)는 신경망 학습 장치(500)에 통합되거나 구현된 메모리를 포함할 수 있다. 일부 실시 예에서, 러닝 프로세서(540)는 메모리(530)를 사용하여 구현될 수 있다. 선택적으로 또는 부가적으로, 러닝 프로세서(540)는 단말기에 직접 결합된 외부 메모리 또는 단말기와 통신하는 서버에서 유지되는 메모리와 같이 단말기와 관련된 메모리를 사용하여 구현될 수 있다.
도 3은 전술한 바와 같은 인공신경망에 의해 학습된 꼭지 검출부(200; 또는 꼭지 검출 모델)의 주요 동작을 나타내는 흐름도이다. 도 3 및 도 4(컨베이어 상의 무작위 방향으로 놓여진 마늘 이미지)에 도시된 바와 같이, 꼭지 검출부(200)는 단계 S110에서 영상 획득부(100)로부터 촬영된 마늘 영상을 수신한다. 카메라를 통해 촬영된 영상은 마늘의 컬러와 함께 컨베이어 벨트의 컬러 정보를 포함하는 RGB 색좌표 구성되어 있다.
이어진 단계 S120에서는 꼭지 검출에 앞서 이미지에 대한 전처리를 수행하게 된다. 이미지 전처리에서는 RGB 색좌표로 이루어진 이미지를 HSV 색좌표로 변환한다. HSV 색 좌표 또는 HSV 모델은 색을 표현하는 하나의 방법이로 색상(Hue), 채도(Saturation), 명도(Value)의 좌표를 써서 특정한 색을 지정하는 방식이다. 본 발명에서 HSV 색좌표로 변환하는 것으로 설명되고 있지만 본 발명은 이에 한정되는 것은 아니고, HSI, YIQ, YCBCR, CIELUV, HSL 등의 다양한 색좌표계가 사용될 수 있다는 것은 자명하다.
단계 S120에서와 같은 전처리 단계에서는 이미지로부터 마늘 부분만을 추출하기 위해 필요한 영상 전처리 예를 들면 연산량 감소를 위한 그레이스케일(grayscale), 대략적인 윤곽선을 나타내기 위한 하이패스필터(high pass filter), 잡음 제거를 위한 마스킹(masking), 가우시안 블러링(Gaussian blurring), 이진화(binarization) 임계 기법등의 다양한 영상처리가 기법이 더 사용될 수 있다.
이어진 단계 S130에서는, 도 3 및 도 5(주성분 분석 기반 마늘 방향 하부 정렬 사진)에 도시된 바와 같이 주성분 분석(Principal Component Analysis)을 이용하여 마늘 이미지를 두 방향으로 정렬(이진 정렬)을 수행한다. PCA는 분포된 데이터들의 주성분(Principal Component)를 찾아주는 알고리즘으로 데이터 하나 하나에 대한 성분을 분석하는 것이 아니라, 여러 데이터들이 모여 하나의 분포를 이룰 때 이 분포의 주 성분을 분석해 주는 방법이다.
마늘 부위에 대한 산점도를 이용하여 주성분 분석은 다음의 식 (1)과 같이 수행될 수 있다.
(1)
여기서 Σ는 마늘 산점도(X)의 공분산 행렬이고, n은 마늘 산점도의 관측치 개수, A와 Λ는 공분산 행렬의 고유벡터 행렬과 고유값 대각행렬을 의미한다.
식 (1)은 고유벡터 와 원 산점도 X의 조합을 통해 새로운 주성분 를 찾는 것을 의미하며, 에 해당하는 첫 번째 주성분을 통해 마늘의 길이 방향을 설명할 수 있는 형상학적 장축을 계산할 수 있다
계산된 장축을 기반으로 장축이 영상에서 수직이 될 수 있는 회전각을 θ를 계산한 후, 마늘 꼭지가 영상에서 위쪽 혹은 아래쪽 방향으로만 존재하도록 정렬한다.
이어진 단계 S135에서, 단계 S130의 과정에서 진행된 회전 마늘 영상에 대해 학습 데이터를 통해 개발된 합성곱 신경망 기반 마늘 꼭지 방향 분류 모델을 적용한다. 도 6은 인공지능 기반 분류 모델의 하부 방향 판별 실시예를 나타내는 도면으로, 해당 모델의 출력은 마늘 꼭지의 방향(상부, 하부)을 나타낸다.
이어진 단계 S140에서는 마늘 영역 산점도를 기반으로 2차 회귀 곡선 계산한다. 회전된 마늘 부분만 추출된 산점도에 대해 장축 방향으로 2차 회귀 곡선을 계산하는 알고리즘을 사용하였으며, 식 (2)와 같은 2차 곡선을 추출한다.
(2)
도 8은 2에서 정렬 영상 기준 마늘 절단부 좌표 및 각도를 나타내는 도면으로, 독립변수 x는 마늘 산점도에 대한 세로축 값, 종속변수 y는 가로축 값을 의미한다.
2차 회귀 곡선의 독립변수 축(x)의 값을 절단 비율에 대한 기준 값으로 한다. 단계 S150에서, 단계 S135의 결과가 상부 방향으로 판별된다면, 해당 방향 독립변수 상부 방향 기준 상위 10%에 해당하는 값을 회귀 곡선에 대입한 좌표를 절단부로 지정하고 곡선 해당점의 접선에 수직인 직선을 절단선으로 지정한다(S160).
동일하게, 단계 S150에서, 단계 S135의 결과가 하부 방향으로 판별된다면, 해당 방향 독립변수 하부 방향 기준 상위 10%에 해당하는 값을 회귀 곡선에 대입한 좌표를 절단부로 지정하고 곡선 해당점의 접선에 수직인 직선을 절단선으로 지정한다(S160). 해당 과정에서 구한 좌표와 각도를 정렬 영상 기준값으로 한다.
단계 S160에서 지점의 좌표 및 경사선에 수직인 기울기가 계산된 후, 단계 S170에서 원본 영상 기준 절단 좌표 및 절단 각도 계산된다. 이는 단계 S135에서 진행한 결과를 바탕으로 계산한 θ에 대해 역방향으로 회전 변환을 진행하게 된다. 도 9는 도 8의 마늘 이미지에 대한 원본 이미지와 동일하게 역회전하는 것을 나타내는 도면이다. 단계 S140에서 정렬 영상 기준 좌표와 각도를 -θ 회전 변환한 좌표를 마늘 꼭지 절단 좌표, 각도를 마늘 꼭지 절단각도으로 정의한다. 도 7은 전술한 바와 같이 계산된 원본 영상 기준의 절단 좌표 및 절단각도 예를 나타내는 도면이다.
꼭지 절단부(300)는 꼭지 검출부(200)로부터 원본 영상 기준의 전단 좌표 및 절단 각도를 수신하고 그에 대응하여 마늘 꼭지에 대한 절단 동작을 수행하게 된다.
이와 같은 본 발명에 따르면, GPU를 사용하지 않는 저사양 PC를 사용하더라도 0.3초 미만의 절단부 결정 속도를 보여 수작업 대비 최소 3배 이상의 효율성 증대를 보일 수 있다.
또한 국내 농산업 유통 시장에서 고성능 PC를 사용한다는 것은 비용면에서 부담스러울 수 있기 때문에, PC 사양에 무관하게 높은 작업 속도와 성능이 발휘되는 이점이 있다.
또한 깐마늘의 불규칙한 형상 특성에 대해 각각의 개체마다 동일한 비율의 절단량을 취할 수 있으며, 최적의 절단 각도를 계산할 수 있기 꼭지 절단으로 인해 마늘이 낭비되는 문제가 해결될 수 있다.
또한 본 발명에서 사용된 인공지능 모델은 다양한 형상뿐만 아니라 크기가 작은 것부터 큰 경우까지 넓은 범위의 형태를 갖는 마늘을 이용될 수 있으므로 다양한 마늘에 적용될 수 있는 이점이 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(Digital Signal Processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(Programmable Logic Unit), 마이크로프로세서, 또는 명령(Command)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리요소(Processing Element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(Parallel Processor)와 같은, 다른 처리 구성(Processing Configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(Computer Program), 코드(Code), 명령(Command), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(Collectively)처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(Component), 물리적 장치, 가상 장치(Virtual Equipment), 컴퓨터 저장매체 또는 장치에 구체화(Embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM, DVD와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속하는 것으로 해석되어야만 한다.
10: 마늘 꼭지 검출 시스템
100: 영상 획득부
200: 꼭지 검출부 300: 꼭지 절단부
110: 조명 120: 카메라
500: 학습장치
200: 꼭지 검출부 300: 꼭지 절단부
110: 조명 120: 카메라
500: 학습장치
Claims (6)
- 컨베이어 벨트 상에서 이동하는 마늘의 꼭지를 검출하기 위한 인공지능 기반 마늘 꼭지 검출 시스템에 있어서,
컨베이어 벨트 상부에 제공되는 영상 획득부; 및
상기 영상 획득부에서 획득된 마늘 영상으로부터 마늘의 꼭지를 예측하도록 학습된 인공지능기반의 꼭지 검출부를 포함하고,
상기 꼭지 검출부는 마늘 영상으로부터 마늘의 꼭지의 절단 위치 및 절단 각도를 계산하여 꼭지 절단부로 전송하도록 구성된 것을 특징으로 하는
인공지능 기반 마늘 꼭지 검출 시스템.
- 제1항에 있어서,
상기 꼭지 검출부는 영상 획득부로부터 마늘을 포함하는 영상을 수신한 후 수신된 영상으로부터 마늘 부분을 추출하기 위한 전처리 동작을 수행하도록 구성된 것을 특징으로 하는
인공지능 기반 마늘 꼭지 검출 시스템.
- 제2항에 있어서,
상기 전처리 동작은
RGB 색좌표로 이루어진 영상을 HSV 색좌표 영상으로 변환하는 동작; 및
상기 변환된 HSV 색좌표 영상을 2진화 임계 처리하는 동작을 포함하는 것을 특징으로 하는
인공지능 기반 마늘 꼭지 검출 시스템.
- 제2항에 있어서,
상기 꼭지 검출부는 마늘 영상에 대한 전처리 동작을 수행한 후,
마늘 부위에 대한 산점도를 이용하여 주성분 분석(PCA)을 이용하여 마늘을 두방향으로 정렬하는 동작;
딥러닝 모델을 이용하여 마늘 꼭지 방향을 분류하는 동작; 및
꼭지 공간 정보를 추출하기 위해 마늘 영역 산점도를 기반으로 2차 회귀 곡선을 추출하는 동작을 수행하도록 구성된 것을 특징으로하는
인공지능 기반 마늘 꼭지 검출 시스템.
- 제4항에 있어서,
딥러닝 모델을 이용하여 마늘 꼭지 방향을 분류하는 동작은 마늘 꼭지의 방향을 상방 및 하방으로 분류하고,
마늘 꼭지가 상방으로 분류된 경우 상기 꼭지 검출부는 상방 10%에 해당하는 값을 회귀 곡선에 대입한 좌표를 절단 좌표로 지정하고 회귀 곡선의 해당점의 접속에 수직인 직선을 절단선으로 지정하고,
마늘 꼭지가 하방으로 분류된 경우 상기 꼭지 검출부는 하방 10%에 해당하는 값을 회귀 곡선에 대입한 좌표를 절단 좌표로 지정하고 회귀 곡선의 해당점의 접속에 수직인 직선을 절단선으로 지정하는 것을 특징으로 하는
인공지능 기반 마늘 꼭지 검출 시스템.
- 제5항에 있어서,
상기 꼭지 검출부는 원본 영상 기준 절단 좌표 및 절단 각도를 꼭지 절단부로 전송하도로 구성된 것을 특징으로 하는
인공지능 기반 마늘 꼭지 검출 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220139787A KR20240059042A (ko) | 2022-10-27 | 2022-10-27 | 인공지능 기반 마늘 꼭지 검출 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220139787A KR20240059042A (ko) | 2022-10-27 | 2022-10-27 | 인공지능 기반 마늘 꼭지 검출 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240059042A true KR20240059042A (ko) | 2024-05-07 |
Family
ID=91078209
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220139787A KR20240059042A (ko) | 2022-10-27 | 2022-10-27 | 인공지능 기반 마늘 꼭지 검출 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20240059042A (ko) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160016433A (ko) | 2014-08-05 | 2016-02-15 | 장회식 | 마늘 꼭지 제거 장치 |
| KR20160088749A (ko) | 2015-01-16 | 2016-07-26 | (주)애니시스템 | 깐 마늘 뿌리 절단기 |
-
2022
- 2022-10-27 KR KR1020220139787A patent/KR20240059042A/ko unknown
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160016433A (ko) | 2014-08-05 | 2016-02-15 | 장회식 | 마늘 꼭지 제거 장치 |
| KR20160088749A (ko) | 2015-01-16 | 2016-07-26 | (주)애니시스템 | 깐 마늘 뿌리 절단기 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | A review on weed detection using ground-based machine vision and image processing techniques | |
| Tan et al. | Recognising blueberry fruit of different maturity using histogram oriented gradients and colour features in outdoor scenes | |
| CN108304873B (zh) | 基于高分辨率光学卫星遥感影像的目标检测方法及其系统 | |
| Pérez-Zavala et al. | A pattern recognition strategy for visual grape bunch detection in vineyards | |
| Cecotti et al. | Grape detection with convolutional neural networks | |
| US10949974B2 (en) | Automated plant disease detection | |
| US8452109B2 (en) | Image segregation system with method for handling textures | |
| US8311338B2 (en) | Method and system for learning a same-material constraint in an image | |
| CN102324032A (zh) | 一种基于极坐标系下灰度共生矩阵的纹理特征提取方法 | |
| AlShahrani et al. | Automated system for crops recognition and classification | |
| Kamath et al. | Crop and weed discrimination using Laws’ texture masks | |
| Galsgaard et al. | Circular hough transform and local circularity measure for weight estimation of a graph-cut based wood stack measurement | |
| Indrabayu et al. | Blob modification in counting vehicles using gaussian mixture models under heavy traffic | |
| Femiani et al. | Shadow-based rooftop segmentation in visible band images | |
| JP2023531578A (ja) | 宝石用原石と関連する場所を決定する方法およびデバイス | |
| Dawkins et al. | Automatic scallop detection in benthic environments | |
| Pandey et al. | Machine learning approach for automatic diagnosis of Chlorosis in Vigna mungo leaves | |
| Saputra et al. | Integration GLCM and geometric feature extraction of region of interest for classifying tuna | |
| Mardanisamani et al. | Segmentation of vegetation and microplots in aerial agriculture images: A survey | |
| CN116523352B (zh) | 一种森林资源信息的管理方法及系统 | |
| CN113172002A (zh) | 一种基于图像识别的输煤线矸石识别方法及分选系统 | |
| KR20240059042A (ko) | 인공지능 기반 마늘 꼭지 검출 시스템 | |
| Pintor et al. | Govocitos: A software tool for estimating fish fecundity based on digital analysis of histological images | |
| Choudhury | Segmentation techniques and challenges in plant phenotyping | |
| Hassan et al. | Vision based entomology-how to effectively exploit color and shape features |