KR20230173830A - 부품 조립용 하이브리드 영상인식 시스템 - Google Patents

부품 조립용 하이브리드 영상인식 시스템 Download PDF

Info

Publication number
KR20230173830A
KR20230173830A KR1020220074573A KR20220074573A KR20230173830A KR 20230173830 A KR20230173830 A KR 20230173830A KR 1020220074573 A KR1020220074573 A KR 1020220074573A KR 20220074573 A KR20220074573 A KR 20220074573A KR 20230173830 A KR20230173830 A KR 20230173830A
Authority
KR
South Korea
Prior art keywords
machine vision
processing unit
vision processing
algorithm
hybrid
Prior art date
Application number
KR1020220074573A
Other languages
English (en)
Inventor
박명석
김우현
박소연
Original Assignee
에이치에스소프트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이치에스소프트 주식회사 filed Critical 에이치에스소프트 주식회사
Priority to KR1020220074573A priority Critical patent/KR20230173830A/ko
Publication of KR20230173830A publication Critical patent/KR20230173830A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 부품 조립용 하이브리드 영상인식 시스템에 관한 것으로, 특히 조립 부품을 머신비젼에 의해 판독시 서로 다른 객체 인식 알고리즘 및 서로 다른 영역의 바운딩 박스를 이용함으로써 선별 능력을 향상시키는 부품 조립용 하이브리드 영상인식 시스템에 관한 것이다.

Description

부품 조립용 하이브리드 영상인식 시스템{HYBRID IMAGE RECOGNITION SYSTEM FOR ASSEMBLING COMPONENT}
본 발명은 부품 조립용 하이브리드 영상인식 시스템에 관한 것으로, 더욱 상세하게는 조립 부품을 머신비젼에 의해 판독시 서로 다른 객체 인식 알고리즘 및 서로 다른 영역의 바운딩 박스를 이용함으로써 선별 능력을 향상시키는 부품 조립용 하이브리드 영상인식 시스템에 관한 것이다.
최근 다양한 산업현장에서는 부품 조립시 해당 부품의 정부를 판독하기 위해 머신비젼을 적용함으로써 작업자의 부주의에 따른 선별 불량 및 작업속도 저하 등을 비롯한 여러 문제를 개선하기 위한 노력들이 이루어지고 있다.
이를 위해 작업대에 투입된 부품이 해당 제품에 조립되는 것이 맞는지 기계학습(machine learning)에 의해 자동으로 판별할 수 있도록, 카메라로 부품을 촬영하여 이미지를 획득하고 이를 머신비젼 알고리즘으로 판별한다.
도 1과 같이 종래의 머신비젼 판별 방법은 대표적으로 검사 작업대에 투입된 부품을 촬영하여 이미지를 획득 후, 바운딩 박스(bounding box) 내의 특징부를 판독하도록 YOLO와 같은 단일의 머신비젼 알고리즘을 적용하였다.
따라서, 부품들간 비교적 높은 선별 정확도를 제공하고 빠른 선별을 가능하게 하는 장점을 제공하였다.
그러나, 위와 같은 종래기술은 전체 특징점들 중 극히 일부분에만 차이가 있는 유사 부품들간에는 그 유사성으로 인하여 오인식이 발생하고 구별 정확도가 낮아지는 문제가 있다.
일 예로 도 2의 (a) 'Group A'와 같이 부품 중 일부를 구성하는 사각형 부분에서 크기만 다른 경우나, 도 2의 (b) 'Group B'와 같이 원형 부분에서 크기만 다른 경우에도 오인식이 발생하고 구별 정확도가 낮아진다.
또한, 도 2의 (c) 'Group C'와 같이 부품 중 일부의 사각형 부분에서 크기에 다소 차이가 있고 동시에 그 모서리의 형상에 차이가 있는 경우 등에도 단일의 머신비젼 알고리즘만으로는 오인식이 발생하고 구별 정확도가 낮아진다.
대한민국 등록특허 제10-2383051호 대한민국 등록특허 제10-1688641호
본 발명은 전술한 문제점을 해결하기 위한 것으로, 조립 부품을 머신비젼에 의해 판독시 서로 다른 객체 인식 알고리즘 및 서로 다른 영역의 바운딩 박스를 이용함으로써 선별 능력을 향상시키는 부품 조립용 하이브리드 영상인식 시스템을 제공하고자 한다.
이를 위해, 본 발명에 따른 부품 조립용 하이브리드 영상인식 시스템은 다수의 특징부를 갖는 부품을 촬영하여 부품 이미지를 제공하는 촬영부(10)와;
상기 부품 이미지의 특징부에 대한 머신러닝이 가능하도록 라벨링 및 이미지 전처리를 하는 영상처리부(11)와;
제1 알고리즘에 따라 처리되는 제1 머신비젼 처리부(20)와;
제2 알고리즘에 따라 처리되는 제2 머신비젼 처리부(30); 및
상기 제1 머신비젼 처리부(20)와 제2 머신비젼 처리부(30) 중 어느 하나 이상의 처리 결과를 이용하여 상기 부품을 판별하는 하이브리드 판단부(40);를 포함하는 것을 특징으로 한다.
이때, 상기 제1 머신비젼 처리부는 상기 부품 이미지 상의 특징부들을 포함하는 특정 영역에 제1 바운딩 박스(Bounding Box)를 취하여 객체(object)를 식별하는 알고리즘을 적용하는 것이 바람직하다.
또한, 상기 제2 머신비젼 처리부는 상기 제1 바운딩 박스 내에 위치하는 특징부를 포함하도록, 상기 제1 바운딩 박스의 내측 영역에 제2 바운딩 박스를 취하여 객체를 식별하는 알고리즘을 적용하는 것이 바람직하다.
또한, 상기 제1 머신비젼 처리부는 욜로(YOLO: You Only Look Once) 머신비젼 알고리즘을 적용하고, 상기 제2 머신비젼 처리부는 합성곱 신경망(CNN: Convolutional Neural Network) 머신비젼 알고리즘을 적용하는 것이 바람직하다.
또한, 상기 하이브리드 판단부는 각 부품별로 상기 제1 머신비젼 처리부와 제2 머신비젼 처리부에 의한 인식률에 따라 상기 제1 머신비젼 처리부와 제2 머신비젼 처리부의 결과값에 가중치를 부여하는 것이 바람직하다.
또한, 상기 제2 머신비젼 처리부의 객체식별하는 알고리즘 적용시점은 사용자가 설정한 판단시점에서만 적용되는 것이 바람직하다.
이상과 같은 본 발명은 조립 부품을 머신비젼에 의해 판독시, 영상 인식 대상 부품에 대해 서로 다른 객체 인식 알고리즘 및 서로 다른 영역의 바운딩 박스를 적용한다.
따라서, 여러 특징부를 갖는 부품 내 각 영역별로 최적의 머신비젼으로 판독을 가능하게 함으로써 오인식을 방지하고 구별 정확도를 높여 선별 능력을 향상시킨다. 나아가, 이를 통해 제품 신뢰성을 향상시키고 조립 시간을 단축시킨다.
또한, 합성곱 신경망 알고리즘의 적용시점을 사용자가 설정한 판단시점에서만 적용하도록 하여 합성곱 신경망 알고리즘 처리시간을 단축시킨다.
도 1은 종래 기술에 따른 YOLO 단일 기계학습 라벨링 방법을 나타낸 개념도이다.
도 2는 종래 기술에 따른 유사 부품간 특징부 차이의 종류를 나타낸 도이다.
도 3은 본 발명에 따른 부품 조립용 하이브리드 영상인식 시스템을 나타낸 구성도이다.
도 4는 본 발명에 적용되는 각각의 머신비젼 알고리즘들에 대한 효과를 나타낸 도이다.
도 5는 본 발명에 따른 다중 바운딩 박스 설정 상태를 나타낸 도이다.
도 6은 본 발명의 제1 실시예에 따른 흐름도이다.
도 7은 본 발명의 제2 실시예에 따른 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 부품 조립용 하이브리드 영상인식 시스템에 대해 상세히 설명한다.
본 발명에 따른 부품 조립용 하이브리드 영상인식 시스템은 다양한 분야에서 여러 제품에 조립되는 부품들의 영상 인식에 적용되는 것으로, 기계학습(machine learning) 알고리즘으로 부품을 선별한다.
부품의 선별은 해당 제품(완제품이나 반제품)에 조립되는 부품이 맞는지 머신러닝 알고리즘에 의해 자동으로 확인하는 것으로, 특히 일부분에만 차이가 있는 유사한 부품들이 혼용되어 조립 공정에 투입되는 것을 방지한다.
이를 위해 본 발명은 작업대 위에 투입된 부품을 머신비젼 카메라를 이용하여 촬영하고, 이를 통해 획득된 이미지에 대해 서로 다른 객체 인식 알고리즘(머신러닝 알고리즘) 및 서로 다른 영역의 바운딩 박스를 적용한다.
따라서, 여러 특징부를 갖는 부품 내 각 영역별로 최적의 머신러닝 알고리즘으로 판독을 가능하게 함으로써 오인식을 방지하고 구별 정확도를 높여 선별 능력을 향상시킨다. 나아가, 제품 신뢰성을 향상시키고 조립 시간을 단축시킨다.
도 3과 같이, 본 발명에 따른 부품 조립용 하이브리드 영상인식 시스템은 실시예로서 촬영부(10), 제1 머신비젼 처리부(20), 제2 머신비젼 처리부(30) 및 하이브리드 판단부(40)를 포함한다.
또한, 바람직한 다른 실시예로서 가중치 모듈(41)을 더 포함할 수 있으며, 머신비젼 처리에 의해 획득한 부품의 선별 결과(결과 데이터)를 원격의 관리자나 작업자에게 전송하는 관리 모듈(도시 생략)을 포함할 수 있다.
여기서, 상기 촬영부(10)는 부품을 촬영하여 부품 이미지를 제공하는 것으로, 각각의 부품에는 형상, 모양, 색채, 크기 중 적어도 어느 하나에 의해 다른 부품과 대비되는 다수의 특징부를 갖는다.
구체적으로 촬영부(10)는 카메라를 포함한다. 상기 카메라는 머신비젼용 카메라로서 작업대 위에 투입된 부품을 향하도록 설치되어, 촬영된 부품 이미지를 후술하는 제1 머신비젼 처리부(20) 및/또는 제2 머신비젼 처리부(30)에 제공한다.
위와 같이 카메라에서 촬영된 부품 이미지는 원시 데이터(raw data)로서 영상 처리부(11)에 의해 원천 데이터(source data)가 되도록 전처리가 이루어지는 등 다양한 데이터 처리 후 제공될 수 있다.
머신비젼 카메라가 설치되는 작업대는 조립 라인의 외부에 설치된 단독의 테이블(사전 검사)은 물론, 조립 라인 상에 설치된 테이블(조립 중 실시간 검사)을 포함하며, 이에 대해 특별한 제한은 없다.
또한, 카메라는 거치대 및 각도 조절기를 통해 설치될 수 있다. 이를 통해 작업자와의 접촉을 피하고 금속 부위 등에서의 빛 반사를 최소화하도록 각도를 조절하고 선명한 이미지를 제공할 수 있도록 한다.
영상처리부(11)는 기계학습(machine learning)이 가능하도록 이미지 데이터에 라벨링(labeling) 및 전처리를 수행한다.
제1 머신비젼 처리부(20)는 후술하는 제2 머신비젼 처리부(30)와 함께 이미지를 입력받고 머신러닝 알고리즘을 적용하여 실행한다.
라벨링은 특징부들에 의해 구분되는 오브젝트가 어떤 것인지 쉽게 파악하도록 데이터를 가공하는 것으로, 일 예로 오픈 이미지 디렉토리 설정, 라벨링 포맷 설정, ROI 지정 및 클래스 이름을 지정 후 라벨링을 진행한다.
이때, 본 발명의 제1 머신비젼 처리부(20)는 부품 이미지의 특징부에 대한 머신러닝이 가능하도록 제1 알고리즘을 실행한다. 제1 알고리즘(예: YOLO)은 제2 머신비젼 처리부(30)에서 적용하는 제2 알고리즘(예: CNN)과 다른 것으로, 각각 서로 다른 알고리즘을 실행한다.
따라서, 부품 내 일부 특징부에만 차이가 있는 서로 유사한 부품들을 선별시 제1 머신비젼 처리부(20)에 의해 구분하지 못하거나 정확도가 낮은 경우에는 제2 머신비젼 처리부(30)를 추가로 참조하여 명확히 구분할 수 있게 한다.
또한, 기계학습에 의해 확인된 결과를 통해 제1 머신비젼 처리부(20)와 제2 머신비젼 처리부(30) 중 어느 하나만으로도 유사한 부품을 선별할 수 있으며 그 중 최적화된 어느 하나만을 적용하여 부품을 선별할 수 있게 한다.
제2 머신비젼 처리부(30)는 부품 이미지의 특징부에 대한 머신러닝이 가능하도록 제2 알고리즘을 실행한다.
상술한 바와 같이 제2 머신비젼 처리부(30)의 제2 알고리즘은 제1 머신비젼 처리부(20)의 제1 알고리즘과 차이가 있는 것으로, 각각 영상 인식하는 부분이나 특징부에 따라 최적의 식별 능력을 갖는 알고리즘을 적용한다.
하이브리드 판단부(40)는 제1 머신비젼 처리부(20)와 제2 머신비젼 처리부(30) 중 어느 하나 이상의 처리 결과를 이용하여 작업대에 투입된 부품을 판별함으로써, 단일의 알고리즘만을 적용하는 경우에 비해 식별 정확도를 월등히 향상시킨다.
도 4와 같이 부품의 여러 특징부들에 대해 기계학습 및 검증작업을 수행한 결과, YOLO와 같은 머신비젼 알고리즘은 특정 부품에 대해서 특히 높은 인식율을 보이고, CNN은 부품 중 돌출부에서 높은 인식율을 보인다. 또한 컬러 이미지가 흑백 이미지에 비해 인식율이 높고 변동율이 낮음을 보인다.
따라서, 본 발명에서 하이브리드 판단부(40)는 제1 머신비젼 처리부(20)와 제2 머신비젼 처리부(30) 중 어느 하나 이상의 처리 결과를 이용함으로써 부품별로 최적의 머신비젼 알고리즘이 적용될 수 있게 한다.
특히, 하이브리드 판단부(40)는 각 부품별로 제1 머신비젼 처리부(20)와 제2 머신비젼 처리부(30)에 의한 인식률에 따라 제1 머신비젼 처리부(20)와 제2 머신비젼 처리부(30)의 결과값에 가중치를 부여하는 것이 바람직하다.
예컨대, 제1 머신비젼 처리부(20)에 의한 선별 능력이 높은 경우에는 해당 제1 알고리즘의 가중치를 높이고, 반면 제2 머신비젼 처리부(30)에 의한 선별 능력이 높은 경우에는 해당 제2 알고리즘의 가중치를 높인다.
이를 통해 하이브리드 판단부(40)는 제1 머신비젼 처리부(20)의 결과만을 이용하거나 제2 머신비젼 처리부(30)의 결과만을 이용하여 분별함으로써 부품별로 최적화된 알고리즘을 통해 유사 부품간 선택적으로 처리할 수 있게 한다.
더 나아가, 하이브리드 판단부(40)는 제1 머신비젼 처리부(20) 및 제2 머신비젼 처리부(30)의 분별결과를 모두 이용하되 부품별로 각각의 결과에 가중치를 적용 후 이들을 합산하여 유사 부품들간에도 최적화된 분별 효과를 갖게 한다.
이를 위해, 조립되는 여러 부품들에 대해 기계학습을 통해 최적의 것을 찾아 데이터베이스(42)에 미리 기록하고, 투입된 부품에 따라 상기 데이터베이스를 참조하여 가중치를 부여하는 가중치 모듈(41)이 적용될 수 있다.
이하, 더욱 구체적인 실시예를 들어 본 발명에 대해 설명한다.
바람직한 실시예로서, 상술한 제1 머신비젼 처리부(20)는 부품 이미지 상의 특징부들을 포함하는 특정 영역에 제1 바운딩 박스(Bounding Box)를 취하여 객체(object)를 식별하는 알고리즘(제1 알고리즘)을 적용한다.
이때, 제2 머신비젼 처리부(30)는 상기 제1 바운딩 박스 내에 위치하는 특징부를 포함하도록, 제1 바운딩 박스의 내측 영역에 제2 바운딩 박스를 취하여 객체를 식별하는 알고리즘(제2 알고리즘)을 적용하는 것이 바람직하다.
실시예로, 도 5의 (a)는 원형 특징부를 갖는 유사 부품들을 비교하도록 좌우에 나열한 것이고, 도 5의 (b)는 사각형 특징부를 갖는 유사 부품들을 비교하도록 좌우에 나열한 것이다.
이때, 도면 상부와 같이 하나의 바운딩 박스를 통해 하나의 머신러닝 알고리즘을 적용하던 종래와 다르게, 본 발명은 도면 하부와 같이 제1 바운딩 박스 내에 제2 바운딩 박스를 추가하고, 각각 서로 다른 머신러닝 알고리즘을 적용한다.
예컨대, 제1 머신비젼 처리부(20)는 욜로(YOLO: You Only Look Once) 머신비젼 알고리즘을 적용한다. YOLO 신경망 구조 그 자체는 공지된 것으로, 일 예로 부품 이미지를 입력 후 컨볼루션 레이어, 맥스 풀링 레이어, 활성화 함수 및 FC 레이어를 거쳐서 최종적으로 텐서로 제공한다. 따라서, 텐서 결과값들을 가지고 여러 확률론적 계산을 하여 가장 유력한 오브젝트를 찾고 바운딩 박스를 작성한다.
이에 비해, 제2 머신비젼 처리부(30)는 제1 머신비젼 처리부(20)와 다르게 합성곱 신경망(CNN: Convolutional Neural Network) 머신비젼 알고리즘을 적용하는 것이 바람직하다. 알려진 바와 같이 합성곱 신경망은 부품 중 일부에 구비된 돌출부에 대해 높은 인식률을 제공한다.
다만, 제1 머신비젼 처리부(20)와 제2 머신비젼 처리부(30)의 머신비젼 알고리즘은 부품에 따라 다른 알고리즘을 적용할 수 있음은 자명하다.
특히, 제2 머신비젼 처리부(30)는 CNN 이외에 크기 또는 색상의 구분에 특화된 다른 알고리즘(제3 알고리즘)을 적용하는 등 부품의 특징부 부분에 따라 더욱 다양한 알고리즘을 적용할 수 있다.
또한, CNN과 크기 또는/ 및 색상 알고리즘을 함께 적용할 수 있다.
구체적으로, 도 6은 제1 머신비젼 처리부(20)에서는 YOLO를 적용하고, 제2 머신비젼 처리부(30)에서는 CNN을 적용하며, 제1 바운딩 박스 내에 제2 바운딩 박스를 설정하여 부품을 식별하는 흐름도를 나타낸다.
도시된 바와 같이, 촬영된 부품 이미지를 입력하면 YOLO 알고리즘에 따라 특정 영역에 바운딩 박스(bounding box)를 생성하여 기계학습이 이루어지고 이에 따라 부품이 선별된다.
더 나아가, 본 발명은 제1 머신비젼 처리부(20)의 분별 결과를 하이브리드 판단부(40)에 제공함과 동시에 분별 결과에 이용된 이미지를 제2 머신비젼 처리부(30)의 입력으로 제공함으로써 추가적인 분별이 이루어지도록 한다.
본 발명은 일 실시예로서 최초 촬영된 부품 이미지를 직접 제2 머신비젼 처리부(30)에 입력할 수 있다. 그러나, 다른 실시예로서 제2 머신비젼 처리부(30)는 위와 같이 제1 머신비젼 처리부(20)의 결과를 입력으로 제공받을 수 있다.
한편, 위와 같이 입력 이미지를 제공받은 제2 머신비젼 처리부(30)는 제1 바운딩 박스의 이미지내의 제2바운딩 박스 이미지를 이용하여 CNN 알고리즘에 따라 부품을 분류하고 그 결과를 하이브리드 판단부(40)에 제공한다.
이때 CNN 알고리즘 실행시 YOLO보다 긴 시간이 소요되므로, 사용자는 판정되는 시점(부품의 이동이 멈쳐져서 조립되기 전 단계 : 약 1~2초)에서만 CNN 알고리즘을 실행시켜 1장 또는 다수의 이미지만을 획득하여 판단하도록 적용시점을 선택적으로 실행시킴으로서 CNN의 실행시간을 줄이면서 판단자료를 얻을 수 있게된다.
따라서, 하이브리드 판단부(40)에서는 제1 머신비젼 처리부(20) 및 제2 머신비젼 처리부(30)로부터 각각 분별 결과값을 제공받은 후, 최적의 결과를 제공할 수 있는 분별 결과값을 조합 후 최종값으로서 제공한다.
최종값은 현장에서 디스플레이를 통해 작업자에게 제공될 수 있음은 물론 원격의 관리자에게 유무선 통신을 통해 전달될 수 있다. 현장 제공이나 원격 제공은 통신 모듈의 일종인 관리 모듈의 제어하에 실행될 수 있다.
유사하게 도 7은 제1 머신비젼 처리부(20)에서는 YOLO를 적용하고, 제2 머신비젼 처리부(30)에서는 크기 및/또는 색상을 구분하는 제3의 알고리즘을 적용한다. 또한 제1 바운딩 박스 내에 제2 바운딩 박스를 설정하여 부품을 식별한다.
도 7 역시 도 6에서 설명한 바와 유사하게, 제1 머신비젼 처리부(20)의 분별 결과를 하이브리드 판단부(40)에 제공함과 동시에 분별 결과에 이용된 이미지를 제2 머신비젼 처리부(30)의 입력으로 제공함으로써 추가적인 분별이 이루어지도록 한다.
다만, 제2 머신비젼 처리부(30)의 적용 알고리즘이 CNN 이외에 부품의 특징부를 구성하는 크기나 색상 중 어느 하나 이상의 분별에 최적화된 알고리즘이라는 점에서 차이가 있다.
이상, 본 발명의 특정 실시예에 대하여 상술하였다. 그러나, 본 발명의 사상 및 범위는 이러한 특정 실시예에 한정되는 것이 아니라, 본 발명의 요지를 변경하지 않는 범위 내에서 다양하게 수정 및 변형 가능하다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 것이다.
따라서, 이상에서 기술한 실시예들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이므로, 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 하며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
10: 촬영부(머신비젼 카메라)
11: 영상처리부
20: 제1 머신비젼 처리부
30: 제2 머신비젼 처리부
40: 하이브리드 판단부
41: 가중치 모듈
42: 데이터베이스

Claims (6)

  1. 다수의 특징부를 갖는 부품을 촬영하여 부품 이미지를 제공하는 촬영부(10)와;
    상기 부품 이미지의 특징부에 대한 머신러닝이 가능하도록 라벨링 및 이미지 전처리를 하는 영상처리부(11)와;
    제1 알고리즘에 따라 처리되는 제1 머신비젼 처리부(20)와;
    제2 알고리즘에 따라 처리되는 제2 머신비젼 처리부(30); 및
    상기 제1 머신비젼 처리부(20)와 제2 머신비젼 처리부(30) 중 어느 하나 이상의 처리 결과를 이용하여 상기 부품을 판별하는 하이브리드 판단부(40);를 포함하는 것을 특징으로 하는 부품 조립용 하이브리드 영상인식 시스템.
  2. 제1항에 있어서,
    상기 제1 머신비젼 처리부(20)는,
    상기 부품 이미지 상의 특징부들을 포함하는 특정 영역에 제1 바운딩 박스(Bounding Box)를 취하여 객체(object)를 식별하는 알고리즘을 적용하는 것을 특징으로 하는 부품 조립용 하이브리드 영상인식 시스템.
  3. 제2항에 있어서,
    상기 제2 머신비젼 처리부(30)는,
    상기 제1 바운딩 박스 내에 위치하는 특징부를 포함하도록, 상기 제1 바운딩 박스의 내측 영역에 제2 바운딩 박스를 취하여 객체를 식별하는 알고리즘을 적용하는 것을 특징으로 하는 부품 조립용 하이브리드 영상인식 시스템.
  4. 제3항에 있어서,
    상기 제1 머신비젼 처리부(20)는 욜로(YOLO: You Only Look Once) 머신비젼 알고리즘을 적용하고,
    상기 제2 머신비젼 처리부(30)는 합성곱 신경망(CNN: Convolutional Neural Network) 머신비젼 알고리즘을 적용하는 것을 특징으로 하는 부품 조립용 하이브리드 영상인식 시스템.
  5. 제3항에 있어서,
    상기 제2 머신비전 차리부(30)의 객체 식별하는 알로리즘 적용시점은 사용자가 설정한 판단시점에서만 적용되는 것을 특징으로 하는 부품 조립용 하이브리드 영상인식 시스템.
  6. 제1항 내지 제5항 중 어느 하나의 항에 있어서,
    상기 하이브리드 판단부(40)는,
    각 부품별로 상기 제1 머신비젼 처리부(20)와 제2 머신비젼 처리부(30)에 의한 인식률에 따라 상기 제1 머신비젼 처리부(20)와 제2 머신비젼 처리부(30)의 결과값에 가중치를 부여하는 것을 특징으로 하는 부품 조립용 하이브리드 영상인식 시스템.
KR1020220074573A 2022-06-20 2022-06-20 부품 조립용 하이브리드 영상인식 시스템 KR20230173830A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220074573A KR20230173830A (ko) 2022-06-20 2022-06-20 부품 조립용 하이브리드 영상인식 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220074573A KR20230173830A (ko) 2022-06-20 2022-06-20 부품 조립용 하이브리드 영상인식 시스템

Publications (1)

Publication Number Publication Date
KR20230173830A true KR20230173830A (ko) 2023-12-27

Family

ID=89378028

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220074573A KR20230173830A (ko) 2022-06-20 2022-06-20 부품 조립용 하이브리드 영상인식 시스템

Country Status (1)

Country Link
KR (1) KR20230173830A (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101688641B1 (ko) 2015-09-22 2016-12-21 동서대학교산학협력단 머신 비전 기반 전자부품 검사 시스템
KR102383051B1 (ko) 2020-07-14 2022-04-06 주식회사 엠제이비전테크 딥러닝 모델 기반 자동차 부품검사 서비스 제공 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101688641B1 (ko) 2015-09-22 2016-12-21 동서대학교산학협력단 머신 비전 기반 전자부품 검사 시스템
KR102383051B1 (ko) 2020-07-14 2022-04-06 주식회사 엠제이비전테크 딥러닝 모델 기반 자동차 부품검사 서비스 제공 방법

Similar Documents

Publication Publication Date Title
KR102151365B1 (ko) 이미지 기반 차량 손실 평가 방법, 장치 및 시스템, 및 전자 디바이스
US9031317B2 (en) Method and apparatus for improved training of object detecting system
JP2020525871A (ja) 車両保険画像処理方法、装置、サーバ、及びシステム
CN107256410B (zh) 眼底图像分类方法及装置
CN109389105B (zh) 一种基于多任务的虹膜检测和视角分类方法
JP2005250556A (ja) トリミング処理方法および装置並びにプログラム
AU2024200033A1 (en) Systems and methods for dynamic identification of a surgical tray and the items contained thereon
CN111243016A (zh) 一种集装箱自动识别与定位方法
US20220036371A1 (en) Identifying and grading system and related methods for collectable items
WO2021220829A1 (ja) 個体識別システム、個体識別プログラム、及び記録媒体
KR20230173830A (ko) 부품 조립용 하이브리드 영상인식 시스템
Phyu et al. Verification of illumination tolerance for photo-model-based cloth recognition
JP4510562B2 (ja) 円中心位置検出方法および装置並びにプログラム
CN115115600A (zh) 镀膜镜片瑕疵检测方法、装置、设备及存储介质
JPH07121713A (ja) パターン認識方法
KR101031369B1 (ko) 얼굴 인식 장치 및 그 방법
Stryczek Finite point sets in recognizing location and orientation of machine parts of complex shapes
KR20140105279A (ko) Ｌｅｄ 모니터를 이용한 지능형 로봇의 얼굴 인식 기능에 대한 성능 평가 시스템 및 방법
Vongbunyong et al. Vision System
CN115922738B (zh) 堆叠场景下的电子元器件抓取方法、装置、设备及介质
WO2021220825A1 (ja) 個体識別システム
WO2021220828A1 (ja) 個体識別システム
WO2021220826A1 (ja) 個体識別システム
WO2021220827A1 (ja) 個体識別システム
KR20230174790A (ko) 딥러닝 텍스트 인식을 기반으로 하는 소부재 광학문자판독 시스템 및 방법 그리고 이를 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체