KR102623979B1 - 마스킹 기반 딥러닝 이미지 분류 시스템 및 그 방법 - Google Patents

마스킹 기반 딥러닝 이미지 분류 시스템 및 그 방법 Download PDF

Info

Publication number
KR102623979B1
KR102623979B1 KR1020210142307A KR20210142307A KR102623979B1 KR 102623979 B1 KR102623979 B1 KR 102623979B1 KR 1020210142307 A KR1020210142307 A KR 1020210142307A KR 20210142307 A KR20210142307 A KR 20210142307A KR 102623979 B1 KR102623979 B1 KR 102623979B1
Authority
KR
South Korea
Prior art keywords
image
product
deep learning
masking
masked
Prior art date
Application number
KR1020210142307A
Other languages
English (en)
Other versions
KR20230058743A (ko
Inventor
박병학
박상언
허수영
Original Assignee
주식회사 성우하이텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 성우하이텍 filed Critical 주식회사 성우하이텍
Priority to KR1020210142307A priority Critical patent/KR102623979B1/ko
Publication of KR20230058743A publication Critical patent/KR20230058743A/ko
Application granted granted Critical
Publication of KR102623979B1 publication Critical patent/KR102623979B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

마스킹 기반 딥러닝 이미지 분류 시스템 및 그 방법이 개시된다.
본 발명의 실시예에 따른, 마스킹 기반 딥러닝 이미지 분류 시스템은, 제조라인에 설치되어 촬영영역의 배경과 분류 대상체를 촬영하는 카메라로부터 원본이미지를 수신하는 통신부; 상기 원본 이미지를 전처리하여 마스킹된 제품 이미지를 추출하는 마스킹 이미지 추출부; 마스킹된 제품 이미지와 그 레이블을 입력 데이터로 활용한 딥러닝 학습을 수행하여 뉴럴 네트워크의 특징값이 정의된 네트워크모델을 생성하는 딥러닝 학습부; 상기 네트워크모델을 저장하는 데이터베이스부; 및 상기 제조라인의 공정 중 상기 마스킹 이미지 추출부로부터 전처리된 상기 마스킹된 제품 이미지를 수신하면 미리 학습된 상기 네트워크모델을 활용한 딥러닝 추론을 실시하여 상기 대상체의 이미지를 분류하는 제어부를 포함한다.

Description

마스킹 기반 딥러닝 이미지 분류 시스템 및 그 방법{MASKING-BASED DEEP LEARNING IMAGE CLASSIFICATION SYSTEM AND METHOD THEREFOR}
본 발명은 마스킹 기반 딥러닝 이미지 분류 시스템 및 그 방법에 관한 것으로서, 보다 상세하게는 공장의 제조 라인에 적용되는 마스킹 기반 딥러닝 이미지 분류 시스템 및 그 방법에 관한 것이다.
일반적으로 인공지능은 사람이 할 수 있는 일을 기계가 대신 작업할 수 있도록 외부에서 주어진 데이터를 통해 스스로 학습하는 머신러닝(Machine Learning) 기술을 기반으로 하며, 이러한 머신러닝 기술 중 제조업 분야에서 각광받고 있는 것이 딥러닝 기술이다.
딥러닝 기술은 다양한 산업분야에서의 공장 자동화와 스마트 펙토리(Smart Factory)의 구현을 위해 활용되고 있으며, 반도체와 자동차 메이커를 비롯한 선도적인 제조업체들은 공정별 복잡한 자동화 난제를 해결하기 위해서 딥러닝 기술의 도입을 확대하고 있는 추세이다.
한편, 딥러닝 기반 이미지 분류 기술은 육안 검사의 정교함과 유연성에 컴퓨터 시스템의 신뢰성, 일관성, 속도를 결합하여 기존 머신러닝 기술로 유지관리가 불가능하거나 까다로운 비전을 인식할 수 있고, 제품의 뒤집힘, 빛 반사 및 흠집과 같은 복잡한 성형 표면 검사와 불량 검출에 탁월한 성능을 발휘하는 장점이 있다.
도 1은 종래의 딥러닝 기반 이미지 분류 방법을 나타낸다.
도 1을 참조하면, 종래의 딥러닝 기반 이미지 분류 기술은 다수의 데이터를 기반으로 심층 뉴럴네트워크(Deep Neural Network, DNN)를 학습시키며, 반복학습을 통하여 네트워크모델을 산출한다. 그리고, 상기 네트워크모델로 구성된 심층 뉴럴네트워크를 이용하여 추론을 하면 육안검사에 가까운 신뢰도를 가지는 이미지 분류 성능을 확보할 수 있다. 이때, 심층 뉴럴네트워크를 학습시키기 위해서는 카메라로 획득한 원본이미지와 레이블을 포함하는 상기 다수의 데이터가 필요하다.
한편, 도 2는 카메라 설치 장소 이동에 따라 원본 이미지의 배경이 변경된 상태를 나타낸다.
도 2를 참조하면, 제조 라인에 설치된 장소에서 카메라는 제품 이송장치(1)와 환기용 덕트(2)가 수직으로 교차하는 배경A 이미지를 촬영한다. 그리고, 공정 진행 시 상기 배경A 이미지 내에서 제품 이송장치(1)를 따라 이동하는 파지장치(3)가 제품(4)을 파지하여 로딩하는 상태를 촬영할 수 있다.
이 때, 종래의 딥러닝 기반 이미지 분류 기술에서 학습을 위한 입력 데이터로 사용하는 이미지는 별도의 전처리를 하지 않은 카메라 원본 이미지를 사용한다. 통상 공장의 제조 라인에 있어서 분류 대상체의 위치와 배경은 거의 변하지 않으므로, 소수의 입력 데이터로도 우수한 성능의 딥러닝 기반 이미지 분류 성능을 획득할 수 있다.
하지만, 카메라 설치 장소의 이동으로 인해 배경A가 배경B로 변경되거나, 분류 대상체 외의 다른 물체가 배경 내에 위치할 경우 기존에 학습한 네트워크모델을 사용하면 이미지 분류에 오류가 발생할 수 있다. 여기서, 배경B의 경우 설명의 편이상 환기용 덕트(2)가 제품 이송장치(1)와 평행하게 변경된 것으로 간단히 도시하였으나 실질 적으로 원본 이미지 상에는 제조 라인내 다양한 각종 설비, 부품, 제품 및 작업자 등이 촬영되고 카메라의 설치 각도가 변경될 수도 있다.
그러므로, 이미지 분류의 정확도 향상 위해서는 변경된 설치 장소에 대한 대량의 샘플 데이터 재수집과 그 딥러닝 재학습이 필요하다.
그러나, 제조업에서의 제품 생산주기 한정되어 있고 자동차 산업의 경우 주기적 모델 교체가 이루어지기 때문에 짧은 개발기간 동안 딥러닝 이미지 분석기술에 필요한 데이터를 충분히 확보하기 어려우며, 이로 인한 이미지 분류 성능이 저하되는 문제점이 있다.
이 배경기술 부분에 기재된 사항은 발명의 배경에 대한 이해를 증진하기 위하여 작성된 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.
본 발명의 실시예는 딥러닝 학습시 마스킹된 제품 이미지 세트를 사용하여 네트워크모델을 생성하고 이를 활용한 딥러닝 추론 시 마스킹된 제품 이미지를 사용하여 대상체를 분류하는 마스킹 기반 딥러닝 이미지 분류 시스템 및 그 방법을 제공하고자 한다.
본 발명의 일 측면에 따르면, 마스킹 기반 딥러닝 이미지 분류 시스템은, 제조라인에 설치되어 촬영영역의 배경과 분류 대상체를 촬영하는 카메라로부터 원본이미지를 수신하는 통신부; 상기 원본 이미지를 전처리하여 마스킹된 제품 이미지를 추출하는 마스킹 이미지 추출부; 마스킹된 제품 이미지와 그 레이블을 입력 데이터로 활용한 딥러닝 학습을 수행하여 뉴럴 네트워크의 특징값이 정의된 네트워크모델을 생성하는 딥러닝 학습부; 상기 네트워크모델을 저장하는 데이터베이스부; 및 상기 제조라인의 공정 중 상기 마스킹 이미지 추출부로부터 전처리된 상기 마스킹된 제품 이미지를 수신하면 미리 학습된 상기 네트워크모델을 활용한 딥러닝 추론을 실시하여 배경에 상관 없이 동일한 대상체의 이미지를 분류하는 제어부;를 포함한다.
또한, 상기 마스킹 이미지 추출부는 상기 대상체인 제품이 로딩된 상태를 촬영한 상기원본 이미지에 제품 마스크 이미지를 적용하여 마스킹된 제품 이미지를 추출하고, 상기 마스킹된 제품 이미지에 대응되는 레이블(label)을 생성할 수 있다.
또한, 상기 마스킹 이미지 추출부는 상기 마스킹된 제품 이미지와 이에 대응되는 레이블을 세트로 구성하여 상기 딥러닝 학습부로 전달할 수 있다.
또한, 상기 마스킹 이미지 추출부는 상기 원본이미지의 배경 이미지에 제품이 로딩된 이미지의 각 픽셀값을 빼기 연산한 후 절대값을 취한 픽셀차이 절대값 이미지를 생성하고, 상기 픽셀차이 절대값 이미지에 대하여 이진화 연산을 수행하여 상기 제품 마스크 이미지를 생성할 수 있다.
또한, 상기 마스킹 이미지 추출부는 상기 제품 마스크 이미지를 생성 시 상기 원본 이미지의 배경 이미지에 해당하는 좌표의 픽셀값(Pb(x, y))에서 제품이 로딩된 이미지에 해당하는 좌표의 픽셀값(Pp(x, y))을 차감 후 픽셀차이 절대값(Pa(x, y))을 산출하고, 상기 픽셀차이 절대값(Pa(x, y))이 "0"보다 큰지 비교하여 상기 제품 마스크 이미지에 해당하는 좌표의 픽셀값(Pm(x, y))으로 판정할 수 있다.
또한, 상기 마스킹 이미지 추출부는 상기 절대값(Pa(x, y))이 "0"보다 크면 상기 제품 마스크 이미지에 해당하는 좌표의 픽셀값(Pm(x, y))으로 판정하고 상기 "0"보다 크지 않으면 상기 제품 마스크 이미지에 해당하지 않는 것으로 판정할 수 있다.
또한, 상기 마스킹 이미지 추출부는 상기 제품 마스크 이미지에 해당하는 좌표의 픽셀값(Pm(x, y))이 "0"과 같은지 여부에 따라 마스킹된 제품 이미지를 정의할 수 있다.
또한, 상기 마스킹 이미지 추출부는 상기 마스킹된 제품 이미지를 추출 시 상기 제품 마스크 이미지에 해당하는 좌표의 픽셀값(Pm(x, y))이 "0"과 같으면 마스킹된 제품 이미지 내의 픽셀값으로 판정하되, 상기 "0"과 같지 않으면 상기 마스킹된 제품 이미지에 해당하지 않고 배경에 제품이 로딩된 이미지에 해당하는 좌표의 픽셀값(Pp(x, y))으로 판정할 수 있다.
또한, 상기 제어부는 상기 마스킹된 제품 이미지에 대하여 DNN(Deep Neural Network) 혹은 CNN(Convolutional Neural Network) 알고리즘 기반의 이미지 분류 작업을 통한 추론과정을 거쳐 제품 이미지를 분류할 수 있다.
또한, 상기 제어부는 상기 마스킹된 제품 이미지에 대응하는 레이블을 출력하여 상기 대상체의 이미지를 분류할 수 있다.
또한, 상기 제어부는 상기 레이블을 통해 상기 대상체의 제품이나 상기 제품의 종류, 사양, 특성 및 적용공정에서의 상태정보 중 적어도 하나를 인식할 수 있다.
또한, 상기 제어부는 하나의 마스킹된 제품 이미지를 기준으로 다양한 각도로 회전시켜 다양하게 변화된 각도의 마스킹된 제품 이미지를 추가로 생성하여 확장하고, 확장된 데이터들을 마스킹된 제품 이미지 세트로 입력하여 상기 딥러닝 학습된 네트워크모델을 생성할 수 있다.
또한, 상기 제어부는 상기 딥러닝 추론 과정에서 미리 학습된 동일 네트워크모델이 없으면, 상기 딥러닝 학습부를 통해 배경에 상관 없이 하나의 마스킹된 제품 이미지를 이용한 딥러닝 학습을 통해 신규 네트워크모델을 생성할 수 있다.
한편, 본 발명의 일 측면에 따른, 제조라인에 설치된 카메라를 이용하여 제품의 이미지를 분류하는 시스템의 마스킹 기반 딥러닝 이미지 분류 방법은, a) 촬영영역의 배경과 분류 대상체를 촬영하는 카메라로부터 수신된 원본이미지를 전처리하여 마스킹된 제품 이미지를 추출하는 단계; b) 상기 마스킹된 제품 이미지와 그 레이블을 입력 데이터로 활용한 딥러닝 학습을 수행하여 뉴럴 네트워크의 특징값이 정의된 네트워크모델을 생성하여 데이터베이스에 저장하는 단계; c) 상기 제조라인의 공정 중 상기 마스킹 이미지 추출부로부터 전처리된 상기 마스킹된 제품 이미지를 수신하는 단계; 및 d) 상기 마스킹된 제품 이미지를 입력 데이터로 미리 학습된 상기 네트워크모델을 활용한 딥러닝 추론을 실시하여 배경에 상관 없이 동일한 제품의 이미지를 분류하는 단계;를 포함한다.
또한, 상기 a) 단계는, a-1) 상기 배경에서 제품이 로딩된 상태를 촬영한 상기 원본이미지에 제품 마스크 이미지를 적용하여 마스킹된 제품 이미지를 추출하는 단계; a-2) 상기 마스킹된 제품 이미지에 대응되는 레이블(label)을 생성하는 단계; 및 a-3) 상기 딥러닝 학습을 위해 상기 마스킹된 제품 이미지와 이에 대응되는 레이블을 세트로 구성하는 단계;를 포함할 수 있다.
또한, 상기 a-1) 단계는, 배경 이미지에서 상기 제품이 로딩된 이미지의 각 픽셀값을 빼기 연산한 후 절대값을 취한 이미지 픽셀차이 절대값 이미지를 생성하는 단계; 상기 픽셀차이 절대값 이미지에 대하여 이진화 연산을 수행하여 상기 제품 마스크 이미지를 생성하는 단계;를 더 포함할 수 있다.
또한, 상기 픽셀차이 절대값 이미지를 생성하는 단계는, 상기 원본 이미지의 배경 이미지에 해당하는 x, y 좌표의 픽셀값(Pb(x, y))에서 제품이 로딩된 이미지에 해당하는 x, y 좌표의 픽셀값(Pp(x, y))을 차감 후 픽셀차이 절대값(Pa(x, y))을 산출하는 단계를 포함할 수 있다.
또한, 상기 제품 마스크 이미지를 생성하는 단계는, 상기 픽셀차이 절대값(Pa(x, y))이 "0"보다 큰지 비교하여 상기 제품 마스크 이미지에 해당하는 x, y 좌표의 픽셀값(Pm(x, y))으로 판정하는 단계를 포함할 수 있다.
또한, 상기 a) 단계는, 상기 마스킹된 제품 이미지를 추출 시 상기 제품 마스크 이미지에 해당하는 x, y 좌표의 픽셀값(Pm(x, y))이 "0"과 같으면 마스킹된 제품 이미지 내의 픽셀값으로 판정하되, 상기 "0"과 같지 않으면 상기 마스킹된 제품 이미지에 해당하지 않고 배경에 제품이 로딩된 이미지에 해당하는 좌표의 픽셀값(Pp(x, y))으로 판정하는 단계를 포함할 수 있다.
또한, 상기 d) 단계는, 상기 딥러닝 추론 과정에서 미리 학습된 동일 네트워크모델이 없으면, 상기 딥러닝 학습부를 통해 배경에 상관 없이 하나의 마스킹된 제품 이미지를 이용한 딥러닝 학습을 통해 신규 네트워크모델을 생성하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 딥러닝 학습시 마스킹된 제품 이미지 세트를 사용하여 네트워크모델을 생성하고 이를 활용한 딥러닝 추론 시 마스킹된 제품 이미지를 사용하여 대상체를 분류함으로써 카메라 설치장소 변경 혹은 배경에 상관없이 이미지 분류 성능과 정확도를 향상시킬 수 있는 효과가 있다.
또한, 하나의 마스킹된 제품 이미지를 기준으로 다양한 각도로 변화된 마스킹된 제품 이미지 세트를 생성함으로써 제조업의 짧은 개발기간 동안 딥러닝 이미지 분석기술에 필요한 충분한 샘플 데이터를 확보할 수 있는 효과가 있다.
도 1은 종래의 딥러닝 기반 이미지 분류 방법을 나타낸다.
도 2는 카메라 설치 장소 이동에 따라 원본 이미지의 배경이 변경된 상태를 나타낸다.
도 3은 본 발명의 실시예에 따른 마스킹 기반 딥러닝 이미지 분류 시스템의 구성을 개략적으로 나타낸 블록도이다.
도 4는 본 발명의 실시예에 따른 마스킹 기반 딥러닝 학습 및 딥러닝 추론 방법을 각각 나타낸 흐름도이다.
도 5는 본 발명의 실시예에 따른 배경A, 배경B, 배경C에서 각각 촬영된 원본 이미지에서 마스킹된 제품 이미지를 추출하는 과정을 나타낸다.
도 6은 본 발명의 실시예에 따른 제품 마스크 이미지를 생성하는 방법을 나타낸 흐름도이다.
도 7는 본 발명의 실시예에 따른 제품 마스크 이미지를 생성하는 흐름을 그림으로 나타낸다.
도 8은 본 발명의 실시예에 따른 픽셀차이 절대값 이미지를 생성하는 방법을 나타낸 흐름도이다.
도 9는 본 발명의 실시예에 따른 마스킹된 제품 이미지를 생성하는 방법을 나타낸 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서, 제1, 제2, A, B, (a), (b) 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다.
명세서 전체에서, 어떤 구성요소가 다른 구성요소에 '연결된다'거나 '접속된다'고 언급되는 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결된다'거나 '직접 접속된다'고 언급되는 때에는, 중간에 다른 구성요소가 존재하지 아니하는 것으로 이해되어야 할 것이다.
명세서 전체에서, 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
명세서 전체에서, '포함한다', '가진다' 등과 관련된 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 포함한다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 의미와 일치하는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이제 본 발명의 실시예에 따른 마스킹 기반 딥러닝 이미지 분류 시스템 및 그 방법에 대하여 도면을 참조로 하여 상세하게 설명한다.
도 3은 본 발명의 실시예에 따른 마스킹 기반 딥러닝 이미지 분류 시스템의 구성을 개략적으로 나타낸 블록도이다.
도 4는 본 발명의 실시예에 따른 마스킹 기반 딥러닝 학습 및 딥러닝 추론 방법을 각각 나타낸 흐름도이다.
도 3을 참조하면, 본 발명의 실시예에 따른 마스킹 기반 딥러닝 이미지 분류 시스템(100)은 통신부(110), 마스킹 이미지 추출부(120), 딥러닝 학습부(130), 데이터베이스부(140) 및 제어부(150)를 포함한다.
카메라(10)는 제조 라인에 설치되어 촬영영역의 배경과 분류 대상체를 촬영한다. 여기서, 상기 분류 대상체는 제품, 부품, 설비, 도구 및 이들을 시각적으로 구분가능한 일부분일 수 있으며, 이하, 설명의 이해와 편의를 위해 분류 대상체를 "제품"으로 가정하여 설명하도록 한다.
먼저, 도 4(A)를 참조하여, 본 발명의 실시예에 따른 마스킹 기반 딥러닝 이미지 분류 시스템(100)의 마스킹 기반 딥러닝 학습 방법에 대하여 설명한다.
통신부(110)는 유선 혹은 무선 통신으로 카메라(10)로부터 상기 원본이미지를 수신하여 마스킹 이미지 추출부(120)로 전달한다(S110).
마스킹 이미지 추출부(120)는 상기 배경에서 제품이 로딩된 상태를 촬영한 상기원본 이미지에 제품 마스크 이미지를 적용하여 마스킹된 제품 이미지를 추출하고(S120), 상기 마스킹된 제품 이미지에 대응되는 레이블(label)을 생성한다(S130). 상기 레이블은 상기 마스킹된 제품 이미지를 딥러닝 학습시키기 위하여 규정된 데이터로서 예컨대, 제품의 분류정보, 종류, 사양, 특성 및 적용공정의 상태정보 등을 포함할 수 있다.
이러한, 마스킹 이미지 추출부(120)는 생성된 마스킹된 제품 이미지와 이에 대응되는 레이블을 세트로 구성하여 딥러닝 학습부(130)로 전달할 수 있다.
딥러닝 학습부(130)는 마스킹된 제품 이미지 세트와 레이블 세트가 수신되면, 순차적으로 입력되는 마스킹된 제품 이미지와 해당 레이블을 이용한 딥러닝 학습을 수행하여(S140), 뉴럴 네트워크의 특징값을 정의하는 네트워크모델을 생성한다(S150).
마스킹 이미지 추출부(120)는 상기 딥러닝 학습의 결과물로 생성된 네트워크모델을 데이터베이스부(140)에 저장하여 추후 딥러닝 추론 시 이미지 분류를 위한 기준 데이터로 활용하도록 한다. 여기서, 상기 이미지 분류는 특정 대상체(제품)나 그 대상체(제품)의 상태를 인식하거나 이미지 상에 존재하는 임의 객체을 식별하는 기능을 포함한다.
데이터베이스부(140)는 딥러닝 이미지 분류 시스템(100)의 운용을 위한 각종 프로그램 및 데이터를 저장하고, 그 운용에 따라 생성되는 데이터를 저장한다.
예컨대, 데이터베이스부(140)는 마스킹 이미지 추출부(120) 및 딥러닝 학습부(130)의 실행을 위한 프로그램과 데이터를 저장하고, 그에 따른 딥러닝 학습에 따라 생성된 상기 네트워크모델을 저장한다.
이와 같이 마스킹 기반 딥러닝 학습을 통해 네트워크모델을 생성하는 과정은 제조 라인에 신규 설비/공정 도입 시의 사전작업으로 후술되는 카메라를 활용한 딥러닝 이미지 분류 작업을 위해 선행될 수 있다.
제어부(150)는 본 발명의 실시예에 따른 마스킹 기반 딥러닝 이미지 분류를 위하여 딥러닝 이미지 분류 시스템(100)에 구성된 상기 각부의 전반적인 동작을 제어하는 중앙 처리 장치이다.
한편, 도 4(B)를 참조하여, 본 발명의 실시예에 따른 마스킹 기반 딥러닝 이미지 분류 시스템(100)의 마스킹 기반 딥러닝 학습 방법에 대하여 설명한다.
마스킹 기반 딥러닝 학습 방법을 설명함에 있어서, 공정 작업 시 제조 라인에 설치된 카메라(10)를 통해 촬영된 원본이미지를 수집하고, 마스킹 이미지 추출부(120)를 이용한 전처리 작업을 통해 마스킹된 제품 이미지를 추출하는 과정은 위의 설명과 유사하다.
제어부(150)는 마스킹 이미지 추출부(120)로부터 마스킹된 제품 이미지가 입력되면(S210), 미리 학습된 네트워크모델을 활용한 딥러닝 추론을 실시하여(S220), 상기 마스킹된 제품 이미지에 대응하는 레이블을 출력함으로써 배경에 상관 없이 동일한 대상체(제품)의 이미지를 분류한다(S230). 이 때, 제어부(150)는 마스킹된 제품 이미지에 대하여 DNN(Deep Neural Network) 혹은 CNN(Convolutional Neural Network) 알고리즘 기반의 이미지(영상) 분류작업을 통한 추론과정을 거쳐 제품 이미지를 분류할 수 있다.
제어부(150)는 제조라인에 적용된 공정에 따라 상기 제품 분류에 기초한 제품의 로딩 여부 및 정위치 여부 등을 모니터링할 수 있으며, 그 이상 상태를 검출하여 운영자 단말기(20)로 알람 할 수 있다.
이러한, 제어부(150)는 설정된 프로그램에 의하여 동작하는 하나 이상의 프로세서로 구현될 수 있으며, 상기 설정된 프로그램은 본 발명의 실시예에 따른 마스킹 기반 딥러닝 이미지 분류 방법 전반의 각 단계를 수행하도록 프로그래밍 된 것일 수 있다.
따라서, 제어부(150)는 마스킹 기반 딥러닝 이미지 분류 동작을 제어하기 위하여 데이터베이스부(140)에 저장된 프로그램의 실행으로 마스킹 이미지 추출부(120) 및 딥러닝 학습부(130)를 제어 할 수 있는 바, 본 발명의 실시예의 설명에서 실질적인 각 부의 상위 제어 주체가 될 수 있다.
이하, 아래의 도면을 통해 본 발명의 실시예에 따른 마스킹된 제품 이미지 추출 방법을 구체적으로 설명하되, 설명의 이해를 돕기 위해 도 2의 카메라 설치 장소 이동에 따라 원본 이미지의 배경이 변경된 상태를 가정하여 설명하도록 한다.
도 5는 본 발명의 실시예에 따른 배경A, 배경B, 배경C에서 각각 촬영된 원본 이미지에서 마스킹된 제품 이미지를 추출하는 과정을 나타낸다.
먼저, 도 5(A)를 참조하면, 카메라(10)의 설치장소에서 세로방향의 제품 이송장치(1)와 가로방향의 환기용 덕트(2)가 수직으로 교차하는 배경A 이미지가 촬영된 상태를 보여준다.
제어부(150)는 마스킹 이미지 추출부(120)를 통해 배경A에 제품(4)이 로딩된 원본 이미지상에 제품 마스크 이미지(5)를 적용하여 마스킹된 제품 이미지(이하, "제1 마스킹된 제품 이미지"라 칭함)(6a)를 추출한다.
이 때, 제어부(150)는 배경A의 원본 이미지에서 제품(4)과 파지장치(3)를 제외한 나머지 배경A 이미지를 제거하여 제1 마스킹된 제품 이미지를 추출할 수 있다.
또한, 도 5(B)를 참조하면, 카메라(10)의 설치장소에서 세로방향의 제품 이송장치(1)와 평행하게 세로방향의 환기용 덕트(2)가 있는 배경A 이미지가 촬영된 상태를 보여준다.
위의 배경A의 사례와 마찬가지로 제어부(150)는 마스킹 이미지 추출부(120)를 통해 배경B에 제품(4)이 로딩된 원본 이미지에 제품 마스크 이미지(5)를 적용하여 마스킹된 제품 이미지(이하, "제2 마스킹된 제품 이미지"라 칭함)(6b)를 추출할 수 있다.
이 때, 제어부(150)는 배경B의 원본 이미지에서 제품(4)과 파지장치(3)를 제외한 나머지 배경B 이미지를 제거하여 제2 마스킹된 제품 이미지(6b)를 추출할 수 있다.
또한, 도 5(C)를 참조하면, 카메라(10)의 설치장소에서 가로방향의 제품 이송장치(1)와 세로방향의 환기용 덕트(2)가 수직으로 교차하는 배경A 이미지가 촬영된 상태를 보여준다.
위의 배경A,배경B와 달리 원본 이미지에서 제품(4)과 파지장치(3)가 90도 회전된 형상을 보여주며, 이는 카메라(10)촬영각도나 설치장소의 변경에 따라 다양한 각도로 촬영될 수 있음을 시사한다.
이때도, 위의 배경A 및 배경B의 사례와 마찬가지로 제어부(150)는 마스킹 이미지 추출부(120)를 통해 배경C에 제품(4)이 로딩된 원본 이미지에 제품 마스크 이미지(5)를 적용하여 마스킹된 제품 이미지(이하, "제3 마스킹된 제품 이미지"라 칭함)(6c)를 추출할 수 있다.
이 때, 제어부(150)는 배경C의 원본 이미지에서 제품(4)과 파지장치(3)를 제외한 나머지 배경B 이미지를 제거하여 제3 마스킹된 제품 이미지(6c)를 추출할 수 있다.
앞서, 도 2를 통해 설명한 것과같이, 종래에는 카메라 설치 장소의 이동으로 인해 배경A가 배경B로 변경되거나, 분류 대상체 외의 다른 물체가 배경 내에 위치할 경우 이미지 분류의 정확도 향상 위해서는 변경된 설치 장소에 대한 대량의 샘플 데이터 재수집과 그 딥러닝 재학습이 필요하였다. 반면에 주기적 모델 교체와 설비의 변경 및 짧은 개발기간 동안 딥러닝 이미지 분석기술에 필요한 데이터를 충분히 확보하기 어려운 문제가 존재하였다.
이에, 본 발명의 실시예에 따르면, 도 5와 같이 배경A에서 추출된 제1 마스킹된 제품 이미지(6a)와 배경B에서 추출된 제2 마스킹된 제품 이미지(6b)는 실질적으로 동일하다. 또한, 제3 마스킹된 제품 이미지(6c)는 각도만 다를 뿐 그 형상이 실질적으로 동일하다 할 수 있다.
그러므로, 제어부(150)는 제1 내지 제3 마스킹된 제품 이미지(6a, 6b, 6c) 중 어느 하나의 마스킹된 제품 이미지를 추출하고 이를 사용하여 배경과 무관하게 기존에 딥러닝 학습부(130)를 통해 학습된 동일 네트워크모델을 활용하여 딥러닝 추론 기반 이미지 분류를 수행할 수 있으며, 이를 통해 그 정확성을 담보할 수 있다.
이를 위해, 제어부(150)는 사전에 하나의 마스킹된 제품 이미지를 추출하고 이를 입력 데이터로 활용한 마스킹 기반 딥러닝 학습을 통해 네트워크모델을 생성하는 작업을 선행한다(도 4(A) 참조).
이때, 제어부(150)는 하나의 마스킹된 제품 이미지(예; 6a)를 기준으로 다양한 각도로 회전시켜 다양하게 변화된 각도의 마스킹된 제품 이미지(예; 6c) 데이터를 추가로 생성하여 확장할 수 있으며, 확장된 데이터들을 마스킹된 제품 이미지 세트로 입력하여 딥러닝 학습된 네트워크모델을 생성할 수 있다.
또한, 제어부(150)는 도 4(B)의 딥러닝 추론 과정에서 상기 미리 학습된 동일 네트워크모델이 없으면, 딥러닝 학습부(130)를 통해 배경에 상관 없이 하나의 마스킹된 제품 이미지를 이용한 딥러닝 학습을 통해 신규 네트워크모델을 생성할 수 있다.
즉, 신규 제품의 도입 및 설비 구성을 위해 사전에 딥러닝 학습 과정을 거쳐 네트워크모델을 구축하고, 이를 기반으로 딥러닝 추론 과정을 수행하되, 간헐적으로 추가/변경되는 환경에 대응하여 딥러닝 추론 과정에서도 신속하게 신규 네트워크모델을 업데이트함으로써 추론에 적용 수 있는 이점이 있다.
한편, 도 6은 본 발명의 실시예에 따른 제품 마스크 이미지를 생성하는 방법을 나타낸 흐름도이다.
도 7는 본 발명의 실시예에 따른 제품 마스크 이미지를 생성하는 흐름을 그림으로 나타낸다.
도 6 및 도 7을 참조하면, 마스킹 이미지 추출부(120)는 배경A 이미지에서 배경A에 제품(4)이 로딩된 이미지의 각 픽셀값을 빼기 연산한 후 절대값을 취한 이미지(이하, "픽셀차이 절대값 이미지"라 명명함)를 생성한다(S310). 여기서, 상기 제품(4)이 로딩된 이미지는 제품의 이미지 영역에 해당하는 x, y 좌표의 픽셀값과 상기 제품(4)을 파지하여 로딩 하는 파지장치의 이미지 영역에 해당하는 x, y 좌표의 픽셀값을 포함한다.
마스킹 이미지 추출부(120)는 픽셀차이 절대값 이미지에 대하여 이진화 연산을 수행하여(S320), 최종적으로 제품 마스크 이미지를 생성한다(S330).
한편, 도 8은 본 발명의 실시예에 따른 픽셀차이 절대값 이미지를 생성하는 방법을 나타낸 흐름도이다.
도 8을 참조하면, 본 발명의 실시예에 따른 마스킹 이미지 추출부(120)가 픽셀차이 절대값 이미지를 생성하는 상기 S310 단계의 상세한 흐름을 보여준다.
마스킹 이미지 추출부(120)는 아래의 수학식 1을 통해 원본 이미지의 전체 픽셀에서 배경 이미지와 제품이 로딩된 이미지의 픽셀차이에 따른 절대값 이미지를 계산한다(S311).
Figure 112021121712236-pat00001
여기서, 마스킹 이미지 추출부(120)는 원본 이미지의 배경 이미지에 해당하는 x, y 좌표의 픽셀값(Pb(x, y))에서 제품이 로딩된 이미지에 해당하는 x, y 좌표의 픽셀값(Pp(x, y))을 차감 후 픽셀차이 절대값(Pa(x, y))을 산출할 수 있다.
마스킹 이미지 추출부(120)는 상기 픽셀차이 절대값(Pa(x, y))이 "0"보다 큰지 여부를 비교한다(S312).
이때, 마스킹 이미지 추출부(120)는 상기 비교 결과 절대값(Pa(x, y))이 "0"보다 크면(S112; 예), 제품 마스크 이미지에 해당하는 x, y 좌표의 픽셀값(Pm(x, y))으로 판정한다(S313).
반면, 마스킹 이미지 추출부(120)는 상기 비교 결과 절대값(Pa(x, y))이 "0"보다 크지 않으면(S112; 아니오), 제품 마스크 이미지에 해당하지 않는 것으로 판정한다(S314).
한편, 도 9는 본 발명의 실시예에 따른 마스킹된 제품 이미지를 생성하는 방법을 나타낸 흐름도이다.
도 9를 참조하면, 본 발명의 실시예에 따른 마스킹 이미지 추출부(120)는 제품 마스크 이미지에 해당하는 x, y 좌표의 픽셀값(Pm(x, y))이 "0"과 같은지 여부에 따라 마스킹된 제품 이미지를 정의하는 절차를 수행한다(S410).
이 때, 마스킹 이미지 추출부(120)는 상기 제품 마스크 이미지에 해당하는 x, y 좌표의 픽셀값(Pm(x, y))이 "0"과 같으면(S410; 예), 마스킹된 제품 이미지 내의 x, y 좌표의 픽셀값(Pmp(x, y))로 판정한다(S420).
반면, 마스킹 이미지 추출부(120)는 상기 비교 결과 제품 마스크 이미지에 해당하는 x, y 좌표의 픽셀값(Pm(x, y))이 "0"과 같지 않으면(S410; 아니오), 마스킹된 제품 이미지에 해당하지 않고 배경에 제품이 로딩된 이미지에 해당하는 x, y 좌표의 픽셀값(Pp(x, y))으로 판정한다(S430).
이와 같이, 본 발명의 실시예에 따르면, 딥러닝 학습시 마스킹된 제품 이미지 세트를 사용하여 네트워크모델을 생성하고 이를 활용한 딥러닝 추론 시 마스킹된 제품 이미지를 사용하여 대상체를 분류함으로써 카메라 설치장소 변경 혹은 배경에 상관없이 이미지 분류 성능과 정확도를 향상시킬 수 있다.
또한, 하나의 마스킹된 제품 이미지를 기준으로 다양한 각도로 변화된 마스킹된 제품 이미지 세트를 생성함으로써 제조업의 짧은 개발기간 동안 딥러닝 이미지 분석기술에 필요한 충분한 샘플 데이터를 확보할 수 있는 효과가 있다.
본 발명의 실시예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
10: 카메라
20: 운영자 단말기
100: 딥러닝 이미지 분류 시스템
110: 통신부
120: 마스킹 이미지 추출부
130: 딥러닝 학습부
140: 데이터베이스부
150: 제어부

Claims (20)

  1. 제조라인에 설치되어 촬영영역의 배경과 분류 대상체를 촬영하는 카메라로부터 원본이미지를 수신하는 통신부;
    상기 원본 이미지를 전처리하여 마스킹된 제품 이미지를 추출하는 마스킹 이미지 추출부;
    마스킹된 제품 이미지와 그 레이블을 입력 데이터로 활용한 딥러닝 학습을 수행하여 뉴럴 네트워크의 특징값이 정의된 네트워크모델을 생성하는 딥러닝 학습부;
    상기 네트워크모델을 저장하는 데이터베이스부; 및
    상기 제조라인의 공정 중 상기 마스킹 이미지 추출부로부터 전처리된 상기 마스킹된 제품 이미지를 수신하면 미리 학습된 상기 네트워크모델을 활용한 딥러닝 추론을 실시하여 배경에 상관 없이 동일한 대상체의 이미지를 분류하는 제어부;를 포함하며,
    상기 마스킹 이미지 추출부는 상기 분류 대상체인 제품이 로딩된 상태를 촬영한 상기원본 이미지에 제품 마스크 이미지를 적용하여 마스킹된 제품 이미지를 추출하고, 상기 마스킹된 제품 이미지에 대응되는 레이블(label)을 생성하며, 상기 마스킹된 제품 이미지와 이에 대응되는 레이블을 세트로 구성하여 상기 딥러닝 학습부로 전달하고,
    상기 제어부는 하나의 마스킹된 제품 이미지를 기준으로 다양한 각도로 회전시켜 다양하게 변화된 각도의 마스킹된 제품 이미지를 추가로 생성하여 확장하고, 확장된 데이터들을 마스킹된 제품 이미지 세트로 입력하여 상기 딥러닝 학습된 네트워크모델을 생성하는 마스킹 기반 딥러닝 이미지 분류 시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 마스킹 이미지 추출부는
    상기 원본이미지의 배경 이미지에 제품이 로딩된 이미지의 각 픽셀값을 빼기 연산한 후 절대값을 취한 픽셀차이 절대값 이미지를 생성하고, 상기 픽셀차이 절대값 이미지에 대하여 이진화 연산을 수행하여 상기 제품 마스크 이미지를 생성하는 마스킹 기반 딥러닝 이미지 분류 시스템.
  5. 제4항에 있어서,
    상기 마스킹 이미지 추출부는
    상기 제품 마스크 이미지를 생성 시 상기 원본 이미지의 배경 이미지에 해당하는 좌표의 픽셀값(Pb(x, y))에서 제품이 로딩된 이미지에 해당하는 좌표의 픽셀값(Pp(x, y))을 차감 후 픽셀차이 절대값(Pa(x, y))을 산출하고, 상기 픽셀차이 절대값(Pa(x, y))이 "0"보다 큰지 비교하여 상기 제품 마스크 이미지에 해당하는 좌표의 픽셀값(Pm(x, y))으로 판정하는 마스킹 기반 딥러닝 이미지 분류 시스템.
  6. 제5항에 있어서,
    상기 마스킹 이미지 추출부는
    상기 절대값(Pa(x, y))이 "0"보다 크면 상기 제품 마스크 이미지에 해당하는 좌표의 픽셀값(Pm(x, y))으로 판정하고 상기 "0"보다 크지 않으면 상기 제품 마스크 이미지에 해당하지 않는 것으로 판정하는 마스킹 기반 딥러닝 이미지 분류 시스템.
  7. 제5항에 있어서,
    상기 마스킹 이미지 추출부는
    상기 제품 마스크 이미지에 해당하는 좌표의 픽셀값(Pm(x, y))이 "0"과 같은지 여부에 따라 마스킹된 제품 이미지를 정의하는 마스킹 기반 딥러닝 이미지 분류 시스템.
  8. 제7항에 있어서,
    상기 마스킹 이미지 추출부는
    상기 마스킹된 제품 이미지를 추출 시 상기 제품 마스크 이미지에 해당하는 좌표의 픽셀값(Pm(x, y))이 "0"과 같으면 마스킹된 제품 이미지 내의 픽셀값으로 판정하되, 상기 "0"과 같지 않으면 상기 마스킹된 제품 이미지에 해당하지 않고 배경에 제품이 로딩된 이미지에 해당하는 좌표의 픽셀값(Pp(x, y))으로 판정하는 마스킹 기반 딥러닝 이미지 분류 시스템.
  9. 제1항에 있어서,
    상기 제어부는
    상기 마스킹된 제품 이미지에 대하여 DNN(Deep Neural Network) 혹은 CNN(Convolutional Neural Network) 알고리즘 기반의 이미지 분류 작업을 통한 추론과정을 거쳐 제품 이미지를 분류하는 마스킹 기반 딥러닝 이미지 분류 시스템.
  10. 제1항에 있어서,
    상기 제어부는
    상기 마스킹된 제품 이미지에 대응하는 레이블을 출력하여 상기 대상체의 이미지를 분류하는 마스킹 기반 딥러닝 이미지 분류 시스템.
  11. 제10항에 있어서,
    상기 제어부는
    상기 레이블을 통해 상기 대상체의 제품이나 상기 제품의 종류, 사양, 특성 및 적용공정에서의 상태정보 중 적어도 하나를 인식하는 마스킹 기반 딥러닝 이미지 분류 시스템.
  12. 삭제
  13. 제1항에 있어서,
    상기 제어부는
    상기 딥러닝 추론 과정에서 미리 학습된 동일 네트워크모델이 없으면, 상기 딥러닝 학습부를 통해 배경에 상관 없이 하나의 마스킹된 제품 이미지를 이용한 딥러닝 학습을 통해 신규 네트워크모델을 생성하는 마스킹 기반 딥러닝 이미지 분류 시스템.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020210142307A 2021-10-25 2021-10-25 마스킹 기반 딥러닝 이미지 분류 시스템 및 그 방법 KR102623979B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210142307A KR102623979B1 (ko) 2021-10-25 2021-10-25 마스킹 기반 딥러닝 이미지 분류 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210142307A KR102623979B1 (ko) 2021-10-25 2021-10-25 마스킹 기반 딥러닝 이미지 분류 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20230058743A KR20230058743A (ko) 2023-05-03
KR102623979B1 true KR102623979B1 (ko) 2024-01-11

Family

ID=86380964

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210142307A KR102623979B1 (ko) 2021-10-25 2021-10-25 마스킹 기반 딥러닝 이미지 분류 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102623979B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102202788B1 (ko) * 2020-05-04 2021-01-14 주식회사 아우라제이 모조품 판별을 위한 인공지능 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3228638B2 (ja) * 1994-06-08 2001-11-12 松下電器産業株式会社 背景差分法を用いた移動体検出方法
KR20210038211A (ko) * 2019-09-30 2021-04-07 오상욱 이미지 마스킹을 이용한 불량 검사 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102202788B1 (ko) * 2020-05-04 2021-01-14 주식회사 아우라제이 모조품 판별을 위한 인공지능 장치 및 방법

Also Published As

Publication number Publication date
KR20230058743A (ko) 2023-05-03

Similar Documents

Publication Publication Date Title
CN107194559B (zh) 一种基于三维卷积神经网络的工作流识别方法
WO2020061236A1 (en) Product onboarding machine
TWI760916B (zh) 用於工廠自動化生產線之製造系統
JP2021163503A (ja) ２次元カメラによる３次元の姿勢推定
JP2023134688A (ja) ビジョンシステムで画像内のパターンを検出及び分類するためのシステム及び方法
US20230201973A1 (en) System and method for automatic detection of welding tasks
CN115330734A (zh) 一种基于三维目标检测和点云缺陷补全的自动化机器人补焊系统
KR20230164119A (ko) 적응형 관심 영역 분할을 이용한 자동화된 시각적 검사를 위한 시스템, 방법 및 컴퓨터 장치
Variz et al. Machine learning applied to an intelligent and adaptive robotic inspection station
Basamakis et al. Deep object detection framework for automated quality inspection in assembly operations
US20220284699A1 (en) System and method of object detection using ai deep learning models
KR102623979B1 (ko) 마스킹 기반 딥러닝 이미지 분류 시스템 및 그 방법
JP2021163502A (ja) 複数の２次元カメラによる３次元の姿勢推定
JP2021176078A (ja) 深層学習及びベクトル場推定による特徴検出
KR20220085115A (ko) 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법
CN112534472B (zh) 图像判定装置、图像判定方法及其程序的记录介质
US20220198802A1 (en) Computer-implemental process monitoring method, device, system and recording medium
US20210192779A1 (en) Systems, Methods, and Media for Manufacturing Processes
KR20220154135A (ko) 제조 공정을 위한 시스템, 방법 및 매체
Hrbček et al. Embedded image processing on Raspberry Pi connected to the industrial control system
CN117115783B (zh) 基于机器视觉的流水线工作行为识别方法
CN117274843B (zh) 基于轻量级边缘计算的无人机前端缺陷识别方法及系统
Gobee et al. Robotic vision based PCB inspection with IOT interface
JP2022135007A (ja) 作業適正判定装置
Ribeiro et al. Automated Detection of Refilling Stations in Industry Using Unsupervised Learning

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant