KR20220084753A - 신경망 모델을 이용한 불량 재봉선 검출 방법, 불량 재봉선 검출 시스템 및 분석장치 - Google Patents

신경망 모델을 이용한 불량 재봉선 검출 방법, 불량 재봉선 검출 시스템 및 분석장치 Download PDF

Info

Publication number
KR20220084753A
KR20220084753A KR1020200174542A KR20200174542A KR20220084753A KR 20220084753 A KR20220084753 A KR 20220084753A KR 1020200174542 A KR1020200174542 A KR 1020200174542A KR 20200174542 A KR20200174542 A KR 20200174542A KR 20220084753 A KR20220084753 A KR 20220084753A
Authority
KR
South Korea
Prior art keywords
image
defective
model
seam
sewing
Prior art date
Application number
KR1020200174542A
Other languages
English (en)
Inventor
조남익
이상화
윤성로
정다흰
오상엽
박용철
이재원
Original Assignee
서울대학교산학협력단
호전실업 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단, 호전실업 주식회사 filed Critical 서울대학교산학협력단
Priority to KR1020200174542A priority Critical patent/KR20220084753A/ko
Publication of KR20220084753A publication Critical patent/KR20220084753A/ko

Links

Images

Classifications

    • D—TEXTILES; PAPER
    • D05—SEWING; EMBROIDERING; TUFTING
    • D05B—SEWING
    • D05B75/00—Frames, stands, tables, or other furniture adapted to carry sewing machines
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06H—MARKING, INSPECTING, SEAMING OR SEVERING TEXTILE MATERIALS
    • D06H3/00—Inspecting textile materials
    • D06H3/08—Inspecting textile materials by photo-electric or television means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Textile Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Materials Engineering (AREA)
  • Image Analysis (AREA)
  • Sewing Machines And Sewing (AREA)

Abstract

신경망 모델 기반 불량 재봉선 검출 시스템은 재봉틀에서 산출되는 원단 위의 재봉선 영역에 대한 제1 영상을 캡쳐하는 카메라, 재봉선 영역에 대한 영상을 입력받아 상기 재봉선 영역이 구분된 분할 영상을 생성하는 세그멘테이션 모델 및 상기 분할 영상을 입력받아 봉제 작업의 불량 여부를 출력하는 검출 모델을 저장하는 저장장치, 상기 카메라에서 캡쳐되는 제1 영상을 상기 세그멘테이션 모델에 입력하여 재봉선 영역이 구분된 제2 영상을 생성하고, 상기 제2 영상을 상기 검출 모델에 입력하여 상기 재봉선 영역의 불량 여부를 결정하는 분석장치 및 유선 또는 무선 통신 인터페이스를 이용하여 상기 제1 영상을 상기 분석장치에 전달하는 통신장치를 포함한다.

Description

신경망 모델을 이용한 불량 재봉선 검출 방법, 불량 재봉선 검출 시스템 및 분석장치{SEWING DEFECT DETECTING METHOD USING NEURAL NETWORK, SEWING DEFECT DETECTING SYSTEM AND ANALYSIS APPARATUS}
이하 설명하는 기술은 봉제 작업에서 산출되는 재봉선의 불량을 검출하는 기법에 관한 것이다.
봉제 산업은 노동집약적인 산업이다. 전통적으로 봉제 작업에서 작업자 개인이 경험에 따라 불량 여부를 판단하였다. 따라서, 봉제 작업물의 품질은 전적으로 작업자의 역량에 따른다.
일본공개특허 제2019-146748호 (2019.09.05)
봉제 불량을 자동으로 판단하는 기술이 연구된 바 있다. 예컨대, 종래 기술은 재봉틀(sewing machine)에서 실의 장력과 옷감의 솔기를 촬영한 영상을 분석하여 봉제 불량을 검출하였다. 다만, 재봉선이 형성되는 고속 작업에서 실시간으로 영상을 분석하여 봉제 불량을 검출하기 쉽지 않다.
이하 설명하는 기술은 신경망 모델을 이용하여 재봉틀의 작업물에 대한 영상만으로 봉제 불량을 검출하는 기법을 제공하고자 한다.
신경망 모델 기반 불량 재봉선 검출 시스템은 재봉틀에서 산출되는 원단 위의 재봉선 영역에 대한 제1 영상을 캡쳐하는 카메라, 재봉선 영역에 대한 영상을 입력받아 상기 재봉선 영역이 구분된 분할 영상을 생성하는 세그멘테이션 모델 및 상기 분할 영상을 입력받아 봉제 작업의 불량 여부를 출력하는 검출 모델을 저장하는 저장장치, 상기 카메라에서 캡쳐되는 제1 영상을 상기 세그멘테이션 모델에 입력하여 재봉선 영역이 구분된 제2 영상을 생성하고, 상기 제2 영상을 상기 검출 모델에 입력하여 상기 재봉선 영역의 불량 여부를 결정하는 분석장치 및 유선 또는 무선 통신 인터페이스를 이용하여 상기 제1 영상을 상기 분석장치에 전달하는 통신장치를 포함한다.
신경망 모델을 이용한 불량 재봉선 검출 방법은 분석장치가 봉제 작업으로 산출되는 재봉선 영역에 대한 제1 영상을 획득하는 단계, 상기 분석장치가 상기 제1 영상을 세그멘테이션 모델에 입력하여 상기 재봉선 영역이 구분된 제2 영상을 생성하는 단계 및 상기 분석장치가 상기 제2 영상을 검출 모델에 입력하여 상기 재봉선 영역의 불량 여부를 출력하는 단계를 포함한다.
신경망 모델 기반 불량 재봉선 검출하는 분석장치는 봉제 작업으로 산출되는 재봉선 영역에 대한 제1 영상을 입력받는 입력장치, 재봉선 영역에 대한 영상을 입력받아 상기 재봉선 영역이 구분된 분할 영상을 생성하는 세그멘테이션 모델 및 상기 분할 영상을 입력받아 봉제 작업의 불량 여부를 출력하는 검출 모델을 저장하는 저장장치 및 상기 제1 영상을 상기 세그멘테이션 모델에 입력하여 재봉선 영역이 구분된 제2 영상을 생성하고, 상기 제2 영상을 상기 검출 모델에 입력하여 상기 재봉선 영역의 불량 여부를 결정하는 연산장치를 포함한다.
이하 설명하는 기술은 신경망 모델로 재봉선 영역에 대한 이진 영상(binary image)을 생성하고, 별도의 신경망 모델로 이진 영상을 분석하여 정확하고 빠르게 재봉선 불량 여부를 검출한다.
도 1은 불량 재봉선을 검출하는 시스템에 대한 예이다.
도 2는 불량 재봉선을 검출하는 신경망 모델에 대한 예이다.
도 3은 재봉선 영역에 대한 이진 영상의 예이다.
도 4는 불량 재봉선에 대한 이진 영상의 예이다.
도 5는 분석 장치에 대한 예이다.
이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시례를 가질 수 있는 바, 특정 실시례들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설명된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
이하 설명하는 기술은 학습 모델을 이용하여 봉제 작업 과정의 재봉선 불량을 검출하는 기법이다. 학습모델은 기계 학습(machine learning) 모델을 의미한다. 학습 모델은 다양한 유형의 모델들을 포함하는 의미이다. 예컨대, 학습 모델은 결정 트리, 랜덤 포레스트(random forest), KNN(K-nearest neighbor), 나이브 베이즈(Naive Bayes), SVM(support vector machine), 인공신경망(artificial neural network) 등이 있다. 이하 설명하는 기술은 인공신경망을 이용할 수 있다. 이하 설명은 인공신경망 내지 신경망 모델을 중심으로 설명한다.
인공신경망은 생물의 신경망을 모방한 통계학적 학습 알고리즘이다. 다양한 신경망 모델이 연구되고 있다. 최근 딥러닝 신경망(deep learning network, DNN)이 주목받고 있다. DNN은 입력층(input layer)과 출력층(output layer) 사이에 여러 개의 은닉층(hidden layer)들로 이뤄진 인공신경망 모델이다. DNN은 일반적인 인공신경망과 마찬가지로 복잡한 비선형 관계(non-linear relationship)들을 모델링할 수 있다. DNN은 다양한 유형의 모델이 연구되었다. 예컨대, CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), GAN(Generative Adversarial Network), RL(Relation Networks) 등이 있다.
이하 설명하는 기술은 봉제 과정에서 실시간으로 재봉되는 영역을 촬영하고, 촬영된 영상을 신경망 모델로 분석하여 재봉선의 불량을 검출한다. 도 1은 불량 재봉선을 검출하는 시스템에 대한 예이다. 재봉틀에서 바늘이 이동하면서 원단 위에 재봉선이 형성된다.
도 1(A)는 재봉선 불량을 검출하는 재봉틀 장치(100)에 대한 예이다. 재봉틀 장치(100)는 조명장치(110), 카메라(120), 저장장치(130), 분석장치(140) 및 출력장치(150)를 포함한다. 재봉틀의 다른 구성에 대해서는 상세한 설명을 생략한다.
재봉틀에서 바늘이 이동하면서 원단 위에 재봉선이 형성된다. 바늘이 이동하면서 재봉선이 형성되는 영역을 재봉선 영역이라고 명명한다. 재봉선 영역은 재봉선이 만들어지는 지점을 기준으로 일정한 면적을 갖는 영역이다.
조명장치(110)는 재봉선 영역에 광을 조사한다. 조명장치(110)는 재봉선이 선명하게 보이도록 광을 조사한다. 조명장치(110)는 재봉틀이 동작하는 시간 동안만 켜져(on) 있거나, 상시 켜져 있을 수 있다.
카메라(120)는 재봉선 영역을 캡처한다. 카메라(120)는 조명장치(110)가 광을 조사하는 재봉선 영역을 포함하는 영상을 캡쳐한다. 재봉선 영역을 포함하는 영상을 재봉선 영상이라고 명명한다. 카메라(120)는 시간의 흐름에 따라 재봉선에 대한 복수의 영상을 캡쳐한다. 카메라(120)는 하나의 프레임에 포함되는 재봉선 영역이 촬영가능한 범위(화각)를 벗어나는 순간 연속된 프레임으로 이후 재봉선 영역을 캡쳐할 수 있다. 즉, 카메라(120)는 시간 흐름에 따라 연속된 재봉선 영상을 캡쳐할 수 있다. 또는 카메라(120)는 일정한 시간 간격에 따라 재봉선 영상을 캡쳐할 수도 있다.
저장장치(130)는 재봉선 영상을 저장할 수 있다. 저장장치(130)는 재봉선 영상을 분석하여 재봉선 불량을 검출하는 신경망 모델 및 프로그램 코드를 저장할 수 있다.
분석장치(140)는 재봉선 영상을 분석하여 재봉선 불량을 검출한다. 분석장치(140)는 데이터 처리 및 연산이 가능한 연산 장치이다. 분석장치(140)는 재봉틀 장치(100)의 동작을 제어하는 객체이기도 한다. 분석장치(140)는 일정한 연산을 처리하는 프로세서, AP, 프로그램이 임베디드된 칩과 같은 장치일 수 있다.
분석장치(140)는 입력 영상인 재봉선 영상을 신경망 모델에 입력하여 재봉선 불량 여부를 결정할 수 있다.
출력장치(150)는 분석장치(140)가 재봉선 영상을 분석한 결과를 출력할 수 있다. 출력장치(150)는 현재 재봉선 영역이 불량인 경우 해당 내용을 알람(alarm)할 수 있다. 출력장치(150)는 재봉선 불량 정보를 그래픽 객체로 출력하는 디스플레이 장치일 수 있다. 또는 출력장치(150)는 재봉선 불량 정보를 소리로 출력하는 스피커 장치일 수도 있다.
분석장치(140)는 현재 재봉선 영역이 불량인 경우 재봉틀 장치(100)의 동작을 정지하도록 제어할 수도 있다.
도 1(B)는 재봉선 불량을 검출하는 시스템(200)에 대한 예이다. 도 1(B)의 시스템(200)는 재봉틀 장치(S) 및 재봉틀 장치(S)와 유선 또는 무선으로 연결된 분석장치(230)를 포함한다. 분석장치(230)는 PC와 같은 컴퓨터 장치를 예로 도시하였다. 분석장치(230)는 스마트폰과 같은 모바일기기일 수도 있다.
재봉선 불량을 검출하는 시스템(200)은 조명장치(210), 카메라(220), 분석장치(240) 및 출력장치(250)를 포함한다.
조명장치(210)는 재봉선 영역에 광을 조사한다. 조명장치(210)는 재봉선이 선명하게 보이도록 광을 조사한다. 조명장치(210)는 재봉틀(S)이 동작하는 시간 동안만 켜져(on) 있거나, 상시 켜져 있을 수 있다.
카메라(220)는 재봉선 영역을 캡처한다. 카메라(220)는 조명장치(210)가 광을 조사하는 재봉선 영역을 포함하는 영상을 캡쳐한다. 카메라(220)는 시간의 흐름에 따라 재봉선에 대한 복수의 영상을 캡쳐한다. 카메라(220)는 하나의 프레임에 포함되는 재봉선 영역이 촬영가능한 범위(화각)를 벗어나는 순간 연속된 프레임으로 이후 재봉선 영역을 캡쳐할 수 있다. 즉, 카메라(220)는 시간 흐름에 따라 연속된 재봉선 영상을 캡쳐할 수 있다. 또는 카메라(220)는 일정한 시간 간격에 따라 재봉선 영상을 캡쳐할 수도 있다.
분석장치(240)는 카메라(220)가 캡쳐한 재봉선 영상을 입력받는다. 분석장치(240)는 재봉선 영상을 분석하여 재봉선 불량을 검출한다. 분석장치(240)는 입력 영상인 재봉선 영상을 신경망 모델에 입력하여 재봉선 불량 여부를 결정할 수 있다. 분석장치(240)는 재봉선 영상을 분석한 결과를 출력할 수 있다.
출력장치(250)는 분석장치(240)로부터 재봉선 영상을 분석한 결과를 수신하여, 해당 결과를 출력할 수 있다. 출력장치(250)는 현재 재봉선 영역이 불량인 경우 해당 내용을 알람할 수 있다. 출력장치(250)는 재봉선 불량 정보를 그래픽 객체로 출력하는 디스플레이 장치일 수 있다. 또는 출력장치(250)는 재봉선 불량 정보를 소리로 출력하는 스피커 장치일 수도 있다.
재봉틀(S)은 현재 재봉선 영역이 불량인 경우 재봉틀 장치(100)의 동작을 정지하도록 제어할 수도 있다.
도 1(C)는 재봉선 불량을 검출하는 시스템(300)에 대한 예이다. 도 1(C)의 시스템(300)는 재봉틀 장치(S) 및 재봉틀 장치(S)와 인터넷으로 연결된 분석장치(330)를 포함한다. 분석장치(330)는 네트워크상의 서버 장치이다.
재봉선 불량을 검출하는 시스템(300)은 조명장치(310), 카메라(320), 분석장치(340) 및 출력장치(350)를 포함한다.
조명장치(310)는 재봉선 영역에 광을 조사한다. 조명장치(310)는 재봉선이 선명하게 보이도록 광을 조사한다. 조명장치(310)는 재봉틀(S)이 동작하는 시간 동안만 켜져(on) 있거나, 상시 켜져 있을 수 있다.
카메라(320)는 재봉선 영역을 캡처한다. 카메라(320)는 조명장치(310)가 광을 조사하는 재봉선 영역을 포함하는 영상을 캡쳐한다. 카메라(320)는 시간의 흐름에 따라 재봉선에 대한 복수의 영상을 캡쳐한다. 카메라(320)는 하나의 프레임에 포함되는 재봉선 영역이 촬영가능한 범위(화각)를 벗어나는 순간 연속된 프레임으로 이후 재봉선 영역을 캡쳐할 수 있다. 즉, 카메라(320)는 시간 흐름에 따라 연속된 재봉선 영상을 캡쳐할 수 있다. 또는 카메라(320)는 일정한 시간 간격에 따라 재봉선 영상을 캡쳐할 수도 있다.
분석장치(340)는 카메라(320)가 캡쳐한 재봉선 영상을 입력받는다. 분석장치(340)는 재봉선 영상을 분석하여 재봉선 불량을 검출한다. 분석장치(340)는 입력 영상인 재봉선 영상을 신경망 모델에 입력하여 재봉선 불량 여부를 결정할 수 있다.
출력장치(350)는 분석장치(340)로부터 재봉선 영상을 분석한 결과를 수신하여, 해당 결과를 출력할 수 있다. 출력장치(350)는 현재 재봉선 영역이 불량인 경우 해당 내용을 알람할 수 있다. 출력장치(350)는 재봉선 불량 정보를 그래픽 객체로 출력하는 디스플레이 장치일 수 있다. 또는 출력장치(350)는 재봉선 불량 정보를 소리로 출력하는 스피커 장치일 수도 있다.
재봉틀(S)은 현재 재봉선 영역이 불량인 경우 재봉틀 장치(100)의 동작을 정지하도록 제어할 수도 있다.
도 2는 불량 재봉선을 검출하는 신경망 모델(400)에 대한 예이다.
입력 영상은 재봉선 영상이다. 재봉선 영상은 일정한 색상이나 패턴을 갖는 원단 및 재봉선을 포함한다.
재봉선 영상은 먼저 세그멘테이션(segmentation) 모델(410)에 입력된다. 세그멘테이션 모델(410)은 재봉선 영상에서 재봉선이 배경인 원단과 구분되게 한다. 세그멘테이션은 몇 가지 유형이 있다. 세그멘테이션은 오브젝트 세그먼테이션(object segmentation)일 수도 있다. 이 경우, 세그멘테이션 모델(410)은 전체 영상 중 재봉선 영역만 검출(detection)하는 모델일 수도 있다.
세그멘테이션은 시맨틱 세그먼테이션(semantic segmentation) 및 인스턴스 세그먼테이션(instance segmentation) 등도 있다. 따라서, 세그멘테이션 모델(410)이 출력하는 영상은 재봉선 영역이 표시된 영상 또는 재봉선 영역이 다른 영역과 다른 색상 등으로 구분된 영상(분할 영상)일 수 있다.
세그멘테이션 모델(410)은 배경인 원단과 재봉선을 구분하여 배경 및/또는 재봉선을 다른 색상으로 변경할 수 있다. 세그멘테이션 모델(410)은 다양한 신경망 모델 중 어느 하나일 수 있다. 세그멘테이션 모델(410)은 픽셀 단위로 영상을 구분하고 분류하는 모델을 활용할 수 있다. 예컨대, 세그멘테이션 모델(410)은 RCNN, Fast RCNN, Fater RCNN, Mask R-CNN, FCN(Fully Convolutinal Network), U-net, FusionNet 중 어느 하나일 수 있다.
세그멘테이션 모델(410)은 재봉선만 두드러지게 표현되는 이진 영상(binary image)을 출력할 수 있다. 즉, 세그멘테이션 모델(410)은 재봉선 영역을 제외한 배경 영역을 검은색(또는 흰색)으로 변경하고, 재봉선만 흰색(또는 검은색)으로 변경하는 모델일 수 있다.
검출 모델(420)은 세그멘테이션 모델(410)이 출력하는 영상을 입력받아 재봉선 불량 여부를 출력한다. 예컨대, 검출 모델(420)은 재봉선 영역에 대한 이진 영상을 입력받아 재봉선의 불량 여부를 나타내는 이진 정보(정상 또는 불량)를 출력할 수 있다. 검출 모델(420)은 입력 영상의 특징을 추출하여 특징에 기반하여 분류를 수행하는 모델이다. 검출 모델(420)은 다양한 유형의 신경망 모델 중 어느 하나일 수 있다. 예컨대, 검출 모델(420)은 CNN, RNN 등과 같은 모델일 수 있다. 일반적으로 영상을 분류(classification)하는 모델은 CNN 기반의 모델(VGGNets, ResNet 등)이 많이 사용된다. 나아가, 재봉선이 일정한 패턴이 계속되어, 재봉선 영상이 연속적인 프레임으로 생성된다면, 검출 모델(420)은 RNN 기반의 모델일 수도 있다. RNN 기반의 모델은 앞선 영상으로부터 일정한 피드백 정보를 받아 현재 입력 영상을 분류할 수 있다.
검출 모델(420)은 세그멘테이션 모델(410) 종속적이다. 검출 모델(420)은 세그멘테이션 모델(410)이 출력하는 영상을 입력 데이터로 이용한다.
또한, 검출 모델(420)은 세그멘테이션 모델(410)이 출력하는 영상을 학습 데이터로 이용한다. 검출 모델(420)은 입력데이터에 대하여 알려진 라벨값(정상 또는 불량)을 학습 데이터로 이용할 수 있다.
검출 모델(420)은 재봉선 이진 영상을 일정한 크기의 블록 또는 패치로 나누어 정상적인 경우와 불량인 경우를 각각 나누어 사전에 학습된다. 예컨대, Resnet과 같은 검출 모델(420)은 정상적인 재봉선 이진 영상 패치와 불량 재봉선 이진 영상 패치를 구분하여 학습하고 불량 여부를 판별할 수 있다.
재봉선은 봉제 작업의 종류 내지 재봉선 유형의 종류에 따라 다양한 형태를 갖는다. 재봉선은 스티치(stitch)의 길이, 스티치 간격, 스티치 형태(직선, 지그재그), 스트치 패턴 등에 따라서 서로 다른 유형이 된다.
검출 모델(420)은 이와 같이 봉제 작업의 종류 내지 재봉선 유형의 종류에 따라 서로 다른 모델이 사전에 마련될 수도 있다. 이 경우, 개발자는 봉제 작업의 종류 내지 재봉선 유형의 종류에 따라 학습 데이터를 복수의 그룹으로 구분하고, 개별 그룹을 이용하여 개별 검출 모델을 마련할 수 있다.
도 3은 재봉선 영역에 대한 이진 영상의 예이다. 도 3은 U-net 기반의 세그멘테이션 모델을 이용하여 재봉선 영역을 추출하고 이진 영상을 생성한 결과이다. 도 3(A)는 상단에 입력 영상을 도시하였고, 하단에 세그멘테이션 모델이 출력하는 이진 영상을 도시하였다. 도 3(B)는 상단에 입력 영상을 도시하였고, 하단에 세그멘테이션 모델이 출력하는 이진 영상을 도시하였다. 도 3(C)는 좌측에 입력 영상을 도시하였고, 우측에 세그멘테이션 모델이 출력하는 이진 영상을 도시하였다.
시맨틱 세그멘테이션이나 인스턴스 세그멘테이션 경우 영상에 포함된 클래스 정보가 세그멘테이션에 반영되게 할 수 있다. 따라서, 세그멘테이션 모델은 재봉선의 정상 또는 불량이라는 클래스 정보를 이용하여 유사한 재봉선에 대해서도 서로 상이한 이진 영상을 출력할 수 있다. 도 3을 살펴보면, 이진 영상에서 재봉선의 끊어짐이나 재봉선의 굵기가 상이함을 알 수 있다. 이와 같이 세그멘테이션 모델이 정상인 재봉선인 경우 재봉선을 끊김 없이 연속으로 비교적 균일한 두께로 출력할 수 있다. 또한, 세그멘테이션 모델은 불량인 재봉선인 경우 선이 끊어지거나, 선이 균일하지 않거나, 선자체가 검출이 되지 않도록 할 수 있다. 물론, 검출 모델은 세그멘테이션 모델이 출력하는 영상을 기준으로 학습되어야 한다.
도 4는 불량 재봉선에 대한 이진 영상의 예이다. 도 4는 불량인 재봉선에 대하여 재봉선 영역이 끊어진 이진 영상으로 분리된 예를 도시한다. 재봉선 불량은 다양한 유형이 있다. 예컨대, 재봉선 불량은 실이 끊어짐, 실이 길게 늘어지는 봉탈, 재봉 간격이 일정하지 않은 점핑스티치 등이 있다.
도 5는 분석 장치(500)에 대한 예이다. 도 5의 분석장치(500)는 도 1의 분석장치(140, 230 또는 330)에 해당한다. 분석장치(500)는 입력되는 재봉선 영상을 기준으로 인공신경망을 이용하여 재봉선 불량 여부를 검출할 수 있다. 분석장치(500)는 스마트기기, PC, 네트워크상의 서버, 임베디드 칩셋 등과 같이 다양한 형태 중 어느 하나일 수 있다.
분석장치(500)는 저장 장치(510), 메모리(520), 연산장치(530), 인터페이스 장치(540), 통신 장치(550) 및 출력장치(560)를 포함할 수 있다.
저장 장치(510)는 학습 모델을 저장한다. 저장 장치(510)는 전술한 세그멘테이션 모델 및 검출 모델을 저장할 수 있다. 저장 장치(510)는 봉제 작업의 유형 또는 재봉선의 유형에 따른 복수의 검출 모델들을 저장할 수 있다.
저장 장치(510)는 입력되는 재봉선 영상을 저장할 수 있다.
저장 장치(510)는 입력 데이터 전처리, 인공신경망 제어, 출력 데이터 처리 동작을 제어하는 소스 코드 내지 프로그램을 저장할 수 있다.
메모리(520)는 분석장치(500)가 재봉선 영상을 분석하는 과정에서 발생하는 임시 데이터를 저장할 수 있다.
인터페이스 장치(540)는 사용자로부터 일정한 명령 내지 정보를 입력받는 장치이다. 인터페이스 장치(540)는 외부 입력장치로부터 일정한 명령 내지 데이터를 입력받을 수 있다. 인터페이스 장치(540)는 물리적으로 연결된 외부 저장 장치로부터 입력 데이터(재봉선 영상), 인공신경망 모델, 제어를 위한 프로그램 등을 입력받을 수 있다. 인터페이스 장치(540)는 복수의 검출 모델 중 이용할 모델을 선택하기 위한 봉제 작업의 유형 또는 재봉선의 유형을 입력받을 수도 있다.
통신 장치(550)는 네트워크를 통해 일정한 정보를 수신하고 전송하는 구성을 의미한다. 통신 장치(550)는 외부 객체로부터 입력 데이터(재봉선 영상), 인공신경망 모델, 제어를 위한 프로그램 등을 수신할 수 있다. 통신 장치(550)는 복수의 검출 모델 중 이용할 모델을 선택하기 위한 봉제 작업의 유형 또는 재봉선의 유형을 수신할 수 있다. 또한, 통신 장치(550)는 분석 결과를 외부 객체에 송신할 수 있다.
통신 장치(550) 내지 인터페이스 장치(540)는 외부로부터 일정한 데이터 내지 명령을 전달받는 장치이다. 통신 장치(550) 내지 인터페이스 장치(540)를 입력장치라고 명명할 수도 있다.
연산 장치(530)는 입력되는 재봉선 영상(제1 영상)을 세그멘테이션 모델에 입력하여 재봉선 영역이 구분된 영상(제2 영상)을 생성한다.
연산 장치(530)는 제2 영상을 검출 모델에 입력하여 재봉선 불량 여부에 대한 정보를 생성한다.
연산 장치(530)는 봉제 작업의 유형 또는 재봉선의 유형에 대한 정보를 기준으로 복수의 검출 모델들 중 불량 검출에 사용한 검출 모델을 선택할 수 있다.
연산 장치(530)는 재봉선이 불량이라고 예측되는 경우 재봉틀의 동작을 정지하는 명령을 생성할 수 있다. 연산 장치(530)는 재봉선이 불량이라고 예측되는 경우 재봉틀의 동작을 정지하는 제어를 할 수 있다.
연산 장치(530)는 데이터를 처리하고, 일정한 연산을 처리하는 프로세서, AP, 프로그램이 임베디드된 칩과 같은 장치일 수 있다.
출력 장치(560)는 분석 과정에 필요한 인터페이스 화면을 출력할 수 있다. 또한, 출력 장치(560)는 입력된 재봉선 영상을 분석하여 예측한 재봉선 불량 여부(정상 또는 불량)을 화면에 출력할 수 있다. 출력 장치(560)는 입력된 재봉선 영상을 분석하여 예측한 재봉선 불량 여부에 대한 정보를 소리로 출력할 수 있다.
또한, 상술한 바와 같은 재봉선 불량 여부 검출 방법은 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수 있다. 상기 프로그램은 일시적 또는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM (read-only memory), PROM (programmable read only memory), EPROM(Erasable PROM, EPROM) 또는 EEPROM(Electrically EPROM) 또는 플래시 메모리 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
일시적 판독 가능 매체는 스태틱 램(Static RAM，SRAM), 다이내믹 램(Dynamic RAM，DRAM), 싱크로너스 디램 (Synchronous DRAM，SDRAM), 2배속 SDRAM(Double Data Rate SDRAM，DDR SDRAM), 증강형 SDRAM(Enhanced SDRAM，ESDRAM), 동기화 DRAM(Synclink DRAM，SLDRAM) 및 직접 램버스 램(Direct Rambus RAM，DRRAM) 과 같은 다양한 RAM을 의미한다.
본 실시례 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시례는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.

Claims (15)

  1. 재봉틀에서 산출되는 원단 위의 재봉선 영역에 대한 제1 영상을 캡쳐하는 카메라;
    재봉선 영역에 대한 영상을 입력받아 상기 재봉선 영역이 구분된 분할 영상을 생성하는 세그멘테이션(segmentation) 모델 및 상기 분할 영상을 입력받아 봉제 작업의 불량 여부를 출력하는 검출 모델을 저장하는 저장장치;
    상기 카메라에서 캡쳐되는 제1 영상을 상기 세그멘테이션 모델에 입력하여 재봉선 영역이 구분된 제2 영상을 생성하고, 상기 제2 영상을 상기 검출 모델에 입력하여 상기 재봉선 영역의 불량 여부를 결정하는 분석장치; 및
    유선 또는 무선 통신 인터페이스를 이용하여 상기 제1 영상을 상기 분석장치에 전달하는 통신장치를 포함하는 신경망 모델 기반 불량 재봉선 검출 시스템.
  2. 제1항에 있어서,
    상기 세그멘테이션 모델은 상기 제1 영상을 입력받아 재봉선 영역에 대한 이진 영상(binary image)을 출력하되,
    상기 세그멘테이션 모델은 재봉선이 정상 또는 불량인지에 따라 재봉선의 형태적 특징이 다른 상기 이전 영상을 출력하는 신경망 모델 기반 불량 재봉선 검출 시스템.
  3. 제1항에 있어서,
    상기 세그멘테이션 모델은 상기 제1 영상을 입력받아 재봉선 영역을 구분하고, 상기 재봉선 영역에서 재봉선만 구분되는 이진 영상(binary image)을 출력하는 신경망 모델 기반 불량 재봉선 검출 시스템.
  4. 제1항에 있어서,
    상기 저장장치는 봉제 작업의 유형 또는 재봉선의 유형에 대한 불량 여부를 검출하는 복수의 검출 모델들을 저장하고,
    상기 분석장치는 상기 봉제 작업의 유형 또는 재봉선의 유형에 대한 정보를 기준으로 상기 복수의 모델들 중 재봉선 영역의 불량 여부에 사용할 상기 검출 모델을 선택하는 신경망 모델 기반 불량 재봉선 검출 시스템.
  5. 분석장치가 봉제 작업으로 산출되는 재봉선 영역에 대한 제1 영상을 획득하는 단계;
    상기 분석장치가 상기 제1 영상을 세그멘테이션(segmentation) 모델에 입력하여 상기 재봉선 영역이 구분된 제2 영상을 생성하는 단계; 및
    상기 분석장치가 상기 제2 영상을 검출 모델에 입력하여 상기 재봉선 영역의 불량 여부를 출력하는 단계를 포함하는 신경망 모델을 이용한 불량 재봉선 검출 방법.
  6. 제5항에 있어서,
    상기 세그멘테이션 모델은 시맨틱 세그멘테이션(Semantic Segmentation) 모델 또는 인스턴스 세그멘테이션(Instance Segmentation) 모델인 신경망 모델을 이용한 불량 재봉선 검출 방법.
  7. 제5항에 있어서,
    상기 세그멘테이션 모델은 상기 제1 영상을 입력받아 재봉선 영역에 대한 이진 영상(binary image)을 출력하되,
    상기 세그멘테이션 모델은 재봉선이 정상 또는 불량인지에 따라 재봉선의 형태적 특징이 다른 상기 이전 영상을 출력하는 신경망 모델을 이용한 불량 재봉선 검출 방법.
  8. 제5항에 있어서,
    상기 세그멘테이션 모델은 상기 제1 영상을 입력받아 재봉선 영역을 구분하고, 상기 재봉선 영역에서 재봉선만 구분되는 이진 영상(binary image)을 출력하는 신경망 모델을 이용한 불량 재봉선 검출 방법.
  9. 제5항에 있어서,
    상기 검출 모델은 이진 영상(binary image)인 상기 제2 영상을 입력받아 재봉선 불량 여부에 대한 이진 정보를 출력하는 신경망 모델을 이용한 불량 재봉선 검출 방법.
  10. 제5항에 있어서,
    상기 검출 모델은 봉제 작업의 유형 또는 재봉선의 유형에 대한 불량 여부를 검출하는 복수의 모델들을 포함하고,
    상기 분석장치는 상기 봉제 작업의 유형 또는 재봉선의 유형에 대한 정보를 기준으로 상기 복수의 모델들 중 상기 제2 영상의 분석에 사용할 모델을 선택하는 신경망 모델을 이용한 불량 재봉선 검출 방법.
  11. 봉제 작업으로 산출되는 재봉선 영역에 대한 제1 영상을 입력받는 입력장치;
    재봉선 영역에 대한 영상을 입력받아 상기 재봉선 영역이 구분된 분할 영상을 생성하는 세그멘테이션(segmentation) 모델 및 상기 분할 영상을 입력받아 봉제 작업의 불량 여부를 출력하는 검출 모델을 저장하는 저장장치; 및
    상기 제1 영상을 상기 세그멘테이션 모델에 입력하여 재봉선 영역이 구분된 제2 영상을 생성하고, 상기 제2 영상을 상기 검출 모델에 입력하여 상기 재봉선 영역의 불량 여부를 결정하는 연산장치를 포함하는 신경망 모델 기반 불량 재봉선 검출하는 분석장치.
  12. 제11항에 있어서,
    상기 세그멘테이션 모델은 상기 제1 영상을 입력받아 재봉선 영역에 대한 이진 영상(binary image)을 출력하되,
    상기 세그멘테이션 모델은 재봉선이 정상 또는 불량인지에 따라 재봉선의 형태적 특징이 다른 상기 이전 영상을 출력하는 신경망 모델 기반 불량 재봉선 검출하는 분석장치.
  13. 제11항에 있어서,
    상기 세그멘테이션 모델은 상기 제1 영상을 입력받아 재봉선 영역을 구분하고, 상기 재봉선 영역에서 재봉선만 구분되는 이진 영상(binary image)을 출력하는 신경망 모델 기반 불량 재봉선 검출하는 분석장치.
  14. 제11항에 있어서,
    상기 저장장치는 봉제 작업의 유형 또는 재봉선의 유형에 대한 불량 여부를 검출하는 복수의 검출 모델들을 저장하고,
    상기 연산장치는 상기 봉제 작업의 유형 또는 재봉선의 유형에 대한 정보를 기준으로 상기 복수의 모델들 중 재봉선 영역의 불량 여부에 사용할 상기 분석 모델을 선택하는 신경망 모델 기반 불량 재봉선 검출하는 분석장치.
  15. 제11항에 있어서,
    상기 세그멘테이션 모델은 시맨틱 세그멘테이션(Semantic Segmentation) 모델 또는 인스턴스 세그멘테이션(Instance Segmentation) 모델인 신경망 모델 기반 불량 재봉선 검출하는 분석장치.
KR1020200174542A 2020-12-14 2020-12-14 신경망 모델을 이용한 불량 재봉선 검출 방법, 불량 재봉선 검출 시스템 및 분석장치 KR20220084753A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200174542A KR20220084753A (ko) 2020-12-14 2020-12-14 신경망 모델을 이용한 불량 재봉선 검출 방법, 불량 재봉선 검출 시스템 및 분석장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200174542A KR20220084753A (ko) 2020-12-14 2020-12-14 신경망 모델을 이용한 불량 재봉선 검출 방법, 불량 재봉선 검출 시스템 및 분석장치

Publications (1)

Publication Number Publication Date
KR20220084753A true KR20220084753A (ko) 2022-06-21

Family

ID=82221089

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200174542A KR20220084753A (ko) 2020-12-14 2020-12-14 신경망 모델을 이용한 불량 재봉선 검출 방법, 불량 재봉선 검출 시스템 및 분석장치

Country Status (1)

Country Link
KR (1) KR20220084753A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102507449B1 (ko) * 2022-10-04 2023-03-07 노영인 의류제조 스마트 팩토리 생산관리시스템 및 방법
KR102547281B1 (ko) * 2022-07-29 2023-06-27 호전실업 주식회사 재봉 경로 생성 시스템 및 방법과 이를 갖는 자동 봉제기
WO2024025300A1 (ko) * 2022-07-29 2024-02-01 호전실업 주식회사 자동 봉제기용 매크로-미니 모듈, 이를 갖는 자동 봉제기 및 이를 이용한 자동 봉제 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019146748A (ja) 2018-02-27 2019-09-05 ブラザー工業株式会社 ミシン、縫製不良判定装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019146748A (ja) 2018-02-27 2019-09-05 ブラザー工業株式会社 ミシン、縫製不良判定装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102547281B1 (ko) * 2022-07-29 2023-06-27 호전실업 주식회사 재봉 경로 생성 시스템 및 방법과 이를 갖는 자동 봉제기
WO2024025300A1 (ko) * 2022-07-29 2024-02-01 호전실업 주식회사 자동 봉제기용 매크로-미니 모듈, 이를 갖는 자동 봉제기 및 이를 이용한 자동 봉제 방법
WO2024025352A1 (ko) * 2022-07-29 2024-02-01 호전실업 주식회사 재봉 경로 생성 시스템 및 방법과 이를 갖는 자동 봉제기
KR102507449B1 (ko) * 2022-10-04 2023-03-07 노영인 의류제조 스마트 팩토리 생산관리시스템 및 방법

Similar Documents

Publication Publication Date Title
KR20220084753A (ko) 신경망 모델을 이용한 불량 재봉선 검출 방법, 불량 재봉선 검출 시스템 및 분석장치
KR102453169B1 (ko) 디바이스가 이미지를 보정하는 방법 및 그 디바이스
JP6619732B2 (ja) 顕微鏡画像内の個々の細胞を分類および識別するための方法およびシステム
JP6809250B2 (ja) 情報処理装置、情報処理方法およびプログラム
US11030458B2 (en) Generating synthetic digital assets for a virtual scene including a model of a real-world object
US20180285698A1 (en) Image processing apparatus, image processing method, and image processing program medium
KR20220140673A (ko) 디바이스가 이미지를 보정하는 방법 및 그 디바이스
US10372969B2 (en) Information processing apparatus, object recognition apparatus, method of controlling information processing apparatus, and storage medium
US8687855B2 (en) Method for detecting facial features
CN111044525A (zh) 一种产品缺陷检测方法、装置与系统
US20190236772A1 (en) Vision inspection management method and vision inspection system
US20210117984A1 (en) Shoe authentication device and authentication process
KR20110014450A (ko) 얼굴 인식률 개선 장치 및 방법
KR102430743B1 (ko) 데이터 증강 기반 사물 분석 모델 학습 장치 및 방법
US11842274B2 (en) Electronic apparatus and controlling method thereof
Kosarkar et al. Revealing and Classification of Deepfakes Video's Images using a Customize Convolution Neural Network Model
KR20210056974A (ko) 멀티카메라를 이용한 물체 인식 방법 및 장치
KR102601135B1 (ko) 전자 장치 및 이의 제어 방법
KR102170416B1 (ko) 컴퓨터와 크라우드 소싱을 이용한 비디오 사전 처리 방법
JPWO2021166058A5 (ja) 画像認識装置、画像認識方法、及び、プログラム
US11553162B2 (en) Image processing system for extending a range for image analytics
JP2004094427A5 (ko)
KR20200143957A (ko) 제품 검사를 위한 자동 학습 방법 및 시스템
US20230410287A1 (en) Machine Learning Fault Detection in Manufacturing
US20220277547A1 (en) Method and electronic device for detecting candid moment in image frame

Legal Events

Date Code Title Description
E601 Decision to refuse application