KR102470422B1 - 합성곱 신경망 특징맵 기반 봉제 스티치 불량 자동 검출 방법 및 시스템 - Google Patents

합성곱 신경망 특징맵 기반 봉제 스티치 불량 자동 검출 방법 및 시스템 Download PDF

Info

Publication number
KR102470422B1
KR102470422B1 KR1020210166125A KR20210166125A KR102470422B1 KR 102470422 B1 KR102470422 B1 KR 102470422B1 KR 1020210166125 A KR1020210166125 A KR 1020210166125A KR 20210166125 A KR20210166125 A KR 20210166125A KR 102470422 B1 KR102470422 B1 KR 102470422B1
Authority
KR
South Korea
Prior art keywords
stitch
sewing
image
sewn
defect
Prior art date
Application number
KR1020210166125A
Other languages
English (en)
Inventor
안성훈
김형중
정우균
박용철
이재원
Original Assignee
호전실업 주식회사
서울대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 호전실업 주식회사, 서울대학교 산학협력단 filed Critical 호전실업 주식회사
Priority to KR1020210166125A priority Critical patent/KR102470422B1/ko
Application granted granted Critical
Publication of KR102470422B1 publication Critical patent/KR102470422B1/ko

Links

Images

Classifications

    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06H—MARKING, INSPECTING, SEAMING OR SEVERING TEXTILE MATERIALS
    • D06H3/00—Inspecting textile materials
    • D06H3/08—Inspecting textile materials by photo-electric or television means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8901—Optical details; Scanning details
    • G06N3/0454—
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Textile Engineering (AREA)
  • Multimedia (AREA)
  • Materials Engineering (AREA)
  • Quality & Reliability (AREA)
  • Sewing Machines And Sewing (AREA)

Abstract

봉제 스티치 불량 자동 검출 방법 및 시스템이 개시된다. 재봉틀로 재단물을 봉제하는 동안에, 카메라가 촬영한 재단물의 봉제 스티치 이미지들을 실시간으로 전달받은 후, 연산처리부에서, 봉제 스티치 이미지 프레임에 대하여 딥러닝 알고리즘에 기반하여, 합성곱신경망 모델의 합성곱층을 이용하여 원본 이미지에서 특징맵 이미지를 추출한 다음, 그것을 흑백 이미지로 이진화 처리한다. 이진화 처리된 이미지에서 픽셀 밝기값을 이용하여 봉제 스티치 영역에 해당하는 흰색 영역을 윤곽선 영역으로 검출한다. 검출된 스티치 영역의 윤곽선 정보를 이용하여 봉제 스티치 분포의 균일성 값을 산출하고, 산출된 균일성 값을 임계값과 비교하여 봉제 스티치 이미지에 스티치의 불량 여부를 판별한다. 불량이 검출되면 작업자게에 알람을 표출하여 신속한 후속 조치를 가능하게 한다.

Description

합성곱 신경망 특징맵 기반 봉제 스티치 불량 자동 검출 방법 및 시스템 { Method of automatically detecting sewing stitch based on CNN feature map and system for the same}
본 발명은 의류 봉제 기술 분야에 관한 것으로, 보다 상세하게는 의류생산공장에서 의류 봉제 작업을 수행함에 있어서 발생하는 봉제 스티치 불량을 추출하는 방법 및 시스템에 관한 것이다.
일반적으로 의류 생산을 위한 대부분의 작업에는 재봉틀을 이용한 봉제 작업이 포함된다. 봉제 작업의 품질은 곧 생산되는 의류의 품질에 직결된다. 작업자의 기술 숙련도에 따라 봉제 작업의 품질은 다르게 나타난다.
재봉틀, 자동화 재봉기 등을 이용하여 원단 패턴에 대한 봉제 작업을 수행할 때, 봉제(또는 재봉) 스티치가 끊기거나 건너뛰는 등의 봉제 불량이 발생하는 경우가 적지 않게 발생한다. 도 1은 실제 봉제 작업 결과 물 중 봉제 불량이 일어난 것을 예시한 것이다. 도 1에서 점선 타원으로 표시된 부분이 스티치 불량 부분이다. 도 1의 (a)는 정상적인 스티치 상태를 보여주는 반면, 나머지 (b) 내지 (e)는 스티치 불량을 예시한다. (b)는 스티치 끊김이 발생한 경우를 예시하고, (c)는 스티치 건너뜀 불량이 발생한 경우를 예시한다. (d)와 (e)도 일종의 스티치 건너뜀과 스티치 끊김의 불량의 예로 볼 수 있다.
이러한 봉제 불량은 대부분은 해당 공정에서 인지하지 못하고 최종 검사 단계까지 가서 확인되는 경우가 많다. 그런 경우, 불량이 발생한 공정으로부터 최종 검사 직전 공정까지의 작업 내역을 모두 해체하고 다시 해당 공정으로 이송하여 공정을 진행해야 하는 상황이 발생할 수 있다. 이러한 경우, 작업 내역의 해체, 해당 공정으로의 이송 및 재작업에 부수적인 시간과 노동력 등이 투입되어야 하는데, 이는 제품 생산 비용을 높인다. 봉제 작업에서 봉제 스티치 불량을 실시간으로 탐지하여 조기에 경고할 수 있다면, 최종 품질검사 단계에서 불량이 발생함으로 인해 소요되는 시간과 비용을 절감하여 생산라인에서의 효율성과 생산성을 극대활 할 수 있을 것이다.
대한민국 특허 제10-1968168호 (2019.08.13.)는 카메라를 이용한 봉제선 확인 방법을 제시하고 있다. 이 특허는 물리적인 촬영 방법 및 장치, 이를 포함한 재봉틀에 관한 기술을 개시하나, 정확한 시스템의 구성과 봉제선 추출 방법에 대한 구체적인 내용이 미흡하고, 스티치의 특성을 분석하여 결함을 분석하는 내용을 개시하지 못한다.
대한민국 특허 제10-1968168호
본 발명의 일 목적은 의복 생산을 위해 수행 중인 봉제 작업을 촬영하여 합성곱신경망(Convolutional Neural Network: CNN) 모델 기반의 특징맵(feature map) 이미지를 추출하여 스티치 불량을 실시간으로 신속하게 판별함으로써 봉제 품질을 높일 수 있는 방법과 이를 위한 시스템을 제공하는 것이다.
본 발명의 다른 목적은 봉제 작업 불량 발생할 시, 불량이 발생한 공정에서 실시간으로 불량 발생에 관한 정보를 제공함으로써 작업자가 즉시 불량을 수정할 수 있도록 하여 시간, 인력 등의 비용 낭비를 최소화하고 봉제 작업의 품질 및 생산성을 향상시킬 수 있는 방법과 이를 위한 시스템을 제공하기 위한 것이다.
본 발명이 해결하고자 하는 과제는 상술한 과제들에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
상기 본 발명의 목적을 실현하기 위한 실시예들에 따른 봉제 스티치 불량 자동 검출 방법은, 컴퓨터 장치에서 연산처리부가 컴퓨터 프로그램을 실행하여 봉제 스티치 불량을 자동으로 검출하는 방법으로서, 상기 연산처리부에서, 재봉틀로 재단물을 봉제하는 동안에, 카메라가 촬영한 재단물의 봉제 스티치 이미지들을 실시간으로 전달받아 상기 컴퓨터 장치의 저장부에 저장하는 단계; 상기 연산처리부에서, 상기 저장부에 수집된 봉제 스티치 이미지에 대하여 봉제 스티치 영역을 포함하는 윤곽선 영역을 검출하기 위한 이미지 처리 단계; 및 상기 연산처리부에서, 검출된 스티치 영역의 윤곽선 정보를 이용하여 봉제 스티치 분포의 균일성 값을 산출하여 그 산출된 균일성 값의 크기에 따라 상기 봉제 스티치 이미지에 스티치 불량이 포함되어 있는지 여부를 판별하는 단계를 포함한다.
예시적인 실시예에 있어서, 상기 판별하는 단계에서, 상기 균일성 값이 미리 설정된 소정 크기의 임계값을 초과하는 경우에는 스티치 불량이 없는 것으로 판단하고, 상기 임계값을 초과하지 못하는 경우에는 스티치 불량이 있는 것으로 판단할 수 있다.
예시적인 실시예에 있어서, 상기 이미지 처리 단계는, 상기 연산처리부가 상기 저장부로부터 각 봉제 스티치 이미지 데이터를 읽어오는 단계; 봉제 스티치 이미지 프레임에 대하여 딥러닝 알고리즘을 이용하여 원본 이미지에서 섬유 부분을 제거하고 봉제 스티치만을 포함하는 이미지로 변환하는 단계; 상기 연산처리부는 상기 봉제 스티치만의 이미지에 대한 노이즈 저감 처리를 수행하는 단계; 노이즈 저감 처리된 이미지를 흑백 이미지로 변환하는 이진화 처리를 수행하는 단계; 및 봉제 스티치 영역을 세분화하기 위해 이진화 처리된 특징맵 이미지에서 픽셀 밝기값을 이용하여 봉제 스티치 영역에 해당하는 흰색 영역을 윤곽선 영역으로 검출하는 단계를 포함할 수 있다.
예시적인 실시예에 있어서, 상기 봉제 스티치 영역만의 이미지는 합성곱신경망(CNN) 모델의 합성곱층을 이용하여 상기 원본 이미지에서 특징맵 이미지를 추출하는 것을 통해 얻어질 수 있다.
예시적인 실시예에 있어서, 상기 판별하는 단계는, 검출된 상기 윤곽선 영역에 관한 정보를 이용하여 봉제 스티치의 길이 및 봉제 스티치 사이의 거리 정보를 포함하는 스티치 형상 정보를 산출하는 단계를 포함할 수 있다.
예시적인 실시예에 있어서, 상기 봉제 스티치 분포의 균일성 값은 식
Figure 112021137278915-pat00001
을 이용하여 계산될 수 있다. 여기서,
Figure 112021137278915-pat00002
은 봉제 스티치의 길이와 간격의 크기들 중 최대값이고,
Figure 112021137278915-pat00003
은 봉제 스티치의 길이와 간격의 크기들 중 최소값이며,
Figure 112021137278915-pat00004
는 봉제 스티치의 길이와 간격의 크기들 전체의 평균값이다.
예시적인 실시예에 있어서, 상기 임계값의 크기는 -0.55 이상 -0.2 이하의 범위 내에서 정해지는 값일 수 있다.
예시적인 실시예에 있어서, 상기 방법은, 상기 판별하는 단계에서 상기 봉제 스티치 이미지에 스티치 불량이 포함된 것으로 판정되면, 스티치 불량이 발생하였음을 나타내는 알람을 출력하고, 상기 스티치 불량이 포함되지 않은 것으로 판정되면, 현재의 봉제 이미지를 초기화 한 후 다음 봉제 이미지에 대하여 상기 이미지 처리 단계와 상기 판별하는 단계를 다시 수행하도록 리턴하는 단계를 더 포함할 수 있다.
예시적인 실시예에 있어서, 상기 방법은, 상기 저장하는 단계에 앞서, 봉제용 재봉틀의 봉제속도(RPM), 단위 구간 스티치 개수, 그리고 분석 픽셀 크기를 고려하여 단위시간당 최소 촬영 이미지 개수를 관계식 '초당 요구 프레임 수(fps) = 초당 이송거리 / 초당 스티치 개수'를 이용하여 구하고, 상기 카메라가 적어도 상기 단위시간당 최소 촬영 이미지 개수 이상의 이미지를 촬영하도록 설정하는 단계를 더 포함할 수 있다.
한편, 상기 본 발명의 목적을 실현하기 위한 실시예들에 따른 봉제 스티치 불량 자동 검출 시스템은 재봉틀에 의해 봉제되는 재단물의 스티치 부분을 촬영하도록 설치되고, 촬영한 이미지를 컴퓨터에 제공하는 카메라; 및 컴퓨터 프로그램을 실행하여 상기 재단물의 봉제 스티치 불량을 실시간으로 검출할 수 있는 컴퓨터 장치를 포함한다. 상기 컴퓨터 프로그램은 상기 컴퓨터 장치의 연산처리부로 하여금, 재봉틀로 재단물을 봉제하는 동안에, 카메라가 촬영한 재단물의 봉제 스티치 이미지들을 실시간으로 전달받아 상기 컴퓨터 장치의 저장부에 저장하는 기능, 상기 컴퓨터 장치의 연산처리부에서, 상기 저장부에 수집된 봉제 스티치 이미지에 대하여 봉제 스티치 영역을 포함하는 윤곽선 영역을 검출하기 위한 이미지 처리 기능, 그리고 검출된 스티치 영역의 윤곽선 정보를 이용하여 봉제 스티치 분포의 균일성 값을 산출하여 그 산출된 균일성 값의 크기에 따라 상기 봉제 스티치 이미지에 스티치 불량이 포함되어 있는지 여부를 판별하는 기능을 포함한다.
예시적인 실시예에 있어서, 상기 컴퓨터 프로그램은 상기 연산처리부로 하여금 상기 균일성 값이 미리 설정된 소정 크기의 임계값을 초과하는 경우에는 스티치 불량이 없는 것으로 판단하고, 상기 임계값을 초과하지 못하는 경우에는 스티치 불량이 있는 것으로 판단하게 하는 기능을 더 포함할 수 있다.
예시적인 실시예에 있어서, 상기 이미지 처리 기능은, 상기 연산처리부가 상기 저장부로부터 각 봉제 스티치 이미지 데이터를 읽어오게 하는 기능; 상기 연산처리부로 하여금 봉제 스티치 이미지 프레임에 대하여 딥러닝 알고리즘을 이용하여 원본 이미지에서 섬유 부분을 제거하고 봉제 스티치만을 포함하는 이미지로 변환하는 기능; 상기 연산처리부가 상기 봉제 스티치만의 이미지에 대한 노이즈 저감 처리를 수행하게 하는 기능; 상기 연산처리부로 하여금 노이즈 저감 처리된 이미지를 흑백 이미지로 변환하는 이진화 처리를 수행하게 하는 기능; 및 상기 연산처리부로 하여금 봉제 스티치 영역을 세분화하기 위해 이진화 처리된 특징맵 이미지에서 픽셀 밝기값을 이용하여 봉제 스티치 영역에 해당하는 흰색 영역을 윤곽선 영역으로 검출하는 기능을 포함할 수 있다.
예시적인 실시예에 있어서, 상기 봉제 스티치 영역만의 이미지는 합성곱신경망 모델의 합성곱층을 이용하여 상기 원본 이미지에서 특징맵 이미지를 추출하는 것을 통해 얻어질 수 있다.
예시적인 실시예에 있어서, 상기 판별하는 기능은, 검출된 상기 윤곽선 영역에 관한 정보를 이용하여 봉제 스티치의 길이 및 봉제 스티치 사이의 거리 정보를 포함하는 스티치 형상 정보를 산출하는 기능을 포함할 수 있다.
예시적인 실시예에 있어서, 봉제 스티치 분포의 균일성 값은 식
Figure 112021137278915-pat00005
을 이용하여 계산될 수 있다. 여기서,
Figure 112021137278915-pat00006
은 봉제 스티치의 길이와 간격의 크기들 중 최대값이고,
Figure 112021137278915-pat00007
은 봉제 스티치의 길이와 간격의 크기들 중 최소값이며,
Figure 112021137278915-pat00008
는 봉제 스티치의 길이와 간격의 크기들 전체의 평균값이다.
예시적인 실시예에 있어서, 상기 임계값의 크기는 -0.55 이상 -0.2 이하의 범위 내에서 정해지는 값일 수 있다.
예시적인 실시예에 있어서, 상기 시스템은 상기 연산처리부로부터 스티치 불량 검출 정보를 전달받아 스티치 불량 발생을 나타내는 알람을 표출하도록 구성된 알람부를 더 구비할 수 있다. 상기 컴퓨터 프로그램은 상기 봉제 스티치 이미지에 스티치 불량이 포함된 것으로 판정되면, 상기 연산처리부를 통해 스티치 불량이 발생하였음을 나타내는 알람신호를 상기 알람부로 출력하고, 상기 스티치 불량이 포함되지 않은 것으로 판정되면, 현재의 봉제 이미지를 초기화 한 후 다음 봉제 이미지에 대하여 상기 이미지 처리 기능과 상기 판별하는 기능을 다시 수행하도록 제어하는 기능을 더 포함할 수 있다.
본 발명의 예시적인 실시예들에 따르면, 재봉틀, 자동화 재단기 등 의류생산장비에서 봉제 작업 중에 발생하는 봉제 불량을 자동으로 추출하여 작업자 등 관련 당사자에게 불량 발생에 대한 실시간 경고를 줄 수 있다. 이에 의해, 작업자 등은 조기에 봉제 불량을 인식할 수 있고, 그에 따른 적절한 후속 조치를 즉시 취할 수 있다. 봉제 스티치 불량이 발생했음에도 불구하고 그것을 인지하지 못한 채 봉제 작업을 계속하는 것은 무의미할 뿐만 아니라 손실을 키우는 것인데, 본 발명은 그런 스티치 불량으로 인해 낭비될 수도 있는 시간과 비용을 절감할 수 있다.
또한, 의복 생산 공장에서 작업자별 및/또는 작업라인별로 봉제 작업 중에 발생하는 스티치 불량 현황을 IoT 기술을 이용하여 데이터베이스에 저장할 수 있다. 그렇게 확보되는 데이터에 기초하여, 개별 작업자 및/또는 작업라인의 불량률 등에 대한 빅데이터 분석을 할 수 있다. 이를 통해, 각 작업자의 기술수준과 생산성 등에 관한 정보, 그리고 각 작업라인별 생산성 등에 관한 정보를 확보할 수 있다.
본 발명의 방법은 기준 제품과 외형의 유사도를 비교하여야 하는 타 제품군에 적용할 수도 있다. 이를 통해 신속한 형상 불량 검사의 타 산업분야 확장이 가능하다.
도 1은 여러 가지 봉제 불량 현상을 예시한다.
도 2는 본 발명의 예시적인 실시예에 따른 봉제 스티치 불량 검출 시스템의 구성을 나타낸 블록도이다.
도 3은 도 2에 도시된 컴퓨터 장치의 구성을 나타낸 블록도이다.
도 4는 도 2의 봉제 스티치 불량 검출 시스템을 실제로 재봉틀에 설치한 예를 도시한다.
도 5는 도 4의 "A" 부분을 좀 더 상세하게 도시한 것이다.
도 6은 본 발명의 예시적인 실시예에 따른 봉제 스티치 불량 검출 방법의 전반적인 절차를 개략적으로 나타낸 흐름도이다.
도 7은 카메라의 이미지 수집 영향 변수에 관한 예시도이다.
도 8은 본 발명의 예시적인 실시예에 따른 봉제 스티치 불량 검출 방법의 세부 수행 절차를 나타낸 흐름도이다.
도 9는 도 8의 특징맵 추출 단계에서 VGG-16 모델을 기반으로 다양한 합성곱층에서 특징맵을 추출하는 것을 예시한다.
도 10은 봉제 스티치 원본 이미지를 소정의 이미지 처리 알고리즘과 본 발명의 예시적인 실시예에 따른 합성곱 기반 특징맵 추출 방법을 각각 이용하여 봉제 스티치 영역을 분석한 결과를 대비하여 예시한다.
도 11은 정상 봉제 스티치와 끊긴 봉제 스티치를 예시한다.
도 12는 정상 봉제 스티치와 끊긴 봉제 스티치 간에 봉제 스티치와 간격의 비율에 따른 균일성 변화를 비교한 그래프이다.
도 13은 봉제 스티치의 길이와 간격의 비(Lstitch/Lgap)에 따른 균일성 값의 변화를 정상 봉제 스티치와 끊김 봉제 스티치를 비교한 것이다.
도 14는 본 발명의 예시적인 실시예에 따른 특징맵 기반 봉제 스티치 불량 검출 방법의 성능 평가를 위해 사용된 여러 가지 봉제 이미지들을 예시한다.
도 15는 본 발명의 예시적인 실시예에 따른 CNN 특징맵 기반 봉제 스티치 불량 검출 방법으로 봉제 스티치를 인식한 결과를 예시한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 2는 예시적인 실시예에 따른 봉제 스티치 불량을 검출하는 시스템의 구성을 개략적으로 나타내는 블록도이다. 도 2에서 도시된 바와 같이, 이 봉제 스티치 불량 검출 시스템(10)은 카메라(40)와 컴퓨터 장치(50)를 포함할 수 있다. 이 스티치 불량 검출 시스템(10)은 알람부(60)를 더 포함할 수 있다. 카메라(40)와 알람부(60)는 컴퓨터 장치(50)에 직접 연결될 수 있다.
의류 생산 공장에는 규모에 따라 다르지만 수백 내지 수천 대의 재봉틀(20)이 운용될 수 있다. 카메라(40)는 각 재봉틀(20)마다 설치될 수 있다. 카메라(40)는 봉제 작업 중인 재단물(30)을 촬영할 수 있도록 재봉틀(20)에 직접 부착되거나 또는 재봉틀(20) 근처에 별도의 보조수단을 이용하여 설치될 수 있다. 카메라(40)는 촬영한 영상을 컴퓨터 장치(50)에 전달할 수 있도록 컴퓨터 장치(50)와 통신가능하게 연결될 수 있다.
불량 탐지 정보는 불량을 발생시킨 재봉틀(20)의 작업자에게 통지될 수 있다. 이를 위해 알람부(60) 또한 각 재봉틀(20)마다 설치될 수 있다. 알람부(60)는 예컨대 컴퓨터 장치(50)의 스피커 및/또는 디스플레이와 같은 출력부(55)로 구성되거나 또는 컴퓨터 장치(50)와는 별개로 독립된 스피커 및/또는 부저 및/또는 경고등과 같은 알람수단으로 구성될 수 있다. 알람부(60)는 컴퓨터 장치(50)의 연산처리부(52)로부터 불량 검출 정보를 전달받을 수 있도록 컴퓨터 장치(50)와 통신가능하게 연결될 수 있다.
예시적인 일예에서, 컴퓨터 장치(50)는 다수의 재봉틀(20)에 설치된 카메라(40)들과 알람부(60)들과 매칭되어 통신망을 통해 그것들과 통신할 수 있다. 컴퓨터 장치(50)는 각 재봉틀(20)마다 설치될 수 있다. 예시적인 다른 예에서, 컴퓨터 장치(50)는 의류생산공장에 라인별 또는 섹터별 또는 작업자 그룹별로 1대씩 설치될 수도 있다. 컴퓨터 장치(50)는 범용의 소형 컴퓨터 또는 본 발명용으로 구성된 전용의 컴퓨팅 장치로 구현될 수 있다. 각 재봉틀(20)마다 설치된 카메라(40)들과 알람부(60)들은 유선 및/또는 무선 통신망(비도시)을 통해 컴퓨터 장치(50)와 통신가능하게 연결될 수 있다.
그 컴퓨터 장치(50)들은 각각 통신망(80)을 통해 별도의 서버 컴퓨터(90)에 연결될 수 있다. 서버 컴퓨터(90)는 각 재봉틀(20)에 설치된 로컬 컴퓨터 장치(50)로부터 스티치 불량 검출 자료를 전달받아 저장하고, 그 불량 검출에 따른 적절한 후속 조치(불량 발생 상황을 관련자에게 전달, 불량 발생에 관한 통계 자료 추출 등) 등을 처리할 수 있다.
도 3은 도 2에 도시된 로컬 컴퓨터 장치(50)의 구성을 나타내는 블록도이다. 도 3을 참조하면, 로컬 컴퓨터 장치(50)는 도 3에 예시된 것처럼 입력부(54) 및 출력부(55), 연산처리부(52), 저장부(53), 통신부(51)를 포함할 수 있다. 연산처리부(52)는 프로세서 장치와 후술할 본 발명에 따른 스티치 불량 검출 방법이 구현된 컴퓨터 프로그램으로 구현될 수 있다. 저장부(53)에는 카메라(40)로부터 수집된 이미지 데이터(57), 컴퓨터 프로그램(56) 등이 저장될 수 있다. 연산처리부(52)용 프로세서 장치는 예를 들어, 중앙처리장치(CPU), 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 또는 마이크로프로세서 등과 같은 장치와 메모리 소자 등으로 구현될 수 있다.
컴퓨터 장치(50)의 연산처리부(52)는 저장부(53)에 저장된 컴퓨터 프로그램(56)을 실행하여 각 카메라(40)가 제공하는 이미지 데이터를 통신부(51)를 통해 전달받아 저장부(53)에 저장하고, 저장부(53)에 저장된 영상 데이터에 대한 특징맵 추출, 노이즈 제거 및 이진화 처리, 윤곽선 검출 및 균일성 계산을 수행한 다음, 계산된 균일성 값과 임계치를 비교하여 스티치 결함을 검출하고, 스티치 결함 검출 결과에 따른 후속 조치(알람 신호 출력) 등을 수행할 수 있다.
연산처리부(52)는 스티치 결함 평가 결과가 정상으로 판정되면, 통신부(51)를 통해서 '정상'이라는 평가 결과를 카메라(40)로 피드백하면서 해당 카메라(40)로부터 새로 촬영한 영상을 전송받고, 그 영상 데이터에 대한 이미지 처리, 결함 평가, 피드백 신호 전송 등의 작업을 이전과 같이 동일하게 반복할 수 있다. 만약 평가 결과가 스티치 결함(불량)이 발견되면, 컴퓨터 장치(50)의 연산처리부(52)는 알람부(60)를 통해 불량 발생을 나타내는 알람이 출력되도록 제어할 수 있다. 이와 같은 일련의 과정은 봉제 불량 발생시, 카메라(40)에서 영상을 촬영한 시점으로부터 아주 짧은 시간 내에 (예컨대 3초 이내에) 알람이 표출되도록 함으로써, 봉제 결함을 실시간으로 탐지하고 즉시적인 조치를 취할 수 있도록 할 수 있다. 또한, 해당 결함 데이터는 IoT를 이용하여 별도의 중앙 컴퓨터 장치(비도시)에 제공되어 데이터베이스로 저장될 수도 있다.
도 4는 도 2의 봉제 스티치 불량 검출 시스템(10)을 실제로 재봉틀(20)에 설치한 예를 보여준다. 도 5는 도 4의 "A" 부분을 좀 더 상세하게 도시한 것이다. 도 4 및 도 5를 참조하면, 컴퓨터 장치(50)는 각 재봉틀(20)마다 하나씩 설치되는 로컬 컴퓨터(50-1)인 경우이다. 일예로 로컬 컴퓨터(50-1)는 작업자의 시선 높이에 맞춰 재봉틀(20)의 몸체(22) 위에 설치될 수 있다. 카메라(40-1)는 재단물(30)이 봉제되어 배출되는 노루발(26) 후방 영역을 촬영하도록 재봉틀(20)의 몸체(22) 후면부에 고정될 수 있다. 컴퓨터 장치(50)와 카메라(40)는 봉제작업자의 작업에 방해가 되지 않는 위치에 안정적인 장착을 위해 고정 지그를 이용하여 장착될 수 있다. 알람부(60)는 컴퓨터 장치(50)의 출력부(55) 예컨대 스피커 및/또는 디스플레이로 구현되거나 또는 별도의 알람기(60-1)로 구현될 수 있다. 도 5는 도 4에 예시된 봉제 스티치 불량 검출 시스템(10)에 있어서 봉제 작업에 방해되지 않으면서도 봉제 스티치를 정확하게 촬영하기 위한 위치인 재봉틀 몸체의 후면에 카메라(40)가 고정 지그로 설치된 것을 예시한다.
도 6은 본 발명의 예시적인 실시예에 따른 합성곱신경망 특징맵 기반 봉제 스티치 불량 검출 방법의 수행 절차를 개략적으로 나타낸 흐름도이다. 도 6을 참조하면서, 도 4에 예시된 봉제 스티치 불량 검출 시스템(10)을 이용하여 봉제 스티치 불량을 검출하는 방법을 설명하기로 한다.
카메라(40)는 재봉틀(20) 위에서 봉제 작업이 이루어지고 있는 재단물(30)을 촬영할 수 있다. 카메라(40)는 촬영된 영상을 컴퓨터 장치(50)로 제공할 수 있다. 컴퓨터 장치(50)는 카메라(40)가 제공하는 이미지 데이터를 소정 분량 단위로 수집할 수 있다 (S100 단계). 연산처리부(52)는 카메라(40)가 제공하는 이미지 데이터를 통신부(51)를 통해 수신하여 저장부(53)에 저장할 수 있다.
카메라(40)는 재단물(30)의 모든 구간을 빠짐없이 촬영할 필요가 있다. 재단물(30)의 이동 속도에 비해 단위 시간당 촬영 이미지의 개수가 너무 적으면 촬영 누락 구간이 생길 수 있다. 이를 방지하기 위해, 이미지 수집 시에는 재봉틀(20)의 봉제속도(RPM), 단위 구간 스티치 개수, 그리고 분석 픽셀 크기 등을 고려하여 단위시간당 최소 촬영 이미지 개수 등을 구할 수 있다(예: 초당 4장 (25 fps), 200*200픽셀). 카메라(40)는 단위시간당 구해진 최소 촬영 이미지 개수 이상의 프레임을 촬영하도록 설정될 수 있다.
도 7은 카메라의 이미지 수집 영향 변수에 관한 예시도이다. 도 7을 참조하면, 봉제 속도(RPM)에 따른 재단물(30)의 이송거리와 생성되는 스티치 개수를 실험에 의해 측정한 결과가 예시되어 있다. 봉제 속도에 따라 촬영되어야 하는 이미지의 개수는 더 많아질 수 있다. 이에 따라 적절한 fps(초당 프레임 수)를 선정할 필요가 있다. 봉제 속도에 따라 단위시간 당 촬영되어야 하는 최소 프레임 개수(fps)는 아래 식으로 계산될 수 있다.
초당 요구 프레임 수(fps) = 초당 이송거리 / 초당 스티치 개수 ......(1)
카메라(40)는 적어도 식 (1)로 산출되는 초당 요구 프레임 수(fps) 이상의 촬영 속도로 촬영하여야 봉제 작업된 구간을 놓치지 않고 촬영된 이미지 영역 (가로*세로)에 포착할 수 있게 된다. 일례로 봉제 속도가 500RPM의 경우, 초당 이송거리가 30mm이고, 초당 스티치 개수가 10 이라면 초당 요구 프레임 수는 3(1초에 3장의 사진을 찍음)이며, 2500 RPM의 경우 초당 이송거리가 140mm이고, 초당 스티치 개수가 40이라면, 초당 요구 프레임 수는 3.5로 계사되므로 실제로 1초에 적어도 4장의 사진을 촬영할 필요가 있다. 이는 봉제 속도(RPM)가 빨라질수록 재단물(30)에 가해진 스티치를 모두 사진 속에 담아내기 위해서는 보다 많은 사진을 찍어야 함을 의미한다.
다음으로, 컴퓨터 장치(50)의 연산처리부(52)는 저장부(53)에 수집된 봉제 이미지에 대하여 스티치 불량 여부를 판별할 수 있는 정보를 추출하기 위한 몇 가지 처리를 수행할 수 있다(S200 단계).
구체적으로, 연산 처리부(52)는 저장부(53)로부터 이미지 데이터를 읽어와서 각 이미지에 대해 합성곱신경망 모델의 합성곱층을 이용하여 특징맵 이미지를 추출할 수 있다. 연산 처리부(52)는 또한 그 추출된 특징맵 이미지에 대한 노이즈 저감 처리를 거친 다음, 봉제 스티치 영역을 인식할 수 있기 위한 이진화 처리를 수행하고, 봉제 스티치 영역을 세분화하기 위해 이진화 처리된 이미지에 대한 윤곽선 검출 처리를 수행할 수 있다. 그리고 연산 처리부(52)는 검출된 윤곽선의 구성에 대한 균일성 평가를 통해 윤곽선 분포에 대해 봉제 스티치 길이 및 스티치 사이의 거리를 기반으로 검출된 윤곽선의 구성에 대한 균일성을 계산하는 등의 처리를 수행할 수 있다.
이미지 처리 단계(S200) 후, 연산처리부(52)는 S200 단계의 이미지 처리에서 계산된 균일성 계산 값을 미리 설정해둔 임계값과 비교하여 스티치 불량이 발생하였는지를 평가할 수 있다(S300 단계).
균일성 값이 설정된 임계값(예: 0.5)을 초과할 경우, 연산처리부(52)는 스티치에 불량이 없는 것(정상)으로 판단하고 현재 읽어들인 이미지를 초기화 하고(S400), 다시 카메라 이미지 수집 단계(S100)로 돌아가 새로운 이미지에 대하여 이미지 처리 단계(S200)와 불량 발생 평가 단계(S300)를 선행 이미지 처리에서와 동일하게 반복 수행할 수 있다. 만약, 계산된 균일성 값이 설정된 임계값을 초과하지 않을 경우, 연산처리부(52)는 스티치 불량이 발생한 것으로 판단하고, 사전에 지정된 방법(부저 또는 경고등)으로 알람 신호를 생성하여 알람부(60)에 제공할 수 있다. 이에 의해, 알람부(60)는 스티치 불량이 발생하였음을 경고하는 알람을 출력할 수 있다. 또한, 연산처리부(52)는 봉제 작업을 중지하도록 제어할 수 있고, 불량 발생에 관한 정보를 데이터 서버로 송신되게 할 수 있다.
도 8은 본 발명의 예시적인 실시예에 따른 봉제 스티치 불량 검출 방법의 세부 수행 절차를 나타낸 흐름도이다. 도 8을 참조하여 봉제 스티치 불량 검출 방법을 좀 더 구체적으로 설명한다. 이 방법은 컴퓨터 장치(50)의 연산처리부(52)가 컴퓨터 프로그램(56)을 실행하여 그 컴퓨터 프로그램(56)이 지시하는 처리를 실행하는 것을 통해 수행될 수 있다.
컴퓨터 장치(50)의 연산처리부(52)는 앞에서 설명한 것처럼 카메라(40)가 실시간으로 촬영하여 보내주는 이미지 데이터를 통신부(51)를 통해 수신하여 저장부(53)에 저장할 수 있다(S100 단계). 이러한 이미지 데이터의 수신 및 저장과는 별도로, 연산처리부(52)는 저장부(53)에 기 수집된 이미지들을 가지고 봉제 스티치 불량 검출을 위한 여러 가지 이미지 처리를 수행할 수 있다.
먼저, 연산처리부(52)는 저장부(53)에 저장된 이미지 데이터를 읽어와서 각 이미지 프레임에 대한 특징맵 이미지를 추출할 수 있다(S210 단계).
저장부(53)로부터 읽어온 원본 이미지는 재봉작업 대상물인 섬유와 거기에 작업된 봉제 스티치를 포함한다. 특징맵 추출 방법은 딥러닝 알고리즘을 사용하여 필터링 처리를 함으로써 원본 이미지에서 섬유 부분을 제거하고 봉제 스티치 부분만 추출할 수 있도록 해줄 수 있다. 특징맵 추출은 예컨대, VGG-16, VGG-19, ResNet, EfficientNet과 같이 ImageNet 등의 대규모 데이터 셋에 대해 사전에 학습되어 널리 알려진 CNN 모델을 사용할 수도 있으며, 대규모 데이터 셋 또는 자체 데이터 셋에 대해 개발 및 학습된 자체적인 CNN 모델을 사용할 수도 있다. 이하에 기술되는 예시적인 실시예에서는 VGG-16 모델을 사용한 경우를 예로 한다.
도 9는 특징맵 추출 단계(S210 단계)에서 특징맵을 추출하는 것을 예시하는 것으로서, VGG-16 모델을 기반으로 다양한 합성곱층에서 추출된 특징맵을 보여준다. 도 9를 참조하면, 각 합성곱층(Conv1-2, Conv2-2, Conv3-3, Conv4-3, Conv5-3)에서 서로 다른 특징맵 결과가 추출되는 것을 확인할 수 있다. 그 특징맵 추출 결과들 중 하나(예, Conv2-2) 혹은 둘 이상의 특징맵을 조합하여(예컨대, Conv2-2과 Conv3-3의 결과에 대한 산술평균하여) 최종 특징맵을 구성할 수 있다.
도 10은 봉제 스티치 원본 이미지를 소정의 이미지 처리 알고리즘과 본 발명의 예시적인 실시예에 따른 합성곱 기반 특징맵 추출 방법을 각각 이용하여 봉제 스티치 영역을 분석한 결과를 대비하여 예시한다.
이미지 처리 알고리즘과 본 발명이 제공하는 특징맵 추출 방법의 효과를 비교하기 위한 테스트를 수행해보았다. 대표적인 이미지 처리 알고리즘 중 하나로 모서리 검출 알고리즘인 Canny Edge를 이미지 처리 알고리즘으로 사용하였다. 도 10을 참조하면, 특징맵 추출로 얻은 봉제 스티치 영역의 이미지는 Canny Edgy 알고리즘으로 처리된 봉제 스티치 영역 이미지와 거의 비슷한 수준으로 원본 이미지와의 일치성을 보여준다는 점을 확인할 수 있었다. 따라서 본 발명이 제시하는 특징맵 추출 방법을 통해서도 봉제 스티치 영역을 성공적으로 추출할 수 있다.
다음으로, 추출된 특징맵 이미지에 대한 노이즈 제거 및 이진화 처리를 수행할 수 있다(S220).
먼저, 추출된 특징맵 이미지에 포함된 노이즈 제거를 위한 처리를 수행할 수 있다. 특징맵 이미지의 노이즈 제거를 위해 예컨대 이미지 모폴로지(또는 형태) 변형 방법이 사용될 수 있다. 추출된 특징맵 이미지에는 봉제 스티치 외에 원단 무늬 등으로 인한 불필요한 노이즈(봉제 스티치 이외에 패턴 이미지 등)가 포함될 수 있다. 이미지 모폴로지(또는 형태) 변형 방법은 이미지 내에 유의미한 형태(봉제 스티치 및 노이즈 패턴)를 검출하고 이 형태들을 일정한 크기의 필터(예, 3x3 크기)로 한번 또는 여러 번 축소 후 다시 확대를 반복함으로써 봉제 스티치가 아닌 작은 크기의 노이즈들을 효과적으로 제거할 수 있다. 또한 이외에도 고속 푸리에 변환(fast Fourier transformation), L0 경사 최소법(L0 gradient minimization) 등의 배경 제거 및 노이즈 최소화 방법들이 사용될 수도 있다.
노이즈 제거 처리를 마친 특징맵 이미지에 대하여 이진화 처리를 수행할 수 있다(S230). 특징맵 이미지는 유색 정보 즉, RGB 정보를 포함할 수 있다. 특징맵의 칼라 이미지는 이진화 처리를 하여 흑백 이미지로 변환시킬 수 있다. 흑백 이미지로의 이진화는 예컨대 최적 임계값 검출 방식으로 처리될 수 있다. 즉, 흑백 이미지로의 이진화는 원본 이미지의 색상 값을 검은색(픽셀값 0)과 흰색(픽셀값 1)으로 변환하는 방법으로 처리 될 수 있다. 여기서 색상을 변환하는 방법은 색상의 빨간색, 녹색, 파란색 픽셀값에 대한 평균, 임의의 가중치를 사용한 가중평균, 색상 분포에 대한 히스토그램(histogram)을 기준으로 한 임계값을 이용한 단계적 변환 등이 사용될 수 있으며, 이외에 다른 수식도 사용이 가능하다.
이진화된 특징맵 이미지에 대하여 봉제 스티치 영역을 둘러싸는 윤곽선을 검출하기 위한 처리를 수행할 수 있다 (S240). 이와 관련하여, 윤곽선 검출은 영역 분할 방식을 기반으로 하여 스티치 영역을 검출할 수 있다. 이진화된 특징맵 이미지에 있어서, 봉제 스티치 영역은 흰색으로 표시되고 배경이 되는 원단 영역은 흑색으로 표시될 수 있다. 이진화된 특징맵 이미지로부터 확인되는 봉제 스티치는 촘촘한 경우뿐만 아니라 촘촘하지 않은 경우에도 불량 검출을 위해 구분될 필요가 있다. 이를 위해 이진화된 특징맵 이미지에서 봉제 스티치 영역에 해당하는 흰색 영역에 대해서만 윤곽선 영역으로 검출할 수 있다. 이진화된 특징맵 이미지에서 각 픽셀의 밝기값을 이용하면 흰색 영역만을 추출할 수 있다. 즉, 노이즈 제거 및 이진화된 특징맵 이미지 데이터에 있어서, 봉제 스티치 영역은 흰색 영역에 해당하는 픽셀 밝기값 1로 표시되고, 나머지 영역은 검은색 영역에 해당하는 픽셀 밝기값 0으로 표시된다. 이진화된 특징맵 이미지 데이터에서 값이 1인 픽셀들이 집합적으로 연속된 흰색 영역들을 검색할 수 있다. 이진화된 특징맵 이미지에서 흰색 영역은 한 개 또는 서로 분리된 두 개 이상으로 검출될 수 있다. 각 검색된 흰색 영역은 봉제 스티치 영역으로 검출할 수 있다.
도 11은 원본 이미지에서 특징맵 추출 결과로부터 봉제 스티치의 불량을 검출하기 위하여 봉제 스티치 영역을 검출하여 하나 이상의 윤곽선으로 검출한 결과를 예시적으로 보여 준다. 봉제 스티치 영역이 단일 윤곽선으로 포위된 경우(도 11의 (A) 참조)뿐만 아니라 복수의 윤곽선으로 포위된 경우(도 11의 (B)-(D) 참조)도 있을 수 있으며, 개별 윤곽선 영역을 동등한 봉제 스티치 영역으로 볼 수 있다. 여기서, 윤곽선은 봉제 스티치 영역을 완전히 둘러싸는 폐곡선을 의미한다. 그리하여, 이후 균일성 계산에서 촘촘한 경우와 촘촘하지 않은 경우 모두에 대해 불량 검출이 가능하도록 할 수 있다.
위와 같은 윤곽선 검출 처리 후, 해당 특징맵 추출 이미지에서 봉제 스티치의 불량이 포함되어 있는지 여부를 평가할 수 있다(S300). 봉제 스티치의 불량 여부는 봉제 스티치들의 균일성 정도에 따라 판별할 수 있다.
불량 발생 평가를 위해, 선행 단계에서 구한 윤곽선 영역에 관한 정보를 이용하여 봉제 스티치의 형상 정보를 계산할 수 있다(S310). 봉제 스티치의 형상 정보는 스티치 길이 및 스티치 사이의 거리 정보를 포함할 수 있다.
구해진 봉제 스티치의 형상 정보를 이용하여 봉제 스티치들의 균일성을 계산할 수 있다(S320). 여기서, 봉제 스티치들의 균일성(uniformity) 값은 해당 특징맵 이미지 내에 봉제 스티치들의 분포가 얼마나 균일하게 배치되어 있는지를 나타내는 값일 수 있다. 예시적인 실시예에서, 봉제 스티치들의 윤곽선 영역들의 균일성 값은 아래 식을 이용하여 계산할 수 있다.
Figure 112021137278915-pat00009
......(2)
여기서,
Figure 112021137278915-pat00010
은 봉제 스티치의 길이와 간격의 크기들 중 최대값이고,
Figure 112021137278915-pat00011
은 봉제 스티치의 길이와 간격의 크기들 중 최소값이며,
Figure 112021137278915-pat00012
는 봉제 스티치의 길이와 간격의 크기들 전체의 평균값이다.
봉제 스티치들의 분포가 균일하면 정상일 확률이 높고 불균일성이 크면 불량일 확률이 높다고 볼 수 있다. 예컨대, 봉제 스티치가 촘촘한 경우, 하나의 라인 또는 영역으로 인식될 수 있으며, 이 경우 균일성 값은 1로 계산될 수 있고 봉제 스티치가 정상인 것으로 판단할 수 있다(도 11의 (A) 이미지 참조). 반면, 봉제 스티치가 촘촘하지 않아 이미지 처리를 통해 개별 스티치가 인식되는 경우(도 11의 (B)-(D) 이미지 참조), 봉제 스티치들의 윤곽선 영역의 분포에 관한 균일성을 계산할 수 있다.
도 12는 정상 봉제 스티치와 끊긴 봉제 스티치의 봉제 스티치 분포를 예시한다. 정상적인 봉제 스티치의 경우 스티치의 길이(Lstitch)와 인접 스티치들의 간격(Lgap)은 일정한 값을 가지는데 비해, 끊김 불량을 갖는 봉제 스티치의 경우 끊김이 발생한 부분의 인접 스티치들의 간격(Lstitch+2Lgap)은 다른 정상 스티치들의 간격에 비해 훨씬 큰 값을 가진다. 따라서 식 (1)을 이용하여 계산되는 균일성 값이 상대적으로 작아지게 된다.
봉제 스티치 분포의 균일성 값이 계산되면, 그 계산된 값을 미리 설정된 임계값과 비교하여 스티치 불량 여부를 판별할 수 있다(S330). 본 발명자들은 봉제 스티치의 정상과 불량을 판가름하는 임계값을 찾기 위하여 다양한 테스트를 수행하였다. 그 테스트를 통해, 본 발명자들은 봉제 스티치의 길이와 간격의 비(Lstitch/Lgap)에 따른 균일성 값을 이용하면 적정한 임계값을 구할 수 있음을 알아냈다.
도 13은 봉제 스티치의 길이와 간격의 비(Lstitch/Lgap)에 따른 균일성 값의 변화를 정상 봉제 스티치와 끊김 봉제 스티치를 비교한 것이다.
도 13을 참조하면, 봉제 스티치의 길이와 간격의 다양한 조합에 대해 상기 균일성 계산식이 정상 봉제 스티치와 끊기거나 뛰어 넘은 불량 봉제 스티치를 명확히 구별해낼 수 있음을 보여준다. 그리고 도 13의 그래프에 따르면, 끊김 등의 불량은 균일성 값이 대략 -0.55보다 작은 값을 가짐을 알 수 있다. 봉제 스티치가 정상인 경우의 균일성 값은 대략 -0.2 ~ 1.0의 범위를 갖는다. 따라서 불량 여부를 판단하기 위한 균일성 임계값은 -0.55 ~ -0.2 의 범위 내에서 정해질 수 있다.
계산된 봉제 스티치의 균일성 값이 설정된 임계값보다 크면, 해당 봉제 이미지의 스티치는 정상으로 볼 수 있다. 그 경우에는 현재의 봉제 이미지를 초기화하고(S340), 이미지 수집 단계(S100)로 리턴하여 위에서 설명한 과정 즉, 다음 봉제 이미지에 대하여 이미지 처리를 거쳐 불량 발생 평가를 하는 과정(S100,S200, S300)을 반복 수행할 수 있다.
만약 계산된 봉제 스티치의 균일성 값이 설정된 임계값보다 작으면 해당 봉제 이미지에는 불량 스티치가 포함된 것으로 판정하고, 불량이 발생하였음을 작업자 등에게 알리는 경고를 출력하는 처리가 수행될 수 있다(S400). 즉, 컴퓨터 장치(50)의 연산처리부(52)는 부저 또는 경고등 작동 신호를 생성하여 알람부(60)에 제공할 수 있다. 이에 의해, 알람부(60)는 스티치 불량이 발생하였음을 경고하는 알람을 출력할 수 있다. 물론, 출력부(55)를 알람부(60)로 사용하는 경우에는 그 출력부(55)에 알람신호를 표출되도록 할 수 있다.
이상의 일련의 과정은 카메라에서 영상을 촬영한 시점으로부터 대략 3초 이내에 알람이 출력되게 함으로써 작업자가 실시간으로 봉제 결함을 모니터링 할 수 있게 하는 것이 바람직하다. 본 발명에 따르면, 봉제 스티치 촬영에 약 1초, 특징맵 추출 및 불량 여부 판정에 약 0.2초, 불량 신호 발생 및 알람구동에 약 0.5초 정도가 걸려, 전체적으로 대략 2초의 시간 내에 봉제 스티치 불량을 판단하여 경고할 수 있다. 따라서 작업자는 거의 실시간으로 자신이 한 봉제 작업의 불량 발생 여부를 알 수 있다.
도 14는 본 발명의 예시적인 실시예에 따른 특징맵 기반 봉제 스티치 불량 검출 방법의 성능 평가를 위해 사용된 여러 가지 봉제 이미지들을 예시한다. 효과적인 평가를 위해, (A)는 여러 가지 형태의 정상 이미지들이고, (B)는 그 정상 이미지들을 90도 회전시킨 이미지들이며, (C)는 (A)에 예시된 정상 이미지들을 수정하여 스티치 끊김이 포함된 불량 이미지들이며, (D)는 (C)의 불량 이미지들을 90도 회전 이미지로 구성된다.
도 15는 본 발명의 예시적인 실시예에 따른 CNN 특징맵 기반 봉제 스티치 불량 검출 방법으로 봉제 스티치를 인식한 결과를 예시한다. 도 15를 참조하면, 도 14에 제시된 예시 이미지에 대해 모두 성공적으로 끊진 봉제 스티치 불량을 검출할 수 있었다. 특히, 회전이 된 이미지에 대해서도 성공적으로 봉제 스티치를 인식하여 회전에 대해 불변하는 성능을 갖는 것도 확인되었다.
이상에서 설명한 것처럼, 본 발명에 따른 스티치 불량 검출 시스템(10)을 통해 봉제 시 발생하는 스티치 불량을 효과적으로 탐지할 수 있다. 각 재봉틀(20)에서 발생한 불량은 거의 실시간으로 검출될 수 있다. 재봉틀을 이용하여 봉제 작업을 하는 동안에 작업자는 조기에 봉제 불량을 인식할 수 있고, 그에 따른 적절한 후속 조치를 즉시 취할 수 있다. 이를 통해 시간 및 인력의 손실을 예방하고 의류생산라인의 생산성을 향상시킬 수 있다. 나아가 그 불량 검출 데이터는 네트워크(80)를 통해 서버 컴퓨터(90)에 제공될 수 있다. 서버 컴퓨터(90)는 전달받은 불량 검출 데이터를 데이터베이스에 저장할 수 있고, 그렇게 확보되는 데이터에 기초하여, 개별 작업자 및/또는 작업라인의 불량률 등에 대한 데이터 분석을 할 수 있다. 이를 통해, 각 작업자의 기술수준과 생산성 등에 관한 정보, 그리고 각 작업라인별 생산성 등에 관한 정보를 확보할 수 있다.
이상에서 설명한 본 발명의 실시예들에 따른 봉제 스티치 불량 검출 방법은 다양한 컴퓨터 수단을 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있다. 구현된 컴퓨터 프로그램은 컴퓨터 장치(50) 의 저장부(53) 또는 서버 컴퓨터(90)의 데이터 저장소 또는 컴퓨터 판독이 가능한 별도의 기록매체에 기록될 수 있다. 그 구현된 컴퓨터 프로그램을 컴퓨터 장치에서 연산처리장치가 기록 매체에 저장된 그 컴퓨터 프로그램을 읽어 들여 실행하는 것에 의해 본 발명의 방법을 수행할 수 있다.
상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 발명은 의류 봉제분야 생산제조 시스템의 봉제 불량 자동인식 시스템으로 이용될 수 있다. 본 발명은 봉제 스티치 불량에 대한 추출 패턴뿐만 아니라 다양한 제조 제품에 대하여 외형의 오류를 빠르게 분석하여 결함을 판단할 수 있다는 점에서 다양한 응용 분야를 가질 수 있다. 예컨대, 매크로 규모의 제품을 생산하는 산업에서 외형 품질검사 시스템으로도 이용될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 그러므로 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
10: 스티치 불량 자동 검출 시스템
40: 카메라 50: 컴퓨터
52: 연산처리부 60: 알람부

Claims (19)

  1. 컴퓨터 장치에서 연산처리부가 컴퓨터 프로그램을 실행하여 봉제 스티치 불량을 자동으로 검출하는 방법으로서,
    상기 연산처리부에서, 재봉틀로 재단물을 봉제하는 동안에, 카메라가 촬영한 재단물의 봉제 스티치 이미지들을 실시간으로 전달받아 상기 컴퓨터 장치의 저장부에 저장하는 단계;
    상기 연산처리부에서, 상기 저장부에 수집된 봉제 스티치 이미지에 대하여 봉제 스티치 영역을 포함하는 윤곽선 영역을 검출하기 위한 이미지 처리 단계; 및
    상기 연산처리부에서, 검출된 스티치 영역의 윤곽선 정보를 이용하여 봉제 스티치 분포의 균일성 값을 산출하여 그 산출된 균일성 값의 크기에 따라 상기 봉제 스티치 이미지에 스티치 불량이 포함되어 있는지 여부를 판별하는 단계를 포함하고,
    상기 봉제 스티치 분포의 균일성 값은 식
    Figure 112022072596681-pat00036
    을 이용하여 계산되며, 여기서,
    Figure 112022072596681-pat00037
    은 봉제 스티치의 길이와 간격의 크기들 중 최대값이고,
    Figure 112022072596681-pat00038
    은 봉제 스티치의 길이와 간격의 크기들 중 최소값이며,
    Figure 112022072596681-pat00039
    는 봉제 스티치의 길이와 간격의 크기들 전체의 평균값인 것을 특징으로 하는 봉제 스티치 불량 자동 검출 방법.
  2. 제1항에 있어서, 상기 판별하는 단계에서, 상기 균일성 값이 미리 설정된 소정 크기의 임계값을 초과하는 경우에는 스티치 불량이 없는 것으로 판단하고, 상기 임계값을 초과하지 못하는 경우에는 스티치 불량이 있는 것으로 판단하는 것을 특징으로 하는 봉제 스티치 불량 자동 검출 방법.
  3. 제1항에 있어서, 상기 이미지 처리 단계는, 상기 연산처리부가 상기 저장부로부터 각 봉제 스티치 이미지 데이터를 읽어오는 단계; 봉제 스티치 이미지 프레임에 대하여 딥러닝 알고리즘을 이용하여 원본 이미지에서 섬유 부분을 제거하고 봉제 스티치만을 포함하는 이미지로 변환하는 단계; 상기 연산처리부는 상기 봉제 스티치만의 이미지에 대한 노이즈 저감 처리를 수행하는 단계; 노이즈 저감 처리된 이미지를 흑백 이미지로 변환하는 이진화 처리를 수행하는 단계; 및 봉제 스티치 영역을 세분화하기 위해 이진화 처리된 특징맵 이미지에서 픽셀 밝기값을 이용하여 봉제 스티치 영역에 해당하는 흰색 영역을 윤곽선 영역으로 검출하는 단계를 포함하는 것을 특징으로 하는 봉제 스티치 불량 자동 검출 방법.
  4. 제3항에 있어서, 상기 봉제 스티치 영역만의 이미지는 합성곱신경망(CNN) 모델의 합성곱층을 이용하여 상기 원본 이미지에서 특징맵 이미지를 추출하는 것을 통해 얻어지는 것을 특징으로 하는 봉제 스티치 불량 자동 검출 방법.
  5. 제3항에 있어서, 상기 판별하는 단계는, 검출된 상기 윤곽선 영역에 관한 정보를 이용하여 봉제 스티치의 길이 및 봉제 스티치 사이의 거리 정보를 포함하는 스티치 형상 정보를 산출하는 단계를 포함하는 것을 특징으로 하는 봉제 스티치 불량 자동 검출 방법.
  6. 삭제
  7. 제2항에 있어서, 상기 임계값의 크기는 -0.55 이상 -0.2 이하의 범위 내에서 정해지는 값인 것을 특징으로 하는 봉제 스티치 불량 자동 검출 방법.
  8. 제1항에 있어서, 상기 판별하는 단계에서 상기 봉제 스티치 이미지에 스티치 불량이 포함된 것으로 판정되면, 스티치 불량이 발생하였음을 나타내는 알람을 출력하고, 상기 스티치 불량이 포함되지 않은 것으로 판정되면, 현재의 봉제 이미지를 초기화 한 후 다음 봉제 이미지에 대하여 상기 이미지 처리 단계와 상기 판별하는 단계를 다시 수행하도록 리턴하는 단계를 더 포함하는 것을 특징으로 하는 봉제 스티치 불량 자동 검출 방법.
  9. 제1항에 있어서, 상기 저장하는 단계에 앞서, 봉제용 재봉틀의 봉제속도(RPM), 단위 구간 스티치 개수, 그리고 분석 픽셀 크기를 고려하여 단위시간당 최소 촬영 이미지 개수를 관계식 '초당 요구 프레임 수(fps) = 초당 이송거리 / 초당 스티치 개수'를 이용하여 구하고, 상기 카메라가 적어도 상기 단위시간당 최소 촬영 이미지 개수 이상의 이미지를 촬영하도록 설정하는 단계를 더 포함하는 것을 특징으로 하는 봉제 스티치 불량 자동 검출 방법.
  10. 재봉틀에 의해 봉제되는 재단물의 스티치 부분을 촬영하도록 설치되고, 촬영한 이미지를 컴퓨터에 제공하는 카메라; 및
    컴퓨터 프로그램을 실행하여 상기 재단물의 봉제 스티치 불량을 실시간으로 검출할 수 있는 컴퓨터 장치를 구비하고,
    상기 컴퓨터 프로그램은 상기 컴퓨터 장치의 연산처리부로 하여금, 재봉틀로 재단물을 봉제하는 동안에, 카메라가 촬영한 재단물의 봉제 스티치 이미지들을 실시간으로 전달받아 상기 컴퓨터 장치의 저장부에 저장하는 기능, 상기 컴퓨터 장치의 연산처리부에서, 상기 저장부에 수집된 봉제 스티치 이미지에 대하여 봉제 스티치 영역을 포함하는 윤곽선 영역을 검출하기 위한 이미지 처리 기능, 그리고 검출된 스티치 영역의 윤곽선 정보를 이용하여 봉제 스티치 분포의 균일성 값을 산출하여 그 산출된 균일성 값의 크기에 따라 상기 봉제 스티치 이미지에 스티치 불량이 포함되어 있는지 여부를 판별하는 기능을 포함하고,
    상기 봉제 스티치 분포의 균일성 값은 식
    Figure 112022072596681-pat00040
    을 이용하여 계산되며, 여기서,
    Figure 112022072596681-pat00041
    은 봉제 스티치의 길이와 간격의 크기들 중 최대값이고,
    Figure 112022072596681-pat00042
    은 봉제 스티치의 길이와 간격의 크기들 중 최소값이며,
    Figure 112022072596681-pat00043
    는 봉제 스티치의 길이와 간격의 크기들 전체의 평균값인 것을 특징으로 하는 봉제 스티치 불량 자동 검출 시스템.
  11. 제10항에 있어서, 상기 컴퓨터 프로그램은 상기 연산처리부로 하여금 상기 균일성 값이 미리 설정된 소정 크기의 임계값을 초과하는 경우에는 스티치 불량이 없는 것으로 판단하고, 상기 임계값을 초과하지 못하는 경우에는 스티치 불량이 있는 것으로 판단하게 하는 기능을 더 포함하는 것을 특징으로 하는 봉제 스티치 불량 자동 검출 시스템.
  12. 제10항에 있어서, 상기 이미지 처리 기능은, 상기 연산처리부가 상기 저장부로부터 각 봉제 스티치 이미지 데이터를 읽어오게 하는 기능; 상기 연산처리부로 하여금 봉제 스티치 이미지 프레임에 대하여 딥러닝 알고리즘을 이용하여 원본 이미지에서 섬유 부분을 제거하고 봉제 스티치만을 포함하는 이미지로 변환하는 기능; 상기 연산처리부가 상기 봉제 스티치만의 이미지에 대한 노이즈 저감 처리를 수행하게 하는 기능; 상기 연산처리부로 하여금 노이즈 저감 처리된 이미지를 흑백 이미지로 변환하는 이진화 처리를 수행하게 하는 기능; 및 상기 연산처리부로 하여금 봉제 스티치 영역을 세분화하기 위해 이진화 처리된 특징맵 이미지에서 픽셀 밝기값을 이용하여 봉제 스티치 영역에 해당하는 흰색 영역을 윤곽선 영역으로 검출하는 기능을 포함하는 것을 특징으로 하는 봉제 스티치 불량 자동 검출 시스템.
  13. 제12항에 있어서, 상기 봉제 스티치 영역만의 이미지는 합성곱신경망 모델의 합성곱층을 이용하여 상기 원본 이미지에서 특징맵 이미지를 추출하는 것을 통해 얻어지는 것을 특징으로 하는 봉제 스티치 불량 자동 검출 시스템.
  14. 제12항에 있어서, 상기 판별하는 기능은, 검출된 상기 윤곽선 영역에 관한 정보를 이용하여 봉제 스티치의 길이 및 봉제 스티치 사이의 거리 정보를 포함하는 스티치 형상 정보를 산출하는 기능을 포함하는 것을 특징으로 하는 봉제 스티치 불량 자동 검출 시스템.
  15. 삭제
  16. 제11항에 있어서, 상기 임계값의 크기는 -0.55 이상 -0.2 이하의 범위 내에서 정해지는 값인 것을 특징으로 하는 봉제 스티치 불량 자동 검출 시스템.
  17. 제10항에 있어서, 상기 연산처리부로부터 스티치 불량 검출 정보를 전달받아 스티치 불량 발생을 나타내는 알람을 표출하도록 구성된 알람부를 더 구비하고, 상기 컴퓨터 프로그램은 상기 봉제 스티치 이미지에 스티치 불량이 포함된 것으로 판정되면, 상기 연산처리부를 통해 스티치 불량이 발생하였음을 나타내는 알람신호를 상기 알람부로 출력하고, 상기 스티치 불량이 포함되지 않은 것으로 판정되면, 현재의 봉제 이미지를 초기화 한 후 다음 봉제 이미지에 대하여 상기 이미지 처리 기능과 상기 판별하는 기능을 다시 수행하도록 제어하는 기능을 더 포함하는 것을 특징으로 하는 봉제 스티치 불량 자동 검출 시스템.
  18. 제1항 내지 제5항 및 제7항 내지 제9항 중 어느 한 항에 기재된 봉제 스티치 불량 자동 검출 방법을 수행하기 위하여 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 실행가능 프로그램.
  19. 제1항 내지 제5항 및 제7항 내지 제9항 중 어느 한 항에 기재된 봉제 스티치 불량 자동 검출 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
KR1020210166125A 2021-11-26 2021-11-26 합성곱 신경망 특징맵 기반 봉제 스티치 불량 자동 검출 방법 및 시스템 KR102470422B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210166125A KR102470422B1 (ko) 2021-11-26 2021-11-26 합성곱 신경망 특징맵 기반 봉제 스티치 불량 자동 검출 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210166125A KR102470422B1 (ko) 2021-11-26 2021-11-26 합성곱 신경망 특징맵 기반 봉제 스티치 불량 자동 검출 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR102470422B1 true KR102470422B1 (ko) 2022-11-25

Family

ID=84237508

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210166125A KR102470422B1 (ko) 2021-11-26 2021-11-26 합성곱 신경망 특징맵 기반 봉제 스티치 불량 자동 검출 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102470422B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342870A (zh) * 2023-05-12 2023-06-27 天津市再登软件有限公司 一种服装厂缝纫机器的工作状态确定方法
CN116429790A (zh) * 2023-06-14 2023-07-14 山东力乐新材料研究院有限公司 一种基于数据分析的木质包装箱产线智能管控系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101968168B1 (ko) 2018-03-06 2019-08-13 코오롱글로텍주식회사 봉제선 검사장치 및 이를 포함하는 재봉장치
JP2021090640A (ja) * 2019-12-11 2021-06-17 Juki株式会社 画像処理装置、ミシン、及び画像処理方法
KR102322546B1 (ko) * 2020-11-13 2021-11-09 호전실업 주식회사 봉제 스티칭 불량 검출 방법 및 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101968168B1 (ko) 2018-03-06 2019-08-13 코오롱글로텍주식회사 봉제선 검사장치 및 이를 포함하는 재봉장치
JP2021090640A (ja) * 2019-12-11 2021-06-17 Juki株式会社 画像処理装置、ミシン、及び画像処理方法
KR102322546B1 (ko) * 2020-11-13 2021-11-09 호전실업 주식회사 봉제 스티칭 불량 검출 방법 및 시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342870A (zh) * 2023-05-12 2023-06-27 天津市再登软件有限公司 一种服装厂缝纫机器的工作状态确定方法
CN116342870B (zh) * 2023-05-12 2023-07-28 天津市再登软件有限公司 一种服装厂缝纫机器的工作状态确定方法
CN116429790A (zh) * 2023-06-14 2023-07-14 山东力乐新材料研究院有限公司 一种基于数据分析的木质包装箱产线智能管控系统
CN116429790B (zh) * 2023-06-14 2023-08-15 山东力乐新材料研究院有限公司 一种基于数据分析的木质包装箱产线智能管控系统

Similar Documents

Publication Publication Date Title
KR102322546B1 (ko) 봉제 스티칭 불량 검출 방법 및 시스템
KR102470422B1 (ko) 합성곱 신경망 특징맵 기반 봉제 스티치 불량 자동 검출 방법 및 시스템
JP6121425B2 (ja) ラスタ画像のエッジ検出によるベルト摩耗の測定
US11657491B2 (en) Learning data collection apparatus, learning data collection method, and program
JP2005521927A (ja) デジタルスチルカメラにおける取り込み画像の写真品質を評価する方法及び装置
JP2007285880A (ja) 基板検査における見本画像の登録方法および見本画像作成装置
CN113469974B (zh) 球团链篦机篦板状态监测方法及其监测系统
CN115861161A (zh) 机器学习系统、学习数据收集方法以及存储介质
US11640659B2 (en) System and method for assessing the health of an asset
TWI749714B (zh) 瑕疵檢測方法、瑕疵分類方法及其系統
CN117351472A (zh) 烟叶信息检测方法、装置及电子设备
US11120541B2 (en) Determination device and determining method thereof
CN115861315B (zh) 缺陷检测方法和装置
TWM606740U (zh) 瑕疵檢測系統
JP2021157607A (ja) 破断面解析装置及び破断面解析方法
CN112488986A (zh) 基于Yolo卷积神经网络的布匹表面瑕疵识别方法、装置及系统
JP6114559B2 (ja) フラットパネルディスプレイの自動ムラ検出装置
CN113837184B (zh) 一种蚊虫检测方法、设备及存储介质
KR102587918B1 (ko) 봉제 불량 자동 검출 방법 및 시스템
JP7340487B2 (ja) プログラム作成装置、対象物検知システム、アンカー設定方法及びアンカー設定プログラム
CN115803610A (zh) 图像获取方法及装置、存储介质
CN115424062B (zh) 一种自动识别斜线网的方法及装置、设备及存储介质
JP2004286708A (ja) 欠陥検出装置、方法及びプログラム
CN112730427B (zh) 一种基于机器视觉的产品表面缺陷检测方法及系统
CN118010739B (zh) 基于棉线距离的漏金属检测方法、装置及设备

Legal Events

Date Code Title Description
GRNT Written decision to grant