KR102494890B1 - 철제 금형물 품질 검사를 위한 지능형 전수검사 시스템 - Google Patents

철제 금형물 품질 검사를 위한 지능형 전수검사 시스템 Download PDF

Info

Publication number
KR102494890B1
KR102494890B1 KR1020200177317A KR20200177317A KR102494890B1 KR 102494890 B1 KR102494890 B1 KR 102494890B1 KR 1020200177317 A KR1020200177317 A KR 1020200177317A KR 20200177317 A KR20200177317 A KR 20200177317A KR 102494890 B1 KR102494890 B1 KR 102494890B1
Authority
KR
South Korea
Prior art keywords
image data
artificial intelligence
learning
intelligence device
lidar
Prior art date
Application number
KR1020200177317A
Other languages
English (en)
Other versions
KR20220087014A (ko
Inventor
임병훈
임동균
Original Assignee
텔스타홈멜 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텔스타홈멜 주식회사 filed Critical 텔스타홈멜 주식회사
Priority to KR1020200177317A priority Critical patent/KR102494890B1/ko
Publication of KR20220087014A publication Critical patent/KR20220087014A/ko
Application granted granted Critical
Publication of KR102494890B1 publication Critical patent/KR102494890B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/52—Combining or merging partially overlapping images to an overall image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106—General arrangement of respective parts
    • G01N2021/0118—Apparatus with remote processing
    • G01N2021/0143—Apparatus with remote processing with internal and external computer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/845—Objects on a conveyor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biochemistry (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

철제 금형물 품질 검사를 위한 지능형 전수검사 시스템은 라이다와 비전을 이용한 인공지능을 기반으로 원자재와 가공품의 전수 검사와 정밀 검사를 자동으로 수행하여 원자재와 가공품의 결함을 탐지할 수 있다.
본 발명은 인공지능을 기반으로 원자재와 가공품의 전수 검사와 정밀 검사를 자동으로 수행할 수 있어 산업 전체의 품질을 개선하고 품질 비용을 최소화 할 수 있는 효과가 있다.

Description

철제 금형물 품질 검사를 위한 지능형 전수검사 시스템{Intelligent Total Inspection System for Quality Inspection of Iron Frame Mold}
본 발명은 지능형 전수검사 시스템에 관한 것으로서, 더욱 상세하게는 라이다와 비전을 이용한 인공지능을 기반으로 원자재와 가공품의 전수 검사와 정밀 검사를 자동으로 수행하여 원자재와 가공품의 결함을 탐지할 수 있는 철제 금형물 품질 검사를 위한 지능형 전수검사 시스템에 관한 것이다.
텔스타홈멜 경주 공장은 현대 자동차 SUV 차종인 산타페의 운전석과 조수석의 일체형 사이드 아우터 판넬을 레이저 커팅으로 가공하여 공급하는 작업을 수행한다.
일체형 사이드 아우터는 운전석과 조수석의 도어 프레임 내부 뼈대로서 기존에 A(Front) + B(Center) + C(Rear) + Side Outer를 용접하여 사용하였으나, 일체형 사이드 아웃터는 이러한 4가지 부품을 1개의 부품으로 이루어진 판넬이다.
이러한 판넬은 가공 후 품질 검사 공정을 현재 수작업으로 가공 여부 판단(전수 검사)과 제품 정밀 검사(샘플링 검사)를 시행하고 있다.
가공 여부 판단은 가공된 지점의 실제 가공 여부만을 확인하고, 제품 정밀 검사는 초중종검사를 통해 모든 가공 포인트들을 사람이 직접 측정하여 검사한다.
메탈 커팅 가공업은 대부분 가공 여부만 판단하고 품질에 대한 정밀 검사가 많은 비용을 유발하기 때문에 시도하지 않고 있다.
품질 검사 공정은 적은 수의 표본 검사를 실시하므로 공급하는 가공품에 시장 불량이 포함되어 출하될 수도 있고, 검사 작업자의 수가 현실적으로 부족하므로 표본 검사를 수행할 수 밖에 없다. 또한, 품질 검사 공정은 가공 후 불량이 발생하면, 원자재 불량인지 여부를 육안으로 판단하는 공정이 존재할 수 있으나, 생산 투입 전에 원자재에 대한 품질 검사가 전혀 시행되고 있지 않다.
한국 등록특허번호 제10-2108956호
이와 같은 문제점을 해결하기 위하여, 본 발명은 라이다와 비전을 이용한 인공지능을 기반으로 원자재와 가공품의 전수 검사와 정밀 검사를 자동으로 수행하여 원자재와 가공품의 결함을 탐지할 수 있는 철제 금형물 품질 검사를 위한 지능형 전수검사 시스템을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 특징에 따른 철제 금형물 품질 검사를 위한 지능형 전수검사 시스템은,
철제 금형물의 연직 상부에 위치하여 상기 철제 금형물의 특정 위치별로 배치되고, 상기 철제 금형물의 외형을 촬영하여 각 영상 정보를 생성하는 복수의 카메라부;
철제 금형물의 연직 상부에 위치하여 상기 철제 금형물의 표면 굴곡을 스캐닝하여 각 포인트마다 포인트 클라우드를 생성하는 라이다 스캐너;
상기 각각의 카메라부로부터 상기 철제 금형물에 대한 결함 영상 데이터를 수신하여 학습 데이터로 저장하고, 상기 학습 데이터를 불량 유형별로 인공 신경 처리망의 학습을 수행하며, 상기 학습 데이터의 결함 여부를 분석하여 결함 분류 결과를 출력하는 비전 인공지능 장치;
상기 라이다 스캐너로부터 수신한 상기 철제 금형물의 표면 굴곡을 3차원 이미지 데이터를 생성하고, 상기 생성한 3차원 이미지 데이터를 깊은 신경망으로 학습하는 상기 라이다 인공지능 장치; 및
상기 비전 인공지능 장치와 상기 라이다 인공지능 장치에서 작동하는 복수의 인공지능을 관리하여 상기 철제 금형물의 양품과 불량을 판정하는 인공지능 운영 플랫폼인 제어장치를 포함한다.
비전 인공지능 장치는 결함 후보 영상인 원자재 불량 영상 데이터와 가공품 불량 영상 데이터와, 양품의 가공품 영상 데이터를 수집하여 학습 데이터로 분산하여 저장할 수 있다. 라이다 인공지능 장치는 양품의 원자재 영상 데이터를 수집하여 학습 데이터로 저장할 수 있다.
라이다 인공지능 장치는 딥 러닝의 생성적 대립 신경망(Generative Adversarial Network, GAN)을 적용하여 상기 3차원 데이터 생성부로부터 수신한 3차원 이미지 데이터를 학습하여 생성하는 생성부와, 상기 생성부에 의해 생성된 3차원 이미지 데이터를 구별하는 구별부를 이루어져 상기 양품의 원자재 영상 데이터를 학습할 수 있다.
비전 인공지능 장치는 상기 원자재 불량 영상 데이터와, 상기 가공품 불량 영상 데이터와, 상기 양품의 가공품 영상 데이터를 수집하여 학습 데이터로 저장하는 학습 데이터 저장부; 및
학습 데이터 저장부에서 저장된 학습 데이터를 신경망에 입력시켜 오류를 수정하고, 수정된 오류를 이용하여 결함 분류 결과를 출력하는 심층 컨볼루션 신경망(Deep Convolutional Neural Neworks, CNNs)를 이용한 인공 신경 처리망을 포함한다.
전술한 구성에 의하여, 본 발명은 인공지능을 기반으로 원자재와 가공품의 전수 검사와 정밀 검사를 자동으로 수행할 수 있어 산업 전체의 품질을 개선하고 품질 비용을 최소화 할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 철제 금형물 품질 검사를 위한 지능형 전수검사 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 라이다 스캐너와 라이다 인공지능 장치의 내부 구성을 간략하게 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 비전 인공지능 장치의 내부 구성을 간략하게 나타낸 도면이다.
도 4은 본 발명의 실시예에 따른 철제 금형물 품질 검사를 위한 지능형 전수검사 시스템에서 원자재 품질검사와 가공품 품질검사를 수행하는 일련의 프로세스를 설명하기 위한 도면이다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 실시예에 따른 철제 금형물 품질 검사를 위한 지능형 전수검사 시스템의 구성을 나타낸 도면이다.
본 발명의 실시예에 따른 철제 금형물 품질 검사를 위한 지능형 전수검사 시스템(100)은 라이다 스캐너(110), 제1 카메라부(111), 제2 카메라부(112), 제3 카메라부(113), 제4 카메라부(114), 라이다 인공지능 장치(120), 비전 인공지능 장치(130), 백업 데이터 저장부(140) 및 제어장치(150)를 포함한다.
라이다 스캐너(110)는 철제 금형물의 연직 상부에 위치하여 철제 금형물의 표면 굴곡을 스캐닝하여 각 포인트마다 포인트 클라우드를 생성한다.
제1 카메라부(111), 제2 카메라부(112), 제3 카메라부(113), 제4 카메라부(114)는 철제 금형물의 연직 상부에 위치하여 철제 금형물의 특정 위치별로 배치되고, 철제 금형물의 외형을 촬영하여 각 영상 정보를 생성한다.
비전 인공지능 장치(130)는 각각의 카메라부로부터 철제 금형물에 대한 결함 영상 데이터를 수신하여 학습 데이터로 저장하고, 학습 데이터를 불량 유형별로 인공 신경 처리망(132)의 학습을 수행하며, 학습 데이터의 결함 여부를 분석하여 결함 분류 결과를 출력하고, 결함 분류 결과를 백업 데이터 저장부(140)로 전송하여 저장한다.
라이다 인공지능 장치(120)는 라이다 스캐너(110)로부터 수신한 철제 금형물의 표면 굴곡을 3차원 이미지 데이터를 생성하고, 생성한 3차원 이미지 데이터를 깊은 신경망으로 학습한다. 라이다 인공지능 장치(120)는 학습된 결과 정보를 백업 데이터 저장부(140)로 전송하여 저장한다.
제어장치(150)는 라이다 인공지능 장치(120), 비전 인공지능 장치(130)에서 작동하는 복수의 인공지능을 관리하여 철제 금형물의 양품과 불량을 판정하는 인공지능 운영 플랫폼의 기능을 수행한다.
도 2는 본 발명의 실시예에 따른 라이다 스캐너와 라이다 인공지능 장치의 내부 구성을 간략하게 나타낸 도면이다.
라이다 스캐너(110)는 원자재의 굴곡 패턴 결함을 찾기 위하여 레이저 광을 철제 금형물의 표면에 조사하는 광 송신부(110a)와, 광 송신부(110a)로부터 조사된 광을 일정 각도로 반사시키는 스캐닝 미러로 이루어진 광학부(110b)와, 대상 물체로부터 반사 또는 산란되어 돌아오는 레이저 광을 광학부(110b)에서 반사되어 수광하는 광 수신부(110c)와, 광 수신부(110c)를 수신한 정보를 처리하는 신호 처리부(110d)로 구성되고, 광 송신부(110a), 광 수신부(110c), 신호 처리부(110d)를 제어하여 레이저 광의 송신, 수신, 신호 처리를 전반적으로 제어하는 제어모듈(110e)을 더 포함한다.
라이다 스캐너(110)는 철제 금형물의 표면을 스캐닝하여 각 포인트마다 포인트 클라우드를 생성하여 라이다 인공지능 장치(120)로 전송한다.
여기서, 철제 금형물은 양품의 원자재 영상 데이터를 나타낸다.
라이다 스캐너(110)로부터 획득한 포인트 클라우드는 일반적으로 철제 금형물의 표면에서 (x, y, z)의 상대적 좌표로 구성된 포인트와 반사 강도로 구성된다.
라이다 인공지능 장치(120)는 3차원 데이터 생성부(121), 생성부(122) 및 구별부(123)를 포함한다.
라이다 인공지능 장치(120)는 철제 금형물의 표면 굴곡 결함을 인식하는 것으로 딥 러닝의 생성적 대립 신경망(Generative Adversarial Network, GAN)을 적용한다.
3차원 데이터 생성부(121)는 철제 금형물의 여러 곳에서 각각 스캐닝되어 저장된 각 포인트 클라우드를 병합하여 하나의 철제 금형물의 표면 굴곡에 대한 포인트 클라우드를 생성한다.
3차원 데이터 생성부(121)는 하나로 병합된 철제 금형물의 표면에 대한 포인트 클라우드를 이용한 분할(Segmentation)을 수행하고, 분할된 포인트 클라우드를 이용하여 철제 금형물에 대한 면을 결정하고, 결정된 면을 이용하여 철제 금형물의 경계선을 추출하며, 추출한 경계선과 경계선을 추출하지 못한 나머지 영역의 남아 있는 포인트 클라우드를 이용하여 철제 금형물의 3차원 이미지 데이터를 생성한다.
여기서, 철제 금형물의 3차원 이미지 데이터는 양품의 원자재 영상 데이터를 포함한다.
생성부(Generator)(122)는 3차원 데이터 생성부(121)로부터 수신한 3차원 이미지 데이터를 학습 데이터로 학습한다.
구별부(Discriminator)(123)는 생성부(122)에 의해 생성된 3차원 이미지 데이터를 구별한다.
생성부(122)는 복수의 컨볼루션(Convolution) 계층을 포함하는 인코더(Encoder) 및 복수의 디컨볼루션 계층을 포함하는 디코더(Decoder)로 구성되며, 구별부(123)는 복수의 디컨볼루션(Deconvolution) 계층 및 시그모이드(Sigmoid)를 포함하는 인코더로 구성된 것을 특징으로 한다.
GAN 모델은 생성부(122)와 구별부(123)를 서로 대립시켜 실제와 유사한 영상 데이터가 생성되도록 학습하는 방법이다.
라이다 인공지능 장치(120)는 원자재 품질검사에 대한 학습모드인 경우, 양품의 원자재 영상 데이터를 학습하여 실제와 유사한 영상 데이터가 생성되도록 학습한다.
라이다 인공지능 장치(120)는 원자재 품질검사에 대한 검사모드인 경우, 3차원 데이터 생성부(121)로부터 3차원 이미지 데이터를 입력받고, 생성부(122)와 구별부(123)를 이용하여 입력된 3차원 이미지 데이터의 양품의 원자재 영상 데이터 간의 결함 분류 결과를 출력한다.
도 3은 본 발명의 실시예에 따른 비전 인공지능 장치의 내부 구성을 간략하게 나타낸 도면이다.
제1 카메라부(111), 제2 카메라부(112), 제3 카메라부(113), 제4 카메라부(114)는 백라이트의 조명을 받아 전체적인 철제 금형물(10)의 외형을 촬영하는 것이므로 머신 비전 라인 스캔 카메라를 사용하였으며, 36MP급 초고해상도 이미지로부터 원자재 불량을 식별할 수 있다. 여기서, 철제 금형물(10)은 메탈 커팅 및 가공한 금형물을 모두 포함하고, 본 발명의 일실시예로 일체형 사이드 아우터 판넬을 예시하고 있다.
제1 카메라부(111), 제2 카메라부(112), 제3 카메라부(113), 제4 카메라부(114)는 철제 금형물(10)의 촬영할 위치에 정렬하여 배치되고, 촬영된 철제 금형물(10)의 각 영상 정보를 생성하여 비전 인공지능 장치(130)로 전송한다.
비전 인공지능 장치(130)는 철제 금형물의 가공 지점의 객체 탐지를 수행하는 것으로 제1 카메라부(111), 제2 카메라부(112), 제3 카메라부(113), 제4 카메라부(114)로부터 획득한 피검사대상인 영상 정보로부터 결함의 종류, 위치에 대한 정보를 자동으로 검출할 수 있다.
본 발명의 실시예의 비전 인공지능 장치(130)는 학습 데이터 저장부(131),
학습 데이터 저장부(131)는 입력된 결함 후보 영상인 원자재 불량 영상 데이터와 가공품 불량 영상 데이터와, 양품의 가공품 영상 데이터를 수집하여 학습 데이터로 분산하여 저장한다. 학습 데이터 저장부(131)는 분산 병렬 처리가 가능한 데이터베이스부로 형성될 수 있다.
인공 신경 처리망(132)은 학습 데이터 저장부(131)에서 저장된 학습 데이터를 신경망에 입력시켜 오류를 수정하고, 수정된 오류를 이용하여 결함 분류 결과를 출력한다.
이때, 인공 신경 처리망(132)은 심층 컨볼루션 신경망(Deep Convolutional Neural Neworks, CNNs)를 이용하고, 입력층(133), 은닉층(134), 출력층(135)을 포함할 수 있다.
입력층(133)은 학습 데이터 저장부(131)에 저장된 학습 데이터를 획득하고, 획득한 학습 데이터를 특징맵을 가지는 레이어로 저장한다. 여기서, 특징맵은 다수의 노드들이 2차원으로 배열된 구조를 가짐으로써 후술되는 은닉층(134)과의 연결을 용이하게 할 수 있다.
은닉층(134)은 상위 계층에 위치한 레이어의 특징맵을 획득하고, 획득한 특징맵으로부터 점차 높은 수준의 특징을 추출한다. 은닉층(134)은 하나 또는 그 이상으로 형성될 수 있으며 컨볼루션 레이어부(134a), 풀링 레이어부(134b) 및 풀리 커넥티드 레이어부(134c)를 포함한다.
컨볼루션 레이어부(134a)는 학습 데이터로부터 컨볼루션 연산을 수행하는 구성으로서, 복수의 입력 특징맵과 연결되는 특징맵을 포함한다.
풀링 레이어부(134b)는 컨볼루션 레이어부(134a)의 출력을 입력으로 받아 컨볼루션 연산, 즉 서브 샘플링 연산을 수행하는 구성이고, 은닉층(134)의 하위 계층에 위치한 컨볼루션 레이어부(134a)가 가지는 입력 특징맵의 수와 동일한 수의 특징맵을 포함하며, 각각의 특징맵은 입력 특징맵과 일대일로 연결된다.
풀리 커넥티드 레이어부(134c)는 컨볼루션 레이어부(134a)의 출력을 입력으로 받아 출력 레이어부에서 출력되는 각 카테고리별 출력에 맞게 학습하는 구성이고, 학습된 국소적 정보, 즉 특징들을 종합하여 추상적인 내용을 학습한다.
이때, 은닉층(134)이 풀링 레이어부(134b)를 구비할 경우, 풀리 커넥티드 레이어부(134c)는 풀링 레이어부(134b)와 연결되며, 풀링 레이어부(134b)의 출력으로부터 특징들을 종합하여 추상적인 내용을 학습한다.
출력 레이어부는 소프트 맥스(soft-max) 등의 함수를 이용하여 분류하고자 원하는 각 카테고리별 출력을 확률값으로 매핑한다. 이때, 출력 레이어부에서 출력된 결과는 유형별 학습부(136) 또는 유형별 분류부(137)로 전달되어 오류역전파를 수행하거나 결함 분류 결과로 출력될 수도 있다.
유형별 학습부(136)는 불량 유형별로 인공 신경 처리망(132)의 학습을 수행하고, 유형별 딥러닝 특징값을 이용하여 불량 유형별로 학습한다.
본 발명의 일실시예에서 인공 신경 처리망(132)의 학습은 지도 학습(supervised-learning)으로 이루어진다.
지도 학습은 학습 데이터와 그에 대응하는 출력 데이터를 함께 인공 신경 처리망(132)에 입력하고, 학습 데이터에 대응하는 출력 데이터가 출력되도록 연결된 간선들의 가중치를 업데이트 하는 방법이다. 일예로, 본 발명의 인공 신경 처리망(132)은 델타 규칙 및 오류역전파 학습 등을 이용하여 인공뉴런들 사이의 연결 가중치를 업데이트 할 수 있다.
오류역전파(Error-back-propagation) 학습은 주어진 학습 데이터에 대해 전방계산(Feed-Forward)으로 오류를 추정한 후, 출력 레이어에서 시작하여 은닉층(134)과 입력층(133) 방향인 역방향으로 추정한 오류를 전파하고, 오류를 줄이는 방향으로 인공 뉴런들 사이의 연결 가중치를 업데이트한다.
유형별 학습부(136)는 입력층(133) - 은닉층(134) - 풀리 커넥티드 레이어부(134c) - 출력층(135)을 통해 획득된 결과로부터 오차를 계산하고, 계산된 오차를 보정하기 위해 다시 출력층(135) - 풀리 커넥티드 레이어부(134c) - 은닉층(134) - 입력층(133)의 순서로 오류를 전파하여 연결 가중치를 업데이트할 수 있다.
유형별 학습부(136)는 철제 금형물 품질 검사의 판별을 위해서 원자재 불량 영상 데이터와 가공품 불량 영상 데이터를 불량 유형별로 지도 학습하고, 양품의 가공품 영상 데이터를 지도 학습을 통해 학습된다.
원자재 불량 영상 데이터는 도 2에 도시된 바와 같이, 살 접힘, 찍힘, 오실레이션(열처리 불량), 녹슬음(관리 소홀) 등을 들 수 있다.
가공품 불량 영상 데이터는 가공 홀의 모양의 편차가 가공 홀의 양품, 불량 판정을 들 수 있다.
가공 홀은 홀 모양의 편차가 가공 홀의 무게 중심으로부터 이격이 0.5mm 오차 이내이면 양품 가공물로 결정되고, 0.5mm 오차를 벗어나면 불량품 가공물로 결정된다.
유형별 분류부(137)는 입력된 학습 데이터의 결함 여부를 분석하여 결함 분류 결과를 출력한다. 여기서, 입력된 학습 데이터는 원자재 불량 영상 데이터와 가공품 불량 영상 데이터와, 양품의 가공품 영상 데이터를 포함할 수 있다.
유형별 분류부(137)는 유형별 학습부(136)에서의 오류역전파를 통해 업데이트된 연결 가중치를 가지는 인공 신경 처리망(132)의 출력 데이터를 자동 결함 분류 결과로 출력할 수 있다.
유형별 분류부(137)는 업데이트된 연결 가중치를 가지는 인공 신경 처리망(132)에 학습 데이터, 테스트 데이터 또는 학습에 사용되지 않은 새 데이터가 입력되면, 입력층(133) - 은닉층(134) - 풀리 커넥티드 레이어부(134c) - 출력층(135)을 통해 출력된 결과를 획득하여 결함 분류 결과로 출력할 수 있다.
유형별 분류부(137)는 생성된 양품의 영상 데이터와 불량의 영상 데이터를 기반으로 최적화를 통해 딥러닝 기반 분류기 모델을 생성한다.
유형별 분류부(137)는 입력된 영상 데이터가 딥러닝 기반 분류기 모델을 통해 양품인지 불량인지 판정 결과값을 결과로 출력한다.
도 4은 본 발명의 실시예에 따른 철제 금형물 품질 검사를 위한 지능형 전수검사 시스템에서 원자재 품질검사와 가공품 품질검사를 수행하는 일련의 프로세스를 설명하기 위한 도면이다.
제어장치(150)는 철제 금형물의 원자재 품질검사와 철제 금형물의 가공품 품질검사로 나누고, 복수의 카메라부, 라이다 스캐너(110), 라이다 인공지능 장치(120), 비전 인공지능 장치(130)를 전기적으로 연결하고, 원자재 품질검사와 가공품 품질검사를 학습모드와 검사모드로 각각 수행한다.
(1) 원자재 품질검사(학습모드)
제어장치(150)는 원자재 품질검사에 대한 학습모드인 경우, 원자재의 학습모드를 요청하는 제어 신호를 생성하여 라이다 인공지능 장치(120)와 비전 인공지능 장치(130)로 전송한다.
비전 인공지능 장치(130)는 각각의 카메라부로부터 철제 금형물에 대한 원자재 불량 영상 데이터를 획득하여 4개의 12MP 이미지들로부터 36MP 급의 이미지의 변환을 수행하고, 원자재 불량 영상 데이터를 학습 데이터로 이용하여 원자재 철제 금형물에 대한 인공 신경 처리망(132)의 학습을 수행하여 원자재 철체 금형물의 학습된 결과를 백업 데이터 저장부(140)로 전송하여 저장한다.
라이다 인공지능 장치(120)는 라이다 스캐너(110)로부터 철제 금형물에 대한 양품의 원자재 영상 데이터를 획득하고, 원자재 영상 데이터의 표면 굴곡을 3차원 이미지 데이터를 생성하고, 성한 3차원 이미지 데이터를 생성적 대립 신경망(Generative Adversarial Network) 모델로 학습하여 원자재 철체 금형물의 학습된 결과를 백업 데이터 저장부(140)로 전송하여 저장한다.
(2) 원자재 품질검사(검사모드)
제어장치(150)는 원자재 품질검사에 대한 검사모드인 경우, 원자재의 검사모드를 요청하는 제어 신호를 생성하여 라이다 인공지능 장치(120)와 비전 인공지능 장치(130)로 전송한다.
비전 인공지능 장치(130)는 각각의 카메라부로부터 철제 금형물에 대한 제1 영상 데이터를 획득하여 4개의 12MP 이미지들로부터 36MP 급의 이미지의 변환을 수행하며, 획득한 제1 영상 데이터가 딥러닝 기반 분류기 모델을 통해 제1 결함 분류 결과를 출력한다.
라이다 인공지능 장치(120)는 라이다 스캐너(110)로부터 철제 금형물에 대한 제2 영상 데이터를 획득하고, 획득한 제2 영상 데이터의 표면 굴곡을 3차원 이미지 데이터를 생성하고, 생성적 대립 신경망을 통해 생성한 3차원 이미지 데이터와 양품의 원자재 영상 데이터 간의 제2 결함 분류 결과를 출력한다.
제어장치(150)는 비전 인공지능 장치(130)로부터 제1 결함 분류 결과를 수신하고, 상기 라이다 인공지능 장치(120)로부터 제2 결함 분류 결과를 수신하며, 제1 결함 분류 결과와 제2 결함 분류 결과를 이용하여 원자재 품질 검사인 철제 금형물의 최종 결함 결과를 판정한다.
제어장치(150)는 최종 결함 결과를 라이다 인공지능 장치(120)와 비전 인공지능 장치(130)로 전송하고, 라이다 인공지능 장치(120)와 비전 인공지능 장치(130) 원자재 품질검사의 결과인 최종 결함 결과를 백업 데이터 저장부(140)로 전송하여 저장한다.
(3) 가공품 품질검사(학습모드)
제어장치(150)는 가공품 품질검사에 대한 학습모드인 경우, 가공품의 학습모드를 요청하는 제어 신호를 생성하여 비전 인공지능 장치(130)로 전송한다.
비전 인공지능 장치(130)는 각각의 카메라부로부터 철제 금형물에 대한 가공품 불량 영상 데이터, 양품의 가공품 영상 데이터를 획득하고, 가공품 불량 영상 데이터와 양품의 가공품 영상 데이터를 학습 데이터로 이용하여 가공품 철제 금형물에 대한 인공 신경 처리망(132)의 학습을 수행하고, 학습된 결과를 백업 데이터 저장부(140)로 전송하여 저장한다.
(4) 가공품 품질검사(검사모드)
제어장치(150)는 가공품 품질검사에 대한 검사모드인 경우, 가공품의 학습모드를 요청하는 제어 신호를 생성하여 라이다 인공지능 장치(120)와 비전 인공지능 장치(130)로 전송한다.
비전 인공지능 장치(130)는 각각의 카메라부로부터 철제 금형물에 대한 영상 데이터를 획득하고, 획득한 영상 데이터가 딥러닝 기반 분류기 모델을 통해 가공품 철제 금형물의 결함 분류 결과를 출력한다.
제어장치(150)는 가공품 철제 금형물의 결함 분류 결과에 결함이 있다고 판단하는 경우, 불량 데이터인 결함 분류 결과를 백업 데이터 저장부(140)로 전송하여 저장한다.
제어장치(150)는 가공품 철제 금형물의 결함 분류 결과에 결함이 있다고 판단하는 경우, 불량 데이터인 결함 분류 결과를 비전 인공지능 장치(130)로 전송하고, 비전 인공지능 장치(130)는 가공품 품질검사의 결과인 결함 분류 결과를 백업 데이터 저장부(140)로 전송하여 저장한다.
이상에서 본 발명의 실시예는 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 지능형 전수검사 시스템 110: 라이다 스캐너
110a: 광 송신부 110b: 광학부
110c: 광 수신부 110d: 신호 처리부
110e: 제어모듈 111: 제1 카메라부
112: 제2 카메라부 113: 제3 카메라부
114: 제4 카메라부 120: 라이다 인공지능 장치
121: 3차원 데이터 생성부 122: 생성부
123: 구별부 130: 비전 인공지능 장치
131: 학습 데이터 저장부 132: 인공 신경 처리망
133: 입력층 134: 은닉층
134a: 컨볼루션 레이어부 134b: 풀링 레이어부
134c: 풀리 커넥티드 레이어부 135: 출력층
136: 유형별 학습부 137: 유형별 분류부
140: 백업 데이터 저장부 150: 제어장치

Claims (12)

  1. 철제 금형물의 연직 상부에 위치하여 상기 철제 금형물의 특정 위치별로 배치되고, 상기 철제 금형물의 외형을 촬영하여 각 영상 정보를 생성하는 복수의 카메라부;
    철제 금형물의 연직 상부에 위치하여 상기 철제 금형물의 표면 굴곡을 스캐닝하여 각 포인트마다 포인트 클라우드를 생성하는 라이다 스캐너;
    상기 각각의 카메라부로부터 상기 철제 금형물에 대한 결함 영상 데이터를 수신하여 학습 데이터로 저장하고, 상기 학습 데이터를 불량 유형별로 인공 신경 처리망의 학습을 수행하며, 상기 학습 데이터의 결함 여부를 분석하여 결함 분류 결과를 출력하는 비전 인공지능 장치;
    상기 라이다 스캐너로부터 수신한 상기 철제 금형물의 표면 굴곡을 3차원 이미지 데이터를 생성하고, 상기 생성한 3차원 이미지 데이터를 깊은 신경망으로 학습하는 상기 라이다 인공지능 장치; 및
    상기 비전 인공지능 장치와 상기 라이다 인공지능 장치에서 작동하는 복수의 인공지능을 관리하여 상기 철제 금형물의 양품과 불량을 판정하는 인공지능 운영 플랫폼인 제어장치를 포함하고,
    상기 제어장치는 상기 철제 금형물의 원자재 품질검사와 상기 철제 금형물의 가공품 품질검사로 나누고, 상기 복수의 카메라부, 상기 라이다 스캐너, 상기 비전 인공지능 장치, 상기 라이다 인공지능 장치를 전기적으로 연결하고, 상기 원자재 품질검사와 상기 가공품 품질검사를 학습모드와 검사모드로 각각 수행하는 철제 금형물 품질 검사를 위한 지능형 전수검사 시스템.
  2. 청구항 1에 있어서,
    상기 비전 인공지능 장치는 결함 후보 영상인 원자재 불량 영상 데이터와 가공품 불량 영상 데이터와, 양품의 가공품 영상 데이터를 수집하여 학습 데이터로 분산하여 저장하고,
    상기 라이다 인공지능 장치는 양품의 원자재 영상 데이터를 수집하여 학습 데이터로 저장하는 철제 금형물 품질 검사를 위한 지능형 전수검사 시스템.
  3. 청구항 2에 있어서,
    상기 라이다 인공지능 장치는 상기 라이다 스캐너로부터 획득한 각각의 포인트 클라우드를 병합하여 하나의 철제 금형물의 표면 굴곡에 대한 포인트 클라우드를 생성하고, 상기 생성한 포인트 클라우드를 이용하여 상기 철제 금형물의 3차원 이미지 데이터를 생성하는 3차원 데이터 생성부를 포함하며,
    상기 3차원 이미지 데이터는 상기 양품의 원자재 영상 데이터인 철제 금형물 품질 검사를 위한 지능형 전수검사 시스템.
  4. 청구항 3에 있어서,
    상기 라이다 인공지능 장치는 딥 러닝의 생성적 대립 신경망(Generative Adversarial Network, GAN)을 적용하여 상기 3차원 데이터 생성부로부터 수신한 3차원 이미지 데이터를 학습하여 생성하는 생성부와, 상기 생성부에 의해 생성된 3차원 이미지 데이터를 구별하는 구별부로 이루어져 상기 양품의 원자재 영상 데이터를 학습하는 철제 금형물 품질 검사를 위한 지능형 전수검사 시스템.
  5. 청구항 2에 있어서,
    상기 비전 인공지능 장치는 상기 원자재 불량 영상 데이터와, 상기 가공품 불량 영상 데이터와, 상기 양품의 가공품 영상 데이터를 수집하여 학습 데이터로 저장하는 학습 데이터 저장부; 및
    상기 학습 데이터 저장부에서 저장된 학습 데이터를 신경망에 입력시켜 오류를 수정하고, 수정된 오류를 이용하여 결함 분류 결과를 출력하는 심층 컨볼루션 신경망(Deep Convolutional Neural Neworks, CNNs)를 이용한 인공 신경 처리망을 포함하는 철제 금형물 품질 검사를 위한 지능형 전수검사 시스템.
  6. 청구항 5에 있어서,
    상기 원자재 불량 영상 데이터와, 상기 가공품 불량 영상 데이터를 불량 유형별로 지도 학습하고, 상기 양품의 가공품 영상 데이터를 지도 학습을 통해 학습하는 유형별 학습부와, 입력된 학습 데이터의 결함 여부를 분석하여 결함 분류 결과를 출력하는 유형별 분류부를 더 포함하는 철제 금형물 품질 검사를 위한 지능형 전수검사 시스템.
  7. 삭제
  8. 청구항 1에 있어서,
    상기 제어장치는 원자재 품질검사에 대한 학습모드인 경우, 원자재의 학습모드를 요청하는 제어 신호를 생성하여 상기 비전 인공지능 장치와 상기 라이다 인공지능 장치로 전송하고,
    상기 비전 인공지능 장치는 상기 각각의 카메라부로부터 상기 철제 금형물에 대한 원자재 불량 영상 데이터를 획득하고, 상기 원자재 불량 영상 데이터를 학습 데이터로 이용하여 원자재 철제 금형물에 대한 상기 인공 신경 처리망의 학습을 수행하며,
    상기 라이다 인공지능 장치는 상기 라이다 스캐너로부터 상기 철제 금형물에 대한 양품의 원자재 영상 데이터를 획득하고, 상기 원자재 영상 데이터의 표면 굴곡을 3차원 이미지 데이터를 생성하고, 상기 생성한 3차원 이미지 데이터를 생성적 대립 신경망(Generative Adversarial Network) 모델로 학습하는 철제 금형물 품질 검사를 위한 지능형 전수검사 시스템.
  9. 청구항 1에 있어서,
    상기 제어장치는 원자재 품질검사에 대한 검사모드인 경우, 원자재의 검사모드를 요청하는 제어 신호를 생성하여 상기 비전 인공지능 장치와 상기 라이다 인공지능 장치로 전송하고,
    상기 비전 인공지능 장치는 상기 각각의 카메라부로부터 상기 철제 금형물에 대한 제1 영상 데이터를 획득하고, 상기 획득한 제1 영상 데이터가 딥러닝 기반 분류기 모델을 통해 제1 결함 분류 결과를 출력하고,
    상기 라이다 인공지능 장치는 상기 라이다 스캐너로부터 상기 철제 금형물에 대한 제2 영상 데이터를 획득하고, 상기 획득한 제2 영상 데이터의 표면 굴곡을 3차원 이미지 데이터로 생성하고, 생성적 대립 신경망을 통해 상기 생성한 3차원 이미지 데이터와 상기 양품의 원자재 영상 데이터 간의 제2 결함 분류 결과를 출력하는 철제 금형물 품질 검사를 위한 지능형 전수검사 시스템.
  10. 청구항 1에 있어서,
    상기 제어장치는 가공품 품질검사에 대한 학습모드인 경우, 가공품의 학습모드를 요청하는 제어 신호를 생성하여 상기 비전 인공지능 장치로 전송하고,
    상기 비전 인공지능 장치는 상기 각각의 카메라부로부터 상기 철제 금형물에 대한 가공품 불량 영상 데이터, 양품의 가공품 영상 데이터를 획득하고, 상기 가공품 불량 영상 데이터와 상기 양품의 가공품 영상 데이터를 학습 데이터로 이용하여 가공품 철제 금형물에 대한 상기 인공 신경 처리망의 학습을 수행하는 철제 금형물 품질 검사를 위한 지능형 전수검사 시스템.
  11. 청구항 1에 있어서,
    상기 제어장치는 가공품 품질검사에 대한 검사모드인 경우, 가공품의 학습모드를 요청하는 제어 신호를 생성하여 상기 비전 인공지능 장치와 상기 라이다 인공지능 장치로 전송하고,
    상기 비전 인공지능 장치는 상기 각각의 카메라부로부터 상기 철제 금형물에 대한 영상 데이터를 획득하고, 상기 획득한 영상 데이터가 딥러닝 기반 분류기 모델을 통해 가공품 철제 금형물의 결함 분류 결과를 출력하는 철제 금형물 품질 검사를 위한 지능형 전수검사 시스템.
  12. 청구항 9에 있어서,
    상기 제어장치는 비전 인공지능 장치로부터 제1 결함 분류 결과를 수신하고, 상기 라이다 인공지능 장치로부터 제2 결함 분류 결과를 수신하며, 상기 제1 결함 분류 결과와 상기 제2 결함 분류 결과를 이용하여 원자재 품질 검사인 철제 금형물의 최종 결함 결과를 판정하는 철제 금형물 품질 검사를 위한 지능형 전수검사 시스템.
KR1020200177317A 2020-12-17 2020-12-17 철제 금형물 품질 검사를 위한 지능형 전수검사 시스템 KR102494890B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200177317A KR102494890B1 (ko) 2020-12-17 2020-12-17 철제 금형물 품질 검사를 위한 지능형 전수검사 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200177317A KR102494890B1 (ko) 2020-12-17 2020-12-17 철제 금형물 품질 검사를 위한 지능형 전수검사 시스템

Publications (2)

Publication Number Publication Date
KR20220087014A KR20220087014A (ko) 2022-06-24
KR102494890B1 true KR102494890B1 (ko) 2023-02-06

Family

ID=82216128

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200177317A KR102494890B1 (ko) 2020-12-17 2020-12-17 철제 금형물 품질 검사를 위한 지능형 전수검사 시스템

Country Status (1)

Country Link
KR (1) KR102494890B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6173655B1 (ja) 2016-01-07 2017-08-02 三菱電機株式会社 検出装置および検出方法
KR101840944B1 (ko) * 2016-11-09 2018-03-21 부산대학교 산학협력단 영상 분석 기반의 불량 판별 장치 및 방법
KR101995396B1 (ko) 2017-09-29 2019-09-30 주식회사 엘지씨엔에스 제품 결함 검출 방법 및 시스템
JP2020134187A (ja) * 2019-02-14 2020-08-31 ファナック株式会社 傷検査装置および方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106796721B (zh) * 2014-09-11 2021-05-04 赛博光学公司 三维轮廓测量中根据多个相机和源的点云合并
KR102108956B1 (ko) 2019-11-13 2020-05-12 주식회사 만컴퍼니 인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6173655B1 (ja) 2016-01-07 2017-08-02 三菱電機株式会社 検出装置および検出方法
KR101840944B1 (ko) * 2016-11-09 2018-03-21 부산대학교 산학협력단 영상 분석 기반의 불량 판별 장치 및 방법
KR101995396B1 (ko) 2017-09-29 2019-09-30 주식회사 엘지씨엔에스 제품 결함 검출 방법 및 시스템
JP2020134187A (ja) * 2019-02-14 2020-08-31 ファナック株式会社 傷検査装置および方法

Also Published As

Publication number Publication date
KR20220087014A (ko) 2022-06-24

Similar Documents

Publication Publication Date Title
CN111272763B (zh) 用于工件检查的系统和方法
US11536669B2 (en) Detecting machining errors of a laser machining system using deep convolutional neural networks
US10803573B2 (en) Method for automated detection of defects in cast wheel products
CN111929309B (zh) 一种基于机器视觉的铸造件外观缺陷检测方法及系统
US6075880A (en) Method for detection of defects in the inspection of structured surfaces
Senthil Kumar et al. Vision inspection system for the identification and classification of defects in MIG welding joints
CN101105459A (zh) 一种空瓶瓶口缺陷的检测方法及装置
CN109840900A (zh) 一种应用于智能制造车间的故障在线检测系统及检测方法
CN110956191B (zh) 基于概率融合的分类器、分类方法及分类系统
Stavropoulos et al. A vision-based system for real-time defect detection: a rubber compound part case study
CN109693140A (zh) 一种智能化柔性生产线及其工作方法
CN115035092A (zh) 基于图像的瓶体检测方法、装置、设备及存储介质
Banus et al. A deep-learning based solution to automatically control closure and seal of pizza packages
KR102494890B1 (ko) 철제 금형물 품질 검사를 위한 지능형 전수검사 시스템
Stelmakh et al. Features of the implementation of computer vision in the problems of automated product quality contro
CN115222705A (zh) 基于改进yolov5的化纤丝饼外观缺陷检测方法
Santos et al. Rule-based Machine Vision System on Clear Empty Glass Base Inspection of Foreign Materials for Philippine MSMEs
WO2022153743A1 (ja) 判定システム、判定方法及びプログラム
CN111183351A (zh) 图像传感器表面缺陷检测方法及检测系统
Gribanov et al. Automated method recognizing defects in wood
Reyna Automated Quality Control in Manufacturing Production Lines: A Robust Technique to Perform Product Quality Inspection
Hueter Neural networks automate inspections
Rosell et al. Machine learning-based system to automate visual inspection in aerospace engine manufacturing
KR20230058904A (ko) 라이다 기반의 공정검사장치 및 공정검사방법
KR20230122916A (ko) 3차원 형태 제품의 표면에 대한 결함을 검출하기 위한 딥 러닝 모델을 생성하기 위한 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant