KR102378186B1 - 와이어링 하네스용 인공지능 외관검사 시스템 - Google Patents

와이어링 하네스용 인공지능 외관검사 시스템 Download PDF

Info

Publication number
KR102378186B1
KR102378186B1 KR1020210144322A KR20210144322A KR102378186B1 KR 102378186 B1 KR102378186 B1 KR 102378186B1 KR 1020210144322 A KR1020210144322 A KR 1020210144322A KR 20210144322 A KR20210144322 A KR 20210144322A KR 102378186 B1 KR102378186 B1 KR 102378186B1
Authority
KR
South Korea
Prior art keywords
wiring harness
inspection
connector
harness
image
Prior art date
Application number
KR1020210144322A
Other languages
English (en)
Inventor
윤석동
박경독
Original Assignee
경림테크 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경림테크 주식회사 filed Critical 경림테크 주식회사
Priority to KR1020210144322A priority Critical patent/KR102378186B1/ko
Application granted granted Critical
Publication of KR102378186B1 publication Critical patent/KR102378186B1/ko
Priority to US17/967,700 priority patent/US20230129522A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/952—Inspecting the exterior surface of cylindrical bodies or wires
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/005—Testing of electric installations on transport means
    • G01R31/006—Testing of electric installations on transport means on road vehicles, e.g. automobiles or trucks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/50—Testing of electric apparatus, lines, cables or components for short-circuits, continuity, leakage current or incorrect line connections
    • G01R31/66—Testing of connections, e.g. of plugs or non-disconnectable joints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8858—Flaw counting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/28—Testing of electronic circuits, e.g. by signal tracer
    • G01R31/302—Contactless testing
    • G01R31/308—Contactless testing using non-ionising electromagnetic radiation, e.g. optical radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Chemical & Material Sciences (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Analytical Chemistry (AREA)
  • Combustion & Propulsion (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Image Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)

Abstract

본 발명에 따르면, 복수의 케이블을 케이블다발(11)로 결속시키는 케이블타이(12), 상기 케이블다발(11)의 각 단부에 장착되는 커넥터(13) 및 상기 케이블다발(11)의 둘레에 장착되는 볼트타이(15)를 포함하는 와이어링 하네스(10)의 외관을 검사하기 위한 와이어링 하네스용 인공지능 외관검사 시스템에 있어서, 수평배치되어 상부면에 상기 와이어링 하네스(10)가 거치될 수 있는 검사공간을 제공하는 거치플레이트(110); 상기 거치플레이트(110)의 상부 위치에 배치되어 거치된 와이어링 하네스(10)로 하향 조명광을 제공하는 상부조명등(120); 상기 거치플레이트(110)의 상부 위치에 배치되고 거치된 와이어링 하네스(10)의 전체적인 외관을 촬영한 하네스검사용 영상데이터(D1)를 생성하는 상부카메라(130); 및 객체 인식을 위한 머신러닝 중 인공신경망을 기반으로 하며 상기 하네스검사용 영상데이터(D1)를 기준으로 상기 와이어링 하네스(10)의 외관을 검사하도록 학습된 딥러닝 모델이 프로그램화되어 구축되고, 상기 상부카메라(130)로부터 생성된 하네스검사용 영상데이터(D1)가 입력되면 상기 딥러닝 모델을 이용하여 상기 케이블타이(12), 커넥터(13) 및 볼트타이(15) 중 어느 하나 이상의 외관상 불량상태를 검출하며 검출된 결과데이터를 출력하는 검사자단말(140);을 포함하는 와이어링 하네스용 인공지능 외관검사 시스템이 개시된다.

Description

와이어링 하네스용 인공지능 외관검사 시스템{ARTIFICIAL INTELLIGENCE VISION INSPECTION SYSTEM FOR WIRING HARNESS}
본 발명은 와이어링 하네스용 인공지능 외관검사 시스템에 관한 것으로, 보다 상세하게는 딥러닝 모델을 이용한 인공지능 방식으로 와이어링 하네스의 외관상 불량상태를 자동으로 판별하여 인건비를 최소화하고 검사성능을 극대화한 와이어링 하네스용 인공지능 외관검사 시스템에 관한 것이다.
일반적으로 와이어링 하네스는 다수 개의 케이블을 하나의 다발로 결속시키고 결속된 다발의 단부에 커넥터를 장착한 장치로서 전기적인 장치들이 밀집되어 있는 기기 특히 자동차의 전기적 배선에 주로 사용되고 있다. 이러한 와이어링 하네스는 다수의 케이블이 하나의 모듈을 이루고 있기 때문에 케이블 중 하나가 불량이 발생할 경우에는 불량인 케이블을 찾아내서 복구하기가 쉽지 않다. 만약 자동차에 불량한 와이어링 하네스가 장착된 경우에는 조립된 타부품들까지 함께 해체해야 하기 때문에 제조공정이 지체되고 작업효율성이 저하되는 문제가 발생할 수 있다. 따라서 와이어링 하네스는 출하후에 고장의 복구가 사실상 불가능하기 때문에 불량한 와이어링 하네스를 찾아내기 위한 출하전 검사가 까다롭게 이루어지고 있다.
그러나, 기존에는 검사자에 의한 수작업으로 출하전 검사가 이루어지기 때문에 검사시간이 길어질 뿐만 아니라 인건비가 과도하게 발생하며, 검사자의 육안으로 양불판단이 이루어지기 때문에 작업자 개인당 검출능력의 편차가 발생하고 사람의 판단에 의존한 검사의 한계로 인해 부품의 미세한 차이를 검출하지 못해 불량품이 그대로 출하되는 일이 빈번하게 발생하는 문제점이 있었다.
등록특허공보 제10-0551299호(2006.02.03), 차량용 와이어링 하네스 물리적 검증방법.
본 발명은 상술한 문제점을 해결하기 위하여 창출된 것으로, 본 발명의 목적은 거치플레이트에 와이어링 하네스를 거치하는 것만으로 불량상태 판별을 위한 외관검사가 자동적으로 이루어질 수 있어 검사시간 및 인건비를 대폭 절감할 수 있으며, 딥러닝 모델을 이용한 인공지능 방식으로 양품과 불량품을 정밀하게 선별할 수 있어 검사성능을 극대화하고 불량품의 출하를 사전에 방지할 수 있는 와이어링 하네스용 인공지능 외관검사 시스템을 제공하는 것에 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 와이어링 하네스용 인공지능 외관검사 시스템은, 복수의 케이블을 케이블다발(11)로 결속시키는 케이블타이(12), 상기 케이블다발(11)의 각 단부에 장착되는 커넥터(13) 및 상기 케이블다발(11)의 둘레에 장착되는 볼트타이(15)를 포함하는 와이어링 하네스(10)의 외관을 검사하기 위한 와이어링 하네스용 인공지능 외관검사 시스템에 있어서, 수평배치되어 상부면에 상기 와이어링 하네스(10)가 거치될 수 있는 검사공간을 제공하는 거치플레이트(110); 상기 거치플레이트(110)의 상부 위치에 배치되어 거치된 와이어링 하네스(10)로 하향 조명광을 제공하는 상부조명등(120); 상기 거치플레이트(110)의 상부 위치에 배치되고 거치된 와이어링 하네스(10)의 전체적인 외관을 촬영한 하네스검사용 영상데이터(D1)를 생성하는 상부카메라(130); 및 객체 인식을 위한 머신러닝 중 인공신경망을 기반으로 하며 상기 하네스검사용 영상데이터(D1)를 기준으로 상기 와이어링 하네스(10)의 외관을 검사하도록 학습된 딥러닝 모델이 프로그램화되어 구축되고, 상기 상부카메라(130)로부터 생성된 하네스검사용 영상데이터(D1)가 입력되면 상기 딥러닝 모델을 이용하여 상기 케이블타이(12), 커넥터(13) 및 볼트타이(15) 중 어느 하나 이상의 외관상 불량상태를 검출하며 검출된 결과데이터를 출력하는 검사자단말(140);을 포함한다.
여기서, 상기 와이어링 하네스(10)는, 해당 와이어링 하네스(10)의 하네스정보를 표시하는 라벨(16) 및, 상기 케이블다발(11)의 둘레에 감겨져 각 케이블의 결속된 상태를 지지하는 테이퍼(17)를 더 포함하고, 상기 검사자단말(140)은, 상기 케이블타이(12), 커넥터(13), 볼트타이(15), 라벨(16) 또는 테이퍼(17) 중 어느 하나 이상의 결손여부, 정위치 체결여부 및 지정색여부를 포함하는 검사항목에 대해 외관상 불량상태를 검출할 수 있다.
또한, 상기 거치플레이트(110)는 상부면에 거치된 와이어링 하네스(10)를 향해 상향 조명광을 제공하는 평판형 조명등으로 이루어질 수 있다.
또한, 상기 검사자단말(140)은, 입력된 하네스검사용 영상데이터(D1) 내에서 상기 케이블타이(12), 커넥터(13) 및 볼트타이(15)를 객체로 인식하고 인식된 객체의 부품코드 및 인식확률수치를 하네스검사용 영상데이터(D1) 상에 표시할 수 있다.
또한, 상기 거치플레이트(110)의 일측 위치에 배치되어 상기 커넥터(13)의 삽입구(14)가 측방을 향하도록 커넥터(13)를 파지하는 커넥터지그(150); 상기 커넥터지그(150)에 파지된 커넥터(13)의 삽입구(14)를 향해 측방 조명광을 제공하는 측부조명등(160); 및 파지된 커넥터(13)의 삽입구(14)를 촬영하여 삽입구(14)의 내부에 구비된 체결핀(14a)을 포함하는 커넥터검사용 영상데이터(D2)를 생성하는 측부카메라(170);를 더 포함하며, 상기 검사자단말(140)은 상기 커넥터검사용 영상데이터(D2)를 기준으로 상기 체결핀(14a)의 외관을 검사하도록 학습된 딥러닝 모델이 프로그램화되어 구축되고 상기 측부카메라(170)로부터 생성된 커넥터검사용 영상데이터(D2)가 입력되면 상기 체결핀(14a)의 외관상 불량상태를 검출하며 검출된 결과데이터를 출력할 수 있다.
또한, 상기 검사자단말(140)은, 상기 측부카메라(170)로부터 입력되는 커넥터검사용 영상데이터(D2) 내에서 상기 커넥터(13)를 관심영역으로 하는 제1ROI이미지(I1)를 추출하고, 추출된 제1ROI이미지(I1)를 이진화 처리하여 삽입구 외곽선을 추출하며, 추출된 삽입구 외곽선을 수용하는 최소공간 사각형(Q)을 생성하고 이 최소공간 사각형(Q)의 각 꼭짓점(V)의 위치를 조절하여 기울어진 형태의 삽입구 외곽선을 직사각형 또는 정사각형 형태로 변형하여 정립된 제2ROI이미지(I2)를 생성할 수 있다.
또한, 상기 검사자단말(140)은, 기저장된 체결핀의 템플릿이미지를 기준으로 상기 제2ROI이미지(I2) 내에서 상기 템플릿이미지와 매칭되는 부분만 추출한 제3ROI이미지(I3)을 생성할 수 있다.
한편. 상기 검사자단말(140)은, 정상품인 와이어링 하네스(10)로부터 획득된 판단기준용 이미지와 상기 제3ROI이미지(I3)를 비교하여 차이가 있는 부분만 설정된 색으로 표시한 검사이미지를 추출하고, 추출된 검사이미지를 이진화처리하여 객체를 검출하며 검출된 객체의 이미지를 상기 제2ROI이미지(I2)에 표시한 검사결과 데이터를 획득할 수 있다.
본 발명에 따른 와이어링 하네스용 인공지능 외관검사 시스템에 의하면,
첫째, 거치플레이트(110)는 수평배치되어 상부면에 상기 와이어링 하네스(10)가 거치될 수 있는 검사공간을 제공하고, 상부조명등(120)은 상기 거치플레이트(110)의 상부 위치에 배치되어 거치된 와이어링 하네스(10)로 하향 조명광을 제공하며, 상부카메라(130)는 상기 거치플레이트(110)의 상부 위치에 배치되고 거치된 와이어링 하네스(10)의 전체적인 외관을 촬영한 하네스검사용 영상데이터(D1)를 생성하고, 검사자단말(140)은 객체 인식을 위한 머신러닝 중 인공신경망을 기반으로 하며 상기 하네스검사용 영상데이터(D1)를 기준으로 와이어링 하네스(10)의 외관을 검사하도록 학습된 딥러닝 모델이 프로그램화되어 구축되고, 상기 상부카메라(130)로부터 생성된 하네스검사용 영상데이터(D1)가 입력되면 상기 딥러닝 모델을 이용하여 상기 케이블타이(12), 커넥터(13) 및 볼트타이(15) 중 어느 하나 이상의 외관상 불량상태를 검출하며 검출된 결과데이터를 출력하는 것과 같이, 검사자가 거치플레이트(110)에 와이어링 하네스(10)를 거치하는 것만으로 불량상태 판별을 위한 외관검사가 자동적으로 이루어질 수 있어 검사시간 및 인건비를 대폭 절감할 수 있으며, 딥러닝 모델을 이용한 인공지능 방식으로 양품과 불량품을 정밀하게 선별할 수 있어 검사성능을 극대화하여 불량품의 출하를 사전에 방지할 수 있다.
둘째, 상기 검사자단말(140)은, 상기 케이블타이(12), 커넥터(13) 및 볼트타이(15) 중 어느 하나 이상의 결손여부, 정위치 체결여부 및 지정색여부를 포함하는 검사항목에 대해 외관상 불량상태를 검출함으로써 와이어링 하네스(10)의 불량상태를 각 부품별로 구분하여 정밀하게 판별할 수 있다.
셋째, 상기 와이어링 하네스(10)는 해당 와이어링 하네스(10)의 하네스정보를 표시하는 라벨(16) 및, 상기 케이블다발(11)의 둘레에 감겨져 각 케이블의 결속된 상태를 지지하는 테이퍼(17)를 더 포함하고, 상기 검사자단말(140)은 상기 케이블타이(12), 커넥터(13), 볼트타이(15), 라벨(16) 또는 테이퍼(17) 중 어느 하나 이상의 결손여부, 정위치 체결여부 및 지정색여부를 포함하는 검사항목에 대해 외관상 불량상태를 검출함으로써 와이어링 하네스(10)의 불량상태를 각 부품별로 구분하여 정밀하게 판별할 수 있다.
넷째, 상기 거치플레이트(110)는 상부면에 거치된 와이어링 하네스(10)를 향해 상향 조명광을 제공하는 평판형 조명등으로 이루어 짐으로써, 상부조명등(120)의 하향 조명광에 의해 거치플레이트(110)의 상부면에 거치된 와이어링 하네스(10)의 그림자가 발생하여 객체인식에 오차가 발생하는 것을 미연에 방지할 수 있으며 거치된 와이어링 하네스(10)를 직하부 위치에서 조명할 수 있다.
다섯째, 상기 검사자단말(140)은, 입력된 하네스검사용 영상데이터(D1) 내에서 상기 케이블타이(12), 커넥터(13) 및 볼트타이(15)를 객체로 인식하고 인식된 객체의 부품코드 및 인식확률수치를 하네스검사용 영상데이터(D1) 상에 표시함으로써 객체의 인식상태를 검사자가 직관적으로 인지할 수 있다.
여섯째, 커넥터지그(150)는 상기 거치플레이트(110)의 일측 위치에 배치되어 상기 커넥터(13)의 삽입구(14)가 측방을 향하도록 커넥터(13)를 파지하고, 측부조명등(160)은 커넥터지그(150)에 파지된 커넥터(13)의 삽입구(14)를 향해 측방 조명광을 제공하며, 측부카메라(170)는 파지된 커넥터(13)의 삽입구(14)를 촬영하여 삽입구(14)의 내부에 구비된 체결핀(14a)을 포함하는 커넥터검사용 영상데이터(D2)를 생성하고, 상기 검사자단말(140)은 상기 커넥터검사용 영상데이터(D2)를 기준으로 상기 체결핀(14a)의 외관을 검사하도록 학습된 딥러닝 모델이 프로그램화되어 구축되고 상기 측부카메라(170)로부터 생성된 커넥터검사용 영상데이터(D2)가 입력되면 상기 체결핀(14a)의 외관상 불량상태를 검출하며 검출된 결과데이터를 출력함으로써, 상부카메라(130)로 획득하기가 제한되는 체결핀(14a)이 포함된 영상데이터를 획득가능하며 불량발생율이 높은 커넥터(13)의 체결핀(14a) 부분을 집중적으로 검사할 수 있는 장점이 있다.
일곱째, 상기 검사자단말(140)은, 상기 측부카메라(170)로부터 입력되는 커넥터검사용 영상데이터(D2) 내에서 상기 커넥터(13)를 관심영역으로 하는 제1ROI이미지(I1)를 추출하고, 추출된 제1ROI이미지(I1)를 이진화 처리하여 삽입구 외곽선을 추출하며, 추출된 삽입구 외곽선을 수용하는 최소공간 사각형(Q)을 생성하고 이 최소공간 사각형(Q)의 각 꼭짓점(V)의 위치를 조절하여 기울어진 형태의 삽입구 외곽선을 직사각형 또는 정사각형 형태로 변형하여 정립된 제2ROI이미지(I2)를 생성함으로써, 각 와이어링 하네스(10)별로 거치플레이트(110)에 서로 다른 형태 즉, 비정형 형태로 거치되어 기울어진 형태로 삽입구(14)가 촬영되더라도 이를 보완하여 일률적인 형태로 삽입구(14)에 대한 영상데이터를 확보할 수 있다.
여덟째, 상기 검사자단말(140)은, 기저장된 체결핀의 템플릿이미지를 기준으로 상기 제2ROI이미지(I2) 내에서 상기 템플릿이미지와 매칭되는 부분만 추출한 제3ROI이미지(I3)을 생성함으로써, 영상분석을 위한 분석영역을 최소화하여 분석부하를 최소화할 수 있으며 각 제2ROI이미지(I2)마다 스케일이 상이하더라도 검사영역을 일치시켜 검사성능을 극대화할 수 있다.
아홉째, 상기 검사자단말(140)은, 정상품인 와이어링 하네스(10)로부터 획득된 판단기준용 이미지와 상기 제3ROI이미지(I3)를 비교하여 차이가 있는 부분만 설정된 색으로 표시한 검사이미지를 추출하고, 추출된 검사이미지를 이진화처리하여 객체를 검출하며 검출된 객체의 이미지를 상기 제2ROI이미지(I2)에 표시한 검사결과 데이터를 획득함으로써, 체결핀(14a)의 누락이나 변형 등 불량이 있는 부위를 직관적으로 인식할 수 있다.
도 1은 일반적인 와이어링 하네스의 구성을 촬영한 도면,
도 2는 본 발명의 바람직한 실시예에 따른 와이어링 하네스용 인공지능 외관검사 시스템의 구성을 나타낸 개략도,
도 3은 본 발명의 바람직한 실시예에 따른 와이어링 하네스용 인공지능 외관검사 시스템이 설치된 상태를 촬영한 도면,
도 4는 본 발명의 바람직한 실시예에 따른 상부카메라를 통해 촬영된 하네스검사용 영상데이터를 나타낸 도면,
도 5는 본 발명의 바람직한 실시예에 따른 하네스검사용 영상데이터에 영상분석된 결과데이터가 표시된 상태를 나타낸 도면,
도 6은 본 발명의 바람직한 실시예에 따른 검사자단말의 디스플레이에 영상데이터 및 결과데이터가 표시된 상태를 나타낸 화면예시도,
도 7은 본 발명의 바람직한 실시예에 따른 딥러닝 모델을 설명하기 위한 개략도,
도 8은 본 발명의 바람직한 실시예에 따른 딥러닝 모델을 학습하는데 이용되는 영상데이터를 나타낸 도면,
도 9는 본 발명의 바람직한 실시예에 따른 측부조명등 및 측부카메라를 이용하여 와이어링 하네스의 커넥터 부분을 집중적으로 검사하는 구성을 촬영한 도면,
도 10은 본 발명의 바람직한 실시예에 따른 와이어링 하네스의 커넥터를 나타낸 도면,
도 11은 본 발명의 바람직한 실시예에 따른 측부카메라를 통해 촬영된 커넥터검사용 영상데이터를 나타낸 도면,
도 12는 본 발명의 바람직한 실시예에 따른 제1ROI이미지를 나타낸 도면,
도 13은 본 발명의 바람직한 실시예에 따른 제1ROI이미지가 이진화 처리된 상태를 나타낸 도면,
도 14는 본 발명의 바람직한 실시예에 따른 제1ROI이미지에 최소공간 사각형이 표시된 상태를 나타낸 도면,
도 15는 본 발명의 바람직한 실시예에 따른 최소공간 사각형을 정립하는 동작원리를 나타낸 도면,
도 16은 본 발명의 바람직한 실시예에 따른 제2ROI이미지를 나타낸 도면,
도 17 및 도 18은 본 발명의 바람직한 실시예에 따른 제2ROI이미지로부터 제3ROI이미지를 추출하는 동작원리를 설명하기 위한 도면,
도 19는 본 발명의 바람직한 실시예에 따른 제3ROI이미지를 나타낸 도면,
도 20은 본 발명의 바람직한 실시예에 따른 제2ROI이미지에 검사결과 데이터를 표시한 상태를 나타낸 도면이다.
이하 첨부된 도면을 참조하면서 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
본 발명의 바람직한 실시예에 따른 와이어링 하네스용 인공지능 외관검사 시스템은 도 1에 도시된 바와 같이 복수의 케이블을 케이블다발(11)로 결속시키는 케이블타이(12), 상기 케이블다발(11)의 각 단부에 장착되는 커넥터(13) 및 상기 케이블다발(11)의 둘레에 장착되는 볼트타이(15)를 포함하는 와이어링 하네스(10)의 외관을 검사하기 위한 검사시스템으로서, 도 2 및 도 3에 도시된 바와 같이 거치플레이트(110), 상부조명등(120), 상부카메라(130) 및 검사자단말(140)을 포함한다.
먼저, 상기 거치플레이트(110)는 수평배치되어 상부면에 검사대상인 와이어링 하네스(10)가 거치될 수 있는 공간을 제공한다. 여기서, 다양한 규격을 갖는 와이어링 하네스(10)를 검사할 수 있도록 최대 규격을 갖는 와이어링 하네스(10)가 펼쳐진 상태로 거치될 수 있는 면적을 갖도록 구비되는 것이 바람직하다. 또한, 도시되지 않았으나 상기 거치플레이트(110)에는 거치된 와이어링 하네스(10)의 펼쳐진 상태를 지지하기 위한 고정수단이 구비될 수도 있다.
더불어, 상기 거치플레이트(110)는 상부면에 거치된 와이어링 하네스(10)를 향해 상향 조명광을 제공하는 평판형 조명등으로 이루어 짐으로써, 상부조명등(120)의 하향 조명광에 의해 거치플레이트(110)에 거치된 와이어링 하네스(10)의 하부에 그림자가 발생하여 객체인식에 오차가 발생하는 것을 미연에 방지할 수 있으며 거치된 와이어링 하네스(10)를 직하부 위치에서 조명할 수 있다..
그리고, 상기 거치플레이트(110) 상에서 와이어링 하네스(10)가 거치되는 수평판은 내부의 광원으로부터 발산된 상향 조명광이 와이어링 하네스(10)의 저면을 조명할 수 있도록 광투과성 재질로 이루어지는 것이 바람직하다.
상기 상부조명등(120)은 거치플레이트(110)의 상부 위치에 배치되어 거치된 와이어링 하네스(10)를 향해 하향 조명광을 제공하며, 상기 상부카메라(130)는 와이어링 하네스(10)의 평면사진을 촬영하기 위한 수단으로서 거치플레이트(110)의 상부 위치에 배치되어 촬영동작하면서 도 4에 도시된 바와 같이 거치된 와이어링 하네스(10)의 전체적인 외관을 촬영한 하네스검사용 영상데이터(D1)를 생성한다.
여기서, 도 2에 도시된 바와 같이 두 개의 상부조명등(120)이 상호 이격배치되고 상기 상부카메라(130)는 각 상부조명등(120) 사이에 배치되어 전체적으로 광도가 균일한 상태에서 촬영이 이루어질 수 있다. 또한, 상기 상부카메라(130)에서 촬영된 영상데이터는 영상분석을 위해 검사자단말(140)로 전송되는데 도면에서와 같이 상부카메라(130)와 검사자단말(140) 사이에는 프레임 그래버(Frame Grabber)와 같은 이미지보드(131)가 구비되어 상부카메라(130)로부터 전송되는 아날로그 영상신호를 샘플당 정의된 비트로 디지털화하여 검사자단말(140)로 전달한다.
더불어, 상부조명등(120) 및 상부카메라(130)는 도 3에 도시된 바와 같이 외부전원(상용전원)을 공급받아 구동전원의 형태로 변환하여 공급하는 전원공급모듈(180)과 전기적으로 연결되어 공급되는 구동전원으로 구동될 수 있으며, 상기 전원공급모듈(180)은 상부조명등(120) 및 상부카메라(130) 이외에 후술되는 측부조명등(160) 및 측부카메라(170)에도 구동전원을 동시에 공급할 수도 있다.
상기 검사자단말(140)은 상부카메라(130)에서 촬영된 하네스검사용 영상데이터(D1)를 영상분석하여 거치플레이트(110)에 거치된 와이어링 하네스(10)의 외관을 검사하는 장치로서, 객체 인식을 위한 머신러닝 중 인공신경망을 기반으로 하며 상기 하네스검사용 영상데이터(D1)를 기준으로 와이어링 하네스(10)의 외관을 검사하도록 학습된 딥러닝 모델이 프로그램화되어 구축되고, 상기 상부카메라(130)로부터 생성된 하네스검사용 영상데이터(D1)가 입력되면 상기 딥러닝 모델을 이용하여 상기 케이블타이(12), 커넥터(13) 및 볼트타이(15) 중 어느 하나 이상의 외관상 불량상태를 검출하며 도 5에 도시된 바와 같이 검출된 결과데이터를 출력한다.
여기서, 상기 검사자단말(140)은, 상기 케이블타이(12) 및 볼트타이(15)의 결손여부, 정위치 체결여부 및 지정색여부를 포함하는 검사항목에 대해 외관상 불량상태를 검출함으로써, 와이어링 하네스(10)의 불량상태를 각 부품별로 구분하여 판별할 수 있다.
또한, 도 1에 도시된 바와 같이 상기 와이어링 하네스(10)는 해당 와이어링 하네스(10)의 하네스정보를 표시하는 라벨(16) 및, 상기 케이블다발(11)의 둘레에 감겨져 각 케이블의 결속된 상태를 지지하는 테이퍼(17)를 더 포함할 수 있으며, 이에 상기 검사자단말(140)은 케이블타이(12), 커넥터(13), 볼트타이(15), 라벨(16) 또는 테이퍼(17) 중 하나 이상의 결손여부, 정위치 체결여부 및 지정색여부를 포함하는 검사항목에 대한 외관상 불량상태를 각 부품별로 구분하여 정밀하게 검출할 수 있다. 더불어, 와이어링 하네스(10)의 규격이나 종류에 따라 형상변형 여부 및 정치수 여부 등 다양한 검사항목이 추가될 수 있다.
그리고, 상기 검사자단말(140)은, 입력된 하네스검사용 영상데이터(D1) 내에서 상기 케이블타이(12), 커넥터(13) 및 볼트타이(15)를 객체로 인식하고 도 5 및 도 6에 도시된 바와 같이 인식된 객체의 부품코드 및 인식확률수치를 하네스검사용 영상데이터(D1) 상에 표시함으로써 객체의 인식상태를 검사자가 직관적으로 인지할 수 있다.
여기서, 도 7에는 딥러닝 모델을 통한 학습방식을 설명하기 위한 개략도가 도시되어 있다. 도면을 참고하면 머신러닝의 일종인 딥러닝 기술은 데이터를 기반으로 다단계로 깊은 수준까지 내려가 학습하는 것이다. 딥러닝은 단계를 높여갈수록 도 8과 같은 복수의 데이터들로부터 핵심적인 데이터를 추출하는 머신러닝 알고리즘의 집합을 나타낼 수 있다. 도면에서와 같이 인공신경망은 입력레이어(Input Layer), 히든레이어(Hidden Layer) 및 출력레이어(Output Layer)를 포함한다. 각 레이어는 복수의 노드들을 포함하고 각 레이어는 다음 레이어와 연결되며 인접한 레이어 사이의 노드들은 웨이트(Weight)를 가지고 서로 연결될 수 있다.
상기 검사자단말(140)은 투입된 입력데이터 즉, 정상품인 와이어링 하네스의 영상데이터로부터 일정한 패턴을 발견해 특징맵(Feature Map)을 형성한다. 검사자단말(140)은 하위레벨 특징부터, 중간레벨 특징, 상위레벨 특징까지 추출하여, 대상을 인식하고 그 결과를 출력할 수 있다. 인공신경망은 다음 순서의 레이어로 갈수록 더욱 상위레벨의 특징으로 추상화할 수 있다.
또한, 각 노드들은 활성화 모델에 기초하여 동작할 수 있고 활성화 모델에 따라 입력값에 대응하는 출력값이 결정될 수 있다. 임의의 노드, 예를 들어, 하위레벨 특징의 출력값은 해당 노드와 연결된 다음 레이어, 예를 들어, 중간레벨 특징의 노드로 입력될 수 있다. 다음 레이어의 노드, 예를 들어, 중간레벨 특징의 노드는 하위레벨 특징의 복수의 노드로부터 출력되는 값들을 입력받을 수 있다. 이때, 각 노드의 입력값은 이전 레이어의 노드의 출력값에 웨이트(weight)가 적용된 값일 수 있다. 웨이트(weight)는 노드간의 연결 강도를 의미할 수 있다. 다중신경망은 각 레벨에 대응하는 학습된 레이어(layer)를 이용하여, 각 레벨에 대응하는 특징 정보를 추출할 수 있으며 순차적으로 추상화하여 가장 상위 레벨의 특징 정보를 활용하여 소정 대상을 인식할 수 있다
한편, 상기 검사자단말(140)은 영상데이터 상에서 각 구성품(11,12,13,15)들을 객체로 감지하기 위해 Deteron2 모델을 이용할 수 있다.
[참고 1] : Detectron2 모델 예시
Figure 112021123286683-pat00001
상기 [참고 1]을 참고하면 Detectron2 모델은 최첨단 객체 감지 알고리즘을 구현하는 FAIR(Facebook Artificial Intelligence Research)의 Pytorch 기반 차세대 소프트웨어 시스템이다. 이전 버전인 Detectron1 모델을 기초적으로 다시 쓴 것이며 Maskrcnn-benchmark에서 유래되었다. Detectron2 모델에는 DensePose 및 FAIR(Facebook AI Research)에서 개발한 Mask R-CNN 모델의 알고리즘이 포함되어 있다. Detectron2 모델은 크게 Object Detection, Semantic Segmentation, Instance Segmentation, Panoptic Segmentation 및, Keypoint Detection을 수행한다.
[참고 2] :Semantic Segmentation, Instance Segmentation 예시
Figure 112021123286683-pat00002
여기서, 상기 Object Detection은 이미지 내에서 객체(Object)를 탐지하는 기술이고, 상기 Semantic Segmentation은 Object Segmentation을 한 뒤, 같은 class인 Object들은 같은 영역 혹은 색으로 분할하는 기술이며, 상기 Instance Segmantation은 Object Segmentation을 한 뒤, 같은 Class(Label)이여도 서로 다른 Instance로 구분해주는 기술이고, 상기 Panoptic Segmantation은 Semantic Segmentation(각 픽셀에 클래스 레이블을 할당)과 Instance Segmantation(각 객체 인스턴스 감지 및 분할)의 고유한 작업을 통합한 기술이며, 상기 Keypoint Detection 동시에 사람과 Keypoint 요소를 감지하는 기술이다. 본 발명에서는 Detectron2 모델의 Instance Segmentation을 활용하여 진행하는 것을 예시하여 설명한다.
또한, 상기 검사자단말(140)은 영상데이터 상에서 각 구성품(11,12,13,15)들을 객체로 감지하기 위해 Mask R-CNN 모델을 이용할 수도 있다.
[참고 3] : Mask R-CNN 구조
Figure 112021123286683-pat00003
상기 Mask R-CNN은 Faster R-CNN에서 확장된 개념으로써 Instance segmetation의 작업에서의 정확도를 높이기 위해서 제안된 모델이다. Instance segmentation은 이미지 내의 객체와 위치를 찾는 Object Detection, 정해진 카테고리별로 모든 Pixel을 분류하는 Semantic Segmentation의 작업을 동시에 수행하는 것이다. Mask R-CNN은 Faster R-CNN을 기반으로 발전된 모델로서 차이점은 크게 2가지이다.
[참고 4] : Mask R-CNN과 Fast/er R-CNN의 차이
Figure 112021123286683-pat00004
첫 번째 차이점은 각 픽셀이 목표 개체인지 아닌지를 예측하는 Mask Branch를 Box Branch에 병렬로 추가하여 각 RoI에 대한 Binary Mask를 예측한다는 것이다. Mask Branch는 작은 FCN(Fully Convolutional Networks)으로 구성되어 픽셀 단위로 예측하게 된다.
[참고 5] : Mask R-CNN과 Fast/er R-CNN
Figure 112021123286683-pat00005
두 번째로, 기존의 방식은 Object Detection을 위한 모델이기에 정확한 위치 정보를 담는 것이 중요하지 않아 RoI Pooling 방식 사용했지만 이를 보완하기 위해 각 RoI(Region of Interest)의 Feature Extraction(특징 추출)에 RoIAlign을 사용한다는 것이다. RoI(Region of Interest)영역에 해당하는 부분만 Feature Map으로부터 저차원 벡터로 Max-pooling을 통해 축소하는 단계를 의미한다.
[참고 6] : Max-pooling 예시
Figure 112021123286683-pat00006
Max-pooling : Activation Map을 MxN의 크기로 잘라낸 후, 그 안에서 가장 큰 값을 뽑아내는 방법이다. 이러한 RoIPool은 각 좌표의 값을 반올림한 뒤에 pooling을 수행하기 때문에, 인접 Pixel 공간 정보를 훼손시키며, 원본 이미지의 위치 정보가 왜곡되어 Segmentation 작업 시 성능에 크게 영향을 준다.
[참고 7] : RoIAlign
Figure 112021123286683-pat00007
[참고 7]에서 실선은 ROI이며, 점선은 Feature Map을 의미한다. ROI가 정확히 칸에 맞추어 있지 않아 이에 대한 Bilinear Interpolation(이중선형보간법)을 이용하여 위치문제를 해결할 수 있다. RoIAlign으로 목표 영역을 찾아내어 특정 위치의 영역이 정확하게 무엇을 나타내는지 파악할 수 있다.
[참고 8] : Bilinear interpolation(이중선형보간법) 예시
Figure 112021123286683-pat00008
상기 Bilinear interpolation(양선형 보간법) : 원본에서 인접한 네 개의 픽셀 값을 이용하여 실수 좌표 상의 픽셀 값을 계산하는 방법이다.
[참고 9] : RoIPool와 RoIAlign의 성능 차이
Figure 112021123286683-pat00009
AP는 Average Precision로 알고리즘의 성능을 파악할 때 사용하는 지표이다. [참고 9]을 보면 RoIPool보다 RoIAlign의 성능이 월등히 높은 것을 알 수 있다.
한편, 상기 검사자단말(140)은 Annotation 도구로 VGG Image Annotator(VIA)를 이용할 수 있다. VGG Image Annotator는 이미지, 오디오 및 비디오를 위한 간단한 주석 소프트웨어이다. VIA는 웹 브라우저에서 실행되며 설치 또는 설정이 필요하지 않다. 전체 VIA 소프트웨어는 크기가 400킬로바이트 미만인 HTML 페이지에 제공된다.
[참고 10] : 사용예시
Figure 112021123286683-pat00010
상술한 바와 같은 거치플레이트(110), 상부조명등(120), 상부카메라(130) 및 검사자단말(140)의 조합된 구성을 통해, 검사자가 거치플레이트(110)에 와이어링 하네스(10)를 거치하는 것만으로 불량상태 판별을 위한 외관검사가 자동적으로 이루어질 수 있어 검사시간 및 인건비를 대폭 절감할 수 있으며, 딥러닝 모델을 이용한 인공지능 방식으로 양품과 불량품을 정밀하게 선별할 수 있어 검사성능을 극대화하여 불량품의 출하를 사전에 방지할 수 있다.
한편, 본 발명의 바람직한 실시예에 따른 와이어링 하네스용 인공지능 외관검사 시스템에서는 와이어링 하네스(10)에 포함된 커넥터(13) 중 내부의 체결핀(14a)의 불량이 빈번한 일부 커넥터(13)를 대상으로 체결핀(14a)의 결손여부나 휨변형여부 등 상기 커넥터검사용 영상데이터(D2)로는 검사하기가 제한되는 커넥터(13)로 인한 외관검사를 수행할 수 있다. 이를 위해, 도 9에 도시된 바와 같이 커넥터지그(150), 측부조명등(160) 및 측부카메라(170)를 더 포함할 수 있다.
상기 커넥터지그(150)는 거치플레이트(110)의 일측 위치에 배치되어 검사대상인 커넥터(13)의 삽입구(14)가 측방을 향하도록 커넥터(13)를 파지하고, 상기 측부조명등(160)은 커넥터지그(150)에 파지된 커넥터(13)의 삽입구(14)를 향해 측방 조명광을 제공하며, 상기 측부카메라(170)는 커넥터(13)에 구비된 체결핀(14a)의 휘어짐(+- 3도 정도 기울어짐/휨)을 검출하는데 필요한 영상을 획득하는 수단으로서, 도 10에 도시된 바와 같이 파지된 커넥터(13)의 삽입구(14)를 촬영하여 도 11에 도시된 바와 같이 삽입구(14)의 내부에 구비된 체결핀(14a)을 포함하는 커넥터검사용 영상데이터(D2)를 생성한다.
여기서, 상기 측부조명등(160)은 도 9에서와 같이 커넥터지그(150)에 고정되는 커넥터(13)와 측방으로 대향하는 위치에 통공이 개구된 링형상으로 이루어지고 이 통공에 측부카메라(170)의 렌즈(171)가 배치되도록 장착되어 커넥터(13)를 정면에서 촬영할 수 있고 커넥터(13)의 삽입구(14)를 향해 전체적으로 균일한 조명광을 제공할 수 있다.
또한, 상기 검사자단말(140)은 상기 커넥터검사용 영상데이터(D2)를 기준으로 상기 삽입구(14)의 외관을 검사하도록 학습된 딥러닝 모델이 프로그램화되어 구축되고 상기 측부카메라(170)로부터 생성된 커넥터검사용 영상데이터(D2)가 입력되면 상기 삽입구(14)의 외관상 불량상태를 검출하며 검출된 결과데이터를 출력한다.
따라서, 상부카메라(130)로 획득하기가 제한되는 삽입구(14)의 영상데이터를 획득가능하며 불량발생율이 높은 커넥터(13)의 체결핀(14a) 부분을 집중적으로 검사할 수 있는 장점이 있다.
더불어, 상기 검사자단말(140)은, 도 11 및 도 12에 도시된 바와 같이 상기 측부카메라(170)로부터 입력되는 커넥터검사용 영상데이터(D2) 내에서 상기 커넥터(13)를 관심영역으로 하는 제1ROI이미지(I1)를 추출하고, 도 13에 도시된 바와 같이 추출된 제1ROI이미지(I1)를 이진화 처리하여 삽입구 외곽선을 추출하며, 도 14에 도시된 바와 같이 추출된 삽입구 외곽선을 수용하는 최소공간 사각형(Q)을 생성하고 도 15와 같이 이 최소공간 사각형(Q)의 각 꼭짓점(V)의 위치를 조절하여 기울어진 형태의 삽입구 외곽선을 직사각형 또는 정사각형 형태로 변형하여 도 16에 도시된 바와 같이 기울어진 상태가 정립된 제2ROI이미지(I2)를 생성한다. 따라서, 각 와이어링 하네스(10)별로 거치플레이트(110)에 서로 다른 형태 즉, 비정형 형태로 거치되어 기울어진 형태로 삽입구(14)가 촬영되더라도 이를 보완하여 일률적인 형태로 삽입구(14)에 대한 영상데이터를 확보할 수 있다. 상기 제1ROI이미지(I1)를 이진화 처리하는 공정을 통해 커넥터(13)의 외곽선을 보다 정밀하게 검출할 수 있다.
그리고, 도 17 내지 도 19에 도시된 바와 같이 상기 검사자단말(140)은 기저장된 체결핀의 템플릿이미지를 기준으로 상기 제2ROI이미지(I2) 내에서 상기 템플릿이미지와 매칭되는 부분만 추출한 제3ROI이미지(I3)을 생성함으로써, 각 제2ROI이미지(I2)마다 스케일이 상이하더라도 검사영역의 형태 및 크기를 일치시켜 검사성능을 극대화할 수 있다. 상기 제1ROI이미지(I1)와 제3ROI이미지(I3)을 통해 불필요한 연산부하를 감소시켜 영상분석 시간을 대폭 절감할 수 있다. 상기 제3ROI이미지(I3)는 삽입구(14) 내부에 구비된 전체 체결핀(14a)이 포함된 영역으로 설정될 수도 있고, 전체 체결핀(14a) 중 불량이 빈번한 일부 체결핀(14a)만이 포함된 영역으로 한정되게 설정될 수도 있다.
또한, 상기 검사자단말(140)은, 정상품인 와이어링 하네스(10)로부터 획득된 판단기준용 이미지와 상기 제3ROI이미지(I3)를 비교하여 차이가 있는 부분만 설정된 색으로 표시한 검사이미지를 추출하고, 추출된 검사이미지를 이진화처리하여 객체를 검출하며 도 20에 도시된 바와 같이 검출된 객체의 이미지를 상기 제2ROI이미지(I2)에 표시한 검사결과 데이터를 획득함으로써 체결핀(14a)의 누락이나 변형 등 불량이 있는 부위를 직관적으로 인식할 수 있다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 아래에 기재될 청구범위의 균등 범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
10...와이어링 하네스 11...케이블다발
12...케이블타이 13...커넥터
15...볼트타이 110...거치플레이트
120...상부조명등 130...상부카메라
140...검사자단말 150...커넥터지그
160...측부조명등 170...측부카메라
180...전원공급모듈

Claims (8)

  1. 복수의 케이블을 케이블다발(11)로 결속시키는 케이블타이(12), 상기 케이블다발(11)의 각 단부에 장착되는 커넥터(13) 및 상기 케이블다발(11)의 둘레에 장착되는 볼트타이(15)를 포함하는 와이어링 하네스(10)의 외관을 검사하기 위한 와이어링 하네스용 인공지능 외관검사 시스템에 있어서,
    수평배치되어 상부면에 상기 와이어링 하네스(10)가 거치될 수 있는 검사공간을 제공하는 거치플레이트(110);
    상기 거치플레이트(110)의 상부 위치에 배치되어 거치된 와이어링 하네스(10)로 하향 조명광을 제공하는 상부조명등(120);
    상기 거치플레이트(110)의 상부 위치에 배치되고 거치된 와이어링 하네스(10)의 전체적인 외관을 촬영한 하네스검사용 영상데이터(D1)를 생성하는 상부카메라(130); 및
    객체 인식을 위한 머신러닝 중 인공신경망을 기반으로 하며 상기 하네스검사용 영상데이터(D1)를 기준으로 상기 와이어링 하네스(10)의 외관을 검사하도록 학습된 딥러닝 모델이 프로그램화되어 구축되고, 상기 상부카메라(130)로부터 생성된 하네스검사용 영상데이터(D1)가 입력되면 상기 딥러닝 모델을 이용하여 상기 케이블타이(12), 커넥터(13) 및 볼트타이(15) 중 어느 하나 이상의 외관상 불량상태를 검출하며 검출된 결과데이터를 출력하는 검사자단말(140);을 포함하고,
    상기 거치플레이트(110)의 일측 위치에 배치되어 상기 커넥터(13)의 삽입구(14)가 측방을 향하도록 커넥터(13)를 파지하는 커넥터지그(150);
    상기 커넥터지그(150)에 파지된 커넥터(13)의 삽입구(14)를 향해 측방 조명광을 제공하는 측부조명등(160); 및
    파지된 커넥터(13)의 삽입구(14)를 촬영하여 삽입구(14)의 내부에 구비된 체결핀(14a)을 포함하는 커넥터검사용 영상데이터(D2)를 생성하는 측부카메라(170);를 더 포함하며,
    상기 검사자단말(140)은 상기 커넥터검사용 영상데이터(D2)를 기준으로 상기 체결핀(14a)의 외관을 검사하도록 학습된 딥러닝 모델이 프로그램화되어 구축되고 상기 측부카메라(170)로부터 생성된 커넥터검사용 영상데이터(D2)가 입력되면 상기 체결핀(14a)의 외관상 불량상태를 검출하며 검출된 결과데이터를 출력하고,
    상기 검사자단말(140)은,
    상기 측부카메라(170)로부터 입력되는 커넥터검사용 영상데이터(D2) 내에서 상기 커넥터(13)를 관심영역으로 하는 제1ROI이미지(I1)를 추출하고,
    추출된 제1ROI이미지(I1)를 이진화 처리하여 삽입구 외곽선을 추출하며, 추출된 삽입구 외곽선을 수용하는 최소공간 사각형(Q)을 생성하고 이 최소공간 사각형(Q)의 각 꼭짓점(V)의 위치를 조절하여 기울어진 형태의 삽입구 외곽선을 직사각형 또는 정사각형 형태로 변형하여 정립된 제2ROI이미지(I2)를 생성하는 것을 특징으로 하는 와이어링 하네스용 인공지능 외관검사 시스템.
  2. 청구항 1에 있어서,
    상기 와이어링 하네스(10)는, 해당 와이어링 하네스(10)의 하네스정보를 표시하는 라벨(16) 및, 상기 케이블다발(11)의 둘레에 감겨져 각 케이블의 결속된 상태를 지지하는 테이퍼(17)를 더 포함하고,
    상기 검사자단말(140)은, 상기 케이블타이(12), 커넥터(13), 볼트타이(15), 라벨(16) 또는 테이퍼(17) 중 어느 하나 이상의 결손여부, 정위치 체결여부 및 지정색여부를 포함하는 검사항목에 대해 외관상 불량상태를 검출하는 것을 특징으로 하는 와이어링 하네스용 인공지능 외관검사 시스템.
  3. 청구항 1에 있어서,
    상기 거치플레이트(110)는 상부면에 거치된 와이어링 하네스(10)를 향해 상향 조명광을 제공하는 평판형 조명등으로 이루어진 것을 특징으로 하는 와이어링 하네스용 인공지능 외관검사 시스템.
  4. 청구항 1에 있어서,
    상기 검사자단말(140)은,
    입력된 하네스검사용 영상데이터(D1) 내에서 상기 케이블타이(12), 커넥터(13) 및 볼트타이(15)를 객체로 인식하고 인식된 객체의 부품코드 및 인식확률수치를 하네스검사용 영상데이터(D1) 상에 표시하는 것을 특징으로 하는 와이어링 하네스용 인공지능 외관검사 시스템.
  5. 삭제
  6. 삭제
  7. 청구항 1에 있어서,
    상기 검사자단말(140)은,
    기저장된 체결핀의 템플릿이미지를 기준으로 상기 제2ROI이미지(I2) 내에서 상기 템플릿이미지와 매칭되는 부분만 추출한 제3ROI이미지(I3)을 생성하는 것을 특징으로 하는 와이어링 하네스용 인공지능 외관검사 시스템.
  8. 청구항 7에 있어서,
    상기 검사자단말(140)은,
    정상품인 와이어링 하네스(10)로부터 획득된 판단기준용 이미지와 상기 제3ROI이미지(I3)를 비교하여 차이가 있는 부분만 설정된 색으로 표시한 검사이미지를 추출하고, 추출된 검사이미지를 이진화처리하여 객체를 검출하며 검출된 객체의 이미지를 상기 제2ROI이미지(I2)에 표시한 검사결과 데이터를 획득하는 것을 특징으로 하는 와이어링 하네스용 인공지능 외관검사 시스템.
KR1020210144322A 2021-10-27 2021-10-27 와이어링 하네스용 인공지능 외관검사 시스템 KR102378186B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210144322A KR102378186B1 (ko) 2021-10-27 2021-10-27 와이어링 하네스용 인공지능 외관검사 시스템
US17/967,700 US20230129522A1 (en) 2021-10-27 2022-10-17 Artificial intelligence vision inspection system for wiring harness

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210144322A KR102378186B1 (ko) 2021-10-27 2021-10-27 와이어링 하네스용 인공지능 외관검사 시스템

Publications (1)

Publication Number Publication Date
KR102378186B1 true KR102378186B1 (ko) 2022-03-25

Family

ID=80935255

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210144322A KR102378186B1 (ko) 2021-10-27 2021-10-27 와이어링 하네스용 인공지능 외관검사 시스템

Country Status (2)

Country Link
US (1) US20230129522A1 (ko)
KR (1) KR102378186B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102502738B1 (ko) * 2022-10-20 2023-02-23 주식회사 오토콘시스템 콘크리트 파일 몰드의 조립 해체 자동화 시스템
KR102567131B1 (ko) 2023-03-06 2023-08-16 경림테크 주식회사 와이어하네스용 밴드케이블 자동 멀티체결장치
EP4279937A3 (de) * 2022-05-16 2023-12-06 LEONI Bordnetz-Systeme GmbH Vorrichtung zur prüfung und/oder montage eines kabelsatzes, verfahren zur wartung einer solchen vorrichtung, roboter und computerprogramm
EP4361554A1 (en) * 2022-10-24 2024-05-01 Emdep 2, S.L. Automotive wiring inspection method

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230186689A1 (en) * 2021-12-14 2023-06-15 GM Global Technology Operations LLC Methods and mechanisms for crowd health monitoring charging port functionality
CN116721096B (zh) * 2023-08-08 2023-11-14 东莞市南谷第电子有限公司 基于人工智能的新能源线束质量在线检测方法
CN117330572B (zh) * 2023-10-09 2024-05-14 鹤壁天海环球电器有限公司 一种线束用智能化电测台
CN117664982B (zh) * 2023-11-30 2024-07-26 德维嘉汽车电子系统(无锡)有限公司 线束末端的飞丝和同心度ccd光学检测系统
CN118097092B (zh) * 2024-04-29 2024-07-30 西北工业大学 一种电连接器微型插针压接质量智能检查方法、装置与系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002014133A (ja) * 2000-06-29 2002-01-18 Yazaki Corp 多品番切替装置
KR100551299B1 (ko) 2003-10-24 2006-02-10 현대자동차주식회사 차량용 와이어링 하네스 물리적 검증방법
KR101645133B1 (ko) * 2015-05-04 2016-08-12 이용호 하네스 비전검사용 지그 및 이를 이용한 비전검사장치, 비전검사방법 및 비전검사시스템
KR101665644B1 (ko) * 2015-06-16 2016-10-12 조상철 차량용 와이어링 하네스 커넥터 단자 검사 시스템 및 방법
JP2016223869A (ja) * 2015-05-29 2016-12-28 住友電装株式会社 ワイヤーハーネスの検査方法及びワイヤーハーネス検査装置
CN107505326A (zh) * 2017-09-29 2017-12-22 天津思博科科技发展有限公司 基于人工智能及机器视觉的汽车线束检测装置
KR101884557B1 (ko) * 2017-02-08 2018-08-01 인제대학교 산학협력단 머신 비전을 활용한 와이어 하네스 케이블의 터미널 크림핑 검사 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002014133A (ja) * 2000-06-29 2002-01-18 Yazaki Corp 多品番切替装置
KR100551299B1 (ko) 2003-10-24 2006-02-10 현대자동차주식회사 차량용 와이어링 하네스 물리적 검증방법
KR101645133B1 (ko) * 2015-05-04 2016-08-12 이용호 하네스 비전검사용 지그 및 이를 이용한 비전검사장치, 비전검사방법 및 비전검사시스템
JP2016223869A (ja) * 2015-05-29 2016-12-28 住友電装株式会社 ワイヤーハーネスの検査方法及びワイヤーハーネス検査装置
KR101665644B1 (ko) * 2015-06-16 2016-10-12 조상철 차량용 와이어링 하네스 커넥터 단자 검사 시스템 및 방법
KR101884557B1 (ko) * 2017-02-08 2018-08-01 인제대학교 산학협력단 머신 비전을 활용한 와이어 하네스 케이블의 터미널 크림핑 검사 방법
CN107505326A (zh) * 2017-09-29 2017-12-22 天津思博科科技发展有限公司 基于人工智能及机器视觉的汽车线束检测装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4279937A3 (de) * 2022-05-16 2023-12-06 LEONI Bordnetz-Systeme GmbH Vorrichtung zur prüfung und/oder montage eines kabelsatzes, verfahren zur wartung einer solchen vorrichtung, roboter und computerprogramm
KR102502738B1 (ko) * 2022-10-20 2023-02-23 주식회사 오토콘시스템 콘크리트 파일 몰드의 조립 해체 자동화 시스템
EP4361554A1 (en) * 2022-10-24 2024-05-01 Emdep 2, S.L. Automotive wiring inspection method
KR102567131B1 (ko) 2023-03-06 2023-08-16 경림테크 주식회사 와이어하네스용 밴드케이블 자동 멀티체결장치

Also Published As

Publication number Publication date
US20230129522A1 (en) 2023-04-27

Similar Documents

Publication Publication Date Title
KR102378186B1 (ko) 와이어링 하네스용 인공지능 외관검사 시스템
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
CN107179324B (zh) 检测产品包装的方法、装置和系统
CN101960484A (zh) 用于装配检查的系统和方法
CN109100370A (zh) 一种基于投影法和连通域分析的pcb板缺陷检测方法
JPH07325161A (ja) パッケージ検査方法および装置
CN114494780A (zh) 基于特征对比的半监督工业缺陷检测方法及系统
CN115775246A (zh) 一种pcb元器件缺陷检测的方法
CN112750113A (zh) 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置
CN116718600A (zh) 一种用于对线束产品进行智能化检测的检测装置
CN117197789A (zh) 基于多尺度边界特征融合的幕墙框识别方法及系统
CN116091470A (zh) 基于5g技术的智能工控方法、装置、电子设备及存储介质
JPH07198354A (ja) 画像処理を使用しての搭載されたコネクタピンのテスト
CN113866182A (zh) 一种用于检测显示模组缺陷的检测方法及系统
EP1565873B1 (en) Particle extraction for automatic flow microscope
CN113850773A (zh) 一种检测方法、装置、设备及计算机可读存储介质
CN112967224A (zh) 一种基于人工智能的电子电路板检测系统、方法及介质
CN110210401B (zh) 一种弱光下的目标智能检测方法
CN116580026A (zh) 精密零部件外观缺陷自动光学检测方法、设备及存储介质
EP1298583A1 (en) Image processing system
CN112598632B (zh) 一种压接连接器接触件外观检测方法及装置
CN111008676B (zh) 一种安检方法及安检系统
CN113888533A (zh) 显示面板的缺陷识别装置、方法、电子设备及介质
KR100311282B1 (ko) 접속케이블 자동검사시스템
CN112964723A (zh) 一种双面多目标等间距阵列视觉检测方法及检测系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant