KR20210157000A - 차량 하부 검사 시스템 및 그 방법 - Google Patents

차량 하부 검사 시스템 및 그 방법 Download PDF

Info

Publication number
KR20210157000A
KR20210157000A KR1020200074743A KR20200074743A KR20210157000A KR 20210157000 A KR20210157000 A KR 20210157000A KR 1020200074743 A KR1020200074743 A KR 1020200074743A KR 20200074743 A KR20200074743 A KR 20200074743A KR 20210157000 A KR20210157000 A KR 20210157000A
Authority
KR
South Korea
Prior art keywords
vehicle
inspection
image
under
defective
Prior art date
Application number
KR1020200074743A
Other languages
English (en)
Inventor
이강욱
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020200074743A priority Critical patent/KR20210157000A/ko
Priority to US17/108,817 priority patent/US11508057B2/en
Priority to DE102020216406.1A priority patent/DE102020216406A1/de
Priority to CN202011560043.7A priority patent/CN113822840A/zh
Publication of KR20210157000A publication Critical patent/KR20210157000A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D65/00—Designing, manufacturing, e.g. assembling, facilitating disassembly, or structurally modifying motor vehicles or trailers, not otherwise provided for
    • B62D65/005—Inspection and final control devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H04N5/2259—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Library & Information Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Manufacturing & Machinery (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

차량 하부 검사 시스템 및 그 방법이 개시된다.
본 발명의 실시 예에 따른, 인라인 공정의 차량 하부 검사 시스템은, 검사 공정으로 진입하는 차량을 인식하여 차량 ID를 획득하는 차량 인식부; 차량 이동방향(Y축)의 하부에 위치하며 상기 차량의 폭 방향(X축)을 따라 수직 및 대각선 각도로 배치된 복수의 카메라를 통해 차량 하부 영상을 촬영하는 비전 시스템; 및 상기 차량 ID에 따른 차종 및 사양에 맞는 설정정보로 상기 비전 시스템을 작동하여 촬영된 상기 차량 하부 영상을 획득하여 룰기반 알고리즘을 통해 부품 별 객체 영상을 매칭하는 1차 비전 검사와 딥러닝 학습 엔진을 통한 2차 딥러닝 검사 중 하나 이상을 수행하여 부품의 조립 불량을 검출하는 검사 서버를 포함한다.

Description

차량 하부 검사 시스템 및 그 방법{SYSTEM AND METHOD FOR UNDERBODY INSPECTION OF VEHICLE}
본 발명은 차량 하부 검사 시스템 및 그 방법에 관한 것으로서, 보다 상세하게는 공장에서 조립된 차량의 하부를 자동으로 검사하는 차량 하부 검사 시스템 및 그 방법에 관한 것이다.
일반적으로 차량 공장은 여러 공정라인을 거치면서 차량을 조립하고 완성단계의 차량의 조립상태를 검사하고 있다.
예컨대, 조립된 차량이 차량 하부 검사 공정으로 진입되면 피트(Pit) 내부에 위치한 작업자의 윗보기 운동을 통해 유관으로 차량 하부의 부품 조립상태를 검사하고 있다. 또한, 작업자가 검사 종료 후 수기로 검사결과 시트를 작성하고 있다.
그러나, 종래의 차량 하부 검사 방식은 차량 하부에 마련된 피트 내부에서 지속적이고 반복적인 윗보기 운동이 요구되어 검사자의 목과 어깨 등에 근골격계 질환이 발생되는 문제가 있다.
또한, 작업자자의 윗보기 운동으로 피로도 상승, 숙련도 및 마인드에 따른 휴먼에러 발생으로 인하여 불량 차량의 후 공정 유출 및 유통에 따른 품질저하와 고객 불만을 유발하는 문제가 있다.
그리고, 작업자에 의해 작성된 검사결과 시트에 의존하여 향후 문제 발생 시 직접 검사한 당사자 외에는 정확한 원인을 확인하기 어려운 문제가 있다.
이 배경기술 부분에 기재된 사항은 발명의 배경에 대한 이해를 증진하기 위하여 작성된 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.
본 발명의 실시 예는 다양한 촬영각도의 비전 시스템을 이용한 차량 하부 영상을 획득하고 딥러닝 기반으로 영상을 분석하여 부품의 조립불량을 자동으로 검출하는 차량 하부 검사 시스템 및 그 방법을 제공하고자 한다.
본 발명의 일 측면에 따르면, 인라인 공정의 차량 하부 검사 시스템은, 검사 공정으로 진입하는 차량을 인식하여 차량 ID를 획득하는 차량 인식부; 차량 이동방향(Y축)의 하부에 위치하며 상기 차량의 폭 방향(X축)을 따라 수직 및 대각선 각도로 배치된 복수의 카메라를 통해 차량 하부 영상을 촬영하는 비전 시스템; 및 상기 차량 ID에 따른 차종 및 사양에 맞는 설정정보로 상기 비전 시스템을 작동하여 촬영된 상기 차량 하부 영상을 획득하여 룰기반 알고리즘을 통해 부품 별 객체 영상을 매칭하는 1차 비전 검사와 딥러닝 학습 엔진을 통한 2차 딥러닝 검사 중 하나 이상을 수행하여 부품의 조립 불량을 검출하는 검사 서버;를 포함한다.
또한, 상기 비전 시스템은 베이스의 상면에 상기 폭 방향을 따라 일정 간격으로 배열되어 차량 하부의 수평 조립부 영상을 촬영하는 복수의 수직 카메라; 상기 베이스에 양측 대각선 방향으로 세팅되어 각각 타이어 안쪽의 휠하우징부 영상을 획득하는 틸팅 카메라; 및 상기 검사 서버의 작동명령에 따라 상기 복수의 수직 카메라와 틸팅 카메라를 구동하여 이동하는 차량 하부의 전체 영역을 촬영하고, 촬영된 차량 하부 영상을 상기 검사 서버로 전송하는 카메라 제어기;를 포함할 수 있다.
또한, 상기 복수의 카메라는 검사 소요 시간(Cycle Time) 및 프레임 별 검사 위치 보정 위해 에어리어 스캔(Areascan Camera) 방식이 적용될 수 있다.
또한, 상기 복수의 카메라는 이동하는 상기 차량의 하부를 촬영하기 위하여 글로벌 셔터(Global Shutter) 방식이 적용될 수 있다.
또한, 상기 비전 시스템은 상기 베이스의 상면에 구성된 LED 판 조명과 상기 틸팅 카메라의 설치면에 구성된 LED 링 조명을 포함하며, 각 조명은 편광필터를 통해 난반사를 필터링할 수 있다.
또한, 상기 비전 시스템은 적어도 하나의 서보 모터를 포함하는 틸팅 카메라 장착부를 통해 상기 틸팅 카메라의 세팅 각도(θ)를 조절하고, 상하 및 좌우의 세팅 위치를 변경할 수 있다.
또한, 상기 비전 시스템은 상기 복수의 카메라가 배치된 상기 베이스의 위치를 상하로 변경하는 수직 승강기를 더 포함할 수 있다.
또한, 상기 비전 시스템은 하부에 설치된 LM(Linear Motion) 가이드 방식의 전후 이동수단을 더 포함하여 공정의 설비환경에 따라 전후로 이동 가능하게 설치될 수 있다.
또한, 상기 검사 서버는, 상기 차량 인식부 및 비전 시스템과 통신을 위한 적어도 하나의 유무선 통신수단을 포함하는 통신부; 동일한 시점에 촬영된 상기 차량 하부 영상을 수직 카메라와 틸팅 카메라의 ID 별로 구분하여 저장하는 영상 처리부; 차량 하부 검사를 위한 각종 프로그램 및 데이터를 저장하고, 차량 ID별 검사결과 데이터를 해당 이미지와의 매칭하여 DB화된 데이터를 저장하는 데이터베이스(DB); 및 상기 차량 하부 영상을 분석하여 부품의 조립상태와 불량 여부를 검출하되, 1차 비전 검사 결과가 정상인 차량에 대하여 상기 2차 딥러닝 검사를 생략하고, 1차 비전 검사 결과가 불량인 차량에 대해서만 상기 2차 딥러닝 검사를 실시하는 제어부;를 포함한다.
또한, 상기 영상 처리부는 복수의 카메라 ID 별로 촬영된 영상을 정합하여 하나의 차량 하부 영상을 생성하고, 상기 차량 하부 영상의 전처리 작업을 통해 노이즈 및 밝기를 조정하고, 배경을 제거하여 부품 별 관심 영역(Region of Interest, ROI)를 추출할 수 있다.
또한, 상기 제어부는 상기 차량 하부 영상에 대하여 차량 위치에 따른 ROI 보정을 수행하고, 전체 영상에서 부품 별 객체 영상 인식 및 객체 영상 단위로 위치 보정할 수 있다.
또한, 상기 제어부는 상기 객체 영상을 그레이 스케일로 변환하고 템플릿 매칭을 통해 각도 별 영역 피처(Feature)값을 비교하고, 상기 비교에 따른 매칭점수를 추출하여 설정 기준치 이하이면 불량으로 판정할 수 있다.
또한, 상기 제어부는 상기 ROI 내에서 부품의 특성에 따라 정의된 복수의 영역별 레이블(Label)을 구분하고 각 영역별 레이블의 기준 대비 편차를 비교하여 불량여부를 판정할 수 있다.
또한, 상기 제어부는 상기 각 영역에 대한 레이블 비율을 서로 비교하여 어느 하나의 비율이 누락되어 변동이 생기면 불량으로 판정할 수 있다.
또한, 상기 딥러닝 학습 엔진은 상기 1차 비전 검사 결과 불량이 발생된 영상에 대해서만 CNN(Convolutional Neural Networks)을 사용하여 영상을 분석 하고, 정상인 부품과 불량 발생된 부품에 대해 레이블링 후 학습 실시할 수 있다.
또한, 상기 딥러닝 학습 엔진은 분석된 영상 내 부품의 존재 여부에 따라 불량여부를 판정하고, 정상인 부품과 유사한 배경의 이미지를 불량으로 판정할 수 있다.
한편, 본 발명의 일 측면에 따른, 인라인 공정의 차량 하부 검사 시스템이 검사 공정에 진입된 차량의 하부를 검사하는 방법은, a) 검사 공정으로 진입하는 차량의 바코드 혹은 무선 ODD 인식하여 차량 ID를 획득하는 단계; b) 차량 이동방향(Y축)의 하부에 위치하며 상기 차량의 폭 방향(X축)을 따라 수직 및 대각선 각도로 복수의 카메라가 배치된 비전 시스템을 구동하여 차량 하부 영상을 촬영하는 단계; c) 상기 차량 하부 영상을 획득하여 룰기반 알고리즘을 통해 부품 별 객체 영상을 매칭하는 1차 비전 검사를 수행하는 단계; 및 d) 상기 1차 비전 검사 결과가 정상인 차량에 대하여 2차 딥러닝 검사를 생략하고, 상기 1차 비전 검사 결과가 불량인 차량에 대해서만 딥러닝 학습 엔진을 통해 부품의 불량 여부를 판정하는 상기 2차 딥러닝 검사를 수행하는 단계;를 포함한다.
또한, 상기 1차 비전 검사를 수행하는 단계는, 상기 차량 하부 영상에 대하여 차량 위치에 따른 ROI 보정을 수행하고, 전체 영상에서 부품 별 객체 영상 인식 및 객체 영상 단위로 위치 보정하는 단계; 상기 객체 영상을 그레이 스케일로 변환하고 템플릿 매칭을 통해 각도 별 영역 피처(Feature)값을 비교하고, 상기 비교에 따른 매칭점수를 추출하여 설정 기준치 이하이면 불량으로 판정하는 단계; 상기 ROI 내에서 부품의 특성에 따라 정의된 복수의 영역별 레이블(Label)을 구분하고 각 영역별 레이블의 기준 대비 편차를 비교하여 불량여부를 판정하는 단계; 및 상기 각 영역에 대한 레이블 비율을 서로 비교하여 어느 하나의 비율이 누락되어 변동이 생기면 불량으로 판정하는 단계;를 포함할 수 있다.
또한, 상기 2차 딥러닝 검사를 수행하는 단계는, 상기 1차 비전 검사 결과 불량이 발생된 영상에 대해서만 CNN(Convolutional Neural Networks)을 사용하여 영상을 분석 하는 단계; 및 분석된 영상 내 부품의 존재 여부에 따라 불량여부를 판정하고, 정상인 부품과 유사한 배경의 이미지를 불량으로 판정하는 단계를 포함 할 수 있다.
또한, 상기 d) 단계 이후에, 최종 불량으로 판정된 결과를 화면에 표시 및 작업자에게 알람하고, 상기 차량 ID와 불량 발생위치, 부품항목, 검사 시간 및 객체 이미지를 포함하는 검사 결과 데이터를 DB화하여 저장하는 단계를 더 포함할 수 있다.
본 발명의 실시 예에 따르면, 다양한 촬영각도의 비전 시스템을 통해 차량 하부를 검사하여 종래 작업자 육안검사에 따른 근골격계 질환 및 휴먼에러를 예방할 수 있는 효과가 있다.
또한, 다양한 차종/사양에 맞는 비전 시스템의 정확한 셋팅 및 딥러닝 학습 데이터를 바탕으로 객관적이고 정량적인 데이터에 근거한 불량여부를 판정함으로써 검사의 신뢰도 향상 및 필드의 클레임 비용을 감소시킬 수 있는 효과가 있다.
그리고, 실제 이미지 기반의 차량의 하부 검사결과를 DB화하여 당시의 조립문제를 예측할 수 있고, 불량 발생 빈도가 잦은 공정의 조립불량 원인 및 조립불량 공정 수정을 위한 근거로 활용함으로써 조립 품질성 및 공장 내 공수 개선 효과를 기대할 수 있다.
도 1 및 도 2는 본 발명의 실시 예에 따른 차량 하부 검사 시스템의 구성을 측면(X축)과 정면(Y축)에서 바라본 시점으로 나타낸다.
도 3은 본 발명의 실시 예에 따른 비전 시스템의 구성을 개략적으로 나타낸다.
도 4는 본 발명의 실시 예에 따른 차량 하부의 검사 부품 목록을 나타낸다.
도 5는 본 발명의 실시 예에 따른 차량 하부 검사 방법을 개략적으로 나타낸 흐름도이다.
도 6은 본 발명의 실시 예에 따른 차량 하부 검사 방법의 1, 2차 검사 과정을 구체적으로 나타낸다.
도 7은 본 발명의 실시 예에 따른 1, 2차 검사 과정의 작동 메커니즘을 나타낸다.
도 8은 본 발명의 실시 예에 따른 2차 딥러닝 검사 분석 방법을 나타낸 개념도이다.
도 9는 본 발명의 실시 예에 따른 검사결과 데이터(NG)를 개략적으로 나타낸다.
도 10 및 도 11은 본 발명의 추가 실시 예에 따른 차량 하부 검사 시스템의 구성 나타낸다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서, 제1, 제2, A, B, (a), (b) 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다.
명세서 전체에서, 어떤 구성요소가 다른 구성요소에 '연결된다'거나 '접속된다'고 언급되는 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결된다'거나 '직접 접속된다'고 언급되는 때에는, 중간에 다른 구성요소가 존재하지 아니하는 것으로 이해되어야 할 것이다.
명세서 전체에서, 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
명세서 전체에서, '포함한다', '가진다' 등과 관련된 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이제 본 발명의 실시 예에 따른 차량 하부 검사 시스템 및 그 방법에 대하여 도면을 참조로 하여 상세하게 설명한다.
도 1 및 도 2는 본 발명의 실시 예에 따른 차량 하부 검사 시스템의 구성을 측면(X축)과 정면(Y축)에서 바라본 시점으로 나타낸다.
도 1 및 도 2를 참조하면, 본 발명의 실시 예에 따른 차량 하부 검사 시스템은 차량 인식부(10), 비전 시스템(20) 및 검사 서버(30)를 포함한다.
차량 인식부(10)는 인라인 공정 이동수단인 행거(컨베이어)에 탑재된 차량이 차량 검사 공정으로 진입하는 것을 인식한다.
차량 인식부(10)는 바코드 스캐너(11) 및 무선통신 안테나(12) 중 적어도 하나로 구성될 수 있다.
바코드 스캐너(11)는 차량에 부착된 바코드를 인식하여 진입된 차량 ID(예; VIN)를 검사 서버(30)로 전송한다. 바코드 스캐너(11)는 상기 바코드의 부착 위치에 고정된 자동형 혹은 작업자에 의한 수동형으로 마련될 수 있다.
무선통신 안테나(12)는 지향성 안테나로 구성되어 진입된 차량에 탑재된 무선 OBD의 접속에 따른 차량 진입을 인식하고 무선통신으로 수신된 차량 ID(예; VIN)을 검사 서버(30)로 전송한다. 이외에 차량 인식부(10)는 초음파 혹은 레이저 신호를 통해 차량의 진입 감지 및 차량 미탑재 행거 등을 감지하는 차량 감지 센서(미도시)를 더 포함할 수 있다.
비전 시스템(20)은 차량 이동방향(Y축)의 하부에 위치하며 상기 차량의 폭 방향(X축)을 따라 다양한 각도로 배치된 복수의 카메라(22a, 22b)를 통해 차량 하부 영상을 촬영한다.
복수의 카메라(22a, 22b)는 검사 소요 시간(Cycle Time) 및 프레임 별 검사 위치 보정 위해 에어리어 스캔(Areascan Camera) 방식을 적용한다. 또한, 복수의 카메라(22a, 22b)는 빠른 속도로 움직이는 차량 하부를 촬영하기 위하여 높은 프레임 속도와 고해상도의 글로벌 셔터(Global Shutter) 방식을 적용할 수 있다.
도 3은 본 발명의 실시 예에 따른 비전 시스템의 구성을 개략적으로 나타낸다.
도 3을 참조하면, 본 발명의 실시 예에 따른, 비전 시스템(20)은 베이스(21)의 상면에 상기 폭 방향(X축)을 따라 일정 간격으로 배열된 4개의 수직 카메라(21a) 및 상기 베이스(21)의 측면에 대각선 방향으로 세팅된 2개의 틸팅 카메라(22b)를 포함한다. 여기서, 4개의 수직 카메라(21a)는 차량 하부의 수평 조립부 영상을 획득하고, 2개의 틸팅 카메라(22b)는 각각 대각선 방향에 위치한 타이어 안쪽의 휠하우징부 영상을 획득한다.
또한, 비전 시스템(20)은 베이스(21)의 상면에 구성된 LED 판 조명(23a) 및 틸팅 카메라(22b)의 설치면에 구성된 LED 링 조명(23b)을 포함한다. 이러한 조명(23a, 23b)은 난반사 억제 위해 검사 대상 대비 조명 사이즈를 키움으로써 직광방식에서의 난반사를 억제하고 편광필터를 통해 난반사를 필터링 할 수 있다.
비전 시스템(20)은 4개의 수직 카메라(21a)와 2개의 틸팅 카메라(22b)를 이용하여 차량 하부의 전체 영역을 촬영한다. 이 때, 비전 시스템(20)은 차량의 종류, 사양, 조립 산포, 행거 안착 상태 등의 다양한 변화에 대응하기 위해 실차 대비 약 400mm 이상의 촬영 가능영역 확보한다.
비전 시스템(20)은 적어도 하나의 서보 모터를 포함하는 틸팅 카메라 장착부(24)를 통해 틸팅 카메라(22b)의 세팅 각도(θ)를 조절하고 상하 및 좌우의 세팅 위치를 변경할 수 있다.
또한, 비전 시스템(20)은 수직 승강기(25)를 통해 복수의 카메라(22a, 22b)가 배치된 베이스(21)의 위치를 상하로 변경할 수 있다.
카메라 제어기(26)는 비전 시스템(20)의 전반적인 동작을 제어하며, 이를 위하여 하우징 내부에 적어도 하나의 MCU(Micro Controller Unit), 하드웨어, 소프트웨어, 메모리 및 통신수단을 포함한다.
카메라 제어기(26)는 비전 시스템(20)은 검사 서버(30)의 작동명령에 따라 비전 시스템(20)을 구동하여 차량 하부의 전체 영역을 촬영하고, 촬영된 차량 하부 영상을 검사 서버(30)로 전송한다.
여기에, 비전 시스템(20)은 카메라 제어기(26)의 하부에 설치된 LM(Linear Motion) 가이드 방식의 전후 이동수단(27)을 더 포함하여 설비환경에 따라 이동 가능하게 설치될 수 있다.
또한, 비전 시스템(20)은 위의 카메라 개수와 조명에 한정되지 않고 차량의 검사 조건/환경에 따라 변경될 수 있다.
한편, 도 2를 참조하면, 본 발명의 실시 예에 따른 검사 서버(30)는 통신부(31), 영상 처리부(32), 데이터베이스(DB, 33) 및 제어부(34)를 포함한다.
통신부(31)는 차량 인식부(10) 및 비전 시스템(20) 등과의 통신을 위한 적어도 하나의 유/무선 통신수단을 포함한다.
통신부(31)는 차량 진입이 인식되면 비전 시스템(20)에 작동명령을 인가하고 그에 따라 촬영된 차량 하부 영상을 수신한다.
영상 처리부(32)는 동일한 시점에 촬영된 상기 차량 하부 영상을 비전 시스템(20)의 수직 카메라(21a)와 틸팅 카메라(22b)의 ID 별로 구분하여 데이터베이스(33)에 저장한다.
영상 처리부(32)는 복수의 수직 카메라(21a)와 틸팅 카메라(22b)의 ID 별로 촬영된 영상을 정합하여 하나의 차량 하부 영상을 생성한다.
영상 처리부(32)는 상기 차량 하부 영상의 전처리 작업을 통해 노이즈 및 밝기를 조정하고, 배경을 제거하여 부품 별 관심 영역(Region of Interest, ROI)를 추출한다.
도 4는 본 발명의 실시 예에 따른 차량 하부의 검사 부품 목록을 나타낸다.
도 4를 참조하면, 차량 하부의 주요 검사 부품으로는 언더커버, 미션 앗세이, 롤 로드, 머플러 체결, 타이로드 등 다양한 부품이 존재 하며, 이는 차종 및 사양에 따라 변경될 수 있다. 검사 유형으로는 차량 하부 부품의 장착여부, 체결여부, 이종 사양, 부품 간격, 파손, 누유 등이 있다.
DB(33)는 본 발명의 실시 예에 따른 차량 하부 검사를 위한 각종 프로그램 및 데이터를 저장하고, 차량 ID별 검사결과 데이터를 해당 이미지의 매칭으로 DB화화한다. 즉, DB(33)는 검사결과 데이터를 토대로 차량 하부의 부품 불량발생 위치, 유형, 시간 및 해당 공정 등을 데이터화하여 통계에 따른 품질 관리성을 확보하고, 조립불량 원인 및 조립불량 공정 수정을 위한 근거로 활용될 수 있다.
제어부(34)는 본 발명의 실시 예에 따른 비전 시스템(20)을 이용하여 획득된 차량 하부 영상을 분석하여 부품의 조립상태와 불량 여부를 자동으로 검출하는 차량 하부 검사 시스템의 전반적인 동작을 제어한다.
이를 위하여 제어부(34)는 설정된 프로그램에 의하여 동작하는 하나 이상의 프로세서로 구현될 수 있으며, 상기 설정된 프로그램은 본 발명의 실시 예에 따른 차량 하부 검사 방법의 각 단계를 수행하도록 프로그래밍 된 것일 수 있다.
이러한 차량 하부 검사 방법을 아래의 도면을 참조하여 설명하되, 이를 통해 제어부(34)를 구성적 특징을 구체화한다.
도 5는 본 발명의 실시 예에 따른 차량 하부 검사 방법을 개략적으로 나타낸 흐름도이다.
도 6은 본 발명의 실시 예에 따른 차량 하부 검사 방법의 1, 2차 검사 과정을 구체적으로 나타낸다.
도 7은 본 발명의 실시 예에 따른 1, 2차 검사 과정의 작동 메커니즘을 나타낸다.
먼저, 도 5를 참조하면, 본 발명의 실시 예에 따른 검사 서버(30)의 제어부(34)는 차량 인식부(10)로부터 차량 ID를 수신하면 차량의 진입을 인식한다(S1).
제어부(34)는 상기 차량 ID에 맞는 설정정보로 비전 시스템(20)을 작동하여 차량 하부를 촬영한다(S2). 이 때, 제어부(34)는 생산정보시스템(MES) 혹은 DB(33)에서 상기 차량 ID에 매칭된 차종 및 사양을 조회하고 이에 상응하는 카메라 및 조명 세팅값으로 비전 시스템(20)이 설정되도록 작동명령을 인가할 수 있다.
제어부(34)는 비전 시스템(20)의 동작에 따라 촬영된 차량 하부 영상을 수신한다(S3). 이 때, 제어부(34)는 영상 처리부(32)를 통해 상기 차량 하부 영상의 전처리 작업을 수행하고 부품 별 ROI를 추출할 수 있다.
제어부(34)는 1단계로 획득한 영상에서 룰기반 알고리즘을 통해 분석하는 1차 비전 검사 분석을 실시한다(S5).
여기서, 도 6 및 도 7을 참조하여 상기 1차 비전 검사 분석과정을 구체적으로 설명한다.
제어부(34)는 상기 차량 하부 영상에 대하여 차량 위치에 따른 전체 ROI 보정을 수행한다(S41). 이 때. 전체 영상을 프레임 단위로 위치 보정할 수 있다.
제어부(34)는 차량은 조립 시 볼트와 같은 체결부품의 칠이 벗겨지거나 부품마다 생산편차 혹은 조립편차가 발생될 수 있으므로 상기 전체 영상에서 부품 별 객체 영상 인식 및 객체 영상 단위로 위치 보정을 수행한다(S42).
제어부(34)는 상기 객체 영상을 그레이 스케일로 변환하고 템플릿 매칭을 통해 각도 별 영역 피처(Feature)값을 비교한다(S43). 이 때, 제어부(34)는 상기 비교에 따른 매칭점수를 추출하여 설정 기준치 이하이면 불량으로 판정할 수 있다.
여기서, 제어부(34)는 사전에 기준 객체 영상의 분할된 각 지역마다 엣지(edge) 픽셀들의 방향에 대한 히스토그램을 템플릿으로 생성하여 히스토그램 매칭에 사용할 수 있다. 이러한 히스토그램 매칭 방식은 상기 객체 영상의 외부 윤곽선 정보가 독특한 정보를 가지면서 내부 패턴이 복잡하지 않은 물체나 차량 부품의 식별에 적합하다. 다만, 볼트와 같은 부품은 머리가 다각형(사각/육각 등) 형상을 가지며 체결시 회전되는데 템플릿 매칭의 경우 검사율에 영향을 줄 수 있다. 그러므로, 제어부(34)는 상기 객체 영상의 각도 별 평균 픽셀을 연산하여 템플릿과의 매칭률을 비교할 수 있다.
제어부(34)는 ROI 내에서 부품의 특성에 따라 정의된 복수의 영역별 레이블(Label)을 구분한다(S44). 예컨대, 언더커버와 같은 부품은 조립 작업을 위해 일부분에 페인트 마킹이 있는데, 바디(Label 1), 페인트 마킹(Label 2) 및 볼트 색깔(Label 3)을 정의하여 각 영역을 분할 할 수 있다.
제어부(34)는 각 영역별 레이블 비율을 설정된 각 기준비율과 비교한다(S45). 예컨대, 제어부(34)는 상기 바디(Label 1=50%), 페인트 마킹(Label 2=30) 및 볼트 색깔(Label 3=20)의 각 비율과 각 기준 비율의 편차로써 불량 여부를 판정할 수 있다.
또한, 제어부(34)는 각 영역에 대한 레이블 비율을 서로 비교한다(S46). 예컨대, 바디(Label 1=50%)와 볼트 색깔(Label 3=20)을 서로 비교했을 때 볼트체결이 누락되면 비율이 변동되는 것으로써 불량 여부를 판정할 수 있다.
또한, 제어부(34)는 HOG(histogram of gradient) 알고리즘을 통해 픽셀들의 방향에 따른 각도 별 벡터 성분의 벡터값(명확성)을 비교하여 설정 기준치 이하이면 불량으로 판정한다(S47).
다시, 도 5를 참조하면, 제어부(34)는 위와 같이 1차 비전 검사 분석을 실시한 결과 불량 없이 정상(OK)으로 판정되면(S5; 예), 차량 하부 검사결과(OK)를 화면에 표시한다(S6). 그리고, 제어부(34)는 검사 결과 데이터를 DB화하여 저장한다(S10). 이 때, 제어부(34)는 차량이 상기 1차 비전 검사 분석에서 정상으로 판정되면 후술되는 2차 딥러닝 검사를 수행하지 않고 검사를 종료한다.
이는 통상 차량이 비전 시스템(20)을 지나간 후 수초 이내에 1차 비전 검사 결과가 출력되는 공정 내 사이클 타임(Cycle Time)상 모든 차량에 대하여 2차 딥러닝 검사를 수행하기엔 계산부하와 많은 시간이 소요되기 때문이다.
한편, 통상 차량이 조립 불량으로 리페어 공정에 진입되면 행거에서 내리고, 차량의 하부검사를 위해 리프트로 다시 들어올려 작업자가 재검사를 수행해야 하기 때문에 작업이 번거롭고 많은 공수가 투여되는 단점이 있다.
그러므로, 본 발명의 실시 예에 따른 제어부(34)는 1차 검사에서 불량으로 판정된 차량을 바로 리페어 공정으로 보내지 않고, 2차 딥러닝 검사 분석을 활용한 검증을 실시한다.
즉, 제어부(34)는 상기 1차 비전 검사 분석을 실시한 결과 불량(NG)로 판정되면(S5; 아니오), 해당 차량을 리페어 공정으로 보내기 전에 2차 딥러닝 검사 분석을 수행한다(S7).
여기서, 도 6 및 도 8을 참조하여 상기 2차 딥러닝 검사 분석과정을 구체적으로 설명한다.
도 8은 본 발명의 실시 예에 따른 2차 딥러닝 검사 분석 방법을 나타낸 개념도이다.
도 6 및 도 8을 참조하면, 제어부(34)는 상기 불량으로 판정된 영상을 딥러닝 학습 엔진(34a)으로 전송하고(S71), 상기 영상을 입력 정보로 하여 해당 부품에 맞는 딥러닝 학습 엔진(34a)을 작동한다(S72).
딥러닝 학습 엔진(34a)은 입력된 영상을 ROI 대비 1.5배 사이즈의 별도의 학습 이미지로 분리한다. 이 때, 딥러닝 학습 엔진(34a)은 CNN(Convolutional Neural Networks)을 사용하여 이미지를 분석 하되, 필터 사이즈를 3*3으로 실시할 수 있다.
딥러닝 학습 엔진(34a)은 정상인 부품과 불량이 발생된 부품에 대해 레이블링 후 학습 실시 한다. 이 때, 딥러닝 학습 엔진(34a)은 불량 이미지량이 정상대비 제한적이기 때문에 유사한 배경의 이미지를 불량으로 학습할 수 있다(부품의 유/무로 불량 판정).
이러한, 딥러닝 학습 엔진(34a)은 불량 부품을 디텍팅하는 것이 아닌 불량의 유/무에 따라 정상과 불량을 판별하는 기법을 사용한다. 즉, 상기 1차 비전 검사 분석의 룰베이스 알고리즘에서 불량으로 판정된 이미지에 한해서 추가 불량 여부 판정한다.
다시, 도 5를 참조하면, 제어부(34)는 위와 같이 2차 딥러닝 검사 분석을 실시한 결과 불량이 아닌 정상(OK)으로 판정되면(S8; 예), 최종 정상으로 판정된 차량 하부 검사결과(OK)를 화면에 표시한다(S6). 그리고, 제어부(34)는 검사 결과 데이터를 DB화하여 저장한다(S10).
반면, 제어부(34)는 상기 2차 딥러닝 검사 분석을 실시한 결과 불량으로 판정되면, 최종 불량으로 판정된 차량 하부검사 결과(NG)를 화면에 표시하고, 작업자에게 알람 할 수 있다(S9). 그리고, 제어부(34)는 검사 결과 데이터를 DB화하여 저장한다(S10).
한편, 도 9는 본 발명의 실시 예에 따른 검사결과 데이터(NG)를 개략적으로 나타낸다.
도 9를 참조하면, 본 발명의 실시 예에 따른 제어부(34)는 차량 하부 검사결과를 토대로 차량 ID와 차량 하부의 불량 발생위치를 그래픽으로 표시하고, 해당 부위, 위치, 부품항목, 검사 시간 및 이미지 등이 저장된 데이터를 생성한다.
제어부(34)는 생성된 검사결과 데이터를 DB(33)에 누적하여 DB화하고 통계에 따른 품질 관리성을 확보하고, 추후 불량 발생 빈도가 잦은 공정의 조립불량 원인 및 조립불량 공정 수정을 위한 근거로 활용될 수 있다.
이와 같이 본 발명의 실시 예에 따르면, 다양한 촬영각도의 비전 시스템을 통해 차량 하부를 검사하여 종래 작업자 육안검사에 따른 근골격계 질환 및 휴먼에러를 예방할 수 있는 효과가 있다.
또한, 다양한 차종/사양에 맞는 비전 시스템의 정확한 셋팅 및 딥러닝 학습 데이터를 바탕으로 객관적이고 정량적인 데이터에 근거한 불량여부를 판정함으로써 검사의 신뢰도 향상 및 필드의 클레임 비용을 감소시킬 수 있는 효과가 있다.
또한, 이미지 기반의 차량의 하부 검사결과를 DB화하여 당시의 조립문제를 예측할 수 있고, 불량 발생 빈도가 잦은 공정의 조립불량 원인 및 조립불량 공정 수정을 위한 근거로 활용함으로써 조립 품질성 및 공장 내 공수 개선 효과를 기대할 수 있다.
이상에서는 본 발명의 실시 예에 대하여 설명하였으나, 본 발명은 상기한 실시 예에만 한정되는 것은 아니며 그 외의 다양한 변경이 가능하다.
예컨대, 전술한 본 발명의 실시 예에서는 고정된 비전 시스템(20)이 행거에 탑재되어 이동하는 차량의 하부를 촬영하는 것으로 설명하였으나 이에 한정되지 않고 비전 시스템(20)이 이동하면서 촬영할 수도 있다.
도 10 및 도 11은 본 발명의 추가 실시 예에 따른 차량 하부 검사 시스템의 구성 나타낸다.
먼저, 도 10을 참조하면, 전술한 실시 예에서는 차량이 행거에 탑재되어 이동되는 공정을 위주로 설명하였으나 다양한 공정 방식에 따라 차량이 소정 검사위치에 정지된 상태에서 검사를 실시 할 수 있다.
이에, 비전 시스템(20)은 하부에 설치된 LM(Linear Motion) 가이드 방식의 전후 이동수단(27)을 통해 비전 시스템(20)이 정치된 차량의 하부 공간을 Y축으로 이동하면서 차량 하부의 전체 영역을 촬영할 수 있다.
또한, 도 11을 참조하면, 비전 시스템(20)은 다관절 로봇의 엔드 이펙트에 장착되어 로봇의 기구학적 자세제어를 통해 이동하면서 차량 하부를 촬영하거나 로봇의 하부에 이동수단(27)이 구비되어 이동하면서 촬영할 수 있다.
이를 통해, 인 라인 공정의 다양한 환경 조건에 적응된 차량 하부 검사 시스템을 구현할 수 있는 이점이 있다.
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
10: 차량 인식부 11: 바코드 스캐너
12: 안테나 20: 비전 시스템
21: 베이스 22: 카메라
22a: 수직 카메라 22b: 틸팅 카메라
23: 조명 24: 틸팅 카메라 장착부
25: 수직 승강기 26: 카메라 제어기
27: 전후 이동수단 30: 검사 서버
31: 통신부 32: 영상 처리부
33: 데이터베이스(DB) 34: 제어부
34a: 딥러닝 학습 엔진

Claims (20)

  1. 인라인 공정의 차량 하부 검사 시스템에 있어서,
    검사 공정으로 진입하는 차량을 인식하여 차량 ID를 획득하는 차량 인식부;
    차량 이동방향(Y축)의 하부에 위치하며 상기 차량의 폭 방향(X축)을 따라 수직 및 대각선 각도로 배치된 복수의 카메라를 통해 차량 하부 영상을 촬영하는 비전 시스템; 및
    상기 차량 ID에 따른 차종 및 사양에 맞는 설정정보로 상기 비전 시스템을 작동하여 촬영된 상기 차량 하부 영상을 획득하여 룰기반 알고리즘을 통해 부품 별 객체 영상을 매칭하는 1차 비전 검사와 딥러닝 학습 엔진을 통한 2차 딥러닝 검사 중 하나 이상을 수행하여 부품의 조립 불량을 검출하는 검사 서버;
    를 포함하는 차량 하부 검사 시스템.
  2. 제1항에 있어서,
    상기 비전 시스템은
    베이스의 상면에 상기 폭 방향을 따라 일정 간격으로 배열되어 차량 하부의 수평 조립부 영상을 촬영하는 복수의 수직 카메라;
    상기 베이스에 양측 대각선 방향으로 세팅되어 각각 타이어 안쪽의 휠하우징부 영상을 획득하는 틸팅 카메라; 및
    상기 검사 서버의 작동명령에 따라 상기 복수의 수직 카메라와 틸팅 카메라를 구동하여 이동하는 차량 하부의 전체 영역을 촬영하고, 촬영된 차량 하부 영상을 상기 검사 서버로 전송하는 카메라 제어기;
    를 포함하는 차량 하부 검사 시스템.
  3. 제1항에 있어서,
    상기 복수의 카메라는
    검사 소요 시간(Cycle Time) 및 프레임 별 검사 위치 보정 위해 에어리어 스캔(Areascan Camera) 방식이 적용되는 차량 하부 검사 시스템.
  4. 제3항에 있어서,
    상기 복수의 카메라는
    이동하는 상기 차량의 하부를 촬영하기 위하여 글로벌 셔터(Global Shutter) 방식이 적용되는 차량 하부 검사 시스템.
  5. 제2항에 있어서,
    상기 비전 시스템은
    상기 베이스의 상면에 구성된 LED 판 조명과 상기 틸팅 카메라의 설치면에 구성된 LED 링 조명을 포함하며, 각 조명은 편광필터를 통해 난반사를 필터링하는 차량 하부 검사 시스템.
  6. 제2항에 있어서,
    상기 비전 시스템은
    적어도 하나의 서보 모터를 포함하는 틸팅 카메라 장착부를 통해 상기 틸팅 카메라의 세팅 각도(θ)를 조절하고, 상하 및 좌우의 세팅 위치를 변경하는 차량 하부 검사 시스템.
  7. 제6항에 있어서,
    상기 비전 시스템은
    상기 복수의 카메라가 배치된 상기 베이스의 위치를 상하로 변경하는 수직 승강기를 더 포함하는 차량 하부 검사 시스템.
  8. 제2항에 있어서,
    상기 비전 시스템은
    하부에 설치된 LM(Linear Motion) 가이드 방식의 전후 이동수단을 더 포함하여 공정의 설비환경에 따라 전후로 이동 가능하게 설치되는 차량 하부 검사 시스템.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 검사 서버는,
    상기 차량 인식부 및 비전 시스템과 통신을 위한 적어도 하나의 유무선 통신수단을 포함하는 통신부;
    동일한 시점에 촬영된 상기 차량 하부 영상을 수직 카메라와 틸팅 카메라의 ID 별로 구분하여 저장하는 영상 처리부;
    차량 하부 검사를 위한 각종 프로그램 및 데이터를 저장하고, 차량 ID별 검사결과 데이터를 해당 이미지와의 매칭하여 DB화된 데이터를 저장하는 데이터베이스(DB); 및
    상기 차량 하부 영상을 분석하여 부품의 조립상태와 불량 여부를 검출하되, 1차 비전 검사 결과가 정상인 차량에 대하여 상기 2차 딥러닝 검사를 생략하고, 1차 비전 검사 결과가 불량인 차량에 대해서만 상기 2차 딥러닝 검사를 실시하는 제어부;
    를 포함하는 차량 하부 검사 시스템.
  10. 제9항에 있어서,
    상기 영상 처리부는
    복수의 카메라 ID 별로 촬영된 영상을 정합하여 하나의 차량 하부 영상을 생성하고, 상기 차량 하부 영상의 전처리 작업을 통해 노이즈 및 밝기를 조정하고, 배경을 제거하여 부품 별 관심 영역(Region of Interest, ROI)를 추출하는 차량 하부 검사 시스템.
  11. 제10항에 있어서,
    상기 제어부는
    상기 차량 하부 영상에 대하여 차량 위치에 따른 ROI 보정을 수행하고, 전체 영상에서 부품 별 객체 영상 인식 및 객체 영상 단위로 위치 보정을 수행하는 차량 하부 검사 시스템.
  12. 제11항에 있어서,
    상기 제어부는
    상기 객체 영상을 그레이 스케일로 변환하고 템플릿 매칭을 통해 각도 별 영역 피처(Feature)값을 비교하고, 상기 비교에 따른 매칭점수를 추출하여 설정 기준치 이하이면 불량으로 판정하는 차량 하부 검사 시스템.
  13. 제12항에 있어서,
    상기 제어부는
    상기 ROI 내에서 부품의 특성에 따라 정의된 복수의 영역별 레이블(Label)을 구분하고 각 영역별 레이블의 기준 대비 편차를 비교하여 불량여부를 판정하는 차량 하부 검사 시스템.
  14. 제13항에 있어서,
    상기 제어부는
    상기 각 영역에 대한 레이블 비율을 서로 비교하여 어느 하나의 비율이 누락되어 변동이 생기면 불량으로 판정하는 차량 하부 검사 시스템.
  15. 제10항에 있어서,
    상기 딥러닝 학습 엔진은
    상기 1차 비전 검사 결과 불량이 발생된 영상에 대해서만 CNN(Convolutional Neural Networks)을 사용하여 영상을 분석 하고, 정상인 부품과 불량 발생된 부품에 대해 레이블링 후 학습 실시하는 차량 하부 검사 시스템.
  16. 제15항에 있어서,
    상기 딥러닝 학습 엔진은
    분석된 영상 내 부품의 존재 여부에 따라 불량여부를 판정하고, 정상인 부품과 유사한 배경의 이미지를 불량으로 판정하는 차량 하부 검사 시스템.
  17. 인라인 공정의 차량 하부 검사 시스템이 검사 공정에 진입된 차량의 하부를 검사하는 방법에 있어서,
    a) 검사 공정으로 진입하는 차량의 바코드 혹은 무선 ODD 인식하여 차량 ID를 획득하는 단계;
    b) 차량 이동방향(Y축)의 하부에 위치하며 상기 차량의 폭 방향(X축)을 따라 수직 및 대각선 각도로 복수의 카메라가 배치된 비전 시스템을 구동하여 차량 하부 영상을 촬영하는 단계;
    c) 상기 차량 하부 영상을 획득하여 룰기반 알고리즘을 통해 부품 별 객체 영상을 매칭하는 1차 비전 검사를 수행하는 단계; 및
    d) 상기 1차 비전 검사 결과가 정상인 차량에 대하여 2차 딥러닝 검사를 생략하고, 상기 1차 비전 검사 결과가 불량인 차량에 대해서만 딥러닝 학습 엔진을 통해 부품의 불량 여부를 판정하는 상기 2차 딥러닝 검사를 수행하는 단계;
    를 포함하는 차량 하부 검사 방법.
  18. 제17항에 있어서,
    상기 1차 비전 검사를 수행하는 단계는,
    상기 차량 하부 영상에 대하여 차량 위치에 따른 ROI 보정을 수행하고, 전체 영상에서 부품 별 객체 영상 인식 및 객체 영상 단위로 위치 보정을 수행하는 단계;
    상기 객체 영상을 그레이 스케일로 변환하고 템플릿 매칭을 통해 각도 별 영역 피처(Feature)값을 비교하고, 상기 비교에 따른 매칭점수를 추출하여 설정 기준치 이하이면 불량으로 판정하는 단계;
    상기 ROI 내에서 부품의 특성에 따라 정의된 복수의 영역별 레이블(Label)을 구분하고 각 영역별 레이블의 기준 대비 편차를 비교하여 불량여부를 판정하는 단계; 및
    상기 각 영역에 대한 레이블 비율을 서로 비교하여 어느 하나의 비율이 누락되어 변동이 생기면 불량으로 판정하는 단계;
    를 포함하는 차량 하부 검사 방법.
  19. 제17항 또는 제18항에 있어서,
    상기 차 딥러닝 검사를 수행하는 단계는,
    상기 1차 비전 검사 결과 불량이 발생된 영상에 대해서만 CNN(Convolutional Neural Networks)을 사용하여 영상을 분석 하는 단계; 및
    분석된 영상 내 부품의 존재 여부에 따라 불량여부를 판정하고, 정상인 부품과 유사한 배경의 이미지를 불량으로 판정하는 단계;
    를 포함하는 차량 하부 검사 방법.
  20. 제17항에 있어서,
    상기 d) 단계 이후에,
    최종 불량으로 판정된 결과를 화면에 표시 및 작업자에게 알람하고, 상기 차량 ID와 불량 발생위치, 부품항목, 검사 시간 및 객체 이미지를 포함하는 검사 결과 데이터를 DB화하여 저장하는 단계를 더 포함하는 차량 하부 검사 방법.
KR1020200074743A 2020-06-19 2020-06-19 차량 하부 검사 시스템 및 그 방법 KR20210157000A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200074743A KR20210157000A (ko) 2020-06-19 2020-06-19 차량 하부 검사 시스템 및 그 방법
US17/108,817 US11508057B2 (en) 2020-06-19 2020-12-01 Inspection system and method for vehicle underbody
DE102020216406.1A DE102020216406A1 (de) 2020-06-19 2020-12-21 Inspektionssystem und verfahren für fahrzeugunterboden
CN202011560043.7A CN113822840A (zh) 2020-06-19 2020-12-25 车辆车底的检查系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200074743A KR20210157000A (ko) 2020-06-19 2020-06-19 차량 하부 검사 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20210157000A true KR20210157000A (ko) 2021-12-28

Family

ID=78823117

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200074743A KR20210157000A (ko) 2020-06-19 2020-06-19 차량 하부 검사 시스템 및 그 방법

Country Status (4)

Country Link
US (1) US11508057B2 (ko)
KR (1) KR20210157000A (ko)
CN (1) CN113822840A (ko)
DE (1) DE102020216406A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102454452B1 (ko) * 2022-07-11 2022-10-14 주식회사 에이투지오토 3d 스캔 데이터를 이용한 차체 구조 역설계 방법, 장치 및 시스템

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
HUE065281T2 (hu) * 2019-09-11 2024-05-28 Proov Station Gépjármû karosszériáján lévõ hibák detektálására szolgáló berendezés
US11475553B1 (en) * 2021-04-08 2022-10-18 Ford Global Technologies, Llc Production-speed component inspection system and method
KR20220146892A (ko) * 2021-04-26 2022-11-02 현대자동차주식회사 Mmp를 이용한 adas 검사 시스템 및 그 방법
US11513036B1 (en) * 2021-05-13 2022-11-29 Ford Global Technologies, Llc Systems and methods for underbody inspection of a moving vehicle with a smartphone
US20230067659A1 (en) * 2021-08-24 2023-03-02 Ford Global Technologies, Llc Systems and methods for detecting vehicle defects
US20240048848A1 (en) * 2022-08-02 2024-02-08 Hong Kong Applied Science and Technology Resrearch Institute Company Limited Optimized Path Planning for Defect Inspection based on Effective Region Coverage
DE102022124061A1 (de) 2022-09-20 2024-03-21 Bayerische Motoren Werke Aktiengesellschaft System und Verfahren zur optischen Prüfung wenigstens eines Merkmals wenigstens eines Objekts mit einer reflektierenden Oberfläche sowie ein Fahrzeug
CN115661129A (zh) * 2022-11-21 2023-01-31 湖南视比特机器人有限公司 一种基于协同运动的视觉工件错漏装检测系统及方法
CN117392122B (zh) * 2023-12-07 2024-03-15 深圳前海慧联科技发展有限公司 基于超声波技术的螺栓无损检测方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6052631A (en) * 1997-08-08 2000-04-18 Management Systems Data Service, Inc. ("Msds, Inc.") Method and system for facilitating vehicle inspection to detect previous damage and repairs
US6856344B2 (en) * 2002-04-02 2005-02-15 Robert H. Franz Vehicle undercarriage inspection and imaging method and system
US20050058242A1 (en) * 2003-09-15 2005-03-17 Peschmann Kristian R. Methods and systems for the rapid detection of concealed objects
US7527439B1 (en) * 2004-05-06 2009-05-05 Dumm Mark T Camera control system and associated pan/tilt head
WO2006093478A1 (en) * 2005-02-24 2006-09-08 Northrop Grumman Corporation Apparatus and method for capturing and displaying images of the undercarriage of vehicles
US7436143B2 (en) * 2005-04-25 2008-10-14 M-Bots, Inc. Miniature surveillance robot
US20070009136A1 (en) * 2005-06-30 2007-01-11 Ivan Pawlenko Digital imaging for vehicular and other security applications
US9244133B2 (en) * 2011-01-13 2016-01-26 Icove And Associates, Llc Handheld devices and structures to detect sticky devices having magnets
EP3201595A4 (en) * 2014-09-30 2018-05-02 Black Diamond Xtreme Engineering, Inc. Tactical mobile surveillance system
EP3308356B1 (en) * 2015-06-09 2020-04-08 Vehant Technologies Private Limited System and method for detecting a dissimilar object in undercarriage of a vehicle
US10497108B1 (en) * 2016-12-23 2019-12-03 State Farm Mutual Automobile Insurance Company Systems and methods for machine-assisted vehicle inspection
US10438089B2 (en) * 2017-01-11 2019-10-08 Hendricks Corp. Pte. Ltd. Logo detection video analytics
US20180232874A1 (en) * 2017-02-10 2018-08-16 Ecosubsea As Inspection vehicle
US11436717B2 (en) * 2018-04-04 2022-09-06 Panasonic Intellectual Property Management Co., Ltd. Image processing device and image processing method
US11770493B2 (en) * 2019-04-02 2023-09-26 ACV Auctions Inc. Vehicle undercarriage imaging system
US11875493B2 (en) * 2019-12-26 2024-01-16 Synax Co., Ltd. Vibrator unit, conveying system, and conveying method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102454452B1 (ko) * 2022-07-11 2022-10-14 주식회사 에이투지오토 3d 스캔 데이터를 이용한 차체 구조 역설계 방법, 장치 및 시스템

Also Published As

Publication number Publication date
US11508057B2 (en) 2022-11-22
CN113822840A (zh) 2021-12-21
US20210398271A1 (en) 2021-12-23
DE102020216406A1 (de) 2021-12-23

Similar Documents

Publication Publication Date Title
KR20210157000A (ko) 차량 하부 검사 시스템 및 그 방법
CN110261436B (zh) 基于红外热成像和计算机视觉的轨道故障检测方法及系统
CN104483320B (zh) 工业脱硝催化剂的数字化缺陷检测装置与检测方法
JP6737638B2 (ja) 鉄道車両の外観検査装置
CN108805868B (zh) 一种电务车载车下走行部设备故障检测的图像处理方法及故障检测方法
CN114881915A (zh) 一种基于对称性的手机玻璃盖板视窗区缺陷检测方法
CN112465706A (zh) 一种闸口集装箱自动验残方法
CN113724240B (zh) 一种基于视觉识别的冷柜脚轮检测方法、系统及装置
CN113516629A (zh) Tfds通过作业智能检测系统
WO2021151412A1 (de) Vorrichtung und verfahren zur automatischen erkennung von beschädigungen an fahrzeugen
CN115965915B (zh) 基于深度学习的铁路货车连接拉杆折断故障识别方法及识别系统
CN114119591A (zh) 一种显示屏画面质量检测方法
CN116337887A (zh) 铸造缸体上表面缺陷检测方法及系统
US11943570B2 (en) Imaged target detection verification
CN111832562B (zh) 基于图像处理的弹簧托板故障识别方法
CN115170923B (zh) 铁路货车托板螺母丢失的故障识别方法
KR20190119801A (ko) 차량 헤드라이트 얼라인먼트 보정 및 분류 방법 및 이를 이용한 차량 헤드라이트 불량검사 방법
JP2019142304A (ja) 落下物検出装置及び落下物検出方法
CN112132824B (zh) 一种货车轴箱弹簧故障自动检测方法
CN110688876A (zh) 一种基于视觉的车道线检测方法及装置
CN115258865A (zh) 电梯门的识别方法及装置
CN107607539A (zh) 一种连杆胀断面质量视觉检测装置和检测方法
CN117557570B (zh) 一种轨道车辆异常检测方法及系统
CN112418097A (zh) 基于深度学习目标检测的地铁车号识别方法
CN113780464A (zh) 转向架紧固件防松标识检测方法

Legal Events

Date Code Title Description
A201 Request for examination