KR102005345B1 - 라인 스캔 카메라를 이용한 자동차 정션 박스 터미널 단자 비전 검사 방법 - Google Patents

라인 스캔 카메라를 이용한 자동차 정션 박스 터미널 단자 비전 검사 방법 Download PDF

Info

Publication number
KR102005345B1
KR102005345B1 KR1020170110302A KR20170110302A KR102005345B1 KR 102005345 B1 KR102005345 B1 KR 102005345B1 KR 1020170110302 A KR1020170110302 A KR 1020170110302A KR 20170110302 A KR20170110302 A KR 20170110302A KR 102005345 B1 KR102005345 B1 KR 102005345B1
Authority
KR
South Korea
Prior art keywords
product
terminal
inspection
photographed
line scan
Prior art date
Application number
KR1020170110302A
Other languages
English (en)
Other versions
KR20190025151A (ko
Inventor
조재수
김호연
박종섭
지상엽
Original Assignee
한국기술교육대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국기술교육대학교 산학협력단 filed Critical 한국기술교육대학교 산학협력단
Priority to KR1020170110302A priority Critical patent/KR102005345B1/ko
Publication of KR20190025151A publication Critical patent/KR20190025151A/ko
Application granted granted Critical
Publication of KR102005345B1 publication Critical patent/KR102005345B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 라인 스캔 카메라를 이용한 자동차 정션 박스 터미널 단자 비전 검사 방법을 공개한다. 이 방법은 개인용 컴퓨터 및 라인 스캔 카메라를 구비하는 터미널 단자 비전검사 시스템의 자동차 정션박스 터미널 단자 비전검사 방법에 있어서, (a) 상기 개인용 컴퓨터가 자동차 정션박스 PCB의 등록한 제품인지 여부를 판단하는 단계; (b) 등록이 완료된 제품인 경우, 제품을 격자 형태의 구역으로 나누어 페이지 단위로 촬영 및 검사되는 단계; (c) 상기 개인용 컴퓨터가 제품의 전체 영역의 검사가 완료되었는지 여부를 판단하는 단계; (d) 제품의 전체 영역의 검사가 완료되었다고 판단된 경우, 검사 결과가 출력 및 저장되는 단계; 및 (e) 등록이 완료된 제품이 아닌 경우, 상기 라인 스캔 카메라로 제품의 모든 영역을 촬영하고, 상기 촬영된 영역 중에서 검사 대상 단자 주위의 관심영역을 탐색한 후, 검사 파라미터 값을 설정 및 저장하여 제품이 등록되는 단계;를 포함하는 것을 특징으로 한다.

Description

라인 스캔 카메라를 이용한 자동차 정션 박스 터미널 단자 비전 검사 방법{An automobile junction box terminal vision inspection method using line scan camera}
본 발명은 자동차 정션 박스 터미널 단자 비전 검사 방법에 관한 것으로서, 특히 검사 대상 단자 주위의 관심영역을 대략적 자동 탐색 및 상세한 수동 탐색 방식과 광이 간접 조명 형태로 균일하게 조사되는 돔 조명, 모터의 동작 시작 또는 동작 정지 지점에 대해 여백을 이용하여 자동차 정션 박스의 PCB 검출 대상 단자가 뒤틀려있거나 간격이 불량일 경우에도 단자 양 끝 단의 위치 관계와 무관하게 단자의 위치 등을 정확하게 검출해 낼 수 있는 라인 스캔 카메라를 이용한 자동차 정션 박스 터미널 단자 비전 검사 방법에 관한 것이다.
자동차 전장 부품 중 하나인 자동차 정션 박스(Junction Box)는 전원을 분배/공급 및 회로를 보호하는 기능을 수행하는 부품으로 전원, 신호, 접지, 다중 통신선을 포함한 전자 제어 통합의 핵심 부품이다.
자동차 정션 박스 PCB(10)의 단자를 비전 검사 장비로 검사하는 항목에는 단자 미 삽입(유/무) 검사, 단자 틀어짐/휘어짐 검사, 단자 간격 오차 검사, 단자 위의 각종 이물질 유/무 검사 등이 있다.
도 1은 다양한 종류 및 사이즈의 일반적인 자동차 정션 박스 PCB의 사진이다.
도 2는 도 1에 도시된 다양한 종류 및 사이즈의 자동차 정션 박스 PCB를 자동 광학 검사하는 일반적인 장비의 사진이다.
자동차 정션 박스의 단자 PCB도 기본적으로 표면실장기술(Surface Mount Technology, SMT)에 의해 생산되지만, 기존의 PCB 부품을 검사할 수 있는 자동 광학 검사(Automatic Optical Inspection, AOI) 비전장비로는 정션 박스의 터미널단자 불량을 검사하기에는 다음과 같은 몇 가지 문제점이 있다.
기존의 PCB AOI 장비는 PCB 위에 장착되어 있는 다양한 부품들을 검사하는 장비로 2D/3D 등의 검사장비가 있지만, 기본적으로 단자 갭 오차의 규격검사를 만족하기에는 그 성능이 부족하다(현재 가성불량 약 10~15%).
그 이유는 기본적으로 AOI 장비의 목적이 정밀한 규격검사가 아니기 때문이다. 그리고 도 1에 보인 단자의 영상에서 확인할 수 있듯이 단자의 높이가 PCB 바닥면과 약 10 ~ 15 mm 정도 되기 때문에 기존 2D AOI 장비로는 심도 등의 이유로 정확성이 떨어지고, 3D 장비의 경우 검사 정확성은 어느 정도 만족되지만 이러한 장비는 비교적 고가(약 6,000만원 ~ 1억 원)이기 때문에 실제 자동차부품 생산회사에서 이러한 고가의 장비를 생산라인에 투자할 수 없는 상황이다.
또한, 종래의 자동차 정션 박스의 PCB 단자 검출 방법은 정상 형태의 단자에 맞춰 설계된 알고리즘이기 때문에 검출 대상 단자가 뒤틀려있거나 간격이 불량일 경우에는 단자를 제대로 검출하지 못하는 한계가 있었다.
이에, 본 발명자들은 자동차 정션 박스의 PCB 검출 대상 단자가 뒤틀려있거나 간격이 불량일 경우에도 단자 양 끝 단의 위치 관계와 무관하게 단자 위치를 검출해 낼 수 있는 라인 스캔 카메라를 이용한 자동차 정션 박스 터미널 단자 비전 검사 방법을 발명하기에 이르렀다.
JP 2009-216647 A
본 발명의 목적은 라인 스캔 카메라 영상촬영을 위한 비전 검사 장비 및 리니어 모터를 활용한 X-Y-Z 축 무빙 스테이지를 통하여 자동차 정션 박스의 PCB 검출 대상 단자가 뒤틀려있거나 간격이 불량일 경우에도 단자 양 끝 단의 위치 관계와 무관하게 단자의 위치, 미 삽입, 갭 불량을 검출해 낼 수 있는 라인 스캔 카메라를 이용한 자동차 정션 박스 터미널 단자 비전 검사 방법을 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명의 라인 스캔 카메라를 이용한 자동차 정션 박스 터미널 단자 비전 검사 방법은 개인용 컴퓨터 및 라인 스캔 카메라를 구비하는 터미널 단자 비전검사 시스템의 자동차 정션박스 터미널 단자 비전검사 방법에 있어서, (a) 상기 개인용 컴퓨터가 자동차 정션박스 PCB의 등록한 제품인지 여부를 판단하는 단계; (b) 등록이 완료된 제품인 경우, 제품을 격자 형태의 구역으로 나누어 페이지 단위로 촬영 및 검사되는 단계; (c) 상기 개인용 컴퓨터가 제품의 전체 영역의 검사가 완료되었는지 여부를 판단하는 단계; (d) 제품의 전체 영역의 검사가 완료되었다고 판단된 경우, 검사 결과가 출력 및 저장되는 단계; 및 (e) 등록이 완료된 제품이 아닌 경우, 상기 라인 스캔 카메라로 제품의 모든 영역을 촬영하고, 상기 촬영된 영역 중에서 검사 대상 단자 주위의 관심영역을 탐색한 후, 검사 파라미터 값을 설정 및 저장하여 제품이 등록되는 단계;를 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 라인 스캔 카메라를 이용한 자동차 정션 박스 터미널 단자 비전 검사 방법은 개인용 컴퓨터 및 라인 스캔 카메라를 구비하는 터미널 단자 비전검사 시스템의 자동차 정션박스 터미널 단자 비전검사 방법에 있어서, (a) 상기 개인용 컴퓨터가 자동차 정션박스 PCB의 등록한 제품인지 여부를 판단하는 단계; (b) 등록이 완료된 제품인 경우, 제품을 격자 형태의 구역으로 나누어 페이지 단위로 촬영 및 검사되는 단계; (c) 상기 개인용 컴퓨터가 제품의 전체 영역의 검사가 완료되었는지 여부를 판단하는 단계; (d) 제품의 전체 영역의 검사가 완료되었다고 판단된 경우, 검사 결과가 출력 및 저장되는 단계; 및 (e) 등록이 완료된 제품이 아닌 경우, 상기 라인 스캔 카메라로 제품의 모든 영역을 촬영하고, 상기 촬영된 영역 중에서 검사 대상 단자 주위의 관심영역을 탐색한 후, 검사 파라미터 값을 설정 및 저장하여 제품이 등록되는 단계;를 포함하고, 상기 (e) 단계는, 상기 개인용 컴퓨터가 상기 촬영된 영상을 획득하면, 상기 획득된 영상에서 저주파 성분을 제외하고 고주파 성분의 영상만을 획득하는 단계; 상기 고주파 성분의 영상의 적분 영상을 획득하여 마스크의 덧셈 연산시 중복 계산을 방지하는 단계; 검사 대상 단자의 형태에 맞게 설계된 상기 마스크로 합성곱 연산을 수행하는 단계; 및 상기 마스크의 위치를 추출하여 상기 관심영역을 자동으로 탐색하는 단계;를 더 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 라인 스캔 카메라를 이용한 자동차 정션 박스 터미널 단자 비전 검사 방법은 개인용 컴퓨터 및 라인 스캔 카메라를 구비하는 터미널 단자 비전검사 시스템의 자동차 정션박스 터미널 단자 비전검사 방법에 있어서, (a) 상기 개인용 컴퓨터가 자동차 정션박스 PCB의 등록한 제품인지 여부를 판단하는 단계; (b) 등록이 완료된 제품인 경우, 제품을 격자 형태의 구역으로 나누어 페이지 단위로 촬영 및 검사되는 단계; (c) 상기 개인용 컴퓨터가 제품의 전체 영역의 검사가 완료되었는지 여부를 판단하는 단계; (d) 제품의 전체 영역의 검사가 완료되었다고 판단된 경우, 검사 결과가 출력 및 저장되는 단계; 및 (e) 등록이 완료된 제품이 아닌 경우, 상기 라인 스캔 카메라로 제품의 모든 영역을 촬영하고, 상기 촬영된 영역 중에서 검사 대상 단자 주위의 관심영역을 탐색한 후, 검사 파라미터 값을 설정 및 저장하여 제품이 등록되는 단계;를 포함하고, 상기 (e) 단계는, 상기 개인용 컴퓨터가 상기 촬영된 영상을 획득하면, 평활화 처리한 후 상기 획득된 영상에서 고주파 성분의 영상만을 획득하는 단계; 상기 고주파 성분의 영상의 적분 영상을 획득하여 마스크의 덧셈 연산시 중복 계산을 방지하는 단계; 검사 대상 단자의 형태에 맞게 설계된 상기 마스크로 합성곱 연산을 수행하는 단계; 및 복수개의 단자 팁 위치를 탐색하여 각 팁의 탐색 위치를 보정하는 단계; 및 상기 복수개의 단자의 상세 위치 탐색이 완료되었다고 판단된 경우, 탐색 결과를 출력 및 저장하는 단계;를 더 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 라인 스캔 카메라를 이용한 자동차 정션 박스 터미널 단자 비전 검사 방법은 개인용 컴퓨터 및 라인 스캔 카메라를 구비하는 터미널 단자 비전검사 시스템의 자동차 정션박스 터미널 단자 비전검사 방법에 있어서, (a) 상기 개인용 컴퓨터가 자동차 정션박스 PCB의 등록한 제품인지 여부를 판단하는 단계; (b) 등록이 완료된 제품인 경우, 제품을 격자 형태의 구역으로 나누어 페이지 단위로 촬영 및 검사되는 단계; (c) 상기 개인용 컴퓨터가 제품의 전체 영역의 검사가 완료되었는지 여부를 판단하는 단계; (d) 제품의 전체 영역의 검사가 완료되었다고 판단된 경우, 검사 결과가 출력 및 저장되는 단계; 및 (e) 등록이 완료된 제품이 아닌 경우, 상기 라인 스캔 카메라로 제품의 모든 영역을 촬영하고, 상기 촬영된 영역 중에서 검사 대상 단자 주위의 관심영역을 탐색한 후, 검사 파라미터 값을 설정 및 저장하여 제품이 등록되는 단계;를 포함하고, 상기 자동차 정션박스 PCB의 촬영시, 복수개의 발광 다이오드로부터 조사되는 광이 돔 내부면에 반사되어 간접 조명 형태로 조사하는 돔 조명을 이용하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 라인 스캔 카메라를 이용한 자동차 정션 박스 터미널 단자 비전 검사 방법은 개인용 컴퓨터 및 라인 스캔 카메라를 구비하는 터미널 단자 비전검사 시스템의 자동차 정션박스 터미널 단자 비전검사 방법에 있어서, (a) 상기 개인용 컴퓨터가 자동차 정션박스 PCB의 등록한 제품인지 여부를 판단하는 단계; (b) 등록이 완료된 제품인 경우, 제품을 격자 형태의 구역으로 나누어 페이지 단위로 촬영 및 검사되는 단계; (c) 상기 개인용 컴퓨터가 제품의 전체 영역의 검사가 완료되었는지 여부를 판단하는 단계; (d) 제품의 전체 영역의 검사가 완료되었다고 판단된 경우, 검사 결과가 출력 및 저장되는 단계; 및 (e) 등록이 완료된 제품이 아닌 경우, 상기 라인 스캔 카메라로 제품의 모든 영역을 촬영하고, 상기 촬영된 영역 중에서 검사 대상 단자 주위의 관심영역을 탐색한 후, 검사 파라미터 값을 설정 및 저장하여 제품이 등록되는 단계;를 포함하고, 상기 관심영역에서 상기 라인 스캔 카메라의 이동을 제어하는 모터의 동작 시작 또는 동작 정지 지점에 대해 여백을 추가하여 검사 영역을 지난 후에 상기 모터의 감속 또는 가속이 이루어지게 하는 것을 특징으로 한다.
기타 실시예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시예를 참조하면 명확해질 것이다.
그러나, 본 발명은 이하에서 개시되는 각 실시예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.
본 발명에 의할 경우, 촬영된 영역 중에서 검사 대상 단자 주위의 관심영역을 대략적으로 자동 탐색한 후에, 상세하게 수동 탐색하여 검사 파라미터를 설정하는 방식과 관심영역에 조사되는 광이 간접 조명 형태로 균일하게 조사되는 돔 조명을 이용하며, 라인 스캔 카메라의 이동을 제어하는 모터의 동작 시작 또는 동작 정지 지점에 대해 여백을 추가하여 단자의 양품/불량 판정 결과에 대한 검사 속도 및 검사 정확도가 현저하게 향상된다.
또한, 라인 스캔 영상의 획득은 전체 검사 영역을 격자 형태의 구획인 페이지로 나누어 수행되어 다른 페이지를 촬영하는 동안 이미 촬영된 페이지 내에 위치해 있는 부품에 대한 검사가 동시에 수행되므로, 전체 정션 박스 터미널 단자 비전 검사 시간을 줄일 수 있게 되어 제품의 생산성이 향상된다.
도 1은 다양한 종류 및 사이즈의 일반적인 자동차 정션 박스 PCB의 사진이다.
도 2는 도 1에 도시된 다양한 종류 및 사이즈의 자동차 정션 박스 PCB를 자동 광학 검사하는 일반적인 장비의 사진이다.
도 3은 도 2에 도시된 자동 광학 검사 장비에서 돔 조명을 이용하여 자동차 정션 박스 PCB를 검사하는 장비의 사진이다.
도 4는 도 2에 도시된 자동 광학 검사 장비에서 바 조명을 이용하여 자동차 정션 박스 PCB를 검사하는 장비의 사진이다.
도 5는 본 발명에 따른 라인 스캔 카메라를 이용한 자동차 정션 박스 터미널 단자 비전 검사 방법을 구현하기 위한 영상 획득 시스템의 구성도이다.
도 6은 본 발명에 따른 라인 스캔 카메라를 이용한 자동차 정션 박스 터미널 단자 비전 검사 방법을 구현하기 위한 비전 검사 시스템의 구성도이다.
도 7은 도 6에 도시된 모터 제어 시스템에서 라인스캔 영상 촬영 과정을 나타내는 개념도이다.
도 8은 도 6에 도시된 모터 제어 시스템에서 라인스캔 영상 촬영 대상인 페이지 내의 검사 항목을 포함하는 자동차 정션 박스 PCB의 평면도이다.
도 9는 도 6에 도시된 모터 제어 시스템에서 라인스캔 영상 촬영시 추가되는 여백을 설명하기 위한 개념도이다.
도 10은 도 6에 도시된 모터 제어 시스템에서 라인스캔 영상 촬영시 이동되는 라인 스캔 카메라의 동작을 설명하기 위한 개념도이다.
도 11은 본 발명에 따른 라인 스캔 카메라를 이용한 자동차 정션 박스 터미널 단자 비전 검사 방법의 동작을 설명하기 위한 순서도이다.
도 12는 도 11에 도시된 터미널 단자 비전 검사 방법을 적용하여 초점에 의해 뚜렷하게 보이는 단자 부분의 사진이다.
도 13은 도 11에 도시된 단계(S220)의 부분 동작을 설명하기 위한 순서도이다.
도 14는 도 13에 도시된 터미널 단자 비전 검사 방법을 적용하여 고주파 성분의 영상만을 획득한 결과의 사진이다.
도 15는 도 13에 도시된 터미널 단자 비전 검사 방법에서 이용하는 마스크 및 이를 적용하여 획득한 영상의 사진이다.
도 16은 도 11에 도시된 터미널 단자 비전 검사 방법에서 이용하는 마스크의 일 실시예인 7x7 마스크이다.
도 19는 도 13에 도시된 터미널 단자 비전 검사 방법을 적용하여 고주파 성분인 화소들을 표시한 결과의 사진이다.
도 20은 도 11에 도시된 단계(S230)의 부분 동작을 설명하기 위한 순서도이다.
도 21은 도 20에 도시된 터미널 단자 비전 검사 방법을 적용하여 단자의 고주파 성분을 그래이 스케일 영상으로 나타낸 결과의 사진이다.
도 22는 도 11에 도시된 터미널 단자 비전 검사 방법을 적용하여 단자의 양품/불량 판정 결과에 대한 검사 속도 및 검사 정확도를 2개의 경쟁업체와 비교한 표이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 바람직한 실시예에 대하여 상세히 설명하면 다음과 같다.
본 발명을 상세하게 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있다.
더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.
즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니다.
이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.
또한, 본 명세서에 있어서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있다.
또한, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.
본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.
더 나아가서, 어떤 구성 요소가 다른 구성 요소의 "내부에 존재하거나, 연결되어 설치된다"고 기재한 경우에는, 이 구성 요소가 다른 구성 요소와 직접적으로 연결되어 있거나 접촉하여 설치되어 있을 수 있다.
또한, 일정한 거리를 두고 이격되어 설치되어 있을 수도 있으며, 일정한 거리를 두고 이격되어 설치되어 있는 경우에 대해서는 해당 구성 요소를 다른 구성 요소에 고정 내지 연결시키기 위한 제 3의 구성 요소 또는 수단이 존재할 수 있다.
한편, 상기 제 3의 구성 요소 또는 수단에 대한 설명은 생략될 수도 있음을 알아야 한다.
반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, 또는 "직접 접속"되어 있다고 기재되는 경우에는, 제 3의 구성 요소 또는 수단이 존재하지 않는 것으로 이해하여야 한다.
마찬가지로, 각 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 " ~ 사이에"와 "바로 ~ 사이에", 또는 " ~ 에 이웃하는"과 " ~ 에 직접 이웃하는" 등도 마찬가지의 취지를 가지고 있는 것으로 해석되어야 한다.
또한, 본 명세서에 있어서 "일면", "타면", "일측", "타측", "제 1", "제 2" 등의 용어는, 하나의 구성 요소에 대해서 이 하나의 구성 요소가 다른 구성 요소로부터 명확하게 구별될 수 있도록 하기 위해서 사용된다.
하지만, 이와 같은 용어에 의해서 해당 구성 요소의 의미가 제한적으로 사용되는 것은 아님을 알아야 한다.
또한, 본 명세서에서 "상", "하", "좌", "우" 등의 위치와 관련된 용어는, 사용된다면, 해당 구성 요소에 대해서 해당 도면에서의 상대적인 위치를 나타내고 있는 것으로 이해하여야 한다.
또한, 이들의 위치에 대해서 절대적인 위치를 특정하지 않는 이상은, 이들 위치 관련 용어가 절대적인 위치를 언급하고 있는 것으로 이해하여서는 아니된다.
더욱이, 본 발명의 명세서에서는, "부", "기", "모듈", "장치" 등의 용어는, 사용된다면, 하나 이상의 기능이나 동작을 처리할 수 있는 단위를 의미한다.
이는 하드웨어 또는 소프트웨어, 또는 하드웨어와 소프트웨어의 결합으로 구현될 수 있음을 알아야 한다.
본 명세서에 첨부된 도면에서 본 발명을 구성하는 각 구성 요소의 크기, 위치, 결합 관계 등은 본 발명의 사상을 충분히 명확하게 전달할 수 있도록 하기 위해서 또는 설명의 편의를 위해서 일부 과장 또는 축소되거나 생략되어 기술되어 있을 수 있고, 따라서 그 비례나 축척은 엄밀하지 않을 수 있다.
또한, 이하에서, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성, 예를 들어, 종래 기술을 포함하는 공지 기술에 대한 상세한 설명은 생략될 수도 있다.
도 3은 도 2에 도시된 자동 광학 검사 장비에서 돔 조명을 이용하여 자동차 정션 박스 PCB를 검사하는 장비의 사진으로서, 돔 조명(50) 및 자동차 정션 박스 PCB(10)를 포함한다.
도 4는 도 2에 도시된 자동 광학 검사 장비에서 바 조명을 이용하여 자동차 정션 박스 PCB를 검사하는 장비의 사진으로서, 바 조명(55) 및 자동차 정션 박스 PCB(10)를 포함한다.
도 3에서 보는 바와 같이, 돔(dome) 조명(50)을 이용하여 자동차 정션 박스 PCB(10)를 검사하는 경우, 충분한 광량을 확보하기가 어려워 이미지가 어둡게 나오는 단점이 있기는 하지만, 반사 등의 영향이 적고, 복수개의 발광 다이오드(LED)로부터 조사되는 광이 돔 내부면에 반사되어 간접 조명 형태로 균일한 조명을 획득할 수 있는 장점이 있다.
반면, 도 4에서 보는 바와 같이, 바(bar) 조명을 이용하여 자동차 정션 박스 PCB(10)를 검사하는 경우, 돔 조명(50)을 사용할 때보다 밝은 광량을 획득할 수 있는 장점이 있지만, 자동차 정션 박스 PCB(10) 기판의 다른 부분들 역시 밝게 보일 수 있다는 단점이 있다.
본 발명에 따른 자동차 정션 박스 터미널 단자 비전 검사 방법은 자동차 정션 박스 PCB(10)의 촬영시 돔 조명(50)을 이용한다.
도 5는 본 발명에 따른 라인 스캔 카메라를 이용한 자동차 정션 박스 터미널 단자 비전 검사 방법을 구현하기 위한 영상 획득 시스템의 구성도로서, 개인용 컴퓨터(110), 모터 컨트롤러(120), 서보 드라이버(130), 리니어 서보 모터(140) 및 라인 스캔 카메라(150)를 구비한다.
도 6은 본 발명에 따른 라인 스캔 카메라를 이용한 자동차 정션 박스 터미널 단자 비전 검사 방법을 구현하기 위한 모터 제어 시스템의 구성도로서, 개인용 컴퓨터(110), 모터 컨트롤러(120), 제1 및 제2 서보 드라이버(131, 132), 제1 및 제2 스텝 드라이버(133, 134), 리니어 서보 모터(140), 서보 모터(141), 제1 내지 제3 스텝 모터(142 내지 144) 및 라인 스캔 카메라(150)를 구비한다.
도 7은 도 6에 도시된 모터 제어 시스템에서 라인스캔 영상 촬영 과정을 나타내는 개념도이다.
도 8은 도 6에 도시된 모터 제어 시스템에서 라인스캔 영상 촬영 대상인 페이지 내의 검사 항목을 포함하는 자동차 정션 박스 PCB(10)의 평면도이다.
도 7에서 보는 바와 같이, 라인 스캔 카메라(150)는 정션 박스 PCB 기판 전체를 촬영하기 위해 모터의 구동으로 일정한 경로(도 7(a)의 청색 실선)에 따라 이동하는데, 카메라의 이동을 최소화하기 위해 지그재그 방식으로 이동한다. 이에 따라, 카메라의 이동 방향에 따라 영상의 상하 순서가 달라진다.
또한, 도 7(b)에서 보는 바와 같이, 촬영 대상 부품의 일부가 중복되어 촬영되므로, 중복되어 촬영된 부분을 제거하여 다시 결합시키면 도 7(c)와 같이 된다.
한편, 라인 스캔 영상의 획득은 전체 검사 영역을 격자 형태의 구획인 페이지로 나누어 수행되는데, 도 8에서 보는 바와 같이, 하나의 페이지를 획득할 때마다 페이지 내에 포함되어 있는 검사 항목들을 개별적으로 검사한다.
이에 따라, 다른 페이지를 촬영하는 동안 이미 촬영된 페이지 내에 위치해 있는 부품에 대한 검사가 수행되므로, 전체 정션 박스 터미널 단자 비전 검사 시간을 줄일 수 있게 된다.
도 9는 도 6에 도시된 모터 제어 시스템에서 라인스캔 영상 촬영시 추가되는 여백을 설명하기 위한 개념도이다.
도 10은 도 6에 도시된 모터 제어 시스템에서 라인스캔 영상 촬영시 이동되는 라인 스캔 카메라(150)의 동작을 설명하기 위한 개념도이다.
라인 스캔 카메라(150)가 모터에 의해 움직이기 때문에 모터의 감속 또는 가속 상태일 때에는 라인 스캔 카메라(150)로부터 획득된 영상이 정확하지 않을 수 있다.
따라서, 도 9에서 보는 바와 같이, 검사 영역에서의 모터 속도를 일정하게 유지하기 위해 모터의 시작 또는 정지 지점에 대해 여백(margin)을 추가하여 검사 영역을 지난 다음에 모터의 감속 또는 가속이 이루어지게 한다.
모터에 연결된 라인 스캔 카메라(150)는 위의 검사 영역을 격자 형태의 지그재그(X축 방향 및 Y축 방향)로 이동하며 엔코더 신호에 모터 이동 속도에 맞게 영상을 입력받게 된다.
즉, 도 10에서 보는 바와 같이, 라인 스캔 카메라(150)가 트리거 신호를 인가 받으면 기 설정된 높이만큼 X축 방향으로 이동하면서 엔코더의 펄스에 응답하여 영상을 획득한다.
X축 방향으로 기 설정된 높이만큼 이동을 완료한 후에는 모터 컨트롤러(120)가 X축 방향 이동 완료 사실 및 획득된 영상을 개인용 컴퓨터(110)에 피드백한다.
개인용 컴퓨터(110)는 Y축 방향으로 기 설정된 거리만큼 라인 스캔 카메라(150)를 이동시키는 모터 동작 명령을 출력한다.
모터 컨트롤러(120)는 모터 동작 명령을 인가받아 모터를 일정 방향 및 속도로 회전시키는 모터 동작 제어 신호를 출력한다.
서보 드라이버(130)는 모터 컨트롤러(120)로부터 모터 동작 제어 신호를 인가받아 라인 스캔 카메라(150)를 Y축 방향으로 기 설정된 거리만큼 이동시키는 모터 가동 신호를 출력한다.
서보 모터는 서보 드라이버(130)로부터 모터 가동 신호를 인가받아 가동하여 일정 방향 및 속도로 회전한다.
라인 스캔 카메라(150)는 서보 모터의 회전에 연동되어 Y축 방향으로 기 설정된 거리만큼 이동한다.
모터 컨트롤러(120)가 Y축 방향 이동 완료 사실을 개인용 컴퓨터(110)에 피드백한 후 대기하는 중에, 개인용 컴퓨터(110)로부터 트리거 신호를 다시 입력받으면 기 설정된 높이만큼 라인 스캔 카메라(150)의 X축 방향 이동 및 영상 획득, X축 방향 이동 완료 사실 피드백, Y축 방향으로 기 설정된 거리만큼 라인 스캔 카메라(150)의 이동, Y축 방향 이동 완료 사실 개인용 컴퓨터(110)에 피드백 동작 등 상기 동작을 반복한다.
도 11은 본 발명에 따른 라인 스캔 카메라를 이용한 자동차 정션 박스 터미널 단자 비전 검사 방법의 동작을 설명하기 위한 순서도이다.
도 12는 도 11에 도시된 터미널 단자 비전 검사 방법을 적용하여 초점에 의해 뚜렷하게 보이는 단자 부분의 사진이다.
도 13은 도 11에 도시된 단계(S220)의 부분 동작을 설명하기 위한 순서도이다.
도 1 내지 도 13을 참조하여 본 발명에 따른 라인 스캔 카메라를 이용한 자동차 정션 박스 터미널 단자 비전 검사 방법의 개략적인 동작을 설명하면 다음과 같다.
검사가 시작되면 스테이지(stage)에 검사할 제품인 자동차 정션 박스 PCB(10)가 거치된다(S100).
검사 대상인 자동차 정션 박스 PCB(10)가 등록한 제품인지 판단한다(S200).
만약 검사 대상이 등록한 제품이 아닌 경우, 라인 스캔 카메라(150)로 제품의 모든 영역을 촬영한다(S210).
촬영된 영역 중에서 단자를 둘러싼 관심영역(region of interest, ROI)을 대략적으로 자동 탐색한 후에(S220), 관심영역을 상세하게 수동 탐색한다(S230).
비전 검사를 위한 검사 파라미터 값들을 적절히 설정 및 저장하여(S240, S250) 제품 등록 절차를 마친다.
제품 등록이 완료되었으면 제품을 격자 형태의 구역으로 나누어 페이지 단위로 촬영 및 검사를 수행하게 된다(S300, S400).
각 구역의 촬영이 끝날 때마다 해당 부분의 검사가 수행되며, 제품의 전체 영역의 검사가 완료되었는지 여부를 판단한다(S500).
제품의 전체 영역의 검사가 완료되었다고 판단된 경우, 검사 결과를 출력하여 확인하고 저장한다(S600).
본 발명에 따른 라인 스캔 카메라를 이용한 자동차 정션 박스 터미널 단자 비전 검사 방법의 상세한 동작 설명은 후술하도록 한다.
도 13은 도 11에 도시된 단계(S220)의 부분 동작을 설명하기 위한 순서도이다.
도 14는 도 11에 도시된 터미널 단자 비전 검사 방법을 적용하여 고주파 성분의 영상만을 획득한 결과의 사진이다.
도 15는 도 11에 도시된 터미널 단자 비전 검사 방법을 적용하여 고주파 성분의 영상만을 획득한 결과의 사진이다.
도 15는 도 13에 도시된 터미널 단자 비전 검사 방법에서 이용하는 마스크 및 이를 적용하여 획득한 영상의 사진이다.
도 16은 도 13에 도시된 터미널 단자 비전 검사 방법에서 이용하는 마스크의 일 실시예인 7x7 마스크이다.
도 17은 도 13에 도시된 터미널 단자 비전 검사 방법을 적용하여 획득한 적분 영상의 개념도이다.
도 18은 도 13에 도시된 터미널 단자 비전 검사 방법을 적용하여 합성곱 연산을 수행한 결과의 사진이다.
도 19는 도 13에 도시된 터미널 단자 비전 검사 방법을 적용하여 고주파 성분인 화소들을 표시한 결과의 사진이다.
도 20은 도 11에 도시된 단계(S230)의 부분 동작을 설명하기 위한 순서도이다.
도 21은 도 20에 도시된 터미널 단자 비전 검사 방법을 적용하여 단자의 고주파 성분을 그래이 스케일 영상으로 나타낸 결과의 사진이다.
도 1 내지 도 13을 참조하여 본 발명에 따른 라인 스캔 카메라를 이용한 자동차 정션 박스 터미널 단자 비전 검사 방법 내 단계(S220)의 개략적인 동작을 설명하면 다음과 같다.
개인용 컴퓨터(110)가 라인 스캔 카메라(150)로부터 촬영된 영상을 획득하면(S221), 원본 영상에서 저주파 성분을 제외하고 고주파 성분의 영상만을 획득한다(S222).
마스크의 덧셈 연산시 중복 계산 방지를 위하여 적분 영상(integral image)을 획득한다(S223).
검사 대상 단자의 형태에 맞게 설계한 마스크(mask)로 합성곱(convolution) 연산을 수행한다(S224).
대략적인 마스크 위치를 추출하여 검사 대상 단자가 위치한 관심영역을 자동으로 탐색한다(S225).
도 1 내지 도 20을 참조하여 본 발명의 라인 스캔 카메라를 이용한 자동차 정션 박스 터미널 단자 비전 검사 방법 내 단계(S230)의 개략적인 동작을 설명하면 다음과 같다.
개인용 컴퓨터(110)가 라인 스캔 카메라(150)로부터 촬영된 영상을 획득하면(S231), 평활화 처리한 후에(S232), 원본 영상에서 고주파 성분의 영상만을 획득한다(S233).
마스크의 덧셈 연산시 중복 계산 방지를 위하여 적분 영상(integral image)을 획득한다(S234).
검사 대상 단자의 형태에 맞게 설계한 마스크(mask)로 합성곱(convolution) 연산을 수행한다(S235).
복수개의 단자 팁(tip), 예를 들어 첫 번째 단자 팁 및 두 번째 단자 팁 위치를 탐색하여(S236, S237), 각 팁의 탐색 위치를 보정한다(S238).
제품의 단자의 상세 위치 탐색이 완료되었다고 판단된 경우, 탐색 결과를 출력하여 확인하고 저장한다(S239).
도 1 내지 도 20을 참조하여 본 발명에 따른 라인 스캔 카메라를 이용한 자동차 정션 박스 터미널 단자 비전 검사 방법의 상세한 동작을 구체적인 실시예를 들어 설명하면 다음과 같다.
먼저, 영상획득을 위한 모터의 제어는 프로세서가 탑재된 개인용 컴퓨터(110)와 서버 역할을 하는 모터 컨트롤러(120) 사이의 통신에 의해 이루어진다.
즉, 개인용 컴퓨터(110)에서 라인 스캔 카메라(150)가 특정 포지션에 위치하도록 이동시키거나 비상 정지시키는 등의 모터 동작 명령을 출력한다.
모터 컨트롤러(120)는 모터 동작 명령을 인가받아 모터 및 센서의 상태를 체크하여 라인 스캔 카메라(150)의 이동을 제어하는 모터 동작 제어 신호를 출력한 후에, 모터의 위치 등 모터의 동작 상태에 대한 정보를 개인용 컴퓨터(110)에 피드백한다.
또한, 모터의 과부하나 전선 접촉 불량, 서보 드라이버에서 에러 상황이 발생한 경우 에러 발생 상황을 개인용 컴퓨터(110)에 알린다.
서보 드라이버(130)는 모터 컨트롤러(120)로부터 모터 동작 제어 신호를 인가받아 모터 가동 신호를 출력한다.
리니어 서보 모터(140)는 서보 드라이버(130)로부터 모터 가동 신호를 인가받아 제1 및 제2 엔코더 신호를 출력한다.
서보 드라이버(130)는 리니어 서보 모터(140)로부터 제1 및 제2 엔코더 신호를 인가받아 라인 스캔 카메라(150) 및 모터 컨트롤러(120)에 전달한다.
라인 스캔 카메라(150)는 서보 드라이버(130)로부터 제1 및 제2 엔코더 신호를 인가받고 개인용 컴퓨터(110)로부터 트리거 신호를 인가받아 라인 스캔 이동하면서 제1 및 제2 엔코더 신호의 상승 시점 또는 하강 시점에 영상 획득 시스템의 컨베이어 상에 위치한 자동차 정션 박스 PCB(10)를 촬영한다.
개인용 컴퓨터(110)는 라인 스캔 카메라(150)로부터 촬영된 자동차 정션 박스 PCB(10)에 대한 영상을 인가받아 영상 데이터를 처리한다.
도 11에서 보는 바와 같이, 검사가 시작되면 스테이지(stage)에 검사할 제품인 자동차 정션 박스 PCB(10)가 거치된다(S100).
만약, 검사 대상인 자동차 정션 박스 PCB(10)가 처음 검사하려는 제품이라면 제품을 검사 시스템에 등록하는 절차를 거쳐야 한다.
제품을 등록하기 위해서는 먼저 새로운 제품 항목을 비전 검사 시스템에 추가하여 라인 스캔 카메라(150)로 제품의 모든 영역을 촬영하고, 비전 검사 시스템에서 대략적인 단자들의 위치를 자동으로 탐색할 수 있도록 한다.
이 과정에서 단자를 둘러싼 관심영역(region of interest, ROI)의 위치와 크기가 부정확할 수 있고 단자가 아닌 부분들도 단자 관심영역으로 표시되거나 단자인데도 관심영역으로 지정되지 않을 수 있다.
이 관심영역들 중에서 단자가 아닌 부분을 제거하고 표시되지 않은 단자를 추가한 다음 각 관심영역들의 위치와 크기를 알맞게 조정한다.
그 후에, 비전 검사를 위한 검사 파라미터 값들을 적절히 설정 및 저장하여 제품 등록 절차를 마친다.
제품 등록이 완료되었으면 제품을 격자 형태의 구역으로 나누어 부분 단위로 촬영 및 검사를 수행하게 된다.
각 구역의 촬영이 끝날 때마다 해당 부분의 검사가 수행되며 이 때, 구역의 경계선에 걸쳐 있는 단자들에 대해서는 나머지 부분의 구역이 촬영될 때 검사가 이루어진다.
모든 구역에 대해 검사가 완료되면 검사 결과를 확인할 수 있다.
본 발명에 따른 라인 스캔 카메라(150)의 초점 설정이 단자의 끝 위치에 맞게 세팅된다는 점에 착안하여 자동차 정션 박스 터미널 단자의 비전 검사를 수행한다.
따라서, 도 12에서 보는 바와 같이, 초점에 맞는 부분은 영상에서 뚜렷하게 보이지만, 나머지 부분은 흐리게 보이기 때문에 영상 내에서 단자가 위치하는 부분은 그렇지 않은 부분에 비해 뚜렷한 영역이라고 할 수 있다.
실제 도 12에서와 같이 단자 촬영 영상에서 초점 설정에 의해 뚜렷하게 보이는 단자 부분과 흐릿하게 보이는 기판 부분의 차이를 명확하게 확인해 볼 수 있다.
ROI 내에서 단자의 대략적인 위치를 탐색하는 알고리즘은 도 13과 같은 절차에 의해 이루어진다.
이 과정을 통해 단자의 후보 위치들이 ROI로 설정되며 제대로 지정되었는지 여부가 확인된다.
즉, 개인용 컴퓨터(110)가 라인 스캔 카메라(150)로부터 촬영된 영상을 획득하면, 도 14에서와 같이 원본 영상에서 가우시안 평활화(blur) 처리 방식을 이용하여 저주파 성분을 제외하고 고주파 성분의 영상만을 획득한다.
이와 같이, 고주파 영상 Ih 를 얻는 과정을 수식으로 나타내면 다음의 수학식 1과 같다.
[수학식 1]
Ih = I G(I)
여기에서, I는 획득된 원본 영상을 의미하며, G는 가우시안 평활화 함수이다.
고주파 영상에서 단자의 위치로 나타날 수 있는 영역을 알아내기 위해 도 15에서와 같이, 단자의 형태에 맞게 설계한 마스크(mask)로 합성곱(convolution) 연산을 수행한다.
여기서, 마스크의 검은 색 부분은 음(negative)의 가중치를, 파란색 부분은 양(positive)의 가중치를 나타낸다.
이 검사 환경에서 단자는 가로로 줄 지어 있거나 세로로 줄지어 있기 때문에 이와 같은 형태의 마스크를 사용하면 가로, 세로 어느 방향의 단자라도 일정 이상의 반응을 나타내게 된다.
마스크의 크기는 입력 영상에서 단자가 차지하는 크기에 의해 결정된다.
마스크 내에서 단자가 차지하는 영역의 값을 더해주고 나머지 단자가 아닌 영역에 대해서는 값을 빼 주는 형태이다.
그러면 마스크의 중심이 단자 중심과 일치했을 때 가장 큰 반응 값을 보여줄 것이라 예상할 수 있다.
마스크의 덧셈 연산을 효과적으로 수행하기 위해서 적분 영상(integral image)을 이용하였다.
도 17에서 볼 수 있듯이, 적분 영상을 사용하면 어느 위치의 합을 계산하더라도 4개의 값만을 계산하면 되기 때문에 중복되는 계산이 줄어든다.
도 18은 상기 도 14의 고주파 영상에 합성곱(convolution) 연산을 수행한 결과이다.
이론적으로 신호가 강할수록 영상에서 밝게 보이는데, 실제로는 좀 더 흐릿하게 보이지만 여기서는 이진화(binarization) 처리를 수행하여 눈에 잘 보이도록 하였다.
최종적으로 설정되는 ROI들의 중심은 각 단자의 중심에 맞게 조절되어야 한다.
이와 같이 어느 정도 단자의 위치가 판명 되었으면 최종적인 단자의 불량 유/무를 판별하기 위해서 이제 좀 더 세밀한 단자의 위치를 파악할 차례이다.
여기서는 추가적으로 영상의 고주파 성분을 다시 한 번 정밀하게 이용할 수 있다.
도 19(b)에서 붉은색으로 표시된 부분은 주변 화소들과의 차이가 크게 나타나는, 즉 고주파 성분인 화소들을 표시하고 있으며, 단자의 경계선과 그 위치가 일치하고 있음을 알 수 있다.
이 과정에서는 단자가 아닌 영역 또한 단자의 위치로 추정할 가능성이 있다. 최초 설정 과정에서 사용자가 대략적으로 선별된 단자 위치들(ROI) 중에서 단자가 아닌 ROI는 제외하고 누락된 ROI는 추가하여 각각의 영역에 대해 상세 탐색을 수행할 수 있도록 해야 한다.
즉, 이 과정은 단자 주변에 설정된 대략적인 ROI 내에서 정확한 단자 위치를 찾는 과정으로서, ROI 내에서 단자의 상세 위치를 탐색하는 비전처리 알고리즘은 도 20과 같은 절차에 의해 이루어진다.
이 과정에서는 단자의 양쪽 팁 중심 위치가 출력된다.
이 과정에서는 단자의 두 팁(tip)을 각각 개별적으로 찾게 된다.
단자의 상세 위치 탐색에서는 고주파 성분을 추출할 때 단자의 대략적인 위치 탐색과는 다른 방법을 사용한다.
각 팁을 찾아내기 위해 영상에서의 경계선인 고주파 성분을 다시 한 번 이용하는데, 단자의 고주파 성분(흰색 부분)을 그래이 스케일(Grayscale) 영상으로 나타내면 도 21과 같다.
즉, 중심 화소를 기준으로 주변 화소와의 밝기 차 중에서 가장 큰 값을 고주파 응답이라고 할 수 있다.
영상이 잡음 등에 너무 영향을 받지 않도록 고주파 응답을 계산하기 전에 중간 값 필터(median filter)를 사용하여 잡음을 제거할 수 있다.
단자 팁(tip)의 경계선(edge)이 영상에서 직사각형 형태로 나타나기 때문에 도 21과 같은 모양의 마스크(mask)를 설정하여 마스크(흰색 부분) 내에 들어오는 경계선 화소 값들의 합이 최대가 되는 부분을 찾아낸다.
마스크 내의 합은 적분 영상(integral image)을 이용해서 계산하여 처리 속도를 향상시킨다.
단자의 양품/불량 판정은 뒤틀림 검사, 누움 검사 및 단자 간격 판정을 통해 이루어진다.
뒤틀림 검사는 검출된 단자 팁(tip)중심 간의 수직 거리(가로 방향 단자일 경우 y축 방향 거리)를 측정하여 계산한다.
1차적으로 픽셀 거리가 출력되고, 이 픽셀거리에 대한 비례식에 의해 실제 뒤틀린 거리를 계산하게 된다.
누움 검사는 단자의 기울어짐이 단자의 중심으로부터 얼마나 멀어졌는가를 기준으로 하며, 단자의 길이를 알고 있으면 삼각함수를 이용하여 각도를 추정할 수 있다.
단자의 누움 정도는 검출된 단자 팁(tip) 중심의 ROI 내에서의 수직 위치(가로 방향 단자일 경우 y 위치)를 측정하여 계산한다.
ROI를 설정할 때 양품 영상을 기준으로 설정하기 때문에 ROI의 위치는 뒤틀리지 않은 정상 위치에 맞게 조정되어 있다.
따라서, 이 ROI의 중심으로부터 단자의 끝이 얼마나 벗어나 있는지를 조사하면 단자의 누움 정도를 알 수 있다.
단자 간격 판정은 단자의 중심부에 가까이 위치한 각 팁의 경계선 사이의 거리를 측정하여 이루어진다. 단자의 간격도 마찬가지로 픽셀 거리로부터 환산된 실제 거리를 계산하게 된다.
도 22는 도 11에 도시된 터미널 단자 비전 검사 방법을 적용하여 단자의 양품/불량 판정 결과에 대한 검사 속도 및 검사 정확도를 2개의 경쟁업체와 비교한 표이다.
여기에서, FPR은 전체 단자의 개수 대비 실제 상태가 불량이지만 검사결과가 양품인 단자의 개수 비율을 계산한 정확도이고, FNR은 전체 단자의 개수 대비 실제 상태가 양품이지만 검사결과가 불량인 단자의 개수 비율을 계산한 정확도를 의미한다.
도 22에서 보는 바와 같이, 본 발명의 터미널 단자 비전 검사 방법을 적용하여 단자의 양품/불량을 판정한 결과, 검사 속도는 2개 경쟁업체의 2~3배이고, 검사 정확도는 10~100배인 것이 확인되었다.
이와 같이, 본 발명은 라인 스캔 카메라 영상촬영을 위한 비전 검사 장비 및 리니어 모터를 활용한 X-Y-Z 축 무빙 스테이지를 통하여 자동차 정션 박스의 PCB 검출 대상 단자가 뒤틀려있거나 간격이 불량일 경우에도 단자 양 끝 단의 위치 관계와 무관하게 단자의 위치, 미 삽입, 갭 불량을 검출해 낼 수 있는 라인 스캔 카메라를 이용한 자동차 정션 박스 터미널 단자 비전 검사 방법을 제공한다.
이를 통하여, 촬영된 영역 중에서 검사 대상 단자 주위의 관심영역을 대략적으로 자동 탐색한 후에, 상세하게 수동 탐색하여 검사 파라미터를 설정하는 방식과 관심영역에 조사되는 광이 간접 조명 형태로 균일하게 조사되는 돔 조명을 이용을 이용하며, 라인 스캔 카메라의 이동을 제어하는 모터의 동작 시작 또는 동작 정지 지점에 대해 여백을 추가하여 단자의 양품/불량 판정 결과에 대한 검사 속도 및 검사 정확도가 현저하게 향상된다.
또한, 라인 스캔 영상의 획득은 전체 검사 영역을 격자 형태의 구획인 페이지로 나누어 수행되어 다른 페이지를 촬영하는 동안 이미 촬영된 페이지 내에 위치해 있는 부품에 대한 검사가 동시에 수행되므로, 전체 정션 박스 터미널 단자 비전 검사 시간을 줄일 수 있게 되어 제품의 생산성이 향상된다.
이상, 일부 예를 들어서 본 발명의 바람직한 여러 가지 실시예에 대해서 설명하였지만, 본 "발명을 실시하기 위한 구체적인 내용" 항목에 기재된 여러 가지 다양한 실시예에 관한 설명은 예시적인 것에 불과한 것이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이상의 설명으로부터 본 발명을 다양하게 변형하여 실시하거나 본 발명과 균등한 실시를 행할 수 있다는 점을 잘 이해하고 있을 것이다.
또한, 본 발명은 다른 다양한 형태로 구현될 수 있기 때문에 본 발명은 상술한 설명에 의해서 한정되는 것이 아니며, 이상의 설명은 본 발명의 개시 내용이 완전해지도록 하기 위한 것으로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이며, 본 발명은 청구범위의 각 청구항에 의해서 정의될 뿐임을 알아야 한다.
10: 자동차 정션 박스 PCB
50: 돔 조명
55: 바 조명
110 : 개인용 컴퓨터
120 : 모터 컨트롤러
130 : 서보 드라이버
131,132 : 제1 및 제2 서보 드라이버
133, 134 : 제1 및 제2 스텝 드라이버
140 : 리니어 서보 모터
141 : 서보 모터
142 내지 144 : 제1 내지 제3 스텝 모터
150 : 라인 스캔 카메라

Claims (5)

  1. 개인용 컴퓨터 및 라인 스캔 카메라를 구비하는 터미널 단자 비전검사 시스템의 자동차 정션박스 터미널 단자 비전검사 방법에 있어서,
    (a) 상기 개인용 컴퓨터가 자동차 정션박스 PCB의 등록한 제품인지 여부를 판단하는 단계;
    (b) 등록이 완료된 제품인 경우, 제품을 격자 형태의 구역으로 나누어 페이지 단위로 촬영 및 검사되는 단계;
    (c) 상기 개인용 컴퓨터가 제품의 전체 영역의 검사가 완료되었는지 여부를 판단하는 단계;
    (d) 제품의 전체 영역의 검사가 완료되었다고 판단된 경우, 검사 결과가 출력 및 저장되는 단계; 및
    (e) 등록이 완료된 제품이 아닌 경우, 상기 라인 스캔 카메라로 제품의 모든 영역을 촬영하고, 상기 촬영된 영역 중에서 검사 대상 단자 주위의 관심영역을 탐색한 후, 검사 파라미터 값을 설정 및 저장하여 제품이 등록되는 단계;
    를 포함하고,
    상기 (b) 단계에서,
    상기 개인용 컴퓨터가 상기 촬영된 제품에 대한 영상을 인가받아 영상 데이터를 처리하여, 상기 나누어진 페이지 중 제1 페이지를 촬영하는 동안 이미 촬영된 제2 페이지 내에 위치해 있는 제품에 대한 상기 검사를 동시에 수행하는 것을 특징으로 하는,
    라인 스캔 카메라를 이용한 자동차 정션박스 터미널 단자 비전검사 방법.
  2. 개인용 컴퓨터 및 라인 스캔 카메라를 구비하는 터미널 단자 비전검사 시스템의 자동차 정션박스 터미널 단자 비전검사 방법에 있어서,
    (a) 상기 개인용 컴퓨터가 자동차 정션박스 PCB의 등록한 제품인지 여부를 판단하는 단계;
    (b) 등록이 완료된 제품인 경우, 제품을 격자 형태의 구역으로 나누어 페이지 단위로 촬영 및 검사되는 단계;
    (c) 상기 개인용 컴퓨터가 제품의 전체 영역의 검사가 완료되었는지 여부를 판단하는 단계;
    (d) 제품의 전체 영역의 검사가 완료되었다고 판단된 경우, 검사 결과가 출력 및 저장되는 단계; 및
    (e) 등록이 완료된 제품이 아닌 경우, 상기 라인 스캔 카메라로 제품의 모든 영역을 촬영하고, 상기 촬영된 영역 중에서 검사 대상 단자 주위의 관심영역을 탐색한 후, 검사 파라미터 값을 설정 및 저장하여 제품이 등록되는 단계;
    를 포함하고,
    상기 (e) 단계는,
    상기 개인용 컴퓨터가 상기 촬영된 영상을 획득하면, 상기 획득된 영상에서 저주파 성분을 제외하고 고주파 성분의 영상만을 획득하는 단계;
    상기 고주파 성분의 영상의 적분 영상을 획득하여 마스크의 덧셈 연산시 중복 계산을 방지하는 단계;
    검사 대상 단자의 형태에 맞게 설계된 상기 마스크로 합성곱 연산을 수행하는 단계; 및
    상기 마스크의 위치를 추출하여 상기 관심영역을 자동으로 탐색하는 단계;
    를 더 포함하는 것을 특징으로 하는,
    라인 스캔 카메라를 이용한 자동차 정션박스 터미널 단자 비전검사 방법.
  3. 개인용 컴퓨터 및 라인 스캔 카메라를 구비하는 터미널 단자 비전검사 시스템의 자동차 정션박스 터미널 단자 비전검사 방법에 있어서,
    (a) 상기 개인용 컴퓨터가 자동차 정션박스 PCB의 등록한 제품인지 여부를 판단하는 단계;
    (b) 등록이 완료된 제품인 경우, 제품을 격자 형태의 구역으로 나누어 페이지 단위로 촬영 및 검사되는 단계;
    (c) 상기 개인용 컴퓨터가 제품의 전체 영역의 검사가 완료되었는지 여부를 판단하는 단계;
    (d) 제품의 전체 영역의 검사가 완료되었다고 판단된 경우, 검사 결과가 출력 및 저장되는 단계; 및
    (e) 등록이 완료된 제품이 아닌 경우, 상기 라인 스캔 카메라로 제품의 모든 영역을 촬영하고, 상기 촬영된 영역 중에서 검사 대상 단자 주위의 관심영역을 탐색한 후, 검사 파라미터 값을 설정 및 저장하여 제품이 등록되는 단계;
    를 포함하고,
    상기 (e) 단계는,
    상기 개인용 컴퓨터가 상기 촬영된 영상을 획득하면, 평활화 처리한 후 상기 획득된 영상에서 고주파 성분의 영상만을 획득하는 단계;
    상기 고주파 성분의 영상의 적분 영상을 획득하여 마스크의 덧셈 연산시 중복 계산을 방지하는 단계;
    검사 대상 단자의 형태에 맞게 설계된 상기 마스크로 합성곱 연산을 수행하는 단계; 및
    복수개의 단자 팁 위치를 탐색하여 각 팁의 탐색 위치를 보정하는 단계; 및
    상기 복수개의 단자의 상세 위치 탐색이 완료되었다고 판단된 경우, 탐색 결과를 출력 및 저장하는 단계;
    를 더 포함하는 것을 특징으로 하는,
    라인 스캔 카메라를 이용한 자동차 정션박스 터미널 단자 비전검사 방법.
  4. 개인용 컴퓨터 및 라인 스캔 카메라를 구비하는 터미널 단자 비전검사 시스템의 자동차 정션박스 터미널 단자 비전검사 방법에 있어서,
    (a) 상기 개인용 컴퓨터가 자동차 정션박스 PCB의 등록한 제품인지 여부를 판단하는 단계;
    (b) 등록이 완료된 제품인 경우, 제품을 격자 형태의 구역으로 나누어 페이지 단위로 촬영 및 검사되는 단계;
    (c) 상기 개인용 컴퓨터가 제품의 전체 영역의 검사가 완료되었는지 여부를 판단하는 단계;
    (d) 제품의 전체 영역의 검사가 완료되었다고 판단된 경우, 검사 결과가 출력 및 저장되는 단계; 및
    (e) 등록이 완료된 제품이 아닌 경우, 상기 라인 스캔 카메라로 제품의 모든 영역을 촬영하고, 상기 촬영된 영역 중에서 검사 대상 단자 주위의 관심영역을 탐색한 후, 검사 파라미터 값을 설정 및 저장하여 제품이 등록되는 단계;
    를 포함하고,
    상기 (b) 단계에서,
    상기 개인용 컴퓨터가 상기 촬영된 제품에 대한 영상을 인가받아 영상 데이터를 처리하여, 상기 나누어진 페이지 중 제1 페이지를 촬영하는 동안 이미 촬영된 제2 페이지 내에 위치해 있는 제품에 대한 상기 검사를 동시에 수행하며,
    상기 자동차 정션박스 PCB의 촬영시,
    복수개의 발광 다이오드로부터 조사되는 광이 돔 내부면에 반사되어 간접 조명 형태로 조사하는 돔 조명을 이용하는 것을 특징으로 하는,
    라인 스캔 카메라를 이용한 자동차 정션박스 터미널 단자 비전검사 방법.
  5. 개인용 컴퓨터 및 라인 스캔 카메라를 구비하는 터미널 단자 비전검사 시스템의 자동차 정션박스 터미널 단자 비전검사 방법에 있어서,
    (a) 상기 개인용 컴퓨터가 자동차 정션박스 PCB의 등록한 제품인지 여부를 판단하는 단계;
    (b) 등록이 완료된 제품인 경우, 제품을 격자 형태의 구역으로 나누어 페이지 단위로 촬영 및 검사되는 단계;
    (c) 상기 개인용 컴퓨터가 제품의 전체 영역의 검사가 완료되었는지 여부를 판단하는 단계;
    (d) 제품의 전체 영역의 검사가 완료되었다고 판단된 경우, 검사 결과가 출력 및 저장되는 단계; 및
    (e) 등록이 완료된 제품이 아닌 경우, 상기 라인 스캔 카메라로 제품의 모든 영역을 촬영하고, 상기 촬영된 영역 중에서 검사 대상 단자 주위의 관심영역을 탐색한 후, 검사 파라미터 값을 설정 및 저장하여 제품이 등록되는 단계;
    를 포함하고,
    상기 (b) 단계에서,
    상기 개인용 컴퓨터가 상기 촬영된 제품에 대한 영상을 인가받아 영상 데이터를 처리하여, 상기 나누어진 페이지 중 제1 페이지를 촬영하는 동안 이미 촬영된 제2 페이지 내에 위치해 있는 제품에 대한 상기 검사를 동시에 수행하며,
    상기 관심영역에서 상기 라인 스캔 카메라의 이동을 제어하는 모터의 동작 시작 또는 동작 정지 지점에 대해 여백을 추가하여 검사 영역을 지난 후에 상기 모터의 감속 또는 가속이 이루어지게 하는 것을 특징으로 하는,
    라인 스캔 카메라를 이용한 자동차 정션박스 터미널 단자 비전검사 방법.

KR1020170110302A 2017-08-30 2017-08-30 라인 스캔 카메라를 이용한 자동차 정션 박스 터미널 단자 비전 검사 방법 KR102005345B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170110302A KR102005345B1 (ko) 2017-08-30 2017-08-30 라인 스캔 카메라를 이용한 자동차 정션 박스 터미널 단자 비전 검사 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170110302A KR102005345B1 (ko) 2017-08-30 2017-08-30 라인 스캔 카메라를 이용한 자동차 정션 박스 터미널 단자 비전 검사 방법

Publications (2)

Publication Number Publication Date
KR20190025151A KR20190025151A (ko) 2019-03-11
KR102005345B1 true KR102005345B1 (ko) 2019-07-31

Family

ID=65758469

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170110302A KR102005345B1 (ko) 2017-08-30 2017-08-30 라인 스캔 카메라를 이용한 자동차 정션 박스 터미널 단자 비전 검사 방법

Country Status (1)

Country Link
KR (1) KR102005345B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005172584A (ja) * 2003-12-10 2005-06-30 Shirai Denshi Kogyo Kk 印刷物の検査方法およびその検査装置
KR100731295B1 (ko) 2006-03-31 2007-06-27 경신공업 주식회사 정션박스 검사장치
KR101473569B1 (ko) * 2013-07-03 2014-12-26 주식회사 앤비젼 라인스캔 카메라를 이용한 결함 검사 장치 및 그 방법
KR101628158B1 (ko) 2014-12-05 2016-06-09 주식회사 미르기술 3차원 형상 측정 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009216647A (ja) 2008-03-12 2009-09-24 Fujifilm Corp 欠陥検査方法及び欠陥検査装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005172584A (ja) * 2003-12-10 2005-06-30 Shirai Denshi Kogyo Kk 印刷物の検査方法およびその検査装置
KR100731295B1 (ko) 2006-03-31 2007-06-27 경신공업 주식회사 정션박스 검사장치
KR101473569B1 (ko) * 2013-07-03 2014-12-26 주식회사 앤비젼 라인스캔 카메라를 이용한 결함 검사 장치 및 그 방법
KR101628158B1 (ko) 2014-12-05 2016-06-09 주식회사 미르기술 3차원 형상 측정 장치

Also Published As

Publication number Publication date
KR20190025151A (ko) 2019-03-11

Similar Documents

Publication Publication Date Title
CN104335030B (zh) 基板的异物检测方法
EP1568985A2 (en) Apparatus for surface inspection and method and apparatus for inspecting substrate
CN112505056A (zh) 缺陷检测方法和装置
JP2014526706A (ja) 非接触式部品検査装置及び部品検査方法
US20140078296A1 (en) Three-dimensional measuring apparatus
KR101129349B1 (ko) 부품 실장기판 검사 장치
JP2019100917A (ja) 検査プログラム生成システム、検査プログラムの生成方法、及び検査プログラムの生成用プログラム
US11982522B2 (en) Three-dimensional measuring device
JP6303352B2 (ja) 外観検査システム
WO2018198991A1 (ja) 画像検査装置、生産システム、画像検査方法、プログラム及び記憶媒体
JP2014066657A (ja) 自動車車体の表面検査装置および表面検査方法
KR101622628B1 (ko) 부품이 실장된 기판 검사방법 및 검사장치
JP4322230B2 (ja) 表面欠陥検査装置及び表面欠陥検査方法
JP5417197B2 (ja) 検査装置および検査方法
KR101522312B1 (ko) Pcb 제품 검사 장치 및 이를 이용한 pcb 제품 검사 방법
CN115375610A (zh) 检测方法及装置、检测设备和存储介质
WO2005100960A1 (ja) 表面欠陥検査装置
JP5832167B2 (ja) 部品有無判定装置及び部品有無判定方法
KR102005345B1 (ko) 라인 스캔 카메라를 이용한 자동차 정션 박스 터미널 단자 비전 검사 방법
JP3597484B2 (ja) はんだ印刷検査装置
CN115100166A (zh) 焊点缺陷检测方法及装置
JP4349960B2 (ja) 表面欠陥検査装置
JP2023044154A (ja) 基板の毛髪検査装置及び基板の毛髪検査方法
KR102117697B1 (ko) 표면검사 장치 및 방법
KR100605027B1 (ko) 카메라 또는 검사 대상의 이동 중 영상 획득에 의한영상검사방법 및 영상검사장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant