KR100383105B1 - 컴퓨터비젼을 이용한 차체 패널의 소형부품 부착유무 자동검사 방법 - Google Patents

Abstract

본 발명은 컴퓨터비젼을 이용한 차체 패널의 소형부품 부착유무 자동검사 방법에 관한 것으로, 그 목적은 인덱스 지그에 차체 패널을 고정시켜 볼트와 너트 및 유닛과 같은 부품을 스폿 용접과 아크 용접을 하여 부착 시 CCD카메라와 멀티플렉서 및 컴퓨터비젼을 이용하여 부품의 부착유무를 그래픽 보드에 출력함으로서 부품 누락을 감시할 수 있는 컴퓨터비젼을 이용한 차체 패널의 소형부품 부착유무 자동검사 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명은 생산해야할 모델(차종)을 선정하여 모든 공정에 PLC를 통하여 통보하고, 상기 선정된 모델(차종)에 따라 컴퓨터비젼에 기억된 여러모델의 그룹데이터 중 한개 그룹의 데이터가 선택되며, 인덱스 지그로의 검사용 차체패널의 안착이 접촉식 센서에 의해 감지되어 컴퓨터비젼으로 전송되고, 상기 센서의 감지에 의해 CCD 카메라가 차체패널의 각 검사부위를 촬영하여 컴퓨터비젼에서 전송하고, 컴퓨터비젼에서 기억된 차체패널 데이터와 입력된 화상데이터를 비교하여 이를 디스플레이 하므로서, 볼트, 너트, 유닛 등의 부품이 스폿/아크용접에 의해 부착되고, 중량 15㎏ 이상, 길이 1m 이상이 되는 차체패널의 소형부품 부착유무 여부를 검사하는 차체패널의 소형부품 부착여부 검사방법에 있어서;상기 차체패널의 소형부품 부착여부 검사방법은 상기 접촉식 센서에 의해 감지되어 컴퓨터 비젼으로 전송된 검사용 차체패널의 감지신호에 따라 RH 또는 LH 조립라인이 선택되는 단계; 선택된 라인에 따라 해당 라인에 일정간격으로 설치된 다수개의 CCD 카메라에 의해 차체패널의 검사부분 화상데이터를 각각 획득하는 단계; 상기 CCD 카메라에 의해 획득된 다수개의 화상데이터를 16채널용 멀티플렉서로 전송하는 단계; 상기 16채널용 멀티플렉서에서 채널교환방식으로 순차별 입력된 화상데이터를 컴퓨터비전으로 전송되는 단계; 상기 컴퓨터비전으로 입력된 화상데이터를 필터링하고 패턴 매칭이 가능한 선형화 데이터로 변화한 다음, 프레임메모리에서 데이터를 분류하는 단계; 상기 입력/분석된 화상데이터와 미리 기억(등록)되어 있던 차체패널 데이터를 비교하여 그 결과를 컴퓨터비젼에 디스플레이함과 동시에, 그래픽보드로 전송하는 단계; 그래픽보드의 청색/적색 LED의 온(on)에 의해 소형부품의 부착 유무를 판별하는 단계; 상기 소형 부품의 부착이상 발견시 컴퓨터 비젼에 의해 라인 자동화 인터록 신호에 제동을 걸고, 이상이 없을 시 인덱스 지그를 고정하여 산업용 로봇에 의해 차체채널을 결합하는 단계를 포함하여 구성되어 차체 패널의 소형부품 부착유무를 자동검사하는 방법을 제공함에 있다.

Description

컴퓨터비젼을 이용한 차체 패널의 소형부품 부착유무 자동검사 방법{An auto Inspection Method for attachment preseuce of parts for Panel of Motor Body Using Computer Vision}

본 발명은 컴퓨터비젼을 이용한 차체 패널의 소형부품 부착유무 자동검사 방법에 관한 것으로, 더 상세하게는 산업용 CCD 카메라로 차체 패널에 부착하는 부품의 부착유무를 감시하고 감시상태를 외부로 출력하는 컴퓨터비젼을 이용한 차체 패널의 소형부품 부착유무 자동검사 방법에 관한 것이다.

일반적으로 자동차 차체 생산 현장에서 생산관리팀은 생산 모델이 단종 될 때까지 사이클 타임을 1초라도 줄이기 위해서 노력하고 있다. 따라서 이 자동 검사 시스템이 적용되는 공장의 경우 1일 약 20시간 작업에 560대 이상을 생산해야 하므로 생산 사이클 타임은 자동차 공장의 경영에 상당한 의미를 가지게 된다.

이러한 환경임에도 불구하고 종래에는 차체 패널에 용접된 부품을 작업자가 육안검사를 하면서 많은 부품을 한 개씩 매직으로 표시하면서 부착 유무를 검사하여 누락이 발생될 소지가 있었고 특히 야간 작업인 경우에는 이 문제점이 더욱 심각하게 대두되었다.

또한, 이렇게 부품 누락이 빈번한 차체 패널을 상위 공정에 그대로 투입하여 차체 패널 조립 작업을 가동하게 되면, 최종 차체 패널 결합 라인에서 작업자가 부품 누락을 발견하게 되더라도 누락 부품을 재 부착하는 것은 거의 불가능하게 되어 완성품을 프레스로 압착하여 폐기하므로 생산성과 경제성을 저해하는 문제점이 있었다.

이러한 문제점을 해결하기 위해 차체 조립 공정의 관리자들은 인덱스 지그에 볼트, 너트, 유닛과 같은 부품을 접촉식 센서로 검출하여 제어시스템과 인터록을 적용하는 방법을 적용하였으나 소요 경비에 비하여 교체기간이 약 3개월 정도로 너무 짧고, 패널에 용접할 때 접촉식 센서를 통한 고전류 통전으로 제어 시스템에 노이즈 유입이 우려되며, 노이즈의 영향으로 자동화 인터록의 오동작 원인이 될 수 있고, 차체 패널의 모델이 변경되면 접촉식 센서의 고정부를 변경해야 하는 단점이 있었다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로, 인덱스 지그에 차체 패널을 고정시켜 볼트와 너트, 유닛과 같은 부품을 스폿 용접과 아크 용접을 하여 부착시 감시상태를 외부의 그래픽 보드에 출력하여 부품의 누락을 감시할 수 있는 컴퓨터비젼을 이용한 차체 패널의 소형부품 부착유무 자동검사 방법을 제공함을 목적으로 한다.상기 목적을 달성하기 위한 본 발명은 생산해야할 모델(차종)을 선정하여 모든 공정에 PLC를 통하여 통보하고, 상기 선정된 모델(차종)에 따라 컴퓨터비젼에 기억된 여러모델의 그룹데이터 중 한개 그룹의 데이터가 선택되며, 인덱스 지그로의 검사용 차체패널의 안착이 접촉식 센서에 의해 감지되어 컴퓨터비젼으로 전송되고, 상기 센서의 감지에 의해 CCD 카메라가 차체패널의 각 검사부위를 촬영하여 컴퓨터비젼에서 전송하고, 컴퓨터비젼에서 기억된 차체패널 데이터와 입력된 화상데이터를 비교하여 이를 디스플레이 하므로서, 볼트, 너트, 유닛 등의 부품이 스폿/아크용접에 의해 부착되고, 중량 15㎏ 이상, 길이 1m 이상이 되는 차체패널의 소형부품 부착유무 여부를 검사하는 차체패널의 소형부품 부착여부 검사방법에 있어서;상기 차체패널의 소형부품 부착여부 검사방법은 상기 접촉식 센서에 의해 감지되어 컴퓨터 비젼으로 전송된 검사용 차체패널의 감지신호에 따라 RH 또는 LH 조립라인이 선택되는 단계; 선택된 라인에 따라 해당 라인에 일정간격으로 설치된 다수개의 CCD 카메라에 의해 차체패널의 검사부분 화상데이터를 각각 획득하는 단계; 상기 CCD 카메라에 의해 획득된 다수개의 화상데이터를 16채널용 멀티플렉서로 전송하는 단계; 상기 16채널용 멀티플렉서에서 채널교환방식으로 순차별 입력된 화상데이터를 컴퓨터비전으로 전송되는 단계; 상기 컴퓨터비전으로 입력된 화상데이터를 필터링하고 패턴 매칭이 가능한 선형화 데이터로 변화한 다음, 프레임메모리에서 데이터를 분류하는 단계; 상기 입력/분석된 화상데이터와 미리 기억(등록)되어 있던 차체패널 데이터를 비교하여 그 결과를 컴퓨터비젼에 디스플레이함과 동시에, 그래픽보드로 전송하는 단계; 그래픽보드의 청색/적색 LED의 온(on)에 의해 소형부품의 부착 유무를 판별하는 단계; 상기 소형 부품의 부착이상 발견시 컴퓨터 비젼에 의해 라인 자동화 인터록 신호에 제동을 걸고, 이상이 없을 시 인덱스 지그를 고정하여 산업용 로봇에 의해 차체채널을 결합하는 단계를 포함하여 구성되어 차체 패널의 소형부품 부착유무를 자동검사하는 방법을 제공함에 있다.

도 1 은 본 발명의 구성을 나타내는 블럭도

도 2 는 본 발명의 컴퓨터비젼을 이용한 차체 패널 자동검사 시스템 장치의 구성을 보인 사진

도 3 은 종래의 접촉식 센서로 검출하기 위한 차체 패널 자동검사 시스템 장치 사진

도 4 는 컴퓨터비젼 전체가 설치된 사각 박스 외관사진

도 5 는 컴퓨터비젼의 배치와 16채널용 멀티플렉서의 외관사진

도 6 은 산업용 CCD카메라의 상세 배치도 사진

도 7a 는 R/H공정의 각 카메라별 검사영역과 결과를 출력하는 그래픽 보드 설계도.

도 7b 는 L/H공정의 각 카메라별 검사영역과 결과를 출력하는 그래픽 보드 설계도.

도 8 은 자동차 차체를 구성하는 차체 패널 사진.

도 9 는 인덱스 지그 및 산업용 로봇 사진

<도면의 주요부분에 대한 부호의 설명>

10 : 컴퓨터 비젼 20 : 인덱스 지그

30 : 산업용 로봇 40 : CCD 카메라

50 : 멀티 플렉서 60 : 그래픽 보드

70 : 차체 패널 80 : 너트

90 : 볼트 100 : 유닛

110 : 접촉식 센서 120 : 센서의 고정부

130 : 덕트

상기한 바와 같은 목적을 달성하고 종래의 문제점을 해결하기 위한 본 발명은 차체 패널(70)을 이송하고 고정하는 인덱스 지그(20)와, 인덱스 지그(20) 위의 고정된 차체 패널(70)에 부품을 용접하는 산업용로봇(30)과, 산업용로봇(30)으로 차체 패널(70)에 부착한 부품의 부착유무를 감시하는 CCD 카메라(40)와, 다수의 카메라에서 전송하는 각 카메라별 화상 데이터를 컴퓨터비젼(10)이 동시에 처리할 수 있도록 하는 16채널용 멀티플렉서(50)와, 멀티플렉서(50)에서 입력된 데이터를 비교 검사하는 컴퓨터비젼(10)과, 컴퓨터 비젼(10)에서 비교 검사한 결과와 카메라별 검사영역을 출력하는 그래픽 보드(60)로 구성되어 차체 패널의 부착되는 부품의 누락을 감시할 수 있다.이하 본 발명의 실시예인 구성과 그 작용을 첨부도면에 연계시켜 상세히 설명하면 다음과 같다.

도 1 은 본 발명의 구성을 나타내는 블록도이고, 도 2 는 본 발명의 컴퓨터 비젼을 이용한 차체 패널 자동검사 시스템의 구성을 보인 사진으로서,

자동 검사 시스템이 수행되는 작업 순서는 다음과 같다.

먼저, 자동차 공장의 최상위 공정에서 그 날 생산해야 할 모델(차종)을 선택하여 모든 공정에 설치된 P.L.C를 통하여 통보하면, 이것이 컴퓨터비젼(10)에 기억된 여러 모델의 그룹 데이터 중에서 그 날 검사해야 하는 한 개의 그룹 데이터를 선택하는 동기 신호로 사용된다. 생산이 시작되면, 앞 공정으로부터 자동으로 운반된 검사용 패널이 인덱스 지그(20)에 안착되어 리밋 스위치와 같은 접촉식 센서(110)를 통하여 컴퓨터비젼(10)으로 부품 검사 신호로 입력된다. 이 때 생산 사이클 타임을 줄이기 위하여 LH와 RH공정 중에서 어떤 신호가 먼저 입력되었는가를 선택하여 먼저 입력된 순서대로 처리한다. 그리고 비접촉 방식으로 검사하는 CCD카메라(40)에 산업용 로봇(30)이 소형 검사 차체 유닛을 핸들링하여 CCD 카메라(40)의 최적의 초점으로 접근시키고, RH공정에 적용되는 1, 2, 3, 4, 5번 카메라와 LH공정에 적용되는 6, 7, 8, 9번 카메라는 화상데이터를 16채널용 멀티플렉서(50)로 보내고 멀티플렉서(50)는 채널 교환 방식으로 순차별로 입력된 화상데이터를 동시에 처리할 수 있도록 컴퓨터비젼(10)으로 보낸다. 컴퓨터비젼(10)은 입력 된 데이터를 선형화하고 프레임 메모리에서 데이터를 분류한 다음, 비교 검사한 결과를 그래픽 보드(60)로 출력한다. 여기서 멀티플렉서(50)가 처리하는 시간을 보면, 촬상 시간은 100 - 120 mm sec, 채널 교환 간격은 340 mm sec, 패턴 비교 시간은 14 - 18 mm sec가 소요된다. 또한, 그래픽 보드(60)의 실제 외관은 LED로 구성되어 누락이 발견되면 검사한 카메라 영역별로 적색 LED가 ON되고, 양호하면 청색 LED가 ON되어 현장 관리자가 식별을 쉽게 할 수 있도록 되어 있다. 모든 검사를 마친 후 차이가 있으면 컴퓨터비젼(10)은 생산라인을 정지시키는 디지털 신호를 출력하여 라인 자동화 인터록 신호에 제동을 걸고, 문제가 없으면 인덱스 지그(20)가 180도 회전하게 되어 인덱스 지그의 하부에 매입형으로 설치된 위치 고정 핀이 상승하여 위치가 불안정한 인덱스 지그(20)를 고정시킨다. 그런 다음 산업용 로봇(30)이 용접을 하게 되어 차체패널(70)이 결합되어 상위 차체 조립공정으로 이송하게 된다.

도 3 은 종래의 접촉식 센서로 검출하기 위한 차체 패널 자동검사 시스템 장치 사진으로서,

인덱스 지그(20)에 볼트(90), 너트(80), 유닛(100)과 같은 부품을 접촉식 센서(110)로 검출함을 보여준다. 이와 같은 제어시스템과 인터록을 적용하는 방법은 교체기간이 너무 짧고, 노이즈 유입과 자동화 인터록의 오동작 제공 및 차체 패널의 모델이 변경에 대응이 곤란한 점이 있다.

도 4 는 컴퓨터비젼 전체가 설치된 사각 박스 외관사진이고, 도 5 는 컴퓨터비젼의 배치와 16채널용 멀티플렉서의 외관사진으로서,

컴퓨터비젼(10)의 본체는 산업용 컴퓨터로 구성되어 노출되어 있으나 생산 현장의 먼지와 기타 쇳가루와 같은 이물질로부터 보호하기 위하여 모니터와 본체, 키보드를 랙 마운틴 방식의 직사각형 박스에 분리 장착한 다음, 뒷면의 덕트(130)에서 전원선과 신호선을 연결하여 사용할 수 있음을 보여준다.

도 6 은 산업용 CCD카메라의 상세 배치도 사진으로서,

일반적으로 자동검사 시스템은 전자 회사와 같이 소형 부품을 검사할 경우 1개의 산업용 카메라와 컴퓨터비젼이 결합된 단독형으로 사용되고 있으나, 차체 패널은 볼트, 너트, 유닛과 같은 부품을 스폿 용접과 아크 용접하여 부착한 것으로 외관은 울퉁불퉁하고, 중량은 15kg 이상, 길이는 최소 1m 이상, 넓은 면의 폭은 0.25m 이상이다. 따라서 차체 패널과 상당히 먼 거리에 카메라를 설치하면 전체 차체 패널을 계측할 수 있겠지만, 정밀도의 한계로 1개의 카메라로 검사할 수 없게 되어 안정된 정밀도로 검사 영역을 확보하기 위해 도 6 은 다량의 산업용 카메라가 상세 배치되어 있음을 보여준다.

도 7a 는 R/H 공정, 도 7b 는 L/H 공정의 각 카메라별 검사영역과 결과를 출력하는 그래픽 보드 설계도로서,

차체 패널이 자동차 최종 조립라인에서 용접으로 서로 용접할 때 꼭 부착되어야 하는 부품이 누락되는 경우 작업자가 최종 공정에서 재 부착하는 것은 거의 불가능할 뿐 만 아니라 생산성과 경제성을 저해하는 결정적인 요소가 되는데,

이를 위해 본 발명은 2개의 병렬 생산라인 즉, R/H(right hand)공정과 L/H(left hand)공정으로 이송되어 안착되는 차체 패널을 대상으로 고정위치에 부착된 카메라가 차체 패널에 부착된 부품의 부착유무를 모두 일괄 검사한다. 그 방법을 보면 분산된 9대의 CCD카메라(40)에서 입수한 데이터를 1대의 컴퓨터비젼(10)으로 전송하면, 사전에 컴퓨터비젼에 내장된 프레임 데이터와 비교하여 차이가 있으면 생산라인을 정지시킬 수 있는 수단을 제공한다.

도 8 은 자동차 차체를 구성하는 차체 패널 사진으로서,

차체 패널은 압연 철판을 프레스로 형상을 만들어 절단한 후, 인덱스 지그에 고정시켜 볼트와 너트, 유닛과 같은 부품을 스폿 용접과 아크 용접으로 부착한 것으로 이렇게 제작한 여러 부분의 차체 패널을 서로 조합하면 자동차의 차체 형상을 갖추게 되는 것이다.

도 9 는 인덱스 지그 및 산업용 로봇 사진으로서,

차체 패널을 자동으로 이송하기 위한 인덱스 지그(20)와 차체 패널에 부착되는 볼트, 너트, 유닛과 같은 부품을 스폿용접과 아크용접을 하는 산업용 로봇(30)의 외형을 나타낸다.

상기와 같이 구성된 본 발명 컴퓨터비젼을 이용한 차체 패널 자동검사 시스템은 차체패널에 부착되는 부품의 부착유무를 9대의 카메라로 입력된 화상에 대한 전체 검사 소요시간은 0.3초로 완료되었고, 현장에 적용할 때 생산기술, 보전, 생산담당자 등이 매 시간대별로 종이, 테이프를 이용하여 검사부품 위를 막거나 다른 부품을 대신 부착하는 등의 방법으로 오차를 유도하였으나 단 한차례의 오차도 발생하지 않았다.

따라서, 자동차 차체 생산 공장의 생산성 향상과 불량 제로 및 원가절감에 크게 기여할 수 있는 유용한 발명이다.

Claims (2)

1. 생산해야할 모델(차종)을 선정하여 모든 공정에 PLC를 통하여 통보하고,

   상기 선정된 모델(차종)에 따라 컴퓨터비젼에 기억된 여러모델의 그룹데이터 중 한개 그룹의 데이터가 선택되며,

   인덱스 지그로의 검사용 차체패널의 안착이 접촉식 센서에 의해 감지되어 컴퓨터비젼으로 전송되고,

   상기 센서의 감지에 의해 CCD 카메라가 차체패널의 각 검사부위를 촬영하여 컴퓨터비젼에서 전송하고,

   컴퓨터비젼에서 기억된 차체패널 데이터와 입력된 화상데이터를 비교하여 이를 디스플레이 하므로서,

   볼트, 너트, 유닛 등의 부품이 스폿/아크용접에 의해 부착되고, 중량 15㎏ 이상, 길이 1m 이상이 되는 차체패널의 소형부품 부착유무 여부를 검사하는 차체패널의 소형부품 부착여부 검사방법에 있어서;

   상기 차체패널의 소형부품 부착여부 검사방법은,

   상기 접촉식 센서에 의해 감지되어 컴퓨터 비젼으로 전송된 검사용 차체패널의 감지신호에 따라 RH 또는 LH 조립라인이 선택되는 단계;

   선택된 라인에 따라 해당 라인에 일정간격으로 설치된 다수개의 CCD 카메라에 의해 차체패널의 검사부분 화상데이터를 각각 획득하는 단계;

   상기 CCD 카메라에 의해 획득된 다수개의 화상데이터를 16채널용 멀티플렉서로 전송하는 단계;

   상기 16채널용 멀티플렉서에서 채널교환방식으로 순차별 입력된 화상데이터를 컴퓨터비전으로 전송되는 단계;

   상기 컴퓨터비전으로 입력된 화상데이터를 필터링하고 패턴 매칭이 가능한 선형화 데이터로 변화한 다음, 프레임메모리에서 데이터를 분류하는 단계;

   상기 입력/분석된 화상데이터와 미리 기억(등록)되어 있던 차체패널 데이터를 비교하여 그 결과를 컴퓨터비젼에 디스플레이함과 동시에, 그래픽보드로 전송하는 단계;

   그래픽보드의 청색/적색 LED의 온(on)에 의해 소형부품의 부착 유무를 판별하는 단계;

   상기 소형 부품의 부착이상 발견시 컴퓨터 비젼에 의해 라인 자동화 인터록 신호에 제동을 걸고, 이상이 없을 시 인덱스 지그를 고정하여 산업용 로봇에 의해 차체채널을 결합하는 단계;를 포함하는 것을 특징으로 하는 컴퓨터비젼을 이용한 차체 패널의 소형부품 부착유무 자동검사방법.
2. 삭제