KR20210120229A - 영상기반 지그 검사 시스템 및 그 방법 - Google Patents

영상기반 지그 검사 시스템 및 그 방법 Download PDF

Info

Publication number
KR20210120229A
KR20210120229A KR1020200036653A KR20200036653A KR20210120229A KR 20210120229 A KR20210120229 A KR 20210120229A KR 1020200036653 A KR1020200036653 A KR 1020200036653A KR 20200036653 A KR20200036653 A KR 20200036653A KR 20210120229 A KR20210120229 A KR 20210120229A
Authority
KR
South Korea
Prior art keywords
image
jig
clamping unit
backward
matching rate
Prior art date
Application number
KR1020200036653A
Other languages
English (en)
Inventor
이대원
박기훈
정명환
김병익
권혁주
하수영
Original Assignee
현대자동차주식회사
아진산업(주)
오토아이티(주)
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 아진산업(주), 오토아이티(주), 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020200036653A priority Critical patent/KR20210120229A/ko
Priority to US17/110,912 priority patent/US12073553B2/en
Publication of KR20210120229A publication Critical patent/KR20210120229A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/561—Support related camera accessories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H04N5/23299—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • B23K37/04—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups for holding or positioning work
    • B23K37/0426—Fixtures for other work
    • B23K37/0435—Clamps
    • B23K37/0443—Jigs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/005—Manipulators for mechanical processing tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

영상기반 지그 검사 시스템 및 그 방법이 개시된다.
본 발명의 실시 예에 따른, 차체공장에서 운용되는 센서리스 지그의 상태를 검사하는 영상기반 지그 검사 시스템은, 복수로 배치된 클램핑 유닛으로 탑재된 차체 부품을 고정하는 지그, 설정된 고정위치에서 상기 지그의 검사 이미지를 촬영하는 카메라부, 상기 검사 이미지를 사전에 설정된 영상 분석 기준과 비교하여 상기 클램핑 유닛의 전진 상태 혹은 후진 상태를 판정하는 비전시스템, 상기 부품을 용접하는 용접 로봇 및 상기 클램핑 유닛의 상태정보를 확인하여 설정된 프로세스에 따른 용접 공정을 제어하는 주제어부를 포함한다.

Description

영상기반 지그 검사 시스템 및 그 방법{IMAGE-BASED JIG INSPECTION SYSTEM AND METHOD}
본 발명은 영상기반 지그 검사 시스템 및 그 방법에 관한 것으로서, 보다 상세하게는 차체를 고정하는 지그의 클램핑 유닛 상태를 판정하는 영상기반 지그 검사 시스템 및 그 방법에 관한 것이다.
일반적으로 차체공장에는 차체의 조립을 위해 부품을 정확한 위치에 고정하는 지그와 그 고정된 부품을 용접하는 용접 로봇이 구비되고 이들을 통제하는 주제어반의 프로세스에 따른 용접 작업이 진행된다.
상기 프로세스의 진행을 위해 지그와 로봇은 주제어반의 PLC(Programmable Logic Controller)와 케이블 통신이 연결되어 각자의 상태정보를 실시간으로 전송해야 한다.
예컨대, 지그는 베이스에 부품을 고정하기 위한 클램핑 유닛이 복수로 배치되고 각 클램핑 유닛은 힌지축에 회전 가능하게 설치된 클램프를 실린더를 통해 전/후진 작동하여 부품을 고정하거나 고정을 해제한다. 이 때, 클램핑 유닛의 실린더가 전진하여 부품을 고정하고 있는 상태를 클램프라 하고, 상기 실린더가 후진하여 해제된 상태를 언클램프라 명명할 수 있다. 각 클램핑 유닛에는 실린더기 전진 상태(클램프)와 후진 상태(언클램프)를 측정하는 두 개의 센서가 부착된다. 상기 두 개의 센서는 각각 케이블을 통해 주제어반과 연결되어 클램핑 유닛의 상태정보를 전송한다.
이러한 지그는 대부분 30개~40개의 클랭핑 유닛이 배치되므로 약60~80개의 많은 센서가 하나 지그에 설치된다. 이렇게 센서가 많아지면 지그의 상태를 정확하게 감지할 수 있으나 PLC 카드의 크기가 늘어나 여유공간 부족하며 설비간 간섭요인이 증가하는 문제점이 있다.
또한, 최근에는 공장에서 생산되는 다차종에 적용 가능하게 지그가 제작되면서 클랭핑 유닛의 설치 개수 증가에 따른 센서 비용 및 배선 비용 증가하는 문제점 이 있다.
또한, 센서 케이블은 용접 작업에 노출되어 스패터로 인한 케이블 손상이나 화재 이벤트가 발생될 수 있으며, 다발의 케이블을 연결하는 커넥터 등의 접촉 불량이 발생되는 경우 복잡한 케이블로 인한 복구 시간으로 라인 가동율이 떨어지는 문제점이 있다.
이 배경기술 부분에 기재된 사항은 발명의 배경에 대한 이해를 증진하기 위하여 작성된 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.
본 발명의 실시 예는 카메라를 이용한 이미지 센싱을 통해 차체를 고정하는 지그의 클램핑 유닛 상태를 실시간으로 감시하는 영상기반 지그 검사 시스템 및 그 방법에 관한 것이다.
본 발명의 일 측면에 따르면, 차체공장에서 운용되는 센서리스 지그의 상태를 검사하는 영상기반 지그 검사 시스템은, 복수로 배치된 클램핑 유닛으로 탑재된 차체 부품을 고정하는 지그; 설정된 고정위치에서 상기 지그의 검사 이미지를 촬영하는 카메라부; 상기 검사 이미지를 사전에 설정된 영상 분석 기준과 비교하여 상기 클램핑 유닛의 전진 상태 혹은 후진 상태를 판정하는 비전시스템; 상기 부품을 용접하는 용접 로봇; 및 상기 클램핑 유닛의 상태정보를 확인하여 설정된 프로세스에 따른 용접 공정을 제어하는 주제어부를 포함한다.
또한, 상기 지그는 베이스의 상면에 복수로 배치된 클램핑 유닛; 상기 클램핑 유닛에 정렬된 부품을 고정하거나 상기 고정을 해제하도록 제어하는 PLC(Programmable Logic Controller); 및 상기 베이스를 이동 가능하게 탑재하는 대차를 포함할 수 있다.
또한, 상기 지그는 다차종 부품이 탑재될 수 있도록 설계된 상기 클램핑 유닛이 배치되고, 각 클램핑 유닛은 사용되는 부품의 차종에 따른 고유의 색이 도색 될 수 있다.
또한, 상기 카메라부는 상기 지그로부터 수직한 위치에 고정 설치되어 상기 지그의 이미지를 촬영하는 카메라; 고정물에 부착되어 상기 카메라를 일정한 회전 각도로 고정하는 회전스테이지; 상기 회전스테이지와 카메라 사이를 연결하며 상기 카메라의 2축 틸팅 각도를 조절하는 틸팅 스테이지; 및 상기 카메라에 부착되어 상기 회전 각도와 틸팅 각도를 표시하고, 상기 카메라가 초기 세팅된 회전 각도와 틸팅 각도를 메모리에 저장하는 계측기를 포함할 수 있다.
또한, 상기 카메라부는 상기 지그의 크기에 따라 복수의 카메라가 구비되거나 일측 방향으로 이미지 센서의 수가 확장되어 와이드 촬영을 지원 할 수 있다.
또한, 상기 비전시스템은 상기 주제어기의 검사요청에 따른 상기 카메라부에 작동신호를 인가하여 상기 검사 이미지를 수신하는 통신모듈; 상기 검사 이미지에서 추출된 상기 클램핑 유닛의 형태 정보와 상기 영상 분석 기준에 설정된 기준 템플릿 정보와 비교하여 전진 매칭률과 후진 매칭률을 산출하는 영상처리모듈; 상기 영상 분석 기준 데이터를 저장하는 저장모듈; 및 전진 매칭률과 후진 매칭률 중 어느 하나가 설정된 기준값을 초과하는 것을 검출하여 상기 클램핑 유닛의 전진 상태 혹은 후진 상태를 판정하는 판정모듈을 포함한다.
또한, 상기 영상처리모듈은 사전에 지그의 기준 이미지를 획득하여 상기 클램핑 유닛별 차종, 기준 색깔, 이미지 영역, 상기 이미지 영역에 정의된 템플릿 정보, 카메라 ID 및 지그 위치 중 적어도 하나를 포함하는 영상 분석 기준을 설정할 수 있다.
또한, 상기 영상처리모듈은 복수의 카메라에서 촬영된 상기 지그의 전반부 이미지와 후반부 이미지를 정합하여 통합된 기준 이미지를 생성할 수 있다.
또한, 상기 영상처리모듈은 템플릿 저작 도구(UI)를 통해 상기 기준 이미지에서 상기 클램핑 유닛의 색깔 별로 사용되는 차종과 부품을 매칭하고, 상기 클램핑 유닛별 이미지 영역을 설정할 수 있다.
또한, 상기 영상처리모듈은 상기 이미지 영역을 필터링하여 배경부분을 제거하고 상기 클램핑 유닛의 윤곽선을 추출할 수 있다.
또한, 상기 영상처리모듈은 상기 윤곽선을 토대로 상기 클램핑 유닛의 형태 정보를 도출하여 전진 상태 템플릿과 후진 상태 템플릿을 포함하는 상기 템플릿 정보를 생성할 수 있다.
또한, 상기 영상처리모듈은 상기 클램핑 유닛의 형태 정보에 대응되는 상기 템플릿 정보를 픽셀 대 픽셀로 비교하여 상기 각 매칭률을 계산할 수 있다.
또한, 상기 영상처리모듈은 상기 이미지 영역 위에 상기 템플릿 정보를 겹친 후 이동시키면서 매칭률을 계산하고 최대 수치를 갖는 상기 전진 매칭률과 후진 매칭률을 상기 판정 모듈로 전달할 수 있다.
또한, 상기 판정모듈은 상기 전진 매칭률이 전진 판정 기준값을 초과하고 상기 후진 매칭률이 후진 판정 기준값을 초과하지 않으면 상기 전진 상태로 판정하고, 상기 후진 매칭률이 후진 판정 기준값을 초과하고 상기 전진 매칭률이 전진 판정 기준값을 초과하지 않으면 상기 후진 상태로 판정할 수 있다.
또한, 상기 판정모듈은 상기 전진 매칭률과 후진 매칭률이 모두 전진 및 후진 판정 기준값을 초과하거나 모두 전진 및 후진 판정 기준값을 초과하지 않는 경우 에러 발생으로 판정할 수 있다.
한편, 본 발명의 일 측면에 따른, 차체공장의 공정라인에 설비된 비전시스템이 영상기반으로 센서리스 지그의 상태를 검사하는 방법은, a) 사전에 지그의 종류별 기준 이미지를 획득하여 클램핑 유닛별 적용 차종과 부품, 색깔, 이미지 영역, 상기 이미지 영역에 정의된 템플릿 정보, 카메라 ID 및 지그 위치 중 적어도 하나를 포함하는 영상 분석 기준을 설정하는 단계; b) 주제어기에서 수신된 검사 요청에 따른 검사 대상 부품을 파악하고 상기 부품에 대응되는 상기 영상 분석 기준을 선택하는 단계; c) 카메라부에서 촬영된 지그의 검사 이미지를 획득하여 상기 선택된 상기 영상 분석 기준에서 상기 검사 대상 부품의 이미지 영역에 해당하는 클램핑 유닛 영상을 추출하는 단계; 및 d) 상기 클램핑 유닛 영상을 상기 영상 분석 기준에 정의된 템플릿 정보와 비교하여 상기 클램핑 유닛의 전진 상태 혹은 후진 상태를 판정하여 상기 주제어기로 전송하는 단계를 포함한다.
또한, 상기 c) 단계는, 상기 클램핑 유닛 영상의 색깔과 상기 영상 분석 기준의 클램핑 유닛 색깔을 비교하는 단계; 및 두 색깔이 상이하면 검사 오류 이벤트를 발생하고 상기 주제어기로 통보하는 단계를 포함할 수 있다.
또한, 상기 c) 단계는, 상기 이미지 영역을 필터링하여 배경부분을 제거하고 상기 클램핑 유닛의 윤곽선을 추출하는 단계를 포함할 수 있다.
또한, 상기 d) 단계는, 상기 클램핑 유닛의 윤곽선에 대응하는 전진 템플릿과 후진 템플릿을 각각 비교하여 전진 템플릿 매칭률 및 후진 템플릿 매칭률을 각각 산출하는 단계; 및 상기 전진 템플릿 매칭률 및 후진 템플릿 매칭률 중 어느 하나가 설정된 기준값을 초과하는 것을 검출하여 클램핑 유닛의 상태를 판정하는 단계를 포함할 수 있다.
또한, 상기 d) 단계는, 상기 전진 템플릿 매칭률과 후진 템플릿 매칭률이 모두 상기 기준값을 초과하거나 모두 상기 기준값을 초과하지 못하면 해당 템플릿에 에러가 발생된 것으로 판단하고 상기 주제어기로 알람 할 수 있다.
도 1은 본 발명의 실시 예에 따른 영상기반 지그 검사 시스템을 개략적으로 나타낸다.
도 2는 본 발명의 실시 예에 따른 카메라부의 구성을 개략적으로 나타낸 분해도이다.
도 3은 본 발명의 실시 예에 따른 비전시스템과 주제어기의 구성을 개략적으로 나타낸 블록도이다.
도 4는 본 발명의 실시 예에 따른 기준 이미지를 이용한 영상 분석 기준의 설정방법을 나타낸다.
도 5는 본 발명의 실시 예에 따른 차종별 클램핑 유닛의 색깔과 이미지 영역이 설정된 상태를 나타낸다.
도 6은 본 발명의 실시 예에 따른 클램핑 유닛 이미지 영역의 영상 처리 과정을 나타낸다.
도 7은 본 발명의 실시 예에 따른 매칭률 비교 예시를 나타낸다.
도 8은 본 발명의 실시 예에 따른 이미지 판정 테이블을 개략적으로 나타낸다.
도 9는 본 발명의 실시 예에 따른 다차종 지그를 활용한 용접 방법을 개략적으로 나타낸 흐름도이다.
도 10은 본 발명의 실시 예에 따른 다차종 지그 감시 방법을 개략적으로 나타낸 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서, 제1, 제2, A, B, (a), (b) 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다.
명세서 전체에서, 어떤 구성요소가 다른 구성요소에 '연결된다'거나 '접속된다'고 언급되는 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결된다'거나 '직접 접속된다'고 언급되는 때에는, 중간에 다른 구성요소가 존재하지 아니하는 것으로 이해되어야 할 것이다.
명세서 전체에서, 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
이제 본 발명의 실시 예에 따른 에 대하여 도면을 참조로 하여 상세하게 설명한다.
도 1은 본 발명의 실시 예에 따른 영상기반 지그 검사 시스템을 개략적으로 나타낸다.
도 1을 참조하면, 본 발명의 실시 예에 따른 영상기반 지그 검사 시스템은
복수로 배치된 클램핑 유닛으로 탑재된 차체 부품을 고정하는 지그(10), 설정된 고정위치에서 상기 지그(10)의 검사 이미지를 촬영하는 카메라부(20), 카메라부(20)에서 획득된 검사 이미지를 사전에 설정된 영상 분석 기준과 비교하여 상기 클램핑 유닛(12)의 전진 혹은 후진 상태를 판정하는 비전시스템(30), 상기 부품을 용접하는 용접 로봇(40) 및 상기 클램핑 유닛(12)의 상태를 확인하여 설정된 프로세스에 따른 용접 공정을 제어하는 주제어부(50)를 포함한다.
지그(10)는 베이스(11)의 상면에 복수로 배치된 클램핑 유닛(12) 및 클램핑 유닛(12)에 정렬된 부품을 고정하거나 상기 고정을 해제하도록 제어하는 PLC(13)를 포함한다. 상기 부품은 차체를 이루는 플로어, 루프 및 사이드(도어) 등일 수 있으며, 이하 편의상 사이드 부품을 가정한다.
베이스(11)는 이동 가능한 대차(14)에 탑재된 이동형 지그로 구성될 수 있다. 특히, 본 발명의 실시 예에 따른 지그(10)는 앞서 종래의 문제점으로 지적된 클램핑 유닛(12)이 동작된 상태 감지를 위한 복잡한 센서와 케이블이 생략된 센서리스 지그(10)로 구현된다.
클램핑 유닛(12)은 PLC(13)의 제어에 따라 로드를 전진 혹은 후진으로 작동하는 실린더(12a) 및 힌지축을 중심으로 회전 가능하게 설치되어 상기 로드의 전/후진 동작에 따른 부재를 고정하거나 해제하는 클램프(12b)를 포함한다. 이하, 클램핑 유닛(12)의 실린더(12a)가 전진으로 동작하여 클램프(12b)가 부재를 고정한 것을 "전진 상태"라 명명하고, 실린더(12a)가 후진으로 동작하여 부재의 고정을 해제한 것을 "후진 상태"라 명명한다.
지그(10)는 하나의 차종에 대한 부품을 고정하는 전용 지그로 구성되거나 다차종에 적용되는 부품을 선택적으로 탑재할 수 있는 다차종 지그로 구성될 수 있다.
이하, 본 발명의 실시 예에 따른 차체공장에서는 공정라인에서 다차종 부품이 조립될 수 있는바 다차종 지그(12)를 위주로 설명하도록 한다.
지그(12)는 다차종 부품을 정렬할 수 있도록 설계된 복수의 클램핑 유닛(12)이 배치된다. 각 클램핑 유닛(12)은 사용되는 부품의 차종별로 고유의 색(예; 녹색, 빨간색, 파란색, 노란색 등)이 도색 된다. 또한, PLC(13)에는 상기 차종 별로 그룹핑된 클램핑 유닛(12)의 제어라인이 설계된다. 이는 본 발명의 실시 예에 따른 다차종 지그의 감시에 카메라부(20)를 활용한 비전시스템(30)이 적용되는 특성상 클램핑 유닛(12)의 색깔을 통해 차종 별 부품을 식별하고 그에 해당하는 클램핑 유닛(12)의 상태를 감지 및 제어하기 위한 것이다.
지그(12)는 초기에 할당된 부품이 로딩되면 PLC(13)를 통해 해당 부품에 설계된 클램핑 유닛(12)을 동작하여 고정하고, 공정 별 고정된 부품에 대한 부재의 용접공정이 이루어진다. 이러한 지그(12)에 부품을 로딩하거나 부품을 용접하는 공정에서는 각각 설정된 프로세스 작업 전후에 클램핑 유닛(12)의 상태를 감지해야 한다. 예컨대, 지그(12)에 부품을 로딩 전과 로딩 후, 클램핑 유닛(12)의 작동 전과 작동 후, 용접 로봇(40)을 이용한 부품의 용접 전과 용접 후 등에 상태를 검사할 수 있다.
카메라부(20)는 지그(10)로부터 수직한 위치에 고정 설치되어 다수의 클램핑 유닛(12)을 통해 부품을 고정하고 있는 이미지를 촬영한다.
도 2는 본 발명의 실시 예에 따른 카메라부의 구성을 개략적으로 나타낸 분해도이다.
도 2를 참조하면, 본 발명의 실시 예에 따른, 카메라부(20)는 회전스테이지(21), 틸팅 스테이지(22), 카메라(23) 및 계측기(24)를 포함한다.
회전스테이지(21)는 고정물에 부착되어 카메라(23)를 일정한 회전 각도에 고정한다.
틸팅 스테이지(22)는 회전스테이지(21)와 카메라(23) 사이를 연결하고 카메라(23)의 2축 틸팅 각도를 조절한다.
카메라(23)는 이미지 센서(23a)와 렌즈(23b)를 포함하며, 감지 영역, 동작 속도, 지원 프로토콜, 케이블 거리를 고려하여 선정될 수 있다. 카메라(23)는 설치된 위치로부터 지그(10)를 촬영하여 획득된 검사 이미지를 비전시스템(30)으로 전송한다.
카메라(23)는 지그(10)의 전체 크기에 따른 촬영 영역을 고려하여 복수로 구비되거나 일측 방향으로 이미지 센서의 수를 확장하여 촬영범위를 넓힌 와이드 촬영을 지원할 수 있다.
계측기(24)는 카메라(23)의 하우징에 부착되어 상기 회전스테이지(21) 및 틸팅 스테이지(22)를 통해 초기 세팅된 카메라(23)의 회전 각도와 틸팅 각도를 측정하고 이를 메모리에 저장한다.
계측기(24)는 카메라(23)의 유지보수를 위해 재설치 시 회전 각도와 틸팅각도를 측정하고 이를 수치로 표시하여 항시 초기 세팅된 위치와의 동일한 위치에 설치되도록 할 수 있다. 카메라(23)는 시험촬영 및 캘리브레이션을 통해 설정된 초기 세팅값이 변경되는 경우 검사 이미지가 틀어져 지그(10)의 비전 센싱에 오류가 발생될 수 있다. 이에 계측기(24)는 카메라(23)가 설비와 충돌하거나 유지보수 등으로 인하여 재조립되는 경우 상기 초기 세팅값과 동일한 조건과 위치로 재설치 할 수 있도록 지원하는 이점이 있다.
한편, 도 3은 본 발명의 실시 예에 따른 비전시스템과 주제어기의 구성을 개략적으로 나타낸 블록도이다.
도 3을 참조하면, 본 발명의 실시 예에 따른 비전시스템(30)은 통신모듈(31), 영상처리모듈(32), 저장모듈(33) 및 판정모듈(34)을 포함한다.
통신모듈(31)은 적어도 하나의 통신수단을 구비하여 카메라부(20) 및 주제어기(50)와 통신한다.
통신모듈(31)은 주제어기(50)의 검사요청에 따른 카메라부(20)에 작동신호를 인가하여 촬영된 검사 이미지를 수신할 수 있다.
통신모듈(31)은 상기 검사 이미지의 분석으로 판정된 지그(10)의 상태정보를 주제어기(50)로 전송할 수 있다. 상기 상태정보는 지그(10)에 부품이 탑재된 상태 및 클램핑 유닛(12)의 상태(전진 상태/후진 상태)를 포함한다.
영상처리모듈(32)은 사전에 카메라부(20)에서 촬영된 지그(10)의 기준 이미지에서 차종별 클램핑 유닛(12)의 기준 색깔, 개체별 이미지 영역, 각 이미지 영역에 정의된 템플릿 정보, 카메라 ID 및 지그 위치(공정작업코드)를 포함하는 영상 분석 기준을 설정하여 저장모듈(33)에 저장한다. 상기 템플릿 정보는 클램핑 유닛(12)의 개체 이미지 형상을 기반으로 전진 상태와 후진 상태를 판정하기 위한 두 가지 기준 템플릿을 포함한다. 이하, 상기 기준 이미지는 사전에 상기 템플릿 정보를 생성하기 위한 것으로써 실제 공정에서 카메라부(20)에서 촬영되는 검사 이미지와 구별하여 표기한다.
도 4는 본 발명의 실시 예에 따른 기준 이미지를 이용한 영상 분석 기준의 설정방법을 나타낸다.
도 4를 참조하면, 본 발명의 실시 예에 따른 영상처리모듈(32)이 작업자의 템플릿 저작 도구(UI)에 표시된 지그(10)의 기준 이미지를 통해 영상 분석 기준을 생성하는 과정을 나타낸다.
영상처리모듈(32)은 지그(10)에 배치된 각 클램핑 유닛(12)에 차종 별 고유의 색이 도색 되므로, 이를 응용하여 사전에 클램핑 유닛(12)의 색깔, 차종 및 동작 상태에 따른 템플릿 정보가 매칭된 영상 분석 기준을 생성한다.
영상처리모듈(32)은 템플릿 저작 도구(UI)에 표시된 기준 이미지에서 클램핑 유닛(12)의 색깔을 추출하고 색깔 별로 사용되는 차종과 부품을 매칭하여 저장한다.
영상처리모듈(32)은 상기 기준 이미지의 클램핑 유닛(12) 별로 박스형상의 이미지 영역을 설정한다. 지그(10)에는 약40개의 클램핑 유닛(12)이 설치되므로 작업자가 일일이 이미지 영역을 설정하는 데에는 많은 시간이 소요될 수 있다. 그러므로 영상처리모듈(32)은 작업자에 의해 선택된 하나의 클램핑 유닛(12)의 색깔을 기준으로 임의의 박스형 이미지 영역을 생성할 수 있다. 예컨대, 작업자가 템플릿 저작 도구(UI)에서 임의의 색깔을 선택하고 해당 색깔의 클램핑 유닛(12)을 선택하면 임의의 박스형 이미지 영역을 생성할 수 있다.
도 5는 본 발명의 실시 예에 따른 차종별 클램핑 유닛의 색깔과 이미지 영역이 설정된 상태를 나타낸다.
도 5를 참조하면, 영상처리모듈(32)이 전체 기준 이미지에서 지그(10)에 적용되는 다양한 차종별/색깔별 모든 클램핑 유닛(12)의 이미지 영역을 선택한 상태를 보여준다. 이 때, 영상처리모듈(32)은 두 대의 카메라에 의해 지그(10)의 전반부와 후반부가 나누어 촬영된 경우 제1 카메라에서 수신된 전반부 이미지와 제2 카메라에서 수신된 후반부 이미지를 정합하여 하나로 통합된 기준 이미지를 생성할 수 있다.
상기 이미지 영역은 상대적으로 면적이 큰 클램프 유닛(12)의 전진 상태를 기준으로 설정되며 실제 클램프 유닛(12)의 윤곽선 보다 일정간격을 두고 크게 설정될 수 있다. 만약에 상기 이미지 영역이 클램핑 유닛(12) 보다 작게 설정되는 경우 작업자가 해당 박스를 선택하여 임의로 크기를 조정할 수 있다.
영상처리모듈(32)은 클램핑 유닛(12) 별 이미지 영역이 설정되면, 상기 기준 이미지에서 각 이미지 영역을 추출하여 영상분석을 위한 전처리 작업을 수행한다.
도 6은 본 발명의 실시 예에 따른 클램핑 유닛 이미지 영역의 영상 처리 과정을 나타낸다.
도 6을 참조하면, 본 발명의 실시 예에 따른 영상처리모듈(32)은 상기 도 5의 기준 이미지에서 클램핑 유닛(12)에 설정된 "A"부분의 이미지 영역을 추출하여 다음과 같은 영상처리 작업을 수행한 것으로 설명할 수 있다.
영상처리모듈(32)은 상기 이미지 영역이 입력되면 전처리 작업을 통해 노이즈 제거 및 밝기를 조정한다.
영상처리모듈(32)은 상기 이미지 영역을 필터링하여 불필요한 배경부분을 제거하고, 클램핑 유닛(12)의 윤곽선을 추출한다.
영상처리모듈(32)은 상기 이미지 영역에서 추출된 윤곽선 형태를 해당 클램핑 유닛(12)의 템플릿 정보로 저장한다. 이 때, 영상처리모듈(32)은 하나의 클램핑 유닛(12)에 대한 전진 상태 템플릿과 후진 상태 템플릿을 매칭하여 저장할 수 있다.
이처럼, 영상처리모듈(32)은 사전에 카메라 ID 및 지그 위치에서 촬영된 기준 이미지를 통해 분석된 차종, 색깔, 클램핑 유닛(12) 별 템플릿 정보를 해당 영상 분석 기준을 설정하고, 이를 기준으로 검사 이미지를 비교하여 클램핑 유닛(12)의 상태를 판정할 수 있다.
또한, 영상처리모듈(32)은 부품을 고정하고 있는 클램핑 유닛(12)의 색깔에 대응되는 차종을 파악할 수 있으며, 예컨대, 도 5의 경우 녹색 차종의 차체 부품이 탑재된 것으로 파악할 수 있다.
한편, 상기 도 6은 실제 공정라인을 가동 중 지그의 검사 이미지에서 추출된 클램핑 유닛(12)의 이미지 영역 처리 과정에도 참조할 수 있다.
도 6을 참조하면, 영상처리모듈(32)은 비전 센싱을 이용한 클램핑 유닛(12)의 상태를 판정하기 위하여 실시간으로 카메라부(20)에서 수신된 검사 이미지에서 클램핑 유닛(12)의 이미지 영역을 추출한다. 여기서, 상기 검사 이미지에서 추출된 이미지 영역은 앞서 템플릿 저작 도구(UI)를 통해 설정된 개체별 이미지 영역 위치를 기반으로 추출된다.
영상처리모듈(32)은 상기 이미지 영역을 영상 처리하여 추출된 윤곽선으로 클램핑 유닛(12)의 형태 정보를 도출하여 사전 설정된 영상 분석 기준의 템플릿과 비교한다. 상기 검사 이미지와 클램핑 유닛(12)의 개체별 이미지 영역에 대한 영상 처리 과정은 앞서 설명된 템플릿 생성 방법과 유사하다.
영상처리모듈(32)은 상기 이미지 영역에서 도출된 클램핑 유닛(12)의 형태 정보와 대응되는 템플릿 정보를 상기 영상 분석 기준에서 불러와 픽셀 대 픽셀로 비교하여 매칭률(%)을 계산한다.
이 때, 영상처리모듈(32)은 하나의 클램핑 유닛(12)의 형태 정보의 기준으로 설정된 전진 템플릿 및 해제 템플릿을 각각 비교하고, 상기 전진 템플릿에 대한 전진 매칭률 및 후진 템플릿에 대한 후진 매칭률을 각각 산출한다.
영상처리모듈(32)은 상기 이미지 영역 위에서 템플릿을 이동시키면서 상기 클램핑 유닛(12)의 형태 정보와의 매칭률을 계산하여 저장한다. 예컨대, 상기 이미지 영역 위에 상기 기준 템플릿을 겹친 후 설정된 나선형 경로로 이동시키거나 지그재그 경로로 이송시키면서 매칭률을 계산할 수 있다.
상기 매칭률(%)은 아래 수학식 1과 같이, 기준 템플릿과 이미지 영역의 클램핑 유닛 형태정보가 일치하는 픽셀 수를 기준 템플릿 픽셀 수로 나눈 값에 100을 곱하여 계산될 수 있다.
Figure pat00001
영상처리모듈(32)은 템플릿 이동 경로에 따라 마지막까지 비교를 완료한 후 가장 높은 수치를 갖는 최대 전진 매칭률과 최대 후진 매칭률을 판정모듈(34)로 전달한다. 상기 최대 전진 매칭률과 최대 후진 매칭률은 판정모듈(34)에서 클램핑 유닛(12)의 전/후진 상태 판정을 위한 비교값으로 활용한다.
한편, 도 7은 본 발명의 실시 예에 따른 매칭률 비교 예시를 나타낸다.
도 7을 참조하면, 일정 이미지 영역에서 기준 템플릿(a)과 검사 이미지의 윤곽선에서 추출된 형태정보의 매칭 영역(b)을 비교하여 보여준다.
매칭률 100%는 상기 형태정보의 매칭 영역(b)에 있는 모든 픽셀이 상기 기준 템플릿(a)과 일치함을 의미한다.
마찬가지로, 매칭률 50%는 상기 형태정보의 매칭 영역(b)에 있는 절반의 픽셀이 기준 템플릿(a)과 일치하고, 매칭률 25%는 1/4의 픽셀이 기준 템플릿(a)과 일치하는 것을 의미한다.
카메라부(20)에서 수신된 검사 이미지에는 노이즈가 포함되어 있어 획득 시 마다 다른 데이터를 수신될 수 있다. 그러므로, 클램핑 유닛(12)의 상태 판정은 분석된 상기 최대 매칭률이 일정 기준값(예; 80%)을 초과하는 기준 템플릿에 따라 전진 상태 혹은 후진 상태를 판정할 수 있다.
비전 센싱에 있어서 검사 이미지 전체를 기준 이미지와 단순 비교하는 것은 연산의 복잡도와 시간이 증가하고, 비교 이미지 증가에 따른 분석 정확도가 저하될 수 있다.
이에, 영상처리모듈(32)은 카메라부(20)에서 수신된 검사 이미지에서 클램핑 유닛(12)의 위치에 해당하는 개체별 이미지 영역을 추출하고, 그 이미지 영역에서의 핵심적인 템플릿 정보를 조정하여 꼭 필요한 정보만을 저장함으로써 비전시스템(30)의 정확도를 향상시킬 수 있다.
또한, 영상처리모듈(32)은 하나의 지그(10)에 대한 템플릿 정보를 표준으로 작성하여 공통된 다수의 지그(10)에 적용하고, 상기 지그(10)가 이동하는 다양한 라인에서 동일한 비전 센싱을 적용할 수 있다.
저장모듈(33)은 비전시스템(30)의 동작을 위한 각종 프로그램 및 데이터를 저장한다.
저장모듈(33)은 지그(10)에 대하여 사전에 설정된 영상 분석 기준 데이터를 저장하고 이를 기반으로 비전 센싱된 검사 이미지의 판정데이터를 저장한다.
판정모듈(34)은 비전시스템의 동작을 위한 프로그램을 실행하여 상기 각 모듈의 전반적인 동작을 제어하며, 이를 위한 적어도 하나의 프로세서를 포함한다.
판정모듈(34)은 주제어기(50)로부터 검사 요청을 수신하면, 카메라부(20)를 작동하여 검사 이미지를 촬영하고, 영상처리모듈(32)을 실행하여 상기 검사 이미지를 분석한다.
판정모듈(34)은 영상처리모듈(32)에서 분석된 클램핑 유닛(12)의 최대 매칭률이 수신되면 저장모듈(33)에 설정된 이미지 판정 테이블에 기초하여 클램핑 유닛(12)의 상태를 판정한다.
도 8은 본 발명의 실시 예에 따른 이미지 판정 테이블을 개략적으로 나타낸다.
도 8을 참조하면, 본 발명의 실시 예에 따른 이미지 판정 테이블은 클램핑 유닛(12)의 이미지 영역에서 분석된 전/후진 템플릿 매칭률을 토대로 전진 상태 및 후진 상태를 판정하기 위하여 전진 및 후진 판정 기준값이 설정된다. 이하, 상기 기준값을 80%로 가정하여 설명하되 이에 한정되지 않고 변경될 수 있다.
실린더(12a)에 클램프(12b)를 연동하여 사용되는 클램핑 유닛(12)은 동작 특성상 이미지 영역에서의 전진 상태와 후진 상태의 형상이 많이 다르다. 따라서, 상대적으로 전진 매칭률이 높으면 후진 매칭률이 낮고, 후진 매칭률이 높으면 전진 매칭률이 낮게 나타난다. 그리고, 전진 및 후진 매칭률이 모두 높거나, 모두 낮은 경우는 가능하지 않다.
도 8을 예로 들면, 판정모듈(34)은 전진 상태의 이미지 영역 분석결과 전진 템플릿에 대한 매칭률이 96% 및 후진 템플릿 매칭률이 65%인 경우, 전진 판정 기준값(80%)을 초과하고 후진 판정 기준값(80%)은 초과하지 않으므로 전진 상태로 판정한다.
또한, 판정모듈(34)은 후진 상태의 이미지 영역 분석결과 전진 템플릿 매칭률이 65% 및 후진 템플릿 매칭률이 96%인 경우, 후진 판정 기준값(80%)을 초과하고 전진 판정 기준값(80%)은 초과하지 않으므로 후진 상태로 판정한다.
그리고, 판정모듈(34)은 전진 혹은 후진 상태의 이미지 영역 분석결과 전진 및 후진 템플릿 매칭률이 모두 전진 및 후진 판정 기준값 이하이거나, 반대로 모두 전진 및 후진 판정 기준값을 초과하는 경우 에러 발생으로 판정한다. 이 때, 판정모듈(34)은 해당 이미지 영역(클램핑 유닛)의 템플릿이 불량인 것으로 진단할 수 있다.
또한, 판정모듈(34)은 하나의 검사 이미지에 포함된 다수의 이미지 영역 분석결과가 에러로 판정되는 경우 카메라부(20)의 위치변형 혹은 검사 이미지 불량을 진단할 수 있다.
판정모듈(34)은 상기 판정결과에 따른 전진 상태 또는 후진 상태를 주제어기(50)로 전송하며, 상기 에러가 발생된 경우 그 진단 결과를 포함하여 전송할 수 있다.
다시, 도 3을 참조하면, 주제어기(50)는 해당 공정라인에 할당된 작업 프로세스에 따른 모든 설비들을 중앙에서 제어한다.
주제어기(50)는 통신부(51), 로봇 제어부(52), 데이터베이스(DB, 53) 및 제어부(54)를 포함한다.
통신부(51)는 작업 프로세스에 필요 시 비전시스템(30)으로 지그(10)의 상태를 검사 요청하고, 그에 따른 상태정보를 수신한다. 종래의 지그에 구비된 다량의 센서와 복잡한 케이블이 연결된 것과 달리, 본 발명의 실시 예에 다른 통신부(51)는 센서리스 지그(10)에 따른 케이블 연결 구조가 생략된다.
로봇 제어부(52)는 인가되는 신호에 따라 다관절 구조로 지그(10)에 고정된 부품을 용접하는 용접 로봇(40)을 작동한다. 로봇 제어부(52)는 용접 로봇(40)의 기구학적 자세제어를 통해 용접건의 위치를 이동시키면서 부품을 용접할 수 있다.
이밖에, 로봇 제어부(52)는 해당 공정 내 운용되는 로봇 개수에 따라 복수로 구성될 수 있으며, 예컨대, 도면에서는 생략되었으나 지그(10)에 부품을 로딩하는 이송로봇이 더 구비되는 경우 그 로봇의 로딩 작업을 제어할 수 있다.
DB(53)는 공정 내 부품의 용접 작업을 위한 프로세스, 설비제어를 위한 각종 프로그램과 소프트웨어 및 각종 데이터를 저장한다.
제어부(54)는 해당 공정에 설정된 작업 로직에 따른 비전시스템(30) 및 용접 로봇(40) 등의 설비를 제어한다.
이상의 설명에서, 도 1 및 도 3에서는 독립된 비전시스템(30)과 주제어기(50)가 별도로 구성되어 서로 연동되는 것으로 설명하였다. 그러나 본 발명의 실시 예는 이에 한정되지 않으며 주제어기(50)는 하나의 컴퓨팅 장치나 서버로써 구성되어 비전시스템(30)을 포함하는 것으로 통합될 수 있다.
한편, 전술한 영상기반 지그 검사 시스템의 구성을 바탕으로 본 발명의 실시 에에 따른 다차종 지그를 활용한 용접 제어 방법 및 그에 따른 다차종 지그 감시 방법을 다음의 도 9 및 도 10을 통해 구체적으로 설명한다.
도 9는 본 발명의 실시 예에 따른 다차종 지그를 활용한 용접 방법을 개략적으로 나타낸 흐름도이다.
도 9를 참조하면, 차체공장의 용접라인에 설치된 주제어기(50)는 공정 초기화 상태에서 다차종 지그(10)가 이동하여 정위치되면 작업 대상 부품을 인식한다(S1). 이 때, 주제어기(50)는 상기 지그(10)에 할당된 작업대상 부품 고유코드(ID)를 인식하고 이에 매칭된 차종, 클램핑 유닛 색깔 및 용접작업 경로 등을 인식할 수 있다.
주제어기(50)는 비전시스템(30)으로 상기 지그(10)의 검사를 요청한다(S2).
비전시스템(30)은 상기 검사요청이 수신되면 카메라부(20)를 통해 지그(10)를 촬영하여 획득된 검사 이미지의 분석으로 클램핑 유닛(12)의 상태를 검사하고(S3), 이를 주제어기(50)로 전송한다(S4). 이 때, 비전시스템(30)은 상기 검사 이미지를 사전에 설정된 영상 분석 기준과 비교하여 매칭률에 따른 클램핑 유닛(12)의 상태를 판정할 수 있다.
주제어기(50)는 상기 클램핑 유닛(12)의 상태를 확인하여, 지그(10)에 부품이 탑재된 상태에서 클램핑 유닛(12)이 후진 상태이면 상기 클램핑 유닛(12)을 전진으로 작동하고(S6), 검사를 요청한다(S7). 이 때, 이러한 클램핑 유닛(12)의 작동은 해당 공정에 설정된 프로세스에 따라 다양하게 적용될 수 있다. 가령, 주제어기(50)는 상기 부품의 미탑재 및 클램핑 유닛(12)의 후진 상태이면 지그(10)에 부품이 로딩된 후 클램핑 유닛(12)을 전진으로 작동할 수 있다.
비전시스템(30)은 상기 요청에 따른 클램핑 유닛(12)을 검사하여(S8), 판정된 전진 상태를 전송한다(S9).
주제어기(50)는 클램핑 유닛(12)의 전진 상태가 확인되면(S10), 프로세스에 따른 용접 로봇(40)을 작동하여 고정된 부품의 용접 작업을 진행한다(S11).
주제어기(50)는 용접 작업이 완료되면 비전시스템(30)에 검사를 요청하고(S12), 비전시스템(30)의 클램핑 유닛 검사에 따른 상태가 확인되면(S13 ~ S15), 해당 부품에 대한 공정 작업을 완료한다(S16).
이상의 다차종 지그를 활용한 용접 방법에서 상기 S3, S8 및 S13 단계의 클램핑 유닛 검사는 비전시스템(30)의 다차종 지그 감시 방법에 따라 이루어지며, 그 과정을 다음의 도 10을 통해 구체적으로 설명한다.
도 10은 본 발명의 실시 예에 따른 다차종 지그 감시 방법을 개략적으로 나타낸 흐름도이다.
도 10을 참조하면, 비전시스템(30)은 사전에 작업에 투입되는 다차종 지그(10)의 종류별 영상 분석 기준 데이터를 구축한다(S101). 비전시스템(30)은 지그(10)의 종류별 기준 이미지를 획득하여 클램핑 유닛별 차종, 기준 색깔, 이미지 영역, 상기 이미지 영역에 정의된 템플릿 정보, 카메라 ID 및 지그 위치 중 적어도 하나를 포함하는 영상 분석 기준을 설정할 수 있다.
비전시스템(30)은 주제어기(50)로부터 수신된 지그(10)의 검사 요청에 따른 검사 대상 부품(ID)을 파악하고, 상기 부품에 대응되는 영상 분석 기준을 선택한다(S102). 이 때, 비전시스템(30)은 구축된 데이터에서 상기 부품(ID)에 매칭된 차종, 클램핑 유닛 색깔, 클램핑 유닛 이미지 영역, 이미지 영역별 템플릿 정보 중 적어도 하나를 포함하는 영상 분석 기준을 불러와 검사를 진행한다.
비전시스템(30)은 카메라부(20)를 통해 촬영된 검사 이미지를 획득하고(S103), 상기 검사 이미지에서 상기 영상 분석 기준의 이미지 영역을 기반으로 클램핑 유닛 영상을 추출한다(S104).
비전시스템(30)은 상기 클램핑 유닛 영상의 색깔과 상기 영상 분석 기준의 클램핑 유닛 색깔을 비교하여(S105), 두 색깔이 상이하면(S106; 예), 검사 오류 이벤트를 발생하고 이를 주제어기(50)로 통보한다(S107). 이를 통해 비전시스템(30)은 주제어기(50)에서 요청된 검사 대상 부품과 실제 지그(10)에 고정된 부품이 비매칭되는 작업 오류를 알람 할 수 있다.
반면, 비전시스템(30)은 상기 두 색깔이 동일하면(S106; 아니오), 상기 이미지 영역을 영상처리 하여 클램핑 유닛의 윤곽선을 추출한다(S108).
비전시스템(30)은 클램핑 유닛의 윤곽선과 상기 영상 분석 기준에 설정된 기준 템플릿 정보를 비교하여 매칭률을 검사한다(S109). 이 때, 비전시스템(30)은 클램핑 유닛의 윤곽선에 해당 전진 템플릿과 후진 템플릿을 각각 비교하여 전진 템플릿 매칭률 및 후진 템플릿 매칭률을 각각 산출한 수 있다.
비전시스템(30)은 전진 템플릿 매칭률 및 후진 템플릿 매칭률 중 어느 하나가 기준값을 초과하면, 이를 클램핑 유닛의 상태로 판정하고 주제어기(50)로 전송한다(S110). 이 때, 비전시스템(30)은 전진 템플릿 매칭률이 상기 기준값을 초과하면 전진 상태로 판정하고, 반대로 후진 템플릿 매칭률이 상기 기준값을 초과하면 후진 상태로 판정할 수 있다. 그러나, 비전시스템(30)은 두 매칭률이 모두 상기 기준값을 초과하거나 모두 상기 기준값을 초과하지 못하면 에러가 발생된 것으로 판단하고 이를 주제어기(50)로 알람할 수 있다.
이상의 도 10에서는 본 발명의 실시 예에 따른 다차종 지그 감시 방법에 대하여 설명하였으나, 본 발명은 상기한 실시 예에만 한정되는 것은 아니며 그 외의 다양한 변경이 가능하다.
예컨대, 도 10에서는 비전시스템(30)이 검사 요청을 수신하면 영상처리를 통해 클램핑 유닛의 전진 및 후진 상태를 모두 비교하고 그 상태에 따른 결과를 통보하는 것으로 설명하였다.
그러나, 이에 한정되지 않고, 비전시스템(30)은 주제어기(50)에서 전진 혹은 후진 상태를 특정하여 검사 요청을 하는 경우, 해당 상태만을 검사한 후 결과를 전송할 수 있다. 예컨대, 비전시스템(30)은 클램핑 유닛이 전진 상태인지 확인하는 검사 요청이 수신되면 지그(10)의 검사 이미지를 분석하여 전진 상태인지 검사할 수 있다. 또한 같은 방식으로 후진 상태를 확인하는 검사를 수행할 수 있다. 이를 통해 요청된 매칭률 산출 및 이미지 비교에 따른 연산부하를 절감할 수 있는 이점이 있다.
이와 같이, 본 발명의 실시 예에 따르면, 종래의 센서 및 케이블 구성이 삭제된 센서리스 지그를 구현하고 영상기반의 지그 검사를 수행함으로써 기존 센서로 인한 지그의 설치공간문제, 설비간섭문제, 센서 및 케이블 비용문제, 케이블손상 및 불량문제, 유지공수문제 등을 해결할 수 있는 효과가 있다.
또한, 클램핑 유닛을 차종에 따라 색깔 별로 배치하여 지그에 탑재된 부품의 차종을 작업자와 비전시스템에서 직관적으로 파악할 수 있어 검사 오류를 예방할 수 있는 효과가 있다.
또한, 다차종 지그의 검사 이미지에서 색깔 별로 지정된 클램핑 유닛의 이미지 영역을 추출하여 클램핑 유닛의 윤곽선과 기준 템플릿과의 픽셀 매칭률을 통해 전/후진 상태를 판정함으로써 이미지 센싱 연산의 복잡도를 줄일 수 있는 효과가 있다.
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
10: 지그 11: 베이스
12: 클램핑 유닛 12a: 실린더
12b: 클램프 13: PLC
14: 대차 20: 카메라부
21: 회전스테이지 22: 틸팅 스테이지
23: 카메라 24: 계측기
30: 비전시스템 31: 통신모듈
32: 영상처리모듈 33: 저장모듈
34: 판정모듈 50: 주제어기
51: 통신부 52: 로봇 제어부
53: 데이터베이스(DB) 54: 제어부

Claims (20)

  1. 차체공장에서 운용되는 센서리스 지그의 상태를 검사하는 영상기반 지그 검사 시스템에 있어서,
    복수로 배치된 클램핑 유닛으로 탑재된 차체 부품을 고정하는 지그;
    설정된 고정위치에서 상기 지그의 검사 이미지를 촬영하는 카메라부;
    상기 검사 이미지를 사전에 설정된 영상 분석 기준과 비교하여 상기 클램핑 유닛의 전진 상태 혹은 후진 상태를 판정하는 비전시스템;
    상기 부품을 용접하는 용접 로봇; 및
    상기 클램핑 유닛의 상태정보를 확인하여 설정된 프로세스에 따른 용접 공정을 제어하는 주제어부;
    를 포함하는 영상기반 지그 검사 시스템.
  2. 제1항에 있어서,
    상기 지그는
    베이스의 상면에 복수로 배치된 클램핑 유닛;
    상기 클램핑 유닛에 정렬된 부품을 고정하거나 상기 고정을 해제하도록 제어하는 PLC(Programmable Logic Controller); 및
    상기 베이스를 이동 가능하게 탑재하는 대차;
    를 포함하는 영상기반 지그 검사 시스템.
  3. 제1항 또는 제2항에 있어서,
    상기 지그는
    다차종 부품이 탑재될 수 있도록 설계된 상기 클램핑 유닛이 배치되고, 각 클램핑 유닛은 사용되는 부품의 차종에 따른 고유의 색이 도색 되는 영상기반 지그 검사 시스템.
  4. 제1항에 있어서,
    상기 카메라부는
    상기 지그로부터 수직한 위치에 고정 설치되어 상기 지그의 이미지를 촬영하는 카메라;
    고정물에 부착되어 상기 카메라를 일정한 회전 각도로 고정하는 회전스테이지;
    상기 회전스테이지와 카메라 사이를 연결하며 상기 카메라의 2축 틸팅 각도를 조절하는 틸팅 스테이지; 및
    상기 카메라에 부착되어 상기 회전 각도와 틸팅 각도를 표시하고, 상기 카메라가 초기 세팅된 회전 각도와 틸팅 각도를 메모리에 저장하는 계측기;
    를 포함하는 영상기반 지그 검사 시스템.
  5. 제4항에 있어서,
    상기 카메라부는
    상기 지그의 크기에 따라 복수의 카메라가 구비되거나 일측 방향으로 이미지 센서의 수가 확장되어 와이드 촬영을 지원 하는 영상기반 지그 검사 시스템.
  6. 제3항에 있어서,
    상기 비전시스템은
    주제어기의 검사요청에 따른 상기 카메라부에 작동신호를 인가하여 상기 검사 이미지를 수신하는 통신모듈;
    상기 검사 이미지에서 추출된 상기 클램핑 유닛의 형태 정보와 상기 영상 분석 기준에 설정된 기준 템플릿 정보와 비교하여 전진 매칭률과 후진 매칭률을 산출하는 영상처리모듈;
    상기 영상 분석 기준 데이터를 저장하는 저장모듈; 및
    전진 매칭률과 후진 매칭률 중 어느 하나가 설정된 기준값을 초과하는 것을 검출하여 상기 클램핑 유닛의 전진 상태 혹은 후진 상태를 판정하는 판정모듈;
    을 포함하는 영상기반 지그 검사 시스템.
  7. 제6항에 있어서,
    상기 영상처리모듈은
    사전에 지그의 기준 이미지를 획득하여 상기 클램핑 유닛별 차종, 기준 색깔, 이미지 영역, 상기 이미지 영역에 정의된 템플릿 정보, 카메라 ID 및 지그 위치 중 적어도 하나를 포함하는 영상 분석 기준을 설정하는 영상기반 지그 검사 시스템.
  8. 제6항에 있어서,
    상기 영상처리모듈은
    복수의 카메라에서 촬영된 상기 지그의 전반부 이미지와 후반부 이미지를 정합하여 통합된 기준 이미지를 생성하는 영상기반 지그 검사 시스템.
  9. 제6항에 있어서,
    상기 영상처리모듈은
    템플릿 저작 도구(UI)를 통해 상기 기준 이미지에서 상기 클램핑 유닛의 색깔 별로 사용되는 차종과 부품을 매칭하고, 상기 클램핑 유닛별 이미지 영역을 설정하는 영상기반 지그 검사 시스템.
  10. 제9항에 있어서,
    상기 영상처리모듈은
    상기 이미지 영역을 필터링하여 배경부분을 제거하고 상기 클램핑 유닛의 윤곽선을 추출하는 영상기반 지그 검사 시스템.
  11. 제10항에 있어서,
    상기 영상처리모듈은
    상기 윤곽선을 토대로 상기 클램핑 유닛의 형태 정보를 도출하여 전진 상태 템플릿과 후진 상태 템플릿을 포함하는 상기 템플릿 정보를 생성하는 영상기반 지그 검사 시스템.
  12. 제6항에 있어서,
    상기 영상처리모듈은
    상기 클램핑 유닛의 형태 정보에 대응되는 상기 템플릿 정보를 픽셀 대 픽셀로 비교하여 상기 각 매칭률을 계산하는 영상기반 지그 검사 시스템.
  13. 제6항에 있어서,
    상기 영상처리모듈은
    상기 이미지 영역 위에 상기 템플릿 정보를 겹친 후 이동시키면서 매칭률을 계산하고 최대 수치를 갖는 상기 전진 매칭률과 후진 매칭률을 상기 판정 모듈로 전달하는 영상기반 지그 검사 시스템.
  14. 제6항에 있어서,
    상기 판정모듈은
    상기 전진 매칭률이 전진 판정 기준값을 초과하고 상기 후진 매칭률이 후진 판정 기준값을 초과하지 않으면 상기 전진 상태로 판정하고,
    상기 후진 매칭률이 후진 판정 기준값을 초과하고 상기 전진 매칭률이 전진 판정 기준값을 초과하지 않으면 상기 후진 상태로 판정하는 영상기반 지그 검사 시스템.
  15. 제14항에 있어서,
    상기 판정모듈은
    상기 전진 매칭률과 후진 매칭률이 모두 전진 및 후진 판정 기준값을 초과하거나 모두 전진 및 후진 판정 기준값을 초과하지 않는 경우 에러 발생으로 판정하는 영상기반 지그 검사 시스템.
  16. 차체공장의 공정라인에 설비된 비전시스템이 영상기반으로 센서리스 지그의 상태를 검사하는 방법에 있어서,
    a) 사전에 지그의 종류별 기준 이미지를 획득하여 클램핑 유닛별 적용 차종과 부품, 색깔, 이미지 영역, 상기 이미지 영역에 정의된 템플릿 정보, 카메라 ID 및 지그 위치 중 적어도 하나를 포함하는 영상 분석 기준을 설정하는 단계;
    b) 주제어기에서 수신된 검사 요청에 따른 검사 대상 부품을 파악하고 상기 부품에 대응되는 상기 영상 분석 기준을 선택하는 단계;
    c) 카메라부에서 촬영된 지그의 검사 이미지를 획득하여 상기 선택된 상기 영상 분석 기준에서 상기 검사 대상 부품의 이미지 영역에 해당하는 클램핑 유닛 영상을 추출하는 단계; 및
    d) 상기 클램핑 유닛 영상을 상기 영상 분석 기준에 정의된 템플릿 정보와 비교하여 상기 클램핑 유닛의 전진 상태 혹은 후진 상태를 판정하여 상기 주제어기로 전송하는 단계;
    를 포함하는 영상기반 지그 검사 방법.
  17. 제16항에 있어서,
    상기 c) 단계는,
    상기 클램핑 유닛 영상의 색깔과 상기 영상 분석 기준의 클램핑 유닛 색깔을 비교하는 단계; 및
    두 색깔이 상이하면 검사 오류 이벤트를 발생하고 상기 주제어기로 통보하는 단계를 포함하는 영상기반 지그 검사 방법.
  18. 제16항에 있어서,
    상기 c) 단계는,
    상기 이미지 영역을 필터링하여 배경부분을 제거하고 상기 클램핑 유닛의 윤곽선을 추출하는 단계를 포함하는 영상기반 지그 검사 방법.
  19. 제18항 있어서,
    상기 d) 단계는,
    상기 클램핑 유닛의 윤곽선에 대응하는 전진 템플릿과 후진 템플릿을 각각 비교하여 전진 템플릿 매칭률 및 후진 템플릿 매칭률을 각각 산출하는 단계; 및
    상기 전진 템플릿 매칭률 및 후진 템플릿 매칭률 중 어느 하나가 설정된 기준값을 초과하는 것을 검출하여 클램핑 유닛의 상태를 판정하는 단계;
    를 포함하는 영상기반 지그 검사 방법.
  20. 제19항 있어서,
    상기 d) 단계는,
    상기 전진 템플릿 매칭률과 후진 템플릿 매칭률이 모두 상기 기준값을 초과하거나 모두 상기 기준값을 초과하지 못하면 해당 템플릿에 에러가 발생된 것으로 판단하고 상기 주제어기로 알람하는 영상기반 지그 검사 방법.
KR1020200036653A 2020-03-26 2020-03-26 영상기반 지그 검사 시스템 및 그 방법 KR20210120229A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200036653A KR20210120229A (ko) 2020-03-26 2020-03-26 영상기반 지그 검사 시스템 및 그 방법
US17/110,912 US12073553B2 (en) 2020-03-26 2020-12-03 Image-based jig inspection system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200036653A KR20210120229A (ko) 2020-03-26 2020-03-26 영상기반 지그 검사 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20210120229A true KR20210120229A (ko) 2021-10-07

Family

ID=77856468

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200036653A KR20210120229A (ko) 2020-03-26 2020-03-26 영상기반 지그 검사 시스템 및 그 방법

Country Status (2)

Country Link
US (1) US12073553B2 (ko)
KR (1) KR20210120229A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024075906A1 (ko) * 2022-10-04 2024-04-11 현대자동차 주식회사 이미지 처리 장치, 이미지 처리 시스템 및 이미지 처리 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210120229A (ko) * 2020-03-26 2021-10-07 현대자동차주식회사 영상기반 지그 검사 시스템 및 그 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0738011B2 (ja) * 1988-05-16 1995-04-26 株式会社日立製作所 高圧電力機器の異常診断システム
KR100961505B1 (ko) * 2007-11-06 2010-06-08 창원금속공업(주) 자동차의 써포트힌지용 너트의 용접 및 비전장치
TWI496094B (zh) * 2013-01-23 2015-08-11 Wistron Corp 手勢辨識模組及手勢辨識方法
WO2015041252A1 (ja) * 2013-09-18 2015-03-26 本田技研工業株式会社 溶接クランプの位置決め方法
US9664213B2 (en) * 2014-08-21 2017-05-30 Cook Medical Technologies Llc System for containment and organization of medical wire
US20160335484A1 (en) * 2015-03-11 2016-11-17 Fortinet, Inc. Access point stream and video surveillance stream based object location detection and activity analysis
CN110052798B (zh) * 2019-04-25 2020-01-14 深圳连硕自动化科技有限公司 一种汽车电子手刹组装与焊接装置
CN210898858U (zh) * 2019-09-05 2020-06-30 莱克电气股份有限公司 一种直流电机转子加工系统
US11415867B1 (en) * 2020-03-07 2022-08-16 Arc Eye LLC Apparatus for capturing consistent images of an object
KR20210120229A (ko) * 2020-03-26 2021-10-07 현대자동차주식회사 영상기반 지그 검사 시스템 및 그 방법
US11415990B2 (en) * 2020-05-04 2022-08-16 Honeywell International Inc. Optical object tracking on focal plane with dynamic focal length
JP2022101324A (ja) * 2020-12-24 2022-07-06 株式会社前川製作所 ロボットアーム用のツールチェック装置、ツールチェックプログラム、及びツールチェック方法
US20220334454A1 (en) * 2021-04-14 2022-10-20 Omniscient Imaging, Inc. Optical imaging system and operation thereof
US20230117932A1 (en) * 2021-10-14 2023-04-20 Positronix, Inc. Rapid Deployment Machine Learning System
CN218424244U (zh) * 2022-08-04 2023-02-03 深圳市振华兴智能技术有限公司 一种自动双面光学外观检测仪
CN115635272B (zh) * 2022-10-24 2023-09-08 上海微云实业集团有限公司 牙模与底座的安装方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024075906A1 (ko) * 2022-10-04 2024-04-11 현대자동차 주식회사 이미지 처리 장치, 이미지 처리 시스템 및 이미지 처리 방법

Also Published As

Publication number Publication date
US12073553B2 (en) 2024-08-27
US20210304382A1 (en) 2021-09-30

Similar Documents

Publication Publication Date Title
EP3492214B1 (en) Automatic car body welding spot inspection and control method
US7355725B2 (en) Measuring system
KR20210120229A (ko) 영상기반 지그 검사 시스템 및 그 방법
CN107843644A (zh) 一种车身焊点自动检测系统及其控制方法
KR101523641B1 (ko) 실러 도포 및 노즐 상태 실시간 검사 장치와 방법
JP2010025615A (ja) 自動スポット溶接検査システム
JP2019191117A (ja) 画像処理装置、画像処理方法及びプログラム
EP3662272B1 (en) Inspection system and method for turbine vanes and blades
KR102523195B1 (ko) 도포된 자동차 실러 검사용 퓨전비전검사시스템
CN109843513B (zh) 评价电缆束的状态的设备和方法
CN112113968A (zh) 检测系统、视觉检测装置及检测方法
US20180051983A1 (en) Measurement system and method for configuring the measurement system
CN111103306A (zh) 检测与标记瑕疵的方法
US20130265410A1 (en) Color vision inspection system and method of inspecting a vehicle
KR20220044741A (ko) 웨이퍼 외관 검사 장치 및 방법
CN114923410B (zh) 一种纵梁孔位在线检测方法及装置
JP2005283267A (ja) 貫通穴計測装置及び方法並びに貫通穴計測用プログラム
KR101766884B1 (ko) 실러 도포 검사 방법
JPH09133519A (ja) ３次元形状構造物の検査方法
US11295406B2 (en) Image management device
KR20160067303A (ko) 실러 도포 품질 검사 장치 및 이를 이용한 실러 도포 품질 검사 방법
KR101421672B1 (ko) 정밀 트리거 신호를 이용한 로봇 비젼 검사 시스템 및 그 방법
KR20180103467A (ko) 3차원 카메라를 이용한 용접 로봇 끝단의 위치 추정 시스템 및 방법
KR0147319B1 (ko) 전자총 비드 마운트의 아일렛 편심 자동 검사 장치와 방법
CN220751978U (zh) 用于工程机械的自动化下线检测系统