KR20230004314A - 딥러닝 기반 외관 검사 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 딥러닝 기반 외관 검사 시스템 및 그 방법에 관한 것이다.
본 발명에 따른 딥러닝 기반 외관 검사 시스템은 차량 부품 이미지의 관심 영역에 대한 GT를 생성하는 GT 생성 모듈과, 상기 GT 생성 모듈로부터 학습 데이터를 수신하여 딥러닝 기반 학습을 수행하고, 웨이트 파일을 출력하는 학습 모듈 및 비전 프로그램으로부터 수신한 이미지 파일에 대해 상기 웨이트 파일을 이용하여 결함을 감지하고, 결함 감지 결과를 상기 비전 프로그램으로 반환하는 인터페이스 모듈을 포함한다.

Description

딥러닝 기반 외관 검사 시스템 및 그 방법{VISION INSPECTION SYSTEM BASED ON DEEP LEARNING AND VISION INSPECTION METHOD USING THEREOF}

본 발명은 딥러닝 기반 외관 검사 시스템 및 그 방법에 관한 것이다.

종래 기술에 따르면, 비전 검사 시스템을 이용하여 모듈 라인의 최종 검사를 자동적으로 수행한다. 비전 검사 시스템은 패턴(pattern), 블럽(blob), 색상(color) 툴을 이용하여 조립된 모듈의 품질을 확인하며, 모듈의 결함을 감지한다.

비전 프로그램에서 결함으로 판명한 경우, 모듈 라인을 즉시 중지하여야 하는데, 작업자(오퍼레이터)가 이를 파악하고 처리할 때까지 가동이 중단되어야 한다. 또한, 샤시 모듈 등의 모듈 라인에서 오류 탐지율에 관한 문제가 있고, 현재 NG에 대한 오탐지율은 5% 정도로 집계된다.

본 발명은 전술한 문제점을 해결하기 위해 제안된 것으로, 비전 프로그램에서 결함 이미지를 획득하고 검사 완료 결과를 비전 프로그램으로 반환하는 전체 프로세스를 단일 이미지 당 기설정 시간 내에 빠르게 수행하고, 감지 에러 비율(detection error rate)을 0%로 수렴시키는 것이 가능한 딥러닝 기반 샤시 모듈 외관 검사 시스템 및 방법을 제공하는데 그 목적이 있다.

본 발명에 따른 딥러닝 기반 외관 검사 시스템은 차량 부품 이미지의 관심 영역에 대한 GT를 생성하는 GT 생성 모듈과, 상기 GT 생성 모듈로부터 학습 데이터를 수신하여 딥러닝 기반 학습을 수행하고, 웨이트 파일을 출력하는 학습 모듈 및 비전 프로그램으로부터 수신한 이미지 파일에 대해 상기 웨이트 파일을 이용하여 결함을 감지하고, 결함 감지 결과를 상기 비전 프로그램으로 반환하는 인터페이스 모듈을 포함한다.

상기 GT 생성 모듈은 검사 부품 이미지 상에 바운딩 박스를 생성한 정보를 학습 폴더에 저장시킨다.

상기 학습 폴더는 OK 데이터, NG 데이터, Cfg 파일, 학습 전 웨이트 파일, 오브젝트 명칭 정보를 저장한다.

상기 학습 모듈은 YOLO 학습 모델을 이용하여 지정된 차량 부품에 대한 학습을 수행하여, 상기 웨이트 파일을 학습 결과로 출력한다.

상기 학습 모듈은 지정된 디렉토리 폴더에 상기 웨이트 파일을 저장한다.

상기 인터페이스 모듈은 이더넷 TCP/IP 프로토콜 인터페이스를 이용하여 상기 비전 프로그램과 연결된다.

상기 인터페이스 모듈은 상기 학습 모듈로부터 상기 웨이트 파일과 구성 파일을 전달받고, YOLO 감지 모델을 이용하여 부품 결함을 감지하고, 감지 결과를 스크린에 디스플레이하도록 제어한다.

본 발명에 따른 딥러닝 기반 외관 검사 방법은 (a) 차량 부품 이미지의 관심 영역에 대한 Ground Truth를 생성하는 단계와, (b) 상기 (a) 단계에서 생성된 학습 데이터를 이용하여 딥러닝 기반 학습을 수행하고, 웨이트 파일을 출력하는 단계 및 (c) 상기 웨이트 파일을 이용하여 차량 부품의 이미지에서 결함을 감지하고, 바운딩 박스와 결함 여부에 대한 판단 결과를 제공하는 단계를 포함한다.

상기 (a) 단계는 이미지 어노테이션 오픈 소스를 이용하여 GT 정보를 텍스트 파일로 생성하고 저장한다.

상기 (b) 단계는 YOLO 학습 모델을 이용하여 지정된 차량 부품에 대한 학습을 수행하여, 상기 웨이트 파일을 학습 결과로 출력한다.

상기 (c) 단계는 이더넷 TCP/IP 프로토콜을 이용하여 비전 프로그램으로부터 원시 이미지 파일인 상기 차량 부품의 이미지를 획득하고, YOLO 감지 모델을 이용하여 결함 여부를 판단하여 상기 판단 결과를 스크린에 디스플레이하도록 제어하고, 상기 판단 결과를 상기 비전 프로그램으로 반환한다.

본 발명에 따르면, 자동차 모델의 모든 부분에 대해 학습하고, 이미지 분석을 통해 결함을 감지하여, 감지 에러 비율을 0%에 근접하게 감소시키고, 모듈 라인의 가동 중단 시간을 획기적으로 단축시키며, 생산 효율을 높이는 효과가 있다.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 실시예에 따른 딥러닝 기반 외관 검사 시스템을 도시한다.
도 2는 본 발명의 실시예에 따른 GT 생성 화면을 도시한다.
도 3a 내지 도 3d는 본 발명의 실시예에 따른 GT 생성 과정을 도시한다.
도 4는 본 발명의 실시예에 따른 학습 화면을 도시한다.
도 5a 내지 도 5d는 본 발명의 실시예에 따른 학습 과정을 도시한다.
도 6은 본 발명의 실시예에 따른 대쉬보드(dashboard) 화면을 도시한다.
도 7a 내지 도 7d는 본 발명의 실시예에 따른 인스펙션(inspection) 과정을 도시한다.
도 8은 본 발명의 실시예에 따른 딥러닝 기반 외관 검사 방법을 도시한다.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.

도 1은 본 발명의 실시예에 따른 딥러닝 기반 외관 검사 시스템을 도시한다.

GT 생성 모듈(100)은 GT 프로그램을 실행시키는 GT 프로그램 실행부(110)를 포함한다. GT 프로그램은 차량 모델(model) 및 부품(part)을 기반으로 데이터를 구성한다.

GT 프로그램 실행부(110)는 OK 파일과 NG 파일을 출력하며, OK 파일과 NG 파일은 이미지 파일, 바운딩 박스를 포함한다.

GT 생성 모듈(100)의 학습 폴더 관리부(120)는 OK 파일과 NG 파일을 저장 및 관리하고, 학습 폴더에는 OK 데이터, NG 데이터, Cfg 파일, 기학습된 웨이트 파일(pretrained weights file), 오브젝트 명칭(object names)이 저장된다.

학습 모듈(200)은 학습 수행부(210)와 학습 결과 관리부(220)를 포함한다.

학습 수행부(210)는 YOLO-v3 트레이닝 모델(darknet.exe)을 이용하여 학습을 수행하고, 학습 결과 관리부(220)는 각각의 차량 모델(car model)에 대해 웨이트 파일(weight file)을 저장하고, 학습 결과를 인터페이스 모듈(300)의 감지 수행부(320)로 전송한다.

YOLO는 one stage 검출기를 이용하여, 하나의 이미지를 한번 신경망에 통과시킴으로써 검출 속도가 매우 빠르다. 이미지를 여러 격자 셀(grid cells)로 나누어, 각 셀은 픽셀 사이즈와 중앙점을 가진다. 각각의 셀에는 넓이와 높이가 정해진, 복수 개의 앵커 박스가 생긴다. 앵커 박스의 정보인 파라메터에는 해당 셀에 물체가 있을 확률, 해당 셀의 x, y 값, 해당 셀에 있는 앵커 박스의 넓이 및 높이 값이 포함된다. 각 셀의 정보는 class probabilities(해당 바운딩 박스의 클래스 별 퍼센트)와 바운딩 박스 파라메터로 구성된다.

결과 도출 순서에 대해 설명하면, 네트워크 인풋으로부터 letter box 이미지를 생성하고, trained data(weight), network model, image가 인풋(input)으로 GoogLeNet에 입력된다. Fully Connected Layer를 그리드 셀의 크기에 맞게 변형하고, 각 바운딩 박스에 대한 class confidence score를 계산한다. 이어서, NMS(Non-Maximum Suppression)를 통해 중복되는 박스를 제거하고, 최종 박스를 그린다.

인터페이스 모듈(300)은 대쉬보드(dash) 기능을 수행하며, 이미지 파일 획득부(310)는 이더넷 TCP/IP 프로토콜을 이용하여 비전 프로그램으로부터 원시 이미지 파일(raw image file)을 획득한다.

감지 수행부(320)는 YOLO v3-감지 모델(detection model)을 이용하여, 차량 모델 및 부품(part) 정보를 읽고, 적합한 웨이트(weight)와 구성 파일(configuration file)을 불러온다.

감지 결과 관리부(330)는 감지 수행부(320)로부터 결함 감지 결과(output from detection)를 수신하고, 결함 결과(defection result)를 스크린에 표출하도록 제어한다. 이 때, 바운딩 박스가 포함된 이미지와 차량 모델 정보가 제공된다.

감지 결과 관리부(330)는 조사된 이미지를 실시간으로 저장 폴더(saving folder)에 저장시키고, 이더넷 TCP/IP 프로토콜을 이용하여 비전 프로그램으로 아웃풋을 전송한다.

도 2는 본 발명의 실시예에 따른 GT 생성 화면을 도시하고, 도 3은 본 발명의 실시예에 따른 GT 생성 과정을 도시한다.

GT 생성 모듈(100)은 모델(model) 및 부품(parts)에 대한 생성 및 삭제 기능을 제공하고, GT(ROI, Region Of Interest)를 생성한다.

GT 생성 모듈(100)은 각 이미지에 대해 하나의 GT를 생성하며, 하나의 부품에 대해 100개의 GT를 생성하는데 평균적으로10분이 소요된다.

GT 생성 모듈(100)은 이미지 어노테이션(image annotation) 오픈 소스를 이용하여 GT 정보를 텍스트 파일로 생성하고 저장한다.

GT 생성 모듈(100)은 검사 부품(inspection part)이 존재하는 이미지 상에 박스를 생성한다.

이 박스를 GT(Ground Truth)라고 하며, YOLO v3는 지도 학습 중 하나로 훈련 대상(training object)의 위치 정보(locational information)가 필요하다.

GT 생성 모듈(100)을 통해, 사용자 니즈에 따라 차량 모델 및 부품에 대한 추가 및 삭제가 가능한데, 차량 정보의 리스트는 백그라운드에서 INI 파일로 관리된다. 검사 부품이 추가되면, 학습을 위한 디렉토리 폴더가 자동으로 생성되고, 이 때 클래스 파일(class file)과 구성 파일(configuration file)이 생성된다. 수집된 학습용 이미지는 지정된 폴더(OK, NG)에 저장된다. 데이터셋이 준비되고 차량 모델과 부품이 선택되면, GT 프로그램(어노테이션 프로그램, annotation program)을 통해 GT가 생성된다.

도 3a를 참조하면, 폼 모델(form model)이 입력되고, 모델이 선택 및 로드(load)된다.

도 3b를 참조하면, 검사 부품(inspection part)와 클래스(class, OK 또는 NG)가 선택된다.

도 3c를 참조하면, “Start GT Program”에 따라, GT 프로그램이 로드(load)된다.

도 3d를 참조하면, 마우스 드래그(mouse drag)를 통해 GT 박스가 생성된다.

도 4는 본 발명의 실시예에 따른 학습 화면을 도시하고, 도 5는 본 발명의 실시예에 따른 학습 과정을 도시한다.

학습 모듈(200)은 지정된 부품에 대한 학습을 수행하고, 학습에 따라 웨이트 파일(weight file)을 생성한다.

하나의 부품에 대한 학습 시간은 약 30분에서 1시간이 소요된다.

학습 모듈(200)은 Darknet 학습 프로그램(YOLO 알고리즘의 학습 프로그램인 Darknet.exe)을 오픈 소스로 이용하여 학습을 수행한다.

GT 생성 이후, 선택된 검사 부품(inspection part)은 YOLO 알고리즘에 의해 학습된다.

규칙 기반 비전 툴과는 달리, 딥러닝 모델은 데이터 기반으로 작동되므로, 모델의 훈련 정도에 따라 모델 성능이 결정된다.

Darknet.exe를 이용하여 학습을 수행하며, 이는 Darknet 플랫폼(C 코드)에서 만든 YOLO 모델용 프로그램이다.

이 프로그램을 실행하기 위해 Cfg 파일, 오브젝트 데이터, 이미지 디렉토리(.txt 파일)가 파라미터로 설정된다.

검사 부품이 이전에 학습된 경우, 기존의 웨이트 파일(weight file)이 자동으로 로드되고, 이전에 학습되지 않은 경우, pre-trained weights file을 이용한다.

학습 중에는 지정된 디렉토리 폴더에 웨이트 파일이 생성되며, 이를 통해 실시간 감지(real time detection)를 수행하는 것이 가능하다.

도 5a를 참조하면, 학습 대상이 되는 차량 모델과 검사 부품을 선택한다.

도 5b를 참조하면, “Ready to train”을 클릭하고, Cfg, obj.names, train.txt 파일이 세팅되었는지 확인한다.

도 5c를 참조하면, “Start”를 클릭하고, 학습 프로그램(Darknet.exe)이 실행된다.

도 5d를 참조하면, 학습 이후, 웨이트 파일이 특정 디렉토리에 자동 생성된다.

도 6은 본 발명의 실시예에 따른 대쉬보드(dashboard) 화면을 도시하고, 도 7은 본 발명의 실시예에 따른 인스펙션(inspection) 과정을 도시한다.

인터페이스 모듈은 이더넷을 통해 비전 인스펙션 프로그램과 연결되고, 자동 검사(auto inspection) 및 매뉴얼 검사(manual inspection) 기능을 제공한다.

자동 검사는 하나의 이미지 당 2초 이내에, 매뉴얼 검사는 하나의 이미지 당 1초 이내에 수행되며, 오픈소스인 YOLO wrapper(Wrapping code from C to C#)를 이용한다.

학습 후, 인터페이스 모듈을 통해 테스트가 수동으로 수행되며, 학습된 모델의 성능이 좋은 것으로 확인되면, 모듈 라인의 자동 검사에 학습 모델을 적용한다.

딥러닝 프로그램은 TCP IP 프로토콜을 사용하여, 비전 검사 프로그램과 연결되어 데이터를 송수신한다.

대쉬보드 화면에서 검사 유형이 표시되며, 웨이트 파일을 로드하여 YOLO 감지 모델을 이용한다.

수동 검사(manual inspection) 시, 특정 폴더 내의 모든 이미지에 대한 테스트가 수행될 수 있고, 자동 검사(auto inspection)는 비전 프로그램과 함께 실시간 검사에 사용된다.

도 7a를 참조하면, “MANUAL TEST”가 클릭되면, 수동 검사 양식(Manual test form)이 로드된다.

도 7b를 참조하면, 차량 모델과 부품이 선택되고, 수동 검사가 수행된다.

도 7c를 참조하면, AUTO 및 Connect OP.PC를 클릭하고, 연결 확인을 위해 하단의 로그 박스(log box)를 확인한다.

도 7d를 참조하면, 연결이 확인된 경우, 프로그램은 자동으로 이미지를 검사하고, 결과를 출력한다.

도 8은 본 발명의 실시예에 따른 딥러닝 기반 외관 검사 방법을 도시한다.

S810 단계에서, 영상 기반 인스펙션을 수행한다. 단계별로 모든 부품에 대한 검사를 수행하고, 결함 부품이 발견되는 경우, 검사를 중단하고, 결함 부품 이미지 및 부품 정보를 전송한다.

S820 단계에서, 학습 기반 인스펙션을 수행한다. 이 때, YOLO-v3 트레이닝 모델(darknet.exe)을 이용한 학습 기반 인스펙션을 수행한다. 비전 프로그램으로부터 수신한 이미지에 대한 검사를 시작하고, 감지 결과 및 부품 정보를 디스플레이하며, 비전 프로그램으로 감지 결과를 전송한다.

S830 단계에서, 최종 외관 조사 결과를 획득한다. 딥 러닝 프로그램으로부터 획득된 감지 결과를 적용하고, 나머지 부품에 대한 검사를 계속 진행하며, 모듈 라인에서의 최종 감지 결과를 획득한다.

한편, 본 발명의 실시예에 따른 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.

컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다.

메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.

따라서, 본 발명의 실시예에 따른 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 본 발명의 실시예에 따른 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 본 발명의 실시예에 따른 방법을 수행할 수 있다.

한편, 상술한 본 발명의 실시예에 따른 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

Claims (11)

1. 차량 부품 이미지의 관심 영역에 대한 GT를 생성하는 GT 생성 모듈;
   상기 GT 생성 모듈로부터 학습 데이터를 수신하여 딥러닝 기반 학습을 수행하고, 웨이트 파일을 출력하는 학습 모듈; 및
   비전 프로그램으로부터 수신한 이미지 파일에 대해 상기 웨이트 파일을 이용하여 결함을 감지하고, 결함 감지 결과를 상기 비전 프로그램으로 반환하는 인터페이스 모듈
   을 포함하는 딥러닝 기반 외관 검사 시스템.
2. 제1항에 있어서,
   상기 GT 생성 모듈은 검사 부품 이미지 상에 바운딩 박스를 생성한 정보를 학습 폴더에 저장시키는 것
   인 딥러닝 기반 외관 검사 시스템.
3. 제2항에 있어서,
   상기 학습 폴더는 OK 데이터, NG 데이터, Cfg 파일, 학습 전 웨이트 파일, 오브젝트 명칭 정보가 저장되는 것
   인 딥러닝 기반 외관 검사 시스템.
4. 제1항에 있어서,
   상기 학습 모듈은 YOLO 학습 모델을 이용하여 지정된 차량 부품에 대한 학습을 수행하여, 상기 웨이트 파일을 학습 결과로 출력하는 것
   인 딥러닝 기반 외관 검사 시스템.
5. 제4항에 있어서,
   상기 학습 모듈은 지정된 디렉토리 폴더에 상기 웨이트 파일을 저장하는 것
   인 딥러닝 기반 외관 검사 시스템.
6. 제1항에 있어서,
   상기 인터페이스 모듈은 이더넷 TCP/IP 프로토콜 인터페이스를 이용하여 상기 비전 프로그램과 연결되는 것
   인 딥러닝 기반 외관 검사 시스템.
7. 제1항에 있어서,
   상기 인터페이스 모듈은 상기 학습 모듈로부터 상기 웨이트 파일과 구성 파일을 전달받고, YOLO 감지 모델을 이용하여 부품 결함을 감지하고, 감지 결과를 스크린에 디스플레이하도록 제어하는 것
   인 딥러닝 기반 외관 검사 시스템.
8. (a) 차량 부품 이미지의 관심 영역에 대한 Ground Truth를 생성하는 단계;
   (b) 상기 (a) 단계에서 생성된 학습 데이터를 이용하여 딥러닝 기반 학습을 수행하고, 웨이트 파일을 출력하는 단계; 및
   (c) 상기 웨이트 파일을 이용하여 차량 부품의 이미지에서 결함을 감지하고, 바운딩 박스와 결함 여부에 대한 판단 결과를 제공하는 단계
   를 포함하는 딥러닝 기반 외관 검사 방법.
9. 제8항에 있어서,
   상기 (a) 단계는 이미지 어노테이션 오픈 소스를 이용하여 GT 정보를 텍스트 파일로 생성하고 저장하는 것
   인 딥러닝 기반 외관 검사 방법.
10. 제8항에 있어서,
    상기 (b) 단계는 YOLO 학습 모델을 이용하여 지정된 차량 부품에 대한 학습을 수행하여, 상기 웨이트 파일을 학습 결과로 출력하는 것
    인 딥러닝 기반 외관 검사 방법.
11. 제8항에 있어서,
    상기 (c) 단계는 이더넷 TCP/IP 프로토콜을 이용하여 비전 프로그램으로부터 원시 이미지 파일인 상기 차량 부품의 이미지를 획득하고, YOLO 감지 모델을 이용하여 결함 여부를 판단하여 상기 판단 결과를 스크린에 디스플레이하도록 제어하고, 상기 판단 결과를 상기 비전 프로그램으로 반환하는 것
    인 딥러닝 기반 외관 검사 방법.

Images