KR20200080283A

KR20200080283A - Lcm 자동 광학 검사에 적합한 가속 이미지 프로세싱 시스템

Info

Publication number: KR20200080283A
Application number: KR1020207015265A
Authority: KR
Inventors: 창둥 오우; 조우 왕; 바오화 덩; 웬티안 탕; 린하이 메이; 웬종 동; 보 리; 모샤오 수
Original assignee: 우한 징세 일렉트로닉 그룹 컴퍼니 리미티드
Priority date: 2017-10-31
Filing date: 2018-08-24
Publication date: 2020-07-06
Also published as: KR102243496B1; WO2019085606A1; US20200300780A1; US11073484B2; TWI697870B; JP6869433B2; CN107817217B; JP2021501323A; CN107817217A; TW201931306A

Abstract

본 개시는 LCM 자동 광학 검사에 적합한 가속 이미지 프로세싱 시스템을 개시한다. 가속 이미지 프로세싱 시스템은 FPGA 프로세싱 플랫폼(1)과 PC(2)를 구비한다. FPGA 프로세싱 플랫폼(1)은 제1 광섬유 인터페이스, 제2 광섬유 인터페이스, 제3 광섬유 인터페이스, 제4 광섬유 인터페이스 및 제5 광섬유 인터페이스를 구비한다. FPGA 프로세싱 플랫폼(1)은 구성 파라미터들과 테스트 명령들을 수신하고 제1 광섬유 인터페이스를 통해 테스트 결과를 출력하도록 구성되고; FPGA 프로세싱 플랫폼(1)은 제2 광섬유 인터페이스를 통해 PC(2)와 데이터 교환하도록 구성되고; FPGA 프로세싱 플랫폼(1)은 이미지 데이터를 수신하고 제3 광섬유 인터페이스를 통해 구성 파라미터들과 테스트 명령들을 출력하도록 구성되고; FPGA 프로세싱 플랫폼(1)은 제4 광섬유 인터페이스를 통해 클릭 신호의 생성을 제어하도록 구성되고; FPGA 프로세싱 플랫폼(1)은 제5 광섬유 인터페이스를 통해 IO 광원을 제어하도록 구성된다.

Description

LCM 자동 광학 검사에 적합한 가속 이미지 프로세싱 시스템

본 개시는 자동 광학 검사(Automatic Optical Inspection)의 기술 분야에 관한 것으로서, 특히 LCM 자동 광학 검사에 적합한 가속(acceleraion) 이미지 프로세싱 시스템에 속한다.

현재, TFT-LCD 생산 검사는 주로 수동이다. 불량 제품들이 시장에 출시되지 않도록 너무 엄격하게 검사를 하면 재료가 낭비되고, 비용이 증가하고, 훨씬 더 많은 노력이 필요하다. LCD 패널의 해상도와 크기가 개선됨에 따라 작은 결함들을 육안으로 식별하기 곤란하다. 이러한 작은 결함들은 고급 제품들에 치명적이다. 또한, 대량 생산의 요구에 따라 생산 라인 상의 작업자들는 다수의 화면들 또는 모듈들의 모양을 신속하고 반복적으로 감지할 필요가 있기 때문에 이것은 시각적 피로를 유발하기 쉬워서 검사 누락 또는 과잉 검사로 귀결될 수 있다. 한편, 인건비를 절약하기 위해, 패널 제조업체들은 지능형 제조를 위한 육체 노동 대신 자동 광학 검사(AOI) 장비를 채택하기 시작하였다.

그러나, 대규모 및 고해상도 패널들이 발전함에 따라, AOI 장비의 요건들과 복잡성이 기하급수적으로 증가하고 있고, 다음과 같은 기술적 문제들이 존재한다.

1) 이미지 획득에 사용되는 산업용 카메라의 갯수가 급격히 증가하고 있다. 예를 들어, 1920×1080을 위해 하나의 CCD가 필요하고, 4K×2K의 경우 적어도 3개의 CCD들이 필요하며, 8K×4K의 경우 적어도 12개의 CCD들이 필요하다. 또한, 사이드 뷰 상의 가시적 결함들을 캡쳐하기 위해 다수의 카메라들이 필요하다. 작업 공간이 충분하지 않으면 추가적인 CCD가 필요하다.

2) 사진-촬영 카메라들의 갯수가 증가함에 따라, 이미지 계산 데이터의 양이 급격히 증가한다. CCD로 촬영된 사진의 데이터 사이즈는 일반적으로 약 30MB이고, 패널 검사를 위해 15-20장의 사진들이 촬영될 필요가 있다. 따라서, 각각의 검사에 의해 처리될 이미지 데이터의 양은 수 TB만큼 높다.

3) 이미지는 실시간으로 처리될 필요가 있고, 프로세싱 시간은 생산 라인의 용량을 결정한다.

4) 종래의 PC 또는 PC들은 이러한 대량의 데이터를 취급할 수 없다.

본 발명은 전술한 단점들을 해결하고, 구조가 간단하고, 계산과 프로세싱 성능이 우수하고, 스크린 발광 신호의 생성, 광원 및 계산 프로세싱을 종합적으로 제어할 수 있는, LCM 자동 광학 검사에 적합한 가속 이미지 프로세싱 시스템을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 기술적 솔루션은, FPGA 프로세싱 플랫폼과 PC를 구비하는 LCM 자동 광학 검사에 적합한 가속 이미지 프로세싱 시스템을 제공한다. FPGA 프로세싱 플랫폼은 제1 섬유(fiber) 인터페이스, 제2 섬유 인터페이스, 제3 섬유 인터페이스, 제4 섬유 인터페이스 및 제5 섬유 인터페이스를 포함한다. FPGA 프로세싱 플랫폼은 제1 섬유 인터페이스를 통해 구성 파라미터들과 테스트 명령들을 수신하고 테스트 결과들을 출력한다. FPGA 프로세싱 플랫폼은 제2 섬유 인터페이스를 통해 PC와 데이터를 교환한다. FPGA 프로세싱 플랫폼은 제3 섬유 인터페이스를 통해 이미지 데이터를 수신하고 구성 파라미터들과 테스트 명령들을 출력한다. FPGA 프로세싱 플랫폼은 제4 섬유 인터페이스를 통해 스크린 발광 신호의 생성을 제어한다. FPGA 프로세싱 플랫폼은 제5 섬유 인터페이스를 통해 IO 광원을 제어한다.

또한, FPGA 프로세싱 플랫폼은 제어 유닛과 DDR 메모리를 더 구비한다.

PC는 CPU와 GPU를 구비하고, 수신된 이미지 데이터를 계산 및 프로세싱하고 데이터 프로세싱 결과를 제어 유닛으로 전송하도록 구성된다.

제어 유닛은 구성 파라미터들과 테스트 명령들을 수신하고, 수신된 구성 파라미터들과 테스트 명령들에 따라 스크린 발광 신호의 생성을 제어하고, IO 광원을 제어하고, 획득 유닛의 이미지 데이터를 수신하고, 수신되는 이미지 데이터를 전처리하여 PC로 전송하고, PC의 데이터 프로세싱 결과를 수신 및 수집하고, 최종 테스트 결과를 제어 유닛으로 전송한다.

DDR 메모리는 이미지 데이터와 최종 테스트 결과를 저장하도록 구성된다.

또한, 제어 유닛은:

수신된 이미지 데이터를 포맷하고 포맷된 이미지 데이터를 DDR 메모리 내에 저장하도록 구성된 기록(write) DDR 데이터 포맷 변환 모듈;

획득 유닛의 이미지 데이터를 수신하여 기록 DDR 데이터 포맷 변환 모듈로 전송하도록 구성된 이미지 데이터 수신 모듈;

설정된 명령들에 따라 제어 명령들을 이미지 프로세싱 가속기와 PC로 전송하도록 구성된 흐름 제어 모듈;

흐름 제어 모듈의 제어 명령들에 따라 이미지 데이터를 전처리하고 처리된 이미지 데이터를 DDR 메모리 내에 저장하도록 구성된 이미지 프로세싱 가속기;

흐름 제어 모듈의 제어 명령들에 따라 이미지 데이터를 데이터 분배 및 전송 모듈에 분배하도록 구성된 데이터 분배 제어 모듈;

이미지 데이터를 수신하여 PC로 전송하고, PC의 데이터 프로세싱 결과를 수신하여 분석하고 프로세싱 결과 모듈로 전송하도록 구성된 데이터 분배 및 전송 모듈; 및

최종 테스트 결과를 생성하기 위해 수신된 데이터 프로세싱 결과를 분석하도록 구성된 분석 및 프로세싱 결과 모듈을 구비한다.

또한, 상기 제어 유닛은 대화형(interactive) 제어 모듈, IO 제어 모듈 및 스크린 발광 신호 생성 모듈을 구비하고;

대화형 제어 모듈은 테스트 명령들을 수신하고 테스트 결과들을 보고하도록 구성되고;

흐름 제어 모듈은 IO 제어 모듈과 신호 확장 모듈에 수신된 테스트 명령을 할당하도록 추가로 구성되고;

IO 제어 모듈은 테스트 명령들에 따라 IO 광원을 제어하도록 구성되고;

스크린 발광 신호 생성 모듈은 테스트 명령들에 따라 스크린 발광 신호의 생성을 제어하도록 구성된다.

또한, 이미지 데이터 수신 모듈은:

이미지 데이터 수신 모듈의 물리적 링크 상태를 제1 데이터 패킷으로 규칙적으로 전송하도록 구성된 제1 링크 상태 보고 모듈;

상기 획득 유닛의 이미지 데이터를 수신하고 상기 구성 파라미터들과 테스트 명령들을 상기 획득 유닛에 전송하도록 구성된 제1 고속 제어기 IP;

물리적 링크 상태, 구성 파라미터들 및 테스트 명령들을 패킷화하여 제1 고속 제어기 IP로 전송하도록 구성된 제1 데이터 패킷;

제1 고속 제어기 IP에 의해 전송된 이미지 데이터를 분석하고 기록 DDR 데이터 포맷 변환 모듈로 출력하도록 구성된 제1 데이터 언패킷(unpacket); 및

제1 데이터 언패킷으로부터 물리적 링크 상태를 규칙적으로 수신하도록 구성된 제1 링크 상태 검토(examination) 모듈을 구비한다.

또한, 기록 DDR 데이터 포맷 변환 모듈은:

이미지 데이터를 저장하도록 구성된 로컬 FIFO;

이미지 데이터를 수신하여 로컬 FIFO로 전송하도록 구성된 이미지 데이터 수신 모듈;

제어 로직에 따라 로컬 FIFO 내의 이미지 데이터를 판독(read) 및 포맷하고, 포맷된 이미지 데이터를 DDR 메모리로 전송하도록 구성된 판독 FIFO 데이터 인터페이스 변환 모듈; 및

제어 로직을 출력하도록 구성된 기록 DDR 어드레스 제어 로직 모듈을 구비한다.

또한, 이미지 프로세싱 가속기는,

제어 명령들에 따라 이미지를 블록들로 분할하도록 구성된 이미지 블록 프로세싱 모듈;

분할된 블록들의 갯수에 따라 DDR 메모리 내에 저장된 이미지 데이터를 판독하여 이미지 프로세싱 모듈로 전송하도록 구성된 판독 DDR 제어 모듈;

수신된 이미지 데이터를 전처리하도록 구성된 이미지 프로세싱 모듈; 및

전처리된 이미지 데이터를 DDR 메모리 내에 저장하도록 구성된 기록 DDR 제어 모듈을 구비한다.

또한, 데이터 분배 및 전송 모듈은,

데이터 분배 및 전송 모듈의 물리적 링크 상태를 제2 데이터 패킷으로 규칙적으로 전송하도록 구성된 제2 링크 상태 보고 모듈;

수신된 이미지 데이터를 PC로 전송하고 PC로부터 데이터 프로세싱 결과를 수신하도록 구성된 제2 고속 제어기 IP;

수신된 이미지 데이터를 패킷화하여 제2 고속 제어기 IP로 전송하도록 구성된 제2 데이터 패킷;

제2 고속 제어기 IP에 의해 발송된 데이터 프로세싱 결과와 물리적 링크 상태를 분석하도록 구성된 제2 데이터 언패킷; 및

제2 데이터 언패킷으로부터 물리적 링크 상태를 규칙적으로 수신하도록 구성된 제2 링크 상태 검토 모듈을 구비한다.

또한, 대화형 제어 모듈은:

상기 대화형 제어 모듈의 물리적 링크 상태를 데이터 패킷으로 규칙적으로 전송하도록 구성된 제3 링크 상태 보고 모듈;

수신된 테스트 결과를 패킷화하여 제3 고속 제어기 IP로 전송하도록 구성된 제3 데이터 패킷;

테스트 결과를 수신 및 보고하고, 구성 파라미터들 수신하도록 구성된 제3 고속 제어기 IP;

제3 데이터 언패킷에 의해 보고된 물리적 링크 상태를 규칙적으로 수신하도록 구성된 제3 링크 상태 검토 모듈; 및

제3 고속 제어기 IP에 의해 전송된 구성 파라미터들과 물리적 링크 상태를 분석하도록 구성된 제3 데이터 언패킷을 구비한다.

또한, 제어 유닛은 흐름 제어 모듈의 제어 하에 FPGA 프로세싱 플랫폼의 캐스케이드(cascade) 확장을 구현하도록 구성된 캐스케이드 제어 모듈을 더 구비한다.

본 발명의 장점들은 다음과 같이 요약된다.

FPGA 프로세싱 플랫폼은 데이터 통신 속도가 빠른 광섬유들을 통한 데이터 통신과 다양한 디바이스들과의 상호작용에 적합한 다수의 광 섬유 인터페이스들을 구비함으로써, 스크린 발광 신호 생성, 신호 확장, 광원 및 데이터 프로세싱의 통합된 제어를 짧은 시간 내에 달성한다.

FPGA 프로세싱 플랫폼은 캐스케이드 제어를 지원하고, 캐스케이드 후 더 많은 PC들을 지원할 수 있고, PC는 FPGA와 함께 CPU와 GPU를 채택하여, CPU + GPU + FPGA 아키텍처를 형성하고, CPU + GPU 유닛을 완전히 확장하며 GPU의 프로세싱 능력을 향상시킨다.

FPGA는 중앙 제어기로서 작동하고 처리될 데이터는 다른 GPU 프로세싱 유닛들에 할당되어, 분산 프로세싱 아키텍처를 형성한다. 한편 FPGA 자체는 이미지 가속 프로세서로서 작동하고, 이미지 블록 프로세싱과 FPGA와 GPU들의 작동을 조정함으로써, FPGA의 병렬 프로세싱 능력을 충족시켜, 이미지 프로세싱과 및 연산 능력을 효과적으로 개선한다.

전체 시스템은 간단한 구조, 저렴한 비용, 우수한 안정성, 우수한 조정 능력 및 강력한 연산 및 프로세싱 능력을 가진 장점이 있다.

도 1은 본 개시의 일 실시예에 따른 개략도이다.
도 2는 본 개시의 일 실시예에 따른 FPGA 프로세싱 플랫폼의 개략도이다.
도 3은 본 개시의 일 실시예에 따른 데이터 프로세싱의 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 이미지 데이터 수신 모듈의 개략도이다.
도 5는 본 개시의 일 실시예에 따른 기록 DDR 데이터 포맷 변환 모듈의 개략도이다.
도 6은 본 개시의 일 실시예에 따른 이미지 프로세싱 가속기의 개략도이다.
도 7은 본 개시의 일 실시예에 따른 데이터 분배 및 전송 모듈의 개략도이다.
도 8은 본 개시의 일 실시예에 따른 대화형 제어 모듈의 개략도이다.

이하, 첨부된 도면들을 참조하여 본 개시의 바람직한 실시예들에 따른 이미지 가속 프로세싱 디바이스를 상세히 설명한다. 다음과 같은 실시예들은 본 발명을 설명하기 위한 것이지 본 발명을 제한하는 것은 아니다.

도 1에 도시된 바와 같이, 본 발명의 가속 이미지 프로세싱 디바이스는 FPGA 프로세싱 플랫폼(1)과 다수의 PC들(2)을 구비한다. FPGA 프로세싱 플랫폼(1)은 제1 섬유 인터페이스, 제2 섬유 인터페이스, 제3 섬유 인터페이스, 제4 섬유 인터페이스 및 제5 섬유 인터페이스를 구비한다. FPGA 프로세싱 플랫폼(1)은 제1 섬유 인터페이스를 통해 구성 파라미터들과 테스트 명령들을 수신하고 테스트 결과를 출력한다. FPGA 프로세싱 플랫폼(1)은 제2 섬유 인터페이스를 통해 PC(2)와 데이터를 교환한다. FPGA 프로세싱 플랫폼(1)은 제3 섬유 인터페이스를 통해 이미지 데이터를 수신하고 구성 파라미터들과 테스트 명령들을 출력한다. FPGA 프로세싱 플랫폼(1)은 제4 섬유 인터페이스를 통해 스크린 발광 신호의 생성을 제어한다. FPGA 프로세싱 플랫폼(1)은 제5 섬유 인터페이스를 통해 IO 광원을 제어한다.

FPGA 프로세싱 플랫폼(1)은 제어 유닛(3)과 DDR 메모리(8)를 더 구비한다.

다수의 PC들(2)은 CPU와 GPU를 구비하고, 수신된 이미지 데이터를 계산 및 프로세싱하고, 데이터 프로세싱 결과를 제어 유닛에 전송하도록 구성된다.

제어 유닛(3)은 구성 파라미터들과 테스트 명령들을 수신하고, 수신된 구성 파라미터들과 테스트 명령들에 따라 스크린 발광 신호의 생성을 제어하고, IO 광원을 제어하고, 획득 유닛의 이미지 데이터를 수신하고, 수신된 이미지 데이터를 전처리하여 PC로 전송하고, PC의 데이터 프로세싱 결과를 수신 및 수집하고, 최종 테스트 결과를 제어 유닛으로 전송하도록 구성된다.

DDR 메모리(8)는 이미지 데이터와 최종 테스트 결과를 저장하도록 구성된다.

본 실시예에서, FPGA 프로세싱 플랫폼은 12개의 QSFP 플러스(plus) 확장 인터페이스들을 포함한다. 하나의 FPGA 프로세싱 플랫폼은 6개의 PC들에 연결되어 있다. FPGA 프로세싱 플랫폼은 40G 광섬유를 통해 PC와 통신하고 상호작용한다. FPGA 프로세싱 플랫폼은 2개 이상의 이미지 획득 유닛들에 연결된다. 각각의 이미지 획득 유닛은 8개의 카메라링크 카메라들과 8개의 Gige 인터페이스 카메라들을 지원할 수 있다. FPGA 프로세싱 플랫폼은 40G 광섬유를 통해 이미지 획득 유닛들(21)과 통신하고 상호작용한다. FPGA 프로세싱 플랫폼은 40G 광섬유들을 통해 제어 PC(18)와 통신하고 상호작용한다. 하나의 IO 제어(19)는 FPGA 프로세싱 플랫폼에 연결되고, IO 제어는 광원 제어를 위해 사용된다. FPGA 프로세싱 플랫폼은 스크린 발광 신호의 생성을 제어할 수 있는 신호 확장 유닛(20)에 연결된다. FPGA 프로세싱 플랫폼은 캐스케이드 제어를 지원하여, 캐스케이드 후 다수의 PC들의 연결을 지원할 수 있다. 제어 유닛은 Xilinx SOC FPGA를 메인 제어 유닛으로 채택함으로써, 데이터 상호작용 제어, 이미지 가속 프로세싱 및 제어, 캐스케이드 프로세스 제어, 이미지 획득 유닛의 데이터 상호작용 제어 및 IO 광원의 상호작용 제어를 달성한다. FPGA 프로세싱 플랫폼은 데이터 저장을 위한 256비트×1600 DDR 메모리를 지원함으로써, 데이터 프로세싱 대역폭이 증가한다.

일 실시예에서, CPU + GPU + FPGA 아키텍처가 채용됨으로써, CPU + GPU 유닛을 완전히 확장시키고 GPU 프로세싱 용량을 향상시킨다. FPGA를 중앙 제어기로 사용함으로써, 처리될 데이터가 다른 GPU 프로세싱 유닛들로 분산되고, 분산된 프로세싱 아키텍처가 달성된다. 한편, FPGA 자체는 이미지 가속 프로세서로 작동하고, 이미지 블록 프로세싱과 FPGA 및 GPU들의 작동을 조정함으로써, FPGA의 병렬 프로세싱 능력을 충족시킨다. 스위칭 센터로서 FPGA를 사용하면, 데이터 교환의 병목 현상을 해결할 수 있다. FPGA 프로세싱 플랫폼은 12개의 QSFP 플러스 섬유 인터페이스들을 지원하고, 각각의 채널은 40Gbps 대역폭 전송을 지원한다. FPGA는 병렬 분배 기능을 가지기 때문에, 데이터가 분배될 때 경로들 사이의 지연이 무시될 수 있다. 이것은 데이터 교환들 사이의 대역폭 문제를 해결한다.

도 2에 도시 된 바와 같이, 제어 유닛(3)은:

획득 유닛의 이미지 데이터를 수신하여 쓰입 DDR 데이터 포맷 변환 모듈로 전송하도록 구성된 이미지 데이터 수신 모듈(4);

수신된 이미지 데이터를 포맷하고 포맷된 이미지 데이터를 DDR 메모리 내에 저장하도록 구성된 기록 DDR 데이터 포맷 변환 모듈(5);

이미지 데이터를 판독하고 DDR 메모리에 기록하도록 구성된 AXI 버스(6);

이미지 데이터의 판독 및 기록을 제어하도록 구성된 DDR 제어기(7);

설정된 지시들(instructions)에 따라 이미지 프로세싱 가속기와 PC에 제어 명령들을 전송하도록 구성되고, 수신된 테스트 명령들을 IO 제어 모듈과 신호 확장 모듈에 할당하도록 구성된 흐름 제어 모듈(9);

흐름 제어 모듈의 제어 명령들에 따라 이미지 데이터를 전처리하고 처리된 이미지 데이터를 DDR 메모리에 저장하도록 구성된 이미지 프로세싱 가속기(10);

흐름 제어 모듈의 제어 명령들에 따라 이미지 데이터를 데이터 분배 및 전송 모듈로 분배하도록 구성된 데이터 분배 제어 모듈(11);

이미지 데이터를 수신하여 PC로 전송하고, PC의 데이터 프로세싱 결과를 수신하여 분석 및 프로세싱 결과 모듈로 전송하도록 구성된 데이터 분배 및 전송 모듈(12);

수신된 데이터 프로세싱 결과를 분석하여 최종 테스트 결과를 생성하도록 구성된 분석 및 프로세싱 모듈(13);

테스트 명령들을 수신하고 테스트 결과들을 보고하도록 구성된 대화형 제어 모듈(14);

테스트 명령들에 따라 IO 광원을 제어하도록 구성된 IO 제어 모듈(15); 및

테스트 명령들에 따라 스크린 발광 신호의 생성을 제어하도록 구성된 스크린 발광 신호 생성 모듈(16)을 더 구비한다.

도 3에 도시된 바와 같이, 데이터 프로세싱의 흐름도는 다음과 같다.

1) 초기화 단계;

2) 이미지 데이터의 수신을 준비하는 단계;

3) 수신된 이미지 데이터를 로컬 DDR 내에 저장하는 단계;

4) 구성 파라미터들에 따라 이미지 프로세싱을 준비하고, 이미지 프로세싱을 위해 다수의 PC들과 FPGA 이미지 가속기에 이미지가 분배되는 단계;

5) 각각의 PC의 프로세싱 결과의 수신을 준비하는 단계;

6) PC들의 프로세싱 결과들을 수집하고, 최종 테스트 결과를 분석 및 보고하는 단계; 및

7) 종료.

최종 테스트 결과는 광섬유를 통해 제어 PC로 전송되고, 제어 PC는 이더넷(ethernet) 네트워크를 통해 사용자들의 MCMQ 시스템으로 결과를 전송한다.

도 4에 도시된 바와 같이, 이미지 데이터 수신 모듈(4)은:

이미지 데이터 수신 모듈의 물리적 링크 상태를 제1 데이터 패킷으로 규칙적으로 전송하도록 구성된 제1 링크 상태 보고 모듈(4.1)(일 실시예에서, 규칙적 시간은 65.536μs임);

이미지 데이터 수신 모듈의 물리적 링크 상태, 구성 파라미터들과 테스트 명령들을 패킷화하여 제1 고속 제어기 IP로 전송하도록 구성된 제1 데이터 패킷(4.2);

획득 유닛의 이미지 데이터를 수신하고 구성 파라미터들과 테스트 명령들을 획득 유닛에 전송하도록 구성된 제1 고속 제어기 IP(4.3)(일 실시예에서, xilinx의 GTH 트랜시버 IP와 고속 트랜시버들 사이의 데이터 통신은 Aurora 64b/66b 프로토콜을 채택함);

제1 고속 제어기 IP에 의해 전송된 이미지 데이터를 분석하여 기록 DDR 데이터 포맷 변환 모듈로 출력하도록 구성된 제1 데이터 언패킷(4.5); 및

제1 데이터 언패킷으로부터 물리적 링크 상태를 규칙적으로 수신하도록 구성된 제1 링크 상태 검토 모듈(4.4)(일 실시예에서, 규칙적 시간은 65.536μs이고, 단대단(end-to-end) 보고가 연속 3회 감지되지 않으면 링크가 손실된 것으로 간주됨)을 더 구비한다.

도 5에 도시된 바와 같이, 기록 DDR 데이터 포맷 변환 모듈(5)은:

이미지 데이터를 수신하여 로컬 FIFO로 전송하도록 구성된 이미지 데이터 수신 모듈(5.1);

이미지 데이터를 저장하도록 구성된 로컬 FIFO(5.2);

제어 로직을 출력하도록 구성된 기록 DDE 어드레스 제어 로직 모듈(5.4); 및

제어 로직에 따라 로컬 FIFO 내의 이미지 데이터를 판독 및 포맷하고, 포맷된 이미지 데이터를 DDR 메모리로 전송하도록 구성된 판독 FIFO 데이터 인터페이스 변환 모듈(5.3)을 구비한다.

도 6에 도시된 바와 같이, 이미지 프로세싱 가속기(10)는 FPGA의 병렬 프로세싱 능력에 기반하여 다수의 이미지 프로세싱 IP를 동시에 인스턴스화(instantiate)하고 이미지를 블록들로 분할한다. 이하, 1-차원 고속 푸리에 변환(FFT)을 가속화하는 FPGA를 예로 들어 설명한다.

1) 이미지 블록 프로세싱 모듈(10.1)은 제어 명령들에 따라 이미지를 수평 방향으로 4개의 블록들로 분할하고;

2) 판독 DDR 제어 모듈(10.2)은 분할된 블록들의 갯수에 따라 DDR 메모리 내에 저장된 4개의 이미지 블록들을 판독하여 FFT 이미지 프로세싱 모듈로 전송하고;

3) FFT 이미지 프로세싱 모듈(10.3)은 수신된 4개의 이미지 블록들을 전처리하고;

4) 기록 DDR 제어 모듈(10.4)은 전처리된 이미지 데이터를 DDR 메모리 내에 저장한다.

일 실시예에서, 4개의 FFT 가속기들이 4k×4k 이미지를 처리하는데 10ms가 소요된다. 동일한 이미지의 경우, CPU 프로세싱은 400ms가 소요되고, GPU는 10ms가 소요된다. FPGA 가속기와 GPU는 동일한 시간이 소요된다. FPGA 리소스들이 충분할 경우, 병렬 FPGA를 늘리면 프로세싱 시간을 더욱 가속화할 수 있다.

도 7에 도시된 바와 같이, 데이터 분배 제어 모듈(12)은:

데이터 분배 및 전송 모듈의 물리적 링크 상태를 제2 데이터 패킷으로 규칙적으로 전송하도록 구성된 제2 링크 상태 보고 모듈(12.1)(일 실시예에서, 규칙적인 시간은 65.536μs임);

수신된 이미지 데이터를 패킷화하여 제2 고속 제어기 IP로 전송하도록 구성된 제2 데이터 패킷(12.2);

수신된 이미지 데이터를 PC로 전송하고, PC로부터 데이터 프로세싱 결과를 수신하도록 구성된 제2 고속 제어기 IP(12.3)(일 실시예에서, xilinx의 GTH 트랜시버 IP와 고속 트랜시버들 사이의 데이터 통신은 Aurora 64b/66b 프로토콜을 채택함);

제2 데이터 언패킷으로부터 물리적 링크 상태를 규칙적으로 수신하도록 구성된 제2 링크 상태 검토 모듈(12.4)(일 실시예에서, 규칙적인 시간은 65.536μs이고, 단대단 보고가 연속 3회 감지되지 않으면 링크가 손실된 것으로 간주됨); 및

제2 고속 제어기 IP에 의해 전송된 데이터 프로세싱 결과와 물리적 링크 상태를 분석하도록 구성된 제2 데이터 언패킷(12.5)을 구비한다.

도 8에 도시된 바와 같이, 대화형 제어 모듈(14)은:

대화식 제어 모듈의 물리적 링크 상태를 데이터 패킷으로 규칙적으로 전송하도록 구성된 제3 링크 상태 보고 모듈(14.1)(일 실시예에서, 규칙적인 시간은 65.536μs임);

수신된 테스트 결과를 패킷화하고 제3 고속 제어기 IP로 전송하도록 구성된 제3 데이터 패킷(14.2);

테스트 결과를 수신하여 제어 PC에 보고하고, 제어 PC에 의해 발송된 구성 파라미터들을 수신하도록 구성된 제3 고속 제어기 IP(14.3)(일 실시예에서, xillinx의 GTH 트랜시버 IP와 고속 트랜시버들 사이의 데이터 통신은 Aurora 64b/66b 프로토콜을 채택함);

제3 데이터 언패킷에 의해 보고된 물리적 링크 상태를 규칙적으로 수신하도록 구성된 제3 링크 상태 검토 모듈(14.4)(일 실시예에서, 규칙적인 시간은 65.536μs이고, 단대단 보고가 연속 3회 감지되지 않으면 링크가 손실된 것으로 간주됨); 및

제3 고속 제어기 IP에 의해 전송된 구성 파라미터들 및 대화식 제어 모듈의 물리적 링크 상태를 분석하도록 구성된 제3 데이터 언패킷(14.5)을 구비한다.

상기 실시예에서, 제어 유닛(3)은 흐름 제어 모듈의 제어하에 FPGA 프로세싱 플랫폼의 캐스케이드 확장을 구현하도록 구성된 캐스케이드 제어 모듈(17)을 더 구비한다. 캐스케이드 제어 모듈은 데이터 분배 및 전송 모듈과 동일한 구조를 가지고 있다. 처리될 필요가 있는 이미지 데이터는 다음 단계의 캐스케이드 플랫폼으로 전송된 후, 캐스케이드 플랫폼을 통한 프로세싱과 계산을 위해 연산 서버 PC로 분배되고, 처리된 결과는 캐스케이드 플랫폼으로 다시 전송된다.

당업자라면 본 발명에 대하여 변경과 수정을 가할 수 있으므로, 첨부된 청구항들은 이러한 당업자에 의한 모든 변경들과 수정들을 포함할 수 있다.

1...FPGA 프로세싱 플랫폼 2...PC
3...제어 유닛 4...이미지 데이터 수신 모듈
4.1...제1 링크 상태 보고 모듈 4.2...제1 데이터 패킷
4.3...제1 고속 컨트롤러 IP 4.4...제1 링크 상태 검토 모듈
4.5...제1 데이터 언패킷 5...기록 DDR 데이터 포맷 변환 모듈
5.1...이미지 데이터 수신 모듈 5.2...국부 FIFO
5.3...판독 FIFO 데이터 인터페이스 변환 모듈
5.4...기록 DDE 주소 제어 로직 모듈
6...AXI 버스 7....DDR 제어기
8....DDR 메모리 9....흐름 제어 모듈
10...이미지 프로세싱 가속기 10.1...이미지 블록 프로세싱 모듈
10.2...판독 DDR 제어 모듈 10.3...FFT 이미지 프로세싱 모듈
10.4...기록 DDR 제어 모듈 11...데이터 분배 제어 모듈
12...데이터 분배 및 전송 모듈 12.1...제2 링크 상태 보고 모듈
12.2...제2 데이터 패킷 12.3...제2 고속 제어기 IP
12.4...제2 링크 상태 검토 모듈 12.5...제2 데이터 언패킷
13...분석 및 프로세싱 결과 모듈 14...대화형 제어 모듈
14.1...제3 링크 상태 보고 모듈 14.2...제3 데이터 패킷
14.3...제3 고속 제어기 IP 14.4...제3 링크 상태 검토 모듈
14.5...제3 데이터 언패킷 15...IO 제어 모듈
16...스크린 발광 신호 생성 모듈 17...캐스케이드 제어 모듈
18...제어 PC 19...IO 제어
20...신호 확장 유닛 21...이미지 획득 유닛

Claims

LCM 자동 광학 검사(Automatic Optical Inspecation)에 적합한 가속 이미지 프로세싱 시스템으로서,
제1 섬유 인터페이스, 제2 섬유 인터페이스, 제3 섬유 인터페이스, 제4 섬유 인터페이스 및 제5 섬유 인터페이스를 포함하는 FPGA 프로세싱 플랫폼 및 PC를 구비하고,
상기 FPGA 프로세싱 플랫폼은 구성 파라미터들과 테스트 명령들을 수신하고, 상기 제1 섬유 인터페이스를 통해 테스트 결과를 출력하도록 구성되고;
상기 FPGA 프로세싱 플랫폼은 상기 제2 섬유 인터페이스를 통해 PC와 데이터를 교환하도록 구성되고;
상기 FPGA 프로세싱 플랫폼은 제 3 섬유 인터페이스를 통해 이미지 데이터를 수신하고 구성 파라미터들과 테스트 명령들을 출력하도록 구성되고;
상기 FPGA 프로세싱 플랫폼은 상기 제4 섬유 인터페이스를 통해 스크린 발광 신호의 생성을 제어하도록 구성되고;
상기 FPGA 프로세싱 플랫폼은 상기 제5 섬유 인터페이스를 통해 IO 광원을 제어하도록 구성된, 가속 이미지 프로세싱 시스템.
청구항 1에서,
상기 FPGA 프로세싱 플랫폼은 제어 유닛과 DDR 메모리를 더 구비하고;
상기 PC는 수신된 이미지 데이터를 계산 및 프로세싱하고 데이터 프로세싱 결과를 상기 제어 유닛에 전송하도록 구성되고;
상기 제어 유닛은 구성 파라미터들과 테스트 명령들을 수신하고, 스크린 발광 신호의 생성을 제어하고, 수신된 테스트 명령들에 따라 IO 광원을 제어하고, 획득 유닛의 이미지 데이터를 수신하고, 수신된 이미지 데이터를 전처리하여 상기 PC로 전송하고, 상기 PC의 데이터 프로세싱 결과를 수신 및 수집하고, 최종 테스트 결과를 상기 제어 유닛으로 전송하도록 구성되고;
상기 DDR 메모리는 이미지 데이터와 최종 테스트 결과를 저장하도록 구성된, 가속 이미지 프로세싱 시스템.
청구항 2에서,
상기 제어 유닛은:
상기 획득 유닛의 이미지 데이터를 수신하여 기록(write) DDR 데이터 포맷 변환 모듈로 전송하도록 구성된 이미지 데이터 수신 모듈;
수신된 이미지 데이터를 포맷하고 포맷된 이미지 데이터를 상기 DDR 메모리 내에 저장하도록 구성된 기록 DDR 데이터 포맷 변환 모듈;
설정된 지시들에 따라 이미지 처리 가속기와 상기 PC로 제어 명령들을 전송하도록 구성된 흐름 제어 모듈;
상기 흐름 제어 모듈의 제어 명령들에 따라 이미지 데이터를 전처리하고 처리된 이미지 데이터를 상기 DDR 메모리 내에 저장하도록 구성된 이미지 프로세싱 가속기;
이미지 데이터를 수신하여 상기 PC로 전송하고, 상기 PC의 데이터 프로세싱 결과를 수신하여 분석 및 프로세싱 모듈로 전송하도록 구성된 데이터 분배 및 전송 모듈;
흐름 제어 모듈의 제어 명령들에 따라 이미지 데이터를 상기 데이터 분배 및 전송 모듈에 분배하도록 구성된 데이터 분배 제어 모듈; 및
데이터 처리 결과를 분석 및 수집하여 최종 테스트 결과를 생성하도록 구성된 분석 및 프로세싱 모듈을 구비하는, 가속 이미지 프로세싱 시스템.
청구항 3에서,
상기 제어 유닛은,
테스트 명령들을 수신하고 테스트 결과를 보고하도록 구성된 대화형 제어 모듈;테스트 명령들에 따라 IO 광원을 제어하도록 구성된 IO 제어 모듈; 및
테스트 명령들에 따라 스크린 발광 신호의 생성을 제어하도록 구성된 스크린 발광 신호 생성 모듈을 더 구비하고,
상기 흐름 제어 모듈은 수신된 테스트 명령들을 상기 IO 제어 모듈과 신호 확산 모듈에 할당하도록 구성된, 가속 이미지 프로세싱 시스템.
청구항 3에서,
상기 이미지 데이터 수신 모듈은:
획득 유닛의 이미지 데이터를 수신하고 구성 파라미터들과 테스트 명령들을 상기 획득 유닛에 전송하도록 구성된 제1 고속 제어기 IP;
물리적 링크 상태, 구성 파라미터들과 테스트 명령들을 패킷화하여 상기 제1 고속 제어기 IP로 전송하도록 구성된 제1 데이터 패킷;
상기 이미지 데이터 수신 모듈의 물리적 링크 상태를 상기 제1 데이터 패킷으로 규칙적으로 전송하도록 구성된 제1 링크 상태 보고 모듈;
상기 제1 고속 제어기 IP에 의해 전송된 이미지 데이터를 분석하고 기록 DDR 데이터 포맷 변환 모듈로 출력하도록 구성된 제1 데이터 언패킷; 및
상기 제1 데이터 언패킷으로부터 물리적 링크 상태를 규칙적으로 수신하도록 구성된 제1 링크 상태 검토 모듈을 구비하는, 가속 이미지 프로세싱 시스템.
청구항 3에서,
상기 기록 DDR 데이터 포맷 변환 모듈은:
이미지 데이터를 수신하여 로컬 FIFO로 전송하도록 구성된 이미지 데이터 수신 모듈;
이미지 데이터를 저장하도록 구성된 로컬 FIFO;
제어 로직을 출력하도록 구성된 기록 DDE 어드레스 제어 로직 모듈; 및
상기 제어 로직에 따라 상기 로컬 FIFO 내의 이미지 데이터를 판독 및 포맷하고, 포맷된 이미지 데이터를 상기 DDR 메모리로 전송하도록 구성된 판독 FIFO 데이터 인터페이스 변환 모듈을 구비하는, 가속 이미지 프로세싱 시스템.
청구항 3에서,
상기 이미지 프로세싱 가속기는:
제어 명령들에 따라 이미지를 블록으로 분할하도록 구성된 이미지 블록 프로세싱 모듈;
상기 분할된 블록들의 갯수에 따라 상기 DDR 메모리 내에 저장된 이미지 데이터를 판독하고 상기 이미지 프로세싱 모듈로 전송하도록 구성된 판독 DDR 제어 모듈;
수신된 이미지 데이터를 전처리하도록 구성된 이미지 프로세싱 모듈; 및
전처리된 이미지 데이터를 상기 DDR 메모리 내에 저장하도록 구성된 기록 DDR 제어 모듈을 구비하는, 가속 이미지 프로세싱 시스템.
청구항 3에서,
상기 데이터 분배 및 전송 모듈은:
상기 데이터 분배 및 전송 모듈의 물리적 링크 상태를 제2 데이터 패킷으로 규칙적으로 전송하도록 구성된 제2 링크 상태 보고 모듈;
수신된 이미지 데이터를 상기 PC로 전송하고, 상기 PC로부터 데이터 프로세싱 결과를 수신하도록 구성된 제2 고속 제어기 IP;
수신된 이미지 데이터를 패킷화하여 상기 제2 고속 제어기 IP로 전송하도록 구성된 제2 데이터 패킷;
상기 제2 고속 컨트롤러 IP에 의해 전송된 데이터 프로세싱 결과와 물리적 링크 상태를 분석하도록 구성된 제2 데이터 언패킷; 및
상기 제2 데이터 언패킷으로부터 물리적 링크 상태를 규칙적으로 수신하도록 구성된 제2 링크 상태 검토 모듈을 구비하는, 가속 이미지 프로세싱 시스템.
청구항 4에서,
상기 대화형 제어 모듈은:
상기 대화형 제어 모듈의 물리적 링크 상태를 상기 데이터 패킷에 규칙적으로 전송하도록 구성된 제3 링크 상태 보고 모듈;
테스트 결과를 수신 및 보고하고, 구성 파라미터들을 수신하도록 구성된 제3 고속 제어기 IP;
수신된 테스트 결과를 패킷화하여 상기 제3 고속 제어기 IP로 전송하도록 구성된 제3 데이터 패킷;
상기 제3 고속 제어기 IP에 의해 전송된 구성 파라미터들과 링크 상태를 분석하도록 구성된 제3 데이터 언패킷; 및
상기 제3 데이터 언패킷에 의해 보고된 물리적 링크 상태를 규칙적으로 수신하도록 구성된 제3 링크 상태 검토 모듈을 구비하는, 가속 이미지 프로세싱 시스템.
청구항 2에서,
상기 제어 유닛은 상기 흐름 제어 모듈의 제어 하에 상기 FPGA 프로세싱 플랫폼의 캐스케이드 확장을 구현하도록 구성된 캐스케이드 제어 모듈을 더 구비하는, 가속 이미지 프로세싱 시스템.