KR101218637B1 - 윤곽선 검출을 위한 대각선 스캔방법 - Google Patents

Abstract

본 발명은 영상을 수집하는 카메라의 렌즈 왜곡에 의한 영향을 최소화할 수 있는 윤곽선 검출을 위한 대각선 스캔 방법에 관한 것이다.
본 발명의 방법은 카메라의 렌즈를 통해 입사된 영상의 이미지 데이터를 입력하는 단계; 입력된 이미지 데이터를 스캔할 때 적용할 마스크를 선택하는 단계; 및 선택된 마스크를 사용하여 이미지 데이터를 대각선 방향으로 스캔하는 단계를 포함하는 것을 특징으로 한다.
상기 마스크는

이거나

인 것을 특징으로 하고,
상기 대각선 방향으로 스캔하는 단계는 평면상에 M×N 매트릭스 형태로 이미지 데이터가 배열되어 있을 때, 좌상측에서부터 우하측으로 순차적으로 진행하면서 우상측에서 좌하측으로 대각선 방향으로 스캔하는 것이다.
본 발명에 따르면 카메라 렌즈에 의한 왜곡을 최소화하면서 윤곽선을 검출하고 특징점을 추출하여 Object(LCD Pixel)의 특성을 얻어 라벨링(Labeling)을 하고, 기존에 저장되어 있는 기준 영상과 비교하여 LCD Pixel의 오류를 추출할 수 있다.

Description

윤곽선 검출을 위한 대각선 스캔방법{DIAGONAL SCAN METHOD FOR FAST EDGE DETECTION}

본 발명은 영상처리분야에서 윤곽선 검출 기술에 관한 것으로, 더욱 상세하게는 영상을 수집하는 카메라의 렌즈 왜곡에 의한 영향을 최소화할 수 있는 윤곽선 검출을 위한 대각선 스캔 방법에 관한 것이다.

디스플레이 산업(LCD, OLED, PDP 등)의 생산 현장에서는 생산된 디스플레이 패널을 작업자가 육안으로 검사하는 공정이 있는데, LCD 기술발전으로 인하여 검사해야 할 LCD 사이즈가 점점 증대되고 고 해상도로 변해 감에 따라 작업자에 의한 육안검사가 어려운 상황에 도달하고 있다. 즉, 생산된 LCD패널의 오류를 검출하는 과정에서 점등이 된 LCD의 화면을 계속 보고 있으면 작업자의 눈이 피로하게 되어 생산성이 저하되고, 각각의 개인차(숙련도 등)로 인해 오류 검출의 신뢰성이 떨어지는 문제점이 있다. 따라서 규격화된 수치를 이용하여 오류 검출에 대하여 신뢰성을 높이는 동시에 생산 라인에서의 LCD 장비 생산성을 증대하기 위해서는 카메라(Camera)를 이용한 영상 처리 검사기가 필수적으로 요구된다.

영상 처리 검사기를 사용하여 영상을 수집하기 위해서는 카메라가 필수적으로 요구되는데, 카메라는 이미지 센서(CCD 센서 등)와 렌즈(Lens)의 특성으로 인하여 수집된 영상에 왜곡이 발생하게 된다. 예컨대, Full HD LCD 모델을 기준으로 볼 때 대략 2,073,600 (1920x1080)개의 픽셀(Pixel)을 검출하여야 하고, 30 Inch LCD를 기준으로 약 200만개 Pixel의 Size는 약 363㎛×363㎛ 이고, 1개의 Pixel은 3개의 Sub Pixel을 가지고 있다. 따라서 적어도 카메라의 CCD Cell과 LCD의 Sub-Pixel이 1:1 매칭되려면 Camera의 CCD Cell은 약 600만개의 화소를 가지고 있어야 하고, 1:1 매칭이 되지 않도록 최소 화소 분할인 4분할로 계산을 한다면 요구되는 CCD의 Cell은 적어도 600만 X 4분할 = 2,400만 화소(Resolution)를 갖는 CCD를 필요로 한다. 이렇게 되면 적어도 8bit Gray Level을 이용한 Data라 가정하여도 약 24M Bytes(2,073,600x12)의 대용량 데이터를 분석해야 한다.

한편, 카메라 렌즈(Lens)의 가장자리 왜곡에 따른 위치 및 형태를 바꿀 때 사용하는 영상 처리 기술로는 'Image warping' 기법이 있다. 그런데 Image warping 기법을 사용하여 위치 및 형태 변형을 주게 된다면 Image warping시에 처리하는 실수형 연산으로 인하여 원본 Image가 훼손되고, 많은 계산 시간이 소요된다. 또한 실수형 연산 처리가 빠른 그래픽 카드의 GPU를 사용하기 때문에 프로그래망(Programming)하기도 복잡한 문제점을 내포하고 있다. 이러한 문제점으로 인해 아직까지는 최첨단 자동생산설비로 이루어진 LCD라인에서 작업자의 눈을 이용한 품질 검사 구간이 있을 수 밖에 없다.

본 발명은 상기와 같은 문제점을 해결하기 위해 제안된 것으로, 본 발명의 목적은 디스플레이 검사 분야에서 작업자에 의한 육안검사를 영상처리기술로 대체할 수 있도록 대용량 이미지 데이터의 분석시간을 개선할 수 있게 하는 윤곽선 검출을 위한 대각선 스캔방법을 제공하는 것이다.

상기와 같은 목적을 달성하기 위하여 본 발명의 방법은, 카메라의 렌즈를 통해 입사된 영상의 이미지 데이터를 입력하는 단계; 입력된 이미지 데이터를 스캔할 때 적용할 마스크를 선택하는 단계; 및 선택된 마스크를 사용하여 이미지 데이터를 대각선 방향으로 스캔하는 단계를 포함하는 것을 특징으로 한다.

상기 마스크는

이거나

인 것을 특징으로 하고,

상기 대각선 방향으로 스캔하는 단계는 평면상에 M×N 매트릭스 형태로 이미지 데이터가 배열되어 있을 때, 좌상측에서부터 우하측으로 순차적으로 진행하면서 우상측에서 좌하측으로 대각선 방향으로 스캔하는 것이다.

본 발명에 따르면 카메라 렌즈에 의한 왜곡을 최소화하면서 윤곽선을 검출하고 특징점을 추출하여 Object(LCD Pixel)의 특성을 얻어 라벨링(Labeling)을 하고, 기존에 저장되어 있는 기준 영상과 비교하여 LCD Pixel의 오류를 추출할 수 있다. 따라서 본 발명은 디스플레이 분야에서 작업자에 의한 육안검사를 영상 처리 기술로 대체할 수 있게 한다.

또한 본 발명에 따르면 대각선 스캔시에 마스크를 사용함으로써 영상 처리에 소요되는 시간을 대폭 줄일 수 있다.

도 1은 본 발명이 적용되는 카메라에 사용는 CCD의 예.
도 2는 CCD 화면에서 발생되는 모아레 현상의 예,
도 3은 CCD 카메라를 통한 영상획득에서 렌즈의 영향을 설명하기 위해 도시한 도면,
도 4는 렌즈의 왜곡과 카메라 포지션 오류를 설명하기 위한 도면,
도 5는 본 발명에 따른 대각선 Scan의 예,
도 6은 본 발명에 따른 영상 처리 검사기의 개략도,
도 7은 본 발명에 따라 영상을 처리하는 전체 절차를 도시한 순서도,
도 8은 본 발명에 따른 대각선 Scan시 사용되는 Mask의 윤곽선 방향 검증 예이다.

본 발명과 본 발명의 실시에 의해 달성되는 기술적 과제는 다음에서 설명하는 본 발명의 바람직한 실시예들에 의하여 보다 명확해질 것이다. 다음의 실시예들은 단지 본 발명을 설명하기 위하여 예시된 것에 불과하며, 본 발명의 범위를 제한하기 위한 것은 아니다.

도 1은 본 발명이 적용되는 카메라에 사용는 이미지 센서(CCD)의 예이고, 도 2는 CCD 화면에서 발생되는 모아레 현상의 예이다.

먼저, 본 발명은 CCD의 특성과 카메라 렌즈(Camera Lens)의 특성, 그리고 TFT-LCD의 특징을 잘 고려하여야 하므로 TFT-LCD 및 TFT-LCD의 영상을 획득하기 위한 카메라의 대용량 CCD와 Lens의 특성을 이해할 필요가 있다.

카메라에 사용되는 CCD 이미지 센서는 도 1에 도시된 바와 같이, 광 다이오드의 집합체인 CCD에서 빛의 알갱이(Photon)의 양에 따라 전자가 생김으로써 화면을 이루는 이미지 정보가 만들어 진다. 이러한 특성으로 인하여 LCD 화면을 검사할 때, 도 2와 같은 모아레 현상이 발생한다. 즉, LCD Pixel의 격자 모양과 CCD의 광 다이오드가 1:1로 겹치게 되면 Photon의 전하가 한쪽으로 치우치게 되면서 물결 무늬가 겹쳐서 생기는 간섭 무늬(Interference fringe)가 발생한다. 이 간섭 무늬(Interference fringe)는 전기적인 신호로 만드는 과정에서 생기는 허상으로 이를 해결해야 하는 방법으로는 LCD Pixel의 배율 확대가 필수적이다. 배율을 확대하면 검사할 수 있는 영역은 좁아지는 반면, 검사해야 할 대상은 늘어나 이미지 데이터(Image data)의 대 용량화가 일어날 수 밖에 없다.

또한 LCD 이미지 데이터(Image Data)를 분석하기 위하여 배율을 확대하여야 하고, LCD의 R, G, B Sub-Pixel을 입력받기 위하여 CCD의 칼라 필터(Color filter)를 사용하게 된다면 R, G, B 24bit Row file로 만들어 계산해야 한다. 그렇게 되면 CCD의 4개 Pixel(R, G, B, G)이 하나의 Pixel로 동작하기 때문에 이미지 데이터 파일(Image Data File)의 사이즈(Size)는 12배 {4(CCD의 4개 Pixel) x 3(LCD의 Sub-Pixel)}만큼 커지는 문제점이 발생하게 된다. 이에 본 발명의 실시예에서는 칼라 필터(Color filter)를 사용하지 않고, 순수 그레이 레벨(Gray Level)만으로 R, G, B를 검토한다.

도 3은 CCD 카메라를 통한 영상 획득에서 렌즈의 영향을 설명하기 위해 도시한 도면이다.

카메라의 렌즈 특성을 살펴보면, 이미지의 배율을 확대하여 넓은 영역을 검사하고자 할 때에는 넓은 구경의 렌즈(Lens)를 사용하게 된다. 도 3과 같이 렌즈의 중심을 통과하는 상의 중앙부와 렌즈의 모서리 부분을 지나는 상의 가장자리 부분이 렌즈의 특성으로 인하여 그 위치나 상이 왜곡되는 현상이 생긴다. 이러한 문제점을 해결하기 위하여 이미지 프로세싱(Image processing)의 Image warping 기법을 사용하여야 하나, 이 기법을 사용하게 되면 실수형 연산으로 인하여 대용량의 데이터(Data)를 처리하데 시간이 오래 걸리고, 원본 이미지도 훼손된다. 이에 본 발명에서는 대각선 스캔 방식을 이용한다. 또한 도 3의 객체(Object)가 전체적으로 같은 휘도를 나타내더라도 필름(Film)쪽에 맺혀지는 상의 휘도는 렌즈(Lens) 통하여 이동한 빛의 양에 따라 틀려지게 된다. LCD의 정 중간 휘도와 가장자리 휘도의 차이는 Gray 0~255 기준으로 100정도까지 나타난다. 하지만 윤곽선을 검출할 때 측정되는 기울기 값은 위치에 상관없이 일정하다.

한편, 태양빛에 반사되어 보여지는 일반적인 사물과 다르게 TFT LCD의 경우 LED나 CCFL 광원이 액정을 통과하여 보여진다. 이 액정은 보통 60Hz의 동작 속도로 반응한다. 그런데 TFT LCD는 직류를 사용하여 같은 전압을 계속 걸어 주게 되면 액정이 계속 같은 방향으로 서 있고 극성을 따라서 액정 패널이 한쪽으로 몰려 버리게 됨으로 더 이상 액정이 작동을 안 하는 '액정 열화 현상'이라는 문제점이 발생한다. 그래서 LCD Panel의 위와 아래에 전압을 걸어 줄 때 계속적으로 +, -를 바꾸어 걸어 줌으로 '액정 열화 현상'문제를 해결한다. 예를 들자면 액정이 45도만큼 기울이고 싶으면 좌로 45도, 다음 Frame에서는 우로 45도 바꿔 주도록 전압을 계속 바꾸어주도록 TFT-LCD는 설계되어 있다. 이 때 극성이 같은 전압을 주어야 하는데, 캡이 있는 기생축전용량 때문에 좌우 같은 각도로 맞추기가 쉽지 않아 화면이 깜박거리는 것처럼 느껴진다. 이와 같이 LCD 화면에서 나오는 빛의 세기가 일정하지 않고 시간에 따라 주기적으로 변하므로 사용자에게 빛의 깜박거림이 느껴지는 현상을 플리커(Flicker)라 한다.

이러한 플리커(Flicker)로 인하여 LCD의 모든 위치에 있는 픽셀(Pixel)에서 동시에 빛을 발산하는 것이 아니기 때문에 카메라의 노출 시간을 충분히 설정하여야만 한다. 예컨대, 60 Hz로 구동하는 TFT-LCD는 카메라 노출 시간을 적어도 33ms(60Hz = 16.6ms인데 좌, 우측으로 기울기 때문에 16.6 x 2 = 33.3 ms) 이상의 노출을 필요로 한다.

하지만 R, G, B Sub-Pixel로 이루어진 LCD 픽셀(Pixel)의 특성으로 인하여 노출 시간이 많아 진다면 Green 빛이 밝기 때문에 밝은 빛에서 퍼짐 현상이 발생하고, 이로 인해 분석하기 힘든 이미지 데이터를 얻을 수 있다. 그러므로 충분한 테스트를 통하여 적정한 카메라 노출 시간을 확보하여야 한다.

도 4는 렌즈의 왜곡과 카메라 포지션 오류를 설명하기 위한 도면이고, 도 5는 본 발명에 따른 대각선 Scan 방식을 도시한 도면이다.

LCD 픽셀의 위치가 카메라 렌즈의 왜곡으로 도 4a와 같이 오목해지던가 위치 설정에 대한 오류로 인하여 상의 각도가 약간 변경되면, 도 4b와 같이 검사하려는 상의 위치가 변하게 되고, 이와 같은 상태에서 수직/수평으로 스캔하면 순서대로 픽셀을 검사할 수 없게 된다. 따라서 본 발명에서는 도 5a 및 도 5b와 같이 이미지 데이터를 대각선 방향으로 스캔하여 렌즈의 왜곡에 따라 상의 위치가 변경이 되더라도 순서대로 픽셀을 찾는 것이 가능하게 된다.

도 5a 및 도 5b를 참조하면, x,y 축 평면상에 M×N 매트릭스 형태로 이미지 데이터가 배열되어 있을 때 좌상측에서부터 우하측으로 순차적으로 진행하면서 대각선 방향으로 스캔한다. 즉, 도 5a와 같이 1,2,3,4,5,6,7,8,9... 순으로 가면서 화살표와 같이 우상측에서 좌하측으로 대각선 방향으로 스캔이 이루어진다.

앞서 살펴 본 바와 같이 LCD의 정중간의 이미지와 모서리 부분의 이미지가 실질적으로는 같으나 10M Pixel급 이상의 CCD를 사용하는 카메라는 렌즈의 구경이 크기 때문에 상이 CCD에 맺혔을 경우 상의 크기 및 형태에 왜곡이 생기며, 상의 휘도 또한 다르게 나타난다. 왜곡된 상을 보정하다 보면 픽셀(Pixel)의 위치에 영향을 미치게 되고, 휘도를 보정하게 되면 실제 휘도가 문제가 되는 픽셀(Pixel)의 오류를 검출하는데 어려움이 발생하게 된다. 또한 노이즈에 대한 부분을 정리하다 보면 원본 데이터에 수정이 가해졌기 때문에 각각의 픽셀(Pixel)정보의 신뢰성이 떨어진다.

따라서 본 발명에서는 원본 데이터를 이용하여 찾고자 하는 객체(Object; 즉, LCD의 Pixel)부터 검출한 뒤, 각 Object의 특징(위치, 크기, 평균 휘도, 최대 휘도) 등을 잘 조합하여 휘도에 마스킹(Masking)하는 방법을 사용한다.

대각선 스캔(Scan)시에 윤곽선을 검출하는 알고리즘은 대각선 방향으로 Scan이 이루어지기 때문에 다음 수학식1 또는 수학식2와 같은 Mask를 사용하여 Scan시의 속도를 높여 시간을 줄이는 방법을 사용하도록 한다.

종래의 1차 미분 연산을 사용하면 X축과 Y축 방향으로 모두 14번 이상의 연산이 필요하고, 2차 미분 연산을 사용했을 경우에도 총 9번의 연산 처리가 요구되었으나 본 발명에 따라 수학식1 또는 수학식2의 마스크를 사용한다면 2번 또는 3번의 연산으로 처리할 수 있어 계산의 효율을 높일 수 있다.

또한 목표(Target)가 되는 객체(Object)를 찾는 부분이기 때문에 기존의 윤곽선 알고리즘을 적용할 필요가 없고, 좌에서 우측, 상에서 하측 방향으로 객체(Object)를 스캔(Scan)하기 때문에 아래쪽으로 경계선을 찾는 목적으로 수학식1 또는 수학식2와 같은 Mask를 제안한다.

도 6은 본 발명이 적용되는 영상 처리 검사기의 개략도이고, 도 7은 본 발명에 따라 영상을 처리하는 전체 절차를 도시한 흐름도이며, 도 8은 본 발명에 따른 대각선 Scan시 사용되는 Mask의 윤곽선 방향 검증 예이다.

본 발명이 적용되는 영상 처리 검사기는 도 6에 도시된 바와 같이, 검사 대상인 LCD(10)를 촬영하여 이미지 데이터를 수집하는 카메라(20)와, 카메라(20)로부터 입력된 영상의 이미지 데이터를 대각선 스캔하는 대각선 스캔모듈(30)과, 대각선 스캔에 의해 구해진 데이터들을 처리하여 윤곽선을 검출하는 윤곽선 검출모듈(40)과, 검출된 객체(픽셀)의 크기 형태 등을 추출하는 특징점 추출모듈(50)과, 추출된 특징점을 이용하여 검사대상의 결점을 판단하는 판단모듈(60)로 구성된다. 대각선 스캔모듈(30)은 이미지 데이터를 입력받는 영상입력부(32)와, 스캔시 적용할 마스크를 선택하는 마스크 선택부(34)와, 선택된 마스크로 이미지 데이터를 대각선 방향으로 스캔하는 스캔부(36)로 이루어진다.

도 7을 참조하면, 카메라로 영상 데이터를 획득한 후 마스크를 사용하여 대각선 Scan으로 윤곽선이 추출될 때까지 스캔(Scan)한다(S1,S2). 스캔시에 본 발명에 따라 제안하는 대각선 방향 마스킹(Masking) 연산자를 사용하도록 한다. 윤곽선이 추출되면, 윤곽선 방향으로 최대값을 얻도록 하고, 최대값 주변으로 기울기가 급격하게 변하는 점을 연결하여 윤곽선을 완성한다(S3,S4). 윤곽선이 완성이 되면 해당 객체(Object; Pixel)의 Size, 형태 등을 검토하도록 하고, 모든 객체(Object)를 얻으면 픽셀(Pixel) 개수를 확인하여 포인트 결점(Point Defect Error)을 찾도록 한다(S5,S6).

도 8은 여러 형태의 객체(Object)를 본 발명에 따라 제안하는 Mask 방법을 이용하여 검출 시 스캔(Scan)되는 형태를 묘사한 것이다. 위에서 아래 방향, 우측에서 좌측 방향으로 이동하며 스캔(Scan)되는 방식을 통하여 Mask 연산자도 같은 방향으로 연산이 될 수 있도록 만들었다.

도 8을 참조하면, 사각형, 원, 대각선1, 대각선2의 방향으로 연산이 이루어지는 것을 알 수 있다.

이상에서 본 발명은 도면에 도시된 일 실시예를 참고로 설명되었으나, 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.

10: 검사대상 20: 카메라
30: 대각선 스캔모듈 40: 윤곽선 검출모듈
50: 특징점 추출모듈 60: 판단모듈

Claims (4)

1. 검사 대상인 평판 디스플레이소자를 촬영하여 이미지 데이터를 수집하는 카메라와, 상기 카메라로부터 입력된 영상의 이미지 데이터를 대각선 스캔하는 대각선 스캔모듈과, 대각선 스캔에 의해 구해진 데이터들을 처리하여 윤곽선을 검출하는 윤곽선 검출모듈과, 검출된 객체의 크기, 형태를 추출하는 특징점 추출모듈과, 추출된 특징점을 이용하여 검사대상의 결점을 판단하는 판단모듈로 이루어진 평판 디스플레이 소자 검사 시스템의 윤곽선 검출을 위한 대각선 스캔방법에 있어서,
   카메라의 렌즈를 통해 입사된 영상의 이미지 데이터를 입력하는 단계;
   입력된 이미지 데이터를 스캔할 때 적용할 마스크를 선택하는 단계;
   선택된 마스크를 사용하여 이미지 데이터를 대각선 방향으로 스캔하는 단계;
   마스크를 이용한 대각선 스캔에 의해 윤곽선이 추출되면, 윤곽선 방향으로 최대값을 얻도록 하고, 최대값 주변으로 기울기가 급격하게 변하는 점을 연결하여 윤곽선을 완성하는 단계; 및
   윤곽선이 완성되면, 해당 객체의 사이즈와 형태를 판별하고, 픽셀(Pixel) 개수를 확인하여 포인트 결점(Point Defect Error)을 추출하는 단계로 구성되고,
   상기 마스크는
   

   

   나

   

   이며,
   상기 대각선 방향으로 스캔하는 단계는
   평면상에 M×N 매트릭스 형태로 이미지 데이터가 배열되어 있을 때, 좌상측에서부터 우하측으로 순차적으로 진행하면서 우상측에서 좌하측으로 대각선 방향으로 스캔하는 것을 특징으로 하는 윤곽선 검출을 위한 대각선 스캔방법.
2. 삭제
3. 삭제
4. 삭제

Images