KR101615733B1 - 카메라모듈의 렌즈와 적외선필터 사이의 이물 검사를 위한 표면 시각화 방법 - Google Patents

Abstract

본 발명은 카메라모듈의 이물 검사를 위한 표면 시각화 방법에 관한 것으로서, 카메라모듈의 렌즈와 적외선필터 사이에 묻은 먼지 또는 지문과 같은 이물질을 정밀하게 검사할 수 있는 표면 시각화 방법을 개시한다. 이에, 본 발명의 표면 시각화 방법은, 카메라모듈에 균일한 빛을 조사하는 백색 광원을 촬영한 영상을 통해 수행되며, 이것은 먼저 다항식 표현으로 추정된 배경영상과 입력영상의 차분영상을 생성한다. 그리고, 고정밀(high precision)을 가진 중간값 필터링(median filtering)을 적용하여 재귀적으로 유사한 밝기값을 가진 이웃 픽셀 집합을 평활화함으로써 카메라모듈의 표면 굴곡 상태 및 이물질과 같은 표면 결함을 시각적으로 두드러지게 하는 방법이다.

Description

카메라모듈의 렌즈와 적외선필터 사이의 이물 검사를 위한 표면 시각화 방법{Particle inspection method for the visualization of surface between the lens and the infrared filter in the camera module}

본 발명은 카메라모듈의 이물 검사를 위한 표면 시각화 방법에 관한 것으로서, 더욱 상세하게는 카메라모듈의 렌즈와 적외선필터 사이에 묻은 먼지 또는 지문과 같은 이물질을 정밀하게 검사할 수 있는 표면 시각화 방법에 관한 것이다.

IT 기술의 전반적인 영역에서 소형 카메라를 이용한 장치 기술에 대한 수요가 증가하고 있다. 이와 더불어 관련 제품의 생산라인 증가에 따라 카메라모듈 내부 결함에 대한 육안 검사와 영상처리기술에 의한 자동검사에 대한 수요가 대단히 높은 실정이다.

이러한 카메라모듈은 일반적으로 도 1과 같이 같이 구성되어 있으며, 상기 카메라모듈은 조립작업이 완료된 후 렌즈나 CCD센서 또는 적외선필터와 렌즈 사이에 이물이 묻었는지를 확인하기 위한 이물 검사 공정을 거치게 된다.

이때, 이물 검사 공정은 카메라모듈에 균일한 빛을 조사하는 광원을 피사체로 하여 촬영함으로써 CCD센서로부터 획득된 영상 정보를 통해 수행된다.

이 과정에서 만약 CCD센서와 적외선필터 사이에 이물이 있을 경우에는 획득된 영상에서 흑점 또는 백점의 형태로 나타나며, 이것은 영상 내의 각 픽셀값을 비교함으로써 쉽게 이물 검사를 수행할 수 있다.

그러나, 적외선필터와 렌즈 사이의 이물은 획득된 영상에서 낮은 대비(contrast)와 균일하지 않은 밝기(brightness) 영역의 불규칙한 패턴으로 인해 다른 여타의 결함 또는 이물질보다 상대적으로 식별하기 어려운 문제점이 있다.

KR 10-1416860 B1 KR 10-1219782 B1 KR 10-0878955 B1

앞선 배경기술에서 도출된 문제점을 해결하기 위한 본 발명의 목적은, 이물 검출을 위한 전처리 단계에 적용되는 표면 시각화에 초점을 맞추어 그 방법을 제안하고 이를 통하여 2차적인 육안 검사와 자동 검사를 위한 표면 영상을 제공하기 위한 것이다.

상기한 목적은, 본 발명의 실시예에 따라, 카메라모듈에 균일한 빛을 조사하는 광원을 피사체로 촬영하여 입력영상을 획득하는 단계(S200); 상기 입력영상으로부터 배경영상을 추정하는 단계(S400); 상기 배경영상과 상기 입력영상을 차분하는 단계(S600); 및 상기 차분에 의해 부각된 표면을 coarse to fine 기법을 이용하여 시각화하는 단계(S800);를 포함하는 카메라모듈의 렌즈와 적외선필터 사이의 이물 검사를 위한 표면 시각화 방법에 의해 달성된다.

바람직하게는, 상기 배경영상은 다음의 수학식과 같은 2차 다항식으로 표현되어 모델링되는 것을 특징으로 한다.

(여기서, C는 배경영상이고, (u,v)는 픽셀좌표이고, k는 다항식의 계수이다.)

바람직하게는, 상기 배경영상은 관찰된 이미지의 모든 픽셀을 사용하여, 관찰된 이미지로부터 배경을 제거하는 것을 특징으로 한다.

바람직하게는, 상기 (S800)단계는, 차단주파수(cutoff frequency)보다 높은 주파수의 신호를 통과시키는 고역 통과 필터링(high pass filter) 단계와, 윤곽선(borderline) 및 경계(edge)를 보존하면서 영상 잡음을 평활화시키는 양방향 필터링(bilateral filtering) 단계가 재귀적으로 수행되는 것을 특징으로 한다.

바람직하게는, 상기 양방향 필터링 단계는, 양방향 필터에 의한 픽셀 Q(m,n)은 다음의 수학식에 의해 추측되는 것을 특징으로 한다.

(여기서, P(l,k)는 입력 픽셀이고, H(m,n;l,k)P(l,k)는 로컬 윈도우 안의 픽셀 (l,k)와 로컬 윈도우의 중심 픽셀 (m,n) 사이의 비선형 결합이다.)

상기한 실시예에 따른 본 발명에 의하면, 재귀적으로 유사한 밝기값을 가진 이웃 픽셀 집합을 평활화함으로써 카메라모듈의 표면 굴곡 상태 및 이물질과 같은 표면 결함을 시각적으로 명확히 확인할 수 있도록 하므로 신뢰성 있는 이물 검사를 수행할 수 있는 효과가 있다.

도1은 일반적은 카메라모듈의 구조를 도시하는 개념도이고,
도2는 본 발명의 실시예에 따른 카메라모듈의 렌즈와 적외선필터 사이의 이물 검사를 위한 표면 시각화 방법을 설명하기 위한 순서도이고,
도3은 본 발명의 실시예에 따른 배경영상의 수평 스캔 이미지(왼쪽)와 수직 스캔 이미지(오른쪽)을 도시하는 예시도이고,
도4는 본 발명의 실시예에 따른 배경영상과 입력영상의 차분영상에 대한 예를 도시하는 예시도이고,
도5는 본 발명에 따른 양방향 필터링(bilateral filtering)에 의한 결과 영상을 도시하는 예시도이고,
도6은 본 발명의 실시예에 따른 실험 결과의 샘플을 도시하는 예시도이다.

이하, 첨부된 도면들을 참조하면서 본 발명의 바람직한 실시예에 대해 상세히 설명하기로 한다. 한편, 해당 기술분야의 통상적인 지식을 가진 자로부터 용이하게 알 수 있는 구성과 그에 대한 작용 및 효과에 대한 도시 및 상세한 설명은 간략히 하거나 생략하고 본 발명과 관련된 부분들을 중심으로 상세히 설명하도록 한다.

본 발명의 실시예에 따른 카메라모듈의 렌즈와 적외선필터 사이의 이물 검사를 위한 표면 시각화 방법은, 도2에 도시된 바와 같이, 카메라모듈에 균일한 빛을 조사하는 광원을 피사체로 촬영하여 입력영상을 획득하는 단계(S200)와, 상기 입력영상으로부터 배경영상을 추정하는 단계(S400)와, 상기 배경영상과 상기 입력영상을 차분하는 단계(S600)와, 상기 차분에 의해 부각된 표면을 coarse to fine 기법을 이용하여 시각화하는 단계(S800)를 포함한다.

카메라로부터 획득된 영상에서 적외선필터 상단의 먼지 또는 지문과 같은 낮은 대비(contrast), 그리고 균일하지 않은 밝기의 불규칙한 패턴을 가진 이물질을 검출하기 위한 방법은, 먼저 표면 상태를 뚜렷하게(noticeable) 하기 위하여 배경영상을 입력영상으로부터 추정한다.

이상적인 상태에서는 배경영상은 모든 픽셀(pixel)에서 균일(constant) 해야만 한다. 그러나 실제로는 렌즈 수차(lens aberration)로 인해 불균일한 배경영상을 가진다.

이에, 상기 배경영상은 다음의 수학식1과 같은 2차 다항식으로 표현되어 모델링된다.

여기서, C는 배경영상이고, (u,v)는 픽셀좌표이고, k는 다항식의 계수이다.

한편, 배경영상을 추정하기 위해 배경픽셀 g_c(u,v)에 기반하여 다음의 수학식2와 같이 과-결정(over-determined) 선형 시스템을 가진다.

이를 행렬의 곱의 형태로 표현하면 다음의 수학식3과 같이 나타낼 수 있다.

위 수학식3으로부터 다항식의 계수 벡터 k를 추정하기 위해서는 우선 배경픽셀 g_c를 알아야만 한다.

배경픽셀은 분할(segmentation)이 끝날 때까지 알 수 없으며, 이 딜레마를 해결하기 위해 배경픽셀로 관측된 픽셀들 (즉, g_c←g)을 이용한다. 그리고, 다음의 수학식4와 같은 최소제곱해(least-square solution)를 이용하여 최적의 k를 추정한다. 결국 이것은 복원과 분할 과정을 반복적으로 수행함으로써 배경영상 추정을 개선하는 것이다.

그러나, 반복적인 과정으로부터 얻은 결과는 over-constrained system으로부터 k를 추정하기 때문에 명백한 개선을 가진 배경을 추정하는 데에 대한 어떠한 보장도 없다. 왜냐하면 이것은 1000×1000 이미지의 경우 수학식2에서 6개의 계수를 추정하기 위해 1000000개의 방정식을 가지고 있기 때문이다.

따라서, 본 실시예에서는 반복적인 개선없이 배경영상 추정을 위해 관찰된 이미지의 모든 픽셀을 사용하며, 이것은 관찰된 이미지를 고려할 때,

로써 배경영상을 계산하고, 관찰된 이미지로부터 배경을 제거하는 것이다. 즉, g←g-C.

최종적으로 추정 배경영상은 도3과 같이 상술한 배경영상 추정 과정을 가로 방향의 1차원 픽셀에 대하여 적용하고, 그 결과 영상으로부터 1차원 세로 방향의 픽셀에 대하여 번갈아 수행하여 최종적인 2차원 영상에 대한 배경영상을 추정한다.

도4는 본 발명의 실시예에 따른 배경영상과 입력영상의 차분영상에 대한 예를 보여준다.

상기 (S800)단계에서는, 차단주파수(cutoff frequency)보다 높은 주파수의 신호를 통과시키는 고역 통과 필터링(high pass filtering) 단계(S820)와, 윤곽선(borderline) 및 경계(edge)를 보존하면서 영상 잡음을 평활화시키는 양방향 필터링(bilateral filtering) 단계(S840)가 재귀적으로 수행된다.

여기서, 고역 통과 필터링은 일정 주파수 이상의 모든 주파수의 파를 전송함과 동시에 그 이외의 주파수파는 모두 감쇠하도록 하는 것으로, 당업자에게는 기술에 해당하므로 구체적인 설명은 생략하도록 한다.

한편, 일반적인 양방향 필터는 원 영상에서 경계를 보존하면서(edge preserving) 노이즈를 감소시키는(noise smoothing reducing) 비선형 필터로, 보통 가우시안에 기초하며, 특징적인 점은 weight가 위치뿐만 아니라 그 위치의 값에서도 의존한다.

양방향 필터에 의해 추측되는 픽셀 Q(m,n)은 다음의 수학식5와 같다.

여기서, P(l,k)는 입력 픽셀이고, H(m,n;l,k)P(l,k)는 로컬 윈도우 안의 픽셀 (l,k)와 로컬 윈도우의 중심 픽셀 (m,n) 사이의 비선형 결합이다.

로컬 윈도우(local window)의 비선형 조합(nonlinear combination)은 다음의 수학식6 및 수학식7과 같다.

여기서, A_{m ,n}은 로컬 윈도우 안의 픽셀이며, σ_d와 σ_r은 각각 domain filter 및 range filter의 표준편차(standard deviation)이다.

그리고, w_{m ,n}은 다음의 수학식8에 의해 표현되는 normalize factor이다.

nonlinear filter는 domain filter 및 range filter에 대해 low pass gaussian filter를 채택하였다. 따라서 domain filter는 중심 픽셀에 공간적으로 가까운 픽셀들에게 weights를 높인다.

도5는 본 발명에 따른 양방향 필터링(bilateral filtering)에 의한 결과 영상으로 카메라모듈의 렌즈와 적외선필터 사이에서 이물질이 또렷이 나타나는 것을 확인할 수 있다.

지금까지 설명한 본 발명의 실시예에 따르면, 1차원 픽셀에 대해 2차 다항식 표현으로 추정된 배경영상 추측 결과로부터 생성된 표면 강화 결과 영상에서 고역 통과 필터와 coarse to fine 기법을 통하여 인접한 픽셀들을 그룹화하는 방식으로 결함 검출을 위한 표면 시각화를 완성한다.

실제 결함 표면 영상에 대한 실험 결과, 표면이 상태가 시각화될 뿐만 아니라 표면 결함이 확연히 식별 가능하게 표현되는 것을 도6을 통해 확인할 수 있으며, 이후의 자동 검출에서도 효율적인 결함 검출이 가능함을 예측할 수 있다.

전술한 내용은 후술할 발명의 청구범위를 더욱 잘 이해할 수 있도록 본 발명의 특징과 기술적 장점을 다소 폭넓게 상술하였다. 상술한 실시예들은 해당 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상의 범위에서 다양한 수정 및 변경이 가능할 것이다. 이러한 다양한 수정 및 변경 또한 본 발명의 기술적 사상의 범위 내라면 하기에서 기술되는 본 발명의 청구범위에 속한다 할 것이다.

Claims (5)

1. 카메라모듈에 균일한 빛을 조사하는 광원을 피사체로 촬영하여 입력영상을 획득하는 단계(S200);
   상기 입력영상으로부터 배경영상을 추정하는 단계(S400);
   상기 배경영상과 상기 입력영상을 차분하는 단계(S600); 및
   상기 차분에 의해 부각된 표면을 coarse to fine 기법을 이용하여 시각화하는 단계(S800);를 포함하되,
   상기 배경영상은 다음의 수학식과 같은 2차 다항식으로 표현되어 모델링되는 것을 특징으로 하는 카메라모듈의 렌즈와 적외선필터 사이의 이물 검사를 위한 표면 시각화 방법.
   

   

   
   (여기서, C는 배경영상이고, (u,v)는 픽셀좌표이고, k는 다항식의 계수이다.)
2. 삭제
3. 제1항에 있어서,
   상기 배경영상은 관찰된 이미지의 모든 픽셀을 사용하여, 관찰된 이미지로부터 배경을 제거하는 것을 특징으로 하는 카메라모듈의 렌즈와 적외선필터 사이의 이물 검사를 위한 표면 시각화 방법.
4. 제1항에 있어서,
   상기 (S800)단계는,
   차단주파수(cutoff frequency)보다 높은 주파수의 신호를 통과시키는 고역 통과 필터링(high pass filter) 단계와,
   윤곽선(borderline) 및 경계(edge)를 보존하면서 영상 잡음을 평활화시키는 양방향 필터링(bilateral filtering) 단계가
   재귀적으로 수행되는 것을 특징으로 하는 카메라모듈의 렌즈와 적외선필터 사이의 이물 검사를 위한 표면 시각화 방법.
5. 제4항에 있어서,
   상기 양방향 필터링 단계는,
   양방향 필터에 의한 픽셀 Q(m,n)은 다음의 수학식에 의해 추측되는 것을 특징으로 하는 카메라모듈의 렌즈와 적외선필터 사이의 이물 검사를 위한 표면 시각화 방법.
   

   

   
   (여기서, P(l,k)는 입력 픽셀이고, H(m,n;l,k)P(l,k)는 로컬 윈도우 안의 픽셀 (l,k)와 로컬 윈도우의 중심 픽셀 (m,n) 사이의 비선형 결합이다.)
   
   

Images