KR20020032766A - 반도체 패키지의 삼차원 시각 검사방법 및 장치 - Google Patents

Abstract

본 발명은 반도체 패키지의 삼차원 시각 검사방법 및 장치에 관한 것으로서, 더 상세하게는 집적도가 높아지고 소자의 크기가 작아지는 고밀도 반도체 패키지의 삼차원 검사를 한 대의 카메라를 사용하여 수행할 있는 반도체 패키지의 삼차원 시각 검사방법 및 장치에 관한 것이다.

본 발명은 LED 조명과 한 대의 카메라를 사용하되 거리 정보를 추출할 수 있도록 스테레오 영상을 얻을 수 있는 광학계를 제안하고 이를 이용한 삼차원 측정 및 검사기술을 제안한다.

본 발명은 검사를 원하는 목표지점으로부터 카메라까지의 거리를 추출하고 이들로부터 근사된 삼차원 공간상에서 평면의 방정식을 계산한 후 각 목표지점의 삼차원 정보가 평면으로부터 떨어진 분포를 분석하여 패키지 전체의 평면도 검사를 수행한다.

본 발명에 의하면 레이저 광원과 같은 별도의 특수 광원장치 없이도 한 대의 카메라만을 사용하여 삼차원 시각검사를 수행함으로써 종래의 삼차원 검사장비보다 가격을 50%이하로 낮출 수 있는 효과가 있다.

Description

반도체 패키지의 삼차원 시각 검사방법 및 장치{Three-dimensional Visual Inspection Method of Semiconductor Packages and Apparatus using Single Camera}

본 발명은 반도체 패키지의 삼차원 시각 검사방법 및 장치에 관한 것으로서, 더 상세하게는 집적도가 높아지고 소자의 크기가 작아지는 고밀도 반도체 패키지의 삼차원 검사를 한 대의 카메라를 사용하여 수행할 있는 반도체 패키지의 삼차원 시각 검사방법 및 장치에 관한 것이다.

최근 반도체 소자의 집적도가 높아지고 소자의 크기가 급격히 줄어들면서 고밀도 소자에 적합한 BGA(Ball Grid Array) 패키지, PQFP(Plastic Quad Flat Package) 패키지 혹은 SOP(Small Outline Package) 스타일의 패키지를 사용한 소자의 생산이 증가하고 있다.

여기에서 BGA 패키지는 소자의 밑면에 둥근 공 모양의 납을 붙여두어 전자회로 기판의 쓰루-홀(Through-Hole)에 직접 가열하여 붙이는 방식이고, SOP 패키지는 패키지와 소자의 사방에 매우 가는 다리들을 조밀하게 붙여놓는 방식이다.

상기 PQFP와 SOP 스타일의 패키지 경우, 과거에는 이웃한 다리 사이의 간격이 1.0 mm이상 되는 모델들이 많았으나 최근에는 사람의 눈으로는 식별하기 어려운 수준인 0.2 mm이하의 모델들이 많이 생산되어 삼차원 검사의 필요성이 대두되었다.

상술한 패키지들은 전자회로 기판의 상단 혹은 하단에서 열을 가하면서 눌러서 조립하기 때문에 소자의 밑면에 붙어있는 볼(Ball)의 높이가 일정하지 않거나 소자의 측면에 붙어있는 다리들의 높이가 일정하지 않으면 접촉불량으로 전체 기판을 사용하지 못하게 된다.

이러한 문제점을 해결하기 위하여 소자의 다리들 혹은 볼(Ball)들의 높이가 일정한지를 미리 검사하는 기술이 필요하다.

이러한 기술중 종래의 삼차원 검사방법은 두 대의 카메라를 이용한 접근방식 혹은 상호관계를 알고 있는 카메라와 레이저(Laser) 광원을 이용한 접근방식을 사용한 방식들을 사용하여 카메라와 볼 혹은 다리까지의 거리를 추출하고 이들로 구성되는 평면을 결정함으로써 높이가 균일한 지를 결정하였다.

그런데 두 대의 카메라를 사용한 방식은 소자의 크기가 작아지는 경우 카메라 설치가 매우 어렵고 측정 정밀도가 떨어지는 단점이 있었다.

또한 카메라와 레이저 광원을 이용한 방식은 레이저 광원장치는 물론 0.1 mm 이하의 얇은 두께의 레이저광을 만들어주기 위한 광원 장치를 구축하기 위해 전체 장비의 가격이 높아지고 카메라와 레이저 광원간의 상호관계 추출이 어렵다는 단점이 있었다.

본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 레이저 광원과 같은 별도의 특수 광원장치 필요 없이 한 대의 카메라만을 사용하여 삼차원 시각검사를 수행함으로써 기존의 삼차원 검사장비와 대비하여 시스템 가격을 50%이하로 낮출 수 있는 반도체 패키지의 삼차원 시각 검사방법 및 장치를 제공하는데 있다.

도 1은 본 발명에 따른 삼차원 시각 검사방법의 구성도이다.

도 2는 본 발명에 따른 광학계의 사시도이다.

도 3은 본 발명에 따른 광학계를 이용한 영상원리를 보여주는 개념도이다.

도 4는 본 발명에 따른 광학계를 이용한 실제 카메라의 가시영역 도면이다.

도 5는 본 발명에 따른 광학계를 이용한 가상 스테레오 카메라의 가시영역 도면이다.

도 6은 본 발명에 따른 광학계를 사용하지 않고 얻어진 마이크로-BGA 패키지 소자에 대한 영상 예시도이다.

도 7은 본 발명에 따라 얻어진 마이크로-BGA 패키지 소자에 대한 영상 예시도이다.

도 8은 본 발명에 따른 영상처리 흐름도이다.

<도면의 주요부분에 대한 부호의 설명>

10 : 영상처리 시스템12 : 카메라

14 : 광학계16 : 조명 수단

18 : 패키지 소자20 : 영상 평면

22 : 카메라 렌즈

상술한 목적을 달성하기 위하여, 본 발명은 최근 반도체의 집적도가 높아지고 소자의 크기가 작아지면서 대두되고 있는 반도체 패키지의 삼차원 검사를 수행할 수 있는 한 대의 카메라를 사용한 시각 검사방법을 제안한다.

구체적으로, 본 발명은 소자의 밑면에 둥근 공 모양의 납을 붙여두어 전자회로 기판의 쓰루-홀(Through-Hole)에 직접 가열하여 붙이는 BGA(Ball Grid Array) 패키지와 소자의 사방에 매우 가는 다리들을 조밀하게 붙여놓은 SOP(Small Outline Package, TSOP 또는 TTSOP) 패키지 등에서의 볼(Ball) 높이 혹은 다리 높이 등을 측정하는데 유용한 삼차원 시각 검사방법을 제안한다.

이하 본 발명을 첨부된 도면 도 1 내지 도 8을 참고로 하여 설명하면 다음과 같다.

본 발명에 따른 삼차원 시각 검사방법에 대한 기본 개념은 도 1에 나타난 바와 같다.

검사 대상이 되는 패키지 소자(18)의 상부에 조명수단(16)을 위치시켜 조명을 가하고, 그 상부에 카메라(12)를 설치하되, 카메라(12)와 패키지 소자(18) 사이에 본 발명에 따른 광학계((14),光學界) 즉, 프리즘을 개재시킨다.

상기 광학계(14)를 통과하면서 얻어진 스테레오 영상은 한 대의 카메라(12)로 읽어들이게 되고 이 영상신호는 영상처리 시스템(10)에 입력되어 영상처리 함으로써 삼차원 시각검사가 수행된다.

즉, 카메라(12)로부터 해당되는 지점까지의 거리를 측정함으로써 주요 특징점들의 평면성(Coplanarity)이 측정, 검사된다.

상기 영상처리 시스템(10)은 PC 기반일 수도 있고 내장형(Embedded System)일 수도 있다.

상기 광학계(14)는 유리, 수정 등의 투명물질로 구성되고 삼각주체(三角柱體) 형상이다.

상기 조명수단(16)으로는 LED조명을 사용함이 바람직하다.

LED조명은 그 자체로 난반사 특성을 가지고 있어 반사가 심한 금속 표면과 같은 대상물체의 표면에서 부분적으로 반사되는 균일치 못한 반사광을 제거함으로써 안정적인 영상을 얻을 수 있다.

또한, BGA 패키지의 볼(Ball)은 구(球) 모양이기 때문에 링(Ring) 모양의 조명을 낮은 높이에서 인가하는 경우, 볼(Ball)의 주변은 밝게 빛나고 중심부분은 어두워져 도넛(Doughnut) 모양의 영상을 얻을 수 있어 볼(Ball) 정점(頂点) 추출을 위한 영상처리를 쉽게 할 수 있어 링(Ring) 모양의 LED 조명을 사용함이 바람직하다.

도 1의 광학계(14)를 통과한 패키지 소자(18)의 광로(光路)는 두 개로 갈라져 공간상의 한 점이 영상 평면(20)에 두 점으로 맺히게 됨으로써, 한 대의 카메라(12)를 사용하여 스테레오 영상을 얻을 수 있기 때문에 삼차원 검사를 수행할 수 있게 된다.

종래 두 대의 카메라를 사용하여 스테레오 영상을 얻는 경우 두 카메라에 장착된 렌즈의 특성(초점거리, 노출, Zoom 등)이 동일하지 않고 두 카메라의 광축이 서로 평행하도록 카메라를 기계적으로 고정하는 것이 매우 어렵기 때문에(현실적으로 불가능) 영상처리 시 이러한 점들을 고려한 복잡한 알고리즘을 필요로 한다.

반면에, 본 발명에서 처럼 한 대의 카메라(12)와 광학계(14)를 사용하는 경우, 하나의 카메라 렌즈(22)를 통하여 영상을 읽어들이기 때문에 앞서 제시한 여러 가지 문제점들이 해결된다.

특히, 스테레오 영상에서 서로 일치하는 지점을 찾기 위해서 에피폴라 라인(Epipolar Line)을 계산하여 사용하는 과정을 없애고 동일 수평라인에 존재하는 영상만을 분석하면 된다.

그에 따라, 영상처리가 간단해질 뿐만 아니라 영상처리 속도를 개선함으로써 전체 시스템의 성능을 향상시키게 된다.

도 2는 본 발명에 따른 광학계의 사시도이고, 도 3은 공간상의 한 점이 영상평면에 어떻게 두 점으로 맵핑(Mapping)되는 지를 보여주는 개념도이다.

도 3에서 알 수 있듯이 공간상의 한점 X_P가 광학계(14)에 의하여 X_R과 X_L두 점으로 변환된 후 카메라 렌즈(22)에 의해 영상 평면(20)에 m_R과 m_L두 점으로 맵핑된다.

단, 공간상의 모든 점들이 이러한 변환과정을 거치는 것이 아니고 광학계(14)인 프리즘의 내각(α)에 의해 결정되는 좁은 영역에 존재하는 영상만이 이러한 변환과정을 거치게 된다.

이 영역을 그림으로 보다 자세하게 보이면 도 4 및 도 5와 같다.

도 4는 본 발명에 따른 광학계(14)의 가시 영역에서 광학계(14)에 의한 FOV(Field of View)를 나타내고, 도 5는 가상의 스테레오 카메라 시스템으로 옮겼을 경우의 FOV를 나타낸다.

두 FOV 그림은 크게 세 개의 영역으로 구분되는데 두 대의 카메라에서 동시에 보이는 영역 ①, 좌측 카메라에서만 관측 가능한 영역 ② 및 우측의 카메라에서만 관측 가능한 영역 ③으로 구분된다.

이 가운데 상술한 바와 같이 공간상의 한 점이 영상평면에서 두 점으로 맺히는 지점은 영역 ①이다.

따라서, 삼차원 검사를 원하는 물체를 영역 ①에 두어야만 영상처리를 수행할 수 있으며 도 3의 원리에 의하여 두 장의 영상을 얻을 수 있다.

이렇게 구축된 시각시스템을 사용하여 얻어진 마이크로(Micro)-BGA 패키지 소자에 대해 얻어진 영상의 예를 보이면 도 6 및 도 7과 같다.

도 6은 본 발명에 따른 광학계(14) 없이 얻어진 한 장의 영상이고, 도 7은 본 발명에 따른 광학계(14)를 사용하여 얻어진 두 장의 영상이다.

이 두 장의 영상을 사용하여 삼차원 정보를 얻기 위한 영상처리 순서는 도 8과 같다.

시각 검사를 시작하기 전에 카메라(12) 및 광학계(14)의 내부 파라미터(초점 거리, 스케일 팩터(Scale Factor), 영상 평면(20)과 광학계(14)간의 간격, 카메라 상수 등)들을 추출하기 위해 정확한 삼차원 정보를 알고 있는 목표물을 사용하여카메라 교정(Calibration)을 수행한다(S100).

다음, 광학계(14)를 사용하여 얻어진 두 장의 영상을 읽어들인 후(S102), 좌우의 영상에서 서로 일치하는 특징점들을 찾아 추출하고(S104) 두 점간의 디스패러티(Disparity)를 계산하여(S106), 그로부터 일치점들까지의 거리와 삼차원 좌표를 추출한다(S108).

상기 S104 단계에서 영상 특징점들은 응용분야에 따라 다르지만, BGA 패키지의 경우 도 6 및 도 7에 도시한 바와 같이, 볼(Ball)의 영상이 도넛 모양으로 맺히기 때문에 구(球) 모양의 볼(Ball)의 정점(頂点)을 영상 특징점으로 사용하고, SOP 소자의 경우는 다리의 끝이 직사각형이기 때문에 끝 부분의 모서리를 영상 특징점으로 사용한다.

상기 S108 단계를 거쳐 추출된 삼차원 정보를 사용하여 공간상의 평면을 추정하고(S110) 그 평면에 대한 각 특징점들의 상대적인 분포를 분석하여 삼차원 검사인 평면성 검사를 수행한다(S112).

즉, 추정된 평면 위에 특징점들이 놓여있으면 대부분의 특징점들이 동일 평면상에 있는 것으로 판단하여 양호의 판정을 하고, 평면으로부터의 거리가 설정한 값 이상으로 커지는 경우 불량으로 판단한다.

예를 들어, BGA 패키지의 볼(Ball)의 높이 혹은 SOP 소자의 다리의 높이가 일정한 오차범위에 존재하는 경우 평면의 기판(PCB)에 조립을 순조롭게 할 수 있기 때문에 양호의 판정을 하고, 그 이외의 경우에는 기판 조립을 하더라도 특정 부분은 밀착되고 다른 부분은 접촉이 불량해지기 때문에 불량으로 판정한다.

반도체 패키지의 경우 일정한 패턴이 반복되기 때문에 상기 S104 단계 및 S106 단계에서 영상 특징점 추출은 응용목적에 맞게 특화된 영상처리 알고리즘에 의해 추출된다.

다음, 영상 디스패러티(Disparity)로부터 삼차원 거리는 수학식 1에 의해 계산된다.

.

단,

이때 d는 영상에서 계산된 디스패러티(pixel), Z_p는 특징점까지의 거리(mm), k₁, k₂는 카메라(12) 내부 파라미터, t_z는 영상 평면(20)에서 광학계(14)까지의 거리(mm), δ는 광학계(14) 내각(radian), f는 카메라 렌즈(22)의 초점거리(mm), c_x는 영상 센서 셀 하나의 x축 방향 길이이다.

이 가운데 k₁, k₂, t_z, f는 상기 S100 단계의 카메라(12) 교정을 통해 결정된다.

δ는 대상물체의 크기에 따라 FOV와 관련하여 결정되고, c_x는 카메라(12)가 선정되면 영상 어레이의 크기 및 영상의 해상도에 의해 결정된다.

이렇게 주요 특징점 까지의 삼차원 거리가 추출되면 삼각법에 의하여 해당지점의 삼차원 좌표가 계산된다.

즉, 카메라 렌즈(22)의 중심을 원점으로 하는 삼차원 좌표계에서 삼차원 정보가 모두 결정되어 아래와 같이 n개의 특징점들에 대한 정보가 얻어진다.

(x_i, y_i, z_i), i = 1, 2, ... , n, n ≥ 4 .

이 때, 이웃한 화소간의 밝기변화를 직선으로 보간(Interpolation)하여 필요한 수만큼 양자화(Quantization)하여 사용하면 얻어지는 삼차원 거리 정보의 정밀도가 개선된다.

즉, 영상의 해상도를 한 화소(Pixel) 이하까지 분석하여 사용함으로써 특징점 부근의 영상의 해상도를 증가시켜 영상을 분석하는 접근방식에 의해 삼차원 거리 정보의 정밀도가 개선된다.

다음, 최소자승법 혹은 휴(Hough) 트랜스폼(Transform)을 사용하여 수학식 2로 표현되는 평면의 방정식이 추출되고(S110), 해당평면에 대한 각 특징점들의 분포특성을 분석한다(S112).

즉, 평면성(Coplanarity)을 검사한다.

여기에서 a, b, c, d는 추출된 평면 방정식의 계수이다.

최종적으로 추출된 평면과 특징점간의 수직거리가 기준치 이상이 되면 패키지를 불량으로 판정하고, 일정한 오차범위 내에 존재하면 양호 판정을 내린다.

이상에서 살펴본 바와 같이, 본 발명에 의하면 한 대의 카메라를 사용하여 반도체 패키지의 삼차원 검사를 수행할 수 있는 효과가 있다.

예를 들어, 패키지 소자의 밑면에 둥근 공 모양의 납을 붙여두어 전자회로 기판의 쓰루-홀(Through-Hole)에 직접 가열하여 붙이는 BGA(Ball Grid Array) 패키지와 패키지 소자의 사방에 매우 가는 다리들을 조밀하게 붙여놓은 SOP(Small Outline Package, TSOP 또는 TTSOP) 패키지 등에서의 볼 높이 혹은 다리 높이 등을 측정할 수 있다.

또한 본 발명에 의하면 레이저 광원과 같은 별도의 특수 광원장치 없이도 한대의 카메라만을 사용하여 삼차원 시각검사를 수행함으로서 종래 삼차원 검사장비와 대비하여 가격을 혁신적으로 낮출 수 있는 효과가 있다.

Claims (9)

1. 검사 대상이 되는 패키지 소자(18)의 상부에 위치되어 조명을 가하는 조명수단(16)과,

   상기 조명수단(16) 상부에 위치되어 패키지 소자(18)의 빛이 통과되면 패키지 소자(18)의 광로를 두 개로 갈라지게 하는 광학계(14)와,

   상기 광학계(14) 상부에 위치되어 광학계(14)를 통과하면서 얻어지는 스테레오 영상을 읽어들이는 한 대의 카메라(12)와,

   상기 카메라(12)를 통해 읽어들인 스테레오 영상신호를 영상처리하여 삼차원 시각검사를 수행하는 영상처리 시스템(10)를 포함하는 것을 특징으로 하는 반도체 패키지의 삼차원 시각 검사장치.
2. 청구항 1에 있어서, 상기 광학계(14)는 유리, 수정 등의 투명물질로 구성되고 삼각주체(三角柱體) 형상임을 특징으로 하는 반도체 패키지의 삼차원 시각 검사장치.
3. 청구항 1에 있어서, 상기 조명수단(16)은 LED 조명인 것을 특징으로 하는 반도체 패키지의 삼차원 시각 검사장치.
4. 청구항 1에 있어서, 상기 패키지 소자(18)가 BGA 패키지인 경우에 상기 조명수단(16)은 링 모양의 LED 조명인 것을 특징으로 하는 특징으로 하는 반도체 패키지의 삼차원 시각 검사장치.
5. 카메라(12) 및 광학계(14)의 내부 파라미터들을 추출하기 위해 정확한 삼차원 정보를 알고 있는 목표물을 사용하여 카메라 교정(Calibration)을 수행하는 단계(S100)와,

   패키지 소자(18)에 조명을 가하여 광학계(14)를 통과시킴으로써 상기 패키지 소자(18)의 광로가 두 개로 갈라져 공간상의 한 점이 영상 평면(20)에 두 점으로 맺히게 되어 얻어진 스테레오 영상을 읽어들이는 단계(S102)와,

   상기 좌우의 영상에서 서로 일치하는 특징점들을 찾아 추출하는 단계(S104)와,

   두 점간의 디스패러티(Disparity)를 계산하는 단계(S106)와,

   상기 S106 단계로부터 일치점들까지의 거리와 삼차원 좌표를 추출하는 단계(S108)와,

   상기 S108 단계를 거쳐 추출된 삼차원 정보를 사용하여 공간상의 평면을 추정하는 단계(S110)와,

   상기 공간상의 평면에 대한 각 특징점들의 상대적인 분포를 분석하여 삼차원 검사인 평면성 검사를 수행하는 단계(S112)를 포함하는 것을 특징으로 하는 반도체 패키지의 삼차원 시각 검사방법.
6. 청구항 5에 있어서, 상기 S104 단계에서 영상 특징점은 BGA 패키지 소자인 경우에, 구 모양의 볼의 정점인 것을 특징으로 하는 반도체 패키지의 삼차원 시각 검사방법.
7. 청구항 5에 있어서, 상기 S104 단계에서 영상 특징점은 SOP 패키지 소자의 경우에, 다리 끝 부분의 모서리인 것을 특징으로 하는 반도체 패키지의 삼차원 시각 검사방법.
8. 청구항 5에 있어서, 상기 S108 단계에서 삼차원 거리는,

   이고

   d는 영상에서 계산된 디스패러티(pixel), Z_p는 특징점까지의 거리(mm), k₁, k₂는 카메라(12) 내부 파라미터, t_z는 영상 평면(20)에서 광학계(14)까지의 거리(mm), δ는 광학계(14) 내각(radian), f는 카메라 렌즈(22)의 초점거리(mm), c_x는 영상 센서 셀 하나의 x축 방향 길이인 경우에,

   인 것을 특징으로 하는 반도체 패키지의 삼차원 시각 검사방법.
9. 청구항 5에 있어서, 상기 S110 단계에서 평면 방정식은,

   a, b, c, d는 추출된 평면 방정식의 계수인 경우에,

   인 것을 특징으로 하는 반도체 패키지의 삼차원 시각 검사방법.