KR20170083028A - 3-차원 형상측정에서 복수 카메라 및 광원으로부터의 포인트 클라우드 병합 - Google Patents

Abstract

3-차원 표면을 측정하는 컴퓨터로 구현된 방법(100) 및 시스템(60)이 제공된다. 방법(100)은 구조화 조명을 표면에 투사하여 복수의 이미지 세트를 획득하는 단계(102)를 포함한다. 이미지 세트는 처리되어 복수의 포인트 클라우드를 획득한다(106). 공간 축적기가 정의된다(104). 복수의 포인트 클라우드 중 제1 포인트 클라우드는 제2 포인트 클라우드와 공간축적기에 결합된다(108). 표면의 공간 좌표는 공간 축적기의 내용을 기반으로 생성된다(112).

Description

3-차원 형상측정에서 복수 카메라 및 광원으로부터의 포인트 클라우드 병합{Point cloud merging from multiple cameras and sources in three-dimensional profilometry}

본 발명은 삼각측량(triangulation) 원리를 이용한 복수의 카메라 및 구조화된 광원으로부터의 영상 데이터에 기반을 둔 물체의 복합 표면 프로파일(profile)의 생성에 관한 것이다.

전자 집적회로 및 분리형 전자부품을 장착하는 회로 보드(circuit board)는 잘 알려져 있다. 회로 보드의 기판(substrate)은 집적회로 칩, 저항기 또는 캐패시터와 같은 전자부품의 리드선(leads)을 수용하는 미리 정해진 도체 경로(conductor paths)와 패드(pads)로 제조된다. 회로 보드를 조립하는 과정에서, 납땜 페이스트(solder paste) 증착이 기판상의 적절한 위치에 배치된다. 납땜 페이스트 증착은보통 스텐실(stencil) 스크린을 기판상에 위치하고, 납땜 페이스트를 스텐실 개구부에 투입한 다음 기판에서 스텐실을 제거하여 이루어진다. 그런 다음 회로 보드의 전자 부품이, 바람직하게는 픽 앤 플레이스(pick and place) 장치와 각각의 납땜 페이스트 증착에 배치된 전자부품의 리드선을 통해 기판상에 놓인다. 모든 부품이 기판상에 놓인 후, 회로 보드는 오븐을 통과하면서 납땜 페이스트 증착이 녹아서 부품과 기판 사이에 기계적이면서도 전기적인 연결이 이루어진다.

전자산업에서 소형화가 점점 강조됨에 따라, 납땜 페이스트 증착 및 전자부품의 크기 및 이들이 기판상에 위치되어야 하는 정확도가 점점 작아지고 엄밀해 지고 있다. 납땜 페이스트 증착의 높이는 50 마이크론과 같이 매우 작을 수 있고, 납땜 페이스트 브릭(brick)의 높이는 보통 설계 높이 및 크기의 1% 이내로 측정되어야 한다. 납땜 브릭 사이의 중심 대 중심(center-to center) 간격은 가끔은 200 마이크론과 같이 적다. 납땜 페이스트가 너무 적으면 전자부품의 리드선과 회로 보드 기판의 패드 사이의 전기적 연결이 이뤄지지 않을 수 있다. 페이스트가 너무 많으면 부품 리드선 사이의 브리징(bridging)과 합선(short-circuiting)이 일어날 수 있다. 저항기와 캐패시터같은 분리형 전자부품은 200x400과 같이 적을 수일 수 있고, 마이크로 볼 그리드 어레이(micro ball grid array) 부품의 리드선은 중심 대 중심 간격이 300 마이크론보다 적을 수 있다.

단일 회로 보드는 제조하는데 수천 혹은 수만 달러까지도 비용이 들 수 있다. 제조과정이 완료된 후 회로 보드를 테스트하여 납땜 페이스트 위치와 부품 위치, 그리고 리드선 연결에서의 에러를 검출할 수 있지만, 불량 보드에 대한 유일한 해결책은 일반적으로 전체 보드를 거부하는 것뿐이다. 또한 부품의 소형화로 인해, 광학적으로 확대를 하더라도 회로 보드를 육안으로 검사하는 것은 신뢰할 수 없다. 따라서 전자 부품을 기판에 장착하기 전에 부적절한 납땜 페이스트 증착을 검출할 수 있도록 제조과정에서 회로 보드를 검사하는 것이 절실하다. 그렇게 제조과정에서 납땜 검사를 하는 것은, 값비싼 부품이 아직 회로 보드에 장착되지 않았기 때문에 비용 불량을 줄인다.

장착 후, 부품을 검사하여 적절하게 장착되었는지를 보증하는 것 또한 중요하다. 부품을 장착하고 납땜 페이스트가 리플로우(reflow) 하는 동안의 전형적인 결함은 부적절하게 장착된 부품, 부품 누락 또는 질 낮은 납땜 연결이다. 리플로우 후, 부품의 적절한 장착 및 리플로우된 납땜 접합 품질을 자동화된 광학적 검사 시스템을 사용해 검사함으로써 모든 부품이 적절하게 납땜되고 회로 보드에 연결된 지를 보증할 수 있다. 현재의 광학적 검사 시스템은 회로 보드에 대한 2-차원 비디오 이미지를 사용하여 결함을 검사한다. 그러나 회로 보드에 대한 3-차원 높이 이미지를 검출하는 광학적 검사 시스템은 리드선 들뜸, 패키지 공면성(coplanarity), 및 부품 툼스톰(tomstone) 및 빌보드(billboard)와 같은 위치 결함 검출을 가능하게 하거나 개선할 수 있다.

3-차원 검사 시스템의 한 종류는 위상 형상측정(phase profilometry)을 사용한다. 보통, 위상 형상측정 시스템은 단일 카메라 및 프로젝터를 사용한다. 그러나 복수 카메라가 사용되면, 사용자는 결과로 나온 포인트 클라우드를 공개 소스 컴퓨터 비전 라이브러리인 포인트 클라우드 라이브러리(Point Cloud Library; PCL)와 같은 툴을 사용하여 병합할 필요가 있다. PCL은 매우 강력하지만, 상술한 바와 같은 고속의 자동 검사 시스템에서 사용하기에는 너무 느리다.

본 발명이 이루고자 하는 기술적 과제는 컴퓨터로 구현된 3-차원 표면을 측정하는 방법 및 시스템을 제공하는 것이다.

본 발명의 3-차원 표면을 측정하는 방법은 구조화(structured) 조명을 표면에 투사하여 복수의 이미지 세트를 획득하는 단계를 포함한다. 이미지 세트는 처리되어 복수의 포인트 클라우드를 획득한다. 공간 축적기(spatial accumulator)가 정의된다. 복수의 포인트 클라우드 중 제1 포인트 클라우드는 제2 포인트 클라우드와 결합되어 공간 축적기로 입력된다. 표면의 공간 좌표는 공간 축적기의 내용(contents)을 기반으로 생성된다.

본 발명은 컴퓨터로 구현된 3-차원 표면을 측정하는 방법 및 시스템을 제공한다. 본 발명에 의하면, 포인트 클라우드를 병합하여, 특히 반짝이는 물체와 부분 폐색 영역에 대해 포인트 클라우드 에러를 급격하게 줄일 수 있다. 또한, 포인트 클라우드가 병합되면, 병합된 값은 표면에 관련한 3-차원 정보의 제공에 사용될 수 있고, 그러한 정보는 측정 및/또는 검사에 사용될 수 있다.

도 1은 특히 본 명세서에서 설명된 실시예에 적합한 복수 반사 문제를 도시한 것이다.
도 2는 본 발명의 실시예에 따른, 위상(phased) 구조화 광(structured light)을 사용하는 회로 보드의 3-차원 이미징을 위한 복수 이미징 장치의 높이 이미지 센서에 대한 개략도이다.
도 3은 본 발명의 실시예에 따른, 위상 구조화 광을 사용하는 회로 보드의 3-차원 이미징을 위한 복수 이미징 장치의 높이 이미지 센서에 대한 개략도이다.
도 4는 본 발명의 실시예에 따른, 포인트 클라우드를 병합하는 방법에 대한 흐름도이다.
도 5는 본 발명에 따른, 복수 포인트 클라우드를 획득하여 함께 병합하는 방법에 대한 흐름도이다.
도 6은 두 카메라 A와 B에 대한 동일한 X-Y 위치로부터 복소값(complex values)이 구성되는(plotted) 예를 도시한 것이다.
도 7은 본 발명의 실시예에 따른, 정규 공간 축적기 그리드에 투사할 때 비스듬한 시야를 갖는 카메라에서 복소값을 사용하는 장점을 설명한 것이다.
도 8은 카메라에 의해 오른쪽으로부터 보이는 동일한 물체와 투사된 패턴을 도시한 것이다.
도 9는 본 발명의 실시예에 따른, 공간 축적기에서 단일 선을 따라 복수 카메라 시야로부터 복소값을 병합하는 것을 보여준다.
도 10a 및 10b는 몇몇 카메라의 결과에 대한 비-선형 혼합, 이 경우는 기하 평균(geometric median)의 장점을 보여준다.
도 11은 본 발명의 실시예에 따라 측정될 표면을 갖는 3개의 카메라 픽셀의 교차를 보여준다.
도 12는 본 발명의 실시예에 따른, 투사된 픽셀에 대한 신호가 어떻게 그리드에 배분되는지를 보여준다.

백색광 위상 형상측정은 회로 보드의 위상 표면 높이 이미지를 광학적으로 획득하는 잘 알려진 기술이다. 사인곡선 프린지(sinusoidal fringe) 패턴을 투사하여 3-차원 프로파일을 생성하는 예시적인 시스템이 미국 특허번호 6,750,899호에 개시되어 있다. 3-차원 프로파일 또는 높이 지도는 광원으로부터의 다양한 구조화 광 패턴을 물체에 투사하고, 하나 이상의 카메라로 그 패턴을 기록하고, 그리고 그 이미지를 적절하게 처리하여 생성될 수 있다. 여러 카메라로 보이는 패턴은 물체의 형상에 의해 변조된다. 패턴의 변조(modulation)는 분석되어 3-차원 포인트 클라우드를 생성한다.

본 명세서에서 사용된 바와 같이, “포인트 클라우드”는 품질 지표(metric)를 나타내는 적어도 하나의 추가적인 데이터 포인트일 뿐만 아니라 몇몇 좌표계에서는 데이터 포인트 세트이다. 3-차원 좌표계에서, 포인트는 보통 X, Y, Z 좌표로 정의된다. 사인곡선 프린지 패턴을 투사하여 3-차원 프로파일을 생성하는 예시적인 시스템이 미국특허등록번호 6,750,899호에 개시되어 있다.

검사된 물체에서 급경사(steep slopes)와 오목(recessed) 부분은 음영(shadows)과 폐색(occlusion)을 만들 수 있고, 따라서 하나의 복원(reconstruction)에 나타난 빈틈(lacunae)이 다른 복원에서 채워질 수 있도록, 복수의 포인트 클라우드를 결합하는 것이 바람직하다. 3-차원 프린지 투사 장치의 예는 도 2와 관련해 이하 설명된다.

구조화 광 패턴은 카메라로 이미지 되기 전에 물체로부터 복수 반사된다. 이 반사는 이미지를 기반으로 생성된 포인트 클라우드에 심각한 왜곡 또는 잡음을 일으킬 수 있다. 복수 반사는 반짝이거나 반사하는 물체에 의해 더 악화된다.

도 1은 복수 반사 문제를 도시한 것이다. 입사된 구조화 조명이 선(10)으로 도시되었고, 이는 Z₁의 Z 좌표값을 갖는 포인트 A에서 표면(18)으로부터 반사된다. 반사된 구조화 조명의 한 부분(12)은 광학부(26)를 통과해 검출기(15)에 의해 검출된다. 그러나 반사된 구조화 조명의 다른 부분(14)은 물체(17)의 표면(16)에 선(19)으로부터 반사된다. 이 복수 반사 조명은 또한 광학부(26)를 통과하여 검출기(15)에 의해 검출된다. 선(19)을 따르는 복수 반사 조명의 강도가 선(12)을 따른 직접 반사 조명보다 더 크면, 포인트(A)에 대한 보고된 Z 좌표는 선(19)이 입사 조명 선(10)과 교차하는 Z₂가 될 것이다. 따라서 복수 반사 조명은 이 과정에서 에러의 원인이다.

포인트 클라우드의 잡음 제거 방법이 존재하지만, 보통의 위상 형상측정 복원 과정은 약한 데이터에서 잡음을 크게 증폭시킬 수 있기 때문에, 문제를 일으키기 전에 과정 초기 단계에서 약한 데이터의 비중을 줄이는 것이 매우 바람직하다. 또한, 불량 포인트를 제거하는 종래 기술은 폐색과 복수 반사 때문에 오류가 생길 수 있는 큰 비율의 데이터로 인하여 효율적이지 않은 경향이 있다. 따라서 포인트 클라우드를 병합하여, 특히 반짝이는 물체와 부분 폐색 영역에 대해 포인트 클라우드 에러를 급격하게 줄이는 개선 방법이 필요하다.

도 2는 본 발명의 실시예에 따른, 위상 구조화 광을 사용하는 회로 보드(18)의 3-차원 이미징을 위한 복수 이미징 장치 높이 이미지 센서(60)를 도시한 것이다. 패턴 투사 광원(62)은 제어기(66)에 결합되고, 이미징 렌즈(22)로 공간 광 변조기(spatial light modulator; SLM, 64)를 이미징하여 구조화 광 패턴(30, 도 3에 도시)을 회로 보드(18)에 투사한다. 일 실시예에서, SLM(64)은 텍사스 인스트루먼츠사로부터 구입 가능한 디지털 마이크로미러 장치(digital micromirror device; DMD)(예를 들어 TI 부품 번호 DLP5500)이다. 이 장치는 개별적으로 번지를 지정할 수 있는(addressable) 디지털 마이크로미러 어레이를 포함하고 표면에 임의의 이미지를 만든다. 필요한 구조화 광 패턴은 DMD 어레이에 프로그래밍된다. 프로그램된 이미지는 각각의 미러 위치에서 마이크로 미러 각각을 이미지의 픽셀 강도값에 해당하는 두 위치 중 하나로 기울어지게 한다. 휘도가 높은 픽셀의 경우, 기울어진 DMD는 광원(24)으로부터의 광을 이미징 렌즈(22)를 통해 회로 보드(18)로 반사하여 밝은 픽셀을 만든다. 구조화 광 패턴(30)에서 낮은 휘도에 해당하는 픽셀의 경우, DMD 미러의 경사는 광원(24)으로부터의 광을 이미징 렌즈(22)로부터 멀리 반사하여 구조화 광 패턴(30)에서 어두운 픽셀을 만든다. DMD로 전송된 프로그래밍된 이미지를 변경하여 필요한 위상-변이(shifted) 이미지 시퀀스가 생성될 수 있다. SLM(64)은 백색광 LED와 같은 밝은 광원(24)으로 조사된다. 두 카메라(52a, 52b)는 제어기(66)에 결합되어 구조화 광 패턴(30)으로 조사된 회로 보드(18)의 이미지를 동시에 획득하도록 구성된다. 카메라(52a, 52b)는 회로 보드(18)를 검출기에 이미징하는 이미징 렌즈(26)와 결합된 CCD 또는 CMOS 검출기(detectors)와 같은 머신 비전(machine vision)에 사용된 몇몇 이미지 감지 기술 중 하나일 수 있다. 카메라(52a, 52b)와 패턴 투사원(62)의 광축 입사각 사이의 차이는 높이 센서의 삼각측량 각도를 나타낸다.

동작에서, 광원(24)은 SLM(64)을 비추고, 높은 휘도 값으로 프로그램된 픽셀은 이미징 렌즈(22)를 통해 광을 반사한다. 이미징 렌즈(22)는 SLM(64)으로부터의 광을 회로 보드(18)에 투사한다. 동시에 카메라(52a, 52b)는 조명 주기에서 회로 보드(18)의 제1 이미지를 획득한다. 이어서, SML(64)에 프로그래밍된 투사 패턴은 제1 사인곡선 패턴의 부분(fractional) 위상거리와 동등한 거리의 상대적인 위상 변이(shift)를 갖는 제2 사인곡선 패턴으로 바뀌고, 카메라(52a, 52b)는 제2 이미지를 획득한다. 최종적으로, SML(64)에 프로그래밍된 투사 패턴은 제1 및 제2 사인곡선 패턴의 부분 위상거리와 동등한 거리의 상대적인 위상 변이를 갖는 제3 사인곡선 패턴으로 바뀌고, 카메라(52a, 52b)는 제3 이미지를 획득한다.

SLM(64)를 사용하여 구조화 광 이미지 시퀀스를 생성하는 것은 기계적으로 변이된 유리-위-크롬 레티클(chrome-on-glass reticle)을 사용하는 것보다 유리하다. 유리-위-크롬 레티클을 사용하면, 구조화 광 패턴(30)은 유리-위- 크롬 패턴으로 고정되고, 레티클을 물리적으로 이동시켜 위상이 다른 이미지 시퀀스를 생성한다. 물리적으로 레티클을 이동하는 것은 비용이 들고, 기계적으로 마모되어 궁극적으로 실패하기 쉬운 동작 부품을 필요로 한다. 또한, 보통 사인곡선 패턴 주기 변경이 필요하다. 사인곡선 패턴 주기를 변경함으로써 높이 이미지 센서의 높이 범위 및 높이 해상도(resolution)가 조정될 수 있다. 장착된 부품의 높이가 레티클 패턴에 의해 결정된 센서의 높이 범위보다 높을 수 있기 때문에, 센서의 높이 범위를 변경하는 것은 부품이 장착된 후 회로 보드를 검사할 때 특히 중요하다. 유리-위-크롬 패턴의 변경은 물리적으로 하나의 레티클을 다른 것으로 대체하는 것이 필요하고, 이는 보통 센서가 동작하는 동안 이루어질 수 없다.

SLM(64)를 이용하면, 제어기(66)에 숫자 어레이를 프로그래밍함으로써 다양한 패턴이 회로 보드(18)에 간단하게 투사될 수 있다. 연속되는 이미지를 제어기(66)에 프로그래밍함으로써 변하는 위상을 갖는 이미지 시퀀스의 투사가 간단히 이루어질 수 있다. 제어기(66)에서 연속 이미지를 메모리에 어드레싱함으로써, 물리적으로 레티클을 이동하지 않고서도 위상 이미지 시퀀스가 투사된다. 또한, 제어기(66)에 프로그래밍된 패턴의 위상 주기를 변경함으로써, 센서가 동작하는 동안 높이 이미징 센서(62)의 높이 해상도 및 높이 범위가 변경될 수 있다.

도 3은 본 발명의 다른 실시예에 따른, 위상 구조화 광을 사용하는 회로 보드의 3-차원 이미징을 위한 복수 이미징 장치 높이 이미지 센서(70)에 대한 도면이다. 이 실시예에서, 4대의 카메라(52a, 52b, 52c, 52d)는 4개의 별개의 입사각으로부터 회로 보드(18) 상에 사인곡선 구조화 광 패턴(30)의 이미지를 동시에 획득한다. 4대의 카메라(52a, 52b, 52c, 52d) 각각의 입사각은 패턴 투사원(62)의 투사 입사각에 대하여 삼각측량각을 형성한다. 패턴 투사원(62)은 사인곡선 구조화 광 패턴(30)을 회로 보드(18)로 투사한다. 카메라(52a, 52b, 52c, 52d)는 바람직하게는 동시에 트리거되어 사인곡선 패턴(30)의 이미지를 획득한다. 패턴 투사원(62)은 제1 사인곡선 패턴의 부분 위상거리와 동등한 거리의 상대적인 위상 변이를 갖는 제2 사인곡선 패턴을 투사하고, 4개의 광학 이미지 센서(52a, 52b, 52c, 52d)는 동시에 트리거되어 제2 이미지 세트를 획득한다. 최종적으로, 패턴 투사원(62)에 프로그래밍된 투사 패턴은 제1 및 제2 사인곡선 패턴의 부분 위상 거리와 동등한 거리의 상대적인 위상 변이를 갖는 제3 사인곡선 패턴으로 변경되고, 카메라(52a, 52b, 52c, 52d) 각각은 제3 이미지를 획득한다. 도 3에서는 4대의 카메라가 단일 프로젝터와 함께 도시되었지만, 본 발명의 실시예는 단일 카메라와 결합하여 동작하는 복수 프로젝터를 포함한다. 또한, 본 발명의 실시예는 복수 프로젝터와 작동하는 복수 카메라를 포함한다. 이미지는 이미지를 처리하여 높이 이미지로 설정하는 제어기(66)로 송신된다.

도 4는 본 발명의 실시예에 따른, 포인트 클라우드를 병합하는 방법에 대한 흐름도이다. 방법(100)은 몇몇 다른 구조화 광 패턴이 하나 이상의 방향에서 물체에 투사되는 블록(102)에서 시작한다. 투사된 패턴 각각은 하나 이상의 카메라로 이미징된다. 다음으로, (104) 블록에서는, 주어진 프로젝터에 대해 3-차원 표면이 정의되고 그 표면상의 공간 어레이가 공간 축적기(accumulator)로 사용된다. 다음, (106) 블록에서는, (104) 블록의 프로젝터에 연계되는 각 카메라에 대해, 구조화 패턴 이미지가 보정 기하 시스템을 사용하여 분석되어 3-차원 물체 좌표 및 카메라 픽셀에 대응하는 하나 이상의 품질 지표를 구성하는 포인트 클라우드를 결정한다. (108) 블록에서는, (106) 블록의 각 포인트 클라우드 좌표가 수학적으로 공간 축적기에 투사되고, 공간 축적기는 (공간 어레이에 대한) 범위 값과 그 범위 값에 연계된 품질 지표를 축적한다. (110) 블록에서는, 공간 축적기에서 각 구성요소에 대한 범위값 및 품질지표에 대응하여 복소값이 생성된다. 다음으로, (112) 블록에서는, 공간 축적기의 각 구성요소에 대해 복소값이 병합되어 공간 축적기의 각 구성요소에 대한 단일 범위값 및 단일 품질 지표가 생성된다. 클라우드 정보에서 폐색 및/또는 복수 반사 효과를 감소 또는 제거하는 결과를 갖는 단일 포인트 클라우드인 한, 다양한 방법이 병합에 사용될 수 있다. (114) 블록에서는, 이 방법이 모든 프로젝터에 대해 수행될 때까지 다른 프로젝터에서 반복된다.

도 5는 본 발명의 실시예에 따른, 복수 포인트 클라우드를 획득하여 함께 병합하는 방법에 대한 흐름도이다. 방법(150)은 적어도 세 개의 별개의 패턴이 순차적으로 측정될 표면에 투사되고, 그 영상이 복수의 카메라에 의해 획득되는 블록(152)부터 시작한다. 바람직하게는, 패턴은 3개의 다른 위상으로 나타나는 사인곡선 프린지 패턴이다. 다음으로, (154) 블록에서는, 픽셀의 그레이 레벨 결합이 복소값을 만들도록 형성된다(직교 좌표계에서 예를 들어, z = u+iv로 혹은 극 좌표계에서 크기(magnitude)와 위상(phase)으로 나타내짐). 바람직하게는, 복소값의 크기는 값의 품질을 나타내고, 위상은 관찰된 패턴에 대한 공간 정보(예를 들어, 투사된 사인파의 위상)를 나타낸다. (156) 블록에서는, 픽셀의 위상은 픽셀에 해당하는 투사된 패턴 내에서 일정한 위상의 표면을 식별하도록 처리된다. (158) 블록에서는, 보정 기하 시스템이 카메라로부터 타겟 영역으로의 픽셀에 대응하는 광선 식별에 사용된다. 다음으로, (160) 블록에서는, 광선(158 블록)과 식별된 표면 (156 블록) 간의 교차가 계산되어 픽셀에 대응하는 관찰점의 유일한 3-차원 좌표가 결정된다. (162) 블록에서는, 위상이 명목(nominal) 랩(wrap) 높이에 대응하도록 보정되어 픽셀의 위상에 대응하는 보정된 복소값을 생성하도록 보정된다. (162) 블록은 공통 높이 수준으로 규격화되는 복수 카메라를 채용하는 실시예에서만 필요하다. (164) 블록에서는, 픽셀에 대응하는 복소값이 공간 어레이로 축적된다. (166) 블록에서는, 모든 카메라에 대한 이미지에서 각 픽셀마다 (154)-(164) 블록이 반복된다. 추가적인 패턴 세트가 투사될 수 있고, 특별한 패턴 세트에 대해 추가적인 포인트 클라우드가 각각의 카메라와 프로젝터 쌍마다 생성될 수 있다. 예를 들어, 프린지 패턴 세트의 방향이 변경될 수 있고, 각각의 카메라 및 프로젝터 쌍마다 추가적인 포인트 클라우드가 생성될 수 있다. 본 명세서에서 정의된 것처럼, 패턴 세트는 특별한 패턴을 사용하여 얻어진 수많은 이미지이고, 세트는 충분한 이미지 정보를 포함하여 단일 포인트 클라우드를 생성한다. (166) 블록이 완료되면, 방법(150)은 (168) 블록부터 계속되어 공간 어레이에서 각각의 축적기의 값들이 병합된다. 이 병합은 적절한 기술에 따라 수행될 수 있다. 일부 예시적인 기술은 대수 합(algebraic summation) 또는 기하 평균을 포함하지만, 그에 한정되지 않는다. 최종적으로, (170) 블록에서는 표면의 범위 맵(range map)을 도출하기 위해 공간 어레이에서 각각의 축적기의 역탄젠트(arctangent)가 취해진다.

각각의 픽셀이 주어진 카메라 및 프로젝터 쌍에 대해 처리된 후, 포인트 클라우드 값(x,y,z,r,m)이 얻어진다. r은 규격화된 반사율(reflectance)이고, m은 미국 특허번호 6,750,899호의 방정식(1)에 정의된 프린지 변조(콘트라스트)이다. 각각의 포인트는 반사율과 변조값(modulation value)에 따른 3D 좌표(x,y,z)를 갖는다. 이 포인트 클라우드는 임의의 방식이나 기술에 직접 사용되어 물체의 진짜 형상을 구별할 수 있다(Jagan Sankaranarayanan, Hanan Samet, and Amitabh Varshney, "A fast all nearest neighbor algorithm for applications involving large point-clouds, "Computers & Graphics 31, (2) (2007), 157-174, Ruwen Schnabel, Roland Wahl, and Reinhard Klein, "Efficient RANSAC for Point-Cloud Shape Detection, "Computer Graphics Forum. 26, 2 (2007) 참조). 언급된 논문들은 포인트 클라우드에서 에러 또는 손실된 데이터를 줄이거나 제거하려는 것이다. 이들 문제는 보통 폐색 또는 복수 반사로 인해 일어난다.

종래 기술의 한계는 현대의 인쇄회로기판 조립 라인의 높은 속도 요구를 만족시키기 위해서 막대한 계산이 필요하다는 것이다. 따라서, 인쇄회로기판 제조 산업에 이바지하기 위해서는 훨씬 빠른 접근법이 필요하다. 본 명세서에 개시된 실시예에서는 포인트 클라우드를 공간 축적기로 알려진 포인트 그리드(greed)에 투사한다. 본 발명의 일 실시예에서, 공간 축적기는 포인트의 공간 범위에 대략 평행한 2차원 평면이다. 이 실시예에서, 공간 축적기는 복소값을 저장하도록 구성되고, 값의 크기는 품질 측정 단위를 나타내고, 위상은 기준 표면(보통 평면)으로부터의 거리를 나타낸다.

투사공정은 비규칙적인 픽셀 그리드를 생성하고, 비규칙성은 일부는 경사(oblique) 기하에 그리고 일부는 비평탄(non-flat) 위상 기하에 기인한다. x-y 좌표가 정확하게 2-D 공간 축적기의 그리드 상에 놓이지 않는 픽셀은 이중 선형(bilinear) 보간(interpolation)과 연계된 피라미드 커널과 같은 적절한 에일리어싱 제거(anti-aliasing) 커널에 의해 보간된다. 투사공정의 실시예로서, 도 11은 3개의 카메라 픽셀과 측정될 표면이 교차하는 것을 보여준다. 카메라 픽셀 광선과 측정된 투사패턴 위치의 교차는 교차의 보정된 X,Y,Z 위치를 결정한다. 이들 포인트의 각각의 위치는 축적기 그리드에 투사된다. 도시된 사례의 경우, 그리드는 포인트의 공간 범위에 대략 평행한 평면이다. 그러나 본 명세서에서 설명된 실시예는 대략 평평한 표면의 측정에 한정되지 않는다. 효과적인 축적기 그리드에 대한 주요한 요구 조건은 그리드 내 각각의 축적기가 일부 공간 위치 추정값을 결합하는 것이다. 예를 들어, 그리드가 과도하게 경사지면, 공간 포인트로부터 멀리 떨어진 픽셀은 의도하지 않게 단일 축적기에 결합될 수 있다. 실제로, 축적기 그리드는 측정공정에 편리한 형상으로 기울어지거나 휘어질 수 있다. 일반적으로, 축적기 그리드에 투사된 카메라 픽셀은 그 그리드 포인트에 정확하게 위치하지 않는다. 픽셀값이 단순히 가장 가까운 축적기 그리드 포인트에 더해지면, 공간 위치의 반올림(rounding)으로 초래된 에러가 복원시 잡음을 유발하고, 이는 래스터(raster) 장치에 장면을 제공하는 경우에 마주치는 잘 알려진 에일리어싱 제거 문제와 유사하다. 이 문제를 피하기 위해, 각각의 픽셀은 축적 전 치밀한 복원(에일리어싱 제거) 커널로 감아져야 한다(convolved).

도 12는 투사된 픽셀에 대한 신호가 어떻게 그리드에 배분되는지를 보여준다. 이 예에서는 이중 선형 보간 커널이 적용된다. 투사된 포인트에 이웃한 각각의 픽셀은 그 픽셀에서 커널 영역에 의해 곱해진 투사 포인트의 복소값에 의하여 증가된다. 이 과정이 투사된 카메라 픽셀마다 반복되어 축적기 그리드에 단순하고 빠른 가중 및 복소 가산을 제공한다. 축적기 그리드에 이처럼 단순 가산하는 장점이 이후에 설명된다. 지시된 방향 (예를 들어, 낮은 곳에서 높은 곳으로)으로 포인트 클라우드를 가로지를 필요가 없고, 축적기의 기존 값을 새로운 값으로 덮어쓸 필요가 없기 때문에, 방법 자체는 3-차원 물체 이미지 생성에 사용되는“스플래팅(splatting)”과정과 구별된다. 각각의 카메라 및 투사된 패턴 세트에 대하여, 표면 형상에 대한 추정값이 제공되고 공간 축적기는 표면 추정값으로 채워진다.

추정기(estimator)는 평면이 아닌 어떤 적절한 표면에 투사될 수 있다. 예를 들어, 대상 물체가 구(shpere)라면, 추정기는 구에 투사되고, 구의 파라미터는 추정기에 가장 잘 맞도록 조정된다.

높이 이미지를 생성하는 쉬운 방법은 X, Y 위치에서 각각의 카메라로부터의 높이 추정값을 평균하는 것이다. 이 기술의 주요 장점은 단순성이지만, 복수 반사 효과를 억제하거나 제거하는 효과가 약간 있다.

본 발명의 일 실시예에서, 공간 축적기의 각각의 구성요소의 복소값(u+iv)이 더해지고, 여기서 u와 v는 복소 픽셀값의 실수 성분과 허수 성분이다 (또는, 복소값은 길이 √(u²+v² ) 와 위상 각도 atan2(u,v)의 벡터로 표현될 수 있다. 사인곡선 프린지 투사을 사용하는 일 실시예에서, 주어진 픽셀에 대한 범위값은 위상값의 함수로 코딩될 수 있다. 일 실시예에서, 품질 지표는 더 높은 반사율과 프린지 콘트라스트를 갖는 픽셀에 더 가중치를 할당하는 Q = rxm 으로 정의된다. 이 실시예에서, 복소 포인트값의 위상은 포인트의 높이 (또는 공간 축적기에 대한 명목 제로위치로부터의 거리)로 코딩된다.

복소 평면에서의 합은 픽셀을 낮은 품질 추정치로 자동으로 역가중(de-weight)한다. 도 6은 2개의 카메라 A와 B에 대한 동일한 X-Y 위치로부터의 복소값이 표시된 예이다. 카메라 A로부터 강한 신호‘A’가 위상각(phase angle) Φ_A 및 벡터길이 Q_A 로 코딩된 높이를 갖고, 카메라 B로부터 약한 신호‘B’가 위상각 Φ_B 및 벡터길이 Q_B 로 코딩된 높이를 갖는다. 카메라 A, B로부터의 신호가 간단히 높이로 변환되어 평균하면, 그 결과는 높이 HA 및 HB 사이의 중간 레벨이 된다. 복소 영역(domain)에서 벡터를 더하면 강한 신호(벡터‘A’)가 우세한 결과가 만들어지고, 약한 신호 (벡터‘B’)로부터의 기여가 약해 그 결과에 따른 높이는 위상각 Φ_CB 로 코딩된다.

도 7은 정규 공간 축적기 그리드에 투사될 때 기울어지게 보이는 카메라에서 복소값을 사용하는 장점을 도시한 것이다. 도면의 윗부분은 기울어진 카메라 픽셀이 어떻게 비규칙적인 표면 위상에 매핑되는 지를 보여준다. 각 픽셀은 포인트 사이의 간격이 타겟의 국부 위상에 종속되는 타겟상의 포인트를 보여준다. 사인곡선 프린지 패턴이 투사된 일 실시예에서, 각 픽셀은 표면(프로젝터는 도시되지 않음)에 투사된 위상과 품질 지표를 측정할 수 있다. 도 7의 두 번째 부분은 측정된 복소값을 나타내고, 각각의 픽셀 위치에서 벡터 구성이 도시되어 있다. 여기서 수평축은 그 픽셀에서 신호의 실수 성분(u)이고 수직축은 허수 성분(iv)이다. 각각의 픽셀에 대한 벡터 구성이 적절한 측면 위치에 도시되어 있다.

동작은 측정된 이미지 복소값 및 해지된(0으로 설정된) 출력 복소 이미지부터 시작한다. 편의상, 이 동작은 보다 정확한 위치 보간 기술(예를 들어, 상술한 이중 선형 필터) 대신 최근접 샘플링 기술을 사용하여 설명된다. 최근접 샘플링에서, 카메라 픽셀은 최근접 공간 그리드 위치로 투사된다. 축적기에 추가될 때 각각의 카메라 픽셀을 차례로 보면: (1) 가장 좌측 픽셀은 축적기의 적절한 위치에 간단히 추가된다; (2) 다음 2 픽셀은 모두 가장 가까운 동일한 축적기 위치에 있고, 이들은 차례로 축적기에 추가된다(이는 복소값을 갖는 데이터로 작업하고, 이 합은 위상값의 가중 평균처럼 동작하기 때문이다); (3) 이 실시예에서 다음 3개의 픽셀은 모두 유일한 축적기 위치에 있게 된다. 2개의 축적기 그리드 포인트는 매핑되는 데이터를 갖지 않았다; 이들 그리드 위치는 0 값을 유지한다(신호 강도가 없음을 나타낸다).

2번째 카메라는 또한 동일한 물체를 볼 수 있고 동일한 방식으로 처리될 수 있다. 도 8은 동일한 대상과 우측 측면으로부터의 카메라에 의해 보이는 투사된 패턴을 도시한 것이다. 다시, 카메라 픽셀은 각각의 카메라 픽셀에 대한 복소 신호를 따라 표면에 매핑되는 것으로 보인다. 이어서, 카메라 픽셀 위치는 공간 축적기 그리드에 투사된다. 좌측 카메라에 의해 누락된 픽셀 위치는 우측 카메라에 의해 보일 수 있고, 그 반대로도 될 수 있어 폐색된 영역을 채운다.

도 9는 공간 축적기에서 단일 선을 따라 복수 카메라 시야로부터 복소값을 병합하는 것을 보여준다. 명확성을 위해 공간 축적기의 다른 복소값은 생략되었다. 도 9의 최상 가로칸(row)은 좌측 카메라에 의해 관측된 복소값을 나타내고, 도면의 2번째 가로칸은 우측 카메라에 의한 값을 나타낸다. 2개의 카메라만 사용할 수 있다면, 이미지를 결합하는 가장 간단한 방법은 단순히 도면의 3번째 가로칸에 도시된 복소값을 더하는 것이다. 누락된 값이 채워졌고, 모든 카메라가 일치하는 데이터 포인트가 더 강한 신호를 생성함을 알 수 있다.

(복소값을 단순 가산하는 것이 아닌) 비선형 기술을 사용하여 몇몇 카메라의 공간 축적기를 결합하는 것이 실제로는 유리한 것으로 알려졌다. 그러한 방식은: 기하 평균의 사용 및 투표(voting)를 포함한다. 기하 평균 접근에서, 개별 복소값은 포인트까지의 유클리드(Euclidean) 거리의 합을 최소화하는 복수 평면에서의 위치인 소위 기하 평균 또는 L₁ 추정기에 의해 결합될 수 있다. 이 방식의 장점은 이상값(outlier)에 대한 저항성이 더 높다는 것이다. 투표 접근방식은 다른 것들이 버려지는 동안 최상의 추정기를 사용하는 것이다. 많은 강한 추정기가 통계 문헌에 개시되었고, 전형적인 기술은 이상값(예를 들어, 절삭 평균(truncated mean)) 또는 역-가중 이상값(예를 들어 윈저화 평균(Winsorized mean))을 버린다. 실제로, 이러한 수단은 이들 포인트를 부정확한 것으로 간주하여 제거한다.

도 10A 및 10B는 몇몇 카메라의 결과의 비-선형 혼합에 대한 장점, 이 경우 기하 평균을 도시한 것이다. 단일 축적기의 실제 결과가 보인다; 카메라 A 및 B는 톨칩(tall chip) 커패시터 근처에 있는 포인트에 대한 상대적으로 좋은 샘플을 얻고, 카메라 C’의 결과는 커패시터의 측면에서 반사되는 광의 복수 반사에 의한 방해를 받는다. 도면에서, 벡터의 길이(복소값의 크기)는 각각의 카메라의 신호 강도를 나타내고, 벡터 방향(복소값의 각도)은 각각의 카메라의 높이 추정치를 나타낸다. 복소값에 대한 도면은 카메라 C(193)가 매우 강하지만 틀린 값을 갖는 반면, 카메라 A(191) 및 B(192)의 경우에는 유사한 결과를 보여준다. 단순히 3 값에 대한 평균(194) 또는 합을 취하는 것은 카메라 A 및 B 값과는 거리가 있는 값을 생성하고, 단일 이상값은 산술 평균 결과에 손상을 줄 수 있다. 기하 평균(195)(중심 경향에 대한 비선형 추정)은 임의의 강도를 갖는 단일 이상값에 의한 방해를 받지 않는다.

기하 평균은 공간 필터로서도 사용된다. 단일 위치에서의 몇몇 추정치의 기하 평균에 대해서는 이전 단락에서 설명되었다. 대상 물체 주변의 픽셀 영역에 대해서도 기하 평균이 취해질 수 있다. 예를 들어, 3x3 공간 필터가 4개의 카메라가 있는 시스템에서 사용되면, 각각의 위치와 9개의 픽셀 공간 영역에서 4개의 추정치가 얻어진다. 따라서 36개 추정치에 대한 기하 평균이 얻어질 것이다. 그 결과는 선형 필터보다 잡음에 대해 더 강하고 랩핑(wrapping)과 같은 문제에 영향을 받지 않는다.

포인트 클라우드가 병합되면, 병합된 값은 표면에 관련한 3-차원 정보의 제공에 사용될 수 있다. 그러한 정보는 측정 및/또는 검사에 사용될 수 있다.

Claims (24)

1. 구조화 조명을 표면에 투사하여 복수의 이미지 세트를 획득하는 단계;
   상기 이미지 세트를 처리하여 복수의 포인트 클라우드를 획득하는 단계;
   각각의 구성요소에서 포인트 클라우드 정보를 수신하는 공간 축적기를 정의하는 단계;
   상기 복수의 포인트 클라우드 중 제1 포인트 클라우드를 제2 포인트 클라우드와 결합하여 공간 축적기에 입력하는 단계; 및
   상기 공간 축적기의 내용을 기반으로 표면의 공간 좌표를 생성하는 단계를 포함하는,
   컴퓨터로 3-차원 표면을 측정하는 방법.
2. 제1항에 있어서, 상기 구조화 조명은 서로 다른 입사각으로 투사된 것을 특징으로 하는, 컴퓨터로 3-차원 표면을 측정하는 방법.
3. 제1항에 있어서, 상기 제1 및 제2 이미지 세트는 서로 다른 카메라로부터 획득되는 것을 특징으로 하는, 컴퓨터로 3-차원 표면을 측정하는 방법.
4. 제1항에 있어서, 상기 복수의 이미지 세트는 제1 이미지 세트 및 제2 이미지 세트를 포함하고, 상기 제1 및 제2 이미지 세트는 2개의 서로 다른 패턴 세트를 투사하여 획득되는 것을 특징으로 하는, 컴퓨터로 3-차원 표면을 측정하는 방법.
5. 제4항에 있어서, 상기 2개의 서로 다른 패턴 세트는 서로에 대해 회전하는 것을 특징으로 하는, 컴퓨터로 3-차원 표면을 측정하는 방법.
6. 제1항에 있어서, 상기 구조화 조명은 사인곡선 프린지 패턴임을 특징으로 하는, 컴퓨터로 3-차원 표면을 측정하는 방법.
7. 제1항에 있어서, 상기 복수의 이미지 세트를 획득하는 단계는 제1 카메라를 사용하여 제1 삼중(trio) 이미지 및 제2 카메라를 사용하여 제2 삼중 이미지를 획득하는 단계를 포함하고,
   상기 제1 삼중 이미지가 처리되어 제1 포인트 클라우드를 생성하고, 제2 삼중 이미지가 처리되어 제2 포인트 클라우드를 생성하는 것을 특징으로 하는, 컴퓨터로 3-차원 표면을 측정하는 방법.
8. 제1항에 있어서, 상기 제1 및 제2 포인트 클라우드를 결합하는 단계는 공간 축적기에 포인트 클라우드를 대수적 합하는 것을 특징으로 하는, 컴퓨터로 3-차원 표면을 측정하는 방법.
9. 제8항에 있어서, 상기 대수적 합은 복소값에 관한 것임을 특징으로 하는, 컴퓨터로 3-차원 표면을 측정하는 방법.
10. 제1항에 있어서, 상기 제1 및 제2 포인트 클라우드를 결합하는 단계는 비-선형 결합을 포함하는 것을 특징으로 하는, 컴퓨터로 3-차원 표면을 측정하는 방법.
11. 제10항에 있어서, 상기 비선형 결합은 공간 축적기의 각각의 구성요소에 대한 기하 평균을 결정하는 것을 포함하는 것을 특징으로 하는, 컴퓨터로 3-차원 표면을 측정하는 방법.
12. 제10항에 있어서, 상기 비-선형 결합은 투표 과정을 채용하는 것을 특징으로 하는, 컴퓨터로 3-차원 표면을 측정하는 방법.
13. 제1항에 있어서, 표면의 공간 좌표를 사용하여 표면에 관한 정보를 제공하는 것을 더 포함하는 것을 특징으로 하는, 컴퓨터로 3-차원 표면을 측정하는 방법.
14. 제13항에 있어서, 상기 표면에 관한 정보는 검사 정보인 것을 특징으로 하는, 컴퓨터로 3-차원 표면을 측정하는 방법.
15. 제13항에 있어서, 상기 표면에 관한 정보는 측정 정보인 것을 특징으로 하는, 컴퓨터로 3-차원 표면을 측정하는 방법.
16. 제1항에 있어서, 상기 제1 포인트 클라우드 및 제2 포인트 클라우드는 결합되어 복수 반사를 감소하는 것을 특징으로 하는, 컴퓨터로 3-차원 표면을 측정하는 방법.
17. 3-차원 표면에 구조화 조명을 투사하는 구조화 조명 프로젝터;
    상기 구조화 조명 프로젝터에 결합되고 구조화 조명 프로젝터를 제어하여 표면에 복수의 별개의 구조화 조명 투사를 생성하는 제어기;
    상기 제어기에 각각 결합되고, 표면에 각각 별개의 구조화 조명 투사가 존재하는 동안 각각의 카메라가 표면의 이미지를 획득하는 복수의 카메라를 포함하고,
    상기 제어기는 각각의 카메라로부터 이미지 정보를 수신하여 복수의 포인트 클라우드를 생성하고, 각각의 포인트 클라우드는 각각의 카메라로부터의 3-차원 이미지 데이터 및 품질 지표에 해당하고; 그리고
    상기 제어기는 복수의 포인트 클라우드를 공간 축적기에 병합하고, 공간 축적기의 내용을 사용해 단일의 병합된 3-차원 포인트 클라우드를 생성하는 것을 특징으로 하는,
    3-차원 표면을 측정하는 시스템.
18. 제17항에 있어서, 상기 구조화 조명 프로젝터는 공간 광 변조기를 포함하는 것을 특징으로 하는, 3-차원 표면을 측정하는 시스템.
19. 제18항에 있어서, 상기 공간 광 변조기는 제어기에 결합되어 각각의 구조화 조명 투사를 정의하는 제어기로부터 신호를 수신하는 것을 특징으로 하는, 3-차원 표면을 측정하는 시스템.
20. 제19항에 있어서, 상기 각각의 구조화 조명 투사는 다른 구조화 조명 투사와 다른 위상을 갖는 사인곡선 프린지 패턴을 포함함을 특징으로 하는, 3-차원 표면을 측정하는 시스템.
21. 제17항에 있어서, 상기 제어기는 각각의 포인트를 복소값으로 나타내고, 그 복소값에 대한 대수적 합을 수행함으로써 복수의 포인트 클라우드를 결합하는 것을 특징으로 하는, 3-차원 표면을 측정하는 시스템.
22. 제17항에 있어서, 상기 제어기는 비-선형 동작으로 복수의 포인트 클라우드를 결합하는 것을 특징으로 하는, 3-차원 표면을 측정하는 시스템.
23. 제22항에 있어서, 상기 비-선형 동작은 각각의 포인트 클라우드에서 대응 포인트에 대한 기하 평균을 결정하는 것을 포함하는 것을 특징으로 하는, 3-차원 표면을 측정하는 시스템.
24. 제17항에 있어서, 상기 비-선형 동작은 투표 과정을 포함하는 것을 특징으로 하는, 3-차원 표면을 측정하는 시스템.

Images