KR20090104857A

KR20090104857A - 정량적 3-ｄ 이미징을 위한 방법 및 장치

Info

Publication number: KR20090104857A
Application number: KR1020097016693A
Authority: KR
Inventors: 모르테자 가리브; 에밀리오 그라프; 프란시스코 퍼레이라
Original assignee: 캘리포니아 인스티튜트 오브 테크놀로지
Priority date: 2007-01-22
Filing date: 2008-01-22
Publication date: 2009-10-06
Also published as: JP2010517038A; JP2010517039A; EP2106532A1; AU2008209445A1; WO2008091639A3; EP2106531A2; JP5167279B2; WO2008091639A2; US8576381B2; WO2008091691A1; KR20090107536A; CA2676224A1; US20140078261A1; AU2008209480A1; US20080239316A1; CA2676249A1; US7826067B2; US20080278804A1; US9219907B2

Abstract

물체로부터 추가적인 정보를 획득하기 위한 방법 및 장치가 기재되고, 표면 이미징 및 3차원 이미징을 위한 방법이 기재된다. 단일 렌즈, 단일 구경, 단일 센서 시스템 및 스테레오 광학 시스템이, 선택적 필터링, 디포커싱 정보의 사용, 어드레서블 패턴의 사용, 이미지 매칭 및 이들의 조합을 통해 보강된다.

Description

정량적 3-Ｄ 이미징을 위한 방법 및 장치{METHOD AND APPARATUS FOR QUANTITATIVE 3-D IMAGING}

본 발명은 비가특허출원이며, 2007년 1월 22일자로 출원된 US 가특허출원 제60/881,776호 “A Single-Lens 3-D Imaging Device based on Defocusing Technique"와, 2007년 1월 22일자로 출원된 US 가특허출원 제60/881,779호 ”A Handheld 3-D Mapping Device based on the Defocusing Technique(디포커싱 기법을 기초로 한 핸드헬드 3-D 매핑 장치)"와, 2007년 1월 22일자로 출원된 US 가특허출원 제60/881,762호 “Method for Reducing the Number of Viewpoints Necessary in Camera-Based Quantitative 3-D Imaging System(카메라 기반의 정량적 3-D 이미징 시스템에서 필요한 뷰포인트의 개수를 감소시키기 위한 방법)"로부터 우선권을 주장한다.

본 발명은 정량적 시각화 시스템(quantitative visualization system)에 관한 것이며, 더 구체적으로는 표면을 통해 물체로부터 추가적인 정보를 획득하기 위한 시스템과 3차원 이미징에 관한 것이다.

3차원(3D) 이미징은 개선된 이미징 기법으로부터 이익을 얻을 수 있는 계속하여 발전하는 분야이다. 강화된 3-D 이미징이 다양한 목적으로 사용될 수 있으며, 예를 들어, (정량적 3-D 이미징을 통해) 이미징되는 물체에 관한 정량적 정보(quantitative information)를 생성하기 위한 목적이 있다. 그러나 기존의 이미징 기법은 정량적 3-D 이미징을 충분히 지원하기에 실패해왔다. 예를 들어, 이미징 시스템의 초점 평면(focal plane) 상에 위치하지 않는 포인트가 이미징 시스템을 통해 이미징될 때, 센서에 의해 검출되는 캡처된 포인트는 디포커싱(defocus)된다고 알려져 있다. 이미징 시스템이 큰 구경(aperture)을 갖는 경우, 상기 디포커싱된 포인트는 흐릿하게 나타날 것이다. 이러한 이유로, 공간 상에서 상기 포인트로부터 초점 평면까지의 거리를 정량적으로 판단하기 위해, 포인트의 이미지의 흐림 정도가 사용될 수 있음이 제안되었다. 또한 초점 평면의 위치를 앎으로써, 상기 이미징 시스템이 정량적 3-D 이미징을 위해 사용될 수 있다는 것이 제안되었다. 하나의 포인트의 3-D 위치를 재구성하기 위해, 흐린 상태 디스크(blur disc)(Z)와 센서 상의 포인트의 위치(X, Y)의 크기 및/또는 강도만 측정할 필요가 있다.

그러나 실제로 이러한 시스템은 효과적으로 구현하기 어렵다. 첫째, 흐린 상태 이미지(blurred image)는 센서 상에서 넓은 공간을 차지하며, 따라서 겹쳐진 이미지들을 서로 분리하기 위한 정교한 알고리즘이 요구된다. 둘째, 광학 시스템으로 들어오는 광의 양은, (초점 평면이 광학 시스템에 매우 가까이 위치하지 않는다면) 포커싱되는 포인트와 디포커싱되는 포인트 간에서 인지할 수 있을 정도로 변하지 않는다. 따라서 흐린 상태 이미지는, 센서 상에서, 포커싱된 이미지와 동일한 양의 에너지를 갖고 더 넓은 영역에 걸쳐 퍼져 위치한다. 디포커싱된 이미지의 강도는 이미지의 면적에 반비례하며, 따라서 흐린 정도만을 기초로 하는, 초점 평면과 포 인트 평면 간의 거리의 정량적 측정은 극도로 높은 다이내믹 레인지(dynamic range)를 갖는 센서를 필요로 한다. 또한 실제 렌즈에서는, 특정 깊이 범위에서 흐린 상태 이미지를 넓은 가우시안보다는 고리(ring)처럼 보이게 만드는 회절 효과가 존재하는데, 상기 회절 효과는, 소프트웨어 프로세싱 역할을 더 복잡하게 한다. 예를 들어, Wu, M., Robert, J.W. 및 Buckley, M.의 “Three-dimensional fluorescent particle tracking at micron-scale using a single camera" (Experiments in Fluids, 2005, 38, 461-465)을 참조하라. 렌즈 수차(aberration), 또는 회절이 없을 경우조차, 깊이 정보가 흐린 반점(blur spot)의 직경의 측정치로부터 도출되기 때문에, 이미징된 포인트의 강도가 상기 측정치에 영향을 준다는 사실로 인해, 이미지 프로세싱이 복잡해진다. 예를 들어, 2개의 디포커싱된 점 A 및 B가 동일한 디포커스 정도를 갖지만 포인트 A는 포인트 B보다 더 밝은 경우, 포인트 B의 이미지는 포인트 A의 직경보다 더 작은 직경을 갖는 것으로 측정될 것이다. 왜냐하면, 통상적으로 신(scene)의 배경 조명으로부터 멀리 떨어진 곳에서 발생하지 않기 때문이다.

본래의 “디포커싱” 개념은, 이러한 흐림-기반 시스템(blur-based system)에서, 이미지를 형성하는 광선 펜슬(ray pencil)의 주변(외곽) 광선만 깊이 정보(depth information)를 보유한다고 간주했다. 가령, Willert, C.E.와, Gharib, M.의 “Three-dimensional particle imaging with a single camera" (Experiments in Fluids, 1992, 12, 353-358)을 참조하라. 이미징 시스템의 감도(sensitivity)를 설명하는 것은 이들 광선들이 센서 평면과 만드는 각도이다. 따라서 이미지를 형성 하기 위해 주변 광선(marginal ray)만 통과할 수 있도록 이미징 시스템에 작은 구경을 비축(off-axis)으로 배치함으로써, 당량 측정(equivalent measurement)이 가능해야 한다. 앞서 설명된 바와 같이, 흐림 시스템(blur system)이 자신의 큰 구경을, 상기 큰 구경의 원주 상의 임의의 곳에 위치하는 작은 구경으로 대체하는 경우, 디포커싱된 포인트의 이미지는, 큰 구경의 흐린 이미지의 원주 상의 임의의 곳에 위치하는 작은 반점이 된다. 최종 결과는, 흐린 반점의 크기에 의해 도출된 것이 아닌, 훨씬 더 작은 반점의 횡방향 오프셋(lateral offset)에 의해 도출된 깊이 정보(depth information)이다. 이미지 상의 반점의 위치를 측정하는 것은 크기를 측정하는 것보다 강도 차이에 훨씬 덜 반응한다.

작은 구경의 높은 f-값이 (디포커스 흐림이 아닌) 회절 흐림을 이미지의 주요 흐림 요인(blurring agent)으로 만들기 때문에, 흐림-기반 시스템에서 작은 구경을 사용하는 것이 다이나믹 레인지 문제를 완화시킨다. 이는 초점 평면으로부터의 거리의 넓은 범위 내에서, 이미지들이 거의 동일한 크기임을 의미한다.

비축 구경(off-axis aperture)을 이용하는 것은, 공간에서 포인트의 위치를 재구성함으로써 센서 상의 단일 포인트의 모든 이미지를 찾는 것과, 이들 간의 간격을 측정하는 것을 포함함을 의미한다. 상기 이미지는 구경 배열(aperture arrangement)과 동일한 패턴으로 나타날 것이다. 예를 들어, 정삼각형의 꼭짓점으로서 배열되는 3개의 작은 구경이 사용되는 경우, 디포커싱된 포인트의 이미지는 정삼각형에 배열되는 3개의 작은 반점이다. 구경 삼각형에 대한 이미지 삼각형의 놓인 방향에 의해, 디포커싱된 포인트가 초점 평면의 앞부분에, 또는 상기 초점 평 면 앞에 위치하는가의 여부를 알 수 있다. 덧붙이자면, 이미지의 삼각형의 크기는 디포커싱된 포인트와 초점 평면 사이의 간격에 관련된다. 모든 3개의 이미지가 서로 겹쳐 위치할 때 발생하는 포커싱된 포인트에 대한 삼각형의 크기는 0이다. 디포커싱의 크기가 증가할수록 삼각형의 크기는 증가한다. 복수 개의 작은 이미지는 하나의 큰 흐린 이미지보다, 센서 상의 공간을 덜 차지하며, 따라서 이러한 배열에 의해 겹치기 문제(overlap problem)가 완화된다.

재구성에 있어 매칭 문제(matching problem)가 새로운 문제를 발생시키는데, 이미징되는 물체가 특징 없는 포인트들의 집합인 경우, 이미지들은 서로 구별될 수 없으며, 그들의 상대적 위치에 따라서만 매칭될 수 있다(예를 들어, 약간의 오차 내에서 정삼각형을 형성하는 이미지 상의 모든 점(dot)을 찾는다). 이러한 비교적 느슨한 매칭 기준은, 오-매치(mismatch), 즉 “고스트(ghost)”를 감소시키기 위해, 3개 이상의 구경이 사용될 것을 필요로 한다.

단일 비축 구경이 깊이 정보를 기록할 때, 그러나 Z가 이미징되는 포인트와 동-평면 위치(in-plane position)로부터 분리될 수 없다. 2개의 구경이 깊이 정보를 기록하면, 동-평면 위치가 Z와 독립적으로 추출될 수 있다. 실제로, 단 2개의 구경만을 이용하여 랜덤 포인트 클라우드(random point cloud)를 재구성하는 것은 불가능한데, 왜냐하면 이미지가 오-매칭(mismatching)될 때, 다수의 고스트 입자(ghost particle)가 생성되기 때문이다. 덧붙이자면, 단 2개의 이미지로부터 입자가 초점 평면의 앞에 위치하는지, 또는 뒤에 위치하는지를 아는 것은 불가능하다. 3개의 구경을 이용하여, 오-매치가 감소되고, 이미지에 의해 형성되는 삼각형 의 놓인 방향에 의해 입자에서부터 초점 평면까지의 거리의 사인(sign)이 알려진다. 가령, Willert, C.E. 및 Gharib, M.의 “Three-dimensional particle imaging with a single camera" (Experiments in Fluids, 1992, 12, 353-358)를 참조하라.

본래의 디포커싱 개념의 실제 구현은, 하나의 단색 센서(monochromatic sensor) 상으로 이미징되는 3개의 비축 구경을 포함하는 단일 렌즈로 구성된다(3이 수락할 수 있는 결과를 생성하는 구경의 최소 개수로 판단된다). 사실, 디포커싱 측정은 초점 평면에 대한 포인트의 위치의 측정이기 때문에, 희망 포인트의 절대적 위치를 알기 위해서는 장치의 위치를 아는 것이 필요하다.

하나의 단색 센서 상으로 이미징되는 3개의 비축 구경도 역시 단점을 지닌다. 신(scene) 내의 포인트 밀도가 높을 때 센서의 혼잡이 문제가 된다. 이러한 경우, 각각의 포인트는 센서 상에 3개까지의 이미지를 가지며, 다이나믹 레인지 문제가 존재할 수 있다. (즉, 초점 평면 상의 포인트는 센서 상에서 겹치는 3개의 이미지를 가질 것이며, 이에 따라서 디포커싱되는 포인트보다 3배 더 밝게 보일 것이다). 초점 평면 상의 어떠한 포인트도 이미징되지 않도록 공간을 선택적으로 조명함으로써, 다이나믹 레인지 문제는 극복될 수 있다.

US 특허 제6,955,656호 및 제7,006,132호에서 기재된 바와 같이, 혼잡 문제에 대한 하나의 해결책은 각각의 구경을 개별 센서로 이미징하는 것이다. 이는, 이미지 상의 각각의 반점이 구경 배열의 꼭짓점 중 하나일 수 있기 때문에, 매칭 기준을 추가하며, 각각의 반점의 근원지(구경)가 알려져 있기 때문에, 매칭 프로세스에 있어, 모호함이 약간 덜 하다.

덧붙여, 더 많은 센서의 추가(가령, 전하-결합 소자(CCD))는, 단일-센서 시스템에 비해 (제조의 복잡함과 함께) 더 높은 비용과 더 큰 크기라는 단점을 갖는다. 덧붙이자면, 다중 센서 배열은 정렬(alignment) 과제와 견고함(robustness) 과제를 제기하며, 또한 상기 다중 센서는 온도, 진동 및 그 밖의 다른 환경적 영향에 의해 서로 다르게 영향 받으며, 따라서 교정 오류(calibration error)에 더 취약하다.

앞의 이유로, 매칭 문제를 완화, 또는 제거하는 정량적 3-D 이미징 시스템이 요구된다. 상기 시스템은 단순함과 컴팩트성(compactness)을 위해 단일 렌즈의 단일 센서 배열로 구현 가능해야 하며, 필요한 경우, 다중 렌즈의 다중 센서 배열로 쉽게 확장될 수 있어야 한다.

본 발명의 목적은, 물체의 표면의 3-차원 이미징을 위한 하나 이상의 단일-렌즈 장치를 이용하는 장치를 제공하는 것이다. 하나의 양태에서, 상기 장치는 물체의 표면의 3-차원 이미징을 위한 하나의 단일-렌즈 장치를 포함하며, 상기 단일-렌즈 장치는 하나의 렌즈와, 상기 렌즈를 차단하는 다수의 필터링 구경(이때, 상기 다수의 필터링 구경은 물체의 표면으로부터 반사된 광이 렌즈와 필터링 구경을 통과하고 표면의 필터링된 정보가 되도록 구성된다)과, 표면의 필터링된 정보를 캡처하기 위한 센서와, 상기 센서로부터 표면의 필터링된 정보를 수신하기 위해 센서와 통신가능하도록 연결되며, 물체의 표면을 나타내는 표면 이미지를 생성하도록 더 구성되는 프로세서를 포함한다.

또 하나의 양태에서, 다수의 필터링 구경은 컬러-코딩된(color-coded) 둘 이상의 구경을 포함한다.

또 하나의 양태에서, 상기 장치는 물체의 표면 상에 패턴을 투사하기 위한 다중-파장 어드레서블 패턴 투사기(multi-wavelength addressable pattern projector)를 더 포함한다.

또 하나의 양태에서, 상기 장치는 물체의 표면 상에 물리적으로 위치하는 다중-파장 어드레서블 패턴(multi-wavelength addressable pattern)을 더 포함한다.

이때, 다수의 필터링 구경은 편광-코딩된(polarization-coded) 둘 이상의 구경을 포함하고, 센서는 편광-코딩된 정보를 수신하도록 구성된다.

또 하나의 양태에서, 상기 장치는 물체의 표면 상에 패턴을 투사하기 위한 다중-파장 어드레서블 패턴 투사기를 더 포함한다.

또 하나의 양태에서, 상기 장치는 물체의 표면 상에 물리적으로 위치되는 다중-파장 어드레서블 패턴을 더 포함한다.

또 하나의 양태에서, 다수의 필터링 구경은 각각 형태-코딩된(shape-coded) 둘 이상의 구경을 포함한다.

또 하나의 양태에서, 다중-파장 어드레서블 패턴은, 컬러(color)의 배열, 형태(shape)의 배열, 위치(location)의 배열 중에서 선택된다.

또 하나의 양태에서, 장치는 물체의 표면 상으로 물리적으로 위치되는 다중-파장 어드레서블 패턴을 더 포함한다.

또 하나의 양태에서, 상기 장치는 물체의 표면의 3차원 이미징을 위한 단일-렌즈 장치를 포함하며, 상기 단일-렌즈 장치는 하나의 렌즈와, 상기 렌즈를 차단하는 다수의 필터링 구경(이때, 상기 다수의 필터링 구경은 물체의 표면으로부터 반사된 광이 상기 렌즈와 필터링 구경을 통과하고, 필터링되어, 물체 표면의 필터링된 정보가 되도록 구성된다)과, 물체의 표면 상에 어드레서블패턴 정보를 위치시키기 위한 어드레서블 패턴과, 물체 표면의 필터링된 정보와 어드레서블 패턴 정보를 캡처하는 센서와, 센서로부터의 표면의 필터링된 정보를 수신하기 위해 상기 센서와 통신 가능하도록 연결되며, 물체의 표면을 나타내는 표면 이미지를 생성하도록 더 구성되는 프로세서를 포함한다.

또 하나의 양태에서, 어드레서블 패턴은 다중-파장 어드레서블 패턴 투사기(multi-wavelength addressable pattern projector)로부터 투사된다.

또 하나의 양태에서, 다수의 필터링 구경은 광 센서 상으로 광을 선택적으로 필터링한다.

또 하나의 양태에서, 다수의 다중-파장 필터에 의해 상기 어드레서블 패턴이 생성되며, 이로 인해, 서로 다른 컬러 이미지에서의 표지(marker)의 거리를 측정함으로써, 다중-파장 이미지로부터 깊이 정보가 획득된다.

또 하나의 양태에서, 상기 장치는 물체의 표면의 3차원 이미징을 위한 단일-렌즈 장치를 포함하며, 상기 단일-렌즈 장치는, 하나의 렌즈와, 제 1 컬러 필터링 구경 및 제 2 컬러 필터링 구경(이때, 상기 제 1 컬러 필터링 및 제 2 컬러 필터링 구경은 물체의 표면으로부터 반사된 광이 제 1 컬러 필터링 구경 및 제 2 컬러 필터링 구경을 통과하고, 필터링되어, 물체 표면의 필터링된 정보가 되도록 구성된다)과, 물체의 표면 상에 패턴 정보를 위치하기 위한 어드레서블 패턴을 투사하도록 구성되는 어드레서블 패턴 투사기와, 물체 표면의 필터링된 정보와 어드레서블 패턴 정보를 캡처하는 센서와, 상기 센서로부터 표면의 필터링된 정보를 수신하기 위해 센서와 통신가능하도록 연결되며, 상기 물체의 표면을 나타내는 표면 이미지를 생성하도록 더 구성되는 프로세서를 포함한다.

도 1A는 센서를 포함하는 대역-통과 필터 시스템을 도시한다.

도 1B는 도 1A의 센서에 의해 수신되는, 실제 포인트의 디포커싱된 다수의 컬러-코딩된 이미지 획득을 도시한다.

도 1C는 다중-파장 어드레서블 패턴에 대한 매칭 절차를 적색 점과 이에 대응하는 녹색 점의 형태로 보여주는 도 1B의 사각형 영역의 확대된 도시이다.

도 1D는 도 1C에 관련하여, 매치 및 “고스트” 입자의 초점 길이(L) 대 Z-거리의 관계를 나타내는 차트이다.

도 2는 편광된 필터 이미징 시스템을 도시한다.

도 3은 포인트를 이미징하기 위한 구경 시스템을 도시한다.

도 4A는 제 1 위치(A)로 나타난 단일-구멍 마스크를 갖는 동기화된, 단일-구 경 시스템을 도시한다.

도 4B는 제 2 위치(B)로 나타난 단일-구멍 마스크를 갖는 동기화된 단일-구경 시스템을 도시한다.

도 5A는 다수의 f-스탑을 갖는 단일-구경 시스템을 도시한다.

도 5B는 단일-구경의 다수의 f-스탑 시스템의 센서로부터 획득된 이미지를 도시한다.

도 5C는 도 5B의 사각형 영역을 나타내는 확대된 도시이다.

도 5D는 프로세서에 의해 결정되는 매칭된 포인트의 표를 도시한다.

도 5E는 진동하는 단일-구경 시스템의 도시이다.

도 6A는 제 1 다중-창 전자 구경이 개방된 전자적으로 마스킹된 이미징 시스템의 도시이다.

도 6B는 제 2 다중-창 전자 구경이 개방된 전자적으로 마스킹된 이미징 시스템의 도시이다.

도 7A는 관심 물체의 표면 상으로의 투사에 적합한 어드레서블 원형 패턴의 도시이다.

도 7B는 어드레서블 원형(addressable template)을 이용하여 표적 물체의 획득된 이미지를 도시한다.

도 7C는 획득된 이미지와 부분 격자를 도시한다.

도 7D는 도 7C의 가운데 샘플의 재구성된 도시이다.

도 8A는 비-레이저 패턴 투사기와 이미징 시스템이다.

도 8B는 2-프리즘 오프셋 및 2-센서 시스템이다.

도 8C는 한 면이 도금된 프리즘 및 2-센서 시스템이다.

도 8D는 3 CCD-센서 조립체 시스템이다.

도 8E는 협대역 거울 센서 조립체 시스템이다.

도 9는 레이저 패턴 투사기와 이미징 시스템이다.

도 10은 물체의 표면의 표현을 형성하기 위해, 이미지를 획득하고 프로세싱하는 단계를 도시하는 흐름도이다.

도 11은 이미지 재구성을 보조하기 위한 이미징 시스템으로의 어드레서블 패턴의 포함을 도시하는 흐름도이다.

본 발명은 저비용의 정교한 방식의 3차원 이미징(예를 들어, 매핑)에 대한 숙원을 만족시킨다. 본 발명의 양태들은 제조된 부품의 표면 및 덩어리 검사, 실제 제품과 원본 설계의 비교, 3D 물체의 스캐닝, 인체 일부분(탈장, 동맥, 성형 수술의 전과 후, 등)의 평가, 표면 거칠기(surface roughness) 평가, 표면 변형의 실시간 피드백에 적용가능하다. 다음의 상세한 설명에서, 본 발명의 보다 완전한 이해를 제공하기 위한 다양한 특정 세부사항이 제공된다. 그러나 본 발명이 속하는 해당 업계에 종사하는 기술자라면 본 발명이 이러한 특정 세부사항으로 제한되지 않음을 알 것이다. 또 다른 예를 들자면, 본 발명을 모호하게 하는 것을 피하기 위해, 잘 알려진 구조 및 장치는, 상세히 나타나기보다는 블록 다이어그램 형태로 나 타난다.

본 명세서와 함께 출원되고 공개된 모든 문서의 내용은 본원에서 참조로서 인용된다. (임의의 첨부된 청구범위, 요약 및 도면을 포함하여) 본원에서 설명된 모든 특징은, 다르게 서술되지 않는 한, 동일한, 또는 상응하는, 또는 유사한 목적을 수행하는 대체적 특징으로 교체될 수 있다. 따라서 다르게 서술되지 않는 한, 각각의 개시된 특징은 상응하는, 또는 유사한 특징의 일반적인 시리즈의 하나의 예시에 불과하다.

덧붙여, 35 U.S.C, Section 112, Paragraph 6에서 특정된 바와 같이, 특정 기능을 수행하기 위한“수단”, 또는 특정 기능을 수행하기 위한 “단계”라고 명시적으로 기재되지 않은 청구범위의 요소들은 “수단”, 또는 “단계” 어구로 해석되지 않는다. 특히, 본원의 청구범위에서 “단계”, 또는 “동작”의 사용은 35 U.S.C. 112, Paragraph 6의 조항을 실시하는 것으로 의도된 것이 아니다.

첫째, 본 발명의 소개는 일반적인 양태의 이해를 제공하기 위해 주어졌다. 둘째, 광 속성 및 마스크 형태를 기반으로 하는 디포커싱 방법은 특징 매핑(feature mapping)과 관련하여 설명된다. 셋째, 단일 구경 시스템의 양태는 특징 매핑에 관련하여 설명된다. 넷째, 패턴 매칭의 예가 제공된다. 다섯째, 본 발명에 따르는 이미징 방법이 제공된다. 마지막으로, 이미지 매칭에 대한 설명이 제공된다.

(1.0) 소개( introduction )

하나의 포인트와 렌즈의 초점 평면 간의 거리를 측정하기 위해, 디포커스(defocus)로 인한 흐림 상태(blur)가 사용될 수 있다. 본래 디포커싱 개념의 단점을 극복하기 위해, 단일-렌즈 다중-구경 배열(single-lens multiple-aperture)에, 광학 및 조명 기술 관점에서의 차원(dimension)이 추가되는 것이 제안된다. 다음의 양태에 의해, 단일-렌즈, 단일-센서 및 다중-구경 장치를 이용하여 물체의 표면을 대략적으로 측정하는 것이 가능해진다.

다중-구경 배열에 대한 광학적 수정예가, 각각의 구경이 물체 표면을 재구성하기 위한 구별 가능한 이미지를 생성하는 방식으로, 물리적으로 마스킹(masking)하고, 필터링된 정보를 센서로 전달한다. 구경의 형태를 변경함으로써, 또는 구경의 투과율을 코딩함으로써, 또는 노광 중에, 또는 노광과 노광 사이에 구경 평면(aperture plane) 주변을 이동하는 구멍을 갖는 단일-슬릿(slit)형 마스크를 제공함으로써, 구경 마스크(aperture mask)가 수정되어, 구별 가능한 이미지를 생성할 수 있다. 각각의 구경 마스크는 물체의 요망 특징을 나타내는 것을 보조하는 추가적인 정보를 제공한다.

등록된 정보를 이용하여 물체로부터 추가적인 정보를 획득하기 위해, 단일-렌즈, 단일-센서의 다중 구경 장치가 더 보강될 수 있다. 등록되는 정보는, 물체의 특유의 특징, 또는 물체의 표면으로 투사되는 정보, 또는 물체 상으로 직접 위치되는 정보나 표지(marker)로부터 얻어질 수 있다.

1회 노광에 의해 캡처될 수 없는 큰 물체에 있어서, 앞서 언급된 양태는 요망 물체의 표면 특징을 재생성하기 위해 다수의 노광에 함께 적합하도록 사용될 수 있는 정보를 제공할 수 있다. 대안적으로, 다수의 이미지가 큰 물체와 작은 물체 모두에 대해 스캐닝되어, 물체, 또는 물체 특징의 고해상도의 표현이 생성될 수 있다. 매칭 개념은 스테레오 비전 시스템(stereo vision system)에 동일하게 적용될 수 있다.

본 발명의 양태는 본 발명의 바람직한 실시예가 도시된 도면을 참조하여 더 완전히 설명될 것이다. 본 발명은 다수의 서로 다른 형태로 구현될 수 있으며, 본원에서 제공되는 실시예에 국한되는 것으로 해석되어서는 안된다. 덧붙이자면, 도면에서 도시되는 층 및 그 밖의 다른 요소의 크기는 세부사항을 더 명료하게 나타내기 위해 과장될 수 있다. 본 발명은 도면에서 나타난 크기 관계에 제한받지 않으며, 도면에서 나타나는 개별적 요소가 도면에서 나타난 크기로 제한되는 것으로 해서되지 않는다.

(2.0) 광 속성 및 형태 기반의 시스템

조명되는 물체로부터의 광이 렌즈를 통과하고, 마스킹된 구경(masked aperture)을 통과하여, 상기 마스킹된 구경으로부터의 정보를 수신하기에 적합한 센서 상에 도달함에 따라, 상기 마스킹된 구경은 구별 가능한 이미지를 생성한다. 상기 마스킹된 구경은, 물체의 코딩되고 디포커싱된 정보를 적합한 센서 상으로 전달한다. 상기 디포커싱된 정보는 초점 평면에 대한 물체 상에서의 포인트의 측정치를 제공한다. 상기 마스킹된 구경으로부터의 코딩된 정보는, 겹친 이미지를 구별하고, 센서에 의해 검출된 해당하는 포인트를 매칭하기 위해 필요한 정보를 제공한 다.

둘 이상의 마스킹된 구경이 사용될 때, 파장에 대한 강도(intensity versus wavelength) 속성 및/또는 상기 마스킹된 구경으로부터의 검출된 형상의 형태가 센서 상에서 쉽게 구별되도록, 각각의 마스크는 서로 다른 것이 이상적이다. 각각의 구경으로부터의 이미지가 서로 구별 가능하도록, 광 센서 상의 광의 속성에 따라 광을 선택적으로 필터링하기 위해, 다양한 필터링 구경이 사용될 수 있다. 덧붙이자면, 둘 이상의 구경의 형태가 서로 구별 가능할 때, 센서에 의해 검출되는 각각의 구경 이미지도 구별가능하다. 따라서 적합한 구경 마스크와 필터의 제한받지 않는 예를 들자면, 파장 대역-통과 필터(wavelength band-pass filter), 편광 필터(light polarization filter) 및 여러 다른 형태를 갖는 마스크가 있다.

(2.1) 컬러 코딩 필터

도 1A를 참조하면, 대역-통과 필터 시스템(100)이 도시된다. 상기 대역-통과 필터 시스템(100)은 렌즈(102)와, 적색 구경(106) 및 녹색 구경(108)을 갖는 마스크(104)와, 센서(110)를 포함한다. 적색 구경 및 녹색 구경(106 및 108)으로 나타나지만, 임의의 개수 및 조합의 컬러-필터링 구경이, 적정한 센서(110)와 조합되어, 사용될 수 있다. 따라서 구경이 특정하게, 컬러 적색 구경 및 녹색 구경(106 및 108)이라고 일컬어지지만, 이에 국한되는 것은 아니며, 제 1 구경, 제 2 구경 등으로 일컬어질 수 있다.

대역-통과 필터 시스템(100)이 초점 평면(114)의 앞에 위치할 때, 조명되는 물체(112)의 표현(representation)을 생성한다. 산란광(116)이 상기 조명되는 물체(112)의 표면으로부터 반사되어, 렌즈(102)를 통과한다. 상기 렌즈(102)를 통과한 후, 상기 산란광(116)은 적색 구경(106)과 녹색 구경(108) 중 하나를 선택적으로 통과하거나, 마스크(104)에 반사, 또는 상기 마스크(104)에 흡수된다. 적색 구경(106)으로부터 투과된 적색 광(118) 및 녹색 구경(108)으로부터 투과된 녹색 광(120)이 초점 이미지 포인트(122)의 앞에 위치하는 센서(110) 상에 기록된다.

도 1B를 참조하면, 실제 포인트의 디포커싱된, 다중 컬러-코딩된 획득 이미지(124)가 도 1A의 센서(110)에 의해 수신되는 것이 나타난다. 각각의 컬러-코딩된 획득 이미지(124)는 각각의 구경(106 및 108)에 의해 생성되는 다중-파장 어드레서블 패턴(multi-wavelength addressable pattern)에 대응한다. 도 1B에서 나타나는 바와 같이, 물체 상의 각각의 실제 포인트가 다중-파장 어드레서블 패턴의 적색 점(126)과 녹색 점(128)에 의해 표현된다. 해당업계 종사자라면 알다시피, 적색 점 및 녹색 점(126 및 128)은 적색 구경과 녹색 구경의 결과물이다. 그러나 점의 색상은 구경의 색상과 조합에 따라 변할 것이기 때문에 본 발명은 이에 제한받지 않는다. 대응하는 적색 점(126)과 녹색 점(128)은, 대응선(130)에 의해 서로 연결되는 것으로 나타난다. 상기 대응선(130)은 볼 수 있는 것은 아니고, 컬러-코딩된 획득 이미지(124)에서 포인트들을 매칭하는 것의 어려움을 강조하는 유용한 설명 도구이다. 대응선(130)에 의해 연결되는 점들만 실제로 서로 대응한다. 마스크(104)가 없는 경우, 대응하는 포인트를 연결하기에 충분한 정보가 존재하지 않을 것이다.

도 1C를 참조하여, 도 1B의 사각형 영역(132)의 확대 도시가 대응하는 적색 점(126)과 녹색 점(128) 간의 매칭 절차를 나타낸다. 다중 컬러-코딩된 이미지 획득(124)이 형성되면, 프로세서가 이미지 내의 모든 컬러 코딩된 점에 대한 검색을 시작한다. 대안적으로, 검색은 원시 데이터(raw data)로부터 실시될 수 있다(즉, 이미지(124)가 생성될 필요가 없다). 대신, 센서(110)가 센서 정보를 직접 수신하는 프로세서로 연결된다. 어느 경우라도, 모든 점이 검출되면, 조명되는 포인트(112)의 초점 평면(114)에 대한 상대적 위치를 가정하는 것으로, 매칭 프로세스가 시작된다. 초점 평면(114)에 대한 조명되는 포인트(112)의 상대적 위치는 선험적으로 알려져 있거나, 사용자에 의해 입력되거나, 소프트웨어에 의해 판단되거나, 센서에 의해 판단될 수 있다. 여기서, 조명되는 물체의 포인트(112)가 초점 평면(114) 앞에 위치하는 것으로 가정된다. 따라서 예를 들어, “(허용 오차(tolerance) 내에서) 2개의 구경을 연결하는 선에 대응하는 선 상에서 적색 점(126, 142, 144 및 146)의 오른쪽에 위치하는 임의의 녹색 점(128, 136, 138 및 140)이 매치(match)이다”라는 명령어로 매칭이 시작한다. 상기 명령어에 따라서, 제 1 적색 점(126)이 검출되고, 그 후 적색 점(126)의 허용 오차(134) 내에서 제 1 녹색 점(128)에 매칭된다. 적색 점(126)의 허용 오차(134) 내에서, 녹색 점(136, 138 및 140)에 대해 실시되는 보조 검색이 총 3개의 “고스트” 매치(각각, 녹색 점(136, 138 및 140))를 발생시킨다.

도 1D에서, 도 1C에 관련된 매치(match)와 “고스트”입자의 초점 길이(L) 대 Z-거리의 관계가 나타난다. 모든 녹색 점(128, 142, 144 및 146)에 대한 적색 점(126)의 매칭이 하나의 매치(148)와 3개의 고스트(150, 152 및 154)를 도출한다. 적색 점(126)과 녹색 점(128) 간의 매치가 사용되어, 제 1 매칭된 포인트(148)의 Z 대 L 관계를 계산할 수 있다. 적색 점(126)과 녹색 점(136, 138 및 140) 간의 오-매치(mismatch)가 각각 3개의 제 1 고스트(150, 152 및 154)를 제공한다.

제 2 적색 점(142)에 관련하여, 하나의 매치(156)와 2개의 고스트(158 및 160)가 생성된다. 제 2 적색 점(142)과 이에 대응하는 녹색 점(136) 간의 매치가 사용되어, 제 2 매칭된 포인트(156)의 Z 대 L 관계를 계산할 수 있다. 적색 점(142)과 녹색 점(138 및 140) 간의 오-매치는 각각 2개의 고스트(158 및 160)로 나타내어진다.

제 3 적색 점(144)에 대하여, 하나의 매치(162)와 2개의 고스트(158 및 160)가 생성된다. 제 3 적색 점(144)과 이에 대응하는 녹색 점(138) 간의 매치가 사용되어, 제 3 매칭된 포인트(162)의 Z 대 L 관계가 계산될 수 있다. 적색 점(144)과 녹색 점(140) 간의 1개의 오-매치가 고스트(164)로 나타내어진다.

마지막으로, 제 4 적색 점(146)에 대하여, 하나의 매치(162)가 생성되며, 어떠한 고스트도 생성되지 않는다. 제 4 적색 점(146)과 이에 대응하는 녹색 점(140) 간의 매치가 사용되어, 최종 제 4 매칭된 포인트(166)의 Z 대 L 관계를 계산할 수 있다. 적색 점(146)의 오른 쪽에, 매칭되는 녹색 점(140)이 아닌 어떠한 녹색 점도 존재하지 않기 때문에, 도 1C의 사각형 영역(132)에 있어 어떠한 오-매치도 더 존재하지 않는다.

예를 들어, 도 1B의 포인트(126)와 포인트(128)로 나타나는 것처럼 서로 다르게 코딩된 포인트에 의해, 매치(match)와 “고스트” 입자 간의 초점 길이(L) 대 Z-거리의 관계를 판단하는 것이 크게 개선된다. 구경 마스크(104)에 의해 제공되는 어떠한 컬러 정보도 존재하지 않은 구별가능하지 않은 경우(non-separable case)에서, 더 많은 고스트가 존재하는데, 왜냐하면, 도 1A의 컬러와 같은 구별자(differentiator) 없이, 그 밖의 다른 임의의 “적색 점”과 매칭될 수 있으며, 이는 더 많은 고스트를 생성하기 때문이다. 덧붙이자면, 임의의 주어진 점 자체가 실제로 서로 겹쳐 있는 2개의 점이 아니라는 어떠한 가정도 이뤄질 수 없으며, 이로 인해 초점 평면에 훨씬 더 많은 고스트가 추가된다.

(2.2) 편광 필터

다양한 방식으로 센서에게 코딩된 정보가 제공될 수 있다. 제한하지 않는 예를 들자면, 도 2는 편광 필터 이미징 시스템(200)을 도시한다. 상기 편광 필터 이미징 시스템(200)은 렌즈(202)와, 수평 편광 구경(horizontal polarizing aperture, 206) 및 수직 편광 구경(vertical polarizing aperture, 208)을 갖는 마스크(204)와, 편광을 구별할 수 있는 센서(210)를 포함한다. 각각 수평 편광 구경(206)과 수직 편광 구경(208)의 조합으로서 나타나지만, 임의의 개수와 조합의 거의 직교하는 배향(orientation)의 쌍이 사용될 수 있다.

편광 필터 이미징 시스템(200)은, 초점 평면(214) 앞에 위치할 때, 조명되는 물체(212)의 표현(representation)을 생성한다. 산란광(216)이 조명되는 물체(212)의 표면으로부터 반사되고, 렌즈(202)를 통과한다. 렌즈(202)를 통과하면, 상기 산란광(216)은 수평 편광 구경(216)과 수직 편광 구경(208) 중 하나를 선택적으로 통 과하거나, 마스크(204)에 반사된다. 그 후, 수평 편광 구경(206)으로부터 투과된 수평 편광된 광(218)과, 수직 편광 구경(208)으로부터 투과된 수직 편광 광(22)이 초점 이미지 포인트(222) 앞에 위치하는 센서(210) 상에 기록된다.

수평 편광 구경(206)과 수직 편광 구경(208)을 서로 다르게 코딩함으로써, 도 1B에서 도시된 바와 유사하게 구별가능한 점들이 얻어진다. 그러나 본 편광 양태로부터 얻어지는 코딩된 정보는 컬러 코딩된 점 대신 편광 표지(polarization marker)를 제공한다.

(대역-통과 필터 시스템(100)의 경우에서처럼) 선택적으로 광을 투과시키는 것, 또는 (편광 필터 이미징 시스템(200)의 경우에서처럼) 광의 속성을 이용하는 것이 센서에 의해 수신되는 정보를 코딩하는 효과적인 수단이다. 궁극적으로, 센서에 의해 검출된 코딩된 정보가 도 1C 및 도 1D와 관련되어 설명된 매칭(matching) 작업을 손쉽게 한다.

(2.3) 물리적 마스크 형태

도 3에서, 거의 점광원(point source)이라고 여겨질 만큼 충분히 작은 포인트를 이미징하기 위한 여러 다른 형태의 구경 시스템(300)이 나타난다. 여러 다른 형태의 구경 시스템(300)은 렌즈(302)와, 원형 구경(306) 및 사각형 구경(308)을 갖는 마스크(304)와, 센서(310)를 포함한다. 원형 구경(306) 및 사각형 구경(308)으로서 나타나지만, 임의의 개수 및 조합의 여러 다른 형태의 필터링 구경이 사용될 수 있다. 적합한 형태의 제한받지 않는 예를 들자면, 볼록 다면체(convex polyhedron), 오목 다면체(concave polyhedron), 원, 폴리폼(polyform) 및 이들의 조합을 포함한다.

여러 다른 형태의 구경 시스템(300)은 노광 당 조명 받는 물체(312)의 2개의 표현(314 및 316)을 생성한다. 센서(310)에 의해 검출되는 각각의 형태(314 및 316)는 각각의 구경(306 및 308)의 형태에 대응한다. 산란광(320)이 조명되는 물체(312)의 표면에서 반사되고, 렌즈(302)를 통과함에 따라, 원형 구경(306)을 통과하거나, 사각형 구경(308)을 통과하거나, 마스크(304)에 의해 반사되어, 센서 초점 평면(318) 너머에 도달할 것이다. 상기 원형 구경(306)을 통과하는 투과광(322)이 센서(310) 상에 원형 패턴(314)을 생성한다. 마찬가지로, 상기 사각형 구경(308)을 통과하는 투과광(324)이 센서(310) 상에 사각형 패턴(316)을 생성한다. 다수 번의 획득 후, 다수의 원형 패턴(314)과 사각형 패턴(316)이 검출되고, 그 후, 매칭 규칙(matching rule)을 바탕으로, 프로세서(326)에 의해 매칭된다. 그 후, 도 1D에서 도시된 바와 같이, 매치와 고스트가 Z 대 L 그래프 상에 표시될 수 있다. 또는, 또한 고스트 이미지 없는 매치를 보여주는 그래프가 생성될 수 있다.

(3.0) 단일 구경 시스템

도 4A와 도 4B를 참조할 때, 동기화된 단일 구경 시스템(400)이 렌즈(402)와, 단일-구멍 마스크(single-hole mask, 404)와, 이동 구경(moving aperture, 406)과, 센서(408)와, 상기 센서(408)와 통신하는 프로세서(410)를 포함한다. 덧붙이자면, 단일-구멍 마스크(404)는 제 1 위치(A)와 제 2 위치(B)로 나타난다. 반사 된 광선(414)이 렌즈(402)와 상기 단일-구멍 마스크(404)의 길고 좁은 슬릿(slit)형 구경(406)을 선택적으로 통과하게 함으로써, 조명되는 물체(412)가 재구성될 수 있다. 노광과 노광 사이에 구명 평면(aperture plane) 주변을 이동하는 구경(406)을 갖는 단일-구멍 마스크(404)의 위치가 프로세서(410)에 의해 기록된다. 도 4A에서 나타나는 바와 같이, 이동 구경(406)은 광(416)을 투과시키고, 센서(408)에 의해 검출되는 제 1 포인트(414)를 생성한다. 제 1 노광 동안의 이동 구경(406)의 제 1 위치 정보가 프로세서(410)에 의해 기록된다. 제 2 노광 동안, 이동 구경(406)이 제 2 위치(B)로 이동한다. 도 4B에서 나타나는 바와 같이, 이동 구경(406)은 광(418)을 투과시키고, 센서(408)에 의해 검출되는 제 2 포인트(420)를 생성한다. 제 2 노광 동안 이동 구경(406)의 제 2 위치 정보가 프로세서(410)에 의해 기록된다. 그 후, 제 1 포인트(414) 및 제 2 위치 정보와, 제 2 포인트(420) 및 제 2 위치 정보가 사용되어, 제 1 노광으로부터의 제 1 포인트(414)와 제 2 포인트(420)를 매칭할 수 있다. 또는, 매칭 프로세스를 보조하기 위해 사용될 수 있는 추가적인 정보를 제공하기 위해, 제 1 노광과 제 2 노광 사이에서 반사된 광선(414)의 컬러가 변경될 수 있다.

(3.1) 단일 슬릿(slit)형 -구경 시스템

도 5A를 참조하면, 다수의 f-스탑(f-stop)을 갖는 단일-구경 시스템(500)이 도시된다. 여러 다른 형태의 구경 시스템(500)은 렌즈(502)와, 길고 좁은 슬릿형-구경(506)을 갖는 마스크(504)와, 센서(508)와, 상기 센서(508)와 통신하는 프로세 서(510)를 포함한다. 대략적으로 편장 형태(oblong-shaped)의 구경(506)으로서 도시되었지만, 가로보다 세로가 더 긴 임의의 구경이, 형태에 관계없이 사용될 수 있다. 또한 초점 평면의 앞과 뒤가 구별될 수 있도록, 슬릿형 구경(506)이 비대칭적 형태로 만들어질 수 있다.

반사된 광선(514)이 렌즈와 마스크(504)의 길고 좁은 슬릿형 구경(506)을 선택적으로 통과하게 함으로써, 조명되는 물체(512)가 재구성될 수 있다. 특히, 단일-구경 시스템(500)은, 표준적인 원형 구경을 대신하여, 길고 좁은 슬릿형 구경(506)을 이용한다. 슬릿형 구경(506)은 2개의 방향에서 서로 다른 f-값을 갖는 것이 효과적이다. 슬릿형 구경(506)의 긴 세로는, 센서(508) 상에 큰 변차 디스크(516)를 발생하는 낮은 f-값을 생성한다. 역으로, 슬릿형 구경(502)의 좁은 가로는, 포인트 소스의 이미지가 디스크(516)가 아닌 선(518)으로 표현되도록 최소 변차를 발생하는 높은 f-값을 생성한다. 강도는 면적이 아니라 길이에 반비례로 변하는 것으로 여겨질 수 있으며, 따라서 센서 상에서 요구되는 다이나믹 레인지는 순수 흐림 시스템(pure blur system)에 비해 훨씬 감소된다. 덧붙이자면, 생성된 이미지(516 및 518)의 크기는 한 방향으로만 증가하여, 겹치는 확률이 최소화될 수 있다.

도 5B를 참조할 때, 단일 구경 다중 f-스탑 시스템(500)의 센서(508)로부터 획득되는 이미지(520)가 나타난다. 이미지(520)의 프레임(522) 내에서, 서로 다른 Z-좌표를 갖는 다수의 그래프(524, 526, 528 및 530)가 도시된다. 이미지(520)로서 나타나지만, 표현되는 정보가 조절되고, 신호를 통해, 처리를 위한 프로세서(510) 로 전송될 수 있다.

도 5C를 참조하면, 도 5B의 획득 이미지의 사각형 영역(522)이, 구경 이동에 따른 다수의 f-스탑 줄무늬(streak)(524, 526, 528 및 530)를 찾기 위해, 처리된다. 다수의 f-스탑 줄무늬(524, 526, 528 및 530)가 모두 발견되면, Z 대 L 관계를 판단하기 위한 규칙이 적용된다. 주목할 점은 어떠한 매칭도 필요하지 않다는 것이다.

모든 포인트가 초점 평면 “L" 앞에 위치한다고 가정함으로써, Z 대 L 관계를 계산하기 위해, 다수의 f-스탑 줄무늬(524, 526, 528 및 530)가 사용된다. 프로세서(510)에 의해 결정된 매칭 포인트(532, 534, 536 및 538)의 예가 도 5D에서 나타난다. 일반적으로, 센서(508)와 연결되는 프로세서(510)는 센서로부터 획득된 원시 데이터를 수집하기 위해 사용될 수 있다. 그 후, 상기 프로세서(510)가 Z 대 L 관계를 사용하여, 각각의 검출된 f-스탑 줄무늬(524, 526, 528 및 530)의 깊이 정보를 계산할 수 있다. 그 후, 상기 프로세서(510)가 사용되어, 각각의 조명되는 포인트(512)의 깊이 정보로부터 물체의 표현(representation)을 생성할 수 있다. 알려진 거리에서의 이전 샘플링된 포인트의 교정 정보(calibration information)를 저장하기 위해 메모리가 사용될 수 있다. 상기 교정 정보는, 신속한 인-라인 프로세싱(in-line processing)을 위해 이미지 획득 시스템의 룩-업 테이블(look-up table)로서 저장될 수 있다. 또는, 상기 교정 정보가 원격으로 저장되어, 프로세서에 의해 액세스될 수 있다.

또한 도 5B, 도 5C 및 도 5D에 도시된 결과는, 예를 들어, 도 5E에서 도시되 는 것과 같은 진동하는 단일-구경 시스템(540)을 이용하여, 획득될 수 있다. 상기 진동하는 단일-구경 시스템(540)은 렌즈(502)와, 단일 이동 구경(506)을 갖는 마스크(504)와, 센서(508)를 포함한다.

반사된 광선(514)이 렌즈와 마스크(504)의 길고 좁은 슬릿형 구경(506)을 선택적으로 통과하게 함으로써, 조명되는 물체(512)가 재구성될 수 있다. 특히, 단일-구경 시스템(500)이, 2개의 방향에 서로 다른 f-값을 갖는 효과를 효과적으로 실현하는 이동 구경(506)을 사용한다. 이동 구경(506)이 방향 A 및 B로(또는 그 밖의 다른 임의의 적합한 방향으로), 오른쪽에서 왼쪽으로 제어가능하게 발진함에 따라, 이동 구경(506)의 A에서 B로의 망 이동(net displacement)이 낮은 f-값을 생성한다. 이러한 A에서 B로의 횡방향 이동의 낮은 f-값은 센서(508) 상에 큰 변차 디스크(516)를 발생한다. 덧붙여, 이동 구경(506)이 A에서 B로 이동할 때, 이동 구경(506)의 수직 직경에는 어떠한 망(net) 변화도 없다. 따라서 이동 구경(506)의 일정한 높이는, 점광원의 이미지가 디스크(516)가 아닌 선(518)으로 나타나도록, 최소 변차를 발생하는 높은 f-값을 생성한다. 강도는 구경(506)이 특정 축 위치에서 보낸 시간 길이에 따라 달라진다. 따라서 이미지는 흐릿한 직선에 의해 연결되는 밝은 종단처럼 보일 것이다. 덧붙이자면, 생성된 이미지(516 및 518)의 크기가 하나의 방향으로만 증가하여, 겹침 확률이 최소화될 수 있다.

하나의 양태에서, 본 발명은, 이미저 상에서 2개의 구경 이미지를 물리적으로 단순하게 연결함으로써, 매칭의 모호함이 제거된 2-구경 시스템으로 여겨질 수 있다. (점광원이 아닌) 구경을 통해 큰 물체를 이미징할 때, 3개의 이미지가 보일 수 있다. 중앙 이미지는 물체의 이미지이며, 바깥쪽 2개의 이미지는 회절과 렌즈 효과의 결과로서 형성된다. 물체의 규모가 감소할수록, 이는 점광원에 접근하며, 특정 예를 들면, 점광원 물체의 이미지는 구경과 동일한 형태를 갖는다.

(3.2) 전자 마스킹된 구경

도 6A와 도 6B를 참조하면, 렌즈(602)와, 구경 판(aperture plate, 604)과, 다중-창 전자 구경(multi-window electronic aperture, 606)과, 센서(608)와, 상기 센서(608)와 구경 판(604)과 통신하는 프로세서(610)를 포함하는 전자적으로 마스킹된 이미징 시스템(600)이 나타난다. 적합한 구경 판(604)의 제한받지 않는 예로는, 획득 센서(acquisition sensor, 608)와 완전히 동기화될 수 있는 액정 디스플레이(LCD)가 있다. 하나의 양태에서, 구경의 “비축 정도(off-axisness)”를 변화시킴으로써, 감도가 제어될 수 있다. 반사되는 광선(616)이 렌즈(602)와, 상기 다중-창 전자 구경(606)의 다수의 창 중 하나를 선택적으로 통과하게 함으로써, 조명되는 물체(614)가 재구성될 수 있다.

도 6A에서 나타나는 바와 같이, 다중-창 전자 구경(606)의 제 1 창(612)은 광(618)을 투과시키고, 센서(608)에 의해 검출되는 제 1 포인트(620)를 생성한다. 제 1 노광 동안, 제 1 개방 창(612) 위치 정보가 프로세서(610)에 의해 기록된다.

제 2 노광을 획득하기 위해, 다중-창 전자 구경(606)의 제 2 창이 개방된다. 도 6B에서 도시되는 바와 같이, 다중-창 전자 구경(606)의 제 2 창(622)이 광(624)을 투과시키고, 센서(608)에 의해 검출되는 제 2 포인트(626)를 발생한다. 제 2 노 광 동안, 상기 제 2 개방 창(622) 위치 정보는 프로세서(610)에 의해 기록된다. 그 후, 제 1 포인트(620) 및 제 1 개방 창(612) 위치 정보와, 제 2 포인트(626) 및 제 2 위치 개방 창(622) 위치 정보가 사용되어, 제 1 노광으로부터의 제 1 포인트(620)와 제 2 포인트(626)의 정보를 매칭할 수 있다.

(4.0) 패턴 매칭

관심 물체가 매칭될 형태를 갖는 표면인 경우, 표지(marker)의 패턴이 표면 상으로 투사될 수 있으며, 투사된 표지의 상대 위치를 측정함으로써, 검출된 이미지 내의 포인트들이 샘플링될 수 있다. 센서의 이미징된 점의 밀도 상한은 이미징 시스템의 한계이다. 각각의 뷰(view)에서, 포인트들이 식별되면, 두 개의 뷰 모두에 동일한 포인트가 존재하는가의 여부에 대한 물음만 존재한다. 또 다른 양태에서, 매핑되는 체적이 비대칭 셀의 클러스터를 포함하는 경우, 셀의 형태와 배향이 뷰 간 매칭(inter-view matching)에서 추가적인 제약사항(constraint)으로서 사용될 수 있다. 따라서 오-매치(mismatch)가 발생할 수 있는 확률을 감소시킨다. 이러한 양태는 “특징 매칭(feature matching)”이라고 일컬어진다.

도 7A에서, 관심 물체의 표면으로 투사되기에 적합한 어드레서블 원형 패턴(addressable template pattern)(700)의 도시가 나타난다. 상기 어드레서블 원형 패턴(700)은 표적 표면 상으로 투사되거나 물리적으로 배치되며, 그 후, 물체로부터의 가변 거리(Z)에서의 이미징 시스템에 의해 캡처된다. 하나의 양태에서, 어드레서블 원형 패턴(700)이 구별할 수 있는 중앙 포인트(702)를 갖는 격자 패턴의 형 태로 존재한다.

도 7B에서, 어드레서블 원형(addressable template)을 이용하여 획득된 표적 물체의 이미지(704)의 도시가 나타난다. 나타나는 바와 같이, 획득된 이미지(704)에서 일부 점(706, 708, 710 및 712)이 소실된다.

도 7C에서, 부분 격자(714)를 갖는 획득된 이미지(704)가 나타난다. 어드레서블 패턴(702)이 정렬되면, 구별할 수 있는 원점(origin)을 갖는 격자 패턴(714)이, 필요한 뷰포인트의 개수, 또는 획득 이미지의 개수, 또는 둘 모두의 개수를 감소시키기 위해, “구조된 패턴 매칭(structured pattern matching)”과 같은 방법을 사용할 수 있다. 예를 들면, 컴퓨터 판독형 기록 매체 상에 저장된 것, 또는 프로세서에 의해 실행되는 것 등의 어드레싱 알고리즘이, 원형 패턴에 따라 어드레서블 패턴(804) 내 각각의 점의 “상대적 어드레스를 찾기”위해, 각각의 구경의 이미지를 처리한다. 적합한 어드레서블 원형 패턴(700)의 제한받지 않는 예가 도 7A에서 도시된다. 어드레싱 알고리즘은 어드레서블 패턴(704)의 변형(도 7B 및 도 7C 참조)을 허용하는 약간의 오차를 갖는다. 어드레서블 패턴(704)의 변형은, 원본 어드레서블 원형 패턴(700)(도 7A 참조)과 대비될 때, 눈에 띈다. 덧붙이자면, 어드레싱 알고리즘은 획득된 이미지(704)에서 소실된 개체(706, 708, 710 및 712)를 설명할 수 있다. 소실 정보는, 어드레서블 원형 패턴(700) 상에서 포인트가 나타나지 않을 때, 어드레서블 패턴(704)에서 소실된 거라고 여겨진다.

도 7C의 중앙 샘플(716)의 재구성이 도 7D에서 도시된다. 동일한 어드레스를 갖는 각각의 점들의 쌍에 대해 Z를 계산함으로써, 포인트가 재구성된다. 소실된 점 을 갖는 임의의 쌍은 재구성되지 않는다.

(4.1) 패턴 투사기(비-레이저)

도 8A에서, 비-레이저(non-laser) 패턴 투사기(800)와 이미징 시스템(802)이 도시된다. 상기 비-레이저 패턴 투사기(800)는 이미징 시스템(802)의 이미징 렌즈(806)와 동일한 렌즈(804)를 포함한다. 비-레이저 패턴 투사기(800)의 렌즈(804)는 빔스플리터(beamsplitter, 808)로부터, 상기 이미징 시스템(802)의 렌즈(806)와 동일한 거리에 위치한다. 이로 인해서, 투사된 포인트(812)의 주광선(810)이 이미징 시스템(802)의 센서(816)에 의해 검출되는 주광선과 합치될 수 있다. 따라서 투사된 패턴(818)은, 투사된 포인트(812)와 이미징 렌즈(806)의 초점 평면(820) 간의 거리가 변할 때조차, 검출된 이미지에서 이동하지 않은 것처럼 보일 것이다. 이로 인해서, 약간의 포인트(가령, 점)가 소실된다하더라도, 어드레서블 패턴(818)을 식별하는 것이 훨씬 더 용이해진다.

각각의 뷰포인트로부터의 이미지가 물리적으로 떨어져 있음은 필수요건이며, 이는 포토그라메트리(photogrammetry)와 같은 다중-센서 시스템에서는 당연히 사실이지만, 디포커싱 개념과 같은 시스템을 특수하게 처리할 필요가 있다(단일 센서로 이미징되는 하나의 단일 렌즈 상에 다수의 구경).

광(822)을 패턴 스텐실(824)과, 이미징 렌즈(806)와 동일한 렌즈(804)를 갖는 투사기 렌즈 시스템(826)을 통해 통과시킴으로써, 투사된 패턴(818)이 생성된다.

단일-렌즈 시스템에 있어서, 구경 이미지가 분리되어야 한다. 이는 각각의 구경이 개별 센서 상으로 투사하도록 프리즘(도 8B 및 도 8C 참조)이나 광섬유다발을 이용하여, 또는 센서가 컬러 센서인 경우 물리적으로 마스킹된 구경(도 8D 및 도 8E 참조)을 이용하여, 이뤄질 수 있다.

도 8B에서, 2-프리즘 오프셋과 2-센서 시스템(828)이 나타난다. 상기 시스템(8282)은 제 1 프리즘(830) 및 제 2 프리즘(832)과, 마스크와 2-슬릿 구경(838) 뒤에 위치하는 제 1 센서(834) 및 제 2 센서(836)를 포함한다. 제 1 프리즘(830)과 제 2 프리즘(832)을 통해 투과된 광이, 개별적인 센서(834)와 (836)에 의해, 검출될 수 있도록, 제 1 프리즘(830)과 제 2 프리즘(832)이 2-슬릿형 구경(838)로부터의 유입 광(incoming light, 840 및 842)을 오프셋(offset)시킨다. 이러한 구성은, 광의 내재적 속성을 바탕으로 정보를 코딩하기 위해 2-슬릿형 구경(838)이 사용될 때, 또는 어드레서블 패턴 기법이 사용되는 경우에서처럼 광이 분리되어야 할 때, 사용될 수 있다. 적합한 내재적 속성의 제한받지 않은 예를 들자면, 하나 이상의 주파수, 또는 코딩된 투과광의 편광에 의해 검출되는 이미지가 있다.

도 8C에서, 한 면이 도금된 오프셋 프리즘(one silvered offset prism)과 2-센서 시스템(844)이 나타난다. 상기 시스템(844)은 도금된 프리즘(846)과, 마스크와 2-슬릿형 구경(852) 뒤에 위치하는 제 1 센서(848) 및 제 2 센서(850)를 포함한다. 도금된 프리즘(846)을 투과하는 광이 제 1 센서(848)에 의해 검출될 수 있도록, 상기 도금된 프리즘(846)이 2-슬릿 구경(852)으로부터의 유입 광의 제 1 다발(854)을 오프셋시킨다. 또는, 또한 2-슬릿 구경(852)을 통과하는 광(856)이 제 2 센서(850) 상에서 따로 따로 검출될 수 있다.

도 8D에서, 3개의 CCD-센서 조립체 시스템(858)이 나타난다. 상기 시스템(858)은 마스크와 2-슬릿형 구경(862) 뒤에 위치하는 3개의 CCD-센서(860)를 포함한다. 상기 CCD-센서(860)는 청색 센서(862)와, 녹색 센서(864)와, 적색 센서(866)를 포함한다. 프리즘(868)을 투과하는 광이 적색 센서(866)에 의해 검출될 수 있도록, 프리즘(868)의 시스템은 2-슬릿 구경(856)으로부터의 유입 광의 제 1 다발(870)을 오프셋한다. 또는, 2-슬릿형 구경(852)을 통과한 광(872)이 녹색 센서(864) 상에서 따로 따로 검출될 수 있다.

도 8E는 협대역 거울 센서 조립체 시스템(874)을 도시한다. 상기 시스템(874)은 마스크와 2-슬릿형 구경(878) 뒤에 위치하는 협대역 거울(narrow band mirror)과, 제 2 센서(880) 및 제 2 센서(882)를 포함한다. 상기 시스템에서, 협대역 거울(876)을 투과하는 광이 제 1 센서(880)에 의해 검출될 수 있도록, 상기 협대역 거울(876)은 2-슬릿형 구경(878)으로부터의 유입광의 제 1 다발(884)을 오프셋시킨다. 또는, 2-슬릿형 구경(878)을 통과한 광(886)이 제 2 센서(882) 상에서 따로 따로 검출될 수 있다.

(4.2) 패턴 투사기(레이저)

임의의 렌즈가 2개의 “주 평면(principal plane)”으로 표현될 수 있다. 평면의 위치는 렌즈의 함수일 뿐이며, (하나의 포인트에 대해 이미지 중심선을 형성하는) 모든 주광선은, 축에서, 제 1 주평면으로 입장하고, 제 2 주평면에서 빠져나 가는 것처럼 동작한다.

전방 주평면과 시계(field of view)의 위치를 측정함으로써, 레이저 투사기로부터의 빔이 이미징된 점의 주광선과 합치되도록, 희망 패턴을 갖는 회절 격자(diffraction grating)가 만들어지고, 배치될 수 있다. 따라서 투사된 패턴이, 투사되는 점과 이미징 렌즈의 초점 평면 간의 거리가 변할 때조차, 이미지에서 이동하지 않는 것처럼 보일 것이다. 이는, 일부 점들이 이미징되지 않을 때조차, 어드레서블 패턴에 대한 검색을 더 용이하게 만든다.

(모든 공기/유리 경계부에서 광선이 뒤틀리는) 복합 렌즈(compound lens)를 통한 복잡한 광선 자취(ray trace)가, 광선이 뒤틀리는 2개의 평면으로서 수학적으로 표현될 수 있다. 따라서 좌측 이미지가 “실제” 광선 자취를 나타내고, 우측 이미지가 이러한 렌즈의 수학적 표현을 나타낸다. 첫 번째 유리 경계부로 들어오고, 마지막 유리 경계부에서 떠나는 임의의 주요한 광선(이른바 주광선)을 취하고, 이들을 렌즈의 축과 교차하도록 확장시킴으로써, 평면이 발견된다. 교차점이 평면의 위치를 표시한다.

따라서 우선 (몇 개의 Z-거리에서 격자를 이미징함으로써) 교정을 행하고, 그 다음, 상기 2개의 평면의 위치와 시계 각도를 발견하기 위해, 최소 제곱 타입 맞춤(least squares type fit)을 행한다. 그 후, 회절 격자가 시계 각도에 일치하여, 제 1 주평면과 빔스플리터로부터 동일한 거리에 놓이도록 맞춤 구성된다. 따라서 레이저 빔이 주광선의 경로를 정확히 따를 것이다.

동작 중에, 물체는, 렌즈에 가까워질수록, 이미지에서 더 커진다. 이는 물체 의 에지가 이미지 상에서 횡방향으로 이동함을 의미한다. 카메라 앞에서 표면으로 투사되는 임의의 패턴에 대해서 마찬가지일 것이다. 도 9에서 도시된 양태에서와 같이 광선 매치를 정확하게 만듦으로써, 어느 포인트도 자신의 Z-위치와 관계없이, 횡방향으로 움직이지 않는다.

이제, 2-구멍 구경 마스크가 추가되면, 대응하는 점들이 여전히 서로 나뉜다(외곽 광선에 의해 점(이미지)이 형성된다). 그러나 주요 광선이 횡방향으로 이동하지 않기 때문에, 대응하는 “매치 형태(match shape)”의 중심(centroid)이 횡방향으로 움직이지 않을 것이다. 어드레서블 패턴의 구별할 수 있는 점의 위치가 파악되면, 매치의 중심이 발견될 수 있다. 패턴이 횡방향으로 결코 확장되지 않는다는 것을 알면, 패턴 상의 그 밖의 다른 모든 포인트의 중심이 위치하는 곳이 알려지며, 이것이 포인트를 “어드레싱(addressing)”할 때 도움이 된다.

이는, 포인트들이 서로에 대해 모두 이동하여, 표면의 너무 많은 부분에 Z-변화가 존재하는 경우, 패턴이 재구성될 수 없는 전통적인 어드레서블 패턴 검색과 다르다.

도 9에서, 레이저 패턴 투사기 시스템(900) 및 이미징 시스템(902)이 나타난다. 상기 레이저 패턴 투사기 시스템(900)은 레이저 투사기(904)와 필터링 마스크(906)를 포함한다. 상기 필터링 마스크(906)는 투사기(904)로부터의 광을 50% 빔스플리터(908) 상으로 선택적으로 통과시킨다. 상기 레이저 투사기(904)와 필터링 마스크(906)는 빔스플리터(908)와 동일 선 상에 있으며, 이로 인해서, 투사된 포인트(912)의 주광선(910)이 이미징 시스템(902)의 센서(916)에 의해 검출되는 주광 선(914)과 합치될 수 있다. 따라서 투사된 패턴(918)은, 투사된 포인트(912)와 이미징 렌즈(906)의 초점 평면(920) 간의 거리가 변할 때조차, 검출된 이미지에서 이동하지 않는 것처럼 보일 것이다. 이로 인해, 일부 포인트(가령 점)가 소실되는 경우라도, 어드레서블 패턴(918)을 식별하는 것이 훨씬 더 쉬워진다.

(5.0) 이미징 방법

도 10에서, 흐름도가, 물체의 표면의 2차원, 또는 3차원 표현을 형성하기 위해, 이미지를 획득하고 처리하는 단계를 도시한다. 이미징 렌즈와, 구별할 수 있는 이미지를 발생하도록 구성된 구경과, 센서와, 프로세서를 포함하도록, 임의의 단일-렌즈 장치가 구축되거나 수정될 수 있다.

물체의 표면을 조명함으로써, 이미징 프로세스가 시작한다(1000). 이미징 시스템, 또는 적합한 외부 조명원에 의해, 표면은 조명될 수 있다. 광이 물체의 표면에서 반사되어, 구경을 통과한다(1010). 상기 구경은 이미징 렌즈의 평면에, 또는 이미징 렌즈 앞에, 또는 이미징 렌즈 뒤에 위치할 수 있으며, 또는 접근가능할 때, 이미징 렌즈의 구경 평면에 제공되거나, 릴레이 렌즈 시스템을 통해 접근가능하도록 만들어질 수 있다.

광이 구경을 통과함에 따라, 센서에 의해 수신된 정보를 코딩하기 위한 다양한 방식으로 구경이 사용될 수 있다. 센서 상에 구별가능한 이미지를 생성(1020)하도록 광이 코딩될 수 있는 적합한 방법의 제한받지 않는 예를 들자면, 광 특성에 따라 투과된 광을 필터링하는 것(가령, 파장, 또는 편광에 따라), 또는 구별가능한 이미지가 시간의 함수로 구경을 통과하도록 광을 시간의 함수로서 투과하는 것, 또는 일련의 여러 다른 형태를 포함하도록 구경의 형태를 물리적으로 변경하고, 이에 따라서 구경을 투과하는 광이 구별 가능한 형태를 기반으로 하는 이미지를 생성하는 것이 있다.

또한 시스템이 추가적인 이미지를 획득할 것인가의 여부를 판단하는 것을 보조하는 단계(1030)가 구현될 수 있다. 상기 단계는 획득된 이미지의 적합성을 측정하기 위해, 보강될 수 있다. 예를 들어, 노광 동안 과도한 움직임으로 망가진 센서에 의해 검출된 이미지가 알고리즘에 의해 폐기될 수 있다. 이 경우, 마지막으로 획득된 이미지가 폐기될 것이며, 물체를 조명하는 단계(1000)에 의해, 프로세스가 반복될 것이다. 또 다른 양태에서, 수신된 이미지가 프로세싱을 위해 적합할 수 있지만, 더 많은 획득 이미지가 요구된다(1030). 이 경우, 알고리즘을 더 개선하기 위해 또 다른 판단이 추가될 수 있다. 예를 들자면, 이미징 시스템의 뷰포인트가 조정되어야 하는가의 여부를 판단하기 위한 결정(1040)이 추가될 수 있다. 이미징 장치의 위치, 또는 물체의 요망 영역이 이동될 필요가 있는 경우, 이미징 시스템, 또는 표적 물체가 뷰포인트를 조정하기 위해 변경될 수 있다(1050).

이미지의 전부, 또는 일부가 획득되면, 각각의 이미지 내에서의 포인트들 간의 관계, 또는 포인트 정보가 사용되어, 각각의 포인트에 대한 상대적, 또는 절대적 거리 정보가 계산, 또는 결정될 수 있다(1060). 거리 정보가 알려지면, 상기 정보는 알고리즘에 투입될 수 있다. 상기 알고리즘은 상기 거리 정보를 사용하여, 물체의 표현(가령, 3-D 매핑)을 생성할 수 있다(1070).

(6.0) 이미지 매칭

큰 물체, 또는 많은 횟수의 노광 획득이 요구되는 적용예에 있어서, 이미지 매칭은, 관련 획득 이미지가 서로 결부되어 물체 표면을 재생산하는 방법을 제공한다. 표적 물체를 재생산할 필요는 없을지라도, 표적 물체에 대한 이미징 시스템의 위치가 알려질 때, 이미지 매칭은 정확한 측정치를 갖는 표적 물체를 재생산하기 위한 기능을 제공한다. 일반적으로, 어드레서블-패턴 원형 이미지(addressable-pattern template image)를 사용함으로써, 또한 디지털 퀼팅(digital quilting)이라고도 일컬어지는 이미지 매칭은 크게 보조된다. 하나의 양태에서, 상기 어드레서블 패턴 투사기는 획득 장치와 물리적으로 연결될 수 있다. 또 다른 양태에서, 상기 어드레서블 패턴 투사기는 장치에 독립적으로 이동할 수 있지만, 상기 장치에 의해 보여지는 패턴이 여전히 어드레서블한 방식으로 이동한다.

이미징 장치는 최초 위치에서 어드레서블-패턴 원형 이미지를 획득한다. 상기 어드레서블-패턴 원형 이미지는 X, Y 및 Z-평면에서 유한 개수의 포인트를 갖는 것이 통상적이다. 그 후, 이미징 장치의 위치가 조정되고, 제 2 어드레서블-패턴 원형 이미지가 제 2 위치에서 획득된다. 움직임 제약(motion constraint)을 초과한다고 판단된 조정된 위치가 무시되도록, 예방 조치가 취해질 수 있다. 6-가변 솔리드 바디 병진 및 회전 운동(6-variable solid body translation and rotation)에 의해, 제 2 위치, 또는 조정된 위치는 최초 이미징 장치 위치와 관련된다. 통상적으로, 새로운 위치에서 캡처된 이미지가 제 1 원형 이미지(template image)와 부분 적으로 겹치고, 충분히 유사한 개수의 포인트를 갖는다는 사실에 의해, 조정된 위치는 최초 위치와 관련된다.

동작 중에, 하나 이상의 외부 덮개(outer hull)가 프로세서에 의해 생성되거나, 사용자에 의해 수동으로 강조된다. 상기 외부 덮개는 어드레서블-패턴 원형 이미지와 어드레서블-패턴 표면 이미지 내의 모든 포인트를 내포한다. 항상 이런 경우는 아닐지라도, 어드레서블-패턴 원형 이미지의 외부 덮개 바깥의 포인트는 무시될 수 있다. 어드레서블-패턴 표면 이미지 내의 포인트의 다수의 내부 덮개(inner hull)가 또한 생성된다. 상기 내부 덮개는, 6-가변 솔리드 바디 병진 및 회전 운동에 따르는 다수의 덮개의 교차 영역 내에서의 획득 간의 최대 허용되는 변위(displacement)의 함수이다. 어드레서블-패턴 표면 이미지와 어드레서블-패턴 원형 이미지 상의 포인트 간의 차이로부터 오류가 계산될 수 있다.

덮개가 생성될 때, 매칭 알고리즘을 이용하여, 상기 어드레서블-패턴 정보가 처리된다. 상기 매칭 알고리즘은, 어드레서블-패턴 표면 이미지 상의 각각의 포인트와 이에 대응하는 상기 어드레서블-패턴 원형 이미지 상의 포인트 간의 거리를 결정하도록 구성된다. 그 후, 각각의 매칭된 포인트는, 자신의 솔리드 바디 병진 및 회전 운동에 따르는 다수의 내부 덮개로부터 합쳐져서, 고해상도의 데이터 세트를 형성할 수 있다.

수백, 또는 가능하면 수천 개의 획득 이미지가 매칭될 때, 솔리드-바디 병진 및 회전 운동에 따라 포인트 구름(point cloud)이 합쳐진다. 또한 어드레서블 패턴 정보를 사용하는 알고리즘이, 표적 물체의 특징을 복원하기 위해 충분한 매칭 포인 트가 존재하는가의 여부를 판단하기에 적합할 수 있다. 고해상도 포인트 구름이 형성되면, 표준 알고리즘이나 시판되는 패키지(예를 들어, Geomagic Studio)를 통한 보간(interpolation)을 이용하거나, 이용하지 않고, 상기 고해상도 포인트 구름이 고해상도 표면(nurb, 메쉬 등)을 생성, 또는 출력하기 위해 사용될 수 있다. Geomagic Studio는 Geomagic사(미국, 뉴욕 27709, 리서치 트라이앵글 파크, 스위트 300, 이스트 하이웨이 54, 케이프 피어 빌딩 소재)에 의해 생산된다.

총 오류가 장치의 정밀도의 함수인 임의의 임계치 이하인 경우, 적합도(fit)가 만족스럽다고 여겨진다. 이것이 이뤄지면, 조정된 위치에서의 제 2 획득이 원형(template)이 되고, 다음 번 획득이 이에 매칭되는 표면이 된다. 매칭 알고리즘에서의 어드레서블 패턴 정보의 견고함(robustness)은, 충분한 획득이 이용가능할 때까지 표면 형태를 보간하는 것 없이, 작은 집합 대 작은 집합의 매칭을 가능하게 한다.

도 11에서, 이미지 재구성을 보조하기 위한 어드레서블 패턴의 사용을 설명하는 흐름도가 도시된다. 표면 특징 획득 동안 어드레서블 패턴을 사용하는 것은 구별가능한 뷰포인트 3-차원 이미징 시스템에서 사용되는 대응 검색을 피하는 한 가지 방식이다.

다수의 이미지의 획득으로 프로세스가 시작되며(1100), 이때, 각각의 이미지는 (조명시 사용되는) 어드레서블 패턴을 포함한다. 어드레서블 패턴이 물체의 표면의 윤곽에 대해 움직이지 않을지라도, 각각의 이미지는 서로 다른 뷰포인트로부터 취해지는 것이 통상적이다. 다수의 이미지 각각은 어드레서블 패턴 정보의 일 부, 또는 전부를 포함하고, 하나 이상의 포인트는 표적 물질의 하나 이상의 형태를 나타낸다. 물체는 상기 물체 상에서 다양한 포인트를 포함할 수 있다. 각각의 포인트는 물체의 최종 재구성에 대한 중요한 정보를 제공할 수 있다.

이미지에서 각각의 포인트에 하나의 어드레스가 할당된다(1110). 일반적으로, 어드레서블 패턴은 어드레싱 단계(1110)를 보조하도록 참조될 수 있는 물체에 대한 일련의 그래프를 제공한다. 어드레서블 패턴은 대칭이거나, 표지(marker)나 이미지의 정식 시퀀스를 포함할 필요는 없다. 적합한 어드레서블 패턴 정보의 제한받지 않는 예를 들자면, 컬러 시퀀스 패턴(color sequence pattern), 여러 다른 형태의 물체를 포함하는 패턴, 위치 시퀀스 패턴, 구별 가능한 물체 특징, 또는 물체 랜드마크, 또는 이들의 임의의 조합이 있다. 어드레서블 패턴 이미지가 다양한 방식으로 물체의 표면 상에 위치할 수 있다. 적합한 방법의 제한받지 않은 예를 들자면, 어드레서블 패턴 이미지를 물체의 표면으로 투사하는 방법, 물체의 표면 상으로 어드레서블 패턴 이미지를 물리적으로 배치하는 방법, 소스로서 이미징되는 물체에 내재된 특징을 이용하는 방법이 있다.

또한, 시스템이 추가적인 이미지(1120)를 획득하는가의 여부를 판단하는 것을 보조하는 단계가 구현될 수 있다. 획득된 이미지의 적합성을 측정함으로써, 상기 단계는 더 보강될 수 있다. 예를 들어, 노광 동안 과도한 움직임으로 손상된 센서에 의해 검출된 이미지는, 알고리즘에 의해, 폐기될 수 있다. 이 경우, 마지막 획득된 이미지가 폐기될 것이며, 물체(110)를 조명하는 것으로 프로세스가 반복될 것이다. 또 다른 양태에서, 어드레서블 패턴을 갖는 수신된 이미지가 프로세싱에 적합할 수 있지만, 물체를 재구성하기 위해, 더 많은 이미지 획득 이미지가 요구될 수 있다. 이러한 예에서, 알고리즘을 더 보강하기 위해, 또 다른 판단 프로세스가 추가될 수 있다. 예를 들어, 이미징 시스템의 뷰포인트가 조정되어야 할 것인가의 여부를 결정하기 위한 판단 프로세스(1130)가 추가될 것이다. 이미징 장치의 위치, 또는 물체의 요망 영역이 이동될 필요가 있는 경우, 이미징 시스템, 또는 표적 물체가 변경되어, 뷰포인트를 조정할 수 있다(1140).

이미지가 전부, 또는 일부 획득되면, 각각의 이미지 내에서의 포인트들 간의 관계, 또는 포인트 정보가 사용되어, 각각의 포인트에 대한 상대적, 또는 절대적 거리 정보를 계산, 또는 판단할 수 있다. 거리 정보가 알려지면, 상기 정보가 알고리즘에 투입되며, 상기 알고리즘은 상기 거리 정보를 이용하여, 물체의 표현을 생성할 수 있다(1160).

Claims

물체의 표면의 3-차원 이미징을 위한 단일-렌즈 장치(single-lens device)에 있어서, 상기 단일-렌즈 장치는

하나의 렌즈와,

상기 렌즈를 차단하는 다수의 필터링 구경(filtering aperture)으로서, 이때, 물체의 표면으로부터 반사된 광이 상기 렌즈와 필터링 구경을 통과하고, 필터링되어, 상기 표면의 필터링된 정보가 되도록 구성되는 상기 다수의 필터링 구경(filtering aperture)과,

표면의 필터링된 정보를 캡처하기 위한 센서와,

상기 표면의 필터링된 정보를, 상기 센서로부터 수신하기 위해 상기 센서와 통신가능하도록 연결되며, 물체의 표면을 나타내는 표면 이미지를 생성하는 프로세서

를 포함하는 것을 특징으로 하는 단일-렌즈 장치.
제 1 항에 있어서, 상기 다수의 필터링 구경은 컬러-코딩된(color-coded) 둘 이상의 구경을 포함하는 것을 특징으로 하는 단일-렌즈 장치.
제 2 항에 있어서,

물체의 표면 상에 패턴을 투사하기 위한 다중-파장 어드레서블 패턴 투사 기(multi-wavelength addressable pattern projector)

를 더 포함하는 것을 특징으로 하는 단일-렌즈 장치.
제 2 항에 있어서,

물체의 표면 상에 물리적으로 위치되는 다중-파장 어드레서블 패턴(multi-wavelength addressable pattern)

을 더 포함하는 것을 특징으로 하는 단일-렌즈 장치.
제 1 항에 있어서, 상기 다수의 필터링 구경은 편광-코딩된(polarization-coded) 둘 이상의 구경을 포함하며, 상기 센서는 평광-코딩된 정보를 수신하도록 구성되는 것을 특징으로 하는 단일-렌즈 장치.
제 5 항에 있어서,

물체의 표면 상으로 패턴을 투사하기 위한 다중-파장 어드레서블 패턴 투사기(multi-wavelength addressable pattern projector)

를 더 포함하는 것을 특징으로 하는 단일-렌즈 장치.
제 5 항에 있어서,

물체의 표면 상에 물리적으로 위치되는 다중-파장 어드레서블 패턴(multi-wavelength addressable pattern)

을 더 포함하는 것을 특징으로 하는 단일-렌즈 장치.
제 1 항에 있어서, 상기 다수의 필터링 구경은 각각 형태-코딩된(shape-coded) 둘 이상의 구경을 포함하는 것을 특징으로 하는 단일-렌즈 장치.
제 8 항에 있어서,

물체의 표면 상에 패턴을 투사하기 위한 다중-파장 어드레서블 패턴 투사기(multi-wavelength addressable pattern projector)

를 더 포함하는 것을 특징으로 하는 단일-렌즈 장치.
제 9 항에 있어서, 상기 다중-파장 어드레서블 패턴은 컬러(color)의 배열, 형태(shape)의 배열, 위치(location)의 배열 중에서 선택된 것임을 특징으로 하는 단일-렌즈 장치.
제 8 항에 있어서,

물체의 표면 상에 물리적으로 위치되는 다중-파장 어드레서블 패턴(multi-wavelength addressable pattern)

을 더 포함하는 것을 특징으로 하는 단일-렌즈 장치.
제 1 항에 있어서, 상기 다수의 필터링 구경은 시-코딩된(time-coded) 둘 이 상의 구경을 포함하는 것을 특징으로 하는 단일-렌즈 장치.
제 12 항에 있어서,

물체의 표면 상에 패턴을 투사하는 다중-파장 어드레서블 패턴 투사기(multi-wavelength addressable pattern projector)

를 더 포함하는 것을 특징으로 하는 단일-렌즈 장치.
제 13 항에 있어서, 상기 다중-파장 어드레서블 패턴은 컬러(color)의 배열, 형태(shape)의 배열, 위치(location)의 배열 중에서 선택되는 것임을 특징으로 하는 단일-렌즈 장치.
제 12 항에 있어서,

물체의 표면 상에 물리적으로 위치되는 다중-파장 어드레서블 패턴(multi-wavelength addressable pattern)

을 더 포함하는 것을 특징으로 하는 단일-렌즈 장치.
물체의 표면의 3차원 이미징을 위한 단일-렌즈 장치(single-lens device)에 있어서, 상기 단일-렌즈 장치는

하나의 렌즈와,

상기 렌즈를 차단하는 다수의 필터링 구경(filtering aperture)으로서, 물체 의 표면으로부터 반사되는 광이 상기 렌즈와 상기 필터링 구경을 통과하고, 필터링되어, 물체 표면의 필터링된 정보가 되도록 구성되는 상기 다수의 필터링 구경(filtering aperture)과,

물체의 표면 상에 어드레서블 패턴 정보(addressable pattern information)를 위치시키는 어드레서블 패턴(addressable pattern)과,

물체 표면의 필터링된 정보 및 어드레서블 패턴 정보를 캡처하는 센서와,

상기 표면의 필터링된 정보를, 상기 센서로부터 수신하기 위해 상기 센서와 통신가능하도록 연결되며, 물체의 표면을 나타내는 표면 이미지를 생성하는 프로세서

를 포함하는 것을 특징으로 하는 단일-렌즈 장치.
제 16 항에 있어서, 상기 어드레서블 패턴은 다중-파장 어드레서블 패턴 투사기(multi-wavelength addressable pattern projector)로부터 투사되는 것을 특징으로 하는 단일-렌즈 장치.
제 17 항에 있어서, 상기 다수의 필터링 구경은 광 센서(light sensor)로 광을 선택적으로 필터링하는 것을 특징으로 하는 단일-렌즈 장치.
제 17 항에 있어서, 상기 어드레서블 패턴이 다수의 다중-파장 필터에 의해 발생되며, 이로 인해, 서로 다른 컬러 이미지에서의 표지(marker)의 거리를 측정함 으로써, 다중-파장 이미지로부터 깊이 정보(depth information)가 획득되는 것을 특징으로 하는 단일-렌즈 장치.
물체의 표면의 3차원 이미징을 위한 단일-렌즈 장치(single-lens device)에 있어서, 상기 단일-렌즈 장치는

하나의 렌즈와,

제 1 컬러 필터링 구경 및 제 2 컬러 필터링 구경으로서, 이때, 물체의 표면으로부터 반사되는 광이 상기 제 1 컬러 필터링 구경과 제 2 컬러 필터링 구경을 통과하고, 필터링되어, 물체 표면의 필터링된 정보가 되도록 구성되는 상기 제 1 컬러 필터링 구경 및 제 2 컬러 필터링 구경과,

물체의 표면 상에 어드레서블 패턴 정보를 위치시키기 위해 어드레서블 패턴을 투사하도록 구성되는 어드레서블 패턴 투사기(addressable pattern projector)와,

물체 표면의 필터링된 정보 및 어드레서블 패턴 정보를 캡처하는 센서와,

상기 표면의 필터링된 정보를, 상기 센서로부터 수신하기 위해 상기 센서와 통신가능하도록 연결되며, 물체의 표면을 나타내는 표면 이미지를 생성하는 프로세서

를 포함하는 것을 특징으로 하는 단일-렌즈 장치.