KR20100017235A

KR20100017235A - 정적 및 동적 삼차원 탈초점-기반 영상화를 위한 공간-바이어스 개구를 가지는 개구 시스템

Info

Publication number: KR20100017235A
Application number: KR1020097024300A
Authority: KR
Inventors: 모르테자 가립; 에밀리오 그라프; 프랜시스코 페레이라
Original assignee: 캘리포니아 인스티튜트 오브 테크놀로지
Priority date: 2007-04-23
Filing date: 2008-04-23
Publication date: 2010-02-16
Also published as: CA2684602A1; WO2008133957A1; KR20100017234A; JP2010525745A; US9100641B2; US20110193942A1; US20080278570A1; WO2008133960A1; US20150312555A1; KR20100019455A; US20080285034A1; US8619126B2; US20130300834A1; WO2008133959A1; CA2684603A1; US7916309B2; AU2008244492A1; US9736463B2; JP2010526992A; CA2684567A1

Abstract

탈초점 기술을 이용하는 삼차원 영상화 장치 및 방법이 게시된다. 이 장치는 렌즈와, 상기 렌즈를 가리는 복수의 공간-바이어스 개구, 상기 렌즈 및 복수의 공간-바이어스 개구를 통해 객체로부터 전달된 빛을 캡쳐하는 편광-감지 센서, 그리고 센서 정보를 처리하고 상기 객체의 삼차원 이미지를 생성하기 위해 센서와 연결된 프로세서를 포함한다. 공간-바이어스 개구는 모양, 크기 및/또는 광학 축으로부터 거리가 다를 수 있다.

Description

정적 및 동적 삼차원 탈초점-기반 영상화를 위한 공간-바이어스 개구를 가지는 개구 시스템{An Aperture System With Spatially-Biased Aperture For Defocusing-Based Imaging}

본 발명은 3차원(3-D) 영상화 장치 및 방법에 관한 것으로, 더 구체적으로는 정적 및 동적 삼차원 탈초점-기반 영상화를 위해 공간-바이어스 개구 모양 및 위치(SBPSP:spatially-biased aperture shape and position)를 가지는 개구 시스템에 관한 것이다.

3차원(3-D) 영상화는 개선된 영상화 기술로부터 이득을 얻으며, 지속적으로 발전하고 있는 분야이다. 강화된 3-D 영상화는 다양한 목적으로 사용될 수 있으며, 예를 들면, 영상화된 객체(정량적 3-D 영상화를 통해)에 관한 정량 정보를 발생하기 위해 사용될 수 있다. 그러나, 현존하는 영상화 기술은 정량적 3-D 영상화(quantitative 3-D imaging)를 충분히 지원하지 못하고 있다. 예를 들어, 영상화 시스템의 초점 평면(focal plane)에 포인트가 존재하지 않을 때, 센서에 의해 검출된 캡쳐 포인드가 소위 탈초점화 된다. 영상화 시스템이 대개구(large aperture)를 가지는 경우에, 탈초점화 된 포인트가 흐릿하게 보일 것이다. 이러한 이유로, 포인트의 이미지의 흐릿함은 포인트로부터 공간 내 초점 평면까지의 거리를 양적으로 결정하는데 사용될 수 있다. 또한, 초점 평면의 위치가 알려지지 않은 경우에, 영상화 시스템이 정량적 3-D 영상화에 사용될 수 있다. 하나의 포인트의 3-D 포인트를 재구성하기 위해, 블러 디스크(Z, blur disc)의 크기 및/또는 명암도(intensity) 및 센서(X, Y) 상의 포인트 위치를 측정하기만 하면 된다.

그러나, 실제로, 이러한 시스템은 효과적으로 구현하기가 매우 힘들다. 먼저, 흐릿해진 이미지(영상)가 센서 상에 넓은 공간을 점유하며, 이에 따라 겹쳐진 이미지를 분리하는데 정교한 알고리즘이 필요하다. 두 번째로, 광학 시스템에 입력되는 빛의 양이 초점이 맞춰진 포인트 및 탈초점된 포인트 사이에서 인지할 수 있도록 변경되지 않는다(초점 평면이 광학 시스템에 매운 인접하게 위치하지 않는 경우). 따라서, 흐릿해진 이미지는 초점이 맞춰진 이미지와 동일한 양의 에너지를 센서에 입력시키나, 더 넓은 영역에 퍼져있다. 탈초점 이미지의 명암도(intensity)는 그 면적에 반비례하고, 따라서 초점 평면과 블러(blur)에만 기반한 포인트 사이의 거리의 정량적 측정은 지극히 큰 동적 범위를 가진 센서를 필요로 한다. 실제 렌즈에서, 흐릿해진 이미지가 특정한 심도(depth) 범위에서 넓은 가우시안 분포보다 더 링(ring)처럼 보이게 하는 회절 효과가 존재하며, 이는 소프트웨어 처리를 복잡하게 한다. 이는 예를 들어, 참조문헌(Wu, M.;Roberts, J.W.; 및 Buckley, M., "Three-dimensional Fluorescent particle tracking at micron-scale using single camera,", Experiments in Fluids, 2005, 38, 461-465)에 게시된다. 렌즈 수차(aberration) 또는 회절 현상이 없는 경우에도, 심도 정보가 블러 스팟(blur spot)의 지름 측정으로 얻어지기 때문에, 영상화된 포인트의 명암도가 측정에 영향 을 미친다는 사실로 인해, 이미지 프로세싱이 복잡해진다. 예를 들어, 두 개의 탈초점 포인트(A 및 B)는 동일한 탈초점 크기를 가지나, 포인트 A가 포인트 B보다 더 밝은 경우에, 전형적으로 포인트 B의 이미지는 포인트 A 보다 지름이 더 작은 것으로 측정될 것이다. 왜냐하면, 신(scene) 내 배경 조명으로부터 멀어짐에 따라 이러한 현상이 발생하지 않기 때문이다.

원래 "탈초점(defocusing) 개념"은, 이와 같은 블러-기반 시스템에서, 심도 정보(depth information)는 이미지를 형성하는 광선 펜슬(ray pencil)의 외곽 광선(outer ray)에 의해서만 전달될 수 있다는 것을 인식하고 있다. 예를 들면, 참조문헌(Willert, C.E.; 및 Gharib, M., "Three-dimensional particle imaging with a single camera," Experiments in Fluids, 1992, 12, 353-358)에 게시된다. 이러한 광선은 이미지 시스템의 명암도를 나타내는 센서 평면을 사용하여 각(angle)을 만들어 낸다. 따라서, 영상화 시스템에서 소개구이 축을 벗어나게 함으로써 등가 측정(equivalent measurement)이 가능하므로, 외곽 광선만이 통과하여 이미지를 형성할 수 있다. 블러 시스템(blur system)이, 위에 설명한 바와 같이, 대개구의 원주상의 어디에나 배치되는 소개구로 대체되는 대개구(aperture)를 가지는 경우에, 탈초점 포인트의 이미지가 그렇지 않았다면 흐릿해진(blurred) 이미지의 원주가 되었을 위치에 위치한 작은 스팟(spot)이 된다. 최종 결과는, 흐릿해진 스팟의 크기가 아닌 훨씬 작은 스팟의 수평 이동에 의해 전송된 심도 정보이다. 이미지상의 스팟의 위치를 측정하는 것은 그 사이즈를 측정하는 것보다 심도 차이에 훨씬 덜 민감하다.

소개구을 사용하는 것은 블러-기반 시스템을 이용하는 경우의 동적 범위 문제를 경감한다. 왜냐하면, 소개구의 높은 f-넘버가 이미지 내의 초기 블러 에이전트를 회절 블러(탈 초점 블러가 아님) 시킨다. 이는 넓은 범위의 초점 평면으로부터의 거리 내에서, 이미지가 거의 동일한 크기가 된다는 것을 의미한다. 탈축(off-axis) 개구은 공간 내 포인트의 위치의 재구성이 이제 센서 상의 단일 포인트의 모든 이미지를 찾아내는 것 그리고 이들 사이의 거리를 측정하는 것에 관계된다는 것을 의미한다. 이 이미지는 개구 배열(aperture arragement)과 동일한 패턴으로 나타난다. 예를 들어, 등변 삼각형의 꼭짓점으로 배열된 세 개의 소개구가 사용되는 경우에, 탈초점 포인트의 이미지는 등변 삼각형에 배열된 세 개의 작은 스팟이다. 개구의 삼각형에 대한 이미지의 삼각형의 배치는 초점 평면 앞쪽 또는 전면에 탈초점 포인트가 존재하는지 여부를 드러낸다. 추가로, 이미지의 삼각형의 크기는 탈초점 포인트 및 초점 평면 사이의 거리에 관계된다. 삼각형의 크기는, 세 개의 이미지가 모두 서로의 상부에 존재할 때 발생하는 탈초점 포인트에 대해 0(zero)이 된다. 삼각형의 크기는 탈 초점의 크기가 증가함에 따라 증가한다. 여러 개의 작은 이미지는 하나의 큰 흐릿해진 이미지보다 센서에서 작은 공간을 차지하고, 따라서 오버랩 문제가 이러한 장치에 의해 경감된다.

재구성시 일치 문제(matching point)는 새로운 문제를 일으킨다. 영상화될 객체가 한 세트의 형체 없는 포인트인 경우에, 이미지(영상)가 구별되지 않고, 관련 위치에 따라(예를 들면, 소정의 허용 오차 내에서 등변 삼각형을 형성하는 이미지 상의 모든 점들을 찾는 것)서만 일치시킬 수 있다. 이러한 상대적으로 느슨한 일치 기준은 셋 이상의 개구의 비일치 또는 "고스트(ghosts)"의 수를 줄이는 데 사용될 것을 요한다.

단일 탈축(off-axis) 개구은 심도 정보를 기록한다. 그러나, Z는 영상화된 포인트의 평면-내(in-plane) 위치로부터 분리될 수 없다. 두 개의 개구이 심도 정보를 기록하고 이는 평면-내 위치가 Z에 독립적으로 확장될 수 있도록 한다. 실제로, 단 두 개의 개구을 가지는 랜덤 포인트 구름(random point cloud)을 구성하는 것은 불가능하다. 왜냐하면, 이미지가 불일치될 때, 많은 고스트 입자가 발생되기 때문이다. 나아가, 단 두개의 이미지로부터는 입자가 초점 평면의 전방에 또는 후방에 위치하는지 여부를 알 수 없기 때문이다. 세 개의 개구의 경우에, 불일치(mismatche) 문제가 줄어들고, 입자로부터 초점 평면까지의 거리의 사인(sign)이 이미지에 의해 형성된 삼각형의 배치에 의해 드러난다. 참고로, 참조문헌(Willert, C.E.; 및 Gharib, M., "Three-dimensional particle imaging with a single camera," Experiments in Fluids, 1992, 12, 353-358)을 참조한다.

탈초점 개념의 오리지널 실제 구현 예는, 단일한 단파장 센서는 세 개의 탈축 개구을 가지는 단일 렌즈로 구성된다(즉, 세 개는 수용가능한 결과를 생성하는 최소 개수의 개구임). 탈초점 측정은 초점 평면에 대한 포인트의 위치 측정이기 때문에, 원하는 포인트의 절대 위치를 알기 위해서는 장치의 위치를 알아야할 필요가 있다.

하나의 단파장 센서 상으로 이미지화하는 세 개의 탈축 개구(off-axis aperture)도 문제점이 있다. 신(scene) 내의 포인트 밀도가 높을 때, 센서의 과밀 현상이 여전히 문제가 된다. 이 경우에, 각 포인트는 센서 상에 이미지를 세 개까지 가지며, 가능한 동적 범위 문제가 여전히 존재한다(즉, 초점 평면상의 포인트가 센서 상에서 일치하는 세 개의 이미지를 가지며, 따라서 탈초점 포인트의 세 배만큼 밝게 보인다). 동적 범위 문제는 초점 평면상의 어느 포인트도 영상화되지 않도록, 공간(부피)을 선택적으로 조명함으로써 극복될 수 있다.

미국 특허 번호 6,955,656 및 7,006,132에 설명된 바와 같이, 과밀 문제에 대한 하나의 해결책은 별개의 센서를 가지는 각각의 개구을 영상화하는 것이다. 이는 일치성 조건(matching criterion)에 부가된다. 왜냐하면, 이미지상의 각 스팟은 개구 배열(aperture arrangement)의 꼭짓점 중 하나일 수 있기 때문이며, 각 스폿의 소스(개구)가 알려진 상태이므로, 일치 프로세스(matching process)에서 모호함이 훨씬 덜하다.

또한, 더 많은 센서(예를 들어, CCD(charge-coupled device)를 부가하는 것이 단일-센서 시스템에 비해 (제조 복잡성과 더불어) 고비용 및 큰 사이즈의 문제를 갖는다. 나아가, 다중-센서 배열은 정렬 및 견고성 도전과제를 남겨둔다. 또한 다중 센서는 온도, 진동 및 다른 환경 효과에 의해 다르게 영향을 받을 수도 있으며, 따라서 더 많은 측정 오차를 나타내기 쉽다.

이와 같은 문제를 해결하기 위해, 매칭 문제를 경감 또는 해소할 수 있는 정량적 3-D 영상화 시스템이 필요하다. 이 시스템은 단순화 및 소형화를 위해 단일-렌즈, 단일-센서 장치에서 사용될 수 있어야하며, 원하는 경우에 다중-렌즈, 다중-센서 장치에도 확장될 수 있어야 한다.

본 발명은 3차원(3-D) 영상화 장치 및 방법에 관한 것으로, 더 구체적으로는 정적 및 동적 삼차원 탈초점-기반 영상화를 위해 공간-바이어스 핀홀 모양 및 위치(SBPSP:spatially-biased pinhole shape and position)를 가지는 개구 시스템에 관한 것이다.

본 발명에 따른 장치는 렌즈, 상기 렌즈를 가리는 복수의 공간-바이어스 개구, 상기 렌즈와 상기 복수의 공간-바이어스 개구를 통해 객체로부터 전달된 전자기 복사선을 캡쳐하는 센서, 그리고 센서 정보를 처리하고 상기 객체의 삼차원 이미지를 생성하기 위해 상기 센서와 연결된 프로세서를 포함한다.

다른 실시예에서, 상기 복수의 공간-바이어스 개구는 두 개의 개구를 포함한다.

또 다른 실시예에서, 상기 복수의 공간-바이어스 개구는 각각 모양을 가지며, 상기 공간-바이어스 개구 중 하나 이상의 모양이 나머지 개구의 모양과 다르다.

추가 실시예에서, 상기 복수의 공간-바이어스 개구는 각각 크기를 가지며, 상기 공간-바이어스 개구 중 하나 이상의 크기가 나머지 개구의 크기와 다른 것을 특징으로 하는 삼차원 영상화 장치.

또 다른 실시예에서, 상기 복수의 공간-바이어스 개구가 각각 렌즈를 가리는 광학 축의 중심으로부터 일정한 거리에 배치되며, 상기 광학 축의 중심으로부터 상기 공간-바이어스 개구 중 하나 이상의 개구의 거리가 나머지와 다르고, 이로써 객체에 의해 발생된 이미지가 일련의 시간-지연 영상화 중에 이미지 장치상의 자신의 위치를 변경하는 속도(rate)가 상기 광학 축의 중심으로부터 각 개구의 거리에 의해 결정된다.

본 발명은 또한, 삼차원 영상화 방법을 포함한다. 이 방법은 객체로부터 전달되며, 렌즈 및 센서를 가지는 복수의 공간-바이어스 개구를 통과한 빛을 캡쳐하는 단계, 그리고 객체의 삼차원 이미지를 생성하기 위해 상기 센서로부터의 정보를 처리하는 단계를 포함한다.

추가 실시예에서, 상기 복수의 공간-바이어스 개구는 각각 모양을 가지며, 상기 공간-바이어스 개구 중 하나 이상의 모양이 나머지 개구의 모양과 다르다.

또 다른 실시예에서, 상기 복수의 공간-바이어스 개구는 각각 크기를 가지며, 상기 공간-바이어스 개구 중 하나 이상의 크기가 나머지 개구의 크기와 다르다.

다른 실시예에서, 상기 복수의 공간-바이어스 개구가 각각 렌즈를 가리는 광학 축의 중심으로부터 일정한 거리에 배치되며, 상기 광학 축의 중심으로부터 상기 공간-바이어스 개구 중 하나 이상의 개구의 거리가 나머지와 다르다.

또 다른 실시예에서, 이 방법은 이미지 장치에 관한 상기 객체의 위치 및 영상화 렌즈에 관한 상기 객체의 위치로 구성된 그룹 중에서 선택된 하나를 변경함으로써 시간에 대해 순차적으로 상기 객체를 영상화하는 단계를 더 포함하며, 이로써 객체 포인트가 일련의 시간-지연 영상화 중에 이미지 장치상의 자신의 위치를 변경하는 속도(rate)가 상기 광학 축의 중심으로부터 상기 공간-바이어스 개구 중 하나 이상의 개구의 거리에 의해 결정된다.

본 발명이 온전히 이해되고 실질적인 효과를 내기 위해, 본 발명의 바람직한 실시예(이에 제한되는 것은 아님)를 첨부된 도면을 참조하여, 이하에서 설명한다.

도 1A는 센서를 포함하는 밴드-패스 필터 시스템을 나타내는 도면이다.

도 1B는 도 1A의 센서에 의해 수신됨에 따른 실제 포인트의 탈초점, 다중, 패턴-코드 이미지 획득을 나타내는 도면이다.

도 1C는 도 1B의 테두리 영역을 나타내는 확대도로, 레드 도트 및 이에 대응하는 그린 도트의 형태로 다중-파장 어드레스 패턴에 대한 매칭 절차를 나타내는 도면이다.

도 1D는 도 1C에 관한 "고스트" 입자 및 매치(matches)의 Z-거리에 대한 초점 길이(L)의 관계 차트를 나타내는 도면이다.

도 2는 편광된 필터 영상화 시스템을 나타내는 도면이다.

도 3은 영상화 포인트를 위한 개구 시스템을 나타내는 도면이다.

도 4A는 제 1 위치 A에 도시된 단일-홀 마스크와 싱크된 단일-개구 시스템을 나타내는 도면이다.

도 4B는 제 2 위치 B에 도시된 단일-개구 마스크와 싱크된 단일-개구 시스템을 나타내는 도면이다.

도 4C는 서로 다른 각도의 회전으로 생성된 두 개의 객체의 이미지를 따라 회전 가능한 개구를 나타내는 도면이다.

도 5A는 다중 f-스톱을 가지는 단일-개구 시스템을 나타내는 도면이다.

도 5B는 단일-개구, 다중 f-스톱 시스템의 센서로부터 획득된 이미지를 나타내는 도면이다.

도 5C는 도 5B의 테두리 영역을 나타내는 확대도이다.

도 5D는 프로세서에 의해 결정된 바와 같은 매치된 포인트의 차트를 나타내는 도면이다.

도 5E는 진동한, 단일-개구 시스템을 나타내는 도면이다.

도 5F는 비대칭 개구 및, 객체가 초점 평면의 전방 대 후방에 위치할 때 생성된 대응하는 이미지의 비교 모습을 나타내는 도면이다.

도 6A는 다중-윈도우 전자 개구를 이용하여 전자적으로 마스크된 제 1 영상화 시스템을 나타내는 도면이다.

도 6B는 다중-윈도우 전자 개구를 이용하여 전자적으로 마스크된 제 2 영상화 시스템을 나타내는 도면이다.

도 7A는 관심 대상 객체의 표면으로 투영하기 적합한 어드레스 템플릿 패턴을 나타내는 도면이다.

도 7B는 어드레스 템플릿을 사용하여 대상 객체를 촬영한 획득 이미지를 나타내는 도면이다.

도 7C는 획득 이미지 및 부분 그리드를 나타내는 도면이다.

도 7D는 도 7C의 중심 샘플에 재구성도를 나타내는 도면이다.

도 8A는 비-레이저 패턴 프로젝터 및 영상화 시스템을 나타내는 도면이다.

도 8B는 두 개의 프리즘 오프-셋 및 두 개의 센서 시스템을 나타내는 도면이다.

도 8C는 하나의 은으로 만든 오프셋 프리짐 치 두 개의 센서 시스ㅌ메을 나타내는 도면이다.

도 8D는 세 개의 CCD-센서 어셈블리 시스템을 나타내는 도면이다.

도 8E는 협대역 미러 센서 어셈블리 시스템을 나타내는 도면이다.

도 9는 레이저 패턴 프로젝터 및 영상화 시스템을 나타내는 도면이다.

도 10은 객체의 표면을 표현하기 위해 이미지를 획득 및 처리하는 동작을 나타내는 흐름도이다.

도 11은 이미지 재구성을 돕기 위해 영상화 시스템으로 어드레스-패턴을 결합하는 것을 나타내는 도면이다.

이하에서, 첨부된 도면 및 실시예와 함께 본 발명을 상세히 설명한다.

본 발명은 저렴하고 정밀한 삼차원 영상화(예, 매핑)방식에 대한 오랜 요구를 만족시킨다. 본 발명의 실시예들은 제조 부품의 표면 및 체적 검사, 원 디자인 대 실제 제품의 비교, 3-D 객체의 스캐닝, 신체 일부(탈장, 동맥, 사전 및 사후 성형, 등)의 평가, 표면 거칠기 평가, 그리고 표면 변형에 대한 실시간 피드백에 적용될 수 있다. 다음의 상세한 설명에서, 본 발명에 대한 폭넓은 이해를 위해 많은 특정 세부 사항이 정해질 수 있다. 그러나, 본 발명은 이러한 특정 세부사항에 한정되지 않고 구현될 수 있음은 본 발명이 속하는 분야의 당업자에 자명하다. 다른 예에서, 본 발명을 명확히 하기 위해, 잘 알려진 구조물 및 장치는 상세히 표현하는 대신 블록도 형식으로 도시된다.

본 명세서와 함께 제출되며 본 명세와 함께 공개된 모든 논문 및 문서는, 그 내용이 이 명세서의 참조문헌으로 포함된다. 이 명세서(첨부된 청구범위, 요약서, 및 도면 포함)에 게시된 모든 특징적 구성은, 그렇지 않다고 명시적으로 표현한 경우가 아니면, 동일, 균등 또는 유사한 목적의 다른 특징적 구성으로 대체될 수 있다. 따라서, 그러하지 않다고 명시적으로 표현한 경우가 아니면, 게시된 각각의 특징적 구성은 동종의 등가 또는 유사한 특정적 구성을 대표한다(제한되는 것이 아님).

나아가, 특정한 기능을 수행하기 위한 "수단" 또는 특정한 기능을 수행하기 위한 "단계"를 명시적으로 표현하지 않은 청구범위의 구성요소가 "수단" 또는 "단계"로 해석되어서는 안 된다.

먼저, 본 발명의 도입부는 넓은 측면의 발명을 이해하기 위해 제공된다. 다음으로, 광 속성 및 마스크 모양에 근거한 탈초점 방법이 특성 매핑에 관하여 논의된다. 이어서, 단일 개구 시스템의 실시예들이 특성 매핑에 관하여 논의된다. 이어서, 패턴 매칭의 예가 제시된다. 다음으로, 본 발명에 따른 영상화 방법이 제공된다. 다음으로는 이미지 매칭에 관해 논의된다.

(1.0) 도입부

탈초점(defoucs)에 기인한 블러(blur)는 포인트와 렌즈의 초점 평면 사이의 거리를 측정하는 데 사용될 수 있다. 본 발명은, 본래의 탈초점 개념의 단점을 극복하는 단일-렌즈 다중-개구 장치에 광학 및 조명 기술의 면에서 추가 국면(dimension)을 제시한다. 다음의 예들은 단일-렌즈, 단일-센서 및 다중-개구 장치를 이용하여 객체 표면을 견고히 측정할 수 있게 한다.

다중-개구 장치에 대한 광학적 변경은 물리적으로 필터링된 정보를 차단 및 전달하여 각 개구가 객체 표면을 재구성하기 위한 별개의 이미지를 생성하도록 한다. 별개의 이미지를 생성하기 위해, 개구 마스크는 개구의 모양을 변경함으로써, 개우의 투과율을 조정함으로써, 또는 노출 중이나 노출 사이에 개구 평면 주위로 이동하는 홀을 가진 단일-슬릿 마스크를 제공함으로써 변경될 수 있다. 개구 각각은 객체의 바람직한 특성 표현을 돕는 추가 정보를 제공한다.

단일-렌즈, 단일-센서, 다중 개구 장치는, 등록된 정보를 사용함으로써 객체로부터의 추가 정보를 획득하기 위해 추가로 논의될 수 있다. 등록된 정보는 객체의 특성 구분, 객체의 표면으로 투영된 정보 또는 객체 상에 직접 배치된 정보 또는 마커로부터 얻어질 수 있다.

단일 노출로 포착될 수 없는 커다란 객체에 대해, 이전에 언급한 실시예는 원하는 객체의 표면 특성을 재형성하기 위해 다중 노출을 함께 맞추는데 사용될 수 있는 정보를 제공한다. 선택적으로, 여러 이미지가 객 또는 객체 특성의 고해상도 화상(representation)을 생성하기 위해 대형 객체 및 소형 객체 모두를 스캔할 수 있다.

본 발명의 여러 측면, 바람직한 실시예가 도시된 첨부 도면과 함께 이하에서 상세히 설명된다. 본 발명은 다양한 형태로 구현될 수 있으나 이러한 실시예에 제한되어서는 안된다. 나아가 첨부 도면에 도시된 막(layer) 및 다른 구성요소의 크기는 세부 사항을 명확히 도시하기 위해 과장될 수 있다. 본 발명은 도면에 도시된 크기 관계에 제한되어서는 안 되며, 또한 도면에 도시된 개개의 구성요소에 제한되어서는 안 된다.

(2.0) 광 속성 및 모양-기반 시스템

조명된 객체로부터의 빛 또는 다른 전자기 방사선이 렌즈를 통과하고, 차단된 개구를 통과하여, 차단된 개구로부터 정보를 수신하기에 적합한 센서로 이동함에 따라, 마스크 개구(애퍼처, aperture)는, 구별 가능한 이미지를 생성한다. 마스크 개구는 코드화 및 탈 초점된 객체의 정보를 적합한 센서에 보낸다. 탈 초점된 정보는 초점 평면에 관하여 객체 상이 포인트의 크기를 제공한다. 마스크 개구로부터의 코드화 정보는 오버래핑 이미지를 분리하고 센서에 의해 검출된 대응하는 포인트와 일치시키는 데 필요한 정보를 제공한다. "빛"이란 용어를 사용하였으나, 본 발명의 다양한 실시예를 기술할 때, 본 발명은 전자기 스펙트럼의 어느 부분에 대해서도 사용이 적합하며, 극초단파, 적외선 방사선, 자외선 방사선 및 X-레이를 포함하나 이에 한정되는 것은 아니다. "빛(또는 광)"이란 용어의 사용은 예시 목적을 위한 것이며, 전자기 스펙트럼의 가시광선 부분에 본 발명의 범위를 한정하기 위한 것이 아니다.

둘 이상의 마스크 개구가 사용될 때, 각각의 마스크는 이상적으로 서로 다르며 명암도 대 파장 속성 및/또는 마스크 개구로부터 검출된 모양의 형태가 센서에서 쉽게 구별된다. 다양한 필터링 개구가 빛의 속성에 따라 센서로 빛을 선택적으로 필터링하는 데 사용될 수 있으며, 이로써 각 개구로부터의 이미지가 구별될 수 있다. 나아가, 둘 이상의 개구의 모양이 구별 가능한 경우에, 센서에 의해 검출된 각 개구 이미지도 구별될 수 있다. 따라서, 적합한 개구 마스크 및 필터의 예로는 파장 대역 패스 필터, 광 편광 필터 및 차등-형태 마스크(differentially-shaped mask)를 포함하나, 이에 제한되는 것은 아니다.

(2.1) 색 코드화 필터

도 1A를 참조하면, 대역 패스 필터 시스템A(100)이 도시된다. 대역 패스 필터 시스템(100)은 렌즈(102), 적색 개구(106) 및 녹색 개구(108)를 포함하는 마스크(104), 그리고 센서(110)를 포함한다. 적색 및 녹색 개구(106, 108)로서, 각각 색 필터 개구의 수 및 조합은 어느 것이나 적합한 센서(110)와 결합하여 사용될 수 있다. 따라서, 개구가 구체적으로 적색 및 녹색 개구(106, 108)로 명칭되었으나, 이러한 색에 제한되는 것은 아니며, 대신에 제 1 개구, 제 2 개구 등과 같이 칭할 수 있다.

대역 패스 필터 시스템(100)은, 객체(112)가 초점 평면(114)의 전방에 배치될 때, 조명된 객체(112)의 화상(representation)을 생성한다. 산란된 빛(116)이 조명된 객체(112)의 표면으로부터 반사되고, 렌즈(102)를 통과한다. 렌즈(102)를 통과하면, 산란된 빛(116)은 선택적으로 적색 개구(106) 또는 녹색 개구(108) 중 어느 하나를 통과하거나, 반사되거나 마스크(104)에 의해 흡수된다. 적색 개구(106)로부터 전달된 적색 광(118)과, 녹색 개구(108)로부터 전달된 녹색 광(120)이 초점 평면 포인트(122)의 전방에 위치한 센서(110)에 기록된다. 본 발명이 속하는 분야의 기술자가 알 수 있는 바와 같이, 객체를 조명하는 데 사용된 빛의 색은 원하는 개구 또는 개구의 세트만을 통과하도록 선택될 수 있다. 한 세트의 개구가 단색의 탈 초점 정보를 갭쳐하는 데 사용되는 경우에 협대역 광 프로젝터를 사용하는 것이 유용할 수 있다. 반면에 다른 색의 실사 이미지를 투영하는 데 다른 개구가 사용되어, 두 개가 쉽게 구별될 수 있다.

도 1B를 참조하면, 실제 포인트의 탈초점 된, 다색-코드화 이미지 획득물(124)이 도 1A의 센서(110)에 의해 수신된 것으로 도시된다. 각각의 색-코드화 획득물(124)이 개구(106, 108) 각각에 의해 형성된 다중-파장 어드레스 패턴에 대응한다. 도 1B에 도시된 바와 같이, 객체에 대한 각각의 실제 포인트가 다중-파장-어드레스-패턴 적색 도트(126) 및 녹색 도트(128)를 이용하여 표현된다. 본 발명이 속하는 분야의 기술자가 이해할 수 있는 바와 같이, 적색 및 녹색 도트(126, 128)는 적색 및 녹색 개구 각각의 결과물이다. 그러나, 개구의 색에 따라 도트의 색이 변경되므로, 본 발명이 이에 한정되는 것은 아니다. 대응하는 적색 도트(126) 및 녹색 도트(128)는 대응하는 라인(130)과 함께 연결되는 것으로 보인다. 대응하는 라인(130)을 볼 수 있는 것은 아니나, 이는 색-코드화 이미지 획득(124)에서 매칭 포인트의 난점을 부각하기 위한 도구로 유용하다. 대응하는 라인(130)에 의해 연결된 도트만이 실제로 서로 대응한다. 마스크(104) 없이, 대응하는 포인트를 연결하는 데 충분한 정보가 존재하지 않는다.

도 1C를 참조하면, 도 1B의 테두리 영역(132)의 확대도가 대응하는 적색 도트(126)와 녹색 도트(128)를 일치(매칭, matching)시키기 위한 절차를 나타낸다. 여러 색-코드화 이미지 획득(124)이 이루어지면, 프로세서는 이미지 내의 색 코드화된 도트 전부에 대한 검색을 시작한다. 선택적으로, 검색은 로 데이터(즉, 실제 이미지(124)를 생성할 필요가 없음)로부터 수행될 수 있다. 대신에, 센서(110)는 센서 정보를 직접 수신하는 프로세서에 연결된다. 어느 경우에든, 모든 도트가 검출되면, 초점 평면(114)에 관해 조명된 포인트(112)의 관련 위치를 가정한 채, 매칭 프로세스가 시작된다. 초점 평면(114)에 관한 조명된 포인트(112)의 관련 위치는 선험적으로 알려지거나, 사용자에 의해 입력되거나, 소프트웨어에 의해 결정되거나, 센서에 의해 결정될 수 있다. 도시 목적을 위해, 객체의 조명된 포인트(112)가 초점 평면(114)의 전방에 배치된 것으로 가정하였다. 따라서, 매칭은 지시 커맨드(instruction command)에 의해 시작되고, 예를 들면, "두 개의 개구(허용오차 내)를 연결하는 라인에 대응하는 라인 상의 적색 도트(126, 142, 144, 146)에 대해 녹색 도트(128, 136, 138, 140) 중 어느 하나가 매치(일치)된다". 제 1 적색 도트(126)가 검출되고, 이후에 지시 커맨드에 따라 적색 도트(126)의 허용오차(134) 내에서 제 1 녹색 도트(128)에 매치된다. 이 경우에 허용오차(134)는 반지름의 형태로 적색 도트(126)로부터 거리로 표시된다. 그러나, 허용오차(134)는 원하는 모 양 또는 거리의 형태를 취할 수 있다. 적색 도트(126)의 허용오차(134) 내에서의 녹색 도트(136, 138, 140)에 대한 추가 검색이 전체 세 개의 "고스트" 매치를 생성한다(녹색 도트 136, 138, 140 각각).

도 1D를 참조하면, 도 1C에 관하여 매치의 초점 길이(L) 대 Z-거리의 관계 및 "고스트" 입자가 도시된다. 적색 도트(126) 대 모든 녹색 도트(128, 142, 144, 146)의 매치는 하나의 매치(148) 및 세 개의 고스트(150, 152, 154)로 귀결된다. 적색 도트(126)와 녹색 도트(128) 사이의 매치는 제 1 매치 포인트(148)의 Z-대-L 관계를 계산하는 데 사용된다. 적색 도트(126)과 세 개의 녹색 도트(136, 138, 140) 사이의 미스매치(불일치)는 각각 세 개의 제 1 고스트(150, 152, 154)를 각각 제공한다.

제 2 적색 도트(142)에 관하여, 하나의 매치(156) 및 두 개의 고스트(158, 160)가 생성된다. 제 2 적색 도트(142) 및 대응하는 녹색 도트(136) 사이의 매치는 제 2 매치 포인트(156)의 Z-대-L 관계를 계산하는 데 사용된다. 적색 도트(142) 및 녹색 도트(138, 140) 사이의 미스매치(불일치)는 각각 두 개의 고스트(158, 160)로 표현된다.

제 3 적색 도트(144)에 관하여, 하나의 매치(162) 및 두 개의 고스트(158, 160)이 생성된다. 고스트(158, 160)은 다른 개구로부터 대응하는 도트에 할당되지 않는 도트이다. 제 3 적색 도트(144) 및 대응하는 녹색 도트(138) 사이의 매치는 제 3 매치 포인트(162)의 Z-대-L관계를 계산하는 데 사용된다. 적색 도트(144) 및 녹색 도트(140) 사이의 하나의 불일치는 고스트(154)에 의해 표현된다.

마지막으로, 제 4 적색 도트(146)에 관하여, 하나의 매치(162)가 발생하나 고스트는 발생하지 않는다. 제 4 적색 도트(146) 및 대응하는 녹색 도트(140) 사이의 매치는 제 4 및 최종 매치 포인트(166)의 Z-대-L 관계를 계산하는 데 사용된다. 적색 도트(146)의 우측으로, 매칭 녹색 도트(140) 이외의 다른 녹색 도트가 존재하지 않기 때문에, 도 1C의 테두리 영역(132)에 대해 추가적인 미스매치가 존재하지 않는다.

매치 및 "고스트" 입자의 사이의 Z-대-L 관계를 결정하는 것은 도 1B의 126 및 128에 도시된 바와 같이 차등-코드화 포인트에 의해 강화된다. 분리할 수 있는 경우에, 개구 마스크(104)에 의해 제공된 색 정보가 없는 경우에는 더 많은 고스트가 존재할 수 있다. 왜냐하면, 색과 같은 차별 요소(differntiator)가 없는 경우에, 도 1A의 각 "적색 도트"는 더 많은 고스트를 생성하는 다른 "적색 도트"와 매치될 수 있다. 나아가, 어느 주어진 도트가 실제로 다른 도트의 상부에 위치한 두 개의 도트가 아니라는 가정은 이루어질 수 없으며, 초점 평면에 훨씬 더 많은 고스트를 추가한다.

(2.2) 편광 필터

"빛"이란 용어를 사용하였으나, 본 발명의 다양한 실시예를 기술할 때, 본 발명은 전자기 스펙트럼의 어느 부분에 대해서도 사용이 적합하며, 극초단파, 적외선 방사선, 자외선 방사선 및 X-레이를 포함하나 이에 한정되는 것은 아니다. "빛(또는 광)"이란 용어의 사용은 예시 목적을 위한 것이며, 전자기 스펙트럼의 가시 광선 부분에 본 발명의 범위를 한정하기 위한 것이 아니다.

코드화 정보는 어느 방식으로든 센서에 제공될 수 있다. 실시예로서, 도 2A는 편광된 필터 이미지 시스템(200)을 도시한다. 편광된 필터 이미지 시스템(200)은 렌즈(202), 수평 편광 개구(206) 및 수직 편광 개구(208)를 가지는 마스크(204), 그리고 여러 편광을 구별할 수 있는 센서(210)를 포함한다. 수평 및 수직 편광 개구(206, 208)의 조합이 도시되었으나, 거의 직각인 한 쌍의 배열의 수나 조합은 어느 것이나 사용될 수 있다.

편광된 필터 영상화 시스템(200)은, 초정 평면(214)의 전방에 배치될 때, 조명된 객체(212)의 화상(representation)을 생성한다. 산란된 빛(216)이 조명된 객체(212)의 표면으로부터 반사되고, 렌즈(202)를 통과한다. 렌즈(202)를 통과하면, 산란된 빛(216)은 선택적으로 수평 편광 개구(206) 또는 수직 편광 개구(208) 중 어느 하나를 통과하거나, 마스크(204)로부터 반사된다. 수평 편광 개구(206)로부터 전달된 수평 편광 빛과, 수직 편광 개구(208)로부터 전달된 수직 편광 빛(220)이 초점 이미지 포인트(222)의 전방에 배치된 센서(210)에 기록된다.

수평 편광 개구(206)와 수직 편광 개구(208)를 차별적으로 코드화(암호화)함으로써, 도 1B에 도시된 것과 유사하게 도트를 구별할 수 있다. 그러나, 본 발명에 따른 편광 예에서 얻어진 코드화 정보는 색-코드화 도트 대신에 편광 마커를 제공한다.

도 2B에 도시된 바와 같이 하나 이상의 편광-코드화 개구를 사용함으로써 유사한 결과가 얻어질 수 있다. 이 경우에, 하나 이상의 개구가 제 1 개구 위치(224) 로부터 제 2 개구 위치(226)로, 각 위치에서 노출이 이루어진 채 회전하면, 개구의 편광이 노출 사이에 변경될 것이며, 제 1 노출(228) 및 제 2 노출(230) 각각으로부터 편광된 이미지(228, 230)의 세트를 서로 구별하게 된다. 이로써, 심도 정보(depth information)는 다른 노출시 동일한 마커(232)로부터 이미지(228, 230) 사이의 거리를 측정함으로써 결정될 수 있다.

선택적으로 전달하는 빛(대역 패스 필터 시스템(100)의 경우) 또는 빛의 활용 속성(편광 필터 영상화 시스템(200)의 경우)이 센서에 의해 수신된 코딩 정보의 효과적인 수단이다. 마지막으로, 센서에 의해 검출된 코드화 정보는 도 1C 및1D에관하여 설명된 매칭 작업을 쉽게 한다.

(2.3) 공간-바이어스 개구

도 3A를 참조하면, 거의 포인트 소스로 간주될 수 있는 작은 포인트를 영상화하기 위한 차등-모양 개구 시스템(300)이 도시된다. 차등-모양 개구 시스템(300, differntially-shaped aperture system)은 렌즈(302), 원형 개구(360) 및 사각형 개구(308)를 가지는 마스크(304)와 센서(310)를 포함한다. 원형 개구(306) 및 사각형 개구(308)가 도시되었으나, 다른 모양의 필터 개구의 조합 및 개수가 어느 것이나 사용될 수 있다. 적합한 모양의 예로서, 볼록한 다면체, 오목한 다면체, 원형 모양, 변형 다각형(polyform) 및 이들의 조합을 포함하나, 이에 한정되는 것은 아니다.

차등-모양 개구 시스템(300)은 노출당 조명된 객체(312)의 두 개의 화 상(314, 316)을 생성한다. 센서(310)에 의해 검출된 각 모양(314, 316)은 개개의 개구(306, 308)의 모양에 각각 대응한다. 산란된 빛(320)이 조명된 객체(312)의 표면에 반사되고, 렌즈(302)를 통과함에 다라, 원형 개구(306), 사각형 개구(308) 중 하나를 통과하거나, 마스크(304)에 의해 센서 초점 평면(318) 너머로 반사된다. 원형 개구(306)를 통과하여 전달된 빛은 센서(310)에 원형 패턴을 형성한다. 유사하게, 사각형 개구(308)를 통과하여 전달된 빛(324)은 센서(310) 상에 사각형 패턴(316)을 만든다. 여러 차례의 획득 동작 후에, 수많은 원형 패턴(314) 및 사각형 패턴(316)이 검출되고, 이어서 매칭 규칙에 근거하여 프로세서(326)에 의해 매치된다. 매치(match) 및 고스트(ghost) 양쪽은 Z-대-L 플롯(예를 들면 도 1D에 나타낸 바와 같음) 상에 그려진다. 선택적으로, 고스트 이미지 없이 매치를 표현하는 플롯(plot)이 생성될 수도 있다.

다른 모양의 개구에 더하여, 공간-바이어스 개구는 도 3B에 도시된 바와 같이, 마스크(329)의 중심에서 다른 반지름 방향 위치에 배치된 유사한 모양의 개구(326, 328)를 포함한다. 이러한 배열의 개구가 제 1 위치(326, 328)에서 제 2 위치(330, 332)로 회전하고, 노출이 각 위치에서 이루어지는 경우에(연속적인 시간-지연 영상화), 마스크(329)의 중심으로부터 개구의 거리는, 이미지 장치(334) 상의 위치를 변경하는 객체에 의해 생성된 이미지(336, 338)를 이용하여 비율(rate)을 결정할 것이며, 여기서 노출과 노출 사이의 이미지 이동 거리에 따라 변경 비율이 물리적으로 명확해진다.

본 발명과 함께 사용하기에 적합한 공간-바이어스 개구의 다른 실시예로는, 유사한 모양이나 크기가 다른 개구, 예를 들면, 두 개의 원형 개구가 있다. 여기서 하나는 다른 하나보다 크다. 서로 다른 크기의 개구를 사용하는 것은 도 3A에 도시되며 위에 설명한 바와 같이, 서로 다른 모양의 개구를 사용하는 것과 동일한 기능을 한다.

(3.0) 단일 개구 시스템.

도 4A 및 4B를 참조하면, 렌즈(402), 단일-홀 마스크(404), 이동 개구(406), 센서(408) 및 센서(408)와 통신하는 프로세서(410)를 포함하는 싱크된 단일-개구 시스템(400)이 도시된다. 추라고, 단일-홀 마스크(404)는 제 1 위치 A 및 제 2 위치 B, 각각에 도시된다. 조명된 객체(412)는 반사된 광선(414)이 렌즈(402)와 단일-홀 마스크(404)의 개구(406)를 선택적으로 통과함으로써 재구성될 수 있다. 단일-홀 마스크(404)의 위치(노출 사이의 개구 평면 가까이로 이동 개구(406)가 움직임)가 프로세서(410)에 의해 기록된다. 도 4A에 도시된 바와 같이, 이동 개구(406)는 빛(416)을 전달하고 센서(408)에 의해 검출된 제 1 포인트(414)를 생성한다. 도 4에 도시된 바와 같이, 제 1 노출중에 이동 개구(406)의 제 1 위치 정보가 프로세서에 의해 기록된다. 제 2 노출에 대해, 이동 개구(406)는 제 2 위치 B(도 4B에 도시됨)로 이동한다. 도 4B에 도시된 바와 같이, 이동 개구(406)는 빛(418)을 전달하고 센서(408)에 의해 검출된 제 2 포인트(420)를 생성한다. 제 2 노출 중에, 이동 개구(406)의 제 2 위치 정보가 프로세서(410)에 의해 기록된다. 제 1 포인트(414) 및 제 1 위치 정보, 제 2 포인트(420) 및 제 2 위치 정보가 사용되어, 제 1 노출로부 터의 제 1 포인트(414)와 제 2 포인트(420)의 위치를 매치한다. 선택적으로, 반사된 광선(414)의 색이 제 1 노출과 제 2 노출 사이에 변경되어 매칭 프로세스를 돕는데 사용될 수 있는 추가 정보를 제공할 수 있다.

유사하게 미스 매칭(불일치)의 문제가 도 4C에 도시된 바와 같은 개구(422)를 회전시킴으로써 경감될 수 있다. 복수의 이미지 획득이 시간에 따라 개구를 회전함으로써 타원형 개구에 관해 이루어진 경우에, 겹쳐진 이미지가 구별되고, 이로써 이미지 오버랩(겹침)에 의해 생기는 모호성이 줄어든다. 도면은 제 1 개구 위치(422)에서 개구를 가진 수평 평면에 위치한 두 개의 객체(424)에 의해 형성된 이미지 비교를 나타낸다. 제 1 개구 위치(432)에서, 객체의 이미지(426)가 오버랩되고 잠재적인 미스매치(불일치)를 일으킬 수 있다. 개구가 제 2 개구 위치(428)로 회전되는 경우에는, 형성된 이미지가 구별 가능하다(430).

(3.1) 단일 슬릿-개구 시스템

도 5A를 참조하면, 다중 f-스톱을 가지는 단일-개구 시스템(500)이 도시된다. 차등-모양 개구 시스템(500)은 렌즈(502), 실질적인 타원형의 개구(506)를 가지는 마스크(504), 센서(508), 및 센서(508)와 통신하는 프로세서(510)을 포함한다. 대략적인 타원형 개구(506)가 도시되었으나, 넓게는 폭보다 길이가 현저히 긴 개구라면 모양에 상관없이 사용될 수 있다.

조명된 객체(512)는 반사된 광선(514)이 선택적으로 렌즈 및 마스크(504)의 실질적 타원형인 개구(506)를 통과하도록 함으로써 재구성될 수 있다. 단일-개구 시스템(500)은 표준 원형 개구 대신에 길고, 좁은 슬릿-개구(506)를 사용한다. 실제로는 슬릿 개구(506)가 두 개의 방향으로 서로 다른 f-넘버를 가진다. 슬릿 개구(506)의 장축 길이는 센서(508)에 커다란 가변 디스크(516, variance disc)를 생성하는 작은 f-넘버를 생성한다. 반대로, 슬릿 개구(502)의 좁은 폭은 큰 f-넘버를 생성하고, 이는 변수를 최소화하여 포인트 소스의 이미지가 디스크(516, disc)보다는 라인(518)으로 표현된다. 명암도는 면적보다는 길이에 역으로 변경되는 것으로 생각될 수 있으다. 따라서 센서에서 요구되는 동적 범위가 순수-블러 시스템(pure-blur system)에 비해서 훨씬 줄어든다. 나아가, 생성된 이미지(516, 518)의 크기만이 한 방향으로 감소하여, 오버랩 가능성을 최소화한다.

또한, 도 5F에 도시된 바와 같이 슬릿 개구는 모양(542) 면에서 비대칭이 되게 형성될 수 있다. 비대칭의 목적은 객체가 초점 평면(550)의 전방(546) 또는 후방(548)에 위치하느냐를 결정한다. 초점 평면(550)의 후방(548)에 위치한 객체가 센서(544)에서 반전 이미지(552)를 생성할 것이나, 초점 평면(550)의 전방(546)에 위치한 객체는 일반적인 이미지(554)를 생성할 것이다. 그러나, 개구가 도 5A에서와 같이 대칭적인 모양(506)인 경우에, 초점 평면(550) 후방(548)에 위치한 객체에 의해 생성된 이미지(516)가 초점 평면(550)의 전압(546)의 대응하는 위치에 배치된 객체로와 구별되지 않는다. 비대칭 개구(542)를 이용하면, 초점 평면(550)의 전방(546) 및 후방(548)에 위치한 이러한 객체가 구별될 수 있다. 도 5F에 도시된 비대칭 개구(542)는 전체적으로 타원형 모양의 한쪽 끝 부분(말단)에 위치한 원형 홀을 가지나, 비대칭 모양의 개구는 어느 것이나 동일한 효과를 발생한다.

도 5B를 참조하면, 단일 개구 다중 f-스톱 시스템(500)으로부터 획득된 이미지(520)가 도시된다. 이미지(520)의 테두리(프레임, 522) 내에서, 서로 다른 Z-좌표를 가진 복수의 플롯(524, 526, 528, 530)이 도시된다. 이미지(520)로 도시되었으나, 도시된 정보는 조정되어 신호를 통해 처리를 위한 프로세서(510)로 전송된다.

도 5C를 참조하면, 도 5B의 획득 이미지의 테두리 영역(522)이 개구 이동에 대응하는 복수의 f-스톱 선(streak, 524, 526, 528, 530)을 검색하기 위해 처리된다. 복수의 f-스톱 선(524, 526, 528, 530) 모두가 검색되면, Z-대-L 관계를 결정하기 위한 규칙이 적용된다. 특히, 매칭이 필요하지 않다.

포인트 전부가 초점 평면 "L"의 전방에 위치하는 것으로 가정하면, 복수의 f-스톱 선(524, 526, 528, 530)이 Z-대-L 관계를 계산하는 데 사용된다. 프로세서(510)에 의해 결정된 매치 포인트(532, 534, 536, 538)의 예가 도 5D에 도시된다. 일반적으로, 센서(508)에 연결된 프로세서(510)가 센서로부터 획득된 가공하지 않은(raw) 데이터(raw data)를 수집하는데 이용될 수 있다. 프로세서(510)는 이어서 각각의 검출된 f-스톱 선(524, 526, 528, 530)의 심도 정보를 계산하기 위해 Z-대L 관계를 이용할 수 있다. 프로세서(510)는 또한 메모리를 포함할 수 있다. 메모리는 알고 있는 거리에서 이전에 샘플링된 포인트의 스케일 정보를 저장하는 데 사용될 수 있다. 스케일 정보는 인-라인 프로세싱(in-line processing)을 위해 이미지-획득 시스템 내 룩-업 테이블로 저장될 수 있다. 선택적으로, 스케일 정보는 프로세서에 의해 원격으로 저장되고 접속될 수 있다.

도 5B, 도 5C 및 도 5D에 도시된 결과는 도 5E에 도시된 것과 같은 진동하는, 단일-개구 시스템(540)을 사용하여 획득될 수 있다. 진동하는, 단일-개구 시스템(540)은 렌즈(502), 하나의 이동 개구(506)를 가지는 마스크(504) 및 센서(508)를 포함한다.

조명된 객체(512)는 반사된 광선(514)이 렌즈 및 마스크(504)의 실적인 타원형 개구(506)를 통과하도록 함으로써 재구성될 수 있다. 특히, 단일-개구 시스템(500)은 이동 개구(506)를 사용하여, 두 방향으로 서로 다른 f-넘버를 가지는 효과를 효과적으로 시뮬레이션한다. 이동 개구(506)가 A 및 B 방향으로 좌측에서 우측으로 조절가능하게 진동함에 따라(또는 적합한 다른 방향으로), A에서 B로의 이동 개구(506)의 순 변위(net displacement)는 낮은 f-넘버를 생성한다. A에서 B로의 수평 이동의 낮은 f-넘버는 센서(508)에 큰 가변 디스크(variance disc)를 생성한다. 나아가, 이동 개구(506)가 A에서 B로 이동함에 따라, 이동 개구(506)의 수직방향 지름에 대한 순 변경(net change)이 이루어지지 않는다. 이동 개구(506)의 일정한 높이는 따라서 높은 f-넘버를 발생하고, 이는 최소의 변수(variance)를 발생하여, 포인트 소스의 이미지가 디스크(516) 보다는 라인(518)으로 표현된다. 명암도는 특정한 축상 위치에서 개구(506)가 존재하는 시간에 의존한다. 따라서, 이러한 기술에 의해 생성된 이미지는 조광 직선(dimmer straight line)에 연결된 말단보다 더 밝은 것처럼 보인다. 나아가, 생성된 이미지(516, 518)의 크기가 한 방향에서 감소하고, 오버랩 가능성을 최소화한다.

일 측면에서, 본 발명은 이미지 장치(imager)에서 물리적으로 두 개의 개구 이미지를 간단히 연결함으로써 매칭의 모호성이 제거되는 이중-개구 시스템으로 생각될 수 있다. 개구(포인트 소스가 아님)를 통해 큰 객체를 영상화하는 경우에, 세 개의 이미지가 보일 수 있다. 중심 이미지는 객체의 이미지이고, 외곽의 두 개의 이미지는 회절 및 렌즈 효과의 결과로 형성된다. 객체의 크기가 감소함에 따라, 이는 포인트 소스에 근접하고, 제한적인 경우에, 포인트 소스 객체의 이미지가 개구와 동일한 모양을 가진다.

(3.2) 탈축 탈초점 개구를 가지는 대형 중앙 개구

"빛"이란 용어를 사용하였으나, 본 발명의 다양한 실시예를 기술할 때, 본 발명은 전자기 스펙트럼의 어느 부분에 대해서도 사용이 적합하며, 극초단파, 적외선 방사선, 자외선 방사선 및 X-레이를 포함하나 이에 한정되는 것은 아니다. "빛(또는 광)"이란 용어의 사용은 예시 목적을 위한 것이며, 전자기 스펙트럼의 가시광선 부분에 본 발명의 범위를 한정하기 위한 것이 아니다.

또한 불일치(미스매칭, mismatching)의 문제는 도 5G에 도시된 바와 같이, 하나 이상의 탈-축 탈초점 개구(558)와 함께 대형 중앙 개구(556)를 사용함으로 써 경감될 수 있다. 중앙 개구(556)는 전형적인 카메라에서와 같이, 중앙 가변 개구일 수 있다. 효과적으로는, 중앙 개구(556)가 탈초점 개구(558)와 다른 f-넘버를 가진다. 이는 객체(561)의 전체 이미지가 언제나, 탈초점 개구(558)로부터 중첩된 탈초점 도트(564)를 가진 중앙 개구(556)를 거쳐 센서(56)에 존재한다는 것을 의미한다.

객체 이미지를 언제나 이용할 수 있게 하는 것은 세 가지 목적이 있다. 첫째로, 이는 장치의 어디에 초점이 맞춰졌는지를 오퍼레이터가 알 수 있게 한다. 둘 째로, 중앙 개구에 의해 제공된 객체 이미지가 객체 표면의 맵을 생성하도록 탈초점 개구에 의해 영상화된 포인트의 물리적인 x-y-z 위치와 매치될 수 있다(이하의 섹션 4.0 "패턴 매칭" 참조). 마지막으로, 객체에 관하여 장치에 의해 생성된 이차원 이미지로부터 "POISE(position and orientation)"의 정확한 예측을 가능하게 한다. "POISE"를 결정하기 위한 다양한 방법이 종래기술로 잘 알려져 있다. 현재의 "POISE" 방법은 배경 이미지의 특성 도는 사전-위치결정된 마크 포인트를 이용하여 이들을 예측한다. 배경 이미지의 특성의 이용하는 경우에, 카메라 위치는 적절한 회전, 디-래핑(de-wraping) 및 다른 카메라 위치로부터 중앙 개구에 의해 획득된 실제 이미지의 크기 조정(scale)에 의해 얻을 수 있다. 빛 투영 시스템이 사용되는 경우에, 객체에 투영된 그리고 중앙 개구를 통과하여 영상화된 빛의 포인트가 카메라 위치를 획득하는데 사용될 수 있다. 본 발명과 함께 이용하기 위한 "POISE" 방법의 적합한 예를 미국 특허 출원 공개 번호 2007/0103460A1(Zhang 등, 제목 "Determinign Cameral Motion"), 미국 특허 출원 공개 번호 2007/0008312A1(Zhou 등, 제목 "Method for Determing Camera Position from Two-Dimensional Images that form a Panorama", 국제 출원 번호 PCT/US2006/030724 (3M Innovative Properties Company, 제목 "Determining Camera Motion"), 그리고 로위, 데이비드 지(Lowe, David G)의 저술 ("Three-Dimensional Object Recognition from Single Two-Dimensional Images", Artificial Intellignece, 31, 3 (1987. 03), pp.355- 395)에서 찾아볼 수 있다.

중앙 개구가 배치(POISE)를 위한 가치있는 정보를 제공하나, 이는 과밀(overcrowding) 문제를 일으킨다. 본 발명의 일 실시예에서, 도 5H에 도시된 바와 같이, 탈축 탈초점 개구(558) 배열을 가지는 중앙 개구(556)가 객체(561)의 표면으로 사전 지정된 패턴의 빛(566)을 투영하기 위한 광 프로젝터(564)와 연결된다. 사전 지정된 패턴(566)이 탈초점 개구(558)를 통해 탈초점화되고, 패턴 이미지(568)에서의 탈초점 크기가 객체(561)에 관한 심도 정보를 결정하는 데 사용된다. 이러한 구성의 잠재적인 문제점은 중앙 개구가 투영된 패턴 내 모든 포인트의 이동하지 않은(탈초점되지 않은) 이미지를 생성할 것이며, 이는 탈초점 개구에 의해 생성된 탈초점 포인트를 간섭할 수 있다는 것이다. 투여된 빛의 파장을 선택적을 필터링하기 위해 중앙 개구(556)(수평 라인으로 표현) 에 위치한 광학 필터와 연결된 협대역 광원을 사용함으로써, 중앙 개구에 의해 생성된 이동되지 않은 이미지가 제거될 수 있다. 추가로, 탈초점 개구(558) 상의 결합 필터(conjugate filter)(투영된 빛의 파장만을 통과시키는 수직 라인의 표시)는 객체의 이미지가 탈축(off-axis) 탈초점 개구를 통과하지 못하게 할 수 있다. 따라서 객체 이미지(560)가 블러되도록(희미해지게) 한다.

나아가, 복수의 탈초점 개구를 사용하는 경우에, 탈초점 개구가 중앙 개구에 대해 비대칭적으로 배치되면, 포인트의 이미지가 이러한 특이성(distinction)을 포함하고, 이미지의 방향은 형성 포인트가 렌즈의 초점 평면의 전방 또는 후방에 존재하는지 여부를 표시한다. 이러한 기술은 이전에 설명된 바와 같은 단일한 비대칭 개구를 사용하는 것과 동일한 기능을 수행한다.

마지막으로, 중앙 개구를 부가하는 것은 두 개의 탈초점 개구 시스템을 가지는 시스템에 유용한 기준 정보를 제공할 수 있으나, 셋 이상의 탈초점 개구를 가지는 시스템에 응용되는 데 제한이 있는 것은 아니다.

(3.3) 전자 마스크 개구

도 6A 및 도 6B를 참조하면, 전자적 마스크 영상화 시스템(600)이 도시되며, 이는 렌즈(602), 개구 플레이트(604), 다중-윈도우 전자 개구(606), 센서(608), 그리고 센서(608) 및 개구 플레이트(604)에 연결된 프로세서(610)를 포함한다. 적합한 개구 플레이트(604)의 실시예는 센서(608)와 전적으로 동기화될 수 있는 LCD(Liquid crystal display)를 포함하나, 이에 제한되는 것은 아니다. 일 측면에서, 감도는 개구의 "탈축 정도(off-axisness)"를 변경함으로써 제어될 수 있다. 조명된 객체(614)는 반사된 광선(616)이 렌즈(602) 및 다중-윈도우 전자 개구(606)의 여러 윈도우 중 하나를 선택적으로 통과하도록 함으로써 재구성될 수 있다.

도 6A에 도시된 바와 같이, 다중-윈도우 전자 개구(606)의 제 1 윈도우(612)는 빛(618)을 전달하고, 센서(608)에 의해 검출된 제 1 포인트(620)를 생성한다. 제 1 노출 중에, 제 1 개방 윈도우(612) 위 정보가 프로세서(610)에 의해 기록된다.

제 2 노출을 얻기 위해, 다중-윈도우 전자 개구(606)의 제 2 윈도우가 개방된다. 도 6B에 도시된 바와 같이, 다중-윈도우 전자 개구(606)의 제 2 윈도우(622) 가 빛(624)을 통과하도록 하고, 센서(608)에 의해 검출된 제 2 포인트(626)를 생성한다. 제 2 노출 중에, 제 2 개방 윈도우(622) 위치 정보가 프로세서(610)에 의해 기록된다. 제 1 포인트(620) 및 제 2 개방 윈도(612) 위치 정보 그리고 제 2 포인트(626) 및 제 2 위치 개방 윈도우(622) 위치 정보가, 제 2 포인트(626)의 정보와 제 1 노출로부터의 제 1 포인트(620)를 매치하는 데 사용된다.

(4.0) 패턴 투영에 의한 패턴 매칭

관심 대상 객체가 모양이 매치될 표면이면, 사전 지정된 패턴의 마커가 표면 상에 투영될 수 있고, 검출된 이미지의 포인트는 투영된 마커의 관련 위치를 측정함으로써 샘플링될 수 있다. 센서의 허용가능한 영상화된 도트의 밀도 상한이 영상화 시스템의 상한이다. 포인트가 각각의 뷰(view)에서 식별되면, 동일한 포인트가 양쪽의 뷰에 존재하는가 하는 의문이 남는다. 다른 측면에서, 매핑될 체적(volume)이 체적 내 비대칭 셀의 집합체를 포함하는 경우에, 셀의 모양 및 배열은 내부-뷰 매칭에서 추가적인 제한 요소로 사용될 수 있다. 따라서, 미스매치(불일치)가 발생할 경우를 감소시킨다. 이러한 측면을 "특성 매칭(feature matching)"이라 한다.

도 7A를 참조하면, 관심 대상 객체의 표면에 투영되기 적합한 어드레스 템플릿 패턴(700)을 나타낸다. 어드레스 템플릿 패턴(700, addressable template pattern)은 타겟 표면에 투영되거나 물리적으로 배치되고, 객체로부터 여러 거리(Z)에서 영상화 시스템에 의해 캡쳐된다. 일 예에서, 어드레스 템플릿 패턴(700)은 구별가능한 센터 포인트(702)를 가지는 그리드 패턴의 형태이다.

도 7B를 참조하면, 어드레스 템플릿을 사용하는 대상 객체를 촬영한 획득 이미지(704)가 도시된다. 도시된 바와 같이, 일부 도트(706, 708, 710, 712)가 획득 이미지(704)에서 사라진다.

도 7C를 참조하면, 부분 그리드(714)를 포함하는 획득된 이미지(704)가 도시된다. 어드레스-패턴(702)이 배열된 경우에, 구별가능한 원점(origin)을 가지는 그리드 패턴(714)은 "구조화된 패턴 매칭"과 같은 방법을 이용하여 필요한 뷰포인트, 또는 이미지 획득의 수를 둘(two)로 줄일 수 있다. 어드레싱 알고리즘(예를 들면, 프로세서에 의해 실행되거나 컴퓨터-판독 매체에 저장된 것)은 템플릿 패턴에 따라 어드레스-패턴(704) 내의 각각의 도트의 관련 어드레스를 찾아내도록 각 개구의 이미지를 처리한다. 어드레스 템플릿 패턴(700)의 일 예가 도 7A에 도시된다. 어드레싱 알고리즘은 어드레스-패턴(704)을 변형시키기 위한 일부 허용 오차를 가진(도 7B 및 7C 참조). 어드레스-패턴(704)의 변형은, 원래 어드레스 템플릿 패턴(700)과 비교할 때 두드러진다(도 7A 참조). 나아가, 어드레싱 알고리즘은 획득 이미지(704)에서 사라진 엔터티(entity, 706, 708, 710, 712)를 고려할 수 있다. 사라진 정보는 어드레스 템플릿 패턴(700) 상의 포인트가 어드레스-패턴(704)에서 보이지 않는 경우에 사라진 것으로 간주한다.

도 7C의 중심 샘플(716)의 재구성 도면이 도 7D에 도시된다. 포인트는 동일한 어드레스를 가지는 각 도트 쌍에 대한 Z를 계산함으로써 재구성된다. 사라진 도트를 가지는 도트 쌍은 어느 것도 재구성되지 않는다.

(4.1) 패턴 프로젝터(비-레이저)

도 8A를 참조하면, 비-레이저 패턴 프로젝터(800) 및 영상화 시스템(802)이 도시된다. 비-레이저 패턴 프로젝터(800)는 영상화 시스템(802)의 영상화 렌즈(806)와 동일한 렌즈(804)를 포함한다. 비-레이저 패턴 프로젝터(800)의 렌즈(804)는 영상화 시스템(802)의 렌즈(806)와 빔스플리터(808)로부터 동일한 거리에 배치된다. 이는 영상화 시스템(802)의 센서(816)에 의해 검출된 주요 광선(814)과 투영된 포인트(812)의 주요 광선(810)이 투영된 포인트(812)의 주요 관선(810)과 일치되게 한다. 따라서, 투영된 포인트(812)와 영상화 렌즈(806)의 초점 평면(820) 사이의 거리가 변경된 경우에도, 투영된 패턴(818)은 검출된 이미지로 이동하지 않은 것처럼 보인다. 이는 일부 포인트(예, 도트)가 사라진 경우에도, 어드레스-패턴(818)을 훨씬 더 쉽게 식별할 수 있도록 한다.

각 뷰포인트로부터의 이미지가 물리적으로 분리되는 것이 선행 조건이며, 이는 사진 측량법과 같은 실제 다중-센서 시스템에서 당연한 것이나, 탈초점 개념(단일 센서로 영상화하는 단일 렌즈 상의 다중 개구)과 같은 시스템에 있어서는 특별한 주의를 요한다.

투영된 패턴(818)은, 패턴 스텐실(824)과 영상화 렌즈(806)와 실질적으로 동일한 렌즈(804)를 가지는 프로젝터 렌즈 시스템(826)을 빛(822)이 통과하도록 함으로써 발생된다.

단일-렌즈 시스템에 관하여, 개구 이미지가 반드시 분리되야 한다. 이는 프리즘(도 8B 및 8C 참조) 또는 광섬유 번들을 이용하여 각 개구가 분리된 센서로 투영하게 하거나, 센서가 색 센서인 경우에, 물리적으로 마스크 처리된 개구(도 8D 및 8E) 참조을 이용하여 달성될 수 있다.

도 8B를 참조하면, 두 개의 프리즘 오프-셋 및 이중-센서 시스템(828)이 도시된다. 시스템(828)은 제 1 프리즘(830), 제 2 프리즘(832) 및 마스크와 이중-슬릿 개구(838) 뒤에 위치한 제 1 센서(834) 그리고 제 2 센서(836)를 포함한다. 제 1 프리즘(830) 및 제 2 프리즘(832)은 제 1 프리즘(830) 및 제 2 프리즘(832)을 통해 전달된 빛이 별개의 센서(834, 836)에 의해 검출될 수 있게 이중-슬릿 개구(838)로부터 들어오는 빛(840, 842)을 상쇄한다. 이중-슬릿 개구(838)가 빛의 고유 속성에 근거하여 정보를 코드화하는 데 사용되거나, 어드레스-패턴 기술이 이용되는 경우에서와 같이 빛이 분리되어야 할 때 이러한 구성이 사용될 수 있다. 적합한 고유 송성은 주파수, 또는 코드화 하여 전달된 빛 검출 이미지의 편광을 포함하나, 이에 제한되는 것은 아니다.

도 8C를 참조하면, 하나의 은 오프셋 프리즘과 이중-센서 시스템(844)이 도시된다. 시스템(844)는 은 프리즘(846, silvered prism), 제1 센서(848), 그리고 마스크 및 이중-슬릿 개구(852) 뒤쪽의 제 2 센서(850)를 포함한다. 은 프리 즘(846)은 이중 슬릿 개구(852)로부터 들어오는 빛(854)의 제 1 번들을 상쇄하여 은 프리즘(846)을 통해 전달된 빛이 제 1 센서(848)에 의해 검출되도록 한다. 선택적으로, 이중-슬릿 개구(852)를 통과한 빛(856)이 제 2 센서(850)에서 구분되어 검출될 수 있게 한다.

도 8D를 참조하면, 삼중 CCD-센서 어셈블리 시스템(858)이 도시된다. 시스템(858)은 마스크 및 이중 슬릿 개구(862) 뒤쪽에 위치한 삼중 CCD-센서(860)를 포함한다. CCD-센서(860)는 청색 센서(862), 녹색 센서(864) 그리고 적색 센서(866)를 포함한다. 프리즘(868)의 시스템은 이중-슬릿 개구(856)로부터 들어오는 빛(870)을 상쇄하여 프리즘(868)을 통해 전달된 빛이 적색 센서(866)에 의해 검출될 수 있도록 한다. 선택적으로, 이중 슬릿-개구(852)를 통과한 빛(872)은 녹색 센서(864)에서 별개로 검출될 수 있다.

도 8E에는 협대역 미러 센서 어셈블리 시스템(874)이 도시된다. 시스템(874)은 협대역 미러(876)(마스크 및 이중-슬릿 개구(878) 뒤에 위치함), 및 제 1 센서(880) 그리고 제 2 센서(882)를 포함한다. 이 시스템의 협대역 미러(876)는 이중-슬릿 개구(878)로부터 들어오는 빛의 제 1 번들을 상홰하여, 협대역 미러(876)을 통해 전달된 빛이 제 1 센서(880)에 의해 검둘될 수 있도록 한다. 선택적으로, 이중-슬릿 개구(878)을 통과한 빛(886)이 제 2 센서(882)에서 별개로 검출될 수 있다.

(4.2) 패턴 프로젝터(레이저)

어느 렌즈든 두 개의 "주요 평면"에 의해 표현될 수 있다. 평면의 위치는 렌즈의 기능이며, 모든 주요 광선(포인트에 대한 이미지 중심선을 정의함)은 제 1 주유 평면으로 입사되고 축에 위치한 제 2 주요 평면에서 나가는 것처럼 이동한다.

전방 주요 평면의 위치와 뷰의 필드의 치수를, 원하는 패턴과 회절 격자가 형성될 수 있으며 레이저 프로젝터로부터의 빔이 영상화된 도트의 주요 관성과 일치하도록 배치될 수 있다. 따라서, 투영된 패턴은, 투영된 도트와 영상화 렌즈의 초점 평면 사이의 거리가 변할 때에도 이미지 내로 이동하지 않는 것처럼 보인다. 이는 일부 도트가 영상화되지 않는 경우에도 어드레스-패턴을 쉽게 검색할 수 있게 한다.

복합 렌즈를 통과한 복합 광선 트레이스(여기서 광선은 각 에어/글라스 인터페이스에서 비틀린다)가 광선이 비틀리는 두 개의 평면으로 수학적으로 표현될 수 있다. 따라서, 좌측 이미미는 "실제" 광선 트레이스를 나타내고, 우측 이미지는 이러한 렌즈의 수학적 표현을 나타낸다. 평면은 제 1 글래스 인터페이스로 입사되어최종 글래스 인터페이스로 나가며, 렌즈의 축과 교차하도록 확장되 제 1 광선(또는 주요 광선)을 취하여 구성된 것이다. 교차 지점(intersection)은 평면의 위치를 표시한다.

따라서, 먼저 측정을 하고(복수의 Z-거리에서 그리드를 영상화함으로써), 이어서 두 개의 평면이 존재하는 곳이 어디인지 그리고 뷰 각의 필드가 무엇인지를 찾아내도록 최소 제곱법(least-squares type)을 실행한다. 따라서, 레이저 빔은 주요 광선의 정확한 경로를 따라간다.

동작시, 객체가 렌즈에 가까워질 수록, 이미지가 더 크게 보인다. 이는 이미지상에서 객체의 에지가 수형으로 이동한다는 것을 의미한다. 동일한 내용은 표면 상으로 카메라의 전압에서 투영된 패턴에도 적용된다. 광선은 도 9에 도시된 예에서 정확히 매치됨으로써, Z-위치에도 상관없이 포인트가 수평으로 전혀 이동하지 않는다.

이제, 이중-홀 개구 마스크가 부가되는 경우에, 대응하는 도트가 서로 떨어져 이동한다(도트(이미지)가 외곽 광선(outer ray)에 의해 형성됨). 그러나, 주요 광선이 수평 방향으로 이동하지 않기 때문에, 대응하는 "매치 형태(match shape)"의 중심이 수평방향으로 이동하지 않을 것이다. 어드레스-패턴의 구별가능한 도트가 배치되기만 하면, 그 매치의 중심을 찾아낼 수 있다. 패턴이 수평방향으로 확장하지 않는 다는 것을 안다면, 패턴상의 다른 모든 포인트의 중심이 존재해야하는 곳을 알게되고 이는 포인트의 "어드레싱(addressing)"를 돕니다.

포인트가 모두 서로에 대해 이동하는 경우에는, 이 방법이 전통적인 어드레스-패턴 검색보다 어렵다. 따라서 표면 Z-변경이 많은 경우에, 패턴을 재구성하지 못할 수도 있다.

도 9를 참조하면, 레이저 프로젝터 시스템(900) 및 영상화 시스템(902)이 도시된다. 레이저 패턴 프로젝터 시스템(900)은 레이저 프로젝터(904) 및 필터 마스크(906)를 포함한다. 필터 마스크(906)는 선택적으로 프로젝터(904)로부터 50% 빔 스플리터(908)로 빛을 통과시킨다. 레이저 프로젝터(904) 및 필터 마스크(906)는, 투영된 포인트(912)의 주요 광선(910)이 영상화 시스템(902)의 센서(916)에 의해 검출된 주요 광선(914)과 일치하게 하는 빔스플리터(908)와 일맥상통한다. 따라서, 투영된 포인트(912)와 영상화 렌즈(906)의 초점 평면(920) 사이의 거리가 변경되는 경우에도, 투영된 패턴(918)은 검출된 이미지 내로 이동하지 않는 것처럼 보인다. 이는 일부 포인트(예, 도트)가 사라지는 경우에도 어드레스-패턴(918)을 훨씬 쉽게 식별하도록 한다.

(5.0) 영상화 방법

도 10을 참조하면, 객체 표면의 이차원 또는 삼차원 화상을 만들기 위해 이미지를 획득하고 처리하는 단계를 나타내는 흐름도가 도시된다. 단일-렌즈 장치는 영상화 렌즈, 구별가능한 이미지를 발생하는 개구, 센서 및 프로세서를 포함하도록 구성되거나 변경될 수 있다.

객체(1000)의 표면을 조정함으로써 영상화 프로세스가 시작된다. 표면이 영상화 시스템 또는 적합한 외부 광원(조명원)에 의해 조명될 수 있다. 빛이 객체의 표면으로부터 반사되고 개구(1010)를 통해 전달된다. 개구는 영상화 렌즈의 평면에, 영상화 렌즈의 전방에, 영상화 렌즈의 후방방에 배치될 수 있으며, 액세스 가능한 경우에 영상화 렌즈의 개구 평면에 적용되거나, 릴레이 렌즈 시스템으로 통해 액세스될 수 있다.

빛이 개구를 통과함에 따라, 개구는 센서에 의해 수신된 정보를 코드화하기 위해 여러 방법으로 사용될 수 있다. 일 예에서 센서 상에 구별가능한 이미지(102)를 생성하도록 빛을 코드화할 수 있는 적합한 방법으로 광 특성에 따라 전달될 빛 을 필터링(파장 또는 편광에 의한 필터링)하는 것 시간의 함수로 구별가능한 이미지가 개구를 통과하도록 시간의 함수로 빛을 전달하는 것, 또는 개구를 통해 전달된 빛이 구별가능한 모양-기반 이미지를 생성하는 일련의 서로 다른 모양을 포함하도록 개구의 모양을 물리적으로 변경하는 것을 포함한다. 그러나 이에 한정되는 것은 아니다.

시스템이 추가 이미지(1030)을 획득하는지 여부를 결정하도록 돕는 동작이 구현될 수 있다. 이 동작은 획득된 이미지의 적합성을 고려하도록 확장될 수 있다. 예를 들어, 노출 중의 초과 이동이 문제가 된 센서에 의해 검출된 이미지가 알고리즘에 의해 버려질 수 있다. 이 경우에, 최종 획득된 이미지가 버려지고, 프로세스는 객체(1000)를 조명하여 다시 얻어진다. 다른 예로, 수신된 이미지가 처리에 적합하나, 더 많은 획득 이미지가 필요할 수 있다(1030). 이 경우에, 추가 결정이 더해지도록 알고리즘을 추가로 강화할 수 있다. 예를 들어, 영상화 시스템의 뷰포인트가 조절되어야 하는지 여부를 결정하기 위한 결정을 부가하는 것이 있다. 영상화 장치의 위치 또는 객체의 원하는 영역이 이동될 필요가 있는 경우에, 영상화 시스템 또는 대상 객체 중 어느 하나가 뷰포인트를 조절하도록 변경될 수 있다(1050).

이미지 전부 또는 일부가 획득되면, 각 이미지 내의 포인트 사이의 관계, 또는 포인트 정보가 각 포인트에 대한 상대적인 또는 절대 거리 정보를 계산 하거나 결정하는 데 사용된다(1060). 거리 정보가 알려지면, 객체(1070)의 화상(예, 3-D 매핑)을 발생하도록 거리 정보를 사용하는 알고리즘으로 정보가 공급될 수 있다.

(6.0) 이미지 매칭

다중 노출 획득(multiple exposure acuisitions)을 필요로하는 대형 객체 또는 애플리케이션에 대해, 이미지 매칭은 관련 이미지 획득이 객체 표면을 재구성하도록 함께 연결하는 방법을 제공한다. 대상 객체를 재구성하는데 필수적인 것은 아니나, 대상 객체에 관하여 영상화 시스템의 위치가 알려지면, 이미지 매칭은 정확한 치수로 대상 객체를 재구성할 수 있다. 일반적으로 디지털 퀼팅이라 불리는 이미지 매칭은 어드레스-패턴 템플릿 이미지의 사용에 의해 크게 도움을 받는다. 일 예에서, 어드레스-패턴 프로젝터가 획득 장치에 물리적으로 연결될 수 있다. 다른 예에서, 어드레스 패턴 프로젝터가 장치에 독립적으로 움직일 수 있으나, 장치에 의해 보이는 패턴이 어드레스로 불러낼 수 있는 방식으로 이동한다.

영상화 장치는 초기 위치에서 어드레스-패턴 템플릿 이미지를 획득한다. 어드레스-패턴 템플릿 이미지는 전형적으로 X, Y, 및 Z-평면에 고정된 수의 포인트를 가진다. 영상화 장치의 위치가 조절되고, 제 2 어드레스-패턴 템플릿 이미지가 제 2 위치에서 획득된다. 동작 제약 조건을 넘도록 결정된 조정 위치가 무시되도록 사전 대책을 취할 수 있다. 제 2 위치 또는 조정 위치는 6-변수 솔리드 병진 및 회전(six-variable solid translation and rotation)에 의한 초기 영상화 장치 위치에 관계된다. 전형적으로, 조정 위치는 새로운 위치에서 캡쳐된 이미지가 제 1 템플릿 이미지와 일부 겹치고 실질적으로 유사한 수의 포인트를 가진다는 사실에 의해 초기 위치에 관련된다.

동작시, 하나 이상의 외곽 선체(hull)가 프로세서에 의해 발생되거나, 사용 자에 의해 수동으로 강조될 수 있다. 외곽 선체는 어드레스-패턴 템플릿 이미지와 어드레스-패턴 표면 이미지내의 모든 포인트를 둘러싼다.

이 경우에 항상 그런것은 아니나, 어드레스-패턴 템플릿 이미지 외곽 선체 외부의 포인트가 버려질 수 있다. 어드레스-패턴 표면 이미지 내의 포인트의 복수의 내부 선체가 생성된다. 내부 선체는, 6-변수 솔리드-바디 병진 및 회전에 따른, 복수의 선체의 교차 지점 내에서의 획득(acqusition) 사이의 최대 수용 변위의 함수이다. 에러가 어드레스-패턴 표면 이미지 및 어드레스-패턴 템플릿 이미지 상의 포인트 사이의 변수로부터 계산될 수 있다.

선체가 발생되었을 때, 어드레스-패턴 정보가 매칭 알고리즘을 사용하여 처리된다. 매칭 알고리즘은 어드레스-패턴 표면 이미지 상의 각 포인트 및 어드레스-패턴 템플릿 이미지 상의 대응 포인트 사이의 거리를 결정하도록 구성된다. 매치된 포인트 각각이 솔리드-바디 병진에 따라 복수의 내부 선체(inner hull)로부터 형성되고 고 해상도 데이터 세트를 형성하도록 회전과 결합된다.

수백 또는 수천의 획득(acquisition)이 매치되면, 잘-정의된 포인트 클라우드가 솔리드-바디 병진 및 회전에 따라 병합된다. 어드레스-패턴 정보를 사용하는 알고리즘이 대상 객체의 특성을 복구하는데 충분한 매칭 포인트가 존재하는지 여부를 결정하는데 적용될 수 있다. 잘-정의된 포인트 클라우드가 발생되면, 고-해상도 포인트 클라우드가 지오매직 스튜디오(Geomatic Studio)와 같은 표준 알고리즘 또는 상업 패키지를 통한 보간법(interpolation)을 이용하거나 이용하지 않고 고-해상도 표면(너브(nurbs), 매쉬(meshes) 등)을 발생 또는 출력하는 데 사용될 수 있 다. 지오매직 스튜디오는 지오매직 사(미국, NC 27709, 리서치 트라이앵글 파크, 스위치 300, 케이프 피어 빌딩, 이스트 Hwy 54, 3200에 위치함) 제품이다.

전체 에러가 소정의 임계치(이는 장치의 정밀도의 함수이다) 이하인 경우에 핏(fit)이 만족스럽다고 여겨진다. 이것이 이루지면, 조정 위치에서의 제 2 획득이 템플릿이 되고, 다음 획득이 그것에 매치될 표면이 된다. 매칭 알고리즘에서 어드레스-패턴 정보의 견고성(robustness)은, 충분한 획득을 이용할 수 있을 때까지 표면 모양을 보간하지 않고, 작은 세트(small set)에 작은 세트를 매칭하도록 한다.

도 11은 이미지 재구성을 돕는 어드레스-패턴의 용도를 나타내는 흐름도이다. 표면 특성 획득 중에 어드레스-패턴의 사용은 분리된-뷰포인트 삼차원 영상화 시스템에서 사용된 일치 검색(correspondence search)를 생략하는 하나의 방식이다.

시작 프로세스(1100)가 복수의 이미지의 획득으로 시작된 후에, 이미지 각각은 어드레스 패턴(1102)(으로 조명되는 것)을 포함한다. 어드레스-패턴이 객체의 표면의 윤곽에 대해 변화가 없음에도, 각 이미지는 다른 뷰포인트(viewpoint)로부터 얻어진다. 복수의 이미지 각각은 어드레스-패턴 정보의 일부 또는 저부를 포함하고 하나 이상의 포인트는 대상 객체의 하나 이상의 측면을 표현한다. 본 발명이 속하는 분야의 기술자라면, 객체가 객체 상의 다양한 포인트를 포함한다는 것을 알 수 있다. 각 포인트는 객체의 최종적인 재구성에 관하여 중요한 정보를 제공할 수 있다.

어드레스는 어드레싱 동작(1110)에서 이미지 내의 각 포인트에 할당된다. 일 반적으로, 어드레스-패턴은 어드레싱 동작(1110)을 보조하기 위해 참조될 수 있는 객체 상의 일련의 플롯을 제공한다. 주요하게, 어드레스-패턴은 대칭이거나 규칙적인 마커 또는 이미지 시퀀스를 포함할 필요가 없다. 일 예에서, 적합한 어드레스-패턴 정보는 색 시퀀스 패턴을 포함을 포함할 수 있으며, 패턴은 서로 다른 모양의 객체, 위치 시퀀스 패턴, 구별가능한 객체 특성 또는 객체 랜드마크 또는 이들의 조합을 포함한다. 어드레스-패턴은 다양한 방식으로 객체의 표면에 배치될 수 잇다. 일 예에서, 적합한 방법은 객체의 표면으로 어드레스-패턴 이미지를 투영하는 단계, 객체의 표면으로 어드레스 패턴 이미지를 물리적으로 배치하는 단계, 그리고 객체 고유한 특성을 이용하여 소스로 영상화되게 하는 단계를 포함하나, 이에 한정되는 것은 아니다.

추가 이미지(1120)를 획득해야 하는지 여부 결정시 시스템을 보조하는 동작이 구현될 수 있다. 이 동작은 획득된 이미지의 적합성을 가늠하도록 확대될 수 있다. 예를 들어, 노출 중에 과도하게 이동한 센서에 의해 검출된 이미지가 알고리즘에 의해 버려질 수 있다. 이 경우에, 최종 획득된 이미지가 버려지고, 프로세스가 객체(1102)를 조명하는 것으로 반복될 수 있다. 다른 예에서, 어드레스-패턴을 가지는 수신된 이미지가 프로세스에 적합하나, 추가 이미지가 객체를 재구성하는 데 필요할 수 있다. 이 경우에, 알고리즘을 확대하기 위해 추가 결정 프로세스가 부가될 수 있다. 알고리즘의 예로는 영상화 시스템의 뷰포인트(viewpoint)가 조정될 것인지 여부를 판단하는 결정(1130)을 부가하는 것이다. 영상화 장치의 위치 또는 객체의 원하는 영역이 이동될 필요가 있는 경우에, 영상화 시스템 또는 대상 개체 중 어느 하나가 뷰포인트(1140)를 조정하기 위해 변경될 수 있다.

이미지의 전부 또는 일부가 획득된 경우에, 각 이미지 내의 포인트 사이의 관계, 또는 포인트 정보가 각 포인트의 상대적인 또는 절대 거리 정보를 계산 또는 결정하는 데 사용된다. 이는 어드레스 리스트로 저장된다. 거리 정보가 알려지면, 정보는 객체(1160)의 화상을 발생하기 위해 거리 정보를 사아용하는 알로리즘으로 입력될 수 있다.

도면 및 관련 설명이 본 발명을 실시예를 표현하기 위해 제공되나, 본 발명의 범위가 이에 한정되는 것은 아니다. "일 실시예"에 대한 명세서에서의 참조부호는 특정한 형상, 구조 또는 특성(실시예와 연결하여 설명됨)이 본 발명의 실시예에 포함되는 것을 나타내기 위한 것이다. 명세서의 여러 곳에서 쓰인 "일 실시예에서"라는 구문이 모두 동일한 실시예를 참조하는 것일 필요는 없다.

실시예가, 흐름도(플로우 차트), 플로 다이어그램, 구조 다이어그램, 블록 다이어그램으로 표현된 프로세스로 게시된다. 플로우 차트가 연속된 프로세스로서 동작의 여러 단계를 게시할 것이나, 많은 동작이 병렬적으로 또는 동시에 수행될 수 있다. 단계는 본 발명의 범위를 제한하고자 하는 것이 아니며 각 단계가 방법에서 필수적인 것임을 나타내고자 하는 것도 아니다. 다만 예로서 제시된다.

상술한 본 발명의 실시예들은 단지 예시와 설명을 위한 것일 뿐이며, 본 발명을 설명된 형태로 한정하려는 것이 아니다. 따라서, 다양한 변화 및 변경을 할 수 있음은 본 발명이 속하는 분야의 당업자에게 자명하다. 또한, 이 명세서의 상세한 설명이 본 발명의 범위를 제한하는 것은 아니다. 본 발명의 범위는 첨부된 청구 항에 의해서 정의된다.

Claims

렌즈;

상기 렌즈를 가리는 복수의 공간-바이어스 개구;

상기 렌즈와 상기 복수의 공간-바이어스 개구를 통해 객체로부터 전달된 전자기 복사선을 캡쳐하는 센서; 그리고

센서 정보를 처리하고 상기 객체의 삼차원 이미지를 생성하기 위해 상기 센서와 연결된 프로세서

를 포함하는 것을 특징으로 하는 삼차원 영상화 장치.
제 1 항에 있어서,

상기 복수의 공간-바이어스 개구는 두 개의 개구를 포함하는 것을 특징으로 하는 삼차원 영상화 장치.
제 2 항에 있어서,

상기 복수의 공간-바이어스 개구는 각각 모양을 가지며, 상기 공간-바이어스 개구 중 하나 이상의 모양이 나머지 개구의 모양과 다른 것을 특징으로 하는 삼차원 영상화 장치.
제 2 항에 있어서,

상기 복수의 공간-바이어스 개구는 각각 크기를 가지며, 상기 공간-바이어스 개구 중 하나 이상의 크기가 나머지 개구의 크기와 다른 것을 특징으로 하는 삼차원 영상화 장치.
제 2 항에 있어서,

상기 복수의 공간-바이어스 개구가 각각 렌즈를 가리는 광학 축의 중심으로부터 일정한 거리에 배치되며, 상기 광학 축의 중심으로부터 상기 공간-바이어스 개구 중 하나 이상의 개구의 거리가 나머지와 다르고, 이로써 객체에 의해 발생된 이미지가 일련의 시간-지연 영상화 중에 이미지 장치 상의 위치를 변경하는 속도(rate)가 상기 광학 축의 중심으로부터 각 개구의 거리에 의해 결정되는 것을 특징으로 하는 삼차원 영상화 장치.
제 1 항에 있어서,

상기 복수의 공간-바이어스 개구는 각각 모양을 가지며, 상기 공간-바이어스 개구 중 하나 이상의 개구의 모양이 나머지와 다른 것을 특징으로 하는 삼차원 영상화 장치.
제 1 항에 있어서,

상기 복수의 공간-바이어스 개구는 각각 크기를 가지며, 상기 공간-바이어스 개구 중 하나 이상의 개구의 크기가 나머지와 다른 것을 특징으로 하는 삼차원 영 상화 장치.
제 1 항에 있어서,

상기 복수의 공간-바이어스 개구가 각각 렌즈를 가리는 광학 축의 중심으로부터 일정한 거리에 배치되며, 상기 광학 축의 중심으로부터 상기 공간-바이어스 개구 중 하나 이상의 개구의 거리가 나머지와 다르고, 이로써 객체에 의해 발생된 이미지가 일련의 시간-지연 영상화 중에 이미지 장치 상의 위치를 변경하는 속도(rate)가 상기 광학 축의 중심으로부터 각 개구의 거리에 의해 결정되는 것을 특징으로 하는 삼차원 영상화 장치.
객체로부터 전달되며, 렌즈 및 센서를 가지는 복수의 공간-바이어스 개구를 통과한 빛을 캡쳐하는 단계; 그리고

객체의 삼차원 이미지를 생성하기 위해 상기 센서로부터의 정보를 처리하는 단계

를 포함하는 것을 특징으로 하는 삼차원 영상화 방법.
제 9 항에 있어서,

상기 복수의 공간-바이어스 개구는 두 개의 개구를 포함하는 것을 특징으로 하는 삼차원 영상화 방법.
제 10 항에 있어서,

상기 복수의 공간-바이어스 개구는 각각 모양을 가지며, 상기 공간-바이어스 개구 중 하나 이상의 모양이 나머지 개구의 모양과 다른 것을 특징으로 하는 삼차원 영상화 방법.
제 10 항에 있어서,

상기 복수의 공간-바이어스 개구는 각각 크기를 가지며, 상기 공간-바이어스 개구 중 하나 이상의 크기가 나머지 개구의 크기와 다른 것을 특징으로 하는 삼차원 영상화 방법.
제 10 항에 있어서,

상기 복수의 공간-바이어스 개구가 각각 렌즈를 가리는 광학 축의 중심으로부터 일정한 거리에 배치되며, 상기 광학 축의 중심으로부터 상기 공간-바이어스 개구 중 하나 이상의 개구의 거리가 나머지와 다른 것을 특징으로 하는 삼차원 영상화 방법.
제 13 항에 있어서,

이미지 장치에 관한 상기 객체의 위치 및 영상화 렌즈에 관한 상기 객체의 위치로 구성된 그룹 중에서 선택된 하나를 변경함으로써 시간에 대해 순차적으로 상기 객체를 영상화하는 단계를 더 포함하며, 이로써 객체 포인트가 일련의 시간- 지연 영상화 중에 이미지 장치 상의 자신의 위치를 변경하는 속도(rate)가 상기 광학 축의 중심으로부터 상기 공간-바이어스 개구 중 하나 이상의 개구의 거리에 의해 결정되는 것을 특징으로 하는 삼차원 영상화 방법.
제 9 항에 있어서,

상기 복수의 공간-바이어스 개구는 각각 모양을 가지며, 상기 공간-바이어스 개구 중 하나 이상의 모양이 나머지 개구의 모양과 다른 것을 특징으로 하는 삼차원 영상화 방법.
제 9 항에 있어서,

상기 복수의 공간-바이어스 개구는 각각 크기를 가지며, 상기 공간-바이어스 개구 중 하나 이상의 크기가 나머지 개구의 크기와 다른 것을 특징으로 하는 삼차원 영상화 방법.
제 9 항에 있어서,

상기 복수의 공간-바이어스 개구가 각각 렌즈를 가리는 광학 축의 중심으로부터 일정한 거리에 배치되며, 상기 광학 축의 중심으로부터 상기 공간-바이어스 개구 중 하나 이상의 개구의 거리가 나머지와 다른 것을 특징으로 하는 삼차원 영상화 방법.
제 17 항에 있어서,

이미지 장치에 관한 상기 객체의 위치 및 영상화 렌즈에 관한 상기 객체의 위치로 구성된 그룹 중에서 선택된 하나를 변경함으로써 시간에 대해 순차적으로 상기 객체를 영상화하는 단계를 더 포함하며, 이로써 객체 포인트가 일련의 시간-지연 영상화 중에 이미지 장치 상의 자신의 위치를 변경하는 속도(rate)가 상기 광학 축의 중심으로부터 상기 공간-바이어스 개구 중 하나 이상의 개구의 거리에 의해 결정되는 것을 특징으로 하는 삼차원 영상화 방법.