KR20140143724A

KR20140143724A - 높은 스루풋 및 저비용 높이 삼각측량 시스템 및 방법

Info

Publication number: KR20140143724A
Application number: KR1020140069463A
Authority: KR
Inventors: 코렌 시몬; 랑만스 엘대드; 레겐스부르게르 메나쳄; 베이나르 유리
Original assignee: 캠텍 리미티드
Priority date: 2013-06-09
Filing date: 2014-06-09
Publication date: 2014-12-17
Also published as: US9756313B2; TWI648514B; TW201506350A; US20140362208A1; KR102254627B1

Abstract

삼각측량 시스템은 영역 카메라, 통신 인터페이스, 제1이미지 처리 모듈 및 제2이미지 처리 모듈을 포함하고, 영역 카메라는 오브젝트에서 빛이 조사된 영역의 이미지 스트림을 획득률로 획득하고, 상기 영역 카메라는 높이 계산이 금지되며, 통신 인터페이스는 획득률에 대응하여 실시간으로 영역 카메라로부터의 이미지 스트림을 제1이미지 처리 모듈로 이송하고, 제1이미지 처리 모듈은 실시간으로 이미지 스트림을 처리하여 제1압축 정보를 제공하며, 제2이미지 처리 모듈은 비실시간 이미지 처리율로 제1압축 정보를 처리하여 오브젝트의 적어도 조사된 영역들에 대한 높이를 나타내는 높이 정보를 제공한다.

Description

높은 스루풋 및 저비용 높이 삼각측량 시스템 및 방법{High throughput and low cost height triangulation system and method}

본 출원은 본 발명에 참조로 통합된 2013년 6월 9일 출원된 미국 가출원 번호 제61/832,866호에 대한 우선권을 주장한다.

실리콘 웨이퍼, 인쇄회로기판, 레티클(reticle), 평판 디스플레이 또는 다른 기판 형상의 오브젝트 등의 오브젝트들에 대한 3차원 정보는 속도와 정확도 사이의 다른 트레이드 오프들을 제공하는 다양한 방식으로 얻을 수 있다.

높이 3차원(3D) 측량은 속도와 해상도/정확도 사이에 균형을 요구한다. SEMI 규격에 맞게 생산할 가치가 있고 (풀 웨이퍼 측량), 빠른 방법이 요구되는 경우, 삼각측량은 자주 선택 툴이 된다.

높이 삼각측량 시스템으로 알려진 산업의 대부분은 삼각측량 이미지를 3D 이미지로 변환하는 전용 3D 카메라를 포함한다.

그러한 전용 카메라의 예들은 SIKC-IVP ("레인저 (ranger)" 시리즈), 자동화기술 ("C" 시리즈), 광자 초첨(photon focus) 등에서 "곧바로(off the shelf)" 찾을 수 있다. 상술한 모든 예들은 매우 원시적이고 정확성이 낮은 3D 알고리즘 또는 매우 정확하지만 수용할 수 없을 정도로 느린 알고리즘을 구현한다. 예를 들어, 기존의 전용 3D 카메라는 저질의 낮은 정확성으로 24K fps 속도로 3D 재구성 알고리즘을 수행할 수 있다. 반대로, 고해상도의 정확한 3D 재구성은 1K fps만큼 낮은 데이터 속도로 진행된다.

다른 높이 삼각측량 시스템은 매우 고가의 맞춤 전용 획득 및 처리 설계를 구현하지만, 향후 애플리케이션의 요구를 만족시키기에는 이미징과 알고리즘의 유연성이 부족하다.

따라서 유연하고, 비용 효과적이며, 효율적인 높이 삼각측량 시스템 및 방법이 절실하다.

본 발명이 해결하고자 하는 과제는 명세서와 청구범위에서 설명된 시스템과 방법을 제공하는 것이다.

본 발명의 실시예에 따르면, 삼각측량 시스템은 영역 카메라, 통신 인터페이스, 제1이미지 처리 모듈 및 제2이미지 처리 모듈을 포함하고, 상기 영역 카메라는 오브젝트에서 빛이 조사된 영역의 이미지 스트림을 획득률로 획득하고, 상기 영역 카메라는 높이 계산이 금지되며, 상기 통신 인터페이스는 상기 획득률에 대응하여 실시간으로 상기 영역 카메라로부터의 이미지 스트림을 상기 제1이미지 처리 모듈로 이송하고, 상기 제1이미지 처리 모듈은 실시간으로 상기 이미지 스트림을 처리하여 제1압축 정보를 제공하며, 상기 제2이미지 처리 모듈은 비실시간 이미지 처리율로 상기 제1압축 정보를 처리하여 상기 오브젝트의 적어도 상기 조사된 영역들에 대한 높이를 나타내는 높이 정보를 제공한다.

상기 제1이미지 처리 모듈은 실시간 프레임 그래버 및 실시간 이미지 프로세서를 포함할 수 있다.

상기 제1이미지 처리 모듈은 상기 조사된 지역의 높이에 대한 제1추정치를 계산하여 상기 이미지 스트림을 처리하고, 상기 제1압축 정보는 상기 제1높이 추정치를 포함할 수 있다.

상기 제1이미지 처리 모듈은, (a) 상기 조사된 지역들로부터의 방사와 연계된 픽셀 강도 분포들의 피크들의 위치에 대응하는 조사된 영역들의 제1높이 추정치를 계산하는 단계; 및 (b) 상기 픽셀 강도 분포의 형상 속성 및 크기 속성들로부터 적어도 하나의 속성을 계산하되, 상기 형상 및 크기 속성은 상기 피크들의 위치들과 다른 단계에 의해 이미지 스트림을 처리하고, 상기 제1압축 정보는 상기 제1추정치 및 상기 적어도 하나의 속성을 포함할 수 있다.

상기 시스템은 상기 피크들의 위치와 다른 상기 형상 및 크기 속성들 중 하나 이상의 속성들에 대응하여 (a) 상기 이미지 스트림 중 하나 이상의 이미지들을 생성할 때, 상기 영역 카메라에 의해 수신된 반사 신호의 품질 측정, (b) 상기 이미지 스트림의 등록, (c) 기저 참조 표면으로 사용될 영역의 선택, 및 (d) 선택된 오브젝트들에 대한 동시 측량 및 결함 검출 중 적어도 하나를 수행할 수 있다.

픽셀 강도 분포의 형상 및 크기 속성은 피크치, 픽셀 강도 분포의 폭, 픽셀 강도 분포의 대칭 및 피크 강도와 잡음 강도 사이의 차 중 적어도 하나를 나타낼 수 있다.

상기 제1 및 제2이미지 처리 모듈 중 적어도 하나는 상기 오브젝트 특징 중 높이를 결정하고, 상기 특징은 (a) 상기 다수의 조사된 영역들의 제1높이 추정치들 및 (b) 상기 다수의 조사된 영역들의 이미지들에 대한 픽셀 강도 분포의 형상 및 크기 속성들 중 적어도 하나에 대응하여 다수의 조사 영역을 포함할 수 있다.

상기 제2이미지 처리 모듈은 상기 제1압축 정보를 수신하고, 상기 조사된 영역들의 제2높이 추정치들을 계산할 수 있다.

상기 제2이미지 처리 모듈은 상기 제1압축 정보를 수신하고, 상기 픽셀 강도 분포의 형상 및 크기 속성들 중 하나 이상의 속성을 재계산할 수 있다.

상기 제2이미지 처리 모듈은 상기 제1압축 정보를 수신하고, 상기 조사된 영역들의 제2높이 추정치들을 계산하는 단계; 및 상기 픽셀 강도 분포의 형상 및 크기 속성이 상기 피크들의 위치와 다를 때, 상기 형상 및 크기 속성 중 적어도 하나를 계산하는 단계에 의해 상기 제1압축 정보를 처리할 수 있다.

상기 제1이미지 처리 모듈은 상기 조사된 영역들의 높이를 나타내는 픽셀들을 포함하는 이미지 부분들을 선택하여 상기 제1압축 정보를 포함할 수 있다.

상기 제1 및 제2 이미지 처리 모듈 중 적어도 하나는 하나 이상의 조사된 영역들로부터의 방사와 연계된 픽셀 강도 분포에 대응하여 이미지 등록을 수행할 수 있다.

상기 제1 및 제2이미지 처리 모듈들 중 적어도 하나는 이미지 픽셀의 픽셀 강도 분포의 픽셀값에 대응하여, 조사된 영역의 이미지로부터 상기 오브젝트의 참조 표면을 나타내는 픽셀들을 선택할 수 있다.

상기 제1 및 제2이미지 처리 모듈들 중 적어도 하나는 (매우 유사한 높이 범위에 위치해)서로 근접해 있지만 (반사 강도만큼) 서로 다른 픽셀값을 갖는 두 픽셀 그룹들을 차별화하여 상기 참조 표면을 나타내는 픽셀들을 선택할 수 있다.

상기 제1 및 제2이미지 처리 모듈 중 적어도 하나는 상기 이미지 픽셀들에 대한 픽셀 강도 분포의 픽셀 값들에 대응하여 다수의 조사된 영역을 포함하는 특징의 치수를 측정할 수 있다.

상기 영역 카메라는 상기 조사된 영역의 높이와 관련된 높이 정보의 계산이 금지될 수 있다.

상기 통신 인터페이스는 CoaXPress 프로토콜 적용 통신 인터페이스일 수 있다.

본 발명의 일실시예에 따르면, 삼각측량 방법은 영역 카메라가 이미지 획득률로 오브젝트의 조사된 영역의 이미지 스트림을 획득하고, 상기 영역 카메라는 높이 계산 수행이 금지된 단계; 통신 인터페이스를 통해 상기 이미지 획득률에 대응하여 실시간으로 상기 영역 카메라로부터 이미지 스트림을 제1이미지 처리 모듈로 이송하는 단계; 상기 제1이미지 처리 모듈이 상기 이미지 스트림을 실시간 처리하여 제1압축 정보를 제공하는 단계; 및 제2이미지 처리 모듈이 상기 제1압축 정보를 비실시간 처리하여 상기 오브젝트의 적어도 상기 조사된 영역에 대한 높이를 나타내는 높이 정보를 제공하는 단계를 포함한다.

상기 통신 인터페이스는 CoaXPress 프로토콜이 적용된 것일 수 있다.

상기 실시간 처리는 실시간 프레임 그래빙 및 실시간 이미지 처리를 포함할 수 있다.

상기 실시간 처리는 상기 조사된 영역에 대한 제1높이 추정치를 계산하고, 상기 제1압축 정보는 상기 제1높이 추정치를 포함할 수 있다.

상기 실시간 처리는 상기 조사된 영역으로부터의 방사와 연계된 픽셀 강도 분포의 피크들 위치에 대응하는 상기 조사된 영역의 제1높이 추정치들을 계산하는 단계; 및 상기 픽셀 강도 분포의 형상 및 크기 속성들 중 적어도 하나를 계산하고, 상기 형상 및 크기 속성은 상기 피크들의 위치와 다른 단계를 포함하고, 상기 제1압축 정보는 상기 제1추정치들 및 상기 적어도 하나의 속성을 포함할 수 있다.

픽셀 강도 분포의 형상 및 크기 속성은 피크치, 상기 픽셀 강도 분포의 폭, 상기 픽셀 강도 분포의 대칭 및 피크 강도와 잡음 강도 사이의 차 중 적어도 하나를 나타낼 수 있다.

상기 피크들의 위치와 다른 형상 및 크기 속성 중 하나 이상의 속성에 대응하여 (a) 상기 이미지 스트림 중 하나 이상의 이미지들을 생성할 때, 상기 영역 카메라에 의해 수신된 반사 신호의 품질 측정, (b) 상기 이미지 스트림의 등록, (c) 기저 참조 표면으로 사용될 영역을 선택 및, (d) 선택된 오브젝트들의 동시 측량 및 결함 검출 중 적어도 하나를 수행할 수 있다.

상기 실시간 처리 및 비실시간 처리 중 적어도 하나는 상기 오브젝트의 특징 중 높이를 결정하고, 상기 특징은 (a) 상기 다수의 조사된 영역들의 제1높이 정보 및 (b) 상기 다수의 조사된 영역 이미지들에 대한 픽셀 강도 분포의 형상 및 크기 속성들 중 적어도 하나에 대응하여 다수의 조사된 영역들을 포함할 수 있다.

상기 비실시간 처리는 상기 조사된 영역들에 대한 제2높이 추정치를 계산하는 단계를 포함할 수 있다.

상기 비실시간 처리는 상기 픽셀 강도 분포들의 형상 및 크기 속성 중 하나 이상의 속성을 재계산하는 단계를 포함할 수 있다.

상기 비실시간 처리는, 상기 조사된 영역에 대한 제2높이 추정치를 계산하는 단계; 및 상기 픽셀 강도 분포의 형상 및 크기 속성들 중 적어도 하나를 계산하는 단계를 포함할 수 있고, 상기 형상 및 크기 속성은 상기 피크들의 위치와 다르다.

상기 실시간 처리는 상기 조사된 영역의 높이를 나타내는 픽셀들을 포함하는 이미지 부분들을 선택하는 단계를 포함하여 제1압축 정보를 제공할 수 있다.

상기 실시간 처리 및 비실시간 처리 중 적어도 하나는 하나 이상의 조사된 영역들로부터의 방사와 연계된 픽셀 강도 분포에 대응하는 이미지 등록을 포함할 수 있다.

상기 실시간 처리 및 비실시간 처리 중 적어도 하나는 상기 이미지 픽셀들의 픽셀 강도 분포의 픽셀 값들에 대응하여 조사된 영역 이미지로부터 상기 오브젝트의 참조 표면을 나타내는 픽셀들을 선택하는 단계를 포함할 수 있다.

상기 실시간 처리 및 비실시간 처리 중 적어도 하나는 서로 근접해 위치하지만 픽셀값이 서로 다른 두 픽셀 그룹을 차별화하여 상기 참조 표면을 나타내는 픽셀들을 선택하는 단계를 포함할 수 있다.

실시간 처리 및 비실시간 처리 중 적어도 하나는 상기 이미지 픽셀들의 픽셀 강도 분포의 픽셀 값들에 대응하여 다수의 조사 영역들을 포함하는 특징의 치수를 측정하는 단계를 포함할 수 있다.

상기 영역 카메라가 상기 조사된 영역의 높이와 관련된 높이 정보를 계산하는 것을 금지하는 단계를 포함할 수 있다.

본 발명은 첨부된 도면과 결부되는 다음의 상세한 설명으로부터 더 완전하게 이해될 수 있을 것이다.
도 1은 본 발명의 일실시예에 따른 시스템을 도시한 것이다.
도 2는 본 발명의 일실시예에 따른 시스템을 도시한 것이다.
도 3은 본 발명의 일실시예에 따른 시스템을 도시한 것이다.
도 4는 본 발명의 일실시예에 따른 이미지의 픽셀 칼럼을 따라 픽셀값들을 나타내는 이미지 및 곡선을 도시한 것이다.
도 5는 본 발명의 일실시예에 따른 이미지 및 제1압축 정보를 도시한 것이다.
도 6은 본 발명의 일실시예에 따른 방법을 도시한 것이다.
도 7은 본 발명의 일실시예에 따른 방법을 도시한 것이다.
도 8은 물체의 범프 및 다수의 도체 어레이를 도시한 것이다.

본 발명을 구현한 장치는 대부분에 있어서, 당업자에게 알려진 전자 컴포넌트 및 회로들로 구성되기 때문에, 본 발명의 개념에 대한 이해를 위해 그리고 본 발명의 가르침을 흐리게 하지 않도록, 상세한 회로는 상술한 바와 같이 필요한 것으로 고려되는 것보다 더 큰 범위에서 설명되지는 않을 것이다.

다음의 명세서에서, 본 발명은 본 발명의 실시예들에 대한 특정한 예들을 참조하여 설명될 것이다. 그러나 첨부된 청구범위에서 제시된 본 발명의 더 넓은 사상과 범위로부터 벗어나지 않고 그 안에서 다양한 변형과 변경이 이뤄질 수 있음은 자명할 것이다.

높이 삼각측량을 위한 시스템 및 방법이 제공된다. 그 시스템 및 방법은 이미지 획득 및 처리가 가능하다. 시스템은 맞춤형 최소 하드웨어를 갖는 표준 하드웨어를 사용하지만 높은 스루풋과 정확도를 얻을 수 있다. 하드웨어는 본 출원에서 언급된 방법중 임의의 것을 실행하게 하는 명령어들을 실행할 수 있다.

시스템은 전용 삼각측량 카메라 대신 표준 영역 카메라를 사용할 수 있다. 표준 영역 카메라는 높이 삼각측량을 수행하도록 요구되지 않는다는 의미에서 표준이며 단지 이미지들을 얻을 수 있다.

시스템은 삼각측량 시스템을 위한 고속 데이터 전달 프로토콜을 사용하는 것과 같은 다양한 수단들에 의한 높은 스루풋을 달성할 수 있다. 본 발명의 일실시예에 따르면, 프로토콜은 CoaXPress (CXP) 프로토콜일 수 있지만 다른 고속 데이터 전달 프로토콜일 수 있다.

CXP 프로토콜은 현재의 삼각측량 시스템에서 사용되지 않는다. CXP는 하나 또는 다중 동축 케이블에서 확장할 수 있는, 비디오 및 정지 이미지 전송을 위한 비대칭 고속 P-to-P 직렬 통신 표준이다.

본 발명의 다양한 실시예에 따르면, 시스템은 영역 카메라에 의해 획득된 이미지들의 분석을 위해 전용 높이/3차원 알고리즘을 구현할 수 있다.

도 1은 본 발명의 일실시예에 따른 시스템(11) 및 오브젝트(20)를 도시한 것이다.

시스템(11)은 오브젝트를 지지하는 척(chuck) 및 기계적인 스테이지(40), 영역 카메라(30), 조명 모듈(32), 통신 인터페이스(50), 제1이미지 처리 모듈(60), 제2이미지 처리 모듈(70), 메모리 모듈(80) 및 제어기(90)를 포함한다.

제어기(90)는 시스템(11)의 다른 컴포넌트들을 제어할 수 있다.

영역 카메라(30)는 오브젝트의 조명이 조사된 영역의 이미지 스트림을 획득률로 획득한다. 그 획득률은 초당 수십장의 이미지, 비디오 속도 또는 임의의 다른 속도일 수 있다. 각 이미지는 수천개 이상의 픽셀들을 포함할 수 있다.

영역 카메라(30)는 이미지들로부터 높이 정보 추출할 것으로 기대되지 않으며 매우 빨리 구매할 수 있는 카메라다.

통신 인터페이스(50)는 영역 카메라로부터 제1이미지 처리 모듈까지 (획득률에 대응하여) 실시간으로 이미지 스트림을 이송한다. 따라서- 이미지 스트림은 실질적인 딜레이없이 그리고 큰 버퍼를 사용하지 않고 중계되어 제1이미지 획득률 및 데이터 전달률 간의 갭(gap)을 보상한다.

통신 인터페이스(50)는 CoaXPress (CXP)가 적용(compliant)된 것일 수 있고 초당 대량의 데이터를 전달할 수 있다. (CXP 6x4, CXP 12 등과 같은) 다양한 CXP 프로토콜이 있을 수 있고, 시스템(11)은 이 CXP 프로토콜들 중 하나 이상에 맞도록 설계될 수 있다. 영역 카메라(30)는 CXP 인터페이스를 구비하고, 프레임 그래버(frame grabber)(61)도 CXP 인터페이스를 포함할 수 있다. 도 2 및 3에서 프레임 그래버는 CXP 프레임 그래버(61')이고, 영역 카메라는 CXP 영역 카메라(30')이다.

제1이미지 처리 모듈(60)은 이미지 스트림을 실시간으로 처리하여 제1압축 정보를 제공한다. 제1이미지 처리 모듈(60)에 의해 적용된 압축은 메모리 모듈(80)에 저장될 이미지 정보량을 (대폭으로까지) 감소시킬 수 있다. 통신 인터페이스(50)를 통해 전송되는 전체 이미지들을 저장하는 것은 실현 가능하지 않거나 막대하고 비용이 많이 드는 메모리 모듈들을 요구할 수 있다. 메모리 모듈(80)은 DRAM, VRAM, 또는 임의의 빠른 접근이 가능한 메모리 모듈일 수 있다.

제1압축 정보는 3차원 계측 처리가 더 가능하게 하는 포맷을 가질 수 있다.

도 1은 CXP 프레임 그래버(61) 및 실시간 이미지 프로세서(62)를 포함하는 제1이미지 처리 모듈(60)을 도시한 것이다.

제1이미지 처리 모듈(60)은 빠른 직접 메모리 접근(DMA) 데이터 전달이 가능하거나 PCI-E 산업 표준을 따를 수 있다. 실시간 이미지 프로세서(62)는 실시간 처리 동작을 수행할 수 있으며, 하나 이상의 FPGA들, 전용 하드웨어, 하나 이상의 디지털 신호 프로세서들 등을 포함할 수 있다.

제2이미지 처리 모듈(70)은 프레임 획득률에 제한되지 않고 획득된 이미지들 간의 간격을 초과하는 듀레이션(duration) 동안 이미지 처리 동작을 수행할 수 있으므로 비실시간 이미지 처리 모듈로 지칭될 수 있다.

제2이미지 처리 모듈(70)은 비실시간 이미지 처리율로 제1압축 정보를 처리하여 오브젝트에서 적어도 조명이 조사된 지역의 높이를 가리키는 높이 정보를 제공한다.

도 1은 비실시간 처리 유닛(71) 및 분산 알고리즘 처리 유닛 컴퓨터(72)를 포함하는 제2이미지 처리 모듈(70)을 도시한 것이다. 제2이미지 처리 모듈(70)은 이미지 처리를 수행할 수 있는 하드웨어 및 소프트웨어 컴포넌트들의 조합을 포함할 수 있다.

비실시간 처리 유닛(71)은 빠르지만 비실시간 수행을 요구하는 임의의 처리를 수행할 수 있다. 비실시간 처리 유닛(71)은 다음의 아키텍쳐 중 적어도 하나로 구현될 수 있다: 멀티 프로세서 또는 멀티 코어 범용 CPU (예를 들어, 인텔 제온(Xeon) 아키텍쳐), 전용 멀티 코어 CPU (예를 들어, NVIDIA GPU) 등.

분산 알고리즘 처리 유닛 컴퓨터(72)는 검사된 오브젝트(범프, 패드 등)의 상대적인 높이 계산과 같은 3차원 높이 포스트 분석을 수행할 수 있다.

메모리 모듈(80)은 제1이미지 처리 모듈(60)로부터 제1압축 정보를 저장하고, 제2이미지 처리 모듈(70)의 결과를 저장할 수 있다.

도 2는 본 발명의 일실시예에 따른 시스템(12) 및 오브젝트(20)를 도시한 것이다. 도 3은 본 발명의 일실시예에 따른 시스템(13) 및 오브젝트(20)를 도시한 것이다. 시스템(12) 및 시스템(13) 각각은 척 및 기계적인 스테이지(40), CXP 영역 카메라(30'), 조명 모듈(32), 통신 인터페이스(50), 제2이미지 처리 모듈(60), 메모리 모듈(80), 메인 호스트 컴퓨터(91), 비실시간 처리 유닛(71), 분산 알고리즘 처리 유닛 컴퓨터(72), 제어 소프트웨어 (92) 및 데이터 획득 및 처리 컴퓨터(100)를 포함한다. 제1이미지 처리 모듈(60)은 CXP 프레임 그래버(61') 및 실시간 이미지 프로세서(62)를 포함하는 것으로 도시되어 있다.

제2이미지 처리 모듈(미도시)은 비실시간 처리 유닛(61) 및 분산 알고리즘 처리 유닛 컴퓨터(72)를 포함할 수 있다.

메인 호스트 컴퓨터(91)는 제어 소프트웨어(92)를 실행하여 제어기로 동작할 수 있다.

데이터 획득 및 처리 컴퓨터(100)는 제1이미지 처리 모듈(60), 비실시간 처리 유닛(71), 분산 알고리즘 처리 유닛 컴퓨터(72) 및 제어 소프트웨어(92)를 포함하는 것으로 도시되어 있다. 비실시간 처리 유닛(71)은 메모리 모듈(80)에 접근할 수 있고, 메인 호스트 컴퓨터(91)에 의해 접근될 수 있다. 분산 알고리즘 처리 유닛 컴퓨터 (72)는 메인 호스트 컴퓨터(91)에 의해 접근될 수 있다.

시스템(13)은 분산 알고리즘 처리 유닛 컴퓨터(72)에 의해 접근되는 비실시간 처리 유닛(71)을 구비하고, 메인 호스트 컴퓨터(91)에 의해 접근되지 않는 점에서 시스템(12)과 다르다.

시스템(12) 및 시스템(13)에서, 오브젝트의 측량 처리를 하는 동안 광선(line of light)이 오브젝트를 스캔할 수 있고, 영역 카메라는 오브젝트에서 조사된 선(line)과 같은 모양의 영역으로부터 반사된 빛을 샘플링한다. 이미지 내 선의 위치 (예를 들어, 도 4의 선(111) 및 이미지 (110) 하부 사이의 거리 D(130) 참조)는 조사된 이미지의 높이를 가리킨다. 더 높이 조사된 영역은 이미지 상부에 가까운 선들로 표현될 것이다. 미국 등록 특허번호 US 8,363,229는 그러한 이미지를 획득하여 높이 정보를 출력하는 카메라를 포함하는 높이 삼각측량 시스템을 도시한다.

이미지는 n개 행과 m개 열의 픽셀들을 포함한다.

도 4는 조사된 영역(보통 빛의 띠로 조사된 영역)으로부터의 반사를 표현하는 밝은 선(111) 및 검은 배경을 포함하는 이미지(110)를 도시한 것이다. 실제 이미지는 흑백 픽셀들과 다양한 픽셀 레벨을 갖는 픽셀들을 포함하는 것이 주지된다. 이미지의 픽셀값들은 조사된 영역으로부터의 방사와 연계된 픽셀 강도 분포를 제공한다. 도 4는 이미지에서 한 열(column)의 픽셀 강도들을 나타내는 곡선을 차례로 포함하는 그래프(120)를 포함한다. n개의 열의 경우 서로 다를 수 있는 n개의 곡선이 있다.

그래프(120)는 곡선(121) 및 그 곡선(121)과 연계된 다양한 속성들을 포함한다. 곡선(121)은 제1 및 제2부분(127 및 128), 피크(129) 및 제1 및 제2부분(127 및 128)을 감싸는 배경부분(125 및 126)을 포함하는 중앙 로브(lobe)를 포함한다.

도 4는 또한 피크 위치 속성(112) 및 피크치(124), 피크(129)의 진폭(124)(피크값 124) 및 배경 픽셀값의 차) 및 로브 폭(123)과 같은 곡선(121)과 관련된 다양한 형상 및 크기 속성을 도시한 것이다. 추가 속성들은 곡선의 (또는 로브의) 대칭성을 나타내는 대칭 속성을 포함할 수 있다. 피크 위치 속성(112)은 서브 픽셀 해상도로 계산될 수 있다.

도 1을 다시 참조하면, 제1이미지 처리 모듈(60) 및 제2이미지 처리 모듈(70) 중 적어도 하나는 상술한 속성들 중 하나 이상을 계산할 수 있다.

제1이미지 처리 모듈(60)은 하나 이상의 속성들을 계산할 수 있다. 제2이미지 처리 모듈(70)은 하나 이상의 속성들을 계산하고, 제1이미지 처리 모듈(60)에 의해 계산되지 않은 적어도 하나의 속성을 계산하거나 그 둘 다를 수행할 수 있다.

제1 및 제2이미지 처리 모듈(60 및 70) 중 적어도 하나는 흑색 잡음 응답 보보정(DSNU), 픽셀 선형 응답 보정(PRNU), 및 평면 필드 보정(FFC)과 같은, 그러나 그에 한정되지 않는, 하나 이상의 에러 보정 처리를 수행할 수 있다.

도 5는 본 발명의 다양한 실시예에 따른 이미지(110) 및 제1압축 정보의 다양한 형태를 도시한 것이다.

제1압축 정보는 이미지(110)의 선택된 부분(113)과 같은 원시(raw) 정보일 수 있다. 선택된 부분(113)은 제1이미지 처리 모듈(60)에 의해 선택되어 광이 조사된 영역들에 대한 정보를 포함하는 픽셀들을 포함한다. 예를 들어, 그 강도를 이미지(110)의 픽셀 강도 분포의 로브들(또는 적어도 대다수의 로브들)을 형성하는 픽셀들을 포함할 수 있다.

제1압축 정보는 적어도 부분적으로 처리된 높이 정보를 포함할 수 있다.

도 5는 각 이미지의 n개 열들-CA 116(1)=116(n) 각각에 대한 메타데이터 유닛을 포함하는 메타데이터 벡터(116)를 포함하는 제1압축 정보를 도시한 것이다. 각 메타데이터 유닛은 피크 위치 속성(높이 추정), 진폭 속성, 폭 속성 및 대칭 속성과 같은 속성들을 포함한다. 임의의 다른 (또는 추가적인) 형상 및/또는 크기 속성이 포함될 수 있다. 도 5는 이미지의 제1열의 CA116(1)이 피크 위치 속성 116(1,1), 진폭 속성 116(1,2), 폭 속성 116(1,3) 및 대칭 속성 116(1,4)을 포함하는 것을 도시하고 있다.

도 3은 본 발명의 일실시예에 따른 방법(300)을 도시한 것이다. 그 방법은 다음 단계들을 포함할 수 있다:

a. 프레임들 "RT" (실시간) 처리 (310) - 프레임 획득률에 동기화된 처리. RT 처리는 다음의 하나 또는 여러 (애플리케이션 종속) 동작을 포함한다:

i. 영역 카메라의 (FPN으로 알려진)고정 패턴 잡음 및 (조도 등과 같은) 일반 광 전자기장(optical field)의 불균일성을 보상하는 DSNU/PRNU(흑색 신호 및 광자 응답 불균일성).

ii. (CDR로 알려진) 데이터 감소는 3D 삼각측량 신호 전용의 무손실(lossless) 원시 프레임 데이터를 포함한다. 압축 방법은 각 이미지 열의 3D 관련 신호의 빠른 식별을 기초로 하고, 각 열의 관련이 없는 어두운 영역을 억압하며, 각 열 데이터에 메타데이터를 수반하여 향후 압축 해제와 처리를 수행하게 한다.

iii. 각 열에서 피크의 서브 픽셀 해상도 검출을 포함하는 RT 피크 검출기. 피크 검출은 ("가장 강한 피크", "제1피크", "제2피크" 등과 같은) 애플리케이션 요구에 따라 관심 피크(peak of interest)를 추출하도록 미리 구성된다.

iv. 피크 검출기 처리는 (주어진 비트 깊이의) n열x m행의 각 원시 프레임을 n'개의 엔트리 시리즈로 변환하고, 각 엔트리는 서브 픽셀 피크 위치 및 주어진 피크(예를 들어, 진폭, 폭, 대칭 등)의 품질 식별자(또는 식별자들)를 포함한다.

v. 출력 시리즈 값들은 부동 소수점 및/또는 정수로 표현되거나 및/또는 정확도 요구조건에 따른 부동 소수점 또는 정수로 부호화될 수 있다. RT 피크 검출기는 프레임 획득 요구조건에 연동되므로 FPGA, DSP, ASIC 또는 임의의 다른 전용 RT HW로 구현될 수 있다.

b. 비실시간 처리 프레임들(320) - 후처리(320)로도 지칭 - 프레임 획득률과 동기화되지 않은 처리. 비동기 처리는 유연한 구현과 가상적으로 제한되지 않은 정확도를 허용한다. 비실시간(비동기) 처리는 (애플리케이션 및 RT-처리 단계 종속의) 다음 동작들 중 하나 이상을 포함한다:

i. 영역 카메라의 (FPN으로 알려진)고정 패턴 잡음 및 (조도 등과 같은) 일반 광 전자기장(optical field)의 불균일성을 보상하는 DSNU/PRNU(흑색 신호 및 광자 응답 불균일성). 이 단계는 RT 기반의 DSNU/PRNU 보정 과정을 완료/대체한다.

ii. 각 열에서 피크의 서브 픽셀 해상도 검출을 포함하는 비동기 피크 검출기 과정이지만 프레임 속도 제한에 의해 구현이 제한되지 않으므로 전용 HW 구현에 제한되지 않는다. 비동기 피크 검출기는 RT 기반 피크 검출기 과정(애플리케이션 종속)을 완료/대체한다.

1. 피크 검출은 ("가장 강한 피크:, "제1피크", "제2피크" 등과 같은) 애플리케이션 요구조건에 따른 관심 피크를 추출하도록 미리 구성된다.

2. 피크 검출기는 컨볼루션(convolution), 미분(derivative), 신호 분해 (de-composition) 등과 같은 기술을 구현한다 (그러나 그에 제한되지 않는다)

3. 'n'열 x 'm'행의 각 원시 프레임을 'n'개 엔트리 시리즈로 변환하는 피크 검출기 처리, 각 엔트리는 서브 픽셀 피크 위치 및 주어진 피크(예를 들어, 진폭, 폭, 대칭 등)의 품질 식별기를 포함한다. 출력 시리즈 값들은 부동 소수점 및/또는 정수로 표현될 수 있고 및/또는 정확도 요구조건에 따른 부동 소수점 또는 정수로 부호화될 수 있다.

c. 비실시간 처리(320)는 분산 3D 알고리즘 처리(330) - 피크 검출기 처리( 실시간 또는 비동기)에 의해 생성된 선들로부터 결합된 3D 프레임들의 처리를 포함할 수 있다.

i. 3D 프레임 데이터를 기반으로 하는 3D 데이터 분할(segmentation)을 수행하고 미리 정의된 3D 구조 대(vs.) 기준 데이터를 식별

ii. 3D 프레임 데이터 및 통계 분석에 기반한 미리 정의된 각 3D 구조 오브젝트의 높이를 계산.

iii. 미리 조정된(calibrated) 데이터를 사용하여 광 왜곡 보정(correction)에 대한 높이 오프셋을 적용.

본 발명의 일실시예에 따르면, 일련의 'n'개 서브 픽셀의 반사 위치는 센서(높이)로부터의 거리를 나타낸다. 도 4의 거리 D(130) 및 도 5의 피크 위치 속성 116(1,1) 참조.

삼각측량에 대한 피크 위치 속성만을 사용하는 대신, (도 5에 도시된 것들과 같은) 적어도 하나의 속성들이 적어도 다음 목적들 중 일부를 위해 (시스템들(11, 12, 13) 중 하나에 의해)사용될 수 있다: (a) 반사된 신호의 품질 측정, (b) 등록, (c) 선택적인 기저 표면 사용, 및 (d) 선택된 오브젝트들에 대한 동시 측량 및 결함 검출.

반사된 신호의 품질 측정- 추가적인 특징이 반사 품질 추정에 사용될 수 있다. 예를 들어, 구(sphere) 상부의 낮은 반사 강도는 측정을 위한 최적인 아닌 반사각을 나타낼 수 있다. 신호 형상 특징을 사용하는 것은, 오브젝트로부터의 전체적인 반사 표면을 고려할 때, 그 반사의 사용/폐기를 선택하거나 또는 각 "높이" 측정에 점수/가중치를 부여하여 전체적인 측정의 신뢰도를 증가시킨다. 예를 들어, (실질적으로 동질의 반사를 하는) 범프를 검사할 때, 반사의 강도 (및/또는 픽셀 분포의 대칭)이 범프의 피크를 따라 증가할 것이 기대된다. 이 강도는 특징의 높이에 대한 더 나은 추정에 사용될 수 있다. 범프가 검사될 때, 더 큰 진폭 및/또는 더 나은 대칭을 갖는 픽셀들은 더 낮은 진폭 및/또는 낮은 대칭을 갖는 것들보다 더 높은 가중치가 부여된다.

등록 - 추가적인 특징 그리고 특히 진폭 정보는 획득된 이미지('n'개의 데이터 열을 포함하는 'm'개의 순차적인 반사선들의 세트)를 "실세계" 또는 일부 참조 이미지에 등록하는 목적에 적합하다. 진폭 이미지는 단순한 높이가 아니고 표면의 반사에 관한 정보를 포함한다. 이는 동일한 높이를 갖는 표면들의 경우에도 두 가지 형태의 표면들간을 구분할 수 있다는 것을 의미한다. 이는 이미지에서 이미지/오브젝트들의 등록 목적에 더 적합한 더 많은 기하학적 정보를 포함하는 이미지를 이끌어낸다.

등록은 알려진 임의의 이미지 등록 방법 (예를 들어, 강도 기반, 특징 기반, 주파수 영역 등)을 사용하여 이뤄질 수 있다. 예를 들어, 검사된 오브젝트들은 실질적으로 동일한 높이를 갖더라도 반사율이 서로 다른 특징을 포함할 수 있다. 반사율에서의 이러한 변화는 정렬 목적을 위한 다양한 형태의 특징들을 검색하는데 사용할 수 있다. 예를 들어, 도체는 (범프의 반사율보다 높은) 높은 반사율을 가질 수 있어, 정렬 및/또는 등록 과정에 더 적합할 수 있다. 도 8은 서로 다르며 등록에 사용될 수 있는 범프 어레이(501-512) 및 도체 그룹(520-529)을 도시한 것이다.

선택적인 기저 표면 사용 - 오브젝트의 높이를 측정하는 과정은 일부 "기저 참조" 표면의 반사에 비해 오브젝트 "상부"로부터의 반사를 측정하는 단계를 포함한다. 추가적인 신호 특징을 사용하여 표면 영역을 동일한 신호 특징들을 갖는 "서브" 표면들로 (다중 변수 통계 모델을 사용하는 것, 밀도 기반, 연결성 기반 등과 같은 임의의 개수의 분할 알고리즘들을 사용하여)분할할 수 있다. 이 분할은 "기저 참조" 서브 표면의 특정 선택을 가능하게 한다.

검사될 오브젝트들은 실질적으로 동일한 높이를 갖더라도 반사율이 서로 다른 특징들을 포함할 수 있다. 기저 표면과 다른 반사율을 갖는 도체들이 검출될 수 있고, 그들의 픽셀들은 기저 표면을 검색할 때 무시될 수 있다. 예를 들어 - 도 8의 도체들(520-529)은 배경 표면(500)의 상부에 위치할 수 있다. 도체들(520-529)과 배경 표면(500) 사이에는 약간의 높이 차가 있을 수 있고, 이 영역들 중 하나와 관련된 픽셀들을 분명하게 선택하기 위해 반사율의 차 (그리고 이에 의한 진폭)가 고려될 수 있다.

상술한 분할 접근과 유사한 - 선택된 오브젝트들에 대한 동시 측량 및 표면 검출에서, (상술한 바와 같은) 신호 특징 데이터를 사용하여 반사 표면의 특징에 관한 정보를 포함하는 단일/멀티 차원의 이미지/신호를 만들 수 있다. 따라서, 이 단일/멀티 차원의 이미지/신호의 명목상의 거동을 추론할 수 있는 참조 이미지/이미지들을 생성할 수도 있다. 단순한 높이 이외에 다양한 속성을 얻는 것은 오브젝트에 대한 단일 스캔으로 얻어진 정보를 사용하여 특징 치수들(dimensions)을 측정하는 것을 지원할 수 있다.

이는 적절한 등록 시퀀스와 함께 동시에 다음을 수행할 수 있다:

이미지에서 표면들 및/또는 타겟 오브젝트들의 표면 검사

오브젝트들의 높이 측정

측면 치수 측량

이러한 병렬 처리는 기계의 스루풋 증가를 가져온다

단일/멀티 차원 정보는 또한 다양한 형태의 결함들에 대한 정확한 분류를 지원할 수 있다.

도 7은 본 발명의 일실시예에 따른 방법(400)을 도시한 것이다.

방법(400)은 영역 카메라가 획득률로 오브젝트의 조사된 영역들에 대한 이미지 스트림을 획득하는 단계(410)부터 시작한다.

영역 카메라는 높이 추정 수행이 금지될 수 있다.

단계 410에 이어 통신 인터페이스를 통해 획득률에 대응하여 실시간으로 이미지 스트림을 영역 카메라로부터 제1이미지 처리 모듈로 이송하는 420단계가 수행될 수 있다. 통신 인터페이스는 CoaXPress 프로토콜이 적용된 것일 수 있다.

420단계에 이어 제1이미지 처리 모듈이 이미지 스트림을 실시간 처리하여 제1압축 정보를 제공하는 430단계가 수행될 수 있다.

430단계에 이어 제1이미지 처리 모듈에 의해 제1압축 정보를 비실시간 처리하여 오브젝트의 적어도 조사된 영역에 대한 높이를 가리키는 높이 정보를 제공하는 440단계가 수행될 수 있다.

430단계는 다음 중 적어도 하나를 포함할 수 있다: (a) 실시간 프레임 그래빙(grabbing) 단계, (b) 실시간 이미지 처리 단계, (c) 조사된 영역의 높이에 대한 제1추정치 계산 단계, 여기서 제1압축 정보는 제1높이 추정치를 포함한다, (d) 조사된 영역들로부터의 방사와 연계된 픽셀 강도 분포의 피크치 위치들에 대해 응답하여 조사된 영역들의 제1높이 추정치들을 계산하는 단계, (e) 픽셀 강도 분포의 형상 속성 및 크기 속성 중 적어도 하나의 속성을 계산하는 단계, 그 형상 및 크기 속성은 피크 위치들과 다르며, 제1압축 정보는 제1추정치들과 적어도 하나의 속성을 포함한다. 픽셀 강도 분포의 형상 및 크기 속성은 피크치, 픽셀 강도 분포의 폭, 픽셀 강도 분포의 대칭 및 피크 강도와 잡음 강도 사이의 차 중 적어도 하나를 가리킨다, (f) 조사된 영역들의 높이를 가리키는 픽셀들을 포함하는 이미지 부분들을 선택하여 제1압축 정보를 제공하는 단계.

440단계는 (a) 조사된 영역들의 높이에 대한 제2추정치들을 계산하는 단계, (b) 픽셀 강도 분포의 형상 속성 및 크기 속성 중 하나 이상의 속성들을 재계산하는 단계, (c) 조사된 영역들의 높이에 대한 제2추정치 계산하는 단계, (d) 픽셀 강도 분포의 형상 속성 및 크기 속성 중 적어도 하나의 속성을 계산하는 단계, 형상 및 크기 속성들은 피크들의 위치에 따라 다르며, 픽셀 강도 분포의 형상 및 크기 속성은 피크치, 픽셀 강도 분포의 폭, 픽셀 강도 분포의 대칭 및 피크 강도와 잡음 강도 사이의 차 중 적어도 하나를 가리킬 수 있다, (e) 분산 알고리즘 처리 유닛 컴퓨터에 의한 후처리 단계.

430 및 440 단계 중 적어도 한 단계는 다음 중 적어도 하나를 포함할 수 있다: (a) 오브젝트 특징들의 높이를 결정, 그 특징은 (i) 다수의 조사된 영역들의 높이에 대한 제1추정치들 및 (ii) 다수의 조사된 영역들에 대한 이미지들의 픽셀 강도 분포의 형상 속성 및 크기 속성들 중 적어도 하나에 대응하는 다수의 조사된 영역들을 포함, (b) 하나 이상의 조사된 영역들로부터의 방사와 연계된 픽셀 강도 분포에 대응하여 이미지 등록을 수행, (c) 이미지 픽셀들의 픽셀 강도 분포의 픽셀값들에 대응하여 조사된 영역의 이미지로부터 오브젝트의 참조 표면을 나타내는 픽셀들을 선택, (d) 서로 근접해 위치하지만 픽셀 값이 서로 다른 두 픽셀 그룹들을 차별화하여 참조 표면을 나타내는 픽셀들을 선택, (e) 이미지 픽셀들의 픽셀 강도 분포의 픽셀 값들에 대응하여 다수의 조사 영역들을 포함하는 특징의 치수를 측정.

본 발명은 또한 컴퓨터 시스템에서 실행되고, 컴퓨터 시스템과 같은 프로그래머블 장치에서 수행될 때 본 발명에 따른 방법의 단계들을 수행하는 코드 부분들을 포함하거나 프로그래머블 장치가 본 발명에 따른 장치 또는 시스템의 기능들을 수행하게 하는 컴퓨터 프로그램을 포함하여 구현될 수 있다.

컴퓨터 프로그램은 특별한 애플리케이션 프로그램 및/또는 운영 체제와 같은 명령어 리스트이다. 컴퓨터 프로그램은 예를 들어, 서브루틴, 함수, 프로시저(procedure), 오브젝트 방법, 오브젝트 구현, 실행 가능한 애플리케이션, 애플릿(applet), 서블릿(servelet), 소스 코드, 오브젝트 코드, 공유 라이브러리/동적 로드 라이브러리 및/또는 컴퓨터 시스템에서 수행되도록 설계된 다른 명령어 시퀀스 중 하나 이상을 포함할 수 있다.

컴퓨터 프로그램은 내부적으로 비일시적인(non-transitory) 컴퓨터로 판독가능한 매체에 저장될 수 있다. 컴퓨터 프로그램 전체 또는 일부는 컴퓨터로 판독가능한 매체에 영구적으로, 삭제가능하게 또는 정보 처리 시스템에 원격으로 연결되어 제공될 수 있다. 컴퓨터로 판독가능한 매체는, 예를 들어 그리고 제한됨이 없이, 다음의 임의의 개수를 포함할 수 있다: 디스크 및 테이프 스토리지 매체를 포함한 마그네틱 스토리지 매체; 콤팩트 디스크 매체(예를 들어, CD-ROM, CD-R 등) 와 같은 광학적 스토리지 매체 및 디지털 비디오 디스크 스토리지 매체; FLASH 메모리, EEPROM, EPROM, ROM과 같은 반도체 기반 메모리 유닛을 포함하는 비휘발성 메모리 스토리지 매체; MRAM; 레지스터, 버퍼 또는 캐시, 메인 메모리, RAM 등을 포함한 휘발성 스토리지 매체.

컴퓨터 프로세스는 보통 실행 프로그램 또는 프로그램, 현재 프로그램 값 및 상태 정보의 일부, 프로세스 실행을 관리하는 운영체제에 의해 사용된 자원을 포함하여 프로세스의 실행을 관리한다. 운영체제(OS)는 컴퓨터의 자원 공유를 관리하고 프로그래머에게 그 자원들에 대한 접근에 사용되는 인터페이스를 제공한다. 운영체제는 시스템 데이터 및 사용자 입력을 처리하고, 태스크 및 내부 시스템 자원을 사용자에 대한 서비스 및 시스템의 프로그램으로 할당 및 관리하여 응답한다.

컴퓨터 시스템은, 예를 들어, 적어도 하나의 프로세싱 유닛, 연계된 메모리 및 다수의 입력/출력(I/O) 장치들을 포함한다. 컴퓨터 프로그램을 실행할 때, 컴퓨터 시스템은 컴퓨터 프로그램에 따른 정보를 처리하고, I/O 장치들을 통해 결과에 따른 출력 정보를 생성한다.

상술한 명세서에서, 발명은 본 발명의 특정한 실시예들을 참조하여 설명되었다. 그러나 첨부된 청구범위에서 제시된 본 발명의 더 넓은 사상과 범위를 벗어나지 않고 다양한 변형과 변경이 그 안에서 이뤄질 수 있음은 자명하다.

당업자들은 상술한 동작들 기능 사이의 경계가 단지 예시적임을 인식할 것이다. 다수 동작들의 기능은 하나의 동작으로 결합될 수 있고, 및/또는 하나의 동작 기능은 추가적인 동작들로 분산될 수 있다. 또한 다른 실시예들은 특별한 동작에 대한 다수의 예들을 포함할 수 있고, 동작들의 순서는 다양한 다른 실시예들에서 변경될 수 있다.

따라서, 본 명세서에서 기술된 아키텍쳐는 단지 예시적이며, 실제로 동일한 기능들을 달성하는 많은 다른 아키텍쳐가 구현될 수 있다. 요약해서, 그러나 확고한 의미에서 동일한 기능을 얻기 위해 컴포넌트의 배치가 효과적으로 "연계되어" 원하는 기능이 달성되게 한다. 따라서, 여기서 특별한 기능을 달성하기 위해 결합된 임의의 두 컴포넌트들은 원하는 기능이 달성되도록 아키텍처 또는 내부 중간 컴포넌트들에 상관없이 서로 "연계된" 것으로 볼 수 있다. 유사하게, 그렇게 연계된 임의의 두 컴포넌트들은 또한 원하는 기능을 달성하기 위해 서로 "실시가능하게 연결된" 또는 "실시가능하게 결합된" 것으로 볼 수 있다.

그러나, 다른 변형, 변경, 또는 대체물도 또한 가능하다. 따라서 명세서 및 도면은 제한적인 의미보다는 예시적인 것으로 간주되어야 한다.

단어 "포함하다"는 청구항에 나열된 것들과 다른 구성요소 또는 단계들의 존재를 배제하지 않는다. 그렇게 사용된 용어는 본 명세서에서 설명된 본 발명의 실시예들이, 예를 들어, 여기서 설명된 것들과 다른 방향으로 동작하거나 달리 동작할 수 있도록 적절한 환경하에서 상호교환될 수 있다.

또한 본 명세서에서 사용된 단수는 하나 또는 하나 이상으로 정의된다. 또한 청구범위에서 "적어도 하나" 및 "하나 이상"과 같은 도입구의 사용은, 동일한 청구범위가 도입구 "하나 이상" 또는 "적어도 하나" 및 "a" 또는 "an"과 같은 부정관사를 포함할 때에도, 부정관사 "a" 또는 "an"에 의해 다른 청구범위 구성요소의 도입이 그런 구성요소 하나만을 포함하는 발명에 그러한 도입 청구범위 구성요소를 포함하는 임의의 특별한 청구범위를 제한하는 것을 암시하는 것으로 해석되어서는 안된다. 이는 정관사를 사용하는 경우에도 해당된다. 달리 지적되지 않으면, "제1" 및 "제2"와 같은 용어는 그러한 용어가 설명하는 구성요소들을 임의로 구별하는데 사용된다.

따라서 이 용어들이 반드시 그러한 구성요소들에 대한 일시적인 또는 다른 우선순위를 나타내는 것으로 의도되지는 않는다. 어떤 방법들이 상호 다른 청구범위에 인용된다는 단순한 사실은 이 방법들의 결합이 유리하게 사용될 수 없음을 나타내지 않는다

Claims

삼각측량 시스템에 있어서,
영역 카메라, 통신 인터페이스, 제1이미지 처리 모듈 및 제2이미지 처리 모듈을 포함하고,
상기 영역 카메라는 오브젝트에서 빛이 조사된 영역의 이미지 스트림을 획득률로 획득하고, 상기 영역 카메라는 높이 계산이 금지되며,
상기 통신 인터페이스는 상기 획득률에 대응하여 실시간으로 상기 영역 카메라로부터의 이미지 스트림을 상기 제1이미지 처리 모듈로 이송하고,
상기 제1이미지 처리 모듈은 실시간으로 상기 이미지 스트림을 처리하여 제1압축 정보를 제공하며,
상기 제2이미지 처리 모듈은 비실시간 이미지 처리율로 상기 제1압축 정보를 처리하여 상기 오브젝트의 적어도 상기 조사된 영역들에 대한 높이를 나타내는 높이 정보를 제공하는 것을 특징으로 하는 삼각측량 시스템.
제1항에 있어서,
상기 제1이미지 처리 모듈은 실시간 프레임 그래버 및 실시간 이미지 프로세서를 포함함을 특징으로 하는 삼각측량 시스템.
제1항에 있어서,
상기 제1이미지 처리 모듈은 상기 조사된 지역의 높이에 대한 제1추정치를 계산하여 상기 이미지 스트림을 처리하고, 상기 제1압축 정보는 상기 제1높이 추정치를 포함하는 것을 특징으로 하는 삼각측량 시스템.
제1항에 있어서,
상기 제1이미지 처리 모듈은,
(a) 상기 조사된 지역들로부터의 방사와 연계된 픽셀 강도 분포들의 피크들의 위치에 대응하는 조사된 영역들의 제1높이 추정치를 계산하는 단계; 및
(b) 상기 픽셀 강도 분포의 형상 속성 및 크기 속성들로부터 적어도 하나의 속성을 계산하되, 상기 형상 및 크기 속성은 상기 피크들의 위치들과 다른, 단계에 의해 이미지 스트림을 처리하고,
상기 제1압축 정보는 상기 제1추정치 및 상기 적어도 하나의 속성을 포함함을 특징으로 하는 삼각측량 시스템.
제4항에 있어서,
상기 시스템은 상기 피크들의 위치와 다른 상기 형상 및 크기 속성들 중 하나 이상의 속성들에 대응하여 (a) 상기 이미지 스트림 중 하나 이상의 이미지들을 생성할 때, 상기 영역 카메라에 의해 수신된 반사 신호의 품질 측정, (b) 상기 이미지 스트림의 등록, (c) 기저 참조 표면으로 사용될 영역의 선택, 및 (d) 선택된 오브젝트들에 대한 동시 측량 및 결함 검출 중 적어도 하나를 수행하는 것을 특징으로 하는 삼각측량 시스템.
제4항에 있어서,
픽셀 강도 분포의 형상 및 크기 속성은 피크치, 픽셀 강도 분포의 폭, 픽셀 강도 분포의 대칭 및 피크 강도와 잡음 강도 사이의 차 중 적어도 하나를 나타내는 것을 특징으로 하는 삼각측량 시스템.
제4항에 있어서,
상기 제1 및 제2이미지 처리 모듈 중 적어도 하나는 상기 오브젝트 특징 중 높이를 결정하고, 상기 특징은 (a) 상기 다수의 조사된 영역들의 제1높이 추정치들 및 (b) 상기 다수의 조사된 영역들의 이미지들에 대한 픽셀 강도 분포의 형상 및 크기 속성들 중 적어도 하나에 대응하여 다수의 조사 영역을 포함하는 것을 특징으로 하는 삼각측량 시스템.
제4항에 있어서,
상기 제2이미지 처리 모듈은 상기 제1압축 정보를 수신하고, 상기 조사된 영역들의 제2높이 추정치들을 계산하는 것을 특징으로 하는 삼각측량 시스템.
제4항에 있어서,
상기 제2이미지 처리 모듈은 상기 제1압축 정보를 수신하고, 상기 픽셀 강도 분포의 형상 및 크기 속성들 중 하나 이상의 속성을 재계산하는 것을 특징으로 하는 삼각측량 시스템.
제1항에 있어서,
상기 제2이미지 처리 모듈은 상기 제1압축 정보를 수신하고,
(a) 상기 조사된 영역들의 제2높이 추정치들을 계산하는 단계; 및
(b) 상기 픽셀 강도 분포의 형상 및 크기 속성이 상기 피크들의 위치와 다를 때, 상기 형상 및 크기 속성 중 적어도 하나를 계산하는 단계에 의해
상기 제1압축 정보를 처리하는 것을 특징으로 하는 삼각측량 시스템.
제10항에 있어서,
픽셀 강도 분포의 형상 및 크기 속성은 피크치, 픽셀 강도 분포의 폭, 픽셀 강도 분포의 대칭 및 피크 강도와 잡음 강도 사이의 차 중 적어도 하나를 나타내는 것을 특징으로 하는 삼각측량 시스템.
제1항에 있어서,
상기 제1이미지 처리 모듈은 상기 조사된 영역들의 높이를 나타내는 픽셀들을 포함하는 이미지 부분들을 선택하여 상기 제1압축 정보를 포함하는 것을 특징으로 하는 삼각측량 시스템.
제1항에 있어서,
상기 제1 및 제2 이미지 처리 모듈 중 적어도 하나는 하나 이상의 조사된 영역들로부터의 방사와 연계된 픽셀 강도 분포에 대응하여 이미지 등록을 수행하는 것을 특징으로 하는 삼각측량 시스템.
제1항에 있어서,
상기 제1 및 제2이미지 처리 모듈들 중 적어도 하나는 이미지 픽셀의 픽셀 강도 분포의 픽셀값에 대응하여, 조사된 영역의 이미지로부터 상기 오브젝트의 참조 표면을 나타내는 픽셀들을 선택하는 것을 특징으로 하는 삼각측량 시스템.
제1항에 있어서,
상기 제1 및 제2이미지 처리 모듈들 중 적어도 하나는 서로 근접해 있지만 서로 다른 픽셀값을 갖는 두 픽셀 그룹들을 차별화하여 상기 참조 표면을 나타내는 픽셀들을 선택하는 것을 특징으로 하는 삼각측량 시스템.
제1항에 있어서,
상기 제1 및 제2이미지 처리 모듈 중 적어도 하나는 상기 이미지 픽셀들에 대한 픽셀 강도 분포의 픽셀 값들에 대응하여 다수의 조사된 영역을 포함하는 특징의 치수를 측정하는 것을 특징으로 하는 삼각측량 시스템.
제1항에 있어서,
상기 영역 카메라는 상기 조사된 영역의 높이와 관련된 높이 정보의 계산이 금지된 것을 특징으로 하는 삼각측량 시스템.
제1항에 있어서,
상기 통신 인터페이스는 CoaXPress 프로토콜 적용 통신 인터페이스인 것을 특징으로 하는 삼각측량 시스템.
삼각측량 방법에 있어서,
영역 카메라가 이미지 획득률로 오브젝트의 조사된 영역의 이미지 스트림을 획득하고, 상기 영역 카메라는 높이 계산 수행이 금지된 단계;
통신 인터페이스를 통해 상기 이미지 획득률에 대응하여 실시간으로 상기 영역 카메라로부터 이미지 스트림을 제1이미지 처리 모듈로 이송하는 단계;
상기 제1이미지 처리 모듈이 상기 이미지 스트림을 실시간 처리하여 제1압축 정보를 제공하는 단계; 및
제2이미지 처리 모듈이 상기 제1압축 정보를 비실시간 처리하여 상기 오브젝트의 적어도 상기 조사된 영역에 대한 높이를 나타내는 높이 정보를 제공하는 단계를 포함함을 특징으로 하는 삼각측량 방법.
제19항에 있어서,
상기 통신 인터페이스는 CoaXPress 프로토콜이 적용된 것임을 특징으로 하는 삼각측량 방법.
제19항에 있어서,
상기 실시간 처리는 실시간 프레임 그래빙 및 실시간 이미지 처리를 포함함을 특징으로 하는 삼각측량 방법.
제19항에 있어서,
상기 실시간 처리는 상기 조사된 영역에 대한 제1높이 추정치를 계산하고, 상기 제1압축 정보는 상기 제1높이 추정치를 포함함을 특징으로 하는 삼각측량 방법.
제19항에 있어서,
상기 실시간 처리는:
상기 조사된 영역으로부터의 방사와 연계된 픽셀 강도 분포의 피크들 위치에 대응하는 상기 조사된 영역의 제1높이 추정치들을 계산하는 단계; 및
상기 픽셀 강도 분포의 형상 및 크기 속성들 중 적어도 하나를 계산하고, 상기 형상 및 크기 속성은 상기 피크들의 위치와 다른, 단계를 포함하고,
상기 제1압축 정보는 상기 제1추정치들 및 상기 적어도 하나의 속성을 포함함을 특징으로 하는 삼각측량 방법.
제23항에 있어서,
픽셀 강도 분포의 형상 및 크기 속성은 피크치, 상기 픽셀 강도 분포의 폭, 상기 픽셀 강도 분포의 대칭 및 피크 강도와 잡음 강도 사이의 차 중 적어도 하나를 나타내는 것을 특징으로 하는 삼각측량 방법.
제23항에 있어서,
상기 피크들의 위치와 다른 형상 및 크기 속성 중 하나 이상의 속성에 대응하여 (a) 상기 이미지 스트림 중 하나 이상의 이미지들을 생성할 때, 상기 영역 카메라에 의해 수신된 반사 신호의 품질 측정, (b) 상기 이미지 스트림의 등록, (c) 기저 참조 표면으로 사용될 영역을 선택 및 (d) 선택된 오브젝트들의 동시 측량 및 결함 검출 중 적어도 하나를 수행하는 것을 특징으로 하는 삼각측량 방법.
제23항에 있어서,
상기 실시간 처리 및 비실시간 처리 중 적어도 하나는 상기 오브젝트의 특징 중 높이를 결정하고, 상기 특징은 (a) 상기 다수의 조사된 영역들의 제1높이 정보 및 (b) 상기 다수의 조사된 영역 이미지들에 대한 픽셀 강도 분포의 형상 및 크기 속성들 중 적어도 하나에 대응하여 다수의 조사된 영역들을 포함하는 것을 특징으로 하는 삼각측량 방법.
제23항에 있어서,
상기 비실시간 처리는 상기 조사된 영역들에 대한 제2높이 추정치를 계산하는 단계를 포함함을 특징으로 하는 삼각측량 방법.
제23항에 있어서,
상기 비실시간 처리는 상기 픽셀 강도 분포들의 형상 및 크기 속성 중 하나 이상의 속성을 재계산하는 단계를 포함함을 특징으로 하는 삼각측량 방법.
제19항에 있어서,
상기 비실시간 처리는,
상기 조사된 영역에 대한 제2높이 추정치를 계산하는 단계; 및
상기 픽셀 강도 분포의 형상 및 크기 속성들 중 적어도 하나를 계산하는 단계를 포함하고,
상기 형상 및 크기 속성은 상기 피크들의 위치와 다른 것을 특징으로 하는 삼각측량 방법.
제29항에 있어서,
픽셀 강도 분포의 형상 및 크기 속성은 피크치, 상기 픽셀 강도 분포의 폭, 상기 픽셀 강도 분포의 대칭 및 피크 강도와 잡음 강도 사이의 차 중 적어도 하나를 나타내는 것을 특징으로 하는 삼각측량 방법.
제19항에 있어서,
상기 실시간 처리는 상기 조사된 영역의 높이를 나타내는 픽셀들을 포함하는 이미지 부분들을 선택하는 단계를 포함하여 제1압축 정보를 제공하는 것을 특징으로 하는 삼각측량 방법.
제19항에 있어서,
상기 실시간 처리 및 비실시간 처리 중 적어도 하나는 하나 이상의 조사된 영역들로부터의 방사와 연계된 픽셀 강도 분포에 대응하는 이미지 등록을 포함함을 특징으로 하는 삼각측량 방법.
제19항에 있어서,
상기 실시간 처리 및 비실시간 처리 중 적어도 하나는 상기 이미지 픽셀들의 픽셀 강도 분포의 픽셀 값들에 대응하여 조사된 영역 이미지로부터 상기 오브젝트의 참조 표면을 나타내는 픽셀들을 선택하는 단계를 포함함을 특징으로 하는 삼각측량 방법.
제19항에 있어서,
상기 실시간 처리 및 비실시간 처리 중 적어도 하나는 서로 근접해 위치하지만 픽셀값이 서로 다른 두 픽셀 그룹을 차별화하여 상기 참조 표면을 나타내는 픽셀들을 선택하는 단계를 포함함을 특징으로 하는 삼각측량 방법.
제19항에 있어서,
실시간 처리 및 비실시간 처리 중 적어도 하나는 상기 이미지 픽셀들의 픽셀 강도 분포의 픽셀 값들에 대응하여 다수의 조사 영역들을 포함하는 특징의 치수를 측정하는 단계를 포함함을 특징으로 하는 삼각측량 방법.
제19항에 있어서,
상기 영역 카메라가 상기 조사된 영역의 높이와 관련된 높이 정보를 계산하는 것을 금지하는 단계를 포함함을 특징으로 하는 삼각측량 방법.