KR100341637B1 - 3각측량을 토대로 한 3차원 화상화와 처리 방법 및 장치 - Google Patents

Abstract

고속 3D 및 그레이 스케일 화상화 용이며 예비처리의 디지탈화 정보를 연합시킨 삼각측량토대의 방법 및 장치가 높이와 그레이 스케일 값들(110)의 추산 또는 여과를 참작한다. 이 추산은 한 쌍의 센서(106, 108)로부터 획득하는 정보의 신뢰수준에 근거하며 대상물 구조와 그의 반사율 특성(112)의 지식에 또한 근거한다. 조정된 레이저 빔이 대상물을 가로질러 주시되어 한쌍의 잘 조화된 리시버(106, 108)에 의해 관찰되는 복수의 스폿을 창출하게 된다.

Description

3각측량을 토대로 한 3차원 화상화와 처리 방법 및 장치 {TRIANGULATION-BASED 3D IMAGING AND PROCESSING METHOD AND SYSTEM}

3차원 화상화 기법은, 동초점의 현미경으로부터 비행 시간 레이저 거리계까지의 범위라는 것이 입증되어 왔는데, 이는 현미경 집적회로 측정으로부터 이동 로벗 항법과 같은 거대한 시계의 적용을 커버한다. 이들 센서에 대한 성능향상은 크게 다르며, 좋운 지표는 항상 특정요건을 토대로 해서 결정된다.

다수의 용도에 있어서는 검사영역을 100%커버하는 것이 필요하지만 이를 신속한 속도로 마이크론 단위 혹은, 이드 보다 섬세한 측정 정도(精度)로 달성하는 필요하다. 그러한 요구는 센서 설계, 및 근본적인 화상 제한의 필요 고찰에 도전을 제공한다. 이들 제한은 화상형성을 위해 이용되는 스캐닝 및 검출장치의 기술적인 사향의 시험은 물론, 시험되고 있는 있는 대상물의 특성(반사, 투과, 센서 해상도에 대한 사이즈)의 근접시험을 필요로 한다. 3차원 시스템에 있어서는 측정의 재생성이 센서 파라미터(신호 대 소음, 해상도등)에 의해 통상 제한되나 전체 정도는 대상물의 구조와 광학적 배경(공간적 및 시간적 잡음의 모두)의 영향에 의해 통상 제한된다.

소형화의 경향이 증가로, 초소형전자의 조립체 및 소형 파트의 생산자들은 자동 3차원 광학 검사장비에 대해 매우 정교한 측정이나 결함발견 가능성에 대한 필요조건을 가지고 있다. 측정 요구조건을 잠재적으로 만족시킬 수 있는 3차원 센서들은 공촛점 현미경, 동적 포커스 센서들, 3각측량을 토대로 한 프로우브, 및 각종 간섭계 장치를 포함하고 있다. 특정한 관심지역을 감시하는 프로세스 감시를 위한 비용유효 해결책이 있으나, 측정 속도가 통상 한정된다.

예를 들어, (그러한 장치의 검사에 있어서는 드문드문(coarse)하게 될 수 있는) 2.5 ㎛ x 2.5 ㎛의 샘플을 갖는 6"x6" 웨이퍼(또는 기타의 대상물)의 100%감사를 위한 요건은 취악이다. 전형적인 동적 포커스 프로우브는 초당 약 1000 데이터 포인트를 얻는다. 6"x6" 대상물에 대한 결과적인 검사시간은 1.3월이다. 포인트 3각측량 센서들은 초당 10000 포인트에서 작용하여 검사시간을 수일로 감소시킨다. 미국특허 제 5,024,529 호에 기재된 바와 같이, 비디오 속도로 접근하는 3차원 센서는 검사시간을 많은 시설에서 수용 가능하다.

또한, 인라인(in-line) 100% 검사를 위한 기타의 적용은 더 조잡한 해상도(이를테면 2.5 ㎛ x 2.5 ㎛)를 갖는 6"x6" 파트의 100% 검사에 수초를 필요로 한다. 많은 적용에 있어서, 속도와 정도간의 트레이드-오프(trade-off)는 받아들일 수 없어 많은 현재 측정기기를 오프라인 검사에 한정하여, 더해진 값을 크게 감소시킨다. 따라서 정도와 고속은, 변수를 서로 충돌하고 있어, 모두 검사장비의 투자에 관한 복귀를 최대화할 것을 요구한다. 명확하게, 매우 신속한 데이터 속도가 100% 검사를 위해 성취되어야할 것은 틀림없다.

정도 요구와 속도 요구를 충족시킬 수 있는 3차원의 화상화장치는 적어도 하기의 영역에서 알수 있는 요건을 갖는다:

· 회로판 및 구성요소의 검사: 솔더 페이스트와 구성요소, 납과 솔더 볼 그리드 배열 공평면성, 패키지 치수와 납 대 보디의 스탠드오프(standoff);

· 초소형전자 조립체: 멀티칩 모듈, 고밀도 초소형 범프 그리드 어레이, TAB 내측 납 본드, 와이어 본드;

· 현미가공 파트(part): 초소형 머신들과 기계식 조립체들;

· 데이터 기억 산업: 디스크 플래터 평탄도(disk platter flatness), 디스크 드라이브 서스펜션, 결함 검출;

· 전면 결함 발견: 세라믹, 유리, 금속, 종이; 및

· 형상 분석과 조화: 툴 흔적을 포함하는 법정 과학, 화기 ID, 무늬 조화, 3차원 조직 분석.

3차원 화상화, 3각측량에 대하여 일련의 모든 방법 중에서 3각측량법은 고속 및 정도의 적(積)을 위한 실용적인 방법을 제공한다. 3각측량은, 비교적 짧은 작업거리가 받아들일 수 있고 3차원 형상의 오프액시스(off-axes) 시계가 꽤 좋은(즉 좁고, 깊은 구멍이 아닌) 적용에 가장 효과적인 방법이다.

도 1은 전형적인 3각측량을 토대로한 센서의 개략도이다. 입사 레이저 빔(10)이 대상물(12)을 제 1 또는 제 2의 높이(14 및 16)에서 각각 부딪는다. 위치 감지 검출기 또는 배열 센서(18)가 확대용 수신기 광학장치(20)와 아룰러 마련돼 있다. 센서(18)의 순간 시계를 22로 가리키고 있다. 높이와 그레이 스케일 정보가 신호 처리기(26)로부터 화상 처리 및 분석 용 컴퓨터에 이르는 라인(24)에 마련된다.

비록 3각측량 법이 많은 장점을 제공하지만, 도 2에 보인 바와 같이, 어떤 형태의 에러가 면제되지 않는데, 그중 가장 분명한 에러는 새도잉이나 차단 때문이다. 이들의 문제는 둘 이상의 센서(30 및 31)를 이용함으로써 보상된다. 입사 레이저 빔(32)이, 차단지역(36)을 가지고 있는 계단형상의 대상물(34)에 부딪쳐 대상물의 표면으로부터의 센서 광선이 센서(30)으로부터 차단된다. 그러나, 이 지역(36)은 선(38)으로 가리킨 바와 같이 센서(31)에는 보인다. 양 센서(30 및 31)의 IFOV는 39로 표시되어 있다.

잠재적 결함의 더 상세한 시험은, 순간 시계(IFOV) 내에의 분산광 및 각종 광학/전자 배경 잡음원의 수용으로 인한 기타의 중요한 에러를 나타낸다. 3각측량 시스템에 있어서는, 동적 포커스 센서와는 달리, 3각측량 검출 축선을 따른 IFOV가 단일 점에 축소될 수 없어, 시스템 디자이너는 마땅히 이 제한을 해결해야 한다.

단순한 차단은, 도 2에 보인 바와 같이, 단지 한 쌍의 검출기만을 이용하여 해결할 수 있는 비교적 쉬운 문제임을 인정하는 것이 중요하다. 가끔 기록된 높은 값의 합계나 평균이 근사치를 위해 이용되며, 새도우가 완전하면(표유광 누설이 없으면), 적절한 광이 기록되게 된다. 그 합계나 평균은 차단장에 대해서는 작용하지 않게 된다. 또한, 비 차단 또는 준평탄구역의 표면 거칠음/마크들로 발생하는 비상칭 스폿 분포로 생겨나는 에러 부담은 위치 검출 축선을 따라 보이는 비대칭 스폿 분포를 평균함하므로써 대단히 감소된다. 이는, 비대칭 스폿 분포의 피크가 검출기 #1에 높게 나타나면, 검출기 #2에는 낮게 나타나게 되는 반대 뷰포인트(viewpoint)로부터의 화상화의 순서이다. 평균(또는 두개의 검출기에 대한 중간점)은 스폿 중심의 좋은 추정치이며, 에러는 상쇄되거나 크게 감소된다.

그러나, 복잡한 표면의 시험에 의하면, 다수의 채널을 단지 더하거나 평균하는 센서 처리 법이 대개의 가장 혹심한 에러를 배제하지도 않거니와 확인하지도 못한다는 것을 알수 있다. 도 3에 있어서, 입사 레이저 빔(40)이 반투명 재료의 대상물(42)을 관통하여 바깥쪽으로 전파해 제 1의 센서(50)에 배경광으로서 가시되고, 대상물(42)은 제 2의 센서(44)에 보이지 않는 분산 중심으로부터의 광을 차단한다. 대상물(42)의 지역(43)에서, 분산광은 양 검출기에 보인다. 광은 내부의 분산재료로부터 분산된다. 평균치가 더 이상 적당한 높이 측정치는 아니지만, 사실, 그 지역이 더 낮은 경우에는, 매우 높은 피크로서 잘못되어 기록된다. 참표면 위치(true surface position)는 46으로 가리키어 있고 절두된(truncated)(어둡게된) 스폿 분포는 48로 가리켜 있다. 제 2의 센서에서, 스폿 분포는 52로 나타내 있다. 지역(47)에서는, 분산광은 제 2의 센서에 만 볼 수 있다. 센서(50)에 의해 보이는 분산광 중심으로부터의 광선은 49로 가리켜 있다.

도 3에 예시한 이 혹심한 에러는 대상물 및 높이에 기초하는 배경의 적당한 식별과, 심지어는 "대상물의 존재 여부" 검출의 가능성조차도 제한한다.

마찬가지로, 도 4는 일련의 패드(54)가 솔더 페이스트로 피복돼 있는회로판 상에나, 태브 집속 회로의 내측 납 본드 지역의 본드 패드에 납이 접속되어 있는, 미세한 스케일 상에 자주 발생하는 경우를 보이고 있다. 도 4는 제 1 및 제 2의 레이저광 스캔(51 및 53)과 그 와 관련된 제 1 및 제 2 검출기(56 및 58)를 각각 도시한다. 라인(60)은 바른 검출기 위치를 가리키며 검출기(56 및 58) 상의 스폿들은 실제의 검출기 위치를 나타내고 있다.

패드(54)는 근접하여 있으며, 경사진 가장자리들은 라인(62)으로 가리킨 바와 같이 인접 패드나 2차 배경 조사로부터의 다중반사를 야기한다. 라인(64)들은 관심의 포인트으로부터의 유용한 거리 정보를 가리키고 있다. 센서는 에러의 높이값을 야기하는 인접 패드로부터의 2차 반사를 볼 수 있으나, 잡음이 센서(58)로부터 차단되지 않으므로, 에러는 단순한 평균으로 제거 시킬 수 없다. 따라서, 단순한 평균은, 값(56)이 정확한 반면, 부정확한 높이 Z 치(58)로서 명백해진 가장자리에서 가공물로 끝난다.

또 하나의 중요한 예를 도 5에 보인다. 대상물은 윤기 있는 표면 다듬질과 곡선의 기하학적 형상을 하며, 이 구성은 어떤 3차원 화상화장치에 대하여도 통상 도전적인 경향이 있다. 독특한 예는 평방 인치당 수백 또는 수천의 솔터 퇴적물로 이루어지는 볼 그리드 어레이(BGA)의 요소인 단일의 솔더 볼(66)이다. 각 솔더 볼의 치수는 약 10 마이크론에서 약 .5mm까지 다향하다. 고밀도의 작은 직경 특에 있어서는, 검사는 화상화 및 화상 분석 장치가 공 평편성(높이)의 일탈을 나태는 측정과 초당 수천의 매우 빠른 속도의 볼 직경의 측정을 제공할 수 있는지 유용한 입증만을 하게 된다. 대상물을 가로지르는 3개의 대표적인 스캔의 시험은 화상 및 처리에의 도전을 예시한다.

스캔 #1(도 5에 도시되지 않음). 스캐닝 레이저빔이 솔더 볼의 피크에 가까운 경우, 그레이 스케일과 높이값은 잘 정합 되게 되어 동적 범위의 센서 내에 잘 있게 된다. 평균 높이값은 양호한 추정치이며 스폿 분포에 있어서의 어떤 비대칭도 제거시킨다. 표면 방위는 양 센서(68 및 70)에 유리하다.

스캔 #2. 그러나, 직각의 면이 센서(68)가 직접 거울 반사를 받고 있는 정도인 입사 레이저 빔(72)에 대한 제 2의 스캔에 대해, 매우 높은 그레이 스케일값이 센서(68)에 기록되게 된다. 이 신호는 장치의 동적 범위를, 비록 고속 자동 광 제어(ALC)를 이용할지라도, 쉽게 초과할 수 있다. 센서(68)를 (이를테면, 110 내지 20까지 신호를 감소함에 의하여) 범위에 가져오는 데 ALC를 이용하면, 센서(70)는 낮은 광 복귀를 받아들이게 되어 빈약한 신호 대 잡음비와 높이의 부정확한 추정치를 초래하는 것이다. 센서가 비록 강도 범위에 가져와질지라도, 국지적인 동적 범위는, 신호가 국지 지역에서 있어서 약 40까지 변화할 수 있기 때문에 광학적 누화(스미어(smear) 및 스트리크(streak)잡음)이 포화점 부근 지역의 높이 값의 변조로 끝날 정도로 크다.

더구나, ALC 범위가 심하면, 측정속도를 떨어뜨릴 수도 있다. ALC 범위가 불충분하여 강한 신호의 압축이 센서(68)에 대한 유효 데이터를 산출하지 않으면, 그 때는 센서(70)가 또한 범위의 밖에 있게 된다. 만약 다이렉트 레이저 다이오드 변조(단지 10 범위)가 포함되면, 이 상태는 쉽게 생겨날 수 가 있다. 따라서, 가장 강한 신호가 항상 최량일 수는 없다.

스캔 #3. 대상물의 측면 아래의 제 3 스캔은 가장 어려운 문제를 나타낸다. 거울같은 표면은, 입사 및 반사의 각 때문에, 관심의 점으로부터의 신호보다 강한 크기의 순서들인, 센서(68)에서 판독하는 강도를 발생하는 광택 있는 배경이 되게 되는 것을 조사한다. 이 경우, 센서(68 및 70)로부터의 높이와 강도 판독의 양자는 많이 달라 혹심한 에러상태와 테이터의 저 신뢰를 야기한다.

이들 도시에 의하면, 단일 솔더 볼의 스캐닝을 위하여, 각 센서는 전체 동적 범위를 통한 작동이 요구되며, 많은 포인트에서 수퍼리우스 데이터(sporious data)를 만난다는 것을 알 수 있다. 그리드의 측정을 위하여, 관절의 회전을 통해 센서를 재배열하는 고급품은, 100% 검사가 에셈블리 라인 속도로 달성되게 되면 감당할 수 없다. 더구나, 유사한 기하학에 대해, 센서에 대한 유리한 위치는 존재하지 않아 에러를 배제한다. 그럼에도 불구하고, 만약 에러 있는 데이터 포인트를 확인하거나 여과할 수 있으면, 측정작업에 대한 중요한 정보는 여전히 입수 가능하다. 많은 다른 예들은 (선행기술에 기술한) 높이 값의 단순한 평균이, 특히 원활한 평면 다듬의 복잡한 형상에 대해, 큰 측정 에러를 발생하고 있다는 것을 알 수 있다.

이들 현상과 관련하는 에러들은 양이 한정되었다. 전형적인 문제의 경우는 프린트 회로판 상의 솔더 페이스트와 트레이스(trace)를 검사할 때에 발생한다. 차단 및 반사 가공품의 효과는, 측정한 다음 90도 회전시키어 다시 측정하는 길고, 얇은 대상물에 대한 결과를 비교함에 의하여 잘 설명된다. 시험 결과는 솔더 페이스트, 배경, 및 패드들 간의 반사변화에 따라 약 30%에서 50%까지의 판독의 변화를 나타낸다.

에러는, 도 4에 설명한 바와 같이 차단지역이 위치감지 치수에 대응하는 길이를 따를 때, 가공품은 산출에 있어서 명백해질 뿐 아니라 눈에 보일 만큼 크다. 그러한 변화는 인라인 공정 제어(in-line process control)에는 받아들일 수 없으며, 가시성으로 인해, "존재여부의" (드문드문한 검사)에 겨우 받아들일 수 있다. 많은 3각측량을 토대로한 프로우브가 입수가능하며 하기와 같이 광범위하게 분류될 수가 있다: 포인트 센서, 라인 오프 라이트 시스템(line-of -light system) 및 초당 약 10K 포인트의, 초당 100K 포인트에 이르는, 그리고 초당 10M 포인트에 각각 이르는, 데이터 속도를 산출하는 레이저 스캐너. 특정의 실시양태에도 불구하고, 3각측량토대의 화상화에 숙련한 이들 간에는 도 4에 설명된 바와 같이 결함과 관련된 섀도잉과 차단의 감소를 통한 성능의 향상에 다양한 조합의 다수의 송신기와 수신기 장치들의 사용이 이용될 수 있음이 잘 알려져 있다. 느린 측정 속도의 결점을 제외하고, 포인트 센서들은 라이트의 전송점 둘레에 상칭적으로 배열되는 4 검출기 시스템과 8 검출기 시스템으로 개발되었다. 4 검출기 시스템에 있어서는, 수신기가 정방형의 측면에, 8 검출기 시스템에 대하여는 링 검출기 배열로, 배치돼 있다. 이 접근법에 대한 이점은 명백하지만, 검사 속도 요건의 고려하는 경우에 있어서는 그 방법은 받아들일 수 없다.

어레이 카메라 시스템에 있어서, 도 3-5에 보인 반사현상으로 인한 에러들은 위치 감지 축선을 따라 발견되는 다수의 스폿들을 계산하여 때로는 압축시킬 수도 있으나, 심하게 감소되는 측정 속도의 대가를 치루는 조건에서만이 가능하다. 더구나, 정정 높이 값이 단순히 각 스폿의 강도를 보는 것만으로는 식별될 수 없어, 때로는 잘못된 값이 도 5에 보인 바와 같이 큰 강도를 가질 수도 있다.

라인 오브 라이트 시스템은 기계적 주사 포인트 검출기에 비해 실질적 측정 속도 이점을 제공하나 초당 30K 포인트 범위의 카메라 판독 속도까지 제한된다. 다수의 광선, 고속 프레밍 카메라(high speed framing camera) 또는 보다 빠른 프레임 율로 판독할 수 있는 것 보다 작은 배열이 어떤 편의를 제공한다. 그럼에도 불구하고, 정도는 신의 의존 에러가 감소되지 않으면 가끔 (높이 존/부와 대비하여) 측정 적용에 받아들일 수 없게 된다. 레이저 오브 라이트 또는 라인 스캔 시스템에 있어서는, 비 차단 검출기 쌍의 단순한 평균을 허용하는 좌우 상칭이 없어, 화상화 헤드 또는 파트의 교대 또는 추가의 카메라 및 직각의 투영을 위해 부가된 스캔 라인과 함께 연속 스캔이 활용되지 않으면, 검출기의 수를 2 장치로 한정한다.

크러겟(Clerget)의 미국특허 제 4,534,650 호는 두개이상의 별개의 센서(포토다이오드 바; photodiode bar)를 활용하는 3차원 측정장치를 기재하고 있다. 그 부분의 일부의 목적은 "결함 감광성 요소(facult photosensitive elements)"로부터의 출력을 정정하는 것이다. 상기의 반사와 차단의 논의에서 알 수 있는 바와 같이, 그 것은 생길 수 있는 최소의 문제들이다.

케이스(Case) 및 그 외의 미국특허 제 4,891.772 및 4,733,969 호는 선과 v포인트 측정을 위한 "복수의" 센서의 이용을 기재하고 있다. 특징은 nxn 어레이 또는 센서들과 각 CCD 어레이의 판독으로 얻는 강도 분포로부터의 스폿 중심의 추정을 위해 스폿 사이즈 측정에 기초하는 노출 제어장치를 포함한다. '969 특허는 2 단에서 "장치의 사용자는 일정한 구역을 거절하여 복잡한 기하학으로부터의 다수의 반사에 의해 야기되는 에러 판독(readings)를 배제할 수도 있다"고 기재되어 있다. 이로 인해 "윈도" 배치를 위한 화상에 사용자가 접근할 수 있다.

(역시 다수의 검출요소를 이용하는) '772 특허에 있어서는, 노출이 제어되어 검출기 상의 전력을 균형 잡게 돼 있다.

스턴(Stern)의 미국특허 제 4,643,578 호는 광 빔의 위치 및 판독 장소와 동기의 마스크를 사용하는 장치를 기재하고 있다. 이 방법은 FOV 외측의 스트레이 광으로부터의 에러의 감소에, 또 용접 적용에서 조우되기도 하는 고 배경 광학 소음을 가리는 데 매우 효과적이다. 그러나, 전체 위치 감지 구역이 유효하게 마스크 할 수 없으므로 극심한 에러들이 여전히 존재할 수 있다.

페니(Penney) 및 그 외의 미국특허 제 4,634,879 및 4,645,917 호는 스턴과 유사한 광학 잡음을 여과하는 수단을 기재하고 있으나, 그 장치는 CCD 어레이가 아니라 위치 검출을 위한 광전자 증배관을 채용하고 있다. 디스캐닝 작용(descanning action)은 스턴이 보인 바와 같은 기능을 수행한다. 단일의 수신기만이 이용되며 차단효과가 성능을 제한한다.

나카와가(Nakawaga)의 미국특허 제 4,553,844 호는 솔더 검사를 위한 스캐닝/디스캐닝 장치를 개시하고 있다. 위치 감지 축선에 직각의 방향은, 페니와 스턴의 개시와 같이 차단되어 좁은 스트립인 IFOV로 끝난다. 위치 감지 축선은 노출되며 단일의 검출장치 만의 사용으로 그 장치는 도 4 및 5에 설명한 현상에 의해 한정된다. 대개의 극심한 에러들은 보상되지 않고 있다. 흔히 차단되는 광은 PSD 축을 따라 발견되는 "하이라이트" 보다 낮은 강도를 가지고 있다.

아미르(Amir)의 미국특허 제 5,048,965 호는 CCD 선형 어레이와 차단 방지용 광의 정합된 쌍을 이용하는 3차원 화상화법을 기재하고 있다. 그 방법은 고속 포착의 가능성(비디오 속도로 접근하는) 고속포착의 잠재성과, 4096 리니어 어레이와 함께, 동시적인 광폭 필드 유효범위(simultaneous wide field coverage)를 가진다. 이 방법과 함께, 각각 두개의 정합된 광원을 가진 두 화상이, 차단방지를 위해 요구된다. 각 수신기를 위해 위치 감지 검출기(PSD)를 사용하는 대신, 한 대등한 기능이 한 쌍의 부호화한 광무늬(반대표시의 조사 그레디어트)에 의해 제동되는데, 이 무늬는 표면에 투사되어 대상물의 각각의 단일 스캔을 위해 하나의 조사패턴으로 화상화 된다. 단일 조사 방향으로부터 획득되는 높이 측정은 (패스(pass)에 스위치된) 두개의 부호화 무늬에 적용되는 (PSD 토대의 장치와 유사한) 비율측정 처리로 계산된다. 차단방지를 위해, 강도 값들 간의 규정된 관계는 조사공간 프로파일로부터 요구되는 때 깊이를 계산하는 데 이용된다. 결과의 식의 시험은 그 관계가 두개의 조사방향으로부터 얻은 중심 추정치를 평균하는 것과 같음을 보이고 있다.

첸(Chen) 및 그 외의 미국특허 제 5,118,192 호는 불규칙한 대상물의 바람직한 뷰밍(viewing)조건을 달성할 회전 센서의 내부 기계 수단을 가진 레이저를 토대로한 3차원 센서장치를 개시하고 있다. 그 장치는 다수의 레이저 송신기와 검출기를 활용한다. 이 장치는 차단과 반사 가공품이 도 5에 설명된 바와 같은 솔더 조인트 등의 대상물의 관찰에 최대로 활용된다. 기울어진 조사와 뷰밍장치에 의해 센서를 피벗하는 수단과 함께, 높은 신호 대 잡음 -낮은 수퍼리우스 반사 상태-가 전형적인 표면 방위와 조건에 대해 달성될 정도의 방법으로 솔더 조인트의 경사진 측면의 실질적 단편이 관찰되게 한다. 그러나, 차단과 반사 가공품에 대한 광선 투사에 의해 발견될 수 있는 몇몇의 상태들은 어떤 단일의 화상 내에도 존재하게 된다. 고속 적용의 요구로, 회전과 관절을 통해 획득되는 다수의 뷰포인트를 획득하여 처리하는 시간은 가능하지 않은 것 같다.

다수의 삼각측량토대의 검출기를 활용하는 기타의 장치들은 CCD 검출기를 이용하고 있는 하타의 미국특허 제 4,731,853 호와, Proc. SPIE, Vol. 2065), D. Svetkoff ed., Sept. 1993, p. 253, Sec. 2, Triangulaton Optics 게재의 쿠이즈먼, 케이., 호리존 제이. (Philips)의 논문, 비디오 속도 레이저 스캐너: 삼각측량, 렌즈, 검출기, 및 처리 회로에 관한 고찰에 기재돼 있다.

본 발명은 머신 비전(machine vision) 방법 및 장치에 관한 것이며, 특히, 3각측량을 토대로한 3차원 화상화와 처리 방법 및 장치에 관한 것이다.

도 1은 단일의 검출기를 가진 텔리센트릭 수신기를 포함하는 기초 3각측량을 토대로한 장치의 개략도;

도 2는 두개이상의 수신기와 검출기 하부조직을 이용함에 의하여 섀도우를 감소시키는 3각측량을 토대로한 이중 수신기 장치의 개략도;

도 3은 차단과 벌크 내부 분산의 연합 효력이 센서 채널의 평균에 의해 취소되지 않는 좌우 상칭의 스폿 분포를 각 검출기에 에 발생하는 3각측량을 토대로한 이중 수신기 장치의 개략도;

도 4는 2차 반사에 의해 야기되는 에러가 대상물 근접을 포함하는 평면 기하학, 반사율, 및 배경특성의 기능인, 3각측량을 활용하는 3각측량을 토대로한 이중 수신기 장치의 개략도;

도 5는 윤택한 구형의 표면들이 관심늬 포인트로부터의 신호를 초과할 수도 있는 배경 반사와 합성된 큰 국부화 반사율 변화(동적 범위)를 가진 문제를 제공하는 3각측량을 토대로한 이중 수신기 장치의 개략도;

도 6은 본 발명에 따라 구성되고 보통 수치의 논리 데이터 필터링을 가진 복 센서 3각측량을 토대호한 화상화 장치의 개략도;

도 7은 다수의 센서 신호를 연합하는 데 사용되는 기초 회로소자의 개략 블록도;

도 8은 다수의 센서 신호를 연합하는 데 사용되며 도 7의 회로소자 보다 작은 메모리 요건을 가진는 더 구체적인 회로소자의 개략 블록도; 그리고

도 9는 다수의 센서 신호를 연합하는 데 사용되며 도 8의 회로소자 보다 한층 작은 메모리 요건을 가지는 더 구체적인 회로소자의 개략 블록도이다.

본 발명의 목적은, 3차원 화상화에 대한 여과와 추산기법을 포함하여 측정의 깊이 위치 감지 축선을 따라 감지되는 측정 에러를 감소시키게 되고, 따라서 고속의 레이저 스캔의 장치의 전체 성능을 사실상 향상시키는 3각측량을 토대로 한 3차원 화상화과 처리 방법 및 장치를 제공하는 데 있다.

본 발명의 또다른 목적은 측정 높이와 그레이 스케일 데이터의 차로 나타나는 바와 같은 대상물 구조에 대한 정보를 이용하며,(다수의 센서 데이터의 웨이트된 평균(가중평균)을 통해))추정하거나 정보의 신뢰수준에 좌우되는 최대 콘트래스에 대한 각각의 3차원 데이터 값을 여과하는 지직을 토대로한 다채널 신호 처리 접근법을 제공하는 3각측량을 토대로한 3차원 화상화 처리 방법 및 장치를 제공하는 것이다.

본 발명의 또 다른 목적은, 고속 레이저 스캐닝 장치를 이용하여 단일 선의 레이저 광을 스캔 하거나 조사하여 바로 두개의 검출기로 받아들이게 되고, 또 복수의(2 이상의) 검출기나 추가의 검출기/송신기 쌍을 이용하는 느린 기계적 스캔 포인트 측정장치 보다 많이 높은 전 속도 정도의 장점의 지수를 발생하여 잠재적인 활용을 최소화하는 3각측량을 토대로한 3차원 화상화와 처리 방법 및 장치를 제공하는 데 있다.본 발명의 또 다른 목적은 측정속도를 저하하는 특정한 프로그래밍 조건을 실시간으로 로버스트(robustly)하게 그리고 이 프로그래밍 조건에 의존하지 않으며, 충분한 프로그래밍 및 새로운 임계치 선택을 참작하여 상이한 화상화 및 측정 응용을 위해 여과 및 추정을 최적화하는 3각측량을 기반으로 한 3차원 화상화 및 처리방법 및 장치를 제공하는 것이다.

본 발명의 또다른 목적은, 신호들을 전자 범위에 압축하거나 제한하는 데 사용되는 실시간 광 변조장치(다이랙트 레이저 변조기, 음향-광학장치)의 필수의 사용을 제한하나 배제하지 않음에 의하여 동적 범위를 향상시키어 일 채널의 과부하가 또다른 것의 과부하일 필요가 없으며, 두개의 신호중의 가장 큰 것이 가장 바람직하지 않을 수도 있다는 것을 인지하는 3각측량을 토대로 한 3차원 화상화와 처리 방법 및 장치를 제공하는 데 있다.

본 발명의 다른 목적은, 선행 기술로 한 바와 같이 상세를 "평균하기" 보다는 표면 미세구조를 향상하게 결함 향상 및 조직분석을 위해, 차례로 선형 및 비선형의 점별 여과를 제공하는 3각측량을 토대로한 3차원 화상화와 처리 방법 및 장치를 제공하는 데 있다.

본 발명의 또다른 목적은 그레이 스케일 및 높이 데이터의 상대적 정합에 의하여 결정되는 바와 같이 신뢰에 기초한 화소를 웨이트(가중)하여, 상대적 정합에 기초한 변환을 선택하는 3각측량을 토대로한 3차원 화상화와 처리방법 및 장치를 제공하는 데 있다.

본 발명의 목적은 또한, 데이터 유효성을 결정하는 데 사용될 수 있는 신뢰 치수 또는 컴퓨터 제어에 의해 메뉴퓰레이터(manipulator)의 제어를 발생하는 지식을 기반으로 한 3차원센서를 포함하는 3각측량토대의 3차원 화상화와 처리 방법 및 장치를 제공하는 데 있다.

본 발명의 상기 목적들 및 타의 목적들을 성취함에 있어서는, 변환된 높이와 그레이 스케일 값들을 발생하는 3각측량을 토대로한 3차원 처리방법이 제공된다. 그 방법은 대상물대해 제 1의 방향으로부터 획득되는 높이 데이터와 강도 데이터에 나타내지는 제 1의 쌍의 데이터 값들을 발생하는 단계와, 대상물에 대해 제2의 방향으로부터 획득되는 높이 데이터와 강도 데이터에 의해 나타내지는 제 2의 쌍의 데이터 값들을 발생하는 단계를 포함한다. 그 방법은 또한, 높이와 강도 데이터를 처리하는데 적합되는 하나이상의 제어 알고리즘을 제어 가능하게 자동적으로 선택하는 단계와, 제 1 및 제 2의 방향으로부터의 높이 데이터와 제 1 및 제 2의 방향으로부터의 강도 데이터를 하나이상의 제어 알고리즘으로 처리하여 변환된 높이 데이터를 획득하게 되는 단계를 포함한다.

바람직하게, 그 방법은 제 1 및 제 2의 방향으로부터의 높이 데이터를 처리하여 변환된 강도 데이터를 획득하게 되는 단계를 포함한다.

그 방법은, 또한 바람직하게, 화상처리 컴퓨터에 의해 처리되게 적합하게 되어 있는 변환된 높이와 강도 데이터를 송신하는 단계를 포함한다. 그 변환된 높이 데이터는 하나이상의 변환된 높이 값을 나타내며, 변환된 강도 데이터는 하나이상의 변환된 그레이 스케일 값을 나타낸다.

더 나아가서 본 발명의 상기 목적 및 타의 목적을 성취함에 있어서는, 상기 방법들의 각각의 상기 방법 단계들을 성취하기 위한 장치가 마련된다.

본 발명의 방법 및 장치는 일반적으로 3각측량의 원리를 이용하는 3차원 화상화와 측정에 관한 것이며, 상세하게는 차단과 수퍼리우스 반사의 영향의 감소를 통해 향상된 정도를 위한 다수의 검출장치가 통합되어 있는 고속 화상화를 위한 레이저 스캐닝 장치들의 사용에 관한 것이다. 본 발명은 레이저 스캐닝 또는 구조죈 광센서에 의해 얻어진 그레이 스케일 및 높이 데이터에 대한 새롭고 유용한 여과 및 제거 기술에 관한 것으로, 신(scene)의 각 점이 스캔 라인 또는 투영된 광선쪽에 배치된 정확히 두개의 센서에 의해 뷰(view)된다. 그 방법은, 추가의 검출기를 통합하는 많이 느린 포인트 레이저 3각측량 장치에 비교하는 경우 레이저 스캔의 장치의 성취가능 형상의 장점을 달리 제한하는 에러들의 감소나 배제를 참작한다.

도면을 참조하면, 도 6에는 본 발명에 따라 구성되는 3각측량을 토대로 한 화상화 및 처리장치가 도시되어 있다.

그 장치는 레이저 빔 발생기와 레이저 강도 제어를 위한 전자 변조 기구, 레이저 빔을 스캐닝 하거나 레이저 광의 선을 투영하는 빔 디플렉터, 및 복수의 스캔된 포인트 또는 대상물(102)을 가로질어 투영되는 광의 라인을 발생하는 광학적 집속수단을 일반적으로 포함하는 레이저 송신기(100)를 포함한다.

더 상세하게, 레이저는 전형적으로 780nm∼830nm의 범위의 파장이고 최대전력 50mw 이하인 Sharp LT015-MD 따위의 CLASSⅢ-B 레이저 다이오드이다. 반도체 레이저 다이오드 기술의 발전은 봉입(enclosure)과 인터록의 필요를 경감하는 주요한 장점을 가지는 보다 짧은 파장(680nm)이 고려된다.

자동식 광 제어장치(104)에 의한 실시간 강도 변조는 매우 광범한 동적 범위 화상화를 위한 옵션(option)으로, 지향성 반사율은 약 30 이상에까지 변한다. 레이저 다이오드의 변조는 직접적일 수 있으나 정격전력 이하의 약 10 이상까지 감소는, 특히 회절성 스캐닝 장치에 있어서는, 시간적 소음을 유도할 수도 있으나, 고전적 장치에 있어서는 다각형 거울, 검류계, 또는 공명장치를 이용하는 바람직하지 못한 공간적 및 시간적 모드를 발생한다.

바람직한 변조 수단은 50 ns 따위의 최소의 지연에 최적인 경사진 구조를 가진 음향 프리즘 모듈레이터의 사용과 일치한다. 그러한 모듈레이터로 제공되는 제어 범위는 20의 추가 범위를 초과하는 다이랙트 레이저 조절로 성취 가능한 것 보다 많이 크다. 바람직한 방법은 보조 증폭 검출기로 광 수준을 "램프 업(ramp up)"하여 복귀를 감시하는 것이다. 선택의 검출기는 애버런치(avalanche) 포토다이오드들, 바람직하게, Advanced Photonix Cororation 사에 의해 공급되며 상승시간 25 ns이하의 연합의 증폭기/검출기를 가진, 직경 5mm 이상의 장치들이다.

본 발명의 방법이 복수의 포인트(보통 512, 그러나 64 내지 1024의 전형적 범위에서, 오랜 스캔이나 조사를 배제하지 않고)을 스캐닝 하거나 투영함에 의하여 데이터를 획득하기 때문에, 레이저 빔을 스캐닝 하거나 투영하는 수단이 필요하다. 스베트코프 및 그 외의 미국특허 제 5,024,529 호에서 앞서 기술한 바람직한 장치는 텔레센트릭 광학 시스템으로 고속 비행 레이저 스폿을 발생하는 데 고체 디플렉터를 이용하고 있다. 고속 스캐닝의 기타의 수단은, 덜 바람직한 기계식 이반 유닛들인 레이저 스캐너, 공명장치 및 다각형 거울을 포함한다. 전형적인 초당 15K 포인트들 보다 빠른 판독을 위하여 고속 카메라를 사용한 광의 라인들의 투영을 또한 이용할 수 있으나, 준 비디오 속도, 전 필드 적용에 대해서는 그럴 수 없다.

본 발명의 장치는 오프-액스를 뷰하는 제 1 및 제 2의 사실상 동일한 센서나 수신기(106 및 108)을 또한 일반적으로 포함하고 있다. 각각의 수신기(106 및 108)는 광학식 송출 및 집속 장치와 위치 검출과 3각측량 원리에 의한 높이의 결정을 위해 그리고 수신 레이저 빔 강도의 결정을 위해 위치감지 축선을 가진 검출기를 포함하고 있다. 가장 적당하게, 각각의 수신기(106 및 108)는 레이저 강도를 제어하는 고속 증폭 검출기(리미터)를 포함하고 있어, 수신광의 작은 단편을 분할하여 애버런치 포토다이오드와 그와 관련된 전치 증폭기를 바람직하게 포함하고 있는 검출기에 송출한다.

특히, 도 6의 장치에 있어서는 스캔하여 투영한 빔의 긴 축의 둘레에만 좌우 상칭이어서 각각이 위치 감지 축선을 가지고 있는 검출기에의 광의 전달을 위해 정확히 두개의 거의 동일한 광학적 장치을 야기한다. 각종의 광학식 및 전자식 위치 감지 검출기는 속도와 감도 필요에 따라 사용될 수 있으나, 측면효과의 포토다이오가 지금은 이용 가능하여 동적 범위 필요가 극단으로 크지 않으면(즉, 매우 낮은 수준의 신호이면) 고속 가능성(비디오 속도에 까지)을 제공한다. 도 6의 두개의 검출기 장치에 대하여는, 하드웨어 색인표에 의한 교정갱신을 위해 양호한 정합이 필요하다.

앞서 언급한 강도 제어 방법의 최선의 이행은 각각의 둘의 검출기로부터 수신한 신호의 조합에 의하여 결정되게 된다.

도 5는 검출기(70)의 가능성이 희생되는 포인트를 잘 설명하고 있다. 전자식 동적 범위를 향상시키는 레이저 강도 제어는 광학식 동적 범위와, 제한점 전파기능에 의한 광학적 누화의 효과에는 좌우되지 않는다.

보통, 자동식 광 제어장치(104)는 전자식이며 앞서 언급한 증폭 검출기로부터 유도된 입력을 가지고 있다. 광 제어장치(104)는 양 채널의 소정의 기능에 기초하여 송신기(100)의 모듈레이터를 제어하는 출력 전압을 산출하므로〔즉, 광 출력을 설정하여서 Max(g1,g2) < V 최대 및 Min(g1,g2) > V 최소 되도록 설정된 광출력, 다만 V 최대 및 V 최소는 위치 센서 동적 범위의 상 하의 유용한 제한치에 상당한다〕, 어느 채널도 위치 검출기의 최대의 유용한 동적 범위에 의해 설정된 소정의 최대 강도 값은 초과하지 않는 것이 언제나 가능하나, 양 채널은 낮은 임계치를 초과하여, 유효한 데이터 상태를 유지하는 것이다.> V 최소 다만 V 최대 및 V 최소는 위치 센서 동적 범위의 상 및 하의 유용한 제한치에 상당한다〕, 어느 채널도 위치 검출기의 최대의 유용한 동적 범위에 의해 설정된 소정의 최대 농도 값은 초과하지 않는 것이 언제나 가능하나, 양 채널은 저 역치를 초과하여, 타당한 데이터 상태를 유지하는 것이다.

또한, 각각의 수신기(106 및 108)는 보통, 검출기 상의 스폿 강도 분포의 중심을 나타내는 디지탈 높이 값을 산출하는 신호 처리 수단 또는 회로를 포함하고 있어, 집적 문포 또는 피크 높이 값에서 디지탈 그레이 스케일을 산출하게 된다.

각 위치 검출기는 광법한 동적범위 신호를 어떤 한정된(고속에소 전형적으로 10-12 비트) A-D 컨버터에 압축하는 신호 처리 수단을 필요로 한다. 스위치된 이득 증폭기 장치가 바람직하며, 각 이득(또는 압축) 단계는 신호 임계치와의 비교를 토대로 활동시켜진다. 이는 양호한 직선성, 용이한 교정, 및 양호한 온도의 안정성을 참작한다. DC 회복 회로소자가 사용되어(때로는 상관된 더블 샘플링으로 불림) 오프셋 드리프트(offset-drift)을 보상하나, 보다 중요한 것은, 전하 축적과 고 신호 값에서 저 신호 값에 이르는 누화로 생겨나는 위치 종속에러를 소거하게 된다. 각 화소에 교정이 적용되면, 화상 스미어의 실질적 감소한다. 신호 처리의 기타의 수단은 비율계산식 처리를 단순한 감법연산에 단순화하는 로그 레이트 회로(log rate circuit)를 포함한다.

그레이 스케일 및 높이 정보의 디지탈화 후에는 다수의 센서 신호는 어떤 방법으로 연합되어 그레이 스케일을 향상시킴과 아울러, 어떤 주어진 점에서의 높이 값의 양호한 추정치를 발생해야 한다. 앞서 기술한 파형 반사잡음의 존재에서는 값의 선형 추정(평균 또는 총계)이 차단 및 반사 문제점이이 존재하는 복잡한 신(scene)들에 대하여 너무 간단하다는 것을 알수 있다. 더구나, 평균(도는 합산)은, 스캔한 레이저 스폿 사이즈가 때개 표면 흔적의 시이즈인 경우 표면 구조의 연구 가능성을 제한하며, 대개의 경우에는 평균보다는, 이들 특성을 향상시키는 것이 바람직하다.

따라서, 센서 데이터의 신뢰, 투과 특성의 신 반사율의 지식, 또는 전체의 측정 목표를 토대로 한 일련의 선택적인 선형 또는 비선형의 변형을 선택하게 되는 조건적 결정 논리(conditional decision logic)를 채용하는 것이 적당하다. 성취되는 기능은 다채널 필터링 및 추정 블록(110)과 같은 도 6에 설명한 필터와 추정량 양자이다. 제어장치(112)는 호스트 컴퓨터(114)로부터의 프로그램된 입력에 의해 선택된 논리 또는 수자의 기능을 제어한다. 도 7은 대량의 수자 또는 조합 논리 기능들의 이행을 대비하는 특정한 실시양태를 보이고 있다.

도 7은 3차원의 여과와 추정(즉, Z₁, Z₂) 및 그레이 스케일 GS₁, GS₂정보를 마련하기 위한 조합 논리의 일반적 이행을 설명하고 있다. 이 이행은 8 바이트의 해상력의 입력 및 출력 데이터를 보이고 있으나, 이 이행은 입력 또는 출력에 대한 어떤 수의 바이트에도 적용할 수 있다. 입력(120 및 122)(Z₁및 GS₁)은 제 1의 수신기(106)로 부터의 3차원 그레이 스케일 정보이며, 입력(124 및 126)(Z₂및 GS₂)은 제 2의 수신기(108)로부터의 3차원 및 그레이 스케일 정보이다. 색인표(128)는 매 입력조합에 대한 일대일 대응을 위해 메모리 액세스를 충분히 내포하고 있어 Z 데이터(130)와 그레이 스케일 데이터(132)에 대해 바람직한 출력을 제공하게 된다. 이 논리는, 두개의 센서들 간의 스케일 및 오프셋 에러, 또는 그레이 스케일 값을 토대로하는 3차원 정보의 공지된 오프셋들 따위의 장치에 존재할 수도 있는 각종 에러들의 교정에 뿐 아니라 특정 적용에 바람직한 출력을 창출하는 적당한 결정 룰(raw)을 마련하는 데 사용할 수 있다.

제어 논리(134)는 색인표 메모리에 바람직한 결정 룰을 부하하는 데는 물론이고, 보정을 토대로한 현재의 결정 룰의 신속한 변경등을 제공하고, 처리 시간에 관한 충격이 적은 예비 부하 결정 룰을 선택하는 데 사용될 수 있다.

이 일반적인 이행은 양 수신기로부터의 3차원 및 그레이 스케일 입력에 기초한 3D 및 그레이 스케일 출력의 완전한 기능적 부호화를 제공한다. 그러나, 이 때, 필요한 메모리의 양은 지원해야하는 적용에 대해 엄청난 비용이 들 수 있다. 이 이행의 수 가지의 변경은 최소의 메모리 요건을 가진 바람직한 기능성을 제공할 수 있다는 점에서 존재한다.

도 8은, 도 7의 실시양태 보다 많이 작은 메모리 요건을 가진 바람직한 실시양태를 도시한다. 대개의 적용에 대해, 그레이 스케일 신호 필요의 변경은 계산된 3차원 값에 좌우되지 않으므로, 색인 표(140)이 둘의 그레이 스케일 입력에만 좌우되는 그레이 스케일 출력을 제공한다. 색인표(140)의 출력은 수신기 만으로부터나, 또는, 각 채널로부터의 평균, 최소, 또는 최대의 값따위의, 양 체널을 토대로한 선형 또는 비선형 추정으로부터의 결과 일 수 있다.

그레이 스케일 대 Z 색인표들(142 및 144)은 각 채널에 대한 3차원 변환에 완전한 그레이 스케일을 각각 제공한다. 게다가, 이 이행은, 결정 룰 색인표(146)로 나아갈 수 있는, 그레이 스케일 임계치 따위의, 그레이 스케일 대 Z 관계에 대하여 추가 정보를 부호화하는 데 사용할 수도 있는 두개의 추가의 비트를 나타내고 있다. 예를 들어, 만약 제 1의 수신기(106)가 예비 설정 임계치보다 작거나 큰 그레이 스케일을 가지고 있으면, 그 때 결정 룰은 제 2의 수신기(108)로부터 3차원 값을 선택하여야 한다. 그레이 스케일 대 Z 색인 표들(142 및 144)로부터 나아간 여분의 비트들의 수는 결정 룰 표(146)에서 적용될 수 있는 최고 4 시험에 제공하는 두개의 비트로서 나타내 있다. 그러나, 어떤 수의 비트들도 사용될 수가 있다.

도 9는 도 8의 실시양태보다 한층 작은 메모리 요건을 가진 대체 실시양태를 보이고 있다. 도 8의 그레이 스케일 대 Z 색인표(142 및 144)는 비교기(150 및 152)와 대체되어 있으며, 이 비교기는 제 1 및 제 2의 수신기(106 및 108)로부터의 그레이 스케일 데이터를 버스(156 및 158) 상의 공지의 콘트래스트 값과 비교한 후 정보를 결정 룰 색인표(154)에 제공할 수 있다. 이 이행은 완전 그레이 스케일 대 3차원 변환이 필요하지 않은 경우에 바람직할 수 있다.

그레이 스케일 대 그레이 스케일 색인표(160)는 두개의 수신기(106 및 108)가 최대의 그레이 스케일 값을 제공하고 있는 따위의 결정 룰 색인표(154)에 접속된 정보 비트(162)를 또한 발생시킬 수 있다. 비록 이 이행이 그레이 스케일 채널 당 하나의 비교기를 보이고 있을지라도, 다수의 비교기를 적당한 Z 결정 룰을 선택하는 범위의 그레이 스케일 값들의 상세기술을 포함하는, 다수의 임계치 데이터 값을 제공하는 데 사용할 수가 있다. 도 8 및 9의 각각의 이행의 메모리 요건은, 그레이 스케일 대 그레이 스케일 변환이, 색인표(140 또는 160)를 스위치(도시하지 않음)와 교환하여 제 1의 수신기(106)나 제 2의 수신기(108)로부터의 그레이 스케일 정보를 계속하여 제공하게 되어 필요하지 않으면 또한 더 감소될 수가 있다.

그레이 스케일 및 3차원 정보를 제공하는 논리는 그레이 스케일 강도가 정확한 3차원 정보를 제공하기에는 너무 높거나 너무 낮다는 것, 또는 3차원 정보가 범위 외라는 것을 의미하기도 하는 데이터에 상세하게 부호화된 값을 가질 수도 있다. 설명한 이행의(즉, 도6-9의) 모두에 있어서, 변형표들은 다운스트림 논리(downstream logic)에 대해선 변화하지 않는 특별한 부호화 값을 통과 할수 있으나, 하나이상의 채널들에 특별한 값들에 기초하는 특별한 결정을 한다. 중간필터(median) 따위의 특별한 필터링은 요위 화소들에서 암시될 수 있는 데이터에 기초하는 특별한 부호화 값들을 "필인(fill in)" 하는데 나중에 사용될 수 있다.

보통, 도 7의 컴바이너(combiner)는 디지탈이며 컴퓨터 화상 분석에 앞서, 그레이 스케일 및 3차원 데이터의 추정과 필터링을 제공하게 되는 3차원 및 그레이 정보나 데이터의 듀얼 채널(dual channel)을 처리한다. 하기의 전형적인 기능들을 블록(110)에서 이행한다:

a) 디지털화 그레이 스케일 값 g1 및 g2의 동적 범위(이 범위는 전체 센서 동적 범위 또는 미리 프로그램된 값들의 좁은 범위, 즉, 약 3:1로 좁으나 10⁵-10⁶으로 넓은 범위이다)의 선택된 상한 및 하한 을 나타내는 프로그램가능 임계치의 비교하고;

b) g1 및 g2 양자가 특정된 한정 내에 있지 않으면 데이터 포인트를 특별한 값으로 부호화하고;

c) 값들 g1 및 g2가 동적 범위의 선택된 하한 및 상한 내에 있는 경우 기록된 높이 값(z1-z2)의 차의 프로그램된 정합 공차의 비교하고;

d) 정합된 공차와의 비교결과와 그레이 스케일 값 g1 및 g2를 소정의 프로그램된 임계치와의 비교를 기초로 하여 높이 값 z1 및 z2를 새로운 높이값 Z로 변환하며;

e) 정합 임계치 및 그레이 스케일 g1, g2와 소정의 임계치의 비교를 토대로높이값 z1 및 z2를 새로운 높이값Z로 변환하며, 그 변형은 하기의 어느 것 또는 모두를 포함하게 된다;

ⅰ. Z₁및 Z₂가 정합 공차 내에 있고 그레이 스케일 값 g1 및 g2가 모두 미리 프로그램된 범위 내에 있는 경우 최량의 추정치의 Z를 제공하게 되는 높이 값들의 웨이트 선형(또는 아핀(affine)) 변환,

ⅱ. 데이터가 큰 공차를 초과하는 경우, 또는 콘트래스트 개선을 위하여, 최량의 추정치 Z가 요구되지 않으나 비정합이 공차 내에 있으면, 비선형 순서 통계치,

ⅲ. 비 정합이 상술된 공차, 매우 중요한 오퍼레이션(operation)을 초과하는 경우 무효 데이터 조건을 나타내는 특별 코드,

ⅳ. 그레이 스케일 값 g1(또는 g2)이 동적 범위의 프로그램된 한정 외에 있으나 기타의 채널이 한정 내에 있으면 Z₁(이나 또는Z₂)의 선택

f) Z₁및 Z₂가 정합 공차 내에 있는 경우 그레이 값들의 웨이트(가중)된 선형 변환을, 및 데이터가 큰 공차를 초과하는 경우 비선형 순서 통계치(즉, 최소나 최대)를, 또는 비정합이 상술한 공차를 초과하여 무효 그레이 스케일 데이터 조건을 가르키는 경우, 기타 특별한 코드를 포함하도록, 정합 임계치를 특정 선형 또는 비선형과의 비교를 기초하여 그레이 스케일 g1 및 g2를 새로운 그레이 스케일 값 G로 변환하고;

g) 대상물의 매 단일 샘플 포인트에 대한 하나이상의 변환된 그레이 스케일 값 G(g1, g2)를 저장; 및

h) 대상물의 매 단일 샘플 포인트에 대한 하나이상의 변환된 높이 값 Z(Z₁, Z₂, g1, g2)를 저장.

도 8의 조건부 결정 룰들에 기초한 화상장치의 90도의 회전시험을 이용한 실험결과는 받아들이기 어려운 30% 내지 50%의 수준으로부터 전형적인 5%까지 에러의 감소를 보였다. 성능은 전형적인 솔더 페이스트 제원 내이다. 게다가, 현미경 범프(bump)와 BGA 기술의 검사를 위한 화상 품질은 향상되어 직경 40 마이크론의 소형 솔더 볼에 관한 공평성 측정을 허용한다. 1마이크론의 재생성이 5 마이크론 가로 해상도(솔더 볼을 가로질러 8 샘플)를 가진 상기 적시의 이중 검출기 3차원 센서와 .6 마이크론의 깊이 해상도를 이용하는 공평면성 측정에 대해 발견되었다. 결정 룰의 작은 변경으로 그 이상의 개량이 예상된다. 볼 직경의 개선된 추정치는 콘트래스트의 개선을 위해, 채널들로부터의 최소의 그레이 스케일 값들을 이용하여 또한 획득되었다.

디지털 컴퓨터 아퀴텍쳐의 진보와, 메모리 및 고속 산술과 논리 유닛들의 비용 감소는 새롭고 보다 빠른 구성요소, 및 약간의 조작이 행해지는 시퀀스의 변경의 대입에 의하여 이행에 변화를 가져오게 된다. 기술에 숙련한 이들에게 잘 알려진 독특한 변경들로는 화상화 헤드 사이즈의 축소, 신호 처리기능의 화상화 헤드 내에의 통합을 참작하는 전자 설계, 고속 산수 및 논리의 유닛들의 대체 사용으로 다채널 프로세서 내에 요구되는 메모리의 축소, 입력화상에서 행해져 다수의 출력화상을 산출하는 각종의 기능을 참작하게 되는 추가 화상용 저장 구성요소 등이 있다.

그러나, 본 발명의 주요 구성요소들은, 3차원과 그레이 스케일 데이터 및 그 원천적인 물리학 지식의 신뢰에 기초한 논리적 및 산술적 작동의 선택에 관련하여, 선행기술 이상의 중대한 진전, 특히 두개의 센서 채널을 평균하는 장치들에 귀착한다.

Claims (12)

1. 변환된 높이와 그레이 스케일 값들을 발생하는 3각측량을 기반으로한 3차원 처리방법에 있어서,

   대상물에 대해 제 1의 방향으로부터 획득한 높이 데이터와 강도 데이터에 의해 나타나는 제 1의 쌍의 데이터 값을 발생하는 단계와;

   대상물에 대해 제 2의 방향으로부터 획득한 높이 데이터와 강도 데이터에 의해 나타나는 제 2의 쌍의 데이터 값을 발생하는 단계와;

   높이 및 강도 데이터를 처리하는 하나이상의 제어 알고리즘을 제어 가능하게 자동적으로 선택하는 단계와;

   제 1 및 제 2의 방향으로부터의 높이 데이터와 제 1 및 제 2 방향으로부터의 강도 데이터를 변환된 높이 데이터를 획득하도록 하나이상의 제어 알고리즘으로 처리하는 단계를 구비한 것을 특징으로 하는 3각측량을 토대로한 3차원 처리 방법.
2. 제 1 항에 있어서,

   변환된 높이 데이터는 복수의 변환된 높이 값을 나타내며 출력 화상이 최소의 변환된 높이 값을 포함하는 것을 특징으로 하는 3각측량법을 토대로한 3차원 처리 방법.
3. 제 1 항에 있어서,

   변환된 높이 데이터는 복수의 변환된 높이 값을 나타내며 출력 화상이 최대의 변환된 높이 값들을 포함하는 것을 특징으로 하는 3각측량을 토대로한 3차원 처리 방법.
4. 제 1 항에 있어서,

   변환된 높이 데이터는 변환된 높이 값들의 차를 나타내며, 그 차는 하나이상의 제어 알고리즘에 의해 처리되어, 화상 처리 컴퓨터에 의해 처리되게 적합되는 또다른 변환된 높이값을 획득하게 되는 것을 특징으로 하는 3각측량을 토대로한 3차원 처리방법.
5. 제 1 항에 있어서,

   제 1 및 제 2의 방향으로부터의 강도 데이터를 처리하여 변환된 강도 데이터를 획득하게 되는 단계를 더 포함하며, 변환된 높이 데이터는 하나이상의 변환된 높이 값을 나타내며, 변환된 강도 데이터는 하나이상의 그레이 스케일 값을 나타내는 것을 특징으로 하는 3각 측량을 토대로한 3차원 처리 방법.
6. 제 5 항에 있어서,

   화상 처리 컴퓨터에 의해 처리되게 적합되는 변환된 높이 및 강도 데이터를 송신하는 단계를 더 포함하는 것을 특징으로 하는 3각측량을 토대로한 3차원 처리 방법.
7. 변환된 높이 및 그레이 스케일 값들을 발생하는 3각측량을 토대호한 3차원 처리 장치에 있어서,

   대상물에 대해 제 1의 방향으로부터 획득되는 높이 데이터 및 강도 데이터에 의해 나타난 제 1의 쌍의 데이터 값을 발생하는 수단과;

   대상물에 대하여제 2의 방향으로부터 획득되는 높이 데이터 및 강도 데이터에 의해 나타난 제 2의 쌍의 데이터 값을 발생하는 수단과;

   높이 및 강도 데이터를 처리하는 하나이상의 제어 알고리즘을 제어 가능하게 자동적으로 선택하는 수단과;

   제 1 및 제 2의 방향으로부터의 높이 데이터와 제 1 및 제 2 방향으로부터의 강도 데이터를 변환된 높이 데이터를 획득하도록 하나이상의 제어 알고리즘으로 처리하는 수단을 구비한 것을 특징으로 하는 3각측량을 토대로한 3차원 처리 장치.
8. 제 7 항에 있어서,

   변환된 높이 데이터는 복수의 변환된 높이 값을 나타내며 출력 화상이 최소의 변환된 높이값들을 포함하는 것을 특징으로 하는 3각측량을 토대로한 3차원 처리장치.
9. 제 7 항에 있어서,

   변환된 높이 데이터는 복수의 변환된 높이 값을 나타내며 출력 화상이 최대의 변환된 높이 값을 포함하는 것을 특징으로 하는 3각측량을 토대로한 3차원 처리 장치.
10. 제 7 항에 있어서,

    변환된 높이 데이터는 변환된 높이 값들의 차를 나타내며, 그 차는 하나이상의 제어 알고리즘에 의해 처리되어, 화상 처리 컴퓨터에 의해 처리되게 적합되는 또 다른 변환된 높이 값을 획득하게 되는 것을 특징으로 하는 3각측량을 토대로한 3차원 처리 장치.
11. 제 7 항에 있어서,

    제 1 및 제 2의 방향으로부터의 강도 데이터를 처리하여 변환된 강도 데이터를 획득하게 되는 수단을 더 포함하며, 변환된 높이 데이터는 하나이상의 변환된 높이값을 나타내며 변환된 강도 데이터는 하나이상의 그레이 스케일 값을 나타내는 것을 특징으로 하는 3각측량을 토대로한 3차원 처리 장치.
12. 제 11 항에 있어서,

    화상 처리 컴퓨터에 의해 처리되게 적합되는 변환된 높이 및 강도 데이터를 송신하는 수단을 더 포함하는 것을 특징으로 하는 3각측량을 토대로한 3차원 처리 장치.