KR102513710B1 - 3차원 계측 장치, 3차원 계측 방법 - Google Patents

3차원 계측 장치, 3차원 계측 방법 Download PDF

Info

Publication number
KR102513710B1
KR102513710B1 KR1020217004969A KR20217004969A KR102513710B1 KR 102513710 B1 KR102513710 B1 KR 102513710B1 KR 1020217004969 A KR1020217004969 A KR 1020217004969A KR 20217004969 A KR20217004969 A KR 20217004969A KR 102513710 B1 KR102513710 B1 KR 102513710B1
Authority
KR
South Korea
Prior art keywords
pixels
sensitivity
pixel
low
light
Prior art date
Application number
KR1020217004969A
Other languages
English (en)
Other versions
KR20210031967A (ko
Inventor
노부아키 타바타
Original Assignee
야마하하쓰도키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 야마하하쓰도키 가부시키가이샤 filed Critical 야마하하쓰도키 가부시키가이샤
Publication of KR20210031967A publication Critical patent/KR20210031967A/ko
Application granted granted Critical
Publication of KR102513710B1 publication Critical patent/KR102513710B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2509—Color coding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K3/00—Apparatus or processes for manufacturing printed circuits
    • H05K3/30—Assembling printed circuits with electric components, e.g. with resistor
    • H05K3/32—Assembling printed circuits with electric components, e.g. with resistor electrically connecting electric components or wires to printed circuits
    • H05K3/34—Assembling printed circuits with electric components, e.g. with resistor electrically connecting electric components or wires to printed circuits by soldering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/56—Measuring geometric parameters of semiconductor structures, e.g. profile, critical dimensions or trench depth

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Studio Devices (AREA)

Abstract

촬상 카메라(31)는 땜납(B)(대상물)에 조사되는 파장(λg)의 광에 대하여 높은 감도를 갖는 분광 감도 특성(SP(G))을 갖는 고감도 화소(Ph)와, 낮은 감도를 갖는 분광 감도 특성(SP(R), SP(B))을 갖는 저감도 화소(Pl)를 구비한다. 따라서, 땜납(B)의 표면 중 고반사 영역(Ah)에서 반사된 패턴 광(L(S))은 저감도 화소(Pl)에 의해 적절한 화소값(V)으로 변환할 수 있고, 저반사 영역(Al)에서 반사된 패턴 광(L(S))은 고감도 화소(Ph)에 의해 적절한 화소값(V)으로 변환할 수 있다. 즉, 고반사 영역(Ah) 및 저감도 화소(Pl)에서 반사된 패턴 광(L(S))의 양쪽을 적절한 화소값(V)으로 변환할 수 있다. 이렇게 해서 고반사 영역(Ah)과 저감도 화소(Pl)가 땜납(B)에 혼재할 경우이어도 양쪽 영역(Ah, Al)에 대해서 정확한 화소값(V)을 취득하는 것이 가능하게 되어 있다.

Description

3차원 계측 장치, 3차원 계측 방법
이 발명은 대상물의 3차원형상을 계측하는 기술에 관한 것이다.
특허문헌 1에서는 프린트 기판의 전극에 인쇄된 땜납 등의 대상물의 3차원형상을 계측하는 3차원 계측 장치가 기재되어 있다. 이 3차원 계측 장치는 백색의 광을 대상물에 조사하고, 대상물에서 반사된 광을 촬상한 화상에 의거하여 대상물의 3차원형상을 계측한다. 또한, 이러한 3차원 계측 장치에서는 입사한 광의 강도에 따른 화소값을 각각 출력하는 복수의 화소를 갖는 촬상 카메라가 대상물에서 반사된 광의 촬상에 사용할 수 있다.
일본 특허 제4256059호 공보
또한, 촬상 카메라의 각 화소는 다이내믹 레인지를 갖고 있으며, 다이내믹 레인지보다 어둡거나 또는 밝은 광에 대해서는 정확한 화소값을 출력할 수 없다. 그래서 대상물의 반사율이 낮을 경우에는 대상물에 조사하는 광의 강도를 높게 하는 한편, 대상물의 반사율이 높을 경우에는 대상물에 조사하는 광의 강도를 낮게 한다는 방법이 고려된다. 그러나 반사율이 낮은 영역과 반사율이 높은 영역이 대상물에 혼재할 경우 광의 강도를 높게 하면 반사율이 높은 영역에 대해서 정확한 화소값이 얻어지지 않고, 광의 강도를 낮게 하면 반사율이 낮은 영역에 대해서 정확한 화소값이 얻어지지 않는다. 그 때문에 이러한 방법은 반드시 유효하지는 않았다.
본 발명은 상기 과제를 감안하여 이루어진 것이며, 반사율이 낮은 영역과 반사율이 높은 영역이 대상물에 혼재할 경우이어도 양쪽 영역에 대해서 정확한 화소값을 취득하는 것을 가능하게 하는 기술의 제공을 목적으로 한다.
본 발명에 의한 3차원 계측 장치는 소정 파장의 광을 대상물에 조사하는 프로젝터와, 대상물에서 반사된 광이 입사하는 복수의 화소를 갖고, 복수의 화소 각각은 입사한 광의 강도에 따른 화소값을 출력하는 촬상 카메라와, 화소값에 의거하여 대상물의 3차원형상의 형상 산출을 실행하는 제어부를 구비하고, 복수의 화소는 복수의 고감도 화소와, 고감도 화소가 갖는 분광 감도 특성과 비교해서 소정 파장의 입력에 대한 출력의 비가 낮은 분광 감도 특성을 갖는 복수의 저감도 화소를 포함한다.
본 발명에 의한 3차원 계측 방법은 소정 파장의 광을 대상물에 조사하는 공정과, 대상물에서 반사된 광을 복수의 화소에 입사시키고, 복수의 화소가 입사한 광의 강도에 따른 화소값을 출력하는 공정과, 화소값에 의거하여 대상물의 3차원형상의 형상 산출을 실행하는 공정을 구비하고, 복수의 화소는 복수의 고감도 화소와, 고감도 화소가 갖는 분광 감도 특성과 비교해서 소정 파장의 입력에 대한 출력의 비가 낮은 분광 감도 특성을 갖는 복수의 저감도 화소를 포함한다.
이렇게 구성된 본 발명(3차원 계측 장치, 3차원 계측 방법)에서는 촬상 카메라는 고감도 화소와, 상기 고감도 화소의 분광 감도 특성과 비교해서 소정 파장의 입력에 대한 출력의 비가 낮은 분광 감도 특성을 갖는 저감도 화소를 갖는다. 즉, 대상물에 조사되는 소정 파장의 광에 대하여 높은 감도를 갖는 분광 감도 특성을 갖는 고감도 화소와, 고감도 화외 비교해서 낮은 감도를 갖는 분광 감도 특성을 갖는 저감도 화소가 구비된다. 따라서, 대상물 중 반사율이 높은 영역에서 반사된 광은 저감도 화소에 의해 적절한 화소값으로 변환할 수 있고, 반사율이 낮은 영역에서 반사된 광은 고감도 화소에 의해 적절한 화소값으로 변환할 수 있다. 즉, 반사율이 높은 영역에서 반사된 광 및 반사율이 낮은 영역에서 반사된 광의 양쪽을 적절한 화소값으로 변환할 수 있다. 이렇게 해서 반사율이 낮은 영역과 반사율이 높은 영역이 대상물에 혼재할 경우이어도 양쪽 영역에 대해서 정확한 화소값을 취득하는 것이 가능하게 되어 있다.
또한, 고감도 화소와 저감도 화소가 교대로 배열되어 있는 바와 같이 3차원 계측 장치를 구성해도 좋다. 이러한 구성에서는 고감도 화소와 저감도 화소가 서로 인접하면서 균일하게 배치되기 때문에 낮은 반사율로 반사된 광을 고감도 화소에서 적확하게 파악하면서 높은 반사율로 반사된 광을 저감도 화소에서 적확하게 파악할 수 있다. 그 결과, 반사율이 낮은 영역과 반사율이 높은 영역이 대상물에 혼재할 경우이어도 양쪽 영역에 대해서 정확한 화소값을 취득하는 것이 가능해진다.
또한, 복수의 화소는 고감도 화소와 저감도 화소를 동일 비율로 포함하도록 3차원 계측 장치를 구성해도 좋다. 이러한 구성에서는 높은 반사율의 영역에서 반사된 광과, 낮은 반사율의 영역에서 반사된 광의 일방에 치우치는 일 없이 이들을 적절한 화소값으로 변환할 수 있다. 그 결과, 반사율이 낮은 영역과 반사율이 높은 영역이 대상물에 혼재할 경우이어도 양쪽 영역에 대해서 정확한 화소값을 취득하는 것이 가능해진다.
또한, 소정 파장은 녹색의 파장이며, 복수의 화소는 적색, 녹색, 및 청색을 소정 패턴으로 배열한 베이어 배열에 의해 배열되고, 복수의 고감도 화소 각각은 베이어 배열에 있어서의 녹색의 화소이며, 복수의 저감도 화소는 베이어 배열에 있어서의 청색의 화소와 적색의 화소를 동일 수씩 포함하도록 3차원 계측 장치를 구성해도 좋다. 이러한 구성에서는 녹색의 고감도 화소와 적색 또는 청색의 저감도 화소가 서로 인접하면서 균일하게 배치되기 때문에 낮은 반사율로 반사된 광을 고감도 화소로 적확하게 파악하면서 높은 반사율로 반사된 광을 저감도 화소로 적확하게 파악할 수 있다. 그 결과, 반사율이 낮은 영역과 반사율이 높은 영역이 대상물에 혼재할 경우이어도 양쪽 영역에 대해서 정확한 화소값을 취득하는 것이 가능해진다.
또한, 반사율이 높은 영역에서 반사되어 고감도 화소에 입사한 광이나 반사율이 낮은 영역에서 반사되어 저감도 화소에 입사한 광을 변환한 화소값은 부적절할 가능성이 높다. 그래서 제어부는 화소로부터 출력되는 화소값이 적절한지의 여부를 화소값에 의거하여 판정하는 판정 처리를 복수의 화소 각각에 대해서 실행하고, 판정 처리에서의 판정 결과에 의거하여 형상 산출을 실행하도록 3차원 계측 장치를 구성해도 좋다. 이러한 구성에서는 부적절한 화소값의 영향을 억제하면서 적절한 화소값을 사용하여 형상 산출을 실행할 수 있다. 그 때문에 반사율이 낮은 영역과 반사율이 높은 영역이 대상물에 혼재할 경우이어도 대상물의 3차원형상을 정확하게 산출하는 것이 가능해진다.
또한, 제어부는 판정 처리에서 화소값이 부적절하다고 판정된 고감도 화소에 대해서 상기 고감도 화소로부터 소정 범위 내에 위치하는 저감도 화소의 화소값에 의한 보간을 실행하고, 또는 판정 처리에서 화소값이 부적절하다고 판정된 저감도 화소에 대해서 상기 저감도 화소로부터 소정 범위 내에 위치하는 고감도 화소의 화소값에 의한 보간을 실행한 결과에 의거하여 형상 산출을 실행하도록 3차원 계측 장치를 구성해도 좋다. 이러한 구성에서는 판정 처리에서 부적절하다고 판정된 화소의 화소값을 상기 화소로부터 소정 범위 내에 위치하는 화소의 화소값에 의해 보간하고, 그 결과에 의거하여 형상 산출을 실행할 수 있다. 그 결과, 반사율이 낮은 영역과 반사율이 높은 영역이 대상물에 혼재할 경우이어도 대상물의 3차원형상을 정확하게 산출하는 것이 가능해진다.
또한, 프로젝터는 소정 파장을 갖고, 서로 상이한 위상을 갖는 복수의 줄무늬 패턴의 광을 대상물에 조사하고, 제어부는 위상 시프트법에 의해 형상 산출을 실행하도록 3차원 계측 장치를 구성해도 좋다. 이러한 구성에서는 반사율이 낮은 영역과 반사율이 높은 영역이 대상물에 혼재할 경우이어도 대상물의 3차원형상을 위상 시프트법에 의해 적절하게 산출하는 것이 가능해진다.
본 발명에 의하면 이렇게 해서 반사율이 낮은 영역과 반사율이 높은 영역이 대상물에 혼재할 경우이어도 양쪽 영역에 대해서 정확한 화소값을 취득하는 것이 가능해진다.
도 1은 본 발명에 의한 외관 검사 장치를 모식적으로 예시하는 블록도이다.
도 2는 촬상 유닛의 구성을 모식적으로 나타내는 도면이다.
도 3은 촬상 유닛이 갖는 화소의 분광 감도 특성을 모식적으로 나타내는 도면이다.
도 4는 고반사 영역 및 저반사 영역 각각에서 반사된 광과 화소값의 관계를 모식적으로 나타내는 도면이다.
도 5는 외관 검사 장치가 실행하는 3차원 계측의 일례를 나타내는 플로우 차트이다.
도 6은 도 5의 3차원 계측에서 실행되는 부적당 화소의 보간의 일례를 나타내는 플로우 차트이다.
도 7은 도 5의 3차원 계측에서 실행되는 연산의 내용을 설명하는 도면이다.
도 8은 부적당 화소의 보간의 일례를 나타내는 도면이다.
도 1은 본 발명에 의한 외관 검사 장치를 모식적으로 예시하는 블록도이다. 동 도면 및 이하의 도면에서는 연직 방향에 평행한 Z 방향, 수평 방향에 평행한 X 방향, 및 Y 방향으로 구성되는 XYZ 직교 좌표를 적당히 나타낸다. 도 1의 외관 검사 장치(1)는 제어 장치(100)에 의해 반송 컨베이어(2), 검사 헤드(3), 및 구동 기구(4)를 제어함으로써 기판(10)(프린트 기판)에 부품(전자 부품)을 접합하는 땜납(B)의 상태의 양부를 검사한다.
반송 컨베이어(2)는 기판(10)을 소정 반송 경로를 따라 반송한다. 구체적으로는 반송 컨베이어(2)는 검사 전의 기판(10)을 외관 검사 장치(1) 내의 검사 위치에 반입하고, 기판(10)을 검사 위치에서 수평으로 유지한다. 또한, 검사 위치에 있어서의 기판(10)으로의 검사가 종료되면 반송 컨베이어(2)는 검사 후의 기판(10)을 외관 검사 장치(1)의 외로 반출한다.
검사 헤드(3)는 촬상 시야(V31) 내를 상방으로부터 촬상하는 촬상 카메라(31)를 갖고 있으며, 검사 위치에 반입된 기판(10)의 땜납(B)을 촬상 시야(V31)에 담아 촬상 카메라(31)에 의해 촬상한다. 촬상 카메라(31)는 땜납(B)으로부터의 반사광을 촬상하는 평판형상의 촬상 유닛(311)을 갖는다. 이 촬상 유닛(311)의 상세는 도 2를 사용하여 후술한다. 또한, 검사 헤드(3)는 광강도 분포가 정현파형상으로 변화되는 줄무늬형상의 패턴 광(L(S))을 촬상 시야(V31)에 투영하는 프로젝터(32)를 갖는다. 프로젝터(32)는 LED(Light Emitting Diode) 등의 광원과, 광원으로부터의 광을 촬상 시야(V31)를 향해 반사하는 디지털·마이크로 미러·디바이스를 갖고 있다. 이러한 프로젝터(32)는 디지털·마이크로 미러·디바이스의 각 마이크로 미러의 각도를 조정함으로써 서로 위상이 상이한 복수 종의 패턴 광(L(S))을 촬상 시야(V31)에 투영할 수 있다. 즉, 검사 헤드(3)는 프로젝터(32)로부터 투영하는 패턴 광(L(S))의 위상을 변화시키면서 촬상 카메라(31)에 의해 촬상을 행함으로써 위상 시프트법에 의해 촬상 시야(V31) 내의 땜납(B)의 3차원형상(Bs)을 계측할 수 있다.
덧붙여 말하면, 검사 헤드(3)는 8개의 프로젝터(32)를 갖고 있다(도 1에서는 도시를 간편화하기 위해서 2개의 프로젝터(32)가 대표해서 나타내어져 있다). 8개의 프로젝터(32)는 촬상 카메라(31)의 주위를 둘러싸도록 배치되어 있으며, 연직 방향 Z를 중심으로 해서 원주형상으로 등피치로 배열된다. 그리고 각 프로젝터(32)는 촬상 카메라(31)의 촬상 시야(V31)에 대하여 비스듬히 상방으로부터 패턴 광(L(S))을 투영한다. 따라서, 복수의 방 프로젝터(32) 중 땜납(B)과의 위치 관계가 적절한 하나의 프로젝터(32)로부터 촬상 시야(V31)에 패턴 광(L(S))을 투영할 수 있다.
구동 기구(4)는 검사 헤드(3)를 지지하면서 모터에 의해 수평 방향 및 연직 방향으로 검사 헤드(3)를 구동시킨다. 이 구동 기구(4)의 구동에 의해 검사 헤드(3)는 땜납(B)의 상방으로 이동하고, 땜납(B)을 촬상 시야(V31) 내에 포착할 수 있어 촬상 시야(V31) 내의 땜납(B)의 3차원형상(Bs)을 계측할 수 있다.
제어 장치(100)는 CPU(Central Processing Unit) 및 메모리로 구성된 프로세서인 주제어부(110)를 갖고 있으며, 주제어부(110)가 장치 각 부의 제어를 통괄함으로써 검사가 실행된다. 또한, 제어 장치(100)는 디스플레이, 키보드, 및 마우스 등의 입출력 기기로 구성된 유저 인터페이스(200)를 갖고 있으며, 유저는 유저 인터페이스(200)를 통해 제어 장치(100)에 지령을 입력하거나 제어 장치(100)에 의한 검사 결과를 확인하거나 할 수 있다. 또한, 제어 장치(100)는 프로젝터(32)를 제어하는 투영 제어부(120), 촬상 카메라(31)를 제어하는 촬상 제어부(130), 및 구동 기구(4)를 제어하는 구동 제어부(140)를 갖는다. 반송 컨베이어(2)가 검사 위치에 기판(10)을 반입하면 주제어부(110)는 구동 제어부(140)에 의해 구동 기구(4)를 제어하고, 기판(10)의 땜납(B)의 상방으로 검사 헤드(3)를 이동시킨다. 이것에 의해 촬상 카메라(31)의 촬상 시야(V31) 내에 땜납(B)이 수용된다.
계속해서 주제어부(110)는 프로젝터(32)로부터 땜납(B)을 포함하는 촬상 시야(V31)로 패턴 광(L(S))을 투영하면서 촬상 시야(V31)에 투영된 패턴 광(L(S))을 촬상 카메라(31)에 의해 촬상한다(패턴 촬상 동작). 구체적으로는 주제어부(110)는 불휘발성 메모리로 구성된 기억부(150)를 갖고 있으며, 기억부(150)에 기억된 투영 패턴(T(S))을 판독한다. 그리고 주제어부(110)는 기억부(150)로부터 판독한 투영 패턴(T(S))에 의거하여 투영 제어부(120)를 제어함으로써 프로젝터(32)의 디지털·마이크로 미러·디바이스의 각 마이크로 미러의 각도를 투영 패턴(T(S))에 따라 조정한다. 이렇게 해서 촬상 시야(V31)에는 투영 패턴(T(S))을 갖는 패턴 광(L(S))이 투영된다. 또한, 주제어부(110)는 촬상 제어부(130)를 제어함으로써 촬상 시야(V31)에 투영된 패턴 광(L(S))을 촬상 카메라(31)에 의해 촬상해서 촬상 화상(I(S))을 취득한다. 이 촬상 화상 I는 기억부(150)에 기억된다. 또한, 기억부(150)에는 서로 90°씩 위상이 상이한 4종류의 투영 패턴(T(S))이 기억되어 있으며, 패턴 촬상 동작은 투영 패턴(T(S))을 바꾸면서 4회 실행된다(S=1, 2, 3, 4). 그 결과, 각각 90°씩 위상이 상이한 패턴 광(L(S))을 촬상한 4종류의 촬상 화상(I(S))이 취득된다.
주제어부(110)는 이렇게 해서 취득된 4종류의 촬상 화상(I(S))으로부터 위상 시프트법에 의해 촬상 시야(V31)의 높이를 촬상 카메라(31)의 화소마다 구한다. 이것에 의해 땜납(B)의 표면의 높이가 촬상 카메라(31)의 화소마다 구해지게 된다.
도 2는 촬상 유닛의 구성을 모식적으로 나타내는 도면이다. 촬상 유닛(311)은, 예를 들면 CCD(Charge Coupled Device) 이미지 센서 등의 고체 촬상 소자(312)와, 고체 촬상 소자(312)에 겹쳐진 컬러 필터(313)를 갖는다. 고체 촬상 소자(312)는 X 방향 및 Y 방향 각각에 일정한 배열 피치(ΔP)로 배열된 복수의 수광 화소(Pi)를 갖는다. 즉, 고체 촬상 소자(312)에서는 복수의 수광 화소(Pi)가 2차원적으로 배열되어 있다. 또한, 컬러 필터(313)는 X 방향 및 Y 방향 각각에 배열 피치(ΔP)로 배열된 복수의 필터 화소(Pf)를 갖는다. 즉, 컬러 필터(313)에서는 복수의 필터 화소(Pf)가 2차원적으로 배열되어 있다.
이와 같이 복수의 수광 화소(Pi)와 복수의 필터 화소(Pf)가 1 대 1의 대응 관계로 형성되고, 서로 대응하는 수광 화소(Pi)와 필터 화소(Pf)가 대향한다. 바꾸어 말하면 촬상 유닛(311)에서는 서로 대향하는 수광 화소(Pi)와 필터 화소(Pf)로 화소(Px)가 구성되고, 복수의 화소(Px)가 X 방향 및 Y 방향 각각에 배열 피치(ΔP)로 배열된다. 그리고 각 화소(Px)는 필터 화소(Pf)를 투과해서 수광 화소(Pi)에 입사한 광의 강도에 따른 화소값(V)(도 3)을 수광 화소(Pi)로부터 출력한다.
도 2에 나타내는 바와 같이 컬러 필터(313)에서는 복수의 필터 화소(Pf)가 베이어 배열에 따라 배열되어 있으며, 각 필터 화소(Pf)는 적색(R), 녹색(G), 및 청색(B) 중 그 배열 위치에 따른 색의 광의 투과를 허용하고, 배열 위치에 따른 색과는 상이한 색의 광의 투과를 제한한다. 따라서, 촬상 유닛(311)의 각 화소(Px)는 그 필터 화소(Pf)가 투과를 허용하는 광의 색에 따른 분광 감도 특성을 갖는다.
도 3은 촬상 유닛이 갖는 화소의 분광 감도 특성을 모식적으로 나타내는 도면이다. 도 3에서는 횡축에 광의 파장을 나타냄과 아울러, 종축에 화소값(V)을 나타내는 그래프에 있어서 적색(R)의 투과를 허용하는 필터 화소(Pf)를 갖는 화소(Px)(이하, 「적색 화소(Px)」라고 적당히 칭한다)의 분광 감도 특성(SP(R))이 2점 쇄선으로 나타내어지고, 녹색(G)의 투과를 허용하는 필터 화소(Pf)를 갖는 화소(Px)(이하, 「녹색 화소(Px)」라고 적당히 칭한다)의 분광 감도 특성(SP(G))이 파선으로 나타내어지고, 청색(B)의 투과를 허용하는 필터 화소(Pf)를 갖는 화소(Px)(이하, 「청색 화소(Px)」라고 적당히 칭한다)의 분광 감도 특성(SP(B))이 1점 쇄선으로 나타내어진다. 또한, 도 3에서는 프로젝터(32)로부터 투영되는 패턴 광(L(S))의 파장 분포가 실선으로 병기되어 있다.
즉, 본 실시형태에서는 패턴 광(L(S))은 녹색의 파장(λg)에 피크를 갖는 파장 분포를 갖는다(환언하면 녹색의 발광 스펙트럼을 갖는다). 이에 대하여 녹색 화소(Px)는 패턴 광(L(S))의 파장(λg)에 대하여 높은 감도를 갖는 분광 감도 특성(SP(G))을 갖는다. 적색 화소(Px)는 파장(λg)보다 긴 파장에 피크를 갖는 분광 감도 특성(SP(R))을 갖고, 패턴 광(L(S))의 파장(λg)에 대하여 녹색 화소(Px)보다 낮은 감도를 갖는다. 청색 화소(Px)는 파장(λg)보다 짧은 파장에 피크를 갖는 분광 감도 특성(SP(B))을 갖고, 패턴 광(L(S))의 파장(λg)에 대하여 녹색 화소(Px)보다 낮은 감도를 갖는다.
즉, 도 2에 나타내는 바와 같이 촬상 유닛(311)이 갖는 복수의 화소(Px) 중 녹색 화소(Px)가 파장(λg)에 대하여 높은 감도를 나타내는 고감도 화소(Ph)로서 기능하고, 적색 화소(Px) 및 청색 화소(Px) 각각이 파장(λg)에 대하여 고감도 화소(Ph)보다 낮은 감도를 나타내는 저감도 화소(Pl)로서 기능한다. 그리고 고감도 화소(Ph)(녹색 화소(Px))와 저감도 화소(Pl)(적색 화소(Px))가 Y 방향으로 교대로 배열됨과 아울러, 고감도 화소(Ph)(녹색 화소(Px))와 저감도 화소(Pl)(청색 화소(Px))가 X 방향으로 교대로 배열된다. 이렇게 해서 고감도 화소(Ph)(녹색 화소(Px))에 대하여 저감도 화소(Pl)(적색 화소(Px))가 Y 방향의 양측에서 인접하고, 고감도 화소(Ph)(녹색 화소(Px))에 대하여 저감도 화소(Pl)(청색 화소(Px))가 X 방향의 양측에서 인접한다. 바꾸어 말하면 고감도 화소(Ph)에는 4 방향으로부터 저감도 화소(Pl)가 인접하고, 저감도 화소(Pl)에는 4 방향으로부터 고감도 화소(Ph)가 인접한다. 또한, 여기에서 화소(Px)가 인접한다란 대상의 2개의 화소(Px)가 배열 피치(ΔP)로 배치된 상태를 나타내는 것으로 한다.
이러한 구성에서는 도 4에 나타내는 바와 같이 땜납(B)의 표면 중 높은 반사율을 갖는 고반사 영역(Ah)에서 반사된 광 및 낮은 반사율을 갖는 저반사 영역(Al)에서 반사된 광의 양쪽을 화소(Px)에 의해 정확한 화소값(V)으로 변환할 수 있다.
도 4는 고반사 영역 및 저반사 영역 각각에서 반사된 광과 화소값의 관계를 모식적으로 나타내는 도면이다. 동 도면은 정현파인 패턴 광(L(S))을 고반사 영역(Ah) 및 저반사 영역(Al) 각각에 투영하고, 각 영역(Ah, Al)에서 반사된 광을 적색(R), 녹색(G), 청색(B)의 화소(Px)로 검지했을 때에 이들 화소(Px)가 출력하는 화소값(V)을 모식적으로 나타낸다. 또한, 실제로는 화소(Px)로부터 출력되는 화소값(V)은 다이내믹 레인지(D)로부터 벗어난 값이 될 수는 없기 때문에 화소값(V)의 파형이 찌그러지지만, 여기에서는 파형을 찌그러뜨리지 않고 나타냈다.
고반사 영역(Ah)에서 반사된 패턴 광(L(S))을 검지한 녹색(G)의 화소(Px)(고감도 화소(Ph))가 출력하는 화소값(V)은 화소(Px)의 다이내믹 레인지(D)(바꾸어 말하면 수광 화소(Pi)의 다이내믹 레인지(D))의 상한을 일부에서 초과한다. 따라서, 녹색 화소(Px)는 고반사 영역(Ah)에서 반사된 패턴 광(L(S))을 정확한 화소값(V)으로 변환할 수 없다. 한편, 고반사 영역(Ah)에서 반사된 패턴 광(L(S))을 검지한 적색(R) 및 청색(B)의 화소(Px)(저감도 화소(Pl))가 출력하는 화소값(V)은 화소(Px)의 다이내믹 레인지(D)에 수용된다. 따라서, 적색(R) 또는 청색(B)의 화소(Px)는 고반사 영역(Ah)에서 반사된 패턴 광(L(S))을 정확한 화소값(V)으로 변환할 수 있다.
저반사 영역(Al)에서 반사된 패턴 광(L(S))을 검지한 적색(R) 및 청색(B)의 화소(Px)(저감도 화소(Pl))가 출력하는 화소값(V)은 화소(Px)의 다이내믹 레인지(D)의 하한을 일부에서 초과한다. 따라서, 적색(R) 및 청색(B)의 화소(Px)는 저반사 영역(Al)에서 반사된 패턴 광(L(S))을 정확한 화소값(V)으로 변환할 수 없다. 한편, 저반사 영역(Al)에서 반사된 패턴 광(L(S))을 검지한 녹색(G)의 화소(Px)(고감도 화소(Ph))가 출력하는 화소값(V)은 화소(Px)의 다이내믹 레인지(D)에 수용된다. 따라서, 녹색(G)의 화소(Px)는 저반사 영역(Al)에서 반사된 패턴 광(L(S))을 정확한 화소값(V)으로 변환할 수 있다.
즉, 고반사 영역(Ah)에서 반사된 패턴 광(L(S))은 적색(R) 및 청색(B)의 화소(Px)(저감도 화소(Pl))에 의해 정확한 화소값(V)으로 변환할 수 있고, 저반사 영역(Al)에서 반사된 패턴 광(L(S))은 녹색(G)의 화소(Px)(고감도 화소(Ph))에 의해 정확한 화소값(V)으로 변환할 수 있다.
도 5는 외관 검사 장치가 실행하는 3차원 계측의 일례를 나타내는 플로우 차트이며, 도 6은 도 5의 3차원 계측에서 실행되는 부적당 화소의 보간의 일례를 나타내는 플로우 차트이며, 도 7은 도 5의 3차원 계측에서 실행되는 연산의 내용을 설명하는 도면이다. 도 5 및 도 6은 주제어부(110)의 제어에 의해 실행된다.
스텝(S101)에서는 땜납(B)에 패턴 광(L(S))을 투영하면서 촬상 카메라(31)에 의해 패턴 광(L(S))을 촬상하는 패턴 촬상 동작을 패턴 광(L(S))의 위상을 90°씩 변경하면서 반복 실행함으로써 90°씩 위상이 상이한 4개의 촬상 화상(I(S))이 취득된다(S=1, 2, 3, 4).
스텝(S102)에서는 주제어부(110)는 위상 시프트법에 의거하여 이들 촬상 화상(I(S))으로부터 땜납(B)의 3차원형상(Bs)을 나타내는 3차원 화상을 산출한다. 구체적으로는 도 7의 식 1에 의거하여 4개의 촬상 화상(I(S))의 화소값(V0~V3)으로부터 각도(θ)를 구하는 연산을 복수의 화소(Px) 각각에 대해서 실행함으로써 3차원 화상이 얻어진다.
스텝(S103)에서는 주제어부(110)는 복수의 화소(Px) 각각의 화소값(V)의 신뢰도를 나타내는 신뢰도 화상을 산출한다. 이 신뢰도는 화소(Px)의 화소값(V)이 다이내믹 레인지(D)에 수용되어 있는지의 여부를 나타낸다. 즉, 화소(Px)의 화소값(V)이 지나치게 밝거나 또는 지나치게 어두울 경우에는 신뢰도가 낮아진다. 구체적으로는 도 7의 식 2에 의거하여 4개의 촬상 화상(I(S))의 화소값(V0~V3)으로부터 신뢰도를 구하는 연산을 복수의 화소(Px) 각각에 대해서 실행함으로써 신뢰도 화상이 얻어진다. 또한, 이들의 화소값(V0~V3) 중에 포화한 화소값(즉, 8bit로 나타냈을 경우에는 「255」를 나타내는 화소값)이 존재할 경우에는 도 7의 식 2에 의하지 않고 화소값(V)의 신뢰도를 「0」으로 한다.
스텝(S104)에서는 도 6에 나타내는 부적당 화소의 보간이 실행된다. 스텝(S201)에서 복수의 화소(Px)를 식별하기 위한 카운트값(N)이 0으로 리셋되고, 스텝(S202)에서 카운트값(N)이 인크리먼트된다. 그리고 카운트값(N)의 화소(Px)의 화소값(V)의 신뢰도가 역치 이상인지의 여부가 판단된다(스텝(S203)). 신뢰도가 역치 이상일 경우(스텝(S203)에서 「YES」일 경우)에는 스텝(S202)으로 되돌아가서 카운트값(N)이 인크리먼트된다.
신뢰도가 역치 미만일 경우(스텝(S203)에서 「NO」일 경우)에는 이 카운트값(N)의 화소(Px)(부적당 화소)로부터 배열 피치(ΔP) 이내에 위치하는 화소(Px), 즉 부적당 화소에 인접하는 4개의 화소(Px)의 화소값(V)에 의해 부적당 화소의 화소값(V)을 보간 가능한지가 판단된다(스텝(S204)). 구체적으로는 이들 4개의 화소(Px) 중에 역치 미만의 신뢰도를 갖는 화소(Px)가 있을 경우에는 보간 불능이라고 판단되고, 이들 4개의 화소(Px)의 화소값(V)의 전체가 역치 이상의 신뢰도를 가질 경우에는 보간 가능이라고 판단된다.
보간 불능일 경우(스텝(S204)에서 「NO」일 경우)에는 스텝(S202)으로 되돌아가서 카운트값(N)이 인크리먼트된다. 보간 가능일 경우(스텝(S204)에서 「YES」일 경우)에는 보간 연산이 실행되고, 부적당 화소의 화소값(V)이 상기 부적당 화소에 인접하는 4개의 화소(Px)의 화소값(V)에 의해 보간된다(스텝(S205)). 즉, 인접하는 4개의 화소(Px)의 화소값(V0)에 의해 대상이 되는 화소(Px)의 화소값(V0)이 보간되고, 화소값(V1~V3)에 대해서도 마찬가지로 보간된다. 이러한 보간 연산은 선형 보간 또는 다항식 보간 등 주지의 보간 방법을 사용하여 실행할 수 있다. 또한, 스텝(S205)에서는 도 7의 식 1에 의거하여 보간된 화소값(V)(V0~V3)으로부터 각도(θ)가 산출되고, 스텝(S102)에서 산출된 3차원 화상에 있어서의 상기 화소(Px)(즉, 스텝(S205)의 보간 대상이 된 화소(Px))로서 채용된다. 그리고 카운트값(N)이 최대값이 될 때까지(스텝(S206)에서 「YES」가 될 때까지) 스텝(S202~S205)이 실행된다.
이상으로 설명한 실시형태에서는 촬상 카메라(31)는 땜납(B)(대상물)에 조사되는 파장(λg)의 광에 대하여 높은 감도를 갖는 분광 감도 특성(SP(G))을 갖는 고감도 화소(Ph)와, 낮은 감도를 갖는 분광 감도 특성(SP(R), SP(B))을 갖는 저감도 화소(Pl)를 구비한다. 따라서, 땜납(B)의 표면 중 고반사 영역(Ah)에서 반사된 패턴 광(L(S))은 저감도 화소(Pl)에 의해 적절한 화소값(V)으로 변환할 수 있고, 저반사 영역(Al)에서 반사된 패턴 광(L(S))은 고감도 화소(Ph)에 의해 적절한 화소값(V)으로 변환할 수 있다. 즉, 고반사 영역(Ah) 및 저감도 화소(Pl)에서 반사된 패턴 광(L(S))의 양쪽을 적절한 화소값(V)으로 변환할 수 있다. 이렇게 해서 고반사 영역(Ah)과 저감도 화소(Pl)가 땜납(B)에 혼재할 경우이어도 양쪽 영역(Ah, Al)에 대해서 정확한 화소값(V)을 취득하는 것이 가능하게 되어 있다.
또한, 고감도 화소(Ph)와 저감도 화소(Pl)가 교대로 배열되어 있다. 이러한 구성에서는 고감도 화소(Ph)와 저감도 화소(Pl)가 서로 인접하면서 균일하게 배치되기 때문에 저반사 영역(Al)에서 반사된 패턴 광(L(S))을 고감도 화소(Ph)에서 적확하게 파악하면서 고반사 영역(Ah)에서 반사된 패턴 광(L(S))을 저감도 화소(Pl)에서 적확하게 파악할 수 있다. 그 결과, 고반사 영역(Ah)과 저감도 화소(Pl)가 땜납(B)에 혼재할 경우이어도 양쪽 영역(Ah, Al)에 대해서 정확한 화소값(V)을 취득하는 것이 가능해진다.
또한, 고감도 화소(Ph)와 저감도 화소(Pl)가 동일 비율로 포함되어 있다. 이러한 구성에서는 고반사 영역(Ah)에서 반사된 패턴 광(L(S))과, 저반사 영역(Al)에서 반사된 패턴 광(L(S))의 일방에 치우치는 일 없이 이들을 적절한 화소값(V)으로 변환할 수 있다. 그 결과, 고반사 영역(Ah)과 저감도 화소(Pl)가 땜납(B)에 혼재할 경우이어도 양쪽 영역(Ah, Al)에 대해서 정확한 화소값(V)을 취득하는 것이 가능해진다.
또한, 파장(λg)은 녹색의 파장이며, 복수의 화소(Px)는 베이어 배열에 의해 배열되어 있다. 그리고 복수의 고감도 화소(Ph) 각각은 베이어 배열에 있어서의 녹색의 화소(Px)이며, 복수의 저감도 화소(Pl)는 베이어 배열에 있어서의 청색의 화소(Px)와 적색의 화소(Px)를 동일 수씩 포함한다. 이러한 구성에서는 녹색의 고감도 화소(Ph)와 적색 또는 청색의 저감도 화소(Pl)가 서로 인접하면서 균일하게 배치되기 때문에 저반사 영역(Al)에서 반사된 패턴 광(L(S))을 고감도 화소(Ph)에서 적확하게 파악하면서 고반사 영역(Ah)에서 반사된 패턴 광(L(S))을 저감도 화소(Pl)에서 적확하게 파악할 수 있다. 그 결과, 고반사 영역(Ah)과 저감도 화소(Pl)가 땜납(B)에 혼재할 경우이어도 양쪽 영역(Ah, Al)에 대해서 정확한 화소값(V)을 취득하는 것이 가능해진다.
또한, 고반사 영역(Ah)에서 반사되어 고감도 화소(Ph)에 입사한 패턴 광(L(S))이나, 저반사 영역(Al)에서 반사되어 저감도 화소(Pl)에 입사한 패턴 광(L(S))을 변환한 화소값(V)은 부적절할 가능성이 높다. 그래서 주제어부(110)는 화소(Px)로부터 출력되는 화소값(V)이 적절한지의 여부를 화소값(V)에 의거하여 판정하는 판정 처리(스텝(S203))를 복수의 화소(Px) 각각에 대해서 실행한다. 그리고 판정 처리(스텝(S203))에서의 판정 결과에 의거하여 형상 산출이 실행된다(스텝(S205)). 이러한 구성에서는 부적절한 화소값(V)의 영향을 억제하면서 적절한 화소값(V)을 사용하여 형상 산출을 실행할 수 있다(스텝(S102, S205)). 그 때문에 고반사 영역(Ah)과 저감도 화소(Pl)가 땜납(B)에 혼재할 경우이어도 땜납(B)의 3차원형상(Bs)을 정확하게 산출하는 것이 가능해진다.
또한, 주제어부(110)는 판정 처리(스텝(S203))에서 땜납(B)이 부적절하다고 판정된 고감도 화소(Ph)에 대해서 상기 고감도 화소(Ph)로부터 배열 피치(ΔP)의 범위 내에 위치하는 저감도 화소(Pl)의 화소값(V)에 의한 보간을 실행하거나, 또는 판정 처리(스텝(S203))에서 화소값(V)이 부적절하다고 판정된 저감도 화소(Pl)에 대하여 상기 저감도 화소(Pl)로부터 배열 피치(ΔP)의 범위 내에 위치하는 고감도 화소(Ph)의 화소값(V)에 의한 보간을 실행한 결과에 의거하여 형상 산출(스텝(S102, S205))을 실행한다. 이러한 구성에서는 판정 처리(스텝(S203))에서 부적절하다고 판정된 부적당 화소(Px)의 화소값(V)을 상기 부적당 화소(Px)로부터 배열 피치(ΔP)의 범위 내에 위치하는 화소(Px)의 화소값(V)에 의해 보간하고, 그 결과에 의거하여 형상 산출(스텝(S102, S205))을 실행할 수 있다. 따라서, 고반사 영역(Ah)과 저반사 영역(Al)이 땜납(B)에 혼재할 경우이어도 땜납(B)의 3차원형상(Bs)을 정확하게 산출하는 것이 가능해진다.
또한, 프로젝터(32)는 파장(λg)을 갖고, 서로 상이한 위상을 갖는 4개의 투영 패턴(T(S))의 패턴 광(L(S))을 땜납(B)에 조사한다. 그리고 주제어부(110)는 위상 시프트법에 의해 형상 산출을 실행한다(스텝(S102, S205)). 이러한 구성에서는 고반사 영역(Ah)과 저반사 영역(Al)이 땜납(B)에 혼재할 경우이어도 땜납(B)의 3차원형상(Bs)을 위상 시프트법에 의해 적절하게 산출하는 것이 가능해진다.
이와 같이 본 실시형태에서는 외관 검사 장치(1)가 본 발명의 「3차원 계측 장치」의 일례에 상당하고, 프로젝터(32)가 본 발명의 「프로젝터」의 일례에 상당하고, 촬상 카메라(31)가 본 발명의 「촬상 카메라」의 일례에 상당하고, 제어 장치(100)가 본 발명의 「제어부」의 일례에 상당하고, 패턴 광(L(S))이 본 발명의 「광」의 일례의 상당하고, 투영 패턴(T(S))이 본 발명의 「줄무늬 패턴」의 일례에 상당하고, 파장(λg)이 본 발명의 「소정 파장」의 일례에 상당하고, 땜납(B)이 본 발명의 「대상물」의 일례에 상당하고, 3차원형상(Bs)이 본 발명의 「3차원형상」의 일례에 상당하고, 화소(Px)가 본 발명의 「화소」의 일례에 상당하고, 고감도 화소(Ph)가 본 발명의 「고감도 화소」의 일례에 상당하고, 저감도 화소(Pl)가 본 발명의 「저감도 화소」의 일례에 상당하고, 배열 피치(ΔP)가 본 발명의 「소정 범위」의 일례에 상당하고, 분광 감도 특성(SP(R), SP(B), SP(G))이 본 발명의 「분광 감도 특성」의 일례에 상당하고, 화소값(V)이 본 발명의 「화소값」의 일례에 상당하고, 스텝(S203)이 본 발명의 「판정 처리」의 일례에 상당하다.
또한, 본 발명은 상기 실시형태에 한정되는 것은 아니고, 그 취지를 일탈하지 않는 한에 있어서 상술한 것에 대하여 여러 가지의 변경을 추가하는 것이 가능하다. 예를 들면 복수의 화소(Px)를 베이어 배열에 따라서 배열할 필요는 반드시 없다. 예를 들면, 청색(B)의 화소(Px) 대신에 적색(R)의 화소(Px)를 배치해도 좋다. 이 경우 프로젝터(32)로부터 적색(R)의 파장의 패턴 광(L(S))을 투영해도 좋다. 또는 적색(R)의 화소(Px) 대신에 청색(B)의 화소(Px)를 배치해도 좋다. 이 경우 프로젝터(32)로부터 청색(G)의 파장의 패턴 광(L(S))을 투영해도 좋다.
또한, 고감도 화소(Ph)와 저감도 화소(Pl)의 개수의 비율이나 배열 패턴 등도 적당히 변경할 수 있다.
또한, 상기 스텝(S204)에 있어서 보간의 가부를 판단하는 구체적 방법은 상기 예에 한정되지 않는다. 즉, 부적당 화소를 사이에 두고 X 방향으로 배열되는 2개의 화소(Px)의 페어 및 부적당 화소를 사이에 두고 Y 방향으로 배열되는 2개의 화소(Px)의 페어 중 어느 한쪽의 페어를 구성하는 2개의 화소(Px)의 신뢰도가 역치 이상, 즉 유효하면 보간 가능하다고 판단해도 좋다. 이러한 예에서는 스텝(S205)의 보간 연산을 다음과 같이 행하면 좋다. 즉, 신뢰도가 유효한 페어가 1세트뿐일 경우에는 상기 페어를 구성하는 2개의 화소(Px)의 화소값(V)의 평균값에 의해 부적당 화소의 화소값(V)이 보간된다. 또한, 신뢰도가 유효한 페어가 2세트 있을 경우에는 이들 2세트의 페어 중 페어를 구성하는 2개의 화소(Px)의 화소값(V)의 차(휘도차)의 절대값이 작은 쪽의 페어를 구성하는 2개의 화소(Px)의 화소값(V)의 평균값에 의해 부적당 화소의 화소값(V)이 보간된다. 도 8은 부적당 화소의 보간의 일례를 나타내는 도면이다. 도 8에 나타내는 바와 같이 부적당 화소(Pxn)를 사이에 두는 2개의 화소(Pxg)의 화소값(Vg)의 평균값에 의해 부적당 화소(Pxn)의 화소값(Vn)을 보간할 수 있다(선형 보간). 이들 방법에 의하면 부적당 화소가 고반사 영역(Ah)과 저반사 영역(Al)의 경계에 위치할 경우이어도 보간된 화소값(V)의 오차를 억제할 수 있다. 단, 보간 연산은 여기에서 예시한 선형 보간에 한정되지 않고, 다른 주지의 보간 방법을 사용하여 실행할 수 있는 점은 상술과 마찬가지이다.
또한, 상기 예에서는 패턴 광(L(S))을 촬상한 촬상 화상(I(S))의 화소(Px)의 화소값(V)에 대하여 보간을 실행하고 있다. 그러나 4개의 촬상 화상(I(S))의 화소값(V0~V3)으로부터 산출되는 각 화소(Px)의 각도(θ)에 대하여 보간을 실행해도 좋다. 또는, 이 각도(θ)로부터 산출되는 각 화소(Px)의 높이에 대하여 보간을 실행해도 좋다. 이렇게 해서 역치 이상의 신뢰도를 갖는 화소값(V)에 의거하여 부적당 화소를 보간하면서 땜납(B)의 3차원형상을 산출할 수 있다.
또한, 신뢰도의 산출 방법은 상기 예에 한정되지 않는다. 예를 들면, 일본 특허공개 2014-119442호 공보 또는 일본 특허 제3996560호 공보에 기재된 방법에 의해 신뢰도를 산출해도 좋다.
또한, 3차원 계측의 대상물은 땜납(B)에 한정되지 않는다.
1: 외관 검사 장치(3차원 계측 장치)
31: 촬상 카메라
32: 프로젝터
100: 제어 장치(제어부)
B: 땜납(대상물)
Bs: 3차원형상
L(S): 패턴 광(광)
Px: 화소
Ph: 고감도 화소
Pl: 저감도 화소
ΔP: 배열 피치(소정 범위)
SP(R), SP(B), SP(G): 분광 감도 특성
T(S): 투영 패턴(줄무늬 패턴)
V: 화소값
λg: 녹색의 파장(소정 파장)
S203: 판정 처리

Claims (8)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 소정 파장의 광을 대상물에 조사하는 프로젝터와,
    상기 대상물에서 반사된 광이 입사하는 복수의 화소를 갖고, 상기 복수의 화소 각각은 입사한 광의 강도에 따른 화소값을 출력하는 촬상 카메라와,
    상기 화소값에 의거하여 상기 대상물의 3차원형상의 형상 산출을 실행하는 제어부를 구비하고,
    상기 복수의 화소는 복수의 고감도 화소와, 상기 고감도 화소가 갖는 분광 감도 특성과 비교해서 상기 소정 파장의 입력에 대한 출력의 비가 낮은 분광 감도 특성을 갖는 복수의 저감도 화소를 포함하고,
    상기 고감도 화소와 상기 저감도 화소가 교대로 배열되고,
    상기 복수의 화소는 상기 고감도 화소와 상기 저감도 화소를 동일 비율로 포함하고,
    상기 소정 파장은 녹색의 파장이며,
    상기 복수의 화소는 적색, 녹색, 및 청색을 소정 패턴으로 배열한 베이어 배열에 의해 배열되고,
    상기 복수의 고감도 화소 각각은 베이어 배열에 있어서의 녹색의 화소이며,
    상기 복수의 저감도 화소는 베이어 배열에 있어서의 청색의 화소와 적색의 화소를 동일 수씩 포함하고,
    상기 제어부는 상기 소정 파장의 광을 검출한 상기 고감도 화소의 화소값과, 상기 소정 파장의 광을 검출한 상기 저감도 화소의 화소값에 의거하여 상기 대상물의 3차원형상의 형상 산출을 실행하는 3차원 계측 장치.
  5. 제 4 항에 있어서,
    상기 제어부는 상기 화소로부터 출력되는 상기 화소값이 적절한지의 여부를 상기 화소값에 의거하여 판정하는 판정 처리를 상기 복수의 화소 각각에 대해서 실행하고, 상기 판정 처리에서의 판정 결과에 의거하여 상기 형상 산출을 실행하는 3차원 계측 장치.
  6. 제 5 항에 있어서,
    상기 제어부는 상기 판정 처리에서 상기 화소값이 부적절하다고 판정된 상기 고감도 화소에 대해서 상기 고감도 화소로부터 소정 범위 내에 위치하는 상기 저감도 화소의 상기 화소값에 의한 보간을 실행하거나, 또는 상기 판정 처리에서 상기 화소값이 부적절하다고 판정된 상기 저감도 화소에 대해서 상기 저감도 화소로부터 상기 소정 범위 내에 위치하는 상기 고감도 화소의 상기 화소값에 의한 보간을 실행한 결과에 의거하여 상기 형상 산출을 실행하는 3차원 계측 장치.
  7. 제 4 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 프로젝터는 상기 소정 파장을 갖고, 서로 상이한 위상을 갖는 복수의 줄무늬 패턴의 광을 상기 대상물에 조사하고,
    상기 제어부는 위상 시프트법에 의해 상기 형상 산출을 실행하는 3차원 계측 장치.
  8. 소정 파장의 광을 대상물에 조사하는 공정과,
    상기 대상물에서 반사된 광을 복수의 화소에 입사시키고, 상기 복수의 화소가 입사한 광의 강도에 따른 화소값을 출력하는 공정과,
    상기 화소값에 의거하여 상기 대상물의 3차원형상의 형상 산출을 실행하는 공정을 구비하고,
    상기 복수의 화소는 복수의 고감도 화소와, 상기 고감도 화소가 갖는 분광 감도 특성과 비교해서 상기 소정 파장의 입력에 대한 출력의 비가 낮은 분광 감도 특성을 갖는 복수의 저감도 화소를 포함하고,
    상기 고감도 화소와 상기 저감도 화소가 교대로 배열되고,
    상기 복수의 화소는 상기 고감도 화소와 상기 저감도 화소를 동일 비율로 포함하고,
    상기 소정 파장은 녹색의 파장이며,
    상기 복수의 화소는 적색, 녹색, 및 청색을 소정 패턴으로 배열한 베이어 배열에 의해 배열되고,
    상기 복수의 고감도 화소 각각은 베이어 배열에 있어서의 녹색의 화소이며,
    상기 복수의 저감도 화소는 베이어 배열에 있어서의 청색의 화소와 적색의 화소를 동일 수씩 포함하고,
    상기 소정 파장의 광을 검출한 상기 고감도 화소의 화소값과, 상기 소정 파장의 광을 검출한 상기 저감도 화소의 화소값에 의거하여 상기 대상물의 3차원형상의 형상 산출이 실행되는 3차원 계측 장치.
KR1020217004969A 2018-08-24 2018-08-24 3차원 계측 장치, 3차원 계측 방법 KR102513710B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/031331 WO2020039575A1 (ja) 2018-08-24 2018-08-24 三次元計測装置、三次元計測方法

Publications (2)

Publication Number Publication Date
KR20210031967A KR20210031967A (ko) 2021-03-23
KR102513710B1 true KR102513710B1 (ko) 2023-03-24

Family

ID=69592824

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217004969A KR102513710B1 (ko) 2018-08-24 2018-08-24 3차원 계측 장치, 3차원 계측 방법

Country Status (6)

Country Link
US (1) US11796308B2 (ko)
JP (1) JP7051260B2 (ko)
KR (1) KR102513710B1 (ko)
CN (1) CN112567199B (ko)
DE (1) DE112018007930T5 (ko)
WO (1) WO2020039575A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3134448B1 (fr) * 2022-04-11 2024-04-12 Insidix Procédé de mesure topographique et machine de mesure topographique
WO2024062809A1 (ja) * 2022-09-21 2024-03-28 ソニーセミコンダクタソリューションズ株式会社 光検出装置、および光検出システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015068654A (ja) * 2013-09-26 2015-04-13 株式会社ニコン 形状測定装置、構造物製造システム及び形状測定用コンピュータプログラム
JP2017173259A (ja) * 2016-03-25 2017-09-28 キヤノン株式会社 計測装置、システム及び物品の製造方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3414624B2 (ja) * 1997-09-16 2003-06-09 松下電器産業株式会社 実時間レンジファインダ
JP4256059B2 (ja) 2000-10-04 2009-04-22 シーケーディ株式会社 三次元計測装置
JP3668466B2 (ja) * 2002-05-10 2005-07-06 松下電器産業株式会社 実時間レンジファインダ
JP3996560B2 (ja) 2003-08-18 2007-10-24 株式会社リコー 物体形状測定装置
JP2006162386A (ja) 2004-12-06 2006-06-22 Canon Inc ３次元モデル生成装置、３次元モデル生成システム及び３次元モデル生成プログラム
JP2009031150A (ja) * 2007-07-27 2009-02-12 Omron Corp 三次元形状計測装置、三次元形状計測方法、三次元形状計測プログラム、および記録媒体
JP2009085739A (ja) 2007-09-28 2009-04-23 Sunx Ltd 形状測定装置、形状測定方法
JP5765651B2 (ja) * 2011-02-01 2015-08-19 Ｊｕｋｉオートメーションシステムズ株式会社 ３次元測定装置
JP6238521B2 (ja) 2012-12-19 2017-11-29 キヤノン株式会社 ３次元計測装置およびその制御方法
JP6364777B2 (ja) * 2014-01-10 2018-08-01 凸版印刷株式会社 画像データ取得システム及び画像データ取得方法
WO2016136801A1 (ja) * 2015-02-24 2016-09-01 国立大学法人東京大学 動的高速高感度イメージング装置及びイメージング方法
JP6673327B2 (ja) 2015-02-27 2020-03-25 ソニー株式会社 画像処理装置と画像処理方法および撮像素子

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015068654A (ja) * 2013-09-26 2015-04-13 株式会社ニコン 形状測定装置、構造物製造システム及び形状測定用コンピュータプログラム
JP2017173259A (ja) * 2016-03-25 2017-09-28 キヤノン株式会社 計測装置、システム及び物品の製造方法

Also Published As

Publication number Publication date
US11796308B2 (en) 2023-10-24
CN112567199A (zh) 2021-03-26
DE112018007930T5 (de) 2021-05-06
WO2020039575A1 (ja) 2020-02-27
KR20210031967A (ko) 2021-03-23
US20210310791A1 (en) 2021-10-07
CN112567199B (zh) 2022-11-08
JP7051260B2 (ja) 2022-04-11
JPWO2020039575A1 (ja) 2021-09-16

Similar Documents

Publication Publication Date Title
US8199335B2 (en) Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, three-dimensional shape measuring program, and recording medium
JP5162702B2 (ja) 表面形状測定装置
US9756314B2 (en) Three-dimensional image processing apparatus, three-dimensional image processing method, three-dimensional image processing program, computer-readable recording medium, and recording device
KR101461068B1 (ko) 삼차원 계측장치, 삼차원 계측방법 및 기억매체
KR102427381B1 (ko) 부품의 실장 상태를 검사하기 위한 방법, 인쇄 회로 기판 검사 장치 및 컴퓨터 판독 가능한 기록매체
KR100914961B1 (ko) 구조광 기반 3차원 카메라의 최적 노출 결정방법 및 시스템
JP6322335B2 (ja) 外観検査装置
KR102513710B1 (ko) 3차원 계측 장치, 3차원 계측 방법
US20140160243A1 (en) Three-dimensional shape measuring apparatus and control method thereof
TW201741620A (zh) 三維測量裝置
TWI580926B (zh) Three - dimensional measuring device
JP2014219404A (ja) 数波長で同時に面の三次元測定を行う装置及び方法
KR101766468B1 (ko) 트리플 주파수 패턴을 이용한 3차원 형상 측정 방법
JP7401211B2 (ja) 外光照度測定機能を備えた測距装置及び外光照度測定方法
JP5482032B2 (ja) 距離計測装置および距離計測方法
KR102122275B1 (ko) 배광 특성 측정 장치 및 배광 특성 측정 방법
US20190301855A1 (en) Parallax detection device, distance detection device, robot device, parallax detection method, and distance detection method
KR101017300B1 (ko) 표면형상 측정장치
KR101750883B1 (ko) 비전 검사 시스템의 3차원 형상 측정 방법
JP6908357B2 (ja) 位置特定装置及び位置特定方法
JP6524680B2 (ja) 撮像システム、距離情報の取得方法及び距離情報の生産方法
WO2017168909A1 (ja) 付着物量の測定装置
JP7074400B2 (ja) 光学測定装置
KR101339463B1 (ko) 렌즈 모듈 검사 장치
TW201719112A (zh) 三維測量裝置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant