KR20190103270A - 3차원 형상 계측 장치, 3차원 형상 계측 방법 및 프로그램 - Google Patents

3차원 형상 계측 장치, 3차원 형상 계측 방법 및 프로그램 Download PDF

Info

Publication number
KR20190103270A
KR20190103270A KR1020197022389A KR20197022389A KR20190103270A KR 20190103270 A KR20190103270 A KR 20190103270A KR 1020197022389 A KR1020197022389 A KR 1020197022389A KR 20197022389 A KR20197022389 A KR 20197022389A KR 20190103270 A KR20190103270 A KR 20190103270A
Authority
KR
South Korea
Prior art keywords
signal
value
component signal
phase
correction
Prior art date
Application number
KR1020197022389A
Other languages
English (en)
Other versions
KR102170029B1 (ko
Inventor
야스히로 오니시
다카시 시미즈
Original Assignee
오므론 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오므론 가부시키가이샤 filed Critical 오므론 가부시키가이샤
Publication of KR20190103270A publication Critical patent/KR20190103270A/ko
Application granted granted Critical
Publication of KR102170029B1 publication Critical patent/KR102170029B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2536—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings with variable grating pitch, projected on the object with the same angle of incidence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G01B11/167—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge by projecting a pattern on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Optics & Photonics (AREA)
  • Mathematical Physics (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

제어 장치는, 계측 대상물 상의 계측점에 대한 관측 신호로서, 상이한 공간 주파수를 갖는 복수의 투영 패턴을 사용하여 관측된 복수의 관측 신호를 취득한다. 제어 장치는, 관측 신호에 포함되는 2개의 성분 신호를 추정하는 처리를 반복하여 실행함으로써, 관측 신호를 2개의 성분 신호로 분리하고, 분리한 성분 신호의 위상에 기초하여 계측점의 3차원 위치를 산출한다.

Description

3차원 형상 계측 장치, 3차원 형상 계측 방법 및 프로그램
본 발명은, 계측 대상물에 주기성을 갖는 패턴을 투영하고, 관측되는 신호를 사용하여 당해 계측 대상물의 3차원 형상을 계측하는 기술에 관한 것이다.
화상을 사용하여 물체의 3차원 형상을 계측하는 기술로서, 위상 시프트법이 알려져 있다. 위상 시프트법이란, 프로젝터에 의해 계측 대상물에 주기성을 갖는 패턴을 투영하고, 물체 표면의 요철에 의존하여 발생하는 투영 패턴의 왜곡(위상 어긋남)을 해석함으로써, 물체 표면의 3차원 형상을 복원하는 방법이다. 또한, 위상 시프트법의 개량 방법으로서 MPS(Micro phase shifting)라고 불리는 방법도 알려져 있다(비특허문헌 1 참조).
이들 방법에 있어서는, 계측 대상물의 주위에 존재하는 다른 물체에서의 반사광이 계측 정밀도를 저하시킨다는 현상이 발생하는 경우가 있다. 이 현상에 대하여 도 6을 참조하여 설명한다. 도 6은, 촬상 장치(200)와 프로젝터(201)를 사용한 계측계를 도시하고 있다. 프로젝터(201)로부터 소정의 패턴을 갖는 광(201L)을 계측 대상물(202)에 투영하고, 계측 대상물(202)의 표면에 비추는 투영 패턴을 촬상 장치(200)에서 촬상한다. 이때, 계측 대상물(202)의 표면 요철에 의한 투영 패턴의 왜곡은, 화상의 휘도 변화가 되어서 나타난다. 따라서, 화상의 휘도 변화를 기초로, 프로젝터(201)와 계측 대상물(202)의 표면 상의 점과 촬상 장치(200)의 위치 관계를 특정하고, 삼각측량의 원리로부터 계측 대상물(202)의 표면 높이(3차원 위치)를 산출할 수 있다.
그러나, 도 6에 도시하는 바와 같이, 계측 대상물(202)의 근방에 물체(203)가 존재하면, 프로젝터(201)로부터 투영된 광이 물체(203)의 표면에서 반사하고, 그 반사광(203L)이 계측 대상물(202)의 표면을 비추어 버리는 경우가 있다. 그렇게 하면, 촬상 장치(200)에서 관측되는 관측 신호 중에, 프로젝터(201)의 광(201L)의 반사광 성분(201R)(직접 성분 신호라고 부른다)뿐만 아니라, 물체(203)로부터의 간접 광(203L)의 반사광 성분(203R)(간접 성분 신호라고 부른다)도 포함되게 된다. 이 간접 성분 신호(203R)는, 계측 대상물(202)의 표면 상의 투영 패턴에 노이즈로서 중첩되기 때문에, 투영 패턴의 해석(즉 관측 신호의 위상값의 산출)에 악영향을 주고, 계측 오차를 발생시켜 버리는 것이다. 본 명세서에서는, 이러한 현상을 「상호 반사」 또는 「다중 반사」라고 칭하고, 상호 반사 또는 다중 반사의 원인이 되는 물체(도 6의 예에서는 물체(203))를 「원인 물체」라고 칭한다.
상호 반사의 영향을 저감하는 방법으로서, 특허문헌 1에서는, 상호 반사의 원인이 되는 원인 물체를 특정하고, 그 원인 물체에 투영되는 투영 패턴을 감광 또는 소광한 상태에서 촬상을 행한다는 방법이 제안되어 있다. 그러나, 이 방법과 같이 투영 패턴을 감광 또는 소광해 버리면, 3차원 형상을 계측할 수 없는 부분(소위 사각)이 발생할 가능성이 있다. 또한, 이 방법은, 원인 물체(투영 패턴을 감광 또는 소광해야 하는 부분)을 미리 정확하게 특정할 수 없으면 상호 반사를 효과적으로 억제할 수 없기 때문에, 현실의 장치로의 실장이 어렵다는 문제도 있다.
일본 특허 공개 제2008-309551호 공보
Gupta, Mohit, and Shree K. Nayar. "Micro phase shifting." Computer Vision and Pattern Recognition(CVPR), 2012 IEEE Conference on. IEEE, 2012.
본 발명은 상기 실정을 감안하여 이루어진 것이며, 계측 대상물에 투영한 패턴의 위상을 기초로 3차원 형상을 계측하는 방법에 있어서, 상호 반사의 영향을 저감하고, 계측 정밀도를 향상하기 위한 기술을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위해서, 본 발명에서는, 관측 신호에 포함되는 2개의 성분 신호를 추정하는 처리를 반복하여 실행함으로써, 관측 신호를 2개의 성분 신호로 고정밀도로 분리한다고 하는 구성을 채용한다.
구체적으로는, 본 발명에 관한 3차원 형상 계측 장치는, 투영 장치와, 촬상 장치와, 상기 투영 장치로부터 시간 방향과 공간 방향으로 주기성을 갖는 투영 패턴을 계측 대상물에 대하여 투영한 상태에서 상기 촬상 장치에 의해 관측되는 관측 신호에 기초하여, 상기 계측 대상물의 3차원 형상을 계측하는 제어 장치를 갖는다. 여기서, 상기 관측 신호가, 위상이 서로 다른 제1 성분 신호와 제2 성분 신호의 합성 신호라고 가정하고, 상기 제어 장치는, 상기 계측 대상물 상의 계측점에 대한 관측 신호로서, 상이한 공간 주파수를 갖는 복수의 투영 패턴을 사용하여 관측된 복수의 관측 신호를 취득하고, 각 관측 신호에 대하여 제1 성분 신호의 추정값의 초기값을 설정하고, (1) 각 관측 신호의 제1 성분 신호의 추정값에 대하여, 진폭 및 위상의 오차를 저감하는 제1 보정 처리를 적용함으로써, 각 관측 신호의 제1 성분 신호의 보정 추정값을 구하는 제1 스텝과, (2) 각 관측 신호로부터 제1 성분 신호의 보정 추정값을 감산함으로써, 각 관측 신호의 제2 성분 신호의 추정값을 구하는 제2 스텝과, (3) 각 관측 신호의 제2 성분 신호의 추정값에 대하여, 진폭 및 위상의 오차를 저감하는 제2 보정 처리를 적용함으로써, 각 관측 신호의 제2 성분 신호의 보정 추정값을 구하는 제3 스텝과, (4) 각 관측 신호로부터 제2 성분 신호의 보정 추정값을 감산함으로써, 각 관측 신호의 제1 성분 신호의 추정값을 구하는 제4 스텝을 포함하는 연산을 반복하여 실행함으로써, 각 관측 신호에 포함되는 제1 성분 신호 및 제2 성분 신호를 추정하고, 추정된 제1 성분 신호 또는 제2 성분 신호의 위상에 기초하여, 상기 계측점의 3차원 위치를 산출한다.
이 구성에 의하면, 제1로부터 제4 스텝을 포함하는 연산을 반복하여 실행함으로써, 각 성분 신호의 진폭 및 위상의 오차(참값과의 차)가 보다 작아지도록, 각 성분 신호의 추정값이 갱신되어 간다. 따라서, 관측 신호를 2개의 성분 신호로 고정밀도로 분리할 수 있다. 그리고, 분리한 성분 신호의 위상을 계측점의 3차원 위치 산출에 이용함으로써, 상호 반사의 영향이 저감된 고정밀도의 3차원 형상 계측이 가능하게 된다.
또한, 본 발명의 방법은, 관측 신호에 포함되는 제1 성분 신호와 제2 성분 신호의 비율이 완전히 미지라도, 즉 특별한 사전 지식이나 전제 조건이 없어도, 적용할 수 있다는 이점을 갖는다. 예를 들어, 현실의 적용 장면에서는, 상호 반사의 영향의 정도, 원인 물체의 형상(반사면의 형상, 방향 등)이나 반사 특성(반사율 등), 원인 물체와 계측 대상물의 위치 관계라고 하는 조건이 다양하지만, 본 발명의 방법이라면 어떠한 조건에 대해서도 범용적으로 적용할 수 있는 것으로 기대할 수 있다. 따라서, 본 발명은 현실의 장치로의 실장이 용이하다.
본 발명을 상호 반사의 영향을 저감하기 위하여 사용하는 경우, 예를 들어 상기 제1 성분 신호 및 상기 제2 성분 신호 중 한쪽의 신호는, 상기 투영 장치로부터 투영된 광이 상기 계측점에서 반사하여 상기 촬상 장치에 입사하는 직접 성분 신호이고, 다른 쪽의 신호는, 상기 투영 장치로부터 투영되어 다른 반사면에서 반사된 광이 상기 계측점에서 반사하여 상기 촬상 장치에 입사하는 간접 성분 신호이다.
상기 제1 보정 처리는, 「각 관측 신호의 제1 성분 신호의 추정값으로부터 진폭 및 위상을 산출함으로써, 상기 복수의 투영 패턴 각각의 공간 주파수에 대한 복수의 진폭값 및 복수의 위상값을 취득하고, 상기 복수의 진폭값 중의 최솟값보다도 크고 또한 최댓값보다도 작은 값이 되도록, 보정 진폭값을 결정하고, 상기 복수의 위상값을 정규화하고, 정규화된 상기 복수의 위상값 중의 최솟값보다도 크고 또한 최댓값보다도 작은 값이 되도록, 보정 위상값을 결정하고, 상기 보정 진폭값 및 상기 보정 위상값에 기초하여, 상기 복수의 투영 패턴 각각의 공간 주파수에 대한 휘도 신호를 재생하는」 처리이면 된다. 이 경우, 상기 재생된 각 공간 주파수에 대한 휘도 신호가, 각 관측 신호의 제1 성분 신호의 보정 추정값이다.
상기 제2 보정 처리는, 「각 관측 신호의 제2 성분 신호의 추정값으로부터 진폭 및 위상을 산출함으로써, 상기 복수의 패턴 각각의 공간 주파수에 대한 복수의 진폭값 및 복수의 위상값을 취득하고, 상기 복수의 진폭값 중 최솟값보다도 크고 또한 최댓값보다도 작은 값이 되도록, 보정 진폭값을 결정하고, 상기 복수의 위상값을 정규화하고, 정규화된 상기 복수의 위상값 중 최솟값보다도 크고 또한 최댓값보다도 작은 값이 되도록, 보정 위상값을 결정하고, 상기 보정 진폭값 및 상기 보정 위상값에 기초하여, 상기 복수의 패턴 각각의 공간 주파수에 대한 휘도 신호를 재생하는」 처리이면 된다. 이 경우, 상기 재생된 각 공간 주파수에 대한 휘도 신호가, 각 관측 신호의 제2 성분 신호의 보정 추정값이다.
각 성분 신호의 추정값으로부터 산출되는 진폭값은 오차를 포함하고 있고, 그 오차의 크기(참값과의 차의 절댓값) 및 정부(참값보다 큰지 작은지)는, 투영 패턴의 공간 주파수마다 상이할 수 있다. 즉, 복수의 투영 패턴 각각의 공간 주파수에 대하여 추정되는 「복수의 진폭값」은, 참값을 사이에 두고 플러스측과 마이너스측에 각각 분포하고 있을 가능성이 높다. 역의 견해를 하면, 진폭값의 참값은, 복수의 진폭값 중 최솟값과 최댓값 사이에 존재할 개연성이 높다. 따라서, 상기와 같이 결정된 보정 진폭값은, 적어도, 복수의 진폭값 중 오차가 가장 큰 것보다도, 참값에 가깝다고 기대할 수 있다.
마찬가지로, 각 성분 신호의 추정값으로부터 산출되는 위상값은 오차를 포함하고 있고, 그 오차의 크기(참값과의 차의 절댓값) 및 정부(참값보다 큰지 작은지)는, 투영 패턴의 공간 주파수마다 상이할 수 있다. 즉, 복수의 투영 패턴 각각의 공간 주파수에 대하여 추정되는 「복수의 위상값」은, 참값을 사이에 두고 플러스측과 마이너스측에 각각 분포하고 있을 가능성이 높다. 역의 견해를 하면, 위상값의 참값은, 복수의 위상값 중 최솟값과 최댓값 사이에 존재할 개연성이 높다. 따라서, 상기와 같이 결정된 보정 위상값은, 적어도, 복수의 위상값 중 오차가 가장 큰 것보다도, 참값에 가깝다고 기대할 수 있다.
따라서, 상술한 제1 보정 처리 및 제2 보정 처리에 의해, 각 성분 신호의 진폭값 및 위상값의 오차를 저감할 수 있다.
상기 보정 진폭값은, 상기 복수의 진폭값의 평균값 또는 중간값이면 된다. 또한, 상기 보정 위상값은, 정규화된 상기 복수의 위상값의 평균값 또는 중간값이면 된다. 이에 의해, 간단한 연산 처리에 의해, 진폭값 및 위상값의 오차를 저감할 수 있다.
상기 복수의 위상값을 정규화하는 처리는, 상기 복수의 위상값을 공통의 공간 주파수의 위상값으로 변환하는 처리이면 된다. 각 성분 신호로부터 산출되는 위상값은, 그 성분 신호의 관측에 사용한 투영 패턴의 공간 주파수에 대한 위상값이다. 그 때문에, 상기와 같이 공통의 공간 주파수의 위상값으로 변환하는 정규화를 실시함으로써, 복수의 위상값의 비교가 가능하게 된다.
공간 주파수마다 상기 복수의 진폭값의 감쇠율이 상이한 경우에는, 상기 보정 진폭값을 구하기 전에, 상기 복수의 진폭값 각각의 감쇠율의 차이를 캔슬하기 위한 정규화를 행해도 된다. 또한, 감쇠율이 동일하거나, 감쇠율의 차이를 무시할 수 있는 경우에는, 진폭값의 정규화를 생략해도 상관없다.
상기 제어 장치는, 위상 시프트법 또는 MPS(Micro Phase Sifting)에 의해, 추정된 제1 성분 신호 또는 제2 성분 신호의 위상에 기초하여, 상기 계측점의 3차원 위치를 산출하면 된다.
또한, 본 발명은, 상기 구성 내지 기능의 적어도 일부를 갖는 3차원 형상 계측 장치 또는 화상 처리 장치로서 파악할 수 있다. 또한, 본 발명은, 이러한 3차원 형상 계측 장치를 구비하는 검사 장치나 3차원 스캐너나 물체 인식 장치로서 파악할 수도 있다. 또한, 본 발명은, 상기 처리의 적어도 일부를 포함하는, 3차원 형상 계측 방법, 화상 처리 방법, 검사 방법, 물체 인식 방법이나, 이들 방법을 컴퓨터에 실행시키기 위한 프로그램, 또는, 그러한 프로그램을 비일시적으로 기록한 컴퓨터 판독 가능한 기록 매체로서 파악할 수도 있다. 상기 구성 및 처리의 각각은 기술적인 모순이 발생하지 않는 한 서로 조합하여 본 발명을 구성할 수 있다.
본 발명에 따르면, 계측 대상물에 투영한 패턴의 위상을 기초로 3차원 형상을 계측하는 방법에 있어서, 상호 반사의 영향을 저감하고, 계측 정밀도를 향상할 수 있다.
도 1은, 3차원 형상 계측 장치의 하드웨어 구성을 도시하는 모식도이다.
도 2는, 3차원 형상 계측에 관한 기능을 도시하는 블록도이다.
도 3의 (A) 및 도 3의 (B)는, 상호 반사와 관측 신호의 모델을 도시하는 모식도이다.
도 4는, 신호 분리 처리의 흐름도이다.
도 5는, 3차원 형상 계측 처리의 흐름도이다.
도 6은, 상호 반사를 설명하는 도면이다.
본 발명은, 계측 대상물에 투영한 패턴의 위상 변화를 기초로 3차원 형상을 계측하는 3차원 형상 계측 기술에 관한 것으로, 특히, 계측 대상물의 주위에 존재하는 반사면에 의한 상호 반사의 영향을 저감하고, 계측 정밀도를 향상하기 위한 방법에 관한 것이다. 본 발명은, 위상 시프트법이나 그 개량인 MPS(Micro phase shifting)를 이용한 3차원 형상 계측, 나아가 TOF(Time of Flight) 방식의 위상차법을 이용한 3차원 형상 계측에 바람직하게 적용할 수 있다. 본 발명에 관한 3차원 형상 계측은, 예를 들어 물체의 표면 형상을 계측하는 3차원 스캐너, 계측한 3차원 형상에 기초하여 물체의 검사를 행하는 검사 장치, 계측한 3차원 형상에 기초하여 물체 인식이나 개체 식별을 행하는 장치 등, 다양한 장치에 응용 가능하다. 예를 들어, 표면 실장 기판의 외관 검사 장치에서는, 기판 상의 금속제 부품에 의한 상호 반사가 검사 정밀도의 저하를 초래할 가능성이 있기 때문에, 본 발명에 관한 3차원 형상 계측을 특히 바람직하게 적용할 수 있다.
이하, 도면을 참조하여 본 발명을 실시하기 위한 바람직한 형태의 일례를 설명한다. 단, 이하의 실시 형태에 기재되어 있는 장치의 구성이나 동작은 일례이고, 본 발명의 범위를 그것들에만 한정하는 취지의 것은 아니다.
(3차원 형상 계측 장치의 구성)
도 1을 참조하여, 본 실시 형태에 관한 3차원 형상 계측 장치의 전체 구성에 대하여 설명한다. 도 1은 3차원 형상 계측 장치의 하드웨어 구성을 도시하는 모식도이다. 3차원 형상 계측 장치(1)는 계측 대상물 O의 3차원 형상을 계측하기 위한 장치이고, 주된 구성으로서, 투영 장치(프로젝터)(10), 촬상 장치(카메라)(11), 제어 장치(컴퓨터)(12)를 갖고서 구성된다.
투영 장치(10)는, 계측 대상물 O에 대하여 시간 방향과 공간 방향으로 주기성을 갖는 패턴을 투영하는 투영 수단이다. 투영 장치(10)의 수는 하나여도 되지만, 복수의 방향으로부터 계측 대상물 O에 대하여 패턴을 투영 가능하도록 복수의 투영 장치(10)를 마련해도 된다. 투영 장치(10)로서는, 디지털 미러 디바이스를 사용한 방식의 DLP(Digital Light Processing) 프로젝터를 바람직하게 이용할 수 있다. DLP 프로젝터는 투영 패턴의 변경이 용이하기 때문이다.
촬상 장치(11)는, 패턴이 투영된 상태의 계측 대상물 O를 촬영하고, 디지털 화상을 출력하는 수단이다. 촬상 장치(11)는, 예를 들어 광학계와 이미지 센서를 갖고서 구성된다. 3차원 형상 계측을 행할 때는, 투영 장치(10)로부터 투영하는 패턴의 위상을 바꾸면서, 촬상 장치(11)에 의해 복수매의 화상을 도입한다. 본 명세서에서는, 촬상 장치(11)에 의해 관측되는 계측 대상물 O의 휘도를 「관측 신호」라고 칭하고, 촬상 장치(11)에 의해 촬상된 화상을 「관측 화상」이라고 칭한다. 즉, 관측 화상의 각 화소의 값은, 계측 대상물 상의 대응하는 계측점의 관측 신호(휘도값)를 나타내고 있다. 본 실시 형태에서는, 투영 패턴의 공간 주파수를 바꾸면서, 복수의 관측 화상이 취득된다.
제어 장치(12)는, 투영 장치(10) 및 촬상 장치(11)의 제어, 촬상 장치(11)로부터 도입된 화상에 대한 처리, 3차원 형상 계측 등의 기능을 갖는 수단이다. 제어 장치(12)는, CPU(프로세서), 메모리, 불휘발성의 기억 장치(예를 들어, 하드 디스크나 플래시 메모리), 입력 장치(예를 들어, 키보드, 마우스, 터치 패널 등), 표시 장치(예를 들어, 액정 디스플레이 등)를 구비하는 컴퓨터에 의해 구성할 수 있다. 후술하는 제어 장치(12)의 기능은, 불휘발성의 기억 장치에 저장된 프로그램을 메모리에 로드하고, CPU가 당해 프로그램을 실행함으로써 실현할 수 있다. 단, 제어 장치(12)의 기능 전부 또는 일부를, ASIC나 FPGA나 전용의 하드웨어로 대체해도 상관없다. 또한, 분산 컴퓨팅이나 클라우드 컴퓨팅의 기술을 이용하여, 제어 장치(12)의 기능을 복수의 컴퓨터의 협동에 의해 실현해도 상관없다.
도 2는, 제어 장치(12)의 3차원 형상 계측에 관한 기능을 도시하는 블록도이다. 제어 장치(12)는, 3차원 형상 계측에 관한 기능으로서, 화상 취득부(20), 신호 분리부(21), 위상 산출부(22), 3차원 복원부(23)를 갖고 있다.
화상 취득부(20)는, 촬상 장치(11)로부터 3차원 형상 계측에 사용하는 복수의 관측 화상을 도입하는 기능이다. 신호 분리부(21)는, 관측 화상의 화소마다, 관측 신호를 2개의 성분 신호로 분리하는 기능이다. 위상 산출부(22)는, 분리한 성분 신호의 위상값을 산출하는 기능이다. 3차원 복원부(23)는, 위상 산출부(22)에서 산출된 위상값에 기초하여, 관측 화상의 각 화소(즉 계측 대상물 O의 표면 상의 각 계측점)의 3차원 위치를 산출하는 기능이다. 이들의 기능의 상세는 후술한다.
(상호 반사와 관측 신호의 모델)
도 3의 (A) 및 도 3의 (B)에, 상호 반사와 관측 신호의 모델을 도시한다.
도 3의 (A)는, 확산 반사면을 갖는 계측 대상물 O의 근방에 경면성이 높은 반사면(30)(예를 들어 금속제의 물체의 표면)이 존재하는 예이다. 도 3의 (B)는, 경면성이 높은 반사면을 갖는 계측 대상물 O의 근방에 확산 반사면(31)이 존재하는 예이다.
투영 장치(10)로부터 사인파 형상의 줄무늬 패턴을 갖는 투영 화상(100)을 투영한 경우에, 투영 화상(100) 상의 위치 xD에 대응하는 광(직접 광이라고 칭함) LD와, 투영 화상(100) 상의 위치 xR에 대응하는 광의 반사면(30 또는 31)에서의 반사광(간접 광이라고 칭함) LR이, 계측 대상물 O 상의 계측점 P에 도달한다고 가정한다.
이때, 촬상 장치(11)에서 관측되는 관측 신호 I는, 직접 광 LD가 계측점 P에서 반사하여 촬상 장치(11)에 입사한 광(직접 성분 신호라고 칭함) ID와, 간접 광 LR이 계측점 P에서 반사하여 촬상 장치(11)에 입사한 광(간접 성분 신호라고 칭함) IR의 합성 신호가 된다. 3차원 형상 계측에 필요한 원하는 신호는 직접 성분 신호 ID이다. 또한, 도 3의 (A)와 같은 신에서는, 간접 성분 신호 IR은 반사면(30)에서의 반사 시에 감쇠하기 때문에, 직접 성분 신호 ID의 강도가 간접 성분 신호 IR의 강도보다도 커진다. 한편, 도 3의 (B)와 같은 신에서는, 광 LD의 대부분은 경면성 반사면에 있어서 정반사 방향으로 반사하기 때문에, 간접 성분 신호 IR의 강도가 직접 성분 신호 ID의 강도보다도 커지는 경우도 있다.
투영 패턴의 공간 주파수를 ω, 시간 방향의 주파수(시간 주파수)를 v, 직접 성분 신호 ID의 진폭을 AD, 간접 성분 신호 IR의 진폭을 AR로 한다. 이때, 시각 t에 있어서의 관측 신호 I(ω, t)는, 직접 성분 신호 ID(ω, t)와 간접 성분 신호 IR(ω, t)을 사용하여 가법적으로,
Figure pct00001
로 표현할 수 있다. 관측 신호를 단일 성분 신호로 간주하고, 위상 φ´(ω, Δx) 및 진폭 A´(ω, Δx)를 계산하면, 다음과 같이 추정된다. 단, Δx=xD-xR이다.
Figure pct00002
직접 성분 신호 ID가 원하는 신호이기 때문에, 진폭의 참값은 AD이고, 위상의 참값은 ωxD이다. 그러나, 상호 반사(간접 성분 신호 IR)의 영향에 의해, 진폭·위상 모두 오차가 발생하고 있다. 상기 식으로부터, 이 오차는 투영 패턴의 공간 주파수 ω와 차분 Δx에 의존하는 것을 알 수 있다.
(신호 분리법)
이어서, 관측 신호로부터 원하는 신호인 직접 성분 신호를 분리하는 방법에 대하여 설명한다.
본 실시 형태에서는, 관측 신호가, 위상이 서로 다른 2종류의 성분 신호의 합성 신호라고 가정한다. 2종류의 성분 신호 중, 진폭이 크고 신호 강도가 높은 쪽의 신호를 주성분 신호(첨자 「P」를 붙임), 다른 쪽의 신호를 부성분 신호(첨자 「S」를 붙임)라고 정의한다. 대부분의 케이스에서는, 주성분 신호가 직접 성분 신호에 대응하고, 부성분 신호가 간접 성분 신호에 대응하기 때문에, 본 실시 형태에서는 관측 신호로부터 분리된 주성분 신호를 3차원 형상 계측에 이용한다. 또한, 도 3의 (B)에 예시한 바와 같이, 직접 성분 신호의 신호 강도쪽이 낮아지는 케이스도 있지만, 그 경우에는 부성분 신호를 3차원 형상 계측에 이용하면 된다.
본 실시 형태의 신호 분리법은, 상호 반사의 영향에 의한 진폭·위상의 오차가 투영 패턴의 공간 주파수에 의존한다고 하는 성질을 이용한다. 따라서, 입력으로서, 상이한 공간 주파수를 갖는 복수의 투영 패턴을 사용하여 관측된 복수의 관측 신호를 사용한다. 투영 패턴의 공간 주파수를 ωk(k=1, …, K), 시간 주파수를 vk로 하면, 관측 신호는,
Figure pct00003
로 표현할 수 있다.
전처리로서, 관측 신호 IO(ωk, t)로부터 오프셋 성분(직류 성분) C(ωk)를 제거한다. 후단의 반복 연산에는, 하기 식에 의해 오프셋 성분을 제거한 관측 신호 I(ωk, t)를 사용한다.
Figure pct00004
공간 주파수 ωk에 있어서의 오프셋 성분 C(ωk)의 값은, 예를 들어 관측 신호의 시간 방향으로 1주기 분의 합을 사용하여,
Figure pct00005
로 계산할 수 있다. 또한, 공간 주파수마다 오프셋 성분의 값을 추정하는 대신에, 공간 주파수가 가까운 다른 관측 신호에서 추정한 오프셋 성분의 값을 대용하는 것도 가능하다. 오프셋의 대용을 행하지 않는 경우, 원하는 처리를 실현하기 위해서는, 공간 주파수 ωk마다 위상이 상이한 3매 이상의 관측 화상이 필요하다. 이에 비해, 오프셋의 대용을 행하는 경우, 오프셋을 대용하는 공간 주파수에 대해서는 위상의 다른 관측 화상이 적어도 2매 있으면 원하는 처리를 실현할 수 있다. 따라서, 오프셋의 대용을 행함으로써, 필요한 투영 횟수 및 촬영 횟수를 삭감할 수 있고, 3차원 형상 계측의 고속화를 도모할 수 있다.
도 4는, 신호 분리부(21)에 의해 실행되는 신호 분리 처리의 플로를 도시한다. 도 4의 처리는, 관측 화상의 화소마다 실행되는 것이다. 이후, 처리 대상으로 하는 화소를 「주목 화소」라고 칭한다.
스텝 S40에서는, 신호 분리부(21)가, 주목 화소의 관측 신호 I(ωk, t)의 집합 I를 취득한다(도 4에서는 집합을 굵은 글씨의 기호로 표기하는 것으로 한다.). 관측 신호 집합 I는, 복수의 공간 주파수 ω1, …, ωK에 대응하는 복수의 관측 신호 I(ω1, t), …, I(ωK, t)로 구성된다. 또한 각 공간 주파수 ωk의 관측 신호는, 복수의 시각 t(t=0, 1, …, Tk-1)에 있어서 관측된, 위상이 상이한 복수의 관측 신호 I(ωk, 0), I(ωk, 1), …, I(ωk, Tk-1)을 포함한다. 또한, 관측 신호 I(ωk, t)는 오프셋 성분이 제거된 신호이고, Tk는 투영 패턴의 시간 주기이다.
관측 신호 I(ωk, t)는, 주성분 신호 IP(ωk, t)와 부성분 신호 IS(ωk, t)의 합성 신호이지만, 각각의 성분 신호의 비율(강도비)은 미지이다. 그래서, 본 실시 형태의 신호 분리부(21)는, 분리 성능이 낮은 단일 성분 추정법을 각 성분 신호에 반복하여 적용하고, 각 성분 신호의 추정값(근사값)을 갱신해 감으로써, 각 성분 신호의 참값을 추정한다고 하는 어프로치를 채용한다.
먼저 스텝 S41에서는, 신호 분리부(21)가, 각 공간 주파수 ωk의 관측 신호 I(ωk, t)에 대해서, 주성분 신호 IP(ωk, t) 및 부성분 신호 IS(ωk, t)의 초기값을 설정한다. 본 실시 형태에서는, 관측 신호 I(ωk, t)를 주성분 신호 IP(ωk, t)의 초기값으로서 설정하고, 부성분 신호 IS(ωk, t)의 초기값은 0으로 한다. 도 4의 굵은 글씨 기호 Ip는 주성분 신호 집합, 굵은 글씨 기호 IS는 부성분 신호 집합을 나타내고 있다.
스텝 S42에서는, 신호 분리부(21)가, 공간 주파수 ωk마다, 주성분 신호 IP(ωk, t)로부터 진폭값 AP(ωk) 및 위상값 φP(ωk)를 계산한다. 일반적으로 동일 공간 주파수 ωk의 신호가 시간적으로 등간격으로 1주기 분 관측되고 있을 때, 각 시각 t에 있어서의 신호는, 시간 주파수 vk를 사용하여,
Figure pct00006
이라고 표현된다.
이들의 신호 IP(ωk, 0), IP(ωk, 1), …, IP(ωk, Tk-1)를 주파수 변환하면, 제1 고조파인 시간 주파수 vk의 성분 J(ωk, vk)는, j를 허수 단위로서,
Figure pct00007
가 된다. 따라서, 공간 주파수 ωk에 대한 진폭값 AP(ωk)과 위상값 φP(ωk)는,
Figure pct00008
로 계산할 수 있다. 단, 기호 Re()와 Im()은 각각 복소수의 실부와 허부를 취하는 연산자이다.
후단에서의 처리를 위해, 산출된 위상값 φP(ωk)를 정규화한다. 예를 들어, 신호 분리부(21)는, 소위 위상 접속을 사용하여, 상이한 공간 주파수 ωk에 있어서의 복수의 위상값 φP(ω1), φP(ω2), …, φP(ωK)를, 공통의 공간 주파수 ωL에 있어서의 위상값 θP(ω1), θP(ω2), …, θP(ωK)로 변환한다. 예를 들어, 공간 주파수 ωk의 투영 패턴에서의 위상값을 φS, 접속용의 공간 주파수 ωL의 투영 패턴에서의 위상값을 φL, 접속 배율을 α로 하면, 변환 후의 위상값 θ는,
Figure pct00009
로 계산할 수 있다.
각 공간 주파수 ωk의 진폭값 집합 AP와, 정규화된 위상값 집합 θP가, 스텝 S42의 처리의 출력
Figure pct00010
이다.
스텝 S42의 처리에서는, 주성분 신호 Ip(ωk, t)를 단일 성분 신호로 간주하여 진폭값 및 위상값을 계산한다. 그러나, 주성분 신호 Ip(ωk, t)의 분리가 아직 충분하지 않은 단계에서는, 스텝 S42에서 계산되는 진폭값 및 위상값은 참값에 대하여 오차가 크다. 그래서, 스텝 S43에서는, 신호 분리부(21)가, 스텝 S42에서 구한 진폭값 집합 AP와 위상값 집합 θP에 기초하여, 보다 참값에 가까운(오차가 작은) 진폭값 및 위상값을 추정한다. 또한, 여기에서의 추정법은, 오차를 완전히 해소하는 방법일 필요는 없고, 조금이라도 오차가 작아진다고 기대할 수 있는 방법(「약추정」이라고 칭함)이면 된다. 약추정을 반복하여 적용함으로써 참값에 점근시킴으로써, 실용적인 분리 정밀도를 얻을 수 있기 때문이다.
약추정의 구체적인 방법은 묻지 않는다. 진폭값의 오차 크기 및 그 정부는 공간 주파수 ωk마다 상이하기 때문에, 스텝 S42에서 계산되는 복수의 진폭값 AP(ωk)는, 참값을 사이에 두고 플러스측과 마이너스측에 각각 분포하고 있을 가능성이 높다. 역의 견해를 하면, 진폭값의 참값은, 복수의 진폭값 AP(ωk) 중의 최솟값과 최댓값 사이에 존재할 개연성이 높다고 할 수 있다. 따라서, 복수의 진폭값 AP(ωk) 중의 최솟값보다도 크고 또한 최댓값보다도 작은 값이 되도록 진폭값을 결정함으로써, 참값에 가까운 진폭값이 얻어진다고 기대할 수 있다. 예를 들어, 복수의 진폭값 AP(ωk)의 평균값이나 중간값을 구하는 방법이 이것에 해당한다. 이상은, 위상값 θP(ωk)에도 마찬가지로 적합하다.
본 실시 형태에서는, 약추정의 방법으로서 「평균」을 사용한다. 구체적으로는, 스텝 S43에 있어서, 신호 분리부(21)는, 하기 식에서 정의되는 보정 진폭값(AP 해트) 및 보정 위상값(θP 해트)을 계산한다.
Figure pct00011
또한, 공간 주파수 ωk마다 진폭의 감쇠율이 상이한 경우에는,
Figure pct00012
에 의해 보정 진폭값을 계산해도 된다. rk는, 공간 주파수 ωk의 투영 패턴의 진폭 감쇠율이다.
스텝 S44에서는, 신호 분리부(21)가, 스텝 S43에서 구한 보정 진폭값 및 보정 위상값에 기초하여, 각 공간 주파수 ωk에 대한 휘도 신호를 재생한다. 진폭의 감쇠율이 공간 주파수 ωk에 의하지 않고 일정하다고 간주할 수 있는 경우, 휘도 신호는,
Figure pct00013
에 의해 계산할 수 있다. 또한, 공간 주파수 ωk마다 진폭의 감쇠율이 상이한 경우에는, 휘도 신호는,
Figure pct00014
에 의해 계산할 수 있다.
이와 같이 재생된 휘도 신호 IP´(ωk, t)은, 스텝 S42에서 사용한 원래의 주성분 신호 IP(ωk, t)에 비하여 진폭 및 위상의 오차가 저감된 신호가 된다. 이상 설명한 스텝 S42 내지 S44의 처리가 본 발명에 있어서의 「제1 스텝」의 일례이고, 원래의 휘도 신호 IP(ωk, t)가 본 발명에 있어서의 「제1 성분 신호의 추정값」의 일례이고, 재생된 휘도 신호 IP´(ωk, t)이 본 발명에 있어서의 「제1 성분 신호의 보정 추정값」의 일례이다.
스텝 S45에서는, 신호 분리부(21)가, 각 공간 주파수 ωk의 관측 신호 I(ωk, t)로부터, 스텝 S44에서 구한 휘도 신호 IP´(ωk, t)을 감산한다. 이에 의해, 부성분 신호 IS(ωk, t)의 추정값을 갱신할 수 있다. 휘도 신호 IP´(ωk, t)은 원래의 주성분 신호 IP(ωk, t)에 비하여 오차가 작기 때문에, 이 갱신 처리에 의해, 부성분 신호 IS(ωk, t)의 오차도 저감할 수 있다. 이 스텝 S45의 처리가 본 발명에 있어서의 「제2 스텝」의 일례이고, 스텝 S45에서 구해진 휘도 신호 IS(ωk, t)가 본 발명에 있어서의 「제2 성분 신호의 추정값」의 일례이다.
이어서, 스텝 S46에서는, 신호 분리부(21)가, 공간 주파수 ωk마다, 부성분 신호 IS(ωk, t)로부터 진폭값 AS(ωk) 및 위상값 θS(ωk)를 계산한다. 구체적인 처리 내용은 스텝 S42의 것과 마찬가지(단, 주성분 신호는 부성분 신호로 치환한다.)이므로, 상세한 설명은 생략한다. 스텝 S46의 처리 출력으로서, 각 공간 주파수 ωk의 부성분 신호 IS(ωk, t)에 있어서의 진폭값 집합 AS와 정규화된 위상값 집합 θS가 얻어진다.
스텝 S47에서는, 신호 분리부(21)가, 스텝 S46에서 구한 진폭값 집합 AS와 위상값 집합 θS에 기초하여, 보다 참값에 가까운 보정 진폭값(AS 해트) 및 보정 위상값(θS 해트)을 계산한다. 구체적인 처리 내용은 스텝 S43의 것과 마찬가지(단, 주성분 신호는 부성분 신호로 치환한다.)이므로, 상세한 설명은 생략한다.
스텝 S48에서는, 신호 분리부(21)가, 스텝 S47에서 구한 보정 진폭값 및 보정 위상값에 기초하여, 각 공간 주파수 ωk에 대한 휘도 신호를 재생한다. 진폭의 감쇠율이 공간 주파수 ωk에 의하지 않고 일정하다고 간주할 수 있는 경우, 휘도 신호는,
Figure pct00015
에 의해 계산할 수 있다. 또한, 공간 주파수 ωk마다 진폭의 감쇠율이 상이한 경우에는, 휘도 신호는,
Figure pct00016
에 의해 계산할 수 있다.
이와 같이 재생된 휘도 신호 IS´(ωk, t)는, 스텝 S46에서 사용한 원래의 부 성분 신호 IS(ωk, t)에 비하여 진폭 및 위상의 오차가 저감된 신호가 된다. 이상 설명한 스텝 S46 내지 S48의 처리가 본 발명에 있어서의 「제3 스텝」의 일례이고, 원래의 휘도 신호 IS(ωk, t)가 본 발명에 있어서의 「제2 성분 신호의 추정값」의 일례이고, 재생된 휘도 신호 IS´(ωk, t)가 본 발명에 있어서의 「제2 성분 신호의 보정 추정값」의 일례이다.
스텝 S49에서는, 신호 분리부(21)가, 각 공간 주파수 ωk의 관측 신호 I(ωk, t)로부터, 스텝 S48에서 구한 휘도 신호 IS´(ωk, t)를 감산한다. 이에 의해, 주성분 신호 IP(ωk, t)의 추정값을 갱신할 수 있다. 휘도 신호 IS´(ωk, t)는 원래의 부성분 신호 IS(ωk, t)에 비하여 오차가 작기 때문에, 이 갱신 처리에 의해, 주성분 신호 IP(ωk, t)의 오차도 저감할 수 있다. 이 스텝 S49의 처리가 본 발명에 있어서의 「제4 스텝」의 일례이고, 스텝 S49에서 구해진 휘도 신호 IP(ωk, t)가 본 발명에 있어서의 「제1 성분 신호의 추정값」의 일례이다.
이상 설명한 스텝 S42 내지 S49의 연산을 복수회 반복함으로써, 각 성분 신호의 진폭 및 위상의 오차(참값과의 차)가 보다 작아지도록, 각 성분 신호의 추정값이 갱신되어 간다. 따라서, 관측 신호 I(ωk, t)를 2개의 성분 신호 IP(ωk, t), IS(ωk, t)로 고정밀도로 분리할 수 있다. 또한, 반복 횟수는 미리 정해 두어도 되고, 소정의 평가식을 사용하여 각 성분 신호의 추정값의 수렴 정도를 평가함으로써 반복 횟수를 동적으로 바꾸어도 된다.
(3차원 형상 계측)
도 5의 흐름도를 따라, 본 실시 형태에 있어서의 3차원 형상 계측의 처리의 흐름의 일례를 설명한다.
스텝 S50에서는, 제어 장치(12)가 투영 장치(10) 및 촬상 장치(11)를 제어하고, 복수의 관측 화상을 촬영한다. 예를 들어, 사인파 형상으로 휘도가 변화하는 줄무늬 패턴을 π/2씩 위상을 바꾸면서 4회 투영하고, 4매의 관측 화상을 촬영한다.
높은 계측 정밀도(분해능)를 달성하기 위해서, 줄무늬 패턴의 공간 주파수 ω는 고주파인 것이 바람직하다. 그러나, 계측 레인지는 줄무늬 패턴의 주기에 의존하기 때문에, 고주파의 줄무늬 패턴을 사용하면 계측 레인지가 좁아진다고 하는 불리가 있다. 그래서, 고주파의 위상을 저주파의 위상으로 변환함으로써, 계측 레인지의 확대를 행한다. 이 방법은 위상 접속이라고 불린다. 위상 접속에 의해, 높은 계측 정밀도와 넓은 계측 레인지를 양립할 수 있다.
위상 접속을 행하는 경우에는, 공간 주파수가 상이한 복수의 투영 패턴을 사용하여, 공간 주파수가 상이한 복수의 관측 화상을 취득한다. 예를 들어 일반적인 위상 접속의 경우에는, 계측용의 고주파의 투영 패턴과 접속용의 저주파의 투영 패턴에 의한 촬영을 행하고, MPS의 경우에는, 복수 종류의 고주파 투영 패턴에 의한 촬영을 행한다. 관측 화상의 데이터는, 화상 취득부(20)에 의해 제어 장치(12)에 도입되고, 메모리 또는 불휘발성의 기억 장치에 저장된다.
스텝 S51에서는, 신호 분리부(21)가, 관측 화상 상의 각 화소에 있어서의 관측 신호를 2개의 성분 신호로 분리하는 처리를 행한다. 신호 분리의 구체적인 처리는 도 4에서 설명한 대로이다. 본 실시 형태에서는, 주성분 신호를 직접 성분 신호로 간주한다.
스텝 S52에서는, 위상 산출부(22)가, 스텝 S51에서 분리한 직접 성분 신호로부터, 주목 화소의 위상값을 산출한다. 또한, 스텝 S51의 신호 분리의 계산 과정에서 취득된 위상값(예를 들어, 도 4의 스텝 S43에서 구해진 보정 위상값(θP 해트))을 이용해도 된다.
그 후, 스텝 S53에 있어서, 3차원 복원부(23)가, 위상 산출부(22)에서 산출된 각 화소의 위상값에 기초하여, 관측 화상 상의 각 화소(즉 계측 대상물의 표면 상의 각 계측점)의 3차원 위치를 산출한다. 이에 의해, 계측 대상물 표면의 3차원 형상을 복원할 수 있다. 위상값을 3차원 위치(높이 정보)로 변환하는 방법으로서는, 예를 들어, 캘리브레이션에 의해 위상과 높이의 변환식을 미리 구해 두고, 그 변환식에 위상값을 대입함으로써 높이 정보를 구하는 방법 등이 있다.
이상 설명한 본 실시 형태의 신호 분리법에 의하면, 관측 신호로부터 직접 성분 신호를 고정밀도로 분리할 수 있다. 그리고, 분리한 직접 성분 신호의 위상을 계측점의 3차원 위치 산출에 이용함으로써, 상호 반사의 영향이 저감된 고정밀도의 3차원 형상 계측이 가능하게 된다. 또한, 본 실시 형태의 방법은, 관측 신호에 포함되는 직접 성분 신호와 간접 성분 신호의 비율이 완전히 미지라도, 즉 특별한 사전 지식이나 전제 조건이 없어도, 적용할 수 있다는 이점을 갖는다. 예를 들어, 현실의 적용 장면에서는, 상호 반사의 영향 정도, 상호 반사의 원인 물체의 형상(반사면의 형상, 방향 등)이나 반사 특성(반사율 등), 상호 반사의 원인 물체와 계측 대상물의 위치 관계라고 하는 조건이 다양하지만, 본 실시 형태의 방법이라면 어떠한 조건에 대해서도 범용적으로 적용할 수 있는 것으로 기대할 수 있다. 따라서, 본 실시 형태의 방법은 현실의 장치로의 실장이 용이하다.
또한, 상기의 실시 형태의 설명은, 본 발명을 예시적으로 설명하는 것에 지나지 않는다. 본 발명은 상기의 구체적 형태에는 한정되지 않고, 그 기술적 사상의 범위 내에서 다양한 변형이 가능하다.
1: 3차원 형상 계측 장치
10: 투영 장치, 11: 촬상 장치, 12: 제어 장치
20: 화상 취득부, 21: 신호 분리부, 22: 위상 산출부, 23: 3차원 복원부
30: 반사면, 31: 반사면

Claims (10)

  1. 투영 장치와,
    촬상 장치와,
    상기 투영 장치로부터 시간 방향과 공간 방향으로 주기성을 갖는 투영 패턴을 계측 대상물에 대하여 투영한 상태에서 상기 촬상 장치에 의해 관측되는 관측 신호에 기초하여, 상기 계측 대상물의 3차원 형상을 계측하는 제어 장치를 갖고,
    상기 관측 신호가, 위상이 서로 다른 제1 성분 신호와 제2 성분 신호의 합성 신호라고 가정하고,
    상기 제어 장치는,
    상기 계측 대상물 상의 계측점에 대한 관측 신호로서, 상이한 공간 주파수를 갖는 복수의 투영 패턴을 사용하여 관측된 복수의 관측 신호를 취득하고,
    각 관측 신호에 대하여 제1 성분 신호의 추정값의 초기값을 설정하고,
    (1) 각 관측 신호의 제1 성분 신호의 추정값에 대하여, 진폭 및 위상의 오차를 저감하는 제1 보정 처리를 적용함으로써, 각 관측 신호의 제1 성분 신호의 보정 추정값을 구하는 제1 스텝과, (2) 각 관측 신호로부터 제1 성분 신호의 보정 추정값을 감산함으로써, 각 관측 신호의 제2 성분 신호의 추정값을 구하는 제2 스텝과, (3) 각 관측 신호의 제2 성분 신호의 추정값에 대하여, 진폭 및 위상의 오차를 저감하는 제2 보정 처리를 적용함으로써, 각 관측 신호의 제2 성분 신호의 보정 추정값을 구하는 제3 스텝과,
    (4) 각 관측 신호로부터 제2 성분 신호의 보정 추정값을 감산함으로써, 각 관측 신호의 제1 성분 신호의 추정값을 구하는 제4 스텝을 포함하는 연산을 반복하여 실행함으로써, 각 관측 신호에 포함되는 제1 성분 신호 및 제2 성분 신호를 추정하고,
    추정된 제1 성분 신호 또는 제2 성분 신호의 위상에 기초하여, 상기 계측점의 3차원 위치를 산출하는
    것을 특징으로 하는 3차원 형상 계측 장치.
  2. 제1항에 있어서, 상기 제1 성분 신호 및 상기 제2 성분 신호 중 한쪽의 신호는, 상기 투영 장치로부터 투영된 광이 상기 계측점에서 반사하여 상기 촬상 장치에 입사하는 직접 성분 신호이고,
    다른 쪽의 신호는, 상기 투영 장치로부터 투영되어 다른 반사면에서 반사된 광이 상기 계측점에서 반사하여 상기 촬상 장치에 입사하는 간접 성분 신호인
    것을 특징으로 하는 3차원 형상 계측 장치.
  3. 제1항 또는 제2항에 있어서, 상기 제1 보정 처리는,
    각 관측 신호의 제1 성분 신호의 추정값으로부터 진폭 및 위상을 산출함으로써, 상기 복수의 투영 패턴 각각의 공간 주파수에 대한 복수의 진폭값 및 복수의 위상값을 취득하고,
    상기 복수의 진폭값 중의 최솟값보다도 크고 또한 최댓값보다도 작은 값이 되도록, 보정 진폭값을 결정하고,
    상기 복수의 위상값을 정규화하고, 정규화된 상기 복수의 위상값 중의 최솟값보다도 크고 또한 최댓값보다도 작은 값이 되도록, 보정 위상값을 결정하고,
    상기 보정 진폭값 및 상기 보정 위상값에 기초하여, 상기 복수의 투영 패턴 각각의 공간 주파수에 대한 휘도 신호를 재생하는
    처리이고,
    상기 재생된 각 공간 주파수에 대한 휘도 신호가, 각 관측 신호의 제1 성분 신호의 보정 추정값인
    것을 특징으로 하는 3차원 형상 계측 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 제2 보정 처리는,
    각 관측 신호의 제2 성분 신호의 추정값으로부터 진폭 및 위상을 산출함으로써, 상기 복수의 투영 패턴 각각의 공간 주파수에 대한 복수의 진폭값 및 복수의 위상값을 취득하고,
    상기 복수의 진폭값 중 최솟값보다도 크고 또한 최댓값보다도 작은 값이 되도록, 보정 진폭값을 결정하고,
    상기 복수의 위상값을 정규화하고, 정규화된 상기 복수의 위상값 중의 최솟값보다도 크고 또한 최댓값보다도 작은 값이 되도록, 보정 위상값을 결정하고,
    상기 보정 진폭값 및 상기 보정 위상값에 기초하여, 상기 복수의 투영 패턴 각각의 공간 주파수에 대한 휘도 신호를 재생하는
    처리이고,
    상기 재생된 각 공간 주파수에 대한 휘도 신호가, 각 관측 신호의 제2 성분 신호의 보정 추정값인
    것을 특징으로 하는 3차원 형상 계측 장치.
  5. 제3항 또는 제4항에 있어서, 상기 보정 진폭값은, 상기 복수의 진폭값의 평균값 또는 중간값인 것을 특징으로 하는 3차원 형상 계측 장치.
  6. 제3항 내지 제5항 중 어느 한 항에 있어서, 상기 보정 위상값은, 정규화된 상기 복수의 위상값의 평균값 또는 중간값인
    것을 특징으로 하는 3차원 형상 계측 장치.
  7. 제3항 내지 제6항 중 어느 한 항에 있어서, 상기 복수의 위상값을 정규화하는 처리는, 상기 복수의 위상값을 공통의 공간 주파수의 위상값으로 변환하는 처리인
    것을 특징으로 하는 3차원 형상 계측 장치.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 제어 장치는, 위상 시프트법 또는 MPS(Micro Phase Sifting)에 의해, 추정된 제1 성분 신호 또는 제2 성분 신호의 위상에 기초하여, 상기 계측점의 3차원 위치를 산출하는
    것을 특징으로 하는 3차원 형상 계측 장치.
  9. 투영 장치로부터 시간 방향과 공간 방향으로 주기성을 갖는 투영 패턴을 계측 대상물에 대하여 투영한 상태에서 촬상 장치에 의해 관측되는 관측 신호에 기초하여, 상기 계측 대상물의 3차원 형상을 계측하는 3차원 형상 계측 방법에 있어서,
    상기 관측 신호가, 위상이 서로 다른 제1 성분 신호와 제2 성분 신호의 합성 신호라고 가정하고,
    상기 3차원 형상 계측 방법이,
    상기 계측 대상물 상의 계측점에 대한 관측 신호로서, 상이한 공간 주파수를 갖는 복수의 투영 패턴을 사용하여 관측된 복수의 관측 신호를 취득하는 스텝과,
    각 관측 신호에 대하여 제1 성분 신호의 추정값의 초기값을 설정하는 스텝과,
    (1) 각 관측 신호의 제1 성분 신호의 추정값에 대하여, 진폭 및 위상의 오차를 저감하는 제1 보정 처리를 적용함으로써, 각 관측 신호의 제1 성분 신호의 보정 추정값을 구하는 제1 스텝과, (2) 각 관측 신호로부터 제1 성분 신호의 보정 추정값을 감산함으로써, 각 관측 신호의 제2 성분 신호의 추정값을 구하는 제2 스텝과, (3) 각 관측 신호의 제2 성분 신호의 추정값에 대하여, 진폭 및 위상의 오차를 저감하는 제2 보정 처리를 적용함으로써, 각 관측 신호의 제2 성분 신호의 보정 추정값을 구하는 제3 스텝과,
    (4) 각 관측 신호로부터 제2 성분 신호의 보정 추정값을 감산함으로써, 각 관측 신호의 제1 성분 신호의 추정값을 구하는 제4 스텝을 포함하는 연산을 반복하여 실행함으로써, 각 관측 신호에 포함되는 제1 성분 신호 및 제2 성분 신호를 추정하는 스텝과,
    추정된 제1 성분 신호 또는 제2 성분 신호의 위상에 기초하여, 상기 계측점의 3차원 위치를 산출하는 스텝을
    포함하는 것을 특징으로 하는 3차원 형상 계측 방법.
  10. 제9항에 기재된 3차원 형상 계측 방법의 각 스텝을 컴퓨터에 실행시키기 위한 프로그램.
KR1020197022389A 2017-03-08 2017-11-28 3차원 형상 계측 장치, 3차원 형상 계측 방법 및 프로그램 KR102170029B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2017-043722 2017-03-08
JP2017043722A JP6658625B2 (ja) 2017-03-08 2017-03-08 ３次元形状計測装置及び３次元形状計測方法
PCT/JP2017/042486 WO2018163529A1 (ja) 2017-03-08 2017-11-28 ３次元形状計測装置、３次元形状計測方法、およびプログラム

Publications (2)

Publication Number Publication Date
KR20190103270A true KR20190103270A (ko) 2019-09-04
KR102170029B1 KR102170029B1 (ko) 2020-10-26

Family

ID=63449035

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197022389A KR102170029B1 (ko) 2017-03-08 2017-11-28 3차원 형상 계측 장치, 3차원 형상 계측 방법 및 프로그램

Country Status (6)

Country Link
US (1) US10997738B2 (ko)
EP (1) EP3594617B1 (ko)
JP (1) JP6658625B2 (ko)
KR (1) KR102170029B1 (ko)
CN (1) CN110268222B (ko)
WO (1) WO2018163529A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102371558B1 (ko) * 2020-11-19 2022-03-07 (주) 브이픽스메디칼 이미지 복원 신호의 위상 보정 방법 및 시스템
US11270418B1 (en) 2020-11-19 2022-03-08 VPIX Medical Incorporation Method and system for correcting phase of image reconstruction signal
KR102374439B1 (ko) * 2020-11-19 2022-03-15 (주) 브이픽스메디칼 이미지 복원 신호의 위상 보정 방법 및 시스템
WO2022108338A1 (ko) * 2020-11-19 2022-05-27 주식회사 브이픽스메디칼 이미지 복원 신호의 위상 보정 방법 및 시스템

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7219034B2 (ja) * 2018-09-14 2023-02-07 株式会社ミツトヨ 三次元形状測定装置及び三次元形状測定方法
US11574433B2 (en) * 2019-03-19 2023-02-07 Hewlett-Packard Development Company, L.P. Emulating 3D textual patterns
CN110657754A (zh) * 2019-09-24 2020-01-07 华侨大学 一种金刚石绳锯形变的快速测量装置
CN113758437B (zh) * 2021-11-05 2022-03-18 北京创米智汇物联科技有限公司 一种非接触式变形监测系统和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070012503A (ko) * 2004-04-22 2007-01-25 고쿠리쓰다이가쿠호진 덴키쓰신다이가쿠 미소 변위 계측법 및 장치
JP2008309551A (ja) 2007-06-13 2008-12-25 Nikon Corp 形状測定方法、記憶媒体、および形状測定装置
JP2015038474A (ja) * 2013-08-08 2015-02-26 ジェイエスエムエスダブリュー テクノロジー リミテッド・ライアビリティー・カンパニーＪＳＭＳＷ Ｔｅｃｈｎｏｌｏｇｙ ＬＬＣ 位相制御モデルに基づくオーバーレイ測定システム及び方法
JP2015132509A (ja) * 2014-01-10 2015-07-23 凸版印刷株式会社 画像データ取得システム及び画像データ取得方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4212073A (en) * 1978-12-13 1980-07-08 Balasubramanian N Method and system for surface contouring
GB0119036D0 (en) * 2001-08-06 2001-09-26 South Bank Univ Entpr Ltd Three dimensional imaging
US7440590B1 (en) * 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
US8224064B1 (en) * 2003-05-21 2012-07-17 University Of Kentucky Research Foundation, Inc. System and method for 3D imaging using structured light illumination
JP3996560B2 (ja) * 2003-08-18 2007-10-24 株式会社リコー 物体形状測定装置
JP4611782B2 (ja) * 2005-03-28 2011-01-12 シチズンホールディングス株式会社 ３次元形状測定方法及び測定装置
JP2009019941A (ja) * 2007-07-11 2009-01-29 Nikon Corp 形状測定方法
JP2011021970A (ja) * 2009-07-15 2011-02-03 Nikon Corp 三次元形状測定装置および三次元形状測定方法
US8947677B2 (en) * 2010-08-06 2015-02-03 University Of Kentucky Research Foundation Dual-frequency phase multiplexing (DFPM) and period coded phase measuring (PCPM) pattern strategies in 3-D structured light systems, and lookup table (LUT) based data processing
CN103890543B (zh) * 2011-11-23 2018-04-10 纽约市哥伦比亚大学理事会 进行形状测量的系统、方法和媒体
EP2827097B1 (en) * 2012-03-14 2018-11-07 National Institute of Advanced Industrial Science And Technology Phase distribution analysis method and device for fringe image using high-dimensional brightness information, and program therefor
JP6161276B2 (ja) * 2012-12-12 2017-07-12 キヤノン株式会社 測定装置、測定方法、及びプログラム
JP5633058B1 (ja) * 2013-07-19 2014-12-03 株式会社三次元メディア ３次元計測装置及び３次元計測方法
JP2015184056A (ja) * 2014-03-20 2015-10-22 株式会社東芝 計測装置、方法及びプログラム
US9582888B2 (en) 2014-06-19 2017-02-28 Qualcomm Incorporated Structured light three-dimensional (3D) depth map based on content filtering
WO2016076796A1 (en) * 2014-11-12 2016-05-19 Heptagon Micro Optics Pte. Ltd. Optoelectronic modules for distance measurements and/or multi-dimensional imaging
JP6507653B2 (ja) * 2015-01-13 2019-05-08 オムロン株式会社 検査装置及び検査装置の制御方法
US10561309B2 (en) * 2016-12-21 2020-02-18 Massachusetts Institute Of Technology Methods and apparatus for imaging and 3D shape reconstruction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070012503A (ko) * 2004-04-22 2007-01-25 고쿠리쓰다이가쿠호진 덴키쓰신다이가쿠 미소 변위 계측법 및 장치
JP2008309551A (ja) 2007-06-13 2008-12-25 Nikon Corp 形状測定方法、記憶媒体、および形状測定装置
JP2015038474A (ja) * 2013-08-08 2015-02-26 ジェイエスエムエスダブリュー テクノロジー リミテッド・ライアビリティー・カンパニーＪＳＭＳＷ Ｔｅｃｈｎｏｌｏｇｙ ＬＬＣ 位相制御モデルに基づくオーバーレイ測定システム及び方法
JP2015132509A (ja) * 2014-01-10 2015-07-23 凸版印刷株式会社 画像データ取得システム及び画像データ取得方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Gupta, Mohit, and Shree K. Nayar. "Micro phase shifting." Computer Vision and Pattern Recognition(CVPR), 2012 IEEE Conference on. IEEE, 2012.

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102371558B1 (ko) * 2020-11-19 2022-03-07 (주) 브이픽스메디칼 이미지 복원 신호의 위상 보정 방법 및 시스템
US11270418B1 (en) 2020-11-19 2022-03-08 VPIX Medical Incorporation Method and system for correcting phase of image reconstruction signal
KR102374439B1 (ko) * 2020-11-19 2022-03-15 (주) 브이픽스메디칼 이미지 복원 신호의 위상 보정 방법 및 시스템
KR20220068956A (ko) * 2020-11-19 2022-05-26 (주) 브이픽스메디칼 이미지 복원 신호의 위상 보정 방법 및 시스템
WO2022108338A1 (ko) * 2020-11-19 2022-05-27 주식회사 브이픽스메디칼 이미지 복원 신호의 위상 보정 방법 및 시스템
US11734807B2 (en) 2020-11-19 2023-08-22 VPIX Medical Incorporation Method and system for correcting phase of image reconstruction signal

Also Published As

Publication number Publication date
JP6658625B2 (ja) 2020-03-04
EP3594617B1 (en) 2021-09-22
EP3594617A1 (en) 2020-01-15
US10997738B2 (en) 2021-05-04
CN110268222B (zh) 2021-02-09
EP3594617A4 (en) 2021-01-20
KR102170029B1 (ko) 2020-10-26
US20190392599A1 (en) 2019-12-26
JP2018146477A (ja) 2018-09-20
WO2018163529A1 (ja) 2018-09-13
CN110268222A (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
KR102170029B1 (ko) 3차원 형상 계측 장치, 3차원 형상 계측 방법 및 프로그램
KR102149707B1 (ko) 3차원 형상 계측 장치, 3차원 형상 계측 방법 및 프로그램
US11215700B2 (en) Method and system for real-time motion artifact handling and noise removal for ToF sensor images
JP6316068B2 (ja) 検査システムおよび検査方法
US10557921B2 (en) Active brightness-based strategy for invalidating pixels in time-of-flight depth-sensing
US20150271466A1 (en) Measuring device, measuring method, and computer program product
WO2018159825A1 (ja) 検査システムおよび検査方法
JP2018087732A (ja) ワイヤロープ計測装置及び方法
JP2020004085A (ja) 画像処理装置、画像処理方法及びプログラム
JP2014186010A (ja) 計測装置、方法及びプログラム
JP2017101976A (ja) 検査システム、及び検査方法
JP6276092B2 (ja) 検査システムおよび検査方法
JP6420131B2 (ja) 検査システム、及び検査方法
JP2014203162A (ja) 傾斜角推定装置、ｍｔｆ測定装置、傾斜角推定プログラム及びｍｔｆ測定プログラム
JP2017101979A (ja) 検査システム
KR102351152B1 (ko) ToF 센서를 이용한 삼차원 카메라의 다중 반사 경로로 인한 깊이 정보 오차 보정 방법 및 장치
JP6909377B2 (ja) 検査システムおよび検査方法
JP2018132452A (ja) 画像処理装置、画像処理方法及びプログラム
JP2018116026A (ja) 照明装置および透過部材
JP2022147089A (ja) 検査装置、検査システムおよび検査方法
JP2019039685A (ja) 検査システムおよび検査方法
JP2019020145A (ja) 検査システム
JP2015198369A (ja) 画像処理装置、画像処理方法およびプログラム
JP2017146208A (ja) 検査装置及び検査方法
JP2016109461A (ja) 較正システム、反射部材、および検査システム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant