KR20130140203A - 측정 물체 표면 위에서 3d 좌표들을 결정하기 위한 광학 측정 방법 및 측정 시스템 - Google Patents

측정 물체 표면 위에서 3d 좌표들을 결정하기 위한 광학 측정 방법 및 측정 시스템 Download PDF

Info

Publication number
KR20130140203A
KR20130140203A KR1020137030596A KR20137030596A KR20130140203A KR 20130140203 A KR20130140203 A KR 20130140203A KR 1020137030596 A KR1020137030596 A KR 1020137030596A KR 20137030596 A KR20137030596 A KR 20137030596A KR 20130140203 A KR20130140203 A KR 20130140203A
Authority
KR
South Korea
Prior art keywords
measurement
projector
camera system
measuring
housing
Prior art date
Application number
KR1020137030596A
Other languages
English (en)
Other versions
KR101605386B1 (ko
Inventor
크누트 지에르크스
Original Assignee
헥사곤 테크놀로지 센터 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 헥사곤 테크놀로지 센터 게엠베하 filed Critical 헥사곤 테크놀로지 센터 게엠베하
Publication of KR20130140203A publication Critical patent/KR20130140203A/ko
Application granted granted Critical
Publication of KR101605386B1 publication Critical patent/KR101605386B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

본 발명은 측정 물체 표면(1s) 위의 복수의 측정 지점들의 광학 측정 3D 좌표들을 결정하기 위한 방법에 관한 것이다. 이를 위해, 측정 물체 표면(1s)은 프로젝터(3)에 의해 상이한 패턴들(2a)의 패턴 시퀀스가 조사되고, 패턴 시퀀스로 조사된 측정 물체 표면(1s)의 이미지 시퀀스는 카메라 시스템으로 기록되고, 측정 지점들의 3D 좌표들은 이미지 시퀀스를 평가하여 결정되고, 특히 측정 물체 표면(1s) 위의 동일한 측정 지점들에 대한 일련의 휘도값들이 기록된 이미지 시퀀스의 각각의 이미지들에서 확인된다. 본 발명에 따르면, 프로젝터(3)의, 카메라 시스템의 및/또는 측정 물체(1)의 병진 및/또는 회전 가속도들이 여기서 측정되고, 측정된 가속도들에 의존하여, 측정 물체 표면(1s)의 조사 및/또는 이미지 시퀀스의 기록이 측정 프로세스 중 반응적으로, 특히 일시적으로 실질적으로 직접적으로 라이브로 적응된다.

Description

측정 물체 표면 위에서 3D 좌표들을 결정하기 위한 광학 측정 방법 및 측정 시스템{Optical measurement method and measurement system for determining 3D coordinates on a measurement object surface}
본 발명은 청구항 1의 전제부에 청구된 측정 물체 표면의 다수의 측정 지점들의 3D 좌표들을 결정하기 위한 광학 측정 방법, 및 청구항 10의 전제부에 청구된, 동일한 목적을 위해 설계된 측정 시스템에 관한 것이다.
이와 같은 장치들 및 방법들은 특히 기계 공학, 자동차 공학, 세라믹스 산업, 신발 산업, 주얼리 산업, 치기공(dental technology) 및 인간 의료(human medicine)(정형 외과) 및 추가의 분야들에서 사용되고, 품질 제어, 리버스 엔지니어링(reverse engineering), 신속 조형기술(rapid prototyping), 고속 밀링(rapid milling) 또는 디지털 메이크업을 위한 측정 및 기록에 이용된다.
생산 공정 중 실질적으로 완전한 품질 제어를 위해 그리고 프로토타입들의 공간 형상의 디지털화를 위해 증가하는 수요들은 표면 지형의 기록이 항상 더 빈번하게 발생하는 측정 태스크가 되게 한다. 태스크는 이 경우에 짧은 시간에 측정될 물체들의 표면의 개개의 지점들의 좌표들을 결정하게 한다.
이미지 시퀀스들을 사용하고, 예를 들어 이 경우에 휴대형의, 핸드-헬드 및/또는 영구적으로 설치되는 시스템으로서 설계될 수 있는 종래 기술로부터 알려진 측정 시스템들은 일반적으로 패턴으로 측정 물체를 조사하는 패턴 프로젝터를 가지며, 그러므로 또한 종종 패턴-투영 3D 스캐너들 또는 광 구조 3D 스캐너들로서 불린다. 측정 물체의 표면 위에 투영되는 패턴은 측정 시스템의 추가의 구성요소로서 카메라 시스템에 의해 기록된다.
따라서, 측정 중, 프로젝터는 상이한 패턴들(예를 들어 상이한 폭들의 평행한 명암 스프라이프들, 특히 스트라이프 패턴은 또한 예를 들어 90°만큼 회전될 수 있음)로 연속해서 측정 물체를 조사한다. 카메라(들)은 알려진 투영 각도로 투영된 스트라이프 패턴을 기록한다. 이미지는 각각의 투영 패턴에 대해 각각의 카메라에 의해 기록된다. 따라서, 상이한 휘도값들의 임시 시퀀스가 모든 카메라들의 각 화소에 대해 발생한다.
그러나, 스트라이프들을 제외하고, 또한 이 경우에 다른 적절한 패턴들, 예를 들어 무작위 패턴들, 유사 코드들 등을 투영하는 것이 가능하다. 이것에 적합한 패턴들은 이 기술 상태로부터 이 기술분야에서 숙련된 사람에게 충분히 알려져 있다. 예로서, 유사 코드들은 목표 지점들의 더 용이한 절대 할당을 가능하게 하고, 지점들 중 어떤 것은 매우 미세한 스트라이프들을 투영할 때 점점 더 곤란하게 된다. 따라서, 이러한 목적을 위해, 먼저 하나 이상의 유사 코드들을 투여하고 나서 미세 스프라이프 패턴으로 투영하고, 또는 원하는 정밀도가 측정 물체 표면 위의 측정 지점의 해상도로 달성될 때까지, 상기 시퀀스에서 더 미세하게 되는 연속의 기록들에서 상이한 스트라이프 패턴들을 투영하는 것이 가능하다.
측정 물체 표면의 3D 좌표들은 이때 기록된 이미지 시퀀스로부터 이미지 처리에 의해 사진측량법으로부터 및/또는 이 기술 분야에서 숙련된 사람에게 알려져 있는 방법들을 이용한 스트라이프 투영으로부터 계산될 수 있다. 예를 들어, 이와 같은 측정 방법들 및 측정 시스템들은 WO　2008/046663, DE　101　27　304　A1, DE　196　33　686 A1, 또는 DE　10　2008　036　710　A1에 기재되어 있다.
카메라 시스템은 보통 알려진 공간 위치에서 특정 중 서로에 대해 위치되는 하나 이상의 디지털 카메라들을 포함한다. 서로에 대해 카메라들의 안정된 위치를 보장하기 위해, 이들은 주로 알려진 공간 위치결정 및 정렬로 고정식으로 공통 하우징에 함께 통합되고, 특히 카메라들은 대부분의 개개의 카메라들의 시야들이 중첩하는 방식으로 정렬된다. 2개 또는 3개의 카메라들이 이 경우에 종종 사용된다. 여기서, 프로젝터는 카메라 시스템(별개의 카메라들을 사용하는 경우에, 또한 카메라 시스템에 존재하거나 또는 카메라 시스템로부터 완전히 분리되어 위치되는 카메라들의 일부)에 영구적으로 연결될 수 있다.
표면의 원하는 3차원 좌표들은 일반적인 경우에, 즉 카메라 시스템에 대한 프로젝터의 상대 위치결정 및 정렬이 서로에 대해 고정되고 그러므로 미리 이미 알려져 있지 않은 경우에 2단계로 계산된다. 제1 단계에서, 프로젝터의 좌표들은 이때 다음과 같이 결정된다. 카메라 이미지에서의 이미지 좌표들은 주어진 목표 지점에 대해 알려져 있다. 프로젝터는 리버스 카메라(reversed camera)에 대응한다. 각각의 카메라 화소에 대해 이미지 시퀀스로부터 측정된 휘도값들의 시퀀스가 스트라이프의 수를 계산하기 위해 사용될 수 있다. 가장 단순한 경우에, 이것은 프로젝터에 이산 좌표(discrete coordinate)로서 스트라이프의 수를 마킹하는 이진 코드(예를 들어, 그레이 코드(Gray code))를 통해 행해진다. 높은 정밀도가 소위 상이동 방법(phase shift method)으로 달성될 수 있는데, 그 이유는 그것이 비이산 좌표(nondiscrete coordinate)를 결정할 수 있기 때문이다. 그것은 그레이 코드의 보충으로서 또는 절대-측정 헤테로다인 방법(absolute-measuring heterodyne method)으로서 사용될 수 있다.
일단 프로젝터 위치가 이러한 식으로 결정되거나, 또는 상기 위치가 카메라 시스템에 대해 미리 이미 알려져 있다면, 측정 물체 표면 상의 측정 지점들의 3D 좌표들은 다음과 같은 것, 예를 들어 전방 섹션 방법을 이용하여 결정될 수 있다. 프로젝터에서의 스트라이프의 수는 카메라에서의 이미지 좌표에 대응한다. 스트라이프 수는 공간에서의 광 평면을 특정하고, 이미지 좌표는 광 비임을 특정한다. 알려진 카메라 및 프로젝터 위치가 주어지면, 평면 및 직선의 교차점을 계산하는 것이 가능하다. 이것은 센서의 좌표계에서의 목표 지점의 원하는 3차원 좌표이다. 모든 이미지 비임들의 기하학적 위치는 정확하게 알려져야 한다. 비임들의 정확한 계산은 사진측량법으로부터 알려진 전방 섹션으로 수행된다.
3D 좌표들을 계산하기 위한 이러한 측정 방법으로 고정밀도를 달성하기 위해, 이미지의 왜곡들을 초래하는, 실제 렌즈 시스템들의 비이상적인 특성들이 왜곡 보정(distortion correction)에 의해 적응될 수 있고 및/또는 이미징 특성들의 정확한 교정이 수행될 수 있다. 프로젝터 및 카메라들의 모든 이미징 특성들은 이 경우에 이 기술분야에서 숙련된 사람에게 알려진 교정 프로세스들 동안 측정될 수 있고(예를 들어 일련의 교정 이미지들), 그것으로부터 이들 이미징 특성들을 기술하는 수학적 모델을 생성하는 것이 가능하다(예를 들어, 이미징 특성들을 나타내는 파라미터들은 사진측량 방법들 - 특히 번들 조정계산(bundle adjustment calculation)을 이용하여 일련의 교정 이미지들로부터 결정된다).
요약하면, 그것은 패턴 투영 방법 또는 광 구조 3D 스캐너의 경우에, 삼각측량(전방 섹션)의 도움을 받아 측정 영역에서 측정 지점들의 깊이의 특유의 결정(unique determiation)을 가능하게 하기 위해, 광 패턴들의 시퀀스로 물체를 조사하는 것이 필요하다는 것을 추종한다. 따라서, 측정 결과에 관해 충분히 높은 정밀도를 보장하기 위해, 적절한 상이한 패턴 투영들에 의해 (즉 적절한 패턴들의 시리즈에 의해) 측정 물체의 조사가 수반되는 복수의 이미지들(즉 일련의 이미지들)이 일반적으로 필요하다. 이 기술 상태로부터 알려진 핸드-헬드 시스템들, 예컨대, 예를 들어, WO 2008/046663)에 기재되어 있는 측정 장치의 경우에, 조사 시퀀스가 여기서 신속하게 일어나서, 일련의 이미지들의 기록 중 조작자에 의한 이동이 측정 에러들로 이어지지 않는다. 카메라들에 의해 기록되는 각각의 투영의 화소들이 서로에 만족스럽게 할당되는 것이 가능해야 한다. 따라서, 이미지 시퀀스는 조작에 의해 생기는 이미지 이동 또는 패턴 이동보다 더 빨라야 한다. 프로젝터의 방출 가능한 광 에너지는 이용 가능한 광원들 및 방사선 보호 계산들에 의해 제한되므로, 이것은 카메라 시스템에서 검출 가능한 에너지의 제한으로, 따라서 약하게 반사하는 측정 물체 표면들에 대한 특정의 제한으로 이어진다. 더욱이, 프로젝터들은 제한된 투영 속도(frame rate)를 갖는다. 이와 같은 프로젝터들의 보통의 최대 프레임 속도들은 예를 들어 약 60　Hz이다.
예로서, 통상적인 측정 장치들은 일련의 패턴들의 투영 및 카메라 시스템에 의한 각각의 패턴들의 이미지 시퀀스의 기록을 포함하는 측정 프로세스에 대해 대략 200　ms의 측정 기간을 필요로 한다(일례로서: 이미지 당 20　ms 내지 40 ms의 노출 시간이 주어지면, 8 내지 10개의 이미지들의 시퀀스의 기록은 예를 들어 측정 위치 당 160　ms와 400　ms 사이의 측정 기간들 또는 전체 기록 시간들을 초래할 수 있다).
그러므로, 평가를 방해하고, 복잡하고 또는 심지어 변동하거나 또는 적어도 달성 가능한 정밀도에 부정적인 영향을 주는 여러 원치않는 효과들은 카메라 배열, 프로젝터(및/또는 적당하다면, 카메라 배열 및 프로젝터가 통합된 측정 헤드) 및 측정 물체가 측정 프로세스 중 (측정 위치에서) 적당한 안정성으로 및/또는 적당히 높은 위치 및 정렬의 유지로 서로에 대해 유지되지 않았을 때 생긴다.
상이한 원인들은 카메라 배열의, 프로젝터(및/또는 적당하다면, 카메라 배열 및 프로젝터가 통합된 측정 헤드)의, 또는 측정 물체의 적당하지 않은 안정성 때문에 문제가 될 수 있다.
첫째, 측정 환경에서의 진동들은 (예를 들어 만약 측정들이 생산 라인에 통합된 생산 스테이션에서 실행되면) 측정 물체의 홀더(holder)로 전달될 수 있고, 또는 측정 헤드를 고정하는 로봇 팔에 전달될 수 있고, 따라서 간섭 진동들(interfering vibrations)로 이어진다. 그 결과, 진동 감쇠(vibration damping)를 위한 복잡한 조치들을 위해, 또는 특정 측정 설비들에 대한 제거를 위해 수정될 필요가 있지만, 이것은 생산 공정을 크게 복잡하게 한다(그 이유는 측정 물체가 생산 라인으로부터 제거되어야 하고 그를 위해 적절히 구성된 측정 설비로 이송되어야 하기 때문이다).
핸드-헬드 시스템들에 의해, 적당히 안정적으로 유지되지 않는 주된 이유는 특히 인간 사용자의 손에서의 자연스런 떨림이다.
한편, 서로에 대한 카메라 배열, 프로젝터 및 측정 물체의 위치 및 정렬을 유지하는 부적절한 능력에 의해 생길 수 있는 부정적인 영향들로서 이미지 시퀀스의 개개의 기록된 이미지들에서의 모션 블러(motion blur) 및/또는 흐릿함(fuzziness)이 언급될 수 있다.
그러나, 한편, 이미지 시퀀스의 개개의 이미지들이 측정 물체에 대한 이들 각각의 기록 위치들 및 방향들에 관해 서로 일치하지 않는 것(즉 이미지 시퀀스에서의 개개의 이미지들의 기록 위치들 및 방향들에서의 변동들)이 또한 발생할 수 있고, 그 결과 측정 물체 표면 위에서의 동일한 측정 지점들에 대한 개개의 이미지들에서의 화소들의 각각의 할당이 또한 완전히 방해되고 또는 거대하게 높은 계산 비용 및 측정 물체 표면의 동일한 영역의 다수의 이미지들로부터의 정보의 통합에 의해서만 가능하게 될 수 있다(즉, 개개의 이미지들은 매우 비용이 많이 드는 후속 계산에 의해 공간적으로 관련 지워질 필요가 있고, 그 때문에, 이미지 시퀀스 당 과잉의 이미지들은 이러한 효과를 방지하기 위해 어느 정도 지금까지 기록되어 왔고, 이들의 주된 목적은 단지 서로에 대한 개개의 이미지들의 기록 위치 및 방향들의 공간 참조의 후향 계산(back calculation)이다).
측정 물체에 대한 측정 범위를 확장(예를 들어 물체를 전부 측정하기 위해), (측정 물체에 대한 카메라 관점의 여러 각도들 및 여러 측정 위치들로부터) 잇따라 복수의 측정을 종종 할 필요가 있고, 여러 측정들의 결과들은 서로 결합된다. 이것은 예를 들어 각각의 측정 프로세스들에 대해 각각의 경우에 중첩하도록 획득 영역들을 선택하고, 복수의 측정 프로세스들에 대해 얻어진 3D 좌표들(즉 포인트 클라우드(point clouds))의 적절한 결합을 위해 각각의 중첩을 이용하여 행해질 수 있다(즉, 동일하거나 또는 유사한 분포들이 개개의 측정 프로세스들에서 결정된 포인트 클라우드들에서 식별될 수 있고, 그에 따라 포인트 클라우드들은 연결될 수 있음).
그러나, 이러한 결합 프로세스는 일반적으로 극히 계산 집약적(computationally intensive)이고, 심지어 최고의 프로세서 성능들의 이용 가능성에조차도, 여전히 높은 시간 경비 및 과소평가되지 않고 불편한 에너지를 필요로 한다. 예를 들어, 측정 헤드를 유지 및 안내하기 위해 로봇 팔을 사용할 때, 그것은 예를 들어 각각의 로봇 팔 위치의 도움을 받아 개개의 측정들에 대해 기록 위치들 및 방향들을 획득하고 사전 정보로서(예를 들어 경계 조건들로서) 결합을 위해 이들 이용하여 결합 프로세스에 필요한 계산 경비(computation outlay)에서 감소를 달성하는 것이 가능하다.
이 경우에 있어서의 문제점은 로봇 팔 위치의 도움을 받아 측정 위치가 결정될 수 있는 상대적으로 낮은 정밀도 및 - 그럼에도 불구하고 - 이와 같은 로봇 팔의 존재에 대한 요건들이다. 따라서, 복수의 측정 프로세스의 측정 결과들을 결합하는데 필요한 연산력은 핸드-헬드 측정 시스템들에 대해서는 이러한 식으로는 감소될 수 없다.
패턴 조사를 위해 실질적으로 간섭성 광학 방사선을 사용하는 이 기술 상태의 시스템들의 추가의 문제점들은 패턴 시퀀스의 각각의 패턴들에서 원치 않는 방식으로 발생하는 스페클 필드(speckle field)에 의해 생기는 측정 지점 간극들 또는 로컬 측정 부정확성들이다.
출원 번호 10166672.5를 가지는 유럽 특허 출원은 그런 이유로 프로젝터에, 카메라 시스템에 및/또는 측정 물체에, 이미지 시퀀스의 기록 중, 프로젝터의, 카메라 시스템의 및/또는 측정 물체의 병진 및 회전 가속도들을 측정하기 위한 관성 센서들이 제공되어 있는 패턴 투영 방법 또는 광 구조 3D 스캐너를 기술한다. 이미지 시퀀스의 기록 중 발생하는 이동들(예를 들어 카메라 배열 및 프로젝터가 통합된 측정 헤드의 안정성 부족에 의해 발생될 수 있음)이 3D 좌표들의 결정을 위해 계산적으로 보상될 수 있도록, IMU에 의해 측정된 이들 측정된 가속도들은 이후 기록된 이미지 시퀀스로부터 3D 좌표들의 계산 결정에 고려된다.
그러므로, 이 기술의 상태의 위에서 기재한 문제점들로부터 진행하여, 본 발명이 기초하는 기술적 목적은, 특히 위에 기재한 문제점들 중 하나 이상을 감소시키거나 또는 제거하는 것이 가능한, 이미지 시퀀스들을 사용하는 개선된 광학 측정 방법및 측정 물체 표면 위의 3D 좌표들을 결정하기 위한 측정 시스템을 제공하는 것이다.
이 경우에 본 발명의 더 많은 특정 물체들은, 측정 프로세스 중(즉 패턴 시퀀스들의 투영 및 이미지 시퀀스들의 기록 중), (예를 들어 원치 않는 발진들, 진동들 또는 불안정한 유지의 순간들로 인해) 프로젝터의, 카메라 시스템의 및/또는 측정 물체의 위치를 적절히 유지할 수 없는, 이 기술의 상태로부터 알려진 측정 시스템들에 대해서조차 3D 좌표들의 더 정확한 결정을 가능하게 한다. 특히, 여기서 목적은 한편 이미지 시퀀스들의 개개의 이미지들에서 흐릿함(fuzziness) 및/또는 모션 블러(motion blur)에 주어지는 3D 좌표들의 결정에서 에러들 또는 부정확성들을 감소시킬 수 있는 것이다. 한편, 목적은 또한 이미지 시퀀스의 이미지들 간의 기록 위치 및 방향에서, 불안정한 경우에 발생하는, 변동들(fluctuations)에 주어지는 에러들을 감소 또는 제거할 수 있는 것이다.
다른 특정 목적 - 특히 핸드헬드 측정 시스템에 사용될 때 - 은 측정을 실행할 때 사용자들에 대한 단순화된 안내이고, 그 목적은 특히 측정으로부터 측정될 표면의 부주의로 완전히 누락한 부영역들 또는 이와 같은 부영역의 과잉으로 많은 불필요한 이미지들의 위험을 감소시키는 것이다.
이들 목적들은 독립 청구항들의 특징화 특징들을 구현하여 달성된다. 대안 또는 유리한 방식으로 본 발명을 발전시키는 특징들은 종속 특허 청구항들로부터 수집될 수 있다.
본 발명은 측정 물체 표면의 다수의 측정 지점들의 3D 좌표들을 결정하기 위한 광학 측정 방법에 관한 것이다.
이러한 목적을 위해, 측정 물체 표면는 프로젝터에 의해 상이한 패턴들의 패턴 시퀀스가 조사되고, 패턴 시퀀스가 조사된 측정 물체 표면의 이미지 시퀀스는 카메라 시스템에 의해 기록되고, 측정 지점들의 3D 좌표들은 이미지 시퀀스를 평가하여 결정되고, 특히 기록된 이미지 시퀀스의 각각의 이미지들에서 측정 물체 표면의 동일한 측정 지점들에 대한 휘도값들의 시퀀스가 결정된다.
본 발명에 따르면, 카메라 시스템의, 프로젝터의 및/또는 측정 물체의 병진 및/또는 회전 가속도들이 측정되고, 측정 물체 표면의 조사 및/또는 이미지 시퀀스의 기록은 반응적으로, 특히 실질적으로 즉시, 그리고 측정 프로세스 중 측정된 가속도들의 함수로서, 시간에 관해 라이브로 적응된다.
따라서, 본 발명의 기본 아이디어에 따라, 측정들 중 발생하는, 카메라 시스템의, 프로젝터의 및/또는 측정 물체의 이동들(특히 바람직하지 않게 일어나고 및/또는 피할 수 없는 약간의 이동들)이 특히 IMU(관성 측정 유닛)을 이용하여 측정되고, 현재의 측정 프로세스에 즉각적인 직접 영향을 가하기 위해 사용된다. 즉, 측정 시스템의 구성요소들의 (예를 들어 사용자의 손의 자연스런 떨림에 의해 생기는) 이동들의 결정에 대한 반응은 일시적으로 및 라이브로 조정되고, 현재 샐행 중인 측정 프로세스는 측정 결과에 대한 이동들의 영향이 가능한 한 작게 유지되는 방식으로 즉각적으로 적응되고 또한 이 경우에 효율적인 실행에 관해 측정 프로세스를 최적화하는 것이 가능하다. 시간 면에서 즉시 및 라이브로 수행되는 측정된 이동들에 대한 반응은 이 경우에 이동들의 검출과 실행 중인 프로세스의 적응의 적극적인 구현 사이의 임의의 시간 지연이 대응하는 측정 프로세스 파라미터 적응을 유도하기 위해 전자 평가 유닛에 의해 계산 시간에 의해서만 실질적으로 결정되는 것을 의미하는 것으로 이해되도록 의도된다.
어떤 범위, 어느 및/또는 어느 유형의 몇몇 예들이, 현재 실행 중인 측정 프로세스의 측정 프로세스가 획득된 가속도의 함수로 라이브로 적응될 수 있는가, 및 특히 얼마나 가능한가 또는 어떻게 가속도들이 측정/획득되는가가 이하에 더 상세히 설명된다.
본 발명의 특정 양상에 따르면, 이 경우에 프로젝터의, 카메라 시스템의 및/또는 측정 물체의 가속도들이 모두 6의 자유도로 측정될 수 있고, 가속도들의 측정은 연속해서 특히 대략 1 Hz 와 2000　Hz 사이의, 특히 대략 50 Hz 와 2000　Hz 사이의 특정 측정 레이트로, 적어도 이미지 시퀀스의 개개의 이미지들의 노출 시간들 동안, 특히 측정 물체 표면을 조사하고 이미지 시퀀스 또는 복수의 이미지 시퀀스들을 기록하는 전체 프로세스 동안 수행될 수 있다.
본 발명의 추가의 양상에 따르면, - 측정된 가속도들의 도움을 받아 조사하는 동안 - 유도되는 프로젝터의, 카메라 시스템의 및/또는 측정 물체의 현재의 동적 레벨의 함수로서, 패턴 시퀀스가 시간에 관해 실질적으로 즉시 반응적으로 각각의 현재의 동적 레벨의 유도로 적응될 수 있고, 특히 여기서,
· 투영되는 패턴 시퀀스의 상이한 패턴들의 순서가 특히 상대적으로 낮은 미세도를 갖는 패턴 시퀀스의 이들 패턴들이 투영되고 상대적으로 높은 현재의 동적 레벨을 부여하고, 상대적으로 높은 미세도를 갖는 패턴 시퀀스의 이들 패턴들이 투영되어 상대적으로 낮은 현재의 동적 레벨을 부여하는 방식으로 연속하여 적응되고, 및/또는
· 휘도(즉 조사 프로젝터로 방출도는 광학 방사선의 광 강도)는 투영될 개개의 패턴들에 대해 적응되고, 및/또는
· 투영될 개개의 패턴들의 투영 기간이 적응되고(예를 들어 현재 강한 이동들(현재 높은 동적 레벨)의 경우에 다음 패턴의 투영을 보류시킴, 및/또는
· 투영될 개개의 패턴들의 투영 순간들이 적응되고, 및/또는
· 투영될 개개의 패턴들의 미세도 및/또는 구조화 정도가 적응되고, 및/또는
· 상기 패턴의 투영 중 그렇게 함으로써 측정 물체 표면(1s) 위에 생성된 조사 구조가, 적어도 이러한 패턴에 의해 조사되는 측정 물체 표면(1s)을 획득하기 위해 제공되는 이미지 시퀀스의 이미지의 노출 시간 동안, 측정 물체 표면(1s) 상에서 안정된 위치에 유지되는 방식으로 패턴 시퀀스의 개개의 패턴이 적응되고, 및/또는
· 투영될 개개의 패턴들의 영역 커버리지 및/또는 크기가 적응되고,
→ "영역 커버리지(the area coverage)"는 이 경우 투영 밀도로서 이해되고 그 결과 예를 들어 높은 동적 레벨이 부여되면, 낮은 밀도를 갖지만 높은 광 강도를 갖는 패턴이 투영되고 → 그러므로 더 짧은 투영 및 노출 기간들이 가능하고, 그럼에도 불구하고 시력 보호 규제가 충족됨);
→ "크기(the size)"는 이 경우에 패턴의 경계들에 의해 둘러싸인 영역으로서 이해되고[예를 들어, 더 작은 발산각에 의한 투영, 또는, 예를 들어 실제 패턴의 단지 절반의 단순 투영(간단한 경우에, 예를 들어, 부분적으로 희미한 다이어프램)]
및/또는
· 투영될 개개의 패턴들에 대한 조사를 위해 사용되는 광학 방사선의 파장이 적응됨.
본 발명의 추가의 양상에 따르면, 측정된 가속도들의 도움을 받은 가속 동안 유도되는 프로젝터의, 카메라 시스템의 및/또는 측정 물체의 현재의 동적 레벨의 함수로서, 이미지 시퀀스가, 각각의 현재의 동적 레벨의 유도에 대해 시간에 대해 실질적으로 즉시 반응적으로 적응될 수 있고, 특히 여기서
· 기록될 개개의 이미지들에 대한 각각의 입도가 적응되고, 및/또는
· 기록될 개개의 이미지들에 대한 각각의 노출 시간이 적응되고, 및/또는
· 기록될 개개의 이미지들의 기록 순간들이 적응되고, 및/또는
· 기록될 개개의 이미지들에 대한 각각의 획득 영역이 적응되고, 및/또는
· 기록될 개개의 이미지들에 대한 각각의 개구 폭이 적응된다.
그러므로, 요약하면, 투영된 패턴 및/또는 이미징 파라미터는 측정 물체에 대해 동적으로 적응될 수 있고, 특히 측정 물체의 공간 위치가 대략 알려져 있고 측정 물체의 (원하는) CAD 모델은 측정 시스템에 입력된다. 측정 시스템에 대한 측정 물체의 위치의 결정은 첫째 제1 측정 결과들의 도움을 받아 대략 수행될 수 있다. 측정 전 결정되는 위치들에서 원하는 해상도들이 측정 중 달성되도록 측정 패턴은 이후 실시간으로 계산될 수 있다. 필요한 측정 패턴들은 또한 측정 전에 계산될 수 있고 측정 시스템에 저장될 수 있다. 이러한 절차는 측정 시스템에 필요한 연산력을 최소화할 수 있다.
본 발명의 추가의 양상에 따르면, 프로젝터의, 카메라 시스템의 및/또는 측정 물체의 상기 가속도들로부터 유도되는, 측정된 가속도들의 함수로서, 특히 현재의 위치들 및 방위들의 함수로서, (및, 특히, 추가로 측정 물체 표면의 적어도 대략 알려지거나 또는 이전에 적어도 대략 결정된 3D 좌표들의 함수로서), 현재의 측정 진행(measurement progress) 및/또는 측정 프로세스 적응 파라미터들이 또한 유도될 수 있다. 상기 파라미터들은 이후 사용자를 안내하고 측정 프로세스를 최적화하기 위해 측정 물체 표면 위로 투영될 수 있고, 예를 들어 다음과 같은 정보가 측정 진행 및/또는 측정 프로세스 적응 파라미터들로서 투영된다:
· 프로젝터 및/또는 카메라 시스템이 추가의 측정 프로세스 중 정렬되는 측정 방향, 및/또는
· 추가의 측정 프로세스 중 프로젝터 및/또는 카메라 시스템에 의해 적응되는 측정 위치, 및/또는
· 프로젝터 및/또는 카메라 시스템이 불변 측정 방향 및 측정 위치에서 가능한 한 안정되게 유지되는 유지 기간들, 및/또는
· 프로젝터의, 카메라 시스템의 및/또는 측정 물체의 측정된 가속도들의 도움을 받아 유도되는 현재의 동적 레벨, 특히 그것은 미리 규정된 동적 레벨 상한이 현재 유지되고 있는지의 여부가 특정된다.
그러므로, 요약하면, IMU-측정된 가속도들의 도움을 받아 유도되는 위치 및 방위 값들은 개개의 측정들 사이의 상대 공간 참조를 결정하고(예를 들어, 50 Hz 와 2000　Hz 사이의 상대적으로 높은 측정 레이트로) 모두 6의 자유도로 측정들의 스티칭(stitching)을 가능하게 하는 데 사용될 수 있다. 이들 위치 값들의 도움으로, 프로젝터가 - 가시 스펙트럼 범위에서 - 측정 물체 위로 측정들("안내(guidance)") 동안 또는 사이에서 사용자에게 제공되는 추가 정보를 투영하기 위해 사용될 수 있다. 투영될 정보의 물체 표면 위의 위치는 이 경우 IMU 위치 값들의 도움을 받아 실시간으로 계산된다.
예로서, 측정 시스템이 현재의 정렬에 기초하여 임의의 측정된 값들을 기록할 수 없는 측정 물체 영역들 위에 표시하는 것이 가능하다. 이것은 예를 들어 측정 물체 표면의 바람직하지 않은 반사 특성들 때문에 일어날 수 있다. 이 기술의 상태에 따르면, 이와 같은 표면들은 처리되어야 한다. 이것은 분말에 의한 스프링클링(sprinkling) 또는 거칠게 하기(roughening)에 의해 수행될 수 있다. 이들 조치들은 공간적으로 넓은 후방산란(backscatter)으로 이어지고, 따라서 측정 물체 표면에 대한 투영 및 검출 각도에 대한 측정 결과들의 낮은 의존으로 이어진다. 분말은 특유하게 규정되지 않는 두께를 가지며, 그러므로 측정 결과들의 정밀도를 손상시킬 수 있고, 또는 추가의 처리를 간섭할 수 있다.
이와 같은 도움들 없이 물체 표면을 완전히 획득하기 위해, 물체는 다양한 사시도들로부터 기록되어야 하고 기록들은 서로 결합(stitch)되어야 한다. 이러한 목적을 위해, 본 발명에 따르면, 사용자는 투영된 추가 정보의 도움으로 최적화된 방식으로 안내될 수 있다. 측정할 수 없는 표면 영역들의 디스플레이에 더하여, 마찬가지로 화살표들 또는 비교 가능한 방향 신호들(안내)에 의해, 측정 물체의 시간-최적화된 스캐닝에 대해 이동 방향을 투영하는 것이 가능하다.
예를 들어:
- 사용자에 대한 추가 정보가 측정들 사이에 투영될 수 있고, 및/또는
- 사용자에 대한 추가 정보가 투영된 패턴 위에 중첩될 수 있다.
추가 정보는 이 경우에 측정 패턴으로부터 스펙트럼적으로 분리될 수 있고, 또는 또한 투영된 측정 패턴에 포함될 수 있다.
투영된 추가 정보의 일부는 프로젝터에 대한 측정 물체의 위치 및 그것의 CAD 모델을 상정한다. 측정 물체의 위치는 예를 들어 이 경우에 (예를 들어, 물체 위의 측정 가능한 참조 마크들 또는 CAD 모델과 제1 측정들 사이의 "매치(match)"로부터 적어도 대략 얻어지는 측정 값들의 도움을 받아) 제1 측정들로부터 대략 결정될 수 있다.
이 경우에 위치 및 방위의 결정은 사용자 안내뿐만 아니라, 어디까지 및 어느 시각으로부터 측정이 여전히 필요한가에 대해, 측정 동작의 최적화(경로 최적화)를 허용한다.
본 발명의 추가의 대상은 - 이전에 기재된 독창적인 방법과 유사한 발명 사상의 중심 아이디어를 알기 위해 -
· 상이한 광학 패턴들로부터 패턴 시퀀스에 의해 측정 물체 표면을 조사하기 위한 프로젝터,
· 패턴 시퀀스로 조사된 측정 물체 표면의 이미지 시퀀스를 기록하기 위한 카메라 시스템, 및
· 특히 기록된 이미지 시퀀스의 각각의 이미지들에서 측정 물체 표면의 동일한 측정 지점들에 대한 휘도값들의 시퀀스를 결정함으로써, 이미지 시퀀스로부터 측정 지점들의 상기 3D 좌표들을 결정하기 위한 평가 유닛을 포함하는 측정 물체 표면의 다수의 측정 지점들의 3D 좌표들을 결정하기 위한 광학 측정 시스템이다.
본 발명에 따르면, 관성 센서들은 프로젝터의, 카메라 시스템의 및/또는 측정 물체의 병진 및/또는 회전 가속도들을 측정하기 위해 프로젝터 위에, 카메라 시스템 위에 및/또는 측정 물체 위에 배열된다. 또한, 위에 기재한 독창적인 방법과 유사하게 - 평가 유닛은 측정된 가속도들의 함수로서 반응적으로, 특히 실질적으로 즉시, 측정 물체 표면의, 프로젝터에 의해 생성되는 조사의, 및/또는 이미지 시퀀스의, 카메라 시스템에 의해 수행되는 기록의, 측정 프로세스 중의 시간에 관해 라이브로 수행되는 적응을 실행하도록 설계된다.
위의 독창적인 방법을 이미 발전시키고 및/또는 예로서 더 상세히 기재된 특징들은 마찬가지로 여기서는 독창적인 광학 측정 시스템에 유사하게 적응될 수 있고 그러므로 또한 독창적인 광학 측정 시스템을 발전시키기 위해 또는 그것을 더 상세히 특정하기 위해 유사하게 사용될 수 있다.
독창적인 방법 및 독창적인 측정 시스템은 도면들에 개략적으로 표현된, 특정 예시적인 실시예들의 도움을 받아 단지 예로서 이하에 더 상세히 기재되고, 또한 본 발명의 추가의 이점들이 설명된다.
도 1은 관성 측정 유닛(IMU)이 핸드-헬드 측정 헤드에 통합되어 있는, 본 발명에 따른, 3D 좌표들을 결정하기 위한 광학 측정 시스템을 나타내고;
도 2는 IMU, 프로젝터 및 3개의 카메라들을 갖는 핸드-헬드 측정 헤드를 갖는 독창적인 광학 측정 시스템, 3D 좌표 결정 중 패턴이 조사되는 측정 물체로서의 차문을 나타내고;
도 3 내지 도 5는 IMU, 프로젝터 및 카메라들을 가지는 핸드-헬드 측정 헤드를 갖는 독창적인 광학 측정 시스템을 나타내고, 프로젝터(및/또는 카메라들)를 위해 투영 방향 및/또는 위치(또는 기록 방향 및/또는 위치)가 IMU에 의해 측정되는 가속도들의 함수로서 측정 헤드 하우징에 적응될 수 있고, 그 결과 측정 헤드의 원치 않는 상대적으로 작은 이동들이 프로젝터에서(또는 카메라들에서) 최종적으로 보상될 수 있는 작동 기구가 존재하고;
도 6은 독창적인 광학 측정 시스템을 나타내고, 투영(즉 방출 패턴) 자체는 고정 및 안정된 위치를 갖는 불변 패턴이 측정 물체 표면 위에서의 측정 헤드에 의한 이동들에도 불구하고 생성되는 방식으로 라이브로 적응되고;
도 7 및 도 8은 핸드-헬드 측정 헤드를 갖는 독창적인 광학 측정 시스템을 나타내고, 현재의 측정 진행 및/또는 측정 프로세스 적응 파라미터들은 관성 측정 센서들의 출력의 함수로서 유도되고, 상기 파라미터들은 사용자를 안내하고 측정 프로세스를 최적화하기 위해 측정 물체 표면 위에 투영되고;
도 9 내지 도 11은 패턴 시퀀스 및/또는 실행 중인 측정 프로세스의 이미지 시퀀스의 능동적인 실시간 적응의 예들을 나타내고, 상기 예들은 프로젝터 및 카메라 시스템을 통합하는 측정 헤드의 IMU에 의해 측정되는 가속도들의 도움을 받아 유도되는 현재의 동적 레벨의 함수이고,
도　12는 생산 라인에 적응되는 독창적인 광학 측정 시스템을 나타내고, 거기에는 인접 생산 스테이션에 의해 전달되는, 독창적인 측정 시스템에 의한 측정들에 작용하는 진동들에 대한 측정된 가속도들의 도움을 받는 반응(reaction)이 있고, 실행 중인 측정 프로세스의 능동적인 라이브 적응이 수행된다.
본 발명에 따르면, 측정 물체 표면(1s)의 다수의 측정 지점들의 3D 좌표들을 결정하기 위한, 도 1에 도시된 광학 측정 시스템(7)은 프로젝터(3), 카메라 시스템(4), 평가 유닛(6), 및 관성 측정 유닛(IMU)에 통합된 관성 센서들(5a)을 가진다.
프로젝터(3)는 이 경우에 상이한 광학 패턴들(2a)의 패턴 시퀀스로 측정 물체 표면(1s)을 조사하도록 설계된다. 예를 들어, 패턴 프로젝터(3)는 슬라이드 프로젝터의 원리를 닮은 형상으로 구성될 수 있다. 그러나, 그것은 또한 광 패턴들(2a)을 생성하기 위한 다른 투영 기술들, 예를 들어, 프로그램 가능 LCD 프로젝터들, 프로젝터에서 상이한 격자 구조들을 갖는 변위 가능 글라스 지지체들(displaceable glass supports), 전기적으로 스위칭 가능한 격자와 기계적 변위 장치의 조합, 또는 또 다른 글라스 지지체들에 기초한 개개의 격자들의 투영을 사용하는 것이 가능하다.
카메라 시스템(4)은 패턴 시퀀스로 조사되는 측정 물체 표면(1s)의 이미지 시퀀스를 기록하도록 설계되고, 적어도 하나의 카메라를 가질 수 있지만, 서로에 대해 고정 및 알려진 위치결정 및 방위로 배열될 수 있는, 특히, 2개, 3개 또는 4개의 카메라들(4a, 4b, 4c)을 가질 수 있고, 특히 실질적으로 동시에(in a substantially simultaneous fashion) 개개의 이미지들을 기록하도록 설계된다.
이 기술분야에서 숙련된 사람에게 알려져 있는 것과 같이, 이미징 목적을 위해, 이미지 정보를 이미지 매트릭스 형태로 추가의 처리를 위해 이용 가능하게 하는 전자 이미지 센서, 예를 들어, CCD 또는 CMOS 센서들을 갖는 카메라들(4a, 4b, 4c)을 사용하는 것이 가능하다. 흑백 카메라들 및 컬러 카메라들 모두가 이 경우에 사용될 수 있다.
평가 유닛(6)은, 특히 기록된 이미지 시퀀스의 각각의 이미지들에서 측정 물체 표면(1s)의 동일한 측정 지점들에 대한 휘도값의 시퀀스를 결정하여, 이미지 시퀀스로부터 측정 지점들의 3D 좌표들을 결정하도록 설계된다.
예시적인 실시예에 따르면, 프로젝터(3) 및 카메라 시스템(4)은 서로에 대해 고정 및 알려진 위치결정 및 방위를 갖고 측정 시스템(7)의 공통 측정 헤드(8)에 물리적으로 수용되고, 특히 측정 헤드(8)는 핸드-헬드이도록 설계되고 및/또는 로봇 팔 위에 설치된다.
본 발명에 따르면, 평가 유닛(6)은 측정 물체 표면(1s)의, 프로젝터(3)에 의해 생성되는 조사의, 및/또는 이미지 시퀀스의, 카메라 시스템(4)에 의해 수행되는 기록의 측정된 가속도들의 함수로서 반응적으로 - 특히 실질적으로 즉시 및 측정 프로세스 중 시간에 관해 라이브로 - 수행되는 적응을 실행하도록 설계된다.
특히, 평가 유닛(6)은 이 경우 측정 물체 표면(1s)의, 프로젝터(3)에 의해 생성되는 조사 및 이미지 시퀀스의, 카메라 시스템(4)에 의해 수행되는 기록이 프로젝터(3) 및/또는 카메라 시스템(4)의, 측정된 가속도들의 도움을 받아 측정 프로세스 중 유도되는 현재의 동적 레벨의 함수로서 라이브로 적응되는 방식으로 프로젝터(3) 및/또는 카메라 시스템(4)을 제어하도록 설계된다.
이 경우에, 관성 측정 유닛의 관성 센서들(5a)은, 특히 MEMS-기반 구성요소들에 기초할 수 있고, 결합되고, 상기 IMU가 모두 6의 자유도로, 특히 대략 1 Hz 와 2000　Hz 사이의, 특히 50 Hz 와 2000　Hz 사이의 측정 레이트로 가속도들을 측정하도록 설계되는 방식으로 IMU에 통합된다.
특히, 그렇게 됨으로써, 도시된 광학 측정 시스템(7)이 - 이미 위에서 기술한 것과 같이 - 독창적인 광학 측정 방법을 자동으로 및 평가 유닛(6)에 의한 사전-프로그램 제어 하에서 실행하도록 설계 및 구성되는 것이 가능하다.
독창적인 광학 측정 시스템(7)의, 도 2에 나타낸 예시적인 실시예는 IMU(관성 센서들(5a)을 가짐), 프로젝터(3) 및 3개의 카메라들(4a, 4b, 4c)(예를 들어 핸들을 갖는 핸드-헬드 하우징에 통합되어, 광 구조 3D 핸드 스캐너로서 설계됨)을 포함하는 핸드-헬드 측정 헤드(8), 및 3D 좌표 결정 중 패턴(2a)(패턴 시퀀스의 일부로서)에 의해 프로젝터(3)의 도움을 받아 조사되는 측정 물체(1)로서의 차문을 가진다.
여기서 예로서 서로에 대해 고정 및 알려진 위치결정 및 방위로 배열되는, 카메라 시스템(4)의 3개의 카메라들(4a, 4b, 4c)은, 패턴 시퀀스가 조사되는 차문 표면의 이미지 시퀀스를 기록하도록 설계된다. 카메라들(4a, 4b, 4c)은 이 경우에 개개의 이미지들을 실질적으로 동시에 기록하도록 설계될 수 있다.
게다가, 관성 측정 유닛(관성 센서들(5a)을 가짐)은 한번 더 측정 헤드(8)에 통합되고, 그 결과 프로젝터(3)의 투영 방향 및/또는 투영 소스 위치(및/또는 카메라 관측 방향 및/또는 카메라 위치들)가 하우징의 IMU(5a)의 도움을 받아 측정되는 가속도들의 함수로서 하우징에 대해 실질적으로 실시간으로 적응되도록 현재의 측정 프로세스의 독창적인 라이브 적응(특히, 패턴 투영들 또는 투영될 사용자 안내 정보의 아이템에 관해)이 연속해서 측정된 가속도들(그것으로부터 도출된 현재의 상대 위치들)의 함수로서 수행될 수 있다.
도 3 내지 도 5는, 하우징 이동들 - 예를 들어 진동 또는 수전증으로 인한 불안정한 유지에 의해 생기는 이동들 - 이 보상되고, 따라서 적어도 각각의 경우에 이미지 시퀀스의 개개의 이미지들의 노출 시간 동안, 측정 물체 표면 위로 투영되는 패턴(2a)이 실질적으로 안정되게 유지되는(즉, 측정 물체 표면의 고정된 위치에서) 방식으로, 프로젝터(3)를 위한 작동 기구(개개의 액튜에이터 요소들을 가짐) 및/또는 카메라들(4a-4c)(이 경우에, 완전히 프로젝터 및 각각의 카메라들을 위한 또는 적어도 이들의 옵틱스를 위한)을 가지는 측정 시스템(7)의 측정 헤드(8)를 도시한다.
작동 기구를 갖는 도 3 및 도 4에 도시된 선택사항에 대한 대안으로서, 도 6은 예로서, 측정 시스템(7)의 측정 헤드(8)를 나타내고, - 측정 헤드의 이동에도 불구하고 - 측정 물체 표면 위에 나타나는 패턴(즉 측정 물체 표면 위에 투영되는 패턴)이 측정 물체 표면 위의 안정된 위치에 유지되는 방식(적어도 이미지 시퀀스의 각각의 개개의 이미지의 노출 시간 동안)으로, 이 경우에는 투영 자체의 라이브 적응이 IMU(5a)의 도움을 받아 측정되는 가속도들의 함수로서 행해진다.
그러나, 도 6에 따른 변형 실시예의 경우에, 여기서 - 달리 도 5에 따른 것 이외에 - 달리 (예를 들어, 수전증들로 인한 불안정한 유지에 의해 생기는) 측정 헤드의 더 가능한 이동들의 경우에 - 측정 물체 표면 위로 궁극적으로 투영되는 패턴들이 에지 영역들에 유지될 수 없으므로, 투영이 프로젝터(3)의 전체 가능한 투영 개구 각도에서 수행될 필요가 없다는 사실을 고려할 필요가 있다.
도 7 및 도 8에 따른 변형 실시예의 경우에, 현재의 측정 진행 및/또는 측정 프로세스 적응 파라미터들(9)은
- IMU(5a)의 도움으로 받아 측정되는 가속도들의 함수로서, 측정 시스템(7)의 측정 헤드(8)의, 가속도로부터 유도되는 특히 현재의 위치들 및 방위들의 함수로서,
- 및, 특히, 추가로 측정 물체 표면(1s)의 적어도 대략 알려지거나 또는 이전에 적어도 대략 결정된 3D 좌표들의 함수로서,
유도되고,
그리고 상기 파라미터들은 사용자 안내 및 측정 프로세스의 최적화를 위해 측정 물체 표면(1s) 위에 투영된다.
도 7에 예로서 도시된 것과 같이, 이 경우에, 예를 들어 측정 진행 및/또는 측정 프로세스 적응 파라미터들(9)로서 측정 물체 표면(1s) 위로,
- 프로젝터 및/또는 카메라 시스템(및/또는 측정 헤드(8))이 추가의 측정 프로세스 중 정렬되는 측정 방향 및/또는
- 추가의 측정 프로세스 중 프로젝터 및/또는 카메라 시스템(및/또는 측정 헤드(8))에 의해 채택되는 측정 위치
에 관한 정보를 투영하는 것이 가능하다.
도 8에 예로서 나타낸 것과 같이, 또한 측정 진행 및/또는 측정 프로세스 적응 파라미터들(9)로서 그와 같은 추가의 정보를, 예를 들어 측정 헤드(8)가 불변 측정 방향 및 위치에서 가능한 한 안정되게 유지되는 인스턴트(instant)에 관계된 측정 물체 표면 위로 투영하는 것이 가능하다.
대안으로, 예를 들어
- 프로젝터 및/또는 카메라 시스템(및/또는 측정 헤드)이 불변 측정 방향 및 측정 위치에서 가능한 한 안정되게 유지되는 유지 기간들, 및/또는
- 카메라 시스템(및/또는 측정 헤드)의, 프로젝터의, 및/또는 측정 물체(특히, 그것은 또한 미리 규정된 동적 레벨 상한이 현재 유지되고 있는지의 여부를 특정하는 것이 가능함)의 측정된 가속도들의 도움을 받아 유도되는 현재의 동적 레벨
에 관계된 측정 진행 및/또는 측정 프로세스 적응 파라미터들 정보를 제공하는 것이 또한 가능하다.
도 9 내지 도 11은 패턴 시퀀스 및/또는 이미지 시퀀스(그것은 - 이 기술분야에서 숙련된 사람이 이해하는 것과 같이, 원하는 효과를 얻기 위해 이미지 시퀀스의 대응하는 적응과 함께 또는 협력하여 패턴 시퀀스를 적응시키는 것이 빈번하게 필요함) - 측정 시스템(7)의 프로젝터 및 카메라 시스템을 통합하는, 측정 헤드의, IMU(5a)에 의해 측정되는 가속도들의 도움을 받아 조사 중 유도되는 현재의 동적 레벨에 의존하는 - 적응의 특정 독창적인 양상을 예로서 도시한다.
패턴 시퀀스 및/또는 이미지 시퀀스의 적응은 이 경우에 본 발명에 따라 각각의 현재의 동적 레벨의 유도에 대해 시간에 관해 즉시 반응적으로 수행된다.
도 9 및 도 10으로부터 알 수 있는 것과 같이, 예를 들어 특히 상대적으로 낮은 미세도를 갖는 패턴 시퀀스의 이들 패턴들(도 10 참조)이 투영되어 상대적으로 높은 현재의 동적 레벨을 부여하고 상대적으로 높은 미세도를 갖는 패턴 시퀀스의 이들 패턴들(도 9 참조)이 투영되어 상대적으로 낮은 현재의 동적 레벨을 부여하는 방식으로, 패턴 시퀀스의, 연속하여 투영되는 상이한 패턴들의 순서를 적응시키는 것이 가능하다.
더욱이, 현재의 동적 레벨에 의존하여, 각각의 현재의 동적 레벨의 유도에 대해 시간에 관해 실질적으로 즉시 반응적으로 그렇게 하는 패턴 시퀀스에 관해 다음의 조치들을 (추가로 또는 대안으로) 취하는 것이 가능하다:
- 투영될 개개의 패턴들의 휘도를 적응시킴, 및/또는
- 투영될 개개의 패턴들의 투영 기간을 적응시킴, 및/또는
- 투영될 개개의 패턴들의 투영 순간들을 적응시킴, 및/또는
- 투영될 개개의 패턴들의 미세도 및/또는 구조화 정도(degree of fineness and/or of structuring)를 적응시킴, 및/또는
- 상기 패턴의 투영 중 그렇게 함으로써 측정 물체 표면 위에 생성되는 조사 구조가, 적어도 이러한 패턴에 의해 조사되는 측정 물체 표면(1s)을 획득하기 위해 제공되는 이미지 시퀀스의 이미지의 노출 시간 동안 (도 6과 함께 이미 기재됨) - 측정 물체 위에서 안정된 위치에 유지되는 방식으로 패턴 시퀀스의 개개의 패턴을 적응시킴, 및/또는
- 투영될 개개의 패턴들의 영역 커버리지 및/또는 크기를 적응시킴, 및/또는
- 투영될 개개의 패턴들의 조사에 사용되는 광학 방사선의 파장을 적응시킴.
패턴 시퀀스를 적응시키기 위한 조치와 협력하여(서로 조합하여 주로 취해지는, 각각의 상호 대응하는 조치들은 이 기술분야에서 숙련된 사람에게 자명하고, 그러므로 여기서는 상세한 설명이 요구되지 않음), 또는 패턴 시퀀스에 대해 행해지는 적응들과 관계없이, 이미지 시퀀스의 적응에 관한 다음의 조치들이 예를 들어 마찬가지로 각각의 현재의 동적 레벨의 유도에 대해 시간에 관해 실질적으로 즉시 반응적으로 취해질 수 있다:
- 기록될 상기 개개의 이미지들에 대한 각각의 입도(degree of granulation)를 적응시킴, 및/또는
- 기록될 상기 개개의 이미지들에 대한 각각의 노출 시간을 적응시킴, 및/또는
- 기록될 상기 개개의 이미지들의 기록 순간들을 적응시킴, 및/또는
- 기록된 상기 개개의 이미지들에 대한 각각의 획득 영역을 적응시킴, 및/또는
- 기록될 상기 개개의 이미지들에 대한 각각의 개구 폭을 적응시킴.
단지 원리를 더 상세히 설명할 목적으로, 도 11은 프로젝터 및 카메라들을 통합하는 핸드-헬드 측정 헤드에 대해, 가속도(IMU에 의해 측정됨)의 도움을 받아 연속해서 유도되는, 현재의 동적 레벨의 특정 예를 나타내고, 현재의 동적 레벨은 도면에서 시간에 대해 그려진다. 각각의 현재의 동적 레벨에 의존하여, 이 경우에는 측정 물체 표면의 조사 및 이미지 시퀀스의 기록의, 즉각적인(즉 실질적으로 실시간으로 수행됨) 직접 적응이 있다.
이러한 현재의 동적 레벨에 의존하여, 투영될 패턴 시퀀스의 패턴들의 순서(order)는 예를 들어 라이브로 적응되고, 예로서, 현재 낮은 동적 레벨을 부여하면, 짧은 투영 및 이미징 기간이 할당된 이들 패턴들은 "참조되고(referred)" 이후 투영된다. 현재 높은 동적 레벨이 부여되면, 더 긴 이미징 기간(카메라의 부분 위에서)을 필요로 하고, 예를 들어 고미세도(high fineness)를 가지는 패턴 시퀀스의 이들 패턴들은 이후 측정 물체 표면 위로 투영된다. 따라서, 환언하면, 현재 낮은 동적 레벨이 부여되면, 이미징을 위해 긴 노출 시간을 필요로 하는 패턴 시퀀스의 이들 패턴들이 투영되는 식으로 또는 그 역의 방식으로, 패턴 시퀀스의 투영 및 이미지 시퀀스의 기록 순서의 실시간 적응을 수행하는 것이 가능하다.
더욱이, 동적 레벨 상한을 고정하는 것이 선택적으로 또한 가능하고, 그 경우에 상기 한계를 넘을 때까지, 패턴 시퀀스의 추가 패턴들의 투영 및/또는 이미지 시퀀스의 추가 이미지들의 기록은 일시 정지된다.
측정 헤드가 상대적으로 강한 이동들을 실행하고 따라서 현재 높은 동적 레벨을 가지는(및 고정된 동적 레벨 상한을 넘는) 한, 패턴 투영 및 이미징을 연기하는 것이 가능하다.
그렇게 함으로써, 측정 헤드가 충분히 안정된 채로 있지 않음으로써 생기는 측정 에러들을 방지하거나 적어도 감소시킬 수 있다.
도 12는 독창적인 측정 시스템(7)의 도움을 받아 측정들을 실행하는 인접 생산 스테이션에 의해 전달되는 진동들이 있는, 생산 라인에서 사용하고 있는 독창적인 광학 측정 시스템(7)을 나타낸다.
본 발명에 따르면, 광학 측정 시스템(7)은 측정 물체(1) 위에 배열되는 IMU(관성 센서들(5b)을 가짐)를 가진다. 측정 물체(1) 위의 IMU(관성 센서들(5b)을 가짐) 외에, 또한 IMU(관성 센서들(5a)을 가짐)을 측정 헤드(8)(여기서는 단지 예로서 2개의 카메라들 가짐) 자체에 통합하는 것이 가능하다. 본 발명에 따르면, 그렇게 함으로써 - 위에 상세히 기재된 것과 같이 - 측정 헤드(8)의 부분 및 또한 측정 물체(1)의 부분 위 모두에서 측정 중 일어나는 (및 예를 들어 측정 환경으로부터 로봇 팔로 전달되는 진동들에 의해 실행되고, 측정 헤드의 불안정성에 의해, 현재 실행 중인 측정 프로세스의 반응적 적응(실질적으로 실시간으로)을 착수하는) 이동들에 라이브로 반응하는 것이 가능하다.
여러 지점들에서 위에서 이미 설명한 것과 같이, 또한 도 12에 따른 변형 실시예와 함께, 그 중에서도 예를 들어 현재의 실행 중인 측정 프로세스 중 다음과 같은 조치들을 즉시, 그렇게 하는 것은 다시 측정 헤드(8)의 부분 및 또한 측정 물체(1)의 부분에 대해 측정된 가속도들에 대해 반응적으로 (특히 "라이브로(live)") 착수하는 것이 가능하다:
· (예를 들어 상대적으로 낮은 미세도를 갖는 패턴 시퀀스의 이들 패턴들이 투영되어 상대적으로 높은 현재의 동적 레벨을 부여하고, 상대적으로 높은 미세도를 갖는 패턴 시퀀스의 이들 패턴들이 투영되어 상대적으로 낮은 현재의 동적 레벨이 부여되는 방식으로) 연속하여 투영되는 패턴 시퀀스의 상이한 패턴들의 순서를 적응시킴, 및/또는
· 투영될 개개의 패턴들의 투영 기간을 적응시킴, 및/또는
· 투영될 개개의 패턴들의 투영 순간들을 적응(선택)시킴, 및/또는
· 투영될 개개의 패턴들의 미세도 및/또는 구조화 정도 및/또는 휘도를 적응시킴, 및/또는
· 상기 패턴의 투영 중, 그렇게 함으로써 측정 물체 표면 위에 생성되는 조사 구조가 - 적어도 이러한 패턴으로 조사되는 측정 물체 표면을 획득하기 위해 제공되는 이미지 시퀀스의 이미지의 노출 시간 동안 - 측정 물체 표면 위의 안정된 위치에 유지되는 방식으로 패턴 시퀀스의 개개의 패턴을 적응시킴, 및/또는
· 투영될 개개의 패턴들의 측정 물체 표면 위에 영역 커버리지 및/또는 크기를 적응시킴, 및/또는
· 투영될 개개의 패턴들에 대한 조사에 사용되는 광학 방사선의 파장을 적응시킴.
이들 도시된 도면은 가능한 예시적인 실시예들의 단지 개략 표현들이라는 것은 말할 필요도 없다. 다양한 접근방법들이 마찬가지로 서로 그리고 최신의 방법들과 결합될 수 있다.

Claims (15)

  1. 측정 물체 표면(1s)의 다수의 측정 지점들의 광학 측정 3D 좌표들을 결정하기 위한 광학 측정 방법으로서, 상기 방법은,
    · 상이한 패턴들(2a, 2b)의 패턴 시퀀스에 의해 상기 측정 물체 표면(1s)을 조사(illuminate)하기 위해 프로젝터(3)를 이용하는 단계,
    · 상기 패턴 시퀀스에 의해 조사된 측정 물체 표면(1s)의 이미지 시퀀스를 기록하기 위해 카메라 시스템(4)을 이용하는 단계 및
    · 상기 이미지 시퀀스를, 특히 상기 기록된 이미지 시퀀스의 각각의 이미지들에서 결정되는 상기 측정 물체 표면(1s)의 동일한 측정 지점들에 대한 휘도값들의 시퀀스를 평가하여 상기 측정 지점들의 상기 3D 좌표들을 결정하는 단계를 포함하는, 광학 측정 방법에 있어서,
    · 상기 프로젝터(3)의,
    · 상기 카메라 시스템(4)의 및/또는
    · 상기 측정 물체(1)의
    병진 및/또는 회전 가속도들이 측정되고, 상기 측정 물체 표면(1s)의 상기 조사 및/또는 상기 이미지 시퀀스의 상기 기록은 반응적으로(reactively), 특히 실질적으로 즉시, 그리고, 상기 측정된 가속도들의 함수로서, 상기 측정 프로세스 중 시간에 관해 라이브로(live) 적응되는 것을 특징으로 하는, 광학 측정 방법.
  2. 제1항에 있어서,
    상기 프로젝터(3)의, 상기 카메라 시스템(4)의 및/또는 상기 측정 물체(1)의 가속도들이 모두 6의 자유도로 측정되고, 상기 가속도들의 상기 측정은,
    적어도 상기 이미지 시퀀스의 상기 개개의 이미지들의 노출 시간들 동안, 특히 상기 측정 물체 표면(1s)를 조명하고 상기 이미지 시퀀스 또는 복수의 이미지 시퀀스들을 기록하는 전체 프로세스 동안, 특히 대략 1 Hz 와 2000　Hz 사이의, 특히 대략 50 Hz 와 2000　Hz 사이의 특정 측정 레이트로 연속해서 수행되는 것을 특징으로 하는, 광학 측정 방법.
  3. 제1항 또는 제2항에 있어서,
    측정된 상기 가속도들의 도움으로 받아, 상기 조사 동안 유도되는 상기 프로젝터(3)의, 상기 카메라 시스템(4)의 및/또는 상기 측정 물체(10)의 현재의 동적 레벨의 함수로서, 상기 패턴 시퀀스는 시간에 관해 실질적으로 즉시 반응적으로 상기 각각의 현재의 동적 레벨의 상기 유도로 적응되고, 특히
    · 투영될 상기 패턴 시퀀스의 상이한 패턴들의 순서는 특히 상대적으로 낮은 미세도를 갖는 상기 패턴 시퀀스의 이들 패턴들이 투영되어 상대적으로 높은 현재의 동적 레벨을 부여하고, 상대적으로 높은 미세도를 갖는 상기 패턴 시퀀스의 이들 패턴들이 투영되어 상대적으로 낮은 현재의 동적 레벨을 부여하는 방식으로 연속하여 적응되고, 및/또는
    · 투영될 상기 개개의 패턴들의 휘도가 적응되고, 및/또는
    · 투영될 상기 개개의 패턴들의 투영 기간이 적응되고, 및/또는
    · 투영될 상기 개개의 패턴들의 투영 순간들(projection instants)이 적응되고, 및/또는
    · 상기 개개의 패턴들의 미세도 및/또는 구조화(structuring) 정도가 적응되고, 및/또는
    · 상기 패턴 시퀀스의 개개의 패턴은 상기 패턴의 상기 투영 중 상기 측정 물체 표면(1s) 위에 생성되는 상기 조사 구조가, 적어도 이러한 패턴으로 조사되는 상기 측정 물체 표면(1s)을 획득하기 위해 제공되는 상기 이미지 시퀀스의 상기 이미지의 상기 노출 시간 동안, 상기 측정 물체 표면(1s) 위의 안정된 위치에 유지되는 방식으로 적응되고, 및/또는
    · 투영될 상기 개개의 패턴들의 상기 측정 물체 표면(1s) 위의 영역 커버리지(area coverage) 및/또는 크기가 적응되고, 및/또는
    · 투영될 상기 개개의 패턴들에 대한 상기 조사를 위해 사용되는 상기 광학 방사선(optical radiation)의 파장이 적응되는 것을 특징으로 하는, 광학 측정 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 측정된 가속도들의 도움을 받아 상기 조사 중 유도되는 상기 프로젝터(3)의, 상기 카메라 시스템(4)의 및/또는 상기 측정 물체(1)의 현재의 동적 레벨의 함수로서, 특히
    · 기록될 상기 개개의 이미지들에 대한 각각의 입도(degree of granulation)가 적응되고, 및/또는
    · 기록될 상기 개개의 이미지들에 대한 각각의 노출 시간이 적응되고, 및/또는
    · 기록될 상기 개개의 이미지들의 기록 순간들이 적응되고, 및/또는
    · 기록된 상기 개개의 이미지들에 대한 각각의 획득 영역이 적응되고, 및/또는
    · 기록될 상기 개개의 이미지들에 대한 각각의 개구 폭이 적응되는 것을 특징으로 하는, 광학 측정 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    · 상기 프로젝터(3)는 하우징, 특히 상기 프로젝터(3) 및 상기 카메라 시스템(4)을 함께 통합하는 측정 헤드 하우징을 가지며,
    · 상기 하우징의 상기 회전 및 병진 가속도들이 측정되고,
    · 상기 프로젝터(3)의 투영 방향 및/또는 투영 소스 위치는, 실질적으로 실시간으로, 그리고 상기 하우징의 이동들 - 특히 진동 또는 수전증(hand tremor)으로 인한 불안정한 유지에 의해 생기는 이동들이 보상되고, 따라서 상기 프로젝터(3)의 상기 투영 방향 및/또는 상기 투영 소스 위치가 각각의 경우에, 상기 이미지 시퀀스의 개개의 이미지들의 상기 기록 중 실질적으로 일정하게 유지되는 방식으로 상기 하우징의 상기 측정된 가속도들의 함수로서 상기 하우징에 대해 적응되는 것을 특징으로 하는, 광학 측정 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    · 적어도 하나의 카메라(4a, 4b, 4c)를 갖는 상기 카메라 시스템(4)은 하우징, 특히 상기 프로젝터(3) 및 상기 카메라 시스템(4)을 함께 통합하는 측정 헤드 하우징을 가지며,
    · 상기 하우징의 상기 회전 및 병진 가속도들이 측정되고, 및
    · 상기 카메라 시스템(4)의 상기 적어도 하나의 카메라(4a, 4b, 4c)의 획득 방향 및/또는 기록 위치는 실질적으로 실시간으로, 그리고 상기 하우징의 이동들 - 특히 상기 하우징의 진동 또는 수전증으로 인한 불안정한 유지에 의해 생기는 이동들이 보상되고, 따라서 상기 카메라 시스템(4)의 상기 적어도 하나의 카메라(4a, 4b, 4c)의 상기 획득 방향 및/또는 상기 기록 위치가 각각의 경우에 상기 이미지 시퀀스의 개개의 이미지들의 상기 기록 중 실질적으로 일정하게 유지되는 방식으로 상기 측정된 가속도들의 함수로서 상기 하우징에 대해 적응되는 것을 특징으로 하는, 광학 측정 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    · 상기 측정된 가속도들의 함수로서, 특히 상기 프로젝터의, 상기 카메라 시스템의 및/또는 상기 측정 물체의 상기 가속도들로부터 유도되는 현재의 위치들 및 방위들의 함수로서,
    · 그 뿐만 아니라, 특히, 추가로 상기 측정 물체 표면(1s)의 적어도 대략 알려진 또는 이전에 적어도 대략 결정된 3D 좌표들의 함수로서,
    현재의 측정 진행(measurement progress) 및/또는 측정 프로세스 적응 파라미터들(9)이 유도되고 상기 파라미터들은 상기 사용자를 안내하고 상기 측정 프로세스를 최적화하기 위해 상기 측정 물체 표면(1s) 위로 투영되고,
    특히
    · 상기 프로젝터(3) 및/또는 상기 카메라 시스템(4)이 상기 추가의 측정 프로세스 중 정렬되는 측정 방향, 및/또는
    · 상기 추가의 측정 프로세스 중 상기 프로젝터(3) 및/또는 상기 카메라 시스템(4)에 의해 채택되는 측정 위치 및/또는
    · 상기 프로젝터(3) 및/또는 상기 카메라 시스템(4)이 불변(invariable) 측정 방향 및 측정 위치에서 가능한 한 안정되게 유지되는 유지 기간들, 및/또는
    · 상기 프로젝터(3)의, 상기 카메라 시스템(4)의 및/또는 상기 측정 물체(1)의 상기 측정된 가속도들의 도움을 받아 유도되는 현재의 동적 레벨 - 특히 그것은 미리 규정된 동적 레벨 상한이 현재 유지되는지의 여부가 특정됨 -,
    에 관한 정보가 상기 측정 진행 및/또는 측정 프로세스 적응 파라미터들(9)로서 투영되는 것을 특징으로 하는, 광학 측정 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    ·상기 측정 지점들의 상기 3D 좌표들은 상기 삼각측량 원리를 이용하여 그리고 특히 전방 섹션(forward section)에 의해, 상기 이미지 시퀀스의 상기 각각의 이미지들에서 획득된, 상기 패턴 시퀀스의 상기 패턴의 지식에 의해, 상기 기록된 이미지 시퀀스로부터 사진 측량법으로 결정되고,
    및/또는
    · 서로에 대해 알려진 위치들이 조사되고 서로에 대해 알려진 정렬들로부터 및 정렬들의 도움을 받아 기록되고, 상기 기록은 상기 카메라 시스템(4)의 부분들로서의 복수의 카메라들(4a, 4b, 4c)을 이용하여 특히 상이한 위치들로부터 수행되는 것을 특징으로 하는, 광학 측정 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 측정 물체 표면(1s)은
    · 상이한 미세도의 스트라이프 패턴들,
    · 유사 코드들 및/또는
    · 무작위 패턴들(random patterns)
    에 의해 연속해서 조사되고
    상기 패턴 시퀀스의 상기 상이한 패턴들로서, 특히 상기 조사는 연속하여 대략 10 ms 와 300　ms 사이의 투영 기간에 의해 상기 개개의 패턴들(2a, 2b)로 수행되고 상기 이미지 시퀀스의 상기 기록은 각각의 경우에 이미지 당 대략 10 ms 와 300　ms 사이의 노출 시간으로 수행되는 것을 특징으로 하는, 광학 측정 방법.
  10. 측정 물체 표면(1s)의 다수의 측정 지점들을 위한 3D 좌표들을 결정하기 위한 광학 측정 시스템(7)으로서, 상기 시스템은,
    · 상이한 광학 패턴들(2a, 2b)로부터 패턴 시퀀스에 의해 상기 측정 물체 표면(1s)을 조사하기 위한 프로젝터(3),
    · 상기 패턴 시퀀스에 의해 조사된 상기 측정 물체 표면(1s)의 이미지 시퀀스를 기록하기 위한 카메라 시스템(4), 및
    · 특히 상기 기록된 이미지 시퀀스의 각각의 이미지들에서 상기 측정 물체 표면(1s)의 동일한 측정 지점들에 대한 휘도값들의 시퀀스를 결정함으로써, 상기 이미지 시퀀스로부터 상기 측정 지점들의 상기 3D 좌표들을 결정하기 위한 평가 유닛을 포함하는, 광학 측정 시스템(7)에 있어서,
    관성 센서들(5a, 5b)은
    상기 프로젝터(3)의, 상기 카메라 시스템(4)의 및/또는 상기 측정 물체(1)의 병진 및/또는 회전 가속도들을 측정하기 위해,
    · 상기 프로젝터(3) 위에,
    · 상기 카메라 시스템(4) 위에 및/또는
    · 상기 측정 물체(1) 위에
    배열되고,
    상기 평가 유닛(6)은 상기 측정된 가속도들의 함수로서 반응적으로, 특히 실질적으로 즉시, 그리고 상기 측정 물체 표면(1s)의, 상기 프로젝터(3)에 의해 생성되는 상기 조사의, 및/또는 상기 이미지 시퀀스의, 상기 카메라 시스템(4)에 의해 수행되는 상기 기록의, 상기 측정 프로세스 중 시간에 관해 라이브로 수행되는 적응을 실행하도록 설계되는 것을 특징으로 하는, 광학 측정 시스템(7).
  11. 제10항에 있어서,
    · 상기 평가 유닛(6)은 상기 측정 물체 표면(1s)의, 상기 프로젝터(3)에 의해 생성된 상기 조사, 및/또는 상기 이미지 시퀀스의 상기 카메라 시스템(4)에 의해 수행되는 상기 기록이 상기 프로젝터(3)의 및/또는 상기 카메라 시스템(4)의, 상기 측정된 가속도들의 도움을 받아 상기 측정 프로세스 중 유도되는 현재의 동적 레벨의 함수로서, 라이브로 적응되는 방식으로 상기 프로젝터(3) 및/또는 상기 카메라 시스템(4)을 제어하도록 설계되고,
    및/또는
    · 상기 관성 센서들(5a, 5b)은, 상기 관성 측정 유닛이 상기 가속도들을 모두 6의 자유도로, 특히 대략 1과 2000　Hz 사이의, 특히 대략 50과 2000　Hz 사이의의 측정 레이트로 측정하도록 설계되는 방식으로 관성 측정 유닛 - 하나는 MEMS-기반 구성요소들에 기초함 - 에 결합되고 통합되는 것을 특징으로 하는, 광학 측정 시스템(7).
  12. 제10항 또는 제11항에 있어서,
    · 상기 프로젝터(3)는 하우징을 가지며, 특히 상기 프로젝터(3) 및 상기 카메라 시스템(4)은 공통 측정 헤드(8)에, 서로에 대해 모든 고정 및 알려진 위치결정 및 방위로 물리적으로 수용되고 상기 측정 헤드(8)는 상기 프로젝터(3) 및 상기 카메라 시스템(4)을 함께 통합하는 측정 헤드 하우징(8)을 가지며,
    · 상기 관성 센서들(5a, 5b)은 상기 하우징 위에 배열되고 따라서 상기 하우징의 상기 회전 및 병진 가속도들을 측정하도록 설계되고,
    · 프로젝터 작동 기구 - 특히 하나는 MEMS-기반 액튜에이터 구성요소들 또는 피에조액튜에이터 요소들로 구성됨 - 는 상기 하우징에 대해 상기 프로젝터(3)의 투영 방향 및/또는 투영 소스 위치를 변경시키기 위해 존재하고, 프로젝터 작동 기구는 상기 하우징의 이동들, 특히 진동 또는 수전증으로 인한 불안정한 유지에 의해 생기는 이동들이 보상되고, 따라서 상기 프로젝터(3)의 상기 투영 방향 및/또는 상기 투영 소스 위치가 각각의 경우에 적어도 상기 이미지 시퀀스의 개개의 이미지들의 상기 기록 중 실질적으로 일정하게 유지되는 방식으로, 상기 프로젝터(3)의 상기 투영 방향 및/또는 상기 투영 소스 위치가 상기 하우징에 대해 상기 하우징의 상기 측정된 가속도들의 함수로서 실질적으로 실시간으로 적응되도록 상기 평가 유닛에 의해 구동될 수 있는 것을 특징으로 하는, 광학 측정 시스템(7).
  13. 제10항 내지 제12항 중 어느 한 항에 있어서,
    · 적어도 하나의 카메라(4a, 4b, 4c)를 갖는 상기 카메라 시스템(4)은 하우징을 가지며, 특히 상기 프로젝터(3) 및 상기 카메라 시스템(4)은 서로에 대해 모든 고정 및 알려진 위치결정 및 방위로 물리적으로 공통 측정 헤드(8)에 수용되고 상기 측정 헤드(8)는 상기 프로젝터(3) 및 상기 카메라 시스템(4)을 함께 통합하는 측정 헤드 하우징(8)을 가지며,
    · 상기 관성 센서들(5a, 5b)은 상기 하우징 위에 배열되고 따라서 상기 하우징의 상기 회전 및 병진 가속도들을 측정하도록 설계되고,
    · 카메라 작동 기구 - 특히 하나는 MEMS-기반 액튜에이터 구성요소들 또는 피에조액튜에이터 요소들로 구성됨 - 는 상기 하우징에 대한 상기 카메라 시스템(4)의 상기 적어도 하나의 카메라(4a, 4b, 4c)의 획득 방향 및/또는 기록 위치를 변경하기 위해 존재하고, 카메라 작동 기구는, 상기 하우징의 이동들 - 특히 진동 또는 수전증으로 인한 불안정한 유지에 의해 생기는 이동들이 보상되고, 따라서 상기 적어도 하나의 카메라(4a, 4b, 4c)의 상기 획득 방향 및/또는 상기 기록 위치가 각각의 경우에 적어도 상기 이미지 시퀀스의 개개의 이미지들의 상기 기록 중 실질적으로 일정하게 유지되는 방식으로, 상기 카메라 시스템(4)의 상기 적어도 하나의 카메라(4a, 4b, 4c)의 상기 획득 방향 및/또는 상기 기록 위치가 상기 하우징의 상기 측정된 가속도들의 함수로서 실질적으로 실시간으로 상기 하우징에 대해 적응되도록 상기 평가 유닛에 의해 구동될 수 있도록 적응되는 것을 특징으로 하는, 광학 측정 시스템(7).
  14. 제10항 내지 제13항 중 어느 한 항에 있어서,
    · 상기 평가 유닛은 현재의 측정 진행 및/또는 측정 프로세스 적응 파라미터들을 상기 측정된 가속도들의 함수로서, 특히 상기 프로젝터의, 상기 카메라 시스템의 및/또는 상기 측정 물체의 상기 가속도들로부터 유도되는 현재의 위치들 및 방위들의 함수로서, 및 특히, 추가로 상기 측정 물체 표면(1s)의 적어도 대략 알려진 또는 이전에 적어도 대략 결정된 3D 좌표들의 함수로서, 현재의 측정 진행 및/또는 측정 프로세스 적응 파라미터들을 유도하도록 설계되고,
    및
    · 상기 프로젝터(3)는 상기 평가 유닛에 의해 구동될 수 있는 방식으로 뿐만 아니라, 상기 유도된 현재의 측정 진행 및/또는 측정 프로세스 적응 파라미터들(9)에 관한 정보가 사용자들을 안내하고 상기 측정 프로세스를 최적화하기 위해 상기 측정 물체 표면(1s) 위에 투영되는 방식으로 설계되고 구성되고, 특히
    ° 상기 프로젝터(3) 및/또는 상기 카메라 시스템(4)이 상기 추가의 측정 프로세스 중 정렬되는 측정 방향, 및/또는
    ° 상기 추가의 측정 프로세스 중 상기 프로젝터(3) 및/또는 상기 카메라 시스템(4)에 의해 채택되는 측정 위치 및/또는
    ° 상기 프로젝터(3) 및/또는 상기 카메라 시스템(4)이 불변 측정 방향 및 측정 위치에서 가능한 한 안정되게 유지되는 유지 기간들, 및/또는
    ° 상기 측정된 가속도들의 도움을 받아 유도되는, 상기 프로젝터(3)의, 상기 카메라 시스템(4)의 및/또는 상기 측정 물체(1)의 현재의 동적 레벨 - 특히 그것은 미리 규정된 동적 레벨 상한이 현재 유지되는지의 여부가 특정됨,
    에 관한 정보가 상기 측정 진행 및/또는 측정 프로세스 적응 파라미터들(9)로서 투영되는 것을 특징으로 하는, 광학 측정 시스템(7).
  15. 제10항 내지 제14항 중 어느 한 항에 있어서,
    상기 시스템은 특히 상기 평가 유닛의 상기 자동 제어 하에서 제1항 내지 제9항 중 어느 한 항에 청구된 상기 광학 측정 방법을 실행하도록 설계되고 구성되는 것을 특징으로 하는, 광학 측정 시스템(7).
KR1020137030596A 2011-05-19 2012-05-16 측정 물체 표면 위에서 3d 좌표들을 결정하기 위한 광학 측정 방법 및 측정 시스템 KR101605386B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP11166780A EP2527784A1 (de) 2011-05-19 2011-05-19 Optisches Messverfahren und Messsystem zum Bestimmen von 3D-Koordinaten auf einer Messobjekt-Oberfläche
EP11166780.4 2011-05-19
PCT/EP2012/059120 WO2012156448A1 (de) 2011-05-19 2012-05-16 Optisches messverfahren und messsystem zum bestimmen von 3d-koordinaten auf einer messobjekt-oberfläche

Publications (2)

Publication Number Publication Date
KR20130140203A true KR20130140203A (ko) 2013-12-23
KR101605386B1 KR101605386B1 (ko) 2016-03-22

Family

ID=44477675

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137030596A KR101605386B1 (ko) 2011-05-19 2012-05-16 측정 물체 표면 위에서 3d 좌표들을 결정하기 위한 광학 측정 방법 및 측정 시스템

Country Status (8)

Country Link
US (1) US9628779B2 (ko)
EP (2) EP2527784A1 (ko)
JP (1) JP2014517285A (ko)
KR (1) KR101605386B1 (ko)
CN (1) CN103562675B (ko)
AU (1) AU2012258247B2 (ko)
CA (1) CA2834192C (ko)
WO (1) WO2012156448A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180123443A (ko) * 2017-05-08 2018-11-16 디즈니엔터프라이지즈,인크. 2d 애셋으로부터의 3d 모델 구축

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8903149B1 (en) * 2013-01-18 2014-12-02 Anritsu Company System and method of communicating information about an object concealed by a scanned surface
US11153696B2 (en) 2017-02-14 2021-10-19 Virtual 3-D Technologies Corp. Ear canal modeling using pattern projection
US9456752B2 (en) 2013-03-14 2016-10-04 Aperture Diagnostics Ltd. Full-field three-dimensional surface measurement
CA2902742C (en) * 2013-03-21 2018-01-09 International Electronic Machines Corporation Noncontact measuring device
US9233469B2 (en) * 2014-02-13 2016-01-12 GM Global Technology Operations LLC Robotic system with 3D box location functionality
JP6337614B2 (ja) * 2014-05-23 2018-06-06 セイコーエプソン株式会社 制御装置、ロボット、及び制御方法
JP6387251B2 (ja) * 2014-06-02 2018-09-05 株式会社ミツトヨ 位置計測装置
CN104052976B (zh) * 2014-06-12 2016-04-27 海信集团有限公司 投影方法及装置
DE102014012710A1 (de) 2014-08-27 2016-03-03 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zum Bestimmen der 3D-Koordinaten eines Objekts
EP3190944A4 (en) * 2014-09-12 2018-07-11 Aperture Diagnostics Ltd. Systems and methods using spatial sensor data in full-field three-dimensional surface measurment
DE102015208285A1 (de) * 2015-05-05 2016-11-10 Friedrich-Schiller-Universität Jena Vorrichtung und verfahren zum räumlichen vermessen von oberflächen
CN107690303B (zh) 2015-06-04 2021-11-05 惠普发展公司，有限责任合伙企业 用于生成三维模型的计算设备和方法
CN107636482B (zh) * 2015-07-31 2021-06-29 惠普发展公司，有限责任合伙企业 用于3d扫描的转盘外围设备
CN105371760A (zh) * 2015-10-26 2016-03-02 深圳市正控科技有限公司 一种应用于纠偏系统的边缘检测器
EP3203180B1 (en) * 2016-02-04 2018-12-05 Mettler-Toledo GmbH Apparatus and methods for dimensioning an object carried by a vehicle moving in a field of measurement
KR101733228B1 (ko) 2016-04-28 2017-05-08 주식회사 메디트 구조광을 이용한 3차원 스캐닝 장치
US10423197B2 (en) * 2017-02-08 2019-09-24 Hewlett-Packard Development Company, L.P. Object scanners with openings
CN107202554B (zh) * 2017-07-06 2018-07-06 杭州思看科技有限公司 同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统
US11064184B2 (en) * 2017-08-25 2021-07-13 Aurora Flight Sciences Corporation Aerial vehicle imaging and targeting system
US10495421B2 (en) 2017-08-25 2019-12-03 Aurora Flight Sciences Corporation Aerial vehicle interception system
EP3460388A1 (en) 2017-09-26 2019-03-27 Hexagon Metrology (Israel) Ltd. Global positioning of a sensor with respect to different tiles for a global three-dimensional surface reconstruction
DE102018108874A1 (de) * 2018-04-13 2019-10-17 Isra Vision Ag Verfahren und System zur Vermessung eines Objekts mittels Stereoskopie
US10753734B2 (en) 2018-06-08 2020-08-25 Dentsply Sirona Inc. Device, method and system for generating dynamic projection patterns in a confocal camera
JP7172305B2 (ja) * 2018-09-03 2022-11-16 セイコーエプソン株式会社 三次元計測装置およびロボットシステム
US10791277B2 (en) 2018-09-11 2020-09-29 Cognex Corporation Methods and apparatus for optimizing image acquisition of objects subject to illumination patterns
CN110703963B (zh) * 2019-09-09 2021-07-06 稿定（厦门）科技有限公司 3d文字展示方法、介质、设备及装置
CN111409109B (zh) * 2020-04-01 2022-11-04 伯朗特机器人股份有限公司 工业机器人稳定性的测量和评估方法
DE102020127894B4 (de) 2020-10-22 2022-09-22 Smart Optics Sensortechnik Gmbh Verfahren und Vorrichtung zur optischen dreidimensionalen Vermessung von Objekten
CN116912451B (zh) * 2022-09-20 2024-05-07 梅卡曼德（北京）机器人科技有限公司 点云图像获取方法、装置、设备及存储介质

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5175601A (en) * 1991-10-15 1992-12-29 Electro-Optical Information Systems High-speed 3-D surface measurement surface inspection and reverse-CAD system
GB2292605B (en) 1994-08-24 1998-04-08 Guy Richard John Fowler Scanning arrangement and method
DE19633686C2 (de) 1996-08-12 1998-08-20 Fraunhofer Ges Forschung Vorrichtung und Verfahren zur Vermessung von Entfernungen und/oder räumlichen Koordinaten von Gegenständen und/oder deren zeitlicher Änderung
US6104840A (en) * 1996-11-08 2000-08-15 Ricoh Company, Ltd. Method and system for generating a composite image from partially overlapping adjacent images taken along a plurality of axes
US5870136A (en) * 1997-12-05 1999-02-09 The University Of North Carolina At Chapel Hill Dynamic generation of imperceptible structured light for tracking and acquisition of three dimensional scene geometry and surface characteristics in interactive three dimensional computer graphics applications
US6438272B1 (en) * 1997-12-31 2002-08-20 The Research Foundation Of State University Of Ny Method and apparatus for three dimensional surface contouring using a digital video projection system
JP2000099702A (ja) * 1998-09-24 2000-04-07 Olympus Optical Co Ltd ラインセンサを用いた画像処理システム
US6013824A (en) 1998-12-01 2000-01-11 Dow Corning Corporation Redistributing silalkylenes in an alkyl-rich silalkylene-containing residue
JP2000292135A (ja) * 1999-04-07 2000-10-20 Minolta Co Ltd ３次元情報入力カメラ
JP4010753B2 (ja) * 2000-08-08 2007-11-21 株式会社リコー 形状計測システムと撮像装置と形状計測方法及び記録媒体
US6754370B1 (en) * 2000-08-14 2004-06-22 The Board Of Trustees Of The Leland Stanford Junior University Real-time structured light range scanning of moving scenes
DE10127304C5 (de) 2001-06-06 2007-07-19 Technische Universität Carolo-Wilhelmina Zu Braunschweig Verfahren und Vorrichtung zur Bestimmung der dreidimensionalen Kontur einer spiegelnden Oberfläche eines Objektes
US6709116B1 (en) * 2003-03-21 2004-03-23 Mitsubishi Electric Research Laboratories, Inc. Shape-adaptive projector system
JP2005069771A (ja) * 2003-08-21 2005-03-17 Brother Ind Ltd ３次元形状検出装置、及び、撮像装置
TWI253841B (en) * 2004-04-07 2006-04-21 Benq Corp Apparatus and method for differentiating size of scanned document
US7711179B2 (en) * 2004-04-21 2010-05-04 Nextengine, Inc. Hand held portable three dimensional scanner
US7578522B2 (en) * 2005-08-30 2009-08-25 Daicel Chemical Industries, Ltd. Gas generator
US7545512B2 (en) * 2006-01-26 2009-06-09 Koh Young Technology Inc. Method for automated measurement of three-dimensional shape of circuit boards
JP4976756B2 (ja) 2006-06-23 2012-07-18 キヤノン株式会社 情報処理方法および装置
DE102006049695A1 (de) * 2006-10-16 2008-04-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum berührungslosen Erfassen einer dreidimensionalen Kontur
WO2008126647A1 (ja) * 2007-04-05 2008-10-23 Nikon Corporation 形状測定装置及び形状測定方法
WO2009113528A1 (ja) * 2008-03-11 2009-09-17 株式会社ニコン 形状測定装置
DE102008036710A1 (de) 2008-08-07 2010-02-11 GOM - Gesellschaft für Optische Meßtechnik mbH Messsystem und Verfahren zum dreidimensionalen optischen Vermessen von Objekten
GB2467932A (en) * 2009-02-19 2010-08-25 Sony Corp Image processing device and method
US8339616B2 (en) * 2009-03-31 2012-12-25 Micrometric Vision Technologies Method and apparatus for high-speed unconstrained three-dimensional digitalization
WO2010140059A2 (en) * 2009-06-01 2010-12-09 Gerd Hausler Method and device for three-dimensional surface detection with a dynamic reference frame
DK2442720T3 (en) * 2009-06-17 2016-12-19 3Shape As Focus scan devices
DE102009026248A1 (de) 2009-07-24 2011-01-27 Degudent Gmbh Generierung eines Gesamtdatensatzes
JP5460341B2 (ja) * 2010-01-06 2014-04-02 キヤノン株式会社 ３次元計測装置及びその制御方法
CN102196242A (zh) 2010-02-12 2011-09-21 王炳立 具有图像增强功能的自适应场景图像辅助系统
JP2011232104A (ja) * 2010-04-26 2011-11-17 Nikon Corp 形状測定装置
EP2400261A1 (de) 2010-06-21 2011-12-28 Leica Geosystems AG Optisches Messverfahren und Messsystem zum Bestimmen von 3D-Koordinaten auf einer Messobjekt-Oberfläche
JP5616210B2 (ja) * 2010-12-09 2014-10-29 株式会社ミツトヨ 形状測定システム及び形状測定方法
US9185392B2 (en) * 2012-11-12 2015-11-10 Spatial Integrated Systems, Inc. System and method for 3-D object rendering of a moving object using structured light patterns and moving window imagery

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180123443A (ko) * 2017-05-08 2018-11-16 디즈니엔터프라이지즈,인크. 2d 애셋으로부터의 3d 모델 구축

Also Published As

Publication number Publication date
AU2012258247B2 (en) 2014-09-04
US9628779B2 (en) 2017-04-18
CA2834192C (en) 2017-07-25
KR101605386B1 (ko) 2016-03-22
EP2710331B1 (de) 2019-07-03
CN103562675B (zh) 2017-04-26
JP2014517285A (ja) 2014-07-17
WO2012156448A1 (de) 2012-11-22
CN103562675A (zh) 2014-02-05
EP2710331A1 (de) 2014-03-26
CA2834192A1 (en) 2012-11-22
AU2012258247A1 (en) 2013-09-19
EP2527784A1 (de) 2012-11-28
US20140063204A1 (en) 2014-03-06

Similar Documents

Publication Publication Date Title
KR101605386B1 (ko) 측정 물체 표면 위에서 3d 좌표들을 결정하기 위한 광학 측정 방법 및 측정 시스템
US11825062B2 (en) Motion blur compensation
JP5680196B2 (ja) 測定対象物表面上の三次元座標を求めるための光学式測定方法および測定システム
EP3486604B1 (en) Intraoral three-dimensional measuring device, intraoral three-dimensional measuring method, and intraoral three-dimensional measurement result display method
EP2183546B1 (en) Non-contact probe
US20150015701A1 (en) Triangulation scanner having motorized elements
US7142312B2 (en) Laser digitizer system for dental applications
US8243286B2 (en) Device and method for the contactless detection of a three-dimensional contour
US7812969B2 (en) Three-dimensional shape measuring apparatus
JP2006514739A5 (ko)
JP2010169634A (ja) 作業装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant