KR102460791B1 - 3차원 이미징 시스템에서 광 삼각 측량으로부터의 이미지 데이터에 강도 피크 위치를 제공하기 위한 방법 및 장치 - Google Patents

3차원 이미징 시스템에서 광 삼각 측량으로부터의 이미지 데이터에 강도 피크 위치를 제공하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR102460791B1
KR102460791B1 KR1020200101225A KR20200101225A KR102460791B1 KR 102460791 B1 KR102460791 B1 KR 102460791B1 KR 1020200101225 A KR1020200101225 A KR 1020200101225A KR 20200101225 A KR20200101225 A KR 20200101225A KR 102460791 B1 KR102460791 B1 KR 102460791B1
Authority
KR
South Korea
Prior art keywords
peak
intensity
location
light
intensity peak
Prior art date
Application number
KR1020200101225A
Other languages
English (en)
Other versions
KR20210020813A (ko
Inventor
마티아스 요하네슨
크리스토퍼 맘그렌
Original Assignee
지크 아이브이피 아베
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지크 아이브이피 아베 filed Critical 지크 아이브이피 아베
Publication of KR20210020813A publication Critical patent/KR20210020813A/ko
Application granted granted Critical
Publication of KR102460791B1 publication Critical patent/KR102460791B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254Projection of a pattern, viewing through a pattern, e.g. moiré
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44Electric circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44Electric circuits
    • G01J2001/4413Type
    • G01J2001/4433Peak sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10144Varying exposure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Multimedia (AREA)

Abstract

3차원 이미징 시스템(100)에서 수행되는 광 삼각 측량의 일부로서, 광이 물체에 반사된 후, 이미지 센서(131)에 의해 감지된 광에 응답하여 이미지 센서(131)에 의해 생성되는 이미지 데이터에서 강도 피크(305, 405, 505, 605)의 위치가 제공된다. 디바이스(100, 130, 131, 200, 201, 1200)는 이미지 데이터를 획득하고(1101), 강도 피크가 연관되는 제1 및 다른 제2 피크 특성 중 어느 것을 결정하도록(1102) 구성된다. 강도 피크가 제1 피크 특성과 연관되는 경우, 제1 컴퓨팅 알고리즘에 따라 그리고 강도 피크가 제2 피크 특성과 연관되는 경우, 상이한 제2 컴퓨팅 알고리즘에 따라 위치가 제공된다(1103).

Description

3차원 이미징 시스템에서 광 삼각 측량으로부터의 이미지 데이터에 강도 피크 위치를 제공하기 위한 방법 및 장치{METHOD AND ARRANGEMENTS FOR PROVIDING INTENSITY PEAK POSITION IN IMAGE DATA FROM LIGHT TRIANGULATION IN A THREE-DIMENSIONAL IMAGING SYSTEM}
본 명세서의 실시예는, 광이 3차원 이미징 시스템에서 수행된 광 삼각 측량의 일부로서 물체에 반사된 후, 이미지 센서에 의해 감지된 광에 응답하여, 이미지 센서에 의해 생성된 이미지 데이터에서 강도 피크의 위치를 제공하기 위한 방법 및 장치에 관한 것이다.
디지털 이미지는 일반적으로 픽셀 어레이로 정의된다. 픽셀 어레이 내의 픽셀 수는 일반적으로 해상도라고 한다. 각각의 픽셀은 픽셀의 위치를 위한 이미지에 대한 정보를 포함하는 하나 이상의 픽셀 값으로 표현되는데, 즉, 이 픽셀 값과 연관된다. 그레이 스케일 이미지에서, 픽셀은 그 픽셀의 강도를 설명하는 음이 아닌 정수 값으로 표현된다. 이미지의 비트 깊이(bit-depth)는 픽셀이 가질 수 있는 값의 범위를 정의한다.
공장 및 물류 자동화를 위한 산업용 비전 카메라 및 시스템은 3차원(three-dimensional; 3D) 머신 비전에 기초할 수 있으며, 여기서 장면 및/또는 물체의 3D 이미지가 캡처된다. 3D 이미지는 종래의 이미지와 같이 단지 2차원(2D)의 픽셀에 관한 정보, 예를 들어, 강도 및/또는 색상뿐만 아니라, 또는 적어도 이들뿐만 아니라, "높이" 또는 "깊이"를 포함하는 이미지를 지칭한다. 즉, 이미지의 각 픽셀은 이미지 내의 픽셀의 위치와 연관된 그러한 정보를 포함할 수 있고, 그러한 정보는 이미징된 것, 예를 들어, 물체의 위치에 매핑된다. 그런 다음, 프로세싱은 3D 이미지로부터 물체의 특성에 관한 정보, 즉 물체의 3D 특성을 추출하고, 예를 들어, 다양한 3D 이미지 포맷으로 변환하기 위해 적용될 수 있다. 높이에 관한 이러한 정보는 범위 데이터로 지칭될 수 있고, 따라서 범위 데이터는 이미징되고 있는 물체의 높이 측정으로부터의, 또는 다시 말해 물체의 범위 또는 거리 측정으로부터의 데이터에 대응할 수 있다. 대안적으로 또는 추가적으로, 픽셀은 예를 들어, 이미징된 구역에서의 광의 (scattering) 또는 특정 파장의 광의 반사와 관련된 것과 같이 물질 특성에 관한 정보를 포함할 수 있다.
따라서, 픽셀 값은 예를 들어, 픽셀의 강도 및/또는 범위 데이터 및/또는 물질 특성과 관련될 수 있다.
라인 스캔 이미지 데이터는, 예를 들어, 한 번에 한 라인의 픽셀의 이미지 데이터를 감지하고 제공하도록 구성된 센서를 구비한 카메라에 의해, 이미지의 이미지 데이터가 한 번에 한 라인씩 스캔되거나 제공될 때 생성된다. 라인 스캔 이미지의 특별한 경우는 예를 들면, 레이저 광선, 3D 삼각 측량과 같은 소위 "광 시트(sheet of light)"에 의해 제공되는 이미지 데이터이다. 레이저는 종종 선호되지만 "광 시트"를 제공할 수 있는 다른 광원, 예를 들어, 발광 다이오드(Light Emitting Diode; LED)에 의해 제공되는 광과 같이 포커싱된 채로 있고 너무 많이 퍼지지(spread out) 않는 광을 제공할 수 있는 광원도 사용할 수 있다.
3D 머신 비전 시스템은 종종 이러한 삼각 측량을 기반으로 한다. 이러한 시스템에서, 특정 광 패턴으로서 예를 들어, 광의 시트와 같은 특정 광 패턴을 가지고 상기 물체를 조명하는 광원이 존재하며, 이는 상기 물체에 광, 또는 레이저 라인(laser line)을 발생시키고, 이를 따라서 상기 물체의 프로파일에 대응하는 상기 물체의 라인 3D 특성이 캡처될 수 있다. 이러한 라인으로 물체를 스캔함으로써, 즉, 라인 스캔을 수행함으로써, 다수의 프로파일에 대응하여 전체 물체의 3D 특성이 캡쳐될 수 있다.
삼각 측량을 위해 광 시트를 사용하는 3D 머신 비전 시스템 또는 디바이스는, 레이저 광이 사용될 때 광 또는 광 시트, 삼각 측량, 또는 단순히 레이저 삼각 측량에 기초한 3D 이미징을 위한 시스템 또는 디바이스라고 지칭될 수 있다.
종래에, 광 삼각 측량에 기초하여 3D 영상을 생성하기 위해, 이미징될 물체로부터의 반사광이 카메라의 이미지 센서에 의해 캡쳐되고, 이미지 데이터에서 강도 피크가 검출되는데, 이는 이 강도 피크가, 물체로부터 반사된, 예를 들어, 레이저 라인에 대응하는 입사광을 갖는 이미징된 물체 상의 위치에 대응하는 위치에서 발생하기 때문이다. 검출된 피크의 이미지에서의 위치는 피크를 초래한 광이 반사된 곳의 물체 상의 위치에 매핑될 것이다. 각 피크는 실제로 광이 반사되는 방식으로 인해 높이와 폭을 모두 가지며, 레이저 광의 경우에도 물체에서 반사될 때 광이 항상 어느 정도 퍼지고 확산될 것이다. 이는 피크가 이미지에서, 예를 들어, 이미지에서 픽셀 열과 같은 특정 방향을 따라 이미지에서 다수의 연속적으로 발생하는 픽셀을 수반한다는 것을 의미한다.
이미지에서 피크의 위치를 찾기 위해, 예를 들어, 무게 중심 또는 유사한 알고리즘을 사용하여 일반적으로 피크의 중심에 대응하는 위치를 찾음으로써, 일반적으로 이미지 데이터에서 동작하고 피크 위치를 제공하는 알고리즘이 적용된다.
위의 관점에서, 3D 이미지의 정확도, 따라서 정확한 3D 데이터 및 이미지를 제공하는 능력은 이미지 데이터에서 강도 피크의 위치를 식별하고 찾을 수 있는 능력에 의존한다는 것이 인식된다.
상기의 관점에서, 본 목적은, 향상된 정확도를 가진 물체의 3D 이미징을 가능하게 하는 것과, 특히 3D 이미징이 3D 이미징 시스템에 의해 수행되는 광 삼각 측량의 일부로서 물체로부터 반사된 광을 감지하는 이미지 센서에 기초하는 경우와 같은, 종래 기술에 대한 하나 이상의 개선 또는 대안을 제공하는 것이다.
표면이 주로 불투명하고 광을 반사하는 물체는, 강도 피크의 중심 위치를 찾기 위한 단일 컴퓨팅 알고리즘과 강도 피크를 초래하는 광을 반사한 물체 표면의 위치에 어느 위치가 잘 매핑되는 지에 기초하는 것과 같은, 기존의 방법과 잘 작동한다. 그러나, 광이 반사되는 표면이 반투명 또는 투명 물질인 경우, 물질 내부 및/또는 물질을 통한 실질적인 반사 및 실제표면에서의 반사가 없거나 거의 없는 경우에 이것이 잘 작동하지 않는 것으로 밝혀졌다. 접착제 및 유리가 이러한 물질의 예이다. 이 경우의 문제점은 더 약하고 더 많이 "확산된" 강도 피크와 관련될 뿐만 아니라 강도 피크의 중심이 더 이상 좋은 측정치가 아닌 것으로 관찰되었다는 것이다. 그 결과는, 생성되는 3D 이미지가 상황 및/또는 응용 분야에 따라 바람직하거나 심지어 필요한 정확도로 물체의 일부를 캡처할 수 없을 감소된 정확도이다. 대신에, 이들 경우에 강도 피크의 에지의 위치가 사용하기에 더 양호하다는 것이 관찰되었다. 즉, 실질적으로 반투명하거나 투명한 물질을 갖는 물체의 표면 위치, 예를 들어, 습식 접착제 또는 유리의 표면에서의 반사로 인한 강도 피크의 경우, 강도 피크의 에지 검출을 위한 컴퓨팅 알고리즘이 사용하기에 가장 좋을 수 있지만, 물체의 불투명한 표면에서의 반사로 인한 강도 피크의 경우, 강도 피크의 중심 검출을 위한 또 다른 컴퓨팅 알고리즘이 사용하기에 최상일 수 있다. 물질 특성 및 사용되고 있는 이미징 시스템의 구성에 따라, 실제 상황에서 당업자가 쉽게 인식할 수 있는 바와 같이, 검출할 에지가 처음 또는 마지막이다. 따라서, 이하에서, 설명을 단순화하기 위해 단순히 "에지" 또는 "제1 에지"가 참조되고 사용될 수 있으며, 제한적으로 의도된 것은 아니다.
그러나, 실제로는 전술한 바와 같이 주로 불투명한 표면 또는 실질적으로 반투명하거나 투명한 표면만을 가질 뿐만 아니라 두 종류의 표면의 혼합인 이미징될 물체가 일반적이다. 다시 말해서, 물체의 일부가 3D 이미지에 의해 정확하게 캡처되지 않기 때문에, 혼합된 유형의 표면을 갖는 그러한 물체에 대해서는 강도 피크와 관련된 위치를 찾기 위해 단일 컴퓨팅 알고리즘만을 적용하는 것만으로는 충분하지 않다.
위의 관점에서, 두 종류의 표면 모두를 가진 물체를 처리함으로써 표면의 높이 변화와 같은 물체의 3D 특성을 보다 정확하게 캡처할 수 있기 위해 3D 이미지를 제공할 수 있는 솔루션이 바람직할 것이다.
또한, 상기 논의로부터, 위에서 언급된 것 이외의 일부 다른 컴퓨터 알고리즘으로부터 이익을 얻을 이미징될 물체의 일부 물질 및 표면이 있을 수 있다는 것을 배제할 수 없다는 것을 알아야한다.
본 명세서의 실시예의 제1 양상에 따라, 광이 3차원 이미징 시스템에서 수행된 광 삼각 측량의 일부로서 물체에 반사된 후, 이미지 센서에 의해 감지된 광에 응답하여, 이미지 센서에 의해 생성된 이미지 데이터에서 강도 피크의 위치를 제공하기 위한 하나 이상의 디바이스에 의해 목적이 달성된다. 하나 이상의 디바이스는 이미지 데이터를 획득하고 강도 피크가 연관되는 제1 및 다른 제2 피크 특성 중 어느 것을 결정하도록 구성된다. 하나 이상의 디바이스는 또한, 강도 피크가 상기 제1 피크 특성과 연관되면, 이미지 데이터에 대해 동작하는 제1 컴퓨팅 알고리즘에 따라서, 그리고 강도 피크가 제2 피크 특성과 연관되면 이미지 데이터에 대해 동작하는 다른 제2 컴퓨팅 알고리즘에 따라 위치를 제공하도록 구성된다.
본 명세서의 실시예의 제2 양상에 따라, 광이 3차원 이미징 시스템에서 수행된 광 삼각 측량의 일부로서 물체에 반사된 후, 이미지 센서에 의해 감지된 광에 응답하여, 이미지 센서에 의해 생성된 이미지 데이터에서 강도 피크의 위치를 제공하기 위해 하나 이상의 디바이스에 의해 수행되는 방법에 의해 목적이 달성된다. 하나 이상의 디바이스는 이미지 데이터를 획득하고 강도 피크가 연관되는 제1 및 다른 제2 피크 특성 중 어느 것을 결정한다. 하나 이상의 디바이스는 또한, 강도 피크가 제1 피크 특성과 연관되면, 이미지 데이터에 대해 동작하는 제1 컴퓨팅 알고리즘에 따라서, 강도 피크가 제2 피크 특성과 연관되면 이미지 데이터에 대해 동작하는 다른 제2 컴퓨팅 알고리즘에 따라 위치를 제공한다.
본 명세서의 실시예의 제3 양상에 따라, 목적은 상기 하나 이상의 디바이스에 의해 실행될 때 하나 이상의 디바이스가 제2 양상에 따른 방법을 수행하게 하는 명령어들을 포함한 컴퓨터 프로그램에 의해 달성된다.
여기에서 실시예의 제4 양상에 따르면, 목적은 상기 제3 양상에 따른 컴퓨터 프로그램을 포함한 캐리어(carrier)에 의해 달성된다.
본 명세서의 실시예는 전술한 바와 같은 적어도 두 개의 컴퓨팅 알고리즘이 이용 가능하고, 잠재적으로 이 두 개의 알고리즘이 각각의 강도 피크에 모두 사용되지만, 3D 이미지에서 사용될 위치를 제공하기 위해 결국에는 오직 하나의 알고리즘만이 사용된다는 점에 기초하며, 물론 이 하나의 알고리즘은 여기서 논의된 바와 같이 가장 적합한 알고리즘이어야 한다. 강도 피크가 연관되는 두 개의 피크 특성 중 어느 것을 결정하고 그에 따라 위치를 제공함으로써 가장 적합한 알고리즘을 사용할 수 있다. 이러한 목적을 위해 피크 특성을 사용하는 것은 위에서 나타내고 여기서 더 설명한 바와 같이, 피크의 특성은 강도 피크를 초래하는 광을 반사한 물체의 표면 상의 위치에 가장 정확하게 매핑하는 위치를 제공하기에 가장 적합한 두 개의 컴퓨팅 알고리즘 중의 어느 컴퓨팅 알고리즘을 나타내기 때문에 가능하다.
따라서, 본 발명의 실시예들 덕분에, 물체가 광을 다르게 반사하는 상이한 성질을 갖는 표면들의 혼합을 포함하고, 따라서 강도 피크의 위치를 찾는 상이한 방법들로부터 이익을 얻을 때, 3D-이미징 시스템에 의해 수행되는 광, 예컨대, 레이저, 삼각 측량에 의해 보다 정확한 3D 이미지 물체를 제공할 수 있다. 특히, 이미징되고 있는 물체가, 예를 들어, 일부 고체 물질 표면을 포함하는 물체 및 일부는 예를 들어, 접착제를 포함하는 경우에서와 같이, 주로 불투명한 표면 및 일부 실질적인 정도까지 반투명하거나 투명한 표면을 포함할 때, 더욱 정확한 3D 이미지가 가능해진다. 이러한 목적은, 또 다른 제2 부분에 장착될 고체 제1 부분에 이 목적을 위해 접착제가 제공되었을 때 형성될 수 있다.
본 명세서의 실시예의 예를 이하에서 간단히 설명하는 첨부 도면을 참조하면서 더 자세히 설명한다.
도 1은 3D 이미지를 제공하기 위한 삼각 측량 기반 3D 이미징 시스템을 개략적으로 도시하며, 여기서 시스템 실시예가 구현될 수 있다.
도 2는 본 명세서의 실시예들을 수행하도록 구성될 수 있는 예시적인 시스템을 개략적으로 도시한다.
도 3은 강도 피크의 중심 위치가 물체 상의 표면 위치의 양호한 척도인 상황을 개략적으로 예시한다.
도 4는 강도 피크의 에지 위치가 강도 피크의 중심 위치보다, 물체 상의 표면 위치의 더 나은 척도(measure)인 상황을 개략적으로 예시한다.
도 5는 강도 피크의 에지 위치가 강도 피크의 중심 위치보다, 물체 상의 표면 위치의 양호하고 더 나은 척도일 때의 또 다른 상황을 개략적으로 예시한다.
도 6은 강도 피크의 중심 위치가 물체 상의 표면 위치의 양호한 척도가 된 상황을 개략적으로 예시한다.
도 7a 및 도 7b는 컴퓨팅 알고리즘에 의해 강도 피크의 에지 위치가 결정될 수 있는 상이한 방법을 개략적으로 도시한다.
도 8a 및 8b는 강도 피크의 에지 위치가 결정될 때 증가된 노출이 사용될 수 있는 방법을 개략적으로 도시한다.
도 9a는 물체의 3D 이미지에서 강도가 물체의 상이한 부분들에 어떻게 분포될 수 있는지를 도시한다.
도 9b는, 여기서는 위치를 결정하기 위한 두 개의 상이한 컴퓨팅 알고리즘에 따라 강도 피크의 위치가 또한 도시되어 있다는 것을 제외하고는 도 9a와 동일하다.
도 10a 및 10b는, 강도 피크의 특성을 결정하기 위해 산란 측정이 사용될 수 있는 방법을 개략적으로 도시한다.
도 11은 본 발명의 실시예에 따른 방법의 실시예를 개략적으로 도시하는 흐름도이다.
도 12는 본 명세서의 실시예에 따른 하나 이상의 디바이스의 실시예와, 이러한 디바이스가 도 11과 관련하여 설명된 방법 및 동작을 수행하도록 구성될 수 있는 방법을 예시하기 위한 기능 블록도이다.
도 13은 상기 하나 이상의 디바이스로 하여금 도 11과 관련하여 설명된 방법 및 동작을 수행하게 하는 컴퓨터 프로그램 및 그 캐리어에 관한 실시예를 도시한 개략도이다.
본 명세서의 실시예는 예시적인 실시예이다. 이러한 실시예는 반드시 상호 배타적일 필요는 없다는 점에 주목하여야 한다. 일 실시예로부터의 컴포넌트는 또 다른 실시예에도 존재하는 것으로 암묵적으로 가정될 수 있고, 이들 컴포넌트가 다른 예시적인 실시예에서 어떻게 사용될 수 있는가는 당업자에게 명백할 것이다.
도 1은 발명의 배경이 되는 기술에 언급된 바와 같은 유형의 3D 이미징 시스템, 즉, 3D 이미징 시스템(100)의 일례를 개략적으로 도시하며, 이는 또한 머신 비전 시스템의 일례이다. 아래에 더 설명될 바와 같이, 시스템(100)은 본 명세서의 실시예들을 구현하기 위해 사용될 수 있다.
시스템(100)은 여기서 발명의 배경이 되는 기술에서 언급된 바와 같이 광 삼각 측량의 시트의 형태로 광 삼각 측량을 수행하도록 구성된다. 시스템(100)은 광 시트로서 예시되고 도시된 이 도면에서 특정 광 패턴(111)으로 이미징될 물체를 조명하기 위한 광원(110), 예를 들어, 레이저를 더 포함한다. 또한 발명의 배경이 되는 기술에서 논의된 바와 같이, 광은 레이저 광일 수 있지만 반드시 그럴 필요는 없다. 도시된 예에서, 물체는 자동차 형태의 제1 물체(120) 및 기어 휠 구조 형태의 제2 물체(121)로 예시된다. 특정 광 패턴(111)이 물체에 입사될 때, 이는 특정 광 패턴(111)이 물체와 교차할 때 보여질 수 있는 물체 상의 특정 광 패턴(111)의 투영에 대응한다. 예를 들어, 도시된 예에서, 광 시트로서 예시된 특정 광 패턴(111)은 제1 물체(120) 상에 광 라인(112)을 초래한다. 특정 광 패턴(111)은 물체에 의해, 보다 구체적으로는 교차점에서, 즉 도시된 예에서 광선(112)에서 물체의 일부에 의해 반사된다. 측정 시스템(100)은, 광원(110)에 대해 배열되는 이미지 센서(도 1a에 도시되지 않음)를 포함하는 카메라 유닛(130)과, 특정 광 패턴이, 물체에 의해 반사될 때, 이미지 센서 상에 입사광이 되도록, 이미징될 물체를 더 포함한다. 이미지 센서는 통상적으로 입사광을 이미지 데이터로 변환하기 위한 칩으로 구현되는 장치이다. 반사에 의해 이미지 센서 상에 상기 입사광을 유발하는 물체의 상기 부분은 카메라 유닛(130) 및 이미지 센서에 의해 캡처될 수 있고, 대응하는 이미지 데이터가 생성되어 추가 사용을 위해 제공될 수 있다. 예를 들어, 도시된 예에서, 제1 물체(120)의 자동차 루프의 일부에 있는 광 라인(112)에서의 특정 광 패턴(111)은 카메라 유닛(130) 및 이미지 센서를 향해 반사되어, 자동차 루프의 상기 부분에 대한 정보를 사용해 이미지 데이터를 생성하고 이를 제공할 수 있다. 측정 시스템(100)의 기하학적 구조의, 예를 들어, 이미징되고 있는 물체 및 그 문맥과 관련해, 이미지 센서 좌표가 세계 좌표, 예를 들어, 데카르트 좌표인 좌표계(123)의 좌표와 어떻게 관련되는지에 대한 지식으로, 이미지 데이터는 3D 특성, 예를 들어, 적절한 포맷으로 이미징되고 있는 물체의 3D 형상 또는 프로파일에 대한 정보로 변환될 수 있다. 상기 3D 특성, 예를 들어, 상기 3D 형상(들) 또는 프로파일(들)에 관한 정보는 임의의 적절한 포맷으로 3D 특성을 기술하는 데이터를 포함할 수 있다.
예를 들어, 광원(110) 및/또는 예를 들어, 제1 물체(120) 또는 제2 물체(121)와 같이 이미징될 물체를 이동시킴으로써, 물체의 다수의 부분이 조명되고, 실제로 일반적으로 물체를 스캔함으로써 이미지 센서에 반사된 광을 야기시켜서, 물체의 보다 완전한 3D 형상을 기술하는 이미지 데이터가, 예를 들어, 제1 물체(120)의 도시된 프로파일 이미지(140-1 내지 140-N)와 같은 물체의 다수의 연속적인 프로파일에 대응하여 생성될 수 있으며, 여기서 각각의 프로파일 이미지는 카메라 유닛(130)의 이미지 센서가 광을 감지하여 프로파일 이미지를 생성할 때 특정 광 패턴(111)이 반사된 제1 물체(120)의 윤곽을 보여 준다. 이 도면에 표시된 바와 같이, 광원(110) 및 카메라 유닛(130)은 전형적으로 정지되어 있으면서 컨베이어 벨트(122) 또는 이와 유사한 것이 물체를 특정 광 패턴(112)을 통과해 이동시키는데 사용될 수 있고, 그리고/또는 카메라 유닛(130)은 물체 위로 이동될 수 있어, 물체의 모든 부분 또는 광원(110)에 대향하는(facing) 적어도 모든 부분이 조명되고 카메라 유닛이 이미징되길 원하는 물체의 모든 부분으로부터 반사된 광을 수신한다.
위에서 이해된 바와 같이, 카메라 유닛(130) 및 이미지 센서에 의해 제공되는, 예를 들어, 제1 물체(120)의 이미지는 프로파일 이미지(140-1 내지 140-N) 중 임의의 하나에 대응할 수 있다. 프로파일 이미지들(140-1 내지 140-N) 중 어느 하나에 도시된 제1 물체의 윤곽의 각 위치는 이미지 센서에 의해 캡처된 이미지 데이터에서 강도 피크의 식별 및 이들 강도 피크의 위치를 찾는 것에 기초하여 결정된다.
도 2는 아래에서 더 상세히 설명되는 바와 같이 본 명세서에서 실시예들을 수행하도록 구성될 수 있는 하나 이상의 디바이스를 포함하는 예시적인 시스템(200)을 개략적으로 도시한다. 시스템(200)은 도 1과 관련하여 위에서 언급된 동일한 카메라 유닛(130) 일 수 있는 카메라 유닛을 포함하고, 차례로 도 1과 관련하여 위에서 논의된 동일한 이미지 센서 일 수 있는 이미지 센서(131)를 포함한다. 카메라 유닛(130) 및 이미지 센서(131)에 의해 제공되는 이미지로부터 도출된 이미지 및/또는 정보는 카메라 유닛(130) 외부에서 추가 프로세싱을 위해, 예를 들어, 컴퓨터 등의 컴퓨팅 디바이스(201)로 전송, 예를 들어, 송신하는 것이 바람직할 수 있다. 이러한 추가 프로세싱은 추가적으로 또는 대안적으로 별도의 컴퓨팅 유닛 또는 디바이스(도시되지 않음)에 의해, 즉 이미지 프로세서(131)와 별개이지만 여전히 카메라 유닛(130)에 포함되어, 예를 들어, 통합된다. 시스템(200)은 3D 이미징 시스템(100)에 완전히 또는 부분적으로 포함될 수 있는데, 즉, 3D 이미징 시스템(100)에 속할 수 있다.
여기서 실시예에 대한 발전으로서, 발명의 배경이 되는 기술에서 표시된 상황이 추가로 설명될 것이다.
표면이 주로 불투명하고 광을 반사하는 표면을 가진 물체는 강도 피크의 중심의 위치와 강도 피크를 초래하는 광을 반사한 물체의 표면 상의 위치에 어느 위치가 잘 매핑되는 지를 찾기 위한 단일 컴퓨팅 알고리즘에 기초하는 것과 같은, 기존의 방법과 잘 작동한다. 그러나, 물질 내부 및/또는 물질을 통한 상당한 반사 및 실제 표면에서의 반사가 없거나 거의 없는, 광이 반사되는 표면이 반투명 또는 투명 물질인 경우, 이것이 잘 작동하지 않는 것이 관찰되었다. 반투명 또는 투명 물질은 전형적으로 불투명한 기판 상에 퇴적된다. 접착제 및 유리가 이러한 물질의 예이다. 이 경우의 문제점은 더 약하고 더 많은 "확산된" 강도 피크와 관련될 뿐만 아니라 강도 피크의 중심이 더 이상 좋은 척도가 아닌 것으로 관찰되었다는 것과 관련이 있다. 그 결과는, 생성되는 3D 이미지가 상황 및/또는 응용 분야에 따라 바람직하거나 심지어 필요한 정확도로 물체의 일부를 캡처할 수 없을 감소된 정확도이다. 대신에, 이들 경우에 강도 피크의 에지의 위치가 사용하기에 더 양호하는 것이 관찰되었다. 즉, 실질적으로 반투명하거나 투명한 물질의 표면 위치, 예를 들어, 습식 접착제 또는 유리의 표면 상의 물체의 표면 위치에서의 반사로 인한 강도 피크의 경우, 강도 피크의 에지 검출을 위한 컴퓨팅 알고리즘이 사용하기에 가장 좋을 수 있지만, 물체의 불투명한 표면에서의 반사로 인한 강도 피크의 경우, 강도 피크의 중심 검출을 위한 또 다른 컴퓨팅 알고리즘이 사용하기에 최상일 수 있다.
그러나, 실제로는 전술한 바와 같이 주로 불투명한 표면 또는 실질적으로 반투명하거나 투명한 표면만을 가질 뿐만 아니라 두 종류의 표면의 혼합인 이미징될 물체가 일반적이다. 다시 말해서, 물체의 일부가 3D 이미지에 의해 정확하게 포착되지 않을 것이기 때문에, 혼합된 유형의 표면을 갖는 그러한 물체에 대해서는 강도 피크와 관련된 위치를 찾기 위해 단일 컴퓨팅 알고리즘만을 적용하는 것만으로는 충분하지 않다.
위의 관점에서, 두 종류의 표면 모두를 가진 물체를 처리함으로써 표면의 높이 변화와 같은 물체의 3D 특성을 보다 정확하게 캡처할 수 있기 위해 3D 이미지를 제공할 수 있는 솔루션이 바람직할 것이다.
도 3은 강도 피크(305)의 중심 위치가 물체 상의 표면 위치(325)의 양호한 척도인 상황을 개략적으로 예시한다. 여기서 이해를 돕기 위해, 도 1을 참조하고, 도 3의 광원(110) 및 카메라(130)는 지시된 바와 같이 도 1의 3D 이미징 시스템(100)의 광원 및 카메라일 수 있다. 여기서 광원(110)은 물체의 표면(320) 그리고 보다 구체적으로는 표면 위치(325) 상에 입사하는 광(311)을 제공한다. 따라서, 입사 광은 물체(120) 상의 특정 표면 위치, 예를 들어, 라인(112)에 의해 덮인 표면 위치 상에 입사하는 특정 광 패턴(111)의 일부에 대응할 수 있다. 표면 위치(325)에서를 포함하는 표면(320)은 불투명하므로, 도면에 개략적으로 도시된 바와 같이, 강도 피크(305)의 중심 위치는 표면 위치(325)의 정확한 척도를 제공한다. 즉, 종래의 물질 상에서는, 좁고 강한 반사가 관찰될 수 있고, 관찰된 반사에 대응하는 강도 피크의 중심이 위치에 대한 양호한 추정치이다.
그러나, 예를 들어, 레이저 광과 같은 광은 습식 반투명 접착제 표면에 어떠한 반사도 야기하지 않을 수 있다. 대신, 약한 "글로우(glow)"는 물질 내에서 반사되고 산란되는 레이저의 영향으로 볼 수 있다. 이는 다음 도면들에 개략적으로 도시되는 것처럼 매우 약하고 아주 넓게 관찰되는 반사를 야기한다.
도 4는 강도 피크의 에지 위치가 강도 피크의 중심 위치보다 물체 상의 제1 표면 위치(425a)의 더 나은 척도인 상황을 개략적으로 예시한다. 알 수 있듯이, 이 도면은 앞의 도면과 유사성을 갖지만 다음의 초점은 차이점에만 있을 것이다. 여기서 광원(110)은 물체의 표면(422) 상에 그리고 보다 구체적으로는 표면 위치(425a) 상에 입사하는 광(411)을 제공한다. 표면(422)은 여기서 특정 제1 두께이고, 예를 들어, 퇴적에 의해 물체의 하부 불투명 표면(420) 상에 위치될 수 있는, 반투명 또는 투명 물질층(421), 예를 들어, 접착제 또는 유리층의 실질적으로 반투명 또는 투명한, 예를 들어, 반투명한(semi-transparent) 표면이다. 이 물체는, 표면(422)이 표면(320)과는, 물체 상의 다른 곳에 위치하거나, 하부 불투명 표면(420)이 반투명 또는 투명 물질층(421)에 의해 덮인 표면(320)일 수 있는 것을 제외하고는, 도 3에서와 동일한 물체일 수 있다. 이 도면에 개략적으로 도시된 바와 같이, 여기서 강도 피크(405)의 에지 위치는 중심 위치보다 표면 위치(425a)의 양호하고 보다 정확한 측정을 제공하며, 이는 사용되는 경우 오히려 제2 표면 위치(425b)를 나타낼 것이다.
도 5는 강도 피크(505)의 에지 위치가 강도 피크의 중심 위치보다 물체 상의 표면 위치(525)의 양호하고 더 나은 척도일 때의 또 다른 상황을 개략적으로 예시한다. 도 5는 도 4와 비교해야 한다. 도 5의 물체의 모든 것은, 도 4의 반투명 또는 투명 물질층(421) 보다 얇은 반투명 또는 투명 물질층(521)이 있다는 점을 제외하고는 도 4에서와 동일할 수 있다. 비교는 에지 위치가 표면 위치, 예를 들어, 표면 위치(425a 또는 525)가 위치하는 실질적으로 반투명하거나 투명한 물질의 두께에 실질적으로 독립적인 중심 위치보다 더 정확한 척도인 것으로 관찰되었다. 반투명 또는 투명 물질층이 더 얇아지면, 강도 피크는 또한 이 도면에 도시된 바와 같이 전형적으로 점점 더 폭이 작아지고있다.
도 6은 강도 피크(605)의 중심 위치가 표면 위치(425a)의 양호한 척도가 된 상황을 개략적으로 예시한다. 도 6은 도 4와 비교되어야 한다. 도 6의 물체 상의 모든 것은, 도 6에서, 예를 들어, 반투명 또는 투명 물질층(421)을 구성한 습식 접착제가 건조되어 물질층(621)이된 경우, 특성이 변경된 후 반투명 또는 투명 물질층(421)인 물질층(621)이 존재한다는 점을 제외하고는, 도 6 및 도 4에서 동일한 일부 참조 번호들에 의해 또한 지시되는 바와 같이, 도 4에서와 동일할 수 있다. 예를 들어, 접착제의 건조로부터 변경된 물질 특성은, 건조 프로세스가 중단되고 접착제가 건조하고 단단해질 때까지 표면(422)을 반사성, 아마도 더욱 반사성이고 점점 불투명하게 만들었다. 결과적으로 서브피크(sub-peak)가 에지에서 보이고 건조 프로세스에서 높이가 증가함에 따라 형성될 수 있다. 일부 물질의 경우, 최종 결과는 예를 들어도 3에서와 같이 피크일 수 있는데, 즉, 단부에서 건조하는 동안 서브피크는 도 3의 것에 대응하는 피크가 된다. 그 대신에, 최종 결과가 도 6에 개략적으로 도시된 바와 같으면, 이는 표면이 실질적으로 반사성, 즉, 어느 상당한 정도로 불투명하게 되었으나, 동시에 어느 정도까지는 입사광에 대해 반투명하거나 투명하게 유지되었기 때문일 수 있다. 그럼에도 불구하고, 표면이 충분히 반사되고 서브피크가 형성될 때, 강도는 주로 서브피크에 집중될 것이고 표면 위치(425a)와 동일한 위치일 수 있는 표면 위치(635)의 양호한 척도가 될 것이다.
에지 위치를 사용하는 것은 동일한 표면 상의 기준 측정(reference measurements)과 잘 상관된다고 발견되었으나, 접착제 표면이 경화된 후 표면 상에 증가되고 보이는 반사를 또한 야기하였다. 또한, 더 두꺼운 접착제는 상기 예시된 바와 같이 더 넓은 관찰되는 피크와, 이에 따라서 피크 중심 측정에 대한 더 큰 오차를 제공하는데, 즉, 강도 피크의 중심 위치가 사용되는 경우이다.
도 7a 및 도 7b는, 컴퓨팅 알고리즘에 의해 강도 피크의 에지 위치가 결정될 수 있는 상이한 방법을 개략적으로 도시한다. 이 도면들은 4개의 픽셀들에 대한 강도 값들을 도시하며, 하나의 픽셀은 제1 강도 값 I0을 가지며 후속하는 이웃하는 픽셀은 제2 강도 값 I1을 갖는다. 도면들에 나타낸 바와 같이 미리 정의된, 예를 들어, 미리 결정된 문턱값이 추가로 있다.
간단하고 조금 거친(coarse) 방법은, 문턱값을 초과하는 강도 값을 갖는 제1 픽셀의 위치, 즉, 7a에서 화살표들 중 하나에 의해 표시된 바와 같이 I1을 갖는 픽셀의 위치로서 에지 위치를 결정하는 것이다.
또 다른 방법은, 예를 들어,
Figure 112020084893648-pat00001
다음에 따라, 도 7a에서 다른 화살표로 표시된 바와 같이, 서브픽셀 위치를 계산하는 것이며, 여기서 I0은 문턱값 아래의 마지막 강도 값을 나타내고 I1은 문턱값을 초과하는 제1 강도 값을 나타낸다.
또 다른 방법은, 도 7b에 도시된 바와 같이, "피크 시작"의 서브픽셀 위치, 즉, 강도 값의 증가가 시작되어 문턱값이 통과되는(passed) 것을 초래한 위치를 추정하는 것이다. 따라서, 문턱값이 통과되었을 때, 여기서 I1을 갖는 픽셀에 대해, 피크 시작은
Figure 112020084893648-pat00002
에 따라 추정될 수 있다.
에지 위치가 사용될 강도 피크의 일반적인 문제점은, 이 강도 피크가 약하다는 것, 즉, 이 강도 피크의 높이 및 최고 강도 값이 비교적 작고 에지 위치를 찾는 것이 특히 이로 인해 어려움을 겪을 수 있다는 것이다. 에지는 예를 들어, 노이즈에 의해 희미하게 되어(obscured) 에지 위치를 찾기 어렵게 하거나 에지 위치가 바람직한 정확도로 결정될 수 없다. 이를 극복하기 위해, 더 긴 노출 시간이 강도 피크를 생성하는데 사용될 수 있고 에지 위치를 결정하기 위한 컴퓨팅 알고리즘이 이들 강도 피크에서 동작할 수 있다. 통상적으로, 예를 들어, 도 3에서와 같은 강도 피크의 경우, 더 긴 노출 시간은 피크의 최고 강도 값을 포화시켜서(saturate) 모두 동일하게 하므로 정확한 중심 위치를 찾기가 더 어려워지는데, 즉, 이 경우 더 긴 노출 시간은 대신 정확도를 낮춘다. 그러나 에지 위치가 결정될 때는 중심이 중요하지 않다.
도 8a 및 8b는 강도 피크(805a)의 에지 위치가 결정될 때 증가된 노출이 사용될 수 있는 방법을 개략적으로 도시한다. 도 8a에서, 중심을 가리키는 화살표로 도면에 표시된 바와 같이, 강도 피크의 중심 위치가 결정될 때 적합한 종래의 노출 시간이 결정될 것이다. 도 8b는 도 8a에서보다 더 긴 노출 시간이 사용되었을 때를 도시하며, 전체적으로 더 높은 강도 값을 가져, 제1 에지를 가리키는 또 다른 화살표로 표시된 것처럼 강도 피크의 에지 위치를 결정하는 것을 용이하게 하지만, 이는 또한 도시되듯이 강도 피크의 중심에서 과도 노출로 인한 포화로 귀결된다.
도 9a는 이미지 센서에 의한 캡처로서 물체의 이미지에서의 강도가 물체의 상이한 부분들에 어떻게 분포될 수 있는지를 도시한다. 여기서 물체의 이미징된 부분은 접착제로 덮인 기판의 일부가 있는 불투명한 기판으로 구성되며, 여기서 접착제는 그 표면에 의해 빛을 실질적으로 반사하지 않는 위에서 설명한 그러한 반투명 또는 투명 물질인 반면에 기판은 불투명하고 반사성이다. 흰색 부분은 더 높은 강도를 가진 픽셀을 나타내고 회색 부분은 더 낮은 강도를 가진 픽셀을 나타낸다. 흑색 부분은 물체의 반사로부터 어떠한 실질적인 광도 이미지 센서에 의해 수신되지 않은 곳을 도시한다. 알 수 있는 바와 같이, 수신된 강도는 접착제에 대해 퍼지고 더 약해지고 기판에 대해 더 강력하고 더 좁고 집중된다.
도 9b는, 여기서는 위치를 결정하기 위한 두 개의 상이한 컴퓨팅 알고리즘에 따라 강도 피크의 위치가 또한 도시된 것을 제외하고는, 도 9a와 동일하다. 하나는 중심 위치, 즉 피크 중심을 결정하기 위한 것이고 다른 하나는 에지 위치, 즉 피크 에지를 결정하기 위한 것이다. 따라서, 이들 컴퓨팅 알고리즘은 물체의 동일한 프로파일을 동시에 이미징하는 데 사용되는 경우 상이한 결과들을 제공할 것이다. 물론 둘 다 정확하지 않을 수 있다. 가장 큰 차이점은 접착제에 관한 것이다. 중앙 위치가 사용된 경우, 그 결과는 에지 위치가 사용된 경우에 이미징된 높이보다 현저히 낮은 접착제의 이미징된 높이이다. 결론적으로, 그리고 전술한 바와 같이 실현되어야 하는 바와 같이, 에지 위치는 접착제에 관한 보다 정확한 척도를 제공하고, 중앙 위치는 기판에 관한 보다 정확한 척도를 제공한다. 컴퓨팅 알고리즘들을 결합함으로써, 즉, 이 도면에서와 같이 물체에 대해 둘 다 사용하지만, 물체의 어느 부분이 이미징될지에 따라, 접착제와 기판에 대해 모두 물체의 가장 정확한 3D 이미지를 제공하는 최상의 결과가 달성될 수 있다.
강도 피크의 특성은 표면 물질의 유형과 상관되기 때문에, 전술한 바와 같이, 이들 특성은 결과 이미지에서 어느 위치가 사용될지를 결정하는데 사용될 수 있음을 알 수 있다.
피크의 분류는 예를 들어, 피크 옆의 강도 및/또는 피크의 폭과 관련된 것과 같이, 상기 특성, 예를 들어, 피크 강도 및/또는 형상, 예를 들어, 다른 종류의 레이저 산란 측정에 대한 정보를 사용하여 이루어질 수 있다. 그런 다음, 피크가 어느 클래스에 속하는지는, 어느 위치가 가장 정확한 척도일지를 결정하는 데 사용될 수 있다.
도 10a 및 도 10b는 상이한 종류의 정보가 어떻게 제공되고, 예를 들어, 계산되고, 그 후 강도 피크의 특성을 결정하고 그리고/또는 각각의 피크를 분류하는데 이용될 수 있는지를 개략적으로 도시한다. 이 도면들은 도 9a 및 9b와 비교될 수 있는데, 그 이유는 이 도면들이 동일한 이미지 데이터와 관련되기 때문이다.
도 10a에서, 예를 들어, 도 9a에 도시된 바와 같은 강도를 갖는 이미지 데이터에 대한 측정 및/또는 계산에 의해, 강도 피크의 산란의 척도가 사용되었다. 산란의 척도를 제공하는 데 사용할 수 있는 다른 알고리즘이 존재한다. 산란을 측정하는 한 방법은 EP1985969에 개시되어 있다. 도면에서 볼 수 있듯이, 산란 측정은 피크의 특성 또는 등급을 쉽게 결정하게 할 수 있다. 산란 척도가 특정의, 예를 들어, 미리 정의된 문턱값을 초과하는 경우, 강도 피크는 예를 들어, 어떤 위치, 예를 들어, 에지 또는 중심이 강도 피크에 사용하기에 적합한지를 결국 나타내는 특정 특성과 연관되어 있다고, 예를 들어, 이 특정 특성을 갖는다고 결정될 수 있다.
도 10b에서, 강도 피크의 폭의 척도가 사용되었다. 알 수 있는 바와 같이, 그 차이가 도 10a의 산란 척도의 경우에서만큼 명백하지 않지만 여기서도 명확한 차이가 있다.
위의 일부 결론을 요약하면 다음과 같다. 특정 3D 광 삼각 측량 응용에서는 정확한 이미징을 위해 강도 피크의 기존의 중심 위치가 사용될 수 없다. 예를 들어, 기존의 중심 위치는 일부 접착제 표면 상에서 충분히 정확한 측정을 생성하지 않을 것이다. 이는 접착제와 같은 반투명 매질 내에서 빛이 크게 산란되기 때문이다. 이것이 관심을 가질 수 있는 응용 분야는 예를 들어, 기판 상의 접착제층의 경우에 투명 또는 반투명 표면을 갖는 물체의 형상을 검사하는 것이다. 예를 들어, 기판의 형상을 측정하는 것과 동시에 접착제의 형상을 측정하는 것이 중요할 수 있으며, 예를 들어, 접착제 비드(bead)의 형상을 정확하게 계산하여 그것이 사양 내에 있는 것을 보장할 수 있다. 본 명세서의 실시예는 접착제 및 기판 표면 모두의 정확한 3D 위치 측정을 가능하게 한다.
도 11은 상기 설명에 기초한 그리고 본 명세서의 실시예에 따른 방법의 실시예를 개략적으로 도시하는 흐름도이다. 상기 방법을 형성할 수 있는 아래의 동작들은, 예를 들어, 3D 이미징 시스템(100)과 같은 3D 이미징 시스템에서 수행되는 광 삼각 측량의 일부로서, 광이 물체 상에 반사된 후에 이미지 센서에 의해 감지된 광에 응답하여, 예를 들어, 이미지 센서(131)와 같은 이미지 센서에 의해 생성된 이미지 데이터에서, 예를 들어, 강도 피크(305, 405, 505, 605) 중 어느 하나의 강도 피크와 같은 강도 피크의 위치를 제공하기 위한 것이다. 인식되어야 하는 바와 같이, 이미지 데이터는 전형적으로 이미지 센서에 의해 감지된 이미지의 픽셀을 포함하거나 이에 대응한다.
방법 및/또는 동작은 또한 아래에서 별도로 논의되는 디바이스(들), 즉 하나 이상의 디바이스에 의해 수행될 수 있다.
또한, 이하에 기재된 동작은 임의의 적당한 순서로 취해질 수 있고 그리고/또는 동작이 가능하고 적절한 때 전체적으로 또는 부분적으로 시간이 겹치게 수행될 수 있다.
동작(1101)
디바이스(들)는 이미지 데이터를 획득한다. 이미지 데이터는 예를 들어, 이미지 센서(131) 및/또는 카메라 유닛(130) 내에서 획득될 수 있고 그리고/또는 별도의 디바이스 또는 유닛, 예를 들어, 컴퓨팅 디바이스(201)는 이미지 센서(131) 및/또는 카메라 유닛(130)으로부터 이미지 데이터를 수신함으로써 이미지 데이터를 획득할 수 있다.
동작(1102)
디바이스(들)는 강도 피크가 연관되는 제1 피크 특성 및 다른 제2 피크 특성 중 어느 것을 결정한다. 제1 특성 및 제2 특성은 일부 실시예에서 각각 강도 피크의 제1 및 제2 분류에 기인될 수 있다. 즉, 각각의 강도 피크는 제1 클래스 또는 제2 클래스, 또는 유형으로 분류, 즉 결정될 수 있으며, 각각의 이러한 클래스 또는 유형은 상이한 피크 특성들과 연관된다. 예를 들어, 강도 피크가 제1 클래스인 것으로 결정되면, 이 강도 피크는 제1 특성과 연관되고, 강도 피크가 제2 클래스로 결정된 경우는 이 강도 피크는 제2 피크 특성과 연관된다.
강도 피크와 연관된 상기 제1 피크 특성 및 제2 피크 특성 중 어느 것에 관한 상기 결정은 강도 피크의 형상 및/또는 높이의 표시에 기초할 수 있다. 이전의 도면들 및 논의로부터, 형상 및/또는 높이는 어느 피크 위치가 사용하기에 가장 적합한지를 알아 내기에 적합하다는 것이 인식된다. 이 표시는 이미지 데이터에 대한 측정에 기초할 수 있고 그리고/ 또는 획득되고, 예를 들어, 수신되고, 예를 들어, 이미지 데이터와 연관된 이미지 센서에 의해 제공되는 정보를 지원하는 것으로 구성될 수 있다. 상기 형상의 표시는 예를 들어, 강도 피크에 대한 산란 측정으로부터 그리고/또는 강도 피크의 폭에 대한 정보로부터 그리고/ 또는 강도 피크의 높이 대 폭 관계에 대한 정보로부터 획득될 수 있다.
일부 실시예에서, 강도 피크는, 강도 피크의 높이가 미리 정의된 제1 높이 문턱값을 초과한다고 표시되는 것 및/또는 상기 강도 피크의 폭이 미리 정의된 제1 폭 문턱값 미만이라고 표시되는 것 및/또는 높이 대 폭 비가 미리 정의된 제1 높이 대 폭 문턱값보다 크다고 표시되는 것에 응답하여, 제1 피크 특성과 연관된다고 결정된다.
일부 실시예에서, 강도 피크는, 상기 강도 피크의 높이가 미리 정의된 제2 높이 문턱값 미만이라고 표시되는 것, 및/또는 상기 강도 피크의 폭은 미리 정의된 제2 폭 문턱값을 초과한다고 표시되는 것, 및/또는 상기 강도 피크의 높이 대 폭 비는 미리 정의된 제2 높이 대 폭 문턱값 미만이라고 표시되는 것에 응답하여, 상기 제2 피크 특성과 연관된다고 결정된다.
각각의 강도 피크가 예를 들어, 상기 논의된 바와 같이 두 개의 클래스 중 하나로 분류됨으로써 제1 특성 또는 제2 특성과 연관된다고 미리 결정될 수 있기 때문에, 실제로 강도 피크가 두 특성 중 하나와 연관되는지 확인하는 것으로 충분할 수 있으며, 그렇지 않은 경우 다른 특성과 연관된다고 결론 내려질 수 있다.
일부 실시예에서, 강도 피크가 물체의 불투명한 부분에서의 반사로 인한 것이라는 표시에 응답하여 제1 피크 특성과 연관된다고 결정된다. 일부 실시예에서, 강도 피크는, 강도 피크가 물체의 실질적으로 반투명하고 그리고/또는 투명한 부분 내의 반사로부터 초래되고 있다는 표시에 응답하여, 제2 피크 특성과 연관된다고 결정된다. 물체의 실질적으로 반투명하고 그리고/또는 투명한 부분은 접착제 또는 유리의 부분에 대응할 수 있다. 여기에서의 표시는, 물론 반사가 어느 종류의 표면 및 물질의 유형으로부터 유래하는지를 표시될 수 있기 때문에 예를 들어, 강도 피크의 높이 및/또는 형상에 기초할 수 있지만, 예를 들어, 특정 유형의 물체가 이미징될 것 및/또는 이미징되고 있는 물체의 일부가 불투명하거나 반투명하고 그리고/또는 투명할 것이라는 지식에 기초하여, 예를 들어, 이미징되고 있는 물체에 대한 정보에 또한 기초할 수 있다. 일부 실시예에서, 다수의 인접 측정에 대한 표시 및 피크 위치는, 선택에 사용되는 필터링된 표시를 얻기 위해 함께 프로세싱되며, 상기 필터링된 표시는 예를 들어, 레이저 스펙클(laser speckles)로부터의 노이즈에 대해 보다 강력한 선택을 제공한다.
동작(1103)
디바이스(들)는, 강도 피크가 제1 피크 특성과 연관되면, 이미지 데이터에 대해 동작하는 제1 컴퓨팅 알고리즘에 따라서, 그리고 강도 피크가 제2 피크 특성과 연관되면 이미지 데이터에 대해 동작하는 다른 제2 컴퓨팅 알고리즘에 따라 위치를 제공한다.
제1 컴퓨팅 알고리즘은 강도 피크의 중심 위치를 결정하는 것과 관련될 수 있다. 제1 컴퓨팅 알고리즘은 예를 들어, 이를 수행하는 일부 종래의 방법에 따라 중심 위치를 결정하는 것에 기초할 수 있으며, 예를 들어, 강도 피크와 연관된 최고 강도의 위치를 결정하는 것과 관련된다.
제2 컴퓨팅 알고리즘은 강도 피크의 에지의 위치를 결정하는 것과 관련된다. 예를 들어, 제2 컴퓨팅 알고리즘은, 어디에서 강도 피크의 강도 값이 미리 정의된 에지 문턱값을 초과해 증가하는지에 기초하여 위치를 결정하는 것과 관련될 수 있다. 제2 컴퓨팅 알고리즘은 예를 들어, 도 7a 및 도 7b와 관련하여 위에서 개시된 것에 기초할 수 있다.
일부 실시예에서, 이미지 데이터는 각각 제1 노출 시간으로부터 그리고 또 다른 제2 노출 시간으로부터 생성되는 픽셀 당 두 개의 강도 값을 포함한다. 그런 다음, 제1 노출 시간으로 인한 강도 값은 제1 컴퓨팅 알고리즘에 따라 위치를 제공하기 위해 사용될 수 있고, 제2 노출 시간으로 인한 강도 값은 제2 컴퓨팅 알고리즘에 따라 위치를 제공하기 위해 사용될 수 있다. 일부 실시예에서, 제2 노출 시간은 제1 노출 시간보다 길고, 특히 이것은 제2 컴퓨팅 알고리즘이 에지 위치를 찾는 것과 관련이 있는 경우에 그러하다. 이에 대한 이유는 예를 들어, 도 8과 관련하여 위에서 논의되었다.
또한, 이해되어야 하는 바와 같이, 상기 방법 및 동작은 예를 들어, 이미지 센서의 각각의 열의 이미지 데이터에 대해 수행될 수 있으며, 그 결과 열당 하나의 강도 피크 위치를 제공하며, 제공된 위치는 이미지 센서에 의해 이미징된 물체의 프로파일 또는 윤곽을 형성하며, 즉, 그 결과는 예를 들어, 강도 프로파일 이미지들(140-1 내지 140-N) 중 어느 하나에 대응하는 물체의 3D 프로파일 이미지이다. 또는 보다 일반적으로, 아래의 동작은 예를 들어, 이미지 데이터에서 다수의 강도 피크에 대해 수행되어, 예를 들어, 광이 반사된 물체의 위치에서, 바람직하게는 그 표면 상에서 물체의 윤곽의 3D 이미징을 가능하게 할 수 있다. 따라서, 강도 피크는 이미지 데이터에서 연속적으로 발생하는 픽셀의 세트와 각각 연관될 수 있으며, 예를 들어, 각각의 세트는 픽셀의 열 또는 행의 픽셀일 수 있다.
상기 방법 및/또는 동작은 예를 들어, 이미지 센서로부터 획득된 이미지 데이터에 대해 적절한 컴퓨팅 및/또는 프로세싱 능력을 갖는 임의의 디바이스(들), 또는 그러한 이미지 센서에 의해 원칙적으로 수행될 수 있다. 일부 실시예에서, 디바이스(들)는 이미지 센서, 예컨대, 이미지 센서(131), 컴퓨팅 디바이스, 예를 들면, 컴퓨팅 디바이스(201)를 모두 포함할 수 있으며, 여기서, 이미지 센서는 예를 들어, 알고리즘당 1개씩 두 개의 피크 위치, 및 이미지 데이터, 및/또는 예를 들어, 강도 피크의 높이 및/또는 산란에 대한 정보 등과 같은 강도 피크의 특성에 대한 일부 보조 정보를 제공할 수 있다. 그런 다음, 컴퓨팅 디바이스는 피크 위치 및 보조 정보를 획득하고 이를 이용하여 피크가 연관되는 제1 피크 특성 및 제2 피크 특성 중 어느 것을 결정하고 그에 따라 두 개의 피크 위치로부터 (최상의) 피크 위치를 제공할 수 있다. 따라서, 상기 방법 및/또는 동작은 하나 이상의 디바이스, 예를 들어, 3D 이미징 시스템(100), 카메라 유닛(130), 이미지 센서(131), 예시적인 시스템(200), 컴퓨팅 디바이스(201)에 의해 수행될 수 있다.
결론적으로, 따라서, 본 명세서의 실시예는 위에서 논의된 바와 같은 적어도 두 개의 컴퓨팅 알고리즘이 이용 가능하고, 잠재적으로 이 두 개의 알고리즘이 각각의 강도 피크에 모두 사용될 수 있지만, 3D 이미지에서 사용될 위치를 제공하기 위해 결국에는 오직 하나만이 사용되고, 물론 이 하나의 알고리즘은 여기서 논의된 바와 같이 가장 적합한 알고리즘이어야 한다는 것에 기초하여 고려될 수 있다. 강도 피크가 연관되는 두 개의 피크 특성 중 어느 것을 결정하고 그에 따라 위치를 제공함으로써 가장 적합한 알고리즘을 사용할 수 있다. 이러한 목적을 위해 피크 특성을 사용하는 것은, 위에서 나타내고 본 명세서의 다른 부분에서 더 설명한 바와 같이, 피크의 특성은 강도 피크를 초래하는 광을 반사한 물체의 표면 상의 위치에 가장 정확하게 매핑하는 위치를 제공하기에 가장 적합한 두 개의 컴퓨팅 알고리즘 중의 어느 컴퓨팅 알고리즘을 나타내기 때문에 가능하다.
따라서, 본 발명의 실시예들 덕분에, 물체가 광을 다르게 반사하는 상이한 성질을 갖는 표면들의 혼합을 포함하고, 따라서 강도 피크의 위치를 찾는 상이한 방법들로부터 이익을 얻을 때, 3D 이미징 시스템에 의해 수행되는 광, 예컨대, 레이저, 삼각법에 의해 보다 정확한 3D 이미지 물체를 제공할 수 있다. 특히, 이미징되고 있는 물체가, 예를 들어, 일부 고체 물질 표면을 포함하는 물체 및 일부는 예를 들어, 접착제를 포함하는 경우에서와같이, 주로 불투명한 표면 및 어느 상당한 정도까지 반투명하거나 투명한 표면을 포함할 때, 더욱 정확한 3D 이미지가 가능해진다. 이러한 목적은, 또 다른 제2 부분에 장착될 고체 제1 부분에 이 목적을 위해 접착제가 제공되었을 때 형성될 수 있다.
도 12는 방법 및/또는 동작을 수행하기 위한 도 11과 관련하여 위에서 논의된 디바이스(들)일 수 있는 하나 이상의 디바이스(1200), 즉, 디바이스(들)(1200)의 실시예를 도시하기 위한 개략적인 블록도이다. 개략적인 블록도는 또한 디바이스(1200)가 도 11과 관련하여 위에서 논의된 방법 및 동작을 수행하도록 구성될 수 있는 방법의 실시예를 도시하기 위한 것이다.
따라서, 디바이스(들)(1200)는, 광이 3차원 이미징 시스템에서 수행된 광 삼각 측량의 일부로서 물체에 반사된 후, 이미지 센서에 의해 감지된 광에 응답하여, 이미지 센서에 의해 생성된 이미지 데이터에서 강도 피크의 위치를 제공하기 위한 것이다.
디바이스(들)(1200)는, 예를 들면, 프로세서와 같은 하나 이상의 프로세싱 회로, 회로망(circuitry)을 포함하는, 프로세싱 수단과 같은 프로세싱 모듈(1201), 하나 이상의 하드웨어 모듈, 및/또는 상기 방법 및/또는 동작을 수행하기 위한 하나 이상의 소프트웨어 모듈을 포함할 수 있다.
디바이스(1200)는 컴퓨터 프로그램(1203)을 포함하는 (예를 들면, 포함하거나 저장하는) 메모리(1202)를 또한 포함할 수 있다. 컴퓨터 프로그램(1203)은 상기 방법 및/또는 동작을 수행하도록 디바이스(들)(1200)에 의해 직접 또는 간접적으로 실행 가능한 '명령어' 또는 '코드'를 포함한다. 메모리(1202)는 하나 이상의 메모리 유닛을 포함할 수 있고, 본 발명의 실시예의 기능 및 동작을 수행하는데 관여되거나 이를 수행하기 위한 구성, 데이터 및/또는 값과 같은 데이터를 저장하도록 또한 배치될 수 있다.
더욱이, 디바이스(들)(1200)는 예시적인 하드웨어 모듈(들)로서 데이터를 프로세싱 및 예를 들어, 인코딩하는 것에 관여되는 프로세싱 회로(1204)를 포함할 수 있고 하나 이상의 프로세서 또는 프로세싱 회로를 포함하거나 이에 대응할 수 있다. 프로세싱 모듈(들)(1201)은 예를 들어, 프로세싱 회로(1204)의 "형태로 구현되거나" 또는 이 회로에 의해 "실현되는" 것을 포함할 수 있다. 이들 실시예에서, 메모리(1202)는 프로세싱 회로(1204)에 의해 실행 가능한 컴퓨터 프로그램(1203)을 포함할 수 있고, 이로써 디바이스(들)(1200)는 상기 방법 및/또는 동작을 수행하도록 동작 또는 구성된다.
전형적으로, 디바이스(들)(1200), 예를 들면, 프로세싱 모듈(들)(1201)은 다른 디바이스로/로부터 정보를 송신/수신하는 것과 같이 다른 유닛 및/또는 디바이스로/로부터의 임의의 통신을 수행하는데 관여되도록 구성된 입출력(I/O) 모듈(들)(1205)을 포함한다. I/O 모듈(들)(1205)은 적용될 때 획득(예를 들어, 수신) 모듈(들) 및/또는 제공(예를 들어, 송신) 모듈(들)에 의해 예시될 수 있다.
또한, 일부 실시예들에서, 디바이스(들)(1200), 예를 들어, 프로세싱 모듈(들)(1201)은 본 명세서의 실시예의 동작을 수행하기 위한 하드웨어 및/또는 소프트웨어 모듈(들)을 예시하는 것으로서, 획득 모듈(들), 제공 모듈(들), 인코딩 모듈(들) 중 하나 이상을 포함한다. 이들 모듈들은 전체적으로 또는 부분적으로 프로세싱 회로(804)에 의해 구현될 수 있다.
디바이스(들)(1200), 및/또는 프로세싱 모듈(들)(1201), 및/또는 프로세싱 회로(1204), 및/또는 I/O 모듈(들)(805), 및/또는 획득 모듈(들)은 따라서 도 11과 관련하여 전술한 바와 같이 상기 이미지 데이터를 획득하도록 동작 또는 구성될 수 있다.
또한, 디바이스(1200), 및/또는 프로세싱 모듈(들)(1201), 및/또는 프로세싱 회로(1204), 및/또는 결정 모듈(들)은, 도 11과 관련하여 전술한 바와 같이, 강도 피크가 제1 피크 특성 및 다른 제2 피크 특성 중 어느 것이 연관되는지를 결정하도록 동작 또는 구성될 수 있다.
또한, 따라서, 디바이스(들)(1200) 및/또는 프로세싱 모듈(들)(1201), 및/또는 프로세싱 회로(1204), 및/또는 I/O 모듈(들)(1205), 및/또는 제공 모듈(들)은, 즉, 도 11과 관련해서 위에서 설명된 바와 같이, 강도 피크가 제1 피크 특성과 연관되는 경우 이미지 데이터에 대해 동작하는 제1 컴퓨팅 알고리즘에 따라, 그리고 강도 피크가 제2 피크 특성과 연관되는 경우, 이미지 데이터에 동작하는 상이한 제2 컴퓨팅 알고리즘에 따라 위치를 제공하도록 동작 또는 구성될 수 있다.
도 13은 상기 논의된 상기 디바이스(1200)로 하여금 상기 방법 및 동작을 수행하게 하는 컴퓨터 프로그램 및 그 캐리어에 관한 일부 실시예를 도시한 개략도이다.
컴퓨터 프로그램은 컴퓨터 프로그램(1203)일 수 있고 프로세싱 회로(1204) 및/또는 프로세싱 모듈(들)(1201)에 의해 실행될 때, 디바이스(들)(1200)가 전술한 바와 같이 수행하게 하는 명령어를 포함한다. 일부 실시예에서, 컴퓨터 프로그램을 포함한, 캐리어, 또는 보다 구체적으로 데이터 캐리어, 예를 들면, 컴퓨터 프로그램 제품이 제공된다. 캐리어는 전자 신호, 광 신호, 무선 신호, 및 컴퓨터 판독 가능 저장 매체, 예를 들어, 이 도면에 개략적으로 도시된 컴퓨터 판독 가능 저장 매체(1301) 중 하나 일 수 있다. 따라서, 컴퓨터 프로그램(1203)은 컴퓨터 판독가능 저장 매체(1301)에 저장될 수 있다. 캐리어는 일시적 전파 신호를 배제할 수 있으며, 데이터 캐리어는 그에 대응해서 비일시적 데이터 캐리어라고 명명될 수 있다. 컴퓨터 판독 가능 저장 매체인 데이터 캐리어의 비제한적인 예는 메모리 카드 또는 메모리 스틱, CD 또는 DVD와 같은 디스크 저장 매체, 또는 전형적으로 하드 드라이브(들) 또는 솔리드 스테이트 드라이브(들)(Solid State Drive; SSD)에 기초한 대용량 저장 디바이스이다. 컴퓨터 판독가능 저장 매체(901)는 예를 들면, 인터넷 또는 근거리 통신망(Local Area Network; LAN)과 같은 컴퓨터 네트워크(1302)를 통해 액세스 가능한 데이터를 저장하기 위해 사용될 수 있다. 더 나아가, 컴퓨터 프로그램(1303)은 순수 컴퓨터 프로그램(들)으로서 제공될 수 있고, 하나의 파일 또는 파일들 내에 포함될 수 있다. 파일 또는 파일들은 컴퓨터 판독 가능 저장 매체(1301)에 저장될 수 있고, 예를 들어, 이 도면에 표시된 바와 같이, 예를 들어, 서버를 통해 컴퓨터 네트워크(1302)를 통해 다운로드를 통해 이용 가능할 수 있다. 서버는 예를 들어, 웹 또는 파일 전송 프로토콜(File Transfer Protocol, FTP) 서버일 수 있다. 파일 또는 파일들은 예를 들어, 프로세싱 회로(1204)에 실행에 의해 전술한 바와 같이 수행하게 하도록 상기 제1 노드로 직접 또는 간접적으로 다운로드되고 이 노드에서 실행되기 위한 실행가능한 파일일 수 있다. 파일은 추가적으로 또는 대안적으로, 상기 디바이스(들)(1200)가 전술한 바와 같이 수행하게 하는 추가의 다운로드 및 실행 전에, 동일하거나 또 다른 프로세서(들)가 파일을 실행할 수 있게 하는 것을 수반하는 중간 다운로드 및 컴파일(compilation)용일 수 있다.
전술한 임의의 프로세싱 모듈(들) 및 회로(들)는 예를 들어, 기존의 하드웨어에서 그리고/또는 ASIC(Application Specific Integrated Circuit), FPGA(Field-Programmable Gate Array) 등으로서 소프트웨어 및/또는 하드웨어 모듈로서 구현될 수 있다는 점에 주목한다. 또한, 전술한 임의의 하드웨어 모듈(들) 및/또는 회로(들)는 예를 들어, 단일 ASIC 또는 FPGA에 포함될 수 있거나, 개별적으로 패키지되거나 시스템 온 칩(System-on-a-Chip; SoC)에 조립되는 것에 관계없이 여러 개의 별도의 하드웨어 컴포넌트 중에 분산될 수 있다는 점에 주목한다.
당업자라면 여기에서 논의된 모듈 및 회로는, 하나 이상의 프로세서에 의해 실행될 때 디바이스(들), 센서(들) 등이 상기 설명된 방법 및 동작을 수행하게 구성되고 그리고/또는 이 방법 및 동작을 수행하게 하는, 예를 들어, 메모리에 저장된 소프트웨어 및/또는 펌웨어와 함께 구성된 하드웨어 모듈, 소프트웨어 모듈, 아날로그 및 디지털 회로, 및/또는 하나 이상의 프로세서의 조합을 지칭한다는 것을 또한 이해할 것이다.
본원의 임의의 식별자에 의한 식별은 암시적이거나 명시적일 수 있다. 식별은 특정 상황에서, 예를 들어, 특정 컴퓨터 프로그램 또는 프로그램 제공자에 대해 고유할 수 있다.
여기에서 사용하는 용어 "메모리"는 디지털 정보를 저장하기 위한 데이터 메모리, 즉, 통상적으로, 하드 디스크, 자기 저장 매체, 휴대용 컴퓨터 디스켓 또는 디스크, 플래시 메모리, 랜덤 액세스 메모리(Random Access Memory; RAM) 등을 지칭할 수 있다. 또한, 메모리는 프로세서의 내부 레지스터 메모리일 수 있다.
또한, 제1 디바이스, 제2 디바이스, 제1 표면, 제2 표면 등과 같은 임의의 열거 용어는 비제한적인 것으로 간주되어야 하고, 그 용어는 특정한 계층적 관계를 암시하지 않는다는 점에 유의한다. 반대되는 임의의 명시적 정보가 없으면, 열거에 의한 명명(naming)은 단순히 상이한 명칭들을 부여하기 위한 한가지 방법이라고 생각하여야 한다.
여기에서 사용된 표현 "...으로 구성된"은 프로세싱 회로가 전술한 하나 이상의 동작을 수행하도록 소프트웨어 또는 하드웨어 구성에 의해 구성 또는 적응된 것을 의미할 수 있다.
여기에서 사용된 용어 "수" 또는 "값"은 이진수, 실수, 허수, 또는 유리수 등과 같은 임의 종류의 디지트(digit)를 지칭할 수 있다. 더욱이, "수" 또는 "값"은 문자 또는 문자열과 같은 하나 이상의 캐릭터(character)일 수 있다. 또한, "수" 또는 "값"은 비트열로 표현될 수 있다.
여기에서 사용된 바와 같이, 표현 "~일 수 있다(may) 및 "일부 실시예에서"는 설명된 특징이 여기에서 개시된 임의의 다른 실시예와 결합될 수 있다는 것을 표시하기 위해 통상적으로 사용되었다.
도면에서, 일부 실시예에만 존재할 수 있는 특징은 전형적으로 점선 또는 파선을 사용하여 그려진다.
용어 "포함한다" 또는 "포함하는"을 사용한 경우, 이것은 비제한적인 것으로, 즉 "적어도 ...으로 이루어진"을 의미하는 것으로 해석될 것이다.
본 발명의 실시예는 전술한 실시예로 제한되지 않는다. 각종의 대안예, 수정예, 및 균등예가 사용될 수 있다. 그러므로 전술한 실시예는 첨부된 청구항들에 의해 규정되는 본 개시의 범위를 제한하는 것으로 해석되지 않아야 한다.

Claims (15)

  1. 3차원 이미징 시스템(100)에서 수행되는 광 삼각 측량의 일부로서, 광이 물체에 반사된 후, 이미지 센서(131)에 의해 감지된 상기 광에 응답하여 상기 이미지 센서(131)에 의해 생성된 이미지 데이터에서 강도 피크(305, 405, 505, 605)의 위치를 제공하기 위한 하나 이상의 디바이스(100, 130, 131, 200, 201, 1200)에 있어서,
    상기 하나 이상의 디바이스(100, 130, 131, 200, 201, 1200)는:
    상기 이미지 데이터를 획득하고(1101);
    상기 강도 피크가 연관되는 제1 피크 특성 및 다른 제2 피크 특성 중 어느 것을 결정하며(1102) - 상기 제1 피크 특성 및 상기 제2 피크 특성은, 상이하게 광을 반사하는 상기 물체의 상이한 제1 표면 성질 및 제2 표면 성질과 연관됨 - ;
    상기 강도 피크가 상기 제1 피크 특성과 연관되는 경우, 상기 이미지 데이터에 대해 동작하는 제1 컴퓨팅 알고리즘에 따라서, 그리고 상기 강도 피크가 상기 제2 피크 특성과 연관되는 경우, 상기 이미지 데이터에 대해 동작하는 상이한 제2 컴퓨팅 알고리즘에 따라서 상기 위치를 제공하도록(1103)
    구성되고,
    상기 제1 컴퓨팅 알고리즘 및 상기 제2 컴퓨팅 알고리즘은 각각 상기 제1 표면 성질 및 상기 제2 표면 성질과 연관되고, 각각의 컴퓨팅 알고리즘은, 상기 알고리즘의 연관된 표면 성질에 따라 표면으로부터의 반사로부터 초래되는 강도 피크에 대해, 상기 강도 피크가 초래되는 상기 광을 반사한 상기 물체의 표면 상의 장소(location)에 매핑하는 위치를 제공하는데 적합한 것에 기초하여 미리 결정되는 것인, 하나 이상의 디바이스.
  2. 제1항에 있어서,
    상기 제1 컴퓨팅 알고리즘은 상기 강도 피크(305, 405, 505, 605)의 중심 위치를 결정하는 것과 관련된 것인, 하나 이상의 디바이스.
  3. 제2항에 있어서,
    상기 제1 컴퓨팅 알고리즘은 상기 강도 피크(305, 405, 505, 605)와 연관된 최고 강도의 위치를 결정하는 것과 관련된 것인, 하나 이상의 디바이스.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 제2 컴퓨팅 알고리즘은 상기 강도 피크(305, 405, 505, 605)의 에지의 위치를 결정하는 것과 관련된 것인, 하나 이상의 디바이스.
  5. 제4항에 있어서,
    상기 제2 컴퓨팅 알고리즘은, 어디서 상기 강도 피크(305, 405, 505, 605)의 강도 값이 미리 정의된 에지 문턱값을 초과해 증가하는지에 기초하여 상기 위치를 결정하는 것과 관련되는 것인, 하나 이상의 디바이스.
  6. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 강도 피크(305, 405, 505, 605)가 연관되는 상기 제1 피크 특성과 상기 제2 피크 특성 중 어느 피크 특성에 관한 상기 결정은, 상기 강도 피크(305, 405, 505, 605)의 형상의 표시 및 높이의 표시 중 적어도 하나에 기초하는 것인, 하나 이상의 디바이스.
  7. 제6항에 있어서,
    상기 형상의 표시는, 상기 강도 피크(305, 405, 505, 605)에 대한 산란 측정치, 상기 강도 피크(305, 405, 505, 605)의 폭에 대한 정보, 및 상기 강도 피크(305, 405, 505, 605)의 높이 대 폭 관계에 대한 정보 중 적어도 하나로부터 획득되는 것인, 하나 이상의 디바이스.
  8. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 강도 피크(305, 405, 505, 605)는, 상기 강도 피크의 높이가 미리 정의된 제1 높이 문턱값을 초과한다고 표시되는 것, 상기 강도 피크(305, 405, 505, 605)의 폭이 미리 정의된 제1 폭 문턱값 미만이라고 표시되는 것, 및 높이 대 폭 비가 미리 정의된 제1 높이 대 폭 문턱값보다 크다고 표시되는 것 중 적어도 하나에 응답하여, 상기 제1 피크 특성과 연관된다고 결정되거나, 또는
    상기 강도 피크(305, 405, 505, 605)는, 상기 강도 피크(305, 405, 505, 605)의 높이가 미리 정의된 제2 높이 문턱값 미만이라고 표시되는 것, 상기 강도 피크(305, 405, 505, 605)의 폭이 미리 정의된 제2 폭 문턱값을 초과한다고 표시되는 것, 및 상기 강도 피크(305, 405, 505, 605)의 높이 대 폭 비가 미리 정의된 제2 높이 대 폭 문턱값 미만이라고 표시되는 것 중 적어도 하나에 응답하여, 상기 제2 피크 특성과 연관된다고 결정되는 것인, 하나 이상의 디바이스.
  9. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 강도 피크는, 상기 강도 피크가 상기 물체의 불투명한 부분에서의 반사로부터 초래되고 있다는 표시에 응답하여, 상기 제1 피크 특성과 연관된다고 결정되거나, 또는
    상기 강도 피크는, 상기 강도 피크가 상기 물체의 반투명한 또는 투명한 부분 내의 반사로부터 초래되고 있다는 표시에 응답하여, 제2 피크 특성과 연관된다고 결정되는 것인, 하나 이상의 디바이스.
  10. 제9항에 있어서,
    상기 물체의 반투명한 또는 투명한 부분은 접착제 또는 유리의 부분에 대응하는 것인, 하나 이상의 디바이스.
  11. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 이미지 데이터는 제1 노출 시간으로부터 그리고 또 다른 제2 노출 시간으로부터 각각 초래된 픽셀당 두 개의 강도 값을 포함하고, 상기 제1 노출 시간으로부터 초래된 강도 값은 상기 제1 컴퓨팅 알고리즘에 따른 상기 위치를 제공하기 위해 사용되며, 상기 제2 노출 시간으로부터 초래된 강도 값은 상기 제2 컴퓨팅 알고리즘에 따른 상기 위치를 제공하기 위해 사용되는 것인, 하나 이상의 디바이스.
  12. 제11항에 있어서,
    상기 제2 노출 시간은 상기 제1 노출 시간보다 긴 것인, 하나 이상의 디바이스.
  13. 3차원 이미징 시스템(100)에서 수행되는 광 삼각 측량의 일부로서, 광이 물체에 반사된 후, 이미지 센서(131)에 의해 감지된 상기 광에 응답하여 상기 이미지 센서(131)에 의해 생성된 이미지 데이터에서 강도 피크(305, 405, 505, 605)의 위치를 제공하기 위해 하나 이상의 디바이스(100, 130, 131, 200, 201, 1200)에 의해 수행되는 방법에 있어서,
    - 상기 이미지 데이터를 획득하는 단계(1101);
    - 상기 강도 피크가 연관되는 제1 피크 특성 및 다른 제2 피크 특성 중 어느 것을 결정하는 단계(1102) - 상기 제1 피크 특성 및 상기 제2 피크 특성은, 상이하게 광을 반사하는 상기 물체의 상이한 제1 표면 성질 및 제2 표면 성질과 연관됨 - ;
    - 상기 강도 피크가 상기 제1 피크 특성과 연관되는 경우, 상기 이미지 데이터에 대해 동작하는 제1 컴퓨팅 알고리즘에 따라서, 그리고 상기 강도 피크가 상기 제2 피크 특성과 연관되는 경우, 상기 이미지 데이터에 대해 동작하는 상이한 제2 컴퓨팅 알고리즘에 따라서 상기 위치를 제공하는 단계(1103)
    를 포함하고,
    상기 제1 컴퓨팅 알고리즘 및 상기 제2 컴퓨팅 알고리즘은 각각 상기 제1 표면 성질 및 상기 제2 표면 성질과 연관되고, 각각의 컴퓨팅 알고리즘은, 상기 알고리즘의 연관된 표면 성질에 따라 표면으로부터의 반사로부터 초래되는 강도 피크에 대해, 상기 강도 피크가 초래되는 상기 광을 반사한 상기 물체의 표면 상의 장소(location)에 매핑하는 위치를 제공하는데 적합한 것에 기초하여 미리 결정되는 것인, 강도 피크의 위치를 제공하기 위해 하나 이상의 디바이스에 의해 수행되는 방법.
  14. 하나 이상의 디바이스(100, 130, 131, 200, 201, 1200)에 의해 실행될 때 상기 하나 이상의 디바이스(100, 130, 131, 200, 201, 1200)가 제13항에 따른 방법을 수행하게 하는 명령어를 포함하는, 매체에 저장된 컴퓨터 프로그램(1203).
  15. 제14항에 따른 컴퓨터 프로그램(1203)을 포함하는, 컴퓨터 판독 가능 저장 매체(1301).
KR1020200101225A 2019-08-16 2020-08-12 3차원 이미징 시스템에서 광 삼각 측량으로부터의 이미지 데이터에 강도 피크 위치를 제공하기 위한 방법 및 장치 KR102460791B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19192183.2A EP3779882B1 (en) 2019-08-16 2019-08-16 Providing intensity peak position in image data from light triangulation in a three-dimensional imaging system
EP19192183.2 2019-08-16

Publications (2)

Publication Number Publication Date
KR20210020813A KR20210020813A (ko) 2021-02-24
KR102460791B1 true KR102460791B1 (ko) 2022-10-28

Family

ID=67659148

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200101225A KR102460791B1 (ko) 2019-08-16 2020-08-12 3차원 이미징 시스템에서 광 삼각 측량으로부터의 이미지 데이터에 강도 피크 위치를 제공하기 위한 방법 및 장치

Country Status (5)

Country Link
US (1) US11467030B2 (ko)
EP (1) EP3779882B1 (ko)
JP (1) JP7078678B2 (ko)
KR (1) KR102460791B1 (ko)
CN (1) CN112393681B (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102513036B1 (ko) * 2021-10-20 2023-03-21 네이버랩스 주식회사 3차원 공간 상의 오브젝트를 맵핑하기 위한 평면을 결정하는 방법 및 장치
JP2023106904A (ja) * 2022-01-21 2023-08-02 パナソニックIpマネジメント株式会社 測定装置及び測定方法
EP4220075B1 (en) * 2022-01-28 2023-12-27 Sick IVP AB Method and arrangements for obtaining and associating 2d image data with 3d image data from light triangulation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170069098A1 (en) * 2014-03-05 2017-03-09 Sick Ivp Ab Image sensing device and measuring system for providing image data and information on 3d-characteristics of an object

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03205503A (ja) 1990-01-08 1991-09-09 Mitsubishi Heavy Ind Ltd シート光の像位置検出方法
JP3120767B2 (ja) * 1998-01-16 2000-12-25 日本電気株式会社 外観検査装置、外観検査方法及び外観検査プログラムを記録した記録媒体
JPH11325877A (ja) * 1998-03-31 1999-11-26 Siemens Ag 測定誤差を減少させるための方法及び装置
US6507036B1 (en) * 1999-06-01 2003-01-14 National Research Council Of Canada Three dimensional optical scanning
US6542249B1 (en) * 1999-07-20 2003-04-01 The University Of Western Ontario Three-dimensional measurement method and apparatus
JP4246326B2 (ja) * 1999-08-27 2009-04-02 東レエンジニアリング株式会社 表面形状測定方法及びその装置
JP4414235B2 (ja) * 2002-03-14 2010-02-10 テイラー・ホブソン・リミテッド 表面プロファイリング装置及び表面プロファイルデータ作成方法
JP3858994B2 (ja) * 2002-11-28 2006-12-20 株式会社山武 位置検出方法および装置
JP2006261436A (ja) 2005-03-17 2006-09-28 Canon Inc 信号処理方法及びその装置
EP1985969B1 (en) 2007-04-26 2017-10-25 Sick IVP AB Method and apparatus for determining the amount of scattered light in a maschine vision system
CN100494886C (zh) * 2007-09-26 2009-06-03 东南大学 三维扫描系统中圆形标志点的检测方法
ES2634677T3 (es) * 2007-11-15 2017-09-28 Sick Ivp Ab Triangulación óptica
WO2009113149A1 (ja) * 2008-03-10 2009-09-17 株式会社アドバンテスト パターン測長装置及びパターン測長方法
ATE494529T1 (de) * 2008-07-04 2011-01-15 Sick Ivp Ab Kalibrierung eines profilmesssystems
JP2012251893A (ja) 2011-06-03 2012-12-20 Seiko Epson Corp 形状計測装置、形状計測装置の制御方法、およびプログラム
JP2013064644A (ja) 2011-09-16 2013-04-11 Nikon Corp 形状測定装置、形状測定方法、構造物製造システム及び構造物の製造方法
US20140073863A1 (en) * 2012-09-11 2014-03-13 Nellcor Puritan Bennett Llc Methods and systems for determining physiological information using modulated signals
US9267784B2 (en) 2013-07-15 2016-02-23 Faro Technologies, Inc. Laser line probe having improved high dynamic range
JP5783288B1 (ja) * 2014-03-12 2015-09-24 パルステック工業株式会社 表面プロファイル測定装置および透光性物体厚さ測定装置
JP6550076B2 (ja) * 2014-04-22 2019-07-24 メルク パテント ゲゼルシャフト ミット ベシュレンクテル ハフツングMerck Patent Gesellschaft mit beschraenkter Haftung サンプルの膜またはアガロース媒体上で増殖する微小コロニーを検出する方法および無菌テスト装置
CN105719269B (zh) * 2014-12-03 2018-09-28 高德软件有限公司 一种目标物体确定方法及装置
EP3115742B1 (en) * 2015-07-10 2020-04-15 Hexagon Technology Center GmbH 3d measuring machine
CN105716539B (zh) * 2016-01-26 2017-11-07 大连理工大学 一种快速高精度的三维形面测量方法
EP3243583B1 (en) * 2016-05-13 2019-05-08 SLM Solutions Group AG Apparatus and method for associating a position in a construction data set with a position in a building section of the apparatus
JP6165297B1 (ja) * 2016-06-13 2017-07-19 日本メクトロン株式会社 基板検査装置および基板製造方法
KR102452770B1 (ko) * 2016-11-17 2022-10-12 트리나미엑스 게엠베하 적어도 하나의 대상체를 광학적으로 검출하기 위한 검출기
US10620447B2 (en) * 2017-01-19 2020-04-14 Cognex Corporation System and method for reduced-speckle laser line generation
EP3296749B1 (en) * 2017-01-27 2019-01-23 Sick IVP AB Motion encoder
JP7057655B2 (ja) * 2017-12-15 2022-04-20 キヤノン株式会社 計測装置、リソグラフィ装置、物品の製造方法、および計測方法
CN108180864B (zh) * 2017-12-28 2020-09-25 北京信息科技大学 一种基于反射成像法测量槽式太阳能聚热器面形的方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170069098A1 (en) * 2014-03-05 2017-03-09 Sick Ivp Ab Image sensing device and measuring system for providing image data and information on 3d-characteristics of an object

Also Published As

Publication number Publication date
JP7078678B2 (ja) 2022-05-31
CN112393681A (zh) 2021-02-23
EP3779882B1 (en) 2022-07-20
CN112393681B (zh) 2022-07-12
EP3779882A1 (en) 2021-02-17
KR20210020813A (ko) 2021-02-24
US20210048341A1 (en) 2021-02-18
US11467030B2 (en) 2022-10-11
JP2021034044A (ja) 2021-03-01

Similar Documents

Publication Publication Date Title
KR102460791B1 (ko) 3차원 이미징 시스템에서 광 삼각 측량으로부터의 이미지 데이터에 강도 피크 위치를 제공하기 위한 방법 및 장치
CN109212510B (zh) 用于测量多线激光雷达的角分辨率的方法和装置
KR102134688B1 (ko) 광학 거리 측정 방법 및 광학 거리 측정 장치
JP6667065B2 (ja) 位置推定装置および位置推定方法
US10976656B2 (en) Defect inspection device and defect inspection method
US5889582A (en) Image-directed active range finding system
CN109955829B (zh) 清洁激光雷达传感器的方法及装置
US6476914B1 (en) Process and device for ascertaining whether two successive shafts are in alignment
JP2005242488A (ja) 物体検出装置、物体検出方法、プログラム
US20160259034A1 (en) Position estimation device and position estimation method
US20220113171A1 (en) Sensor diagnosis device and computer readable medium
CN112833812B (zh) 用于检验样品的测量仪器和用于确定样品高度图的方法
JP2022168956A (ja) レーザ計測装置およびその計測方法
JP3690260B2 (ja) 車間距離計測方法
CN111854630A (zh) 光学位移计
EP3062516B1 (en) Parallax image generation system, picking system, parallax image generation method, and computer-readable recording medium
WO2021049490A1 (ja) イメージレジストレーション装置、画像生成システム、イメージレジストレーション方法及びイメージレジストレーションプログラム
JP2012220285A (ja) 距離画像カメラおよびこれを用いた距離測定方法
US20230274452A1 (en) Method and arrangements for removing erroneous points from a set of points of a 3d virtual object provided by 3d imaging
US20230186510A1 (en) Method and arrangements for determining information regarding an intensity peak position in a space-time volume of image frames
US20230247186A1 (en) Method and arrangements for obtaining and associating 2d image
WO2022113877A1 (ja) 三次元計測装置及び三次元計測プログラム
JP2002031511A (ja) 3次元デジタイザ
JP2013257199A (ja) 立体形状推定装置
JPH11160016A (ja) 距離測定方法及び装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant