KR20240015643A - 투사 패턴의 공액 선 거리로부터의 자동 교정 - Google Patents

투사 패턴의 공액 선 거리로부터의 자동 교정 Download PDF

Info

Publication number
KR20240015643A
KR20240015643A KR1020237041329A KR20237041329A KR20240015643A KR 20240015643 A KR20240015643 A KR 20240015643A KR 1020237041329 A KR1020237041329 A KR 1020237041329A KR 20237041329 A KR20237041329 A KR 20237041329A KR 20240015643 A KR20240015643 A KR 20240015643A
Authority
KR
South Korea
Prior art keywords
feature
detector
features
evaluation device
image
Prior art date
Application number
KR1020237041329A
Other languages
English (en)
Inventor
패트릭 쉰들러
프리드리히 쉬크
크리스티안 렌나르츠
피터 쉴렌
제이콥 엉거
Original Assignee
트리나미엑스 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 트리나미엑스 게엠베하 filed Critical 트리나미엑스 게엠베하
Publication of KR20240015643A publication Critical patent/KR20240015643A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504Calibration devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/045Correction of measurements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

적어도 하나의 대상체(112)의 위치를 결정하는 검출기(110)가 제안된다. 검출기(110)는, 적어도 하나의 조명 패턴(124)으로 대상체(112)를 조명하는 적어도 하나의 프로젝터(122) - 조명 패턴(124)은 복수의 조명 피처(125)를 포함함 - 와,각각 감광 영역(120)을 가진 광학 센서의 매트릭스(116)를 구비하는 적어도 하나의 센서 소자(114) - 각각의 광학 센서(118)는 대상체(112)로부터 검출기(110)로 전파하는 반사 광빔에 의한 제각기의 감광 영역의 조명에 응답하여 적어도 하나의 센서 신호를 생성하도록 설계되고, 센서 소자는 복수의 반사 피처를 포함하는 적어도 하나의 반사 이미지(142)를 결정하도록 구성되고, 반사 피처 각각은 빔 프로파일을 포함함 - 와,제각기의 빔 프로파일을 분석해서 반사 피쳐의 초기 거리 정보를 결정하도록 구성된 적어도 하나의 평가 디바이스(144) - 빔 프로파일을 분석하는 것은 제각기의 센서 신호로부터의 결합 신호 Q를 평가하는 것을 포함하고, 평가 디바이스는 교정 방법을 수행하도록 구성되며, 이 교정 방법은,a) 초기 거리 정보를 고려하여 반사 피처를 기준 이미지의 기준 피처와 매칭시켜서 매칭되는 반사 피처와 기준 피처의 쌍을 결정하는 단계(150)와,b) 매칭되는 반사 피처와 기준 피처의 쌍 각각에 대해 기준 이미지에서 매칭되는 기준 피처의 공액 선(epipolar line)을 결정하는 단계(152)와,c) 매칭되는 반사 피쳐의 공액 선까지의 공액 선 거리 d를 결정하는 단계(154)와,d) 공액 선 거리 d를 기준 이미지에서 이미지 위치(x, y)의 함수로 평가해서 기하학적 패턴을 결정하는 단계(156)와,e) 기하학적 패턴에 따라서 반사 이미지의 회전 및/또는 변형에 대한 적어도 하나의 보정을 결정하는 단계(158)를 포함한다.

Description

투사 패턴의 공액 선 거리로부터의 자동 교정
본 발명은 적어도 하나의 대상체의 위치를 결정하기 위한 검출기, 및 상기 검출기를 교정하는 방법에 관한 것이다. 본 발명은 또한 검출기의 다양한 용도에 관한 것이다. 본 발명에 따른 장치, 방법 및 용도는, 예를 들면, 일상 생활, 게임, 교통 기술, 생산 기술, 보안 기술, 예술, 문서 또는 기술 목적을 위한 디지털 포토그래피 또는 비디오 포토그래피와 같은 포토그래피, 의료 기술 또는 과학 분야에, 특히, 사용될 수 있다. 또한, 본 발명은, 예컨대, 건축학, 측량학, 고고학, 예술, 의학, 공학 또는 제조업 분야에서, 대상체나 풍경의 깊이 프로파일(depth profile)을 생성하는 것과 같이, 하나 이상의 대상체 및/또는 풍경을 스캐닝하는 데 사용될 수 있다. 그러나, 다른 적용이 가능할 수도 있다.
액티브 삼각 측량 시스템은 일반적으로 적어도 하나의 카메라 및 적어도 하나의 조명 프로젝터 예를 들어, 구조 광(structured light) 시스템으로 구성된다. 스테레오 카메라와 같은 다른 삼각 측량 시스템은 적어도 2개의 카메라를 포함할 수 있다. 삼각 측량에 의한 적절한 3차원 재구성을 위해서는, 카메라 및 프로젝터와 같은 구성 요소의 위치 및 회전에 대한 지식이 필수적이다. 나아가, 삼각 측량에 의한 3차원 재구성을 위해서는 예를 들어, 레이저 스폿, 프로젝터의 광 스폿 또는 카메라에 의해 캡처된 검출된 에지와 같은, 장면의 중요 점들의 대응(correspondence) 문제도 해결해야 한다. 3차원 위치는, 프로젝터에 대한 카메라의 알려진 변형(translation) 및 상대 회전에 의해 계산될 수 있다. 이 파라미터는 삼각 측량 시스템의 외부 교정(extrinsic calibration)을 정의한다. 따라서 외부 교정에 따라 3차원 측정 결과의 품질이 달라진다. 하드웨어에 따라서, 이미 교정된 시스템은 물리적인 스트레스나 온도 변이 즉, 시간 경과에 따른 상대적인 위치 및 회전 변화에 의해서 성능이 저하될 수 있다. 이로 인해 잘못된 측정 결과가 나올 수 있다. 분명히, 시스템은 새로운 교정 프로세스를 추가하여 복구될 수 있다. 그러나, 이것은 애플리케이션에 따라서는 시간이 오래 걸리고 실용적이지 않을 수도 있다. 교정 프로세스는, 알려진 거리에 정의된 타깃으로 정적 장면을 캡처하는 것에 기초할 수 있다.
재교정 알고리즘에 대한 개념은 이미 존재했으며 예를 들어, E. Rehder 등의 "Online Stereo Camera Calibration From Scratch" June 2017, Conference: 2017 IEEE Intelligent Vehicles Symposium, DOI:10.1109/IVS.2017.7995952 및 T. Dang의 "Continuous Stereo Self-Calibration by Camera Parameter Tracking", August 2009 IEEE Transactions on Image Processing 8(7):1536-50, DOI:10.1109/TIP.2009.2017824.
이러한 재교정 방식은 외부 파라미터와 관련하여 연립 방정식(예를 들어, 공액 조건(epipolar condition))을 충족해야 하는 피처들의 대응(correspondence)을 찾는 것에 기초한다. 유명한 예로는 8점 알고리즘(the eight-point algorithm)이 있다. 예를 들어, 하나의 카메라와 레이저 도트 프로젝터로 구성된 3차원 측정 시스템의 경우 캡처된 카메라 이미지의 레이저 스폿이 레이저 그리드에 올바르게 할당되었다고 가정할 수 있다. 이는 대응을 정확하게 찾을 수 있다는 것을 의미한다. 카메라 이미지에서의 레이저 스폿의 위치 및 기준 레이저 그리드의 관계를 사용해서 선형 연립 방정식을 얻을 수 있다. 이 선형 방정식을 구하려면 기준 그리드에 해당하는 레이저 스폿이 최소 8개 이상 필요하다. 이 방정식은 최소 제곱법(a least square fit)으로 풀 수 있다. 특잇값 분해(singular value decomposition)를 적절하게 사용해서 카메라와 레이저 프로젝터의 회전과 변형을 결정할 수 있다. 그러나 대응이 잘못된(false)일 경우, 그 결과는 매우 나빠질 수 있다. 이러한 종류의 방법에서는 잘못된 대응을 적절하게 이상점 검출(outlier detection)하는 것이 매우 중요할 수 있다.
이 절차는 스테레오 측정에도 사용할 수 있다. 그러나, 이미지의 에지 또는 모서리와 같이, 두 카메라 이미지에서 대응하는 피처를 찾아야 할 수도 있다. 이 피처의 위치는 예를 들어 8점 방식(eight-point method)을 결정하는 데 사용될 수 있다.
일반적으로, 구조 광 또는 스테레오의 3D 재구성 방법에는 외부 교정 시스템이 필요할 수 있다. 이는, 대응을 검색하는 것이 공액 선에 기초한다는 것을 의미한다. 그러나, 이러한 종류의 검색은 1차원적일 뿐이다. 교정되지 않은 시스템의 경우, 대응을 검색하는 것은 일차원적인 공액 선에 대해서는 더 이상 기능하지 않을 수 있다. 최신 재교정 방법은 2차원 이미지 영역에서 대응을 검색해야 한다. 따라서 3차원 재구성 위에서의 대응 검색 알고리즘이 더 필요할 수 있다.
따라서, 본 발명의 목적은 공지된 디바이스 및 방법의 전술한 기술적 과제에 대응하는 디바이스 및 방법을 제공하는 것이다. 구체적으로, 본 발명의 목적은, 3차원 카메라의 자동 재교정 알고리즘을 가능하게 하는 디바이스 및 방법을 제공하는 것이며, 바람직하게는 새로운 정적 교정 프로세스를 시작하지 않고도 잘못된 측정값을 즉시 교정할 수 있게 하는 것이다.
이러한 문제는 특허 청구 범위의 독립항의 특징들을 포함하는 본 발명에 의해 해결된다. 본 발명의 바람직한 전개는 개별적으로 구현될 수도 있고 또는 조합하여 구현될 수도 있으며, 종속항 및/또는 하기의 명세서 및 상세한 실시예에서 제시된다.
본 발명의 일 양태에서는, 적어도 하나의 대상체의 위치를 결정하는 검출기가 개시된다.
본원에서 사용되는 "대상체"라는 용어는 임의의 대상체, 특히 대상체에 충돌하는 적어도 하나의 광빔을 적어도 부분적으로 반사하도록 구성된 표면 또는 영역을 지칭한다. 광빔은 대상체를 조명하는 검출기의 프로젝터로부터 생성될 수 있으며, 여기서 광빔은 대상체에 의해 반사되거나 산란된다.
본원에 사용되는 용어 "위치"는 대상체의 위치 및/또는 방위, 및/또는 공간에서 대상체의 적어도 한 부분에 관한 적어도 하나의 정보 항목을 지칭한다. 따라서, 적어도 하나의 정보 항목은 대상체의 적어도 하나의 점과 적어도 하나의 검출기 사이에서 적어도 하나의 거리를 암시할 수 있다. 거리는 종 방향 좌표일 수도 있고 혹은 대상체의 점의 종 방향 좌표를 결정하는 데 기여할 수 있다. 이에 더해서 또는 이와 달리, 대상체 및/또는 대상체의 적어도 한 부분의 위치 및/또는 방위에 관한 하나 이상의 다른 정보 항목이 결정될 수도 있다. 일 예로서, 이에 더해서, 대상체 및/또는 대상체의 적어도 한 부분의 적어도 하나의 횡 방향 좌표가 결정될 수 있다. 따라서, 대상체의 위치는 대상체 및/또는 대상체의 적어도 한 부분의 적어도 하나의 종 방향 좌표를 의미할 수 있다. 이에 더해서 또는 이와 달리, 대상체의 위치는 대상체 및/또는 대상체의 적어도 한 부분의 적어도 하나의 횡 방향 좌표를 의미할 수 있다. 이에 더해서 또는 이와 달리, 대상체의 위치는 대상체의 적어도 하나의 방위 정보를 의미할 수 있으며, 이는 공간에서의 대상체의 방위를 나타낸다.
검출기는,
- 적어도 하나의 조명 패턴으로 대상체를 조명하는 적어도 하나의 프로젝터 - 여기서 조명 패턴은 복수의 조명 피처를 포함함 - 와,
- 각각 감광 영역을 가진 광학 센서의 매트릭스를 구비하는 적어도 하나의 센서 소자 - 각각의 광학 센서는 대상체로부터 검출기로 전파하는 반사 광빔에 의한 제각기의 감광 영역의 조명에 응답하여 적어도 하나의 센서 신호를 생성하도록 설계되고, 센서 소자는 복수의 반사 피처를 포함하는 적어도 하나의 반사 이미지를 결정하도록 구성되고, 반사 피처 각각은 빔 프로파일을 포함함 - 와,
- 제각기의 빔 프로파일을 분석해서 반사 피쳐의 초기 거리 정보를 결정하도록 구성된 적어도 하나의 평가 디바이스 - 빔 프로파일을 분석하는 것은 제각기의 센서 신호로부터의 결합 신호 Q를 평가하는 것을 포함하고, 평가 디바이스는 교정 방법을 수행하도록 구성되며, 교정 방법은,
a) 초기 거리 정보를 고려하여 반사 피처를 기준 이미지의 기준 피처와 매칭시켜서 매칭되는 반사 피처와 기준 피처의 쌍을 결정하는 단계;
b) 매칭되는 반사 피처와 기준 피처의 쌍 각각에 대해 기준 이미지에서 매칭되는 기준 피처의 공액 선을 결정하는 단계;
c) 매칭되는 반사 피쳐의 공액 선까지의 공액 선 거리 d를 결정하는 단계;
d) 공액 선 거리 d를 기준 이미지에서 이미지 위치(x, y)의 함수로 평가해서 기하학적 패턴을 결정하는 단계;
e) 이 기하학적 패턴에 따라서 반사 이미지의 회전 및/또는 변형에 대한 적어도 하나의 보정을 결정하는 단계를 포함한다.
본원에서 사용되는 "프로젝터"라는 용어는 조명 프로젝터라고도 하며, 적어도 하나의 조명 패턴을 대상체, 특히 대상체의 표면에 투사하도록 구성된 광학 디바이스를 지칭한다. 프로젝터는 적어도 하나의 광원을 포함할 수 있으며, 이는 적어도 하나의 광빔을 생성하도록 구성된 조명 디바이스 또는 조명 소스라고도 한다. 프로젝터는 적어도 하나의 패턴을 생성하고 이 패턴을 대상체를 포함하는 적어도 하나의 표면 또는 장면을 향해 투사하도록 구성될 수 있다. 프로젝터는, 조명 패턴이 프로젝터로부터, 특히 프로젝터 하우징의 적어도 하나의 개구부로부터 대상체를 향해 전파되게 하도록 구성될 수 있다. 프로젝터는 점의 클라우드를 생성 및/또는 투사하도록 구성될 수 있으며, 예를 들어 프로젝터는 적어도 하나의 디지털 광 처리(DLP) 프로젝터, 적어도 하나의 LCoS 프로젝터, 적어도 하나의 레이저 소스, 적어도 하나의 레이저 소스 어레이, 적어도 하나의 발광 다이오드, 적어도 하나의 발광 다이오드 어레이를 포함할 수 있다. 나아가, 적어도 하나의 주변 광원에 의해 추가 조명 패턴이 생성될 수도 있다.
본원에 사용되는 "패턴"이라는 용어는 적어도 하나의 임의 형상의 피처를 포함하는 임의의 공지된 혹은 사전 결정된 배열을 지칭한다. 이 패턴은 점 또는 심볼과 같은 적어도 하나의 피처를 포함할 수 있다. 이 패턴은 복수의 피처를 포함할 수 있다. 이 패턴은 주기적 피처 또는 비주기적 피처의 배열을 포함할 수 있다. 본원에서 사용되는 "조명 패턴"이라는 용어는 프로젝터 특히 대상체를 조명하는 데 사용되는 프로젝터에 의해 생성되고 투사되는 패턴을 지칭한다. 본원에서 사용되는 "조명 피처"라는 용어는 조명 패턴의 적어도 하나의 임의의 형상의 피처를 의미한다. 조명 패턴은 적어도 하나의 주기적 규칙 점 패턴, 적어도 하나의 육각형 패턴, 적어도 하나의 직사각형 패턴으로 구성된 그룹에서 선택된 적어도 하나의 주기적 규칙의 패턴을 포함할 수 있다. 예를 들어, 프로젝터는 점의 클라우드를 생성 및/또는 투사하도록 구성될 수 있다. 예를 들어, 프로젝터는 조명 패턴이 복수의 점 피처로 구성되도록 점의 클라우드를 생성하도록 구성될 수 있다.
프로젝터는, 각각이 복수의 조명 피처를 포함하는, 복수의 조명 패턴을 생성하도록 구성될 수 있다. 프로젝터는 각각 복수의 조명 피처를 포함하는 2개, 3개, 4개, 5개 또는 그 이상의 조명 패턴을 투사하도록 구성될 수 있다. 조명 패턴들은 특히 조명 피처의 수, 조명 피처의 배열, 조명 피처의 형상, 조명 피처의 파장, 조명 피처의 강도, 개방 각도 등 중 하나 이상에서 차이가 있을 수 있다.
프로젝터는 레이저 소스에 의해 생성된 적어도 하나의 광빔으로부터 조명 패턴을 생성하도록 구성된 적어도 하나의 전송 디바이스, 특히 적어도 하나의 회절 광학 소자를 포함할 수 있다. "전송 디바이스"라는 용어는 "전송 시스템"이라고도 하며, 일반적으로 광빔의 빔 파라미터, 광빔의 폭 또는 광빔의 방향 중 하나 이상을 수정하는 등을 행하여, 광빔을 수정하도록 구성된 하나 이상의 광학 소자를 지칭할 수 있다. 전송 디바이스는 구체적으로 적어도 하나의 렌즈, 예를 들어, 적어도 하나의 가변 초점 렌즈, 적어도 하나의 비구면 렌즈, 적어도 하나의 구면 렌즈, 적어도 하나의 프레넬 렌즈로 이루어진 그룹으로부터 선택된 적어도 하나의 렌즈; 적어도 하나의 회절 광학 소자; 적어도 하나의 오목 거울; 적어도 하나의 빔 편향 소자, 바람직하게는 적어도 하나의 미러; 적어도 하나의 빔 분할 소자, 바람직하게는 빔 분할 큐브 또는 빔 분할 미러 중 적어도 하나; 적어도 하나의 다중 렌즈 시스템 중 하나 이상을 포함할 수 있다.
전송 디바이스는 하나의 광축을 포함할 수 있다. 특히, 검출기와 전송 디바이스는 공통 광축을 포함한다. 본원에 사용되는 용어 "전송 디바이스의 광축"은 일반적으로 렌즈 또는 렌즈 시스템의 거울 대칭축 또는 회전 대칭축을 지칭한다. 검출기의 광축은 검출기의 광학 셋업의 대칭선일 수 있다. 검출기는 적어도 하나의 전송 디바이스, 바람직하게는 적어도 하나의 렌즈를 구비하는 적어도 하나의 전송 시스템을 포함한다. 일 예로서, 전송 시스템은 적어도 하나의 빔 경로를 포함할 수 있고, 빔 경로 내의 전송 시스템의 소자는 광축에 대해 회전 대칭 방식으로 위치될 수 있다. 계속해서, 이하에 더욱 상세히 설명되는 바와 같이, 빔 경로 내에 위치된 하나 이상의 광학 소자는 광축에 대하여 중심이 벗어나거나 경사질 수도 있다. 그러나, 이 경우, 예를 들어, 렌즈의 중심을 상호 연결하는 것과 같이, 빔 경로 내의 광학 소자의 중심을 상호 연결함으로써, 광축이 순차적으로 정의될 수 있고, 이러한 맥락에서, 광학 센서는 광학 소자로 계산되지 않는다. 광축은 일반적으로 빔 경로를 나타낼 수 있다. 여기서, 검출기는 대상체로부터 광학 센서로 진행될 수 있는 광빔을 따라 단일 빔 경로를 가질 수도 있고, 혹은 복수의 빔 경로를 가질 수도 있다. 일 예로서, 단일 빔 경로가 주어질 수도 있고 혹은 빔 경로가 2 이상의 부분 빔 경로로 분할될 수도 있다. 후자의 경우, 각각의 부분 빔 경로는 자체 광축을 포함할 수 있다. 광학 센서는 하나의 동일한 빔 경로 또는 부분 빔 경로에 위치될 수 있다. 그러나, 이와 달리, 광학 센서는 상이한 부분 빔 경로에 위치될 수도 있다.
전송 디바이스는 좌표계를 구성할 수 있고, 여기서, 종 방향 좌표 I는 광축을 따르는 좌표이고, d는 광축으로부터의 공간 오프셋이다. 좌표계는 전송 디바이스의 광축이 z축을 형성하고, z축으로부터의 거리 및 극각(polar angle)이 추가 좌표로서 사용될 수 있는 극 좌표계가 사용될 수 있다. z축에 평행하거나 역평행한 방향은 종 방향으로 간주될 수 있고, z축을 따르는 좌표는 종 방향 좌표로 간주될 수 있다. z축에 수직인 임의의 방향은 횡 방향으로 간주될 수 있고, 극 좌표 및/또는 극각은 횡 방향 좌표로 간주될 수 있다.
본원에 사용되는 용어 "빔"은 일반적으로 광선의 집합을 지칭한다. 이하에서는 용어 "광선"과 "빔"은 동의어로 사용될 것이다. 본원에 사용되는 용어 "광빔"은 일반적으로 확산각(spreading angle)이나 광각(widening angle)을 갖는 광빔의 능력을 포함하여, 광량, 특히, 본질적으로 동일한 방향으로 진행하는 광량을 지칭한다.
광빔은 적어도 하나의 빔 프로파일을 포함할 수 있다. 광빔은 공간적 확장을 가질 수 있다. 구체적으로, 광빔은 비-가우시안 빔 프로파일을 가질 수 있다. 빔 프로파일은 사다리꼴 빔 프로파일, 삼각형 빔 프로파일, 원뿔형 빔 프로파일로 이루어진 그룹에서 선택될 수 있다. 사다리꼴 빔 프로파일은 고원 영역(plateau region) 및 적어도 하나의 에지 영역을 가질 수 있다. 광빔은, 가우스 광빔 또는 가우스 광빔의 선형 조합일 수 있다. 본원에 사용되는 용어 "빔 프로파일"은, 특히, 광빔의 전파에 수직인 적어도 하나의 평면에서의 광빔의 강도의 공간 분포에 관한 것이다. 빔 프로파일은 광빔의 횡 방향 강도 프로파일일 수 있다. 빔 프로파일은 광빔의 단면일 수 있다. 빔 프로파일은 사다리꼴 빔 프로파일, 삼각형 빔 프로파일, 원추형 빔 프로파일, 및 가우스 빔 프로파일의 선형 조합으로 이루어진 그룹으로부터 선택될 수 있다. 그러나, 다른 실시예도 가능하다. 프로젝터는 빔 프로파일, 특히 빔 프로파일의 형상을 조정, 정의 및 결정하기 위해 하나 이상을 구성할 수 있는 적어도 하나의 전송 디바이스를 포함할 수 있다.
예를 들어, 프로젝터는 단일 광원과 같은 적어도 하나의 조명 소스, 특히 레이저 빔이라고 하는 적어도 하나의 광빔을 생성하도록 구성된 단일 레이저 소스와 같은, 적어도 하나의 조명 소스를 포함할 수 있다. 프로젝터는 패턴화된 조명 피처를 포함하는 조명 패턴을 생성하기 위해 단일 레이저 소스에 의해 생성된 레이저 빔을 회절하고 복제하기 위한 적어도 하나의 전송 디바이스를 포함할 수 있다. 특히, 프로젝터는 광 빔을 회절 및 복제하기 위한 적어도 하나의 회절 광학 소자를 더 포함한다. 회절 광학 소자는 빔 형성 및/또는 빔 분할을 위해 구성될 수 있다. 본원에서 사용되는 "복제"라는 용어는 하나의 광빔으로부터 복수의 광빔을 생성하는 것, 특히 광빔을 증배시키는 것을 지칭할 수 있다.
이에 더해서 또는 이와 달리, 예를 들어, 프로젝터는 광빔의 클러스터를 생성하도록 구성된 특정 패턴에 따라서 조밀하게 패킹된 광원, 특히 레이저 소스의 적어도 하나의 어레이를 포함할 수 있다. 본원에서 사용되는 "조밀하게 패킹된" 광원이라는 용어는 클러스터에 배열된 복수의 광원을 지칭할 수 있다. 광원의 밀도는 개별 광원의 하우징의 확장 및 광빔의 구별 가능성에 따라 달라질 수 있다. 프로젝터는 패턴화된 조명 피처를 포함하는 조명 패턴을 생성하기 위해 광빔의 클러스터를 회절 및 복제하기 위한 적어도 하나의 전송 디바이스를 포함할 수 있다.
본원에서 사용되는 용어 "센서 소자"는 일반적으로 적어도 하나의 파라미터를 검지하도록 구성된 디바이스나 복수의 디바이스의 조합을 지칭한다. 이 경우, 파라미터는 구체적으로 광학 파라미터일 수도 있고, 센서 소자는, 특히, 광학 센서 소자일 수도 있다. 센서 소자는 일원화된 단일 디바이스 또는 여러 디바이스의 조합으로 형성될 수 있다. 본원에서 또한 사용되는 용어 "매트릭스"는 일반적으로 사전 결정된 기하학적 순서로 복수의 소자의 배열을 지칭한다. 매트릭스는, 이하에 더 상세히 설명되는 바와 같이, 구체적으로 하나 이상의 행과 하나 이상의 열로 이루어지는 직사각형 매트릭스일 수도 있고 이를 포함할 수도 있다. 행 및 열은 구체적으로 직사각형 형태로 배열될 수 있다. 그러나, 직사각형 배열이 아닌 다른 배열이 실현 가능한 것으로 요약되어야 한다. 일 예로서, 소자가 중심 위치를 중심으로 동심원 또는 타원으로 배열되는 원형 배열도 가능할 수 있다. 예를 들어, 매트릭스는 단일 행의 픽셀일 수도 있다. 다른 배열도 가능하다.
매트릭스의 광학 센서는, 특히, 크기, 감도 및 기타 광학적, 전기적 및 기계적 특성 중 하나 이상에서 동일할 수 있다. 매트릭스의 모든 광학 센서의 감광 영역은, 특히, 공통 평면에 위치될 수 있고, 공통 평면은 대상체로부터 검출기로 전파되는 광빔이 공통 평면 상에 광 스폿을 생성할 수 있도록 대상체와 대향하는 것이 바람직하다.
본원에서 사용되는 "광학 센서"는 일반적으로 광빔을 검출하기 위한, 예를 들어 적어도 하나의 광빔에 의해 생성된 조명 및/또는 광 스폿을 검출하기 위한 감광 디바이스를 지칭한다. 본원에서 또한 사용되는 "감광 영역"은 일반적으로 적어도 하나의 센서 신호가 생성되는 조명에 응답하여, 적어도 하나의 광빔에 의해 외부로 조명될 수 있는 광학 센서의 영역을 지칭한다. 감광 영역은 구체적으로 제각기의 광학 센서의 표면 상에 위치될 수 있다. 그러나, 다른 실시예도 가능하다. 본원에 사용되는 "적어도 하나의 감광 영역을 각각 구비하는 광학 센서"라는 용어는 하나의 감광 영역을 각각 구비하는 복수의 단일 광학 센서의 구성과, 복수의 감광 영역을 구비하는 하나의 결합된 광학 센서의 구성을 지칭한다. 따라서, 용어 "광학 센서"는 하나의 출력 신호를 생성하도록 구성된 감광 디바이스를 지칭하는 한편, 여기서는 2 이상의 출력 신호를 생성하도록 구성된 감광 디바이스, 예를 들어, 적어도 하나의 CCD 및/또는 CMOS 디바이스가 2개 이상의 광학 센서로서 지칭된다. 이하에 더 상세히 설명되는 바와 같이, 각각의 광학 센서는, 조명될 수 있는 하나의 감광 영역을 정확하게 제공하는 것과 같이, 하나의 감광 영역이 전체 광학 센서에 대해 정확하게 하나의 균일한 센서 신호가 생성되는 조명에 응답하여 각각의 광학 센서 내에 정확히 존재하도록 구현될 수 있다. 따라서, 각각의 광학 센서는 단일 영역 광학 센서일 수 있다. 그러나 단일 영역 광학 센서의 사용은, 특히, 간단하고 효율적인 검출기의 셋업을 가능하게 한다. 따라서, 일 예로서, 상업적으로 이용 가능한 실리콘 포토다이오드와 같이, 각각 정확하게 하나의 감지 영역을 구비하는 상업적으로 이용 가능한 광센서(photo sensor)가 셋업에 사용될 수 있다. 그러나, 다른 실시예도 가능하다. 따라서, 일 예로서, 본 발명의 맥락에서 2개, 3개, 4개 또는 4개 초과의 광학 센서로 간주되는 2개, 3개, 4개 또는 4개 초과의 감광 영역을 포함하는 광학 디바이스가 사용될 수 있다. 전술한 바와 같이, 센서 소자는 광학 센서의 매트릭스를 포함한다. 따라서, 일 예로서, 광학 센서는 픽셀화된 광학 디바이스의 일부이거나 이를 구성할 수 있다. 일 예로서, 광학 센서는 픽셀 매트릭스를 구비하는 적어도 하나의 CCD 및/또는 CMOS 디바이스의 일부이거나 이를 구성할 수 있으며, 각 픽셀은 감광 영역을 형성한다.
상술한 바와 같이, 광학 센서는, 특히, 광검출기(photodetectors), 바람직하게는 무기 광검출기, 더 바람직하게는 무기 반도체 광검출기, 가장 바람직하게는 실리콘 광검출기일 수 있거나 이를 포함할 수 있다. 구체적으로, 광학 센서는 적외선 스펙트럼 범위에서 감지할 수 있다. 매트릭스의 모든 광학 센서 또는 적어도 한 그룹의 매트릭스의 광학 센서는 구체적으로 동일할 수 있다. 매트릭스의 동일한 광학 센서의 그룹은, 특히, 상이한 스펙트럼 범위에 대하여 제공될 수 있거나, 모든 광학 센서는 스펙트럼 감도와 관련하여 동일할 수 있다. 또한, 광학 센서는 그 크기 및/또는 그들의 전자적 또는 광전자적 특성과 관련하여 동일할 수 있다.
구체적으로, 광학 센서는 적외선 스펙트럼 범위, 바람직하게는 780nm 내지 3.0㎛ 범위에서 감지되는 무기 광다이오드일 수 있거나 이를 포함할 수 있다. 구체적으로, 광학 센서는 실리콘 광다이오드가, 특히, 700nm 내지 1,000nm의 범위에서 적용 가능한 근적외선 영역의 부분에서 감지할 수 있다. 광학 센서에 사용될 수 있는 적외선 광학 센서는 trinamiX GmbH, D-67056 Ludwigshafen am Rhein, Germany에 위치하는 trinamiX GmbH로부터 브랜드 명 HertzstueckTM으로 상업적으로 입수할 수 있는 적외선 광학 센서와 같은 상업적으로 이용 가능한 적외선 광학 센서일 수 있다. 따라서, 일 예로서, 광학 센서는 진성 광전형(intrinsic photovoltaic type)의 적어도 하나의 광학 센서, 보다 바람직하게는 Ge 광다이오드, InGaAs 광다이오드, 확장된 InGaAs 광다이오드, InAs 광다이오드, InSb 광다이오드, HgCdTe 광다이오드로 이루어진 그룹으로부터 선택되는 적어도 하나의 반도체 광다이오드를 포함할 수 있다. 이에 더해서 또는 이와 달리, 광학 센서는 외적 광전형(extrinsic photovoltaic type)의 적어도 하나의 광학 센서, 보다 바람직하게는 Ge:Au 광다이오드, Ge:Hg 광다이오드, Ge:Cu 광다이오드, Ge:Zn 광다이오드, Si:Ga 광다이오드, Si:As 광다이오드로 이루어진 그룹으로부터 선택된 적어도 하나의 반도체 광다이오드를 포함할 수 있다. 이에 더해서 또는 이와 달리, 광학 센서는 적어도 하나의 볼로미터(bolometer), 바람직하게는 VO 볼로미터 및 비정질 Si 볼로미터로 이루어진 그룹으로부터 선택되는 볼로미터를 포함할 수 있다.
매트릭스는 독립적인 광학 센서로 구성될 수 있다. 따라서, 매트릭스는 무기 광다이오드로 구성될 수 있다. 그러나, 이와 달리, CCD 검출기 칩과 같은 하나 이상의 CCD 검출기 및/또는 CMOS 검출기 칩과 같은 CMOS 검출기와 같이, 상업적으로 이용 가능한 매트릭스가 사용될 수도 있다.
따라서, 일반적으로, 검출기의 광학 센서는, 전술한 매트릭스와 같이, 센서 어레이를 형성할 수 있거나 센서 어레이의 일부일 수 있다. 따라서, 일 예로서, 검출기는 m개의 행과 n개의 열로 구성된 직사각형 어레이와 같은 광학 센서의 어레이를 포함할 수 있고, 여기서, m, n은 독립적으로 양의 정수이다. 바람직하게는, 하나 초과의 열 및 하나 초과의 행, 즉, n>1, m>1이 주어진다. 따라서, 일 예로서, n은 2 내지 16 또는 그 이상일 수 있고, m은 2 내지 16 또는 그 이상일 수 있다. 바람직하게는, 행의 개수와 열의 개수의 비율은 1에 가깝다. 일 예로서, m/n = 1:1, 4:3, 16:9 또는 이와 유사한 것을 선택하는 것과 같이, n과 m은 0.3≤m/n≤3인 것으로 선택될 수 있다. 일 예로서, 어레이는 m=2, n=2 또는 m=3, n=3 등을 선택하는 것과 같이, 같은 수의 행과 열로 구성된 정방형 어레이일 수 있다.
매트릭스는 구체적으로 적어도 하나의 행, 바람직하게는 복수의 행 및 복수의 열로 이루어진 직사각형 매트릭스일 수 있다. 일 예로서, 행 및 열은 실질적으로 수직일 수 있고, 여기서 "실질적으로 수직"이라는 용어에 관해서는 위에 주어진 정의를 참조할 수 있다. 따라서, 일 예로서, 20° 미만, 특히 10° 미만 또는 심지어 5° 미만의 허용 오차가 허용될 수 있다. 넓은 범위의 시야를 제공하기 위해, 매트릭스는 구체적으로 적어도 10행, 바람직하게는 적어도 50행, 더 바람직하게는 적어도 100행으로 이루어질 수 있다. 마찬가지로, 매트릭스는 적어도 10열, 바람직하게는 적어도 50열, 더 바람직하게는 적어도 100열로 이루어질 수 있다. 매트릭스는 적어도 50개의 광학 센서, 바람직하게는 적어도 100개의 광학 센서, 더 바람직하게는 적어도 500개의 광학 센서를 포함할 수 있다. 매트릭스는 멀티메가 픽셀 범위의 많은 픽셀을 포함할 수 있다. 그러나, 다른 실시예도 가능하다. 따라서, 축 회전 대칭이 예상되는 셋업에서는, 픽셀이라고도 지칭되는 매트릭스의 광학 센서의 원형 배열 또는 동심원 배열이 바람직할 수 있다.
센서 소자는 실질적으로 검출기의 광축에 수직으로 지향되는 것이 바람직할 수 있다. 다시, "실질적으로 수직"이라는 용어와 관련하여, 위에 주어진 정의와 허용 오차가 참조될 수 있다. 광축은 직선 광축일 수 있거나 또는 하나 이상의 편향 소자 및/또는 하나 이상의 빔 스플리터를 사용하는 것과 같이, 구부러지거나 심지어 분할될 수 있고, 후자의 경우, 실질적으로 수직 방위는 광학 셋업 각각의 브랜치(branch) 또는 빔 경로 내의 로컬 광축을 지칭할 수 있다.
반사 광빔은 대상체에서 검출기 쪽으로 전파될 수 있다. 프로젝터는 조명 패턴으로 대상체를 조명할 수 있으며, 광은 대상체에 의해 반사 혹은 산란되어 적어도 부분적으로 검출기를 향해 반사 광빔으로 지향된다.
각각의 광학 센서는 대상체로부터 검출기로 전파하는 반사 광빔에 의한 제각기의 감광 영역의 조명에 응답하여 적어도 하나의 센서 신호를 생성하도록 설계된다. 특히, 반사 광 빔은 센서 소자를 완전히 조명해서 센서 소자가 광 빔 내에 완전히 위치하게 할 수 있으며, 광 빔의 폭은 매트릭스보다 클 수 있다. 반대로, 바람직하게는, 반사광빔은 광 스폿이 매트릭스 내에 완전히 위치되도록 매트릭스보다 작은 광 스폿을 전체 매트릭스 상에 생성할 수도 있다. 이러한 상황은, 예컨대, 적절한 전송 디바이스를 사용하여, 광빔에 포커싱 또는 디포커싱 효과를 나타내는 하나 이상의 적절한 렌즈나 소자를 선택함으로써 광학 분야의 당업자에 의해 쉽게 조정될 수 있다.
또한, 본원에 사용되는 용어 "센서 신호"는 일반적으로 광빔에 의한 조명에 응답하여 광학 센서에 의해 생성된 신호를 지칭한다. 구체적으로, 센서 신호는 적어도 하나의 아날로그 전기 신호 및/또는 적어도 하나의 디지털 전기 신호와 같은 적어도 하나의 전기 신호일 수 있거나 이를 포함할 수 있다. 더 구체적으로, 센서 신호는 적어도 하나의 전압 신호 및/또는 적어도 하나의 전류 신호이거나 이를 포함할 수 있다. 보다 구체적으로, 센서 신호는 적어도 하나의 광전류를 포함할 수 있다. 또한, 미가공 센서 신호를 사용하거나, 검출기, 광학 센서 또는 임의의 다른 소자가 센서 신호를 처리 또는 전처리하도록 구성되어, 2차 센서 신호를 생성할 수 있고, 이는 필터링 등에 의한 전처리와 같은 센서 신호로도 사용될 수 있다.
평가를 위해 광학 센서의 미가공 센서 신호가 사용될 수도 있고, 혹은 그로부터 도출된 2차 센서 신호에 사용될 수도 있다. 본원에 사용되는 용어 "2차 센서 신호"는 일반적으로 전자 신호, 바람직하게는 아날로그 및/또는 디지털 신호와 같은 신호를 지칭하고, 이는 필터링, 평균화, 복호화 등과 같은 방식으로 하나 이상의 미가공 신호를 처리함으로써 얻어진다. 따라서, 이미지 처리 알고리즘은 매트릭스의 센서 신호의 전체 또는 매트릭스 내의 관심 영역으로부터 2차 센서 신호를 생성하는 데 사용될 수 있다. 구체적으로, 평가 디바이스와 같은 검출기는 광학 센서의 센서 신호를 변환하여 2차 광학 센서 신호를 생성하도록 구성될 수 있으며, 여기서 평가 디바이스는 2차 광학 센서 신호를 사용해서 초기 거리 정보의 결정을 수행하도록 구성될 수 있다. 구체적으로, 센서 신호의 변환은 필터링; 적어도 하나의 관심 영역의 선택; 센서 신호에 의해 생성된 이미지와 적어도 하나의 오프셋 간의 차분 이미지 형성; 센서 신호에 의해 생성된 이미지를 반전시키는 것에 의한 센서 신호의 반전; 상이한 시간에 센서 신호에 의해 생성된 이미지 간의 차분 이미지의 형성; 배경 보정; 컬러 채널로의 분해; 색조(hue)로의 분해; 포화(saturation); 밝기 채널; 주파수 분해; 단일값 분해(singular value decomposition); 캐니 에지 검출기(Canny edge detector) 적용; LoG 필터(Laplacian of Gaussian filter) 적용; DoG 필터(Difference of Gaussian filter) 적용; 소벨 연산자(Sobel operator) 적용; 라플라스 연산자(Laplacian operator) 적용; Scharr 연산자 적용; Prewitt 연산자 적용; Roberts 연산자 적용; Kirsch 연산자 적용; 고역 필터(high-pass filter) 적용; 저역 통과 필터(low-pass filter) 적용; 푸리에 변환 적용; 라돈 변형(Radon transformation) 적용; 허프 변형(Hough transformation) 적용; 웨이블릿 변환(wavelet-transformation) 적용; 임계화(thresholding); 이진 이미지 생성으로 이루어진 그룹으로부터 선택된 적어도 하나의 변환을 포함할 수 있다. 관심 영역은 사용자에 의해 수동으로 결정될 수 있거나, 광학 센서에 의해 생성된 이미지 내의 대상체를 인식함으로써 자동적으로 결정될 수도 있다. 예를 들어, 차량, 사람 또는 다른 유형의 사전 결정된 대상체는 이미지 내, 즉, 광학 센서에 의해 생성된 센서 신호의 전체 내에서 자동 이미지 인식에 의해 결정될 수 있고, 관심 영역은 대상체가 관심 영역 내에 위치하도록 선택될 수 있다. 이 경우, 종 방향 좌표의 결정과 같은 평가는 관심 영역에 대해서만 수행될 수 있다. 그러나, 다른 구현예도 가능하다.
감광 영역은, 특히, 대상체를 향해 지향될 수 있다. 본원에 사용되는 "대상체를 향해 지향된다"라는 용어는 일반적으로 감광 영역의 각 표면이 대상체로부터 전체적 또는 부분적으로 가시화되는 상황을 지칭한다. 구체적으로, 대상체의 적어도 하나의 지점과 각 감광 영역의 적어도 하나의 지점 사이의 적어도 하나의 상호 연결선은 감광 영역의 표면 소자와 0°와는 다른 각도, 예컨대, 20° 내지 90°, 바람직하게는 90°와 같은 80° 내지 90°의 각도를 형성할 수 있다. 따라서, 대상체가 광축 상에 또는 광축에 근접하여 위치될 때, 대상체로부터 검출기를 향해 전파되는 광빔은 본질적으로 광축에 평행할 수 있다. 본원에 사용되는 "본질적으로 수직"이라는 용어는, 예를 들어, 허용 오차가 ±20° 이하, 바람직하게는 ±10° 이하, 보다 바람직하게는 ±5° 이하인 수직 방위의 조건을 지칭한다. 유사하게, "본질적으로 평행"이라는 용어는, 예를 들어, 허용 오차가 ±20° 이하, 바람직하게는 ±10° 이하, 보다 바람직하게는 ±5° 이하인 평행 방위의 조건을 지칭한다.
광학 센서는 자외선, 가시광선 또는 적외선 스펙트럼 범위 중 하나 이상에서 감지할 수 있다. 구체적으로, 광학 센서는 500nm 내지 780nm, 가장 바람직하게는 650nm 내지 750nm 또는 690nm 내지 700nm의 가시 스펙트럼 범위에서 감지할 수 있다. 구체적으로, 광학 센서는 근적외선 영역에서 감지할 수 있다. 구체적으로, 광학 센서는 실리콘 광다이오드가, 특히, 700nm 내지 1,000nm의 범위에서 적용 가능한 근적외선 영역의 부분에서 감지할 수 있다. 구체적으로, 광학 센서는 적외선 스펙트럼 범위, 특히, 780nm 내지 3.0㎛ 범위에서 감지할 수 있다. 예를 들어, 광학 센서 각각은, 독립적으로, 광다이오드, 광전지, 광전도체, 광트랜지스터 또는 이들의 임의의 조합으로 이루어진 그룹으로부터 선택된 적어도 하나의 소자이거나 이를 포함할 수 있다. 예를 들어, 광학 센서는 CCD 센서 소자, CMOS 센서 소자, 광다이오드, 광전지, 광전도체, 광트랜지스터 또는 이들의 임의의 조합으로 이루어진 그룹으로부터 선택된 적어도 하나의 소자를 포함하거나 이를 포함할 수 있다. 임의의 다른 유형의 감광성 소자가 사용될 수 있다. 이하에 더욱 상세하게 설명되는 바와 같이, 감광성 소자는 일반적으로 전체적 또는 부분적으로 무기 재료로 제조될 수 있고 및/또는 전체적 또는 부분적으로 유기 재료로 제조될 수도 있다. 가장 일반적으로, 이하에 더욱 상세하게 설명하는 바와 같이, 상업적으로 이용 가능한 광다이오드, 예컨대, 무기 반도체 광다이오드와 같은 하나 이상의 광다이오드가 사용될 수 있다.
본원에서 사용되는 "반사 이미지"라는 용어는 적어도 하나의 반사 피처를 포함하는 광학 센서에 의해 결정된 이미지 및/또는 적어도 하나의 피처 및/또는 회전 및 변형과 같은 외부 파라미터의 변환에 대한 광학 센서의 이미지 평가를 의미한다. 반사 피처 각각은 빔 프로파일을 포함한다. 본원에서 사용되는 "반사 피처"라는 용어는 조명에 응답하여 대상체에 의해 생성된 이미지 평면의 피처 예를 들어, 적어도 하나의 조명 피처를 지칭한다. 반사 이미지는 적어도 하나의 반사 피처를 포함하는 적어도 하나의 반사 패턴을 포함할 수 있다. 본원에서 사용되는 "적어도 하나의 반사 이미지를 결정하는"이라는 용어는 반사 이미지의 이미징, 기록 및 생성 중 하나 이상을 지칭한다.
센서 소자는 적어도 하나의 반사 패턴을 결정하도록 구성될 수 있다. 본원에서 사용되는 "반사 패턴"이라는 용어는 대상체의 표면에서 광의 반사 또는 산란에 의해 생성되는 반응 패턴, 특히 조명 패턴에 의한 조명에 대응하여 대상체에 의해 생성되는 반응 패턴을 지칭한다. 반사 패턴은 조명 패턴의 적어도 하나의 피처에 대응하는 적어도 하나의 피처를 포함할 수 있다. 반사 패턴은 조명 패턴과 비교하여 적어도 하나의 왜곡된 패턴을 포함할 수 있으며, 여기서 왜곡은 대상체의 표면 특성과 같은 대상체의 거리에 따라 달라진다. 평가 디바이스는 반사 패턴의 적어도 하나의 피처를 선택하고, 센서 신호로부터의 결합 신호 Q를 평가하여 반사 패턴의 선택된 피처의 종 방향 영역을 결정하도록 구성될 수 있으며, 전술한 바와 같이 아래에 더 상세히 설명한다.
본 명세서에서 또한 사용되는 용어 "평가 디바이스"는 일반적으로 바람직하게는 적어도 하나의 데이터 처리 디바이스, 더 바람직하게는 적어도 하나의 프로세서 및/또는 적어도 하나의 ASIC(Application-Specific Integrated Circuit)을 사용하여, 지정된 동작을 수행하도록 구성된 임의의 디바이스를 지칭한다. 따라서, 일 예로서, 적어도 하나의 평가 디바이스는 다수의 컴퓨터 커맨드를 포함하는 소프트웨어 코드가 저장된 적어도 하나의 데이터 처리 디바이스를 포함할 수 있다. 평가 디바이스는 하나 이상의 지정된 동작을 수행하기 위한 하나 이상의 하드웨어 소자를 제공할 수 있고/있거나 하나 이상의 지정된 동작을 수행하기 위한 소프트웨어가 구동되는 하나 이상의 프로세서를 제공할 수 있다. 대상체의 적어도 하나의 종 방향 좌표를 결정하는 것을 포함하는 전술한 동작은 적어도 하나의 평가 디바이스에 의해 수행된다. 따라서, 일 예로서, 전술한 관계 중 하나 이상은, 이하 설명되는 바와 같이 예컨대, 하나 이상의 룩업 테이블을 구현함으로써, 소프트웨어 및/또는 하드웨어로 구현될 수 있다. 따라서, 일 예로서, 평가 디바이스는 대상체의 적어도 하나의 종 방향 좌표를 결정하기 위해 전술한 평가를 수행하도록 구성된 하나 이상의 컴퓨터, ASICs(Application-Specific Integrated Circuits), DSPs(Digital Signal Processors) 또는 FPGA(Field Programmable Gate Arrays)와 같은 하나 이상의 프로그래밍 가능한 디바이스를 포함할 수 있다. 그러나 이에 더해서 또는 이와 달리, 평가 디바이스는 하드웨어에 의해 전체적 또는 부분적으로 구현될 수 있다.
평가 디바이스는 반사 이미지의 적어도 하나의 반사 피처를 선택하도록 구성될 수 있다. 평가 디바이스는 반사 이미지의 반사 피처를 연속해서 선택하도록 구성될 수 있다. 평가 디바이스는 반사 이미지의 이미지 분석을 수행하여 반사 이미지의 반사 피처를 식별하도록 구성될 수 있다. 본원에서 사용되는 "적어도 하나의 반사 피처를 선택한다"는 용어는 반사 이미지의 적어도 하나의 반사 피처를 식별, 결정 및 선택하는 것 중 하나 이상을 의미한다. 평가 디바이스는 반사 특징을 식별하기 위해 적어도 하나의 이미지 분석 및/또는 이미지 처리를 수행하도록 구성될 수 있다. 이미지 분석 및/또는 이미지 처리는 적어도 하나의 특징 검출 알고리즘을 사용할 수 있다. 이미지 분석 및/또는 이미지 처리는, 필터링; 적어도 하나의 관심 영역의 선택; 센서 신호에 의해 생성된 이미지와 적어도 하나의 오프셋 간의 차분 이미지 형성; 센서 신호에 의해 생성된 이미지를 반전시키는 것에 의한 센서 신호의 반전; 상이한 시간에 센서 신호에 의해 생성된 이미지 간의 차분 이미지 형성; 배경 보정; 컬러 채널로의 분해; 색조(hue)로의 분해; 포화(saturation); 및 밝기 채널; 주파수 분해; 단일값 분해(singular value decomposition); 캐니 에지 검출기(Canny edge detector) 적용; LoG 필터(Laplacian of Gaussian filter) 적용; DoG 필터(Difference of Gaussian filter) 적용; 소벨(Sobel operator) 연산자 적용; 라플라스 연산자(Laplacian operator) 적용; Scharr 연산자 적용; Prewitt 연산자 적용; Roberts 연산자 적용; Kirsch 연산자 적용; 고역 통과 필터 적용; 저역 통과 필터 적용; 푸리에 변환 적용; 라돈 변환(Radon transformation) 적용; 허프 변환(Hough transformation) 적용; 웨이블릿 변환(wavelet-transformation) 적용; 임계화(thresholding); 이진 이미지 생성 중 하나 이상을 포함할 수 있다. 관심 영역은 사용자에 의해 수동으로 결정될 수 있거나, 광학 센서에 의해 생성된 이미지 내의 대상체를 인식함으로써 자동적으로 결정될 수도 있다.
본원에서 사용되는 "초기 거리 정보"라는 용어는 결합 신호 Q를 사용해서 결정된 종 방향 좌표를 지칭할 수 있다. 검출기는 결합 신호 Q로부터 반사 이미지의 적어도 하나의 반사 피처에 대한 대상체 점의 종 방향 좌표를 결정하도록 구성될 수 있다. 따라서, 검출기는 반사 이미지의 적어도 하나의 반사 피처를 사전 분류하고 및/또는 반사 피처에 대한 거리 추정치를 제공하도록 구성될 수 있다. 구체적으로, 검출기는 초기 거리 정보, 특히 사전 분류 및/또는 거리 추정치를 고려한 삼각 측량을 사용해서 대상체의 적어도 하나의 더 정확한 거리 정보를 결정하도록 구성될 수 있다.
평가 디바이스는 제각기의 빔 프로파일을 분석하여, 적어도 하나의 초기 거리 정보, 즉 반사 이미지의 선택된 반사 피처의 종 방향 좌표 z를 결정하도록 구성된다. 이 기술은 빔 프로파일 분석 또는 광자로부터의 심도(depth-from-photon-ratio) 기술이라고 하며, 센서 신호로부터의 결합 신호 Q를 평가하여 종 방향 좌표를 결정하는 것을 포함한다. 빔 프로파일 분석, 특히 결합 신호 Q를 이용한 종 방향 좌표의 결정은 WO 2018/091649 A1, WO 2018/091638 A1 및 WO 2018/091640 A1과 같이, 일반적으로 당업자에게 알려져 있으며, 그 내용은 참조로 포함되어 있다.
빔 프로파일 분석은 제각기의 센서 신호, 특히 광학 센서가 감광 영역에서 반사광 빔을 검출함으로써 생성된 센서 신호의 결합 신호 Q를 평가하는 것으로 구성된다. 각각의 광학 센서는 대상체로부터 검출기로 전파하는 반사 광빔에 의한 제각기의 감광 영역의 조명에 응답하여 적어도 하나의 센서 신호를 생성하도록 설계된다.
본원에 사용되는 용어 "결합 신호 Q"는 센서 신호를 조합하여, 특히, 센서 신호를 분할하거나, 센서 신호의 배수를 분할하거나 또는 센서 신호의 선형 조합을 분할함으로써 생성되는 신호를 지칭한다. 평가 디바이스는 센서 신호를 나누는 것, 센서 신호의 배수를 나누는 것, 센서 신호의 선형 조합을 나누는 것 중 하나 이상에 의해 결합 신호 Q를 도출하도록 구성될 수 있다. 평가 디바이스는 종 방향 영역을 결정하기 위해, 결합 신호 Q와 종 방향 영역 사이의 적어도 하나의 사전 결정된 관계를 사용하도록 구성될 수 있다.
예를 들어, 평가 디바이스는 결합 신호 Q를 다음 식에 의해 도출하도록 구성될 수 있다.
여기서, x 및 y는 횡 방향 좌표이고, A1 및 A2는 센서 위치에서 반사 광 빔의 적어도 하나의 빔 프로파일의 상이한 영역이고, E(x, y, z0)는 대상체 거리 z0에서 주어진 빔 프로파일을 나타낸다. 영역 A1과 영역 A2는 서로 다를 수 있다. 특히, A1과 A2는 일치하지 않는다. 따라서, A1 및 A2는 형상이나 내용 중 하나 이상이 서로 다를 수 있다.
일반적으로 빔 프로파일은 휘도 L(z0) 및 빔 형상 S(x,y;z0), E(x,y;z0) = L·S에 따라 달라진다. 따라서, 결합 신호를 도출함으로써, 휘도와는 독립적인 종 방향 좌표를 결정할 수 있게 한다. 나아가, 결합 신호를 사용하면, 대상체 크기와는 독립적인 거리 z0을 결정하게 할 수 있다. 따라서, 결합 신호는 대상체의 재료 특성 및/또는 반사 특성 및/또는 산란 특성과는 독립적이고, 또한, 예를 들어, 제조 정밀도, 열, 물, 먼지, 렌즈의 손상 등과 같은 것에 의한 광원의 변경과도 독립적인 거리 z0을 결정하게 할 수 있다.
센서 신호의 각각은 광빔의 빔 프로파일의 적어도 하나의 영역의 적어도 하나의 정보를 포함할 수 있다. 본원에 사용되는 용어 "빔 프로파일의 영역"은 일반적으로 결합 신호 Q를 결정하기 위해 사용되는 센서 위치에서의 빔 프로파일의 임의의 영역을 지칭한다.
감광 영역은 제1 센서 신호가 빔 프로파일의 제1 영역의 정보를 포함하고, 제2 센서 신호가 빔 프로파일의 제2 영역의 정보를 포함하도록 배열될 수 있다. 빔 프로파일의 제1 영역 및 빔 프로파일의 제2 영역은 인접하거나 겹치는 영역 중 하나 또는 양쪽 모두일 수 있다. 빔 프로파일의 제1 영역 및 빔 프로파일의 제2 영역은 영역 내에서 일치하지 않을 수 있다.
평가 디바이스는 빔 프로파일의 제1 영역 및 빔 프로파일의 제2 영역을 결정 및/또는 선택하도록 구성될 수 있다. 빔 프로파일의 제1 영역은 본질적으로 빔 프로파일의 에지 정보를 포함할 수 있고, 빔 프로파일의 제2 영역은 본질적으로 빔 프로파일의 중심 정보를 포함할 수 있다. 빔 프로파일은, 예컨대, 빔 프로파일의 최대값 및/또는 빔 프로파일의 고원(plateau)의 중심점 및/또는 광 스폿의 기하학적 중심과 같은 중심과, 중심으로부터 연장되는 하강 에지로 구성될 수 있다. 제2 영역은 횡단면의 내부 영역을 포함할 수 있고, 제1 영역은 횡단면의 외부 영역을 포함할 수 있다. 본원에 사용되는 "본질적으로 중심 정보"라는 용어는, 일반적으로, 예컨대, 중심에 대응하는 강도 분포의 비율과 같은 중심 정보의 비율과 비교하여, 예컨대, 에지에 대응하는 강도 분포의 비율과 같은 에지 정보의 비율이 낮음을 지칭한다. 바람직하게는, 중심 정보는 에지 정보의 비율이 10% 미만, 더 바람직하게는 5% 미만, 가장 바람직하게 중심 정보는 에지 콘텐츠를 포함하지 않는다. 본원에 사용되는 "본질적으로 에지 정보"라는 용어는 일반적으로 에지 정보의 비율과 비교하여 중심 정보의 비율이 낮음을 지칭한다. 에지 정보는 전체 빔 프로파일의 정보, 특히, 중심 및 에지 영역으로부터의 정보를 포함할 수 있다. 바람직하게는, 에지 정보는 중심 정보의 비율이 10% 미만, 더 바람직하게는 5% 미만이거나, 가장 바람직하게는 에지 정보가 중심 콘텐츠를 포함하지 않는다. 빔 프로파일이 인접하거나 중심 주위에 있고, 본질적으로 중심 정보를 구성하는 경우, 빔 프로파일의 적어도 하나의 영역은 빔 프로파일의 제2 영역으로 결정 및/또는 선택될 수 있다. 빔 프로파일의 적어도 하나의 영역은, 그것이 단면의 하강 에지의 적어도 일부를 포함하는 경우, 빔 프로파일의 제1 영역으로 결정 및/또는 선택될 수 있다. 예를 들어, 단면의 전체 영역이 제1 영역으로 결정될 수 있다. 빔 프로파일의 제1 영역은 영역 A2일 수 있고, 빔 프로파일의 제2 영역은 영역 A1일 수 있다.
제1 영역 A1 및 제2 영역 A2의 다른 선택도 가능할 수 있다. 예를 들어, 제1 영역은 빔 프로파일의 본질적으로 외부 영역을 포함할 수 있고, 제2 영역은 빔 프로파일의 본질적으로 내부 영역을 포함할 수 있다. 예를 들어, 2차원 빔 프로파일의 경우, 빔 프로파일은 왼쪽 부분과 오른쪽 부분으로 분할될 수 있으며, 여기서 제1 영역은 본질적으로 빔 프로파일의 왼쪽 부분의 영역을 포함하고, 제2 영역은 본질적으로 빔 프로파일의 오른쪽 부분의 영역을 포함할 수 있다.
에지 정보는 빔 프로파일의 제1 영역 내의 광자 수(number of photons)에 관한 정보를 포함할 수 있고, 중심 정보는 빔 프로파일의 제2 영역 내의 광자 수에 관한 정보를 포함할 수 있다. 평가 디바이스는 빔 프로파일의 면적 적분을 결정하도록 구성될 수 있다. 평가 디바이스는 제1 영역의 적분 및/또는 합산에 의해 에지 정보를 결정하도록 구성될 수 있다. 평가 디바이스는 제2 영역의 적분 및/또는 합산에 의해 중심 정보를 결정하도록 구성될 수 있다. 예를 들어, 빔 프로파일은 사다리꼴 빔 프로파일일 수 있고, 평가 디바이스는 사다리꼴의 적분을 결정하도록 구성될 수 있다. 또한, 사다리꼴 빔 프로파일이 가정될 수 있는 경우, 에지 및 중심 신호의 결정은 에지의 경사와 위치 결정, 중심 고원의 높이 결정, 및 기하학적 고려에 의한 에지 및 중심 신호의 도출과 같은 사다리꼴 빔 프로파일의 특성을 이용하는 등가의 평가로 대체될 수 있다.
이에 더해서 또는 이와 달리, 평가 디바이스는 광 스폿의 적어도 하나의 슬라이스나 절단으로부터 중심 정보 또는 에지 정보 중 하나 또는 양쪽 모두를 결정하도록 구성될 수 있다. 이것은, 예를 들어, 결합 신호 Q의 면적 적분을 슬라이스나 절단을 따라 라인 적분으로 대체함으로써 실현될 수 있다. 정확도의 향상을 위해, 광 스폿을 통과하는 몇몇 슬라이스나 절단이 사용되어 평균화될 수 있다. 타원형 스폿 프로파일의 경우에, 몇몇 슬라이스나 절단을 평균화하면, 결과적으로 거리 정보가 향상될 수 있다.
일 실시예에서, 대상체로부터 검출기로 전파되는 광 빔은 복수의 피처 점들을 포함하는 적어도 하나의 반사 패턴을 갖고 센서 소자를 조명할 수 있다. 본원에서 사용되는 "피처 점"라는 용어는 패턴의 적어도 부분적으로 확장된 적어도 하나의 피처를 지칭한다. 피처 점은 적어도 하나의 점, 적어도 하나의 선, 적어도 하나의 에지로 구성된 그룹으로부터 선택될 수 있다. 반사 패턴은 예를 들어, 적어도 하나의 패턴을 포함하는 조명 패턴을 갖는 적어도 하나의 광원에 의한 조명에 응답하여 대상체에 의해 생성될 수 있다. A1은 광학 센서 상의 피처 점의 전체 또는 완전 영역에 대응할 수 있다. A2는 광학 센서 상의 피처 점의 중심 영역일 수 있다. 중앙 영역은 일정한 값일 수 있다. 중심 영역은 피처 점의 전체 영역에 비해 작을 수 있다. 예를 들어 원형 피처 점의 경우, 중심 영역은 피처 점 전체 반경의 0.1에서 0.9까지의 반경을 가질 수 있으며, 바람직하게는 전체 반경의 0.4에서 0.6까지의 반경을 가질 수 있다.
평가 디바이스는 에지 정보와 중심 정보를 나누는 것, 에지 정보와 중심 정보의 배수를 나누는 것, 에지 정보와 중심 정보의 선형 조합을 나누는 것 중 하나 이상에 의해 결합 신호 Q를 도출하도록 구성될 수 있다. 따라서, 본질적으로, 광자비(photon ratios)는 이 기술의 물리적 기초로서 사용될 수 있다.
예를 들어, 평가 디바이스는,
- 가장 높은 센서 신호를 포함하는 하나 이상의 광학 센서를 결정하고, 하나 이상의 중심 신호를 형성하며,
- 매트릭스의 광학 센서의 센서 신호를 평가하고, 하나 이상의 합산 신호를 형성하고,
- 중심 신호와 합산 신호를 결합하여 하나 이상의 결합 신호를 결정하며,
- 결합 신호를 평가함으로써, 선택된 특징 중 적어도 하나의 종 방향 좌표 z를 결정함으로써 센서 신호를 평가하도록 구성될 수 있다.
결과적으로, 본 발명에 따르면, "중심 신호"라는 용어는 본질적으로 빔 프로파일의 중심 정보를 포함하는 적어도 하나의 센서 신호를 지칭한다. 예를 들어, 중심 신호는 전체 매트릭스 또는 매트릭스 내의 관심 영역의 광학 센서에 의해 생성된 복수의 센서 신호 중 가장 높은 센서 신호를 포함하는 적어도 하나의 광학 센서의 신호일 수 있고, 여기서, 관심 영역은 매트릭스의 광학 센서에 의해 생성된 이미지 내에서 사전 결정되거나 결정될 수 있다. 본원에 사용되는 "가장 높은 센서 신호"라는 용어는 관심 영역에서의 최대 또는 로컬 최대 중 하나 또는 양쪽 모두를 지칭한다. 중심 신호는 단일 광학 센서로부터 발생될 수도 있고, 혹은 이하에서 더 상세히 설명하는 바와 같이, 광학 센서 그룹으로부터 발생될 수도 있으며, 후자의 경우, 일 예로서, 광학 센서 그룹의 센서 신호는 중심 신호를 결정하기 위해 가산되거나, 적분되거나, 평균화될 수 있다. 중심 신호가 발생되는 광학 센서의 그룹은 가장 높은 센서 신호를 포함하는 실제의 광학 센서로부터의 사전 결정된 거리보다 짧은 거리를 갖는 광학 센서와 같은 인접한 광학 센서의 그룹일 수 있거나, 또는 가장 높은 센서 신호로부터 사전 결정된 범위 내에 있는 센서 신호를 생성하는 광학 센서의 그룹일 수 있다. 최대 동적 범위를 허용하기 위해, 중심 신호가 생성되는 광학 센서의 그룹이 가능한 한 크게 선택될 수 있다. 평가 디바이스는, 예를 들어, 가장 높은 센서 신호를 포함하는 광학 센서 주위의 복수의 광학 센서에 대한 복수의 센서 신호를 적분함으로써 중심 신호를 결정하도록 구성될 수 있다. 예를 들어, 빔 프로파일은 사다리꼴 빔 프로파일일 수 있고, 평가 디바이스는 사다리꼴의, 특히, 사다리꼴의 고원의 적분을 결정하도록 구성될 수 있다.
전술한 바와 같이, 중심 신호는 일반적으로 광 스폿의 중심에서의 광학 센서로부터의 센서 신호와 같은 단일 센서 신호일 수 있거나, 광 스폿의 중심에서의 광학 센서로부터 발생되는 센서 신호의 조합, 또는 전술한 가능성 중 하나 이상에 의해 도출된 센서 신호를 처리하여 도출된 제2 센서 신호와 같은 복수의 센서 신호의 조합일 수 있다. 센서 신호의 비교가 종래의 전자 디바이스에 의해 상당히 간단하게 구현되거나, 또는 소프트웨어에 의해 전체적 또는 부분적으로 수행될 수 있기 때문에, 중심 신호의 결정은 전자적으로 수행될 수 있다. 구체적으로, 중심 신호는, 가장 높은 센서 신호; 가장 높은 센서 신호로부터의 사전 결정된 허용 범위 내에 있는 센서 신호 그룹의 평균; 가장 높은 센서 신호를 포함하는 광학 센서 및 인접하는 광학 센서의 사전 결정된 그룹을 포함하는 광학 센서의 그룹으로부터의 센서 신호의 평균; 가장 높은 센서 신호를 포함하는 광학 센서 및 인접하는 광학 센서의 사전 결정된 그룹을 포함하는 광학 센서의 그룹으로부터의 센서 신호의 합; 가장 높은 센서 신호로부터의 허용 오차의 사전 결정된 범위 내에 있는 센서 신호 그룹의 합; 사전 결정된 임계값 이상인 센서 신호 그룹의 평균; 사전 결정된 임계값 이상인 센서 신호 그룹의 합; 가장 높은 센서 신호를 포함하는 광학 센서와 인접하는 광학 센서의 사전 결정된 그룹을 포함하는 광학 센서의 그룹으로부터의 센서 신호의 적분; 가장 높은 센서 신호로부터의 허용 오차의 사전 결정된 범위 내에 있는 센서 신호 그룹의 적분; 상기의 사전 결정된 임계값 이상인 센서 신호 그룹의 적분으로 이루어진 그룹으로부터 선택될 수 있다.
마찬가지로, 용어 "합산 신호"는 본질적으로 빔 프로파일의 에지 정보를 포함하는 신호를 지칭한다. 예를 들어, 합산 신호는 센서 신호를 추가하거나, 센서 신호를 적분하거나, 전체 매트릭스나 매트릭스 내의 관심 영역의 센서 신호를 평균화함으로써 도출될 수 있고, 여기서, 관심 영역은 매트릭스의 광학 센서에 의해 생성된 이미지 내에서 사전 결정되거나 결정될 수 있다. 센서 신호들에 대한 가산, 적분 또는 평균화 시, 센서 신호가 생성되는 것으로부터 실제 광학 센서는 가산, 적분 또는 평균화에서 제외되거나, 그렇지 않으면, 가산, 적분 또는 평균화에 포함될 수 있다. 평가 디바이스는 전체 매트릭스나 매트릭스 내의 관심 영역의 신호를 적분함으로써 합산 신호를 결정하도록 구성될 수 있다. 예를 들어, 빔 프로파일은 사다리꼴 빔 프로파일일 수 있고, 평가 디바이스는 전체 사다리꼴의 적분을 결정하도록 구성될 수 있다. 또한, 사다리꼴 빔 프로파일이 가정될 수 있는 경우, 에지 및 중심 신호의 결정은 에지의 경사와 위치 결정, 중심 고원의 높이 결정, 및 기하학적 고려에 의한 에지 및 중심 신호의 도출과 같은 사다리꼴 빔 프로파일의 특성을 이용하는 등가의 평가로 대체될 수 있다.
마찬가지로, 중심 신호 및 에지 신호는 빔 프로파일의 원형 세그먼트와 같은 빔 프로파일의 세그먼트를 사용하여 결정될 수도 있다. 예를 들어, 빔 프로파일은 빔 프로파일의 중심을 통과하지 않는 시컨트(secant) 또는 코드(chord)에 의해 2개의 세그먼트로 분할될 수 있다. 따라서 하나의 세그먼트에는 기본적으로 에지 정보가 포함되고, 다른 세그먼트에는 기본적으로 중심 정보가 포함될 것이다. 예를 들어, 중심 신호에서 에지 정보의 양을 더 감소시키기 위해, 에지 신호는 중심 신호로부터 더 감산될 수 있다.
이에 더해서 또는 이와 달리, 평가 디바이스는 광 스폿의 적어도 하나의 슬라이스나 절단으로부터 중심 정보 또는 에지 정보 중 하나 또는 양쪽 모두를 결정하도록 구성될 수 있다. 이것은, 예를 들어, 결합 신호 Q의 면적 적분을 슬라이스나 절단을 따라 라인 적분으로 대체함으로써 실현될 수 있다. 정확도의 향상을 위해, 광 스폿을 통과하는 몇몇 슬라이스나 절단이 사용되어 평균화될 수 있다. 타원형 스폿 프로파일의 경우에, 몇몇 슬라이스나 절단을 평균화하면, 결과적으로 거리 정보가 향상될 수 있다.
결합 신호는 중심 신호와 합산 신호를 결합함으로써 생성되는 신호일 수 있다. 구체적으로, 이 결합은 중심 신호와 합산 신호의 몫을 형성하거나 그 반대로 형성하는 것과, 중심 신호의 배수와 합산 신호의 배수의 몫을 형성하거나 그 반대로 형성하는 것과, 중심 신호의 선형 조합과 합산 신호의 선형 조합의 몫을 형성하거나 그 반대로 형성하는 것을 포함할 수 있다. 이에 더해서 또는 이와 달리, 결합 신호는 중심 신호와 합산 신호 사이의 비교에 관한 적어도 하나의 정보 항목을 포함하는 임의의 신호 또는 신호 조합을 포함할 수 있다.
광 스폿의 중심 검출, 즉, 중심 신호의 검출 및/또는 중심 신호가 발생하는 적어도 하나의 광학 센서의 검출은 하나 이상의 소프트웨어 알고리즘을 사용하여 완전히 또는 부분적으로, 전자적으로 완전히 또는 부분적으로 수행될 수 있다. 특히, 평가 디바이스는 적어도 하나의 가장 높은 센서 신호를 검출하고/하거나 중심 신호를 형성하기 위한 적어도 하나의 중심 검출기를 포함할 수 있다. 중심 검출기는, 특히, 소프트웨어로 전체적 또는 부분적으로 구현될 수 있고/있거나 하드웨어로 전체적 또는 부분적으로 구현될 수 있다. 중심 검출기는 적어도 하나의 센서 소자에 전체적 또는 부분적으로 통합될 수 있고/있거나 센서 소자와는 전체적 또는 부분적으로 독립하여 구현될 수도 있다.
합산 신호는 매트릭스의 모든 센서 신호, 관심 영역 내의 센서 신호, 또는 이들 가능성 중 하나로부터 도출될 수 있고, 중심 신호에 기여하는 광학 센서로부터 발생된 센서 신호는 제외된다. 모든 경우에, 종 방향 좌표를 결정하기 위해, 중심 신호와 신뢰성 있게 비교될 수 있는 신뢰 가능한 합산 신호가 생성될 수 있다. 일반적으로, 합산 신호는 매트릭스의 모든 센서 신호에 대한 평균; 매트릭스의 모든 센서 신호의 합; 매트릭스의 모든 센서 신호의 적분; 중심 신호에 기여하는 광학 센서로부터의 센서 신호를 제외한 매트릭스의 모든 센서 신호에 대한 평균; 중심 신호에 기여하는 광학 센서로부터의 센서 신호를 제외한 매트릭스의 모든 센서 신호의 합; 중심 신호에 기여하는 광학 센서로부터의 센서 신호를 제외한 매트릭스의 모든 센서 신호의 적분; 가장 높은 센서 신호를 포함하는 광학 센서로부터 사전 결정된 범위 내의 광학 센서의 센서 신호의 합; 가장 높은 센서 신호를 포함하는 광학 센서로부터 사전 결정된 범위 내의 광학 센서의 센서 신호의 적분; 가장 높은 센서 신호를 포함하는 광학 센서로부터 사전 결정된 범위 내에 위치되는 광학 센서의 특정 임계값 초과의 센서 신호의 합; 가장 높은 센서 신호를 포함하는 광학 센서로부터 사전 결정된 범위 내에 위치되는 광학 센서의 특정 임계값 초과의 센서 신호의 적분으로 이루어진 그룹으로부터 선택될 수 있다. 그러나, 다른 옵션도 존재한다.
합산은 소프트웨어로 전체적 또는 부분적으로 수행될 수 있고/있거나 하드웨어로 전체적 또는 부분적으로 수행될 수 있다. 일반적으로, 합산은 순수하게 전자적인 수단으로 가능하며, 일반적으로 검출기에서 쉽게 구현될 수 있다. 따라서, 전자 공학 분야에서, 아날로그 신호 및 디지털 신호 양쪽 모두에 대해 2 이상의 전기 신호를 합산하는 합산 디바이스가 일반적으로 공지되어 있다. 따라서, 평가 디바이스는 합산 신호를 형성하기 위한 적어도 하나의 합산 디바이스를 포함할 수 있다. 합산 디바이스는 센서 소자에 전체적 또는 부분적으로 통합될 수 있거나 센서 소자와는 전체적 또는 부분적으로 독립하여 구현될 수도 있다. 합산 디바이스는 하드웨어 또는 소프트웨어 중 하나 또는 양쪽 모두에서 전체적 또는 부분적으로 구현될 수 있다.
중심 신호와 합산 신호 사이의 비교는, 특히, 하나 이상의 몫 신호를 형성함으로써 수행될 수 있다. 따라서, 일반적으로, 결합 신호 Q는 중심 신호와 합산 신호의 몫을 형성하거나 그 반대로 형성하는 것과, 중심 신호의 배수와 합산 신호의 배수의 몫을 형성하거나 그 반대로 형성하는 것과, 중심 신호의 선형 조합과 합산 신호의 선형 조합의 몫을 형성하거나 그 반대로 형성하는 것과, 합산 신호와 중심 신호의 선형 조합과 중심 신호의 몫을 형성하거나 그 반대로 형성하는 것과, 합산 신호와 중심 신호의 선형 조합과 합산 신호의 몫을 형성하거나 또는 그 반대로 형성하는 것, 및 중심 신호의 지수와 합산 신호의 지수의 몫을 형성하거나 그 반대로 형성하는 것 중 하나 이상에 의해 도출되는 몫 신호 Q일 수 있다. 그러나, 다른 옵션도 존재한다. 평가 디바이스는 하나 이상의 몫 신호를 형성하도록 구성될 수 있다. 평가 디바이스는 적어도 하나의 몫 신호를 평가하여 적어도 하나의 종 방향 좌표를 결정하도록 더 구성될 수 있다.
평가 디바이스는 초기 거리 정보를 결정하기 위해, 특히 센서 신호들 사이의 적어도 하나의 공지된, 결정 가능한 또는 사전 결정된 관계를 사용해서, 결합 신호 Q와 종 방향 좌표 사이의 적어도 하나의 사전 결정된 관계를 사용하도록 구성된다. 특히, 평가 디바이스는 센서 신호로부터 유도된 몫 신호와 종 방향 좌표 사이의 적어도 하나의 공지된, 결정 가능한 또는 사전 결정된 관계를 사용해서 대상체의 적어도 하나의 좌표를 결정하도록 구성된다. 사전 결정된 관계는 경험적 관계, 반경험적 관계 및 분석적으로 도출된 관계 중 하나 이상일 수 있다. 평가 디바이스는 조회 리스트 또는 조회 테이블과 같이, 사전 결정된 관계를 저장하기 위한 적어도 하나의 데이터 저장 디바이스를 포함할 수 있다.
따라서, 전술한 이유 및 종 방향 좌표에 대한 광 스폿의 특성의 의존성으로 인해, 결합 신호 Q는 통상적으로 대상체의 종 방향 좌표 및/또는 광 스폿의 직경 또는 등가 직경과 같은 광 스폿의 크기의 단조 함수(monotonous function)이다. 따라서, 일 예로서, 특히, 선형 광학 센서가 사용되는 경우, 센서 신호 scenter 및 합산 신호 ssum의 단순한 몫 Q=scenter/ssum은 거리의 단조적 감소 함수일 수 있다. 이 이론으로 구속되기를 바라지 않고, 이것은 전술한 바람직한 셋업에서 검출기에 도달하는 빛의 양이 감소하기 때문에, 광원에 대한 거리가 증가하는 제곱 함수(square function)로서, 중심 신호 scenter 및 합산 신호 ssum의 양쪽 모두가 감소하기 때문인 것으로 생각된다. 그러나, 여기에서, 실험에 사용되는 광학 셋업에서는, 이미지 평면 내의 광 스폿이 증가하여 더 큰 영역으로 확산되기 때문에, 중심 신호 scenter는 합산 신호 ssum보다 더 빠르게 감소한다. 따라서 중심 신호와 합산 신호의 몫은 매트릭스의 광학 센서의 감광 영역 상의 광빔의 직경 또는 광 스폿의 직경이 증가함에 따라 연속적으로 감소한다. 이 몫은, 또한, 광빔의 총 전력이 중심 신호와 합산 신호에서 모두 인자를 형성하기 때문에, 일반적으로 광빔의 총 전력과는 독립적이다. 그 결과, 결합 신호 Q는 중심 신호와 합산 신호 간의 유일하고 모호하지 않은 관계와 광빔의 크기 또는 직경을 제공하는 2차 신호를 형성할 수 있다. 반면에, 광빔의 크기 또는 직경은 광빔이 검출기를 향해 전파되는 대상체와 검출기 자체 사이의 거리, 즉, 대상체의 종 방향 좌표에 의존하기 때문에, 한편으로는 중심 신호와 합산 신호 사이의 유일하고 모호하지 않은 관계 및 다른 한편으로는 종 방향 좌표가 존재할 수 있다. 사전 결정된 관계는, 예컨대 결합 신호 및/또는 중심 신호와 합산 신호를 측정하는 측정값, 및/또는 대상체의 종 방향 좌표의 함수로서 이 값들로부터 도출된 2차 신호와 같은 경험적 측정에 의해, 가우스 광빔의 선형 조합을 가정하는 것과 같은 분석적 고려 사항에 의해 결정될 수 있다.
결합 신호 Q는 다양한 수단을 사용하여 결정될 수 있다. 일 예로서, 몫 신호를 도출하기 위한 소프트웨어 수단, 몫 신호를 도출하기 위한 하드웨어 수단, 또는 양쪽 모두가 사용될 수 있고, 평가 디바이스에서 구현될 수 있다. 따라서, 일 예로서, 평가 디바이스는 적어도 하나의 디바이더를 포함할 수 있고, 여기서, 디바이더는 몫 신호를 도출하도록 구성된다. 디바이더는 소프트웨어 디바이더 또는 하드웨어 디바이더 중 하나 또는 양쪽 모두로 구현될 수 있다. 디바이더는 센서 소자에 전체적 또는 부분적으로 통합될 수 있거나 센서 소자와는 전체적 또는 부분적으로 독립하여 구현될 수도 있다.
빔 프로파일 분석을 사용한 깊이 측정은, 다중 반사를 유발하는 환경, 편향된 광원 또는 계산 요구가 적은 반사 측정 대상체, 특히 처리 능력이 저하된 경우에도 신뢰할 수 있는 거리 측정을 가능하게 한다. 빔 프로파일 분석을 통해 센서 소자의 이미지로부터 깊이 맵을 추정할 수 있다. 특히, 빔 프로파일 분석으로 결정된 거리는 조명 피처마다 거리 추정을 제공할 수 있으며, 센서 소자 및 프로젝터의 알려진, 특히 고정된 위치에 대해서, 삼각 측량 방법을 통해 구체화될 수 있다. 삼각 측량을 사용해서 세분화된 종 방향 좌표를 계산하기 위해서는, 소위 대응(correspondence) 문제가 해결되어야 한다. 일반적으로, 삼각 측량을 이용한 3차원 재구성 방법에는 외부 교정 시스템이 필요하다. 외부 교정 시스템의 경우, 각각의 반사 피처를 빔 프로파일 분석의 추정 초기 거리 정보와 함께 기준 그리드 점, 즉 기준 피처에 매칭시킬 수 있다. 따라서, 공액 조건이 충족되고 빔 프로파일 분석에서 신뢰할 수 있는 깊이 추정치가 나온 경우, 검출된 각 반사 피처를 대응하는 기준 그리드 점과 매칭시킬 수 있다. 그러나 일치하는 부분이 거짓으로 판정되면 삼각 측량을 기반으로 한 거리 측정은 매우 부정확해진다. 하드웨어에 따라서는, 사전 교정된 검출기는 물리적 스트레스나 온도 변화에 의해 성능이 저하되어 상대적 위치 및 회전이 시간에 따라 변할 수 있다. 센서 소자와 프로젝터의 상대적 위치가 변화되면 반사 이미지의 변화를 초래하고, 기준 피처와 반사 피처의 대응(correspondence)을 잘못 결정해서 잘못된 거리 측정 결과를 초래할 수 있다. 본 발명은 검출기의 외부 파라미터를 결정하기 위한 교정 방법, 특히 재교정을 수행하는 것을 제안한다. 본 발명에 따른 교정 방법은 새로운 정적 교정 프로세스를 시작하지 않고도 잘못된 거리 측정 값을 즉석에서 직접 교정할 수 있다. 특히, 교정 방법은 사용자 상호 작용 없이도 자동으로 수행될 수 있다. 본원에서 사용되는 "자동으로"라는 용어는 광범위한 용어로, 당업자에게 통상적이고 관례적인 의미가 부여되어야 하며, 특수하거나 커스텀된 의미로 제한되어서는 안 된다. 이 용어는 특히 수동 작업 및/또는 사용자와의 상호 작용 없이 적어도 하나의 컴퓨터 및/또는 컴퓨터 네트워크 및/또는 기계를 통해 완전히 수행되는 프로세스를 제한 없이 구체적으로 지칭할 수 있다.
본원에서 사용되는 "교정"이라는 용어는 광범위한 용어로, 당업자에게 통상적이고 관례적인 의미가 부여되어야 하며, 특수하거나 커스텀된 의미로 제한되어서는 안 된다. 교정이라는 용어는 검출기의 적어도 하나의 외부 파라미터를 결정하거나 검출기의 측정값, 특히 반사 이미지에서 반사 피처의 위치에 대한 보정을 결정하기 위한 적어도 하나의 프로세스를 지칭할 수 있다. 평가 디바이스는 검출기의 적어도 하나의 외부 파라미터를 결정하도록 구성될 수 있다. 외부 파라미터는 프로젝터와 센서 소자의 좌표 사이의 회전 각도, 프로젝터와 센서 소자의 좌표 사이의 변형 요소, 조리개 각도, 센서 소자의 중심, 조리개, 초점 거리로 구성된 그룹에서 선택된 적어도 하나의 파라미터를 포함할 수 있다.
교정 방법은 초기 거리 정보를 고려하여 반사 피처를 기준 이미지의 기준 피처와 매칭시켜서 매칭되는 반사 피처와 기준 피처의 쌍을 결정하는 것을 포함한다.
본원에서 사용되는 "기준 이미지"라는 용어는 반사 이미지와 비교하여 다른 공간 위치에서 결정되는 반사 이미지와는 상이한 이미지를 지칭한다. 기준 이미지는 적어도 하나의 기준 특징을 기록하고, 적어도 하나의 기준 특징을 촬상하며, 기준 이미지를 계산하는 것 중 하나 이상에 의해 결정될 수 있다. 구체적으로, 기준 이미지는 복수의 기준 피처를 포함하는 기준 그리드라고도 하는 적어도 하나의 기준 패턴을 포함한다. 본원에서 사용되는 "기준 피처"이라는 용어는 기준 이미지의 적어도 하나의 피처를 의미한다. 기준 이미지와 반사 이미지는 고정 거리를 갖는 상이한 공간 위치에서 결정된 대상체의 이미지일 수 있다. 거리는 기준선이라고도 하는 상대적 거리일 수 있다.
예를 들어, 기준 이미지는 프로젝터 위치의 이미지 평면에서 조명 패턴의 이미지와 같은 기준 그리드일 수 있다. 프로젝터와 센서 소자는 고정된 거리만큼 분리될 수 있다.
예를 들어, 검출기는 각각 광학 센서의 매트릭스를 갖는 적어도 두 개의 센서 소자를 포함할 수 있다. 적어도 하나의 제1 센서 소자와 적어도 하나의 제2 센서 소자는 서로 다른 공간 위치에 배치될 수도 있다. 제1 센서 소자와 제2 소자 사이의 상대적 거리는 고정될 수 있다. 적어도 하나의 제1 센서 소자는 적어도 하나의 제1 반사 패턴, 특히 적어도 하나의 제1 반사 피처를 결정하도록 구성될 수 있고, 적어도 하나의 제2 센서 소자는 적어도 하나의 제2 반사 패턴, 특히 적어도 하나의 제2 반사 피처를 결정하도록 구성될 수 있다. 평가 디바이스는 제1 센서 소자 또는 제2 센서 소자에 의해 결정된 적어도 하나의 이미지를 반사 이미지로 선택하고, 제1 센서 소자 또는 제2 센서 소자 중 다른 하나에 의해 결정된 적어도 하나의 이미지를 기준 이미지로 선택하도록 구성될 수 있다.
평가 디바이스는 적어도 하나의 선형 스케일링 알고리즘을 사용해서 변위 영역(displacement region) 내의 반사 피처 중 하나와 기준 피처 중 하나를 각각 매칭시키도록 구성될 수 있다. 빔 프로파일 분석은 가능성의 수를 감소시킬 수 있다.
평가 디바이스는 적어도 하나의 반사 피처에 대응하는 적어도 하나의 기준 이미지에서 적어도 하나의 기준 피처를 결정하도록 구성될 수 있다. 평가 디바이스는 이미지 분석을 수행하고 반사 이미지의 피처를 식별하도록 구성될 수 있다. 평가 디바이스는 선택된 반사 피처와 본질적으로 동일한 종 방향 좌표를 갖는 기준 이미지에서 적어도 하나의 기준 피처를 식별하도록 구성될 수 있다. "본질적으로 동일하다"는 용어는 10%, 바람직하게는 5%, 가장 바람직하게는 1% 이내에서 동일함을 의미한다. 반사 피처에 대응하는 기준 피처는 공액 기하학(epipolar geometry)을 사용하여 결정될 수 있다. 공액 기하학의 설명에 대해서는, 예를 들어, X. Jiang, H. Bunke의 "Dreidimensionales Computersehe" Springer, Berlin Heidelberg, 1997의 챕터 2를 참조한다. 공액 기하학은 기준 이미지와 반사 이미지가 서로 다른 공간 위치 및/또는 고정된 거리를 갖는 공간 방향에서 결정된 대상체의 이미지일 수 있다고 가정할 수 있다. 기준 이미지와 반사 이미지는 고정 거리를 갖는 상이한 공간 위치에서 결정된 대상체의 이미지일 수 있다. 평가 디바이스는 기준 이미지에서 공액 선을 결정하도록 구성될 수 있다. 기준 이미지와 반사 이미지의 가정된 상대 위치가 알려질 수 있다. 예를 들어, 기준 이미지의 가정된 상대 위치는 이전 교정 즉 과거 교정에서 결정될 수 있으며, 이 교정에서 단계 a) 내지 e)가 수행될 수 있다. 예를 들어, 기준 이미지와 반사 이미지의 가정된 상대 위치는 제조 업체 값일 수 있다. 예를 들어, 기준 이미지 및 반사 이미지의 가정된 상대 위치는 평가 디바이스의 적어도 하나의 저장 유닛 내에 저장될 수 있다. 평가 디바이스는 반사 이미지의 선택된 반사 피처로부터 연장되는 직선을 결정하도록 구성될 수 있다. 직선은 선택된 반사 피처에 대응하는 가능한 반사 피처를 포함할 수 있다. 이 직선과 기준선은 공액 평면에 걸쳐 있다. 기준 이미지가 반사 이미지와는 다른 상대적 위치에서 결정되므로, 대응하는 가능한 반사 피처는 기준 이미지에서, 공액 선이라고 하는 직선에 이미징될 수 있다. 따라서, 반사 이미지의 선택된 반사 피처에 대응하는 기준 이미지의 기준 피처가 공액 선 상에 있는 것으로 가정된다. 그러나, 위에서 설명한 바와 같이 이미지의 왜곡이나 노화, 온도 변화, 기계적 응력 등과 같은 외부 파라미터의 변화로 인해 공액 선이 서로 교차하거나 매우 가까워지거나 혹은 기준 피처와 반사 피처 간의 대응이 불분명할 수 있다.
평가 디바이스는 각각의 반사 피처에 대해 반사 피처의 종 방향 영역을 결정하도록 구성될 수 있다. 종 방향 영역은 결합 신호 Q로부터 결정된 반사 피쳐의 초기 거리 정보 및 에러 구간 ±ε에 의해 주어질 수 있다. 평가 디바이스는 종 방향 영역에 대응하는 기준 이미지에서 적어도 하나의 변위 영역을 결정하도록 구성될 수 있다. 본원에서 사용되는 "변위 영역"이라는 용어는 선택된 반사 피처에 대응하는 기준 피처가 이미징될 수 있는 기준 이미지 내의 영역을 지칭한다. 구체적으로, 변위 영역은 기준 이미지에서 선택된 반사 피처에 대응하는 기준 피처가 위치할 것으로 예상되는 기준 이미지의 영역일 수 있다. 대상체와의 거리에 따라서, 반사 피처에 대응하는 기준 피처의 이미지 위치는 반사 이미지 내의 반사 피처의 이미지 위치와 비교해서, 기준 이미지 내에서 변위될 수 있다. 변위 영역은 하나의 기준 피처만 포함할 수 있다. 변위 영역은 또한 둘 이상의 기준 피처를 포함할 수도 있다.
변위 영역은 공액 선 또는 공액 선의 섹션을 포함할 수 있다. 변위 영역은 하나 이상의 공액 선 또는 둘 이상의 공액 선의 섹션을 포함할 수도 있다. 변위 영역은 공액 선을 따라 연장되거나, 공액 선에 직교하거나, 또는 둘 다 연장될 수 있다. 평가 디바이스는 초기 거리 정보에 대응하는 공액 선을 따라 기준 피처를 결정하고 에러 구간 ±ε에 대응하는 공액 선을 따라 혹은 공액 선에 직교하는 변위 영역의 범위를 결정하도록 구성될 수 있다. 결합 신호 Q를 이용한 거리 측정의 측정 불확실도는 방향에 따라 다를 수 있기 때문에 원형이 아닌 변위 영역이 발생할 수 있다. 구체적으로, 하나 이상의 공액 선에 따른 측정 불확실도는 공액 선 또는 공액 선에 대한 직교 방향의 측정 불확실도보다 클 수 있다. 변위 영역은 공액 선 또는 공액 선에 대한 직교 방향의 범위를 포함할 수 있다. 평가 디바이스는 선택된 반사 피처를 변위 영역 내의 적어도 하나의 기준 피처와 매칭시키도록 구성될 수 있다. 본원에서 사용되는 "매칭"이라는 용어는 대응하는 기준 및 반사 피쳐를 결정 및/또는 평가하는 것을 의미한다. 평가 디바이스는 결정된 초기 거리 정보를 고려하여 적어도 하나의 평가 알고리즘을 사용해서 변위 영역 내의 기준 피처와 반사 이미지의 선택된 피처를 매칭시키도록 구성될 수 있다. 평가 알고리즘은 선형 스케일링 알고리즘일 수 있다. 평가 디바이스는 변위 영역에 가장 가까운 공액 선 및/또는 변위 영역 내의 공액 선을 결정하도록 구성될 수 있다. 평가 디바이스는 반사 피쳐의 이미지 위치에 가장 가까운 공액 선을 결정하도록 구성될 수 있다. 공액 선에 따른 변위 영역의 범위는 공액 선에 직교하는 변위 영역의 범위보다 클 수 있다. 평가 디바이스는 대응하는 기준 피처를 결정하기 전에 공액 선을 결정하도록 구성될 수 있다. 평가 디바이스는 각각의 반사 피처의 이미지 위치 주변의 변위 영역을 결정할 수 있다. 평가 디바이스는, 예를 들어, 변위 영역 및/또는 변위 영역 내에 및/또는 변위 영역에 가장 가까운 공액 선을 할당하고/또는 공액 선에 직교하는 방향을 따라 변위 영역에 가장 가까운 공액 선을 할당하여, 반사 피처의 각 이미지 위치의 각 변위 영역에 공액 선을 할당하도록 구성될 수 있다. 평가 디바이스는 할당된 변위 영역 및/또는 할당된 변위 영역 내에 및/또는 할당된 공액 선을 따라 할당된 변위 영역에 가장 가까운 기준 피처 및/또는 할당된 공액 선을 따라 할당된 변위 영역 내에 가장 가까운 기준 피처를 결정함으로써 반사 피처의 이미지 위치에 대응하는 기준 피처를 결정하도록 구성될 수 있다.
이에 더해서 혹은 이와 달리, 평가 디바이스는 다음 단계를 수행하도록 구성할 수 있다:
- 각각의 반사 피처의 이미지 위치에 대한 변위 영역을 결정한다;
- 변위 영역에 가장 가까운 공액 선 및/또는 변위 영역 내 및/또는 공액 선에 직교하는 방향을 따라 변위 영역에 가장 가까운 공액 선을 할당하는 방식으로, 각각의 반사 피처의 변위 영역에 공액 선을 할당한다;
-할당된 변위 영역에 가장 가까운 기준 피처 및/또는 할당된 변위 영역 내 및/또는 할당된 공액 선을 따라 할당된 변위 영역에 가장 가까운 기준 피처 및/또는 할당된 공액 선을 따라 할당된 변위 영역 내를 할당하는 등 각각의 반사 피처에 적어도 하나의 기준 피처를 할당 및/또는 결정한다.
이에 더해서 혹은 이와 달리, 평가 디바이스는 기준 이미지 내의 반사 피처 및/또는 공액 선의 거리를 비교함으로써 및/또는 기준 이미지 내의 반사 피처 및/또는 공액 선의 ε-가중 거리와 같은 오차 가중 거리를 비교해서 더 짧은 거리 및/또는 ε-가중 거리의 공액 선 및/또는 기준 피처를 기준 픽처 및/또는 반사 픽처에 할당함으로써, 하나 이상의 공액 선 및/또는 기준 픽처 중 기준 픽처에 할당될 것을 결정하도록 구성될 수 있다.
검출기, 특히 평가 디바이스는 하나의 기준 피처에 대한 명확하게 할당할 수 있도록 결합 신호 Q를 사용해서 선택된 반사 피처를 사전 분류하도록 구성될 수 있다. 특히, 조명 패턴의 조명 피처들은 기준 이미지의 대응하는 기준 피처가 공액 선에서 서로에 대해 가능한 한 큰 상대 거리를 갖도록 배열될 수 있다. 조명 패턴의 조명 피처들은 소수의 기준 피처들만이 공액 선 상에 위치하도록 배열될 수 있다.
빔 프로파일 분석을 사용하면 에러 구간 내의 종 방향 좌표와 같은 초기 거리 정보를 추정할 수 있다. 초기 거리 정보에 대응하는 변위 영역 및 대응하는 에러 구간을 결정함으로써, 기준 피처 및 반사 피처를 매칭시키기 위한 공액 선에 따른 가능한 해(solution)의 수를 크게 줄일 수 있다. 심지어 가능한 해의 수를 하나로 줄일 수도 있다. 초기 거리 정보의 결정은, 반사 피처와 기준 피처를 매칭시키기 전에 사전 평가 중에 수행될 수도 있다. 이를 통해 계산 수요를 감소시켜서, 비용을 크게 절감하고 모바일 디바이스 또는 실외 디바이스에서도 가능하게 할 수 있다.
교정 방법은 매칭되는 반사 피처와 기준 피처의 쌍 각각에 대해 기준 이미지에서 매칭되는 기준 피처의 공액 선을 결정하는 것을 포함한다. 특히, 각각 매칭된 기준 피처 및 반사 피처의 매칭에 사용되는 공액 선은, 매칭된 반사 및 기준 피처 쌍의 공액 선으로 사용될 수 있다.
교정 방법은 매칭되는 반사 피쳐의 공액 선까지의 공액 선 거리 d를 결정하는 것을 더 포함한다. 본원에서 사용되는 "공액 선 거리"라는 용어는, 대응하는 공액 선으로 표시되는, 매칭되는 기준 피처와의 매칭에 사용되는 반사 피처 및 공액 선의 거리를 지칭할 수 있다. 이 거리는 반사 이미지와 대응하는 공액 선의 이미지 좌표를 결정하고 이미지 좌표를 비교함으로써 결정될 수 있다. 대응하는 공액선까지의 최소 거리를 공액 선 거리로 사용할 수 있다. 외부 교정이 양호한 경우, 공액 선 거리는 0에 가깝다. 이것은 단지 공액 조건일 뿐이다. 검출기가 교정 해제된 경우, 반사 피처가 기준 피처와 매칭될 수 있다. 그러나, 대응하는 기준 피처에 대한 공액 선 거리는 항상 거짓 또는 참으로 결정할 수 있다. 매칭 단계에서, 사용되는 재구성 알고리즘은 공액 선 거리가 허용 오차 범위 내에 있는 경우 반사 피처를 기준 피처에 매칭시킬 수 있다. 따라서, 반사 피처가 잘못된 기준 피처에 매칭되어 0이 아닌 공액 선 거리가 발생할 수 있다. 평가 디바이스는, 잘못된 매칭되는 반사 피처 및 기준 피처의 쌍이 결정되는 경우에도, 단계 b) 내지 단계 e)를 수행하도록 구성될 수 있다. 교정 방법은 결과로 나온 공액 선 거리를 평가하는 것을 기반으로 할 수 있다. 교정 방법은 반사 피처와 기준 피처 사이의 대응이 정확한지 거짓인지와 무관하게 공액 거리를 고려할 수 있다. 반사 피처가 잘못된 기준 피처와 매칭되는 경우에도, 공액 거리는 제안된 교정 전략에 적합할 수 있다.
단계 d)는 공액 선 거리 d를 기준 이미지에서 이미지 위치(x, y)의 함수로 평가해서 기하학적 패턴을 결정하는 단계를 포함한다. 본원에서 사용되는 "기하학적 패턴"이라는 용어는 공액 선 거리의 분포를 지칭할 수도 있다. 공액 선 거리는 기준 이미지의 위치(x, y)에 대한 함수 d(x, y)로 정의될 수 있다. 공액 선 거리 함수 d를 분석해서 회전 및/또는 변형에 대한 보정을 계산할 수 있다. 교정 해제된 시스템의 경우, 함수 d는 기하학적 패턴을 생성할 수 있다. 공액 선 거리 함수의 이 기하학적 패턴의 형상은 고유하게 교정의 정도를 나타낼 수 있다. 함수 d(x,y)의 반복, 첨도(steepness), 불연속성, 곡률과 같은 기하학적 패턴은 교정을 복구하는 데 사용할 수 있다. 프로젝터 및/또는 센서 소자의 회전 및/또는 변형이 변경되면, 그 결과는 함수 d에서 기하학적 패턴으로 관찰할 수 있다. 평가 디바이스는 d(x,y)를 분석하고 회전 및/또는 변형에 대한 보정을 계산하도록 설계된 알고리즘을 수행하도록 구성될 수 있다. 평가 디바이스는 기하학적 패턴의 형상, 반복, 첨도, 불연속성 및 곡률 중 하나 이상을 평가하여 반사 이미지의 보정을 결정하도록 구성될 수 있다.
평가 디바이스는 결정된 보정에 기초해서 반사 이미지를 보정하도록 구성될 수 있다. 전술한 바와 같이, 반사 이미지는 회전 및 변형과 같은 외부 파라미터의 적어도 하나의 피처 및/또는 변환과 관련하여 광학 센서의 이미지를 평가하는 것을 지칭한다. 반사 이미지의 회전 및/또는 변형에 대한 보정은 반사 이미지의 이미지 위치에 적용되는 적어도 하나의 보정 계수일 수 있다. 평가 디바이스는, 기하학적 패턴이 교정된 검출기의 기하학적 패턴과 사전 정의된 허용 오차 내에서 일치하는지 또는 기하학적 패턴이 교정된 검출기의 기하학적 패턴에서 사전 정의된 허용 오차 이상으로 벗어나는지를 결정하도록 구성될 수 있다. 결정된 보정은 교정 해제 정도에 대한 정보를 제공할 수 있다. 검출기가 이미 최적으로 교정된 경우, 보정 단계는 매우 작을 수 있으며 보정 효과도 매우 작을 수 있다. 허용 오차 범위 내에서 일치하는 경우, 평가 디바이스는 초기 외부 파라미터를 유지하거나 반사 이미지의 보정을 폐기할 수 있다. 일치하지 않는 경우, 반사 이미지에는 보정이 적용될 수 있다. 결정된 보정은 회전 및/또는 변형을 보정하는 데 사용될 수 있다. 회전 및 변형은 센서 소자와 프로젝터 사이의 공간적 정황을 묘사한다. 회전 및 변형은 "반사 피처"과 "기준 피처" 사이의 관계로 구성될 수 있다. 이러한 관계에서, 삼각 측량 기술을 사용해서 삼각 측량 거리 정보를 계산할 수 있다. 따라서, 회전 및/또는 변형이 변경된 것으로 확인된 경우, 결과 삼각 측량 정보를 수정할 수 있다.
평가 디바이스는 결정된 보정을 고려한 삼각 측량을 사용해서 반사 피쳐의 적어도 하나의 삼각 측량 거리 정보를 결정하도록 구성될 수 있다. 본원에서 사용되는 "삼각 측량 거리"는 삼각 측량을 이용하여 결정된 종 방향 좌표를 지칭할 수 있다. 평가 디바이스는 매칭되는 기준 피처와 반사 피처의 변위를 결정하도록 구성될 수 있다. 본원에서 사용되는 "변위"라는 용어는 기준 이미지의 위치와 반사 이미지의 위치 사이의 차이를 지칭한다. 평가 디바이스는 종 방향 좌표와 변위 사이의 사전 결정된 관계를 사용해서 매칭된 기준 피처의 삼각 측량 거리를 결정하도록 구성될 수 있다. 평가 디바이스는 삼각 측량 거리 정보를 결정하는 동안 즉시 교정 방법을 수행하도록 구성된다.
전술한 바와 같이, 검출기는 전체 대상체나 또는 그 중 하나 이상의 부분의 종 방향 좌표를 결정하는 옵션을 포함하여, 대상체의 적어도 하나의 종 방향 좌표를 결정하도록 구성될 수 있다. 그러나, 하나 이상의 횡 방향 좌표 및/또는 회전 좌표를 포함한, 대상체의 다른 좌표는 검출기, 특히 평가 디바이스에 의해 결정될 수 있다. 따라서, 예를 들어, 대상체의 적어도 하나의 횡 방향 좌표를 결정하기 위해 하나 이상의 횡 방향 센서가 사용될 수 있다. 다양한 횡 방향 센서가 일반적으로 당업자에게 알려져 있는데, 예를 들어, WO 2014/097181 A1에 개시된 횡단 센서 및/또는 사분면 다이오드(quadrant diode), CCD 또는 CMOS 칩 등과 같은 다른 위치 감응 디바이스(position-sensitive device; PSD)가 이에 해당한다. 이에 더해서 혹은 이와 달리, 한 예로서, 본 발명에 따른 검출기는 [R.A. Street (Ed.): Technology and Applications of Amorphous Silicon, Springer-Verlag Heidelberg, 2010, pp. 346-349]에서 개시되는 하나 이상의 PSD를 포함할 수 있다. 다른 실시예도 가능하다. 이들 디바이스는 일반적으로 본 발명에 따라 검출기에 구현될 수도 있다. 예를 들어, 광 빔의 일부는 적어도 하나의 빔 분할 소자에 의해 검출기 내에서 분할될 수도 있다. 예를 들어, 횡 방향 센서(예컨대, CCD 또는 CMOS 칩 또는 카메라 센서)를 향해 분할된 부분들이 가이드될 수 있고, 횡 방향 센서 상에서 분할된 부분에 의해 생성된 광 점의 횡 방향 위치가 결정되고, 이로써 대상체의 적어도 하나의 횡 방향 좌표가 결정될 수 있다. 따라서, 본 발명에 따른 검출기는 단순한 거리 측정 디바이스와 같은 1차원 검출기일 수도 있고, 2차원 검출기 또는 3차원 검출기로서 구현될 수도 있다. 또한, 상술한 바와 같이 또는 이하에서 상세히 설명하는 바와 같이, 풍경 또는 환경을 1차원 방식으로 스캔함으로써 3차원 이미지가 생성될 수도 있다. 따라서, 본 발명에 따른 검출기는 구체적으로 1차원 검출기, 2차원 검출기 또는 3차원 검출기 중 하나일 수 있다. 평가 디바이스는 대상체의 적어도 하나의 가로 좌표 x, y를 결정하도록 더 구성될 수 있다. 평가 디바이스는 종 방향 좌표와 횡 방향 좌표의 정보를 결합하고, 공간에서의 대상체의 위치를 결정하도록 구성될 수 있다.
또 다른 양태에서, 본 발명은, 상술한 바와 같은 검출기를 가리키는 하나 이상의 실시예 중 하나에 따른 또는 이하에서 더 상세히 개시되는 바와 같은, 본 발명에 따른 적어도 하나의 검출기를 교정하는 방법을 개시한다. 이 방법은 다음과 같은 방법 단계를 포함하며, 여기서 방법 단계는 주어진 순서로 수행될 수도 있고 혹은 다른 순서로 수행될 수도 있다. 또한, 나열되지 않은 하나 이상의 추가 방법 단계가 존재할 수도 있다. 또한, 방법 단계 중 하나, 하나 이상 또는 전부가 반복적으로 수행될 수 있다.
이 방법은 다음 단계를 포함한다.
i) 초기 거리 정보를 결정하되,
- 검출기의 적어도 하나의 프로젝터에 의해 생성된 적어도 하나의 조명 패턴으로 대상체를 조명하는 것 - 조명 패턴은 복수의 조명 피처를 포함함 - ,
- 광학 센서의 매트릭스를 가진 센서 소자의 광학 센서의 감광 영역에 충돌하는 각각의 반사 광빔에 대해 조명에 응답하여 적어도 하나의 센서 신호를 생성하는 것,
- 복수의 반사 피처를 포함하는 센서 소자를 사용해서 적어도 하나의 반사 이미지를 결정하는 것 - 각각의 반사 피처는 빔 프로파일을 포함함 -,
- 적어도 하나의 평가 디바이스를 사용해서 센서 신호를 평가하여 결합 신호 Q를 결정하고, 제각기의 빔 프로파일을 분석하여 반사 피쳐의 초기 거리 정보를 결정하는 것 - 빔 프로파일을 분석하는 것은 제각기의 센서 신호로부터의 결합 신호 Q를 평가하는 것을 포함함 - 에 의해서 초기 거리 정보를 결정하는 단계;
ii) 초기 거리 정보를 고려하여 반사 피처를 기준 이미지의 기준 피처와 매칭시켜서 매칭되는 반사 피처와 기준 피처의 쌍을 결정하는 단계;
iii) 매칭되는 반사 피처와 기준 피처의 쌍 각각에 대해 기준 이미지에서 매칭되는 기준 피처의 공액 선을 결정하는 단계;
iv) 매칭되는 반사 피쳐의 공액 선까지의 공액 선 거리 d를 결정하는 단계;
v) 공액 선 거리 d를 기준 이미지에서 이미지 위치(x, y)의 함수로 평가해서 기하학적 패턴을 결정하는 단계;
vi) 이 기하학적 패턴에 따라서 반사 이미지의 회전 및/또는 변형에 대한 적어도 하나의 보정을 결정하는 단계를 포함한다.
이 방법은 결정된 보정에 기초해서 반사 이미지를 보정하는 단계를 포함할 수 있다. 이 방법은 결정된 보정을 고려한 삼각 측량을 사용해서 반사 피쳐의 적어도 하나의 삼각 측량 거리 정보를 결정하는 단계를 포함할 수 있다.
세부 사항, 옵션 및 정의에 대해서는 위에서 설명한 검출기를 참조할 수 있다. 따라서, 구체적으로, 위에서 설명한 바와 같이, 이 방법은 위에서 제공되거나 아래에 더 상세히 설명된 실시예 중 하나 이상에 따른 본 발명에 따른 검출기를 사용하는 단계를 포함할 수 있다.
본 발명의 또 다른 양태에서, 상기에 설명되거나 또는 이하에 더 상세히 설명되는 적어도 하나의 실시예와 같이, 본 발명에 따른 검출기의 용도는, 교통 기술에서의 위치 측정; 엔터테인먼트 애플리케이션; 보안 애플리케이션; 감시 애플리케이션; 안전 애플리케이션; 인간-기계 인터페이스 애플리케이션; 추적 애플리케이션; 포토그래피 애플리케이션; 촬상 애플리케이션이나 카메라 애플리케이션; 적어도 하나의 공간에 맵을 생성하기 위한 매핑 애플리케이션; 차량용 호밍 또는 추적 비콘 탐색기; 아웃도어 애플리케이션; 모바일 애플리케이션; 통신 애플리케이션; 머신 비젼 애플리케이션; 로봇 애플리케이션; 품질 제어 애플리케이션; 제조 애플리케이션으로 이루어진 그룹으로부터 선택된 용도를 목적으로 하여 제안된다. 본 발명의 검출기 및 디바이스의 추가 용도와 관련하여, 본 발명은 WO 2018/091649 A1, WO 2018/091638 A1 및 WO 2018/091640 A1을 참조하며, 그 내용은 참조로 포함되어 있다.
또 다른 양태에서, 컴퓨터 또는 컴퓨터 네트워크에서 실행될 때, 컴퓨터 또는 컴퓨터 네트워크가 본 발명에 따른 적어도 하나의 검출기를 교정하는 방법을 완전히 또는 부분적으로 수행하도록 하게 하는 컴퓨터 프로그램이 제안되며, 여기서 컴퓨터 프로그램은 본 발명에 따른 적어도 하나의 검출기를 교정하는 방법의 적어도 단계 i) 내지 vi)를 수행 및/또는 실행하도록 구성된다. 유사하게, 컴퓨터 또는 컴퓨터 네트워크에 의해 프로그램이 실행될 때, 컴퓨터 또는 컴퓨터 네트워크가 상기 개시된 실시예들 중 어느 하나 및/또는 아래에 상세히 개시된 실시예들 중 어느 하나에 따라 본 발명에 따른 방법을 수행하게 하는 명령어를 포함하는 컴퓨터 판독 가능 저장 매체가 개시된다. 본원에서 사용되는 "컴퓨터 판독 가능 저장 매체"라는 용어는 구체적으로 컴퓨터 실행 가능한 명령어가 저장된 하드웨어 저장 매체와 같은 비일시적 데이터 저장 수단을 지칭할 수 있다. 컴퓨터 판독 가능 데이터 캐리어 또는 저장 매체는 구체적으로 랜덤 액세스 메모리(RAM) 및/또는 읽기 전용 메모리(ROM)와 같은 저장 매체이거나 저장 매체를 포함할 수 있다.
따라서, 구체적으로, 방법 단계 중 하나, 하나 이상 또는 전부가 컴퓨터 또는 컴퓨터 네트워크를 사용해서, 바람직하게는 컴퓨터 프로그램을 사용해서 수행될 수 있다.
본원에 추가로 개시되고 제안되는 것은, 프로그램이 컴퓨터 또는 컴퓨터 네트워크 상에서 실행될 때, 본원에 포함되는 실시예 중 하나 이상에서 본 발명에 따른 방법을 수행하기 위한 프로그램 코드 수단을 갖는 컴퓨터 프로그램 제품이다. 구체적으로, 프로그램 코드 수단은 컴퓨터 판독 가능한 데이터 캐리어 및/또는 컴퓨터 판독 가능한 저장 매체에 저장될 수 있다.
본원에 더 개시되고 제안된 데이터 캐리어는, 컴퓨터 또는 컴퓨터 네트워크에, 예를 들어 컴퓨터 또는 컴퓨터 네트워크의 동작 메모리 또는 메인 메모리에 로딩된 이후에, 본원에 개시된 실시예 중 하나 이상에 따라 방법을 실행할 수 있는 데이터 구조가 저장된 데이터 캐리어를 갖는다.
본원에 더 개시되고 제안되는 것은, 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서로 하여금 본 명세서에 개시된 실시예 중 하나 이상에 따라 방법을 수행하게 하는 명령어를 포함하는 비일시적 컴퓨터 판독 가능 매체이다.
본원에 더 개시되고 제안되는 것은, 컴퓨터 또는 컴퓨터 네트워크에서 프로그램이 실행될 때, 본원에 개시된 실시예 중 하나 이상의 실시예에 따른 방법을 수행하기 위해, 머신 판독 가능 캐리어에 저장된 프로그램 코드 수단을 갖는 컴퓨터 프로그램 제품이다. 본원에서 사용되는 컴퓨터 프로그램 제품은 거래 가능한 제품으로서의 프로그램을 지칭한다. 이 제품은 일반적으로 페이퍼 포맷으로, 컴퓨터 판독 가능한 데이터 캐리어 및/또는 컴퓨터 판독 가능한 저장 매체와 같은 임의의 형식으로 존재할 수 있다. 구체적으로, 컴퓨터 프로그램 제품은 데이터 네트워크를 통해 배포될 수 있다.
또한, 본원에 개시되고 제안되는 것은, 본원에 개시된 실시예 중 하나 이상에 따라 방법을 수행하기 위한, 컴퓨터 시스템 또는 컴퓨터 네트워크에 의해 판독 가능한 명령어를 포함하는 변조된 데이터 신호이다.
구체적으로 본원에 더 공개되는 것은 다음과 같다:
- 적어도 하나의 프로세서를 포함하는 컴퓨터 또는 컴퓨터 네트워크 - 프로세서는 본 명세서에서 기재된 실시예 중 하나에 따른 방법을 수행하도록 구성됨 - ,
- 컴퓨터에서 실행되는 동안, 본 명세서에서 기재된 실시예 중 하나에 따른 방법을 수행하도록 구성된 컴퓨터 로딩가능한 데이터 구조,
- 프로그램이 컴퓨터에서 실행되는 동안 본 명세서에서 기재된 실시예 중 하나에 따른 방법을 수행하도록 구성된 컴퓨터 프로그램,
- 컴퓨터 또는 컴퓨터 네트워크에서 실행되는 동안 본 명세서에 기재된 실시예 중 하나에 따른 방법을 수행하기 위한 프로그램 수단을 포함하는 컴퓨터 프로그램,
- 컴퓨터에 의해 판독 가능한 저장 매체 상에 저장된, 선행하는 실시예에 따르는 프로그램 수단을 포함하는 컴퓨터 프로그램,
- 데이터 구조가 저장 매체 상에 저장되며 컴퓨터 또는 컴퓨터 네트워크의 메인 및/또는 동작 저장부에 로딩된 후 데이터 구조가 본 명세서에 기재된 실시예 중 하나에 따른 방법을 수행하도록 구성된 저장 매체,
- 컴퓨터 또는 컴퓨터 네트워크 상에 실행되는 경우, 본 명세서에서 기재된 실시예 중 하나에 따른 방법을 수행하기 위해 프로그램 코드 수단이 저장 매체 상에 저장될 수 있거나 저장된, 프로그램 코드 수단을 갖는 컴퓨터 프로그램 제품.
본원에서 사용되는 용어 "갖는다", "구비한다" 또는 "포함한다"나 그들의 임의의 문법적 변형어는 비배타적인 방식으로 사용된다. 따라서, 이들 용어는 이들 용어에 의해 도입된 특징 외에, 본 명세서에 설명된 개체에 더 이상의 추가 특징이 존재하지 않는 상황 및 적어도 하나의 추가 특징이 존재하는 상황 양쪽 모두를 지칭할 수 있다. 예를 들어, "A는 B를 갖는다", "A는 B를 구비한다" 및 "A는 B를 포함한다"라는 표현은, B 이외에 다른 요소가 A에 존재하지 않는 상황(즉, A가 오로지 배타적으로 B로 구성되는 상황) 및 B 이외에, 요소 C, 요소 C 및 D 또는 심지어 다른 요소와 같은 하나 이상의 추가 요소가 대상체 A에 존재하는 상황 모두를 지칭할 수 있다.
또한, 특징 또는 요소가 한 번 또는 두 번 이상 존재할 수 있음을 나타내는 "적어도 하나", "하나 이상" 또는 이와 유사한 표현은 일반적으로 해당 피처 또는 요소를 소개할 때 한 번만 사용된다는 점에 유의해야 한다. 대부분의 경우, 제각기의 특징 또는 요소를 언급한다면, "적어도 하나" 또는 "하나 이상"이라는 표현은 제각기의 특징 또는 요소가 한 번 또는 두 번 이상 존재할 수 있다는 사실에도 불구하고, 반복하지 않는다.
또한, 이하에서 사용되는 용어 "바람직하게", "더 바람직하게", "특히", "더욱 특히", "구체적으로", "더욱 구체적으로" 또는 유사한 용어는 대안적인 가능성을 제한하지 않으며 선택적인 특징과 함께 사용된다. 따라서, 이들 용어에 의해 도입된 특징은 선택적인 특징이며, 어떠한 방식으로도 청구 범위의 범주를 제한하려고 의도하는 것은 아니다. 당업자가 인식할 수 있는 바와 같이, 본 발명은 대안의 특징을 사용해서 수행될 수도 있다. 마찬가지로, "본 발명의 일 실시예에서" 또는 유사 표현에 의해 도입된 특징은, 본 발명의 대안적인 실시예에 관한 임의의 제한 없이, 본 발명의 범주에 관한 임의의 제한 없이, 및 이러한 방식으로 도입된 특징을 본 발명의 다른 선택적 또는 비선택적 특징과 조합할 가능성에 관한 임의의 제한 없이, 선택적 특징인 것으로 의도된다.
전반적으로, 본 발명과 관련하여, 다음의 실시예가 바람직한 것으로 간주된다.
실시예 1. 적어도 하나의 대상체의 위치를 결정하는 검출기로서,
- 적어도 하나의 조명 패턴으로 대상체를 조명하는 적어도 하나의 프로젝터 - 여기서 조명 패턴은 복수의 조명 피처를 포함함 - 와,
- 각각 감광 영역을 가진 광학 센서의 매트릭스를 구비하는 적어도 하나의 센서 소자 - 각각의 광학 센서는 대상체로부터 검출기로 전파하는 반사 광빔에 의한 제각기의 감광 영역의 조명에 응답하여 적어도 하나의 센서 신호를 생성하도록 설계되고, 센서 소자는 복수의 반사 피처를 포함하는 적어도 하나의 반사 이미지를 결정하도록 구성되고, 반사 피처 각각은 빔 프로파일을 포함함 - 와,
- 제각기의 빔 프로파일을 분석해서 반사 피쳐의 초기 거리 정보를 결정하도록 구성된 적어도 하나의 평가 디바이스 - 빔 프로파일을 분석하는 것은 제각기의 센서 신호로부터의 결합 신호 Q를 평가하는 것을 포함하고, 평가 디바이스는 교정 방법을 수행하도록 구성되며, 이 교정 방법은,
a) 초기 거리 정보를 고려하여 반사 피처를 기준 이미지의 기준 피처와 매칭시켜서 매칭되는 반사 피처와 기준 피처의 쌍을 결정하는 단계;
b) 매칭되는 반사 피처와 기준 피처의 쌍 각각에 대해 기준 이미지에서 매칭되는 기준 피처의 공액 선을 결정하는 단계;
c) 매칭되는 반사 피쳐의 공액 선까지의 공액 선 거리 d를 결정하는 단계;
d) 공액 선 거리 d를 기준 이미지에서 이미지 위치(x, y)의 함수로 평가해서 기하학적 패턴을 결정하는 단계;
e) 이 기하학적 패턴에 따라서 반사 이미지의 회전 및/또는 변형에 대한 적어도 하나의 보정을 결정하는 단계를 포함한다.
실시예 2. 이전 실시예에 따른 검출기로서, 평가 디바이스는 결정된 보정에 기초해서 반사 이미지를 보정하도록 구성된다.
실시예 3. 이전 실시예 중 하나에 따른 검출기로서, 평가 디바이스는 결정된 보정을 고려한 삼각 측량을 사용해서 반사 피쳐의 적어도 하나의 삼각 측량 거리 정보를 결정하도록 구성된다.
실시예 4. 이전 실시예 중 하나에 따른 검출기로서, 평가 디바이스는 삼각 측량 거리 정보를 결정하는 동안 즉시 교정 방법을 수행하도록 구성된다.
실시예 5. 이전 실시예 중 하나에 따른 검출기로서, 평가 디바이스는 검출기의 적어도 하나의 외부 파라미터를 결정하도록 구성되며, 외부 파라미터는 프로젝터와 센서 소자의 좌표 사이의 회전 각도, 프로젝터와 센서 소자의 좌표 사이의 변형 요소, 조리개 각도, 센서 소자의 중심, 조리개, 초점 거리로 구성된 그룹에서 선택된 적어도 하나의 파라미터를 포함한다.
실시예 6. 이전 실시예 중 하나에 따른 검출기로서, 평가 디바이스는, 잘못된 매칭되는 반사 피처와 기준 피처의 쌍이 결정되는 경우에도, 단계 b) 내지 단계 e)를 수행하도록 구성된다.
실시예 7. 이전 실시예 중 하나에 따른 검출기로서, 평가 디바이스는 기하학적 패턴의 형상, 반복, 첨도(steepness), 불연속성 및 곡률 중 하나 이상을 평가하여 반사 이미지의 보정을 결정하도록 구성될 수 있다.
실시예 8. 이전 실시예 중 하나에 따른 검출기로서, 조명 패턴은 적어도 하나의 주기적 규칙 점 패턴, 적어도 하나의 육각형 패턴, 적어도 하나의 직사각형 패턴으로 구성된 그룹에서 선택된 적어도 하나의 주기적 규칙의 패턴을 포함한다.
실시예 9. 이전 실시예 중 하나에 따른 검출기로서, 평가 디바이스는 센서 신호를 나누는 것, 센서 신호의 배수를 나누는 것, 센서 신호의 선형 조합을 나누는 것 중 하나 이상에 의해 결합 신호 Q를 도출하도록 구성되고, 평가 디바이스는 초기 거리 정보를 결정하기 위해, 결합 신호 Q와 종 방향 좌표 사이의 적어도 하나의 사전 결정된 관계를 사용하도록 구성된다.
실시예 10. 이전 실시예 중 하나에 따른 검출기로서, 평가 디바이스는 반사 이미지의 이미지 분석을 수행하여 반사 이미지의 반사 피처를 식별하도록 구성된다.
실시예 11. 이전 실시예 중 하나에 따른 검출기로서, 평가 디바이스는 각각의 반사 피처에 대해, 반사 피처의 종 방향 영역을 결정하도록 구성되고, 종 방향 영역은 결합 신호 Q로부터 결정된 반사 피처의 초기 거리 정보와 에러 구간 ±ε에 의해 주어지며, 평가 디바이스는 종 방향 영역에 대응하는 기준 이미지에서 적어도 하나의 변위 영역(displacement region)을 결정하도록 구성된다.
실시예 12. 이전 실시예 중 하나에 따른 검출기로서, 평가 디바이스는 적어도 하나의 선형 스케일링 알고리즘을 사용해서 변위 영역 내의 반사 피처 중 하나와 기준 피처 중 하나를 각각 매칭시키도록 구성된다.
실시예 13. 이전 실시예 중 하나에 따른 검출기를 교정하는 방법으로서,
vii) 초기 거리 정보를 결정하되,
- 검출기의 적어도 하나의 프로젝터에 의해 생성된 적어도 하나의 조명 패턴으로 대상체를 조명하는 것 - 조명 패턴은 복수의 조명 피처를 포함함 - ,
- 광학 센서의 매트릭스를 가진 센서 소자의 광학 센서의 감광 영역에 충돌하는 각각의 반사 광빔에 대해, 조명에 응답하여 적어도 하나의 센서 신호를 생성하는 것,
- 복수의 반사 피처를 포함하는 센서 소자를 사용해서 적어도 하나의 반사 이미지를 결정하는 것 - 각각의 반사 피처는 빔 프로파일을 포함함 -,
- 적어도 하나의 평가 디바이스를 사용해서 센서 신호를 평가하여 결합 신호 Q를 결정하고, 제각기의 빔 프로파일을 분석하여 반사 피쳐의 초기 거리 정보를 결정하는 것 - 빔 프로파일을 분석하는 것은 제각기의 센서 신호로부터의 결합 신호 Q를 평가하는 것을 포함함 - 에 의해서 초기 거리 정보를 결정하는 단계;
Viii) 초기 거리 정보를 고려하여 반사 피처를 기준 이미지의 기준 피처와 매칭시켜서 매칭되는 반사 피처와 기준 피처의 쌍을 결정하는 단계;
ix) 매칭되는 반사 피처와 기준 피처의 쌍 각각에 대해 기준 이미지에서 매칭되는 기준 피처의 공액 선을 결정하는 단계;
x) 매칭되는 반사 피쳐의 공액 선까지의 공액 선 거리 d를 결정하는 단계;
xi) 공액 선 거리 d를 기준 이미지에서 이미지 위치(x, y)의 함수로 평가해서 기하학적 패턴을 결정하는 단계;
xii) 이 기하학적 패턴에 따라서 반사 이미지의 회전 및/또는 변형에 대한 적어도 하나의 보정을 결정하는 단계를 포함한다.
실시예 14. 이전 실시예에 따른 방법으로서, 이 방법은, 결정된 보정에 기초하여 반사 이미지를 보정하고, 결정된 보정을 고려한 삼각 측량을 사용해서 반사 피처의 적어도 하나의 삼각 측량 거리 정보를 결정하는 단계를 포함한다.
전술한 실시예 중 어느 하나에 따른 검출기의 용도는 교통 기술 분야에서의 위치 측정, 엔터테인먼트 애플리케이션, 보안 애플리케이션, 감시 애플리케이션, 안전 애플리케이션, 인간-머신 인터페이스 애플리케이션, 물류 애플리케이션, 추적 애플리케이션, 아웃도어 애플리케이션, 모바일 애플리케이션, 통신 애플리케이션, 포토그래피 애플리케이션, 머신 비젼 애플리케이션, 로봇 애플리케이션, 품질 관리 애플리케이션, 제조 애플리케이션으로 이루어진 그룹으로부터 선택되는, 사용 목적을 위한 검출기를 지칭한다.
본 발명의 특징 및 추가의 선택적인 상세한 설명은 종속 청구항과 함께 이하의 바람직한 예시적인 실시예의 설명으로부터 명백해질 것이다. 이러한 맥락에서, 특정 특징은 개별 방식으로 또는 다른 특징과 결합하여 구현될 수 있다. 본 발명은 예시적인 실시예에 제한되지 않는다. 예시적인 실시예가 도면에 개략적으로 도시된다. 각각의 도면에서 동일한 참조 번호는 동일한 소자 또는 동일한 기능을 갖는 소자, 또는 그 기능과 관련하여 서로 상응하는 소자를 지칭한다.
구체적으로, 도면에 있어서,
도 1은 본 발명에 따른 검출기의 일 실시예를 도시한다.
도 2는 기준 패턴과 매칭되는 교정된 검출기의 반사 패턴을 나타낸다.
도 3a 및 3b는 기준 패턴과 매칭되는 교정 해제된 검출기(회전)의 반사 패턴의 실시예를 나타낸다.
도 4는 반사 패턴과 매칭되는 기준 패턴 및 평가된 공액 선 거리 함수 d(x, y)의 추가 실시예를 나타낸다.
도 5는 본 발명에 따른 적어도 하나의 검출기를 교정하는 방법의 실시예의 예시적인 흐름도를 나타낸다.
도 1은 본 발명에 따른 적어도 하나의 대상체(112)의 위치를 결정하기 위한 검출기(110)의 실시예를 매우 개략적으로 나타낸다. 검출기(110)는 광학 센서(118)의 매트릭스(116)를 갖는 적어도 하나의 센서 소자(114)를 포함한다. 광학 센서(118)는 각각 감광 영역(120)을 갖는다.
센서 소자(114)는 일원화된 단일 디바이스 또는 여러 디바이스의 조합으로 형성될 수 있다. 매트릭스(116)는 구체적으로 하나 이상의 행과 하나 이상의 열로 이루어지는 직사각형 매트릭스일 수도 있고 이를 포함할 수도 있다. 행 및 열은 구체적으로 직사각형 형태로 배열될 수 있다. 그러나, 직사각형 배열이 아닌 다른 배열도 실현 가능하다. 일 예로서, 소자가 중심 위치를 중심으로 동심원 또는 타원으로 배열되는 원형 배열도 가능할 수 있다. 예를 들어, 매트릭스(116)는 단일 행의 픽셀일 수도 있다. 다른 배열도 가능하다.
매트릭스(116)의 광학 센서(118)는, 특히, 크기, 감도 및 기타 광학적, 전기적 및 기계적 특성 중 하나 이상이 동일할 수 있다. 매트릭스(116)의 모든 광학 센서(118)의 감광 영역(120)은, 특히, 공통 평면에 위치될 수 있고, 공통 평면은 대상체(112)로부터 검출기(110)로 전파되는 광빔이 공통 평면 상에 광 스폿을 생성할 수 있도록 대상체와 대향하는 것이 바람직하다. 감광 영역(120)은 구체적으로 제각기의 광학 센서(118)의 표면 상에 위치될 수 있다. 그러나, 다른 실시예도 가능하다.
광학 센서(118)는 예를 들어, 적어도 하나의 CCD 및/또는 CMOS 디바이스를 포함할 수 있다. 일 예로서, 광학 센서(118)는 픽셀화된 광학 디바이스의 일부이거나 이를 구성할 수 있다. 일 예로서, 광학 센서는 픽셀 매트릭스를 구비하는 적어도 하나의 CCD 및/또는 CMOS 디바이스의 일부이거나 이를 구성할 수 있으며, 각각의 픽셀은 감광 영역(120)을 형성한다. 바람직하게는, 검출기는 광학 센서(118)가 프레임 또는 이미징 프레임으로 표시된, 특정 시간 기간 내에 동시에 노출되도록 구성된다. 예를 들어, 광학 센서(118)는 적어도 하나의 글로벌 셔터 CMOS의 일부이거나 이를 구성할 수 있다.
광학 센서(118)는, 특히, 광검출기(photodetectors), 바람직하게는 무기 광검출기, 더 바람직하게는 무기 반도체 광검출기, 가장 바람직하게는 실리콘 광검출기일 수 있거나 이를 포함할 수 있다. 구체적으로, 광학 센서(118)는 적외선 스펙트럼 범위에서 감지할 수 있다. 매트릭스(116)의 모든 광학 센서(118) 또는 적어도 한 그룹의 매트릭스(116)의 광학 센서(118)는 구체적으로 동일할 수 있다. 매트릭스(116)의 동일한 광학 센서(118)의 그룹은, 특히, 상이한 스펙트럼 범위에 대하여 제공될 수 있거나, 모든 광학 센서는 스펙트럼 감도와 관련하여 동일할 수 있다. 또한, 광학 센서(118)는 그 크기 및/또는 그들의 전자적 또는 광전자적 특성과 관련하여 동일할 수 있다. 매트릭스(116)는 독립적인 광학 센서(118)로 구성될 수 있다. 따라서, 매트릭스(116)는 무기 광다이오드로 구성될 수 있다. 그러나, 이와 달리, CCD 검출기 칩과 같은 하나 이상의 CCD 검출기 및/또는 CMOS 검출기 칩과 같은 CMOS 검출기와 같이, 상업적으로 이용 가능한 매트릭스가 사용될 수도 있다.
광학 센서(118)는, 전술한 매트릭스와 같이, 센서 어레이를 형성할 수 있거나 센서 어레이의 일부일 수 있다. 따라서, 일 예로서, 검출기(110)는 m개의 행과 n개의 열로 구성된 직사각형 어레이와 같은 광학 센서(118)의 어레이를 포함할 수 있고, 여기서, m, n은 독립적으로 양의 정수이다. 바람직하게는, 하나 초과의 열 및 하나 초과의 행, 즉, n>1, m>1이 주어진다. 따라서, 일 예로서, n은 2 내지 16 또는 그 이상일 수 있고, m은 2 내지 16 또는 그 이상일 수 있다. 바람직하게는, 행의 개수와 열의 개수의 비율은 1에 가깝다. 일 예로서, m/n = 1:1, 4:3, 16:9 또는 이와 유사한 것을 선택하는 것과 같이, n과 m은 0.3≤m/n≤3인 것으로 선택될 수 있다. 일 예로서, 어레이는 m=2, n=2 또는 m=3, n=3 등을 선택하는 것과 같이, 같은 수의 행과 열로 구성된 정방형 어레이일 수 있다.
매트릭스(116)는 구체적으로 적어도 하나의 행, 바람직하게는 복수의 행 및 복수의 열로 이루어진 직사각형 매트릭스일 수 있다. 일 예로서, 행 및 열은 실질적으로 수직으로 배향될 수 있다. 넓은 범위의 시야를 제공하기 위해, 매트릭스(116)는 구체적으로 적어도 10행, 바람직하게는 적어도 50행, 더 바람직하게는 적어도 100행으로 이루어질 수 있다. 마찬가지로, 매트릭스는 적어도 10열, 바람직하게는 적어도 50열, 더 바람직하게는 적어도 100열로 이루어질 수 있다. 매트릭스(116)는 적어도 50개의 광학 센서(118), 바람직하게는 적어도 100개의 광학 센서(118), 더 바람직하게는 적어도 500개의 광학 센서(118)를 포함할 수 있다. 매트릭스(116)는 멀티메가 픽셀 범위의 많은 픽셀을 포함할 수 있다. 그러나, 다른 실시예도 가능하다.
검출기(110)는 적어도 하나의 조명 패턴(124)으로 대상체(112)를 조명하는 프로젝터(122)를 더 포함한다. 프로젝터(122)는 특히 적어도 하나의 광빔을 생성하기 위한 적어도 하나의 레이저 소스(126)를 포함할 수 있다. 프로젝터(122)는 특히 레이저 소스(126)의 광빔으로부터 조명 패턴(124)을 생성 및/또는 형성하기 위한 적어도 하나의 회절 광학 소자(128)를 포함할 수 있다. 프로젝터(122)는, 조명 패턴(124)이 프로젝터(122), 특히 프로젝터(122)의 하우징의 적어도 하나의 개구부(130)로부터 대상체(112)를 향해 전파되도록 구성될 수 있다. 프로젝터(122)는 점의 클라우드를 생성 및/또는 투사하도록 구성될 수 있으며, 예를 들어 프로젝터(122)는 적어도 하나의 디지털 광 처리(DLP) 프로젝터, 적어도 하나의 LCoS 프로젝터, 적어도 하나의 레이저 소스, 적어도 하나의 레이저 소스 어레이, 적어도 하나의 발광 다이오드, 적어도 하나의 발광 다이오드 어레이를 포함할 수 있다. 레이저 소스(126)는 포커싱 광학계(134)를 포함할 수 있다. 프로젝터(122)는 복수의 레이저 소스(126)를 포함할 수 있다. 나아가, 적어도 하나의 주변 광원에 의해 추가 조명 패턴이 생성될 수도 있다.
프로젝터(122)는 적어도 하나의 제어 유닛(136)을 포함할 수 있다. 제어 유닛(136)은 레이저 소스(126)를 제어하도록 구성될 수 있다. 제어 유닛(136)은 적어도 하나의 처리 디바이스, 특히 적어도 하나의 프로세서 및/또는 적어도 하나의 주문형 집적 회로(ASIC)를 포함할 수 있다. 제어 유닛(136)은 레이저 소스(126)의 제어를 수행하도록 구성된 하나 이상의 컴퓨터, 주문형 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 또는 필드 프로그래머블 게이트 어레이(FPGA) 등과 같은 하나 이상의 프로그래밍 가능 디바이스를 포함할 수 있다. 제어 유닛(136)은 다수의 컴퓨터 커맨드를 포함하는 소프트웨어 코드가 저장된 적어도 하나의 처리 디바이스를 포함할 수 있다. 제어 유닛(136)은 레이저 소스(126)의 제어를 수행하기 위한 하나 이상의 하드웨어 소자를 제공할 수 있고, 및/또는 레이저 소스의 제어를 수행하기 위해 소프트웨어가 실행되는 하나 이상의 프로세서를 제공할 수 있다. 제어 유닛(136)은 레이저 소스를 제어하기 위한 적어도 하나의 전자 신호를 발행 및/또는 생성하도록 구성될 수 있다. 제어 유닛(136)은 레이저 소스(126)를 제어하기 위한 하나 이상의 무선 및/또는 유선 결합 인터페이스 및/또는 다른 유형의 제어 연결을 가질 수 있다. 제어 유닛(136) 및 레이저 소스는 하나 이상의 커넥터 및/또는 하나 이상의 인터페이스에 의해 상호 연결될 수 있다.
조명 패턴(124)은 복수의 조명 피처(125)를 포함한다. 조명 패턴(124)은 적어도 하나의 주기적 규칙 점 패턴, 적어도 하나의 육각형 패턴, 적어도 하나의 직사각형 패턴으로 구성된 그룹에서 선택된 적어도 하나의 주기적 규칙의 패턴을 포함할 수 있다.
예를 들어, 도 1의 프로젝터(122)는 단일 광원, 특히 레이저 빔이라고 하는 적어도 하나의 광빔을 생성하도록 구성된 단일 레이저 소스(126)를 포함할 수 있다. 프로젝터(122)는 패턴화된 조명 피처를 포함하는 조명 패턴(124)을 생성하기 위해 단일 레이저 소스에 의해 생성된 레이저 빔을 회절하고 복제하기 위한 적어도 하나의 전송 디바이스, 특히 DOE(128)를 포함할 수 있다. 회절 광학 소자(128)는 빔 형성 및/또는 빔 분할을 위해 구성될 수 있다.
예를 들어, 프로젝터(122)는 광빔의 클러스터를 생성하도록 구성된 특정 패턴에 따라서 조밀하게 패킹된 광원, 특히 레이저 소스(126)의 적어도 하나의 어레이를 포함할 수 있다. 레이저 소스(126)의 밀도는 개별 광원의 하우징의 확장 및 광빔의 구별 가능성에 따라 달라질 수 있다. 프로젝터(122)는 패턴화된 조명 피처를 포함하는 조명 패턴(124)을 생성하기 위해 광빔의 클러스터를 회절 및 복제하기 위한 적어도 하나의 전송 디바이스 특히 DOE(128)를 포함할 수 있다.
각각의 광학 센서(118)는 대상체(112)로부터 검출기(110)로 전파하는 반사 광빔에 의한 제각기의 감광 영역(120)의 조명에 응답하여 적어도 하나의 센서 신호를 생성하도록 설계된다. 또한, 센서 소자(114)는 적어도 하나의 반사 패턴(138)을 포함하는 적어도 하나의 반사 이미지(142)를 결정하도록 구성된다. 반사 이미지(142)는 반사 피처로서 점들을 포함할 수 있다. 이러한 점들은 대상체(112)로부터 발산되는 반사 광빔에 의해 발생한다. 센서 소자(114)는 반사 패턴(138)을 결정하도록 구성될 수 있다. 반사 패턴(138)은 조명 패턴(124)의 적어도 하나의 조명 피처(125)에 대응하는 적어도 하나의 피처를 포함할 수 있다. 반사 패턴(138)은 조명 패턴(124)과 비교하여 적어도 하나의 왜곡된 패턴을 포함할 수 있으며, 여기서 왜곡은 대상체(112)의 표면 특성과 같은 대상체(112)의 거리에 따라 달라진다.
검출기(110)는 전송 디바이스(140)를 포함할 수 있으며, 전송 디바이스는 적어도 하나의 렌즈, 예를 들어, 적어도 하나의 가변 초점 렌즈, 적어도 하나의 비구면 렌즈, 적어도 하나의 구면 렌즈, 적어도 하나의 프레넬 렌즈로 이루어진 그룹으로부터 선택된 적어도 하나의 렌즈; 적어도 하나의 회절 광학 소자; 적어도 하나의 오목 거울; 적어도 하나의 빔 편향 소자, 바람직하게는 적어도 하나의 미러; 적어도 하나의 빔 분할 소자, 바람직하게는 빔 분할 큐브 또는 빔 분할 미러 중 적어도 하나; 적어도 하나의 다중 렌즈 시스템 중 하나 이상을 포함한다. 특히, 전송 디바이스(140)는 이미지 평면에서 적어도 하나의 대상체 점에 포커싱하도록 구성된 적어도 하나의 콜리메이팅 렌즈를 포함할 수 있다.
검출기(110)는 적어도 하나의 평가 디바이스(144)를 포함한다. 평가 디바이스(144)는 반사 이미지(142)의 적어도 하나의 반사 피처를 선택하도록 구성될 수 있다. 평가 디바이스(144)는 반사 패턴(138)의 적어도 하나의 피처를 선택하고, 전술한 바와 같이 센서 신호로부터의 결합 신호 Q를 평가하여 초기 거리 정보, 즉 반사 패턴의 선택된 피처의 종 방향 좌표를 결정하도록 구성될 수 있다. 따라서, 검출기(110)는 반사 이미지(142)의 적어도 하나의 반사 피쳐를 사전 분류하도록 구성될 수 있다.
평가 디바이스(144)는 반사 특징을 식별하기 위해 적어도 하나의 이미지 분석 및/또는 이미지 처리를 수행하도록 구성될 수 있다. 이미지 분석 및/또는 이미지 처리는 적어도 하나의 특징 검출 알고리즘을 사용할 수 있다. 이미지 분석 및/또는 이미지 처리는, 필터링; 적어도 하나의 관심 영역의 선택; 센서 신호에 의해 생성된 이미지와 적어도 하나의 오프셋 간의 차분 이미지 형성; 센서 신호에 의해 생성된 이미지를 반전시키는 것에 의한 센서 신호의 반전; 상이한 시간에 센서 신호에 의해 생성된 이미지 간의 차분 이미지 형성; 배경 보정; 컬러 채널로의 분해; 색조(hue)로의 분해; 포화(saturation); 및 밝기 채널; 주파수 분해; 단일값 분해(singular value decomposition); 캐니 에지 검출기(Canny edge detector) 적용; LoG 필터(Laplacian of Gaussian filter) 적용; DoG 필터(Difference of Gaussian filter) 적용; 소벨(Sobel operator) 연산자 적용; 라플라스 연산자(Laplacian operator) 적용; Scharr 연산자 적용; Prewitt 연산자 적용; Roberts 연산자 적용; Kirsch 연산자 적용; 고역 통과 필터 적용; 저역 통과 필터 적용; 푸리에 변환 적용; 라돈 변환(Radon transformation) 적용; 허프 변환(Hough transformation) 적용; 웨이블릿 변환(wavelet-transformation) 적용; 임계화(thresholding); 이진 이미지 생성 중 하나 이상을 포함할 수 있다. 관심 영역은 사용자에 의해 수동으로 결정될 수 있거나, 광학 센서(118)에 의해 생성된 이미지 내의 대상체를 인식함으로써 자동적으로 결정될 수도 있다.
평가 디바이스(144)는 센서 신호로부터의 결합 신호 Q를 평가하여 초기 거리 정보, 즉 반사 이미지(142)의 선택된 반사 피처의 적어도 하나의 종 방향 좌표 Z를 결정하도록 구성된다. 평가 디바이스(144)는 센서 신호를 나누는 것, 센서 신호의 배수를 나누는 것, 센서 신호의 선형 조합을 나누는 것 중 하나 이상에 의해 결합 신호 Q를 도출하도록 구성될 수 있다. 평가 디바이스(144)는 종 방향 영역을 결정하기 위해, 결합 신호 Q와 종 방향 영역 사이의 적어도 하나의 사전 결정된 관계를 사용하도록 구성될 수 있다. 예를 들어, 평가 디바이스(144)는 결합 신호 Q를 다음 식에 의해 도출하도록 구성될 수 있다.
여기서, x 및 y는 횡 방향 좌표이고, A1 및 A2는 센서 위치에서 반사 광 빔의 적어도 하나의 빔 프로파일의 상이한 영역이고, E(x, y, z0)는 대상체 거리 z0에서 주어진 빔 프로파일을 나타낸다. 영역 A1과 영역 A2는 서로 다를 수 있다. 특히, A1과 A2는 일치하지 않는다. 따라서, A1 및 A2는 형상이나 내용 중 하나 이상이 서로 다를 수 있다. 빔 프로파일은 광빔의 횡 방향 강도 프로파일일 수 있다. 빔 프로파일은 광빔의 단면일 수 있다. 빔 프로파일은 사다리꼴 빔 프로파일, 삼각형 빔 프로파일, 원추형 빔 프로파일, 및 가우스 빔 프로파일의 선형 조합으로 이루어진 그룹으로부터 선택될 수 있다. 일반적으로 빔 프로파일은 휘도 L(zo) 및 빔 형상 S(x,y;zo), E(x,y;zo)=L·S에 따라 달라진다. 따라서, 결합 신호를 도출함으로써, 휘도와는 독립적인 종 방향 좌표를 결정할 수 있게 한다. 나아가, 결합 신호를 사용하면, 대상체 크기와는 독립적인 거리 z0을 결정하게 할 수 있다. 따라서, 결합 신호는 대상체의 재료 특성 및/또는 반사 특성 및/또는 산란 특성과는 독립적이고, 또한, 예를 들어, 제조 정밀도, 열, 물, 먼지, 렌즈의 손상 등과 같은 것에 의한 광원의 변경과도 독립적인 거리 z0을 결정하게 할 수 있다.
센서 신호의 각각은 광빔의 빔 프로파일의 적어도 하나의 영역의 적어도 하나의 정보를 포함할 수 있다. 감광 영역(120)은 제1 센서 신호가 빔 프로파일의 제1 영역의 정보를 포함하고, 제2 센서 신호가 빔 프로파일의 제2 영역의 정보를 포함하도록 배열될 수 있다. 빔 프로파일의 제1 영역 및 빔 프로파일의 제2 영역은 인접하거나 겹치는 영역 중 하나 또는 양쪽 모두일 수 있다. 빔 프로파일의 제1 영역 및 빔 프로파일의 제2 영역은 영역 내에서 일치하지 않을 수 있다.
평가 디바이스(144)는 빔 프로파일의 제1 영역 및 빔 프로파일의 제2 영역을 결정 및/또는 선택하도록 구성될 수 있다. 빔 프로파일의 제1 영역은 본질적으로 빔 프로파일의 에지 정보를 포함할 수 있고, 빔 프로파일의 제2 영역은 본질적으로 빔 프로파일의 중심 정보를 포함할 수 있다. 빔 프로파일은, 예컨대, 빔 프로파일의 최대값 및/또는 빔 프로파일의 고원(plateau)의 중심점 및/또는 광 스폿의 기하학적 중심과 같은 중심과, 중심으로부터 연장되는 하강 에지로 구성될 수 있다. 제2 영역은 횡단면의 내부 영역을 포함할 수 있고, 제1 영역은 횡단면의 외부 영역을 포함할 수 있다. 바람직하게는, 중심 정보는 에지 정보의 비율이 10% 미만, 더 바람직하게는 5% 미만, 가장 바람직하게 중심 정보는 에지 콘텐츠를 포함하지 않는다. 에지 정보는 전체 빔 프로파일의 정보, 특히, 중심 및 에지 영역으로부터의 정보를 포함할 수 있다. 에지 정보는 중심 정보의 비율이 10% 미만일 수 있으며 바람직하게는 5% 미만이거나, 더 바람직하게는 에지 정보가 중심 콘텐츠를 포함하지 않는다. 빔 프로파일이 인접하거나 중심 주위에 있고, 본질적으로 중심 정보를 구성하는 경우, 빔 프로파일의 적어도 하나의 영역은 빔 프로파일의 제2 영역으로 결정 및/또는 선택될 수 있다. 빔 프로파일의 적어도 하나의 영역은, 그것이 단면의 하강 에지의 적어도 일부를 포함하는 경우, 빔 프로파일의 제1 영역으로 결정 및/또는 선택될 수 있다. 예를 들어, 단면의 전체 영역이 제1 영역으로 결정될 수 있다. 빔 프로파일의 제1 영역은 영역 A2일 수 있고, 빔 프로파일의 제2 영역은 영역 A1일 수 있다. 마찬가지로, 중심 신호 및 에지 신호는 빔 프로파일의 원형 세그먼트와 같은 빔 프로파일의 세그먼트를 사용하여 결정될 수도 있다. 예를 들어, 빔 프로파일은 빔 프로파일의 중심을 통과하지 않는 시컨트(secant) 또는 코드(chord)에 의해 2개의 세그먼트로 분할될 수 있다. 따라서 하나의 세그먼트에는 기본적으로 에지 정보가 포함되고, 다른 세그먼트에는 기본적으로 중심 정보가 포함될 것이다. 예를 들어, 중심 신호에서 에지 정보의 양을 더 감소시키기 위해, 에지 신호는 중심 신호로부터 더 감산될 수 있다.
에지 정보는 빔 프로파일의 제1 영역 내의 광자 수(number of photons)에 관한 정보를 포함할 수 있고, 중심 정보는 빔 프로파일의 제2 영역 내의 광자 수에 관한 정보를 포함할 수 있다. 평가 디바이스(144)는 빔 프로파일의 면적 적분을 결정하도록 구성될 수 있다. 평가 디바이스(144)는 제1 영역의 적분 및/또는 합산에 의해 에지 정보를 결정하도록 구성될 수 있다. 평가 디바이스(144)는 제2 영역의 적분 및/또는 합산에 의해 중심 정보를 결정하도록 구성될 수 있다. 예를 들어, 빔 프로파일은 사다리꼴 빔 프로파일일 수 있고, 평가 디바이스는 사다리꼴의 적분을 결정하도록 구성될 수 있다. 또한, 사다리꼴 빔 프로파일이 가정될 수 있는 경우, 에지 및 중심 신호의 결정은 에지의 경사와 위치 결정, 중심 고원의 높이 결정, 및 기하학적 고려에 의한 에지 및 중심 신호의 도출과 같은 사다리꼴 빔 프로파일의 특성을 이용하는 등가의 평가로 대체될 수 있다.
평가 디바이스(144)는 결합 신호와 종 방향 좌표 사이의 적어도 하나의 사전 결정된 관계를 사용하도록 구성될 수 있다. 사전 결정된 관계는 경험적 관계, 반경험적 관계 및 분석적으로 도출된 관계 중 하나 이상일 수 있다. 평가 디바이스(144)는 조회 리스트 또는 조회 테이블과 같이, 사전 결정된 관계를 저장하기 위한 적어도 하나의 데이터 저장 디바이스를 포함할 수 있다.
결합 신호 Q를 사용한 빔 프로파일 분석을 사용한 깊이 측정은, 다중 반사를 유발하는 환경, 편향된 광원 또는 계산 요구가 적은 반사 측정 대상체, 특히 처리 능력이 저하된 경우에도 신뢰할 수 있는 거리 측정을 가능하게 한다. 빔 프로파일 분석을 통해 센서 소자(114)의 이미지로부터 깊이 맵을 추정할 수 있다. 특히, 빔 프로파일 분석으로 결정된 거리는 조명 피처(125)마다 거리 추정을 제공할 수 있으며, 센서 소자(114) 및 프로젝터(122)의 알려진, 특히 고정된 위치에 대해서, 삼각 측량 방법을 통해 구체화될 수 있다. 삼각 측량을 사용해서 세분화된 종 방향 좌표를 계산하기 위해서는, 소위 대응(correspondence) 문제가 해결되어야 한다. 일반적으로, 삼각 측량을 이용한 3차원 재구성 방법에는 외부 교정 시스템이 필요하다. 외부 교정 시스템의 경우, 각각의 반사 피처를 빔 프로파일 분석의 추정 초기 거리 정보와 함께 기준 그리드 점, 즉 기준 피처에 매칭시킬 수 있다. 따라서, 공액 조건이 충족되고 빔 프로파일 분석에서 신뢰할 수 있는 깊이 추정치가 나온 경우, 검출된 각 반사 피처를 대응하는 기준 그리드 점과 매칭시킬 수 있다. 그러나 일치하는 부분이 거짓으로 판정되면 삼각 측량을 기반으로 한 거리 측정은 매우 부정확해진다. 하드웨어에 따라서는, 사전 교정된 검출기는 물리적 스트레스나 온도 변화에 의해 성능이 저하되어 상대적 위치 및 회전이 시간에 따라 변할 수 있다. 센서 소자(114)와 프로젝터(122)의 상대적 위치가 변화되면 반사 이미지의 변화를 초래하고, 기준 피처와 반사 피처의 대응(correspondence)을 잘못 결정해서 잘못된 거리 측정 결과를 초래할 수 있다. 본 발명은 검출기(110)의 외부 파라미터를 결정하기 위한 교정 방법, 특히 재교정을 수행하는 것을 제안한다. 본 발명에 따른 교정 방법은 새로운 정적 교정 프로세스를 시작하지 않고도 잘못된 거리 측정 값을 즉석에서 직접 교정할 수 있다. 특히, 교정 방법은 사용자 상호 작용 없이도 자동으로 수행될 수 있다.
교정은 검출기(110)의 적어도 하나의 외부 파라미터를 결정하거나 검출기(110)의 측정값, 특히 반사 이미지에서 반사 피처의 위치에 대한 보정을 결정하기 위한 적어도 하나의 프로세스를 포함할 수 있다. 평가 디바이스(144)는 검출기(110)의 적어도 하나의 외부 파라미터를 결정하도록 구성될 수 있다. 외부 파라미터는 프로젝터(122)와 센서 소자(114)의 좌표 사이의 회전 각도, 프로젝터(122)와 센서 소자(114)의 좌표 사이의 변형 요소, 조리개 각도, 센서 소자(114)의 중심, 조리개, 초점 거리로 구성된 그룹에서 선택된 적어도 하나의 파라미터를 포함할 수 있다.
교정 방법은 초기 거리 정보를 고려하여 반사 피처를 기준 이미지의 기준 피처와 매칭시켜서 매칭되는 반사 피처와 기준 피처의 쌍을 결정하는 것을 포함한다. 평가 디바이스(144)는 적어도 하나의 선형 스케일링 알고리즘을 사용해서 변위 영역(displacement region) 내의 반사 피처 중 하나와 기준 피처 중 하나를 각각 매칭시키도록 구성될 수 있다. 빔 프로파일 분석은 가능성의 수를 감소시킬 수 있다.
평가 디바이스(144)는 적어도 하나의 반사 피처에 대응하는 적어도 하나의 기준 이미지에서 적어도 하나의 기준 피처를 결정하도록 구성될 수 있다. 평가 디바이스(144)는 이미지 분석을 수행하고 반사 이미지의 피처를 식별하도록 구성될 수 있다. 평가 디바이스(144)는 선택된 반사 피처와 본질적으로 동일한 종 방향 좌표를 갖는 기준 이미지에서 적어도 하나의 기준 피처를 식별하도록 구성될 수 있다. 반사 피처에 대응하는 기준 피처는 공액 기하학(epipolar geometry)을 사용하여 결정될 수 있다. 공액 기하학의 설명에 대해서는, 예를 들어, X. Jiang, H. Bunke의 "Dreidimensionales Computersehe" Springer, Berlin Heidelberg, 1997의 챕터 2를 참조한다. 공액 기하학은 기준 이미지와 반사 이미지가 서로 다른 공간 위치 및/또는 고정된 거리를 갖는 공간 방향에서 결정된 대상체의 이미지일 수 있다고 가정할 수 있다. 기준 이미지와 반사 이미지는 고정 거리를 갖는 상이한 공간 위치에서 결정된 대상체의 이미지일 수 있다. 평가 디바이스(144)는 기준 이미지에서 공액 선을 결정하도록 구성될 수 있다. 기준 이미지와 반사 이미지의 가정된 상대 위치가 알려질 수 있다. 예를 들어, 기준 이미지의 가정된 상대 위치는 이전 교정 즉 과거 교정에서 결정될 수 있으며, 이 교정에서 단계 a) 내지 e)가 수행될 수 있다. 예를 들어, 기준 이미지와 반사 이미지의 가정된 상대 위치는 제조 업체 값일 수 있다. 예를 들어, 기준 이미지 및 반사 이미지의 가정된 상대 위치는 평가 디바이스의 적어도 하나의 저장 유닛 내에 저장될 수 있다. 평가 디바이스(144)는 반사 이미지의 선택된 반사 피처로부터 연장되는 직선을 결정하도록 구성될 수 있다. 직선은 선택된 반사 피처에 대응하는 가능한 반사 피처를 포함할 수 있다. 이 직선과 기준선은 공액 평면에 걸쳐 있다. 기준 이미지가 반사 이미지와는 다른 상대적 위치에서 결정되므로, 대응하는 가능한 반사 피처는 기준 이미지에서, 공액 선이라고 하는 직선에 이미징될 수 있다. 따라서, 반사 이미지의 선택된 반사 피처에 대응하는 기준 이미지의 기준 피처가 공액 선 상에 있는 것으로 가정된다. 그러나, 위에서 설명한 바와 같이 이미지의 왜곡이나 노화, 온도 변화, 기계적 응력 등과 같은 외부 파라미터의 변화로 인해 공액 선이 서로 교차하거나 매우 가까워지거나 혹은 기준 피처와 반사 피처 간의 대응이 불분명할 수 있다.
평가 디바이스(144)는 각각의 반사 피처에 대해 반사 피처의 종 방향 영역을 결정하도록 구성될 수 있다. 종 방향 영역은 결합 신호 Q로부터 결정된 반사 피쳐의 초기 거리 정보 및 에러 구간 ±ε에 의해 주어질 수 있다. 평가 디바이스(144)는 종 방향 영역에 대응하는 기준 이미지에서 적어도 하나의 변위 영역을 결정하도록 구성될 수 있다. 변위 영역은 기준 이미지에서 선택된 반사 피처에 대응하는 기준 피처가 이미징될 수 있는 기준 이미지의 영역일 수 있다. 구체적으로, 변위 영역은 기준 이미지에서 선택된 반사 피처에 대응하는 기준 피처가 위치할 것으로 예상되는 기준 이미지의 영역일 수 있다. 대상체와의 거리에 따라서, 반사 피처에 대응하는 기준 피처의 이미지 위치는 반사 이미지 내의 반사 피처의 이미지 위치와 비교해서, 기준 이미지 내에서 변위될 수 있다. 변위 영역은 하나의 기준 피처만 포함할 수 있다. 변위 영역은 또한 둘 이상의 기준 피처를 포함할 수도 있다.
변위 영역은 공액 선 또는 공액 선의 섹션을 포함할 수 있다. 변위 영역은 하나 이상의 공액 선 또는 둘 이상의 공액 선의 섹션을 포함할 수도 있다. 변위 영역은 공액 선을 따라 연장되거나, 공액 선에 직교하거나, 또는 둘 다 연장될 수 있다. 평가 디바이스(144)는 초기 거리 정보에 대응하는 공액 선을 따라 기준 피처를 결정하고 에러 구간 ±ε에 대응하거나 공액 선에 직교하는 공액 선을 따라 변위 영역의 범위를 결정하도록 구성될 수 있다. 결합 신호 Q를 이용한 거리 측정의 측정 불확실도는 방향에 따라 다를 수 있기 때문에 원형이 아닌 변위 영역이 발생할 수 있다. 구체적으로, 하나 이상의 공액 선에 따른 측정 불확실도는 공액 선 또는 공액 선에 대한 직교 방향의 측정 불확실도보다 클 수 있다. 변위 영역은 공액 선 또는 공액 선에 대한 직교 방향의 범위를 포함할 수 있다. 평가 디바이스는 선택된 반사 피처를 변위 영역 내의 적어도 하나의 기준 피처와 매칭시키도록 구성될 수 있다. 평가 디바이스(144)는 결정된 초기 거리 정보를 고려하여 적어도 하나의 평가 알고리즘을 사용해서 변위 영역 내의 기준 피처와 반사 이미지의 선택된 피처를 매칭시키도록 구성될 수 있다. 평가 알고리즘은 선형 스케일링 알고리즘일 수 있다. 평가 디바이스(144)는 변위 영역에 가장 가까운 공액 선 및/또는 변위 영역 내의 공액 선을 결정하도록 구성될 수 있다. 평가 디바이스는 반사 피쳐의 이미지 위치에 가장 가까운 공액 선을 결정하도록 구성될 수 있다. 공액 선에 따른 변위 영역의 범위는 공액 선에 직교하는 변위 영역의 범위보다 클 수 있다. 평가 디바이스(144)는 대응하는 기준 피처를 결정하기 전에 공액 선을 결정하도록 구성될 수 있다. 평가 디바이스(144)는 각각의 반사 피처의 이미지 위치 주변의 변위 영역을 결정할 수 있다. 평가 디바이스(144)는, 예를 들어, 변위 영역 및/또는 변위 영역 내에 및/또는 변위 영역에 가장 가까운 공액 선을 할당하고/또는 공액 선에 직교하는 방향을 따라 변위 영역에 가장 가까운 공액 선을 할당하여, 반사 피처의 각 이미지 위치의 각 변위 영역에 공액 선을 할당하도록 구성될 수 있다. 평가 디바이스(144)는 할당된 변위 영역 및/또는 할당된 변위 영역 내에 및/또는 할당된 공액 선을 따라 할당된 변위 영역에 가장 가까운 기준 피처 및/또는 할당된 공액 선을 따라 할당된 변위 영역 내에 가장 가까운 기준 피처를 결정함으로써 반사 피처의 이미지 위치에 대응하는 기준 피처를 결정하도록 구성될 수 있다.
이에 더해서 혹은 이와 달리, 평가 디바이스(144)는 다음 단계를 수행하도록 구성할 수 있다:
- 각각의 반사 피처의 이미지 위치에 대한 변위 영역을 결정한다;
- 변위 영역에 가장 가까운 공액 선 및/또는 변위 영역 내 및/또는 공액 선에 직교하는 방향을 따라 변위 영역에 가장 가까운 공액 선을 할당하는 방식으로, 각각의 반사 피처의 변위 영역에 공액 선을 할당한다;
-할당된 변위 영역에 가장 가까운 기준 피처 및/또는 할당된 변위 영역 내 및/또는 할당된 공액 선을 따라 할당된 변위 영역에 가장 가까운 기준 피처 및/또는 할당된 공액 선을 따라 할당된 변위 영역 내를 할당하는 등 각각의 반사 피처에 적어도 하나의 기준 피처를 할당 및/또는 결정한다.
이에 더해서 혹은 이와 달리, 평가 디바이스(144)는 기준 이미지 내의 반사 피처 및/또는 공액 선의 거리를 비교함으로써 및/또는 기준 이미지 내의 반사 피처 및/또는 공액 선의 ε-가중 거리와 같은 오차 가중 거리를 비교해서 더 짧은 거리 및/또는 ε-가중 거리의 공액 선 및/또는 기준 피처를 기준 픽처 및/또는 반사 픽처에 할당함으로써, 하나 이상의 공액 선 및/또는 기준 픽처 중 기준 픽처에 할당될 것을 결정하도록 구성될 수 있다.
전술한 바와 같이, 검출기(110), 특히 평가 디바이스(144)는 하나의 기준 피처에 대한 명확하게 할당할 수 있도록 결합 신호 Q를 사용해서 선택된 반사 피처를 사전 분류하도록 구성될 수 있다. 특히, 조명 패턴의 조명 피처들은 기준 이미지의 대응하는 기준 피처가 공액 선에서 서로에 대해 가능한 한 큰 상대 거리를 갖도록 배열될 수 있다. 조명 패턴의 조명 피처들은 소수의 기준 피처들만이 공액 선 상에 위치하도록 배열될 수 있다.
빔 프로파일 분석을 사용하면 에러 구간 내의 종 방향 좌표와 같은 초기 거리 정보를 추정할 수 있다. 초기 거리 정보에 대응하는 변위 영역 및 대응하는 에러 구간을 결정함으로써, 기준 피처 및 반사 피처를 매칭시키기 위한 공액 선에 따른 가능한 해(solution)의 수를 크게 줄일 수 있다. 심지어 가능한 해의 수를 하나로 줄일 수도 있다. 초기 거리 정보의 결정은, 반사 피처와 기준 피처를 매칭시키기 전에 사전 평가 중에 수행될 수도 있다. 이를 통해 계산 수요를 감소시켜서, 비용을 크게 절감하고 모바일 디바이스 또는 실외 디바이스에서도 가능하게 할 수 있다.
교정 방법은 매칭되는 반사 피처와 기준 피처의 쌍 각각에 대해 기준 이미지에서 매칭되는 기준 피처의 공액 선을 결정하는 것을 포함한다. 특히, 각각 매칭된 기준 피처 및 반사 피처의 매칭에 사용되는 공액 선은, 매칭된 반사 및 기준 피처 쌍의 공액 선으로 사용될 수 있다.
교정 방법은 매칭되는 반사 피쳐의 공액 선까지의 공액 선 거리 d를 결정하는 것을 더 포함한다. 공액 선 거리는, 대응하는 공액 선으로 표시되는, 매칭되는 기준 피처와의 매칭에 사용되는 반사 피처 및 공액 선의 거리일 수 있다. 이 거리는 반사 이미지와 대응하는 공액 선의 이미지 좌표를 결정하고 이미지 좌표를 비교함으로써 결정될 수 있다. 대응하는 공액선까지의 최소 거리를 공액 선 거리로 사용할 수 있다.
외부 교정이 양호한 경우, 공액 선 거리는 0에 가깝다. 교정된 검출기(110)의 이러한 반사 패턴(138)(원)이 기준 패턴(146)(사각형)과 매칭되는 것이 도 2에 도시되어 있다.
검출기가 교정 해제된 경우, 반사 피처가 기준 피처와 매칭될 수 있다. 도 3a 및 3b는 회전된 센서 소자(114) 및/또는 프로젝터(122)의 경우, 기준 패턴(146)(사각형)과 매칭되는 교정 해제된 검출기(110)의 반사 패턴(138)(원)의 두 가지 실시예를 나타낸다. 그러나, 대응하는 기준 피처에 대한 공액 선 거리는 항상 거짓 또는 참으로 결정할 수 있다. 매칭 단계에서, 사용되는 재구성 알고리즘은 공액 선 거리가 허용 오차 범위 내에 있는 경우 반사 피처를 기준 피처에 매칭시킬 수 있다. 따라서, 반사 피처가 잘못된 기준 피처에 매칭되어 0이 아닌 공액 선 거리가 발생할 수 있다. 평가 디바이스(144)는, 잘못된 매칭되는 반사 피처와 기준 피처의 쌍이 결정되는 경우에도, 단계 b) 내지 단계 e)를 수행하도록 구성될 수 있다. 교정 방법은 결과로 나온 공액 선 거리를 평가하는 것을 기반으로 할 수 있다. 교정 방법은 반사 피처와 기준 피처 사이의 대응이 정확한지 거짓인지와 무관하게 공액 거리를 고려할 수 있다. 반사 피처가 잘못된 기준 피처와 매칭되는 경우에도, 공액 거리는 제안된 교정 전략에 적합할 수 있다.
단계 d)는 공액 선 거리 d를 기준 이미지에서 이미지 위치(x, y)의 함수로 평가해서 기하학적 패턴을 결정하는 단계를 포함한다. 기하학적 패턴은 공액 선 거리의 분포일 수 있다. 공액 선 거리는 기준 이미지의 위치(x, y)에 대한 함수 d(x, y)로 정의될 수 있다. 공액 선 거리 함수 d를 분석해서 회전 및/또는 변형에 대한 보정을 계산할 수 있다. 교정 해제된 시스템의 경우, 함수 d는 기하학적 패턴을 생성할 수 있다. 공액 선 거리 함수의 이 기하학적 패턴의 형상은 고유하게 교정의 정도를 나타낼 수 있다. 함수 d(x,y)의 반복, 첨도(steepness), 불연속성, 곡률과 같은 기하학적 패턴은 교정을 복구하는 데 사용할 수 있다. 프로젝터 및/또는 센서 소자의 회전 및/또는 변형이 변경되면, 그 결과는 함수 d에서 기하학적 패턴으로 관찰할 수 있다. 평가 디바이스(144)는 d(x,y)를 분석하고 회전 및/또는 변형에 대한 보정을 계산하도록 설계된 알고리즘을 수행하도록 구성될 수 있다. 평가 디바이스(144)는 기하학적 패턴의 형상, 반복, 첨도, 불연속성 및 곡률 중 하나 이상을 평가하여 반사 이미지의 보정을 결정하도록 구성될 수 있다. 도 4는 좌측에 반사 패턴과 매칭되는 기준 패턴을 나타내고, 우측에 평가된 공액 선 거리 함수 d(x, y)의 추가 실시예를 나타낸다.
평가 디바이스(144)는 결정된 보정에 기초해서 반사 이미지를 보정하도록 구성될 수 있다. 전술한 바와 같이, 반사 이미지는 회전 및 변형과 같은 외부 파라미터의 적어도 하나의 피처 및/또는 변환과 관련하여 광학 센서의 이미지를 평가하는 것을 지칭한다. 반사 이미지의 회전 및/또는 변형에 대한 보정은 반사 이미지의 이미지 위치에 적용되는 적어도 하나의 보정 계수일 수 있다. 평가 디바이스(144)는, 기하학적 패턴이 교정된 검출기의 기하학적 패턴과 사전 정의된 허용 오차 내에서 일치하는지 또는 기하학적 패턴이 교정된 검출기의 기하학적 패턴에서 사전 정의된 허용 오차 이상으로 벗어나는지를 결정하도록 구성될 수 있다. 결정된 보정은 교정 해제 정도에 대한 정보를 제공할 수 있다. 검출기가 이미 최적으로 교정된 경우, 보정 단계는 매우 작을 수 있으며 보정 효과도 매우 작을 수 있다. 허용 오차 범위 내에서 일치하는 경우, 평가 디바이스(144)는 초기 외부 파라미터를 유지하거나 반사 이미지의 보정을 폐기할 수 있다. 일치하지 않는 경우, 반사 이미지에는 보정이 적용될 수 있다. 결정된 보정은 회전 및/또는 변형을 보정하는 데 사용될 수 있다. 회전 및 변형은 센서 소자와 프로젝터 사이의 공간적 정황을 묘사한다. 회전 및 변형은 "반사 피처"과 "기준 피처" 사이의 관계로 구성될 수 있다. 이러한 관계에서, 삼각 측량 기술을 사용해서 삼각 측량 거리 정보를 계산할 수 있다. 따라서, 회전 및/또는 변형이 변경된 것으로 확인된 경우, 결과 삼각 측량 정보를 수정할 수 있다.
평가 디바이스(144)는 결정된 보정을 고려한 삼각 측량을 사용해서 반사 피쳐의 적어도 하나의 삼각 측량 거리 정보를 결정하도록 구성될 수 있다. 평가 디바이스(144)는 매칭되는 기준 피처와 반사 피처의 변위를 결정하도록 구성될 수 있다. 변위는 기준 이미지의 위치와 반사 이미지의 위치 사이의 차이일 수 있다. 평가 디바이스는 종 방향 좌표와 변위 사이의 사전 결정된 관계를 사용해서 매칭된 기준 피처의 삼각 측량 거리를 결정하도록 구성될 수 있다. 평가 디바이스(144)는 삼각 측량 거리 정보를 결정하는 동안 즉시 교정 방법을 수행하도록 구성된다.
도 5는 본 발명에 따른 적어도 하나의 검출기를 교정하는 방법의 실시예의 예시적인 흐름도를 나타낸다. 이 방법은 다음 단계를 포함한다.
i) (참조 번호 148로 표시된) 초기 거리 정보를 결정하되,
- 검출기의 적어도 하나의 프로젝터에 의해 생성된 적어도 하나의 조명 패턴으로 대상체를 조명하는 것 - 조명 패턴은 복수의 조명 피처를 포함함 - ,
- 광학 센서의 매트릭스를 가진 센서 소자의 광학 센서의 감광 영역에 충돌하는 각각의 반사 광빔에 대해 조명에 응답하여 적어도 하나의 센서 신호를 생성하는 것,
- 복수의 반사 피처를 포함하는 센서 소자를 사용해서 적어도 하나의 반사 이미지를 결정하는 것 - 각각의 반사 피처는 빔 프로파일을 포함함 -,
- 적어도 하나의 평가 디바이스를 사용해서 센서 신호를 평가하여 결합 신호 Q를 결정하고, 제각기의 빔 프로파일을 분석하여 반사 피쳐의 초기 거리 정보를 결정하는 것 - 빔 프로파일을 분석하는 것은 제각기의 센서 신호로부터의 결합 신호 Q를 평가하는 것을 포함함 - 에 의해서 초기 거리 정보를 결정하는 단계;
ii) (참조 번호 150으로 표시된) 초기 거리 정보를 고려하여 반사 피처를 기준 이미지의 기준 피처와 매칭시켜서 매칭되는 반사 피처와 기준 피처의 쌍을 결정하는 단계;
iii) (참조 번호 152로 표시된) 매칭되는 반사 피처와 기준 피처의 쌍 각각에 대해 기준 이미지에서 매칭되는 기준 피처의 공액 선을 결정하는 단계;
iv) (참조 번호 154로 표시된) 매칭되는 반사 피쳐의 공액 선까지의 공액 선 거리 d를 결정하는 단계;
v) (참조 번호 156로 표시된) 공액 선 거리 d를 기준 이미지에서 이미지 위치(x, y)의 함수로 평가해서 기하학적 패턴을 결정하는 단계;
xi) (참조 번호 158로 표시된) 이 기하학적 패턴에 따라서 반사 이미지의 회전 및/또는 변형에 대한 적어도 하나의 보정을 결정하는 단계를 포함한다.
110 검출기
112 대상체
114 센서 소자
116 매트릭스
118 광학 센서
120 감광 영역
122 프로젝터
124 조명 패턴
125 조명 피처
126 레이저 소스
128 DOE
130 개구부
132 하우징
134 광학계
136 제어 유닛
138 반사 패턴
140 전송 디바이스
142 반사 디바이스
144 평가 디바이스
146 기준 패턴
148 초기 거리 정보 결정
150 매칭
152 공액 선 결정
154 공액 선 거리 결정
156 공액 선 거리 평가
158 적어도 하나의 보정 결정

Claims (15)

  1. 적어도 하나의 대상체(112)의 위치를 결정하는 검출기(110)로서,
    적어도 하나의 조명 패턴(124)으로 상기 대상체(112)를 조명하는 적어도 하나의 프로젝터(122) - 상기 조명 패턴(124)은 복수의 조명 피처(125)를 포함함 - 와,
    각각 감광 영역(120)을 가진 광학 센서의 매트릭스(116)를 구비하는 적어도 하나의 센서 소자(114) - 각각의 광학 센서(118)는 상기 대상체(112)로부터 상기 검출기(110)로 전파하는 반사 광빔에 의한 제각기의 감광 영역의 조명에 응답하여 적어도 하나의 센서 신호를 생성하도록 설계되고, 상기 센서 소자는 복수의 반사 피처를 포함하는 적어도 하나의 반사 이미지(142)를 결정하도록 구성되고, 상기 반사 피처 각각은 빔 프로파일을 포함함 - 와,
    제각기의 빔 프로파일을 분석해서 상기 반사 피쳐의 초기 거리 정보를 결정하도록 구성된 적어도 하나의 평가 디바이스(144) - 상기 빔 프로파일을 분석하는 것은 제각기의 상기 센서 신호로부터의 결합 신호 Q를 평가하는 것을 포함하고, 상기 평가 디바이스는 교정 방법을 수행하도록 구성되며, 상기 교정 방법은,
    a) 상기 초기 거리 정보를 고려하여 상기 반사 피처를 기준 이미지의 기준 피처와 매칭시켜서 매칭되는 반사 피처와 기준 피처의 쌍을 결정하는 단계(150)와,
    b) 상기 매칭되는 반사 피처와 기준 피처의 쌍 각각에 대해 상기 기준 이미지에서 상기 매칭되는 기준 피처의 공액 선(epipolar line)을 결정하는 단계(152)와,
    c) 상기 매칭되는 반사 피쳐의 상기 공액 선까지의 공액 선 거리 d를 결정하는 단계(154)와,
    d) 상기 공액 선 거리 d를 상기 기준 이미지에서 이미지 위치(x, y)의 함수로 평가해서 기하학적 패턴을 결정하는 단계(156)와,
    e) 상기 기하학적 패턴에 따라서 상기 반사 이미지(142)의 회전 및/또는 변형에 대한 적어도 하나의 보정을 결정하는 단계(158)
    를 포함하는,
    검출기(110).
  2. 제1항에 있어서,
    상기 평가 디바이스(144)는 상기 결정된 보정에 기초해서 상기 반사 이미지(142)를 보정하도록 구성되는,
    검출기(110).
  3. 제1항 또는 제2항에 있어서,
    상기 평가 디바이스(144)는 상기 결정된 보정을 고려한 삼각 측량을 사용해서 상기 반사 피쳐의 적어도 하나의 삼각 측량 거리 정보를 결정하도록 구성되는,
    검출기(110).
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 평가 디바이스(144)는 상기 삼각 측량 거리 정보를 결정하는 동안 즉시 상기 교정 방법을 수행하도록 구성되는,
    검출기(110).
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 평가 디바이스(144)는 상기 검출기의 적어도 하나의 외부 파라미터를 결정하도록 구성되며, 상기 외부 파라미터는 상기 프로젝터(122)와 상기 센서 소자(114)의 좌표 사이의 회전 각도, 상기 프로젝터(122)와 상기 센서 소자(114)의 좌표 사이의 변형 요소(translation component), 조리개 각도, 상기 센서 소자의 중심, 조리개, 초점 거리로 구성된 그룹에서 선택된 적어도 하나의 파라미터를 포함하는,
    검출기(110).
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 평가 디바이스(144)는, 매칭되는 반사 피처와 기준 피처의 잘못된 쌍이 결정되는 경우에도, 단계 b) 내지 단계 e)를 수행하도록 구성되는,
    검출기(110).
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 평가 디바이스(144)는 상기 기하학적 패턴의 형상, 반복, 첨도(steepness), 불연속성 및 곡률 중 하나 이상을 평가하여 상기 반사 이미지의 상기 보정을 결정하도록 구성되는,
    검출기(110).
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 조명 패턴은 적어도 하나의 주기적 규칙 점 패턴, 적어도 하나의 육각형 패턴, 적어도 하나의 직사각형 패턴으로 구성된 그룹에서 선택된 적어도 하나의 주기적 규칙의 패턴을 포함하는,
    검출기(110).
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 평가 디바이스(144)는 상기 센서 신호를 나누는 것, 상기 센서 신호의 배수를 나누는 것, 상기 센서 신호의 선형 조합을 나누는 것 중 하나 이상에 의해 상기 결합 신호 Q를 도출하도록 구성되고, 상기 평가 디바이스(144)는 상기 초기 거리 정보를 결정하기 위해, 상기 결합 신호 Q와 상기 종 방향 좌표 사이의 적어도 하나의 사전 결정된 관계를 사용하도록 구성되는,
    검출기(110).
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 평가 디바이스(144)는 상기 반사 이미지(142)의 이미지 분석을 수행하여 상기 반사 이미지(142)의 반사 피처를 식별하도록 구성되는,
    검출기(110).
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 평가 디바이스(144)는 각각의 반사 피처에 대해, 상기 반사 피처의 종 방향 영역을 결정하도록 구성되고, 상기 종 방향 영역은 상기 결합 신호 Q로부터 결정된 상기 반사 피처의 상기 초기 거리 정보와 에러 구간 ±ε에 의해 주어지며, 상기 평가 디바이스(144)는 상기 종 방향 영역에 대응하는 상기 기준 이미지에서 적어도 하나의 변위 영역(displacement region)을 결정하도록 구성되는,
    검출기(110).
  12. 제11항에 있어서,
    상기 평가 디바이스(144)는 적어도 하나의 선형 스케일링 알고리즘을 사용해서 상기 변위 영역 내의 상기 반사 피처 중 하나와 상기 기준 피처 중 하나를 각각 매칭시키도록 구성되는,
    검출기(110).
  13. 제1항 내지 제12항 중 어느 한 항에 따른 검출기(110)를 교정하는 방법으로서, 상기 방법은,
    i) 초기 거리 정보를 결정하되,
    상기 검출기(110)의 적어도 하나의 프로젝터(122)에 의해 생성된 적어도 하나의 조명 패턴(124)으로 상기 대상체(112)를 조명하는 것 - 상기 조명 패턴(124)은 복수의 조명 피처(125)를 포함함 - ,
    광학 센서(118)의 매트릭스(116)를 가진 상기 센서 소자(114)의 상기 광학 센서(118)의 상기 감광 영역(120)에 충돌하는 각각의 반사 광빔에 대해 조명에 응답하여 적어도 하나의 센서 신호를 생성하는 것,
    복수의 반사 피처를 포함하는 상기 센서 소자(114)를 사용해서 적어도 하나의 반사 이미지를 결정하는 것 - 각각의 상기 반사 피처는 빔 프로파일을 포함함 -,
    적어도 하나의 평가 디바이스(144)를 사용해서 상기 센서 신호를 평가하여 결합 신호 Q를 결정하고, 제각기의 빔 프로파일을 분석하여 상기 반사 피쳐의 상기 초기 거리 정보를 결정하는 것 - 상기 빔 프로파일을 분석하는 것은 제각기의 센서 신호로부터의 결합 신호 Q를 평가하는 것을 포함함 -
    에 의해서 상기 초기 거리 정보를 결정하는 단계와,
    ii) 상기 초기 거리 정보를 고려하여 상기 반사 피처를 기준 이미지의 기준 피처와 매칭시켜서 매칭되는 반사 피처와 기준 피처의 쌍을 결정하는 단계(150)와,
    iii) 상기 매칭되는 반사 피처와 기준 피처의 쌍 각각에 대해 상기 기준 이미지에서 상기 매칭되는 기준 피처의 공액 선을 결정하는 단계(152)와,
    iv) 상기 매칭되는 반사 피쳐의 상기 공액 선까지의 공액 선 거리 d를 결정하는 단계(154)와,
    v) 상기 공액 선 거리 d를 상기 기준 이미지에서 이미지 위치(x, y)의 함수로 평가해서 기하학적 패턴을 결정하는 단계(156)와,
    vi) 상기 기하학적 패턴에 따라서 상기 반사 이미지의 회전 및/또는 변형에 대한 적어도 하나의 보정을 결정하는 단계(158)
    를 포함하는 방법.
  14. 제13항에 있어서,
    상기 결정된 보정에 기초하여 상기 반사 이미지(142)를 보정하고, 상기 결정된 보정을 고려한 삼각 측량을 사용해서 상기 반사 피처의 적어도 하나의 삼각 측량 거리 정보를 결정하는 단계
    를 더 포함하는 방법.
  15. 제1항 내지 제12항 중 어느 한 항에 따른 상기 검출기(110)의 용도로서,
    상기 용도는 교통 기술 분야에서의 위치 측정, 엔터테인먼트 애플리케이션, 보안 애플리케이션, 감시 애플리케이션, 안전 애플리케이션, 인간-머신 인터페이스 애플리케이션, 물류 애플리케이션, 추적 애플리케이션, 아웃도어 애플리케이션, 모바일 애플리케이션, 통신 애플리케이션, 포토그래피 애플리케이션, 머신 비젼 애플리케이션, 로봇 애플리케이션, 품질 관리 애플리케이션, 제조 애플리케이션으로 이루어진 그룹으로부터 선택되는, 검출기의 용도를 지칭하는,
    용도.
KR1020237041329A 2021-05-31 2022-05-30 투사 패턴의 공액 선 거리로부터의 자동 교정 KR20240015643A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP21176939.3 2021-05-31
EP21176939 2021-05-31
PCT/EP2022/064655 WO2022253777A1 (en) 2021-05-31 2022-05-30 Auto calibration from epipolar line distance in projection pattern

Publications (1)

Publication Number Publication Date
KR20240015643A true KR20240015643A (ko) 2024-02-05

Family

ID=76217681

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237041329A KR20240015643A (ko) 2021-05-31 2022-05-30 투사 패턴의 공액 선 거리로부터의 자동 교정

Country Status (6)

Country Link
US (1) US20240020864A1 (ko)
EP (1) EP4348174A1 (ko)
JP (1) JP2024520598A (ko)
KR (1) KR20240015643A (ko)
CN (1) CN117480355A (ko)
WO (1) WO2022253777A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908723B (zh) * 2023-03-09 2023-06-16 中国科学技术大学 基于区间感知的极线引导多视图立体重建方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5712463A (en) * 1995-09-19 1998-01-27 International Business Machines Corporation Laser apparatus and method for adjusting the gram load static attitude and flying height of a slider in a head suspension assembly
US6798613B1 (en) * 2001-07-09 2004-09-28 Maxtor Corporation Method of correcting Z-height errors during assembly of a hard disk drive
US20030071121A1 (en) * 2001-10-12 2003-04-17 Kricorissian Gregg R. Optical data collection device with a combined targeting and focusing apparatus
JP3967935B2 (ja) * 2002-02-25 2007-08-29 株式会社日立製作所 合わせ精度計測装置及びその方法
JP2005166785A (ja) * 2003-12-01 2005-06-23 Canon Inc 位置検出装置及び方法、並びに、露光装置
US7069156B2 (en) * 2004-01-23 2006-06-27 Hitachi Global Storage Technologies Netherlands B.V. Method for adjusting the pitch and roll static torques in a disk drive head suspension assembly
JP2006040949A (ja) * 2004-07-22 2006-02-09 Advanced Lcd Technologies Development Center Co Ltd レーザー結晶化装置及びレーザー結晶化方法
US9389315B2 (en) 2012-12-19 2016-07-12 Basf Se Detector comprising a transversal optical sensor for detecting a transversal position of a light beam from an object and a longitudinal optical sensor sensing a beam cross-section of the light beam in a sensor region
US10219724B2 (en) * 2013-05-02 2019-03-05 VS Medtech, Inc. Systems and methods for measuring and characterizing interior surfaces of luminal structures
JP7215996B2 (ja) 2016-11-17 2023-01-31 トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング 少なくとも1つの物体を光学的に検出するための検出器
WO2018118487A1 (en) * 2016-12-19 2018-06-28 Cambridge Research & Instrumentation, Inc. Surface sensing in optical microscopy and automated sample scanning systems
US10520742B1 (en) * 2017-02-13 2019-12-31 Facebook Technologies, Llc Beamsplitter assembly for eye tracking in head-mounted displays
US11025887B2 (en) * 2017-02-27 2021-06-01 Sony Corporation Field calibration of stereo cameras with a projector
EP3676629B1 (en) * 2017-08-28 2023-10-11 trinamiX GmbH Detector for determining a position of at least one object
US10788677B2 (en) * 2017-10-03 2020-09-29 Facebook Technologies, Llc Fresnel assembly for light redirection in eye tracking systems

Also Published As

Publication number Publication date
EP4348174A1 (en) 2024-04-10
CN117480355A (zh) 2024-01-30
WO2022253777A1 (en) 2022-12-08
US20240020864A1 (en) 2024-01-18
JP2024520598A (ja) 2024-05-24

Similar Documents

Publication Publication Date Title
US11989896B2 (en) Depth measurement through display
KR20210137193A (ko) 하나 이상의 물질 특성을 식별하기 위한 검출기
US20230078604A1 (en) Detector for object recognition
US20230266467A1 (en) Projector pattern
EP3928059A1 (en) Detector with a projector for illuminating at least one object
US20240020864A1 (en) Auto calibration from epipolar line distance in projection pattern
JP2021533356A (ja) 少なくとも1つの物体の位置を決定するための検出器
US11920918B2 (en) One shot calibration
US20220350156A1 (en) Projector for Illuminating at Least One Object
US20240133679A1 (en) Projector for diffuse illumination and structured light
WO2023078903A1 (en) Structured light pattern combined with projection of markers
US11995857B2 (en) Shape-from-shading
WO2023083784A1 (en) Recalibration of a 3d detector based on structured light
WO2023041761A1 (en) Emitter array with two or more independently driven areas
WO2023057495A1 (en) Method for alignment of optical components of a projector
WO2023078986A1 (en) Eye safety for projectors
Peppa Precision analysis of 3D camera