KR20220103962A - 디스플레이를 통한 깊이 측정 - Google Patents
디스플레이를 통한 깊이 측정 Download PDFInfo
- Publication number
- KR20220103962A KR20220103962A KR1020227017578A KR20227017578A KR20220103962A KR 20220103962 A KR20220103962 A KR 20220103962A KR 1020227017578 A KR1020227017578 A KR 1020227017578A KR 20227017578 A KR20227017578 A KR 20227017578A KR 20220103962 A KR20220103962 A KR 20220103962A
- Authority
- KR
- South Korea
- Prior art keywords
- feature
- reflective
- image
- illumination
- evaluation device
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/12—Acquisition of 3D measurements of objects
- G06V2201/121—Acquisition of 3D measurements of objects using special illumination
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Optics & Photonics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Vascular Medicine (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
디스플레이 디바이스(110)가 제안된다. 디스플레이 디바이스(110)는,
- 적어도 하나의 장면에서 복수의 조명 특징을 포함하는 적어도 하나의 조명 패턴을 투영하도록 구성된 적어도 하나의 조명원(114)과,
- 적어도 하나의 감광 영역(120)을 갖는 적어도 하나의 광학 센서(118) - 광학 센서(118)는 조명 특징에 의한 조명에 응답하여 장면에 의해 생성된 복수의 반사 특징을 포함하는 적어도 하나의 제 1 이미지(122)를 결정하도록 구성됨 - 와,
- 정보를 표시하도록 구성된 적어도 하나의 반투명 디스플레이(112) - 조명원(114) 및 광학 센서(118)는 디스플레이(112)의 앞에서 조명 패턴의 전파 방향으로 배치됨 - 와,
- 적어도 하나의 평가 디바이스(124)를 포함하고,
평가 디바이스(124)는 제 1 이미지(122)를 평가하도록 구성되고, 제 1 이미지(122)의 평가는 제 1 이미지(122)의 반사 특징을 식별하고, 식별된 반사 특징을 휘도에 대하여 정렬하고, 각각의 반사 특징은 적어도 하나의 빔 프로파일을 포함하고, 평가 디바이스(124)는 그들의 빔 프로파일의 분석에 의해 반사 특징의 각각에 대해 적어도 하나의 세로 좌표 zDPR을 결정하도록 구성되고,
평가 디바이스(124)는 세로 좌표 zDPR을 이용함으로써 반사 특징을 대응하는 조명 특징과 명료하게 일치시키도록 구성되고, 일치는 가장 밝은 반사 특징에서 시작하여 반사 특징의 휘도를 감소시키는 것으로 수행되고, 평가 디바이스(124)는 조명 특징과 일치하는 반사 특징을 실제 특징으로서 분류하고, 조명 특징과 일치하지 않는 반사 특징을 거짓 특징으로서 분류하도록 구성되고, 평가 디바이스(124)는 거짓 특징을 거부하고, 세로 좌표 zDPR을 이용함으로써 실제 특징에 대한 깊이 맵을 생성하도록 구성된다.
- 적어도 하나의 장면에서 복수의 조명 특징을 포함하는 적어도 하나의 조명 패턴을 투영하도록 구성된 적어도 하나의 조명원(114)과,
- 적어도 하나의 감광 영역(120)을 갖는 적어도 하나의 광학 센서(118) - 광학 센서(118)는 조명 특징에 의한 조명에 응답하여 장면에 의해 생성된 복수의 반사 특징을 포함하는 적어도 하나의 제 1 이미지(122)를 결정하도록 구성됨 - 와,
- 정보를 표시하도록 구성된 적어도 하나의 반투명 디스플레이(112) - 조명원(114) 및 광학 센서(118)는 디스플레이(112)의 앞에서 조명 패턴의 전파 방향으로 배치됨 - 와,
- 적어도 하나의 평가 디바이스(124)를 포함하고,
평가 디바이스(124)는 제 1 이미지(122)를 평가하도록 구성되고, 제 1 이미지(122)의 평가는 제 1 이미지(122)의 반사 특징을 식별하고, 식별된 반사 특징을 휘도에 대하여 정렬하고, 각각의 반사 특징은 적어도 하나의 빔 프로파일을 포함하고, 평가 디바이스(124)는 그들의 빔 프로파일의 분석에 의해 반사 특징의 각각에 대해 적어도 하나의 세로 좌표 zDPR을 결정하도록 구성되고,
평가 디바이스(124)는 세로 좌표 zDPR을 이용함으로써 반사 특징을 대응하는 조명 특징과 명료하게 일치시키도록 구성되고, 일치는 가장 밝은 반사 특징에서 시작하여 반사 특징의 휘도를 감소시키는 것으로 수행되고, 평가 디바이스(124)는 조명 특징과 일치하는 반사 특징을 실제 특징으로서 분류하고, 조명 특징과 일치하지 않는 반사 특징을 거짓 특징으로서 분류하도록 구성되고, 평가 디바이스(124)는 거짓 특징을 거부하고, 세로 좌표 zDPR을 이용함으로써 실제 특징에 대한 깊이 맵을 생성하도록 구성된다.
Description
본 발명은 디스플레이 디바이스, 반투명 디스플레이를 통한 깊이 측정 방법 및 디스플레이의 여러가지 사용법에 관한 것이다. 특히, 본 발명에 따른 디바이스, 방법 및 사용법은, 예컨대, 일상 생활, 보안 기술, 게임, 교통 기술, 생산 기술, 예술용 디지털 사진술 또는 영상 사진술 등의 사진술, 문서화 또는 기술 목적, 안전 기술, 정보 기술, 농업, 농작물 보호, 유지 보수, 화장품, 의료 기술 또는 과학의 다양한 영역에서 사용될 수 있다. 그러나, 다른 응용도 또한 가능하다.
여러가지 디스플레이 디바이스가 알려져 있다. 디스플레이를 갖는 디바이스에 대한 최근의 발전은, 디스플레이 영역이 이용 가능한 전체 공간을 덮어야 하고 디스플레이를 둘러싸는 프레임은 가능한 작아야 하는 것을 나타낸다. 이것은, 예컨대, 전면 카메라, 손전등, 근접 센서 및 심지어 3D 이미징 센서 등의 전자 부품 및 센서가 더이상 프레임 내에 배치될 수 없고 디스플레이 아래에 배치되어야 하는 것을 초래한다. 그러나, 구조화된 광 또는 3D 비행시간(ToF)에 근거한 3D 이미징 시스템 등의 가장 일반적인 3D 이미징 기술 및 시스템은 더이상 고민하지 않고 디스플레이 아래에 배치될 수 없다.
지금까지, 구조화된 광 또는 3D-ToF에 근거한 3D 이미징 시스템이, 윈도우를 통해 "보는" 3D 이미징 시스템의 부품 또는 디바이스를 배치하기 위해, 디스플레이 아래에서, 즉, 임의의 마이크로 회로 및/또는 마이크로 배선을 포함하지 않는 빈 윈도우를 만들지 않고 작동하는 것은 알려져 있지 않다.
구조화된 광에 대해, 주된 문제는 투명 디스플레이의 마이크로 회로 및/또는 마이크로 배선의 마이크로 구조이며, 결과적으로 디스플레이를 통한 낮은 광 송신이다. 이 마이크로 구조는 단일 화소를 처리하기 위한 전극 매트릭스에 기인한다. 또한, 단일 화소의 금속 캐소드는 투명하지 않기 때문에 화소 자체가 반전된 격자를 나타낸다. 원칙적으로 디스플레이 구조는 특정 물질을 사용하는 것에 의해, 전극을 포함하여 전체로서 투명 또는 반투명하게 만들어지므로, 지금까지는 마이크로 구조와 같은 격자를 갖지 않는 투명 또는 반투명한 디스플레이는 없었다.
3D 영상기에 근거한 구조화 광은 포인트 클라우드(point cloud)를 수천개의 점 및 공지의 패턴으로 배경(scenery)에 투영하는 것에 근거한다. 투명 또는 반투명 디스플레이의 마이크로 구조는 레이저 광을 위한 회절 격자 구조와 유사하게 작동한다. 구조화 광 영상기의 대부분의 프로젝터는 명확한 도트 패턴을 투영하는 레이저 소스에 근거하기 때문에, 이 패턴은 디스플레이의 격자 효과를 경험하고, 도트 패턴의 모든 단일 스폿은 더 높은 회절 순차를 나타낼 것이다. 격자 구조에 의해 초래된 추가 및 원치 않는 포인트는 그 알고리즘이 원래의 예상 패턴을 검색하는 것에 대해 매우 복잡하게 하기 때문에, 이것은 구조화 광에 대해 매우 강력한 영향을 미친다.
또한, 전통적인 구조화 광 영상기에 사용된 투영 포인트의 수는 상당히 많다. 투명 디스플레이는, 예컨대, 심지어, 3D 영상기에 일반적인 파장인 850nm 및 940nm에서의 적외선(IR)에서 매우 낮은 광 송신을 갖기 때문에, 디스플레이를 통해, 추가 광 흡수를 초래하는 디스플레이 아래에 위치해야 하는 영상기에 의해 검출될 충분한 전력을 얻기 위해 매우 높은 출력 전력이 구조화 광 프로젝터에 필요하다. 많은 수의 포인트와 낮은 광 송신의 조합은 낮은 주변 광 강건성을 초래할 수 있다.
3D-ToF 센서에 대해, 디스플레이 표면에서의 반사는 광이 디스플레이를 통과할 때의 지연의 차이뿐만 아니라 다중 반사를 초래하고, 상이한 디스플레이 구조는 상이한 굴절률을 갖고 디스플레이 뒤에서 사용될 때 강건한 기능을 방지한다. 또한, 3D-ToF 센서는 배경을 조명하기 위해 많은 양의 광을 필요로 한다. 부가하여, 조명은 균일해야 한다. 디스플레이의 낮은 광 송신은 충분한 광을 제공하는 것을 어렵게 하고, 격자 구조는 조명의 균일성에 영향을 미친다.
통상의 3D 센싱 시스템은 투명 디스플레이를 통해 측정하는 문제를 갖는다. 현재의 디바이스는 디스플레이의 노치를 사용한다. 이런 식으로 센서는 회절 광학 효과에 의해 방해받지 않는다.
DE 20 2018 003 644 U1은, 바텀월 및 바텀월과 함께 캐비티를 정의하는 사이드월 - 사이드월은 캐비티를 초래하는 개구를 정의하는 에지를 가짐 - 과, 개구를 덮고 캐비티를 둘러싸는 보호층과, 캐비티 내에 그리고 보호층과 바텀월 사이에 배치되고, 보호층 외부의 물체의 깊이 맵을 제공하는 비전 서브시스템 - 비전 서브시스템은 깊이 맵에 대한 정보를 생성하도록 협력하는 광 구성요소를 운반하는 클립 어셈블리를 포함하고, 클립 어셈블리는 고정된 거리에서 서로 광 구성요소를 지지 및 유지하도록 배치된 제 1 브라켓과, 제 1 브라켓에 본체가 고정된 제 2 브라켓을 포함하고, 제 2 브라켓은 본체로부터 연장되는 돌출부를 가짐 - 을 포함하는 휴대용 전자 디바이스를 기술한다.
US 9,870,024 B2는, 커버층과, 컬러 필터층과, 발광 다이오드 또는 유기 발광 다이오드를 포함하는 디스플레이층과, 박막 트랜지스터층 등의 여러가지 층을 포함하는 전자 디스플레이를 기술한다. 일 실시예에서, 층은 카메라 위에 배치된 실질적으로 투명한 영역을 포함한다. 실질적으로 투명한 영역은 외부로부터의 광이 카메라에 도달하게 하여 카메라가 이미지를 기록할 수 있게 한다.
US 10,057,541 B2는 이미지 캡쳐 장치 및 촬영 방법을 기술한다. 이미지 캡쳐 장치는, 투명 디스플레이 패널과, 셔터 시간을 투명 디스플레이 패널이 블랙 이미지를 표시하는 기간과 동기화시키고, 투명 디스플레이 패널의 전면에 위치한 이미지를 캡쳐하기 위해 투명 디스플레이 패널의 바닥면에 접하는 카메라를 포함한다.
US 10,215,988 B2는, 제 1 복수의 광 지향성 조리개, 광 검출기, 프로세서, 디스플레이 및 제 2 복수의 광 지향성 조리개를 포함하는 액티브 광학 구성요소를 포함하는, 장면(scene)으로부터의 광을 표시하는 광학 시스템을 기술한다. 제 1 복수의 광 지향성 조리개는 광 검출기에 광 입력을 제공하도록 배치된다. 광 검출기는 광 입력을 수신하고 광 입력을 강도 및 위치 데이터에 대응하는 전기 신호로 변환하도록 배치된다. 프로세서는 광 검출기로부터의 데이터를 수신하도록 접속되고, 디스플레이에 대한 데이터를 처리한다. 제 2 복수의 광 지향성 조리개는 디스플레이로부터의 광 출력을 제공하도록 배치된다.
WO 2019/042956 A1은 적어도 하나의 물체의 위치를 결정하기 위한 검출기를 기술한다. 검출기는, 각각이 감광 영역을 갖는 광학 센서의 매트릭스를 갖는 적어도 하나의 센서 요소 - 각각의 광학 센서는 물체로부터 검출기로 전파하는 반사광 빔에 의해 그 각각의 감광 영역을 조명하는 것에 응답하여 적어도 하나의 센서 신호를 생성하도록 설계되고, 센서 요소는 적어도 하나의 반사 이미지를 결정하도록 적용됨 - 와, 적어도 하나의 평가 디바이스 - 평가 디바이스는 반사 이미지의 적어도 하나의 반사 특징을 선택하도록 적용되고, 평가 디바이스는 센서 신호로부터 조합 신호 Q를 평가하는 것에 의해 반사 이미지의 선택된 반사 특징의 적어도 하나의 세로 영역을 결정하도록 구성되고, 평가 디바이스는 세로 영역에 대응하는 적어도 하나의 참조 이미지에서 적어도 하나의 변위 영역을 결정하도록 적용되고, 평가 디바이스는 선택된 반사 특징을 변위 영역 내에서의 적어도 하나의 참조 특징과 일치하도록 적용함 - 를 구비한다.
따라서, 본 발명의 목적은 공지의 디바이스 및 방법의 상술한 기술적 과제에 직면한 디바이스 및 방법을 제공하는 것이다. 구체적으로, 본 발명의 목적은 낮은 기술적 노력 및 기술적 리소스 및 비용의 관점에서의 낮은 요건을 갖고 디스플레이를 통해 신뢰성 있는 깊이 측정을 가능하게 하는 디바이스 및 방법을 제공하는 것이다.
이 과제는 독립 청구항의 특징을 갖는 본 발명에 의해 해결된다. 개별적으로 또는 조합하여 실현될 수 있는 본 발명의 유리한 개발은 종속 청구항 및/또는 다음의 상세한 설명 및 세부적인 실시예에 제시된다.
다음에서 사용되는 바와 같이, "갖다", "구비하다" 및 "포함하다"라는 용어 및 그것의 임의의 문법적인 변형은 비 배타적인 방식으로 사용된다. 따라서, 이들 용어는 이들 용어에 의해 도입된 특징 외에 이 컨텍스트 내에 기술된 엔티티에 다른 특징이 존재하지 않는 상황, 및 하나 이상의 다른 특징이 존재하는 상황 모두를 가리킬 수 있다. 일례로서, "A는 B를 갖다", "A는 B를 구비한다" 및 "A는 B를 포함한다"라는 표현은, B 외에 다른 요소는 A에 존재하지 않는 상황(즉, A는 오로지 배타적으로 B를 포함하는 상황), 및 B 이외에, 요소 C, 요소 C와 D, 또는 그 이상의 추가 요소 등의 하나 이상의 추가 요소가 엔티티 A에 존재하는 상황을 모두 의미할 수 있다.
또한, 특징 또는 요소가 한번 또는 그 이상 나타날 수 있음을 표시하는 용어 "적어도 하나", "하나 이상" 또는 유사한 표현은 일반적으로 각각의 특징 또는 요소를 도입할 때 한번만 사용될 것임을 유의해야 한다. 다음에, 대부분의 경우에, 각각의 특징 또는 요소를 언급하는 경우, 각각의 특징 또는 요소가 한번 또는 그 이상 존재할 수 있음에도 불구하고 "적어도 하나" 또는 "하나 이상"이라는 표현은 반복되지 않을 것이다.
또한, 다음에서 사용되는 바와 같이, 용어 "바람직하게는", "더 바람직하게는", "특별히", "더 특별히", "구체적으로", "더 구체적으로" 또는 유사한 용어가 대안의 가능성을 제한함 없이 선택적 특징과 관련하여 사용된다. 따라서, 이들 용어에 의해 도입된 특징은 선택적 특징이고, 어떤 식으로든 청구범위를 제한하도록 의도되지 않는다. 본 발명은 당업자가 인식할 수 있는 바와 같이 대안의 특징을 사용하는 것에 의해 수행될 수 있다. 유사하게, "본 발명의 실시예에서" 또는 유사한 표현에 의해 도입된 특징은, 본 발명의 대안의 실시예에 관한 임의의 제한 없이, 본 발명의 범위에 관한 임의의 제한 없이, 또한 이러한 방식으로 도입된 특징을 본 발명의 다른 선택적 또는 비 선택적 특징과 조합할 가능성에 관한 임의의 제한 없이 선택적인 특징인 것으로 의도된다.
본 발명의 제 1 국면에서 디스플레이 디바이스가 개시된다. 여기에 사용된 바와 같이, 용어 "디스플레이"는 적어도 하나의 이미지, 적어도 하나의 다이어그램, 적어도 하나의 히스토그램, 적어도 하나의 텍스트, 적어도 하나의 사인 등의 정보의 항목을 표시하도록 구성된 임의의 형상의 디바이스를 의미할 수 있다. 디스플레이는 적어도 하나의 모니터 또는 적어도 하나의 스크린일 수 있다. 디스플레이는 임의의 형상, 바람직하게는 직사각형 형상일 수 있다. 여기서 사용된 바와 같이, 용어 "디스플레이 디바이스"는 일반적으로 적어도 하나의 디스플레이를 포함하는 적어도 하나의 전자 디바이스를 의미할 수 있다. 예를 들어, 디스플레이 디바이스는 텔레비전 장치, 스마트폰, 게임 콘솔, 퍼스널컴퓨터, 랩탑, 태블릿, 적어도 하나의 가상 현실 디바이스 또는 그 조합으로 구성되는 그룹 중에서 선택된 적어도 하나의 디바이스일 수 있다.
디스플레이 디바이스는,
- 적어도 하나의 장면(scene) 상에서 복수의 조명 특징을 포함하는 적어도 하나의 조명 패턴을 투영하도록 구성된 적어도 하나의 조명원과,
- 적어도 하나의 감광 영역을 갖는 적어도 하나의 광학 센서 - 광학 센서는 조명 특징에 의한 조명에 응답하여 장면에 의해 생성된 복수의 반사 특징을 포함하는 적어도 하나의 제 1 이미지를 결정하도록 구성됨 - 와,
- 정보를 표시하도록 구성된 적어도 하나의 반투명 디스플레이 - 조명원 및 광학 센서는 디스플레이의 앞에서 조명 패턴의 전파 방향에 배치됨 - 와,
- 적어도 하나의 평가 디바이스 - 평가 디바이스는 제 1 이미지를 평가하도록 구성되고, 제 1 이미지의 평가는 제 1 이미지의 반사 특징을 식별하고, 휘도(brightness)에 관련되어 식별된 반사 특징을 정렬하는 것을 포함하고, 각각의 반사 특징은 적어도 하나의 빔 프로파일을 포함하고, 평가 디바이스는 그들의 빔 프로파일의 분석에 의해 반사 특징의 각각에 대해 적어도 하나의 세로 좌표 zDPR를 결정하도록 구성되고,
평가 디바이스는 세로 좌표 zDPR를 이용하는 것에 의해 반사 특징을 대응하는 조명 특징과 명료하게 일치시키도록 구성되고, 일치는 가장 밝은 반사 특징에서 시작하여 반사 특징의 휘도를 감소시키는 것으로 수행되고, 평가 디바이스는 조명 특징과 일치하는 반사 특징을 실제 특징으로서 분류하고, 조명 특징과 일치하지 않는 반사 특징을 거짓 특징으로서 분류하도록 구성되고, 평가 디바이스는 거짓 특징을 거부하고 세로 좌표 zDPR를 이용하는 것에 의해 실제 특징에 대한 깊이 맵을 생성하도록 구성됨 - 를 포함한다.
여기서 사용된 바와 같이, 용어 "장면"은 적어도 하나의 임의의 물체 또는 공간 영역을 의미할 수 있다. 장면은 적어도 하나의 물체 및 주변 환경을 포함할 수 있다.
조명원(illumination source)은 복수의 조명 특징을 포함하는 적어도 하나의 조명 패턴을 장면에 투영하도록 구성된다. 여기서 사용된 바와 같이, 용어 "조명원"은 일반적으로 장면의 조명을 위해 적어도 하나의 조명 광 빔을 제공하도록 적용되는 적어도 하나의 임의의 디바이스를 의미할 수 있다. 조명원은 장면을 직접 또는 간접적으로 조명하도록 적용될 수 있고, 조명 패턴은 장면의 표면에 반사 또는 산란되고, 이에 따라 적어도 부분적으로 광학 센서를 향해 보내진다. 조명원은, 광 빔을 반사하는 장면을 향해 광 빔을 보내는 것에 의해 장면을 조명하도록 적용될 수 있다. 조명원은 장면을 조명하기 위한 조명 광 빔을 생성하도록 구성될 수 있다.
조명원은 적어도 하나의 광원을 포함할 수 있다. 조명원은 복수의 광원을 포함할 수 있다. 조명원은 인공적인 조명원, 특히, 적어도 하나의 레이저 소스 및/또는 적어도 하나의 백열등 및/또는 적어도 하나의 반도체 광원, 예컨대, 적어도 하나의 발광 다이오드, 특히 유기 및/또는 무기 발광 다이오드를 포함할 수 있다. 일례로서, 조명원에 의해 방출된 광은 300 내지 1100nm, 특히 500 내지 1100nm의 파장을 가질 수 있다. 부가적으로 또는 이와 달리, 780nm 내지 3.0㎛의 범위의 적외선 스펙트럼 범위의 광이 사용될 수 있다. 구체적으로, 실리콘 광 다이오드가 구체적으로 700nm 내지 1100nm의 범위에서 적용될 수 있는 근적외선 영역의 부분에서의 광이 사용될 수 있다. 조명원은 적외선 영역에서 적어도 하나의 조명 패턴을 생성하도록 구성될 수 있다. 근적외선 영역의 광을 이용하는 것은, 광이 육안으로 검출되지 않거나 또는 약하게 검출되고 여전히 실리콘 센서, 특히 표준 실리콘 센서에 의해 검출 가능하게 한다.
여기서 사용되는 바와 같이, 용어 "광선(ray)"은 일반적으로 에너지 흐름의 방향으로 가리키는 광의 파면에 수직인 선을 의미한다. 여기에 사용되는 바와 같이, 용어 "빔"은 일반적으로 광선의 모음을 의미한다. 다음에, 용어 "광선" 및 "빔"은 동의어로서 사용될 것이다. 여기서 더 사용되는 바와 같이, 용어 "광 빔"은 일반적으로 광의 양, 구체적으로, 확산 각도 또는 확대 각도를 갖는 광 빔의 가능성을 포함하여, 본질적으로 동일한 방향으로 이동하는 광의 양을 의미한다. 광 빔은 공간적 확장을 가질 수 있다. 구체적으로, 광 빔은 비 가우시안 빔 프로파일을 가질 수 있다. 빔 프로파일은 사다리꼴 빔 프로파일, 삼각형 빔 프로파일, 원뿔형 빔 프로파일로 구성되는 그룹에서 선택될 수 있다. 사다리꼴 빔 프로파일은 평탄 영역 및 적어도 하나의 에지 영역을 가질 수 있다. 광 빔은 특히, 이하에 더 상세히 설명되는 바와 같이, 가우시안 광 빔 또는 가우시안 광 빔의 선형 조합일 수 있다. 그러나 다른 실시예도 실현 가능하다.
조명원은 단일 파장에서 광을 방출하도록 구성될 수 있다. 구체적으로, 파장은 근적외선 영역에 있을 수 있다. 다른 실시예에서, 조명은 복수의 파장을 가진 광을 방출하여 다른 파장 채널에서 추가 측정을 할 수 있도록 적용될 수 있다.
조명원은 적어도 하나의 다중 빔 광원일 수도 있고 또는 그것을 포함할 수 있다. 예를 들어, 조명원은 적어도 하나의 레이저 소스 및 하나 이상의 회절 광학 요소(DOE)를 포함할 수 있다. 구체적으로, 조명원은 적어도 하나의 레이저 및/또는 레이저 소스를 포함할 수 있다. 반도체 레이저, 이중 이종 구조(heterostructure) 레이저, 외부 캐비티 레이저, 개별 국한 이종 구조 레이저, 퀀텀 캐스케이드 레이저, 분산 브래그 반사기 레이저, 폴라리톤 레이저, 하이브리드 실리콘 레이저, 확장 캐비티 다이오드 레이저, 퀀텀도트 레이저, 볼륨 브래그 격자 레이저, 인듐 비소 레이저, 트랜지스터 레이저, 다이오드 펌핑 레이저, 분산 피드백 레이저, 퀀텀 웰 레이저, 대역간 캐스케이드 레이저, 갈륨 비소 레이저, 반도체 링 레이저, 확장 캐비티 다이오드 레이저 또는 수직 캐비티 표면 방출 레이저 등의 여러가지 타입의 레이저가 사용될 수 있다. 추가로, 또는 이와 달리, LED 및/또는 백열 전구 등의 비 레이저 광원이 사용될 수 있다. 조명원은 조명 패턴을 생성하도록 적용된 하나 이상의 회절 광학 요소(DOE)를 포함할 수 있다. 예를 들어, 조명원은 포인트 클라우드를 생성 및/또는 투영하도록 적용될 수 있고, 예를 들어, 조명원은 적어도 하나의 디지털 광 처리 프로젝터, 적어도 하나의 LCoS 프로젝터, 적어도 하나의 공간 광 변조기, 적어도 하나의 회절 광학 요소, 적어도 하나의 발광 다이오드 어레이, 적어도 하나의 레이저 광원 어레이 중 하나 이상을 포함할 수 있다. 일반적으로 정의된 그 빔 프로파일 및 다른 취급 가능성의 특성때문에, 조명원으로서 적어도 하나의 레이저 소스의 이용은 특히 바람직하다. 조명원은 디스플레이 디바이스의 하우징에 통합될 수 있다.
일 실시예에서, 조명원은 단일 또는 다수의 빔 소스일 수 있고, 적어도 하나의 포인트 패턴 등의 적어도 하나의 조명 패턴을 투영하도록 구성될 수 있다. 조명 패턴은 다음과 같이 생성될 수 있다. 조명원은 적어도 하나의 광 빔을 생성하도록 구성될 수 있다. 조명원은 디스플레이의 앞에서 조명 패턴의 전파 방향에 배치될 수 있다. 따라서, 광 빔의 빔 경로는 조명원으로부터 디스플레이를 통해 장면으로 통과할 수 있다. 디스플레이를 통한 그 통과중에 광 빔은 포인트 패턴 등의 특징적인 조명 패턴을 초래할 수 있는 디스플레이에 의한 회절을 겪을 수 있다. 본 실시예에서 디스플레이는 격자로서 기능할 수 있다. 디스플레이, 특히 스크린의 배선은 격자의 갭 및/또는 슬릿 및 능선(ridge)을 형성하도록 구성될 수 있다.
또한, 조명원은 변조된 또는 변조되지 않은 광을 방출하도록 구성될 수 있다. 복수의 조명원이 사용되는 경우, 다른 조명원은 다른 변조 주파수를 가질 수 있고, 이하에 더 상세히 설명되는 바와 같이, 나중에 광 빔을 구별하는 데 사용될 수 있다.
조명원에 의해 생성된 광 빔(들)은 일반적으로 광축에 평행하거나 광축에 대해 경사지게, 예컨대, 광축과의 각도를 포함하여 전파할 수 있다. 디스플레이 디바이스는 광 빔(들)이 디스플레이 디바이스로부터 디스플레이 디바이스의 광축을 따라 장면을 향해 전파하도록 구성될 수 있다. 이를 위해, 디스플레이 디바이스는광축 상으로의 조명광 빔을 검출하기 위해 적어도 하나의 반사 요소, 바람직하게는 적어도 하나의 프리즘을 포함할 수 있다. 일례로서, 레이저 광 빔 등의 광 빔(들) 및 광축은 10° 미만, 바람직하게는 5° 미만 또는 심지어 2° 미만의 각도를 포함할 수 있다. 그러나 다른 실시예도 실현 가능하다. 또한, 광 빔(들)은 광축 상에 또는 광축에서 벗어나 있을 수 있다. 일례로서, 광 빔(들)은 광축에 대해 10mm 미만, 바람직하게는 광축에 대해 5mm 미만 또는 심지어 광축에 대해 1mm 미만의 거리를 갖는 광축에 대해 평행할 수 있고, 또는 심지어 광축과 일치할 수 있다.
여기서 사용되는 바와 같이, 용어 "적어도 하나의 조명 패턴"은 장면의 적어도 하나의 부분을 조명하도록 적용되는 적어도 하나의 조명 특징을 포함하는 적어도 하나의 임의의 패턴을 의미한다. 여기서 사용되는 바와 같이, 용어 "조명 특징"은 패턴의 적어도 하나의 적어도 부분적으로 확장된 특징을 의미한다. 조명 패턴은 단일 조명 특징을 포함할 수 있다. 조명 패턴은 복수의 조명 특징을 포함할 수 있다. 조명 패턴은 적어도 하나의 포인트 패턴, 적어도 하나의 선 패턴, 적어도 하나의 스트라이프 패턴, 적어도 하나의 체크무늬 패턴, 주기적 또는 비 주기적 특징의 배열을 포함하는 적어도 하나의 패턴으로 구성되는 그룹으로부터 선택될 수 있다. 조명 패턴은 삼각형 패턴, 직사각형 패턴, 육각형 패턴 또는 추가의 볼록 타일링을 포함하는 패턴 등의 규칙적 및/또는 일정 및/또는 주기적 패턴을 포함할 수 있다. 조명 패턴은 적어도 하나의 점, 적어도 하나의 선, 평행 또는 교차하는 선 등의 적어도 2개의 선, 적어도 하나의 점 및 하나의 선, 주기적 또는 비 주기적 특징의 적어도 하나의 배열, 적어도 하나의 임의의 형상의 특징으로 구성되는 그룹으로부터 선택된 적어도 하나의 조명 특징을 나타낼 수 있다. 조명 패턴은 적어도 하나의 포인트 패턴, 특히, 의사 랜덤 포인트 패턴, 랜덤 포인트 패턴 또는 의사 랜덤 패턴, 적어도 하나의 소볼(Sobol) 패턴, 적어도 하나의 준 주기적 패턴, 적어도 하나의 사전 공지된 특징을 포함하는 적어도 하나의 패턴, 적어도 하나의 규칙적 패턴, 적어도 하나의 삼각형 패턴, 적어도 하나의 육각형 패턴, 적어도 하나의 사각형 패턴, 볼록한 균일 타일링을 포함하는 적어도 하나의 패턴, 적어도 하나의 선을 포함하는 적어도 하나의 선 패턴, 평행하거나 교차하는 선 등의 적어도 2개의 선을 포함하는 적어도 하나의 선 패턴으로 구성되는 그룹으로부터 선택된 적어도 하나의 패턴을 포함할 수 있다. 예를 들어, 조명원은 포인트 클라우드를 생성 및/또는 투영하도록 적용될 수 있다. 조명원은 조명 패턴이 복수의 포인트 패턴을 포함할 수 있도록 포인트 클라우드를 생성하도록 적용된 적어도 하나의 광 프로젝터를 포함할 수 있다. 조명원은 조명원에 의해 생성된 적어도 하나의 광 빔으로부터 조명 패턴을 생성하도록 적용된 적어도 하나의 마스크를 포함할 수 있다.
조명 패턴의 2개의 특징 사이의 거리 및/또는 적어도 하나의 조명 특징의 영역은 이미지에서 혼란의 원에 따라 다를 수 있다. 상기에 개략적으로 설명한 바와 같이, 조명원은 적어도 하나의 조명 패턴을 생성하도록 구성되는 적어도 하나의 광원을 포함할 수 있다. 구체적으로, 조명원은 레이저 방사선을 생성하도록 설계되는 적어도 하나의 레이저 소스 및/또는 적어도 하나의 레이저 다이오드를 포함한다. 조명원은 적어도 하나의 회절 광학 요소(DOE)를 포함할 수 있다. 디스플레이 디바이스는, 적어도 하나의 주기적 포인트 패턴을 투영하도록 적용된, 적어도 하나의 레이저 소스 및 DOE 등의 적어도 하나의 포인트 프로젝터를 포함할 수 있다.
여기에 더 사용되는 바와 같이, 용어 "적어도 하나의 조명 패턴을 투영하는 것"은 적어도 하나의 장면을 조명하기 위해 적어도 하나의 조명 패턴을 제공하는 것을 의미한다.
예를 들어, 투영된 조명 패턴은 주기적 포인트 패턴일 수 있다. 투영된 조명 패턴은 낮은 포인트 밀도를 가질 수 있다. 예를 들어, 조명 패턴은 낮은 포인트 밀도를 갖는 적어도 하나의 주기적 포인트 패턴을 포함할 수 있고, 조명 패턴은 시야당 2500 이하의 포인트를 갖는다. 일반적으로 55×38°의 시야에서 10k 내지 30k의 포인트 밀도를 갖는 구조적 광과 비교하면, 본 발명에 따른 조명 패턴은 밀도가 더 낮을 수 있다. 이것은 제안된 기술이 구조적 광에 비해 주변 광에 덜 의존적이도록 더 많은 점당 전력을 허용할 수 있다.
디스플레이 디바이스는 광학 센서를 포함하는 단일 카메라를 포함할 수 있다. 디스플레이 디바이스는 각각이 하나의 광학 센서 또는 복수의 광학 센서를 포함하는 복수의 카메라를 포함할 수 있다.
광학 센서는 적어도 하나의 감광 영역을 갖는다. 여기에 사용되는 바와 같이, "광학 센서"는 일반적으로 적어도 하나의 광 빔에 의해 생성된 조명 및/또는 광 스폿을 검출하는 등 광 빔을 검출하기 위한 감광 디바이스를 의미한다. 여기에 더 사용되는 바와 같이, "감광 영역"은 일반적으로, 조명에 응답하여 적어도 하나의 센서 신호가 생성되는, 적어도 하나의 광 빔에 의해 외부적으로 조명될 수 있는 광학 센서의 영역을 의미한다. 감광 영역은 구체적으로 각각의 광학 센서의 표면 상에 위치할 수 있다. 그러나 다른 실시예가 실현 가능하다. 디스플레이 디바이스는 각각이 감광 영역을 갖는 복수의 광학 센서를 포함할 수 있다. 여기에 사용되는 바와 같이, 용어 "각각이 적어도 하나의 감광 영역을 갖는 광학 센서"는, 각각이 하나의 감광 영역을 갖는 복수의 단일 광학 센서를 갖는 구성 및 복수의 감광 영역을 갖는 하나의 조합된 광학 센서를 갖는 구성을 의미한다. 또한 용어 "광학 센서"는 하나의 출력 신호를 생성하도록 구성된 감광 디바이스를 의미한다. 디스플레이 디바이스가 복수의 광학 센서를 포함하는 경우, 각 광학 센서는, 정확하게 하나의 균일한 센서 신호가 전체 광학 센서에 대해 생성되는 조명에 응답하여, 조명될 정확하게 하나의 감광 영역을 제공하는 것 등에 의해, 정확히 하나의 감광 영역이 각각의 광학 센서에 존재하도록 구현될 수 있다. 따라서, 각각의 광학 센서는 단일 영역의 광학 센서일 수 있다. 그러나, 단일 영역의 광학 센서의 이용은 디스플레이 디바이스의 설정을 특히 간단하고 효율적이게 할 수 있다. 따라서, 일례로서, 각각이 정확히 하나의 감광 영역을 갖는, 상업적으로 이용 가능한 실리콘 광 다이오드 등의, 상업적으로 이용 가능한 포토센서가 설정 단계에서 사용될 수 있다. 그러나 다른 실시예가 실현 가능하다.
바람직하게는, 감광 영역은 본질적으로 디스플레이 디바이스의 광축에 수직으로 배치될 수 있다. 광축은 일직선의 광축일 수 있고, 또는 하나 이상의 검출 요소를 이용하는 것 및/또는 하나 이상의 빔 분할기를 이용하는 것 등에 의해 구부러지거나 심지어 분할될 수 있고, 후자의 경우에, 근본적으로 수직 방향은 광 설정의 각각의 분기 또는 빔 경로에서 국소적인 광축을 의미할 수 있다.
광학 센서는 구체적으로 적어도 하나의 광 검출기, 바람직하게는, 무기 광 검출기, 더 바람직하게는 무기 반도체 광 검출기, 가장 바람직하게는 실리콘 광 검출기이거나 그것을 포함할 수 있다. 구체적으로, 광학 센서는 적외선 스펙트럼 범위에서 민감할 수 있다. 매트릭스의 모든 화소 또는 매트릭스의 광학 센서의 적어도 하나의 그룹은 구체적으로 동일할 수 있다. 매트릭스의 동일한 화소의 그룹은 구체적으로 상이한 스펙트럼 범위에 대해 제공될 수 있고, 또는 모든 화소는 스펙트럼 민감도의 면에서 동일할 수 있다. 또한 화소는 크기가 동일할 수 있고, 또한/또는 그들의 전자 또는 광전자 특성에 관해 동일할 수 있다. 구체적으로, 광학 센서는 적외선 스펙트럼 범위, 바람직하게는 700nm 내지 3.0마이크로미터의 범위에서 민감한 적어도 하나의 무기 광 다이오드이거나 그것을 포함할 수 있다. 구체적으로, 광학 센서는, 실리콘 광 다이오드가 적용될 수 있는 근적외선 영역, 특히 700nm 내지 1100nm의 범위의 부분에서 민감할 수 있다. 광학 센서에 사용될 수 있는 적외선 광학 센서는 상표명 HertzstueckTM from trinamiXTM GmbH, D-67056 Ludwigshafen am Rhein, Germany에서 상업적으로 입수할 수 있는 적외선 광학 센서 등의, 상업적으로 입수 가능한 적외선 광학 센서일 수 있다. 따라서, 일례로서, 광학 센서는 고유의 광전지 타입의 적어도 하나의 광학 센서, 더 바람직하게는, Ge 광 다이오드, InGaAs 광 다이오드, 확장된 InGaAs 광 다이오드, InAs 광 다이오드, InSb 광 다이오드, HgCdTe 광 다이오드로 구성되는 그룹으로부터 선택된 적어도 하나의 반도체 광 다이오드를 포함할 수 있다. 부가적으로 또는 이와 달리, 광학 센서는 외부의 광전지 타입의 적어도 하나의 광학 센서, 더 바람직하게는, Ge:Au 광 다이오드, Ge:Hg 광 다이오드, Ge:Cu 광 다이오드, Ge:Zn 광 다이오드, Si:Ga 광 다이오드, Si:As 광 다이오드로 구성되는 그룹으로부터 선택된 적어도 하나의 반도체 광 다이오드를 포함할 수 있다. 부가적으로 또는 이와 달리, 광학 센서는 PbS 또는 PbSe 센서, 볼로미터, 더 바람직하게는, VO 볼로미터 및 비정질 Si 볼로미터로 구성되는 그룹으로부터 선택된 볼로미터 등의 적어도 하나의 광 전도성 센서를 포함할 수 있다.
광학 센서는 자외선, 가시광선 또는 적외선 스펙트럼 범위 중 하나 이상에서 민감할 수 있다. 구체적으로, 광학 센서는 500nm 내지 780nm, 더 바람직하게는 650nm 내지 750nm 또는 690nm 내지 700nm의 가시광선 스펙트럼 범위에서 민감할 수 있다. 구체적으로, 광학 센서는 근적외선 영역에서 민감할 수 있다. 구체적으로, 광학 센서는 실리콘 광 다이오드가 적용될 수 있는 근적외선 영역, 특히 700nm 내지 1000nm의 범위의 부분에서 민감할 수 있다. 광학 센서는 특히, 적외선 스펙트럼 범위, 특히 780nm 내지 3.0마이크로미터의 범위에서 민감할 수 있다. 예를 들어, 광학 센서의 각각은 독립적으로, 광 다이오드, 광 셀, 광 전도성, 광 트랜지스터 또는 그것의 임의의 조합으로 구성되는 그룹으로부터 선택된 적어도 하나의 요소일 수 있고 또는 그것을 포함할 수 있다. 예를 들어, 광학 센서는 CCD 센서 요소, CMOS 센서 요소, 광 다이오드, 광 셀, 광 전도성, 광 트랜지스터 또는 그것의 임의의 조합으로 구성되는 그룹으로부터 선택된 적어도 하나의 요소일 수 있고 또는 그것을 포함할 수 있다. 임의의 다른 타입의 감광 요소가 사용될 수 있다. 감광 요소는 일반적으로 완전히 또는 부분적으로 무기 물질로 이루어질 수 있고, 또한/또는 완전히 또는 부분적으로 유기 물질로 이루어질 수 있다. 가장 통상적으로는, 상업적으로 입수 가능한 광 다이오드, 예컨대, 무기 반도체 광 다이오드 등의 하나 이상의 광 다이오드가 사용될 수 있다.
광학 센서는 화소의 매트릭스를 포함하는 적어도 하나의 센서 요소를 포함할 수 있다. 따라서, 일례로서, 광학 센서는 화소화된 광학 디바이스의 일부이거나 그것을 구성할 수 있다. 예를 들어, 광학 센서는 적어도 하나의 CCD 및/또는 CMOS 디바이스일 수 있고 또한/또는 그것을 포함할 수 있다. 일례로서, 광학 센서는, 각 화소가 감광 영역을 형성하는 화소의 매트릭스를 갖는 적어도 하나의 CCD 및/또는 CMOS 디바이스의 일부이거나 그것을 구성할 수 있다.
여기서 사용되는 바와 같이, 용어 "센서 요소"는 일반적으로 적어도 하나의 파라미터를 감지하도록 구성된 디바이스 또는 복수의 디바이스의 조합을 의미한다. 이 경우에, 파라미터는 특히 광학 파라미터일 수 있고, 센서 요소는 특히 광학 센서 요소일 수 있다. 센서 요소는 통합된 단일의 디바이스 또는 여러 디바이스의 조합으로 형성될 수 있다. 센서 요소는 광학 센서의 매트릭스를 포함한다. 센서 요소는 적어도 하나의 CMOS 센서를 포함할 수 있다. 매트릭스는 독립적인 광학 센서 등의 독립 화소로 구성될 수 있다. 따라서, 무기 광 다이오드의 매트릭스가 구성될 수 있다. 그러나 이와 달리, CCD 검출기 칩 등의 CCD 검출기 및/또는 CMOS 검출기 칩 등의 CMOS 검출기 중 하나 이상 등의 상업적으로 입수 가능한 매트릭스가 사용될 수 있다. 따라서 일반적으로, 센서 요소는 적어도 하나의 CCD 및/또는 CMOS 디바이스일 수 있고 또한/또는 그것을 포함할 수 있고, 또한/또는 광학 센서는 상술한 매트릭스 등의 센서 어레이를 형성할 수 있고 또는 센서 어레이의 일부일 수 있다. 따라서, 일례로서, 센서 요소는 m, n이 독립적으로 양의 정수인 m행 및 n열을 갖는, 직사각형 어레이 등의 화소의 어레이를 포함할 수 있다. 바람직하게는, 1 초과의 열 및 1 초과의 행이 주어진다, 즉, n>1, m>1이다. 따라서, 일례로서, n은 2 내지 16 또는 그 이상일 수 있고, m은 2 내지 16 또는 그 이상일 수 있다. 바람직하게는, 행의 수와 열의 수의 비는 1에 가깝다. 일례로서, n 및 m은, m/n=1:1, 4:3, 16:9 등을 선택하는 것 등에 의해 0.3≤m/n≤3이 되도록 선택될 수 있다. 일례로서, m=2, n=2 또는 m=3, n=3 등을 선택하는 것 등에 의해, 동일한 수의 행과 열을 갖는 정사각 어레이일 수 있다.
매트릭스는 독립적인 광학 센서 등의 독립적인 화소로 구성될 수 있다. 따라서, 무기 광 다이오드의 매트릭스가 구성될 수 있다. 그러나, 이와 달리, CCD 검출기 칩 등의 CCD 검출기 및/또는 CMOS 검출기 칩 등의 CMOS 검출기 중 하나 이상 등의 상업적으로 입수 가능한 매트릭스가 사용될 수 있다. 따라서 일반적으로, 광학 센서는 적어도 하나의 CCD 및/또는 CMOS 디바이스일 수 있고 또한/또는 그것을 포함할 수 있고, 또한/또는 디스플레이 디바이스의 광학 센서는 상술한 매트릭스 등의 센서 어레이를 형성할 수 있고 또는 센서 어레이의 일부일 수 있다.
매트릭스는 특히 적어도 하나의 행, 바람직하게는 복수의 행 및 복수의 열을 갖는 직사각형 매트릭스일 수 있다. 일례로서, 행 및 열은 근본적으로 수직 방향으로 배치될 수 있다. 여기서 사용되는 바와 같이, 용어 "근본적으로 수직"은, 예컨대, ±20° 이하의 오차, 바람직하게는 ±10° 이하의 오차, 더 바람직하게는 ±5° 이하의 오차로 수직 지향성의 상태를 의미한다. 마찬가지로, 용어 "근본적으로 평행"은, 예컨대, ±20° 이하의 오차, 바람직하게는 ±10° 이하의 오차, 더 바람직하게는 ±5° 이하의 오차로 평행 지향성의 상태를 의미한다. 따라서, 일례로서, 20° 미만, 특히 10° 미만 또는 심지어 5° 미만의 오차가 허용될 수 있다. 넓은 시야를 제공하기 위해, 매트릭스는 구체적으로 적어도 10행, 바람직하게는 적어도 500행, 더 바람직하게는 적어도 1000행을 가질 수 있다. 마찬가지로, 매트릭스는 적어도 10열, 바람직하게는 적어도 500열, 더 바람직하게는 적어도 1000열을 가질 수 있다. 매트릭스는 적어도 50개의 광학 센서, 바람직하게는 적어도 100000개의 광학 센서, 더 바람직하게는 적어도 5000000개의 광학 센서를 포함할 수 있다. 매트릭스는 수 메가 화소 범위의 다수의 화소를 포함할 수 있다. 그러나 다른 실시예가 실현 가능하다. 따라서, 축 방향 회전 대칭이 예상되는 설정에서, 화소로서 불릴 수도 있는, 매트릭스의 광학 센서의 원형 배치 또는 동심원 배치가 바람직할 수 있다.
따라서, 일례로서, 센서 요소는 화소화 광학 디바이스의 일부일 수 있고 또는 이것을 구성할 수 있다. 예를 들어, 센서 요소는 적어도 하나의 CCD 및/또는 CMOS 디바이스일 수 있고 또한/또는 그것을 구성할 수 있다. 일례로서, 센서 요소는 각 화소가 감광 영역을 형성하는 화소의 매트릭스를 갖는 적어도 하나의 CCD 및/또는 CMOS 디바이스일 수 있고 또는 그것을 구성할 수 있다. 센서 요소는 광학 센서의 매트릭스를 판독하기 위해 롤링 셔터 또는 글로벌 셔터 방법을 채용할 수 있다.
디스플레이 디바이스는 또한 적어도 하나의 전송 디바이스를 포함할 수 있다. 디스플레이 디바이스는 또한 하나 이상의 추가 광학 요소 등의 하나 이상의 추가 요소를 더 포함할 수 있다. 디스플레이 디바이스는, 적어도 하나의 렌즈 및/또는 적어도 하나의 렌즈 시스템 등의 전송 디바이스와, 적어도 하나의 회절 광학 요소로 구성되는 그룹으로부터 선택된 적어도 하나의 광학 요소를 포함할 수 있다. "전송 시스템"으로도 표기되는 용어 "전송 디바이스"는 일반적으로 광 빔의 빔 파라미터, 광 빔의 폭 또는 광 빔의 방향 중 하나 이상을 수정하는 것 등에 의해 광 빔을 수정하도록 적용되는 하나 이상의 광학 요소를 의미할 수 있다. 전송 디바이스는 광 빔을 광학 센서로 유도하도록 적용될 수 있다. 전송 디바이스는 특히, 적어도 하나의 렌즈, 예컨대, 적어도 하나의 초점 조정 렌즈, 적어도 하나의 비구면 렌즈, 적어도 하나의 구면 렌즈, 적어도 하나의 프레넬 렌즈로 구성되는 그룹으로부터 선택된 적어도 하나의 렌즈와, 적어도 하나의 회절 광학 요소와, 적어도 하나의 오목경, 적어도 하나의 빔 굴절 요소, 바람직하게는 적어도 하나의 거울과, 적어도 하나의 빔 분할 요소, 바람직하게는 적어도 하나의 빔 분할 큐브 또는 빔 분할경과, 적어도 하나의 멀티렌즈 시스템 중 하나 이상을 포함할 수 있다. 여기서 사용된 바와 같이, 용어 전송 디바이스의 "초점 거리"는, 전송 디바이스에 충돌할 수 있는 입사 시준 광선이 "초점(focal point)"으로도 표기될 수 있는 "초점(focus)"으로 들어가는 거리를 의미한다. 따라서, 초점 거리는 충돌하는 광 빔을 수렴하기 위한 전송 디바이스의 능력의 측정을 구성한다. 따라서, 전송 디바이스는 수렴하는 렌즈의 효과를 가질 수 있는 하나 이상의 이미징 요소를 포함할 수 있다. 예로서, 전송 디바이스는 하나 이상의 렌즈, 특히 하나 이상의 굴절 렌즈, 및/또는 하나 이상의 볼록 거울을 가질 수 있다. 본 예에서, 초점 거리는 얇은 굴절 렌즈의 중심으로부터 그 얇은 렌즈의 주 초점까지의 거리로서 정의될 수 있다. 볼록 또는 양면이 볼록한 얇은 렌즈 등의 수렴하는 얇은 굴절 렌즈에 대해, 초점 거리는 양의 값으로 간주될 수 있고, 전송 디바이스로서의 얇은 렌즈에 충돌하는 시준 광의 빔이 단일 스폿에 초점이 맺힐 수 있는 거리를 제공할 수 있다. 부가적으로, 전송 디바이스는 적어도 하나의 파장 선택 요소, 예를 들어, 적어도 하나의 광학 필터를 포함할 수 있다. 부가적으로, 전송 디바이스는, 예컨대, 센서 영역(sensor region)의 위치에서, 특히 센서 영역(sensor area)에서 전자기 방사선에 사전 정의된 빔 프로파일을 나타내도록 설계될 수 있다. 전송 디바이스의 상술한 선택적 실시예는 원칙적으로, 개별적으로 또는 임의의 바람직한 조합으로 실현될 수 있다.
전송 디바이스는 광축을 가질 수 있다. 특히, 디스플레이 디바이스와 전송 디바이스는 공통 광축을 갖는다. 여기서 사용되는 바와 같이, 용어 "전송 디바이스의 광축"은 일반적으로 렌즈 또는 렌즈 시스템의 거울 대칭 또는 회전 대칭의 축을 의미한다. 디스플레이 디바이스의 광축은 디스플레이 디바이스의 광학 설정의 대칭의 선일 수 있다. 디스플레이 디바이스는 적어도 하나의 전송 디바이스, 바람직하게는 적어도 하나의 렌즈를 갖는 적어도 하나의 전송 디바이스를 포함한다. 전송 시스템은, 일례로서, 적어도 하나의 빔 경로를 포함할 수 있고, 빔 경로에서의 전송 시스템의 요소는 광축에 대하여 회전 대칭 방식으로 위치한다. 여전히, 이하에 더 상세히 설명되는 바와 같이, 빔 경로 내에 위치한 하나 이상의 광학 요소는 광축에 대해 중심에서 벗어나 있거나 경사져 있을 수 있다. 그러나, 이 경우에, 광축은 빔 경로의 광학 요소의 중심을 상호접속하는 것 등, 예컨대, 렌즈의 중심을 상호접속하는 것에 의해 순차적으로 정의될 수 있고, 이 맥락에서, 광학 센서는 광학 요소로 간주되지 않는다. 광축은 일반적으로 빔 경로를 나타낼 수 있다. 그 점에서, 디스플레이 디바이스는, 광 빔이 물체로부터 광학 센서까지 이동할 수 있는 단일 빔 경로를 가질 수 있고, 또는 복수의 빔 경로를 가질 수 있다. 일례로서, 단일 빔 경로가 정해질 수 있고, 또는 빔 경로는 2 이상의 부분 빔 경로로 분할될 수 있다. 후자의 경우, 각각의 부분 빔 경로는 그 자신의 광축을 가질 수 있다. 광학 센서는 하나의 동일한 빔 경로에 또는 부분적인 빔 경로에 위치할 수 있다. 그러나, 이와 달리, 광학 센서는 상이한 부분 빔 경로에 위치할 수도 있다.
전송 디바이스는 좌표 시스템을 구성할 수 있고, 여기서 세로 좌표는 광축을 따르는 좌표이고, d는 광축으로부터의 공간적 오프셋이다. 좌표 시스템은, 전송 디바이스의 광축이 z축을 형성하고, z축으로부터의 거리 및 편각이 추가 좌표로서 사용될 수 있는 극좌표 시스템일 수 있다. z축에 평행 또는 역평행인 방향은 세로 방향으로 간주될 수 있고, z축을 따르는 좌표는 세로 좌표로 간주될 수 있다. z축에 수직인 임의의 방향은 가로 방향으로 간주될 수 있고, 극좌표 및/또는 편각은 가로 좌표라고 간주될 수 있다.
디스플레이 디바이스는 디스플레이 디바이스의 광축이 z축을 형성하고, 추가적으로 x축 및 y축이 z축에 수직이고 서로 수직이 되도록 제공될 수 있는 좌표 시스템을 구성할 수 있다. 일례로서, 디스플레이 디바이스 및/또는 디스플레이 디바이스의 일부는 이 좌표 시스템의 원점에서와 같은, 이 좌표 시스템의 특정 지점에 있을 수 있다. 이 좌표 시스템에서, z축에 대해 평행 또는 역평행인 방향은 세로 방향으로 간주될 수 있고, z축을 따르는 좌표는 세로 좌표로 간주될 수 있다. 세로 방향에 수직인 임의의 방향은 가로 방향으로 간주될 수 있고, x 및/또는 y 좌표는 가로 좌표로 간주될 수 있다.
이와 달리, 다른 타입의 좌표 시스템이 사용될 수 있다. 따라서, 일례로서, 극좌표 시스템은, 광축이 z축을 형성하고 z축으로부터의 거리 및 편각이 추가 좌표로서 사용될 수 있는 극좌표 시스템이 사용될 수 있다. 다시, z축에 대해 평행 또는 역평행인 방향은 세로 방향으로 간주될 수 있고, z축을 따르는 좌표는 세로 좌표로 간주될 수 있다. z축에 수직인 임의의 방향은 가로 방향으로 간주될 수 있고, 극좌표 및/또는 편각은 가로 좌표로 간주될 수 있다.
광학 센서는 조명 특징에 의한 조명에 응답하여 장면에 의해 생성된 복수의 반사 특징을 포함하는 적어도 하나의 제 1 이미지를 결정하도록 구성된다. 여기서 사용되는 바와 같이, 제한없이, 용어 "이미지"는 특히, 센서 요소의 화소 등의, 영상 디바이스로부터의 복수의 전자적 판독 등의, 광학 센서를 이용하는 것에 의해 기록된 데이터에 관련될 수 있다. 따라서, 이미지 자체는 화소를 포함할 수 있고, 이미지의 화소는 센서 요소의 매트릭스의 화소와 관련된다. 그 결과, "화소"를 말할 때, 센서 요소의 단일 화소에 의해 생성된 이미지 정보의 단위에 대해 또는 센서 요소의 단일 화소에 직접 참조가 이루어진다. 여기서 사용되는 바와 같이, 용어 "2차원 이미지"는 일반적으로 높이 및 폭의 크기만의 가로 좌표에 대한 정보를 갖는 이미지를 말할 수 있다. 여기서 사용된 바와 같이, 용어 "3차원 이미지"는 일반적으로 높이, 폭 및 깊이의 크기와 같은, 가로 좌표와 추가적으로 세로 좌표에 대한 정보를 갖는 이미지를 말할 수 있다. 여기서 사용되는 바와 같이, 용어 "반사 특징"은, 조명 특히 적어도 하나의 조명 특징에 응답하여 장면에 의해 생성된 이미지 평면의 특징을 말할 수 있다.
디스플레이 디바이스는 정보를 표시하도록 구성된 적어도 하나의 반투명 디스플레이를 포함한다. 여기서 사용되는 바와 같이, 용어 "반투명"은 특히, 특정 파장 범위에서 광을 통과하게 하는 디스플레이의 특성을 의미할 수 있다. 조명원 및 광학 센서는 디스플레이의 앞에서 조명 패턴의 전파 방향에 배치된다. 조명원 및 광학 센서는 서로에 대해 고정된 위치에 배치될 수 있다. 예를 들어, 디스플레이 디바이스의 설정은, 광학 센서 및 렌즈 시스템을 포함하는 카메라와, 레이저 프로젝터를 포함할 수 있다. 레이저 프로젝터와 카메라는 반투명 디스플레이 뒤에서 장면에 의해 반사된 광의 전파 방향으로 고정될 수 있다. 레이저 프로젝터는 도트 패턴을 생성하고 디스플레이를 통해 빛날 수 있다. 카메라는 디스플레이를 통해 볼 수 있다. 그러나 반투명 디스플레이 뒤에서 장면에 의해 반사된 광의 전파 방향으로 조명원 및 광학 센서를 배치하는 것은, 디스플레이의 회절 격자가 다수의 레이저 포인트를 장면 및 제 1 이미지 위에 생성하는 것을 초래할 수 있다. 이에 따라 제 1 이미지 상의 이들 다수의 스폿은 임의의 유용한 거리 정보를 포함하지 않을 수 있다. 이하에 더 상세히 설명되는 바와 같이, 평가 디바이스는 0차 회절 격자의 반사 특징, 즉 실제 특징을 탐색 및 평가하도록 구성될 수 있고, 더 높은 차수의 반사 특징, 즉, 거짓 특징을 무시할 수 있다.
디스플레이 디바이스는 적어도 하나의 평가 디바이스를 포함한다. 평가 디바이스는 제 1 이미지를 평가하도록 구성된다. 여기에 더 사용되는 바와 같이, 용어 "평가 디바이스"는 일반적으로, 적어도 하나의 데이터 프로세싱 디바이스에 의해, 더 바람직하게는, 적어도 하나의 프로세서 및/또는 적어도 하나의 주문형 집적 회로에 의해 지명된 동작을 수행하도록 적용된 임의의 디바이스를 의미한다. 따라서, 일례로서, 적어도 하나의 평가 디바이스는 다수의 컴퓨터 커맨드를 포함하여 저장된 소프트웨어 코드를 갖는 적어도 하나의 데이터 프로세싱 디바이스를 포함할 수 있다. 평가 디바이스는 하나 이상의 지명된 동작을 수행하는 하나 이상의 하드웨어 요소를 제공할 수 있고, 또한/또는 하나 이상의 지명된 동작을 수행하기 위해 실행하는 소프트웨어와 함께 하나 이상의 프로세서를 제공할 수 있다. 동작은 이미지의 평가를 포함한다. 구체적으로, 빔 프로파일의 결정 및 표면의 표시는 적어도 하나의 평가 디바이스에 의해 수행될 수 있다. 따라서, 일례로서, 하나 이상의 명령은 소프트웨어 및/또는 하드웨어로 구현될 수 있다. 따라서, 일례로서, 평가 디바이스는, 상술한 평가를 수행하도록 구성되는, 하나 이상의 컴퓨터 등의 하나 이상의 프로그래머블 디바이스, 주문형 집적 회로(ASIC), 디지털 신호 프로세서(DSP) 또는 필드 프로그래머블 게이트 어레이(FPGA)를 포함할 수 있다. 그러나, 부가적으로 또는 이와 달리, 평가 디바이스는 하드웨어에 의해 완전히 또는 부분적으로 구현될 수도 있다.
평가 디바이스 및 디스플레이 디바이스는 단일 디바이스에 완전히 또는 부분적으로 통합될 수 있다. 따라서, 일반적으로, 평가 디바이스는 디스플레이 디바이스의 일부를 형성할 수 있다. 이와 달리, 평가 디바이스 및 디스플레이 디바이스는 별개의 디바이스로서 완전히 또는 부분적으로 구현될 수 있다. 디스플레이 디바이스는 추가 구성요소를 포함할 수 있다.
평가 디바이스는 하나 이상의 주문형 집적 회로(ASIC) 등의 하나 이상의 접적 회로, 및/또는 하나 이상의 컴퓨터, 바람직하게는 하나 이상의 마이크로컴퓨터 및/또는 마이크로컨트롤러 등의 하나 이상의 데이터 프로세싱 디바이스, 필드 프로그래머블 어레이 또는 디지털 신호 프로세서일 수 있고 또는 그것을 포함할 수 있다. 하나 이상의 프로세싱 디바이스 및/또는 데이터 취득 디바이스 등, 센서 신호의 수신 및/또는 전처리를 위한 하나 이상의 디바이스 등, 하나 이상의 AD 컨버터 및/또는 하나 이상의 필터 등의 추가 구성요소가 포함될 수 있다. 또한, 평가 디바이스는 전류 및/또는 전압을 측정하기 위한 하나 이상의 측정 디바이스 등의 하나 이상의 측정 디바이스를 포함할 수 있다. 또한, 평가 디바이스는 하나 이상의 데이터 스토리지 디바이스를 포함할 수 있다. 또한, 평가 디바이스는 하나 이상의 무선 인터페이스 및/또는 하나 이상의 유선 인터페이스 등의 하나 이상의 인터페이스를 포함할 수 있다.
평가 디바이스는 광학 센서에 의해 및/또는 평가 디바이스에 의해 취득되는 정보 등의 정보의 표시, 시각화, 분석, 분배, 통신 또는 추가 처리 중 하나 이상을 위해 사용될 수 있는 적어도 하나의 추가 데이터 프로세싱 디바이스에 접속될 수 있고 또는 그것을 포함할 수 있다. 데이터 프로세싱 디바이스는, 일례로서, 디스플레이, 프로젝터, 모니터, LCD, TFT, 라우드스피커, 멀티채널 사운드 시스템, LED 패턴 또는 추가 시각화 디바이스 중 적어도 하나에 연결되거나 그것을 포함할 수 있다. 그것은 이메일, 텍스트 메시지, 전화, 블루투스, WiFi, 적외선 또는 인터넷 인터페이스, 포트 또는 접속 중 하나 이상을 이용하여 암호화된 또는 암호화되지 않은 정보를 보낼 수 있는 통신 디바이스 또는 통신 인터페이스, 커넥터 또는 포트 중 적어도 하나에 더 접속되거나 그것을 포함할 수 있다. 그것은 프로세서, 그래픽 프로세서, CPU, 오픈 멀티미디어 애플리케이션 플랫폼(Open Multimedia Applications Platform, OMAPTM), 집적 회로, 애플 A 시리즈 또는 삼성 S3C2 시리즈 등의 시스템온칩, 마이크로컨트롤러 또는 마이크로프로세서, ROM, RAM, EEPROM 또는 플래시 메모리 등의 하나 이상의 메모리 블럭, 오실레이터 또는 위상 고정 루프, 카운터-타이머, 실시간 타이머 또는 파워온 리셋 생성기, 전압 레귤레이터, 전력 관리 회로 또는 DMA 컨트롤러 중 적어도 하나에 더 접속되거나 그것을 포함할 수 있다. 개별 유닛은 AMBA 버스 등의 버스에 의해 더 접속될 수 있고 또는 사물 또는 산업 인터넷 4.0 타입 네트워크에 통합될 수 있다.
평가 디바이스 및/또는 데이터 프로세싱 디바이스는 직렬 또는 병렬 인터페이스 또는 포트, USB, 센트로닉 포트, 파이어와이어, HDMI, 이더넷, 블루투스, RFID, WiFi, USART 또는 SPI 또는 ADC 또는 DAC 중 하나 이상 등의 아날로그 인터페이스 또는 포트, 또는 카메라링크(CameraLink) 등의 RGB 인터페이스를 사용하는 2D 카메라 디바이스 등의 추가 디바이스에 대한 표준화 인터페이스 또는 포트 중 하나 이상 등의 추가 외부 인터페이스 또는 포트에 의해 접속되거나 그것을 가질 수 있다. 평가 디바이스 및/또는 데이터 프로세싱 디바이스는 인터프로세서 인터페이스 또는 포트, FPGA-FPGA 인터페이스, 또는 직렬 또는 병렬 인터페이스 포트 중 하나 이상에 의해 더 접속될 수 있다. 평가 디바이스 및/또는 데이터 프로세싱 디바이스는 광 디스크 드라이브, CD-RW 드라이브, DVD+RW 드라이브, 플래시 드라이브, 메모리 카드, 디스크 드라이브, 하드디스크 드라이브, 솔리드스테이트 디스크 또는 솔리드스테이트 하드디스크 중 하나 이상에 더 접속될 수 있다.
평가 디바이스 및/또는 데이터 프로세싱 디바이스는 폰 커넥터, RCA 커넥터, VGA 커넥터, 자웅동체 커넥터, USB 커넥터, HDMI 커넥터, 8P8C 커넥터, BCN 커넥터, IEC 60320 C14 커넥터, 광 파이버 커넥터, D-초소형 커넥터, RF 커넥터, 동축 커넥터, SCART 커넥터, XLR 커넥터 중 하나 이상 등에 의해 접속되거나 그것을 가질 수 있고, 또한/또는 이들 커넥터의 하나 이상에 대해 적어도 하나의 적당한 소켓을 포함할 수 있다.
평가 디바이스는 제 1 이미지의 평가를 위해 구성된다. 제 1 이미지의 평가는 제 1 이미지의 반사 특징을 식별하는 것을 포함한다. 평가 디바이스는 반사 특징을 식별하기 위해 적어도 하나의 이미지 분석 및/또는 이미지 처리를 수행하도록 구성될 수 있다. 이미지 분석 및/또는 이미지 처리는 적어도 하나의 특징 검출 알고리즘을 이용할 수 있다. 이미지 분석 및/또는 이미지 처리는, 필터링, 적어도 하나의 관심 영역의 선택, 센서 신호에 의해 생성된 이미지와 적어도 하나의 오프셋 사이의 차이 이미지의 형성, 센서 신호에 의해 생성된 이미지를 반전하는 것에 의한 센서 신호의 반전, 상이한 시간에 센서 신호에 의해 생성된 이미지 사이의 차이 이미지의 형성, 배경 수정, 컬러 채널로의 분해, 색으로의 분해, 포화도, 휘도 채널, 주파수 분해, 특이값 분해, 블롭 검출기 적용, 코너 검출기 적용, 헤시안 필터의 결정요인 적용, 원칙적 곡률 기반 영역 검출기 적용, 가장 안정된 극단 영역 검출기 적용, 일반화된 허프 변환(Hough-transformation) 적용, 능선 검출기 적용, 아핀 불변 특징 검출기 적용, 아핀 적용 관심 지점 연산자 적용, 해리스 아핀 영역 검출기 적용, 헤시안 아핀 영역 검출기 적용, 스케일 불변 특징 변환 적용, 스케일 공간 극값 검출기 적용, 로컬 특징 검출기 적용, 고속의 강건한 특징 알고리즘 적용, 경사도 위치 및 방향 히스토그램 알고리즘 적용, 지향 경사도 기술자의 히스토그램 적용, 드리체 에지 검출기(Deriche edge detector) 적용, 차분 에지 검출기 적용, 시공간 관심 지점 검출기 적용, 모라벡 코너 검출기 적용, 캐니 에지 검출기 적용, 가우시안 필터의 라플라시안 적용, 가우시안 필터의 차이 적용, 소벨 연산자 적용, 라플라스 연산자 적용, 샤르 연산자 적용, 프리위트 연산자 적용, 로버트 연산자 적용, 키르시 연산자 적용, 하이패스 필터 적용, 로우패스 필터 적용, 푸리에 변환 적용, 랜덤 변환 적용, 허프 변환 적용, 웨이블릿 변환 적용, 임계값 지정, 이진 이미지 생성 중 하나 이상을 포함할 수 있다. 관심 영역은 사용자에 의해 수동으로 결정되거나, 광학 센서에 의해 생성된 이미지 내에서의 특징을 인식하는 것 등에 의해 자동으로 결정될 수 있다.
예를 들어, 조명원은, 복수의 조명 영역이 광학 센서, 예컨대, CMOS 검출기에 생성되도록 포인트 클라우드를 생성 및/또는 투영하도록 구성될 수 있다. 부가적으로, 반점 및/또는 외부광 및/또는 다중 반사로 인한 방해 등이 광학 센서에 나타날 수 있다. 평가 디바이스는 적어도 하나의 관심 영역, 예를 들어, 물체의 세로 좌표의 결정을 위해 사용되는 광 빔에 의해 조명된 하나 이상의 화소를 결정하도록 적용될 수 있다. 예를 들어, 평가 디바이스는 필터링 방법, 예컨대, 블롭 분석 및/또는 에지 필터 및/또는 물체 인식 방법을 수행하도록 적용될 수 있다.
평가 디바이스는 적어도 하나의 이미지 수정을 수행하도록 구성될 수 있다. 이미지 수정은 적어도 하나의 배경 차감을 포함할 수 있다. 평가 디바이스는, 예를 들어, 추가 조명 없는 이미징에 의해, 빔 프로파일에서 배경 광으로부터의 영향을 제거하도록 적용될 수 있다.
반사 특징의 각각은 적어도 하나의 빔 프로파일을 포함한다. 여기서 사용된 바와 같이, 용어 반사 특징의 "빔 프로파일"은 일반적으로, 화소의 기능으로서, 광학 센서의 광 스폿과 같은 반사 특징의 적어도 하나의 강도 분포를 의미할 수 있다. 빔 프로파일은 사다리꼴 빔 프로파일, 삼각형 빔 프로파일, 원뿔형 빔 프로파일 및 가우시안 빔 프로파일의 선형 조합으로 구성되는 그룹에서 선택될 수 있다. 평가 디바이스는 그들의 빔 프로파일의 분석에 의해 반사 특징의 각각에 대한 빔 프로파일 정보를 결정하도록 구성된다.
평가 디바이스는 그들의 빔 프로파일의 분석에 의해 반사 특징의 각각에 대한 적어도 하나의 세로 좌표 zDPR를 결정하도록 구성된다. 여기에 사용되는 바와 같이, 용어 "빔 프로파일의 분석"은 일반적으로 빔 프로파일의 평가를 의미할 수 있고, 적어도 하나의 수학적 조작 및/또는 적어도 하나의 비교 및/또는 적어도 대칭화 및/또는 적어도 하나의 필터링 및/또는 적어도 하나의 정규화를 포함할 수 있다. 예를 들어, 빔 프로파일의 분석은 히스토그램 분석 단계, 차이 측정의 계산, 뉴럴 네트워크의 적용, 머신 학습 알고리즘의 적용 중 적어도 하나를 포함할 수 있다. 평가 디바이스는 빔 프로파일을 대칭화 및/또는 정규화 및/또는 필터링하도록, 특히, 더 큰 각도 하에서의 기록, 에지의 기록 등으로부터 노이즈 또는 비대칭을 제거하도록 구성될 수 있다. 평가 디바이스는 공간 주파수 분석 및/또는 중간값 필터링 등에 의해 높은 공간 주파수를 제거함으로써 빔 프로파일을 필터링할 수 있다. 요약은 광 스폿의 강도의 중심에 의해 중심까지 동일한 거리에서의 모든 강도를 평균화함으로써 수행될 수 있다. 평가 디바이스는, 특히 기록된 거리로 인한 강도 차이를 설명하기 위해 빔 프로파일을 최대 강도로 정규화하도록 구성될 수 있다. 평가 디바이스는, 예를 들어, 조명 없는 이미징에 의해 빔 프로파일에서 배경 광으로부터의 영향을 제거하도록 구성될 수 있다.
반사 특징은 이미지의 적어도 하나의 화소를 덮거나 그 위로 확장될 수 있다. 예를 들어, 반사 특징은 복수의 화소를 덮거나 그 위로 확장될 수 있다. 평가 디바이스는 반사 특징, 예컨대, 광 스폿에 접속되고 또한/또는 속하는 모든 화소를 결정 및/또는 선택하도록 구성될 수 있다. 평가 디바이스는,
에 의해 강도의 중심을 결정하도록 구성될 수 있고, 여기서 Rcoi는 강도의 중심 위치이고, rpixel는 화소 위치이고, 
이고 j는 반사 특징에 접속되고 또한/또는 속하는 화소 j의 수이고, Itotal은 총 강도이다.
평가 디바이스는, 빔 프로파일 분석으로도 표기되는 깊이 대 광자비 기술(depth-from-photon-ratio technique)을 이용하는 것에 의해 반사 특징의 각각에 대해 세로 좌표 zDPR을 결정하도록 구성될 수 있다. 깊이 대 광자비 기술(DPR)에 대해 WO 2018/091649 A1, WO 2018/091638 A1 및 WO 2018/091640 A1을 참조하고, 그 전체 내용이 참조로서 포함된다.
평가 디바이스는 반사 특징의 각각의 빔 프로파일을 결정하도록 구성될 수 있다. 여기서 사용되는 바와 같이, 용어 "빔 프로파일의 결정"은 광학 센서에 의해 제공된 적어도 하나의 반사 특징을 식별하는 것 및/또는 광학 센서에 의해 제공된 적어도 하나의 반사 특징을 선택하는 것 및 반사 특징의 적어도 하나의 강도 분포를 평가하는 것을 의미한다. 일례로서, 매트릭스의 영역은, 매트릭스를 통한 축 또는 선 등을 따라, 3차원 강도 분포 또는 2차원 강도 분포 등의 강도 분포를 결정하도록 사용 및 평가될 수 있다. 일례로서, 광 빔에 의한 조명의 중심은, 가장 높은 조명을 갖는 적어도 하나의 화소를 결정하는 것 등에 의해 결정될 수 있고, 단면축은 조명의 중심을 통해 선택될 수 있다. 강도 분포는 조명의 중심을 통해 이 단면축을 따르는 좌표의 함수로서의 강도 분포일 수 있다. 다른 평가 알고리즘이 실현 가능하다.
반사 특징 중 하나의 빔 프로파일 분석은 빔 프로파일의 적어도 하나의 제 1 영역 및 적어도 하나의 제 2 영역에서의 결정을 포함할 수 있다. 빔 프로파일의 제 1 영역은 영역 A1일 수 있고, 빔 프로파일의 제 2 영역은 영역 A2일 수 있다. 평가 디바이스는 제 1 영역과 제 2 영역을 통합하도록 구성될 수 있다. 평가 디바이스는, 통합된 제 1 영역과 통합된 제 2 영역의 분리, 다수의 통합된 제 1 영역과 통합된 제 2 영역의 분리, 통합된 제 1 영역과 통합된 제 2 영역의 선형 조합의 분리 중 하나 이상에 의해, 조합된 신호, 특히 몫(quotient) Q를 유도하도록 구성될 수 있다. 평가 디바이스는 빔 프로파일의 적어도 2개의 영역을 결정하고, 또한/또는 빔 프로파일의 서로 다른 영역을 포함하는 적어도 2개의 세그먼트로 빔 프로파일을 분할하도록 구성될 수 있고, 영역이 동일하지 않는 한 영역의 중복은 가능할 수 있다. 예를 들어, 평가 디바이스는 2, 3, 4, 5 또는 10개의 영역까지 등의 복수의 영역을 결정하도록 구성될 수 있다. 평가 디바이스는 광 스폿을 빔 프로파일의 적어도 2개의 영역으로 분할하고, 또한/또는 빔 프로파일의 서로 다른 영역을 포함하는 적어도 2개의 세그먼트로 빔 프로파일을 분할하도록 구성될 수 있다. 평가 디바이스는 적어도 2개의 영역에 대해 각각의 영역에 걸친 빔 프로파일의 통합을 결정하도록 구성될 수 있다. 평가 디바이스는 적어도 2개의 결정된 통합을 비교하도록 구성될 수 있다. 구체적으로, 평가 디바이스는 빔 프로파일의 적어도 하나의 제 1 영역과 적어도 하나의 제 2 영역을 결정하도록 구성될 수 있다. 여기서 사용된 바와 같이, 용어 "빔 프로파일의 영역"은 일반적으로 몫 Q를 결정하는 데 사용된 광학 센서의 위치에서 빔 프로파일의 임의의 영역을 의미한다. 빔 프로파일의 제 1 영역과 빔 프로파일의 제 2 영역은 인접하거나 겹치는 영역 중 하나 또는 양쪽 모두일 수 있다. 빔 프로파일의 제 1 영역과 빔 프로파일의 제 2 영역은 면적이 일치하지 않을 수 있다. 예를 들어, 평가 디바이스는 CMOS 센서의 센서 영역을 적어도 2개의 서브 영역으로 분리하도록 구성될 수 있고, 평가 디바이스는 CMOS 센서의 센서 영역을 적어도 하나의 왼쪽 부분과 적어도 하나의 오른쪽 부분으로, 및/또는 적어도 하나의 위쪽 부분과 적어도 하나의 아래쪽 부분으로, 및/또는 적어도 하나의 안쪽 부분과 적어도 하나의 바깥쪽 부분으로 분리하도록 구성될 수 있다. 부가적으로 또는 이와 달리, 디스플레이 디바이스는 적어도 2개의 광학 센서를 포함할 수 있고, 제 1 광학 센서 및 제 2 광학 센서의 감광 영역은, 제 1 광학 센서가 반사 특징의 빔 프로파일의 제 1 영역을 결정하도록 적용되고, 제 2 광학 센서가 반사 특징의 빔 프로파일의 제 2 영역을 결정하도록 적용되도록 배치될 수 있다. 평가 디바이스는 제 1 영역 및 제 2 영역을 통합하도록 적용될 수 있다. 평가 디바이스는 세로 좌표를 결정하기 위해 몫 Q와 세로 좌표 사이의 적어도 하나의 사전 결정된 관계를 이용하도록 구성될 수 있다. 사전 결정된 관계는 경험적 관계, 반 경험적 관계 및 분석적으로 유도된 관계 중 하나 이상일 수 있다. 평가 디바이스는 룩업 리스트 또는 룩업 테이블 등의 사전 결정된 관계를 저장하는 적어도 하나의 데이터 스토리지 디바이스를 포함할 수 있다.
빔 프로파일의 제 1 영역은 본질적 빔 프로파일의 본질적 에지 정보를 포함할 수 있고, 빔 프로파일의 제 2 영역은 빔 프로파일의 본질적 중심 정보를 포함할 수 있고, 또한/또는 빔 프로파일의 제 1 영역은 빔 프로파일의 왼쪽 부분에 대한 본질적 정보를 포함할 수 있고, 빔 프로파일의 제 2 영역은 빔 프로파일의 오른쪽 부분에 대한 본질적 정보를 포함할 수 있다. 빔 프로파일은 중심, 즉, 빔 프로파일의 최대값 및/또는 빔 프로파일의 평탄부의 중심점 및/또는 광 스폿의 기하학적 중심, 및 중심으로부터 연장되는 하강 에지를 가질 수 있다. 제 2 영역은 단면의 안쪽 영역을 포함할 수 있고, 제 1 영역은 단면의 바깥쪽 영역을 포함할 수 있다. 여기서 사용된 바와 같이, 용어 "본질적 중심 정보"는 일반적으로, 중심 정보의 비율, 즉, 중심에 대응하는 강도 분포의 비율에 비해, 에지 정보의 비율, 즉, 에지에 대응하는 강도 분포의 비율이 낮은 것을 의미한다. 바람직하게는, 중심 정보는 10% 미만, 더 바람직하게는 5% 미만의 에지 정보의 비율을 갖고, 가장 바람직하게는 중심 정보가 에지 컨텐츠를 포함하지 않는다. 여기서 사용된 바와 같이, 용어 "본질적 에지 정보"는 일반적으로 에지 정보의 비율에 비해 중심 정보의 낮은 전파를 의미한다. 에지 정보는 빔 프로파일 전체, 특히 중심 및 에지 영역으로부터의 정보를 포함할 수 있다. 에지 정보는 10% 미만, 더 바람직하게는 5% 미만의 중심 정보의 비율을 가질 수 있고, 가장 바람직하게는 에지 정보는 중심 컨텐츠를 포함하지 않는다. 빔 프로파일의 적어도 하나의 영역은, 그것이 중심에 가깝거나 중심 주위에 있고 본질적 중심 정보를 포함하면, 빔 프로파일의 제 2 영역으로 결정 및/또는 선택될 수 있다. 빔 프로파일의 적어도 하나의 영역은, 그것이 단면의 하강 에지의 적어도 일부를 포함하면, 빔 프로파일의 제 1 영역으로 결정 및/또는 선택될 수 있다. 예를 들어, 단면의 전체 영역이 제 1 영역으로 결정될 수 있다.
제 1 영역 A1 및 제 2 영역 A2의 다른 선택이 실현될 수 있다. 예를 들어, 제 1 영역은 빔 프로파일의 본질적 바깥쪽 영역을 포함할 수 있고, 제 2 영역은 빔 프로파일의 본질적 안쪽 영역을 포함할 수 있다. 예를 들어, 2차원 빔 프로파일의 경우에, 빔 프로파일은 왼쪽 부분 및 오른쪽 부분으로 분할될 수 있고, 제 1 영역은 빔 프로파일의 왼쪽 부분의 본질적 영역을 포함할 수 있고, 제 2 영역은 빔 프로파일의 오른쪽 부분의 본질적 영역을 포함할 수 있다.
에지 정보는 빔 프로파일의 제 1 영역에서 광자의 수에 관련된 정보를 포함할 수 있고, 중심 정보는 빔 프로파일의 제 2 영역에서 광자의 수에 관련된 정보를 포함할 수 있다. 평가 디바이스는 빔 프로파일의 면적 통합을 결정하도록 구성될 수 있다. 평가 디바이스는 제 1 영역의 통합 및/또는 합산에 의해 에지 정보를 결정하도록 구성될 수 있다. 평가 디바이스는 제 2 영역의 통합 및/또는 합산에 의해 중심 정보를 결정하도록 구성될 수 있다. 예를 들어, 빔 프로파일은 사다리꼴 빔 프로파일일 수 있고, 평가 디바이스는 사다리꼴의 통합을 결정하도록 구성될 수 있다. 또한, 사다리꼴 빔 프로파일이 가정될 수 있을 때, 에지 및 중심 신호의 결정은 에지의 경사 및 위치, 중심 평탄부의 높이의 결정 등의 사다리꼴 빔 프로파일의 특성을 이용하고, 기하학적 고려사항에 의해 에지 및 중심 신호를 유도하는 동등한 평가에 의해 대체될 수 있다.
일 실시예에서, A1은 광학 센서의 특징점의 전체 또는 완전한 영역에 대응할 수 있다. A2는 광학 센서의 특징점의 중심 영역일 수 있다. 중심 영역은 일정한 값일 수 있다. 중심 영역은 특징점의 전체 영역에 비해 더 작을 수 있다. 예를 들어, 원형 특징점의 경우, 중심 영역은 특징점의 전체 반경의 0.1 내지 0.9, 바람직하게는 전체 반경의 0.4 내지 0.6의 반경을 가질 수 있다.
일 실시예에서, 조명 패턴은 적어도 하나의 선 패턴을 포함할 수 있다. A1은 광학 센서 상, 특히 광학 센서의 감광 영역 상의 선 패턴의 전체 선폭을 갖는 영역에 대응할 수 있다. 광학 센서 상의 선 패턴은, 광학 센서 상의 선 폭이 증가하도록, 조명 패턴의 선 패턴에 비해 확대 및/또는 대체될 수 있다. 특히, 광학 센서의 매트릭스의 경우에, 광학 센서의 선 패턴의 선폭은 열마다 변경될 수 있다. A2는 광학 센서 상의 선 패턴의 중심 영역일 수 있다. 광학 센서의 선폭은 일정한 값일 수 있고, 특히 조명 패턴에서의 선폭에 대응할 수 있다. 중심 영역은 전체 선폭에 비해 더 작은 선폭을 가질 수 있다. 예를 들어, 중심 영역은 전체 선폭의 0.1 내지 0.9, 바람직하게는 전체 선폭의 0.4 내지 0.6의 선폭을 가질 수 있다. 선 패턴은 광학 센서 상에서 분할될 수 있다. 광학 센서의 매트릭스의 각 열은 선 패턴의 중심 영역에서의 강도의 중심 정보와, 선 패턴의 중심 영역으로부터 에지 영역으로 더 확장되는 영역으로부터의 강도의 에지 정보를 포함할 수 있다.
일 실시예에서, 조명 패턴은 적어도 포인트 패턴을 포함할 수 있다. A1은 광학 센서에서의 포인트 패턴의 포인트의 전체 반경을 갖는 영역에 대응할 수 있다. A2는 광학 센서에서의 포인트 패턴의 포인트의 중심 영역일 수 있다. 중심 영역은 일정한 값일 수 있다. 중심 영역은 전체 반경에 비교한 반경을 가질 수 있다. 예를 들어, 중심 영역은 전체 반경의 0.1 내지 0.9, 바람직하게는 전체 반경의 0.4 내지 0.6의 반경을 가질 수 있다.
조명 패턴은 적어도 하나의 포인트 패턴 및 적어도 하나의 선 패턴을 모두 포함할 수 있다. 부가하여 또는 이와 달리, 선 패턴 및 포인트 패턴에 대한 다른 실시예가 실현 가능하다.
평가 디바이스는 제 1 영역 및 제 2 영역의 분리, 다수의 제 1 영역 및 제 2 영역의 분리, 제 1 영역 및 제 2 영역의 선형 조합의 분리 중 하나 이상에 의해 몫 Q를 유도하도록 구성될 수 있다. 평가 디바이스는,
에 의해 몫 Q를 유도하도록 구성될 수 있고, 여기서, x 및 y는 가로 좌표이고, A1 및 A2는 각각 빔 프로파일의 제 1 및 제 2 영역이고, E(x,y)는 빔 프로파일을 나타낸다.
부가적으로 또는 이와 달리, 평가 디바이스는 광 스폿의 적어도 하나의 슬라이스 또는 컷으로부터 중심 정보 또는 에지 정보의 하나 또는 양쪽 모두를 결정하도록 적용될 수 있다. 이것은, 예를 들어, 몫 Q의 영역 통합을 슬라이스 또는 컷을 따른 선 통합으로 대체함으로써 실현될 수 있다. 정확도 개선하기 위해, 광 스폿을 통한 여러 개의 슬라이스 또는 컷이 사용되고 평균화될 수 있다. 타원형 스폿 프로파일의 경우에, 여러 슬라이스 또는 컷에 대한 평균은 개선된 거리 정보를 초래할 수 있다.
예를 들어, 광학 센서가 화소의 매트릭스를 갖는 경우에, 평가 디바이스는,
- 가장 높은 센서 신호를 갖는 화소를 결정하고 적어도 하나의 중심 신호를 형성하고,
- 매트릭스의 센서 신호를 평가하고 적어도 하나의 합산 신호를 형성하고,
- 중심 신호와 합산 신호를 결합하는 것에 의해 몫 Q를 결정하고,
- 몫 Q를 평가하는 것에 의해 물체의 적어도 하나의 세로 좌표 z를 결정하는 것에 의해, 빔 프로파일을 평가하도록 구성될 수 있다.
여기서 사용된 바와 같이, "센서 신호"는 일반적으로 조명에 응답하여 광학 센서 및/또는 광학 센서의 적어도 하나의 화소에 의해 생성된 신호를 의미한다. 구체적으로, 센서 신호는 적어도 하나의 아날로그 전기 신호 및/또는 적어도 하나의 디지털 전기 신호 등의 적어도 하나의 전기 신호이거나 그것을 포함할 수 있다. 더 구체적으로, 센서 신호는 적어도 하나의 전압 신호 및/또는 적어도 하나의 전류 신호이거나 또는 그것을 포함할 수 있다. 더 구체적으로, 센서 신호는 적어도 하나의 광 전류를 포함할 수 있다. 또한, 가공되지 않은 센서 신호가 사용될 수 있거나, 또는, 디스플레이 디바이스, 광학 센서 또는 임의의 다른 요소가 센서 신호를 처리 또는 전처리하도록 적용될 수 있고, 이에 따라 필터링 등에 의해 전처리하는 등의, 센서 신호로도 사용될 수 있는 보조 센서 신호를 생성할 수 있다. 용어 "중심 신호"는 일반적으로 본질적인 빔 프로파일의 중심 정보를 포함하는 적어도 하나의 센서 신호를 의미한다. 여기서 사용되는 바와 같이, 용어 "가장 높은 센서 신호"는 관심 영역의 국소적 최대 또는 최대 중 하나 또는 양쪽 모두를 의미한다. 예를 들어, 중심 신호는 매트릭스 내에서 관심 영역의 전체 매트릭스의 화소에 의해 생성된 복수의 센서 신호 중 최고 센서 신호를 갖는 화소의 신호일 수 있고, 여기서 관심 영역은 매트릭스의 화소에 의해 생성된 이미지 내에서 사전 결정되거나 또는 결정 가능한 것일 수 있다. 중심 신호는 단일 화소 또는 광학 센서의 그룹에서 발생할 수 있고, 후자의 경우, 일례로서, 중심 신호를 결정하기 위해, 화소 그룹의 센서 신호가 부가, 통합 또는 평균화될 수 있다. 센서 신호가 발생하는 화소의 그룹은, 최고 센서 신호를 갖는 실제 화소로부터의 사전 결정된 거리 미만을 갖는 화소 등의, 이웃하는 화소의 그룹일 수 있고, 또는 최고 센서 신호로부터 사전 결정된 범위 내에 있는 센서 신호를 생성하는 화소의 그룹일 수 있다. 최대 동적 범위를 허용하기 위해 중심 신호가 발생하는 화소의 그룹은 가능한 크게 선택될 수 있다. 평가 디바이스는 복수의 센서 신호, 예컨대, 최고 센서 신호를 갖는 화소 주위의 복수의 화소의 통합에 의해 중심 신호를 결정하도록 적용될 수 있다. 예를 들어, 빔 프로파일은 사다리꼴 빔 프로파일일 수 있고, 평가 디바이스는 사다리꼴, 특히, 사다리꼴의 평탄부(plateau)의 통합을 결정하도록 적용될 수 있다.
상기에 설명한 바와 같이, 중심 신호는 일반적으로 광 스폿의 중심에서 화소로부터의 센서 신호 등의 단일 센서 신호일 수 있고, 또는 광 스폿의 중심에서 화소로부터 발생하는 센서 신호의 조합 등의 복수의 센서 신호의 조합일 수 있고, 또는 상기한 가능성의 하나 이상에 의해 유도된 센서 신호를 처리하는 것에 의해 유도된 보조 센서 신호일 수 있다. 센서 신호의 비교는 종래의 전자 장치에 의해 상당히 간단하게 구현되기 때문에 중심 신호의 결정은 전자적으로 수행될 수 있고, 또는 완전히 또는 부분적으로 소프트웨어에 의해 수행될 수 있다. 구체적으로, 중심 신호는, 최고 센서 신호, 최고 센서 신호로부터 사전 결정됨 범위의 허용 오차 내의 센서 신호의 그룹의 평균, 최고 센서 신호 및 사전 결정된 그룹의 이웃 화소를 갖는 화소를 포함하는 화소의 그룹으로부터의 센서 신호의 평균, 최고 센서 신호 및 사전 결정된 그룹의 이웃 화소를 갖는 화소를 포함하는 화소의 그룹으로부터의 센서 신호의 합, 최고 센서 신호로부터 사전 결정된 범위의 허용 오차 내에 있는 센서 신호의 그룹의 합, 사전 결정된 임계값 위에 있는 센서 신호의 그룹의 평균, 사전 결정된 임계값 위에 있는 센서 신호의 그룹의 합, 최고 센서 신호 및 사전 결정된 그룹의 이웃 화소를 갖는 광학 센서를 포함하는 광학 센서의 그룹으로부터의 센서 신호의 통합, 최고 센서 신호로부터 사전 결정된 범위의 허용 오차 내에 있는 센서 신호의 그룹의 통합, 사전 결정된 임계값 위에 있는 센서 신호의 그룹의 통합으로 구성되는 그룹으로부터 선택될 수 있다.
마찬가지로, 용어 "합산 신호"는 일반적으로 빔 프로파일의 본질적 에지 정보를 포함하는 신호를 의미한다. 예를 들어, 합산 신호는 센서 신호를 더하는 것, 센서 신호를 통합하는 것, 또는 전체 매트릭스의 또는 매트릭스 내에서의 관심 영역의 센서 신호를 평균화하는 것에 의해 유도될 수 있고, 여기서 관심 영역은 매트릭스의 광학 신호에 의해 생성된 이미지 내에서 사전 결정된 또는 결정 가능한 것일 수 있다. 센서 신호를 더하고, 통합하고 또는 평균화할 때, 센서 신호가 생성되는 실제 광학 센서는 가산, 통합 또는 평균화에서 제외될 수 있고, 또는 이와 달리 가산, 통합 또는 평균화에 포함될 수도 있다. 평가 디바이스는 전체 매트릭스 또는 매트릭스 내의 관심 영역의 신호를 통합하는 것에 의해 합산 신호를 결정하도록 적용될 수 있다. 예를 들어, 빔 프로파일은 사다리꼴 빔 프로파일일 수 있고, 평가 디바이스는 전체 사다리꼴의 통합을 결정하도록 구성될 수 있다. 또한, 사다리꼴 빔 프로파일이 가정될 수 있을 때, 에지 및 중심 신호의 결정은 에지의 경사 및 위치, 중심 평탄부의 높이의 결정 등의 사다리꼴 빔 프로파일의 특성을 이용하고, 기하학적 고려사항에 의해 에지 및 중심 신호를 유도하는 동등한 평가에 의해 대체될 수 있다.
마찬가지로, 중심 신호 및 에지 신호는 또한 빔 프로파일의 원형 세그먼트 등의 빔 프로파일의 세그먼트를 이용하여 결정될 수 있다. 예를 들어, 빔 프로파일은 빔 프로파일의 중심을 통과하지 않는 시컨트 또는 현에 의해 2개의 세그먼트로 분할될 수 있다. 따라서, 하나의 세그먼트는 본질적으로 에지 정보를 포함할 것이고, 반면 다른 세그먼트는 본질적으로 중심 정보를 포함할 것이다. 예를 들어, 중심 신호에서 에지 정보의 양을 더 감소시키기 위해, 에지 신호는 중심 신호에서 더 차감될 수 있다.
몫 Q는 중심 신호와 합산 신호를 결합하는 것에 의해 생성되는 신호일 수 있다. 구체적으로, 결정은 중심 신호와 합산 신호의 비율 또는 그 반대를 형성하고, 다수의 중심 신호와 다수의 합산 신호의 비율 또는 그 반대를 형성하고, 중심 신호의 선형 조합과 합산 신호의 선형 조합의 비율 또는 그 반대를 형성하는 것 중 하나 이상을 포함할 수 있다. 부가적으로 또는 이와 달리, 몫 Q는 중심 신호와 합산 신호 사이의 비교에 대한 정보의 적어도 하나의 항목을 포함하는 임의의 신호 또는 신호의 조합을 포함할 수 있다.
여기서 사용되는 바와 같이, 용어 "물체의 세로 좌표"는 광학 센서와 물체 사이의 거리를 의미한다. 평가 디바이스는 세로 좌표를 결정하기 위해 몫 Q와 세로 좌표 사이의 적어도 하나의 사전 결정된 관계를 이용하도록 구성될 수 있다. 사전 결정된 관계는 경험 관계, 반 경험 관계 및 분석적으로 유도된 관계 중 하나 이상일 수 있다. 평가 디바이스는 룩업리스트 또는 룩업테이블 등의 사전 결정된 관계를 저장하기 위한 적어도 하나의 데이터 스토리지 디바이스를 포함할 수 있다.
평가 디바이스는 0차 및 더 높은 차수를 갖는 모든 반사 특징에 대한 거리를 계산하는 적어도 하나의 깊이 대 광자비 알고리즘을 실행하도록 구성될 수 있다.
제 1 이미지의 평가는 휘도에 관하여 식별된 반사 특징을 정렬하는 것을 포함한다. 여기서 사용되는 바와 같이, 용어 "정렬"은 휘도, 특히, 최대 휘도를 갖는 반사 특징에서 시작하여 감소하는 휘도를 갖는 후속의 반사 특징에 대하여 추가 평가를 위해 반사 특징의 시퀀스를 할당하는 것을 의미할 수 있다. 여기서 사용되는 바와 같이, 용어 "휘도"는 제 1 이미지의 반사 특징의 크기 및/또는 제 1 이미지의 반사 특징의 강도를 의미할 수 있다. 휘도는 가시광선 또는 적외선 스펙트럼 범위 등의 정해진 통과 대역을 참조하거나 파장에 독립적일 수 있다. 감소하는 휘도를 갖는 정렬은 감소하는 휘도에 따른 정렬 및/또는 감소하는 휘도에 대한 정렬을 의미할 수 있다. 가장 밝은 반사 특징이 DPR 계산에 선호되면, 세로 좌표 zDPR의 결정의 강건함은 증가될 수 있다. 이것은 주로 0차 회절 격자를 갖는 반사 특징이 더 높은 차수의 거짓 특징보다 항상 더 밝기 때문이다.
평가 디바이스는 세로 좌표 zDPR을 사용하는 것에 의해 반사 특징을 대응하는 조명 특징과 명확히 일치하도록 구성된다. 깊이 대 광자비 기술에 의해 결정된 세로 좌표는 이른바 대응 문제를 해결하기 위해 사용될 수 있다. 이런 식으로, 반사 특징당 거리 정보는 공지의 레이저 프로젝터 그리드의 대응관계를 찾도록 사용될 수 있다. 여기서 사용된 바와 같이, 용어 "일치"는 대응하는 조명 특징 및 반사 특징을 식별 및/또는 결정 및/또는 평가를 의미한다. 여기서 사용된 바와 같이, 용어 "대응하는 조명 특징 및 반사 특징"은 조명 패턴의 조명 특징의 각각이 장면에서 반사 특징을 생성하는 것을 의미할 수 있고, 생성된 반사 특징은 생성된 상기 반사 특징을 갖는 조명 특징에 할당된다.
여기서 사용되는 바와 같이, 용어 "명확히 일치"는, 하나의 반사 특징만이 하나의 조명 특징에 할당되고 또한/또는 다른 반사 특징은 동일한 일치된 조명 특징에 할당되지 않는 것을 의미할 수 있다.
반사 특징에 대응하는 조명 특징은 에피폴라 기하를 이용하여 결정될 수 있다. 에피폴라 기하의 기술에 대해, 예를 들어, X.Jiang, H.Bunke: "Dreidimensionales Computersehen" Springer, Berlin Heidelberg, 1997의 챕터 2를 참조한다. 에피폴라 기하는, 조명 이미지, 즉, 왜곡되지 않은 조명 패턴의 이미지 및 제 1 이미지가 고정 거리를 갖는 상이한 공간 위치 및/또는 공간 방향에서 결정된 이미지일 수 있다는 것을 가정할 수 있다. 거리는 기준선이라고도 표기되는 상대적 거리일 수 있다. 조명 이미지는 참조 이미지로도 표기될 수 있다. 평가 디바이스는 참조 이미지의 에피폴라선을 결정하도록 적용될 수 있다. 참조 이미지 및 제 1 이미지의 상대적 위치는 공지일 수 있다. 예를 들어, 참조 이미지 및 제 1 이미지의 상대적 위치는 평가 디바이스의 적어도 하나의 스토리지 유닛 내에 저장될 수 있다. 평가 디바이스는 선택된 반사 특징으로부터 그것이 비롯되는 현실 세계 특징까지 확장되는 직선을 결정하도록 적용될 수 있다. 따라서, 직선은 선택된 반사 특징에 대응하는 가능한 물체 특징을 포함할 수 있다. 직선 및 기준선은 에피폴라 평면에 걸쳐 이어진다. 참조 이미지가 제 1 이미지와 다른 상대적 성좌에서 결정되므로, 대응하는 가능한 물체의 특징은 참조 이미지에서 에피폴라 선이라 불리는 직선 상에 그려질 수 있다. 에피폴라선은 에피폴라 평면과 참조 이미지의 교차부일 수 있다. 따라서, 제 1 이미지의 선택된 특징에 대응하는 참조 이미지의 특징은 에피폴라선에 있다.
반사된 조명 특징을 갖는 장면의 물체까지의 거리에 따라, 조명 특징에 대응하는 반사 특징은 제 1 이미지 내에서 변위될 수 있다. 참조 이미지는 선택된 반사 특징에 대응하는 조명 특징이 그려질 수 있는 적어도 하나의 변위 영역(displacement region)을 포함할 수 있다. 변위 영역은 하나의 조명 특징만을 포함할 수 있다. 변위 영역은 또한 하나보다 많은 조명 특징을 포함할 수도 있다. 변위 영역은 하나의 에피폴라선 또는 하나의 에피폴라선의 구역을 포함할 수 있다. 변위 영역은 하나보다 많은 에피폴라선 또는 하나보다 많은 에피폴라선의 더 많은 구역을 포함할 수 있다. 변위 영역은 에피폴라선을 따라, 에피폴라선에 직교하여 또는 양쪽 모두에 따라 확장될 수 있다. 평가 디바이스는 에피폴라선을 따른 조명 특징을 결정하도록 적용될 수 있다. 평가 디바이스는 반사 특징에 대한 세로 좌표 z 및 결합 신호 Q로부터의 오차 간격 ±ε을 결정하여, z±ε에 대응하는 에피폴라선을 따라 또는 에피폴라선에 직교하는 변위 영역을 결정하도록 적용될 수 있다. 결합 신호 Q를 이용하는 거리 측정의 측정 불확실성은, 측정 불확실성이 다른 방향에 대해 상이할 수 있으므로, 원이 아닌 제 2 이미지의 변위 영역을 초래할 수 있다. 구체적으로, 에피폴라선(들)을 따른 측정 불확실성은 에피폴라선(들)에 대해 직교 방향의 측정 불확실성보다 더 클 수 있다. 변위 영역은 에피폴라선(들)에 대해 직교 방향으로의 확장을 포함할 수 있다. 평가 디바이스는 선택된 반사 특징을 변위 영역 내에서의 적어도 하나의 조명 특징과 일치시키도록 적용할 수 있다. 평가 디바이스는, 결정된 세로 좌표 zDPR을 고려하여 적어도 하나의 평가 알고리즘을 이용하는 것에 의해, 선택된 제 1 이미지의 특징을 변위 영역 내의 조명 특징과 일치시키도록 적용될 수 있다. 평가 알고리즘은 선형 스케일링 알고리즘일 수 있다. 평가 디바이스는 변위 영역에 가장 가까운, 또한/또는 변위 영역 내의 에피폴라선을 결정하도록 적용될 수 있다. 평가 디바이스는 반사 특징의 이미지 위치에 가장 가까운 에피폴라선을 결정하도록 적용될 수 있다. 에피폴라선을 따른 변위 영역의 연장은 에피폴라선에 직교하는 변위 영역의 연장보다 더 클 수 있다. 평가 디바이스는 대응하는 조명 특징을 결정하기 전에 에피폴라선을 결정하도록 적용될 수 있다. 평가 디바이스는 각각의 반사 특징의 이미지 위치 주변의 변위 영역을 결정할 수 있다. 평가 디바이스는, 변위 영역에 가장 가까운, 또한/또는 변위 영역 내의, 또한/또는 에피폴라선에 직교하는 방향을 따른 변위 영역에 가장 가까운 에피폴라선을 할당하는 것 등에 의해, 반사 특징의 각각의 이미지 위치의 각 변위 영역에 에피폴라선을 할당하도록 적용될 수 있다. 평가 디바이스는, 할당된 변위 영역에 가장 가까운, 또한/또는 할당된 변위 영역 내의, 또한/또는 할당된 에피폴라선을 따른 할당된 변위 영역에 가장 가까운, 또한/또는 할당된 에피폴라선을 따른 할당된 변위 영역 내의 조명 특징을 결정하는 것에 의해 반사 특징에 대응하는 조명 특징을 결정하도록 적용될 수 있다.
부가적으로 또는 이와 달리, 평가 디바이스는 다음의 단계, 즉,
- 각각의 반사 특징의 이미지 위치에 대한 변위 영역을 결정하는 단계,
- 변위 영역에 가장 가까운, 또한/또는 변위 영역 내의, 또한/또는 에피폴라선에 직교하는 방향을 따른 변위 영역에 가장 가까운 에피폴라선을 할당하는 것 등에 의해, 각각의 반사 특징의 변위 영역에 에피폴라선을 할당하는 단계,
- 할당된 변위 영역에 가장 가까운, 또한/또는 할당된 변위 영역 내의, 또한/또는 할당된 에피폴라선을 따른 할당된 변위 영역에 가장 가까운, 또한/또는 할당된 에피폴라선을 따른 할당된 변위 영역 내의 조명 특징을 할당하는 것 등에 의해 각각의 반사 특징에 대해 적어도 하나의 조명 특징을 할당 및/또는 결정하는 단계
를 수행하도록 구성될 수 있다.
부가적으로 또는 이와 달리, 평가 디바이스는, 반사 특징의 거리 및/또는 조명 이미지 내의 에피폴라선을 비교하는 것, 및/또는 조명 특징의 ε-가중 거리 등의 오차 가중 거리 및/또는 조명 이미지 내의 에피폴라선을 비교하고, 에피폴라선 및/또는 더 짧은 거리의 조명 특징 및/또는 조명 특징에 대한 ε-가중 거리 및/또는 반사 특징을 할당하는 것 등에 의해, 반사 특징에 할당될 하나보다 많은 에피폴라선 및/또는 조명 특징 중에서 결정하도록 적용될 수 있다.
상기에 설명한 바와 같이, 회절 격자로 인해, 복수의 반사 특징, 예컨대, 각각의 조명 특징에 대해 하나의 실제 특징 및 복수의 거짓 특징이 생성된다. 일치는 가장 밝은 반사 특징에서 시작하여 반사 특징의 휘도를 감소시키면서 수행된다. 다른 반사 특징은 동일하게 일치한 조명 특징에 할당될 수 없다. 디스플레이 아티팩트로 인해, 생성되는 거짓 특징은 일반적으로 실제 특징보다 더 어둡다. 반사 특징을 휘도에 따라 정렬함으로써 더 밝은 반사 특징이 대응하는 일치에 대해 선호된다. 조명 특징의 대응관계가 이미 사용되고 있으면, 거짓 특징이 사용, 즉, 일치된 조명 특징에 할당될 수 있다.
평가 디바이스는 조명 특징과 일치하는 반사 특징을 실제 특징으로서 분류하고, 조명 특징과 일치하지 않는 반사 특징을 거짓 특징으로서 분류하도록 구성된다. 여기서 사용되는 바와 같이, 용어 "분류"는 적어도 하나의 카테고리에 반사 특징을 할당하는 것을 의미할 수 있다. 여기서 사용되는 바와 같이, 용어 "실제 특징"은 0차 회절 격자의 반사 특징을 의미할 수 있다. 여기서 사용되는 바와 같이, 용어 "거짓 특징"은 더 높은 차수, 즉, 1차 이상의 회절 격자의 반사 특징을 의미할 수 있다. 0차 회절 격자는 더 높은 차수의 거짓 특징보다 항상 더 밝다.
평가 디바이스는 거짓 특징을 거부하고, 세로 좌표 zDPR을 이용하는 것에 의해 실제 특징에 대한 깊이 맵을 생성하도록 구성된다. 여기서 사용된 바와 같이, 용어 "깊이"는 물체와 광학 센서 사이의 거리를 의미할 수 있고, 세로 좌표에 의해 정해질 수 있다. 여기서 사용된 바와 같이, 용어 "깊이 맵"은 깊이의 공간 분포를 의미할 수 있다. 디스플레이 디바이스는 장면, 예컨대, 얼굴로부터 3D 맵을 생성하도록 사용될 수 있다.
구조화 광 방법은 통상적으로 카메라와, 세밀한 점 그리드, 예컨대, 수천개의 점을 갖는 프로젝터를 사용한다. 공지의 프로젝터 패턴은 장면에서의 점 패치의 대응 관계를 찾도록 사용된다. 점의 대응 관계가 해결되면, 거리 정보는 삼각 측량에 의해 얻어진다. 카메라가 디스플레이 뒤에 있으면, 회절은 이미지를 공간적으로 왜곡시킨다. 따라서, 왜곡된 이미지에서 포인트 패턴을 찾는 것이 도전 과제이다. 구조화 광 방법에 비교하면, 본 발명은 디스플레이의 회절 격자에 의해 직접 영향을 받지 않는 빔 프로파일을 평가하는 깊이 대 광자비 기술을 이용하는 것을 제안한다. 왜곡은 빔 프로파일에 영향을 주지 않는다.
깊이 맵은 삼각 측량 및/또는 깊이 대 디포커스(depth-from-defocus) 및/또는 구조화 광 등의 추가 깊이 측정 기술을 이용하여 더 개선될 수 있다. 평가 디바이스는 삼각 측량 및/또는 깊이 대 디포커스 및/또는 구조화 광 기술을 이용하여 반사 특징의 각각에 대해 적어도 하나의 제 2 세로 좌표 ztriang를 결정하도록 구성될 수 있다.
평가 디바이스는 조명 특징 및 반사 특징의 변위를 결정하도록 적용될 수 있다. 평가 디바이스는 일치된 조명 특징과 선택된 반사 특징의 변위를 결정하도록 적용될 수 있다. 평가 디바이스, 예컨대, 평가 디바이스의 적어도 하나의 데이터 프로세싱 디바이스는, 특히, 조명 이미지와 제 1 이미지의 각각의 이미지 위치를 비교함으로써, 조명 특징 및 반사 특징의 변위를 결정하도록 적용될 수 있다. 여기서 사용된 바와 같이, 용어 "변위"는 조명 이미지의 이미지 위치와 제 1 이미지의 이미지 위치의 차이를 의미한다. 평가 디바이스는 제 2 세로 좌표와 변위 사이의 사전 결정된 관계를 이용하여 일치된 특징의 제 2 세로 좌표를 결정하도록 적용될 수 있다. 평가 디바이스는 삼각 측량법을 이용함으로써 사전 결정된 관계를 결정하도록 적용될 수 있다. 제 1 이미지에서 선택된 반사 특징의 위치와 일치된 조명 특징의 위치 및/또는 선택된 반사 특징과 일치된 조명 특징의 상대적 변위가 공지인 경우에, 대응하는 물체의 특징의 세로 좌표는 삼각 측량에 의해 결정될 수 있다. 따라서, 평가 디바이스는, 예컨대, 연속적인 및/또는 열별로 반사 특징을 선택하고, 조명 특징의 각 잠재적 위치에 대해 삼각 측량을 이용하여 대응하는 거리값을 결정하도록 적용될 수 있다. 변위 및 대응하는 거리값은 평가 디바이스의 적어도 하나의 스토리지 디바이스에 저장될 수 있다. 평가 디바이스는, 일례로서, 적어도 하나의 프로세서, 적어도 하나의 DSP, 적어도 하나의 FPGA 및/또는 적어도 하나의 ASIC 등의 적어도 하나의 데이터 프로세싱 디바이스를 포함할 수 있다. 또한, 제 2 세로 좌표 z와 변위 사이의 적어도 하나의 사전 결정된 또는 결정 가능한 관계를 저장하기 위해, 사전 결정된 관계를 저장하는 하나 이상의 룩업테이블을 제공하는 등의 적어도 하나의 데이터 스토리지 디바이스가 제공될 수 있다. 평가 디바이스는 카메라 및/또는 디스플레이 디바이스의 고유의 및/또는 외부의 교정을 위한 파라미터를 저장하도록 적용될 수 있다. 평가 디바이스는, 차이 카메라 교정(Tsai camera calibration)을 수행하는 것 등에 의해, 카메라 및/또는 디스플레이 디바이스의 고유의 및/또는 외부의 교정을 위한 파라미터를 생성하도록 적용될 수 있다. 평가 디바이스는, 전송 디바이스의 초점 길이, 방사 렌즈 왜곡 계수, 방사 렌즈 왜곡의 중심의 좌표, 스캐닝 및 디지털화의 타이밍을 맞추는 하드웨어에서의 결함으로 인한 임의의 불확실성을 설명하는 스케일 팩터, 세계와 카메라 좌표 사이의 변환을 위한 회전각, 세계와 카메라 좌표 사이의 변환을 위한 변환 요소, 조리개 각도, 이미지 센서 포맷, 주요 지점, 스큐 계수, 카메라 중심, 카메라 방향, 기준선, 카메라 및/또는 조명원 사이의 회전 또는 변환 파라미터, 조리개, 초점 거리 등의 파라미터를 계산 및/또는 추정하도록 적용될 수 있다.
평가 디바이스는 제 2 세로 좌표 ztriang 및 세로 좌표 zDPR의 결합된 세로 좌표를 결정하도록 구성될 수 있다. 결합된 세로 좌표는 제 2 세로 좌표 ztriang 및 세로 좌표 zDPR의 평균값일 수 있다. 결합된 세로 좌표는 깊이 맵을 결정하도록 사용될 수 있다.
디스플레이 디바이스는 추가 조명원을 포함할 수 있다. 추가 조명원은 적어도 하나의 발광 다이오드(LED)를 포함할 수 있다. 추가 조명원은 가시광선 스펙트럼 범위에서 광을 생성하도록 구성될 수 있다. 광학 센서는 장면의 적어도 하나의 2차원 이미지를 포함하는 적어도 하나의 제 2 이미지를 결정하도록 구성될 수 있다. 추가 조명원은 제 2 이미지의 이미징을 위해 추가 조명을 제공하도록 구성될 수 있다. 예를 들어, 디스플레이 디바이스의 설정은 추가 투광 조명 LED에 의해 연장될 수 있다. 추가 조명원은 LED로, 특히 조명 패턴 없이, 얼굴 등의 장면을 조명할 수 있고, 광학 센서는 2차원 이미지를 캡쳐하도록 구성될 수 있다. 2D 이미지는 얼굴 검출 및 증명 알고리즘에 사용될 수 있다. 디스플레이의 임펄스 응답이 공지이면, 광학 센서에 의해 캡쳐된 왜곡된 이미지는 정정될 수 있다. 평가 디바이스는 제 2 이미지 I를 격자 함수 g로 디컨볼루션함으로써 적어도 하나의 수정된 이미지 I0을 결정하도록 구성될 수 있다(I=I0*g). 격자 함수는 임펄스 응답으로도 표기된다. 왜곡되지 않은 이미지는 디컨볼루션 방식, 예컨대, Van-Cittert 또는 Wiener 디컨볼루션에 의해 복원될 수 있다. 디스플레이 디바이스는 격자 함수 g를 결정하도록 구성될 수 있다. 예를 들어, 디스플레이 디바이스는 소형 단일 브라이트 스폿을 포함하는 조명 패턴으로 블랙 장면을 조명하도록 구성될 수 있다. 캡쳐된 이미지는 격자 함수일 수 있다. 이 프로시저는 교정동안 등 한번만 수행될 수 있다. 심지어 디스플레이를 통한 이미징을 위해 수정된 이미지를 결정하기 위해, 디스플레이 디바이스는 이미지를 캡쳐하고 캡쳐된 임펄스 응답 g를 갖는 디컨볼루션 방식을 이용하도록 구성될 수 있다. 그 결과 이미지는 더 적은 디스플레이의 아티팩트를 갖는 재구성된 이미지일 수 있고, 여러가지 응용, 예컨대, 안면 인식을 위해 사용될 수 있다.
평가 디바이스는 적어도 하나의 반사 특징의 빔 프로파일, 바람직하게는 복수의 반사 특징의 빔 프로파일을 평가하는 것에 의해 물체의 적어도 하나의 물질 특성 m을 결정하도록 구성될 수 있다. 빔 프로파일을 평가하는 것에 의해 적어도 하나의 물질 특성을 결정하는 세부사항에 대해 WO 2020/187719를 참조하고, 그 내용이 여기에 참조로서 포함된다.
여기서 사용되는 바와 같이, 용어 "물질 특성"은 물질의 특성화 및/또는 식별 및/또는 분류를 위해 구성된 물질의 적어도 하나의 임의의 특성을 의미한다. 예를 들어, 물질 특성은, 거칠기, 광의 물질로의 침투 깊이, 생물학적 또는 비생물학적 물질로서의 물질을 특징짓는 특성, 반사율, 정 반사율(specular reflectivity), 확산 반사율, 표면 특성, 반투명에 대한 측정, 산란, 특히 후방 산란 동작 등으로 구성되는 그룹으로부터 선택된 특성일 수 있다. 적어도 하나의 물질 특성은 산란 계수, 반투명도, 투명도, 램버시안(Lambertian) 표면 반사로부터의 편차, 반점 등으로 구성되는 그룹으로부터 선택된 특성일 수 있다. 여기서 사용되는 바와 같이, 용어 "적어도 하나의 물질 특성을 식별하는" 것은 물질 특성을 결정하고 물체에 대해 할당하는 것 중 하나 이상을 의미한다. 평가 디바이스는 사전 정의된 및/또는 사전 결정된 물질 특성의, 룩업리스트 또는 룩업테이블 등의 리스트 및/또는 테이블을 포함하는 적어도 하나의 데이터베이스를 포함할 수 있다. 물질 특성의 리스트 및/또는 테이블은 본 발명에 따른 디스플레이 디바이스를 이용하여 적어도 하나의 테스트 측정을 수행함으로써, 예컨대, 공지의 물질 특성을 갖는 샘플을 이용하여 물질 테스트를 수행함으로써 결정 및/또는 생성될 수 있다. 물질 특성의 리스트 및/또는 테이블은 제조업체의 현장에서 및/또는 디스플레이 디바이시의 사용자에 의해 결정 및/또는 생성될 수 있다. 물질 특성은, 부가적으로, 하나 이상의 물질명 등의 물질 분류자, 생물학적 또는 비 생물학적 물질 등의 물질 그룹, 반투명 또는 비 반투명 물질, 금속 또는 비금속, 스킨 또는 비 스킨, 퍼 또는 비 퍼(fur or non-fur), 카펫 또는 비 카펫, 반사성 또는 비 반사성, 경면 반사 또는 비 경면 반사, 폼 또는 비 폼(foam or non-foam), 헤어 또는 비 헤어, 거칠기 그룹 등에 할당될 수 있다. 평가 디바이스는 물질 특성 및 연관된 물질명 및/또는 물질 그룹을 포함하는 리스트 및/또는 테이블을 포함하는 적어도 하나의 데이터베이스를 포함할 수 있다.
예를 들어, 이 이론에 얽매이지 않고, 인간의 피부는, 표면 반사로 표기되는, 표면의 후방 반사에 의해 생성된 부분과, 후방 반사의 확산부로 표기되는, 피부를 관통하는 광으로부터 매우 확산된 반사에 의해 생성된 부분을 포함하여, 후방 산란 프로파일이라고도 표기되는, 반사 프로파일을 가질 수 있다. 인간 피부의 반사 프로파일에 대하여 "Lasertechnik in der Medizin: Grundlagen, Systeme, Anwendungen", "Wirkung von Laserstrahlung auf Gewebe", 1991, pages 10 171 to 266, 
Eichler, Theo Seiler, Springer Verlag, ISBN 0939-0979를 참조한다. 피부의 표면 반사는 파장이 근적외선쪽으로 증가함에 따라 증가할 수 있다. 또한, 관통 깊이는 파장이 가시광선으로부터 근적외선쪽으로 증가함에 따라 증가할 수 있다. 후방 반사의 확산부는 광의 관통 깊이에 따라 증가할 수 있다. 이들 특성은 후방 산란 프로파일을 분석하는 것에 의해 다른 물질로부터 피부를 구분하는 데 사용될 수 있다.
구체적으로, 평가 디바이스는 반사 빔 프로파일이라고도 표기되는 반사 특징의 빔 프로파일을, 적어도 하나의 사전 결정된 및/또는 사전 기록된 및/또는 사전 정의된 빔 프로파일과 비교하도록 구성될 수 있다. 사전 결정된 및/또는 사전 기록된 및/또는 사전 정의된 빔 프로파일은 테이블 또는 룩업테이블에 저장될 수 있고, 예컨대, 경험적으로 결정될 수 있고, 일례로서, 디스플레이 디바이스의 적어도 하나의 데이터 스토리지 디바이스에 저장될 수 있다. 예를 들어, 사전 결정된 및/또는 사전 기록된 및/또는 사전 정의된 빔 프로파일은 디스플레이 디바이스를 포함하는 모바일 디바이스의 최초 시작 중에 결정될 수 있다. 예를 들어, 사전 결정된 및/또는 사전 기록된 및/또는 사전 정의된 빔 프로파일은, 예컨대, 소프트웨어에 의해, 구체적으로, 앱 스토어 등으로부터 다운로드된 앱에 의해 모바일 디바이스의 적어도 하나의 데이터 스토리지 디바이스에 저장될 수 있다. 반사 빔 프로파일과 사전 결정된 및/또는 사전 기록된 및/또는 사전 정의된 빔 프로파일이 동일한 경우에, 반사 특징은 생물학적 조직에 의해 생성되는 것으로 식별될 수 있다. 비교는 반사 빔 프로파일과 사전 결정된 또는 사전 정의된 빔 프로파일의 강도의 중심이 일치하도록 그것들을 겹치는 것을 포함할 수 있다. 비교는 반사 빔 프로파일과 사전 결정된 및/또는 사전 기록된 및/또는 사전 정의된 빔 프로파일 사이의 편차, 예컨대, 점 대 점 거리의 제곱의 합을 결정하는 것을 포함할 수 있다. 평가 디바이스는 결정된 편차를 적어도 하나의 임계값과 비교하도록 구성될 수 있고, 결정된 편차가 임계값보다 아래 및/또는 임계값과 동일한 경우, 표면은 생물학적 조직으로 표시되고, 또한/또는 생물학적 조직의 검출이 확인된다. 임계값은 테이블 또는 룩업테이블에 저장될 수 있고, 예컨대, 경험적으로 결정될 수 있고, 일례로서, 디스플레이 디바이스의 적어도 하나의 데이터 스토리지 디바이스에 저장될 수 있다.
부가적으로 또는 이와 달리, 식별을 위해, 반사 특징이 생물학적 조직에 의해 생성되면, 평가 디바이스는 그 영역의 이미지에 적어도 하나의 이미지 필터를 적용하도록 구성될 수 있다. 여기서 더 사용되는 바와 같이, 용어 "이미지"는 2차원 함수 f(x,y)를 의미하고, 휘도 및/또는 컬러값은 이미지에서 임의의 x,y 위치에 대해 주어진다. 위치는 기록 화소에 대응하여 나누어질 수 있다. 휘도 및/또는 색은 광학 센서의 비트 깊이에 대응하여 나누어질 수 있다. 여기서 사용되는 바와 같이, 용어 "이미지 필터"는 빔 프로파일에 적용된 적어도 하나의 수학적 동작 및/또는 빔 프로파일의 적어도 하나의 특정 영역을 의미한다. 구체적으로, 이미지 필터 Φ는 이미지 f 또는 이미지의 관심 영역을 실수 Φ(f(x,y))=φ에 매핑하고, 여기서, φ는 특징, 특히 물질 특징을 나타낸다. 이미지에 노이즈가 생길 수 있고, 특징에 대해서도 마찬가지이다. 따라서, 특징은 랜덤 변수일 수 있다. 특징은 통상적으로 분산될 수 있다. 특징이 통상적으로 분산되면, 그들은 박스콕스 변환(Box-Cox-Transformation) 등에 의해 통상적으로 분산되는 것으로 변환될 수 있다.
평가 디바이스는 이미지에 적어도 하나의 물질 종속 이미지 필터 Φ2를 적용하는 것에 의해 적어도 하나의 물질 특징 φ2m을 결정하도록 구성될 수 있다. 여기서 사용되는 바와 같이, 용어 "물질 종속" 이미지 필터는 물질 종속 출력을 갖는 이미지를 참조한다. 여기서 물질 종속 이미지 필터의 출력은 "물질 특징 φ2m" 또는 "물질 종속 특징 φ2m"으로 표기된다. 물질 특징은 생성된 반사 특징을 갖는 영역의 표면의 적어도 하나의 물질 특성에 대한 적어도 하나의 정보일 수 있고 또는 그것을 포함할 수 있다.
물질 종속 이미지 필터는, 휘도 필터, 스폿 형상 필터, 스퀘어 놈 경사(squared norm gradient), 표준 편차, 가우시안 필터 또는 중간값 필터 등의 평활도 필터, 그레이 레벨 발생 기반 콘트라스트 필터, 그레이 레벨 발생 기반 에너지 필터, 그레이 레벨 발생 기반 균질 필터, 그레이 레벨 발생 기반 상이성 필터, 로의 에너지 필터(Law's energy filter), 임계 영역 필터 또는 그 선형 조합, 또는 휘도 필터, 스폿 형상 필터, 스퀘어 놈 경사, 표준 편차, 평활도 필터, 그레이 레벨 발생 기반 에너지 필터, 그레이 레벨 발생 기반 균질 필터, 그레이 레벨 발생 기반 상이성 필터, 로의 에너지 필터 또는 임계 영역 필터, 또는 |ρФ2other,Фm|≥0.40(Фm은 휘도 필터, 스폿 형상 필터, 스퀘어 놈 경사, 표준 편차, 평활도 필터, 그레이 레벨 발생 기반 에너지 필터, 그레이 레벨 발생 기반 균질 필터, 그레이 레벨 발생 기반 상이성 필터, 로의 에너지 필터, 임계 영역 필터, 또는 그것의 선형 조합 중 하나임)에 의한 그 선형 조합 중 하나 이상과 연관되는 추가 물질 종속 이미지 필터 Ф2other로 구성되는 그룹으로부터 선택된 적어도 하나의 필터일 수 있다. 추가 물질 종속 이미지 필터 Ф2other는 |ρФ2other,Фm|≥0.60에 의해, 바람직하게는, |ρФ2other,Фm|≥0.80에 의해 물질 종속 이미지 필터의 하나 이상과 연관될 수 있다.
물질 종속 이미지 필터는 가설 테스트를 통과하는 적어도 하나의 임의의 필터 Ф일 수 있다. 여기서 사용되는 바와 같이, 용어 "가설 테스트를 통과"하는 것은 널 가설 H0이 거부되고, 대안의 가설 H1이 수용되는 것을 의미한다. 가설 테스트는 사전 정의된 데이터 세트에 이미지 필터를 적용함으로써 이미지 필터의 물질 종속성을 테스트하는 것을 포함할 수 있다. 데이터 세트는 복수의 빔 프로파일 이미지를 포함할 수 있다. 여기서 사용되는 바와 같이, 용어 "빔 프로파일 이미지"는 NB 가우시안 방사 기저 함수
의 합을 의미하고, 여기서, NB 가우시안 방사 기저 함수의 각각은 중심 (xlk, ylk), 프리팩터 alk, 지수 팩터 
에 의해 정의된다. 지수 팩터는 모든 이미지에서 가우시안 함수에 대해 동일하다. 중심 위치 xlk, ylk는 모든 이미지 fk:
, 
에 대해 동일하다. 데이터 세트의 빔 프로파일 이미지의 각각은 물질 분류자와 거리에 대응할 수 있다. 물질 분류자는 "물질 A", "물질 B" 등의 라벨일 수 있다. 빔 프로파일 이미지는 다음의 파라미터 테이블
과 조합하여 fk(x,y)에 대해 상기 공식을 이용하는 것에 의해 생성될 수 있다. x, y에 대한 값은 
를 갖는 화소에 대응하는 정수이다. 이미지는 32x32의 화소 사이즈를 가질 수 있다. 빔 프로파일 이미지의 데이터 세트는 fk의 연속적인 설명을 얻기 위해 파라미터 세트와 조합하여 fk에 대한 상기 공식을 이용하는 것에 의해 생성될 수 있다. 32x32 이미지의 각 화소에 대한 값은 fk(x,y)의 x, y에 대해 0, …, 31 중의 정수값을 삽입하는 것에 의해 얻어질 수 있다. 예를 들어, 화소 (6, 9)에 대해, 값 fk(6, 9)가 계산될 수 있다.
다음에, 각각의 이미지 fk에 대해, 필터 Φ에 대응하는 특징값 φk는, 
로 계산될 수 있고, Zk는 사전 정의된 데이터 세트로부터의 이미지 fk에 대응하는 거리값이다. 이것은 대응하는 생성된 특징값 φk를 갖는 데이터 세트를 산출한다. 가설 테스트는 필터가 물질 분류자를 구별하지 않는 널 가설(Null-hypothesis)을 사용할 수 있다. 널 가설은 H0: 
에 의해 정해질 수 있고, μm은 특징값 φk에 대응하는 각 물질 그룹의 예상값이다. 인덱스 m은 물질 그룹을 나타낸다. 가설 테스트는 필터가 적어도 2개의 물질 분류자를 구별하는 대안의 가설로서 사용할 수 있다. 대안의 가설은 H1: 
에 의해 정해질 수 있다. 여기서 사용되는 바와 같이, 용어 "물질 분류자를 구별하지 않는" 것은 물질 분류자의 예상값이 동일한 것을 의미한다. 여기서 사용되는 바와 같이, 용어 "물질 분류자를 구별하는" 것은 물질 분류자의 적어도 2개의 예상값이 상이한 것을 의미한다. 여기서 사용되는 바와 같이, 용어 "적어도 2개의 물질 분류자를 구별하는" 것은 "적당한 물질 분류자"와 동의어로 사용된다. 가설 테스트는 생성된 특징값에 대한 적어도 하나의 분산분석(ANOVA)을 포함할 수 있다. 특히, 가설 테스트는 J개의 물질의 각각에 대한 특징값의 평균값, 즉, 총 J개에서 
에 대해, 평균값 
을 결정하는 것을 포함할 수 있고, Nm은 사전 정의된 데이터 세트에서 J개의 물질의 각각에 대한 특징값의 수를 부여한다. 가설 테스트는 모든 N개의 특징값의 평균값 
을 결정하는 것을 포함할 수 있다. 가설 테스트는
내에서 평균 합계 제곱(Mean Sum Square)을 결정하는 것을 포함할 수 있다.
가설 테스트는
사이에서 평균 합계 제곱을 결정하는 것을 포함할 수 있다.
가설 테스트는 F-테스트
- 
, 여기서 d1=N-J, d2=J-1
- F(
) = 1 - 
- p = F(
를 수행하는 것을 포함할 수 있다.
여기서, Ix는 정규화된 불완전한 베타 함수 
이고, 오일러 베타 함수 
및 
는 불완전한 베타 함수이다. p값 p가 사전 정의된 유의 레벨 이하이면, 이미지 필터는 가설 테스트를 통과할 수 있다. p≤0.075, 바람직하게는, p≤0.05, 더 바람직하게는, p≤0.025, 가장 바람직하게는, p≤0.01이면, 필터는 가설 테스트를 통과할 수 있다. 예를 들어, 사전 정의된 유의 레벨이 α=0.075인 경우에, p값이 α=0.075보다 작으면, 이미지 필터는 가설 테스트를 통과할 수 있다. 이 경우에 널 가설 H0이 거부될 수 있고, 대안의 가설 H1이 수용될 수 있다. 따라서, 이미지 필터는 적어도 2개의 물질 분류자를 구별한다. 따라서 이미지 필터는 가설 테스트를 통과한다.
다음에, 이미지 필터는, 반사 이미지가 적어도 하나의 반사 특징, 특히 스폿 이미지를 포함하는 것을 가정하는 것으로 기술된다. 스폿 이미지 f는 함수 
에 의해 정해질 수 있고, 여기서 이미지 f의 배경은 이미 제거되었을 수 있다. 그러나, 다른 반사 특징이 가능할 수 있다.
예를 들어, 물질 종속 이미지 필터는 휘도 필터일 수 있다. 휘도 필터는 물질 특징으로서 스폿의 휘도 측정을 반환할 수 있다. 물질 특징은
에 의해 결정될 수 있고, 여기서 f는 스폿 이미지이다. 스폿의 거리는 z에 의해 표기되고, z는 깊이 대 디포커스 또는 깊이 대 광자비 기술을 이용하는 것에 의해 및/또는 삼각측량 기술을 이용하는 것에 의해 얻어질 수 있다. 물질의 표면 법선은 
에 의해 정해지고, 적어도 3개의 측정된 점에 걸친 표면의 법선으로서 얻어질 수 있다. 벡터 
는 광원의 방향 벡터이다. 스폿의 위치는 깊이 대 디포커스 또는 깊이 대 광자비 기술을 이용하는 것에 의해 및/또는 삼각측량 기술을 이용하는 것에 의해 공지이고, 광원의 위치는 디스플레이 디바이스의 파라미터로서 공지이므로, dray는 스폿과 광원 위치 사이의 차이 벡터이다.
예를 들어, 물질 종속 이미지 필터는 스폿 형상에 종속적인 출력을 갖는 필터일 수 있다. 이 물질 종속 이미지 필터는 물질의 반투명도와 관련되는 값을 물질 특징으로서 반환할 수 있다. 물질의 반투명도는 스폿의 형상에 영향을 미친다. 물질 특징은
에 의해 정해질 수 있고, 여기서, 
은 스폿 높이 h에 대한 가중치이고, H는 헤비사이드 함수를 나타내고, 즉, 
, 
이다. 스폿 높이 h는
에 의해 결정될 수 있고, 여기서 Br은 반경 r을 갖는 스폿의 내부 원이다.
예를 들어, 물질 종속 이미지 필터는 스퀘어 놈 경사일 수 있다. 이 물질 종속 이미지 필터는 소프트 및 하드 천이 및/또는 물질 특징으로서 스폿의 거칠기의 측정에 관한 값을 반환할 수 있다. 물질 특징은
에 의해 정의될 수 있다.
예를 들어, 물질 종속 이미지 필터는 표준 편차일 수 있다. 스폿의 표준 편차는
에 의해 결정될 수 있고, 여기서 μ는, 
에 의해 정해진 평균값이다.
예를 들어, 물질 종속 이미지 필터는 가우시안 필터 또는 중간값 필터 등의 평활도 필터일 수 있다. 평활도 필터의 일 실시예에서, 이 이미지 필터는 체적 산란이 확산 산란 물질에 비해 더 적은 반점 콘트라스트를 나타낸다는 관찰 결과를 참조할 수 있다. 이 이미지 필터는 반점 콘트라스트에 대응하는 스폿의 평활도를 물질 특징으로서 정량화할 수 있다. 물질 특징은
여기서, F는 평활화 함수, 예컨대, 중간값 필터 또는 가우시안 필터이다. 이 이미지 필터는, 상기의 공식에서 설명한 바와 같이, 거리 z에 의한 분할을 포함할 수 있다. 거리 z는, 예컨대, 깊이 대 디포커스 또는 깊이 대 광자비 기술을 이용하는 것에 의해 및/또는 삼각측량 기술을 이용하는 것에 의해 결정될 수 있다. 이것은 필터가 거리에 민감하지 않게 할 수 있다. 평활도 필터의 일 실시예에서, 평활도 필터는 추출된 반점 노이즈 패턴의 표준 편차에 근거할 수 있다. 반점 노이즈 패턴 N은
에 의해 경험적 방법으로 기술될 수 있고, 여기서 f0는 반점이 제거된 스폿의 이미지이다. N(X)는 반포인트 패턴을 모델링하는 노이즈항이다. 반점 제거 이미지의 계산은 어려울 수 있다. 따라서, 반점 제거 이미지는 f의 평활화된 버전, 즉, 
에 의해 가까워질 수 있고, F는 가우시안 필터 또는 중간값 필터 등의 평활도 연산자이다. 따라서, 반포인트 패턴의 근사화는
에 의해 정해질 수 있다.
이 필터의 물질 특징은
에 의해 결정될 수 있고, 여기서 Var은 분산 함수를 나타낸다.
예를 들어, 이미지 필터는 그레이 레벨 발생 기반 콘트라스트 필터일 수 있다. 이 물질 필터는 그레이 레벨 발생 매트릭스 
에 근거할 수 있고, 
는 그레이 조합 (g1,g2)=[f(x1,y1),f(x2,y2)]의 발생 비율이고, 관계 ρ는 (x1,y1)와 (x2,y2) 사이의 거리를 정의하고, 여기서 ρ(x,y)=(x+a,y+b)이며, a, b는 0, 1 중에서 선택된다.
그레이 레벨 발생 기반 콘트라스트 필터의 물질 특성은
에 의해 정해질 수 있다.
예를 들어, 이미지 필터는 그레이 레벨 발생 기반 에너지 필터일 수 있다. 이 물질 필터는 상기에 정의된 그레이 레벨 발생 매트릭스에 근거한다.
그레이 레벨 발생 기반 에너지 필터의 물질 특징은
에 의해 정해질 수 있다.
예를 들어, 이미지 필터는 그레이 레벨 발생 기반 균질 필터일 수 있다. 물질 필터는 상기에 정의된 그레이 레벨 발생 매트릭스에 근거한다.
그레이 레벨 발생 기반 균질 필터의 물질 특징은
에 의해 정해질 수 있다.
예를 들어, 이미지 필터는 그레이 레벨 발생 기반 상이성 필터일 수 있다. 이 물질 필터는 상기에 정의된 그레이 레벨 발생 매트릭스에 근거한다.
그레이 레벨 발생 기반 상이성 필터의 물질 특징은
에 의해 정해질 수 있다.
예를 들어, 이미지 필터는 로의 에너지 필터일 수 있다. 이 물질 필터는 로 벡터 L5=[1,4,6,4,1] 및 E5=[-1,-2,0,-2,-1] 및 매트릭스 L5(E5)T 및 E5(L5)T에 근거할 수 있다.
이미지 fk는 이들 매트릭스와 컨볼루션되어,
및
여기서 로의 에너지 필터의 물질 특징은
에 의해 결정될 수 있다.
예를 들어, 물질 종속 이미지 필터는 임계 영역 필터일 수 있다. 이 물질 특징은 이미지 평면에서 2개의 영역에 관련될 수 있다. 제 1 영역 Ω1은 f의 최대값을 α배한 것보다 큰 영역일 수 있다. 제 2 영역 Ω2는 f의 최대값을 α배한 것보다 작지만, f의 최대값에 임계값 ε을 곱한것보다 큰 영역일 수 있다. 바람직하게는 α는 0.5일 수 있고, ε는 0.05일 수 있다. 반점 또는 노이즈로 인해, 영역이 스폿 중앙 주위의 내부 및 외부 원에 간단히 대응하지 않을 수 있다. 일례로서, Ω1은 외부 원에서 반점 또는 연결되지 않은 영역을 포함할 수 있다. 물질 특징은
에 의해 결정될 수 있고, 여기서 Ω1 = {x|f(x)>α·max(f(x))} 및 Ω2 = {x|ε·max(f(x))<f(x)<α·max(f(x))}이다.
평가 디바이스는, 반사 특징이 생성된 표면의 물질 특성을 결정하기 위해, 물질 특징 φ2m과, 반사 특징이 생성된 표면의 물질 특성 사이의 적어도 하나의 사전 결정된 관계를 이용하도록 구성될 수 있다. 사전 결정된 관계는 경험적 관계, 반 경험적 관계 및 분석적으로 유도된 관계 중 하나 이상일 수 있다. 평가 디바이스는 룩업리스트 또는 룩업테이블 등의 사전 결정된 관계를 저장하는 적어도 하나의 데이터 스토리지 디바이스를 포함할 수 있다.
대응하는 물질 특성이 적어도 하나의 사전 결정된 또는 사전 정의된 기준을 충족하는 경우에, 평가 디바이스는 생물학적 조직을 조명하는 것에 의해 생성될 반사 특징을 식별하도록 구성된다. 물질 특성이 "생물학적 조직"을 나타내는 경우, 반사 특징은 생물학적 조직에 의해 생성되는 것으로 식별될 수 있다. 물질 특성이 적어도 하나의 임계값 또는 범위 이하인 경우, 반사 특징은 생물학적 조직에 의해 생성되는 것으로 식별될 수 있고, 결정된 편차가 임계값 미만 및/또는 임계값과 동일한 경우에 반사 특징은 생물학적 조직에 의해 생성되는 것으로 식별되고, 또한/또는 생물학적 조직의 검출이 확인된다. 적어도 하나의 임계값 및/또는 범위는 테이블 또는 룩업테이블에 저장될 수 있고, 예컨대, 경험적으로 결정될 수 있고, 일례로서, 디스플레이 디바이스의 적어도 하나의 데이터 스토리지 디바이스에 저장될 수 있다. 그렇지 않으면 평가 디바이스는 반사 특징을 배경인 것으로 식별하도록 구성된다. 따라서, 평가 디바이스는 각각의 투영된 스폿을 깊이 정보 및 물질 특성, 예컨대, 스킨이 맞음 또는 아님으로 할당하도록 구성될 수 있다.
물질 특성은 세로 좌표 z를 결정한 후에 이어서 φ2m를 평가하는 것에 의해 결정될 수 있어, 세로 좌표 z에 대한 정보가 φ2m를 평가하도록 고려될 수 있다.
또 다른 국면에서, 본 발명은 반투명 디스플레이를 통한 깊이 측정 방법을 개시하고, 본 발명에 따른 디스플레이 디바이스가 사용된다. 방법은, 다음의 단계,
a) 적어도 하나의 조명원을 사용하는 것에 의해 적어도 하나의 장면에 복수의 조명 특징을 포함하는 적어도 하나의 조명 패턴을 투영하는 단계 - 조명원은 디스플레이의 앞에서 조명 패턴의 전파 방향에 위치함 - 와,
b) 적어도 하나의 광학 센서를 사용하는 것에 의해 조명 특징에 의한 조명에 응답하여 장면에 의해 생성된 복수의 반사 특징을 포함하는 적어도 하나의 제 1 이미지를 결정하는 단계 - 광학 센서는 적어도 하나의 감광 영역을 갖고, 광학 센서는 디스플레이의 앞에서 조명 패턴의 전파 방향에 위치하고, 조명 특징의 각각은 적어도 하나의 빔 프로파일을 포함함 - 와,
c) 적어도 하나의 평가 디바이스를 사용하는 것에 의해 제 1 이미지를 평가하는 단계 - 평가는 다음의 하위 단계,
C1) 제 1 이미지의 반사 특징을 식별하고, 식별된 반사 특징을 휘도에 대해 정렬하는 단계와,
C2) 그들의 빔 프로파일의 분석에 의해 반사 특징의 각각에 대해 적어도 하나의 세로 좌표 zDPR를 결정하는 단계와,
C3) 세로 좌표 zDPR를 이용하는 것에 의해 반사 특징을 대응하는 조명 특징과 명확하게 일치시키는 단계 - 일치는 가장 밝은 반사 특징에서 시작하여 반사 특징의 휘도를 감소시키는 것으로 수행됨 - 와,
C4) 조명 특징과 일치하는 반사 특징을 실제 특징으로 분류하고, 조명 특징과 일치하지 않는 반사 특징을 거짓 특징으로 분류하는 단계와,
C5) 거짓 특징을 거부하고, 세로 좌표 zDPR를 이용하는 것에 의해 실제 특징의 깊이 맵을 생성하는 단계를 포함한다.
방법 단계는 정해진 순서로 수행될 수 있고, 또는 상이한 순서로 수행될 수 있다. 또한, 언급되지 않은 하나 이상의 추가 방법 단계가 존재할 수 있다. 또한, 방법 단계 중 하나, 하나 이상 또는 심지어 모두가 반복적으로 수행될 수 있다. 세부사항, 옵션 및 정의에 대해 상기에 논의한 바와 같은 디스플레이 디바이스를 참조할 수 있다. 따라서, 구체적으로, 상기에 설명한 바와 같이, 방법은, 상술한 또는 이하에 더 상세하게 설명되는 하나 이상의 실시예에 따르는 등의, 본 발명에 따른 디스플레이 디바이스를 이용하는 것을 포함할 수 있다.
적어도 하나의 평가 디바이스는 본 발명에 따른 방법의 방법 단계 중 하나 이상 또는 심지어 전부를 수행 또는 지원하도록 구성된 적어도 하나의 컴퓨터 프로그램 등의, 적어도 하나의 컴퓨터 프로그램을 수행하도록 구성될 수 있다. 일례로서, 물체의 위치를 결정할 수 있는 하나 이상의 알고리즘이 구현될 수 있다.
본 발명의 추가 국면에서, 상술한 또는 이하에 더 상세하게 설명되는 하나 이상의 실시예에 따르는 등의, 본 발명에 따른 디스플레이 디바이스의 사용은, 사용을 위해, 교통 기술의 위치 측정, 엔터테인먼트 애플리케이션, 보안 애플리케이션, 감시 애플리케이션, 안전 애플리케이션, 인간-기계 인터페이스 애플리케이션, 트래킹 애플리케이션, 촬영 애플리케이션, 이미징 애플리케이션, 또는 카메라 애플리케이션, 적어도 하나의 공간의 맵을 생성하기 위한 매핑 애플리케이션, 차량에 대한 호밍(homing) 또는 트래킹 비컨 검출기, 야외 애플리케이션, 모바일 애플리케이션, 통신 애플리케이션, 기계 비전 애플리케이션, 로보틱스 애플리케이션, 품질 제어 애플리케이션, 제조 애플리케이션으로 구성되는 그룹에서 선택되는 것이 제안된다.
본 발명의 디스플레이 디바이스 및 디바이스의 추가 이용에 대해 WO 2018/091649 A1, WO 2018/091638 A1 및 WO 2018/091640 A1를 참조하고, 그 내용을 참조로 포함한다.
전체적으로, 본 발명의 컨텍스트에서, 다음의 실시예가 바람직한 것으로 간주된다.
실시예 1 : 디스플레이 디바이스로서,
- 적어도 하나의 장면에서 복수의 조명 특징을 포함하는 적어도 하나의 조명 패턴을 투영하도록 구성된 적어도 하나의 조명원과,
- 적어도 하나의 감광 영역을 갖는 적어도 하나의 광학 센서 - 광학 센서는 조명 특징에 의한 조명에 응답하여 장면에 의해 생성된 복수의 반사 특징을 포함하는 적어도 하나의 제 1 이미지를 결정하도록 구성됨 - 와,
- 정보를 표시하도록 구성된 적어도 하나의 반투명 디스플레이 - 조명원 및 광학 센서는 디스플레이의 앞에서 조명 패턴의 전파 방향으로 배치됨 - 와,
- 적어도 하나의 평가 디바이스를 포함하고,
평가 디바이스는 제 1 이미지를 평가하도록 구성되고, 제 1 이미지의 평가는 제 1 이미지의 반사 특징을 식별하고, 식별된 반사 특징을 휘도에 대하여 정렬하고, 각각의 반사 특징은 적어도 하나의 빔 프로파일을 포함하고, 평가 디바이스는 그들의 빔 프로파일의 분석에 의해 반사 특징의 각각에 대해 적어도 하나의 세로 좌표 zDPR을 결정하도록 구성되고,
평가 디바이스는 세로 좌표 zDPR을 이용함으로써 반사 특징을 대응하는 조명 특징과 명료하게 일치시키도록 구성되고, 일치는 가장 밝은 반사 특징에서 시작하여 반사 특징의 휘도를 감소시키는 것으로 수행되고, 평가 디바이스는 조명 특징과 일치하는 반사 특징을 실제 특징으로서 분류하고, 조명 특징과 일치하지 않는 반사 특징을 거짓 특징으로서 분류하도록 구성되고, 평가 디바이스는 거짓 특징을 거부하고, 세로 좌표 zDPR을 이용함으로써 실제 특징에 대한 깊이 맵을 생성하도록 구성된다.
실시예 2 : 상기 실시예에 따른 디스플레이 디바이스에 있어서, 평가 디바이스는 삼각 측량 및/또는 깊이 대 디포커스 및/또는 구조화 광 기술을 이용하여 반사 특징의 각각에 대해 적어도 하나의 제 2 세로 좌표 ztriang를 결정하도록 구성된다.
실시예 3 : 상기 실시예에 따른 디스플레이 디바이스에 있어서, 평가 디바이스는 제 2 세로 좌표 ztriang 및 세로 좌표 zDPR의 결합된 세로 좌표를 결정하도록 구성되고, 결합된 세로 좌표는 제 2 세로 좌표 ztriang 및 세로 좌표 zDPR의 평균값이고, 결합된 세로 좌표는 깊이 맵을 결정하도록 사용된다.
실시예 4 : 상기 실시예 중 어느 하나의 실시예에 따른 디스플레이 디바이스에 있어서, 조명원은 적어도 하나의 레이저 프로젝터를 포함하고, 레이저 프로젝터는 적어도 하나의 레이저 소스 및 적어도 하나의 회절 광학 요소(DOE)를 포함한다.
실시예 5 : 상기 실시예 중 어느 하나의 실시예에 따른 디스플레이 디바이스에 있어서, 조명원은 디스플레이를 통해 조명원으로부터 장면으로 통과하는 빔 경로를 갖는 적어도 하나의 광 빔을 생성하도록 구성되고, 디스플레이는, 광 빔이 포인트 패턴을 초래하는 디스플레이에 의한 회절을 겪도록 격자로서의 기능을 위해 구성된다.
실시예 6 : 상기 실시예에 따른 디스플레이 디바이스에 있어서, 디스플레이의 배선은 격자의 갭 및/또는 슬릿 및 능선을 형성하도록 구성된다.
실시예 7 : 상기 실시예 중 어느 하나의 실시예에 따른 디스플레이 디바이스에 있어서, 조명 패턴은 주기적 포인트 패턴을 포함한다.
실시예 8 : 상기 실시예 중 어느 하나의 실시예에 따른 디스플레이 디바이스에 있어서, 조명 패턴은 낮은 포인트 밀도를 갖고, 조명 패턴은 시야당 2500 포인트 이하를 갖는다.
실시예 9 : 상기 실시예 중 어느 하나의 실시예에 따른 디스플레이 디바이스에 있어서, 평가 디바이스는 깊이 대 광자비 기술을 이용하는 것에 의해 반사 특징의 각각에 대해 빔 프로파일 정보를 결정하도록 구성된다.
실시예 10 : 상기 실시예 중 어느 하나의 실시예에 따른 디스플레이 디바이스에 있어서, 광학 센서는 적어도 하나의 CMOS 센서를 포함한다.
실시예 11 : 상기 실시예 중 어느 하나의 실시예에 따른 디스플레이 디바이스에 있어서, 디스플레이 디바이스는 추가 조명원을 포함하고, 추가 조명원은 적어도 하나의 발광 다이오드(LED)를 포함한다.
실시예 12 : 상기 실시예에 따른 디스플레이 디바이스에 있어서, 추가 조명원은 가시광선 스펙트럼 범위에서 광을 생성하도록 구성된다.
실시예 13 : 상기 2개의 실시예 중 어느 하나의 실시예에 따른 디스플레이 디바이스에 있어서, 광학 센서는 장면의 적어도 하나의 2차원 이미지를 포함하는 적어도 하나의 제 2 이미지를 결정하도록 구성되고, 추가 조명원은 제 2 이미지의 이미징을 위한 추가 조명을 제공하도록 구성된다.
실시예 14 : 상기 실시예에 따른 디스플레이 디바이스에 있어서, 평가 디바이스는 제 2 이미지 I를 격자 함수 g로 디컨볼루션함으로써 적어도 하나의 수정된 이미지 I0을 결정하도록 구성되고, I=I0*g이다.
실시예 15 : 반투명 디스플레이를 통한 깊이 측정 방법으로서, 상기 실시예 중 어느 하나의 실시예에 따른 적어도 하나의 디스플레이 디바이스가 사용되고, 방법은 다음의 단계,
a) 적어도 하나의 조명원을 사용하는 것에 의해 적어도 하나의 장면에 복수의 조명 특징을 포함하는 적어도 하나의 조명 패턴을 투영하는 단계 - 조명원은 디스플레이의 앞에서 조명 패턴의 전파 방향에 위치함 - 와,
b) 적어도 하나의 광학 센서를 사용하는 것에 의해 조명 특징에 의한 조명에 응답하여 장면에 의해 생성된 복수의 반사 특징을 포함하는 적어도 하나의 제 1 이미지를 결정하는 단계 - 광학 센서는 적어도 하나의 감광 영역을 갖고, 광학 센서는 디스플레이의 앞에서 조명 패턴의 전파 방향에 위치하고, 조명 특징의 각각은 적어도 하나의 빔 프로파일을 포함함 - 와,
c) 적어도 하나의 평가 디바이스를 사용하는 것에 의해 제 1 이미지를 평가하는 단계 - 평가는 다음의 하위 단계,
C1) 제 1 이미지의 반사 특징을 식별하고, 식별된 반사 특징을 휘도에 대해 정렬하는 단계와,
C2) 그들의 빔 프로파일의 분석에 의해 반사 특징의 각각에 대해 적어도 하나의 세로 좌표 zDPR를 결정하는 단계와,
C3) 세로 좌표 zDPR를 이용하는 것에 의해 반사 특징을 대응하는 조명 특징과 명확하게 일치시키는 단계 - 일치는 가장 밝은 반사 특징에서 시작하여 반사 특징의 휘도를 감소시키는 것으로 수행됨 - 와,
C4) 조명 특징과 일치하는 반사 특징을 실제 특징으로 분류하고, 조명 특징과 일치하지 않는 반사 특징을 거짓 특징으로 분류하는 단계와,
C5) 거짓 특징을 거부하고, 세로 좌표 zDPR를 이용하는 것에 의해 실제 특징의 깊이 맵을 생성하는 단계를 포함한다.
실시예 16 : 디스플레이 디바이스에 관련된 상기 실시예 중 어느 하나의 실시예에 따른 디스플레이 디바이스의 사용법은, 사용을 위해, 교통 기술의 위치 측정, 엔터테인먼트 애플리케이션, 보안 애플리케이션, 감시 애플리케이션, 안전 애플리케이션, 인간-기계 인터페이스 애플리케이션, 트래킹 애플리케이션, 촬영 애플리케이션, 이미징 애플리케이션, 또는 카메라 애플리케이션, 적어도 하나의 공간의 맵을 생성하기 위한 매핑 애플리케이션, 차량에 대한 호밍(homing) 또는 트래킹 비컨 검출기, 야외 애플리케이션, 모바일 애플리케이션, 통신 애플리케이션, 기계 비전 애플리케이션, 로보틱스 애플리케이션, 품질 제어 애플리케이션, 제조 애플리케이션으로 구성되는 그룹에서 선택된다.
본 발명의 또 다른 선택적 세부사항 및 특징은 종속 청구항과 함께 이어지는 바람직한 예시적 실시예의 설명으로부터 명백하다. 이 컨텍스트에서, 특정의 특징은 분리 방식 또는 다른 특징과의 조합으로 구현될 수 있다. 본 발명은 예시적 실시예에 제한되지 않는다. 예시적 실시예는 도면에 개략적으로 도시된다. 개별 도면에서 동일한 참조 부호는 동일한 요소 또는 동일한 기능을 갖는 요소, 또는 그들 기능에 대하여 또 다른 것에 대응하는 요소를 의미한다.
구체적으로, 도면에서,
도 1a 및 도 1b는 본 발명에 따른 디스플레이 디바이스의 실시예를 도시하고,
도 2a 내지 도 2c는 디스플레이 디바이스의 적어도 하나의 광학 센서로 결정되는 제 1 이미지의 실시예를 도시하고,
도 3a 내지 도 3c는 디스플레이 디바이스의 적어도 하나의 광학 센서로 결정되는 제 1 이미지의 또 다른 실시예를 도시하고,
도 4는 디스플레이 디바이스를 이용하여 수정된 2D 이미지의 결정을 도시하고,
도 5a 내지 도 5c는 디스플레이로 캡쳐된 왜곡된 2D 이미지, 디스플레이 없이 캡쳐된 2D 이미지 및 수정된 2D 이미지를 도시한다.
구체적으로, 도면에서,
도 1a 및 도 1b는 본 발명에 따른 디스플레이 디바이스의 실시예를 도시하고,
도 2a 내지 도 2c는 디스플레이 디바이스의 적어도 하나의 광학 센서로 결정되는 제 1 이미지의 실시예를 도시하고,
도 3a 내지 도 3c는 디스플레이 디바이스의 적어도 하나의 광학 센서로 결정되는 제 1 이미지의 또 다른 실시예를 도시하고,
도 4는 디스플레이 디바이스를 이용하여 수정된 2D 이미지의 결정을 도시하고,
도 5a 내지 도 5c는 디스플레이로 캡쳐된 왜곡된 2D 이미지, 디스플레이 없이 캡쳐된 2D 이미지 및 수정된 2D 이미지를 도시한다.
도 1a는 본 발명에 따른 디스플레이 디바이스(110)의 실시예를 매우 개략적인 방식으로 도시한다. 디스플레이 디바이스(110)는 정보를 표시하도록 구성된 적어도 하나의 반투명 디스플레이(112)를 포함한다. 디스플레이(112)는 적어도 하나의 이미지, 적어도 하나의 다이어그램, 적어도 하나의 히스토그램, 적어도 하나의 텍스트, 적어도 하나의 사인 등의 정보의 항목을 표시하도록 구성된 임의 형상의 디바이스일 수 있다. 디스플레이(112)는 적어도 하나의 모니터 또는 적어도 하나의 스크린일 수 있다. 디스플레이(112)는 임의의 형상, 바람직하게는 직사각형 형상일 수 있다. 예를 들어, 디스플레이 디바이스(110)는 텔레비전 디바이스, 스마트폰, 게임 콘솔, 퍼스널 컴퓨터, 랩탑, 태블릿, 적어도 하나의 가상 현실 디바이스 또는 그 조합으로 구성되는 그룹으로부터 선택된 적어도 하나의 디바이스일 수 있다.
디스플레이 디바이스(110)는 적어도 하나의 장면(scene)에서 복수의 조명 특징을 포함하는 적어도 하나의 조명 패턴을 투영하도록 구성된 적어도 하나의 조명원(114)을 포함한다. 장면은 물체, 또는 얼굴 등의 공간 영역일 수 있다. 장면은 적어도 하나의 물체 및 주변 환경을 포함할 수 있다.
조명원(114)은 장면을 직접적으로 또는 간접적으로 조명하도록 적용될 수 있고, 조명 패턴은 장면의 표면에 의해 반사 또는 산란되고, 이에 따라 광학 센서를 향해 적어도 부분적으로 보내진다. 조명원(114)은, 광 빔을 반사하는, 예를 들어, 장면을 향해 광 빔을 보내는 것에 의해 장면을 조명하도록 적용될 수 있다. 조명원(114)은 장면을 조명하기 위한 조명광 빔을 생성하도록 구성될 수 있다.
조명원(114)은 적어도 하나의 광원을 포함할 수 있다. 조명원(114)은 복수의 광원을 포함할 수 있다. 조명원(114)은 인공 조명원, 특히 적어도 하나의 레이저 소스 및/또는 적어도 하나의 백열등 및/또는 적어도 하나의 반도체 광원, 예컨대, 적어도 하나의 발광 다이오드, 특히 유기 및/또는 무기 발광 다이오드를 포함할 수 있다. 일례로서, 조명원에 의해 방출된 광은 300 내지 1100nm, 특히, 500 내지 1100nm의 파장을 가질 수 있다. 부가적으로 또는 이와 달리, 780nm 내지 3.0㎛의 범위 등에서의 적외선 스펙트럼 범위의 광이 사용될 수 있다. 구체적으로, 실리콘 광 다이오드가 특히 700nm 내지 1100nm에서 적용될 수 있는 근적외선 영역의 부분에서의 광이 사용될 수 있다. 조명원(114)은 적외선 영역에서 적어도 하나의 조명 패턴을 생성하도록 구성될 수 있다. 근적외선 영역의 광을 사용하는 것은, 광이 육안에 의해 검출되지 않거나 또는 약하게만 검출되고, 여전히 실리콘 센서, 특히 표준 실리콘 센서에 의해서 검출 가능하게 한다. 조명원(114)은 단일 파장에서 광을 방출하도록 구성될 수 있다. 구체적으로, 파장은 근적외선 영역에 있을 수 있다. 다른 실시예에서, 조명은 복수의 파장을 갖는 광을 방출하도록 적용되어 다른 파장 채널에서 추가 측정을 가능하게 할 수 있다.
조명원(114)은 적어도 하나의 다중 빔 광원일 수 있거나 그것을 포함할 수 있다. 예를 들어, 조명원(114)은 적어도 하나의 레이저 소스 및 하나 이상의 회절 광학 요소(DOE)를 포함할 수 있다. 구체적으로, 조명원은 적어도 하나의 레이저 및/또는 레이저 소스를 포함할 수 있다. 반도체 레이저, 이중 이종 구조(heterostructure) 레이저, 외부 캐비티 레이저, 개별 국한 이종 구조 레이저, 퀀텀 캐스케이드 레이저, 분산 브래그 반사기 레이저, 폴라리톤 레이저, 하이브리드 실리콘 레이저, 확장 캐비티 다이오드 레이저, 퀀텀도트 레이저, 볼륨 브래그 격자 레이저, 인듐 비소 레이저, 트랜지스터 레이저, 다이오드 펌핑 레이저, 분산 피드백 레이저, 퀀텀 웰 레이저, 대역간 캐스케이드 레이저, 갈륨 비소 레이저, 반도체 링 레이저, 확장 캐비티 다이오드 레이저 또는 수직 캐비티 표면 방출 레이저 등의 여러가지 타입의 레이저가 사용될 수 있다. 추가로, 또는 이와 달리, LED 및/또는 백열 전구 등의 비 레이저 광원이 사용될 수 있다. 조명원은 조명 패턴을 생성하도록 적용된 하나 이상의 회절 광학 요소(DOE)를 포함할 수 있다. 예를 들어, 조명원(114)은 포인트 클라우드를 생성 및/또는 투영하도록 적용될 수 있고, 예를 들어, 조명원은 적어도 하나의 디지털 광 처리 프로젝터, 적어도 하나의 LCoS 프로젝터, 적어도 하나의 공간 광 변조기, 적어도 하나의 회절 광학 요소, 적어도 하나의 발광 다이오드 어레이, 적어도 하나의 레이저 광원 어레이 중 하나 이상을 포함할 수 있다. 일반적으로 정의된 그 빔 프로파일 및 다른 취급 가능성의 특성때문에, 조명원(114)으로서 적어도 하나의 레이저 소스의 이용은 특히 바람직하다. 조명원(114)은 디스플레이 디바이스(110)의 하우징(116)에 통합될 수 있다.
또한, 조명원(114)은 변조된 또는 변조되지 않은 광을 방출하도록 구성될 수 있다. 복수의 조명원(114)이 사용되는 경우, 상이한 조명원은 상이한 변조 주파수를 가질 수 있고, 이하에 더 상세히 설명되는 바와 같이, 나중에 광 빔을 구별하는 데 사용될 수 있다.
조명 패턴은 장면의 적어도 한 부분을 조명하도록 적용된 적어도 하나의 조명 특징을 포함하는 적어도 하나의 임의의 패턴일 수 있다. 조명 패턴은 단일 조명 특징을 포함할 수 있다. 조명 패턴은 복수의 조명 특징을 포함할 수 있다. 조명 패턴은 적어도 하나의 포인트 패턴, 적어도 하나의 선 패턴, 적어도 하나의 스트라이프 패턴, 적어도 하나의 체크무늬 패턴, 주기적 또는 비 주기적 특징의 배열을 포함하는 적어도 하나의 패턴으로 구성되는 그룹으로부터 선택될 수 있다. 조명 패턴은 삼각형 패턴, 직사각형 패턴, 육각형 패턴 또는 추가의 볼록 타일링을 포함하는 패턴 등의 규칙적 및/또는 일정 및/또는 주기적 패턴을 포함할 수 있다. 조명 패턴은 적어도 하나의 점, 적어도 하나의 선, 평행 또는 교차하는 선 등의 적어도 2개의 선, 적어도 하나의 점 및 하나의 선, 주기적 또는 비 주기적 특징의 적어도 하나의 배열, 적어도 하나의 임의의 형상의 특징으로 구성된 그룹으로부터 선택된 적어도 하나의 조명 특징을 나타낼 수 있다. 조명 패턴은 적어도 하나의 포인트 패턴, 특히, 의사 랜덤 포인트 패턴, 랜덤 포인트 패턴 또는 의사 랜덤 패턴, 적어도 하나의 소볼(Sobol) 패턴, 적어도 하나의 준 주기적 패턴, 적어도 하나의 사전 공지된 특징을 포함하는 적어도 하나의 패턴, 적어도 하나의 규칙적 패턴, 적어도 하나의 삼각형 패턴, 적어도 하나의 육각형 패턴, 적어도 하나의 사각형 패턴, 볼록한 균일 타일링을 포함하는 적어도 하나의 패턴, 적어도 하나의 선을 포함하는 적어도 하나의 선 패턴, 평행하거나 교차하는 선 등의 적어도 2개의 선을 포함하는 적어도 하나의 선 패턴으로 구성되는 그룹으로부터 선택된 적어도 하나의 패턴을 포함할 수 있다. 예를 들어, 조명원은 포인트 클라우드를 생성 및/또는 투영하도록 적용될 수 있다. 조명원(114)은 조명 패턴이 복수의 포인트 패턴을 포함할 수 있도록 포인트 클라우드를 생성하도록 적용된 적어도 하나의 광 프로젝터를 포함할 수 있다. 조명원(114)은 조명원(114)에 의해 생성된 적어도 하나의 광 빔으로부터 조명 패턴을 생성하도록 적용된 적어도 하나의 마스크를 포함할 수 있다.
조명 패턴의 2개의 특징 사이의 거리 및/또는 적어도 하나의 조명 특징의 면적은 이미지에서 혼란의 원에 따라 달라질 수 있다. 상기에 설명한 바와 같이, 조명원은 적어도 하나의 조명 패턴을 생성하도록 구성된 적어도 하나의 광원을 포함할 수 있다. 구체적으로, 조명원(114)은 레이저 방사선을 생성하도록 설계되는 적어도 하나의 레이저 소스 및/또는 적어도 하나의 레이저 다이오드를 포함한다. 조명원(114)은 적어도 하나의 회절 광학 요소(DOE)를 포함할 수 있다. 디스플레이 디바이스(110)는, 적어도 하나의 주기적 포인트 패턴을 투영하도록 적용된, 적어도 하나의 레이저 소스 및 DOE 등의 적어도 하나의 포인트 프로젝터를 포함할 수 있다.
예를 들어, 투영된 조명 패턴은 주기적 포인트 패턴일 수 있다. 투영된 조명 패턴은 낮은 포인트 밀도를 가질 수 있다. 예를 들어, 조명 패턴은 낮은 포인트 밀도를 갖는 적어도 하나의 주기적 포인트 패턴을 포함할 수 있고, 조명 패턴은 시야당 2500 이하의 포인트를 갖는다. 일반적으로 55×38°의 시야에서 10k 내지 30k의 포인트 밀도를 갖는 구조적 광과 비교하면, 본 발명에 따른 조명 패턴은 밀도가 더 낮을 수 있다. 이것은 제안된 기술이 구조적 광에 비해 주변 광에 덜 의존적이도록 더 많은 점당 전력을 허용할 수 있다.
디스플레이 디바이스(110)는 적어도 하나의 감광 영역(120)을 갖는 적어도 하나의 광학 센서(118)를 포함한다. 광학 센서(118)는, 조명 특징에 의한 조명에 응답하여 장면에 의해 생성된 복수의 반사 특징을 포함하는, 예컨대, 도 2a 내지 도 2c 및 도 3a 내지 도 3c에 도시된, 적어도 하나의 제 1 이미지(122)를 결정하도록 구성된다. 디스플레이 디바이스(110)는 광학 센서(118)를 포함하는 단일 카메라를 포함할 수 있다. 디스플레이 디바이스(110)는 각각이 하나의 광학 센서(118) 또는 복수의 광학 센서(118)를 포함하는 복수의 카메라를 포함할 수 있다.
광학 센서(118)는 적어도 하나의 광 검출기, 바람직하게는 무기 광 검출기, 더 바람직하게는 무기 반도체 광 검출기, 가장 바람직하게는 실리콘 광 검출기일 수 있고, 또는 그것을 포함할 수 있다. 구체적으로, 광학 센서(118)는 적외선 스펙트럼 범위에서 민감할 수 있다. 매트릭스의 모든 화소 또는 매트릭스의 광학 센서의 적어도 하나의 그룹이 특히 동일할 수 있다. 매트릭스의 동일한 화소의 그룹은 구체적으로 다른 스펙트럼 범위에 제공될 수 있고, 또는 모든 화소가 스펙트럼 민감도의 면에서 동일할 수 있다. 또한, 화소는 크기가 동일할 수 있고, 또한/또는 그들의 전자 또는 광전자 특성에 관해 동일할 수 있다. 구체적으로, 광학 센서(118)는 적외선 스펙트럼 범위, 바람직하게는 700nm 내지 3.0마이크로미터의 범위에서 민감한 적어도 하나의 무기 광 다이오드이거나 그것을 포함할 수 있다. 구체적으로, 광학 센서(118)는, 실리콘 광 다이오드가 적용될 수 있는 근적외선 영역, 특히 700nm 내지 1100nm의 범위의 부분에서 민감할 수 있다. 광학 센서에 사용될 수 있는 적외선 광학 센서는, 상표명 HertzstueckTM from trinamiXTM GmbH, D-67056 Ludwigshafen am Rhein, Germany에서 상업적으로 입수할 수 있는 적외선 광학 센서 등의, 상업적으로 입수 가능한 적외선 광학 센서일 수 있다. 따라서, 일례로서, 광학 센서(118)는 고유의 광전지 타입의 적어도 하나의 광학 센서, 더 바람직하게는, Ge 광 다이오드, InGaAs 광 다이오드, 확장된 InGaAs 광 다이오드, InAs 광 다이오드, InSb 광 다이오드, HgCdTe 광 다이오드로 구성되는 그룹으로부터 선택된 적어도 하나의 반도체 광 다이오드를 포함할 수 있다. 부가적으로 또는 이와 달리, 광학 센서(118)는 외부의 광전지 타입의 적어도 하나의 광학 센서, 더 바람직하게는, Ge:Au 광 다이오드, Ge:Hg 광 다이오드, Ge:Cu 광 다이오드, Ge:Zn 광 다이오드, Si:Ga 광 다이오드, Si:As 광 다이오드로 구성되는 그룹으로부터 선택된 적어도 하나의 반도체 광 다이오드를 포함할 수 있다. 부가적으로 또는 이와 달리, 광학 센서(118)는 PbS 또는 PbSe 센서, 볼로미터, 더 바람직하게는, VO 볼로미터 및 비정질 Si 볼로미터로 구성되는 그룹으로부터 선택된 볼로미터 등의 적어도 하나의 광 전도성 센서를 포함할 수 있다.
광학 센서(118)는 자외선, 가시광선 또는 적외선 스펙트럼 범위 중 하나 이상에서 민감할 수 있다. 구체적으로, 광학 센서는 500nm 내지 780nm, 더 바람직하게는 650nm 내지 750nm 또는 690nm 내지 700nm의 가시광선 스펙트럼 범위에서 민감할 수 있다. 구체적으로, 광학 센서(118)는 근적외선 영역에서 민감할 수 있다. 구체적으로, 광학 센서(118)는 실리콘 광 다이오드가 적용될 수 있는 근적외선 영역, 특히 700nm 내지 1000nm의 범위의 부분에서 민감할 수 있다. 광학 센서(118)는 특히, 적외선 스펙트럼 범위, 특히 780nm 내지 3.0마이크로미터의 범위에서 민감할 수 있다. 예를 들어, 광학 센서의 각각은 독립적으로, 광 다이오드, 광 셀, 광 전도성, 광 트랜지스터 또는 그것의 임의의 조합으로 구성되는 그룹으로부터 선택된 적어도 하나의 요소일 수 있고 또는 그것을 포함할 수 있다. 예를 들어, 광학 센서(118)는 CCD 센서 요소, CMOS 센서 요소, 광 다이오드, 광 셀, 광 전도성, 광 트랜지스터 또는 그것의 임의의 조합으로 구성되는 그룹으로부터 선택된 적어도 하나의 요소일 수 있고 또는 그것을 포함할 수 있다. 임의의 다른 타입의 감광 요소가 사용될 수 있다. 감광 요소는 일반적으로 완전히 또는 부분적으로 무기 물질로 이루어질 수 있고, 또한/또는 완전히 또는 부분적으로 유기 물질로 이루어질 수 있다. 가장 통상적으로는, 상업적으로 입수 가능한 광 다이오드, 예컨대, 무기 반도체 광 다이오드 등의 하나 이상의 광 다이오드가 사용될 수 있다.
광학 센서(118)는 화소의 매트릭스를 포함하는 적어도 하나의 센서 요소를 포함할 수 있다. 따라서, 일례로서, 광학 센서(118)는 화소화된 광학 디바이스의 일부이거나 그것을 구성할 수 있다. 예를 들어, 광학 센서(118)는 적어도 하나의 CCD 및/또는 CMOS 디바이스일 수 있고 또한/또는 그것을 포함할 수 있다. 일례로서, 광학 센서(118)는, 각 화소가 감광 영역을 형성하는 화소의 매트릭스를 갖는 적어도 하나의 CCD 및/또는 CMOS 디바이스의 일부이거나 그것을 구성할 수 있다. 센서 요소는 통합된 단일의 디바이스 또는 여러 디바이스의 조합으로 형성될 수 있다. 매트릭스는 구체적으로 하나 이상의 행 및 하나 이상의 열을 갖는 직사각형 매트릭스일 수 있고 또는 그것을 포함할 수 있다. 행 및 열은 특히 직사각형 방식으로 배치될 수 있다. 그러나, 비 직사각형 배치 등의 다른 배치가 실현될 수 있다. 일례로서, 원형 배치가 또한 실현 가능하고, 요소는 중심점 주위에 동심원 또는 타원형으로 배치된다. 예를 들어, 매트릭스는 단일 행의 화소일 수 있다. 다른 배치가 실현 가능하다.
매트릭스의 화소는 특히 크기, 민감도 및 다른 광학적, 전기적, 기계적 특성 중 하나 이상이 동일할 수 있다. 매트릭스의 모든 광학 센서(118)의 감광 영역(120)은 특히 공통 평면에 위치할 수 있고, 공통 평면은 바람직하게는 장면에 직면하여, 물체에서 디스플레이 디바이스(110)로 전파하는 광 빔이 공통 평면에서 광 스폿을 생성할 수 있다. 감광 영역(120)은 특히 각각의 광학 센서(118)의 표면에 위치할 수 있다. 그러나, 다른 실시예가 실현 가능하다. 광학 센서(118)는 예컨대, 적어도 하나의 CCD 및/또는 CMOS 디바이스를 포함할 수 있다. 일례로서, 광학 센서(118)는 화소화된 광학 디바이스의 일부일 수 있고 또는 그것을 구성할 수 있다. 일례로서, 광학 센서(118)는, 각 화소가 감광 영역(120)을 형성하는 화소의 매트릭스를 갖는 적어도 하나의 CCD 및/또는 CMOS 디바이스의 일부이거나 그것을 구성할 수 있다.
디스플레이 디바이스(110)는 정보를 표시하도록 구성된 적어도 하나의 반투명 디스플레이(112)를 포함한다. 조명원(114) 및 광학 센서(118)는 디스플레이(112)의 앞에서 조명 패턴의 전파 방향에 배치된다. 조명원(114) 및 광학 센서(118)는 서로 고정된 위치에 배치될 수 있다. 예를 들어, 디스플레이 디바이스(110)의 설정은, 광학 센서(118) 및 렌즈 시스템을 포함하는 카메라와, 조명원(114)으로서의 레이저 프로젝터를 포함할 수 있다. 레이저 프로젝터 및 카메라는 반투명 디스플레이 뒤에서 장면에 의해 반사된 광의 전파 방향으로 고정될 수 있다. 레이저 프로젝터는 도트 패턴을 생성하고 디스플레이(112)를 통해 빛날 수 있다. 카메라는 디스플레이를 통해 볼 수 있다. 그러나, 반투명 디스플레이 뒤에서의, 장면에 의해 반사된 광의 전파 방향에서의 조명원(114) 및 광학 센서(118)의 배치는, 디스플레이(112)의 회절 격자가 장면에서 및 제 1 이미지에서도 다수의 레이저 포인트를 생성하는 것을 초래할 수 있다. 이에 따라 제 1 이미지에서의 이들 다수의 스폿은 임의의 유용한 거리 정보를 포함하지 않을 수 있다. 디스플레이 디바이스(110)는 적어도 하나의 평가 디바이스(124)를 포함한다. 평가 디바이스(124)는 0차 회절 격자의 반사 특징, 즉 실제 특징을 탐색 및 평가하도록 구성될 수 있고, 더 높은 차수의 반사 특징, 즉, 거짓 특징을 무시할 수 있다.
평가 디바이스(124)는 제 1 이미지를 평가하도록 구성된다. 평가 디바이스(124)는 적어도 하나의 데이터 프로세싱 디바이스, 더 바람직하게는, 적어도 하나의 프로세서 및/또는 적어도 하나의 주문형 집적 회로를 이용하는 것을 포함할 수 있다. 따라서, 일례로서, 적어도 하나의 평가 디바이스(124)는 다수의 컴퓨터 커맨드를 포함하여, 저장된 소프트웨어 코드를 갖는 적어도 하나의 데이터 프로세싱 디바이스를 포함할 수 있다. 평가 디바이스(124)는 하나 이상의 지명된 동작을 수행하는 하나 이상의 하드웨어 요소를 제공할 수 있고, 또한/또는 하나 이상의 지명된 동작을 수행하기 위해 실행하는 소프트웨어와 함께 하나 이상의 프로세서를 제공할 수 있다. 동작은 이미지의 평가를 포함한다. 구체적으로, 빔 프로파일의 결정 및 표면의 표시는 적어도 하나의 평가 디바이스에 의해 수행될 수 있다. 따라서, 일례로서, 하나 이상의 명령은 소프트웨어 및/또는 하드웨어로 구현될 수 있다. 따라서, 일례로서, 평가 디바이스(124)는, 상술한 평가를 수행하도록 구성되는, 하나 이상의 컴퓨터 등의 하나 이상의 프로그래머블 디바이스, 주문형 집적 회로(ASIC), 디지털 신호 프로세서(DSP) 또는 필드 프로그래머블 게이트 어레이(FPGA)를 포함할 수 있다. 그러나, 부가적으로 또는 이와 달리, 평가 디바이스는 하드웨어에 의해 완전히 또는 부분적으로 구현될 수도 있다.
제 1 이미지의 평가는 제 1 이미지의 반사 특징을 식별하는 것을 포함한다. 평가 디바이스(124)는 반사 특징을 식별하기 위해 적어도 하나의 이미지 분석 및/또는 이미지 처리를 수행하도록 구성될 수 있다. 이미지 분석 및/또는 이미지 처리는 적어도 하나의 특징 검출 알고리즘을 이용할 수 있다. 이미지 분석 및/또는 이미지 처리는, 필터링, 적어도 하나의 관심 영역의 선택, 센서 신호에 의해 생성된 이미지와 적어도 하나의 오프셋 사이의 차이 이미지의 형성, 센서 신호에 의해 생성된 이미지를 반전하는 것에 의한 센서 신호의 반전, 상이한 시간에 센서 신호에 의해 생성된 이미지 사이의 차이 이미지의 형성, 배경 수정, 색상 채널로의 분해, 색으로의 분해, 포화도, 휘도 채널, 주파수 분해, 특이값 분해, 블롭 검출기 적용, 코너 검출기 적용, 헤시안 필터의 결정 요인 적용, 원칙적 곡률 기반 영역 검출기 적용, 가장 안정된 극단 영역 검출기 적용, 일반화된 허프 변환(Hough-transformation) 적용, 능선 검출기 적용, 아핀 불변 특징 검출기 적용, 아핀 적용 관심 지점 연산자 적용, 해리스 아핀 영역 검출기 적용, 헤시안 아핀 영역 검출기 적용, 스케일 불변 특징 변환 적용, 스케일 공간 극값 검출기 적용, 로컬 특징 검출기 적용, 고속의 강건한 특징 알고리즘 적용, 경사도 위치 및 방향 히스토그램 알고리즘 적용, 지향 경사도 기술자의 히스토그램 적용, 드리체 에지 검출기(Deriche edge detector) 적용, 차분 에지 검출기 적용, 시공간 관심 지점 검출기 적용, 모라벡 코너 검출기 적용, 캐니 에지 검출기 적용, 가우시안 필터의 라플라시안 적용, 가우시안 필터의 차이 적용, 소벨 연산자 적용, 라플라스 연산자 적용, 샤르 연산자 적용, 프리위트 연산자 적용, 로버트 연산자 적용, 키르시 연산자 적용, 하이패스 필터 적용, 로우패스 필터 적용, 푸리에 변환 적용, 랜덤 변환 적용, 허프 변환 적용, 웨이블릿 변환 적용, 임계값 지정, 이진 이미지 생성 중 하나 이상을 포함할 수 있다. 관심 영역은 사용자에 의해 수동으로 결정되거나, 또는 광학 센서에 의해 생성된 이미지 내에서의 특징을 인식하는 것 등에 의해 자동으로 결정될 수 있다.
예를 들어, 조명원(114)은, 복수의 조명 영역이 광학 센서(118), 예컨대, CMOS 검출기에 생성되도록 포인트 클라우드를 생성 및/또는 투영하도록 구성될 수 있다. 부가적으로, 반점 및/또는 외부광 및/또는 다중 반사로 인한 방해 등이 광학 센서(118)에 나타날 수 있다. 평가 디바이스(124)는 적어도 하나의 관심 영역, 예를 들어, 물체의 세로 좌표의 결정을 위해 사용되는 광 빔에 의해 조명된 하나 이상의 화소를 결정하도록 적용될 수 있다. 예를 들어, 평가 디바이스(124)는 필터링 방법, 예컨대, 블롭 분석 및/또는 에지 필터 및/또는 물체 인식 방법을 수행하도록 적용될 수 있다.
평가 디바이스(124)는 적어도 하나의 이미지 수정을 수행하도록 구성될 수 있다. 이미지 수정은 적어도 하나의 배경 차감을 포함할 수 있다. 평가 디바이스(124)는, 예를 들어, 추가 조명 없는 이미징에 의해, 빔 프로파일에서 배경 광으로부터의 영향을 제거하도록 적용될 수 있다.
반사 특징의 각각은 적어도 하나의 빔 프로파일을 포함한다. 빔 프로파일은 사다리꼴 빔 프로파일, 삼각형 빔 프로파일, 원뿔형 빔 프로파일 및 가우시안 빔 프로파일의 선형 조합으로 구성되는 그룹에서 선택될 수 있다. 평가 디바이스는 그들의 빔 프로파일의 분석에 의해 반사 특징의 각각에 대한 빔 프로파일 정보를 결정하도록 구성된다.
평가 디바이스(124)는 그들의 빔 프로파일의 분석에 의해 반사 특징의 각각에 대한 적어도 하나의 세로 좌표 zDPR를 결정하도록 구성된다. 예를 들어, 빔 프로파일의 분석은 히스토그램 분석 단계, 차이 측정의 계산, 뉴럴 네트워크의 적용, 머신 학습 알고리즘의 적용 중 적어도 하나를 포함할 수 있다. 평가 디바이스(124)는 빔 프로파일을 대칭화 및/또는 정규화 및/또는 필터링을 위해, 특히, 더 큰 각도 하에서의 기록, 에지의 기록 등으로부터 노이즈 또는 비대칭을 제거하도록 구성될 수 있다. 평가 디바이스(124)는 공간 주파수 분석 및/또는 중간값 필터링 등에 의해 높은 공간 주파수를 제거함으로써 빔 프로파일을 필터링할 수 있다. 요약은 광 스폿의 강도의 중심에 의해, 중심까지 동일한 거리에서의 모든 강도를 평균화함으로써 수행될 수 있다. 평가 디바이스(124)는, 특히 기록된 거리로 인한 강도 차이를 설명하기 위해 빔 프로파일을 최대 강도로 정규화하도록 구성될 수 있다. 평가 디바이스(124)는, 예를 들어, 조명 없는 이미징에 의해 빔 프로파일에서 배경 광으로부터의 영향을 제거하도록 구성될 수 있다.
평가 디바이스(124)는, 깊이 대 광자비 기술(depth-from-photon-ratio technique)을 이용하는 것에 의해 반사 특징의 각각에 대해 세로 좌표 zDPR을 결정하도록 구성될 수 있다. 깊이 대 광자비(DPR) 기술에 대해 WO 2018/091649 A1, WO 2018/091638 A1 및 WO 2018/091640 A1을 참조하고, 그 전체 내용이 참조로서 포함된다.
평가 디바이스(124)는 반사 특징의 각각의 빔 프로파일을 결정하도록 구성될 수 있다. 빔 프로파일의 결정은 광학 센서(118)에 의해 제공된 적어도 하나의 반사 특징을 식별하는 것 및/또는 광학 센서(118)에 의해 제공된 적어도 하나의 반사 특징을 선택하는 것 및 반사 특징의 적어도 하나의 강도 분포를 평가하는 것을 포함할 수 있다. 일례로서, 이미지의 영역은, 이미지를 통한 축 또는 선 등을 따라, 3차원 강도 분포 또는 2차원 강도 분포 등의 강도 분포를 결정하도록 사용 및 평가될 수 있다. 일례로서, 광 빔에 의한 조명의 중심은, 가장 높은 조명을 갖는 적어도 하나의 화소를 결정하는 것 등에 의해 결정될 수 있고, 단면축은 조명의 중심을 통해 선택될 수 있다. 강도 분포는 조명의 중심을 통해 이 단면축을 따르는 좌표의 함수로서의 강도 분포일 수 있다. 다른 평가 알고리즘이 실현 가능하다.
반사 특징 중 하나의 빔 프로파일 분석은 빔 프로파일의 적어도 하나의 제 1 영역 및 적어도 하나의 제 2 영역에서의 결정을 포함할 수 있다. 빔 프로파일의 제 1 영역은 영역 A1일 수 있고, 빔 프로파일의 제 2 영역은 영역 A2일 수 있다. 평가 디바이스(124)는 제 1 영역과 제 2 영역을 통합하도록 구성될 수 있다. 평가 디바이스(123)는, 통합된 제 1 영역과 통합된 제 2 영역의 분리, 다수의 통합된 제 1 영역과 통합된 제 2 영역의 분리, 통합된 제 1 영역과 통합된 제 2 영역의 선형 조합의 분리 중 하나 이상에 의해, 조합 신호, 특히 몫(quotient) Q를 유도하도록 구성될 수 있다. 평가 디바이스(124)는 빔 프로파일의 적어도 2개의 영역을 결정하고, 또한/또는 빔 프로파일의 서로 다른 영역을 포함하는 적어도 2개의 세그먼트로 빔 프로파일을 분할하도록 구성될 수 있고, 영역이 동일하지 않는 한 영역의 중복은 가능할 수 있다. 예를 들어, 평가 디바이스(124)는 2, 3, 4, 5 또는 10개의 영역까지 등의 복수의 영역을 결정하도록 구성될 수 있다. 평가 디바이스(124)는 광 스폿을 빔 프로파일의 적어도 2개의 영역으로 분할하고, 또한/또는 빔 프로파일의 서로 다른 영역을 포함하는 적어도 2개의 세그먼트로 빔 프로파일을 분할하도록 구성될 수 있다. 평가 디바이스(124)는 적어도 2개의 영역에 대해 각각의 영역에 걸친 빔 프로파일의 통합을 결정하도록 구성될 수 있다. 평가 디바이스(124)는 적어도 2개의 결정된 통합을 비교하도록 구성될 수 있다. 구체적으로, 평가 디바이스(124)는 빔 프로파일의 적어도 하나의 제 1 영역과 적어도 하나의 제 2 영역을 결정하도록 구성될 수 있다. 빔 프로파일의 제 1 영역과 빔 프로파일의 제 2 영역은 인접하거나 겹치는 영역 중 하나 또는 양쪽 모두일 수 있다. 빔 프로파일의 제 1 영역과 빔 프로파일의 제 2 영역은 면적이 일치하지 않을 수 있다. 예를 들어, 평가 디바이스(124)는 CMOS 센서의 센서 영역을 적어도 2개의 서브 영역으로 분리하도록 구성될 수 있고, 평가 디바이스는 CMOS 센서의 센서 영역을 적어도 하나의 왼쪽 부분과 적어도 하나의 오른쪽 부분으로, 및/또는 적어도 하나의 위쪽 부분과 적어도 하나의 아래쪽 부분으로, 및/또는 적어도 하나의 안쪽 부분과 적어도 하나의 바깥쪽 부분으로 분리하도록 구성될 수 있다.
부가적으로 또는 이와 달리, 디스플레이 디바이스(110)는 적어도 2개의 광학 센서(118)를 포함할 수 있고, 제 1 광학 센서 및 제 2 광학 센서의 감광 영역은, 제 1 광학 센서가 반사 특징의 빔 프로파일의 제 1 영역을 결정하도록 적용되고, 제 2 광학 센서가 반사 특징의 빔 프로파일의 제 2 영역을 결정하도록 적용되도록 배치될 수 있다. 평가 디바이스(124)는 제 1 영역 및 제 2 영역을 통합하도록 적용될 수 있다.
일 실시예에서, A1은 광학 센서의 특징점의 전체 또는 완전한 영역에 대응할 수 있다. A2는 광학 센서의 특징점의 중심 영역일 수 있다. 중심 영역은 일정한 값일 수 있다. 중심 영역은 특징점의 전체 영역에 비해 더 작을 수 있다. 예를 들어, 원형 특징점의 경우, 중심 영역은 특징점의 전체 반경의 0.1 내지 0.9, 바람직하게는 전체 반경의 0.4 내지 0.6의 반경을 가질 수 있다.
평가 디바이스(124)는 제 1 영역 및 제 2 영역의 분리, 다수의 제 1 영역 및 제 2 영역의 분리, 제 1 영역 및 제 2 영역의 선형 조합의 분리 중 하나 이상에 의해 몫 Q를 유도하도록 구성될 수 있다. 평가 디바이스(124)는,
에 의해 몫 Q를 유도하도록 구성될 수 있고, 여기서, x 및 y는 가로 좌표이고, A1 및 A2는 각각 빔 프로파일의 제 1 및 제 2 영역이고, E(x,y)는 빔 프로파일을 나타낸다.
평가 디바이스(124)는 세로 좌표를 결정하기 위해 세로 좌표와 몫 Q 사이의 적어도 하나의 사전 결정된 관계를 이용하도록 구성될 수 있다. 사전 결정된 관계는 경험적 관계, 반 경험적 관계 및 분석적으로 유도된 관계 중 하나 이상일 수 있다. 평가 디바이스는 룩업 리스트 또는 룩업 테이블 등의 사전 결정된 관계를 저장하는 적어도 하나의 데이터 스토리지 디바이스를 포함할 수 있다.
평가 디바이스(124)는 0차 및 더 높은 차수를 갖는 모든 반사 특징에 대한 거리를 계산하는 적어도 하나의 깊이 대 광자비 알고리즘을 실행하도록 구성될 수 있다.
제 1 이미지의 평가는 휘도에 관하여 식별된 반사 특징을 정렬하는 것을 포함한다. 정렬은 휘도, 특히, 최대 휘도를 갖는 반사 특징에서 시작하여 감소하는 휘도를 갖는 후속 반사 특징에 대하여 추가 평가를 위해 반사 특징의 시퀀스를 할당하는 것을 포함할 수 있다. 가장 밝은 반사 특징이 DPR 계산에 선호되면, 세로 좌표 zDPR의 결정의 강건함은 증가될 수 있다. 이것은 주로 0차 회절 격자를 갖는 반사 특징이 높은 차수의 거짓 특징보다 항상 더 밝기 때문이다.
평가 디바이스(124)는 세로 좌표 zDPR을 사용하는 것에 의해 반사 특징을 대응하는 조명 특징과 명확히 일치하도록 구성된다. 깊이 대 광자비 기술에 의해 결정된 세로 좌표는 이른바 대응 문제를 해결하기 위해 사용될 수 있다. 이런 식으로, 반사 특징당 거리 정보는 공지의 레이저 프로젝터 그리드의 대응관계를 찾도록 사용될 수 있다.
반사 특징에 대응하는 조명 특징은 에피폴라 기하(epipolar geometry)를 이용하여 결정될 수 있다. 에피폴라 기하의 기술에 대해, 예를 들어, X.Jiang, H.Bunke: "Dreidimensionales Computersehen" Springer, Berlin Heidelberg, 1997의 챕터 2를 참조한다. 에피폴라 기하는, 조명 이미지, 즉, 왜곡되지 않은 조명 패턴의 이미지 및 제 1 이미지가 고정 거리를 갖는 상이한 공간 위치 및/또는 공간 방향에서 결정된 이미지일 수 있다는 것을 가정할 수 있다. 거리는 기준선이라고도 표기되는 상대적 거리일 수 있다. 조명 이미지는 참조 이미지로도 표기될 수 있다. 평가 디바이스(124)는 참조 이미지의 에피폴라선을 결정하도록 적용될 수 있다. 참조 이미지 및 제 1 이미지의 상대적 위치는 공지일 수 있다. 예를 들어, 참조 이미지 및 제 1 이미지의 상대적 위치는 평가 디바이스의 적어도 하나의 스토리지 유닛 내에 저장될 수 있다. 평가 디바이스(124)는 제 1 이미지의 선택된 반사 특징으로부터 그것이 비롯되는 현실 세계 특징까지 확장되는 직선을 결정하도록 적용될 수 있다. 따라서, 직선은 선택된 반사 특징에 대응하는 가능한 물체 특징을 포함할 수 있다. 직선 및 기준선은 에피폴라 평면에 걸쳐 이어진다. 참조 이미지가 제 1 이미지와 다른 상대적 성좌에서 결정되므로, 대응하는 가능한 물체의 특징은 참조 이미지에서 에피폴라 선이라 불리는 직선 상에 그려질 수 있다. 에피폴라선은 에피폴라 평면과 참조 이미지의 교차부일 수 있다. 따라서, 제 1 이미지의 선택된 특징에 대응하는 참조 이미지의 특징은 에피폴라선에 있다.
반사된 조명 특징을 갖는 장면의 물체까지의 거리에 따라, 조명 특징에 대응하는 반사 특징은 제 1 이미지(122) 내에서 변위될 수 있다. 참조 이미지는 선택된 반사 특징에 대응하는 조명 특징이 그려질 수 있는 적어도 하나의 변위 영역(displacement region)을 포함할 수 있다. 변위 영역은 하나의 조명 특징만을 포함할 수 있다. 변위 영역은 또한 하나보다 많은 조명 특징을 포함할 수도 있다. 변위 영역은 에피폴라선 또는 에피폴라선의 구역을 포함할 수 있다. 변위 영역은 하나보다 많은 에피폴라선 또는 하나보다 많은 에피폴라선의 더 많은 구역을 포함할 수 있다. 변위 영역은 에피폴라선을 따라, 에피폴라선에 직교하여 또는 양쪽 모두에 따라 확장될 수 있다. 평가 디바이스(124)는 에피폴라선을 따른 조명 특징을 결정하도록 적용될 수 있다. 평가 디바이스(124)는 반사 특징에 대한 세로 좌표 z 및 결합 신호 Q로부터의 오차 간격 ±ε을 결정하여, z±ε에 대응하는 에피폴라선을 따라 또는 에피폴라선에 직교하는 변위 영역을 결정하도록 적용될 수 있다. 결합 신호 Q를 이용하는 거리 측정의 측정 불확실성은, 측정 불확실성이 다른 방향에 대해 상이할 수 있으므로, 원이 아닌 제 2 이미지의 변위 영역을 초래할 수 있다. 구체적으로, 에피폴라선(들)을 따른 측정 불확실성은 에피폴라선(들)에 대해 직교 방향의 측정 불확실성보다 더 클 수 있다. 변위 영역은 에피폴라선(들)에 대해 직교 방향으로의 확장을 포함할 수 있다. 평가 디바이스(124)는 선택된 반사 특징을 변위 영역 내에서의 적어도 하나의 조명 특징과 일치시키도록 적용될 수 있다. 평가 디바이스(124)는, 결정된 세로 좌표 zDPR을 고려하여 적어도 하나의 평가 알고리즘을 이용하는 것에 의해, 선택된 제 1 이미지의 특징을 변위 영역 내의 조명 특징과 일치시키도록 적용될 수 있다. 평가 알고리즘은 선형 스케일링 알고리즘일 수 있다. 평가 디바이스(124)는 변위 영역에 가장 가까운, 또한/또는 변위 영역 내의 에피폴라선을 결정하도록 적용될 수 있다. 평가 디바이스는 반사 특징의 이미지 위치에 가장 가까운 에피폴라선을 결정하도록 적용될 수 있다. 에피폴라선을 따른 변위 영역의 연장은 에피폴라선에 직교하는 변위 영역의 연장보다 더 클 수 있다. 평가 디바이스(124)는 대응하는 조명 특징을 결정하기 전에 에피폴라선을 결정하도록 적용될 수 있다. 평가 디바이스(124)는 각각의 반사 특징의 이미지 위치 주변의 변위 영역을 결정할 수 있다. 평가 디바이스(124)는, 변위 영역에 가장 가까운, 또한/또는 변위 영역 내의, 또한/또는 에피폴라선에 직교하는 방향을 따른 변위 영역에 가장 가까운 에피폴라선을 할당하는 것 등에 의해, 반사 특징의 각각의 이미지 위치의 각 변위 영역에 에피폴라선을 할당하도록 적용될 수 있다. 평가 디바이스(124)는, 할당된 변위 영역에 가장 가까운, 또한/또는 할당된 변위 영역 내의, 또한/또는 할당된 에피폴라선을 따른 할당된 변위 영역에 가장 가까운, 또한/또는 할당된 에피폴라선을 따른 할당된 변위 영역 내의 조명 특징을 결정하는 것에 의해 반사 특징에 대응하는 조명 특징을 결정하도록 적용될 수 있다.
부가적으로 또는 이와 달리, 평가 디바이스(124)는 다음의 단계, 즉,
- 각각의 반사 특징의 이미지 위치에 대한 변위 영역을 결정하는 단계,
- 변위 영역에 가장 가까운, 또한/또는 변위 영역 내의, 또한/또는 에피폴라선에 직교하는 방향을 따른 변위 영역에 가장 가까운 에피폴라선을 할당하는 것 등에 의해, 각각의 반사 특징의 변위 영역에 에피폴라선을 할당하는 단계,
- 할당된 변위 영역에 가장 가까운, 또한/또는 할당된 변위 영역 내의, 또한/또는 할당된 에피폴라선을 따른 할당된 변위 영역에 가장 가까운, 또한/또는 할당된 에피폴라선을 따른 할당된 변위 영역 내의 조명 특징을 할당하는 것 등에 의해 각각의 반사 특징에 대해 적어도 하나의 조명 특징을 할당 및/또는 결정하는 단계
를 수행하도록 구성될 수 있다.
부가적으로 또는 이와 달리, 평가 디바이스(124)는, 반사 특징의 거리 및/또는 조명 이미지 내의 에피폴라선을 비교하는 것, 및/또는 조명 특징의 ε-가중 거리 등의 오차 가중 거리 및/또는 조명 이미지 내의 에피폴라선을 비교하고, 에피폴라선 및/또는 더 짧은 거리의 조명 특징 및/또는 조명 특징에 대한 ε-가중 거리 및/또는 반사 특징을 할당하는 것 등에 의해, 반사 특징에 할당될 하나보다 많은 에피폴라선 및/또는 조명 특징 중에서 결정하도록 적용될 수 있다.
상기에 설명한 바와 같이, 회절 격자로 인해, 예컨대, 각각의 조명 특징에 대해, 복수의 반사 특징인 하나의 실제 특징 및 복수의 거짓 특징이 생성된다. 일치는 가장 밝은 반사 특징에서 시작하여 반사 특징의 휘도를 감소시키면서 수행된다. 다른 반사 특징은 동일하게 일치한 조명 특징에 할당될 수 없다. 디스플레이 아티팩트로 인해, 생성되는 거짓 특징은 일반적으로 실제 특징보다 더 어둡다. 반사 특징을 휘도에 따라 정렬함으로써 더 밝은 반사 특징이 대응하는 일치에 대해 선호된다. 조명 특징의 대응관계가 이미 사용되고 있으면, 거짓 특징이 사용, 즉, 일치된 조명 특징에 할당될 수 없다.
도 2a는 단일 광 스폿을 포함하여 조명 패턴을 위해 디스플레이(112) 없이 시뮬레이트된 제 1 이미지(122)를 도시한다. 도 2b는 디스플레이(112) 뒤에서 광학 센서(118)에 의해 캡쳐된 제 1 이미지(122)를 도시한다. 회절 격자가 다수의 스폿을 생성하는 것이 관찰된다. 도 2b에서 실제 특징은 참조부호 126으로서 도시되고, 예시적인 거짓 특징은 참조부호 128로 도시된다. 도 2c는 디스플레이(112) 뒤에서 광학 센서(118)에 의해 캡쳐된 제 1 이미지(122)의 또 다른 예를 도시하고, 이 경우에 조명 패턴은 투영된 레이저 그리드이다. 회절 격자로 인해 다수의 스폿이 나타난다.
도 3a는 투영된 레이저 스폿을 갖는 장면의 또 다른 예시적인 제 1 이미지(122)를 도시한다. 0차 회절 격자(130) 및 더 높은 차수의 회절 격자(132)의 반사 특징이 도시된다. 도 3b 및 도 3c는 반사 특징 및 조명 특징의 일치를 나타낸다. 도 3b 및 도 3c의 왼쪽 부분에서 제 1 이미지(122)가 도시되고, 오른쪽 부분에서 2개의 조명 특징을 포함하는 대응하는 조명 패턴이 도시된다. 제 1 이미지(122)는 6개의 반사 특징을 포함할 수 있다. 평가 디바이스(124)는 제 1 이미지(122)에서 반사 특징을 식별하고, 그들의 휘도에 대해 그들을 정렬하도록 구성될 수 있다. 도 3b에 도시되는 바와 같이, 2개의 반사 특징은 다른 반사 특징에 비해 더 밝을 수 있다. 평가 디바이스(124)는 빔 프로파일 분석을 시작하고, 조명 특징을, 서클(134)로 표기되는, 2개의 더 밝은 반사 특징 중 하나와 일치시킬 수 있다. 화살표의 표기와 같이 2개의 더 밝은 반사 특징의 각각은 하나의 조명 특징과 일치될 수 있다. 평가 디바이스(124)는 상기 일치된 특징을 실제 특징으로 분류할 수 있다. 도 3c에 도시되는 바와 같이, 조명 패턴의 2개의 조명 특징은 더 밝은 반사 특징과 이미 일치된다. 다른 반사 특징은 동일하게 일치한 조명 특징에 할당될 수 없다. 휘도에 의해 반사 특징을 정렬함으로써, 더 밝은 반사 특징이 대응하는 일치에 대해 선호된다. 조명 특징의 대응 관계가 이미 사용되고 있으면 거짓 특징이 사용된, 즉 일치된 조명 특징에 할당될 수 없다. 따라서, 서클(136)로 표기된 2개의 나머지 반사 특징은 대응하는 조명 특징을 갖지 않고 패턴의 어느 포인트에도 할당될 수 없다. 상기 나머지 반사 특징은 평가 디바이스(124)에 의해 거짓 특징으로서 분류된다.
평가 디바이스(124)는 거짓 특징을 거부하고, 세로 좌표 zDPR을 이용하는 것에 의해 실제 특징에 대한 깊이 맵을 생성하도록 구성된다. 디스플레이 디바이스(110)는 장면, 예컨대, 얼굴로부터 3D 맵을 생성하도록 사용될 수 있다.
깊이 맵은 삼각 측량 및/또는 깊이 대 디포커스 및/또는 구조화 광 등의 추가 깊이 측정 기술을 이용하여 더 개선될 수 있다. 평가 디바이스는 삼각 측량 및/또는 깊이 대 디포커스 및/또는 구조화 광 기술을 이용하여 반사 특징의 각각에 대해 적어도 하나의 제 2 세로 좌표 ztriang를 결정하도록 구성될 수 있다. 평가 디바이스(124)는 제 2 세로 좌표 ztriang 및 세로 좌표 zDPR의 결합된 세로 좌표를 결정하도록 구성될 수 있다. 결합된 세로 좌표는 제 2 세로 좌표 ztriang와 세로 좌표 zDPR의 평균값일 수 있다. 결합된 세로 좌표는 깊이 맵을 결정하도록 사용될 수 있다.
도 1b에 도시되는 바와 같이, 디스플레이 디바이스(110)는 추가 조명원(138)을 포함할 수 있다. 추가 조명원(138)은 적어도 하나의 발광 다이오드(LED)를 포함할 수 있다. 추가 조명원(138)은 가시광선 스펙트럼 범위에서 광을 생성하도록 구성될 수 있다. 광학 센서(118)는 장면의 적어도 하나의 2차원 이미지를 포함하는 적어도 하나의 제 2 이미지를 결정하도록 구성될 수 있다. 추가 조명원(138)은 제 2 이미지의 이미징을 위해 추가 조명을 제공하도록 구성될 수 있다. 예를 들어, 디스플레이 디바이스(110)의 설정은 추가의 투광 조명 LED에 의해 연장될 수 있다. 추가 조명원(138)은 LED로, 특히 조명 패턴 없이, 얼굴 등의 장면을 조명할 수 있고, 광학 센서(118)는 2차원 이미지를 캡쳐하도록 구성될 수 있다. 2D 이미지는 얼굴 검출 및 증명 알고리즘에 사용될 수 있다.
디스플레이(112)의 임펄스 응답이 공지이면, 광학 센서(118)에 의해 캡쳐된 왜곡된 이미지는 정정될 수 있다. 평가 디바이스(124)는 제 2 이미지 I를 격자 함수 g로 디컨볼루션함으로써 적어도 하나의 수정된 이미지 I0을 결정하도록 구성될 수 있다(I=I0*g). 격자 함수는 임펄스 응답으로도 표기된다. 왜곡되지 않은 이미지는 디컨볼루션 방식, 예컨대, Van-Cittert 또는 Wiener 디컨볼루션에 의해 복원될 수 있다.
도 4에 도시되는 바와 같이, 디스플레이 디바이스(110)는 격자 함수 g를 결정하도록 구성될 수 있다. 예를 들어, 디스플레이 디바이스(110)는, 참조부호 140으로 표기되는, 소형 단일 브라이트 스폿을 포함하는 조명 패턴으로 블랙 장면을 조명하도록 구성될 수 있다. 캡쳐된 이미지(142)는 격자 함수일 수 있다. 이 프로시저는 교정동안 등 한번만 수행될 수 있다. 심지어 디스플레이(112)를 통한 이미징을 위해 수정된 이미지를 결정하기 위해, 디스플레이 디바이스(110)는 이미지를 캡쳐하고 캡쳐된 임펄스 응답 g를 갖는 디컨볼루션 방식을 이용하도록 구성될 수 있다. 그 결과 이미지는 더 적은 디스플레이의 아티팩트를 갖는 재구성된 이미지일 수 있고, 여러가지 응용, 예컨대, 안면 인식을 위해 사용될 수 있다. 도 5a 내지 도 5c는 광학 센서(118)로 캡쳐된 2차원 이미지의 예를 도시한다. 도 5a에서 예시적인 장면은 디스플레이(112) 뒤에서 광학 센서(118)로 캡쳐되었다. 도 5b에서 예시적인 장면은 디스플레이(112) 없이 광학 센서(118)로 캡쳐되었다. 도 5c는 디컨볼루션 방식으로 재구성된 이미지를 도시한다.
110 : 디스플레이 디바이스
112 : 디스플레이
114 : 조명원 116 : 하우징
118 : 광학 센서 120 : 감광 영역
122 : 제 1 이미지 124 : 평가 디바이스
126 : 실제 특징 128 : 거짓 특징
130 : 0차 회절 격자 132 : 더 높은 차수의 회절 격자
134 : 서클 136 : 서클
138 : 추가 조명원 140 : 블랙 장면의 조명을 위한 것
142 : 캡쳐 이미지
인용 문헌
DE 20 2018 003 644 U1
US 9,870,024 B2
US 10,057,541 B2
US 10,215,988 B2
WO 2018/091649 A1
WO 2018/091638 A1
WO 2018/091640 A1
WO 2019/042956 A1
114 : 조명원 116 : 하우징
118 : 광학 센서 120 : 감광 영역
122 : 제 1 이미지 124 : 평가 디바이스
126 : 실제 특징 128 : 거짓 특징
130 : 0차 회절 격자 132 : 더 높은 차수의 회절 격자
134 : 서클 136 : 서클
138 : 추가 조명원 140 : 블랙 장면의 조명을 위한 것
142 : 캡쳐 이미지
인용 문헌
DE 20 2018 003 644 U1
US 9,870,024 B2
US 10,057,541 B2
US 10,215,988 B2
WO 2018/091649 A1
WO 2018/091638 A1
WO 2018/091640 A1
WO 2019/042956 A1
Claims (16)
- 디스플레이 디바이스(110)로서,
- 적어도 하나의 장면(scene)에서 복수의 조명 특징을 포함하는 적어도 하나의 조명 패턴을 투영하도록 구성된 적어도 하나의 조명원(114)과,
- 적어도 하나의 감광 영역(120)을 갖는 적어도 하나의 광학 센서(118) - 상기 광학 센서(118)는 상기 조명 특징에 의한 조명에 응답하여 상기 장면에 의해 생성된 복수의 반사 특징을 포함하는 적어도 하나의 제 1 이미지(122)를 결정하도록 구성됨 - 와,
- 정보를 표시하도록 구성된 적어도 하나의 반투명 디스플레이(112)- 상기 조명원(114) 및 상기 광학 센서(118)는 상기 디스플레이(112)의 앞에서 상기 조명 패턴의 전파 방향으로 배치됨 - 와,
- 적어도 하나의 평가 디바이스(124)를 포함하고,
상기 평가 디바이스(124)는 상기 제 1 이미지(122)를 평가하도록 구성되고, 상기 제 1 이미지(122)의 상기 평가는 상기 제 1 이미지(122)의 상기 반사 특징을 식별하는 것과, 상기 식별된 반사 특징을 휘도에 대하여 정렬하는 것을 포함하고, 각각의 상기 반사 특징은 적어도 하나의 빔 프로파일을 포함하고, 상기 평가 디바이스(124)는 그들의 빔 프로파일의 분석에 의해 상기 반사 특징의 각각에 대해 적어도 하나의 세로 좌표 zDPR을 결정하도록 구성되고,
상기 평가 디바이스(124)는 상기 세로 좌표 zDPR을 이용함으로써 반사 특징을 대응하는 조명 특징과 명료하게 일치시키도록 구성되고, 상기 일치는 가장 밝은 반사 특징에서 시작하여 상기 반사 특징의 휘도를 감소시키는 것으로 수행되고, 상기 평가 디바이스(124)는 조명 특징과 일치하는 반사 특징을 실제 특징(real feature)으로서 분류하고, 조명 특징과 일치하지 않는 반사 특징을 거짓 특징(false feature)으로서 분류하도록 구성되고, 상기 평가 디바이스(124)는 상기 거짓 특징을 거부하고, 상기 세로 좌표 zDPR을 이용함으로써 상기 실제 특징에 대한 깊이 맵을 생성하도록 구성되는
디스플레이 디바이스(110). - 제 1 항에 있어서,
상기 평가 디바이스(124)는 삼각 측량 및/또는 깊이 대 디포커스(depth-from-defocus) 및/또는 구조화 광 기술을 이용하여 상기 반사 특징의 각각에 대해 적어도 하나의 제 2 세로 좌표 ztriang를 결정하도록 구성되는
디스플레이 디바이스(110). - 제 2 항에 있어서,
상기 평가 디바이스(124)는 상기 제 2 세로 좌표 ztriang 및 상기 세로 좌표 zDPR의 결합된 세로 좌표를 결정하도록 구성되고, 상기 결합된 세로 좌표는 상기 제 2 세로 좌표 ztriang 및 상기 세로 좌표 zDPR의 평균값이고, 상기 결합된 세로 좌표는 상기 깊이 맵을 생성하는 데 사용되는
디스플레이 디바이스(110). - 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 조명원(114)은 적어도 하나의 레이저 프로젝터를 포함하고, 상기 레이저 프로젝터는 적어도 하나의 레이저 소스 및 적어도 하나의 회절 광학 요소(DOE)를 포함하는
디스플레이 디바이스(110). - 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 조명원(114)은 상기 디스플레이(112)를 통해 상기 조명원(114)으로부터 상기 장면으로 통과하는 빔 경로를 갖는 적어도 하나의 광 빔을 생성하도록 구성되고, 상기 디스플레이(112)는, 상기 광 빔이 상기 조명 패턴을 초래하는 상기 디스플레이(112)에 의한 회절을 겪도록 격자로서의 기능을 위해 구성되는
디스플레이 디바이스(110). - 제 5 항에 있어서,
상기 디스플레이(112)의 배선은 상기 격자의 갭 및/또는 슬릿 및 능선을 형성하도록 구성되는
디스플레이 디바이스(110). - 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
상기 조명 패턴은 주기적 포인트 패턴을 포함하는
디스플레이 디바이스(110). - 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
상기 조명 패턴은 낮은 포인트 밀도를 갖고, 상기 조명 패턴은 시야당 2500 포인트 이하를 갖는
디스플레이 디바이스(110). - 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
상기 평가 디바이스(124)는 깊이 대 광자비 기술(depth-from-photon-ratio technique)을 이용하는 것에 의해 상기 반사 특징의 각각에 대해 빔 프로파일 정보를 결정하도록 구성되는
디스플레이 디바이스(110). - 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
상기 광학 센서(118)는 적어도 하나의 CMOS 센서를 포함하는
디스플레이 디바이스(110). - 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
상기 디스플레이 디바이스(110)는 추가 조명원(138)을 포함하고, 상기 추가 조명원(138)은 적어도 하나의 발광 다이오드(LED)를 포함하는
디스플레이 디바이스(110). - 제 11 항에 있어서,
상기 추가 조명원(138)은 가시광선 스펙트럼 범위에서 광을 생성하도록 구성되는
디스플레이 디바이스(110). - 제 11 항 또는 제 12 항에 있어서,
상기 광학 센서(118)는 상기 장면의 적어도 하나의 2차원 이미지를 포함하는 적어도 하나의 제 2 이미지를 결정하도록 구성되고, 상기 추가 조명원(138)은 상기 제 2 이미지의 이미징을 위한 추가 조명을 제공하도록 구성되는
디스플레이 디바이스(110). - 제 13 항에 있어서,
상기 평가 디바이스(124)는 상기 제 2 이미지 I를 격자 함수 g로 디컨볼루션함으로써 적어도 하나의 수정된 이미지 I0을 결정하도록 구성되되며, I=I0*g인
디스플레이 디바이스(110). - 반투명 디스플레이(112)를 통한 깊이 측정 방법으로서,
제 1 항 내지 제 14 항 중 어느 한 항에 따른 적어도 하나의 디스플레이 디바이스(110)가 사용되고, 상기 방법은 다음의 단계,
a) 적어도 하나의 조명원(114)을 사용하는 것에 의해 적어도 하나의 장면에 복수의 조명 특징을 포함하는 적어도 하나의 조명 패턴을 투영하는 단계 - 상기 조명원(114)은 상기 디스플레이(112)의 앞에서 상기 조명 패턴의 전파 방향에 위치함 - 와,
b) 적어도 하나의 광학 센서(118)를 사용하는 것에 의해 상기 조명 특징에 의한 조명에 응답하여 상기 장면에 의해 생성된 복수의 반사 특징을 포함하는 적어도 하나의 제 1 이미지(122)를 결정하는 단계 - 상기 광학 센서(118)는 적어도 하나의 감광 영역(120)을 갖고, 상기 광학 센서(118)는 상기 디스플레이(112)의 앞에서 상기 조명 패턴의 전파 방향에 위치하고, 상기 조명 특징의 각각은 적어도 하나의 빔 프로파일을 포함함 - 와,
c) 적어도 하나의 평가 디바이스(124)를 사용하는 것에 의해 상기 제 1 이미지(122)를 평가하는 단계 - 상기 평가는 다음의 하위 단계,
C1) 상기 제 1 이미지(122)의 상기 반사 특징을 식별하고, 상기 식별된 반사 특징을 휘도에 대해 정렬하는 단계와,
C2) 그들의 빔 프로파일의 분석에 의해 상기 반사 특징의 각각에 대해 적어도 하나의 세로 좌표 zDPR를 결정하는 단계와,
C3) 상기 세로 좌표 zDPR를 이용하는 것에 의해 반사 특징을 대응하는 조명 특징과 명확하게 일치시키는 단계 - 상기 일치는 가장 밝은 반사 특징에서 시작하여 상기 반사 특징의 휘도를 감소시키는 것으로 수행됨 - 와,
C4) 조명 특징과 일치하는 반사 특징을 실제 특징으로 분류하고, 조명 특징과 일치하지 않는 반사 특징을 거짓 특징으로 분류하는 단계와,
C5) 상기 거짓 특징을 거부하고, 상기 세로 좌표 zDPR를 이용하는 것에 의해 상기 실제 특징의 깊이 맵을 생성하는 단계를 포함하는
깊이 측정 방법. - 디스플레이 디바이스에 관한 제 1 항 내지 제 14 항 중 어느 한 항에 따른 디스플레이 디바이스(110)의 사용법으로서,
사용을 위해, 교통 기술의 위치 측정, 엔터테인먼트 애플리케이션, 보안 애플리케이션, 감시 애플리케이션, 안전 애플리케이션, 인간-기계 인터페이스 애플리케이션, 트래킹 애플리케이션, 촬영 애플리케이션, 이미징 애플리케이션, 또는 카메라 애플리케이션, 적어도 하나의 공간의 맵을 생성하기 위한 매핑 애플리케이션, 차량에 대한 호밍(homing) 또는 트래킹 비컨 검출기, 야외 애플리케이션, 모바일 애플리케이션, 통신 애플리케이션, 기계 비전 애플리케이션, 로보틱스 애플리케이션, 품질 제어 애플리케이션, 제조 애플리케이션으로 구성되는 그룹에서 선택되는
디스플레이 디바이스(110)의 사용법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP19211927 | 2019-11-27 | ||
| EP19211927.9 | 2019-11-27 | ||
| PCT/EP2020/083468 WO2021105265A1 (en) | 2019-11-27 | 2020-11-26 | Depth measurement through display |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220103962A true KR20220103962A (ko) | 2022-07-25 |
Family
ID=68731727
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227017578A KR20220103962A (ko) | 2019-11-27 | 2020-11-26 | 디스플레이를 통한 깊이 측정 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US11989896B2 (ko) |
| EP (1) | EP4066152A1 (ko) |
| JP (1) | JP2023503517A (ko) |
| KR (1) | KR20220103962A (ko) |
| CN (1) | CN114746905A (ko) |
| WO (1) | WO2021105265A1 (ko) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11860292B2 (en) | 2016-11-17 | 2024-01-02 | Trinamix Gmbh | Detector and methods for authenticating at least one object |
| JP2022532144A (ja) | 2019-05-08 | 2022-07-13 | オーティーアイ ルミオニクス インコーポレーテッド | 核生成抑制コーティングを形成するための材料およびそれを組み込んだデバイス |
| IT202000017488A1 (it) * | 2020-07-17 | 2022-01-17 | Thales Alenia Space Italia Spa Con Unico Socio | Unita' ottica per un sistema metrologico ottico proiettivo per la determinazione di grandezze relative a assetto e/o posizione e la comunicazione di dati |
| KR20230116914A (ko) | 2020-12-07 | 2023-08-04 | 오티아이 루미오닉스 인크. | 핵 생성 억제 코팅 및 하부 금속 코팅을 사용한 전도성 증착 층의 패턴화 |
| CN117836806A (zh) | 2021-08-23 | 2024-04-05 | 特里纳米克斯股份有限公司 | 从明暗恢复形状 |
| KR20240093513A (ko) * | 2021-10-26 | 2024-06-24 | 트리나미엑스 게엠베하 | 멀티 파장 프로젝터와 관련된 확장된 재료 검출 |
| WO2023156478A1 (en) | 2022-02-15 | 2023-08-24 | Trinamix Gmbh | Method for operating a display device, and display device having a secure authentication process |
| WO2023156449A1 (en) | 2022-02-15 | 2023-08-24 | Trinamix Gmbh | System for identifying a display device |
| WO2023156452A1 (en) | 2022-02-15 | 2023-08-24 | Trinamix Gmbh | System for identifying a subject |
| WO2023156460A1 (en) | 2022-02-15 | 2023-08-24 | Trinamix Gmbh | Method and device for characterizing an object for authentication |
| WO2023156480A1 (en) | 2022-02-15 | 2023-08-24 | Trinamix Gmbh | Method for providing user-related and/or process-related information by a display device |
| CN114460594B (zh) * | 2022-04-14 | 2022-06-14 | 宜科(天津)电子有限公司 | 一种基于三角测距的图像的去噪方法 |
| WO2024170254A1 (en) | 2023-02-15 | 2024-08-22 | Trinamix Gmbh | Authentication system for vehicles |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7257248B2 (en) * | 2003-03-27 | 2007-08-14 | General Electric Company | Non-contact measurement system and method |
| US9122946B2 (en) | 2006-01-24 | 2015-09-01 | The Trustees Of Columbia University In The City Of New York | Systems, methods, and media for capturing scene images and depth geometry and generating a compensation image |
| US9582883B2 (en) * | 2006-06-16 | 2017-02-28 | Lyle G. Shirley | Method and apparatus for remote sensing and comparing utilizing radiation speckle |
| EP2375227A1 (en) * | 2010-04-09 | 2011-10-12 | Siemens Aktiengesellschaft | Measurement of three-dimensional motion characteristics |
| KR101781533B1 (ko) * | 2010-12-23 | 2017-09-27 | 삼성디스플레이 주식회사 | 영상 촬영 장치 및 이의 영상 촬영 방법 |
| EP3085082B1 (en) | 2013-12-17 | 2020-04-29 | Marsupial Holdings Inc. | Integrated microoptic imager, processor, and display |
| US9870024B2 (en) | 2015-10-30 | 2018-01-16 | Essential Products, Inc. | Camera integrated into a display |
| JP7090597B2 (ja) * | 2016-09-28 | 2022-06-24 | トムトム グローバル コンテント ベスローテン フエンノートシャップ | 位置特定基準データを生成及び使用する方法及びシステム |
| EP3571522B1 (en) | 2016-11-17 | 2023-05-10 | trinamiX GmbH | Detector for optically detecting at least one object |
| KR102681300B1 (ko) | 2017-08-28 | 2024-07-04 | 트리나미엑스 게엠베하 | 적어도 하나의 대상체의 위치를 결정하는 검출기 |
| EP3791363A1 (en) * | 2018-05-09 | 2021-03-17 | trinamiX GmbH | Method and devices for determining a filling level in at least one storage unit |
| DE202018003644U1 (de) | 2018-08-07 | 2018-08-17 | Apple Inc. | Elektronische Vorrichtung mit einer von einer selbstausrichtenden Klammeranordnung gehaltenen Sichtsystemanordnung |
| KR20210126738A (ko) * | 2019-02-20 | 2021-10-20 | 트리나미엑스 게엠베하 | 적어도 하나의 대상체를 조명하기 위한 프로젝터를 구비하는 검출기 |
| US11947013B2 (en) | 2019-03-15 | 2024-04-02 | Trinamix Gmbh | Detector for identifying at least one material property |
| US11555694B2 (en) * | 2020-07-17 | 2023-01-17 | Systemes Pavemetrics Inc. | Method and system for controlling a laser profiler |
-
2020
- 2020-11-26 EP EP20812030.3A patent/EP4066152A1/en active Pending
- 2020-11-26 JP JP2022531483A patent/JP2023503517A/ja active Pending
- 2020-11-26 KR KR1020227017578A patent/KR20220103962A/ko unknown
- 2020-11-26 WO PCT/EP2020/083468 patent/WO2021105265A1/en unknown
- 2020-11-26 US US17/756,552 patent/US11989896B2/en active Active
- 2020-11-26 CN CN202080082424.0A patent/CN114746905A/zh active Pending
-
2023
- 2023-09-15 US US18/468,327 patent/US20240005538A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20220398759A1 (en) | 2022-12-15 |
| JP2023503517A (ja) | 2023-01-30 |
| EP4066152A1 (en) | 2022-10-05 |
| US11989896B2 (en) | 2024-05-21 |
| WO2021105265A1 (en) | 2021-06-03 |
| US20240005538A1 (en) | 2024-01-04 |
| CN114746905A (zh) | 2022-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11989896B2 (en) | Depth measurement through display | |
| US20230078604A1 (en) | Detector for object recognition | |
| US20230403906A1 (en) | Depth measurement through display | |
| US20230081742A1 (en) | Gesture recognition | |
| KR20230028303A (ko) | 확산 조명 및 구조화 광을 위한 프로젝터 | |
| US11920918B2 (en) | One shot calibration | |
| US11906421B2 (en) | Enhanced material detection by stereo beam profile analysis | |
| US11995857B2 (en) | Shape-from-shading | |
| KR20240093513A (ko) | 멀티 파장 프로젝터와 관련된 확장된 재료 검출 | |
| US20240027188A1 (en) | 8bit conversion | |
| US20240284031A1 (en) | Emitter array with two or more independently driven areas | |
| KR20240141168A (ko) | 스테레오 빔 프로파일 분석에 의한 향상된 재료 검출 | |
| JP2024512247A (ja) | 顔ロック解除のための光学的皮膚検出 | |
| WO2023083784A1 (en) | Recalibration of a 3d detector based on structured light | |
| WO2023156449A1 (en) | System for identifying a display device |