KR20230107574A - 디스플레이를 통한 깊이 측정 - Google Patents
디스플레이를 통한 깊이 측정 Download PDFInfo
- Publication number
- KR20230107574A KR20230107574A KR1020237015956A KR20237015956A KR20230107574A KR 20230107574 A KR20230107574 A KR 20230107574A KR 1020237015956 A KR1020237015956 A KR 1020237015956A KR 20237015956 A KR20237015956 A KR 20237015956A KR 20230107574 A KR20230107574 A KR 20230107574A
- Authority
- KR
- South Korea
- Prior art keywords
- display
- illumination
- optical sensor
- feature
- area
- Prior art date
Links
- 238000005259 measurement Methods 0.000 title claims description 46
- 230000003287 optical effect Effects 0.000 claims abstract description 343
- 238000005286 illumination Methods 0.000 claims abstract description 336
- 230000004044 response Effects 0.000 claims abstract description 22
- 238000011156 evaluation Methods 0.000 claims description 214
- 239000000463 material Substances 0.000 claims description 91
- 238000000034 method Methods 0.000 claims description 59
- 230000006870 function Effects 0.000 claims description 34
- 238000004458 analytical method Methods 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 claims description 18
- 238000005516 engineering process Methods 0.000 claims description 13
- 239000012769 display material Substances 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 238000003908 quality control method Methods 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims 1
- 238000006073 displacement reaction Methods 0.000 description 65
- 239000011159 matrix material Substances 0.000 description 50
- 230000000875 corresponding effect Effects 0.000 description 42
- 230000005540 biological transmission Effects 0.000 description 28
- 238000012545 processing Methods 0.000 description 27
- 230000001419 dependent effect Effects 0.000 description 22
- 238000004422 calculation algorithm Methods 0.000 description 21
- 238000009826 distribution Methods 0.000 description 19
- 238000012360 testing method Methods 0.000 description 18
- 230000010354 integration Effects 0.000 description 15
- 239000004065 semiconductor Substances 0.000 description 14
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 13
- 229910052710 silicon Inorganic materials 0.000 description 13
- 239000010703 silicon Substances 0.000 description 13
- 230000003595 spectral effect Effects 0.000 description 13
- 238000000926 separation method Methods 0.000 description 12
- 230000000737 periodic effect Effects 0.000 description 11
- 238000013500 data storage Methods 0.000 description 10
- 230000003247 decreasing effect Effects 0.000 description 10
- 239000000126 substance Substances 0.000 description 10
- 238000001914 filtration Methods 0.000 description 9
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 8
- 238000000354 decomposition reaction Methods 0.000 description 8
- 238000012935 Averaging Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 239000010410 layer Substances 0.000 description 7
- 238000010191 image analysis Methods 0.000 description 6
- 230000005855 radiation Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 229910000530 Gallium indium arsenide Inorganic materials 0.000 description 4
- 238000003491 array Methods 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000002834 transmittance Methods 0.000 description 4
- 229910000673 Indium arsenide Inorganic materials 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- RPQDHPTXJYYUPQ-UHFFFAOYSA-N indium arsenide Chemical compound [In]#[As] RPQDHPTXJYYUPQ-UHFFFAOYSA-N 0.000 description 3
- 230000035515 penetration Effects 0.000 description 3
- 239000011241 protective layer Substances 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- YBNMDCCMCLUHBL-UHFFFAOYSA-N (2,5-dioxopyrrolidin-1-yl) 4-pyren-1-ylbutanoate Chemical compound C=1C=C(C2=C34)C=CC3=CC=CC4=CC=C2C=1CCCC(=O)ON1C(=O)CCC1=O YBNMDCCMCLUHBL-UHFFFAOYSA-N 0.000 description 2
- JBRZTFJDHDCESZ-UHFFFAOYSA-N AsGa Chemical compound [As]#[Ga] JBRZTFJDHDCESZ-UHFFFAOYSA-N 0.000 description 2
- 229910001218 Gallium arsenide Inorganic materials 0.000 description 2
- 229910000661 Mercury cadmium telluride Inorganic materials 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 229910021417 amorphous silicon Inorganic materials 0.000 description 2
- 238000000540 analysis of variance Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000003705 background correction Methods 0.000 description 2
- 239000012620 biological material Substances 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000006260 foam Substances 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- WPYVAWXEWQSOGY-UHFFFAOYSA-N indium antimonide Chemical compound [Sb]#[In] WPYVAWXEWQSOGY-UHFFFAOYSA-N 0.000 description 2
- 229910010272 inorganic material Inorganic materials 0.000 description 2
- 239000011147 inorganic material Substances 0.000 description 2
- 235000020061 kirsch Nutrition 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000005693 optoelectronics Effects 0.000 description 2
- 239000011368 organic material Substances 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- LHMQDVIHBXWNII-UHFFFAOYSA-N 3-amino-4-methoxy-n-phenylbenzamide Chemical compound C1=C(N)C(OC)=CC=C1C(=O)NC1=CC=CC=C1 LHMQDVIHBXWNII-UHFFFAOYSA-N 0.000 description 1
- 238000001134 F-test Methods 0.000 description 1
- OMOVVBIIQSXZSZ-UHFFFAOYSA-N [6-(4-acetyloxy-5,9a-dimethyl-2,7-dioxo-4,5a,6,9-tetrahydro-3h-pyrano[3,4-b]oxepin-5-yl)-5-formyloxy-3-(furan-3-yl)-3a-methyl-7-methylidene-1a,2,3,4,5,6-hexahydroindeno[1,7a-b]oxiren-4-yl] 2-hydroxy-3-methylpentanoate Chemical compound CC12C(OC(=O)C(O)C(C)CC)C(OC=O)C(C3(C)C(CC(=O)OC4(C)COC(=O)CC43)OC(C)=O)C(=C)C32OC3CC1C=1C=COC=1 OMOVVBIIQSXZSZ-UHFFFAOYSA-N 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 229910052785 arsenic Inorganic materials 0.000 description 1
- RQNWIZPPADIBDY-UHFFFAOYSA-N arsenic atom Chemical compound [As] RQNWIZPPADIBDY-UHFFFAOYSA-N 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000010408 film Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 229910052738 indium Inorganic materials 0.000 description 1
- APFVFJFRJDLVQX-UHFFFAOYSA-N indium atom Chemical compound [In] APFVFJFRJDLVQX-UHFFFAOYSA-N 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 229910052755 nonmetal Inorganic materials 0.000 description 1
- 150000002894 organic compounds Chemical class 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
- H10K59/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
- H10K59/60—OLEDs integrated with inorganic light-sensitive elements, e.g. with inorganic solar cells or inorganic photodiodes
- H10K59/65—OLEDs integrated with inorganic image sensors
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
- H10K59/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
- H10K59/60—OLEDs integrated with inorganic light-sensitive elements, e.g. with inorganic solar cells or inorganic photodiodes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/46—Indirect determination of position data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/493—Extracting wanted echo signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
- G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
- G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
- G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
- H10K59/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
- H10K59/70—OLEDs integrated with inorganic light-emitting elements, e.g. with inorganic electroluminescent elements
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
- H10K59/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
- H10K59/90—Assemblies of multiple devices comprising at least one organic light-emitting element
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
- G09G2320/0653—Controlling or limiting the speed of brightness adjustment of the illumination source
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
- H10K2102/00—Constructional details relating to the organic devices covered by this subclass
- H10K2102/301—Details of OLEDs
- H10K2102/302—Details of OLEDs of OLED structures
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
- H10K2102/00—Constructional details relating to the organic devices covered by this subclass
- H10K2102/301—Details of OLEDs
- H10K2102/351—Thickness
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Inorganic Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Sustainable Development (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
Abstract
디스플레이 디바이스(1)가 개시된다. 디스플레이 디바이스(1)는 적어도 하나의 장면 상에 적어도 하나의 조명 빔을 투영하도록 구성된 적어도 하나의 조명원(5)과, 적어도 하나의 감광 영역을 갖는 적어도 하나의 광학 센서(4) - 광학 센서(4)는 조명 빔에 의한 조명에 응답하여 장면에 의해 생성된 적어도 하나의 반사 광 빔을 측정하도록 구성됨 - 와, 정보를 표시하도록 구성된 적어도 하나의 반투명 디스플레이(2) - 조명원(5) 및 광학 센서(4)는 디스플레이(2)의 앞에서 조명 광 빔의 전파 방향에 배치됨 - 와, 적어도 하나의 제어 유닛(8) - 제어 유닛(8)은 조명 동안 조명원(5)의 영역 및/또는 측정 동안 광학 센서(4)의 영역에서 디스플레이(2)를 끄도록 구성됨 - 을 포함한다.
Description
본 발명은 디스플레이 디바이스, 반투명 디스플레이를 통한 측정 방법 및 디스플레이 디바이스의 여러가지 용도에 관한 것이다. 특히, 본 발명에 따른 디바이스, 방법 및 용도는, 예컨대, 일상 생활, 보안 기술, 게임, 교통 기술, 생산 기술, 예술용 디지털 사진술 또는 영상 사진술과 같은 사진술, 문서화 또는 기술 목적, 안전 기술, 정보 기술, 농업, 농작물 보호, 유지 보수, 화장품, 의료 기술의 다양한 영역에서 또는 과학에서 사용될 수 있다. 그러나, 다른 응용도 또한 가능하다.
여러가지 디스플레이 디바이스가 알려져 있다. 디스플레이를 갖는 디바이스에 대한 최근의 발전은, 디스플레이 영역이 이용 가능한 전체 공간을 덮어야 하고 디스플레이를 둘러싸는 프레임은 가능한 작아야 하는 것을 나타낸다. 이로 인해 예컨대, 전면 카메라, 손전등, 근접 센서 및 심지어 3D 이미징 센서 등의 전자 부품 및 센서가 더 이상 프레임 내에 배치될 수 없고 디스플레이 아래에 배치되어야 하게 된다. 그러나, 구조화된 광 또는 3D 비행시간(ToF)에 근거한 3D 이미징 시스템과 같은 가장 일반적인 3D 이미징 기법 및 시스템은 어려움 없이 디스플레이 아래에 배치될 수 없다.
지금까지, 구조화된 광 또는 3D-ToF에 근거한 3D 이미징 시스템이, 윈도우를 통해 "보는" 3D 이미징 시스템의 부품 또는 디바이스를 배치하기 위해, 디스플레이 아래에서, 즉, 임의의 마이크로 회로 및/또는 마이크로 배선을 포함하지 않는 빈 윈도우를 만들지 않고 작동하는 것은 알려져 있지 않다.
구조화된 광에 대해, 주된 문제는 투명 디스플레이의 마이크로 회로 및/또는 마이크로 배선의 마이크로 구조이며, 결과적으로 디스플레이를 통한 낮은 광 송신이다. 이 마이크로 구조는 단일 화소를 처리하기 위한 전극 매트릭스에 기인한다. 또한, 단일 화소의 금속 캐소드는 투명하지 않기 때문에 화소 자체가 반전된 격자를 나타낸다. 원칙적으로 디스플레이 구조는 특정 물질을 사용하는 것에 의해, 전극을 포함하여 전체로서 투명 또는 반투명하게 만들어질 수 있다. 그러나, 지금까지는 높은 디스플레이 품질과 안정성을 유지하면서 마이크로 구조와 같은 격자를 갖지 않는 투명 또는 반투명 디스플레이는 없었다.
3D 영상기에 근거한 구조화 광은 포인트 클라우드(point cloud)를 수천개의 점 및 공지의 패턴으로 배경(scenery)에 투영하는 것에 근거한다. 투명 또는 반투명 디스플레이의 마이크로 구조는 레이저 광을 위한 회절 격자 구조와 유사하게 작동한다. 구조화 광 영상기의 대부분의 프로젝터는 명확한 도트 패턴을 투영하는 레이저 소스에 근거하기 때문에, 이 패턴은 디스플레이의 격자 효과를 경험하고, 도트 패턴의 모든 단일 스폿은 더 높은 회절 순차를 나타낼 것이다. 격자 구조에 의해 초래된 추가 및 원치 않는 포인트는 그 알고리즘이 원래의 예상 패턴을 검색하는 것에 대해 매우 복잡하게 하기 때문에, 이것은 구조화 광 영상기에 대해 매우 강력한 영향을 미친다.
또한, 전통적인 구조화 광 영상기에 사용된 투영 포인트의 수는 상당히 많다. 반투명 디스플레이는, 예컨대, 심지어, 3D 영상기에 일반적인 파장인 850nm 및 940nm에서의 적외선(IR)에서 매우 낮은 광 송신을 갖기 때문에, 디스플레이를 통해, 추가 광 흡수를 초래하는 디스플레이 아래에 위치해야 하는 영상기에 의해 검출될 충분한 전력을 얻기 위해 매우 높은 출력 전력이 구조화 광 프로젝터에 필요하다. 많은 수의 포인트와 낮은 광 송신의 조합은 낮은 주변 광 강건성을 초래할 수 있다.
3D-ToF 센서에 대해, 디스플레이 표면에서의 반사는 광이 디스플레이를 통과할 때의 지연의 차이뿐만 아니라 복수의 반사를 초래하고, 상이한 디스플레이 구조는 상이한 굴절률을 갖고 디스플레이 뒤에서 사용될 때 강건한 기능을 방지한다. 또한, 3D-ToF 센서는 배경을 조명하기 위해 많은 양의 광을 필요로 한다. 부가하여, 조명은 균일해야 한다. 디스플레이의 낮은 광 송신은 충분한 광을 제공하는 것을 어렵게 하고, 격자 구조는 조명의 균일성에 영향을 미친다.
통상의 3D 센싱 시스템은 투명 디스플레이를 통해 측정하는 문제를 갖는다. 현재의 디바이스는 디스플레이의 노치를 사용한다. 이런 식으로 센서는 회절 광학 효과에 의해 방해받지 않는다.
DE 20 2018 003 644 U1은, 바텀월 및 바텀월과 함께 캐비티를 정의하는 사이드월 - 사이드월은 캐비티를 초래하는 개구를 정의하는 에지를 가짐 - 과, 개구를 덮고 캐비티를 둘러싸는 보호층과, 캐비티 내에 그리고 보호층과 바텀월 사이에 배치되고, 보호층 외부의 물체의 깊이 맵을 제공하는 비전 서브시스템 - 비전 서브시스템은 깊이 맵에 대한 정보를 생성하도록 협력하는 광 구성요소를 운반하는 클립 어셈블리를 포함하고, 클립 어셈블리는 고정된 거리에서 서로 광 구성요소를 지지 및 유지하도록 배치된 제 1 브라켓과, 제 1 브라켓에 본체가 고정된 제 2 브라켓을 포함하고, 제 2 브라켓은 본체로부터 연장되는 돌출부를 가짐 - 을 포함하는 휴대용 전자 디바이스를 기술한다.
US 9,870,024 B2는, 커버층과, 컬러 필터층과, 발광 다이오드 또는 유기 발광 다이오드를 포함하는 디스플레이층과, 박막 트랜지스터층 등의 여러가지 층을 포함하는 전자 디스플레이를 기술한다. 일 실시예에서, 층은 카메라 위에 배치된 실질적으로 투명한 영역을 포함한다. 실질적으로 투명한 영역은 외부로부터의 광이 카메라에 도달하게 하여 카메라가 이미지를 기록할 수 있게 한다.
US 10,057,541 B2는 이미지 캡쳐 장치 및 촬영 방법을 기술한다. 이미지 캡쳐 장치는, 투명 디스플레이 패널과, 셔터 시간을 투명 디스플레이 패널이 블랙 이미지를 표시하는 기간과 동기화시키고, 투명 디스플레이 패널의 전면에 위치한 이미지를 캡쳐하기 위해 투명 디스플레이 패널의 바닥면에 접하는 카메라를 포함한다.
US 10,215,988 B2는, 제 1 복수의 광 지향성 조리개, 광 검출기, 프로세서, 디스플레이 및 제 2 복수의 광 지향성 조리개를 포함하는 액티브 광학 구성요소를 포함하는, 장면(scene)으로부터의 광을 표시하는 광학 시스템을 기술한다. 제 1 복수의 광 지향성 조리개는 광 검출기에 광 입력을 제공하도록 배치된다. 광 검출기는 광 입력을 수신하고 광 입력을 강도 및 위치 데이터에 대응하는 전기 신호로 변환하도록 배치된다. 프로세서는 광 검출기로부터의 데이터를 수신하도록 접속되고, 디스플레이에 대한 데이터를 처리한다. 제 2 복수의 광 지향성 조리개는 디스플레이로부터의 광 출력을 제공하도록 배치된다.
스마트폰, 태블릿 등과 같은 모바일 디바이스에는 일반적으로 유기 발광 다이오드(OLED) 영역과 같은 전면 디스플레이가 있다. 그러나, 이러한 모바일 디바이스에는 지문 인식, 하나 이상의 셀프 카메라, 3D 센서 등을 위한 일부 센서가 전면에 필요하다. 전면 디스플레이의 존재로 인해 상기 센서를 사용한 측정의 가능한 간섭을 줄이기 위해, 센서가 배치되고 디스플레이가 존재하지 않거나 방해받지 않는 특수 영역이 있는 것으로 알려져 있다. 이러한 특수 영역은 소위 노치이다. 켜진 OLED를 통해 활성 광원을 사용하여 측정하면 간섭으로 인한 아티팩트, 예컨대, 깜박임, 색상 이동이 발생하는 경우가 많으며 여전히 기술적 난제가 될 수 있다. 또한, 센서 기술을 OLED 뒤에 숨기면 보안 인증이 진행되는 등 어떤 일이 발생하는 경우 소비자에게 직접적인 피드백이 제공되지 않는다.
따라서, 본 발명의 목적은 공지의 디바이스 및 방법의 상술한 기술적 과제에 직면한 디바이스 및 방법을 제공하는 것이다. 구체적으로, 본 발명의 목적은 낮은 기술적 노력 및 기술적 리소스 및 비용의 관점에서의 낮은 요건을 갖고 동시에 노치 또는 에지 영역이 없는 풀 사이즈 디스플레이를 갖는 디스플레이를 통해 신뢰성 있는 깊이 측정을 가능하게 하는 디바이스 및 방법을 제공하는 것이다.
이 과제는 독립 청구항의 특징을 갖는 본 발명에 의해 해결된다. 개별적으로 또는 조합하여 실현될 수 있는 본 발명의 유리한 전개는 종속 청구항 및/또는 다음의 상세한 설명 및 세부적인 실시예에 제시된다.
다음에서 사용되는 바와 같이, "갖다", "구비하다" 및 "포함하다"라는 용어 및 그것의 임의의 문법적인 변형은 비배타적인 방식으로 사용된다. 따라서, 이들 용어는 이들 용어에 의해 도입된 특징 외에 이 컨텍스트 내에 기술된 엔티티에 다른 특징이 존재하지 않는 상황, 및 하나 이상의 다른 특징이 존재하는 상황 모두를 지칭할 수 있다. 일례로서, "A는 B를 갖다", "A는 B를 구비한다" 및 "A는 B를 포함한다"라는 표현은, B 외에 다른 요소는 A에 존재하지 않는 상황(즉, A가 오로지 B로만 독점적으로 구성되는 상황), 및 B 이외에, 요소 C, 요소 C와 D, 또는 그 이상의 추가 요소와 같은 하나 이상의 추가 요소가 엔티티 A에 존재하는 상황을 모두 의미할 수 있다.
또한, 특징 또는 요소가 한번 또는 그 이상 존재할 수 있음을 나타내는 용어 "적어도 하나", "하나 이상" 또는 유사한 표현은 일반적으로 각각의 특징 또는 요소를 도입할 때 한번만 사용될 것임에 유의해야 한다. 다음에, 대부분의 경우, 각각의 특징 또는 요소를 언급할 때, 각각의 특징 또는 요소가 한번 또는 그 이상 존재할 수 있음에도 불구하고 "적어도 하나" 또는 "하나 이상"이라는 표현은 반복되지 않을 것이다.
또한, 다음에서 사용되는 바와 같이, 용어 "바람직하게는", "더 바람직하게는", "특별히", "더 특별히", "구체적으로", "더 구체적으로" 또는 유사한 용어가 대안의 가능성을 제한함 없이 선택적 특징과 관련하여 사용된다. 따라서, 이들 용어에 의해 도입된 특징은 선택적 특징이고, 어떤 식으로든 청구범위를 제한하도록 의도되지 않는다. 본 발명은 당업자가 인식할 수 있는 바와 같이 대안의 특징을 사용하는 것에 의해 수행될 수 있다. 유사하게, "본 발명의 실시예에서" 또는 유사한 표현에 의해 도입된 특징은, 본 발명의 대안의 실시예에 관한 임의의 제한 없이, 본 발명의 범위에 관한 임의의 제한 없이, 또한 이러한 방식으로 도입된 특징을 본 발명의 다른 선택적 또는 비 선택적 특징과 조합할 가능성에 관한 임의의 제한 없이 선택적인 특징인 것으로 의도된다.
본 발명의 제1 양상에서 디스플레이 디바이스가 개시된다. 여기에 사용된 바와 같이, 용어 "디스플레이"는 적어도 하나의 이미지, 적어도 하나의 다이어그램, 적어도 하나의 히스토그램, 적어도 하나의 텍스트, 적어도 하나의 사인 등의 정보의 항목을 표시하도록 구성된 임의의 형상의 디바이스를 의미할 수 있다. 디스플레이는 적어도 하나의 모니터 또는 적어도 하나의 스크린일 수 있다. 디스플레이는 임의의 형상, 바람직하게는 직사각형 형상일 수 있다. 여기서 사용된 바와 같이, 용어 "디스플레이 디바이스"는 일반적으로 적어도 하나의 디스플레이를 포함하는 적어도 하나의 전자 디바이스를 의미할 수 있다. 예를 들어, 디스플레이 디바이스는 텔레비전 디바이스, 셀폰, 스마트폰, 게임 콘솔, 태블릿 컴퓨터, 퍼스널 컴퓨터, 랩탑, 태블릿, 가상 현실 디바이스 또는 다른 유형의 휴대용 컴퓨터로 구성되는 그룹 중에서 선택된 모바일 디바이스일 수 있다.
디스플레이 디바이스는,
- 적어도 하나의 장면(scene) 상에 적어도 하나의 조명 빔을 투영하도록 구성된 적어도 하나의 조명원과,
- 적어도 하나의 감광 영역을 갖는 적어도 하나의 광학 센서 - 광학 센서는 조명 빔에 의한 조명에 응답하여 장면에 의해 생성된 적어도 하나의 반사 광 빔을 측정하도록 구성됨 - 와,
- 정보를 표시하도록 구성된 적어도 하나의 반투명 디스플레이 - 조명원 및 광학 센서는 디스플레이의 앞에서 조명 광 빔의 전파 방향에 배치됨 - 와,
- 적어도 하나의 제어 유닛 - 제어 유닛은 조명 동안 조명원의 영역 및/또는 측정 동안 광학 센서의 영역에서 디스플레이를 끄도록 구성됨 - 을 포함한다.
여기서 사용된 바와 같이, 용어 "장면"은 적어도 하나의 임의의 물체 또는 공간 영역을 지칭할 수 있다. 장면은 적어도 하나의 물체 및 주변 환경을 포함할 수 있다.
조명원(illumination source)은 조명 빔, 특히 복수의 조명 특징을 포함하는 적어도 하나의 조명 패턴을 장면에 투영하도록 구성된다. 여기서 사용된 바와 같이, 용어 "조명원"은 일반적으로 장면의 조명을 위해 적어도 하나의 조명 빔을 제공하도록 구성되는 적어도 하나의 임의의 디바이스를 지칭할 수 있다. 조명원은 장면을 직접 또는 간접적으로 조명하도록 구성될 수 있고, 조명 빔은 장면의 표면에 반사 또는 산란되고, 이에 따라 적어도 부분적으로 광학 센서 쪽으로 지향된다. 조명원은, 광 빔을 반사하는 장면을 향해 광 빔을 지향시키는 것에 의해 장면을 조명하도록 구성될 수 있다.
조명원은 적어도 하나의 광원을 포함할 수 있다. 조명원은 복수의 광원을 포함할 수 있다. 조명원은 인공적인 조명원, 특히, 적어도 하나의 레이저 소스 및/또는 적어도 하나의 백열등 및/또는 적어도 하나의 반도체 광원, 예컨대, 적어도 하나의 발광 다이오드, 특히 유기 및/또는 무기 발광 다이오드를 포함할 수 있다. 일례로서, 조명원에 의해 방출된 광은 300 내지 1100nm, 특히 500 내지 1100nm의 파장을 가질 수 있다. 부가적으로 또는 이와 달리, 예컨대, 780nm 내지 3.0㎛의 범위의 적외선 스펙트럼 범위의 광이 사용될 수 있다. 조명원은 적어도 하나의 적외선 광원을 포함할 수 있다. 구체적으로, 실리콘 광 다이오드가 구체적으로 700nm 내지 1100nm의 범위에서 적용될 수 있는 근적외선 영역의 부분에서의 광이 사용될 수 있다. 조명원은 적외선 영역에서 적어도 하나의 조명 광 빔, 특히 적어도 하나의 조명 패턴을 생성하도록 구성될 수 있다. 근적외선 영역의 광을 이용하는 것은, 광이 육안으로 검출되지 않거나 또는 약하게 검출되고 여전히 실리콘 센서, 특히 표준 실리콘 센서에 의해 검출 가능하게 한다.
여기서 사용되는 바와 같이, 용어 "광선(ray)"은 일반적으로 에너지 흐름의 방향으로 가리키는 광의 파면에 수직인 선을 의미한다. 여기에 사용되는 바와 같이, 용어 "빔"은 일반적으로 광선의 모음을 의미한다. 다음에, 용어 "광선" 및 "빔"은 동의어로서 사용될 것이다. 여기서 더 사용되는 바와 같이, 용어 "광 빔"은 일반적으로 광의 양, 구체적으로, 확산 각도 또는 확대 각도를 갖는 광 빔의 가능성을 포함하여, 기본적으로 동일한 방향으로 이동하는 광의 양을 의미한다. 광 빔은 공간적 확장을 가질 수 있다. 구체적으로, 광 빔은 비 가우시안 빔 프로파일을 가질 수 있다. 빔 프로파일은 사다리꼴 빔 프로파일, 삼각형 빔 프로파일, 원뿔형 빔 프로파일로 구성되는 그룹에서 선택될 수 있다. 사다리꼴 빔 프로파일은 평탄 영역 및 적어도 하나의 에지 영역을 가질 수 있다. 광 빔은 특히, 이하에 더 상세히 설명되는 바와 같이, 가우시안 광 빔 또는 가우시안 광 빔의 선형 조합일 수 있다. 그러나 다른 실시예도 실현 가능하다.
조명원은 단일 파장에서 광을 방출하도록 구성될 수 있다. 구체적으로, 파장은 근적외선 영역에 있을 수 있다. 다른 실시예에서, 조명은 복수의 파장을 가진 광을 방출하여 다른 파장 채널에서 추가 측정을 할 수 있도록 구성될 수 있다.
조명원은 적어도 하나의 레이저 프로젝터를 포함할 수 있다. 레이저 프로젝터는 굴절 광학과 결합된 수직 캐비티 표면 방출 레이저(VCSEL) 프로젝터일 수 있다. 그러나, 다른 실시예도 가능하다. 레이저 프로젝터는 적어도 하나의 레이저 소스 및 적어도 하나의 회절 광학 요소(DOE)를 포함할 수 있다. 조명원은 적어도 하나의 다중 빔 광원일 수도 있고 또는 이를 포함할 수 있다. 예를 들어, 조명원은 적어도 하나의 레이저 소스 및 하나 이상의 회절 광학 요소(DOE)를 포함할 수 있다. 구체적으로, 조명원은 적어도 하나의 레이저 및/또는 레이저 소스를 포함할 수 있다. 반도체 레이저, 이중 이종 구조(heterostructure) 레이저, 외부 캐비티 레이저, 개별 국한 이종 구조 레이저, 퀀텀 캐스케이드 레이저, 분산 브래그 반사기 레이저, 폴라리톤 레이저, 하이브리드 실리콘 레이저, 확장 캐비티 다이오드 레이저, 퀀텀도트 레이저, 볼륨 브래그 격자 레이저, 인듐 비소 레이저, 트랜지스터 레이저, 다이오드 펌핑 레이저, 분산 피드백 레이저, 퀀텀 웰 레이저, 대역간 캐스케이드 레이저, 갈륨 비소 레이저, 반도체 링 레이저, 확장 캐비티 다이오드 레이저 또는 수직 캐비티 표면 방출 레이저와 같은 여러가지 타입의 레이저가 사용될 수 있다. 추가로, 또는 이와 달리, LED 및/또는 백열 전구와 같은 비 레이저 광원이 사용될 수 있다. 조명원은 조명 패턴을 생성하도록 구성된 하나 이상의 회절 광학 요소(DOE)를 포함할 수 있다. 예를 들어, 조명원은 포인트 클라우드를 생성 및/또는 투영하도록 구성될 수 있고, 예를 들어, 조명원은 적어도 하나의 디지털 광 처리 프로젝터, 적어도 하나의 LCoS 프로젝터, 적어도 하나의 공간 광 변조기, 적어도 하나의 회절 광학 요소, 적어도 하나의 발광 다이오드 어레이, 적어도 하나의 레이저 광원 어레이 중 하나 이상을 포함할 수 있다. 일반적으로 정의된 그 빔 프로파일 및 다른 취급 가능성의 특성때문에, 조명원으로서 적어도 하나의 레이저 소스의 이용은 특히 바람직하다. 조명원은 디스플레이 디바이스의 하우징에 통합될 수 있다.
또한, 조명원은 변조된 또는 변조되지 않은 광을 방출하도록 구성될 수 있다. 복수의 조명원이 사용되는 경우, 다른 조명원은 다른 변조 주파수를 가질 수 있고, 이하에 더 상세히 설명되는 바와 같이, 나중에 광 빔을 구별하는 데 사용될 수 있다.
조명원에 의해 생성된 광 빔(들)은 일반적으로 광축에 평행하거나 광축에 대해 경사지게, 예컨대, 광축과의 각도를 포함하여 전파할 수 있다. 디스플레이 디바이스는 광 빔(들)이 디스플레이 디바이스로부터 디스플레이 디바이스의 광축을 따라 장면을 향해 전파하도록 구성될 수 있다. 이를 위해, 디스플레이 디바이스는광축 상으로 조명광 빔을 편향시키기 위해 적어도 하나의 반사 요소, 바람직하게는 적어도 하나의 프리즘을 포함할 수 있다. 일례로서, 레이저 광 빔과 같은 광 빔(들) 및 광축은 10° 미만, 바람직하게는 5° 미만 또는 심지어 2° 미만의 각도를 포함할 수 있다. 그러나 다른 실시예도 실현 가능하다. 또한, 광 빔(들)은 광축 상에 또는 광축에서 벗어나 있을 수 있다. 일례로서, 광 빔(들)은 광축에 대해 10mm 미만, 바람직하게는 광축에 대해 5mm 미만 또는 심지어 광축에 대해 1mm 미만의 거리를 갖는 광축에 대해 평행할 수 있고, 또는 심지어 광축과 일치할 수 있다.
조명원은 적어도 하나의 조명 패턴을 생성하도록 구성된다. 조명 패턴은 주기적인 포인트 패턴을 포함할 수 있다. 여기서 사용되는 바와 같이, 용어 "적어도 하나의 조명 패턴"은 장면의 적어도 하나의 부분을 조명하도록 구성되는 적어도 하나의 조명 특징을 포함하는 적어도 하나의 임의의 패턴을 의미한다. 여기서 사용되는 바와 같이, 용어 "조명 특징"은 패턴의 적어도 하나의 적어도 부분적으로 확장된 특징을 의미한다. 조명 패턴은 단일 조명 특징을 포함할 수 있다. 조명 패턴은 복수의 조명 특징을 포함할 수 있다. 조명 패턴은 적어도 하나의 포인트 패턴, 적어도 하나의 선 패턴, 적어도 하나의 스트라이프 패턴, 적어도 하나의 체크무늬 패턴, 주기적 또는 비 주기적 특징의 배열을 포함하는 적어도 하나의 패턴으로 구성되는 그룹으로부터 선택될 수 있다. 조명 패턴은 삼각형 패턴, 직사각형 패턴, 육각형 패턴 또는 추가의 볼록 타일링을 포함하는 패턴과 같은 규칙적 및/또는 일정 및/또는 주기적 패턴을 포함할 수 있다. 조명 패턴은 적어도 하나의 점, 적어도 하나의 선, 평행 또는 교차하는 선과 같은 적어도 2개의 선, 적어도 하나의 점 및 하나의 선, 주기적 또는 비 주기적 특징의 적어도 하나의 배열, 적어도 하나의 임의의 형상의 특징으로 구성되는 그룹으로부터 선택된 적어도 하나의 조명 특징을 나타낼 수 있다. 조명 패턴은 적어도 하나의 포인트 패턴, 특히, 의사 랜덤 포인트 패턴, 랜덤 포인트 패턴 또는 의사 랜덤 패턴, 적어도 하나의 소볼(Sobol) 패턴, 적어도 하나의 준 주기적 패턴, 적어도 하나의 사전 공지된 특징을 포함하는 적어도 하나의 패턴, 적어도 하나의 규칙적 패턴, 적어도 하나의 삼각형 패턴, 적어도 하나의 육각형 패턴, 적어도 하나의 사각형 패턴, 볼록한 균일 타일링을 포함하는 적어도 하나의 패턴, 적어도 하나의 선을 포함하는 적어도 하나의 선 패턴, 평행하거나 교차하는 선과 같은 적어도 2개의 선을 포함하는 적어도 하나의 선 패턴으로 구성되는 그룹으로부터 선택된 적어도 하나의 패턴을 포함할 수 있다. 예를 들어, 조명원은 포인트 클라우드를 생성 및/또는 투영하도록 구성될 수 있다. 조명원은 조명 패턴이 복수의 포인트 패턴을 포함할 수 있도록 포인트 클라우드를 생성하도록 구성된 적어도 하나의 광 프로젝터를 포함할 수 있다. 조명원은 조명원에 의해 생성된 적어도 하나의 광 빔으로부터 조명 패턴을 생성하도록 구성된 적어도 하나의 마스크를 포함할 수 있다.
조명 패턴의 2개의 특징 사이의 거리 및/또는 적어도 하나의 조명 특징의 영역은 이미지에서 혼란의 원에 따라 다를 수 있다. 앞에서 개략적으로 설명한 바와 같이, 조명원은 적어도 하나의 조명 패턴을 생성하도록 구성되는 적어도 하나의 광원을 포함할 수 있다. 구체적으로, 조명원은 레이저 방사선을 생성하도록 설계되는 적어도 하나의 레이저 소스 및/또는 적어도 하나의 레이저 다이오드를 포함한다. 조명원은 적어도 하나의 회절 광학 요소(DOE)를 포함할 수 있다. 디스플레이 디바이스는, 적어도 하나의 주기적 포인트 패턴을 투영하도록 구성된, 적어도 하나의 레이저 소스 및 DOE와 같은 적어도 하나의 포인트 프로젝터를 포함할 수 있다. 여기에 더 사용되는 바와 같이, 용어 "적어도 하나의 조명 패턴을 투영하는 것"은 적어도 하나의 장면을 조명하기 위해 적어도 하나의 조명 패턴을 제공하는 것을 의미한다.
예를 들어, 투영된 조명 패턴은 주기적 포인트 패턴일 수 있다. 투영된 조명 패턴은 낮은 포인트 밀도를 가질 수 있다. 예를 들어, 조명 패턴은 낮은 포인트 밀도를 갖는 적어도 하나의 주기적 포인트 패턴을 포함할 수 있고, 조명 패턴은 시야당 2500 이하의 포인트를 갖는다. 전형적으로 55×38°의 시야에서 10k 내지 30k의 포인트 밀도를 갖는 구조화 광과 비교하면, 본 발명에 따른 조명 패턴은 밀도가 더 낮을 수 있다. 이것은 제안된 기법이 구조화 광에 비해 주변 광에 덜 의존적이도록 더 많은 포인트당 전력을 허용할 수 있다.
여기에 사용되는 바와 같이, "광학 센서"는 일반적으로 적어도 하나의 광 빔에 의해 생성된 조명 및/또는 광 스폿을 검출하는 것과 같은, 광 빔을 검출하기 위한 감광 디바이스를 의미한다. 여기에 더 사용되는 바와 같이, "감광 영역"은 일반적으로, 조명에 응답하여 적어도 하나의 센서 신호가 생성되는, 적어도 하나의 광 빔에 의해 외부적으로 조명될 수 있는 광학 센서의 영역을 의미한다. 감광 영역은 구체적으로 각각의 광학 센서의 표면 상에 위치할 수 있다. 그러나 다른 실시예도 실현 가능하다. 디스플레이 디바이스는 광학 센서를 포함하는 단일 카메라를 포함할 수 있다. 디스플레이 디바이스는 각각이 하나의 광학 센서 또는 복수의 광학 센서를 포함하는 복수의 카메라를 포함할 수 있다. 디스플레이 디바이스는 각각이 감광 영역을 갖는 복수의 광학 센서를 포함할 수 있다. 여기에 사용되는 바와 같이, 용어 "각각이 적어도 하나의 감광 영역을 갖는 광학 센서"는, 각각이 하나의 감광 영역을 갖는 복수의 단일 광학 센서를 갖는 구성 및 복수의 감광 영역을 갖는 하나의 조합된 광학 센서를 갖는 구성을 의미한다. 또한 용어 "광학 센서"는 하나의 출력 신호를 생성하도록 구성된 감광 디바이스를 의미한다. 디스플레이 디바이스가 복수의 광학 센서를 포함하는 경우, 각 광학 센서는, 정확하게 하나의 균일한 센서 신호가 전체 광학 센서에 대해 생성되는 조명에 응답하여, 조명될 수 있는 정확하게 하나의 감광 영역을 제공하는 것 등에 의해, 정확히 하나의 감광 영역이 각각의 광학 센서에 존재하도록 구현될 수 있다. 따라서, 각각의 광학 센서는 단일 영역의 광학 센서일 수 있다. 그러나, 단일 영역의 광학 센서의 이용은 디스플레이 디바이스의 설정을 특히 간단하고 효율적이게 한다. 따라서, 일례로서, 각각이 정확히 하나의 감광 영역을 갖는, 상업적으로 이용 가능한 실리콘 광 다이오드와 같은 상업적으로 이용 가능한 광학 센서가 설정 단계에서 사용될 수 있다. 그러나 다른 실시예가 실현 가능하다.
디스플레이 디바이스는 예컨대, 비행 시간(ToF) 기술 및/또는 DFD(depth-from-defocus) 기술 및/또는 빔 프로파일 분석이라고도 하는 DPR(depth-from-photon-ratio) 기법에 기초하여 적어도 하나의 거리 측정을 수행하도록 구성될 수 있다. DPR(depth-from-photon-ratio) 기법과 관련하여 WO 2018/091649 A1, WO 2018/091638 A1 및 WO 2018/091640 A1을 참조하며, 그 전체 내용은 참조로 포함된다. 광학 센서는 적어도 하나의 거리 센서이거나 이를 포함할 수 있다.
바람직하게는, 감광 영역은 기본적으로 디스플레이 디바이스의 광축에 수직으로 배치될 수 있다. 광축은 일직선의 광축일 수 있거나 또는 예컨대, 하나 이상의 굴절 요소를 이용하고/하거나 하나 이상의 빔 분할기를 이용함으로써 구부러지거나 심지어 분할될 수 있고, 후자의 경우에, 기본적으로 수직 방향은 광 설정의 각각의 분기 또는 빔 경로에서 국소적인 광축을 의미할 수 있다.
광학 센서는 구체적으로 적어도 하나의 광 검출기, 바람직하게는, 무기 광 검출기, 더 바람직하게는 무기 반도체 광 검출기, 가장 바람직하게는 실리콘 광 검출기이거나 그것을 포함할 수 있다. 구체적으로, 광학 센서는 적외선 스펙트럼 범위에서 민감할 수 있다. 매트릭스의 모든 화소 또는 매트릭스의 광학 센서의 적어도 하나의 그룹은 구체적으로 동일할 수 있다. 매트릭스의 동일한 화소의 그룹은 구체적으로 상이한 스펙트럼 범위에 대해 제공될 수 있거나 또는 모든 화소는 스펙트럼 민감도의 면에서 동일할 수 있다. 또한 화소는 사이즈가 동일할 수 있고/있거나 그들의 전자 또는 광전자 특성에 관해 동일할 수 있다. 구체적으로, 광학 센서는 적외선 스펙트럼 범위, 바람직하게는 700nm 내지 3.0마이크로미터의 범위에서 민감한 적어도 하나의 무기 광 다이오드이거나 그것을 포함할 수 있다. 구체적으로, 광학 센서는, 실리콘 광 다이오드가 적용될 수 있는 근적외선 영역, 특히 700nm 내지 1100nm의 범위의 부분에서 민감할 수 있다. 광학 센서에 사용될 수 있는 적외선 광학 센서는 상표명 HertzstueckTM from trinamiXTM GmbH, D-67056 Ludwigshafen am Rhein, Germany에서 상업적으로 입수할 수 있는 적외선 광학 센서와 같은 상업적으로 입수 가능한 적외선 광학 센서일 수 있다. 따라서, 일례로서, 광학 센서는 고유의 광전지 타입의 적어도 하나의 광학 센서, 더 바람직하게는, Ge 광 다이오드, InGaAs 광 다이오드, 확장된 InGaAs 광 다이오드, InAs 광 다이오드, InSb 광 다이오드, HgCdTe 광 다이오드로 구성되는 그룹으로부터 선택된 적어도 하나의 반도체 광 다이오드를 포함할 수 있다. 부가적으로 또는 이와 달리, 광학 센서는 외부의 광전지 타입의 적어도 하나의 광학 센서, 더 바람직하게는, Ge:Au 광 다이오드, Ge:Hg 광 다이오드, Ge:Cu 광 다이오드, Ge:Zn 광 다이오드, Si:Ga 광 다이오드, Si:As 광 다이오드로 구성되는 그룹으로부터 선택된 적어도 하나의 반도체 광 다이오드를 포함할 수 있다. 부가적으로 또는 이와 달리, 광학 센서는 PbS 또는 PbSe 센서, 볼로미터, 더 바람직하게는, VO 볼로미터 및 비정질 Si 볼로미터로 구성되는 그룹으로부터 선택된 볼로미터와 같은 적어도 하나의 광 전도성 센서를 포함할 수 있다.
광학 센서는 자외선, 가시광선 또는 적외선 스펙트럼 범위 중 하나 이상에서 민감할 수 있다. 구체적으로, 광학 센서는 500nm 내지 780nm, 더 바람직하게는 650nm 내지 750nm 또는 690nm 내지 700nm의 가시광선 스펙트럼 범위에서 민감할 수 있다. 구체적으로, 광학 센서는 근적외선 영역에서 민감할 수 있다. 구체적으로, 광학 센서는 실리콘 광 다이오드가 적용될 수 있는 근적외선 영역, 특히 700nm 내지 1000nm의 범위의 부분에서 민감할 수 있다. 광학 센서는 특히, 적외선 스펙트럼 범위, 특히 780nm 내지 3.0마이크로미터의 범위에서 민감할 수 있다. 예를 들어, 광학 센서의 각각은 독립적으로, 광 다이오드, 광 셀, 광 전도체, 광 트랜지스터 또는 이의 임의의 조합으로 구성되는 그룹으로부터 선택된 적어도 하나의 요소일 수 있고 또는 그것을 포함할 수 있다. 예를 들어, 광학 센서는 CCD 센서 요소, CMOS 센서 요소, 광 다이오드, 광 셀, 광 전도성, 광 트랜지스터 또는 그것의 임의의 조합으로 구성되는 그룹으로부터 선택된 적어도 하나의 요소일 수 있거나 또는 그것을 포함할 수 있다. 임의의 다른 타입의 감광 요소가 사용될 수 있다. 감광 요소는 일반적으로 완전히 또는 부분적으로 무기 물질로 이루어질 수 있고/있거나 완전히 또는 부분적으로 유기 물질로 이루어질 수 있다. 가장 통상적으로는, 상업적으로 입수 가능한 광 다이오드, 예컨대, 무기 반도체 광 다이오드와 같은 하나 이상의 광 다이오드가 사용될 수 있다.
광학 센서는 화소의 매트릭스를 포함하는 적어도 하나의 센서 요소를 포함할 수 있다. 따라서, 일례로서, 광학 센서는 화소화된 광학 디바이스의 일부이거나 그것을 구성할 수 있다. 예를 들어, 광학 센서는 적어도 하나의 CCD 및/또는 CMOS 디바이스일 수 있고 또한/또는 그것을 포함할 수 있다. 일례로서, 광학 센서는, 각 화소가 감광 영역을 형성하는 화소의 매트릭스를 갖는 적어도 하나의 CCD 및/또는 CMOS 디바이스의 일부이거나 그것을 구성할 수 있다. 여기서 사용되는 바와 같이, 용어 "센서 요소"는 일반적으로 적어도 하나의 파라미터를 감지하도록 구성된 디바이스 또는 복수의 디바이스의 조합을 의미한다. 이 경우에, 파라미터는 특히 광학 파라미터일 수 있고, 센서 요소는 특히 광학 센서 요소일 수 있다. 센서 요소는 통합된 단일의 디바이스 또는 여러 디바이스의 조합으로 형성될 수 있다. 센서 요소는 광학 센서의 매트릭스를 포함한다. 센서 요소는 적어도 하나의 CMOS 센서를 포함할 수 있다. 매트릭스는 독립적인 광학 센서와 같은 독립 화소로 구성될 수 있다. 따라서, 무기 광 다이오드의 매트릭스가 구성될 수 있다. 그러나 이와 달리, CCD 검출기 칩과 같은 CCD 검출기 및/또는 CMOS 검출기 칩과 같은 CMOS 검출기 중 하나 이상과 같은 상업적으로 입수 가능한 매트릭스가 사용될 수 있다. 따라서 일반적으로, 센서 요소는 적어도 하나의 CCD 및/또는 CMOS 디바이스일 수 있고/있거나 그것을 포함할 수 있고, 및/또는 광학 센서는 상술한 매트릭스와 같은 센서 어레이를 형성할 수 있고 또는 센서 어레이의 일부일 수 있다. 따라서, 일례로서, 센서 요소는 m, n이 독립적으로 양의 정수인 m행 및 n열을 갖는, 직사각형 어레이와 같은 화소의 어레이를 포함할 수 있다. 바람직하게는, 1 초과의 열 및 1 초과의 행이 주어지는데, 즉, n>1, m>1이다. 따라서, 일례로서, n은 2 내지 16 또는 그 이상일 수 있고, m은 2 내지 16 또는 그 이상일 수 있다. 바람직하게는, 행의 수와 열의 수의 비는 1에 가깝다. 일례로서, n 및 m은, m/n=1:1, 4:3, 16:9 등을 선택하는 것 등에 의해 0.3≤m/n≤3이 되도록 선택될 수 있다. 일례로서, m=2, n=2 또는 m=3, n=3 등을 선택하는 것 등에 의해, 동일한 수의 행과 열을 갖는 정사각 어레이일 수 있다.
매트릭스는 독립적인 광학 센서와 같은 독립적인 화소로 구성될 수 있다. 따라서, 무기 광 다이오드의 매트릭스가 구성될 수 있다. 그러나, 이와 달리, CCD 검출기 칩과 같은 CCD 검출기 및/또는 CMOS 검출기 칩과 같은 CMOS 검출기 중 하나 이상과 같은 상업적으로 입수 가능한 매트릭스가 사용될 수 있다. 따라서 일반적으로, 광학 센서는 적어도 하나의 CCD 및/또는 CMOS 디바이스일 수 있고/있거나 그것을 포함할 수 있고, 및/또는 디스플레이 디바이스의 광학 센서는 상술한 매트릭스와 같은 센서 어레이를 형성할 수 있거나 또는 센서 어레이의 일부일 수 있다.
매트릭스는 특히 적어도 하나의 행, 바람직하게는 복수의 행 및 복수의 열을 갖는 직사각형 매트릭스일 수 있다. 일례로서, 행 및 열은 기본적으로 수직 방향으로 배치될 수 있다. 여기서 사용되는 바와 같이, 용어 "기본적으로 수직"은, 예컨대, ±20° 이하의 허용오차, 바람직하게는 ±10° 이하의 허용오차, 더 바람직하게는 ±5° 이하의 허용오차로 수직 배향의 상태를 지칭한다. 마찬가지로, 용어 "기본적으로 평행"은, 예컨대, ±20° 이하의 허용오차, 바람직하게는 ±10° 이하의 허용오차, 더 바람직하게는 ±5° 이하의 허용오차로 평행 배향의 상태를 지칭한다. 따라서, 일례로서, 20° 미만, 특히 10° 미만 또는 심지어 5° 미만의 허용오차가 수용될 수 있다. 넓은 시야를 제공하기 위해, 매트릭스는 구체적으로 적어도 10행, 바람직하게는 적어도 500행, 더 바람직하게는 적어도 1000행을 가질 수 있다. 마찬가지로, 매트릭스는 적어도 10열, 바람직하게는 적어도 500열, 더 바람직하게는 적어도 1000열을 가질 수 있다. 매트릭스는 적어도 50개의 광학 센서, 바람직하게는 적어도 100000개의 광학 센서, 더 바람직하게는 적어도 5000000개의 광학 센서를 포함할 수 있다. 매트릭스는 수 메가 화소 범위의 다수의 화소를 포함할 수 있다. 그러나 다른 실시예가 실현 가능하다. 따라서, 축 방향 회전 대칭이 예상되는 설정에서, 화소로서 불릴 수도 있는, 매트릭스의 광학 센서의 원형 배치 또는 동심원 배치가 바람직할 수 있다.
따라서, 일례로서, 센서 요소는 화소화 광학 디바이스의 일부일 수 있고 또는 이것을 구성할 수 있다. 예를 들어, 센서 요소는 적어도 하나의 CCD 및/또는 CMOS 디바이스일 수 있고/있거나 그것을 포함할 수 있다. 일례로서, 센서 요소는 각 화소가 감광 영역을 형성하는 화소의 매트릭스를 갖는 적어도 하나의 CCD 및/또는 CMOS 디바이스의 일부일 수 있거나 또는 그것을 구성할 수 있다. 센서 요소는 광학 센서의 매트릭스를 판독하기 위해 롤링 셔터 또는 글로벌 셔터 방법을 이용할 수 있다.
디스플레이 디바이스는 또한 적어도 하나의 전송 디바이스를 포함할 수 있다. 디스플레이 디바이스는 하나 이상의 추가 광학 요소와 같은 하나 이상의 추가 요소를 더 포함할 수 있다. 디스플레이 디바이스는, 적어도 하나의 렌즈 및/또는 적어도 하나의 렌즈 시스템과 같은 전송 디바이스와, 적어도 하나의 회절 광학 요소로 구성되는 그룹으로부터 선택된 적어도 하나의 광학 요소를 포함할 수 있다. "전송 시스템"으로도 표기되는 용어 "전송 디바이스"는 일반적으로 광 빔의 빔 파라미터, 광 빔의 폭 또는 광 빔의 방향 중 하나 이상을 수정하는 것 등에 의해 광 빔을 수정하도록 구성되는 하나 이상의 광학 요소를 의미할 수 있다. 전송 디바이스는 광 빔을 광학 센서로 유도하도록 구성될 수 있다. 전송 디바이스는 특히, 적어도 하나의 렌즈, 예컨대, 적어도 하나의 초점 조정 렌즈, 적어도 하나의 비구면 렌즈, 적어도 하나의 구면 렌즈, 적어도 하나의 프레넬 렌즈로 구성되는 그룹으로부터 선택된 적어도 하나의 렌즈와, 적어도 하나의 회절 광학 요소와, 적어도 하나의 오목경, 적어도 하나의 빔 굴절 요소, 바람직하게는 적어도 하나의 거울과, 적어도 하나의 빔 분할 요소, 바람직하게는 적어도 하나의 빔 분할 큐브 또는 빔 분할경과, 적어도 하나의 멀티렌즈 시스템 중 하나 이상을 포함할 수 있다. 여기서 사용된 바와 같이, 용어 전송 디바이스의 "초점 거리"는, 전송 디바이스에 충돌할 수 있는 입사 시준 광선이 "초점(focal point)"으로도 표기될 수 있는 "초점(focus)"으로 들어가는 거리를 의미한다. 따라서, 초점 거리는 충돌하는 광 빔을 수렴하기 위한 전송 디바이스의 능력의 측정을 구성한다. 따라서, 전송 디바이스는 수렴 렌즈의 효과를 가질 수 있는 하나 이상의 이미징 요소를 포함할 수 있다. 예로서, 전송 디바이스는 하나 이상의 렌즈, 특히 하나 이상의 굴절 렌즈, 및/또는 하나 이상의 볼록 거울을 가질 수 있다. 본 예에서, 초점 거리는 얇은 굴절 렌즈의 중심으로부터 그 얇은 렌즈의 주 초점까지의 거리로서 정의될 수 있다. 볼록 또는 양면이 볼록한 얇은 렌즈 등의 수렴하는 얇은 굴절 렌즈에 대해, 초점 거리는 양의 값으로 간주될 수 있고, 전송 디바이스로서의 얇은 렌즈에 충돌하는 시준 광의 빔이 단일 스폿에 초점이 맺힐 수 있는 거리를 제공할 수 있다. 부가적으로, 전송 디바이스는 적어도 하나의 파장 선택 요소, 예를 들어, 적어도 하나의 광학 필터를 포함할 수 있다. 부가적으로, 전송 디바이스는, 예컨대, 센서 지역의 위치에서, 특히 센서 영역에서 전자기 방사선에 사전 정의된 빔 프로파일을 나타내도록 설계될 수 있다. 전송 디바이스의 상술한 선택적 실시예는 원칙적으로, 개별적으로 또는 임의의 바람직한 조합으로 실현될 수 있다.
전송 디바이스는 광축을 가질 수 있다. 특히, 디스플레이 디바이스와 전송 디바이스는 공통 광축을 갖는다. 여기서 사용되는 바와 같이, 용어 "전송 디바이스의 광축"은 일반적으로 렌즈 또는 렌즈 시스템의 거울 대칭 또는 회전 대칭의 축을 의미한다. 디스플레이 디바이스의 광축은 디스플레이 디바이스의 광학 설정의 대칭의 선일 수 있다. 디스플레이 디바이스는 적어도 하나의 전송 디바이스, 바람직하게는 적어도 하나의 렌즈를 갖는 적어도 하나의 전송 디바이스를 포함한다. 전송 시스템은, 일례로서, 적어도 하나의 빔 경로를 포함할 수 있고, 빔 경로에서의 전송 시스템의 요소는 광축에 대하여 회전 대칭 방식으로 위치한다. 여전히, 이하에 더 상세히 설명되는 바와 같이, 빔 경로 내에 위치한 하나 이상의 광학 요소는 광축에 대해 중심에서 벗어나 있거나 경사져 있을 수 있다. 그러나, 이 경우에, 광축은 빔 경로의 광학 요소의 중심을 상호접속하는 것 등, 예컨대, 렌즈의 중심을 상호접속하는 것에 의해 순차적으로 정의될 수 있고, 이 맥락에서, 광학 센서는 광학 요소로 간주되지 않는다. 광축은 일반적으로 빔 경로를 나타낼 수 있다. 그 점에서, 디스플레이 디바이스는, 광 빔이 물체로부터 광학 센서까지 이동할 수 있는 단일 빔 경로를 가질 수 있고, 또는 복수의 빔 경로를 가질 수 있다. 일례로서, 단일 빔 경로가 정해질 수 있고, 또는 빔 경로는 2 이상의 부분 빔 경로로 분할될 수 있다. 후자의 경우, 각각의 부분 빔 경로는 그 자신의 광축을 가질 수 있다. 광학 센서는 하나의 동일한 빔 경로에 또는 부분적인 빔 경로에 위치할 수 있다. 그러나, 이와 달리, 광학 센서는 상이한 부분 빔 경로에 위치할 수도 있다.
전송 디바이스는 좌표 시스템을 구성할 수 있고, 여기서 세로 좌표는 광축을 따르는 좌표이고, d는 광축으로부터의 공간적 오프셋이다. 좌표 시스템은, 전송 디바이스의 광축이 z축을 형성하고, z축으로부터의 거리 및 편각이 추가 좌표로서 사용될 수 있는 극좌표 시스템일 수 있다. z축에 평행 또는 역평행인 방향은 세로 방향으로 간주될 수 있고, z축을 따르는 좌표는 세로 좌표로 간주될 수 있다. z축에 수직인 임의의 방향은 가로 방향으로 간주될 수 있고, 극좌표 및/또는 편각은 가로 좌표라고 간주될 수 있다.
디스플레이 디바이스는 디스플레이 디바이스의 광축이 z축을 형성하고, 추가적으로 x축 및 y축이 z축에 수직이고 서로 수직이 되도록 제공될 수 있는 좌표 시스템을 구성할 수 있다. 일례로서, 디스플레이 디바이스 및/또는 디스플레이 디바이스의 일부는 이 좌표 시스템의 원점에서와 같은, 이 좌표 시스템의 특정 지점에 있을 수 있다. 이 좌표 시스템에서, z축에 대해 평행 또는 역평행인 방향은 세로 방향으로 간주될 수 있고, z축을 따르는 좌표는 세로 좌표로 간주될 수 있다. 세로 방향에 수직인 임의의 방향은 가로 방향으로 간주될 수 있고, x 및/또는 y 좌표는 가로 좌표로 간주될 수 있다. 이와 달리, 다른 유형의 좌표 시스템이 사용될 수 있다. 따라서, 일례로서, 극좌표 시스템은, 광축이 z축을 형성하고 z축으로부터의 거리 및 편각이 추가 좌표로서 사용될 수 있는 극좌표 시스템이 사용될 수 있다. 다시, z축에 대해 평행 또는 역평행인 방향은 세로 방향으로 간주될 수 있고, z축을 따르는 좌표는 세로 좌표로 간주될 수 있다. z축에 수직인 임의의 방향은 가로 방향으로 간주될 수 있고, 극좌표 및/또는 편각은 가로 좌표로 간주될 수 있다.
디스플레이 디바이스는 정보를 표시하도록 구성된 적어도 하나의 반투명 디스플레이를 포함한다. 반투명 디스플레이는 적어도 하나의 스크린이거나 이를 포함할 수 있다. 스크린은 임의의 형상, 바람직하게는 직사각형 형상을 가질 수 있다. 본 명세서에서 사용되는 용어 "반투명"은 특히 소정의 파장 범위, 바람직하게는 적외선 영역의 빛이 관통할 수 있게 하는 디스플레이의 특성을 의미할 수 있다. 조명원과 광학 센서는 반투명 디스플레이 앞에 조명 패턴의 전파 방향으로 배치된다. 정보는 적어도 하나의 이미지, 적어도 하나의 다이어그램, 적어도 하나의 히스토그램, 적어도 하나의 그래픽, 텍스트, 숫자, 적어도 하나의 사인, 조작 메뉴 등과 같은 임의의 정보일 수 있다.
반투명 디스플레이는 디스플레이의 전체 크기에 걸쳐 확장되는 디스플레이 물질을 갖는 풀 사이즈 디스플레이일 수 있다. 디스플레이의 '사이즈'라는 용어는 반투명 디스플레이의 표면적을 의미할 수 있다. 용어 "풀 사이즈 디스플레이"는 반투명 디스플레이가 리세스가 없거나 컷아웃이 없다는 것, 반투명 디스플레이가 전체 활성 디스플레이 영역을 갖는다는 것, 또는 전체 디스플레이 영역이 활성화될 수 있다는 것 중 하나 이상을 지칭할 수 있다. 반투명 디스플레이는 디스플레이 물질의 연속 분포를 가질 수 있다. 반투명 디스플레이는 리세스나 컷아웃 없이 설계될 수 있다. 예를 들어, 디스플레이 디바이스는 반투명 디스플레이가 배열되는 직사각형 디스플레이 영역과 같은 디스플레이 영역을 갖는 전면을 포함할 수 있다. 디스플레이 영역은 반투명 디스플레이에 의해, 특히 디스플레이 물질에 의해, 구체적으로 어떠한 리세스 또는 노치도 없이 완전히 덮일 수 있다. 이는 디스플레이 사이즈, 특히 정보를 표시하도록 구성된 디스플레이 디바이스의 영역을 증가시킬 수 있다. 예를 들어, 디스플레이 디바이스의 전체 및/또는 전체 전면 사이즈는 디스플레이 물질에 의해 덮일 수 있지만, 디스플레이를 둘러싸는 프레임이 가능할 수 있다.
반투명 디스플레이는 적어도 하나의 유기 발광 다이오드(OLED) 디스플레이이거나 이를 포함할 수 있다. 본 명세서에서 사용되는 바와 같이, "유기 발광 다이오드"라는 용어는 광의의 용어이고, 당업자에게 통상적이고 관례적인 의미로 부여되어야 하며, 특별하거나 맞춤화된 의미로 제한되지 않는다. 이 용어는 구체적으로 제한 없이 발광 다이오드(LED)를 지칭할 수 있으며, 여기에서 방출 전자발광층은 전류에 응답하여 발광하도록 구성된 유기 화합물의 필름이다. LED 디스플레이는 가시광을 방출하도록 구성될 수 있다.
디스플레이 디바이스는 적어도 하나의 제어 유닛을 포함한다. 제어 유닛은 조명 동안 조명원의 영역 및/또는 측정 동안 광학 센서의 영역에서 디스플레이를 끄도록 구성된다. 본 명세서에서 또한 사용되는 바와 같이, "제어 유닛"이라는 용어는 일반적으로 조명원 및/또는 광학 센서 및/또는 디스플레이 디바이스와 같은 디스플레이의 적어도 하나의 추가 구성요소를 특히 적어도 하나의 프로세서 및/또는 적어도 하나의 주문형 집적 회로를 사용함으로써 제어하도록 구성된 임의의 디바이스를 지칭한다. 따라서, 예로서, 제어 유닛은 다수의 컴퓨터 커맨드를 포함하는 소프트웨어 코드가 저장된 적어도 하나의 데이터 처리 디바이스를 포함할 수 있다. 제어 유닛은 명명된 동작 중 하나 이상을 수행하기 위한 하나 이상의 하드웨어 요소를 제공할 수 있고/있거나 명명된 동작 중 하나 이상을 수행하기 위해 실행되는 소프트웨어를 하나 이상의 프로세서에 제공할 수 있다. 따라서, 예로서, 제어 유닛은 전술한 제어를 수행하도록 구성되는 하나 이상의 컴퓨터, ASIC(application-specific integrated circuit), DSP(Digital Signal Processor) 또는 FPGA(Field Programmable Gate Array)와 같은 하나 이상의 프로그래밍 가능한 디바이스를 포함할 수 있다. 그러나, 부가적으로 또는 대안적으로, 제어 유닛은 하드웨어에 의해 완전히 또는 부분적으로 구현될 수도 있다.
제어 유닛은 조명 동안 조명원의 영역 및/또는 측정 동안 광학 센서의 영역에서 디스플레이를 끄도록 구성된다. 본 명세서에서 사용되는 바와 같이, "조명 동안"이라는 용어는 조명원이 켜지고/거나 적어도 하나의 조명 빔을 생성하기 위해 준비되고/되거나 장면을 능동적으로 조명하는 것과 같이 조명원이 활성인 시간 범위를 지칭할 수 있다. 본 명세서에서 사용되는 바와 같이, "측정 동안"이라는 용어는 광학 센서가 켜지고/거나 측정을 위해 준비되고/되거나 능동적으로 측정하는 것과 같이 광학 센서가 활성인 시간 범위를 지칭할 수 있다. 본 명세서에서 사용되는 바와 같이, "영역에서 디스플레이를 끄는 것"은 디스플레이의 소정 영역에 대한 전원 공급을 조정, 특히 방지 및/또는 차단 및/또는 중지하는 것을 지칭할 수 있다. 위에서 약술한 바와 같이, 디스플레이는 적어도 하나의 OLED 디스플레이를 포함할 수 있다. 제어 유닛이 조명원의 영역에서 디스플레이를 끈 경우, 조명원의 영역에서 OLED 디스플레이가 비활성화될 수 있다. 제어 유닛이 광학 센서의 영역에서 디스플레이를 끈 경우, OLED 디스플레이는 광학 센서의 영역에서 비활성화될 수 있다. 제어 유닛은 측정이 활성인 동안 디스플레이의 영역을 끄도록 구성될 수 있다.
조명원은 조명 빔, 특히 조명 패턴이 장면을 향해 방사되는 방사 영역을 포함할 수 있다. 방사 영역은 조명원의 개방각에 의해 정의될 수 있다. "조명원 영역의 디스플레이"라는 용어는 방사 영역에 의해 커버되는 반투명 디스플레이의 일부를 지칭할 수 있다. "광학 센서 영역의 디스플레이"라는 용어는 광학 센서의 감광 영역에 의해 커버되는 디스플레이의 일부를 지칭할 수 있다. 조명원과 광학 센서는 정의된 영역에 배열될 수 있다. 조명원과 광학 센서는 서로에 대해 고정된 위치에 배열될 수 있다. 예를 들어, 조명원과 광학 센서는 특히 고정된 거리를 두고 서로 옆에 배열될 수 있다. 조명원 및 광학 센서는 방사 영역 및 감광 영역에 의해 커버되는 반투명 디스플레이의 영역이 최소가 되도록 배열될 수 있다.
디스플레이는 제어 유닛이 조명 동안 조명원 영역에서 및/또는 측정 동안 광학 센서 영역에서 디스플레이를 껐을 때 조명원 영역 및/또는 광학 센서 영역에서 블랙 영역을 나타내도록 구성될 수 있다. 블랙 영역은 디스플레이의 다른 영역에 비해 발광량이 적고/적거나 광을 방출하지 않는 영역일 수 있다. 예를 들어, 블랙 영역은 어두운 영역일 수 있다. 구체적으로, 제어 유닛은 조명원 영역의 디스플레이가 조정 가능한 노치로서 기능하도록 조명원 영역의 디스플레이를 끄고/끄거나 광학 센서 영역의 디스플레이가 조정 가능한 노치로서 기능하도록 광학 센서 영역의 디스플레이를 끄도록 구성된다. 조정 가능한 노치는 조명 및/또는 측정 동안 활성화되고 그렇지 않으면 비활성화되도록 구성될 수 있다. 조정 가능한 노치는 디스플레이 디바이스가 사용되지 않을 때 안면 잠금 해제 동안과 같은 측정 동안 활성이고 광학 센서, 특히 전면 센서가 필요하지 않을 때 비활성인 가상 노치로서 기능할 수 있다. 사용된 OLED 디스플레이의 경우 이는 디스플레이에 활동이 전혀 없음을 의미할 수 있다. 이렇게 하면 IR 광에 의해 어떠한 화소의 색상도 변경되지 않도록 할 수 있다. 또한 디스플레이 디바이스, 특히 제어 유닛 및/또는 추가 처리 디바이스 및/또는 추가 광학 요소는 예를 들어, 디스플레이 내의 색상, 예컨대, IR 레이저의 감지된 깜박임을 보정하도록 구성될 수 있다.
예를 들어, 디스플레이 디바이스의 설정은 광학 센서 및 렌즈 시스템을 포함하는 카메라 및 프로젝터, 특히 레이저 프로젝터를 포함할 수 있다. 프로젝터와 카메라는 반투명 디스플레이 뒤에 장면에 의해 반사된 광의 전파 방향으로 고정될 수 있다. 프로젝터는 도트 패턴을 생성하고 디스플레이를 통해 빛날 수 있다. 측정 동안 반투명 디스플레이가 이 시구간 동안 블랙 영역을 나타내도록 프로젝터 영역에서 반투명 디스플레이가 꺼질 수 있다. 카메라는 디스플레이를 통해 볼 수 있다.
조정 가능한 노치는 거친 에지를 포함할 수 있다. 그러나, 다른 실시예에서, 조정 가능한 노치는 임의의 거친 프린지를 방지하기 위해 휘도 경도로 실현될 수 있다. 디스플레이 디바이스는 임의의 거친 프린지를 피하기 위해 광학 센서가 일반적으로 위치되는 디스플레이의 에지에 휘도 경도를 도입하도록 구성된 휘도 감소 요소를 포함할 수 있다. 이는 조정 가능한 노치의 영역에서 휘도 감소를 제공하도록 허용할 수 있다.
제어 유닛은 디스플레이와 조명원이 서로 간섭하지 않는 방식, 소위 토글 모드로 동기화하도록 구성될 수 있다.
예를 들어, 디스플레이 디바이스는 적어도 하나의 조명 패턴을 생성하도록 구성된 적어도 하나의 프로젝터, 장면을 조명하기 위한 추가 투광 조명 및 광학 센서를 포함할 수 있다. 디스플레이 디바이스는 이들 구성요소가 디스플레이 앞의 조명 광 빔의 전파 방향으로 배치되도록 구성될 수 있다. 반투명 디스플레이는 적어도 하나의 OLED 디스플레이일 수 있다. OLED 디스플레이는 약 25% 이상의 투과율을 가질 수 있다. 그러나, 투과율이 낮은 OLED 디스플레이의 구현도 가능할 수 있다. OLED 디스플레이는 매트릭스 배열로 배열된 복수의 화소를 포함할 수 있다. OLED는 매트릭스의 위에서 아래로 한 줄씩 콘텐츠를 업데이트 및/또는 리프레시할 수 있다. 제어 유닛은 디스플레이, 프로젝터, 투광 조명 및 광학 센서를 동기화하도록 구성될 수 있다. 디스플레이, 특히 디스플레이 드라이버는 업데이트 및/또는 리프레시가 마지막 라인에서 첫 번째 라인으로 랩어라운드됨을 나타내는 적어도 하나의 신호를 방출하도록 구성될 수 있다. 조명 디바이스 및 광학 센서는 첫 번째 라인 또는 첫 번째 라인들 중 하나에 위치할 수 있다. 디스플레이 드라이버는 제어 유닛의 일부일 수 있다. 디스플레이 드라이버는 디스플레이의 요소일 수 있다. 추가로 또는 대안적으로, 신호는 외부 제어 유닛에 의해 발행될 수 있다. 예를 들어, 업데이트 및/또는 리프레시가 마지막 라인에서 첫 번째 라인으로 랩어라운드할 때, 디스플레이 VSYNC라고도 하는 VSYNC(Vertical SYNC) 신호가 디스플레이에 의해 방출될 수 있다. 디스플레이는 두 가지 작동 모드, 즉 "비디오 모드" 또는 "커맨드 모드"에서 작동할 수 있다. 비디오 모드에서 VSYNC 신호는 디스플레이 드라이버에 의해 디스플레이에서 발행될 수 있다. 커맨드 모드에서 VSYNC 신호는 후술되는 바와 같이 외부 제어 유닛, 예컨대, 시스템 온 칩에 의해 생성되고 발행될 수 있다. 광학 센서의 노출은 디스플레이 VSYNC 직전, 즉 조명 디바이스와 광학 센서가 위치한 첫 번째 라인의 리프레시 직전에 발생할 수 있다. OLED 디스플레이를 통한 광의 방출은 디스플레이 콘텐츠가 업데이트 및/또는 리프레시, 특히 덮어쓰기 직전에 타이밍이 맞춰질 수 있다. 이렇게 하면 눈에 보이는 왜곡을 최소화할 수 있다.
광학 센서, 예컨대, 적어도 하나의 IR 카메라는 프로젝터 및 투광 조명과 동기화될 수 있다. 광학 센서는 조명 동안 활성, 즉, 이미지 캡처 및/또는 광 검출 모드에 있을 수 있다. 예를 들어, 광학 센서와 조명원의 동기화는 카메라 VSYNC라고도 하는 VSYNC 신호를 제어 유닛으로 방출하고 스트로브 신호를 조명원으로 방출하는 광학 센서에 의해 실현될 수 있으며, 제어 유닛은 카메라 VSYNC에 응답하여 조명원을 활성화하기 위해 조명원에 트리거 신호를 발행한다. 트리거 신호와 스트로브 신호가 조명원에 의해 수신되는 경우, 조명원은 조명(들)과 함께 시작한다. 그러나, 광학 센서와 조명원을 동기화하기 위한 다른 실시예도 가능하다.
예를 들어, 제어 유닛은 시스템 온 칩(SoC)을 포함할 수 있다. SoC는 디스플레이 인터페이스를 포함할 수 있다. SoC는 적어도 하나의 애플리케이션에 연결된 적어도 하나의 애플리케이션 프로그래밍 인터페이스(API)를 포함할 수 있다. SoC는 적어도 하나의 이미지 신호 프로세서(ISP)를 더 포함할 수 있다. 광학 센서는 적어도 하나의 연결을 통해 SoC, 특히 ISP 및/또는 API에 연결될 수 있다. 연결은 전력 제어, 클록 신호(CLK) 제공, 이미지 신호의 전송 중 하나 이상을 위해 구성될 수 있다. 추가적으로 또는 대안적으로, 연결은 I2C(Inter-Integrated Circuit)로서 구현될 수 있다. 추가적으로 또는 대안적으로, 연결은 MIP와 같은 이미지 데이터 인터페이스로서 구현될 수 있다. 애플리케이션은 하나 이상의 조명 소스에 의한 조명을 요청할 수 있다. SoC는 API를 통해 연결을 거쳐 광학 센서에 전력을 공급할 수 있다. 광학 센서는 VSYNC 신호를 SoC로 방출하고 스트로브 신호를 조명원으로 방출할 수 있다. SoC는 API를 통해 카메라 VSYNC 트리거 신호에 대한 응답으로 조명원을 각각 활성화하기 위해 조명원에 발행할 수 있다. 각각의 트리거 신호 및 스트로브 신호가 각각의 조명원에 의해, 특히 AND 논리 게이트에 의해 수신되는 경우, 조명원의 각각의 드라이버가 조명을 구동한다. 광학 센서의 신호는 연결에 의해 SoC로 예컨대 API 및 ISP로 전송될 수 있고, 예를 들어, 추가 평가를 위해 예컨대, 메타 데이터 등과 함께 애플리케이션에 제공될 수 있다.
또한, 광학 센서와 디스플레이는 동기화될 수 있다. 디스플레이 디바이스는 카메라 프레임 노출의 종료에 디스플레이 VSYNC를 동기화하기 위해 트리거 신호로서 디스플레이 VSYNC를 광학 센서에 전달하도록 구성될 수 있다. 광학 센서의 트리거 요구사항에 따라, 디스플레이 VSYNC는 요구사항을 완전히 충족하기 위해 광학 센서에 전달되기 전에 적응, 특히 조정될 수 있다. 예를 들어, 디스플레이 VSYNC의 주파수는 주파수의 절반으로 조정될 수 있다.
제어 유닛은 광학 센서 및/또는 조명원이 활성일 때 표시를 발행하도록 구성될 수 있다. 반투명 디스플레이는 광학 센서 및/또는 조명원이 활성일 때 상기 표시를 표시하도록 구성될 수 있다. 예를 들어, 디스플레이 디바이스는 조명원과 광학 센서를 사용하여 얼굴 인식을 수행하도록 구성될 수 있다. 얼굴 인식을 위한 방법 및 기법은 일반적으로 당업자에게 알려져 있다. 제어 유닛은 얼굴 인식이 활성이라는 것을 나타내는 표시를 얼굴 인식을 수행하는 동안 발행하도록 구성될 수 있다. 반투명 디스플레이는 얼굴 인식을 수행하는 동안 상기 표시를 표시하도록 구성될 수 있다. 예를 들어, 표시는 적어도 하나의 경고 요소일 수 있다. 표시는 광학 센서 및/또는 조명원, 특히 얼굴 인식이 활성임을 나타내는 아이콘 및/또는 로고 및/또는 기호 및/또는 애니메이션 중 하나 이상일 수 있다. 예를 들어, 블랙 영역은 보안 인증이 활성인 식별 마크를 포함할 수 있다. 이를 통해 사용자는 자신이 예컨대, 결제 또는 서명 등에 안전한 환경에 있음을 인식할 수 있다. 예를 들어, 경고 요소는 얼굴 인식이 활성임을 나타내기 위해 색상 및/또는 모양을 변경할 수 있다. 이 표시는 광학 센서, 특히 카메라가 스파이를 피하기 위해 켜져 있음을 사용자가 인식하도록 할 수 있다. 제어 유닛 및/또는 추가 보안 구역은 블랙 영역에 적어도 하나의 워터마크를 표시하기 위한 적어도 하나의 커맨드를 발행하도록 구성될 수 있다. 워터마크는 예컨대, 상점에서 보안 수준이 낮은 앱이 모방할 수 없는 기호일 수 있다.
그러나 반투명 디스플레이 뒤에 장면에 의해 반사된 광의 전파 방향으로 조명원과 광학 센서를 배치하면 디스플레이의 회절 격자가 장면 및 광학 센서에 의해 캡처된 이미지에 복수의 레이저 포인트를 생성하게 될 수 있다. 따라서 이미지 상의 이들 여러 스폿에는 유용한 거리 정보가 포함되지 않을 수 있다. 아래에 상세히 개설되는 바와 같이, 디스플레이 디바이스는 0차 회절 격자의 반사 특징, 즉 실제 특징을 찾고 평가하도록 구성된 적어도 하나의 평가 디바이스를 포함할 수 있고, 더 높은 차수의 반사 특징, 즉 거짓 특징을 무시할 수 있다.
조명원은 적어도 하나의 장면에 복수의 조명 특징을 포함하는 적어도 하나의 조명 패턴을 투영하도록 구성될 수 있다. 광학 센서는 조명 특징에 의한 조명에 응답하여 장면에 의해 생성된 복수의 반사 특징을 포함하는 적어도 하나의 제1 이미지를 결정하도록 구성될 수 있다. 디스플레이 디바이스는 적어도 하나의 평가 디바이스를 더 포함할 수 있다. 평가 디바이스는 제1 이미지를 평가하도록 구성될 수 있으며, 여기서 제1 이미지의 평가는 제1 이미지의 반사 특징을 식별하는 것과 식별된 반사 특징을 휘도에 관하여 분류하는 것을 포함한다. 각각의 반사 특징은 적어도 하나의 빔 프로파일을 포함할 수 있다. 평가 디바이스는 빔 프로파일의 분석에 의해 각각의 반사 특징에 대한 적어도 하나의 세로 좌표 ZDPR을 결정하도록 구성될 수 있다. 평가 디바이스는 세로 좌표 ZDPR을 사용하여 대응하는 조명 특징과 반사 특징을 모호하지 않게 매칭시키도록 구성될 수 있다. 매칭은 가장 밝은 반사 특징에서 시작하여 반사 특징의 휘도를 감소시키면서 수행될 수 있다. 평가 디바이스는 조명 특징과 매칭되는 반사 특징을 실제 특징으로 분류하고 조명 특징과 매칭되지 않는 반사 특징을 거짓 특징으로 분류하도록 구성될 수 있다. 평가 디바이스는 거짓 특징을 거부하고 세로 좌표 ZDPR을 사용하여 실제 특징에 대한 깊이 맵을 생성하도록 구성될 수 있다.
광학 센서는 조명 특징에 의한 조명에 응답하여 장면에 의해 생성된 복수의 반사 특징을 포함하는 적어도 하나의 제1 이미지를 결정하도록 구성될 수 있다. 여기서 사용되는 바와 같이, 제한없이, 용어 "이미지"는 특히, 센서 요소의 화소와 같은, 영상 디바이스로부터의 복수의 전자적 판독과 같은, 광학 센서를 이용함으로써 기록된 데이터에 관련될 수 있다. 따라서, 이미지 자체는 화소를 포함할 수 있고, 이미지의 화소는 센서 요소의 매트릭스의 화소와 상관된다. 그 결과, "화소"를 말할 때, 센서 요소의 단일 화소에 의해 생성된 이미지 정보의 단위에 대해 또는 센서 요소의 단일 화소에 직접 참조가 이루어진다. 여기서 사용되는 바와 같이, 용어 "2차원 이미지"는 일반적으로 높이 및 폭의 치수만의 가로 좌표에 대한 정보를 갖는 이미지를 지칭할 수 있다. 여기서 사용된 바와 같이, 용어 "3차원 이미지"는 일반적으로 높이, 폭 및 깊이의 치수와 같은, 가로 좌표와 추가적으로 세로 좌표에 대한 정보를 갖는 이미지를 지칭할 수 있다. 여기서 사용되는 바와 같이, 용어 "반사 특징"은, 조명 특히 적어도 하나의 조명 특징에 응답하여 장면에 의해 생성된 이미지 평면의 특징을 지칭할 수 있다.
평가 디바이스는 제1 이미지를 평가하도록 구성될 수 있다. 여기에 더 사용되는 바와 같이, 용어 "평가 디바이스"는 일반적으로, 적어도 하나의 데이터 처리 디바이스를 사용하여, 더 바람직하게는, 적어도 하나의 프로세서 및/또는 적어도 하나의 주문형 집적 회로를 사용하여 명명된 동작을 수행하도록 구성된 임의의 디바이스를 지칭한다. 따라서, 일례로서, 적어도 하나의 평가 디바이스는 다수의 컴퓨터 커맨드를 포함하여 소프트웨어 코드가 저장된 적어도 하나의 데이터 처리 디바이스를 포함할 수 있다. 평가 디바이스는 하나 이상의 명명된 동작을 수행하는 하나 이상의 하드웨어 요소를 제공할 수 있고/있거나 하나 이상의 지명된 동작을 수행하기 위해 실행하는 소프트웨어를 하나 이상의 프로세서에 제공할 수 있다. 동작은 이미지의 평가를 포함한다. 구체적으로, 빔 프로파일의 결정 및 표면의 표시는 적어도 하나의 평가 디바이스에 의해 수행될 수 있다. 따라서, 일례로서, 하나 이상의 명령어는 소프트웨어 및/또는 하드웨어로 구현될 수 있다. 따라서, 일례로서, 평가 디바이스는, 상술한 평가를 수행하도록 구성되는, 하나 이상의 컴퓨터와 같은 하나 이상의 프로그래머블 디바이스, 주문형 집적 회로(ASIC), 디지털 신호 프로세서(DSP) 또는 필드 프로그래머블 게이트 어레이(FPGA)를 포함할 수 있다. 그러나, 부가적으로 또는 이와 달리, 평가 디바이스는 하드웨어에 의해 완전히 또는 부분적으로 구현될 수도 있다.
평가 디바이스 및 디스플레이 디바이스는 단일 디바이스에 완전히 또는 부분적으로 통합될 수 있다. 따라서, 일반적으로, 평가 디바이스는 디스플레이 디바이스의 일부를 형성할 수도 있다. 이와 달리, 평가 디바이스 및 디스플레이 디바이스는 별개의 디바이스로서 완전히 또는 부분적으로 구현될 수 있다. 디스플레이 디바이스는 추가 구성요소를 포함할 수 있다. 평가 디바이스는 제어 유닛과 연결될 수 있고/있거나 제어 유닛의 일부일 수 있다.
평가 디바이스는 하나 이상의 접적 회로, 예컨대, 하나 이상의 주문형 집적 회로(ASIC) 및/또는 하나 이상의 데이터 처리 디바이스, 예컨대, 하나 이상의 컴퓨터, 바람직하게는 하나 이상의 마이크로컴퓨터 및/또는 마이크로컨트롤러, 필드 프로그래머블 어레이 또는 디지털 신호 프로세서일 수 있고 또는 그것을 포함할 수 있다. 하나 이상의 처리 디바이스 및/또는 데이터 취득 디바이스, 예컨대, 센서 신호의 수신 및/또는 전처리를 위한 하나 이상의 디바이스, 예컨대, 하나 이상의 AD 컨버터 및/또는 하나 이상의 필터와 같은 추가 구성요소가 포함될 수 있다. 또한, 평가 디바이스는 전류 및/또는 전압을 측정하기 위한 하나 이상의 측정 디바이스와 같은 하나 이상의 측정 디바이스를 포함할 수 있다. 또한, 평가 디바이스는 하나 이상의 데이터 스토리지 디바이스를 포함할 수 있다. 또한, 평가 디바이스는 하나 이상의 무선 인터페이스 및/또는 하나 이상의 유선 인터페이스와 같은 하나 이상의 인터페이스를 포함할 수 있다.
평가 디바이스는 광학 센서에 의해 및/또는 평가 디바이스에 의해 취득되는 정보와 같은 정보의 표시, 시각화, 분석, 분배, 통신 또는 추가 처리 중 하나 이상에 사용될 수 있는 적어도 하나의 추가 데이터 처리 디바이스에 연결될 수 있거나 그것을 포함할 수 있다. 데이터 처리 디바이스는, 일례로서, 디스플레이, 프로젝터, 모니터, LCD, TFT, 라우드스피커, 멀티채널 사운드 시스템, LED 패턴 또는 추가 시각화 디바이스 중 적어도 하나에 연결되거나 그것을 포함할 수 있다. 그것은 이메일, 텍스트 메시지, 전화, 블루투스, WiFi, 적외선 또는 인터넷 인터페이스, 포트 또는 접속 중 하나 이상을 이용하여 암호화된 또는 암호화되지 않은 정보를 보낼 수 있는 통신 디바이스 또는 통신 인터페이스, 커넥터 또는 포트 중 적어도 하나에 더 연결되거나 그것을 포함할 수 있다. 그것은 프로세서, 그래픽 프로세서, CPU, 오픈 멀티미디어 애플리케이션 플랫폼(Open Multimedia Applications Platform, OMAPTM), 집적 회로, 애플 A 시리즈 또는 삼성 S3C2 시리즈의 제품과 같은 시스템 온 칩, 마이크로컨트롤러 또는 마이크로프로세서, ROM, RAM, EEPROM 또는 플래시 메모리와 같은 하나 이상의 메모리 블록, 타이밍 소스, 예컨대, 오실레이터 또는 위상 고정 루프, 카운터-타이머, 실시간 타이머 또는 파워온 리셋 생성기, 전압 레귤레이터, 전력 관리 회로 또는 DMA 컨트롤러 중 적어도 하나에 더 연결되거나 그것을 포함할 수 있다. 개별 유닛은 AMBA 버스와 같은 버스에 의해 더 연결될 수 있고 또는 사물 인터넷 또는 산업 4.0 타입 네트워크에 통합될 수 있다.
평가 디바이스 및/또는 데이터 처리 디바이스는 직렬 또는 병렬 인터페이스 또는 포트, USB, 센트로닉 포트, 파이어와이어, HDMI, 이더넷, 블루투스, RFID, WiFi, USART 또는 SPI 또는 ADC 또는 DAC 중 하나 이상과 같은 아날로그 인터페이스 또는 포트, 또는 카메라링크(CameraLink)와 같은 RGB 인터페이스를 사용하는 2D 카메라 디바이스와 같은 추가 디바이스에 대한 표준화 인터페이스 또는 포트 중 하나 이상 등의 추가 외부 인터페이스 또는 포트에 의해 연결될 수 있다. 평가 디바이스 및/또는 데이터 처리 디바이스는 인터프로세서 인터페이스 또는 포트, FPGA-FPGA 인터페이스, 또는 직렬 또는 병렬 인터페이스 포트 중 하나 이상에 의해 더 연결될 수 있다. 평가 디바이스 및/또는 데이터 처리 디바이스는 광 디스크 드라이브, CD-RW 드라이브, DVD+RW 드라이브, 플래시 드라이브, 메모리 카드, 디스크 드라이브, 하드 디스크 드라이브, 솔리드 스테이트 디스크 또는 솔리드 스테이트 하드 디스크 중 하나 이상에 더 연결될 수 있다.
평가 디바이스 및/또는 데이터 처리 디바이스는 폰 커넥터, RCA 커넥터, VGA 커넥터, 자웅동체 커넥터, USB 커넥터, HDMI 커넥터, 8P8C 커넥터, BCN 커넥터, IEC 60320 C14 커넥터, 광 파이버 커넥터, D-초소형 커넥터, RF 커넥터, 동축 커넥터, SCART 커넥터, XLR 커넥터 중 하나 이상과 같은 하나 이상의 추가 외부 커넥터에 의해 연결되거나 그것을 가질 수 있고/있거나 이들 커넥터의 하나 이상에 대해 적어도 하나의 적합한 소켓을 통합할 수 있다.
평가 디바이스는 제1 이미지의 평가를 위해 구성될 수 있다. 제1 이미지의 평가는 제1 이미지의 반사 특징을 식별하는 것을 포함할 수 있다. 평가 디바이스는 반사 특징을 식별하기 위해 적어도 하나의 이미지 분석 및/또는 이미지 처리를 수행하도록 구성될 수 있다. 이미지 분석 및/또는 이미지 처리는 적어도 하나의 특징 검출 알고리즘을 이용할 수 있다. 이미지 분석 및/또는 이미지 처리는, 필터링, 적어도 하나의 관심 영역의 선택, 센서 신호에 의해 생성된 이미지와 적어도 하나의 오프셋 사이의 차이 이미지의 형성, 센서 신호에 의해 생성된 이미지를 반전하는 것에 의한 센서 신호의 반전, 상이한 시간에 센서 신호에 의해 생성된 이미지 사이의 차이 이미지의 형성, 배경 수정, 컬러 채널로의 분해, 색상(hue)으로의 분해, 포화도, 휘도 채널, 주파수 분해, 특이값 분해, 블롭 검출기 적용, 코너 검출기 적용, 헤시안 필터의 결정요인 적용, 원칙적 곡률 기반 영역 검출기 적용, 가장 안정된 극단 영역 검출기 적용, 일반화된 허프 변환(Hough-transformation) 적용, 능선 검출기 적용, 아핀 불변 특징 검출기 적용, 아핀 구성 관심 지점 연산자 적용, 해리스 아핀 영역 검출기 적용, 헤시안 아핀 영역 검출기 적용, 스케일 불변 특징 변환 적용, 스케일 공간 극값 검출기 적용, 로컬 특징 검출기 적용, 고속의 강건한 특징 알고리즘 적용, 경사도 위치 및 방향 히스토그램 알고리즘 적용, 지향 경사도 기술자의 히스토그램 적용, 드리체 에지 검출기(Deriche edge detector) 적용, 차분 에지 검출기 적용, 시공간 관심 지점 검출기 적용, 모라벡 코너 검출기 적용, 캐니 에지 검출기 적용, 가우시안 필터의 라플라시안 적용, 가우시안 필터의 차이 적용, 소벨 연산자 적용, 라플라스 연산자 적용, 샤르 연산자 적용, 프리위트 연산자 적용, 로버트 연산자 적용, 키르시 연산자 적용, 하이패스 필터 적용, 로우패스 필터 적용, 푸리에 변환 적용, 랜덤 변환 적용, 허프 변환 적용, 웨이블릿 변환 적용, 임계값 지정, 이진 이미지 생성 중 하나 이상을 포함할 수 있다. 관심 영역은 사용자에 의해 수동으로 결정되거나, 예컨대, 광학 센서에 의해 생성된 이미지 내에서의 특징을 인식하는 것에 의해 자동으로 결정될 수 있다.
예를 들어, 조명원은, 복수의 조명 영역이 광학 센서, 예컨대, CMOS 검출기에 생성되도록 포인트 클라우드를 생성 및/또는 투영하도록 구성될 수 있다. 부가적으로, 방해, 예컨대, 반점 및/또는 외부광 및/또는 다중 반사로 인한 방해가 광학 센서에 나타날 수 있다. 평가 디바이스는 적어도 하나의 관심 영역, 예를 들어, 물체의 세로 좌표의 결정에 사용되는 광 빔에 의해 조명된 하나 이상의 화소를 결정하도록 구성될 수 있다. 예를 들어, 평가 디바이스는 필터링 방법, 예컨대, 블롭 분석 및/또는 에지 필터 및/또는 물체 인식 방법을 수행하도록 구성될 수 있다.
평가 디바이스는 적어도 하나의 이미지 수정을 수행하도록 구성될 수 있다. 이미지 수정은 적어도 하나의 배경 차감을 포함할 수 있다. 평가 디바이스는, 예를 들어, 추가 조명 없는 이미징에 의해, 빔 프로파일에서 배경 광으로부터의 영향을 제거하도록 구성될 수 있다.
반사 특징의 각각은 적어도 하나의 빔 프로파일을 포함한다. 여기서 사용된 바와 같이, 용어 반사 특징의 "빔 프로파일"은 일반적으로, 화소의 기능으로서, 광학 센서의 광 스폿과 같은 반사 특징의 적어도 하나의 강도 분포를 의미할 수 있다. 빔 프로파일은 사다리꼴 빔 프로파일, 삼각형 빔 프로파일, 원뿔형 빔 프로파일 및 가우시안 빔 프로파일의 선형 조합으로 구성되는 그룹에서 선택될 수 있다. 평가 디바이스는 그들의 빔 프로파일의 분석에 의해 반사 특징의 각각에 대한 빔 프로파일 정보를 결정하도록 구성된다.
평가 디바이스는 그들의 빔 프로파일의 분석에 의해 반사 특징의 각각에 대한 적어도 하나의 세로 좌표 ZDPR를 결정하도록 구성될 수 있다. 여기에 사용되는 바와 같이, 용어 "빔 프로파일의 분석"은 일반적으로 빔 프로파일의 평가를 의미할 수 있고, 적어도 하나의 수학적 연산 및/또는 적어도 하나의 비교 및/또는 적어도 대칭화 및/또는 적어도 하나의 필터링 및/또는 적어도 하나의 정규화를 포함할 수 있다. 예를 들어, 빔 프로파일의 분석은 히스토그램 분석 단계, 차이 측정의 계산, 뉴럴 네트워크의 적용, 머신 학습 알고리즘의 적용 중 적어도 하나를 포함할 수 있다. 평가 디바이스는 빔 프로파일을 대칭화 및/또는 정규화 및/또는 필터링하도록, 특히, 더 큰 각도 하에서의 기록, 에지의 기록 등으로부터 노이즈 또는 비대칭을 제거하도록 구성될 수 있다. 평가 디바이스는 공간 주파수 분석 및/또는 중간값 필터링 등에 의해 높은 공간 주파수를 제거함으로써 빔 프로파일을 필터링할 수 있다. 요약은 광 스폿의 강도의 중심에 의해 중심까지 동일한 거리에서의 모든 강도를 평균화함으로써 수행될 수 있다. 평가 디바이스는, 특히 기록된 거리로 인한 강도 차이를 설명하기 위해 빔 프로파일을 최대 강도로 정규화하도록 구성될 수 있다. 평가 디바이스는, 예를 들어, 조명 없는 이미징에 의해 빔 프로파일에서 배경 광으로부터의 영향을 제거하도록 구성될 수 있다.
반사 특징은 이미지의 적어도 하나의 화소를 덮거나 그 위로 확장될 수 있다. 예를 들어, 반사 특징은 복수의 화소를 덮거나 그 위로 확장될 수 있다. 평가 디바이스는 반사 특징, 예컨대, 광 스폿에 접속되고/되거나 속하는 모든 화소를 결정 및/또는 선택하도록 구성될 수 있다. 평가 디바이스는,
에 의해 강도의 중심을 결정하도록 구성될 수 있고, 여기서 Rcoi는 강도의 중심 위치이고, rpixel는 화소 위치이고, 
이고 j는 반사 특징에 접속되고 또한/또는 속하는 화소 j의 수이고, Itotal은 총 강도이다.
평가 디바이스는, DPR(depth-from-photon-ratio) 기법을 이용하는 것에 의해 반사 특징의 각각에 대해 세로 좌표 ZDPR을 결정하도록 구성될 수 있다. DPR 기법에 대해 WO 2018/091649 A1, WO 2018/091638 A1 및 WO 2018/091640 A1을 참조하고, 그 전체 내용이 참조로서 포함된다.
평가 디바이스는 반사 특징 각각의 빔 프로파일을 결정하도록 구성될 수 있다. 여기서 사용되는 바와 같이, 용어 "빔 프로파일의 결정"은 광학 센서에 의해 제공된 적어도 하나의 반사 특징을 식별하는 것 및/또는 광학 센서에 의해 제공된 적어도 하나의 반사 특징을 선택하는 것 및 반사 특징의 적어도 하나의 강도 분포를 평가하는 것을 의미한다. 일례로서, 매트릭스의 영역은, 예컨대 매트릭스를 통한 축 또는 선을 따라, 3차원 강도 분포 또는 2차원 강도 분포와 같은 강도 분포를 결정하도록 사용 및 평가될 수 있다. 일례로서, 광 빔에 의한 조명의 중심은, 가장 높은 조명을 갖는 적어도 하나의 화소를 결정하는 것 등에 의해 결정될 수 있고, 단면축은 조명의 중심을 통해 선택될 수 있다. 강도 분포는 조명의 중심을 통해 이 단면축을 따르는 좌표의 함수로서의 강도 분포일 수 있다. 다른 평가 알고리즘이 실현 가능하다.
반사 특징 중 하나의 빔 프로파일 분석은 빔 프로파일의 적어도 하나의 제 1 영역 및 적어도 하나의 제 2 영역에서의 결정을 포함할 수 있다. 빔 프로파일의 제1 영역은 영역 A1일 수 있고, 빔 프로파일의 제2 영역은 영역 A2일 수 있다. 평가 디바이스는 제1 영역과 제2 영역을 통합하도록 구성될 수 있다. 평가 디바이스는, 통합된 제1 영역과 통합된 제2 영역의 분리, 다수의 통합된 제1 영역과 통합된 제2 영역의 분리, 통합된 제1 영역과 통합된 제2 영역의 선형 조합의 분리 중 하나 이상에 의해, 조합된 신호, 특히 몫(quotient) Q를 유도하도록 구성될 수 있다. 평가 디바이스는 빔 프로파일의 적어도 2개의 영역을 결정하고/하거나 빔 프로파일의 서로 다른 영역을 포함하는 적어도 2개의 세그먼트로 빔 프로파일을 분할하도록 구성될 수 있고, 영역이 동일하지 않는 한 영역의 중복은 가능할 수 있다. 예를 들어, 평가 디바이스는 2, 3, 4, 5 또는 10개의 영역까지 등의 복수의 영역을 결정하도록 구성될 수 있다. 평가 디바이스는 광 스폿을 빔 프로파일의 적어도 2개의 영역으로 분할하고/하거나 빔 프로파일의 서로 다른 영역을 포함하는 적어도 2개의 세그먼트로 빔 프로파일을 분할하도록 구성될 수 있다. 평가 디바이스는 적어도 2개의 영역에 대해 각각의 영역에 걸친 빔 프로파일의 통합을 결정하도록 구성될 수 있다. 평가 디바이스는 적어도 2개의 결정된 통합을 비교하도록 구성될 수 있다. 구체적으로, 평가 디바이스는 빔 프로파일의 적어도 하나의 제1 영역과 적어도 하나의 제2 영역을 결정하도록 구성될 수 있다. 여기서 사용된 바와 같이, 용어 "빔 프로파일의 영역"은 일반적으로 몫 Q를 결정하는 데 사용된 광학 센서의 위치에서 빔 프로파일의 임의의 영역을 의미한다. 빔 프로파일의 제1 영역과 빔 프로파일의 제2 영역은 인접하거나 겹치는 영역 중 하나 또는 양쪽 모두일 수 있다. 빔 프로파일의 제1 영역과 빔 프로파일의 제2 영역은 면적이 일치하지 않을 수 있다. 예를 들어, 평가 디바이스는 CMOS 센서의 센서 영역을 적어도 2개의 서브 영역으로 분리하도록 구성될 수 있고, 평가 디바이스는 CMOS 센서의 센서 영역을 적어도 하나의 왼쪽 부분과 적어도 하나의 오른쪽 부분으로, 및/또는 적어도 하나의 위쪽 부분과 적어도 하나의 아래쪽 부분으로, 및/또는 적어도 하나의 안쪽 부분과 적어도 하나의 바깥쪽 부분으로 분리하도록 구성될 수 있다. 부가적으로 또는 이와 달리, 디스플레이 디바이스는 적어도 2개의 광학 센서를 포함할 수 있고, 제1 광학 센서 및 제2 광학 센서의 감광 영역은, 제1 광학 센서가 반사 특징의 빔 프로파일의 제1 영역을 결정하도록 구성되고, 제2 광학 센서가 반사 특징의 빔 프로파일의 제2 영역을 결정하도록 구성되도록 배치될 수 있다. 평가 디바이스는 제1 영역 및 제2 영역을 통합하도록 구성될 수 있다. 평가 디바이스는 세로 좌표를 결정하기 위해 몫 Q와 세로 좌표 사이의 적어도 하나의 사전 결정된 관계를 이용하도록 구성될 수 있다. 사전 결정된 관계는 경험적 관계, 반 경험적 관계 및 분석적으로 유도된 관계 중 하나 이상일 수 있다. 평가 디바이스는 룩업 리스트 또는 룩업 테이블 등의 사전 결정된 관계를 저장하는 적어도 하나의 데이터 스토리지 디바이스를 포함할 수 있다.
빔 프로파일의 제1 영역은 본질적 빔 프로파일의 본질적 에지 정보를 포함할 수 있고, 빔 프로파일의 제2 영역은 빔 프로파일의 본질적 중심 정보를 포함할 수 있고/있거나 빔 프로파일의 제1 영역은 빔 프로파일의 왼쪽 부분에 대한 본질적 정보를 포함할 수 있고, 빔 프로파일의 제2 영역은 빔 프로파일의 오른쪽 부분에 대한 본질적 정보를 포함할 수 있다. 빔 프로파일은 중심, 즉, 빔 프로파일의 최대값 및/또는 빔 프로파일의 평탄부의 중심점 및/또는 광 스폿의 기하학적 중심, 및 중심으로부터 연장되는 하강 에지를 가질 수 있다. 제2 영역은 단면의 안쪽 영역을 포함할 수 있고, 제1 영역은 단면의 바깥쪽 영역을 포함할 수 있다. 여기서 사용된 바와 같이, 용어 "본질적 중심 정보"는 일반적으로, 중심 정보의 비율, 즉, 중심에 대응하는 강도 분포의 비율에 비해, 에지 정보의 비율, 즉, 에지에 대응하는 강도 분포의 비율이 낮은 것을 의미한다. 바람직하게는, 중심 정보는 10% 미만, 더 바람직하게는 5% 미만의 에지 정보의 비율을 갖고, 가장 바람직하게는 중심 정보가 에지 컨텐츠를 포함하지 않는다. 여기서 사용된 바와 같이, 용어 "본질적 에지 정보"는 일반적으로 에지 정보의 비율에 비해 중심 정보의 낮은 비율을 의미한다. 에지 정보는 빔 프로파일 전체, 특히 중심 및 에지 영역으로부터의 정보를 포함할 수 있다. 에지 정보는 10% 미만, 더 바람직하게는 5% 미만의 중심 정보의 비율을 가질 수 있고, 가장 바람직하게는 에지 정보는 중심 컨텐츠를 포함하지 않는다. 빔 프로파일의 적어도 하나의 영역은, 그것이 중심에 가깝거나 중심 주위에 있고 본질적 중심 정보를 포함하면, 빔 프로파일의 제2 영역으로 결정 및/또는 선택될 수 있다. 빔 프로파일의 적어도 하나의 영역은, 그것이 단면의 하강 에지의 적어도 일부를 포함하면, 빔 프로파일의 제1 영역으로 결정 및/또는 선택될 수 있다. 예를 들어, 단면의 전체 영역이 제1 영역으로 결정될 수 있다.
제1 영역 A1 및 제2 영역 A2의 다른 선택이 실현될 수 있다. 예를 들어, 제1 영역은 빔 프로파일의 본질적 바깥쪽 영역을 포함할 수 있고, 제2 영역은 빔 프로파일의 본질적 안쪽 영역을 포함할 수 있다. 예를 들어, 2차원 빔 프로파일의 경우에, 빔 프로파일은 왼쪽 부분 및 오른쪽 부분으로 분할될 수 있고, 제1 영역은 빔 프로파일의 왼쪽 부분의 본질적 영역을 포함할 수 있고, 제 2 영역은 빔 프로파일의 오른쪽 부분의 본질적 영역을 포함할 수 있다.
에지 정보는 빔 프로파일의 제1 영역에서 광자의 수에 관련된 정보를 포함할 수 있고, 중심 정보는 빔 프로파일의 제2 영역에서 광자의 수에 관련된 정보를 포함할 수 있다. 평가 디바이스는 빔 프로파일의 면적 통합을 결정하도록 구성될 수 있다. 평가 디바이스는 제1 영역의 통합 및/또는 합산에 의해 에지 정보를 결정하도록 구성될 수 있다. 평가 디바이스는 제2 영역의 통합 및/또는 합산에 의해 중심 정보를 결정하도록 구성될 수 있다. 예를 들어, 빔 프로파일은 사다리꼴 빔 프로파일일 수 있고, 평가 디바이스는 사다리꼴의 통합을 결정하도록 구성될 수 있다. 또한, 사다리꼴 빔 프로파일이 가정될 수 있을 때, 에지 및 중심 신호의 결정은 에지의 경사 및 위치, 중심 평탄부의 높이의 결정 등의 사다리꼴 빔 프로파일의 특성을 이용하고, 기하학적 고려사항에 의해 에지 및 중심 신호를 유도하는 동등한 평가에 의해 대체될 수 있다.
일 실시예에서, A1은 광학 센서의 특징점의 전체 또는 완전한 영역에 대응할 수 있다. A2는 광학 센서의 특징점의 중심 영역일 수 있다. 중심 영역은 일정한 값일 수 있다. 중심 영역은 특징점의 전체 영역에 비해 더 작을 수 있다. 예를 들어, 원형 특징점의 경우, 중심 영역은 특징점의 전체 반경의 0.1 내지 0.9, 바람직하게는 전체 반경의 0.4 내지 0.6의 반경을 가질 수 있다.
일 실시예에서, 조명 패턴은 적어도 하나의 선 패턴을 포함할 수 있다. A1은 광학 센서 상, 특히 광학 센서의 감광 영역 상의 선 패턴의 전체 선폭을 갖는 영역에 대응할 수 있다. 광학 센서 상의 선 패턴은, 광학 센서 상의 선 폭이 증가하도록, 조명 패턴의 선 패턴에 비해 확대 및/또는 대체될 수 있다. 특히, 광학 센서의 매트릭스의 경우에, 광학 센서의 선 패턴의 선폭은 열마다 변경될 수 있다. A2는 광학 센서 상의 선 패턴의 중심 영역일 수 있다. 중심 영역의 선폭은 일정한 값일 수 있고, 특히 조명 패턴에서의 선폭에 대응할 수 있다. 중심 영역은 전체 선폭에 비해 더 작은 선폭을 가질 수 있다. 예를 들어, 중심 영역은 전체 선폭의 0.1 내지 0.9, 바람직하게는 전체 선폭의 0.4 내지 0.6의 선폭을 가질 수 있다. 선 패턴은 광학 센서 상에서 분할될 수 있다. 광학 센서의 매트릭스의 각 열은 선 패턴의 중심 영역에서의 강도의 중심 정보와, 선 패턴의 중심 영역으로부터 에지 영역으로 더 바깥쪽으로 확장되는 영역으로부터의 강도의 에지 정보를 포함할 수 있다.
일 실시예에서, 조명 패턴은 적어도 포인트 패턴을 포함할 수 있다. A1은 광학 센서에서의 포인트 패턴의 포인트의 전체 반경을 갖는 영역에 대응할 수 있다. A2는 광학 센서에서의 포인트 패턴의 포인트의 중심 영역일 수 있다. 중심 영역은 일정한 값일 수 있다. 중심 영역은 전체 반경에 비교한 반경을 가질 수 있다. 예를 들어, 중심 영역은 전체 반경의 0.1 내지 0.9, 바람직하게는 전체 반경의 0.4 내지 0.6의 반경을 가질 수 있다.
조명 패턴은 적어도 하나의 포인트 패턴 및 적어도 하나의 선 패턴을 모두 포함할 수 있다. 부가하여 또는 이와 달리, 선 패턴 및 포인트 패턴에 대한 다른 실시예가 실현 가능하다.
평가 디바이스는 제1 영역 및 제2 영역의 분리, 다수의 제1 영역 및 제2 영역의 분리, 제1 영역 및 제2 영역의 선형 조합의 분리 중 하나 이상에 의해 몫 Q를 유도하도록 구성될 수 있다. 평가 디바이스는,
에 의해 몫 Q를 유도하도록 구성될 수 있고, 여기서, x 및 y는 가로 좌표이고, A1 및 A2는 각각 빔 프로파일의 제1 및 제2 영역이고, E(x,y)는 빔 프로파일을 나타낸다.
부가적으로 또는 이와 달리, 평가 디바이스는 광 스폿의 적어도 하나의 슬라이스 또는 컷으로부터 중심 정보 또는 에지 정보 중 하나 또는 둘 다를 결정하도록 구성될 수 있다. 이것은, 예를 들어, 몫 Q의 영역 통합을 슬라이스 또는 컷을 따른 선 통합으로 대체함으로써 실현될 수 있다. 정확도를 개선하기 위해, 광 스폿을 통한 여러 개의 슬라이스 또는 컷이 사용되고 평균화될 수 있다. 타원형 스폿 프로파일의 경우에, 여러 슬라이스 또는 컷에 대한 평균은 개선된 거리 정보를 초래할 수 있다.
예를 들어, 광학 센서가 화소의 매트릭스를 갖는 경우에, 평가 디바이스는,
- 가장 높은 센서 신호를 갖는 화소를 결정하고 적어도 하나의 중심 신호를 형성하고,
- 매트릭스의 센서 신호를 평가하고 적어도 하나의 합산 신호를 형성하고,
- 중심 신호와 합산 신호를 결합하는 것에 의해 몫 Q를 결정하고,
- 몫 Q를 평가하는 것에 의해 물체의 적어도 하나의 세로 좌표 z를 결정하는 것에 의해, 빔 프로파일을 평가하도록 구성될 수 있다.
여기서 사용된 바와 같이, "센서 신호"는 일반적으로 조명에 응답하여 광학 센서 및/또는 광학 센서의 적어도 하나의 화소에 의해 생성된 신호를 의미한다. 구체적으로, 센서 신호는 적어도 하나의 아날로그 전기 신호 및/또는 적어도 하나의 디지털 전기 신호와 같은 적어도 하나의 전기 신호이거나 그것을 포함할 수 있다. 더 구체적으로, 센서 신호는 적어도 하나의 전압 신호 및/또는 적어도 하나의 전류 신호이거나 또는 그것을 포함할 수 있다. 더 구체적으로, 센서 신호는 적어도 하나의 광 전류를 포함할 수 있다. 또한, 가공되지 않은 센서 신호가 사용될 수 있거나, 또는, 디스플레이 디바이스, 광학 센서 또는 임의의 다른 요소가 센서 신호를 처리 또는 전처리하도록 구성될 수 있고, 이에 따라 필터링 등에 의해 전처리하는 등의, 센서 신호로도 사용될 수 있는 보조 센서 신호를 생성할 수 있다. 용어 "중심 신호"는 일반적으로 본질적인 빔 프로파일의 중심 정보를 포함하는 적어도 하나의 센서 신호를 의미한다. 여기서 사용되는 바와 같이, 용어 "가장 높은 센서 신호"는 관심 영역의 국소적 최대 또는 최대 중 하나 또는 양쪽 모두를 의미한다. 예를 들어, 중심 신호는 매트릭스 내에서 관심 영역의 전체 매트릭스의 화소에 의해 생성된 복수의 센서 신호 중 최고 센서 신호를 갖는 화소의 신호일 수 있고, 여기서 관심 영역은 매트릭스의 화소에 의해 생성된 이미지 내에서 사전 결정되거나 또는 결정 가능한 것일 수 있다. 중심 신호는 단일 화소 또는 광학 센서의 그룹에서 발생할 수 있고, 후자의 경우, 일례로서, 중심 신호를 결정하기 위해, 화소 그룹의 센서 신호가 부가, 통합 또는 평균화될 수 있다. 센서 신호가 발생하는 화소의 그룹은, 최고 센서 신호를 갖는 실제 화소로부터의 사전 결정된 거리 미만을 갖는 화소 등의, 이웃하는 화소의 그룹일 수 있고, 또는 최고 센서 신호로부터 사전 결정된 범위 내에 있는 센서 신호를 생성하는 화소의 그룹일 수 있다. 최대 동적 범위를 허용하기 위해 중심 신호가 발생하는 화소의 그룹은 가능한 크게 선택될 수 있다. 평가 디바이스는 복수의 센서 신호, 예컨대, 최고 센서 신호를 갖는 화소 주위의 복수의 화소의 통합에 의해 중심 신호를 결정하도록 구성될 수 있다. 예를 들어, 빔 프로파일은 사다리꼴 빔 프로파일일 수 있고, 평가 디바이스는 사다리꼴, 특히, 사다리꼴의 평탄부(plateau)의 통합을 결정하도록 구성될 수 있다.
상기에 설명한 바와 같이, 중심 신호는 일반적으로 광 스폿의 중심에서 화소로부터의 센서 신호 등의 단일 센서 신호일 수 있거나, 또는 광 스폿의 중심에서 화소로부터 발생하는 센서 신호의 조합 등의 복수의 센서 신호의 조합일 수 있고, 또는 전술한 가능성의 하나 이상에 의해 유도된 센서 신호를 처리하는 것에 의해 유도된 보조 센서 신호일 수 있다. 센서 신호의 비교는 종래의 전자 장치에 의해 상당히 간단하게 구현되기 때문에 중심 신호의 결정은 전자적으로 수행될 수 있고, 또는 완전히 또는 부분적으로 소프트웨어에 의해 수행될 수 있다. 구체적으로, 중심 신호는, 최고 센서 신호, 최고 센서 신호로부터 사전 결정됨 범위의 허용 오차 내의 센서 신호의 그룹의 평균, 최고 센서 신호 및 사전 결정된 그룹의 이웃 화소를 갖는 화소를 포함하는 화소의 그룹으로부터의 센서 신호의 평균, 최고 센서 신호 및 사전 결정된 그룹의 이웃 화소를 갖는 화소를 포함하는 화소의 그룹으로부터의 센서 신호의 합, 최고 센서 신호로부터 사전 결정된 범위의 허용 오차 내에 있는 센서 신호의 그룹의 합, 사전 결정된 임계값 위에 있는 센서 신호의 그룹의 평균, 사전 결정된 임계값 위에 있는 센서 신호의 그룹의 합, 최고 센서 신호 및 사전 결정된 그룹의 이웃 화소를 갖는 광학 센서를 포함하는 광학 센서의 그룹으로부터의 센서 신호의 통합, 최고 센서 신호로부터 사전 결정된 범위의 허용 오차 내에 있는 센서 신호의 그룹의 통합, 사전 결정된 임계값 위에 있는 센서 신호의 그룹의 통합으로 구성되는 그룹으로부터 선택될 수 있다.
마찬가지로, 용어 "합산 신호"는 일반적으로 빔 프로파일의 본질적 에지 정보를 포함하는 신호를 의미한다. 예를 들어, 합산 신호는 센서 신호를 더하는 것, 센서 신호를 통합하는 것, 또는 전체 매트릭스의 또는 매트릭스 내에서의 관심 영역의 센서 신호를 평균화하는 것에 의해 유도될 수 있고, 여기서 관심 영역은 매트릭스의 광학 센서에 의해 생성된 이미지 내에서 사전 결정된 또는 결정 가능한 것일 수 있다. 센서 신호를 더하고, 통합하고 또는 평균화할 때, 센서 신호가 생성되는 실제 광학 센서는 가산, 통합 또는 평균화에서 제외될 수 있고, 또는 이와 달리 가산, 통합 또는 평균화에 포함될 수도 있다. 평가 디바이스는 전체 매트릭스 또는 매트릭스 내의 관심 영역의 신호를 통합하는 것에 의해 합산 신호를 결정하도록 구성될 수 있다. 예를 들어, 빔 프로파일은 사다리꼴 빔 프로파일일 수 있고, 평가 디바이스는 전체 사다리꼴의 통합을 결정하도록 구성될 수 있다. 또한, 사다리꼴 빔 프로파일이 가정될 수 있을 때, 에지 및 중심 신호의 결정은 에지의 경사 및 위치, 중심 평탄부의 높이의 결정 등의 사다리꼴 빔 프로파일의 특성을 이용하고, 기하학적 고려사항에 의해 에지 및 중심 신호를 유도하는 균등한 평가에 의해 대체될 수 있다.
마찬가지로, 중심 신호 및 에지 신호는 또한 빔 프로파일의 원형 세그먼트 등의 빔 프로파일의 세그먼트를 이용하여 결정될 수 있다. 예를 들어, 빔 프로파일은 빔 프로파일의 중심을 통과하지 않는 시컨트 또는 현에 의해 2개의 세그먼트로 분할될 수 있다. 따라서, 하나의 세그먼트는 본질적으로 에지 정보를 포함할 것이고, 반면 다른 세그먼트는 본질적으로 중심 정보를 포함할 것이다. 예를 들어, 중심 신호에서 에지 정보의 양을 더 감소시키기 위해, 에지 신호는 중심 신호에서 더 차감될 수 있다.
몫 Q는 중심 신호와 합산 신호를 결합하는 것에 의해 생성되는 신호일 수 있다. 구체적으로, 결정은 중심 신호와 합산 신호의 비율 또는 그 반대를 형성하고, 다수의 중심 신호와 다수의 합산 신호의 비율 또는 그 반대를 형성하고, 중심 신호의 선형 조합과 합산 신호의 선형 조합의 비율 또는 그 반대를 형성하는 것 중 하나 이상을 포함할 수 있다. 부가적으로 또는 이와 달리, 몫 Q는 중심 신호와 합산 신호 사이의 비교에 대한 정보의 적어도 하나의 항목을 포함하는 임의의 신호 또는 신호의 조합을 포함할 수 있다.
여기서 사용되는 바와 같이, 용어 "물체의 세로 좌표"는 광학 센서와 물체 사이의 거리를 의미한다. 평가 디바이스는 세로 좌표를 결정하기 위해 몫 Q와 세로 좌표 사이의 적어도 하나의 사전 결정된 관계를 이용하도록 구성될 수 있다. 사전 결정된 관계는 경험 관계, 반 경험 관계 및 분석적으로 유도된 관계 중 하나 이상일 수 있다. 평가 디바이스는 룩업리스트 또는 룩업테이블 등의 사전 결정된 관계를 저장하기 위한 적어도 하나의 데이터 스토리지 디바이스를 포함할 수 있다.
평가 디바이스는 0차 및 더 높은 차수를 갖는 모든 반사 특징에 대한 거리를 계산하는 적어도 하나의 DPR 알고리즘을 실행하도록 구성될 수 있다.
제1 이미지의 평가는 휘도에 관하여 식별된 반사 특징을 정렬하는 것을 포함할 수 있다. 여기서 사용되는 바와 같이, 용어 "정렬"은 휘도, 특히, 최대 휘도를 갖는 반사 특징에서 시작하여 감소하는 휘도를 갖는 후속의 반사 특징에 대하여 추가 평가를 위해 반사 특징의 시퀀스를 할당하는 것을 의미할 수 있다. 감소하는 휘도를 갖는 정렬은 감소하는 휘도에 따른 정렬 및/또는 감소하는 휘도에 대한 정렬을 의미할 수 있다. 여기서 사용되는 바와 같이, 용어 "휘도"는 제1 이미지의 반사 특징의 크기 및/또는 제1 이미지의 반사 특징의 강도를 의미할 수 있다. 휘도는 가시광선 또는 적외선 스펙트럼 범위 등의 정해진 통과 대역을 지칭하거나 파장에 독립적일 수 있다. 가장 밝은 반사 특징이 DPR 계산에 선호되면, 세로 좌표 ZDPR의 결정의 강건함은 증가될 수 있다. 이것은 주로 0차 회절 격자를 갖는 반사 특징이 더 높은 차수의 거짓 특징보다 항상 더 밝기 때문이다.
평가 디바이스는 세로 좌표 ZDPR을 사용함으로써 반사 특징을 대응하는 조명 특징과 명확히 일치시키도록 구성될 수 있다. DPR 기법에 의해 결정된 세로 좌표는 이른바 대응관계 문제를 해결하는 데 사용될 수 있다. 이런 식으로, 반사 특징당 거리 정보는 공지의 레이저 프로젝터 그리드의 대응관계를 찾도록 사용될 수 있다. 여기서 사용된 바와 같이, 용어 "일치"는 대응하는 조명 특징 및 반사 특징을 식별 및/또는 결정 및/또는 평가하는 것을 의미한다. 여기서 사용된 바와 같이, 용어 "대응하는 조명 특징 및 반사 특징"은 조명 패턴의 조명 특징의 각각이 장면에서 반사 특징을 생성하는 것을 의미할 수 있고, 생성된 반사 특징은 생성된 상기 반사 특징을 갖는 조명 특징에 할당된다.
여기서 사용되는 바와 같이, 용어 "명확히 일치"는, 하나의 반사 특징만이 하나의 조명 특징에 할당되고/되거나 다른 반사 특징은 동일한 일치된 조명 특징에 할당될 수 없는 것을 의미할 수 있다.
반사 특징에 대응하는 조명 특징은 에피폴라 기하를 이용하여 결정될 수 있다. 에피폴라 기하의 기술에 대해, 예를 들어, X.Jiang, H.Bunke: "Dreidimensionales Computersehen" Springer, Berlin Heidelberg, 1997의 챕터 2를 참조한다. 에피폴라 기하는, 조명 이미지, 즉, 왜곡되지 않은 조명 패턴의 이미지 및 제1 이미지가 고정 거리를 갖는 상이한 공간 위치 및/또는 공간 방향에서 결정된 이미지일 수 있다는 것을 가정할 수 있다. 거리는 기준선이라고도 표기되는 상대적 거리일 수 있다. 조명 이미지는 참조 이미지로도 표기될 수 있다. 평가 디바이스는 참조 이미지의 에피폴라선을 결정하도록 구성될 수 있다. 참조 이미지 및 제1 이미지의 상대적 위치는 공지일 수 있다. 예를 들어, 참조 이미지 및 제1 이미지의 상대적 위치는 평가 디바이스의 적어도 하나의 스토리지 유닛 내에 저장될 수 있다. 평가 디바이스는 제1 이미지의 선택된 반사 특징으로부터 그것이 비롯되는 현실 세계 특징까지 확장되는 직선을 결정하도록 구성될 수 있다. 따라서, 직선은 선택된 반사 특징에 대응하는 가능한 물체 특징을 포함할 수 있다. 직선 및 기준선은 에피폴라 평면에 걸쳐 이어진다. 참조 이미지가 제1 이미지와 다른 상대적 성좌에서 결정되므로, 대응하는 가능한 물체의 특징은 참조 이미지에서 에피폴라 선이라 불리는 직선 상에 그려질 수 있다. 에피폴라선은 에피폴라 평면과 참조 이미지의 교차부일 수 있다. 따라서, 제1 이미지의 선택된 특징에 대응하는 참조 이미지의 특징은 에피폴라선에 있다.
반사된 조명 특징을 갖는 장면의 물체까지의 거리에 따라, 조명 특징에 대응하는 반사 특징은 제1 이미지 내에서 변위될 수 있다. 참조 이미지는 선택된 반사 특징에 대응하는 조명 특징이 그려질 수 있는 적어도 하나의 변위 영역(displacement region)을 포함할 수 있다. 변위 영역은 하나의 조명 특징만을 포함할 수 있다. 변위 영역은 또한 하나보다 많은 조명 특징을 포함할 수도 있다. 변위 영역은 하나의 에피폴라선 또는 하나의 에피폴라선의 구역을 포함할 수 있다. 변위 영역은 하나보다 많은 에피폴라선 또는 하나보다 많은 에피폴라선의 더 많은 구역을 포함할 수 있다. 변위 영역은 에피폴라선을 따라, 에피폴라선에 직교하여 또는 양쪽 모두에 따라 확장될 수 있다. 평가 디바이스는 에피폴라선을 따른 조명 특징을 결정하도록 구성될 수 있다. 평가 디바이스는 반사 특징에 대한 세로 좌표 z 및 결합 신호 Q로부터의 오차 간격 ±ε을 결정하여, z±ε에 대응하는 에피폴라선을 따라 또는 에피폴라선에 직교하는 변위 영역을 결정하도록 구성될 수 있다. 결합 신호 Q를 이용하는 거리 측정의 측정 불확실성은, 측정 불확실성이 다른 방향에 대해 상이할 수 있으므로, 원이 아닌 제2 이미지의 변위 영역을 초래할 수 있다. 구체적으로, 에피폴라선(들)을 따른 측정 불확실성은 에피폴라선(들)에 대해 직교 방향의 측정 불확실성보다 더 클 수 있다. 변위 영역은 에피폴라선(들)에 대해 직교 방향으로의 확장을 포함할 수 있다. 평가 디바이스는 선택된 반사 특징을 변위 영역 내에서의 적어도 하나의 조명 특징과 일치시키도록 구성될 수 있다. 평가 디바이스는, 결정된 세로 좌표 ZDPR을 고려하여 적어도 하나의 평가 알고리즘을 이용하는 것에 의해, 선택된 제1 이미지의 특징을 변위 영역 내의 조명 특징과 일치시키도록 구성될 수 있다. 평가 알고리즘은 선형 스케일링 알고리즘일 수 있다. 평가 디바이스는 변위 영역에 가장 가까운 및/또는 변위 영역 내의 에피폴라선을 결정하도록 구성될 수 있다. 평가 디바이스는 반사 특징의 이미지 위치에 가장 가까운 에피폴라선을 결정하도록 구성될 수 있다. 에피폴라선을 따른 변위 영역의 연장은 에피폴라선에 직교하는 변위 영역의 연장보다 더 클 수 있다. 평가 디바이스는 대응하는 조명 특징을 결정하기 전에 에피폴라선을 결정하도록 구성될 수 있다. 평가 디바이스는 각각의 반사 특징의 이미지 위치 주변의 변위 영역을 결정할 수 있다. 평가 디바이스는, 변위 영역에 가장 가까운, 및/또는 변위 영역 내의, 및/또는 에피폴라선에 직교하는 방향을 따른 변위 영역에 가장 가까운 에피폴라선을 할당하는 것 등에 의해, 반사 특징의 각각의 이미지 위치의 각 변위 영역에 에피폴라선을 할당하도록 구성될 수 있다. 평가 디바이스는, 할당된 변위 영역에 가장 가까운, 및/또는 할당된 변위 영역 내의, 및/또는 할당된 에피폴라선을 따른 할당된 변위 영역에 가장 가까운, 및/또는 할당된 에피폴라선을 따른 할당된 변위 영역 내의 조명 특징을 결정하는 것에 의해 반사 특징에 대응하는 조명 특징을 결정하도록 구성될 수 있다.
부가적으로 또는 이와 달리, 평가 디바이스는 다음의 단계, 즉,
- 각각의 반사 특징의 이미지 위치에 대한 변위 영역을 결정하는 단계,
- 변위 영역에 가장 가까운, 및/또는 변위 영역 내의, 및/또는 에피폴라선에 직교하는 방향을 따른 변위 영역에 가장 가까운 에피폴라선을 할당하는 것 등에 의해, 각각의 반사 특징의 변위 영역에 에피폴라선을 할당하는 단계,
- 할당된 변위 영역에 가장 가까운, 및/또는 할당된 변위 영역 내의, 및/또는 할당된 에피폴라선을 따른 할당된 변위 영역에 가장 가까운, 및/또는 할당된 에피폴라선을 따른 할당된 변위 영역 내의 조명 특징을 할당하는 것 등에 의해 각각의 반사 특징에 대해 적어도 하나의 조명 특징을 할당 및/또는 결정하는 단계
를 수행하도록 구성될 수 있다.
부가적으로 또는 이와 달리, 평가 디바이스는, 반사 특징의 거리 및/또는 조명 이미지 내의 에피폴라선을 비교하는 것, 및/또는 조명 특징의 ε-가중 거리와 같은 오차 가중 거리 및/또는 조명 이미지 내의 에피폴라선을 비교하고, 에피폴라선 및/또는 더 짧은 거리의 조명 특징 및/또는 조명 특징에 대한 ε-가중 거리 및/또는 반사 특징을 할당하는 것 등에 의해, 반사 특징에 할당될 하나보다 많은 에피폴라선 및/또는 조명 특징 중에서 결정하도록 구성될 수 있다.
상기에 설명한 바와 같이, 회절 격자로 인해, 복수의 반사 특징, 예컨대, 각각의 조명 특징에 대해 하나의 실제 특징 및 복수의 거짓 특징이 생성된다. 일치는 가장 밝은 반사 특징에서 시작하여 반사 특징의 휘도를 감소시키면서 수행된다. 다른 반사 특징은 동일하게 일치한 조명 특징에 할당될 수 없다. 디스플레이 아티팩트로 인해, 생성되는 거짓 특징은 일반적으로 실제 특징보다 더 어둡다. 반사 특징을 휘도에 따라 정렬함으로써 더 밝은 반사 특징이 대응하는 일치에 대해 선호된다. 조명 특징의 대응관계가 이미 사용되고 있으면, 거짓 특징이 사용, 즉, 일치된 조명 특징에 할당될 수 없다.
평가 디바이스는 조명 특징과 일치하는 반사 특징을 실제 특징으로서 분류하고, 조명 특징과 일치하지 않는 반사 특징을 거짓 특징으로서 분류하도록 구성될 수 있다. 여기서 사용되는 바와 같이, 용어 "분류"는 적어도 하나의 카테고리에 반사 특징을 할당하는 것을 의미할 수 있다. 여기서 사용되는 바와 같이, 용어 "실제 특징"은 0차 회절 격자의 반사 특징을 의미할 수 있다. 여기서 사용되는 바와 같이, 용어 "거짓 특징"은 더 높은 차수, 즉, 1차 이상의 회절 격자의 반사 특징을 의미할 수 있다. 0차 회절 격자는 더 높은 차수의 거짓 특징보다 항상 더 밝다.
평가 디바이스는 거짓 특징을 거부하고, 세로 좌표 ZDPR을 이용하는 것에 의해 실제 특징에 대한 깊이 맵을 생성하도록 구성될 수 있다. 여기서 사용된 바와 같이, 용어 "깊이"는 물체와 광학 센서 사이의 거리를 의미할 수 있고, 세로 좌표에 의해 정해질 수 있다. 여기서 사용된 바와 같이, 용어 "깊이 맵"은 깊이의 공간 분포를 의미할 수 있다. 디스플레이 디바이스는 예컨대, 얼굴의 장면으로부터 3D 맵을 생성하는 데 사용될 수 있다.
구조화 광 방법은 통상적으로 카메라와, 세밀한 포인트 그리드, 예컨대, 수천개의 포인트를 갖는 프로젝터를 사용한다. 공지의 프로젝터 패턴은 장면에서의 포인트 패치의 대응 관계를 찾는 데 사용된다. 포인트의 대응 관계가 해결되면, 거리 정보는 삼각 측량에 의해 얻어진다. 카메라가 디스플레이 뒤에 있으면, 회절은 이미지를 공간적으로 왜곡시킨다. 따라서, 왜곡된 이미지에서 포인트 패턴을 찾는 것이 도전 과제이다. 구조화 광 방법에 비교하면, 본 발명은 디스플레이의 회절 격자에 의해 직접 영향을 받지 않는 빔 프로파일을 평가하는 DPR 기법을 이용하는 것을 제안한다. 왜곡은 빔 프로파일에 영향을 주지 않는다.
깊이 맵은 삼각 측량 및/또는 DFD(depth-from-defocus) 및/또는 구조화 광과 같은 추가 깊이 측정 기법을 이용하여 더 개선될 수 있다. 평가 디바이스는 삼각 측량 및/또는 DFD 및/또는 구조화 광 기법을 이용하여 반사 특징의 각각에 대해 적어도 하나의 제2 세로 좌표 Ztriang를 결정하도록 구성될 수 있다.
평가 디바이스는 조명 특징 및 반사 특징의 변위를 결정하도록 구성될 수 있다. 평가 디바이스는 일치된 조명 특징과 선택된 반사 특징의 변위를 결정하도록 구성될 수 있다. 평가 디바이스, 예컨대, 평가 디바이스의 적어도 하나의 데이터 처리 디바이스는, 특히, 조명 이미지와 제1 이미지의 각각의 이미지 위치를 비교함으로써, 조명 특징 및 반사 특징의 변위를 결정하도록 구성될 수 있다. 여기서 사용된 바와 같이, 용어 "변위"는 조명 이미지의 이미지 위치와 제1 이미지의 이미지 위치의 차이를 의미한다. 평가 디바이스는 제2 세로 좌표와 변위 사이의 사전 결정된 관계를 이용하여 일치된 특징의 제2 세로 좌표를 결정하도록 구성될 수 있다. 평가 디바이스는 삼각 측량법을 이용함으로써 사전 결정된 관계를 결정하도록 구성될 수 있다. 제1 이미지에서 선택된 반사 특징의 위치와 일치된 조명 특징의 위치 및/또는 선택된 반사 특징과 일치된 조명 특징의 상대적 변위가 공지인 경우에, 대응하는 물체의 특징의 세로 좌표는 삼각 측량에 의해 결정될 수 있다. 따라서, 평가 디바이스는, 예컨대, 연속적인 및/또는 열별로 반사 특징을 선택하고, 조명 특징의 각 잠재적 위치에 대해 삼각 측량을 이용하여 대응하는 거리값을 결정하도록 구성될 수 있다. 변위 및 대응하는 거리값은 평가 디바이스의 적어도 하나의 스토리지 디바이스에 저장될 수 있다. 평가 디바이스는, 일례로서, 적어도 하나의 프로세서, 적어도 하나의 DSP, 적어도 하나의 FPGA 및/또는 적어도 하나의 ASIC과 같은 적어도 하나의 데이터 처리 디바이스를 포함할 수 있다. 또한, 제2 세로 좌표 z와 변위 사이의 적어도 하나의 사전 결정된 또는 결정 가능한 관계를 저장하기 위해, 사전 결정된 관계를 저장하는 하나 이상의 룩업테이블을 제공하는 등의 적어도 하나의 데이터 스토리지 디바이스가 제공될 수 있다. 평가 디바이스는 카메라 및/또는 디스플레이 디바이스의 고유의 및/또는 외부의 교정을 위한 파라미터를 저장하도록 구성될 수 있다. 평가 디바이스는, 차이 카메라 교정(Tsai camera calibration)을 수행하는 것 등에 의해, 카메라 및/또는 디스플레이 디바이스의 고유의 및/또는 외부의 교정을 위한 파라미터를 생성하도록 구성될 수 있다. 평가 디바이스는, 전송 디바이스의 초점 길이, 방사 렌즈 왜곡 계수, 방사 렌즈 왜곡의 중심의 좌표, 스캐닝 및 디지털화의 타이밍을 맞추는 하드웨어에서의 결함으로 인한 임의의 불확실성을 설명하는 스케일 팩터, 세계와 카메라 좌표 사이의 변환을 위한 회전각, 세계와 카메라 좌표 사이의 변환을 위한 변환 구성요소, 조리개 각도, 이미지 센서 포맷, 주요 포인트, 스큐 계수, 카메라 중심, 카메라 방향, 기준선, 카메라 및/또는 조명원 사이의 회전 또는 변환 파라미터, 조리개, 초점 거리 등과 같은 파라미터를 계산 및/또는 추정하도록 구성될 수 있다.
평가 디바이스는 제2 세로 좌표 Ztriang 및 세로 좌표 ZDPR의 결합된 세로 좌표를 결정하도록 구성될 수 있다. 결합된 세로 좌표는 제2 세로 좌표 Ztriang 및 세로 좌표 ZDPR의 평균값일 수 있다. 결합된 세로 좌표는 깊이 맵을 생성하는 데 사용될 수 있다.
디스플레이 디바이스는 추가 조명원을 포함할 수 있다. 추가 조명원은 적어도 하나의 발광 다이오드(LED)를 포함할 수 있다. 추가 조명원은 가시광선 스펙트럼 범위에서 광을 생성하도록 구성될 수 있다. 광학 센서는 장면의 적어도 하나의 2차원 이미지를 포함하는 적어도 하나의 제2 이미지를 결정하도록 구성될 수 있다. 추가 조명원은 제2 이미지의 이미징을 위해 추가 조명을 제공하도록 구성될 수 있다. 예를 들어, 디스플레이 디바이스의 설정은 추가 투광 조명 LED에 의해 연장될 수 있다. 추가 조명원은 LED로, 특히 조명 패턴 없이, 얼굴과 같은 장면을 조명할 수 있고, 광학 센서는 2차원 이미지를 캡쳐하도록 구성될 수 있다. 2D 이미지는 얼굴 검출 및 검증 알고리즘에 사용될 수 있다. 디스플레이의 임펄스 응답이 공지이면, 광학 센서에 의해 캡쳐된 왜곡된 이미지는 정정될 수 있다. 평가 디바이스는 제2 이미지 I를 격자 함수 g로 디컨볼루션함으로써 적어도 하나의 수정된 이미지 I0을 결정하도록 구성될 수 있다(I=I0*g). 격자 함수는 임펄스 응답으로도 표기된다. 왜곡되지 않은 이미지는 디컨볼루션 방식, 예컨대, Van-Cittert 또는 Wiener 디컨볼루션에 의해 복원될 수 있다. 디스플레이 디바이스는 격자 함수 g를 결정하도록 구성될 수 있다. 예를 들어, 디스플레이 디바이스는 소형 단일 브라이트 스폿을 포함하는 조명 패턴으로 블랙 장면을 조명하도록 구성될 수 있다. 캡쳐된 이미지는 격자 함수일 수 있다. 이 절차는 교정 동안과 같이 한번만 수행될 수 있다. 심지어 디스플레이를 통한 이미징을 위해 수정된 이미지를 결정하기 위해, 디스플레이 디바이스는 이미지를 캡쳐하고 캡쳐된 임펄스 응답 g를 갖는 디컨볼루션 방식을 이용하도록 구성될 수 있다. 그 결과 이미지는 더 적은 디스플레이의 아티팩트를 갖는 재구성된 이미지일 수 있고, 여러가지 응용, 예컨대, 얼굴 인식에 사용될 수 있다.
평가 디바이스는 적어도 하나의 반사 특징의 빔 프로파일, 바람직하게는 복수의 반사 특징의 빔 프로파일을 평가하는 것에 의해 물체의 적어도 하나의 물질 특성 m을 결정하도록 구성될 수 있다. 빔 프로파일을 평가하는 것에 의해 적어도 하나의 물질 특성을 결정하는 세부사항에 대해 WO 2020/187719를 참조하고, 그 내용이 여기에 참조로서 포함된다.
여기서 사용되는 바와 같이, 용어 "물질 특성"은 물질의 특성화 및/또는 식별 및/또는 분류를 위해 구성된 물질의 적어도 하나의 임의의 특성을 의미한다. 예를 들어, 물질 특성은, 거칠기, 광의 물질로의 침투 깊이, 생물학적 또는 비생물학적 물질로서의 물질을 특징짓는 특성, 반사율, 정 반사율(specular reflectivity), 확산 반사율, 표면 특성, 반투명에 대한 측정, 산란, 특히 후방 산란 동작 등으로 구성되는 그룹으로부터 선택된 특성일 수 있다. 적어도 하나의 물질 특성은 산란 계수, 반투명도, 투명도, 램버시안(Lambertian) 표면 반사로부터의 편차, 반점 등으로 구성되는 그룹으로부터 선택된 특성일 수 있다. 여기서 사용되는 바와 같이, 용어 "적어도 하나의 물질 특성을 식별하는" 것은 물질 특성을 결정하고 물체에 할당하는 것 중 하나 이상을 의미한다. 평가 디바이스는 사전 정의된 및/또는 사전 결정된 물질 특성의, 룩업리스트 또는 룩업테이블 등의 리스트 및/또는 테이블을 포함하는 적어도 하나의 데이터베이스를 포함할 수 있다. 물질 특성의 리스트 및/또는 테이블은 본 발명에 따른 디스플레이 디바이스를 이용하여 적어도 하나의 테스트 측정을 수행함으로써, 예컨대, 공지의 물질 특성을 갖는 샘플을 이용하여 물질 테스트를 수행함으로써 결정 및/또는 생성될 수 있다. 물질 특성의 리스트 및/또는 테이블은 제조업체의 현장에서 및/또는 디스플레이 디바이스의 사용자에 의해 결정 및/또는 생성될 수 있다. 물질 특성은, 부가적으로, 하나 이상의 물질명과 같은 물질 분류자, 생물학적 또는 비 생물학적 물질과 같은 물질 그룹, 반투명 또는 비반투명 물질, 금속 또는 비금속, 스킨 또는 비스킨, 퍼 또는 비퍼(fur or non-fur), 카펫 또는 비카펫, 반사성 또는 비반사성, 경면 반사 또는 비경면 반사, 폼 또는 비폼(foam or non-foam), 헤어 또는 비헤어, 거칠기 그룹 등에 할당될 수 있다. 평가 디바이스는 물질 특성 및 연관된 물질명 및/또는 물질 그룹을 포함하는 리스트 및/또는 테이블을 포함하는 적어도 하나의 데이터베이스를 포함할 수 있다.
예를 들어, 이 이론에 얽매이지 않고, 인간의 피부는, 표면 반사로 표기되는, 표면의 후방 반사에 의해 생성된 부분과, 후방 반사의 확산부로 표기되는, 피부를 관통하는 광으로부터 매우 확산된 반사에 의해 생성된 부분을 포함하여, 후방 산란 프로파일이라고도 표기되는, 반사 프로파일을 가질 수 있다. 인간 피부의 반사 프로파일에 대하여 "Lasertechnik in der Medizin: Grundlagen, Systeme, Anwendungen", "Wirkung von Laserstrahlung auf Gewebe", 1991, pages 10 171 to 266, 
Eichler, Theo Seiler, Springer Verlag, ISBN 0939-0979를 참조한다. 피부의 표면 반사는 파장이 근적외선쪽으로 증가함에 따라 증가할 수 있다. 또한, 관통 깊이는 파장이 가시광선으로부터 근적외선쪽으로 증가함에 따라 증가할 수 있다. 후방 반사의 확산부는 광의 관통 깊이에 따라 증가할 수 있다. 이들 특성은 후방 산란 프로파일을 분석하는 것에 의해 다른 물질로부터 피부를 구분하는 데 사용될 수 있다.
구체적으로, 평가 디바이스는 반사 빔 프로파일이라고도 표기되는 반사 특징의 빔 프로파일을, 적어도 하나의 사전 결정된 및/또는 사전 기록된 및/또는 사전 정의된 빔 프로파일과 비교하도록 구성될 수 있다. 사전 결정된 및/또는 사전 기록된 및/또는 사전 정의된 빔 프로파일은 테이블 또는 룩업테이블에 저장될 수 있고, 예컨대, 경험적으로 결정될 수 있고, 일례로서, 디스플레이 디바이스의 적어도 하나의 데이터 스토리지 디바이스에 저장될 수 있다. 예를 들어, 사전 결정된 및/또는 사전 기록된 및/또는 사전 정의된 빔 프로파일은 디스플레이 디바이스를 포함하는 모바일 디바이스의 최초 시작 중에 결정될 수 있다. 예를 들어, 사전 결정된 및/또는 사전 기록된 및/또는 사전 정의된 빔 프로파일은, 예컨대, 소프트웨어에 의해, 구체적으로, 앱 스토어 등으로부터 다운로드된 앱에 의해 모바일 디바이스의 적어도 하나의 데이터 스토리지 디바이스에 저장될 수 있다. 반사 빔 프로파일과 사전 결정된 및/또는 사전 기록된 및/또는 사전 정의된 빔 프로파일이 동일한 경우에, 반사 특징은 생물학적 조직에 의해 생성되는 것으로 식별될 수 있다. 비교는 반사 빔 프로파일과 사전 결정된 또는 사전 정의된 빔 프로파일의 강도의 중심이 일치하도록 그것들을 겹치는 것을 포함할 수 있다. 비교는 반사 빔 프로파일과 사전 결정된 및/또는 사전 기록된 및/또는 사전 정의된 빔 프로파일 사이의 편차, 예컨대, 점 대 점 거리의 제곱의 합을 결정하는 것을 포함할 수 있다. 평가 디바이스는 결정된 편차를 적어도 하나의 임계값과 비교하도록 구성될 수 있고, 결정된 편차가 임계값보다 아래 및/또는 임계값과 동일한 경우, 표면은 생물학적 조직으로 표시되고/되거나 생물학적 조직의 검출이 확인된다. 임계값은 테이블 또는 룩업테이블에 저장될 수 있고, 예컨대, 경험적으로 결정될 수 있고, 일례로서, 디스플레이 디바이스의 적어도 하나의 데이터 스토리지 디바이스에 저장될 수 있다.
부가적으로 또는 이와 달리, 식별을 위해, 반사 특징이 생물학적 조직에 의해 생성되면, 평가 디바이스는 그 영역의 이미지에 적어도 하나의 이미지 필터를 적용하도록 구성될 수 있다. 여기서 더 사용되는 바와 같이, 용어 "이미지"는 2차원 함수 f(x,y)를 의미하고, 휘도 및/또는 컬러값은 이미지에서 임의의 x,y 위치에 대해 주어진다. 위치는 기록 화소에 대응하여 나누어질 수 있다. 휘도 및/또는 컬러는 광학 센서의 비트 깊이에 대응하여 나누어질 수 있다. 여기서 사용되는 바와 같이, 용어 "이미지 필터"는 빔 프로파일에 적용된 적어도 하나의 수학적 연산및/또는 빔 프로파일의 적어도 하나의 특정 영역을 의미한다. 구체적으로, 이미지 필터 Φ는 이미지 f 또는 이미지의 관심 영역을 실수 Φ(f(x,y))=φ에 매핑하고, 여기서, φ는 특징, 특히 물질 특징을 나타낸다. 이미지에 노이즈가 생길 수 있고, 특징에 대해서도 마찬가지이다. 따라서, 특징은 랜덤 변수일 수 있다. 특징은 통상적으로 분산될 수 있다. 특징이 통상적으로 분산되면, 그들은 예컨대, 박스콕스 변환(Box-Cox-Transformation)에 의해 통상적으로 분산되는 것으로 변환될 수 있다.
평가 디바이스는 이미지에 적어도 하나의 물질 종속 이미지 필터 Φ2를 적용하는 것에 의해 적어도 하나의 물질 특징 φ2m을 결정하도록 구성될 수 있다. 여기서 사용되는 바와 같이, 용어 "물질 종속" 이미지 필터는 물질 종속 출력을 갖는 이미지를 지칭한다. 여기서 물질 종속 이미지 필터의 출력은 "물질 특징 φ2m" 또는 "물질 종속 특징 φ2m"으로 표기된다. 물질 특징은 생성된 반사 특징을 갖는 영역의 표면의 적어도 하나의 물질 특성에 대한 적어도 하나의 정보일 수 있거나 또는 그것을 포함할 수 있다.
물질 종속 이미지 필터는, 휘도 필터, 스폿 형상 필터, 스퀘어 놈 경사(squared norm gradient), 표준 편차, 가우시안 필터 또는 중간값 필터와 같은 평활도 필터, 그레이 레벨 발생 기반 콘트라스트 필터, 그레이 레벨 발생 기반 에너지 필터, 그레이 레벨 발생 기반 균질 필터, 그레이 레벨 발생 기반 상이성 필터, 로의 에너지 필터(Law's energy filter), 임계 영역 필터 또는 이의 선형 조합, 또는 휘도 필터, 스폿 형상 필터, 스퀘어 놈 경사, 표준 편차, 평활도 필터, 그레이 레벨 발생 기반 에너지 필터, 그레이 레벨 발생 기반 균질 필터, 그레이 레벨 발생 기반 상이성 필터, 로의 에너지 필터 또는 임계 영역 필터, 또는 |ρФ2other,Фm|≥0.40(Фm은 휘도 필터, 스폿 형상 필터, 스퀘어 놈 경사, 표준 편차, 평활도 필터, 그레이 레벨 발생 기반 에너지 필터, 그레이 레벨 발생 기반 균질 필터, 그레이 레벨 발생 기반 상이성 필터, 로의 에너지 필터, 임계 영역 필터, 또는 이의 선형 조합 중 하나임)에 의한 이의 선형 조합 중 하나 이상과 상관되는 추가 물질 종속 이미지 필터 Ф2other로 구성되는 그룹으로부터 선택된 적어도 하나의 필터일 수 있다. 추가 물질 종속 이미지 필터 Ф2other는 |ρФ2other,Фm|≥0.60에 의해, 바람직하게는, |ρФ2other,Фm|≥0.80에 의해 물질 종속 이미지 필터 Фm의 하나 이상과 상관될 수 있다.
물질 종속 이미지 필터는 가설 테스트를 통과하는 적어도 하나의 임의의 필터 Ф일 수 있다. 여기서 사용되는 바와 같이, 용어 "가설 테스트를 통과"하는 것은 널 가설 H0이 거부되고, 대안의 가설 H1이 수용되는 것을 의미한다. 가설 테스트는 사전 정의된 데이터 세트에 이미지 필터를 적용함으로써 이미지 필터의 물질 종속성을 테스트하는 것을 포함할 수 있다. 데이터 세트는 복수의 빔 프로파일 이미지를 포함할 수 있다. 여기서 사용되는 바와 같이, 용어 "빔 프로파일 이미지"는 NB 가우시안 방사 기저 함수
의 합을 의미하고, 여기서, NB 가우시안 방사 기저 함수 각각은 중심 (xlk, ylk), 프리팩터 alk, 지수 팩터 
에 의해 정의된다. 지수 팩터는 모든 이미지에서 가우시안 함수에 대해 동일하다. 중심 위치 xlk, ylk는 모든 이미지 fk:
, 
에 대해 동일하다. 데이터 세트의 빔 프로파일 이미지 각각은 물질 분류자와 거리에 대응할 수 있다. 물질 분류자는 "물질 A", "물질 B" 등의 라벨일 수 있다. 빔 프로파일 이미지는 다음의 파라미터 테이블과 조합하여 fk(x,y)에 대해 상기 공식을 이용하는 것에 의해 생성될 수 있다.
x, y에 대한 값은 
를 갖는 화소에 대응하는 정수이다. 이미지는 32x32의 화소 사이즈를 가질 수 있다. 빔 프로파일 이미지의 데이터 세트는 fk의 연속적인 설명을 얻기 위해 파라미터 세트와 조합하여 fk에 대한 상기 공식을 이용하는 것에 의해 생성될 수 있다. 32x32 이미지의 각 화소에 대한 값은 fk(x,y)의 x, y에 대해 0, …, 31 중의 정수값을 삽입하는 것에 의해 얻어질 수 있다. 예를 들어, 화소 (6, 9)에 대해, 값 fk(6, 9)가 계산될 수 있다.
다음에, 각각의 이미지 fk에 대해, 필터 Φ에 대응하는 특징값 φk는, 
로 계산될 수 있고, Zk는 사전 정의된 데이터 세트로부터의 이미지 fk에 대응하는 거리값이다. 이것은 대응하는 생성된 특징값 φk를 갖는 데이터 세트를 산출한다. 가설 테스트는 필터가 물질 분류자를 구별하지 않는 널 가설(Null-hypothesis)을 사용할 수 있다. 널 가설은 H0: 
에 의해 정해질 수 있고, μm은 특징값 φk에 대응하는 각 물질 그룹의 예상값이다. 인덱스 m은 물질 그룹을 나타낸다. 가설 테스트는 필터가 적어도 2개의 물질 분류자를 구별하는 대안의 가설로서 사용할 수 있다. 대안의 가설은 H1: 
에 의해 정해질 수 있다. 여기서 사용되는 바와 같이, 용어 "물질 분류자를 구별하지 않는" 것은 물질 분류자의 예상값이 동일한 것을 의미한다. 여기서 사용되는 바와 같이, 용어 "물질 분류자를 구별하는" 것은 물질 분류자의 적어도 2개의 예상값이 상이한 것을 의미한다. 여기서 사용되는 바와 같이, 용어 "적어도 2개의 물질 분류자를 구별하는" 것은 "적당한 물질 분류자"와 동의어로 사용된다. 가설 테스트는 생성된 특징값에 대한 적어도 하나의 분산분석(ANOVA)을 포함할 수 있다. 특히, 가설 테스트는 J개의 물질 각각에 대한 특징값의 평균값, 즉, 총 J개의 평균값 
, 
을 결정하는 것을 포함할 수 있고, Nm은 사전 정의된 데이터 세트에서 J개의 물질의 각각에 대한 특징값의 수를 부여한다. 가설 테스트는 모든 N개의 특징값의 평균값 
을 결정하는 것을 포함할 수 있다. 가설 테스트는
내에서 평균 합계 제곱(Mean Sum Square)을 결정하는 것을 포함할 수 있다.
가설 테스트는
사이에서 평균 합계 제곱을 결정하는 것을 포함할 수 있다.
가설 테스트는 F-테스트
- 
, 여기서 d1=N-J, d2=J-1
- F(
) = 1 - 
- p = F(
를 수행하는 것을 포함할 수 있다.
여기서, Ix는 정규화된 불완전한 베타 함수 
이고, 오일러 베타 함수 
및 
는 불완전한 베타 함수이다. p값 p가 사전 정의된 유의 레벨 이하이면, 이미지 필터는 가설 테스트를 통과할 수 있다. p≤0.075, 바람직하게는, p≤0.05, 더 바람직하게는, p≤0.025, 가장 바람직하게는, p≤0.01이면, 필터는 가설 테스트를 통과할 수 있다. 예를 들어, 사전 정의된 유의 레벨이 α=0.075인 경우에, p값이 α=0.075보다 작으면, 이미지 필터는 가설 테스트를 통과할 수 있다. 이 경우에 널 가설 H0이 거부될 수 있고, 대안의 가설 H1이 수용될 수 있다. 따라서, 이미지 필터는 적어도 2개의 물질 분류자를 구별한다. 따라서 이미지 필터는 가설 테스트를 통과한다.
다음에, 이미지 필터는, 반사 이미지가 적어도 하나의 반사 특징, 특히 스폿 이미지를 포함한다고 가정하는 것으로 기술된다. 스폿 이미지 f는 함수 
에 의해 정해질 수 있고, 여기서 이미지 f의 배경은 이미 제거되었을 수 있다. 그러나, 다른 반사 특징이 가능할 수 있다.
예를 들어, 물질 종속 이미지 필터는 휘도 필터일 수 있다. 휘도 필터는 물질 특징으로서 스폿의 휘도 측정을 반환할 수 있다. 물질 특징은
에 의해 결정될 수 있고, 여기서 f는 스폿 이미지이다. 스폿의 거리는 z에 의해 표기되고, z는 DFD 또는 DPR 기법을 이용하는 것에 의해 및/또는 삼각측량 기법을 이용하는 것에 의해 얻어질 수 있다. 물질의 표면 법선은 
에 의해 정해지고, 적어도 3개의 측정된 포인트에 걸친 표면의 법선으로서 얻어질 수 있다. 벡터 
는 광원의 방향 벡터이다. 스폿의 위치는 DFD 또는 DPR 기법을 이용하는 것에 의해 및/또는 삼각측량 기법을 이용하는 것에 의해 공지이고, 광원의 위치는 디스플레이 디바이스의 파라미터로서 공지이므로, dray는 스폿과 광원 위치 사이의 차이 벡터이다.
예를 들어, 물질 종속 이미지 필터는 스폿 형상에 종속적인 출력을 갖는 필터일 수 있다. 이 물질 종속 이미지 필터는 물질의 반투명도와 상관되는 값을 물질 특징으로서 반환할 수 있다. 물질의 반투명도는 스폿의 형상에 영향을 미친다. 물질 특징은
에 의해 정해질 수 있고, 여기서, 
은 스폿 높이 h에 대한 가중치이고, H는 헤비사이드 함수를 나타내고, 즉, 
, 
이다. 스폿 높이 h는
에 의해 결정될 수 있고, 여기서 Br은 반경 r을 갖는 스폿의 내부 원이다.
예를 들어, 물질 종속 이미지 필터는 스퀘어 놈 경사일 수 있다. 이 물질 종속 이미지 필터는 소프트 및 하드 천이 및/또는 물질 특징으로서 스폿의 거칠기의 측정에 상관되는 값을 반환할 수 있다. 물질 특징은
에 의해 정의될 수 있다.
예를 들어, 물질 종속 이미지 필터는 표준 편차일 수 있다. 스폿의 표준 편차는
에 의해 결정될 수 있고, 여기서 μ는, 
에 의해 정해진 평균값이다.
예를 들어, 물질 종속 이미지 필터는 가우시안 필터 또는 중간값 필터와 같은 평활도 필터일 수 있다. 평활도 필터의 일 실시예에서, 이 이미지 필터는 체적 산란이 확산 산란 물질에 비해 더 적은 반점 콘트라스트를 나타낸다는 관찰 결과를 참조할 수 있다. 이 이미지 필터는 반점 콘트라스트에 대응하는 스폿의 평활도를 물질 특징으로서 정량화할 수 있다. 물질 특징은
여기서, F는 평활화 함수, 예컨대, 중간값 필터 또는 가우시안 필터이다. 이 이미지 필터는, 상기의 공식에서 설명한 바와 같이, 거리 z에 의한 분할을 포함할 수 있다. 거리 z는, 예컨대, DFD 또는 DPR 기법을 이용하는 것에 의해 및/또는 삼각측량 기법을 이용하는 것에 의해 결정될 수 있다. 이것은 필터가 거리에 민감하지 않게 할 수 있다. 평활도 필터의 일 실시예에서, 평활도 필터는 추출된 반점 노이즈 패턴의 표준 편차에 근거할 수 있다. 반점 노이즈 패턴 N은
에 의해 경험적 방법으로 기술될 수 있고, 여기서 f0는 반점이 제거된 스폿의 이미지이다. N(X)는 반점 패턴을 모델링하는 노이즈항이다. 반점 제거 이미지의 계산은 어려울 수 있다. 따라서, 반점 제거 이미지는 f의 평활화된 버전, 즉, 
에 의해 가까워질 수 있고, F는 가우시안 필터 또는 중간값 필터처럼 평활도 연산자이다. 따라서, 반점 패턴의 근사화는
에 의해 정해질 수 있다.
이 필터의 물질 특징은
에 의해 결정될 수 있고, 여기서 Var은 분산 함수를 나타낸다.
예를 들어, 이미지 필터는 그레이 레벨 발생 기반 콘트라스트 필터일 수 있다. 이 물질 필터는 그레이 레벨 발생 매트릭스 
에 근거할 수 있고, 
는 그레이 조합 (g1,g2)=[f(x1,y1),f(x2,y2)]의 발생 비율이고, 관계 ρ는 (x1,y1)와 (x2,y2) 사이의 거리를 정의하고, 여기서 ρ(x,y)=(x+a,y+b)이며, a와 b는 0, 1 중에서 선택된다.
그레이 레벨 발생 기반 콘트라스트 필터의 물질 특징은
에 의해 정해질 수 있다.
예를 들어, 이미지 필터는 그레이 레벨 발생 기반 에너지 필터일 수 있다. 이 물질 필터는 앞에서 정의된 그레이 레벨 발생 매트릭스에 근거한다.
그레이 레벨 발생 기반 에너지 필터의 물질 특징은
에 의해 정해질 수 있다.
예를 들어, 이미지 필터는 그레이 레벨 발생 기반 균질 필터일 수 있다. 물질 필터는 앞에서 정의된 그레이 레벨 발생 매트릭스에 근거한다.
그레이 레벨 발생 기반 균질 필터의 물질 특징은
에 의해 정해질 수 있다.
예를 들어, 이미지 필터는 그레이 레벨 발생 기반 상이성 필터일 수 있다. 이 물질 필터는 앞에서 정의된 그레이 레벨 발생 매트릭스에 근거한다.
그레이 레벨 발생 기반 상이성 필터의 물질 특징은
에 의해 정해질 수 있다.
예를 들어, 이미지 필터는 로의 에너지 필터일 수 있다. 이 물질 필터는 로 벡터 L5=[1,4,6,4,1] 및 E5=[-1,-2,0,-2,-1] 및 매트릭스 L5(E5)T 및 E5(L5)T에 근거할 수 있다.
이미지 fk는 이들 매트릭스와 컨볼루션되어,
및
여기서 로의 에너지 필터의 물질 특징은
에 의해 결정될 수 있다.
예를 들어, 물질 종속 이미지 필터는 임계 영역 필터일 수 있다. 이 물질 특징은 이미지 평면에서 2개의 영역에 관련될 수 있다. 제 1 영역 Ω1은 함수 f가 f의 최대값을 α배한 것보다 큰 영역일 수 있다. 제 2 영역 Ω2는 함수 f가 f의 최대값을 α배한 것보다 작지만, f의 최대값을 임계값 ε배한 것보다 큰 영역일 수 있다. 바람직하게는 α는 0.5일 수 있고, ε는 0.05일 수 있다. 반점 또는 노이즈로 인해, 영역이 스폿 중앙 주위의 내부 및 외부 원에 간단히 대응하지 않을 수 있다. 일례로서, Ω1은 외부 원에서 반점 또는 연결되지 않은 영역을 포함할 수 있다. 물질 특징은
에 의해 결정될 수 있고, 여기서 Ω1 = {x|f(x)>α·max(f(x))} 및 Ω2 = {x|ε·max(f(x))<f(x)<α·max(f(x))}이다.
평가 디바이스는, 반사 특징이 생성된 표면의 물질 특성을 결정하기 위해, 물질 특징 φ2m과, 반사 특징이 생성된 표면의 물질 특성 사이의 적어도 하나의 사전 결정된 관계를 이용하도록 구성될 수 있다. 사전 결정된 관계는 경험적 관계, 반 경험적 관계 및 분석적으로 유도된 관계 중 하나 이상일 수 있다. 평가 디바이스는 룩업리스트 또는 룩업테이블과 같은 사전 결정된 관계를 저장하는 적어도 하나의 데이터 스토리지 디바이스를 포함할 수 있다.
대응하는 물질 특성이 적어도 하나의 사전 결정된 또는 사전 정의된 기준을 충족하는 경우에, 평가 디바이스는 생물학적 조직을 조명하는 것에 의해 생성될 반사 특징을 식별하도록 구성된다. 물질 특성이 "생물학적 조직"을 나타내는 경우, 반사 특징은 생물학적 조직에 의해 생성되는 것으로 식별될 수 있다. 물질 특성이 적어도 하나의 임계값 또는 범위 이하인 경우, 반사 특징은 생물학적 조직에 의해 생성되는 것으로 식별될 수 있고, 결정된 편차가 임계값 미만 및/또는 임계값과 동일한 경우에 반사 특징은 생물학적 조직에 의해 생성되는 것으로 식별되고/되거나 생물학적 조직의 검출이 확인된다. 적어도 하나의 임계값 및/또는 범위는 테이블 또는 룩업테이블에 저장될 수 있고, 예컨대, 경험적으로 결정될 수 있고, 일례로서, 디스플레이 디바이스의 적어도 하나의 데이터 스토리지 디바이스에 저장될 수 있다. 그렇지 않으면 평가 디바이스는 반사 특징을 배경인 것으로 식별하도록 구성된다. 따라서, 평가 디바이스는 각각의 투영된 스폿을 깊이 정보 및 물질 특성, 예컨대, 스킨이 맞음 또는 아님으로 할당하도록 구성될 수 있다.
물질 특성은 세로 좌표 z를 결정한 후에 이어서 φ2m를 평가하는 것에 의해 결정될 수 있어, 세로 좌표 z에 대한 정보가 φ2m를 평가하도록 고려될 수 있다.
또 다른 양상에서, 본 발명은 반투명 디스플레이를 통해 측정하는 방법을 개시하고, 본 발명에 따른 디스플레이 디바이스가 사용된다. 방법은, 다음의 단계,
a) 적어도 하나의 조명원에 의해 생성된 적어도 하나의 조명 광 빔을 사용하여 적어도 하나의 장면을 조명하는 단계 - 조명원은 디스플레이의 앞에서 조명 빔의 전파 방향에 위치함 - 와,
b) 적어도 하나의 광학 센서를 사용하여 조명 빔에 의한 조명에 응답하여 장면에 의해 생성된 적어도 하나의 반사 광 빔을 측정하는 단계 - 광학 센서는 적어도 하나의 감광 영역을 갖고, 광학 센서는 디스플레이의 앞에서 조명 빔의 전파 방향에 위치함 - 와,
c) 적어도 하나의 제어 유닛을 사용하여 디스플레이를 제어하는 단계 - 상기 디스플레이는 조명 동안 조명원의 영역에서 및/또는 측정 동안 광학 센서의 영역에서 꺼짐 - 를 포함한다.
방법 단계는 정해진 순서로 수행될 수 있고, 또는 상이한 순서로 수행될 수 있다. 또한, 언급되지 않은 하나 이상의 추가 방법 단계가 존재할 수 있다. 또한, 방법 단계 중 하나, 하나 이상 또는 심지어 모두가 반복적으로 수행될 수 있다. 세부사항, 옵션 및 정의에 대해 앞에서 논의한 바와 같은 디스플레이 디바이스를 참조할 수 있다. 따라서, 구체적으로, 앞에서 설명한 바와 같이, 방법은, 예컨대, 상술한 또는 이하에 더 상세하게 설명되는 하나 이상의 실시예에 따라, 본 발명에 따른 디스플레이 디바이스를 이용하는 것을 포함할 수 있다.
적어도 하나의 제어 유닛 및/또는 적어도 하나의 평가 디바이스는 본 발명에 따른 방법의 방법 단계 중 하나 이상 또는 심지어 전부를 수행 또는 지원하도록 구성된 적어도 하나의 컴퓨터 프로그램과 같은 적어도 하나의 컴퓨터 프로그램을 수행하도록 구성될 수 있다. 일례로서, 물체의 위치를 결정할 수 있는 하나 이상의 알고리즘이 구현될 수 있다.
본 발명의 추가 양상에서, 예컨대, 상술한 또는 이하에 더 상세하게 설명되는 하나 이상의 실시예에 따라, 본 발명에 따른 디스플레이 디바이스의 사용은, 사용을 위해, 교통 기술의 위치 측정, 엔터테인먼트 애플리케이션, 보안 애플리케이션, 감시 애플리케이션, 안전 애플리케이션, 인간-기계 인터페이스 애플리케이션, 트래킹 애플리케이션, 촬영 애플리케이션, 이미징 애플리케이션, 또는 카메라 애플리케이션, 적어도 하나의 공간의 맵을 생성하기 위한 매핑 애플리케이션, 차량에 대한 호밍(homing) 또는 트래킹 비컨 검출기, 야외 애플리케이션, 모바일 애플리케이션, 통신 애플리케이션, 기계 비전 애플리케이션, 로보틱스 애플리케이션, 품질 제어 애플리케이션, 제조 애플리케이션, 자동차 애플리케이션으로 구성되는 그룹에서 선택되는 것이 제안된다.
예를 들어, 디스플레이 디바이스는 운전자 모니터링, 개인화된 차량 등과 같은 자동차 애플리케이션에 사용될 수 있다.
본 발명의 디스플레이 디바이스 및 디바이스들의 추가 이용에 대해 WO 2018/091649 A1, WO 2018/091638 A1 및 WO 2018/091640 A1를 참조하고, 그 내용은 참조로 포함된다.
전체적으로, 본 발명의 컨텍스트에서, 다음의 실시예가 바람직한 것으로 간주된다.
실시예 1: 디스플레이 디바이스로서,
- 적어도 하나의 장면 상에 적어도 하나의 조명 빔을 투영하도록 구성된 적어도 하나의 조명원과,
- 적어도 하나의 감광 영역을 갖는 적어도 하나의 광학 센서 - 광학 센서는 조명 빔에 의한 조명에 응답하여 장면에 의해 생성된 적어도 하나의 반사 광 빔을 측정하도록 구성됨 - 와,
- 정보를 표시하도록 구성된 적어도 하나의 반투명 디스플레이 - 조명원 및 광학 센서는 디스플레이의 앞에서 조명 광 빔의 전파 방향에 배치됨 - 와,
- 적어도 하나의 제어 유닛 - 제어 유닛은 조명 동안 조명원의 영역 및/또는 측정 동안 광학 센서의 영역에서 디스플레이를 끄도록 구성됨 - 을 포함하는, 디스플레이 디바이스.
실시예 2: 실시예 1에 있어서, 반투명 디스플레이는 디스플레이의 전체 크기에 걸쳐 확장되는 디스플레이 물질을 갖는 풀 사이즈 디스플레이인, 디스플레이 디바이스.
실시예 3: 실시예 1 또는 2에 있어서, 디스플레이는 제어 유닛이 조명 동안 조명원의 영역에서 및/또는 측정 동안 광학 센서의 영역에서 디스플레이를 껐을 때 조명원의 영역 및/또는 광학 센서의 영역에서 블랙 영역을 나타내도록 구성되는, 디스플레이 디바이스.
실시예 4: 실시예 1 내지 3 중 어느 하나에 있어서, 제어 유닛은 조명원의 영역의 디스플레이가 조정 가능한 노치로서 기능하도록 조명원의 영역의 디스플레이를 끄고/끄거나 광학 센서의 영역의 디스플레이가 조정 가능한 노치로서 기능하도록 광학 센서의 영역의 디스플레이를 끄도록 구성되고, 조정 가능한 노치는 조명 및/또는 측정 동안 활성화되고 그렇지 않으면 비활성화되도록 구성되는, 디스플레이 디바이스.
실시예 5: 실시예 1 내지 4 중 어느 하나에 있어서, 디스플레이 디바이스는 광학 센서를 사용하여 얼굴 인식을 수행하도록 구성되고, 제어 유닛은 얼굴 인식이 활성이라는 것을 나타내는 표시를 얼굴 인식을 수행하는 동안 발행하도록 구성되며, 반투명 디스플레이는 얼굴 인식을 수행하는 동안 표시를 디스플레이하도록 구성되는, 디스플레이 디바이스.
실시예 6: 실시예 1 내지 5 중 어느 하나에 있어서, 광학 센서는 적어도 하나의 CMOS 센서를 포함하는, 디스플레이 디바이스.
실시예 7: 실시예 1 내지 6 중 어느 하나에 있어서, 조명원은 적어도 하나의 적외선 광원을 포함하는, 디스플레이 디바이스.
실시예 8: 실시예 1 내지 7 중 어느 하나에 있어서, 조명원은 적어도 하나의 레이저 프로젝터를 포함하고, 레이저 프로젝터는 적어도 하나의 레이저 소스 및 적어도 하나의 회절 광학 요소(DOE)를 포함하는, 디스플레이 디바이스.
실시예 9: 실시예 1 내지 8 중 어느 하나에 있어서, 조명원은 적어도 하나의 조명 패턴을 생성하도록 구성되고, 조명 패턴은 주기적인 포인트 패턴을 포함하는, 디스플레이 디바이스.
실시예 10: 실시예 1 내지 9 중 어느 하나에 있어서, 조명원은 적어도 하나의 투광 조명 발광 다이오드를 포함하는, 디스플레이 디바이스.
실시예 11: 실시예 1 내지 10 중 어느 하나에 있어서, 디스플레이, 조명원 및 광학 센서는 동기화되는, 디스플레이 디바이스.
실시예 12: 실시예 1 내지 11 중 어느 하나에 있어서, 디스플레이는 적어도 하나의 유기 발광 다이오드(OLED) 디스플레이이거나 이를 포함하고, 제어 유닛이 조명원의 영역에서 디스플레이를 끈 경우, OLED 디스플레이는 조명원의 영역에서 비활성화되고, 제어 유닛이 광학 센서의 영역에서 디스플레이를 끈 경우, OLED 디스플레이는 광학 센서의 영역에서 비활성화되는, 디스플레이 디바이스.
실시예 13: 실시예 1 내지 12 중 어느 하나에 있어서, 조명원은 적어도 하나의 장면 상에 복수의 조명 특징을 포함하는 적어도 하나의 조명 패턴을 투영하도록 구성되고, 광학 센서는 조명 특징에 의한 조명에 응답하여 장면에 의해 생성된 복수의 반사 특징을 포함하는 적어도 하나의 제1 이미지를 결정하도록 구성되며, 디스플레이 디바이스는 적어도 하나의 평가 디바이스를 더 포함하고, 평가 디바이스는 제1 이미지를 평가하도록 구성되고, 제1 이미지의 평가는 제1 이미지의 반사 특징을 식별하는 것과, 식별된 반사 특징을 휘도에 대하여 정렬하는 것을 포함하고, 반사 특징 각각은 적어도 하나의 빔 프로파일을 포함하고, 평가 디바이스는 반사 특징의 각각에 대해 그들의 빔 프로파일의 분석에 의해 적어도 하나의 세로 좌표 ZDPR을 결정하도록 구성되며, 평가 디바이스는 세로 좌표 ZDPR을 이용함으로써 반사 특징을 대응하는 조명 특징과 명료하게 일치시키도록 구성되고, 일치는 가장 밝은 반사 특징에서 시작하여 반사 특징의 휘도를 감소시키는 것으로 수행되며, 평가 디바이스는 조명 특징과 일치하는 반사 특징을 실제 특징으로서 분류하고, 조명 특징과 일치하지 않는 반사 특징을 거짓 특징으로서 분류하도록 구성되고, 평가 디바이스는 거짓 특징을 거부하고, 세로 좌표 ZDPR을 이용함으로써 실제 특징에 대한 깊이 맵을 생성하도록 구성되는, 디스플레이 디바이스.
실시예 14: 실시예 13에 있어서, 평가 디바이스는 삼각 측량 및/또는 DFD(depth-from-defocus) 및/또는 구조화 광 기법을 이용하여 반사 특징 각각에 대해 적어도 하나의 제2 세로 좌표 Ztriang를 결정하도록 구성되는, 디스플레이 디바이스.
실시예 15: 실시예 14에 있어서, 평가 디바이스는 제2 세로 좌표 Ztriang 및 세로 좌표 ZDPR의 결합된 세로 좌표를 결정하도록 구성되고, 결합된 세로 좌표는 제2 세로 좌표 Ztriang 및 세로 좌표 ZDPR의 평균값이고, 결합된 세로 좌표는 깊이 맵을 생성하는 데 사용되는, 디스플레이 디바이스.
실시예 16: 실시예 13 내지 15 중 어느 하나에 있어서, 평가 디바이스는 DPR(depth-from-photon-ratio) 기법을 이용함으로써 반사 특징 각각에 대해 빔 프로파일 정보를 결정하도록 구성되는, 디스플레이 디바이스.
실시예 17: 실시예 13 내지 16 중 어느 하나에 있어서, 평가 디바이스는 반사 특징 중 적어도 하나의 빔 프로파일을 평가함으로써 물체의 적어도 하나의 물질 특성 m을 결정하도록 구성되는, 디스플레이 디바이스.
실시예 18: 실시예 1 내지 17 중 어느 하나에 있어서, 디스플레이 디바이스는 추가 조명원을 포함하고, 추가 조명원은 적어도 하나의 발광 다이오드(LED)를 포함하며, 추가 조명원은 가시광선 스펙트럼 범위에서 광을 생성하도록 구성되고, 광학 센서는 장면의 적어도 하나의 2차원 이미지를 포함하는 적어도 하나의 제 2 이미지를 결정하도록 구성되고, 추가 조명원은 제2 이미지의 이미징을 위한 추가 조명을 제공하도록 구성되며, 평가 디바이스는 제2 이미지 I를 격자 함수 g와 디컨볼루션함으로써 적어도 하나의 수정된 이미지 I0을 결정하도록 구성되고, I=I0*g인, 디스플레이 디바이스.
실시예 19: 실시예 1 내지 18 중 어느 하나에 있어서, 디스플레이 디바이스는 텔레비전 디바이스, 셀폰, 스마트폰, 게임 콘솔, 태블릿 컴퓨터, 퍼스널 컴퓨터, 랩탑, 태블릿, 가상 현실 디바이스 또는 다른 유형의 휴대용 컴퓨터로 구성되는 그룹 중에서 선택된 모바일 디바이스인, 디스플레이 디바이스.
실시예 20: 실시예 1 내지 17 중 어느 하나에 따른 적어도 하나의 디스플레이 디바이스가 사용되는, 반투명 디스플레이를 통해 측정하는 방법으로서,
a) 적어도 하나의 조명원에 의해 생성된 적어도 하나의 조명 광 빔을 사용하여 적어도 하나의 장면을 조명하는 단계 - 조명원은 디스플레이의 앞에서 조명 빔의 전파 방향에 위치함 - 와,
b) 적어도 하나의 광학 센서를 사용하여 조명 빔에 의한 조명에 응답하여 장면에 의해 생성된 적어도 하나의 반사 광 빔을 측정하는 단계 - 광학 센서는 적어도 하나의 감광 영역을 갖고, 광학 센서는 디스플레이의 앞에서 조명 빔의 전파 방향에 위치함 - 와,
c) 적어도 하나의 제어 유닛을 사용하여 디스플레이를 제어하는 단계 - 디스플레이는 조명 동안 조명원의 영역에서 및/또는 측정 동안 광학 센서의 영역에서 꺼짐 - 를 포함하는, 방법.
실시예 21: 디스플레이 디바이스에 관한 실시예 1 내지 19 중 어느 하나에 따른 디스플레이 디바이스의 용도로서, 사용을 위해, 교통 기술의 위치 측정, 엔터테인먼트 애플리케이션, 보안 애플리케이션, 감시 애플리케이션, 안전 애플리케이션, 인간-기계 인터페이스 애플리케이션, 트래킹 애플리케이션, 촬영 애플리케이션, 이미징 애플리케이션 또는 카메라 애플리케이션, 적어도 하나의 공간의 맵을 생성하기 위한 매핑 애플리케이션, 차량에 대한 호밍 또는 트래킹 비컨 검출기, 야외 애플리케이션, 모바일 애플리케이션, 통신 애플리케이션, 기계 비전 애플리케이션, 로보틱스 애플리케이션, 품질 제어 애플리케이션, 제조 애플리케이션, 자동차 애플리케이션으로 구성되는 그룹에서 선택되는, 디스플레이 디바이스의 용도.
본 발명의 또 다른 선택적 세부사항 및 특징은 종속 청구항과 함께 이어지는 바람직한 예시적 실시예의 설명으로부터 명백하다. 이 컨텍스트에서, 특정의 특징은 분리 방식 또는 다른 특징과의 조합으로 구현될 수 있다. 본 발명은 예시적 실시예에 제한되지 않는다. 예시적 실시예는 도면에 개략적으로 도시된다. 개별 도면에서 동일한 참조 부호는 동일한 요소 또는 동일한 기능을 갖는 요소, 또는 그들 기능에 대하여 또 다른 것에 대응하는 요소를 의미한다.
구체적으로, 도면에서,
도 1은 본 발명에 따른 디스플레이 디바이스의 실시예를 도시하고,
도 2a 내지 도 2c는 디스플레이, 조명원 및 광학 센서를 동기화하는 실시예를 도시한다.
구체적으로, 도면에서,
도 1은 본 발명에 따른 디스플레이 디바이스의 실시예를 도시하고,
도 2a 내지 도 2c는 디스플레이, 조명원 및 광학 센서를 동기화하는 실시예를 도시한다.
도 1은 본 발명의 디스플레이 디바이스(1)의 실시예를 매우 개략적인 방식으로 도시한다. 예를 들어, 디스플레이 디바이스(1)는 텔레비전 디바이스, 셀폰, 스마트폰, 게임 콘솔, 태블릿 컴퓨터, 퍼스널 컴퓨터, 랩탑, 태블릿, 가상 현실 디바이스 또는 다른 유형의 휴대용 컴퓨터로 구성되는 그룹 중에서 선택된 모바일 디바이스일 수 있다.
디스플레이 디바이스(1)는 정보를 표시하도록 구성된 적어도 하나의 반투명 디스플레이(2)를 포함한다. 디스플레이 디바이스(1)는 적어도 하나의 감광 영역을 갖는 적어도 하나의 광학 센서(4)를 포함한다. 디스플레이 디바이스(1)는 적어도 하나의 장면에서 적어도 하나의 조명 빔을 투영하도록 구성된 적어도 하나의 조명원(5)을 포함한다. 장면은 임의의 물체 또는 공간 영역일 수 있다. 장면은 적어도 하나의 물체 및 주변 환경을 포함할 수 있다.
조명원(5)은 조명 빔, 특히 복수의 조명 특징을 포함하는 적어도 하나의 조명 패턴을 장면에 투사하도록 구성된다. 조명원(5)은 장면을 직접적으로 또는 간접적으로 조명하도록 구성될 수 있고, 조명 빔은 장면의 표면에 의해 반사 또는 산란되고, 이에 따라 광학 센서를 향해 적어도 부분적으로 지향된다. 조명원(5)은, 광 빔을 반사하는, 예를 들어, 장면을 향해 광 빔을 지향시키는 것에 의해 장면을 조명하도록 구성될 수 있다.
조명원(5)은 적어도 하나의 광원을 포함할 수 있다. 조명원(5)은 복수의 광원을 포함할 수 있다. 조명원(5)은 인공 조명원, 특히 적어도 하나의 레이저 소스 및/또는 적어도 하나의 백열등 및/또는 적어도 하나의 반도체 광원, 예컨대, 적어도 하나의 발광 다이오드, 특히 유기 및/또는 무기 발광 다이오드를 포함할 수 있다. 조명원(5)은 적어도 하나의 적외선 광원을 포함할 수 있다. 조명원(5)은 적외선 영역에서 적어도 하나의 조명 광 빔, 특히 적어도 하나의 조명 패턴을 생성하도록 구성될 수 있다. 근적외선 영역의 광을 사용하는 것은, 광이 육안에 의해 검출되지 않거나 또는 약하게만 검출되고, 여전히 실리콘 센서, 특히 표준 실리콘 센서에 의해서 검출 가능하게 한다.
조명원(5)은 적어도 하나의 레이저 프로젝터를 포함할 수 있다. 레이저 프로젝터는 굴절 광학과 결합된 수직 캐비티 표면 방출 레이저(VCSEL) 프로젝터일 수 있다. 그러나, 다른 실시예도 가능하다. 레이저 프로젝터는 적어도 하나의 레이저 소스 및 적어도 하나의 회절 광학 요소(DOE)를 포함할 수 있다. 조명원(5)은 적어도 하나의 다중 빔 광원일 수 있거나 그것을 포함할 수 있다. 예를 들어, 조명원(5)은 적어도 하나의 레이저 소스 및 하나 이상의 회절 광학 요소(DOE)를 포함할 수 있다. 구체적으로, 조명원(5)은 적어도 하나의 레이저 및/또는 레이저 소스를 포함할 수 있다. 반도체 레이저, 이중 이종 구조 레이저, 외부 캐비티 레이저, 개별 국한 이종 구조 레이저, 퀀텀 캐스케이드 레이저, 분산 브래그 반사기 레이저, 폴라리톤 레이저, 하이브리드 실리콘 레이저, 확장 캐비티 다이오드 레이저, 퀀텀도트 레이저, 볼륨 브래그 격자 레이저, 인듐 비소 레이저, 트랜지스터 레이저, 다이오드 펌핑 레이저, 분산 피드백 레이저, 퀀텀 웰 레이저, 대역간 캐스케이드 레이저, 갈륨 비소 레이저, 반도체 링 레이저, 확장 캐비티 다이오드 레이저 또는 수직 캐비티 표면 방출 레이저와 같은 여러가지 타입의 레이저가 사용될 수 있다. 추가로, 또는 이와 달리, LED 및/또는 백열 전구와 같은 비레이저 광원이 사용될 수 있다. 조명원(5)은 조명 패턴을 생성하도록 구성된 하나 이상의 회절 광학 요소(DOE)를 포함할 수 있다. 예를 들어, 조명원(5)은 포인트 클라우드를 생성 및/또는 투영하도록 구성될 수 있고, 예를 들어, 조명원(5)은 적어도 하나의 디지털 광 처리 프로젝터, 적어도 하나의 LCoS 프로젝터, 적어도 하나의 공간 광 변조기, 적어도 하나의 회절 광학 요소, 적어도 하나의 발광 다이오드 어레이, 적어도 하나의 레이저 광원 어레이 중 하나 이상을 포함할 수 있다. 일반적으로 정의된 그 빔 프로파일 및 다른 취급 가능성의 특성때문에, 조명원(5)으로서 적어도 하나의 레이저 소스의 이용은 특히 바람직하다. 조명원(5)은 디스플레이 디바이스의 하우징에 통합될 수 있다.
조명원(5)은 적어도 하나의 조명 패턴을 생성하도록 구성된다. 조명 패턴은 복수의 조명 특징을 포함할 수 있다. 조명 패턴은 적어도 하나의 포인트 패턴, 적어도 하나의 선 패턴, 적어도 하나의 스트라이프 패턴, 적어도 하나의 체크무늬 패턴, 주기적 또는 비 주기적 특징의 배열을 포함하는 적어도 하나의 패턴으로 구성되는 그룹으로부터 선택될 수 있다. 조명 패턴은 삼각형 패턴, 직사각형 패턴, 육각형 패턴 또는 추가의 볼록 타일링을 포함하는 패턴과 같은 규칙적 및/또는 일정 및/또는 주기적 패턴을 포함할 수 있다. 조명 패턴은 적어도 하나의 포인트, 적어도 하나의 선, 평행 또는 교차하는 선과 같은 적어도 2개의 선, 적어도 하나의 포인트 및 하나의 선, 주기적 또는 비 주기적 특징의 적어도 하나의 배열, 적어도 하나의 임의의 형상의 특징으로 구성된 그룹으로부터 선택된 적어도 하나의 조명 특징을 나타낼 수 있다. 조명 패턴은 적어도 하나의 포인트 패턴, 특히, 의사 랜덤 포인트 패턴, 랜덤 포인트 패턴 또는 의사 랜덤 패턴, 적어도 하나의 소볼(Sobol) 패턴, 적어도 하나의 준 주기적 패턴, 적어도 하나의 사전 공지된 특징을 포함하는 적어도 하나의 패턴, 적어도 하나의 규칙적 패턴, 적어도 하나의 삼각형 패턴, 적어도 하나의 육각형 패턴, 적어도 하나의 사각형 패턴, 볼록한 균일 타일링을 포함하는 적어도 하나의 패턴, 적어도 하나의 선을 포함하는 적어도 하나의 선 패턴, 평행하거나 교차하는 선과 같은 적어도 2개의 선을 포함하는 적어도 하나의 선 패턴으로 구성되는 그룹으로부터 선택된 적어도 하나의 패턴을 포함할 수 있다. 예를 들어, 조명원(5)은 포인트 클라우드를 생성 및/또는 투영하도록 구성될 수 있다. 조명원(5)은 조명 패턴이 복수의 포인트 패턴을 포함할 수 있도록 포인트 클라우드를 생성하도록 구성된 적어도 하나의 광 프로젝터를 포함할 수 있다. 조명원(5)은 조명원(5)에 의해 생성된 적어도 하나의 광 빔으로부터 조명 패턴을 생성하도록 구성된 적어도 하나의 마스크를 포함할 수 있다.
광학 센서(4)는 조명 빔에 의한 조명에 응답하여 장면에 의해 생성된 적어도 하나의 반사 광 빔을 측정하도록 구성된다. 디스플레이 디바이스(1)는 광학 센서(4)를 포함하는 단일 카메라를 포함할 수 있다. 디스플레이 디바이스(1)는 각각이 하나의 광학 센서(4) 또는 복수의 광학 센서(4)를 포함하는 복수의 카메라를 포함할 수 있다. 디스플레이 디바이스(1)는 각각 감광 영역을 갖는 복수의 광학 센서(4)를 포함할 수 있다.
디스플레이 디바이스(1)는 예컨대, 비행 시간(ToF) 기술 및/또는 DFD(depth-from-defocus) 기술 및/또는 빔 프로파일 분석이라고도 하는 DPR(depth-from-photon-ratio) 기법에 기초하여 적어도 하나의 거리 측정을 수행하도록 구성될 수 있다. DPR(depth-from-photon-ratio) 기법과 관련하여 WO 2018/091649 A1, WO 2018/091638 A1 및 WO 2018/091640 A1을 참조하며, 그 전체 내용은 참조로 포함된다. 광학 센서(4)는 적어도 하나의 거리 센서이거나 이를 포함할 수 있다.
광학 센서(4)는 적어도 하나의 광 검출기, 바람직하게는 무기 광 검출기, 더 바람직하게는 무기 반도체 광 검출기, 가장 바람직하게는 실리콘 광 검출기일 수 있거나 그것을 포함할 수 있다. 구체적으로, 광학 센서(4)는 적외선 스펙트럼 범위에서 민감할 수 있다. 매트릭스의 모든 화소 또는 매트릭스의 광학 센서의 적어도 하나의 그룹이 특히 동일할 수 있다. 매트릭스의 동일한 화소의 그룹은 구체적으로 다른 스펙트럼 범위에 제공될 수 있고, 또는 모든 화소가 스펙트럼 민감도의 면에서 동일할 수 있다. 또한, 화소는 크기가 동일할 수 있고/있거나 그들의 전자 또는 광전자 특성에 관해 동일할 수 있다. 구체적으로, 광학 센서(4)는 적외선 스펙트럼 범위, 바람직하게는 700nm 내지 3.0마이크로미터의 범위에서 민감한 적어도 하나의 무기 광 다이오드이거나 그것을 포함할 수 있다. 구체적으로, 광학 센서(4)는, 실리콘 광 다이오드가 적용될 수 있는 근적외선 영역, 특히 700nm 내지 1100nm의 범위의 부분에서 민감할 수 있다. 광학 센서에 사용될 수 있는 적외선 광학 센서는, 상표명 HertzstueckTM from trinamiXTM GmbH, D-67056 Ludwigshafen am Rhein, Germany에서 상업적으로 입수할 수 있는 적외선 광학 센서 등의, 상업적으로 입수 가능한 적외선 광학 센서일 수 있다. 따라서, 일례로서, 광학 센서(4)는 고유의 광전지 타입의 적어도 하나의 광학 센서, 더 바람직하게는, Ge 광 다이오드, InGaAs 광 다이오드, 확장된 InGaAs 광 다이오드, InAs 광 다이오드, InSb 광 다이오드, HgCdTe 광 다이오드로 구성되는 그룹으로부터 선택된 적어도 하나의 반도체 광 다이오드를 포함할 수 있다. 부가적으로 또는 이와 달리, 광학 센서는 외부의 광전지 타입의 적어도 하나의 광학 센서, 더 바람직하게는, Ge:Au 광 다이오드, Ge:Hg 광 다이오드, Ge:Cu 광 다이오드, Ge:Zn 광 다이오드, Si:Ga 광 다이오드, Si:As 광 다이오드로 구성되는 그룹으로부터 선택된 적어도 하나의 반도체 광 다이오드를 포함할 수 있다. 부가적으로 또는 이와 달리, 광학 센서(4)는 PbS 또는 PbSe 센서, 볼로미터, 바람직하게는, VO 볼로미터 및 비정질 Si 볼로미터로 구성되는 그룹으로부터 선택된 볼로미터와 같은 적어도 하나의 광 전도성 센서를 포함할 수 있다.
예를 들어, 광학 센서(4)는 광 다이오드, 광 셀, 광 전도체, 광 트랜지스터 또는 이의 임의의 조합으로 구성되는 그룹으로부터 선택된 적어도 하나의 요소일 수 있고 또는 그것을 포함할 수 있다. 예를 들어, 광학 센서(4)는 CCD 센서 요소, CMOS 센서 요소, 광 다이오드, 광 셀, 광 전도체, 광 트랜지스터 또는 이의 임의의 조합으로 구성되는 그룹으로부터 선택된 적어도 하나의 요소일 수 있고 또는 그것을 포함할 수 있다. 임의의 다른 타입의 감광 요소가 사용될 수 있다. 감광 요소는 일반적으로 완전히 또는 부분적으로 무기 물질로 이루어질 수 있고/있거나 완전히 또는 부분적으로 유기 물질로 이루어질 수 있다. 가장 통상적으로는, 상업적으로 입수 가능한 광 다이오드, 예컨대, 무기 반도체 광 다이오드와 같은 하나 이상의 광 다이오드가 사용될 수 있다.
디스플레이 디바이스(1)는 정보를 표시하도록 구성된 적어도 하나의 반투명 디스플레이(2)를 포함한다. 조명원(5) 및 광학 센서(4)는 반투명 디스플레이(2)의 앞에서 조명 광 빔의 전파 방향에 배치된다. 반투명 디스플레이(2)는 적어도 하나의 스크린이거나 이를 포함할 수 있다. 스크린은 임의의 형상, 바람직하게는 직사각형 형상을 가질 수 있다. 디스플레이(2)에 의해 표시되는 정보는 적어도 하나의 이미지, 적어도 하나의 다이어그램, 적어도 하나의 히스토그램, 적어도 하나의 그래픽, 텍스트, 숫자, 적어도 하나의 기호, 조작 메뉴 등과 같은 임의의 정보일 수 있다.
반투명 디스플레이(2)는 디스플레이(2)의 전체 크기에 걸쳐 확장되는 디스플레이 물질을 갖는 풀 사이즈 디스플레이일 수 있다. 반투명 디스플레이(2)는 리세스가 없거나 컷아웃이 없을 수 있다. 반투명 디스플레이(2)는 전체 활성 디스플레이 영역을 가질 수 있다. 반투명 디스플레이(2)는 전체 디스플레이 영역이 활성화될 수 있도록 설계될 수 있다. 반투명 디스플레이(2)는 디스플레이 물질의 연속 분포를 가질 수 있다. 반투명 디스플레이(2)는 리세스나 컷아웃 없이 설계될 수 있다. 예를 들어, 디스플레이 디바이스(1)는 반투명 디스플레이(2)가 배치되는 직사각형 디스플레이 영역과 같은 디스플레이 영역을 갖는 전면을 포함할 수 있다. 디스플레이 영역은 반투명 디스플레이에 의해, 특히 디스플레이 물질에 의해, 구체적으로 임의의 리세스 또는 노치 없이 완전히 덮일 수 있다. 이는 디스플레이 크기, 특히 정보를 표시하도록 구성된 디스플레이 디바이스(1)의 영역을 증가시킬 수 있다. 예를 들어, 디스플레이 디바이스(1)의 전체 및/또는 전체 전면 크기는 디스플레이 물질에 의해 덮일 수 있지만, 디스플레이(2)를 둘러싸는 프레임이 가능할 수 있다.
반투명 디스플레이(2)는 적어도 하나의 유기 발광 다이오드(OLED) 디스플레이일 수 있거나 이를 포함할 수 있다. OLED 디스플레이는 가시광을 방출하도록 구성될 수 있다.
디스플레이 디바이스는 적어도 하나의 제어 유닛(8)을 포함한다. 제어 유닛(8)은 조명 동안 조명원(5)의 영역에서 및/또는 측정 동안 광학 센서(4)의 영역에서 디스플레이(2)를 끄도록 구성된다. 제어 유닛(8)은 특히 적어도 하나의 프로세서 및/또는 적어도 하나의 주문형 집적 회로를 사용하여 조명원(5) 및/또는 광학 센서(2) 및/또는 디스플레이(2)와 같은 디스플레이 디바이스(1)의 적어도 하나의 추가 구성요소를 제어하도록 구성될 수 있다. 따라서, 예로서, 제어 유닛(8)은 다수의 컴퓨터 커맨드를 포함하는 소프트웨어 코드가 저장되어 있는 적어도 하나의 데이터 처리 디바이스를 포함할 수 있다. 제어 유닛(8)은 명명된 동작 중 하나 이상을 수행하기 위한 하나 이상의 하드웨어 요소를 제공할 수 있고/있거나 명명된 동작 중 하나 이상을 수행하기 위해 실행되는 소프트웨어를 하나 이상의 프로세서에 제공할 수 있다. 따라서, 예로서, 제어 유닛(8)은 상술한 제어를 수행하도록 구성된 하나 이상의 컴퓨터, ASIC(application-specific integrated circuit), DSP(Digital Signal Processor) 또는 FPGA(Field Programmable Gate Array)와 같은 하나 이상의 프로그램 가능한 디바이스를 포함할 수 있다. 그러나, 부가적으로 또는 대안적으로, 제어 유닛(8)은 하드웨어에 의해 완전히 또는 부분적으로 구현될 수도 있다.
제어 유닛(8)은 조명 동안 조명원(5)의 영역 및/또는 측정 동안 광학 센서(4)의 영역에서 디스플레이를 끄도록 구성된다. 영역에서 디스플레이(2)를 끄는 것은 디스플레이(2)의 소정 영역에 대한 전원 공급을 조정, 특히 방지 및/또는 차단 및/또는 중지하는 것을 포함할 수 있다. 위에서 약술한 바와 같이, 디스플레이(2)는 적어도 하나의 OLED 디스플레이를 포함할 수 있다. 제어 유닛(8)이 조명원(5)의 영역에서 디스플레이(2)를 끈 경우, 조명원(5)의 영역에서 OLED 디스플레이가 비활성화될 수 있다. 제어 유닛(8)이 광학 센서(4)의 영역에서 디스플레이(2)를 끈 경우, OLED 디스플레이는 광학 센서(4)의 영역에서 비활성화될 수 있다. 제어 유닛(8)은 측정이 활성인 동안 디스플레이(2)의 영역을 끄도록 구성될 수 있다.
조명원(5)은 조명 빔, 특히 조명 패턴이 장면을 향해 방사되는 방사 영역을 포함할 수 있다. 방사 영역은 조명원(5)의 개방각에 의해 정의될 수 있다. 조명원(5)과 광학 센서(4)는 정의된 영역에 배열될 수 있다. 조명원(5)과 광학 센서(4)는 서로에 대해 고정된 위치에 배열될 수 있다. 예를 들어, 조명원(5)과 광학 센서(4)는 특히 고정된 거리를 두고 서로 옆에 배열될 수 있다. 조명원(5) 및 광학 센서(4)는 방사 영역 및 감광 영역에 의해 커버되는 반투명 디스플레이(2)의 영역이 최소가 되도록 배열될 수 있다.
디스플레이(2)는 제어 유닛(8)이 조명 동안 조명원(5)의 영역에서 및/또는 측정 동안 광학 센서(4)의 영역에서 디스플레이(2)를 껐을 때 조명원(5)의 영역 및/또는 광학 센서(4)의 영역에서 블랙 영역(6)을 나타내도록 구성될 수 있다. 블랙 영역(6)은 디스플레이(2)의 다른 영역에 비해 발광량이 적고/적거나 광을 방출하지 않는 영역일 수 있다. 예를 들어, 블랙 영역(6)은 어두운 영역일 수 있다. 구체적으로, 제어 유닛(8)은 조명원(5)의 영역의 디스플레이(2)가 조정 가능한 노치로서 기능하도록 조명원(5)의 영역의 디스플레이(2)를 끄고/끄거나 광학 센서(4)의 영역의 디스플레이(2)가 조정 가능한 노치로서 기능하도록 광학 센서(4)의 영역의 디스플레이(2)를 끄도록 구성된다. 조정 가능한 노치는 조명 및/또는 측정 동안 활성화되고 그렇지 않으면 비활성화되도록 구성될 수 있다. 조정 가능한 노치는 디스플레이 디바이스(1)가 사용되지 않을 때 안면 잠금 해제 동안과 같은 측정 동안 활성이고 광학 센서(4), 특히 전면 센서가 필요하지 않을 때 비활성인 가상 노치로서 기능할 수 있다. 사용된 OLED 디스플레이의 경우 이는 디스플레이(2)에 활동이 전혀 없음을 의미할 수 있다. 이렇게 하면 IR 광에 의해 어떠한 화소의 색상도 변경되지 않도록 할 수 있다. 또한 디스플레이 디바이스(1), 특히 제어 유닛(8) 및/또는 추가 처리 디바이스 및/또는 추가 광학 요소는 예를 들어, 디스플레이 내의 색상, 예컨대, IR 레이저의 감지된 깜박임을 보정하도록 구성될 수 있다.
조정 가능한 노치는 거친 에지를 포함할 수 있다. 그러나, 다른 실시예에서, 조정 가능한 노치는 임의의 거친 프린지를 방지하기 위해 휘도 경도로 실현될 수 있다. 디스플레이 디바이스(1)는 임의의 거친 프린지를 피하기 위해 광학 센서(4)가 일반적으로 위치되는 디스플레이(2)의 에지에 휘도 경도를 도입하도록 구성된 휘도 감소 요소를 포함할 수 있다. 이는 조정 가능한 노치의 영역에서 휘도 감소를 제공하도록 허용할 수 있다.
제어 유닛(8)은 디스플레이(2)와 조명원(5)이 서로 간섭하지 않는 방식, 소위 토글 모드로 동기화하도록 구성될 수 있다.
제어 유닛(8)은 광학 센서(4) 및/또는 조명원(5)이 활성일 때 표시를 발행하도록 구성될 수 있다. 반투명 디스플레이(2)는 광학 센서(4) 및/또는 조명원(5)이 활성일 때 상기 표시를 표시하도록 구성될 수 있다. 예를 들어, 디스플레이 디바이스(1)는 조명원(5)과 광학 센서(4)를 사용하여 얼굴 인식을 수행하도록 구성될 수 있다. 얼굴 인식을 위한 방법 및 기법은 일반적으로 당업자에게 알려져 있다. 제어 유닛(8)은 얼굴 인식이 활성이라는 것을 나타내는 표시를 얼굴 인식을 수행하는 동안 발행하도록 구성될 수 있다. 반투명 디스플레이(2)는 얼굴 인식을 수행하는 동안 상기 표시를 표시하도록 구성될 수 있다. 예를 들어, 표시는 적어도 하나의 경고 요소일 수 있다. 표시는 광학 센서(4) 및/또는 조명원(5), 특히 얼굴 인식이 활성임을 나타내는 아이콘 및/또는 로고 및/또는 기호 및/또는 애니메이션 중 하나 이상일 수 있다. 예를 들어, 블랙 영역(6)은 보안 인증이 활성인 식별 마크를 포함할 수 있다. 이를 통해 사용자는 자신이 예컨대, 결제 또는 서명 등에 안전한 환경에 있음을 인식할 수 있다. 예를 들어, 경고 요소는 얼굴 인식이 활성임을 나타내기 위해 색상 및/또는 모양을 변경할 수 있다. 이 표시는 광학 센서, 특히 카메라가 스파이를 피하기 위해 켜져 있음을 사용자가 인식하도록 할 수 있다. 제어 유닛(8) 및/또는 추가 보안 구역은 블랙 영역에 적어도 하나의 워터마크를 표시하기 위한 적어도 하나의 커맨드를 발행하도록 구성될 수 있다. 워터마크는 예컨대, 상점에서 보안 수준이 낮은 앱이 모방할 수 없는 기호일 수 있다.
그러나 반투명 디스플레이(2) 뒤에 장면에 의해 반사된 광의 전파 방향으로 조명원(5)과 광학 센서(4)를 배치하면 디스플레이의 회절 격자가 장면 및 광학 센서(4)에 의해 캡처된 이미지에 복수의 레이저 포인트를 생성하게 될 수 있다. 따라서 이미지 상의 이들 여러 스폿에는 유용한 거리 정보가 포함되지 않을 수 있다. 디스플레이 디바이스(1)는 0차 회절 격자의 반사 특징, 즉 실제 특징을 찾고 평가하도록 구성된 적어도 하나의 평가 디바이스(10)를 포함할 수 있고, 더 높은 차수의 반사 특징, 즉 거짓 특징을 무시할 수 있다.
조명원(5)은 적어도 하나의 장면에 복수의 조명 특징을 포함하는 적어도 하나의 조명 패턴을 투영하도록 구성될 수 있다. 광학 센서(4)는 조명 특징에 의한 조명에 응답하여 장면에 의해 생성된 복수의 반사 특징을 포함하는 적어도 하나의 제1 이미지를 결정하도록 구성될 수 있다. 디스플레이 디바이스(1)는 제1 이미지를 평가하도록 구성된 적어도 하나의 평가 디바이스(10)를 더 포함할 수 있고, 제1 이미지의 평가는 제1 이미지의 반사 특징을 식별하는 것과 식별된 반사 특징을 휘도에 관하여 분류하는 것을 포함한다. 각각의 반사 특징은 적어도 하나의 빔 프로파일을 포함할 수 있다. 평가 디바이스(10)는 빔 프로파일의 분석에 의해 각각의 반사 특징에 대한 적어도 하나의 세로 좌표 ZDPR을 결정하도록 구성될 수 있다. 평가 디바이스(10)는 세로 좌표 ZDPR을 사용하여 대응하는 조명 특징과 반사 특징을 모호하지 않게 매칭시키도록 구성될 수 있다. 매칭은 가장 밝은 반사 특징에서 시작하여 반사 특징의 휘도를 감소시키면서 수행될 수 있다. 평가 디바이스(10)는 조명 특징과 매칭되는 반사 특징을 실제 특징으로 분류하고 조명 특징과 매칭되지 않는 반사 특징을 거짓 특징으로 분류하도록 구성될 수 있다. 평가 디바이스(10)는 거짓 특징을 거부하고 세로 좌표 ZDPR을 사용하여 실제 특징에 대한 깊이 맵을 생성하도록 구성될 수 있다.
평가 디바이스(10)는 반사 특징을 식별하기 위해 적어도 하나의 이미지 분석 및/또는 이미지 처리를 수행하도록 구성될 수 있다. 이미지 분석 및/또는 이미지 처리는 적어도 하나의 특징 검출 알고리즘을 이용할 수 있다. 이미지 분석 및/또는 이미지 처리는, 필터링, 적어도 하나의 관심 영역의 선택, 센서 신호에 의해 생성된 이미지와 적어도 하나의 오프셋 사이의 차이 이미지의 형성, 센서 신호에 의해 생성된 이미지를 반전하는 것에 의한 센서 신호의 반전, 상이한 시간에 센서 신호에 의해 생성된 이미지 사이의 차이 이미지의 형성, 배경 수정, 색상 채널로의 분해, 색으로의 분해, 포화도, 휘도 채널, 주파수 분해, 특이값 분해, 블롭 검출기 적용, 코너 검출기 적용, 헤시안 필터의 결정 요인 적용, 원칙적 곡률 기반 영역 검출기 적용, 가장 안정된 극단 영역 검출기 적용, 일반화된 허프 변환(Hough-transformation) 적용, 능선 검출기 적용, 아핀 불변 특징 검출기 적용, 아핀 구성 관심 지점 연산자 적용, 해리스 아핀 영역 검출기 적용, 헤시안 아핀 영역 검출기 적용, 스케일 불변 특징 변환 적용, 스케일 공간 극값 검출기 적용, 로컬 특징 검출기 적용, 고속의 강건한 특징 알고리즘 적용, 경사도 위치 및 방향 히스토그램 알고리즘 적용, 지향 경사도 기술자의 히스토그램 적용, 드리체 에지 검출기(Deriche edge detector) 적용, 차분 에지 검출기 적용, 시공간 관심 지점 검출기 적용, 모라벡 코너 검출기 적용, 캐니 에지 검출기 적용, 가우시안 필터의 라플라시안 적용, 가우시안 필터의 차이 적용, 소벨 연산자 적용, 라플라스 연산자 적용, 샤르 연산자 적용, 프리위트 연산자 적용, 로버트 연산자 적용, 키르시 연산자 적용, 하이패스 필터 적용, 로우패스 필터 적용, 푸리에 변환 적용, 랜덤 변환 적용, 허프 변환 적용, 웨이블릿 변환 적용, 임계값 지정, 이진 이미지 생성 중 하나 이상을 포함할 수 있다. 관심 영역은 사용자에 의해 수동으로 결정되거나, 또는 광학 센서에 의해 생성된 이미지 내에서의 특징을 인식하는 것 등에 의해 자동으로 결정될 수 있다.
예를 들어, 조명원(5)은, 복수의 조명 영역이 광학 센서(4), 예컨대, CMOS 검출기에 생성되도록 포인트 클라우드를 생성 및/또는 투영하도록 구성될 수 있다. 부가적으로, 방해, 예컨대, 반점 및/또는 외부광 및/또는 다중 반사로 인한 방해가 광학 센서에 나타날 수 있다. 평가 디바이스(10)는 적어도 하나의 관심 영역, 예를 들어, 물체의 세로 좌표의 결정에 사용되는 광 빔에 의해 조명된 하나 이상의 화소를 결정하도록 구성될 수 있다. 예를 들어, 평가 디바이스(10)는 필터링 방법, 예컨대, 블롭 분석 및/또는 에지 필터 및/또는 물체 인식 방법을 수행하도록 적용될 수 있다.
평가 디바이스(10)는 적어도 하나의 이미지 수정을 수행하도록 구성될 수 있다. 이미지 수정은 적어도 하나의 배경 차감을 포함할 수 있다. 평가 디바이스(10)는, 예를 들어, 추가 조명 없는 이미징에 의해, 빔 프로파일에서 배경 광으로부터의 영향을 제거하도록 구성될 수 있다.
반사 특징의 각각은 적어도 하나의 빔 프로파일을 포함한다. 빔 프로파일은 사다리꼴 빔 프로파일, 삼각형 빔 프로파일, 원뿔형 빔 프로파일 및 가우시안 빔 프로파일의 선형 조합으로 구성되는 그룹에서 선택될 수 있다. 평가 디바이스(10)는 그들의 빔 프로파일의 분석에 의해 반사 특징의 각각에 대한 빔 프로파일 정보를 결정하도록 구성된다.
평가 디바이스(10)는 그들의 빔 프로파일의 분석에 의해 반사 특징의 각각에 대한 적어도 하나의 세로 좌표 ZDPR를 결정하도록 구성된다. 예를 들어, 빔 프로파일의 분석은 히스토그램 분석 단계, 차이 측정의 계산, 뉴럴 네트워크의 적용, 머신 학습 알고리즘의 적용 중 적어도 하나를 포함할 수 있다. 평가 디바이스(10)는 빔 프로파일을 대칭화 및/또는 정규화 및/또는 필터링을 위해, 특히, 더 큰 각도 하에서의 기록, 에지의 기록 등으로부터 노이즈 또는 비대칭을 제거하도록 구성될 수 있다. 평가 디바이스(10)는 공간 주파수 분석 및/또는 중간값 필터링 등에 의해 높은 공간 주파수를 제거함으로써 빔 프로파일을 필터링할 수 있다. 요약은 광 스폿의 강도의 중심에 의해, 중심까지 동일한 거리에서의 모든 강도를 평균화함으로써 수행될 수 있다. 평가 디바이스(10)는, 특히 기록된 거리로 인한 강도 차이를 설명하기 위해 빔 프로파일을 최대 강도로 정규화하도록 구성될 수 있다. 평가 디바이스(10)는, 예를 들어, 조명 없는 이미징에 의해 빔 프로파일에서 배경 광으로부터의 영향을 제거하도록 구성될 수 있다.
평가 디바이스(10)는, DPR 기법을 이용하는 것에 의해 반사 특징의 각각에 대해 세로 좌표 ZDPR을 결정하도록 구성될 수 있다. DPR 기법에 대해 WO 2018/091649 A1, WO 2018/091638 A1 및 WO 2018/091640 A1을 참조하고, 그 전체 내용은 참조로서 포함된다.
평가 디바이스(10)는 반사 특징 각각의 빔 프로파일을 결정하도록 구성될 수 있다. 빔 프로파일의 결정은 광학 센서(4)에 의해 제공된 적어도 하나의 반사 특징을 식별하는 것 및/또는 광학 센서(4)에 의해 제공된 적어도 하나의 반사 특징을 선택하는 것 및 반사 특징의 적어도 하나의 강도 분포를 평가하는 것을 포함할 수 있다. 일례로서, 이미지의 영역은, 예컨대, 이미지를 통한 축 또는 선을 따라, 3차원 강도 분포 또는 2차원 강도 분포과 같은 강도 분포를 결정하도록 사용 및 평가될 수 있다. 일례로서, 광 빔에 의한 조명의 중심은, 예컨대, 가장 높은 조명을 갖는 적어도 하나의 화소를 결정하는 것에 의해 결정될 수 있고, 단면축은 조명의 중심을 통해 선택될 수 있다. 강도 분포는 조명의 중심을 통해 이 단면축을 따르는 좌표의 함수로서의 강도 분포일 수 있다. 다른 평가 알고리즘이 실현 가능하다.
반사 특징 중 하나의 빔 프로파일 분석은 빔 프로파일의 적어도 하나의 제 1 영역 및 적어도 하나의 제 2 영역에서의 결정을 포함할 수 있다. 빔 프로파일의 제1 영역은 영역 A1일 수 있고, 빔 프로파일의 제2 영역은 영역 A2일 수 있다. 평가 디바이스(10)는 제1 영역과 제2 영역을 통합하도록 구성될 수 있다. 평가 디바이스(10)는, 통합된 제1 영역과 통합된 제2 영역의 분리, 다수의 통합된 제1 영역과 통합된 제2 영역의 분리, 통합된 제1 영역과 통합된 제2 영역의 선형 조합의 분리 중 하나 이상에 의해, 조합 신호, 특히 몫(quotient) Q를 유도하도록 구성될 수 있다. 평가 디바이스(10)는 빔 프로파일의 적어도 2개의 영역을 결정하고/하거나 빔 프로파일의 서로 다른 영역을 포함하는 적어도 2개의 세그먼트로 빔 프로파일을 분할하도록 구성될 수 있고, 영역이 동일하지 않는 한 영역의 중복은 가능할 수 있다. 예를 들어, 평가 디바이스(10)는 2, 3, 4, 5 또는 10개의 영역까지와 같은 복수의 영역을 결정하도록 구성될 수 있다. 평가 디바이스(10)는 광 스폿을 빔 프로파일의 적어도 2개의 영역으로 분할하고/하거나 빔 프로파일의 서로 다른 영역을 포함하는 적어도 2개의 세그먼트로 빔 프로파일을 분할하도록 구성될 수 있다. 평가 디바이스(10)는 적어도 2개의 영역에 대해 각각의 영역에 걸친 빔 프로파일의 통합을 결정하도록 구성될 수 있다. 평가 디바이스(10)는 적어도 2개의 결정된 통합을 비교하도록 구성될 수 있다. 구체적으로, 평가 디바이스(10)는 빔 프로파일의 적어도 하나의 제1 영역과 적어도 하나의 제2 영역을 결정하도록 구성될 수 있다. 빔 프로파일의 제1 영역과 빔 프로파일의 제2 영역은 인접하거나 겹치는 영역 중 하나 또는 양쪽 모두일 수 있다. 빔 프로파일의 제1 영역과 빔 프로파일의 제2 영역은 면적이 일치하지 않을 수 있다. 예를 들어, 평가 디바이스(10)는 CMOS 센서의 센서 영역을 적어도 2개의 서브 영역으로 분리하도록 구성될 수 있고, 평가 디바이스는 CMOS 센서의 센서 영역을 적어도 하나의 왼쪽 부분과 적어도 하나의 오른쪽 부분으로, 및/또는 적어도 하나의 위쪽 부분과 적어도 하나의 아래쪽 부분으로, 및/또는 적어도 하나의 안쪽 부분과 적어도 하나의 바깥쪽 부분으로 분리하도록 구성될 수 있다.
부가적으로 또는 이와 달리, 디스플레이 디바이스(1)는 적어도 2개의 광학 센서(4)를 포함할 수 있고, 제1 광학 센서 및 제2 광학 센서의 감광 영역은, 제1 광학 센서가 반사 특징의 빔 프로파일의 제1 영역을 결정하도록 구성되고, 제2 광학 센서가 반사 특징의 빔 프로파일의 제2 영역을 결정하도록 구성되도록 배치될 수 있다. 평가 디바이스(10)는 제1 영역 및 제2 영역을 통합하도록 구성될 수 있다.
일 실시예에서, A1은 광학 센서의 특징 포인트의 전체 또는 완전한 영역에 대응할 수 있다. A2는 광학 센서의 특징 포인트의 중심 영역일 수 있다. 중심 영역은 일정한 값일 수 있다. 중심 영역은 특징 포인트의 전체 영역에 비해 더 작을 수 있다. 예를 들어, 원형 특징 포인트의 경우, 중심 영역은 특징 포인트의 전체 반경의 0.1 내지 0.9, 바람직하게는 전체 반경의 0.4 내지 0.6의 반경을 가질 수 있다.
평가 디바이스(10)는 제1 영역 및 제2 영역의 분리, 다수의 제1 영역 및 제2 영역의 분리, 제1 영역 및 제2 영역의 선형 조합의 분리 중 하나 이상에 의해 몫 Q를 유도하도록 구성될 수 있다. 평가 디바이스(10)는,
에 의해 몫 Q를 유도하도록 구성될 수 있고, 여기서, x 및 y는 가로 좌표이고, A1 및 A2는 각각 빔 프로파일의 제1 및 제2 영역이고, E(x,y)는 빔 프로파일을 나타낸다.
평가 디바이스(10)는 세로 좌표를 결정하기 위해 세로 좌표와 몫 Q 사이의 적어도 하나의 사전 결정된 관계를 이용하도록 구성될 수 있다. 사전 결정된 관계는 경험적 관계, 반 경험적 관계 및 분석적으로 유도된 관계 중 하나 이상일 수 있다. 평가 디바이스(10)는 룩업 리스트 또는 룩업 테이블과 같은 사전 결정된 관계를 저장하는 적어도 하나의 데이터 스토리지 디바이스를 포함할 수 있다.
평가 디바이스(10)는 0차 및 더 높은 차수를 갖는 모든 반사 특징에 대한 거리를 계산하는 적어도 하나의 DPR 알고리즘을 실행하도록 구성될 수 있다.
제1 이미지의 평가는 휘도에 관하여 식별된 반사 특징을 정렬하는 것을 포함한다. 정렬은 휘도, 특히, 최대 휘도를 갖는 반사 특징에서 시작하여 감소하는 휘도를 갖는 후속 반사 특징에 대하여 추가 평가를 위해 반사 특징의 시퀀스를 할당하는 것을 포함할 수 있다. 가장 밝은 반사 특징이 DPR 계산에 선호되면, 세로 좌표 ZDPR의 결정의 강건함은 증가될 수 있다. 이것은 주로 0차 회절 격자를 갖는 반사 특징이 높은 차수의 거짓 특징보다 항상 더 밝기 때문이다.
평가 디바이스(10)는 세로 좌표 ZDPR을 사용하는 것에 의해 반사 특징을 대응하는 조명 특징과 명확히 일치하도록 구성된다. DPR 기법에 의해 결정된 세로 좌표는 이른바 대응 문제를 해결하기 위해 사용될 수 있다. 이런 식으로, 반사 특징당 거리 정보는 공지의 레이저 프로젝터 그리드의 대응관계를 찾도록 사용될 수 있다.
반사 특징에 대응하는 조명 특징은 에피폴라 기하(epipolar geometry)를 이용하여 결정될 수 있다. 에피폴라 기하의 기술에 대해, 예를 들어, X.Jiang, H.Bunke: "Dreidimensionales Computersehen" Springer, Berlin Heidelberg, 1997의 챕터 2를 참조한다. 에피폴라 기하는, 조명 이미지, 즉, 왜곡되지 않은 조명 패턴의 이미지 및 제1 이미지가 고정 거리를 갖는 상이한 공간 위치 및/또는 공간 방향에서 결정된 이미지일 수 있다는 것을 가정할 수 있다. 거리는 기준선이라고도 표기되는 상대적 거리일 수 있다. 조명 이미지는 참조 이미지로도 표기될 수 있다. 평가 디바이스(10)는 참조 이미지의 에피폴라선을 결정하도록 구성될 수 있다. 참조 이미지 및 제1 이미지의 상대적 위치는 공지일 수 있다. 예를 들어, 참조 이미지 및 제1 이미지의 상대적 위치는 평가 디바이스의 적어도 하나의 스토리지 유닛 내에 저장될 수 있다. 평가 디바이스(10)는 제1 이미지의 선택된 반사 특징으로부터 그것이 비롯되는 현실 세계 특징까지 확장되는 직선을 결정하도록 구성될 수 있다. 따라서, 직선은 선택된 반사 특징에 대응하는 가능한 물체 특징을 포함할 수 있다. 직선 및 기준선은 에피폴라 평면에 걸쳐 이어진다. 참조 이미지가 제1 이미지와 다른 상대적 성좌에서 결정되므로, 대응하는 가능한 물체의 특징은 참조 이미지에서 에피폴라 선이라 불리는 직선 상에 그려질 수 있다. 에피폴라선은 에피폴라 평면과 참조 이미지의 교차부일 수 있다. 따라서, 제1 이미지의 선택된 특징에 대응하는 참조 이미지의 특징은 에피폴라선에 있다.
반사된 조명 특징을 갖는 장면의 물체까지의 거리에 따라, 조명 특징에 대응하는 반사 특징은 제1 이미지 내에서 변위될 수 있다. 참조 이미지는 선택된 반사 특징에 대응하는 조명 특징이 그려질 수 있는 적어도 하나의 변위 영역을 포함할 수 있다. 변위 영역은 하나의 조명 특징만을 포함할 수 있다. 변위 영역은 또한 하나보다 많은 조명 특징을 포함할 수도 있다. 변위 영역은 에피폴라선 또는 에피폴라선의 구역을 포함할 수 있다. 변위 영역은 하나보다 많은 에피폴라선 또는 하나보다 많은 에피폴라선의 더 많은 구역을 포함할 수 있다. 변위 영역은 에피폴라선을 따라, 에피폴라선에 직교하여 또는 양쪽 모두에 따라 확장될 수 있다. 평가 디바이스(10)는 에피폴라선을 따른 조명 특징을 결정하도록 구성될 수 있다. 평가 디바이스(10)는 반사 특징에 대한 세로 좌표 z 및 결합 신호 Q로부터의 오차 간격 ±ε을 결정하여, z±ε에 대응하는 에피폴라선을 따라 또는 에피폴라선에 직교하는 변위 영역을 결정하도록 적용될 수 있다. 결합 신호 Q를 이용하는 거리 측정의 측정 불확실성은, 측정 불확실성이 다른 방향에 대해 상이할 수 있으므로, 원이 아닌 제2 이미지의 변위 영역을 초래할 수 있다. 구체적으로, 에피폴라선(들)을 따른 측정 불확실성은 에피폴라선(들)에 대해 직교 방향의 측정 불확실성보다 더 클 수 있다. 변위 영역은 에피폴라선(들)에 대해 직교 방향으로의 확장을 포함할 수 있다. 평가 디바이스(10)는 선택된 반사 특징을 변위 영역 내에서의 적어도 하나의 조명 특징과 일치시키도록 구성될 수 있다. 평가 디바이스(10)는, 결정된 세로 좌표 ZDPR을 고려하여 적어도 하나의 평가 알고리즘을 이용하는 것에 의해, 선택된 제1 이미지의 특징을 변위 영역 내의 조명 특징과 일치시키도록 구성될 수 있다. 평가 알고리즘은 선형 스케일링 알고리즘일 수 있다. 평가 디바이스(10)는 변위 영역에 가장 가까운 및/또는 변위 영역 내의 에피폴라선을 결정하도록 구성될 수 있다. 평가 디바이스는 반사 특징의 이미지 위치에 가장 가까운 에피폴라선을 결정하도록 구성될 수 있다. 에피폴라선을 따른 변위 영역의 연장은 에피폴라선에 직교하는 변위 영역의 연장보다 더 클 수 있다. 평가 디바이스(10)는 대응하는 조명 특징을 결정하기 전에 에피폴라선을 결정하도록 구성될 수 있다. 평가 디바이스(10)는 각각의 반사 특징의 이미지 위치 주변의 변위 영역을 결정할 수 있다. 평가 디바이스(10)는, 예컨대, 변위 영역에 가장 가까운 및/또는 변위 영역 내의 및/또는 에피폴라선에 직교하는 방향을 따른 변위 영역에 가장 가까운 에피폴라선을 할당하는 것에 의해, 반사 특징의 각각의 이미지 위치의 각 변위 영역에 에피폴라선을 할당하도록 구성될 수 있다. 평가 디바이스(10)는, 할당된 변위 영역에 가장 가까운, 및/또는 할당된 변위 영역 내의, 및/또는 할당된 에피폴라선을 따른 할당된 변위 영역에 가장 가까운, 및/또는 할당된 에피폴라선을 따른 할당된 변위 영역 내의 조명 특징을 결정하는 것에 의해 반사 특징에 대응하는 조명 특징을 결정하도록 구성될 수 있다.
부가적으로 또는 이와 달리, 평가 디바이스(10)는 다음의 단계, 즉,
- 각각의 반사 특징의 이미지 위치에 대한 변위 영역을 결정하는 단계,
- 예컨대, 변위 영역에 가장 가까운, 및/또는 변위 영역 내의, 및/또는 에피폴라선에 직교하는 방향을 따른 변위 영역에 가장 가까운 에피폴라선을 할당하는 것에 의해, 각각의 반사 특징의 변위 영역에 에피폴라선을 할당하는 단계,
- 예컨대, 할당된 변위 영역에 가장 가까운, 및/또는 할당된 변위 영역 내의, 및/또는 할당된 에피폴라선을 따른 할당된 변위 영역에 가장 가까운, 및/또는 할당된 에피폴라선을 따른 할당된 변위 영역 내의 조명 특징을 할당하는 것에 의해 각각의 반사 특징에 대해 적어도 하나의 조명 특징을 할당 및/또는 결정하는 단계
를 수행하도록 구성될 수 있다.
부가적으로 또는 이와 달리, 평가 디바이스(10)는, 예컨대, 반사 특징의 거리 및/또는 조명 이미지 내의 에피폴라선을 비교하는 것, 및/또는 조명 특징의 ε-가중 거리와 같은 오차 가중 거리 및/또는 조명 이미지 내의 에피폴라선을 비교하고, 에피폴라선 및/또는 더 짧은 거리의 조명 특징 및/또는 조명 특징에 대한 ε-가중 거리 및/또는 반사 특징을 할당하는 것에 의해, 반사 특징에 할당될 하나보다 많은 에피폴라선 및/또는 조명 특징 중에서 결정하도록 구성될 수 있다.
전술한 바와 같이, 회절 격자로 인해, 예컨대, 각각의 조명 특징에 대해, 복수의 반사 특징인 하나의 실제 특징 및 복수의 거짓 특징이 생성된다. 일치는 가장 밝은 반사 특징에서 시작하여 반사 특징의 휘도를 감소시키면서 수행된다. 다른 반사 특징은 동일하게 일치한 조명 특징에 할당될 수 없다. 디스플레이 아티팩트로 인해, 생성되는 거짓 특징은 일반적으로 실제 특징보다 더 어둡다. 반사 특징을 휘도에 따라 정렬함으로써, 대응하는 일치를 위해 더 밝은 반사 특징이 선호된다. 조명 특징의 대응관계가 이미 사용되고 있으면, 거짓 특징이 사용, 즉, 일치된 조명 특징에 할당될 수 없다.
도 2a 내지 도 2c는 디스플레이(2), 조명원(5) 및 광학 센서(4)를 동기화하는 실시예를 도시한다.
도 2a에 도시된 바와 같이, 디스플레이 디바이스(1)는 적어도 하나의 조명 패턴을 생성하도록 구성된 적어도 하나의 프로젝터(12), 예컨대, 레이저 프로젝터 모듈을 포함하는 조명원(5), 장면을 조명하기 위한 추가 투광 조명(14) 및 광학 센서(4), 예를 들어, 셔터를 갖는 IR 카메라 모듈을 포함할 수 있다. 디스플레이 디바이스(1)는 이들 구성요소가 디스플레이(2) 앞에서 조명 광 빔의 전파 방향으로 배치되도록 구성될 수 있다.
반투명 디스플레이(2)는 적어도 하나의 OLED 디스플레이일 수 있다. OLED 디스플레이는 약 25% 이상의 투과율을 가질 수 있다. 그러나 투과율이 낮은 OLED 디스플레이의 구현도 가능할 수 있다. 도 2c는 OLED 디스플레이의 실시예를 도시한다. 참조 번호 16으로 표시된 것은 IR 카메라 모듈, 프로젝터(12) 및 투광 조명(14)에 대한 잠재적인 위치이다. 디스플레이(2)는 V가 수직 연장이고 H가 높이인 해상도 V×H를 가질 수 있다. OLED 디스플레이는 매트릭스 배열 V×H로 배열된 복수의 화소를 포함할 수 있다. OLED는 매트릭스의 위에서 아래로 한 줄씩 콘텐츠를 업데이트 및/또는 리프레시할 수 있다. 도 2c에는 첫 번째 라인, 라인 0가 참조 번호 18로 표시되고, 마지막 라인 V가 참조 번호 20으로 표시된다. 업데이트 방향은 참조 번호 22로 표시된다. 제어 유닛(8)은 디스플레이(2), 프로젝터(12), 투광 조명(14) 및 광학 센서(4)를 동기화하도록 구성될 수 있다. 제어 유닛(8)의 요소는 도 2에 예컨대, SoC(26)의 일부로서 및/또는 디스플레이(2), 광학 센서(4) 및 조명원(12, 14)의 요소로서 도시된다. 디스플레이(2), 특히 디스플레이 드라이버는 업데이트 및/또는 리프레시가 마지막 라인(20)에서 첫 번째 라인(18)으로 랩어라운드됨을 나타내는 적어도 하나의 신호를 방출하도록 구성될 수 있다. 디스플레이 드라이버는 제어 유닛의 일부일 수 있다. 예를 들어, 업데이트 및/또는 리프레시가 마지막 라인(20)에서 첫 번째 라인(18)으로 랩어라운드할 때, 디스플레이 VSYNC(24)라고도 하는 VSYNC(Vertical SYNC) 신호가 디스플레이(2)에 의해 방출될 수 있다.
OLED 디스플레이를 통한 광의 방출은 콘텐츠가 업데이트 및/또는 리프레시, 특히 덮어쓰기 직전에 타이밍이 맞춰질 수 있다. 이렇게 하면 눈에 보이는 왜곡을 최소화할 수 있다. 광학 센서(4)는 프로젝터(12) 및 투광 조명(14)과 동기화될 수 있다. 광학 센서(4)는 조명 동안 활성화될 수 있는데, 즉, 이미지 캡처 및/또는 광 검출 모드일 수 있다. 예를 들어, 광학 센서(4)와 조명원(5)의 동기화는 도 2a에 도시된 바와 같이 실현될 수 있다.
도 2a에 도시된 바와 같이, 제어 유닛은 시스템 온 칩(SoC)(26)을 포함할 수 있다. SoC(26)는 디스플레이 인터페이스(28)를 포함할 수 있다. SoC(26)는 적어도 하나의 애플리케이션(32)에 연결된 적어도 하나의 애플리케이션 프로그래밍 인터페이스(API)(30)를 포함할 수 있다. SoC(26)는 적어도 하나의 이미지 신호 프로세서(ISP)(34)를 더 포함할 수 있다. 광학 센서(4)는 연결(35)을 통해 SoC(26), 특히 ISP(34) 및/또는 API(30)에 연결될 수 있다. 연결(35)은 전력 제어, 클록 신호(CLK) 제공, 이미지 신호의 전송 중 하나 이상을 위해 구성될 수 있다. 추가적으로 또는 대안적으로, 연결(35)은 I2C(Inter-Integrated Circuit)로서 구현될 수 있다. 추가적으로 또는 대안적으로, 연결은 MIP와 같은 이미지 데이터 인터페이스로서 구현될 수 있다.
애플리케이션(32)은 하나 이상의 조명원(12, 14)에 의한 조명을 요청(40)할 수 있다. SoC(26)는 API(30)를 통해 연결(35)을 거쳐 광학 센서(4)에 전력을 공급할 수 있다. 광학 센서(4)는 카메라 VSYNC(36)라고도 하는 VSYNC 신호를 SoC(26)로 방출하고 스트로브 신호(38)를 조명원(12, 14)으로 방출할 수 있다. SoC(26)는 API(30)를 통해 카메라 VSYNC(36)에 대한 응답으로 조명원을 각각 활성화하기 위해 조명원(12, 14)에 트리거 신호를 발행할 수 있다. 각각의 트리거 신호(41, 42) 및 스트로브 신호(38)가 각각의 조명원(12, 14)에 의해, 특히 AND 논리 게이트에 의해 수신되는 경우, 조명원(12, 14)의 각각의 드라이버(43)가 조명을 구동한다. 광학 센서(4)의 신호는 연결(35)에 의해 SoC(26)로 예컨대 API(30) 및 ISP(34)로 전송될 수 있고, 예를 들어, 추가 평가를 위해 예컨대, 메타 데이터 등과 함께 애플리케이션(32)에 제공될 수 있다.
도 2a에 더 도시된 바와 같이, 광학 센서(4)와 디스플레이(2)는 동기화될 수 있다. 디스플레이(2)는 적어도 하나의 디스플레이 직렬 인터페이스(DSI)(46), 특히 MIPI 디스플레이 직렬 인터페이스(MIPI DSI®)를 통해 디스플레이 인터페이스(28)에 연결될 수 있다. 디스플레이 인터페이스(28)는 적어도 하나의 SW-신호(48)를 광학 센서(4)에 전달할 수 있다. 디스플레이(2)는 두 가지 작동 모드, 즉 "비디오 모드" 또는 "커맨드 모드"에서 작동할 수 있다. 비디오 모드에서 VSYNC 신호는 디스플레이(2)에서 발행될 수 있다. 커맨드 모드에서 VSYNC 신호는 SoC에 의해 생성 및 발행될 수 있으며, 특히 소프트웨어에 의해 생성될 수 있다. 따라서, 디스플레이(2)의 VSNC 신호는 디스플레이 자체 및/또는 SoC(26)에 의해 발행될 수 있다.
디스플레이 디바이스(1)는 카메라 프레임 노출의 종료에 디스플레이 VSYNC(24)를 동기화하기 위해 트리거 신호로서 디스플레이 VSYNC(24)를 광학 센서(4)에 전달하도록 구성될 수 있다. 광학 센서(4)의 트리거 요구사항에 따라, 디스플레이 VSYNC(24)는 요구사항을 완전히 충족하기 위해 광학 센서(4)에 전달되기 전에 적응, 특히 조정될 수 있다. 예를 들어, 디스플레이 VSYNC(24)의 주파수는 주파수의 절반으로 조정될 수 있다.
도 2b는 디스플레이 VSYNC(24), 스트로브 신호(38), 카메라 VSYNC 및 트리거 신호(41 및 42)를 시간의 함수로서, 특히 1/초당 프레임(FPS)으로 전개하는 것을 도시한다. 카메라의 노출은 디스플레이 VSYNC(24) 직전에, 즉 위치(16)의 투명 영역이 위치하는 제1 라인의 리프레시 직전에 발생하는 것으로 나타난다.
참조 번호의 목록
1 디스플레이 디바이스
2 반투명 디스플레이
4 광학 센서
5 조명원
6 블랙 영역
8 제어 유닛
10 평가 디바이스
12 프로젝터
14 투광 조명
16 위치
18 라인 0
20 라인 V
24 디스플레이 VSYNC
26 SoC
28 디스플레이 인터페이스
30 API
32 애플리케이션
34 ISP
35 연결
36 카메라 VSYNC
38 스트로브 신호
40 요청
41 트리거 신호
42 트리거 신호
44 제공
46 DSI
48 SW 신호
1 디스플레이 디바이스
2 반투명 디스플레이
4 광학 센서
5 조명원
6 블랙 영역
8 제어 유닛
10 평가 디바이스
12 프로젝터
14 투광 조명
16 위치
18 라인 0
20 라인 V
24 디스플레이 VSYNC
26 SoC
28 디스플레이 인터페이스
30 API
32 애플리케이션
34 ISP
35 연결
36 카메라 VSYNC
38 스트로브 신호
40 요청
41 트리거 신호
42 트리거 신호
44 제공
46 DSI
48 SW 신호
Claims (19)
- 디스플레이 디바이스(1)로서,
- 적어도 하나의 장면 상에 적어도 하나의 조명 빔을 투영하도록 구성된 적어도 하나의 조명원(5)과,
- 적어도 하나의 감광 영역을 갖는 적어도 하나의 광학 센서(4) - 상기 광학 센서(4)는 상기 조명 빔에 의한 조명에 응답하여 상기 장면에 의해 생성된 적어도 하나의 반사 광 빔을 측정하도록 구성됨 - 와,
- 정보를 표시하도록 구성된 적어도 하나의 반투명 디스플레이(2) - 상기 조명원(5) 및 상기 광학 센서(4)는 상기 디스플레이(2)의 앞에서 상기 조명 광 빔의 전파 방향에 배치됨 - 와,
- 적어도 하나의 제어 유닛(8) - 상기 제어 유닛(8)은 조명 동안 상기 조명원(5)의 영역 및/또는 측정 동안 상기 광학 센서(4)의 영역에서 상기 디스플레이(2)를 끄도록 구성됨 - 을 포함하는,
디스플레이 디바이스(1).
- 제1항에 있어서,
상기 반투명 디스플레이(2)는 상기 디스플레이(2)의 전체 크기에 걸쳐 확장되는 디스플레이 물질을 갖는 풀 사이즈 디스플레이인,
디스플레이 디바이스(1).
- 제1항 또는 제2항에 있어서,
상기 디스플레이(2)는 상기 제어 유닛(8)이 조명 동안 상기 조명원(5)의 영역에서 및/또는 측정 동안 상기 광학 센서(4)의 영역에서 상기 디스플레이(2)를 껐을 때 상기 조명원(5)의 영역 및/또는 상기 광학 센서(4)의 영역에서 블랙 영역(6)을 나타내도록 구성되는,
디스플레이 디바이스(1).
- 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 제어 유닛(8)은 상기 조명원(5)의 영역의 상기 디스플레이(2)가 조정 가능한 노치로서 기능하도록 상기 조명원(5)의 영역의 상기 디스플레이(2)를 끄고/끄거나 상기 광학 센서(4)의 영역의 상기 디스플레이(2)가 상기 조정 가능한 노치로서 기능하도록 상기 광학 센서(4)의 영역의 상기 디스플레이(2)를 끄도록 구성되고, 상기 조정 가능한 노치는 조명 및/또는 측정 동안 활성화되고 그렇지 않으면 비활성화되도록 구성되는,
디스플레이 디바이스(1).
- 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 디스플레이 디바이스(1)는 상기 광학 센서(4)를 사용하여 얼굴 인식을 수행하도록 구성되고, 상기 제어 유닛(8)은 상기 얼굴 인식이 활성이라는 것을 나타내는 표시를 얼굴 인식을 수행하는 동안 발행하도록 구성되며, 상기 반투명 디스플레이(2)는 얼굴 인식을 수행하는 동안 상기 표시를 디스플레이하도록 구성되는,
디스플레이 디바이스(1).
- 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 광학 센서(4)는 적어도 하나의 CMOS 센서를 포함하는,
디스플레이 디바이스(1).
- 제1항 내지 제6항 중 어느 한 항에 있어서,
상기 조명원(5)은 적어도 하나의 적외선 광원을 포함하는,
디스플레이 디바이스(1).
- 제1항 내지 제7항 중 어느 한 항에 있어서,
상기 조명원(5)은 적어도 하나의 조명 패턴을 생성하도록 구성된 적어도 하나의 레이저 프로젝터를 포함하는,
디스플레이 디바이스(1).
- 제1항 내지 제8항 중 어느 한 항에 있어서,
상기 조명원(5)은 적어도 하나의 투광 조명 발광 다이오드를 포함하는,
디스플레이 디바이스(1).
- 제1항 내지 제9항 중 어느 한 항에 있어서,
상기 디스플레이(2), 상기 조명원(5) 및 상기 광학 센서(4)는 동기화되는,
디스플레이 디바이스(1).
- 제1항 내지 제10항 중 어느 한 항에 있어서,
상기 디스플레이(2)는 적어도 하나의 유기 발광 다이오드(OLED) 디스플레이이거나 이를 포함하고, 상기 제어 유닛(8)이 상기 조명원(5)의 영역에서 상기 디스플레이를 끈 경우, 상기 OLED 디스플레이는 상기 조명원(5)의 영역에서 비활성화되고, 상기 제어 유닛(8)이 상기 광학 센서(4)의 영역에서 상기 디스플레이(2)를 끈 경우, 상기 OLED 디스플레이는 상기 광학 센서(4)의 영역에서 비활성화되는,
디스플레이 디바이스(1).
- 제1항 내지 제11항 중 어느 한 항에 있어서,
상기 조명원(5)은 상기 적어도 하나의 장면 상에 복수의 조명 특징을 포함하는 적어도 하나의 조명 패턴을 투영하도록 구성되고, 상기 광학 센서는 상기 조명 특징에 의한 조명에 응답하여 상기 장면에 의해 생성된 복수의 반사 특징을 포함하는 적어도 하나의 제1 이미지를 결정하도록 구성되며, 상기 디스플레이 디바이스(1)는 적어도 하나의 평가 디바이스(124)를 더 포함하고, 상기 평가 디바이스(10)는 상기 제1 이미지를 평가하도록 구성되고, 상기 제1 이미지의 평가는 상기 제1 이미지의 상기 반사 특징을 식별하는 것과, 상기 식별된 반사 특징을 휘도에 대하여 정렬하는 것을 포함하고, 상기 반사 특징 각각은 적어도 하나의 빔 프로파일을 포함하고, 상기 평가 디바이스(10)는 상기 반사 특징의 각각에 대해 그들의 빔 프로파일의 분석에 의해 적어도 하나의 세로 좌표 ZDPR을 결정하도록 구성되며, 상기 평가 디바이스(10)는 상기 세로 좌표 ZDPR을 이용함으로써 반사 특징을 대응하는 조명 특징과 명료하게 일치시키도록 구성되고, 상기 일치는 가장 밝은 반사 특징에서 시작하여 상기 반사 특징의 휘도를 감소시키는 것으로 수행되며, 상기 평가 디바이스(10)는 조명 특징과 일치하는 반사 특징을 실제 특징(real feature)으로서 분류하고, 조명 특징과 일치하지 않는 반사 특징을 거짓 특징(false feature)으로서 분류하도록 구성되고, 상기 평가 디바이스(10)는 상기 거짓 특징을 거부하고, 상기 세로 좌표 ZDPR을 이용함으로써 상기 실제 특징에 대한 깊이 맵을 생성하도록 구성되는,
디스플레이 디바이스(1).
- 제12항에 있어서,
상기 평가 디바이스(10)는 삼각 측량 및/또는 DFD(depth-from-defocus) 및/또는 구조화 광 기법을 이용하여 상기 반사 특징 각각에 대해 적어도 하나의 제2 세로 좌표 Ztriang를 결정하도록 구성되는,
디스플레이 디바이스(1).
- 제13항에 있어서,
상기 평가 디바이스(10)는 상기 제2 세로 좌표 Ztriang 및 상기 세로 좌표 ZDPR의 결합된 세로 좌표를 결정하도록 구성되고, 상기 결합된 세로 좌표는 상기 제2 세로 좌표 Ztriang 및 상기 세로 좌표 ZDPR의 평균값이고, 상기 결합된 세로 좌표는 상기 깊이 맵을 생성하는 데 사용되는,
디스플레이 디바이스(1).
- 제12항 내지 제14항 중 어느 한 항에 있어서,
상기 평가 디바이스(10)는 DPR(depth-from-photon-ratio) 기법을 이용함으로써 상기 반사 특징 각각에 대해 상기 빔 프로파일 정보를 결정하도록 구성되는,
디스플레이 디바이스(1).
- 제12항 내지 제15항 중 어느 한 항에 있어서,
상기 평가 디바이스(10)는 상기 반사 특징 중 적어도 하나의 상기 빔 프로파일을 평가함으로써 물체의 적어도 하나의 물질 특성 m을 결정하도록 구성되는,
디스플레이 디바이스(1).
- 제1항 내지 제16항 중 어느 한 항에 있어서,
상기 디스플레이 디바이스(1)는 텔레비전 디바이스, 셀폰, 스마트폰, 게임 콘솔, 태블릿 컴퓨터, 퍼스널 컴퓨터, 랩탑, 태블릿, 가상 현실 디바이스 또는 다른 유형의 휴대용 컴퓨터로 구성되는 그룹 중에서 선택된 모바일 디바이스인,
디스플레이 디바이스(1).
- 제1항 내지 제17항 중 어느 한 항에 따른 적어도 하나의 디스플레이 디바이스(1)가 사용되는, 반투명 디스플레이(2)를 통해 측정하는 방법으로서,
a) 적어도 하나의 조명원(5)에 의해 생성된 적어도 하나의 조명 광 빔을 사용하여 적어도 하나의 장면을 조명하는 단계 - 상기 조명원(5)은 상기 디스플레이(2)의 앞에서 상기 조명 빔의 전파 방향에 위치함 - 와,
b) 적어도 하나의 광학 센서(4)를 사용하여 상기 조명 빔에 의한 조명에 응답하여 상기 장면에 의해 생성된 적어도 하나의 반사 광 빔을 측정하는 단계 - 상기 광학 센서(4)는 적어도 하나의 감광 영역을 갖고, 상기 광학 센서(4)는 상기 디스플레이(2)의 앞에서 상기 조명 빔의 전파 방향에 위치함 - 와,
c) 적어도 하나의 제어 유닛(8)을 사용하여 상기 디스플레이(2)를 제어하는 단계 - 상기 디스플레이(2)는 조명 동안 상기 조명원(5)의 영역에서 및/또는 측정 동안 상기 광학 센서(4)의 영역에서 꺼짐 - 를 포함하는,
방법.
- 디스플레이 디바이스에 관한 제1항 내지 제17항 중 어느 한 항에 따른 디스플레이 디바이스(1)의 용도로서,
사용을 위해, 교통 기술의 위치 측정, 엔터테인먼트 애플리케이션, 보안 애플리케이션, 감시 애플리케이션, 안전 애플리케이션, 인간-기계 인터페이스 애플리케이션, 트래킹 애플리케이션, 촬영 애플리케이션, 이미징 애플리케이션 또는 카메라 애플리케이션, 적어도 하나의 공간의 맵을 생성하기 위한 매핑 애플리케이션, 차량에 대한 호밍(homing) 또는 트래킹 비컨 검출기, 야외 애플리케이션, 모바일 애플리케이션, 통신 애플리케이션, 기계 비전 애플리케이션, 로보틱스 애플리케이션, 품질 제어 애플리케이션, 제조 애플리케이션, 자동차 애플리케이션으로 구성되는 그룹에서 선택되는,
디스플레이 디바이스(1)의 용도.
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP20207420.9 | 2020-11-13 | ||
| EP20207420 | 2020-11-13 | ||
| EP20209973 | 2020-11-26 | ||
| EP20209973.5 | 2020-11-26 | ||
| EP21192560 | 2021-08-23 | ||
| EP21192560.7 | 2021-08-23 | ||
| PCT/EP2021/081560 WO2022101429A1 (en) | 2020-11-13 | 2021-11-12 | Depth measurement through display |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230107574A true KR20230107574A (ko) | 2023-07-17 |
Family
ID=78725479
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237015956A KR20230107574A (ko) | 2020-11-13 | 2021-11-12 | 디스플레이를 통한 깊이 측정 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20230403906A1 (ko) |
| EP (1) | EP4244659A1 (ko) |
| JP (1) | JP2023552974A (ko) |
| KR (1) | KR20230107574A (ko) |
| CN (1) | CN116438467A (ko) |
| WO (1) | WO2022101429A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11860292B2 (en) | 2016-11-17 | 2024-01-02 | Trinamix Gmbh | Detector and methods for authenticating at least one object |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101781533B1 (ko) | 2010-12-23 | 2017-09-27 | 삼성디스플레이 주식회사 | 영상 촬영 장치 및 이의 영상 촬영 방법 |
| KR102283111B1 (ko) | 2013-12-17 | 2021-07-29 | 마수피얼 홀딩스 아이엔시. | 통합 마이크로옵틱 이미저, 프로세서 및 디스플레이 |
| US9870024B2 (en) | 2015-10-30 | 2018-01-16 | Essential Products, Inc. | Camera integrated into a display |
| EP3542183A1 (en) | 2016-11-17 | 2019-09-25 | trinamiX GmbH | Detector for optically detecting at least one object |
| US10664676B2 (en) * | 2017-06-12 | 2020-05-26 | Will Semiconductor (Shanghai) Co. Ltd. | Systems and methods for reducing unwanted reflections in display systems incorporating an under display biometric sensor |
| DE202018003644U1 (de) | 2018-08-07 | 2018-08-17 | Apple Inc. | Elektronische Vorrichtung mit einer von einer selbstausrichtenden Klammeranordnung gehaltenen Sichtsystemanordnung |
| US10916023B2 (en) * | 2018-09-14 | 2021-02-09 | Facebook Technologies, Llc | Depth measurement assembly with a structured light source and a time of flight camera |
| US11067884B2 (en) * | 2018-12-26 | 2021-07-20 | Apple Inc. | Through-display optical transmission, reception, or sensing through micro-optic elements |
| WO2020187719A1 (en) | 2019-03-15 | 2020-09-24 | Trinamix Gmbh | Detector for identifying at least one material property |
-
2021
- 2021-11-12 US US18/251,029 patent/US20230403906A1/en active Pending
- 2021-11-12 WO PCT/EP2021/081560 patent/WO2022101429A1/en active Application Filing
- 2021-11-12 CN CN202180076357.6A patent/CN116438467A/zh active Pending
- 2021-11-12 JP JP2023528715A patent/JP2023552974A/ja active Pending
- 2021-11-12 KR KR1020237015956A patent/KR20230107574A/ko unknown
- 2021-11-12 EP EP21811310.8A patent/EP4244659A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023552974A (ja) | 2023-12-20 |
| US20230403906A1 (en) | 2023-12-14 |
| WO2022101429A1 (en) | 2022-05-19 |
| EP4244659A1 (en) | 2023-09-20 |
| CN116438467A (zh) | 2023-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11989896B2 (en) | Depth measurement through display | |
| CN113574406A (zh) | 用于识别至少一种材料特性的检测器 | |
| US20230078604A1 (en) | Detector for object recognition | |
| Callenberg et al. | Low-cost SPAD sensing for non-line-of-sight tracking, material classification and depth imaging | |
| US20230081742A1 (en) | Gesture recognition | |
| US20230403906A1 (en) | Depth measurement through display | |
| US11920918B2 (en) | One shot calibration | |
| KR20230028303A (ko) | 확산 조명 및 구조화 광을 위한 프로젝터 | |
| US11995857B2 (en) | Shape-from-shading | |
| US11906421B2 (en) | Enhanced material detection by stereo beam profile analysis | |
| WO2023072905A1 (en) | Extended material detection involving a multi wavelength projector | |
| US20240027188A1 (en) | 8bit conversion | |
| KR20240093513A (ko) | 멀티 파장 프로젝터와 관련된 확장된 재료 검출 | |
| WO2023041761A1 (en) | Emitter array with two or more independently driven areas | |
| JP2024512247A (ja) | 顔ロック解除のための光学的皮膚検出 | |
| WO2023078986A1 (en) | Eye safety for projectors | |
| WO2023083784A1 (en) | Recalibration of a 3d detector based on structured light | |
| CN118302648A (en) | Disposable calibration |