KR20240122439A - 이미지 캡처 설정을 결정하기 위한 시스템 및 방법 - Google Patents
이미지 캡처 설정을 결정하기 위한 시스템 및 방법 Download PDFInfo
- Publication number
- KR20240122439A KR20240122439A KR1020247017976A KR20247017976A KR20240122439A KR 20240122439 A KR20240122439 A KR 20240122439A KR 1020247017976 A KR1020247017976 A KR 1020247017976A KR 20247017976 A KR20247017976 A KR 20247017976A KR 20240122439 A KR20240122439 A KR 20240122439A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- capture
- settings
- display
- user
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 140
- 210000001508 eye Anatomy 0.000 claims description 93
- 238000005259 measurement Methods 0.000 claims description 48
- 230000015654 memory Effects 0.000 claims description 42
- 238000005286 illumination Methods 0.000 claims description 30
- 238000013507 mapping Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 description 85
- 238000012545 processing Methods 0.000 description 56
- 230000007613 environmental effect Effects 0.000 description 45
- 230000007246 mechanism Effects 0.000 description 31
- 238000003384 imaging method Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 25
- 238000004422 calculation algorithm Methods 0.000 description 24
- 238000004891 communication Methods 0.000 description 21
- 238000001514 detection method Methods 0.000 description 19
- 230000008054 signal transmission Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 10
- 210000000744 eyelid Anatomy 0.000 description 10
- 239000002131 composite material Substances 0.000 description 8
- 230000005291 magnetic effect Effects 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 230000004424 eye movement Effects 0.000 description 6
- 238000010191 image analysis Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 238000002156 mixing Methods 0.000 description 6
- 210000005069 ears Anatomy 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 210000004709 eyebrow Anatomy 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 238000007637 random forest analysis Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 241000023320 Luma <angiosperm> Species 0.000 description 3
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 3
- 230000002207 retinal effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 208000004350 Strabismus Diseases 0.000 description 2
- 230000004447 accommodation reflex Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000004466 optokinetic reflex Effects 0.000 description 2
- 230000010344 pupil dilation Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000004462 vestibulo-ocular reflex Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 241000579895 Chlorostilbon Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000002350 accommodative effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 229910052876 emerald Inorganic materials 0.000 description 1
- 239000010976 emerald Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000005022 packaging material Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000001711 saccadic effect Effects 0.000 description 1
- 230000004434 saccadic eye movement Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000012043 vestibular reflex Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Studio Devices (AREA)
Abstract
확장 현실(XR) 시스템은 제1 방향을 향하는, 예를 들어 환경을 향하는 제1 이미지 센서를 갖는 제1 카메라로부터 캡처 정보를 수신한다. 캡처 정보는 제1 이미지 센서에 의한 제1 이미지 데이터의 캡처와 연관되며, 예를 들어 제1 이미지 데이터 및/또는 제1 이미지 데이터를 캡처하기 위하여 사용되는 제1 이미지 캡처 설정을 포함한다. XR 시스템은 캡처 정보에 기초하여 제2 이미지 센서에 대한, 노출 설정과 같은 이미지 캡처 설정을 결정한다. 제2 이미지 센서는 제2 방향을 향하며, 예를 들어 XR 시스템의 사용자를 향한다. 일부 예에서, XR 시스템은 제2 방향을 향하는 디스플레이에 대한 디스플레이 버퍼로부터의 정보에도 기초하여 이미지 캡처 설정을 결정한다. XR 시스템은 제2 이미지 센서가 이미지 캡처 설정에 따라 제2 이미지 데이터를 캡처하게 한다.
Description
본 출원은 이미지 캡처에 관한 것이다. 더욱 구체적으로, 본 출원은 디스플레이 버퍼 내의 디스플레이 콘텐츠, 다른 방향을 향하는 제2 이미지 센서에 의해 캡처된 이미지 데이터 및/또는 다른 방향을 향하는 제2 이미지 센서의 이미지 캡처 설정에 기초하여 이미지 센서에 대한 이미지 캡처 설정을 결정하기 위한 시스템 및 방법에 관한 것이다.
확장 현실(XR: extended reality) 디바이스는, 예를 들어, 헤드 마운트 디스플레이(HMD: head-mounted display) 또는 기타 디바이스를 통해, 사용자에게 환경을 디스플레이하는 디바이스이다. 환경은 사용자가 있는 실제 환경과 적어도 부분적으로 다르다. 사용자는 일반적으로 예를 들어 HMD 또는 기타 디바이스를 기울이거나 움직여 환경의 뷰(view)를 인터랙티브하게(interactively) 변경할 수 있다. 가상 현실(VR: virtual reality) 및 증강 현실(AR: augmented reality)은 XR의 예이다.
일부 경우에, XR 시스템은 사용자가 디스플레이를 통과하는 실제 환경으로부터의 광에 기초하여 실제 환경을 볼 수 있도록 하는 "시-스루(see-through)" 디스플레이를 포함할 수 있다. 일부 경우에, XR 시스템은 사용자가 하나 이상의 카메라에 의해 캡처되고 디스플레이에 디스플레이되는 환경의 뷰에 기초하여 실제 환경 또는 실제 환경에 기초한 가상 환경을 볼 수 있도록 하는 "패스-스루(pass-through)" 디스플레이를 포함할 수 있다. "시-스루" 또는 "패스-스루" XR 시스템은 사용자가 실제 환경에서 활동하는 동안 사용자에 의해 착용될 수 있다.
XR 시스템을 사용하는 사용자의 얼굴은 서로 다른 시간에 서로 다른 조명 레벨로 조명될 수 있다. 일부 경우에, 사용자의 얼굴은 사용자와 XR 시스템 주변의 실제 환경으로부터의 광으로 조명될 수 있다. 일부 경우에, 사용자의 얼굴은 XR 시스템의 디스플레이로부터의 광으로 조명될 수 있다.
일부 예에서, 확장 현실(XR) 시스템에 대한 자동 캡처 설정 구성을 위한 시스템 및 기술이 설명된다. XR 시스템은 제1 이미지 센서를 갖는 제1 카메라로부터 캡처 정보를 수신한다. 제1 이미지 센서는 제1 방향을 향하며, 예를 들어 환경을 향한다. 캡처 정보는 제1 이미지 센서에 의한 제1 이미지 데이터의 캡처와 연관되며, 예를 들어 제1 이미지 데이터 및/또는 제1 이미지 데이터를 캡처하기 위하여 사용되는 제1 이미지 캡처 설정을 포함한다. XR 시스템은 캡처 정보에 기초하여 노출 설정과 같은 제2 이미지 센서에 대한 이미지 캡처 설정을 결정한다. 제2 이미지 센서는 제2 방향을 향하며, 예를 들어 XR 시스템의 사용자를 향한다. 일부 예에서, XR 시스템은 또한 제2 방향을 향하는 디스플레이에 대한 디스플레이 버퍼로부터의 정보에 기초하여 이미지 캡처 설정을 결정한다. 일부 예에서, XR 시스템은 또한 제2 이미지 데이터의 캡처 이전에 제2 이미지 센서에 의해 캡처된 이전 이미지 데이터 및/또는 이전 이미지 데이터를 캡처하기 위하여 제2 카메라에 의해 사용되는 이전 이미지 캡처 설정과 같은 제2 카메라로부터의 이전 캡처 정보에 기초하여 이미지 캡처 설정을 결정한다.
하나의 예에서, 이미지 프로세싱을 위한 장치가 제공된다. 장치는 메모리 및 메모리에 커플링된 (예를 들어, 회로부에서 구현되는) 하나 이상의 프로세서를 포함한다. 하나 이미지 프로세서는: 제1 이미지 센서를 갖는 제1 카메라로부터 캡처 정보를 수신하고 - 캡처 정보는 제1 이미지 센서에 의한 제1 이미지 데이터의 캡처와 연관되고, 제1 이미지 센서는 제1 방향을 향함 -; 디스플레이를 사용하여 디스플레이되도록 구성된 디스플레이 데이터를 수신하고; 캡처 정보 및 디스플레이 데이터에 기초하여, 제2 이미지 센서를 포함하는 제2 카메라에 대한 이미지 캡처 설정을 결정하고 - 제2 이미지 센서는 제2 방향을 향함 -; 제2 이미지 센서가 이미지 캡처 설정에 따라 제2 이미지 데이터를 캡처하게 하도록 구성되거나 구성될 수 있다.
다른 예에서, 이미지 프로세싱 방법이 제공된다. 방법은: 제1 이미지 센서를 갖는 제1 카메라로부터 캡처 정보를 수신하는 단계 - 캡처 정보는 제1 이미지 센서에 의한 제1 이미지 데이터의 캡처와 연관되고, 제1 이미지 센서는 제1 방향을 향함 -; 디스플레이를 사용하여 디스플레이되도록 구성된 디스플레이 데이터를 수신하는 단계; 캡처 정보 및 디스플레이 데이터에 기초하여, 제2 이미지 센서를 포함하는 제2 카메라에 대한 이미지 캡처 설정을 결정하는 단계 - 제2 이미지 센서는 제2 방향을 향함 -; 및 제2 이미지 센서가 이미지 캡처 설정에 따라 제2 이미지 데이터를 캡처하게 하는 단계를 포함한다.
다른 예에서, 하나 이상의 프로세서에 의해 실행될 때 하나 이상의 프로세서로 하여금: 제1 이미지 센서를 갖는 제1 카메라로부터 캡처 정보를 수신하고 - 캡처 정보는 제1 이미지 센서에 의한 제1 이미지 데이터의 캡처와 연관되고, 제1 이미지 센서는 제1 방향을 향함 -; 디스플레이를 사용하여 디스플레이되도록 구성된 디스플레이 데이터를 수신하고; 캡처 정보 및 디스플레이 데이터에 기초하여, 제2 이미지 센서를 포함하는 제2 카메라에 대한 이미지 캡처 설정을 결정하고 - 제2 이미지 센서는 제2 방향을 향함 -; 제2 이미지 센서가 이미지 캡처 설정에 따라 제2 이미지 데이터를 캡처하게 하도록 하는 명령어를 저장한 비일시적 컴퓨터 판독 가능 저장 매체가 제공된다.
다른 예에서, 이미지 프로세싱을 위한 장치가 제공된다. 장치는, 제1 이미지 센서를 갖는 제1 카메라로부터 캡처 정보를 수신하는 수단 - 캡처 정보는 제1 이미지 센서에 의한 제1 이미지 데이터의 캡처와 연관되고, 제1 이미지 센서는 제1 방향을 향함 -; 디스플레이를 사용하여 디스플레이되도록 구성된 디스플레이 데이터를 수신하는 수단; 캡처 정보 및 디스플레이 데이터에 기초하여, 제2 이미지 센서를 포함하는 제2 카메라에 대한 이미지 캡처 설정을 결정하는 수단 - 제2 이미지 센서는 제2 방향을 향함 -; 및 제2 이미지 센서가 이미지 캡처 설정에 따라 제2 이미지 데이터를 캡처하는 수단을 포함한다.
일부 양태에서, 이미지 캡처 설정은 노출 설정을 포함한다. 일부 경우에, 제2 이미지 센서가 이미지 캡처 설정에 따라 제2 이미지 데이터를 캡처하게 하기 위해, 전술된 방법, 장치 및 컴퓨터 판독 가능 저장 매체는 노출 설정에 따라 제2 카메라와 연관되는 노출 파라미터를 설정하는 것을 더 포함한다.
일부 양태에서, 이미지 캡처 설정은 캡처 정보와 연관되는 색상 정보에 기초한 화이트 밸런스 설정을 포함한다.
일부 양태에서, 캡처 정보는 제1 이미지 데이터를 포함한다. 일부 양태에서, 전술된 방법, 장치 및 컴퓨터 판독 가능 저장 매체는 제1 이미지 데이터의 적어도 일부의 휘도 측정값을 결정하는 것을 더 포함한다. 일부 경우에, 캡처 정보 및 디스플레이 데이터에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하기 위해, 전술된 방법, 장치 및 컴퓨터 판독 가능 저장 매체는 휘도 측정값에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하는 것을 더 포함한다.
일부 양태에서, 캡처 정보는 제2 이미지 캡처 설정을 포함한다. 일부 양태에서, 제1 이미지 센서는 제2 이미지 캡처 설정에 따라 제1 이미지 데이터를 캡처하도록 구성된다.
일부 양태에서, 제2 이미지 캡처 설정은 노출 설정을 포함한다. 일부 양태에서, 제1 이미지 센서는 노출 설정에 따라 제1 카메라의 노출 파라미터로 제1 이미지 데이터를 캡처하도록 구성된다.
일부 양태에서, 캡처 정보 및 디스플레이 데이터에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하기 위해, 전술된 방법, 장치 및 컴퓨터 판독 가능 저장 매체는 제2 이미지 캡처 설정 및 룩업 테이블에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하는 것을 더 포함한다. 일부 경우에, 룩업 테이블은 제1 카메라와 제2 카메라 사이의 각각의 이미지 캡처 설정을 매핑한다. 일부 양태에서, 이미지 캡처 설정은 룩업 테이블에서의 제2 이미지 캡처 설정에 대응한다.
일부 양태에서, 디스플레이 데이터를 수신하기 위해, 전술된 방법, 장치 및 컴퓨터 판독 가능 저장 매체는 디스플레이 데이터가 디스플레이를 사용하여 디스플레이되기 전에 디스플레이 데이터를 저장하는 디스플레이 버퍼로부터 디스플레이 데이터를 수신하는 것을 더 포함한다.
일부 양태에서, 전술된 방법, 장치 및 컴퓨터 판독 가능 저장 매체는 디스플레이 데이터의 적어도 일부의 휘도 측정값을 결정하는 것을 더 포함한다. 일부 경우에, 캡처 정보 및 디스플레이 데이터에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하기 위해, 전술된 방법, 장치 및 컴퓨터 판독 가능 저장 매체는 휘도 측정값에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하는 것을 더 포함한다.
일부 양태에서, 장치는 디스플레이 데이터를 디스플레이하도록 구성된 디스플레이를 포함한다.
일부 경우에, 디스플레이는 디스플레이 데이터에 대응하는 광을 제2 방향으로 향하게 하도록 구성된다.
일부 양태에서, 디스플레이 데이터는 제1 이미지 센서에 의해 캡처된 이미지 콘텐츠를 포함한다.
일부 양태에서, 전술된 방법, 장치 및 컴퓨터 판독 가능 저장 매체는 제1 이미지 센서에 의해 캡처된 콘텐츠와 구별되는 가상 콘텐츠를 생성하는 것을 더 포함한다. 일부 경우에, 디스플레이 데이터는 가상 콘텐츠를 포함한다.
일부 양태에서, 디스플레이는 제1 방향으로부터 제2 방향으로 진행하는 광에 대해 적어도 부분적으로 투과성이다.
일부 양태에서, 전술된 방법, 장치 및 컴퓨터 판독 가능 저장 매체는 제2 카메라로부터 제2 이미지 캡처 정보를 수신하는 것을 더 포함한다. 일부 경우에, 제2 이미지 캡처 정보는 제2 이미지 센서에 의한 제2 이미지 데이터의 캡처 전의 제2 이미지 센서에 의한 제3 이미지 데이터의 캡처와 연관된다. 일부 양태에서, 캡처 정보 및 디스플레이 데이터에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하기 위해, 전술된 방법, 장치 및 컴퓨터 판독 가능 저장 매체는 캡처 정보, 제2 이미지 캡처 정보 및 디스플레이 데이터에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하는 것을 더 포함한다.
일부 양태에서, 제2 캡처 정보는 제3 이미지 데이터를 포함한다.
일부 양태에서, 전술된 방법, 장치 및 컴퓨터 판독 가능 저장 매체는 제3 이미지 데이터의 적어도 일부의 휘도 측정값을 결정하는 것을 더 포함한다. 일부 경우에, 캡처 정보, 제2 이미지 캡처 정보 및 디스플레이 데이터에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하기 위해, 전술된 방법, 장치 및 컴퓨터 판독 가능 저장 매체는 휘도 측정값에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하는 것을 더 포함한다.
일부 양태에서, 제2 이미지 캡처 정보는 제2 이미지 캡처 설정을 포함한다. 일부 경우에, 제2 이미지 센서는 제2 이미지 캡처 설정에 따라 제3 이미지 데이터를 캡처한다.
일부 양태에서, 전술된 방법, 장치 및 컴퓨터 판독 가능 저장 매체는 캡처 정보 및 디스플레이 데이터에 기초하여 사용자의 일부의 조명 레벨을 결정하는 것을 더 포함한다. 일부 경우에, 캡처 정보에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하기 위해, 전술된 방법, 장치 및 컴퓨터 판독 가능 저장 매체는 사용자의 일부의 조명 레벨에 기초하여 제2 이미지 센서에 대한 이미지 캡처 설정을 결정하는 것을 더 포함한다.
일부 양태에서, 사용자의 일부의 조명 레벨을 결정하기 위해, 전술된 방법, 장치 및 컴퓨터 판독 가능 저장 매체는 제2 이미지 센서에 의한 제2 이미지 데이터의 캡처 전의 제2 이미지 센서에 의한 제3 이미지 데이터의 캡처와 연관된 제2 이미지 캡처 정보 및 캡처 정보에 기초하여 사용자의 일부의 조명 레벨을 결정하는 것을 더 포함한다.
일부 양태에서, 전술된 방법, 장치 및 컴퓨터 판독 가능 저장 매체는: 제2 이미지 센서에 의해 캡처된 제2 이미지 데이터를 수신하는 것; 및 제2 이미지 데이터를 출력하는 것을 더 포함한다.
일부 양태에서, 전술된 방법, 장치 및 컴퓨터 판독 가능 저장 매체는: 제2 이미지 센서에 의해 캡처된 제2 이미지 데이터를 수신하는 것; 및 제2 이미지 데이터에 기초하여 사용자의 눈의 위치를 결정하는 것을 더 포함한다.
일부 양태에서, 제1 방향은 환경을 향하고, 제2 방향은 사용자의 적어도 일부를 향한다.
일부 양태에서, 제1 방향은 제2 방향과 평행하고 반대이다.
일부 양태에서, 제1 이미지 데이터는 환경의 적어도 일부의 묘사를 포함하고, 제2 이미지 데이터는 사용자의 적어도 일부의 묘사를 포함한다.
일부 양태에서, 제2 이미지 데이터는 사용자의 하나 이상의 눈의 묘사를 포함한다.
일부 양태에서, 장치는 제1 이미지 센서 및 제2 이미지 센서를 포함한다.
일부 양태에서, 장치는 웨어러블 디바이스, 확장 현실 디바이스(예를 들어, 가상 현실(VR) 디바이스, 증강 현실(AR) 디바이스 또는 혼합 현실(MR) 디바이스), 헤드 마운트 디스플레이(HMD) 디바이스, 무선 통신 디바이스, 모바일 디바이스(예를 들어, 휴대폰 및/또는 모바일 핸드셋 및/또는 이른바 "스마트폰" 또는 다른 모바일 디바이스), 카메라, 개인용 컴퓨터, 랩톱 컴퓨터, 서버 컴퓨터, 차량 또는 차량의 컴퓨팅 디바이스 또는 컴포넌트, 다른 디바이스 또는 이들의 조합이고 그리고/또는 이의 부분이고 그리고/또는 이를 포함한다. 일부 양태에서, 장치는 하나 이상의 이미지를 캡처하기 위한 카메라 또는 다수의 카메라를 포함한다. 일부 양태에서, 장치는 하나 이상의 이미지, 통지 및/또는 다른 디스플레이 가능한 데이터를 디스플레이하기 위한 디스플레이를 더 포함한다. 일부 양태에서, 위에서 설명된 장치는 하나 이상의 센서(예를 들어, 하나 이상의 자이로미터, 하나 이상의 가속도계, 이들의 임의의 조합 및/또는 다른 센서와 같은 하나 이상의 IMU(inertial measurement unit))를 포함할 수 있다.
이 발명의 내용은 청구 대상의 핵심적이거나 본질적인 특징을 확인하거나, 청구 대상의 범위를 결정하기 위해 별개로 사용되는 것으로 의도되지 않는다. 청구 대상은 본 특허의 전체 명세서의 적절한 부분, 임의의 또는 모든 도면 및 각각의 청구항에 대한 참조에 의해 이해되어야 한다.
전술한 내용은 다른 특징 및 실시형태와 함께, 다음의 명세서, 청구항 및 첨부 도면을 참조할 때 더욱 명백해질 것이다.
본 출원의 예시적인 실시형태는 다음의 도면을 참조하여 아래에 상세히 설명된다:
도 1은, 일부 실시예에 따른, 이미지 캡처 및 프로세싱 시스템의 예시적인 아키텍처를 예시하는 블록도이고;
도 2a는, 일부 실시예에 따른, 디스플레이 버퍼와 연관된 정보, 환경 지향 센서(environment-facing sensor)(들)와 연관된 정보 및/또는 사용자 지향 센서(user-facing sensor)(들)와 연관된 정보에 기초하여 사용자 지향 센서(들)에 대한 이미지 캡처 설정을 생성하는 확장 현실(XR) 시스템의 예시적인 아키텍처를 예시하는 블록도이고;
도 2b는, 일부 실시예에 따른, 사용자 지향 센서(들)와 연관된 정보에 기초하여 사용자 지향 센서(들)에 대한 이미지 캡처 설정을 생성하는 확장 현실(XR) 시스템의 예시적인 아키텍처를 예시하는 블록도이고;
도 3a는, 일부 실시예에 따른, 사용자 지향 센서(들)와 연관된 정보에 기초하여 사용자 지향 센서(들)에 대한 조합된 이미지 캡처 설정(들)을 생성하는 예시적인 확장 현실(XR) 프로세스를 예시하는 블록도이고;
도 3b는, 일부 실시예에 따른, 디스플레이 버퍼와 연관된 정보, 환경 지향 센서(들)와 연관된 정보 및/또는 사용자 지향 센서(들)와 연관된 정보에 기초하여 사용자 지향 센서(들)에 대한 이미지 캡처 설정을 생성하는 확장 현실(XR) 프로세스의 예시적인 아키텍처를 예시하는 블록도이고;
도 4는, 일부 실시예에 따른, 환경 지향 센서(들)와 연관된 정보 및 사용자 지향 센서(들)와 연관된 대응하는 정보의 예를 예시하는 표이고;
도 5는, 일부 실시예에 따른, 디스플레이 버퍼와 연관된 정보에 기초하여 사용자 지향 센서(들)에 대한 이미지 캡처 설정을 생성하는 예시적인 확장 현실(XR) 프로세스를 예시하는 블록도이고;
도 6은, 일부 실시예에 따른, 디스플레이 버퍼에 기초하여 결정된 이미지 캡처 설정과 하나 이상의 환경 지향 센서에 기초하여 결정된 이미지 캡처 설정을 혼합함으로써 사용자 지향 센서(들)에 대한 이미지 캡처 설정을 생성하는 예시적인 확장 현실(XR) 프로세스를 예시하는 블록도이고;
도 7a는, 일부 실시예에 따른, 확장 현실(XR) 시스템으로서 사용되는 헤드 마운트 디스플레이(HMD)를 예시하는 사시도이고;
도 7b는, 일부 실시예에 따른, 사용자에 의해 착용된 도 3a의 헤드 마운트 디스플레이(HMD)를 예시하는 사시도이고;
도 8a는, 일부 실시예에 따른, 전면 카메라(front-facing camera)를 포함하고 확장 현실(XR) 시스템으로서 사용될 수 있는 모바일 핸드셋의 전방 표면을 예시하는 사시도이고;
도 8b는, 일부 실시예에 따른, 후면 카메라(rear-facing camera)를 포함하고 확장 현실(XR) 시스템으로서 사용될 수 있는 모바일 핸드셋의 후방 표면을 예시하는 사시도이고;
도 9는, 일부 실시예에 따른, 자동 캡처 설정 구성을 위한 프로세스를 예시하는 흐름도이고;
도 10은 본원에 설명된 특정 양태를 구현하기 위한 컴퓨팅 시스템의 일례를 예시하는 도면이다.
도 1은, 일부 실시예에 따른, 이미지 캡처 및 프로세싱 시스템의 예시적인 아키텍처를 예시하는 블록도이고;
도 2a는, 일부 실시예에 따른, 디스플레이 버퍼와 연관된 정보, 환경 지향 센서(environment-facing sensor)(들)와 연관된 정보 및/또는 사용자 지향 센서(user-facing sensor)(들)와 연관된 정보에 기초하여 사용자 지향 센서(들)에 대한 이미지 캡처 설정을 생성하는 확장 현실(XR) 시스템의 예시적인 아키텍처를 예시하는 블록도이고;
도 2b는, 일부 실시예에 따른, 사용자 지향 센서(들)와 연관된 정보에 기초하여 사용자 지향 센서(들)에 대한 이미지 캡처 설정을 생성하는 확장 현실(XR) 시스템의 예시적인 아키텍처를 예시하는 블록도이고;
도 3a는, 일부 실시예에 따른, 사용자 지향 센서(들)와 연관된 정보에 기초하여 사용자 지향 센서(들)에 대한 조합된 이미지 캡처 설정(들)을 생성하는 예시적인 확장 현실(XR) 프로세스를 예시하는 블록도이고;
도 3b는, 일부 실시예에 따른, 디스플레이 버퍼와 연관된 정보, 환경 지향 센서(들)와 연관된 정보 및/또는 사용자 지향 센서(들)와 연관된 정보에 기초하여 사용자 지향 센서(들)에 대한 이미지 캡처 설정을 생성하는 확장 현실(XR) 프로세스의 예시적인 아키텍처를 예시하는 블록도이고;
도 4는, 일부 실시예에 따른, 환경 지향 센서(들)와 연관된 정보 및 사용자 지향 센서(들)와 연관된 대응하는 정보의 예를 예시하는 표이고;
도 5는, 일부 실시예에 따른, 디스플레이 버퍼와 연관된 정보에 기초하여 사용자 지향 센서(들)에 대한 이미지 캡처 설정을 생성하는 예시적인 확장 현실(XR) 프로세스를 예시하는 블록도이고;
도 6은, 일부 실시예에 따른, 디스플레이 버퍼에 기초하여 결정된 이미지 캡처 설정과 하나 이상의 환경 지향 센서에 기초하여 결정된 이미지 캡처 설정을 혼합함으로써 사용자 지향 센서(들)에 대한 이미지 캡처 설정을 생성하는 예시적인 확장 현실(XR) 프로세스를 예시하는 블록도이고;
도 7a는, 일부 실시예에 따른, 확장 현실(XR) 시스템으로서 사용되는 헤드 마운트 디스플레이(HMD)를 예시하는 사시도이고;
도 7b는, 일부 실시예에 따른, 사용자에 의해 착용된 도 3a의 헤드 마운트 디스플레이(HMD)를 예시하는 사시도이고;
도 8a는, 일부 실시예에 따른, 전면 카메라(front-facing camera)를 포함하고 확장 현실(XR) 시스템으로서 사용될 수 있는 모바일 핸드셋의 전방 표면을 예시하는 사시도이고;
도 8b는, 일부 실시예에 따른, 후면 카메라(rear-facing camera)를 포함하고 확장 현실(XR) 시스템으로서 사용될 수 있는 모바일 핸드셋의 후방 표면을 예시하는 사시도이고;
도 9는, 일부 실시예에 따른, 자동 캡처 설정 구성을 위한 프로세스를 예시하는 흐름도이고;
도 10은 본원에 설명된 특정 양태를 구현하기 위한 컴퓨팅 시스템의 일례를 예시하는 도면이다.
본 개시내용의 특정 양태 및 실시형태가 아래에서 제공된다. 이러한 양태 및 실시형태 중 일부는 독립적으로 적용될 수 있고, 이들 중 일부는 당해 기술분야에서 통상의 지식을 가진 자에게 명백한 바와 같이, 조합하여 적용될 수 있다. 다음의 설명에서는, 설명의 목적으로, 본 출원의 실시형태의 완전한 이해를 제공하기 위해 특정 세부사항이 제시된다. 그러나, 다양한 실시형태는 이러한 특정 세부사항 없이 실시될 수 있다는 것이 명백할 것이다. 도면 및 설명은 제한적인 것으로 의도되지 않는다.
다음의 설명은 예시적인 실시형태만을 제공하며, 본 개시내용의 범위, 적용 가능성 또는 구성을 제한하도록 의도되지 않는다. 오히려, 예시적인 실시형태에 대한 다음의 설명은 예시적인 실시형태를 구현하기 위한 가능한 설명을 통상의 기술자에게 제공할 것이다. 첨부된 청구항에 제시된 바와 같은 본 출원의 사상 및 범주를 벗어나지 않으면서 요소의 기능 및 배열에 다양한 변경이 이루어질 수 있다는 것이 이해되어야 한다.
카메라는 이미지 센서를 사용하여, 광을 수광하고 정지 이미지 또는 비디오 프레임과 같은 이미지 프레임을 캡처하는 디바이스이다. "이미지", "이미지 프레임" 및 "프레임"이라는 용어는 본원에서 상호 교환 가능하게 사용된다. 카메라는 다양한 이미지 캡처 및 이미지 프로세싱 설정으로 구성될 수 있다. 상이한 설정은 상이한 외양(appearance)을 갖는 이미지를 제공한다. ISO, 노출 시간, 조리개(aperture) 크기, f/스톱, 셔터 속도, 초점 및 이득과 같은 일부 카메라 설정은 하나 이상의 이미지 프레임의 캡처 전 또는 캡처 동안 결정되고 적용된다. 예를 들어, 설정 또는 파라미터는 하나 이상의 이미지 프레임을 캡처하기 위해 이미지 센서에 적용될 수 있다. 다른 카메라 설정은 콘트라스트, 밝기, 채도(saturation), 선명도, 레벨, 커브 또는 색상에 대한 변경과 같은 하나 이상의 이미지 프레임의 포스트 프로세싱을 구성할 수 있다. 예를 들어, 설정 또는 파라미터는 이미지 센서에 의해 캡처된 하나 이상의 이미지 프레임을 프로세싱하기 위한 프로세서(예를 들어, 이미지 신호 프로세서(ISP: image signal processor))에 적용될 수 있다.
확장 현실(XR) 시스템 또는 디바이스는 사용자에게 가상 콘텐츠를 제공할 수 있고 그리고/또는 실세 또는 물리적 환경과 가상 환경(가상 콘텐츠로 구성됨)을 조합하여 사용자에게 XR 경험을 제공할 수 있다. 실제 환경은 사람, 차량, 건물, 테이블, 의자 및/또는 다른 실제 또는 물리적 객체와 같은 실제 객체(물리적 객체라고도 함)를 포함할 수 있다. XR 시스템 또는 디바이스는 상이한 유형의 XR 환경과의 상호 작용을 용이하게 할 수 있다(예를 들어, 사용자는 XR 시스템 또는 디바이스를 사용하여 XR 환경과 상호 작용할 수 있다). XR 시스템은 가상 현실(VR) 환경과의 상호 작용을 용이하게 하는 VR 시스템, 증강 현실(AR) 환경과의 상호 작용을 용이하게 하는 AR 시스템, 혼합 현실(MR) 환경과의 상호 작용을 용이하게 하는 MR 시스템 및/또는 다른 XR 시스템을 포함할 수 있다. XR 시스템 또는 디바이스의 예는, 다른 것들 중에서도, 헤드 마운트 디스플레이(HMD), 스마트 글라스를 포함한다. 일부 경우에, XR 시스템은 사용자의 일부(예를 들어, 사용자의 손 및/또는 손끝)를 추적하여 사용자로 하여금 가상 콘텐츠의 아이템과 상호 작용할 수 있게 할 수 있다.
일부 경우에, XR 시스템은 광학 "시-스루(see-through)" 또는 "패스-스루(pass-through)" 디스플레이(예를 들어, 시-스루 또는 패스-스루 AR HMD 또는 AR 글라스)를 포함할 수 있어, XR 시스템이 비디오 콘텐츠를 디스플레이하지 않으면서 실제 뷰 상에 직접 XR 콘텐츠(예를 들어, AR 콘텐츠)를 디스플레이하게 할 수 있다. 예를 들어, 사용자는 디스플레이(예를 들어, 글라스 또는 렌즈)를 통해 물리적 객체를 볼 수 있고, AR 시스템은 디스플레이 상에 AR 콘텐츠를 디스플레이하여 하나 이상의 실제 객체에 대한 향상된 시각적 인식을 사용자에게 제공할 수 있다. 일 예에서, 광학 시-스루 AR 시스템의 디스플레이는 각각의 눈의 전방에 있는 렌즈 또는 글라스(또는 양쪽 눈들 위의 단일 렌즈 또는 글라스)를 포함할 수 있다. 시-스루 디스플레이는 사용자가 실제 또는 물리적 객체를 직접 보는 것을 가능하게 할 수 있으며, 현실 세계의 사용자의 시각적 인식을 증강하기 위해 그 객체 또는 추가적인 AR 콘텐츠의 향상된 이미지를 디스플레이(예를 들어, 투영 또는 그렇지 않으면 디스플레이)할 수 있다.
XR 시스템을 사용하는 사용자의 얼굴은 서로 다른 시간에 서로 다른 조명 레벨로 조명될 수 있다. 일부 경우에, 사용자의 얼굴은 사용자와 XR 시스템 주변의 실제 환경으로부터의 광으로 조명될 수 있다. 일부 경우에, 사용자의 얼굴은 XR 시스템의 디스플레이로부터의 광으로 조명될 수 있다.
XR 시스템은 사용자를 향하는 사용자 지향 이미지 센서와 같이 사용자를 향하는 하나 이상의 사용자 지향 센서를 포함할 수 있다. 예를 들어, 사용자 지향 센서는 사용자의 얼굴, 눈, 사용자 신체의 하나 이상의 다른 부분 또는 이들의 조합을 향할 수 있다. 사용자 얼굴의 조명에 따라, 다양한 이미지 캡처 설정이 사용자 지향 센서가 사용하는 데 적합할 수 있다. 예를 들어, 사용자의 얼굴이 주변 환경 및/또는 XR 시스템의 디스플레이에 의해 밝게 조명되면, 얼굴 지향 센서에 대해 낮은 노출 설정(예를 들어, 짧은 노출 시간, 작은 조리개 크기 및/또는 낮은 ISO) 및/또는 낮은 이득 설정(예를 들어, 낮은 아날로그 이득 및/또는 낮은 디지털 이득)을 갖는 이미지 캡처 설정을 사용하는 것이 유용할 수 있다. 반면에, 사용자의 얼굴이 주변 환경 및/또는 XR 시스템의 디스플레이에 의해 어둑하게 조명되면, 얼굴 지향 센서에 대해 높은 노출 설정(예를 들어, 긴 노출 시간, 큰 조리개 크기 및/또는 높은 ISO) 및/또는 높은 이득 설정(예를 들어, 높은 아날로그 이득 및/또는 높은 디지털 이득)을 갖는 이미지 캡처 설정을 사용하는 것이 유용할 수 있다.
XR 시스템은 사용자 지향 센서로부터의 이전 캡처 정보에 기초하여 사용자 지향 센서에 대한 이미지 캡처 설정을 결정할 수 있다. 이전 캡처 정보는, 예를 들어, 사용자 지향 센서에 의해 캡처된 이전 센서 데이터(예를 들어, 이전 이미지), 이전 센서 데이터를 캡처하기 위해 사용자 지향 센서에 의해 사용되는 이전 이미지 캡처 설정 또는 이들의 조합을 포함할 수 있다. 그러나, 사용자 지향 센서에 대한 이미지 캡처 설정을 결정하기 위한 이전 캡처 정보에 대한 의존은 조명 조건에서의 변화를 수용하기 위해 이미지 캡처 설정을 변경하는 데 지연을 유발할 수 있다. 예를 들어, 사용자의 얼굴을 조명하는 조명 조건이 빠르게 변하는 경우, XR 시스템이 이전 캡처 정보에 의존한다면, 이러한 XR 시스템이 변경된 조명 조건에 적합한 사용자 지향 센서에 대한 새로운 이미지 캡처 설정을 결정하고 설정하는 데 적어도 3개 프레임이 소요될 수 있다.
확장 현실(XR) 시스템에 대한 자동 이미지 캡처 설정 구성을 위한 시스템 및 기술이 본원에 설명된다. XR 시스템은 제1 이미지 센서를 갖는 제1 카메라로부터 캡처 정보를 수신한다. 제1 이미지 센서는 제1 방향을 향하며, 예를 들어 환경을 향한다. 캡처 정보는 제1 이미지 센서에 의한 제1 이미지 데이터의 캡처와 연관된다. 일부 예에서, 캡처 정보는 제1 이미지 데이터 및/또는 제1 이미지 센서가 제1 이미지 데이터를 캡처할 때 따르는 제1 이미지 캡처 설정을 포함한다. XR 시스템은 캡처 정보에 기초하여 노출 설정과 같은 제2 이미지 센서에 대한 이미지 캡처 설정을 결정한다. 제2 이미지 센서는 제2 방향을 향하며, 예를 들어 XR 시스템의 사용자를 향한다. 일부 예에서, XR 시스템은 또한 XR 시스템의 디스플레이를 위한 디스플레이 버퍼로부터의 정보에 기초하여 이미지 캡처 설정을 결정한다. 일부 예에서, 디스플레이는 제2 방향을 향한다(예를 들어, 사용자를 향한다). 일부 예에서, XR 시스템은 또한 제2 카메라로부터의 이전 캡처 정보에 기초하여 이미지 캡처 설정을 결정한다. 이전 캡처 정보는, 예를 들어, 사용자 지향 센서에 의해 캡처된 이전 센서 데이터(예를 들어, 이전 이미지), 이전 센서 데이터를 캡처하기 위해 사용자 지향 센서에 의해 사용되는 이전 이미지 캡처 설정 또는 이들의 조합을 포함할 수 있다. XR 시스템은 제2 이미지 센서로부터 제2 이미지 데이터를 수신할 수 있다.
일부 예에서, XR 시스템은 시선 추적(eye tracking)을 위해 제2 이미지 데이터를 사용한다. 일부 예에서, XR 시스템은 사용자의 눈(들)의 눈 위치(들)를 결정하고, 사용자의 눈(들)의 눈 위치(들)를 추적하고, 사용자의 눈(들)의 눈 움직임(들)을 추적하고, 사용자의 눈(들)의 동공 확장(들)을 추적하고, 사용자의 눈(들)의 단속성 운동(saccade)(들)을 추적하고, 사용자의 눈(들)에 의한 주시(fixation)를 추적하고, 사용자의 눈꺼풀(들)에 의한 깜박임을 추적하고, 사용자의 눈꺼풀(들)에 의한 곁눈질(squinting)을 추적하고, 사용자의 눈(들)에 의한 시운동 반사(optokinetic reflex)(들)를 추적하고, 사용자의 눈(들)에 의한 전정안 반사(vestibulo-ocular reflex)(들)를 추적하고, 사용자의 눈(들)에 의한 조절 반사(accommodation reflex) 추적하고, 사용자의 얼굴 표정 추적하고, 사용자에 의한 제스처를 추적하고 또는 이들의 조합을 수행하기 위하여 제2 이미지 데이터를 사용한다. 위에 나열된 동작에서, 추적은 타이밍, 빈도, 범위, 진폭, 눈 위치, 눈 움직임 또는 이들의 조합의 추적을 의미할 수 있다. 일부 예에서, XR 시스템은 예를 들어 제2 이미지 데이터를 디스플레이하고 그리고/또는 제2 이미지 데이터를 수신 장치에 전송함으로써 제2 이미지 데이터를 출력한다.
일부 예에서, 본원에 설명된 XR 시스템 및 기법은 제1 센서(예를 들어, 환경을 향함)로부터의 캡처 정보에 기초하여, 디스플레이 버퍼로부터의 디스플레이 버퍼 데이터에 기초하여 그리고/또는 제2 센서(예를 들어, 사용자를 향함)에 대한 이전 캡처 정보에 기초하여, 제2 센서에 대한 이미지 캡처 설정을 결정한다. 일부 예에서, 본원에 설명된 XR 시스템 및 기법은 제2 센서(예를 들어, 사용자를 향함)에 대한 이전 캡처 정보에만 기초하여 제2 센서에 대한 이미지 캡처 설정을 결정하는 XR 시스템에 비해 수많은 기술적 장점과 이점을 제공한다. 일부 예에서, 본원에 설명된 XR 시스템 및 기법은, 예를 들어 이미지 캡처 설정 결정을 위한 제2 센서에 대한 이전 캡처 정보의 분석이 이전 캡처 정보를 프로세싱하는 것 및/또는 XR 시스템의 컴포넌트들 사이에 이전 캡처 정보를 전송하는 것에 의해 유발되는 지연으로 방해받을 수 있기 때문에, XR 시스템이 제2 센서에 대한 이미지 캡처 설정을 결정할 수 있는 속도에 대한 개선을 제공한다. 이미지 캡처 설정의 결정을 위한 기초로서 디스플레이 버퍼로부터의 디스플레이 버퍼 데이터의 사용은 이미지 캡처 설정의 결정을 가속화할 수 있고, 디스플레이에 의한 디스플레이 버퍼 데이터의 디스플레이와 동시에 또는 디스플레이에 의한 디스플레이 버퍼 데이터의 디스플레이 이후 짧은 지연(예를 들어, 이전 캡처 정보에 대한 지연 미만) 내에 이미지 캡처 설정이 결정 및/또는 사용되도록 할 수 있다. 이미지 캡처 설정의 결정을 위한 기초로서 제1 센서(예를 들어, 환경을 향함)로부터의 캡처 정보의 사용은 이미지 캡처 설정의 결정을 가속화할 수 있고, 이미지 캡처 또는 프로세싱이 필요하지 않기 때문에 속도가 빠를 수 있는 제1 센서에 사용되는 이미지 캡처 설정에 기초하여 이미지 캡처 설정이 결정 및/또는 사용되도록 할 수 있다. 이미지 캡처 설정의 결정을 위한 기초로서 제1 센서(예를 들어, 환경을 향함)로부터의 캡처 정보의 사용은 이미지 캡처 설정의 결정을 가속화할 수 있고, 사용자 얼굴의 조명 레벨이 변경되기 전에 환경에서의 광의 레벨에 대한 변화를 검출하는 것에 기초하여 이미지 캡처 설정이 결정 및/또는 사용되도록 할 수 있다. 예를 들어, 사용자가 이전에 사용자가 있었던 영역과 다른 조명을 사용하여 환경의 영역에 접근하는 경우, 이러한 조명에서의 차이는 사용자 조명에서의 대응하는 차이가 제2 센서(예를 들어, 사용자를 향함)에 의해 캡처되는 제2 이미지 데이터를 사용하여 검출 가능하기 이전에 제1 센서(예를 들어, 환경을 향함)에 의해 캡처된 제1 이미지 데이터를 사용하여 검출 가능할 수 있다. 이는 환경에서의 조명 조건 변화에 응답하여 그리고/또는 디스플레이에 의해 방출되는 광 패턴에서의 변화로 인하여 제2 센서의 이미지 캡처 설정(들)을 조정하는 데 있어 지연 및 대기 시간을 줄인다(예를 들어, 2 프레임만큼). 이는 본원에 설명된 XR 시스템을 환경에서의 조명 조건 변화에 응답하여 그리고/또는 디스플레이에 의해 방출되는 광 패턴에서의 변화로 인하여 제2 센서의 이미지 캡처 설정(들)을 조정하는 데 있어 더욱 효율적이고 적응적이며 응답성 있게 만든다. 이는 제2 이미지 센서가 부적절한 이미지 캡처 설정(들)으로 이미지 데이터를 캡처하여 예를 들어 노출 과다 또는 노출 부족인 이미지를 초래할 수 있는 경우를 줄이거나 제거할 수 있다. 이는 결과적으로 눈 위치, 눈 움직임, 얼굴 표정, 제스처 등을 추적하는 XR 시스템 능력의 품질, 일관성 및 정확성을 향상시킬 수 있다. 일부 예에서, 본원에 설명된 XR 시스템은 또한 사용자 지향 센서(들)에 대한 이미지 캡처 설정을 독립적으로 제어하며, 이에 따라 프로세서 부하를 줄일 수 있다.
본 출원의 다양한 양태가 도면과 관련하여 설명될 것이다. 도 1은 이미지 캡처 및 프로세싱 시스템(100)의 아키텍처를 예시하는 블록도이다. 이미지 캡처 및 프로세싱 시스템(100)은 장면의 이미지(예를 들어, 장면(110)의 이미지)를 캡처 및 프로세싱하는 데 사용되는 다양한 컴포넌트를 포함한다. 이미지 캡처 및 프로세싱 시스템(100)은 독립형 이미지(또는 사진)를 캡처할 수 있고 그리고/또는 특정 시퀀스로 다수의 이미지(또는 비디오 프레임)를 포함하는 비디오를 캡처할 수 있다. 시스템(100)의 렌즈(115)는 장면(110)을 향하고 장면(110)으로부터 광을 수광한다. 렌즈(115)는 이미지 센서(130)를 향해 광을 만곡시킨다. 렌즈(115)에 의해 수광된 광은 하나 이상의 제어 메커니즘(120)에 의해 제어되는 조리개를 통과하고 이미지 센서(130)에 의해 수광된다.
하나 이상의 제어 메커니즘(120)은 이미지 센서(130)로부터의 정보에 기초하여 그리고/또는 이미지 프로세서(150)로부터의 정보에 기초하여 노출, 초점 및/또는 줌을 제어할 수 있다. 하나 이상의 제어 메커니즘(120)은 다수의 메커니즘 및 컴포넌트를 포함할 수 있는데; 예를 들어, 제어 메커니즘(120)은 하나 이상의 노출 제어 메커니즘(125A), 하나 이상의 초점 제어 메커니즘(125B) 및/또는 하나 이상의 줌 제어 메커니즘(125C)을 포함할 수 있다. 하나 이상의 제어 메커니즘(120)은 또한 아날로그 이득, 플래시, HDR, 피사계 깊이 및/또는 다른 이미지 캡처 특성을 제어하는 제어 메커니즘과 같이 예시된 것 외에 추가적인 제어 메커니즘을 포함할 수 있다.
제어 메커니즘(120)의 초점 제어 메커니즘(125B)은 초점 설정을 획득할 수 있다. 일부 예에서, 초점 제어 메커니즘(125B)은 메모리 레지스터에 초점 설정을 저장한다. 초점 설정에 기초하여, 초점 제어 메커니즘(125B)은 이미지 센서(130)의 위치에 상대적으로 렌즈(115)의 위치를 조정할 수 있다. 예를 들어, 초점 설정에 기초하여, 초점 제어 메커니즘(125B)은 모터 또는 서보를 작동시켜 렌즈(115)를 이미지 센서(130)에 더 가깝게 또는 이미지 센서(130)로부터 더 멀리 움직여, 초점을 조절할 수 있다. 일부 경우에, 광이 포토다이오드에 도달하기 전에 대응하는 포토다이오드를 향해 렌즈(115)로부터 수광된 광을 각각 만곡시키는, 이미지 센서(130)의 각각의 포토다이오드 위의 하나 이상의 마이크로렌즈와 같은 추가적인 렌즈가 시스템(100)에 포함될 수 있다. 초점 설정은 콘트라스트 검출 자동 초점(CDAF: contrast detection autofocus), 위상 검출 자동 초점(PDAF: phase detection autofocus) 또는 이들의 일부 조합을 통해 결정될 수 있다. 초점 설정은 제어 메커니즘(120), 이미지 센서(130) 및/또는 이미지 프로세서(150)를 사용하여 결정될 수 있다. 초점 설정은 이미지 캡처 설정 및/또는 이미지 프로세싱 설정으로 지칭될 수 있다.
제어 메커니즘(120)의 노출 제어 메커니즘(125A)은 노출 설정을 획득할 수 있다. 일부 경우에, 노출 제어 메커니즘(125A)은 메모리 레지스터에 노출 설정을 저장한다. 이러한 노출 설정에 기초하여, 노출 제어 메커니즘(125A)은 조리개의 크기(예를 들어, 조리개 크기 또는 f/스톱), 조리개가 열려 있는 지속 시간(예를 들어, 노출 시간 또는 셔터 속도), 이미지 센서(130)의 감도(예를 들어, ISO 속도 또는 필름 속도), 이미지 센서(130)에 의해 적용된 아날로그 이득 또는 이들의 임의의 조합을 제어할 수 있다. 노출 설정은 이미지 캡처 설정 및/또는 이미지 프로세싱 설정으로서 지칭될 수 있다.
제어 메커니즘(120)의 줌 제어 메커니즘(125C)은 줌 설정을 획득할 수 있다. 일부 예에서, 줌 제어 메커니즘(125C)은 메모리 레지스터에 줌 설정을 저장한다. 줌 설정에 기초하여, 줌 제어 메커니즘(125C)은 렌즈(115) 및 하나 이상의 추가적인 렌즈를 포함하는 렌즈 요소의 조립체(렌즈 조립체)의 초점 길이를 제어할 수 있다. 예를 들어, 줌 제어 메커니즘(125C)은 서로에 대해 하나 이상의 렌즈를 움직이기 위해 하나 이상의 모터 또는 서보를 작동시킴으로써 렌즈 조립체의 초점 길이를 제어할 수 있다. 줌 설정은 이미지 캡처 설정 및/또는 이미지 프로세싱 설정으로 지칭될 수 있다. 일부 예에서, 렌즈 조립체는 동초점(parfocal) 줌 렌즈 또는 가변 초점(varifocal) 줌 렌즈를 포함할 수 있다. 일부 예에서, 렌즈 조립체는 먼저 장면(110)으로부터 광을 수광하는 (일부 경우에 렌즈(115)일 수 있는) 포커싱 렌즈를 포함할 수 있으며, 그런 다음 광이 이미지 센서(130)에 도달하기 전에 포커싱 렌즈(예를 들어, 렌즈(115))와 이미지 센서(130) 사이의 무한 초점(afocal) 줌 시스템을 광이 통과한다. 무한 초점 줌 시스템은, 일부 경우에, 초점 길이가 같거나 유사한(예를 들어, 임계 차이 내에 있는) 2개의 양의(예를 들어, 수렴, 볼록) 렌즈를 포함할 수 있으며, 그 사이에는 음의(예를 들어, 발산, 오목) 렌즈를 갖는다. 일부 경우에, 줌 제어 메커니즘(125C)은 양의 렌즈 중 하나 또는 둘 모두 및 음의 렌즈와 같은 무한 초점 줌 시스템 내의 렌즈 중 하나 이상을 움직인다.
이미지 센서(130)는 포토다이오드 또는 다른 감광 요소의 하나 이상의 어레이를 포함한다. 각각의 포토다이오드는 이미지 센서(130)에 의해 생성된 이미지에서의 특정 픽셀에 최종적으로 대응하는 광의 양을 측정한다. 일부 경우에, 상이한 포토다이오드는 상이한 색상 필터에 의해 커버될 수 있고, 따라서, 포토다이오드를 커버하는 필터의 색과 매칭하는 광을 측정할 수 있다. 예를 들어, 베이어 색상 필터는 적색 필터, 청색 필터 및 녹색 필터를 포함하고, 이미지의 각각의 픽셀은 적색 필터에서 커버된 적어도 하나의 포토다이오드로부터의 적색 광 데이터, 청색 필터에서 커버된 적어도 하나의 포토다이오드로부터의 청색 광 데이터 및 녹색 필터에서 커버된 적어도 하나의 포토다이오드로부터의 녹색 광 데이터에 기초하여 생성된다. 다른 유형의 색상 필터는 적색, 청색 및/또는 녹색 필터 대신에 또는 그에 추가하여 옐로우, 마젠타 및/또는 시안("에메랄드"로도 지칭됨) 색상 필터를 사용할 수 있다. 일부 이미지 센서에는 색상 필터가 전혀 없을 수 있으며, 대신에 (일부 경우에 수직으로 적층된) 픽셀 어레이 전체에 걸쳐 상이한 포토다이오드를 사용할 수 있다. 픽셀 어레이 전체에 걸쳐 상이한 포토다이오드는 상이한 스펙트럼 감도 곡선을 가질 수 있고, 따라서 상이한 파장의 광에 반응한다. 또한, 모노크롬 이미지 센서에도 색상 필터가 없을 수 있으며, 따라서 색상 깊이가 없을 수 있다.
일부 경우에, 이미지 센서(130)는, 대안적으로 또는 추가적으로, 특정 시간에 그리고/또는 특정 각도로부터, 특정 포토다이오드 또는 특정 포토다이오드의 일부에 광이 도달하는 것을 차단하는 불투명 및/또는 반사 마스크를 포함할 수 있으며, 이는 위상 검출 자동 초점(PDAF)을 위해 사용될 수 있다. 또한, 이미지 센서(130)는 포토다이오드에 의해 출력된 아날로그 신호를 증폭하기 위한 아날로그 이득 증폭기 및/또는 포토다이오드로부터 출력된 (및/또는 아날로그 이득 증폭기에 의해 증폭된) 아날로그 신호를 디지털 신호로 변환하기 위한 아날로그-디지털 컨버터(ADC: analog to digital converter)를 포함할 수 있다. 일부 경우에, 제어 메커니즘(120) 중 하나 이상과 관련하여 논의된 특정 컴포넌트 또는 기능이 이미지 센서(130) 대신에 또는 추가적으로 포함될 수 있다. 이미지 센서(130)는 CCD(charge-coupled device) 센서, EMCCD(electron-multiplying CCD) 센서, APS(active-pixel sensor), CMOS(complimentary metal-oxide semiconductor), NMOS(N-type metal-oxide semiconductor), 하이브리드 CCD/CMOS 센서(예를 들어, sCMOS) 또는 이들의 일부 다른 조합일 수 있다.
이미지 프로세서(150)는, 하나 이상의 이미지 신호 프로세서(ISP)(ISP(154)를 포함함), 하나 이상의 호스트 프로세서(호스트 프로세서(152)를 포함함) 및/또는 컴퓨팅 시스템(1000)과 관련하여 논의된 임의의 다른 유형의 프로세서(1010)의 하나 이상과 같은 하나 이상의 프로세서를 포함할 수 있다. 호스트 프로세서(152)는 디지털 신호 프로세서(DSP: digital signal processor) 및/또는 다른 유형의 프로세서일 수 있다. 일부 구현예에서, 이미지 프로세서(150)는 호스트 프로세서(152) 및 ISP(154)를 포함하는 단일 집적 회로 또는 칩(예를 들어, 시스템-온-칩(system-on-chip) 또는 SoC로 지칭됨)이다. 일부 경우에, 칩은 또한 하나 이상의 입력/출력 포트(예를 들어, 입력/출력(I/O) 포트(156)), 중앙 프로세싱 유닛(CPU), 그래픽 프로세싱 유닛(GPU), 광대역 모뎀(예를 들어, 3G, 4G 또는 LTE, 5G 등), 메모리, 연결 컴포넌트(예를 들어, BluetoothTM, GPS(Global Positioning System) 등), 이들의 임의의 조합 및/또는 다른 컴포넌트를 포함할 수 있다. I/O 포트(156)는 I2C(Inter-Integrated Circuit 2) 인터페이스, I3C(Inter-Integrated Circuit 3) 인터페이스, SPI(Serial Peripheral Interface) 인터페이스, GPIO(serial General Purpose Input/Output) 인터페이스, MIPI(Mobile Industry Processor Interface)(예를 들어, MIPI CSI-2 물리(PHY) 계층 포트 또는 인터페이스, AHB(Advanced High-performance Bus) 버스, 이들의 임의의 조합 및/또는 다른 입력/출력 포트와 같은 하나 이상의 프로토콜 또는 규격에 따른 임의의 적합한 입력/출력 포트 또는 인터페이스를 포함할 수 있다. 하나의 예시적인 예에서, 호스트 프로세서(152)는 I2C 포트를 사용하여 이미지 센서(130)와 통신할 수 있고, ISP(154)는 MIPI 포트를 사용하여 이미지 센서(130)와 통신할 수 있다.
이미지 프로세서(150)는 디모자이크(de-mosaicing), 색 공간 컨버전, 이미지 프레임 다운샘플링, 픽셀 보간, 자동 노출(AE: automatic exposure) 제어, 자동 이득 제어(AGC: automatic gain control), CDAF, PDAF, 자동 화이트 밸런스, HDR 이미지를 형성하기 위한 이미지 프레임의 병합, 이미지 인식, 객체 인식, 특징(feature) 인식, 입력의 수신, 출력 관리, 메모리 관리 또는 이들의 일부 조합과 같은 다수의 작업을 수행할 수 있다. 이미지 프로세서(150)는 이미지 프레임 및/또는 프로세싱된 이미지를 랜덤 액세스 메모리(RAM)(140 및/또는 1020), 리드 온리 메모리(ROM)(145 및/또는 1025), 캐시, 메모리 유닛, 다른 저장 디바이스 또는 이들의 일부 조합에 저장할 수 있다.
다양한 입력/출력(I/O) 디바이스(160)가 이미지 프로세서(150)에 연결될 수 있다. I/O 디바이스(160)는 디스플레이 스크린, 키보드, 키패드, 터치 스크린, 트랙패드, 터치 민감형 표면, 프린터, 임의의 다른 출력 디바이스(1035), 임의의 다른 입력 디바이스(1045) 또는 이들의 일부 조합을 포함할 수 있다. 일부 경우에, 캡션은 I/O 디바이스(160)의 물리적 키보드 또는 키패드를 통해 또는 I/O 디바이스(160)의 터치 스크린의 가상 키보드 또는 키패드를 통해 이미지 프로세싱 디바이스(105B)에 입력될 수 있다. I/O(160)는 시스템(100)과 하나 이상의 주변 디바이스 사이의 유선 연결을 가능하게 하는 하나 이상의 포트, 잭 또는 다른 커넥터를 포함할 수 있으며, 이를 통해 시스템(100)은 하나 이상의 주변 디바이스로부터 데이터를 수신하고 그리고/또는 하나 이상의 주변 디바이스에 데이터를 송신할 수 있다. I/O(160)는 시스템(100)과 하나 이상의 주변 디바이스 사이의 무선 연결을 가능하게 하는 하나 이상의 무선 트랜시버를 포함할 수 있으며, 이를 통해 시스템(100)은 하나 이상의 주변 디바이스로부터 데이터를 수신하고 그리고/또는 하나 이상의 주변 디바이스에 데이터를 송신할 수 있다. 주변 디바이스는 이전에 논의된 유형의 I/O 디바이스(160) 중 임의의 것을 포함할 수 있으며 포트, 잭, 무선 트랜시버 또는 다른 유선 및/또는 무선 커넥터에 커플링되면 그 자체가 I/O 디바이스(160)로 고려될 수 있다.
일부 경우에, 이미지 캡처 및 프로세싱 시스템(100)은 단일의 디바이스일 수 있다. 일부 경우에, 이미지 캡처 및 프로세싱 시스템(100)은 이미지 캡처 디바이스(105A)(예를 들어, 카메라) 및 이미지 프로세싱 디바이스(105B)(예를 들어, 카메라에 커플링된 컴퓨팅 디바이스)를 포함하는 2 이상의 별개의 디바이스일 수 있다. 일부 구현예에서, 이미지 캡처 디바이스(105A) 및 이미지 프로세싱 디바이스(105B)는, 예를 들어, 하나 이상의 와이어, 케이블 또는 다른 전기 커넥터를 통해 그리고/또는 하나 이상의 무선 트랜시버를 통해 무선으로 함께 커플링될 수 있다. 일부 구현예에서, 이미지 캡처 디바이스(105A) 및 이미지 프로세싱 디바이스(105B)는 서로 연결 해제될 수 있다.
도 1에 도시된 바와 같이, 수직 파선은 도 1의 이미지 캡처 및 프로세싱 시스템(100)을 이미지 캡처 디바이스(105A) 및 이미지 프로세싱 디바이스(105B)를 나타내는 두 부분으로 각각 나눈다. 이미지 캡처 디바이스(105A)는 렌즈(115), 제어 메커니즘(120) 및 이미지 센서(130)를 포함한다. 이미지 프로세싱 디바이스(105B)는 (ISP(154) 및 호스트 프로세서(152)를 포함하는) 이미지 프로세서(150), RAM(140), ROM(145) 및 I/O(160)를 포함한다. 일부 경우에, ISP(154) 및/또는 호스트 프로세서(152)와 같은 이미지 캡처 디바이스(105A)에 예시된 특정 컴포넌트는 이미지 캡처 디바이스(105A)에 포함될 수 있다.
이미지 캡처 및 프로세싱 시스템(100)은 모바일 또는 고정식 전화 핸드셋(예를 들어, 스마트폰, 셀룰러 전화기 등)과 같은 전자 디바이스, 데스크톱 컴퓨터, 랩톱 또는 노트북 컴퓨터, 태블릿 컴퓨터, 셋톱 박스, 텔레비전, 카메라, 디스플레이 디바이스, 디지털 미디어 재생기, 비디오 게이밍 콘솔, 비디오 스트리밍 디바이스, 인터넷 프로토콜(IP) 카메라 또는 임의의 다른 적합한 전자 디바이스를 포함할 수 있다. 일부 예에서, 이미지 캡처 및 프로세싱 시스템(100)은 셀룰러 네트워크 통신, 802.11 wi-fi 통신, 무선 로컬 영역 네트워크(WLAN) 통신 또는 이들의 일부 조합과 같은 무선 통신을 위한 하나 이상의 무선 트랜시버를 포함할 수 있다. 일부 구현예에서, 이미지 캡처 디바이스(105A) 및 이미지 프로세싱 디바이스(105B)는 상이한 디바이스일 수 있다. 예를 들어, 이미지 캡처 디바이스(105A)는 카메라 디바이스를 포함할 수 있고 이미지 프로세싱 디바이스(105B)는 모바일 핸드셋, 데스크톱 컴퓨터 또는 다른 컴퓨팅 디바이스와 같은 컴퓨팅 디바이스를 포함할 수 있다.
이미지 캡처 및 프로세싱 시스템(100)이 특정 컴포넌트를 포함하는 것으로 도시되어 있지만, 통상의 기술자는 이미지 캡처 및 프로세싱 시스템(100)이 도 1에 도시된 것보다 더 많은 컴포넌트를 포함할 수 있다는 것을 이해할 것이다. 이미지 캡처 및 프로세싱 시스템(100)의 컴포넌트는 소프트웨어, 하드웨어 또는 소프트웨어와 하드웨어의 하나 이상의 조합을 포함할 수 있다. 예를 들어, 일부 구현예에서, 이미지 캡처 및 프로세싱 시스템(100)의 컴포넌트는, 하나 이상의 프로그래밍 가능한 전자 회로(예를 들어, 마이크로프로세서, GPU, DSP, CPU 및/또는 다른 적합한 전자 회로)를 포함할 수 있는 전자 회로 또는 다른 전자 하드웨어를 포함할 수 있거나 및/또는 이를 사용하여 구현될 수 있고 그리고/또는 본원에 설명된 다양한 동작을 수행하기 위해 컴퓨터 소프트웨어, 펌웨어 또는 이들의 임의의 조합을 포함할 수 있고 그리고/또는 이를 사용하여 구현될 수 있다. 소프트웨어 및/또는 펌웨어는 컴퓨터 판독 가능 저장 매체에 저장되고 이미지 캡처 및 프로세싱 시스템(100)을 구현하는 전자 디바이스의 하나 이상의 프로세서에 의해 실행 가능한 하나 이상의 명령어를 포함할 수 있다.
도 2a는 디스플레이 버퍼(260)와 연관된 정보, 환경 지향 센서(들)(230)와 연관된 정보 및/또는 사용자 지향 센서(들)(210)와 연관된 정보에 기초하여 사용자 지향 센서(들)(210)에 대한 이미지 캡처 설정(285)을 생성하는 확장 현실(XR) 시스템(200)의 예시적인 아키텍처를 예시하는 블록도이다. 일부 예에서, XR 시스템(200)은 적어도 하나의 이미지 캡처 및 프로세싱 시스템(100), 이미지 캡처 디바이스(105A), 이미지 프로세싱 디바이스(105B) 또는 이들의 조합(들)을 포함한다. 일부 예에서, XR 시스템(200)은 적어도 하나의 컴퓨팅 시스템(1000)을 포함한다.
XR 시스템(200)은 하나 이상의 사용자 지향 센서(210)를 포함한다. 하나 이상의 사용자 지향 센서(210)는 특정 방향을 향한다. 일부 예에서, 하나 이상의 사용자 지향 센서(210)가 향하는 방향은 사용자(205)의 방향이다. 사용자 지향 센서(210)는 사용자의 신체의 외관(aspect) 및/또는 사용자의 행동에 대한 정보를 측정 및/또는 추적하는 센서 데이터를 캡처한다. 일부 예에서, 사용자 지향 센서(210)는 사용자(205)의 적어도 일부의 방향을 향하는 하나 이상의 카메라를 포함한다. 사용자 지향 센서(210)의 하나 이상의 카메라는 사용자(205)로부터 광(207)을 수광하는 하나 이상의 이미지 센서를 포함할 수 있다. 사용자 지향 센서(210)의 하나 이상의 이미지 센서는 사용자(205)로부터 광(207)을 수광하는 것에 응답하여 사용자(205)의 적어도 일부의 하나 이상의 이미지(또는 그 일부)를 포함하는 이미지 데이터(215)를 캡처할 수 있다. 이미지 데이터(215)는 사용자(205)의 적어도 일부를 묘사할 수 있다. 일부 예에서, 하나 이상의 사용자 지향 센서(210)는 사용자(205)의 얼굴의 적어도 일부를 향하는 하나 이상의 카메라를 포함한다. 사용자 지향 센서(210)의 이미지 센서는 사용자(205)의 적어도 일부의 하나 이상의 이미지를 포함하는 이미지 데이터(215)를 캡처할 수 있다. 일부 예에서, 하나 이상의 사용자 지향 센서(210)는 사용자(205)의 한쪽 또는 양쪽 눈(및/또는 눈꺼풀)의 적어도 일부를 향하는 하나 이상의 카메라를 포함한다. 사용자 지향 센서(210)의 이미지 센서는 사용자(205)의 한쪽 또는 양쪽 눈(및/또는 눈꺼풀)의 적어도 일부의 하나 이상의 이미지를 포함하는 이미지 데이터(215)를 캡처할 수 있다.
하나 이상의 사용자 지향 센서(210)의 카메라(들)는 시간에 걸친 일련의 이미지의 캡처를 포함하는 이미지 데이터(215)를 캡처할 수 있으며, 이는 일부 예에서 예를 들어 비디오로 시간 순서로 함께 시퀀싱될 수 있다. 이러한 일련의 이미지는, 예를 들어, 사용자(205) 눈(들)의 위치(들), 사용자(205)의 눈(들)의 움직임(들), 사용자(205)의 눈꺼풀(들)의 위치(들), 사용자(205)의 눈꺼풀(들)의 움직임, 사용자(205)의 눈썹(들)의 위치(들), 사용자(205)의 눈썹(들)의 움직임(들), 사용자(205)의 동공(들)의 팽창, 사용자(205) 눈(들)의 주시(들), 사용자(205)의 눈(들)의 눈 수분 레벨(들), 사용자(205)의 눈꺼풀(들)의 깜박임, 사용자(205)의 눈꺼풀(들)의 곁눈질, 사용자(205)의 눈(들)의 단속성 운동(들), 사용자(205)의 눈(들)의 시운동 반사(들), 사용자(205) 눈(들)의 전정안 반사(들), 사용자(205)의 눈(들)의 조절 반사(들) 또는 이들의 조합을 묘사하거나 나타낼 수 있다. 도 2a 및 도 2b에서, 하나 이상의 사용자 지향 센서(210)는 사용자(205)의 눈을 향하고 사용자(205)의 눈의 이미지 데이터(215)를 캡처하는 카메라로서 예시된다. 사용자 지향 센서(210)는 사용자의 신체 및/또는 행동에 관한 정보를 추적하는 하나 이상의 센서를 포함할 수 있다. 사용자 지향 센서(210) 중 하나 이상의 센서는 하나 이상의 카메라, 주변 광 센서, 마이크, 심박수 모니터, 산소 농도계, 생체 인식 센서, 위치 확인 수신기, GNSS(Global Navigation Satellite System) 수신기, 관성 측정 장치(IMU: Inertial Measurement Unit), 가속도계, 자이로스코프, 기압계, 온도계, 고도계, 깊이 센서, LIDAR(light detection and ranging) 센서, RADAR(radio detection and ranging) 센서, SODAR(sound detection and ranging) 센서, SONAR(sound navigation and ranging) 센서, ToF(time of flight) 센서, 구조광 센서, 본원에서 논의되는 다른 센서 또는 이들의 조합을 포함할 수 있다. 일부 예에서, 사용자 지향 센서(들)(210)는 사용자(205)의 눈마다 하나 이상의 각각의 카메라(들)를 포함한다. 일부 예에서, 사용자 지향 센서(들)(210)는 사용자(205)의 양쪽 눈에 대해 하나 이상의 센서(들)를 포함한다. 일부 예에서, 하나 이상의 사용자 지향 센서(210)는 적어도 하나의 이미지 캡처 및 프로세싱 시스템(100), 이미지 캡처 디바이스(105A), 이미지 프로세싱 디바이스(105B) 또는 이들의 조합(들)을 포함한다. 일부 예에서, 하나 이상의 사용자 지향 센서(210)는 컴퓨팅 시스템(1000)의 적어도 하나의 입력 디바이스(1045)를 포함하거나 그 자체가 컴퓨팅 시스템(1000)의 입력 디바이스(1045)이다.
XR 시스템(200)은 하나 이상의 환경 지향 센서(230)를 포함한다. XR 시스템(200)의 하나 이상의 환경 지향 센서(230)는 하나 이상의 사용자 지향 센서(210)가 향하는 방향과 다른 방향을 향하는 하나 이상의 센서를 포함한다. 예를 들어, 하나 이상의 환경 지향 센서(230)는 제1 방향을 향하고, 하나 이상의 사용자 지향 센서(210)는 제2 방향을 향한다. 일부 예에서, 제1 방향과 제2 방향은 서로 평행하고 그리고/또는 서로 반대이다. 예를 들어, 도 2a에 도시된 바와 같이, 하나 이상의 환경 지향 센서(230)는 오른쪽을 향하고, 하나 이상의 사용자 지향 센서(210)는 왼쪽을 향하며, 왼쪽과 오른쪽은 평행하고 반대 방향이다. 일부 예에서, XR 시스템(200)의 하나 이상의 환경 지향 센서(230)는 환경(220)의 적어도 일부를 향한다. 환경(220)은 도 2a 및 도 2b에서 집(house)을 포함하는 것으로 예시된다. 환경(220)은 사용자(205) 주변 및/또는 XR 시스템(200) 주변의 실제 환경을 포함할 수 있다. 사용자(205) 및/또는 XR 시스템(200)은 환경(220)에 있을 수 있다. 일부 예에서, XR 시스템(200)의 하나 이상의 환경 지향 센서(230)는 사용자(205)의 적어도 일부로부터 멀어지는 방향을 향한다. 일부 예에서, 하나 이상의 사용자 지향 센서(210)는 하나 이상의 환경 지향 센서(230)가 향하는 환경(220)의 적어도 일부로부터 떨어져 있다. 일부 예에서, XR 시스템(200)의 하나 이상의 환경 지향 센서(230)는 사용자(205) 및/또는 XR 시스템(200)의 전방 측이 향하는 방향을 향하고 있다.
하나 이상의 환경 지향 센서(230)는 환경(220)에 관한 정보를 측정 및/또는 추적하는 센서 데이터를 캡처한다. 일부 예에서, 환경 지향 센서(230)는 환경(220)의 적어도 일부를 향하는 하나 이상의 카메라를 포함한다. 하나 이상의 카메라는 환경(220)의 적어도 일부를 향할 수 있는 하나 이상의 이미지 센서를 포함할 수 있다. 환경 지향 센서(230)의 하나 이상의 카메라는 환경(220)으로부터 광(222)을 수광하는 하나 이상의 이미지 센서를 포함할 수 있다. 환경 지향 센서(230)의 하나 이상의 이미지 센서는 환경(220)로부터 광(222)을 수광하는 것에 응답하여 환경(220)의 적어도 일부의 하나 이상의 이미지(또는 그 일부)를 포함하는 이미지 데이터(235)를 캡처할 수 있다. 일부 예에서, 하나 이상의 환경 지향 센서(230)의 하나 이상의 이미지 센서는 환경(220)의 이미지 데이터(235)를 캡처한다. 이미지 데이터(235)는 하나 이상의 이미지 또는 그 일부(들)를 포함할 수 있다. 하나 이상의 환경 지향 센서(230)의 이미지 센서(들)는 시간에 걸친 일련의 이미지의 캡처를 포함하는 이미지 데이터(235)를 캡처할 수 있으며, 이는 일부 예에서 예를 들어 비디오로 시간 순서로 함께 시퀀싱될 수 있다. 하나 이상의 환경 지향 센서(230)에 의해 캡처된 이미지 데이터(235)는, 예를 들어. 바닥, 지면, 벽, 천장, 하늘, 물, 식물, 사용자(205) 이외의 다른 사람, 사용자(205) 신체의 일부(예를 들어, 팔 또는 다리), 구조물, 차량, 동물, 디바이스, 기타 물체 또는 이들의 조합과 같은 요소를 비롯한, 환경(220)의 일부의 이미지 및/또는 이를 묘사하는 이미지를 포함할 수 있다. 도 2a에서, 하나 이상의 환경 지향 센서(230)는 집(구조물의 일례)을 향하는 카메라로 예시된다.
환경 지향 센서(230)는 하나 이상의 카메라와 같은 하나 이상의 센서, 주변 광 센서, 마이크, 위치 확인 수신기, GNSS(Global Navigation Satellite System) 수신기, 관성 측정 장치(IMU: Inertial Measurement Unit), 가속도계, 자이로스코프, 기압계, 온도계, 고도계, 깊이 센서, LIDAR(light detection and ranging) 센서, RADAR(radio detection and ranging) 센서, SODAR(sound detection and ranging) 센서, SONAR(sound navigation and ranging) 센서, ToF(time of flight) 센서, 구조광 센서, 본원에서 논의되는 다른 센서 또는 이들의 조합을 포함할 수 있다. 일부 예에서, 환경 지향 센서(들)(230)는 사용자(205)의 눈마다 하나 이상의 각각의 센서(들)를 포함한다. 일부 예에서, 환경 지향 센서(230)는 사용자(205)의 양쪽 눈에 대응하는 하나 이상의 센서(들)를 포함한다. 일부 예에서, 하나 이상의 환경 지향 센서(230)는 적어도 하나의 이미지 캡처 및 프로세싱 시스템(100), 이미지 캡처 디바이스(105A), 이미지 프로세싱 디바이스(105B) 또는 이들의 조합(들)을 포함한다. 일부 예에서, 하나 이상의 환경 지향 센서(230)는 컴퓨팅 시스템(1000)의 적어도 하나의 입력 디바이스(1045)를 포함하거나 그 자체가 컴퓨팅 시스템(1000)의 입력 디바이스(1045)이다.
XR 시스템(200)은 하나 이상의 디스플레이(270)를 포함한다. 디스플레이(들)(270)는 임의의 유형의 디스플레이 스크린 및/또는 프로젝터를 포함할 수 있다. 일부 예에서, 디스플레이(들)(270)는 사용자(205)의 눈마다 하나 이상의 각각의 디스플레이(들)를 포함한다. 일부 예에서, 디스플레이(들)(270)는 사용자(205)의 양쪽 눈에 대해 하나 이상의 디스플레이(들)를 포함한다. 디스플레이(들)(270)는 디스플레이 이미지 데이터(265)를 디스플레이할 수 있다. 디스플레이 이미지 데이터(265)는 하나 이상의 이미지 및/또는 그 일부(들)를 포함할 수 있다. 디스플레이 이미지 데이터(265)는 디스플레이(들)(270)에 의한 디스플레이 이미지 데이터(265)의 디스플레이 이전 및/또는 디스플레이 도중에 (적어도 일시적으로) 디스플레이 버퍼(260)에 저장될 수 있다. 일부 예에서, 디스플레이 이미지 데이터(265)는 환경 지향 센서(들)(230)에 의해 캡처된 이미지 데이터(235)의 적어도 일부, XR 시스템(200)의 가상 콘텐츠 생성기(250)에 의해 생성된 가상 콘텐츠(255)의 적어도 일부, 사용자 지향 센서(들)(210)에 의해 캡처된 이미지 데이터(215)의 적어도 일부, XR 시스템(200)의 합성기(240)에 의해 생성된 합성 이미지 데이터(245)의 적어도 일부 또는 이들의 조합을 포함한다.
XR 시스템(200)의 가상 콘텐츠 생성기(250)는 환경(220)에 존재하지 않는 시각적 콘텐츠를 생성 및/또는 렌더링할 수 있는 콘텐츠 렌더러(renderer)를 포함할 수 있다. 가상 콘텐츠(255)는 하나 이상의 2차원(2D) 형상, 3차원(3D) 형상, 2D 객체, 3D 객체, 2D 모델, 3D 모델, 2D 애니메이션, 3D 애니메이션, 2D 이미지, 3D 이미지, 텍스처, 다른 이미지의 일부, 영숫자 문자, 영숫자 문자열, 본원에 논의된 기타 가상 콘텐츠 또는 이들의 조합을 포함할 수 있다. 도 2a에서, 가상 콘텐츠 생성기(250)에 의해 생성된 가상 콘텐츠(255)는 가상 콘텐츠 생성기(250)에 대응하는 블록에 사면체로 예시된다. 일부 예에서, 가상 콘텐츠 생성기(250)는 컴퓨팅 시스템(1000)의 프로세서(1010), 이미지 프로세서(150), 호스트 프로세서(152), ISP(154) 또는 이들의 조합과 같은 프로세서에서 실행되는 프로그램에 대응하는 명령어 세트와 같은 소프트웨어 요소를 포함한다. 일부 예에서, 가상 콘텐츠 생성기(250)는 하나 이상의 하드웨어 요소를 포함한다. 예를 들어, 가상 콘텐츠 생성기(250)는 컴퓨팅 시스템(1000)의 프로세서(1010), 이미지 프로세서(150), 호스트 프로세서(152), ISP(154) 또는 이들의 조합과 같은 프로세서를 포함할 수 있다. 일부 예에서, 가상 콘텐츠 생성기(250)는 하나 이상의 소프트웨어 요소와 하나 이상의 하드웨어 요소의 조합을 포함한다.
XR 시스템(200)의 합성기(240)는 환경 지향 센서(들)(230)에 의해 캡처된 이미지 데이터(235), 가상 콘텐츠 생성기(250)에 의해 생성된 가상 콘텐츠(255), 사용자 지향 센서(들)(210)에 의해 캡처된 이미지 데이터(215) 또는 이들의 조합의 적어도 일부를 조합함으로써 합성 이미지 데이터(245)를 생성할 수 있다. 합성 이미지 데이터(245)는 하나 이상의 이미지 및/또는 그 일부(들)를 포함할 수 있다. 일부 예에서, 합성기(240)는 이미지 데이터(235) 위에 그리고/또는 이미지 데이터(215) 위에 가상 콘텐츠(255)의 적어도 일부를 통합하여 합성 이미지 데이터(245)를 생성한다. 일부 예에서, 합성기(240)는 이미지 데이터(235) 위에 그리고/또는 이미지 데이터(215) 위에 가상 콘텐츠(255)의 적어도 일부를 오버레이하여 합성 이미지 데이터(245)를 생성할 수 있다. 일부 예에서, 합성기(240)는 이미지 데이터(235) 위에 그리고/또는 이미지 데이터(215) 위에 가상 콘텐츠(255)의 적어도 일부를 언더레이하여 합성 이미지 데이터(245)를 생성한다. 합성기(240)는 이미지 데이터(235) 및/또는 이미지 데이터(215)에 대해 가상 콘텐츠(255)를 어디에 그리고 어떻게 위치 설정하는지 결정할 수 있다. 도 2a에서, 합성기(240)에 의해 생성된 합성 이미지 데이터(245)는 합성기(240)에 대응하는 블록에 환경(220)을 나타내는 집과 가상 콘텐츠(255)를 나타내는 사면체의 조합으로 예시된다. 일부 예에서, 합성 이미지 데이터(245)는 디스플레이 버퍼(260)로 전송되고, 이 경우 디스플레이 이미지 데이터(265)는 합성 이미지 데이터(245)를 포함할 수 있다. 도 2a에서, 디스플레이 버퍼(260)에 의해 저장된 디스플레이 이미지 데이터(265)는 디스플레이 버퍼(260)에 대응하는 블록 내에 환경(220)을 나타내는 집과 가상 콘텐츠(255)를 나타내는 사면체의 조합을 나타내는 이미지로서 예시된다. 일부 예에서, 합성기(240)는 컴퓨팅 시스템(1000)의 프로세서(1010), 이미지 프로세서(150), 호스트 프로세서(152), ISP(154) 또는 이들의 조합과 같은 프로세서에서 실행되는 프로그램에 대응하는 명령어 세트와 같은 소프트웨어 요소를 포함한다. 일부 예에서, 합성기(240)는 하나 이상의 하드웨어 요소를 포함한다. 예를 들어, 합성기(240)는 컴퓨팅 시스템(1000)의 프로세서(1010), 이미지 프로세서(150), 호스트 프로세서(152), ISP(154) 또는 이들의 조합과 같은 프로세서를 포함할 수 있다. 일부 예에서, 합성기(240)는 하나 이상의 소프트웨어 요소와 하나 이상의 하드웨어 요소의 조합을 포함한다.
사용자 지향 센서(들)(210)에 의해 캡처되는 사용자(205) 또는 사용자(205)의 일부(예를 들어, 사용자(205)의 눈)는 하나 이상의 광원으로부터의 광에 의해 조명될 수 있다. 예를 들어, 사용자(205)의 적어도 일부는 환경(220)으로부터의 광(222)에 의해 조명될 수 있다. 환경(220)으로부터의 광(222)은 일부 경우에 사용자(205)의 눈(들), 눈꺼풀(들), 눈썹(들), 코, 입, 귀 및/또는 얼굴과 같은 사용자(205)의 적어도 일부를 조명할 수 있다. 환경(220)으로부터의 광(222)은 XR 시스템(200) 주위로부터 사용자(205)의 적어도 일부에 접근함으로써 사용자(205)의 적어도 일부에 도달할 수 있다. 일부 예에서, 환경(220)으로부터의 광(222)은, 도 2a에서 XR 시스템(200)의 전체 폭을 통과하는 점선 화살표로 예시된 바와 같이, XR 시스템(200)의 적어도 일부를 통과함으로써 사용자(205)의 적어도 일부에 도달할 수 있다. 예를 들어, 환경(220)으로부터의 광(222)은, 디스플레이(들)(270)의 적어도 하나가 시-스루형, 투명형, 반투명형, 광 허용형 및/또는 광 투과형인 경우에, XR 시스템(200)의 디스플레이(들)(270) 중 하나 이상의 적어도 일부를 통과함으로써 사용자(205)의 적어도 일부에 도달할 수 있다.
사용자(205)의 적어도 일부는 디스플레이(들)(270)가 디스플레이 버퍼(260)로부터의 디스플레이 이미지 데이터(265)와 같은 콘텐츠를 디스플레이하고 있는 동안 디스플레이(들)(270)로부터의 광(275)에 의해 조명될 수 있다. 디스플레이(들)(270)에 의한 디스플레이 이미지 데이터(265)의 디스플레이는 디스플레이(들)(270)로부터 사용자(205)의 적어도 일부를 향해 광(275)을 방출할 수 있다. 디스플레이(들)(270)로부터의 광(275)은 일부 경우에 사용자(205)의 눈(들), 눈꺼풀(들), 눈썹(들), 코, 입, 귀 및/또는 얼굴과 같은 사용자(205)의 적어도 일부를 조명할 수 있다.
XR 시스템(200)은 사용자 지향 센서(들)(210)에 대한 하나 이상의 이미지 캡처 설정(285)을 결정하는 이미지 캡처 설정 엔진(280)을 포함한다. 사용자 지향 센서(들)(210)는 이미지 캡처 설정(들)(285)에 따라 이미지 데이터(215)를 캡처한다. 일부 예에서, 이미지 캡처 설정 엔진(280)은 사용자 지향 센서(들)(210)에 의해 이미지 데이터(215)에서 캡처 및/또는 묘사될 사용자(205)의 적어도 일부의 조명 레벨 또는 추정된 조명 레벨에 기초하여 사용자 지향 센서(들)(210)에 대한 이미지 캡처 설정(들)(285)을 결정한다. 일부 예에서, 이미지 캡처 설정 엔진(280)은 컴퓨팅 시스템(1000)의 프로세서(1010), 이미지 프로세서(150), 호스트 프로세서(152), ISP(154) 또는 이들의 조합과 같은 프로세서에서 실행되는 프로그램에 대응하는 명령어 세트와 같은 소프트웨어 요소를 포함한다. 일부 예에서, 이미지 캡처 설정 엔진(280)은 하나 이상의 하드웨어 요소를 포함한다. 예를 들어, 이미지 캡처 설정 엔진(280)은 컴퓨팅 시스템(1000)의 프로세서(1010), 이미지 프로세서(150), 호스트 프로세서(152), ISP(154) 또는 이들의 조합과 같은 프로세서를 포함할 수 있다. 일부 예에서, 합성기(240)는 하나 이상의 소프트웨어 요소와 하나 이상의 하드웨어 요소의 조합을 포함한다.
도 2a에서, 이미지 캡처 엔진(280)은 환경 지향 센서(들)(230) 및/또는 환경 지향 센서(들)(230)에 대응하는 제2 이미지 캡처 설정 엔진과 같은 관련 컴포넌트로부터 이미지 캡처 정보를 수신한다. 일부 예에서, 이미지 캡처 설정 엔진(280)이 환경 지향 센서(들)(230) 및/또는 관련 컴포넌트로부터 수신하는 이미지 캡처 정보는 환경 지향 센서(들)(230)에 의해 캡처된 이미지 데이터(235), 환경 지향 센서(들)(230)가 이미지 데이터(235)를 캡처할 때 따른 이미지 캡처 설정(237) 또는 이들의 조합을 포함한다. 일부 예에서, 이미지 캡처 설정(237)은 노출 설정(예를 들어, 노출 시간, 조리개 크기 및/또는 ISO) 및/또는 이득 설정(예를 들어, 아날로그 이득 및/또는 디지털 이득)을 포함한다. 도 2a에서, 이미지 캡처 엔진(280)은 디스플레이 버퍼(260)로부터 디스플레이 이미지 데이터(265)를 수신한다. 일부 예에서, 이미지 캡처 엔진(280)은 디스플레이 이미지 데이터(265)가 디스플레이(들)(270)에 의해 디스플레이되기 전에 디스플레이 버퍼(260)로부터 디스플레이 이미지 데이터(265)를 수신한다. 일부 예에서, 이미지 캡처 엔진(280)은 디스플레이 이미지 데이터(265)가 디스플레이(들)(270)에 의해 디스플레이되고 있을 때 디스플레이 버퍼(260)로부터 디스플레이 이미지 데이터(265)를 수신한다. 일부 예에서, 이미지 캡처 엔진(280)은 디스플레이 이미지 데이터(265)가 디스플레이(들)(270)에 의해 디스플레이된 후에 디스플레이 버퍼(260)로부터 디스플레이 이미지 데이터(265)를 수신한다. 일부 예에서, 이미지 캡처 엔진(280)은 사용자 지향 센서(들)(210) 및/또는 이미지 캡처 엔진(280)과 연관된 이전 캡처 정보를 수신 및/또는 저장한다. 일부 예에서, 이미지 캡처 엔진(280)은 사용자 지향 센서(들)(210)가 이미지 데이터(215)를 캡처하기 전에 사용자 지향 센서(들)(210)에 의해 캡처된 이전 센서 데이터(예를 들어, 이전 이미지 데이터)를 수신 및/또는 저장한다. 일부 예에서, 이미지 캡처 엔진(280)은 이미지 캡처 엔진(280)에 의한 이미지 캡처 설정(들)(285)의 생성 전에 이미지 캡처 엔진(280)에 의해 이전에 생성된 이전 이미지 캡처 설정(들)을 저장한다. 일부 예에서, 이전 이미지 캡처 설정은 노출 설정(예를 들어, 노출 시간, 조리개 크기 및/또는 ISO) 및/또는 이득 설정(예를 들어, 아날로그 이득 및/또는 디지털 이득)을 포함한다. 사용자 지향 센서(들)(210) 및/또는 이미지 캡처 엔진(280)과 연관된 이전 캡처 정보는 이전 센서 데이터 및/또는 이전 이미지 캡처 설정(들)을 포함할 수 있다.
이미지 캡처 엔진(280)은 이미지 데이터(235), 이미지 캡처 설정(237), 디스플레이 이미지 데이터(265), 사용자 지향 센서(들)(210)로부터의 이전 센서 데이터, 이미지 캡처 엔진(280)으로부터의 이미지 캡처 설정(들) 또는 이들의 조합에 기초하여 이미지 캡처 설정(들)(285)을 생성한다. 일부 예에서, 이미지 캡처 설정(들)(285)은 노출 설정(예를 들어, 노출 시간, 조리개 크기 및/또는 ISO) 및/또는 이득 설정(예를 들어, 아날로그 이득 및/또는 디지털 이득)을 포함한다. 이미지 캡처 엔진(280)은 이미지 데이터(235), 이미지 캡처 설정(237), 디스플레이 이미지 데이터(265), 사용자 지향 센서(들)(210)로부터의 이전 센서 데이터, 이미지 캡처 엔진(280)으로부터의 이미지 캡처 설정(들) 또는 이들의 조합에 기초하여 사용자(205)의 적어도 일부(예를 들어, 사용자(205)의 얼굴의 적어도 일부)의 조명 레벨을 결정 및/또는 추정할 수 있다. 이미지 캡처 엔진(280)은 조명 레벨에 기초하여 이미지 캡처 설정(들)(285)을 생성할 수 있다. 예를 들어, 사용자(205)의 얼굴이 환경(220)으로부터의 광(222) 및/또는 디스플레이(들)(270)로부터의 광(275)에 의해 밝게 조명되면(이는 사용자(205)의 얼굴의 높은 조명 레벨에 대응함), 이미지 캡처 엔진(280)은 낮은 노출 설정(예를 들어, 짧은 노출 시간, 작은 조리개 크기 및/또는 낮은 ISO) 및/또는 낮은 이득 설정(예를 들어, 낮은 아날로그 이득 및/또는 낮은 디지털 이득)을 포함하도록 이미지 캡처 설정(들)(285)을 생성할 수 있어, 사용자(205)의 얼굴이 이미지 데이터(215)에 과다 노출되어 나타나지 않도록 한다. 반면에, 사용자(205)의 얼굴이 어둑하게 조명되면(예를 들어, 환경(220)로부터의 광(222)이 어둡고 그리고/또는 디스플레이(들)(270)로부터의 광(275)이 어두우면)(이는 사용자(205)의 얼굴의 낮은 조명 레벨에 대응함), 이미지 캡처 엔진(280)은 높은 노출 설정(예를 들어, 긴 노출 시간, 큰 조리개 크기 및/또는 높은 ISO) 및/또는 높은 이득 설정(예를 들어, 높은 아날로그 이득 및/또는 높은 디지털 이득)을 포함하도록 이미지 캡처 설정(들)(285)을 생성할 수 있어, 사용자(205)의 얼굴이 이미지 데이터(215)에 노출 부족으로 나타나지 않도록 한다. 도 2a의 이미지 캡처 엔진(280)에 의한 이미지 캡처 설정(들)(285)의 생성을 위한 프로세스의 예 또는 이러한 프로세스의 일부는 적어도 도 3b, 도 5 및 도 6에 예시된다.
일부 예에서, XR 시스템(200)의 디스플레이(들)(270)는 XR 시스템(200) 주변의 실제 환경으로부터의 광이 디스플레이(들)(270) 중 적어도 하나를 통과하여 사용자(205)의 한쪽 또는 양쪽 눈에 도달할 수 있게 하는 "시-스루" 디스플레이를 포함한다. 예를 들어, 디스플레이(들)(270)는 적어도 부분적으로 투명형, 반투명형, 광 허용형, 광 투과형 또는 이들의 조합일 수 있다. 예시적인 예에서, 디스플레이(들)(270)는 투명형, 반투명형, 광 허용형 및/또는 광 투과형 렌즈 및 프로젝터를 포함한다. 프로젝터는 디스플레이 이미지 데이터(265)(예를 들어, 가상 콘텐츠(255) 포함)를 렌즈에 투사한다. 렌즈는, 예를 들어, 안경 렌즈, 고글 렌즈, 콘택트 렌즈, 헤드 마운트 디스플레이(HMD) 디바이스의 렌즈 또는 이들의 조합일 수 있다. 환경(220)으로부터의 광(222)은 렌즈를 통과하여 사용자(205)의 한쪽 또는 양쪽 눈에 도달한다. 프로젝터가 디스플레이 이미지 데이터(265)를 렌즈에 투사하기 때문에, 디스플레이 이미지 데이터(265)는 사용자(205)의 한쪽 또는 양쪽 눈의 관점에서 환경(220)에 대한 사용자의 시야 위에 오버레이되는 것처럼 보인다. 프로젝터에 의해 렌즈에 투사된 디스플레이 이미지 데이터(265)의 위치 설정은 디스플레이 설정에 의해 식별 및/또는 표시될 수 있다. 합성기(240)는 디스플레이 설정을 결정 및/또는 수정할 수 있다.
일부 예에서, XR 시스템(200)의 디스플레이(들)(270)는 시-스루 디스플레이와 관련하여 위에서 논의된 렌즈가 없는 프로젝터를 포함한다. 대신, 디스플레이(들)(270)는 자신의 프로젝터를 사용하여 디스플레이 이미지 데이터(265)를 사용자(205)의 한쪽 또는 양쪽 눈에 투사할 수 있다. 이러한 예에서, 디스플레이 이미지 데이터(265)를 사용자(205)의 한쪽 또는 양쪽 눈에 투사하기 위해 프로젝터에 의해 사용자(205)의 한쪽 또는 양쪽 눈에 투사되는 광은 디스플레이(들)(270)로부터의 광(275)일 수 있다. 일부 예에서, 디스플레이(들)(270)의 프로젝터는 디스플레이 이미지 데이터(265)를 사용자(205)의 한쪽 또는 양쪽 눈의 한쪽 또는 양쪽 망막에 투사할 수 있다. 이러한 디스플레이(들)(270)는 시-스루 디스플레이, 가상 망막 디스플레이(VRD: virtual retinal display), 망막 스캔 디스플레이(RSD: retinal scan display) 또는 망막 프로젝터(RP: retinal projector)로 지칭될 수 있다. 환경(220)으로부터의 광(222)은 사용자의 한쪽 또는 양쪽 눈에 여전히 도달한다. 프로젝터가 디스플레이 이미지 데이터(265)를 사용자(205)의 한쪽 또는 양쪽 눈에 투사하기 때문에, 디스플레이 이미지 데이터(265)는 사용자(205)의 한쪽 또는 양쪽 눈의 관점에서 환경(220)에 대한 사용자(205)의 시야 위에 오버레이되는 것처럼 보인다. 프로젝터에 의해 사용자(205)의 한쪽 눈 또는 양쪽 눈에 투사된 디스플레이 이미지 데이터(265)의 위치 설정은 디스플레이 설정에 의해 식별 및/또는 표시될 수 있다. 합성기(240)는 디스플레이 설정을 결정 및/또는 수정할 수 있다.
일부 예에서, XR 시스템(200)은 디스플레이(들)(270)에 환경(220)을 묘사하는 디스플레이 이미지 데이터(265)를 디스플레이함으로써 사용자가 환경(220)의 뷰를 볼 수 있게 하는 "패스-스루(pass-through)" 디스플레이 시스템이다. 디스플레이 이미지 데이터(265)에 묘사되고 디스플레이(들)(270)에 디스플레이되는 환경(220)의 뷰는 환경 지향 센서(들)(230)에 의해 캡처된 이미지 데이터(235)에 기초한 환경(220)의 정확한 뷰일 수 있다. 디스플레이 이미지 데이터(265)에 묘사되고 디스플레이(들)(270)에 디스플레이되는 환경(220)의 뷰는 환경(220)과 구별되지만 환경(220)에 기초하는 가상 환경 또는 혼합 환경의 뷰일 수 있고, 예를 들어 가상 콘텐츠(255)가 환경(220)에 통합된다. 예를 들어, 가상 환경 또는 혼합 환경은 가상 객체 및/또는 배경을 포함할 수 있지만, 이는 사용자와 XR 시스템(200)이 있는 실제 환경 내의 공간의 면적 및/또는 부피의 치수에 기초한 치수를 갖는 공간의 면적 및/또는 부피로 매핑될 수 있다. XR 시스템(200)은 이미지 데이터(235) 및/또는 XR 시스템(200)의 환경 지향 센서(230)에 의해 캡처된 다른 센서에 기초하여(예를 들어, 환경(220)의 이미지 데이터(235)에 기초하고 그리고/또는 환경(220)의 깊이 데이터에 기초하여) 사용자(205) 및 XR 시스템(200)이 있는 환경(220) 내의 공간의 면적 및/또는 부피의 치수를 결정할 수 있다. 이는 사용자가 디스플레이 이미지 데이터(265)에 묘사되고 디스플레이(들)(270)에 디스플레이되는 가상 환경 또는 혼합 환경을 탐색하는 동안 사용자(205)가 실수로 계단에서 떨어지지 않거나, 벽 또는 장애물과 충돌하지 않거나, 아니면 실제 환경과의 부정적인 상호 작용 및/또는 잠재적으로 위험한 상호 작용을 가지지 않는 것을 보장할 수 있다.
일부 예에서, XR 시스템(200)은 사용자 지향 센서(들)(210)에 의해 캡처된 센서 데이터에 기초하여(예를 들어, 이미지 데이터(215)에 기초하여) 사용자(205)의 하나 이상의 속성을 결정 및/또는 추적하는 속성 엔진(287)을 포함한다. 사용자 지향 센서(들)(210)에 의해 캡처된 센서 데이터에 기초하여(예를 들어, 이미지 데이터(215)에 기초하여), 속성 엔진(287)은 사용자(205)의 눈(들)의 눈 위치(들)를 결정하고, 사용자(205)의 눈(들)의 눈 위치(들)를 추적하고, 사용자(205)의 눈(들)의 눈 움직임(들)을 추적하고, 사용자(205)의 눈(들)의 동공 확장(들)을 추적하고, 사용자(205)의 눈(들)의 단속성 운동(들)을 추적하고, 사용자(205)의 눈(들)에 의한 주시를 추적하고, 사용자(205)의 눈꺼풀(들)에 의한 깜박임을 추적하고, 사용자(205)의 눈꺼풀(들)에 의한 곁눈질을 추적하고, 사용자(205)의 눈(들)에 의한 시운동 반사(들)를 추적하고, 사용자(205)의 눈(들)에 의한 전정안 반사(들)를 추적하고, 사용자(205)의 눈(들)에 의한 조절 반사 추적하고, 사용자(205)의 얼굴 표정 추적하고, 사용자(205)에 의한 제스처를 추적하고 또는 이들의 조합을 수행할 수 있다. 위에 나열된 동작에서, 추적은 타이밍, 빈도, 범위, 진폭, 눈 위치, 눈 움직임 또는 이들의 조합의 추적을 의미할 수 있다. 일부 예에서, XR 시스템(200)은 예를 들어 디스플레이(들)(270)를 통해 이미지 데이터(215)를 디스플레이하고 그리고/또는 이미지 데이터(215)를 통신 트랜시버(예를 들어, 통신 인터페이스(1040))를 통해 수신 장치에 전송함으로써 이미지 데이터(215)를 출력한다.
도 2b는 사용자 지향 센서(들)(210)와 연관된 정보에 기초하여 (이미지 데이터(292)를 제공할 수 있는) 사용자 지향 센서(들)(210)에 대한 이미지 캡처 설정(295)을 생성하는 확장 현실(XR) 시스템(290)의 예시적인 아키텍처를 예시하는 블록도이다. XR 시스템(290)은 이미지 캡처 설정 엔진(280)이 사용자 지향 센서(들)(210) 및/또는 이미지 캡처 설정 엔진(280)과 연관된 이전 캡처 정보만을 수신 및/또는 사용하여 사용자 지향 센서(들)(210)에 대한(예를 들어, 사용자 지향 센서(들)(210)로부터의 이미지 데이터(292)에 대한) 이미지 캡처 설정(295)을 결정하는 XR 시스템(200)의 변형예이다. 도 2b의 이미지 캡처 엔진(280)에 의한 이미지 캡처 설정(들)(295)의 생성을 위한 프로세스의 일례가 적어도 도 3a에 예시된다. 일부 예에서, 이미지 캡처 설정(295)은 적어도 도 3a 및 도 3b와 관련하여 논의되는 바와 같이 이미지 캡처 설정(285)보다 덜 최신일 수 있다.
도 3a는 사용자 지향 센서(들)(310)와 연관된 정보에 기초하여 사용자 지향 센서(들)(310)에 대한 이미지 캡처 설정(330)을 생성하는 예시적인 확장 현실(XR) 프로세스(300)를 예시하는 블록도이다. 도 3a의 XR 프로세스(300)는 도 2b의 XR 시스템(290) 또는 도 2a의 XR 시스템(200)에 의해 수행될 수 있다. XR 프로세스(300)의 각각의 동작은 해당 동작을 수행하는 컴포넌트(들)에 기초하여 표시된다. XR 프로세스(300)의 각각의 동작은 동작이 수행되는 시간 또는 동작의 수행에 의해 발생되는 시간 지연에 대한 표기를 포함한다. 일부 예에서, 이러한 시간 표기에서 1의 각각의 증분은 사용자 지향 센서(들)(310)에 의한 이미지 프레임의 캡처에 대응하는 지속 시간에 대응할 수 있다.
시간 N에서, 사용자(예를 들어, 사용자(205))로부터의 광(305)은 사용자로부터 하나 이상의 사용자 지향 센서(들)(310)로 이동한다. 광(305)은 사용자(205)로부터의 광(207)의 일례일 수 있다. 사용자 지향 센서(들)(310)는 사용자 지향 센서(들)(210)의 예일 수 있다. 시간 N+1에서, 사용자 지향 센서(들)(310)는 사용자로부터의 광(305)의 수광에 기초하여 원시 이미지 데이터를 캡처한다.
ISP(315)는 사용자 지향 센서(들)(310)에 의해 캡처된 원시 이미지 데이터를 프로세싱하여 이미지를 생성한다. 예를 들어, ISP(315)는 디모자이크(demosaicing), 색 공간 컨버전, 리샘플링, 픽셀 보간, 자동 노출(AE) 제어, 자동 이득 제어(AGC), CDAF, PDAF, 자동 화이트 밸런스, HDR 이미지를 형성하기 위한 이미지 병합 또는 이들의 조합을 수행할 수 있다. ISP(315)는 ISP(154)의 일례일 수 있다. ISP(315)에 의해 수행되는 프로세싱은 도 3a 및 도 3b에 1의 지연으로 표시되는 어느 정도의 시간이 걸릴 수 있다.
시간 N+2에서, ISP(315)에 의해 생성된 이미지는 이미지 캡처 설정 엔진(320)에 의해 수신되고 그리고/또는 이미지 캡처 설정 엔진(320)은 이미지 캡처 설정(330)을 생성한다. 이미지 캡처 설정 엔진(320)은 이미지 캡처 설정 엔진(280)의 일례일 수 있다. 이미지 캡처 설정 엔진(320)은 ISP(315)로부터의 이미지에 기초하여 이미지 캡처 설정(들)(330)을 생성한다. 이미지 캡처 설정(들)(330)은 시간 N+3에 추가 이미지 데이터를 캡처하기 위해 사용자 지향 센서(들)(310)에 적용된다. 따라서, 도 3a의 XR 프로세스(300)를 사용하면, 사용자로부터의 광(305)이 사용자 지향 센서(310)로 이동하여 사용자 지향 센서(들)(310)에서 광(305)에 기초하여 이미지 캡처 설정(들)(330)을 적용하기까지 3 프레임의 시간이 걸린다.
도 3b는 디스플레이 버퍼(355)와 연관된 정보, 환경 지향 센서(들)(365)와 연관된 정보 및/또는 사용자 지향 센서(들)(310)와 연관된 정보에 기초하여 사용자 지향 센서(들)(310)에 대한 이미지 캡처 설정(380)을 생성하는 예시적인 확장 현실(XR) 프로세스(350)를 예시하는 블록도이다. 도 3b의 프로세스(350)는 도 2a의 XR 시스템(200)에 의해 수행될 수 있다. XR 프로세스(350)의 각각의 동작은 해당 동작을 수행하는 컴포넌트(들)에 기초하여 표시된다. XR 프로세스(350)의 각각의 동작은 동작이 수행되는 시간 또는 동작의 수행에 의해 발생되는 시간 지연에 대한 표기를 포함한다. 일부 예에서, 이러한 시간 표기에서 1의 각각의 증분은 사용자 지향 센서(들)(310)에 의한 이미지 프레임의 캡처 및/또는 환경 지향 센서(들)(365)에 의한 이미지 프레임의 캡처에 대응하는 지속 시간에 대응할 수 있다.
XR 프로세스(350)는 XR 프로세스(300)의 컴포넌트 및 동작을 포함하고, 또한 추가 컴포넌트 및 동작도 포함한다. 예를 들어, XR 프로세스(350)는 시간 N에서 사용자로부터의 광(305)이 사용자 지향 센서(들)(310)로 이동하는 것과, 시간 N+1에서 사용자 지향 센서(들)(310)가 광(305)에 기초하여 원시 이미지 데이터를 캡처하는 것과, 1의 지연 동안 ISP(315)가 원시 이미지 데이터를 프로세싱하여 이미지를 생성하는 것을 포함한다. XR 프로세스(350)는 이미지 캡처 설정 엔진(320)이 ISP(315)로부터 이미지를 수신하는 것을 포함한다. 그러나, 도 3b의 이미지 캡처 설정 엔진(320)은 또한 추가 데이터를 수신하고, 이미지 및/또는 추가 데이터에 기초하여 도 3b의 이미지 캡처 설정(들)(380)을 생성할 수 있다. 도 3b의 이미지 캡처 설정 엔진(320)은 도 3a에서와 같이 시간 N+2에서 적어도 ISP(315)로부터의 이미지에 기초하여 이미지 캡처 설정(들)(380)을 생성할 수 있고, 도 3a에서와 같이 시간 N+3에서 사용자 지향 센서(들)(310)에 의한 새로운 이미지 캡처에 이미지 캡처 설정(들)(380)을 적용할 수 있다.
또한, XR 프로세스(350)는 시간 P에서 디스플레이 이미지 데이터를 저장하는 디스플레이 버퍼(355)를 포함한다. 디스플레이 버퍼(355)에 저장된 디스플레이 이미지 데이터는, 일부 예에서, 사용자를 향하는 디스플레이(들)에 디스플레이되도록 구성된다. 디스플레이 버퍼(355)는 디스플레이 버퍼(260)의 일례일 수 있다. 도 3b의 디스플레이 이미지 데이터는 디스플레이 이미지 데이터(265)의 일례일 수 있다. 도 3b의 디스플레이 이미지 데이터는 디스플레이 이미지 데이터(265)의 일례일 수 있다. 도 3b의 디스플레이(들)는 디스플레이(들)(270)의 예일 수 있다. 시간 P에서, 도 3b의 이미지 캡처 설정 엔진(320)은 디스플레이 버퍼(355)에 저장된 디스플레이 이미지 데이터를 수신할 수 있다. 도 3b의 이미지 캡처 설정 엔진(320)은 시간 P에서 적어도 디스플레이 버퍼(355)로부터의 디스플레이 이미지 데이터에 기초하여 이미지 캡처 설정(들)(380)을 생성할 수 있고, 시간 P+1에서 사용자 지향 센서(들)(310)에 의한 새로운 이미지 캡처에 이미지 캡처 설정(들)(380)을 적용할 수 있다.
또한, XR 프로세스(350)는 시간 M에서 환경(예를 들어, 환경(220))으로부터 하나 이상의 환경 지향 센서(들)(365)로 이동하는 환경으로부터의 광(370)을 포함한다. 광(370)은 환경(220)로부터의 광(222)의 일례일 수 있다. 환경 지향 센서(들)(365)는 환경 지향 센서(들)(230)의 예일 수 있다. 시간 M+1에서, 환경 지향 센서(들)(365)는 환경으로부터의 광(370)의 수광에 기초하여 원시 이미지 데이터를 캡처한다. ISP(360)는 환경 지향 센서(들)(365)에 의해 캡처된 원시 이미지 데이터를 프로세싱하여 이미지를 생성한다. 예를 들어, ISP(360)는 디모자이크(demosaicing), 색 공간 컨버전, 리샘플링, 픽셀 보간, AE 제어, AGC, CDAF, PDAF, 자동 화이트 밸런스, HDR 이미지를 형성하기 위한 이미지 병합 또는 이들의 조합을 수행할 수 있다. ISP(360)는 ISP(154)의 일례일 수 있다. ISP(360)와 ISP(315)는 단일 ISP 또는 별도의 ISP들일 수 있다. ISP(360)에 의해 수행되는 프로세싱은 도 3b에 1의 지연으로 표시된 어느 정도의 시간이 걸릴 수 있다. 시간 M+2에서, ISP(360)에 의해 생성된 이미지는 이미지 캡처 설정 엔진(320)에 의해 수신될 수 있고 그리고/또는 이미지 캡처 설정 엔진(320)은 ISP(360)에 의해 생성된 이미지에 기초하여 이미지 캡처 설정(380)을 생성할 수 있다. 시간 M+1에서, 환경으로부터의 광(370)에 기초하여 이미지를 캡처하는 데 있어서 환경 지향 센서(들)(365)가 적용하는 이미지 캡처 설정은 이미지 캡처 설정 엔진(320)에 의해 수신될 수 있고 그리고/또는 이미지 캡처 설정 엔진(320)은 환경 지향 센서(들)(365)에 대한 이미지 캡처 설정에 기초하여 이미지 캡처 설정(330)을 생성할 수 있다. 이미지 캡처 설정 엔진(320)은 시간 M+3에 ISP(360)에 의해 생성된 이미지에 기초하여 이미지 캡처 설정(들)(380)을 적용할 수 있다. 이미지 캡처 설정 엔진(320)은 시간 M+2에서 환경 지향 센서(들)(365)의 이미지 캡처 설정(들)에 기초하여 이미지 캡처 설정(들)(380)을 적용할 수 있다.
이미지 캡처 설정 엔진(320)은 사용자 지향 센서(들)(310)에 대한 이전 이미지 캡처 설정(들), ISP(315)에 의해 생성된 이미지, 디스플레이 버퍼(355)로부터의 디스플레이 이미지 데이터, 환경 지향 센서(들)(365)에 대한 이미지 캡처 설정(들), ISP(360)에 의해 생성된 이미지 또는 이들의 조합에 기초하여 이미지 캡처 설정(들)(380)을 생성할 수 있다. 일부 예에서, 이미지 캡처 설정 엔진(320)은 ISP(315)에 의해 생성된 이미지, 디스플레이 버퍼(355)로부터의 디스플레이 이미지 데이터, 환경 지향 센서(들)(365)에 대한 이미지 캡처 설정(들), ISP(360)에 의해 생성된 이미지 또는 이들의 조합에 기초하여, 사용자 지향 센서(들)(310)에 대한 이전 이미지 캡처 설정(들)을 수정함으로써 이미지 캡처 설정(들)(380)을 생성한다. 일부 예에서, 이미지 캡처 설정 엔진(320)에 의해 생성된 이미지 캡처 설정(들)(380)은 다른 것보다 사용자의 조명에서의 특정 변화에 더 잘 반응할 수 있다. 예를 들어, 이미지 캡처 설정 엔진(320)에 의해 생성된 이미지 캡처 설정(들)(380)은 ISP(315)에 의해 생성된 이미지 또는 ISP(360)에 의해 생성된 이미지에서의 변화보다 (예를 들어, 대응하는 이미지 캡처 설정(들)(380)이 시간 P+1에서 적용될 수 있기 때문에) 디스플레이 버퍼(355)로부터의 디스플레이 이미지 데이터에서의 변화에 더 잘 반응할 수 있다.
이미지 캡처 설정(들)(380)의 결정을 위한 기초로서 디스플레이 버퍼(355)로부터의 디스플레이 버퍼 데이터의 사용은 이미지 캡처 설정(380)의 결정을 가속화할 수 있고, 이미지 캡처 설정(들)(380)이 디스플레이에 의한 디스플레이 버퍼 데이터의 디스플레이와 동시에 또는 디스플레이에 의한 디스플레이 버퍼 데이터의 디스플레이 이후 짧은 지연(예를 들어, 이전 캡처 정보에 대한 지연 미만) 내에 결정 및/또는 사용되도록 할 수 있다. 환경 지향 센서(들)(365)에 의한 이미지 캡처 또는 ISP(360)에 의한 프로세싱이 필요하지 않기 때문에, 이미지 캡처 설정(들)(380)의 결정을 위한 기초로서 환경 지향 센서(들)(365)로부터의 이미지 캡처 설정(들)의 사용은 이미지 캡처 설정(들)(380)의 결정을 가속화할 수 있고, 이미지 캡처 설정(들)(380)을 허용할 수 있다. 이미지 캡처 설정의 결정을 위한 기초로서 ISP(360)에 의해 생성된 이미지의 사용은 이미지 캡처 설정(들)(380)의 결정을 가속화할 수 있고, 사용자 얼굴의 조명 레벨이 변경되기 전에 환경에서의 광의 레벨에 대한 변화를 검출하는 것에 기초하여 이미지 캡처 설정(들)(380)이 결정 및/또는 사용되도록 할 수 있다. 예를 들어, 사용자가 이전에 사용자가 있었던 영역과 다른 조명을 사용하여 환경의 영역에 접근하는 경우, 이러한 조명에서의 차이는 사용자 조명에서의 대응하는 차이가 사용자 지향 센서(310)에 의해 캡처되고 ISP(135)에 의해 생성될 이미지를 사용하여 검출 가능하기 이전에 ISP(360)에 의해 생성되는 이미지 데이터를 사용하여 검출 가능할 수 있다.
일부 예에서, 환경 지향 센서(들)(365) 및 사용자 지향 센서(들)(310)는 동일한 프레임 레이트로 센서 데이터(예를 들어, 이미지 데이터)를 캡처할 수 있다. 일부 예에서, 환경 지향 센서(들)(365) 및 사용자 지향 센서(들)(310)는 서로 다른 각각의 프레임 레이터로 센서 데이터(예를 들어, 이미지 데이터)를 캡처할 수 있다. 일부 예에서, 환경 지향 센서(들)(365)는 제1 프레임 레이트로 이미지 데이터를 캡처하는 반면, 사용자 지향 센서(들)(310)는 제2 프레임 레이트로 이미지 데이터를 캡처한다. 일부 예에서, 예를 들어 환경 지향 센서(들)(365)가 많은 XR 애플리케이션에 매우 중요할 수 있는 손 추적에 사용될 수도 있기 때문에, 제1 프레임 레이트는 제2 프레임 레이트보다 빠를 수 있다. 이러한 경우, 시간 M+2 및 시간 M+3 은, 시간 M+2 및 M+3에서의 프레임이 시간 N+3에 대한 프레임보다 짧기 때문에, 시간 N+3보다 짧은 기간에 각각 대응할 수 있다.
따라서, XR 프로세스(350)는 XR 프로세스(300)에 비하여 환경에서의 조명 조건 변화에 응답하여 그리고/또는 디스플레이에 의해 방출되는 광 패턴에서의 변화로 인하여 제2 센서의 이미지 캡처 설정(들)을 조정하는 데 있어 지연 및 대기 시간을 줄인다. 따라서, XR 프로세스(350)는 XR 프로세스(300)에 비하여 XR 시스템을 환경에서의 조명 조건 변화에 응답하여 그리고/또는 디스플레이에 의해 방출되는 광 패턴에서의 변화로 인하여 사용자 지향 센서(들)(310)에 대한 이미지 캡처 설정(들)(380)을 생성 및/또는 조정하는 데 있어 더욱 효율적이고 적응적이며 응답성 있게 만든다. 따라서, XR 프로세스(350)는 사용자 지향 센서(들)(310) 및/또는 ISP(315)가 부적절한 이미지 캡처 설정(들)으로 이미지 데이터를 캡처 및/또는 생성하여 예를 들어 노출 과다 또는 노출 부족인 이미지를 초래할 수 있는 경우를 줄이거나 제거할 수 있다. 따라서, XR 프로세스(350)는 결과적으로 눈 위치, 눈 움직임, 얼굴 표정, 제스처 등을 추적하는 XR 시스템 능력의 품질을 개선할 수 있다.
도 4는 환경 지향 센서(들)(410)와 연관된 정보 및 사용자 지향 센서(들)(415)와 연관된 대응하는 정보의 예를 예시하는 표(400)이다. 표(400)는 환경 지향 센서(들)(410) 및 사용자 지향 센서(들)(415) 모두에 대응하는 파라미터(405)를 포함한다. 파라미터(405)는 픽셀 휘도 측정값(420)(예를 들어, 평균 픽셀 휘도 또는 다른 휘도 측정값)과 같은 이미지 특성을 포함한다. 픽셀 휘도 측정값(420)의 예시적인 예로서 평균 픽셀 휘도를 사용하면, 표(400)에 따르면, 환경 지향 센서(들)(410)에 의해 캡처되는 이미지에 대한 픽셀 휘도 측정값(420)이 50인 경우, 사용자 지향 센서(들)(415)에 의해 캡처되는 대응하는 이미지에 대한 픽셀 휘도 측정값(420)은 60이다. 일부 예에서, 픽셀 휘도 측정값(420)(예를 들어, 평균 픽셀 휘도 또는 다른 휘도 측정값)은 평균 픽셀 밝기 또는 평균 픽셀 루마(luma)라고 지칭될 수 있다. 평균 픽셀 휘도가 픽셀 휘도 측정값(420)의 예시적인 일례로서 본원에서 사용될 것이다(그리고 평균 픽셀 휘도(420)로 지칭될 것이다). 가중 평균, 표준 편차, 분산, 이들의 임의의 조합 및/또는 다른 픽셀 휘도 측정값과 같은 다른 픽셀 휘도 측정값이 사용될 수 있다. 파라미터(405)는 노출 시간(425)에 대한 이미지 캡처 설정을 더 포함한다. 표(400)에 따르면, 환경 지향 센서(들)(410)에 의한 이미지 캡처를 위한 노출 시간(425)이 20ms인 경우, 사용자 지향 센서(들)(415)에 의한 대응하는 이미지 캡처를 위한 노출 시간(425)은 30ms이다. 파라미터(405)는 이득(430)에 대한 이미지 캡처 설정을 더 포함한다. 표(400)에 따르면, 환경 지향 센서(들)(410)에 의한 이미지 캡처에 대한 이득(430)이 2인 경우, 사용자 지향 센서(들)(415)에 의한 대응하는 이미지 캡처에 대한 이득(430)은 4이다.
표(400) 내의 값은 외부 센서 캘리브레이션 프로세스를 사용하여 결정될 수 있다. 정적 캘리브레이션 프로세스 동안, 환경 지향 센서(들)(410) 및 사용자 지향 센서(들)(415)는 모두 균일한 조명으로 각각의 미리 결정된 캘리브레이션 패턴에 초점이 맞추어질 수 있다. 자동 노출(AE) 제어 수렴 및/또는 자동 이득 제어(AGC) 수렴은 환경 지향 센서(들)(410) 및 사용자 지향 센서(들)(415)에 대한 노출 시간(425) 및/또는 이득(430)을 자동으로 결정하는 데 사용될 수 있고, 그 예는 표(400)에 있다. 환경 지향 센서(들)(410)에 대한 평균 픽셀 휘도(420)는 환경 지향 센서(들)(410)에 의해 캡처된 하나 이상의 이미지로부터 계산될 수 있다. 사용자 지향 센서(들)(415)에 대한 평균 픽셀 휘도(420)는 사용자 지향 센서(들)(415)에 의해 캡처된 하나 이상의 이미지로부터 계산될 수 있다.
환경 지향 센서(들)(410)에 대응하는 이미지 캡처 설정 값과 사용자 지향 센서(들)(415)에 대응하는 이미지 캡처 설정 값 사이의 매핑 계수(들)는 외부 센서 캘리브레이션 프로세스를 사용하여 결정될 수 있다. 파라미터(405)에 대한 매핑 계수는 환경 지향 센서(들)(410)에 대한 해당 파라미터(405)에 대한 개별 값과 사용자 지향 센서(들)(415)에 대한 해당 파라미터(405)에 대한 개별 값의 비율을 사용하여 계산될 수 있다. 일부 예에서, 매핑 계수는 비율의 곱일 수 있다.
예시적인 예에서, 조합된 노출 및 이득 파라미터에 대한 매핑 계수는 다음과 같이 계산될 수 있다: ratioEG*ratioP, 상기 식에서 ratioEG = (사용자 지향 센서에 대한 이득을 곱한 노출 시간)/(환경 지향 센서에 대한 이득을 곱한 노출 시간)이고, ratioP = (환경 지향 센서에 대한 평균 픽셀 휘도)/(사용자 지향 센서에 대한 평균 픽셀 휘도)이다. 표(400)에서의 값을 사용하면, 조합된 노출 및 이득 파라미터에 대한 매핑 인수는 ((30×4)/(20×2))×(50/60) = 2.5이다. 사용자 지향 센서(415)에 대한 적절한 노출 및 이득 파라미터 값을 결정하기 위해, XR 시스템은 환경 지향 센서(410)에 대한 대응하는 노출 및 이득 파라미터 값에 매핑 계수(예를 들어, 2.5)를 곱할 수 있다.
도 5는 디스플레이 버퍼(505)와 연관된 정보에 기초하여 사용자 지향 센서(들)(540)에 대한 이미지 캡처 설정을 생성하는 예시적인 확장 현실(XR) 프로세스(500)를 예시하는 블록도이다. 도 5의 XR 시스템은 디스플레이 버퍼(505)를 포함한다. 디스플레이 버퍼(505)는 디스플레이 버퍼(260)의 일례일 수 있다. 디스플레이 버퍼(505)는 디스플레이 이미지 데이터(265)와 같은 디스플레이 이미지 데이터를 저장한다. 도 5의 XR 시스템은 프리프로세서(preprocessor)(510)를 포함한다. 프리프로세서(510)는 디스플레이 버퍼(505)로부터 디스플레이 이미지 데이터를 수신할 수 있고, 디스플레이 버퍼(505)로부터의 디스플레이 이미지 데이터의 관심 영역(ROI: region of interest)(515)을 계산할 수 있다. 프리프로세서(510)는 예를 들어 객체 검출 엔진에 의해 검출되는 하나 이상의 객체를 포함하도록 ROI(515)를 계산함으로써 ROI(515)를 계산하기 위해 객체 검출 엔진을 사용할 수 있다. 프리프로세서(510)는 예를 들어 돌출성(saliency) 매핑 엔진에 의해 생성되는 대응하는 돌출성 맵에서 높은 돌출성을 갖는 하나 이상의 영역을 포함하도록 ROI(515)를 계산함으로써 ROI(515)를 계산하기 위해 돌출성 매핑 엔진을 사용할 수 있다. 일부 예에서, 프리프로세서(510)는 디스플레이 이미지 데이터의 중심을 포함하도록 ROI(515)를 계산할 수 있다. 일부 예에서, 프리프로세서(510)는 디스플레이 이미지 데이터의 중심 영역의 적어도 일부를 포함하도록 ROI(515)를 계산할 수 있다. 일부 예에서, 프리프로세서(510)는 이미지 캡처 설정 엔진(280) 및/또는 이미지 캡처 설정 엔진(320)과 같은 이미지 캡처 설정 엔진의 일부일 수 있다. 도 5에서, 디스플레이 이미지 데이터를 나타내는 둥근 직사각형의 중심에 있는 예시적인 ROI(515)가 프리프로세서(510)에 대응하는 블록에 예시된다.
객체 검출 엔진은 특징 검출 알고리즘, 특징 추출 알고리즘, 특징 인식 알고리즘, 특징 추적 알고리즘, 객체 검출 알고리즘, 객체 인식 알고리즘, 객체 추적 알고리즘, 얼굴 검출 알고리즘, 얼굴 인식 알고리즘, 얼굴 추적 알고리즘, 사람 검출 알고리즘, 사람 인식 알고리즘, 사람 추적 알고리즘, 차량 검출 알고리즘, 차량 인식 알고리즘, 차량 추적 알고리즘, 분류기 또는 이들의 조합을 포함할 수 있다. 객체 검출 엔진은 하나 이상의 인공 지능(AI: artificial intelligence) 알고리즘 및/또는 훈련된 기계 학습(ML: machine learning) 모델을 포함할 수 있다. 예를 들어, 객체 검출 엔진은, 예를 들어, 하나 이상의 뉴럴 네트워크(NN: neural network), 하나 이상의 콘볼루션 뉴럴 네트워크(CNN: convolutional neural network), 하나 이상의 훈련된 시간 지연 뉴럴 네트워크(TDNN: trained time delay neural network), 하나 이상의 심층 네트워크, 하나 이상의 자동 인코더, 하나 이상의 심층 신뢰 네트워크(DBN: deep belief net), 하나 이상의 순환 뉴럴 네트워크(RNN: recurrent neural network), 하나 이상의 생성적 적대 네트워크(GAN: generative adversarial network), 하나 이상의 다른 유형의 뉴럴 네트워크, 하나 이상의 훈련된 지원 벡터 머신(SVM: support vector machine), 하나 이상의 훈련된 랜덤 포레스트(RF: random forest) 또는 이들의 조합을 포함할 수 있다.
돌출성 매핑 엔진은 정적 돌출성 알고리즘, 모션 돌출성 알고리즘, 객체성 돌출성 알고리즘, 기계 학습 기반 돌출성 알고리즘 또는 이들의 조합을 포함할 수 있다. 돌출성 매핑 엔진은 하나 이상의 인공 지능(AI) 알고리즘 및/또는 훈련된 기계 학습(ML) 모델을 포함할 수 있다. 예를 들어, 돌출성 매핑 엔진은, 예를 들어, 하나 이상의 뉴럴 네트워크(NN), 하나 이상의 콘볼루션 뉴럴 네트워크(CNN), 하나 이상의 훈련된 시간 지연 뉴럴 네트워크(TDNN), 하나 이상의 심층 네트워크, 하나 이상의 자동 인코더, 하나 이상의 심층 신뢰 네트워크(DBN), 하나 이상의 순환 뉴럴 네트워크(RNN), 하나 이상의 생성적 적대 네트워크(GAN), 하나 이상의 다른 유형의 뉴럴 네트워크, 하나 이상의 훈련된 지원 벡터 머신(SVM), 하나 이상의 훈련된 랜덤 포레스트(RF) 또는 이들의 조합을 포함할 수 있다.
도 5의 XR 시스템은 가중치 테이블(520)을 포함한다. 가중치 테이블(520)은 디스플레이 버퍼(505)로부터의 디스플레이 이미지 데이터의 서로 다른 픽셀에 서로 다른 가중치를 적용하는 2차원 테이블이다. 일부 예에서, 가중치 테이블(520)은 X-축을 따르는(예를 들어, 수평 방향으로의) 행과 Y-축을 따르는(예를 들어, 수직 방향으로의) 열을 포함한다. 행과 열의 각각의 교차 지점에서, 가중치 테이블(520)은 가중치 값을 포함할 수 있다. 일부 구현예에서, 가중치 테이블(520)은 디스플레이 이미지 데이터와 연관된 이미지와 동일한 해상도 또는 크기를 갖는다. 예를 들어, 가중치 테이블(520)의 X-축은 이미지의 X-축과 동일한 치수 또는 크기를 가질 수 있고, 가중치 테이블(520)의 Y-축은 이미지의 Y-축과 동일한 치수 또는 크기를 가질 수 있다. 일부 구현예에서, 가중치 테이블(520)은 디스플레이 이미지 데이터와 연관된 이미지와 다른 해상도 또는 크기를 갖는다. 예를 들어, 가중치 테이블(520)은 이미지에 비해 낮은 해상도를 가질 수 있다. 이러한 예에서, 가중치 테이블(520)은 이미지와 동일한 크기를 갖도록 가중치 테이블(520)을 스케일링하는 것과 같이 (예를 들어, 노출 데이터 및/또는 이미지 크기에 기초하여) 스케일링될 수 있다. 일부 예에서, 가중치 테이블(520)은 ROI(515)에 대응하는 이미지의 특정 영역에 (예를 들어, 더 높은 가중치 또는 가중치들을 적용하거나 포함함으로써) 더 많은 중요도를 제공할 수 있다. 예를 들어, 가중치 테이블(520)은 가중치 테이블(520)의 중심에 가장 가까운 가장 높은 가중치와, 가중치 테이블(520)의 중심에서 가장 먼 가장 낮은 가중치를 포함할 수 있으며, 가장 높은 가중치와 가장 낮은 가중치 사이의 점진적인 천이를 가질 수 있다. 하나의 예시적인 예에서, 가중치 테이블(520)은 가우스 분포를 사용하여 표현될 수 있으며, 여기서 가중치 테이블(520)의 중심은 더 높은 가중치를 갖는다. 이러한 예에서, 이미지의 중심에는 이미지의 다른 영역보다 더 중요도로 가중치가 부여된다. 일부 예에서, 가중치 테이블(520)은 도 5의 XR 시스템의 가중치 적용 요소(570)를 사용하여 디스플레이 버퍼(505)로부터 디스플레이 이미지 데이터의 픽셀에 가중치를 (예를 들어 멀티플라이어(multiplier) 및/또는 오프셋으로서) 적용한다. 가중치 적용 요소(570)는 멀티플라이어를 포함할 수 있다. 일부 예에서, 가중치 적용 요소(570)에 의한 가중치 테이블(520)의 적용은 ROI(515)에 기초한 캘리브레이션 및/또는 계량을 위해 사용될 수 있다. 예를 들어, 일부 경우에, 가중치 테이블(520)의 가중치 값에 기초하여 이미지의 특정 영역(예를 들어, 중심 영역)을 사용하여 노출이 계산될 수 있다. 일례에서, 이미지의 영역은 ROI(515) 내의 이미지의 일부를 포함할 수 있다. 이러한 경우에, 가중치 테이블(520)은 가중치 값이 더 높은 이미지의 영역(예를 들어, 이미지의 중심)에 더 많은 중요도를 부여할 것이다.
도 5의 XR 시스템은 이미지 데이터의 평균 휘도(527)(또는 다른 픽셀 휘도 측정값)를 계산하는 이미지 분석 엔진(525)을 포함한다. 일부 예에서, 이미지 분석 엔진(525)은 디스플레이 버퍼로부터의 전체 디스플레이 이미지의 평균 휘도(527)를 계산한다. 일부 예에서, 이미지 분석 엔진(525)은 디스플레이 버퍼로부터의 디스플레이 이미지의 ROI(515)의 평균 휘도(527)를 계산한다. 일부 예에서, 이미지 분석 엔진(525)에 의해 계산된 평균 휘도(527)는 가중치 테이블(520) 및/또는 ROI(515)에 기초하여 가중치가 부여되는 가중 평균이다.
도 5의 XR 시스템은 휘도와 노출 값(예를 들어, 노출 시간에 이득을 곱한 값)을 매핑하는 휘도-노출 룩업 테이블(530)을 포함한다. 휘도-노출 룩업 테이블(530)의 일례(550)가 도 5에 예시되고, 휘도(560)에 대한 열(column)과 노출(565)에 대한 열을 갖는다. 휘도-노출 룩업 테이블(530)의 예(550)에서, 10의 휘도는 1000의 노출로 매핑되고, 50의 휘도는 300의 노출로 매핑되고, 100의 휘도는 180의 노출로 매핑되고, 200의 휘도는 100의 노출로 매핑되고, 250의 휘도는 80의 노출로 매핑된다. 휘도-노출 룩업 테이블(530)은 사용 전에 미리 캘리브레이션될 수 있다. 예를 들어, 일부 예에서, 휘도-노출 룩업 테이블(530)은 어두운 환경(220)에서 캘리브레이션되며, 여기서 사용자(205)가 디스플레이 버퍼(505)로부터의 디스플레이 이미지 데이터를 디스플레이하는 디스플레이(들)(270)로부터의 광(275)에 의해 배타적으로 (또는 거의 배타적으로) 조명된다. 자동 노출(AE) 제어 수렴 및/또는 자동 이득 제어(AGC) 수렴은 휘도-노출 룩업 테이블(530)의 노출(565)을 위한 열에 대한 노출 시간 및/또는 이득을 자동으로 결정하는 데 사용될 수 있다.
도 5의 XR 시스템은 이미지 캡처 설정 엔진(535)을 포함한다. 이미지 캡처 설정 엔진(535)은 이미지 캡처 설정 엔진(280) 및/또는 이미지 캡처 설정 엔진(320)의 일례일 수 있다. 이미지 캡처 설정 엔진(535)은 평균 휘도(527)(또는 다른 휘도 측정값)에 가장 근접하게 일치하는 휘도(560)에 대한 열에서의 휘도 값과 일치하는 노출(565)에 대한 열에서의 노출 값을 찾아 - 예를 들어, 노출 설정을 포함할 수 있는 - 이미지 캡처 설정(545)을 생성한다. 도 5의 이미지 캡처 설정 엔진(535)은 이미지 캡처 설정(545)을 사용자 지향 센서(들)(540)에 적용한다.
일부 예에서, 이미지 캡처 설정 엔진(280), 이미지 캡처 설정 엔진(320) 및/또는 이미지 캡처 설정 엔진(535)은 프리프로세서(510), 가중치 테이블(520), 가중치 적용 요소(570), 이미지 분석 엔진(525) 및/또는 휘도-노출 룩업 테이블(530) 중 적어도 하나를 포함할 수 있다.
도 6은 디스플레이 버퍼(635)에 기초하여 결정된 이미지 캡처 설정(630)과 하나 이상의 환경 지향 센서(625)에 기초하여 결정된 이미지 캡처 설정(620)을 혼합함(도 6에는 조합(645)으로 도시됨)으로써 사용자 지향 센서(들)(650)에 대한 조합된 이미지 캡처 설정(들)(640)을 생성하는 예시적인 확장 현실(XR) 프로세스(600)를 예시하는 블록도이다.
예를 들어, 도 6의 XR 시스템은 도 2a, 도 3b 및 도 5 중 적어도 하나와 관련하여 설명된 프로세스 중 하나 이상을 사용하여 디스플레이 버퍼(635)에 기초하여 이미지 캡처 설정(630)을 결정할 수 있다. 디스플레이 버퍼(635)에 기초한 이미지 캡처 설정(630)은 노출 설정(632)을 포함할 수 있다. 도 6의 XR 시스템은 도 2a 또는 도 3b 중 적어도 하나 및/또는 도 4의 표(400)와 관련하여 설명된 프로세스 중 하나 이상을 사용하여 환경 지향 센서(들)(625)에 기초하여 이미지 캡처 설정(620)을 결정할 수 있다. 환경 지향 센서(들)(625)에 기초한 이미지 캡처 설정(620)은 노출 설정(622)을 포함할 수 있다.
도 6의 XR 시스템은 예를 들어 환경 지향 센서(예를 들어, 환경 지향 센서(들)(230)) 및/또는 하나 이상의 주변광 센서(ALS: ambient light sensor)로부터의 이미지 데이터(예를 들어, 이미지 데이터(235))에 기초하여 환경(예를 들어, 환경(220))의 환경 휘도(605)를 결정한다. 예를 들어, ALS는 주변 광을 검출하고 검출된 주변 광에 기초하여 디스플레이 밝기 및/또는 노출을 제어하는 데 사용될 수 있다(예를 들어, 주변 광이 광 임계값보다 낮을 때 노출을 증가시키고, 주변 광이 광 임계값보다 높을 때 노출을 감소시킴). 하나의 예시적인 예에서, 광 임계값은 (예를 들어, 룩스 단위의) 50(예를 들어, 50 룩스)의 조도 값의 조도 값을 포함할 수 있지만, 임의의 다른 적합한 값(예를 들어, 49 룩스, 40 룩스, 30 룩스, 20 룩스 등)을 포함할 수 있다. 환경 휘도(605)는 평균 휘도, 평균 밝기, 평균 루마, 이들의 임의의 조합 및/또는 다른 휘도 측정값과 같은 휘도 또는 픽셀 휘도 측정값일 수 있다. 환경 휘도(605)는 가중 평균 휘도, 가중 평균 밝기, 가중 평균 루마, 이들의 임의의 조합 및/또는 다른 휘도 측정값과 같은 휘도 또는 픽셀 휘도 측정값일 수 있다.
도 6의 XR 시스템은 혼합 가중치 룩업 테이블(610)을 포함한다. 혼합 가중치 룩업 테이블(610)의 일례(660)가 도 6에 예시되고, 휘도(670)에 대한 열과 가중치(675)에 대한 열을 갖는다. 예를 들어, 도 6에 예시된 혼합 가중치 룩업 테이블(610)의 예(660)에서, 높은(밝은) 휘도는 1의 가중치에 대응하고, 중간(중간 밝기) 휘도는 0.7의 가중치에 대응하고, 낮은 휘도는 0.5의 가중치에 대응하고, 매우 낮은(어두운) 휘도는 0.2의 가중치에 대응한다.
도 6의 XR 시스템은 믹서(680)를 포함한다. 믹서(680)는 예를 들어 (디스플레이 버퍼(635)에 기초하는) 이미지 캡처 설정(630)과 (환경 지향 센서(들)(625)에 기초하는) 이미지 캡처 설정(620)을 혼합 가중치 룩업 테이블(610)로부터의 혼합 가중치에 따라 혼합함으로써 - 예를 들어 노출 설정(642)을 포함할 수 있는 - 조합된 이미지 캡처 설정(640)을 생성한다. 도 6의 XR 시스템은 환경 휘도(605)와 가장 근접하게 일치하는 휘도(670)에 대한 열에서의 휘도 값과 일치하는 가중치(675)에 대한 열에서의 가중치 값을 선택함으로써 혼합 가중치 룩업 테이블(610)로부터 혼합 가중치를 선택한다. 도 5의 이미지 캡처 설정 엔진(535)은 조합된 이미지 캡처 설정(640)을 사용자 지향 센서(들)(650)에 적용한다.
도 7a는 확장 현실(XR) 시스템(200)으로 사용되는 헤드 마운트 디스플레이(HMD)(710)를 예시하는 사시도(700)이다. HMD(710)는, 예를 들어, 증강 현실(AR) 헤드셋, 가상 현실(VR) 헤드셋, 혼합 현실(MR) 헤드셋, 확장 현실(XR) 헤드셋 또는 이들의 일부 조합일 수 있다. HMD(710)는 XR 시스템(200)의 일례일 수 있다. HMD(710)은 XR 프로세스(300), XR 프로세스(350), XR 프로세스(500), XR 프로세스(600) 및/또는 프로세스(900)를 수행할 수 있다. HMD(710)는 HMD(710)의 전방 부분을 따라 제1 카메라(730A) 및 제2 카메라(730B)를 포함한다. 제1 카메라(730A) 및 제2 카메라(730B)는 XR 시스템(200)의 환경 지향 센서(230), 환경 지향 센서(들)(365), 환경 지향 센서(들)(410), 환경 지향 센서(들)(625), 동작 905의 제1 카메라, 동작 905의 제1 이미지 센서 또는 이들의 조합의 예일 수 있다. HMD(710)는, 사용자의 눈(들)이 디스플레이(들)(740)를 향할 때, HMD(710)의 사용자의 눈(들)을 향하는 제3 카메라(730C) 및 제4 카메라(730D)를 포함한다. HMD(710)의 사용자는 사용자(205)의 일례일 수 있다. 제3 카메라(730C) 및 제4 카메라(730D)는 XR 시스템(200)의 사용자 지향 센서(210), XR 시스템(290)의 사용자 지향 센서(210), 사용자 지향 센서(들)(310), 사용자 지향 센서(들)(415), XR 프로세스(500)의 사용자 지향 센서(들)(540), XR 프로세스(600)의 사용자 지향 센서(들)(650), 동작 910 및 동작 915의 제2 카메라, 동작 910 및 동작 915의 제2 이미지 센서 또는 이들의 조합의 예일 수 있다. 일부 예에서, HMD(710)는 단일 이미지 센서를 갖는 단일 카메라만을 가질 수 있다. 일부 예에서, HMD(710)는 제1 카메라(730A), 제2 카메라(730B), 제3 카메라(730C) 및 제4 카메라(730D)에 더하여 하나 이상의 추가 카메라를 포함할 수 있다. 일부 예에서, HMD(710)는 제1 카메라(730A), 제2 카메라(730B), 제3 카메라(730C) 및 제4 카메라(730D)에 더하여 하나 이상의 추가 센서를 포함할 수 있으며, 이는 또한 XR 시스템(200)의 다른 유형의 사용자 지향 센서(210) 및/또는 환경 지향 센서(230)를 포함할 수 있다. 일부 예에서, 제1 카메라(730A), 제2 카메라(730B), 제3 카메라(730C) 및/또는 제4 카메라(730D)는 이미지 캡처 및 프로세싱 시스템(100), 이미지 캡처 디바이스(105A), 이미지 프로세싱 디바이스(105B) 또는 이들의 조합의 예일 수 있다.
HMD(710)는 사용자(720)의 머리의 적어도 일부 상에 또는 그 주위로 HMD(710)를 착용하는 사용자(720)가 볼 수 있는 하나 이상의 디스플레이(740)를 포함할 수 있다. HMD(710)의 하나 이상의 디스플레이(740)는 XR 시스템(200)의 하나 이상의 디스플레이(270)의 예일 수 있다. 일부 예에서, HMD(710)는 하나의 디스플레이(740)와 2개의 뷰파인더를 포함할 수 있다. 2개의 뷰파인더는 사용자(720)의 왼쪽 눈을 위한 왼쪽 뷰파인더 및 사용자(720)의 오른쪽 눈을 위한 오른쪽 뷰파인더를 포함할 수 있다. 왼쪽 뷰파인더는 사용자(720)의 왼쪽 눈이 디스플레이의 왼쪽을 보도록 배향될 수 있다. 오른쪽 뷰파인더는 사용자(720)의 오른쪽 눈이 디스플레이의 오른쪽을 보도록 배향될 수 있다. 일부 예에서, HMD(710)는 사용자(720)의 왼쪽 눈에 콘텐츠를 디스플레이하는 왼쪽 디스플레이 및 사용자(720)의 오른쪽 눈에 콘텐츠를 디스플레이하는 오른쪽 디스플레이를 포함하는 2개의 디스플레이(740)를 포함할 수 있다. HMD(710)의 하나 이상의 디스플레이(740)는 패스-스루 디스플레이 또는 시-스루 디스플레이의 예일 수 있다. HMD(710)의 하나 이상의 디스플레이(740)는 디스플레이 버퍼(260), 디스플레이 버퍼(355), 디스플레이 버퍼(505), 디스플레이 버퍼(635) 또는 이들의 조합과 같은 디스플레이 버퍼로부터의 디스플레이 이미지를 디스플레이할 수 있다.
HMD(710)는 하나 이상의 이어피스(735)를 포함할 수 있고, 이는 HMD(710)의 사용자의 하나 이상의 귀에 오디오를 출력하는 스피커 및/또는 헤드폰으로서 기능할 수 있다. 하나의 이어피스(735)가 도 7a 및 도 7b에 도시되어 있지만, HMD(710)는 하나의 이어피스가 사용자의 각각의 귀(왼쪽 귀 및 오른쪽 귀)에 대한 것인 2개의 이어피스를 포함할 수 있다는 것이 이해되어야 한다. 일부 예에서, HMD(710)는 또한, 하나 이상의 마이크(도시되지 않음)를 포함할 수 있다. 하나 이상의 마이크는, 예를 들어 마이크가 사용자(205)를 향하고 있는지 아니면 환경(220)을 향하고 있는지에 따라, XR 시스템(200)의 사용자 지향 센서(210) 및/또는 환경 지향 센서(230)의 예일 수 있다. 일부 예에서, 하나 이상의 이어피스(735)를 통해 사용자에게 HMD(710)에 의해 출력된 오디오는 하나 이상의 마이크를 사용하여 녹음된 오디오를 포함할 수 있거나 그에 기초할 수 있다.
도 7b는 도 7a의 헤드 마운트 디스플레이(HMD)가 사용자(720)에 의해 착용되고 있는 것을 예시하는 사시도(750)이다. 사용자(720)는 HMD(710)를 사용자(720)의 눈 위로 사용자(720)의 머리 상에 또는 그 주위로 착용한다. HMD(710)의 사용자(720)는 사용자(205)의 일례일 수 있다. HMD(710)는 제1 카메라(730A) 및 제2 카메라(730B)로 이미지를 캡처할 수 있다. 일부 예에서, HMD(710)는 디스플레이(들)(740)를 사용하여 사용자(720)의 눈을 향해 하나 이상의 디스플레이 이미지를 디스플레이한다. 일부 예에서, 디스플레이 이미지는 디스플레이 버퍼(260)로부터의 디스플레이 이미지 데이터(265), 디스플레이 버퍼(355)로부터의 디스플레이 이미지 데이터, 디스플레이 버퍼(505)로부터의 디스플레이 이미지 데이터, 디스플레이 버퍼(635)로부터의 디스플레이 이미지 데이터 또는 이들의 조합을 포함할 수 있다. 디스플레이 이미지는 제1 카메라(730A)와 제2 카메라(730B)에 의해 캡처된 이미지(예를 들어, 이미지 데이터(235))에 기초할 수 있으며, 예를 들어 가상 콘텐츠(예를 들어, 가상 콘텐츠(755))가 (예를 들어, 합성기(240)를 사용하여) 오버레이된다. 디스플레이 이미지는 환경(220)의 입체 뷰를 제공할 수 있으며, 일부 경우에, 가상 콘텐츠가 오버레이되고 그리고/또는 다른 수정을 갖는다. 예를 들어, HMD(710)는 제1 카메라(730A)에 의해 캡처된 이미지에 기초한 제1 디스플레이 이미지를 사용자(720)의 오른쪽 눈에 디스플레이할 수 있다. HMD(710)는 제2 카메라(730B)에 의해 캡처된 이미지에 기초한 제2 디스플레이 이미지를 사용자(720)의 왼쪽 눈에 디스플레이할 수 있다. 예를 들어, HMD(710)는 제1 카메라(730A) 및 제2 카메라(730B)에 의해 캡처된 이미지(예를 들어, 이미지 데이터(235)) 위에 오버레이된, 오버레이된 가상 콘텐츠(예를 들어 가상 콘텐츠(255))를 디스플레이 이미지에서 제공할 수 있다. 제3 카메라(730C) 및 제4 카메라(730D)는, 사용자가 디스플레이(들)(740)에 의해 디스플레이된 디스플레이 이미지를 보기 전, 보는 동안 그리고/또는 본 후의 눈의 이미지(예를 들어, 이미지 데이터(215))를 캡처할 수 있다. 이러한 방식으로, 제3 카메라(730C) 및/또는 제4 카메라(730D)로부터의 센서 데이터(예를 들어, 이미지 데이터(215))는 사용자의 눈(및/또는 사용자의 다른 부분)에 의한 디스플레이 이미지 데이터에 대한 반응을 캡처할 수 있다. HMD(710)의 이어피스(735)는 사용자(720)의 귀에 예시된다. HMD(710)는 이어피스(735)를 통해 그리고/또는 사용자(720)의 다른 귀(도시되지 않음)에 있는 HMD(710)의 다른 이어피스(도시되지 않음)를 통해 사용자(720)에게 오디오를 출력하고 있을 수 있다.
도 8a는 전면 카메라를 포함하고 확장 현실(XR) 시스템(200)으로 사용될 수 있는 모바일 핸드셋(810)의 전방 표면을 예시하는 사시도(800)이다. 모바일 핸드셋(810)은 XR 시스템(200)의 일례일 수 있다. 모바일 핸드셋(810)은, 예를 들어, 셀룰러 전화, 위성 전화, 휴대용 게이밍 콘솔, 음악 재생기, 건강 추적 디바이스, 웨어러블 디바이스, 무선 통신 디바이스, 랩톱, 모바일 디바이스, 본원에서 논의된 임의의 다른 유형의 컴퓨팅 디바이스나 컴퓨팅 시스템 또는 이들의 조합일 수 있다.
모바일 핸드셋(810)의 전방 표면(820)은 디스플레이(840)를 포함한다. 모바일 핸드셋(810)의 전방 표면(820)은 제1 카메라(830A) 및 제2 카메라(830B)를 포함한다. 제1 카메라(830A) 및 제2 카메라(830B)는 XR 시스템(200)의 사용자 지향 센서(210), XR 시스템(290)의 사용자 지향 센서(210), 사용자 지향 센서(들)(310), 사용자 지향 센서(들)(415), XR 프로세스(500)의 사용자 지향 센서(들)(540), XR 프로세스(600)의 사용자 지향 센서(들)(650), 동작 910 및 동작 915의 제2 카메라, 동작 910 및 동작 915의 제2 이미지 센서 또는 이들의 조합의 예일 수 있다. 제1 카메라(830A) 및 제2 카메라(830B)는 콘텐츠(예를 들어, 환경 위에 오버레이된 가상 콘텐츠)가 디스플레이(840)에 표시되는 동안 사용자의 눈(들)을 포함하여 사용자를 향할 수 있다. 모바일 핸드셋(810)은 사용자는 사용자(205)의 일례일 수 있다. 디스플레이(840)는 XR 시스템(200)의 디스플레이(들)(270)의 일례일 수 있다.
제1 카메라(830A) 및 제2 카메라(830B)는 모바일 핸드셋(810)의 전방 표면(820) 상의 디스플레이(840) 주위의 베젤에 예시된다. 일부 예에서, 제1 카메라(830A) 및 제2 카메라(830B)는 모바일 핸드셋(810)의 전방 표면(820) 상의 디스플레이(840)로부터 컷아웃되는 노치 또는 컷아웃에 위치 설정될 수 있다. 일부 예에서, 제1 카메라(830A) 및 제2 카메라(830B)는 디스플레이(840)와 모바일 핸드셋(810)의 나머지 부분 사이에 위치 설정된 언더-디스플레이 카메라일 수 있어, 광이 제1 카메라(830A) 및 제2 카메라(830B)에 도달하기 전에 디스플레이(840)의 일부를 통과하도록 한다. 사시도(800)의 제1 카메라(830A) 및 제2 카메라(830B)는 전면 카메라이다. 제1 카메라(830A) 및 제2 카메라(830B)는 모바일 핸드셋(810)의 전방 표면(820)의 평면 표면에 수직인 방향을 향한다. 제1 카메라(830A) 및 제2 카메라(830B)는 모바일 핸드셋(810)의 하나 이상의 카메라 중 2개일 수 있다. 제1 카메라(830A) 및 제2 카메라(830B)는 각각 센서(805A) 및 센서(805B)일 수 있다. 일부 예에서, 모바일 핸드셋(810)의 전방 표면(820)은 단일 카메라만을 가질 수 있다.
일부 예에서, 모바일 핸드셋(810)의 전방 표면(820)은 제1 카메라(830A) 및 제2 카메라(830B)에 더하여 하나 이상의 추가 카메라를 포함할 수 있다. 또한, 하나 이상의 추가 카메라는 XR 시스템(200)의 사용자 지향 센서(210), XR 시스템(290)의 사용자 지향 센서(210), 사용자 지향 센서(들)(310), 사용자 지향 센서(들)(415), XR 프로세스(500)의 사용자 지향 센서(들)(540), XR 프로세스(600)의 사용자 지향 센서(들)(650), 동작 910 및 동작 915의 제2 카메라, 동작 910 및 동작 915의 제2 이미지 센서 또는 이들의 조합의 예일 수 있다. 일부 예에서, 모바일 핸드셋(810)의 전방 표면(820)은 제1 카메라(830A) 및 제2 카메라(830B)에 더하여 하나 이상의 추가 센서를 포함할 수 있다. 또한, 하나 이상의 센서는 XR 시스템(200)의 사용자 지향 센서(210), XR 시스템(290)의 사용자 지향 센서(210), 사용자 지향 센서(들)(310), 사용자 지향 센서(들)(415), XR 프로세스(500)의 사용자 지향 센서(들)(540), XR 프로세스(600)의 사용자 지향 센서(들)(650), 동작 910 및 동작 915의 제2 카메라, 동작 910 및 동작 915의 제2 이미지 센서 또는 이들의 조합의 예일 수 있다. 일부 경우에, 모바일 핸드셋(810)의 전방 표면(820)은 하나 초과의 디스플레이(840)를 포함한다. 모바일 핸드셋(810)의 전방 표면(820)의 하나 이상의 디스플레이(840)는 XR 시스템(200)의 디스플레이(들)(270)의 예일 수 있다. 예를 들어, 하나 이상의 디스플레이(840)는 하나 이상의 터치 스크린 디스플레이를 포함할 수 있다. 모바일 핸드셋(810)의 하나 이상의 디스플레이(840)는 디스플레이 버퍼(260)로부터의 디스플레이 이미지 데이터(265), 디스플레이 버퍼(355)로부터의 디스플레이 이미지 데이터, 디스플레이 버퍼(505)로부터의 디스플레이 이미지 데이터, 디스플레이 버퍼(635)로부터의 디스플레이 이미지 데이터 또는 이들의 조합을 디스플레이할 수 있다.
모바일 핸드셋(810)은 하나 이상의 스피커(835A) 및/또는 다른 오디오 출력 디바이스(예를 들어, 이어폰 또는 헤드폰 또는 이에 대한 커넥터)를 포함할 수 있으며, 이는 모바일 핸드셋(810)의 사용자의 하나 이상의 귀에 오디오를 출력할 수 있다. 하나의 스피커(835A)가 도 8a에 예시되지만, 모바일 핸드셋(810)은 하나 초과의 스피커 및/또는 다른 오디오 디바이스를 포함할 수 있다는 것이 이해되어야 한다. 일부 예에서, 모바일 핸드셋(810)은 또한 하나 이상의 마이크(도시되지 않음)를 포함할 수 있다. 하나 이상의 마이크는 XR 시스템(200)의 사용자 지향 센서(210) 및/또는 환경 지향 센서(230)의 예일 수 있다. 일부 예에서, 모바일 핸드셋(810)은 모바일 핸드셋(810)의 전방 표면(820)을 따라 그리고/또는 그에 인접하게 하나 이상의 마이크를 포함할 수 있으며, 이러한 마이크는 예를 들어 마이크가 사용자(205)를 향하고 있는지 아니면 환경(220)을 향하고 있는지에 따라, XR 시스템(200)의 사용자 지향 센서(210)의 예일 수 있다. 일부 예에서, 하나 이상의 스피커(835A) 및/또는 다른 오디오 출력 디바이스를 통해 사용자에게 모바일 핸드셋(810)에 의해 출력된 오디오는 하나 이상의 마이크를 사용하여 녹음된 오디오를 포함할 수 있거나 그에 기초할 수 있다.
도 8b는 후면 카메라를 포함하고 확장 현실(XR) 시스템(200)으로 사용될 수 있는 모바일 핸드셋의 후방 표면(860)을 예시하는 사시도(850)이다. 모바일 핸드셋(810)은 모바일 핸드셋(810)의 후방 표면(860) 상에 제3 카메라(830C) 및 제4 카메라(830D)를 포함한다. 사시도(850)의 제3 카메라(830C) 및 제4 카메라(830D)는 후방을 향한다. 제3 카메라(830C) 및 제4 카메라(830D)는 XR 시스템(200)의 환경 지향 센서(230), 환경 지향 센서(들)(365), 환경 지향 센서(들)(410), 환경 지향 센서(들)(625), 동작 905의 제1 카메라, 동작 905의 제1 이미지 센서 또는 이들의 조합의 예일 수 있다. 제3 카메라(830C) 및 제4 카메라(830D)는 모바일 핸드셋(810)의 후방 표면(860)의 평면 표면에 수직인 방향을 향한다.
제3 카메라(830C) 및 제4 카메라(830D)는 모바일 핸드셋(810)의 하나 이상의 카메라 중 2개일 수 있다. 일부 예에서, 모바일 핸드셋(810)의 후방 표면(860)은 단일 카메라만을 가질 수 있다. 일부 예에서, 모바일 핸드셋(810)의 후방 표면(860)은 제3 카메라(830C) 및 제4 카메라(830D)에 더하여 하나 이상의 추가 카메라를 포함할 수 있다. 또한, 하나 이상의 추가 카메라는 XR 시스템(200)의 환경 지향 센서(230), 환경 지향 센서(들)(365), 환경 지향 센서(들)(410), 환경 지향 센서(들)(625), 동작 905의 제1 카메라, 동작 905의 제1 이미지 센서 또는 이들의 조합의 예일 수 있다. 일부 예에서, 모바일 핸드셋(810)의 후방 표면(860)은 제3 카메라(830C) 및 제4 카메라(830D)에 더하여 하나 이상의 추가 센서를 포함할 수 있다. 또한, 하나 이상의 추가 센서는 XR 시스템(200)의 환경 지향 센서(230), 환경 지향 센서(들)(365), 환경 지향 센서(들)(410), 환경 지향 센서(들)(625), 동작 905의 제1 카메라, 동작 905의 제1 이미지 센서 또는 이들의 조합의 예일 수 있다. 일부 예에서, 제1 카메라(830A), 제2 카메라(830B), 제3 카메라(830C) 및/또는 제4 카메라(830D)는 이미지 캡처 및 프로세싱 시스템(100), 이미지 캡처 디바이스(105A), 이미지 프로세싱 디바이스(105B) 또는 이들의 조합의 예일 수 있다.
모바일 핸드셋(810)은 하나 이상의 스피커(835B) 및/또는 다른 오디오 출력 디바이스(예를 들어, 이어폰 또는 헤드폰 또는 이에 대한 커넥터)를 포함할 수 있으며, 이는 모바일 핸드셋(810)의 사용자의 하나 이상의 귀에 오디오를 출력할 수 있다. 하나의 스피커(835B)가 도 8b에 예시되지만, 모바일 핸드셋(810)은 하나 초과의 스피커 및/또는 다른 오디오 디바이스를 포함할 수 있다는 것이 이해되어야 한다. 일부 예에서, 모바일 핸드셋(810)은 또한 하나 이상의 마이크(도시되지 않음)를 포함할 수 있다. 하나 이상의 마이크는, 예를 들어 마이크가 사용자(205)를 향하고 있는지 아니면 환경(220)을 향하고 있는지에 따라, XR 시스템(200)의 사용자 지향 센서(210) 및/또는 환경 지향 센서(230)의 예일 수 있다. 일부 예에서, 모바일 핸드셋(810)은 모바일 핸드셋(810)의 후방 표면(860)을 따라 그리고/또는 그에 인접하게 하나 이상의 마이크를 포함할 수 있으며, 이러한 마이크는 XR 시스템(200)의 환경 지향 센서(230)의 예일 수 있다. 일부 예에서, 하나 이상의 스피커(835B) 및/또는 다른 오디오 출력 디바이스를 통해 사용자에게 모바일 핸드셋(810)에 의해 출력된 오디오는 하나 이상의 마이크를 사용하여 녹음된 오디오를 포함할 수 있거나 그에 기초할 수 있다.
모바일 핸드셋(810)은 전방 표면(820) 상의 디스플레이(840)를 패스-스루 디스플레이로서 사용할 수 있다. 예를 들어, 디스플레이(840)는 디스플레이 버퍼(260)로부터의 디스플레이 이미지 데이터(265)와 같은 디스플레이 이미지 데이터를 디스플레이할 수 있다. 디스플레이 이미지 데이터는, 예를 들어, 가상 콘텐츠가 오버레이된, 제3 카메라(830C) 및/또는 제4 카메라(830D)에 의해 캡처된 이미지(예를 들어, 이미지 데이터(235))에 기초할 수 있다. 제1 카메라(830A) 및/또는 제2 카메라(830B)는 디스플레이 이미지 데이터를 디스플레이(840) 상에 디스플레이하기 전에, 디스플레이하는 동안 그리고/또는 디스플레이한 후에 사용자의 눈(및/또는 사용자의 다른 부분)의 이미지(예를 들어, 이미지 데이터(215))를 캡처할 수 있다. 이러한 방식으로, 제1 카메라(830A) 및/또는 제2 카메라(830B)로부터의 센서 데이터(예를 들어, 이미지 데이터(215))는 디스플레이 이미지 데이터에 대한 사용자의 눈(및/또는 사용자의 다른 부분)에 의한 반응을 캡처할 수 있다.
도 9는 자동 캡처 설정 구성을 위한 프로세스(900)를 예시하는 흐름도이다. 프로세스(900)는 이미징 시스템에 의해 수행될 수 있다. 일부 예에서, 이미징 시스템은 예를 들어 이미지 캡처 및 프로세싱 시스템(100), 이미지 캡처 디바이스(105A), 이미지 프로세싱 디바이스(105B), 이미지 프로세서(150), ISP(154), 호스트 프로세서(152), XR 시스템(200), XR 시스템(290), 이미지 캡처 설정 엔진(280), 사용자 지향 센서(들)(210), 환경 지향 센서(들)(230), 디스플레이 버퍼(260), XR 프로세스(300)를 수행하는 XR 시스템, XR 프로세스(350)를 수행하는 XR 시스템, 이미지 캡처 설정 엔진(320), 사용자 지향 센서(들)(310), 환경 지향 센서(들)(365), 디스플레이 버퍼(355), 사용자 지향 센서(들)(415), 환경 지향 센서(들)(410), XR 프로세스(500)를 수행하는 XR 시스템, 사용자 지향 센서(들)(540), 디스플레이 버퍼(505), 이미지 분석 엔진(525), XR 프로세스(600)를 수행하는 XR 시스템, 사용자 지향 센서(들)(650), 환경 지향 센서(들)(625), 디스플레이 버퍼(635), HMD(710), 모바일 핸드셋(810), 컴퓨팅 시스템(1000), 프로세서(1010) 또는 이들의 조합을 포함할 수 있다.
동작 905에서, XR 이미징 시스템은 제1 이미지 센서를 갖는 제1 카메라로부터 캡처 정보를 수신할 수 있다. 일부 양태에서, 캡처 정보는 제1 이미지 센서에 의한 제1 이미지 데이터의 캡처와 연관된다. 일부 경우에, 제1 이미지 센서는 제1 방향을 향한다.
동작 910에서, 이미징 시스템은 디스플레이를 사용하여 디스플레이되도록 구성된 디스플레이 데이터를 수신할 수 있다. 일부 예에서, 이미징 시스템은 디스플레이를 포함한다. 일부 경우에, 디스플레이는 디스플레이 데이터에 대응하는 광을 제2 방향으로 향하게 하도록 구성된다. 일부 양태에서, 디스플레이는 제1 방향으로부터 제2 방향으로 진행하는 광에 대해 적어도 부분적으로 투과성이다. 일부 예에서, 이미징 시스템은 디스플레이 데이터가 디스플레이를 사용하여 디스플레이되기 전에 디스플레이 데이터를 저장하는 디스플레이 버퍼로부터 디스플레이 데이터를 수신할 수 있다. 일부 양태에서, 디스플레이 데이터는 제1 이미지 센서에 의해 캡처된 이미지 콘텐츠를 포함한다. 일부 예에서, 디스플레이 데이터는 가상 콘텐츠를 포함한다. 일부 경우에, 이미징 시스템은 제1 이미지 센서에 의해 캡처된 콘텐츠와 구별되는 가상 콘텐츠를 생성할 수 있다.
동작 915에서, 이미징 시스템은, 캡처 정보 및 디스플레이 데이터에 기초하여, 제2 이미지 센서를 포함하는 제2 카메라에 대한 이미지 캡처 설정을 결정할 수 있다. 일부 구현예에서, 이미징 시스템은 제1 이미지 센서 및 제2 이미지 센서를 포함한다. 제2 이미지 센서는 일부 경우에 제1 이미지 센서가 향하는 제1 방향과 다를 수 있는 제2 방향을 향한다. 예를 들어, 일부 경우에, 제1 방향은 환경을 향하고, 제2 방향은 사용자의 적어도 일부를 향한다. 일부 경우에, 제1 방향은 제2 방향과 평행하고 반대이다.
일부 경우에, 캡처 정보는 제1 이미지 데이터를 포함한다. 일부 양태에서, 이미징 시스템은 제1 이미지 데이터의 적어도 일부의 휘도 측정값을 결정할 수 있다. 일부 예에서, 캡처 정보 및 디스플레이 데이터에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하기 위해, 이미징 시스템은 휘도 측정값에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정할 수 있다.
일부 경우에, 캡처 정보는 제2 이미지 캡처 설정을 포함한다. 일부 양태에서, 제1 이미지 센서는 제2 이미지 캡처 설정에 따라 제1 이미지 데이터를 캡처하도록 구성된다. 일부 예에서, 제2 이미지 캡처 설정은 노출 설정을 포함한다. 이러한 예에서, 제1 이미지 센서는 노출 설정에 따라 제1 카메라의 노출 파라미터로 제1 이미지 데이터를 캡처하도록 구성될 수 있다. 일부 양태에서, 캡처 정보 및 디스플레이 데이터에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하기 위해, 이미징 시스템은 제2 이미지 캡처 설정 및 룩업 테이블에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정할 수 있다. 일부 경우에, 룩업 테이블은 제1 카메라와 제2 카메라 사이의 각각의 이미지 캡처 설정을 매핑한다. 일부 양태에서, 이미지 캡처 설정은 룩업 테이블에서의 제2 이미지 캡처 설정에 대응한다.
일부 양태에서, 이미징 시스템은 디스플레이 데이터의 적어도 일부의 휘도 측정값을 결정할 수 있다. 일부 경우에, 캡처 정보 및 디스플레이 데이터에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하기 위해, 이미징 시스템은 휘도 측정값에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정할 수 있다.
일부 예에서, 이미징 시스템은 제2 카메라로부터 제2 이미지 캡처 정보를 수신할 수 있다. 일부 경우에, 제2 이미지 캡처 정보는 제2 이미지 센서에 의한 제2 이미지 데이터의 캡처 전의 제2 이미지 센서에 의한 제3 이미지 데이터의 캡처와 연관된다. 일부 양태에서, 캡처 정보 및 디스플레이 데이터에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하기 위해, 이미징 시스템은 캡처 정보, 제2 이미지 캡처 정보 및 디스플레이 데이터에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정할 수 있다. 일부 예에서, 제2 캡처 정보는 제3 이미지 데이터를 포함한다. 일부 양태에서, 이미징 시스템은 제3 이미지 데이터의 적어도 일부의 휘도 측정값을 결정할 수 있다. 일부 경우에, 캡처 정보, 제2 이미지 캡처 정보 및 디스플레이 데이터에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하기 위해, 이미징 시스템은 휘도 측정값에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정할 수 있다. 일부 양태에서, 제2 이미지 캡처 정보는 제2 이미지 캡처 설정을 포함한다. 일부 경우에, 제2 이미지 센서는 제2 이미지 캡처 설정에 따라 제3 이미지 데이터를 캡처한다.
일부 양태에서, 이미징 시스템은 캡처 정보 및 디스플레이 데이터에 기초하여 사용자의 일부의 조명 레벨을 결정할 수 있다. 일부 경우에, 캡처 정보에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하기 위해, 이미징 시스템은 사용자의 일부의 조명 레벨에 기초하여 제2 이미지 센서에 대한 이미지 캡처 설정을 결정할 수 있다. 일부 양태에서, 사용자의 일부의 조명 레벨을 결정하기 위해, 이미징 시스템은 제2 이미지 센서에 의한 제2 이미지 데이터의 캡처 전의 제2 이미지 센서에 의한 제3 이미지 데이터의 캡처와 연관된 제2 이미지 캡처 정보 및 캡처 정보에 기초하여 사용자의 일부의 조명 레벨을 결정할 수 있다.
동작 920에서, 이미징 시스템은 제2 이미지 센서가 이미지 캡처 설정에 따라 제2 이미지 데이터를 캡처하게 한다. 일부 경우에, 제1 이미지 데이터는 환경의 적어도 일부의 묘사를 포함하고, 제2 이미지 데이터는 사용자의 적어도 일부의 묘사를 포함한다. 일부 예에서, 제2 이미지 데이터는 사용자의 하나 이상의 눈의 묘사를 포함한다. 이미지 캡처 설정은 노출 설정, 화이트 밸런스 설정과 같은 임의의 적절한 설정을 포함할 수 있다. 일부 경우에, 화이트 밸런스 설정은 캡처 정보와 연관되는 색상 정보(예를 들어, 색상 캐스트(color cast), 색 온도 등)에 기초할 수 있다. 예를 들어, 화이트 밸런스 설정은 들어오는 광의 색상 캐스트 또는 색 온도와 디스플레이에서 표시되는 가상 콘텐츠의 색상에 기초할 수 있다.
위에서 언급된 바와 같이, 일부 예에서, 이미지 캡처 설정은 노출 설정을 포함한다. 일부 경우에, 제2 이미지 센서가 이미지 캡처 설정에 따라 제2 이미지 데이터를 캡처하게 하기 위해, 이미징 시스템은 노출 설정에 따라 제2 카메라와 연관되는 노출 파라미터를 설정할 수 있다.
일부 경우에, 이미징 시스템은 제2 이미지 센서에 의해 캡처된 제2 이미지 데이터를 수신할 수 있다. 일부 예에서, 이미징 시스템은 제2 이미지 데이터를 출력할 수 있다. 일부 예에서, 이미징 시스템은 제2 이미지 데이터에 기초하여 사용자의 눈의 위치를 결정할 수 있다.
일부 예에서, 본원에 설명된 프로세스(예를 들어, 도 1의 프로세스, 도 2a의 XR 시스템(200)에 의해 수행되는 프로세스(들), 도 2b의 XR 시스템(290)에 의해 수행되는 프로세스(들), 도 3a의 XR 프로세스(300), 도 3b의 XR 프로세스(350), 도 5의 XR 프로세스(500), 도 6의 XR 프로세스(600), 도 9의 프로세스(900), 도 10의 컴퓨팅 시스템(1000)에 의해 수행되는 프로세스(들) 및/또는 본원에 설명된 다른 프로세스)는 컴퓨팅 디바이스 또는 장치에 의해 수행될 수 있다. 일부 예에서, 본원에 설명된 프로세스는 이미지 캡처 및 프로세싱 시스템(100), 이미지 캡처 디바이스(105A), 이미지 프로세싱 디바이스(105B), 이미지 프로세서(150), ISP(154), 호스트 프로세서(152), XR 시스템(200), XR 시스템(290), HMD(710), 모바일 핸드셋(810), 컴퓨팅 시스템(1000), 프로세서(1010) 또는 이들의 조합에 의해 수행될 수 있다.
컴퓨팅 디바이스는 모바일 디바이스(예를 들어, 모바일 폰), 데스크톱 컴퓨팅 디바이스, 태블릿 컴퓨팅 디바이스, 웨어러블 디바이스(예를 들어, VR 헤드셋, AR 헤드셋, AR 글라스, 네트워크 연결 시계 또는 스마트 워치 또는 기타 웨어러블 디바이스), 서버 컴퓨터, 자율 차량 또는 자율 차량의 컴퓨팅 디바이스, 로봇 디바이스, 텔레비전 및/또는 도 1, 도 2, 도 8, 도 9 및/또는 도 10의 프로세스를 포함하는 본원에 설명된 프로세스를 수행하기 위한 리소스 능력을 갖는 임의의 다른 컴퓨팅 디바이스와 같은 임의의 적합한 디바이스를 포함할 수 있다. 일부 경우에, 컴퓨팅 디바이스 또는 장치는 하나 이상의 입력 디바이스, 하나 이상의 출력 디바이스, 하나 이상의 프로세서, 하나 이상의 마이크로프로세서, 하나 이상의 마이크로컴퓨터, 하나 이상의 카메라, 하나 이상의 센서 및/또는 본원에 설명된 프로세스의 단계를 수행하도록 구성되는 다른 컴포넌트(들)와 같은 다양한 컴포넌트를 포함할 수 있다. 일부 예에서, 컴퓨팅 디바이스는 디스플레이, 데이터를 통신 및/또는 수신하도록 구성된 네트워크 인터페이스, 이들의 임의의 조합 및/또는 다른 컴포넌트(들)를 포함할 수 있다. 네트워크 인터페이스는 인터넷 프로토콜(IP) 기반 데이터 또는 다른 유형의 데이터를 통신 및/또는 수신하도록 구성될 수 있다.
컴퓨팅 디바이스의 컴포넌트는 회로부에서 구현될 수 있다. 예를 들어, 컴포넌트는 하나 이상의 프로그래밍 가능 전자 회로(예를 들어, 마이크로프로세서, GPU(graphics processing unit), DSP(digital signal processor), CPU(central processing unit) 및/또는 다른 적절한 전자 회로)를 포함할 수 있는 전자 회로 또는 다른 전자 하드웨어를 포함할 수 있고 그리고/또는 이를 사용하여 구현될 수 있고 그리고/또는 본원에서 설명되는 다양한 동작을 수행하기 위해 컴퓨터 소프트웨어, 펌웨어 또는 이들의 임의의 조합을 포함할 수 있고 그리고/또는 이를 사용하여 구현될 수 있다.
본원에 설명된 프로세스는 논리 흐름도, 블록도 또는 개념도로서 예시되며, 이의 동작은 하드웨어, 컴퓨터 명령어 또는 이들의 조합으로 구현될 수 있는 동작의 시퀀스를 표현한다. 컴퓨터 명령어와 연계하여, 동작은 하나 이상의 프로세서에 의해 실행될 때 열거된 동작을 수행하는 하나 이상의 컴퓨터 판독 가능 저장 매체 상에 저장된 컴퓨터 실행 가능한 명령어를 표현한다. 대체적으로, 컴퓨터 실행 가능한 명령어는 특정 기능을 수행하거나 특정 데이터 유형을 구현하는 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조 등을 포함한다. 동작들이 설명되는 순서는 제한으로서 해석되는 것으로 의도되지 않으며, 임의의 수의 설명되는 동작들이 임의의 순서로 그리고/또는 병렬로 조합되어 프로세스를 구현할 수 있다.
추가적으로, 본원에 설명된 프로세스는 실행 가능한 명령어로 구성된 하나 이상의 컴퓨터 시스템의 제어 하에서 수행될 수 있고, 집합적으로 하나 이상의 프로세서 상에서 실행되는 코드(예를 들어, 실행 가능한 명령어, 하나 이상의 컴퓨터 프로그램 또는 하나 이상의 애플리케이션)로서, 하드웨어에 의해 또는 이들의 조합으로 구현될 수 있다. 위에서 언급된 바와 같이, 코드는 예를 들어, 하나 이상의 프로세서에 의해 실행 가능한 복수의 명령어를 포함하는 컴퓨터 프로그램의 형태로, 컴퓨터 판독 가능 또는 기계 판독 가능 저장 매체 상에 저장될 수 있다. 컴퓨터 판독 가능 또는 기계 판독 가능 저장 매체는 비일시적일 수 있다.
도 10은 본 기술의 특정 양태를 구현하기 위한 시스템의 일례를 예시하는 도면이다. 특히, 도 10은, 예를 들어, 내부 컴퓨팅 시스템, 원격 컴퓨팅 시스템, 카메라 또는 이들의 임의의 컴포넌트를 구성하는 임의의 컴퓨팅 디바이스일 수 있는 컴퓨팅 시스템(1000)의 예를 예시하고, 여기서 시스템의 컴포넌트는 연결(1005)을 사용하여 서로 통신한다. 연결(1005)은 버스를 사용한 물리적 연결이거나 칩셋 아키텍처에서와 같이 프로세서(1010)로의 직접 연결일 수 있다. 또한, 연결(1005)은 가상 연결, 네트워크 연결 또는 논리적 연결일 수 있다.
일부 실시형태에서, 컴퓨팅 시스템(1000)은 본 개시내용에서 설명된 기능이 데이터 센터, 다중 데이터 센터, 피어 네트워크 등의 내에서 분산될 수 있는 분산 시스템이다. 일부 실시형태에서, 설명된 시스템 컴포넌트 중 하나 이상은 컴포넌트가 설명된 기능의 일부 또는 전체를 각각 수행하는 많은 이러한 컴포넌트를 나타낸다. 일부 실시형태에서, 컴포넌트는 물리적 디바이스 또는 가상 디바이스일 수 있다.
예시적인 시스템(1000)은 적어도 하나의 프로세싱 유닛(CPU 또는 프로세서)(1010)과, 리드 온리 메모리(ROM: read-only memory)(1020) 및 랜덤 액세스 메모리(RAM: random access memory)(1025)와 같은 시스템 메모리(1015)를 포함하는 다양한 시스템 컴포넌트를 프로세서(1010)에 커플링하는 연결(1005)을 포함한다. 컴퓨팅 시스템(1000)은 프로세서(1010)와 직접 연결되거나, 이에 매우 근접하거나 또는 이의 일부로서 통합된 고속 메모리의 캐시(1012)를 포함할 수 있다.
프로세서(1010)는 임의의 범용 프로세서 및 프로세서(1010)를 제어하도록 구성된 저장 디바이스(1030)에 저장된 서비스(1032, 1034, 1036)와 같은 하드웨어 서비스 또는 소프트웨어 서비스뿐만 아니라 소프트웨어 명령어가 실제 프로세서 설계에 통합되는 특수 목적 프로세서를 포함할 수 있다. 프로세서(1010)는 본질적으로 다중 코어 또는 프로세서, 버스, 메모리 컨트롤러, 캐시 등을 포함하는 완전하게 독립형인 컴퓨팅 시스템일 수 있다. 다중 코어 프로세서는 대칭 또는 비대칭일 수 있다.
사용자 상호 작용을 가능하게 하기 위해, 컴퓨팅 시스템(1000)은 음성용 마이크, 제스처 또는 그래픽 입력용 터치 민감 스크린, 키보드, 마우스, 모션 입력, 음성 등과 같은 임의의 다수의 입력 메커니즘을 표현할 수 있는 입력 디바이스(1045)를 포함한다. 또한, 컴퓨팅 시스템(1000)은 다수의 출력 메커니즘 중 하나 이상일 수 있는 출력 디바이스(1035)를 포함할 수 있다. 일부 예에서, 다중 모드 시스템은 사용자로 하여금 컴퓨팅 시스템(1000)과 통신하기 위해 다수의 유형의 입력/출력을 제공할 수 있게 할 수 있다. 컴퓨팅 시스템(1000)은, 사용자 입력 및 시스템 출력을 대체적으로 통제하고 관리할 수 있는 통신 인터페이스(1040)를 포함할 수 있다. 통신 인터페이스는 오디오 잭/플러그, 마이크로폰 잭/플러그, 범용 직렬 버스(USB) 포트/플러그, Apple® Lightning® 포트/플러그, 이더넷 포트/플러그, 광섬유 포트/플러그, 사유의(proprietary) 유선 포트/플러그, BLUETOOTH® 무선 신호 전송, BLUETOOTH® 저에너지(BLE) 무선 신호 전송, IBEACON® 무선 신호 전송, 라디오 주파수 식별(RFID: radio-frequency identification) 무선 신호 전송, 근거리 통신(NFC) 무선 신호 전송, DSRC(dedicated short range communication) 무선 신호 전송, 802.11 Wi-Fi 무선 신호 전송, WLAN(wireless local area network) 신호 전송, VLC(Visible Light Communication), WiMAX(Worldwide Interoperability for Microwave Access), 적외선(IR) 통신 무선 신호 전송, PSTN(Public Switched Telephone Network) 신호 전송, ISDN(Integrated Services Digital Network) 신호 전송, 3G/4G/5G/LTE 셀룰러 데이터 네트워크 무선 신호 전송, ad-hoc 네트워크 신호 전송, 전파 신호 전송, 마이크로파 신호 전송, 적외선 신호 전송, 가시광 신호 전송, 자외선 신호 전송, 전자기 스펙트럼을 따른 무선 신호 전송 또는 이들의 일부 조합을 사용하는 것을 포함하는, 유선 및/또는 무선 트랜시버를 사용한 수신 및/또는 송신 유선 또는 무선 통신을 수행하거나 또는 가능하게 할 수 있다. 또한, 통신 인터페이스(1040)는 하나 이상의 GNSS(Global Navigation Satellite System) 시스템과 연관된 하나 이상의 위성으로부터의 하나 이상의 신호의 수신에 기초하여 컴퓨팅 시스템(1000)의 위치를 결정하는 데 사용되는 하나 이상의 GNSS 수신기 또는 트랜시버를 포함할 수 있다. GNSS 시스템은 미국 기반의 GPS(Global Positioning System), 러시아 기반의 GLONASS(Global Navigation Satellite System), 중국 기반의 BDS(BeiDou Navigation Satellite System) 및 유럽 기반의 갈릴레오 GNSS를 포함하지만 이에 국한되지는 않는다. 임의의 특정 하드웨어 배열에 대해 동작하는 것에 대한 제한은 없으며, 따라서, 본원에서의 기본 특징은 이들이 개발됨에 따라 개선된 하드웨어 또는 펌웨어 배열로 쉽게 대체될 수 있다.
저장 디바이스(1030)는 비휘발성 및/또는 비일시적 및/또는 컴퓨터 판독 가능 메모리 디바이스일 수 있고, 하드 디스크이거나 또는 자기 카세트, 플래시 메모리 카드, 솔리드 스테이트 메모리 디바이스, 디지털 다기능 디스크, 카트리지, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프, 자기 스트립/스트라이프, 임의의 다른 자기 저장 매체, 플래시 메모리, 멤리스터 메모리, 임의의 다른 솔리드 스테이트 메모리, 컴팩트 디스크 리드 온리 메모리(CD-ROM) 광 디스크, 재기록 가능한 컴팩트 디스크(CD) 광 디스크, 디지털 비디오 디스크(DVD) 광 디스크, 블루-레이 디스크(BDD) 광 디스크, 홀로그래픽 광 디스크, 다른 광학 매체, 보안 디지털(SD) 카드, 마이크로 보안 디지털(microSD) 카드, Memory Stick® 카드, 스마트카드 칩, EMV 칩, 가입자 아이덴티티 모듈(SIM) 카드, 미니/마이크로/나노/피코 SIM 카드, 다른 집적 회로(IC) 칩/카드, 랜덤 액세스 메모리(RAM), 정적 RAM(SRAM), 동적 RAM(DRAM), 리드 온리 메모리(ROM), 프로그래머블 리드 온리 메모리(PROM), 소거 가능한 프로그래머블 리드 온리 메모리(EPROM), 전기적으로 소거가능한 프로그래머블 리드 온리 메모리(EEPROM), 플래시 EPROM(FLASHEPROM), 캐시 메모리(L1/L2/L3/L4/L5/L#), 저항성 랜덤 액세스 메모리(RRAM/ReRAM), 상 변화 메모리(PCM), 스핀 전달 토크 RAM(STT-RAM), 다른 메모리 칩 또는 카트리지 및/또는 이들의 조합과 같은 컴퓨터에 의해 액세스 가능한 데이터를 저장할 수 있는 다른 유형의 컴퓨터 판독 가능 저장 매체일 수 있다.
저장 디바이스(1030)는, 소프트웨어를 정의하는 코드가 프로세서(1010)에 의해 실행될 때 시스템으로 하여금 기능을 수행하게 하는 이러한 소프트웨어 서비스, 서버, 서비스 등을 포함할 수 있다. 일부 실시형태에서, 특정 기능을 수행하는 하드웨어 서비스는, 그 기능을 수행하기 위해, 프로세서(1010), 연결(1005), 출력 디바이스(1035) 등과 같은 필요한 하드웨어 컴포넌트와 관련하여 컴퓨터 판독 가능 저장 매체에 저장된 소프트웨어 컴포넌트를 포함할 수 있다.
본원에서 사용되는, "컴퓨터 판독 가능 저장 매체(computer-readable medium)"라는 용어는, 휴대 또는 비휴대 저장 디바이스, 광학 저장 디바이스 및 명령어(들) 및/또는 데이터를 저장, 포함 또는 운반할 수 있는 다양한 다른 저장 매체를 포함하지만, 이에 국한되지 않는다. 컴퓨터 판독 가능 저장 매체는 데이터가 저장될 수 있고 무선으로 또는 유선 연결을 통해 전파되는 캐리어 및/또는 일시적 전자 신호를 포함하지 않는 비일시적 매체를 포함할 수 있다. 비일시적 매체의 예는 자기 디스크 또는 테이프, CD(compact disk) 또는 DVD(digital versatile disk)와 같은 광학 저장 매체, 플래시 메모리, 메모리 또는 메모리 디바이스를 포함할 수 있지만, 이에 국한되지 않는다. 컴퓨터 판독 가능 저장 매체는 그에 저장된 절차, 함수, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스 또는 명령어, 데이터 구조 또는 프로그램 명령문의 임의의 조합을 나타낼 수 있는 코드 및/또는 기계 실행 가능한 명령어를 가질 수 있다. 코드 세그먼트는 정보, 데이터, 독립 변수(argument), 파라미터 또는 메모리 콘텐츠를 전달 및/또는 수신함으로써 다른 코드 세그먼트 또는 하드웨어 회로에 커플링될 수 있다. 정보, 독립 변수, 파라미터, 데이터 등은 메모리 공유, 메시지 전달, 토큰 전달, 네트워크 송신 등을 포함한 임의의 적합한 수단을 사용하여 전달, 포워딩 또는 송신될 수 있다.
일부 실시형태에서, 컴퓨터 판독 가능 저장 디바이스, 매체 및 메모리는 비트 스트림 등을 포함하는 케이블 또는 무선 신호를 포함할 수 있다. 그러나, 언급될 때, 비일시적 컴퓨터 판독 가능 저장 매체는 에너지, 캐리어 신호, 전자파 및 신호 그 자체와 같은 매체를 명시적으로 배제한다.
본원에 제공되는 실시형태 및 예의 완전한 이해를 제공하기 위해, 특정 세부 사항이 위의 설명에서 제공된다. 그러나 실시형태가 이러한 특정 세부 사항 없이 실시될 수 있다는 것이 당해 기술분야에서 통상의 지식을 가진 자에 의해 이해될 것이다. 설명의 명확성을 위해, 일부 경우에, 본 기술은 디바이스, 디바이스 컴포넌트, 소프트웨어로 구현되는 방법의 단계 또는 루틴 또는 하드웨어와 소프트웨어의 조합을 포함하는 기능 블록을 포함하는 개별 기능 블록을 포함하는 것으로 제시될 수 있다. 도면에 도시된 그리고/또는 본원에서 설명되는 것 이외의 추가 컴포넌트가 사용될 수 있다. 예를 들어, 불필요한 세부 사항으로 실시형태를 모호하게 하지 않도록 회로, 시스템, 네트워크, 프로세스 및 다른 컴포넌트는 블록도 형태로 컴포넌트로서 도시될 수 있다. 다른 경우에는, 실시형태를 모호하게 하는 것을 피하기 위해, 잘 알려진 회로, 프로세스, 알고리즘, 구조 및 기법은 불필요한 세부 항 없이 도시될 수 있다.
개별 실시형태는 위에서 흐름도, 순서도, 데이터 순서도, 구조도 또는 블록도로서 도시된 프로세스 또는 방법으로서 설명될 수 있다. 흐름도가 동작들을 순차적인 프로세스로서 설명할 수 있지만, 동작들의 대부분은 병렬로 또는 동시에 수행될 수 있다. 추가로, 동작들의 순서는 재-배열될 수 있다. 프로세스는 프로세서의 동작들이 완료될 때 종료되지만 도면에 포함되지 않은 추가 단계를 가질 수 있다. 프로세스는 방법, 함수, 절차, 서브루틴, 서브프로그램 등에 대응할 수 있다. 프로세스가 함수에 대응할 때, 그 종료는 호출 함수 또는 메인 함수로의 함수의 복귀에 대응할 수 있다.
위에서 설명된 예들에 따른 프로세스 및 방법은 컴퓨터 판독 가능 저장 매체로부터 저장되거나 아니면 컴퓨터 판독 가능 저장 매체로부터 사용 가능한 컴퓨터 실행 가능한 명령어를 사용하여 구현될 수 있다. 이러한 명령어는 예를 들어, 범용 컴퓨터, 특수 목적 컴퓨터 또는 프로세싱 디바이스로 하여금 특정 기능 또는 기능들의 그룹을 수행하게 하거나 아니면 구성하는 명령어 및 데이터를 포함할 수 있다. 사용되는 컴퓨터 리소스의 부분은 네트워크를 통해 액세스 가능할 수 있다. 컴퓨터 실행 가능한 명령어는, 예를 들어, 어셈블리 언어, 펌웨어, 소스 코드 등과 같은 이진수, 중간 포맷 명령어일 수 있다. 명령어, 사용되는 정보 및/또는 설명된 예들에 따른 방법 동안 형성된 정보를 저장하기 위해 사용될 수 있는 컴퓨터 판독 가능 저장 매체의 예는 자기 또는 광학 디스크, 플래시 메모리, 비휘발성 메모리가 제공된 USB 디바이스, 네트워킹된 저장 디바이스 등을 포함한다.
이러한 개시내용에 따른 프로세스 및 방법을 구현하는 디바이스는 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어 또는 이들의 임의의 조합을 포함할 수 있고, 다양한 폼 팩터 중 임의의 폼 팩터를 취할 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현될 때, 필요한 작업을 수행하기 위한 프로그램 코드 또는 코드 세그먼트(예를 들어, 컴퓨터 프로그램 제품)는 컴퓨터 판독 가능 또는 기계 판독 가능 저장 매체에 저장될 수 있다. 프로세서(들)는 필요한 작업을 수행할 수 있다. 폼 팩터의 통상적인 예들은 랩톱, 스마트 폰, 모바일 폰, 태블릿 디바이스 또는 다른 소형 폼 팩터 퍼스널 컴퓨터, 퍼스널 디지털 어시스턴트, 랙마운트 디바이스, 독립형 디바이스 등을 포함한다. 또한, 본원에서 설명되는 기능은 주변 기기 또는 애드인(add-in) 카드로 구현될 수 있다. 이러한 기능은 또한 추가 예로서, 단일 디바이스에서 실행되는 상이한 프로세스 또는 상이한 칩 사이의 회로 기판 상에서 구현될 수 있다.
명령어, 이러한 명령어를 전달하기 위한 저장 매체, 명령어를 실행하기 위한 컴퓨팅 리소스 및 이러한 컴퓨팅 리소스를 지원하기 위한 다른 구조는 본 개시내용에서 설명되는 기능을 제공하기 위한 예시적인 수단이다.
위의 설명에서, 본 출원의 양태는 본 출원의 특정 실시형태를 참조하여 설명되지만, 당해 기술분야에서 통상의 지식을 가진 자는 본 출원이 이에 제한되지 않는다는 것을 인식할 것이다. 따라서 본 출원의 예시적인 실시형태가 본원에서 상세히 설명되었지만, 본 발명의 개념은 다른 식으로 다양하게 구현 및 사용될 수 있고, 첨부된 청구항은 종래 기술에 의해 제한된 것을 제외하면, 이러한 변형을 포함하는 것으로 해석되어야 한다는 것이 이해되어야 한다. 위에서 설명된 애플리케이션의 다양한 특징 및 양태는 개별적으로 또는 공동으로 사용될 수 있다. 추가로, 실시형태는, 본 명세서의 더 넓은 사상 및 범주를 벗어나지 않으면서, 본원에서 설명되는 것 이외의 임의의 수의 환경 및 애플리케이션에서 사용될 수 있다. 이에 따라, 본 명세서 및 도면은 제한적인 것이 아니라 예시적인 것으로 간주되어야 한다. 예시의 목적으로, 방법은 특정 순서로 설명되었다. 대안적인 실시형태에서, 방법은 설명된 것과 상이한 순서로 수행될 수 있다고 인식되어야 한다.
통상의 기술자는 본원에서 사용된 미만("<") 및 초과(">") 기호 또는 용어가 본 개시내용의 범위를 벗어나지 않으면서 이하("") 및 이상("") 기호로 각각 대체될 수 있다는 것을 이해할 것이다.
컴포넌트가 특정 동작을 수행하도록 "구성된(configured to)" 것으로 기술되는 경우, 이러한 구성은 예를 들어, 전자 회로 또는 다른 하드웨어를 설계하여 그 동작을 수행하는 것에 의해, 프로그래밍 가능한 전자 회로(예를 들어, 마이크로프로세서 또는 다른 적절한 전자 회로)를 프로그래밍하여 그 동작을 수행하는 것에 의해 또는 이들의 임의의 조합에 의해 달성될 수 있다.
"~에 커플링된(coupled to)"이라는 문구는 다른 컴포넌트에 직접적으로 또는 간접적으로 물리적으로 연결된 임의의 컴포넌트 및/또는 다른 컴포넌트와 직접적으로 또는 간접적으로 통신하는(예를 들어, 유선 또는 무선 연결 및/또는 다른 적합한 통신 인터페이스를 통해 다른 컴포넌트에 연결된) 임의의 컴포넌트를 지칭한다.
세트 "중의 적어도 하나" 및/또는 세트 "중의 하나 이상"을 언급하는 청구항 언어 또는 기타 언어는 그 세트 중의 하나의 멤버 또는 (임의의 조합으로의) 그 세트의 다수의 멤버가 청구항을 만족하는 것을 나타낸다. 예를 들어, "A 및 B 중 적어도 하나"를 언급하는 청구항 언어는 A, B 또는 A와 B를 의미한다. 다른 예에서, "A, B 및 C 중 적어도 하나"를 언급하는 청구항 언어는 A, B, C 또는 A와 B 또는 A와 C 또는 B와 C 또는 A와 B와 C를 의미한다. 그 언어, 세트 "중 적어도 하나" 및/또는 세트 중 "하나 이상"은 세트를 그 세트에 열거된 항목으로 제한하지 않는다. 예를 들어, "A 및 B 중 적어도 하나"를 인용하는 청구항 언어는 A, B 또는 A 및 B를 의미할 수 있고, A 및 B의 세트에 열거되지 않은 항목을 추가적으로 포함할 수 있다.
본원에 개시된 실시형태와 관련하여 설명된 다양한 예시적인 논리 블록, 모듈, 회로 및 알고리즘 단계는 전자 하드웨어, 컴퓨터 소프트웨어, 펌웨어 또는 이들의 조합으로 구현될 수 있다. 하드웨어와 소프트웨어의 이러한 상호 교환 가능성을 명확히 예시하기 위해, 다양한 예시적인 컴포넌트, 블록, 모듈, 회로 및 단계는 이의 기능 관점에서 일반적으로 위에서 설명되었다. 이러한 기능이 하드웨어로 구현되는지 또는 소프트웨어로 구현되는지는 특정 애플리케이션 및 전체 시스템에 대해 부과된 설계 제약에 의존한다. 당해 기술분야에서 통상의 지식을 가진 자는 설명된 기능을 특정 출원마다 다양한 방식으로 구현할 수 있지만, 이러한 구현 결정이 본 출원의 범주를 벗어나게 하는 것으로 해석되지는 않아야 한다.
본원에서 설명되는 기법은 또한 전자 하드웨어, 컴퓨터 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수 있다. 이러한 기법은 무선 통신 디바이스 핸드셋 및 다른 디바이스에서의 적용을 포함하여 다수의 용도를 갖는 범용 컴퓨터, 무선 통신 디바이스 핸드셋 또는 집적 회로 디바이스과 같은 다양한 디바이스 중 임의의 디바이스에서 구현될 수 있다. 모듈 또는 컴포넌트로서 설명되는 임의의 특징은 통합된 논리 디바이스로 함께 또는 개별적이지만 상호 운용 가능한 논리 디바이스로서 별개로 구현될 수 있다. 소프트웨어로 구현된다면, 이 기법은 적어도 부분적으로는, 실행될 때 위에서 설명된 방법 중 하나 이상을 수행하는 명령어를 포함하는 프로그램 코드를 포함하는 컴퓨터 판독 가능 데이터 저장 매체에 의해 실현될 수 있다. 컴퓨터 판독 가능 데이터 저장 매체는 패키징 재료를 포함할 수 있는 컴퓨터 프로그램 제품의 일부를 형성할 수 있다. 컴퓨터 판독 가능 매체는 RAM(random access memory), 이를테면 SDRAM(synchronous dynamic random access memory), ROM(read-only memory), NVRAM(non-volatile random access memory), EEPROM(electrically erasable programmable read-only memory), FLASH 메모리, 자기 또는 광 데이터 저장 매체 등과 같은 메모리 또는 데이터 저장 매체를 포함할 수 있다. 추가적으로 또는 대안적으로, 이 기법은, 적어도 부분적으로는, 명령어 또는 데이터 구조의 형태로 프로그램 코드를 운반 또는 전달하고, 전파 신호 또는 파(wave)와 같이 컴퓨터에 의해 액세스, 판독 및/또는 실행될 수 있는 컴퓨터 판독 가능 통신 매체에 의해 실현될 수 있다.
프로그램 코드는 하나 이상의 DSP(digital signal processor), 범용 마이크로프로세서, ASIC(application specific integrated circuit), FPGA(field programmable logic array) 또는 다른 대등한 집적 또는 이산 논리 회로와 같은 하나 이상의 프로세서를 포함할 수 있는 프로세서에 의해 실행될 수 있다. 이러한 프로세서는 본 개시내용에서 설명되는 기법들 중 임의의 기법을 수행하도록 구성될 수 있다. 범용 프로세서는 마이크로프로세서일 수 있지만; 대안적으로, 프로세서는 임의의 종래의 프로세서, 컨트롤러, 마이크로컨트롤러 또는 상태 머신일 수 있다. 또한, 프로세서는 컴퓨팅 디바이스의 조합, 예를 들어 DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서, DSP 코어와 결합된 하나 이상의 마이크로프로세서 또는 임의의 다른 이러한 구성으로서 구현될 수 있다. 이에 따라, 본원에서 사용되는 "프로세서"라는 용어는 전술한 구조, 전술한 구조의 임의의 조합 또는 본원에서 설명된 기법의 구현에 적합한 임의의 다른 구조 또는 장치 중 임의의 것을 지칭할 수 있다. 부가적으로, 일부 양태에 있어서, 본원에서 설명된 기능은, 인코딩 및 디코딩을 위해 구성된 전용 소프트웨어 모듈 또는 하드웨어 모듈 내에서 제공되거나 또는 조합된 비디오 인코더-디코더(CODEC)에 통합될 수 있다.
본 개시내용의 예시적인 양태는 다음을 포함한다:
양태 1: 자동 캡처 설정 구성을 위한 장치로서, 장치는, 적어도 하나의 메모리; 및 적어도 하나의 메모리에 커플링된 하나 이상의 프로세서를 포함하며, 하나 이상의 프로세서는, 제1 이미지 센서를 갖는 제1 카메라로부터 캡처 정보를 수신하고 - 캡처 정보는 제1 이미지 센서에 의한 제1 이미지 데이터의 캡처와 연관되고, 제1 이미지 센서는 제1 방향을 향함 -; 디스플레이를 사용하여 디스플레이되도록 구성된 디스플레이 데이터를 수신하고; 캡처 정보 및 디스플레이 데이터에 기초하여, 제2 이미지 센서를 포함하는 제2 카메라에 대한 이미지 캡처 설정을 결정하고 - 제2 이미지 센서는 제2 방향을 향함 -; 제2 이미지 센서가 이미지 캡처 설정에 따라 제2 이미지 데이터를 캡처하게 하도록 구성되는, 장치.
양태 2: 양태 1에 있어서, 이미지 캡처 설정은 노출 설정을 포함하고, 제2 이미지 센서가 이미지 캡처 설정에 따라 제2 이미지 데이터를 캡처하게 하기 위해, 하나 이상의 프로세서는 노출 설정에 따라 제2 카메라와 연관되는 노출 파라미터를 설정하도록 구성되는, 장치.
양태 3: 양태 1 또는 2에 있어서, 이미지 캡처 설정은 캡처 정보와 연관되는 색상 정보에 기초한 화이트 밸런스 설정을 포함하는, 장치.
양태 4: 양태 1 내지 양태 3 중 어느 한 양태에 있어서, 캡처 정보는 제1 이미지 데이터를 포함하는, 장치.
양태 5: 양태 4항에 있어서, 하나 이상의 프로세서는, 제1 이미지 데이터의 적어도 일부의 휘도 측정값을 결정하도록 구성되고, 캡처 정보 및 디스플레이 데이터에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하기 위해, 하나 이상의 프로세서는 휘도 측정값에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하도록 구성되는, 장치.
양태 6: 양태 1 내지 양태 5 중 어느 한 양태에 있어서, 캡처 정보는 제2 이미지 캡처 설정을 포함하고, 제1 이미지 센서는 제2 이미지 캡처 설정에 따라 제1 이미지 데이터를 캡처하도록 구성되는, 장치.
양태 7: 양태 1 내지 양태 6 중 어느 한 양태에 있어서, 제2 이미지 캡처 설정은 노출 설정을 포함하고, 제1 이미지 센서는 노출 설정에 따라 제1 카메라의 노출 파라미터로 제1 이미지 데이터를 캡처하도록 구성되는, 장치.
양태 8: 양태 6 또는 양태 7에 있어서, 캡처 정보 및 디스플레이 데이터에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하기 위해, 하나 이상의 프로세서는 제2 이미지 캡처 설정 및 룩업 테이블에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하도록 구성되고, 룩업 테이블은 제1 카메라와 제2 카메라 사이의 각각의 이미지 캡처 설정을 매핑하고, 이미지 캡처 설정은 룩업 테이블에서의 제2 이미지 캡처 설정에 대응하는, 장치.
양태 9: 양태 1 내지 양태 8 중 어느 한 양태에 있어서, 디스플레이 데이터를 수신하기 위해, 하나 이상의 프로세서는 디스플레이를 사용하여 디스플레이 데이터가 디스플레이되기 전에 디스플레이 데이터를 저장하는 디스플레이 버퍼로부터 디스플레이 데이터를 수신하도록 구성되는, 장치.
양태 10: 양태 1 내지 양태 9 중 어느 한 양태에 있어서, 하나 이상의 프로세서는, 디스플레이 데이터의 적어도 일부의 휘도 측정값을 결정하도록 구성되고, 캡처 정보 및 디스플레이 데이터에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하기 위해, 하나 이상의 프로세서는 휘도 측정값에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하도록 구성되는, 장치.
양태 11: 양태 1 내지 양태 10 중 어느 한 양태에 있어서, 디스플레이 데이터를 디스플레이하도록 구성되는 디스플레이를 더 포함하는 장치.
양태 12: 양태 1 내지 양태 11 중 어느 한 양태에 있어서, 디스플레이는 디스플레이 데이터에 대응하는 광을 제2 방향으로 향하게 하도록 구성되는, 장치.
양태 13: 양태 1 내지 양태 12 중 어느 한 양태에 있어서, 디스플레이 데이터는 제1 이미지 센서에 의해 캡처된 이미지 콘텐츠를 포함하는, 장치.
양태 14: 양태 1 내지 양태 13 중 어느 한 양태에 있어서, 하나 이상의 프로세서는 제1 이미지 센서에 의해 캡처된 콘텐츠와 구별되는 가상 콘텐츠를 생성하도록 구성되고, 디스플레이 데이터는 가상 콘텐츠를 포함하는, 장치.
양태 15: 양태 1 내지 양태 14 중 어느 한 양태에 있어서, 디스플레이는 제1 방향으로부터 제2 방향으로 진행하는 광에 대해 적어도 부분적으로 투과성인, 장치.
양태 16: 양태 1 내지 양태 15 중 어느 한 양태에 있어서, 하나 이상의 프로세서는, 제2 카메라로부터 제2 이미지 캡처 정보를 수신하도록 구성되고, 제2 이미지 캡처 정보는 제2 이미지 센서에 의한 제2 이미지 데이터의 캡처 전의 제2 이미지 센서에 의한 제3 이미지 데이터의 캡처와 연관되며, 캡처 정보 및 디스플레이 데이터에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하기 위해, 하나 이상의 프로세서는 캡처 정보, 제2 이미지 캡처 정보 및 디스플레이 데이터에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하도록 구성되는, 장치.
양태 17: 양태 16에 있어서, 제2 이미지 캡처 정보는 제3 이미지 데이터를 포함하는, 장치.
양태 18: 양태 16 또는 양태 17에 있어서, 하나 이상의 프로세서는, 제3 이미지 데이터의 적어도 일부의 휘도 측정값을 결정하도록 구성되고, 캡처 정보, 제2 이미지 캡처 정보 및 디스플레이 데이터에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하기 위해, 하나 이상의 프로세서는 휘도 측정값에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하도록 구성되는, 장치.
양태 19: 양태 16 내지 양태 18 중 어느 한 양태에 있어서, 제2 이미지 캡처 정보는 제2 이미지 캡처 설정을 포함하고, 제2 이미지 센서는 제2 이미지 캡처 설정에 따라 제3 이미지 데이터를 캡처하는, 장치.
양태 20: 양태 1 내지 양태 19 중 어느 한 양태에 있어서, 하나 이상의 프로세서는, 캡처 정보 및 디스플레이 데이터에 기초하여 사용자의 일부의 조명 레벨을 결정하도록 구성되고, 캡처 정보에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하기 위해, 하나 이상의 프로세서는 사용자의 일부의 조명 레벨에 기초하여 제2 이미지 센서에 대한 이미지 캡처 설정을 결정하도록 구성되는, 장치.
양태 21: 양태 20에 있어서, 사용자의 일부의 조명 레벨을 결정하기 위해, 하나 이상의 프로세서는 제2 이미지 센서에 의한 제2 이미지 데이터의 캡처 전의 제2 이미지 센서에 의한 제3 이미지 데이터의 캡처와 연관된 제2 이미지 캡처 정보 및 캡처 정보에 기초하여 사용자의 일부의 조명 레벨을 결정하도록 구성되는, 장치.
양태 22: 양태 1 내지 양태 21 중 어느 한 양태에 있어서, 하나 이상의 프로세서는, 제2 이미지 센서에 의해 캡처된 제2 이미지 데이터를 수신하고; 제2 이미지 데이터를 출력하도록 구성되는, 장치.
양태 23: 양태 1 내지 양태 22 중 어느 한 양태에 있어서, 하나 이상의 프로세서는, 제2 이미지 센서에 의해 캡처된 제2 이미지 데이터를 수신하고; 제2 이미지 데이터에 기초하여 사용자의 눈의 위치를 결정하도록 구성되는, 장치.
양태 24: 양태 1 내지 양태 23 중 어느 한 양태에 있어서, 제1 방향은 환경을 향하고, 제2 방향은 사용자의 적어도 일부를 향하는, 장치.
양태 25: 양태 1 내지 양태 24 중 어느 한 양태에 있어서, 제1 방향은 제2 방향과 평행하고 반대인, 장치.
양태 26: 양태 1 내지 양태 25 중 어느 한 양태에 있어서, 제1 이미지 데이터는 환경의 적어도 일부의 묘사를 포함하고, 제2 이미지 데이터는 사용자의 적어도 일부의 묘사를 포함하는, 장치.
양태 27: 양태 1 내지 양태 26 중 어느 한 양태에 있어서, 제2 이미지 데이터는 사용자의 하나 이상의 눈의 묘사를 포함하는, 장치.
양태 28: 양태 1 내지 양태 27 중 어느 한 양태에 있어서, 제1 이미지 센서; 및 제2 이미지 센서를 더 포함하는 장치.
양태 29: 양태 1 내지 양태 28 중 어느 한 양태에 있어서, 장치는 헤드 마운트 디스플레이를 포함하는, 장치.
양태 30: 자동 캡처 설정 구성을 위한 장치로서, 장치는, 적어도 하나의 메모리; 및 적어도 하나의 메모리에 커플링된 하나 이상의 프로세서를 포함하고, 하나 이상의 프로세서는, 제1 이미지 센서를 갖는 제1 카메라로부터 캡처 정보를 수신하고 - 캡처 정보는 제1 이미지 센서에 의한 제1 이미지 데이터의 캡처와 연관되고, 제1 이미지 센서는 제1 방향을 향함 -; 디스플레이를 사용하여 디스플레이되도록 구성된 디스플레이 데이터를 수신하고; 캡처 정보 및 디스플레이 데이터에 기초하여, 제2 이미지 센서를 포함하는 제2 카메라에 대한 이미지 캡처 설정을 결정하고 - 제2 이미지 센서는 제2 방향을 향함 -; 제2 이미지 센서가 이미지 캡처 설정에 따라 제2 이미지 데이터를 캡처하게 하도록 구성되는, 장치.
양태 31: 양태 30에 있어서, 이미지 캡처 설정은 노출 설정을 포함하고, 제2 이미지 센서가 이미지 캡처 설정에 따라 제2 이미지 데이터를 캡처하게 하기 위해, 하나 이상의 프로세서는 노출 설정에 따라 제2 카메라와 연관되는 노출 파라미터를 설정하도록 구성되는, 장치.
양태 32: 양태 30 또는 31에 있어서, 이미지 캡처 설정은 캡처 정보와 연관되는 색상 정보에 기초한 화이트 밸런스 설정을 포함하는, 장치.
양태 33: 양태 30 내지 양태 32 중 어느 한 양태에 있어서, 캡처 정보는 제1 이미지 데이터를 포함하는, 장치.
양태 34: 양태 제33에 있어서, 제1 이미지 데이터의 적어도 일부의 휘도 측정값을 결정하는 단계를 더 포함하고, 캡처 정보 및 디스플레이 데이터에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하는 단계는, 휘도 측정값에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하는 단계를 포함하는, 장치.
양태 35: 양태 30 내지 양태 34 중 어느 한 양태에 있어서, 캡처 정보는 제2 이미지 캡처 설정을 포함하고, 제1 이미지 센서는 제2 이미지 캡처 설정에 따라 제1 이미지 데이터를 캡처하도록 구성되는, 장치.
양태 36: 양태 30 내지 양태 35 중 어느 한 양태에 있어서, 제2 이미지 캡처 설정은 노출 설정을 포함하고, 제1 이미지 센서는 노출 설정에 따라 제1 카메라의 노출 파라미터로 제1 이미지 데이터를 캡처하도록 구성되는, 장치.
양태 37: 양태 35 또는 양태 36에 있어서, 캡처 정보 및 디스플레이 데이터에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하기 위해, 하나 이상의 프로세서는 제2 이미지 캡처 설정 및 룩업 테이블에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하도록 구성되고, 룩업 테이블은 제1 카메라와 제2 카메라 사이의 각각의 이미지 캡처 설정을 매핑하고, 이미지 캡처 설정은 룩업 테이블에서의 제2 이미지 캡처 설정에 대응하는, 장치.
양태 38: 양태 30 내지 양태 37 중 어느 한 양태에 있어서, 디스플레이 데이터를 수신하기 위해, 하나 이상의 프로세서는 디스플레이를 사용하여 디스플레이 데이터가 디스플레이되기 전에 디스플레이 데이터를 저장하는 디스플레이 버퍼로부터 디스플레이 데이터를 수신하도록 구성되는, 장치.
양태 39: 양태 30 내지 양태 38 중 어느 한 양태에 있어서, 하나 이상의 프로세서는, 디스플레이 데이터의 적어도 일부의 휘도 측정값을 결정하도록 구성되고, 캡처 정보 및 디스플레이 데이터에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하기 위해, 하나 이상의 프로세서는 휘도 측정값에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하도록 구성되는, 장치.
양태 40: 양태 30 내지 양태 39 중 어느 한 양태에 있어서, 디스플레이 데이터를 디스플레이하도록 구성되는 디스플레이를 더 포함하는 장치.
양태 41: 양태 30 내지 양태 40 중 어느 한 양태에 있어서, 디스플레이는 디스플레이 데이터에 대응하는 광을 제2 방향으로 향하게 하도록 구성되는, 장치.
양태 42: 양태 30 내지 양태 41 중 어느 한 양태에 있어서, 디스플레이 데이터는 제1 이미지 센서에 의해 캡처된 이미지 콘텐츠를 포함하는, 장치.
양태 43: 양태 30 내지 양태 42 중 어느 한 양태에 있어서, 하나 이상의 프로세서는, 제1 이미지 센서에 의해 캡처된 콘텐츠와 구별되는 가상 콘텐츠를 생성하도록 구성되고, 디스플레이 데이터는 가상 콘텐츠를 포함하는, 장치.
양태 44: 양태 30 내지 양태 43 중 어느 한 양태에 있어서, 디스플레이는 제1 방향으로부터 제2 방향으로 진행하는 광에 대해 적어도 부분적으로 투과성인, 장치.
양태 45: 양태 30 내지 양태 44 중 어느 한 양태에 있어서, 하나 이상의 프로세서는, 제2 카메라로부터 제2 이미지 캡처 정보를 수신하도록 구성되고, 제2 이미지 캡처 정보는 제2 이미지 센서에 의한 제2 이미지 데이터의 캡처 전의 제2 이미지 센서에 의한 제3 이미지 데이터의 캡처와 연관되며, 캡처 정보 및 디스플레이 데이터에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하기 위해, 하나 이상의 프로세서는 캡처 정보, 제2 이미지 캡처 정보 및 디스플레이 데이터에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하도록 구성되는, 장치.
양태 46: 양태 45에 있어서, 제2 이미지 캡처 정보는 제3 이미지 데이터를 포함하는, 장치.
양태 47: 양태 45 또는 양태 46에 있어서, 하나 이상의 프로세서는, 제3 이미지 데이터의 적어도 일부의 휘도 측정값을 결정하도록 구성되고, 캡처 정보, 제2 이미지 캡처 정보 및 디스플레이 데이터에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하기 위해, 하나 이상의 프로세서는 휘도 측정값에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하도록 구성되는, 장치.
양태 48: 양태 45 내지 양태 47 중 어느 한 양태에 있어서, 제2 이미지 캡처 정보는 제2 이미지 캡처 설정을 포함하고, 제2 이미지 센서는 제2 이미지 캡처 설정에 따라 제3 이미지 데이터를 캡처하는, 장치.
양태 49: 양태 30 내지 양태 48 중 어느 한 양태에 있어서, 하나 이상의 프로세서는, 캡처 정보 및 디스플레이 데이터에 기초하여 사용자의 일부의 조명 레벨을 결정하도록 구성되고, 캡처 정보에 기초하여 제2 카메라에 대한 이미지 캡처 설정을 결정하기 위해, 하나 이상의 프로세서는 사용자의 일부의 조명 레벨에 기초하여 제2 이미지 센서에 대한 이미지 캡처 설정을 결정하도록 구성되는, 장치.
양태 50: 양태 49에 있어서, 사용자의 일부의 조명 레벨을 결정하기 위해, 하나 이상의 프로세서는 제2 이미지 센서에 의한 제2 이미지 데이터의 캡처 전의 제2 이미지 센서에 의한 제3 이미지 데이터의 캡처와 연관된 제2 이미지 캡처 정보 및 캡처 정보에 기초하여 사용자의 일부의 조명 레벨을 결정하도록 구성되는, 장치.
양태 51: 양태 30 내지 양태 50 중 어느 한 양태에 있어서, 하나 이상의 프로세서는, 제2 이미지 센서에 의해 캡처된 제2 이미지 데이터를 수신하고; 제2 이미지 데이터를 출력하도록 구성되는, 장치.
양태 52: 양태 30 내지 양태 51 중 어느 한 양태에 있어서, 하나 이상의 프로세서는, 제2 이미지 센서에 의해 캡처된 제2 이미지 데이터를 수신하고; 제2 이미지 데이터에 기초하여 사용자의 눈의 위치를 결정하도록 구성되는, 장치.
양태 53: 양태 30 내지 양태 52 중 어느 한 양태에 있어서, 제1 방향은 환경을 향하고, 제2 방향은 사용자의 적어도 일부를 향하는, 장치.
양태 54: 양태 30 내지 양태 53 중 어느 한 양태에 있어서, 제1 방향은 제2 방향과 평행하고 반대인, 장치.
양태 55: 양태 30 내지 양태 54 중 어느 한 양태에 있어서, 제1 이미지 데이터는 환경의 적어도 일부의 묘사를 포함하고, 제2 이미지 데이터는 사용자의 적어도 일부의 묘사를 포함하는, 장치.
양태 56: 양태 30 내지 양태 55 중 어느 한 양태에 있어서, 제2 이미지 데이터는 사용자의 하나 이상의 눈의 묘사를 포함하는, 장치.
양태 57: 양태 30 내지 양태 56 중 어느 한 양태에 있어서, 제1 이미지 센서; 및 제2 이미지 센서를 더 포함하는 장치.
양태 58: 양태 30 내지 양태 57 중 어느 한 양태에 있어서, 장치는 헤드 마운트 디스플레이를 포함하는, 장치.
양태 59: 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서로 하여금 양태 1 내지 양태 58 중 어느 한 양태에 따른 동작을 수행하게 하는 명령어를 저장한, 비일시적 컴퓨터 판독 가능 저장 매체.
양태 60: 이미지 프로세싱을 위한 장치로서, 양태 1 내지 양태 58 중 어느 한 양태에 따른 동작을 수행하는 수단을 포함하는 장치.
Claims (40)
- 자동 캡처 설정 구성을 위한 장치로서, 상기 장치는,
적어도 하나의 메모리; 및
상기 적어도 하나의 메모리에 커플링된 하나 이상의 프로세서를 포함하며, 상기 하나 이상의 프로세서는,
제1 이미지 센서를 갖는 제1 카메라로부터 캡처 정보를 수신하고 - 상기 캡처 정보는 상기 제1 이미지 센서에 의한 제1 이미지 데이터의 캡처와 연관되고, 상기 제1 이미지 센서는 제1 방향을 향함 -;
디스플레이를 사용하여 디스플레이되도록 구성된 디스플레이 데이터를 수신하고;
상기 캡처 정보 및 상기 디스플레이 데이터에 기초하여, 제2 이미지 센서를 포함하는 제2 카메라에 대한 이미지 캡처 설정을 결정하고 - 상기 제2 이미지 센서는 제2 방향을 향함 -;
상기 제2 이미지 센서가 상기 이미지 캡처 설정에 따라 제2 이미지 데이터를 캡처하게 하도록 구성되는, 자동 캡처 설정 구성을 위한 장치. - 제1항에 있어서, 상기 이미지 캡처 설정은 노출 설정을 포함하고, 상기 제2 이미지 센서가 상기 이미지 캡처 설정에 따라 상기 제2 이미지 데이터를 캡처하게 하기 위해, 상기 하나 이상의 프로세서는 상기 노출 설정에 따라 상기 제2 카메라와 연관되는 노출 파라미터를 설정하도록 구성되는, 자동 캡처 설정 구성을 위한 장치.
- 제1항에 있어서, 상기 이미지 캡처 설정은 상기 캡처 정보와 연관되는 색상 정보에 기초한 화이트 밸런스 설정을 포함하는, 자동 캡처 설정 구성을 위한 장치.
- 제1항에 있어서, 상기 캡처 정보는 상기 제1 이미지 데이터를 포함하는, 자동 캡처 설정 구성을 위한 장치.
- 제4항에 있어서, 상기 하나 이상의 프로세서는,
상기 제1 이미지 데이터의 적어도 일부의 휘도 측정값을 결정하도록 구성되고, 상기 캡처 정보 및 상기 디스플레이 데이터에 기초하여 상기 제2 카메라에 대한 상기 이미지 캡처 설정을 결정하기 위해, 상기 하나 이상의 프로세서는 상기 휘도 측정값에 기초하여 상기 제2 카메라에 대한 상기 이미지 캡처 설정을 결정하도록 구성되는, 자동 캡처 설정 구성을 위한 장치. - 제1항에 있어서, 상기 캡처 정보는 제2 이미지 캡처 설정을 포함하고, 상기 제1 이미지 센서는 상기 제2 이미지 캡처 설정에 따라 상기 제1 이미지 데이터를 캡처하도록 구성되는, 자동 캡처 설정 구성을 위한 장치.
- 제6항에 있어서, 상기 제2 이미지 캡처 설정은 노출 설정을 포함하고, 상기 제1 이미지 센서는 상기 노출 설정에 따라 상기 제1 카메라의 노출 파라미터로 상기 제1 이미지 데이터를 캡처하도록 구성되는, 자동 캡처 설정 구성을 위한 장치.
- 제6항에 있어서, 상기 캡처 정보 및 상기 디스플레이 데이터에 기초하여 상기 제2 카메라에 대한 이미지 캡처 설정을 결정하기 위해, 상기 하나 이상의 프로세서는 상기 제2 이미지 캡처 설정 및 룩업 테이블에 기초하여 상기 제2 카메라에 대한 상기 이미지 캡처 설정을 결정하도록 구성되고, 상기 룩업 테이블은 상기 제1 카메라와 상기 제2 카메라 사이의 각각의 이미지 캡처 설정을 매핑하고, 상기 이미지 캡처 설정은 상기 룩업 테이블에서의 상기 제2 이미지 캡처 설정에 대응하는, 자동 캡처 설정 구성을 위한 장치.
- 제1항에 있어서, 상기 디스플레이 데이터를 수신하기 위해, 상기 하나 이상의 프로세서는, 상기 디스플레이를 사용하여 상기 디스플레이 데이터가 디스플레이되기 전에 상기 디스플레이 데이터를 저장하는 디스플레이 버퍼로부터 상기 디스플레이 데이터를 수신하도록 구성되는, 자동 캡처 설정 구성을 위한 장치.
- 제1항에 있어서, 상기 하나 이상의 프로세서는,
상기 디스플레이 데이터의 적어도 일부의 휘도 측정값을 결정하도록 구성되고, 상기 캡처 정보 및 상기 디스플레이 데이터에 기초하여 상기 제2 카메라에 대한 상기 이미지 캡처 설정을 결정하기 위해, 상기 하나 이상의 프로세서는 상기 휘도 측정값에 기초하여 상기 제2 카메라에 대한 상기 이미지 캡처 설정을 결정하도록 구성되는, 자동 캡처 설정 구성을 위한 장치. - 제1항에 있어서,
상기 디스플레이 데이터를 디스플레이하도록 구성되는 상기 디스플레이를 더 포함하는, 자동 캡처 설정 구성을 위한 장치. - 제1항에 있어서, 상기 디스플레이는 상기 디스플레이 데이터에 대응하는 광을 상기 제2 방향으로 향하게 하도록 구성되는, 자동 캡처 설정 구성을 위한 장치.
- 제1항에 있어서, 디스플레이 데이터는 상기 제1 이미지 센서에 의해 캡처된 이미지 콘텐츠를 포함하는, 자동 캡처 설정 구성을 위한 장치.
- 제1항에 있어서, 상기 하나 이상의 프로세서는,
상기 제1 이미지 센서에 의해 캡처된 콘텐츠와 구별되는 가상 콘텐츠를 생성하도록 구성되고, 상기 디스플레이 데이터는 가상 콘텐츠를 포함하는, 자동 캡처 설정 구성을 위한 장치. - 제1항에 있어서, 상기 디스플레이는 상기 제1 방향으로부터 상기 제2 방향으로 진행하는 광에 대해 적어도 부분적으로 투과성인, 자동 캡처 설정 구성을 위한 장치.
- 제1항에 있어서, 상기 하나 이상의 프로세서는,
상기 제2 카메라로부터 제2 이미지 캡처 정보를 수신하도록 구성되고, 상기 제2 이미지 캡처 정보는 상기 제2 이미지 센서에 의한 상기 제2 이미지 데이터의 캡처 전의 상기 제2 이미지 센서에 의한 제3 이미지 데이터의 캡처와 연관되며, 상기 캡처 정보 및 상기 디스플레이 데이터에 기초하여 상기 제2 카메라에 대한 상기 이미지 캡처 설정을 결정하기 위해, 상기 하나 이상의 프로세서는 상기 캡처 정보, 상기 제2 이미지 캡처 정보 및 상기 디스플레이 데이터에 기초하여 상기 제2 카메라에 대한 상기 이미지 캡처 설정을 결정하도록 구성되는, 자동 캡처 설정 구성을 위한 장치. - 제16항에 있어서, 상기 제2 이미지 캡처 정보는 상기 제3 이미지 데이터를 포함하는, 자동 캡처 설정 구성을 위한 장치.
- 제16항에 있어서, 상기 하나 이상의 프로세서는,
상기 제3 이미지 데이터의 적어도 일부의 휘도 측정값을 결정하도록 구성되고, 상기 캡처 정보, 상기 제2 이미지 캡처 정보 및 상기 디스플레이 데이터에 기초하여 상기 제2 카메라에 대한 상기 이미지 캡처 설정을 결정하기 위해, 상기 하나 이상의 프로세서는 상기 휘도 측정값에 기초하여 상기 제2 카메라에 대한 상기 이미지 캡처 설정을 결정하도록 구성되는, 자동 캡처 설정 구성을 위한 장치. - 제16항에 있어서, 상기 제2 이미지 캡처 정보는 제2 이미지 캡처 설정을 포함하고, 상기 제2 이미지 센서는 상기 제2 이미지 캡처 설정에 따라 상기 제3 이미지 데이터를 캡처하는, 자동 캡처 설정 구성을 위한 장치.
- 제1항에 있어서, 상기 하나 이상의 프로세서는,
상기 캡처 정보 및 상기 디스플레이 데이터에 기초하여 사용자의 일부의 조명 레벨을 결정하도록 구성되고, 상기 캡처 정보에 기초하여 상기 제2 카메라에 대한 상기 이미지 캡처 설정을 결정하기 위해, 상기 하나 이상의 프로세서는 상기 사용자의 일부의 상기 조명 레벨에 기초하여 상기 제2 이미지 센서에 대한 상기 이미지 캡처 설정을 결정하도록 구성되는, 자동 캡처 설정 구성을 위한 장치. - 제20항에 있어서, 상기 사용자의 일부의 상기 조명 레벨을 결정하기 위해, 상기 하나 이상의 프로세서는 상기 제2 이미지 센서에 의한 상기 제2 이미지 데이터의 캡처 전의 상기 제2 이미지 센서에 의한 제3 이미지 데이터의 캡처와 연관된 제2 이미지 캡처 정보 및 상기 캡처 정보에 기초하여 상기 사용자의 일부의 조명 레벨을 결정하도록 구성되는, 자동 캡처 설정 구성을 위한 장치.
- 제1항에 있어서, 상기 하나 이상의 프로세서는,
상기 제2 이미지 센서에 의해 캡처된 상기 제2 이미지 데이터를 수신하고;
상기 제2 이미지 데이터를 출력하도록 구성되는, 자동 캡처 설정 구성을 위한 장치. - 제1항에 있어서, 상기 하나 이상의 프로세서는,
상기 제2 이미지 센서에 의해 캡처된 상기 제2 이미지 데이터를 수신하고;
상기 제2 이미지 데이터에 기초하여 사용자의 눈의 위치를 결정하도록 구성되는, 자동 캡처 설정 구성을 위한 장치. - 제1항에 있어서, 상기 제1 방향은 환경을 향하고, 상기 제2 방향은 사용자의 적어도 일부를 향하는, 자동 캡처 설정 구성을 위한 장치.
- 제1항에 있어서, 상기 제1 방향은 상기 제2 방향과 평행하고 반대인, 자동 캡처 설정 구성을 위한 장치.
- 제1항에 있어서, 상기 제1 이미지 데이터는 환경의 적어도 일부의 묘사를 포함하고, 상기 제2 이미지 데이터는 사용자의 적어도 일부의 묘사를 포함하는, 자동 캡처 설정 구성을 위한 장치.
- 제1항에 있어서, 상기 제2 이미지 데이터는 사용자의 하나 이상의 눈의 묘사를 포함하는, 자동 캡처 설정 구성을 위한 장치.
- 제1항에 있어서,
상기 제1 이미지 센서; 및
상기 제2 이미지 센서를 더 포함하는, 자동 캡처 설정 구성을 위한 장치. - 제1항에 있어서, 헤드 마운트 디스플레이(head-mounted display)를 포함하는, 자동 캡처 설정 구성을 위한 장치.
- 자동 캡처 설정 구성을 위한 방법으로서,
제1 이미지 센서를 갖는 제1 카메라로부터 캡처 정보를 수신하는 단계 - 상기 캡처 정보는 상기 제1 이미지 센서에 의한 제1 이미지 데이터의 캡처와 연관되고, 상기 제1 이미지 센서는 제1 방향을 향함 -;
디스플레이를 사용하여 디스플레이되도록 구성된 디스플레이 데이터를 수신하는 단계;
상기 캡처 정보 및 상기 디스플레이 데이터에 기초하여, 제2 이미지 센서를 포함하는 제2 카메라에 대한 이미지 캡처 설정을 결정하는 단계 - 상기 제2 이미지 센서는 제2 방향을 향함 -; 및
상기 제2 이미지 센서가 상기 이미지 캡처 설정에 따라 제2 이미지 데이터를 캡처하게 하는 단계를 포함하는, 자동 캡처 설정 구성을 위한 방법. - 제30항에 있어서, 상기 이미지 캡처 설정은 노출 설정을 포함하고, 상기 제2 이미지 센서가 상기 이미지 캡처 설정에 따라 상기 제2 이미지 데이터를 캡처하게 하는 단계는 상기 노출 설정에 따라 상기 제2 카메라와 연관되는 노출 파라미터를 설정하는 단계를 포함하는, 자동 캡처 설정 구성을 위한 방법.
- 제30항에 있어서, 상기 이미지 캡처 설정은 상기 캡처 정보와 연관되는 색상 정보에 기초한 화이트 밸런스 설정을 포함하는, 자동 캡처 설정 구성을 위한 방법.
- 제30항에 있어서, 상기 캡처 정보는 상기 제1 이미지 데이터를 포함하는, 자동 캡처 설정 구성을 위한 방법.
- 제33항에 있어서,
상기 제1 이미지 데이터의 적어도 일부의 휘도 측정값을 결정하는 단계를 더 포함하고, 상기 캡처 정보 및 상기 디스플레이 데이터에 기초하여 상기 제2 카메라에 대한 상기 이미지 캡처 설정을 결정하는 단계는 상기 휘도 측정값에 기초하여 상기 제2 카메라에 대한 상기 이미지 캡처 설정을 결정하는 단계를 포함하는, 자동 캡처 설정 구성을 위한 방법. - 제30항에 있어서, 상기 캡처 정보는 제2 이미지 캡처 설정을 포함하고, 상기 제1 이미지 센서는 상기 제2 이미지 캡처 설정에 따라 상기 제1 이미지 데이터를 캡처하도록 구성되는, 자동 캡처 설정 구성을 위한 방법.
- 제30항에 있어서, 상기 디스플레이 데이터를 수신하는 단계는, 상기 디스플레이를 사용하여 상기 디스플레이 데이터가 디스플레이되기 전에 상기 디스플레이 데이터를 저장하는 디스플레이 버퍼로부터 상기 디스플레이 데이터를 수신하는 단계를 포함하는, 자동 캡처 설정 구성을 위한 방법.
- 제30항에 있어서,
상기 디스플레이 데이터의 적어도 일부의 휘도 측정값을 결정하는 단계를 더 포함하고, 상기 캡처 정보 및 상기 디스플레이 데이터에 기초하여 상기 제2 카메라에 대한 상기 이미지 캡처 설정을 결정하는 단계는, 상기 휘도 측정값에 기초하여 상기 제2 카메라에 대한 상기 이미지 캡처 설정을 결정하는 단계를 포함하는, 자동 캡처 설정 구성을 위한 방법. - 제30항에 있어서, 상기 제1 방향은 환경을 향하고, 상기 제2 방향은 사용자의 적어도 일부를 향하는, 자동 캡처 설정 구성을 위한 방법.
- 제30항에 있어서, 상기 제1 이미지 데이터는 환경의 적어도 일부의 묘사를 포함하고, 상기 제2 이미지 데이터는 사용자의 적어도 일부의 묘사를 포함하는, 자동 캡처 설정 구성을 위한 방법.
- 제30항에 있어서, 상기 제2 이미지 데이터는 사용자의 하나 이상의 눈의 묘사를 포함하는, 자동 캡처 설정 구성을 위한 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/457,881 US11889196B2 (en) | 2021-12-06 | 2021-12-06 | Systems and methods for determining image capture settings |
| US17/457,881 | 2021-12-06 | ||
| PCT/US2022/080597 WO2023107832A1 (en) | 2021-12-06 | 2022-11-29 | Systems and methods for determining image capture settings |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240122439A true KR20240122439A (ko) | 2024-08-12 |
Family
ID=84602386
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247017976A KR20240122439A (ko) | 2021-12-06 | 2022-11-29 | 이미지 캡처 설정을 결정하기 위한 시스템 및 방법 |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US11889196B2 (ko) |
| EP (1) | EP4445607A1 (ko) |
| KR (1) | KR20240122439A (ko) |
| CN (1) | CN118339824A (ko) |
| WO (1) | WO2023107832A1 (ko) |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7019778B1 (en) * | 1999-06-02 | 2006-03-28 | Eastman Kodak Company | Customizing a digital camera |
| US20070002163A1 (en) * | 2005-06-29 | 2007-01-04 | Dariusz Madej | Imager settings |
| JP4864835B2 (ja) * | 2007-08-21 | 2012-02-01 | Ｋｄｄｉ株式会社 | 色補正装置、方法及びプログラム |
| US9087471B2 (en) * | 2011-11-04 | 2015-07-21 | Google Inc. | Adaptive brightness control of head mounted display |
| US9836122B2 (en) | 2014-01-21 | 2017-12-05 | Osterhout Group, Inc. | Eye glint imaging in see-through computer display systems |
| US20150213303A1 (en) | 2014-01-28 | 2015-07-30 | Nvidia Corporation | Image processing with facial reference images |
| US11792531B2 (en) | 2019-09-27 | 2023-10-17 | Apple Inc. | Gaze-based exposure |
| US11388334B2 (en) * | 2020-05-22 | 2022-07-12 | Qualcomm Incorporated | Automatic camera guidance and settings adjustment |
-
2021
- 2021-12-06 US US17/457,881 patent/US11889196B2/en active Active
-
2022
- 2022-11-29 WO PCT/US2022/080597 patent/WO2023107832A1/en active Application Filing
- 2022-11-29 KR KR1020247017976A patent/KR20240122439A/ko unknown
- 2022-11-29 EP EP22830108.1A patent/EP4445607A1/en active Pending
- 2022-11-29 CN CN202280079648.5A patent/CN118339824A/zh active Pending
-
2023
- 2023-12-12 US US18/537,648 patent/US20240114249A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20240114249A1 (en) | 2024-04-04 |
| CN118339824A (zh) | 2024-07-12 |
| US20230179868A1 (en) | 2023-06-08 |
| EP4445607A1 (en) | 2024-10-16 |
| US11889196B2 (en) | 2024-01-30 |
| WO2023107832A1 (en) | 2023-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240168548A1 (en) | Dynamic content presentation for extended reality systems | |
| WO2024026204A1 (en) | User attention determination for extended reality | |
| TW202414341A (zh) | 自動成像域轉移的系統和方法 | |
| US20230216999A1 (en) | Systems and methods for image reprojection | |
| WO2023167789A1 (en) | Wide angle eye tracking | |
| US11889196B2 (en) | Systems and methods for determining image capture settings | |
| US11798204B2 (en) | Systems and methods of image processing based on gaze detection | |
| US20240267632A1 (en) | Adaptive algorithm for power efficient eye tracking | |
| US20230222757A1 (en) | Systems and methods of media processing | |
| US20240265570A1 (en) | Method and apparatus for optimum overlap ratio estimation for three dimensional (3d) reconstructions | |
| US20240087232A1 (en) | Systems and methods of three-dimensional modeling based on object tracking | |
| US20240281996A1 (en) | Systems and methods for motion blur compensation for feature tracking | |
| US20240064417A1 (en) | Systems and methods for multi-context image capture | |
| US20230342487A1 (en) | Systems and methods of image processing for privacy management | |
| US20230137141A1 (en) | Systems and methods for device interoperability for extended reality | |
| KR20240158244A (ko) | 시선 검출에 기초한 이미지 프로세싱 시스템들 및 방법들 | |
| WO2024228752A1 (en) | Systems and methods for imaging based on illumination map | |
| KR20240130687A (ko) | 이미지 재투영을 위한 시스템들 및 방법들 | |
| KR20240154550A (ko) | 광각 눈 추적 | |
| WO2024173182A1 (en) | Apparatus and method for object-based dynamic colour tone adjustment | |
| WO2024191436A1 (en) | Extended reality headset with shared ocular region sensor | |
| WO2024054720A1 (en) | Systems and methods of imaging with multi-domain image sensor | |
| WO2024118233A1 (en) | Dynamic camera selection and switching for multi-camera pose estimation | |
| CN118451470A (zh) | 用于图像再投影的系统和方法 | |
| EP4427120A1 (en) | Systems and methods for device interoperability for extended reality |