KR20240055736A - 감소된 레이턴시를 위한 카메라 초기화 - Google Patents
감소된 레이턴시를 위한 카메라 초기화 Download PDFInfo
- Publication number
- KR20240055736A KR20240055736A KR1020247005621A KR20247005621A KR20240055736A KR 20240055736 A KR20240055736 A KR 20240055736A KR 1020247005621 A KR1020247005621 A KR 1020247005621A KR 20247005621 A KR20247005621 A KR 20247005621A KR 20240055736 A KR20240055736 A KR 20240055736A
- Authority
- KR
- South Korea
- Prior art keywords
- capture device
- image capture
- camera
- image
- power mode
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 176
- 238000012545 processing Methods 0.000 claims description 67
- 230000008569 process Effects 0.000 claims description 54
- 230000015654 memory Effects 0.000 claims description 49
- 239000000872 buffer Substances 0.000 claims description 33
- 230000033001 locomotion Effects 0.000 claims description 29
- 238000005259 measurement Methods 0.000 claims description 18
- 230000004044 response Effects 0.000 claims description 12
- 230000009977 dual effect Effects 0.000 claims description 8
- 230000008093 supporting effect Effects 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 52
- 230000006870 function Effects 0.000 description 21
- 238000010801 machine learning Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 8
- 241001465754 Metazoa Species 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 230000009467 reduction Effects 0.000 description 7
- 241000023320 Luma <angiosperm> Species 0.000 description 6
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 6
- 230000026676 system process Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000005291 magnetic effect Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000002085 persistent effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004873 anchoring Methods 0.000 description 2
- 230000009172 bursting Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013481 data capture Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- -1 etc.) Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000005022 packaging material Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/65—Control of camera operation in relation to power supply
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/65—Control of camera operation in relation to power supply
- H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Software Systems (AREA)
- Psychiatry (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Studio Devices (AREA)
Abstract
예측 카메라 초기화를 위한 시스템들, 방법들, 및 비일시적 매체들이 제공된다. 예시적인 방법은, 제1 이미지 캡처 디바이스로부터, 장면을 묘사하는 이미지 데이터를 획득하는 단계; 이미지 데이터에 기초하여 장면을 분류하는 단계; 장면의 분류에 기초하여, 카메라 사용 이벤트를 예측하는 단계; 및 예측된 카메라 사용 이벤트에 기초하여, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하는 단계를 포함할 수 있다.
Description
본 개시내용은, 대체적으로, 카메라 디바이스들을 제어하는 것에 관한 것이다. 예를 들어, 본 개시내용의 양태들은 감소된 카메라 사용 레이턴시(latency)를 위한 예측 카메라 초기화에 관한 것이다.
전자 디바이스들은 소비를 위해 이미지들 및/또는 비디오들을 캡처하기 위한 카메라 하드웨어를 점점 더 많이 구비하고 있다. 예를 들어, 컴퓨팅 디바이스는 컴퓨팅 디바이스가 장면, 사람, 객체 등의 비디오 또는 이미지를 캡처하도록 허용하기 위한 카메라(예컨대, 하나 이상의 카메라들을 포함하는 모바일 전화기 또는 스마트폰과 같은 모바일 디바이스)를 포함할 수 있다. 이미지 또는 비디오는 컴퓨팅 디바이스(예컨대, 모바일 디바이스, IP 카메라, 확장 현실 디바이스, 커넥티드 디바이스(connected device), 보안 시스템 등)에 의해 캡처되고 프로세싱되며 소비를 위해 저장 및/또는 출력(예컨대, 디바이스 및/또는 다른 디바이스 상에 디스플레이)될 수 있다. 일부 경우들에서, 이미지 또는 비디오는, 다른 것들 중에서도, 컴퓨터 비전, 확장 현실(예컨대, 증강 현실, 가상 현실 등), 객체 검출, 이미지 인식(예컨대, 얼굴 인식, 객체 인식, 장면 인식 등), 특징부 추출, 인증, 및 자동화와 같은 소정 애플리케이션들 및/또는 효과들(예컨대, 압축, 이미지 향상, 이미지 복원, 스케일링, 프레임레이트 변환, 노이즈 감소 등)을 위해 추가로 프로세싱될 수 있다.
일부 경우들에서, 전자 디바이스는 이미지들을 프로세싱하여, 이미지들에 의해 캡처된 객체들, 얼굴들, 이벤트들, 및/또는 임의의 다른 항목들을 검출할 수 있다. 객체 검출은, 다른 것들 중에서도, 예를 들어 인증, 자동화, 제스처 인식, 감시, 확장 현실, 컴퓨터 비전과 같은 다양한 애플리케이션들에 유용할 수 있다. 일부 예들에서, 전자 디바이스는 환경에서 소정 객체들을 자동적으로 검출하도록 지속적으로 또는 주기적으로 동작하는 저전력 또는 “올웨이즈 온(always-on)”(AON) 카메라를 구현할 수 있다. 저전력 카메라는, 예를 들어 지속적 제스처 검출, 지속적 객체(예컨대, 얼굴/사람, 동물, 차량, 디바이스, 평면, 이벤트 등) 검출, 지속적 객체 스캐닝(예컨대, QR(quick response) 코드 스캐닝, 바코드 스캐닝 등), 인증을 위한 지속적 얼굴 인식 등과 같은 다양한 사용 사례들에 대해 구현될 수 있다. 많은 경우들에서, 저전력 카메라의 이미징, 프로세싱, 및/또는 수행 능력들/결과들은 제한될 수 있다. 따라서, 일부 경우들에서, 전자 디바이스는, 또한, 더 높은 이미징, 프로세싱, 및/또는 수행 능력들/결과들이 요구될 때 전자 디바이스가 소정 시간들에 그리고/또는 소정 시나리오들에서 사용할 수 있는, 더 높은 이미징, 프로세싱, 및/또는 수행 능력들/결과들을 갖는 고전력 카메라를 구현할 수 있다.
감소된 레이턴시를 위한 예측 카메라 초기화를 위한 시스템들 및 기법들이 본 명세서에서 설명된다. 적어도 하나의 예에 따르면, 감소된 레이턴시를 위한 예측 카메라 초기화를 위한 방법이 제공된다. 본 방법은, 제1 이미지 캡처 디바이스로부터, 장면을 묘사하는 이미지 데이터를 획득하는 단계; 이미지 데이터에 기초하여 장면을 분류하는 단계; 장면의 분류에 기초하여, 카메라 사용 이벤트를 예측하는 단계; 및 예측된 카메라 사용 이벤트에 기초하여, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하는 단계를 포함할 수 있다.
적어도 하나의 예에 따르면, 감소된 레이턴시를 위한 예측 카메라 초기화를 위한 비일시적 컴퓨터 판독가능 매체가 제공된다. 비일시적 컴퓨터 판독가능 매체는, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금, 제1 이미지 캡처 디바이스로부터, 장면을 묘사하는 이미지 데이터를 획득하게 하고; 이미지 데이터에 기초하여 장면을 분류하게 하고; 장면의 분류에 기초하여, 카메라 사용 이벤트를 예측하게 하고; 그리고 예측된 카메라 사용 이벤트에 기초하여, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하게 하는 명령들을 포함할 수 있다.
적어도 하나의 예에 따르면, 감소된 레이턴시를 위한 예측 카메라 초기화를 위한 장치가 제공된다. 장치는 메모리 및 하나 이상의 프로세서들을 포함할 수 있고, 하나 이상의 프로세서들은, 제1 이미지 캡처 디바이스로부터, 장면을 묘사하는 이미지 데이터를 획득하고; 이미지 데이터에 기초하여 장면을 분류하고; 장면의 분류에 기초하여, 카메라 사용 이벤트를 예측하고; 그리고 예측된 카메라 사용 이벤트에 기초하여, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하도록 구성된다.
적어도 하나의 예에 따르면, 감소된 레이턴시를 위한 예측 카메라 초기화를 위한 다른 장치가 제공된다. 장치는, 제1 이미지 캡처 디바이스로부터, 장면을 묘사하는 이미지 데이터를 획득하고; 이미지 데이터에 기초하여 장면을 분류하며; 장면의 분류에 기초하여, 카메라 사용 이벤트를 예측하고; 예측된 카메라 사용 이벤트에 기초하여, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하기 위한 수단을 포함할 수 있다.
일부 양태들에서, 위에서 설명된 방법, 비일시적 컴퓨터 판독가능 매체, 및 장치들은, 제1 이미지 캡처 디바이스로부터의 하나 이상의 이미지들에 기초하여, 노출 값 및/또는 포커스 값을 사전 수렴할 수 있다.
일부 양태들에서, 위에서 설명된 방법, 비일시적 컴퓨터 판독가능 매체, 및 장치들은, 제1 이미지 캡처 디바이스와 연관된 전자 디바이스의 위치를 나타내는 위치 데이터 및 전자 디바이스와 연관된 하나 이상의 센서들로부터의 센서 데이터 중 적어도 하나를 획득하는 것으로서, 센서 데이터는 전자 디바이스와 연관된 모션을 나타내는 모션 측정치, 하나 이상의 센서들에 의해 캡처된 오디오 데이터, 및 전자 디바이스의 포지션을 나타내는 포지션 측정치들 중 적어도 하나를 포함하는, 상기 위치 데이터 및 센서 데이터 중 적어도 하나를 획득하고; 위치 데이터, 오디오 데이터 및 센서 데이터 중 적어도 하나와 이미지 데이터에 기초하여 장면을 분류할 수 있다.
일부 예들에서, 예측된 카메라 사용 이벤트는 추가 이미지 데이터를 캡처하기 위해 제1 이미지 캡처 디바이스와 연관된 전자 디바이스를 트리거하도록 구성된 사용자 입력을 포함할 수 있다.
일부 예들에서, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하는 것은 제2 이미지 캡처 디바이스를 초기화하는 것을 포함할 수 있다. 일부 예들에서, 제2 이미지 캡처 디바이스는 이미지 데이터를 캡처하는 데 사용되는 제1 이미지 캡처 디바이스의 각자의 전력 모드보다 더 많은 전력을 소비하는 전력 모드에서 초기화된다.
일부 양태들에서, 위에서 설명된 방법, 비일시적 컴퓨터 판독가능 매체, 및 장치들은, 제1 이미지 캡처 디바이스의 각자의 전력 모드보다 더 많은 전력을 소비하는 전력 모드에서 제2 이미지 캡처 디바이스를 사용하여 추가 이미지 데이터를 캡처할 수 있다. 일부 예들에서, 전력 모드는 이미지 데이터를 캡처하는 데 사용되는 제1 이미지 캡처 디바이스의 각자의 전력 모드와 연관된 해상도보다 더 높은 해상도, 이미지 데이터를 캡처하는 데 사용되는 제1 이미지 캡처 디바이스의 각자의 전력 모드와 연관된 프레임레이트(framerate)보다 더 높은 프레임레이트, 이미지 데이터를 캡처하는 데 사용되는 제1 이미지 캡처 디바이스의 각자의 전력 모드와 연관된 이미지 센서들의 수보다 더 많은 수의 이미지 센서들, 및 제1 이미지 캡처 디바이스와 연관된 제2 이미지 센서에 의해 지원되는 상이한 전력 모드보다 더 많은 전력을 소비하는 특정 전력 모드를 지원하는 제1 이미지 센서 중 적어도 하나를 포함한다.
일부 경우들에서, 제2 이미지 캡처 디바이스는 제1 이미지 캡처 디바이스와 연관된 제2 카메라 파이프라인보다 더 많은 전력을 소비하는 제1 카메라 파이프라인과 연관된다. 일부 예들에서, 제1 카메라 파이프라인은 제2 카메라 파이프라인보다 더 높은 프로세싱 성능을 갖는 하나 이상의 하드웨어 컴포넌트들 및 제2 카메라 파이프라인보다 더 많은 이미지 프로세싱 능력들 중 적어도 하나를 포함한다.
일부 예들에서, 제2 이미지 캡처 디바이스를 초기화하는 것은 제2 이미지 캡처 디바이스의 전력 모드를 증가시키는 것을 포함한다.
일부 예들에서, 제2 이미지 캡처 디바이스를 초기화하는 것은 제2 이미지 캡처 디바이스의 전력 모드를 증가시키는 것을 포함한다. 일부 경우들에서, 제2 이미지 캡처 디바이스의 전력 모드를 증가시키는 것은, 제2 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스의 카메라 파이프라인과 연관된 하나 이상의 하드웨어 컴포넌트들 중 적어도 하나의 것의 전력을 증가시키는 것 중 적어도 하나를 포함한다.
일부 양태들에서, 위에서 설명된 방법, 비일시적 컴퓨터 판독가능 매체, 및 장치들은, 제1 이미지 캡처 디바이스로부터의 이미지 데이터를 버퍼에 저장하는 것으로서, 이미지 데이터의 적어도 일부분은 제2 이미지 캡처 디바이스의 초기화 동안 및 제2 이미지 캡처 디바이스의 초기화가 완료되기 전에 버퍼에 저장되는, 상기 이미지 데이터를 저장하고; 제2 이미지 캡처 디바이스와 연관된 카메라 파이프라인을 통해, 버퍼에 저장된 이미지 데이터의 적어도 일부분을 프로세싱하는 것으로서, 이미지 데이터의 적어도 일부분은 제2 이미지 캡처 디바이스가 초기화된 후에 프로세싱되는, 상기 이미지 데이터의 적어도 일부분을 프로세싱할 수 있다.
일부 예들에서, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하는 것은, 제2 이미지 캡처 디바이스의 카메라 파이프라인과 연관된 프로세서 및 카메라 파이프라인과 연관된 메모리 중 적어도 하나의 것의 주파수를 증가시키는 것을 포함한다.
일부 경우들에서, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하는 것은, 제2 이미지 캡처 디바이스와 연관된 카메라 애플리케이션에 메모리를 사전 할당하는 것을 포함한다.
일부 예들에서, 장면을 분류하는 것은 이미지 데이터와 연관된 이벤트를 검출하는 것을 포함한다. 일부 경우들에서, 이벤트는 이미지 데이터에 묘사된 장면, 제1 이미지 캡처 디바이스와 연관된 전자 디바이스의 특정 이동, 전자 디바이스와 연관된 사용자에 대한 전자 디바이스의 포지션, 이미지 데이터에서 검출된 많은 사람들, 한 명 이상의 사용자들과 연관된 제스처, 객체 상에 디스플레이된 패턴, 및 서로에 대한 한 그룹의 사람들의 포지션 중 적어도 하나를 포함한다.
일부 예들에서, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하는 것은, 제2 이미지 캡처 디바이스의 초기화와 연관된 하나 이상의 초기화 설정들을 결정하는 것으로서 ,하나 이상의 초기화 설정들은 장면과 연관된 이벤트의 유형에 기초하는, 상기 하나 이상의 초기화 설정들을 결정하는 것; 및 하나 이상의 초기화 설정들에 따라 제2 이미지 캡처 디바이스를 초기화하는 것을 포함한다.
일부 양태들에서, 위에서 설명된 방법, 비일시적 컴퓨터 판독가능 매체, 및 장치들은, 장면을 분류하는 것에 응답하여, 만료 값과 연관된 타이머를 초기화할 수 있고; 예측된 카메라 사용 이벤트의 발생 전에 타이머의 값이 만료 값에 도달하였다고 결정할 수 있으며; 예측된 카메라 사용 이벤트의 발생 전에 타이머의 값이 만료 값에 도달한 것에 기초하여, 제2 이미지 캡처 디바이스의 전력 모드를 감소시킬 수 있다. 일부 예들에서, 전력 모드를 감소시키는 것은 제2 이미지 캡처 디바이스를 끄는 것 및 제2 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스와 연관된 카메라 파이프라인 중 적어도 하나와 연관된 하나 이상의 전력 설정들을 감소시키는 것 중 적어도 하나를 포함한다.
일부 예들에서, 제2 이미지 캡처 디바이스의 전력 모드를 조정하는 것은 투광 조명기, 깊이 센서 디바이스, 듀얼 이미지 캡처 디바이스 시스템, 구조화된 조명 시스템, 비행 시간(time-of-flight) 시스템, 오디오 알고리즘, 위치 서비스, 및 제1 이미지 캡처 디바이스와 연관된 카메라 파이프라인과는 상이한 카메라 파이프라인 중 적어도 하나를 켜거나 구현하는 것을 포함한다.
일부 예들에서, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하는 것은, 제1 이미지 캡처 디바이스의 전력 모드를 감소시키는 것을 포함한다. 일부 경우들에서, 제1 이미지 캡처 디바이스의 전력 모드를 감소시키는 것은 제1 이미지 캡처 디바이스 및 제1 이미지 캡처 디바이스의 카메라 파이프라인과 연관된 하나 이상의 하드웨어 컴포넌트들 중 적어도 하나의 것의 전력을 감소시키는 것 중 적어도 하나를 포함한다.
일부 예들에서, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하는 것은, 제1 이미지 캡처 디바이스의 전력 모드를 증가시키는 것을 포함한다. 일부 경우들에서, 제1 이미지 캡처 디바이스의 전력 모드를 증가시키는 것은 제1 이미지 캡처 디바이스 및 제1 이미지 캡처 디바이스의 카메라 파이프라인과 연관된 하나 이상의 하드웨어 컴포넌트들 중 적어도 하나의 것의 전력을 증가시키는 것 중 적어도 하나를 포함한다.
일부 양태들에서, 위에서 설명된 장치들 각각은 모바일 디바이스, 스마트 또는 커넥티드 디바이스, 카메라 시스템, 및/또는 확장 현실(XR) 디바이스(예컨대, 가상 현실(VR) 디바이스, 증강 현실(AR) 디바이스, 또는 혼합 현실(MR) 디바이스)이거나, 그의 일부일 수 있거나, 또는 그를 포함할 수 있다. 일부 예들에서, 장치들은 차량, 모바일 디바이스(예컨대, 모바일 전화 또는 소위 "스마트폰" 또는 다른 모바일 디바이스), 웨어러블 디바이스, 개인용 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 서버 컴퓨터, 로봇 디바이스 또는 시스템, 항공 시스템, 또는 다른 디바이스를 포함하거나 그의 일부일 수 있다. 일부 양태들에서, 장치는 하나 이상의 이미지들을 캡처하기 위한 이미지 센서(예컨대, 카메라) 또는 다수의 이미지 센서들(예컨대, 다수의 카메라들)을 포함한다. 일부 양태들에서, 장치는 하나 이상의 이미지들, 통지들, 및/또는 다른 디스플레이가능한 데이터를 디스플레이하기 위한 하나 이상의 디스플레이들을 포함한다. 일부 양태들에서, 장치는 하나 이상의 스피커들, 하나 이상의 발광 디바이스들, 및/또는 하나 이상의 마이크로폰들을 포함한다. 일부 양태들에서, 전술된 장치들은 하나 이상의 센서들을 포함할 수 있다. 일부 경우들에서, 하나 이상의 센서들은 장치들의 위치, 장치들의 상태(예를 들어, 추적 상태, 동작 상태, 온도, 습도 레벨, 및/또는 다른 상태)를 결정하기 위해 그리고/또는 다른 목적들을 위해 사용될 수 있다.
이 발명의 내용은 청구 대상의 핵심적인 또는 본질적인 특징들을 확인하는 것으로 의도되는 것도, 청구 대상의 범위를 결정하기 위해 별개로 사용되는 것으로 의도되는 것도 아니다. 청구 대상은 본 특허의 전체 명세서의 적절한 부분들, 임의의 또는 모든 도면들, 및 각각의 청구항에 대한 참조에 의해 이해되어야 한다.
전술한 내용은 다른 특징들 및 실시 형태들과 함께, 다음의 명세서, 청구항들 및 첨부 도면들을 참조할 때 보다 명백해질 것이다.
본 출원의 예시적인 예들은 다음 도면들을 참조하여 이하에서 상세히 설명된다:
도 1은 본 개시내용의 일부 예들에 따른, 예측 카메라 초기화를 구현할 수 있는 전자 디바이스의 예를 예시하는 도면이다.
도 2a 및 도 2b는 본 개시내용의 일부 예들에 따른, 예측 카메라 초기화를 위한 예시적인 시스템 프로세스들을 예시하는 도면들이다.
도 3은 본 개시내용의 일부 예들에 따른, 예측 카메라 초기화를 위한 예시적인 프로세스를 예시하는 흐름도이다.
도 4는 본 개시내용의 일부 예들에 따른, 소정 자극들에 기초하여 상이한 시간들에 조정된 예시적인 카메라 초기화 상태들을 예시하는 도면이다.
도 5는 본 개시내용의 일부 예들에 따른, 상이한 예측 카메라 이벤트 결정들에 기초하여 구현된 상이한 초기화 상태들의 예를 예시하는 도면이다.
도 6은 본 개시내용의 일부 예들에 따른, 예측 카메라 초기화를 위한 예시적인 프로세스를 예시하는 흐름도이다.
도 7은 본 개시내용의 일부 예들에 따른, 예시적인 컴퓨팅 디바이스 아키텍처를 예시한다.
도 1은 본 개시내용의 일부 예들에 따른, 예측 카메라 초기화를 구현할 수 있는 전자 디바이스의 예를 예시하는 도면이다.
도 2a 및 도 2b는 본 개시내용의 일부 예들에 따른, 예측 카메라 초기화를 위한 예시적인 시스템 프로세스들을 예시하는 도면들이다.
도 3은 본 개시내용의 일부 예들에 따른, 예측 카메라 초기화를 위한 예시적인 프로세스를 예시하는 흐름도이다.
도 4는 본 개시내용의 일부 예들에 따른, 소정 자극들에 기초하여 상이한 시간들에 조정된 예시적인 카메라 초기화 상태들을 예시하는 도면이다.
도 5는 본 개시내용의 일부 예들에 따른, 상이한 예측 카메라 이벤트 결정들에 기초하여 구현된 상이한 초기화 상태들의 예를 예시하는 도면이다.
도 6은 본 개시내용의 일부 예들에 따른, 예측 카메라 초기화를 위한 예시적인 프로세스를 예시하는 흐름도이다.
도 7은 본 개시내용의 일부 예들에 따른, 예시적인 컴퓨팅 디바이스 아키텍처를 예시한다.
본 개시내용의 특정 양태들 및 실시 형태들이 아래에서 제공된다. 이러한 양태들 및 실시 형태들 중 일부는 독립적으로 적용될 수 있고, 이들 중 일부는 당해 기술분야에서 통상의 지식을 가진 자들에게 명백하듯이, 조합하여 적용될 수 있다. 다음의 설명에서는, 설명의 목적으로, 본 출원의 실시 형태들의 전반적인 이해를 제공하기 위해 특정 세부사항들이 제시된다. 그러나 다양한 실시 형태들은 이러한 특정 세부사항들 없이 실시될 수 있음이 명백할 것이다. 도면들 및 설명은 제한적인 것으로 의도되지 않는다.
다음의 설명은 오직 예시적인 실시 형태들을 제공할 뿐이고, 본 개시내용의 범주, 적용가능성, 또는 구성을 제한하도록 의도되지 않는다. 오히려, 예시적인 실시 형태들의 다음의 설명은 예시적인 실시 형태를 구현하기 위한 가능한 설명을 당업자들에게 제공할 것이다. 첨부된 청구항들에 제시된 바와 같이 본 출원의 사상 및 범위를 벗어나지 않으면서 엘리먼트들의 기능 및 배열에 다양한 변경들이 이루어질 수 있다고 이해되어야 한다.
전자 디바이스들(예컨대, 모바일 폰들, 웨어러블 디바이스들(예컨대, 스마트 워치들, 스마트 팔찌들, 스마트 안경 등), 태블릿 컴퓨터들, 확장 현실(XR) 디바이스들(예컨대, 가상 현실(VR) 디바이스들, 증강 현실(AR) 디바이스들 등), 커넥티드 디바이스들, 랩톱 컴퓨터들 등)은 카메라들을 구현하여, 관심 이벤트들을 검출 및/또는 인식할 수 있다. 예를 들어, 전자 디바이스들은 저전력 카메라들을 구현하여, 요구에 따라, 지속적 또는 주기적으로, 기타 등등으로 관심 이벤트들을 검출 및/또는 인식할 수 있다. 예시적인 관심 이벤트들은 제스처들(예컨대, 손 제스처들, 미소들 등), (예컨대, 디바이스, 사람, 및/또는 동물에 의한) 액션, 하나 이상의 객체들의 존재 또는 발생 등을 포함할 수 있다. 관심 이벤트와 연관된 객체는, 예를 들어 그리고 제한 없이, 얼굴, 코드(예컨대, QR 코드, 바코드 등), 문서, 장면 또는 환경, 링크, 기계 판독가능 코드, 군중 등을 포함하고/하거나 지칭할 수 있다. 저전력 카메라들은, 이미지 데이터의 캡처, 관심 이벤트들의 검출 등에 사용되는 저전력 하드웨어 및/또는 에너지 효율적인 이미지 프로세싱 소프트웨어/파이프라인들을 구현할 수 있다. 저전력 카메라들은 켜진 상태로 유지되거나 "웨이크 업(wake up)"하여, 고전력 카메라들과 같은 다른 디바이스들보다 더 적은 배터리 전력을 사용하면서 장면에서 이동 및/또는 객체들을 관찰하고 장면에서 이벤트들을 검출할 수 있다.
예를 들어, 저전력 카메라는 장면에서 이동 및/또는 활동을 관찰하여 객체들을 발견할 수 있다. 예시하자면, XR 디바이스는 XR 제어기 및/또는 다른 추적된 객체들을 주기적으로 발견하는 저전력 카메라를 구현할 수 있고, 모바일 폰은 객체(예컨대, 코드, 문서, 얼굴 등) 또는 이벤트를 주기적으로 체크하는 저전력 카메라를 구현할 수 있으며, 스마트 홈 어시스턴트는 사용자 존재를 주기적으로 체크하는 저전력 카메라를 구현할 수 있고, 기타 등등이다. 이벤트(예컨대, 객체, 제스처, 활동, 장면 등)를 발견할 시에, 저전력 카메라는, 다른 액션들 중에서도, 예를 들어 객체 검출, 객체 인식, 인증(예컨대, 얼굴 인증 등), 하나 이상의 이미지 프로세싱 태스크들과 같은 하나 이상의 액션들을 트리거할 수 있다. 일부 경우들에서, 저전력 카메라들은 다른 디바이스들 및/또는 컴포넌트들, 예를 들어 다른 카메라들, 센서들, 프로세싱 하드웨어 등을 “웨이크 업”할 수 있다.
일부 예들에서, 저전력 카메라(때때로 "올웨이즈 온”(AON) 카메라로 지칭됨)는 환경에서 소정 객체들/이벤트들을 자동적으로 검출하도록 지속적으로 또는 주기적으로 동작할 수 있다. 게다가, 저전력 카메라는, 고전력 또는 "메인" 카메라보다 더 적은 양의 전력 및 컴퓨트 리소스들을 인출하도록 구성될 수 있다. 예를 들어, 저전력 카메라 파이프라인들은, 고전력 또는 "메인" 카메라 파이프라인들과 비교하여 전력 소비가 제한/감소된 지속적 또는 주기적 이미징을 가능하게 하기 위해, 저해상도/감소된 해상도, 저전력 이미지 센서, 저전력 메모리 리소스들(예컨대, 동적 랜덤 액세스 메모리(DRAM)와는 대조적으로 온 칩 정적 랜덤 액세스 메모리(SRAM) 등), 누설을 감소시키기 위한 아일랜드 전압 레일들, (예컨대, 위상 고정 루프들과는 대조적으로) 클록 소스들에 대한 링 발진기들, 저전력 물리적 인터페이스들, 저전력 이미지 프로세싱 동작들 등을 채용할 수 있다. 일부 경우들에서, 전력 소비 및/또는 리소스 활용을 추가로 감소시키기 위해, 저전력 카메라 파이프라인들은 소정 동작들(예컨대, 노이즈 감소, 이미지 워핑(warping), 이미지 향상 등)을 구현하지 않을 수 있고, 소정 유형들의 데이터(예컨대, 모노/루마 데이터와는 대조적으로 컬러 이미지 데이터)를 프로세싱하지 않을 수 있으며, 소정 하드웨어(예컨대, 다운스케일러들, 컬러 컨버터들, 렌즈 왜곡 보정 하드웨어, 디지털 신호 프로세서들, 뉴럴 프로세서들, 뉴럴 네트워크 가속기들, 고전력 물리적 인터페이스들, 예를 들어 MIPI(mobile industry processor interface) CSI(camera serial interface), 소정 컴퓨터 비전 블록들 등)를 채용하지 않을 수 있다.
대체적으로, 저전력 카메라의 이미징, 프로세싱, 및/또는 수행 능력들 및 결과들은 고전력 카메라의 것들보다 낮을 수 있다. 예를 들어, 저전력 카메라들은 고전력 카메라들보다 더 낮은 품질의 이미지들/비디오들을 생성할 수 있고/있거나, 고전력 카메라들보다 더 제한된 특징부들 및/또는 효과들을 제공할 수 있다. 따라서, 일부 경우들에서, 저전력 카메라를 구현하는 것에 더하여, 전자 디바이스는, 또한, 저전력 카메라보다 더 높은 이미징, 프로세싱, 및/또는 수행 능력들/결과들을 지원하는 고전력 카메라를 구현할 수 있다. 일부 예들에서, 전자 디바이스는 더 높은 이미징, 프로세싱, 및/또는 수행 능력들/결과들이 요구될 때 소정 시간들에 그리고/또는 소정 시나리오들에서 그러한 고전력 카메라를 사용할 수 있다.
많은 경우들에서, 사용자가 이미지, 비디오, 또는 프리뷰를 획득하려고 시도할 때 고전력 카메라 및/또는 고전력 카메라와 연관된 카메라 애플리케이션이 가능한 빨리 이용가능하게 되는 것이 바람직할 수 있다. 그러나, 고전력 카메라를 초기화 상태(예컨대, 준비 상태, 전력 인가 상태 등)로 유지하는 것은 상당한 양의 전력 및 컴퓨트 리소스들을 인출한다. 전력 소비 및 리소스 활용을 감소시키기 위해, 고전력 카메라는, 대체적으로, 오프 또는 초기화해제 상태로 유지된다. 이는 사용자가 고전력 카메라 및/또는 카메라 애플리케이션을 사용하려고 시도할 때 고전력 카메라 및/또는 카메라 애플리케이션의 이용가능성 및 초기 동작을 지연시킬 수 있다. 예를 들어, 고전력 카메라의 초기화는 카메라 애플리케이션에 대한 메모리의 할당, 고전력 카메라의 이미지 센서의 전력 인가/공급, 고전력 카메라 및/또는 고전력 카메라의 카메라 파이프라인과 연관된 다양한 하드웨어 블록들의 전력 인가/공급, 노출 및/또는 포커스 값들의 수렴 등에 소정 시간이 걸릴 수 있다. 이들 프로세스들은 카메라 초기화/스타트업 레이턴시를 초래하고, 관심 이미지/비디오를 즉시 캡처할 수 없다는 점에서 사용자 불만을 초래한다. 일부 경우들에서, 이들 프로세스들은, 심지어, 단명 이벤트(short-lived event)들을 캡처하려고 시도할 때 기회들을 놓치는 결과를 초래할 수 있다.
감소된 레이턴시를 위한 예측 카메라 초기화를 위한 시스템들, 장치들, 방법들(프로세스들로도 지칭됨), 및 컴퓨터 판독가능 매체들(본 명세서에서 집합적으로 "시스템들 및 기법들"로 지칭됨)이 본 명세서에서 설명된다. 일부 예들에서, 본 명세서에서 설명된 시스템들 및 기법들은, 고전력 카메라 및/또는 카메라 애플리케이션을 사용하기 위한 예측된 사용자 시도/입력과 같은 추정/예상된 고전력 카메라 사용 이벤트 전에 고전력 카메라를 예측적으로 초기화하는 예측기 엔진을 구현할 수 있다. 일부 예들에서, 예측기 엔진은, 이미지/비디오를 캡처하기 위한 사용자 시도(예컨대, 사용자 입력) 전에 종종 발생하는 것으로 알려진 및/또는 추정되는 장면, 조건, 및/또는 활동과 같은 미래의/임박한 카메라 사용 이벤트를 나타내는 것으로 추정되고 저전력 카메라에 의해 적어도 부분적으로 관찰되는 소정 이벤트들/자극들에 기초하여 고전력 카메라의 초기화를 트리거할 수 있다.
예를 들어, 일부 경우들에서, 저전력 카메라는, 한 그룹의 사람들이 모여 있고/있거나 미소 짓고 있는 것을 관찰할 수 있다. 예측기와 연관된 분류기는 저전력 카메라에 의해 캡처된 이미지 데이터를 사용하여, 사용자가 고전력 카메라를 호출하여 그룹의 이미지/비디오를 캡처할 수 있는 가능성을 결정할 수 있다. 다른 예로서, 저전력 카메라는, 일반적으로 촬영된 장면(예컨대, 일몰, 해변, 동물, 랜드마크 등) 또는 이벤트(예컨대, 콘서트, 사용자 활동, 제스처(예컨대, 카메라 스냅, 수평선에 대한 전자 디바이스의 포즈, 전자 디바이스에 대한 한 명 이상의 사용자들의 포즈, 손 제스처 등), 게임, 결혼식 등)를 나타내는 분류기에 대한 이미지들을 출력할 수 있다. 이어서, 예측기는 분류기로부터의 예측 출력에 기초하여 고전력 카메라의 초기화를 트리거할 수 있다. 일부 경우들에서, 고전력 카메라의 초기화를 트리거하기 위한 예측기의 결정은, 예를 들어 다른 센서 데이터(예컨대, 관성 센서 데이터, 오디오 데이터 등), 글로벌 내비게이션 위성 시스템(GNSS) 또는 글로벌 포지셔닝 시스템(GPS) 데이터 등과 같은 다른 데이터에 추가로 기초할 수 있다.
일부 경우들에서, 예측기는, 또한, 저전력 카메라로부터의 데이터를 사용하여, 고전력 카메라의 초기화에 이용가능한/활용되는 시간의 길이를 결정할 수 있다. 예를 들어, 예측기가 한 그룹의 사람들이 그룹 이미지를 촬영할 준비를 하고 있을 가능성이 있다고 결정하는 경우, 예측기는 (예컨대, 다른 이미지 이벤트와 비교하여) 그룹이 모이는 데 시간이 더 오래 걸릴 수 있기 때문에 (예컨대, 스포츠 이미지 또는 셀피(selfie)와 같은 다른 이미지 이벤트와 비교하여) 그룹 이미지 전에 고전력 카메라를 초기화하는 데 더 많은 시간이 이용가능할 수 있다고 결정할 수 있다. 예측기는 추가 시간이 이미지를 최적화하기 위해 더 긴 노출 및/또는 포커스 수렴을 허용할 수 있다고 결정할 수 있다. 추가 시간에 기초하여, 예측기는 저전력 카메라 또는 고전력 카메라와 연관된 카메라 파이프라인을 트리거하여, 자동 노출 값 및/또는 포커스 값을 수렴 또는 사전 수렴할 수 있다.
일부 예들에서, 예측기는 저전력 카메라로부터의 데이터에 기초하여 그가 트리거하는 초기화 단계들 및/또는 카메라 프로세스를 결정할 수 있다. 예를 들어, 예측기는 저전력 카메라로부터의 데이터가 일몰을 캡처할 때 HDR(high-dynamic range) 모드 노출 제어를 트리거할 수 있고, 저전력 카메라로부터의 데이터가 일몰을 캡처하지 않을 때 비-HDR 모드를 트리거할 수 있다. 다른 예로서, 예측기는, 데이터가 QR 코드를 캡처할 때보다, 저전력 카메라로부터의 데이터가 사용자 미소를 캡처할 때 더 큰 버퍼를 할당할 수 있다. 일부 경우들에서, 고전력 카메라 초기화를 트리거하는 것에 더하여, 예측기는, 일단 고전력 카메라가 초기화되면 고전력 카메라가 프로세싱하기 위해 버퍼에 저전력 카메라로부터의 원시 데이터를 저장하도록 저전력 카메라 파이프라인을 트리거할 수 있다. 일부 예들에서, 원시 데이터는 고전력 카메라가 초기화되고 있는 동안 저전력 카메라에 의해 캡처된 데이터를 포함할 수 있다. 일부 예들에서, 고전력 카메라는 제로 셔터 랙(zero shutter lag, ZSL)을 달성하기 위해 버퍼 내의 원시 데이터를 사용할 수 있으며, 이 경우 버퍼는 ZSL 버퍼로서 작용할 수 있다.
일부 경우들에서, 예측기는, 고전력 카메라가 초기화된 상태로 유지되는 시간 및 고전력 카메라에 의한 전력 및 리소스 소비의 양을 감소시키기 위해서, 고전력 카메라를 초기화해제하고/하거나 고전력 카메라 초기화를 제한할 때를 결정하기 위해 소정 기준들을 사용할 수 있다. 예를 들어, 예측기는 사전설정된 기간 내에 고전력 카메라에 의해 이미지들/비디오들이 캡처되지 않는 경우 그 기간 후에 고전력 카메라를 초기화해제할 수 있다. 다른 예로서, 예측기는 사전설정된 기간 내에 허용되는 초기화들의 최대 수를 설정할 수 있고, 사전설정된 기간 내에 초기화들의 최대 수에 도달한 경우 새로운 고전력 카메라 초기화를 스킵할 수 있다.
본 명세서에서 설명된 시스템들 및 기법들은 최소의 또는 감소된 레이턴시로 상이한 카메라 센서들에 지능적으로 전력을 공급/차단시키기 위한 다양한 전자 디바이스들, 이미지 신호 프로세서들과 같은 더 적은 수의 프로세싱 디바이스들로의 채널 센서 피드들 등을 위해 구현될 수 있다. 예를 들어, 본 명세서에서 설명된 시스템들 및 기법들은 모바일 컴퓨팅 디바이스들(예컨대, 스마트 폰들, 태블릿들, 랩톱들, 카메라들 등), 스마트 웨어러블 디바이스들(예컨대, 머리 장착형 디스플레이들, 확장 현실(예컨대, 가상 현실, 증강 현실 등) 안경 등), 커넥티드 디바이스들 또는 사물 인터넷(IoT) 디바이스들(예컨대, 스마트 텔레비전들, 스마트 보안 카메라들, 스마트 어플라이언스들 등), 자율 로봇 디바이스들, 자율 주행 시스템들, 및/또는 카메라 하드웨어를 갖는 임의의 다른 디바이스를 위해 구현될 수 있다.
전자 디바이스(및/또는 전자 디바이스 상의 저전력 카메라)는 다양한 유형들의 이벤트들을 모니터링할 수 있다(그리고 그에 대해 본 명세서에서 설명된 시스템들 및 기법들을 구현할 수 있음). 검출 이벤트들의 비제한적인 예들은 얼굴 검출, 장면 검출(예컨대, 일몰들, 문서 스캐닝, 랜드마크들 등), 인간 그룹 검출, 동물/애완동물 검출, 패턴 검출(예컨대, QR 코드, 바코드 등), 텍스트 검출, 객체 검출, 제스처 검출(예컨대, 미소 검출, 감정 검출, 손 흔들기 등), 포즈 검출 등을 포함할 수 있다.
본 출원의 다양한 양태들이 도면들과 관련하여 설명될 것이다.
도 1은 예측 카메라 초기화(예컨대, 카메라 사전 초기화) 및 본 명세서에서 설명된 다른 기법들을 구현할 수 있는 전자 디바이스(100)의 예를 예시하는 도면이다. 일부 예들에서, 전자 디바이스(100)는, 예를 들어 이미징 기능들, 확장 현실(XR) 기능들(예컨대, 로컬리제이션/추적, 검출, 분류, 맵핑, 콘텐츠 렌더링 등), 비디오 기능들, 이미지 프로세싱 기능들, 디바이스 관리 및/또는 제어 기능들, 게이밍 기능들, 자율 주행 또는 내비게이션 기능들, 컴퓨터 비전 기능들, 로봇 기능들, 자동화, 컴퓨터 비전, 전자 통신 기능들(예컨대, 오디오/비디오 통화, 전자 메시징 등), 웹 브라우징 기능들 등과 같은 하나 이상의 기능들을 제공하도록 구성된 전자 디바이스를 포함할 수 있다.
예를 들어, 일부 경우들에서, 전자 디바이스(100)는 XR 기능들을 제공하도록 그리고 예측 카메라 초기화를 수행하도록 구성된 XR 디바이스(예컨대, 머리 장착형 디스플레이, 헤드업 디스플레이 디바이스, 스마트 안경 등)일 수 있다. 일부 경우들에서, 전자 디바이스(100)는, 예를 들어 그리고 제한 없이, XR 애플리케이션, 카메라 애플리케이션, 전자 디바이스(100)의 컴포넌트들 및/또는 동작들을 관리 및/또는 제어하기 위한 애플리케이션, 스마트 홈 애플리케이션, 비디오 게임 애플리케이션, 디바이스 제어 애플리케이션, 자율 주행 애플리케이션, 내비게이션 애플리케이션, 생산성 애플리케이션, 소셜 미디어 애플리케이션, 통신 애플리케이션, 모델링 애플리케이션, 미디어 애플리케이션, 전자 상거래 애플리케이션, 브라우저 애플리케이션, 디자인 애플리케이션, 지도 애플리케이션, 및/또는 임의의 다른 애플리케이션과 같은 하나 이상의 애플리케이션들을 구현할 수 있다. 다른 예로서, 전자 디바이스(100)는 본 명세서에서 설명된 바와 같이 예측 카메라 초기화를 수행하도록 구성된 스마트 폰일 수 있다.
도 1에 도시된 예시적인 예에서, 전자 디바이스(100)는, 이미지 센서(102) 및 이미지 센서(104)와 같은 하나 이상의 이미지 센서들, 오디오 센서(106)(예컨대, 초음파 센서, 마이크로폰 등), 관성 측정 유닛(IMU)(108), 및 하나 이상의 컴퓨트 컴포넌트들(110)을 포함할 수 있다. 일부 경우들에서, 전자 디바이스(100)는, 선택적으로, 예를 들어 그리고 제한 없이, 레이더, 광 검출 및 레인징(LIDAR) 센서, 터치 센서, 압력 센서(예컨대, 대기압 센서 및/또는 임의의 다른 압력 센서), 자이로스코프, 가속도계, 자력계, 및/또는 임의의 다른 센서와 같은 하나 이상의 다른/추가 센서들을 포함할 수 있다. 일부 예들에서, 전자 디바이스(100)는, 예를 들어 발광 다이오드(LED) 디바이스, 저장 디바이스, 캐시, GNSS/GPS 수신기, 통신 인터페이스, 디스플레이, 메모리 디바이스 등과 같은 추가 컴포넌트들을 포함할 수 있다. 전자 디바이스(100)에 의해 구현될 수 있는 예시적인 아키텍처 및 예시적인 하드웨어 컴포넌트들이 도 7과 관련하여 아래에서 추가로 설명된다.
전자 디바이스(100)는 단일의 컴퓨팅 디바이스 또는 다수의 컴퓨팅 디바이스들의 일부이거나 또는 그에 의해 구현될 수 있다. 일부 예들에서, 전자 디바이스(100)는 카메라 시스템(예컨대, 디지털 카메라, IP 카메라, 비디오 카메라, 보안 카메라 등), 전화 시스템(예컨대, 스마트폰, 셀룰러 전화, 회의 시스템 등), 랩톱 또는 노트북 컴퓨터, 태블릿 컴퓨터, 셋톱 박스, 스마트 텔레비전, 디스플레이 디바이스, 게이밍 콘솔, HMD와 같은 XR 디바이스, 드론, 차량 내 컴퓨터, IoT(Internet-of-Things) 디바이스, 스마트 웨어러블 디바이스, 또는 임의의 다른 적합한 전자 디바이스(들)와 같은 전자 디바이스(또는 디바이스들)의 일부일 수 있다.
일부 구현예들에서, 이미지 센서(102), 이미지 센서(104), 오디오 센서(106), IMU(108), 및/또는 하나 이상의 컴퓨트 컴포넌트들(110)은 동일한 컴퓨팅 디바이스의 일부일 수 있다. 예를 들어, 일부 경우들에서, 이미지 센서(102), 이미지 센서(104), 오디오 센서(106), IMU(108), 및/또는 하나 이상의 컴퓨트 컴포넌트들(110)은 카메라 시스템, 스마트폰, 랩톱, 태블릿 컴퓨터, 스마트 웨어러블 디바이스, HMD와 같은 XR 디바이스, IoT 디바이스, 게이밍 시스템, 및/또는 임의의 다른 컴퓨팅 디바이스와 또는 그에 통합될 수 있다. 다른 구현예들에서, 이미지 센서(102), 이미지 센서(104), 오디오 센서(106), IMU(108), 및/또는 하나 이상의 컴퓨트 컴포넌트들(110)은 2개 이상의 별개의 컴퓨팅 디바이스들의 일부이거나 또는 그에 의해 구현될 수 있다.
전자 디바이스(100)의 하나 이상의 컴퓨트 컴포넌트들(110)은, 예를 들어 그리고 제한 없이, 중앙 프로세싱 유닛(central processing unit, CPU)(112), 그래픽 프로세싱 유닛(graphics processing unit, GPU)(114), 디지털 신호 프로세서(digital signal processor, DSP)(116), 및/또는 이미지 신호 프로세서(image signal processor, ISP)(118)를 포함할 수 있다. 일부 예들에서, 전자 디바이스(100)는, 예를 들어, 컴퓨터 비전(computer vision, CV) 프로세서, 뉴럴 네트워크 프로세서(neural network processor, NNP), 주문형 집적 회로(application-specific integrated circuit, ASIC), 필드 프로그래밍가능 게이트 어레이(field-programmable gate array, FPGA) 등과 같은 다른 프로세서들을 포함할 수 있다. 전자 디바이스(100)는 하나 이상의 컴퓨트 컴포넌트들(110)을 사용하여, 예를 들어, 확장 현실 동작들(예컨대, 추적, 로컬리제이션, 객체 검출, 분류, 포즈 추정, 맵핑, 콘텐츠 앵커링, 콘텐츠 렌더링 등), 디바이스 제어 동작들, 이미지/비디오 프로세싱, 그래픽 렌더링, 기계 학습, 데이터 프로세싱, 모델링, 계산들, 컴퓨터 비전, 메시징, 및/또는 임의의 다른 동작들과 같은 다양한 컴퓨팅 동작들을 수행할 수 있다.
일부 경우들에서, 하나 이상의 컴퓨트 컴포넌트들(110)은 본 명세서에서 설명된 다양한 동작들 중 임의의 것을 수행하기 위해 다른 전자 회로들 또는 하드웨어, 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 임의의 조합을 포함할 수 있다. 일부 예들에서, 하나 이상의 컴퓨트 컴포넌트들(110)은 도 1에 도시된 것들보다 더 많은 또는 더 적은 컴퓨트 컴포넌트들을 포함할 수 있다. 또한, CPU(112), GPU(114), DSP(116), 및 ISP(118)는 단지 설명 목적들을 위해 제공된 컴퓨트 컴포넌트들의 예시적인 예들일 뿐이다.
이미지 센서(102) 및/또는 이미지 센서(104)는 임의의 이미지 및/또는 비디오 센서 또는 캡처 디바이스, 예컨대 디지털 카메라 센서, 비디오 카메라 센서, 스마트폰 카메라 센서, 텔레비전 또는 컴퓨터와 같은 전자 장치 상의 이미지/비디오 캡처 디바이스, 카메라 등을 포함할 수 있다. 일부 경우들에서, 이미지 센서(102) 및/또는 이미지 센서(104)는 카메라 또는 컴퓨팅 디바이스, 예컨대 디지털 카메라, 비디오 카메라, IP 카메라, 스마트폰, 스마트 텔레비전, 게임 시스템 등의 일부일 수 있다. 또한, 일부 경우들에서, 이미지 센서(102) 및 이미지 센서(104)는 후방 및 전방 센서 디바이스들과 같은 다수의 이미지 센서들을 포함할 수 있고, 듀얼 카메라 또는 다른 다중 카메라 어셈블리(예컨대, 2개의 카메라들, 3개의 카메라들, 4개의 카메라들, 또는 다른 수의 카메라들을 포함함)의 일부일 수 있다.
일부 예들에서, 이미지 센서(102)는 저전력 카메라 또는 “올웨이즈 온” 카메라를 포함할 수 있거나 그의 일부일 수 있고, 이미지 센서(104)는 고전력 또는 “메인” 카메라를 포함할 수 있거나 그의 일부일 수 있다. 일부 예들에서, 저전력 카메라는 (고전력 카메라보다) 더 낮은 전력의 하드웨어 및/또는 더 에너지 효율적인 이미지 프로세싱 소프트웨어를 구현하여 이벤트들의 검출, 캡처된 이미지 데이터의 프로세싱 등을 할 수 있다. 일부 경우들에서, 저전력 카메라는, 예를 들어 더 낮은 프레임레이트, 더 낮은 해상도, 더 적은 수의 이미지 센서들, 더 낮은 전력 모드, 더 낮은 전력의 카메라 파이프라인(소프트웨어 및/또는 하드웨어를 포함함) 등과 같은, 고전력 카메라(예컨대, 이미지 센서(104))보다 더 낮은 전력 설정들 및/또는 모드들을 구현할 수 있다. 일부 예들에서, 저전력 카메라는 고전력 카메라보다 더 적은 및/또는 더 낮은 전력의 이미지 센서들을 구현할 수 있고, 동적 랜덤 액세스 메모리(DRAM)보다는 온 칩 정적 랜덤 액세스 메모리(SRAM)와 같은 더 낮은 전력의 메모리를 사용할 수 있으며, 누설을 감소시키기 위해 아일랜드 전압 레일들을 사용할 수 있고, 위상 고정 루프(PLL)들보다는 클록 소스들로서 링 발진기들을 사용할 수 있으며, 그리고/또는 다른 저전력 프로세싱 하드웨어/컴포넌트들을 사용할 수 있다. 일부 예들에서, 저전력 카메라는 더 높은 전력 및/또는 복잡도의 센서 기술들(예컨대, 위상 검출 오토 포커스, 듀얼 포토다이오드(2PD) 픽셀들, 적색-녹색-청색-투명(RGBC) 컬러 감지 등) 및/또는 데이터(예컨대, 풀 컬러 이미지 데이터보다는 모노/루마 데이터)를 핸들링하지 않을 수 있다.
일부 경우들에서, 저전력 카메라는 켜진 상태로 유지되거나 "웨이크 업"하여, 더 높은 전력/해상도의 카메라들과 같은 다른 디바이스들보다 더 적은 배터리 전력을 사용하면서 장면에서 이동 및/또는 이벤트들을 관찰하고/하거나 장면에서 이벤트들을 검출할 수 있다. 예를 들어, 저전력 카메라는 지속적으로 관찰하거나 웨이크 업하여, 장면에서 이동 및/또는 활동을 관찰하여서, 장면에서 객체들을 발견할 수 있다. 일부 경우들에서, 이벤트를 발견할 시에, 저전력 카메라는, 다른 액션들 중에서도, 예를 들어 객체 검출, 객체 인식, 얼굴 인증, 이미지 프로세싱 태스크들과 같은 하나 이상의 액션들을 트리거할 수 있다. 일부 경우들에서, 저전력 카메라들은, 또한, 다른 센서들, 프로세싱 하드웨어 등과 같은 다른 디바이스들을 “웨이크 업”할 수 있다.
일부 예들에서, 각각의 이미지 센서(예컨대, 이미지 센서(102), 이미지 센서(104))는 이미지 데이터를 캡처하고, 이미지 데이터에 기초하여 프레임들을 생성하고/하거나 프로세싱을 위해 이미지 데이터 또는 프레임들을 하나 이상의 컴퓨트 컴포넌트들(110)에 제공할 수 있다. 프레임은 비디오 시퀀스 또는 스틸 이미지의 비디오 프레임을 포함할 수 있다. 프레임은, 장면을 나타내는 픽셀 어레이를 포함할 수 있다. 예를 들어, 프레임은 픽셀당 적색, 녹색 및 청색 컬러 컴포넌트들을 갖는 적색-녹색-청색(RGB) 프레임; 픽셀당 루마 컴포넌트 및 2개의 크로마(컬러) 컴포넌트들(크로마-적색 및 크로마-청색)을 갖는 루마, 크로마-적색, 크로마-청색(YCbCr) 프레임; 또는 임의의 다른 적합한 유형의 컬러 또는 단색 픽처일 수 있다.
일부 예들에서, 하나 이상의 컴퓨트 컴포넌트들(110)은 이미지 센서(102), 이미지 센서(104), 오디오 센서(106), IMU(108), 및/또는 임의의 다른 센서들 및/또는 컴포넌트로부터의 데이터를 사용하여 본 명세서에서 설명된 바와 같이 이미지/비디오 프로세싱, 예측 카메라 초기화, XR 프로세싱, 디바이스 관리/제어, 및/또는 다른 동작들을 수행할 수 있다. 예를 들어, 일부 경우들에서, 하나 이상의 컴퓨트 컴포넌트들(110)은 이미지 센서(102), 이미지 센서(104), 오디오 센서(106), IMU(108), 및/또는 임의의 다른 컴포넌트로부터의 데이터에 기초하여 예측 카메라 초기화, 디바이스 제어/관리, 추적, 로컬리제이션, 객체 검출, 객체 분류, 포즈 추정, 형상 추정, 장면 맵핑, 콘텐츠 앵커링, 콘텐츠 렌더링, 이미지 프로세싱, 모델링, 콘텐츠 생성, 제스처 검출, 제스처 인식, 및/또는 다른 동작들을 수행할 수 있다.
일부 예들에서, 하나 이상의 컴퓨트 컴포넌트들(110)은, 예를 들어 본 명세서에서 설명된 바와 같은 예측기(120)와 같은 하나 이상의 소프트웨어 엔진들 및/또는 알고리즘들을 구현할 수 있다. 일부 예들에서, 하나 이상의 컴퓨트 컴포넌트들(110)은, 기계 학습 모델(들), 컴퓨터 비전 알고리즘(들), 뉴럴 네트워크(들), 및/또는 임의의 다른 알고리즘 및/또는 컴포넌트와 같은 하나 이상의 추가 컴포넌트들 및/또는 알고리즘들을 구현할 수 있다. 예를 들어, 일부 경우들에서, 하나 이상의 컴퓨트 컴포넌트들(110)에 의해 구현되는 예측기(120)는 기계 학습 엔진(122)을 구현할 수 있다.
일부 예들에서, 예측기(120)는 이미지 센서(102) 및 선택적으로 오디오 센서(106), IMU(108), 및/또는 임의의 다른 컴포넌트로부터의 센서 데이터에 기초하여 카메라 이벤트(예컨대, 이미지/비디오를 캡처하기 위한 사용자 입력, 카메라 애플리케이션을 사용하기 위한 사용자 입력, 카메라 프리뷰를 트리거하기 위한 사용자 입력 등)를 예측할 수 있다. 이어서, 예측기(120)는, 예측된 카메라 이벤트가 발생하기 전에, 고전력 카메라(예컨대, 이미지 센서(104)) 및/또는 고전력 카메라 파이프라인의 예측 초기화(예컨대, 사전 초기화)를 트리거할 수 있다. 일부 예들에서, 예측 카메라 초기화는, 이미지/비디오를 캡처하고/하거나 카메라 애플리케이션/프리뷰에 액세스하기 위한 사용자 입력의 시간과 이미지/비디오의 캡처 및/또는 카메라 애플리케이션/프리뷰의 액세스 사이의 레이턴시/지연을 감소시킬 수 있다.
일부 경우들에서, 예측기(120)는 카메라 이벤트를 예측하는 것에 응답하여 다수의 예측 초기화 단계들을 트리거할 수 있다. 예를 들어, 예측기(120)는 카메라 초기화 및/또는 카메라 파이프라인의 레이턴시를 감소시키기 위해 CPU(예컨대, CPU(112)) 및/또는 메모리를 더 높은 주파수로 버스팅(bursting)할 수 있다. 다른 예로서, 예측기(120)는 카메라 애플리케이션에 대한 메모리를 사전 할당할 수 있고, 노출 값 및/또는 포커스 값을 사전 수렴하기 위해 이미지 센서(102)에 의한 저해상도 데이터 캡처를 트리거할 수 있으며, 기타 등등을 할 수 있다. 일부 경우들에서, 예측기(120)는, 예를 들어 그리고 제한 없이, 고전력 물리적 인터페이스(예컨대, MIPI CSI 등), 클록들을 생성하기 위한 PLL들, 온 칩 인프라구조, 다운스케일러, 컬러 컨버터, DSP(예컨대, DSP(116)), ISP(예컨대, ISP(118)), 뉴럴 네트워크 가속기, 뉴럴 프로세서, 컴퓨터 비전을 위한 하나 이상의 블록들(예컨대, 특징부 추출, 특징부 설명, 객체 검출, 인식 등), 이미지 워핑, 노이즈 감소, PDAF, 2PD 픽셀들, RGBC 컬러 감지, HDR 등과 같은 카메라 프로세싱을 위한 소정 하드웨어 및/또는 소프트웨어 블록들 및/또는 이미지 센서(104)에 전력을 인가할 수 있다. 일부 경우들에서, 예측기(120)는, 예를 들어 그리고 제한 없이, 해상도를 증가/감소시키는 것, 프레임레이트를 증가/감소시키는 것, 버퍼 크기 사전 할당을 증가/감소시키는 것, 더 많은/더 적은 이미지 센서들을 호출하는 것, 전력 모드를 증가/감소시키는 것 등과 같이, 예측 초기화의 일부로서 하나 이상의 설정들을 변조할 수 있다.
일부 경우들에서, 예측기(120)는 저전력 카메라 디바이스(예컨대, 이미지 센서(102))와 같은 카메라 디바이스에 의해 획득된 하나 이상의 프레임들로부터 시각적 특징부들을 추출/검출할 수 있다. 일부 예들에서, 예측기(120)는, 예를 들어 그리고 제한 없이, SIFT(scale-invariant feature transform), SURF(speeded up robust features), ORB(Oriented FAST and rotated BRIEF), 및/또는 임의의 다른 검출기/알고리즘과 같은, 시각적 특징부들을 추출하기 위한 검출기 및/또는 알고리즘을 구현할 수 있다.
일부 경우들에서, 예측기(120)는 기계 학습 엔진(122)을 구현하여, 카메라 이벤트들을 예측하는 데 사용되는 기계 학습 분류들을 생성할 수 있다. 기계 학습 엔진(122)은 이미지 센서(102), 오디오 센서(106), IMU(108), 및/또는 하나 이상의 다른 컴포넌트들, 예를 들어 GNSS/GPS 수신기, 레이더, 무선 인터페이스 등으로부터의 데이터에 기초하여 분류들을 생성할 수 있다. 예측기(120)는 기계 학습 엔진(122)으로부터의 출력들을 사용하여 카메라 이벤트들을 예측할 수 있다. 예를 들어, 예측기(120)는, 관성 감지 데이터의 포지티브 예 및 네거티브 예에 대해 훈련된 기계 학습 분류기(예컨대, 기계 학습 엔진(122))의 출력에 기초하여, 전자 디바이스(100)가 사용자에 의해 픽업되었음(이는 사용자가 전자 디바이스(100)를 사용하여 이미지/비디오를 캡처할 수 있음을 암시할 수 있음)을 나타내는 (예컨대, IMU(108)로부터의) 관성 센서 데이터를 사용할 수 있다. 일부 예들에서, 예측기(120)는, 관성 감지 데이터의 포지티브 예 및 네거티브 예에 대해 훈련된 기계 학습 분류기(예컨대, 기계 학습 엔진(122))의 출력에 기초하여, 전자 디바이스(100)가 픽처/비디오를 촬영할 때 일반적으로 사용되는 모션/포지션으로 유지되고 있음을 나타내는 (예컨대, IMU(108)로부터의) 관성 센서 데이터를 사용할 수 있다.
일부 예들에서, 예측기(120)는, 오디오 센서 데이터의 포지티브 예 및 네거티브 예에 대해 훈련된 기계 학습 분류기(예컨대, 기계 학습 엔진(122))의 출력에 기초하여, 전자 디바이스(100)가 혼잡한 영역(예컨대, 콘서트, 스포츠 이벤트, 파티, 경기, 결혼식 등)에 있음을 나타내거나 이미지/비디오를 촬영하는 것과 연관된 발화를 나타내는 (예컨대, 오디오 센서(106)로부터의) 오디오 센서 데이터를 사용할 수 있다. 다른 예들에서, 예측기(120)는, 위치 태깅된 사진들의 세트에 기초하여, 전자 디바이스(100)가 일반적으로 촬영된 영역(예컨대, 랜드마크, 무대 등)에 있음을 나타내는 GNSS/위치 데이터를 사용할 수 있다.
일부 경우들에서, 예측기(120)는 카메라 데이터(예컨대, 이미지들)의 포지티브 예 및 네거티브 예에 대해 훈련된 기계 학습 분류기(예컨대, 기계 학습 엔진(122))의 출력에 기초하여 저전력 카메라(예컨대, 이미지 센서(102))로부터의 카메라 데이터를 사용할 수 있다. 일부 예들에서, 카메라 데이터는 (예컨대, 단체 사진을 준비하고 있는 것처럼) 한 그룹의 사람들이 모이고 있다는 것, (예컨대, 사진을 위해 포즈를 취하고 있는 것처럼) 사용자 또는 사람들의 그룹이 미소 짓고 있거나 포즈를 취하고 있다는 것, 일반적으로 촬영된 장면(예컨대, 일몰, 해변, 동물, 랜드마크, 풍경 등)의 존재, 일반적으로 스캐닝된 패턴(예컨대, QR 코드)의 존재, 제스처(예컨대, 손을 흔드는 것, 손가락으로 가리키는 것 등)의 존재, 일반적으로 촬영된 활동(예컨대, 스포츠 경기, 쇼, 행동 등)이 일어나고 있다는 것 등을 나타낼 수 있다. 일부 경우들에서, 예측기(120)는 카메라 데이터, 오디오 센서 데이터, GNSS/위치 데이터, 관성 센서 데이터 등의 임의의 조합을 사용할 수 있다.
일부 경우들에서, 예측기(120)는 카메라 디바이스(예컨대, 이미지 센서(102), 이미지 센서(104))의 사용을 추적할 수 있고, 카메라 이벤트를 예측할 때 카메라 사용 통계치들을 사용할 수 있다. 예를 들어, 카메라 사용 통계치들이 전자 디바이스(100)의 사용자가 종종 전자 디바이스(100)의 이미지 센서(104)를 망원경에 연결하여 천체사진 이미지들을 캡처함을 나타내는 경우, 예측기(120)는 그러한 카메라 사용 통계치들을 사용하여, 이미지 센서(102)로부터의 이미지 데이터가 전자 디바이스(100)가 망원경 근처에 있거나 그에 연결됨/연결되고 있음을 나타낼 때 이미지 센서(104)의 사용을 예측할 수 있다. 다른 예로서, 오디오 센서 데이터가 전자 디바이스(100)가 종종 노이즈가 있는 영역들에 있음을 나타내고, 카메라 사용 통계치들이 사용자가 종종 소정 유형들의 노이즈들의 존재 하에 이미지들/비디오를 캡처함을 나타내는 경우, 예측기(120)는 카메라 사용 통계치들을 사용하여, 오디오 센서 데이터가 전자 디바이스(100)가 그들 유형들의 노이즈들 주위에 있음을 나타낼 때에는 이미지 센서(104)의 사용을 예측할 수 있지만, 오디오 센서 데이터가 전자 디바이스(100)가 다른 유형들의 노이즈들 주위에 있음을 나타낼 때에는 그렇지 않다.
일부 예들에서, 예측기(120)는 다양한 유형들의 이벤트들을 모니터링하여 카메라 이벤트들을 예측할 수 있다. 이벤트들의 비제한적인 예들은, 다른 것들 중에서도, 얼굴 검출, 장면 검출(예컨대, 일몰, 방, 랜드마크, 풍경, 콘서트 등), 인간 그룹 검출, 동물/애완동물 검출, 패턴(예컨대, QR 코드 등) 검출, 문서 검출, 텍스트 검출, 객체 검출, 제스처 검출(예컨대, 미소 검출, 감정 검출, 손 흔들기 등), 포즈 검출, 노이즈 검출, 위치 검출, 모션 검출, 활동 검출을 포함할 수 있다.
전자 디바이스(100)와 관련하여 도 1에 도시된 컴포넌트들은 설명 목적들을 위해 제공된 예시적인 예들이다. 다른 예들에서, 전자 디바이스(100)는 도 1에 도시된 것들보다 더 많은 또는 더 적은 컴포넌트들을 포함할 수 있다. 전자 디바이스(100)가 소정 컴포넌트들을 포함하는 것으로 도시되지만, 당업자는 전자 디바이스(100)가 도 1에 도시된 것들보다 더 많거나 더 적은 컴포넌트들을 포함할 수 있다는 것을 인식할 것이다. 예를 들어, 전자 디바이스(100)는, 일부 경우들에서, 하나 이상의 메모리 디바이스들(예컨대, RAM, ROM, 캐시 등), 하나 이상의 네트워킹 인터페이스들(예컨대, 유선 및/또는 무선 통신 인터페이스들 등), 하나 이상의 디스플레이 디바이스들, 캐시들, 저장 디바이스들, 및/또는 도 1에 도시되지 않은 다른 하드웨어 또는 프로세싱 디바이스들을 포함할 수 있다. 전자 디바이스(100)로 구현될 수 있는 컴퓨팅 디바이스 및/또는 하드웨어 컴포넌트들의 예시적인 예가 도 7과 관련하여 아래에서 설명된다.
도 2a는 예측 카메라 초기화를 위한 예시적인 시스템 프로세스(200)를 예시하는 도면이다. 이 예에서, 이미지 센서(102)는 저전력 카메라를 나타낸다. 이미지 센서(102)는 장면의 이미지 데이터를 캡처하고, 캡처된 이미지 데이터를 포함하는 센서 데이터(220)를 프로세싱을 위해 저전력 카메라 파이프라인(202)에 제공한다. 저전력 카메라 파이프라인(202)은 이미지 센서(102)에 의해 캡처된 이미지 데이터를 포함하는 센서 데이터(220)를 프로세싱하는 데 사용되는 이미지 프로세싱 동작들 및/또는 하드웨어를 포함할 수 있다. 이 예에서, 저전력 카메라 파이프라인(202)은 이미지 센서(102)를 포함한다.
일부 예들에서, 저전력 카메라 파이프라인(202)은 사전 프로세싱(예컨대, 이미지 크기조정, 노이즈제거, 세그먼트화, 에지들 평활화, 컬러 보정/변환, 디베이어링(debayering), 스케일링, 감마 보정 등)을 포함한다. 일부 경우들에서, 저전력 카메라 파이프라인(202)은 하나 이상의 이미지 사후 프로세싱 동작들을 포함할 수 있다. 일부 예들에서, 저전력 카메라 파이프라인(202)은, 예를 들어 더 낮은/감소된 해상도, 더 낮은/감소된 프레임레이트, 저전력 센서, (예컨대, DRAM보다는) 온 칩 SRAM, 아일랜드 전압 레일들, (예컨대, PLL들보다는) 클록 소스들에 대한 링 발진기들, 더 적은/감소된 수의 이미지 센서들 등과 같은 저전력 하드웨어, 설정들, 및/또는 프로세싱을 호출/포함할 수 있다.
저전력 카메라 파이프라인(202)은 프로세싱된 센서 데이터(예컨대, 센서 데이터(220)로부터의 프로세싱된 이미지 데이터)를 예측기(120)로 출력할 수 있다. 예측기(120)는 저전력 카메라 파이프라인(202)으로부터의 센서 데이터를 사용하여, 센서 데이터(예컨대, 이미지 센서(102)로부터의 센서 데이터(220) 내의 이미지 데이터)에서 캡처되고 검출된 이벤트에 기초하여 카메라 이벤트를 예측할 수 있다. 일부 예들에서, 예측기(120)는, 또한, 선택적으로, 비-카메라 센서(204)로부터의 센서 데이터(222)를 사용하여 카메라 이벤트를 예측할 수 있다. 비-카메라 센서(204)는, 예를 들어 오디오 센서(예컨대, 오디오 센서(106)), IMU(예컨대, IMU(108)), GNSS/GPS 수신기, 및/또는 임의의 다른 센서(예컨대, 레이더, LIDAR, 압력 센서 등)와 같은 하나 이상의 센서들/디바이스들을 포함하거나 나타낼 수 있다. 센서 데이터(222)는 관성 센서 측정치들(예컨대, 가속도, 속도, 각속도, 배향, 헤딩(heading) 등), 음향 데이터(예컨대, 노이즈/사운드, 스피치, 발화, 음성, 톤, 피치, 사운드 레벨, 노이즈/사운드의 패턴, 초음파, 초저주파음 등), 위치 측정치들, 고도 측정치들, 거리 측정치들, 임의의 다른 센서 데이터, 및/또는 이들의 임의의 조합을 포함할 수 있다.
센서 데이터(예컨대, 센서 데이터(220) 및/또는 센서 데이터(222))에서 캡처된 이벤트는, 예를 들어 그리고 제한 없이, 다른 이벤트들(예컨대, 검출/측정된 객체들, 활동들, 이동들 등) 중에서도, 이미지에서 검출된 객체, 이미지에서 검출된 얼굴, 이미지에서 검출된 장면(예컨대, 일몰, 방, 랜드마크, 풍경, 콘서트 등), 이미지에서 검출된 사람들의 그룹, 이미지에서 검출된 동물, 이미지에서 검출된 패턴(예컨대, QR 코드 등), 이미지에서 검출된 문서, 이미지에서 검출된 텍스트, 이미지에서 검출된 제스처(예컨대, 미소 검출, 감정 검출, 손 흔들기 등), 이미지에서 검출된 포즈, 오디오 센서 데이터에서 캡처된 음향 데이터(예컨대, 노이즈/사운드, 발화 또는 스피치, 사운드/노이즈의 패턴, 음성, 톤, 피치, 소정 초음파, 소정 초저주파음, 사운드 레벨 등), 측정된 위치, 모션 검출, 활동 검출을 포함할 수 있다.
예측기(120)에 의해 예측되는 카메라 이벤트는 고전력 카메라(예컨대, 이미지 센서(104)) 및/또는 카메라 애플리케이션과의 사용자 상호작용 및/또는 그의 사용과 연관된 하나 이상의 이벤트들을 포함할 수 있다. 예를 들어, 예측되는 카메라 이벤트는, 사용자가 프리뷰를 획득하고/하거나 이미지/비디오를 캡처할 수 있는 카메라 애플리케이션을 열기 위한 사용자 입력, 이미지/비디오 캡처를 트리거하기 위한 사용자 입력, 이미지/비디오의 캡처를 트리거하기 위해 전자 디바이스(100) 상에서 사용자에 의해 눌리는 핫 키(hot key) 또는 단축키 등을 포함할 수 있다. 예를 들어, 카메라 이벤트의 예측은, 전자 디바이스(100)의 사용자가 (예컨대, 이미지 센서(104)를 트리거하는 카메라 애플리케이션을 통해 또는 이미지/비디오를 캡처하기 위해 이미지 센서(104)를 트리거하는 핫 키 또는 단축키의 선택/활성화를 통해) 픽처/비디오를 촬영하기 위해 전자 디바이스(100)를 사용할 것이라고 또는 이미지 센서(104)를 트리거하고/하거나 프리뷰 피드를 보기 위해 카메라 애플리케이션을 열 것이라고 예측하는 것을 포함할 수 있다.
예측기(120)는 센서 데이터(예컨대, 센서 데이터(220), 센서 데이터(222))에서 캡처된 이벤트를 검출할 수 있고, 검출된 이벤트가 카메라 이벤트(들) 전에(그 직전에, 그 전에 임계 기간 내에, 그 전에 다수의 이벤트들/액션들 내에 등) 일반적으로 관찰되는지(예컨대, 검출된 이벤트가 적어도 임계 빈도로 카메라 이벤트로 이어졌거나 그에 선행하였는지, 검출된 이벤트가 카메라 이벤트로 이어지거나 그에 선행할 임계 가능성을 갖는 것으로 추정되는지, 및/또는 검출된 이벤트가 이전에 카메라 이벤트로 이어졌거나 그에 선행한 임계 발생 횟수를 갖는지) 및/또는 검출된 이벤트가 카메라 이벤트가 (예컨대, 검출된 이벤트 직후에, 검출된 이벤트 후 일정 기간 내에, 검출된 이벤트 후 다수의 이벤트들/액션들 내에 등) 검출된 이벤트를 따를 가능성이 (예컨대, 임계 가능성 내에서) 있음을 나타내는지 여부를 결정할 수 있다. 일부 예들에서, 예측기(120)는 검출된 이벤트 및 이벤트 사전 확률, 이벤트 통계치들(예컨대, 검출된 이벤트 통계치들, 카메라 이벤트 통계치들, 검출된 이벤트들 및 카메라 이벤트들의 통계적 상관관계/인과관계들 등), 카메라 이벤트 예측을 트리거하도록 선택된 검출된 이벤트들의 하나 이상의 선호도들 및/또는 구성들을 제공하는 사용자 입력(들), 예측 모델, 카메라 사용 분석, 및/또는 이들의 임의의 조합에 기초하여 카메라 이벤트를 예측할 수 있다.
일부 경우들에서, 예측기(120)는 센서 데이터(예컨대, 센서 데이터(220), 센서 데이터(222))에 기초하여 카메라 이벤트들을 예측하기 위한 기계 학습 분류기(예컨대, 기계 학습 엔진(122))를 구현할 수 있다. 일부 예들에서, 기계 학습 분류기는, 예를 들어 이미지 센서 데이터, 관성 센서 데이터, 오디오 센서 데이터, GNSS/GPS/위치 데이터, 다른 센서 데이터, 및/또는 이들의 임의의 조합과 같은 센서 데이터의 포지티브 예 및 네거티브 예에 대해 훈련될 수 있다.
예측기(120)가 검출된 이벤트가 카메라 이벤트(들) 전에 일반적으로 관찰된다고(예컨대, 검출된 이벤트가 적어도 임계 빈도로 카메라 이벤트로 이어졌거나 그에 선행하였다고, 검출된 이벤트가 카메라 이벤트로 이어지거나 그에 선행할 임계 가능성을 갖는 것으로 추정된다고, 및/또는 검출된 이벤트가 이전에 카메라 이벤트로 이어졌거나 그에 선행한 임계 발생 횟수를 갖는다고) 그리고/또는 검출된 이벤트가 카메라 이벤트가 검출된 이벤트를 따를 가능성이 (예컨대, 임계 가능성 내에서) 있음을 나타낸다고 결정하는 경우, 예측기(120)는 포지티브 카메라 이벤트 예측 결과를 생성할 수 있다(예컨대, 예측기(120)는 카메라 이벤트가 발생할 것으로 예측된다고 결정할 수 있음). 포지티브 카메라 이벤트 예측 결과에 기초하여(예컨대, 카메라 이벤트가 발생할 것으로 예측된다는 결정에 기초하여), 예측기(120)는 고전력 카메라 파이프라인(212)의 예측 초기화(224)를 트리거할 수 있다.
고전력 카메라 파이프라인(212)은, 이미지들/비디오를 캡처하고/하거나 캡처된 이미지들/비디오를 프로세싱하는 데 사용되는 하나 이상의 동작들 및/또는 하드웨어를 포함할 수 있다. 일부 경우들에서, 고전력 카메라 파이프라인(212)은, 더 높은 이미지 품질을 생성하고/하거나 추가적인 및/또는 더 복잡한 이미지 효과들을 생성하고/하거나 더 높은 프로세싱/출력 성능을 달성하기 위한 하나 이상의 조정된 설정들을 갖는 저전력 카메라 파이프라인(202)과 동일하거나 그를 포함할 수 있다. 예를 들어, 일부 경우들에서, 고전력 카메라 파이프라인(212)은 이미지 해상도를 증가시키는, 프레임레이트를 증가시키는, (예컨대, 단지 모노/루마 데이터와는 대조적으로) 풀 컬러 이미지 데이터를 활용하는, 기타 등등을 하는 하나 이상의 설정들을 갖는 저전력 카메라 파이프라인(202)을 포함할 수 있다. 다른 경우들에서, 고전력 카메라 파이프라인(212)은 저전력 카메라 파이프라인(202)과는 상이한 하나 이상의 이미지 센서들, 설정들, 동작들, 및/또는 하드웨어 블록들을 포함할 수 있다.
일부 예들에서, 저전력 카메라 파이프라인(202)은 저전력 이미지 센서(예컨대, 이미지 센서(102))를 포함할 수 있고, 고전력 카메라 파이프라인(212)은 고전력 이미지 센서(예컨대, 이미지 센서(104))를 포함할 수 있다. 다른 예들에서, 저전력 카메라 파이프라인(202) 및 고전력 카메라 파이프라인(212)은 동일한 이미지 센서(들)(예컨대, 이미지 센서(102) 및/또는 이미지 센서(104))를 포함할 수 있다. 일부 경우들에서, 저전력 카메라 파이프라인(202) 및 고전력 카메라 파이프라인(212)은 동일한 이미지 센서(들)를 포함할 수 있지만, 고전력 카메라 파이프라인(212)은 더 높은 전력 모드로 또는 그에서(예컨대, 더 높은 해상도로, 더 높은 프레임레이트로 등) 이미지 센서(들)를 구현할 수 있다.
일부 예들에서, 고전력 카메라 파이프라인(212)은 하나 이상의 이미지 사전 프로세싱, 하나 이상의 사후 프로세싱 동작들, 및/또는 임의의 다른 이미지 프로세싱 동작들을 포함한다. 예를 들어, 고전력 카메라 파이프라인(212)은 이미지 크기조정, 노이즈제거, 세그먼트화, 에지들 평활화, 컬러 보정/변환, 디베이어링, 스케일링, 감마 보정, 톤 맵핑, 컬러 감지, 샤프닝, 압축, 디모자이킹(demosaicing), 노이즈 감소(예컨대, 크로마 노이즈 감소, 루마 노이즈 감소, 시간적 노이즈 감소 등), 특징부 추출, 특징부 인식, 컴퓨터 비전, 자동 노출, 자동 화이트 밸런스, 오토 포커스, 깊이 감지, 이미지 안정화, 센서 융합, HDR, 및/또는 임의의 다른 동작들을 포함할 수 있다. 일부 예들에서, 고전력 카메라 파이프라인(212)은, 예를 들어 더 높은/증가된 해상도, 더 높은/증가된 프레임레이트, 고전력 이미지 센서(예컨대, 이미지 센서(104)), DRAM 사용/할당, 클록 소스들에 대한 PLL들, 더 많은/증가된 수의 이미지 센서들 등과 같은 고전력 하드웨어, 설정들, 및/또는 프로세싱을 호출/포함할 수 있다.
일부 예들에서, 예측 초기화(224)는, 고전력 카메라 파이프라인(212)과 연관된 하나 이상의 하드웨어 컴포넌트들/디바이스들 및/또는 하나 이상의 동작들에 전력을 공급/인가하고/하거나 그를 시작/준비하는 것을 포함할 수 있다. 일부 경우들에서, 예측 초기화(224)는 카메라 프로세싱과 연관된 하나 이상의 하드웨어 블록들 및 이미지 센서(104)에 전력을 인가/공급하는 것을 포함할 수 있다. 일부 경우들에서, 예측 초기화(224)는 감소된 레이턴시를 허용하기 위해 프로세서(예컨대, CPU(112)) 및/또는 메모리를 더 높은 주파수로 버스팅하는 것을 포함할 수 있다. 일부 경우들에서, 예측 초기화(224)는 카메라 애플리케이션에 대한 메모리(예컨대, DRAM 등)의 사전 할당을 포함할 수 있다. 일부 경우들에서, 예측 초기화(224)는 노출 값 및/또는 포커스 값을 사전 수렴하기 위해 (예컨대, 이미지 센서(102)를 통해) 저해상도 이미지 캡처를 수행하는 것을 포함할 수 있다. 일부 경우들에서, 예측 초기화(224)는 이전에 언급된 동작들, 설정들, 및/또는 하드웨어 블록들의 임의의 조합을 포함할 수 있다. 일부 경우들에서, 예측 초기화(224)는 사용자 입력에 응답하여 그리고 제로 레이턴시 또는 감소된 레이턴시로 이미지/비디오를 캡처하기 위해 고전력 카메라 파이프라인(212)을 시작/준비할 수 있다.
일부 경우들에서, 저전력 카메라 파이프라인(202)은 고전력 카메라 파이프라인(212)에 의한 오프라인(예컨대, 추후) 프로세싱을 위해 버퍼에 이미지 센서(102)로부터의 원시 센서 데이터를 저장할 수 있다. 예를 들어, 도 2b는 고전력 카메라 파이프라인(212)에 의한 이미지 센서(102)로부터의 원시 센서 데이터의 오프라인 프로세싱을 이용한 예측 카메라 초기화를 위한 예시적인 시스템 프로세스(230)를 예시한다.
이 예에서, 도 2a에 도시된 시스템 프로세스(200)에서 사용되는 데이터, 프로세싱, 및 하드웨어를 레버리징하는 것에 더하여, 시스템 프로세스(230)는 저전력 카메라 파이프라인(202)으로부터의 센서 데이터(220)를 저장하기 위한 다중 프레임 버퍼(232)를 구현할 수 있다. 저전력 카메라 파이프라인(202)은 이미지 센서(102)로부터 센서 데이터(220)를 수신하고 센서 데이터(220)를 다중 프레임 버퍼(232)에 저장할 수 있다. 일부 예들에서, 센서 데이터(220)는 이미지 센서(102)로부터의 원시 센서 데이터를 포함할 수 있다. 일부 경우들에서, 다중 프레임 버퍼(232)는 고전력 카메라 파이프라인(212)에 대한 ZSL 버퍼로서 작용할 수 있다.
예측기(120)가 예측 초기화(224)를 통해 고전력 카메라 파이프라인(212)을 트리거할 때, 고전력 카메라 파이프라인(212)은 프로세싱을 위해 다중 프레임 버퍼(232)로부터 센서 데이터(220)를 취출할 수 있다. 센서 데이터(220)는 고전력 카메라 파이프라인(212)이 초기화되기 전에 및/또는 동안 캡처된 고전력 카메라 파이프라인(212) 이미지 데이터를 제공할 수 있으며, 이는 고전력 카메라 파이프라인(212)이 레버리징하여, 이미지/비디오 캡처링 레이턴시를 감소시키고/시키거나 캡처된 이미지/비디오의 프로세싱, 품질, 및/또는 성능을 개선할 수 있다.
일부 예들에서, 저전력 카메라 파이프라인(202)은 고전력 카메라 파이프라인(212)에 의해 프로세싱된 것들만큼 높은 품질로 이미지들을 프로세싱할 수 없을 수 있다. 그럼에도 불구하고, 저전력 카메라 파이프라인(202)은 고전력 카메라 파이프라인(212)에 의한 (추후) 오프라인 프로세싱을 위해 다중 프레임 버퍼(232)(또는 DRAM과 같은 상이한 메모리)에 원시 센서 데이터를 저장할 수 있다. 이러한 원시 센서 데이터를 고전력 카메라 파이프라인(212)에 이용가능하게 하는 것은, 고전력 카메라 파이프라인(212)이 초기화되고 있는 동안 저전력 카메라 파이프라인(202)이 동작할 수 있기 때문에, 다양한 이점들을 제공할 수 있다.
일단 고전력 카메라 파이프라인(212)이 완전히 초기화되면, 이어서 고전력 카메라 파이프라인(212)은 다중 프레임 버퍼(232) 내의 원시 센서 데이터를 다시 판독하고 오프라인으로 프로세싱할 수 있다. 일부 예들에서, 시스템 프로세스(230)는 사용자 입력에 응답하여 고전력 카메라 파이프라인(212)(예컨대, 이미지 센서(104)를 포함함)에 의해 수행되는 이미지/비디오의 최종 캡처에서 고전력 카메라 파이프라인(212)의 스타트업 레이턴시를 감소시키거나 심지어 완전히 제거할 수 있다.
도 3은 예측 카메라 초기화를 위한 예시적인 프로세스(300)를 예시하는 흐름도이다. 이 예에서, 블록(304)에서, 프로세스(300)는, 카메라 데이터(302)를 사용하여 (예컨대, 예측기(120)를 통해) 카메라 사용 예측을 수행하는 것을 포함할 수 있다. 카메라 데이터(302)는 이미지 센서(102)와 같은 저전력 이미지 센서로부터의 이미지 데이터를 포함할 수 있다. 일부 예들에서, 카메라 데이터(302)는 도 2a와 관련하여 이전에 설명된 센서 데이터(220)와 동일할 수 있다.
카메라 사용 예측은 이전에 설명된 바와 같이 카메라 이벤트 예측을 포함하고/하거나 나타낼 수 있다. 예를 들어, 카메라 사용 예측은, 전자 디바이스(100)의 사용자가 (예컨대, 고전력 카메라 파이프라인을 트리거하는 카메라 애플리케이션을 통해 또는 이미지/비디오를 캡처하기 위해 고전력 카메라 파이프라인을 트리거하는 핫 키 또는 단축키의 선택/활성화를 통해) 픽처/비디오를 촬영하기 위해 전자 디바이스(100)를 사용할 것인지 또는 고전력 카메라 파이프라인을 트리거하고/하거나 프리뷰 피드를 보기 위해 카메라 애플리케이션을 열 것인지 여부를 예측하는 것을 포함할 수 있다.
블록(306)에서, 카메라 사용 예측이 예측된 카메라 이벤트를 산출하는(예컨대, 예측기(120)가, 사용자가, 이미지/비디오 캡처를 트리거하고/하거나 카메라 애플리케이션을 사용하여 프리뷰 피드를 보고/보거나 이미지/비디오 캡처를 트리거하려고 (예컨대, 사용자 입력을 통해) 시도할 것이라고 예측하는) 경우, 프로세스(300)는 고전력 카메라 파이프라인(예컨대, 고전력 카메라 파이프라인(212)) 및 구성가능 타이머를 (예컨대, 예측기(120)를 통해) 초기화하는 것을 포함할 수 있다. 구성가능 타이머는 초기화된 카메라 파이프라인이 (예컨대, 고전력 카메라 파이프라인이 필요하지 않거나 사용되고 있지 않을 때 고전력 카메라 파이프라인을 계속 실행하는 것으로부터) 전력을 절약하기 위해 초기화해제되기 전에 사용자가 이미지/비디오 캡처를 트리거하고/하거나 카메라 애플리케이션을 개시/사용하기 위한 시간 한도를 제공할 수 있다.
블록(308)에서, 프로세스(300)는 구성가능 타이머가 만료되었는지 여부를 결정하는 것을 포함할 수 있다. 블록(314)에서, 구성가능 타이머가 만료되었으면, 프로세스(300)는 (예컨대, 예측기(120)를 통해) 고전력 카메라 파이프라인을 초기화해제(예컨대, 전력 차단, 디스에이블, 중지, 끄기)하는 것을 포함할 수 있다.
구성가능 타이머가 만료되지 않았다면, 고전력 카메라 파이프라인은 초기화된 상태로 유지될 수 있다. 블록(310)에서, 프로세스(300)는 사용자 개시 카메라 이벤트가 발생하였는지 여부를 (예컨대, 예측기(120)를 통해) 결정하는 것을 포함할 수 있다. 사용자 개시 카메라 이벤트는, 고전력 카메라 파이프라인에 의한 이미지/비디오 캡처를 트리거하고/하거나 카메라 애플리케이션을 사용하여 프리뷰 피드에 액세스하고/하거나 고전력 카메라 파이프라인에 의한 이미지/비디오 캡처를 트리거하기 위한 사용자 입력을 포함할 수 있다. 예를 들어, 일부 경우들에서, 사용자 개시 카메라 이벤트는 이미지/비디오 캡처를 트리거하기 위한 핫 키 또는 단축키의 사용자 선택을 포함할 수 있다. 다른 경우들에서, 사용자 개시 카메라 이벤트는 이미지/비디오를 캡처하기 위해 고전력 카메라 파이프라인을 트리거하도록 전자 디바이스(100)에 요청하는 사용자로부터의 음성 커맨드를 포함할 수 있다. 다른 경우들에서, 사용자 개시 카메라 이벤트는 이미지/비디오 캡처를 개시/수행하기 위해 카메라 애플리케이션(및 고전력 카메라 파이프라인)을 트리거하도록 카메라 애플리케이션을 통해 수신된 사용자 입력을 포함할 수 있다.
프로세스(300)가 사용자 개시 카메라 이벤트가 발생하지 않았다고 결정하는 경우(예컨대, 사용자 개시 카메라 이벤트가 검출되지 않는 경우), 프로세스(300)는 구성가능 타이머가 만료되었는지를 결정하기 위해 블록(308)으로 복귀할 수 있다. 프로세스(300)는 구성가능 타이머가 만료되지 않았다면 고전력 카메라 파이프라인을 초기화된 상태로 유지할 수 있거나, (예컨대, 블록(314)과 관련하여 설명된 바와 같이) 구성가능 타이머가 만료되었다면 고전력 카메라 파이프라인을 초기화해제할 수 있다.
프로세스(300)가 사용자 개시 카메라 이벤트가 발생하였다고 결정하는 경우(예컨대, 사용자 개시 카메라 이벤트가 검출되는 경우), 블록(312)에서, 프로세스(300)는 빠른 카메라 시작을 수행하는 것을 포함할 수 있다. 빠른 카메라 시작은 사용자 개시 카메라 이벤트에 응답하여 이미지/비디오를 캡처하기 위해 이미 초기화된 고전력 카메라 파이프라인을 트리거하는 것을 포함할 수 있다. 고전력 카메라 파이프라인이 이미 초기화되어 있기 때문에, 빠른 카메라 시작은 사용자 개시 카메라 이벤트의 시간으로부터 레이턴시 없이(또는 감소된/최소의 레이턴시로) 수행될 수 있다. 예를 들어, 사용자 개시 카메라 이벤트에 응답하여, 고전력 카메라 파이프라인은 고전력 카메라 파이프라인이 이미 초기화되어 있음에 따라 어떠한 레이턴시 없이(또는 감소된/최소의 레이턴시로) 이미지/비디오를 캡처할 수 있다.
도 4는, 예를 들어 예측 초기화, 타이머 만료, 및/또는 상태 변경 트리거와 같은 소정 자극들에 기초하여 상이한 시간들에 수정/조정된 예시적인 카메라 초기화 상태들을 예시하는 도면이다. 이 예에서, 고전력 카메라 파이프라인(예컨대, 고전력 카메라 파이프라인(212))은 시간 t1에서 비초기화 상태(402)에 있다.
시간 t2에서, 예측기(120)는 도 2a, 도 2b, 및 도 3과 관련하여 이전에 설명된 바와 같이 예측 초기화(410)를 트리거한다. 예측 초기화(410)에 기초하여, 고전력 카메라 파이프라인은 비초기화 상태(402)로부터 초기화 상태(404)로 변경된다.
시간 t3에서, 예측기(예컨대, 예측기(120))는 타이머 만료(412)를 검출하고, 카메라 초기화해제를 트리거한다. 카메라 초기화해제에 기초하여, 고전력 카메라 파이프라인은 초기화 상태(404)로부터 초기화해제 상태(406)로 변경된다. 일부 예들에서, 초기화해제 상태(406)는 비초기화 상태(402)와 동일할 수 있다. 일부 예들에서, 초기화해제 상태(406)는 고전력 카메라 파이프라인의 전력 모드가 저전력 모드로 감소되는 상태일 수 있다.
시간 t4에서, 예측기는 다른 예측 초기화(414)를 트리거한다. 예측 초기화(414)에 기초하여, 고전력 카메라 파이프라인은 초기화해제 상태(406)로부터 다시 초기화 상태(404)로 변경된다.
시간 t5에서, 사용자 개시 카메라 이벤트(416)는 도 3과 관련하여 설명된 빠른 카메라 시작과 같은 빠른 카메라 시작(408)을 트리거할 수 있다. 빠른 카메라 시작(408)에서, 고전력 카메라 파이프라인은 사용자 개시 카메라 이벤트(416)에 응답하여 레이턴시 없이(또는 감소된/최소의 레이턴시로) 이미지/비디오를 캡처할 수 있다.
시간 t6에서, 예측기는 고전력 카메라 파이프라인의 상태를 초기화 상태(초기화 상태(404))로부터 초기화해제 상태(406)로 변경하도록 구성된 상태 변경 트리거(418)를 검출한다. 일부 예들에서, 상태 변경 트리거(418)는 타이머 만료(412)와 같은 타이머의 만료를 포함할 수 있다. 일부 예들에서, 상태 변경 트리거(418)는 전자 디바이스(100)의 사용자로부터의 사용자 입력에 기초할 수 있다. 예를 들어, 상태 변경 트리거(418)는, 카메라 애플리케이션을 닫거나 고전력 카메라 파이프라인에 대한 전력을 차단/중단시키거나 고전력 카메라 파이프라인의 초기화해제를 트리거하기 위한 (예컨대, 사용자 인터페이스를 통한, 발화된 커맨드를 통한, 하나 이상의 버튼들 또는 키들을 통한 등) 사용자 입력에 기초할 수 있다.
도 5는 상이한 예측 카메라 이벤트 결정들에 기초하여 구현된 상이한 초기화 상태들의 예를 예시하는 도면이다. 이 예에서, 전자 디바이스(100)의 고전력 카메라 파이프라인은 카메라 이벤트 예측이 없는 동안(500) 비초기화 상태(502)에 있다.
후속적으로, 전자 디바이스(100)는 전자 디바이스(100)의 장면에서 객체(530)를 (예컨대, 이미지 센서(102)와 같은 저전력 카메라 센서를 통해) 검출한다. 객체(530)의 검출에 기초하여, 예측기(예컨대, 예측기(120))는 카메라 이벤트 예측(520)을 결정할 수 있다. 카메라 이벤트 예측(520)은, 이전에 설명된 바와 같이, 사용자 개시 카메라 이벤트를 예측할 수 있다.
일부 예들에서, 객체(530)는 카메라 이벤트 예측을 트리거하도록 구성될 수 있다. 일부 예들에서, 예측기는 객체(530)의 검출 후에 발생하는 사용자 개시 이벤트의 임계 가능성이 존재한다는 것을 이전 예들로부터 학습할 수 있다. 예를 들어, 예측기는 사용자 개시 카메라 이벤트가 객체(530)의 검출 후에 발생할 것으로 예측됨을 나타내는 기계 학습 분류기(예컨대, 기계 학습 엔진(122))로부터의 출력에 기초하여 카메라 이벤트 예측(520)을 결정할 수 있다.
카메라 이벤트 예측(520)에 기초하여, 예측기는 비초기화 상태(502)로부터 초기화 상태(522)로 변경하도록 고전력 카메라 파이프라인을 (예컨대, 명령/커맨드를 통해) 트리거할 수 있다.
도 6은 예측 카메라 초기화를 위한 예시적인 프로세스(600)를 예시하는 흐름도이다. 이 예에서, 블록(602)에서, 프로세스(600)는, 제1 이미지 캡처 디바이스(예컨대, 이미지 센서(102))로부터, 장면(예컨대, 일몰, 랜드마크, 풍경, 환경, 이벤트 등)을 묘사하는 이미지 데이터(예컨대, 센서 데이터(220))를 획득하는 것을 포함할 수 있다. 일부 예들에서, 제1 이미지 캡처 디바이스는 캡처될 이미지 데이터를 트리거하기 위한 사용자 입력 없이 이미지 데이터를 자동적으로 캡처할 수 있다. 일부 경우들에서, 제1 이미지 캡처 디바이스는 (예컨대, 제1 이미지 캡처 디바이스 및/또는 제1 이미지 캡처 디바이스와 연관된 전자 디바이스 상의 제2 이미지 캡처 디바이스에 의해 지원되는 고전력 모드에 비해) 저전력 모드 및/또는 저전력 카메라 파이프라인(예컨대, 저전력 카메라 파이프라인(202))을 사용하여 이미지 데이터를 캡처할 수 있다.
블록(604)에서, 프로세스(600)는 이미지 데이터에 기초하여 장면을 분류하는 것을 포함할 수 있다. 일부 예들에서, 장면을 분류하는 것은 이미지 데이터와 연관된(예컨대, 이미지 데이터에 묘사된) 이벤트를 검출하는 것을 포함할 수 있다. 일부 경우들에서, 검출된 이벤트는 이미지 데이터에 묘사된 장면을 포함할 수 있다. 일부 경우들에서, 장면 및/또는 검출된 이벤트는 전자 디바이스의 특정 이동, 전자 디바이스와 연관된 사용자에 대한 전자 디바이스의 포지션, 이미지 데이터에서 검출된 많은 사람들, 한 명 이상의 사용자들과 연관된 제스처, 객체 상에 디스플레이된 패턴(예컨대, QR 코드, 링크 등), 및/또는 서로에 대한 한 그룹의 사람들의 포지션을 포함할 수 있다.
일부 경우들에서, 장면은 기계 학습 알고리즘 또는 이미지 프로세싱 알고리즘을 사용하여 분류될 수 있다.
블록(606)에서, 프로세스(600)는, 장면의 분류에 기초하여, 카메라 사용 이벤트를 예측하는 것을 포함할 수 있다. 일부 예들에서, 카메라 사용 이벤트는 추가 이미지 데이터를 캡처하기 위해 제1 이미지 캡처 디바이스와 연관된 전자 디바이스(예컨대, 전자 디바이스(100))를 트리거하도록 구성된 사용자 입력을 포함할 수 있다.
일부 경우들에서, 카메라 사용 이벤트는 분류된 장면과 동일한 유형의 장면을 캡처하는 이미지 데이터의 포지티브 예 및 네거티브 예와 같은, 이미지 데이터의 포지티브 예 및 네거티브 예에 대해 훈련된 기계 학습 분류기를 사용하여 검출될 수 있다.
블록(608)에서, 프로세스(600)는, 예측된 카메라 사용 이벤트에 기초하여, 제1 이미지 캡처 디바이스 및/또는 제2 이미지 캡처 디바이스(예컨대, 이미지 센서(104))의 전력 모드를 조정하는 것을 포함할 수 있다. 일부 예들에서, 제2 이미지 캡처 디바이스는 제1 이미지 캡처 디바이스에 비해 더 높은 전력의 카메라 디바이스를 포함한다. 예를 들어, 제2 이미지 캡처 디바이스는 제1 이미지 캡처 디바이스에 의해 지원되는 전력 모드보다 더 많은 전력을 소비하는 전력 모드를 지원할 수 있다. 일부 경우들에서, 고전력 카메라 디바이스는 제1 이미지 캡처 디바이스보다 더 높은 해상도, 제1 이미지 캡처 디바이스보다 더 높은 프레임레이트, 제1 이미지 캡처 디바이스보다 더 많은 수의 이미지 센서들, 및/또는 제1 이미지 캡처 디바이스와 연관된 제2 이미지 센서보다 더 높은 전력 모드를 지원하는 제1 이미지 센서를 포함할 수 있다.
일부 경우들에서, 제2 이미지 캡처 디바이스는 제1 이미지 캡처 디바이스와 연관된 저전력 카메라 파이프라인(예컨대, 저전력 카메라 파이프라인(202))에 비해 고전력 카메라 파이프라인(예컨대, 고전력 카메라 파이프라인(212))과 연관된다(예컨대, 그를 사용하고/하거나 그의 일부임). 일부 예들에서, 고전력 카메라 파이프라인은 저전력 카메라 파이프라인보다 더 많은 이미지 프로세싱 능력들, 및/또는 저전력 카메라 파이프라인보다 더 높은 프로세싱 성능을 갖는 하나 이상의 하드웨어 컴포넌트들을 포함한다. 예를 들어, 일부 경우들에서, 제2 이미지 캡처 디바이스는 제1 이미지 캡처 디바이스와 연관된 제2 카메라 파이프라인보다 더 많은 전력을 소비하는 제1 카메라 파이프라인과 연관된다. 일부 경우들에서, 제1 카메라 파이프라인은 제2 카메라 파이프라인보다 더 많은 이미지 프로세싱 능력들, 및/또는 제2 카메라 파이프라인보다 더 높은 프로세싱 성능을 갖는 하나 이상의 하드웨어 컴포넌트들을 포함한다.
일부 예들에서, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하는 것은 제2 이미지 캡처 디바이스를 초기화하는 것을 포함할 수 있다. 일부 예들에서, 제2 이미지 캡처 디바이스는 제1 이미지 캡처 디바이스와 연관된 각자의 전력 모드보다(예컨대, 이미지 데이터를 캡처하는 데 사용되는 제1 이미지 캡처 디바이스의 각자의 전력 모드보다) 더 많은 전력을 소비하는 전력 모드(예컨대, 고전력 모드)에서 초기화된다. 일부 경우들에서, 제2 이미지 캡처 디바이스를 초기화하는 것은 제2 이미지 캡처 디바이스의 전력 모드를 증가시키는 것을 포함할 수 있다.
일부 양태들에서, 프로세스(600)는 이미지 데이터를 캡처하는 데 사용되는 제1 이미지 캡처 디바이스의 각자의 전력 모드보다 더 많은 전력을 소비하는 전력 모드에서 제2 이미지 캡처 디바이스를 사용하여 추가 이미지 데이터를 캡처하는 것을 포함할 수 있다. 일부 예들에서, 제2 이미지 캡처 디바이스의 전력 모드는 이미지 데이터를 캡처하는 데 사용되는 제1 이미지 캡처 디바이스의 각자의 전력 모드와 연관된 해상도보다 더 높은 해상도, 제1 이미지 캡처 디바이스의 각자의 전력 모드와 연관된 프레임레이트보다 더 높은 프레임레이트, 제1 이미지 캡처 디바이스의 각자의 전력 모드와 연관된 이미지 센서들의 수보다 더 많은 수의 이미지 센서들, 및/또는 제1 이미지 캡처 디바이스와 연관된 제2 이미지 센서에 의해 지원되는 상이한 전력 모드보다 더 많은 전력을 소비하는 특정 전력 모드를 지원하는 제1 이미지 센서를 포함할 수 있다.
일부 경우들에서, 제2 이미지 캡처 디바이스를 초기화하는 것은 제2 이미지 캡처 디바이스의 전력 모드를 증가시키는 것을 포함할 수 있다. 일부 예들에서, 제2 이미지 캡처 디바이스의 전력 모드를 증가시키는 것은 제2 이미지 캡처 디바이스 및/또는 제2 이미지 캡처 디바이스의 카메라 파이프라인과 연관된 하나 이상의 하드웨어 컴포넌트들의 전력을 증가시키는 것을 포함할 수 있다.
일부 양태들에서, 프로세스(600)는 제1 이미지 캡처 디바이스로부터의 이미지 데이터를 버퍼(예컨대, 다중 프레임 버퍼(232))에 저장하는 것; 및 제2 이미지 캡처 디바이스와 연관된 카메라 파이프라인(예컨대, 고전력 카메라 파이프라인(212))을 통해, 버퍼에 저장된 이미지 데이터의 적어도 일부분을 프로세싱하는 것을 포함할 수 있다. 일부 경우들에서, 이미지 데이터의 적어도 일부분은 제2 이미지 캡처 디바이스의 초기화 동안 그리고/또는 제2 이미지 캡처 디바이스의 초기화가 완료되기 전에 버퍼에 저장된다. 일부 경우들에서, 이미지 데이터의 적어도 일부분은 제2 이미지 캡처 디바이스가 초기화된 후에 프로세싱된다.
일부 양태들에서, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하는 것은 제2 이미지 캡처 디바이스의 카메라 파이프라인과 연관된 프로세서 및/또는 카메라 파이프라인과 연관된 메모리 중 적어도 하나의 것의 주파수를 증가시키는 것(예컨대, 프로세서 및/또는 메모리를 버스팅하는 것)을 포함한다.
일부 양태들에서, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하는 것은 제2 이미지 캡처 디바이스와 연관된 카메라 애플리케이션에 메모리를 사전 할당하는 것을 포함한다.
일부 양태들에서, 프로세스(600)는, 제1 이미지 캡처 디바이스로부터의 하나 이상의 이미지들에 기초하여, 노출 값 및/또는 포커스 값을 사전 수렴하는 것을 포함한다.
일부 양태들에서, 프로세스(600)는, 제1 이미지 캡처 디바이스와 연관된 전자 디바이스의 위치를 나타내는 위치 데이터 및/또는 전자 디바이스와 연관된 하나 이상의 센서들로부터의 센서 데이터를 획득하는 것; 및 위치 데이터, 오디오 데이터, 및/또는 센서 데이터 중 적어도 하나와 이미지 데이터에 기초하여 장면을 분류하는 것을 포함한다. 일부 예들에서, 추가 카메라 사용 이벤트는 추가 이미지 데이터를 캡처하기 위해 전자 디바이스를 트리거하도록 구성된 추가 사용자 입력을 포함할 수 있다. 일부 예들에서, 센서 데이터는 전자 디바이스와 연관된 모션을 나타내는 모션 측정치, 하나 이상의 센서들에 의해 캡처된 오디오 데이터, 및/또는 전자 디바이스의 포지션을 나타내는 포지션 측정치들을 포함한다.
일부 경우들에서, 예측된 카메라 사용 이벤트는 추가 이미지 데이터를 캡처하기 위해 전자 디바이스를 트리거하도록 구성된 사용자 입력을 포함할 수 있다.
일부 경우들에서, 추가 카메라 사용 이벤트를 예측하는 것은 위치 데이터, 오디오 데이터, 및/또는 센서 데이터에 기초하여 추가 이벤트를 검출하는 것을 포함할 수 있다. 일부 경우들에서, 추가 카메라 사용 이벤트는 추가 이벤트에 기초하여 추가로 예측된다. 일부 예들에서, 추가 이벤트는 오디오 데이터 내의 하나 이상의 사운드들, 전자 디바이스의 특정 이동, 및/또는 전자 디바이스의 특정 포즈를 포함할 수 있다.
일부 양태들에서, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하는 것은 제2 이미지 캡처 디바이스의 초기화와 연관된 하나 이상의 초기화 설정들을 결정하는 것, 및 하나 이상의 초기화 설정들에 따라 제2 이미지 캡처 디바이스를 초기화하는 것을 포함한다. 일부 예들에서, 하나 이상의 초기화 설정들은 분류된 장면과 연관된 장면의 유형에 기초하여 결정된다. 예를 들어, 초기화 설정들은 장면이 소정 장면(예컨대, 일몰, 풍경 등)을 포함하는 경우 HDR 모드를 포함할 수 있고, 장면이 대신에 사용자 미소를 포함하는 경우 비HDR 모드를 포함할 수 있다.
일부 양태들에서, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하는 것은, 투광 조명기, 깊이 센서 디바이스, 듀얼 이미지 캡처 디바이스 시스템, 구조화된 조명 시스템, 비행 시간 시스템, 오디오 알고리즘, 위치 서비스, 및/또는 제1 이미지 캡처 디바이스와 연관된 카메라 파이프라인과는 상이한 카메라 파이프라인을 켜거나 구현하는 것을 포함한다.
일부 양태들에서, 프로세스(600)는, 장면을 분류하는 것에 응답하여, 만료 값과 연관된 타이머를 초기화하는 것; 타이머의 값이 예측된 카메라 사용 이벤트의 발생 전에 만료 값에 도달하였다고 결정하는 것; 및 타이머의 값이 예측된 카메라 사용 이벤트의 발생 전에 만료 값에 도달한 것에 기초하여, 제2 이미지 캡처 디바이스의 전력 모드를 감소시키는 것을 포함할 수 있다. 일부 예들에서, 전력 모드를 감소시키는 것은 제2 이미지 캡처 디바이스를 끄는 것 및/또는 제2 이미지 캡처 디바이스 및/또는 제2 이미지 캡처 디바이스와 연관된 카메라 파이프라인과 연관된 하나 이상의 전력 설정들을 감소시키는 것을 포함할 수 있다. 일부 경우들에서, 만료 값은 분류된 장면의 유형에 기초하여 달라질 수 있다. 예를 들어, 장면이 그룹이 단체 사진을 촬영할 준비를 하고 있음을 나타내는 것으로 추정되는 방식으로 한 그룹의 사람들이 모이는 것을 포함하는 경우, 만료 값은 그룹에게 모이고 단체 사진을 조정하는 데 더 많은 시간을 제공하기 위해 (다른 유형들의 장면들에서의 만료 값에 비해) 증가될 수 있다.
일부 양태들에서, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하는 것은 제1 이미지 캡처 디바이스의 전력 모드를 감소시키는 것을 포함할 수 있다. 일부 경우들에서, 제1 이미지 캡처 디바이스의 전력 모드를 감소시키는 것은 제1 이미지 캡처 디바이스 및 제1 이미지 캡처 디바이스의 카메라 파이프라인과 연관된 하나 이상의 하드웨어 컴포넌트들 중 적어도 하나의 것의 전력을 감소시키는 것 중 적어도 하나를 포함할 수 있다.
일부 양태들에서, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하는 것은 제1 이미지 캡처 디바이스의 전력 모드를 증가시키는 것을 포함할 수 있다. 일부 경우들에서, 제1 이미지 캡처 디바이스의 전력 모드를 증가시키는 것은 제1 이미지 캡처 디바이스 및 제1 이미지 캡처 디바이스의 카메라 파이프라인과 연관된 하나 이상의 하드웨어 컴포넌트들 중 적어도 하나의 것의 전력을 증가시키는 것 중 적어도 하나를 포함할 수 있다.
일부 예들에서, 프로세스(600)는 하나 이상의 컴퓨팅 디바이스들 또는 장치들에 의해 수행될 수 있다. 하나의 예시적인 예에서, 프로세스(600)는 도 1에 도시된 전자 디바이스(100)에 의해 수행될 수 있다. 일부 예들에서, 프로세스(600)는 도 7에 도시된 컴퓨팅 디바이스 아키텍처(700)를 갖는 하나 이상의 컴퓨팅 디바이스들에 의해 수행될 수 있다. 일부 경우들에서, 그러한 컴퓨팅 디바이스 또는 장치는 프로세스(600)의 단계들을 수행하도록 구성되는 프로세서, 마이크로프로세서, 마이크로컴퓨터, 또는 디바이스의 다른 컴포넌트를 포함할 수 있다. 일부 예들에서, 그러한 컴퓨팅 디바이스 또는 장치는 이미지 데이터 및/또는 다른 센서 측정치들을 캡처하도록 구성된 하나 이상의 센서들을 포함할 수 있다. 예를 들어, 컴퓨팅 디바이스는 스마트폰, 머리 장착형 디스플레이, 모바일 디바이스, 또는 다른 적절한 디바이스를 포함할 수 있다. 일부 예들에서, 그러한 컴퓨팅 디바이스 또는 장치는 하나 이상의 이미지들 또는 비디오들을 캡처하도록 구성된 카메라를 포함할 수 있다. 일부 경우들에, 그러한 컴퓨팅 디바이스는 이미지들을 디스플레이하기 위한 디스플레이를 포함할 수 있다. 일부 예들에서, 하나 이상의 센서들 및/또는 카메라는 컴퓨팅 디바이스로부터 분리될 수 있고, 이 경우에, 컴퓨팅 디바이스는 감지된 데이터를 수신한다. 그러한 컴퓨팅 디바이스는 데이터를 통신하도록 구성된 네트워크 인터페이스를 추가로 포함할 수 있다.
컴퓨팅 디바이스의 컴포넌트들은 회로부에서 구현될 수 있다. 예를 들어, 컴포넌트들은 하나 이상의 프로그래밍가능 전자 회로들(예컨대, 마이크로프로세서들, GPU(graphics processing unit)들, DSP(digital signal processor)들, CPU(central processing unit)들 및/또는 다른 적절한 전자 회로들)을 포함할 수 있는 전자 회로들 또는 다른 전자 하드웨어를 포함할 수 있고 그리고/또는 이들을 사용하여 구현될 수 있으며, 그리고/또는 본 명세서에서 설명되는 다양한 동작들을 수행하기 위해 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 임의의 조합을 포함할 수 있고 그리고/또는 이들을 사용하여 구현될 수 있다. 컴퓨팅 디바이스는 (출력 디바이스의 일례로서 또는 출력 디바이스에 추가하여) 디스플레이, 데이터를 통신 및/또는 수신하도록 구성된 네트워크 인터페이스, 이들의 임의의 조합, 및/또는 다른 컴포넌트(들)를 추가로 포함할 수 있다. 네트워크 인터페이스는 인터넷 프로토콜(IP) 기반 데이터 또는 다른 유형의 데이터를 통신 및/또는 수신하도록 구성될 수 있다.
프로세스(600)는 논리 흐름도들로서 나타나 있고, 그의 동작들은 하드웨어, 컴퓨터 명령들 또는 이들의 조합으로 구현될 수 있는 동작들의 시퀀스들을 표현한다. 컴퓨터 명령들과 관련하여, 동작들은 하나 이상의 컴퓨터 판독가능 저장 매체들 상에 저장된 컴퓨터 실행가능 명령들을 표현하며, 이러한 명령들은 하나 이상의 프로세서들에 의해 실행될 때, 열거된 동작들을 수행한다. 일반적으로, 컴퓨터 실행가능 명령들은 특정 기능들을 수행하거나 특정 데이터 유형들을 구현하는 루틴들, 프로그램들, 객체들, 컴포넌트들, 데이터 구조들 등을 포함한다. 동작들이 설명되는 순서는 제한으로서 해석되는 것으로 의도되지 않으며, 임의의 수의 설명되는 동작들이 임의의 순서로 그리고/또는 병렬로 조합되어 프로세스들을 구현할 수 있다.
추가적으로, 프로세스(600)는 실행가능 명령들로 구성된 하나 이상의 컴퓨터 시스템들의 제어 하에서 수행될 수 있고, 하나 이상의 프로세서들 상에서, 하드웨어에 의해, 또는 이들의 조합들로 집합적으로 실행되는 코드(예컨대, 실행가능 명령들, 하나 이상의 컴퓨터 프로그램들, 또는 하나 이상의 애플리케이션들)로서 구현될 수 있다. 위에서 언급된 바와 같이, 코드는 예를 들어, 하나 이상의 프로세서들에 의해 실행가능한 복수의 명령들을 포함하는 컴퓨터 프로그램의 형태로, 컴퓨터 판독가능 또는 머신 판독가능 저장 매체 상에 저장될 수 있다. 컴퓨터 판독가능 또는 머신 판독가능 저장 매체는 비일시적일 수 있다.
도 7은 본 명세서에 설명된 다양한 기술을 구현할 수 있는 예시적인 컴퓨팅 디바이스의 예시적인 컴퓨팅 디바이스 아키텍처(700)를 도시한다. 예를 들어, 컴퓨팅 디바이스 아키텍처(700)는 도 1에 도시된 전자 디바이스(100)의 적어도 일부 부분들을 구현할 수 있다. 컴퓨팅 디바이스 아키텍처(700)의 컴포넌트들은 버스와 같은 연결부(705)를 사용하여 서로 전기적으로 통신하는 것으로 도시된다. 예시적인 컴퓨팅 디바이스 아키텍처(700)는 프로세싱 유닛(CPU 또는 프로세서)(710), 및 판독 전용 메모리(ROM)(720) 및 랜덤 액세스 메모리(RAM)(725)와 같은 컴퓨팅 디바이스 메모리(715)를 포함하는 다양한 컴퓨팅 디바이스 컴포넌트들을 프로세서(710)에 커플링하는 컴퓨팅 디바이스 연결부(705)를 포함한다.
컴퓨팅 디바이스 아키텍처(700)는 프로세서(710)와 직접 연결되거나, 그에 매우 근접하거나, 또는 그의 일부로서 통합되는 고속 메모리의 캐시를 포함할 수 있다. 컴퓨팅 디바이스 아키텍처(700)는 프로세서(710)에 의한 빠른 액세스를 위해 메모리(715) 및/또는 저장 디바이스(730)로부터 캐시(712)로 데이터를 복사할 수 있다. 이러한 방식으로, 캐시는 데이터를 기다리는 동안 프로세서(710) 지연들을 회피하는 성능 부스트를 제공할 수 있다. 이들 및 다른 모듈들은 다양한 액션들을 수행하도록 프로세서(710)를 제어하거나 또는 제어하도록 구성될 수 있다. 다른 컴퓨팅 디바이스 메모리(715)가 또한 사용을 위해 이용가능할 수 있다. 메모리(715)는 상이한 성능 특성들을 갖는 다수의 상이한 유형들의 메모리를 포함할 수 있다. 프로세서(710)는 소프트웨어 명령들이 프로세서 설계 내에 통합되는 특수 목적 프로세서뿐만 아니라 프로세서(710)를 제어하도록 구성되고 저장 디바이스(730)에 저장된 하드웨어 또는 소프트웨어 서비스 및 임의의 범용 프로세서를 포함할 수 있다. 프로세서(710)는 다수의 코어들 또는 프로세서들, 버스, 메모리 제어기, 캐시 등을 포함하는 독립형 시스템일 수 있다. 다중 코어 프로세서는 대칭이거나 또는 비대칭일 수 있다.
컴퓨팅 디바이스 아키텍처(700)와의 사용자 상호작용을 가능하게 하기 위해, 입력 디바이스(745)는 스피치를 위한 마이크로폰, 제스처 또는 그래픽 입력을 위한 터치 감지 스크린, 키보드, 마우스, 모션 입력, 스피치 등과 같은 임의의 수의 입력 메커니즘들을 나타낼 수 있다. 출력 디바이스(735)는 또한, 디스플레이, 프로젝터, 텔레비전, 스피커 디바이스와 같은, 당업자에게 알려진 다수의 출력 메커니즘들 중 하나 이상일 수 있다. 일부 경우들에서, 멀티모달(multimodal) 컴퓨팅 디바이스들은, 사용자가 컴퓨팅 디바이스 아키텍처(700)와 통신하기 위해 다수의 유형들의 입력을 제공하는 것을 가능하게 할 수 있다. 통신 인터페이스(740)는 대체적으로 사용자 입력 및 컴퓨팅 디바이스 출력을 운영 및 관리할 수 있다. 임의의 특정 하드웨어 배열에 대해 동작하는 것에 대한 제한은 없으며, 따라서 여기서 기본 특징들은 이들이 개발됨에 따라 개선된 하드웨어 또는 펌웨어 배열들을 쉽게 대체할 수 있다.
저장 디바이스(730)는 비휘발성 메모리이고, 하드 디스크 또는 컴퓨터에 의해 액세스가능한 데이터를 저장할 수 있는 다른 유형들의 컴퓨터 판독가능 매체, 예컨대 자기 카세트들, 플래시 메모리 카드들, 고체 상태 메모리 디바이스들, 디지털 다기능 디스크들, 카트리지들, 랜덤 액세스 메모리(RAM)들(725), 판독 전용 메모리(ROM)(720) 및 이들의 하이브리드들일 수 있다. 저장 디바이스(730)는 프로세서(710)를 제어하기 위한 소프트웨어, 코드, 펌웨어 등을 포함할 수 있다. 다른 하드웨어 또는 소프트웨어 모듈들이 고려된다. 저장 디바이스(730)는 컴퓨팅 디바이스 연결부(705)에 연결될 수 있다. 일 양태에서, 특정 기능을 수행하는 하드웨어 모듈은, 그 기능을 수행하기 위해, 프로세서(710), 연결부(705), 출력 디바이스(735) 등과 같은 필요한 하드웨어 컴포넌트들과 연관되어 컴퓨터 판독가능 매체에 저장된 소프트웨어 컴포넌트를 포함할 수 있다.
용어 "컴퓨터 판독가능 매체"는 휴대용 또는 고정식 저장 디바이스들, 광학 저장 디바이스들, 및 명령(들) 및/또는 데이터를 저장, 포함, 또는 반송할 수 있는 다양한 다른 매체들을 포함하지만 이에 한정되지 않는다. 컴퓨터 판독가능 매체는 데이터가 저장될 수 있고 무선으로 또는 유선 연결들을 통해 전파되는 반송파들 및/또는 일시적 전자 신호들을 포함하지 않는 비일시적 매체를 포함할 수 있다. 비일시적인 매체의 예들은 자기 디스크 또는 테이프, CD(compact disk) 또는 DVD(digital versatile disk)와 같은 광학 저장 매체들, 플래시 메모리, 메모리 또는 메모리 디바이스들을 포함할 수 있지만, 이것들로 제한되지는 않는다. 컴퓨터 판독가능 매체 상에는 절차, 함수, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 명령들, 데이터 구조들 또는 프로그램 명령문들의 임의의 조합을 나타낼 수 있는 코드 및/또는 머신 실행가능 명령들이 저장될 수 있다. 코드 세그먼트는 정보, 데이터, 독립변수(argument)들, 파라미터들, 또는 메모리 콘텐츠를 전달 및/또는 수신함으로써 다른 코드 세그먼트 또는 하드웨어 회로에 커플링될 수 있다. 정보, 독립변수들, 파라미터들, 데이터 등은 메모리 공유, 메시지 전달, 토큰 전달, 네트워크 송신 등을 포함하는 임의의 적당한 수단을 통해 전달, 포워딩 또는 송신될 수 있다.
일부 실시 형태들에서, 컴퓨터 판독가능 저장 디바이스들, 매체들 및 메모리들은 비트 스트림 등을 포함하는 케이블 또는 무선 신호를 포함할 수 있다. 그러나 언급될 때, 비일시적 컴퓨터 판독가능 저장 매체들은 에너지, 반송파 신호들, 전자파들, 및 신호들 그 자체와 같은 매체들을 명시적으로 배제한다.
본 명세서에서 제공되는 실시 형태들 및 예들의 철저한 이해를 제공하기 위해, 특정 세부사항들이 위의 설명에서 제공된다. 그러나 실시 형태들은 이러한 특정 세부사항들 없이 실시될 수 있음이 당해 기술분야에서 통상의 지식을 가진 자에 의해 이해될 것이다. 설명의 명료화를 위해, 일부 사례들에 있어서, 본 기술은 디바이스들, 디바이스 컴포넌트들, 소프트웨어에서 구현된 방법에서의 단계들 또는 루틴들, 또는 하드웨어와 소프트웨어의 조합들을 포함하는 개별 기능 블록들을 포함하는 것으로서 제시될 수 있다. 도면들에 도시된 그리고/또는 본 명세서에서 설명되는 것들 이외의 추가 컴포넌트들이 사용될 수 있다. 예를 들어, 불필요한 세부사항으로 실시 형태들을 모호하게 하지 않도록 회로들, 시스템들, 네트워크들, 프로세스들 및 다른 컴포넌트들은 블록도 형태로 컴포넌트들로서 도시될 수 있다. 다른 경우들에는, 실시 형태들을 모호하게 하는 것을 피하기 위해, 잘 알려진 회로들, 프로세스들, 알고리즘들, 구조들 및 기법들은 불필요한 세부사항 없이 도시될 수 있다.
개별 실시 형태들은 위에서 흐름도, 순서도, 데이터 순서도, 구조도, 또는 블록도로서 도시된 프로세스 또는 방법으로서 설명될 수 있다. 흐름도가 동작들을 순차적인 프로세스로서 설명할 수 있지만, 동작들의 대부분은 병렬로 또는 동시에 수행될 수 있다. 추가로, 동작들의 순서는 재-배열될 수 있다. 프로세스는 프로세서의 동작들이 완료될 때 종료되지만 도면에 포함되지 않은 추가 단계들을 가질 수 있다. 프로세스는 방법, 함수, 절차, 서브루틴, 서브프로그램 등에 대응할 수 있다. 프로세스가 함수에 대응할 때, 그 종료는 호출 함수 또는 메인 함수로의 함수의 복귀에 대응할 수 있다.
위에서 설명된 예들에 따른 프로세스들 및 방법들은 컴퓨터 판독가능 매체들로부터 저장되거나 아니면 컴퓨터 판독가능 매체들로부터 이용가능한 컴퓨터 실행가능 명령들을 사용하여 구현될 수 있다. 이러한 명령들은 예를 들어, 범용 컴퓨터, 특수 목적 컴퓨터 또는 프로세싱 디바이스로 하여금 특정 기능 또는 기능들의 그룹을 수행하게 하거나 아니면 구성하는 명령들 및 데이터를 포함할 수 있다. 사용되는 컴퓨터 리소스들의 부분들은 네트워크를 통해 액세스가능할 수 있다. 컴퓨터 실행가능 명령들은, 예를 들어, 어셈블리 언어, 펌웨어, 소스 코드와 같은 바이너리들, 중간 포맷 명령들일 수 있다. 설명되는 예들에 따른 방법들 동안 생성된 정보, 명령들, 및/또는 사용되는 정보를 저장하는 데 사용될 수 있는 컴퓨터 판독가능 매체들의 예들은 자기 또는 광 디스크들, 플래시 메모리, 비휘발성 메모리가 제공된 USB 디바이스들, 네트워크킹된 저장 디바이스들 등을 포함한다.
이러한 개시내용들에 따른 프로세스들 및 방법들을 구현하는 디바이스들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어들, 또는 이들의 임의의 조합을 포함할 수 있고, 다양한 폼 팩터들 중 임의의 폼 팩터를 취할 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현될 때, 필요한 작업들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들(예를 들어, 컴퓨터 프로그램 제품)은 컴퓨터 판독가능 또는 머신 판독가능 매체에 저장될 수 있다. 프로세서(들)는 필요한 작업들을 수행할 수 있다. 폼 팩터들의 통상적인 예들은 랩톱들, 스마트 폰들, 모바일 폰들, 태블릿 디바이스들 또는 다른 소형 폼 팩터 퍼스널 컴퓨터들, 퍼스널 디지털 어시스턴트들, 랙마운트 디바이스들, 독립형 디바이스들 등을 포함한다. 본 명세서에서 설명되는 기능은 또한 주변 기기들 또는 애드인(add-in) 카드들로 구현될 수 있다. 그러한 기능은 또한 추가 예로서, 단일 디바이스에서 실행되는 상이한 프로세스들 또는 상이한 칩들 사이의 회로 기판 상에서 구현될 수 있다.
명령들, 그러한 명령들을 전달하기 위한 매체들, 명령들을 실행하기 위한 컴퓨팅 리소스들, 및 그러한 컴퓨팅 리소스들을 지원하기 위한 다른 구조들은 본 개시내용에서 설명되는 기능들을 제공하기 위한 예시적인 수단들이다.
위의 설명에서, 본 출원의 양태들은 본 출원의 특정 실시 형태들을 참조하여 설명되지만, 당해 기술분야에서 통상의 지식을 가진 자들은 본 출원이 이에 제한되지 않음을 인식할 것이다. 따라서 본 출원의 예시적인 실시 형태들이 본 명세서에서 상세히 설명되었지만, 본 발명의 개념들은 다른 식으로 다양하게 구현 및 이용될 수 있고, 첨부된 청구항들은 종래 기술에 의해 제한된 것을 제외하면, 그러한 변형들을 포함하는 것으로 해석되어야 한다고 이해되어야 한다. 위에서 설명된 애플리케이션의 다양한 특징들 및 양태들은 개별적으로 또는 공동으로 사용될 수 있다. 추가로, 실시 형태들은, 본 명세서의 더 넓은 사상 및 범위를 벗어나지 않으면서, 본 명세서에서 설명되는 것들 이외의 임의의 수의 환경들 및 애플리케이션들에서 이용될 수 있다. 이에 따라, 본 명세서 및 도면들은 제한적인 것이 아니라 예시적인 것으로 간주되어야 한다. 예시의 목적들로, 방법들은 특정 순서로 설명되었다. 대안적인 실시 형태들에서, 방법들은 설명된 것과 상이한 순서로 수행될 수 있다고 인식되어야 한다.
당업자는 본 명세서에 사용된 미만 ("<") 및 초과 (">") 기호 또는 용어가 설명의 범위를 벗어남이 없이 이하 ("≤") 및 이상 ("≥")으로 각각 대체될 수 있음을 주지할 것이다.
컴포넌트들이 특정 동작을 수행하도록 "구성된" 것으로 기술되는 경우, 그러한 구성은 예를 들어, 전자 회로 또는 다른 하드웨어를 설계하여 그 동작을 수행하는 것에 의해, 프로그래밍가능한 전자 회로(예를 들어, 마이크로프로세서 또는 다른 적절한 전자 회로)를 프로그래밍하여 그 동작을 수행하는 것에 의해 또는 이들의 임의의 조합에 의해, 달성될 수 있다.
문구 "~에 커플링된(coupled to)"은 다른 컴포넌트에 직접적으로 또는 간접적으로 물리적으로 연결된 임의의 컴포넌트, 및/또는, 다른 컴포넌트와 직접적으로 또는 간접적으로 통신하는 (예컨대, 유선 또는 무선 연결, 및/또는 다른 적합한 통신 인터페이스를 통해 다른 컴포넌트에 연결된) 임의의 컴포넌트를 지칭한다.
세트 중 "적어도 하나" 및/또는 세트 중 "하나 이상"을 인용하는 본 개시내용의 청구항 언어 또는 다른 언어는 세트 중 하나의 멤버 또는 세트 중 다중 멤버들이 (임의의 조합으로) 청구항을 만족한다는 것을 나타낸다. 예를 들어, "A 및 B 중 적어도 하나" 또는 "A 또는 B 중 적어도 하나"를 언급하는 청구항 언어는 A, B, 또는 A와 B를 의미한다. 다른 예에서, "A, B 및 C 중 적어도 하나" 또는 "A, B 또는 C 중 적어도 하나"를 언급하는 청구항 언어는 A, B, C, 또는 A와 B, 또는 A와 C, 또는 B와 C, 또는 A와 B와 C를 의미한다. 그 언어, 세트 "중 적어도 하나" 및/또는 세트 중 "하나 이상"은 세트를 그 세트에 열거된 항목들로 제한하지 않는다. 예를 들어, "A 및 B 중 적어도 하나” 또는 "A 또는 B 중 적어도 하나”를 인용하는 청구항 언어는 A, B, 또는 A 및 B를 의미할 수 있으며, A 및 B의 세트에 열거되지 않은 항목들을 추가적으로 포함할 수 있다.
본 명세서에 개시된 예들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 회로들, 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 조합들로서 구현될 수 있다. 하드웨어와 소프트웨어의 이러한 상호교환가능성을 명확히 예시하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들은 그것들의 기능 관점들에서 일반적으로 위에서 설명되었다. 이러한 기능이 하드웨어로 구현되는지, 또는 소프트웨어로 구현되는지 여부는 특정 애플리케이션 및 전체 시스템에 대해 부과된 설계 제한들에 의존한다. 당해 기술분야에서 통상의 지식을 가진 자들은 설명된 기능을 특정 출원마다 다양한 방식들로 구현할 수 있지만, 이러한 구현 결정들이 본 출원의 범위를 벗어나게 하는 것으로 해석되지는 않아야 한다.
본 명세서에서 설명되는 기법들은 또한 전자 하드웨어, 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 이러한 기법들은 무선 통신 디바이스 핸드셋들 및 다른 디바이스들에서의 적용을 포함하여 다수의 용도들을 갖는 범용 컴퓨터들, 무선 통신 디바이스 핸드셋들 또는 집적 회로 디바이스들과 같은 다양한 디바이스들 중 임의의 디바이스에서 구현될 수 있다. 모듈들 또는 컴포넌트들로서 설명되는 임의의 특징들은 통합된 로직 디바이스로 함께 또는 개별적이지만 상호운용가능한 로직 디바이스들로서 별개로 구현될 수 있다. 소프트웨어에서 구현되면, 그 기법들은, 실행될 경우 상기 설명된 방법들, 알고리즘들, 및/또는 동작들 중 하나 이상을 수행하는 명령들을 포함하는 프로그램 코드를 포함하는 컴퓨터 판독가능 데이터 저장 매체에 의해 적어도 부분적으로 실현될 수 있다. 컴퓨터 판독가능 데이터 저장 매체는 패키징 재료들을 포함할 수 있는 컴퓨터 프로그램 제품의 일부를 형성할 수 있다. 컴퓨터 판독가능 매체는 메모리 또는 데이터 저장 매체들, 이를테면 RAM(random access memory), 이를테면 SDRAM(synchronous dynamic random access memory), ROM(read-only memory), NVRAM(non-volatile random access memory), EEPROM(electrically erasable programmable read-only memory), FLASH 메모리, 자기 또는 광 데이터 저장 매체들 등을 포함할 수 있다. 추가로 또는 대안으로, 이 기법들은 적어도 부분적으로는, 명령들 또는 데이터 구조들의 형태로 프로그램 코드를 운반 또는 전달하고 컴퓨터, 이를테면 전파 신호들 또는 파들 의해 액세스, 판독 및/또는 실행될 수 있는 컴퓨터 판독가능 통신 매체에 의해 실현될 수 있다.
프로그램 코드는 하나 이상의 프로세서들, 이를테면 하나 이상의 DSP(digital signal processor)들, 범용 마이크로프로세서들, ASIC(application specific integrated circuit)들, FPGA(field programmable logic array)들 또는 다른 대등한 집적 또는 이산 로직 회로를 포함할 수 있는 프로세서에 의해 실행될 수 있다. 그러한 프로세서는 본 개시내용에서 설명되는 기법들 중 임의의 기법을 수행하도록 구성될 수 있다. 범용 프로세서는 마이크로프로세서일 수 있지만; 대안적으로, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 예컨대, DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 조합된 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성으로서 구현될 수 있다. 이에 따라, 본 명세서에서 사용된 바와 같은 용어 "프로세서"는 전술한 구조, 전술한 구조의 임의의 조합, 또는 본 명세서에서 설명된 기법들의 구현에 적합한 임의의 다른 구조 또는 장치 중 임의의 것을 지칭할 수 있다.
본 개시내용의 예시적인 예들은 다음을 포함한다:
양태 1. 예측 카메라 초기화를 위한 장치로서, 메모리; 및 메모리에 커플링된 하나 이상의 프로세서들을 포함하고, 하나 이상의 프로세서들은, 제1 이미지 캡처 디바이스로부터, 장면을 묘사하는 이미지 데이터를 획득하고; 이미지 데이터에 기초하여 장면을 분류하고; 장면의 분류에 기초하여, 카메라 사용 이벤트를 예측하고; 그리고 예측된 카메라 사용 이벤트에 기초하여, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하도록 구성되는, 장치.
양태 2. 양태 1에 있어서, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하기 위해, 하나 이상의 프로세서들은, 제2 이미지 캡처 디바이스를 초기화하도록 구성되고, 제2 이미지 캡처 디바이스는 이미지 데이터를 캡처하는 데 사용되는 제1 이미지 캡처 디바이스의 각자의 전력 모드보다 더 많은 전력을 소비하는 전력 모드에서 초기화되는, 장치.
양태 3. 양태 2에 있어서, 하나 이상의 프로세서들은, 제1 이미지 캡처 디바이스의 각자의 전력 모드보다 더 많은 전력을 소비하는 전력 모드에서 제2 이미지 캡처 디바이스를 사용하여 추가 이미지 데이터를 캡처하도록 구성되고, 전력 모드는 이미지 데이터를 캡처하는 데 사용되는 제1 이미지 캡처 디바이스의 각자의 전력 모드와 연관된 해상도보다 더 높은 해상도, 이미지 데이터를 캡처하는 데 사용되는 제1 이미지 캡처 디바이스의 각자의 전력 모드와 연관된 프레임레이트보다 더 높은 프레임레이트, 이미지 데이터를 캡처하는 데 사용되는 제1 이미지 캡처 디바이스의 각자의 전력 모드와 연관된 이미지 센서들의 수보다 더 많은 수의 이미지 센서들, 및 제1 이미지 캡처 디바이스와 연관된 제2 이미지 센서에 의해 지원되는 상이한 전력 모드보다 더 많은 전력을 소비하는 특정 전력 모드를 지원하는 제1 이미지 센서 중 적어도 하나와 연관되는, 장치.
양태 4. 양태 2 또는 양태 3에 있어서, 제2 이미지 캡처 디바이스는 제1 이미지 캡처 디바이스와 연관된 제2 카메라 파이프라인보다 더 많은 전력을 소비하는 제1 카메라 파이프라인과 연관되고, 제1 카메라 파이프라인은 제2 카메라 파이프라인보다 더 높은 프로세싱 성능을 갖는 하나 이상의 하드웨어 컴포넌트들 및 제2 카메라 파이프라인보다 더 많은 이미지 프로세싱 능력들 중 적어도 하나를 포함하는, 장치.
양태 5. 양태 2 내지 양태 4 중 어느 한 양태에 있어서, 제2 이미지 캡처 디바이스를 초기화하기 위해, 하나 이상의 프로세서들은 제2 이미지 캡처 디바이스의 전력 모드를 증가시키도록 구성되는, 장치.
양태 6. 양태 5에 있어서, 제2 이미지 캡처 디바이스의 전력 모드를 증가시키기 위해, 하나 이상의 프로세서들은, 제2 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스의 카메라 파이프라인과 연관된 하나 이상의 하드웨어 컴포넌트들 중 적어도 하나의 것의 전력을 증가시키도록 구성되는, 장치.
양태 7. 양태 2 내지 양태 6 중 어느 한 양태에 있어서, 하나 이상의 프로세서들은, 제1 이미지 캡처 디바이스로부터의 이미지 데이터를 버퍼에 저장하는 것으로서, 이미지 데이터의 적어도 일부분은 제2 이미지 캡처 디바이스의 초기화 동안 및 제2 이미지 캡처 디바이스의 초기화가 완료되기 전에 버퍼에 저장되는, 상기 이미지 데이터를 저정하고; 그리고 제2 이미지 캡처 디바이스와 연관된 카메라 파이프라인을 통해, 버퍼에 저장된 이미지 데이터의 적어도 일부분을 프로세싱하는 것으로서, 이미지 데이터의 적어도 일부분은 제2 이미지 캡처 디바이스가 초기화된 후에 프로세싱되는, 상기 이미지 데이터의 적어도 일부분을 프로세싱하도록 구성되는, 장치.
양태 8. 양태 1 내지 양태 7 중 어느 한 양태에 있어서, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하기 위해, 하나 이상의 프로세서들은, 제2 이미지 캡처 디바이스의 카메라 파이프라인과 연관된 프로세서 및 카메라 파이프라인과 연관된 메모리 중 적어도 하나의 것의 주파수를 증가시키도록 구성되는, 장치.
양태 9. 양태 1 내지 양태 8 중 어느 한 양태에 있어서, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하기 위해, 하나 이상의 프로세서들은, 제2 이미지 캡처 디바이스와 연관된 카메라 애플리케이션에 메모리를 사전 할당하도록 구성되는, 장치.
양태 10. 양태 1 내지 양태 9 중 어느 한 양태에 있어서, 하나 이상의 프로세서들은, 제1 이미지 캡처 디바이스로부터의 하나 이상의 이미지들에 기초하여, 노출 값 및 포커스 값 중 적어도 하나를 사전 수렴하도록 구성되는, 장치.
양태 11. 양태 1 내지 양태 10 중 어느 한 양태에 있어서, 하나 이상의 프로세서들은, 장치의 위치를 나타내는 위치 데이터 및 장치와 연관된 하나 이상의 센서들로부터의 센서 데이터 중 적어도 하나를 획득하는 것으로서, 센서 데이터는 장치와 연관된 모션을 나타내는 모션 측정치, 하나 이상의 센서들에 의해 캡처된 오디오 데이터, 및 장치의 포지션을 나타내는 포지션 측정치들 중 적어도 하나를 포함하는, 상기 위치 데이터 및 센서 데이터 중 적어도 하나를 획득하고; 그리고 위치 데이터, 오디오 데이터 및 센서 데이터 중 적어도 하나와 이미지 데이터에 기초하여 장면을 분류하도록 구성되는, 장치.
양태 12. 양태 1 내지 양태 11 중 어느 한 양태에 있어서, 예측된 카메라 사용 이벤트는 추가 이미지 데이터를 캡처하기 위해 장치를 트리거하도록 구성된 사용자 입력을 포함하는, 장치.
양태 13. 양태 1 내지 양태 12 중 어느 한 양태에 있어서, 장면을 분류하기 위해, 하나 이상의 프로세서들은 이미지 데이터와 연관된 이벤트를 검출하도록 구성되고, 이벤트는 이미지 데이터에 묘사된 장면, 장치의 특정 이동, 장치와 연관된 사용자에 대한 장치의 포지션, 이미지 데이터에서 검출된 많은 사람들, 한 명 이상의 사용자들과 연관된 제스처, 객체 상에 디스플레이된 패턴, 및 서로에 대한 한 그룹의 사람들의 포지션 중 적어도 하나를 포함하는, 장치.
양태 14. 양태 1 내지 양태 13 중 어느 한 양태에 있어서, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하기 위해, 하나 이상의 프로세서들은, 제2 이미지 캡처 디바이스의 초기화와 연관된 하나 이상의 초기화 설정들을 결정하는 것으로서, 하나 이상의 초기화 설정들은 장면과 연관된 이벤트의 유형에 기초하는, 상기 하나 이상의 초기화 설정들을 결정하고; 그리고 하나 이상의 초기화 설정들에 따라 제2 이미지 캡처 디바이스를 초기화하도록 구성되는, 장치.
양태 15. 양태 1 내지 양태 14 중 어느 한 양태에 있어서, 하나 이상의 프로세서들은, 장면을 분류하는 것에 응답하여, 만료 값과 연관된 타이머를 초기화하고; 예측된 카메라 사용 이벤트의 발생 전에 타이머의 값이 만료 값에 도달하였다고 결정하고; 그리고 예측된 카메라 사용 이벤트의 발생 전에 타이머의 값이 만료 값에 도달한 것에 기초하여, 제2 이미지 캡처 디바이스의 전력 모드를 감소시키도록 구성되고, 전력 모드를 감소시키는 것은 제2 이미지 캡처 디바이스를 끄는 것 및 제2 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스와 연관된 카메라 파이프라인 중 적어도 하나와 연관된 하나 이상의 전력 설정들을 감소시키는 것 중 적어도 하나를 포함하는, 장치.
양태 16. 양태 1 내지 양태 15 중 어느 한 양태에 있어서, 제2 이미지 캡처 디바이스의 전력 모드를 조정하기 위해, 하나 이상의 프로세서들은 투광 조명기, 깊이 센서 디바이스, 듀얼 이미지 캡처 디바이스 시스템, 구조화된 조명 시스템, 비행 시간 시스템, 오디오 알고리즘, 위치 서비스, 및 제1 이미지 캡처 디바이스와 연관된 카메라 파이프라인과는 상이한 카메라 파이프라인 중 적어도 하나를 켜거나 구현하도록 구성되는, 장치.
양태 17. 양태 1 내지 양태 16 중 어느 한 양태에 있어서, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하기 위해, 하나 이상의 프로세서들은, 제1 이미지 캡처 디바이스의 전력 모드를 감소시키도록 구성되고, 제1 이미지 캡처 디바이스의 전력 모드를 감소시키는 것은 제1 이미지 캡처 디바이스 및 제1 이미지 캡처 디바이스의 카메라 파이프라인과 연관된 하나 이상의 하드웨어 컴포넌트들 중 적어도 하나의 것의 전력을 감소시키는 것 중 적어도 하나를 포함하는, 장치.
양태 18. 양태 1 내지 양태 17 중 어느 한 양태에 있어서, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하기 위해, 하나 이상의 프로세서들은, 제1 이미지 캡처 디바이스의 전력 모드를 증가시키도록 구성되고, 제1 이미지 캡처 디바이스의 전력 모드를 증가시키는 것은 제1 이미지 캡처 디바이스 및 제1 이미지 캡처 디바이스의 카메라 파이프라인과 연관된 하나 이상의 하드웨어 컴포넌트들 중 적어도 하나의 것의 전력을 증가시키는 것 중 적어도 하나를 포함하는, 장치.
양태 19. 양태 1 내지 양태 18 중 어느 한 양태에 있어서, 장치는 모바일 디바이스를 포함하는, 장치.
양태 20. 양태 19에 있어서, 장치는 확장 현실 디바이스를 포함하는, 장치.
양태 21. 예측 카메라 초기화를 위한 방법으로서, 제1 이미지 캡처 디바이스로부터, 장면을 묘사하는 이미지 데이터를 획득하는 단계; 이미지 데이터에 기초하여 장면을 분류하는 단계; 장면의 분류에 기초하여, 카메라 사용 이벤트를 예측하는 단계; 및 예측된 카메라 사용 이벤트에 기초하여, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하는 단계를 포함하는, 방법.
양태 22. 양태 21에 있어서, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하는 단계는, 제2 이미지 캡처 디바이스를 초기화하는 단계를 포함하고, 제2 이미지 캡처 디바이스는 이미지 데이터를 캡처하는 데 사용되는 제1 이미지 캡처 디바이스의 각자의 전력 모드보다 더 많은 전력을 소비하는 전력 모드에서 초기화되는, 방법.
양태 23. 양태 22에 있어서, 제1 이미지 캡처 디바이스의 각자의 전력 모드보다 더 많은 전력을 소비하는 전력 모드에서 제2 이미지 캡처 디바이스를 사용하여 추가 이미지 데이터를 캡처하는 단계를 추가로 포함하고, 전력 모드는 이미지 데이터를 캡처하는 데 사용되는 제1 이미지 캡처 디바이스의 각자의 전력 모드와 연관된 해상도보다 더 높은 해상도, 이미지 데이터를 캡처하는 데 사용되는 제1 이미지 캡처 디바이스의 각자의 전력 모드와 연관된 프레임레이트보다 더 높은 프레임레이트, 이미지 데이터를 캡처하는 데 사용되는 제1 이미지 캡처 디바이스의 각자의 전력 모드와 연관된 이미지 센서들의 수보다 더 많은 수의 이미지 센서들, 및 제1 이미지 캡처 디바이스와 연관된 제2 이미지 센서에 의해 지원되는 상이한 전력 모드보다 더 많은 전력을 소비하는 특정 전력 모드를 지원하는 제1 이미지 센서 중 적어도 하나와 연관되는, 방법.
양태 24. 양태 22 또는 양태 23에 있어서, 제2 이미지 캡처 디바이스는 제1 이미지 캡처 디바이스와 연관된 제2 카메라 파이프라인보다 더 많은 전력을 소비하는 제1 카메라 파이프라인과 연관되고, 제1 카메라 파이프라인은 제2 카메라 파이프라인보다 더 높은 프로세싱 성능을 갖는 하나 이상의 하드웨어 컴포넌트들 및 제2 카메라 파이프라인보다 더 많은 이미지 프로세싱 능력들 중 적어도 하나를 포함하는, 방법.
양태 25. 양태 22 내지 양태 24 중 어느 한 양태에 있어서, 제2 이미지 캡처 디바이스를 초기화하는 단계는 제2 이미지 캡처 디바이스의 전력 모드를 증가시키는 단계를 포함하는, 방법.
양태 26. 양태 25에 있어서, 제2 이미지 캡처 디바이스의 전력 모드를 증가시키는 단계는, 제2 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스의 카메라 파이프라인과 연관된 하나 이상의 하드웨어 컴포넌트들 중 적어도 하나의 것의 전력을 증가시키는 단계를 포함하는, 방법.
양태 27. 양태 22 내지 양태 26 중 어느 한 양태에 있어서, 제1 이미지 캡처 디바이스로부터의 이미지 데이터를 버퍼에 저장하는 단계로서, 이미지 데이터의 적어도 일부분은 제2 이미지 캡처 디바이스의 초기화 동안 및 제2 이미지 캡처 디바이스의 초기화가 완료되기 전에 버퍼에 저장되는, 상기 이미지 데이터를 저장하는 단계; 및 제2 이미지 캡처 디바이스와 연관된 카메라 파이프라인을 통해, 버퍼에 저장된 이미지 데이터의 적어도 일부분을 프로세싱하는 단계로서, 이미지 데이터의 적어도 일부분은 제2 이미지 캡처 디바이스가 초기화된 후에 프로세싱되는, 상기 이미지 데이터의 적어도 일부분을 프로세싱하는 단계를 추가로 포함하는, 방법.
양태 28. 양태 21 내지 양태 27 중 어느 한 양태에 있어서, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하는 단계는, 제2 이미지 캡처 디바이스의 카메라 파이프라인과 연관된 프로세서 및 카메라 파이프라인과 연관된 메모리 중 적어도 하나의 것의 주파수를 증가시키는 단계를 포함하는, 방법.
양태 29. 양태 21 내지 양태 28 중 어느 한 양태에 있어서, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하는 단계는, 제2 이미지 캡처 디바이스와 연관된 카메라 애플리케이션에 메모리를 사전 할당하는 단계를 포함하는, 방법.
양태 30. 양태 21 내지 양태 29 중 어느 한 양태에 있어서, 제1 이미지 캡처 디바이스로부터의 하나 이상의 이미지들에 기초하여, 노출 값 및 포커스 값 중 적어도 하나를 사전 수렴하는 단계를 추가로 포함하는, 방법.
양태 31. 양태 21 내지 양태 30 중 어느 한 양태에 있어서, 제1 이미지 캡처 디바이스와 연관된 전자 디바이스의 위치를 나타내는 위치 데이터 및 전자 디바이스와 연관된 하나 이상의 센서들로부터의 센서 데이터 중 적어도 하나를 획득하는 단계로서, 센서 데이터는 전자 디바이스와 연관된 모션을 나타내는 모션 측정치, 하나 이상의 센서들에 의해 캡처된 오디오 데이터, 및 전자 디바이스의 포지션을 나타내는 포지션 측정치들 중 적어도 하나를 포함하는, 상기 위치 데이터 및 센서 데이터 중 적어도 하나를 획득하는 단계; 및 위치 데이터, 오디오 데이터 및 센서 데이터 중 적어도 하나와 이미지 데이터에 기초하여 장면을 분류하는 단계를 추가로 포함하는, 방법.
양태 32. 양태 21 내지 양태 31 중 어느 한 양태에 있어서, 예측된 카메라 사용 이벤트는 추가 이미지 데이터를 캡처하기 위해 제1 이미지 캡처 디바이스와 연관된 전자 디바이스를 트리거하도록 구성된 사용자 입력을 포함하는, 방법.
양태 33. 양태 21 내지 양태 32 중 어느 한 양태에 있어서, 장면을 분류하는 단계는 이미지 데이터와 연관된 이벤트를 검출하는 단계를 포함하고, 이벤트는 이미지 데이터에 묘사된 장면, 제1 이미지 캡처 디바이스와 연관된 전자 디바이스의 특정 이동, 전자 디바이스와 연관된 사용자에 대한 전자 디바이스의 포지션, 이미지 데이터에서 검출된 많은 사람들, 한 명 이상의 사용자들과 연관된 제스처, 객체 상에 디스플레이된 패턴, 및 서로에 대한 한 그룹의 사람들의 포지션 중 적어도 하나를 포함하는, 방법.
양태 34. 양태 21 내지 양태 33 중 어느 한 양태에 있어서, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하는 단계는, 제2 이미지 캡처 디바이스의 초기화와 연관된 하나 이상의 초기화 설정들을 결정하는 단계로서, 하나 이상의 초기화 설정들은 장면과 연관된 이벤트의 유형에 기초하는, 상기 하나 이상의 초기화 설정들을 결정하는 단계; 및 하나 이상의 초기화 설정들에 따라 제2 이미지 캡처 디바이스를 초기화하는 단계를 포함하는, 방법.
양태 35. 양태 21 내지 양태 34 중 어느 한 양태에 있어서, 장면을 분류하는 것에 응답하여, 만료 값과 연관된 타이머를 초기화하는 단계; 예측된 카메라 사용 이벤트의 발생 전에 타이머의 값이 만료 값에 도달하였다고 결정하는 단계; 및 예측된 카메라 사용 이벤트의 발생 전에 타이머의 값이 만료 값에 도달한 것에 기초하여, 제2 이미지 캡처 디바이스의 전력 모드를 감소시키는 단계를 추가로 포함하고, 전력 모드를 감소시키는 단계는 제2 이미지 캡처 디바이스를 끄는 단계 및 제2 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스와 연관된 카메라 파이프라인 중 적어도 하나와 연관된 하나 이상의 전력 설정들을 감소시키는 단계 중 적어도 하나를 포함하는, 방법.
양태 36. 양태 21 내지 양태 35 중 어느 한 양태에 있어서, 제2 이미지 캡처 디바이스의 전력 모드를 조정하는 단계는 투광 조명기, 깊이 센서 디바이스, 듀얼 이미지 캡처 디바이스 시스템, 구조화된 조명 시스템, 비행 시간 시스템, 오디오 알고리즘, 위치 서비스, 및 제1 이미지 캡처 디바이스와 연관된 카메라 파이프라인과는 상이한 카메라 파이프라인 중 적어도 하나를 켜거나 구현하는 단계를 포함하는, 방법.
양태 37. 양태 21 내지 양태 36 중 어느 한 양태에 있어서, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하는 단계는, 제1 이미지 캡처 디바이스의 전력 모드를 감소시키는 단계를 포함하고, 제1 이미지 캡처 디바이스의 전력 모드를 감소시키는 단계는 제1 이미지 캡처 디바이스 및 제1 이미지 캡처 디바이스의 카메라 파이프라인과 연관된 하나 이상의 하드웨어 컴포넌트들 중 적어도 하나의 것의 전력을 감소시키는 단계 중 적어도 하나를 포함하는, 방법.
양태 38. 양태 21 내지 양태 37 중 어느 한 양태에 있어서, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하는 단계는, 제1 이미지 캡처 디바이스의 전력 모드를 증가시키는 단계를 포함하고, 제1 이미지 캡처 디바이스의 전력 모드를 증가시키는 단계는 제1 이미지 캡처 디바이스 및 제1 이미지 캡처 디바이스의 카메라 파이프라인과 연관된 하나 이상의 하드웨어 컴포넌트들 중 적어도 하나의 것의 전력을 증가시키는 단계 중 적어도 하나를 포함하는, 방법.
양태 39. 명령들이 저장된 비일시적 컴퓨터 판독가능 매체로서, 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금, 양태 21 내지 양태 38 중 어느 한 양태에 따른 방법을 수행하게 하는, 비일시적 컴퓨터 판독가능 매체.
양태 40. 양태 21 내지 양태 38 중 어느 한 양태에 따른 방법을 수행하기 위한 수단을 포함하는, 장치.
양태 41. 양태 40에 있어서, 장치는 모바일 디바이스를 포함하는, 장치.
양태 42. 양태 41에 있어서, 모바일 디바이스는 확장 현실 디바이스를 포함하는, 장치.
Claims (38)
- 예측 카메라 초기화를 위한 장치로서,
메모리; 및
상기 메모리에 커플링된 하나 이상의 프로세서들을 포함하고, 상기 하나 이상의 프로세서들은,
제1 이미지 캡처 디바이스로부터, 장면을 묘사하는 이미지 데이터를 획득하고;
상기 이미지 데이터에 기초하여 상기 장면을 분류하고;
상기 장면의 분류에 기초하여, 카메라 사용 이벤트를 예측하고; 그리고
예측된 상기 카메라 사용 이벤트에 기초하여, 상기 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하도록 구성되는, 예측 카메라 초기화를 위한 장치. - 제1항에 있어서, 상기 제1 이미지 캡처 디바이스 및 상기 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하기 위해, 상기 하나 이상의 프로세서들은,
상기 제2 이미지 캡처 디바이스를 초기화하도록 구성되고, 상기 제2 이미지 캡처 디바이스는 상기 이미지 데이터를 캡처하는 데 사용되는 상기 제1 이미지 캡처 디바이스의 각자의 전력 모드보다 더 많은 전력을 소비하는 전력 모드에서 초기화되는, 예측 카메라 초기화를 위한 장치. - 제2항에 있어서, 상기 하나 이상의 프로세서들은,
상기 제1 이미지 캡처 디바이스의 각자의 전력 모드보다 더 많은 전력을 소비하는 상기 전력 모드에서 상기 제2 이미지 캡처 디바이스를 사용하여 추가 이미지 데이터를 캡처하도록 구성되고, 상기 전력 모드는 상기 이미지 데이터를 캡처하는 데 사용되는 상기 제1 이미지 캡처 디바이스의 각자의 전력 모드와 연관된 해상도보다 더 높은 해상도, 상기 이미지 데이터를 캡처하는 데 사용되는 상기 제1 이미지 캡처 디바이스의 각자의 전력 모드와 연관된 프레임레이트(framerate)보다 더 높은 프레임레이트, 상기 이미지 데이터를 캡처하는 데 사용되는 상기 제1 이미지 캡처 디바이스의 각자의 전력 모드와 연관된 이미지 센서들의 수보다 더 많은 수의 이미지 센서들, 및 상기 제1 이미지 캡처 디바이스와 연관된 제2 이미지 센서에 의해 지원되는 상이한 전력 모드보다 더 많은 전력을 소비하는 특정 전력 모드를 지원하는 제1 이미지 센서 중 적어도 하나와 연관되는, 예측 카메라 초기화를 위한 장치. - 제2항에 있어서, 상기 제2 이미지 캡처 디바이스는 상기 제1 이미지 캡처 디바이스와 연관된 제2 카메라 파이프라인보다 더 많은 전력을 소비하는 제1 카메라 파이프라인과 연관되고, 상기 제1 카메라 파이프라인은 상기 제2 카메라 파이프라인보다 더 높은 프로세싱 성능을 갖는 하나 이상의 하드웨어 컴포넌트들 및 상기 제2 카메라 파이프라인보다 더 많은 이미지 프로세싱 능력들 중 적어도 하나를 포함하는, 예측 카메라 초기화를 위한 장치.
- 제2항에 있어서, 상기 제2 이미지 캡처 디바이스를 초기화하기 위해, 상기 하나 이상의 프로세서들은 상기 제2 이미지 캡처 디바이스의 전력 모드를 증가시키도록 구성되는, 예측 카메라 초기화를 위한 장치.
- 제2항에 있어서, 상기 제2 이미지 캡처 디바이스의 전력 모드를 증가시키기 위해, 상기 하나 이상의 프로세서들은,
상기 제2 이미지 캡처 디바이스 및 상기 제2 이미지 캡처 디바이스의 카메라 파이프라인과 연관된 하나 이상의 하드웨어 컴포넌트들 중 적어도 하나의 것의 전력을 증가시키도록 구성되는, 예측 카메라 초기화를 위한 장치. - 제2항에 있어서, 상기 하나 이상의 프로세서들은,
상기 제1 이미지 캡처 디바이스로부터의 상기 이미지 데이터를 버퍼에 저장하는 것으로서, 상기 이미지 데이터의 적어도 일부분은 상기 제2 이미지 캡처 디바이스의 초기화 동안 및 상기 제2 이미지 캡처 디바이스의 초기화가 완료되기 전에 상기 버퍼에 저장되는, 상기 이미지 데이터를 저장하고; 그리고
상기 제2 이미지 캡처 디바이스와 연관된 카메라 파이프라인을 통해, 상기 버퍼에 저장된 상기 이미지 데이터의 적어도 일부분을 프로세싱하는 것으로서, 상기 이미지 데이터의 적어도 일부분은 상기 제2 이미지 캡처 디바이스가 초기화된 후에 프로세싱되는, 상기 이미지 데이터의 적어도 일부분을 프로세싱하도록 구성되는, 예측 카메라 초기화를 위한 장치. - 제1항에 있어서, 상기 제1 이미지 캡처 디바이스 및 상기 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하기 위해, 상기 하나 이상의 프로세서들은,
상기 제2 이미지 캡처 디바이스의 카메라 파이프라인과 연관된 프로세서 및 상기 카메라 파이프라인과 연관된 메모리 중 적어도 하나의 것의 주파수를 증가시키도록 구성되는, 예측 카메라 초기화를 위한 장치. - 제1항에 있어서, 상기 제1 이미지 캡처 디바이스 및 상기 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하기 위해, 상기 하나 이상의 프로세서들은,
상기 제2 이미지 캡처 디바이스와 연관된 카메라 애플리케이션에 메모리를 사전 할당하도록 구성되는, 예측 카메라 초기화를 위한 장치. - 제1항에 있어서, 상기 하나 이상의 프로세서들은,
상기 제1 이미지 캡처 디바이스로부터의 하나 이상의 이미지들에 기초하여, 노출 값 및 포커스 값 중 적어도 하나를 사전 수렴하도록 구성되는, 예측 카메라 초기화를 위한 장치. - 제1항에 있어서, 상기 하나 이상의 프로세서들은,
상기 장치의 위치를 나타내는 위치 데이터 및 상기 장치와 연관된 하나 이상의 센서들로부터의 센서 데이터 중 적어도 하나를 획득하는 것으로서, 상기 센서 데이터는 상기 장치와 연관된 모션을 나타내는 모션 측정치, 상기 하나 이상의 센서들에 의해 캡처된 오디오 데이터, 및 상기 장치의 포지션을 나타내는 포지션 측정치들 중 적어도 하나를 포함하는, 상기 위치 데이터 및 센서 데이터 중 적어도 하나를 획득하고; 그리고
상기 위치 데이터, 상기 오디오 데이터 및 상기 센서 데이터 중 적어도 하나와 상기 이미지 데이터에 기초하여 상기 장면을 분류하도록 구성되는, 예측 카메라 초기화를 위한 장치. - 제1항에 있어서, 상기 예측된 카메라 사용 이벤트는 추가 이미지 데이터를 캡처하기 위해 상기 장치를 트리거하도록 구성된 사용자 입력을 포함하는, 예측 카메라 초기화를 위한 장치.
- 제1항에 있어서, 상기 장면을 분류하기 위해, 상기 하나 이상의 프로세서들은 상기 이미지 데이터와 연관된 이벤트를 검출하도록 구성되고, 상기 이벤트는 상기 이미지 데이터에 묘사된 상기 장면, 상기 장치의 특정 이동, 상기 장치와 연관된 사용자에 대한 상기 장치의 포지션, 상기 이미지 데이터에서 검출된 많은 사람들, 한 명 이상의 사용자들과 연관된 제스처, 객체 상에 디스플레이된 패턴, 및 서로에 대한 한 그룹의 사람들의 포지션 중 적어도 하나를 포함하는, 예측 카메라 초기화를 위한 장치.
- 제1항에 있어서, 상기 제1 이미지 캡처 디바이스 및 상기 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하기 위해, 상기 하나 이상의 프로세서들은,
상기 제2 이미지 캡처 디바이스의 초기화와 연관된 하나 이상의 초기화 설정들을 결정하는 것으로서, 상기 하나 이상의 초기화 설정들은 상기 장면과 연관된 이벤트의 유형에 기초하는, 상기 하나 이상의 초기화 설정들을 결정하고; 그리고
상기 하나 이상의 초기화 설정들에 따라 상기 제2 이미지 캡처 디바이스를 초기화하도록 구성되는, 예측 카메라 초기화를 위한 장치. - 제1항에 있어서, 상기 하나 이상의 프로세서들은,
상기 장면을 분류하는 것에 응답하여, 만료 값과 연관된 타이머를 초기화하고;
상기 예측된 카메라 사용 이벤트의 발생 전에 상기 타이머의 값이 상기 만료 값에 도달하였다고 결정하고; 그리고
상기 예측된 카메라 사용 이벤트의 발생 전에 상기 타이머의 값이 상기 만료 값에 도달한 것에 기초하여, 상기 제2 이미지 캡처 디바이스의 전력 모드를 감소시키도록 구성되고, 상기 전력 모드를 감소시키는 것은 상기 제2 이미지 캡처 디바이스를 끄는 것 및 상기 제2 이미지 캡처 디바이스 및 상기 제2 이미지 캡처 디바이스와 연관된 카메라 파이프라인 중 적어도 하나와 연관된 하나 이상의 전력 설정들을 감소시키는 것 중 적어도 하나를 포함하는, 예측 카메라 초기화를 위한 장치. - 제1항에 있어서, 상기 제2 이미지 캡처 디바이스의 전력 모드를 조정하기 위해, 상기 하나 이상의 프로세서들은 투광 조명기, 깊이 센서 디바이스, 듀얼 이미지 캡처 디바이스 시스템, 구조화된 조명 시스템, 비행 시간(time-of-flight) 시스템, 오디오 알고리즘, 위치 서비스, 및 상기 제1 이미지 캡처 디바이스와 연관된 카메라 파이프라인과는 상이한 카메라 파이프라인 중 적어도 하나를 켜거나 구현하도록 구성되는, 예측 카메라 초기화를 위한 장치.
- 제1항에 있어서, 상기 제1 이미지 캡처 디바이스 및 상기 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하기 위해, 상기 하나 이상의 프로세서들은,
상기 제1 이미지 캡처 디바이스의 전력 모드를 감소시키도록 구성되고, 상기 제1 이미지 캡처 디바이스의 전력 모드를 감소시키는 것은 상기 제1 이미지 캡처 디바이스 및 상기 제1 이미지 캡처 디바이스의 카메라 파이프라인과 연관된 하나 이상의 하드웨어 컴포넌트들 중 적어도 하나의 것의 전력을 감소시키는 것 중 적어도 하나를 포함하는, 예측 카메라 초기화를 위한 장치. - 제1항에 있어서, 상기 제1 이미지 캡처 디바이스 및 상기 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하기 위해, 상기 하나 이상의 프로세서들은,
상기 제1 이미지 캡처 디바이스의 전력 모드를 증가시키도록 구성되고, 상기 제1 이미지 캡처 디바이스의 전력 모드를 증가시키는 것은 상기 제1 이미지 캡처 디바이스 및 상기 제1 이미지 캡처 디바이스의 카메라 파이프라인과 연관된 하나 이상의 하드웨어 컴포넌트들 중 적어도 하나의 것의 전력을 증가시키는 것 중 적어도 하나를 포함하는, 예측 카메라 초기화를 위한 장치. - 제1항에 있어서, 상기 장치는 모바일 디바이스를 포함하는, 예측 카메라 초기화를 위한 장치.
- 제19항에 있어서, 상기 장치는 확장 현실 디바이스를 포함하는, 예측 카메라 초기화를 위한 장치.
- 예측 카메라 초기화를 위한 방법으로서,
제1 이미지 캡처 디바이스로부터, 장면을 묘사하는 이미지 데이터를 획득하는 단계;
상기 이미지 데이터에 기초하여 상기 장면을 분류하는 단계;
상기 장면의 분류에 기초하여, 카메라 사용 이벤트를 예측하는 단계; 및
예측된 상기 카메라 사용 이벤트에 기초하여, 상기 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하는 단계를 포함하는, 예측 카메라 초기화를 위한 방법. - 제21항에 있어서, 상기 제1 이미지 캡처 디바이스 및 상기 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하는 단계는,
상기 제2 이미지 캡처 디바이스를 초기화하는 단계를 포함하고, 상기 제2 이미지 캡처 디바이스는 상기 이미지 데이터를 캡처하는 데 사용되는 상기 제1 이미지 캡처 디바이스의 각자의 전력 모드보다 더 많은 전력을 소비하는 전력 모드에서 초기화되는, 예측 카메라 초기화를 위한 방법. - 제22항에 있어서,
상기 제1 이미지 캡처 디바이스의 각자의 전력 모드보다 더 많은 전력을 소비하는 상기 전력 모드에서 상기 제2 이미지 캡처 디바이스를 사용하여 추가 이미지 데이터를 캡처하는 단계를 추가로 포함하고, 상기 전력 모드는 상기 이미지 데이터를 캡처하는 데 사용되는 상기 제1 이미지 캡처 디바이스의 각자의 전력 모드와 연관된 해상도보다 더 높은 해상도, 상기 이미지 데이터를 캡처하는 데 사용되는 상기 제1 이미지 캡처 디바이스의 각자의 전력 모드와 연관된 프레임레이트보다 더 높은 프레임레이트, 상기 이미지 데이터를 캡처하는 데 사용되는 상기 제1 이미지 캡처 디바이스의 각자의 전력 모드와 연관된 이미지 센서들의 수보다 더 많은 수의 이미지 센서들, 및 상기 제1 이미지 캡처 디바이스와 연관된 제2 이미지 센서에 의해 지원되는 상이한 전력 모드보다 더 많은 전력을 소비하는 특정 전력 모드를 지원하는 제1 이미지 센서 중 적어도 하나와 연관되는, 예측 카메라 초기화를 위한 방법. - 제22항에 있어서, 상기 제2 이미지 캡처 디바이스는 상기 제1 이미지 캡처 디바이스와 연관된 제2 카메라 파이프라인보다 더 많은 전력을 소비하는 제1 카메라 파이프라인과 연관되고, 상기 제1 카메라 파이프라인은 상기 제2 카메라 파이프라인보다 더 높은 프로세싱 성능을 갖는 하나 이상의 하드웨어 컴포넌트들 및 상기 제2 카메라 파이프라인보다 더 많은 이미지 프로세싱 능력들 중 적어도 하나를 포함하는, 예측 카메라 초기화를 위한 방법.
- 제22항에 있어서, 상기 제2 이미지 캡처 디바이스를 초기화하는 단계는 상기 제2 이미지 캡처 디바이스의 전력 모드를 증가시키는 단계를 포함하는, 예측 카메라 초기화를 위한 방법.
- 제22항에 있어서, 상기 제2 이미지 캡처 디바이스의 전력 모드를 증가시키는 단계는,
상기 제2 이미지 캡처 디바이스 및 상기 제2 이미지 캡처 디바이스의 카메라 파이프라인과 연관된 하나 이상의 하드웨어 컴포넌트들 중 적어도 하나의 것의 전력을 증가시키는 단계를 포함하는, 예측 카메라 초기화를 위한 방법. - 제22항에 있어서,
상기 제1 이미지 캡처 디바이스로부터의 상기 이미지 데이터를 버퍼에 저장하는 단계로서, 상기 이미지 데이터의 적어도 일부분은 상기 제2 이미지 캡처 디바이스의 초기화 동안 및 상기 제2 이미지 캡처 디바이스의 초기화가 완료되기 전에 상기 버퍼에 저장되는, 상기 이미지 데이터를 저장하는 단계; 및
상기 제2 이미지 캡처 디바이스와 연관된 카메라 파이프라인을 통해, 상기 버퍼에 저장된 상기 이미지 데이터의 적어도 일부분을 프로세싱하는 단계로서, 상기 이미지 데이터의 적어도 일부분은 상기 제2 이미지 캡처 디바이스가 초기화된 후에 프로세싱되는, 상기 이미지 데이터의 적어도 일부분을 프로세싱하는 단계를 추가로 포함하는, 예측 카메라 초기화를 위한 방법. - 제21항에 있어서, 상기 제1 이미지 캡처 디바이스 및 상기 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하는 단계는,
상기 제2 이미지 캡처 디바이스의 카메라 파이프라인과 연관된 프로세서 및 상기 카메라 파이프라인과 연관된 메모리 중 적어도 하나의 것의 주파수를 증가시키는 단계를 포함하는, 예측 카메라 초기화를 위한 방법. - 제21항에 있어서, 상기 제1 이미지 캡처 디바이스 및 상기 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하는 단계는,
상기 제2 이미지 캡처 디바이스와 연관된 카메라 애플리케이션에 메모리를 사전 할당하는 단계를 포함하는, 예측 카메라 초기화를 위한 방법. - 제21항에 있어서,
상기 제1 이미지 캡처 디바이스로부터의 하나 이상의 이미지들에 기초하여, 노출 값 및 포커스 값 중 적어도 하나를 사전 수렴하는 단계를 추가로 포함하는, 예측 카메라 초기화를 위한 방법. - 제21항에 있어서,
상기 제1 이미지 캡처 디바이스와 연관된 전자 디바이스의 위치를 나타내는 위치 데이터 및 상기 전자 디바이스와 연관된 하나 이상의 센서들로부터의 센서 데이터 중 적어도 하나를 획득하는 단계로서, 상기 센서 데이터는 상기 전자 디바이스와 연관된 모션을 나타내는 모션 측정치, 상기 하나 이상의 센서들에 의해 캡처된 오디오 데이터, 및 상기 전자 디바이스의 포지션을 나타내는 포지션 측정치들 중 적어도 하나를 포함하는, 상기 위치 데이터 및 센서 데이터 중 하나를 획득하는 단계; 및
상기 위치 데이터, 상기 오디오 데이터 및 상기 센서 데이터 중 적어도 하나와 상기 이미지 데이터에 기초하여 상기 장면을 분류하는 단계를 추가로 포함하는, 예측 카메라 초기화를 위한 방법. - 제21항에 있어서, 상기 예측된 카메라 사용 이벤트는 추가 이미지 데이터를 캡처하기 위해 상기 제1 이미지 캡처 디바이스와 연관된 전자 디바이스를 트리거하도록 구성된 사용자 입력을 포함하는, 예측 카메라 초기화를 위한 방법.
- 제21항에 있어서, 상기 장면을 분류하는 단계는 상기 이미지 데이터와 연관된 이벤트를 검출하는 단계를 포함하고, 상기 이벤트는 상기 이미지 데이터에 묘사된 상기 장면, 상기 제1 이미지 캡처 디바이스와 연관된 전자 디바이스의 특정 이동, 상기 전자 디바이스와 연관된 사용자에 대한 상기 전자 디바이스의 포지션, 상기 이미지 데이터에서 검출된 많은 사람들, 한 명 이상의 사용자들과 연관된 제스처, 객체 상에 디스플레이된 패턴, 및 서로에 대한 한 그룹의 사람들의 포지션 중 적어도 하나를 포함하는, 예측 카메라 초기화를 위한 방법.
- 제21항에 있어서, 상기 제1 이미지 캡처 디바이스 및 상기 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하는 단계는,
상기 제2 이미지 캡처 디바이스의 초기화와 연관된 하나 이상의 초기화 설정들을 결정하는 단계로서, 상기 하나 이상의 초기화 설정들은 상기 장면과 연관된 이벤트의 유형에 기초하는, 상기 하나 이상의 초기화 설정들을 결정하는 단계; 및
상기 하나 이상의 초기화 설정들에 따라 상기 제2 이미지 캡처 디바이스를 초기화하는 단계를 포함하는, 예측 카메라 초기화를 위한 방법. - 제21항에 있어서,
상기 장면을 분류하는 것에 응답하여, 만료 값과 연관된 타이머를 초기화하는 단계;
상기 예측된 카메라 사용 이벤트의 발생 전에 상기 타이머의 값이 상기 만료 값에 도달하였다고 결정하는 단계; 및
상기 예측된 카메라 사용 이벤트의 발생 전에 상기 타이머의 값이 상기 만료 값에 도달한 것에 기초하여, 상기 제2 이미지 캡처 디바이스의 전력 모드를 감소시키는 단계를 추가로 포함하고, 상기 전력 모드를 감소시키는 단계는 상기 제2 이미지 캡처 디바이스를 끄는 단계 및 상기 제2 이미지 캡처 디바이스 및 상기 제2 이미지 캡처 디바이스와 연관된 카메라 파이프라인 중 적어도 하나와 연관된 하나 이상의 전력 설정들을 감소시키는 단계 중 적어도 하나를 포함하는, 예측 카메라 초기화를 위한 방법. - 제21항에 있어서, 상기 제2 이미지 캡처 디바이스의 전력 모드를 조정하는 단계는 투광 조명기, 깊이 센서 디바이스, 듀얼 이미지 캡처 디바이스 시스템, 구조화된 조명 시스템, 비행 시간 시스템, 오디오 알고리즘, 위치 서비스, 및 상기 제1 이미지 캡처 디바이스와 연관된 카메라 파이프라인과는 상이한 카메라 파이프라인 중 적어도 하나를 켜거나 구현하는 단계를 포함하는, 예측 카메라 초기화를 위한 방법.
- 제21항에 있어서, 상기 제1 이미지 캡처 디바이스 및 상기 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하는 단계는,
상기 제1 이미지 캡처 디바이스의 전력 모드를 감소시키는 단계를 포함하고, 상기 제1 이미지 캡처 디바이스의 전력 모드를 감소시키는 단계는 상기 제1 이미지 캡처 디바이스 및 상기 제1 이미지 캡처 디바이스의 카메라 파이프라인과 연관된 하나 이상의 하드웨어 컴포넌트들 중 적어도 하나의 것의 전력을 감소시키는 단계 중 적어도 하나를 포함하는, 예측 카메라 초기화를 위한 방법. - 제21항에 있어서, 상기 제1 이미지 캡처 디바이스 및 상기 제2 이미지 캡처 디바이스 중 적어도 하나의 이미지 캡처 디바이스의 전력 모드를 조정하는 단계는,
상기 제1 이미지 캡처 디바이스의 전력 모드를 증가시키는 단계를 포함하고, 상기 제1 이미지 캡처 디바이스의 전력 모드를 증가시키는 단계는 상기 제1 이미지 캡처 디바이스 및 상기 제1 이미지 캡처 디바이스의 카메라 파이프라인과 연관된 하나 이상의 하드웨어 컴포넌트들 중 적어도 하나의 것의 전력을 증가시키는 단계 중 적어도 하나를 포함하는, 예측 카메라 초기화를 위한 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/412,113 | 2021-08-25 | ||
| US17/412,113 US11877048B2 (en) | 2021-08-25 | 2021-08-25 | Camera initialization for reduced latency |
| PCT/US2022/075175 WO2023028439A1 (en) | 2021-08-25 | 2022-08-18 | Camera initialization for reduced latency |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240055736A true KR20240055736A (ko) | 2024-04-29 |
Family
ID=83903384
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247005621A KR20240055736A (ko) | 2021-08-25 | 2022-08-18 | 감소된 레이턴시를 위한 카메라 초기화 |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US11877048B2 (ko) |
| KR (1) | KR20240055736A (ko) |
| CN (1) | CN117957852A (ko) |
| TW (1) | TW202318331A (ko) |
| WO (1) | WO2023028439A1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11954885B2 (en) * | 2021-09-15 | 2024-04-09 | Apple Inc. | Display tracking systems and methods |
| US20230140570A1 (en) * | 2021-11-03 | 2023-05-04 | International Business Machines Corporation | Scene recognition based natural language translation |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9438868B2 (en) | 2014-02-13 | 2016-09-06 | Semiconductor Components Industries, Llc | Adaptive image sensor systems and methods |
| EP3502954A1 (en) | 2017-12-21 | 2019-06-26 | Vestel Elektronik Sanayi ve Ticaret A.S. | Method of facial recognition for authenticating user of electronic device and electronic device |
| US10574890B2 (en) | 2018-01-12 | 2020-02-25 | Movidius Ltd. | Methods and apparatus to operate a mobile camera for low-power usage |
| JP7072404B2 (ja) * | 2018-03-01 | 2022-05-20 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム、記憶媒体 |
| US20200084387A1 (en) * | 2018-09-07 | 2020-03-12 | Qualcomm Incorporated | Low power mode for one or more cameras of a multiple camera system |
| US10917582B2 (en) | 2019-01-04 | 2021-02-09 | Gopro, Inc. | Reducing power consumption for enhanced zero shutter lag |
| KR102664705B1 (ko) * | 2019-02-19 | 2024-05-09 | 삼성전자주식회사 | 복수의 카메라들을 이용하여 이미지의 배율을 변경하기 위한 전자 장치 및 방법 |
| US10931868B2 (en) | 2019-04-15 | 2021-02-23 | Gopro, Inc. | Methods and apparatus for instant capture of content |
| CN110266950B (zh) | 2019-06-28 | 2021-04-23 | Oppo广东移动通信有限公司 | 陀螺仪处理方法和装置、电子设备、计算机可读存储介质 |
| US11521473B2 (en) * | 2019-09-30 | 2022-12-06 | Amazon Technologies, Inc. | Audio/video electronic device |
| WO2021102483A2 (en) | 2020-04-15 | 2021-05-27 | Zeku, Inc. | Method and apparatus for operating a companion processing unit |
| CN114641806A (zh) * | 2020-10-13 | 2022-06-17 | 谷歌有限责任公司 | 使用多个设备上多个分类器的分布式传感器数据处理 |
-
2021
- 2021-08-25 US US17/412,113 patent/US11877048B2/en active Active
-
2022
- 2022-08-18 WO PCT/US2022/075175 patent/WO2023028439A1/en active Application Filing
- 2022-08-18 TW TW111131148A patent/TW202318331A/zh unknown
- 2022-08-18 CN CN202280056194.XA patent/CN117957852A/zh active Pending
- 2022-08-18 KR KR1020247005621A patent/KR20240055736A/ko unknown
-
2023
- 2023-11-29 US US18/523,774 patent/US20240098357A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US11877048B2 (en) | 2024-01-16 |
| US20230062187A1 (en) | 2023-03-02 |
| US20240098357A1 (en) | 2024-03-21 |
| WO2023028439A1 (en) | 2023-03-02 |
| CN117957852A (zh) | 2024-04-30 |
| TW202318331A (zh) | 2023-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3579544B1 (en) | Electronic device for providing quality-customized image and method of controlling the same | |
| WO2020177583A1 (zh) | 一种图像裁剪方法和电子设备 | |
| US9692959B2 (en) | Image processing apparatus and method | |
| US20240098357A1 (en) | Camera initialization for reduced latency | |
| CN113747085B (zh) | 拍摄视频的方法和装置 | |
| KR20160038460A (ko) | 전자 장치와, 그의 제어 방법 | |
| US20210409588A1 (en) | Method for Shooting Long-Exposure Image and Electronic Device | |
| CN113630558B (zh) | 一种摄像曝光方法及电子设备 | |
| CN113099146A (zh) | 一种视频生成方法、装置及相关设备 | |
| US10326936B2 (en) | Method for providing images and electronic device supporting the same | |
| KR20240068636A (ko) | 전자 디바이스들을 위한 관심 영역 캡처 | |
| US20240056668A1 (en) | Camera setting adjustment based on event mapping | |
| CN115689963A (zh) | 一种图像处理方法及电子设备 | |
| CN116916151B (zh) | 拍摄方法、电子设备和存储介质 | |
| KR20210107958A (ko) | 디지털 영상 안정화 장치, 그것의 동작 방법, 및 그것을 갖는 전자 장치 | |
| CN111510629A (zh) | 数据显示方法、图像处理器、拍摄装置和电子设备 | |
| CN115150542A (zh) | 一种视频防抖方法及相关设备 | |
| WO2024109246A1 (zh) | 生成视频的策略确定方法和电子设备 | |
| WO2023160224A9 (zh) | 一种拍摄方法及相关设备 | |
| WO2023231687A1 (zh) | 一种摄像头切换方法及电子设备 | |
| US20230115371A1 (en) | Efficient vision perception | |
| WO2023160220A1 (zh) | 一种图像处理方法和电子设备 | |
| WO2023160221A1 (zh) | 一种图像处理方法和电子设备 | |
| US20240005518A1 (en) | Scale image resolution for motion estimation | |
| US20230021016A1 (en) | Hybrid object detector and tracker |