KR20240068636A - 전자 디바이스들을 위한 관심 영역 캡처 - Google Patents
전자 디바이스들을 위한 관심 영역 캡처 Download PDFInfo
- Publication number
- KR20240068636A KR20240068636A KR1020247008004A KR20247008004A KR20240068636A KR 20240068636 A KR20240068636 A KR 20240068636A KR 1020247008004 A KR1020247008004 A KR 1020247008004A KR 20247008004 A KR20247008004 A KR 20247008004A KR 20240068636 A KR20240068636 A KR 20240068636A
- Authority
- KR
- South Korea
- Prior art keywords
- image sensor
- image
- roi
- image sensors
- power mode
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 199
- 238000012545 processing Methods 0.000 claims description 110
- 230000008569 process Effects 0.000 claims description 94
- 230000033001 locomotion Effects 0.000 claims description 88
- 230000015654 memory Effects 0.000 claims description 44
- 230000008859 change Effects 0.000 claims description 26
- 230000002829 reductive effect Effects 0.000 claims description 23
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 230000007958 sleep Effects 0.000 claims description 14
- 230000007704 transition Effects 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 7
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 description 96
- 239000003795 chemical substances by application Substances 0.000 description 27
- 239000013598 vector Substances 0.000 description 27
- 238000010586 diagram Methods 0.000 description 24
- 230000006641 stabilisation Effects 0.000 description 23
- 238000011105 stabilization Methods 0.000 description 23
- 239000003381 stabilizer Substances 0.000 description 20
- 238000004422 calculation algorithm Methods 0.000 description 17
- 230000036961 partial effect Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 15
- 238000003384 imaging method Methods 0.000 description 15
- 238000012549 training Methods 0.000 description 15
- 238000000605 extraction Methods 0.000 description 12
- 210000000887 face Anatomy 0.000 description 12
- 238000010606 normalization Methods 0.000 description 11
- 230000009467 reduction Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 238000005259 measurement Methods 0.000 description 8
- 238000009826 distribution Methods 0.000 description 7
- 230000001815 facial effect Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 241000023320 Luma <angiosperm> Species 0.000 description 6
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 6
- 238000012805 post-processing Methods 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 230000005291 magnetic effect Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000000513 principal component analysis Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 239000004984 smart glass Substances 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 241000282326 Felis catus Species 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000006266 hibernation Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000002787 reinforcement Effects 0.000 description 3
- 230000000087 stabilizing effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004873 anchoring Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000026676 system process Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241001189642 Theroa Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- -1 etc.) Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 239000005022 packaging material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/65—Control of camera operation in relation to power supply
- H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/65—Control of camera operation in relation to power supply
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
Abstract
멀티-카메라 시스템으로 관심 영역 (ROI) 을 캡처하기 위한 시스템들, 방법들 및 비일시적 매체들이 제공된다. 예시의 방법은 전자 디바이스의 이미지 센서들을 초기화하는 단계로서, 각각의 이미지 센서는 이미지 센서들 중 하나 이상에 의해 지원된 고전력 모드보다 낮은 전력 소비를 갖는 저전력 모드에서 초기화되는, 상기 이미지 센서들을 초기화하는 단계; 저전력 모드에서 이미지 센서들에 의해 캡처된 이미지들을 획득하는 단계; 이미지들에 기초하여, 장면에서의 ROI 가 이미지 센서들로부터의 제 1 이미지 센서의 시야 (FOV) 내에 있다고 결정하는 단계; ROI 가 제1 이미지 센서의 FOV 내에 있다고 결정하는 것에 기초하여, 하나 이상의 제 2 이미지 센서들의 저전력 모드를 저전력 모드보다 낮은 전력 소비를 갖는 전력-오프 모드 또는 부가 저전력 모드로 감소시키는 단계; 및 제1 이미지 센서를 사용하여, ROI 의 이미지를 캡처하는 단계를 포함할 수 있다.
Description
본 개시는 일반적으로 카메라 디바이스들에 관한 것이다. 예를 들어, 본 개시의 양태들은 멀티-카메라 디바이스들에 대한 관심 영역(region-of-interest) 카메라 캡처를 제어하는 것에 관한 것이다.
전자 디바이스들은 소비를 위한 이미지들 및/또는 비디오들을 캡처하기 위해 카메라 하드웨어를 점점 더 장착하고 있다. 예를 들어, 컴퓨팅 디바이스는 컴퓨팅 디바이스가 장면, 사람, 오브젝트 등의 비디오 또는 이미지를 캡처할 수 있도록 하기 위해 카메라 (예를 들어, 하나 이상의 카메라를 포함하는 모바일 전화 또는 스마트폰과 같은 모바일 디바이스) 를 포함할 수도 있다. 이미지 또는 비디오는 컴퓨팅 디바이스 (예를 들어, 모바일 디바이스, IP 카메라, 확장 현실 디바이스, 연결된 디바이스, 보안 시스템 등) 에 의해 캡처 및 프로세싱되고 소비를 위해 저장 및/또는 출력 (예를 들어, 디바이스 및/또는 다른 디바이스 상에 디스플레이) 될 수 있다. 일부 경우들에서, 이미지 또는 비디오는 특히 효과들 (예를 들어, 압축, 이미지 강화, 이미지 복구, 스케일링, 프레임레이트 변환, 노이즈 감소 등) 및/또는 특히, 컴퓨터 비전, 확장 현실 (예를 들어, 증강 현실, 가상 현실 등), 오브젝트 검출, 이미지 인식 (예를 들어, 얼굴 인식, 오브젝트 인식, 장면 인식 등), 특징 추출, 인증 및 자동화와 같은 특정 애플리케이션들을 위해 추가로 프로세싱될 수 있다.
일부 경우들에서, 전자 디바이스는 이미지들을 프로세싱하여 그 이미지들에 의해 캡처된 얼굴들, 이벤트들, 및/또는 임의의 다른 아이템들을 검출할 수 있다. 오브젝트 검출은 특히, 예를 들어, 인증, 자동화, 제스처 인식, 감시, 확장 현실, 컴퓨터 비전과 같은 다양한 애플리케이션들에 유용할 수 있다. 일부 예들에서, 전자 디바이스는 환경에서의 특정 오브젝트들을 자동으로 검출하기 위해 지속적으로 또는 주기적으로 동작하는 저전력 또는 "상시 온(always-on)"(AON) 카메라를 구현할 수 있다. 저전력 카메라는, 예를 들어, 지속적인 제스처 검출, 지속적인 오브젝트 (예를 들어, 얼굴/사람, 동물, 차량, 디바이스, 평면, 이벤트 등) 검출, 지속적인 오브젝트 스캐닝 (예를 들어, QR (quick response) 코드 스캐닝, 바코드 스캐닝 등), 인증을 위한 지속적인 안면 인식 등과 같은 다양한 사용 경우들에 대해 구현될 수 있다. 많은 경우들에서, 저전력 카메라의 이미징, 프로세싱, 및/또는 성능 능력들/결과들이 제한될 수 있다. 따라서, 일부 경우들에서, 전자 디바이스는 또한 더 높은 이미징, 프로세싱, 및/또는 성능 능력들/결과들을 갖는 고전력 카메라를 구현할 수도 있으며, 이는 전자 디바이스가 더 높은 이미징, 프로세싱, 및/또는 성능 능력들/결과들이 요망될 때 소정의 시간들에 및/또는 소정의 시나리오들에서 사용할 수 있다.
본 명세서에서는 전자 디바이스들에 대한 효율적이고 안정적인 관심 영역 캡처를 위한 시스템들 및 기법들이 설명된다. 적어도 하나의 예에 따르면, 멀티-카메라 시스템으로 관심 영역 (ROI) 을 캡처하기 위한 방법이 제공된다. 방법은 전자 디바이스의 복수의 이미지 센서들을 초기화하는 단계로서, 복수의 이미지 센서들의 각각의 이미지 센서는 복수의 이미지 센서들 중 하나 이상의 이미지 센서들에 의해 지원된 고전력 모드보다 낮은 제 1 저전력 소비와 연관된 제 1 저전력 모드에서 초기화되는, 상기 복수의 이미지 센서들을 초기화하는 단계; 제 1 저전력 모드에서 복수의 이미지 센서들에 의해 캡처된 복수의 이미지들을 획득하는 단계; 복수의 이미지들에 기초하여, 장면에서의 관심 영역 (ROI) 이 복수의 이미지 센서들로부터의 제 1 이미지 센서의 시야 (FOV) 내에 있다고 결정하는 단계; ROI 가 제 1 이미지 센서의 FOV 내에 있다고 결정하는 것에 기초하여, 복수의 이미지 센서들로부터의 하나 이상의 제 2 이미지 센서들의 제 1 저전력 모드를 제 1 저전력 모드보다 낮은 제 2 저전력 소비와 연관된 전력-오프 모드 또는 제 2 저전력 모드 중 하나로 감소시키는 단계; 및 제 1 이미지 센서를 사용하여, ROI 의 하나 이상의 이미지들을 캡처하는 단계를 포함할 수 있다.
적어도 하나의 예에 따르면, 멀티-카메라 시스템으로 관심 영역 (ROI) 을 캡처하기 위한 장치가 제공된다. 장치는 메모리 및 하나 이상의 프로세서들을 포함할 수 있고, 하나 이상의 프로세서들은, 전자 디바이스의 복수의 이미지 센서들을 초기화하는 것으로서, 복수의 이미지 센서들의 각각의 이미지 센서는 복수의 이미지 센서들 중 하나 이상의 이미지 센서들에 의해 지원된 고전력 모드보다 낮은 제 1 저전력 소비와 연관된 제 1 저전력 모드에서 초기화되는, 상기 복수의 이미지 센서들을 초기화하고; 제 1 저전력 모드에서 복수의 이미지 센서들에 의해 캡처된 복수의 이미지들을 획득하고; 복수의 이미지들에 기초하여, 장면에서의 관심 영역 (ROI) 이 복수의 이미지 센서들로부터의 제 1 이미지 센서의 시야 (FOV) 내에 있다고 결정하고; ROI 가 제 1 이미지 센서의 FOV 내에 있다고 결정하는 것에 기초하여, 복수의 이미지 센서들로부터의 하나 이상의 제 2 이미지 센서들의 제 1 저전력 모드를 제 1 저전력 모드보다 낮은 제 2 저전력 소비와 연관된 전력-오프 모드 또는 제 2 저전력 모드 중 하나로 감소시키고; 그리고 제 1 이미지 센서를 사용하여, ROI 의 하나 이상의 이미지들을 캡처하도록 구성된다.
적어도 하나의 예에 따르면, 멀티-카메라 시스템으로 관심 영역 (ROI) 을 캡처하기 위한 비일시적 컴퓨터 판독가능 매체가 제공된다. 비일시적 컴퓨터 판독가능 매체는 명령들을 포함할 수 있고, 명령들은 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금, 전자 디바이스의 복수의 이미지 센서들을 초기화하게 하는 것으로서, 복수의 이미지 센서들의 각각의 이미지 센서는 복수의 이미지 센서들 중 하나 이상의 이미지 센서들에 의해 지원된 고전력 모드보다 낮은 제 1 저전력 소비와 연관된 제 1 저전력 모드에서 초기화되는, 상기 복수의 이미지 센서들을 초기화하게 하고; 제 1 저전력 모드에서 복수의 이미지 센서들에 의해 캡처된 복수의 이미지들을 획득하게 하고; 복수의 이미지들에 기초하여, 장면에서의 관심 영역 (ROI) 이 복수의 이미지 센서들로부터의 제 1 이미지 센서의 시야 (FOV) 내에 있다고 결정하게 하고; ROI 가 제 1 이미지 센서의 FOV 내에 있다고 결정하는 것에 기초하여, 복수의 이미지 센서들로부터의 하나 이상의 제 2 이미지 센서들의 제 1 저전력 모드를 제 1 저전력 모드보다 낮은 제 2 저전력 소비와 연관된 전력-오프 모드 또는 제 2 저전력 모드 중 하나로 감소시키게 하고; 그리고 제 1 이미지 센서를 사용하여, ROI 의 하나 이상의 이미지들을 캡처하게 한다.
적어도 하나의 예에 따르면, 멀티-카메라 시스템으로 관심 영역 (ROI) 을 캡처하기 위한 다른 장치가 제공된다. 장치는 전자 디바이스의 복수의 이미지 센서들을 초기화하는 수단으로서, 복수의 이미지 센서들의 각각의 이미지 센서는 복수의 이미지 센서들 중 하나 이상의 이미지 센서들에 의해 지원된 고전력 모드보다 낮은 제 1 저전력 소비와 연관된 제 1 저전력 모드에서 초기화되는, 상기 복수의 이미지 센서들을 초기화하는 수단; 제 1 저전력 모드에서 복수의 이미지 센서들에 의해 캡처된 복수의 이미지들을 획득하는 수단; 복수의 이미지들에 기초하여, 장면에서의 관심 영역 (ROI) 이 복수의 이미지 센서들로부터의 제 1 이미지 센서의 시야 (FOV) 내에 있다고 결정하는 수단; ROI 가 제 1 이미지 센서의 FOV 내에 있다고 결정하는 것에 기초하여, 복수의 이미지 센서들로부터의 하나 이상의 제 2 이미지 센서들의 제 1 저전력 모드를 제 1 저전력 모드보다 낮은 제 2 저전력 소비와 연관된 전력-오프 모드 또는 제 2 저전력 모드 중 하나로 감소시키는 수단; 및 제 1 이미지 센서를 사용하여, ROI 의 하나 이상의 이미지들을 캡처하는 수단을 포함할 수 있다.
일부 양태들에서, 상술한 방법, 비일시적 컴퓨터 판독가능 매체, 및 장치들은, ROI 가 제 1 이미지 센서의 FOV 내에 있다고 결정하는 것에 기초하여, 제 1 이미지 센서를 제 1 저전력 모드에서 고전력 모드로 트랜지션하고; 그리고 고전력 모드에서의 제 1 이미지 센서를 사용하여 ROI 의 하나 이상의 이미지들을 캡처할 수 있다.
일부 예들에서, 제 1 이미지 센서를 제 1 저전력 모드에서 고전력 모드로 트랜지션하는 것은, ROI 가 제 1 이미지 센서의 FOV 내에 있다고 결정하는 것에 기초하여, 제 1 이미지 센서의 제 1 노출 설정을 조정하는 것; 및 ROI 가 하나 이상의 제 2 이미지 센서들의 하나 이상의 FOV들의 외부에 있다는 결정에 기초하여, 하나 이상의 제 2 이미지 센서들의 슬립 설정 및 제 2 노출 설정 중 적어도 하나를 조정하는 것을 포함할 수 있다.
일부 예들에서, 제 1 이미지 센서를 제 1 저전력 모드에서 고전력 모드로 트랜지션하는 것은, 제 1 이미지 센서에 의해 캡처된 하나 이상의 이미지들을 프로세싱하는데 사용된 하나 이상의 다른 리소스들보다 낮은 전력 소비를 갖는 하나 이상의 리소스들을 사용하여 하나 이상의 제 2 이미지 센서들로부터의 데이터를 프로세싱하는 것을 포함할 수 있다.
일부 예들에서, 제 1 이미지 센서를 제 1 저전력 모드에서 고전력 모드로 트랜지션하는 것은, 하나 이상의 제 2 이미지 센서들을 턴 오프하는 것, 하나 이상의 제 2 이미지 센서들의 해상도를 감소시키는 것, 및 하나 이상의 제 2 이미지 센서들의 프레임레이트를 감소시키는 것 중 적어도 하나를 포함할 수 있다.
일부 양태들에서, 상술한 방법, 비일시적 컴퓨터 판독가능 매체, 및 장치들은, ROI 가 제 1 이미지 센서의 FOV 와 복수의 이미지 센서들로부터의 제 2 이미지 센서의 상이한 FOV 의 오버랩 부분 내에 있다고 결정하고; 제 1 이미지 센서와 연관된 제 1 전력 비용 및 제 2 이미지 센서와 연관된 제 2 전력 비용을 결정하고; 그리고 제 1 전력 비용 및 제 2 전력 비용에 기초하여 제 1 이미지 센서 및 제 2 이미지 센서의 전력 모드를 조정할 수 있다.
일부 예들에서, 제 1 이미지 센서 및 제 2 이미지 센서의 전력 모드를 조정하는 것은, 제 2 이미지 센서의 전력 모드를 증가시키는 것으로서, 제 2 이미지 센서는 제 2 이미지 센서보다 낮은 전력 비용을 갖는, 상기 제 2 이미지 센서의 전력 모드를 증가시키는 것; 및 제 1 이미지 센서의 전력 모드를 감소시키는 것을 포함할 수 있다.
일부 예들에서, 제 1 전력 비용 및 제 2 전력 비용을 결정하는 것은, 제 1 이미지 센서와 연관된 제 1 가중치를 제 1 전력 비용에 적용하고 제 2 이미지 센서와 연관된 제 2 가중치를 제 2 전력 비용에 적용하는 것을 포함할 수 있다.
일부 경우들에서, 제 1 가중치 및 상기 제 2 가중치는 제 1 이미지 센서 및 제 2 이미지 센서와 연관된 개개의 이미지 품질 속성, 제 1 이미지 센서 및 제 2 이미지 센서와 연관된 개개의 전력 소비, 및 제 1 이미지 센서 및 제 2 이미지 센서와 연관된 하나 이상의 개개의 프로세싱 능력들 중 적어도 하나에 기초한다.
일부 양태들에서, 상술한 방법, 비일시적 컴퓨터 판독가능 매체, 및 장치들은, 제 2 이미지 센서를 사용하여 ROI 의 이미지를 캡처하는 것으로서, 제 2 이미지 센서는 제 1 이미지 센서보다 낮은 이미지 품질 속성과 연관되는, 상기 ROI 의 이미지를 캡처하고; 그리고 뉴럴 네트워크를 사용하여, 이미지, 적어도 제 1 이미지 센서에 의해 캡처된 ROI 의 부가 이미지, 및 이미지와 연관된 모션 정보 중 적어도 하나에 기초하여 이미지의 하나 이상의 시각적 특성들을 조정할 수 있다.
일부 양태들에서, 상술한 방법, 비일시적 컴퓨터 판독가능 매체, 및 장치들은, 복수의 이미지 센서들로부터의 하나 이상의 이미지 센서들에 대한 하나 이상의 오브젝트 검출기들을 초기화하는 것으로서, 하나 이상의 오브젝트 검출기들은 하나 이상의 오브젝트 검출기들에 의해 지원된 제 2 모드보다 낮은 제 3 저전력 소비와 연관된 제 1 모드에서 초기화되는, 상기 하나 이상의 오브젝트 검출기들을 초기화하고; ROI 가 하나 이상의 이미지 센서들 각각의 제 2 FOV 의 외부에 있다고 결정하고; 그리고 ROI 가 하나 이상의 이미지 센서들 각각의 제 2 FOV 의 외부에 있다고 결정하는 것에 기초하여, 제 3 저전력 소비와 연관된 제 1 모드에서 하나 이상의 오브젝트 검출기들로 제 1 저전력 모드에서 하나 이상의 이미지 센서들을 실행할 수 있다.
일부 양태들에서, 상술한 방법, 비일시적 컴퓨터 판독가능 매체, 및 장치들은, ROI 가 복수의 이미지 센서들로부터의 이미지 센서들의 세트의 개개의 FOV들 내에 있다고 결정하고; 이미지 센서들의 세트의 적어도 일부에 걸쳐 카메라 노출들의 캡처를 조정하고; 그리고 이미지 센서들의 세트의 적어도 일부를 사용하여 캡처된 카메라 노출들에 기초하여 하나 이상의 이미지들을 생성할 수 있다.
일부 양태들에서, 상술한 방법, 비일시적 컴퓨터 판독가능 매체, 및 장치들은, 전자 디바이스 및 ROI 중 적어도 하나의 움직임에 기초하여, ROI 가 제 1 이미지 센서의 FOV 의 외부에 그리고 복수의 이미지 센서들로부터의 제 2 이미지 센서의 상이한 FOV 내에 있다고 결정하고; ROI 가 제 1 이미지 센서의 FOV 의 외부에 그리고 제 2 이미지 센서의 상이한 FOV 내에 있다고 결정하는 것에 기초하여, 제 1 이미지 센서와 연관된 전력 모드를 감소시키고 제 2 이미지 센서와 연관된 부가 전력 모드를 증가시키고; 그리고 제 2 이미지 센서에 의해, ROI 의 하나 이상의 부가 이미지들을 캡처할 수 있다.
일부 예들에서, 제 2 이미지 센서와 연관된 상기 부가 전력 모드를 증가시키는 것은, 제 2 이미지 센서를 턴 온하는 것, 제 2 이미지 센서의 해상도를 증가시키는 것, 제 2 이미지 센서의 프레임레이트를 증가시키는 것, 및 제 1 이미지 센서와 연관된 감소된 전력 모드와 연관된 하나 이상의 상이한 리소스들보다 높은 전력 소비를 갖는 하나 이상의 리소스들을 사용하여 상기 제 2 이미지 센서로부터의 데이터를 프로세싱하는 것 중 적어도 하나를 포함할 수 있다.
일부 양태들에서, 상술한 방법, 비일시적 컴퓨터 판독가능 매체, 및 장치들은, 전자 디바이스 및 ROI 중 적어도 하나의 움직임에 기초하여, ROI 가 제 1 이미지 센서의 FOV 의 제 1 부분 및 복수의 이미지 센서들로부터의 제 2 이미지 센서의 상이한 FOV 의 제 2 부분 내에 있다고 결정하고; FOV 및 상이한 FOV 에 대한 ROI 의 궤적을 결정하고; ROI 의 궤적에 기초하여, 제 1 이미지 센서에서 제 2 이미지 센서로 스위칭하는 것으로서, 제 1 이미지 센서에서 제 2 이미지 센서로의 스위칭은 제 1 이미지 센서와 연관된 전력 모드를 감소시키고 제 2 이미지 센서와 연관된 부가 전력 모드를 증가시키는 것을 포함하는, 상기 제 1 이미지 센서에서 상기 제 2 이미지 센서로 스위칭하고; 그리고 제 2 이미지 센서에 의해, ROI 의 하나 이상의 부가 이미지들을 캡처할 수 있다.
일부 양태들에서, 상술한 방법, 비일시적 컴퓨터 판독가능 매체, 및 장치들은, 제 1 이미지 센서에 의해 캡처된 하나 이상의 이미지들에 기초하여 ROI 의 위치를 추적하고; 그리고 복수의 이미지 센서들로부터의 하나 이상의 이미지 센서들과 연관된 하나 이상의 전력 모드들을 조정할 수 있고, 하나 이상의 전력 모드들은 ROI 의 위치 및 하나 이상의 이미지 센서들의 하나 이상의 특성들에 기초하여 조정된다.
일부 양태들에서, 상술한 장치들의 각각은 모바일, 디바이스, 스마트 또는 연결된 디바이스, 카메라 시스템, 및/또는 확장 현실 (XR) 디바이스 (예를 들어, 가상 현실 (VR) 디바이스, 증강 현실 (AR) 디바이스, 또는 혼합 현실 (MR) 디바이스) 이거나, 그 일부일 수 있거나, 또는 이를 포함할 수 있다. 일부 예들에서, 장치들은 차량, 모바일 디바이스 (예를 들어, 모바일 전화 또는 소위 "스마트 폰" 또는 다른 모바일 디바이스), 웨어러블 디바이스, 개인용 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 서버 컴퓨터, 로봇 디바이스 또는 시스템, 항공 시스템 또는 다른 디바이스를 포함하거나 그 일부일 수 있다. 일부 양태들에서, 장치는 하나 이상의 이미지들을 캡처하기 위한 이미지 센서 (예를 들어, 카메라) 또는 다중 이미지 센서들 (예를 들어, 다중 카메라들) 을 포함한다. 일부 양태들에서, 장치는 하나 이상의 이미지들, 통지들, 및/또는 다른 디스플레이가능한 데이터를 디스플레이하기 위한 하나 이상의 디스플레이들을 포함한다. 일부 양태들에서, 장치는 하나 이상의 스피커들, 하나 이상의 발광 디바이스들, 및/또는 하나 이상의 마이크로폰들을 포함한다. 일부 양태들에서, 상술한 장치들은 하나 이상의 센서들을 포함할 수 있다. 일부 경우들에서, 하나 이상의 센서들은 장치들의 위치, 장치들의 상태 (예를 들어, 추적 상태, 동작 상태, 온도, 습도 레벨, 및/또는 다른 상태) 를 결정하기 위해, 및/또는 다른 목적들을 위해 사용될 수 있다.
이 개요는 청구된 청구물의 핵심적인 또는 본질적인 특징들을 식별하도록 의도되는 것도 아니고, 청구된 청구물의 범위를 결정하기 위해 별도로 이용되도록 의도되지도 않는다. 청구물은 본 특허의 전체 명세서, 일부 또는 모든 도면들 및 각각의 청구항의 적절한 부분들을 참조하여 이해되어야 한다.
전술한 것은 다른 특징들 및 실시형태들과 함께, 다음의 명세서, 청구항들 및 첨부 도면들을 참조하면 더 명백해질 것이다.
본 출원의 예시적인 예들은 다음의 도면들을 참조하여 하기에 상세히 설명된다.
도 1 은 본 개시의 일부 예들에 따른, 본 명세서에 설명된 시스템들 및 기법들의 양태들을 구현할 수 있는 전자 디바이스의 예를 도시하는 다이어그램이다.
도 2 는 본 개시의 일부 예들에 따른, 더 낮은 컴퓨트 및 전력 비용들로 ROI들을 효율적으로 이미징하기 위한 예시의 시스템 프로세스를 도시하는 다이어그램이다.
도 3a 는 본 개시의 일부 예들에 따른, 이미지 센서들의 시야 및 관심 영역의 위치에 기초하여 설정된 전자 디바이스 상의 이미지 센서들의 예시의 상태들을 도시하는 다이어그램이다.
도 3b 는 본 개시의 일부 예들에 따른, 이미지 센서들의 시야에 대한 관심 영역의 위치의 변화에 응답하여 전자 디바이스 상의 이미지 센서들의 상태들의 조정의 예를 도시하는 다이어그램이다.
도 4 는 본 개시의 일부 예들에 따른, 관심 영역의 궤적에 기초한 이미지 센서들 사이의 스위치의 예를 도시하는 다이어그램이다.
도 5 는 본 개시의 일부 예들에 따른, 하나 이상의 이미지들에서 오브젝트들을 검출하기 위한 시스템의 예를 도시하는 블록 다이어그램이다.
도 6 은 본 개시의 일부 예들에 따른, 오브젝트 검출을 수행할 수 있는 오브젝트 검출 시스템의 예이다.
도 7a 내지 도 7c 는 본 개시의 일부 예들에 따른, 단일-샷 오브젝트 검출기의 예를 도시하는 다이어그램들이다.
도 8a 내지 도 8c 는 본 개시의 일부 예들에 따른, YOLO (you only look once) 검출기의 예를 도시하는 다이어그램들이다.
도 9 는 본 개시의 일부 예들에 따른, 멀티-카메라 시스템으로 관심 영역을 캡처하기 위한 예시의 프로세스를 도시하는 플로우챠트이다.
도 10 은 본 개시의 일부 예들에 따른, 예시의 컴퓨팅 디바이스 아키텍처를 도시한다.
도 1 은 본 개시의 일부 예들에 따른, 본 명세서에 설명된 시스템들 및 기법들의 양태들을 구현할 수 있는 전자 디바이스의 예를 도시하는 다이어그램이다.
도 2 는 본 개시의 일부 예들에 따른, 더 낮은 컴퓨트 및 전력 비용들로 ROI들을 효율적으로 이미징하기 위한 예시의 시스템 프로세스를 도시하는 다이어그램이다.
도 3a 는 본 개시의 일부 예들에 따른, 이미지 센서들의 시야 및 관심 영역의 위치에 기초하여 설정된 전자 디바이스 상의 이미지 센서들의 예시의 상태들을 도시하는 다이어그램이다.
도 3b 는 본 개시의 일부 예들에 따른, 이미지 센서들의 시야에 대한 관심 영역의 위치의 변화에 응답하여 전자 디바이스 상의 이미지 센서들의 상태들의 조정의 예를 도시하는 다이어그램이다.
도 4 는 본 개시의 일부 예들에 따른, 관심 영역의 궤적에 기초한 이미지 센서들 사이의 스위치의 예를 도시하는 다이어그램이다.
도 5 는 본 개시의 일부 예들에 따른, 하나 이상의 이미지들에서 오브젝트들을 검출하기 위한 시스템의 예를 도시하는 블록 다이어그램이다.
도 6 은 본 개시의 일부 예들에 따른, 오브젝트 검출을 수행할 수 있는 오브젝트 검출 시스템의 예이다.
도 7a 내지 도 7c 는 본 개시의 일부 예들에 따른, 단일-샷 오브젝트 검출기의 예를 도시하는 다이어그램들이다.
도 8a 내지 도 8c 는 본 개시의 일부 예들에 따른, YOLO (you only look once) 검출기의 예를 도시하는 다이어그램들이다.
도 9 는 본 개시의 일부 예들에 따른, 멀티-카메라 시스템으로 관심 영역을 캡처하기 위한 예시의 프로세스를 도시하는 플로우챠트이다.
도 10 은 본 개시의 일부 예들에 따른, 예시의 컴퓨팅 디바이스 아키텍처를 도시한다.
본 개시의 소정의 양태들 및 실시형태들이 하기에 제공된다. 이들 양태들 및 실시형태들의 일부는 독립적으로 적용될 수도 있고 그 중 일부는 당업자에게 명백한 바와 같이 조합하여 적용될 수도 있다. 다음의 설명에서, 설명의 목적으로, 본 출원의 실시형태들의 철저한 이해를 제공하기 위해 특정 상세들이 제시된다. 그러나, 다양한 실시형태들이 이들 특정 상세들 없이도 실시될 수도 있음이 분명할 것이다. 도면 및 설명은 제한적인 것으로 의도되지 않는다.
다음의 설명은 단지 예시의 실시형태들을 제공하며, 본 개시의 범위, 적용가능성 또는 구성을 제한하도록 의도되지 않는다. 오히려, 예시적 구현들의 다음의 설명은 예시적인 실시형태들을 구현하기 위해 가능하게 하는 설명을 당업자에게 제공할 것이다. 첨부된 청구항들에 기술된 바와 같이 본 발명의 사상 및 범위를 벗어나지 않으면서 엘리먼트들의 기능 및 배열에서 다양한 변경들이 이루어질 수도 있음을 이해해야 한다.
전자 디바이스들 (예를 들어, 모바일 폰들, 웨어러블 디바이스들 (예를 들어, 스마트 워치들, 스마트 팔찌들, 스마트 안경 등), 태블릿 컴퓨터들, 확장 현실 (XR) 디바이스들 (예를 들어, 가상 현실 (VR) 디바이스들, 증강 현실 (AR) 디바이스들 등), 연결된 디바이스들, 랩톱 컴퓨터들 등) 은 관심 영역들 (ROI들) 을 캡처, 검출 및/또는 인식하기 위해 카메라들을 구현할 수 있다. 예를 들어, 전자 디바이스들은 필요에 따라, 지속적 또는 주기적 등으로, ROI들을 캡처, 검출 및/또는 인식하기 위해 저전력 카메라들을 구현할 수 있다. 예시의 ROI들은 환경에서의 장면의 영역들/부분들, 장면에서의 오브젝트들, 장면에서의 관심 이벤트들 등을 포함할 수 있다. 관심 이벤트들은 예를 들어, 제스처들 (예를 들어, 손 제스처들, 미소들 등), (예를 들어, 디바이스, 사람 및/또는 동물에 의한) 액션, 하나 이상의 오브젝트들의 존재 또는 발생 등을 포함할 수 있다. ROI 및/또는 관심 이벤트와 연관된 오브젝트는, 예를 들어, 얼굴, 코드 (예를 들어, QR (quick response) 코드, 바코드 등), 문서, 장면 또는 환경, 링크, 머신 판독가능 코드, 크라우드 등을 포함 및/또는 참조할 수 있다. 저전력 카메라들은 이미지 데이터를 캡처하고, 캡처된 이미지 데이터를 프로세싱하는 등에 사용되는 저전력 하드웨어 및/또는 에너지 효율적인 이미지 프로세싱 소프트웨어/파이프라인들을 구현할 수 있다. 저전력 카메라들은 고전력 카메라들과 같은 다른 디바이스들보다 더 적은 배터리 전력을 사용하면서 장면에서의 움직임 및/또는 오브젝트들을 관찰하고 장면에서의 이벤트들을 검출하기 위해 온을 유지하거나 또는 "웨이크 업" 할 수 있다.
일부 예들에서, 저전력 카메라 (때때로 "상시-온" (AON) 카메라로 지칭됨) 는 환경에서 소정의 오브젝트들/이벤트들을 자동으로 캡처 및/또는 검출하도록 지속적으로 또는 주기적으로 동작할 수 있다. 또한, 저전력 카메라는 고전력 또는 "메인" 카메라보다 더 낮은 양의 전력 및 컴퓨트 리소스들을 도출하도록 구성될 수 있다. 예를 들어, 저전력 카메라 파이프라인들은 고전력 또는 "메인" 카메라 파이프라인들과 비교하여 제한된/감소된 전력 소비로 지속적 또는 주기적 이미징을 가능하게 하기 위해, 더 낮은/감소된 해상도, 저전력 이미지 센서, 저전력 메모리 리소스들 (예를 들어, 동적 랜덤 액세스 메모리 (DRAM) 와 반대되는 온-칩 정적 랜덤 액세스 메모리 (SRAM) 등), 누설을 감소시키기 위한 아일랜드 전압 레일들, 클록 소스들을 위한 링 오실레이터들 (예를 들어, 위상-고정 루프들과 반대), 저전력 물리적 인터페이스들, 저전력 이미지 프로세싱 동작들 등을 채용할 수 있다. 일부 경우들에서, 전력 소비 및/또는 리소스 활용을 추가로 감소시키기 위해, 저전력 카메라 파이프라인들은 소정 동작들 (예를 들어, 노이즈 감소, 이미지 워핑, 이미지 강화 등) 을 구현하지 않을 수도 있고, 소정 타입들의 데이터 (예를 들어, 모노/루마 데이터와 반대되는 컬러 이미지 데이터) 를 프로세싱하지 않을 수도 있고, 소정 하드웨어 (예를 들어, 다운스케일러들, 컬러 변환기들, 렌즈 왜곡 보정 하드웨어, 디지털 신호 프로세서들, 뉴럴 프로세서들, 뉴럴 네트워크 가속기들, 카메라 직렬 인터페이스 (CSI) 와 같은 고전력 물리적 인터페이스들, 소정 컴퓨터 비전 블록들 등) 를 채용하지 않을 수도 있다.
일반적으로, 저전력 카메라의 이미징, 프로세싱, 및/또는 성능 능력들 및 결과들은 고전력 카메라보다 낮을 수도 있다. 예를 들어, 저전력 카메라들은 고전력 카메라들보다 낮은 품질의 이미지들/비디오들을 생성할 수도 있고, 및/또는 고전력 카메라들보다 더 제한된 특징들 및/또는 효과들을 제공할 수도 있다. 따라서, 일부 경우들에서, 저전력 카메라를 구현하는 것에 부가하여, 전자 디바이스는 또한 저전력 카메라보다 더 높은 이미징, 프로세싱, 및/또는 성능 능력들/결과들을 지원하는 고전력 카메라를 구현할 수도 있다. 일부 경우들에서, 전자 디바이스는 카메라 디바이스를 소정 시간들에는 저전력 모드로, 다른 시간들에는 고전력 모드로 구현할 수 있다. 일부 예들에서, 전자 디바이스는 더 높은 이미징, 프로세싱, 및/또는 성능 능력들/결과들이 요망될 때 소정 시간들에서 및/또는 소정 시나리오들에서 이러한 더 높은 전력 카메라 및/또는 더 높은 전력 모드를 사용할 수도 있다.
하나 이상의 카메라들이 장착된 전자 디바이스의 예시적인 예는 스마트 안경 및 헤드 마운트 디스플레이들 (HMD들) 과 같은, 확장 현실 (예를 들어, 증강 현실, 가상 현실 등) 디바이스를 포함할 수 있다. 확장 현실 (XR) 디바이스들은 일반적으로 물리적 환경 내의 XR 디바이스 및 다른 오브젝트들의 포지션을 추적하기 위해 카메라들 및 다양한 센서들을 구현한다. XR 디바이스들은 이러한 추적 정보를 사용하여 XR 디바이스의 사용자에게 현실적인 XR 경험을 제공할 수 있다. 예를 들어, XR 디바이스는 사용자가 몰입형 가상 환경들 또는 콘텐츠를 경험하거나 이와 상호작용하도록 허용할 수 있다. 현실적인 XR 경험을 제공하기 위해, XR 기술들은 일반적으로 가상 콘텐츠를 물리적 세계와 통합하는 것을 목표로 한다. 일부 경우들에서, XR 기술들은 오브젝트들 및 디바이스들의 상대적 포즈 및 움직임을 매칭시킬 수도 있다. 예를 들어, XR 디바이스는 디바이스들, 오브젝트들, 및/또는 현실 세계 환경의 상대적 포지션 및 움직임을 매칭시키기 위해 디바이스들, 오브젝트들, 및/또는 현실 세계 환경의 맵들의 상대적 포즈를 산출하도록 추적 정보를 사용할 수 있다. 하나 이상의 디바이스들, 오브젝트들 및/또는 현실 세계 환경의 포즈 및 움직임을 사용하여, XR 디바이스는 설득력 있는 방식으로 현실 세계 환경에 콘텐츠를 앵커링할 수 있다. 상대적 포즈 정보는 가상 콘텐츠를 사용자의 인지된 모션 및 디바이스들, 오브젝트들, 및 현실 세계 환경의 시공간 상태와 매칭시키는데 사용될 수 있다.
XR 디바이스와 같은 전자 디바이스는 종종 모바일이고, 이미지/비디오 캡처, 오브젝트 검출, 추적 등과 같은 동작들을 수행하면서 이동할 수 있다. 이러한 움직임은 캡처된 이미지/비디오에서 불규칙하고, 방향 감각을 잃고, 및/또는 바람직하지 모션을 야기할 수 있다. 일부 경우들에서, 전자 디바이스의 하나 이상의 카메라들에 의해 캡처 및/또는 추적되고 있는 관심 영역 (ROI) 및 전자 디바이스의 상대적 움직임은 ROI 가 하나 이상의 카메라들의 시야 (FOV) 외부에 있게 할 수 있으며, 이는 ROI 를 계속 캡처 또는 추적하기 위한 전자 디바이스의 능력을 방해할 수 있다. 예를 들어, XR 안경 및 HMD들과 같은 많은 XR 디바이스들은 XR 디바이스들의 동작 동안 사용자의 헤드에 사용자들에 의해 착용될 수 있다. 이러한 헤드-착용형 XR 디바이스들은 착용자의 헤드의 모션을 따를 수 있다. 착용자의 헤드의 모션은 XR 디바이스에 의해 캡처된 이미지들에서의 모션 및 XR 디바이스 상의 카메라들의 FOV 에서의 변화들을 야기할 수 있다. 카메라들의 FOV 에서의 변화는 하나 이상의 카메라들에 의해 캡처 및/또는 추적되고 있는 ROI 가 하나 이상의 카메라들의 FOV 의 외부에 있게 할 수 있다.
하나의 예시적인 예에서, XR 디바이스 (예를 들어, HMD, XR 안경 등) 를 착용하는 사용자는 콘서트를 기록하기 위해 XR 디바이스를 사용할 수 있다. XR 디바이스를 착용하는 사용자가 콘서트를 기록하면서 이동 (예를 들어, 웃음, 회전 등) 할 때, XR 디바이스의 카메라들이 흔들려서, 카메라들의 피드(feed)에 모션을 야기할 수 있다. XR 디바이스를 착용하는 사용자가 콘서트를 기록하면서 이동할 때, XR 디바이스 및 XR 디바이스의 카메라들은 사용자의 움직임을 따라갈 수 있다. 이러한 움직임은 콘서트가 더 이상 카메라들의 FOV 내에 있지 않거나, 카메라들의 FOV 의 주변에 있거나, 또는 움직임 이전과는 하나 이상의 상이한 카메라들의 FOV 에 있도록 카메라들의 FOV 를 변경할 수 있다. 일부 경우들에서, 이러한 움직임은 ROI 를 계속 캡처하거나 추적하는 XR 디바이스의 능력을 방해할 수 있다.
일부 경우들에서, XR 디바이스와 같은 전자 디바이스는, 다른 것들 중에서도, 더 큰 가시성을 위해 더 큰 FOV 를 획득하도록 다중 카메라들을 구현할 수 있다. 더 큰 FOV 는 ROI 및 전자 디바이스의 상대적 포지션에서의 변화들에 의해 야기된 ROI 의 캡처 또는 추적에서 그러한 방해들을 방지 또는 제한할 수 있다. 전자 디바이스는 상이한 카메라 FOV들로부터 프레임들 (예를 들어, 이미지들) 을 캡처하기 위해 다중 카메라들을 사용할 수 있고, ROI 및 전자 디바이스의 상대적 포지션이 변화할 때에도 ROI 를 캡처 및/또는 추적하기 위해 상이한 프레임들을 사용할 수 있다. 그러나, 상이한 카메라 FOV들로부터의 프레임들의 증가된 수는, 이들 프레임들을 캡처하는데 사용된 카메라들이 ROI 에 대한 가시성을 갖지 않기 때문에 (예를 들어, ROI 가 카메라들의 FOV 외부에 있음), ROI 를 캡처하지 않는 프레임들의 더 높은 수를 초래할 수 있다. 이러한 프레임들은 불필요할 수도 있고, 이들은 ROI 를 캡처하지 않기 때문에 종종 폐기된다. 이러한 프레임들의 캡처, 프로세싱, 및/또는 폐기는 전자 디바이스에서의 데이터의 프로세싱 시간, 전자 디바이스에서의 전력 소비, 전자 디바이스에서의 스트리밍 대역폭, 및/또는 메모리 및 컴퓨트 리소스들과 같은 리소스들의 사용을 증가시킬 수 있다. 더욱이, 전자 디바이스에 의해 구현되는 더 많은 수의 카메라들은, 특히 더 많은 카메라들이 동시에 동작됨에 따라, 전자 디바이스에서의 전력 소비 및/또는 계산 및 메모리 복잡도를 증가시킬 수 있다.
XR 디바이스들 및 다른 전자 디바이스들과 같은 멀티-카메라 시스템들에 의한 ROI들의 효율적이고 안정적인 캡처를 위해 본 명세서에서는 시스템들, 장치들, 방법들 (프로세스들로 또한 지칭됨), 및 컴퓨터 판독가능 매체들 (본 명세서에서는 "시스템들 및 기법들" 로서 집합적으로 지칭됨) 이 설명된다. 일부 예들에서, 본 명세서에 설명된 시스템들 및 기법들은 임의의 주어진 시간에 ROI 를 검출, 추적 및/또는 안정화하는데 사용된 멀티-카메라 시스템에서 카메라들 및 프레임들의 수를 감소시킬 수 있다. 일부 경우들에서, 본 명세서에 설명된 시스템들 및 기법들은 XR 디바이스와 같은 디바이스 상의 카메라들 및 다른 센서들로부터 ROI 정의를 디커플링하고, 로컬 클라이언트들 및/또는 원격 및 시간-시프트된 뷰어들에 대한 안정화된 두드러진 카메라 스트림들을 제공하면서 리소스들의 효율적인 사용을 허용할 수 있다. 일부 예들에서, XR 디바이스는 다른 것들 중에서도, XR 디바이스의 포즈 (예를 들어, XR 디바이스를 착용하는 사용자의 헤드의 포즈), XR 디바이스를 착용하는 사용자의 시선, 및/또는 XR 디바이스의 움직임에 대해 산출된 정보를 사용하여 임의의 주어진 시간에 ROI(들) 이 어디에 놓여 있는지를 결정할 수 있다. XR 디바이스는 ROI들을 지능적으로 추적하고 XR 디바이스에 대한 ROI들의 궤적을 예측하여 ROI들의 스트리밍 및 카메라 캡처를 최적화하고, XR 디바이스에서 리소스 소비 및 프로세싱 복잡도를 감소시킬 수 있다.
일부 예들에서, XR 디바이스는 ROI 를 추적하고 이미지 센서들의 FOV 외부에 또는 그 내에 있는 ROI 에 의존하여 이미지 센서들의 전력 상태 및/또는 연관된 프로세싱 모드를 조정할 수 있다. 예를 들어, XR 디바이스는 ROI 를 추적하고 (예를 들어, ROI 가 이들 이미지 센서들의 FOV 외부에 있기 때문에) ROI 에 대한 가시성이 결여된 임의의 이미지 센서들의 전력 상태 또는 전력 모드를 감소시킬 수 있다 (예를 들어, 턴 오프, 저전력/프로세싱 모드 등을 구현함). 예를 들어, 이미지 센서들은 제 1 저전력 소비와 연관되는 제 1 저전력 상태 또는 모드에서 초기화될 수 있다. 하기에서 더 상세히 설명되는 바와 같이, 제 1 저전력 상태 또는 모드는 저전력 카메라 프로세싱 경로와 연관될 수 있다. 제 1 저전력 소비는 이미지 센서들에 의해 지원되는 고전력 모드의 전력 소비보다 낮을 수 있다. XR 디바이스는 이미지 센서들 중 하나 이상의 이미지 센서들의 제 1 저전력 모드를 감소시켜 하나 이상의 이미지 센서들을 파워 오프하거나 (예를 들어, 하나 이상의 이미지 센서들을 파워 오프 모드로 트랜지션하며, 여기서 이미지 센서들의 전력이 턴 오프됨) 또는 하나 이상의 이미지 센서들을 제 2 저전력 소비와 연관된 제 2 저전력 모드로 트랜지션할 수 있다. 제 2 저전력 소비는 제 1 저전력 모드의 제 1 저전력 소비보다 낮다. 일부 예들에서, 제 2 저전력 모드는 슬립 모드, 하이버네이션(hibernation) 모드, 더 낮은 해상도 모드, 더 낮은 프레임레이트 모드, 더 낮은 리소스 소비 모드, 복수의 이미지 센서들이 초기화되는 제 1 저전력 모드와 연관된 다른 프로세싱 경로보다 더 적은 리소스들 (예를 들어, 전력, 컴퓨트 등) 을 사용하는 프로세싱 경로 (예를 들어, 카메라 파이프라인) 를 사용하는 모드 및/또는 고전력 모드를 포함할 수 있다
XR 디바이스는 (예를 들어, ROI 가 이들 이미지 센서들의 FOV 내에 있기 때문에) ROA에 대한 가시성을 갖는 임의의 다른 이미지 센서들의 전력 상태를 유지 또는 증가시키고 (예를 들어, 턴 온, 고전력/프로세싱 모드를 구현하는 등), 이들 이미지 센서들을 사용하여 ROI 의 이미지들을 캡처할 수 있다. XR 디바이스는 ROI 의 이미지들을 사용하여 ROI 를 검출하고, ROI 를 추적하고, 및/또는 ROI 의 이미지들을 프로세싱 (예를 들어, 안정화, 출력 등) 할 수 있다. XR 디바이스 상의 ROI 및 이미지 센서들의 상대적 포지션이 변화하고 (예를 들어, XR 디바이스 및/또는 ROI 의 움직임 때문) ROI 가 상이한 이미지 센서의 FOV 내에 있게 되는 경우, XR 디바이스는 상이한 이미지 센서로 스위칭할 수 있다. 예를 들어, XR 디바이스는 다른 이미지 센서의 전력 상태를 조정 또는 유지하고 (예를 들어, 인에이블 또는 턴 온, 고전력/프로세싱 모드를 구현 등) 다른 이미지 센서들의 전력 상태를 감소시킬 수 있다. XR 디바이스 상의 이미지 센서들의 FOV 및 ROI 의 상대적 포지션에 기초한 전력 상태들의 지능적인 조정은 XR 디바이스에서의 전력 소비뿐만 아니라 XR 디바이스에서의 동작 복잡도 (예를 들어, 컴퓨트 복잡도 등) 및 리소스 사용 (예를 들어, 메모리 활용, 프로세서 활용 등) 을 감소시킬 수 있다.
일부 예들에서, XR 디바이스는 XR 디바이스 상의 이미지 센서들의 FOV 및 ROI 의 상대적 포지션에 기초하여 임의의 주어진 시간에 ROI 의 이미지를 캡처하는데 사용된 이미지 센서들의 수를 감소시킬 수 있다. XR 디바이스는 또한 ROI 를 검출 및/또는 추적하기 위해 캡처되고 사용되는 이미지들 (또는 프레임들) 의 수를 감소시킬 수 있다. 주어진 시간에 ROI 의 이미지를 캡처하기 위해 사용되는 이미지 센서들의 감소된 수 및/또는 ROI 에 대해 캡처된 이미지들의 감소된 수는 또한, XR 디바이스에서의 전력 소비, (예를 들어, 이미지 센서들 사이의 심리스(seamless) 핸드오버 및/또는 프로세싱된 이미지들에서의 감소를 통해) 추적 레이턴시, 프로세싱 대역폭 (예를 들어, 더 적은 이미지들을 프로세싱하는 것에 의해) 등을 감소시킬 수 있다. 일부 경우들에서, XR 디바이스는 타겟 ROI 에 대해 주어진 시간에 프로세싱된 이미지들의 수를 단일 이미지로 제한할 수 있다. 예를 들어, XR 디바이스의 모든 이미지 센서들을 사용하여 이미지를 캡처하고 모든 이미지들을 프로세싱하여 ROI 를 검출 및/또는 추적하기보다, XR 디바이스는 (예를 들어, ROI 가 이미지 센서의 FOV 내에 있기 때문에) ROI 에 대한 가시성을 갖는 이미지 센서를 사용하여 ROI 에 대한 전체 또는 부분 이미지만을 캡처할 수도 있다.
일부 예들에서, XR 디바이스는 ROI 의 존재를 결정하도록 구성된 ROI 검출기를 구현할 수 있다. ROI 검출기는 ROI 의 위치, ROI 의 하나 이상의 바운드들, 및/또는 입력 ROC (region-of-capture) 에서의 ROI 의 다른 특성들을 결정할 수 있다. ROC 는 XR 디바이스의 하나 이상의 이미지 센서들의 FOV 내에 있는 2 차원 (2D) 또는 3 차원 (3D) 볼륨 (예를 들어, XR 디바이스에 의해 기록/이미징될 수 있는 2D 또는 3D 볼륨) 을 포함할 수 있다. 일부 예들에서, 전체 캡처가능 영역 (예를 들어, XR 디바이스에 의해 캡처될 수 있는 전체 영역) 은 XR 디바이스에서의 모든 이미지 센서들의 FOV들을 포함할 수 있고, 이미지 센서의 ROC 는 이미지 센서의 캡처가능 FOV 내의 캡처 영역을 포함할 수 있다. ROI 및/또는 ROC 는 동적일 수 있고, 이들의 위치 및/또는 치수들은 시간에 걸쳐 변화할 수 있다.
XR 디바이스는 ROI 의 위치 및 바운드들과 ROI 의 임의의 다른 관련 동적 특성들을 추적하는 ROI 추적기를 구현할 수 있다. ROI 추적기는 ROI 의 위치 및 바운드들과 ROI 의 임의의 다른 특성들을 추적하기 위한 입력으로서 ROI 검출기로부터의 정보를 사용할 수 있다. 제어기는 XR 디바이스와 연관된 ROC들을 정의하는 리소스들을 관리할 수 있다. 제어기는 XR 디바이스가 타겟 ROI(들)를 커버하기 위해 더 낮은 또는 최소 수의 리소스들을 채용하는 것을 보장할 수 있다. 일부 예들에서, 이미지 센서들은 상이한 전력 및/또는 성능 특성들을 갖는 m 개의 상이한 가능한 상태들 또는 구성들을 가질 수 있다. 제어기는 전반적인 효율성을 최대화하고 전력 소비를 감소시키기 위해 각각의 이미지 센서에 대해 어떤 상태를 구현할지를 결정할 수 있다.
예시의 상태 또는 모드는 저전력 상태 (또한 저전력 모드로서 지칭됨) 를 포함할 수 있다. 예를 들어, 이전에 언급된 제 1 또는 제 2 저전력 모드 또는 상태에서, 이미지 센서는 저전력 카메라 프로세싱 경로를 구현할 수 있다. 저전력 상태 및 저전력 카메라 프로세싱 경로는, 예를 들어 그리고 제한 없이, 더 낮은 프레임레이트를 구현하는 것, 더 낮은 해상도를 구현하는 것, 더 낮은 이미지 센서 전력 모드를 구현하는 것, 동적 랜덤 액세스 메모리 (DRAM) 와 같은 고전력 메모리보다는 정적 랜덤 액세스 메모리 (SRAM) 와 같은 저전력 메모리를 사용하는 것, 오프-칩 또는 시스템 메모리와 반대인 온-칩 메모리를 사용하는 것, 누설을 감소시키기 위해 아일랜드 전압 레일들을 사용하는 것, 위상-고정 루프들 (PLL들) 대신 클록들을 위한 링 오실레이터들을 사용하는 것과 같은 최적화들, 및/또는 임의의 다른 최적화들을 포함할 수 있다. 일부 예들에서, XR 디바이스는 고전력 카메라 프로세싱 경로와 병렬로 이미지 센서에 대한 저전력 카메라 프로세싱 경로를 구현할 수 있다. 일부 예들에서, 고전력 카메라 프로세싱 경로는 고전력 메모리 (예를 들어, DRAM), 오프-칩 메모리, PLL들, 고전력 이미지 센서 전력 모드 (예를 들어, 더 높은 프레임레이트, 더 높은 해상도 등), 및/또는 다른 더 높은 전력/성능 모드들 및/또는 동작들을 구현할 수 있다.
XR 디바이스는 ROI 추적기를 모니터링하고 충분한 ROC 가 ROI 를 캡처하기 위해 구현됨을 보장하기 위해 제어기에 피드백을 제공하는 ROI 안정화기를 구현할 수 있다. 일부 예들에서, ROI 안정화기는 예를 들어, 특징-매칭 기반 비디오 안정화 기법과 같은 하나 이상의 이미지 안정화 기법들에 기초하여 이미지 안정화를 수행할 수 있다. 일부 경우들에서, ROI 안정화기는 안정화 정보 (예를 들어, 이미징 디바이스의 모션을 보상하기 위한 모션 보상 정보) 를 결정하고, 모션 및/또는 모션 보상 정보와 관련된 피드백을 제어기에 제공할 수 있다.
일부 예들에서, 타겟 ROI 가 검출되기 전에, XR 디바이스는 저전력 상태 또는 모드 (예를 들어, 상술한 제 1 저전력 모드) 에서 XR 디바이스의 이미지 센서들 모두 (또는 서브세트) 로 시작할 수 있고 및/또는 저전력 카메라 프로세싱 경로를 사용하여 이미지 센서 피드들 모두 (또는 서브세트) 를 초기에 프로세싱할 수 있다. ROI 검출기는 ROI 를 검출하기 위해 이미지 센서들로부터의 각각의 이미지를 프로세싱할 수 있다. ROI 검출기는 ROI 를 검출하기 위해 이미지 프로세싱 및/또는 오브젝트 검출을 수행할 수 있다. 일부 경우들에서, ROI 검출기는 초기에 저전력 및/또는 전력-효율적인 모드에서 동작할 수 있다. ROI 검출기가 ROI 를 검출하면, ROI 검출기는 제어기를 트리거할 수 있다. 제어기는 하나 이상의 이미지 센서들에 대한 고전력 상태 및/또는 카메라 파이프라인을 개시할 수 있으며, 이는 ROI 검출 결과들 (예를 들어, XR 디바이스 상의 이미지 센서들 및 ROI 의 상대적 위치) 에 의존할 수 있다. 제어기는 XR 디바이스 상의 임의의 다른 이미지 센서를 저전력 상태 (또는 모드) 및/또는 저전력 카메라 프로세싱 경로에, 또는 디스에이블된 상태 또는 파워 오프 상태와 같은 제 2 저전력 상태 (또는 모드) 로 유지할 수 있다.
제어기는 하나 이상의 이미지 센서들을 사용하여 ROI 를 추적하기 위해 ROI 추적기를 개시할 수 있다. 제어기는 또한 ROI 안정화기를 초기화할 수 있다. 일부 예들에서, 제어기는 하나 이상의 이미지 센서들의 캡처가능 FOV들 내의 ROI 의 궤적을 결정하고, 이 정보를 사용하여 우수한 추적 및/또는 ROI 안정화 품질을 위해 얼마나 많은 전체 또는 부분 이미지들 (예를 들어, ROC들) 을 프로세싱할지를 결정할 수도 있다. 일부 경우들에서, 제어기는 센서들의 특성들, ROI(들), ROI 추적기들로부터의 정보, ROI 검출기들로부터의 정보, 및/또는 임의의 다른 정보에 기초하여 그의 제어 하에 임의의 센서들 (예를 들어, 이미지 센서들, 관성 센서들 등) 에 대한 소정의 절전 기법들을 선택할 수 있다. 일부 경우들에서, ROI 가 XR 디바이스의 모든 이미지 센서들의 전체 FOV 영역 외부에 있는/외부로 가는 경우, 제어기는 이미지 센서들을 저전력 상태/모드와 같은 초기 셋업 모드로 리셋할 수 있다.
일부 예들에서, XR 디바이스는 임의의 이미지 센서의 FOV 의 중심으로부터, 모든 다른 이미지 센서들의 FOV들의 중심들의 상대적 위치를 결정할 수 있다. XR 디바이스의 이미지 센서들의 각각은 제한된 FOV 를 커버할 수 있는 한편, 이미지 센서들은 조합으로 더 큰 FOV 를 커버할 수 있다. 예를 들어, 2D 이미지 평면 상의 참조 포인트로부터의 FOV 는 중심은 다음과 같이 표현될 수 있다: 이미지 센서들의 일부 또는 전부는 상이할 수 있고 및/또는 상이한 능력들, FOV 구성들 등을 가질 수 있다. 그러나, 간략화 및 설명의 목적으로, 다음의 논의에서의 이미지 센서들은 동일한 것으로 가정된다. 일부 예들에서, 프로세싱 유닛의 능력들 및 하나 이상의 요건들에 기초하여, N 개의 프레임들 중에서 k 개가 프로세싱될 수 있고, 여기서 .
일부 경우들에서, 프로세싱은 초기화, ROI 검출, 및 ROI 추적을 포함할 수 있다. 일부 예들에서, 초기에, 이미지 센서들의 모두 또는 서브세트는 이전에 설명된 바와 같이, 저전력 상태/모드에서 실행할 수 있다. 일부 경우들에서, i 이미지 센서들은 피드들을 프로세싱하기 위한 디폴트들로서 미리선택될 수 있다. ROI 검출기는 타겟 ROI 가 k 카메라들의 FOV들로 검출될 때까지 백그라운드에서 실행될 수 있다. 일부 예들에서, ROI 안정화기가 시행될 때, 프로세싱되는 이미지 센서 피드들의 수는 감소될 수 있고, 일부 경우들에서, (예를 들어, ROI(들)가 단일 이미지 센서의 FOV 내에 있을 때) 1만큼 낮을 수 있다. 일부 경우들에서, 이미지 센서들의 FOV들의 각각의 쌍 사이의 임의의 오버랩 영역이 미리결정될 수 있다. 일 예에서, 및 에서 중심들을 갖는 임의의 2개의 쌍들의 이미지 센서들에 대한 오버랩은 박스 와 같은 형상일 수 있다. 이 예에서의 박스 형상은 단순성 및 예시 목적으로 제공되지만, 다른 예들은 다른 형상들/지오메트리들을 포함할 수 있다.
ROI 가 초기 또는 디폴트 피드에서 검출되면, ROI 추적기는 ROI 를 추적할 수 있다. 일부 경우들에서, ROI 검출기 및 ROI 추적기는 ROI 를 추적하기 위해 조합하여 사용될 수 있다.
ROI 가 오버랩 영역 (예를 들어, 다중 FOV들 내의 영역) 에 진입할 때, 오버랩 영역 에 진입한 ROI 바운딩 박스 의 부분은 다음과 같이 산출될 수 있다:
움직임의 방향 및/또는 속도는 어느 이미지 센서 피드가 ROI 를 캡처하는데 사용되는 이미지 센서들 사이의 임의의 스위치들을 사용/인에이블 및/또는 트리거할지를 결정하는데 사용될 수 있다. 일부 예들에서, 오버랩 영역 이 임계치 위인 경우, ROI 추적기는 ROI 가 을 향해 이동하고 있는지를 체크할 수 있다. 일부 경우들에서, ROI 보다 충분히 더 큰 오버랩 영역을 갖는 시스템에 대해, 은 1 로 설정될 수 있다. 마지막 m 프레임들로부터, 각각의 ROI 의 집석된 궤적 (여기서, ) 은 움직임의 속도와 함께 결정될 수 있다. 현재 ROI 중심으로부터 를 향하는 벡터가 인 경우, ROI 추적기는 다음의 방정식을 사용하여 모두에 대해 과 사이에서 각도 를 찾을 수 있다:
이 임계치 미만인 경우, 제어기는 현재 이미지 센서에서 속도 벡터 와 와 거리 벡터 사이의 각 가 가장 작은 에서 FOV 중심을 갖는 이미지 센서로의 스위치를 프롬프트할 수 있다. 일부 경우들에서, 조건들이 만족되는 근방에 하나보다 많은 이미지 센서가 있는 경우, 더 작은 이미지 센서가 선택될 수 있다. 일부 경우들에서, 값들이 동일한 경우, 더 큰 FOV 를 커버할 수 있는 이미지 센서가 선택될 수도 있다.
일부 경우들에서, 빈번한 이미지 센서 스위칭을 방지하기 위해, ROI 추적기는 스위치를 트리거하기 위한 하나 이상의 부가 조건들을 부과할 수 있다. 예를 들어, ROI 추적기는 과 같은 속도 벡터의 크기에 조건을 부과할 수 있다. 일부 예들에서, 더 작은 영역들에 대해, 의 값은 더 큰 박스 영역들에 대한 값보다 더 작을 수 있다.
일부 경우들에서, 2개의 이미지 센서들이 오버랩하지 않는 FOV들을 갖는 경우, ROI 추적기는 속도 벡터 및 속도 벡터와 이미지 센서 i 에서 이미지 센서 j 까지의 거리 벡터 사이의 각도 에 기초하여 이미지 센서들을 스위치할지 여부를 결정할 수 있다. 시간 t 에서 속도 벡터 및 ROI 의 위치가 주어지면, 제어기는 시간 t+1 에서 ROI 의 위치를 추론할 수 있다. ROI 의 위치가 현재 이미지 센서의 FOV 외부로 이동하는 경우, 제어기는 그 방향을 따라 다른 이미지 센서로 스위치할 수 있다.
일부 경우들에서, XR 디바이스는 또한 하나 이상의 관성 측정 유닛들 (IMU들) 로부터의 센서 데이터를 구현/융합할 수 있다. 예를 들어, 빠른 XR 디바이스 움직임들 (예를 들어, XR 디바이스를 착용한 사용자에 의한 빠른 헤드 움직임들 또는 임의의 다른 움직임들에 의해 야기됨) 및/또는 빠른 ROI 움직임은 때때로 XR 디바이스가 상이한 이미지 센서의 FOV 에 진입하는 ROI 를 검출하지 않으면서 상이한 이미지 센서의 FOV 에 ROI 를 배치할 수 있다. 일부 예들에서, XR 디바이스는 ROI 의 추적 및/또는 안정화에 사용하기 위한 XR 디바이스의 움직임을 기술하는 IMU 센서 데이터와 ROI 모션 궤적 정보의 조합을 사용할 수 있다.
일부 경우들에서, XR 디바이스는 부분 FOV (예를 들어, 이미지 센서의 전체 FOV 미만) 에 대응하는 부분 이미지 (예를 들어, 캡처된 전체 이미지 미만) 를 프로세싱할 수 있다. 예를 들어, 이미지 센서는 ROI들에 대한 픽셀들만이 전송될 수 있는 ROI들을 지원할 수 있고, 이에 의해 원하는 픽셀들을 캡처하기 위해 전체 대역폭 및 전력을 낮출 수 있다. 일부 경우들에서, 이미지 센서의 ROC 는 안정적인 ROI 스트림을 얻기 위해 부분적으로만 프로세싱될 수 있다. 프로세싱을 위한 부분 ROC 는 예를 들어, ROI 검출, ROI 추적, 안정화 요건들 등에 기초하여 제어기 (124) 에 의해 결정될 수 있다. 일부 예들에서, 감소된 수의 픽셀들을 프로세싱하는 것은 카메라 스트림의 감소된 포스트 프로세싱을 초래할 수 있으며, 이는 리소스 사용 및 전력을 감소시킬 수 있다.
일부 경우들에서, 보강 러닝 (reinforcement learning; RL) 에이전트는 제어기가 어느 이미지 센서들을 동작시킬지 및/또는 하나 이상의 이미지 센서들에 대해 어떤 설정들을 구현할지를 결정하는 것을 돕도록 훈련될 수 있다. 훈련 입력들은 각각의 ROI 에 대한 타임스탬프들 (t-1, t-2, ..., t-m) 의 위치 정보를 포함할 수 있다. 훈련을 위해, RL 에이전트에 대한 입력들은 마지막 m ROI 박스 정보 및 이미지 센서들의 수를 포함할 수 있다. 상이한 사이즈들의 ROI 바운딩 박스들을 이동시키는 시퀀스들이 (예를 들어, 랜덤으로 또는 달리) 생성될 수 있다. RL 에이전트는 이미지 센서들을 정확하게 스위칭할 수 있는 경우 보상받을 수 있어서 ROI 는 인에이블된 이미지 센서들의 수를 감소시키면서 인에이블되는 이미지 센서(들)의 FOV 내에 있다. RL 에이전트가 이미지 센서 스위치들을 최소화할 수 있는 경우 부가 보상들이 사용될 수 있다. 일부 경우들에서, 보상은 이미지 센서 스위치들의 수에 반비례할 수 있다. RL 에이전트는, ROI 가 현재 인에이블되는 이미지 센서들의 FOV 외부에 있지만 XR 디바이스의 다른 이미지 센서들 중 하나 이상의 이미지 센서들의 FOV 내에 있는 경우, 불이익을 받을 수 있다.
일부 예들에서, N 개의 이미지 센서들 및 k 개의 ROI들에 대해, RL 에이전트에 대한 동작들은 이미지 센서 피드가 프로세싱되어야 하는지 여부를 표시하는, 각각의 이미지 센서에 대해 하나씩 N 개의 이진 판정들을 생성할 수 있다. 훈련은 임의의 설정에 대한 부가 훈련 없이 전개될 수 있도록 RL 에이전트에 대한 부가 입력(들)로 가상 환경에서 시뮬레이션될 수 있다. 부가 입력들은, 예를 들어 그리고 제한 없이, IMU 센서 데이터, 이미지 센서들의 수의 표시, 카메라 고유 파라미터들, 카메라 외부 파라미터들, 메타데이터, 및/또는 임의의 다른 데이터를 포함할 수 있다. 일부 경우들에서, 빠른 움직임 (전자 디바이스 움직임, ROI 움직임 등) 및/또는 다양한 수의 이미지 센서들 및 파라미터들에 대해, RL 에이전트는 다른 이미지 센서로의 스위칭 면의 수학적 근거를 러닝하도록 인에이블될 수 있다. 고정된 이미지 센서 셋업을 위해 훈련되면, RL 에이전트는 마지막 m ROI 바운딩 박스 정보, IMU 센서 정보, 이미지 센서 정보, 및/또는 임의의 다른 정보가 주어지면 이미지 센서 스위치를 프롬프트할 수 있다. 일부 예들에서, RL-기반 추적기는 프로세싱 시간 및 전력을 추가로 감소시키기 위해 각각의 선택된 이미지 센서에 대한 부분 센서 정보 영역 (예를 들어, 모든 센서 정보보다 적음) 을 제안할 수도 있다.
본 명세서에 설명된 시스템들 및 기법들은 카메라 센서의 뷰를 갖는 (또는 임계 시간 기간 내의 뷰를 갖는 것으로 추정되는) 이미지 센서를 사용하여 ROI 를 지능적으로 캡처하고 다른 카메라 센서들 및/또는 고전력 카메라 파이프라인의 소프트웨어 및/또는 하드웨어 컴포넌트들과 같은 다른 컴포넌트들에 지능적으로 파워 업/다운하기 위해 다양한 전자 디바이스들에 대해 구현될 수 있다. 예를 들어, 본 명세서에 설명된 시스템들 및 기법들은 모바일 컴퓨팅 디바이스들 (예를 들어, 스마트 폰들, 태블릿들, 랩탑들, 카메라들 등), 스마트 웨어러블 디바이스들 (예를 들어, 스마트 워치들 등), XR 디바이스들 (예를 들어, 헤드-마운트 디스플레이들, 스마트 안경 등), 연결된 디바이스들 또는 사물 인터넷 (IoT) 디바이스들 (예를 들어, 스마트 텔레비전들, 스마트 보안 카메라들, 스마트 어플라이언스들 등), 자율 로봇 디바이스들, 자율 주행 시스템들, 및/또는 카메라 하드웨어를 갖는 임의의 다른 디바이스에 대해 구현될 수 있다.
도면들을 참조하여 본 출원의 다양한 양태들이 설명될 것이다.
도 1 은 본 명세서에 설명된 시스템들 및 기법들을 구현할 수 있는 전자 디바이스 (100) 의 예를 도시하는 다이어그램이다. 일부 예들에서, 전자 디바이스 (100) 는, 예를 들어, 이미징 기능성들, 확장 현실 (XR) 기능성들 (예를 들어, 로컬화/추적, 검출, 분류, 매핑, 콘텐츠 렌더링 등), 비디오 기능성들, 이미지 프로세싱 기능성들, 디바이스 관리 및/또는 제어 기능성들, 게이밍 기능성들, 자율 주행 또는 내비게이션 기능성들, 컴퓨터 비전 기능성들, 로봇 기능성들, 자동화, 머신 러닝, 전자 통신 기능성들 (예를 들어, 오디오/비디오 호출, 전자 메시징 등), 웹 브라우징 기능성들 등과 같은 하나 이상의 기능성들을 제공하도록 구성된 전자 디바이스를 포함할 수 있다.
예를 들어, 일부 경우들에서, 전자 디바이스 (100) 는 XR 기능성들을 제공하고 본 명세서에 설명된 시스템들 및 기법들을 구현하도록 구성된 XR 디바이스 (예를 들어, 헤드-마운트 디스플레이, 헤드-업 디스플레이 디바이스, 스마트 안경 등) 일 수 있다. 일부 경우들에서, 전자 디바이스 (100) 는, 예를 들어 그리고 제한 없이, XR 애플리케이션, 카메라 애플리케이션, 전자 디바이스 (100) 의 컴포넌트들 및/또는 동작들을 관리 및/또는 제어하기 위한 애플리케이션, 스마트 홈 애플리케이션, 비디오 게임 애플리케이션, 디바이스 제어 애플리케이션, 자율 주행 애플리케이션, 내비게이션 애플리케이션, 생산성 애플리케이션, 소셜 미디어 애플리케이션, 통신 애플리케이션, 모델링 애플리케이션, 미디어 애플리케이션, 전자 상거래 애플리케이션, 브라우저 애플리케이션, 설계 애플리케이션, 맵 애플리케이션, 및/또는 임의의 다른 애플리케이션과 같은 하나 이상의 애플리케이션들을 구현할 수 있다. 다른 예로서, 전자 디바이스 (100) 는 본 명세서에 설명된 시스템들 및 기법들을 구현하도록 구성된 스마트 폰일 수 있다.
도 1 에 나타낸 예시적인 예에서, 전자 디바이스 (100) 는 이미지 센서들 (102A, 102B, 102C, 및 102N)(이하 집합적으로 "이미지 센서들 (102)") 과 같은, 하나 이상의 이미지 센서들; 오디오 센서 (104)(예를 들어, 초음파 센서, 마이크로폰 등), 관성 측정 유닛 (IMU)(106), 및 하나 이상의 컴퓨트 컴포넌트들 (110) 을 포함할 수 있다. 일부 경우들에서, 전자 디바이스 (100) 는 옵션으로, 예를 들어 그리고 제한 없이, 레이더, 광검출 및 레인징 (light detection and ranging; LIDAR) 센서, 터치 센서, 압력 센서 (예를 들어, 기압 센서 및/또는 임의의 다른 압력 센서), 자이로스코프, 가속도계, 자력계, 및/또는 임의의 다른 센서와 같은 하나 이상의 다른/부가 센서들을 포함할 수 있다. 일부 예들에서, 전자 디바이스 (100) 는, 예를 들어, 발광 다이오드 (LED) 디바이스, 저장 디바이스, 캐시, GNSS/GPS 수신기, 통신 인터페이스, 디스플레이, 메모리 디바이스 등과 같은 부가 컴포넌트들을 포함할 수 있다. 전자 디바이스 (100) 에 의해 구현될 수 있는 예시의 아키텍처 및 예시의 하드웨어 컴포넌트들이 도 10 과 관련하여 하기에서 더 설명된다.
전자 디바이스 (100) 는 단일 컴퓨팅 디바이스 또는 다중 컴퓨팅 디바이스들의 일부이거나 이에 의해 구현될 수 있다. 일부 예들에서, 전자 디바이스 (100) 는 카메라 시스템 (예를 들어, 디지털 카메라, IP 카메라, 비디오 카메라, 보안 카메라 등), 전화 시스템 (예를 들어, 스마트폰, 셀룰러 전화, 컨퍼런싱 시스템 등), 랩톱 또는 노트북 컴퓨터, 태블릿 컴퓨터, 셋톱 박스, 스마트 텔레비전, 디스플레이 디바이스, 게이밍 콘솔, HMD 와 같은 XR 디바이스, 드론, 차량에서의 컴퓨터, IoT (Internet-of-Things) 디바이스, 스마트 웨어러블 디바이스, 또는 임의의 다른 적합한 전자 디바이스(들)와 같은 전자 디바이스 (또는 디바이스들) 의 일부일 수 있다.
일부 구현들에서, 이미지 센서들 (102), 오디오 센서 (104), IMU (106), 및/또는 하나 이상의 컴퓨트 컴포넌트들 (110) 은 동일한 컴퓨팅 디바이스의 일부일 수 있다. 예를 들어, 일부 경우들에서, 이미지 센서들 (102), 오디오 센서 (104), IMU (106), 및/또는 하나 이상의 컴퓨트 컴포넌트들 (110) 은 카메라 시스템, 스마트폰, 랩톱, 태블릿 컴퓨터, 스마트 웨어러블 디바이스, HMD 와 같은 XR 디바이스, IoT 디바이스, 게이밍 시스템, 및/또는 임의의 다른 컴퓨팅 디바이스와 통합되거나 그 내로 통합될 수 있다. 다른 구현들에서, 이미지 센서들 (102), 오디오 센서 (104), IMU (106), 및/또는 하나 이상의 컴퓨트 컴포넌트들 (110) 은 2 이상의 별도의 컴퓨팅 디바이스들의 일부이거나 그에 의해 구현될 수 있다.
전자 디바이스 (100) 의 하나 이상의 컴퓨트 컴포넌트들 (110) 은, 예를 들어 그리고 제한 없이, 중앙 프로세싱 유닛 (CPU)(112), 그래픽스 프로세싱 유닛 (GPU)(114), 디지털 신호 프로세서 (DSP)(116), 및/또는 이미지 신호 프로세서 (ISP)(118) 를 포함할 수 있다. 일부 예들에서, 전자 디바이스 (100) 는, 예를 들어, 컴퓨터 비전 (CV) 프로세서, 뉴럴 네트워크 프로세서 (NNP), 주문형 집적 회로 (ASIC), 필드 프로그램가능 게이트 어레이 (FPGA) 등과 같은 다른 프로세서들을 포함할 수 있다. 전자 디바이스 (100) 는 하나 이상의 컴퓨트 컴포넌트들 (110) 을 사용하여, 예를 들어, 확장 현실 동작들 (예를 들어, 추적, 로컬화, 오브젝트 검출, 분류, 포즈 추정, 매핑, 콘텐츠 앵커링, 콘텐츠 렌더링 등), 디바이스 제어 동작들, 이미지/비디오 프로세싱, 그래픽스 렌더링, 머신 러닝, 데이터 프로세싱, 모델링, 산출들, 컴퓨터 비전, 메시징, 및/또는 임의의 다른 동작들과 같은 다양한 컴퓨팅 동작들을 수행할 수 있다.
일부 경우들에서, 하나 이상의 컴퓨트 컴포넌트들 (110) 은 본 명세서에 설명된 다양한 동작들 중 임의의 것을 수행하기 위해, 다른 전자 회로들 또는 하드웨어, 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 임의의 조합을 포함할 수 있다. 일부 예들에서, 하나 이상의 컴퓨트 컴포넌트들 (110) 은 도 1 에 나타낸 것들보다 더 많거나 더 적은 컴퓨트 컴포넌트들을 포함할 수 있다. 또한, CPU (112), GPU (114), DSP (116) 및 ISP (118) 는 설명의 목적으로만 제공되는 컴퓨트 컴포넌트들의 예시적인 예들일 뿐이다.
이미지 센서들 (102) 은 디지털 카메라 센서, 비디오 카메라 센서, 스마트폰 카메라 센서, 텔레비전 또는 컴퓨터, 카메라 등과 같은 전자 장치 상의 이미지/비디오 캡처 디바이스와 같은, 임의의 이미지 및/또는 비디오 센서 또는 캡처 디바이스를 포함할 수 있다. 일부 경우들에서, 이미지 센서들 (102) 은 디지털 카메라, 비디오 카메라, IP 카메라, 스마트폰, 스마트 텔레비전, 게임 시스템 등과 같은 카메라 또는 컴퓨팅 디바이스의 일부일 수 있다. 일부 경우들에서, 이미지 센서들 (102) 은 후방 및 전방 센서 디바이스들과 같은 다중 이미지 센서들을 포함할 수 있고, 듀얼-카메라 또는 다른 멀티 카메라 어셈블리 (예를 들어, 2개의 카메라, 3개의 카메라, 4개의 카메라, 또는 다른 수의 카메라들을 포함함) 의 일부일 수 있다.
일부 예들에서, 이미지 센서들 (102) 중 하나 이상은 저전력 카메라 또는 "상시 온" 카메라를 포함할 수 있거나 그 일부일 수 있고, 이미지 센서들 (102) 중 하나 이상은 고전력 또는 "메인" 카메라를 포함할 수 있거나 그 일부일 수 있다. 일부 예들에서, 저전력 카메라는 저전력 카메라 파이프라인을 구현할 수 있다. 저전력 카메라 파이프라인은 이미지 데이터 캡처, 이벤트들 검출, 캡처된 이미지 데이터 프로세싱 등을 위해 저전력 및/또는 더 에너지 효율적인 (예를 들어, 고전력 카메라 및/또는 연관된 고전력 카메라 파이프라인보다 저전력 및/또는 더 에너지 효율적인) 하드웨어 및/또는 이미지/데이터 프로세싱 소프트웨어를 포함할 수 있다. 일부 경우들에서, 저전력 카메라는 예를 들어, 더 낮은 프레임레이트, 더 낮은 해상도, 더 적은 수의 이미지 센서들, 저전력 모드, 저전력 카메라 파이프라인 (소프트웨어 및/또는 하드웨어를 포함) 등과 같은 고전력 카메라 (예를 들어, 이미지 센서 (102A), 이미지 센서 (102B), 이미지 센서 (102C), 이미지 센서 (102N)) 보다 낮은 전력 설정들 및/또는 모드들을 구현할 수 있다. 일부 예들에서, 저전력 카메라는 고전력 카메라보다 더 적은 및/또는 더 낮은 전력 이미지 센서들을 구현할 수 있고, 동적 랜덤 액세스 메모리 (DRAM) 보다는 온-칩 정적 랜덤 액세스 메모리 (SRAM) 와 같은 저전력 메모리를 사용할 수 있고, 누설을 감소시키기 위해 아일랜드 전압 레일들을 사용할 수 있고, 위상 고정 루프 (PLL) 보다는 클록 소스들로서 링 오실레이터들을 사용할 수 있고, 및/또는 다른 저전력 프로세싱 하드웨어/컴포넌트들을 사용할 수 있다. 일부 예들에서, 저전력 카메라는 더 높은 전력 및/또는 복잡도 센서 기술들 (예를 들어, 위상 검출 자동 초점, 듀얼 포토다이오드 (2PD) 픽셀들, 적색-녹색-청색-투명 (RGBC) 컬러 감지 등) 및/또는 데이터 (예를 들어, 풀 컬러 이미지 데이터보다는 모노/루마 데이터) 를 핸들링하지 않을 수도 있다.
일부 경우들에서, 저전력 카메라는 더 높은 전력/해상도 카메라들과 같은 다른 디바이스들보다 더 적은 배터리 전력을 사용하면서 장면에서의 움직임들 및/또는 이벤트들을 관찰하고 및/또는 장면에서의 이벤트들을 검출하기 위해 온 또는 "웨이크 업"을 유지할 수 있다. 예를 들어, 저전력 카메라는 지속적으로 장면에서의 오브젝트들을 발견하기 위해 장면에서의 움직임 및/또는 활동을 관찰하거나 관찰하기 위해 웨이크 업할 수 있다. 일부 경우들에서, 이벤트를 발견하면, 저전력 카메라는 다른 액션들 중에서도, 예를 들어, 오브젝트 검출, 오브젝트 인식, 안면 인증, 이미지 프로세싱 태스크들과 같은 하나 이상의 액션들을 트리거할 수 있다. 일부 경우들에서, 저전력 카메라들은 또한 다른 센서들, 프로세싱 하드웨어 등과 같은 다른 디바이스들을 "웨이크 업" 할 수 있다.
일부 경우들에서, 이미지 센서들 (102) 중 하나 이상은 고전력 카메라를 포함하거나 그 일부일 수 있지만 고전력 모드 또는 저전력 모드에서 실행될 수 있다. 일부 예들에서, 고전력 카메라는 고전력 카메라 파이프라인 및/또는 고전력 카메라 설정들 (예를 들어, 더 높은 프레임레이트, 더 높은 해상도 등) 을 구현할 수 있다. 고전력 카메라는 소정 시간들에서 고전력 모드 (예를 들어, 고전력 카메라 설정들, 고전력 카메라 파이프라인 등) 에서 실행될 수 있다. 일부 경우들에서, 고전력 카메라는 또한 다른 시간들에서 저전력 모드 (예를 들어, 저전력 카메라 설정들, 저전력 카메라 파이프라인 등) 에서 실행될 수 있다.
일부 예들에서, 이미지 센서들 (102) 의 각각은 이미지 데이터를 캡처하고 이미지 데이터에 기초하여 프레임들을 생성하고 및/또는 프로세싱을 위해 이미지 데이터 또는 프레임들을 하나 이상의 컴퓨트 컴포넌트들 (110) 에 제공할 수 있다. 프레임은 비디오 시퀀스 또는 스틸 이미지의 비디오 프레임을 포함할 수 있다. 프레임은 장면을 나타내는 픽셀 어레이를 포함할 수 있다. 예를 들어, 프레임은 픽셀 당 적색, 녹색, 및 청색 컬러 컴포넌트들을 갖는 적색-녹색-청색 (RGB) 프레임; 루마 컴포넌트 및 픽셀 당 2개의 크로마 (컬러) 컴포넌트들 (크로마-적색 및 크로마-청색) 을 갖는 루마, 크로마-적색, 크로마-청색 (YCbCr) 프레임; 또는 임의의 다른 적합한 타입의 컬러 또는 모느크롬 픽처일 수 있다.
일부 예들에서, 하나 이상의 컴퓨트 컴포넌트들 (110) 은 이미지 센서들 (102), 오디오 센서 (104), IMU (106), 및/또는 임의의 다른 센서들 및/또는 컴포넌트로부터의 데이터를 사용하여 본 명세서에 설명된 바와 같은 이미지/비디오 프로세싱, 카메라 안정화, XR 프로세싱, 디바이스 관리/제어, 절전 동작들/설정들, 및/또는 다른 동작들을 수행할 수 있다. 예를 들어, 일부 경우들에서, 하나 이상의 컴퓨트 컴포넌트들 (110) 은 이미지 센서들 (102), 오디오 센서 (104), IMU (106), 및/또는 임의의 다른 컴포넌트로부터의 데이터에 기초하여 카메라 안정화, 디바이스 제어/관리, 추적, 로컬화, 오브젝트 검출, 오브젝트 분류, 포즈 추정, 형상 추정, 장면 매핑, 콘텐츠 앵커링, 콘텐츠 렌더링, 이미지 프로세싱, 모델링, 콘텐츠 생성, 제스처 검출, 제스처 인식, 및/또는 다른 동작들을 수행할 수 있다.
일부 예들에서, 하나 이상의 컴퓨트 컴포넌트들 (110) 은 예를 들어, 본 명세서에 설명된 바와 같은 검출기 (120), 추적기 (122), 제어기 (124), 및/또는 안정화기 (126) 와 같은 하나 이상의 소프트웨어 엔진 및/또는 알고리즘을 구현할 수 있다. 일부 경우들에서, 하나 이상의 컴퓨트 컴포넌트들 (110) 은 머신 러닝 모델(들), 컴퓨터 비전 알고리즘(들), 뉴럴 네트워크(들), 및/또는 임의의 다른 알고리즘 및/또는 컴포넌트와 같은 하나 이상의 부가 컴포넌트들 및/또는 알고리즘들을 구현할 수 있다. 예를 들어, 일부 경우들에서, 하나 이상의 컴퓨트 컴포넌트들 (110) 에 의해 구현되는 검출기 (120), 추적기 (122), 제어기 (124), 및/또는 안정화기 (126) 는 머신 러닝 엔진을 구현할 수 있다.
일부 예들에서, 검출기 (120) 는 이미지 센서들 (102) 중 하나 이상에 의해 캡처될 관심 영역 (ROI) 의 존재를 결정하도록 구성될 수 있다. 검출기 (120) 는 ROI 의 위치, ROI 의 하나 이상의 바운드들, 및/또는 입력 캡처 영역 (region-of-capture; ROC) 에서의 ROI 의 다른 특성들을 결정할 수 있다. ROC 는 이미지 센서들 (102) 의 하나 이상의 이미지 센서들의 FOV 내에 있는 2 차원 (2D) 또는 3 차원 (3D) 볼륨 (예를 들어, 전자 디바이스 (100) 에 의해 기록/이미징될 수 있는 2D 또는 3D 볼륨) 을 포함할 수 있다. 일부 예들에서, 전체 캡처가능 영역 (예를 들어, 전자 디바이스 (100) 에 의해 캡처될 수 있는 전체 영역) 은 전자 디바이스 (100) 에서의 모든 이미지 센서들 (102) 의 FOV들을 포함할 수 있고, 이미지 센서의 ROC 는 이미지 센서의 캡처가능 FOV 내의 캡처 영역을 포함할 수 있다. ROI 및/또는 ROC 는 동적일 수 있고, 이들의 위치 및/또는 치수들은 시간에 걸쳐 변화할 수 있다.
일부 예들에서, 추적기 (122) 는 ROI 의 위치 및 바운드들과 ROI 의 임의의 다른 관련 동적 특성들을 추적할 수 있다. 추적기 (122) 는 ROI 의 위치 및 바운드들과 ROI 의 임의의 다른 특성들을 추적하기 위한 입력으로서 검출기 (120) 로부터의 정보를 사용할 수 있다. 제어기 (124) 는 전자 디바이스 (100) 와 연관된 ROC들을 정의하는 리소스들을 관리할 수 있다. 제어기 (124) 는 전자 디바이스 (100) 가 타겟 ROI(들)를 커버하기 위해 더 낮은 또는 최소 수의 리소스들을 채용하는 것을 보장할 수 있다. 일부 예들에서, 이미지 센서들은 상이한 전력 및/또는 성능 특성들을 갖는 m 개의 상이한 가능한 상태들 또는 구성들을 가질 수 있다. 제어기 (124) 는 전반적인 효율성을 최대화하고 전력 소비를 감소시키기 위해 각각의 이미지 센서에 대해 어떤 상태를 구현할지를 결정할 수 있다.
예시의 상태는 저전력 상태를 포함할 수 있다. 이전에 설명된 바와 같이, 저전력 상태에서, 이미지 센서는 저전력 카메라 프로세싱 경로 (예를 들어, 저전력 카메라 파이프라인) 를 구현할 수 있다. 저전력 상태 및 저전력 카메라 프로세싱 경로는, 예를 들어 그리고 제한 없이, 더 낮은 프레임레이트를 구현하는 것, 더 낮은 해상도를 구현하는 것, 더 낮은 이미지 센서 전력 모드를 구현하는 것, 동적 랜덤 액세스 메모리 (DRAM) 와 같은 고전력 메모리보다는 정적 랜덤 액세스 메모리 (SRAM) 와 같은 저전력 메모리를 사용하는 것, 오프-칩 또는 시스템 메모리와 반대인 온-칩 메모리를 사용하는 것, 누설을 감소시키기 위해 아일랜드 전압 레일들을 사용하는 것, 위상-고정 루프들 (PLL들) 대신 클록들을 위한 링 오실레이터들을 사용하는 것과 같은 최적화들, 및/또는 임의의 다른 최적화들을 포함할 수 있다.
일부 예들에서, 고전력 카메라 프로세싱 경로 (예를 들어, 고전력 카메라 파이프라인) 는 고전력 메모리 (예를 들어, DRAM), 오프-칩 메모리, PLL들, 고전력 이미지 센서 전력 모드 (예를 들어, 더 높은 프레임레이트, 더 높은 해상도 등), 및/또는 다른 더 높은 전력/성능 모드들 및/또는 동작들을 구현할 수 있다. 일부 예들에서, 전자 디바이스 (100) 는 고전력 카메라 프로세싱 경로와 병렬로 이미지 센서에 대한 저전력 카메라 프로세싱 경로를 구현할 수 있다. 일부 경우들에서, 전자 디바이스 (100) 는 이미지 센서에 대한 저전력 카메라 프로세싱 경로 또는 고전력 카메라 프로세싱 경로를 상이한 시간들에서 선택적으로 구현할 수 있다.
일부 예들에서, 안정화기 (126) 는 추적기 (122) 를 모니터링하고 충분한 ROC 가 ROI 를 캡처하도록 구현되는 것을 보장하기 위해 제어기 (124) 에 피드백을 제공할 수 있다. 일부 예들에서, 안정화기 (126) 는 예를 들어, 특징-매칭 기반 비디오 안정화 기법과 같은 하나 이상의 이미지 안정화 기법들에 기초하여 이미지 안정화를 수행할 수 있다. 일부 경우들에서, 안정화기 (126) 는 안정화 정보 (예를 들어, 이미징 디바이스의 모션을 보상하기 위한 모션 보상 정보) 를 결정하고, 모션 및/또는 모션 보상 정보와 관련된 피드백을 제어기에 제공할 수 있다.
일부 예들에서, 타겟 ROI 가 검출되기 전에, 전자 디바이스 (100) 는 저전력 상태에서 이미지 센서들 (102) 모두 (또는 서브세트) 로 시작할 수 있고 및/또는 저전력 카메라 프로세싱 경로를 사용하여 이미지 센서 피드들 모두 (또는 서브세트) 를 초기에 프로세싱할 수 있다. 검출기 (120) 는 ROI 를 검출하기 위해 이미지 센서들 (102) 로부터의 각각의 이미지를 프로세싱할 수 있다. 검출기 (120) 는 ROI 를 검출하기 위해 이미지 프로세싱 및/또는 오브젝트 검출을 수행할 수 있다. 일부 경우들에서, 검출기 (120) 는 초기에 저전력 및/또는 전력-효율적인 모드에서 동작할 수 있다. 검출기 (120) 가 ROI 를 검출하면, 검출기 (120) 는 제어기 (124) 를 트리거할 수 있다. 제어기 (124) 는 이미지 센서들 (102) 중 하나 이상에 대한 고전력 상태 및/또는 카메라 파이프라인을 개시할 수 있으며, 이는 ROI 검출 결과들 (예를 들어, 전자 디바이스 (100) 상의 이미지 센서들 (102) 및 ROI 의 상대적 위치) 에 의존할 수 있다. 제어기 (124) 는 전자 디바이스 (100) 상의 임의의 다른 이미지 센서를 저전력 상태 및/또는 저전력 카메라 프로세싱 경로에, 또는 디스에이블되거나 파워 오프된 상태에 유지할 수 있다.
제어기 (124) 는 이미지 센서들 (102) 중 하나 이상을 사용하여 ROI 를 추적하기 위해 추적기 (122) 를 개시/초기화할 수 있다. 제어기 (124) 는 또한 안정화기 (126) 를 초기화할 수 있다. 일부 예들에서, 추적기 (22) 및/또는 제어기 (124) 는 이미지 센서들 중 하나 이상의 캡처가능 FOV들 내의 ROI 의 궤적을 결정하고, 이 정보를 사용하여 우수한 추적 및/또는 ROI 안정화 품질을 위해 얼마나 많은 전체 또는 부분 이미지들 (예를 들어, ROC들) 을 프로세싱할지를 결정할 수 있다. 일부 경우들에서, 제어기 (124) 는 센서들의 특성들, ROI(들), ROI 추적기 (122) 로부터의 정보, 검출기 (120) 로부터의 정보, 및/또는 임의의 다른 정보에 기초하여 그의 제어 하에 임의의 센서들 (예를 들어, 이미지 센서들, 관성 센서들 등) 에 대한 소정의 절전 기법들을 선택할 수 있다. 일부 경우들에서, ROI 가 모든 이미지 센서들 (102) 의 전체 FOV 영역 외부에 있는/외부로 가는 경우, 제어기 (124) 는 이미지 센서들 (102) 을 저전력 상태/모드와 같은 초기 셋업 모드로 리셋할 수 있다.
일부 경우들에서, 프로세싱은 초기화, ROI 검출, 및/또는 ROI 추적을 포함할 수 있다. 일부 예들에서, 초기에, 이미지 센서들 모두 또는 이의 서브세트는 이전에 설명된 바와 같이, 저전력 상태/모드에서 실행할 수 있다. 일부 경우들에서, i 이미지 센서들은 피드들을 프로세싱하기 위한 디폴트들로서 미리선택될 수 있다. 검출기 (120) 는 타겟 ROI 가 k 이미지 센서들의 FOV들로 검출될 때까지 백그라운드에서 실행될 수 있다. 일부 예들에서, 안정화기 (126) 가 시행될 때, 프로세싱되는 이미지 센서 피드들의 수는 감소될 수 있고, 일부 경우들에서, (예를 들어, ROI(들)가 단일 이미지 센서의 FOV 내에 있을 때) 1만큼 낮을 수 있다. 일부 경우들에서, 이미지 센서들의 FOV들의 각각의 쌍 사이의 임의의 오버랩 영역이 미리결정될 수 있다.
일부 예들에서, ROI 가 초기 또는 디폴트 피드에서 검출되면, 추적기 (122) 는 ROI 를 추적할 수 있다. 일부 경우들에서, 검출기 (120) 및 추적기 (122) 는 ROI 를 추적하기 위해 조합하여 사용될 수 있다.
일부 경우들에서, 빈번한 이미지 센서 스위칭을 방지하기 위해, 추적기 (122) 는 이미지 센서들 사이의 스위치를 트리거하기 위한 하나 이상의 조건들을 부과할 수 있다. 예를 들어, 추적기 (122) 는 ROI 의 속도 및 궤적을 기술하는 속도 벡터의 크기에 조건을 부과할 수 있다.
일부 경우들에서, 2개의 이미지 센서들이 오버랩하지 않는 FOV들을 갖는 경우, 추적기 (122) 는 속도 벡터 및 속도 벡터와 이미지 센서에서 다른 이미지 센서까지의 거리 벡터 사이의 각도에 기초하여 이미지 센서들을 스위치할지 여부를 결정할 수 있다. 시간 t 에서 속도 벡터 및 ROI 의 위치가 주어지면, 제어기 (124) 는 시간 t+1 에서 ROI 의 위치를 추론할 수 있다. ROI 의 위치가 현재 이미지 센서의 FOV 외부로 이동하는 경우, 제어기 (124) 는 그 방향을 따라 다른 이미지 센서로 스위치할 수 있다.
일부 경우들에서, 전자 디바이스 (100) 는 또한 하나 이상의 관성 측정 유닛들 (IMU들) 로부터의 센서 데이터를 구현/융합할 수 있다. 예를 들어, 빠른 전자 디바이스 움직임들 (예를 들어, 전자 디바이스를 착용하거나 핸들링하는 사용자에 의한 빠른 헤드 움직임들 또는 임의의 다른 움직임들에 의해 야기됨) 및/또는 빠른 ROI 움직임은 때때로 전자 디바이스 (100) 가 상이한 이미지 센서의 FOV 에 진입하는 ROI 를 검출하지 않으면서 상이한 이미지 센서의 FOV 에 ROI 를 배치할 수 있다. 일부 예들에서, 전자 디바이스 (100) 는 ROI 의 추적 및/또는 안정화에 사용하기 위한 전자 디바이스 (100) 의 움직임을 기술하는 IMU 센서 데이터와 ROI 모션 궤적 정보의 조합을 사용할 수 있다.
일부 경우들에서, 전자 디바이스 (100) 는 부분 FOV (예를 들어, 이미지 센서의 전체 FOV 미만) 에 대응하는 부분 이미지 (예를 들어, 캡처된 전체 이미지 미만) 를 프로세싱할 수 있다. 예를 들어, 이미지 센서는 ROI들에 대한 픽셀들만이 전송될 수 있는 ROI들을 지원할 수 있고, 이에 의해 원하는 픽셀들을 캡처하기 위해 전체 대역폭 및 전력을 낮출 수 있다. 일부 경우들에서, 이미지 센서의 ROC 는 안정적인 ROI 스트림을 얻기 위해 부분적으로만 프로세싱될 수 있다. 프로세싱을 위한 부분 ROC 는 예를 들어, ROI 검출, ROI 추적, 안정화 요건들 등에 기초하여 제어기 (124) 에 의해 결정될 수 있다. 일부 예들에서, 감소된 수의 픽셀들을 프로세싱하는 것은 카메라 스트림의 감소된 포스트 프로세싱을 초래할 수 있으며, 이는 리소스 사용 및 전력을 감소시킬 수 있다.
일부 경우들에서, 보강 러닝 (RL) 에이전트는 제어기 (124) 가 어느 이미지 센서들을 동작시킬지 및/또는 하나 이상의 이미지 센서들에 대해 어떤 설정들을 구현할지를 결정하는 것을 돕도록 훈련될 수 있다. 훈련 입력들은 각각의 ROI 에 대한 타임스탬프들 (t-1, t-2, ..., t-m) 의 위치 정보를 포함할 수 있다. 훈련을 위해, RL 에이전트에 대한 입력들은 마지막 m ROI 바운딩 박스 정보 및 이미지 센서들의 수를 포함할 수 있다. 상이한 사이즈들의 ROI 바운딩 박스들을 이동시키는 시퀀스들이 (예를 들어, 랜덤으로 또는 달리) 생성될 수 있다. RL 에이전트는 이미지 센서들을 정확하게 스위칭할 수 있는 경우 보상받을 수 있어서 ROI 는 인에이블된 이미지 센서들의 수를 감소시키면서 인에이블되는 이미지 센서(들)의 FOV 내에 있다. RL 에이전트가 이미지 센서 스위치들을 최소화할 수 있는 경우 부가 보상들이 사용될 수 있다. 일부 경우들에서, 보상은 이미지 센서 스위치들의 수에 반비례할 수 있다. RL 에이전트는, ROI 가 현재 인에이블되는 이미지 센서들의 FOV 외부에 있지만 전자 디바이스 (100) 의 다른 이미지 센서들 중 하나 이상의 이미지 센서들의 FOV 내에 있는 경우, 불이익을 받을 수 있다.
일부 경우들에서, N 개의 이미지 센서들 및 k 개의 ROI들에 대해, RL 에이전트에 대한 동작들은 이미지 센서 피드가 프로세싱되어야 하는지 여부를 표시하는, 각각의 이미지 센서에 대해 하나씩 N 개의 이진 판정들을 생성할 수 있다. 훈련은 임의의 설정에 대한 부가 훈련 없이 전개될 수 있도록 RL 에이전트에 대한 부가 입력(들)로 가상 환경에서 시뮬레이션될 수 있다. 부가 입력들은, 예를 들어 그리고 제한 없이, IMU 센서 데이터, 이미지 센서들의 수에 관한 정보, 카메라 고유 파라미터들, 카메라 외부 파라미터들, 메타데이터, 및/또는 임의의 다른 데이터를 포함할 수 있다. 일부 경우들에서, 빠른 움직임 (전자 디바이스 움직임, ROI 움직임 등) 및/또는 다양한 수의 이미지 센서들 및 파라미터들에 대해, RL 에이전트는 다른 이미지 센서로의 스위칭 면의 수학적 근거를 러닝하도록 인에이블될 수 있다. 고정된 이미지 센서 셋업을 위해 훈련되면, RL 에이전트는 마지막 m ROI bbox 정보, IMU 센서 정보, 이미지 센서 정보, 및/또는 임의의 다른 정보가 주어지면 이미지 센서 스위치를 프롬프트할 수 있다. 일부 예들에서, RL-기반 추적기는 또한 프로세싱 시간 및 전력을 추가로 감소시키기 위해 각각의 선택된 이미지 센서에 대한 부분 센서 정보 영역 (예를 들어, 모든 센서 정보보다 적음) 을 제안할 수도 있다.
전자 디바이스 (100) 에 대해 도 1 에 나타낸 컴포넌트들은 설명의 목적으로 제공된 예시적인 예들이다. 다른 예들에서, 전자 디바이스 (100) 는 도 1 에 나타낸 것들보다 더 많거나 더 적은 컴포넌트들을 포함할 수 있다. 전자 디바이스 (100) 가 소정의 컴포넌트들을 포함하는 것으로 나타나 있지만, 당업자는 전자 디바이스 (100) 가 도 1 에 나타낸 것들보다 더 많거나 더 적은 컴포넌트들을 포함할 수 있음을 알 것이다. 예를 들어, 전자 디바이스 (100) 는, 일부 경우들에서, 하나 이상의 메모리 디바이스들 (예를 들어, RAM, ROM, 캐시 등), 하나 이상의 네트워킹 인터페이스들 (예를 들어, 유선 및/또는 무선 통신 인터페이스들 등), 하나 이상의 디스플레이 디바이스들, 캐시들, 저장 디바이스들, 및/또는 도 1 에 나타내지 않은 다른 하드웨어 또는 프로세싱 디바이스들을 포함할 수 있다. 전자 디바이스 (100) 로 구현될 수 있는 컴퓨팅 디바이스 및/또는 하드웨어 컴포넌트들의 예시적인 예가 도 10 과 관련하여 하기에서 설명된다.
도 2 는 더 낮은 컴퓨트 및 전력 비용으로 ROI들을 효율적으로 이미징하기 위한 예시의 시스템 프로세스 (200) 를 도시하는 다이어그램이다. 이 예들에서, 이미지 센서들 (102) 은 이미지를 캡처하고 저전력 카메라 파이프라인 (202) 또는 고전력 카메라 파이프라인 (204) 을 통해 이미지를 프로세싱할 수 있다. 이미지 센서들 (102) 은 이미지 센서들 (102) 에 의해 캡처된 이미지들에서 ROI 를 캡처하려고 시도할 수 있다. 일부 경우들에서, 하나 이상의 이미지 센서들이 ROI 에 대한 뷰를 갖지 않는 경우 (예를 들어, ROI 가 하나 이상의 이미지 센서들의 FOV 내에 있지 않은 경우 또는 ROI 가 하나 이상의 이미지 센서들의 FOV 내에 있지만 ROI 가 오브젝트에 의해 폐색되는 경우), 하나 이상의 이미지 센서들은 ROI 를 캡처하지 못할 수도 있다. 일부 경우들에서, 전자 디바이스 (100) 는 하나 이상의 이미지 센서들이 ROI 의 뷰를 갖지 않고 ROI 의 이미지를 캡처할 수 없는 경우에도 초기에 모든 이미지 센서들 (102) 로부터의 이미지들을 프로세싱할 수도 있다. 다른 경우들에서, 전자 디바이스 (100) 는 ROI 의 뷰를 갖는 것으로 추정된 이미지 센서들의 서브세트 및/또는 저전력 모드들/능력들을 갖는 이미지 센서들의 서브세트와 같은 이미지 센서들 (102) 의 서브세트로부터의 이미지들만을 프로세싱할 수도 있다.
일부 경우들에서, 이미지 센서들 (102) 로부터의 이미지들은 초기에 저전력 카메라 파이프라인 (202) 에 의해 프로세싱될 수 있다. 일부 예들에서, 전자 디바이스 (100) 가 어느 이미지 센서들이 ROI 의 뷰를 갖는지를 결정하면, 이들 이미지 센서들로부터의 이미지 데이터는 고전력 카메라 파이프라인 (204) 에 의해 프로세싱될 수도 있다. 고전력 카메라 파이프라인 (204) 은 부가적인 및/또는 더 강력한 프로세싱 능력들, 이미징 효과들, 출력들 등, 및/또는 더 높은 품질의 이미지 출력들 (예를 들어, 더 높은 해상도들, 더 높은 프레임레이트들 등) 을 제공할 수 있다.
저전력 카메라 파이프라인 (202) 은 단일 저전력 카메라 파이프라인 또는 다중 저전력 카메라 파이프라인들을 나타낼 수 있다. 예를 들어, 일부 경우들에서, 저전력 카메라 파이프라인 (202) 은 이미지 센서들 (102) 중 임의의 것으로부터의 이미지 데이터를 프로세싱할 수 있다. 여기서, 저전력 카메라 파이프라인 (202) 은 다중 이미지 센서들에 의해 공유될 수 있다. 다른 경우들에서, 저전력 카메라 파이프라인 (202) 은 다중 저전력 카메라 파이프라인들을 나타낼 수 있다. 일부 예들에서, 다중 저전력 카메라 파이프라인들은 상이한 이미지 센서들에 의해 사용될 수 있다. 예를 들어, 각각의 저전력 카메라 파이프라인은 하나 이상의 지정된 이미지 센서들에 대한 카메라 프로세싱 경로로서 작용할 수 있다. 다른 예로서, 다중 저전력 카메라 파이프라인들은 이미지 센서들 (102) 에 대한 별도의 카메라 프로세싱 경로들로서 작용할 수 있고, 각각의 저전력 카메라 파이프라인은 지정된 이미지 센서(들)를 서빙할 수 있거나 이미지 센서들 (102) 중 임의의 것을 서빙할 수 있다.
이전에 언급된 바와 같이, 일부 경우들에서, 이미지 센서들 (102) 은 초기에 저전력 카메라 파이프라인 (202) 을 통해 그들의 캡처된 이미지들을 프로세싱할 수 있다. 일부 예들에서, 저전력 카메라 파이프라인 (202) 은 프리-프로세싱 (예를 들어, 이미지 리사이징, 디노이징, 세그먼트화, 에지들 평활화, 컬러 보정/변환, 디베이어링, 스케일링, 감마 보정 등) 동작들을 포함할 수 있다. 일부 경우들에서, 저전력 카메라 파이프라인 (202) 은 하나 이상의 이미지 포스트-프로세싱 동작들을 포함할 수 있다. 일부 예들에서, 저전력 카메라 파이프라인 (202) 은 예를 들어, 더 낮은/감소된 해상도, 더 낮은/감소된 프레임 레이트, 더 낮은 전력 센서, (예를 들어, DRAM 보다는), 온-칩 SRAM 아일랜드 전압 레일들, (예를 들어, PLL들보다는) 클록 소스들을 위한 링 오실레이터들, 더 낮은/감소된 수의 이미지 센서들 등과 같은 더 낮은 전력 하드웨어, 설정들, 및/또는 프로세싱을 호출/포함할 수 있다.
저전력 카메라 파이프라인 (202) 은 이미지 센서들 (102) 로부터의 이미지 데이터를 프로세싱하고 이미지 센서들 (102) 의 각각으로부터의 이미지 데이터에 기초하여 저전력 카메라 피드들 (210) 을 출력할 수 있다. 각각의 저전력 카메라 피드 (210) 는 이미지 센서에 의해 캡처된 이미지에 기초하여 저전력 카메라 파이프라인 (202) 에 의해 생성된 프로세싱된 이미지 데이터를 포함할 수 있다. 저전력 카메라 파이프라인 (202) 은 저전력 카메라 피드들 (210) 을 검출기 (120) 에 전송할 수 있다.
검출기 (120) 는 이미지 센서들 (102) 로부터의 임의의 이미지들에서 ROI 를 검출하기 위해 저전력 카메라 피드들 (210) 을 프로세싱할 수 있다. 일부 예들에서, 검출기 (120) 는 이미지 센서들 (102) 중 하나 이상으로부터의 하나 이상의 이미지들에 의해 캡처된 ROI 의 존재를 결정할 수 있다. 검출기 (120) 는 ROI 를 검출하기 위해 이미지 프로세싱 및/또는 오브젝트 검출을 수행할 수 있다. 일부 경우들에서, 검출기 (120) 는 저전력 카메라 피드 (210) 에서 ROI 를 검출하기 위해 머신 러닝 알고리즘 및/또는 뉴럴 네트워크를 구현할 수 있다.
일부 예들에서, 검출기 (120) 는 ROI 의 위치, ROI 의 하나 이상의 바운드들, 및/또는 입력 캡처 영역 (ROC) 에서의 ROI 의 다른 특성들을 결정할 수 있다. ROC 는 이미지 센서들 (102) 중 하나 이상의 FOV 내에 있는 2 차원 (2D) 또는 3 차원 (3D) 볼륨 (예를 들어, 이미지 센서들에 의해 기록/이미징될 수 있는 2D 또는 3D 볼륨) 을 포함할 수 있다. 일부 예들에서, 전체 캡처가능 영역 (예를 들어, 이미지 센서 (102) 에 의해 캡처될 수 있는 전체 영역) 은 전자 디바이스 (100) 에서의 모든 이미지 센서들 (102) 의 FOV들을 포함할 수 있고, 이미지 센서의 ROC 는 이미지 센서의 캡처가능 FOV 내의 캡처 영역을 포함할 수 있다.
검출기 (120) 가 저전력 카메라 피드들 (210) 중 하나 이상에서 ROI 를 검출하면, 검출기 (120) 는 제어기 (124) 를 트리거할 수 있다. 예를 들어, 검출기 (120) 는 ROI 를 캡처하기 위해 어떤 이미지 센서(들)를 사용할지를 선택하고 및/또는 이미지 센서들 (102) 의 각각을 설정/구성하기 위해 어떤 전력 모드들/상태들을 결정하도록 제어기 (124) 를 트리거할 수 있다. 일부 예들에서, 제어기 (124) 는 이미지 센서들 (102) 중 하나 이상에 대한 고전력 상태 및/또는 카메라 파이프라인을 개시할 수 있으며, 이는 ROI 검출 결과들 (예를 들어, 전자 디바이스 (100) 상의 이미지 센서들 (102) 및 ROI 의 상대적 위치) 에 의존할 수 있다. 제어기 (124) 는 전자 디바이스 (100) 상의 임의의 다른 이미지 센서를 저전력 상태 및/또는 저전력 카메라 프로세싱 경로에, 또는 디스에이블되거나 파워 오프된 상태에 유지할 수 있다.
예를 들어, 제어기 (124) 는 저전력 카메라 파이프라인, 고전력 카메라 파이프라인 (204), 및/또는 이미지 센서들 (102) 중 임의의 것의 동작/상태/모드를 제어하기 위한 제어 데이터 (220) 를 생성할 수 있다. 일부 경우들에서, 제어 데이터 (220) 는 ROI 가 검출된 저전력 카메라 피드와 연관된 이미지 센서의 전력 모드를 제어 (예를 들어, 증가 등) 하고 및/또는 그 이미지 센서로부터의 이미지 데이터에 대한 프로세싱 경로를 저전력 카메라 파이프라인 (202) 에서 고전력 카메라 파이프라인 (204) 으로 스위칭하기 위한 명령들을 포함할 수 있다. 일부 경우들에서, 제어 데이터 (220) 에서의 명령들은 ROI 가 검출되지 않은 임의의 저전력 카메라 피드들과 연관된 임의의 이미지 센서들의 전력 모드를 제어 (예를 들어, 감소 등) 하기 위한 명령들을 포함할 수 있다. 예시를 위해, 제어 데이터 (220) 는 ROI 가 검출된 저전력 카메라 피드와 연관된 이미지 센서의 전력 모드를 증가시키고 그 이미지 센서로부터의 이미지 데이터에 대한 프로세싱 경로를 저전력 카메라 파이프라인 (202) 에서 고전력 카메라 파이프라인 (204) 으로 스위칭하기 위한 명령들 뿐만 아니라, ROI 가 검출되지 않은 임의의 저전력 카메라 피드들과 연관된 임의의 이미지 센서들의 전력 모드를 감소 (또는 턴 오프) 하기 위한 명령들을 포함할 수 있다.
일부 경우들에서, 제어기 (124) 는 프로세싱 (예를 들어, 안정화, 출력 등) 될 ROC 를 결정하는데 사용된 ROC 데이터 (222) 에 검출 결과들을 부가할 수 있다. 예를 들어, 제어기 (124) 는 검출기 (120) 로부터의 검출 결과들에 기초하여 이미지 센서(들)의 ROC 의 표시를 ROC 데이터 (222) 에 부가할 수 있다.
이전에 설명된 바와 같이, 제어 데이터 (220) 는 이미지 센서들 (102) 중 임의의 것을 트리거하여 고전력 모드 (예를 들어, 더 높은 프레임레이트, 더 높은 해상도 등) 에서 실행하고 및/또는 고전력 카메라 파이프라인 (204) 을 사용하여 이들 이미지 센서들로부터의 이미지들을 프로세싱할 수 있다. 예를 들어, 검출기 (120) 가 이미지 센서 (102A) 와 연관된 저전력 카메라 피드가 ROI 를 캡처했다고 결정하는 경우, 제어 데이터 (220) 는 이미지 센서 (102A) 를 트리거하여 고전력 모드에서 실행하고 및/또는 고전력 카메라 파이프라인 (204) 을 사용하여 이미지 센서 (102A) 로부터의 이미지들을 프로세싱하기 위한 명령을 포함할 수 있다. 이 예에서, 이미지 센서 (102A)(및 고전력 카메라 파이프라인 (204) 을 사용하도록 설정된 임의의 다른 이미지 센서들) 는 캡처된 이미지 데이터를 프로세싱을 위해 고전력 카메라 파이프라인 (204) 으로 전송할 수 있다.
고전력 카메라 파이프라인 (204) 은 이미지들/비디오를 캡처하고 및/또는 캡처된 이미지들/비디오를 프로세싱하는데 사용된 하나 이상의 동작들 및/또는 하드웨어를 포함할 수 있다. 일부 경우들에서, 고전력 카메라 파이프라인 (204) 은 더 높은 이미지 품질을 생성하고, 부가적인 및/또는 더 복잡한 이미지 효과들을 생성하고, 및/또는 더 높은 프로세싱/출력 성능을 달성하기 위한 하나 이상의 조정된 설정들을 갖는 저전력 카메라 파이프라인 (202) 과 동일하거나 이를 포함할 수 있다. 예를 들어, 일부 경우들에서, 고전력 카메라 파이프라인 (204) 은 이미지 해상도를 증가시키고, 프레임레이트를 증가시키고, 풀 컬러 이미지 데이터 (예를 들어, 모노/루마 데이터와는 반대임) 를 활용하는 등의 하나 이상의 설정들을 갖는 저전력 카메라 파이프라인 (202) 을 포함할 수 있다. 다른 경우들에서, 고전력 카메라 파이프라인 (204) 은 저전력 카메라 파이프라인 (202) 과 하나 이상의 상이한 이미지 센서들, 설정들, 동작들, 및/또는 하드웨어 블록들을 포함할 수 있다.
일부 예들에서, 고전력 카메라 파이프라인 (204) 은 하나 이상의 이미지 프리-프로세싱 동작들, 하나 이상의 포스트-프로세싱 동작들, 및/또는 임의의 다른 이미지 프로세싱 동작들을 포함한다. 예를 들어, 고전력 카메라 파이프라인 (204) 은 이미지 리사이징, 디노이징, 세그먼트화, 에지들 평활화, 컬러 보정/변환, 디베이어링, 스케일링, 감마 보정, 톤 매핑, 컬러 감지, 샤프닝(sharpening), 압축, 디모자이킹(demosaicing), 노이즈 감소 (예를 들어, 크로마 노이즈 감소, 루마 노이즈 감소, 시간적 노이즈 감소 등), 특징 추출, 특징 인식, 컴퓨터 비전, 자동 노출, 자동 화이트 밸런스, 자동 초점, 깊이 감지, 이미지 안정화, 센서 융합, HDR, 및/또는 임의의 다른 동작들을 포함할 수 있다. 일부 예들에서, 고전력 카메라 파이프라인 (204) 은 예를 들어, 더 높은/증가된 해상도, 더 높은/증가된 프레임레이트, 더 높은-전력 이미지 센서, DRAM 사용/할당, 클록 소스들에 대한 PLL들, 더 높은/증가된 수의 이미지 센서들 등과 같은 더 높은-전력 하드웨어, 설정들, 및/또는 프로세싱을 호출/포함할 수 있다.
이전의 예에서, 이미지 센서 (102A)(및 고전력 카메라 파이프라인 (204) 을 사용하도록 설정된 임의의 다른 이미지 센서들) 로부터의 이미지를 프로세싱한 후에, 고전력 카메라 파이프라인 (204) 은 이미지 센서 (102A) 로부터의 이미지 (및 고전력 카메라 파이프라인 (204) 을 사용하도록 설정된 임의의 다른 이미지 센서들로부터의 이미지(들)) 에 기초하여 생성된 프로세싱된 이미지 데이터를 포함하는 고전력 카메라 피드 (212) 를 출력할 수 있다. 고전력 카메라 파이프라인 (204) 은 저전력 카메라 피드들 (212) 을 검출기 (120) 및 추적기 (122) 에 전송할 수 있다. 일부 경우들에서, 고전력 카메라 파이프라인 (204) 은 또한 고전력 카메라 피드 (212) 로부터의 데이터를 ROC 데이터 (222) 에 부가할 수 있다.
검출기 (120) 는 고전력 카메라 피드 (212) 를 수신하고, ROI 가 고전력 카메라 피드 (212) 에서의 이미지 데이터에서 캡처되는지를 결정할 수 있다. 예를 들어, 검출기 (120) 는 고전력 카메라 피드 (212) 가 ROI 를 포함한다고 결정할 수 있다. 추적기 (122) 는 그 후 ROI 의 위치 및 바운드들과 ROI 의 임의의 다른 관련 동적 특성들을 추적할 수 있다. 추적기 (122) 는 ROI 의 위치 및 바운드들과 ROI 의 임의의 다른 특성들을 추적하기 위한 입력으로서 검출기 (120) 로부터의 정보를 사용할 수 있다. 추적기 (122) 는 추적 정보 (예를 들어, 추적 결과들 등) 를 제어기 (124) 에 제공할 수 있다. 일부 예들에서, 추적기 (122) 는 또한 추적 정보의 일부 또는 전부를 ROC 데이터 (222) 에 부가할 수 있다.
제어기 (124) 는 추적 정보를 사용하여 제어 데이터 (220) 를 생성할 수 있다. 일부 경우들에서, 제어기 (124) 는 또한 제어 데이터 (220) 를 생성하기 위해 검출기 (120) 로부터의 검출 정보를 사용할 수 있다. 일부 예들에서, 제어기 (124) 는 검출 정보 및/또는 추적 정보를 사용하여 ROI 를 캡처하기 위해 어떤 이미지 센서(들)를 사용할지를 선택하고 및/또는 이미지 센서들 (102) 의 각각을 설정/구성하기 위해 어떤 전력 모드들/상태들을 결정할 수 있다.
제어 데이터 (220) 는 하나 이상의 리소스들 (예를 들어, 이미지 센서들 (102) 중 하나 이상, 저전력 카메라 파이프라인 (202) 및/또는 고전력 카메라 파이프라인 (204) 과 연관된 하나 이상의 리소스들), 이미지 센서들 (102) 중 임의의 것에 의해 사용된 카메라 파이프라인 (예를 들어, 저전력 카메라 파이프라인 (202), 고전력 카메라 파이프라인 (204)) 의 전력 모드를 제어하기 위한 명령들/커맨드들을 포함할 수 있다. 일부 경우들에서, 제어기 (124) 는 ROI 가 검출된 이미지를 캡처한 임의의 이미지 센서 (예를 들어, 이전 예의 이미지 센서 (102A)) 를 고전력 상태/모드로 조정하거나 유지할 수 있다. 제어기 (124) 는 또한 ROI 를 포함하지 않는 이미지를 캡처한 임의의 다른 이미지 센서를 저전력 상태/모드 또는 디스에이블된 및/또는 파워 오프 상태로 조정하거나 유지할 수 있다.
일부 예들에서, 제어기 (124) 는 이미지에서 ROI 를 캡처한 및/또는 ROI 에 대한 임계 거리 내의 FOV 를 갖는 임의의 이미지 센서들과 연관된 ROC들을 정의하는 리소스들을 관리할 수 있다. 제어기 (124) 는 전자 디바이스 (100) 가 타겟 ROI(들)를 커버 (예를 들어, 캡처, 검출, 추적, 프로세스 등) 하기 위해 더 낮은 또는 최소 수의 리소스들을 채용하는 것을 보장할 수 있다. 일부 예들에서, 이미지 센서들 (102) 은 상이한 전력 및/또는 성능 특성들을 갖는 m 개의 상이한 가능한 상태들 또는 구성들을 가질 수 있다. 제어기 (124) 는 전반적인 효율성을 최대화/증가하고 전력 소비를 감소/최소화하기 위해 각각의 이미지 센서에 대해 어떤 상태를 구현할지를 결정할 수 있다.
제어기 (124) 는 ROC 데이터 (222) 를 분석하고 ROC 데이터 (222) 로부터 ROC(들)를 선택할 수 있다. 선택된 ROC (224) 는 ROI 를 캡처하는 ROC 를 포함할 수 있다. 일부 예들에서, ROC 는 ROI 를 또한 캡처하는 하나 이상의 다른 ROC들로부터 선택된 ROC 를 포함할 수 있다. 예를 들어, ROC들 사이에 오버랩이 있고 ROI 가 그 오버랩 내에 있는 경우, 제어기 (124) 는 본 명세서에서 추가로 설명된 바와 같이 오버랩하는 ROC들로부터 특정한 ROC 를 선택할 수 있다. 일부 예들에서, 선택된 ROC (224) 는 선택된 ROC (224) 를 반영하는 이미지를 포함할 수 있다.
일부 경우들에서, 제어기 (124) 는 이미지 센서들 (102) 에 대해 결정된 전력 비용들에 가중치들을 부가하고, 가중된 전력 비용들을 사용하여 ROI 를 캡처하기 위해 어떤 이미지 센서(들)를 사용할지를 선택하고 및/또는 이미지 센서들 (102) 의 각각을 설정/구성하기 위해 어떤 전력 모드들/상태들을 결정할 수 있다. 예를 들어, 가중된 전력 비용을 사용하여, 제어기 (124) 는 제한된 또는 허용가능한 품질 손실을 발생시키면서 전력 소비를 감소시키기 위해 더 높은 품질의 이미지를 생성할 수 있고 그의 FOV 내에 (예를 들어, 오버랩하는 FOV 영역 내에) ROI 를 갖는 이미지 센서일지라도 더 낮은 품질의 이미지를 생성하는 이미지 센서를 사용하기로 결정할 수 있다. 일부 경우들에서, 제어기 (124) 는 ROI 를 캡처하는 이전의 더 높은 품질의 이미지들, 더 낮은 품질의 이미지, 및/또는 모션 정보 (예를 들어, 캡처된 이미지들 및/또는 관성 센서 데이터와 같은 센서 데이터에 기초하여 결정됨) 에 기초하여 더 높은 품질의 이미지와 더 낮은 품질의 이미지 사이의 품질 갭을 브리징하기 위해 딥-러닝 알고리즘을 구현할 수 있다.
제어기 (124) 는 선택된 ROC (224) 를 안정화를 위해 안정화기 (126) 로 전송할 수 있다. 예를 들어, 제어기 (124) 는 선택된 ROC (224) 와 연관된 이미지를 안정화를 위해 안정화기 (126) 에 전송할 수 있다. 안정화기 (126) 는 선택된 ROC (224) 에 대해 이미지 안정화를 수행하고 안정화된 ROC (226) 를 출력할 수 있다. 일부 예들에서, 안정화기 (126) 는 예를 들어 그리고 제한 없이, 특징-매칭 기반 비디오 안정화 기법과 같은 하나 이상의 이미지 안정화 기법들에 기초하여 선택된 ROC (224) 에 대해 이미지 안정화를 수행할 수 있다. 일부 경우들에서, 안정화기 (126) 는 안정화 정보 (예를 들어, 이미징 디바이스 등의 모션을 보상하기 위한 모션 보상 정보) 를 결정하고, 모션 및/또는 모션 보상 정보와 관련된 피드백을 제어기 (124) 에 제공할 수 있다. 일부 예들에서, 안정화기 (126) 는 추적기 (122) 를 모니터링하고 충분한 ROC 가 ROI 를 캡처하도록 구현되는 것을 보장하기 위해 제어기 (124) 에 피드백을 제공할 수 있다.
일부 경우들에서, 추적기 (22) 및/또는 제어기 (124) 는 이미지 센서들 (102) 중 하나 이상의 캡처가능 FOV들 내의 ROI 의 궤적을 결정하고, 이 정보를 사용하여 우수한 추적 및/또는 ROI 안정화 품질을 위해 얼마나 많은 전체 또는 부분 이미지들 (예를 들어, ROC들) 을 프로세싱할지를 결정할 수 있다. 일부 경우들에서, 제어기 (124) 는 센서들의 특성들, ROI(들), ROI 추적기 (122) 로부터의 정보, 검출기 (120) 로부터의 정보, 및/또는 임의의 다른 정보에 기초하여 그의 제어 하에 임의의 센서들 (예를 들어, 이미지 센서들, 관성 센서들 등) 에 대한 소정의 절전 기법들을 선택할 수 있다. 일부 경우들에서, ROI 가 모든 이미지 센서들 (102) 의 전체 FOV 영역 외부에 있는/외부로 가는 경우, 제어기 (124) 는 이미지 센서들 (102) 을 저전력 상태/모드와 같은 초기 셋업 모드로 리셋할 수 있다.
일부 예들에서, 안정화기 (126) 가 시행될 때, 프로세싱되는 이미지 센서 피드들의 수는 감소될 수 있고, 일부 경우들에서, (예를 들어, ROI(들)가 단일 이미지 센서의 FOV 내에 있을 때) 1만큼 낮을 수 있다. 일부 경우들에서, 이미지 센서들의 FOV들의 각각의 쌍 사이의 임의의 오버랩 영역이 미리결정될 수 있다. 일 예에서, 및 에서 중심들을 갖는 임의의 2개의 쌍들의 이미지 센서들에 대한 오버랩은 박스 와 같은 형상일 수 있다. 이 예에서의 박스 형상은 단순성 및 예시 목적으로 제공되지만, 다른 예들은 다른 형상들/지오메트리들을 포함할 수 있다.
일부 경우들에서, 제어기 (124) 는 또한 검출기 (120), 추적기 (122), 및/또는 안정화기 (126) 의 전력 모드/상태를 조정할 수 있다. 예를 들어, 제어기 (124) 에 의해 생성된 제어 데이터 (220) 는 검출기 (120) 가 전력 효율적인 방식 (예를 들어, 이전에 설명된 바와 같은 저전력 모드) 으로 실행되도록 설정하기 위한 명령/커맨드를 포함할 수 있다. 일부 경우들에서, 초기에, 모든 이미지 센서들 (102) 또는 미리선택된 이미지 센서들의 세트는 검출기 (120) 가 백그라운드에서 전력 효율적인 방식으로 (예를 들어, 저전력 모드에서) 실행되는 저전력 모드에서 동작할 수 있다. 제어기 (124) 는 ROI 가 특정한 이미지 센서의 FOV 내에서 검출될 때 그 이미지 센서 및 고전력 카메라 파이프라인 (204) 을 트리거할 수 있다. 그 이벤트 이후에도, 여전히 저전력 모드에서 실행되고 있는 임의의 이미지 센서들은 추적기 (122) 가 고전력 카메라 파이프라인 (204) 을 인계받는 동안 전력 효율적인 방식으로 (예를 들어, 저전력 모드에서) 검출기 (120) 를 또한 실행할 수 있다. 추적기 (122) 가 ROI 를 상실하는 경우 (예를 들어, 오브젝트가 예상보다 빠르게 및/또는 임의의 다른 이유로 이동한 경우), 전력 효율적인 방식으로 실행되는 검출기 (120) 는 여전히 ROI 를 캡처하고 하나 이상의 다른 이미지 센서들로부터의 이미지 데이터를 프로세싱하기 위해 고전력 카메라 파이프라인을 트리거할 수 있다.
일부 경우들에서, 부가 전력 및/또는 대역폭 절약들을 달성하기 위해, 전자 디바이스 (100) 는 카메라 노출들을 별개의 이미징 이벤트들로서 (예를 들어, 별개의 이미지들 및/또는 이미지 프로세싱 이벤트들로서) 처리할 수 있다. 전자 디바이스 (100) 는 주어진 ROI 를 캡처, 검출, 및/또는 추적하는데 사용된 전력 소비를 감소 및/또는 최소화하기 위해 이미지 센서들의 어레이에 걸쳐 개별 노출들을 조정할 수 있다. 예를 들어, 일부 경우들에서, 노출 시간, 스트로브 등과 같은 미리프로그램된 설정들로 이미지 데이터를 스트리밍하는 전자 디바이스 (100) 상의 카메라 (예를 들어, 이미지 센서 (102A), 이미지 센서 (102B), 이미지 센서 (102C), 이미지 센서(102N)) 대신에, 각각의 카메라 프레임 노출은 센서에서 개별적으로 트리거될 수 있다. 예시를 위해, 전형적인 카메라 비디오 스트림들과는 달리, 각각의 노출은 전자 디바이스 (100) 에 의해 개별적으로 제어되고 커맨드될 수 있다. 일부 예들에서, 전자 디바이스 (100) 의 카메라들이 다이얼 백(dial back) 또는 슬립될 수 있는 카메라 스트림들로서 기능하고 및/또는 이들을 제공하는 것보다는, 각각의 카메라가 또한 (예를 들어, 대안적으로 또는 부가적으로) 온-디맨드 프레임 제공자로서 기능할 수 있다. 일부 경우들에서, 상술한 온-디맨드 프레임 프로비저닝 및/또는 "트리거 모드" 는 ROI 에 기초하여 카메라 리소스들을 제어하기 위한 지능적/적응적 방식을 제공할 수 있다.
일부 예들에서, 카메라 노출들을 별개의 이미징 이벤트들로서 처리하는 것은 또한 전자 디바이스 (100) 가 카메라들을 동기화하는 것을 도울 수 있다. 예를 들어, 전자 디바이스 (100) 는 카메라들을 트리거 모드와 (예를 들어, 카메라들 사이 및/또는 카메라들과 디스플레이 디바이스 및/또는 임의의 다른 디바이스와 같은 다른 컴포넌트들 사이에서) 싱크(sync)로 유지할 수 있는 동기화 (“싱크") 메커니즘 (예를 들어, 소프트웨어 및/또는 하드웨어) 을 구현할 수 있다. 전자 디바이스 (100) 는 전자 디바이스 (100) 의 카메라들을 싱크시키기 위해 카메라들의 노출을 제어할 수 있다. 전자 디바이스 (100) 는 다양한 이유들로 카메라들을 싱크로 유지할 수 있다. 예를 들어, 컴퓨터 비전 추적에서, 카메라들을 싱크로 유지하는 것은 전자 디바이스 (100) 의 하나의 카메라로부터의 프레임에서의 특징들이 전자 디바이스 (100) 의 오버랩하는 카메라 (예를 들어, 오버랩하는 ROI 를 갖는 카메라) 에 의해 동시에 (또는 실질적으로 동시에) 취해진 특징들에 매칭될 수 있음을 보장한다.
일부 경우들에서, 전자 디바이스 (100) 는, ROC 가 슬립 및 노출 패턴들을 결정하기 위해 전자 디바이스 (100) 에 의해 사용된 입력들을 제공할 수 있도록 (또는 입력들로서 사용될 수 있도록), 설정들/모드들, 상태들 등을 이미지 센서들에 더 가깝게 조정하기 위해 제어기 (124) 에 의해 적용된 지능/로직을 이동시킬 수 있다. 일부 예들에서, 전자 디바이스 (100) 의 카메라들이 ROI 에 기초하여 어떻게 거동하는지를 결정하기 위해 임의의 수의 입력들이 전자 디바이스 (100) 에 의해 사용될 수 있다. 예를 들어, 일부 경우들에서, ROI 추적기 (예를 들어, 추적기 (122)) 가 ROI 가 소정의 시간량 동안 이동하지 않았다고 결정하는 경우, 전자 디바이스 (100) 는 슬립 모드와 같은 카메라의 전력 모드를 구현하도록 카메라에 커맨드할 수 있다. 다른 예로서, ROI 가 특정 카메라로부터 더 멀리 떨어져 있는 경우, 전자 디바이스 (100) 는 특정 카메라의 프레임 레이트를 감소시킬 수 있다. 또 다른 예로서, ROI 가 빠르게 (예를 들어, 임계치 이상으로) 이동하는 경우, 전자 디바이스 (100) 는 모션 블러(blur) 없이 또는 더 적은 모션 블러로 ROI 를 캡처하기 위해 카메라 노출 설정을 감소시킬 수 있다.
도 3a 는 ROI (310) 의 위치 및 이미지 센서들 (102) 의 FOV 에 기초한 전자 디바이스 (100) 상의 이미지 센서들 (102A, 102B, 102C 내지 102N) 의 예시의 상태들을 도시하는 다이어그램이다. 이 예에서, ROI (310) 는 이미지 센서 (102B) 의 FOV (314) 및 이미지 센서 (102C) 의 FOV (316) 내에 있는 오버랩하는 FOV 영역 (320) 내에 있다. 따라서, ROI (310) 는 이미지 센서 (102B) 의 FOV (314) 및 이미지 센서 (102C) 의 FOV (316) 내에 있다. 그러나, 이 예에서, ROI (310) 는 이미지 센서 (102A) 의 FOV (312) 및 이미지 센서 (102N) 의 FOV (318) 내에 있지 않다.
도 3a 에 나타낸 바와 같이, 이미지 센서들 (102B 및 102C) 은 인에이블된 상태 (302) 에 있고, 이미지 센서들 (102A 및 102N) 은 저전력 모드 (304) 에 있다. 일부 예들에서, 인에이블된 상태 (302) 는 이미지 센서들 (102B 및 102C) 이 ROI (310) 의 이미지들을 파워 온, 초기화 및 캡처 (또는 캡처하도록 설정) 하는 상태를 나타낼 수 있다. 일부 경우들에서, 인에이블된 상태 (302) 는 이전에 논의된 바와 같이, 고전력 모드를 나타낼 수 있다. 다른 경우들에서, 인에이블된 상태 (302) 는 전자 디바이스 (100) 및 이미지 센서들 (102B 및 102C) 에 의해 지원된 고전력 모드보다 더 낮은 전력/리소스 소비를 갖는 하나 이상의 설정들, 동작들, 하드웨어 및/또는 소프트웨어 리소스들, 및/또는 프로세싱 경로들을 구현하는 전력 모드와 같은 저전력 모드를 나타낼 수 있다. 저전력 모드 (304) 는 파워 오프 모드, 슬립 모드, 하이버네이션 모드, 또는 하나 이상의 설정들, 동작들, 하드웨어 및/또는 소프트웨어 리소스들, 및/또는 인에이블된 상태 (302) 보다 낮은 전력/리소스 소비를 갖는 프로세싱 경로들을 구현하는 전력 모드를 나타낼 수 있다.
일부 예들에서, 전자 디바이스 (100) 는 (예를 들어, 제어기 (124) 를 통해) ROI (310) 가 이미지 센서 (102B) 의 FOV (314) 및 이미지 센서 (102C) 의 FOV (316) 내에 있다는 결정에 기초하여 이미지 센서들 (102B 및 102C) 을 인에이블된 상태 (302) 로 설정할 수 있다. 리소스들 (예를 들어, 전력, 컴퓨트 등) 을 보존하기 위해, 전자 디바이스 (100) 는 (예를 들어, 제어기 (124) 를 통해) ROI (310) 가 이미지 센서 (102A) 의 FOV (312) 및 이미지 센서 (102 N) 의 FOV(318) 내에 있지 않다는 결정에 기초하여 이미지 센서들 (102A 및 102N) 을 저전력 모드 (304) 로 설정할 수 있다. 예를 들어, 이미지 센서들 (102A 및 102N) 은 ROI (310) 가 이미지 센서 (102A) 의 FOV (312) 및 이미지 센서 (102N) 의 FOV (318) 내에 있지 않은 동안 ROI (310) 의 이미지를 캡처할 수 없기 때문에, 전자 디바이스 (100) 는 (예를 들어, 제어기 (124) 를 통해) 이미지 센서들 (102A 및 102N) 을 저전력 모드 (304) 로 설정할 수 있다. 전자 디바이스 (100) 는 이미지 센서들 (102A 및 102N) 이 ROI (310) 의 이미지들을 캡처할 수 없을 때 이미지 센서들 (102A 및 102N) 에 의해 활용되는 리소스들 (예를 들어, 전력, 컴퓨트 등) 의 양을 감소시키기 위해 이미지 센서들 (102A 및 102N) 을 저전력 모드 (304) 로 설정할 수 있는데, 이는 ROI (310) 가 이미지 센서 (102A) 의 FOV (312) 및 이미지 센서 (102 N) 의 FOV (318) 내에 있지 않기 때문이다.
일부 예들에서, 전자 디바이스 (100) 및/또는 ROI (310) 의 움직임이 (예를 들어, 전자 디바이스 (100) 및 ROI (310) 의 개개의 위치들로부터) ROI (310) 의 뷰를 갖는 이미지 센서들의 변화를 야기하는 경우, 전자 디바이스 (100) 는 (예를 들어, 제어기 (124) 를 통해) 이미지 센서들 (102) 의 전력 상태들/모드들을 조정하여 ROI (310) 의 뷰를 갖는 하나 이상의 이미지 센서들이 인에이블 상태 및/또는 고전력 모드에 있음을 보장할 수 있다. 전자 디바이스 (100) 는 또한, ROI (310) 의 뷰를 갖지 않는 하나 이상의 이미지 센서들이 저전력 모드, 파워 오프 상태, 디스에이블된 상태, 슬립 상태, 또는 절전을 제공하는 상태에 있는 한편 이들 하나 이상의 이미지 센서들이 ROI (310) 의 뷰를 갖지 않는 것을 보장하기 위해 이미지 센서들 (102) 의 전력 상태들/모드들을 조정할 수 있다.
도 3b 는 이미지 센서들 (102) 의 FOV들에 대한 ROI (310) 의 위치의 변화에 응답하여 전자 디바이스 (100) 상의 이미지 센서들 (102) 의 상태들의 조정의 예를 도시하는 다이어그램이다. 이 예에서, 전자 디바이스 (100) 의 배향은 ROI (310) 가 이미지 센서들 (102) 에 의해 추적되고 캡처되는 동안 (예를 들어, 전자 디바이스 (100) 의 전방에 대해) 우측으로 소정 양 회전하였다. 전자 디바이스 (100) 의 우측으로의 회전은 어떤 이미지 센서들이 관심 영역 (310) 의 뷰를 갖는지를 변경하였다. 도 3b 에 나타낸 바와 같이, ROI (310) 는 이제 이미지 센서 (102A) 의 FOV (312) 내에 있지만, 이미지 센서 (102B) 의 FOV (314), 이미지 센서 (102C) 의 FOV (316), 및 이미지 센서 (102N) 의 FOV (318) 외부에 있다.
전자 디바이스 (100) 의 배향에서의 변화에 응답하여, 전자 디바이스 (100) 는 (예를 들어, 제어기 (124) 를 통해) 이미지 센서 (102A) 의 상태를 도 3a 에 나타낸 저전력 모드 (304) 에서 도 3b 에 나타낸 인에이블된 상태 (302) 로 변경하였다. 여기서, 전자 디바이스 (100) 는 ROI (310) 가 이제 이미지 센서 (102A) 의 FOV (312) 내에 있다는 결정에 기초하여 이미지 센서 (102A) 의 상태를 변경하였다. 일부 경우들에서, 전자 디바이스 (100) 는 ROI (310) 가 이미지 센서 (102A) 의 FOV (312) 내에 있기 전에 이미지 센서 (102A) 의 상태를 인에이블된 상태 (302) 로 변경할 수 있다. 예를 들어, 전자 디바이스 (100) 가 ROI (310) 가 소정 시간 기간 내에 이미지 센서 (102A) 의 FOV (312) 에 있을 것이라고 예측하는 경우, 전자 디바이스 (100) 는 ROI (310) 가 예측된 바와 같이 이미지 센서 (102A) 의 FOV (312) 내에 있게 될 때 또는 그 경우에 이미지 센서 (102A) 가 ROI (310) 의 이미지를 캡처할 수 있도록 이미지 센서 (102A) 의 상태를 인에이블된 상태 (302) 로 선제적으로 변경할 수 있다. 전자 디바이스 (100) 는 전자 디바이스 (100) 에 대한 ROI (310) 의 추적된 위치에 기초하여 및/또는 전자 디바이스 (100) 및 ROI (310) 의 상대 궤적에 기초하여 ROI (310) 가 이미지 센서 (102A) 의 FOV (312) 내에 있을 것이라고 예측할 수 있다. 다른 예로서, 전자 디바이스 (100) 는 ROI (310) 가 이미지 센서 (102A) 의 FOV (312) 에 대한 임계 근접도 내에 있다고 결정하고 이미지 센서 (102A) 의 상태를 인에이블된 상태 (302) 로 선제적으로 변경할 수 있어서 ROI (310) 가 이미지 센서 (102A) 의 FOV(312) 내에 있게 될 때 또는 그 경우에 이미지 센서 (102A) 가 ROI (310) 의 이미지를 캡처할 수 있도록 한다.
이전의 예들에서, ROI (310) 및 전자 디바이스 (100) 의 상대적 위치가 ROI (310) 가 이미지 센서 (102A) 의 FOV (312) 에 대한 임계 근접도 외부에 있게 되도록 나중에 변경되는 경우, 전자 디바이스 (100) 는 이미지 센서 (102A) 의 상태를 인에이블 상태 (302) 에서, 예를 들어, 디스에이블된 또는 파워 오프 상태, 슬립 상태, 저전력 모드 상태 등과 같은 다른 상태로 변경할 수 있다. 또한, 전자 디바이스 (100) 는, 전자 디바이스 (100) 및 ROI (310) 의 상대적 위치가, ROI (310) 가 미리결정된 시간 기간 동안, 또는 이미지 센서 (102A) 의 FOV (312) 내에 있게 되도록 변경되는 경우, ROI (310) 가 이미지 센서 (102A) 의 FOV (312) 에 대한 임계 근접도 내에 유지되는 동안 이미지 센서 (102A) 를 인에이블 상태 (302) 로 유지할 수 있다.
전자 디바이스 (100) 의 배향에서의 변화에 응답하여, 전자 디바이스 (100) 는 (예를 들어, 제어기 (124) 를 통해) 또한 이미지 센서 (102B) 의 상태를 인에이블된 상태 (302) 에서 저전력 모드 (304) 로, 이미지 센서 (102C) 의 상태를 인에이블된 상태 (302) 에서 저전력 모드 (304) 로, 그리고 이미지 센서 (102N) 의 상태를 저전력 모드 (304) 에서 오프 모드 (306)(예를 들어, 턴 오프 및/또는 디스에이블됨) 로 변경하였다. 여기서, 전자 디바이스 (100) 는 ROI (310) 가 이미지 센서 (102A) 의 FOV (314), 이미지 센서 (102C) 의 FOV (316) 또는 이미지 센서 (102N) 의 FOV (318) 내에 있지 않다는 결정에 기초하여 이미지 센서들 (102B, 102C 및 102N) 의 상태를 변경하였다. 일부 예들에서, 전자 디바이스 (100) 는 이미지 센서 (102N) 의 FOV (318) 에 대한 ROI (310) 의 근접도/거리에 기초하여 이미지 센서 (102N) 의 상태를 (예를 들어, 저전력 모드 (304) 보다는) 오프 모드 (306) 로 변경할 수 있다. 예를 들어, 이러한 예시적인 예에서, 저전력 모드 (304) 는 오프이지만 저전력 상태를 나타낼 수 있고, 오프 모드 (306) 는 파워 오프 상태를 나타낼 수 있다. ROI (310) 는 이미지 센서 (102B) 의 FOV (314) 또는 이미지 센서 (102C) 의 FOV (316) 보다 이미지 센서 (102N) 의 FOV (318) 로부터 더 멀리 있다. ROI (310) 가 이미지 센서 (102N) 의 FOV (318) 로부터 더 멀리 떨어져 있는 것에 기초하여, 전자 디바이스 (100) 는 이미지 센서 (102N) 의 상태를 오프 모드 (306) 로 변경할 수 있다. ROI (310) 가 이미지 센서 (102B) 의 FOV (314) 및 이미지 센서 (102C) 의 FOV (316) 에 더 가깝기 때문에, 전자 디바이스 (100) 는 이미지 센서 (102B) 및 이미지 센서 (102C) 를 오프 모드 (306) 보다는 저전력 모드 (304) 로 설정할 수 있다. 다른 경우들에서, 전자 디바이스 (100) 는 이미지 센서들 (102B, 102C, 및 102N) 을 동일한 상태로 설정할 수 있거나, 또는 그렇지 않으면 이미지 센서들 (102B, 102C, 및 102N) 의 상태들을 변화시킬 수 있다.
일부 경우들에서, 전자 디바이스 (100) 는 ROI (310) 가 그러한 이미지 센서들의 FOV 의 외부에 있기 전에 선제적으로 이미지 센서들 (102B, 102C, 및 102N) 중 임의의 것의 상태를 변경할 수 있다. 예를 들어, 전자 디바이스 (100) 가 소정 시간 기간 내에 ROI (310) 가 이미지 센서 (102B) 의 FOV (314) 의 외부에 있을 것이라고 예측하는 경우, 전자 디바이스 (100) 는 전자 디바이스 (100) 에서의 전력 소비를 감소시키기 위해 도 3a 에 나타낸 인에이블된 상태 (302) 에서 도 3b 에 나타낸 저전력 모드 (304) 로 이미지 센서 (102B) 의 상태를 선제적으로 변경할 수 있다.
일부 경우들에서, ROI (310) 가 다중 이미지 센서들의 FOV 내에 (예를 들어, 오버랩하는 FOV 영역 (320) 과 같은 오버랩하는 FOV 영역 내에) 있는 것으로 결정되는 경우, 전자 디바이스 (100) 는 ROI (310)(및/또는 전자 디바이스 (100)) 의 궤적을 결정하고 궤적 정보를 사용하여 인에이블된/고전력 상태로 유지 또는 설정하기 위해 FOV 및 연관된 이미지 센서를 선택하고, 오프/저전력 상태로 유지 또는 설정하기 위해 상이한 FOV 및 연관된 이미지 센서를 선택할 수 있다.
도 4 는 ROI (402)의 궤적에 기초한 이미지 센서들 사이의 스위치의 예를 도시하는 다이어그램이다. 전자 디바이스 (100) 는 ROI (402) 의 위치를 추적하여 ROI (402) 가 임의의 이미지 센서들의 FOV 내에 있는지 여부, 및 그렇다면, 어떤 이미지 센서들인지를 결정할 수 있다. 이 예에서, 전자 디바이스 (100) 는 ROI (402) 가 이미지 센서의 FOV (404) 및 다른 이미지 센서의 FOV (406) 내의 오버랩하는 FOV 영역 (410) 에 있다고 결정할 수 있다. 일부 예들에서, 전자 디바이스 (100) 는 오버랩하는 FOV 영역 (410) 주위의 바운딩 박스 (412) 를 결정할 수 있다. 예를 들어, 전자 디바이스 (100) 는 다음과 같이 에서 중심을 갖는 FOV (예를 들어, FOV (404)) 와 에서 중심을 갖는 FOV (예를 들어, FOV (406)) 사이의 바운딩 박스 (예를 들어, 바운딩 박스 (412)) 를 결정할 수 있다: . 이 예에서의 바운딩 박스 (412) 의 박스 형상은 단순성 및 예시 목적으로 제공되지만, 다른 예들은 다른 형상들/지오메트리들을 포함할 수 있다.
일부 예들에서, ROI (402) 가 오버랩하는 FOV 영역 (410) 에 진입할 때, 오버랩하는 FOV 영역 (410) 에 진입한 바운딩 박스 (412) 의 부분 (예를 들어, ) 은 다음과 같이 산출될 수 있다:
식 1
전자 디바이스 (100) 는 ROI (402) 의 움직임의 방향 및/또는 속도를 사용하여 어떤 이미지 센서 피드를 사용/인에이블할지를 결정하고 및/또는 ROI (402) 를 캡처하는데 사용된 이미지 센서들 사이의 임의의 스위치들을 트리거할 수 있다. 일부 예들에서, 오버랩하는 FOV 영역 (410)(예를 들어, ) 이 임계치 초과인 경우, 전자 디바이스 (100) 는 (예를 들어, 추적기 (122) 를 통해) ROI (402) 가 FOV (406) 의 중심 또는 FOV (404) 의 중심 을 향해 이동하고 있는지를 체크할 수 있다. 일부 경우들에서, ROI (402) 보다 큰 오버랩하는 FOV 영역을 갖는 전자 디바이스 (100) 에 대해, 은 1 로 설정될 수 있다. 마지막 m 프레임들로부터, 각각의 ROI 의 집성된 궤적 (여기서, ) 은 움직임의 속도와 함께 결정될 수 있다. 중심 을 갖는 FOV (예를 들어, FOV (404)) 와 연관된 현재 이미지 센서 피드에 대해, 전자 디바이스 (100) 는 (예를 들어, 추적기 (122) 를 통해) 다음의 방정식을 사용하여 모두에 대해 와 사이의 각도 를 찾을 수 있다.
식 2
일부 경우들에서, 이 임계치 미만인 경우, 전자 디바이스 (100) 는 (예를 들어, 제어기 (124) 를 통해) 현재 이미지 센서에서 속도 벡터 과 거리 벡터 사이의 각도 가 가장 작은, 에서의 중심을 갖는 FOV (예를 들어, FOV (406)) 를 갖는 이미지 센서로의 스위치를 프롬프트할 수 있다. 일부 경우들에서, 조건들이 만족되는 근방에 하나보다 많은 이미지 센서가 있는 경우, 가 더 작은 이미지 센서가 선택될 수 있다. 전자 디바이스 (100) 는 그 후 선택된 이미지 센서로 스위치할 수 있다. 일부 경우들에서, 값들이 동일한 경우, 더 큰 FOV 를 커버할 수 있는 이미지 센서가 선택될 수도 있다. 전자 디바이스 (100) 는 그 후 선택된 이미지 센서로 스위치할 수 있다.
일부 예들에서, 하나의 이미지 센서에서 다른 이미지 센서로의 스위칭에 의해, 전자 디바이스 (100) 는 현재 이미지 센서의 상태/모드를 새로운 현재 이미지 센서 (예를 들어, 스위치 후의 현재 이미지 센서) 로 변경할 수 있다. 예를 들어, 전자 디바이스 (100) 가 하나의 이미지 센서에서 다른 이미지 센서로 스위치할 때, 전자 디바이스 (100) 는 현재 이미지 센서의 상태를 현재 상태 (예를 들어, 인에이블된, 고전력 모드) 에서 상이한 상태 (예를 들어, 오프 상태, 저전력 모드 등) 로 변경할 수 있고, 새로운 현재 이미지 센서의 상태를 현재 상태 (예를 들어, 파워 오프 상태, 디스에이블된 상태, 저전력 모드 등) 에서 상이한 상태 (예를 들어, 인에이블된/온 상태, 고전력 모드 등) 로 변경할 수 있다. 일부 예들에서, 이미지 센서의 상태/모드를 변경할 때, 전자 디바이스 (100) 는 부가적으로 또는 대안적으로 그 이미지 센서에 의해 캡처된 이미지 데이터를 프로세싱하는데 사용된 프로세싱 경로 (예를 들어, 저전력 카메라 파이프라인 또는 고전력 카메라 파이프라인과 같은 카메라 파이프라인) 를 변경할 수 있다.
일부 경우들에서, 빈번한 이미지 센서 스위칭을 방지하기 위해, 전자 디바이스 (100) 는 (예를 들어, 추적기 (122) 를 통해) 스위치를 트리거하기 위한 하나 이상의 조건들을 부과할 수 있다. 예를 들어, 전자 디바이스 (100) 는 와 같은 속도 벡터의 크기에 조건을 부과할 수 있다. 일부 예들에서, 더 작은 영역들에 대해, 의 값은 더 큰 박스 영역들에 대한 값보다 더 작을 수 있다.
일부 경우들에서, 다중 이미지 센서들이 오버랩하지 않는 FOV들을 갖는 경우, 전자 디바이스는 (예를 들어, 추적기 (122) 를 통해) 속도 벡터 및 속도 벡터와 이미지 센서 i 에서 이미지 센서 j 까지의 거리 벡터 사이의 각도 에 기초하여 이미지 센서들을 스위치할지 여부를 결정할 수 있다. 시간 t 에서 속도 벡터 및 ROI 의 위치가 주어지면, 전자 디바이스 (100) 는 (제어기 (124) 를 통해) 시간 t+1 에서 ROI 의 위치를 추론할 수 있다. ROI 의 위치가 현재 이미지 센서의 FOV 의 외부로 이동하는 경우, 전자 디바이스 (100) 는 (예를 들어, 제어기 (124) 를 통해) 그 방향을 따라 다른 이미지 센서로 스위치할 수 있다.
일부 경우들에서, 전자 디바이스 (100) 는 또한 하나 이상의 관성 측정 유닛들 (IMU들) 로부터의 센서 데이터를 구현/융합할 수 있다. 예를 들어, 빠른 전자 디바이스 (예를 들어, 전자 디바이스 (100)) 움직임들 및/또는 빠른 ROI 움직임들은 때때로 전자 디바이스 (100) 가 상이한 이미지 센서의 FOV 에 진입하는 ROI 를 검출하지 않으면서 상이한 이미지 센서의 FOV 에 ROI 를 배치할 수 있다. 일부 예들에서, 전자 디바이스 (100) 는 ROI 의 추적 및/또는 안정화에 사용하기 위한 전자 디바이스 (100) 의 움직임을 기술하는 IMU 센서 데이터와 ROI 모션 궤적 정보의 조합을 사용할 수 있다.
일부 경우들에서, 전자 디바이스 (100) 는 부분 FOV (예를 들어, 이미지 센서의 전체 FOV 미만) 에 대응하는 부분 이미지 (예를 들어, 캡처된 전체 이미지 미만) 를 프로세싱할 수 있다. 예를 들어, 이미지 센서는 ROI들에 대한 픽셀들만이 전송될 수 있는 ROI들을 지원할 수 있고, 이에 의해 원하는 픽셀들을 캡처하기 위해 전체 대역폭 및 전력을 낮출 수 있다. 일부 경우들에서, 이미지 센서의 ROC 는 안정적인 ROI 스트림을 획득하기 위해 부분적으로만 프로세싱될 수 있다. 프로세싱을 위한 부분 ROC 는 예를 들어, ROI 검출, ROI 추적, 안정화 요건들 등에 기초하여 전자 디바이스 (100) 에 의해 (예를 들어, 제어기 (124) 를 통해) 결정될 수 있다. 일부 예들에서, 감소된 수의 픽셀들을 프로세싱하는 것은 카메라 스트림의 감소된 포스트 프로세싱을 초래할 수 있으며, 이는 리소스 사용 및 전력을 감소시킬 수 있다.
일부 경우들에서, 보강 러닝 (RL) 에이전트는 전자 디바이스 (100) 가 어느 이미지 센서들을 동작시킬지 및/또는 하나 이상의 이미지 센서들에 대해 어떤 설정들을 구현할지를 결정하는 것을 돕도록 훈련될 수 있다. 훈련 입력들은 각각의 ROI 에 대한 타임스탬프들 (t-1, t-2, ..., t-m) 의 위치 정보를 포함할 수 있다. 훈련을 위해, RL 에이전트에 대한 입력들은 마지막 m ROI 박스 정보 및 이미지 센서들의 수를 포함할 수 있다. 상이한 사이즈들의 ROI 바운딩 박스들을 이동시키는 시퀀스들이 (예를 들어, 랜덤으로 또는 달리) 생성될 수 있다. RL 에이전트는 이미지 센서들을 정확하게 스위칭할 수 있는 경우 보상받을 수 있어서 ROI 는 인에이블된 이미지 센서들의 수를 감소시키면서 인에이블되는 이미지 센서(들)의 FOV 내에 있다. RL 에이전트가 이미지 센서 스위치들을 최소화할 수 있는 경우 부가 보상들이 사용될 수 있다. 일부 경우들에서, 보상은 이미지 센서 스위치들의 수에 반비례할 수 있다. RL 에이전트는, ROI 가 현재 인에이블되는 이미지 센서들의 FOV 외부에 있지만 전자 디바이스 (100) 의 다른 이미지 센서들 중 하나 이상의 이미지 센서들의 FOV 내에 있는 경우, 불이익을 받을 수 있다.
일부 예들에서, N 개의 이미지 센서들 및 k 개의 ROI들에 대해, RL 에이전트에 대한 동작들은 이미지 센서 피드가 프로세싱되어야 하는지 여부를 표시하는, 각각의 이미지 센서에 대해 하나씩 N 개의 이진 판정들을 생성할 수 있다. 훈련은 임의의 설정에 대한 부가 훈련 없이 전개될 수 있도록 RL 에이전트에 대한 부가 입력(들)로 가상 환경에서 시뮬레이션될 수 있다. 부가 입력들은, 예를 들어 그리고 제한 없이, IMU 센서 데이터, 이미지 센서들의 수의 표시, 카메라 고유 파라미터들, 카메라 외부 파라미터들, 메타데이터, 및/또는 임의의 다른 데이터를 포함할 수 있다. 일부 경우들에서, 빠른 움직임 (전자 디바이스 움직임, ROI 움직임 등) 및/또는 다양한 수의 이미지 센서들 및 파라미터들에 대해, RL 에이전트는 다른 이미지 센서로의 스위칭 면의 수학적 근거를 러닝하도록 인에이블될 수 있다. 고정된 이미지 센서 셋업을 위해 훈련되면, RL 에이전트는 마지막 m ROI 바운딩 박스 정보, IMU 센서 정보, 이미지 센서 정보, 및/또는 임의의 다른 정보가 주어지면 이미지 센서 스위치를 프롬프트할 수 있다. 일부 예들에서, RL-기반 추적기는 프로세싱 시간 및 전력을 추가로 감소시키기 위해 각각의 선택된 이미지 센서에 대한 부분 센서 정보 영역 (예를 들어, 모든 센서 정보보다 적음) 을 제안할 수도 있다.
도 5 는 하나 이상의 이미지들에서 오브젝트들을 검출하기 위한 시스템의 일 예를 도시하는 블록 다이어그램이다. 하나 이상의 이미지들은 이미지들 또는 비디오 프레임들을 포함할 수 있다. 예를 들어, 검출 시스템 (500) 은 이미지 소스 (502) 로부터 이미지들 (504) 을 수신할 수 있다. 이미지들 (504) 은 또한 본 명세서에서 비디오 픽처들 또는 픽처들로 지칭될 수 있다. 이미지 소스 (502) 는 하나 이상의 이미지 센서들 (예를 들어, 이미지 센서들 (102) 중 하나 이상) 을 포함할 수 있다. 이미지들 (504) 은 장면의 이미지들을 캡처하거나 포함할 수 있다. 일부 예들에서, 이미지들 (504) 중 하나 이상은 장면에서 ROI 를 캡처하거나 포함할 수 있다.
이미지들이 본 명세서에서는 오브젝트 검출이 수행되는 이미지들의 예로서 사용되지만, 당업자는 본 명세서에 설명된 오브젝트 검출 기법들은 이미지 센서에 의해 캡처된 스틸 이미지들, 비디오의 일부이거나 또는 일부가 아닌 이미지 센서에 의해 캡처된 이미지들의 그룹, 또는 다른 적합한 이미지들과 같은, 임의의 이미지들 및/또는 비디오 프레임들에 대해 수행될 수 있음을 알 것이다.
일부 예들에서, 검출 시스템 (500) 은 검출기 (120) 를 포함할 수 있다. 일부 경우들에서, 검출 시스템 (500) 은 또한 추적기 (122) 를 포함할 수 있다. 검출 시스템 (500) 은 이미지들 (504) 에서 오브젝트들을 검출 및/또는 추적하기 위해 이미지들 (504) 을 프로세싱한다. 일부 경우들에서, 오브젝트들은 이미지들 (504) 에 의해 캡처된 장면에서의 ROI 에 대응할 수 있다. 일부 예들에서, 오브젝트들은 또한 검출 및/또는 추적된 오브젝트들의 특징들을 검출 시스템 (500) 에 등록되는 등록 오브젝트들과 비교함으로써 인식될 수 있다. 일부 경우들에서, 멀티-해상도 특징들이 생성되고 오브젝트 인식을 위해 사용될 수 있다. 예를 들어, 저해상도 특징들은 더 작은 검출된 오브젝트들 (예를 들어, 캡처 동안 이미지 소스 (502) 로부터 멀리 떨어진 오브젝트들, 또는 다른 작은 오브젝트들) 에 대해 사용될 수 있다. 일부 경우들에서, 더 큰 오브젝트들 (예를 들어, 캡처 동안 이미지 소스 (502) 에 더 가까운 그러한 오브젝트들, 또는 다른 더 큰 오브젝트들) 에 대해 더 높은 해상도 특징들이 사용될 수 있다. 검출 시스템 (500) 은 검출된 (및 가능하게는 추적된) 오브젝트들로서 및/또는 인식된 오브젝트들로서 오브젝트들 (506) 을 결정 및/또는 출력할 수 있다. 일부 예들에서, 검출 시스템 (500) 은 검출된 (및 가능하게는 추적된) ROI 로서 오브젝트들 (506) 에 대응하는 ROI 를 결정 및/또는 출력할 수 있다.
임의의 타입의 오브젝트 검출 및 인식이 검출 시스템 (500) 에 의해 수행될 수 있다. 오브젝트 검출 및 인식의 예는 얼굴 검출 및/또는 인식을 포함하고, 여기서 비디오 프레임들 (또는 다른 이미지들) 에 의해 캡처된 장면에서의 사람들의 얼굴들은 본 명세서에 설명된 기법들을 사용하여 검출, 추적, 및/또는 인식을 위해 분석될 수 있다. 예시의 얼굴 인식 프로세스는 이미지(들)로부터 사람의 아이덴티티를 식별 및/또는 검증한다. 일부 경우들에서, 얼굴의 특징들은 이미지로부터 추출되고 데이터베이스 (예를 들어, 등록된 데이터베이스 또는 다른 스토리지) 에 저장된 알려진 얼굴들의 특징들과 비교된다. 일부 경우들에서, 추출된 특징들은 입력 특징들의 아이덴티티를 결정하거나 발견된 특징들에 기초하여 오브젝트를 카테고리화하는 것을 돕는 분류기로 피드될 수 있다. 예를 들어, 두 눈, 코, 및 입이 서로 근접하여 발견되는 경우, 이들이 분류기가 식별을 도울 수 있는 오브젝트의 타입인, 얼굴에 속할 가능성이 높다. 얼굴을 인식하기 위한 프로세스의 하나의 예시적인 예는 얼굴 검출, 얼굴 추적, 안면 랜드마크 검출, 얼굴 정규화, 특징 추출, 및 얼굴 식별 및/또는 얼굴 검증을 수행하는 것을 포함한다. 얼굴 검출은 초점이 얼굴들인 오브젝트들을 검출하는 것을 포함하는 오브젝트 검출의 일종이다. 본 명세서에서는 오브젝트 인식의 예시적인 예로서 얼굴 검출/인식을 사용하는 기법들이 설명되지만, 당업자는 동일한 기법들이 인체의 다른 부분들, 차량들, 동물들, 인간, 큐(queue)들, 음식, 음료들, 제품들, 의류 물품들, 컴퓨팅 디바이스들, 통화들, 거리 표지판들, 가로등들, 타이핑된 또는 핸드라이팅된 텍스트, 랜드마크들, 환경들, 및/또는 다른 타입들의 오브젝트들과 같은, 다른 타입들의 오브젝트들/ROI들의 인식에 적용될 수 있음을 알 것이다.
도 6 은 검출 시스템 (600) 의 예를 도시하는 블록 다이어그램이다. 검출 시스템 (600) 은 이미지들 (604) 을 프로세싱하고 검출, 추적, 및/또는 인식되는 바와 같은 오브젝트들 (606)(예를 들어, ROI들) 을 출력한다. 검출 시스템 (600) 은 임의의 타입의 오브젝트 검출 및/또는 인식을 수행할 수 있다.
일부 예들에서, 검출 시스템 (600) 은 검출기 (120) 를 포함할 수 있다. 일부 경우들에서, 검출 시스템 (600) 은 또한 추적기 (122) 를 포함할 수 있다. 일부 예들에서, 검출 시스템 (600) 은 오브젝트 검출을 수행할 수 있는 오브젝트 검출 엔진 (610) 을 포함한다. 오브젝트 검출은 이미지 또는 비디오 프레임으로부터 오브젝트들을 검출하거나 로케이팅하는 기술이다. 검출된 오브젝트들은 이미지 또는 비디오 프레임에서 오브젝트의 위치 및/또는 대략적인 경계들을 식별하는 바운딩 영역들을 사용하여 표현될 수 있다. 검출된 오브젝트의 바운딩 영역은 바운딩 박스, 바운딩 원, 바운딩 타원, 또는 검출된 오브젝트를 나타내는 임의의 다른 적합한 형상의 영역을 포함할 수 있다. 본 명세서에서는 예시의 목적으로 바운딩 박스들을 사용하는 예들이 설명되지만, 본 명세서에 설명된 기법들 및 시스템들은 또한 다른 적합한 형상의 바운딩 영역들을 사용하여 적용될 수 있다. 하나의 예시적인 예에서, 오브젝트 검출 엔진 (610) 은 이미지 또는 비디오 프레임에서 하나 이상의 얼굴들을 검출하기 위해 얼굴 검출을 수행할 수 있다. 오브젝트 검출 엔진 (610) 은 각각의 검출된 얼굴에 대한 바운딩 박스를 제공할 수 있다. 많은 오브젝트 검출 알고리즘 (얼굴 검출 알고리즘을 포함함) 은 이미지로부터 오브젝트를 로케이팅하기 위해 템플릿 매칭 기법을 사용한다. 다양한 타입의 템플릿 매칭 알고리즘이 사용될 수 있다. 다른 오브젝트 검출 알고리즘이 또한 오브젝트 검출 엔진 (610) 에 의해 사용될 수 있다.
템플릿 매칭 알고리즘의 일 예는 Haar 또는 Haar-유사 특징 추출, 적분 이미지 생성, Adaboost 훈련, 및/또는 캐스케이드된 분류기들을 위한 단계들을 포함한다. 이러한 오브젝트 검출 기법은 프레임 또는 이미지에 걸쳐 슬라이딩 윈도우를 적용함으로써 검출을 수행하며, 윈도우는 직사각형, 원형, 삼각형, 또는 다른 형상이다. 적분 이미지는 이미지로부터, 특정한 영역적 특징들, 예를 들어 직사각형 또는 원형 특징들을 평가하는 이미지 표현인 것으로 컴퓨트될 수 있다. 각각의 현재 윈도우에 대해, 현재 윈도우의 Haar 특징들은 미리 컴퓨트되는 적분 이미지로부터 컴퓨트된다. Harr 특징들은 적분 이미지의 특징들과 같은 오브젝트 이미지의 특정한 특징 영역들 내의 이미지 픽셀들의 합들을 산출함으로써 컴퓨트될 수 있다. 얼굴에서, 예를 들어, 눈이 있는 영역은 통상적으로 콧등 또는 뺨이 있는 영역보다 더 어둡다. Haar 특징들은 최상의 특징들을 선택하고 및/또는 이들을 사용하는 분류자들을 훈련시키는 Adaboost 러닝 알고리즘에 의해 선택되고, 캐스케이드된 분류기로 효율적으로 얼굴 (또는 다른 오브젝트) 윈도우 또는 비-얼굴 윈도우로서 윈도우를 분류하는데 사용될 수 있다. 캐스케이드된 분류기는 캐스케이드로 조합된 많은 분류기들을 포함하며, 이는 오브젝트-유사 영역들에 대해 더 많은 계산을 소비하면서 이미지의 배경 영역들이 신속하게 폐기될 수 있도록 한다. 예를 들어, 캐스케이드된 분류기는 현재 윈도우를 얼굴 카테고리 또는 비-얼굴 카테고리로 분류할 수 있다.
하나의 분류기가 윈도우를 비-얼굴 카테고리로서 분류하는 경우, 윈도우는 폐기된다. 다르게는, 하나의 분류기가 윈도우를 얼굴 카테고리로서 분류하는 경우, 캐스케이드된 배열에서의 다음 분류기가 다시 테스트하기 위해 사용될 것이다. 모든 분류기들이 현재 윈도우가 특정한 오브젝트 (예를 들어, 얼굴 또는 다른 오브젝트) 라고 결정할 때까지, 윈도우는 오브젝트가 되기 위한 후보로서 라벨링될 것이다. 모든 윈도우들이 검출된 후, 검출된 얼굴들의 최종 결과를 생성하기 위해 각각의 얼굴 주위의 얼굴 윈도우들을 그룹화하기 위해 비-최대 억제 알고리즘이 사용된다.
다른 적합한 오브젝트 검출 기법들이 또한 오브젝트 검출 엔진 (610) 에 의해 수행될 수 있다. 오브젝트 검출 기법의 하나의 다른 예시적인 예는 뷰-기반 얼굴 검출을 위한 예-기반 러닝을 포함한다. 다른 예는 뉴럴 네트워크-기반 오브젝트 검출이다. 또 다른 예는 통계-기반 오브젝트 검출이다. 다른 예는 스노우기반 오브젝트 검출기 또는 공동 유도 오브젝트 검출 기법이다. 임의의 다른 적합한 이미지-기반 오브젝트 검출 기법들이 사용될 수 있다.
검출 시스템 (600) 은 오브젝트 검출 엔진 (610) 에 의해 검출된 오브젝트들 중 하나 이상에 대한 오브젝트 추적 (예를 들어, ROI 추적) 을 수행할 수 있는 오브젝트 추적 엔진 (612) 을 더 포함한다. 오브젝트 추적은 비디오 시퀀스 또는 이미지들의 시퀀스의 다중 이미지들/프레임들에 걸쳐 오브젝트들을 추적하는 것을 포함할 수 있다. 하나의 예시적인 예에서, 오브젝트 추적 엔진 (612) 은 오브젝트 검출 엔진 (610) 에 의해 검출된 오브젝트들/ROI들을 추적할 수 있다. 예를 들어, 얼굴 추적은 프레임들 또는 이미지들에 걸쳐 얼굴들을 추적하기 위해 수행될 수 있다. 본 명세서에서 사용되는 바와 같이, 현재 프레임 또는 이미지는 현재 프로세싱되고 있는 프레임 또는 이미지를 지칭한다. 오브젝트 인식을 위해 사용된 시간 및 리소스들을 감소시키기 위해, 오브젝트 추적 기법들이 이전에 인식된 오브젝트들을 추적하는데 사용될 수 있다. 예를 들어, 얼굴이 인식되었고 검출 시스템 (600) 이 인식 결과들을 확신하는 경우 (예를 들어, 높은 신뢰도 스코어가 인식된 얼굴에 대해 결정됨), 검출 시스템 (600) 은 얼굴이 오브젝트 추적 엔진 (612) 에 의해 성공적으로 추적될 수 있는 경우 하나 또는 수개의 후속 프레임들/이미지들에서 얼굴에 대한 전체 인식 프로세스를 스킵할 수 있다.
임의의 적합한 오브젝트 추적 기법이 오브젝트 추적 엔진 (612) 에 의해 사용될 수 있다. 사용될 수 있는 추적기의 예는 광학 플로우 기반 추적기, 템플릿 매칭 기반 추적기, 평균시프트(meanshift) 추적기, 연속 적응적 평균시프트 (캠시프트)(camshift) 추적기, KCF (Kernelized Correlation Filter) 추적기, 칼만(Kalman) 필터 기반 추적기, 또는 다른 적합한 추적기가 사용될 수 있다. 예를 들어, 일부 경우들에서, 조밀한 광학 플로우 기반 추적기들은 프레임들/이미지들에 걸친 픽셀들의 움직임을 추적하기 위해 비디오 프레임에서의 픽셀들 (일부 경우들에서, 모든 픽셀들) 의 모션 벡터를 추정할 수 있다. 예를 들어, 이미지 모션은 시공간 이미지 밝기 변동들로부터 각각의 픽셀에서 복구될 수 있다. 일부 경우들에서, 희소 광학 플로우 기반 추적기들 (예를 들어, Kanade-Lucas-Tomashi (KLT) 추적기) 은 이미지에서 하나 이상의 특정 특징 포인트들 (예를 들어, 하나 이상의 코너들, 텍스처링된 영역들, 에지들, 또는 다른 별개의 또는 시각적 특징들) 의 위치를 추적할 수 있다.
템플릿 매칭 기반 추적기들은 이미지들에 걸쳐 추적될 이미지 특징의 템플릿을 획득하고, 템플릿을 사용하여 이미지들에서의 이미지 특징을 탐색한다. 예를 들어, 템플릿이 입력 이미지를 가로질러 슬라이딩함에 따라, 템플릿은 그 바로 아래의 이미지의 부분과 비교되거나 매칭된다. 매칭은 템플릿과 템플릿이 현재 위치되는 원래 이미지의 부분이 동일한 (또는 상관된) 정도를 표시하는 수를 산출함으로써 수행된다. 가장 큰 상관관계 (템플릿과의 최소 차이) 를 갖는 원래 이미지에서의 위치는 템플릿에 의해 표현되는 이미지 특징이 원래 이미지에 위치되는 곳이다. 매칭 수는 템플릿 매칭 알고리즘에 의해 사용되는 산출에 의존할 수 있다. 하나의 예시적인 예에서, 완전한 매치는 0 (템플릿과 원래 이미지의 부분 사이의 제로 차이를 표시함) 또는 1 (완전한 매치를 표시함) 로 표기될 수 있다.
평균시프트 및 캠시프트 추적기들은 추적을 수행하기 위해 밀도 함수의 최대치를 로케이팅한다. 예를 들어, 픽셀 분포 (예를 들어, 주어진 이미지의 픽셀들이 히스토그램 모델에서의 픽셀들의 분포, 또는 다른 적합한 분포에 얼마나 잘 맞는지를 기록하는, 히스토그램 백프로젝팅된 이미지를 사용함) 및 윈도우 영역과 같은 포인트들의 세트가 주어지면, 평균시프트 추적기는 윈도우 영역을 최대 픽셀 밀도의 영역으로 (예를 들어, 분포에서 최대 수의 포인트들을 갖는 영역으로) 이동시킬 수 있다. 오브젝트가 하나의 이미지에서 다른 이미지로 이동할 때, 움직임은 픽셀 분포 (예를 들어, 히스토그램 백프로젝팅된 이미지) 에 반영된다. 그 후 평균시프트 추적기는 최대 밀도로 윈도우 영역을 새로운 위치로 이동시킬 수 있다. 캠시프트 추적기는 타겟 오브젝트의 사이즈 및 회전을 사용하여 윈도우 사이즈를 적응할 수 있는 수정된 평균시프트 추적기이다. 캠시프트 추적기는 먼저 평균시프트 동작을 적용할 수 있고, 평균시프트가 수렴하면, 캠시프트 추적기는 윈도우의 사이즈를 업데이트한다 (예를 들어, 업데이트된 사이즈 로). 캠시프트 추적기는 또한 타겟에 대한 최상의 피팅 형상 (예를 들어, 타원, 원, 정사각형 등) 의 배향을 산출할 수 있다. 추적기는 새로운 스케일링된 탐색 윈도우 및 이전 윈도우 위치로 평균시프트 기법을 적용할 수 있다. 프로세스는 필요한 정확도가 달성될 때까지 계속된다.
KCF 필터는 상관 필터 기반 추적기들이며, 훈련 데이터와 외관이 유사하게 보이는 타겟 템플릿과 상관될 때 응답을 최대화하는 최상의 필터 탭들을 식별하려고 시도한다. KCF 는 다차원 특징들 및 비선형 커널들 (예를 들어, 가우시안(Gaussian)) 양자 모두의 사용을 허용하는, 듀얼 형태의 훈련 데이터에 걸친 간단한 강성 회귀 문제를 해결함으로써 오브젝트를 추적한다.
칼만 필터 기반 오브젝트 추적기는 신호 프로세싱을 사용하여 이전 모션 정보에 기초하여 이동하는 오브젝트의 위치를 예측한다. 예를 들어, 현재 프레임에서의 추적기의 위치는 이전 프레임으로부터의 정보에 기초하여 예측될 수 있다. 일부 경우들에서, 칼만 필터는 추적기의 궤적을 측정할 수 있을 뿐만 아니라 그 향후 위치(들)를 예측할 수 있다. 예를 들어, 칼만 필터 프레임워크는 2개의 단계들을 포함할 수 있다. 제 1 단계는 추적기의 상태를 예측하는 것이며, 제 2 단계는 측정들을 사용하여 상태를 정정하거나 업데이트하는 것이다. 이 경우, 마지막 프레임으로부터의 추적기는 현재 프레임에서 그의 위치를 예측할 수 있다. 현재 프레임이 수신될 때, 추적기는 현재 프레임에서의 오브젝트의 측정을 사용하여 현재 프레임에서의 그의 위치를 정정한 다음, 다음 프레임에서의 그의 위치를 예측할 수 있다. 칼만 필터는 오브젝트 추적기에 대한 모션 모델을 정정하고 다음 프레임에서 추적기의 위치를 예측하기 위해 연관된 오브젝트(들)의 측정에 의존할 수 있다.
오브젝트 추적 기법의 다른 예시적인 예는 키 포인트 기법을 포함한다. 예로서 얼굴 추적을 사용하여, 키 포인트 기법은 이전 프레임에서 검출된 얼굴 (또는 다른 오브젝트) 로부터 일부 키 포인트들을 검출하는 것을 포함할 수 있다. 예를 들어, 검출된 키 포인트들은 안면 랜드마크들 (하기에서 더 상세히 설명됨) 과 같은 얼굴 상의 중요한 포인트들을 포함할 수 있다. 키 포인트들은 템플릿 매칭을 사용하여 현재 프레임에서의 오브젝트들의 특징들과 매칭될 수 있다. 템플릿 매칭 방법들의 예들은 (상술한 바와 같은) 광학 플로우, 로컬 특징 매칭, 및/또는 다른 적합한 기법들을 포함할 수 있다. 일부 경우들에서, 로컬 특징들은 그래디언트의 히스토그램, 로컬 이진 패턴 (LBP), 또는 다른 특징들일 수 있다. 이전 프레임과 현재 프레임 사이의 키 포인트들의 추적 결과들에 기초하여, 이전 프레임으로부터의 얼굴들과 매칭되는 현재 프레임에서의 얼굴들이 위치될 수 있다.
다른 예시의 오브젝트 추적 기법은 얼굴 검출 결과들에 기초한다. 예를 들어, 얼굴 바운딩 박스들의 IOU (intersection over union) 는 현재 프레임에서 검출된 얼굴이 이전 프레임에서 검출된 얼굴과 매칭하는지를 결정하는데 사용될 수 있다.
일부 경우들에서, 검출 시스템 (600) 은 옵션으로 랜드마크 검출 엔진 (614) 을 포함할 수 있다. 랜드마크 검출의 예시적인 예는 회귀자들의 캐스케이드 방법에 기초한다. 이러한 방법을 사용하여, 라벨링된 랜드마크들을 갖는 오브젝트들로부터 회귀자들의 캐스케이드가 러닝될 수 있다. 회귀자들의 캐스케이드로부터의 출력들의 조합은 랜드마크 위치들의 정확한 추정을 제공한다. 각각의 랜드마크 주위의 특징들의 로컬 분포가 학습될 수 있고, 회귀자들은 이전 회귀자의 추정으로부터 랜드마크의 가장 가능성있는 변위를 제공할 것이다. 랜드마크 검출 엔진 (614) 은 또한 소정 랜드마크 특징들이 오브젝트의 타입에 기초하여 발견될 것으로 예상되는 느슨한 템플릿으로 시작할 수도 있다. 임의의 다른 적합한 랜드마크 검출 기법들이 또한 랜드마크 검출 엔진 (614) 에 의해 사용될 수 있다.
검출 시스템 (600) 은 옵션으로 오브젝트 정규화를 수행하기 위한 오브젝트 정규화 엔진 (616) 을 포함할 수 있다. 오브젝트 정규화는 우수한 오브젝트 인식 결과들을 위해 오브젝트들을 정렬하기 위해 수행될 수 있다. 예를 들어, 오브젝트 정규화 엔진 (616) 은 우수한 인식 결과들를 위해 이미지에서의 얼굴들을 정렬 및/또는 스케일링하기 위해 이미지를 프로세싱함으로써 얼굴 정규화를 수행할 수 있다. 얼굴 정규화 방법의 일 예는 2개의 눈 중심을 얼굴을 정규화하기 위한 참조 포인트들로서 사용한다. 얼굴 이미지는 2개의 눈 중심들이 동일한 사이즈로 지정된 위치에 위치되는 것을 보장하기 위해 병진, 회전, 및 스케일링될 수 있다. 유사성 변환은 이러한 목적을 위해 사용될 수 있다. 얼굴 정규화 방법의 다른 예는 눈의 2개의 중심, 입의 2개의 코너, 코 끝을 포함하는, 5개의 포인트들을 참조 포인트들로서 사용할 수 있다.
일부 경우들에서, 오브젝트 이미지들의 조명이 또한 정규화될 수도 있다. 조명 정규화 방법의 일 예는 로컬 이미지 정규화이다. 슬라이딩 윈도우가 이미지에 적용되면, 각각의 이미지 패치(patch)는 그의 평균 및 표준 편차로 정규화된다. 중심 픽셀 값은 로컬 패치의 평균으로부터 감산되고, 그 후 로컬 패치의 표준 편차로 나누어진다. 조명 보상을 위한 다른 예시의 방법은 이산 코사인 변환 (DCT) 에 기초한다. 예를 들어, DCT 의 제 2 계수는 코사인 신호로 제 1 절반 신호에서 다음 절반 신호로의 변화를 나타낼 수 있다. 이 정보는 측면 광에 의해 야기된 조명 차이를 보상하는데 사용될 수 있으며, 이는 오브젝트의 일부 (예를 들어, 오브젝트의 절반) 가 오브젝트의 나머지 부분 (예를 들어, 나머지 절반) 보다 더 밝게 할 수 있다. DCT 변환의 제 2 계수는 제거될 수 있고 역 DCT 는 좌우 조명 정규화를 얻기 위해 적용될 수 있다.
특징 추출 엔진 (618) 은 오브젝트 검출 및/또는 인식에 사용될 수 있는, 특징 추출을 수행한다. 특징 추출 프로세스의 예는 조종가능한 필터들에 기초한다. 조종가능한 필터-기반 특징 추출 접근법은 기본 필터들의 세트를 사용하여 필터들을 합성하도록 동작한다. 예를 들어, 이 접근법은 기본 필터들의 선형 조합들을 사용하여 임의적인 배향들의 필터들을 합성하기 위한 효율적인 아키텍처를 제공한다. 이러한 프로세스는 필터를 임의의 배향으로 적응적으로 조종하고, 배향의 함수로서 필터 출력을 분석적으로 결정하기 위한 능력을 제공한다.
조종가능한 필터들은 (특징 벡터들에 의해 표현되는) 특징들을 생성하는데 사용될 수 있는 배향 맵들을 생성하기 위해 오브젝트 이미지들과 컨볼루션될 수 있다. 예를 들어, 컨볼루션은 선형 연산이기 때문에, 특징 추출 엔진 (618) 은 기본 필터들 및 로 필터링된 이미지들의 선형 조합을 취함으로써 임의적인 배향으로 필터링된 이미지를 합성할 수 있다. 일부 경우들에서, 특징들은 검출된 오브젝트들/ROI들 상의 선택된 위치들 주위의 로컬 패치들로부터 일 수 있다. 다중 스케일들 및 배향들로부터의 조종가능한 특징들은 오브젝트/ROI 이미지를 나타내는 증강 특징 벡터를 형성하기 위해 연접될 수 있다.
하나의 예시적인 예에서, 특징 추출 엔진 (618) 은 하나 이상의 저역 통과 필터를 배향 맵들에 적용할 수 있고, 배향 맵들 사이의 에너지, 차이 및/또는 콘트라스트를 사용하여 로컬 패치를 획득할 수 있다. 로컬 패치는 픽셀 레벨 엘리먼트일 수 있다. 예를 들어, 배향 맵 프로세싱의 출력은 프로세싱되고 있는 오브젝트/ROI의 로컬 패치의 텍스처 템플릿 또는 로컬 특징 맵을 포함할 수 있다. 결과적인 로컬 특징 맵들은 오브젝트/ROI 이미지에 대한 특징 벡터를 형성하기 위해 연접될 수 있다.
LDA (Linear Discriminant Analysis) 및/또는 PCA (Principal Component Analysis) 와 같은 특징 맵들에 대한 포스트프로세싱은 또한 특징 사이즈의 차원성을 감소시키는데 사용될 수 있다. 랜드마크 검출에서의 가능한 에러들을 보상하기 위해, 다중 스케일 특징 추출이 특징들을 매칭 및/또는 분류에 대해 더 강건하게 만드는데 사용될 수 있다.
에지 검출, 코너 검출, 블롭(blob) 검출, 리지(ridge) 검출, 스케일-불변 특징 변환, 자기상관, 모션 검출, 광학 플로우, 임계화(thresholding), 블롭 추출, 템플릿 매칭 허프(Hough) 변환, 활성 윤곽, 독립 컴포넌트 분석, 아이소맵(Isomap), 커널(Kernel) PCA, 잠재 시맨틱 분석, 부분 최소 제곱, 주요 컴포넌트 분석, 멀티팩터 차원성 감소, 비선형 차원성 감소, 멀티선형 주요 컴포넌트 분석, 멀티선형 서브공간 러닝, 반유한성 임베딩, 오토인코더, 또는 이들의 조합을 포함하는, 다른 특징 검출 및 차원성 감소 방법들 및 시스템들이 대안적으로 또는 추가적으로 채용될 수 있다.
이전에 설명된 바와 같이, 다양한 오브젝트 검출기들이 오브젝트 검출 및/또는 분류를 수행하는데 사용될 수 있다. 일 예는 Cifar-10 뉴럴 네트워크 기반 검출기를 포함한다. 이미지들에서 오브젝트들을 검출 및/또는 분류하는데 사용될 수 있는 다른 딥 러닝-기반 검출기는 다중 오브젝트 카테고리들 또는 클래스들에 적용될 수 있는 빠른 단일-샷 오브젝트 검출기인, 단일 샷 검출기 (SSD) 검출기를 포함한다. SSD 모델은 뉴럴 네트워크 상단에서 다중 특징 맵들에 부착된 멀티-스케일 컨볼루션 바운딩 박스 출력들을 사용한다. 이러한 표현은 SSD 가 다양한 박스 형상들을 효율적으로 모델링할 수 있도록 한다. 도 7a는 이미지를 포함하고, 도 7b 및 도 7c 는 (예를 들어, VGG 딥 네트워크 베이스 모델로) SSD 검출기가 어떻게 동작하는지를 도시하는 다이어그램들을 포함한다. 예를 들어, SSD 는 (도 7b 및 도 7c 에서 파선 직사각형들로 나타낸) 상이한 종횡비들의 디폴트 박스들과 오브젝트들을 매칭시킨다. 특징 맵의 각각의 엘리먼트는 그와 연관된 다수의 디폴트 박스들을 갖는다. 임계치 (예를 들어, 0.4, 0.5, 0.6, 또는 다른 적합한 임계치) 에 걸친 실측 박스와의 교차-오버-합집합(intersection-over-union) 을 갖는 임의의 디폴트 박스는 오브젝트에 대한 매치로 간주된다. 예를 들어, 8x8 박스들 중 2개 (도 7b 에 청색으로 나타냄) 는 고양이와 매칭되고, 4x4 박스들 중 하나 (도 7c 에 적색으로 나타냄) 는 개와 매칭된다. SSD 는 다중 특징 맵들을 가지며, 각각의 특징 맵은 상이한 스케일의 오브젝트들을 담당하므로, 광범위한 스케일들에 걸쳐 오브젝트들을 식별할 수 있도록 한다. 예를 들어, 도 7b 의 8x8 특징 맵에서의 박스들은 도 7c 의 4x4 특징 맵에서의 박스들보다 작다. 하나의 예시적인 예에서, SSD 검출기는 총 6개의 특징 맵들을 가질 수 있다.
각각의 셀에서의 각각의 디폴트 박스에 대해, SSD 뉴럴 네트워크는 길이 c 의 확률 벡터를 출력하고, 여기서 c 는 클래스들의 수이며, 각각의 클래스의 오브젝트를 포함하는 박스의 확률들을 나타낸다. 일부 경우들에서, 박스에 오브젝트가 없음을 표시하는 백그라운드 클래스가 포함된다. SSD 네트워크는 또한 (각각의 셀에서의 각각의 디폴트 박스에 대해) 디폴트 박스가 기본적인 오브젝트의 바운딩 박스와 매칭되게 하는데 필요한 예측된 오프셋들을 포함하는 4개의 엔트리들을 갖는 오프셋 벡터를 출력한다. 벡터들은 포맷 (cx, cy, w, h) 으로 주어지며, cx 는 중심 x 를 표시하고, cy 는 중심 y 를 표시하고, w 는 폭 오프셋들을 표시하며, h 는 높이 오프셋들을 표시한다. 벡터들은 실제로 디폴트 박스에 포함된 오브젝트가 있는 경우에만 의미가 있다. 도 7a 에 나타낸 이미지에 대해, 모든 확률 라벨들은 3개의 매칭된 박스들 (고양이에 대해 2개, 개에 대해 1개) 을 제외하고 백그라운드 클래스를 표시할 것이다.
이미지들에서의 오브젝트들을 검출 및/또는 분류하는데 사용될 수 있는 다른 딥 러닝-기반 검출기는 SSD 오브젝트 검출 시스템에 대한 대안인, YOLO (You only look once) 검출기를 포함한다. 도 8a 는 이미지를 포함하고, 도 8b 및 도 8c 는 YOLO 검출기가 어떻게 동작하는지를 예시하는 다이어그램들을 포함한다. YOLO 검출기는 전체 이미지에 단일 뉴럴 네트워크를 적용할 수 있다. 나타낸 바와 같이, YOLO 네트워크는 이미지를 영역들로 나누고, 각각의 영역에 대한 바운딩 박스들 및 확률들을 예측한다. 이러한 바운딩 박스들은 예측된 확률들에 의해 가중된다. 예를 들어, 도 8a 에 나타낸 바와 같이, YOLO 검출기는 이미지를 13x13 셀들의 그리드로 나눈다. 셀들의 각각은 5개의 바운딩 박스를 예측하는 역할을 한다. 예측된 바운딩 박스가 실제로 오브젝트를 인클로징하는 것이 얼마나 확실한지를 표시하는 신뢰도 스코어가 제공된다. 이 스코어는 박스에 있을 수도 있는 오브젝트의 분류를 포함하지 않지만, 박스의 형상이 적합한지를 표시한다. 예측된 바운딩 박스들은 도 8b 에 나타낸다. 신뢰도 스코어가 더 높은 상자들은 더 두꺼운 보더들을 갖는다.
각각의 셀은 또한 각각의 바운딩 박스에 대한 클래스를 예측한다. 예를 들어, 모든 가능한 클래스들에 대한 확률 분포가 제공된다. 자전거, 개, 고양이, 사람, 자동차, 또는 다른 적합한 오브젝트 클래스와 같은 임의의 수의 클래스가 검출될 수 있다. 바운딩 박스에 대한 신뢰도 스코어 및 클래스 예측은 바운딩 박스가 특정 타입의 오브젝트를 포함하는 확률을 표시하는 최종 스코어로 조합된다. 예를 들어, 도 8b 에서의 이미지의 좌측 상에 두꺼운 보더들을 갖는 황색 박스는 오브젝트 클래스 "개" 를 포함함을 85% 확신한다. 169개의 그리드 셀들 (13 x 13) 이 있으며, 각각의 셀은 5개의 바운딩 박스를 예측하여 총 4645개의 바운딩 박스를 생성한다. 많은 바운딩 박스들은 매우 낮은 스코어들을 가질 것이며, 이 경우 임계치 초과 (예를 들어, 30% 확률, 40% 확률, 50% 확률, 또는 다른 적합한 임계치 초과) 의 최종 스코어를 갖는 박스들만이 유지된다. 도 8c 는 개, 자전거, 및 자동차를 포함하는 최종 예측된 바운딩 박스들 및 클래스들을 갖는 이미지를 나타낸다. 나타낸 바와 같이, 생성된 총 4645개의 바운딩 박스로부터, 도 8c 에 나타낸 3개의 바운딩 박스들이 최상의 최종 스코어를 갖기 때문에 이들만이 유지되었다.
도 9 는 멀티-카메라 시스템 (예를 들어, 전자 디바이스 (100)) 으로 관심 영역 (ROI) 을 캡처하기 위한 예시의 프로세스 (900) 를 도시하는 플로우챠트이다. 블록 (902) 에서, 프로세스 (900) 는 전자 디바이스 (예를 들어, 전자 디바이스 (100)) 의 복수의 이미지 센서들 (예를 들어, 이미지 센서들 (102)) 을 초기화하는 것을 포함할 수 있다. 일부 예들에서, 복수의 이미지 센서들의 각각의 이미지 센서는 복수의 이미지 센서들 중 하나 이상의 이미지 센서들에 의해 지원된 고전력 모드보다 낮은 제 1 저전력 소비 (예를 들어, 제 1 저전력 소비는 고전력 모드와 연관된 전력 소비보다 낮음) 와 연관된 제 1 저전력 모드에서 초기화된다.
블록 (904) 에서, 프로세스 (900) 는 제 1 저전력 모드에서 복수의 이미지 센서들에 의해 캡처된 복수의 이미지들을 획득하는 것을 포함할 수 있다. 예를 들어, 전자 디바이스 (100) 는 장면의 이미지들을 캡처하기 위해 제 1 저전력 모드에서 동작하는 복수의 이미지 센서들을 사용할 수 있다.
블록 (906) 에서, 프로세스 (900) 는 복수의 이미지들에 기초하여, 장면에서의 ROI 가 복수의 이미지 센서들로부터의 제 1 이미지 센서 (또는 다중 이미지 센서들) 의 FOV 내에 있다고 결정하는 것을 포함할 수 있다. 장면은 복수의 이미지들 중 적어도 하나에 의해 캡처된 임의의 장면을 포함할 수 있다. 장면은 ROI 를 포함할 수 있다. ROI 는 본 명세서에서 추가로 설명되는 바와 같이 전자 디바이스 (100) 에 의해 캡처, 검출, 및/또는 추적되도록 의도되는 임의의 ROI 를 포함할 수 있다. 일부 예들에서, ROI 는 장면의 일부, 하나 이상의 오브젝트들, 하나 이상의 패턴들, 임의의 다른 아이템들/특징들, 및/또는 이들의 임의의 조합을 포함할 수 있다. ROI 는 정적 ROI 또는 이동하거나 이동할 수 있는 ROI (예를 들어, 동적 또는 모바일 ROI) 를 포함할 수 있다.
블록 (908) 에서, 프로세스 (900) 는, ROI 가 제 1 이미지 센서의 FOV 내에 있다고 결정하는 것에 기초하여, 복수의 이미지 센서들로부터의 하나 이상의 제 2 이미지 센서들의 제 1 저전력 모드를 제 1 저전력 모드보다 낮은 제 2 저전력 소비와 연관된 제 2 저전력 모드 또는 파워-오프 모드로 감소시키는 것 (예를 들어, 제 2 저전력 소비는 제 1 저전력 모드와 연관된 제 1 전력 소비보다 낮음) 을 포함할 수 있다. 예를 들어, 전자 디바이스 (100) 는 복수의 이미지 센서들 중 (예를 들어, 제 1 이미지 센서를 제외한) 다른 이미지 센서들 모두 또는 이미지 센서들의 서브세트의 제 1 저전력 모드를 감소시킬 수 있다. 다른 이미지 센서들 또는 이미지 센서들의 서브세트는 ROI 에 대한 뷰를 갖지 않는 복수의 이미지 센서들 중의 것들을 포함할 수 있다 (예를 들어, ROI 는 이러한 이미지 센서들의 FOV 내에 있지 않음).
일부 예들에서, 제 1 저전력 모드를 감소시키는 것은 하나 이상의 제 2 이미지 센서들을 턴 오프하는 것을 포함할 수 있다. 일부 경우들에서, 제 2 저전력 모드는 블록 (902) 에서 복수의 이미지 센서들이 초기화되는 제 1 저전력 모드보다 낮은 전력 모드를 포함할 수 있다. 일부 예들에서, 제 2 저전력 모드는 슬립 모드, 하이버네이션(hibernation) 모드, 더 낮은 해상도 모드, 더 낮은 프레임레이트 모드, 더 낮은 리소스 소비 모드, 복수의 이미지 센서들이 초기화되는 제 1 저전력 모드와 연관된 다른 프로세싱 경로보다 더 적은 리소스들 (예를 들어, 전력, 컴퓨트 등) 을 사용하는 프로세싱 경로 (예를 들어, 카메라 파이프라인)를 사용하는 모드 및/또는 고전력 모드를 포함할 수 있다
블록 (910) 에서, 프로세스 (900) 는 제 1 이미지 센서를 사용하여, ROI 의 하나 이상의 이미지들을 캡처하는 것을 포함할 수 있다. 일부 예들에서, 프로세스 (900) 는 복수의 이미지들 중 하나 이상에서 ROI 를 검출하는 것을 포함할 수 있다. 일부 경우들에서, 프로세스 (900) 는, 예를 들어 그리고 제한 없이, 복수의 이미지 센서들, 오디오 센서 (104), IMU (106), 및/또는 임의의 다른 센서(들) 중 하나 이상으로부터의 이미지 데이터와 같은 하나 이상의 센서들로부터의 데이터를 사용하여 ROI 를 추적하는 것을 포함할 수 있다.
일부 예들에서, 프로세스 (900) 는 ROI 가 제 1 이미지 센서의 FOV 내에 있다고 결정하는 것에 기초하여, 제 1 이미지 센서를 제 1 저전력 모드에서 고전력 모드로 트랜지션하는 것을 포함할 수 있다. 프로세스 (900) 는 고전력 모드에서의 제 1 이미지 센서를 사용하여 ROI 의 하나 이상의 이미지들을 캡처하는 것을 더 포함할 수 있다. 일부 경우들에서, 제 1 이미지 센서를 제 1 저전력 모드에서 고전력 모드로 트랜지션하는 것은, ROI 가 제 1 이미지 센서의 FOV 내에 있다고 결정하는 것에 기초하여, 제 1 이미지 센서의 제 1 노출 설정을 조정하는 것을 포함할 수 있다. ROI 가 하나 이상의 제 2 이미지 센서들의 하나 이상의 FOV들의 외부에 있다는 결정에 기초하여, 프로세스 (900) 는 하나 이상의 제 2 이미지 센서들의 슬립 설정 및/또는 제 2 노출 설정을 조정하는 것을 포함할 수 있다.
일부 경우들에서, 제 1 이미지 센서를 제 1 저전력 모드에서 고전력 모드로 트랜지션하는 것은, 제 1 이미지 센서에 의해 캡처된 하나 이상의 이미지들을 프로세싱하는데 사용된 하나 이상의 다른 리소스들보다 낮은 전력 소비를 갖는 하나 이상의 리소스들을 사용하여 하나 이상의 제 2 이미지 센서들로부터의 데이터를 프로세싱하는 것을 포함할 수 있다. 일부 경우들에서, 제 1 이미지 센서를 제 1 저전력 모드에서 고전력 모드로 트랜지션하는 것은, 하나 이상의 제 2 이미지 센서들을 턴 오프하는 것, 하나 이상의 제 2 이미지 센서들의 해상도를 감소시키는 것, 및/또는 하나 이상의 제 2 이미지 센서들의 프레임레이트를 감소시키는 것을 포함할 수 있다.
일부 예들에서, 프로세스 (900) 는 ROI 가 제 1 이미지 센서의 FOV 의 오버랩 부분 (예를 들어, 오버랩하는 FOV 영역) 및 복수의 이미지 센서들로부터의 제 2 이미지 센서의 상이한 FOV 내에 있다고 결정하는 것을 포함할 수 있다. 프로세스 (900) 는 제 1 이미지 센서와 연관된 제 1 전력 비용 및 제 2 이미지 센서와 연관된 제 2 전력 비용을 결정하는 것을 더 포함할 수 있다. 프로세스 (900) 는 제 1 전력 비용 및 제 2 전력 비용에 기초하여 제 1 이미지 센서 및 제 2 이미지 센서의 전력 모드를 조정하는 것을 포함할 수 있다. 일부 예들에서, 제 1 이미지 센서 및 제 2 이미지 센서의 전력 모드를 조정하는 것은, 제 2 이미지 센서의 전력 모드를 증가시키는 것, 및 제 1 이미지 센서의 전력 모드를 감소시키는 것을 포함할 수 있다. 일부 경우들에서, 제 2 이미지 센서는 제 2 이미지 센서보다 낮은 전력 비용을 가질 수 있다.
일부 경우들에서, 제 1 전력 비용 및 제 2 전력 비용을 결정하는 것은, 제 1 이미지 센서와 연관된 제 1 가중치를 제 1 전력 비용에 적용하고 제 2 이미지 센서와 연관된 제 2 가중치를 제 2 전력 비용에 적용하는 것을 포함할 수 있다. 일부 예들에서, 제 1 가중치 및 제 2 가중치는 제 1 이미지 센서 및 제 2 이미지 센서와 연관된 개개의 이미지 품질 속성, 제 1 이미지 센서 및 제 2 이미지 센서와 연관된 개개의 전력 소비, 및/또는 제 1 이미지 센서 및 제 2 이미지 센서와 연관된 하나 이상의 개개의 프로세싱 능력들에 기초한다. 일부 예들에서, 프로세스 (900) 는 제 2 이미지 센서를 사용하여 ROI 의 이미지를 캡처하는 것을 포함할 수 있다. 프로세스 (900) 는, 뉴럴 네트워크를 사용하여, 이미지, 적어도 제 1 이미지 센서에 의해 캡처된 ROI 의 부가 이미지, 및/또는 이미지와 연관된 모션 정보에 기초하여 이미지의 하나 이상의 시각적 특성들을 조정하는 것을 더 포함할 수 있다. 일부 예들에서, 제 2 이미지 센서는 제 1 이미지 센서보다 낮은 이미지 품질 속성과 연관될 수 있다.
일부 예들에서, 프로세스 (900) 는 복수의 이미지 센서들로부터의 하나 이상의 이미지 센서들에 대한 하나 이상의 오브젝트 검출기들을 초기화하는 것을 포함할 수 있다. 일부 경우들에서, 하나 이상의 오브젝트 검출기들은 하나 이상의 오브젝트 검출기들에 의해 지원된 제 2 모드보다 낮은 제 3 저전력 소비와 연관된 제 1 모드에서 초기화될 수 있다 (예를 들어, 제 3 저전력 소비는 제 2 모드와 연관된 전력 소비보다 낮음). 프로세스 (900) 는 ROI 가 하나 이상의 이미지 센서들 각각의 제 2 FOV 외부에 있다고 결정하는 것을 더 포함할 수 있다. ROI 가 하나 이상의 이미지 센서들 각각의 제 2 FOV 의 외부에 있다고 결정하는 것에 기초하여, 프로세스 (900) 는 제 3 저전력 소비와 연관된 제 1 모드에서 하나 이상의 오브젝트 검출기들로 제 1 저전력 모드에서 하나 이상의 이미지 센서들을 실행하는 것을 더 포함할 수 있다.
일부 예들에서, 프로세스 (900) 는 ROI 가 복수의 이미지 센서들로부터의 이미지 센서들의 세트의 개개의 FOV들 내에 있다고 결정하는 것을 포함할 수 있다. 프로세스 (900) 는 이미지 센서들의 세트의 적어도 일부에 걸쳐 카메라 노출들의 캡처를 조정하는 것을 더 포함할 수 있다. 프로세스 (900) 는 이미지 센서들의 세트의 적어도 일부를 사용하여 캡처된 카메라 노출들에 기초하여 하나 이상의 이미지들을 생성하는 것을 포함할 수 있다.
일부 예들에서, 프로세스 (900) 는 전자 디바이스 및/또는 ROI 의 움직임에 기초하여, ROI 가 제 1 이미지 센서의 FOV 외부에 그리고 복수의 이미지 센서들로부터의 제 2 이미지 센서의 상이한 FOV 내에 있다고 결정하는 것을 포함할 수 있다. ROI 가 제 1 이미지 센서의 FOV 외부에 그리고 제 2 이미지 센서의 상이한 FOV 내에 있다고 결정하는 것에 기초하여, 프로세스 (900) 는 제 1 이미지 센서와 연관된 전력 모드를 감소시키고 제 2 이미지 센서와 연관된 부가 전력 모드를 증가시키는 것을 포함할 수 있다. 프로세스 (900) 는 제 2 이미지 센서에 의해, ROI 의 하나 이상의 부가 이미지들을 캡처하는 것을 더 포함할 수 있다. 일부 양태들에서, 제 2 이미지 센서와 연관된 부가 전력 모드를 증가시키는 것은, 제 2 이미지 센서를 턴 온하는 것, 제 2 이미지 센서의 해상도를 증가시키는 것, 제 2 이미지 센서의 프레임레이트를 증가시키는 것, 및/또는 제 1 이미지 센서와 연관된 감소된 전력 모드와 연관된 하나 이상의 상이한 리소스들보다 높은 전력 소비를 갖는 하나 이상의 리소스들을 사용하여 제 2 이미지 센서로부터의 데이터를 프로세싱하는 것을 포함할 수 있다.
일부 예들에서, 프로세스 (900) 는 전자 디바이스 및/또는 ROI 의 움직임에 기초하여, ROI 가 제 1 이미지 센서의 FOV 의 제 1 부분 및 복수의 이미지 센서들로부터의 제 2 이미지 센서의 상이한 FOV 의 제 2 부분 내에 있다고 결정하는 것을 포함할 수 있다. 프로세스 (900) 는 FOV 및 상이한 FOV 에 대한 ROI 의 궤적을 결정하는 것을 더 포함할 수 있다. ROI 의 궤적에 기초하여, 프로세스 (900) 는 제 1 이미지 센서에서 제2 이미지 센서로 스위칭하는 것을 포함할 수 있다. 프로세스 (900) 는 제 2 이미지 센서에 의해, ROI 의 하나 이상의 부가 이미지들을 캡처하는 것을 더 포함할 수 있다. 일부 예들에서, 제 1 이미지 센서에서 제 2 이미지 센서로의 스위칭은 제 1 이미지 센서와 연관된 전력 모드를 감소시키는 것 및 제 2 이미지 센서와 연관된 부가 전력 모드를 증가시키는 것을 포함할 수 있다.
일부 예들에서, 프로세스 (900) 는 제 1 이미지 센서에 의해 캡처된 하나 이상의 이미지들에 기초하여 ROI 의 위치를 추적하는 것을 포함할 수 있다. 프로세스 (900) 는 복수의 이미지 센서들로부터의 하나 이상의 이미지 센서들과 연관된 하나 이상의 전력 모드들을 조정하는 것을 더 포함할 수 있다. 일부 예들에서, 하나 이상의 전력 모드들은 ROI 의 위치 및 하나 이상의 이미지 센서들의 하나 이상의 특성들에 기초하여 조정될 수 있다.
일부 예들에서, 프로세스 (900) 는 하나 이상의 컴퓨팅 디바이스들 또는 장치들에 의해 수행될 수 있다. 하나의 예시적인 예에서, 프로세스 (900) 는 도 1 에 나타낸 전자 디바이스 (100) 에 의해 수행될 수 있다. 일부 예들에서, 프로세스 (900) 는 도 10 에 나타낸 컴퓨팅 디바이스 아키텍처 (1000) 를 갖는 하나 이상의 컴퓨팅 디바이스에 의해 수행될 수 있다. 일부 경우들에서, 이러한 컴퓨팅 디바이스 또는 장치는 프로세스 (900) 의 단계들을 수행하도록 구성되는 디바이스의 프로세서, 마이크로프로세서, 마이크로컴퓨터, 또는 다른 컴포넌트를 포함할 수도 있다. 일부 예들에서, 이러한 컴퓨팅 디바이스 또는 장치는 이미지 데이터 및/또는 다른 센서 측정들을 캡처하도록 구성된 하나 이상의 센서들을 포함할 수 있다. 예를 들어, 컴퓨팅 디바이스는 스마트폰, 헤드-마운트 디스플레이, 모바일 디바이스, 또는 다른 적절한 디바이스를 포함할 수 있다. 일부 예들에서, 이러한 컴퓨팅 디바이스 또는 장치는 하나 이상의 이미지들 또는 비디오들을 캡처하도록 구성된 카메라를 포함할 수도 있다. 일부 경우들에서, 이러한 컴퓨팅 디바이스는 이미지들을 디스플레이하기 위한 디스플레이를 포함할 수도 있다. 일부 예들에서, 하나 이상의 센서들 및/또는 카메라는 컴퓨팅 디바이스와 별도이며, 이 경우 컴퓨팅 디바이스는 감지된 데이터를 수신한다. 이러한 컴퓨팅 디바이스는 데이터를 통신하도록 구성된 네트워크 인터페이스를 더 포함할 수도 있다.
컴퓨팅 디바이스의 컴포넌트들은 회로부에서 구현될 수 있다. 예를 들어, 컴포넌트들은 하나 이상의 프로그램가능한 전자 회로 (예를 들어, 마이크로프로세서, 그래픽스 프로세싱 유닛 (GPU), 디지털 신호 프로세서 (DSP), 중앙 프로세싱 유닛 (CPU), 및/또는 다른 적절한 전자 회로) 를 포함할 수 있고 및/또는 이를 사용하여 구현될 수 있으며, 및/또는 본 명세서에 설명된 다양한 동작들을 수행하기 위해 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 임의의 조합을 포함하고 및/또는 이를 사용하여 구현될 수 있다. 컴퓨팅 디바이스는 (출력 디바이스의 예로서 또는 이에 부가하여) 디스플레이, 데이터를 통신 및/또는 수신하도록 구성된 네트워크 인터페이스, 이들의 임의의 조합, 및/또는 다른 컴포넌트(들)를 더 포함할 수도 있다. 네트워크 인터페이스는 인터넷 프로토콜 (IP) 기반 데이터 또는 다른 타입의 데이터를 통신 및/또는 수신하도록 구성될 수도 있다.
프로세스 (900) 는 논리 플로우 다이어그램들로서 예시되고, 그 동작들은 하드웨어, 컴퓨터 명령들, 또는 이들의 조합으로 구현될 수 있는 동작들의 시퀀스들을 표현한다. 컴퓨터 명령들의 컨텍스트에서, 그 동작들은, 하나 이상의 프로세서에 의해 실행될 때, 열거된 동작들을 수행하는 하나 이상의 컴퓨터 판독가능 저장 매체 상에 저장된 컴퓨터 실행가능 명령들을 표현한다. 일반적으로, 컴퓨터 실행가능 명령들은 특정의 기능들을 수행하거나 또는 특정의 데이터 타입들을 구현하는 루틴들, 프로그램들, 오브젝트들, 컴포넌트들, 데이터 구조들 등을 포함한다. 동작들이 설명되는 순서는 제한으로서 해석되도록 의도되지 않으며, 임의의 수의 설명된 동작들은 프로세스들을 구현하기 위해 임의의 순서로 및/또는 병렬로 조합될 수 있다.
부가적으로, 프로세스 (900) 는 실행가능 명령들로 구성된 하나 이상의 컴퓨터 시스템들의 제어 하에서 수행될 수도 있고, 집합적으로 하나 이상의 프로세서 상에서 실행하는 코드 (예를 들어, 실행가능 명령들, 하나 이상의 컴퓨터 프로그램들, 또는 하나 이상의 애플리케이션들) 로서, 하드웨어에 의해, 또는 이들의 조합으로 구현될 수도 있다. 위에 언급된 바와 같이, 코드는 컴퓨터 판독가능 또는 머신 판독가능 저장 매체 상에, 예를 들어, 하나 이상의 프로세서에 의해 실행가능한 복수의 명령들을 포함하는 컴퓨터 프로그램의 형태로 저장될 수도 있다. 컴퓨터 판독가능 또는 머신 판독가능 저장 매체는 비일시적일 수도 있다.
도 10 은 본 명세서에 설명된 다양한 기법들을 구현할 수 있는 예시의 컴퓨팅 디바이스의 예시의 컴퓨팅 디바이스 아키텍처 (1000) 를 도시한다. 예를 들어, 컴퓨팅 디바이스 아키텍처 (1000) 는 도 1 에 나타낸 전자 디바이스 (100) 의 적어도 일부 부분들을 구현할 수 있다. 컴퓨팅 디바이스 아키텍처 (1000) 의 컴포넌트들은 버스와 같은 커넥션 (1005) 을 사용하여 서로 전기적으로 통신하는 것으로 나타낸다. 예시의 컴퓨팅 디바이스 아키텍처 (1000) 는 프로세싱 유닛 (CPU 또는 프로세서)(1010), 및 판독 전용 메모리 (ROM)(1020) 및 랜덤 액세스 메모리 (RAM)(1025)와 같은 컴퓨팅 디바이스 메모리 (1015) 를 포함하는 다양한 컴퓨팅 디바이스 컴포넌트들을 프로세서 (1010) 에 커플링하는 컴퓨팅 디바이스 커넥션 (1005) 을 포함한다.
컴퓨팅 디바이스 아키텍처 (1000) 는 프로세서 (1010) 와 직접 연결되거나, 이에 근접하거나, 또는 이의 일부로서 통합된 고속 메모리의 캐시를 포함할 수 있다. 컴퓨팅 디바이스 아키텍처 (1000) 는 프로세서 (1010) 에 의한 빠른 액세스를 위해 메모리 (1015) 및/또는 저장 디바이스 (1030) 로부터 캐시 (1012) 로 데이터를 복사할 수 있다. 이러한 방식으로, 캐시는 데이터를 대기하면서 프로세서 (1010) 지연들을 회피하는 성능 부스트를 제공할 수 있다. 이들 및 다른 모듈들은 다양한 액션들을 수행하기 위해 프로세서 (1010) 를 제어하거나 이를 제어하도록 구성될 수 있다. 다른 컴퓨팅 디바이스 메모리 (1015) 가 또한 이용가능할 수도 있다. 메모리 (1015) 는 상이한 성능 특성들을 갖는 다수의 상이한 타입들의 메모리를 포함할 수 있다. 프로세서 (1010) 는 저장 디바이스 (1030) 에 저장되고 소프트웨어 명령들이 프로세서 설계에 통합되는 특수 목적 프로세서 뿐만 아니라 프로세서 (1010) 를 제어하도록 구성된, 하드웨어 또는 소프트웨어 서비스 및 임의의 범용 프로세서를 포함할 수 있다. 프로세서 (1010) 는 다중 코어들 또는 프로세서들, 버스, 메모리 제어기, 캐시 등을 포함하는 독립형 시스템일 수도 있다. 멀티-코어 프로세서는 대칭 또는 비대칭일 수도 있다.
컴퓨팅 디바이스 아키텍처 (1000) 와의 사용자 상호작용을 가능하게 하기 위해, 입력 디바이스 (1045) 는 스피치를 위한 마이크로폰, 제스처 또는 그래픽 입력을 위한 터치-감지 스크린, 키보드, 마우스, 모션 입력, 스피치 등과 같은 임의의 수의 입력 메커니즘을 나타낼 수 있다. 출력 디바이스 (1035) 는 또한 디스플레이, 프로젝터, 텔레비전, 스피커 디바이스와 같은, 당업자에게 알려진 다수의 출력 메커니즘 중 하나 이상일 수 있다. 일부 경우들에서, 멀티모드 컴퓨팅 디바이스들은 사용자가 컴퓨팅 디바이스 아키텍처 (1000) 와 통신하기 위해 다중 타입들의 입력을 제공하는 것을 가능하게 할 수 있다. 통신 인터페이스 (1040) 는 일반적으로 사용자 입력 및 컴퓨팅 디바이스 출력을 통제하고 관리할 수 있다. 임의의 특정 하드웨어 배열 상에서 동작하는 것에 대한 제한은 없으며 따라서 여기서 기본 특징들은 이들이 개발됨에 따라 개선된 하드웨어 또는 펌웨어 배열들에 용이하게 대체될 수도 있다.
저장 디바이스 (1030) 는 비휘발성 메모리이고, 자기 카세트, 플래시 메모리 카드, 고체 상태 메모리 디바이스, 디지털 다기능 디스크, 카트리지, 랜덤 액세스 메모리 (RAM)(1025), 판독 전용 메모리 (ROM)(1020), 및 이들의 하이브리드와 같은, 컴퓨터에 의해 액세스가능한 데이터를 저장할 수 있는 하드 디스크 또는 다른 타입들의 컴퓨터 판독가능 매체들일 수 있다. 저장 디바이스 (1030) 는 프로세서 (1010) 를 제어하기 위한, 소프트웨어, 코드, 펌웨어 등을 포함할 수 있다. 다른 하드웨어 또는 소프트웨어 모듈들이 고려된다. 저장 디바이스 (1030) 는 컴퓨팅 디바이스 커넥션 (1005) 에 연결될 수 있다. 일 양태에서, 특정 기능을 수행하는 하드웨어 모듈은 기능을 수행하기 위해 프로세서 (1010), 커넥션 (1005), 출력 디바이스 (1035) 등과 같은, 필요한 하드웨어 컴포넌트들과 관련하여 컴퓨터 판독가능 매체에 저장된 소프트웨어 컴포넌트를 포함할 수 있다.
용어 "컴퓨터 판독가능 매체" 는 휴대용 또는 고정식 저장 디바이스들, 광학 저장 디바이스들, 및 명령(들) 및/또는 데이터를 저장, 포함, 또는 반송할 수 있는 다양한 다른 매체들을 포함하지만 이에 한정되지 않는다. 컴퓨터 판독 가능 매체는 데이터가 저장될 수 있고 반송파 (carrier wave) 및/또는 무선 또는 유선 연결을 통해 전파되는 일시적인 전자 신호를 포함하지 않는 비일시적인 매체를 포함할 수도 있다. 비일시적 매체의 예들은 자기 디스크 또는 테이프, 광학 저장 매체들, 예컨대 콤팩트 디스크 (CD) 또는 디지털 다기능 디스크 (DVD), 플래시 메모리, 메모리 또는 메모리 디바이스들을 포함하지만 이에 제한되지 않는다. 컴퓨터 판독가능 매체는 절차, 함수, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 명령들, 데이터 구조들, 또는 프로그램 스테이트먼트들의 임의의 조합을 나타낼 수도 있는 코드 및/또는 머신 실행가능 명령들을 저장할 수도 있다. 코드 세그먼트는, 정보, 데이터, 인수들, 파라미터들, 또는 메모리 콘텐츠를 전달 및/또는 수신함으로써 다른 코드 세그먼트 또는 하드웨어 회로에 커플링될 수도 있다. 정보, 인수들, 파라미터들, 데이터 등은 메모리 공유, 메시지 전달, 토큰 전달, 네트워크 송신 등을 포함한 임의의 적합한 수단을 통해 전달, 포워딩, 또는 송신될 수도 있다.
일부 실시형태들에서, 컴퓨터 판독가능 저장 디바이스들, 매체들, 및 메모리들은 비트 스트림 등을 포함하는 케이블 또는 무선 신호를 포함할 수 있다. 그러나, 언급될 때, 비일시적 컴퓨터 판독가능 저장 매체는 에너지, 캐리어 신호들, 전자기 파들, 및 신호 그 자체와 같은 매체들을 명시적으로 배제한다.
특정 상세들은 본 명세서에 제공된 실시형태들 및 예들의 철저한 이해를 제공하기 위해 위의 설명에서 제공된다. 그러나, 실시형태들은 이들 특정 상세들 없이도 실시될 수도 있음이 당업자에 의해 이해될 것이다. 설명의 명확성을 위해, 일부 인스턴스들에서, 본 기술은 소프트웨어, 또는 하드웨어와 소프트웨어의 조합들로 구현되는 방법에서 단계들 또는 루틴들, 디바이스 컴포넌트들, 디바이스들을 포함하는 기능 블록들을 포함한 개별 기능 블록들을 포함하는 것으로서 제시될 수도 있다. 도면들에 나타내고 및/또는 본 명세서에 설명된 것들 이외의 부가적인 컴포넌트들이 사용될 수도 있다. 예를 들어, 회로, 시스템, 네트워크, 프로세스 및 다른 컴포넌트들은, 실시형태들을 불필요한 상세들에서 불분명하게 하지 않기 위하여 블록 다이어그램 형태의 컴포넌트들로서 보여질 수도 있다. 다른 예들에서, 잘 알려진 회로들, 프로세스들, 알고리즘, 구조들, 및 기법들은 실시형태들을 모호하게 하는 것을 회피하기 위하여 불필요한 상세없이 나타낼 수도 있다.
개별 실시형태들은 플로우차트, 플로우 다이어그램, 데이터 플로우 다이어그램, 구조 다이어그램, 또는 블록 다이어그램으로서 도시되는 프로세스 또는 방법으로서 위에서 설명될 수도 있다. 플로우차트는 순차적 프로세스로서 동작들을 설명할 수도 있지만, 많은 동작들은 병렬로, 또는 동시에 수행될 수 있다. 또한, 동작들의 순서는 재배열될 수도 있다. 프로세스는 그의 동작들이 완료되면 종료되지만, 도면에 포함되지 않은 추가의 단계들을 가질 수 있다. 프로세스는 방법, 함수, 절차, 서브루틴, 서브프로그램 등에 대응할 수도 있다. 프로세스가 함수에 대응할 경우, 그 종료는 그 함수의 호출 함수 또는 메인 함수로의 복귀에 대응할 수 있다.
상술한 예들에 따른 프로세스들 및 방법들은 컴퓨터 판독가능 매체들로부터 저장되거나 그렇지 않으면 이용가능한 컴퓨터 실행가능 명령들을 사용하여 구현될 수 있다. 이러한 명령들은 예를 들어, 범용 컴퓨터, 특수 목적 컴퓨터, 또는 프로세싱 디바이스가 소정의 기능 또는 기능들의 그룹을 수행하게 하거나 그렇지 않으면 수행하도록 이들을 구성하는 명령들 및 데이터를 포함할 수 있다. 사용된 컴퓨터 리소스들의 부분들은 네트워크를 통해 액세스가능할 수 있다. 컴퓨터 실행가능 명령들은, 예를 들어 바이너리들, 중간 포맷 명령들, 예컨대 어셈블리 언어, 펌웨어, 소스 코드일 수도 있다. 명령들, 사용된 정보, 및/또는 설명된 예들에 따른 방법들 동안 생성된 정보를 저장하는데 사용될 수도 있는 컴퓨터 판독가능 매체의 예들은 자기 또는 광학 디스크들, 플래시 메모리, 비휘발성 메모리가 제공된 USB 디바이스들, 네트워킹된 저장 디바이스들 등을 포함한다.
이들 개시들에 따른 프로세스들 및 방법들을 구현하는 디바이스들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 디스크립션 언어들, 또는 이들의 임의의 조합을 포함할 수 있고, 다양한 폼 팩터들 중 임의의 것을 취할 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현될 때, 필요한 작업들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들 (예를 들어, 컴퓨터 프로그램 제품) 은 컴퓨터 판독가능 또는 머신 판독가능 매체에 저장될 수도 있다. 프로세서(들) 은 필요한 태스크들을 수행할 수도 있다. 폼 팩터들의 통상의 예들은 랩탑들, 스마트폰들, 모바일 폰들, 태블릿 디바이스들 또는 다른 소형 폼 팩터 개인용 컴퓨터들, 개인용 디지털 보조기들, 랙마운트 디바이스들, 독립형 디바이스들 등을 포함한다. 본 명세서에 설명된 기능성은 또한 주변기기 또는 애드-인 카드 (add-in card) 로 구현될 수 있다. 이러한 기능성은 또한, 추가적인 예로서, 단일 디바이스에서 실행되는 상이한 칩들 또는 상이한 프로세스들 사이의 회로 보드 상에서 구현될 수 있다.
명령들, 이러한 명령들을 전달하기 위한 매체들, 이들을 실행하기 위한 컴퓨팅 리소스들, 및 이러한 컴퓨팅 리소스들을 지원하기 위한 다른 구조들은 본 개시에서 설명된 기능들을 제공하기 위한 예시적인 수단이다.
전술한 설명에서, 본원의 양태들은 이들의 구체적 실시형태를 참조하여 설명되었지만, 당업자는 본 출원이 이에 제한되지 않는다는 것을 인식할 것이다. 따라서, 본 출원의 예시적인 실시형태들이 본 명세서에 상세하게 설명되었지만, 본 발명의 개념은 다르게는 다양하게 구체화되고 채용될 수도 있으며, 첨부된 청구범위는 선행 기술에 의해 제한되는 것을 제외하고, 그러한 변형들을 포함하는 것으로 해석되도록 의도된다. 상술한 출원의 다양한 특징들 및 양태들은 개별적으로 또는 공동으로 사용될 수도 있다. 또한, 실시형태들은 본 명세서의 더 넓은 사상 및 범위를 벗어나지 않으면서 본 명세서에 기재된 것 이외의 임의의 수의 환경 및 애플리케이션들에서 이용될 수 있다. 따라서, 명세서 및 도면들은 제한적이기 보다 예시적인 것으로 간주되어야 한다. 예시의 목적을 위해, 방법들이 특정 순서로 설명되었다. 대안의 실시형태에서, 방법들은 설명된 것과 상이한 순서로 수행될 수도 있음을 이해해야 한다.
당업자는 본 명세서에서 사용된 미만 ("<") 및 초과 (">") 기호들 또는 용어가 본 개시의 범위를 벗어나지 않으면서 이하 및 이상 기호들로 각각 대체될 수 있음을 알 것이다.
컴포넌트들이 특정 동작을 수행하도록 "구성된" 것으로 기술되는 경우, 그러한 구성은 예를 들어, 전자 회로 또는 다른 하드웨어를 설계하여 그 동작을 수행하는 것에 의해, 프로그램가능한 전자 회로 (예를 들어, 마이크로프로세서 또는 다른 적절한 전자 회로) 를 프로그램함으로써 그 동작을 수행하는 것에 의해 또는 이들의 임의의 조합에 의해, 달성될 수 있다.
구절 "커플링된" 은 직접 또는 간접적으로 다른 컴포넌트에 물리적으로 연결되는 임의의 컴포넌트, 및/또는 직접 또는 간접적으로 다른 컴포넌트와 통신하는 (예를 들어, 유선 또는 무선 연결, 및/또는 다른 적절한 통신 인터페이스를 통해 다른 컴포넌트에 연결되는) 임의의 컴포넌트를 지칭한다.
세트 중 "적어도 하나" 및/또는 세트 중 "하나 이상"을 인용하는 본 개시의 청구항 언어 또는 다른 언어는 세트 중 하나의 멤버 또는 세트 중 다중 멤버들 (임의의 조합으로) 이 청구항을 만족한다는 것을 나타낸다. 예를 들어, 청구항 언어가 "A 및 B 중 적어도 하나" 또는 "A 또는 B 중 적어도 하나"를 인용하는 것은 A, B, 또는 A 및 B 를 의미한다. 다른 예에서, 청구항 언어가 "A, B, 및 C 중 적어도 하나" 또는 "A, B, 또는 C 중 적어도 하나"를 인용하는 것은 A, B, C, 또는 A 및 B, 또는 A 및 C, 또는 B 및 C, 또는 A 및 B 및 C를 의미한다. 세트 중 “적어도 하나" 및/또는 세트 중 “하나 이상" 의 언어는 세트에 리스트된 항목들에 대한 세트를 제한하지 않는다. 예를 들어, 청구항 언어가 "A 및 B 중 적어도 하나" 또는 "A 또는 B 중 적어도 하나"를 인용하는 것은 A, B, 또는 A 및 B 를 의미할 수 있고, A 및 B 의 세트에 리스트되지 않은 아이템들을 부가적으로 포함할 수 있다.
본 명세서에 개시된 예들과 관련하여 설명된 다양한 예시적인 논리 블록, 모듈, 회로, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 조합으로 구현될 수도 있다. 하드웨어 및 소프트웨어의 이러한 상호교환가능성을 명백하게 예시하기 위하여, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들이 일반적으로 그들의 기능성에 관하여 설명되었다. 그러한 기능성이 하드웨어 또는 소프트웨어로 구현될지 여부는, 전체 시스템에 부과된 특정 애플리케이션 및 설계 제약에 의존한다. 당업자는 설명된 기능성을 각각의 특정 애플리케이션에 대해 다른 방식으로 구현할 수도 있지만, 이러한 구현 결정이 본 출원의 범위를 벗어나게 하는 것으로 해석되지 않아야 한다.
본 명세서에 설명된 기법들은 또한 전자 하드웨어, 컴퓨터 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수도 있다. 그러한 기법들은 범용 컴퓨터, 무선 통신 디바이스 핸드세트, 또는 무선 통신 디바이스 핸드세트 및 다른 디바이스들에서의 애플리케이션을 포함하는 다수의 사용들을 갖는 집적 회로 디바이스들과 같은 다양한 디바이스들 중의 임의의 것에서 구현될 수도 있다. 모듈들 또는 컴포넌트들로서 설명된 임의의 특징들은 집적 로직 디바이스에서 함께 구현되거나 또는 이산이지만 상호동작가능한 로직 디바이스들로서 별도로 구현될 수도 있다. 소프트웨어로 구현되면, 기법들은, 실행될 때, 상술한 방법들, 알고리즘들, 및/또는 동작들 중 하나 이상을 수행하는 명령들을 포함하는 프로그램 코드를 포함하는 컴퓨터 판독가능 데이터 저장 매체에 의해 적어도 부분적으로 실현될 수도 있다. 컴퓨터 판독가능 데이터 저장 매체는 패키징 재료들을 포함할 수도 있는 컴퓨터 프로그램 제품의 일부를 형성할 수도 있다. 컴퓨터 판독가능 매체는 메모리 또는 데이터 저장 매체, 예컨대 동기식 랜덤 액세스 메모리 (SDRAM) 와 같은 랜덤 액세스 메모리 (DRAM), 판독 전용 메모리 (ROM), 비휘발성 랜덤 액세스 메모리 (NVRAM), 전기적 소거가능 프로그램가능 판독 전용 메모리 (EEPROM), 플래시 메모리, 자기 또는 광학 데이터 저장 매체 등을 포함할 수도 있다. 부가적으로 또는 대안으로 기법들은, 전파된 신호들 또는 파들과 같은, 컴퓨터에 의해 실행되고 및/또는, 액세스될 수 있는 그리고 명령들 또는 데이터 구조들의 형태로 프로그램 코드를 반송 또는 통신하는 컴퓨터 판독가능 통신 매체에 의해 적어도 부분적으로 실현될 수도 있다.
프로그램 코드는 하나 이상의 프로세서, 예컨대 하나 이상의 디지털 신호 프로세서 (DSP), 범용 마이크로프로세서들, 주문형 집적 회로들 (ASIC들), 필드 프로그램가능 로직 어레이들 (FPGA들), 또는 다른 균등한 통합된 또는 별개의 로직 회로부를 포함할 수도 있는 프로세서에 의해 실행될 수도 있다. 그러한 프로세서는 본 개시에 설명된 기법들 중의 임의의 것을 수행하도록 구성될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안으로, 그 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로 제어기, 또는 상태 머신일 수도 있다. 또한, 프로세서는 컴퓨팅 디바이스들의 조합, 예를 들어 DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서, DSP 코어와 결합한 하나 이상의 마이크로프로세서, 또는 임의의 다른 이러한 구성으로서 구현될 수도 있다. 따라서, 본원에 사용된 용어 "프로세서" 는 임의의 전술한 구조, 전술한 구조의 임의의 조합, 또는 본원에 설명된 기술들의 구현에 적합한 임의의 다른 구조 또는 장치를 지칭할 수도 있다.
개시의 예시적인 예들은 다음을 포함한다:
양태 1: 장치로서, 메모리; 및 메모리에 커플링된 하나 이상의 프로세서들을 포함하고, 하나 이상의 프로세서들은, 전자 디바이스의 복수의 이미지 센서들을 초기화하는 것으로서, 복수의 이미지 센서들의 각각의 이미지 센서는 복수의 이미지 센서들 중 하나 이상의 이미지 센서들에 의해 지원된 고전력 모드보다 낮은 제 1 저전력 소비와 연관된 제 1 저전력 모드에서 초기화되는, 상기 복수의 이미지 센서들을 초기화하고; 제 1 저전력 모드에서 복수의 이미지 센서들에 의해 캡처된 복수의 이미지들을 획득하고; 복수의 이미지들에 기초하여, 장면에서의 관심 영역 (ROI) 이 복수의 이미지 센서들로부터의 제 1 이미지 센서의 시야 (FOV) 내에 있다고 결정하고; ROI 가 제 1 이미지 센서의 FOV 내에 있다고 결정하는 것에 기초하여, 복수의 이미지 센서들로부터의 하나 이상의 제 2 이미지 센서들의 제 1 저전력 모드를 제 1 저전력 모드보다 낮은 제 2 저전력 소비와 연관된 전력-오프 모드 또는 제 2 저전력 모드 중 하나로 감소시키고; 그리고 제 1 이미지 센서를 사용하여, ROI 의 하나 이상의 이미지들을 캡처하도록 구성된다.
양태 2: 양태 1 의 장치에서, 하나 이상의 프로세서들은, ROI 가 제 1 이미지 센서의 FOV 내에 있다고 결정하는 것에 기초하여, 제 1 이미지 센서를 제 1 저전력 모드에서 고전력 모드로 트랜지션하고; 그리고 고전력 모드에서의 제 1 이미지 센서를 사용하여 ROI 의 하나 이상의 이미지들을 캡처하도록 구성된다.
양태 3: 양태 2 의 장치에서, 제 1 이미지 센서를 제 1 저전력 모드에서 고전력 모드로 트랜지션하기 위해, 하나 이상의 프로세서들은, ROI 가 제 1 이미지 센서의 FOV 내에 있다고 결정하는 것에 기초하여, 제 1 이미지 센서의 제 1 노출 설정을 조정하고; 그리고 ROI 가 하나 이상의 제 2 이미지 센서들의 하나 이상의 FOV들의 외부에 있다는 결정에 기초하여, 하나 이상의 제 2 이미지 센서들의 슬립 설정 및 제 2 노출 설정 중 적어도 하나를 조정하도록 구성된다.
양태 4: 양태들 2 내지 3 중 임의의 것의 장치에서, 제 1 이미지 센서를 제 1 저전력 모드에서 고전력 모드로 트랜지션하기 위해, 하나 이상의 프로세서들은, 제 1 이미지 센서에 의해 캡처된 하나 이상의 이미지들을 프로세싱하는데 사용된 하나 이상의 다른 리소스들보다 낮은 전력 소비를 갖는 하나 이상의 리소스들을 사용하여 하나 이상의 제 2 이미지 센서들로부터의 데이터를 프로세싱하도록 구성된다.
양태 5: 양태 2 의 장치에서, 제 1 이미지 센서를 제 1 저전력 모드에서 고전력 모드로 트랜지션하기 위해, 하나 이상의 프로세서들은 하나 이상의 제 2 이미지 센서들을 턴 오프하는 것, 하나 이상의 제 2 이미지 센서들의 해상도를 감소시키는 것, 및 하나 이상의 제 2 이미지 센서들의 프레임레이트를 감소시키는 것 중 적어도 하나를 행하도록 구성된다.
양태 6: 양태들 1 내지 5 중 임의의 것의 장치에서, 하나 이상의 프로세서들은, ROI 가 제 1 이미지 센서의 FOV 와 복수의 이미지 센서들로부터의 제 2 이미지 센서의 상이한 FOV 의 오버랩 부분 내에 있다고 결정하고; 제 1 이미지 센서와 연관된 제 1 전력 비용 및 제 2 이미지 센서와 연관된 제 2 전력 비용을 결정하고; 그리고 제 1 전력 비용 및 제 2 전력 비용에 기초하여 제 1 이미지 센서 및 제 2 이미지 센서의 전력 모드를 조정하도록 구성된다.
양태 7: 양태 6 의 장치에서, 제 1 이미지 센서 및 제 2 이미지 센서의 전력 모드를 조정하기 위해, 하나 이상의 프로세서들은, 제 2 이미지 센서의 전력 모드를 증가시키는 것으로서, 제 2 이미지 센서는 제 2 이미지 센서보다 낮은 전력 비용을 갖는, 상기 제 2 이미지 센서의 전력 모드를 증가시키고; 그리고 제 1 이미지 센서의 전력 모드를 감소시키도록 구성된다.
양태 8: 양태들 6 내지 7 중 임의의 것의 장치에서, 하나 이상의 프로세서들은, 제 2 이미지 센서를 사용하여 ROI 의 이미지를 캡처하는 것으로서, 제 2 이미지 센서는 제 1 이미지 센서보다 낮은 이미지 품질 속성과 연관되는, 상기 ROI 의 이미지를 캡처하고; 그리고 뉴럴 네트워크를 사용하여, 이미지, 적어도 제 1 이미지 센서에 의해 캡처된 ROI 의 부가 이미지, 및 이미지와 연관된 모션 정보 중 적어도 하나에 기초하여 이미지의 하나 이상의 시각적 특성들을 조정하도록 구성된다.
양태 9: 양태들 6 내지 8 중 임의의 것의 장치에서, 제 1 전력 비용 및 제 2 전력 비용을 결정하기 위해, 하나 이상의 프로세서들은, 제 1 이미지 센서와 연관된 제 1 가중치를 제 1 전력 비용에 적용하고 제 2 이미지 센서와 연관된 제 2 가중치를 제 2 전력 비용에 적용하도록 구성된다.
양태 10: 양태들 6 내지 9 중 임의의 것의 장치에서, 제 1 가중치 및 제 2 가중치는 제 1 이미지 센서 및 제 2 이미지 센서와 연관된 개개의 이미지 품질 속성, 제 1 이미지 센서 및 제 2 이미지 센서와 연관된 개개의 전력 소비, 및 제 1 이미지 센서 및 제 2 이미지 센서와 연관된 하나 이상의 개개의 프로세싱 능력들 중 적어도 하나에 기초한다.
양태 11: 양태들 1 내지 10 중 임의의 것의 장치에서, 하나 이상의 프로세서들은, 복수의 이미지 센서들로부터의 하나 이상의 이미지 센서들에 대한 하나 이상의 오브젝트 검출기들을 초기화하는 것으로서, 하나 이상의 오브젝트 검출기들은 하나 이상의 오브젝트 검출기들에 의해 지원된 제 2 모드보다 낮은 제 3 저전력 소비와 연관된 제 1 모드에서 초기화되는, 상기 하나 이상의 오브젝트 검출기들을 초기화하고; ROI 가 하나 이상의 이미지 센서들 각각의 제 2 FOV 의 외부에 있다고 결정하고; 그리고 ROI 가 하나 이상의 이미지 센서들 각각의 제 2 FOV 의 외부에 있다고 결정하는 것에 기초하여, 제 3 저전력 소비와 연관된 제 1 모드에서 하나 이상의 오브젝트 검출기들로 제 1 저전력 모드에서 하나 이상의 이미지 센서들을 실행하도록 구성된다.
양태 12: 양태들 1 내지 11 중 임의의 것의 양태에서, 하나 이상의 프로세서들은, ROI 가 복수의 이미지 센서들로부터의 이미지 센서들의 세트의 개개의 FOV들 내에 있다고 결정하고; 이미지 센서들의 세트의 적어도 일부에 걸쳐 카메라 노출들의 캡처를 조정하고; 그리고 이미지 센서들의 세트의 적어도 일부를 사용하여 캡처된 카메라 노출들에 기초하여 하나 이상의 이미지들을 생성하도록 구성된다.
양태 13: 양태들 1 내지 12 중 임의의 것의 장치에서, 하나 이상의 프로세서들은, 전자 디바이스 및 ROI 중 적어도 하나의 움직임에 기초하여, ROI 가 제 1 이미지 센서의 FOV 의 외부에 그리고 복수의 이미지 센서들로부터의 제 2 이미지 센서의 상이한 FOV 내에 있다고 결정하고; ROI 가 제 1 이미지 센서의 FOV 의 외부에 그리고 제 2 이미지 센서의 상이한 FOV 내에 있다고 결정하는 것에 기초하여, 제 1 이미지 센서와 연관된 전력 모드를 감소시키고 제 2 이미지 센서와 연관된 부가 전력 모드를 증가시키고; 그리고 제 2 이미지 센서에 의해, ROI 의 하나 이상의 부가 이미지들을 캡처하도록 구성된다.
양태 14: 양태 13 의 장치에서, 제 2 이미지 센서와 연관된 부가 전력 모드를 증가시키기 위해, 하나 이상의 프로세서들은, 제 2 이미지 센서를 턴 온하는 것, 제 2 이미지 센서의 해상도를 증가시키는 것, 제 2 이미지 센서의 프레임레이트를 증가시키는 것, 및 제 1 이미지 센서와 연관된 감소된 전력 모드와 연관된 하나 이상의 상이한 리소스들보다 높은 전력 소비를 갖는 하나 이상의 리소스들을 사용하여 제 2 이미지 센서로부터의 데이터를 프로세싱하는 것 중 적어도 하나를 행하도록 구성된다.
양태 15: 양태들 1 내지 14 중 임의의 것의 장치에서, 하나 이상의 프로세서들은, 전자 디바이스 및 ROI 중 적어도 하나의 움직임에 기초하여, ROI 가 제 1 이미지 센서의 FOV 의 제 1 부분 및 복수의 이미지 센서들로부터의 제 2 이미지 센서의 상이한 FOV 의 제 2 부분 내에 있다고 결정하고; FOV 및 상이한 FOV 에 대한 ROI 의 궤적을 결정하고; ROI 의 궤적에 기초하여, 제 1 이미지 센서에서 제 2 이미지 센서로 스위칭하는 것으로서, 제 1 이미지 센서에서 제 2 이미지 센서로의 스위칭은 제 1 이미지 센서와 연관된 전력 모드를 감소시키고 제 2 이미지 센서와 연관된 부가 전력 모드를 증가시키는 것을 포함하는, 상기 제 1 이미지 센서에서 상기 제 2 이미지 센서로 스위칭하고; 그리고 제 2 이미지 센서에 의해, ROI 의 하나 이상의 부가 이미지들을 캡처하도록 구성된다.
양태 16: 양태들 1 내지 15 중 임의의 것의 장치에서, 하나 이상의 프로세서들은, 제 1 이미지 센서에 의해 캡처된 하나 이상의 이미지들에 기초하여 ROI 의 위치를 추적하고; 그리고 복수의 이미지 센서들로부터의 하나 이상의 이미지 센서들과 연관된 하나 이상의 전력 모드들을 조정하도록 구성되고, 하나 이상의 전력 모드들은 ROI 의 위치 및 하나 이상의 이미지 센서들의 하나 이상의 특성들에 기초하여 조정된다.
양태 17: 양태들 1 내지 16 중 임의의 것의 장치에서, 장치는 모바일 디바이스를 포함한다.
양태 18: 양태들 1 내지 17 중 임의의 것의 장치에서, 장치는 전자 디바이스를 포함하고, 전자 디바이스는 XR 디바이스를 포함한다.
양태 19: 양태들 1 내지 18 중 임의의 것의 장치에서, 장치는 복수의 이미지 센서들을 더 포함한다.
양태 20: 방법으로서, 방법은 전자 디바이스의 복수의 이미지 센서들을 초기화하는 단계로서, 복수의 이미지 센서들의 각각의 이미지 센서는 복수의 이미지 센서들 중 하나 이상의 이미지 센서들에 의해 지원된 고전력 모드보다 낮은 제 1 저전력 소비와 연관된 제 1 저전력 모드에서 초기화되는, 상기 복수의 이미지 센서들을 초기화하는 단계; 제 1 저전력 모드에서 복수의 이미지 센서들에 의해 캡처된 복수의 이미지들을 획득하는 단계; 복수의 이미지들에 기초하여, 장면에서의 관심 영역 (ROI) 이 복수의 이미지 센서들로부터의 제 1 이미지 센서의 시야 (FOV) 내에 있다고 결정하는 단계; ROI 가 제 1 이미지 센서의 FOV 내에 있다고 결정하는 것에 기초하여, 복수의 이미지 센서들로부터의 하나 이상의 제 2 이미지 센서들의 제 1 저전력 모드를 제 1 저전력 모드보다 낮은 제 2 저전력 소비와 연관된 전력-오프 모드 또는 제 2 저전력 모드 중 하나로 감소시키는 단계; 및 제 1 이미지 센서를 사용하여, ROI 의 하나 이상의 이미지들을 캡처하는 단계를 포함한다.
양태 21: 양태 20 의 방법은, ROI 가 제 1 이미지 센서의 FOV 내에 있다고 결정하는 것에 기초하여, 제 1 이미지 센서를 제 1 저전력 모드에서 고전력 모드로 트랜지션하는 단계; 및 고전력 모드에서의 제 1 이미지 센서를 사용하여 ROI 의 하나 이상의 이미지들을 캡처하는 단계를 더 포함한다.
양태 22: 양태 21 의 방법에서, 제 1 이미지 센서를 제 1 저전력 모드에서 고전력 모드로 트랜지션하는 단계는, ROI 가 제 1 이미지 센서의 FOV 내에 있다고 결정하는 것에 기초하여, 제 1 이미지 센서의 제 1 노출 설정을 조정하는 단계; 및
ROI 가 하나 이상의 제 2 이미지 센서들의 하나 이상의 FOV들의 외부에 있다는 결정에 기초하여, 하나 이상의 제 2 이미지 센서들의 슬립 설정 및 제 2 노출 설정 중 적어도 하나를 조정하는 단계를 포함한다.
양태 23: 양태들 21 내지 22 중 임의의 것의 방법에서, 제 1 이미지 센서를 제 1 저전력 모드에서 고전력 모드로 트랜지션하는 단계는, 제 1 이미지 센서에 의해 캡처된 하나 이상의 이미지들을 프로세싱하는데 사용된 하나 이상의 다른 리소스들보다 낮은 전력 소비를 갖는 하나 이상의 리소스들을 사용하여 하나 이상의 제 2 이미지 센서들로부터의 데이터를 프로세싱하는 단계를 포함한다.
양태 24: 양태 21 의 방법에서, 제 1 이미지 센서를 제 1 저전력 모드에서 고전력 모드로 트랜지션하는 단계는, 하나 이상의 제 2 이미지 센서들을 턴 오프하는 것, 하나 이상의 제 2 이미지 센서들의 해상도를 감소시키는 것, 및 하나 이상의 제 2 이미지 센서들의 프레임레이트를 감소시키는 것 중 적어도 하나를 포함한다.
양태 25: 양태들 20 내지 24 중 임의의 것의 방법은, ROI 가 제 1 이미지 센서의 FOV 와 복수의 이미지 센서들로부터의 제 2 이미지 센서의 상이한 FOV 의 오버랩 부분 내에 있다고 결정하는 단계; 제 1 이미지 센서와 연관된 제 1 전력 비용 및 제 2 이미지 센서와 연관된 제 2 전력 비용을 결정하는 단계; 및 제 1 전력 비용 및 제 2 전력 비용에 기초하여 제 1 이미지 센서 및 제 2 이미지 센서의 전력 모드를 조정하는 단계를 더 포함한다.
양태 26: 양태 25 의 방법에서, 제 1 이미지 센서 및 제 2 이미지 센서의 전력 모드를 조정하는 단계는, 제 2 이미지 센서의 전력 모드를 증가시키는 단계로서, 제 2 이미지 센서는 제 2 이미지 센서보다 낮은 전력 비용을 갖는, 상기 제 2 이미지 센서의 전력 모드를 증가시키는 단계; 및 제 1 이미지 센서의 전력 모드를 감소시키는 단계를 포함한다.
양태 27: 양태들 25 내지 26 중 임의의 것의 방법에서, 제 1 전력 비용 및 제 2 전력 비용을 결정하는 단계는, 제 1 이미지 센서와 연관된 제 1 가중치를 제 1 전력 비용에 적용하고 제 2 이미지 센서와 연관된 제 2 가중치를 제 2 전력 비용에 적용하는 단계를 포함한다.
양태 28: 양태들 25 내지 27 중 임의의 것의 방법에서, 제 1 가중치 및 제 2 가중치는 제 1 이미지 센서 및 제 2 이미지 센서와 연관된 개개의 이미지 품질 속성, 제 1 이미지 센서 및 제 2 이미지 센서와 연관된 개개의 전력 소비, 및 제 1 이미지 센서 및 제 2 이미지 센서와 연관된 하나 이상의 개개의 프로세싱 능력들 중 적어도 하나에 기초한다.
양태 29: 양태 26 의 방법은, 제 2 이미지 센서를 사용하여 ROI 의 이미지를 캡처하는 단계로서, 제 2 이미지 센서는 제 1 이미지 센서보다 낮은 이미지 품질 속성과 연관되는, 상기 ROI 의 이미지를 캡처하는 단계; 및 뉴럴 네트워크를 사용하여, 이미지, 적어도 제 1 이미지 센서에 의해 캡처된 ROI 의 부가 이미지, 및 이미지와 연관된 모션 정보 중 적어도 하나에 기초하여 이미지의 하나 이상의 시각적 특성들을 조정하는 단계를 더 포함한다.
양태 30: 양태들 20 내지 29 중 임의의 것의 방법은, 복수의 이미지 센서들로부터의 하나 이상의 이미지 센서들에 대한 하나 이상의 오브젝트 검출기들을 초기화하는 단계로서, 하나 이상의 오브젝트 검출기들은 하나 이상의 오브젝트 검출기들에 의해 지원된 제 2 모드보다 낮은 제 3 저전력 소비와 연관된 제 1 모드에서 초기화되는, 상기 하나 이상의 오브젝트 검출기들을 초기화하는 단계; ROI 가 하나 이상의 이미지 센서들 각각의 제 2 FOV 의 외부에 있다고 결정하는 단계; 및 ROI 가 하나 이상의 이미지 센서들 각각의 제 2 FOV 의 외부에 있다고 결정하는 것에 기초하여, 제 3 저전력 소비와 연관된 제 1 모드에서 하나 이상의 오브젝트 검출기들로 제 1 저전력 모드에서 하나 이상의 이미지 센서들을 실행하는 단계를 더 포함한다.
양태 31: 양태들 20 내지 30 중 임의의 것의 방법은, ROI 가 복수의 이미지 센서들로부터의 이미지 센서들의 세트의 개개의 FOV들 내에 있다고 결정하는 단계; 이미지 센서들의 세트의 적어도 일부에 걸쳐 카메라 노출들의 캡처를 조정하는 단계; 및 이미지 센서들의 세트의 적어도 일부를 사용하여 캡처된 카메라 노출들에 기초하여 하나 이상의 이미지들을 생성하는 단계를 더 포함한다.
양태 32: 양태들 20 내지 31 중 임의의 것의 방법은, 전자 디바이스 및 ROI 중 적어도 하나의 움직임에 기초하여, ROI 가 제 1 이미지 센서의 FOV 의 외부에 그리고 복수의 이미지 센서들로부터의 제 2 이미지 센서의 상이한 FOV 내에 있다고 결정하는 단계; ROI 가 제 1 이미지 센서의 FOV 의 외부에 그리고 제 2 이미지 센서의 상이한 FOV 내에 있다고 결정하는 것에 기초하여, 제 1 이미지 센서와 연관된 전력 모드를 감소시키고 제 2 이미지 센서와 연관된 부가 전력 모드를 증가시키는 단계; 및 제 2 이미지 센서에 의해, ROI 의 하나 이상의 부가 이미지들을 캡처하는 단계를 더 포함한다.
양태 33: 양태 32 의 방법에서, 제 2 이미지 센서와 연관된 상기 부가 전력 모드를 증가시키는 단계는, 제 2 이미지 센서를 턴 온하는 것, 상기 제 2 이미지 센서의 해상도를 증가시키는 것, 상기 제 2 이미지 센서의 프레임레이트를 증가시키는 것, 및 상기 제 1 이미지 센서와 연관된 감소된 상기 전력 모드와 연관된 하나 이상의 상이한 리소스들보다 높은 전력 소비를 갖는 하나 이상의 리소스들을 사용하여 상기 제 2 이미지 센서로부터의 데이터를 프로세싱하는 것 중 적어도 하나를 포함한다.
양태 34: 양태들 20 내지 33 중 임의의 것의 방법은, 전자 디바이스 및 ROI 중 적어도 하나의 움직임에 기초하여, ROI 가 제 1 이미지 센서의 FOV 의 제 1 부분 및 복수의 이미지 센서들로부터의 제 2 이미지 센서의 상이한 FOV 의 제 2 부분 내에 있다고 결정하는 단계; FOV 및 상이한 FOV 에 대한 ROI 의 궤적을 결정하는 단계; ROI 의 궤적에 기초하여, 제 1 이미지 센서에서 제 2 이미지 센서로 스위칭하는 단계로서, 제 1 이미지 센서에서 제 2 이미지 센서로의 스위칭은 제 1 이미지 센서와 연관된 전력 모드를 감소시키고 제 2 이미지 센서와 연관된 부가 전력 모드를 증가시키는 것을 포함하는, 상기 제 1 이미지 센서에서 상기 제 2 이미지 센서로 스위칭하는 단계; 및 제 2 이미지 센서에 의해, ROI 의 하나 이상의 부가 이미지들을 캡처하는 단계를 더 포함한다.
양태 35: 양태들 20 내지 34 중 임의의 것의 방법은, 제 1 이미지 센서에 의해 캡처된 하나 이상의 이미지들에 기초하여 ROI 의 위치를 추적하는 단계; 및 복수의 이미지 센서들로부터의 하나 이상의 이미지 센서들과 연관된 하나 이상의 전력 모드들을 조정하는 단계를 포함하고, 하나 이상의 전력 모드들은 ROI 의 위치 및 하나 이상의 이미지 센서들의 하나 이상의 특성들에 기초하여 조정된다.
양태 36: 양태들 20 내지 35 중 임의의 것의 방법에서, 전자 디바이스는 확장 현실 (XR) 디바이스를 포함하고, 상기 XR 디바이스는 상기 복수의 이미지 센서들을 포함한다.
양태 37: 명령들이 저장된 비일시적 컴퓨터 판독가능 매체로서, 명령들은, 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서로 하여금, 양태들 20 내지 36 중 임의의 것에 따른 방법을 수행하게 한다.
양태 38: 양태들 20 내지 35 의 임의의 것에 따른 방법을 수행하는 수단을 포함하는 장치.
양태 39: 양태 38 의 장치에서, 장치는 모바일 디바이스를 포함한다.
양태 40: 양태들 38 내지 39 중 임의의 것의 장치에서, 장치는 전자 디바이스를 포함하고, 전자 디바이스는 XR 디바이스를 포함한다.
양태 41: 양태들 38 내지 40 중 임의의 것의 장치에서, 장치는 복수의 이미지 센서들을 더 포함한다.
Claims (37)
- 적어도 하나의 이미지를 캡처하기 위한 장치로서,
메모리; 및
상기 메모리에 커플링된 하나 이상의 프로세서들을 포함하고, 상기 하나 이상의 프로세서들은,
전자 디바이스의 복수의 이미지 센서들을 초기화하는 것으로서, 상기 복수의 이미지 센서들의 각각의 이미지 센서는 상기 복수의 이미지 센서들 중 하나 이상의 이미지 센서들에 의해 지원된 고전력 모드보다 낮은 제 1 저전력 소비와 연관된 제 1 저전력 모드에서 초기화되는, 상기 복수의 이미지 센서들을 초기화하고;
상기 제 1 저전력 모드에서 상기 복수의 이미지 센서들에 의해 캡처된 복수의 이미지들을 획득하고;
상기 복수의 이미지들에 기초하여, 장면에서의 관심 영역 (ROI) 이 상기 복수의 이미지 센서들로부터의 제 1 이미지 센서의 시야 (FOV) 내에 있다고 결정하고;
상기 ROI 가 상기 제 1 이미지 센서의 상기 FOV 내에 있다고 결정하는 것에 기초하여, 상기 복수의 이미지 센서들로부터의 하나 이상의 제 2 이미지 센서들의 상기 제 1 저전력 모드를 상기 제 1 저전력 모드보다 낮은 제 2 저전력 소비와 연관된 전력-오프 모드 또는 제 2 저전력 모드 중 하나로 감소시키고; 그리고
상기 제 1 이미지 센서를 사용하여, 상기 ROI 의 하나 이상의 이미지들을 캡처하도록 구성되는, 적어도 하나의 이미지를 캡처하기 위한 장치. - 제 1 항에 있어서,
상기 하나 이상의 프로세서들은,
상기 ROI 가 상기 제 1 이미지 센서의 상기 FOV 내에 있다고 결정하는 것에 기초하여, 상기 제 1 이미지 센서를 상기 제 1 저전력 모드에서 상기 고전력 모드로 트랜지션하고; 그리고
상기 고전력 모드에서의 상기 제 1 이미지 센서를 사용하여 상기 ROI 의 상기 하나 이상의 이미지들을 캡처하도록 구성되는, 적어도 하나의 이미지를 캡처하기 위한 장치. - 제 2 항에 있어서,
상기 제 1 이미지 센서를 상기 제 1 저전력 모드에서 상기 고전력 모드로 트랜지션하기 위해, 상기 하나 이상의 프로세서들은,
상기 ROI 가 상기 제 1 이미지 센서의 상기 FOV 내에 있다고 결정하는 것에 기초하여, 상기 제 1 이미지 센서의 제 1 노출 설정을 조정하고; 그리고
상기 ROI 가 상기 하나 이상의 제 2 이미지 센서들의 하나 이상의 FOV들의 외부에 있다는 결정에 기초하여, 상기 하나 이상의 제 2 이미지 센서들의 슬립 설정 및 제 2 노출 설정 중 적어도 하나를 조정하도록 구성되는, 적어도 하나의 이미지를 캡처하기 위한 장치. - 제 2 항에 있어서,
상기 제 1 이미지 센서를 상기 제 1 저전력 모드에서 상기 고전력 모드로 트랜지션하기 위해, 상기 하나 이상의 프로세서들은,
상기 제 1 이미지 센서에 의해 캡처된 상기 하나 이상의 이미지들을 프로세싱하는데 사용된 하나 이상의 다른 리소스들보다 낮은 전력 소비를 갖는 하나 이상의 리소스들을 사용하여 상기 하나 이상의 제 2 이미지 센서들로부터의 데이터를 프로세싱하도록 구성되는, 적어도 하나의 이미지를 캡처하기 위한 장치. - 제 2 항에 있어서,
상기 제 1 이미지 센서를 상기 제 1 저전력 모드에서 상기 고전력 모드로 트랜지션하기 위해, 상기 하나 이상의 프로세서들은 상기 하나 이상의 제 2 이미지 센서들을 턴 오프하는 것, 상기 하나 이상의 제 2 이미지 센서들의 해상도를 감소시키는 것, 및 상기 하나 이상의 제 2 이미지 센서들의 프레임레이트를 감소시키는 것 중 적어도 하나를 행하도록 구성되는, 적어도 하나의 이미지를 캡처하기 위한 장치. - 제 1 항에 있어서,
상기 하나 이상의 프로세서들은,
상기 ROI 가 상기 제 1 이미지 센서의 상기 FOV 와 상기 복수의 이미지 센서들로부터의 제 2 이미지 센서의 상이한 FOV 의 오버랩 부분 내에 있다고 결정하고;
상기 제 1 이미지 센서와 연관된 제 1 전력 비용 및 상기 제 2 이미지 센서와 연관된 제 2 전력 비용을 결정하고; 그리고
상기 제 1 전력 비용 및 상기 제 2 전력 비용에 기초하여 상기 제 1 이미지 센서 및 상기 제 2 이미지 센서의 전력 모드를 조정하도록 구성되는, 적어도 하나의 이미지를 캡처하기 위한 장치. - 제 6 항에 있어서,
상기 제 1 이미지 센서 및 상기 제 2 이미지 센서의 전력 모드를 조정하기 위해, 상기 하나 이상의 프로세서들은,
상기 제 2 이미지 센서의 전력 모드를 증가시키는 것으로서, 상기 제 2 이미지 센서는 상기 제 2 이미지 센서보다 낮은 전력 비용을 갖는, 상기 제 2 이미지 센서의 전력 모드를 증가시키고; 그리고
상기 제 1 이미지 센서의 전력 모드를 감소시키도록 구성되는, 적어도 하나의 이미지를 캡처하기 위한 장치. - 제 6 항에 있어서,
상기 제 1 전력 비용 및 상기 제 2 전력 비용을 결정하기 위해, 상기 하나 이상의 프로세서들은,
상기 제 1 이미지 센서와 연관된 제 1 가중치를 상기 제 1 전력 비용에 적용하고 상기 제 2 이미지 센서와 연관된 제 2 가중치를 상기 제 2 전력 비용에 적용하도록 구성되는, 적어도 하나의 이미지를 캡처하기 위한 장치. - 제 8 항에 있어서,
상기 제 1 가중치 및 상기 제 2 가중치는 상기 제 1 이미지 센서 및 상기 제 2 이미지 센서와 연관된 개개의 이미지 품질 속성, 상기 제 1 이미지 센서 및 상기 제 2 이미지 센서와 연관된 개개의 전력 소비, 및 상기 제 1 이미지 센서 및 상기 제 2 이미지 센서와 연관된 하나 이상의 개개의 프로세싱 능력들 중 적어도 하나에 기초하는, 적어도 하나의 이미지를 캡처하기 위한 장치. - 제 7 항에 있어서,
상기 하나 이상의 프로세서들은,
상기 제 2 이미지 센서를 사용하여 상기 ROI 의 이미지를 캡처하는 것으로서, 상기 제 2 이미지 센서는 상기 제 1 이미지 센서보다 낮은 이미지 품질 속성과 연관되는, 상기 ROI 의 이미지를 캡처하고; 그리고
뉴럴 네트워크를 사용하여, 상기 이미지, 적어도 상기 제 1 이미지 센서에 의해 캡처된 상기 ROI 의 부가 이미지, 및 상기 이미지와 연관된 모션 정보 중 적어도 하나에 기초하여 상기 이미지의 하나 이상의 시각적 특성들을 조정하도록 구성되는, 적어도 하나의 이미지를 캡처하기 위한 장치. - 제 1 항에 있어서,
상기 하나 이상의 프로세서들은,
상기 복수의 이미지 센서들로부터의 하나 이상의 이미지 센서들에 대한 하나 이상의 오브젝트 검출기들을 초기화하는 것으로서, 상기 하나 이상의 오브젝트 검출기들은 상기 하나 이상의 오브젝트 검출기들에 의해 지원된 제 2 모드보다 낮은 제 3 저전력 소비와 연관된 제 1 모드에서 초기화되는, 상기 하나 이상의 오브젝트 검출기들을 초기화하고;
상기 ROI 가 상기 하나 이상의 이미지 센서들 각각의 제 2 FOV 의 외부에 있다고 결정하고; 그리고
상기 ROI 가 상기 하나 이상의 이미지 센서들 각각의 제 2 FOV 의 외부에 있다고 결정하는 것에 기초하여, 상기 제 3 저전력 소비와 연관된 상기 제 1 모드에서 상기 하나 이상의 오브젝트 검출기들로 상기 제 1 저전력 모드에서 상기 하나 이상의 이미지 센서들을 실행하도록 구성되는, 적어도 하나의 이미지를 캡처하기 위한 장치. - 제 1 항에 있어서,
상기 하나 이상의 프로세서들은,
상기 ROI 가 상기 복수의 이미지 센서들로부터의 이미지 센서들의 세트의 개개의 FOV들 내에 있다고 결정하고;
상기 이미지 센서들의 세트의 적어도 일부에 걸쳐 카메라 노출들의 캡처를 조정하고; 그리고
상기 이미지 센서들의 세트의 적어도 일부를 사용하여 캡처된 상기 카메라 노출들에 기초하여 하나 이상의 이미지들을 생성하도록 구성되는, 적어도 하나의 이미지를 캡처하기 위한 장치. - 제 1 항에 있어서,
상기 하나 이상의 프로세서들은,
상기 전자 디바이스 및 상기 ROI 중 적어도 하나의 움직임에 기초하여, 상기 ROI 가 상기 제 1 이미지 센서의 상기 FOV 의 외부에 그리고 상기 복수의 이미지 센서들로부터의 제 2 이미지 센서의 상이한 FOV 내에 있다고 결정하고;
상기 ROI 가 상기 제 1 이미지 센서의 상기 FOV 의 외부에 그리고 상기 제 2 이미지 센서의 상기 상이한 FOV 내에 있다고 결정하는 것에 기초하여, 상기 제 1 이미지 센서와 연관된 전력 모드를 감소시키고 상기 제 2 이미지 센서와 연관된 부가 전력 모드를 증가시키고; 그리고
상기 제 2 이미지 센서에 의해, 상기 ROI 의 하나 이상의 부가 이미지들을 캡처하도록 구성되는, 적어도 하나의 이미지를 캡처하기 위한 장치. - 제 13 항에 있어서,
상기 제 2 이미지 센서와 연관된 상기 부가 전력 모드를 증가시키기 위해, 상기 하나 이상의 프로세서들은, 상기 제 2 이미지 센서를 턴 온하는 것, 상기 제 2 이미지 센서의 해상도를 증가시키는 것, 상기 제 2 이미지 센서의 프레임레이트를 증가시키는 것, 및 상기 제 1 이미지 센서와 연관된 감소된 상기 전력 모드와 연관된 하나 이상의 상이한 리소스들보다 높은 전력 소비를 갖는 하나 이상의 리소스들을 사용하여 상기 제 2 이미지 센서로부터의 데이터를 프로세싱하는 것 중 적어도 하나를 행하도록 구성되는, 적어도 하나의 이미지를 캡처하기 위한 장치. - 제 1 항에 있어서,
상기 하나 이상의 프로세서들은,
상기 전자 디바이스 및 상기 ROI 중 적어도 하나의 움직임에 기초하여, 상기 ROI 가 상기 제 1 이미지 센서의 상기 FOV 의 제 1 부분 및 상기 복수의 이미지 센서들로부터의 제 2 이미지 센서의 상이한 FOV 의 제 2 부분 내에 있다고 결정하고;
상기 FOV 및 상기 상이한 FOV 에 대한 상기 ROI 의 궤적을 결정하고;
상기 ROI 의 궤적에 기초하여, 상기 제 1 이미지 센서에서 상기 제 2 이미지 센서로 스위칭하는 것으로서, 상기 제 1 이미지 센서에서 상기 제 2 이미지 센서로의 스위칭은 상기 제 1 이미지 센서와 연관된 전력 모드를 감소시키고 상기 제 2 이미지 센서와 연관된 부가 전력 모드를 증가시키는 것을 포함하는, 상기 제 1 이미지 센서에서 상기 제 2 이미지 센서로 스위칭하고; 그리고
상기 제 2 이미지 센서에 의해, 상기 ROI 의 하나 이상의 부가 이미지들을 캡처하도록 구성되는, 적어도 하나의 이미지를 캡처하기 위한 장치. - 제 1 항에 있어서,
상기 하나 이상의 프로세서들은,
상기 제 1 이미지 센서에 의해 캡처된 상기 하나 이상의 이미지들에 기초하여 상기 ROI 의 위치를 추적하고; 그리고
상기 복수의 이미지 센서들로부터의 하나 이상의 이미지 센서들과 연관된 하나 이상의 전력 모드들을 조정하는 것으로서, 상기 하나 이상의 전력 모드들은 상기 ROI 의 위치 및 상기 하나 이상의 이미지 센서들의 하나 이상의 특성들에 기초하여 조정되는, 상기 하나 이상의 전력 모드들을 조정하도록 구성되는, 적어도 하나의 이미지를 캡처하기 위한 장치. - 제 1 항에 있어서,
상기 장치는 모바일 디바이스를 포함하는, 적어도 하나의 이미지를 캡처하기 위한 장치. - 제 1 항에 있어서,
상기 장치는 상기 전자 디바이스를 포함하고, 상기 전자 디바이스는 XR 디바이스를 포함하는, 적어도 하나의 이미지를 캡처하기 위한 장치. - 제 1 항에 있어서,
상기 장치는 상기 복수의 이미지 센서들을 더 포함하는, 적어도 하나의 이미지를 캡처하기 위한 장치. - 적어도 하나의 이미지를 캡처하는 방법으로서,
전자 디바이스의 복수의 이미지 센서들을 초기화하는 단계로서, 상기 복수의 이미지 센서들의 각각의 이미지 센서는 상기 복수의 이미지 센서들 중 하나 이상의 이미지 센서들에 의해 지원된 고전력 모드보다 낮은 제 1 저전력 소비와 연관된 제 1 저전력 모드에서 초기화되는, 상기 복수의 이미지 센서들을 초기화하는 단계;
상기 제 1 저전력 모드에서 상기 복수의 이미지 센서들에 의해 캡처된 복수의 이미지들을 획득하는 단계;
상기 복수의 이미지들에 기초하여, 장면에서의 관심 영역 (ROI) 이 상기 복수의 이미지 센서들로부터의 제 1 이미지 센서의 시야 (FOV) 내에 있다고 결정하는 단계;
상기 ROI 가 상기 제 1 이미지 센서의 상기 FOV 내에 있다고 결정하는 것에 기초하여, 상기 복수의 이미지 센서들로부터의 하나 이상의 제 2 이미지 센서들의 상기 제 1 저전력 모드를 상기 제 1 저전력 모드보다 낮은 제 2 저전력 소비와 연관된 전력-오프 모드 또는 제 2 저전력 모드 중 하나로 감소시키는 단계; 및
상기 제 1 이미지 센서를 사용하여, 상기 ROI 의 하나 이상의 이미지들을 캡처하는 단계를 포함하는, 적어도 하나의 이미지를 캡처하는 방법. - 제 20 항에 있어서,
상기 ROI 가 상기 제 1 이미지 센서의 상기 FOV 내에 있다고 결정하는 것에 기초하여, 상기 제 1 이미지 센서를 상기 제 1 저전력 모드에서 상기 고전력 모드로 트랜지션하는 단계; 및
상기 고전력 모드에서의 상기 제 1 이미지 센서를 사용하여 상기 ROI 의 상기 하나 이상의 이미지들을 캡처하는 단계를 더 포함하는, 적어도 하나의 이미지를 캡처하는 방법. - 제 21 항에 있어서,
상기 제 1 이미지 센서를 상기 제 1 저전력 모드에서 상기 고전력 모드로 트랜지션하는 단계는,
상기 ROI 가 상기 제 1 이미지 센서의 상기 FOV 내에 있다고 결정하는 것에 기초하여, 상기 제 1 이미지 센서의 제 1 노출 설정을 조정하는 단계; 및
상기 ROI 가 상기 하나 이상의 제 2 이미지 센서들의 하나 이상의 FOV들의 외부에 있다는 결정에 기초하여, 상기 하나 이상의 제 2 이미지 센서들의 슬립 설정 및 제 2 노출 설정 중 적어도 하나를 조정하는 단계를 포함하는, 적어도 하나의 이미지를 캡처하는 방법. - 제 21 항에 있어서,
상기 제 1 이미지 센서를 상기 제 1 저전력 모드에서 상기 고전력 모드로 트랜지션하는 단계는,
상기 제 1 이미지 센서에 의해 캡처된 상기 하나 이상의 이미지들을 프로세싱하는데 사용된 하나 이상의 다른 리소스들보다 낮은 전력 소비를 갖는 하나 이상의 리소스들을 사용하여 상기 하나 이상의 제 2 이미지 센서들로부터의 데이터를 프로세싱하는 단계를 포함하는, 적어도 하나의 이미지를 캡처하는 방법. - 제 21 항에 있어서,
상기 제 1 이미지 센서를 상기 제 1 저전력 모드에서 상기 고전력 모드로 트랜지션하는 단계는, 상기 하나 이상의 제 2 이미지 센서들을 턴 오프하는 것, 상기 하나 이상의 제 2 이미지 센서들의 해상도를 감소시키는 것, 및 상기 하나 이상의 제 2 이미지 센서들의 프레임레이트를 감소시키는 것 중 적어도 하나를 포함하는, 적어도 하나의 이미지를 캡처하는 방법. - 제 20 항에 있어서,
상기 ROI 가 상기 제 1 이미지 센서의 상기 FOV 와 상기 복수의 이미지 센서들로부터의 제 2 이미지 센서의 상이한 FOV 의 오버랩 부분 내에 있다고 결정하는 단계;
상기 제 1 이미지 센서와 연관된 제 1 전력 비용 및 상기 제 2 이미지 센서와 연관된 제 2 전력 비용을 결정하는 단계; 및
상기 제 1 전력 비용 및 상기 제 2 전력 비용에 기초하여 상기 제 1 이미지 센서 및 상기 제 2 이미지 센서의 전력 모드를 조정하는 단계를 더 포함하는, 적어도 하나의 이미지를 캡처하는 방법. - 제 25 항에 있어서,
상기 제 1 이미지 센서 및 상기 제 2 이미지 센서의 전력 모드를 조정하는 단계는,
상기 제 2 이미지 센서의 전력 모드를 증가시키는 단계로서, 상기 제 2 이미지 센서는 상기 제 2 이미지 센서보다 낮은 전력 비용을 갖는, 상기 제 2 이미지 센서의 전력 모드를 증가시키는 단계; 및
상기 제 1 이미지 센서의 전력 모드를 감소시키는 단계를 포함하는, 적어도 하나의 이미지를 캡처하는 방법. - 제 25 항에 있어서,
상기 제 1 전력 비용 및 상기 제 2 전력 비용을 결정하는 단계는,
상기 제 1 이미지 센서와 연관된 제 1 가중치를 상기 제 1 전력 비용에 적용하고 상기 제 2 이미지 센서와 연관된 제 2 가중치를 상기 제 2 전력 비용에 적용하는 단계를 포함하는, 적어도 하나의 이미지를 캡처하는 방법. - 제 27 항에 있어서,
상기 제 1 가중치 및 상기 제 2 가중치는 상기 제 1 이미지 센서 및 상기 제 2 이미지 센서와 연관된 개개의 이미지 품질 속성, 상기 제 1 이미지 센서 및 상기 제 2 이미지 센서와 연관된 개개의 전력 소비, 및 상기 제 1 이미지 센서 및 상기 제 2 이미지 센서와 연관된 하나 이상의 개개의 프로세싱 능력들 중 적어도 하나에 기초하는, 적어도 하나의 이미지를 캡처하는 방법. - 제 26 항에 있어서,
상기 제 2 이미지 센서를 사용하여 상기 ROI 의 이미지를 캡처하는 단계로서, 상기 제 2 이미지 센서는 상기 제 1 이미지 센서보다 낮은 이미지 품질 속성과 연관되는, 상기 ROI 의 이미지를 캡처하는 단계; 및
뉴럴 네트워크를 사용하여, 상기 이미지, 적어도 상기 제 1 이미지 센서에 의해 캡처된 상기 ROI 의 부가 이미지, 및 상기 이미지와 연관된 모션 정보 중 적어도 하나에 기초하여 상기 이미지의 하나 이상의 시각적 특성들을 조정하는 단계를 더 포함하는, 적어도 하나의 이미지를 캡처하는 방법. - 제 20 항에 있어서,
상기 복수의 이미지 센서들로부터의 하나 이상의 이미지 센서들에 대한 하나 이상의 오브젝트 검출기들을 초기화하는 단계로서, 상기 하나 이상의 오브젝트 검출기들은 상기 하나 이상의 오브젝트 검출기들에 의해 지원된 제 2 모드보다 낮은 제 3 저전력 소비와 연관된 제 1 모드에서 초기화되는, 상기 하나 이상의 오브젝트 검출기들을 초기화하는 단계;
상기 ROI 가 상기 하나 이상의 이미지 센서들 각각의 제 2 FOV 의 외부에 있다고 결정하는 단계; 및
상기 ROI 가 상기 하나 이상의 이미지 센서들 각각의 제 2 FOV 의 외부에 있다고 결정하는 것에 기초하여, 상기 제 3 저전력 소비와 연관된 상기 제 1 모드에서 상기 하나 이상의 오브젝트 검출기들로 상기 제 1 저전력 모드에서 상기 하나 이상의 이미지 센서들을 실행하는 단계를 더 포함하는, 적어도 하나의 이미지를 캡처하는 방법. - 제 20 항에 있어서,
상기 ROI 가 상기 복수의 이미지 센서들로부터의 이미지 센서들의 세트의 개개의 FOV들 내에 있다고 결정하는 단계;
상기 이미지 센서들의 세트의 적어도 일부에 걸쳐 카메라 노출들의 캡처를 조정하는 단계; 및
상기 이미지 센서들의 세트의 적어도 일부를 사용하여 캡처된 상기 카메라 노출들에 기초하여 하나 이상의 이미지들을 생성하는 단계를 더 포함하는, 적어도 하나의 이미지를 캡처하는 방법. - 제 20 항에 있어서,
상기 전자 디바이스 및 상기 ROI 중 적어도 하나의 움직임에 기초하여, 상기 ROI 가 상기 제 1 이미지 센서의 상기 FOV 의 외부에 그리고 상기 복수의 이미지 센서들로부터의 제 2 이미지 센서의 상이한 FOV 내에 있다고 결정하는 단계;
상기 ROI 가 상기 제 1 이미지 센서의 상기 FOV 의 외부에 그리고 상기 제 2 이미지 센서의 상기 상이한 FOV 내에 있다고 결정하는 것에 기초하여, 상기 제 1 이미지 센서와 연관된 전력 모드를 감소시키고 상기 제 2 이미지 센서와 연관된 부가 전력 모드를 증가시키는 단계; 및
상기 제 2 이미지 센서에 의해, 상기 ROI 의 하나 이상의 부가 이미지들을 캡처하는 단계를 더 포함하는, 적어도 하나의 이미지를 캡처하는 방법. - 제 32 항에 있어서,
상기 제 2 이미지 센서와 연관된 상기 부가 전력 모드를 증가시키는 단계는, 상기 제 2 이미지 센서를 턴 온하는 것, 상기 제 2 이미지 센서의 해상도를 증가시키는 것, 상기 제 2 이미지 센서의 프레임레이트를 증가시키는 것, 및 상기 제 1 이미지 센서와 연관된 감소된 상기 전력 모드와 연관된 하나 이상의 상이한 리소스들보다 높은 전력 소비를 갖는 하나 이상의 리소스들을 사용하여 상기 제 2 이미지 센서로부터의 데이터를 프로세싱하는 것 중 적어도 하나를 포함하는, 적어도 하나의 이미지를 캡처하는 방법. - 제 20 항에 있어서,
상기 전자 디바이스 및 상기 ROI 중 적어도 하나의 움직임에 기초하여, 상기 ROI 가 상기 제 1 이미지 센서의 상기 FOV 의 제 1 부분 및 상기 복수의 이미지 센서들로부터의 제 2 이미지 센서의 상이한 FOV 의 제 2 부분 내에 있다고 결정하는 단계;
상기 FOV 및 상기 상이한 FOV 에 대한 상기 ROI 의 궤적을 결정하는 단계;
상기 ROI 의 궤적에 기초하여, 상기 제 1 이미지 센서에서 상기 제 2 이미지 센서로 스위칭하는 단계로서, 상기 제 1 이미지 센서에서 상기 제 2 이미지 센서로의 스위칭은 상기 제 1 이미지 센서와 연관된 전력 모드를 감소시키고 상기 제 2 이미지 센서와 연관된 부가 전력 모드를 증가시키는 것을 포함하는, 상기 제 1 이미지 센서에서 상기 제 2 이미지 센서로 스위칭하는 단계; 및
상기 제 2 이미지 센서에 의해, 상기 ROI 의 하나 이상의 부가 이미지들을 캡처하는 단계를 더 포함하는, 적어도 하나의 이미지를 캡처하는 방법. - 제 20 항에 있어서,
상기 제 1 이미지 센서에 의해 캡처된 상기 하나 이상의 이미지들에 기초하여 상기 ROI 의 위치를 추적하는 단계; 및
상기 복수의 이미지 센서들로부터의 하나 이상의 이미지 센서들과 연관된 하나 이상의 전력 모드들을 조정하는 단계로서, 상기 하나 이상의 전력 모드들은 상기 ROI 의 위치 및 상기 하나 이상의 이미지 센서들의 하나 이상의 특성들에 기초하여 조정되는, 상기 하나 이상의 전력 모드들을 조정하는 단계를 더 포함하는, 적어도 하나의 이미지를 캡처하는 방법. - 제 20 항에 있어서,
상기 전자 디바이스는 확장 현실 (XR) 디바이스를 포함하고, 상기 XR 디바이스는 상기 복수의 이미지 센서들을 포함하는, 적어도 하나의 이미지를 캡처하는 방법. - 명령들이 저장된 비일시적 컴퓨터 판독가능 저장 매체로서,
상기 명령들은, 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금,
전자 디바이스의 복수의 이미지 센서들을 초기화하게 하는 것으로서, 상기 복수의 이미지 센서들의 각각의 이미지 센서는 상기 복수의 이미지 센서들 중 하나 이상의 이미지 센서들에 의해 지원된 고전력 모드보다 낮은 제 1 저전력 소비와 연관된 제 1 저전력 모드에서 초기화되는, 상기 복수의 이미지 센서들을 초기화하게 하고;
상기 제 1 저전력 모드에서 상기 복수의 이미지 센서들에 의해 캡처된 복수의 이미지들을 획득하게 하고;
상기 복수의 이미지들에 기초하여, 장면에서의 관심 영역 (ROI) 이 상기 복수의 이미지 센서들로부터의 제 1 이미지 센서의 시야 (FOV) 내에 있다고 결정하게 하고;
상기 ROI 가 상기 제 1 이미지 센서의 상기 FOV 내에 있다고 결정하는 것에 기초하여, 상기 복수의 이미지 센서들로부터의 하나 이상의 제 2 이미지 센서들의 상기 제 1 저전력 모드를 상기 제 1 저전력 모드보다 낮은 제 2 저전력 소비와 연관된 전력-오프 모드 또는 제 2 저전력 모드 중 하나로 감소시키게 하고; 그리고
상기 제 1 이미지 센서를 사용하여, 상기 ROI 의 하나 이상의 이미지들을 캡처하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/478,429 | 2021-09-17 | ||
| US17/478,429 US11381743B1 (en) | 2021-09-17 | 2021-09-17 | Region of interest capture for electronic devices |
| PCT/US2022/075394 WO2023044233A1 (en) | 2021-09-17 | 2022-08-24 | Region of interest capture for electronic devices |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240068636A true KR20240068636A (ko) | 2024-05-17 |
Family
ID=82261313
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247008004A KR20240068636A (ko) | 2021-09-17 | 2022-08-24 | 전자 디바이스들을 위한 관심 영역 캡처 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11381743B1 (ko) |
| KR (1) | KR20240068636A (ko) |
| CN (1) | CN117957851A (ko) |
| WO (1) | WO2023044233A1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102656500B1 (ko) * | 2021-05-04 | 2024-04-12 | 한국전자통신연구원 | 무선 통신 인프라 매칭 특징점을 활용한 기계 학습 기반 미수집 지점의 측위 데이터베이스 생성 및 측위 방법 |
| WO2024086950A1 (en) * | 2022-10-27 | 2024-05-02 | Genetec Inc. | Method and apparatus for management of resource consumption of cameras |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9552073B2 (en) * | 2013-12-05 | 2017-01-24 | Pixart Imaging Inc. | Electronic device |
| KR102465248B1 (ko) * | 2017-09-11 | 2022-11-11 | 삼성전자주식회사 | 이미지를 처리하기 위한 장치 및 방법 |
| US10574890B2 (en) * | 2018-01-12 | 2020-02-25 | Movidius Ltd. | Methods and apparatus to operate a mobile camera for low-power usage |
| US10708496B2 (en) * | 2018-03-01 | 2020-07-07 | Cisco Technology, Inc. | Analytics based power management for cameras |
| JP7366722B2 (ja) * | 2019-12-10 | 2023-10-23 | シャープ株式会社 | 電子機器、制御装置、制御方法、および、制御プログラム |
-
2021
- 2021-09-17 US US17/478,429 patent/US11381743B1/en active Active
-
2022
- 2022-08-24 KR KR1020247008004A patent/KR20240068636A/ko unknown
- 2022-08-24 CN CN202280060896.5A patent/CN117957851A/zh active Pending
- 2022-08-24 WO PCT/US2022/075394 patent/WO2023044233A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023044233A1 (en) | 2023-03-23 |
| CN117957851A (zh) | 2024-04-30 |
| US11381743B1 (en) | 2022-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10410046B2 (en) | Face location tracking method, apparatus, and electronic device | |
| US9131150B1 (en) | Automatic exposure control and illumination for head tracking | |
| US9947108B1 (en) | Method and system for automatic detection and tracking of moving objects in panoramic video | |
| WO2021236296A1 (en) | Maintaining fixed sizes for target objects in frames | |
| US11276177B1 (en) | Segmentation for image effects | |
| WO2019074601A1 (en) | TRACKING OBJECTS FOR NEURONAL NETWORK SYSTEMS | |
| CN113286194A (zh) | 视频处理方法、装置、电子设备及可读存储介质 | |
| KR101727438B1 (ko) | 가변형 표현 검출기 | |
| KR20240068636A (ko) | 전자 디바이스들을 위한 관심 영역 캡처 | |
| US9436870B1 (en) | Automatic camera selection for head tracking using exposure control | |
| WO2024021742A1 (zh) | 一种注视点估计方法及相关设备 | |
| US20240098357A1 (en) | Camera initialization for reduced latency | |
| US20240029285A1 (en) | Adaptive face depth image generation | |
| KR20240024277A (ko) | 시선 분류 | |
| Yang et al. | Visage: A face interpretation engine for smartphone applications | |
| US20240056668A1 (en) | Camera setting adjustment based on event mapping | |
| US20240007760A1 (en) | Low-power fusion for negative shutter lag capture | |
| US20230115371A1 (en) | Efficient vision perception | |
| WO2023059962A1 (en) | Efficient vision perception |