KR20240132380A - 저조도 환경에서의 노출 변경 제어 - Google Patents
저조도 환경에서의 노출 변경 제어 Download PDFInfo
- Publication number
- KR20240132380A KR20240132380A KR1020247027726A KR20247027726A KR20240132380A KR 20240132380 A KR20240132380 A KR 20240132380A KR 1020247027726 A KR1020247027726 A KR 1020247027726A KR 20247027726 A KR20247027726 A KR 20247027726A KR 20240132380 A KR20240132380 A KR 20240132380A
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- display screen
- mobile device
- scene change
- detected
- Prior art date
Links
- 230000008859 change Effects 0.000 title claims abstract description 64
- 238000005259 measurement Methods 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 42
- 230000033001 locomotion Effects 0.000 claims description 71
- 241000023320 Luma <angiosperm> Species 0.000 claims description 36
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 36
- 230000007613 environmental effect Effects 0.000 claims description 29
- 230000010355 oscillation Effects 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 6
- 230000003595 spectral effect Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 24
- 230000035945 sensitivity Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 229910000530 Gallium indium arsenide Inorganic materials 0.000 description 2
- 206010034960 Photophobia Diseases 0.000 description 2
- KXNLCSXBJCPWGL-UHFFFAOYSA-N [Ga].[As].[In] Chemical compound [Ga].[As].[In] KXNLCSXBJCPWGL-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000013478 data encryption standard Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 208000013469 light sensitivity Diseases 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 229920002803 thermoplastic polyurethane Polymers 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
- G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
- G03B7/091—Digital circuits
- G03B7/093—Digital circuits for control of exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
Abstract
방법은 모바일 디바이스의 센서로부터의 센서 데이터에 기초하여, 환경 밝기 측정치를 검출하는 단계를 포함하고, 모바일 디바이스는 환경 밝기에 기초하여 디스플레이 밝기를 조정하도록 구성된 디스플레이 스크린을 포함한다. 방법은 모바일 디바이스의 카메라로부터의 이미지 데이터에 기초하여, 검출된 환경 밝기 측정치가 디스플레이 스크린으로부터의 반사광으로 인해 발생되는 정도를 결정하는 단계를 더 포함한다. 방법은 검출된 환경 밝기 측정치가 디스플레이 스크린으로부터의 반사광으로 인해 발생된 상기 결정된 정도에 기초하여 카메라에 대한 노출 변경률을 설정하는 단계를 추가로 포함한다.
Description
본 개시는 2019년 10월 14일에 출원된 미국 가출원 번호 62/914,759에 대해 우선권을 주장하는 2019년 11월 15일에 출원된 미국 특허 출원 번호 16/684,947에 대한 우선권을 주장하며, 전체 내용 각각은 이 설명에 완전히 명시된 바와같이 참조로 본 명세서에 포함된다.
이동 전화, 개인용 컴퓨터 및 태블릿과 같은 많은 현대 컴퓨팅 디바이스는 스틸 및/또는 비디오 카메라와 같은 이미지 캡처 디바이스를 포함한다. 이미지 캡처 디바이스는 사람, 동물, 풍경 및/또는 객체를 포함하는 이미지와 같은 이미지를 캡처할 수 있다.
노출은 셔터 속도, 렌즈 조리개 및 장면 휘도와 같은 하나 이상의 노출 파라미터에 의해 결정되는 바와 같이 전자 이미지 센서에 도달하는 단위 면적당 광량을 의미한다. 노출을 자동으로 조정함으로써 이미지 캡처 디바이스는 생성된 이미지의 품질을 향상시킬 수 있다.
본 개시는 장면을 나타낼 때 캡처된 프레임의 품질을 향상시키기 위해 다수의 입력 소스로부터의 센서 데이터를 결합하여 카메라의 노출 변경을 제어하는 방법을 포함한다.
제1 양태에서, 방법이 제공된다. 이 방법은 모바일 디바이스상의 센서로부터의 센서 데이터에 기초하여, 환경 밝기 측정치를 검출하는 단계를 포함하고, 모바일 디바이스는 환경 밝기에 기초하여 디스플레이 밝기를 조정하도록 구성된 디스플레이 스크린을 포함한다. 방법은 모바일 디바이스 상의 카메라로부터의 이미지 데이터에 기초하여, 검출된 환경 밝기 측정치가 디스플레이 스크린으로부터의 반사광으로 인해 발생되는 정도를 결정하는 단계를 더 포함한다. 방법은 검출된 환경 밝기 측정치가 디스플레이 스크린으로부터의 반사광으로 인해 발생된 상기 결정된 정도에 기초하여 카메라에 대한 노출 변경률을 설정하는 단계를 추가로 포함한다.
제2 양태에서, 환경 밝기에 기초하여 디스플레이 밝기를 조정하도록 구성된 디스플레이 스크린, 주변광 센서, 카메라 및 제어 시스템을 포함하는 모바일 디바이스가 제공된다. 제어 시스템은 주변광 센서로부터의 센서 데이터에 기초하여, 환경 밝기 측정치를 검출하도록 구성될 수 있다. 제어 시스템은 카메라로부터의 이미지 데이터에 기초하여, 검출된 환경 밝기 측정치가 디스플레이 스크린으로부터의 반사광으로 인해 발생되는 정도를 결정하도록 추가로 구성될 수 있다. 제어 시스템은 검출된 환경 밝기 측정치가 디스플레이 스크린으로부터의 반사광으로 인해 발생된 상기 결정된 정도에 기초하여 카메라에 대한 노출 변경률을 설정하도록 더 구성될 수 있다.
제3 양태에서, 하나 이상의 프로세서로 하여금 동작들을 수행하게 하도록 하나 이상의 프로세서에 의해 실행 가능한 프로그램 명령들을 포함하는 비-일시적 컴퓨터 판독가능 매체가 제공된다. 동작들은 모바일 디바이스 상의 센서로부터의 센서 데이터에 기초하여, 환경 밝기 측정치를 검출하는 단계를 포함하고, 모바일 디바이스는 환경 밝기에 기초하여 디스플레이 밝기를 조정하도록 구성된 디스플레이 스크린을 포함한다. 동작들은 모바일 디바이스상의 카메라로부터의 이미지 데이터에 기초하여, 검출된 환경 밝기 측정치가 디스플레이 스크린으로부터의 반사광으로 인해 발생되는 정도를 결정하는 단계를 더 포함한다. 동작들은 검출된 환경 밝기 측정치가 디스플레이 스크린으로부터의 반사광으로 인해 발생되는 결정된 정도에 기초하여 카메라에 대한 노출 변경률을 설정하는 단계를 추가로 포함한다.
제4 양태에서, 모바일 디바이스상의 센서로부터의 센서 데이터에 기초하여, 환경 밝기 측정치를 검출하기 위한 수단을 포함하는 시스템이 제공되고, 모바일 디바이스는 환경 밝기에 기초하여 디스플레이 밝기를 조정하도록 구성된 디스플레이 스크린을 포함한다. 시스템은 모바일 디바이스 상의 카메라로부터의 이미지 데이터에 기초하여, 검출된 환경 밝기 측정치가 디스플레이 스크린으로부터의 반사광으로 인해 발생되는 정도를 결정하기 위한 수단을 더 포함한다. 시스템은 검출된 환경 밝기 측정치가 디스플레이 스크린으로부터의 반사광으로 인해 발생되는 상기 결정된 정도에 기초하여 카메라에 대한 노출 변경률을 설정하기 위한 수단을 추가로 포함한다.
다른 양태, 실시예 및 구현은 첨부 도면을 적절한 경우 참조하여 다음의 상세한 설명을 읽음으로써 당업자에게 명백해질 것이다.
도 1은 예시적인 실시예에 따른 컴퓨팅 디바이스를 도시한다.
도 2는 예시적인 실시예에 따른 컴퓨팅 디바이스의 컴포넌트들 사이의 데이터 흐름을 도시한다.
도 3은 예시적인 실시예에 따른 상이한 장면에 대한 움직임 정보를 예시하는 그래프를 도시한다.
도 4는 예시적인 실시예에 따른 제1 장면에 대해 결정된 감속율(slow down rate)을 나타내는 그래프를 도시한다.
도 5는 예시적인 실시예에 따른 제2 장면에 대해 결정된 감속율을 예시하는 그래프를 도시한다.
도 6은 예시적인 실시예에 따른 제3 장면에 대해 결정된 감속율을 예시하는 그래프를 도시한다.
도 7은 예시적인 실시예에 따른 방법을 도시한다.
도 2는 예시적인 실시예에 따른 컴퓨팅 디바이스의 컴포넌트들 사이의 데이터 흐름을 도시한다.
도 3은 예시적인 실시예에 따른 상이한 장면에 대한 움직임 정보를 예시하는 그래프를 도시한다.
도 4는 예시적인 실시예에 따른 제1 장면에 대해 결정된 감속율(slow down rate)을 나타내는 그래프를 도시한다.
도 5는 예시적인 실시예에 따른 제2 장면에 대해 결정된 감속율을 예시하는 그래프를 도시한다.
도 6은 예시적인 실시예에 따른 제3 장면에 대해 결정된 감속율을 예시하는 그래프를 도시한다.
도 7은 예시적인 실시예에 따른 방법을 도시한다.
예시적인 방법, 디바이스 및 시스템이 본 명세서에 설명되어 있다. "예시" 및 "예시적인"이라는 단어는 본 명세서에서 "예시(example), 인스턴스 또는 예시(illustration)로서 제공되는"을 의미하는 것으로 이해되어야 한다. "예시" 또는 "예시적"인 것으로 본 명세서에서 설명된 임의의 실시예 또는 특징은 반드시 다른 실시예 또는 특징보다 선호되거나 유리한 것으로 해석되어서는 안 된다. 본 명세서에 제시된 주제의 범위를 벗어나지 않으면서 다른 실시예가 이용될 수 있고, 다른 변경이 이루어질 수 있다.
따라서, 본 명세서에 설명된 예시적인 실시예들은 제한하는 것을 의미하지 않는다. 본 명세서에 일반적으로 설명되고 도면에 예시된 본 개시의 양태들은 매우 다양한 상이한 구성으로 배열, 대체, 결합, 분리 및 설계될 수 있으며, 이들 모두는 본 명세서에서 고려된다.
또한, 문맥이 달리 암시하지 않는 한 각각의 도면에 예시된 특징들은 서로 조합하여 사용될 수 있다. 따라서, 도면은 일반적으로 하나 이상의 전체 실시예의 컴포넌트(구성요소) 측면으로 간주되어야 하며, 예시된 모든 특징이 각 실시예에 필요한 것은 아님을 이해해야 한다.
1. 개요
스마트폰과 같은 모바일 디바이스의 카메라에 대한 노출 제어는 캡처된 프레임의 밝기를 결정할 수 있다. 모바일 디바이스는 또한 사용자가 모바일 디바이스의 디스플레이 스크린의 밝기 변화를 관찰할 수 있게 하는 이미지 캡처 동안 프리뷰 모드를 포함할 수 있다. 이러한 밝기 변화는 장면 변경 및/또는 기타 요인으로 인해 발생할 수 있다.
일부 예에서, 모바일 디바이스의 디스플레이 스크린은 환경 밝기를 검출하기 위해 주변광 센서를 활용할 수 있다. 주변광 센서는 깜박임과 광 스펙트럼을 모두 검출할 수 있는 조합 센서인 스펙트럼 센서의 형태를 취할 수 있지만, 광 스펙트럼을 사용하는데 전용인 경우 주변광 센서와 동일하다. 주변광 센서는 모바일 디바이스의 후면, 디스플레이의 반대쪽에 위치하는 후면(rear-facing) 센서일 수 있다. 주변광 센서가 마주하는 환경이 너무 밝은 경우 디스플레이 스크린은 보기에 더 접합하도록 더 밝게 구성될 수 있으며 그 반대의 경우도 마찬가지이다. 모바일 디바이스의 전면, 디스플레이와 동일한 면에, 카메라는 노출 감도용 카메라 센서를 제어하도록 구성될 수 있다. 캡처된 프레임이 너무 어두운 경우 카메라 컨트롤은 노출 감도를 높여 프레임을 더 밝게 만들 수 있으며 그 반대의 경우도 마찬가지이다. 추가 예에서, 주변광 센서와 카메라는 주변광 센서가 디스플레이에서 반대쪽을 향하고 있는 한 동일한 방향(예를 들어, 둘 다 후면을 향함)을 가리킬 수 있다.
일반적으로 두 가지 전략은 좋은 셀카 사진 경험을 만들기 위해 함께 작동할 수 있지만 저조도 환경과 같은 특정 경우에는 두 가지 접근 방식 간에 약간의 충돌이 발생할 수 있다. 사용자가 전면(front-facing) 카메라를 사용하여 셀카 사진을 찍는 경우 스크린에 셀카 캡처의 프리뷰가 표시된다. 처음에 캡처된 프레임이 너무 어둡다고 가정하면, 카메라 컨트롤은 카메라 센서 노출 감도를 높여 사용자의 얼굴을 더 밝게 하도록 구성될 수 있다. 그러면 얼굴을 캡처한 디스플레이 스크린의 프리뷰가 더 밝아지므로 디스플레이 빛을 반사하는 사용자의 얼굴이 더 밝아진다.
디스플레이가 주 광원인 경우(예를 들어, 사용자가 비교적 어두운 환경에 있는 경우), 주변광 센서가 사용자의 얼굴에서 반사된 빛이 더 밝아지는 것을 감지할 수 있기 때문에 디스플레이는 환경 밝기에 기초하여 조정하는 디스플레이의 자체 전략으로 인해 더 밝아질 것이다. 디스플레이가 더 밝아지면 그 디스플레이 빛을 반사하는 사용자의 얼굴이 더 밝아지고 그러면 캡처된 프레임이 더욱 밝아진다. 이 반복은 카메라 컨트롤이 캡처된 프레임이 너무 밝다고 결정할 때까지 계속된다. 그런 다음 카메라 컨트롤은 카메라 센서 감도를 감소시킬 수 있으며, 이미지 밝기의 감소로 인해, 캡처된 프레임이 너무 어두워질 때까지 노출 감도와 디스플레이 밝기가 모두 감소한다. 이러한 경우에 이 루프를 노출 진동이라고 할 수 있다. 노출 진동의 시각적 효과에는 너무 밝음과 너무 어두움이 여러 번 번갈아 나타나는 프리뷰 이미지가 포함될 수 있으며, 이로 인해 최적의 디스플레이 경험이 되지 않을 수 있다.
이러한 거동을 피하기 위해, 하나의 접근법은 (예를 들어, 노출 변경 단계의 크기를 감소시킴으로써) 노출 변경률을 감소시키는 것을 포함한다. 따라서, 노출이 허용 가능한 노출 범위에 도달하면 카메라 컨트롤은 노출 진동을 방지하기 위해 제 시간에 노출 업데이트를 중지할 수 있다. 그러나, 다른 한편으로는, 실제 장면 변경를 포착할 수 있을 만큼 충분히 빨리 노출 변경이 일어나야 할 수도 있다.
본 명세서에 설명된 예들은 장면을 이해하고 장면 변경이 디스플레이 광으로 인해 또는 다른 요인으로 인해 발생되는지 검출하는 것을 포함한다. 이 예들은 환경 밝기 측정치가 디스플레이 스크린으로부터의 반사된 광의 결과인 정도에 기초하여 노출 변경률을 제어하는 것을 추가로 포함한다. 보다 구체적으로, 본 명세서에 설명된 예들은 후면 주변광 센서를 사용하여 환경광의 변화를 검출하는 것 및 전면 카메라를 사용하여 움직임(motion) 및 루마(luma, 휘도) 변화를 평가하여 장면 변경이 (빠른 노출 변경을 필요로 하는) 움직임 또는 (느린 노출 변경을 필요로 하는) 디스플레이 변화로 인한 것인지를 결정하는 것을 포함할 수 있다.
2. 예시적인 디바이스
도 1은 예시적인 실시예에 따른 컴퓨팅 디바이스(100)를 도시한다. 컴퓨팅 디바이스(100)는 디스플레이(110), 하나 이상의 주변광 센서(120), 하나 이상의 다른 센서(130), 하나 이상의 카메라(140), 네트워크 인터페이스(150) 및 하나 이상의 컨트롤러(160)를 포함한다. 일부 예에서, 컴퓨팅 디바이스(100)는 스마트폰, 태블릿 디바이스, 카메라 또는 웨어러블 디바이스와 같은 모바일 컴퓨팅 디바이스의 형태를 취할 수 있다. 컴퓨팅 디바이스(100)는 환경과 상호작용하도록 구성될 수 있다. 예를 들어, 컴퓨팅 디바이스(100)는 컴퓨팅 디바이스(100) 주변의 환경을 나타내는 이미지 데이터를 획득할 수 있고, 주변광 측정치와 같은 환경과 관련된 환경 상태 측정치를 획득할 수도 있다.
디스플레이(110)는 하나 이상의 스크린(터치 스크린 포함), 음극선관(CRT), 액정 디스플레이(LCD), 발광 다이오드(LED), 디지털 광 처리(DLP) 기술 및/또는 기타 유사한 기술을 사용하는 디스플레이을 통해 사용자에게 출력 신호를 제공하도록 구성될 수 있다. 디스플레이(110)는 또한 스피커, 스피커 잭, 오디오 출력 포트, 오디오 출력 디바이스, 이어폰, 및/또는 다른 유사한 디바이스와 같이 가청 출력을 생성하도록 구성될 수 있다. 디스플레이(110)는 터치 및/또는 컴퓨팅 디바이스(100)와의 물리적 접촉에 의해 검출가능한 진동 및/또는 다른 출력과 같은 햅틱 출력을 생성할 수 있는 하나 이상의 햅틱 컴포넌트로 더 구성될 수 있다.
디스플레이(110)는 주어진 밝기 레벨에서 시각적 출력을 제공하도록 구성될 수 있다. 밝기 레벨은 최대 밝기 레벨의 백분율로 결정될 수 있다. 일부 예에서, 디스플레이(110)는 환경 밝기 및/또는 다른 인자에 기초하여 그의 밝기 레벨을 자동으로 조정하도록 구성될 수 있다. 슬라이더 메커니즘과 같은 사용자 입력 메커니즘은 일부 예에서 사용자가 스크린 밝기를 조정할 수도 있도록 제공될 수 있다.
주변광 센서(들)(120)는 컴퓨팅 디바이스(100)의 (예를 들어, 1미터(m), 5m, 또는 10m 이내의) 환경으로부터 광을 수신하도록 구성될 수 있다. 주변광 센서(들)(120)는 컴퓨팅 디바이스(100) 상의 적어도 하나의 후면 주변광 센서를 포함할 수 있다. 주변광 센서(들)(120)는 하나 이상의 단일 광자 어벨런치 검출기(SPAD), 어벌런치 포토다이오드(APD), 상보형 금속 산화물 반도체(CMOS) 검출기, 및/또는 전하 결합 소자(CCD)를 포함할 수 있다. 예를 들어, 주변광 센서(들)(120)는 약 1550 나노미터(nm) 파장에서 광을 검출하도록 구성된 인듐 갈륨 비소(InGaAs) APD를 포함할 수 있다. 다른 유형의 주변광 센서(들)(120)가 본 명세서에서 가능하고 고려된다.
일부 실시예에서, 주변광 센서(들)(120)는 1차원 어레이 또는 2차원 어레이에 배치된 복수의 광 검출기 엘리먼트를 포함할 수 있다. 예를 들어, 주변광 센서(들)(120)는 단일 열(예를 들어, 선형 어레이)에 배열된 16개의 검출기 엘리먼트를 포함할 수 있다. 검출기 엘리먼트는 주(primary) 축을 따라 배열되거나 적어도 주 축에 평행할 수 있다.
일부 실시예에서, 컴퓨팅 디바이스(100)는 하나 이상의 다른 센서(130)를 포함할 수 있다. 다른 센서(들)(130)는 컴퓨팅 디바이스(100) 내의 조건 및/또는 컴퓨팅 디바이스(100)의 (예를 들어, 1m, 5m, 또는 10m 이내의) 환경의 조건을 측정하고 이러한 조건에 대한 데이터를 제공하도록 구성될 수 있다. 예를 들어, 다른 센서(들)(130)는 (i) 컴퓨팅 디바이스(100)의 온도를 측정하기 위한 온도계, 컴퓨팅 디바이스(100)의 하나 이상의 배터리의 전력을 측정하기 위한 배터리 센서 및/또는 컴퓨팅 디바이스(100)의 상태를 측정하는 다른 센서와 같은(이에 국한되지 않음) 컴퓨팅 디바이스(100)에 관한 데이터를 획득하기 위한 센서들과; (ii) RFID 판독기, 근접 센서, 1차원 바코드 판독기, 2차원 바코드(예를 들어, 빠른 응답 (QR) 코드) 판독기 및/또는 레이저 추적기와 같은(이에 국한되지 않음) 다른 객체 및/또는 디바이스를 식별하기 위한 식별 센서와, 상기 식별 센서는 RFID 태그, 바코드, QR 코드, 및/또는 판독되도록 구성된 다른 디바이스 및/또는 객체와 같은 식별자를 판독하고 적어도 식별 정보를 제공하도록 구성될 수 있고; (iii) 틸트 센서, 자이로스코프, 가속도계, 도플러 센서, GPS 디바이스, 소나 센서, 레이더 디바이스, 레이저 변위 센서 및/또는 나침반과 같은(이에 국한되지 않음) 컴퓨팅 디바이스(100)의 위치 및/또는 움직임을 측정하기 위한 센서들과; (iv) 적외선 센서, 광학 센서, 바이오 센서, 정전용량형 센서, 터치 센서, 온도 센서, 무선 센서, 라디오 센서, 움직임 센서, 근접 센서, 레이더 수신기, 마이크로폰, 사운드 센서, 초음파 센서 및/또는 연기 센서와 같은(이에 국한되지 않음) 컴퓨팅 디바이스(100)의 환경을 나타내는 데이터를 획득하기 위한 환경 센서; 및/또는 하나 이상의 차원의 힘, 토크, 지면력, 마찰, 및/또는 제로 모멘트 포인트(ZMP) 및/또는 ZMP의 위치를 식별하는 ZMP 센서를 측정하는 하나 이상의 센서와 같은(이에 국한되지 않음) 컴퓨팅 디바이스(100)에 대해 작용하는 하나 이상의 힘(예를 들어, 관성력 및/또는 G-힘)을 측정하기 위한 힘 센서 중 하나 이상을 포함할 수 있다. 다른 센서(들)(130)의 많은 다른 예가 또한 가능하다.
카메라(들)(140)는 이미지 및/또는 비디오 데이터를 캡처하도록 구성될 수 있다. 카메라(들)(140)는 컴퓨팅 디바이스(100) 상의 적어도 하나의 전면 카메라를 포함할 수 있다. 카메라(들)(140)은 카메라(들)(140)의 하드웨어를 활용하고 및/또는 컨트롤러(들)(160)와 통신하기 위한 하나 이상의 렌즈, 렌즈 모터, 광 센서, 하드웨어 프로세서 및/또는 소프트웨어를 포함할 수 있다. 카메라(들)(140)는 환경 조명 및/또는 다른 인자에 기초하여 노출을 자동으로 조정하도록 구성될 수 있다. 예를 들어, 자동 노출 기능이 카메라 렌즈의 조리개, 카메라의 아날로그 및/또는 디지털 이득, 및/또는 이미지 캡처 전 또는 도중에 카메라의 셔터 속도를 설정하는데 사용될 수 있다. 카메라(들)(140)로부터의 이미지 데이터는 비디오 카메라 프리뷰 모드의 형태로 디스플레이(110) 상의 디스플레이를 위해 제공될 수 있다.
주변광 센서(들)(120), 다른 센서(들)(130), 및/또는 카메라(들)(140)로부터 수집된 데이터는 본 명세서에 추가로 설명되는 바와 같이, 디스플레이(110) 및/또는 카메라(들)(140)의 동작을 조정하기 위해 데이터를 사용할 수 있는 컨트롤러(들)(160)로 전달될 수 있다.
네트워크 인터페이스(150)는 네트워크를 통해 통신하도록 구성가능한 하나 이상의 무선 인터페이스 및/또는 유선 인터페이스를 포함할 수 있다. 무선 인터페이스는 블루투스 송수신기, 지그비 송수신기, Wi-Fi 송수신기, WiMAX 송수신기 및/또는 무선 네트워크를 통해 통신하도록 구성 가능한 기타 유사한 유형의 무선 송수신기와 같은 하나 이상의 무선 송신기, 수신기 및/또는 송수신기를 포함할 수 있다. 유선 인터페이스는 이더넷 송수신기, USB 송수신기, 또는 트위스트 페어 와이어, 동축 케이블, 광섬유 링크 또는 유선 네트워크에 대한 유사 물리적 연결을 통해 통신하도록 구성 가능한 유사 송수신기와 같은 하나 이상의 유선 송신기, 수신기 및/또는 송수신기를 포함할 수 있다.
일부 실시예에서, 네트워크 인터페이스(150)는 신뢰할 수 있는, 보안된, 및/또는 인증된 통신을 제공하도록 구성될 수 있다. 본 명세서에 설명된 각 통신에 대해, 신뢰할 수 있는 통신을 용이하게 하기 위한 정보(예를 들어, 메시지 전달 보장)는 아마도 메시지 헤더 및/또는 바닥글의 일부(예를 들어, 패킷/메시지 시퀀싱 정보, 캡슐화 헤더 및/또는 바닥글, 크기/시간 정보, 순환 중복 검사(CRC) 및/또는 패리티 검사값과 같은 전송 검증 정보)로 제공될 수 있다. 통신은 이에 한정되지 않지만 데이터 암호화 표준(DES), 고급 암호화 표쥰(AES), RSA(Rivest-Shamir-Adelman) 알고리즘, Diffie-Hellman 알고리즘, 보안 소켓 프로토콜(예를 들어, 보안 소켓 계층(SSL) 또는 전송 계층 보안(TLS)) 및/또는 디지털 서명 알고리즘(DSA)과 같은 하나 이상의 암호화 프로토콜 및/또는 알고리즘을 사용하여 보안(예를 들어, 인코딩 또는 암호화) 및/또는 암호 해독/디코딩될 수 있다. 다른 암호화 프로토콜 및/또는 알고리즘이 통신을 보호(및 해독/디코딩)하기 위해 여기에 나열된 것들에 추가로 사용될 수 있다.
컨트롤러(160)는 하나 이상의 프로세서(162) 및 메모리(164)를 포함할 수 있다. 프로세서(162)는 하나 이상의 범용 프로세서 및/또는 하나 이상의 특수 목적 프로세서(예를 들어, 디지털 신호 프로세서(DSP), 텐서 처리 디바이스(TPU), 그래픽 처리 디바이스(GPU), 주문형 집적 회로(ASIC) 등)를 포함할 수 있다. 프로세서(들)(162)는 메모리(164)에 포함된 컴퓨터 판독 가능 명령들 및/또는 본 명세서에 설명된 다른 명령들을 실행하도록 구성될 수 있다. 메모리(164)는 프로세서(들)(162)에 의해 판독 및/또는 액세스될 수 있는 하나 이상의 비-일시적 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 하나 이상의 비-일시적 컴퓨터 판독 가능 저장 매체는 프로세서(들)(162) 중 적어도 하나와 전체적으로 또는 부분적으로 통합될 수 있는 광학, 자기, 유기 또는 기타 메모리 또는 디스크 저장소와 같은 휘발성 및/또는 비휘발성 저장 컴포넌트를 포함할 수 있다. 일부 예에서, 메모리(164)는 단일 물리적 디바이스(예를 들어, 하나의 광학, 자기, 유기 또는 기타 메모리 또는 디스크 저장 유닛)를 사용하여 구현될 수 있는 반면, 다른 예에서 메모리(164)는 둘 이상의 물리적 디바이스를 사용하여 구현될 수 있다.
예시적인 실시예에서, 프로세서(들)(162)는 본 명세서에 설명된 바와 같은 동작들을 수행하기 위해 메모리(164)에 저장된 명령들을 실행하도록 구성된다. 특히, 컨트롤러(들)(160)의 개별 컨트롤러에 의해 상이한 동작들이 실행될 수 있다. 특히, 컨트롤러(들)(160)는 하나 이상의 개별 컨트롤러에 더하여 또는 그 대신에, 디스플레이(110)와 통합된 하나 이상의 컨트롤러 및/또는 카메라(들)(140)과 통합된 하나 이상의 컨트롤러를 포함할 수 있다.
3. 예시적인 방법
도 2는 예시적인 실시예에 따른, 컴퓨팅 디바이스의 컴포넌트(구성요소) 사이의 데이터 흐름을 도시한다. 보다 구체적으로, 주변광 센서(들)(120), 컨트롤러(들)(160), 카메라(들)(140) 및 디스플레이(110)를 포함하는 컴퓨팅 디바이스(100)의 컴포넌트들은 도시된 바와 같이 서로 통신할 수 있다. 도 2에 예시된 컴퓨팅 디바이스(100)는 컴퓨팅 디바이스(100)를 둘러싸는 환경에서 동작하고 그 환경과 상호작용할 수 있다. 환경은 다른 광원 중에서도 자연 또는 인공 광원의 광 또는 환경내의 객체에서 반사된 광과 같이 환경을 밝히는 하나 이상의 광원을 포함할 수 있다.
주변광 센서(들)(120)는 주변 환경에 광학적으로 결합될 수 있다. 즉, 컴퓨팅 디바이스(100) 내의 주변광 센서(들)(120)의 배열은 주변광 센서(들)(120)가 주변 환경의 시야로부터 하나 이상의 광원을 검출하는 것을 가능하게 할 수 있다. 일부 예에서, 주변광 센서(들)(120)는 주변광 측정치(212)를 생성하기 위해 하나 이상의 광원의 크기를 캡처할 수 있다. 그런 다음 주변광 측정치(212)는 주변광 센서(들)(120)에 의해 컨트롤러(들)(160)로 전달될 수 있다. 주변광 측정치(212)의 값에 기초하여, 컨트롤러(들)(160)는 디스플레이(110) 및/또는 카메라(들)(140)의 거동을 조정할 수 있다.
카메라(들)(140)는 컴퓨팅 디바이스(100)를 둘러싼 환경의 스틸 및/또는 비디오 이미지를 포함하는 이미지 데이터(214)를 캡처할 수 있다. 이미지의 밝기는 카메라(들)(140)의 현재 노출에 의해 영향을 받을 수 있다. 카메라(들)(140)은 원하는 밝기 레벨(예를 들어, 이미지를 보고 있는 현재 환경과 관계없이 최적의 이미지 품질을 위해 선택한 밝기 레벨)을 달성하기 위해 카메라(들)(140)의 노출을 자동으로 설정하도록 구성될 수 있다. 노출은 최적의 노출에 도달할 때까지 이전에 캡처된 프레임에 기초하여 조정될 수 있다. 카메라(들)(140)은 이미지 데이터(214)를 컨트롤러(들)(160)로 전달할 수 있다.
컨트롤러(들)(160)는 카메라(들)(140)에 의해 노출 조정이 수행되는 비율에 영향을 미치도록 카메라(들)(140)에 대한 노출 변경률(216)을 설정할 수 있다. 노출 변경률(216)은 주변광 센서(들)(120)로부터의 주변광 측정치(212) 및 카메라(들)로부터의 이미지 데이터(214) 모두에 의존할 수 있다. 일부 시나리오에서, 컨트롤러(들)(160)는 환경이 비교적 저조도이고 모바일 디바이스(100)가 안정적이라고 결정할 수 있다. 결과적으로, 컨트롤러(들)(160)는 주변광 측정치(212)가 주로 사용자의 얼굴과 같이 환경의 표면에서 반사된 디스플레이(110)로부터의 광으로부터 기인한다고 결정할 수 있다. 그런 다음, 컨트롤러(들)(160)는 노출 진동을 방지하기 위해 노출 변경률(216)을 감소시킬 수 있다. 다른 시나리오에서, 컨트롤러(들)(160)는 환경이 비교적 밝다고 결정할 수 있고, 따라서 노출 변경률(216)의 감소를 억제할 수 있다. 추가 시나리오에서, 컨트롤러(들)(160)는 모바일 디바이스(100) 및/또는 주변 환경이 움직이고 있다고 결정할 수 있고, 따라서 노출 변경률(216)을 감소시키는 것을 억제할 수도 있다.
특히, 노출 진동은 디스플레이가 환경 밝기에 기초하여 디스플레이 밝기를 조정하도록 이미 구성된 컴퓨팅 디바이스에서 특히 중요한 문제일 수 있다. 도 2를 참조하면, 컨트롤러(들)(160)는 디스플레이(110)의 디스플레이 밝기(218)를 조정하도록 구성될 수 있다. 주변 환경이 더 어두운 경우 디스플레이 밝기(218)는 감소될 수 있다. 주변 환경이 더 밝은 경우 디스플레이 밝기(218)는 증가될 수 있다. 주변 환경 밝기에 기초한 디스플레이 밝기의 조정은 주변광 센서(들)(120)로부터의 주변광 측정치(212)를 사용하여 수행될 수 있다.
컨트롤러(들)(160)는 또한 디스플레이(110)에 디스플레이하기 위해 카메라(들)(140)에 의해 캡처된 현재 프레임(220)을 전달할 수 있다. 현재 프레임(220)은 비디오 프리뷰 모드의 일부로서 디스플레이(110) 상에 디스플레이될 수 있다. 디스플레이(110) 상의 현재 프레임(220)의 밝기는 디스플레이(110)의 현재 밝기 레벨 및 카메라(들)(140)의 현재 노출 모두에 의해 영향을 받을 수 있다. 결과적으로, 디스플레이(110)와 카메라(들)(140)의 경쟁 피드백 루프는 일부 시나리오에서 노출 진동을 유발할 수 있다. 노출 변경률(216)을 줄임으로써, 노출 진동을 줄이거나 제거하면서 디스플레이 밝기가 수렴되도록 할 수 있다.
도 2는 엘리먼트들의 특정 배열을 도시하지만, 다른 배열도 가능하다. 추가적으로 또는 대안적으로, 컴퓨팅 디바이스(100)의 일부 엘리먼트는 추가, 제거, 결합 및/또는 재배열될 수 있다.
도 3은 예시적인 실시예에 따른 상이한 장면들에 대한 움직임 정보를 예시하는 그래프를 도시한다. 보다 구체적으로, 4개의 다른 장면에 대한 시간 경과에 따른 움직임 플롯(300)이 도시된다. 일부 예에서, 카메라에 의해 캡처된 이미지 데이터로부터 결정된 움직임 정보는 상이한 마주치는 장면들에 대한 카메라의 노출 비율을 조정할지 여부를 결정하는데 사용될 수 있다.
움직임 정보는 카메라의 노출 변경률(저하 비율)의 감속을 트리거할지 여부에 대한 결정을 내리기 위한 다중 센서 입력 융합 프로세스의 일부로 간주될 수 있다. 일부 예에서, 다중 센서 입력은 장면 변경 특성을 검출하기 위해 적어도 (1) 후면 주변광 센서 및 (2) 전면 카메라로부터 수집된 데이터를 사용하는 것을 포함할 수 있다. 후면 주변광 센서는 환경이 어두운 장면인지를 감지할 수 있으며 디스플레이 스크린(디스플레이 스크린 자체 제외)에서 반사된 광을 검출할 수 있다. 전면 카메라는 셀카 프레임을 캡처하고 해당 이미지 데이터를 사용하여 움직임 및 루마 변화를 계산할 수 있는데, 이는 장면 변경 특성을 추가로 결정하는데 사용될 수 있다.
첫 번째 단계로서, 주변광 센서를 사용하여 환경 밝기를 검출할 수 있다. 이 경우, 환경 밝기는 광을 발산 및/또는 반사하는 환경과 관련된 속성을 지칭한다(예를 들어, 소리와 관련된 밝기와 구별됨). 이 단계는 주변광 센서로부터 주변광 센서 데이터를 수집하는 것을 포함할 수 있다. 일부 예에서, 녹색광 감응도을 나타내는 그린 채널은 주변광 센서 데이터로부터 루마값을 계산하는데 사용될 수 있다. 추가 예에서, 녹색 감응도 대 클리어(cler) 감응도의 비율을 나타내는 그린/클리어 채널은 주변광 센서 데이터로부터 루마값을 계산하는데 사용될 수도 있다. 루마값이 높은 것으로 결정되면(예를 들어, 높은 루마 임계값 초과), 환경이 밝은 장면으로 식별되고 노출 수렴이 빠르게 발생하도록 제어할 수 있다.
두 번째 단계로서, 전면 카메라가 장면 변경을 검출하는데 사용될 수 있다. 일부 예에서, 이 단계는 이미지 데이터의 순차 프레임들을 비교함으로써 장면 움직임을 계산하는 것을 포함할 수 있다. 이 단계는 디스플레이 밝기 변화들로부터 실제 움직임을 구별하기 위해 수행될 수 있다. 일부 예에서, 시간 윈도우에 대한 움직임 평균은 디스플레이 밝기 변화들로부터 실제 움직임을을 구별하기 위해 고려될 수 있다. 일반적으로, 더 높은 움직임 평균 및/또는 더 높은 움직임 변동(variance)은 빠른 노출 변경이 필요할 수 있는 실제 디바이스 및/또는 장면 움직임과 관련될 가능성이 더 높다.
도 3을 참조하면, 움직임 플롯(300)은 4개의 상이한 장면에 대한 움직임 정보를 예시한다. 움직임 정보는 단일 조정(scale)(이 경우, y축에 표시된 0.0과 3.0 사이)로 정규화될 수 있으며 시간 윈도우(예를 들어, 밀리초 단위로 측정되고 x축에 표시됨)에 대한 이미지 데이터의 움직임 기반 변화의 크기를 나타낼 수 있다. 도 3에 도시된 예에서, 장면 1과 4는 더 큰 움직임 평균과 큰 변동을 갖기 때문에 실제 움직임을 나타내는 것으로 결정될 수 있다. 이와 달리, 장면 2와 3은 상대적으로 낮은 움직임 평균과 변동을 갖는다. 장면 2와 3의 움직임은 대신 디스플레이 스크린 밝기 변화로 인한 것으로 결정될 수 있다.
움직임 계산은 밝기 변화의 영향을 제거하려고 하기 때문에, 이미지 데이터의 루마 변화도 마찬가지로 평가되거나 대신 평가될 수 있다. 루마 변화는 예를 들어 개별 픽셀의 적색, 녹색 및 청색 강도 값의 가중 합에 기초하여 밝기를 나타내는 루마값을 계산함으로써 결정될 수 있다. 실제 움직임은 루마값이 랜덤하게 변경되도록 할 가능성이 더 높은 반면 디스플레이 스크린 밝기 변화로 인한 루마 변화는 단조(monotonic)일 가능성이 더 높다. 일부 예에서, 움직임 변화 및 시간 경과에 따른 루마 변화 모두는 조합하여 고려되어 실제 움직임에 의해 야기되는 장면 변경과 디스플레이 밝기 변화에 의해 야기되는 장면 변경을 구별할 수 있다.
일반적으로, 환경 밝기 측정치가 디스플레이에서 반사된 광으로 인해 발생되는 정도를 평가하기 위해 다수의 기능을 결합될 수 있으며, 이는 노출 변경률을 줄여야 할 필요가 있음을 나타낼 수 있습니다. 다른 특징이 사용될 수 있지만 다른 특징은 추가 예에서 생략될 수 있다. 추가 예에서, 다른 유형의 센서 데이터가 또한 사용될 수 있거나 대신 사용될 수 있다. 일부 예에서(특히 주변광 센서와 카메라가 모두 디스플레이에서 멀어지는 방향을 가리키는 경우), 주변광 센서의 광 스펙트럼 데이터를 사용하여 주변광 센서가 받는 광이 환경 광원에서 나오는 것인지 아니면 디스플레이 광을 반사하는 사용자의 얼굴에서 오는 것인지 결정할 수 있다.
다른 예에서, 자이로스코프로부터의 센서 데이터는 카메라 이미지 데이터에 추가로 또는 대신에 디바이스 움직임을 평가하는데 사용될 수 있다. 자이로스코프는 글로벌 움직임 측정을 제공하는 반면 이미지 기반 움직임 검출은 로컬 움직임 측정을 제공하기 때문에 자이로스코프와 이미지 기반 움직임 검출을 모두 사용하는 것이 유리할 수 있다. 자이로스코프의 센서 데이터가 사용되는 경우, 자이로스코프가 상당한 양의 디바이스 움직임을 나타낼 때(예를 들어, 높은 임계값 레벨 이상) 제어 시스템은 노출 변경률을 줄이는 것을 자제할 수 있다.
도 4, 5 및 6은 예시적인 실시예에 따른 상이한 장면에 대해 결정된 감속율을 나타내는 그래프를 도시한다. 각 도면은 모바일 디바이스에서 마주할 수 있는 다른 장면에 대한 시간 윈도우에 대한 감속율, 루마 검출 및 움직임 검출 간의 에시적인 관계를 보여준다. 모바일 디바이스의 컨트롤러는 도 4, 5 및 6 각각에 따라 검출된 루마 및 움직임 정보에 기초하여 카메라 노출 수렴을 위한 감속율을 설정하도록 구성될 수 있다.
예시를 위해, 감속율, 루마 검출 및 움직임 검출은 각각 y 축에 도시된 도 4, 5 및 6 각각에서 0과 1 사이의 값으로 조정(scale)된다. 감속율은 카메라 노출을 위한 최종 수렴 속도에 영향을 미치는 승수를 나타낸다. 승수에는 수렴을 부드럽게 하기 위해 카메라에서 이미 사용하고 있는 기정의된 상수가 곱해질 수 있다. 예를 들어, 감속율이 0.5이고 기정의된 상수가 0.8이면 최종 수렴 속도는 0.5×0.8, 즉 0.4로 동일할 수 있다. 이 수렴 속도는 카메라가 최종 목표 노출 레벨에 점차적으로 도달하기 위해 각 수렴 단계에서 노출 부족 또는 노출 과다를 40%만큼 보정한다는 것을 나타낼 수 있다. 일부 예에서, 노출 변경의 빈도가 크기 대신 조정될 수도 있다.
루마 검출은 또한 0과 1 사이의 값으로 조정될 수 있는데, 여기서 0의 값은 사전 결정된 낮은 임계값보다 낮은 후면(backside) 루마에 대응하고 1의 값은 사전 결정된 높은 임계값보다 높은 후면 루마에 대응한다. 추가적으로, 움직임 검출은 또한 0과 1 사이의 값으로 조정될 수 있으며, 여기서 0의 값은 불안정성을 나타내고 1의 값은 안정성을 나타낸다. 일부 예에서, 움직임 검출값은 시간에 따른 이미지 분석에 기초할 수도 있다. 다른 예에서, 움직임 검출값은 자이로스코프 데이터에 기초할 수 있고 대신할 수도 있다. 루마 검출 및 움직임 검출은 x축에 표시된 시간 윈도우(예를 들어, 밀리초 단위)에 걸쳐 측정될 수 있다.
도 4를 참조하면, 관련 루마 및 움직임 검출값을 갖는 제1 장면에 대한 시간 경과에 따른 감속율의 플롯(400)이 도시된다. 도시된 바와같이, 대부분의 시간 윈도우에서 움직임 검출값이 1이면 디바이스가 비교적 안정적임을 나타낸다. 또한, 시간 윈도우에 대한 루마 검출값이 1이면 환경이 비교적 밝음을 나타낸다. 밝은 환경의 경우, 디스플레이로부터 반사된 광이 주변광 센서에 의해 검출된 주변광의 주요 소스가 아니기 때문에 노출 진동은 큰 문제가 되지 않는다. 따라서, 감속율은 1의 값으로 설정되며 이 경우 노출 수렴의 감속이 트리거되지 않음을 나타낸다. 대신에, 카메라의 노출은 어떠한 감소도 없이 사전 결정된 수렴 속도로 수렴되도록 허용된다. 이 시나리오는 사용자가 가만히 서서 밝은 환경에서 자신의 전화기를 보고 있는 시나리오에 해당할 수 있다.
도 5를 참조하면, 관련 루마 및 움직임 검출값을 갖는 제2 장면에 대한 시간 경과에 따른 감속율의 플롯(500)이 예시된다. 도시된 바와 같이, 루마 검출값은 주변광 센서가 저조도 환경을 나타내는 시간 기간이 있음을 나타내는 시간 윈도우에 걸쳐 0과 1 사이에서 변한다. 또한, 움직임 검출값은 모바일 디바이스 및/또는 장면이 시간 윈도우에서 크게 이동하고 있음을 나타내는 시간 윈도우에 걸쳐 0과 1 사이에서 크게 변한다. 루마 검출값이 시간 윈도우에 걸쳐 일정 시간 기간 동안 낮은 레벨의 주변광을 나타내지만(노출 진동이 문제가 될 수 있음을 나타낼 수 있음), 움직임 검출값은 움직임이 주변광 측정의 주요 원인일 가능성이 있음을 나타낸다. 따라서, 감속율은 1의 값으로 설정되며, 이 경우 노출 수렴의 감속 또한 트리거되지 않음을 나타낸다. 대신에, 카메라의 노출은 어떠한 감소도 없이 사전 결정된 수렴 속도로 수렴되도록 허용된다. 이 시나리오는 사용자가 자신의 전화기를 보면서 환경을 이동하는 시나리오에 해당할 수 있다. 이러한 시나리오에서는 높은 노출 속도가 바람직할 수 있다.
도 6을 참조하면, 관련된 루마 및 움직임 검출값을 갖는 제3 장면에 대한 시간 경과에 따른 감속율의 플롯(600)이 도시된다. 도시된 바와같이, 대부분의 시간 윈도우에서 움직임 검출값이 1이면 디바이스가 비교적 안정적임을 나타낸다. 또한, 초기 루마 검출값이 1보다 훨씬 낮으면 환경이 상대적으로 저조도임을 나타낸다. 모바일 디바이스가 안정적인 저조도 환경의 경우, 디스플레이에서 반사된 광이 주변광 센서에 의해 검출된 주변광의 주요 소스일 수 있기 때문에 노출 진동은 잠재적으로 중요한 문제이다. 따라서, 감속율은 0.5의 시작값에서 0.2의 값으로 감소하며, 이 경우 이는 노출 수렴의 감속이 트리거됨을 나타낸다. 카메라의 노출은 노출 진동을 방지하기 위해 사전 결정된 수렴 속도의 20%에서만 수렴하도록 허용된다. 이 시나리오는 사용자가 모바일 디바이스가 안정적인 상태에서 상대적으로 저조도 환경에서 모바일 디바이스의 카메라를 활성화하는 시나리오에 해당할 수 있다. 노출 수렴 속도는 다른 요인에 의해 또는 다른 예에서 보다 점진적인 페이스로 감소될 수 있다. 추가 예에서, 노출 수렴 속도의 조정은 시간 윈도우에 걸쳐 동적일 수 있다. 트레이닝된 기계 학습 모델을 적용하는 것과 같이 노출 수렴 속도를 조정하는 보다 미묘한 방법이 사용될 수도 있다.
도 7은 예시적인 실시예에 따른 방법(700)을 도시한다. 방법(700)은 다양한 블록 또는 단계를 포함할 수 있다. 블록 또는 단계는 개별적으로 또는 조합하여 수행될 수 있다. 블록 또는 단계는 임의의 순서 및/또는 직렬 또는 병렬로 수행될 수 있다. 또한, 블록 또는 단계는 방법(700)에 생략되거나 추가될 수 있다.
방법(700)의 블록들은 도 1 및 2를 참조하여 예시되고 설명된 바와 같이 컴퓨팅 디바이스(100)의 다양한 엘리먼트에 의해 수행될 수 있다. 추가 예에서, 방법(700)의 블록들 중 일부 또는 전부는 원격 컴퓨팅 디바이스에 의해 수행되거나 다수의 컴퓨팅 디바이스에 걸쳐 분할될 수 있다. 또한, 방법(700)은 도 4, 5 및 6의 플롯(400, 500, 600)에 의해 예시된 바와 같이 동작할 수 있다.
블록(710)은 환경 밝기 측정치를 검출하는 것을 포함한다. 환경 밝기 측정은 모바일 디바이스에 있는 센서의 센서 데이터를 기반으로 할 수 있다. 일부 예에서, 센서는 주변광 센서, 예를 들어 광 스펙트럼 측정을 사용하기 위한 전용 스펙트럼 센서일 수 있다. 일부 예에서, 센서는 모바일 디바이스에서 후면을 향할 수 있다. 모바일 디바이스는 환경 밝기에 기초하여 디스플레이 밝기를 조정하도록 구성된 디스플레이 스크린을 포함할 수 있다. 일부 예에서, 디스플레이 스크린은 모바일 디바이스 상의 동일한 주변광 센서에 기초하여 디스플레이 밝기를 조정할 수 있다. 환경 밝기 측정치를 검출하는 것은 루마값을 결정하기 위해 주변광 센서 데이터에서 녹색광 감응도을 나타내는 그린 채널을 사용하는 것을 포함할 수 있다. 환경 밝기 측정치를 검출하는 것은 또한 루마값을 결정하기 위해 주변광 센서 데이터의 녹색 감응도 대 클리어 감응도의 비율을 포함하는 그린/클리어 채널을 사용하는 것을 포함할 수 있다.
블록(720)은 검출된 환경 밝기 측정치가 디스플레이 인터페이스로부터의 반사광으로 인해 발생되는 정도를 결정하는 것을 포함한다. 이 결정은 모바일 디바이스의 카메라로부터의 이미지 데이터를 기반으로 할 수 있다. 일부 예에서, 카메라는 모바일 디바이스 상에서 전면을 향할 수 있다(예를 들어, 주변광 센서의 반대 방향을 가리키고 있을 수 있다). 이미지 데이터를 평가하는 것은 환경 밝기 측정치가 이미지 데이터의 움직임으로 인해 발생하는 정도를 결정하는 것을 포함할 수 있다. 보다 구체적으로, 이미지 데이터에서 순차 프레임들 사이의 움직임이 (예를 들어, 프레임들에 걸려 픽셀 움직임을 측정함으로써) 평가될 수 있다. 이미지 데이터에서의 움직임을 평가하는 것은 시간 윈도우에 걸쳐 움직임 평균 및/또는 움직임 변동을 결정하는 것을 더 포함할 수 있다.
검출된 환경 밝기 측정치가 디스플레이 스크린으로부터의 반사광으로 인해 발생되는 정도를 결정하는 것은 이미지 데이터의 루마 변화를 평가하는 것을 더 포함할 수 있다. 보다 구체적으로, 단조 루마 변화는 디스플레이 스크린으로부터의 반사광으로 인한 환경 밝기 측정과 관련될 수 있다.
블록(730)은 검출된 환경 밝기 측정치가 디스플레이 스크린으로부터의 반사광으로 인해 발생되는 상기 결정된 정도에 기초하여 카메라에 대한 노출 변경률을 설정하는 것을 포함한다. 카메라의 노출 변경률을 설정하는 것은 환경 밝기 측정치가 주로 디스플레이 스크린에서 반사된 광으로 인한 것으로 결정될 때 카메라의 노출 변경률을 줄이는 것을 포함할 수 있다. 카메라의 노출 변경률을 낮추려는 경우 감속율이 결정될 수 있다. 카메라의 노출 변경률을 설정하는 것은 노출 변경의 크기를 감속율의 인자로 조정하는 것을 포함할 수 있다.
카메라의 노출 변경률을 설정하는 것은 환경 밝기 측정치가 주로 이미지 데이터의 움직임 및/또는 모바일 디바이스의 움직임에 기인하는 것으로 결정될 때 카메라의 노출 변경률을 증가시키거나 유지하는 것을 포함할 수 있다. 일부 예에서, 모바일 디바이스의 움직임은 자이로스코프를 사용하여 결정된다. 카메라의 노출 변경률을 설정하는 것은 환경 밝기 측정값이 임계 밝기 레벨보다 높을 때 카메라의 노출 변경률을 높이거나 유지하는 것을 포함할 수도 있다.
일부 예에서, 카메라에 의해 캡처된 이미지 데이터의 프레임들이 디스플레이 스크린 상에 디스플레이된다. 추가 예에서, 이미지 데이터는 모바일 디바이스의 사용자의 하나 이상의 이미지(예를 들어, 셀카)를 포함할 수 있다. 다른 예에서, 카메라의 노출 변경률은 카메라를 하우징하는 컴퓨팅 디바이스와 분리된 주변 컴퓨터의 깜박거리는 스크린과 같은 다른 미보정된(uncalibrated) 광원에 정렬될 수 있다.
일부 예에서, 도 7의 방법(700)은 움직임 검출에 사용될 수 있는 주변광 센서 데이터 및 이미지 데이터를 연속적으로 수집하도록 이미 구성된 모바일 디바이스에서 수행될 수 있다. 따라서, 바람직하지 않은 노출 진동의 영향을 줄이거나 제거하기 위해 도 7의 방법(700)을 수행하기 위해 센서 데이터 수집과 관련하여 추가 비용이 발생할 수 없다.
이미지 데이터 또는 사용자의 다른 정보를 포함할 수 있는 본 명세서에 설명된 임의의 예와 관련하여, 사용자는 본 명세서에 설명된 시스템, 프로그램 또는 기능이 사용자 이미지 또는 다른 정보(예를 들어, 사용자의 소셜 네트워크, 소셜 액션 또는 활동, 직업, 사용자의 선호 또는 사용자의 현재 위치에 관한 정보)의 수집 및/또는 저장을 가능할 수 있는지 여부 및 시기를 사용자가 선택할 수 있게 하는 컨트롤을 제공받을 수 있다. 또한, 특정 데이터는 개인 식별 정보가 제거될 수 있도록 저장 또는 사용되기 전에 하나 이상의 방식으로 처리될 수 있다. 예를 들어, 사용자의 신원은 사용자의 개인 식별 정보가 결정될 수 없도록 처리될수 있거나,. 사용자의 지리적 위치는 사용자의 특정 위치가 결정될 수 없도록 위치 정보가 획득된 곳(예를 들어, 도시, 우편 번호 또는 주 수준)으로 일반화될 수 있다. 따라서, 사용자는 사용자에 대해 수집되는 정보, 해당 정보가 사용되는 방법뿐만 아니라 사용자에게 제공되는 정보를 제어할 수 있다.
도면에 도시된 특정 배열은 제한적인 것으로 간주되어서는 안 된다. 다른 실시예는 주어진 도면에 도시된 각 엘리먼트를 더 많거나 더 적게 포함할 수 있음을 이해해야 한다. 또한, 도시된 엘리먼트 중 일부는 결합되거나 생략될 수 있다. 또한, 예시적인 실시예는 도면에 도시되지 않은 엘리먼트를 포함할 수 있다.
정보의 처리를 나타내는 단계 또는 블록은 본 명세서에 설명된 방법 또는 기술의 특정 논리 기능을 수행하도록 구성될 수 있는 회로에 대응할 수 있다. 대안적으로 또는 추가적으로, 정보의 처리를 나타내는 단계 또는 블록은 모듈, 세그먼트, 또는 프로그램 코드의 일부(관련 데이터 포함)에 대응할 수 있다. 프로그램 코드는 방법 또는 기술에서 특정 논리적 기능 또는 액션을 구현하기 위해 프로세서에 의해 실행 가능한 하나 이상의 명령을 포함할 수 있다. 프로그램 코드 및/또는 관련 데이터는 디스크, 하드 드라이브 또는 기타 저장 매체를 포함하는 저장 디바이스와 같은 임의의 유형의 컴퓨터 판독 가능 매체에 저장될 수 있다.
컴퓨터 판독가능 매체는 또한 레지스터 메모리, 프로세서 캐시 및 랜덤 액세스 메모리(RAM)와 같은 짧은 기간 동안 데이터를 저장하는 컴퓨터 판독가능 매체와 같은 비-일시적 컴퓨터 판독가능 매체를 포함할 수 있다.
컴퓨터 판독가능 매체는 또한 더 긴 기간 동안 프로그램 코드 및/또는 데이터를 저장하는 비-일시적 컴퓨터 판독가능 매체를 포함할 수 있다. 따라서, 컴퓨터 판독가능 매체는 예를 들어 판독 전용 메모리(ROM), 광 디스크 또는 자기 디스크, 콤팩트 디스크 판독 전용 메모리(CD-ROM)와 같은 보조 또는 영구 장기 저장 디바이스를 포함할 수 있다. 컴퓨터 판독 가능 매체는 또한 임의의 다른 휘발성 또는 비휘발성 저장 시스템일 수 있다. 컴퓨터 판독 가능 매체는 예를 들어 컴퓨터 판독 가능 저장 매체, 또는 유형의 저장 디바이스로 간주될 수 있다.
다양한 예 및 실시예가 개시되었지만, 다른 예 및 실시예가 당업자에게 명백할 것이다. 다양한 개시된 예 및 실시예는 예시의 목적을 위한 것으로 제한하려는 것이 아니며 진정한 범위는 다음 청구범위에 의해 표시된다.
Claims (20)
- 방법으로서,
모바일 디바이스의 카메라의 디스플레이 스크린에 의해, 이미지의 프리뷰를 디스플레이하는 단계;
프리뷰에서 감지된(perceived) 장면 변화가 디스플레이 스크린으로부터의 광의 환경 반사로 인해 적어도 부분적으로 발생되는지 여부를 결정하는 단계; 및
프리뷰에서 감지된 장면 변화가 디스플레이 스크린으로부터의 광의 환경 반사로 인해 적어도 부분적으로 발생되는지 여부를 결정하는 것에 기초하여 카메라의 자동 노출 설정을 조정하는 단계를 포함하는 것을 특징으로 하는 방법. - 제1항에 있어서,
상기 카메라의 자동 노출 설정은,
이미지 캡처 전 또는 캡처 중에 카메라 렌즈의 조리개, 카메라의 아날로그 이득, 카메라의 디지털 이득 또는 카메라의 셔터 속도 중 하나 이상을 포함하는 것을 특징으로 하는 방법. - 제1항에 있어서,
모바일 디바이스의 주변광 센서의 센서 데이터에 기초하여, 환경 밝기 측정값의 변화를 검출하는 단계를 더 포함하고,
상기 프리뷰에서 감지된 장면 변화가 디스플레이 스크린으로부터의 광의 환경 반사로 인해 적어도 부분적으로 발생되는지 여부를 결정하는 단계는 검출된 환경 밝기 측정값의 변화에 기초하는 것을 특징으로 하는 방법. - 제3항에 있어서,
상기 주변광 센서는 플리커나 광 스펙트럼 또는 둘 다를 검출하도록 구성된 스펨트럼 센서인 것을 특징으로 하는 방법. - 제3항에 있어서,
상기 모바일 디바이스는 디스플레이 스크린을 포함하는 전면과 그 전면과 반대인 후면을 포함하고, 상기 주변광 센서는 모바일 디바이스의 후면에 위치한 후면 센서인 것을 특징으로 하는 방법. - 제1항에 있어서,
상기 자동 노출 설정의 조정은,
이미지 프리뷰의 노출 진동을 줄이도록 구성되고, 상기 노출 진동은 밝음(bright)과 어두움(dark) 밝기 설정 사이에서 상기 프리뷰의 교대로 변경되는 복수의 변화를 포함하는 것을 특징으로 하는 방법. - 제1항에 있어서,
상기 프리뷰에서 감지된 장면 변화가 디스플레이 스크린으로부터의 광의 환경 반사로 인해 적어도 부분적으로 발생되는지 여부를 결정하는 단계는,
감지된 장면 변화가 주로 이미지 데이터의 움직임(motion) 또는 루마 변화로 인해 발생되는지 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 방법. - 제7항에 있어서,
감지된 장면 변화가 주로 루마 변화로 인해 발생된다고 결정하는 단계를 더포함하고, 그리고
상기 자동 노출 설정을 조정하는 단계는 카메라의 노출 변경률을 감소시키는 단계를 포함하는 것을 특징으로 하는 방법. - 제8항에 있어서,
상기 감지된 장면 변화가 주로 루마 변화로 인해 발생된다고 결정하는 단계는 루마 값을 결정하기 위해 녹색 감응도(green responsivity)와 투명(clear) 감응도의 비율을 포함하는 녹색/투명 채널을 사용하는 단계를 포함하는 것을 특징으로 하는 방법. - 제8항에 있어서,
상기 감지된 장면 변화가 주로 루마 변화로 인해 발생된다고 결정하는 단계는 단조 루마 변화를 디스플레이 스크린으로부터의 광의 환경 반사로 인한 환경 밝기 측정값과 연관시키는 단계를 포함하는 것을 특징으로 하는 방법. - 제7항에 있어서,
감지된 장면 변화가 주로 이미지 데이터의 움직임으로 인해 발생된다고 결정하는 단계를 더 포함하고, 그리고
상기 자동 노출 설정을 조정하는 단계는 카메라의 노출 변경률을 증가 또는 유지하는 단계를 포함하는 것을 특징으로 하는 방법. - 제11항에 있어서,
상기 감지된 장면 변화가 주로 이미지 데이터의 움직임으로 인해 발생된다고 결정하는 단계는 이미지 데이터의 연속적인 프레임 사이의 움직임을 평가하는 단계를 포함하는 것을 특징으로 하는 방법. - 제11항에 있어서,
상기 감지된 장면 변화가 주로 이미지 데이터의 움직임으로 인해 발생된다고 결정하는 단계는 시간 윈도우에 걸쳐 움직임 평균을 결정하는 단계를 포함하는 것을 특징으로 하는 방법. - 제11항에 있어서,
상기 감지된 장면 변화가 주로 이미지 데이터의 움직임으로 인해 발생된다고 결정하는 단계는 시간 윈도우에 걸쳐 움직임 분산을 결정하는 단계를 포함하는 것을 특징으로 하는 방법. - 제11항에 있어서,
상기 감지된 장면 변화가 주로 이미지 데이터의 움직임으로 인해 발생된다고 결정하는 단계는 감지된 장면 변화가 주로 모바일 디바이스의 움직임으로 인해 발생된다고 결정하는 단계를 포함하는 것을 특징으로 하는 방법. - 제15항에 있어서,
상기 모바일 디바이스의 움직임은 자이로스코프를 사용하여 결정되는 것을 특징으로 하는 방법. - 제1항에 있어서,
상기 자동 노출 설정을 조정하는 단계는,
환경 밝기 측정값이 임계값 밝기 레벨을 초과할 때 카메라의 노출 변경률을 증가시키거나 유지하는 단계를 포함하는 것을 특징으로 하는 방법. - 제1항에 있어서,
상기 자동 노출 설정을 조정하는 단계는,
감지된 장면 변화가 주로 디스플레이 스크린으로부터의 광의 환경 반사로 인해 발생하는 것으로 결정될 때 감속율(slow down rate)을 결정하는 단계를 포함하는 것을 특징으로 하는 방법. - 모바일 디바이스로서,
디스플레이 스크린을 포함하는 카메라;
하나 이상의 프로세서; 및
데이터 저장소를 포함하고, 상기 데이터 저장소는 하나 이상의 프로세서에 의해 실행될 때 모바일 디바이스가 동작들을 포함하는 기능을 수행하게 하는 컴퓨터 실행 가능 명령어를 저장하고, 상기 동작들은,
디스플레이 스크린에 의해, 이미지의 프리뷰를 디스플레이하는 동작;
프리뷰에서 감지된 장면 변화가 디스플레이 스크린으로부터의 광의 환경 반사로 인해 적어도 부분적으로 발생되는지 여부를 결정하는 동작; 및
프리뷰에서 감지된 장면 변화가 디스플레이 스크린으로부터의 광의 환경 반사로 인해 적어도 부분적으로 발생되는지 여부를 결정하는 것에 기초하여 카메라의 자동 노출 설정을 조정하는 동작을 포함하는 것을 특징으로 하는 모바일 디바이스. - 하나 이상의 프로세서가 동작들을 수행하게 하는 하나 이상의 프로세서에 의해 실행 가능한 프로그램 명령어를 포함하는 비-일시적 컴퓨터 판독 가능 매체로서, 상기 동작들은,
모바일 디바이스의 카메라의 디스플레이 스크린에 의해, 이미지의 프리뷰를 디스플레이하는 동작;
프리뷰에서 감지된 장면 변화가 디스플레이 스크린으로부터의 광의 환경 반사로 인해 적어도 부분적으로 발생되는지 여부를 결정하는 동작; 및
프리뷰에서 감지된 장면 변화가 디스플레이 스크린으로부터의 광의 환경 반사로 인해 적어도 부분적으로 발생되는지 여부를 결정하는 것에 기초하여 카메라의 자동 노출 설정을 조정하는 동작을 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US62/914,759 | 2019-10-14 | ||
| US16/684,947 | 2019-11-15 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217034615A Division KR102700150B1 (ko) | 2019-10-14 | 2020-09-21 | 저조도 환경에서의 노출 변경 제어 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240132380A true KR20240132380A (ko) | 2024-09-03 |
Family
ID=
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7361207B2 (ja) | 弱光環境内の露光変化の制御 | |
| KR102565513B1 (ko) | 다중 기술 심도 맵 취득 및 융합을 위한 방법 및 장치 | |
| US9413939B2 (en) | Apparatus and method for controlling a camera and infrared illuminator in an electronic device | |
| CN109478088B (zh) | 一种防止由电子屏幕设备近距离使用引起视觉退化的系统和方法 | |
| US9704250B1 (en) | Image optimization techniques using depth planes | |
| JP6756747B2 (ja) | ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔセンサを使用して露出推定を実行するための方法および装置 | |
| KR102015086B1 (ko) | 적외선 및／또는 자외선 신호들을 사용하는 자동 화이트 밸런스 | |
| EP3507765A1 (en) | Systems and methods for adjusting focus based on focus target information | |
| KR20150085710A (ko) | 디스플레이 장치 및 그 제어 방법 | |
| KR102668233B1 (ko) | 관심 영역을 통해 움직이는 외부 객체에 대해 프레임 레이트를 제어하여 이미지들을 획득하는 전자 장치 및 그의 동작 방법 | |
| KR20190020578A (ko) | 외부 광에 기반하여 이미지를 처리하는 방법 및 이를 지원하는 전자 장치 | |
| US9313376B1 (en) | Dynamic depth power equalization | |
| CN113545028A (zh) | 用于面部认证的增益控制 | |
| US10628951B2 (en) | Distance measurement system applicable to different reflecting surfaces and computer system | |
| KR20210006605A (ko) | 센서를 포함하는 전자 장치 및 그의 동작 방법 | |
| KR102700150B1 (ko) | 저조도 환경에서의 노출 변경 제어 | |
| KR20240132380A (ko) | 저조도 환경에서의 노출 변경 제어 | |
| EP4366289A1 (en) | Photographing method and related apparatus | |
| KR20180000580A (ko) | 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치 및 그 방법 | |
| JP6827598B1 (ja) | 画像ベースのサービスのためのデバイス | |
| KR102078131B1 (ko) | 휴대용 단말기 및 서버를 포함하는 전자장치 시스템 | |
| CA2794067C (en) | Apparatus and method for controlling a camera and infrared illuminator in an electronic device | |
| KR20230162118A (ko) | 다수의 디스플레이 리프레시 레이트의 심리스 전환을 위해 감마 곡선 재보정 | |
| KR20230098661A (ko) | 다중 디스플레이 밝기 모드를 위한 원활한 전환 | |
| WO2024076531A1 (en) | Hybrid auto-focus system with robust macro object priority focusing |