KR20240066632A - 이미지 센서를 이용한 주변 광 감지 - Google Patents

이미지 센서를 이용한 주변 광 감지 Download PDF

Info

Publication number
KR20240066632A
KR20240066632A KR1020220147645A KR20220147645A KR20240066632A KR 20240066632 A KR20240066632 A KR 20240066632A KR 1020220147645 A KR1020220147645 A KR 1020220147645A KR 20220147645 A KR20220147645 A KR 20220147645A KR 20240066632 A KR20240066632 A KR 20240066632A
Authority
KR
South Korea
Prior art keywords
image sensor
code
image
brightness
value
Prior art date
Application number
KR1020220147645A
Other languages
English (en)
Inventor
한지희
Original Assignee
에스케이하이닉스 주식회사
Filing date
Publication date
Application filed by 에스케이하이닉스 주식회사 filed Critical 에스케이하이닉스 주식회사
Priority to US18/126,331 priority Critical patent/US20240155245A1/en
Priority to CN202310626384.7A priority patent/CN118018853A/zh
Publication of KR20240066632A publication Critical patent/KR20240066632A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Abstract

본 개시의 실시 예에 따른 장치는 이미지 센서, 이미지 센서로부터 이미지 데이터를 수신하는 수신부, 상기 이미지 데이터를 기반으로 상기 이미지 데이터의 휘도 값에 대응되는 코드를 산출하는 휘도 산출부, 상기 코드가 상기 코드를 통해 표현 가능한 값 중 최소값 또는 최대값을 가지는 것에 응답하여, 상기 이미지 센서의 설정 조건을 변경하는 이미지 센서 제어부, 및 상기 변경된 설정 조건 및 상기 코드를 이용하여 식별된 상기 이미지 센서 주변의 밝기 값을 출력하는 밝기 측정부를 포함할 수 있다.

Description

이미지 센서를 이용한 주변 광 감지 {AMBIENT LIGHT SENSING USING AN IMAGE SENSOR}
본 발명은 이미지 센서를 이용하여 이미지 센서 주변의 밝기를 측정하는 기술에 관한 것이다.
최근 모바일 디바이스 분야에서는 배터리 수명을 증가시키기 위한 다양한 기술들이 개발되고 있다. 특히 액정 디스플레이(LCD)와 백라이트(backlight)는 전력 소모가 가장 많은 부품 중 하나이므로, 모바일 디바이스는 주변 밝기에 따라 액정 디스플레이와 백라이트의 구동 시간을 최소화한다. 이 때, 모바일 디바이스는 주변 광 센서(ambient light sensor)(또는, 조도 센서)를 이용하여 모바일 디바이스 주변의 밝기를 식별한다.
다만, 모바일 디바이스가 주변의 밝기를 측정하기 위한 주변 광 센서(또는, 조도 센서)라는 하드웨어 구성을 추가로 포함하게 되면, 실장 공간 상의 문제 및/또는 추가적인 전력 소모의 문제가 발생할 수 있다.
본 개시의 실시 예에 따른 이미지 프로세서는, 이미지 센서로부터 이미지 데이터를 수신하는 수신부, 상기 이미지 데이터를 기반으로 상기 이미지 데이터의 휘도 값에 대응되는 코드를 산출하는 휘도 산출부, 상기 코드가 상기 코드를 통해 표현 가능한 값 중 최소값 또는 최대값을 가지는 것에 응답하여, 상기 이미지 센서의 설정 조건을 변경하는 이미지 센서 제어부, 및 상기 변경된 설정 조건 및 상기 코드를 이용하여 식별된 상기 이미지 센서 주변의 밝기 값을 출력하는 밝기 측정부를 포함할 수 있다.
본 개시의 실시 예에 따른 장치는, 이미지 프로세서의 제어에 따라 이미지 데이터를 획득하는 이미지 센서, 및 상기 이미지 센서로부터 수신된 제1 이미지 데이터를 기반으로 상기 제1 이미지 데이터의 휘도 값에 대응되는 제1 코드를 산출하고, 상기 제1 코드가 상기 제1 코드를 통해 표현 가능한 값 중 최소값 또는 최대값을 가지는 것에 응답하여, 상기 이미지 센서의 설정 조건을 변경하고, 상기 변경된 설정 조건, 및 상기 이미지 센서를 통해 상기 변경된 설정 조건에 따라 촬영된 제2 이미지 데이터에 대응되는 제2 코드를 이용하여 식별된 상기 이미지 센서 주변의 밝기 값을 출력하는 이미지 프로세서를 포함할 수 있다.
본 개시의 실시 예에 따른 밝기 측정 방법은, 이미지 센서를 통해 촬영된 제1 이미지 데이터를 기반으로 상기 제1 이미지 데이터의 휘도 값에 대응되는 제1 코드를 산출하는 단계, 상기 제1 코드가 상기 제1 코드를 통해 표현 가능한 값 중 최소값 또는 최대값을 가지는 것에 응답하여, 상기 이미지 센서의 설정 조건을 변경하는 단계, 및 상기 변경된 설정 조건 및 상기 이미지 센서를 통해 상기 변경된 설정 조건에 따라 촬영된 제2 이미지 데이터에 대응되는 제2 코드를 이용하여 식별된 상기 이미지 센서 주변의 밝기를 출력하는 단계를 포함할 수 있다.
본 개시에 따르면, 이미지 센서를 이용하여 주변의 밝기를 측정할 수 있으므로, 이미지 센서가 주변 광 센서(ambient light sensor)(또는, 조도 센서)를 대체할 수 있다.
도 1은 본 발명의 실시 예에 따른 장치를 설명하기 위한 도면이다.
도 2a는 본 발명의 실시 예에 따른 이미지 센서를 설명하기 위한 도면이다.
도 2b는 본 발명의 실시 예에 따른 이미지 프로세서를 설명하기 위한 도면이다.
도 3은 본 발명의 실시 예에 따라 장치 주변의 밝기를 측정하는 방법의 흐름을 설명하기 위한 도면이다.
도 4는 본 발명의 실시 예에 따라 장치 주변의 밝기를 측정하는 방법을 보다 상세하게 설명하기 위한 도면이다.
도 5는 본 발명의 실시 예에 따라 이미지 센서가 이미지 프로세서에 제공하는 이미지 데이터의 예시를 설명하기 위한 도면이다.
도 6은 본 발명의 실시 예에 따라 이미지 프로세서가 이미지 데이터를 기반으로 코드를 산출하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 실시 예에 따라 이미지 프로세서가 이미지 데이터를 기반으로 코드를 산출하는 다른 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 실시 예에 따라 이미지 데이터의 적어도 일부를 기반으로 코드를 산출하는 예시를 설명하기 위한 도면이다.
도 9는 본 발명의 실시 예에 따라 설정 조건 및 코드를 기반으로 주변 밝기를 식별하는 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 실시 예에 따라 지정된 이벤트가 발생한 경우 이미지 센서의 설정 조건을 변경하는 방법을 설명하기 위한 도면이다.
본 명세서 또는 출원에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.
이하에서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시 예를 첨부된 도면을 참조하여 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 장치를 설명하기 위한 도면이다.
도 1을 참조하면, 장치(10)는 이미지 센서(100) 및 이미지 프로세서(200)를 포함할 수 있다. 예를 들면, 장치(10)는 디지털 카메라, 모바일 장치, 스마트폰, 태블릿 PC, PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), 모바일 인터넷 장치(mobile internet device(MID)), PC(Personal Computer), 웨어러블 디바이스(wearable device), 또는 다양한 목적의 카메라를 포함하는 장치에 해당할 수 있다. 또는, 도 1의 장치(10)는 다른 전자 장치 내에 실장되는 부품이나 모듈(예: 카메라 모듈)에 해당할 수도 있다.
이미지 센서(100)는 CCD(charge coupled device) 이미지 센서 또는 CMOS(complementary metal oxide semiconductor) 이미지 센서로 구현될 수 있다. 이미지 센서(100)는 렌즈(미도시)를 통하여 입사된 광에 대한 이미지 데이터를 생성할 수 있다. 예를 들면, 이미지 센서(100)는 렌즈를 통해 입사된 피사체의 광 정보를 전기적 신호로 변환하여 이미지 프로세서(200)에 제공할 수 있다. 상기 렌즈는 광학계를 형성하는 적어도 하나의 렌즈를 포함할 수 있다.
이미지 센서(100)는 복수 개의 픽셀들을 포함할 수 있다. 이미지 센서(100)는 복수 개의 픽셀들을 통해, 촬영된 장면에 대응하는 이미지 데이터를 생성할 수 있다. 상기 이미지 데이터는 복수의 픽셀 값(DPXs)들을 포함할 수 있다. 복수의 픽셀 값(DPXs)들 각각은 디지털 타입의 픽셀 값일 수 있다. 이미지 센서(100)는 상기 생성된 이미지 데이터를 이미지 프로세서(200)로 전송할 수 있다. 즉 이미지 센서(100)는 복수 개의 픽셀들을 통해 획득된 복수의 픽셀 값(DPXs)들을 포함하는 이미지 데이터를 이미지 프로세서(200)에 제공할 수 있다.
이미지 프로세서(200)는 이미지 센서(100)로부터 수신된 이미지 데이터에 대해 이미지 처리를 수행할 수 있다. 예를 들면, 이미지 프로세서(200)는 상기 이미지 데이터에 대해 보간, EIS(Electronic Image Stabilization), 색조 보정, 화질 보정, 또는 크기 조정 중 적어도 하나를 수행할 수 있다. 본 개시에 따른 이미지 프로세서(200)는 상기 이미지 데이터를 기반으로 장치(10) 주변의 밝기를 식별할 수도 있다. 이미지 프로세서(200)는 이미지 처리 장치로 지칭될 수도 있다.
도 1을 참조하면, 이미지 프로세서(200)는 이미지 센서(100)와 독립적인 칩으로 구현될 수 있다. 이 경우, 이미지 센서(100)의 칩과 이미지 프로세서(200)의 칩은 하나의 패키지, 예컨대 멀티-칩 패키지(multi-chip package)로 구현될 수 있다. 다만 이에 한정되는 것은 아니고, 본 발명의 다른 실시 예에 따르면 이미지 프로세서(200)는 이미지 센서(100)의 일부로 포함되어 하나의 칩으로 구현될 수도 있다.
도 2a는 본 발명의 실시 예에 따른 이미지 센서를 설명하기 위한 도면이다.
도 2a를 참조하면, 이미지 센서(100)는 픽셀 어레이(110), 로우 디코더(120), 타이밍 생성기(130) 및 신호 변환기(140)를 포함할 수 있다. 또한, 이미지 센서(100)는 출력 버퍼(150)를 더 포함할 수 있다.
픽셀 어레이(110)는 로우(row) 방향과 컬럼(column) 방향으로 배열된 복수의 픽셀들을 포함할 수 있다. 각각의 픽셀들은 해당 픽셀에 입사된 광의 세기에 대응하는 픽셀 신호(VPXs)를 생성할 수 있다. 이미지 센서(100)는 픽셀 어레이(110)의 로우 별로 복수의 픽셀 신호(VPXs)들을 리드아웃 할 수 있다. 복수의 픽셀 신호(VPXs)는 각각 아날로그 타입의 픽셀 신호일 수 있다.
픽셀 어레이(110)는 컬러 필터 어레이(111)를 포함할 수 있다. 복수의 픽셀들 각각은 대응하는 컬러 필터 어레이(111)를 통과한 입사광에 상응하는 픽셀 신호를 출력할 수 있다.
컬러 필터 어레이(111)는 각 픽셀로 입사되는 광의 특정 파장(예: 레드, 그린, 블루)만을 통과시키는 컬러 필터들을 포함할 수 있다. 컬러 필터 어레이(111)로 인해, 각 픽셀의 픽셀 신호는 특정 파장의 광의 세기에 대응하는 값을 나타낼 수 있다.
픽셀 어레이(110)는 컬러 필터 어레이(111) 하부에 형성된 복수의 광전 변환 소자(photoelectric conversion element)를 포함하는 광전 변환층(113)을 포함할 수 있다. 복수의 픽셀들 각각은 광전 변환층(113)을 통해 입사광에 대응하는 광 전하를 생성할 수 있다. 복수의 픽셀들은 상기 생성된 광 전하들을 축적하고, 축적된 광 전하들에 상응하는 픽셀 신호(VPXs)를 생성할 수 있다.
광전 변환층(113)은 각각의 픽셀들에 대응하는 광전 변환 소자를 포함할 수 있다. 예를 들면, 광전 변환 소자는 포토 다이오드(photo diode), 포토 트랜지스터(photo transistor), 포토 게이트(photogate), 또는 핀드 포토다이오드(pinned photo diode) 중 적어도 하나일 수 있다. 복수의 픽셀들은 광전 변환층(113)을 통해 각 픽셀에 입사된 광에 대응하는 광 전하를 생성할 수 있고, 적어도 하나의 트랜지스터를 통해 상기 광 전하에 대응하는 전기적 신호를 획득할 수 있다.
로우 디코더(120)는 타이밍 생성기(130)로부터 출력된 어드레스와 제어 신호들에 응답하여 픽셀 어레이(110)에서 복수의 픽셀들이 배열된 다수의 로우들 중 하나의 로우(row)를 선택할 수 있다. 이미지 센서(100)는 로우 디코더(120)의 제어에 따라 픽셀 어레이(110)에 포함된 복수의 픽셀들 중 특정 로우에 포함된 로우의 픽셀들을 리드아웃 할 수 있다.
신호 변환기(140)는 아날로그 타입의 픽셀 신호(VPXs)를 디지털 타입의 픽셀 값(DPXs)으로 변환할 수 있다. 신호 변환기(140)는 타이밍 생성기(130)로부터 출력된 제어 신호들에 응답하여 픽셀 어레이(110)로부터 출력된 복수의 픽셀 신호(VPXs)들 각각에 대하여 CDS(correlated double sampling)을 수행하고, CDS된 신호들 각각을 아날로그-디지털 변환한 복수의 픽셀 값(DPXs)들을 출력할 수 있다.
신호 변환기(140)는 CDS(correlated double sampling) 블록과 ADC(analog to digital converter) 블록을 포함할 수 있다. CDS 블록은 픽셀 어레이(110)에 포함된 컬럼 라인으로부터 제공되는 기준 신호와 영상 신호 세트를 순차적으로 샘플링 및 홀딩(sampling and holding)할 수 있다. 이 때, 기준 신호는 픽셀 어레이(110)에 포함된 픽셀을 리셋한 이후에 리드아웃 된 픽셀 신호에 해당하고, 영상 신호는 상기 픽셀을 노출시킨 이후에 리드아웃 된 픽셀 신호에 해당할 수 있다. CDS 블록은 컬럼들 각각에 대응하는 기준 신호와 영상 신호의 레벨 차를 이용하여 리드아웃 노이즈가 감소된 신호를 획득할 수 있다. ADC 블록은 CDS 블록으로부터 출력되는 각각의 컬럼에 대한 아날로그 신호(예: 픽셀 신호(VPXs))를 디지털 변환하여 디지털 신호(예: 픽셀 값(DPXs))를 출력할 수 있다. 이를 위해 ADC 블록은 각 컬럼에 대응하는 비교기 및 카운터를 포함할 수 있다.
출력 버퍼(150)는 신호 변환기(140)로부터 출력된 디지털 신호들을 저장하는 다수의 버퍼들로 구현될 수 있다. 구체적으로, 출력 버퍼(150)는 신호 변환기(140)로부터 제공되는 각각의 컬럼 단위의 픽셀 값들을 래치(latch)하여 출력할 수 있다. 출력 버퍼(150)는 신호 변환기(140)에서 출력되는 픽셀 값들을 임시 저장하고, 타이밍 생성기(130)의 제어에 따라 픽셀 값들을 순차적으로 출력할 수 있다. 상기 순차적으로 출력되는 픽셀 값들은 이미지 데이터에 포함되는 것으로 이해될 수 있다. 본 발명의 실시 예에 따라 출력 버퍼(150)는 생략될 수도 있다.
도 2b는 본 발명의 실시 예에 따른 이미지 프로세서를 설명하기 위한 도면이다.
도 2b를 참조하면, 이미지 프로세서(200)는 수신부(210), 휘도 산출부(220), 이미지 센서 제어부(230), 및 밝기 측정부(240)를 포함할 수 있다.
수신부(210)는 이미지 센서(100)로부터 이미지 데이터를 수신할 수 있다. 예를 들면, 이미지 프로세서(200)는 이미지 센서(100)가 촬영 및 출력하는 이미지 데이터를 수신할 수 있다. 수신부(210)에서 수신되는 이미지 데이터는 도 5를 참조하여 후술한다.
휘도 산출부(220)는 상기 이미지 데이터를 기반으로 상기 이미지 데이터의 휘도 값에 대응되는 코드를 산출할 수 있다. 예를 들면, 휘도 산출부(220)는 상기 이미지 데이터의 대표 휘도 값을 계산할 수 있다. 휘도 산출부(220)가 이미지 데이터를 기반으로 코드를 계산하는 구체적인 방법에 대해서는 도 6 내지 도 8을 참조하여 후술한다.
이미지 센서 제어부(230)는 상기 코드가 상기 코드를 통해 표현 가능한 값 중 최소값 또는 최대값을 가지는 것에 응답하여, 이미지 센서(100)의 설정 조건을 변경할 수 있다. 이미지 센서(100)의 설정 조건은 이미지 센서(100)의 아날로그 게인 또는 이미지 센서(100)의 노출 시간 중 적어도 하나를 포함할 수 있다. 예를 들면, 이미지 센서 제어부(230)는 사전에 결정된 값을 가지는 지정된 개수의 설정 조건 후보들 중에서 어느 하나를 선택하여 이미지 센서(100)의 설정 조건을 변경할 수 있다. 이미지 센서(100)의 설정 조건을 제어하는 경우 및 제어하는 방법에 대해서는 도 10을 참조하여 후술한다.
밝기 측정부(240)는 이미지 센서(100)의 설정 조건 및 상기 코드를 이용하여 이미지 센서(100) 주변의 밝기(또는, 장치(10) 주변의 밝기)를 식별할 수 있다. 밝기 측정부(240)는 상기 식별된 밝기 값을 출력할 수 있다. 예를 들면, 밝기 측정부(240)는 프로세서(예: AP(application processor))에 상기 밝기 값을 제공할 수 있다.
도 3은 본 발명의 실시 예에 따라 장치 주변의 밝기를 측정하는 방법의 흐름을 설명하기 위한 도면이다. 도 3에서 설명되는 단계들은 도 1의 장치(10) 또는 도 2b의 이미지 프로세서(200)에 의해 수행되는 것으로 이해될 수 있다.
단계 S312에서, 이미지 프로세서(200)(예: 휘도 산출부(220))는 이미지 센서(100)를 통해 촬영된 제1 이미지 데이터를 기반으로, 제1 이미지 데이터의 휘도(luminance) 값에 대응되는 제1 코드를 산출할 수 있다. 예를 들면, 이미지 프로세서(200)(예: 휘도 산출부(220))는 제1 이미지 데이터를 2 이상의 구역들로 분할하고, 상기 2 이상의 구역들 각각의 휘도 값을 기반으로 상기 제1 코드를 산출할 수 있다. 제1 이미지 데이터를 기반으로 제1 코드를 산출하는 구체적인 방법에 대해서는 도 6 내지 도 8과 관련하여 후술한다.
단계 S314에서, 이미지 프로세서(200)(예: 이미지 센서 제어부(230))는 상기 제1 코드가 제1 코드를 통해 표현 가능한 값 중 최소값 또는 최대값을 가지는 것에 응답하여, 이미지 센서(100)의 설정 조건을 변경할 수 있다. 예를 들면, 이미지 프로세서(200)(예; 이미지 센서 제어부(230))는 제1 코드를 기반으로 지정된 이벤트가 발생하였는지 여부를 판단하고, 상기 지정된 이벤트가 발생한 것에 응답하여 이미지 센서(100)의 설정 조건을 변경할 수 있다. 상기 지정된 이벤트란, 제1 코드가 제1 코드를 통해 표현 가능한 값 중 최소값 또는 최대값을 가지는 이벤트일 수 있다. 예를 들어 제1 코드가 8개의 비트를 가지는 경우, 제1 코드를 통해 표현 가능한 값은 0~255일 수 있다. 따라서 상기 최소값은 0, 상기 최대값은 255일 수 있다. 지정된 이벤트에 대해서는 도 9 및 도 10을 참조하여 후술한다.
이미지 프로세서(200)(예: 이미지 센서 제어부(230))는 지정된 이벤트가 발생하지 않은 경우 이미지 센서(100)의 설정 조건을 유지할 수 있고, 지정된 이벤트가 발생한 경우 이미지 센서(100)의 설정 조건을 변경할 수 있다. 이미지 센서(100)의 설정 조건에는, 이미지 센서(100)의 아날로그 게인(analog gain) 또는 이미지 센서(100)의 노출 시간(exposure time) 중 적어도 하나가 포함될 수 있다. 이미지 센서(100)의 설정 조건 제어에 대해서는 도 9 및 도 10을 참조하여 후술한다.
단계 S316에서, 이미지 프로세서(200)(예: 밝기 측정부(240))는 변경된 설정 조건, 및 이미지 센서(100)를 통해 상기 변경된 설정 조건에 따라 촬영된 제2 이미지 데이터에 대응되는 제2 코드를 이용하여 식별된 이미지 센서(100) 주변의 밝기(또는, 장치(10) 주변의 밝기)를 출력할 수 있다. 변경된 설정 조건 및 제2 코드를 이용하여 주변 밝기를 식별하는 구체적인 방식에 대해서는 도 9를 참조하여 후술한다.
일 실시 예에서, 장치(10)는 디스플레이 및 디스플레이를 제어하는 프로세서를 더 포함할 수 있다. 프로세서는 이미지 프로세서(200)로부터 장치(10) 주변의 밝기에 대응되는 밝기 값을 수신할 수 있고, 상기 밝기 값을 이용하여 디스플레이의 표시를 제어할 수 있다. 예를 들면, 프로세서는 장치(10) 주변의 밝기가 임계 값 미만인 경우(예: 어두운 경우) 디스플레이의 밝기를 감소시키거나 디스플레이를 비활성화할 수 있다. 다른 예를 들면, 프로세서는 장치(10) 주변의 밝기가 임계 값 이상인 경우(예: 밝은 경우) 디스플레이를 활성화시키거나 디스플레이의 밝기를 증가시킬 수 있다. 이 외에도 장치(10)는 상기 밝기 값을 다양하게 이용할 수 있다.
도 4는 본 발명의 실시 예에 따라 장치 주변의 밝기를 측정하는 방법을 보다 상세하게 설명하기 위한 도면이다. 도 4에서 설명되는 단계들은 도 1과 도 2a에 도시된 이미지 센서(100), 및 도 1과 도 2b에 도시된 이미지 프로세서(200)에 의해 수행되는 것으로 이해될 수 있다.
단계 S412에서, 이미지 센서(100)는 제1 이미지 데이터를 촬영할 수 있다. 단계 S414에서, 이미지 센서(100)는 제1 이미지 데이터를 출력할 수 있다. 단계 S414에서 이미지 센서(100)가 이미지 프로세서(200)에 제공하는 제1 이미지 데이터에 대해서는 도 5를 참조하여 후술한다.
단계 S416에서, 이미지 프로세서(200)(예: 수신부(210))는 이미지 센서(100)로부터 제1 이미지 데이터를 수신할 수 있다. 단계 S418에서, 이미지 프로세서(200)(예: 휘도 산출부(220))는 제1 이미지 데이터를 기반으로 제1 코드를 산출할 수 있다. 단계 S418에서 이미지 프로세서(200)가 제1 이미지 데이터를 기반으로 제1 코드를 산출하는 방법에 대해서는 도 6 내지 도 8을 참조하여 후술한다.
단계 S420에서, 이미지 프로세서(200)(예: 밝기 측정부(240))는 제1 코드를 기반으로, 제1 이미지 데이터가 촬영된 시점의 이미지 센서(100) 주변 밝기(또는 장치(10) 주변 밝기)에 대응되는 제1 밝기 값을 식별할 수 있다. 이미지 프로세서(200)(예: 밝기 측정부(240))는 사전에 저장된 룩업 테이블(lookup table)을 이용하여 제1 밝기 값을 측정할 수 있다. 제1 밝기 값 식별에 대해서는 도 9를 참조하여 후술한다.
단계 S422에서, 이미지 프로세서(200)(예: 이미지 센서 제어부(230))는 단계 S418에서 산출된 제1 코드를 기반으로 지정된 이벤트가 발생되었는지 여부를 판단할 수 있다. 예를 들면, 이미지 프로세서(200)(예: 이미지 센서 제어부(230))는 제1 코드의 값이 제1 코드로 표현 가능한 값 중 최소값 또는 최대값에 해당하는 경우, 지정된 이벤트가 발생하였다고 판단할 수 있다.
단계 S424에서, 이미지 프로세서(200)(예: 이미지 센서 제어부(230))는 제1 코드와 관련하여 지정된 이벤트가 발생한 것에 응답하여, 이미지 센서(100)의 설정 조건을 변경할 수 있다. 예를 들면, 이미지 센서(100)의 설정 조건은 이미지 센서(100)의 아날로그 게인(analog gain) 또는 이미지 센서(100)의 노출 시간(exposure time) 중 적어도 하나를 포함할 수 있다.
이미지 프로세서(200)(예: 이미지 센서 제어부(230))는 상기 제1 코드가 상기 최소값을 가지는 것에 응답하여, 이미지 센서(100)의 아날로그 게인 및 노출 시간을 증가시킬 수 있다. 또한 이미지 프로세서(200)(예: 이미지 센서 제어부(230))는 상기 제1 코드가 상기 최대값을 가지는 것에 응답하여, 이미지 센서(100)의 아날로그 게인 및 노출 시간을 감소시킬 수 있다. 이미지 센서(100)의 설정 변경과 관련하여, 도 10을 참조하여 후술한다.
단계 S426에서, 이미지 센서(100)는 이미지 프로세서(200)의 제어에 의해 변경된 설정 조건에 따라 제2 이미지 데이터를 촬영할 수 있다. 단계 S428에서, 이미지 센서(100)는 제2 이미지 데이터를 출력할 수 있다.
단계 S430에서, 이미지 프로세서(200)(예: 수신부(210))는 이미지 센서(100)로부터 제2 이미지 데이터를 수신할 수 있다. 단계 S432에서, 이미지 프로세서(200)(예: 휘도 산출부(220))는 제2 이미지 데이터를 기반으로 제2 코드를 산출할 수 있다. 단계 S432에서 이미지 프로세서(200)가 제2 이미지 데이터를 기반으로 제2 코드를 산출하는 방법에 대해서는 도 6 내지 도 8을 참조하여 후술한다.
단계 S434에서, 이미지 프로세서(200)(예: 밝기 측정부(240))는 제2 코드를 기반으로, 제2 이미지 데이터가 촬영된 시점의 이미지 센서(100) 주변 밝기(또는 장치(10) 주변 밝기)에 대응되는 제2 밝기 값을 식별할 수 있다. 이미지 프로세서(200)(예: 밝기 측정부(240))는 사전에 저장된 룩업 테이블(lookup table)을 이용하여 제2 밝기 값을 측정할 수 있다. 제2 밝기 값 식별에 대해서는 도 9를 참조하여 후술한다.
도 5는 본 발명의 실시 예에 따라 이미지 센서가 이미지 프로세서에 제공하는 이미지 데이터의 예시를 설명하기 위한 도면이다.
도 5를 참조하면, 이미지 센서(100)는 픽셀 어레이(110)를 통해 촬영된 원본 이미지(510)를 휘도 데이터(520)로 변환하여 출력할 수 있다. 원본 이미지(510)는 픽셀 어레이(110)에 포함된 픽셀의 개수에 대응되는 화소 수를 가질 수 있다. 휘도 데이터(520)는 원본 이미지(510)에 비해 적은 화소 수를 가질 수 있다. 예를 들면, 휘도 데이터(520)는 16x12개의 화소 수를 포함할 수 있다.
휘도 데이터(520)는 지정된 개수(예: 16x12)의 휘도 값(luminance value)을 포함할 수 있다. 또한 휘도 데이터(520)에 포함된 각각의 휘도 값은 일정 개수(예: 8)의 비트를 가질 수 있다. 예를 들면, 이미지 센서(100)는 16x12개의 8 bit 휘도 값들을 포함하는 휘도 데이터(520)를 출력할 수 있다.
이미지 프로세서(200)에서 수행되는 주변 광 감지(ambient light sensing)와 관련하여, 이미지 센서(100)는 원본 이미지(510)를 변환(예: 휘도 값으로 변환 및/또는 화소 수 축소)한 휘도 데이터(520)를 출력할 수 있다. 이미지 프로세서(200)(예: 수신부(210))는 이미지 센서(100)로부터 휘도 데이터(520)를 수신할 수 있다. 이미지 프로세서(200)는 이미지 센서(100)로부터 수신된 휘도 데이터(520)를 기반으로 휘도 데이터(520)의 대표 휘도 값(representative Y value)을 산출할 수 있다. 대표 휘도 값은 지정된 개수(예: 8)의 비트를 가지는 코드일 수 있다.
본 개시에서 상기 휘도 데이터(520)는 이미지 데이터(예: 제1 이미지 데이터, 제2 이미지 데이터)로 지칭될 수 있고, 상기 대표 휘도 값은 코드(예: 제1 코드, 제2 코드)로 지칭될 수 있다. 도 3의 단계 S312와 S316의 제1 이미지 데이터와 제2 이미지 데이터는 각각 도 5의 휘도 데이터(520)의 형태일 수 있고, 도 4의 단계 S412, S414, S416, S426, S428, 및 S430의 제1 이미지 데이터와 제2 이미지 데이터 또한 각각 휘도 데이터(520)의 형태일 수 있다.
도 6은 본 발명의 실시 예에 따라 이미지 프로세서가 이미지 데이터를 기반으로 코드를 산출하는 방법을 설명하기 위한 도면이다. 도 7은 본 발명의 실시 예에 따라 이미지 프로세서가 이미지 데이터를 기반으로 코드를 산출하는 다른 방법을 설명하기 위한 도면이다.
도 6 및 도 7을 참조하여, 도 3 및 도 4에서 설명된 단계 중 제1 이미지 데이터(또는, 제2 이미지 데이터)를 기반으로 제1 이미지 데이터(또는, 제2 이미지 데이터)의 휘도 값에 대응되는 제1 코드(또는, 제2 코드)를 산출하는 방법의 두 가지 예시를 설명한다. 도 6 및 도 7의 휘도 데이터(520)는 이미지 데이터(예: 제1 이미지 데이터, 제2 이미지 데이터)에 대응하고, 도 6 및 도 7의 대표 휘도 값은 코드(예: 제1 코드, 제2 코드)에 대응할 수 있다.
이미지 프로세서(200)(예: 휘도 산출부(220))는 휘도 데이터(520)를 2 이상의 구역들로 분할하고, 상기 2 이상의 구역들 각각의 휘도 값을 기반으로 대표 휘도 값(representative Y value)을 산출할 수 있다. 예를 들면, 이미지 프로세서(200)는 휘도 데이터(520)를 복수의 ROI(region of interest)로 분할하고, 각각의 ROI에 포함된 적어도 하나의 휘도 값을 이용하여 각 ROI마다 휘도 값을 계산하고, 각 ROI마다 적용되는 가중치(weight)를 해당 ROI의 휘도 값에 곱한 뒤 합산함으로써 휘도 데이터(520)의 대표 휘도 값을 산출할 수 있다. 즉, 이미지 프로세서(200)는 휘도 데이터(520)를 복수의 구역들로 구분한 뒤 가중치 합산을 통해 대표 휘도 값을 계산할 수 있다.
이 때, 이미지 프로세서(200)가 휘도 데이터(520)를 2 이상의 구역(예: ROI)들로 분할하는 방법으로, 도 6에서 설명되는 동일한 크기로 분할하는 방식과 도 7에서 설명되는 적응적(adaptive) 크기로 분할하는 방법이 있다.
도 6을 참조하면, 이미지 프로세서(200)는 이미지 센서(100)로부터 수신된 휘도 데이터(520)를 동일한 크기의 구역들(ROI1, ROI2)로 분할할 수 있다. 예를 들면, 휘도 데이터(520)가 16x12의 크기를 가지는 경우, 이미지 프로세서(200)는 휘도 데이터(520)를 4x6 크기의 구역들(ROI1, ROI2)로 분할할 수 있다. 각 구역(ROI1, ROI2)의 가로 픽셀 수(sparse_x)는 4이고, 세로 픽셀 수(sparse_y)는 6일 수 있다. 각 구역(ROI1, ROI2)의 크기가 4x6인 경우, 그리드 넘버(grid number)는 grid number = (width/sparse_x) x (height/sparse_y) = (16/4)x(12/6) = 4x2 = 8일 수 있다.
예를 들면, 이미지 프로세서(200)는 휘도 데이터(520)를 2개의 중앙 구역(ROI1)과 6개의 경계 구역(ROI2)으로 분할할 수 있다. 예를 들어 이미지 프로세서(200)는 중앙 구역(ROI1)들의 좌측에 2개의 경계 구역(ROI2)들, 중앙 구역(ROI1)의 우측에 2개의 경계 구역(ROI2)들, 및 중앙 구역(ROI1)의 상측과 하측에 위치하는 휘도 값들을 재구성한 2개의 경계 구역들로 휘도 데이터(520)를 분할할 수 있다. 중앙 구역(ROI1)의 상측과 하측에 위치하는 휘도 값들을 재구성한 2개의 경계 구역들 각각은 어느 하나의 중앙 구역(ROI1)의 상측에 위치하는 4x3 크기의 구역과 하측에 위치하는 4x3 크기의 구역을 포함하는 4x6 크기의 구역일 수 있다. 또는, 중앙 구역(ROI1)의 상측과 하측에 위치하는 휘도 값들을 재구성한 2개의 경계 구역들 각각은 중앙 구역(ROI1)들의 상측에 위치하는 8x3 크기의 구역이거나, 중앙 구역(ROI1)들의 하측에 위치하는 8x3 크기의 구역일 수도 있다. 이 외에도 이미지 프로세서(200)는 다양한 방식으로 휘도 데이터(520)를 분할할 수 있다. 예를 들면, 이미지 프로세서(200)는 휘도 데이터(520)를 4x3 크기의 구역들로 분할할 수도 있다.
도 6을 참조하면, 이미지 프로세서(200)는 휘도 데이터(520)의 중앙(center)에 대응되는 중앙 구역(ROI1)들과 휘도 데이터(520)의 경계(boundary)에 대응되는 경계 구역(ROI2)들에 서로 다른 가중치(W1, W2)를 적용할 수 있다. 이미지 프로세서(200)는 수학식 1을 통해 휘도 데이터(520)의 대표 휘도 값을 계산할 수 있다.
수학식 1을 참조하면, 이미지 프로세서(200)는 중앙 구역(ROI1)들 각각의 휘도 값들의 평균 값(AVG(ROI1))에 가중치 W1를 곱하고, 경계 구역(ROI2) 각각의 휘도 값들의 평균 값(AVG(ROI2))에 가중치 W2를 곱한 뒤에 서로 합산하여 대표 휘도 값(representative Y value)을 산출할 수 있다.
도 7을 참조하면, 이미지 프로세서(200)는 이미지 센서(100)로부터 수신된 휘도 데이터(520)를 적응적 크기의 구역들(ROI1, ROI2, ROI3)로 분할할 수도 있다. 이미지 프로세서(200)는 휘도 데이터(520)의 중앙으로부터 경계까지 서로 다른 크기의 구역들(ROI1, ROI2, ROI3)로 분할할 수 있다. 예를 들면, 휘도 데이터(520)가 16x12의 크기를 가지는 경우, 이미지 프로세서(200)는 휘도 데이터(520)의 중앙에서 경계 방향으로 1x1 크기의 구역(ROI1), 2x2 크기의 구역(ROI2), 및 4x3 크기의 구역(ROI3)들로 휘도 데이터(520)를 분할할 수 있다.
휘도 데이터(520)의 중앙에 해당하는 구역(ROI1)의 경우, 가로 픽셀 수(sparse_x1)는 1이고 세로 픽셀 수(sparse_y1)는 1일 수 있다. 휘도 데이터(520)의 중앙에 해당하는 구역(ROI1)에 비해 외곽에 위치하는 구역(ROI2)의 경우, 가로 픽셀 수(sparse_x2)는 2이고 세로 픽셀 수(sparse_y2)는 2일 수 있다. 휘도 데이터(520)의 경계에 해당하는 구역(ROI3)의 경우, 가로 픽셀 수(sparse_x3)는 4이고 세로 픽셀 수(sparse_y3)는 3일 수 있다. 도 7에 도시된 바와 같이 휘도 데이터(520)를 분할하는 경우, 그리드 넘버는 ROI1의 개수 8, ROI2의 개수 10, 및 ROI3의 개수 12를 더한 30일 수 있다.
도 7을 참조하면, 이미지 프로세서(200)는 휘도 데이터(520)를 분할한 각각의 영역들(ROI1, ROI2, ROI3)마다 서로 다른 가중치(W1, W2, W3)를 적용할 수 있다. 이미지 프로세서(200)는 수학식 2를 통해 휘도 데이터(520)의 대표 휘도 값을 계산할 수 있다.
도 6의 수학식 1 및 도 7의 수학식 2를 참조하면, 이미지 프로세서(200)는 휘도 데이터(520)의 위치(예: 중앙, 경계)마다 서로 다른 가중치를 곱하는 가중치 합산을 통해 대표 휘도 값을 획득할 수 있다. 예를 들면, 이미지 프로세서(200)는 중앙 구역(예: 도 6의 ROI1)의 휘도 값과 경계 구역(예: 도 6의 ROI2)의 휘도 값 사이의 차이에 따라 서로 다른 방식으로 대표 휘도 값을 계산할 수 있다. 이미지 프로세서(200)는 중앙 구역의 휘도 값과 경계 구역의 휘도 값 사이의 차이가 임계 값 이상인 경우, 이미지 센서(100)를 통해 촬영되는 장면 내에 물체 또는 사람 등의 피사체가 포함되어 있다고 판단하여 중앙 구역을 제외한 경계 구역의 휘도 값을 이용하여 대표 휘도 값을 계산할 수 있다. 또한 이미지 프로세서(200)는 중앙 구역의 휘도 값과 경계 구역의 휘도 값 사이의 차이가 임계 값 미만인 경우에는 중앙 구역과 경계 구역을 모두 이용하여 대표 휘도 값을 계산할 수 있다.
중앙 구역의 휘도 값과 경계 구역의 휘도 값 사이의 차이가 임계 값 이상인 경우에 대해 보다 상세히 설명하면, 이미지 프로세서(200)는 경계 구역 전체에서 휘도 값들의 표준 편차(standard deviation)를 구하고, 표준 편차가 일정 수준 미만인 경우에는 경계 구역에 포함된 휘도 값들을 모두 이용하여 대표 휘도 값을 산출할 수 있다. 이미지 프로세서(200)는 상기 표준 편차가 일정 수준 이상인 경우에는 경계 구역에 포함된 휘도 값들 중 상/하위 N%를 제외한 나머지 휘도 값들을 이용하여 대표 휘도 값을 산출할 수 있다. 이미지 프로세서(200)는 휘도 값들 중 상/하위 N%를 생략함으로써 휘도 데이터(520)에 포함될 수 있는 이상치에 의한 영향을 최소화할 수 있다.
마찬가지로 중앙 구역의 휘도 값과 경계 구역의 휘도 값 사이의 차이가 임계 값 미만인 경우에 대해 보다 상세히 설명하면, 이미지 프로세서(200)는 중앙 구역과 경계 구역을 모두 포함하는 전체 휘도 값들 중 상/하위 N%를 제외한 나머지 휘도 값들을 이용하여 대표 휘도 값을 산출할 수 있다.
도 8은 본 발명의 실시 예에 따라 이미지 데이터의 적어도 일부를 기반으로 코드를 산출하는 예시를 설명하기 위한 도면이다. 도 8에 도시된 휘도 데이터(810, 820, 830)는 도 5에서 도시된 휘도 데이터(520)에 각각 대응될 수 있다.
도 8을 참조하면, 휘도 데이터(520)의 일부 구역에는 이상치(outlier)가 포함될 수 있다. 이상치는 휘도 데이터(520) 중 특정 영역의 휘도 값이 휘도 데이터(520)의 다른 영역에 비해 매우 큰 값을 가지거나 매우 작은 값을 가지는 것을 의미할 수 있다. 예를 들면, 휘도 데이터(520) 중 일부 영역만이 픽셀 포화 등에 따라 매우 큰 휘도 값을 가지는 경우, 해당 영역에 이상치가 포함된다고 이해될 수 있다.
이상치에는 공간적 변화(spatial variation)와 시간적 변화(temporal variation)가 포함될 수 있다.
도 8을 참조하면, 시점 t1에 촬영된 휘도 데이터(810)의 일 영역에는 이상치(811)가 포함될 수 있다. 휘도 데이터(810)의 전체 구역들 중 이상치(811)에 대응되는 구역의 휘도 값이 일정 범위를 벗어나는 경우, 이상치(811)는 공간적 변화에 해당할 수 있다. 공간적 변화에 해당하는 이상치는 촬영되는 장면에 국부적인 광(local light)(예: 점 광원)이 포함된 경우에 발생할 수 있다.
또한 시점 t1에 촬영된 휘도 데이터(810), 시점 t2에 촬영된 휘도 데이터(820), 및 시점 t3에 촬영된 휘도 데이터(830)를 비교하면, 이상치들(811, 821, 및 831)의 위치가 서로 다를 수 있다. 서로 다른 시점에 촬영된 휘도 데이터(810, 820, 830)에서 서로 다른 위치에 이상치(811, 821, 831)가 포함된 경우, 시간적 변화에 해당하는 이상치일 수 있다. 시간적 변화에 해당하는 이상치는 촬영하는 장치(10)(또는 이미지 센서(100))가 움직이거나 흔들리는 경우에 발생할 수 있다.
이미지 프로세서(200)는 휘도 데이터(810, 820, 830)를 기반으로 산출되는 대표 휘도 값의 정확도를 향상시키기 위해 이상치(811, 821, 831)를 제외한 나머지 영역을 이용하여 대표 휘도 값을 산출할 수 있다. 예를 들면, 이미지 프로세서(200)는 대표 휘도 값의 정확성 향상을 위해 휘도 데이터(810, 820, 830)의 적어도 일부를 기반으로 대표 휘도 값을 산출할 수 있다. 이미지 프로세서(200)는 이상치(811, 821, 831)를 제외한 뒤에 대표 휘도 값을 산출함으로써, 이상치(811, 821, 831)에 의해 실제 장면의 밝기보다 지나치게 높거나 낮은 대표 휘도 값이 산출되는 것을 방지할 수 있다.
예를 들면, 이미지 프로세서(200)는 휘도 데이터(810, 820, 830)에 포함된 휘도 값들 중 상/하위 N%를 생략한 나머지 휘도 값들을 이용하여 대표 휘도 값을 산출함으로써, 공간적 변화에 해당하는 이상치, 및/또는 시간적 변화에 해당하는 이상치를 제외시킬 수 있다. 다만 이는 하나의 예시로서, 이 외에도 다양한 방법을 통해 대표 휘도 값을 산출할 수 있다.
도 6 내지 도 8을 참조하면, 이미지 프로세서(200)(예: 휘도 산출부(220))는 이미지 센서(100)로부터 획득한 휘도 데이터(520)를 이용하여 대표 휘도 값을 산출할 수 있다. 이때, 대표 휘도 값은 지정된 개수의 비트(예: 8 bit)를 가지는 코드로서, 예를 들면 0~255의 값을 가질 수 있다. 도 9 및 도 10에서는 밝기 측정부(240)가 상기 산출된 대표 휘도 값, 즉 코드를 이용하여 장치(10) 주변의 밝기(또는 이미지 센서(100) 주변의 밝기)를 식별하는 방법 및 이미지 센서 제어부(230)가 상기 코드의 값에 따라 이미지 센서(100)의 설정 조건을 변경하는 방법에 대해 설명한다.
도 9는 본 발명의 실시 예에 따라 설정 조건 및 코드를 기반으로 주변 밝기를 식별하는 방법을 설명하기 위한 도면이다.
도 4의 단계 S420과 S434에 따르면, 이미지 프로세서(200)(예: 밝기 측정부(240))는 대표 휘도 값(예: 제1 코드, 제2 코드)를 기반으로 이미지 센서(100) 주변 밝기(또는 장치(10) 주변 밝기)(예: 제1 밝기 값, 제2 밝기 값)를 식별할 수 있다. 도 9에서는 이미지 프로세서(200)(예: 밝기 측정부(240))가 대표 휘도 값(또는, 코드)을 기반으로 주변 밝기를 식별하는 구체적인 방법의 예시를 설명한다.
본 개시에서 이미지 센서(100)의 설정 조건이란 사전에 결정된 값을 가지는 지정된 개수의 설정 조건 후보들 중에서 선택된 어느 하나의 설정 조건일 수 있다. 예를 들면, 장치(10)는 지정된 개수(예: 3)의 설정 조건 후보들을 사전에 결정 및 저장할 수 있다. 도 9를 참조하면, 장치(10)가 사전에 결정한 설정 조건 후보들은 3가지이며, 제1 설정 조건 후보는 아날로그 게인이 16, 노출 시간이 90ms일 수 있고, 제2 설정 조건 후보는 아날로그 게인이 8, 노출 시간이 50ms일 수 있고, 제3 설정 조건 후보는 아날로그 게인이 1, 노출 시간이 10ms일 수 있다. 이미지 프로세서(200)는 주변 광이 부족한 어두운 환경에서는 제1 설정 조건 후보를, 주변 광이 적당한 환경에서는 제2 설정 조건 후보를, 주변 광이 많아 밝은 환경에서는 제3 설정 조건 후보를 선택하여 이미지 센서(100)를 제어할 수 있다.
이미지 프로세서(200)(예: 밝기 측정부(240))는 사전에 저장된 룩업 테이블(lookup table)을 이용하여 이미지 센서(100) 주변의 밝기를 측정할 수 있다. 룩업 테이블이란 주어진 연산에 대해 미리 계산된 결과들의 집합이나 배열로, 전자 장치(10)는 룩업 테이블을 표 또는 관계식의 형태로 메모리에 저장할 수 있다. 도 9의 그래프를 참조하면, 제1 설정 조건 후보의 경우 코드와 밝기 사이의 관계식은 12 x (code) + 10, 제2 설정 조건 후보의 경우 코드와 밝기 사이의 관계식은 16 x (code) + 2000, 제3 설정 조건 후보의 경우 코드와 밝기 사이의 관계식은 20 x (code) + 5000일 수 있다. 이미지 프로세서(200)는 이미지 데이터(또는, 휘도 데이터) 촬영 당시의 이미지 센서(100)의 설정 조건을 기반으로 상기 3개의 관계식 중 어느 하나를 선택하고, 선택된 관계식에 산출된 코드(또는, 대표 휘도 값)를 대입하여 주변 밝기를 식별할 수 있다.
본 개시에서 이미지 센서(100)의 설정 조건(예: 아날로그 게인, 노출 시간)이 가질 수 있는 값들은 몇 가지의 고정된 쌍으로 한정될 수 있다. 즉, 이미지 센서(100)의 아날로그 게인 및 노출 시간이 가질 수 있는 값들은 듬성듬성(sparse)할 수 있다.
도 9에서는 이미지 센서(100)의 설정 조건 후보들이 3가지인 것으로 도시되었으나, 이는 하나의 예시로서 본 개시의 실시 예들을 한정하지 않는다. 예를 들면, 도 9에서 측정 가능한 조도의 범위는 10 lux ~ 10,000 lux이고 코드의 비트 개수는 8개인 경우, 밝기 해상도(lux resolution)는 9990lux / (255x3) = 13lux일 수 있다. 밝기 해상도를 감소시켜 밝기 측정의 정확도를 향상시키기 위해서는 이미지 센서(100)의 설정 조건 후보들의 개수를 4 이상으로 증가시키거나, 코드의 비트 개수를 증가시키거나, 측정 가능한 조도의 범위를 감소시키는 등 다양한 방식으로 장치(10)가 설계될 수 있다.
도 10은 본 발명의 실시 예에 따라 지정된 이벤트가 발생한 경우 이미지 센서의 설정 조건을 변경하는 방법을 설명하기 위한 도면이다.
도 3의 단계 S314 및 도 4의 단계 S424에 따르면, 이미지 프로세서(200)(예: 이미지 센서 제어부(230))는 지정된 이벤트(예: 제1 코드가 최소값 또는 최대값을 가짐)가 발생한 경우, 이미지 센서(100)의 설정 조건을 변경할 수 있다. 도 10에서는 상기 지정된 이벤트의 구체적인 예시와 설정 조건 변경 방법에 대해 설명한다.
이미지 센서(100)가 설정 조건 후보들 중 어느 하나의 설정 조건에 따라 휘도 데이터(또는, 이미지 데이터)를 촬영하는 도중에 주변 환경이 변화(예: 밝아지거나 어두워짐)하는 경우, 이미지 프로세서(200)(예: 이미지 센서 제어부(230))는 도 10에서 설명되는 바와 같이 히스테리시스 루프(Hysteresis loop)에 따라 이미지 센서(100)의 설정 조건을 변경할 수 있다. 본 개시에서 히스테리시스 루프란, 산출되는 코드의 값에 따라 이미지 센서(100)의 설정 조건을 변경함으로써 한정된 개수의 비트를 가지는 코드로도 넓은 범위의 외부 밝기를 식별할 수 있도록 구성된 순환 형태의 루프를 의미할 수 있다.
도 10의 (A)를 참조하면, 이미지 프로세서(200)(예: 이미지 센서 제어부(230))는 이미지 센서(100)의 설정 조건이 제2 설정 조건 후보에 해당하고 대표 휘도 값(또는, 코드)이 0인 경우, 다음 프레임의 이미지(예: 이미지 데이터, 휘도 데이터)를 촬영하기 위한 이미지 센서(100)의 설정 조건을 제1 설정 조건 후보로 변경할 수 있다. 이미지 센서(100)가 아날로그 게인은 8, 노출 시간은 50ms인 상태에서 촬영한 제1 이미지 데이터를 이미지 프로세서(200)에 제공하고, 이미지 프로세서(200)(예: 휘도 산출부(220))가 제1 이미지 데이터를 기반으로 산출한 제1 코드가 0인 경우, 이미지 프로세서(200)(예: 이미지 센서 제어부(230))는 이미지 센서(100)의 설정 조건을 아날로그 게인이 16, 노출 시간이 90ms가 되도록 변경할 수 있다. 이미지 프로세서(200)(예: 이미지 센서 제어부(230))는 이미지 센서(100)의 설정 조건을 변경함에 따라 제1 코드를 통해 측정 가능한 조도를 벗어나지 않도록 할 수 있다.
도 10의 (B)를 참조하면, 이미지 프로세서(200)(예: 이미지 센서 제어부(230))는 이미지 센서(100)의 설정 조건이 제1 설정 조건 후보에 해당하고 대표 휘도 값(또는, 코드)이 255인 경우, 다음 프레임의 이미지(예: 이미지 데이터, 휘도 데이터)를 촬영하기 위한 이미지 센서(100)의 설정 조건을 제2 설정 조건 후보로 변경할 수 있다. 이미지 센서(100)가 아날로그 게인은 16, 노출 시간은 90ms인 상태에서 촬영한 제1 이미지 데이터를 이미지 프로세서(200)에 제공하고, 이미지 프로세서(200)가 제1 이미지 데이터를 기반으로 산출한 제1 코드가 255인 경우, 이미지 프로세서(200)(예: 이미지 센서 제어부(230))는 이미지 센서(100)의 설정 조건을 아날로그 게인이 8, 노출 시간이 50ms가 되도록 변경할 수 있다.
도 10의 (C)를 참조하면, 이미지 프로세서(200)(예: 이미지 센서 제어부(230))는 이미지 센서(100)의 설정 조건이 제2 설정 조건 후보에 해당하고 대표 휘도 값(또는, 코드)이 255인 경우, 다음 프레임의 이미지(예: 이미지 데이터, 휘도 데이터)를 촬영하기 위한 이미지 센서(100)의 설정 조건을 제3 설정 조건 후보로 변경할 수 있다. 이미지 센서(100)가 아날로그 게인은 8, 노출 시간은 50ms인 상태에서 촬영한 제1 이미지 데이터를 이미지 프로세서(200)에 제공하고, 이미지 프로세서(200)가 제1 이미지 데이터를 기반으로 산출한 제1 코드가 255인 경우, 이미지 프로세서(200)(예: 이미지 센서 제어부(230))는 이미지 센서(100)의 설정 조건을 아날로그 게인이 1, 노출 시간이 10ms가 되도록 변경할 수 있다.
도 10의 (D)를 참조하면, 이미지 프로세서(200)(예: 이미지 센서 제어부(230))는 이미지 센서(100)의 설정 조건이 제3 설정 조건 후보에 해당하고 대표 휘도 값(또는, 코드)이 0인 경우, 다음 프레임의 이미지(예: 이미지 데이터, 휘도 데이터)를 촬영하기 위한 이미지 센서(100)의 설정 조건을 제2 설정 조건 후보로 변경할 수 있다. 이미지 센서(100)가 아날로그 게인은 1, 노출 시간은 10ms인 상태에서 촬영한 제1 이미지 데이터를 이미지 프로세서(200)에 제공하고, 이미지 프로세서(200)가 제1 이미지 데이터를 기반으로 산출한 제1 코드가 0인 경우, 이미지 프로세서(200)(예: 이미지 센서 제어부(230))는 이미지 센서(100)의 설정 조건을 아날로그 게인이 8, 노출 시간이 50ms가 되도록 변경할 수 있다.
도 10의 (A) 내지 (D)를 참조하면, 이미지 프로세서(200)(예: 이미지 센서 제어부(230))는 제1 코드(또는, 대표 휘도 값)가 최소값(예: 0)을 가지는 것에 응답하여, 이미지 센서(100)의 아날로그 게인 및 노출 시간을 증가시킬 수 있다. 또한 이미지 프로세서(200)(예: 이미지 센서 제어부(230))는 제1 코드(또는, 대표 휘도 값)가 최대값(예: 255)을 가지는 것에 응답하여, 이미지 센서(100)의 아날로그 게인 및 노출 시간을 감소시킬 수 있다.
본 개시에서 대표 휘도 값이 최소값(예: 0)인 경우는 이미지 센서(100)의 아날로그 게인이 매우 낮거나 노출 시간이 매우 짧아 이미지 센서(100)의 픽셀들에 전하가 거의 생성되지 않은 경우일 수 있다. 이미지 프로세서(200)는 대표 휘도 값이 최소값인 경우 이미지 센서(100)의 아날로그 게인 및 노출 시간을 증가시킬 수 있다. 또한 대표 휘도 값이 최대값(예: 255)인 경우는 이미지 센서(100)의 아날로그 게인이 매우 높거나 노출 시간이 매우 길어 이미지 센서(100)의 픽셀들이 모두 포화(saturation)된 경우일 수 있다. 이미지 프로세서(200)는 대표 휘도 값이 최대값인 경우 이미지 센서(100)의 아날로그 게인 및 노출 시간을 감소시킬 수 있다.
도 10에서는 제1 코드가 표현 가능한 값이 0~255인 것으로 도시되었으나 이는 제1 코드가 8 bit임을 전제한 것으로, 본 개시의 권리범위를 제한하지 않는다. 예를 들어, 제1 코드가 16 bit인 경우, 제1 코드를 통해 표현 가능한 값 중 최소값은 0, 최대값은 511일 수 있다.
10: 장치
100: 이미지 센서
200: 이미지 프로세서

Claims (18)

  1. 이미지 센서로부터 이미지 데이터를 수신하는 수신부;
    상기 이미지 데이터를 기반으로 상기 이미지 데이터의 휘도 값에 대응되는 코드를 산출하는 휘도 산출부;
    상기 코드가 상기 코드를 통해 표현 가능한 값 중 최소값 또는 최대값을 가지는 것에 응답하여, 상기 이미지 센서의 설정 조건을 변경하는 이미지 센서 제어부; 및
    상기 변경된 설정 조건 및 상기 코드를 이용하여 식별된 상기 이미지 센서 주변의 밝기 값을 출력하는 밝기 측정부;를 포함하는, 이미지 프로세서.
  2. 청구항 1에 있어서, 상기 휘도 산출부는,
    상기 이미지 데이터를 2 이상의 구역들로 분할하고, 상기 2 이상의 구역들 각각의 휘도 값을 기반으로 상기 코드를 산출하는, 이미지 프로세서.
  3. 청구항 1에 있어서, 상기 설정 조건은,
    상기 이미지 센서의 아날로그 게인 또는 상기 이미지 센서의 노출 시간 중 적어도 하나를 포함하는, 이미지 프로세서.
  4. 청구항 1에 있어서, 상기 설정 조건은,
    사전에 결정된 값을 가지는 지정된 개수의 설정 조건 후보들 중에서 선택된 어느 하나의 설정 조건인, 이미지 프로세서.
  5. 청구항 4에 있어서, 상기 지정된 개수는,
    3인, 이미지 프로세서.
  6. 청구항 1에 있어서, 상기 최소값 및 상기 최대값은,
    상기 코드가 8개의 비트를 가지는 경우, 각각 0 및 255인, 이미지 프로세서.
  7. 청구항 1에 있어서, 상기 이미지 센서 제어부는,
    상기 코드가 상기 최소값을 가지는 것에 응답하여, 상기 이미지 센서의 아날로그 게인 및 노출 시간을 증가시키는, 이미지 프로세서.
  8. 청구항 1에 있어서, 상기 이미지 센서 제어부는,
    상기 코드가 상기 최대값을 가지는 것에 응답하여, 상기 이미지 센서의 아날로그 게인 및 노출 시간을 감소시키는, 이미지 프로세서.
  9. 청구항 1에 있어서, 상기 이미지 센서 제어부는,
    히스테리시스 루프(Hysteresis loop)에 따라 상기 이미지 센서의 상기 설정 조건을 변경하는, 이미지 프로세서.
  10. 청구항 1에 있어서, 상기 밝기 측정부는,
    상기 변경된 설정 조건과 관련된 룩업 테이블(lookup table) 및 상기 코드를 이용하여 상기 밝기를 식별하는, 이미지 프로세서.
  11. 이미지 프로세서의 제어에 따라 이미지 데이터를 획득하는 이미지 센서; 및
    상기 이미지 센서로부터 수신된 제1 이미지 데이터를 기반으로 상기 제1 이미지 데이터의 휘도 값에 대응되는 제1 코드를 산출하고,
    상기 제1 코드가 상기 제1 코드를 통해 표현 가능한 값 중 최소값 또는 최대값을 가지는 것에 응답하여, 상기 이미지 센서의 설정 조건을 변경하고,
    상기 변경된 설정 조건, 및 상기 이미지 센서를 통해 상기 변경된 설정 조건에 따라 촬영된 제2 이미지 데이터에 대응되는 제2 코드를 이용하여 식별된 상기 이미지 센서 주변의 밝기 값을 출력하는 이미지 프로세서를 포함하는, 장치.
  12. 청구항 11에 있어서,
    디스플레이; 및
    상기 출력된 밝기 값을 기반으로 상기 디스플레이의 표시를 제어하는 프로세서;를 더 포함하는, 장치.
  13. 이미지 센서를 통해 촬영된 제1 이미지 데이터를 기반으로 상기 제1 이미지 데이터의 휘도 값에 대응되는 제1 코드를 산출하는 단계;
    상기 제1 코드가 상기 제1 코드를 통해 표현 가능한 값 중 최소값 또는 최대값을 가지는 것에 응답하여, 상기 이미지 센서의 설정 조건을 변경하는 단계; 및
    상기 변경된 설정 조건 및 상기 이미지 센서를 통해 상기 변경된 설정 조건에 따라 촬영된 제2 이미지 데이터에 대응되는 제2 코드를 이용하여, 상기 이미지 센서 주변의 밝기를 식별하는 단계를 포함하는, 밝기 측정 방법.
  14. 청구항 13에 있어서, 상기 제1 이미지 데이터를 기반으로 상기 제1 코드를 산출하는 단계는,
    상기 제1 이미지 데이터를 2 이상의 구역들로 분할하는 단계; 및
    상기 2 이상의 구역들 각각의 휘도 값을 기반으로 상기 제1 코드를 산출하는 단계를 포함하는, 밝기 측정 방법.
  15. 청구항 13에 있어서, 상기 설정 조건을 변경하는 단계는,
    사전에 결정된 값을 가지는 지정된 개수의 설정 조건 후보들 중에서 어느 하나의 설정 조건을 선택하는 단계를 포함하는, 밝기 측정 방법.
  16. 청구항 13에 있어서, 상기 설정 조건을 변경하는 단계는,
    상기 제1 코드가 상기 최소값을 가지는 것에 응답하여, 상기 이미지 센서의 아날로그 게인 및 노출 시간을 증가시키는 단계를 포함하는, 밝기 측정 방법.
  17. 청구항 13에 있어서, 상기 설정 조건을 변경하는 단계는,
    상기 제1 코드가 상기 최대값을 가지는 것에 응답하여, 상기 이미지 센서의 아날로그 게인 및 노출 시간을 감소시키는 단계를 포함하는, 밝기 측정 방법.
  18. 청구항 13에 있어서, 상기 이미지 센서 주변의 밝기를 식별하는 단계는,
    상기 변경된 설정 조건과 관련된 룩업 테이블(lookup table) 및 상기 제2 코드를 이용하여 상기 밝기를 식별하는 단계를 포함하는, 밝기 측정 방법.
KR1020220147645A 2022-11-08 2022-11-08 이미지 센서를 이용한 주변 광 감지 KR20240066632A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/126,331 US20240155245A1 (en) 2022-11-08 2023-03-24 Ambient light sensing using image sensor
CN202310626384.7A CN118018853A (zh) 2022-11-08 2023-05-30 使用图像传感器的环境光感测

Publications (1)

Publication Number Publication Date
KR20240066632A true KR20240066632A (ko) 2024-05-16

Family

ID=

Similar Documents

Publication Publication Date Title
KR101464750B1 (ko) 고체 촬상 장치, 고체 촬상 장치의 신호 처리 장치 및 신호처리 방법과 촬상 장치
US10110827B2 (en) Imaging apparatus, signal processing method, and program
US9230310B2 (en) Imaging systems and methods for location-specific image flare mitigation
KR100864464B1 (ko) Ｘｙ 어드레스형 고체 촬상 장치의 플리커 노이즈 저감 방법
CN104038702B (zh) 摄像设备及其控制方法
US9083898B2 (en) Solid-state imaging device and camera module
US10771724B2 (en) Image capturing apparatus
KR101741499B1 (ko) 페데스탈 레벨 보상 방법 및 이를 수행할 수 있는 장치들
US7643069B2 (en) Device and method for adjusting exposure of image sensor
US20140063294A1 (en) Image processing device, image processing method, and solid-state imaging device
JP2009212909A (ja) 固体撮像装置、固体撮像装置のフリッカ検出方法、制御プログラム、可読記録媒体および電子情報機器
US20230046521A1 (en) Control method, camera assembly, and mobile terminal
CN112449130A (zh) 具有闪烁分析电路的事件传感器
US9350920B2 (en) Image generating apparatus and method
KR20120114161A (ko) 고체 촬상 소자 및 구동 방법, 및 전자 기기
US8040400B2 (en) Signal processing device, image sensing system, and signal processing method
US8848073B2 (en) Solid-state imaging device and electronic apparatus
CN111953908A (zh) 用于生成高动态范围图像的成像系统
US20170251135A1 (en) Imaging device and imaging method
US20150070545A1 (en) Solid-state imaging device
KR20240066632A (ko) 이미지 센서를 이용한 주변 광 감지
US20240155245A1 (en) Ambient light sensing using image sensor
KR20240071764A (ko) 이미지 센서를 이용한 주변 광 감지
US20240163562A1 (en) Ambient light sensing using image sensor
US12009375B2 (en) Imaging device and imaging element