KR20200133167A - Hdr 이미지를 생성하기 위한 이미지 시스템 - Google Patents

Hdr 이미지를 생성하기 위한 이미지 시스템 Download PDF

Info

Publication number
KR20200133167A
KR20200133167A KR1020190108760A KR20190108760A KR20200133167A KR 20200133167 A KR20200133167 A KR 20200133167A KR 1020190108760 A KR1020190108760 A KR 1020190108760A KR 20190108760 A KR20190108760 A KR 20190108760A KR 20200133167 A KR20200133167 A KR 20200133167A
Authority
KR
South Korea
Prior art keywords
exposure time
image
mode
signal
dynamic range
Prior art date
Application number
KR1020190108760A
Other languages
English (en)
Inventor
이정국
최윤석
유재성
이상우
이용철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US16/800,579 priority Critical patent/US11653101B2/en
Priority to CN202010288453.4A priority patent/CN111953908B/zh
Publication of KR20200133167A publication Critical patent/KR20200133167A/ko
Priority to US18/308,714 priority patent/US20230262345A1/en

Links

Images

Classifications

    • H04N5/23245—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H04N5/232411—
    • H04N5/2355—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 발명은 HDR 이미지를 생성하기 위한 이미지 시스템에 관한 것이다. 본 발명의 실시예에 따른 이미지 시스템은 수신된 빛에 기초하여 제1 이미지 데이터를 생성하는 이미지 센서, 및 제1 이미지 데이터에 대응되는 조도 및 동적 범위에 기초하여 제1 모드 및 제2 모드를 포함하는 동작 모드를 판단하는 프로세싱 회로를 포함한다. 이미지 센서는 제1 모드에서 제1 노출 시간 동안 수신된 빛을 제1 신호로 변환하고 제2 모드에서 제2 노출 시간 동안 수신된 빛을 제2 신호로 변환하는 제1 픽셀, 및 제1 모드에서 제1 노출 시간 동안 수신된 빛을 제3 신호로 변환하고 제2 모드에서 제1 노출 시간 동안 수신된 빛을 제4 신호로 변환하는 제2 픽셀을 포함한다.

Description

HDR 이미지를 생성하기 위한 이미지 시스템 {IMAGING SYSTEM FOR GENERATING HIGH DYNAMIC RANGE IMAGE}
본 발명은 이미지 시스템에 관한 것으로, 좀 더 상세하게는 HDR 이미지를 생성하기 위한 이미지 시스템에 관한 것이다.
이미지 시스템은 카메라로부터 촬영된 이미지를 사용자에게 제공하기 위한 시스템이다. 이미지 시스템은 스마트폰과 같은 다양한 형태의 전자 장치로 구현될 수 있다. 사용자에게 고화질의 이미지를 제공하거나 피사체를 정확하게 표현하기 위하여, 이미지 시스템은 이미지의 동적 범위(dynamic range)를 향상시킬 수 있다. 동적 범위는 이미지에서 어두운 부분에서 밝은 부분까지의 휘도를 표현할 수 있는 범위일 수 있다.
동적 범위가 향상된 HDR(high dynamic range) 이미지를 생성하기 위한 다양한 방식들이 제공된다. 일례로, 이미지 시스템은 서로 다른 노출 시간에 대응하는 이미지를 획득하고 합성하여 HDR 이미지를 생성할 수 있다. 그러나, 이미지의 동적 범위에 따라 HDR 이미지의 생성이 불필요하거나 고성능의 HDR 이미지의 생성이 불필요할 수 있다. 이 경우, HDR 이미지의 생성을 위한 불필요한 전력 소모가 발생할 수 있다.
본 발명은 전력 소모를 감소시키면서 개선된 성능을 갖는 HDR 이미지를 생성하기 위한 이미지 시스템을 제공할 수 있다.
본 발명의 실시예에 따른 HDR 이미지를 생성하기 위한 이미지 시스템은 수신된 빛에 기초하여 제1 이미지 데이터를 생성하는 이미지 센서, 및 제1 이미지 데이터에 대응되는 조도 및 동적 범위에 기초하여 제1 모드 및 제2 모드를 포함하는 동작 모드를 판단하는 프로세싱 회로를 포함한다. 이미지 센서는 제1 픽셀, 제2 픽셀, 및 변환 회로를 포함한다. 제1 픽셀은 타겟 컬러에 대응되는 빛을 감지하고, 제1 모드에서 제1 노출 시간 동안 수신된 빛을 제1 신호로 변환하고 제2 모드에서 제1 노출 시간보다 긴 제2 노출 시간 동안 수신된 빛을 제2 신호로 변환한다. 제2 픽셀들은 제1 픽셀과 플로팅 확산 영역을 공유하고, 타겟 컬러에 대응되는 빛을 감지하고, 제1 모드에서 제1 노출 시간 동안 수신된 빛을 제3 신호로 변환하고 제2 모드에서 제1 노출 시간 동안 수신된 빛을 제4 신호로 변환한다. 변환 회로는 제1 신호 및 제3 신호에 기초하여 제2 이미지 데이터를 생성하고, 제2 신호 및 제4 신호에 기초하여 제3 이미지 데이터를 생성한다.
본 발명의 실시예에 따른 HDR 이미지를 생성하기 위한 이미지 시스템은 이미지 센서 및 프로세싱 회로를 포함한다. 이미지 센서는 수신된 빛에 기초하여 전기 신호를 생성하는 복수의 픽셀들을 포함하는 픽셀 어레이, 및 전기 신호에 기초하여 이미지 데이터를 생성하는 변환 회로를 포함한다. 프로세싱 회로는 이미지 데이터에 기초하여 조도 및 동적 범위를 계산하고, 계산된 조도 및 계산된 동적 범위에 기초하여 복수의 픽셀들 중 적어도 일부의 노출 시간을 변경하고, 이미지 데이터의 HDR(high dynamic range) 처리를 수행한다.
본 발명의 실시예에 따른 HDR 이미지를 생성하기 위한 이미지 시스템은 이미지 센서 및 프로세싱 회로를 포함한다. 이미지 센서는 제1 플로팅 확산 영역을 공유하고 제1 컬러에 대응되는 제1 서브 픽셀들, 제2 플로팅 확산 영역을 공유하고 제2 컬러에 대응되는 제2 서브 픽셀들, 및 제3 플로팅 확산 영역을 공유하고 제3 컬러에 대응되는 제3 서브 픽셀들을 포함하는 픽셀 어레이, 및 제1 내지 제3 서브 픽셀들로부터 출력되는 신호들에 기초하여 이미지 데이터를 생성하는 변환 회로를 포함한다. 프로세싱 회로는 이미지 데이터에 대응되는 조도 및 동적 범위를 계산하고, 계산된 조도 및 계산된 동적 범위에 기초하여 제1 내지 제3 서브 픽셀들의 노출 시간을 제어하고, 계산된 조도 및 계산된 동적 범위에 기초하여 이미지 데이터 이후에 생성된 다음 이미지 데이터의 HDR(high dynamic range) 처리를 수행한다.
본 발명의 실시예에 따른 HDR 이미지를 생성하기 위한 이미지 시스템은 이미지에 대응되는 조건에 따라 동작 모드를 적응적으로 제어함으로써, 전력 소모를 감소시키고 이미지 시스템의 성능을 개선할 수 있다. 또한, 본 발명의 실시예에 따른 HDR 이미지를 생성하기 위한 이미지 시스템은 이미지에 대응되는 조건에 따라 사용자에게 시인되지 않고 동작 모드를 실시간으로 전환할 수 있다.
도 1은 본 발명의 실시예에 따른 이미지 시스템의 블록도이다.
도 2는 도 1의 이미지 센서의 예시적인 블록도이다.
도 3은 도 2의 단위 픽셀의 예시적인 도면이다.
도 4는 도 3의 단위 컬러 픽셀의 예시적인 회로도이다.
도 5는 도 1의 이미지 시스템의 동작 방법의 순서도이다.
도 6은 도 1 내지 도 5에서 설명된 제1 모드에 따른 HDR 이미지를 생성하는 과정을 설명하기 위한 예시적인 도면이다.
도 7a 내지 도 7c는 도 6의 제1 모드에서의 노출 시간을 설명하기 위한 예시적인 그래프이다.
도 8은 도 1 내지 도 5에서 설명된 제2 모드에 따른 HDR 이미지를 생성하는 과정을 설명하기 위한 예시적인 도면이다.
도 9a 내지 도 9c는 도 8의 제1 모드에서의 노출 시간을 설명하기 위한 예시적인 그래프이다.
도 10은 도 1 내지 도 5에서 설명된 제3 모드에 따른 HDR 이미지를 생성하는 과정을 설명하기 위한 예시적인 도면이다.
도 11은 도 1 내지 도 5에서 설명된 제4 모드에 따른 이미지를 생성하는 과정을 설명하기 위한 예시적인 도면이다.
도 12 내지 도 15는 도 1의 이미지 시스템의 동작 방법의 예시적인 순서도이다.
도 16은 도 1의 이미지 시스템이 적용되는 전자 시스템의 예시적인 블록도이다.
아래에서는, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재된다.
도 1은 본 발명의 실시예에 따른 이미지 시스템의 블록도이다. 이미지 시스템(100)은 다양한 형태의 전자 장치 또는 전자 회로로 구현될 수 있다. 일례로, 이미지 시스템(100)은 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트폰, 웨어러블(wearable) 장치, 또는 전기 자동차 등에 포함될 수 있다. 일례로, 이미지 시스템(100)은 집적 회로(IC; Integrated Circuit) 또는 시스템 온 칩(SoC; System On Chip) 등으로 구현될 수 있다. 다만, 이에 제한되지 않고, 이미지 시스템(100)은 이미지를 획득하고 처리하는 임의의 장치 또는 회로로 구현될 수 있다.
도 1을 참조하면, 이미지 시스템(100)은 이미지 센서(110) 및 프로세싱 회로(120)를 포함할 수 있다. 이미지 센서(110) 및 프로세싱 회로(120)는 하나의 칩에 집적될 수 있으나, 이에 제한되지 않고 각각 별개의 칩으로 구현될 수 있다.
이미지 센서(110)는 외부로부터 수신된 빛에 기초하여 이미지 데이터(IDAT)를 출력할 수 있다. 이미지 센서(110)는 복수의 픽셀들을 포함할 수 있다. 복수의 픽셀들은 수신된 빛을 전기 신호로 변환할 수 있다. 이미지 센서(110)는 아날로그 신호인 전기 신호를 디지털 신호로 변환하여 이미지 데이터(IDAT)를 생성할 수 있다. 이미지 데이터(IDAT)는 특정 프레임에 대응되는 밝기 정보 및 컬러 정보 등을 포함할 수 있다. 이미지 데이터(IDAT)는 프로세싱 회로(200)로 출력될 수 있다. 이미지 센서(110)에 대한 구체적인 내용은 후술된다.
프로세싱 회로(120)는 수신된 이미지 데이터(IDAT)에 기초하여 다양한 이미지 처리를 수행할 수 있다. 프로세싱 회로(120)는 이미지 처리를 위한 다양한 연산 동작을 수행할 수 있다. 일례로, 프로세싱 회로(120)는 이미지 센서(110)로부터 수신된 이미지 데이터(IDAT)가 디스플레이 장치(미도시)에 표시되도록 이미지 처리를 수행할 수 있다. 프로세싱 회로(120)는 동적 범위 및 조도 계산기(121), 모드 컨트롤러(122), 및 HDR(high dynamic range) 이미지 생성기(123)를 포함할 수 있다.
동적 범위 및 조도 계산기(121)는 수신된 이미지 데이터(IDAT)에 대응되는 프레임의 동적 범위를 계산할 수 있다. 동적 범위는 이미지 데이터(IDAT)에서 가장 어두운 부분에 대한 가장 밝은 부분의 비율에 기초하여 계산될 수 있다. 일례로, 동적 범위 및 조도 계산기(121)는 이미지 데이터(IDAT)에서 가장 어두운 부분에 대응되는 픽셀 값 및 가장 밝은 부분에 대응되는 픽셀 값을 추출할 수 있다. 일례로, 동적 범위 및 조도 계산기(121)는 이미지 데이터(IDAT)를 구성하는 픽셀 값들의 최대값 및 최소값 사이의 비율을 계산할 수 있다. 여기에서, 최대값 및 최소값은 단위 픽셀에 대응되는 픽셀 값들을 기준으로 판단될 수 있다.
동적 범위 및 조도 계산기(121)는 수신된 이미지 데이터(IDAT)에 대응되는 프레임의 조도를 계산할 수 있다. 일례로, 동적 범위 및 조도 계산기(121)는 이미지 데이터(IDAT)를 구성하는 픽셀 값들을 합산할 수 있다. 일례로, 동적 범위 및 조도 계산기(121)는 합산된 픽셀 값들을 이미지 데이터(IDAT)를 생성하기 위하여 빛을 수신하는 노출 시간으로 나눈 값에 기초하여 조도를 계산할 수 있다.
모드 컨트롤러(122)는 계산된 동적 범위 및 조도에 기초하여 이미지 시스템(100)의 동작 모드를 판단할 수 있다. 동작 모드에 따라 프로세싱 회로(120)는 이미지 데이터(IDAT)에 기초한 HDR 이미지를 생성할지 생성하지 않을지 결정할 수 있다. 그리고, 동작 모드에 따라 프로세싱 회로(120)는 HDR 이미지를 어떠한 방식으로 생성할지 결정할 수 있다.
강한 역광이 발생된 상황과 같이 동적 범위가 크고, 외부 조도가 큰 경우, 모드 컨트롤러(122)는 3개의 서로 다른 노출 시간들에 기초하여 이미지 데이터(IDAT)를 생성하고, 생성된 이미지 데이터(IDAT)에 기초하여 HDR 이미지를 생성하기 위한 동작 모드 (일례로, 제1 모드)를 결정할 수 있다. 이미지 데이터(IDAT)에 대응되는 동적 범위가 기준 동적 범위보다 크고, 조도가 기준 조도보다 큰 경우, 모드 컨트롤러(122)는 3개의 서로 다른 노출 시간들에 기초하여 이미지 데이터(IDAT)를 생성하도록 모드 제어 신호(MC)를 생성할 수 있다. 여기에서, 기준 동적 범위 및 기준 조도는 강한 역광이 제공되는 경우와 같이, 이미지의 밝은 부분과 어두운 부분의 차이가 커 높은 성능의 HDR 이미지의 생성이 요구되는 조건을 구분하는 기준으로 이해될 것이다.
3개의 노출 시간들이 요구될 정도의 동적 범위 및 조도는 아니나, 피사체를 정확하게 표현하기 위하여 HDR 이미지 처리가 요구되는 경우, 모드 컨트롤러(122)는 2개의 서로 다른 노출 시간들에 기초하여 이미지 데이터(IDAT)를 생성하고, HDR 이미지를 생성하기 위한 동작 모드 (일례로, 제2 모드)를 결정할 수 있다. 또는, 모드 컨트롤러(122)는 1개의 노출 시간에 기초하여 이미지 데이터(IDAT)를 생성하고, 생성된 이미지 데이터(IDAT)에 기초하여 HDR 이미지를 생성하기 위한 동작 모드 (일례로, 제3 모드)를 결정할 수 있다. 제1 모드와 제2 모드, 제1 모드와 제3 모드, 또는 제2 모드와 제3 모드를 구분하기 위한 기준 동적 범위 및 기준 조도가 미리 설정될 수 있다.
동적 범위 또는 조도가 HDR 이미지 처리가 요구되지 않을 정도로 낮은 경우, 모드 컨트롤러(122)는 하나의 노출 시간에 기초하여 이미지 데이터(IDAT)를 생성하고, HDR 이미지 처리를 생략하기 위한 동작 모드 (일례로, 제4 모드)를 결정할 수 있다. 제4 모드와 제1 내지 제3 모드들 중 적어도 하나를 구분하기 위한 기준 동적 범위 및 기준 조도가 미리 설정될 수 있다.
모드 컨트롤러(122)는 판단된 동작 모드에 대응되는 모드 제어 신호(MC)를 이미지 센서(110) 및 HDR 이미지 생성기(123)에 제공할 수 있다. 이미지 센서(110)는 모드 제어 신호(MC)에 기초하여 픽셀들 각각이 빛을 수신하는 노출 시간을 조절할 수 있다. HDR 이미지 생성기(123)는 모드 제어 신호(MC)에 기초하여 동작 모드에 대응되는 HDR 이미지 처리 동작을 수행할 수 있다.
모드 컨트롤러(122)는 동적 범위 및 조도에 따라 HDR 이미지 처리여부 및 HDR 이미지 처리 방식을 판단할 수 있다. 따라서, 불필요한 HDR 이미지 처리 연산 또는 주변 상황에 비하여 과도한 HDR 이미지 처리 연산이 방지될 수 있다. 그리고, HDR 이미지 처리 과정에서 소모되는 전력 소모가 감소될 수 있다.
모드 컨트롤러(122)는 이미지 센서(110)로부터 수신된 이미지 데이터(IDAT)에 기초하여 실시간으로 동작 모드를 변경할 수 있다. 모드 컨트롤러(122)는 수신된 이미지 데이터(IDAT)를 실시간으로 분석하여 동작 모드를 판단하고, 동적 범위 또는 조도가 변경되는 등 동작 모드의 변경이 요구되는 경우, 이후의 프레임들에 대한 노출 시간 또는 HDR 이미지 생성 방식을 변경하도록 모드 제어 신호(MC)를 생성할 수 있다. 이에 따라, 프레임 드랍(frame drop) 및 레이턴시(latency) 없이, 매끄러운(seamless) 동작 모드의 전환이 가능하다.
HDR 이미지 생성기(123)는 모드 컨트롤러(122)에 의하여 판단된 동작 모드에 기초하여 이미지 데이터(IDAT)의 HDR 이미지 처리를 수행할 수 있다. 이를 위하여, HDR 이미지 생성기(123)는 모드 컨트롤러(122)로부터 모드 제어 신호(MC)를 수신할 수 있다. HDR 이미지 생성기(123)는 제1 내지 제3 모드들 각각에 대응되는 HDR 이미지 처리를 수행할 수 있다. HDR 이미지 생성기(123)는 제4 모드를 나타내는 모드 제어 신호(MC)에 기초하여 HDR 이미지 처리를 수행하지 않을 수 있다.
일례로, 제1 모드에서, HDR 이미지 생성기(123)는 이미지 데이터(IDAT)를 3개의 노출 시간들 각각에 대응되는 제1 내지 제3 서브 이미지들로 분리할 수 있다. 그리고, HDR 이미지 생성기(123)는 제1 내지 제3 서브 이미지들 각각의 픽셀 값들을 보정한 후 병합(merge)하여 HDR 이미지를 생성할 수 있다. 그 결과, HDR 이미지 생성기(123)는 제1 내지 제4 모드들 중 가장 높은 동적 범위를 갖는 (일례로, 약 100dB 수준의) HDR 이미지를 생성할 수 있다.
일례로, 제2 모드에서, HDR 이미지 생성기(123)는 이미지 데이터(IDAT)를 2개의 노출 시간들 각각에 대응되는 제1 및 제2 서브 이미지들로 분리할 수 있다. 그리고, HDR 이미지 생성기(123)는 제1 및 제2 서브 이미지들 각각의 픽셀 값들을 보정한 후 병합하여 HDR 이미지를 생성할 수 있다. 그 결과, HDR 이미지 생성기(123)는 제1 모드 다음의 높은 동적 범위를 갖는 (일례로, 약 80dB 수준의) HDR 이미지를 생성할 수 있다.
일례로, 제3 모드에서, HDR 이미지 생성기(123)는 이미지 데이터(IDAT)에 톤 매핑(tone mapping) 처리를 수행하여 HDR 이미지를 생성할 수 있다. 이미지 센서(110)는 하나의 노출 시간에 기초하여 이미지 데이터(IDAT)를 생성하므로, 병합 없이 HDR 이미지를 생성할 수 있다. 그 결과, HDR 이미지 생성기(123)는 제1 및 제2 모드들 보다 낮은 동적 범위를 갖는 HDR 이미지를 생성할 수 있다. 제3 모드에서의 HDR 이미지 처리에 의한 전력 소모는 제1 및 제2 모드들에서의 전력 소모보다 낮을 수 있다.
일례로, 제4 모드에서, HDR 이미지 생성기(123)는 HDR 이미지를 생성하지 않을 수 있다. HDR 이미지 생성기(123)는 하나의 노출 시간에 기초하여 생성된 이미지 데이터(IDAT)에 대한 톤 매핑을 수행하지 않을 수 있다. 그 결과, 제4 모드에서 처리된 이미지의 동적 범위는 제1 내지 제3 모드들에 비하여 낮을 수 있다. 그러나, 제4 모드에서의 이미지 시스템(100)의 전력 소모는 제1 내지 제3 모드들에 비하여 감소할 수 있다.
도 2는 도 1의 이미지 센서의 예시적인 블록도이다. 도 2를 참조하면, 이미지 센서(110)는 픽셀 어레이(111), 구동 회로(112), 변환 회로(113), 및 타이밍 컨트롤러(114)를 포함할 수 있다.
픽셀 어레이(111)는 2차원적으로 배열된 복수의 픽셀들을 포함한다. 복수의 픽셀들 각각은 수신된 빛을 전기적 신호로 변환할 수 있다. 픽셀 어레이(111)는 구동 회로(112)로부터 제공되는 구동 신호들에 의해 제어될 수 있다. 구동 신호들에 응답하여 복수의 픽셀들은 아날로그 신호인 전기 신호(IS)를 생성할 수 있다. 전기 신호(IS)는 복수의 컬럼 라인들을 통해서 변환 회로(113)로 제공될 수 있다.
픽셀 어레이(111)는 블루, 그린, 및 레드 컬러를 각각 센싱하기 위한 단위 픽셀(UP)들을 포함한다. 단위 픽셀(UP)은 각각의 컬러를 센싱하기 위한 단위 컬러 픽셀들(CP1, CP2, CP3, CP4)을 포함할 것이다. 단위 컬러 픽셀들(CP1, CP2, CP3, CP4)들 각각은 대응되는 컬러를 선택적으로 투과할 수 있는 컬러 필터를 포함할 수 있다. 예시적으로, 제1 및 제4 단위 컬러 픽셀(CP1, CP4)은 그린 컬러를 센싱하고, 제2 단위 컬러 픽셀(CP2)은 레드 컬러를 센싱하고, 제3 단위 컬러 픽셀(CP3)은 블루 컬러를 센싱할 수 있다. 다만, 이에 제한되지 않고 다양한 컬러들 중 적어도 하나가 단위 컬러 픽셀로부터 센싱될 수 있다. 일례로, 단위 컬러 픽셀들(CP1, CP2, CP3, CP4)각각은 옐로우(Yellow), 시안(Cyan), 및 마젠타(Magenta) 등의 컬러를 센싱할 수 있다.
단위 컬러 픽셀들(CP1~CP4) 각각은 복수의 서브 픽셀들을 포함할 수 있다. 복수의 서브 픽셀들 각각은 빛을 전기 신호로 변환하기 위한 광전 변환 소자를 포함할 수 있다. 서브 픽셀들 각각은 상술된 동작 모드에 따라 설정된 노출 시간 동안 수신된 빛을 전기 신호로 변환할 수 있다. 이러한 노출 시간은 특정 동작 모드에서 서브 픽셀들마다 다를 수 있다. 이에 대한 구체적인 설명은 후술된다.
구동 회로(112)는 픽셀 어레이(111)에 포함된 픽셀들을 제어하기 위한 구동 신호를 생성할 수 있다. 구동 회로(112)는 타이밍 컨트롤러(114)로부터 제공되는 제어 신호(C1)에 기초하여 복수의 행들 중 하나 또는 그 이상의 행을 선택할 수 있다. 구동 신호는 행의 선택을 위한 신호, 선택된 행에 대응하는 픽셀들의 리셋을 위한 신호 및 빛을 수신하여 전기 신호(IS)를 생성하기 위한 노출 시간을 제어하기 위한 신호를 포함할 수 있다. 노출 시간을 제어하기 위한 신호는 모드 제어 신호(MC)에 기초하여 생성될 수 있고, 일례로 픽셀들 각각의 전송 게이트의 온/오프 시간을 조절하는데 사용될 수 있다. 선택된 행의 픽셀들로부터 생성되는 전기 신호(IS)는 변환 회로(113)로 전달될 수 있다.
변환 회로(113)는 아날로그 신호인 전기 신호(IS)를 디지털 신호인 이미지 데이터(IDAT)로 변환할 수 있다. 변환 회로(113)는 타이밍 컨트롤러(114)로부터 출력되는 제어 신호(C2)에 응답하여 전기 신호(IS)를 이미지 데이터(IDAT)로 변환할 수 있다. 일례로, 변환 회로(113)는 유효 신호 성분을 추출하기 위해 상관 이중 샘플링(CDS; correlated double sampling)을 수행할 수 있다. 일례로, 변환 회로(113)는 단위 컬러 픽셀들(CP1~CP4) 각각의 서브 픽셀들에 대한 평균화 연산 또는 비닝(Binning) 동작을 수행할 수 있다.
타이밍 컨트롤러(114)는 픽셀 어레이(111), 구동 회로(112), 및 변환 회로(113)를 제어할 수 있다. 타이밍 컨트롤러(114)는 픽셀 어레이(111), 구동 회로(112), 및 변환 회로(113)의 동작을 위한 클럭 신호 및 타이밍 제어 신호를 포함하는 제어 신호들(C1, C2)을 생성할 수 있다. 타이밍 컨트롤러(114)는 도 1의 프로세싱 회로(120)에 의하여 생성된 모드 제어 신호(MC)에 기초하여 픽셀들의 노출 시간을 제어하기 위한 제어 신호(일례로, 제1 제어 신호(C1))를 생성할 수 있다. 일례로, 타이밍 컨트롤러(114)는 로직 제어 회로(Logic control circuit), 위상 고정 루프(Phase Lock Loop; PLL) 회로, 타이밍 컨트롤 회로(Timing control circuit), 및 통신 인터페이스 회로(Communication interface circuit) 등을 포함할 수 있다. 도시된 바와 달리, 타이밍 컨트롤러(114)는 도 1의 프로세싱 회로(120)에 포함될 수도 있다.
도 3은 도 2의 단위 픽셀의 예시적인 도면이다. 도 3을 참조하면, 단위 픽셀(UP)은 제1 내지 제4 단위 컬러 픽셀들(CP1, CP2, CP3, CP4)을 포함할 수 있다. 일례로, 제1 내지 제4 단위 컬러 픽셀들(CP1, CP2, CP3, CP4) 각각은 4개의 서브 픽셀들을 포함할 수 있다.
제1 단위 컬러 픽셀(CP1)은 그린 컬러에 대응되는 제1 내지 제4 서브 픽셀들(Ga1, Ga2, Ga3, Ga4)을 포함할 수 있다. 제2 단위 컬러 픽셀(CP2)은 레드 컬러에 대응되는 제1 내지 제4 서브 픽셀들(R1, R2, R3, R4)을 포함할 수 있다. 제3 단위 컬러 픽셀(CP3)은 블루 컬러에 대응되는 제1 내지 제4 서브 픽셀들(B1, B2, B3, B4)을 포함할 수 있다. 제4 단위 컬러 픽셀(CP4)은 그린 컬러에 대응되는 제1 내지 제4 서브 픽셀들(Gb1, Gb2, Gb3, Gb4)을 포함할 수 있다.
하나의 단위 컬러 픽셀에 포함되는 서브 픽셀들 각각은 2X2 행렬로 배열될 수 있으나, 이에 제한되지 않고, 1X4 행렬 또는 4X1 행렬 등 다양한 방식으로 배열될 수 있다. 하나의 단위 컬러 픽셀에 포함되는 서브 픽셀들의 개수는 4개로 도시되나, 이에 제한되지 않고, 9개 등 다양한 개수로 제공될 수 있다. 하나의 단위 컬러 픽셀에 포함되는 서브 픽셀들은 동일한 컬러를 센싱할 수 있으며, 서로 인접하게 배치될 수 있다.
서브 픽셀들은 저조도 환경과 고조도 환경으로 구분되어 동작할 수 있다. 일례로, 고조도 환경에서 이미지의 선명성을 확보하기 위하여, 서브 픽셀들은 각각 아날로그 전기 신호들을 생성하고, 서브 픽셀 단위로 전기 신호들을 도 2의 변환 회로(113)에 출력할 수 있다. 일례로, 저조도 환경에서 이미지의 밝기 또는 감도를 확보하기 위하여, 서브 픽셀들은 단위 컬러 픽셀 단위로 아날로그 전기 신호를 도 2의 변환 회로(113)에 출력할 수 있다.
서브 픽셀들은 도 1에서 설명된 동작 모드에 따라 결정된 노출 시간 동안, 수신된 빛을 전기 신호로 변환할 수 있다. 도 1에서 설명된 3개의 서로 다른 노출 시간들에 기초하여 HDR 이미지 데이터를 생성하는 제1 모드에서, 서브 픽셀들은 제1 노출 시간, 제1 노출 시간보다 짧은 제2 노출 시간, 제2 노출 시간보다 짧은 제3 노출 시간 중 하나의 노출 시간 동안 전기 신호를 생성할 수 있다. 일례로, 제1 단위 컬러 픽셀(CP1)에서, 제1 서브 픽셀(Ga1)은 제1 노출 시간 동안 전기 신호를 생성하고, 제2 서브 픽셀(Ga2) 및 제3 서브 픽셀(Ga3)은 제2 노출 시간 동안 전기 신호를 생성하고, 제4 서브 픽셀(Ga4)은 제3 노출 시간 동안 전기 신호를 생성할 수 있다.
도 1에서 설명된 2개의 서로 다른 노출 시간들에 기초하여 HDR 이미지 데이터를 생성하는 제2 모드에서, 서브 픽셀들은 제1 노출 시간 및 제1 노출 시간보다 짧은 제2 노출 시간 동안 전기 신호를 생성할 수 있다. 일례로, 제1 단위 컬러 픽셀(CP1)에서, 제1 서브 픽셀(Ga1) 및 제4 서브 픽셀(Ga4)은 제1 노출 시간 동안 전기 신호를 생성하고, 제2 서브 픽셀(Ga2) 및 제3 서브 픽셀(Ga3)은 제2 노출 시간 동안 전기 신호를 생성할 수 있다.
도 1에서 설명된 1개의 노출 시간에 기초하여 HDR 이미지를 생성하는 제3 모드 또는 HDR 이미지를 생성하지 않는 제4 모드에서, 서브 픽셀들은 하나의 노출 시간 동안 전기 신호를 생성할 수 있다. 즉, 도 1의 모드 컨트롤러(122)에 의하여 판단된 동작 모드에 따라, 서브 픽셀들 각각의 노출 시간이 결정될 수 있다. 결정된 노출 시간에 따라 생성된 이미지 데이터의 처리에 대한 구체적인 내용은 후술된다.
도 4는 도 3의 단위 컬러 픽셀의 예시적인 회로도이다. 도 4의 단위 컬러 픽셀(CP)은 도 3의 제1 내지 제4 단위 컬러 픽셀들(CP1, CP2, CP3, CP4) 중 하나에 대응될 수 있다. 도 4를 참조하면, 단위 컬러 픽셀(CP)은 제1 내지 제4 광전 변환 소자들(PD1, PD2, PD3, PD4), 제1 내지 제4 전송 트랜지스터들(TX1, TX2, TX3, TX4), 리셋 트랜지스터(RX), 선택 트랜지스터(SX), 및 구동 트랜지스터(DX)를 포함할 수 있다. 도 4의 회로 구조는 예시적인 것으로 단위 컬러 픽셀(CP)이 도 4에 제한되지 않는다. 일례로, 단위 컬러 픽셀(CP)은 변환 이득 가변 회로를 구성하기 위한 변환 이득 트랜지스터 및 커패시터를 더 포함할 수도 있다.
제1 내지 제4 광전 변환 소자들(PD1, PD2, PD3, PD4)은 입사광의 광량이나 광의 세기에 따라 전하를 생성 및 축적하는 광 감지 소자들일 수 있다. 제1 내지 제4 광전 변환 소자들(PD1, PD2, PD3, PD4)은 단위 컬러 픽셀에 포함되는 4개의 서브 픽셀들에 각각 대응된다. 일례로, 제1 내지 제4 광전 변환 소자들(PD1, PD2, PD3, PD4)은 포토 다이오드(photo diode), 포토 트랜지스터(photo transistor), 포토 게이트(photo gate), 핀드 포토 다이오드(Pinned Photo Diode; PPD) 또는 이것들의 조합일 수 있다.
제1 내지 제4 전송 트랜지스터들(TX1, TX2, TX3, TX4)은 제1 내지 제4 광전 변환 소자들(PD1, PD2, PD3, PD4)에 연결될 수 있다. 제1 내지 제4 광전 변환 소자들(PD1, PD2, PD3, PD4) 각각에 집적된 전하는 제1 내지 제4 전송 트랜지스터들(TX1, TX2, TX3, TX4)을 통하여 플로팅 확산 영역(FD)으로 전송될 수 있다. 제1 내지 제4 전송 트랜지스터들(TX1, TX2, TX3, TX4)의 게이트 전극(전송 게이트)들은 각각 제1 내지 제4 전하 전송 신호들(TG1, TG2, TG3, TG4)에 의해서 제어될 수 있다.
제1 내지 제4 전하 전송 신호들(TG1, TG2, TG3, TG4)은 도 2의 모드 제어 신호(MC)에 기초하여 생성될 수 있다. 제1 내지 제4 광전 변환 소자들(PD1, PD2, PD3, PD4)의 노출 시간들 각각은 제1 내지 제4 전하 전송 신호들(TG1, TG2, TG3, TG4)에 의하여 제어될 수 있다. 일례로, 제1 전하 전송 신호(TG1)는 제1 전송 트랜지스터(TX1)를 턴 온시켜 제1 광전 변환 소자(PD1)에 집적된 전하를 전하 검출 노드(FD)로 방출 시키고, 제1 전송 트랜지스터(TX1)를 턴 오프시켜 제1 광전 변환 소자(PD1)가 전하를 축적하도록 제어할 수 있다. 이 때부터 노출 시간이 시작되며, 제1 전하 전송 신호(TG1)가 제1 전송 트랜지스터(TX1)를 다시 턴 온시켜 집적된 전하를 전하 검출 노드(FD)로 전송시킬 때까지 노출 시간이 진행될 수 있다. 노출 시간의 길이는 모드 제어 신호(MC)에 의하여 결정된 동작 모드에 기초하여 결정될 수 있다.
플로팅 확산 영역(FD)은 제1 내지 제4 광전 변환 소자들(PD1, PD2, PD3, PD4)로부터 전달된 광전하를 축적할 수 있다. 제1 내지 제4 광전 변환 소자들(PD1, PD2, PD3, PD4)은 플로팅 확산 영역(FD)을 공유할 수 있다. 즉, 하나의 단위 컬러 픽셀에 포함된 서브 픽셀들은 플로팅 확산 영역(FD)을 공유할 수 있다. 플로팅 확산 영역(FD)에 축적된 광전하의 양에 따라 구동 트랜지스터(DX)가 제어될 수 있다.
리셋 트랜지스터(RX)는 전하 검출 노드(FD)에 축적된 전하들을 리셋시킬 수 있다. 리셋 트랜지스터(RX)의 드레인 단자는 전하 검출 노드(FD)와 연결될 수 있고, 소스 단자는 픽셀 전원 전압(VPIX)에 연결될 수 있다. 리셋 트랜지스터(RX)가 턴 온되면, 픽셀 전원 전압(VPIX)이 전하 검출 노드(FD)로 전달될 수 있다. 이 경우, 제 1 전하 검출 노드(FD)에 축적된 전하들이 방출되고, 제 1 전하 검출 노드(FD)는 리셋될 수 있다.
구동 트랜지스터(DX)는 게이트 전극으로 입력되는 전하 검출 노드(FD)의 전하량에 비례하여 소스-드레인 전류를 발생시키는 소스 팔로워 버퍼 증폭기(Source Follower Buffer Amplifier)일 수 있다. 구동 트랜지스터(DX)는 전하 검출 노드(FD)에서의 전위 변화를 증폭하고 선택 트랜지스터(SX)를 통해 증폭된 신호를 컬럼 라인(CL)으로 출력할 수 있다.
선택 트랜지스터(SX)는 행 단위로 읽어낼 단위 컬러 픽셀(CP)을 선택할 수 있다. 도 2의 구동 회로(112)로부터 제공되는 선택 신호(SEL)에 의해서 선택 트랜지스터(SX)가 턴 온될 때, 구동 트랜지스터(DX)로부터 출력되는 아날로그 전기 신호가 컬럼 라인(CL)으로 출력될 수 있다.
도 5는 도 1의 이미지 시스템의 동작 방법의 순서도이다. 도 5의 단계들은 도 1의 프로세싱 회로(120)에서 수행될 수 있으며, HDR 이미지 처리를 위한 동작 모드의 설정 방법으로 이해될 것이다. 설명의 편의상, 도 1의 도면 부호를 참조하여, 도 5가 설명된다.
S110 단계에서, 프로세싱 회로(120) 또는 동적 범위 및 조도 계산기(121)는 이미지 센서(110)로부터 수신된 이미지 데이터(IDAT)에 기초하여 해당 프레임의 동적 범위 및 조도를 계산할 수 있다. 동적 범위 및 조도는 HDR 이미지 처리여부 및 HDR 이미지 처리 방식을 판단하기 위하여 사용될 수 있다. 상술한 바와 같이, 동적 범위는 이미지 데이터(IDAT)의 픽셀 값들에 기초하여 계산될 수 있고, 조도는 이미지 데이터(IDAT)의 픽셀 값들 및 노출 시간에 기초하여 계산될 수 있다.
S120 단계에서, 프로세싱 회로(120) 또는 모드 컨트롤러(122)는 계산된 동적 범위 및 조도에 기초하여 동작 모드를 판단할 수 있다. 동작 모드에 따라 이미지 데이터(IDAT)의 HDR 처리를 수행할지 수행하지 않을지 여부가 판단될 수 있다. 동작 모드에 따라 이미지 데이터(IDAT)의 HDR 처리를 위한 노출 시간을 몇 개로 구분할지 여부가 판단될 수 있다.
상술한 바와 같이, 계산된 동적 범위가 제1 기준 동적 범위보다 크고, 계산된 조도가 제1 기준 조도보다 큰 경우, 프로세싱 회로(120)는 동작 모드를 3개의 서로 다른 노출 시간들에 기초하여 HDR 이미지 데이터를 생성하는 제1 모드로 결정할 수 있다. 프로세싱 회로(120)는 제1 모드에 대응되는 모드 제어 신호(MC)를 이미지 센서(110)로 제공할 수 있다. 이미지 센서(110)의 서브 픽셀들 각각은 3개의 노출 시간들 중 특정된 하나의 노출 시간 동안 수신된 빛을 전기 신호로 변환할 수 있다. 프로세싱 회로(120)는 3개의 노출 시간들에 기초하여 생성된 이미지 데이터(IDAT)에 대응되는 HDR 이미지 처리를 수행할 수 있다.
제1 모드의 조건에 해당하지 않으나, 계산된 동적 범위가 제2 기준 동적 범위보다 크고, 계산된 조도가 제2 기준 조도보다 큰 경우, 프로세싱 회로(120)는 동작 모드를 2개의 서로 다른 노출 시간들에 기초하여 HDR 이미지 데이터를 생성하는 제2 모드로 결정할 수 있다. 여기에서, 제2 기준 동적 범위는 제1 기준 동적 범위보다 작고, 제2 기준 조도는 제1 기준 조도보다 작을 수 있다. 프로세싱 회로(120)는 제2 모드에 대응되는 모드 제어 신호(MC)를 이미지 센서(110)로 제공할 수 있다. 이미지 센서(110)의 서브 픽셀들 각각은 2개의 노출 시간들 중 특정된 하나의 노출 시간 동안 수신된 빛을 전기 신호로 변환할 수 있다. 프로세싱 회로(120)는 2개의 노출 시간들에 기초하여 생성된 이미지 데이터(IDAT)에 대응되는 HDR 이미지 처리를 수행할 수 있다.
제1 및 제2 모드들의 조건에 해당하지 않으나, 계산된 동적 범위가 제3 기준 동적 범위보다 크고, 계산된 조도가 제3 기준 조도보다 큰 경우, 프로세싱 회로(120)는 동작 모드를 1개의 노출 시간에 기초하여 HDR 이미지를 생성하는 제3 모드로 결정할 수 있다. 여기에서, 제3 기준 동적 범위는 제2 기준 동적 범위보다 작고, 제3 기준 조도는 제2 기준 조도보다 작을 수 있다. 제1 내지 제3 모드들의 조건에 해당하지 않는 경우, 프로세싱 회로(120)는 동작 모드를 HDR 이미지를 생성하지 않는 제4 모드로 결정할 수 있다. 이러한 동작 모드 결정은 예시적인 것으로, 제1 내지 제4 모드들 중 하나 또는 2개의 모드들은 제공되지 않을 수도 있다.
S130 단계와 같이, 프로세싱 회로(120)는 이미지 센서(110)의 동작이 종료될 때까지 S110 및 S120 단계를 반복할 수 있다. 프로세싱 회로(120)는 이미지 센서(110)로부터 수신된 이미지 데이터(IDAT)에 기초하여 실시간으로 동작 모드를 변경할 수 있다. 이에 따라, 프레임 드랍(frame drop) 및 레이턴시(latency) 없이, 매끄러운(seamless) 동작 모드의 전환이 가능하다.
도 6은 도 1 내지 도 5에서 설명된 제1 모드에 따른 HDR 이미지를 생성하는 과정을 설명하기 위한 예시적인 도면이다. 제1 모드는 3개의 서로 다른 노출 시간들에 기초하여 HDR 이미지 데이터를 생성하기 위한 동작 모드로 이해될 것이다. 제1 모드는 피사체를 기준으로 강한 역광이 발생되어 배경은 밝고 피사체는 어두운 상황과 같이, 동적 범위가 크고 외부 조도가 큰 경우에 사용될 수 있다.
도 6을 참조하면, 단위 픽셀(UP)에 포함된 서브 픽셀들은 긴(long) 노출 시간(제1 노출 시간), 중간(middle) 노출 시간(제2 노출 시간), 및 짧은(short) 노출 시간(제3 노출 시간) 중 하나의 노출 시간 동안 수신된 빛을 전기 신호로 변환한다. 도 2의 구동 회로(112)는 모드 제어 신호(MC)에 기초하여 서브 픽셀들의 노출 시간을 제어할 수 있다. 상술한 바와 같이, 구동 회로(112)는 모드 제어 신호(MC)에 기초하여 전송 트랜지스터들의 게이트에 인가되는 전하 전송 신호를 생성함으로써, 노출 시간이 제어될 수 있다. 도 5의 단위 픽셀(UP)의 구성은 도 3의 단위 픽셀(UP)의 구성과 같은 것으로 가정한다.
제1 단위 컬러 픽셀(CP1)을 참조하면, 제1 서브 픽셀(Ga1)은 제1 노출 시간 동안 전기 신호를 생성하고, 제2 서브 픽셀(Ga2) 및 제3 서브 픽셀(Ga3)은 제2 노출 시간 동안 전기 신호를 생성하고, 제4 서브 픽셀(Ga4)은 제3 노출 시간 동안 전기 신호를 생성할 수 있다. 다만, 이에 제한되지 않고, 제1 노출 시간에 대응되는 서브 픽셀, 제2 노출 시간에 대응되는 서브 픽셀, 및 제3 노출 시간에 대응되는 서브 픽셀은 도 6과 다를 수 있다. 서브 픽셀들에 의하여 생성된 전기 신호들은 도 2의 변환 회로(113)에 의하여 이미지 데이터로 변환될 수 있다.
도 1의 프로세싱 회로(120) 또는 HDR 이미지 생성기(123)는 모드 제어 신호(MC)에 의하여 선택된 동작 모드에 대응되는 방식으로 HDR 이미지(HD)를 생성할 수 있다. 프로세싱 회로(120)의 HDR 이미지 생성기(123)는 모드 제어 신호(MC)에 기초하여 이미지 데이터가 3개의 노출 시간들에 따라 생성된 것으로 판단할 수 있다. 이에 따라, 프로세싱 회로(120)는 이미지 데이터를 노출 시간에 따라 3개의 서브 이미지들(LD1, MD1, SD1)로 분리할 수 있다. 제1 서브 이미지(LD1)는 제1 노출 시간에 대응되는 데이터 값들(D1~D4)이고, 제2 서브 이미지(MD1)는 제2 서브 이미지(MD1)는 제2 노출 시간에 대응되는 데이터 값들(D5~D12)이고, 제3 서브 이미지(SD1)는 제3 노출 시간에 대응되는 데이터 값들(D13~D16)일 수 있다. 상술한 바와 달리, 프로세싱 회로(120)가 이미지 데이터를 분리하지 않고, 이미지 센서(110)가 노출 시간에 따라 분리된 이미지 데이터를 프로세싱 회로(120)로 출력할 수도 있다.
프로세싱 회로(120) 또는 HDR 이미지 생성기(123)는 제1 내지 제3 서브 이미지들(LD1, MD1, SD1)을 선처리할 수 있다. 일례로, 제1 내지 제3 서브 이미지들(LD1, MD1, SD1)은 서로 동일한 개수의 값들을 갖도록 보간될 수 있다. 보간 결과, 선처리된 제1 내지 제3 서브 이미지들(LD2, MD2, SD2)은 베이어 패턴을 가질 수 있다.
일례로, 선처리된 제1 내지 제3 서브 이미지들(LD2, MD2, SD2)은 노출 시간 및 데이터 값들에 따라 결정된 가중치를 부여 받을 수 있다. 일례로, 밝은 영역에서, 선처리된 제1 서브 이미지(LD2)가 선처리된 제2 및 제3 서브 이미지들(MD2, SD2)보다 높은 가중치를 가질 수 있다. 여기에서, 밝은 영역은 이미지 데이터를 구성하는 픽셀 값들이 제1 기준 값을 초과하는 영역으로 정의될 수 있다. 밝은 영역은 색 정보를 잃을 정도로, 단위 픽셀에 포함된 모든 픽셀들에 대응되는 픽셀 값들이 제1 기준 값을 초과하는 영역일 수 있다. 일례로, 어두운 영역에서, 선처리된 제3 서브 이미지(SD2)가 선처리된 제1 및 제2 서브 이미지들(LD2, MD2)보다 높은 가중치를 가질 수 있다. 여기에서, 어두운 영역은 이미지 데이터를 구성하는 픽셀 값들이 제2 기준 값에 도달하지 못하는 영역으로 정의될 수 있다. 어두운 영역은 색 정보를 잃을 정도로, 단위 픽셀에 포함된 모든 픽셀들에 대응되는 픽셀 값들이 제2 기준 값에 도달하지 못하는 영역일 수 있다 상술된 선처리 방식은 예시적인 것으로 이해될 것이며, 이미지의 정확하고 선명한 표현을 위한 다양한 선처리 방식이 제공될 수 있다.
프로세싱 회로(120) 또는 HDR 이미지 생성기(123)는 선처리된 제1 내지 제3 서브 이미지들(LD2, MD2, SD2)를 조합하여 HDR 이미지(HD)를 생성할 수 있다. 선처리 및 조합 결과, 어두운 영역은 제3 서브 이미지(SD1)의 데이터 값이 강조되고, 밝은 영역은 제1 서브 이미지(LD1)의 데이터 값이 강조될 수 있다. 그 결과, 향상된 동적 범위를 갖는 HDR 이미지(HD)가 생성될 수 있다. 상술된 조합 방식은 예시적인 것으로 이해될 것이며, 선처리된 제1 내지 제3 서브 이미지들(LD2, MD2, SD2) 중 하나의 이미지 또는 2개의 이미지들이 HDR 이미지(HD) 생성에 이용될 수도 있다.
도 7a 내지 도 7c는 도 6의 제1 모드에서의 노출 시간을 설명하기 위한 예시적인 그래프이다. 도 7a 내지 도 7c에 제1 내지 제3 노출 시간들이 도시된다. 도 1의 프로세싱 회로(120)에 의하여 동작 모드가 제1 모드로 결정되면, 모드 제어 신호(MC)가 이미지 센서(110)로 제공될 수 있다. 도 2의 이미지 센서(110)에 포함된 구동 회로(112)는 모드 제어 신호(MC)에 기초하여 서브 픽셀들의 노출 시간을 제어할 수 있다. 일례로, 서브 픽셀들 각각의 노출 시간은 서브 픽셀들 각각에 대응되는 도 4의 전송 트랜지스터들(TX1, TX2, TX3, TX4)을 제어함으로써, 결정될 수 있다.
도 7a를 참조하면, 제1 내지 제3 노출 시간들의 종료 시점을 기준으로, 각각의 노출 시간들이 제어될 수 있다. 설명의 편의상, 제1 내지 제3 노출 시간들의 종료 시점이 동일한 것으로 예시적으로 도시되나, 서브 픽셀들 각각의 스캔 순서에 따라, 서브 픽셀들 각각에 대응되는 노출 시간의 위상이 서로 다를 수 있음이 이해될 것이다.
제1 노출 시간에 대응되는 픽셀들 (일례로, 도 5의 제1 서브 픽셀들(Ga1, R1, B1, Gb1))은 제1 시점(t1)부터 제4 시점(t4)까지의 제1 노출 시간 동안 수신된 빛을 전기 신호로 변환할 수 있다. 제2 노출 시간에 대응되는 픽셀들 (일례로, 도 5의 제2 서브 픽셀들(Ga2, R2, B2, Gb2) 및 제3 서브 픽셀들(Ga3, R3, B3, Gb3))은 제2 시점(t2)부터 제4 시점(t4)까지의 제2 노출 시간 동안 수신된 빛을 전기 신호로 변환할 수 있다. 제3 노출 시간에 대응되는 픽셀들 (일례로, 도 5의 제4 서브 픽셀들(Ga4, R4, B4, Gb4))은 제3 시점(t3)부터 제4 시점(t4)까지의 제3 노출 시간 동안 수신된 빛을 전기 신호로 변환할 수 있다.
도 7b를 참조하면, 제1 내지 제3 노출 시간들 각각의 시작 시점과 종료 시점은 서로 다를 수 있다. 서브 픽셀들 각각의 스캔 순서에 따라, 서브 픽셀들 각각에 대응되는 노출 시간의 위상이 서로 다를 수 있음이 이해될 것이다. 제1 노출 시간에 대응되는 픽셀들은 제1 시점(t1)부터 제6 시점(t6)까지의 제1 노출 시간 동안 수신된 빛을 전기 신호로 변환할 수 있다. 제2 노출 시간에 대응되는 픽셀들은 제2 시점(t2)부터 제5 시점(t5)까지의 제2 노출 시간 동안 수신된 빛을 전기 신호로 변환할 수 있다. 제3 노출 시간에 대응되는 픽셀들은 제3 시점(t3)부터 제4 시점(t4)까지의 제3 노출 시간 동안 수신된 빛을 전기 신호로 변환할 수 있다.
도 7c를 참조하면, 제1 내지 제3 노출 시간들의 시작 시점을 기준으로, 각각의 노출 시간들이 제어될 수 있다. 설명의 편의상, 제1 내지 제3 노출 시간들의 시작 시점이 동일한 것으로 예시적으로 도시되나, 서브 픽셀들 각각의 스캔 순서에 따라, 서브 픽셀들 각각에 대응되는 노출 시간의 위상이 서로 다를 수 있음이 이해될 것이다. 제1 노출 시간에 대응되는 픽셀들은 제1 시점(t1)부터 제4 시점(t4)까지의 제1 노출 시간 동안 수신된 빛을 전기 신호로 변환할 수 있다. 제2 노출 시간에 대응되는 픽셀들은 제1 시점(t2)부터 제3 시점(t3)까지의 제2 노출 시간 동안 수신된 빛을 전기 신호로 변환할 수 있다. 제3 노출 시간에 대응되는 픽셀들은 제1 시점(t1)부터 제2 시점(t2)까지의 제3 노출 시간 동안 수신된 빛을 전기 신호로 변환할 수 있다.
이외에도, 다양한 방식의 노출 시간 제어가 가능하다. 도 2의 구동 회로(112)는 모드 제어 신호(MC)에 기초하여, 서브 픽셀들 각각의 노출 시간을 제1 내지 제3 노출 시간들 중 하나로 제어할 수 있다. 서로 다른 노출 시간들에 따른 이미지들을 HDR 이미지 생성에 이용함으로써, 동적 범위가 향상되고 선명성이 개선된 이미지가 생성될 수 있다.
도 8은 도 1 내지 도 5에서 설명된 제2 모드에 따른 HDR 이미지를 생성하는 과정을 설명하기 위한 예시적인 도면이다. 제2 모드는 2개의 서로 다른 노출 시간들에 기초하여 HDR 이미지 데이터를 생성하기 위한 동작 모드로 이해될 것이다. 제2 모드는 제1 모드에 비하여 낮은 동적 범위를 갖는 이미지 데이터의 HDR 이미지 처리를 위하여 사용될 수 있다.
도 8을 참조하면, 단위 픽셀(UP)에 포함된 서브 픽셀들은 긴(long) 노출 시간(제1 노출 시간) 및 짧은(short) 노출 시간(제2 노출 시간) 중 하나의 노출 시간 동안 수신된 빛을 전기 신호로 변환한다. 도 2의 구동 회로(112)는 모드 제어 신호(MC)에 기초하여 서브 픽셀들의 노출 시간을 제어할 수 있다. 상술한 바와 같이, 구동 회로(112)는 모드 제어 신호(MC)에 기초하여 전송 트랜지스터들의 게이트에 인가되는 전하 전송 신호를 생성함으로써, 노출 시간이 제어될 수 있다. 도 7의 단위 픽셀(UP)의 구성은 도 3의 단위 픽셀(UP)의 구성과 같은 것으로 가정한다.
제1 단위 컬러 픽셀(CP1)을 참조하면, 제1 서브 픽셀(Ga1) 및 제4 서브 픽셀(Ga4)은 제1 노출 시간 동안 전기 신호를 생성하고, 제2 서브 픽셀(Ga2) 및 제3 서브 픽셀(Ga3)은 제2 노출 시간 동안 전기 신호를 생성할 수 있다. 다만, 이에 제한되지 않고, 제1 노출 시간에 대응되는 서브 픽셀 및 제2 노출 시간에 대응되는 서브 픽셀은 도 7과 다를 수 있다. 서브 픽셀들에 의하여 생성된 전기 신호들은 도 2의 변환 회로(113)에 의하여 이미지 데이터로 변환될 수 있다.
도 1의 프로세싱 회로(120) 또는 HDR 이미지 생성기(123)는 모드 제어 신호(MC)에 의하여 선택된 동작 모드에 대응되는 방식으로 HDR 이미지(HD)를 생성할 수 있다. 프로세싱 회로(120)의 HDR 이미지 생성기(123)는 모드 제어 신호(MC)에 기초하여 이미지 데이터가 2개의 노출 시간들에 따라 생성된 것으로 판단할 수 있다. 이에 따라, 프로세싱 회로(120)는 이미지 데이터를 노출 시간에 따라 2개의 서브 이미지들(LD1, SD1)로 분리할 수 있다. 제1 서브 이미지(LD1)는 제1 노출 시간에 대응되는 데이터 값들(D1~D8)이고, 제2 서브 이미지(MD1)는 제2 서브 이미지(MD1)는 제2 노출 시간에 대응되는 데이터 값들(D9~D16)일 수 있다. 상술한 바와 달리, 프로세싱 회로(120)가 이미지 데이터를 분리하지 않고, 이미지 센서(110)가 노출 시간에 따라 분리된 이미지 데이터를 프로세싱 회로(120)로 출력할 수도 있다.
프로세싱 회로(120) 또는 HDR 이미지 생성기(123)는 제1 및 제2 서브 이미지들(LD1, SD1)을 선처리할 수 있다. 도 5에서 설명한 바와 같이, 제1 및 제2 서브 이미지들(LD1, SD1)이 보간될 수 있고, 선처리된 제1 및 제2 서브 이미지들(LD2, SD2)은 노출 시간 및 데이터 값들에 따라 결정된 가중치를 부여 받을 수 있다. 보간 결과, 선처리된 제1 내지 제3 서브 이미지들(LD2, SD2)은 베이어 패턴을 가질 수 있다. 상술된 선처리 방식에 제한되지 않고, 이미지의 정확하고 선명한 표현을 위한 다양한 선처리 방식이 제공될 수 있다.
프로세싱 회로(120) 또는 HDR 이미지 생성기(123)는 선처리된 제1 및 제2 서브 이미지들(LD2, SD2)를 조합하여 HDR 이미지(HD)를 생성할 수 있다. 선처리 및 조합 결과, 어두운 영역은 제2 서브 이미지(SD1)의 데이터 값이 강조되고, 밝은 영역은 제1 서브 이미지(LD1)의 데이터 값이 강조될 수 있다. 그 결과, 향상된 동적 범위를 갖는 HDR 이미지(HD)가 생성될 수 있다.
도 9a 내지 도 9c는 도 8의 제1 모드에서의 노출 시간을 설명하기 위한 예시적인 그래프이다. 도 9a 내지 도 9c에 제1 내지 제2 노출 시간들이 도시된다. 도 1의 프로세싱 회로(120)에 의하여 동작 모드가 제2 모드로 결정되면, 모드 제어 신호(MC)가 이미지 센서(110)로 제공될 수 있다. 도 2의 이미지 센서(110)에 포함된 구동 회로(112)는 모드 제어 신호(MC)에 기초하여 픽셀들의 노출 시간을 제어할 수 있다. 일례로, 서브 픽셀들 각각의 노출 시간은 서브 픽셀들 각각에 대응되는 도 4의 전송 트랜지스터들(TX1, TX2, TX3, TX4)을 제어함으로써, 결정될 수 있다.
도 9a를 참조하면, 제1 내지 제2 노출 시간들의 종료 시점을 기준으로, 각각의 노출 시간들이 제어될 수 있다. 서브 픽셀들 각각의 스캔 순서에 따라, 서브 픽셀들 각각에 대응되는 노출 시간의 위상이 서로 다를 수 있음이 이해될 것이다. 제1 노출 시간에 대응되는 픽셀들 (일례로, 도 7의 제1 서브 픽셀들(Ga1, R1, B1, Gb1) 및 제4 서브 픽셀들(Ga4, R4, B4, Gb4))은 제1 시점(t1)부터 제3 시점(t3)까지의 제1 노출 시간 동안 수신된 빛을 전기 신호로 변환할 수 있다. 제2 노출 시간에 대응되는 픽셀들 (일례로, 도 5의 제2 서브 픽셀들(Ga2, R2, B2, Gb2) 및 제3 서브 픽셀들(Ga3, R3, B3, Gb3))은 제2 시점(t2)부터 제3 시점(t3)까지의 제2 노출 시간 동안 수신된 빛을 전기 신호로 변환할 수 있다.
도 9b를 참조하면, 제1 내지 제2 노출 시간들 각각의 시작 시점과 종료 시점은 서로 다를 수 있다. 서브 픽셀들 각각의 스캔 순서에 따라, 서브 픽셀들 각각에 대응되는 노출 시간의 위상이 서로 다를 수 있음이 이해될 것이다. 제1 노출 시간에 대응되는 픽셀들은 제1 시점(t1)부터 제4 시점(t4)까지의 제1 노출 시간 동안 수신된 빛을 전기 신호로 변환할 수 있다. 제2 노출 시간에 대응되는 픽셀들은 제2 시점(t2)부터 제3 시점(t3)까지의 제2 노출 시간 동안 수신된 빛을 전기 신호로 변환할 수 있다.
도 9c를 참조하면, 제1 내지 제2 노출 시간들의 시작 시점을 기준으로, 각각의 노출 시간들이 제어될 수 있다. 서브 픽셀들 각각의 스캔 순서에 따라, 서브 픽셀들 각각에 대응되는 노출 시간의 위상이 서로 다를 수 있음이 이해될 것이다. 제1 노출 시간에 대응되는 픽셀들은 제1 시점(t1)부터 제3 시점(t3)까지의 제1 노출 시간 동안 수신된 빛을 전기 신호로 변환할 수 있다. 제2 노출 시간에 대응되는 픽셀들은 제1 시점(t1)부터 제2 시점(t2)까지의 제2 노출 시간 동안 수신된 빛을 전기 신호로 변환할 수 있다.
이외에도, 다양한 방식의 노출 시간 제어가 가능하다. 도 2의 구동 회로(112)는 모드 제어 신호(MC)에 기초하여, 서브 픽셀들 각각의 노출 시간을 제1 내지 제2 노출 시간들 중 하나로 제어할 수 있다. 서로 다른 노출 시간들에 따른 이미지들을 HDR 이미지 생성에 이용함으로써, 동적 범위가 향상되고 선명성이 개선된 이미지가 생성될 수 있다.
도 10은 도 1 내지 도 5에서 설명된 제3 모드에 따른 HDR 이미지를 생성하는 과정을 설명하기 위한 예시적인 도면이다. 제3 모드는 하나의 노출 시간에 기초하여 HDR 이미지 데이터를 생성하기 위한 동작 모드로 이해될 것이다. 제3 모드는 제1 및 제2 모드들에 비하여 낮은 동적 범위를 갖는 이미지 데이터의 HDR 이미지 처리를 위하여 사용될 수 있다.
도 10을 참조하면, 단위 픽셀(UP)에 포함된 서브 픽셀들은 하나의 노출 시간 동안 수신된 빛을 전기 신호로 변환한다. 일례로, 하나의 노출 시간은 도 6 또는 도 8의 짧은 노출 시간일 수 있으나, 이에 제한되지 않고, 다른 시간 범위를 가질 수 있다. 도 2의 구동 회로(112)는 모드 제어 신호(MC)에 기초하여 서브 픽셀들의 노출 시간을 제어할 수 있다. 상술한 바와 같이, 구동 회로(112)는 모드 제어 신호(MC)에 기초하여 전송 트랜지스터들의 게이트에 인가되는 전하 전송 신호를 생성함으로써, 노출 시간이 제어될 수 있다. 도 10의 단위 픽셀(UP)의 구성은 도 3의 단위 픽셀(UP)의 구성과 같은 것으로 가정한다. 서브 픽셀들에 의하여 생성된 전기 신호들은 도 2의 변환 회로(113)에 의하여 이미지 데이터로 변환될 수 있다.
도 1의 프로세싱 회로(120) 또는 HDR 이미지 생성기(123)는 모드 제어 신호(MC)에 기초하여 선택된 동작 모드에 대응되는 방식으로 HDR 이미지(HD)를 생성할 수 있다. 프로세싱 회로(120)는 모드 제어 신호(MC)에 기초하여 하나의 노출 시간에 따라 이미지 데이터가 생성된 것으로 판단할 수 있다. 프로세싱 회로(120)는 별도의 이미지 데이터의 분리 없이, 하나의 이미지(SD)를 이용하여 HDR 이미지 처리를 수행할 수 있다. 이미지(SD)는 하나의 노출 시간에 대응되는 데이터 값들(D1~D16)을 포함할 수 있다.
이미지(SD)는 예시적으로 서브 픽셀들 각각에 대응되는 데이터 값들(D1~D16)을 포함하는 것으로 도시되나, 이에 제한되지 않는다. 예를 들어, 도 2의 변환 회로(113)에 의하여 전기 신호들이 컬러 단위 픽셀 단위로 아날로그 비닝(binning) 되거나, 변환 회로(113) 또는 프로세싱 회로(120)에 의하여 디지털 값들이 컬러 단위 픽셀 단위로 디지털 비닝되는 경우, 이미지(SD)에 포함된 데이터 값들의 개수는 감소할 수 있다.
프로세싱 회로(120) 또는 HDR 이미지 생성기(123)는 이미지(SD)에 기초하여 HDR 이미지(HD)를 생성할 수 있다. 일례로, 프로세싱 회로(120) 또는 HDR 이미지 생성기(123)는 이미지(SD)에 대한 톤 매핑(tone mapping) 처리를 수행할 수 있다. 다만 이에 제한되지 않고, 이미지의 정확하고 선명한 표현을 위한 다양한 이미지 처리 방식이 제공될 수 있다. 제3 모드에서의 HDR 이미지 생성은 하나의 이미지(SD)를 이용하여 HDR 이미지(HD)를 생성하므로, 제1 및 제2 모드들에서의 HDR 이미지 생성에 비하여 이미지 시스템(100)의 전력 소모가 감소할 수 있다.
도 11은 도 1 내지 도 5에서 설명된 제4 모드에 따른 이미지를 생성하는 과정을 설명하기 위한 예시적인 도면이다. 제4 모드는 이미지 데이터의 동적 범위가 낮아 HDR 이미지 데이터의 생성이 불필요한 동작 모드로 이해될 것이다.
도 11을 참조하면, 단위 픽셀(UP)에 포함된 서브 픽셀들은 하나의 노출 시간 동안 수신된 빛을 전기 신호로 변환한다. 일례로, 하나의 노출 시간은 도 6 또는 도 8의 짧은 노출 시간일 수 있으나, 이에 제한되지 않고, 다른 시간 범위를 가질 수 있다. 도 2의 구동 회로(112)는 모드 제어 신호(MC)에 기초하여 서브 픽셀들의 노출 시간을 제어할 수 있다. 도 11의 단위 픽셀(UP)의 구성은 도 3의 단위 픽셀(UP)의 구성과 같은 것으로 가정한다. 서브 픽셀들에 의하여 생성된 전기 신호들은 도 2의 변환 회로(113)에 의하여 이미지 데이터로 변환될 수 있다.
이미지 센서(110)로부터 제공된 이미지(SD)는 하나의 노출 시간에 대응되는 데이터 값들(D1~D16)을 포함할 수 있다. 이미지(SD)는 예시적으로 서브 픽셀들 각각에 대응되는 데이터 값들(D1~D16)을 포함하는 것으로 도시되나, 이에 제한되지 않는다. 예를 들어, 도 2의 변환 회로(113)에 의하여 전기 신호들이 컬러 단위 픽셀 단위로 아날로그 비닝(binning) 되거나, 변환 회로(113) 또는 프로세싱 회로(120)에 의하여 디지털 값들이 컬러 단위 픽셀 단위로 디지털 비닝되는 경우, 이미지(SD)에 포함된 데이터 값들의 개수는 감소할 수 있다.
도 1의 프로세싱 회로(120) 또는 HDR 이미지 생성기(123)는 모드 제어 신호(MC)에 기초하여 HDR 이미지 처리를 수행하지 않는다. 프로세싱 회로(120) 또는 HDR 이미지 생성기(123)는 이미지(SD)에 대한 톤 매핑(tone mapping) 처리를 수행지 않을 수 있다. 제4 모드에서, HDR 이미지 생성기(123)에 의한 연산 동작이 없으므로, 이미지 시스템(100)의 전력 소모가 감소할 수 있다.
도 12는 도 1의 이미지 시스템의 동작 방법의 예시적인 순서도이다. 도 12의 단계들은 도 1의 프로세싱 회로(120)에서 수행될 수 있으며, HDR 이미지 처리를 위한 동작 모드의 설정 방법으로 이해될 것이다. 설명의 편의상, 도 1의 도면 부호를 참조하여, 도 12가 설명된다.
S210 단계에서, 프로세싱 회로(120) 또는 동적 범위 및 조도 계산기(121)는 이미지 센서(110)로부터 수신된 이미지 데이터(IDAT)에 기초하여 해당 프레임의 동적 범위 및 조도를 계산할 수 있다. S210 단계는 도 5의 S110 단계에 대응된다. 그리고, S221 단계 내지 S227 단계는 동작 모드를 판단하는 단계로, 도 5의 S120 단계에 포함되는 것으로 이해될 것이다.
S221 단계에서, 프로세싱 회로(120) 또는 모드 컨트롤러(122)는 계산된 동적 범위 및 조도가 제1 기준 범위인지 판단할 수 있다. 제1 기준 범위는 3개의 서로 다른 노출 시간에 기초하여 HDR 이미지를 생성하기 위한 조건일 수 있다. 제1 기준 범위는 계산된 동적 범위와 비교를 위한 제1 기준 동적 범위를 하한으로 갖고, 계산된 조도와 비교를 위한 제1 기준 조도를 하한으로 가질 수 있다. 여기에서, 제1 기준 동적 범위 및 제1 기준 조도는 도 5에서 설명된 제1 기준 동적 범위 및 제1 기준 조도에 대응될 수 있다.
계산된 동적 범위 및 조도가 제1 기준 범위 이내인 경우, S222 단계가 진행된다. S222 단계에서, 프로세싱 회로(120)는 제1 모드에 대응되는 모드 제어 신호(MC)를 생성할 수 있다. 이미지 센서(110)의 서브 픽셀들 각각은 모드 제어 신호(MC)에 기초하여, 3개의 노출 시간들 중 특정된 하나의 노출 시간 동안 수신된 빛을 전기 신호로 변환할 수 있다. 프로세싱 회로(120)는 3개의 노출 시간들에 기초하여 생성된 이미지 데이터(IDAT)에 대응되는 HDR 이미지 처리를 수행할 수 있다.
계산된 동적 범위 및 조도가 제1 기준 범위를 벗어난 경우, S223 단계가 진행된다. S223 단계에서, 프로세싱 회로(120) 또는 모드 컨트롤러(122)는 계산된 동적 범위 및 조도가 제2 기준 범위인지 판단할 수 있다. 제2 기준 범위는 2개의 서로 다른 노출 시간에 기초하여 HDR 이미지를 생성하기 위한 조건일 수 있다. 제2 기준 범위는 계산된 동적 범위와 비교를 위한 제2 기준 동적 범위를 하한으로 갖고, 계산된 조도와 비교를 위한 제2 기준 조도를 하한으로 가질 수 있다. 여기에서, 제2 기준 동적 범위 및 제2 기준 조도는 도 5에서 설명된 제2 기준 동적 범위 및 제2 기준 조도에 대응될 수 있다.
계산된 동적 범위 및 조도가 제2 기준 범위 이내인 경우, S224 단계가 진행된다. S224 단계에서, 프로세싱 회로(120)는 제2 모드에 대응되는 모드 제어 신호(MC)를 생성할 수 있다. 이미지 센서(110)의 서브 픽셀들 각각은 모드 제어 신호(MC)에 기초하여, 2개의 노출 시간들 중 특정된 하나의 노출 시간 동안 수신된 빛을 전기 신호로 변환할 수 있다. 프로세싱 회로(120)는 2개의 노출 시간들에 기초하여 생성된 이미지 데이터(IDAT)에 대응되는 HDR 이미지 처리를 수행할 수 있다.
계산된 동적 범위 및 조도가 제2 기준 범위를 벗어난 경우, S225 단계가 진행된다. S225 단계에서, 프로세싱 회로(120) 또는 모드 컨트롤러(122)는 계산된 동적 범위 및 조도가 제3 기준 범위인지 판단할 수 있다. 제3 기준 범위는 하나의 노출 시간에 기초하여 HDR 이미지를 생성하기 위한 조건일 수 있다. 제3 기준 범위는 계산된 동적 범위와 비교를 위한 제3 기준 동적 범위를 하한으로 갖고, 계산된 조도와 비교를 위한 제3 기준 조도를 하한으로 가질 수 있다. 여기에서, 제3 기준 동적 범위 및 제3 기준 조도는 도 5에서 설명된 제3 기준 동적 범위 및 제3 기준 조도에 대응될 수 있다.
계산된 동적 범위 및 조도가 제3 기준 범위 이내인 경우, S226 단계가 진행된다. S226 단계에서, 프로세싱 회로(120)는 제3 모드에 대응되는 모드 제어 신호(MC)를 생성할 수 있다. 이미지 센서(110)의 서브 픽셀들 각각은 모드 제어 신호(MC)에 기초하여, 하나의 노출 시간들 동안 수신된 빛을 전기 신호로 변환할 수 있다. 프로세싱 회로(120)는 하나의 노출 시간들에 기초하여 생성된 이미지 데이터(IDAT)에 대응되는 HDR 이미지 처리를 수행할 수 있다.
계산된 동적 범위 및 조도가 제3 기준 범위를 벗어난 경우, S227 단계가 진행된다. S227 단계에서, 프로세싱 회로(120)는 제4 모드에 대응되는 모드 제어 신호(MC)를 생성할 수 있다. 이미지 센서(110)의 서브 픽셀들 각각은 모드 제어 신호(MC)에 기초하여, 하나의 노출 시간들 동안 수신된 빛을 전기 신호로 변환할 수 있다. 프로세싱 회로(120)는 HDR 이미지 처리를 수행하지 않을 수 있다.
S221 내지 S227 단계들을 통하여 이미지 시스템(100)은 외부 조건에 따른 HDR 처리 방식을 선택할 수 있고, HDR 처리 방식이 불필요한지 판단할 수 있다. 따라서, 외부 조건에 적응적인 이미지 처리가 가능하다. 그리고, 일괄적인 HDR 처리 방식에 의한 불필요한 전력 소모가 감소할 수 있다.
S230 단계와 같이, 프로세싱 회로(120)는 이미지 센서(110)의 동작이 종료될 때까지 S210 내지 S227 단계를 반복할 수 있다. S230 단계는 S130 단계에 대응된다. 프로세싱 회로(120)는 외부 조건에 따라 실시간으로 동작 모드를 변경할 수 있으므로, 매끄러운(seamless) 동작 모드의 전환이 가능하다.
도 13 내지 도 15는 도 1의 이미지 시스템의 동작 방법의 예시적인 순서도이다. 도 13 내지 도 15의 단계들은 도 1의 프로세싱 회로(120)에서 수행될 수 있다. 도 13 내지 도 15는 도 12의 단계들과의 차이점을 중심으로 설명된다. 설명의 편의상, 도 1의 도면 부호를 참조하여, 도 13 내지 도 15가 설명된다.
도 13을 참조하면, S310 단계, S321 내지 S325 단계들, 및 S330 단계는 각각 도 12의 S210 단계, S221 내지 S224, S226 단계들, 및 S230 단계에 대응된다. 모드 컨트롤러(122)는 도 12와 달리 3개의 동작 모드 중 하나를 판단할 수 있다. 도 12와 달리 모드 컨트롤러(122)가 정상 모드, 즉, 제4 모드에 대응되는 동작 모드를 판단하지 않을 수 있다. 즉, 모드 컨트롤러(122)는 HDR 이미지 처리가 불필요한지 판단하는 과정을 생략하고, 실시간으로 동작 모드 변환을 수행할 수 있다. 이 경우, 도 12의 S225 단계에 대응되는 동적 범위 및 조도가 제3 기준 범위인지 판단하는 단계가 생략될 수 있다.
도 14를 참조하면, S410 단계, S421 내지 S425 단계, 및 S430 단계는 각각 도 12의 S210 단계, S221, S222, S225 내지 S227 단계들, 및 S230 단계에 대응된다. 모드 컨트롤러(122)는 도 12와 달리 3개의 동작 모드 중 하나를 판단할 수 있다. 도 12와 달리 모드 컨트롤러(122)는 제2 모드에 대응되는 동작 모드를 판단하지 않을 수 있다. 즉, 모드 컨트롤러(122)는 2개의 노출 시간들에 기초한 HDR 이미지 처리를 수행하지 않을 수 있다.
도 15를 참조하면, S510 단계, S521 내지 S523 단계, 및 S530 단계는 각각 도 12의 S210 단계, S221, S222, S227 단계들, 및 S230 단계에 대응된다. 모드 컨트롤러(122)는 도 12와 달리 2개의 동작 모드 중 하나를 판단할 수 있다. 도 12와 달리 모드 컨트롤러(122)는 제2 모드 및 제4 모드에 대응되는 동작 모드를 판단하지 않고, 외부 조건에 따라 2가지 방식의 HDR 이미지 처리 중 하나를 선택할 수 있다.
이외에도, 다양한 방식의 동작 모드의 선택이 가능하다. 모드 컨트롤러(122)는 제1 내지 제4 모드들 중 2개 또는 3개의 모드들 중 하나를 선택하도록 동작할 수 있다. 또한, 모드 컨트롤러(122)는 예시적으로 4개의 노출 시간들에 기초하여 HDR 이미지 처리를 수행하는 동작 모드를 추가적으로 수행할 수 있다. 일례로, 모드 컨트롤러(122)는 상술된 저조도 환경과 고조도 환경을 구분하여, 서브 픽셀 단위로 전기 신호를 출력하는 동작 모드 (고조도 모드) 및 단위 컬러 픽셀로 전기 신호를 출력하는 동작 모드 (저조도 모드)를 더 판단할 수 있다. 그리고, 설정된 개수의 동작 모드들은 동적 범위 및 조도에 기초하여 실시간으로 전환될 수 있다.
도 16은 도 1의 이미지 시스템이 적용되는 전자 시스템의 예시적인 블록도이다. 도 16을 참조하면, 전자 시스템(1000)은 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트폰, 웨어러블(wearable) 장치, 또는 전기 자동차 등으로 다양하게 구현될 수 있다. 전자 시스템(1000)은 이미지 시스템(1100), 통신 시스템(1200), 오디오 처리 시스템(1300), 디스플레이 시스템(1400), 버퍼 메모리(1500), 불휘발성 메모리(1600), 유저 인터페이스(1700) 및 메인 프로세서(1800)를 포함할 수 있다.
이미지 시스템(1100)은 렌즈(1105)를 통해 외부의 빛을 수신할 수 있다. 이미지 시스템(1100)에 포함되는 이미지 센서(1110) 및 이미지 신호 프로세서(1120)는 수신되는 빛에 기초하여 이미지 데이터를 생성할 수 있다. 이미지 센서(1110)는 도 1 내지 도 14을 참조하여 설명된 이미지 센서(110)의 기능을 포함할 수 있다. 예를 들어, 이미지 센서(1110)는 동작 모드에 기초하여 결정된 노출 시간에 따라 이미지 데이터를 획득할 수 있다.
이미지 신호 프로세서(1120)는 도 1 내지 도 14를 참조하여 설명된 프로세싱 회로(120)의 기능을 포함할 수 있다. 예를 들어, 이미지 신호 프로세서(1120)는 이미지 데이터에 기초하여 동적 범위 및 조도를 계산하고, 계산된 동적 범위 및 조도에 기초하여 동작 모드를 판단할 수 있다. 그리고, 이미지 신호 프로세서(1120)는 동작 모드에 기초하여 생성된 이미지 데이터에 대한 HDR 이미지 처리를 수행할 수 있다.
통신 시스템(1200)은 안테나(1210)를 통해 외부 장치/시스템과 신호를 교환할 수 있다. 통신 시스템(1200)의 송수신기(1220) 및 MODEM(Modulator/Demodulator, 1230)은 다양한 무선 통신 규약에 따라, 외부 장치/시스템과 교환되는 신호를 처리할 수 있다.
오디오 처리 시스템(1300)은 오디오 신호 프로세서(1310)를 이용하여 소리 정보를 처리할 수 있고, 오디오를 재생하고 출력할 수 있다. 오디오 처리 시스템(1300)은 마이크(1320)를 통해 오디오 입력을 수신할 수 있다. 오디오 처리 시스템(1300)은 스피커(1330)를 통해, 재생되는 오디오를 출력할 수 있다.
디스플레이 시스템(1400)은 외부 장치(예를 들어, 메인 프로세서(1800))로부터 데이터를 수신하고, 수신된 데이터에 기초하여 디스플레이 패널을 통해 영상을 표시할 수 있다. 예를 들어, 디스플레이 시스템(1400)은 이미지 신호 프로세서(1120)로부터 생성된 HDR 이미지를 표시할 수 있다.
버퍼 메모리(1500)는 전자 시스템(1000)의 동작에 이용되는 데이터를 저장할 수 있다. 예시적으로, 버퍼 메모리(1500)는 메인 프로세서(1800)에 의해 처리된 또는 처리될 데이터를 일시적으로 저장할 수 있다. 예시적으로, 버퍼 메모리(1500)는 SRAM(Static Random Access Memory), DRAM(Dynamic RAM), SDRAM(Synchronous DRAM) 등과 같은 휘발성 메모리, 및/또는 PRAM(Phase-change RAM), MRAM(Magneto-resistive RAM), ReRAM(Resistive RAM), FRAM(Ferro-electric RAM) 등과 같은 불휘발성 메모리를 포함할 수 있다.
불휘발성 메모리(1600)는 전력 공급과 무관하게 데이터를 저장할 수 있다. 예시적으로, 불휘발성 메모리(1600)는 플래시 메모리, PRAM, MRAM, ReRAM, FRAM 등과 같은 다양한 불휘발성 메모리 중 적어도 하나를 포함할 수 있다. 예시적으로, 불휘발성 메모리(1600)는 SD(Secure Digital) 카드와 같은 착탈식 메모리, 및/또는 eMMC(Embedded Multimedia Card)와 같은 내장(Embedded) 메모리를 포함할 수 있다.
유저 인터페이스(1700)는 사용자와 전자 시스템(1000) 사이의 통신을 중재할 수 있다. 예시적으로, 유저 인터페이스(1700)는 키패드, 버튼, 터치 스크린, 터치 패드, 자이로스코프 센서, 진동 센서, 가속 센서 등과 같은 입력 인터페이스를 포함할 수 있다. 예시적으로, 유저 인터페이스(1700)는 모터, LED 램프 등과 같은 출력 인터페이스를 포함할 수 있다.
메인 프로세서(1800)는 전자 시스템(1000)의 구성 요소들의 전반적인 동작들을 제어할 수 있다. 메인 프로세서(1800)는 전자 시스템(1000)을 동작시키기 위해 다양한 연산을 처리할 수 있다. 예시적으로, 메인 프로세서(1800)는 범용(General-purpose) 프로세서, 전용(Special-purpose) 프로세서, 애플리케이션(Application) 프로세서, 마이크로프로세서 등과 같이, 하나 이상의 프로세서 코어를 포함하는 연산 처리 장치/회로로 구현될 수 있다. 상술한 바와 달리, 도 1의 프로세싱 회로(120)에 포함된 기능 블록들 중 적어도 하나(일례로, 모드 컨트롤러(122))는 이미지 신호 프로세서(1120) 대신 메인 프로세서(1800)에서 구현될 수도 있다.
위에서 설명한 내용은 본 발명을 실시하기 위한 구체적인 예들이다. 본 발명에는 위에서 설명한 실시 예들뿐만 아니라, 단순하게 설계 변경하거나 용이하게 변경할 수 있는 실시 예들도 포함될 것이다. 또한, 본 발명에는 상술한 실시 예들을 이용하여 앞으로 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다.
100, 1100: 이미지 시스템 110, 1110: 이미지 센서
111: 픽셀 어레이 112: 구동 회로
113: 변환 회로 114: 타이밍 컨트롤러
120: 프로세싱 회로 121: 동적 범위 및 조도 계산기
122: 모드 컨트롤러 123: HDR 이미지 생성기
1000: 전자 시스템 UP: 단위 픽셀
CP1, CP2, CP3, CP4: 단위 컬러 픽셀

Claims (10)

  1. 수신된 빛에 기초하여 제1 이미지 데이터를 생성하는 이미지 센서; 및
    상기 제1 이미지 데이터에 대응되는 조도 및 동적 범위에 기초하여 제1 모드 및 제2 모드를 포함하는 동작 모드를 판단하는 프로세싱 회로를 포함하되,
    상기 이미지 센서는,
    타겟 컬러에 대응되는 빛을 감지하고, 상기 제1 모드에서 제1 노출 시간 동안 수신된 빛을 제1 신호로 변환하고 상기 제2 모드에서 상기 제1 노출 시간보다 긴 제2 노출 시간 동안 수신된 빛을 제2 신호로 변환하는 제1 픽셀;
    상기 제1 픽셀과 플로팅 확산 영역을 공유하고, 상기 타겟 컬러에 대응되는 빛을 감지하고, 상기 제1 모드에서 상기 제1 노출 시간 동안 수신된 빛을 제3 신호로 변환하고 상기 제2 모드에서 상기 제1 노출 시간 동안 수신된 빛을 제4 신호로 변환하는 제2 픽셀; 및
    상기 제1 신호 및 상기 제3 신호에 기초하여 제2 이미지 데이터를 생성하고, 상기 제2 신호 및 상기 제4 신호에 기초하여 제3 이미지 데이터를 생성하는 변환 회로를 포함하는 이미지 시스템.
  2. 제1 항에 있어서,
    상기 프로세싱 회로는,
    상기 조도가 기준 조도보다 크고 상기 동적 범위가 기준 동적 범위보다 큰 경우, 상기 동작 모드를 상기 제2 모드로 판단하고, 상기 조도가 상기 기준 조도보다 크지 않거나 상기 동적 범위가 상기 기준 동적 범위보다 크지 않은 경우, 상기 동작 모드를 상기 제1 모드로 판단하는 이미지 시스템.
  3. 제1 항에 있어서,
    상기 프로세싱 회로는,
    상기 제1 이미지 데이터의 값들 및 상기 값들에 각각 대응되는 픽셀들의 노출 시간에 기초하여 상기 조도를 계산하고, 상기 값들 중 최대 값 및 최소 값에 기초하여 상기 동적 범위를 계산하는 이미지 시스템.
  4. 제1 항에 있어서,
    상기 프로세싱 회로는,
    상기 제3 이미지 데이터를 상기 제1 픽셀에 대응되는 제1 값 및 상기 제2 픽셀들에 대응되는 제2 값으로 분리하고, 상기 제1 값에 기초하여 제1 서브 이미지를 생성하고, 상기 제2 값에 기초하여 제2 서브 이미지를 생성하고, 상기 제1 서브 이미지 및 상기 제2 서브 이미지에 기초하여 HDR(high dynamic range) 이미지를 생성하는 이미지 시스템.
  5. 제1 항에 있어서,
    상기 프로세싱 회로는,
    상기 제2 이미지 데이터를 톤 매핑하여 HDR 이미지를 생성하는 이미지 시스템.
  6. 제1 항에 있어서,
    상기 이미지 센서는,
    상기 제1 픽셀 및 상기 제2 픽셀과 상기 플로팅 확산 영역을 공유하고, 상기 타겟 컬러에 대응되는 빛을 감지하고, 상기 제1 모드에서 상기 제1 노출 시간 동안 수신된 빛을 제5 신호로 변환하고 상기 제2 모드에서 상기 제1 노출 시간보다 길고 상기 제2 노출 시간보다 짧은 제3 노출 시간 동안 수신된 빛을 제6 신호로 변환하는 제3 픽셀을 더 포함하고,
    상기 변환 회로는 상기 제5 신호에 더 기초하여 상기 제2 이미지 데이터를 생성하고, 상기 제6 신호에 더 기초하여 상기 제3 이미지 데이터를 생성하는 이미지 시스템.
  7. 제6 항에 있어서,
    상기 동작 모드는 제3 모드를 더 포함하고,
    상기 제1 픽셀, 상기 제2 픽셀, 및 상기 제3 픽셀 중 적어도 하나의 픽셀은 상기 제3 모드에서 상기 제1 노출 시간 동안 수신된 빛을 제7 신호로 변환하고,
    상기 적어도 하나의 픽셀과 다른 나머지 픽셀은 상기 제3 모드에서 상기 제2 노출 시간 동안 수신된 빛을 제8 신호로 변환하고,
    상기 변환 회로는 상기 제7 신호 및 상기 제8 신호에 기초하여 제4 이미지 데이터를 생성하는 이미지 시스템.
  8. 수신된 빛에 기초하여 전기 신호를 생성하는 복수의 픽셀들을 포함하는 픽셀 어레이, 및 상기 전기 신호에 기초하여 이미지 데이터를 생성하는 변환 회로를 포함하는 이미지 센서; 및
    상기 이미지 데이터에 기초하여 조도 및 동적 범위를 계산하고, 상기 계산된 조도 및 상기 계산된 동적 범위에 기초하여 상기 복수의 픽셀들 중 적어도 일부의 노출 시간을 변경하고, 상기 이미지 데이터의 HDR(high dynamic range) 처리를 수행하는 프로세싱 회로를 포함하는 이미지 시스템.
  9. 제8 항에 있어서,
    상기 프로세싱 회로는, 상기 계산된 조도가 기준 조도보다 크고 상기 계산된 동적 범위가 기준 동적 범위보다 큰 경우, 상기 복수의 픽셀들 중 제1 픽셀들의 노출 시간을 증가시키고 상기 복수의 픽셀들 중 제2 픽셀들의 노출 시간을 유지하고,
    상기 이미지 센서는, 상기 제1 픽셀들의 상기 증가된 노출 시간 및 상기 제2 픽셀들의 상기 유지된 노출 시간에 기초하여 변환 이미지 데이터를 생성하고,
    상기 프로세싱 회로는, 상기 변환 이미지 데이터의 HDR 처리를 더 수행하는 이미지 시스템.
  10. 제8 항에 있어서,
    상기 픽셀 어레이는,
    제1 노출 시간 동안 수신된 빛에 기초하여 상기 전기 신호의 일부를 생성하는 제1 픽셀들; 및
    상기 제1 노출 시간과 다른 제2 노출 시간 동안 수신된 빛에 기초하여 상기 전기 신호의 다른 일부를 생성하는 제2 픽셀들을 포함하고,
    상기 프로세싱 회로는, 상기 계산된 조도가 기준 조도보다 작거나 상기 계산된 동적 범위가 기준 동적 범위보다 작은 경우, 상기 제1 픽셀들의 노출 시간을 상기 제1 노출 시간으로부터 상기 제2 노출 시간으로 변경하고,
    상기 이미지 센서는 상기 제2 노출 시간에 기초하여 변환 이미지 데이터를 생성하는 이미지 시스템.

KR1020190108760A 2019-05-17 2019-09-03 Hdr 이미지를 생성하기 위한 이미지 시스템 KR20200133167A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/800,579 US11653101B2 (en) 2019-05-17 2020-02-25 Imaging system for generating high dynamic range image
CN202010288453.4A CN111953908B (zh) 2019-05-17 2020-04-14 用于生成高动态范围图像的成像系统
US18/308,714 US20230262345A1 (en) 2019-05-17 2023-04-28 Imaging system for generating high dynamic range image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190058397 2019-05-17
KR1020190058397 2019-05-17

Publications (1)

Publication Number Publication Date
KR20200133167A true KR20200133167A (ko) 2020-11-26

Family

ID=73679362

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190108760A KR20200133167A (ko) 2019-05-17 2019-09-03 Hdr 이미지를 생성하기 위한 이미지 시스템

Country Status (1)

Country Link
KR (1) KR20200133167A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022203447A1 (ko) * 2021-03-26 2022-09-29 삼성전자 주식회사 이미지 센서를 포함하는 전자 장치 및 그 동작 방법
US12126910B2 (en) 2021-03-26 2024-10-22 Samsung Electronics Co., Ltd. Electronic device including image sensor and operating method thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022203447A1 (ko) * 2021-03-26 2022-09-29 삼성전자 주식회사 이미지 센서를 포함하는 전자 장치 및 그 동작 방법
US12126910B2 (en) 2021-03-26 2024-10-22 Samsung Electronics Co., Ltd. Electronic device including image sensor and operating method thereof

Similar Documents

Publication Publication Date Title
US10750097B2 (en) Varying exposure time of pixels in photo sensor using motion prediction
CN111953908B (zh) 用于生成高动态范围图像的成像系统
KR101241704B1 (ko) 픽셀, 픽셀 어레이, 이를 포함하는 이미지센서 및 그 구동방법
KR102054774B1 (ko) 동적 비전 센서, 조도 센서, 및 근접 센서 기능을 구비한 이미지 장치
US9648267B2 (en) Image sensor and control method for image sensor
KR101495895B1 (ko) 넓은 동적 범위를 갖는 광전 변환장치 및 광전 변환방법
KR20200075962A (ko) 피드백 루프를 통해 픽셀들의 각각의 변환 이득들을 결정하는 이미지 센서
US9099367B2 (en) Image sensor and image processing device including the same
KR20140024707A (ko) 이미지 센서 및 이를 포함하는 전자 기기
US11622081B2 (en) Imaging systems for generating HDR images and operating methods thereof
KR20170008978A (ko) 오토 포커싱 픽셀을 포함하는 이미지 센서, 및 이를 포함하는 이미지 처리 시스템
US20210014435A1 (en) Method of correcting dynamic vision sensor (dvs) events and image sensor performing the same
US11438530B2 (en) Pixel unit with a design for half row reading, an imaging apparatus including the same, and an imaging method thereof
KR20130009427A (ko) 시모스 이미지 센서
KR20200145654A (ko) 이미지 센서, 픽셀 어레이 및 그 동작 방법
TW201526649A (zh) 影像感測器
CN115633265B (zh) 感光像素电路、图像传感器和电子设备
KR20150068740A (ko) 오버샘플링 회수를 조절할 수 있는 이미지 센서와 이를 포함하는 이미지 데이터 처리 시스템
KR20200133167A (ko) Hdr 이미지를 생성하기 위한 이미지 시스템
KR102709791B1 (ko) 이미지 센서
EP3445037B1 (en) Varying exposure time of pixels in photo sensor using motion prediction
WO2023020532A1 (zh) 图像处理方法、装置、电子设备及可读存储介质
CN116112814A (zh) 感光像素结构、图像传感器和电子设备
KR101158811B1 (ko) 이미지 센서
KR100494102B1 (ko) 다이나믹 레인지가 넓은 이미지 센서

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal