KR20230055626A

KR20230055626A - 촬영 장치

Info

Publication number: KR20230055626A
Application number: KR1020210139219A
Authority: KR
Inventors: 카츠히로 야하타; 켄 사와다; 쿠니히로 야마모토
Original assignee: 에스케이하이닉스 주식회사
Priority date: 2021-10-19
Filing date: 2021-10-19
Publication date: 2023-04-26
Also published as: JP2023061390A; CN115996327A; US20230124606A1

Abstract

본 발명의 일 실시 예에 따른 촬영 장치는, 제1 동적 범위를 갖는 적어도 하나의 제1 픽셀, 및 제2 동적 범위를 갖는 적어도 하나의 제2 픽셀을 포함하는 이미지 센싱 장치; 및 상기 적어도 하나의 제1 픽셀의 픽셀 데이터 및 상기 적어도 하나의 제2 픽셀의 픽셀 데이터에 기초하여, 상기 제1 동적 범위 또는 상기 제2 동적 범위보다 큰 동적 범위에 해당하는 HDR(high dynamic range) 이미지를 생성하는 이미지 신호 프로세서를 포함하며, 상기 제1 동적 범위의 상한 값은 상기 제2 동적 범위의 상한 값보다 낮고, 상기 이미지 센싱 장치에 포함된 전체 픽셀에 대해, 상기 적어도 하나의 제1 픽셀의 비율은 상기 적어도 하나의 제2 픽셀의 비율보다 높을 수 있다.

Description

촬영 장치{Imaging Device}

본 발명은 광을 감지하여 이미지 데이터를 생성할 수 있는 촬영 장치에 관한 것이다.

이미지 센싱 장치는 빛에 반응하는 광 감지 반도체 물질의 성질을 이용하여 광학 이미지를 캡쳐(capture)하는 장치이다. 자동차, 의료, 컴퓨터 및 통신 등 산업의 발전에 따라 스마트폰, 디지털 카메라, 게임기기, 사물 인터넷(Internet of Things), 로봇, 경비용 카메라, 의료용 마이크로 카메라 등과 같은 다양한 분야에서 고성능(high-performance) 이미지 센싱 장치에 대한 수요가 증대되고 있다.

이미지 센싱 장치는 크게 CCD(Charge Coupled Device) 이미지 센싱 장치와, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센싱 장치로 구분될 수 있다. CCD 이미지 센싱 장치는 CMOS 이미지 센싱 장치에 비해 더 나은 이미지 품질을 제공하나, 더 큰 크기로 구현되고 더 많은 전력을 소비하는 경향이 있다. 반면에, CMOS 이미지 센싱 장치는 CCD 이미지 센싱 장치에 비해 더 작은 크기로 구현될 수 있고, 더 적은 전력을 소비한다. 또한, CMOS 이미지 센싱 장치는 CMOS 제조 기술을 이용하여 제조되므로, 광 감지 소자 및 신호 처리 회로를 단일 칩에 통합할 수 있으며, 이를 통해 저렴한 비용으로 소형의 이미지 센싱 장치를 생산할 수 있다. 이러한 이유로, CMOS 이미지 센싱 장치는 모바일 장치를 포함한 많은 애플리케이션을 위해 개발되고 있다.

본 발명의 기술적 사상은 HDR(high dynamic range)을 확보할 수 있는 촬영 장치를 제공할 수 있다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 문서에 개시되는 본 발명의 일 실시 예에 따른 촬영 장치는, 제1 동적 범위를 갖는 적어도 하나의 제1 픽셀, 및 제2 동적 범위를 갖는 적어도 하나의 제2 픽셀을 포함하는 이미지 센싱 장치; 및 상기 적어도 하나의 제1 픽셀의 픽셀 데이터 및 상기 적어도 하나의 제2 픽셀의 픽셀 데이터에 기초하여, 상기 제1 동적 범위 또는 상기 제2 동적 범위보다 큰 동적 범위에 해당하는 HDR(high dynamic range) 이미지를 생성하는 이미지 신호 프로세서를 포함하며, 상기 제1 동적 범위의 상한 값은 상기 제2 동적 범위의 상한 값보다 낮고, 상기 이미지 센싱 장치에 포함된 전체 픽셀에 대해, 상기 적어도 하나의 제1 픽셀의 비율은 상기 적어도 하나의 제2 픽셀의 비율보다 높을 수 있다.

본 발명의 다른 실시예에 따른 촬영 장치는, 적어도 하나의 제1 픽셀, 및 상기 적어도 하나의 제1 픽셀보다 낮은 감도를 갖는 적어도 하나의 제2 픽셀을 포함하는 이미지 센싱 장치; 및 상기 적어도 하나의 제1 픽셀의 픽셀 데이터 및 상기 적어도 하나의 제2 픽셀의 픽셀 데이터에 기초하여, 상기 적어도 하나의 제1 픽셀의 동적 범위 또는 상기 적어도 하나의 제2 픽셀의 동적 범위보다 큰 동적 범위에 해당하는 HDR(high dynamic range) 이미지를 생성하는 이미지 신호 프로세서를 포함하며, 상기 이미지 센싱 장치에 포함된 전체 픽셀에 대해, 상기 적어도 하나의 제1 픽셀의 비율은 상기 적어도 하나의 제2 픽셀의 비율보다 높을 수 있다.

본 문서에 개시되는 실시 예들에 따르면, 고감도 픽셀과 저감도 픽셀을 함께 배치함으로써 한 번의 촬영으로 HDR 이미지를 획득할 수 있다.

이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.

도 1은 본 발명의 일 실시예에 따른 촬영 시스템을 나타낸 블록도이다.
도 2는 도 1에 도시된 이미지 센싱 장치를 보다 상세히 나타낸 도면이다.
도 3은 도 2에 도시된 픽셀 어레이의 일 예를 나타낸 도면이다.
도 4는 고감도 픽셀과 저감도 픽셀에 대해 입사광의 세기에 따른 응답을 예시적으로 나타낸 도면이다.
도 5a 내지 도 5d 각각은 광 투과율의 차이로 고감도 픽셀과 저감도 픽셀을 구현하는 실시예를 나타낸다.
도 6a 및 도 6b는 회로 구조의 차이로 고감도 픽셀과 저감도 픽셀을 구현하는 실시예를 나타낸다.
도 7은 저감도 그린 픽셀, 저감도 레드 픽셀 및 저감도 블루 픽셀 각각에 대한 조도에 따른 응답을 나타낸 도면이다.
도 8은 이미지 센싱 장치가 생성한 하나의 프레임의 일 예를 나타낸 도면이다.
도 9는 고감도 픽셀과 저감도 픽셀에 대해 픽셀 데이터와 노이즈를 서로 비교한 그래프이다.
도 10은 합성 가중치의 설정 방법의 일 예를 설명하기 위한 도면이다.
도 11은 합성 가중치의 설정 방법의 다른 예를 설명하기 위한 도면이다.
도 12는 합성 가중치의 설정 방법의 또 다른 예를 설명하기 위한 도면이다.
도 13은 고감도 픽셀과 저감도 픽셀의 배열의 일 예를 나타낸 도면이다.
도 14는 입사광의 세기에 따른 공유 픽셀의 픽셀 데이터의 변화를 나타낸 그래프이다.
도 15는 공유 픽셀의 픽셀 데이터와 게인 제어된 픽셀 데이터를 비교한 그래프이다.

이하, 첨부된 도면을 참조하여 다양한 실시 예가 설명될 것이다. 그러나, 본 개시는 특정한 실시 예에 한정되지 않고, 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 본 개시의 실시 예는 본 개시를 통해 직간접적으로 인식될 수 있는 다양한 효과를 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 촬영 시스템을 나타낸 블록도이다. 도 2는 도 1에 도시된 이미지 센싱 장치를 보다 상세히 나타낸 도면이다. 도 3은 도 2에 도시된 픽셀 어레이의 일 예를 나타낸 도면이다. 도 4는 고감도 픽셀과 저감도 픽셀에 대해 입사광의 세기에 따른 응답을 예시적으로 나타낸 도면이다.

도 1을 참조하면, 촬영 시스템(1)은 정지 영상을 촬영하는 디지털 스틸 카메라 또는 동영상을 촬영하는 디지털 비디오 카메라 등의 장치를 의미할 수 있다. 예를 들어, 촬영 장치(10)는 디지털 일안 리플렉스 카메라(Digital Single Lens Reflex; DSLR), 미러리스(mirrorless) 카메라, 또는 핸드폰(특히, 스마트폰)으로 구현될 수 있으나, 이에 한정되는 것은 아니다. 촬영 장치(10)는 렌즈 및 촬상 소자를 포함함에 의해, 피사체를 촬영하고 이미지를 생성할 수 있는 장치를 포함하는 개념일 수 있다.

촬영 시스템(1)은 촬영 장치(imaging device, 10) 및 호스트 장치(host device, 20)를 포함할 수 있다.

촬영 장치(10)는 이미지 센싱 장치(image sensing device, 100), 라인 메모리(line memory, 200), ISP(image signal processor, 300) 및 입출력 인터페이스(I/O interface, 400)를 포함할 수 있다.

이미지 센싱 장치(100)는 광학 신호를 전기 신호로 변환하는 CIS(Complementary Metal Oxide Semiconductor Image Sensor)일 수 있다. 이미지 센싱 장치(100)는 ISP(300)에 의해 온/오프(on/off), 동작 모드, 동작 타이밍, 감도 등의 전반적인 동작이 제어될 수 있다. 이미지 센싱 장치(100)는 ISP(300)의 제어에 따라 광학 신호를 전기 신호로 변환한 이미지 데이터를 라인 메모리(200)로 전송할 수 있다.

도 2를 참조하면, 이미지 센싱 장치(100)는 픽셀 어레이(pixel array, 110), 로우 드라이버(row driver, 120), 상관 이중 샘플러(Correlate Double Sampler; CDS, 130), 아날로그-디지털 컨버터(Analog-Digital Converter; ADC, 140), 출력 버퍼(output buffer, 150), 컬럼 드라이버(column driver, 160) 및 타이밍 컨트롤러(timing controller, 170)를 포함할 수 있다. 여기서, 이미지 센싱 장치(100)의 각 구성은 예시적인 것에 불과하며, 필요에 따라 적어도 일부의 구성이 추가되거나 생략될 수 있다.

픽셀 어레이(110)는 복수의 로우들(rows) 및 복수의 컬럼들(columns)로 배열된 복수의 이미지 픽셀들을 포함할 수 있다. 일 실시예에서, 복수의 이미지 픽셀들은 로우들 및 컬럼들을 포함하는 2차원 픽셀 어레이로 배열될 수 있다. 다른 실시예에서, 복수의 이미지 픽셀들은 3차원 픽셀 어레이로 배열될 수 있다. 복수의 이미지 픽셀들은 픽셀 단위로 또는 픽셀 그룹 단위로 광 신호를 전기적 신호로 변환할 수 있으며, 픽셀 그룹 내 이미지 픽셀들은 적어도 특정 내부 회로를 공유할 수 있다. 픽셀 어레이(110)는 로우 드라이버(120)로부터 로우 선택 신호, 픽셀 리셋 신호 및 전송 신호 등을 포함하는 픽셀 제어 신호를 수신할 수 있으며, 픽셀 제어 신호에 의하여 픽셀 어레이(110)의 해당 픽셀은 로우 선택 신호, 픽셀 리셋 신호 및 전송 신호에 대응하는 동작을 수행하도록 활성화될 수 있다. 이미지 픽셀들 각각은 입사광의 세기에 대응하는 광전하를 생성하고, 생성된 광전하의 양에 대응하는 전기적 신호를 생성함으로써, 입사광을 감지할 수 있다. 설명의 편의상 이미지 픽셀은 픽셀로도 호칭될 수 있다.

로우 드라이버(120)는 타이밍 컨트롤러(170)에 의해 공급되는 명령들 및 제어 신호들에 기초하여 해당 로우에 포함된 픽셀들에 대해 특정 동작들을 수행하도록 픽셀 어레이(110)를 활성화할 수 있다. 일 실시예에서, 로우 드라이버(120)는 픽셀 어레이(110)의 적어도 하나의 로우에 배열된 적어도 하나의 픽셀을 선택할 수 있다. 로우 드라이버(120)는 복수의 로우들 중 적어도 하나의 로우를 선택하기 위하여 로우 선택 신호를 생성할 수 있다. 로우 드라이버(120)는 선택된 적어도 하나의 로우에 대응하는 픽셀들에 대해 픽셀 리셋 신호 및 전송 신호를 순차적으로 인에이블시킬 수 있다. 이에 따라, 선택된 로우의 픽셀들 각각으로부터 생성되는 아날로그 형태의 기준 신호와 영상 신호가 순차적으로 상관 이중 샘플러(130)로 전달될 수 있다. 여기서, 기준 신호는 픽셀의 센싱 노드(예컨대, 플로팅 디퓨전 노드)가 리셋되었을 때 상관 이중 샘플러(130)로 제공되는 전기적 신호이고, 영상 신호는 픽셀에 의해 생성된 광전하가 센싱 노드에 축적되었을 때 상관 이중 샘플러(130)로 제공되는 전기적 신호일 수 있다. 픽셀 고유의 리셋 노이즈(reset noise)를 나타내는 기준 신호와, 입사광의 세기를 나타내는 영상 신호는 픽셀 신호로 통칭될 수 있다.

이미지 센싱 장치(100)는 두 샘플들 사이의 차이를 제거하기 위해 픽셀 신호를 두 번 샘플링 함으로써, 고정 패턴 노이즈와 같은 픽셀의 원치 않는 오프셋 값을 제거할 수 있도록 상관 이중 샘플링을 이용할 수 있다. 일 예로, 상관 이중 샘플링은 입사광에 의해 생성된 광전하가 센싱 노드에 축적되기 전후로 획득된 픽셀 출력 전압들을 비교함으로써, 원치 않는 오프셋 값을 제거하여 오직 입사광에 기초하는 픽셀 출력 전압이 측정될 수 있다. 일 실시예에서, 상관 이중 샘플러(130)는 픽셀 어레이(110)로부터 복수의 컬럼 라인들 각각에 제공되는 기준 신호와 영상 신호를 순차적으로 샘플링 및 홀딩(sampling and holding)할 수 있다. 즉, 상관 이중 샘플러(130)는 픽셀 어레이(110)의 컬럼들 각각에 대응하는 기준 신호와 영상 신호의 레벨을 샘플링하고 홀딩할 수 있다.

상관 이중 샘플러(130)는 타이밍 컨트롤러(170)로부터의 제어 신호에 기초하여 컬럼들 각각의 기준 신호와 영상 신호를 상관 이중 샘플링 신호로서 ADC(140)로 전달할 수 있다.

ADC(140)는 상관 이중 샘플러(130)로부터 출력되는 각 컬럼에 대한 상관 이중 샘플링 신호를 디지털 신호로 변환하여 출력할 수 있다. 일 실시예에서, ADC(140)는 컬럼들 각각을 위한 상관 이중 샘플러(130)에 의해 생성된 상관 이중 샘플링 신호를 디지털 신호로 변환하여 출력할 수 있다.

ADC(140)는 픽셀 어레이(110)의 컬럼들 각각에 대응하는 복수의 컬럼 카운터들을 포함할 수 있다. 픽셀 어레이(110)의 각 컬럼은 각 컬럼 카운터에 연결되며, 영상 데이터는 컬럼 카운터들을 이용하여 컬럼들 각각에 대응되는 상관 이중 샘플링 신호를 디지털 신호로 변환함에 의해 생성될 수 있다. 다른 실시예에 따라, ADC(140)는 하나의 글로벌 카운터를 포함하고, 글로벌 카운터에서 제공되는 글로벌 코드를 이용하여 컬럼들 각각에 대응되는 상관 이중 샘플링 신호를 디지털 신호로 변환할 수 있다.

출력 버퍼(150)는 ADC(140)에서 제공되는 각각의 컬럼 단위의 영상 데이터(IDATA)를 일시적으로 홀딩하여 출력할 수 있다. 출력 버퍼(150)는 타이밍 컨트롤러(170)의 제어 신호에 기초하여 ADC(140)로부터 출력되는 이미지 데이터를 일시 저장할 수 있다. 출력 버퍼(150)는 이미지 센싱 장치(100)와 연결된 다른 장치 사이의 전송 속도(또는 처리 속도)의 차이를 보상해주는 인터페이스로서 동작할 수 있다.

컬럼 드라이버(160)는 타이밍 컨트롤러(170)의 제어 신호에 기초하여 출력 버퍼(150)의 컬럼을 선택하고, 출력 버퍼(150)의 선택된 컬럼에 일시 저장된 이미지 데이터가 순차적으로 출력되도록 제어할 수 있다. 일 실시예에서, 컬럼 드라이버(160)는 타이밍 컨트롤러(170)로부터 어드레스 신호를 수신할 수 있으며, 컬럼 드라이버(160)는 어드레스 신호를 기반으로 컬럼 선택 신호를 생성하여 출력 버퍼(150)의 컬럼을 선택함으로써, 출력 버퍼(150)의 선택된 컬럼으로부터 이미지 데이터가 외부로 출력되도록 제어할 수 있다.

타이밍 컨트롤러(170)는 로우 드라이버(120), 상관 이중 샘플러(130), ADC(140), 출력 버퍼(150) 및 컬럼 드라이버(160) 중 적어도 하나를 제어할 수 있다.

타이밍 컨트롤러(170)는 이미지 센싱 장치(100)의 각 구성의 동작에 요구되는 클럭 신호, 타이밍 컨트롤을 위한 제어 신호, 및 로우 또는 컬럼을 선택하기 위한 어드레스 신호들을 로우 드라이버(120), 상관 이중 샘플러(130), ADC(140), 출력 버퍼(150) 및 컬럼 드라이버(160) 중 적어도 하나에 제공할 수 있다. 일 실시예에 따라, 타이밍 컨트롤러(170)는 로직 제어회로(Logic control circuit), 위상 고정 루프(Phase Lock Loop, PLL) 회로, 타이밍 컨트롤 회로(timing control circuit) 및 통신 인터페이스 회로(communication interface circuit) 등을 포함할 수 있다.

도 3을 참조하면, 픽셀 어레이(110)에 포함된 픽셀들의 배열의 일 예가 도시되어 있다. 도 3에는 8개의 로우들 및 8개의 컬럼들을 포함하는 매트릭스로 배열된 64개의 픽셀들이 도시되어 있다. 일 예로, 64개의 픽셀들은 픽셀 어레이(110)의 최소 단위로서 64개의 픽셀들이 로우 방향 및 컬럼 방향으로 반복될 수 있으나, 본 발명의 범위는 이에 한정되지 않는다.

픽셀 어레이(110)는 레드 픽셀들, 블루 픽셀들 및 그린 픽셀들을 포함할 수 있다. 레드 픽셀들은 레드 색상에 대응하는 광을 선택적으로 투과시키는 레드 컬러 필터를 포함하여 레드 색상에 대응하는 광을 감지하는 픽셀일 수 있다. 블루 픽셀들은 블루 색상에 대응하는 광을 선택적으로 투과시키는 블루 컬러 필터를 포함하여 블루 색상에 대응하는 광을 감지하는 픽셀일 수 있다. 그린 픽셀들은 그린 색상에 대응하는 광을 선택적으로 투과시키는 그린 컬러 필터를 포함하여 그린 색상에 대응하는 광을 감지하는 픽셀일 수 있다.

일 실시예에 의하면, 레드 픽셀들, 블루 픽셀들 및 그린 픽셀들은 쿼드 베이어 패턴(quad bayer pattern)에 따라 배열될 수 있다. 쿼드 베이어 패턴은 레드 픽셀들, 블루 픽셀들 및 그린 픽셀들 각각이 2x2 매트릭스로 배열되는 레드 픽셀 그룹, 블루 픽셀 그룹 및 그린 픽셀 그룹이 베이어 패턴으로 배열되는 패턴을 의미할 수 있다. 따라서, 쿼드 베이어 패턴에서, 레드 픽셀 그룹과 블루 픽셀 그룹이 사선 방향으로 배치되고, 레드 픽셀 그룹과 블루 픽셀 그룹 각각의 일 측에 그린 픽셀 그룹이 배치됨으로써 4x4 매트릭스로 픽셀들이 배열될 수 있다.

픽셀 어레이(110)에 포함된 픽셀들은 각각이 감지하는 광의 색상에 따라 구분될 수도 있으나, 입사광에 대한 감도에 따라 고감도 픽셀(high sensitivity pixel)과 저감도 픽셀(low sensitivity pixel)로 구분될 수 있다. 상대적으로 감도가 높은 픽셀은 고감도 픽셀로 정의되고, 상대적으로 감도가 낮은 픽셀은 저감도 픽셀로 정의될 수 있다. 고감도 픽셀과 저감도 픽셀에 대한 보다 상세한 설명은 도 4를 참조하여 후술하기로 한다.

레드 픽셀 중 상대적으로 감도가 높은 픽셀은 고감도 레드 픽셀로 정의되고, 레드 픽셀 중 상대적으로 감도가 낮은 픽셀은 저감도 레드 픽셀로 정의될 수 있다. 블루 픽셀 중 상대적으로 감도가 높은 픽셀은 고감도 블루 픽셀로 정의되고, 블루 픽셀 중 상대적으로 감도가 낮은 픽셀은 저감도 블루 픽셀로 정의될 수 있다. 그린 픽셀 중 상대적으로 감도가 높은 픽셀은 고감도 그린 픽셀로 정의되고, 그린 픽셀 중 상대적으로 감도가 낮은 픽셀은 저감도 그린 픽셀로 정의될 수 있다.

도 3에서는 64개의 픽셀들에 포함된 16개의 레드 픽셀들은 모두 고감도 레드 픽셀들(RP_H)일 수 있고, 64개의 픽셀들에 포함된 16개의 블루 픽셀들은 모두 고감도 블루 픽셀들(BP_H)일 수 있다. 그러나, 64개의 픽셀들에 포함된 32개의 그린 픽셀들은 28개의 고감도 그린 픽셀들(GP_H)과 4개의 저감도 그린 픽셀들(GP_L)을 포함할 수 있다.

즉, 전체 64개의 픽셀들은 4개의 저감도 픽셀들과 60개의 고감도 픽셀들로 구성될 수 있고, 전체 픽셀 대비 저감도 픽셀들의 비율은 고감도 픽셀들에 비해 매우 낮은 4/64=1/16일 수 있다.

전체 픽셀 대비 저감도 픽셀들의 비율은 도 3의 예시에 한정되지 않으며, 고감도 픽셀들이 캡쳐한 이미지의 해상도를 저해하지 않는 수준에서 충분한 HDR 성능이 나타날 수 있도록 실험적으로 결정될 수 있다.

도 3의 예시에서는 저감도 픽셀들이 그린 픽셀인 경우에 대해 도시되었으나, 본 발명의 범위는 이에 한정되지 않고 저감도 픽셀들이 레드 픽셀 또는 블루 픽셀일 수도 있다.

도 4를 참조하면, 입사광의 세기의 증가에 따른 응답의 증가량이 상대적으로 큰 픽셀인 고감도 픽셀과, 입사광의 세기의 증가에 따른 응답의 증가량이 상대적으로 작은 픽셀인 저감도 픽셀에 대해, 해당 픽셀로 입사되는 입사광의 세기에 따른 고감도 픽셀의 응답과 저감도 픽셀의 응답이 도시되어 있다. 여기서, 응답은 해당 픽셀의 영상 데이터(즉, 픽셀 데이터)를 의미할 수 있으며, 입사광의 세기는 해당 픽셀이 감지하는 피사체의 밝기 또는 조도를 의미할 수 있다. 본 개시에서 고감도 픽셀과 저감도 픽셀은 각각 제1 픽셀과 제2 픽셀로도 불릴 수 있다.

응답은 SNR(signal to noise ratio) 한계 레벨(SNR limit)과 포화 레벨(saturation)을 가질 수 있다.

SNR 한계 레벨은 미리 정해진 기준 SNR(reference SNR)을 만족시킬 수 있는 응답의 임계 값을 의미할 수 있다. SNR 한계 레벨 미만의 응답은 기준 SNR을 만족시킬 수 없는 무효 응답이 되고, SNR 한계 레벨 이상의 응답은 기준 SNR을 만족시킬 수 있는 유효 응답이 될 수 있다. 기준 SNR은 이미지 센싱 장치(100)의 특성 및 시스템의 요구 사양을 고려하여 실험적으로 결정된 값일 수 있다. 다만, 설명의 편의상 도 5a 이하의 설명에서는 SNR 한계 레벨은 무시하는 것으로 가정하고 설명하기로 한다.

포화 레벨은 입사광의 세기를 나타낼 수 있는 최대 응답을 의미할 수 있다. 포화 레벨은 픽셀이 입사광의 세기를 광전하로 변환할 수 있는 능력(예컨대, 광전 변환 소자의 용량), 광전하를 아날로그 신호로 변환할 수 있는 능력(예컨대, 플로팅 디퓨전 영역의 용량) 및 아날로그 신호를 디지털 신호로 변환할 수 있는 능력(예컨대, 아날로그 디지털 컨버터의 입력 범위)에 의해 결정될 수 있다. 입사광의 세기가 증가할 때, 응답이 포화 레벨에 도달하기 전까지는 응답이 입사광의 세기에 따라 증가될 수 있다. 그러나, 응답이 포화 레벨에 도달한 뒤에는 입사광의 세기가 증가하여도 응답은 포화 레벨을 초과하여 증가할 수 없고, 포화 레벨과 동일한 값을 가질 수 있다.

픽셀의 유효 응답을 기준 SNR을 만족시키면서 입사광의 세기를 나타낼 수 있는 응답으로 정의하면, 픽셀의 유효 응답에 대응하는 입사광의 세기의 범위는 픽셀의 동적 범위(dynamic range)로 정의될 수 있다. 즉, 픽셀의 동적 범위는 픽셀이 유효 응답을 가질 수 있는 입사광의 세기의 범위를 의미할 수 있다.

입사광의 세기의 증가에 따른 응답의 증가량이 상대적으로 큰 픽셀인 고감도 픽셀의 응답은 입사광의 세기의 증가에 대응하여 상대적으로 높은 기울기로 증가하고, 포화 레벨에 도달한 뒤 입사광의 세기와 무관하게 포화 레벨에 해당하는 레벨을 가질 수 있다.

입사광의 세기의 증가에 따른 응답의 증가량이 상대적으로 작은 픽셀인 저감도 픽셀의 응답은 입사광의 세기의 증가에 대응하여 상대적으로 낮은 기울기로 증가하고, 포화 레벨에 도달한 뒤 입사광의 세기와 무관하게 포화 레벨에 해당하는 레벨을 가질 수 있다.

도 4에 도시된 바와 같이, 고감도 픽셀의 동적 범위(DR_H)(또는 제1 동적 범위)의 하한 값은 저감도 픽셀의 동적 범위(DR_L)(또는 제2 동적 범위)의 하한 값보다 작고, 고감도 픽셀의 동적 범위(DR_H)의 상한 값은 저감도 픽셀의 동적 범위(DR_L)의 상한 값보다 작을 수 있다. 따라서, 입사광의 세기가 상대적으로 작은 조도 범위(저조도)에서는 고감도 픽셀이 입사광의 세기를 감지하는데 보다 적합하고, 입사광의 세기가 상대적으로 큰 조도 범위(고조도)에서는 저감도 픽셀이 입사광의 세기를 감지하는데 보다 적합할 수 있다.

저조도에 적합한 고감도 픽셀과 고조도에 적합한 저감도 픽셀 각각의 응답을 이용하여 HDR이 구현될 수 있다. 즉, 고감도 픽셀 또는 저감도 픽셀 중 어느 하나만을 이용하는 경우에 비해, 고감도 픽셀 및 저감도 픽셀을 함께 이용하게 되면 전체 픽셀 어레이는 고감도 픽셀의 동적 범위의 하한 값에서 저감도 픽셀의 동적 범위의 상한 값까지의 범위에 해당하는 고동적 범위를 가질 수 있다. 이를 위해 고감도 픽셀의 동적 범위의 적어도 일부와 저감도 픽셀의 동적 범위의 적어도 일부는 서로 겹쳐질 수 있다.

고감도 픽셀과 저감도 픽셀을 구현하기 위해, 노광 시간을 가변하는 방식이 이용될 수 있다. 노광 시간은 입사광의 세기에 대응하여 광전하를 생성하는 시간을 의미하고, 노광 시간이 상대적으로 긴 픽셀은 고감도 픽셀에 해당하고, 노광시간이 상대적으로 짧은 픽셀은 저감도 픽셀에 해당할 수 있다.

노광 시간을 달리하여 고감도 픽셀과 저감도 픽셀을 구현하게 되면, 고감도 픽셀과 저감도 픽셀은 서로 다른 시점의 장면을 감지하게 되어, 빠르게 움직이는 피사체에 대한 모션 아티팩트(motion artifact) 또는 모션 블러(motion blur)가 발생할 수 있다.

본 개시에서는 픽셀 어레이(110) 내에 고감도 픽셀과 저감도 픽셀을 함께 배치하여 동일한 시점의 장면을 감지하도록 하고, ISP(300)가 고감도 픽셀과 저감도 픽셀의 이미지 데이터를 이용해 HDR 이미지를 합성함으로써 모션 아티팩트 또는 모션 블러를 방지할 수 있다. 여기서, HDR 이미지는 고감도 픽셀의 제1 동적 범위 또는 저감도 픽셀의 제2 동적 범위보다 큰 동적 범위에 해당하는 이미지를 의미할 수 있다.

또한, 픽셀 어레이(110) 내에 저감도 픽셀들은 상대적으로 작은(소수의) 비율로 포함될 수 있다. 이는 고감도 픽셀들이 감지한 이미지와 저감도 픽셀들이 감지한 이미지는 서로 이질적인 성질을 가질 수 밖에 없으므로, 대부분의 이미지는 고감도 픽셀들이 감지하도록 하고 저감도 픽셀들은 HDR 기능을 위해 필요한 최소한의 비율로 픽셀 어레이(110)에 포함되는 것이 화질 측면에서 보다 유리하기 때문이다.

다시 도 1을 참조하면, 라인 메모리(200)는 휘발성 메모리(예컨대, DRAM, SRAM) 및/또는 비휘발성 메모리(예컨대, 플래시 메모리)를 포함할 수 있다. 라인 메모리(200)는 미리 정해진 개수의 라인에 대응하는 이미지 데이터를 저장할 수 있는 용량을 가질 수 있다. 여기서, 라인은 픽셀 어레이(110)의 로우를 의미할 수 있고, 미리 정해진 개수는 픽셀 어레이(120)의 전체 로우들의 개수보다 작은 값일 수 있다. 따라서, 라인 메모리(200)는 픽셀 어레이(110)가 한번에 촬영한 프레임에 대응하는 이미지 데이터를 저장할 수 있는 프레임 메모리가 아닌, 픽셀 어레이(110)의 일부 로우들(또는 라인들)에 대응하는 이미지 데이터를 저장할 수 있는 라인 메모리일 수 있다. 다른 실시예에 따라, 라인 메모리(200)는 프레임 메모리로 대체될 수도 있다.

라인 메모리(200)는 이미지 센싱 장치(100)로부터 이미지 데이터를 수신하여 저장할 수 있고, 저장된 이미지 데이터를 ISP(300)의 제어에 따라 ISP(300)로 전송할 수 있다.

ISP(300)는 라인 메모리(200)에 저장된 이미지 데이터에 대해 영상 신호 처리를 수행할 수 있다. ISP(300)는 이미지 데이터에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색 필터 배열 보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement), 렌즈 왜곡 보정(lens distortion correction) 등의 화질 개선을 위한 영상 신호 처리를 수행할 수 있다. 또한, ISP(300)는 화질 개선을 위한 영상 신호 처리를 수행하여 생성한 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있고, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축 형식은 가역 형식 또는 비가역 형식일 수 있다. 압축 형식의 예로서, 정지 영상의 경우, JPEG(Joint Photographic Experts Group) 형식이나 JPEG 2000 형식 등이 이용될 수 있다. 또한, 동영상의 경우, MPEG(Moving Picture Experts Group) 표준에 따라 복수의 프레임들을 압축하여 동영상 파일이 생성될 수 있다. 영상 파일은 예를 들면 Exif(Exchangeable image file format) 표준에 따라 생성될 수 있다.

HDR 이미지를 생성하기 위해, ISP(300)는 게인 처리부(gain processing unit, 310) 및 이미지 합성부(image compositing unit, 320)를 포함할 수 있다.

게인 처리부(310)는 고감도 픽셀의 픽셀 데이터 및/또는 저감도 픽셀의 픽셀 데이터에 연산(예컨대, 곱셈 연산)되는 게인을 결정할 수 있다. 게인 처리부(310)는 고감도 픽셀과 저감도 픽셀 간의 감도 차이 및 조건에 따라 게인을 결정하여 이미지 합성부(320)에 제공할 수 있다. 감도 차이 및 조건에 따른 게인은 미리 실험적으로 결정되어 게인 처리부(310)에 저장될 수 있다. 일 실시예에 따라, 게인 처리부(310)는 실험적으로 결정된 게인을 테이블로 저장할 수 있고, 게인 처리부(310)는 필요한 게인을 테이블을 참조하여 획득할 수 있다.

이미지 합성부(320)는 고감도 픽셀의 픽셀 데이터 및/또는 저감도 픽셀의 픽셀 데이터를 이용해 고동적 범위에 해당하는 HDR 이미지를 합성할 수 있다.

일 실시예에 따라, 이미지 합성부(320)는 고감도 픽셀의 픽셀 데이터의 포화 여부에 따라 고감도 픽셀의 픽셀 데이터와 저감도 픽셀의 픽셀 데이터를 보간(interpolation) 및 연산하여 HDR 이미지를 생성할 수 있다. 여기서, 보간은 해당 픽셀에 인접하게 위치한 적어도 하나의 픽셀의 픽셀 데이터를 이용하여 해당 픽셀의 픽셀 데이터를 생성하는 것을 의미할 수 있다.

예를 들어, 고감도 픽셀의 픽셀 데이터가 포화되지 않으면, 이미지 합성부(320)는 고감도 픽셀의 픽셀 데이터를 그대로 고감도 픽셀에 대한 HDR 이미지 데이터로 결정하고, 고감도 픽셀에 대응하는 저감도 픽셀에 대해 고감도 픽셀의 픽셀 데이터를 보간 처리한 값을 HDR 이미지 데이터로 결정할 수 있다.

반대로 고감도 픽셀의 픽셀 데이터가 포화되면, 이미지 합성부(320)는 고감도 픽셀에 대응하는 저감도 픽셀의 픽셀 데이터를 보간 처리한 값을 고감도 픽셀에 대한 HDR 이미지 데이터로 결정하고, 고감도 픽셀에 대응하는 저감도 픽셀에 대해 저감도 픽셀의 픽셀 데이터를 그대로 HDR 이미지 데이터로 결정할 수 있다. 여기서, 저감도 픽셀의 픽셀 데이터에 대한 보간 처리시, 고감도 픽셀과 저감도 픽셀 간의 감도 차이(예컨대, 16배)에 따른 게인(예컨대, 16)이 저감도 픽셀의 픽셀 데이터에 연산(예컨대, 곱셈 연산)될 수 있다.

다른 실시예에 따라, 하나의 장면에 적어도 하나의 고휘도 영역이 존재할 경우, 이미지 합성부(320)는 적어도 하나의 고휘도 영역과 그 외의 영역(즉, 저휘도 영역) 간의 경계에 대해 고감도 픽셀의 픽셀 데이터와 저감도 픽셀의 픽셀 데이터 사이의 합성 가중치를 조절하여 HDR 이미지를 생성할 수 있다. 이러한 합성 가중치 조절하는 동작에 대해서는 도 8 내지 도 12를 참조하여 후술하기로 한다.

또 다른 실시예에 따라, 이미지 합성부(320)는 하나의 장면에 대한 고감도 픽셀들의 픽셀 데이터의 집합인 고감도 이미지와, 저감도 픽셀들의 픽셀 데이터의 집합인 저감도 이미지를 합산하여 HDR 이미지를 생성할 수 있다. 픽셀 어레이(110)에서 저감도 픽셀들의 비율은 고감도 픽셀들보다 낮기 때문에, 저감도 이미지의 해상도는 고감도 이미지의 해상도보다 낮을 수 있다. 따라서, 이미지 합성부(320)는 저감도 이미지에 대해 해상도 변환(resolution conversion)을 먼저 수행한 뒤, 고감도 이미지와 동일한 해상도로 변환된 저감도 이미지와, 고감도 이미지를 합산할 수 있다.

일 실시예에 따라, 저감도 이미지에 대한 해상도 변환은 demosaic 처리 이전에 수행될 수 있다. Demosaic 처리는 하나의 색상(예컨대, 레드, 블루, 또는 그린)에 대응하는 픽셀 데이터를 3가지 색상(예컨대, 레드, 블루, 및 그린)에 대응하는 픽셀 데이터로 변환하는 동작으로서, 베이어 패턴 이미지(각 픽셀에 대해 한가지 색상에 해당하는 픽셀 데이터가 포함)에 대해 demosaic 처리가 수행되면 RGB 이미지(각 픽셀에 대해 3가지 색상에 해당하는 픽셀 데이터가 포함)가 생성될 수 있다. 해상도 변환과 demosaic 처리가 순차적으로 수행되는 이유는, 해상도 변환을 원본인 베이어 패턴 이미지에 대해 수행함에 의해 demosaic 처리에 따른 왜곡이 HDR 이미지에 포함되지 않도록 하기 위함이다.

ISP(300)는 영상 신호 처리된 이미지 데이터(즉, HDR 이미지)를 입출력 인터페이스(400)로 전송할 수 있다.

다른 실시예에 따라, HDR 이미지의 생성을 위한 게인 처리부(310) 및 이미지 합성부(320)는 ISP(300)가 아닌 이미지 센싱 장치(100)에 포함될 수도 있다.

입출력 인터페이스(400)는 호스트 장치(20)와의 통신을 수행하며, 영상 신호 처리된 이미지 데이터를 호스트 장치(20)로 전송할 수 있다. 일 실시예에 따라, 입출력 인터페이스(400)는 MIPI(mobile industry processor interface) 인터페이스일 수 있으나, 본 발명의 범위는 이에 한정되지 않는다.

호스트 장치(20)는 촬영 장치(10)로부터 수신되는 영상 신호 처리된 이미지 데이터를 처리하는 프로세서(예컨대, 애플리케이션 프로세서(application processor)), 이미지 데이터를 저장하는 메모리(예컨대, 비휘발성 메모리) 또는 이미지 데이터를 시각적으로 출력하는 디스플레이 장치(예컨대, LCD(liquid crystal display))일 수 있다.

도 5a 내지 도 5d 각각은 광 투과율의 차이로 고감도 픽셀과 저감도 픽셀을 구현하는 실시예를 나타낸다.

도 5a를 참조하면, 서로 인접하게 배치된 고감도 픽셀(HPX)과 저감도 픽셀(LPX)의 일 예가 도시되어 있다.

고감도 픽셀(HPX)과 저감도 픽셀(LPX)은 기판(510)과 적어도 일부가 오버랩되어 배치될 수 있고, 광전 변환 소자(520), 광학 필터(530), 마이크로 렌즈(540) 및 제1 광 차단 구조(550)를 포함할 수 있다.

기판(510)은 반도체 기판으로서, 예를 들어, P형 또는 N형 벌크(bulk) 기판, P형 벌크 기판에 P형 또는 N형 에피택셜층(epitaxial layer)이 성장된 기판, 또는 N형 벌크 기판에 P형 또는 N형 에피택셜층이 성장된 기판일 수 있다.

광전 변환 소자(520)는 기판(510) 내부에 형성될 수 있고, 마이크로 렌즈(540)와 광학 필터(530)를 통과한 입사광의 세기에 대응하는 광전하를 생성 및 축적할 수 있다.

광학 필터(530)는 투과 파장 대역의 광(예컨대, 레드(Red), 그린(Green), 블루(Blue), 마젠타(Magenta), 옐로우(Yellow), 사이언(Cyan), 적외선(infrared) 등)을 선택적으로 투과시킬 수 있다. 여기서, 투과 파장 대역은 해당 광학 필터가 선택적으로 투과시키려는 광에 대응하는 파장 대역을 의미할 수 있다. 예를 들어, 광학 필터(530)는 특정 컬러에 대응하는 유색의 감광성 물질을 포함하거나, 교번적으로 배치된 박막층들을 포함할 수 있다. 픽셀 어레이(110)에 포함된 광학 필터들은 복수 개의 로우들과 복수 개의 컬럼들을 포함하는 매트릭스로 배열된 픽셀들에 대응하여 배치됨으로써, 광학 필터 어레이를 구성할 수 있다.

마이크로 렌즈(540)는 광학 필터(530)의 상부에 형성될 수 있고, 입사광에 대한 집광력(light gathering power)을 높여 광전 변환 소자(520)의 수광 효율을 향상시킬 수 있다.

제1 광 차단 구조(550)는 저감도 픽셀(LPX)에서 광학 필터(530)를 통과한 입사광의 일부를 차단하여 광전 변환 소자(520)로 전달되지 않도록 기판(510)의 일 면과 광학 필터(530)의 사이에 배치될 수 있다. 제1 광 차단 구조(550)는 광 반사율이 높은 물질(예컨대, 은, 알루미늄), 광 흡수율이 높은 물질(예컨대, 텅스텐) 중 적어도 하나를 포함할 수 있다.

저감도 픽셀(LPX)의 전체 면적은 제1 광 차단 구조(550)가 배치되지 않은 영역의 개구 면적과, 제1 광 차단 구조(550)가 배치된 영역의 차단 면적의 합으로 정의될 수 있다. 저감도 픽셀(LPX)의 광 투과율은 차단 면적과 개구 면적 간의 비율에 따라 결정될 수 있다.

제1 광 차단 구조(550)를 포함하지 않는 고감도 픽셀(HPX)의 광 투과율은 제1 광 차단 구조(550)를 포함하는 저감도 픽셀(LPX)의 광 투과율보다 높을 수 있다.

즉, 동일한 세기의 입사광이 고감도 픽셀(HPX)과 저감도 픽셀(LPX)로 입사되면, 저감도 픽셀(LPX)의 광전 변환 소자(520)로 전달되는 광의 세기는 고감도 픽셀(HPX)의 광전 변환 소자(520)로 전달되는 광의 세기보다 작을 수 있다.

또한, 저감도 픽셀(LPX)의 광전 변환 소자(520)로 전달되는 광의 세기는 입사광의 세기의 증가에 대응하여 상대적으로 낮은 기울기로 증가하게 되고, 고감도 픽셀(HPX)의 광전 변환 소자(520)로 전달되는 광의 세기는 입사광의 세기의 증가에 대응하여 상대적으로 높은 기울기로 증가하게 된다.

저감도 픽셀(LPX)의 광전 변환 소자(520)로 전달되는 광의 세기와 고감도 픽셀(HPX)의 광전 변환 소자(520)로 전달되는 광의 세기는 각각 픽셀 신호로 변환되므로, 저감도 픽셀(LPX)의 응답은 도 4에 도시된 저감도 픽셀의 응답을 따르게 되고, 고감도 픽셀(HPX)의 응답은 도 4에 도시된 고감도 픽셀의 응답을 따르게 된다.

도 5a에서는 제1 광 차단 구조(550)가 저감도 픽셀(LPX)의 가장자리에 배치되는 형태로 예시되었으나, 본 발명의 범위는 이에 한하지 않으며, 제1 광 차단 구조(550)는 저감도 픽셀(LPX)의 일부 영역에 해당하는 임의의 위치에 배치될 수 있다.

본 발명의 일 실시예에 따른 이미지 센싱 장치(100)에 의하면, 하나의 픽셀 어레이(110) 내에서 저감도 픽셀과 고감도 픽셀을 함께 구현할 수 있어 ISP(300)가 한 장의 이미지로 HDR 이미지를 생성할 수 있다.

도 5b를 참조하면, 서로 인접하게 배치된 고감도 픽셀(HPX)과 저감도 픽셀(LPX)의 다른 예가 도시되어 있다.

고감도 픽셀(HPX)과 저감도 픽셀(LPX)은 기판(510)과 적어도 일부가 오버랩되어 배치될 수 있고, 광전 변환 소자(520), 광학 필터(530), 마이크로 렌즈(540) 및 제2 광 차단 구조(560)를 포함할 수 있다.

기판(510), 광전 변환 소자(520), 광학 필터(530) 및 마이크로 렌즈(540)는 도 5a에서 설명된 바와 실질적으로 동일한 바, 중복된 설명은 생략하기로 한다.

제2 광 차단 구조(560)는 도 5a의 제1 광 차단 구조(550)와는 달리, 기판(510)의 일 면과 광학 필터(530)의 사이에서 저감도 픽셀(LPX)의 전체 영역에 걸쳐 배치될 수 있다. 또한 제2 광 차단 구조(560)는 광학 필터(530)를 통과한 입사광의 적어도 일부가 광전 변환 소자(520)로 전달되지 않도록 소정의 두께를 가질 수 있다. 제2 광 차단 구조(560)의 두께는 제1 광 차단 구조(550)의 두께에 비해 얇을 수 있다.

제2 광 차단 구조(560)는 광 반사율이 높은 물질(예컨대, 은, 알루미늄), 광 흡수율이 높은 물질(예컨대, 텅스텐) 중 적어도 하나를 포함할 수 있다.

제2 광 차단 구조(560)를 포함하지 않는 고감도 픽셀(HPX)의 광 투과율은 제2 광 차단 구조(560)를 포함하는 저감도 픽셀(LPX)의 광 투과율보다 높을 수 있다.

도 5c를 참조하면, 서로 인접하게 배치된 고감도 픽셀(HPX)과 저감도 픽셀(LPX)의 또 다른 예가 도시되어 있다.

고감도 픽셀(HPX)과 저감도 픽셀(LPX)은 기판(510)과 적어도 일부가 오버랩되어 배치될 수 있고, 광전 변환 소자(520), 광학 필터(530), 마이크로 렌즈(540) 및 제3 광 차단 구조(570)를 포함할 수 있다.

제3 광 차단 구조(570)는 광학 필터(530)와 마이크로 렌즈(540) 사이에 배치되고, 저감도 픽셀(LPX)의 전체 영역에 걸쳐 배치될 수 있다. 예를 들어, 제3 광 차단 구조(570)는 광의 색상과 무관하게 전체 파장 대역에서 적어도 일부의 광을 차단하는 ND(neutral density) 필터일 수 있다.

제3 광 차단 구조(570)를 포함하지 않는 고감도 픽셀(HPX)의 광 투과율은 제3 광 차단 구조(570)를 포함하는 저감도 픽셀(LPX)의 광 투과율보다 높을 수 있다.

도 5d를 참조하면, 서로 인접하게 배치된 고감도 픽셀(HPX)과 저감도 픽셀(LPX)의 또 다른 예가 도시되어 있다.

고감도 픽셀(HPX)과 저감도 픽셀(LPX)은 기판(510)과 적어도 일부가 오버랩되어 배치될 수 있고, 광전 변환 소자(520), 광학 필터(530, 530') 및 마이크로 렌즈(540)를 포함할 수 있다. 즉, 도 5d에 도시된 저감도 픽셀(LPX)은 별도의 광 차단 구조를 포함하지 않을 수 있다.

저감도 픽셀(LPX)에 포함된 광학 필터(530')는 고감도 픽셀(HPX)에 포함된 광학 필터(530)에 비해 광 투과율이 낮을 수 있다. 광학 필터(530, 530')는 특정 컬러에 대응하는 유색의 감광성 물질을 포함하거나, 교번적으로 배치된 박막층들을 포함할 수 있는데, 광학 필터(530')는 광학 필터(530)에 비해 감광성 물질의 농도가 더 높거나, 박막층들의 개수가 더 많을 수 있다.

따라서, 광학 필터(530)를 포함하는 고감도 픽셀(HPX)의 광 투과율은 광학 필터(530')를 포함하는 저감도 픽셀(LPX)의 광 투과율보다 높을 수 있다.

도 5a 내지 도 5d에서는 고감도 픽셀(HPX)과 저감도 픽셀(LPX)을 구현할 수 있는 실시예들에 대해 설명하였으나, 본 발명의 범위는 이에 한정되지 않고 광 투과율을 조절할 수 있는 임의의 구조를 이용해 고감도 픽셀(HPX)과 저감도 픽셀(LPX)이 구현될 수 있다.

또한, 고감도 픽셀(HPX)과 저감도 픽셀(LPX)의 구조는 미리 정해진 감도차(예컨대, 16배)에 해당하는 광 투과율 차이를 가질 수 있도록 설계될 수 있다.

도 6a 및 도 6b는 회로 구조의 차이로 고감도 픽셀과 저감도 픽셀을 구현하는 실시예를 나타낸다.

도 6a를 참조하면, 고감도 픽셀(HPX)의 등가 회로의 일 예가 도시되어 있다.

고감도 픽셀(HPX)은 제1 광전 변환 소자(PD1), 제1 전송 트랜지스터(TX1), 제1 리셋 트랜지스터(RX1), 제1 플로팅 디퓨전 영역(FD1), 제1 드라이브 트랜지스터(DX1) 및 제1 선택 트랜지스터(SX1)를 포함할 수 있다. 즉, 고감도 픽셀(HPX)은 4TR 픽셀의 구조를 가질 수 있다.

제1 광전 변환 소자(PD1)는 입사광의 세기에 대응하는 광전하를 생성 및 축적할 수 있다. 예를 들어, 광전 변환 소자(PD1)는 포토 다이오드, 포토 트랜지스터, 포토 게이트, 핀형(pinned) 포토 다이오드 또는 이들의 조합으로 구현될 수 있다.

제1 광전 변환 소자(PD1)가 포토 다이오드로 구현되는 경우, 제1 도전형(예컨대, P형)을 갖는 기판 내에 제2 도전형(예컨대, N형)의 불순물로 도핑된 영역일 수 있다.

제1 전송 트랜지스터(TX1)는 제1 광전 변환 소자(PD1)와 제1 플로팅 디퓨전 영역(FD1) 사이에 연결될 수 있다. 제1 전송 트랜지스터(TX1)는 제1 전송 제어 신호(TG1)에 응답하여 턴온 또는 턴오프될 수 있으며, 턴온된 제1 전송 트랜지스터(TX)는 제1 광전 변환 소자(PD1)에 축적된 광전하를 제1 플로팅 디퓨전 영역(FD1)으로 전달할 수 있다.

제1 리셋 트랜지스터(RX1)는 전원 전압(VDD)과 제1 플로팅 디퓨전 영역(FD1) 사이에 연결되고, 제1 리셋 제어 신호(RG1)에 응답하여 제1 플로팅 디퓨전 영역(FD1)의 전압을 전원 전압(VDD)으로 리셋시킬 수 있다.

제1 플로팅 디퓨전 영역(FD1)은 제1 전송 트랜지스터(TX1)로부터 전달되는 광전하를 축적할 수 있다. 예를 들어, 제1 플로팅 디퓨전 영역(FD1)은 제1 도전형(예컨대, P형)을 갖는 기판 내에 제2 도전형(예컨대, N형)의 불순물로 도핑된 영역일 수 있고, 기판과 불순물 도핑 영역은 정션 캐패시터로 모델링될 수 있다.

제1 드라이브 트랜지스터(DX1)는 전원 전압(VDD)과 제1 선택 트랜지스터(SX1) 사이에 연결되고, 제1 광전 변환 소자(PD1)에 축적된 광전하를 전달받은 제1 플로팅 디퓨전 영역(FD1)의 전기적 포텐셜의 변화를 증폭하여 제1 선택 트랜지스터(SX1)로 전달할 수 있다.

제1 선택 트랜지스터(SX1)는 제1 드라이브 트랜지스터(DX1)와 출력 신호 라인 사이에 연결되고, 제1 선택 제어 신호(SEL1)에 의해 턴온되어 제1 드라이브 트랜지스터(DX1)로부터 전달되는 전기적 신호를 제1 픽셀 신호(PS1)로서 출력할 수 있다.

도 6b를 참조하면, 저감도 픽셀(LPX)의 등가 회로의 일 예가 도시되어 있다.

저감도 픽셀(LPX)은 제2 광전 변환 소자(PD2), 제2 리셋 트랜지스터(RX2), 제2 플로팅 디퓨전 영역(FD2), 제2 드라이브 트랜지스터(DX2) 및 제2 선택 트랜지스터(SX2)를 포함할 수 있다. 즉, 저감도 픽셀(LPX)은 3TR 픽셀의 구조를 가질 수 있다.

제2 광전 변환 소자(PD2), 제2 리셋 트랜지스터(RX2), 제2 플로팅 디퓨전 영역(FD2), 제2 드라이브 트랜지스터(DX2) 및 제2 선택 트랜지스터(SX2) 각각의 기본적인 구조 및 기능은 앞서 설명된 제1 광전 변환 소자(PD1), 제1 리셋 트랜지스터(RX1), 제1 플로팅 디퓨전 영역(FD1), 제1 드라이브 트랜지스터(DX1) 및 제1 선택 트랜지스터(SX1)과 유사하므로 중복되는 설명은 생략하고, 차이점을 중심으로 설명하기로 한다.

저감도 픽셀(LPX)은 별도의 전송 트랜지스터를 포함하지 않고, 제2 광전 변환 소자(PD2)가 제2 리셋 트랜지스터(RX2)의 소스 및 제2 드라이브 트랜지스터(DX2)의 게이트에 직접 연결될 수 있다.

또한, 제2 리셋 트랜지스터(RX2)의 게이트는 전원 전압(VDD)에 연결될 수 있고, 제2 리셋 트랜지스터(RX2)는 선형(triode) 영역에서 동작할 수 있다. 즉, 제2 광전 변환 소자(PD2)에서 입사광의 세기에 대응하는 광전하가 생성 및 축적됨에 따라 광전하의 양에 비례하여 제2 플로팅 디퓨전 영역(FD2)의 전압이 감소될 수 있다. 이에 따라, 제2 리셋 트랜지스터(RX2)와 제2 광전 변환 소자(PD2)에는 제2 플로팅 디퓨전 영역(FD2)의 전압 강하에 비례하는 전류가 흐를 수 있고, 제2 드라이브 트랜지스터(DX2) 및 제2 선택 트랜지스터(SX)를 통해 전류의 크기에 대응하는 제2 픽셀 신호(PS2)가 출력될 수 있다.

위와 같이 제2 광전 변환 소자(PD2)에서 생성된 광전하의 양에 대응하는 전류를 생성하는 제2 리셋 트랜지스터(RX2)의 동작은 대수(對數) 동작(logarithmic operation)으로 정의될 수 있다. 이러한 대수 동작으로 인해, 고감도 픽셀(HPX)에서 제1 광전 변환 소자(PD1) 또는 제1 플로팅 디퓨전 영역(FD1)에서 포화가 발생할 만한 입사광의 세기에서도, 저감도 픽셀(LPX)은 입사광의 세기에 대응하는 유효한 제2 픽셀 신호(PS2)를 생성할 수 있다. 제2 리셋 트랜지스터(RX2)는 대수 트랜지스터로 호칭될 수 있다.

일 실시예에 따라, 저감도 픽셀(LPX)은 기준 신호를 생성하지 않을 수 있고, 이에 대응하여 저감도 픽셀(LPX)이 생성하는 제2 픽셀 신호(PS2)에 대한 상관 이중 샘플링 동작은 생략될 수 있다.

도 6a 및 도 6b에서 설명된 고감도 픽셀(HPX)과 저감도 픽셀(LPX)은 엄밀하게는 두 픽셀 간의 감도 차이를 설정하는 것이 아니므로, 각각에 대해 일반 픽셀(normal pixel)과 HDR 이미지 생성을 위한 HDR 픽셀이 보다 적절한 용어일 수 있다. 그러나, 본 개시에서는 설명의 편의상 도 6a 및 도 6b에서 설명된 픽셀들도 도 5a 내지 도 5d의 고감도 픽셀(HPX)과 저감도 픽셀(LPX)과 유사한 응답을 생성한다는 의미에서 고감도 픽셀(HPX)과 저감도 픽셀(LPX)의 개념에 포함되는 것으로 설명되었음에 유의하여야 한다.

또한, 도 6a 및 도 6b에서 설명된 실시예는 도 5a 내지 도 5d에서 설명된 실시예들과 배타적이지 않고, 서로 조합될 수도 있다. 예를 들어, 도 5a의 단면 구조를 갖는 고감도 픽셀(HPX)과 저감도 픽셀(LPX)은 각각 도 6a 및 도 6b에서 설명된 회로 구조를 가질 수 있다.

도 7은 저감도 그린 픽셀, 저감도 레드 픽셀 및 저감도 블루 픽셀 각각에 대한 조도에 따른 응답을 나타낸 도면이다.

도 7을 참조하면, 저감도 그린 픽셀(GP_L), 저감도 레드 픽셀(RP_L) 및 저감도 블루 픽셀(BP_L)에 대해, 해당 픽셀로 입사되는 입사광의 세기에 따른 저감도 그린 픽셀(GP_L), 저감도 레드 픽셀(RP_L) 및 저감도 블루 픽셀(BP_L) 각각의 응답이 도시되어 있다.

저감도 그린 픽셀(GP_L), 저감도 레드 픽셀(RP_L) 및 저감도 블루 픽셀(BP_L) 각각은 그린 컬러 필터, 레드 컬러 필터 및 블루 컬러 필터를 포함하는데, 각 컬러 필터의 특성상 저감도 그린 픽셀(GP_L)의 감도가 저감도 레드 픽셀(RP_L) 또는 저감도 블루 픽셀(BP_L)의 감도보다 높을 수 있다(약 2배). 여기서, 저감도 레드 픽셀(RP_L) 및 저감도 블루 픽셀(BP_L) 각각의 감도는 실질적으로 동일하다고 가정하기로 한다.

도 7에서도 확인할 수 있듯이, 저감도 그린 픽셀(GP_L)의 응답은 입사광의 세기의 증가에 대응하여 상대적으로 높은 기울기로 증가하여 포화되고, 저감도 레드 픽셀(RP_L) 및 저감도 블루 픽셀(BP_L) 각각의 응답은 입사광의 세기의 증가에 대응하여 상대적으로 낮은 기울기로 증가하여 포화될 수 있다.

저감도 그린 픽셀(GP_L)과, 저감도 레드 픽셀(RP_L) 또는 저감도 블루 픽셀(BP_L) 간의 감도 차이 및 응답 차이는, 색상 별로 동일한 세기의 입사광에 대한 응답이 달라지는 문제를 발생시킬 수 있으며, 특히 저감도 픽셀을 이용해 HDR 이미지를 생성해야 하는 고조도 조건에서 HDR 이미지에 노이즈를 유발할 수 있다.

따라서, 저감도 그린 픽셀(GP_L)과, 저감도 레드 픽셀(RP_L) 또는 저감도 블루 픽셀(BP_L)의 응답을 서로 동일하게 할 필요가 있다. 이를 위해 저감도 그린 픽셀(GP_L)의 감도는 저감도 레드 픽셀(RP_L) 또는 저감도 블루 픽셀(BP_L)의 감도에 비해 낮게 설계될 수 있다. 예를 들어, 저감도 그린 픽셀(GP_L), 저감도 레드 픽셀(RP_L) 및 저감도 블루 픽셀(BP_L) 각각이 도 5a에 도시된 저감도 픽셀(LPX)의 구조를 가질 경우, 저감도 그린 픽셀(GP_L)의 개구 면적은 저감도 레드 픽셀(RP_L) 또는 저감도 블루 픽셀(BP_L)의 개구 면적보다 작을 수 있다.

도 8은 이미지 센싱 장치가 생성한 하나의 프레임의 일 예를 나타낸 도면이다.

도 8을 참조하면, 픽셀 어레이(110)의 복수의 픽셀들은 하나의 장면(scene)을 동시에 감지할 수 있고, 이미지 센싱 장치(100)는 하나의 장면을 감지한 픽셀 데이터의 집합을 라인 메모리(200)를 통해 ISP(300)로 제공할 수 있다. 하나의 장면을 감지한 픽셀 데이터의 집합은 도 8에 도시된 프레임(FR)으로 정의될 수 있다.

ISP(300)의 이미지 합성부(320)는 프레임(FR)에 포함된 고감도 픽셀의 픽셀 데이터에 기초하여 고휘도 영역을 결정할 수 있다.

고휘도 영역은 단위 픽셀 그룹 당 포화된 픽셀 데이터를 갖는 고감도 픽셀의 비율이 미리 정해진 비율(예컨대, 90%)을 초과하는 영역을 의미할 수 있다. 예를 들어, 단위 픽셀 그룹은 도 3에 도시된 64개의 픽셀들일 수 있으나, 본 발명의 범위는 이에 한정되지 않는다.

제1 고휘도 영역(S1)과 제2 고휘도 영역(S2)에서 단위 픽셀 그룹 당 포화된 픽셀 데이터를 갖는 고감도 픽셀의 비율이 미리 정해진 비율을 초과한다고 가정할 경우, 이미지 합성부(320)는 제1 고휘도 영역(S1)과 제2 고휘도 영역(S2)을 고휘도 영역으로 결정할 수 있다.

반대로, 제1 고휘도 영역(S1)과 제2 고휘도 영역(S2) 이외의 영역에서 단위 픽셀 그룹 당 포화된 픽셀 데이터를 갖는 고감도 픽셀의 비율이 미리 정해진 비율의 이하라고 가정할 경우, 이미지 합성부(320)는 제1 고휘도 영역(S1)과 제2 고휘도 영역(S2) 이외의 영역을 저휘도 영역으로 결정할 수 있다.

또한, 프레임(FR)의 좌측으로부터 우측으로 갈수록 전체적인 휘도가 점진적으로 증가한다고 가정하기로 한다. 예를 들어, 전체적인 휘도가 증가한다는 것은 고감도 픽셀의 픽셀 데이터의 평균 값이 증가하는 것을 의미할 수 있다.

도 8과 같이, 하나의 프레임(FR)에 적어도 하나의 고휘도 영역(S1, S2)이 존재할 경우, 이미지 합성부(320)는 적어도 하나의 고휘도 영역(S1, S2)에서는 저감도 픽셀들의 픽셀 데이터를 이용하고, 적어도 하나의 고휘도 영역(S1, S2) 이외의 영역(즉, 저휘도 영역)에서는 고감도 픽셀들의 픽셀 데이터를 이용하여 HDR 이미지를 생성할 수 있다.

구체적으로, 적어도 하나의 고휘도 영역(S1, S2)에서는 대부분의 고감도 픽셀들이 포화된 상태이기 때문에, 이미지 합성부(320)는 저감도 픽셀들의 픽셀 데이터에 고감도 픽셀과 저감도 픽셀 간의 감도 차이(예컨대, 16배)에 따른 게인(예컨대, 16)을 연산한 값, 및 이를 보간 처리한 값을 적어도 하나의 고휘도 영역(S1, S2)에 대한 HDR 이미지로 결정할 수 있다. 적어도 하나의 고휘도 영역(S1, S2)에서, 저감도 픽셀의 비율은 고감도 픽셀의 비율에 비해 낮으므로 저감도 픽셀에 의해 캡쳐된 이미지는 해상도가 낮긴 하나, 대부분의 고감도 픽셀들이 포화된 상태(이미지 정보가 거의 없는 상태)이기 때문에 저감도 픽셀들의 픽셀 데이터를 이용하여 HDR 이미지를 생성하는 것이 보다 유리할 수 있다.

또한, 적어도 하나의 고휘도 영역(S1, S2) 이외의 영역(즉, 저휘도 영역)에서는 대부분의 고감도 픽셀들이 포화 되지는 않은 상태이기 때문에, 이미지 합성부(320)는 고감도 픽셀들의 픽셀 데이터 및 이를 보간 처리 한 값을 적어도 하나의 고휘도 영역(S1, S2) 이외의 영역(즉, 저휘도 영역)에 대한 HDR 이미지로 결정할 수 있다.

도 9는 고감도 픽셀과 저감도 픽셀에 대해 픽셀 데이터와 노이즈를 서로 비교한 그래프이다.

도 9를 참조하면, 도 9의 상측에는 입사광의 세기(또는 조도)에 따른 고감도 픽셀의 픽셀 데이터(HPX pixel data)와 저감도 픽셀의 픽셀 데이터(LPX pixel data)가 도시되어 있다.

여기서, 고감도 픽셀과 저감도 픽셀 간의 감도 차이는 16배라고 가정하기로 하고, 이에 따라 HDR 이미지 생성시 저감도 픽셀의 픽셀 데이터에는 16의 게인이 곱해질 수 있다. 도 9의 상측에 도시된 바와 같이, 저감도 픽셀의 픽셀 데이터에 게인이 곱해진 게인 제어된 저감도 픽셀의 픽셀 데이터(LPX pixel data(gain controlled))는 저감도 픽셀의 픽셀 데이터가 Y축 방향으로 16배로 확대된 형태를 가질 수 있다.

고감도 픽셀과 저감도 픽셀이 포화되는 픽셀 데이터가 1024라고 가정하면, 입사광의 세기가 증가하여 고감도 픽셀이 포화되더라도(saturation of HPX), 게인 제어된 저감도 픽셀의 픽셀 데이터에 의해 동적 범위가 16384에 해당하는 픽셀 데이터에 대응하는 입사광의 세기까지 확대될 수 있다.

HDR 이미지 생성시, 고감도 픽셀이 포화되는 입사광의 세기보다 낮은 조도 조건에서는 신호 대 잡음비(signal to noise ratio; SNR)가 높은 고감도 픽셀의 픽셀 데이터를 이용하고, 고감도 픽셀이 포화되는 입사광의 세기보다 높은 조도 조건에서는 포화된 고감도 픽셀 대신 저감도 픽셀의 픽셀 데이터를 게인 제어하여 이용하는 것이 유리할 수 있다.

한편, 도 9의 하측에는 입사광의 세기에 따른 고감도 픽셀의 픽셀 데이터, 저감도 픽셀의 픽셀 데이터, 및 게인 제어된 저감도 픽셀의 픽셀 데이터 각각에 대한 노이즈 표준편차(standard deviation of noise)가 도시되어 있다. 노이즈 표준편차는 쇼트 노이즈(shot noise)의 세기를 의미할 수 있다. 각 픽셀 데이터에는 입사광을 구성하는 광자의 랜덤 특성으로 인한 쇼트 노이즈가 포함될 수 있다. 쇼트 노이즈는 광자에 기인하므로, 입사광이 증가할수록 증가될 수 있다.

따라서, 고감도 픽셀의 픽셀 데이터에 대한 노이즈 표준편차와, 저감도 픽셀의 픽셀 데이터에 대한 노이즈 표준편차는 각 픽셀이 포화될때까지(포화된 상태에서는 광자의 유입이 없으므로 노이즈 표준편차가 무의미함) 입사광의 세기가 증가함에 따라 증가할 수 있다.

또한, 동일한 입사광의 세기에서, 상대적으로 감도가 높은 고감도 픽셀의 픽셀 데이터에 대한 노이즈 표준편차는 상대적으로 감도가 낮은 저감도 픽셀의 픽셀 데이터에 대한 노이즈 표준편차보다 클 수 있다. 한편, 게인 제어된 저감도 픽셀의 픽셀 데이터는 저감도 픽셀의 픽셀 데이터를 일정 게인(예컨대, 16배)만큼 곱한 값이므로, 노이즈 표준편차 역시 저감도 픽셀의 픽셀 데이터에 비해 일정 게인(예컨대, 16배)만큼 증가될 수 있다.

앞서 설명된 바와 같이, 고감도 픽셀이 포화되는 입사광의 세기보다 낮은 조도 조건에서는 고감도 픽셀의 픽셀 데이터를 이용해 HDR 이미지를 생성하고, 고감도 픽셀이 포화되는 입사광의 세기보다 높은 조도 조건에서는 게인 제어된 저감도 픽셀의 픽셀 데이터를 이용해 HDR 이미지를 생성하게 되면, 고감도 픽셀이 포화되는 입사광의 세기를 기준으로 쇼트 노이즈의 급격한 차이가 발생하게 된다.

만일 하나의 프레임(FR)에서 일부 영역에서는 고감도 픽셀의 픽셀 데이터를 이용해 HDR 이미지를 생성하고, 다른 인접한 영역에서는 저감도 픽셀의 픽셀 데이터를 이용해 HDR 이미지를 생성하게 되면, 두 영역 간의 경계 부근에서는 쇼트 노이즈의 급격한 차이로 인해 화질 열화가 발생할 수 있다.

도 10은 합성 가중치의 설정 방법의 일 예를 설명하기 위한 도면이다.

도 10을 참조하면, 도 8과 같이 프레임(FR)의 좌측으로부터 우측으로 갈수록 전체적인 휘도가 점진적으로 증가하는 경우, 이미지 합성부(320)는 프레임(FR)의 우측 끝단의 일부 영역을 제1 과도 영역(TZ1; first transition zone)으로 결정할 수 있다. 제1 과도 영역(TZ1)에서는 단위 픽셀 그룹 당 포화된 픽셀 데이터를 갖는 고감도 픽셀의 비율이 미리 정해진 비율을 초과하지는 않으나 최소 비율(예컨대, 70%) 이상이고, 전체적인 휘도가 증가하는 방향성(예컨대, 좌측->우측)이 나타날 수 있다.

제1 과도 영역(TZ1)에서, 이미지 합성부(320)는 저감도 픽셀들의 픽셀 데이터와 고감도 픽셀들의 픽셀 데이터를 제1 합성 가중치로 조합하여 HDR 이미지를 생성할 수 있다. 제1 합성 가중치는 0이상 1이하의 범위를 갖는 값이고, 고감도 픽셀들의 픽셀 데이터에 부여되는 가중치를 의미할 수 있다.

구체적으로, 제1 과도 영역(TZ1)에서, 이미지 합성부(320)는 고감도 픽셀의 픽셀 데이터를 보간 처리한 값에 제1 합성 가중치를 곱한 값과, 저감도 픽셀의 픽셀 데이터에 게인을 연산한 값에 (1-제1 합성 가중치)를 곱한 값을 합산한 값을, 저감도 픽셀에 대한 HDR 이미지로 결정할 수 있다. 또한, 이미지 합성부(320)는 고감도 픽셀의 픽셀 데이터에 제1 합성 가중치를 곱한 값과, 저감도 픽셀의 픽셀 데이터에 게인을 연산한 값을 보간 처리한 값에 (1-제1 합성 가중치)를 곱한 값을 합산한 값을, 고감도 픽셀에 대한 HDR 이미지로 결정할 수 있다.

일 실시예에 따라, 제1 과도 영역(TZ1) 내에서 제1 합성 가중치는 점진적으로 가변될 수 있다. 예를 들어, 제1 과도 영역(TZ1)의 좌측 끝단에서는 제1 합성 가중치는 1이고, 우측으로 갈수록 제1 합성 가중치는 점진적으로 감소되어 제1 과도 영역(TZ1)의 우측 끝단에서 제1 합성 가중치는 0.1이 될 수 있다.

이러한 합성 가중치의 설정 방법에 의하면, 포화된 고감도 픽셀의 비율이 상대적으로 높은 영역에서 저감도 픽셀의 픽셀 데이터를 일부 반영함으로써, 동적 범위가 확대된 HDR 이미지를 획득할 수 있다. 또한, 제1 합성 가중치를 평균적인 휘도에 따라 가변함으로써 동적 범위와 SNR이 최적화된 HDR 이미지를 획득할 수 있다.

도 11은 합성 가중치의 설정 방법의 다른 예를 설명하기 위한 도면이다.

도 11을 참조하면, 도 8과 같이 프레임(FR)에 제1 고휘도 영역(S1)과 제2 고휘도 영역(S2)이 포함된 경우, 이미지 합성부(320)는 저휘도 영역과 제1 고휘도 영역(S1) 간의 경계에 인접한 저휘도 영역(또는 제1 고휘도 영역(S1)을 둘러싸는 영역)을 제2 과도 영역(TZ2; second transition zone)으로, 저휘도 영역과 제2 고휘도 영역(S2) 간의 경계에 인접한 저휘도 영역(또는 제2 고휘도 영역(S2)을 둘러싸는 영역)을 제3 과도 영역(TZ3; third transition zone)으로 결정할 수 있다.

앞서 설명된 바와 같이, 하나의 프레임(FR)에 적어도 하나의 고휘도 영역(S1, S2)이 존재할 경우, 이미지 합성부(320)는 적어도 하나의 고휘도 영역(S1, S2)에서는 저감도 픽셀들의 픽셀 데이터를 이용하고, 적어도 하나의 고휘도 영역(S1, S2) 이외의 영역(또는 저휘도 영역)에서는 고감도 픽셀들의 픽셀 데이터를 이용하여 HDR 이미지를 생성하게 되는데, 저감도 픽셀들의 픽셀 데이터와 고감도 픽셀들의 픽셀 데이터 간에는 매우 큰 쇼트 노이즈의 차이가 존재할 수 있다.

따라서, 이미지 합성부(320)는 제1 고휘도 영역(S1)을 둘러싸는 영역을 제2 과도 영역(TZ2)으로 설정하고, 제2 과도 영역(TZ2)에서 이미지 합성부(320)는 저감도 픽셀들의 픽셀 데이터와 고감도 픽셀들의 픽셀 데이터를 제2 합성 가중치로 조합하여 HDR 이미지를 생성할 수 있다. 제2 합성 가중치는 0이상 1이하의 범위를 갖는 값이고, 고감도 픽셀들의 픽셀 데이터에 부여되는 가중치를 의미할 수 있다.

또한, 이미지 합성부(320)는 제2 고휘도 영역(S2)을 둘러싸는 영역을 제3 과도 영역(TZ3)으로 설정하고, 제3 과도 영역(TZ2)에서 이미지 합성부(320)는 저감도 픽셀들의 픽셀 데이터와 고감도 픽셀들의 픽셀 데이터를 제3 합성 가중치로 조합하여 HDR 이미지를 생성할 수 있다. 제3 합성 가중치는 0이상 1이하의 범위를 갖는 값이고, 고감도 픽셀들의 픽셀 데이터에 부여되는 가중치를 의미할 수 있다.

제2 합성 가중치 또는 제3 합성 가중치로 조합하여 HDR 이미지를 생성하는 방법은, 도 10에서 설명된 제1 합성 가중치로 조합하여 HDR 이미지를 생성하는 방법과 실질적으로 동일한 바, 중복된 설명은 생략하기로 한다.

일 실시예에 따라, 제2 과도 영역(TZ2) 또는 제3 과도 영역(TZ3) 내에서 제2 합성 가중치 또는 제3 합성 가중치는 점진적으로 가변될 수 있다. 예를 들어, 제2 과도 영역(TZ2)의 외측 끝단(즉, 제1 고휘도 영역(S1)과 저휘도 영역 간의 경계에서 가장 먼 위치)에서는 제2 합성 가중치는 1이고, 내측으로 갈수록 제2 합성 가중치는 점진적으로 감소되어 제2 과도 영역(TZ2)의 내측 끝단(즉, 제1 고휘도 영역(S1)과 저휘도 영역 간의 경계)에서 제2 합성 가중치는 0이 될 수 있다. 또한, 제3 과도 영역(TZ3)의 외측 끝단에서는 제3 합성 가중치는 1이고, 내측으로 갈수록 제3 합성 가중치는 점진적으로 감소되어 제3 과도 영역(TZ3)의 내측 끝단에서 제3 합성 가중치는 0이 될 수 있다.

이러한 합성 가중치의 설정 방법에 의하면, 고휘도 영역과 그 외 영역 간의 경계 부근의 영역에서 저감도 픽셀의 픽셀 데이터와 저감도 픽셀의 픽셀 데이터를 특정 합성 가중치로 조합하고, 제2 및 제3 합성 가중치를 고휘도 영역과의 거리에 따라 가변함으로써, 노이즈 단차로 인한 화질 열화가 완화된 HDR 이미지를 획득할 수 있다.

일 실시예에 따라, 제2 과도 영역(TZ2)의 제1 폭(W1)과 제3 과도 영역(TZ3)의 제2 폭(W2)은 제1 고휘도 영역(S1)과 제2 고휘도 영역(S2) 각각에 인접한 고감도 픽셀들의 픽셀 데이터의 평균 값에 의해 결정될 수 있다. 여기서, 제1 고휘도 영역(S1)과 제2 고휘도 영역(S2) 각각에 인접한 고감도 픽셀들은 제1 고휘도 영역(S1)과 제2 고휘도 영역(S2) 각각으로부터 소정의 거리 이내에 포함되는 고감도 픽셀들을 의미할 수 있다. 제2 과도 영역(TZ2)의 제1 폭(W1)과 제3 과도 영역(TZ3)의 제2 폭(W2) 각각은 해당 고감도 픽셀들의 픽셀 데이터의 평균 값이 낮을수록 작을 수 있고, 해당 고감도 픽셀들의 픽셀 데이터의 평균 값이 높을수록 클 수 있다. 이는 제1 고휘도 영역(S1) 및 제2 고휘도 영역(S2) 각각과, 인접 영역 간의 휘도 차이가 상대적으로 크면, 쇼트 노이즈의 차이로 인한 위화감이 상대적으로 작을 수 있기 때문이다. 예를 들어, 도 11에서 제2 과도 영역(TZ2)의 제1 폭(W1)은 제3 과도 영역(TZ3)의 제2 폭(W2)보다 작을 수 있다.

도 12는 합성 가중치의 설정 방법의 또 다른 예를 설명하기 위한 도면이다.

도 12를 참조하면, 도 8과 같이 프레임(FR)에 제1 고휘도 영역(S1)과 제2 고휘도 영역(S2)이 포함된 경우, 이미지 합성부(320)는 제2 고휘도 영역(S2)을 둘러싸는 영역의 일부를 제4 과도 영역(TZ4; fourth transition zone)으로 결정할 수 있다.

즉, 이미지 합성부(320)는 제1 고휘도 영역(S1)을 둘러싸는 영역을 과도 영역으로 설정하지 않고, 제2 고휘도 영역(S2)을 둘러싸는 영역의 일부를 제4 과도 영역(TZ4)으로 설정하고, 제4 과도 영역(TZ4)에서 이미지 합성부(320)는 저감도 픽셀들의 픽셀 데이터와 고감도 픽셀들의 픽셀 데이터를 제4 합성 가중치로 조합하여 HDR 이미지를 생성할 수 있다. 제4 합성 가중치는 0이상 1이하의 범위를 갖는 값이고, 고감도 픽셀들의 픽셀 데이터에 부여되는 가중치를 의미할 수 있다.

제4 합성 가중치로 조합하여 HDR 이미지를 생성하는 방법은, 도 10에서 설명된 제1 합성 가중치로 조합하여 HDR 이미지를 생성하는 방법과 실질적으로 동일한 바, 중복된 설명은 생략하기로 한다.

일 실시예에 따라, 제4 과도 영역(TZ4) 내에서 제4 합성 가중치는 점진적으로 가변될 수 있다. 예를 들어, 제4 과도 영역(TZ4)의 외측 끝단에서는 제4 합성 가중치는 1이고, 내측으로 갈수록 제4 합성 가중치는 점진적으로 감소되어 제4 과도 영역(TZ4)의 내측 끝단에서 제4 합성 가중치는 0이 될 수 있다.

도 11과는 달리, 제1 고휘도 영역(S1)과 제2 고휘도 영역(S2)에 대해, 이미지 합성부(320)는 제2 고휘도 영역(S2)을 둘러싸는 영역의 일부만을 제4 과도 영역(TZ4)으로 결정할 수 있다.

즉, 이미지 합성부(320)는 제1 고휘도 영역(S1)과 제2 고휘도 영역(S2) 각각에 인접한 고감도 픽셀들의 픽셀 데이터의 평균 값이 소정의 임계치를 초과하는 영역에 대해서만 과도 영역을 설정할 수 있다. 도 12의 예시에서는 제1 고휘도 영역(S1)과 제2 고휘도 영역(S2) 각각에 인접한 고감도 픽셀들 중 제4 과도 영역(TZ4)에 해당하는 고감도 픽셀들의 픽셀 데이터의 평균 값이 소정의 임계치를 초과할 수 있다.

이와 같이 고휘도 영역의 주변 영역에서 특정 조건을 만족하는 영역에 대해서만 과도 영역을 설정하는 이유는, 제1 고휘도 영역(S1) 및 제2 고휘도 영역(S2) 각각과, 인접 영역 간의 휘도 차이가 상대적으로 크면, 쇼트 노이즈의 차이로 인한 위화감이 상대적으로 작으므로, 노이즈 단차를 완화하는 것보다 저감도 픽셀들의 픽셀 데이터와 고감도 픽셀들의 픽셀 데이터를 조합함에 의한 SNR 열화를 방지하는 것이 효과적일 수 있기 때문이다.

도 13은 고감도 픽셀과 저감도 픽셀의 배열의 일 예를 나타낸 도면이다.

도 13을 참조하면, 고감도 픽셀(HPX)과 저감도 픽셀(LPX)이 배치되는 일 예가 도시되어 있다. 즉, 3개의 고감도 픽셀(HPX)과 1개의 저감도 픽셀(LPX)이 2x2 매트릭스(단위 매트릭스)로 배열될 수 있다. 저감도 픽셀(LPX)은 2x2 매트릭스의 2번째 로우 및 2번째 컬럼에 해당하는 위치에 배치되는 것으로 예시되어 있으나, 다른 실시예에 따라 2x2 매트릭스의 임의의 위치에 배치될 수 있다. 또한, 고감도 픽셀(HPX)들과 저감도 픽셀(LPX)은 서로 동일한 종류의 광학 필터를 포함할 수 있다.

고감도 픽셀들(HPX)과 저감도 픽셀(LPX) 각각은 광전 변환 소자 및 전송 트랜지스터를 독립적으로 포함하되, 나머지 구성들은 4개의 픽셀들이 공유하는 공유 픽셀 구조로 구현될 수 있다. 즉, 고감도 픽셀들(HPX)과 저감도 픽셀(LPX)은 하나의 플로팅 디퓨전 영역(one FD)을 공유할 수 있다.

고감도 픽셀들(HPX)과 저감도 픽셀(LPX)로 구성된 공유 픽셀은 쿼드 모드(quad mode)와 비닝 모드(binning mode)로 동작할 수 있다. 여기서, 쿼드 모드는 공유 픽셀이 고감도 픽셀들(HPX)과 저감도 픽셀(LPX) 각각에서 생성된 광전하에 대응하는 픽셀 신호가 순차적으로 타이밍을 달리하여 출력되는 모드를 의미하고, 비닝 모드는 고감도 픽셀들(HPX)과 저감도 픽셀(LPX) 각각에서 생성된 광전하 전체에 대응하는 픽셀 신호가 1회 출력되는 모드를 의미할 수 있다. 비닝 모드는 쿼드 모드에 비해 해상도 면에서 불리할 수 있으나(해상도가 1/4로 감소), 고감도 픽셀들(HPX)과 저감도 픽셀(LPX) 각각에서 생성된 광전하 전체에 대응하는 픽셀 데이터를 직접 획득할 수 있어 별도의 이미지 합성 동작을 거치지 않고 HDR 이미지가 생성될 수 있다.

공유 픽셀이 쿼드 모드로 동작할 경우, ISP(300)는 저감도 픽셀(LPX)에서 생성된 광전하에 기초하여 독립적으로 생성된 픽셀 데이터에, 저감도 픽셀(LPX)과 고감도 픽셀(HPX) 간의 감도 차이에 대응하는 게인을 적용할 수 있다.

그러나, 공유 픽셀이 비닝 모드로 동작할 경우, 공유 픽셀의 픽셀 신호에는 저감도 픽셀(LPX)에서 생성된 광전하 뿐 아니라 고감도 픽셀들(HPX)에서 생성된 광전하에 대응하는 성분도 포함되는 바, ISP(300)는 저감도 픽셀(LPX)과 고감도 픽셀(HPX) 간의 감도 차이에 대응하는 게인을 공유 픽셀의 픽셀 데이터에 그대로 적용할 수 없다.

도 14는 입사광의 세기에 따른 공유 픽셀의 픽셀 데이터의 변화를 나타낸 그래프이다. 도 15는 공유 픽셀의 픽셀 데이터와 게인 제어된 픽셀 데이터를 비교한 그래프이다.

도 14를 참조하면, 도 13과 같이 3개의 고감도 픽셀들(HPX)과 1개의 저감도 픽셀(LPX)을 포함하고 비닝 모드로 동작하는 공유 픽셀의 픽셀 데이터가 입사광의 세기에 따라 변화되는 그래프가 도시되어 있다.

공유 픽셀의 픽셀 데이터는 입사광이 증가함에 따라 제1 기울기로 증가하다가, 고감도 픽셀들(HPX)이 포화되는 제1 조도(ST_HPX)에서 제1 값(A)을 가질 수 있다.

이후에는 저감도 픽셀(LPX) 만이 입사광의 세기에 대응하는 광전하를 생성할 수 있으며, 공유 픽셀의 픽셀 데이터는 입사광이 증가함에 따라 제1 기울기보다 작은 제2 기울기로 증가하다가, 저감도 픽셀(LPX)도 포화되는 제2 조도(ST_LPX)에서 제2 값(S)을 가질 수 있다.

저감도 픽셀(LPX)로 인해 동적 범위는 제2 조도(ST_LPX)까지 확대될 수 있으나, 픽셀 데이터가 입사광의 세기의 증가에 따라 제2 조도(ST_LPX)까지 제1 기울기로 제3 값(B)까지 증가할 수 있는 이상적인 픽셀(ideal pixel)과 비교할 때, 제1 조도(ST_HPX)와 제2 조도(ST_LPX) 사이의 구간에서 공유 픽셀의 픽셀 데이터는 입사광의 세기의 증가에 따라 제1 기울기가 아닌 제2 기울기로 제2 값(S)까지 증가하게 된다.

따라서, 공유 픽셀의 픽셀 데이터가 이상적인 픽셀의 픽셀 데이터에 상응하는 그래프를 나타내도록 하기 위해, 제1 조도(ST_HPX)와 제2 조도(ST_LPX) 사이의 구간에서 ISP(300)는 저감도 픽셀(LPX)과 고감도 픽셀(HPX) 간의 감도 차이를 반영한 게인을 공유 픽셀의 픽셀 데이터에 연산(예컨대, 곱셈 연산)할 수 있다.

일 실시예에 따라, ISP(300)는 0 이상 제1 값(A) 이하의 공유 픽셀의 픽셀 데이터에 대해서는 1의 게인을 적용하고, 제1 값(A)을 초과하고 제2 값(S) 이하의 공유 픽셀의 픽셀 데이터(X; X는 A를 초과하고 S 이하인 값)에 대해서는 공유 픽셀의 픽셀 데이터(X)로부터 제2 값(S)을 감산한 값에 저감도 픽셀(LPX)과 고감도 픽셀(HPX) 간의 감도 차이에 따른 게인(예컨대, 16)을 곱한 뒤, 제1 값(A)을 합산하여 게인 제어된 픽셀 데이터를 산출할 수 있다. 즉, 공유 픽셀의 게인 제어된 픽셀 데이터는 A+G*(X-A)(G는 HPX와 LPX의 감도 차이에 따른 게인, 예컨대 16)로 정의될 수 있다.

도 15를 참조하면, 공유 픽셀의 픽셀 데이터와 게인 제어된 픽셀 데이터를 비교한 그래프가 도시되어 있다.

앞서 설명한 예시에 따르면, ISP(300)는 0 이상 제1 값(A) 이하의 공유 픽셀의 픽셀 데이터에 대해서는 1의 게인을 적용하므로, 게인 제어된 픽셀 데이터는 0 이상 제1 값(A) 이하의 공유 픽셀의 픽셀 데이터에 대해 1의 기울기로 증가할 수 있다.

또한, ISP(300)는 제1 값(A)을 초과하고 제2 값(S) 이하의 공유 픽셀의 픽셀 데이터에 대해서는 16의 게인을 적용하므로, 게인 제어된 픽셀 데이터는 제1 값(A)을 초과하고 제2 값(S) 이하의 공유 픽셀의 픽셀 데이터에 대해 16의 기울기로 증가할 수 있다.

본 개시에 따른 ISP(300)는 비닝 모드로 동작하는 공유 픽셀의 픽셀 데이터에 적합한 게인을 적용하여 게인 제어된 픽셀 데이터를 생성함으로써, 이상적인 픽셀에 가까운 응답을 얻을 수 있다.

Claims

제1 동적 범위를 갖는 적어도 하나의 제1 픽셀, 및 제2 동적 범위를 갖는 적어도 하나의 제2 픽셀을 포함하는 이미지 센싱 장치; 및
상기 적어도 하나의 제1 픽셀의 픽셀 데이터 및 상기 적어도 하나의 제2 픽셀의 픽셀 데이터에 기초하여, 상기 제1 동적 범위 또는 상기 제2 동적 범위보다 큰 동적 범위에 해당하는 HDR(high dynamic range) 이미지를 생성하는 이미지 신호 프로세서를 포함하며,
상기 제1 동적 범위의 상한 값은 상기 제2 동적 범위의 상한 값보다 낮고,
상기 이미지 센싱 장치에 포함된 전체 픽셀에 대해, 상기 적어도 하나의 제1 픽셀의 비율은 상기 적어도 하나의 제2 픽셀의 비율보다 높은 촬영 장치.
제1항에 있어서,
상기 적어도 하나의 제2 픽셀의 각각은 레드, 블루 및 그린에 각각 대응하는 레드 컬러 필터, 블루 컬러 필터 및 그린 컬러 필터 중 하나를 포함하는 촬영 장치.
제2항에 있어서,
상기 그린 컬러 필터를 포함하는 제2 픽셀의 감도는 상기 레드 컬러 필터를 포함하는 제2 픽셀 또는 상기 블루 컬러 필터를 포함하는 제2 픽셀의 감도보다 낮은 촬영 장치.
제1항에 있어서,
상기 적어도 하나의 제2 픽셀의 각각은,
입사광의 세기에 대응하는 광전하를 생성하는 광전 변환 소자;
게이트와 드레인이 전원 전압에 연결되고 소스가 상기 광전 변환 소자에 직접 연결되는 대수 트랜지스터; 및
상기 대수 트랜지스터를 흐르는 전류에 대응하는 전압 신호를 생성하는 드라이브 트랜지스터를 포함하는 촬영 장치.
제1항에 있어서,
상기 이미지 신호 프로세서는, 상기 적어도 하나의 제1 픽셀의 픽셀 데이터 및 상기 적어도 하나의 제2 픽셀의 픽셀 데이터를 포함하는 프레임에 대해, 단위 픽셀 그룹 당 포화된 제1 픽셀의 비율이 미리 정해진 비율을 초과하는 고휘도 영역 및 상기 단위 픽셀 그룹 당 포화된 제1 픽셀의 비율이 미리 정해진 비율의 이하인 저휘도 영역을 결정하고,
상기 이미지 신호 프로세서는 상기 고휘도 영역에서 상기 적어도 하나의 제2 픽셀의 픽셀 데이터에 기초하여 상기 HDR 이미지를 생성하고, 상기 저휘도 영역에서 상기 적어도 하나의 제1 픽셀의 픽셀 데이터에 기초하여 상기 HDR 이미지를 생성하는 촬영 장치.
제5항에 있어서,
상기 이미지 신호 프로세서는 상기 저휘도 영역에서 상기 단위 픽셀 그룹 당 포화된 제1 픽셀의 비율이 최소 비율 이상이고, 휘도가 증가하는 방향성을 갖는 영역을 제1 과도 영역으로 결정하고,
상기 이미지 신호 프로세서는 상기 제1 과도 영역에서 상기 적어도 하나의 제1 픽셀의 픽셀 데이터와 상기 적어도 하나의 제2 픽셀의 픽셀 데이터를 제1 합성 가중치로 조합하여 상기 HDR 이미지를 생성하는 촬영 장치.
제5항에 있어서,
상기 이미지 신호 프로세서는 상기 저휘도 영역과 상기 고휘도 영역 간의 경계에 인접하는 상기 저휘도 영역을 제2 과도 영역으로 결정하고,
상기 이미지 신호 프로세서는 상기 제2 과도 영역에서 상기 적어도 하나의 제1 픽셀의 픽셀 데이터와 상기 적어도 하나의 제2 픽셀의 픽셀 데이터를 제2 합성 가중치로 조합하여 상기 HDR 이미지를 생성하는 촬영 장치.
제7항에 있어서,
상기 제2 합성 가중치는 상기 제2 과도 영역에서 상기 저휘도 영역과 상기 고휘도 영역 간의 경계에 가까워질수록 작아지는 촬영 장치.
제7항에 있어서,
상기 제2 과도 영역은 소정의 폭을 가지고,
상기 폭은 상기 고휘도 영역에 인접한 제1 픽셀들의 픽셀 데이터의 평균 값에 의해 결정되는 촬영 장치.
제7항에 있어서,
상기 이미지 신호 프로세서는 상기 저휘도 영역과 상기 고휘도 영역 간의 경계에 인접하는 상기 저휘도 영역 중, 상기 고휘도 영역에 인접한 제1 픽셀들의 픽셀 데이터의 평균 값이 소정의 임계치를 초과하는 영역을 상기 제2 과도 영역으로 결정하는 촬영 장치.
제1항에 있어서,
상기 이미지 신호 프로세서는 상기 제1 픽셀과 상기 제2 픽셀 간의 감도 차이에 대응하는 게인(gain)을 상기 적어도 하나의 제2 픽셀의 픽셀 데이터에 연산하여 상기 HDR 이미지를 생성하는 촬영 장치.
제1항에 있어서,
상기 적어도 하나의 제1 픽셀과 상기 적어도 하나의 제2 픽셀은 하나의 플로팅 디퓨전 영역을 공유하는 공유 픽셀을 구성하고,
상기 공유 픽셀이 상기 적어도 하나의 제1 픽셀과 상기 적어도 하나의 제2 픽셀에서 생성된 광전하 전체에 대응하는 픽셀 신호를 생성하는 비닝 모드(binning mode)에서, 상기 이미지 신호 프로세서는 상기 제1 픽셀과 상기 제2 픽셀 간의 감도 차이에 대응하는 게인을, 상기 공유 픽셀의 픽셀 데이터로부터 상기 적어도 하나의 제1 픽셀이 포화되는 조도에 해당하는 픽셀 데이터를 감산한 값에 상기 게인을 연산하여 상기 HDR 이미지를 생성하는 촬영 장치.
제1항에 있어서,
상기 적어도 하나의 제2 픽셀은 입사광의 적어도 일부를 차단하는 광 차단 구조를 포함하고,
상기 적어도 하나의 제1 픽셀은 상기 광 차단 구조를 포함하지 않는 촬영 장치.
제1항에 있어서,
상기 적어도 하나의 제1 픽셀과 상기 적어도 하나의 제2 픽셀 각각은 투과 파장 대역의 광을 선택적으로 투과시키는 광학 필터를 포함하고,
상기 적어도 하나의 제2 픽셀에 포함된 상기 광학 필터의 광 투과율은 상기 적어도 하나의 제1 픽셀에 포함된 상기 광학 필터의 광 투과율보다 낮은 촬영 장치.
적어도 하나의 제1 픽셀, 및 상기 적어도 하나의 제1 픽셀보다 낮은 감도를 갖는 적어도 하나의 제2 픽셀을 포함하는 이미지 센싱 장치; 및
상기 적어도 하나의 제1 픽셀의 픽셀 데이터 및 상기 적어도 하나의 제2 픽셀의 픽셀 데이터에 기초하여, 상기 적어도 하나의 제1 픽셀의 동적 범위 또는 상기 적어도 하나의 제2 픽셀의 동적 범위보다 큰 동적 범위에 해당하는 HDR(high dynamic range) 이미지를 생성하는 이미지 신호 프로세서를 포함하며,
상기 이미지 센싱 장치에 포함된 전체 픽셀에 대해, 상기 적어도 하나의 제1 픽셀의 비율은 상기 적어도 하나의 제2 픽셀의 비율보다 높은 촬영 장치.