KR20130030033A - 이미지 처리 시스템 및 이를 이용한 이미지 처리 방법 - Google Patents

Abstract

이미지 처리 시스템이 개시된다. 상기 이미지 처리 시스템은 피사체로부터 입사되는 광학 이미지 신호를 전기적인 이미지 데이터로 변환하여 프레임 데이터를 출력하는 이미지 센서와, 상기 프레임 데이터를 수신하고, 수신된 프레임 데이터로 정의된 프레임의 평균 밝기를 계산하고, 계산된 평균 밝기에 따라 다음 프레임의 밝기를 제어하기 위한 밝기 제어 신호를 출력하는 이미지 신호 프로세서를 포함하고, 상기 이미지 센서는 상기 밝기 제어 신호에 응답하여 밝기가 조절된 다음 프레임 데이터를 출력한다.

Description

이미지 처리 시스템 및 이를 이용한 이미지 처리 방법{IMAGE PROCESSING SYSTEM AND METHOD OF PROCESSING IMAGE USING THE SAME}

본 발명의 개념에 따른 실시 예는 이미지 처리 시스템에 관한 것으로, 특히 현재 프레임의 평균 밝기를 계산하고 계산된 평균 밝기에 따라 다음 프레임의 밝기를 제어할 수 있는 이미지 처리 시스템 및 이를 이용한 이미지 처리 방법에 관한 것이다.

이미지 센서, 예컨대 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서는 피사체로부터 입사되는 광학 이미지 신호(photo image signal)을 전기적인 이미지 신호로 변환시킬 수 있는 장치이다. 상기 이미지 센서는 상기 전기적인 이미지 신호에 대응하는 프레임 데이터를 출력할 수 있다.

조명이 과도한 환경에서, 상기 이미지 센서로부터 출력되는 프레임 데이터로 정의되는 프레임의 평균 밝기는 상당히 큰 값을 갖는다. 또한, 조명이 불충분한 환경에서, 상기 이미지 센서로부터 출력되는 프레임의 평균 밝기는 매우 작은 값을 갖는다.

따라서, 조명이 과도한 환경 또는 조명이 불충분한 환경에서, 상기 이미지 센서로부터 출력되는 전기적인 이미지 신호, 즉 프레임 데이터를 가공 또는 처리하는데 어려움이 따른다.

또한, 상기 이미지 센서에 포함된 다수의 픽셀들 각각의 감도(sensitivity)는 서로 상이할 수 있으므로, 상기 다수의 픽셀들 중 일부의 픽셀들만이 포화(saturation)되는 현상이 발생할 수 있다.

본 발명이 이루고자 하는 기술적인 과제는 현재 프레임의 평균 밝기에 기초하여 다음 프레임의 밝기를 제어할 수 있는 이미지 처리 시스템 및 이를 이용한 이미지 처리 방법을 제공하는 것이다.

본 발명의 실시 예에 따른 이미지 처리 시스템은 피사체로부터 입사되는 광학 이미지 신호를 전기적인 이미지 데이터로 변환하여 프레임 데이터를 출력하는 이미지 센서와, 상기 프레임 데이터를 수신하고, 수신된 프레임 데이터로 정의된 프레임의 평균 밝기를 계산하고, 계산된 평균 밝기에 따라 다음 프레임의 밝기를 제어하기 위한 밝기 제어 신호를 출력하는 이미지 신호 프로세서를 포함하고, 상기 이미지 센서는 상기 밝기 제어 신호에 응답하여 밝기가 조절된 다음 프레임 데이터를 출력한다.

상기 이미지 센서는 상기 밝기 제어 신호에 응답하여 전하 축적 시간(charge integration time)을 조절하여 상기 다음 프레임의 밝기를 조절한다.

상기 이미지 신호 프로세서는 상기 프레임의 상기 평균 밝기를 계산하기 위한 통계 모듈과, 상기 평균 밝기와 기준 밝기를 비교하고, 비교 결과에 따라 상기 밝기 제어 신호를 생성하는 제어 신호 발생 모듈을 포함한다.

상기 이미지 센서는 상기 광학 이미지 신호를 상기 전기적인 이미지 데이터로 변환하기 위한 다수의 픽셀들을 포함하는 픽셀 어레이와, 상기 다수의 픽셀들 각각을 제어하기 위한 다수의 제어 신호들을 출력하기 위한 로우 드라이버와, 상기 밝기 제어 신호에 응답하여, 상기 로우 드라이버의 동작을 제어하기 위한 타이밍 제너레이터와, 상기 전기적인 이미지 데이터에 대해 상관 이중 샘플링을 수행하기 위한 상관 이중 샘플링 블럭과, 상기 상관 이중 샘플링 블럭의 출력 신호를 디지털 신호로 변환하기 위한 아날로그-디지털 컨버터 블럭과, 상기 아날로그-디지털 컨버터 블럭의 출력 신호들을 수신하고 상기 프레임 데이터를 출력하기 위한 버퍼를 포함하고, 상기 타이밍 제너레이터는 상기 밝기 제어 신호에 응답하여 상기 아날로그-디지털 컨버터 블럭의 이득을 제어한다.

상기 이미지 처리 시스템은 DSLR 카메라(digital single-lens reflex camera)이다. 상기 이미지 처리 시스템은 휴대용 장치(handheld device)이다.

상기 이미지 센서와 상기 이미지 신호 프로세서는 하나의 칩에 패키징될 수 있다.

본 발명의 실시 예에 따른 이미지 처리 시스템의 이미지 처리 방법은 이미지 센서가 피사체로부터 입사되는 광학 이미지 신호를 전기적인 이미지 데이터로 변환하여 프레임 데이터를 출력하는 단계와, 이미지 신호 프로세서가 상기 프레임 데이터를 수신하고 상기 프레임 데이터로 정의된 프레임의 평균 밝기를 계산하고 계산된 평균 밝기에 따라 다음 프레임의 밝기를 조절하기 위한 밝기 제어 신호를 출력하는 단계와, 상기 이미지 센서가 상기 밝기 제어 신호에 응답하여 밝기가 조절된 다음 프레임 데이터를 출력하는 단계를 포함한다.

상기 밝기 제어 신호를 출력하는 단계는 상기 프레임 데이터를 이용하여 상기 프레임의 상기 평균 밝기를 계산하는 단계와, 상기 프레임의 상기 평균 밝기와 기준 밝기를 비교하고 비교 결과에 따라 상기 다음 프레임의 밝기를 제어하기 위한 상기 밝기 제어 신호를 출력하는 단계를 포함한다.

상기 비교 결과에 따라 상기 다음 프레임의 상기 밝기를 제어하기 위한 상기 밝기 제어 신호를 출력하는 단계는 상기 프레임의 상기 평균 밝기가 상기 기준 밝기보다 큰 경우 상기 다음 프레임의 상기 밝기를 감소시키기 위한 상기 밝기 제어 신호를 출력하고, 상기 프레임의 상기 평균 밝기가 상기 기준 밝기보다 작은 경우 상기 다음 프레임의 상기 밝기를 증가시키기 위한 상기 밝기 제어 신호를 출력한다.

상기 밝기가 조절된 다음 프레임 데이터를 출력하는 단계는 전하 축적 시간을 조절하거나 또는 상기 광학 이미지 신호에 대응되는 전기적인 이미지 신호를 증폭하는 증폭기의 이득을 조절하여 상기 밝기가 조절된 상기 다음 프레임 데이터를 출력한다.

본 발명의 실시 예에 따른 이미지 처리 시스템은 현재 프레임의 평균 밝기에 따라 다음 프레임의 밝기를 제어할 수 있는 효과가 있다.

또한, 본 발명의 실시 예에 따른 이미지 처리 시스템은 높은 감도(sensitivity)를 갖는 픽셀이 포화(saturation)되는 현상을 예방할 수 있는 효과가 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 일 실시 예에 따른 이미지 처리 시스템의 블럭도이다.
도 2는 도 1에 도시된 이미지 신호 프로세서의 블럭도이다.
도 3은 도 1에 도시된 이미지 센서의 블럭도이다.
도 4는 도 3에 도시된 픽셀 어레이의 평면도이다.
도 5는 도 4에 도시된 픽셀의 회로도이다.
도 6은 본 발명의 일 실시 예에 따른 이미지 처리 방법을 설명하기 위한 흐름도이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1구성 요소는 제2구성 요소로 명명될 수 있고 유사하게 제2구성 요소는 제1구성 요소로도 명명될 수 있다.

어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.

도 1은 본 발명의 일 실시 예에 따른 이미지 처리 시스템의 블럭도이다.

도 1을 참조하면, 이미지 처리 시스템(1)은 이미지 센서(image sensor; 10) 및 이미지 신호 프로세서(image signal processor (ISP); 30)를 포함한다.

이미지 센서(10), 예컨대 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서는 피사체로부터 입사되는 광학 이미지 신호를 전기적인 이미지 신호(또는 전기적인 이미지 데이터)로 변환하고 상기 전기적인 이미지 신호, 즉 프레임 데이터(frame data; FDATA)를 출력할 수 있다.

또한, 이미지 센서(10)는 이미지 신호 프로세서(30)로부터 출력되는 밝기 제어 신호(CTRL)에 응답하여 밝기가 조절된 다음 프레임 데이터를 출력할 수 있다.

즉, 이미지 센서(10)는 밝기 제어 신호(CTRL)에 응답하여 전하 축적 시간 (charge integration time)을 조절하거나 또는 이미지 센서(10)에 포함된 아날로그 디지털 컨버터 블럭(analog-to-digital converter block)의 이득(gain)을 조절하여 다음 프레임의 밝기를 제어할 수 있다.

본 명세서에서는 설명의 편의를 위하여 밝기를 조절하는 방법으로서 전하 축적 시간을 조절하는 방법과 아날로그 디지털 컨버터 블럭의 이득을 조절하는 방법을 설명하나 본 발명의 기술적 사상이 이에 한정되는 것은 아니다.

상기 전하 축적 시간이라 함은 픽셀이 리셋된 후 다시 빛을 받기 시작하면서 부터 축적된 전하량을 읽어낼 때까지 소요되는 시간을 의미한다.

이미지 신호 프로세서(30)는 프레임 데이터(FDATA)를 수신하고, 수신된 프레임 데이터(FDATA)로 정의된 프레임의 평균 밝기를 계산하고, 계산된 평균 밝기에 따라 다음 프레임의 밝기를 제어하기 위한 밝기 제어 신호(CTRL)를 출력할 수 있다.

실시 예에 따라, 이미지 신호 프로세서(30)와 이미지 센서(10)는 하나의 패키지, 예컨대 멀티-칩 패키지(multi-chip package)로 패키징될 수 있다.

이미지 처리 시스템(1)은 디지털 카메라, DSLR 카메라(digital single-lens reflex camera), 이동 전화기, 스마트폰(smart phone), 태블릿(tablet) 컴퓨터, 또는 손으로 들고다닐 수 있는 장치(handheld device)로 구현될 수 있다.

도 2는 도 1에 도시된 이미지 신호 프로세서의 블럭도이다.

도 1 및 도 2를 참조하면, 이미지 신호 프로세서(30)는 통계 모듈(32) 및 제어 신호 발생 모듈(34)을 포함한다.

통계 모듈(32)은 이미지 센서(10)로부터 출력된 프레임 데이터(FDATA)를 수신하고, 프레임 데이터(FDATA)로 정의된 프레임의 평균 밝기를 계산할 수 있다.

제어 신호 발생 모듈(34)은 통계 모듈(32)로부터 출력된 출력 신호, 즉 프레임의 평균 밝기를 수신하고, 수신된 평균 밝기와 기준 밝기를 비교하고 비교 결과에 따라 밝기 제어 신호(CTRL)를 생성할 수 있다.

예컨대, 제어 신호 발생 모듈(34)은, 상기 프레임의 상기 평균 밝기가 상기 기준 밝기보다 큰 경우, 다음 프레임의 밝기를 감소시키기 위한 밝기 제어 신호 (CTRL)를 출력할 수 있다. 또한, 제어 신호 발생 모듈(34)은, 상기 프레임의 상기 평균 밝기가 상기 기준 밝기보다 작은 경우, 다음 프레임의 밝기를 증가시키기 위한 밝기 제어 신호(CTRL)를 출력할 수 있다. 밝기 제어 신호(CTRL)는 다수의 비트들을 포함하는 디지털 신호일 수 있다.

도 2에 도시된 이미지 신호 프로세서(30)의 구성들 각각은 기능 및/또는 논리적으로 분리될 수 있음으로 나타내는 것이며, 반드시 상기 구성들 각각의 별도의 물리적 장치로 구분되거나 또는 별도의 코드로 작성됨을 의미하는 것이 아니다.

또한, 본 명세서에서 모듈(module)이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및/또는 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적 및/또는 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(hard resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것이 아니다.

도 3은 도 1에 도시된 이미지 센서의 블럭도이다.

도 1 내지 도 3을 참조하면, 이미지 센서(10)는 픽셀 어레이(100), 로우 드라이버(200), 상관 이중 샘플링 블럭(correlated double sampling(CDS) block; 300), 아날로그-디지털 컨버터 블럭(400), 버퍼(500), 램프 신호 생성기(600), 및 타이밍 제너레이터(700)를 포함한다.

픽셀 어레이(100)는 매트릭스 형태로 배열된 다수의 픽셀들을 포함한다. 상기 다수의 픽셀들 각각은 특정 스펙트럼(spectrum) 영역의 빛을 전기 신호로 변환할 수 있다. 또한, 상기 다수의 픽셀들 각각의 상부에는 상기 특정 스펙트럼 영역의 빛을 투과시키기 위한 각각의 컬러 필터 어레이가 배열될 수 있다.

로우 드라이버(200)는, 타이밍 제너레이터(700)의 제어에 따라, 다수의 픽셀들 각각의 광 감지 동작을 제어하기 위한 다수의 제어 신호들을 생성할 수 있다. 로우 드라이버(200)는 로우(row) 단위로 픽셀들을 구동할 수 있다.

또한, 로우 드라이버(200)는, 타이밍 제너레이터(700)의 제어 하에, 상기 다수의 픽셀들 각각의 전하 축적 시간(charge integration time)을 조절할 수 있다. 예컨대, 로우 드라이버(200)가 상기 전하 축적 시간을 증가시킬 때 이미지 센서 (10)는 밝기가 증가된 다음 프레임 데이터를 출력할 수 있다. 그러나, 로우 드라이버(200)가 상기 전하 축적 시간을 감소시킬 때 이미지 센서(10)는 밝기가 감소된 다음 프레임 데이터를 출력할 수 있다.

상관 이중 샘플링 블럭(300)은, 타이밍 제너레이터(700)로부터 출력된 제어 신호들에 응답하여, 픽셀 어레이(100)로부터 출력된 신호들 각각에 대하여 CDS (correlated double sampling)을 수행할 수 있다.

아날로그-디지털 컨버터 블럭(400)은 CDS된 신호들 각각을 아날로그-디지털 변환하여 디지털 신호들 각각을 출력한다. 아날로그-디지털 컨버터 블럭(400)은 비교 블럭(420) 및 카운터(440)를 포함할 수 있다.

비교 블럭(420)은 다수의 비교기들(422)을 포함하며, 다수의 비교기들(422) 각각은 상관 이중 샘플링 블럭(300) 및 램프 신호 생성기(600)와 접속된다. 이때, 상관 이중 샘플링 블럭(300)은 비교기(422)의 제1입력단에 접속되고 램프 신호 생성기(600)는 비교기(422)의 제2입력단에 접속될 수 있다.

비교기(422)는 상관 이중 샘플링 블럭(300)의 출력 신호와 램프 신호 생성기(600)로부터 발생된 램프 신호를 수신하여 비교하고 비교 신호를 출력할 수 있다. 이때, 비교기(422)로부터 출력되는 비교 신호는 외부 빛의 조도에 따라 달라지는 이미지(image) 신호와 리셋(reset) 신호의 차이에 해당할 수 있다.

상기 이미지 신호와 상기 리셋 신호의 차이를 출력하기 위하여, 램프 신호가 이용되며, 상기 이미지 신호와 상기 리셋 신호의 차이는 상기 램프 신호의 기울기에 따라 서로 다른 값으로 출력될 수 있다. 램프 신호 생성기(600)는 타이밍 제너레이터(700)로부터 출력된 제어 신호에 따라 동작할 수 있다.

카운터 블럭(440)은 다수의 카운터들(442)을 포함하며, 다수의 카운터들 (442) 각각은 다수의 비교기들(422) 각각의 출력단에 접속되며, 타이밍 제너레이터 (700)로부터 출력된 클락 신호(CNT_CLK)에 따라 다수의 비교기(422) 각각의 비교 신호가 천이하는 시점을 카운팅하여 디지털 신호, 즉 카운트 값을 출력한다.

이때, 클락 신호(CNT_CLK)는 타이밍 제너레이터(700)로부터 생성된 카운터 제어 신호에 기초하여 카운터 블럭(440)의 내부 또는 타이밍 제너레이터(700)의 내부에 위치한 카운터 컨트롤러(미도시)에 의해 생성될 수 있다.

버퍼(500)는 컬럼 메모리 블럭(520) 및 감지 증폭기(540)를 포함하고, 컬럼 메모리 블럭(520)은 다수의 메모리들(522)을 포함한다.

다수의 메모리들(522) 각각은 타이밍 제너레이터(700)로부터 생성된 제어 신호에 기초하여 컬럼 메모리 블럭(520)의 내부 또는 타이밍 제너레이터(700)의 내부에 위치한 메모리 컨트롤러(미도시)에 의해 생성된 메모리 제어 신호에 따라 동작할 수 있다. 다수의 메모리들(522) 각각은 SRAM(Static Random Access Memory)으로 구현될 수 있다.

컬럼 메모리 블럭(520)은 상기 메모리 제어 신호에 따라 다수의 카운터들 (442) 각각으로부터 출력된 디지털 신호를 임시 저장한 후 감지 증폭기(540)로 출력하며, 감지 증폭기는 (540)는 상기 디지털 신호를 감지 증폭하여 출력한다.

타이밍 제너레이터(700)는 각 구성 요소(200, 300, 400, 500, 및 600)의 동작을 제어하기 위한 제어 신호들을 출력할 수 있다. 타이밍 제너레이터(700)는 밝기 제어 신호(CTRL)에 응답하여 각 구성 요소(200, 300, 400, 500, 및 600)의 동작을 제어하여 프레임의 밝기를 조절할 수 있다.

특히, 타이밍 제너레이터(700)는, 밝기 제어 신호(CTRL)에 응답하여, 각 픽셀의 동작을 제어하는 로우 드라이버(200)를 제어함으로써 전하 축적 시간을 조절할 수 있다.

실시 예에 따라, 타이밍 제너레이터(700)는 밝기 제어 신호(CTRL)에 응답하여 아날로그-디지털 컨버터 블럭(400)에 포함된 각 비교기(422)에 구현된 증폭기의 이득을 조절할 수 있다. 예컨대, 밝기가 증가된 다음 프레임 데이터를 출력하기 위해, 타이밍 제너레이터(700)는 아날로그-디지털 컨버터 블럭(400)에 구현된 증폭기의 이득을 증가시킬 수 있다. 또한, 밝기가 감소된 다음 프레임 데이터를 출력하기 위해, 타이밍 제너레이터(700)는 아날로그-디지털 컨버터 블럭(400)에 구현된 증폭기의 이득을 감소시킬 수 있다.

도 4는 도 3에 도시된 픽셀 어레이의 평면도이다.

도 3 및 도 4를 참조하면, 픽셀 어레이(100)는 다수의 픽셀들(120)을 포함한다. 픽셀 어레이(100)는 6×8의 매트릭스 형태로 배열된 다수의 픽셀들(120)을 포함하나, 본 발명이 상기 매트릭스에 포함되는 픽셀들의 개수 또는 배열 방법에 한정되는 것은 아니다. 따라서 픽셀 어레이(100)에 포함된 다수의 픽셀들(120)의 개수와 배열 방법은 다양하게 변경될 수 있다.

픽셀 어레이(100)는 다수의 레드 픽셀들(R), 다수의 그린 픽셀들(G), 다수의 블루 픽셀들(B), 및 다수의 화이트 픽셀들(W)을 포함할 수 있다.

다수의 레드 픽셀들(R) 각각은 레드(red) 스펙트럼 영역의 빛을 전기 신호로 변환할 수 있다. 다수의 그린 픽셀들(G) 각각은 그린(green) 스펙트럼 영역의 빛을 전기 신호로 변환할 수 있다. 다수의 블루 픽셀들(B) 각각은 블루(blue) 스펙트럼 영역의 빛을 전기 신호로 변환할 수 있다. 다수의 화이트 픽셀들(W) 각각은 가시광 영역의 빛을 전기 신호로 변환할 수 있다.

도 5는 도 4에 도시된 픽셀의 회로도이다.

도 4 및 도 5를 참조하면, 픽셀(120)은 광전 변환 소자(PD), 전송 트랜지스터(TX), 리셋 트랜지스터(RX), 드라이브 트랜지스터(DX), 및 선택 트랜지스터(SX)를 포함한다. 픽셀(120)은 레드 픽셀(R), 그린 픽셀(G), 블루 픽셀(B), 또는 화이트 픽셀(W)로 구현될 수 있다.

광전 변환 소자(PD)는 픽셀(120)에 입사되는 입사광에 대응되는 광전하 (photogenerated charge)들을 생성한다. 광전 변환 소자(PD)는 포토 다이오드 (photo diode) 또는 핀드 포토 다이오드(pinned photo diode) 등으로 구현될 수 있다.

전송 트랜지스터(TX)는 전송 제어 신호(TG)에 응답하여 광전 변환 소자(PD)에 축적된 상기 광전하들을 플로팅 확산 영역(floating diffusion region(FD))으로 전달한다. 전송 트랜지스터(TX)의 턴-온(turn on) 동작에 의해 전달된 상기 광전하들은 플로팅 확산 영역(FD)에 축적된다.

리셋 트랜지스터(RX)는 리셋 신호(RS)에 응답하여 플로팅 확산 영역(FD)의 전압 레벨을 전원 전압(VDD) 레벨로 리셋한다.

드라이브 트랜지스터(DX)는 플로팅 확산 영역(FD)으로부터 전달되는 광전하들에 응답하여, 상기 광전하들의 양에 비례하는 전기 신호를 출력한다.

선택 트랜지스터(SX)는 선택 신호(SEL)에 응답하여 드라이브 트랜지스터(DX)의 출력 신호를 상관 이중 샘플링 블럭(300)으로 출력한다.

전송 제어 신호(RG), 리셋 신호(RS), 선택 신호(SEL)는 로우 드라이버(200)에 의해 생성된다. 따라서 밝기 제어 신호(CTRL)에 따라 타이밍 제너레이터(700)는 로우 드라이버(200)의 동작을 제어할 수 있으므로, 각 신호(RG, RS , 및/또는 SEL)의 활성화 시간과 활성화 타이밍은 밝기 제어 신호(CTRL)에 따라 제어될 수 있다.

도 5에 도시된 각 트랜지스터(TX, RX, DX, 및 SX)는 NMOS 트랜지스터로 구현되었으나 실시 예에 따라 PMOS 트랜지스터로 구현될 수 있다.

도 5에 도시된 픽셀(120)은 하나의 광전 변환 소자(PD)와 4개의 트랜지스터들을 포함하는 구조를 갖는다. 그러나, 실시 예에 따라 픽셀(120)은 3개의 트랜지스터 또는 5개의 트랜지스터를 갖는 구조로 구현될 수 있다.

도 6은 본 발명의 일 실시 예에 따른 이미지 처리 방법을 설명하기 위한 흐름도이다.

도 1 및 6을 참조하면, 이미지 센서(10)는 피사체로부터 입사되는 광학 이미지 신호를 전기적인 이미지 신호로 변환하고, 전기적인 이미지 신호를 처리하여 프레임 데이터(FDATA)를 이미지 신호 프로세서(30)로 출력한다(S10).

이미지 신호 프로세서(30)는 프레임 데이터(FDATA)를 수신하고 프레임 데이터(FDATA)로 정의된 프레임(frame)의 평균 밝기를 계산한다(S30). 이후 이미지 신호 프로세서(30)는 상기 프레임의 평균 밝기와 기준 밝기를 서로 비교하고 비교 결과에 따라 다음 프레임의 밝기를 제어하기 위한 밝기 제어 신호(CTRL)를 이미지 센서(10)로 출력한다(S50).

예컨대, 현재 프레임의 평균 밝기가 기준 밝기보다 큰 경우 이미지 신호 프로세서(30)는 다음 프레임의 밝기를 감소시키기 위한 밝기 제어 신호(CTRL)를 이미지 센서(10)로 출력한다. 현재 프레임의 평균 밝기가 기준 밝기보다 작은 경우 이미지 신호 프로세서(30)는 다음 프레임의 밝기를 증가시키기 위한 밝기 제어 신호 (CTRL)를 이미지 센서(10)로 출력한다.

이미지 센서(10)는 밝기 제어 신호 (CTRL)에 따라 전하 축적 시간 및/또는 증폭기의 이득을 조절한다. 이에 따라 이미지 센서(10)는 밝기 제어 신호(CTRL)에 응답하여 밝기가 조절된 다음 프레임 데이터를 이미지 신호 프로세서(30)로 출력할 수 있다(S70).

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

1 : 이미지 처리 시스템
10 : 이미지 센서
30 : 이미지 신호 프로세서
32 : 통계 모듈
34 : 제어 신호 발생 모듈
100 : 픽셀 어레이
120 : 픽셀
200 : 로우 드라이버
300 : 상관 이중 샘플링 블럭
400 : 아날로그 디지털 컨버터 블럭
500 : 버퍼
600 : 램프 신호 생성기
700 : 타이밍 제너레이터

Claims (10)

1. 피사체로부터 입사되는 광학 이미지 신호를 전기적인 이미지 데이터로 변환하여 프레임 데이터를 출력하는 이미지 센서; 및
   상기 프레임 데이터를 수신하고, 수신된 프레임 데이터로 정의된 프레임의 평균 밝기를 계산하고, 계산된 평균 밝기에 따라 다음 프레임의 밝기를 제어하기 위한 밝기 제어 신호를 출력하는 이미지 신호 프로세서를 포함하고,
   상기 이미지 센서는 상기 밝기 제어 신호에 응답하여 밝기가 조절된 다음 프레임 데이터를 출력하는 이미지 처리 시스템.
2. 제1항에 있어서, 상기 이미지 센서는,
   상기 밝기 제어 신호에 응답하여 전하 축적 시간(charge integration time)을 조절하여 상기 다음 프레임의 밝기를 조절하는 이미지 처리 시스템.
3. 제1항에 있어서, 상기 이미지 신호 프로세서는,
   상기 프레임의 상기 평균 밝기를 계산하기 위한 통계 모듈; 및
   상기 평균 밝기와 기준 밝기를 비교하고, 비교 결과에 따라 상기 밝기 제어 신호를 생성하는 제어 신호 발생 모듈을 포함하는 이미지 처리 시스템.
4. 제1항에 있어서, 상기 이미지 센서는,
   상기 광학 이미지 신호를 상기 전기적인 이미지 데이터로 변환하기 위한 다수의 픽셀들을 포함하는 픽셀 어레이;
   상기 다수의 픽셀들 각각을 제어하기 위한 다수의 제어 신호들을 출력하기 위한 로우 드라이버;
   상기 밝기 제어 신호에 응답하여, 상기 로우 드라이버의 동작을 제어하기 위한 타이밍 제너레이터;
   상기 전기적인 이미지 데이터에 대해 상관 이중 샘플링을 수행하기 위한 상관 이중 샘플링 블럭;
   상기 상관 이중 샘플링 블럭의 출력 신호를 디지털 신호로 변환하기 위한 아날로그-디지털 컨버터 블럭; 및
   상기 아날로그-디지털 컨버터 블럭의 출력 신호들을 수신하고 상기 프레임 데이터를 출력하기 위한 버퍼를 포함하고,
   상기 타이밍 제너레이터는 상기 밝기 제어 신호에 응답하여 상기 아날로그-디지털 컨버터 블럭의 이득을 제어하는 이미지 처리 시스템.
5. 제1항에 있어서,
   상기 이미지 처리 시스템은 DSLR 카메라(digital single-lens reflex camera)인 이미지 처리 시스템.
6. 제1항에 있어서,
   상기 이미지 처리 시스템은 휴대용 장치(handheld device)인 이미지 처리 시스템.
7. 제1항에 있어서,
   상기 이미지 센서와 상기 이미지 신호 프로세서는 하나의 패키지(package)에 패키징(packaging)되는 이미지 처리 시스템.
8. 이미지 센서가 피사체로부터 입사되는 광학 이미지 신호를 전기적인 이미지 데이터로 변환하여 프레임 데이터를 출력하는 단계;
   이미지 신호 프로세서가 상기 프레임 데이터를 수신하고 상기 프레임 데이터로 정의된 프레임의 평균 밝기를 계산하고 계산된 평균 밝기에 따라 다음 프레임의 밝기를 조절하기 위한 밝기 제어 신호를 출력하는 단계; 및
   상기 이미지 센서가 상기 밝기 제어 신호에 응답하여 밝기가 조절된 다음 프레임 데이터를 출력하는 단계를 포함하는 이미지 처리 시스템의 이미지 처리 방법.
9. 제8항에 있어서,
   상기 밝기 제어 신호를 출력하는 단계는,
   상기 프레임 데이터를 이용하여 상기 프레임의 상기 평균 밝기를 계산하는 단계; 및
   상기 프레임의 상기 평균 밝기와 기준 밝기를 비교하고 비교 결과에 따라 상기 다음 프레임의 밝기를 제어하기 위한 상기 밝기 제어 신호를 출력하는 단계를 포함하는 이미지 처리 시스템의 이미지 처리 방법.
10. 제9항에 있어서,
    상기 비교 결과에 따라 상기 다음 프레임의 상기 밝기를 제어하기 위한 상기 밝기 제어 신호를 출력하는 단계는,
    상기 프레임의 상기 평균 밝기가 상기 기준 밝기보다 큰 경우 상기 다음 프레임의 상기 밝기를 감소시키기 위한 상기 밝기 제어 신호를 출력하고,
    상기 프레임의 상기 평균 밝기가 상기 기준 밝기보다 작은 경우 상기 다음 프레임의 상기 밝기를 증가시키기 위한 상기 밝기 제어 신호를 출력하는 이미지 처리 시스템의 이미지 처리 방법.

Images