KR100993231B1

KR100993231B1 - 화상 신호 처리 회로

Info

Publication number: KR100993231B1
Application number: KR1020080113390A
Authority: KR
Inventors: 히로시 다이쿠
Original assignee: 후지쯔 세미컨덕터 가부시키가이샤
Priority date: 2007-11-19
Filing date: 2008-11-14
Publication date: 2010-11-10
Also published as: US20090284616A1; KR20090051698A; JP2009124638A

Abstract

본 발명은 밝은 환경에서 어두운 환경으로 이동했을 때의 자동 노출 조정 기능 동작을 고속화할 수 있는 화상 신호 처리 회로를 제공하는 것을 목적으로 한다.

종래, 감마 보정 회로의 출력값을 이용하여 자동 노출 조정을 행하고 있었다. 그러나, 어두운 환경에서 밝은 환경으로 이동하는 경우, 어두운 화상이 계조의 중심에 오도록 조정되어 있었기 때문에, 밝은 화상이 되었을 때에는 계조에 톤 점프(계조 뜀)가 일어나게 되어 밝은 화상을 계조의 중심으로 가지고 오는 처리를 몇 번이나 해야만 하였다. 그래서, 감마 보정 회로의 입력값을 이용하여 자동 노출 보정을 행하도록 하였다. 이 경우, 어두운 화면의 계조값은 작아지기 때문에, 계조값의 상한까지의 계조수를 많이 취할 수 있고, 밝은 화상을 계조의 중심으로 가지고 올 때까지의 처리 횟수를 적게 할 수 있어 자동 노출 조정의 추종 성능이 좋아진다.

Description

화상 신호 처리 회로{IMAGE SIGNAL PROCESSING CIRCUIT}

본 발명은 이미지 센서를 사용한 고체 촬상 장치에 관한 것으로, 특히, 자동 노출 제어 기능을 갖는 화상 신호 처리 회로에 관한 것이다.

최근, 고체 촬상 소자는 디지털 스틸 카메라나 휴대단말 등의 제품에 내장되어 대량으로 사용되게 되었다. 그 디지털 카메라에는 자동 노출 조정 기능(AE: Auto-Exposure)이라 불리는 기능이 있어, 환경의 밝기에 변화가 생겨도 항상 동일한 밝기로 표시가 보이도록, 신호 증폭기의 게인이나 노출 시간을 자동적으로 조정하게 하고 있다. 통상, 이러한 제어는 화면 휘도를 매 프레임 판독하여 일정하게 유지하고 싶은 밝기(목표 휘도)와의 비를 계산하고, 그 결과를 바탕으로 노출 시간과 게인을 조정함으로써 일정한 밝기로 화상을 표시시키고 있다.

도 8은 종래의 화상 신호 처리 회로의 일례를 도시한 도면이다.

화상 센서(도시되지 않음)로부터 입력된 신호는 화질 조정 등 화상 처리 회로(10)에 있어서, 화질 등이 조정되고, 다음에, 감마 보정 회로(11)에 입력된다. 감마 보정 회로(11)에서는, 화면 휘도가 조정되고, 다음에, 출력 포맷 변환 회로(12)에 입력된다. 출력 포맷 변환 회로(12)에서는, 화상 센서로부터의 신호의 포맷을 표시용으로 변환하여 화상 표시용 신호로서 출력한다. 또한, AE는 AGC(Auto Gain Control) 회로(13)에 의해 제어된다. AGC 회로(13)는 감마 보정 회로(11)의 출력을 취득하여 화상 센서의 노출 시간을 조정하거나 신호의 증폭률(게인)을 조정하거나 한다.

종래의 촬상 장치로서는 특허 문헌 1이 있다. 특허 문헌 1에 있어서는, 게인 업과 계조 변환 특성(γ 회로)의 변경을 함께 행함으로써, 동작 범위(dynamic range)의 확대를 도모한 촬상 장치가 개시되어 있다.

[특허 문헌 1] 일본 특허 공개 제2002-33956호 공보

그러나, 디지털 카메라의 화면 휘도는 8 bit 출력의 경우 0∼255 코드의 값으로 수치화되어 출력된다. 밝은 환경이라도, 어두운 환경이라도, 그 수치화된 값에 있어서, 목표 휘도는 통상 그 중간값이 되는 120 코드 정도로 설정된다. 밝은 환경에서 중간값으로 수속되어 있는 상태에서 어두운 환경으로 이동하는 경우에는, 반드시 어두운 환경의 휘도에 해당하는 값은 0∼120 코드 중 어느 하나에 존재하기 때문에 문제는 없지만, 어두운 환경에서 밝은 환경으로 이동하는 경우에는, 휘도로서 10배에서 100 정도의 차이가 존재할 가능성이 있어, 120∼250 코드 사이에 밝은 환경에 해당하는 휘도가 존재할 가능성은 작다. 이 경우, 이하와 같이 추종 동작을 한다. 예컨대, 1000 Lx(룩스)의 휘도 환경에서 AE가 휘도=120으로 안정되었을 때에, 50 Lx(룩스)와 같은 어두운 환경으로 변화된 경우, 휘도는 1/20이 되고 있기 때문에, 그 비는 6코드가 되며, 이 휘도차(120/6=20배)를 추종시키면 된다고 하는 결과를 유도할 수 있다. 그러나, 반대로 50 Lx의 환경에서 AE가 휘도=120으로 안정되고 있을 때에, 1000 Lx로 변화되면, 휘도는 20배가 되고 있기 때문에, 120×20=2400 코드의 출력을 시키고자 하였지만, 전술한 바와 같이 출력할 수 있는 휘도 범위는 0∼255 코드까지로 제한되어 버리기 때문에, 2400에는 리미터가 작용하여 225가 되어 버린다. 따라서, 원래 120/2400=0.05배로 추종하고 싶었지만, 그 결과를 유도할 수 없어 120/255=0.47배까지 밖에 할 수 없다. 즉, 이 0.05배에 이를 때까지 동일한 계산을 수십 회 반복하게 되어, 추종 속도가 느려지는 경우가 발생하 였다.

본 발명의 과제는 어두운 환경에서 밝은 환경으로 이동했을 때의 자동 노출 조정 기능 동작을 고속화할 수 있는 화상 신호 처리 회로를 제공하는 것이다.

본 발명의 일 측면에 있어서의 신호 처리 회로는, 촬상 소자로부터의 휘도 신호를 처리하는 신호 처리 회로에 있어서, 상기 촬상 소자로부터 휘도 신호를, 표시 디바이스의 휘도 특성과는 반대 방향이 되는 특성의 보정을 부여하는 보정 회로와, 상기 촬상 소자로부터의 휘도 신호로서, 상기 보정 회로에서 보정을 받기 전의 휘도 신호에 기초하여 상기 촬상 소자로부터의 휘도 신호의 이득 제어를 행하는 이득 제어부를 갖는다.

본 발명의 다른 측면에 있어서의 신호 처리 회로는, 촬상 소자로부터의 휘도 신호를 처리하는 신호 처리 회로에 있어서, 상기 휘도 신호의 레벨을 검출하는 레벨 검출부와, 상기 휘도 신호의 이득을 제어하는 이득 제어부와, 상기 레벨 검출부에서 검출하는 레벨의 변동에 따라 상기 이득 제어부의 제어 빈도를 변경하는 빈도 제어부를 갖는다.

본 발명에 따르면, 밝은 환경에서 어두운 환경으로 이동했을 때의 자동 노출 조정 기능 동작을 고속화할 수 있는 화상 신호 처리 회로를 제공할 수 있다.

도 1은 본 발명의 실시 형태의 원리를 설명한 도면이다.

디지털 카메라의 기능에는 감마 보정 기능이 있어, 출력 모니터의 감마 커브를 보정하기 위해서, 도 1과 같이, 모니터의 감마 커브와 반대가 되는 감마 커브로 보정을 행하고 있지만, 본 실시 형태에서는, 그 감마 보정에 있어서의 입력값, 즉 감마 보정 전의 값으로 휘도 계산을 행하여 AE를 행한다.

즉, 감마 보정용 감마 커브는, 도 1과 같은, 양의 기울기가 감쇠하면서 양의 일정값을 향한 커브를 그리고 있기 때문에, 출력으로 목표 휘도가 120 코드가 되는 입력값은 약 50코드로 낮게 할 수 있으므로, 감마 입력값에 있어서는, 상한의 255 코드까지의 범위를 확대시킬 수 있다. 즉, 밝은 환경에서 어두운 환경으로 이동할 때에, 50/255=0.20배까지 추종하는 것이 가능해지기 때문에, 출력값을 이용하는 경우(120/255=0.47)에 비하여 계산 횟수가 적어져, 추종 속도는 4배 개선시킬 수 있다. 또한, 그것에 부가하여 독출된 휘도에 의해 AE의 추종 속도를 변화시킨다. 예컨대, 휘도가 200 코드를 초과한 경우에는 통상의 2배의 속도로 응답하게 하도록 설정하면, 응답 속도를 2배 빠르게 할 수 있다.

도 2는 본 발명의 실시 형태에 따른 화상 신호 처리 회로의 블록 구성도이다.

도 2에 있어서, 도 8과 동일한 구성 요소에는 동일한 참조 부호를 붙이고, 상세한 설명을 생략한다.

도 2에 있어서는, AGC 회로(13)가 감마 보정 회로(11)의 전단에 접속되고, 감마 보정 회로(11)로의 입력값을 취득하는 구성으로 되어 있다. AGC 회로(13)가, 감마 보정 회로(11)의 입력값을 사용하여 AE를 행함으로써, 도 1에서 설명한 바와 같이, 밝은 환경에서 어두운 환경으로 이동한 경우의 AE의 동작을 고속으로 할 수 있다.

도 3 및 도 4는 본 발명의 실시 형태에 따른 제어 사이클을 빠르게 하거나 느리게 하는 처리의 흐름도이다.

도 3은 AGC의 제어 흐름이다. 단계 S10에 있어서, 휘도 평균을 계산하고, 단계 S11에 있어서, 목표 휘도와의 비를 산출한다. 단계 S12에 있어서, 추종 속도의 조정을 행한다. 단계 S13에 있어서, 휘도 신호의 디코드값의 갱신을 행하고, 단계 S14에 있어서, 적분 시간(노출 시간)과 게인을 산출한다. 단계 S15에 있어서, 적분 시간과 게인을 센서부에 설정하고, 처리를 종료한다.

도 4는 휘도 계산 결과로부터 추종 속도(피드백 게인)를 변화시키기 위한 제어 흐름이다. 즉, 도 4는 단계 S12의 상세한 처리 흐름이다. 단계 S20에 있어서, 휘도 계산을 행하고, 단계 S21에 있어서, 휘도가 소정값(A)보다 큰 지 여부를 판단한다. 단계 S21의 판단이 false인 경우에는, 피드백 게인의 설정값을 α(제1 소정값)로 설정한다. α는 휘도가 작은 경우이기 때문에, 작은 값이 된다. 단계 S21의 판단이 true인 경우에는, 피드백 게인의 설정값을 β(제2 소정값)로 설정한다. β는 휘도가 큰 경우이기 때문에, 추종 속도를 빠르게 하기 위해서 α보다 큰 값이 된다. 게인의 값은 이와 같이 휘도값을 소정값과 비교하여, 큰 경우와 작은 경우의 설정값을 미리 결정해 두면 좋다. 또한, 적분 시간(노출 시간)도 미리 게인의 값과 동일하게, 휘도값에 따라 미리 결정해 두면 좋다. 또한, 추종 속도의 변경에 있어서는, 게인값이나 적분 시간을 피드백하는 제어 사이클의 속도를 가변시켜도 좋다. 즉, 어두운 환경에서 밝은 환경으로 이동하는 경우에는, 제어 사이클을 빠르게 하도록 제어한다. 어느 정도 빠르게 할지는 휘도의 값에 따라 제어 사이클의 속도를 미리 결정해 두고, 휘도의 계산값에 따라 제어 사이클의 속도를 설정하도록 하면 좋다.

도 5는 본 발명의 제2 실시 형태에 따른 화상 신호 처리 회로의 블록 구성도 이다.

도 5에 있어서, 도 2와 동일한 구성 요소에는 동일한 참조 부호를 붙이고, 상세한 설명을 생략한다. 도 5는 감마 보정 회로(11)와는 반대 방향의 소정의 특성을 갖는 입출력 보정 회로(15)를 감마 보정 회로(11)의 출력과 AGC 회로(13) 사이에 이용한 구성을 나타내고 있다.

AGC 회로의 제어계와 표시계를 다른 계통으로 하고, 감마 보정과 같은 곡선 보정 커브와는 반대 방향이 되는 특성을 갖는 전용 회로[입출력 보정 회로(15)]를 설치하는 구성이다. 입출력 보정 회로(15)는 AGC 회로(13)에의 입력값의 변환을 행하는 것이다. 이에 따라, 감마 보정에 의한 보정 후의 신호였다고 해도, 의사적으로 보정 전의 신호를 만들어 냄으로써 제1 실시 형태 동일한 효과를 얻을 수 있다.

도 6은 전형적인 디지털 카메라의 블록 구성도이다.

촬상 렌즈(20)로 집광된 광은 광학 필터(21)를 통과하여 이미지 센서(22)에 의해 전기 신호로 변환된다. 이미지 센서(22)에서 얻어진 신호는 카메라 제어부(23)에 의해 제어되어 화상 데이터가 되고 나서, 표시 장치(24)에 의해 표시된다.

도 7은 도 6의 이미지 센서의 블록도이다.

이미지 센서는 ISP(Image Signal Processor)(30)로 이루어진다. 센서의 픽셀 어레이(31)에서 광을 전기 신호로 변환하고, ADC(32) 등에 있어서, 아날로그 신호를 디지털 신호로 변환한다. 디지털 신호가 된 화상 신호는 베이어(Bayer) 데이터 보정부(33)에 있어서, 결함 보정, 감도 보정, 셰이딩 보정, 노이즈 필터 보정 등이 행해진다. 다음에, 보간 처리부(34)에 있어서, 생(生) 데이터가 RGB 보간된다. 다음에, 화질 조정부(35)에 있어서, 컬러 조정, AWB(Auto White Balance) 처리, 윤곽 강조 처리, 노이즈 필터 처리, 감마 보정 등을 행한다. 밝기 조정부(36)에서는, AGC 처리, 플리커 캔슬 처리 등이 행해진다. 도 2의 AGC 회로를 포함하는 구성은 화질 조정부(35)와 밝기 조정부(36)에 관한 부분이다. 출력 포맷 변환부(37)에서는, 해상도 변환, YUV422 출력, YCbCr 출력, RGB565 출력 등의 포맷에 맞춘 화상 출력 포맷의 변환을 행한다. 또한, PLL은 클록 생성을 행하고, 타이밍 제너레이터는 ISP(30)의 각부의 동작 타이밍을 생성한다.

또한, 이상의 실시 형태에서는, 표시 디바이스의 휘도 특성과는 반대 방향이 되는 특성의 보정을 부여하는 보정 회로로서 감마 보정 회로를 예를 들어 설명하였지만, 본 발명은 그것에 한정되지 않고, 표시 디바이스의 휘도 특성과 반대 방향의 특성을 갖는 것이면 본 발명에 적용할 수 있다.

또한, 보정 회로에서 보정을 받기 전의 휘도 신호란, 보정 회로의 입력측의 신호뿐만 아니라, 보정 회로의 출력측의 신호로서, 그 보정 회로의 보정과는 반대 방향이 되는 보정을 추가로 실시한 신호를 본 발명에서는 포함하는 것은 물론이다.

이상 설명한 바와 같이, 본 발명에 따르면, 큰 밝기 변동에 대해서도 AE의 응답 속도를 빠르게 할 수 있다. 그 때문에, 이미지 센서의 성능 향상에 기여하는 바가 크다.

도 1은 본 발명의 실시 형태의 원리를 설명한 도면.

도 2는 본 발명의 실시 형태에 따른 화상 신호 처리 회로의 블록 구성도.

도 3은 본 발명의 실시 형태에 따른 제어 사이클을 빠르게 하거나 느리게 하는 처리의 제1 흐름도.

도 4는 본 발명의 실시 형태에 따른 제어 사이클을 빠르게 하거나 느리게 하는 처리의 제2 흐름도.

도 5는 본 발명의 제2 실시 형태에 따른 화상 신호 처리 회로의 블록 구성도.

도 6은 전형적인 디지털 카메라의 블록 구성도.

도 7은 도 6의 이미지 센서의 블록도.

도 8은 종래의 화상 신호 처리 회로의 일례를 도시한 도면.

〈도면의 주요 부분에 대한 부호의 설명〉

10 : 화질 조정 등 화상 처리 회로 11 : 감마 보정 회로

12 : 출력 포맷 변환 회로 13 : AGC 회로

15 : 입출력 보정 회로 20 : 촬상 렌즈

21 : 광학 필터 22 : 이미지 센서

23 : 카메라 제어부 24 : 표시 장치

30 : ISP 31 : 픽셀 어레이

32 : ADC 등 33 : 베이어 데이터 보정부

34 : 보간 처리부 35 : 화질 조정부

36 : 밝기 조정부 37 : 출력 포맷 변환부

Claims

촬상 소자로부터의 휘도 신호를 처리하는 신호 처리 회로에 있어서,

상기 촬상 소자로부터 휘도 신호를, 표시 디바이스의 휘도 특성과는 반대 방향이 되는 특성의 보정을 부여하는 보정 회로와,

상기 촬상 소자로부터의 휘도 신호로서, 상기 보정 회로에서 보정을 받기 전의 휘도 신호에 기초하여, 상기 촬상 소자로부터의 휘도 신호의 이득 제어를 행하는 이득 제어부

를 포함하고,

상기 보정 회로에서 보정을 받기 전의 휘도 신호란, 상기 보정 회로에서 보정된 후의 신호에 대하여, 상기 보정 회로의 휘도 특성과는 반대 방향이 되는 특성을 부여한 후의 신호인 것을 특징으로 하는 신호 처리 회로.
제1항에 있어서, 상기 이득 제어는 촬상 소자의 노광 시간을 제어함으로써 행해지는 것을 특징으로 하는 신호 처리 회로.
제1항에 있어서, 상기 이득 제어는 화상 신호의 증폭률을 제어함으로써 행해지는 것을 특징으로 하는 신호 처리 회로.
삭제
촬상 소자로부터의 휘도 신호를 처리하는 신호 처리 회로에 있어서,

상기 휘도 신호의 레벨을 검출하는 레벨 검출부와,

상기 휘도 신호의 이득을 제어하는 이득 제어부와,

상기 레벨 검출부에서 검출하는 레벨의 변동에 따라 상기 이득 제어부의 제어 빈도를 변경하는 빈도 제어부

를 포함하는 것을 특징으로 하는 신호 처리 회로.
제5항에 있어서, 상기 제어 빈도는 상기 레벨이 상승한 경우에 변경되는 것을 특징으로 하는 신호 처리 회로.
제5항에 있어서, 상기 제어 빈도의 변경 비율은 상기 레벨 변화의 비율에 의존하여 변경되는 것을 특징으로 하는 신호 처리 회로.
제1항 또는 제5항에 기재한 신호 처리 회로를 구비한 전자 카메라.
촬상 소자로부터의 화상 신호를 기록하는 촬상 방법에 있어서,

상기 촬상 소자로부터 휘도 신호를, 표시 디바이스의 휘도 특성과는 반대 방향이 되는 특성의 보정을 부여하고,

상기 촬상 소자로부터의 휘도 신호로서, 보정 단계에서 보정을 받기 전의 휘도 신호에 기초하여, 상기 촬상 소자로부터의 휘도 신호의 이득 제어를 행하며,

상기 보정 단계에서 보정을 받기 전의 휘도 신호란, 상기 보정 단계에서 보정된 후의 신호에 대하여, 상기 보정 단계의 휘도 특성과는 반대 방향이 되는 특성을 부여한 후의 신호인 것을 특징으로 하는 촬상 방법.
촬상 소자로부터의 화상 신호를 기록하는 촬상 방법에 있어서,

휘도 신호의 레벨을 검출하고,

상기 휘도 신호의 이득을 제어하며,

레벨 검출부에서 검출하는 레벨의 변동에 따라, 이득 제어부의 제어 빈도를 변경하는 것을 특징으로 하는 촬상 방법.