KR20060121775A

KR20060121775A - 화상 신호 처리 장치

Info

Publication number: KR20060121775A
Application number: KR1020060100326A
Authority: KR
Inventors: 다쯔야 다까하시; 도모미찌 나까이; 도시오 나까꾸끼
Original assignee: 산요덴키가부시키가이샤
Priority date: 2004-01-23
Filing date: 2006-10-16
Publication date: 2006-11-29
Also published as: US7843498B2; KR20050076828A; TW200526014A; CN100342718C; KR100671369B1; TWI256244B; CN1645899A; JP4318553B2; US20050185223A1; KR100711671B1; JP2005210442A

Abstract

촬상 소자에 의해 생성된 화상 신호를 처리하는 화상 신호 처리 장치에서, 노광 시간이 길게 되면, 노이즈가 증가한다. 윤곽 보정 회로가 화상 신호의 특정 주파수 성분을 추출하여 윤곽 보정 신호를 생성한다. 게인 제어 회로는 화상 신호를 취득할 때의 촬상 소자에서의 노광 시간에 따라 윤곽 보정 신호의 게인을 변화시킨다.

촬상 소자, 화상 신호, 노광 시간, 노이즈, 윤곽 보정 회로, 게인 제어 회로

Description

화상 신호 처리 장치{IMAGE SIGNAL PROCESSING APPARATUS}

도 1은 본 발명의 실시예인 화상 신호 처리 장치의 구성을 도시하는 개략 블록도.

도 2는 필터 회로 및 필터 제어 회로의 일례의 개략적인 회로 구성을 도시하는 블록도.

도 3은 LPF의 투과 특성을 도시하는 주파수 특성도.

도 4는 필터 회로 및 필터 제어 회로의 다른 구성의 개략적인 회로 구성을 도시하는 블록도.

도 5는 윤곽 보정 회로 및 게인 제어 회로의 개략적인 회로 구성을 도시하는 블록도.

도 6은 종래의 화상 신호 처리 장치의 구성을 도시하는 블록도.

<도면의 주요 부분에 대한 부호의 설명>

20 : 촬상 소자

22 : 아날로그 신호 처리 회로

24 : A/D 변환 회로

26 : 디지털 신호 처리 회로

28 : 필터 회로

30 : 감마 보정 회로

32 : 필터 제어 회로

34 : 윤곽 보정 회로

36 : 게인 제어 회로

38 : 가산기

40, 42 : LPF

44, 74 : 셀렉터

60, 98 : 비교기

70 : 라인 메모리

72 : 중간값 산출 회로

90 : BPF

92 : 코어링 회로

94 : 게인 회로

96 : 클립 회로

본 발명은 촬상 소자에 의해 생성된 화상 신호를 처리하는 화상 신호 처리 장치에 관한 것으로, 특히 촬상 소자에서의 노광 시간에 따른 노이즈를 억제하는 기술에 관한 것이다.

디지털 카메라 등의 촬상 장치에서는 피사체의 밝기에 따라 자동적으로 또는 수동으로 노광 시간을 조절함으로써 적합한 신호 레벨의 화상 신호를 얻을 수 있다.

도 6은 촬상 소자에 의해 생성된 화상 신호를 처리하는 종래의 화상 신호 처리 장치의 구성을 도시하는 블록도이다. CCD(Charge Coupled Device : 전하 결합 소자) 이미지 센서 등의 촬상 소자(2)로부터 출력된 화상 신호는, 아날로그 신호 처리 회로(4)에서의 처리 후, A/D 변환 회로(6)에서 디지털 데이터로 변환되어 디지털 신호 처리 회로(8)에 입력된다. 디지털 신호 처리 회로(8)는 모아레의 원인으로 되는 노이즈를 제거하기 위해 저역 통과 필터(LPF)(10)를 구비한다. LPF(10)는 수직, 수평의 각 방향에 관하여 샘플링 주파수의 1/2의 주파수 성분을 트랩한다. LPF(10)의 출력에 대해서는 감마 보정 회로(12)에서 계조 보정 처리가 실시된다. 또한, 자동 노광 제어 동작에서 디지털 신호 처리 회로(8)는 1 프레임의 화상 신호의 적분값을 구하고, 그것이 적정 레벨로 되도록 노광 시간을 피드백 제어한다.

윤곽 보정 회로(14)는, 화질 조정의 하나인 윤곽 강조 처리를 행한다. 윤곽 강조 처리의 원리는, 화상 중의 엣지부에서 크게 흔들리는 화상 신호의 2차 미분 파형을 구하고, 이것에 적당한 게인을 곱하여, 원래의 화상 신호에 합성한다고 하는 것이다.

피사체가 어둡게 되면, 그에 따라 촬상 소자에서의 노광 시간도 길게 설정된 다. 노광 시간이 길게 되면, 암 전류에 기인하는 쇼트 잡음이 증가한다고 하는 문제가 있었다. 또한, 윤곽 강조 처리에서는 쇼트 잡음의 상승, 하강도 엣지로서 검출되어 윤곽 강조된다. 이와 같이 윤곽 강조를 행하는 경우에는, 쇼트 잡음이 화면 상에서 눈에 띄도록 표시되기 때문에, 노광 시간의 증가에 수반하는 쇼트 잡음의 증가에 의한 화질 열화가 현저하게 된다.

본 발명은 상기 문제점을 해소하기 위해 이루어진 것으로, 촬상 소자에 의해 생성된 화상 신호를 처리하는 화상 신호 처리 장치에서, 노광 시간의 증가에 수반하는 화질 열화를 억제하는 것을 목적으로 한다.

본 발명에 따른 화상 신호 처리 장치는 화상 신호에 포함되는 노이즈 성분을 감쇠하는 회로로서, 상기 노이즈 성분에 대한 감쇠 특성을 가변하는 필터 회로와, 상기 화상 신호를 취득할 때의 촬상 소자에서의 노광 시간에 따라 상기 필터 회로의 상기 감쇠 특성을 선택하는 필터 제어 회로를 포함한다.

본 발명의 적합한 양태는, 상기 필터 회로가 디지털 필터로 구성된 저역 통과 필터이고, 상기 필터 제어 회로가, 상기 디지털 필터의 탭 계수를 변경하여 상기 저역 통과 필터의 컷 오프 주파수를 변경하는 화상 신호 처리 장치이다.

본 발명의 다른 적합한 양태는, 상기 필터 회로가 메디안 필터 처리 기능을 갖고, 상기 필터 제어 회로가 메디안 필터 처리를 실행할지의 여부 또는 메디안 필터의 필터 사이즈를 전환하는 화상 신호 처리 장치이다.

본 발명에 따른 또 다른 화상 신호 처리 장치는, 화상 신호의 특정 주파수 성분을 추출하여 윤곽 보정 신호를 생성하는 윤곽 보정 회로와, 상기 화상 신호를 취득할 때의 촬상 소자에서의 노광 시간에 따라 상기 윤곽 보정 신호의 게인을 변화시키는 게인 제어 회로를 포함한다.

<실시예>

이하, 본 발명의 실시예(이하, 실시예라고 함)에 대하여, 도면에 기초하여 설명한다.

도 1은 본 발명의 실시예인 화상 신호 처리 장치의 구성을 도시하는 개략 블록도로서, 촬상 소자(20)로부터 출력된 화상 신호에 기초하여, 계조 보정 및 윤곽 보정된 화상 데이터를 생성한다. 여기서는, 촬상 소자(20)는 CCD 이미지 센서이고, 촬상 소자(20)로부터 출력되는 화상 신호 Y0(t)는 아날로그 신호 처리 회로(22)에 입력된다. 아날로그 신호 처리 회로(22)는 샘플 홀드, 자동 이득 제어(AGC : Auto Gain Control) 등의 처리를 화상 신호 Y0(t)에 실시하여, 소정의 포맷에 따르는 화상 신호 Y1(t)를 생성한다. A/D 변환 회로(24)는 아날로그 신호 처리 회로(22)로부터 출력되는 화상 신호 Y1(t)를 디지털 데이터로 변환하여, 화상 데이터 D0(n)을 출력한다. 디지털 신호 처리 회로(26)는 A/D 변환 회로(24)로부터 화상 데이터 D0(n)을 취득하고, 각종 처리를 행한다.

여기서는, 디지털 신호 처리 회로(26)는 모와레 노이즈, 랜덤 노이즈, 횡단 노이즈 등의 노이즈 성분을 제거하기 위해 저역 통과 필터인 필터 회로(28)를 구비하고, 감마 보정 회로(30)는 필터 회로(28)로부터의 화상 신호에 대하여 비선형 변환 특성에 기초하여 신호 레벨을 변환하는 처리를 행한다. 필터 회로(28)는 투과 특성을 변화시킬 수 있고, 이에 따라 노이즈 성분에 대한 감쇠 특성이 변한다. 필터 제어 회로(32)는 화상 신호의 신호 레벨에 기초하여 필터 회로(28)의 투과 특성의 변경 제어를 행한다.

또한, 디지털 신호 처리 회로(26)는, 윤곽 보정 신호를 생성하는 윤곽 보정 회로(34)를 구비하고, 게인 제어 회로(36)는 촬상 소자(20)의 노광 시간에 기초하여 윤곽 보정 신호의 게인을 가변 제어한다. 또한, 디지털 신호 처리 회로(26)는 색 분리 등의 다른 신호 처리를 행할 수 있지만, 여기서는 설명을 생략한다.

도 2는 필터 회로(28) 및 필터 제어 회로(32)의 개략적인 회로 구성을 도시하는 블록도이다. 필터 회로(28)는, 투과 특성이 서로 다른 2개의 LPF(40, 42)와, 이들의 출력 중 어느 하나를 선택하는 셀렉터(44)를 포함하여 구성된다. LPF(40, 42)는 각각 수직 방향에 관한 LPF(VLPF)와 수평 방향에 관한 LPF(HLPF)를 포함하여 구성된다.

LPF(40, 42)의 어느 것의 VLPF도, 수직 샘플링 주파수 fv의 1/2을 중심으로 하는 주파수 성분을 트랩하고, 또한 LPF(40, 42)의 어느 것의 HLPF도, 수평 샘플링 주파수 fh의 1/2을 중심으로 하는 주파수 성분을 트랩한다. 도 3은 LPF(40, 42)의 각각의 투과 특성의 일례를 도시하는 주파수 특성도로서, 샘플링 주파수 f는 수직 샘플링 주파수 fv 또는 수평 샘플링 주파수 fh를 의미한다. LPF(40, 42)의 어느 것이나 샘플링 주파수 f의 1/2에서 극소점을 갖고, 그 근방에서 출력 신호를 감쇠시키지만, 감쇠되는 대역 폭이 상위하다. LPF(40)의 특성(50)은 필터링에서 화상 해상도를 손상하지 않도록 하기 위해서 컷 오프 주파수를 높게 설정하고, 그 결과, f/2에서 급준한 감쇠 특성을 갖는다. 한편, LPF(42)의 특성(52)은 특성(50)에 비해 컷 오프 주파수를 낮게 하여, 완만한 감쇠 특성을 갖도록 설정된다. 그 결과, LPF(42)는 보다 넓은 대역에서 감쇠를 일으켜, LPF(40)에 비해 노이즈 성분에 대한 높은 감쇠도를 갖는다. 첨언하면, LPF(40, 42)는 디지털 필터로 구성할 수 있고, 그 탭 계수를 변경함으로써 특성(50, 52)을 실현할 수 있다.

필터 제어 회로(32)는 비교기(60)를 포함하여 구성된다. 비교기(60)에는, 촬상 소자(20)의 구동을 제어하는 타이밍 제어 회로(도시 생략)에 설정되는 노광 시간 E가 입력되고, 비교기(60)는 이 노광 시간 E와 임계값 데이터 R을 비교하여, 예를 들면, E≥R의 경우에는 논리값 "H"를 출력하고, E<R의 경우에는 논리값 "L"을 출력한다. 여기서, 임계값 시간을 나타내는 R은 화상 신호에 포함되는 노이즈 성분량에 기초하여 설정된다. 노광 시간의 증가와 함께, 암 전류가 증가하는 것에 수반하여, 통상적으로, 화상 신호 중의 노이즈 성분량도 증가한다. 따라서, 예를 들면, 노이즈량이 허용 상한으로 되는 경우의 노광 시간을 미리 측정하고, 이것을 R로서 설정할 수 있다. 또한, 유저가 화면에서 노이즈가 눈에 띄는지의 여부를 관찰하고, 그 결과에 기초하여 R을 조절할 수 있도록 구성하여도 된다.

셀렉터(44)는, 비교기(60)의 출력이 H인 경우에는, 현재의 프레임의 화상 신호에 대하여, 노이즈 성분에 대한 감쇠도가 비교적 높은 LPF(42)를 선택하고, 그 출력을 감마 보정 회로(30)에 전달한다. 한편, 셀렉터(44)는, 비교기(60)의 출력이 L인 경우에는, 현재의 프레임의 화상 신호에 대하여, 노이즈 성분에 대한 감쇠도가 비교적 낮게 해상도가 확보되는 LPF(40)를 선택하고, 그 출력을 감마 보정 회 로(30)에 전달한다.

첨언하면, 디지털 신호 처리 회로(26)는 각 프레임의 화상 신호를 적분하고, 그 적분값이 목표 범위보다 하회하고 있는 경우에는 노광 시간을 연장하고, 한편, 목표 범위를 상회하고 있는 경우에는 노광 시간을 단축하는 피드백 제어를 행하는 자동 노광 제어를 행할 수 있다.

도 4는 필터 회로(28) 및 필터 제어 회로(32)의 다른 구성의 개략적인 회로 구성을 도시하는 블록도이다. 이 구성에서는, 필터 회로(28)는, 라인 메모리(70-1∼70-3) 및 중간값 산출 회로(72)로 구성되는 메디안 필터, 및 메디안 필터의 출력과 해당 메디안 필터를 통하지 않는 화상 신호 중 어느 하나를 선택하는 셀렉터(74)를 포함하여 구성된다. 필터 제어 회로(32)는 도 2에 도시하는 바와 마찬가지로 비교기(60)를 포함하여 구성되고, 비교기(60)의 출력에 의해 셀렉터(74)가 전환된다.

여기서는, 메디안 필터의 필터 사이즈는 3×3 화소이고, 그것에 대응하여 연속하는 3행분의 화상 데이터를 유지하는 라인 메모리(70-1∼70-3)가 이용된다. 라인 메모리(70-1∼70-3)는 상호 직렬로 접속되고, 라인 메모리(70-1)에 입력된 1행분의 화상 데이터는 후속 행의 입력에 연동하여, 순차적으로 라인 메모리(70-2, 70-3)로 이동된다. 중간값 산출 회로(72)는 라인 메모리(70-1∼70-3)로부터 3×3 화소의 화소 영역을 구성하는 9 화소분의 화상 데이터를 취득하고, 이들의 중앙값을 해당 화소 영역의 중심 화소의 값으로서 셀렉터(74)에 출력한다. 그 한편, 셀렉터(74)에는 라인 메모리(70-2)로부터 해당 중심 화소의 본래의 화상 데이터가 입 력된다.

필터 제어 회로(32)의 비교기(60)는, 노광 시간 E와 임계값 R과의 비교 결과가 E<R인 경우에는 셀렉터(74)를 제어하여 셀렉터(74)로부터 감마 보정 회로(30)에 중심 화소의 본래의 화상 데이터를 출력시키고, 한편, E≥R의 경우에는 중간값 산출 회로(72)의 출력값을 셀렉터(74)로부터 출력시킨다.

또한, 여기서는, 필터 사이즈가 3×3 화소인 메디안 필터의 출력과 메디안 필터 처리를 실시하지 않는 본래의 화상 데이터 중 어느 하나를 선택하는 구성으로 하였지만, 필터 사이즈가 서로 다른 복수의 메디안 필터를 구비하고, 이들의 출력을 필터 제어 회로(32)에 의한 노광 시간의 판정 결과에 기초하여 선택하는 구성으로 하는 것도 가능하다. 예를 들면, 필터 사이즈가 3×3 화소인 메디안 필터와, 5×5 화소인 메디안 필터를 구비하고, 필터 제어 회로(32)는, E<R의 경우에는 필터 사이즈 3×3 화소의 메디안 필터의 출력을 선택하고, 한편, E≥R의 경우에는 보다 노이즈 제거 효과가 큰 5×5 화소의 메디안 필터의 출력을 선택하도록 구성할 수 있다.

또한, 필터 회로(28)는, 도 2에 도시하는 LPF를 전환하는 구성과 도 4에 도시하는 메디안 필터를 이용하는 구성을 조합한 것으로 하는 것이 가능하다. 예를 들면, 셀렉터(44)의 출력을 라인 메모리(70-1)의 입력에 접속하고, 양 구성을 조합할 수 있다.

도 5는 윤곽 보정 회로(34) 및 게인 제어 회로(36)의 개략적인 회로 구성을 도시하는 블록도이다. 입력된 화상 데이터는 대역 통과 필터(BPF)(90)에 입력되 고, BPF(90)는 특정 대역의 주파수 성분을 추출하여, 화상 신호의 2차 미분 파형에 따른 신호를 출력한다. 이 추출 처리에서는 노이즈 펄스가 발생하기 쉽다. 이 노이즈를 제거하기 위해 코어링 회로(92)가 설치된다. 코어링 회로(92)는 진폭이 소정의 임계값을 초과하는 펄스만을 투과하고, 그것 이하의 펄스는 노이즈라고 하여 제거한다. 코어링 회로(92)를 투과한 펄스는 게인 회로(94)에서 소정의 게인이 곱해진다. 여기서, 2차 미분 파형은 휘도 신호의 상승, 하강의 급준함에 따른 진폭을 일으킨다. 즉, 화상의 엣지가 샤프하면, 그만큼 윤곽 강조의 정도도 강하게 된다. 그러나, 지나치게 강한 윤곽 강조는 화상을 부자연스럽게 한다. 이를 방지하기 위해, 클립 회로(96)가 설치되어 있다. 클립 회로(96)는, 게인 회로(94)에서 게인 조정된 2차 미분 파형의 진폭이, 설정된 상한, 하한을 초과하는 경우, 해당 파형을 그 상한, 하한에서 클립한다.

게인 제어 회로(36)는 비교기(98)를 포함하여 구성된다. 비교기(98)에는 노광 시간 E가 입력되고, 비교기(98)는 이 노광 시간 E와 임계값 데이터 R'을 비교하여, 예를 들면 E≥R'의 경우에는 논리값 "H"를 출력하고, E<R'의 경우에는 논리값 "L"을 출력한다. 여기서, 임계값 R'은 화상 신호에 포함되는 노이즈 성분량에 기초하여 설정된다. 예를 들면, 노이즈량이 허용 상한으로 되는 경우의 노광 시간을 미리 측정하고, 이것을 R'으로서 설정할 수 있다. 또한, 유저가 화면의 관찰 결과에 기초하여 R'을 조절할 수 있도록 구성할 수도 있다.

비교기(98)의 출력은 게인 회로(94)에 입력된다. 게인 회로(94)는, 비교기(98)의 출력이 H인 경우에는, 현재의 프레임의 화상 신호에 대하여, 통상의 게인 G0보다 낮은 게인 G1을 설정하고, 한편, 비교기(98)의 출력이 L인 경우에는, 현재의 프레임의 화상 신호에 대하여, 통상의 게인 G0를 설정한다.

여기서, 윤곽 보정 회로(34)의 입력 화상 데이터는, 예를 들면 도 1에 도시하는 바와 같이 필터 회로(28)의 출력을 이용한다. 윤곽 보정 회로(34)에 의해 생성된 윤곽 보정 신호는 가산기(38)에 의해 감마 보정 회로(30)로부터 출력된 화상 신호와 합성되어, 예를 들면 표시 장치 등으로 출력된다. 상술한 바와 같이, 본 장치에서는 노광 시간 E가 R' 이상이며 암 전류에 기인한 노이즈량이 많게 될 수 있는 경우에 윤곽 보정 신호의 게인이 통상보다 낮아지고, 그 결과, 가산기(38)에서 합성된 화상 신호를 화면에 표시한 경우에 노이즈가 눈에 띄지 않게 된다.

상기 구성에서는, 필터 제어 회로(32) 및 게인 제어 회로(36)에서는 각각 1개의 임계값 R 또는 R'을 설정하고, 이 임계값에 의해 노광 시간을 2개의 구간으로 분할하였지만, 2개 이상의 임계값을 설정하고 3개 이상의 구간으로 분할하여도 된다. 이 경우, 각 구간마다, 노이즈 성분의 감쇠도가 서로 다른 필터를 셀렉터로 선택하거나, 윤곽 보정 신호의 게인을 변경하도록 구성한다.

이상의 설명은 단지 단색의 CCD 이미지 센서를 염두에 둔 것이지만, 본 발명의 화상 신호 처리 장치는, 복수색으로 이루어지는 컬러 필터를 탑재한 CCD 이미지 센서로부터 출력되는 화상 신호에 대하여도 적용할 수 있다. 예를 들면, 모자이크 컬러 필터를 탑재한 이미지 센서로부터의 화상 신호를 처리하는 경우에는, 필터 제어 회로(32)에서의 신호 레벨의 판정, LPF(40, 42)에서의 필터링, 및 중간값 산출 회로(72)에서의 메디안 필터 처리는, 휘도 신호에 대하여 행하거나, 수직 방향, 수 평 방향에 각각 주기적으로 배치되는 동일한 색에 대응하는 화소를 이용하여 행하도록 구성할 수 있다.

본 발명에 따르면, 암 전류에 기인하는 쇼트 잡음이 노광 시간에 따라 변화하는 것에 대응하여, 노이즈 성분을 감쇠시키는 필터 회로의 감쇠 특성도 노광 시간에 따라 변화된다. 예를 들면, 노광 시간이 소정 기준값보다 길게 되는 경우에는, 필터 제어 회로가 필터 회로의 감쇠 특성을 노이즈 성분에 대한 감쇠 능력을 높이는 것으로 변경한다. 이에 따라, 노이즈 성분이 허용되는 노광 시간에서의 촬영에서는, 노이즈 성분에 대한 감쇠 능력이 비교적 낮은 감쇠 특성을 설정하여 적합한 해상도를 유지하고, 한편, 노이즈 성분이 크게 되는 노광 시간에서의 촬영에서는, 노이즈 성분에 대한 감쇠 능력이 비교적 높은 감쇠 특성을 설정함으로써, 노이즈에 의한 화질 열화를 적합하게 억제할 수 있다.

또한, 본 발명에 따르면, 윤곽 보정 신호의 게인이 노광 시간에 따라 변화된다. 예를 들면, 노광 시간이 소정 기준값보다 길게 되는 경우에는 게인을 낮춘다. 이에 따라, 노광 시간이 비교적 짧아 노이즈가 적은 경우에는 적합한 윤곽 강조를 행하는 한편, 노광 시간이 비교적 길어 노이즈가 많은 경우에는 윤곽 강조의 정도를 낮춤으로써, 윤곽 강조에 의해 노이즈가 눈에 띄는 것을 완화하여 화질 열화를 억제할 수 있다.

Claims

촬상 소자에 의해 생성된 화상 신호와 윤곽 보정 신호를 합성하여 화상의 윤곽을 강조하는 화상 신호 처리 장치에 있어서,

상기 화상 신호의 특정 주파수 성분을 추출하여 상기 윤곽 보정 신호를 생성하는 윤곽 보정 회로와,

상기 화상 신호를 취득할 때의 상기 촬상 소자에서의 노광 시간에 따라 상기 윤곽 보정 신호의 게인을 변화시키는 게인 제어 회로

를 포함하는 것을 특징으로 하는 화상 신호 처리 장치.