KR20070068262A

KR20070068262A - 신호 처리 장치

Info

Publication number: KR20070068262A
Application number: KR1020060130785A
Authority: KR
Inventors: 료타 코사카이
Original assignee: 소니 가부시키가이샤
Priority date: 2005-12-26
Filing date: 2006-12-20
Publication date: 2007-06-29
Also published as: EP1802104A2; JP2007174560A; CN1992823A; TW200810542A; CN100512394C; JP4320657B2; US7750946B2; US7924319B2; US20100220219A1; US20070146495A1

Abstract

구동 주파수의 증가나 회로 면적의 확대를 수반하는 일 없이, 일정(一定; predetermined) 시간내에 적절한 처리를 보상(補償)함과 동시에, 화질의 열화(劣化; degradation)를 일으키지 않도록 하는 것을 과제로 한다.

본 발명에서는, 고체 촬상 소자(固體撮像素子)(12)로부터 프로그레시브(progressive) 방식으로 판독출력(讀出; readout; 읽어냄)된 화상(프로그레시브 화상)에 대해서는, 후단(後段)의 구성의 구동 주파수를 억제하기 위해서, 프로그레시브 화상인 채(화상 그대로), 초단(初段)의 해상도 변환 처리부인 해상도 변환 처리부(25-1)에서 축소 처리가 행해진다. 축소 처리에 의해 얻어진 프로그레시브 화상에 대해서는, 출력 포맷에 준거(則)한 사이즈의 절출(切出; cut out; 잘라냄) 처리 및, 인터레이스(interlace) 처리가 후단의 해상도 변환 처리부인 해상도 변환 처리부(25-2)에서 행해지고, 그들 처리에 의해 얻어진 화상이 출력된다. 본 발명은, 촬상한 화상을 처리하는 디지털 비디오 카메라에 적용할 수가 있다.

신호 처리 장치,　고체 촬상 소자,　카메라 신호 처리부,　보정 처리부,　비의존 보정 처리부,　동시화 처리부,　해상도 변환 처리부.

Description

신호 처리 장치{SIGNAL PROCESSING APPARATUS}

도 1은 종래의 디지털 비디오 카메라 전체의 구성 중의 신호 처리계의 시스템의 구성예를 도시하는 블록도,

도 2는 종래의 신호 처리계의 시스템의 다른 구성예를 도시하는 블록도,

도 3은 본 발명의 1실시형태에 관련된 디지털 비디오 카메라 전체의 구성 중의 신호 처리계의 시스템의 구성예를 도시하는 블록도,

도 4는 신호 처리 시스템(1)의 다른 구성예를 도시하는 블록도,

도 5는 신호 처리 시스템(1)의 또 다른 구성예를 도시하는 블록도,

도 6은 화상의 해상도 추이의 예를 도시하는 도면,

도 7은 화상의 해상도 추이의 다른 예를 도시하는 도면.

[부호의 설명]

1: 신호 처리 장치,　11:　렌즈,　12:　고체 촬상 소자,　13:　A/D 컨버터,　14:　카메라 신호 처리부,　21:　보정 처리부(회소에 의존하는 보정 처리부),　22: 비의존 보정 처리부(화소에 의존하지 않는 보정 처리부),　23: 동시화 처리부,　24:　변조, YC 변환 처리부,　25:　해상도 변환 처리부.

본 발명은, 신호 처리 장치에 관한 것으로서, 특히 고체 촬상 소자(固體撮像素子)의 다화소화(多畵素化)가 진행된 경우에서도, 구동 주파수의 증가나 회로 면적의 확대를 수반하는 일없이, 일정 시간내에 적절한 처리를 보상(補償)함과 동시에, 화질의 열화(劣化; degradation)를 일으키지 않도록 한 신호 처리 장치에 관한 것이다.

근년(近年; 최근)에, 하나의 고체 촬상 소자를 이용해서 디지털 동화상(動畵像; moving images)을 기록하는 장치(예를 들면, 단판식(單板式; single-chip) 디지털 비디오 카메라), 혹은 복수(複數)의 고체 촬상 소자를 이용해서 디지털 동화상을 기록하는 장치(예를 들면, 3판식(三板式; triple-chip) 디지털 비디오 카메라)에서, 그 시스템이 가지는 고체 촬상 소자의 다화소화가 진행되고 있다.

이와 같은 다화소화가 진행되고 있는 상황에서도, 이들 동영상 촬상 시스템에서는, 그의 출력이 텔레비전 신호 표준 규격(예를 들면, NTSC(National Television System Committee), PAL(Phase Alternation by Line), SECAM(SEquential Couleur A Memoire) 등)에 의해서 규정되어 있기 때문에, 일정(一定; predetermined) 시간내에서 결정된 필드 주파수(혹은 프레임 주파수), 수평 해상도, 수직 해상도를 보상하고, 적절히 처리하지 않으면 안된다.

고체 촬상 소자로부터 얻어지는 화상의 화소수(畵素數)(해상도)가 적은 경 우, 일반적으로, 도 1에 도시되는 바와 같은 구성에 의해서, 그와 같은 적절한 처리가 실현된다.

도 1은, 종래의 디지털 비디오 카메라 전체의 구성 중의 신호 처리계(處理系)의 시스템의 구성예를 도시하는 블록도이다.

도 1에 도시되는 바와 같이, 신호 처리 시스템(1)은, 기본적으로, 렌즈(11), 고체 촬상 소자(12), A/D(Analog/Digital) 컨버터(13), 카메라 신호 처리부(14)로 구성된다. 그 중의 카메라 신호 처리부(14)는, 화소에 의존(依存)하는 보정 처리부(21)(이하, 단지 보정 처리부(21)라고 한다), 화소에 의존하지 않는 보정 처리부(22)(이하, 비의존(非依存) 보정 처리부(22)라고 한다), 동시화(同時化; synchronization) 처리부(23), 변조, YC 변환 처리부(24) 및, 해상도 변환 처리부(25)로 구성된다.

여기서, 화소에 의존하는 보정 처리부(21)라 함은, 고체 촬상 소자(12)를 이용한 디지털 비디오 카메라에서, 고체 촬상 소자(12)의 각 화소 중, 광이 입사(入射; incident)되고 있지 않은 상태에서도 특이(特異; abnormal)한 레벨의 신호를 출력하는 이른바 결함(缺陷; defective) 화소를 고려해서 보정을 행하는 것이다. 이것에 의해, 촬상해서 얻은 화상의 화질이 열화한 경우에도, 이 화소에 의존하는 보정 처리부(21)에 의해서 고체 촬상 소자(12)의 어느 화소가 결함 화소인지를 검사(檢査)하고, 그 검사의 결과 얻어지는 결함 화소가 보정된다.

렌즈(11)는, 피사체로부터의 광 L1을 광 L2로서 고체 촬상 소자(12) 위(上)에 초점맞춤(合焦; focus)시킨다.

고체 촬상 소자(12)는, CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 등으로 이루어지고, 렌즈(11)를 거쳐서 입사하는 피사체로부터의 광 L1(광 L2)을 수광(受光)해서 광전(光電; photoelectric) 변환을 행하고, 수광량에 따른 전기(電氣) 신호로서의 아날로그 화상 신호(E1)를 A/D 컨버터(13)에 출력한다. 고체 촬상 소자(12)의 표면에는 각각의 화소를 구성하는 수광 소자마다 적(赤)(R), 녹(綠)(G), 청(靑)(B)의 OCCF(On Chip Color Filter)가 구비되어 있으며, 집광(集光; focus)된 광(L2) 중, 각 OCCF의 투과 색 성분만이 화소마다 광전 변환된다.

A/D 컨버터(13)는, 고체 촬상 소자(12)로부터 공급된 아날로그 신호(E1)를 디지털 신호(S1)로 변환하고, 디지털 신호(S1)를 카메라 신호 처리부(14)(보정 처리부(21))에 출력한다.

카메라 신호 처리부(14) 중의 보정 처리부(21)는, 화소에 의존하는 보정 처리로서, 예를 들면 화소 결함 보정 처리(특허 문헌 1), 채널차(差; difference) 조정 게인(gain) 처리(특허 문헌 2), 화소 단위로의 노이즈 축소 처리(특허 문헌 3) 등을 디지털 신호(S1)에 대해서 행하고, 얻어진 신호(S2)를 비의존 보정 처리부(22)에 출력한다.

특허 문헌 1에는, 필드 판독출력(讀出; readout; 읽어냄) 모드와 프레임 판독출력 모드를 선택적으로 전환(切換; switching) 가능한 비디오 카메라에서, 결함 화소의 검출을 행하는 모드가 설정되어 있을 때에는, 강제적으로, 촬상 소자의 판독출력 모드를 프레임 판독출력 모드로 하는 기술이 개시되어 있다.

특허 문헌 2에는, 1화면분(畵面分)의 화소 정보를 라인 단위로 판독출력하고, 라인 단위로 판독출력한 화소 정보를 좌우(左右) 2채널로 분할해서 출력하는 CCD 이미지 센서를 구비하는 장치가 개시되어 있다. 이 장치에서는, CCD 이미지 센서로부터 판독출력된 화소 데이터의 흑(黑; black)레벨을 좌우 독립적으로 검출하고, 채널마다 흑레벨을 보정한다고 하는 것 등이 행해진다.

특허 문헌 3에는, 노이즈 리덕션(noise reduction; 저감, 감소)를 행하는 대상(對象)인 주목(注目; target) 화소와 주목 화소 주변(周邊; peripheral)에 위치하는 주변 화소와의 화소 사이에서 평활화(平滑化; smoothing) 및 보간(補間; interpolation) 처리를 행한 후에 2차 미분(微分)을 행하고, 그 2차 미분의 결과를 임계값(threshold value)과 비교해서, 주변 화소가 노이즈 리덕션에 사용할 수 있는 화소인지 사용할 수 없는 화소인지를 판별하고, 노이즈 리덕션에 사용할 수 있다고 판별된 화소를 이용해서 노이즈 리덕션을 행하는 기술이 개시되어 있다.

도 1의 설명으로 되돌아가서, 비의존 보정 처리부(22)는, 보정 처리부(21)로부터 공급된 신호(S2)에 대해서, 예를 들면 면내(面內) 각 색 모두 균일(均一; uniform)한 게인을 행하는 디지털 게인 처리나, 면내 균일하고 각 색 독립적으로 게인을 행하는 화이트 밸런스 게인 처리 등의 처리를 행하고, 얻어진 신호(S3)를 동시화 처리부(23)에 출력한다.

동시화 처리부(23)는, 신호 S3에 의거(基)해서, 공간 위상(空間位相)이 일치(match)한 R, G, B 신호를 화소마다 생성하고, 생성한 R, G, B 신호를 변조, YC 변환 처리부(24)에 출력한다. 신호 처리 시스템(1)이 단판식의 시스템인 경우, 신호 S3은 색마다 공간 샘플링 포인트가 다르기(異) 때문에, 고체 촬상 소자(12)의 OCCF 배치 패턴에 의존한 동시화 처리(공간 위상을 일치시키는 처리)가 동시화 처리부(23)에서 행해진다.

변조, YC변환 처리부(24)는, 동시화 처리부(23)로부터 공급된 R, G, B신호를 대상으로 해서 고화질화(高畵質化) 처리, 1/γ 처리, Y신호 생성 처리, C신호 생성 처리 등을 행하고, 얻어진 비디오 신호(Y1, C1)를 해상도 변환 처리부(25)에 출력한다.

해상도 변환 처리부(25)는, 변조, YC 변환 처리부(24)로부터 공급된 비디오 신호(Y1, C1)를 출력 포맷에 준거(則)한 신호로 변환하는 처리를 행하고, 얻어진 비디오 신호(Y2, C2)를 외부에 출력한다. 해상도 변환 처리부(25)에서는, 예를 들면 해상도 변환, 인터레이스 처리(프로그레시브(progressive) 방식의 화상 신호를 인터레이스 방식의 화상 신호로 변환하는 처리), 유효 화상 영역의 절출(切出; cut out; 잘라냄) 처리(예를 들면, 손흔들림(手振; blurriness) 보정용 처리 마진을 제외한, 유효한 영역만을 절출하고, 출력하는 처리가 출력 포맷에 준거한 변환 처리로서 행해진다.

해상도 변환 처리부(25)로부터 출력된 신호는, 동화상을 기록하기 위한 신호로서, 혹은 취입(取入; capturing)중인 화상을 표시하기 위한 신호로서 후단에 설치(設; provide)되는 도시하지 않은 처리부에서 이용된다.

도 2는, 종래의 신호 처리 시스템(1)의 다른 구성예를 도시하는 블록도이다. 도 1의 구성과 대응하는 구성에는 같은 부호를 붙이고 있다. 중복되는 설명에 대 해서는 적당히 생략한다.

도 2의 신호 처리 시스템(1)에서는, 도 1의 보정 처리부(21)에 의해 행해지는 처리가 보정 처리부(21-1)와 보정 처리부(21-2)에서 각각 병렬(竝列)해서 행해지고, 도 1의 비의존 보정 처리부(22)에 의해 행해지는 처리가 비의존 보정 처리부(22-1)와 비의존 보정 처리부(22-2)에서 각각 병렬해서(병렬로) 행해지도록 이루어져 있다.

즉, 도 1의 동시화 처리부(23)에 의해 행해지는 처리가 동시화 처리부(23-1)와 동시화 처리부(23-2)에서 각각 병렬해서 행해지고, 도 1의 변조, YC 변환 처리부(24)에 의해 행해지는 처리가 변조, YC 변환 처리부(24-1)와 변조, YC 변환 처리부(24-2)에서 각각 병렬해서 행해지도록 이루어져 있다.

즉, 도 2의 A/D 컨버터(13)는, 고체 촬상 소자(12)로부터 공급된 아날로그 신호(E1)를 디지털 신호로 변환하고, 변환해서 얻어진 디지털 신호를 디지털 신호(S1-1)와 디지털 신호(S1-2)의 2개의 신호로 나누고, 디지털 신호(S1-1)를 보정 처리부(21-1)에, 디지털 신호(S1-2)를 보정 처리부(21-2)에 각각 출력한다.

도 2의 해상도 변환 처리부(25)는, 변조, YC 변환 처리부(24-1)로부터 공급된 비디오 신호(Y1-1, C1-1)와 변조, YC 변환 처리부(24-2)로부터 공급된 비디오 신호(Y1-2, C1-2)에 의거해서 출력 포맷에 준거한 신호로 변환하는 처리를 행하고, 얻어진 비디오 신호(Y2, C2)를 외부에 출력한다.

또한, 도 2의 신호 처리 시스템(1)에서, 보정 처리부(21-1)에 의해 처리가 행해지는 것에 의해 얻어진 신호(S2-1)는 비의존 보정 처리부(22-1)에 공급되고, 보정 처리부(21-2)에 의해 처리가 행해지는 것에 의해 얻어진 신호(S2-2)는 비의존 보정 처리부(22-2)에 공급된다. 신호 S2-1과 신호 S2-2의 2개의 신호를 합친 신호가 도 1의 신호 S2에 대응한다.

또, 비의존 보정 처리부(22-1)에 의해 처리가 행해지는 것에 의해서 얻어진 신호(S3-1)는 동시화 처리부(23-1)에 공급되고, 비의존 보정 처리부(22-2)에 의해 처리가 행해지는 것에 의해서 얻어진 신호(S3-2)는 동시화 처리부(23-2)에 공급된다. 신호 S3-1과 신호 S3-2의 2개의 신호를 합친 신호가 도 1의 신호 S3에 대응한다.

마찬가지로, 동시화 처리부(23-1)에 의해 처리가 행해지는 것에 의해서 얻어진 R, G, B 신호는 변조, YC 변환 처리부(24-1)에 공급되고, 동시화 처리부(23-2)에 의해 처리가 행해지는 것에 의해서 얻어진 R, G, B 신호는 변조, YC 변환 처리부(24-2)에 공급된다. 동시화 처리부(23-1)에 의해 처리가 행해지는 것에 의해서 얻어진 R, G, B 신호와 동시화 처리부(23-2)에 의해 처리가 행해지는 것에 의해서 얻어진 R, G, B 신호의 2개의 신호를 합친 신호가 도 1의 R, G, B 신호에 대응한다.

변조, YC 변환 처리부(24-1)에 의해 처리가 행해지는 것에 의해서 얻어진 비디오 신호(Y1-1, C1-1)는 해상도 변환 처리부(25)에 공급되고, 변조, YC 변환 처리부(24-2)에 의해 처리가 행해지는 것에 의해서 얻어진 비디오 신호(Y1-2, C1-2)는 해상도 변환 처리부(25)에 공급된다. 비디오 신호(Y1-1, C1-1)와 비디오 신호(Y1-2, C1-2)를 합한 신호가 도 1의 비디오 신호(Y1, C1)에 대응한다.

이와 같이, 1개의 구성에서 행해지는 처리를 복수의 구성으로 분담(分擔)시켜서 병렬적으로 행하게 하는 것에 의해서, 카메라 신호 처리부(14)의 동작의 기준으로 되는 구동 주파수의 증가를 피하는 것이 가능하게 된다.

도 1, 도 2에 도시되는 바와 같이 , 종래의 신호 처리 시스템(1)에서는, 출력 포맷에 준거한 변환 처리는 일련(一連)의 처리의 최종 스텝에서 행해진다.

[특허 문헌 1] 일본 특개평(特開平) 제5-344426호 공보

[특허 문헌 2] 일본 특개(特開) 제2002-252808호 공보

[특허 문헌 3] 일본 특개 제2005-311455호 공보

이와 같이, 출력 포맷에 준거한 변환 처리가 일련의 처리의 최종 스텝에서 행해지는 구성을 채용한 경우, 고체 촬상 소자(12)의 다화소화가 진행되면, 그것에 따라서 시스템의 구동 주파수가 증가하고, 소비 전력이 커진다고 하는 문제가 생긴다. 고체 촬상 소자(12)의 다화소화에 의해서 처리 대상의 데이터의 양(量)이 많아지면, 같은 구성에서 그 처리를 맡아 처리(賄; compensate; 보정, 보상)하기 위해서는 구동 주파수를 올릴 필요가 있다.

또, 구동 주파수를 저감시키기 위해서 도 2에 되는 바와 같은 병렬 처리를 행하는 구성을 채용한 경우, 당연히, 같은 구성이 2개 필요하게 되기 때문에, 회로 규모를 증대시키고, 회로 면적의 확대로 이어진다(연결된다)고 하는 문제가 생긴다.

또, 카메라 신호 처리부(14)의 구동 주파수를 저감시키기 위해서, 고체 촬상 소자(12) 위에서 가산(加算) 판독출력 처리를 행하는 것에 의해서 실질적인 입력 화소수를 줄이는 것도 생각되지만, 이 경우, 가산에 의한 해상도의 열화나 고체 촬상 소자(12)의 화소 단위에 기인(起因)하는 화질의 열화를 보정할 수 없다고 하는 문제가 생긴다.

본 발명은 이와 같은 상황을 감안해서 이루어진 것이고, 고체 촬상 소자의 다화소화가 진행된 경우라도, 구동 주파수의 증가나 회로 면적의 확대를 수반하는 일없이, 일정 시간내에 적절한 처리를 보상함과 동시에, 화질의 열화를 일으키지 않도록 하는 것이다.

본 발명의 1측면의 신호 처리 장치는, 입력된 화상 신호에 신호 처리를 행하고, 신호 처리의 결과를 출력하는 신호 처리 장치에서, 상기 화상 신호의 출력원(出力元; output source)으로 되는 촬상 소자의 화소에 의존하는 보정 처리를 입력된 상기 화상 신호에 대해서 행하는 제1 보정 처리 수단과, 상기 촬상 소자의 화소에 의존하지 않는 보정 처리를 공급된 화상 신호에 대해서 행하는 제2 보정 처리 수단과, 공급된 화상 신호에 의거해서, 촬상된 화상을 나타내는, 공간 위상이 일치한 RGB 신호를 생성하는 동시화 처리 수단과, 공급된 화상 신호에 의거해서 휘도(輝度; luminance) 신호, 색(色; color) 신호를 생성하는 처리를 적어도 행하는 변환 수단과, 촬상된 화상을, 출력할 화상의 해상도와 같은 해상도의 화상으로 변환 하는 제1 해상도 변환 수단을 구비하고, 상기 제1 해상도 변환 수단은, 상기 제1 보정 처리 수단이 설치되는 위치보다 후단의 위치로서, 또한 상기 변환 수단이 설치되는 위치보다 전단의 위치에 설치된다.

유효 화소 범위의 화상을 절출하는 처리와, 프로그레시브 방식의 화상 신호를 인터레이스 방식의 화상 신호로 변환하는 처리 중의 적어도 어느것인가(one)를 행하고, 처리 결과를 상기 신호 처리의 결과로서 출력하는 제2 해상도 변환 수단을 더 설치할 수가 있다.

본 발명의 1측면에 있어서는, 촬상된 화상을 출력하는 화상의 해상도와 같은 해상도의 화상으로 변환하는 해상도 변환 수단이, 화상 신호의 출력원으로 되는 촬상 소자의 화소에 의존하는 보정 처리를 입력된 화상 신호에 대해서 행하는 보정 처리 수단이 설치되는 위치보다 후단의 위치로서, 또한 공급된 화상 신호에 의거해서 휘도 신호, 색 신호를 생성하는 처리를 적어도 행하는 변환 수단이 설치되는 위치보다 전단의 위치에 설치된다.

[발명을 실시하기 위한 최량의 형태]

이하에 본 발명의 실시형태를 설명하겠지만, 본 발명의 구성 요건과, 명세서 또는 도면에 기재된 실시형태와의 대응 관계를 예시하면, 다음과 같이 된다. 이 기재는, 본 발명을 서포트(뒷받침)하는 실시형태가, 명세서 또는 도면에 기재되어 있는 것을 확인하기 위한 것이다. 따라서, 명세서 또는 도면중에는 기재되어 있지만, 본 발명의 구성 요건에 대응하는 실시형태로서 여기에는 기재되지 않은 실시형 태가 있었다고 해도, 그것은 그 실시형태가, 그 구성 요건에 대응하는 것이 아닌 것을 의미하는 것은 아니다. 역(逆; 반대)으로, 실시형태가 발명에 대응하는 것으로서 여기에 기재되어 있었다고 해도, 그것은 그 실시형태가, 그 구성 요건 이외에는 대응하지 않는 것인 것을 의미하는 것도 아니다.

본 발명의 1측면의 신호 처리 장치는, 입력된 화상 신호에 신호 처리를 행하고, 신호 처리의 결과를 출력하는 신호 처리 장치(예를 들면, 도 3의 신호 처리 시스템(1))에 있어서, 상기 화상 신호의 출력원으로 되는 촬상 소자의 화소에 의존하는 보정 처리를 입력된 상기 화상 신호에 대해서 행하는 제1 보정 처리 수단(예를 들면, 도 3의 보정 처리부(21-1, 21-2))과, 상기 촬상 소자의 화소에 의존하지 않는 보정 처리를 공급된 화상 신호에 대해서 행하는 제2 보정 처리 수단(예를 들면, 도 3의 비의존 보정 처리부(22-1, 22-2))과, 공급된 화상 신호에 의거해서, 촬상된 화상을 나타내는, 공간 위상이 일치한 RGB 신호를 생성하는 동시화 처리 수단(예를 들면, 도 3의 동시화 처리부(23-1, 23-2))과, 공급된 화상 신호에 의거해서 휘도 신호, 색 신호를 생성하는 처리를 적어도 행하는 변환 수단(예를 들면, 도 3의 변조, YC 변환 처리부(24))와, 촬상된 화상을, 출력할 화상의 해상도와 같은 해상도의 화상으로 변환하는 제1 해상도 변환 수단(예를 들면, 도 3의 해상도 변환 처리부(25-1))을 구비하고, 상기 제1 해상도 변환 수단은, 상기 제1 보정 처리 수단이 설치되는 위치보다 후단의 위치로서, 또한 상기 변환 수단이 설치되는 위치보다 전단의 위치에 설치된다.

이 신호 처리 장치에는, 유효 화소 범위의 화상을 절출하는 처리와, 프로그 레시브 방식의 화상 신호를 인터레이스 방식의 화상 신호로 변환하는 처리 중의 적어도 어느것인가를 행하고, 처리 결과를 상기 신호 처리의 결과로서 출력하는 제2 해상도 변환 수단(예를 들면, 도 3의 해상도 변환 처리부(25-2))를 더 설치할 수가 있다.

이하, 본 발명의 실시형태에 대해서 도면을 참조해서 설명한다.

도 3은, 본 발명의 1실시형태에 관련된 디지털 비디오 카메라 전체의 구성 중의 신호 처리계의 시스템의 구성예를 도시하는 블록도이다. 도 1, 도 2의 구성과 대응하는 구성에는 같은 부호를 붙이고 있다.

도 3의 신호 처리 시스템(1)에서는, 일련의 신호 처리 중, R, G, B의 각 신호가 동시화될 때까지는 병렬해서 처리가 행해지도록 이루어져 있다.

즉, 도 3의 A/D 컨버터(13)는, 고체 촬상 소자(12)로부터 공급된 아날로그 신호(E1)를 디지털 신호로 변환하고, 변환해서 얻어진 디지털 신호를 디지털 신호(S1-1)와 디지털 신호(S1-2)의 2개의 신호로 나누고, 디지털 신호(S1-1)를 보정 처리부(21-1)에, 디지털 신호(S1-2)를 보정 처리부(21-2)에 각각 출력한다.

카메라 신호 처리부(14) 중의 보정 처리부(21-1)는, 화소에 의존하는 보정 처리로서, 예를 들면 화소 결함 보정 처리(특허 문헌 1), 채널차 조정 게인 처리(특허 문헌 2), 화소 단위로의 노이즈 리덕션 처리(특허 문헌 3) 등을 디지털 신호(S1-1)에 대해서 행하고, 얻어진 신호(S2-1)를 비의존 보정 처리부(22-1)에 출력한다.

비의존 보정 처리부(22-1)는, 보정 처리부(21-1)로부터 공급된 신호(S2-1)에 대해서, 예를 들면, 면내 각 색 모두 균일한 게인을 행하는 디지털 게인 처리나, 면내 균일하고 각 색 독립적으로 게인을 행하는 화이트 밸런스 게인 처리 등의 처리를 행하고, 얻어진 신호(S3-1)를 동시화 처리부(23-1)에 출력한다.

동시화 처리부(23-1)는, 신호 S3-1에 의거해서, 공간 위상이 일치한 R1-1, G1-1, B1-1 신호를 화소마다 생성하고, 생성한 R1-1, G1-1, B1-1 신호를 해상도 변환 처리부(25-1)에 출력한다. 신호 처리 시스템(1)이 단판식의 시스템인 경우, 신호 S3-1은 색마다 공간 샘플링 포인트가 다르기 때문에, 고체 촬상 소자(12)의 OCCF 배치 패턴에 의존한 동시화 처리(공간 위상을 일치시키는 처리)가 동시화 처리부(23-1)에서 행해진다.

한편, 보정 처리부(21-2)는, 화소에 의존하는 보정 처리로서, 보정 처리부(21-1)와 마찬가지로, 화소 결함 보정 처리(특허 문헌 1), 채널차 조정 게인 처리(특허 문헌 2), 화소 단위로의 노이즈 리덕션 처리(특허 문헌 3) 등을 디지털 신호(S1-2)에 대해서 행하고, 얻어진 신호(S2-2)를 비의존 보정 처리부(22-2)에 출력한다.

비의존 보정 처리부(22-2)는, 보정 처리부(21-2)로부터 공급된 신호(S2-2)에 대해서, 면내 각 색 모두 균일한 게인을 행하는 디지털 게인 처리나, 면내 균일하고 각 색 독립적으로 게인을 행하는 화이트 밸런스 게인 처리 등의 처리를 행하고, 얻어진 신호(S3-2)를 동시화 처리부(23-2)에 출력한다.

동시화 처리부(23-2)는, 신호 S3-2에 의거해서, 공간 위상이 일치한 R1-2, G1-2, B1-2 신호를 화소마다 생성하고, 생성한 R1-2, G1-2, B1-2 신호를 해상도 변 환 처리부(25-1)에 출력한다.

해상도 변환 처리부(25-1)는, 동시화 처리부(23-1)로부터 공급된 R1-1, G1-1, B1-1 신호와 동시화 처리부(23-2)로부터 공급된 R1-2, G1-2, B1-2 신호를 대상으로 해서, 그들 신호에 의해 나타내어지는 화상을, 출력 포맷의 화상의 해상도와 같은 해상도의 화상으로 변환하는 변환 처리(예를 들면, 축소 조작)를 행하고, 얻어진 R2, G2, B2 신호를 변조, YC 변환 처리부(24)에 출력한다.

변조, YC 변환 처리부(24)는, 해상도 변환 처리부(25-1)로부터 공급된 R2, G2, B2 신호를 대상으로 해서 고화질화 처리, 1/γ 처리, Y신호 생성 처리, C신호 생성 처리 등을 행하고, 얻어진 비디오 신호(Y1, C1)를 해상도 변환 처리부(25-2)에 출력한다.

해상도 변환 처리부(25-2)는, 변조, YC 변환 처리부(24)로부터 공급된 비디오 신호(Y1, C1)를 출력 포맷에 준거한 신호로 변환하는 처리를 행하고, 얻어진 비디오 신호(Y2, C2)를 외부에 출력한다. 해상도 변환 처리부(25-2)에서는, 예를 들면 인터레이스 처리, 유효 화상 영역의 절출 처리(예를 들면, 손흔들림 보정용 처리 마진을 제외한, 유효한 영역만을 절출하고, 출력하는 처리)가 출력 포맷에 준거한 변환 처리로서 행해진다.

해상도 변환 처리부(25-2)로부터 출력된 신호는, 동화상을 기록하기 위한 신호로서, 혹은 취입중인 화상을 표시하기 위한 신호로서 후단에 설치되는 도시하지 않은 처리부에서 이용된다.

이와 같이, 도 1, 도 2의 해상도 변환 처리부(25)에 의해 행해지는 처리(해 상도 변환 처리, 인터레이스 처리, 유효 화상 영역의 절출 처리) 중의 해상도 변환 처리를 행하는 구성(도 3의 해상도 변환 처리부(25-1))만을 고화질화 처리, 1/γ 처리, Y신호 생성 처리, C신호 생성 처리를 행하는 구성(변조, YC 변환 처리부(24))보다 전단의 위치에 설치하는 것에 의해, 병렬해 처리를 행하게 하는 경우에서도, 그 고화질화 처리, 1/γ 처리, Y신호 생성 처리, C신호 생성 처리를 행하는 구성을 도 2에 도시되는 바와 같이 2개 설치할 필요가 없다.

또, 고체 촬상 소자(12)의 다화소화가 진행된 경우라도, 해상도의 축소 처리에 의해서 처리 대상으로 되는 데이터의 양을 일련의 처리의 빠른 단계(段階)에서 줄일(저감할) 수 있기 때문에, 일련의 처리 중의 일부를 병렬해서 행하는 것에 의해 구동 주파수의 증가를 억제할 수 있으며, 회로 면적의 확대를 억제할 수도 있다. 또, 일정 시간내에 적절한 처리를 보상할 수 있고, 또 화소값의 가산 등이 고체 촬상 소자(12)에서 행해지는 것은 아니기 때문에, 화질의 열화를 일으키지 않도록 하는 것이 가능하게 된다.

도 4는, 신호 처리 시스템(1)의 다른 구성예를 도시하는 블록도이다. 상술한 구성과 대응하는 구성에는 같은 부호를 붙이고 있다.

도 4의 신호 처리 시스템(1)에서는, 일련의 신호 처리 중, 보정계의 처리가 행해질 때까지는 병렬해서 처리가 행해지도록 이루어져 있다.

즉, 도 4의 A/D 컨버터(13), 보정 처리부(21-1, 21-2), 비의존 보정 처리부(22-1, 22-2)는, 도 3의 A/D 컨버터(13), 보정 처리부(21-1, 21-2), 비의존 보정 처리부(22-1, 22-2)와 마찬가지의 것이다.

도 4의 A/D 컨버터(13)는, 고체 촬상 소자(12)로부터 공급된 아날로그 신호(E1)를 디지털 신호로 변환하고, 변환해서 얻어진 디지털 신호를 디지털 신호(S1-1)와 디지털 신호(S1-2)의 2개의 신호로 나누고, 디지털 신호(S1-1)를 보정 처리부(21-1)에, 디지털 신호(S1-2)를 보정 처리부(21-2)에 각각 출력한다.

보정 처리부(21-1)는, 화소에 의존하는 보정 처리를 디지털 신호(S1-1)에 대해서 행하고, 얻어진 신호(S2-1)를 비의존 보정 처리부(22-1)에 출력한다. 비의존 보정 처리부(22-1)는, 보정 처리부(21-1)로부터 공급된 신호(S2-1)에 대해서 디지털 게인 처리나 화이트 밸런스 게인 처리 등을 행하고, 얻어진 신호(S3-1)를 해상도 변환 처리부(25-1)에 출력한다.

한편, 보정 처리부(21-2)는, 화소에 의존하는 보정 처리를 디지털 신호(S1-2)에 대해서 행하고, 얻어진 신호(S2-2)를 비의존 보정 처리부(22-2)에 출력한다. 비의존 보정 처리부(22-2)는, 보정 처리부(21-2)로부터 공급된 신호(S2-2)에 대해서 디지털 게인 처리나 화이트밸런스 게인 처리 등을 행하고, 얻어진 신호(S3-2)를 해상도 변환 처리부(25-1)에 출력한다.

해상도 변환 처리부(25-1)는, 비의존 보정 처리부(22-1)로부터 공급된 신호(S3-1)와 비의존 보정 처리부(22-2)로부터 공급된 신호(S3-2)를 대상으로 해서, 그들 신호에 의해 나타내어지는 화상을, 출력 포맷의 화상의 해상도와 같은 해상도의 화상으로 변환하는 변환 처리(예를 들면, 축소 조작)를 행하고, 얻어진 신호(S4)를 동시화 처리부(23)에 출력한다.

도 4의 비의존 보정 처리부(22-1)로부터 출력된 신호(S3-1)와 비의존 보정 처리부(22-2)로부터 출력된 신호(S3-2)가 고체 촬상 소자(12)에 의해서 취입된 화상 전체의 보정계의 처리 결과를 나타내는 것인데 대해서, 해상도 변환 처리부(25-1)로부터 출력되는 신호(S4)는, 고체 촬상 소자(12)에 의해서 취입된 화상 전체를 예를 들면 축소한 화상의 보정계의 처리 결과를 나타내는 것으로 된다.

동시화 처리부(23)는, 해상도 변환 처리부(25-1)로부터 공급된 신호(S4)에 의거해서, 공간 위상이 일치한 R, G, B 신호를 화소마다 생성하고, 생성한 R, G, B 신호를 변조, YC 변환 처리부(24)에 출력한다.

변조, YC 변환 처리부(24)는, 동시화 처리부(23)로부터 공급된 R, G, B 신호를 대상으로 해서 고화질화 처리, 1/γ 처리, Y신호 생성 처리, C신호 생성 처리 등을 행하고, 얻어진 비디오 신호(Y1, C1)를 해상도 변환 처리부(25-2)에 출력한다.

해상도 변환 처리부(25-2)는, 변조, YC 변환 처리부(24)로부터 공급된 비디오 신호(Y1, C1)를 출력 포맷에 준거한 신호로 변환하는 처리를 행하고, 얻어진 비디오 신호(Y2, C2)를 외부에 출력한다. 해상도 변환 처리부(25-2)에서는, 예를 들면 인터레이스 처리, 유효 화상 영역의 절출 처리가 출력 포맷에 준거한 변환 처리로서 행해진다.

이와 같이, 도 1, 도 2의 해상도 변환 처리부(25)에 의해 행해지는 처리(해상도 변환 처리, 인터레이스 처리, 유효 화상 영역의 절출 처리) 중의 해상도 변환 처리를 행하는 구성(도 4의 해상도 변환 처리부(25-1))만을 동시화 처리를 행하는 구성(동시화 처리부(23))보다 전단에 설치하는 것에 의해, 그 동시화 처리를 행하 는 구성도 도 2에 도시되는 바와 같이 2개 설치할 필요가 없다.

또, 도 4의 구성에 의해서도, 도 3의 구성과 마찬가지로, 해상도의 축소 처리에 의해서 처리 대상으로 되는 데이터의 양을 일련의 처리의 빠른 단계에서 줄일 수 있기 때문에, 구동 주파수의 증가를 억제할 수 있으며, 회로 면적의 확대를 억제할 수도 있다. 또, 일정 시간내에 적절한 처리를 보상할 수 있고, 또 화질의 열화를 일으키지 않도록 하는 것이 가능하게 된다.

도 5는, 신호 처리 시스템(1)의 또 다른 구성예를 도시하는 블록도이다. 상술한 구성과 대응하는 구성에는 같은 부호를 붙이고 있다.

도 5의 신호 처리 시스템(1)에서는, 일련의 신호 처리 중, 보정계의 2개의 처리 중의 화소에 의존하는 보정 처리가 행해질 때까지는 병렬해서 처리가 행해지도록 이루어져 있다.

즉, 도 5의 A/D 컨버터(13), 보정 처리부(21-1, 21-2)는, 도 3, 도 4의 A/D 컨버터(13), 보정 처리부(21-1, 21-2)와 마찬가지의 것이다.

도 5의 A/D 컨버터(13)는, 고체 촬상 소자(12)로부터 공급된 아날로그 신호(E1)를 디지털 신호로 변환하고, 변환해서 얻어진 디지털 신호를 디지털 신호(S1-1)와 디지털 신호(S1-2)의 2개의 신호로 나누고, 디지털 신호(S1-1)를 보정 처리부(21-1)에, 디지털 신호(S1-2)를 보정 처리부(21-2)에 각각 출력한다.

보정 처리부(21-1)는, 화소에 의존하는 보정 처리를 디지털 신호(S1-1)에 대해서 행하고, 얻어진 신호(S2-1)를 해상도 변환 처리부(25-1)에 출력한다. 한편, 보정 처리부(21-2)는, 화소에 의존하는 보정 처리를 디지털 신호(S1-2)에 대해서 행하고, 얻어진 신호(S2-2)를 해상도 변환 처리부(25-1)에 출력한다.

해상도 변환 처리부(25-1)는, 보정 처리부(21-1)로부터 공급된 신호(S2-1)와 보정 처리부(21-2)로부터 공급된 신호(S2-2)를 대상으로 해서, 그들 신호에 의해 나타내어지는 화상의 해상도를 출력 포맷의 화상의 해상도와 같은 해상도의 것으로 변환하는 변환 처리(예를 들면, 축소 조작)를 행하고, 얻어진 신호(S3)를 비의존 보정 처리부(22)에 출력한다.

비의존 보정 처리부(22) 이후의 구성은 도 1의 구성과 마찬가지의 것으로 된다. 즉, 비의존 보정 처리부(22)는, 해상도 변환 처리부(25-1)로부터 공급된 신호(S3)에 대해서, 디지털 게인 처리나 화이트 밸런스 게인 처리 등을 행하고, 얻어진 신호(S4)를 동시화 처리부(23)에 출력한다.

동시화 처리부(23)는, 신호 S4에 의거해서, 공간 위상이 일치한 R, G, B 신호를 화소마다 생성하고, 생성한 R, G, B 신호를 변조, YC 변환 처리부(24)에 출력한다.

해상도 변환 처리부(25-2)는, 변조, YC 변환 처리부(24)로부터 공급된 비디오 신호(Y1, C1)를 출력 포맷에 준거한 신호로 변환하는 처리를 행하고, 얻어진 비디오 신호(Y2, C2)를 외부에 출력한다. 해상도 변환 처리부(25)에서는, 예를 들면 인터레이스 처리, 유효 화상 영역의 절출 처리가 출력 포맷에 준거한 변환 처리로서 행해진다.

이와 같이, 도 1, 도 2의 해상도 변환 처리부(25)에 의해 행해지는 처리(해상도 변환 처리, 인터레이스 처리, 유효 화상 영역의 절출 처리) 중의 해상도 변환 처리를 행하는 구성(도 5의 해상도 변환 처리부(25-1))만을 화소에 의존하지 않는 보정 처리를 행하는 구성(비의존 보정 처리부(22))보다 전단에 설치하는 것에 의해, 그 보정 처리를 행하는 구성도 도 2에 도시되는 바와 같이 2개 설치할 필요가 없다.

도 5의 구성에 의해서도, 도 3이나 도 4의 구성과 마찬가지로, 해상도의 축소 처리에 의해서 처리 대상으로 되는 데이터의 양을 일련의 처리의 빠른 단계에서 줄일 수 있기 때문에, 구동 주파수의 증가를 억제할 수 있으며, 회로 면적의 증가를 억제할 수도 있다. 또, 일정 시간내에 적절한 처리를 보상할 수 있고, 또 화질의 열화를 일으키지 않도록 하는 것이 가능하게 된다.

이상과 같이, 도 1, 도 2의 해상도 변환 처리부(25)에 의해 행해지는 처리(해상도 변환 처리, 인터레이스 처리, 유효 화상 영역의 절출 처리) 중의 해상도 변환 처리를 행하는 구성(도 3, 도 4, 도 5의 해상도 변환 처리부(25-1))만을 보다 전단의 위치(화상에 의존하는 보정 처리를 행하는 구성보다는 후단의 위치)에 설치하는 것에 의해서, 그것보다 후단의 구성을 도 2에 도시되는 바와 같이 복수 설치할 필요가 없다.

이상과 같이, 해상도 변환 처리부가 2개의 처리부로서 설치되는 신호 처리 시스템(1)에서는, 그 설치되는 위치나 부여하는 기능에 따라서는, 각 처리부의 처리에 의해서 얻어지는 화상의 해상도 추이(推移; transition)는 여러가지(다양한) 것으로 된다.

도 6은, 화상의 해상도 추이의 예를 도시하는 도면이다.

예를 들면, 도 6의 좌단(左端)에 도시되는 바와 같이, 고체 촬상 소자(12)로부터 프로그레시브 방식으로 판독출력된 화상(프로그레시브 화상)에 대해서는, 후단의 구성의 구동 주파수를 억제하기 위해서, 프로그레시브 화상인 채(화상 그대로), 초단(初段)의 해상도 변환 처리부인 해상도 변환 처리부(25-1)에서 축소 처리가 행해진다.

축소 처리에 의해 얻어진 프로그레시브 화상에 대해서는, 출력 포맷에 준거한 사이즈(예를 들면, 손흔들림 보정 처리용 시작 마진을 제외한 유효 에리어)의 절출 처리 및, 인터레이스 처리가 후단의 해상도 변환 처리부인 해상도 변환 처리부(25-2)에서 행해지고, 그들 처리에 의해 얻어진 화상이 출력된다.

도 6의 예에서는, 고체 촬상 소자(12)로부터 판독출력된 프로그레시브 화상은 2000×1500 화소 사이즈의 화상이며, 해상도 변환 처리부(25-1)에 의해 축소 처리가 행해진 후의 프로그레시브 화상은 800×540 화소 사이즈의 화상으로 되어 있다. 또, 해상도 변환 처리부(25-2)에 의해 절출 처리가 행해진 후의 인터레이스 화상은 720×480 화소 사이즈의 화상으로 되어 있다.

도 7은, 화상의 해상도 추이의 다른 예를 도시하는 도면이다.

예를 들면, 도 7의 좌단에 도시되는 바와 같이, 고체 촬상 소자(12)로부터 프로그레시브 방식으로 판독출력된 프로그레시브 화상에 대해서는, 후단의 구성의 구동 주파수를 억제하기 위해서, 프로그레시브 화상인 채, 초단의 해상도 변환 처리인 해상도 변환 처리부(25-1)에서 축소 처리가 행해진다.

또, 도 7의 예에서는, 해상도 변환 처리부(25-1)에서, 축소 처리 뿐만 아니라, 인터레이스 처리도 행해지도록 이루어져 있다. 이와 같이, 2개의 해상도 변환 처리부에 각각 행하게 하는(실행시키는) 처리의 내용(부여하는 기능)은 적당히 변경 가능하다.

축소 처리와 인터레이스 처리에 의해 얻어진 인터레이스 화상에 대해서는, 출력 포맷에 준거한 사이즈의 절출 처리가 후단의 해상도 변환 처리부인 해상도 변환 처리부(25-2)에서 행해지고, 그들 처리에 의해 얻어진 화상이 출력된다.

도 7의 예에서는, 고체 촬상 소자(12)로부터 판독출력된 프로그레시브 화상은 2000×1500 화소 사이즈의 화상이며, 해상도 변환 처리부(25-1)에 의해 축소 처리와 인터레이스 처리가 행해진 후의 인터레이스 화상은 800×540 화소 사이즈의 화상으로 되어 있다. 또, 해상도 변환 처리부(25-2)에 의해 절출 처리가 행해진 후의 인터레이스 화상은 720×480 화소 사이즈의 화상으로 되어 있다.

이상에서는, 도 3 내지(乃至) 도 5에 도시되는 바와 같은 카메라 신호 처리부(14)가 디지털 비디오 카메라에 설치되는 경우에 대해서 설명했지만, 동화상이나 정지화상(靜止畵; still images)의 촬영 기능을 가지는 촬상 장치이면 어떠한 장치에도 적용할 수가 있다.

또, 도 5에 나타낸 신호 처리 시스템(1)의 해상도 변환 처리부(25-1)에서, 해상도 변환 처리부(25-2)에서 행해지는 인터레이스 처리나 유효 화상 영역의 절출 처리 등을 행하게 하도록 구성함으로써, 변조, YC 변환 처리부(24)의 후단에 해상도 변환 처리부(25-2)를 설치할 필요가 없어지고, 보다 회로 면적의 확대를 억제하는 것이 가능하게 된다.

본 발명의 1측면에 따르면, 구동 주파수의 증가나 회로 면적의 확대를 수반하는 일없이, 일정 시간내에 적절한 처리를 보상함과 동시에, 화질의 열화를 일으키지 않도록 할 수가 있다.

Claims

입력된 화상 신호에 신호 처리를 행하고, 신호 처리의 결과를 출력하는 신호 처리 장치에 있어서,

상기 화상 신호의 출력원(出力元; output source)으로 되는 촬상 소자(撮像素子)의 화소에 의존(依存)하는 보정 처리를 입력된 상기 화상 신호에 대해서 행하는 제1 보정 처리 수단과,

상기 촬상 소자의 화소에 의존하지 않는 보정 처리를 공급된 화상 신호에 대해서 행하는 제2 보정 처리 수단과,

공급된 화상 신호에 의거(基)해서, 촬상된 화상을 나타내는, 공간 위상(空間位相)이 일치(match)한 RGB 신호를 생성하는 동시화(同時化; synchronization) 처리 수단과,

공급된 화상 신호에 의거해서 휘도(輝度; luminance) 신호, 색(色; color) 신호를 생성하는 처리를 적어도 행하는 변환 수단과,

촬상된 화상을, 출력할 화상의 해상도와 같은(同) 해상도의 화상으로 변환하는 제1 해상도 변환 수단

을 구비하고,

상기 제1 해상도 변환 수단은, 상기 제1 보정 처리 수단이 설치(設; provide)되는 위치보다 후단의 위치로서, 또한 상기 변환 수단이 설치되는 위치보다 전단(前段)의 위치에 설치되는

신호 처리 장치.
제1항에 있어서,

유효 화소 범위의 화상을 절출(切出; cut out; 잘라냄)하는 처리와, 프로그레시브(progressive) 방식의 화상 신호를 인터레이스(interlace) 방식의 화상 신호로 변환하는 처리 중의 적어도 어느것인가를 행하고, 처리 결과를 상기 신호 처리의 결과로서 출력하는 제2 해상도 변환 수단을 더 구비하는

신호 처리 장치.