KR20110092324A - 화상 처리 장치 및 차재용 카메라 장치 - Google Patents

Abstract

화상 처리 장치는 라인 버퍼와, 화상의 고주파 성분을 강조하는 엣지 강조 필터로서 기능하는 FIR 필터와, 노이즈를 저감시키는 저역 통과 필터로서 기능하는 IIR 필터를 포함한다. 같은 라인 버퍼가 FIR 필터와 IIR 필터 양쪽에서 이용된다. 스위치는 전환 신호에 따라, 노이즈 레벨이 비교적 낮은 경우에는 FIR 필터를 인에이블로 하고 IIR 필터를 디스에이블로 하며, 노이즈 레벨이 비교적 높은 경우에는 IIR 필터를 인에이블로 하고 FIR 필터를 디스에이블로 한다.

Description

화상 처리 장치 및 차재용 카메라 장치{IMAGE PROCESSING APPARATUS AND ON-VEHICLE CAMERA APPARATUS}

본 발명은 개괄적으로, CCD(Charge-Coupled Device: 전하 결합 소자) 등의 촬상 소자를 이용하여 취득된 화상을 처리하는 화상 처리 장치, 및 이 화상 처리 장치를 포함하는 차재용 카메라 장치에 관한 것이다.

최근, 차량의 사각지대 모니터나 백 모니터에 이용되는 차재용 카메라 장치의 수요가 증대하고 있다. 이러한 차재용 카메라 장치의 촬상 환경이 항상 밝은 것은 아닌데, 즉 촬상 환경은 때때로 비교적 어둡다. 비교적 어두운 촬상 환경에서 촬상된 화상 프레임의 명도는 부족하기 때문에, 그에 대한 어떤 대책이 필요하다.

CCD 등의 촬상 소자를 포함하는 카메라 장치에서는 화상 프레임의 명도가 부족한 경우에, 촬상 소자의 AGC(Automatic Gain Control: 자동 이득 제어) 회로의 이득을 높여 밝은 화상을 얻는 방식을 일반적으로 채택하고 있다. 이러한 기술은 예컨대 일본 특허출원 공개 H4-247777호에 개시되어 있다. 한편, 이러한 이득 상승은 바람직하지 못하게 노이즈 증가를 초래한다. 이것을 피하기 위한 대책으로서, 종래부터 명도가 충분하지 못한 화상 프레임의 암부에서 저역 통과 필터를 인에이블로 하여 노이즈를 저감시키는 방식을 일반적으로 채택하고 있다. 또한, 일반적으로 IIR(Infinite Impulse Response: 무한 임펄스 응답) 필터를 이용하여, 비교적 소규모의 회로로 저역 통과 필터를 실현하고 있다. 그러한 기술은 예컨대 일본 특허출원 공개 제2005-184786호에 개시되어 있다.

따라서, 차재용 카메라 장치 등에 IIR 필터를 이용하면, 암부에서의 이득을 높일 가능성으로 이어져 노이즈 증가없이 화상의 명도를 원하는 명도로 유지할 수 있다.

통상, 차재용 카메라 장치 등은 광화각(wide-view-angle) 광학 시스템을 이용하며, 그 화상 처리 유닛에, 광학 시스템으로 인한 해상도 열화를 보정할 목적으로, FIR(Finite Impulse Response: 유한 임펄스 응답) 필터 등의 고주파 강조 필터를 포함한다. 그러나, 이 고주파 강조 필터에는 수개 라인의 용량을 갖는 라인 버퍼가 필수적이다. 한편, 노이즈를 억제하기 위한 저역 통과 필터를 IIR 필터를 이용하여 구현하는 방식은 추가 라인 버퍼를 필요로 한다. 그러나, 촬상 소자의 화소수의 증가로 인해 라인 버퍼에 필요한 용량이 증가하는 최근의 상황에서는, IIR 필터를 위해 추가 라인 버퍼를 설치하는 것이 회로 규모의 증대를 초래한다.

본 발명은 회로 규모의 증대없이, 광학 시스템에 의해 감쇠되는 화상의 고주파 성분을 강조하고 암부에서 노이즈를 저감시켜, 저비용, 저소비 전력의 화상 처리 장치, 및 그 화상 처리 장치를 포함하는 차재용 카메라 장치를 제공하는 것을 목적으로 한다.

본 발명의 일 양태에 따르면, 촬상 소자에 의해 취득된 화상 데이터를 처리하는 화상 처리 장치를 제공한다. 이 화상 처리 장치는 화상 데이터를 일시적으로 내부에 순차 저장하는 라인 버퍼와, 그 라인 버퍼를 이용하여, 화상 데이터의 공간 주파수 특성을 정형화하는 FIR(유한 임펄스 응답) 필터와, 처리된 화상 데이터를 피드백하는데 이용되는 라인 버퍼로서, 상기 FIR 필터가 이용하는 것과 같은 라인 버퍼를 이용하는 IIR(무한 임펄스 응답) 필터를 포함한다.

이에 따라, IIR 필터에 추가 라인 버퍼가 더 이상 필요 없게 되어, 회로 규모를 축소할 수 있다.

구체적으로, CCD 등의 촬상 소자에 의해 취득된 화상을 처리하는 화상 처리 장치, 및 그 화상 처리 장치를 포함하는 차재용 카메라 장치는 회로 규모의 증대를 수반하는 일 없이, 광학 시스템에 의해 감쇠되는 화상의 고주파 성분을 강조하는 것과 암부에서 노이즈를 저감시키는 것이 가능하다.

도 1은 본 발명의 실시형태에 따른 화상 촬상 장치의 전체 구성을 도시하는 블록도이다.
도 2는 배율 색 수차 및 왜곡 수차를 설명하기 위한 도면이다.
도 3은 배율 색 수차 및 왜곡 수차의 동시 보정을 설명하기 위한 도면이다.
도 4a와 도 4b는 배율 색 수차 및 왜곡 수차의 독립 보정을 설명하는 도면이다.
도 5는 도 1에 도시한 배율 색 수차 보정 유닛의 상세 구성을 도시하는 블록도이다.
도 6a 내지 도 6c는 도 5에 도시한 좌표 변환 유닛의 예시적인 구성을 도시하는 블록도이다.
도 7은 도 1에 도시한 왜곡 수차 보정 유닛의 상세 구성을 도시하는 블록도이다.
도 8은 도 1에 도시한 MTF(Modulation Transfer Function) 보정 유닛의 구성을 도시하는 블록도이다.
도 9는 도 8에 도시한 필터링 유닛의 구성을 도시하는 블록도이다.
도 10은 도 9에 도시한 FIR 필터에 대한 계수 예를 도시하는 도면이다.
도 11은 FIR 필터의 구성을 도시하는 블록도이다.
도 12는 도 9에 도시한 IIR 필터의 구성을 도시하는 블록도이다.
도 13은 노이즈 레벨이 비교적 낮은 경우에 IIR 필터, 라인 버퍼, FIR 필터를 함께 접속하는 방법을 도시하는 블록도이다.
도 14는 노이즈 레벨이 비교적 높은 경우에 IIR 필터, 라인 버퍼, FIR 필터를 함께 접속하는 방법을 도시하는 블록도이다.

이하, 첨부 도면을 참조하여 본 발명의 예시적인 실시형태에 대해 상세하게 설명한다. 본 발명의 일 실시형태는 큰 배율 색 수차와 왜곡 수차가 발생하는 광화각 광학 시스템을 이용하여 피사체의 화상을 촬상하는 화상 촬상 장치를 제공한다. 이 화상 촬상 장치는 MTF 보정과 함께, 배율 색 수차 보정, 왜곡 수차 보정 등을 실시하는 화상 처리 시스템을 포함한다. 그러나, 그 구성이 이것에만 한정되는 것은 아니다.

또한, 이하의 설명에서는 화상이 가법 원색(additive primary color), 즉 적색(R), 녹색(G), 청색(B)으로 이루어진다고 상정한다. 그러나, 본 발명을 감법 원색(subtractive primary color), 즉 옐로우(Y), 마젠타(M), 시안(C)으로 이루어지는 경우에도 적용할 수 있는 것은 물론이다.

도 1은 본 발명의 실시형태에 따른 화상 촬상 장치의 화상 처리 시스템의 기능적 블록도이다. 화상 촬상 장치는 외부에, 조작 유닛, 화상 저장 유닛, 화상 표시 유닛(모니터) 등을 더 포함하지만, 도 1에는 도시하지 않는다. 화상 촬상 장치가 차재용 카메라 장치로서 이용되는 것으로 상정한다. 화상 촬상 장치가 어떤 다른 식으로도 이용될 수 있는 것은 물론이다.

화상 촬상 장치는 제어 유닛(100)을 포함한다. 제어 유닛(100)은 제어 신호(클록, 수평/수직 동기 신호 및 기타)를 화상 촬상 장치의 각각의 유닛 모두에 공급한다. 즉, 제어 유닛(100)은 각각의 유닛 모두의 동작을 파이프라인적으로 제어한다. 제어부(100)는 AGC 회로(120)의 이득과, MTF 보정 유닛(160)에서 얻어지는 휘도 신호에 기초하여 화상의 노이즈 레벨을 검출하는 노이즈 레벨 검출 유닛(102)과, 이 노이즈 레벨 검출 유닛(102)에 의해 실시된 검출의 결과에 기초하여 MTF 보정 유닛(160) 내의 후술하는 IIR 필터 및 FIR 필터에 대해 그 기능을 제공하도록 인에이블 및 디스에이블시키는 전환 신호를 생성하는 전환 신호 생성 유닛(104)을 포함한다.

화상 촬상 장치는 촬상 소자(110)를 포함한다. 촬상 소자(100)는 소자, 예컨대 CCD(Charge-Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor) 센서를 포함하며, 광각의 광학 시스템(도시 생략)을 이용하여 촬상된 광화상을 전기 신호(화소 신호)로 변환한다. 광각의 광학 시스템은 배율 색 수차 및 왜곡 수차가 크다. 촬상 소자(110)는 베이어 어레이(Bayer-array) 컬러 필터를 더 포함하며, 제어 유닛(100)으로부터 공급된 좌표값 (x, y)에 따라 베이어 어레이에 RGB 화소 신호를 순차 출력한다. 제어 유닛(100)은 또한 촬상 소자(110)에 공급하는 좌표값 (x, y)를 미리 정해진 타임 래그로, 그 제어 유닛(100)의 후단에 배치된 유닛들에 순차 공급한다.

이와 다른 구성에서는, 제어 유닛(100) 대신에, 촬상 소자(110)가 클록 및 수평/수직 동기 신호의 수신에 응답하여 좌표값 (x, y)를 생성하여, 그 제어 유닛(100)의 후단에 배치된 유닛들에 그것을 순차 공급한다.

화상 촬상 장치는 촬상 소자(110)의 후단에 AGC 회로(120)를 포함한다. AGC 회로(120)는 촬상 소자(110)로부터 출력된 아날로그 신호인 화소 신호를 미리 정해진 레벨로 증폭시킨다. AGC 회로(120)의 이득은 화상 프레임의 요구 명도와 노이즈 레벨 간의 트레이드오프에 의해 적절한 값으로 설정된다. 후술하는 바와 같이, 제어 유닛(100) 내의 노이즈 레벨 검출 유닛(102)은 이 AGC 회로(120)의 이득에 기초하여 화상의 노이즈 레벨을 검출한다.

화상 촬상 장치는 AGC 회로(120)의 후단에 아날로그-디지털(A/D) 컨버터(130)를 포함한다. AGC 회로(120)로부터 출력된 베이어 어레이 RGB 화상 신호는 아날로그 신호이다. A/D 컨버터(130)는 아날로그 베이어 어레이 RGB 화상 신호를 디지털 신호(화소 데이터)로 변환한다. 각각의 디지털 신호는 예컨대 RGB의 색마다 8 비트로 구성된 신호이다.

화상 촬상 장치는 A/D 컨버터(130)의 후단에 베이어 보간 유닛(140)을 포함한다. 베이어 보간 유닛(140)은 디지털인 베이어 어레이 RGB 화상 신호(화소 데이터)를 수신하고, RGB 기준의 개별 색에 대해 선형 보간을 실시하여 모든 좌표 위치에 대응하는 화소 데이터를 생성한다.

본 실시형태에서는 촬상 소자가 베이어 어레이 컬러 필터를 포함하는 것으로 설명하지만, 본 실시형태는 다른 CMYG 어레이나 RGB+Ir(적외선) 어레이 등의 다른 구성의 컬러 필터를 포함하는 촬상 소자에 대해서도 효과적이다. 특히, 전술한 바와 같은 4색 어레이를 갖는 컬러 필터를 포함하는 촬상 소자는 RGB와 같은 3색 타입과 비교하여, 배율 색 수차의 보정에 저(低)레이턴시의 메모리 또는 4포트의 RAM(Random Access Memory)을 필요로 한다.

화상 촬상 장치는 베이어 보간 유닛(140)의 후단에 배율 색 수차 보정 유닛(150)을 포함한다. 배율 색 수차 보정 유닛(150)은 베이어 보간된 R, G, B 화소 데이터를 수신하고, 미리 정해진 다항식을 이용해 RGB 기준의 개별 색 성분에 대해 좌표 변환(배율 색 수차에 대한 좌표 변환)을 실시하여, 배율 색 수차 보정된 RGB 화소 데이터를 출력한다. 후술하는 바와 같이, 배율 색 수차를 보정하기 위한 좌표 변환은, 비교적 소용량이며 저레이턴시의 메모리, 또는 비교적 소용량이며 복수의 포트를 갖는 메모리[예컨대, SRAM(Static Random Access Memory) 등]를 이용하여 실시될 수 있다.

화상 촬상 장치는 배율 색 수차 보정 유닛(150)의 후단에 MTF 보정 유닛(160)을 포함한다. MTF 보정 유닛(160)은 후술하는 바와 같이, 엣지 강조 필터로서 기능하는 FIR 필터와, 노이즈 저감 필터로서 기능하는 IIR 필터를 포함한다. MTF 보정 유닛(160)은 배율 색 수차 보정된 RGB 화소 데이터의 입력을 수신하고, 그 RGB 화소 데이터를 휘도 신호 Y와 색 신호 Cb, Cr로 변환한 후에, 통상의 상황에서는 FIR 필터를 이용하여 Y 신호의 고주파 강조(엣지 강조) 처리를 실시하지만, 화상의 노이즈 레벨이 상승하는 상황에서는 IIR 필터를 이용하여 YCbCr 신호에 대해 노이즈 저감 처리를 실시하고, 엣지 강조 또는 노이즈 저감 처리된 YCbCr 신호를 RGB 신호(RGB 화소 데이터)로 다시 변환하여 그 RGB 신호를 출력한다. 본 발명은 이 MTF 보정 유닛(160)의 FIR 필터와 IIR 필터에 관한 것이다. 실시형태에 따르면, 후술하는 바와 같이, 제어 유닛(100) 내의 노이즈 레벨 검출 유닛(102)은 MTF 보정 유닛(160)에 의해 얻어진 휘도 신호 Y에 기초해 화상의 평균 명도를 구하여 노이즈 레벨을 검출한다.

화상 촬상 장치는 MTF 보정 유닛(160)의 후단에 왜곡 수차 보정 유닛(170)을 포함한다. 왜곡 수차 보정 유닛(170)은 배율 색 수차 보정 및 MTF 보정된 RGB 화소 데이터를 수신하고, 미리 정해진 다항식 등을 이용해 RGB의 색 성분에 대해 공통으로 좌표 변환(왜곡 수차에 대한 좌표 변환)을 실시하여, 왜곡 수차 보정된 RGB 화소 데이터를 출력한다. 후술하는 바와 같이, 왜곡 수차 보정을 위한 좌표 변환에 이용되는 메모리는 배율 색 수차 보정에 이용되는 메모리와 비교해서, 메모리 용량이 더 큰 것(최대 1 화상 프레임만큼)이 바람직하지만, 그 왜곡 수차를 보정하기 위한 메모리에 필요한 포트 수는 한 개이다. 그러므로, 이 메모리와 같이, 고(高)레이턴시의 메모리[DRAM(Dynamic Random Access Memory 등]를 이용할 수 있다.

화상 촬상 장치는 왜곡 수차 보정 유닛(170)의 후단에 감마 보정 유닛(180)을 포함한다. 감마 보정 유닛(180)은 왜곡 수차 보정 유닛(170)으로부터 출력된 RGB 화소 데이터를 수신하고, RGB 기준의 개별 색에 대해 룩업 테이블 등을 이용해 그 데이터에 대해 미리 정해진 감마 보정을 실시하여, 감마 보정된 RGB 화소 데이터를 출력한다. 감마 보정 유닛(180)으로부터 출력된 화소 데이터는 표시 유닛(도시 생략)에 모니터 표시된다.

도 1에 도시한 구성을 갖는 화상 촬상 장치는, 배율 색 수차 및 왜곡 수차를 일으키는 광화각의 광학 시스템을 이용하는 경우에도, 회로 규모가 작고 비용이 낮은 고화상 품질의 촬상 시스템을 제공할 수 있다. 또한, 암부에서의 이득 상승으로 인해 화상의 노이즈 레벨이 상승하는 경우에도 노이즈 레벨을 억제할 수 있다. 한편, 배율 색 수차 보정 유닛(150)은 배율 색 수차와 왜곡 수차를 동시에 보정하는 배율 색 수차 및 왜곡 수차 보정 유닛으로 대체될 수도 있다. 이러한 배율 색 수차 및 왜곡 수차 보정 유닛을 채용할 경우, 왜곡 수차 보정 유닛(170)은 불필요하게 된다. 감마 보정 유닛(180)은 베이어 보간 유닛(140)의 바로 후단에 배치될 수 있다.

이하에서는, 배율 색 수차 보정 유닛(150), MTF 보정 유닛(160) 및 왜곡 수차 보정 유닛(170)의 구체적인 예시 구성에 대해서 설명한다.

배율 색 수차 보정 유닛(150)과 왜곡 수차 보정 유닛(170)에 대해 상세한 설명을 하기 전에, 배율 색 수차 보정과 왜곡 수차 보정의 원리를 설명한다.

도 2에 개략적으로 도시하는 바와 같이, 배율 색 수차와 왜곡 수차가 발생하는 광학 시스템을 이용하여 화상을 촬상한 경우, 화상 프레임의 상부 우측에 있는 도면부호 1로 나타내는 원래 위치(화소)에 속한 화소 데이터는 왜곡 수차에 의해 이 원래 위치로부터 시프트되고, 배율 색 수차에 의해서 RGB의 각 색 성분이 다르게 시프트된다. 따라서, 촬상 소자가 실제로 촬상한 R 성분, G 성분, B 성분은 각각 도 2에 도면부호 2(R), 3(G), 4(B)로서 나타낸다. 배율 색 수차 보정과 왜곡 수차 보정은 이 2(R), 3(G), 4(B)의 위치(화소)에 있는 RGB 색 성분에 속한 화소 데이터를, 원래 위치인 도면부호 1의 위치(화소)에 복사함으로써, 즉 좌표 변환을 실시함으로써 이루어질 수 있다. 좌표 변환을 실시할 경우, 위치 2, 3, 4는 좌표 변환 소스 좌표로서 채택되고, 위치 1은 좌표 변환 타깃 좌표로서 채택된다.

광학 시스템의 설계 데이터로부터 왜곡 수차의 크기 및 배율 색 수차의 크기를 구할 수 있기 때문에, 원래 위치에 대해, RGB 색 성분의 시프트량을 계산하는 것이 가능하다.

도 3은 배율 색 수차와 왜곡 수차를 동시에 보정하는 방법을 설명하기 위한 개략도이다. 구체적으로, 도면부호 2(R), 3(G), 4(B)의 위치(화소)에서 RGB 색 성분에 속한 화소 데이터를 원래의 위치인 도면부호 1의 위치(화소)에 복사하는 것에 의해, 즉 좌표 변환을 실시함으로써 배율 색 수차와 왜곡 수차를 동시에 보정할 수 있다. 그러나, 이 방법은 RGB 각각에 대해, 비교적 용량이 크고 저레이턴시와 다중 포트 중 어느 한 가지를 구비한 메모리의 설치를 필요로 한다. 예컨대, 도 3에 도시하는 예에서는 좌표 변환을 실시하기 위해 RGB 각각에 대해 고속이며 6라인의 메모리가 필요하게 된다.

도 4a와 도 4b는 배율 색 수차와 왜곡 수차를 독립적으로 보정하는 방법을 설명하기 위한 개략도이다. 배율 색 수차는 각 색 성분마다 상이한 시프트량으로 발생하여도, 그 시프트량이 비교적 작다. 반면, 왜곡 수차는 비교적 시프트량은 크지만 각 색 성분마다 시프트량이 동일하다. 이점에 착안하여, RGB 기준의 개별 색 성분에 대해 화소 데이터의 좌표 변환을 실시하고(후술하는 예에서는 RB 색 성분이 좌표 변환되어 G 성분의 위치에 복사됨), 배율 색 수차를 보정한 후, 이 배율 색 수차 보정된 RGB 화소 데이터를 1 세트의 데이터로서 통합하여 왜곡 수차에 대해 좌표 변환한다. 이 방법에 의해, 메모리를, 배율 색 수차 보정을 위한 좌표 변환에 사용되는 것과, 왜곡 수차 보정을 위한 좌표 변환을 위한 것으로 구별하여 사용할 수 있다. 더 구체적으로, 배율 색 수차 보정을 위한 좌표 변환에 이용되는 RGB에 대응하는 고속(저레이턴시 또는 다중 포트를 구비)의 소용량 메모리를 이용하고, 왜곡 수차 보정을 위해서는 RGB 공통의 저속(고레이턴시 또는 단일 포트를 구비) 대용량 메모리를 이용하는 것이 가능하다. 별개 메모리를 이용함으로써 비용이 절감된다. 도 1의 시스템 구성은 이러한 예시에 대한 것이다.

배율 색 수차 보정의 개략도인 도 4a를 참조하면, 위치(화소) 2(R), 4(B)에서 RB 색 성분에 속한 화소 데이터는 좌표 변환되어, G 성분의 위치(화소)인 3(G)로 복사된다. 이 조작을 실시함으로써, 배율 색 수차 보정이 달성된다. 왜곡 수차 보정의 개략도인 도 4b를 참조하면, 위치(화소) 3에서 RGB 색 성분에 속하며 배율 색 수차 보정된 화소 데이터는 1 세트의 데이터로서 통합되고 좌표 변환되어, 원래의 위치인 위치(화소) 1에 복사된다. 이 조작을 실시함으로써 왜곡 수차 보정이 달성된다.

도 4a와 도 4b에 도시한 예에서는, 배율 색 수차 보정을 위해, RGB를 개별적으로 처리하는 3 라인의 고속 메모리를 충분히 이용할 수 있다. 한편, 왜곡 수차 보정을 위해 5 라인 메모리가 추가로 필요하지만, 이 메모리는 RGB 공통의 저속 메모리이므로, 도 3과 비교해서, 전체적으로 비용이 절감될 수 있다.

본 명세서에서 대상으로 하는 왜곡 수차(distortion)란 이용하는 사영 방식에 있어서의 렌즈의 왜곡을 의미한다. 이용하는 사영 방식의 예는 카메라 상측에서 내려다 본 화상을 얻을 수 있는 사영 방식과, 화상의 일부를 확대하여 표시하는 사영 방식을 포함한다.

도 5는 배율 색 수차 보정 유닛(150)의 개략 구성도이다. 배율 색 수차 보정 유닛(150)은, 배율 색 수차를 보정하기 위한 좌표 변환 메모리(라인 버퍼)로서 도면 부호 1510(R), 1510(G), 1510(B)가 각각 R색 성분, G색 성분, B색 성분에 대응하는 것인 SRAM과, 미리 정해진 좌표 변환 알고리즘에 기초해 RGB 기준의 개별 색에 대해 배율 색 수차 보정을 위한 변환 좌표를 계산하는 좌표 변환 유닛(1520)과, 그 좌표 변환 알고리즘에 이용되는 계수를 내부에 저장하는 좌표 변환 계수 테이블(1530)을 포함한다.

배율 색 수차 보정은, 라인 버퍼로서, 비교적 소용량이지만 RGB에 대해 3포트 또는 저레이턴시 중 한가지를 구비한 메모리에 의해 충분히 실시된다. 이 예에서는, 배율 색 수차로 인한 최대 시프트량이 20 라인이라고 상정하여, 좌표 변환 메모리[1510(R), 1510(G), 1510(B)] 각각이 20 라인의 용량을 갖는 SRAM을 포함하는 것으로 한다. X 방향에서의 메모리 사이즈는 해상도에 좌우된다. 예컨대, 해상도가 VGA(Video Graphics Array)(640×480)의 것과 같을 때 X 방향에서의 사이즈는 640 도트인 것이 충분하다. 색 심도는 RGB의 색마다 8 비트이며, 좌표 변환 메모리[1510(R), 1510(G), 1510(B)]의 각각에 대한 기록 및 판독은 8 비트 단위로 이루어진다.

이에, 좌표 변환 메모리[1510(R), 1510(G), 1510(B)] 각각은 소용량이기 때문에, 각 메모리는 화상 처리 칩 내에 설치된 3포트의 SRAM을 포함해서, 20 라인을 포함하도록 메모리 영역을 확보하는 것이 바람직하다. 메모리가 SRAM과 같이 저레이턴시의 메모리인 경우 1포트 메모리를 타임 공유 방식(time sharing manner)으로 3포트 메모리로서 이용할 수 있다.

배율 색 수차가 발생한 RGB의 개별 색의 화소 데이터는 대응하는 좌표값 (x, y)에 따라 좌표 변환 메모리[1510(R), 1510(G), 1510(B)] 중 대응하는 메모리에 선두 라인부터 순차 기록된다. 20 라인의 화소 데이터가 각 메모리에 기록되는 경우, 선두 라인부터 화소 데이터가 순차적으로 폐기되고, 폐기된 데이터를 대신하여 후속 라인의 화소 데이터가 순차적으로 새로 기록된다. 이렇게 해서, 좌표 변환 메모리[1510(R), 1510(G), 1510(B)] 각각에는 배율 색 수차를 보정하기 위한 좌표 변환을 실시하기 위해 필요한, 메모리 당 최대 20 라인의 RGB 화소 데이터가 순차 저장된다.

좌표값 (x, y)은 1 프레임분의 촬상 화상의 판독 위치를 나타낸다. 한편, 좌표 변환 메모리[1510(R), 1510(G), 1510(B)] 각각은 기록되는 라인이 순환적으로 변하는 20 라인의 라인 버퍼이기 때문에, 좌표값 (x, y)를 그대로 좌표 변환 메모리[1510(R), 1510(G), 1510(B)] 상의 기록 어드레스로서 이용하는 것은 소용없다. 그렇기 때문에, 좌표값 (x, y)을 좌표 변환 메모리[1510(R), 1510(G), 1510(B)] 상의 실제 어드레스로 변환할 필요가 있지만, 도 5에는 이를 위한 구성이 도시되지 않는다. 이것은 후술하는 판독 동작에 있어서 변환 후 좌표값 (X, Y)와 좌표 변환 메모리[1510(R), 1510(G), 1510(B)] 상의 판독 어드레스와의 판독 동작 관계에도 마찬가지이다.

좌표 변환 유닛(1520)은 좌표 변환 타깃 좌표인 좌표값 (x, y)을 수신하고, 다항식 등의 미리 정해진 좌표 변환 알고리즘을 이용해서 RGB 기준의 개별 색에 대해 배율 색 수차 보정을 위한 변환 좌표를 계산하며, RGB 기준의 개별 색에 대한 좌표 변환 소스 좌표인 좌표값 (X, Y)를 출력한다. 도 4a에 도시하는 바와 같이, 본 실시형태에서는, R색 및 B색 성분이 좌표 변환되어 G 성분의 위치에 복사된다. 따라서, 입력으로서 좌표값 (x, y)를 수신하는 좌표 변환 유닛(1520)은 G 성분에 대해서는 변환을 수행하지 않고 그 값을 좌표값 (X, Y)로서 출력하며, R색 및 B색 성분에 대해서는 미리 정해진 좌표 변환 알고리즘을 이용해, RB 기준의 개별 색에 대해 그렇게 입력된 좌표값 (x, y)를 좌표값 (X, Y)으로 변환하여, 이 좌표값 (X, Y)를 출력한다. 이 조작을 각 세트의 좌표값 (x, y)마다 반복한다.

화상 프레임의 중심을 원점이라고 할 경우, 좌표 변환 알고리즘은 다음의 수식 (1)로 표현될 수 있다.

X = x+[a(1)+a(2)×abs(x)+a(3)×abs(y)+a(4)×y²]×x

Y = y+[b(1)+b(2)×abs(y)+b(3)×abs(x)+b(4)×x²]×y (1)

여기서, abs()는 괄호 안의 파라미터의 절대값이고, a(1)∼a(4)와 b(1)∼b(4)는 좌표 변환 계수이다. 좌표 변환 계수는 미리 좌표 변환 계수 테이블(1530)에 저장된다.

전술한 좌표 변환 메모리[1510(R), 1510(G), 1510(B)]에의 기록과 병행하여(실제로는 미리 정해진 시간의 지연이 있음), 좌표 변환 유닛(1520)으로부터 출력된 좌표값 (X, Y)[실제로는 좌표값 (X, Y)의 어드레스 변환값]에 따라, 좌표 변환 메모리[1510(R), 1510(G), 1510(B)]로부터 RGB 화소 데이터가 순차 판독된다. 이 경우, 좌표 변환 메모리[1510(G)]로부터는, G 성분 화소 데이터가 가록된 위치와 동일한 위치에서 G 성분 화소 데이터가 판독된다. 반면, 좌표 변환 메모리[1510(R), 1510(B)] 중 대응하는 메모리로부터는, R 성분 화소 데이터와 B 성분 화소 데이터 각각이 기록된 위치에서 미리 정해진 거리만큼, 즉 배율 색 수차량만큼 시프트된 위치에서, 그 화소 데이터들이 판독된다.

전술한 조작을 실시함으로써, 좌표 변환 메모리[1510(R), 1510(G), 1510(B)]로부터, 배율 색 수차 보정된 RGB 화소 데이터가 출력된다. 구체적으로, 좌표 변환 소스 좌표값 (X, Y)에서의 RGB 화소 데이터가 좌표 변환 타깃 좌표값 (x, y)에서의 RGB 화소 데이터로서 출력된다.

도 6a 내지 도 6c는 좌표 변환 유닛(1520)의 다양한 예시적인 구성을 도시한다. 도 6a는, G의 색 성분이 좌표 변환되지 않고 입력값인 좌표값 (x, y)이 G에 대해 좌표값 (X, Y)으로서 출력되며, R와 B의 색 성분은 입력값인 좌표값 (x, y)을 변환하는 R용 좌표 변환 연산 유닛(1521)과 B용 좌표 변환 연산 유닛(1522)에 의해 각각 좌표 변환되어, R에 대해 좌표값 (X, Y)를 출력하고, B에 대해 좌표값 (X, Y)를 출력하는 예시적인 구성이다. 좌표 변환 연산 유닛이 R색 및 B색 성분에만 설치되기 때문에, 회로 규모를 억제하는 것이 가능하다

도 6b와 도 6c는 G색 성분을 중심으로 실질적으로 대칭적인 배율 색 수차에 의해 R색과 B색 성분이 전체적으로 시프트되는 것(도 2)에 주목하여 착안된 다른 예시적인 구성을 도시한다. 도 6b는, 하나의 좌표 변환 연산 유닛(1523)이 좌표값 (x, y)에 대해 보정량을 계산하고 감산 유닛(1524)은 그 보정량을 좌표값 (x, y)으로부터 감산하여 B에 대한 좌표값 (X, Y)을 구하며, 가산 유닛(1525)은 그 보정량을 좌표값 (x, y)에 가산하여 R에 대한 좌표값 (X, Y)을 구하는 예시적인 구성을 도시한다. 한편, G에 대한 입력 좌표값 (x, y)는 도 6a에 나타낸 바와 마찬가지로 G에 대한 좌표값 (X, Y) 그대로 출력된다.

도 6c는 대칭 위치 간의 어긋남을 고려하여, R에 대한 보정량을 조정하기 위해 이득 회로(1526)가 설치되는 예시적인 구성을 도시한다. 도 6b와 도 6c에 도시한 예시적인 구성은 하나의 좌표 변환 연산 유닛으로만 구현되었기 때문에, 회로 규모를 더욱 삭감할 수 있다.

도 6a에 도시한 좌표 변환 연산 유닛(1521, 1522)을 대신하여, R색과 B색의 각 성분마다 입력 좌표값 (x, y)와 출력 좌표값 (X, Y)와의 대응관계를 내부에 저장한 룩업 테이블(LUT)을 준비하고, 그 LUT을 이용하여, 좌표 변환 타깃 좌표값 (x, y)에 대응하는 좌표 변환 소스 좌표값 (X, Y)를 직접 구할 수도 있다. 마찬가지로 도 6b와 도 6c에 도시한 좌표 변환 연산 유닛(1523)을 대신하여, 입력 좌표값 (x, y)와 보정량과의 대응관계를 내부에 저장한 LUT를 준비하고, 그 LUT을 이용하여, 좌표값 (x, y)에 대응하는 보정량을 직접 구할 수도 있다. 이에 따라, 좌표 변환을 위한 계산을 생략할 수 있어, 배율 색 수차 보정을 기본적으로 메모리 칩만으로 구현할 수 있다.

도 7은 왜곡 수차 보정 유닛(170)의 상세 구성도이다. 왜곡 수차 보정 유닛(170)은 RGB 화소 데이터에 있어서 각각 하나의 색에 대응하는 세가지를 하나의 데이터로 합성하는 RGB 합성 유닛(1710)과, RGB 화소 데이터의 색 성분에 공통되며 왜곡 수차 보정에 이용되는 좌표 변환 메모리(1720)(SRAM)와, 합성된 RGB 화소 데이터를 원래의 색 성분으로 분리하는 RGB 분리 유닛(1730)과, 미리 정해진 좌표 변환 알고리즘을 이용해서, 합성된 RGB 화소 데이터의 왜곡 수차 보정을 위한 변환 좌표를 계산하는 왜곡 수차 보정용 좌표 변환 연산 유닛(1740)과, 좌표 변환 알고리즘에 이용되는 계수를 내부에 저장한 좌표 변환 계수 테이블(1750)을 포함한다.

왜곡 수차는 비교적 큰 시프트량으로 발생하기 때문에, 최대 1 화상 프레임의 화소 데이터를 내부에 저장하는 버퍼 메모리를 왜곡 수차 보정을 실시하는데 이용하는 것이 바람직하다. 한편, RGB 색 성분이 단일 시프트량만큼 시프트되기 때문에, RGB 화소 데이터의 총 비트수와 비프폭이 동일한 단일 버퍼 메모리를 충분하게 채용할 수 있다. 해상도가 VGA(640×480)인 것으로 할 경우, RGB 화소 데이터의 비트수(색 심도)는 RGB의 색마다 8 비트이며, 좌표 변환 메모리(1720)는 기록 및 판독이 24 비트 단위, 640× 480 도트로 이루어지는 DRAM이다.

전술한 바와 같이 매우 큰 용량을 필요로 하는 좌표 변환 메모리(1720)는 비용면에서 화상 처리 칩 내에 SRAM의 형태로 구현되기가 어렵고, RGB를 취급하는데 1포트 메모리를 충분히 이용할 수 있기 때문에, 좌표 변환 메모리(1720)는 화상 처리 칩 외부에 설치된 DRAM을 이용하여 구현되는 것이 바람직하다.

RGB 합성 유닛(1710)은 배율 색 수차 보정된 RGB 화소 데이터(각 8 비트)를 수신하여 그 RGB 화소 데이터를 하나의 화소 데이터(24 비트)로 순차 합성해 그 화소 데이터를 출력한다. 그렇게 합성된 RGB 화소 데이터는 좌표 변환 메모리(1720)에, 좌표 변환 타깃 좌표값 (x, y)에 따라서 선두 라인부터 순차 기록된다.

한편, 왜곡 수차 보정용 좌표 변환 연산 유닛(1740)은 좌표 변환 타깃 좌표값 (x, y)를 수신하여, 다항식 등의 미리 정해진 좌표 변환 알고리즘을 이용해 RGB 공통의 왜곡 수차 보정용 변환 좌표를 계산하고, 좌표 변환 소스 좌표값 (X, Y)을 출력한다. 좌표 변환 알고리즘은 전술한 배율 색 수차 보정에 이용된 것과 같은 수식 (1)로서 표현될 수 있다. 물론, 이용되는 좌표 변환 계수는 다르다. 그 좌표 변환 계수는 미리 좌표 변환 계수 테이블(1750)에 저장된다.

전술한 좌표 변환 메모리(1720)에의 기록과 병행하여(실제로는 미리 정해진 시간 지연이 있음), 왜곡 수차 보정용 좌표 변환 연산 유닛(1740)으로부터 출력되는 좌표값 (X, Y)에 따라, 좌표 변환 메모리(1720)로부터 RGB 합성 화소 데이터를 순차 판독한다. RGB 분리 유닛(1730)은 좌표 변환 메모리(1720)로부터 판독된 RGB 합성 화소 데이터(24 비트)를 개별 R, G, B 성분의 원래 화소 데이터(8 비트)로 분리한다.

이들 조작의 결과로서, RGB 분리 유닛(1730)으로부터는, 왜곡 수차가 보정된 R 화소 데이터, G 화소 데이터 및 B 화소 데이터가 출력된다. 즉, R 화소 데이터, G 화소 데이터 및 B 화소 데이터가 좌표값 (x, y), 즉 그 원래 위치에 복사된다.

또, 왜곡 수차 보정의 경우에, 입력 좌표값 (x, y)와 출력 좌표값 (X, Y)와의 대응관계를 내부에 저장한 LUT를 준비해서, 그 LUT을 이용하여 좌표 변환 타깃 좌표값 (x, y)에 대응하는 좌표 변환 소스 좌표값 (X, Y)를 직접 구할 수 있다. 이에, 좌표 변환을 위한 계산을 생략할 수 있어, 왜곡 수차 보정도 기본적으로 메모리 칩만으로 실현할 수 있다.

이하에서 MTF 보정 유닛(160)에 대해 설명한다. 도 8에 도시하는 바와 같이, MTF 보정 유닛(160)은 RGB/YCbCr 변환 유닛(1610)과, 필터링 유닛(1620)과, YCbCr/RGB 변환 유닛(1630)을 포함한다.

YCbCr/RGB 변환 유닛(1610)은 RGB 화소 데이터의 입력을 수신하고, 예컨대 다음 수식을 이용하여, 그 RGB 화소 데이터를 휘도 신호 Y와 색 신호 Cr, Cb로 변환한다.

Y = 0.299R+0.587G+0.114B (2)

Cr = 0.500R-0.419G-0.081B (3)

Cb = -0.169R-0.332G+0.500B (4)

필터링 유닛(1620)은 엣지 강조 필터(FIR 필터)와 노이즈 저감 필터(IIR 필터)를 포함하며, 통상의 상황에서는 FIR 필터를 이용하여 휘도 신호 Y의 고주파 강조(엣지 강조) 처리를 실시하지만, 화상의 노이즈 레벨이 상승한 경우에는, IIR 필터를 이용하여 YCbCr 신호의 노이즈 저감 처리를 실시한다. 본 발명의 특징은 필터링 유닛(1620)의 구성에 있다. 이 필터링 유닛(1620)의 구체적인 구성 및 동작에 대해서는 후술한다.

YCbCr/RGB 변환 유닛(1630)은 고주파 강조 처리 및 노이즈 저감 처리 중 어느 하나가 이루어진 YCbCr 신호의 입력을 수신하고, 예컨대 다음의 수식을 이용하여 그 신호를 RGB 화소 데이터로 다시 변환해서 그 RGB 화소 데이터를 출력한다.

R = Y+1.402Cr (5)

G = Y-0.714Cr-0.344Cb (6)

B = Y+1.772Cb (7)

RGB 신호가 아니라, 휘도 신호 Y와 색 신호 CbCr가 후단에 출력되는 것이 바람직한 경우라면, YCbCr/RGB 변환 유닛(1630)을 생략할 수도 있다.

도 9는 MTF 보정 유닛(160) 내의 필터링 유닛(1620)의 구체적인 구성의 개략도이다. 도 9에 도시하는 바와 같이, 필터링 유닛(1620)은 노이즈 저감 필터로서 기능하는 IIR(무한 임펄스 응답) 필터(1621)와, 엣지 강조 필터로서 기능하는 FIR(유한 임펄스 응답) 필터(1622)와, IIR 필터(1621)와 FIR 필터(1622) 양쪽에 이용되는 라인 버퍼(1623), 및 스위치(SW1, SW2)를 포함한다.

여기서, 스위치(SW1, SW2) 각각에는 제어 유닛(100) 내의 전환 신호 생성 유닛(104)(도 1)으로부터 전환 신호가 공급된다. 전환 신호가 어떻게 생성되는지에 대해서는 후술한다. 화상의 노이즈 레벨이 비교적 낮은 통상의 상황에서는, 스위치(SW1)가 IIR 필터(1621)를 디스에이블로 하여, 입력되는 YCbCr 신호를 그대로 라인 버퍼(1623)에 보내고, 스위치(SW2)는 FIR 필터(1622)를 인에이블로 하여, 그 FIR 필터(1622)로부터 YCbCr 신호를 출력 단자로 보낸다. 반면, 화상의 노이즈가 레벨이 비교적 높은 경우에, 스위치(SW1)가 IIR 필터(1621)를 인에이블로 하여, IIR 필터(1621)로부터 YCbCr 신호를 라인 버퍼(1623)에 보내고, 스위치(SW2)는 FIR 필터(1622)를 디스에이블로 하여, 라인 버퍼(1623)로부터 YCbCr 신호를 그대로 출력 단자에 보낸다.

라인 버퍼(1623)는 노이즈 저감용의 IIR 필터(1621)와 엣지 강조용의 FIR 필터(1622) 양쪽에 의해 이용된다. 예컨대, FIR 필터(1622)의 탭 수가 예컨대 5×5로 설정되는 경우, 라인 버퍼(1623)로서는 5 라인 이상의 용량을 갖는 라인 버퍼가 충분하게 이용될 수 있다. 한편, 라인 버퍼(1623)는, 색 심도가 각각 8 비트인 RGB 성분에 의해, 즉 각각 8 비트의 YCbCr 성분에 의해 24 비트 신호가 형성될 경우 예컨대 24 비트(1 워드)가 지정되는 각 어드레스에서 1 화소의 YCbCr 신호(YCbCr 데이터)를 내부에 저장한다.

FIR 필터(1622)는, AGC 회로(120)의 이득이 비교적 낮은 경우, 즉 화상이 비교적 낮은 노이즈를 갖는 통상의 상황에서는, 광학 시스템에 의해 감쇠되는 화상의 고주파 성분을 강조하여(엣지 강조), 공간 주파수 특성을 정형화한다. 도 10은 FIR 필터(1622)에 설정된 계수 예를 나타낸다. FIR 필터(1622)는 라인 버퍼(1623)로부터, 제(N-2) 라인 내지 제(N+2) 라인 상에서 타깃 화소의 위치를 중심으로, 5×5 화소의 YCbCr 신호를 순차 판독하고, 그 타깃 화소의 Y 신호에 대해 엣지 강조 필터링을 실시한다. 이에, 색 신호 CbCr의 노이즈 레벨의 상승을 피할 수 있다.

도 11은 FIR 필터(1622)의 상세 구성도이다. 분리 유닛(16221)은 라인 버퍼(1623)로부터 YCbCr 신호를 입력으로서 판독하고, 그 YCbCr 신호를 Y 신호와 CbCr 신호로 분리한다. 필터(16222)는 Y 신호에 대해, 도 10에 주어진 바와 같은 계수를 적용하여 엣지 강조 처리를 실시한다. 합성 유닛(16223)은 엣지 강조된 신호와 CbCr 신호를 같이 합성하여, YCbCr 신호를 출력한다.

도 9로 되돌아가서, IIR 필터(1621)는 암부 등에서 AGC 회로(120)의 이득 상승으로 인해 화상의 노이즈 레벨이 상승한 경우에, 노이즈 저감 처리를 실시한다. IIR 필터(1621)의 계수는, 예컨대 다음의 수식 (8) 내지 (10)을 이용해서 설정될 수 있다.

Cb(x, y) = 0.25*Cb(x, y)+0.375*Cb(x, y-1)+0.375*Cb(x-1, y) (8)

Cr(x, y) = 0.25*Cr(x, y)+0.375*Cr(x, y-1)+0.375*Cr(x-1, y) (9)

Y(x, y) = 0.5*Y(x, y)+0.25*Y(x, y-1)+0.25*Y(x-1, y) (10)

Cb(x, y)와 Cr(x, y)는 제N 라인 상에 있는 좌표 (x, y)의 타깃 화소의 색 신호이며, Y(x, y)는 동일 좌표 (x, y)의 휘도 신호이다. Cb(x, y-1)와 Cr(x, y-1)는 타깃 화소가 위치하는 제N 라인의 직전 라인인 제(N-1) 라인 상에 있는 좌표 (x, y-1)의 색 신호이고, Y(x, y-1)는 동일 좌표 (x, y-1)에서의 휘도 신호이다. Cb(x-1, y)와 Cr(x-1, y)은 제N 라인 상에 있는 타깃 화소의 좌표 바로 앞의 좌표인 좌표 (x-1, y)의 색 신호이고, Y(x-1, y)는 동일 좌표 (x-1, y)에서의 휘도 신호이다.

IIR 필터(1621)는 라인 버퍼(1623)로부터 제(N-1) 라인 상의 좌표 (x, y-1)과 제N 라인 상의 좌표 (x-1, y)에서 YCbCr 신호를 순차 판독하고, 이들 신호 및 입력된 타깃 신호의 좌표 (x, y)에서의 YCbCr 신호에 대해 노이즈 저감 필터링을 실시한다. 그렇게 처리된 YCbCr 신호는 라인 버퍼(1623)에 기록되고, 타깃 화소가 처리되는 추후의 경우에 IIR 필터(1621)에 피드백된다.

도 12는 IIR 필터(1621)의 상세 구성도이다. 분리 유닛(16211)은 입력된 YCbCr 신호 및 라인 버퍼(1623)로부터 피드백된 YCbCr 신호를 각각 Y, Cb, Cr로 분리한다. 필터(16213), 필터(16214) 및 필터(16212)는 각각 수식 (8), 수식 (9) 및 수식 (10)을 적용하여 Cb 신호, Cr 신호 및 Y 신호의 필터링을 실시한다. 수식 (8), (9), (10)은 CbCr 신호에 대해서는 비교적 강한 노이즈 억제를 행사하고 Y 신호에 대해서는 비교적 약한 노이즈 억제를 행사한다. 수식 (8), (9), (10)은 일례로서 주어진 것이며, 한편으로 Y 신호에 대해 필터링을 실시하지 않는 구성을 채용할 수도 있다. 합성 유닛(16215)은 노이즈 저감된 Cb, Cr 및 Y 신호를 같이 합성한다.

이하, 도 13과 도 14를 참조하여, 필터링 유닛(1620)의 프로세스 프로시저의 개관에 대해 설명한다.

도 13은 AGC 회로(120)의 이득이 비교적 낮은 경우, 즉 화상의 노이즈 레벨이 비교적 낮은 경우에 IIR 필터(1621), 라인 버퍼(1623), FIR 필터(1622)가 어떻게 접속되는지를 도시한다. 이 경우, IIR 필터(1621)가 디스에이블되고(출력: 오픈), FIR 필터(1622)는 인에이블된다.

RGB/YCbCr 변환 유닛(1610)으로부터 출력된 YCbCr 신호는 스위치(SW1)에 의해 IIR 필터(1621)를 바이패스하여, 라인 버퍼(1623)에 순차 기록된다. FIR 필터(1622)는 라인 버퍼(1623)로부터 제(N-2) 내지 제(N+2) 라인 상의 5×5 화소[좌표 (x-2, y-2) 내지 (x+2, y+2)에 있는 화소]의 YCbCr 신호를 순차 판독하고, 이들 신호의 Y 신호를 이용하여, 도 10에 주어진 계수를 적용해, 좌표 (x, y)에서의 타깃 화소의 휘도 신호 Y에 엣지 강조 필터링을 실시한다. Y 신호가 엣지 강조된 YCbCr 신호는 스위치(SW2)를 통해 YCbCr/RGB 변환 유닛(1630)에 순차로 보내어져 RGB 신호로 다시 변환된다.

도 14는 AGC 회로(120)의 이득 상승으로 인해 화상의 노이즈 레벨이 상승한 경우에 IIR 필터(1621), 라인 버퍼(1623), FIR 필터(1622)가 어떻게 접속되는지를 도시한다. 이 경우, IIR 필터(1621)는 인에이블되고, FIR 필터(1622)는 디스에이블된다(출력: 오픈).

RGB/YCbCr 변환 유닛(1610)으로부터 출력된 YCbCr 신호[좌표 (x, y)에서의 YCbCr 신호]는 IIR 필터(1621)에 순차 입력된다. 라인 버퍼(1623)로부터는 제(N-1) 라인 상에 있는 좌표 (x, y-1)의 처리된 YCbCr 신호 및 제N 라인 상에 있는 좌표 (x-1, y)의 처리된 YCbCr 신호가 순차 판독되고, IIR 필터(1621)에 피드백된다. IIR 필터(1621)는 좌표 (x, y)의 YCbCr 신호, 및 라인 버퍼(1623)로부터 피드백된 좌표 (x, y-1), (x-1, y)의 처리된 YCbCr 신호의 입력을 수신하고, 수식 (8), (9), (10)을 이용해, 타깃 화소의 좌표 (x, y)에서의 YCbCr 신호에 대해 노이즈 저감 필터링을 실시한다. 노이즈 저감 처리된 YCbCr 신호는 스위치(SW1)를 통해 라인 버퍼(1623)에 순차 기록된다. 동시에, 라인 버퍼(1623)는 좌표 (x, y)에서의 처리된 YCbCr 신호, 좌표 (x, y-1), (x-1, y)에서의 처리된 YCbCr 신호를 순차 판독한다. 라인 버퍼(1623)로부터 판독된 좌표 (x, y)의 YCbCr 신호는 FIR 필터(1622)를 바이패스하면서, 스위치(SW2)를 통해 YCbCr/RGB 변환 유닛(1630)에 순차로 보내어져 RGB 신호로 다시 변환된다. 한편, 라인 버퍼(1623)로부터 판독된 좌표 (x, y-1), (x-1, y)의 YCbCr 신호는 IIR 필터(1621)에 피드백되어, 후속 타깃 화소의 노이즈 저감 처리에 이용된다.

전술한 바와 같이, 제어 유닛(100)의 전환 신호 생성 유닛(104)으로부터 공급된 전환 신호에 따라, 필터링 유닛(1620)은 통상의 상황에서는 해상도를 우선하여 휘도 신호에 엣지 강조 처리를 실시하기 위한 도 13에 도시한 구성[IIR 필터(1621)가 디스에이블되고 FIR 필터(1622)가 인에이블되는 구성], 또는 암부 등에서 AGC 회로(120)의 이득 상승으로 인해 화상의 노이즈 레벨이 상승한 경우에는, YCbCr 신호에 노이즈 저감 처리를 실시하기 위한 도 14에 도시한 구성[IIR 필터(1621)가 인에이블되고 FIR 필터(1622)가 디스에이블되는 구성] 중 하나를 선택한다. 한편, IIR 필터(1621)는 라인 버퍼를 이용해, 처리된 YCbCr 신호의 피드백을 실시한다. FIR 필터(1622)가 이용하는 라인 버퍼(1623)를, 또한 피드백에 이용되는 라인 버퍼로서 공유 방식으로 이용하면, IIR 필터를 위한 추가 라인 버퍼를 설치할 필요가 없어 회로 규모를 삭감할 수 있다.

화상의 노이즈 레벨의 검출 및 전환 신호의 생성에 대해서 이하에 설명한다. 제어 유닛(100)의 노이즈 레벨 검출 유닛(102)은 이하의 방법 중, 예컨대 화상의 노이즈 레벨을 검출하는 것을 채용한다. 물론, 이들 방법은 일례일 뿐이며, 노이즈 레벨을 검출하는 어떤 방법도 채용할 수 있다.

(i) 촬상 소자(110)의 출력 신호는 A/D 컨버터(130)에 의해 실시된 A/D 변환 전에 AGC 회로(120)에서 증폭된다. 이 AGC 회로(120)의 이득은 화상 프레임의 요구 명도와 노이즈 레벨과의 트레이드오프에 의해 적절한 값에 설정되지만, 암부에서 명도가 저하되어 이득이 소정 값 이상이 될 경우, 노이즈 레벨은 허용 범위 이상으로 바람직하지 않게 상승한다. 구체적으로, 암부에 대한 감도를 높이기 위해 상승된 이득으로 촬상이 실시될 경우, 그 촬상된 화상에서 노이즈가 지배적이게 된다. 이러한 점을 이용하여, 노이즈 레벨 검출 유닛(102)은 AGC 회로(120)의 이득에 기초하여 노이즈 레벨을 결정할 수 있다.

(ii) 일반적으로, AGC 회로(120)는 촬상 소자(110)에 의해 촬상된 화상의 명도를 일정하게 유지하기 위하여 그 이득을 제어한다. 이에, 통상의 상황에서는 평균 명도가 일정하지만, 이득이 최대값으로 상승할지라도 감도가 부족하다면, 화상의 평균 명도는 저하된다. 이에, 화상 프레임의 평균 휘도를 검출함으로써, 이득이 최대값에 도달하였는지, 즉 노이즈 레벨이 상승하였는지를 판정할 수 있다. 이 점을 이용하여, 노이즈 레벨 검출 유닛(102)은 MTF 보정 유닛(160)에서 구한 휘도 신호 Y에 기초하여, 전체 화상 프레임 상에서 취해진 휘도의 합으로부터, 또는 경우에 따라서는, 화상 프레임 중심 등에 있는 피사체에 대응하는 신호에 가중치를 부여하여 가중된 휘도값의 합으로부터 화상 프레임의 평균 휘도를 계산하여, 노이즈 레벨을 판정할 수 있다.

(iii) 밝기는 대체로 노이즈 레벨에 반비례한다. 이 점을 이용하여, 조도 센서를 설치하면 노이즈 레벨 검출 유닛(102)이 그 조도 센서의 출력에 기초하여, 노이즈 레벨을 판정할 수 있다.

전환 신호 생성 유닛(104)은 노이즈 레벨 검출 유닛(102)의 검출 결과에 기초하여 전환 신호를 생성한다. 구체적으로, 화상의 노이즈 레벨이 비교적 낮은 경우에, 스위치(SW1)가 IIR 필터(1621)를 디스에이블로 하고 스위치(SW2)가 FIR 필터(1622)를 인에이블로 하게 하는 전환 신호가 생성되고, 한편 노이즈 레벨이 비교적 높은 경우에는, 스위치(SW1)가 IIR 필터(1621)를 인에이블로 하고, 스위치(SW2)가 FIR 필터(1622)를 디스에이블로 하게 하는 전환 신호가 생성된다.

본 발명의 실시형태에 대해 설명하였다. 물론, 도 1 등에 도시한 화상 처리 장치의 처리 기능을 컴퓨터 프로그램으로서 구성하여, 컴퓨터가 그 컴퓨터 프로그램을 실행하게 함으로써 본 발명을 구현할 수 있다. 그러나, 이와 다르게, 그 프로세스 프로시저를 컴퓨터 프로그램으로서 구성하여, 컴퓨터가 그 컴퓨터 프로그램을 실행하게 함으로써 본 발명을 구현할 수도 있다. 컴퓨터로 그 처리 기능을 수행하게 하는 컴퓨터 프로그램은 그 컴퓨터 프로그램을 컴퓨터 판독 가능한 기록 매체, 예컨대 플렉시블 디스크(FD), 광자기 디스크(MO), ROM(Read Only Memory), 메모리 카드, 컴팩트 디스크(CD), DVD(Digital Versatile Disc), 및 착탈형 디스크에 기록함으로써 저장 및/또는 제공될 수 있으며, 및/또는 인터넷 등의 네트워크를 통해 배포될 수 있다.

Claims (8)

1. 촬상 소자에 의해 취득된 화상 데이터를 처리하는 화상 처리 장치에 있어서,
   상기 화상 데이터를 일시적으로 내부에 순차 저장하는 라인 버퍼와,
   상기 라인 버퍼를 이용하여, 상기 화상 데이터의 공간 주파수 특성을 정형화하는 FIR(유한 임펄스 응답) 필터와,
   처리된 화상 데이터의 피드백에 이용되는 라인 버퍼로서, 상기 FIR 필터가 이용하는 것과 같은 라인 버퍼를 이용하는 IIR(무한 임펄스 응답) 필터
   를 포함하는 화상 처리 장치.
2. 제1항에 있어서, 상기 FIR 필터는 상기 화상 데이터의 고주파 성분을 강조하는 엣지 강조 필터인 것인 화상 처리 장치.
3. 제1항에 있어서, 상기 IIR 필터는 노이즈를 저감시키는 저역 통과 필터인 것인 화상 처리 장치.
4. 제1항에 있어서,
   상기 화상 데이터의 노이즈 레벨을 검출하는 노이즈 레벨 검출 수단과,
   상기 노이즈 레벨 검출 수단에서 검출된 노이즈 레벨에 기초하여 전환 신호를 생성하는 전환 신호 생성 수단과,
   상기 전환 신호 생성 수단에서 생성된 전환 신호에 따라, 상기 FIR 필터 및 상기 IIR 필터를 독립적으로 인에이블 및 디스에이블시키는 스위칭 수단
   을 더 포함하는 화상 처리 장치.
5. 제4항에 있어서, 상기 노이즈 레벨 검출 수단은 상기 촬상 소자의 AGC(자동 이득 제어) 회로의 이득에 기초하여 노이즈 레벨을 검출하는 것인 화상 처리 장치.
6. 제4항에 있어서, 상기 노이즈 레벨 검출 수단은 화상의 평균 명도에 기초하여 노이즈 레벨을 검출하는 것인 화상 처리 장치.
7. 제4항에 있어서, 상기 노이즈 레벨이 비교적 낮은 경우에는 상기 FIR 필터가 인에이블되고 상기 IIR 필터가 디스에이블되어, 상기 라인 버퍼의 출력 단자가 상기 FIR 필터의 입력 단자에 접속되고,
   상기 노이즈 레벨이 비교적 높은 경우에는 상기 FIR 필터가 디스에이블되고 상기 IIR 필터가 인에이블되어, 상기 IIR 필터의 출력 단자가 상기 라인 버퍼의 입력 단자에 접속되고 상기 라인 버퍼의 출력 단자가 상기 IIR 필터의 입력 단자에 접속되는 것인 화상 처리 장치.
8. 광화각(wide-view-angle) 광학 시스템과,
   상기 광학 시스템을 통해 촬상된 화상을 판독하는 촬상 소자와,
   상기 촬상 소자에 의해 판독된 화상 데이터를 처리하는 제1항 내지 제7항 중 어느 한 항에 기재된 화상 처리 장치와,
   상기 화상 처리 장치에 의해 처리된 화상 데이터를 표시하는 표시 장치
   를 포함하는 차재용 카메라 장치.

Images