KR20050016750A - 신호 처리 방법 및 장치, 컴퓨터 프로그램 제품, 컴퓨터시스템, 반도체 장치, 및 카메라 - Google Patents

Abstract

백색 보상된 루미넌스 재구성(white-compensated luminance reconstruction)을 기반으로 하고, 스마트그린 파라미터(smartgreen-parameters)로 지칭되는 필터 가중치(filter weights)를 이용하는 재구성 방법이 제안되어 있다. 샘플 주파수의 배수에서도, 또한 광학 로우 패스 필터(optical low pass filter)가 없는 카메라의 경우에도, 에일리어싱이 없는 루미넌스 신호(aliasing free luminances signal)를 획득할 수 있다. 또한, 이 백색 보상된 루미넌스 신호는 신호 왜곡이 없다. 제안된 방법은 적절한 로우 패스 필터(low-pass filter)를 추가하거나 결합시킬 있고, 특히 각종 에일리어싱이 없는 컬러 필터 및 컨투어 필터를 구현하기에 적합할 것이다. RGB 컬러 신호는 센서 매트릭스의 무게(heaviness)의 함수 및 카메라의 광학 전달 함수로서 선택될 수 있는 필터 가중치를 이용하여 재구성된다.

Description

신호 처리 방법 및 장치, 컴퓨터 프로그램 제품, 컴퓨터 시스템, 반도체 장치, 및 카메라{METHOD AND APPARATUS FOR SIGNAL PROCESSING, COMPUTER PROGRAM PRODUCT, COMPUTING SYSTEM AND CAMERA}

본 발명은 신호 처리를 위한 방법에 관한 것으로, 화상 센서의 센서 신호가 입력으로서 제공되는데, 이 입력은 후속 처리를 위한 출력을 형성하기 위하여 필터에서 재구성(reconstruct)되고, 이 필터는 루미넌스 재구성 필터(luminance-reconstruction-filter), 적색-녹색-청색 재구성 필터 및 컨투어 재구성 필터(contour-reconstruction-filter)로 이루어지는 그룹으로부터 선택된 적어도 하나의 재구성 필터를 포함하고, 입력은 복수의 화소(pixels)를 포함하고, 하나의 화소는 적색, 녹색, 청색 중 적어도 하나의 컬러가 할당된 컬러값을 제공한다. 또한, 본 발명은 특히 이러한 방법을 실행하는 신호 처리를 위한 장치에 관한 것으로서, 본 방법은 입력으로서 센서 신호를 제공하는 화상 센서와, 입력을 재구성하여 후속 처리를 위해 출력을 형성하는 필터를 포함하고, 이 필터는 루미넌스 재구성 필터, 적색-녹색-청색 재구성 필터 및 컨투어 재구성 필터로 이루어지는 그룹으로부터 선택된 적어도 하나의 재구성 필터를 구비하며, 입력은 복수의 화소를 포함하고, 하나의 화소는 적색-녹색-청색 중 적어도 하나의 컬러가 할당된 컬러값을 제공한다. 또한, 본 발명은 신호 처리에 적합한 컴퓨터 프로그램 제품, 컴퓨터 시스템 및 카메라에 관한 것이다.

예를 들어, 비디오 및 정지 화상(still image)의 디지털 신호 화상 감지를 기반으로 하는 디지털 카메라는 적색-녹색-청색(RGB) 베이어(Bayer) 컬러 필터 어레이를 포함한 화상 센서를 구비하는 것이 유리할 것이다. 이러한 RGB 베이어 컬러 필터 어레이에서, 각 화소는 사전 정의된 패턴 내에서 적색, 녹색 및 청색의 주요 색상을 감지한다. 이 패턴은 녹색/적색 열 및 녹색/청색 열이 번갈아가며 형성되어 있다. 이러한 센서는 각각의 주요 색상에 대하여 개별 화상 센서를 사용하는 카메라와 비교할 때 제한된 해상도를 가질 수 있다. 그러나, 3개의 화상 센서를 가진 카메라는 단일 RGB 베이어 센서에 비해서 해상도에 기여하는 화소를 3배나 더 많이 가진다. 3개의 센서를 사용하는 것은 대부분의 애플리케이션에 있어서 비용 및 크기 조건에 의해 불리하다. 다른 한편으로, RGB 베이어 컬러 필터 어레이에서 3개의 주요 컬러인 적색, 녹색 및 청색을 감지하는 데 단일 화상 센서를 사용하는 것이 유리한 경우, 소정 컬러의 손실된 화소(missing pixels)를 재구성하여 소정의 전체 화상을 처리할 필요가 있다. RGB 베이어 구조로 인하여, 녹색, 적색 및 청색에 제각기 관련되는 상이한 나이키스트 도메인(Nyquist-domains)은 컬러에 의존적인 해상도를 생성하고, 가능한 경우에는 에일리어싱 패턴(aliasing patterns)을 나타낸다.

신호 품질을 향상시키기 위하여 몇몇 추정 방법을 제공할 수 있다. WO99/39504는 종래의 추정 방법을 보다 일반적인 개념으로 기술하고 있는데, 여기에서는 일정 컬러의 신호가 제공되지 않고, 주어진 컬러의 평균이 생성되는 위치에 중간 컬러 신호가 추정된다.

신호 처리를 위한 또 다른 방법으로는, WO99/04555에 기술되었고, 출원 번호 제 EP 01 200 422.2 호의 유럽 특허 출원에 기술된 보다 유리한 추정 방법을 사용하는 것이 있다. 그러나, 이러한 방법은 여전히 예를 들면, 프리(free) 루미넌스 신호의 에일리어싱 또는 다른 신호 왜곡 등과 같은 문제점을 가지고 있다. 이러한 신호 왜곡은 특히 화상에 허위 컬러(false colors)를 잘못 생성하는 결과를 낳는다.

WO99/04555에 기술된 RGB 베이어 화상 센서에 대한 녹색 재구성 방법은 단순히 녹색 재구성에 관한 것이다. 적색 및 청색은 여전히 종래의 방식으로 재구성된다. 단지 손실된 녹색 화소만이 재구성된다. 손실된 녹색 화소의 재구성은 녹색에서 도출되는 2개의 변수와 적색 또는 청색으로부터 도출된 1개 변수로 된 3개의 특정 변수를 분류하는 메디안 필터(median filter)에 의해 수행된다. 본 방법의 단점은 고 채도(saturation)로 착색된 에지 아티팩트가 우표의 테두리처럼 보인다는 것이다. WO99/04555에 개시된 알고리즘은 스마트그린1(smartgreen1) 알고리즘으로서 알려져 있다. 이 알고리즘은 해상도 손실이 백색 화면 부분 근처의 고주파에서 가장 잘 관찰되며, 착색된 부분 근처에서는 보다 적게 나타난다는 개념을 근거로 하고 있다. 이러한 사실로 볼 때, 손실된 녹색 화소의 재구성값을 결정할 때에 적색 및 청색 화소의 분포를 사용하는 것이 도움이 된다. 스마트그린1 재구성의 목적은 녹색의 해상도를 최대화하는 것이다. 이를 위하여 메디안 필터 알고리즘은 자연적으로 적색(R) 또는 청색(B) 화소가 손실된 녹색 화소 위치를 차지하도록 적용된다. 스마트그린1 재구성 알고리즘에 있어서, 중간값(median value)으로 지칭되는 3×3 화소어레이의 중심값이 손실된 녹색 화소의 재구성을 위해 적용된다. 결과적으로, 녹색을 위한 단순한 메디안 필터가 단순히 녹색 재구성의 종래의 추정 개념을 대체하는 반면, 종래의 적색 및 청색 재구성 방법은 단순 추정이 되도록 유지된다. 루미넌스 필터링, 컬러 필터링 및 컨투어 필터링은 또한 녹색을 위한 필터링으로 제한된다. 허위 컬러 검출은 단순히 종래의 녹색 재구성의 추정 개념을 기반으로 하며, 종래의 적색 및 청색 재구성은 단순 추정이 되도록 유지된다.

이러한 스마트그린1 재구성 방법은 적색 및/또는 청색 화소 정보를 이용하여 수평 및 수직 방향으로 녹색 화소의 해상도를 향상시킨다. 이 종래의 방법은 동일 컬러의 이웃하는 컬러 샘플 및, 단순히 동일 위치로부터 상이하게 착색된 샘플에 따라서 컬러 샘플을 추정한다. 결과적으로, 재구성된 신호는 적색 착색형 에일리어싱 및/또는 청색 착색형 에일리어싱의 문제가 발생된다. 종형 및 횡형 착색된 에지는 우표의 테두리와 유사한 각 방향으로의 녹색 강도 변조의 영향을 받게 된다.

본 명세서에 스마트그린2 재구성 알고리즘으로 참조되고 EP 01200422.2에서 개략적으로 기술된 개선 사항은 해상도를 상당히 개선시킬 수 있었지만, 전술한 신호 왜곡 및 신호 에일리어싱의 단점을 제거하지는 못한다. 특히, 에지 및 고주파에서, 이웃 화소들과 교번하는 컬러들과 같은 소정 신호 왜곡을 복 수 있다. 또한 아티팩트 블랙 도트(artifact black dots) 및 아티팩트 화이트 도트(artifact white dots)가 잘못 생성될 수 있다.

도 1은 메모리 기반의 아키텍처에서 RGB 재구성 및 컨투어 재구성의 위치를 도시하는 도면이다.

도 2는 스마트그린3 재구성에 대한 기본 블록도이다(R-컬러 및 B-컬러를 스마트그린 파라미터로 곱하는 것과 관련된 블록의 특정 정보는 W099/04555로부터 획득될 수 있음).

도 3은 백색 보상된 루미넌스 화소(Yn)의 구현을 도시하는 도면이다.

도 4는 원래 화면(좌측 상부) 및 센서 신호(우측 하부)의 예를 도시하는 도면이다.

도 5는 백색 보상되지 않은 2×2 필터링된 루미넌스(좌측 상부) 및 백색 보상된 2×2 필터링된 루미넌스(우측 하부)를 도시하는 도면이다.

도 6은 여러 개의 백색 보상된 루미넌스 재구성 필터를 도시하는 도면이다.

도 7은 2×2 Yn 필터의 전달값을 나타내는 도면이다.

도 8은 제 2 Yn 필터의 전달값을 나타내는 도면이다.

도 9는 제 3 Yn 필터의 전달값을 나타내는 도면이다.

도 10은 4×4 Yn 필터 내에서 녹색-녹색 색차(difference)를 제거하는 기법을 도시하는 도면이다.

도 11은 착색 영역 내에서 컬러 변조를 제거하는 기법을 도시하는 도면이다(도 3 내지 도 11은 바람직한 실시예에 있어서 녹색-녹색 색차가 없어 유리한 백색 보상된 루미넌스 신호를 도시한다. 녹색-녹색 색차는 베이어 화상의 녹색 균일성을 복원함으로써 제거될 수 있는데, 이는 눈에 띌 정도의 해상도 저하 없이 라플라시안(Laplacian)(즉, 스마트그린) RGB 재구성 방법을 유지하면서 센서의 녹색 신호 내의 녹색-녹색 색차를 제거할 수 있게 한다. 또한, RGB 베이어 화상 센서의 병렬 컨투어 신호 내에서 녹색의 비 균일성을 방지함으로써 녹색-녹색 색차를 제거할 수 있는데, 이는 화상 센서에 의해 유발되는 녹색-녹색 색차를 제거하여 2차원 병렬 컨투어 필터를 전개함으로써 수행될 수 있음).

도 12는 바람직한 실시예로서, 외부 메모리로부터의 열 방식 패키지 전달(column wise package transfer)을 이용하는 2×2 후치 필터링을 도시하는 기본 블록도이다.

도 13은 매트릭스 및 백색 밸런스 이후에 추가된 센서 신호(Yn-Ylf)(좌측 상부) 및 매트릭스 및 백색 밸런스 이전에 추가된 센서 신호(Yn-Ylf)(우측 하부)의 예를 도시하는 도면이다.

도 14는 Rlf, Glf, Blf, Ylf 및 Yn의 전달 특성의 함수로서 나타낸 컬러 채도 제거를 나타내는 도면이다.

도 15는 2×2 후치 필터 이후의 전체 3×3 RGB 전달 특성값을 나타내는 도면이다.

도 16은 4×4 루미넌스 Ylf 로우 패스 필터의 매칭을 도시하는 도면이다.

도 17은 2×2 후치 필터 이후의 전체 5×5 G 전달 특성값을 나타내는 도면이다.

도 18은 6×6 루미넌스 Ylf 로우 패스 필터의 매칭을 도시하는 도면이다.

도 19는 단일 매트릭스를 위한 (Yn-4×4Ylf)를 포함하는 3×3 RGB 컬러 재구성의 대역폭(우측) 및 (Yn-4×4Ylf)를 포함하지 않는 RGB 컬러 재구성의 대역폭(좌측)을 나타내는 도면이다.

도 20은 FT19 매트릭스를 위한 (Yn-6×6Ylf)를 포함하는 5×5 RGB 컬러 재구성의 대역폭(우측) 및 (Yn-6×6Ylf)를 포함하지 않는 RGB 컬러 재구성의 대역폭(좌측)을 나타내는 도면이다(도 15 내지 도 20은 바람직한 실시예, 즉 에일리어싱이 없는 저 주파수 루미넌스 신호의 구현을 도시함).

도 21은 조합된 (Yn-Ylf) 필터의 예를 도시하는 도면이다.

도 22는 조합된 (Yn-Ylf) 필터의 가중치에 의한 스마트그린3의 단순화된 블록도이다.

도 23은 2×2 Yn 필터 및 4×4 Ylf 필터의 높은 패스 전달 특성을 나타내는 도면이다(도 21 내지 도 23은 바람직한 실시예, 즉 4×4 또는 6×6 로우 패스 루미넌스 신호를 백색 보상된 루미넌스 신호와 조합한 것을 도시함).

도 24는 외부 메모리로부터의 열 방식 패키지 전달을 이용하는 2×2 RGB 후치 필터 및 Ylf 후치 필터에 대한 기본 블록도이다(도 24는 바람직한 실시예, 특히 후치 필터링과 관련하여 도시되었음).

본 발명의 목적은 신호 품질이 개선되도록, 신호 처리를 위한 방법 및 장치, 그리고, 신호 처리를 위한 컴퓨터 프로그램제품, 컴퓨터 시스템 및, 신호 처리에 적합한 카메라를 명시하는 데 있다. 특히, 신호는 신호 왜곡 및 에일리어싱에 관하여 개선되면서도 여전히 충분한 해상도를 제공할 수 있어야 한다.

본 발명의 방법에 관한 경우, 본 발명의 목적은 도입부에 전술한 바와 같은 방법에 의해 성취될 수 있으며, 여기서, 본 발명에 따른 방법은,

- 다수의 화소-다수의 화소 중 적어도 하나의 화소는 적색에 할당된 적색 화소에 의해 형성되고, 다수의 화소 중 적어도 하나의 화소는 청색에 할당된 청색 화소에 의해 형성되며, 다수의 화소 중 적어도 하나의 화소는 녹색에 할당된 녹색 화소에 의해 형성됨-를 포함하는 사전 결정된 어레이 크기의 화소 어레이에 대해 재구성 필터를 적용시키는 단계와,

- 녹색 파라미터를 가지고 적색 화소 및/또는 청색 화소에 가중치(weight)는 부여하는 단계와,

- 화소의 어레이를 하나의 출력 화소로 축약(summarizing)시키는 단계와,

- 어레이 내에서 출력 화소를 센터링(centering)시키는 단계

를 더 포함한다.

본 발명의 장치에 관하여, 본 발명의 목적은 도입부에 전술한 장치에 의해 성취되는데, 본 발명의 장치는,

- 다수의 화소-다수의 화소 중 적어도 하나의 화소는 적색에 할당된 적색 화소에 의해 형성되고, 다수의 화소 중 적어도 하나의 화소는 청색에 할당된 청색 화소에 의해 형성되며, 다수의 화소 중 적어도 하나의 화소는 녹색에 할당된 녹색 화소에 의해 형성됨-를 포함하는 사전 결정된 어레이 크기의 화소 어레이에 적용되는 재구성 필터를 포함하고,

상기 신호 처리 장치는,

- 녹색 파라미터로 적색 및/또는 청색 화소에 가중치를 부여하는 가중치 부여 수단과,

- 어레이의 화소들을 하나의 출력 화소로 축약하는 축약 수단과,

- 어레이 내에서 상기 출력을 센터링시키는 센터링 수단

을 더 포함한다.

본 명세서에 사용된 화소란 용어는 특히, 신호에서 컬러 샘플의 값을 지칭한다.

본 발명은 화상의 재구성을 위한 유동적 설계의 개념으로부터 비롯되었고, 백색 보상된 루미넌스 재구성(white compensated luminance-reconstruction)을 기초로 한다. 이 아이디어는 기본적으로 적색 화소 및/또는 청색 화소를 녹색 파라미터로 가중(weightening)시키는 것에 의해 실현되지만, 종래 기술의 개념은 오로지 불량(missing) 녹색 화소의 재구성에만 의존한다. 제안된 재구성 필터는 사전 결정된 어레이 크기를 갖는 화소의 어레이에 적용되도록 설계되었다. 결과적으로, 이러한 어레이에 대해 유리한 방식으로 필터링이 수행된다. 종래의 방법이 동일한 위치에 있는 이웃하는 샘플(들)에 의존하는 간단한 추정(interpolation)에 의존하는 반면, 제안된 개념은 어레이의 모든 화소를 고려하는 특수하게 적응된 재구성 필터를 제공한다. 제안되는 백색 보상된 개념은 카메라가 광학 로우 패스 필터를 구비하지 않는 경우에 다수의 샘플 주파수에서도 에일리어싱이 없는(aliasing free) 루미넌스 신호를 제공하는 이점을 갖는다. 또한, 이러한 백색 보상된 루미넌스 신호는 신호 왜곡이 없다. 제안되는 기본적인 방법 및 장치는 광범위하고 유동적인 확장을 제공하도록 적응될 수 있다. 예를 들면, 광학 시스템의 광학 전달 및/또는 화상 센서(image sensor)의 센서 매트릭스에 따라서 선택 및 조정될 수 있는 다양한 여러 개의 재구성 필터를 제공할 수 있다. 제안된 방법 및 장치는 광학 로우 패스 필터로부터의 독립성을 어느 정도 유지할 수 있다. 이는 잠재적인 소비자를 위한 카메라의 설계가 변동될 수 있으므로 특히 유리하다. 제안된 방법 및 장치는 조정 가능한 허위 컬러 필터(false-color-filters)를 여러 방식 및 이하에서 개략적으로 설명되는 단순한 방식으로 구현할 수 있다.

계속하여 발전된 구성 방법은 방법 종속항에 설명되어 있다. 제안된 장치는 방법을 실행하기 위한 제각기의 수단에 의해 개선될 수 있다.

특히, 제 1 필터 뒤에 있는 제 2 필터의 중심 출력 화소(center-output-pixel)가 출력 화소(output-pixel)와 일치되도록(in phase) 배치되고, 특히 중심 출력 화소가 어레이의 동일 중심점에서 출력 화소와 동일하게 중심이 맞춰지는 것이 바람직하다. 또한, 이 작업은 추가적인 후치 필터(post filter), 특히 이하에서 설명되는 후치 필터에 의해 수행되는 것이 더욱 유리하다.

바람직한 구성에서, 재구성 필터는 루미넌스 재구성 필터에 의해 형성되고, 어레이의 화소들은 출력 화소가 되는 하나의 백색 화소에 함께 추가된다. 가장 바람직한 녹색 파라미터 또는 다수의 녹색 파라미터는 화상 센서의 센서 매트릭스에 따라 선택된다. 또한, 녹색 파라미터 또는 다수의 녹색 파라미터는 화상 센서로 화상 신호를 제공하는 광학시스템의 광전달에 따라서 선택될 수 있다. 그 때문에, RGB 컬러 신호는 센서 매트릭스의 무게(heaviness)와 결합한 카메라의 광전달 함수로서 선택될 수 있는 필터 가중치로써 유리하게 재구성된다. 이것으로서, 품질이 향상된 특정 애플리케이션 및 화상을 획득할 수 있다.

하나 또는 그이상의 바람직한 구성을 포함한 전술한 루미넌스 재구성의 기본 개념은 다음부터는 RGB 베이어 화상 센서를 위한 "백색 보상된 루미넌스 재구성" 또는, 간단히 "RGB 재구성"으로 지칭된다. 또한, 녹색 파라미터는 "스마트그린-파라미터"로서 지칭된다. 제안된 방법에 의해 정의되는 적색 및/또는 청색 화소를 가진 스마트그린 파라미터와, 그에 대한 보다 전개된 구성을 이용하는 방법은, "스마트그린3" 재구성 방법으로 지칭될 수 있다. 또한, 녹색 파라미터를 결정하는 특정 방식은 WO 99/04555 및 EP 01200422.2에 기술되어 있으며, 또한 스마트그린3내에 적용 및 사용될 수 있다.

제안된 방법의 특정 종류의 어레이 필터 및 필터크기로 인하여 에일리어싱없는 신호가 되며, 특히, 녹색-녹색 색차(green-green differences)가 없어진다. 상세한 사항은 도면을 참조하여 바람직한 실시예에 따라 설명된 상세한 설명의 제 2 장 및 제 3 장에서 상세하게 기술될 것이다. 특히, 루미넌스 재구성 필터는 2×2, 4×4 또는 6×6 어레이 크기를 갖거나 원하는 경우 더 큰 어레이 크기를 갖는 화소 어레이에 적용될 수 있다. 특히 바람직한 구성에서, 루미넌스 재구성 필터는 2×2 또는 4×4의 어레이 크기에 대해 적용된다. 필터 크기는 광학 전달량의 함수로 선택될 수 있다. 또한, 제각기의 필터에 대한 가중치는 서로 다르게 선택될 수 있다. 여러 루미넌스 재구성 필터를 적용하도록 제공할 수 있는데, 특히 광학 로우 패스 필터링이 없거나 약한 경우에는 2×2의 어레이 크기에 대해 루미넌스 재구성 필터를 적용하고, 로우 패스 필터링이 강한 경우에는 4×4 또는 6×6으로 증가된 어레이 크기에 대해 제각기의 루미넌스 재구성 필터를 추가적으로 적용하는 것이 유리하다.

추가하여, 4×4 또는 6×6의 어레이 크기에 제각기 적용된 로우 패스 필터에 의해서 로우 패스 루미넌스 신호가 생성되는 것이 유리하다. 유리한 구성에서, 4×4 또는 6×6 로우 패스 필터는 제각기 2×2 또는 4×4 루미넌스 재구성 필터와 조합되어 하나의 단일 필터를 형성한다. 결과적인 신호는 센서에 의해 유발된 녹색 비 균일성 아티팩트(artifacts)에 의해 영향을 받지 않는다.

그럼에도 불구하고, 재구성된 RGB 신호는 나이키스트 이론(Nyquist theorem)에 따라서 착색된 에일리어싱의 잔류량에 의해 여전히 영향을 받을 수 있다. 에일리어싱의 잔류량을 더욱 감소시키기 위해서는, 루미넌스 재구성 필터에 추가하여 컬러 재구성 필터(color reconstruction filter) 및/또는 컨투어(contour) 재구성 필터를 적용할 수 있다. 그러므로, 특히 허위 컬러 필터를 적용하여 입력단으로부터 허위 컬러를 제거할 수 있다. 컬러 재구성 필터는 허위 컬러 필터를 포함하는 것이 바람직하다.

보다 바람직하게는, 특히 도 15, 도 16, 도 17, 및 도 18을 참조하여 제 3.3 장의 상세한 설명에 기술된 바와 같이, 로우 패스 루미넌스 신호가 가능한 한 전체 RGB 전달과 동일한 전달 특성을 갖도록 구현된다. 4×4 또는 6×6 로우 패스 루미넌스 필터를 제각기 3×3 또는 5×5 녹색 재구성 필터와 매칭시키는 것은 2×2 후치 필터에 의해 이루어지는 것이 바람직하다. 이는 도면을 참조하고, 상세한 설명의 제 3 장의 바람직한 실시예에 상세히 설명되어 있다.

보다 바람직한 구성에서, 고주파 루미넌스 필터는 화상 센서에 화상 신호를 제공하는 광학 시스템의 광전달에 따라 적용된다. 이로써, 고 주파수의 에일리어싱없는 루미넌스 성분은 저 주파수의 재구성 컬러 신호에 추가되어 컬러 아티팩트를 차폐시킬 수 있다. 대응하는 바람직한 실시예는 도 2 및 도 12를 참조하여 상세한 설명에서 기술될 것이다.

제안된 방법은 카메라의 광전달이 적당한 필터의 적용을 제한하지 않을 시에 적합하다. 다시 말해, 임의 광학 로우 패스 필터가 단지 고객의 애플리케이션에 따라 유리하게 사용될 수 있다. 이것은 광학 로우 패스 필터를 전혀 사용하지 않을 때에도 적용가능하다. 이것은 특별히 제안된 허위 컬러 필터의 적용에 의해 성취되며, 특히 센서 매트릭스 또는 카메라의 광학 전달과 독립적으로 조정가능하다. 특히, 허위 컬러 필터는 1/2 화소 주파수에서 카메라의 광학 전달 함수로서 조정될 수 있다. 또한, 컬러 재구성 필터는 광학 전달 및 센서 매트릭스에 의존하여 제공될 수 있다. 컬러 재구성 필터의 계수에 대한 적절한 선택은, 광학 전달 및 센서 매트릭스의 함수로서 전반적인 화면(average scenes)에서 가장 중요한 시각 집중물(eye catchers)로 보이는 유사 백색(near-white)에 대한 해상도(resolution)를 최대화하는 것이다. 특히, 신호 왜곡의 정도를 최소화하면서 충분한 해상도를 제공한다. 이는 특히 상세한 설명의 제 4 장에 개략적으로 설명되어 있다.

전술한 바와 같은 전체 처리 체인에서, 즉, RGB 재구성은 특히 다음을 포함한다.

- 위상 매칭을 위한 후치 필터의 구현

- 루미넌스 신호 처리

- 병렬로 된 허위 컬러 필터 및 특히 다른 필터의 구현을 특히 포함하는 컬러 재구성 신호 처리

- 컨투어 신호 처리

신호 왜곡의 양은 극히 낮은 레벨로 제한된다.

또한, 이것은 최종 JPEG 변환에 대해 유효하다. 더욱이 바람직한 구성에서, 열방향 처리 및 행방향 처리가 더 수행되어 제안된 방법에 따라 스마트그린3 재구성 알고리즘을 실행할 수 있다. 이러한 처리는 유리하게도 내부 메모리량을 감소시키고 외부 메모리로/로부터 데이터 교체량을 감소시킨다. 이것은 처리 효율 및 속도를 지원할 것이다. 또한, 이러한 측정치는 모든 데이터 전송이 90°만큼 회전되는 경우에 작용한다.

제안된 방법은 앞에서 제안한 장치 상에서, 특히 컴퓨터 시스템 및/또는 반도체 장치 상에서 유리하게 실행된다. 이러한 시스템은 화상 센서와 처리칩 사이에 위치한 중간 메모리 인터페이스를 유리하게 포함할 수 있다. 그에 따라서, 필터링될 화소 어레이의 행의 길이 및 수는 더 이상 제한되지 않으며, 또한, 외부 메모리로, 또한 외부 메모리로부터의 데이터 교환량이 처리 시간을 너무 많이 지연시켜서는 안 된다. 결과적으로, 여전히 실시간 처리가 가능하다. 컴퓨터 시스템은 임의 종류의 프로세서유닛 또는 시스템 또는 컴퓨터일 수 있다.

또한, 실시간 처리는 바람직하게 중간 인터페이스를 사용하여 메모리 없이 수행될 수 있다. 그러나, 이 경우에는 비용 문제 때문에, 사용 가능한 행 지연의 전체 양은 특히 2로 제한될 수 있다. 이것은 단지 3개의 종형 탭(taps)이 RGB 재구성뿐만 아니라 컨투어 신호를 구현하는 데 사용될 수 있게 한다.

또한, 본 발명은 제품이 컴퓨터 시스템 상에 실행될 때, 특히 카메라의 컴퓨터 시스템 상에서 실행될 때, 컴퓨터 시스템이 제안된 방법을 실행하게 하는 소프트웨어 코드 섹션을 포함한 컴퓨터 시스템에 의해 판독 가능한 매체 상에 컴퓨터 프로그램 제품이 저장될 수 있게 한다.

이제, 본 발명은 첨부 도면을 참조하여 기술될 것이다. 상세한 설명은 본 발명의 바람직한 실시예로서 예시 및 기술될 것이다. 물론, 상세한 설명 및 형식에서 다양한 변경 및 변형이 본 발명의 사상을 벗어나지 않고서도 쉽게 행해질 수 있다는 것을 알아야 한다. 따라서, 본 발명은 본 명세서에 도시 및 기술된 정확한 형태 및 상세한 설명으로 제한되지 않으며, 본 명세서에 개시되고 차후에 청구되는 본 발명의 전체보다 작도록 제안되지도 않는 다. 본 발명을 개시하는 상세한 설명 및 도면과 특허 청구 범위에 기술된 특징은 독립적으로 또는 결합되어, 본 발명을 위한 필수 요소가 될 수 있다.

첨부된 도면을 참조하는 상세한 설명에 대해서는 다음의 장을 제공한다.

1. 백색 보상된 루미넌스 재구성 방법의 처리 흐름

2. 백색 보상된 루미넌스 신호

3. 로우 패스 필터링된 루미넌스 신호(Ylf)

3.1 매트릭스 및 백색 밸런스(white balance) 이후에 고주파수 성분의 추가

3.2 착색 에지(colored edge)에서의 채도 제거(Desaturation)

3.3 Ylf 필터 전달의 정의

3.4 회로의 단순화

4. 광학 전달 및 센서 매트릭스의 함수로서의 스마트그린3(smartgreen3)의 정의

5. 결론

이하의 도면들은 본 발명의 바람직한 실시예를 도시한 것으로서, 그 각각에 대한 설명은 아래와 같다.

1. 백색 보상된 루미넌스 재구성 방법의 처리 흐름

도 1은 중앙 버스 및 외부 메모리 인터페이스를 가진 집적 회로의 일반적 구조 부분을 도시한다. 센서 신호가 중앙 버스를 통하여 외부 메모리로 공급된다. RGB 컬러 재구성의 구현 및 병렬 컨투어 재구성의 구현을 위하여, 센서 데이터가 재구성을 위해 외부 메모리로부터 중앙 버스를 통하여 검색된다. 재구성 후에, 데이터는 처리 블럭으로 직접 전송되거나 혹은 외부 메모리로 되전송된다.

처리 블럭은 매트릭스, 백색 밸런스, 니(knee) 및 감마(gamma)인 다소의 표준 카메라 기능을 포함한다. 정지 화상 또는 비디오 데이터에 대한 신속한 실행 시간을 얻기 위해서는 메모리로/로부터 시간 추정 데이터 교체의 양을 제한시켜야 하므로 재구성된 데이터를 직접 처리부로 전송하는 일은 중요한 문제이다.

도 2에는 이하에서 "스마트그린3" 신호 재구성으로 참조되는, 제안된 방법의 바람직한 실시예에 대한 보다 상세한 블럭도가 도시되어 있다. 센서 데이터는 작은 패킷에 있는 외부 메모리로부터 중앙 버스를 통하여 재구성 블럭에 있는 작은 내부 메모리 어레이로 전송된다. 예로서, 도 2에 도시되어 있는 1 신호(16 비트)와 64 횡 방향×6 종 방향 화소(768 바이트)를 포함하는 [1S×64H×6V] 어레이로부터, 미처리된(raw) 센서 데이터는 재구성을 위해 임의로 검색될 수 있다. 특히, 센서 데이터의 행은 (64-2^*ho) 화소의 배수로 처리될 수 있고, 여기서, ho는 필터 어레이의 횡형 오프셋이다. n×m 재구성 어레이인 경우(여기서, "n"은 횡형 화소이고, "m"은 종형 화소임), 오프셋은 ho=n div 2이고, 여기서, "div"는 0의 방향으로 가장 가까운 정수로 어림한 것을 의미한다. 따라서, n=3인 경우에 ho=1이고, n=4 또는 n=5인 경우에 ho=2이며, n=6인 경우에 ho=3이 된다. 재구성될 수 있는 첫 화소는 1+ho 위치에 있고, 마지막 화소는 N-ho 위치에 있는데, 여기서, N은 센서 행에서 총 화소의 개수이다. 완전한 센서 행을 재구성할려면 N/(64-2*ho) 패키지를 재구성블럭으로 전송할 필요가 있다. 도 2의 하부에서, RGB 컬러 신호는 미처리된 센서 데이터와 함께 재구성된다. 필터 가중치의 선택에 의한 (저)주파 전달은 카메라의 광전달에 의존한다. 허위 컬러 킬러(false color killer) 및 2×2 후치 필터가 사용되는지 혹은 사용되지 않는지의 여부도 광학 전달에 의존한다. 도 2의 상부에서, R 및 B 화소는 스마트그린 파라미터와 곱해진다. 스마트그린 파라미터는 예를 들면, WO 99/04555 또는 EP 01 200 422.2에 개시된 방법에 따라 검색될 수 있다. 이 특정 신호와 함께, 에일리어싱없는 3개의 루미넌스 신호, 즉 컨투어 신호, 백색 보상된 루미넌스 신호 Yn 및 저 주파수 루미넌스 신호 Ylf가 재구성된다. 후자는 재구성된 RGB 신호와 동일한 전달 특성을 가진다. 백색 보상된 루미넌스 신호 Yn으로부터 저주파 신호 Ylf를 감산하므로써, 고주파 루미넌스 성분이 발생된다(Yn-Ylf). 바람직한 실시예에서, 보다 높은 주파수에서 원치 않는 허위 컬러를 방지하기 위하여, (Yn-Ylf) 신호는 가능하다면 처리부에서 매트릭스 및 백색 밸런스 함수 후에 각 컬러 신호에 보다 일찍 가산되어서는 안된다는 사실을 인식하는 것이 중요하다. 컨투어 신호에 대해서도 매우 동일하게 간주된다. 언급했던 원치 않는 허위 컬러를 막는 이유는 재구성 블럭의 총 출력이 4개의 신호 또는 제각기 3개의 신호로 이루어지기 때문이다. 가능한 가장 빠른 실행 시간외에도, 두 번째 이유로는 모든 신호를 직접 처리 블럭으로 전송하는 것이 바람직하기 때문이다. 세 번째 이유는 [4S×64H×1V] 내부 메모리를 2배로 여분을 만드는 것일 수 있는데, 재구성 블럭에서 하나의 [4S×64H×1V] 내부 메모리는 4개의 신호를 외부 메모리로 전송하기 위한 것이며, 처리부에서 하나의 [4S×64H×1V] 내부 메모리는 이들을 다시 검색하기 위한 것이다. [4S×64H×1V] 내부 메모리는 64 화소로 어림할 때에 총 640 바이트를 포함하는 한 수직 행의 (64-2^*ho) 횡형 화소의 4(16비트) 신호의 저장을 의미한다.

설계의 유동성을 최대화하는 것이 필요할 때, 예를 들면, CPU를 통한 특정 소프트웨어에 의한 시간 소비적인 재구성 및/또는 처리 시에, 하나는 재구성을 위해 다른 하나는 처리를 위한 2개의 [4S×64H×1V] 내부 메모리가 적용되어야 한다.

도 2의 상부에서, 저주파에서 오버슈트 또는 언더슈트를 방지하는 오버슈트 제어 프로세서에 후속하여 에일리어싱없는 컨투어가 구현된다. 2차원 단계 과도 신호를 사용하는 2차원 선명도 개선은 오버슈트(overshoot)를 제어하기에 적합한 2차원 검출 신호의 구현에 의해 성취된다. 이러한 소위 단계 과도 신호는 몇몇 오버슈트(및 언더슈트) 제어 방법에 사용될 수 있고, 결과적으로 과장되고 부자연스럽게 보이는 오버슈트없이 상당히 좋은 선명도로 개선된다. 내부 [4S×64H×1V] 메모리로 송신되는 단일 신호에 컨투어 및 (Yn-Ylf) 신호를 가산할 수 있다.

다음의 장은 다음과 같이 요약될 수 있다.

제 2 장에서, 2×2 및 4×4 필터 어레이를 가진 에일리어싱 및 왜곡이 없는 루미넌스 신호 Yn의 구현이 기술된다. 루미넌스 재구성 필터에 대한 상세한 사항은 본 명세서에 참조로서 병합되고 본 출원과 동일자에 출원된 내부 파일 번호 ID606638-Ⅱ인 특허 출원의 상세한 설명 중 제 2 장에서 특히 개시된다. 또한, 4×4 및 6×6 로우 패스 필터 어레이를 가진 저주파 루미넌스 신호는 본 명세서의 제 3 장에서 설명된다. 4×4 및 6×6 에일리어싱없는 컨투어 신호는 5×5 에일리어싱없는 컨투어 재구성 필터를 대체하거나 추가하여 제공될 수 있다. 컬러 재구성 필터의 상세한 사항은 본 명세서에 참조 문서로서 인용되고 본 출원과 동일 날짜로 출원된 내부 파일 번호 ID 505538-Ⅲ인 특허 출원 내에 개시되어 있다. 제안된 개념은 제 4 장에서 상세하게 설명되는 광학 전달 또는 센서 매트릭스의 함수로거 유동적으로 적응될 수 있다.

2. 백색 보상된 루미넌스 신호

백색 보상된 루미넌스 신호는 스마트그린 파라미터의 계산을 기반으로 한다. 그에 대한 예는 WO 99/04555 및 EP 01 200 422.2에 나타나 있다. SmartGcntrlR 및 SmartGcntrlB 파라미터는 wbr 및 wbb로서 제각기 지칭된다. 도 3은 적색 및 청색 화소를 스마트그린 파라미터와 곱한 것을 나타낸다. 다음 4개의 화소는 함께 가산되어 백색 보상된 루미넌스 화소 Yn이 된다. R 픽셀이 첫 픽셀임을 고려하면 화소 Yn의 중심은 한 화소의 반 만큼 우측 및 하부로 시프트된다. 결과적으로, 재구성되어야 할 다른 모든 신호들, 즉, 적색-녹색-청색 및 컨투어는 Yn 신호와 동일한 중심 위치를 가져야 한다.

백색 보상된 루미넌스 신호 Yn의 장점은 에일리어싱없는 5×5 컨투어 신호에 대한 것과 매우 동일하다. RGB 베이어 화상 센서에 대한 에일리어싱없는 컨투어 신호는 광학 로우 패스 필터가 없이도, 고유한 5×5 병렬 컨투어 필터를 기반으로 하며, 제 1 RGB 샘플 주파수에서 0 처리량을 가진다. 그의 신호 왜곡은 거의 0이므로, 시각적인 아티팩트가 없는 컨투어 신호가 된다. 지금까지 알려진 컨투어 필터는 센서의 나이키스트 도메인 외부의 백폴드(back folded)된 원치 않는 주파수를 증폭시킨다. 이것은 왜곡을 일으키게 되고, 화상에서 원치 않는 에일리어싱 성분을 더 잘 보이게 한다. 이 고유 5×5 컨투어 필터는 이들 에일리어싱 아티팩트를 방지하며, 또한, 화상 센서의 녹색 채널에 발생되는 녹색-녹색 색차를 제거한다. 특히 다음의 특징을 가진다.

1. OLPF(광학 로우 패스 필터)의 필요없이, Yn 신호는 제 1 RGB 샘플 주파수에서 0 처리량을 가지므로, 이들 지점에서 에일리어싱이 없을 것이다. 2의 배수 및 더 높은 배수의 샘플 주파수에서, 처리량은 낮지만, 렌즈의 로우 패스 기능 및 센서의 변조 전달 기능(modulation transfer function : MTF)이 또한 효과적일 것이다.

2. 신호 왜곡은 거의 0이며, 따라서, 루미넌스 신호 Yn은 시각적 아티팩트가 없다.

다음에, 2×2 백색 보상된 루미넌스필터가 특별히 장점을 가지는 이유를 설명할 것이다.

1. 2×2 단위 개체(unity)는 화상 센서의 순차적 RGB 베이어 컬러 신호에서 변조된 컬러 정보를 제거하고, 화상 센서에 의해 발생되는 녹색 비균일성을 제거하는 데 필요하다. RGB 베이어 화상 센서의 병렬 컨투어 신호에서 녹색 비균일성을 방지하는 것은 화상 센서에 의해 발생되는 녹색-녹색 색차를 제거하는 2차원 병렬 컨투어 필터를 전개하기 위한 방법에 의하여 성취된다. 베이어 화상 센서에 대한 병렬 컨투어 처리는 화상 센서로부터 녹색 신호를 사용하도록 하여 RGB 컬러 재구성과 병렬로 2차원 컨투어 신호를 생성할 수 있게 한다.

장점은 직렬 컨투어 처리의 경우에서와 같이 부가적인 행 지연이 없다는 것이다. 어떤 OLPF 타입이 사용되던지 간에, 고 채도 컬러 영역에서 이 컬러 변조에도 녹색 비균일성도 영향을 미치지 않는다는 사실에 주목한다.

2. 스마트그린 파라미터를 곱하는 것은 매트릭스 영향을 상쇄시키는 데 필요하며, 여기서, 매트릭스의 계수의 합은 단위 개체와 동일하지 않으며/또는 환경적 컬러 온도의 영향도 상쇄시킨다.

이러한 2가지 이유 때문에 스마트그린 파라미터를 계산한다. 이들 파라미터가 단위 개체가 아닌 경우, 컬러 센서는 흑색 및 백색 센서로서 동작하지 않을 것이다.

도 4에서 좌측 상부에는 테스트 화상의 원래 화면이 도시되고, 우측 하부에는 화상 센서로부터의 화상의 신호가 이론적인 FT22 매트릭스로 구현된 것으로 도시되어 있다. 착색된 화면 부분 내의 변조를 확실히 확인할 수 있고, RGB 나이키스트 도메인 외부에 에일리어싱이 존재하는 것도 확실히 확인할 수 있다.

도 5에서 좌측 상부에는 백색 보상없이 2×2 필터링된 루미넌스 신호가 도시되어 있고, 우측 하부에는 백색 보상되고 2×2 필터링된 루미넌스 신호가 도시되어 있다. 2개의 부분은 모둔 이론적인 FT33 매트릭스로 시뮬레이션 되고, 그에 따라서 스마트그린 파라미터는 단위 개체가 아니다. 이는 원하는 대로, 에일리어싱이 없고 왜곡이 없는 루미넌스 신호(Yn)의 구현에 있어서 이러한 파라미터의 이득을 확실히 나타낸다.

2×2 백색 보상된 루미넌스 신호 Yn의 작은 단점은 광학 로우 패스 필터(OLPF)가 적용될 시에 해상도가 감소될 수 있다는 것이다. 그러나, 이것은 Yn의 재구성을 위해 4×4 필터를 사용하므로써 보상될 수 있다. OLPF의 로우 패스 전달의 양에 따라, 보다 큰 가중치를 가진 Yn 필터가 선택될 수 있다. 도 6의 좌측에는 상술된 2×2 Yn 필터가 도시되어 있다. 중간 및 우측에서는 2개의 4×4 Yn 필터가 도시되어 있다. 우측에 "최고 가중치" 필터가 있다. OLPF의 전달 손실을 보상하는 것 외에도 렌즈의 전달 손실을 보상하기 위해서도 적용될 수 있다.

도 7, 도 8 및 도 9에는, 도 6에 도시된 루미넌스 필터에 대응되는 3D 그래프가 도시되어 있다. 이러한 3D 그래프는 수직 방향으로 전달 절대값을 나타낸다. 제 2 및 제 3 필터의 가중치는 최종으로 요구되는 전달 특성에 따라서 다른 값과 다를 수 있다.

4×4 Yn 필터는 녹색 균일성을 복원시킬 뿐만 아니라 컬러 영역에서 변조를 제거한다. 녹색 균일성 회복은 RGB 베이어 화상 센서의 병렬 컨투어 신호에서 녹색 비균일성을 방지하므로써 이루어질 수 있는데, 이는 화상 센서에 의해 발생되는 녹색-녹색 색차를 제거하는 2차원 병렬 컨투어 필터를 전개하므로써 수행될 수 있다. 베이어 화상 센서를 위한 병렬 컨투어 처리는 RGB 컬러 재구성과 병렬로 2차원 컨투어 신호를 발생하기 위하여 화상 센서로부터의 녹색 신호를 사용할 수 있게 해준다. 장점은 직렬 컨투어 처리의 경우에서와 같은 부가적인 행 지연이 필요없다는 것이다. 일반적으로 이웃 직교 필터 계수들의 감산은 0 기여도를 가져야 한다고 할 수 있다. 이것은 평균화된 것이고, 결과적으로 이웃 녹색 화소의 녹색-녹색 색차를 제거할 것이다.

도 10은 녹색-녹색 색차를 제거하는 규칙에 따른 방식을 도시한다.

도 11은 착색된 영역 내에서 변조를 제거하는 2가지의 방법이 도시되어 있다. 정의 계수를 갖는 중심원은 언제나 2개의 녹색과 1개의 적색 및 1개의 청색 화소를 추가한다. 도시한 부의 계수의 조합은 언제나 2개의 녹색과 1개의 적색 및 1개의 청색 화소가 추가되게 하고, 또한 컬러 변조를 위한 전달이 0이라는 이점을 갖는다. 전체 광학 전달 및 임의의 4×4 Yn 필터의 무게의 조합에 따라서, 결과적으로 바람직하지 않은 오버슈트(overshoots) 및 언더슈트(undershoots)가 발생될 수 있다는 것을 유의해야 한다. 계수의 선택은 오로지 존 플레이트 화면(zone plate scene)을 슈팅(shooting)하고 처리함으로써 수행될 수 있다는 것이 알려져 있다.

3. 로우 패스 필터링된 루미넌스 신호(Ylf)

도 12는 2×2 후치-필터를 위해 필요한 내부 메모리를 포함하는 열 방식 패키지 전달을 도시하는 다른 기본 블록도로서, 메모리는 오로지 64 화소 폭을 갖는다.

로우 패스 필터링된 루미넌스 신호 Ylf는 3×3 또는 5×5 RGB 재구성 필터의 전달 특성에 거의 매칭되도록 실현되는 것이 바람직하다. 백색 보정된 루미넌스 신호 Yn 및 로우 패스 필터링된 신호 Ylf의 차이, 즉, (Yn-Ylf) 신호는 로우 패스 재구성된 RGB 컬러 신호의 상보적 하이 패스 필터(high pass filter)로서 작용할 것이다. 이러한 하이 패스 신호는 각각의 RGB 컬러 신호에 추가된다. 매트릭스 및 백색 밸런스 이후에 이러한 동작이 실행되는 것이 바람직한 이유는 이하에서 가장 먼저 설명될 것이다.

3.1 매트릭스 및 백색 밸런스 이후에 고 주파수 성분의 추가

도 13의 좌측 상부는 매트릭스 및 백색 밸런스 이후에 RGB 컬러 신호에 고 주파수 루미넌스 성분(Yhf)을 추가한 결과를 도시한다. 여기에서 Yhf는 (Yn-Ylf)와 같지만, 컨투어 신호와 같은 다른 추가된 고 주파수 신호와 동일하게 고려된다. 도 13의 우측 하부는 매트릭스 이전에 Yhf가 추가될 때 원치않는 허위 컬러가 생성되는 것을 도시한다. 동등한 고 주파수 성분(Yhf)을 RGB 컬러에 추가하는 것은 기존의 착색 에지에 흑색 및 백색(즉, 회색) 성분을 추가하는 것을 의미한다. 매트릭스 및 백색 밸런스에 기인하여 추가된 회색 성분이 훼손되면, 더 높은 주파수에서 허위 컬러가 발생된다. Yhf가 매트릭스 및 백색 밸런스 이전에 추가되면, 다음의 식을 적용할 수 있다.

Ro', Go' 및 Bo'는 매트릭스 및 백색 밸런스 이후의 출력 신호이다. "axx" 파라미터는 센서 매트릭스값이다. (Ri+Yhf), (Gi+Yhf) 및 (Bi+Yhf)은 매트릭스 이전의 컬러 입력단 신호로서, 동등한 Ylf 성분이 추가되어 있다. 백색 밸런스 파라미터는 awbR 및 awbB이다. 출력 신호의 고 주파수 성분을 격리시키면, 다음과 같이 된다.

백색 밸런스 파라미터(awbR, awbB)와 조합된 각 매트릭스 계수의 합계가 1이 될 가능성은 극히 작다. 오로지 이와 같이 가능성이 매우 희박한 경우에만, 고 주파수에서의 컬러 밸런스가 훼손되지 않고, 다른 모든 경우에는 훼손될 것이다. 이를 방지하기 위하여, 고 주파수 성분(Yhf)은 매트릭스 및 백색 밸런스 이후에 추가되어야 한다. 이는 유리하게 다음의 결과가 되게 할 것이다.

3.2 착색 에지에서의 채도 제거(Desaturation)

각각의 RGB 컬러 신호에 (Yn-Ylf) 신호를 추가함으로써, 컬러 신호의 대역폭은 증가하지만, 추가된 주파수 성분이 높아질수록, 컬러 채도는 더 낮아질 것이다. 에지에서의 컬러 채도 제거는 재구성된 RGB 신호 및 (Yn-Ylf) 신호의 전달 특성 사이의 차이에 의존한다. (Yn-Ylf) 신호의 최대 주파수에서, 채도는 0이 되어, 흑색 및 백색 RGB 컬러 신호가 되게 한다. 도 14에서, Yn 신호와 컬러 및 루미넌스 저 주파수 신호(Rolf, Glf, Blf, Ylf)의 전달 특성 사이의 차이에 기인한 채도 제거에 대한 예시가 제공되어 있다. 후자는 모두 이상적으로 동일한 전달 특성을 갖는 것으로 가정된다. 이러한 특정한 경우에, 저 주파수(Yif)와 Yn 전달 커브 사이의 영역은 각 컬러에 대해 추가된 루미넌스 성분(Yn-Ylf)이다.

I(도 6에 도시된 필터에 의해 유리하게 실행되는) Yn 신호의 대역폭을 증가시키거나, (도 2에 도시된 바람직한 실시예에서와 같은) 이득 제어에 의해 (Yn-Ylf) 고 주파수 성분을 증가시키는 것은 또한 주파수의 함수로서 채도 제거를 증가시킬 것이다. 컨투어 필터에 있어서, (Yn-Ylf) 신호에서와 동일한 채도 제거 규칙이 적용될 것이다.

3.3 Ylf 필터 전달의 정의

채도 제거 측면보다 더욱 중요한 것은 컬러 신호에 (Yn-Ylf)를 추가함으로써 선명도를 획득하는 것이다. 실제적으로, Ylf와 컬러 필터 전달 특성의 매칭은 중요하지 않다. 그럼에도 불구하고, 2개의 잘 매칭된 로우 패스 루미넌스 필터가 여기에서 제시되는데, 하나는 3×3 컬러 재구성 필터를 위한 것이고, 다른 하나는 5×5 컬러 재구성 필터를 위한 것이며, 둘 다 2×2 후치-필터링을 포함한다.

동일한 필터 가중치에 기인하여, 전체 R, G 및 B 전달 특성은 완전히 동일하다. "전체"라는 말은 Ylf 필터가 매칭되어야 하는 기준 전달 특성을 획득하기 위해 2×2 후치-필터를 포함하는 하나의 컬러에 대한 모든 필터 가중치가 사용되었다는 것을 의미한다. 도 15에는 전체 RGB 전달 특성이 도시되고, 도 16에는 매우 잘 매칭된 Ylf 전달이 도시되어 있다. 이러한 4×4 필터 가중치는 (제 2 장의 도입부에서 설명된 바와 같은) 변조된 컬러 정보와 녹색 비균일성이 제거되도록 선택된다. 도 15 및 도 16의 좌측 상부 코너에서 필터 가중치가 표시되어 있다.

5×5 컬러 재구성 필터의 적색/청색 및 녹색 전달 특성은 일반적으로 완전히 매칭되지 않기 때문에, 녹색 전달은 기준으로서 선택된다. 인간의 눈에서, 녹색 광은 최대의 루미넌스 기여도를 갖는다. 도 17에는 2×2 후치-필터를 포함하는 전체 5×5 녹색 전달 특성이 도시되어 있다. 도 18은 거의 매칭된 6×6 로우 패스 Ylf 전달 커브를 도시한다. 또한, 이 필터는 변조된 컬러 정보 및 녹색 비 균일성을 제거한다.

도 19의 우측에는 도 19의 좌측에서 (Yn-4×4Ylf) 고 주파수 신호가 3×3 RGB 재구성되고 2×2 후치 필터링된 신호에 추가될 때의 선명도 향상을 도시한다. 2×2 Yn 신호 및 단위 매트릭스를 적용한다. 이와 유사한 결과가 도 20에 도시되어 있다. 좌측에 도시된 (Yn-6×6Ylf) 고 주파수 신호가 5×5 3×3 RGB 재구성되고 2×2 후치 필터링된 신호에 추가될 때, 우측에서는 선명도 향상을 확인할 수 있다. 2×2 Yn 신호 및 FT 19 매트릭스가 여기에 적용된다.

로우 패스 필터링된 루미넌스 신호의 대역폭이 컬러 신호에 비해서 너무 크다면, 고 주파수 성분(Yn-Ylf)은 작은 기여도를 제공할 것이다. 대역폭이 너무 낮으면, (Yn-Ylf)의 기여도는 더 클 것이다. 다른 Ylf 필터의 모든 종류를 시험해보는 것 대신에, 대역폭이 더 작은지 또는 더 큰지에 여부에 의존하는 것이 바람직하고, 도 12에 도시된 바와 같이 이득 제어에 따라 (Yn-Ylf) 진폭을 변동시키는 것이 바람직하다. 4×4 Yn 신호(도 6에 도시됨)의 선택에 의해 고 주파수 전달을 제어하는 추가적인 가능성이 제공된다. 도 12는 2×2 후치-필터를 위해 필요한 내부 메모리를 포함하는 열 방식 패키지 전달에 대한 기본 블록도로서, 메모리는 오로지 64 화소의 폭을 갖는다.

Ylf-전달 특성 및 컬러 전달 특성의 완전한 매칭 가능성은 다음과 같이 나타낼 수 있는데, 도 15 및 도 17에 도시된 전체 3×3 및 5×5 컬러 필터에 대한 것과 매우 동일한 계수를 갖는 로우 패스 Ylf-필터를 구현하는 것이 가능하다. 도 24에 도시된 바와 같이 몇몇 추가적인 내부 메모리를 추가함으로써, 2×2 후치-필터를 구현할 수 있다. 여기에서 Ylf 전달 특성은 컬러 전달 커브와 완전히 매칭될 것이다. 후치-필터는 5×5 녹색 필터의 녹색 비 균일성을 제거할 것이다. 매칭은 결정적이지 않고, 회로의 단순화 가능성을 배제(제 3.4 장 참조)할 수 있기 때문에, 이러한 완전한 매칭 선택 사항은 바람직하지는 않지만, 가능하다.

3.4 회로의 단순화

정의된 Yn 및 Ylf 필터 가중치를 가지고, 도 12의 블록도에 도시된 바와 같이 Yn 및 Ylf 필터를 결합시킬 수 있다.

첫 번째 예로서 도 6의 2×2 Yn 필터 및 도 16의 4×4 Ylf 필터를 결합시킨다. 2개의 필터의 전체 가중치 인자는 동일해진다. Yn 필터의 가중치에 11을 곱하면, 2개의 필터에 대한 전체 가중치는 44가 된다. 2개의 필터가 아닌 하나의 필터로 (Yn-Ylf) 신호를 획득하기 위해서, Ylf 가중치는 Yn 가중치로부터 감산되어야 한다. 이는 도 21의 좌측에 도시된 바와 같은 필터 가중치가 되게 한다. 진폭을 유지하기 위해서, 이 필터의 출력 신호를 22로 나눠야 한다. 도 23에서는 제각기의 하이 패스 전달 특성이 도시되어 있다.

두 번째 예로서, 도 6의 중간 Yn 필터와 도 16의 Ylf 필터를 결합하였다. 그들의 가중치의 합계는 각각 28 및 44이다. 이들을 4로 나누는 것에 의해 최소의 합계 인수인 7 및 11이 획득된다. 다음에 Yn 필터의 모든 가중치를 인수 11로 곱하고, Ylf 필터의 모든 가중치를 7로 곱하는 것에 의해서, 2개의 필터에 대한 전체 가중치가 308이 되게 한다(9 비트를 필요로 함). Yn 필터의 가중치 인자로부터 곱해진 Ylf 필터의 가중치 인자를 빼는 것에 의해서 결합된 필터의 가중치는 도 21의 중간에 도시된 바와 같이 필터의 가중치를 구할 수 있다. 출력 진폭을 유지하기 위해서는, 308의 인수로 나누는 것이 요구된다.

마지막 예로서, 도 6의 중간 Yn 필터 및 도 18의 Ylf 필터를 결합한다. 그들의 가중치의 합은 제각기 28 및 84이다. 이들을 28로 나누는 것에 의해서, 최소 합계 인수인 1 및 3을 얻을 수 있고, 다음에 Yn 필터의 모든 가중치를 3의 인수로 곱하고, Ylf 필터의 모든 가중치를 1의 인수로 곱하여, 둘 다를 위한 전체 가중치로서 84를 획득한다. 곱해진 Yn 필터의 가중치 인수로부터 곱해진 Ylf 필터의 가중치 인수를 빼는 것에 의해서 도 21의 우측에 도시된 바와 같이 결합된 필터의 가중치를 획득할 수 있다. 출력 진폭을 유지하기 위해서는, 84의 인수로 나누는 것이 필요하다.

도 22에는 도 12로부터 도출된 스마트그린3의 단순화된 블록도가 도시되어 있다. 실험의 수행에 있어서, 이 구성은 도 12의 구성에 비해서 다소 덜 유연하지만, 최종 칩 설계에 있어서 이는 실제적인 단점이 될 수 없다. 이를 위하여, 칩 면적 및 복잡도의 감소와, 속도의 증가가 보다 중요해질 수 있다. 또 다른 이유인, 오버슈트 제어 프로세서 내에서 Yn 신호의 필요성에 의해 이러한 단순화에 관련된 제안을 실행하지 않을 수 있다.

4. 광학 전달 및 센서 매트릭스의 함수로서 스마트그린3의 정의

지금까지 스마트그린3의 설명은 센서 매트릭스 및 광학 전달의 무게의 함수로서 그 구성을 정의할 수 있도록 이루어져 있었다.

· 가중치가 큰 매트릭스의 경우에, 광학 전달에 무관하게, 언제나 5×5 컬러 재구성 필터를 적용해야 한다. 도 6에 도시된 제 1, 제 2 또는 제 3 Yn 필터가 적용되어야 하는지에 대한 것은 광학 전달에 의존한다. 광학 전달이 높은 경우에, 제 1 2×2 Yn 신호가 사용되어야 하고, 광학 전달이 낮은 경우에, 제 2 또는 가능하게는 제 3 2×2 Yn 신호가 사용되어야 한다. 허위 컬러 킬러(false color killer)는 가중치가 큰 OLPF의 경우에도 온(ON)으로 스위칭되어, 적색/청색 나이키스트 주파수 부근에서 허위 컬러를 제거해야 한다.

· 적색/ 청색 샘플 주파수로부터 개시되어 거의 0의 처리량을 갖는 가중치가 작은 매트릭스 및 가중치가 큰 OLPF의 경우에, 3×3 컬러 재구성 필터를 선택할 수 있다. 3×3 컬러 필터의 결과로, 도 16에 도시된 4×4 Ylf 필터를 선택한다. 몇몇 해상도를 획득하기 위해서는, 도 6에 도시된 제 2 또는 제 3 Yn 필터를 적용할 수 있다. 허위 컬러 킬러는 온으로 스위칭될 수 있지만, 효과가 없다면 오프(OFF)로 스위칭될 수 있다. OLPF 또한 3×3 컬러 재구성 필터가 거의 없거나 아예 존재하지 않는 경우에, 도 16에 도시된 4×4 Ylf 필터 및 2×2 Yn 신호를 이용할 수 있다. 허위 컬러 킬러는 온으로 스위칭되어야 한다. 도 6에 도시된 좌측, 중간 또는 우측 Yn 필터의 선택은 광학 로우 패스 필터링의 양에 의존한다는 것이 명확할 것이다. OLPF가 거의 존재하지 않거나 아예 없는 경우에, 2×2 Yn 신호를 선택하고, 그렇지 않고 가중치가 큰 OLPF가 존재하는 경우에는 4×4 Yn 필터를 사용한다. 종래 기술의 스마트그린l/2 방법에 비해서, 스마트그린3 컬러 재구성에서는 허위 컬러 킬러의 조정이 덜 중요하다. 또한, 조정 절차가 적용될 수 있다.

컨투어 필터의 선택 및 조정은 개인적 취향에 의존한다. 유일한 지시 사항은 3×3 컬러 재구성의 경우에 4×4 컨투어 필터를 적용하고, 5×5 컬러 재구성의 경우에 6×6 컨투어 필터를 적용해야 한다는 것이다. 또한, 이러한 경우에 착색 에지의 채도 제거에 대해 특별한 주의를 기울여야 한다.

5. 결론

다음은 종래 기술의 스마트그린1 및 스마트그린2 방법에 비해서 스마트그린3 재구성 방법에 의해 달성되는 특별한 이점이다.

- 융통성있는 설계이다. 센서 매트릭스의 무게(heaviness)에 따라, 두 컬러 재구성 필터들간에 선택을 행할 수 있다. 결과적으로, (로우 패스) 루미넌스 필터는 특정 애플리케이션으로 정의될 수 있다. 몇몇 고주파 루미넌스 필터를 선택하고 카메라의 광학 전달 함수로서 조정될 수 있다.

- 허위 컬러 킬러가 필요한 경우, 선택된 컬러 재구성에 따라, 시각적 아티팩트(흑색 및 백색 도트)의 영향을 받지 않거나 혹은 거의 영향을 받지 않는다. 그 이유는 스마트그린1 또는 스마트그린2 보다 더 강한 로우 패스 필터링된 컬러 재구성이 사용되기 때문이다.

- 모든 발생된 루미넌스 신호는 필터 가중치와 함께 결합한 소위 루미넌스 백색 보상에 의하여 에일리어싱 및 왜곡이 없다.

- 여기에 제공된 스마트그린3 설계의 모든 필터들은 센서에 의해 유발되는 녹색 비균일성을 제거한다. 5×5 녹색 재구성 필터는 최종적으로 2×2 후치 필터를 이용하여 이와 같이 수행한다.

요약하면, 스마트그린3의 유연성과, 신호 왜곡의 감소와, 선택적인 허위 컬러 킬러에 기인하여, 스마트그린3은 디지털 이미지 및 베이어 컬러 필터 어레이를 갖는 센서의 연속 비디오 화소의 재구성 및 처리에 매우 적합하다.

Claims (17)

1. 신호 처리 방법으로서,

   화상 센서(image sensor)의 센서 신호가 입력으로서 제공되고,

   상기 입력은 필터 내에서 재구성되어 후속 처리를 위한 출력을 형성하며,

   상기 필터는 루미넌스 재구성 필터(luminance-reconstruction-filter), 적색-녹색-청색 컬러 재구성 필터(red-green-blue-color-reconstruction filter) 및 컨투어 재구성 필터(contour-reconstruction-filter)로 이루어지는 그룹으로부터 선택된 적어도 하나의 재구성 필터를 포함하고,

   상기 입력은 다수의 화소를 포함하고, 하나의 화소는 적색, 녹색 또는 청색 중 적어도 하나의 컬러가 할당된 컬러값을 제공하되,

   상기 방법은,

   다수의 화소-상기 다수의 화소 중 적어도 하나의 화소는 적색에 할당된 적색 화소에 의해 형성되고, 상기 다수의 화소 중 적어도 하나의 화소는 청색에 할당된 청색 화소에 의해 형성되며, 상기 다수의 화소 중 적어도 하나의 화소는 녹색에 할당된 녹색 화소에 의해 형성됨-를 포함하는 사전 결정된 어레이 크기의 화소 어레이에 대해 상기 재구성 필터를 적용하는 단계와,

   녹색 파라미터를 가지고 상기 적색 화소 및/또는 상기 청색 화소에 가중치(weight)는 부여하는 단계와,

   상기 화소의 어레이를 하나의 출력 화소로 축약(summarizing)하는 단계와,

   상기 어레이 내에서 상기 출력 화소를 센터링(centering)하는 단계

   를 포함하는 신호 처리 방법.
2. 제 1 항에 있어서,

   제 1 필터에 후속한 제 2 필터의 중심 출력 화소를 상기 출력 화소와 동일 위상으로, 특히 상기 중심 출력 화소를 상기 출력 화소와 동일한 상기 어레이의 중심 위치에 센터링하는 신호 처리 방법.
3. 제 1 항 또는 제 2 항에 있어서,

   상기 재구성 필터는 루미넌스 재구성 필터이고, 상기 어레이의 화소들을 출력 화소인 하나의 백색 화소 내에 함께 추가하는 신호 처리 방법.
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,

   상기 화상 센서의 센서 매트릭스에 의존하여 녹색 파라미터를 선택하는 신호 처리 방법.
5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,

   상기 화상 센서에 화상 신호를 제공하는 광학 시스템의 광학 전달에 따라서 녹색 파라미터를 선택하는 신호 처리 방법.
6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,

   2×2, 4×4 또는 6×6의 크기를 갖는 어레이에 상기 루미넌스 재구성 필터를 적용하는 신호 처리 방법.
7. 제 6 항에 있어서,

   4×4 또는 6×6의 크기를 갖는 어레이에 로우 패스 필터를 적용하는 신호 처리 방법.
8. 제 6 항 또는 제 7 항에 있어서,

   상기 루미넌스 재구성 필터 및 상기 로우 패스 필터는 하나의 단일 필터로 조합되는 신호 처리 방법.
9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,

   상기 루미넌스 재구성 필터 이후에 상기 컬러 재구성 필터를 적용하고,

   특히 상기 컬러 재구성 필터는 허위 컬러 필터(false-color-filters)를 포함하여 상기 입력에서 허위 컬러를 제거하는 신호 처리 방법.
10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,

    특히, 허위 컬러 필터 이후에 상기 후치 필더를 적용하여 이전에 적용된 루미넌스 재구성 필터의 위상으로 유지함으로써, 후치 필터(post-filter)를 적용하여 이전에 적용된 재구성 필터의 상기 출력의 위상으로 자신의 출력을 유지하는 신호 처리 방법.
11. 제 10 항에 있어서,

    상기 허위 컬러 필터 이후에 2×2 어레이 크기의 후치 필터를 적용하여, 사전 결정된 녹색 화소의 소형 어레이의 중심 출력 화소를 루미넌스 재구성 필터가 적용된 것과 동일한 어레이에 대해 센터링된 백색 화소와 동일 위상으로 위치시키는 신호 처리 방법.
12. 제 1 항 내지 제 11 항 중 어느 한 항에 있어서,

    특히, 광학 로우 패스 필터링이 없거나 약한 경우에 2×2의 어레이 크기에 대해 루미넌스 재구성 필터를 적용하고, 광학 로우 패스 필터링이 강한 경우에는 보다 증가된 4×4 또는 6×6의 어레이 크기에 대해 제각기 루미넌스 재구성 필터를 적용함으로써, 적용을 위한 여러 루미넌스 재구성 필터를 제공하는 신호 처리 방법.
13. 제 1 항 내지 제 12 항 중 어느 한 항에 있어서,

    특히, 4×4 루미넌스 재구성 필터의 경우에는 3×3 컬러 재구성 필터를 적용하고 6×6 루미넌스 재구성 필터의 경우에는 5×5 컬러 재구성 필터를 적용함으로써 여러 컬러 재구성 필터를 제공하는 신호 처리 방법.
14. 제 1 항 내지 제 13 항 중 어느 한 항에 기재된 방법을 실행하는 신호 처리 장치로서,

    센서 신호를 입력으로서 제공하는 화상 센서와, 후속 처리를 위한 출력을 형성하기 위해 상기 입력을 재구성하는 필터를 포함하고,

    상기 필터는 루미넌스 재구성 필터, 적색-녹색-청색 컬러 재구성 필터 및 컨투어 재구성 필터로 이루어지는 그룹으로부터 선택되는 적어도 하나의 재구성 필터를 포함하며,

    상기 입력은 복수의 화소를 포함하고, 하나의 화소는 적색, 녹색 또는 청색중 적어도 하나로 할당된 컬러값을 제공하고,

    상기 재구성 필터는 다수의 화소-상기 다수의 화소 중 적어도 하나의 화소는 적색에 할당된 적색 화소에 의해 형성되고, 상기 다수의 화소 중 적어도 하나의 화소는 청색에 할당된 청색 화소에 의해 형성되며, 상기 다수의 화소 중 적어도 하나의 화소는 녹색에 할당된 녹색 화소에 의해 형성됨-를 포함하는 사전 결정된 어레이 크기의 화소 어레이에 적용되며,

    상기 신호 처리 장치는,

    녹색 파라미터로 상기 적색 및/또는 상기 청색 화소에 가중치를 부여하는 가중치 부여 수단과,

    상기 어레이의 화소들을 하나의 출력 화소로 축약하는 축약 수단과,

    상기 어레이 내에서 상기 출력을 센터링시키는 센터링 수단

    을 더 포함하는 신호 처리 장치.
15. 컴퓨터 시스템, 특히 카메라의 컴퓨터 시스템에 의해 판독 가능한 매체 상에 저장 가능한 컴퓨터 프로그램 제품으로서,

    상기 제품이 상기 컴퓨터 시스템 상에서 실행될 때, 특히 카메라의 컴퓨터 시스템 상에서 실행될 때, 상기 컴퓨터 시스템이 제 1 항 내지 제 13 항 중 어느 한 항에 기재된 방법을 실행하게 하는 소프트웨어 코드 섹션(software code section)을 포함하는 컴퓨터 프로그램 제품.
16. 제 15 항에 기재된 컴퓨터 프로그램 제품을 실행 및/또는 저장하기 위한 컴퓨터 시스템 및/또는 반도체 장치로서, 상기 컴퓨터 시스템은 특히 카메라의 컴퓨터 시스템인 컴퓨터 시스템 및/또는 반도체 장치.
17. 광학 시스템, 화상 센서 및 제 12 항에 기재된 장치 또는 제 16 항에 기재된 컴퓨터 시스템을 포함하는 카메라.