KR20030046421A

KR20030046421A - 이미지 처리 시스템

Info

Publication number: KR20030046421A
Application number: KR10-2003-7002945A
Authority: KR
Inventors: 로에버젠스에이
Original assignee: 코닌클리즈케 필립스 일렉트로닉스 엔.브이.
Priority date: 2001-06-29
Filing date: 2002-06-20
Publication date: 2003-06-12
Also published as: WO2003005732A3; US20030007686A1; CN1520696A; CN100525470C; EP1405527A2; WO2003005732A2; JP2004534486A; KR100905871B1; TW576101B

Abstract

FIR 필터링 및 색 공간 변환을 수행하는데 동일한 회로가 사용된다. 종래의 FIR 필터의 승산-가산기 어레이로의 입력이 적절하게 멀티플렉싱되어서 동일한 승산-가산기 어레이의 교환 사용을 제공한다. 이런식으로, 예컨대 동일한 승산-가산 어레이가 이미지를 스케일링하고, 하나의 색 공간에서 다른 색 공간으로 이미지를 변환하기 위해 사용될 수 있다.

Description

이미지 처리 시스템{COMBINED COLOR SPACE MATRIX TRANSFORMATION AND FIR FILTER}

FIR 필터

화소(픽셀)를 필터링하기 위해, 특히 이미지가 스케일링되었을 때 혹은 이미지가 원래의 형태에서 변형되었을 때 생성된 픽셀값을 필터링하기 위해, 유한 임펄스 응답(FIR) 필터가 비디오 처리 시스템에서 사용되는 것이 통상적이다. 예컨대, 이미지의 크기를 4:1로 감소시키기 위한, 이미지의 데시메이션(decimation) 또는 다운 샘플링은 모든 4번째 입력 픽셀값을 선택해서 각각의 출력 픽셀값을 제공하는 것 만으로 수행될 수 있다. 그러나 이러한 샘플링은, 선택된 픽셀값이, 선택되지 않은 픽셀값을 나타내지 않을 수 있기 때문에, 시각적인 변환 및/또는 불연속을 생성할 것이다. FIR 필터는 복수의 픽셀값의 가중 평균을 제공해서 각각의 픽셀값을 생성하고, 이로써 비 필터링형 스케일링에서 발생할 수 있는 변환 및 불연속을 감소시킨다. 다중 출력 샘플이 각각의 입력 샘플에서 생성되는 업스캐일링(upscaling) 애플리케이션에서, 가중 평균은 각각의 평균 샘플에 대해서 내삽된 값을 제공하고, 여기서 바로 인접한 입력 샘플을 넘는 픽셀값을 포함함으로써, 인접한 샘플 사이의 값을 인위적이지 않게(less-artificial-appearing) 채운다.

통상적인 비디오 처리용 FIR 구조는 6의 탭과, 6개의 입력 픽셀값에 의존하는 출력 픽셀값을 제공하는 3성분 필터이고, 각각의 픽셀값은 RGB 색공간의 적-녹-청 성분과 같이, 3개로 나타내어진다. 종래의 6탭 3성분 FIR 필터에서는 하기와 같은 변환이 수행된다.

상기 식에서 a_i ^j는 j번째 픽셀값의 i번째의 성분에 대응하고, c₀₀-c₂₅는 가중 평균을 제공하기 위한 계수 또는 가중치이고, e₀-e₂은 각각의 출력 픽셀 성분값(a'₀-a'₂)에 적용된 이동(translation) 또는 오프셋 항이다. 양자화, 라운딩, 클램핑 등을 포함한 추가적인 처리도 적용되지만, 이해를 용이하게 하기 위해 여기서 설명은 생략한다.

효과적인 필터링을 위해, 적어도 3개의, 바람직하게는 6개 이상의 탭을 가진 FIR 필터가 사용되는 것이 일반적이라는 것에 주목해야 한다. 6탭 3성분 FIR 필터의 예에는 적어도 18개의 승간기 및 가산기가 필요하다.

색 공간 변환

일반적으로, 다른 비디오 처리 애플리케이션은 픽셀값의 다른 색 공간 표시법을 사용한다. 예컨대, 컴퓨터 시스템은 일반적으로 RGB(적-녹-청) 색 공간을 사용하고, 여기서 각각의 픽셀값은 적색 성분, 녹색 성분, 청색 성분으로 표시된다. 반면에, 종래의 방송용 텔레비젼 신호에서는, YUV 색공간에 대응하는 하나의 휘도 성분(Y)과 두개의 색조 성분(U와 V)을 사용해서 이미지를 인코딩했다. YUV의 구적 변화(quadrature variation)가 디지털 비디오 인코딩에서 사용된다. 이미지의 다른 색 공간은 종래의 기술과 같다. VIDEO DEMYSTIFIED, by Keith Jack, published in 1966 by HighText Interactive, Inc. of San Diego, Calif.에서 하나의 색 공간에서 다른 색공간으로의 변환을 위한 방정식을 가진, 여덟개의 색 공간 표준이 제공된다.

일 이상의 색 공간을 지원하는 종래의 시스템에서, 색 공간 사이의 변환은 각각의 색 공간 변환을 위해 주문 제작된 하드웨어를 통해서 이루어지는 것이 전형적이다. 주문 제작된 설계는 회로, 및 집적 회로에서의 회로에 필요한 영역을 감소시키지만, 각각의 색 공간 변환에 대한 설계의 적용성을 감소시킨다. 만약 다양한 변환이 지원된다면, 다음의 매트릭스 변환 구조가 사용되는 것이 일반적이다.

여기서, A₀-A₂는 입력 색 공간에서의 입력 픽셀의 성분값이고, A'₀-A'₂는 출력 색 공간에서의 출력 픽셀의 성분값이고, D₀-D₂는 입력 색 성분과 관련된 오프셋이고, B₀-B₂는 출력 색 성분과 관련된 오프셋이고, C₀₀-C₂₂는 각각의 변환식의 계수이다. 예컨대, 종래의 RGB와 YCbCr 색 공간 사이의 변환은 하기의 식으로 이루어진다.

R-G-B 성분값을 가진 입력 픽셀로부터 Y-Cb-Cr 성분값을 가진 출력 픽셀:

Y-Cb-Cr 성분값을 가진 출력 픽셀로부터 R-G-B 성분값을 가진 입력 픽셀:

다중 색 공간 변환을 제공하도록 구성된 시스템에서는, 적절한 계수 및 오프셋을 3×3 매트릭스 승산기 및 가산기에 로딩함으로써 다른 입력-출력 색 공간 변환이 수행된다. 이러한 실시예는 각각의 색 공간의 입력 성분(예컨대, Y-16, Cb-128, 및 Cr-128)에서 적절한 오프셋(D₀, D₁, D₂)를 감산하는 프리프로세서에 더해서, 적어도 9개의 승산기 및 가산기를 필요로 한다.

본 발명은 비디오 처리 분야에 관한 것이고, 더 상세하게는 색공간 매트릭스 변환 및 유한 임펄스 응답(FIR) 필터을 포함한 비디오 프로세서에 관한 것이다.

도 1은 본 발명에 따른 비디오 처리 시스템의 블록도,

도 2는 본 발명에 따른 다중 사용 FIR 필터 조합의 블록도.

본 발명의 목적은 색 공간 변환을 수행하는데 필요한 회로 및 영역을 감소시키는 것이다. 본 발명의 또 다른 목적은 FIR 필터링에 제공되는 회로의 사용을 최적화하는 것이다.

이들 목적은 FIR 필터링 및 색 공간 변환을 수행하는 동일한 회로에 의해 수행된다. 종래의 FIR 필터의 승산 가산 어레이로의 입력은 FIR 필터 소자의 대안의 사용을 제공하기 위해 적절하게 다중화된다. 이런식으로, 이미지를 스케일링하고, 이미지를 한 색공간에서 다른 색공간으로 변환하기 위해 예컨대 소자의 동일한 승산-가산 어레이가 사용될 수 있다.

도 1은 본 발명에 따른 이미지 처리 시스템의 블록도를 도시하고 있다. 처리 시스템(100)은 본 발명의 애플리케이션의 예로서 제공되는 것이고, 당업자는 본 발명이 이 애플리케이션으로 제한되지 않을 것이라는 것을 이해할 것이다. 처리 시스템(100)은 입력 이미지 소스를 다른 형태로 다중화하는 것을 가능하게 하고, 특히 이미지가 상이한 색 공간 인코딩을 사용하는 픽셀값을 가지는 것을 가능하게 한다. 소스 선택기(110)는 각각의 입력 이미지 소스를 선택해서 선택 이미지를 색 공간 변환기(120)에 제공한다. 본 실시예에서, 설계의 복잡도를 최소화하기 위해, 색 변환기(120)는 필요에 따라서, 하나의 색 공간의 픽셀 인코딩을 시스템의 나머지 부분이 처리되도록 구성된 각각의 색 공간의 인코딩으로 변화하도록 구성된다. 즉, 예컨대, 컴퓨터 기반 표시 시스템에서, RGB 색 공간 인코딩 기반인 다수의 유틸리티 처리 및 애플리케이션 프로그램이 존재한다. 예컨대, 이미지를 선명하게 하도록 또는 이미지로부터 노이즈를 제거하도록 구성된 이미지 강화 방안이 RGB 인코딩된 이미지를 처리하기 위해 통상적으로 사용될 수 있다. 다른 색 공간 인코딩을 RGB 인코딩으로 변환하기 위해, 이들 유틸리티 프로세스 및 애플리케이션 프로그램이 사용될 수 있다. 본 발명의 배경기술에서 설명된 바와 같이, 종래의 이미지 처리 시스템에서는, 특수 목적 하드웨어 또는 3×3 매트릭스 멀티플리케이션에 의해 색 공간 변환 기능이 제공된다. 본 발명에 따라서, 색 공간 변환기(120)는 FIR 필터(140b)의 승산기 및 가신기를 사용하도록 구성되고, 이는 이후에 상세하게 설명된다.

당업계에서는 일반적인 사항이지만, 이미지 처리 시스템(100)의 예에서, 처리 블록 사이에서 이미지 데이터를 처리하기 위해 메모리(130)가 사용된다. 이 메모리(130)는 예컨대, 이미지의 개객의 라인용 라인 버퍼, 순차 이미지용 프레임 메모리, 캐시 메모리 등을 포함할 수 있다. 본 실시예에서, 색 공간 변환기(120)는 소스 이미지 데이터를 FIR 필터(140b)에 제공하도록 구성되고, FIR 필터(140b)는 색 공간 변환된 데이터를 메모리(130)에 위치시키도록 구성된다.

스케일러(150)는 메모리(130)으로부터의 이미지의 선택적인 스케일링을 제공하도록 구성된다. 본 발명에 따라서, 예시적인 스케일러(150)는 멀티플렉서(140a)를 통해서 색 공간 변환기(120)와 같은 FIR 필터(140b)의 승산-가산 어레이를 사용하도록 구성되고, 이는 이하 상세하게 설명된다. 본 실시예에서, 이미지의 스케일링된 버전은 디스플레이 드라이버(160)에 의한 이후 처리 및 디스플레이(170)의 이미지 처리를 위해 FIR 필터(140b)로부터 메모리(130)에 저장된다. 양자화, 라운딩, 클램핑, 선명화 등과 같은, 다른 처리가 메모리(130)내의 스케일링되거나 스캐일링되지 않은 데이터에 적용될 수 있고, 이는 당업계에서는 일반적인 사항이지만, 이해를 용이하게 하기 위해 도 1에는 도시되어 있지 않다.

멀티플렉서(140a)는 FIR 필터(140b)로의 입력이 색 공간 변환기(120)으로부터인지 스케일러(150)로부터인지 선택한다. 각각의 구성 및 지원되는 처리 시스템(100)의 기능에 따라서, 멀티플렉서(140a)는 FIR 필터(140b)의 사용을 제한 할 수 있다. 예컨대, 시스템(100)의 최대 성능은 멀티플렉서(140a)가 오직 하나의 기능, 색 공간 변환 또는 이미지 스케일링이 주어진 입력 스트림에 적용될 수 있도록 구성될 수 있다. 즉, 예컨대 RGB 기반 시스템에서, 스케일링은 RGB 소스로부터 제공된 이미지에 대해서만 제공될 수 있고, 이는 색 공간 변환을 요구하지 않는다. 성능이 중요하지 않다면, 시스템(100)은 각각의 이미지를 선택 색 공간으로 변환하도록 멀티플렉서(140a)를 설정할 수 있고, 이미지가 변환된 이후에, 색 공간 변환된 이미지를 스케일링하도록 멀티플렉서(140a)를 설정한다. 다른 멀티플렉서 방안은 당업자에게는 자명하다. 예컨대, 시스템은, 변환기(120) 및 스케일러로부터의 데이터가 번갈아서 처리되도록 멀티플렉서(140a)를 제어하도록 구성되고, 이로써 전체 처리 중에 하나의 입력단 또는 다른 입력으로 FIR 필터(140b)에 의한 처리를제한하는 시스템보다 더 낮은 속도이긴 하지만, 연속 처리를 가능하게 한다.

도 2는 본 발명에 따른 다중 사용자 FIR 필터 조합(140)의 블록도를 도시하고 있다. FIR 필터 조합(140)은 전술된 FIR 필터(140b) 및 멀티플렉서(140a)으로 도 1에 도시된 복수의 멀티플렉서(220, 230, 240)을 포함한다.

본 발명에 따라서, 멀티플렉서(220, 230, 240)는 의도한 변환을 수행하기 위해 FIR 필터(140b)로의 적절한 입력을 제공한다. 도 2의 실시예에 있어서, 이는 다음의 매트릭스 동작을 제공하는 6탭 3성분 FIR 필터에 관해서 전술된 바와 같이, 입력(InB)는 스케일링 기능를 수행하기 위한 FIR 필터로의 종래의 기술의 입력에 대응한다.

도 2의 실시예에서 설명된 바와 같이, FIR 필터(140b)에서 일련의 지연 성분(210)은 예컨대, 6픽셀 길이의 수평 라인을 포함한 일련의 픽셀값에 대응하는 a⁰, a^-1, ...a^-5픽셀값을 제공한다. 계수 C₀₀-C₂₅및 오프셋 e₀-e₂은 당업계에 통상적인 알고리즘을 사용해서 입력 및 출력 픽셀값의 스케일링 성분과 위상에 기초해서, 스케일러(150:도 1)에 의해 설정된다. 전기 승산 및 가산은 승간기 및 가산기(250)의 어레이를 통해서 수행되고, 이는 종래의 FIR 필터 분야에서와 같다.

다중화된 FIR 필터 시스템(140)에 입력(InA)의 색 공간 변환을 제공하기 위해, 종래의 3×3 매트릭스 동작이 6탭 3성분 FIR 필터에 의해 제공된다.

전술된 바와 같이, 종래의 3×3 색 공간 변환은

로 제공된다.

종래의 3×3 색 공간 변환은

와 같이 도시될 수 있다.

즉, 3×3색 공간 변환 계수 매트릭스(C₀₀-C₂₂)는 두배가 되어서, 6×3 FIR 필터 계수 매트릭스를 채우고, 입력값(A₀-A₂) 및 오프셋(D₀-D₂)은 분산 입력으로서 제공된다. 본 발명의 종래의 기술에 제공된 바와 같은 YCbCr에서 RGB로의 색 공간 변환은 예컨대,

로 다시 쓸 수 있다.

종래의 3×3 색 공간 변환 매트릭스 동작을 6×3 FIR 필터 매트릭스로 다시 씀으로써, 멀티플렉서(220, 230, 240)는 도 2의 6×3 FIR 필터(140b)로 적절한 입력을 제공하도록 구성될 수 있다. 도시된 바와 같이, 모드 신호가 반대 상태에서 종래의 FIR 필터 기능을 수행하기 위해 사용되는 상태로 나타내어 졌을 때는 FIR 필터(140b)의 승산-가산 어레이(250)으로의 입력은 멀티플렉서에 의해 스위칭되어서 적절한 입력값(A₀-A₂), 출력 오프셋 값(B₀-B₂), 배수가 된 계수값(C₀₀-C₂₂), 및 6×3 승산기 및 가산기로의 입력 오프셋(D₀-D₂)을 제공해서 상기 제공된 6×3 색 변환 매트릭스 동작을 수행한다. 3×3 색공간 변환이 3×6 승산-가산기 어레이(250)에 의해 수행되지만, 이는 실질적으로 3×3 매트릭스 동작을 수행하기 위해 사용되는 종래의 3×3 승산-가산 어레이보다 상당히 더 크고, 이는 멀티플렉서(220, 230, 240)가 종래의 3×3 승산-가산 어레이보다 더 작은 면적을 차지하는 것으로 예상될 수 있기 때문이다.

당업자에게는 자명한 바와 같이, 다른 크기의 FIR 필터(140b)가 제공되면, 3×3 색공간 변환 매트릭스 동작은 다른 크기의 FIR 필터에 확인시키기 위해 요구되는 바대로 다시 표현될 수 있다. 예컨대 3×3 색공간 매트릭스의 파라미터를 4×4 FIR 필터의 3×3 서브셋에 직접 채우고, 사용되지 않은 입력을 0으로 채움으로써, 4×4 FIR 필터가 사용될 수 있다.

전술한 부분은 본 발명의 원리는 단지 예시한 것이다. 당업자가 여기에 설명되고 도시된 것을 벗어나지 않고, 본 발명의 원리를 실시하고, 첨부된 청구항의 사상과 범주에 있는 다양한 장치를 개발할 수 있을 것이라는 것이 이해될 것이다.

Claims

- 제 1 색 공간(InA)의 픽셀값(A0-A2)을 제 2 색 공간의 대응하는 픽셀값으로 변환하도록 구성된 색 공간 변환기(120)와,

- 제 1 스케일(InB)의 픽셀값(a⁰-a^-5)을 제 2 스케일의 대응하는 픽셀값으로 스케일링하도록 구성된 스케일러(150)와

- 필터 기능을 픽셀값에 적용시키도록 구성된 필터(140b)

를 포함하고,

- 상기 색 공간 변환기(120)는 상기 필터(140b)를 사용해서 변환을 행하고,

- 상기 스케일러(150)는 상기 필터(140b)를 사용해서 스케일링을 행하는

이미지 처리 시스템(100).
제 1 항에 있어서,

변환과 스케일링을 선택적으로 수행하기 위해 픽셀값(A0-A2, a⁰-a^-5)을 상기 필터(140b)에 선택적으로 제공하도록 구성된 제 1 멀티플렉서(220)를 더 포함하는

이미지 처리 시스템(100).
제 2 항에 있어서,

변환과 스케일링을 선택적으로 수행하기 위해 색 공간 변환 계수(C00-C22) 및 스케일링 계수(c00-c25)를 상기 필터(140b)에 선택적으로 제공하도록 구성된 제 2 멀티플렉서(230)를 더 포함하는

이미지 처리 시스템(100).
제 3 항에 있어서,

변환 및 스케일링을 선택적으로 수행하기 위해 오프셋 파라미터(B0-B2, e0-e2)를 상기 필터(140b)에 선택적으로 제공하도록 구성된 제 3 멀티플렉서(240)를 더 포함하는

이미지 처리 시스템(100).
제 1 항에 있어서,

상기 필터(140b)는 FIR 필터인

이미지 처리 시스템(100).
제 1 항에 있어서,

색 공간 변환기(120), 스케일러(150) 및 필터(140b) 사이의 픽셀값의 통신을 용이하게 하는 메모리를 더 포함하는

이미지 처리 시스템(100).
제 1 항에 있어서,

상기 필터(140b)는 6탭, 3성분 FIR 필터인

이미지 처리 시스템(100).
제 1 항에 있어서,

- 상기 필터(140b)는 승산-가산 어레이(250)를 포함하고

- 상기 색 공간 변환기(120)는 상기 필터(140b)의 상기 승산-가산 어레이(250)를 사용해서 변환을 행하고,

- 상기 스케일러(150)는 상기 필터(140b)의 상기 승산-가산 어레이(250)를 사용해서 스케일링을 행하는

이미지 처리 시스템(100).
각각 3개의 성분 입력을 포함하는 6개의 데이터 입력과, 18개의 계수 입력을 포함하는 승산-가산 어레이(250) - 상기 승산-가산 어레이(250)는 상기 6개의 데이터 입력과 18개의 계수의 3×6 매트릭스 승산을 행해서 3 성분 출력을 가진 출력(Out)을 제공하도록 구성됨 - 와,

상기 승산-가산 어레이(250)에 동작적으로 연결된 멀티플렉서(140a)를 포함하고,

상기 멀티플렉서(140a)가 제 1 선택 가능 모드에 있을 때는,

각각 3개의 성분값을 가지는 6개의 픽셀값(a⁰-a^-5) 각각을 상기 6개의 데이터 입력에 각각 제공하고,

상기 멀티플렉서(140a)가 제 2 선택 가능 모드에 있을 때는,

단일 픽셀값(A0-A2)의 3개의 성분 - 상기 3개의 성분은 각각 3개의 데이터 입력 각각의 3 성분 입력에 제공됨 - 각각을 6개의 데이터 입력 중 3개에 제공하고,

단일 픽셀값(A0-A2)의 3 성분과 관련된 3개의 오프셋(D0-D2) - 상기 3개의 오프셋(D0-D2) 각각은 다른 3개의 데이터 입력단 각각의 3개의 성분 입력단에 제공됨 - 각각을 6개의 데이터 입력 중 다른 3개에 제공하도록 구성된

처리 시스템.
제 9 항에 있어서,

상기 멀티플렉서(140a)는 또한

-상기 멀티플렉서(140a)가 상기 제 1 선택 가능 모드에 있을 때는,

18개의 스케일링 계수(c00-c25)를 상기 18개의 계수 입력에 제공해서 6개의 픽셀값(a⁰-a^-5)에 대응하는 스케일링된 픽셀값을 출력(Out)으로서 제공하고,

-상기 멀티플렉서(140a)가 상기 제 2 선택 가능 모드에 있을 때는,

상기 18개의 계수 입력 중 9개의 계수 입력인 제 1 세트와

상기 18개의 계수 입력 중 다른 9개의 계수 입력인 제 2 세트 각각에 9개의 색 변환 계수(C00-C22)를 제공해서 단일 픽셀값(A0-A2)의 색 공간 변환을 출력값(Out)으로서 제공하도록 구성된

처리 시스템.
제 10 항에 있어서,

- 상기 승산-가산 어레이(250)는

상기 3개의 성분 출력 각각을 오프셋하기 위한 3개의 오프셋 입력을 더 포함하고,

- 상기 멀티플렉서(140a)는 또한

상기 멀티플렉서(140a)가 상기 제 1 선택 가능 모드에 있을 때,

상기 스케일링된 픽셀값을 오프셋하기 위해 상기 3개의 오프셋 입력단에 3개의 스케일링 오프셋(e0-e2)을 제공하고,

상기 멀티플렉서(140a)가 상기 제 2 선택 가능 모드에 있을 때,

상기 3개의 오프셋 입력에 3개의 색 공간 오프셋(B0-B2)을 제공해서 상기 단일 픽셀값(A0-A2)의 상기 색 공간 변환을 오프셋하도록 구성된

처리 시스템.