KR100435257B1

KR100435257B1 - 영상신호 처리 시스템에서의 이미지 포맷 변환장치 및 방법

Info

Publication number: KR100435257B1
Application number: KR1019970037670A
Authority: KR
Inventors: 주진태
Original assignee: 삼성전자주식회사
Priority date: 1997-08-07
Filing date: 1997-08-07
Publication date: 2004-07-16
Also published as: KR19990015526A; CN1208306A; CN1097951C; US6288746B1; US6757026B2; US20010028407A1

Abstract

본 발명은 영상신호 처리 시스템에서의 이미지 포맷 변환장치 및 방법에 관한 것으로서, 특히, 원색신호들 각각을 소정 간격으로 샘플링하고, 상기 샘플링된 신호들을 디지털신호들로 변환하여 출력하는 아날로그-디지털변환부; 상기 아날로그-디지털변환부의 디지털신호를 휘도신호 및 색차신호로 변환하여 출력하는 색공간변환부; 이미지 크기 변환에 따라 가변된 선형보간계수들을 룩업테이블로 마련한 저장부; 상기 저장부의 룩업테이블을 참조하며 이미지 크기 변환에 따라 상기 휘도신호 및 색차신호의 한 주기를 선형보간하고, 선형보간된 결과를 반복적으로 출력함으로써 수평 스케일링하는 수평스케일링부; 상기 수평스케일링부에 의해 수평 스케일링된 신호를 일시 저장하기 위한 라인메모리부; 상기 룩업테이블를 참조하며 이미지 크기 변환에 따라 상기 라인메모리부로부터 제공되는 수평 스케일링 신호의 한 주기를 선형보간하고, 선형보간된 결과를 반복적으로 출력함으로써 수직 스케일링하는 수직스케일링부; 및 상기 수직케일링부로부터 제공되는 수평 및 수직 스케일링된 신호를 저장하고, 상기 수직 및 수평 스케일링 신호의 수직 및 수평주파수를 변환하는 프레임메모리부를 구비하는 것을 특징으로 한다.

Description

영상신호 처리 시스템에서의 이미지 포맷 변환장치 및 방법

본 발명은 영상신호 처리 시스템에서의 이미지 포맷 변환장치 및 방법에 관한 것으로서, 특히, 이미지의 수평 및 수직 크기를 임의의 비율로 변환할시 고품질의 변환된 이미지를 얻음과 더블어 이미지 변환에 필요한 계산량과 하드웨어의 크기를 줄일 수 있는 영상신호 처리 시스템에서의 이미지 포맷 변환장치 및 방법에 관한 것이다.

일반적으로, 멀티미디어는 문자, 영상, 소리 등의 정보를 전달할 수 있는 시스템으로서 화상전화기를 비롯하여 컴퓨터 및 텔레비젼 등에 응용되고 있으며, 퍼스널 컴퓨터 대 퍼스널 컴퓨터, 퍼스널 컴퓨터 대 텔레비젼 및 텔레비젼 대 텔레비젼 등과 같이 이종의 시스템이 결합된 멀티미디어 응용분야에서는 이종 시스템간의 인터페이스 과정에서 영상신호의 포맷을 변환해야 할 필요가 있다. 이러한 이미지 포맷변환으로는 예를들어, 500×400의 이미지를 300×300으로 축소 스케일링하는 이미지 포맷 변환 등을 들수 있는 데 이 경우에 축소비율은 수평 5:3, 수직 4:3이다. 이것은 기본적으로 수직 및 수평 주파수, 픽셀 주파수와 같은 시간적인 요소와 이미지의 수직 및 수평 크기와 같은 공간적인 요소를 변화시키는 것으로 하드웨어의 관점에서 보았을 때 시간적 요소의 변환은 메모리 버퍼를, 공간적 요소의 변환은 필터를 이용하여 구현된다.

예로서, 이미지를 5:3의 비율로 축소하려면 5개의 이미지 샘플이 입력될 때 3개 이미지 샘플을 생성하여야 하는 데, 종래 이미지 포맷 변환방법에 따라 우선 3으로 보간하여 샘플수를 3배로 확장한 후, 다시 5로 데시메이션하여 샘플수를 1/5로 줄인다. 그런데 이러한 방법에서는 실험적으로 30차 이상의 고차 보간 및 데시메이션 필터가 요구된다.

한편, 종래의 기술에서는 하드웨어적인 이미지 포맷 변환방법으로 라인(수직) 또는 픽셀(수평)을 일정한 간격으로 스킵(Skip)함으로써 이미지를 축소하고, 라인(수직) 또는 픽셀(수평)을 일정한 간격으로 중복함으로써 이미지를 확대한다. 그런데, 이와 같은 방법은 하드웨어를 간단하게 구현할 수 있으나 이미지가 거칠고, 특히 문자가 많이 포함되는 PC이미지를 축소할 경우 문자가 깨지는 문제가 도출된다.

종래 기술에서는 이미지 포맷 변환과정에서 발생되는 화질열화를 줄이기 위해서 많은 탭수를 갖는 필터가 요구되는데, 수직방향의 스케일링을 위해서 n탭의 필터를 사용한다면, n-1 개의 라인 메모리가 필요하게 된다.

따라서, 종래의 기술에 따라 성능이 우수한 이미지 포맷 변환장치를 구현하는 것은 그 만큼 성능대비 하드웨어 비용을 증가시키게 되므로 가격 경쟁력의 약화를 가져온다.

본 발명의 목적은 상기와 같은 문제점을 해결하기 위하여 선형보간을 수행한 후 다시 데시메이션을 수행하는 방법을 회피하고, 입력시퀀스와 출력시퀀스의 주기적 반복성을 이용하여 한 주기에 대한 출력시퀀스의 공간적 위치를 미리 계산하여 계산된 결과를 반복적으로 적용함으로써, 고품질의 변환된 이미지를 얻음과 더블어 계산량과 하드웨어의 크기를 줄일 수 있는 영상신호처리 시스템에서의 이미지 포맷 변환장치 및 방법을 제공하는 데 있다.

상기 목적을 달성하기 위하여 본 발명의 장치는 원색신호들 각각을 소정 간격으로 샘플링하고, 상기 샘플링된 신호들을 디지털신호들로 변환하여 출력하는 아날로그-디지털변환부; 상기 아날로그-디지털변환부의 디지털신호를 휘도신호 및 색차신호로 변환하여 출력하는 색공간변환부; 이미지 크기 변환에 따라 가변된 선형보간계수들을 룩업테이블로 마련한 저장부; 상기 저장부의 룩업테이블을 참조하며 이미지 크기 변환에 따라 상기 휘도신호 및 색차신호의 한 주기를 선형보간하고, 선형보간된 결과를 반복적으로 출력함으로써 수평 스케일링하는 수평스케일링부; 상기 수평스케일링부에 의해 수평 스케일링된 신호를 일시 저장하기 위한 라인메모리부; 상기 룩업테이블를 참조하며 이미지 크기 변환에 따라 상기 라인메모리부로부터 제공되는 수평 스케일링 신호의 한 주기를 선형보간하고, 선형보간된 결과를 반복적으로 출력함으로써 수직 스케일링하는 수직스케일링부; 및 상기 수직케일링부로부터 제공되는 수평 및 수직 스케일링된 신호를 저장하고, 상기 수직 및 수평 스케일링 신호의 수직 및 수평주파수를 변환하는 프레임메모리부를 구비하는 것을 특징으로 한다.

상기 목적을 달성하기 위하여 본 발명의 방법은 원색신호들 각각을 변환하고자 하는 소정 간격으로 샘플링하고, 상기 샘플링된 신호들을 디지털신호들로 변환하는 단계; 상기 아날로그-디지털변환부의 디지털신호를 휘도신호 및 색차신호로 변환하는 단계; 선형보간계수가 마련된 룩업테이블을 참조하며 이미지 크기 변환에 따라 상기 휘도신호 및 색차신호의 한 주기를 선형보간하고, 선형보간된 결과를 반복적으로 이용하여 수평 스케일링하는 단계; 상기 룩업테이블를 참조하며 이미지 크기 변환에 따라 상기 수평 스케일링 신호의 한 주기를 선형보간하고, 선형보간된 결과를 반복적으로 이용하여 수직 스케일링하는 수직스케일링부; 상기 수평 스케일링 신호를 상기 룩업테이블을 참조하며 수직 스케일링하는 단계; 상기 수평 및 수직 스케일링된 신호를 프레임메모리부에 저장하고, 상기 수직 및 수평 스케일링 신호의 수직 및 수평주파수를 변환하는 단계를 구비하는 것을 특징으로 한다.

도 1 은 본 발명에 따른 이미지 포맷 변환장치를 설명하기 위한 블록도.

도 2 는 본 발명에 따라 이미지 포맷 변환방법을 설명하기 위한 도면.

도 3 은 본 발명에 따른 이미지 포맷의 선형보간을 설명하기 위한 도면.

도 4 는 도 1 에 나타낸 수평 스케일링부의 타이밍도.

* 도면의 주요 부분에 대한 부호의 설명 *

10; 아날로그-디지털 변환부 20; 색공간변환부

40; 저장부 60: 수평스케일링부

80; 라인메모리부 100; 수직스케일링부

120; 프레임메모리부 140; 디스플레이 제어부

160; 역색공간변환부

180; 디지털-아날로그 변환부

이하, 첨부한 도면을 참고하여 본 발명을 보다 상세하게 설명하면 다음과 같다.

도 1 은 본 발명에 따른 이미지 포맷 변환장치를 설명하기 위한 블록도로서 도시된 바와 같이, 원색신호들 각각을 소정 간격으로 샘플링하고, 상기 샘플링된 신호들을 디지털신호들로 변환하여 출력하는 아날로그-디지털변환부(10), 아날로그-디지털변환부(10)의 디지털신호를 휘도신호(Y) 및 색차신호(U,V)로 변환하여 출력하는 색공간변환부(20)와, 이미지 크기 변환에 따라 가변된 선형보간계수들을 룩업테이블로 마련한 저장부(40)와, 저장부(40)의 룩업테이블을 참조하며 이미지 크기 변환에 따라 상기 휘도신호(Y) 및 색차신호(U,V)의 한 주기를 선형보간하고, 선형보간된 결과를 반복적으로 출력함으로써 수평 스케일링하는 수평스케일링부(60)와, 수평스케일링부(60)에 의해 수평 스케일링된 신호를 일시 저장하기 위한 라인메모리부(80)와, 상기 룩업테이블를 참조하며 이미지 크기 변환에 따라 라인메모리부(80)로부터 제공되는 수평 스케일링 신호의 한 주기를 선형보간하고, 선형보간된 결과를 반복적으로 출력함으로써 수직 스케일링하는 수직스케일링부(100)와, 수직스케일링부(100)로부터 제공되는 수평 및 수직 스케일링된 신호를 저장하고, 상기 수직 및 수평 스케일링 신호의 수직 및 수평주파수를 변환하는 프레임메모리부(120)로 구성된다.

또한, 도 1 에서 참조부호 140은 축소된 이미지를 확대하기 위한 디스플레이 제어부를, 참조부호 160은 휘도신호(Y) 및 색차신호(U,V)를 디지털 원색신호들로 변환하기 위한 역색공간변환부를, 참조부호 180은 디지털 원색신호들을 아날로그 원색신호들(R2/Y, G2/U, B2/V)로 변환하기 위한 디지털-아날로그 변환부를 각각 나타낸다. 여기서, 디지털-아날로그 변환부(180)는 제 1, 제 2 및 제 3 디지털-아날로그 컨버터(DAC1, DAC2, DAC3)로 구성된다.

상기와 같이 구성된 바람직한 실시예의 작동전반에 대하여 기술하면 다음과 같다.

도 2 를 참조하여 이미지 축소에 대해 설명하면, 본 발명의 실시예에 따라 아날로그-디지털 변환부(10)는 영상신호중 원색신호들(R1, G1, B1)을 입력받고, 제 1, 제 2 및 제 3 아날로그-디지털 변환기(ADC1, ADC2,ADC3)에 의해 원색신호들(R1, G1, B1) 각각을 소정 간격으로 샘플링하고, 이 샘플링된 신호들을 디지털신호로 변환하여 색공간변환부(20)에 출력한다.

그러면, 색공간 변환부(20)는 아날로그-디지털 변환부(10)로부터의 디지털신호를 휘도신호(Y) 및 색차신호(U,V)로 변환하여 출력한다. 이렇게 함은 색차신호의 샘플율을 절반으로 줄여서 색차신호에 대한 계산량을 줄이고, 메모리등 하드웨어의 크기를 절반으로 줄이기 위한 것이다.

한편, 저장부(40)는 이미지 크기 변환에 따라 가변된 선형보간계수(K/L)들을 룩업테이블로 마련한다. 이러한 저장부(40)는 롬(ROM:Read only memory)으로 구현될 수 있다.

본 발명의 실시예에 따라 수평스케일링부(60)는 저장부(40)의 룩업테이블을 참조하며 이미지 크기 변환에 따라 상기 휘도신호 및 색차신호의 한 주기를 선형보간하고, 선형보간된 결과를 반복적으로 출력함으로써 수평 스케일링한다. 수평스케일링부(60)의 출력신호인 수평 스케일링신호는 임시기억장소인 라인메모리부(80)에 포함된 두 개의 라인메모리에 번갈아 보내진다.

본 발명의 실시예에 따라 수직스케일링부(100)는 수평 스케일링부(60)와 유사하게 저장부(40)의 룩업테이블를 참조하며 이미지 크기 변환에 따라 라인메모리부(80)로부터 제공되는 수평 스케일링 신호의 한 주기를 선형보간하고, 선형보간된 결과를 반복적으로 출력함으로써 수직 스케일링한다. 수직스케일링부(100)의 출력신호인 수직 스케일링신호는 프레임메모리부(120)에 저장된다.

그 다음으로, 프레임메모리부(120) 수직케일링부(100)로부터 제공되는 수평 및 수직 스케일링된 신호를 저장하고, 상기 수직 및 수평 스케일링 신호의 수직 및 수평주파수를 변환하기 위해 사용된다.

이와 같은 소정 크기로 축소된 이미지는 디스플레이 제어부(140), 역색공간변환부(160) 및 디지털-아날로그 변환부(180)를 경유하여 포맷 변환된 이미지를 얻게된다.

도 2 는 본 발명에 따른 이미지 포맷 변환방법을 설명하기 위한 도면으로서, 문제를 좀 더 단순화하기 위해 수평방향의 이미지 포맷 변환만이 고려되는 데, 도시된 바와 같이 휘도신호(Y) 및 색차신호(U,V)의 한 라인에 대한 이미지 축소전후의 공간적 위치관계 및 주기적 반복성을 나타낸다.

또한, 도 2 는 5:3 비율로 이미지 축소한 일례를 나타내는 데, 동도에서 알수 있는 바와 같이, a) m(0)는 n(0)와 동일하고, b) m(1)은 선형보간에 따라 n(1)+{n(2)-n(1)}×2/3이고, c) m(2)은 선형보간에 따라 n(3)+ {n(4)-n(3)}×1/3이고, d) n=1과 n=3일 때는 출력샘플이 없음을 나타낸다.

따라서, 상기 b)와 c)에 나타낸 2/3, 1/3과 같은 선형보간계수 및 출력샘플이 없는 n값, 즉 d)에서 1과 3은 주기적 반복성에 의해 반복적으로 적용되므로 이 값들은 미리 계산되어 저장부(40)의 룩업테이블에 마련된다.

도 3 은 본 발명에 따른 이미지 포맷의 선형보간을 설명하기 위한 도면이다.

도 3 을 참조하면, 상기 수평 스케일링부(60) 및 수직 스케일링부(100)는 가변계수 선형보간을 위해 상기 룩업테이블에 마련된 선형보간계수를 참조하여 다음의 수학식;

(수학식)

에 따라 입력 시퀀스에 대해 출력시퀀스의 공간적 위치를 계산한다.

상기 수학식에서 a는 한 주기 내에서 샘플링되는 초기 샘플링값을, b는 한 주기 내에서 샘플링되는 마지막 샘플링값을 각각 나타낸다. 그리고, 상기 K/L은 선형보간계수를 나타내며, 여기서 K는 m×M/L(m은 출력시퀀스, L은 보간 인자, M은 데시메이션 인자를 나타낸다)의 나머지 값이다.

도 4 는 도 1 에 나타낸 수평 스케일링부에 의한 4:3의 이미지 포맷 변환을 설명하기 위한 타이밍이며, 여기서 n=2이다.

도 4 에서 알 수 있는 바와 같이 색공간변환부(20)는 픽셀 클럭(CLK)의 하강엣지에 동기하여 휘도신호와 색차신호로 변화된 이미지 샘플 Y,U,V를 액티브 비디오 구간에서 수평 스케일링부(60)에 전송한다.

그리고, 도 4 에서 Y2는 Y1의 지연된 값이고, 빈 곳은 출력샘플이 없음을 나타낸다. A는 입력시퀀스의 주기를, B는 저장부(40)의 어드레스를, R은 저장부(40)로부터 도출된 선형보간계수를, L은 Y1, Y2, R로부터 계산된 출력샘플을, M은 출력샘플이 저장될 라인 메모리의 어드레스를 각각 나타낸다.

본 발명의 이미지 포맷 변환방법으로 하드웨어를 구현할 경우, 고정계수가 아닌 가변계수 2탭 필터의 구조를 갖게 되며, 한 개의 출력샘플은 단지 한 번의 곱셈연산과 두 번의 덧셈연산에 의해 계산되므로 계산량이 상당부분 줄어들게 되고, 또한 계산에 필요한 메모리는 수평에 대한 2개의 레지스터, 수직에 대한 2개의 라인 메모리로 충분하다.

따라서, 본 발명에서는 입출력 시퀀스의 공간적 위치관계의 주기성 이용하여, 한 주기에 대한 출력시퀀스의 공간적 위치를 미리 계산하여 계산된 결과를 반복적으로 적용함으로써 계산량 및 하드웨어의 크기를 줄이는 비용절감의 효과와 더불어 이미지 포맷 변환시 고품질의 이미지를 유지할 수 있는 다른 효과가 있다.

Claims

원색신호들 각각을 소정 간격으로 샘플링하고, 상기 샘플링된 신호들을 디지털신호들로 변환하여 출력하는 아날로그-디지털변환부;

상기 아날로그-디지털변환부의 디지털신호를 휘도신호 및 색차신호로 변환하여 출력하는 색공간변환부;

이미지 크기 변환에 따라 가변된 선형보간계수들을 룩업테이블로 마련한 저장부;

상기 저장부의 룩업테이블을 참조하며 이미지 크기 변환에 따라 상기 휘도신호 및 색차신호의 한 주기를 선형보간하고, 선형보간된 결과를 반복적으로 출력함으로써 수평 스케일링하는 수평스케일링부;

상기 수평스케일링부에 의해 수평 스케일링된 신호를 일시 저장하기 위한 라인메모리부;

상기 룩업테이블를 참조하며 이미지 크기 변환에 따라 상기 라인메모리부로부터 제공되는 수평 스케일링 신호의 한 주기를 선형보간하고, 선형보간된 결과를 반복적으로 출력함으로써 수직 스케일링하는 수직스케일링부; 및

상기 수직케일링부로부터 제공되는 수평 및 수직 스케일링된 신호를 저장하고, 상기 수직 및 수평 스케일링 신호의 수직 및 수평주파수를 변환하는 프레임메모리부를 구비하는 것을 특징으로 하는 영상신호 처리 시스템에서의 이미지 포맷 변환장치.
제 1 항에 있어서,

상기 아날로그-디지털변환부는 입력되는 원색신호들을 디지털신호로 변환하기 위한 제 1 아날로그-디지털 컨버터, 제 2 아날로그-디지털 컨버터 및 제 3 아날로그-디지털 컨버터로 구성되는 것을 특징으로 하는 영상신호 처리 시스템에서의 이미지 포맷 변환장치.
제 1 항에 있어서,

상기 수직 스케일링부는 가변계수 선형보간을 위해 상기 룩업테이블에 마련된 선형보간계수를 참조하여 다음의 수식;

(상기 a는 한 주기 내에서 샘플링되는 초기 샘플링값을, 상기 b는 한 주기 내에서 샘플링되는 마지막 샘플링값을 각각 나타낸다.)에 따라 공간적 위치를 계산하는 것을 특징으로 하는 영상신호 처리 시스템에서의 이미지 포맷 변환장치.
제 1 항에 있어서,

상기 수평 스케일링부는 가변계수 선형보간을 위해 상기 룩업테이블에 마련된 선형보간계수를 참조하여 다음의 수식;

(상기 a는 한 주기 내에서 샘플링되는 초기 샘플링값을, 상기 b는 한 주기 내에서 샘플링되는 마지막 샘플링값을 각각 나타낸다.)에 따라 공간적 위치를 계산하는 것을 특징으로 하는 영상신호 처리 시스템에서의 이미지 포맷 변환장치.
원색신호들 각각을 변환하고자 하는 소정 간격으로 샘플링하고, 상기 샘플링된 신호들을 디지털신호들로 변환하는 단계;

상기 아날로그-디지털변환부의 디지털신호를 휘도신호 및 색차신호로 변환하는 단계;

선형보간계수가 마련된 룩업테이블을 참조하며 이미지 크기 변환에 따라 상기 휘도신호 및 색차신호의 한 주기를 선형보간하고, 선형보간된 결과를 반복적으로 이용하여 수평 스케일링하는 단계;

상기 룩업테이블를 참조하며 이미지 크기 변환에 따라 상기 수평 스케일링 신호의 한 주기를 선형보간하고, 선형보간된 결과를 반복적으로 이용하여 수직 스케일링하는 수직스케일링부;

상기 수평 스케일링 신호를 상기 룩업테이블을 참조하며 수직 스케일링하는 단계;

상기 수평 및 수직 스케일링된 신호를 프레임메모리부에 저장하고, 상기 수직 및 수평 스케일링 신호의 수직 및 수평주파수를 변환하는 단계를 구비하는 것을 특징으로 하는 영상신호 처리 시스템에서의 이미지 포맷 변환방법.
제 1 항에 있어서,

상기 수평 스케일링 단계는 가변계수 선형보간을 위해 상기 룩업테이블에 마련된 선형보간계수를 참조하여 다음의 수식;

(상기 a는 한 주기 내에서 샘플링되는 초기 샘플링값을, 상기 b는 한 주기 내에서 샘플링되는 마지막 샘플링값을 각각 나타낸다.)에 따라 공간적 위치를 계산하는 것을 특징으로 하는 영상신호 처리 시스템에서의 이미지 포맷 변환방법.
제 1 항에 있어서,

상기 수직 스케일링 단계는 가변계수 선형보간을 위해 상기 룩업테이블에 마련된 선형보간계수를 참조하여 다음의 수식;

(상기 K/L은 선형보간계수를, 상기 a는 한 주기 내에서 샘플링되는 초기 샘플링값을, 상기 b는 한 주기 내에서 샘플링되는 마지막 샘플링값을 각각 나타낸다.)에 따라 공간적 위치를 계산하는 것을 특징으로 하는 영상신호 처리 시스템에서의 이미지 포맷 변환방법.