KR20020025899A

KR20020025899A - 화소연산장치

Info

Publication number: KR20020025899A
Application number: KR1020017016382A
Authority: KR
Inventors: 오카히로유키; 니시다히데시; 요시오카고스케; 기요하라도쿠조; 히라이마코토; 기무라고조; 마츠우라류지; 모리시타히로유키; 츠지도시아키
Original assignee: 마츠시타 덴끼 산교 가부시키가이샤
Priority date: 2000-04-21
Filing date: 2001-04-23
Publication date: 2002-04-04
Also published as: WO2001082227A1; CN1269076C; CN1383529A; US6809777B2; US20020106136A1; EP1278157A1; KR100794098B1

Abstract

본 발명은 필터처리를 행하는 화소연산장치로서, 16개의 화소처리부(1∼16)와, 16개의 화소데이터 및 필터계수를 공급하는 입력버퍼군(22)을 구비하고, 각 화소처리부는 입력버퍼군(22)으로부터 공급된 화소데이터와 필터계수를 이용하여 연산한 후, 인접하는 화소처리부로부터 화소데이터를 취득하고, 취득한 화소데이터를 이용하여 연산하고 연산 결과를 누적한다. 이 취득과 누적을 반복함으로써, 반복 횟수에 따른 탭수의 필터처리를 실행한다.

Description

화소연산장치{PIXEL CALCULATING DEVICE}

최근, 디지털 영상기기의 기술진보가 현저하고, 동화상의 압축처리/신장처리, 리사이즈 등을 취급하는 소위 미디어 프로세서가 실용화되고 있다.

화상의 리사이즈에는 FIR(finite impulse response) 필터가 자주 이용된다.

도 1은 종래기술에서의 FIR 필터처리를 행하는 회로예를 나타내는 블록도이다. 도 1은 탭수 7, 계수가 대칭인 FIR 필터이다.

도 1에서, 데이터 입력단자(1001)로부터 시계열적으로 입력된 데이터는 지연기(1002, 1003, 1004, 1005, 1006, 1007)에 이 순서로 차례로 전송된다. 필터계수가 대칭인 경우, 즉 데이터 입력단자의 입력 및 각 지연기의 출력(탭이라 한다)에 대응하는 계수가 중앙의 탭(지연기(1004)의 출력)에 대하여 대칭인 경우, 각 탭의 데이터에 필터계수를 승산하는 것은 아니고, 같은 계수의 탭의 데이터끼리 가산하고 나서 계수를 승산한다.

예를 들어, 데이터 입력부(1001)의 입력데이터와 지연기(1007)의 출력데이터는 가산기(1008)에서 가산되고, 또 승산기(1008)에서 가산 결과와 계수 h0이 승산된다. 지연기(1002)의 출력과 지연기(1006)의 출력은 가산기(1009)에서 가산되고, 또 승산기(1008)에서 가산 결과와 계수 h1이 승산된다.

승산기(1011∼1014)의 각 출력데이터는 가산기(1015)에 의해 가산된다. 가산기(1015)의 출력데이터는 필터처리 결과로서 데이터 출력단자(1016)로부터 시계열적으로 출력된다. 계수 h0∼h3은 화상의 축소율에 따라 정해진다. 예를 들어, 축소율이 1/2이면 시계열의 출력데이터를 1/2로 정선함으로써 축소화상이 얻어진다.

또한, 필터계수가 대칭으로 선택되는 것은 직선위상(위상특성이 주파수에 대하여 직선이 되는 것)이 얻어짐으로써 화상의 시각상 바람직하기 때문이다.

그러나, 상기 종래의 방법에서는, 화상데이터에 대하여 필터링처리를 하는 경우, 회로의 구성상, 화상을 구성하는 화소데이터를 끝에서부터 차례로 입력해 가므로, 1클록으로 입력할 수 있는 화소데이터는 1개이기 때문에, 처리속도를 높이기 위해서는 동작주파수를 높일 필요가 있다. 높은 동작주파수에서의 동작은 비용 및 소비전력이 커지는 문제점이 있다.

또한, 종래의 방법에서는 탭수마다 회로가 다르기 때문에 자유도가 없고, 탭수마다 별도로 회로를 설치하면 막대한 비용이 든다.

본 발명의 제 1 목적은 탭수를 가변으로 할 수 있고, 주파수를 올리지 않고 처리를 고속화하는 필터링처리를 행하는 화소연산장치를 제공하는 것이다.

본 발명의 제 2 목적은 또한 필터링처리 뿐만아니라 MC(동작보상) 처리에도 이용 가능하고, 회로규모의 소형화를 도모한 화소연산장치를 제공하는 것이다.

제 3 목적은 또한 필터링처리 뿐만아니라 ME(동작예측) 처리에도 이용 가능하고, 회로규모의 소형화를 도모한 화소연산장치를 제공하는 것이다.

제 4 목적은, 또한 필터링처리 뿐만아니라 디지털 영상기기에서의 0SD(0n Screen Display)처리에도 이용되고, 회로규모의 소형화를 도모한 화소연산장치를 제공하는 것이다.

본 발명은 화상을 리사이즈하기 위한 필터링회로를 포함하는 화소연산장치에 관한 것이다.

도 1은 종래기술에서의 FIR 필터처리를 행하는 회로예를 나타내는 블록도이다.

도 2는 화소연산 유니트를 구비하는 미디어 프로세서의 구성을 나타내는 블록도이다.

도 3은 화소연산 유니트(POUA, POUB)의 구성을 나타내는 블록도이다.

도 4는 화소병렬처리부의 좌반부의 구성을 나타내는 블록도이다.

도 5는 화소병렬처리부의 우반부의 구성을 나타내는 블록도이다.

도 6의 (a)는 입력버퍼군(22)의 상세한 구성을 나타내는 블록도이다.

도 6의 (b)는 입력버퍼군(22) 내의 선택부의 상세한 구성을 나타내는 블록도이다.

도 7은 출력버퍼군(23)의 구성을 나타내는 블록도이다.

도 8은 화소연산 유니트에서 필터처리를 행하는 경우의 화소데이터의 초기입력값을 나타내는 도면이다.

도 9는 화소처리부(1)에 대한 화소데이터의 초기입력값을 나타내는 설명도이다.

도 10은 화소처리부(1)에서의 필터처리에서의 연산과정을 나타내는 도면이다.

도 11은 화소처리부(1)에서의 필터처리의 연산내용을 나타내는 설명도이다.

도 12는 화소연산 유니트에서 MC(동작보상) 처리(P픽처)를 행하는 경우의 입출력 화소데이터를 나타내는 도면이다.

도 13은 MC 처리에서의 복호대상 프레임과 참조프레임을 나타내는 설명도이다.

도 14는 화소연산 유니트에서 MC 처리(B픽처)를 행하는 경우의 입출력 화소데이터를 나타내는 도면이다.

도 15는 화소연산 유니트에서 OSD(온 스크린 디스플레이) 처리를 행하는 경우의 입출력 화소데이터를 나타내는 도면이다.

도 16은 화소연산 유니트에서의 OSD(온 스크린 디스플레이) 처리의 설명도이다.

도 17은 화소연산 유니트에서 ME(동작예측) 처리를 행하는 경우의 입출력 화소데이터를 나타내는 도면이다.

도 18은 화소연산 유니트에서 ME(동작예측)의 설명도이다.

도 19는 미디어 프로세서에서 수직필터처리를 행하는 경우의 데이터의 흐름을 나타낸 모식적인 블록도이다.

도 20은 수직 1/2 축소를 행하는 경우의 설명도이다.

도 21은 종래기술에서 수직 1/2 축소를 행하는 경우의 설명도이다.

도 22는 수직 1/4 축소를 행하는 경우의 설명도이다.

도 23은 종래기술에서 수직 1/4 축소를 행하는 경우의 설명도이다.

도 24는 미디어 프로세서에서 수직필터처리를 행하는 경우의 데이터의 흐름을 나타낸 모식적인 다른 블록도이다.

도 25는 디코드처리와 수직필터처리의 타이밍을 나타내는 설명도이다.

도 26은 수직 1/2 축소를 행하는 경우의 설명도이다.

도 27은 수직 1/4 축소를 행하는 경우의 설명도이다.

도 28은 화소병렬처리부의 좌반부의 제 1 변형예를 나타내는 도면이다.

도 29는 화소병렬처리부의 우반부의 제 1 변형예를 나타내는 도면이다.

도 30은 화소병렬처리부의 좌반부의 제 2 변형예를 나타내는 도면이다.

도 31은 화소병렬처리부의 우반부의 제 2 변형예를 나타내는 도면이다.

도 32는 화소병렬처리부의 좌반부의 제 3 변형예를 나타내는 도면이다.

도 33은 화소병렬처리부의 우반부의 제 3 변형예를 나타내는 도면이다.

도 34는 화소처리 유니트의 변형예를 나타내는 도면이다.

상기 제 1 목적을 달성하는 화소연산장치는 필터처리를 행하는 화소연산장치로서, N개의 화소처리수단과, N개의 화소데이터 및 필터계수를 공급하는 공급수단과, N개의 화소처리수단을 병렬로 동작시키는 제어수단을 구비한다.

각 화소처리수단은 공급수단에 공급된 화소데이터와 필터계수를 이용하여 연산한 후, 각 화소처리수단에 대하여 인접하는 화소처리수단으로부터 화소데이터를 취득하고, 취득한 화소데이터를 이용하여 연산하고 연산 결과를 누적한다. 상기 제어수단은 인접하는 화소처리수단으로부터의 화소데이터의 취득과, 취득한 화소데이터를 이용한 연산 및 누적을 탭수에 따른 횟수 반복하도록 N개의 화소처리수단을 제어한다.

여기서, 상기 N개의 화소처리수단은 N개의 화소데이터를 우측으로 시프트하는 제 1 시프터와, N개의 화소데이터를 좌측으로 시프트하는 제 2 시프터를 형성한다. 각 화소처리수단은 인접하는 2개의 화소처리수단으로부터 시프트아웃되는 2개의 화소데이터를 이용하여 연산한다.

이 구성에 의하면, 탭수를 가변으로 할 수 있고, 주파수를 올리지 않고 처리를 고속화하는 필터링처리를 할 수 있다는 효과가 있다.

상기 제 2 목적을 달성하는 화소연산장치는 화소데이터로서 차분화상의 화소데이터와 참조프레임의 화소데이터를 공급수단으로부터 공급한다.

이 구성에 의하면, 필터링처리 뿐만아니라 MC(동작보상) 처리에도 이용 가능하고, 필터장치와 MC 회로를 독립적으로 설치할 필요가 없으므로, 회로규모의 소형화를 도모할 수 있다는 효과가 있다.

본 발명의 화소연산 유니트는 주로 (a) 화상의 확대/축소에 이용되는 필터처리, (b) 동작보상(Moving Compensation, 이하 ME) 처리, (c) OSD(0n Screen Display) 처리, (d) 동작예측(Moving Estimation, 이하 ME) 처리 등을 선택적으로 실행하도록 구성된다. (a) 필터처리에 대해서는, 화소연산 유니트는 탭수를 고정하지 않고 가변으로 하고, 수평방향 또는 수직방향으로 연속하는 복수의 화소(예를 들어, 16화소)를 병렬로 처리한다. 또한, 수직방향의 필터처리는 압축 동화상데이터의 신장처리와 동기하여 행한다.

이하, 본 발명의 실시예에서의 화소연산 유니트에 대하여 다음의 순서로 설명한다.

1. 미디어 프로세서의 구성

1.1 화소연산 유니트의 구성

1.2 화소병렬처리부의 구성

2.1 필터처리

2.2 MC(동작보상) 처리

2.3 OSD(온 스크린 디스플레이) 처리

2.4 ME(동작예측) 처리

3.1 수직필터처리(1)

3.1.1 1/2 축소

3.1.2 1/4 축소

3.2 수직필터처리(2)

3.2.1 1/2 축소

3.2.2 1/4 축소

4 변형예

< 1 미디어 프로세서의 구성>

본 실시예에서의 화소연산 유니트가 미디어처리(압축음성 동화상데이터의 신장처리, 음성 동화상데이터의 압축처리 등)를 행하는 미디어 프로세서에 내장되어 있는 경우에 대하여 다음에 설명한다. 미디어 프로세서는 예를 들어, 디지털 TV 방송을 수신하는 셋톱박스, 텔레비전 수상기, DVD 녹화재생장치 등에 실장된다.

도 2는 화소연산 유니트를 구비하는 미디어 프로세서의 구성을 나타내는 블록도이다. 도 2에서, 미디어 프로세서(200)는 듀얼포트 메모리(100), 스트림 유니트(201), 입출력버퍼(이하 I/O 버퍼라 한다)(202), 셋업프로세서(203), 비트스트림 FIFO(204), 가변길이부호 복호부(VLD)(205), 가변길이부호 복호부(205), 변환엔진(Transfer Engine, 이하 TE)(206), 화소연산 유니트 A(이하 POUA)(207), 화소연산 유니트 B(이하 POUB)(208), POUC(209), 오디오 유니트(210), IOP(211), 입출력 프로세서(이하 IOP)(211), 비디오버퍼 메모리(212), 비디오 유니트(213), 호스트 유니트(214), RE(215), 필터부(216)를 구비한다.

듀얼포트 메모리(100)는 외부 메모리(220)에 대한 입출력 포트(이하 외부 포트)와, 미디어 프로세서(200) 내부에 대한 입출력(이하 내부 포트라 한다)과, 캐시메모리를 구비하고, 미디어 프로세서(200) 내의 각 구성요소 중 외부 메모리(220)에 데이터를 판독기입하는 구성요소(이하 마스터 디바이스)로부터의 액세스 요구를 내부 포트로부터 접수하고, 접수한 액세스요구에 따라 외부 메모리(220)를 액세스한다. 그 때, 듀얼포트 메모리(100)는 내부의 캐시메모리에 외부 메모리(220)의 데이터의 일부를 캐싱한다. 또한, 외부 메모리(220)는 SDRAM이나 RDRAM 등의 메모리로서, 압축 동화상데이터, 압축 음성데이터, 복호 후의 음성데이터, 복호 후의동화상데이터 등을 일시적으로 기억한다.

스트림 유니트(201)는 외부로부터 스트림 데이터(소위 MPEG 스트림)를 입력하고, 입력된 스트림 데이터를 비디오 엘리먼터리 스트림, 오디오 엘리먼터리 스트림으로 분리하여, 각각을 I/O 버퍼(202)에 기입한다.

I/O 버퍼(202)는 비디오 엘리먼터리 스트림, 오디오 엘리먼터리 스트림, 오디오 데이터(신장된 오디오 데이터)를 일시적으로 유지하는 버퍼메모리이다. 비디오 엘리먼터리 스트림, 오디오 엘리먼터리 스트림은 각각 스트림 유니트(201)로부터 I/O 버퍼(202)에 저장되고, 또 IOP(211)의 제어에 의해 듀얼포트 메모리(100)를 통해 외부 메모리(220)에 저장된다. 오디오 데이터는 IOP(211)의 제어에 의해 외부 메모리(220)로부터 듀얼포트 메모리(100)를 통해 I/O 버퍼(202)에 저장된다.

셋업 프로세서(203)는 오디오 엘리먼터리 스트림의 디코드(신장)와, 비디오 엘리먼터리 스트림의 매크로블록의 헤더해석을 한다. 오디오 엘리먼터리 스트림 및 비디오 엘리먼터리 스트림은 IOP(211)의 제어에 의해 외부 메모리(220)로부터 듀얼포트 메모리(100)를 통해 비트스트림 FIFO(204)에 전송된다. 셋업 프로세서(203)는 비트스트림 FIFO(204)로부터 오디오 엘리먼터리 스트림을 판독하여 디코드하고, 디코드 후의 오디오 데이터를 셋업 메모리(217)에 저장한다. 셋업 메모리(217) 내의 오디오 데이터는 I0P(211)에 의해 듀얼포트 메모리(100)를 통해 외부 메모리(220)에 전송된다. 또한, 셋업 프로세서(203)는 비트스트림 FIFO(204)로부터 비디오 엘리먼터리 스트림을 판독하여 매크로블록헤더를 해석하고, 해석 결과를 VLD(205)에 통지한다.

비트스트림 FIFO(204)는 비디오 엘리먼터리 스트림을 가변길이 부호 복호부(205)에 공급하고, 오디오 엘리먼터리 스트림을 셋업 프로세서(203)에 공급하기 위한 FIFO 메모리이다. 비디오 엘리먼터리 스트림 및 오디오 엘리먼터리 스트림은 IOP(211)의 제어에 의해 외부 메모리(220)로부터 듀얼포트 메모리(100)를 통해 비트스트림 FIFO(204)에 전송된다.

VLD(205)는 비트스트림 FIFO(204)로부터 공급되는 비디오 엘리먼터리 스트림에 포함되는 가변길이 부호를 복호한다. 이 복호 결과는 매크로블록단위의 DCT 계수군이다.

TE(206)는 VLD(205)의 복호 결과에 대하여 매크로블록단위로 IQ(역양자화) 처리 및 IDCT(역 DCT) 처리를 한다. 이들 처리 결과는 매크로블록이다. 1매크로블록은 4개의 휘도블록(Y1∼Y4)과 2개의 색차블록(Cb, Cr)으로 이루어진다. 1블록은 8 ×8화소이다. 단, P 픽처, B 픽처에 대해서는 1블록은 8 ×8개의 차분값으로서 TE(206)로부터 출력된다. TE(206)는 복호 결과를 듀얼포트 메모리(100)를 통해 외부 메모리(220)에 저장한다.

POUA(207)는 주로 (a) 필터처리, (b) MC 처리, (c) OSD 처리, (d) 동작예측(Moving Estimation) 처리 등을 선택적으로 실행한다.

(a)의 필터처리에서는, POUA(207)는 외부 메모리(220)에 저장된 비디오 데이터(프레임 데이터)에 포함되는 16개의 화소데이터를 병렬로 필터링하고, 필터링 후의 16개의 화소를 정선 또는 보간함으로써 축소, 확대한다. 축소어 다음의 데이터는 P0UC(209)의 제어에 의해 듀얼포트 메모리(100)를 통해 외부 메모리(220)에 저장된다.

(b)의 MC 처리에서는, POUA(207)는 TE(206)에 의해 외부 메모리(220)에 저장된 P 픽처 및 B 픽처에 대한 IQ 및 IDCT 처리 결과(즉, 화소데이터의 차분값) 와, 참조프레임 중의 화소데이터를 16 병렬로 가산한다. 16세트의 차분값과 화소데이터는 셋업 프로세서(203)에서의 매크로블록헤더 해석에 의해 검출된 동작벡터에 따라, POUC(209)에 의해 POUA(207)에 입력된다.

(c) OSD 처리에서는, POUA(207)는 외부 메모리(220) 등에 저장된 OSD 화상(정지화상)을 듀얼포트 메모리(100)를 통해 입력하고, 외부 메모리(220) 내의 표시용 프레임 데이터에 덧쓰기한다. 여기서, OSD 화상이란 사용자의 리모콘 조작 등에 따라 표시되는 메뉴화상이나, 시각표시, 채널번호표시 등을 말한다.

(d)의 ME 처리란, 압축하지 않은 프레임 데이터 내의 부호화 대상인 매크로블록에 대하여, 참조프레임 중의 상관성이 높은 직사각형 영역을 탐색하여, 부호화대상인 매크로블록으로부터 상관성이 가장 높은 직사각형 영역을 가리키는 동작벡터를 구하는 처리이다. POUA(207)는 부호화 대상인 매크로블록의 화소와, 탐색영역 내의 직사각형 영역의 화소와의 차분을 16개 병렬로 산출한다.

POUB(208)는 POUA(207)와 동일 구성으로서, 상기 (a)∼(d)의 처리를 동적으로 분담한다.

POUC(209)는 POUA(207) 및 POUB(208)에 대한 화소데이터군의 공급과, 처리 결과를 외부 메모리(220)로 전송하는 것을 제어한다.

오디오 유니트(210)는 I/O 버퍼(202)에 저장된 오디오 데이터를 출력한다.

IOP(211)는 미디어 프로세서(200) 내의 데이터 입출력(데이터전송)을 제어한다. 데이터 전송에는 다음과 같은 종류가 있다. 첫째는, I/0 버퍼(202)에 저장된 스트림 데이터를 듀얼포트 메모리(100)를 통해 외부 메모리(220) 내의 스트림 버퍼영역에 전송하는 것이다. 둘째는, 외부 메모리(220)에 저장된 비디오 엘리먼터리 스트림 및 오디오 엘리먼터리 스트림을 듀얼포트 메모리(100)를 통해 비트스트림 FIFO(204)에 전송하는 것이다. 셋째는, 외부 메모리 디바이스(2)에 저장된 오디오 데이터를 듀얼포트 메모리(100)를 통해 I/0 버퍼(202)에 전송하는 것이다.

비디오 유니트(213)는 외부 메모리(220)의 비디오 데이터(화상프레임)로부터 2, 3 라인분의 화소데이터를 판독하여, 비디오 버퍼메모리(212)에 저장하고, 그 2, 3 라인분의 화소데이터를 영상신호로 변환하여 외부에 접속된 텔레비전 수상기 등의 디스플레이장치에 출력한다.

호스트 유니트(HOST)(214)는 외부의 호스트 마이크로컴퓨터로부터의 지시를 받아, 지시에 따라 MPEG 디코드, MPEG 엔코드, OSD 처리, 축소 ·확대처리 등 개시 ·종료를 제어한다.

렌더링 엔진(RE)(215)은 마스터 디바이스이고, 컴퓨터 ·그래픽스에서의 렌더링처리를 행한다. 외부에 전용 LSI(218)가 접속되어 있는 경우, 그 사이에서 데이터 입출력을 행한다.

필터(216)는 정지화상 데이터의 확대축소처리를 행한다. 외부에 전용 LSI(218)가 접속되어 있는 경우, 그 사이에서 데이터 입출력을 행한다.

상기에서는, 미디어 프로세서가 스트림 유니트(201)로부터 스트림 데이터를입력하여 디코드(신장)하는 경우를 중심으로 설명하였으나, 압축되어 있지 않은 비디오 데이터 및 오디오 데이터를 엔코드(압축)하는 경우는 반대의 흐름이 된다. 그 때, POUA(207)(또는 POUB(208))는 ME 처리를 행하고, TE(206)는 DCT 처리 및 Q(양자화) 처리를 행하며, VLD(205)는 가변길이 부호화를 행한다.

< 1.1 화소연산 유니트의 구성 >

도 3은 화소연산 유니트의 구성을 나타내는 블록도이다.

POUA(207)와 POUB(208)는 같은 구성이기 때문에, 여기서는 POUA(207)를 설명한다.

도 3과 같이, POUA(207)는 화소병렬처리부(21), 입력버퍼군(22), 출력버퍼군(23), 명령메모리(24), 명령디코더(25), 지시회로(26), DDA 회로(27)를 구비한다.

화소병렬처리부(21)는 화소전송부(17), 16개의 화소처리부(1)∼화소처리부 (16), 화소전송부(18)를 구비하고, 입력버퍼군(22)으로부터 입력되는 복수의 화소를 대상으로 상기 (a) 필터처리, (b) MC 처리, (c) OSD 처리, (d) ME 처리를 행하여, 출력버퍼군(23)에 출력한다. (a)∼(d)의 각 처리는 매크로블록단위, 즉 16화소를 16회(16 라인분) 반복함으로써 종료된다. 각 처리의 기동은 P0UC(209)에 의해 제어된다. 또, 화소전송부(17)는 필터처리에 있어서 16개의 화소의 더욱 좌측(또는 상측)의 복수 화소(여기서는 8화소)를 유지하고, 클록마다 우측으로 시프트한다. 화소전송부(18)는 필터처리에 있어서 16개의 화소의 더욱 우측(또는 하측)의 복수 화소(여기서는 8화소)를 유지하고, 클록마다 좌측으로 시프트아웃한다.

입력버퍼군(22)은 P0UC(209)의 제어에 의해 듀얼포트 메모리(100)로부터 전송되는 처리대상이 되는 복수의 화소를 유지하고, 또한 필터처리에서는 필터계수도 유지한다.

출력버퍼군(23)은 화소병렬처리부(21)에 의한 처리 결과(16화소에 대응하는 16의 처리결과)의 나열을 임의로 변경하여 일시적으로 유지한다. 필터처리에서는 화소의 나열을 변경하여 유지함으로써, 화소의 정선(축소시) 또는 보간(확대시)을 행한다.

명령메모리(24)는 필터처리용 마이크로프로그램(필터 μP), MC 처리용 마이크로프로그램(MC μP), OSD 처리용 마이크로프로그램(OSD μP), ME 처리용 마이크로프로그램(ME μP)을 기억하고 있다. 이외에도, 명령메모리(24)는 매크로블록의 포맷변환용 마이크로프로그램, 화소의 수치표현을 변환하기 위한 마이크로프로그램 등을 기억하고 있다. 여기서, 매크로블록의 포맷이란 MPEG 규격에 정해져 있는 「4:2:0」,「4:2:2」,「4:4:4」등의 Y, Cb, Cr 블록의 화소의 샘플링 레이트의 비율을 말한다. 화소의 수치표현에는 화소가 취할 수 있는 값으로서 0∼255로 표현되는 경우(일반적인 MPEG 데이터 등)와 -128∼127로 표현되는 경우(DV 카메라 등)가 있다.

명령디코더(25)는 명령메모리(24)로부터 마이크로프로그램 중의 마이크로코드를 차례로 판독하여 해독하고, 해독 결과에 따라 POUA(207) 내의 각부를 제어한다.

지시회로(26)는 POUC(209)로부터 명령메모리(24)의 어떤 마이크로프로그램을기동해야 할 것인지의 지시(개시 어드레스 등)를 접수하여, 지시된 마이크로프로그램을 기동한다.

DDA 회로(27)는 필터처리에 있어서, 입력버퍼군(22)에 유지된 필터계수군의 선택제어를 행한다.

< 1.2 화소병렬처리부의 구성 >

도 4, 도 5는 화소병렬처리부의 좌반부, 우반부의 상세한 구성을 나타내는 블록도이다.

도 4에서, 화소전송부(17)는 8개의 입력포트(A1701∼H1708), 화소데이터를 유지하여 1 클록시간 지연하는 8개의 지연기(A1701∼H1709), 입력포트의 화소데이터와 좌측의 지연기 출력 중 한쪽을 선택하는 7개의 선택부(A1717∼G1723)로 구성되고, 입력버퍼군(22)으로부터 병렬 입력되는 8화소를 8개의 지연기에 유지하고, 8개의 지연기에 유지한 화소를 클록 동기하여 우측으로 시프트하는 우측 시프터로서 기능한다.

도 5에서, 화소전송부(18)는 화소전송부(17)에 비하여 시프트하는 방향이 좌측인 점에서 다르고, 그 밖에는 같은 구성이므로 설명을 생략한다.

도 4, 도 5에서의 16개의 화소처리부(1∼16)는 모두 동일한 구성이므로, 화소처리부(2)를 대표로 하여 설명한다.

화소처리부(2)는 입력포트(A201∼C203)와, 선택부(A204, B205), 지연기(A206∼D209), 가산기(A120), 승산기(A211), 가산기(B212), 출력포트(D213)로 구성된다.

선택부(A204)는 입력포트(A201)로부터 입력되는 화소데이터와 좌측에 이웃하는 화소전송부(17)로부터 출력되는 화소데이터 중 한쪽을 선택한다.

선택부(A204)와 지연기(A206)는 우측에 이웃하는 화소처리부(3)로부터 입력되는 화소데이터를 좌측에 이웃하는 화소처리부(1)로 시프트 출력하는 기능도 담당한다.

선택부(B205)는 입력포트(B202)로부터 입력되는 화소데이터와 우측에 이웃하는 외부 메모리(220)로부터 시프트 출력되는 화소데이터 중 한쪽을 선택한다.

선택부(B205)와 지연기(B207)는 좌측에 이웃하는 화소처리부(1)로부터 입력되는 화소데이터를 우측에 이웃하는 화소처리부(3)로 시프트 출력하는 기능도 담당한다.

지연기(A206), 지연기(B207)는 각각 선택부(A204), 선택부(B205)에 선택된 화소데이터를 유지한다.

지연기(B207)는 입력포트(C203)로부터의 화소데이터를 유지한다.

가산기(A120)는 지연기(A206)와 지연기(B207)로부터 출력되는 화소데이터를 가산한다.

승산기(A211)는 가산기(A120)의 가산 결과와 지연기(C208)로부터의 화소데이터를 승산한다. 이 승산기(A211)는 필터처리에서는 화소데이터와 필터계수의 승산에 이용된다.

가산기(B212)는 승산기(A211)의 승산 결과를 지연기(D209)의 데이터와 가산한다.

지연기(D109)는 가산기(B212)의 가산 결과를 누적한다.

화소처리부(2)는 이들의 구성요소를 선택적으로 조합하여 동작시킴으로써 상기 (a) 필터처리, (b) MC 처리, (c) OSD 처리, (d) ME 처리를 실행한다. 이들의 구성요소를 선택적으로 조합하는 동작은 명령메모리(24) 및 명령디코더(25)에 의한 마이크로프로그램 제어에 의해 이루어진다.

도 6의 (a)와 같이, 입력버퍼군(22)은 화소전송부(17)에 화소데이터를 공급하는 8개의 래치(221)와, 화소처리부(1∼16)에 화소데이터를 공급하는 16개의 래치부(222)와, 화소전송부(18)에 화소데이터를 공급하는 8개의 래치(223)로 구성된다. 이들은 POUC(209)의 제어에 의해 외부 메모리(220)로부터 듀얼포트 메모리(100)를 통해 화소데이터군이 전송된다.

각 래치부(222)는 화소처리부의 입력포트 A, B에 화소데이터를 공급하는 2개의 래치와, 화소처리부의 입력포트 C에 화소데이터 또는 필터계수를 공급하는 선택부(224)로 이루어진다.

도 6의 (b)는 선택부(224)의 상세한 구성을 나타내는 블록도이다.

도 6의 (b)와 같이, 선택부(224)는 8개의 래치(224a∼224h)와, 8개의 래치로부터 데이터의 어느 하나를 선택하는 셀렉터(224i)로 이루어진다.

래치(224a∼224h)는 필터처리에 있어서 필터계수 a0∼a7(또는 a0/2, a1∼a7)을 유지한다. 이들 필터계수는 POUC(209)에 의해 외부 메모리(220)로부터 듀얼포트 메모리(100)를 통해 래치(224a∼224h)에 전송된다.

셀렉터(224i)는 DDA 회로(27)의 제어에 의해 클록에 동기하여 래치(224a)에서 래치(224h)로 차례로 선택된다. 이와 같이, 필터계수의 화소처리부로의 공급은 마이크로코드에 의해 직접 제어되는 것은 아니고, DDA 회로(27)와 하드웨어에 의해 제어되므로 고속화된다.

도 7은 출력버퍼군(23)의 구성을 나타내는 블록도이다.

도 7과 같이, 출력버퍼군(23)은 16개의 셀렉터(24a∼24p)와, 16개의 래치(23a∼23p)로 이루어진다.

셀렉터(24a∼24p)는 모두 화소처리부(1∼16)의 16개의 처리 결과가 입력되고, 그 중 하나를 선택한다. 이 선택제어는 명령디코더(25)에 의해 이루어진다.

래치(23a∼23p)는 각각 셀렉터(24a∼24p)의 선택 결과를 유지한다.

예를 들어, 필터처리의 결과를 1/2로 축소하는 경우에는, 16개의 화소에 대한 화소처리부(1∼16)의 16개의 처리 결과 중 화소처리부(1, 3, 5,···15)의 처리 결과를 8개의 셀렉터(24a∼24h)가 선택하여 래치(23a∼23h)에 저장되고, 또 다음 16개의 화소에 대한 화소처리부(1∼16)의 16개의 처리 결과 중 화소처리부(2, 4, 6,···16)의 처리 결과를 8개의 셀렉터(24i∼24p)가 선택하여 래치(23i∼23p)에 저장된다. 이렇게 하여 화소가 정선되고, 1/2 축소된 16개의 화소데이터가 출력버퍼군(23)에 유지되고, 또 P0UC(209)의 제어에 의해 듀얼포트 메모리(100)를 통해 외부 메모리(220)에 전송된다.

< 2.1 필터처리 >

화소연산 유니트에서의 필터처리의 상세에 대하여 설명한다.

POUC(209)는 필터처리의 대상이 되는 매크로블록을 특정하고, POUA(207) 또는 POUB(208)에 대하여 32개의 화소데이터 및 필터계수 a0/2, a1∼a7을 초기값으로 하여 입력버퍼군(22)에 전송하고, 또 지시회로(26)에 탭수의 통지와 함께 필터처리의 개시를 지시한다.

도 8은 화소연산 유니트(POUA(207))에서 필터처리를 행하는 경우의 화소데이터의 초기입력값을 나타내는 도면이다. 도 8에서 입력포트란은 도 4, 도 5에 나타낸 각 입력포트를 의미한다. 입력화소란은 입력버퍼군(22)으로부터 각 입력포트에 공급되는 화소데이터를 의미한다. 출력포트란은 도 4, 도 5에 나타낸 출력포트 D(가산기 B 출력)를 의미하고, 출력화소란은 그 출력값을 의미한다.

입력포트에 화소데이터를 공급하는 입력버퍼군(22)에는 도 9에 나타내는 바와 같이, 수평방향으로 연속하는 32개의 화소데이터 X1∼X32가 POUC(209)에 의해 전송되어 유지되고 있다. 여기에서의 필터처리의 대상은 X9∼X24의 16개의 화소데이터이다. 도 8과 같이, 화소처리부(1∼l6)의 입력포트 A 및 B에는 화소데이터 X9∼X24가 공급되고, 입력포트 C에는 입력버퍼군(22)에서 선택된 필터계수 aO/2가 초기값으로서 공급된다.

또, 입력버퍼군(22)으로부터 초기입력값이 화소병렬처리부(21)에 공급된 후, 필터처리로서 원하는 탭수에 따른 수의 클록입력에 의해 필터처리가 이루어진다.

도 1O은 16개의 화소처리부 중 화소처리부(1)를 대표로 하여, 그 연산과정을 나타내는 설명도이다. 도 10에서는 입력클록수마다 화소처리부(1) 내의 지연기 A∼D의 유지내용과, 가산기 B의 출력값을 기록하고 있다. 또, 도 11은 화소처리부(1)의 클록입력마다의 출력포트 D(가산기 B 출력)의 출력값을 나타내는도면이다.

화소처리부(1)는 최초의 클록입력(CLK1)에 의해 초기입력값으로서 지연기 A 및 B는 화소데이터 X9를 유지하고, 지연기 D는 필터계수 a0/2를 유지하며, 지연기 D는 O으로 클리어된다. 이 때, 선택부 A 및 B는 모두 입력포트를 선택하고 있다. 그 결과, 가산기 A는 (X9 + X9)를 출력하고, 승산기 A는(X9 + X9) * a0/2를 출력하며, 가산기 B는 (X9 * a0/2 + 0(즉, a0 * X9))을 출력한다(도 11 참조).

2회째의 클록입력(CLK2) 이후에서는, 선택부 A 및 B는 입력포트 A, B가 아니라 인접하는 화소처리부 또는 화소전송부로부터의 시프트 출력을 선택한다.

2회째의 클록입력(CLK2)에 의해 지연기 A∼D에는 화소데이터 X10, X8, 필터계수 a1, a0 * X9를 유지한다. 그 결과, 가산기 B는 a0 * X9 + a1(X10 + X8)을 출력한다(도 11 참조). 이와 같이, 2회째는 필터계수 a1(지연기 C)과 양쪽에 이웃하는 부분으로부터 시프트 출력되는 화소데이터의 합(가산기 A)을 승산기 A에서 승산하고 있다. 가산기 B는 이 승산 결과와 지연기 D의 누적값을 가산하고 있다.

3회째의 클록입력(CLK3)에서는, 화소처리부(1)는 2회째의 클록입력과 마찬가지로 동작함으로써, 가산기 B에서 a0 * X9 + al(X10 + X8) + a2(X11 + X7)을 출력한다.

4회째∼9회째의 클록입력(CLK4∼CLK9)에서도 마찬가지로 동작함으로써, 가산기 B는 도 11에 나타내는 출력값을 각각 출력하게 된다.

이렇게 하여 화소처리부(1)의 필터처리결과(출력데이터)는 9클록의 경우,

a0ㆍX9 + al(X10 + X8) + a2(X11 + X7) + a3(X12 + X6)

+ a4(X13 + X5) + a5(X14 + X4) + a6(X15 + X3) + a7(X16 + X2) + a8(X17 + X1)

이 된다.

도 10, 도 11에서는 CLK9까지의 처리과정을 나타내고 있으나, 입력클록수는 POUC(209)로부터 통지된 탭수에 따라 명령디코더(25)의 제어에 의해 중단된다. 즉, 각 화소처리부는 탭수 3인 경우는 CLK2에서 필터처리를 종료하고, 탭수 5인 경우는 CLK3에서 종료하며, 탭수 7인 경우는 CLK4에서 필터처리를 종료한다. 다시 말하면 탭수 (2n-1)인 필터처리에서는 n회의 클록입력으로 종료한다.

명령디코더(25)는 16화소의 병렬처리를 16라인분 반복하고, 이것에 의해 4블록의 필터처리를 끝낸다. 그 때, 16개의 필터처리결과는 출력버퍼군(23)에 있어서 정선처리 또는 보간처리됨으로써 축소 또는 확대된다. 출력버퍼군(23)의 축소 또는 확대 후의 화소군은 16개 유지될 때마다 POUC(209)의 제어에 의해 듀얼포트 메모리(100)를 통해 외부 메모리(220)에 전송된다. 또한, 명령디코더(25)는 16라인째 종료시에 POUC(209)에 종료된 취지를 통지한다. POUC(209)는 다음 매크로블록에 대하여 상기와 마찬가지로 POUA(207)를 초기입력값과 필터계수의 공급 및 필터처리의 개시를 지시한다.

또, 화소처리부(2)의 필터처리결과는 9클록의 경우, 다음 식이 된다.

a0 ·X10 + a1(X11 + X9) + a2(X12 + X8) + a3(X13 + X7)

+ a4(X14 + X6) + a5(X15 + X5) + a6(X16 +X4) + a7(X17 + X3) + a8(X18+ X2)

화소처리부(3)의 필터처리결과는 9클록의 경우 다음 식이 된다.

a0 ·X11 + al(X12 + X10) + a2(X13 + X9) + a3(X14 + X8)

+ a4(X15 + X7) + a5(X16 + X6) + a6(X17 + X5) + a7(X18 + X4) + a8(X19 + X3)

화소처리부(4∼16)의 필터처리결과도 화소위치가 다를 뿐 마찬가지이므로 생략한다.

이와 같이, 화소병렬처리부(21)는 16개의 입력화소에 대하여 병렬로 필터처리를 실행하고, 더구나 입력클록수의 제어에 의해 탭수를 임의로 할 수 있다.

또, 도 8에서는 화소처리부(1)의 입력포트 A, B, C의 입력화소가 (X9, X9, a0/2)로 하고 있으나, (X9, 0, a0) 또는 (0, X9, aO)으로 해도 된다. 화소처리부(2∼16)도 대상화소가 다를 뿐 마찬가지로 해도 된다.

< 2.2 MC(동작보상) 처리 >

복호대상 프레임이 P 픽처인 경우의 MC 처리의 상세에 대하여 설명한다.

POUC(209)는 지시회로(26)에 MC 처리의 개시를 지시하는 동시에, MC 처리의 대상이 되는 복호처리 중의 프레임 내의 매크로블록(차분값)과, 참조프레임에서의 동작벡터가 가리키는 직사각형 영역을 특정하고, POUA(207) 또는 POUB(208)에 대하여 16개의 차분값 D1∼D16 및 직사각형 영역 내의 16개의 화소데이터 P1∼P16을 입력버퍼군(22)에 설정한다.

도 12는 화소연산 유니트에서 MC 처리(P 픽처)를 행하는 경우의 입출력화소 데이터를 나타내는 도면이다. 도 12에서 입력포트란은 도 4 및 도 5에 나타낸 화소전송부(17), 화소처리부(1∼16), 화소전송부(18)의 입력포트를 의미한다. 입력화소란은 입력포트에 입력되는 화소데이터를 의미한다. MC 처리에서는 화소전송부(17, 18)는 사용되지 않으므로, 입력화소는 어떤 것이더라도 좋다(don't care). 출력포트란은 도 4, 도 5에 나타낸 출력포트 D(가산기 B 출력)를 의미하고, 출력화소란은 그 출력값을 의미한다.

도 13은 MC 처리에서의 화소처리부(1∼16)로의 입력화소의 설명도이다. 도 13에 나타내는 바와 같이, D1∼D16은 복호대상 프레임의 매크로블록(MB) 중의 16개의 차분값이다. P1∼P16은 참조프레임에 있어서 동작벡터가 가리키는 직사각형 영역 중의 16개의 화소데이터이다.

MC 처리에서는, 화소처리부(1∼16) 내의 선택부 A, B는 각각 항상 입력포트 A, B를 선택한다. 이로 인하여, 입력포트 A에서의 화소데이터, 입력포트 B에서의 차분값은 선택부 A, B를 통해 지연기 A, B에 입력되어 유지되고, 또한 가산기 A에서 가산된다. 이 가산 결과는 승산기에서 1배가 되고, 가산기 B에서 0이 더해져서 출력포트 D에서 출력된다. 즉, 입력포트 A에서의 화소데이터와 입력포트 B에서의 차분값과 단순히 가산되어 출력포트 D에서 출력된다.

또, 16개의 가산 결과는 출력버퍼군(23)에 저장되고, POUC(209)에 의해 듀얼포트 메모리(100)를 통해 외부 메모리(220) 내의 복호대상 프레임에 되돌려 기입된다.

이상의 처리를 복호대상 프레임의 16화소단위로 반복함으로써, MC 처리가 이루어진다. 또, 각 화소처리부에서는 단순 가산하고 있을 뿐, 1클록마다 16화소의 가산 결과를 얻을 수 있다.

다음에, 복호대상 프레임이 B 픽처인 경우의 MC 처리를 설명한다.

도 14는 화소연산 유니트에서 MC 처리(B 픽처)를 행하는 경우의 입출력 화소데이터를 나타내는 도면이다. 도 14에서 입력포트란, 입력화소란, 출력포트란, 출력화소란은 도 12와 마찬가지이다. 단, 입력화소란은 제 1 클록(CLK1)과 제 2 클록 (CLK2)으로 2회에 나누어 입력되는 점이 도 12와 다르다.

P1∼P16과, B1∼B16은 다른 2개의 참조프레임에 있어서 각각 동작벡터가 가리키는 직사각형 영역 중의 16개의 화소데이터이다.

MC 처리에서는, 화소처리부(1∼16) 내의 선택부 A, B는 각각 항상 입력포트 A, B를 선택한다. 제 1 클록(CLK1)에 있어서 입력포트 A, B에서 선택부 A, B를 통해 지연기 A, B에 P1, B1이 유지되고, 동시에 입력포트 C에서 정수 1/2 지연기 C에 유지된다. 이로 인하여, 승산기 A에서 (P1 + B1)/2가 얻어진다. 제 2 클록(CLK2)에 있어서, 승산결과(P1 + B1)/2가 지연기 D에 유지되고, 동시에 입력포트 A, B, C에서의 (1, 0, D1)이 지연기 A, B, C에 유지되므로, 승산기 A에서의 D1과 지연기 D에서의 (P1 + B1)/2가 가산기 B에 의해 가산된다. 그 결과, 출력포트에서 (P1 + B1)/2 + D1이 출력된다.

또, 16개의 가산결과는 출력버퍼군(23)에 저장되고, POUC(209)에 의해 듀얼포트 메모리(100)를 통해 외부 메모리(220) 내의 복호대상 프레임에 되돌려 기입된다.

이상의 처리를 복호대상 프레임의 16화소단위로 반복함으로써, B 픽처에 대한 MC 처리가 이루어진다.

< 2.3 OSD(온 스크린 디스플레이) 처리 >

POUC(209)는 지시회로(26)에 OSD 처리의 개시를 지시하는 동시에, 외부 메모리(220)에 유지된 OSD 화상으로부터 차례로 16개의 화소데이터 X1∼X16을 판독하여 입력버퍼군(22)에 설정한다.

도 15에서 화소전송부(17, 18)는 사용되지 않는다. 화소처리부(1∼16)의 입력포트 A에는 입력버퍼군(22)으로부터 화소데이터 X1∼X16이 입력되고, 입력포트 B에는 각각 0이 입력되며, 입력포트 C에는 각각 1이 입력된다. 도 16에 OSD 화상 중의 16개의 화소가 차례로 입력버퍼군(22)에 기입되는 상태를 나타낸다.

화소처리부(1∼16) 내의 각 선택부 A, B는 OSD 처리에서는 입력포트를 항상 선택한다. 예를 들어, 화소처리부(1)에서는 입력포트 A의 화소데이터 X1, 입력포트 B의 "0"은 각각 지연기 A, B에 유지되고, 또 가산기 A에 의해 가산된다(X1 + 0 = X1). 가산 결과는 승산기 A에서 입력포트 C에서 입력된 "1"과 승산되고 가산기 B에서 "0"이 가산된다. 그 결과, 입력포트 A의 화소데이터 X1은 그대로 가산기 B에서 출력된다. 마찬가지로, 화소처리부(2∼16)로부터의 입력포트 A의 화소데이터 X2∼ X16이 그대로 가산기 B에서 출력된다.

가산기 B에서 출력된 화소데이터 X1∼X16은 출력버퍼군(23)에 저장되고, 또 POUC(209)에 의해 듀얼포트 메모리(100)를 통해 외부 메모리(220) 내의 표시용 프레임 데이터에 덧쓰기된다.

상기 처리를 도 16에 나타낸 바와 같이, OSD 화상 전체에 반복함으로써 외부 메모리(220) 내의 OSD 화상을 표시용 프레임 데이터에 덧쓰기 복제하게 된다. 이것은 OSD 처리 중 가장 단순한 처리로서, POUA(207) 또는 POUB(208)는 단지 OSD 화상을 16화소단위로 중계하고 있을 뿐이다.

또, OSD 처리의 다른 형태로서, (1) OSD 화상과 표시용 프레임 데이터를 브렌드해도 된다. 브렌드율이 O.5인 경우에는 입력버퍼군(22)으로부터 화소처리부(1∼16)의 각 입력포트 A에 OSD 화상의 화소데이터, 각 입력포트 B에 표시용 프레임 데이터의 화소데이터를 공급하면 된다.

또한, 브렌드율이 α: (1-α)인 경우는, 입력버퍼군(22)으로부터 제 1 클록에 있어서 각 화소처리부의 입력포트 A, B, C에 (OSD 화상의 화소데이터, 0, α)를 공급하고, 제 2 클록에 있어서 (0, 표시용 프레임 데이터의 화소데이터, 1-α)를 공급하면 된다.

또한, OSD 화상을 축소표시하는 경우에는, 입력버퍼군(22)으로부터 OSD 화상에 상기 필터처리를 실시하고, 출력버퍼군(23)으로부터 표시용 프레임 데이터 내의 축소표시해야 할 위치에 덧쓰기 복제하면 된다.

또, OSD 화상을 필터처리에 의해 축소한 후, 상기 브렌드를 하도록 해도 된다.

< 2.4 ME(동작예측) 처리 >

도 17은 화소연산 유니트에서 ME(동작예측) 처리를 행하는 경우의 입출력 화소데이터를 나타내는 도면이다. 도 17의 입력화소란에서 X1∼X16은 부호화 대상의 프레임 중의 매크로블록의 16화소이고, R1∼R16은 참조 프레임 중의 16 ×16화소의 직사각형 영역 중의 16화소이다. 도 18은 이들 화소의 관계를 나타내는 설명도이다. 도 18의 참조 프레임 중 동작벡터(MV) 탐색범위는 부호화 대상의 매크로블록과 같은 위치의 주변(예를 들어, 수평 및 수직방향으로 +16화소∼-16화소)의 동작벡터를 탐색하는 대상이 되는 범위이다. 이 MV 탐색범위에는 16화소 ×16화소의 직사각형 영역이 화소단위의 탐색이면 16 ×16 그대로의 위치에 존재하고, 하프펠(1/2화소)단위의 탐색이면 32 ×32 그대로의 위치에 존재한다. 도 13에서는 MV 탐색범위 내의 좌상부의 직사각형 영역만을 나타낸다.

ME 처리는 MV 탐색범위 내의 개개의 직사각형 영역과, 부호화 대상의 매크로블록 사이에서 각 화소끼리의 차분의 총합을 구하고, 또 총합이 최소의 직사각형 영역(즉, 상관성이 가장 높은 직사각형 영역)과 부호화 대상 매크로블록의 상대적인 위치의 변위를 동작벡터로 결정한다. 부호화 대상 블록은 상관성이 가장 높은 직사각형 영역과 차분이 취해진다.

입력버퍼군(22)에는 POUC(209)의 제어에 의해 부호화 대상의 화소데이터 X1∼X16과, 하나의 직사각형 영역의 화소데이터 R1∼R16이 전송된다. 이 직사각형 영역 내의 화소데이터 R1∼R16은 클록마다 직사각형 영역 내의 1라인분이 전송된다. 따라서, 하나의 직사각형 영역에 대하여 16라인분의 R1∼R16이 전송된다.

도 17에 의하면, 도 4에 나타낸 예를 들어, 화소처리부(1)는 제 1 클록에서 입력포트 A의 화소데이터 X1과, 입력포트 B의 화소데이터 R1의 감산 및 절대값화가 가산기 A에서 이루어지고, 승산기 A를 지나친다(1배가 된다). 가산기 B에서는 승산기 출력과 지연기 D의 유지데이터와의 가산값이 출력된다. 제 1 클록에서는 가산기 B는 1라인째의 ｜X1-R1｜을 출력하게 된다.

제 2 클록에서는 지연기에 1라인째의 ｜X1-R1｜이 유지되므로 가산기 B는 승산기 A로부터의 2라인째의 ｜X1-R1｜과 지연기 D에 유지된 1라인째의 ｜X1-R1｜을 가산한다.

제 3 클록에서는 지연기에 1 및 2라인째의 ｜X1-R1｜이 누적되므로, 가산기 B는 승산기 A로부터의 3라인째의 ｜X1-R1｜과 지연기 D에 유지된 1라인째의 ｜X1-R1｜을 가산한다.

같은 반복에 의해, 제 16 클록에서는 가산기 B는 1∼16라인까지의 ｜X1-R1｜의 누적값(Σ｜X1-R1｜)을 출력한다.

화소처리부(2∼16)에 대해서도 각각 누적값(Σ｜X1-R1｜)∼(Σ｜X16-R16｜)을 출력한다.

이들 16개의 누적값은 제 17 클록에 있어서 출력버퍼군(23)에 유지되고, POUC(209)에 의해 인출되어, 16개의 누적값의 합계가 산출된 후 외부 메모리(220) 내의 작업영역에 보존된다.

이상에 의해, 하나의 직사각형 영역과 부호화 대상 매크로블록의 화소데이터의 차분의 총합의 계산이 종료된다.

이 후, 다시 MV 탐색범위 내의 다른 직사각형 영역에 대해서도 마찬가지로 하여 차분의 총합이 산출된다. MV 탐색범위 내의 모든 직사각형 영역(또는 필요한 직사각형 영역)에 대하여 차분의 총합이 산출되면, 그 중 최소의 값을 갖는 직사각형 영역이 가장 상관성이 높은 직사각형 영역이라고 판단되어 동작벡터가 생성된다.

또, 상기 ME 처리에서는 화소처리부로부터의 16개의 누적값의 합계를 별도로 행하고 있으나, 16개의 누적값의 합계를 화소처리부(1∼16)에서 산출하도록 해도 된다. 이 경우, 하나의 직사각형 영역에 대한 16개의 누적값은 출력버퍼군(23)으로부터 그대로 외부 메모리(220)의 작업영역에 보존해 두고, 이 작업영역에 16개 이상의 직사각형 영역에 대하여 누적값군이 보존되었을 때에, 화소처리부(1∼16)의 각각이 하나의 직사각형 영역을 분담하여 16개의 누적값을 차례로 누적함으로써 차분의 총합을 구하도록 하면 된다.

또한, 상기 ME 처리에서는 화소단위로 차분의 산출을 행하고 있으나, 하프펠단위로 행하도록 해도 된다. 그 경우, 하프라인과 실제 라인 중, 실제 라인에 대해서는 상기한 바와 같이 1클록으로 ｜X1-R1｜을 산출하고, 하프라인에 대해서는, 예를 들어 2클록 중 1클록으로 하프펠의 화소값((R1 + R1')/2)를 산출하며, 다음 1클록으로 차분 ｜X1-(R1 + R1')/2｜를 산출하도록 해도 된다. 또는, 5클록 중 4클록으로 하프펠의 화소값((R1 + R1' + R2 + R2')/4)를 산출하고, 다음 1클록으로 차분을 산출하도록 해도 된다.

< 3.1 수직필터처리(1) >

도 19는 도 2에 나타낸 미디어 프로세서에서 수직필터처리하는 경우의 데이터의 흐름을 나타낸 미디어 프로세서의 모식적인 블록도이다.

도 19에서, 디코더부(301)는 도 2 중의 비디오 엘리먼터리 스트림을 디코드 (신장)하는 VLD(205), TE(206) 및 POUA(207)(MC 처리)에 상당하고, 비디오 엘리먼터리 스트림을 디코드(신장)한다.

프레임 메모리(302)는 외부 메모리(220)에 상당하고, 디코드 결과인 비디오 데이터(프레임 데이터)를 유지한다.

수직필터(303)는 POUB(208)에 상당하고, 수직방향의 필터처리에 의해 수직방향의 축소를 행한다.

버퍼메모리(304)는 외부 메모리(220)에 상당하고, 축소된 비디오 데이터(표시용 프레임 데이터)를 유지한다.

화상출력부(305)는 비디오 버퍼메모리(212), 비디오 유니트(213)에 상당하고, 표시 프레임 데이터를 영상신호로 변환하여 출력한다.

또, POUA(207)는 MC 처리를 분담하고, POUB(208)는 수직필터처리를 분담한다. 또한, 수평필터처리에 의한 수평방향의 축소는 프레임 메모리(302)의 디코드 프레임 데이터에 대하여 POUA(207), POUB(208)의 한쪽이 행하는 것으로 한다.

< 3.1.1 1/2 축소 >

도 20은 도 19에 있어서 1/2 축소처리를 행하는 경우의 프레임 메모리(302), 버퍼메모리(304)의 데이터 공급상태의 시간변화를 나타내는 도면이다.

도 20에 있어서, 그래프 701∼703의 종축은 각각 필드의 수직동기신호의 주기 V를 단위로 하는 시간을 나타낸다. 도 20에서는 5주기분을 기록하고 있고, 그래프 701∼703에서는 시간축이 일치하고 있다. 그래프 701의 횡축은 프레임 메모리(302)의 데이터량을 나타낸다. 그래프 702의 횡축은 버퍼메모리(304)의 데이터량을 나타낸다. 그래프 703은 화상출력부(305)에 있어서 출력 중인 프레임(필드)을 나타낸다.

그래프 701 중의 실선 704는 디코더부(301)로부터 프레임 메모리(302)로의 프레임 데이터의 공급량을 나타낸다. 점선 705는 프레임 메모리(302)로부터 수직필터부(303)로의 프레임 데이터의 공급량을 나타낸다.

그래프 702 중의 점선 706은 수직필터부(303)로부터 버퍼메모리(304)로의 첫 번째 필드축소화상의 공급량을 나타낸다. 일점쇄선 707은 수직필터부(303)로부터 버퍼메모리(304)로의 두번째 필드축소화상의 공급량을 나타낸다.

또한, 그래프 702 중의 실선 708은 버퍼메모리(304)로부터 화상출력부(305)로의 첫번째 필드축소화상 데이터의 공급상태를 나타낸다. 1/2 축소의 경우, 축소화상의 표시위치는 프레임의 상반부의 위치로부터 하반부의 위치까지 취할 수 있기 때문에, 도 20의 실선 709는 표시위치에 따라 타이밍이 다르다. 마찬가지로, 실선 709는 버퍼메모리(304)로부터 화상출력부(305)로의 두번째 필드축소화상 데이터의 공급상태를 나타낸다.

그래프 701에서 나타내는 바와 같이, 디코더부(301)로부터 프레임 메모리(302)로 n프레임의 프레임 데이터를 공급하는 것은 n-1 프레임의 두번째 필드의 프레임 메모리(302)로부터 수직필터부(303)로의 공급개시 직후에 개시하고, 프레임 메모리(302)로부터 수직필터부(303)로 n프레임의 프레임 데이터를 공급하는 것은 n프레임의 첫번째 필드의 프레임 메모리(302)로부터 수직필터부(303)로의 공급완료 직전까지 종료하도록 제어한다.

그래프 702에서 나타내는 바와 같이, 수직필터부(303)로부터 버퍼메모리(304)로 n프레임의 첫번째 필드의 프레임 데이터를 공급하는 것은 n-1프레임의 두번째 필드표시 중에 완료하도록 제어하고, n프레임의 두번째 필드의 프레임 데이터의 공급은 n프레임의 첫번째 필드표시 중에 완료하도록 제어한다.

이와 같이 장치를 제어함으로써, 디코더부(301)로부터 프레임 메모리(302) 사이는 2V의 기간에 1프레임의 프레임 데이터를 전송하는 능력이 있으면 충분하다. 프레임 메모리(302)로부터 수직필터부(303) 사이는 1V의 기간에 1/2 프레임의 프레임 데이터를 전송하는 능력이 있으면 충분하다. 디코더부(301)는 2V의 기간에 1프레임의 프레임 데이터를 생성하는 연산능력, 수직필터부(303)는 1V의 기간에 1/2 프레임의 프레임 데이터를 필터처리하는 연산능력이 있으면 충분하다. 수직필터부(303)로부터 버퍼메모리(304) 사이는 1V의 기간에 1/4 프레임의 프레임 데이터를 전송하는 능력이 있으면 충분하다. 버퍼메모리(304)로부터 화상출력부(305) 사이는 1V의 기간에 1/4 프레임의 프레임 데이터를 전송하는 능력이 있으면 충분하다. 프레임 메모리(302)는 프레임 데이터 1프레임을 유지하고, 버퍼메모리(304)는 프레임 데이터 1/2 프레임을 유지하는 용량이 있으면 충분하다.

다음에, 도 20과 대비하기 위해, 도 21에 버퍼메모리(304)를 구비하고 있지 않은 경우의 데이터 공급상태의 시간변화를 나타낸다.

축소처리를 행하지 않는 경우, 프레임 메모리(302)로의 n프레임의 디지털 화상데이터의 공급은 실선 506으로 나타내는 바와 같이, 점선 507로 나타내는 n-1 프레임의 두번째 필드의 수직필터부(303)로의 공급이 시작되었을 때부터 개시하고, 점선 508로 나타내는 n프레임의 첫번째 필드의 수직필터부(303)로의 공급이 완료되기 전에 종료한다. 그 때문에, 도 5의 그래프 상에서 나타내는 2V의 기간 동안에 1프레임의 디지털 화상데이터를 일정한 속도로 공급한다.

또한, n프레임의 첫번째 필드의 프레임 메모리(302)로부터 수직필터부(303)로 디지털 화상데이터를 공급하는 것은 점선 508로 나타내는 바와 같이, 실선 511이 나타내는 프레임 메모리(302)로의 n프레임의 디지털 화상데이터의 공급이 종료되는 직후에 완료되고, 계속해서 두번째 필드의 처리를 개시한다. 그 때문에, 프레임 메모리(302)로부터 수직필터부(303)로 디지털 화상데이터를 공급하는 것은 도 21의 그래프 상에서 나타내는 1V의 기간 동안에 1필드의 디지털 화상데이터를 일정한 속도로 공급된다.

그런데, 1/2 축소처리를 행하는 경우, 프레임 메모리(302)로의 n프레임의 디지털 화상데이터의 공급개시가 가능해지는 타이밍은 n-l 프레임의 두번째 필드의 표시위치에 따라 달라진다. n-1 프레임의 두번째 필드의 표시위치에 따라 프레임 메모리(302)로부터 수직필터부(303)로의 디지털 화상데이터의 공급은 점선 509부터 510 사이의 어딘가에서 행해지고, 프레임 메모리(302)로의 n프레임의 디지털 화상데이터의 공급개시가 가능해지는 타이밍이 시간적으로 가장 늦는 것은 점선 510으로 나타내는 표시위치의 경우이다. 이 경우, 1/2 축소화상은 화상출력부(501)의 하반부에 출력된다. 또한, 프레임 메모리(302)로의 n프레임의 디지털 화상데이터의 공급은 점선 511로 나타내는 n프레임의 첫번째 필드의 수직필터부(303)로의 공급이 완료되기 전에 종료되어 있어야 한다. 그 때문에, 도 21의 그래프 상에 나타내는 1V의 기간 동안에 1프레임의 디지털 화상데이터를 일정한 속도로 공급할 필요가 있어, 축소를 행하지 않는 경우에 비하여 2배의 공급능력이 필요하게 된다.

또한, n프레임의 첫번째 필드의 프레임 메모리(302)로부터 수직필터부(303)로의 디지털 화상데이터의 공급은 점선 511로 나타내는 바와 같이, 실선 512가 나타내는 프레임 메모리(302)로의 n프레임의 디지털 화상데이터의 공급이 종료된 직후에 완료되고, 계속해서 두번째 필드의 처리를 개시한다. 그 때문에, 도 5의 그래프 상에 나타내는 1/2V의 기간 동안에 1필드의 디지털 화상데이터를 일정한 속도로 공급할 필요가 있어, 축소를 행하지 않는 경우에 비하여 2배의 공급능력이 필요하게 된다. 수직필터부(303)도 공급되는 디지털 화상데이터에 알맞는 성능이 요구되기 때문에, 축소를 행하지 않은 경우에 비하여 2배의 연산능력이 필요하게 된다.

또, 도 23은 도 20과 대비하기 위해, 버퍼메모리(304)를 구비하고 있지 않은 경우로서, 1/4 축소처리를 행하는 경우의 데이터공급상태의 시간변화를 나타낸다.

1/4 축소처리를 행하는 경우의 그래프를 도 23에 나타낸다. 상기와 같은 이유 때문에, 프레임 메모리(302)로의 디지털 화상데이터의 공급능력, 프레임 메모리(302)로부터 수직필터부(303)로의 공급능력, 수직필터부의 연산능력은 각각 축소처리를 행하지 않은 경우의 4배가 필요하게 된다. 이와 같이, 버퍼메모리(304)를 구비하지 않는 경우는, 축소율이 상승하면 필요한 피크성능도 커진다.

< 3.1.2 1/4 축소 >

도 22는 도 19에 나타낸 미디어 프로세서에서 1/4 축소를 행하는 경우의 각부의 데이터 공급상태와 그 시간변화를 나타내는 도면이다.

도 22에 있어서, 그래프의 횡축, 종축은 도 20과 같다.

그래프 상의 실선 804는 디코더부(301)로부터 프레임 메모리(302)로의 프레임 데이터의 공급상태를 나타낸다. 그래프 상의 점선 805는 프레임 메모리(302)로부터 수직필터부(303)로의 프레임 데이터의 공급상태를 나타낸다. 그래프 상의 점선 806은 수직필터부(303)로부터 버퍼메모리(304)로의 첫번째 필드축소 화상데이터의 공급상태를 나타낸다. 그래프 상의 점선 807은 수직필터부(303)로부터 버퍼메모리(304)로의 두번째 필드축소 화상데이터의 공급상태를 나타낸다. 그래프 상의 실선 808은 버퍼메모리(304)로부터 화상출력부(305)로의 첫번째 필드축소 화상데이터의 공급상태를 나타낸다. 그래프 상의 실선 809는 버퍼메모리(304)로부터 화상출력부(305)로의 두번째 필드축소 화상데이터의 공급상태를 나타낸다.

도 22에 나타내는 바와 같이, 디코더부(301)로부터 프레임 메모리(302) 사이는 2V의 기간에 1프레임의 프레임 데이터를 전송하는 능력이 있으면 충분하다. 프레임 메모리(302)로부터 수직필터부(303) 사이는 1V의 기간에 1/2 프레임의 프레임 데이터를 전송하는 능력이 있으면 충분하다. 디코더부(301)는 2V의 기간에 1프레임의 프레임 데이터를 생성하는 연산능력이 있으면 충분하다. 수직필터부(303)는 1V의 기간에 1/2 프레임의 프레임 데이터를 필터처리하는 연산능력, 수직필터부(303)로부터 버퍼메모리(304) 사이는 1V의 기간에 1/8 프레임의 프레임 데이터 전송능력, 버퍼메모리(304)로부터 화상출력부(305) 사이는 1V의 기간에 1/8 프레임의 프레임 데이터 전송능력이 있으면 충분하다. 프레임 데이터 1프레임을 유지할 수 있는 프레임 메모리(302), 프레임 데이터 1/4 프레임을 유지할 수 있는 버퍼메모리(304)가 각각 필요하게 된다.

이들의 각 필요성능은 최단이라도 1V의 기간에서의 평균의 능력이고, 축소율이 커지더라도 짧은 기간에 큰 피크성능이 요구되지 않는다. 또한, 가장 처리성능을 필요로 하는 것이 축소가 없는 경우이다. 이 경우, 디코더부(301)로부터 프레임 메모리(302) 사이는 2V의 기간에 1프레임의 프레임 데이터 전송능력으로 충분하다. 프레임 메모리(302)부터 수직필터부(303) 사이는 1V의 기간에 1/2 프레임의 프레임 데이터 전송능력으로 충분하다. 디코더부(301)는 2V의 기간에 1프레임의 프레임 데이터를 생성하는 연산능력으로 충분하다. 수직필터부(303)는 1V의 기간에 1/2 프레임의 프레임 데이터를 필터처리하는 연산능력으로 충분하다. 수직필터부(303)로부터 버퍼메모리(304) 사이는 1V의 기간에 1/2 프레임의 프레임 데이터 전송능력으로 충분하다. 버퍼메모리(304)로부터 화상출력부(305) 사이는 1V의 기간에 1/2 프레임의 프레임 데이터 전송능력으로 충분하다. 프레임 메모리(302)는 프레임 데이터 1 프레임을 유지할 수 있고, 버퍼메모리(304)는 프레임 데이터 1프레임을 유지할 수 있으면 된다. 이 능력으로 모든 수직축소처리를 행할 수 있다. 이로 인하여, 회로 규모를 줄여 동작 클록을 내릴 수 있다.

< 3.2 수직필터처리(2) >

도 24는 미디어 프로세서에서 수직필터처리를 행하는 경우의 데이터의 흐름을 나타낸 모식적인 블록도이다.

도 24는 디코드부(401), 버퍼메모리(402), 수직필터부(403), 버퍼메모리 (404), 영상출력부(405), 제어부(406)로 이루어진다. 도 24는 도 19와 비교하여, 디코드부(401), 수직필터부(403), 버퍼메모리(404), 영상출력부(405)는 같은 용어의 구성요소와 동일하다. 따라서, 같은 점은 설명을 생략하고, 다른 점을 중심으로설명한다.

버퍼메모리(402)는 1프레임분의 기억용량보다 적은 용량으로 된다는 점에서 프레임 메모리(302)와는 다르다.

수직필터부(403)는 수직방향의 64라인(처리 전의 프레임 중의 4매크로블록라인)의 필터처리를 끝낼 때마다 제어부(406)에 그 취지(필터상태)를 통지하는 점에서 수직필터부(303)와 다르다. 또, 통지의 단위는 매크로블록라인 2∼3단위로 해도 된다.

디코드부(401)는 64라인단위의 디코드를 끝낼 때마다 제어부(406)에 그 취지(디코드상태)를 통지하는 점에서 디코드부(301)와 다르다. 또, 통지의 단위는 16라인단위라도 된다.

제어부(406)는 도 2 중의 I0P(211)에 상당하고, 디코드부(401)와 수직필터부(403)의 동작상태를 각각으로부터의 통지에 기초하여 감시하고, 수직필터처리가 디코드처리를 넘지 않도록, 또한 디코드처리가 수직필터처리를 추월하지 않도록 디코드부(401) 및 수직필터부(403)를 제어한다. 즉, 제어부(406)는 다음 두가지를 제어한다. 하나는, 필터처리의 대상이 되는 매크로블록라인의 화소데이터군을 디코드부(401)가 버퍼메모리(402)에 기입하고 있지 않은 데, 수직필터부(403)가 전의 프레임(또는 필드)의 매크로블록라인의 화소데이터군을 대상으로 필터처리를 행하는 것을 방지하는 것이다. 또 하나는, 수직필터부(403)가 수직필터처리의 대상이지만, 미처리된 매크로블록라인에 대하여, 디코드부(401)가 다음 프레임의 화소데이터군을 덧쓰기하는 것을 방지하는 것이다.

도 25는 제어부(406)에서의 제어내용을 나타내는 설명도이다.

도25의 횡축은 시간으로서, 제어부(406), VSYNC(수직동기신호), 디코드부(401), 수직필터부(403), 영상출력부(405)의 각 동작을 기록하고 있다.

도 25와 같이, 디코드부(401)는 64라인의 디코드를 끝낼 때마다 그 취지를 제어부(406)에 통지하고, 수직필터부(403)는 64라인의 필터처리를 끝낼 때마다 그 취지를 제어부(406)에 통지한다. 제어부(406)는 이들의 통지를 기초로, 디코드가 완료된 데이터번호 Nd와, 필터처리가 완료된 라인번호 Nf를 유지 및 갱신하고, Nd(현재 프레임) > Nf(현재 프레임), Nd(다음 프레임) < Nf(현재 프레임)를 만족하도록 디코드부(401), 수직필터부(403)를 제어한다. 구체적으로는, 제어부(406)는 Nd와 Nf가 접근한 경우(그 차가 임계값 이하가 된 경우)에는 디코드부(401), 수직필터부(403)의 한쪽을 일시적으로 정지시킨다. 또, Nd, Nf는 매크로블록라인의 번호이어도 된다.

또한, Nd와 Nf가 접근한 경우에는, 제어부(406)의 제어에 의해 디코드부(401), 수직필터부(403)의 한쪽은 제어부(406)에 의해 일시적으로 정지되지만, Nd와 Nf가 접근하였는지의 여부의 판정 및 디코드부(401) 또는 수직필터부(403)를 일시적으로 정지시키는 제어는 제어부(406) 이외의 것이 담당하도록 구성해도 된다.

예를 들면, 수직필터부(403)가 디코드부(401)에 상기 필터상태의 통지를 행하도록 하고, 디코드부(401)는 필터상태의 통지와 내부의 디코드상태에 따라 Nd와 Nf가 접근하였는지의 여부를 판정하고, 판정결과에 따라 디코드동작을 일시적으로정지하고 또는 수직필터부(403)를 일시적으로 정지시키는 구성으로 해도 된다.

또는 반대로, 디코드부(401)가 수직필터부(403)에 상기 디코드상태의 통지를 행하도록 하고, 수직필터부(403)는 디코드상태의 통지와 내부의 필터상태에 따라 Nd와 Nf가 접근하였는지의 여부를 판정하고, 판정결과에 따라 필터처리를 일시적으로 정지 또는 디코드부(401)를 일시적으로 정지시키는 구성으로 해도 된다.

< 3.2.1 1/2 축소 >

도 26은 도 24에 있어서 1/2 축소처리를 행하는 경우의 각 부의 공급데이터량을 나타내는 도면이다.

그래프 901의 횡축은 버퍼메모리(402) 상의 프레임 데이터량을 나타내고, 종축은 시간을 나타낸다. 그래프 902의 횡축은 버퍼메모리(404) 상의 프레임 데이터량을 나타내고, 종축은 시간을 나타낸다. 그래프 903은 화상출력부(405)의 상태를 시계열 상에 나열한 것이며, 시간축은 그래프 901, 902의 종축과 만난다.

그래프 상의 실선 904는 디코더부(401)로부터 버퍼메모리(402)로의 프레임 데이터의 공급상태를 나타낸다. 그래프 상의 점선 905는 버퍼메모리(402)로부터 수직필터부(403)로의 프레임 데이터의 공급상태를 나타낸다. 그래프 상의 점선 906은 수직필터부(403)로부터 버퍼메모리(404)로의 첫번째 필드축소화상 데이터의 공급상태를 나타낸다. 그래프 상의 점선 907은 수직필터부(403)로부터 버퍼메모리(404)로의 두번째 필드축소화상 데이터의 공급상태를 나타낸다. 그래프 상의 실선 908은 버퍼메모리(404)로부터 화상출력부(405)로의 첫번째 필드축소 화상데이터의 공급상태를 나타낸다. 그래프 상의 실선 909는 버퍼메모리(404)로부터 화상출력부(405)로의 두번째 필드축소화상 데이터의 공급상태를 나타낸다.

그래프 901에서 나타내는 바와 같이, 디코더부(401)로부터 버퍼메모리(402)로의 n프레임의 프레임 데이터의 공급이 개시된 직후에, 버퍼메모리(402)로부터 수직필터부(403)로의 n프레임의 프레임 데이터의 공급을 개시하고, 디코더부(401)로부터 버퍼메모리(402)로의 n프레임의 프레임 데이터의 공급이 종료된 직후에, 버퍼메모리(402)로부터 수직필터부(403)로의 n프레임의 프레임 데이터의 공급이 종료되도록 제어한다. 그래프 902에서 나타내는 바와 같이, 수직필터부(403)로부터 버퍼메모리(404)로의 n프레임의 프레임 데이터의 공급은 n-1 프레임 표시 중에 완료하도록 제어한다.

이와 같이 장치를 제어함으로써, 디코더부(401)로부터 버퍼메모리(402) 사이는 2V의 기간에 1프레임의 프레임 데이터 전송능력, 버퍼메모리(402)로부터 수직필터부(403) 사이는 2V의 기간에 1프레임의 프레임 데이터 전송능력, 디코더부(401)는 2V의 기간에 1프레임의 프레임 데이터를 생성하는 연산능력, 수직필터부(403)는 2V의 기간에 1프레임의 프레임 데이터를 필터처리하는 연산능력, 수직필터부(403)로부터 버퍼메모리(404) 사이는 2V의 기간에 1/2 프레임의 프레임 데이터 전송능력, 버퍼메모리(404)로부터 화상출력부(405) 사이는 1V의 기간에 1/4 프레임의 프레임 데이터 전송능력, 수라인분의 프레임 데이터를 유지할 수 있는 버퍼메모리(402), 프레임 데이터 1프레임을 유지할 수 있는 버퍼메모리(404)가 각각 필요하게 된다.

< 3.2.2 1/4 축소 >

도 27은 도 24에 있어서 1/4 축소를 행한 경우의 각 부의 데이터 공급량을 나타내는 도면이다.

그래프 1001의 횡축은 버퍼메모리(402) 상의 프레임 데이터량을 나타내고, 종축은 시간을 나타낸다. 그래프 1002의 횡축은 버퍼메모리(404) 상의 프레임 데이터량을 나타내고, 종축은 시간을 나타낸다. 그래프 1003은 화상출력부(405)의 상태를 시계열 상에 나열한 것이며, 시간축은 그래프 1001, 1002의 종축과 만난다.

그래프 상의 실선 1004는 디코더부(401)로부터 버퍼메모리(402)로의 프레임 데이터의 공급상태를 나타낸다. 그래프 상의 점선 1005는 버퍼메모리(402)로부터 수직필터부(403)로의 프레임 데이터의 공급상태를 나타낸다. 그래프 상의 점선 1006은 수직필터부(403)로부터 버퍼메모리(404)로의 첫번째 필드축소화상 데이터의 공급상태를 나타낸다. 그래프 상의 점선 1007은 수직필터부(403)로부터 버퍼메모리(404)로의 두번째 필드축소화상 데이터의 공급상태를 나타낸다. 그래프 상의 실선 1008은 버퍼메모리(404)로부터 화상출력부(405)로의 첫번째 필드축소화상 데이터의 공급상태를 나타낸다. 그래프 상의 실선 1009는 버퍼메모리(404)로부터 화상출력부(405)로의 두번째 필드축소화상 데이터의 공급상태를 나타낸다.

이와 같이 장치를 제어함으로써, 디코더부(401)로부터 버퍼메모리(402) 사이는 2V의 기간에 1프레임의 프레임 데이터 전송능력으로 충분하고, 버퍼메모리(402)로부터 수직필터부(403) 사이는 2V의 기간에 1프레임의 프레임 데이터 전송능력으로 충분하며, 디코더부(401)는 2V의 기간에 1프레임의 프레임 데이터를 생성하는 연산능력으로 충분하고, 수직필터부(403)는 2V의 기간에 1프레임의 프레임 데이터를 필터처리하는 연산능력으로 충분하고, 수직필터부(403)로부터 버퍼메모리(404) 사이는 2V의 기간에 1/4 프레임의 프레임 데이터 전송능력으로 충분하고, 버퍼메모리(404)로부터 화상출력부(405) 사이는 1V의 기간에 1/8 프레임의 프레임 데이터 전송능력으로 충분하다. 버퍼메모리(402)는 수라인분의 프레임 데이터를 유지할 수 있고, 버퍼메모리(404)는 프레임 데이터 1/2 프레임을 유지할 수 있으면 충분하다.

이들의 각 필요성능은 최단이라도 1V의 기간에서의 평균의 능력이고, 축소율이 짧은 기간에서 큰 피크성능이 요구되는 일이 없다.

또한, 가장 처리성능을 필요로 하는 것이 축소가 없는 경우이고, 그 경우에 요구되는 것이 디코더부(401)로부터 버퍼메모리(402) 사이는 2V의 기간에 1프레임의 프레임 데이터 전송능력, 버퍼메모리(402)로부터 수직필터부(403) 사이는 2V의 기간에 1프레임의 프레임 데이터 전송능력, 디코더부(401)는 2V의 기간에 1프레임의 프레임 데이터를 생성하는 연산능력, 수직필터부(403)는 2V의 기간에 1프레임의 프레임 데이터를 필터처리하는 연산능력, 수직필터부(403)로부터 버퍼메모리(404) 사이는 2V의 기간에 1프레임의 프레임 데이터 전송능력, 버퍼메모리(404)로부터 화상출력부(405) 사이는 1V의 기간에 1/2 프레임의 프레임 데이터 전송능력, 수라인분의 프레임 데이터를 유지할 수 있는 버퍼메모리(402), 프레임 데이터 2프레임을 유지할 수 있는 버퍼메모리(404)이고, 이 능력으로 모든 수직축소처리를 행할 수 있다. 이로 인하여, 회로규모를 줄여, 동작 클록을 내릴 수 있다.

< 4. 변형예 >

도 28, 도 29는 화소병렬처리부의 좌반부, 우반부의 제 1 변형예를 나타내는도면이다. 이들의 도면은 도 3, 도 4에 대하여 같은 구성요소에는 같은 부호를 붙이고 있으므로 설명을 생략하고, 다른 점을 중심으로 설명한다.

도 28, 도 29는 도 3, 도 4의 화소처리부(1∼16) 대신에 화소처리부(1a∼16a)를 구비하고, 화소전송부(17, 18) 대신에 화소전송부(17a, 18b)를 구비한다. 화소처리부(1a∼16a)는 모두 같은 구성이므로, 화소처리부(1a)를 대표하여 설명한다.

화소처리부(1a)는 화소처리부(1)에서의 선택부(A104, B105) 대신에 선택부 (A104a, B105a)를 구비한다.

선택부(A104a)는 선택부(A104)와 비교하면, 2입력에서 3입력으로 되어 있는 점이 다르다. 즉, 선택부(A104a)는 2개의 이웃하는 화소전송부(또는 화소처리부)의 지연기(지연기 B)로부터 화소데이터 입력이 증가하고 있다.

선택부(B105a)는 마찬가지로 2개의 이웃하는 화소전송부(또는 화소처리부)의 지연기(지연기 B)의 화소데이터 입력이 증가하고 있다.

또한, 화소전송부(17a)는 선택부(B1703∼G1708) 대신에 선택부(B1703a∼ G1708a)를 구비한다. 선택부(B1703a∼G1708a)는 각각 2입력이 아니라 3입력으로 되어 있다. 증가하고 있는 입력은 2개 좌측의 지연기로부터의 화소데이터 입력이다.

또한, 화소전송부(18a)는 선택부(B1803∼G1808) 대신에 선택부(B1803a∼ G1808a)를 구비한다. 선택부(B1803a∼G1808a)는 각각 2입력이 아니라 3입력으로 되어 있다. 증가하고 있는 입력은 2개 우측의 지연기로부터의 화소데이터 입력이다.

이 구성에 의하면, 처리대상의 화소와, 그 화소로부터 좌우에 2개 이웃하는 화소를 차례로 이용한 필터처리를 행할 수 있다.

예를 들면, 화소처리부(1a)에서는 다음 식 등을 연산할 수 있다.

a0 ·X9 + a1(X11 + X7) + a2(X13 + X5) + a3(X15 + X3)

도 30, 도 31은 화소병렬처리부의 좌반부, 우반부의 제 2 변형예를 나타내는 도면이다.

도 30, 도 31은 도 3, 도 4의 화소처리부(1)와 화소처리부(16) 대신에 화소처리부(1b)와 화소처리부(16b)를 구비한다.

화소처리부(1b)는 화소처리부(1)에서의 선택부(B105) 대신에 선택부(b105b)를 구비한다. 선택부(B105b)는 지연기(B107)로부터의 피드백 입력을 갖고 있는 점에서 선택부(B105)와 다르다.

화소처리부(16b)는 화소처리부(16)에서의 선택부(A1604) 대신에 선택부(A1604b)를 구비한다. 선택부(A1604b)는 지연기(A1606)로부터의 피드백 입력을 갖고 있는 점에서 선택부(A1604)와 다르다.

이 구성에 의하면, 화소처리부(1b)는 예를 들어, 다음 연산을 행한다.

a3 * X6 + a2 * X7 + a1 * X8 + a0 * X9 + a1 * X10 + a2 * X11 + a3 * X12

이 때, 화소처리부(2)의 출력은 다음과 같이 된다.

a3 * X20 + a2 * X21 + a1 * X22 + a0 * X23 + a1 *X24 + a2 * X24 + a3 * X24

이 때, 화소처리부(16b)의 출력은 다음과 같이 된다.

a3 * X21 + a2 * X22 + a1 * X23 + a0 * X24 + a1 * X24 + a2 * X24 + a3 * X24

이와 같이, 도 30, 도 31에서는 좌단의 화소처리부(lb)에 데이터열의 좌단의 화소데이터가 전송된 경우에, 선택부(B105b)는 화소처리부(1b) 내의 지연기 B에서의 피드백 입력을 선택한다. 우단의 화소처리부(16b)에 데이터열의 우단의 화소데이터가 전송된 경우, 선택부(A1604b)는 지연기(A1606)로부터의 피드백 입력을 선택한다.

도 32, 도 33은 화소병렬처리부의 좌반부, 우반부의 제 2 변형예를 나타내는 도면이다.

도 32, 도 33은 도 3, 4의 화소처리부(1∼16) 대신에 화소처리부(1c∼16c)를 구비하고, 화소전송부(17, 18) 대신에 화소전송부(17c, 18c)를 구비한다. 화소처리부(1c∼ 16c)는 모두 같은 구성이므로, 화소처리부(1a)를 대표하여 설명한다.

화소처리부(1c)는 화소처리부(1)에서의 선택부(A104), 선택부(B105) 대신에 선택부(A104c), 선택부(B105c)를 구비한다.

선택부(A104c)는 선택부(A104)와 비교하면 2입력에서 3입력으로 되어 있는 점이 다르다. 즉, 선택부(A104c)는 2개 이웃하는 화소전송부(또는 화소처리부)의 지연기(지연기 B)의 화소데이터 입력이 증가하고 있다.

선택부(B105c)는 2개 이웃하는 화소전송부(또는 화소처리부)의 지연기(지연기 B)의 화소데이터 입력과, 지연기(B107)로부터의 피드백 입력이 증가하고 있다.

화소전송부(17c, 18c)는 도 28, 도 29에 나타낸 화소전송부(17a, 18a)와 마찬가지로 2입력이 아니라 3입력으로 되어 있다.

이 구성에 의하면, 화소처리부(1c)는 예를 들어, 다음 연산을 행한다.

a3 * X9 + a2 * X9 + a1 * X9 + a0 * X9 + a1 * X11 + a2 * X13 + a3 * X15

이 때, 화소처리부(2c)의 출력은 다음과 같이 된다.

a3 * X10 + a2 * X10 + a1 * X10 + a0 * X10 + a1 * X12 + a2 * X14 + a3 * X16

이 때, 화소처리부(15c)의 출력은 다음과 같이 된다.

a3 * X17 + a2 * X19 + a1 * X21 + a0 * X23 + a1 * X23 + a2 * X23 + a3 * X23

이 때, 화소처리부(16c)의 출력은 다음과 같이 된다.

a3 * X18 + a2 * X20 + a1 * X22 + a0 * X24 + a1 * X24 + a2 * X24 + a3 * X24

도 34는 POUA(207)의 변형예를 나타내는 도면이다.

도 34의 POUA(207)는 도 2와 비교하여 업 샘플링회로(22a)와 다운 샘플링회로(23a)가 추가되어 있다. 도 2와 같은 점은 설명을 생략하고, 다른 점을 중심으로 설명한다.

업 샘플링회로(22a)는 입력버퍼군(22)으로부터 입력되는 화소데이터군을 수직방향으로 확대한다. 예를 들어, 입력버퍼군(22)으로부터 입력되는 화소데이터군을 수직방향으로 2배로 하도록 화소데이터를 보간하기 위해, 입력버퍼군(22)으로부터의 화소데이터군의 입력 1회에 대하여, 같은 화소데이터군을 2회 화소병렬처리부(21)에 출력한다.

다운 샘플링회로(23a)는 화소병렬처리부(21)로부터 입력되는 화소데이터군을 수직방향으로 축소한다. 예를 들어, 화소병렬처리부(21)로부터 입력되는 화소데이터군을 수직방향으로 1/2배로 하도록 화소데이터를 정선한다. 즉, 화소병렬처리부 (21)로부터의 화소데이터군의 입력 2회에 대하여, 1회분을 파기하고 1회분을 출력한다.

이 구성에 의하면, 화소병렬처리부(21)의 입력측에서 수직방향으로 2배, 출력측에서 수직방향으로 1/2배 하므로, 외부 메모리(220)에서의 1프레임당 데이터량을 수직방향으로 1/2로 할 수 있고, 그 결과, POUC(209)에 의한 POUA(207)로의 데이터 전송량을 1/2로 할 수 있다. 이로 인하여, 듀얼포트 메모리(100)의 내부포트로의 액세스가 집중하는 경우에 버스 병목현상을 해소할 수 있다.

본 발명의 화소연산장치는 화상의 리사이즈 등을 행하는 필터링처리를 복수화소에 대하여 병렬로 행하므로, 동화상의 압축처리/신장처리, 리사이즈 등을 취급하는 미디어 프로세서 등의 디지털 영상기기에 이용된다.

Claims

필터처리를 행하는 화소연산장치에 있어서,

N개의 화소처리수단과,

N개의 화소데이터 및 필터계수를 공급하는 공급수단과,

N개의 화소처리수단을 병렬로 동작시키는 제어수단을 구비하며,

각 화소처리수단은 공급수단에 공급된 화소데이터와 필터계수를 이용하여 연산한 후, 각 화소처리수단에 대하여 인접하는 화소처리수단으로부터 화소데이터를 취득하고, 취득한 화소데이터를 이용하여 연산하여 연산결과를 누적하고,

상기 제어수단은 인접하는 화소처리수단으로부터의 화소데이터의 취득과, 취득한 화소데이터를 이용한 연산 및 누적을 반복하도록 N개의 화소처리수단을 제어하는 것을 특징으로 하는 화소연산장치.
제 1항에 있어서,

상기 N개의 화소처리수단은 N개의 화소데이터를 우측으로 시프트하는 제 1 시프터와, N개의 화소데이터를 좌측으로 시프트하는 제 2 시프터를 형성하고,

각 화소처리수단은 인접하는 2개의 화소처리수단으로부터 시프트아웃되는 2개의 화소데이터를 이용하여 연산하는 것을 특징으로 하는 화소처리장치.
연속하는 N개의 화소에 대응하는 N개의 화소처리부와,

N개의 화소데이터를 N개의 화소처리부에 공급하는 제 1 공급수단과,

필터계수를 N개의 화소처리부에 공급하는 제 2 공급수단을 구비하며,

필터처리의 탭수를 지정하는 수단과,

각 화소처리부는,

다른 화소처리부로부터 화소데이터를 취득하는 취득수단과,

화소데이터와 제 2 공급수단에 공급되는 필터계수를 연산하는 연산수단과,

연산수단에 의한 연산결과를 누적하는 누적수단과,

제 1 공급수단으로부터 공급되는 화소데이터와 제 2 공급수단으로부터 공급되는 필터계수를 이용하여 연산수단에 연산시킨 후, 취득수단에 의한 취득과 취득된 화소데이터와 필터계수를 이용한 연산과 누적수단에 의한 누적을 지정된 탭수에 따른 횟수 실행시키는 제어수단을 구비하는 것을 특징으로 하는 화소처리장치.
연속하는 복수 화소에 대응하는 복수의 화소처리부와,

상기 복수 화소의 화소데이터를 복수의 화소처리부에 공급하는 제 1 공급수단과,

필터계수를 각 화소처리부에 공급하는 제 2 공급수단을 구비하며,

각 화소처리부는,

다른 화소처리부로부터 화소데이터를 취득하는 취득수단과,

화소데이터와 제 2 공급수단에 공급되는 필터계수를 연산하는 연산수단과,

연산수단에 의한 연산결과를 누적하는 누적수단과,

취득수단, 연산수단, 누적수단에 필터처리를 실행시키는 제어와, 제 1 공급수단으로부터 복호대상 프레임의 복수의 화소데이터와 그것에 대응하는 차분화소데이터가 공급된 경우의 연산수단에 동작보상처리를 실행시키는 제어를 전환하는 제어수단을 구비하는 것을 특징으로 하는 화소처리장치.
복수의 화소데이터에 대응하는 복수의 화소처리수단과,

복수의 화소데이터를 화소연산회로에 공급하는 공급수단을 구비하며,

상기의 화소처리수단의 각각은,

공급수단으로부터의 화소데이터와, 제 1 화소처리수단에 출력되는 화소데이터로부터 화소데이터를 선택하는 화소셀렉터와,

선택된 화소데이터를 유지하고, 제 2 화소처리수단에 출력하는 유지회로와,

유지된 화소데이터에 대하여 연산을 행하는 연산회로를 갖는 것을 특징으로 하는 화소처리회로.