KR19990051709A

KR19990051709A - NTS video video resolution conversion system

Info

Publication number: KR19990051709A
Application number: KR1019970071077A
Authority: KR
Inventors: 최장식; 민병기; 천대녕
Original assignee: 정선종; 한국전자통신연구원
Priority date: 1997-12-19
Filing date: 1997-12-19
Publication date: 1999-07-05

Abstract

H.263 표준은 영상회의 및 저 전송율을 위한 비디오 압축 표준이다. H.263의 표준 처리 화면 포맷은 5개로 화면의 픽셀과 라인 정보에 따라 Sub-QCIF, QCIF, CIF, 4CIF, 16CIF를 지원한다.The H.263 standard is a video compression standard for video conferencing and low data rates. There are five standard H.263 processing picture formats that support Sub-QCIF, QCIF, CIF, 4CIF, and 16CIF, depending on the pixel and line information on the screen.

본 발명은 H.263 표준에서 처리하는 각 해상도를 지원하기 위해 CCIR601, CCIR656의 NTSC 영상 포맷을 해석하고, 원래의 입력 이미지에 대해 필터 연산을 수행시켜 화질을 보존하면서 CIF/QCIF/Sub-QCIF의 축소된 화면을 생성하며, 생성한 값의 외부 프레임 메모리로의 입출력을 제어하는 직접 메모리 엑세스(DMA) 제어기를 포함하는 엔티에스씨(NTSC) 영상 비디오의 해상도 변환 시스템에 관한 것이다.The present invention interprets the NTSC video formats of CCIR601 and CCIR656 to support each resolution processed by the H.263 standard, performs filter operation on the original input image, and preserves the image quality while preserving the image quality of CIF / QCIF / Sub-QCIF. The present invention relates to a system for converting a resolution of NTSC image video including a direct memory access (DMA) controller for generating a reduced screen and controlling input / output of the generated value to an external frame memory.

또한, 필터는 입력 픽셀의 각 위치에 해당하는 필터 계수를 곱해서 그 합을 구한 후 필터 계수의 합으로 제산한다. 이 필터는 해상도 변환 후에 생기는 화질 저하를 최소로 하기 위한 것으로 구현시 많은 하드웨어를 필요로 한다. 그러나, 본 발명은 적은 하드웨어를 사용한 필터를 구현하고자 한다.In addition, the filter multiplies the sum of the filter coefficients corresponding to each position of the input pixel, obtains a sum thereof, and divides the sum by the sum of the filter coefficients. This filter is intended to minimize image degradation after resolution conversion and requires a lot of hardware in the implementation. However, the present invention seeks to implement a filter using less hardware.

Description

NTS video video resolution conversion system

영상 데이터는 저장 및 전송하기에 그 양이 너무 크다. 이런 문제를 해결하기 위해서 영상의 압축을 수행한다. H.263 표준은 영상회의 및 저 전송율을 위한 비디오 압축 표준이다. H.263의 표준 처리 화면 포맷은 5개로 화면의 픽셀과 라인 정보에 따라 Sub-QCIF, QCIF, CIF, 4CIF, 16CIF를 지원한다. 영상을 압축하기 위해서는 입력 영상이 존재해야 한다. 입력 영상의 형태는 다양하며, 이들 영상의 포맷을 분석하여 실제 유효 영상을 얻는 회로들은 이미 많이 존재한다. 그러나 입력 영상과 H.263이 처리해야 하는 화면이 차이가 나서 중간의 변환 회로가 없이 당장 사용할 수 없다. 일반적으로 입력 화면이 처리 화면보다 커서 축소가 불가피하다. 축소시 가장 일반적인 방법은 서브샘플링을 통해 처리 화면의 픽셀 수만큼 입력 화면에서 임의로 선택하는 것이다. 그러나 이 방법은 심각한 화질 저하를 초래하여 사용할 수가 없다. 그래서 나온 것이 경계면에서 화질 저하를 최소화하도록 필터처리를 하는 것이다. 필터 처리는 해당 픽셀의 인접 픽셀들의 정보를 이용해서 새로운 픽셀 값을 얻는 과정이다. 필터 처리를 위해 필터 탭이 적용된다. 필터 탭은 가중치로 구성된다. 필터 탭의 수는 몇 개의 인접 픽셀을 참조하는 가를 의미한다. 탭의 수가 많을수록 참조되는 픽셀의 수가 많아진다. 필터의 처리는 필터 탭의 가중치와 입력 영상의 픽셀을 곱해서 그 합을 구한 후 필터 가중치의 합으로 제산한다. 따라서 필터 탭의 수가 증가할수록 하드웨어가 증가한다. 또한 입력 영상은 Y, Cr, Cb의 세 성분으로 구성되어 필터 처리가 각 성분에 대해 모두 이루어져야 한다. 따라서 일반적인 경우로 구현을 하면 각 성분별 경로에 필터가 필요하다는 것이다. 그리고 화면을 변환하는 과정에서 수평뿐만 아니라 수직 방향에 대해서도 필터 처리를 해야 한다. 이와 같은 모든 경우에 대해 처리를 하기 위해서는 많은 필터 관련 하드웨어가 필요하다. 또한 필터 처리에 포함되는 승산 연산은 많은 하드웨어를 차지해서, 보다 하드웨어 측면에서 효율적인 필터 설계가 필수적이다.Image data is too large for storage and transmission. In order to solve this problem, image compression is performed. The H.263 standard is a video compression standard for video conferencing and low data rates. There are five standard H.263 processing picture formats that support Sub-QCIF, QCIF, CIF, 4CIF, and 16CIF, depending on the pixel and line information on the screen. In order to compress an image, an input image must exist. There are many types of input images, and there are already many circuits for analyzing the format of these images to obtain a real valid image. However, there is a difference between the input image and the screen that H.263 has to process, so it cannot be used immediately without an intermediate conversion circuit. In general, it is inevitable that the input screen is larger than the processing screen. The most common method of reduction is to randomly select the input screen by the number of pixels of the processing screen through subsampling. However, this method causes severe image quality degradation and cannot be used. The result is a filter process that minimizes image degradation at the interface. Filter processing is a process of obtaining a new pixel value by using information of neighboring pixels of the pixel. The Filter tab is applied for filter processing. The filter tap consists of weights. The number of filter taps means how many adjacent pixels are referenced. The greater the number of tabs, the greater the number of pixels referenced. The filter process multiplies the weights of the filter taps by the pixels of the input image, obtains the sum, and divides them by the sum of the filter weights. Therefore, the hardware increases as the number of filter taps increases. In addition, the input image is composed of three components, Y, Cr, and Cb, so that filter processing must be performed for each component. Therefore, in a general case, the implementation requires a filter for each component path. In the process of converting the screen, it is necessary to filter not only the horizontal but also the vertical direction. All of these cases require a lot of filter-related hardware to process. In addition, the multiplication operation included in the filter process occupies a lot of hardware, so it is necessary to design an efficient filter in terms of hardware.

본 발명은 H.263 표준에서 처리하는 Sub-QCIF, QCIF, CIF 화면 크기를 생성하기 위한 회로로 CCIR656, CCIR601의 영상 인터페이스를 지원하고, 화질 저하를 최소로 하는 필터 구현에 있어 최소의 하드웨어를 사용하는 엔티에스씨(NTSC) 영상 비디오의 해상도 변환 시스템을 제공하는 데 그 목적이 있다.The present invention supports the video interface of CCIR656 and CCIR601 as a circuit for generating Sub-QCIF, QCIF, and CIF screen sizes processed by the H.263 standard, and uses the minimum hardware to implement a filter that minimizes image degradation. The purpose is to provide a resolution conversion system of NTSC video video.

상술한 목적을 달성하기 위한 본 발명은 CCIR601과 CCIR656 포맷의 입력에 대해 H.263이 원하는 컬러 해상도를 제공해 주기 위한 영상인터페이스와, 상기 영상인터페이스로부터 출력되는 컬러 해상도에 대해 화면 해상도 변환을 위한 필터연산 및 서브샘플링을 수행하는 화도필터 및 휘도필터와, 상기 H.263의 외부 에스디램(SDRAM)과. 수평/수직 필터 처리된 결과의 쓰기 동작과 수직 필터연산을 위한 수평 필터 처리된 결과의 읽기 동작을 위한 직접 메모리 엑세스 제어기(MDA)와, 상기 직접 메모리 엑세스 제어기를 통해 한 패킷의 정보를 보내기 위한 순서를 기다리기 위해 임시로 저장되는 선입선출기(FIFO) 모듈과, 픽셀 처리기의 제어 및 상태 정보를 저장하는 레지스터 블럭과, 수직 필터 연산을 위해 7개의 라인이 저장되는 2-포트 메모리와, 상기 2-포트 메모리의 입출력을 제어하기 위한 메모리 제어기를 포함하여 구성된 것을 특징으로 한다.In order to achieve the above object, the present invention provides an image interface for providing a color resolution desired by H.263 for input of CCIR601 and CCIR656 formats, and a filter operation for converting the screen resolution for the color resolution output from the image interface. And a luminance filter and a luminance filter for performing subsampling, and an external SDRAM of H.263. Direct memory access controller (MDA) for write operation of horizontal / vertical filtered result and read operation of horizontal filter result for vertical filter operation, and sequence for sending information of one packet through the direct memory access controller A first-in first-out (FIFO) module that is temporarily stored to wait for a call, a register block that stores control and status information of the pixel processor, a 2-port memory that stores seven lines for vertical filter operations, and the 2- And a memory controller for controlling input and output of the port memory.

도 1은 본 발명에 따른 엔티에스씨(NTSC) 영상 비디오의 해상도 변환 시스템의 구조도.1 is a structural diagram of a resolution conversion system of NTSC video video according to the present invention.

도 2는 종래의 필터의 하드웨어 구조도.2 is a hardware structure diagram of a conventional filter.

도 3은 본 발명에 따른 필터의 데이터 흐름도.3 is a data flow diagram of a filter according to the present invention.

도 4는 본 발명에 따른 필터의 하드웨어 구조도.4 is a hardware structural diagram of a filter according to the present invention;

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for main parts of the drawings>

1: 영상인터페이스 2: 화도 필터1: Image interface 2: Picture filter

3: 휘도 필터 4: 선입선출기 모듈3: luminance filter 4: first-in, first-out module

5: 직접 메모리 엑세스 제어기 6: 외부 에스디램5: direct memory access controller 6: external SDRAM

7: 메모리 제어기 8: 2-포트 메모리7: Memory controller 8: 2-port memory

9: 레지스터 블럭 10: H.23 소스 코더 내부블럭9: Register block 10: H.23 source coder internal block

도 1은 본 발명에 따른 엔티에스씨(NTSC) 영상 비디오의 해상도 변환 시스템의 구조도 이다.1 is a structural diagram of a resolution conversion system of NTSC video video according to the present invention.

H.263이 원하는 해상도를 제공해 주기 위해 CCIR601과 CCIR656 포맷의 입력에 대한 영상인터페이스(1), 화면 해상도 변환을 위해 필터연산 및 서브샘플링을 수행하는 화도필터(2) 및 휘도 필터(3), H.263의 외부 에스디램(이하, SDRAM 이라 함)과 수평/수직 필터 처리된 결과의 쓰기 동작과 수직 필터연산을 위한 수평 필터 처리된 결과의 읽기 동작을 위한 직접 메모리 엑세스(이하, DMA 이라 함) 제어기(5), DMA 제어기(5)를 통해 한 패킷의 정보를 보내기 위해 순서를 기다리기 위해 임시로 저장되는 선입선출기(이하, FIFO 라 함) 모듈(4), 픽셀 처리기의 제어 및 상태 정보를 저장하는 레지스터 블럭(9), 수직 필터 연산을 위해 7개의 라인이 저장되는 2-포트 메모리(8), 2-포트 메모리의 입출력을 제어하기 위한 메모리 제어기(7)로 구성된다.Image interface (1) for inputs in CCIR601 and CCIR656 formats, H.263 filter (2) and luminance filter (3), performing filter operation and subsampling for screen resolution conversion, to provide the desired resolution. Direct memory access (hereinafter referred to as DMA) for writing of external .263 external SDRAM (hereinafter referred to as SDRAM) and horizontal / vertical filtered result write operations and horizontal filtered result read operations for vertical filter operations. The controller 5, the first-in, first-out (hereinafter referred to as FIFO) module 4, which is temporarily stored to wait for the order to send the information of one packet through the DMA controller 5, the control and status information of the pixel processor A register block 9 for storing, a 2-port memory 8 for storing seven lines for vertical filter operation, and a memory controller 7 for controlling input and output of the 2-port memory.

픽셀의 처리 과정은 수평모드와 수직모드로 구분된다. 수평모드에서는 한 라인을 구성하는 픽셀들에 대해 필터처리가 수행되고, 수직모드에서는 라인간의 필터처리가 수행된다. 먼저 수평모드 동작시 영상인터페이스(1)에서 CCIR601과 CCIR656 포맷의 해석이 이루어진 후, Y성분은 휘도 필터(3)에, Cb, Cr성분은 화도필터(2)에 입력되어 필터연산 및 서브샘플링 계산이 이루어진다. 각 필터를 통과한 값은 FIFO 모듈(4)에 저장되었다가 DMA 제어기(5)의 제어하에 3개의 A, B, C DMA 채널을 통해 외부 SDRAM(6)에 쓰여진다. 수직모드에서 동작시, 수평 필터 처리된 결과는 수직 필터연산을 위해 A DMA 채널을 통해 Y, Cb, Cr 성분이 순차적으로 FIFO 모듈(4)에 읽혀지고, 내부 7x8 2-포트 메모리(8)에 메모리 제어기(7)의 제어하에 쓰인다. 이 값은 휘도 필터(3)에 공급되어 수직 필터 처리된 최종 픽셀을 생성하고, FIFO 모듈(4)에 저장된 후, B DMA 채널을 통해 외부 SDRAM(6)에 다시 쓴다. 이런 구조를 채택하므로 휘도 필터(3)와 화도필터(2) 한 세트로 구성된 필터를 수평모드와 수직모드에 같이 공유하므로 하드웨어를 1/2로 줄였다. 또한 입력 픽셀의 성분은 Y성분, Cr성분, Cb성분으로 구성되어 각기 다른 경로로 필터처리를 해야 하나 본 발명에서는 Cr성분과 Cb성분은 멀티플렉스 형태로 화도필터(2)에 입력시켜 처리하였다. 이렇게 해서 하드웨어를 1/2로 줄일 수 있게 된다.The processing of pixels is divided into horizontal mode and vertical mode. In the horizontal mode, the filter processing is performed on the pixels constituting one line, and in the vertical mode, the filtering process between the lines is performed. First, the CCIR601 and CCIR656 formats are interpreted in the image interface (1) during horizontal mode operation. Then, the Y component is input to the luminance filter (3), and the Cb and Cr components are input to the luminance filter (2) to calculate the filter operation and subsampling. This is done. The value passed through each filter is stored in the FIFO module 4 and then written to the external SDRAM 6 via three A, B, C DMA channels under the control of the DMA controller 5. When operating in the vertical mode, the horizontally filtered results are sequentially read from the FIFO module 4 by the Y, Cb and Cr components through the A DMA channel for vertical filter operation, and then to the internal 7x8 two-port memory 8. It is used under the control of the memory controller 7. This value is supplied to the luminance filter 3 to produce the last filtered vertical pixel, stored in the FIFO module 4 and then written back to the external SDRAM 6 via the B DMA channel. By adopting such a structure, the filter composed of a set of luminance filter (3) and luminance filter (2) is shared in the horizontal mode and the vertical mode, thereby reducing the hardware by half. In addition, the component of the input pixel is composed of the Y component, the Cr component, and the Cb component, but the filter process must be performed in different paths. This will reduce the hardware by half.

필터 연산은 입력 픽셀에 필터 탭의 해당 가중치를 곱한 다음, 전부 더한 후 가중치의 합으로 나눈 후 서브샘플링 과정을 거쳐 해상도 변환을 수행한다.The filter operation multiplies the input pixels by the corresponding weights of the filter taps, adds them all up, divides them by the sum of the weights, and then performs a subsampling process to perform resolution conversion.

도 2는 필터 연산을 수행하는 기존의 방식으로 7탭의 처리 구조이다. 필터 탭의 가중치에 대해 각각의 승산기(12)와 레지스터(11)가 사용되었다. 또한 필터 계산의 합을 구하기 위해 덧셈기(13)가 사용되고 서브샘플링을 위한 회로(14)가 필요하다. 그리고 곱셈시 승산기(12)의 직접 사용보다는 덧셈기를 통한 구현 방식이 사용되기도 한다.2 is a seven tap processing structure in a conventional manner of performing a filter operation. Respective multipliers 12 and registers 11 were used for the weights of the filter taps. Also an adder 13 is used to sum the filter calculations and a circuit 14 for subsampling is needed. In addition, an implementation method using an adder may be used rather than the direct use of the multiplier 12 during multiplication.

입력 픽셀 Y_n-3~Y_n-1, Y_n, Y_n+1~Y_n+3에 대한 필터 계산식 및 필터 가중치는 [수학식 1]과 같다.The filter equation and the filter weight for the input pixels Y _n-3 to Y _n-1 , Y _n , Y _{n + 1} to Y _{n + 3} are shown in Equation 1 below.

그리고, 7탭 필터의 필터 계수가 Y_n값을 중심으로 대칭적인 특성을 이용하면, [수학식 1]은 [수학식 2]와 [수학식 3]으로 변경되어 각 계수에 해당하는 PE[15, 16, 17, 18]의 수가 반으로 준다.In addition, when the filter coefficient of the 7-tap filter uses a symmetrical characteristic around the Y _n value, Equation 1 is changed to Equation 2 and Equation 3, so that PE [15] corresponding to each coefficient is changed. , 16, 17, 18] gives half the number.

h₀(Y_n)+h₁(Y_n-1)+h₂(Y_n-2)+h₃(Y_n-3)h ₀ (Y _n ) + h ₁ (Y _n-1 ) + h ₂ (Y _n-2 ) + h ₃ (Y _n-3 )

h₁(Y_n+1)+h₂(Y_n+2)+h₃(Y_n+3)h ₁ (Y _{n + 1} ) + h ₂ (Y _{n + 2} ) + h ₃ (Y _{n + 3} )

각 필터(이하, PE 이라 함)에서는 필터 가중치와 입력 픽셀을 곱한 후 이전 합과 더해 그 결과를 이웃 PE에 전달한다. PE의 처리 클럭은 입력 클럭의 2배로, 입력 클럭의 2개 사이클로 구성된다. 첫 사이클에서는 정방향으로 [수학식 2]가, 나머지 사이클에서 역방향으로 [수학식 3]이 수행되는데, 그 데이터 흐름은 도 3과 같다.Each filter (hereinafter referred to as PE) multiplies the filter weight by the input pixel, adds it to the previous sum, and passes the result to the neighboring PE. The processing clock of the PE is twice the input clock and consists of two cycles of the input clock. [Equation 2] is performed in the first cycle in the forward direction, and [Equation 3] in the reverse direction in the remaining cycle, the data flow is shown in FIG.

PE 2(16)에서 PE 1(15)의 결과치와 PE 2(16)의 입력 픽셀과 가중치의 승산 값이 더해져 PE 3(17)으로 이동된다. 또한 역방향으로 PE 3(17)의 역방향 계산 값과 PE 2(16)의 계산 값이 더해져 PE 1(15)로 전달된다. 이 동작이 입력 클럭의 주기안에서 모두 이루어진다.In PE 2 (16), the resultant value of PE 1 (15), the multiplication value of the input pixel of PE 2 (16) and the weight are added to move to PE 3 (17). In addition, the backward calculated value of PE 3 (17) and the calculated value of PE 2 (16) are added to the reverse direction, and transferred to PE 1 (15). This operation is all done within the period of the input clock.

도 4는 도 3의 데이터 흐름을 가지는 하드웨어 구조도로서, 승산기(19)에서 곱셈이 수행되고 이 값은 레지스터(20)에 저장된 후 시프트되어 다음 PE의 승산 값과 덧셈기(22)에서 더해져 레지스터에 저장된다. 최종적으로 필터 처리된 값은 출력단(21)에서 서브샘플링 된다. 이런 구조를 가지므로 같은 수의 레지스터를 사용하지만 승산기의 수는 줄어든다. 이 구조는 필터탭 수가 N으로 확대 되도 적용이 가능하고, 이 경우 승산기의 수는 N/2로 준다.4 is a hardware structural diagram having the data flow of FIG. 3, in which multiplication is performed in multiplier 19, the value is stored in register 20 and then shifted, added to multiplier 22 of next PE, and stored in register do. The final filtered value is subsampled at output 21. This structure uses the same number of registers, but reduces the number of multipliers. This structure can be applied even if the number of filter taps is expanded to N. In this case, the number of multipliers is given as N / 2.

상술한 바와 같이 본 발명은 2개의 영상 포맷인 CCIR601, CCIR656을 지원하고 H.263에서 처리하기 위한 해상도로 변환 기능을 지원한다. 해상도 변환시 하드웨어 량을 최소로 하면서 보다 좋은 이미지를 제공하므로 H.263 코덱이 처리해야 할 입력 화면의 질을 향상시킨다. 이를 위해 효율적인 필터 구조를 본 발명에서 제시하였다.As described above, the present invention supports two video formats, CCIR601 and CCIR656, and supports a conversion function at a resolution for processing in H.263. When converting the resolution, the H.263 codec improves the quality of the input screen because it provides better images while minimizing the amount of hardware. For this purpose, an efficient filter structure is presented in the present invention.

Claims

Image interface to provide H.263 desired color resolution for input in CCIR601 and CCIR656 formats;

A luminance filter and a luminance filter for performing filter operation and subsampling for screen resolution conversion on the color resolution output from the image interface;

The external SDRAM of H.263;

A direct memory access controller (MDA) for writing the horizontal / vertical filtered result and reading the horizontal filtered result for vertical filter operation;

A first-in first-out (FIFO) module that is temporarily stored to wait for an order to send information of a packet through the direct memory access controller;

A register block for storing control and status information of the pixel processor;

2-port memory with seven lines stored for vertical filter operation,

And a memory controller for controlling the input / output of the two-port memory.

The method of claim 1,

A filter for horizontal and vertical modes must exist separately for converting the resolution, but the horizontal preprocessing module, the direct memory access controller, and the horizontal processing, which are peripheral circuits for storing in an external SDRAM after processing the horizontal mode. The shared filter used in the vertical mode, and uses a separate line memory and a memory controller for this resolution resolution system of NTS video.

The method of claim 1,

Entities are characterized in that the filter is reduced to 1/2 by sharing Cr, Cb through a single filter, instead of having a separate path for each of the input color components Y, Cr, and Cb. Resolution system of video resolution video.

The method of claim 1,

The internal filter structure of the luminance filter and the HF filter uses n / 2 multipliers to increase the processing clock by using the symmetrical characteristics of the filter taps without using the multiplier for each of the n filter taps. Mr. Video's resolution conversion system.