KR100527428B1

KR100527428B1 - Video signal data coding method to use frequency interleaving

Info

Publication number: KR100527428B1
Application number: KR10-2003-0020853A
Authority: KR
Inventors: 송석원
Original assignee: 주식회사 라이브젠
Priority date: 2003-04-02
Filing date: 2003-04-02
Publication date: 2005-11-09
Also published as: KR20040085977A

Abstract

본 발명은 한 프레임의 영상 데이터가 가진 주파수의 패턴을 분석하여 주파수 성분 값이 상대적으로 작은 대역에 주파수 값이 큰 대역을 옮겨 놓음으로써 전체적으로 모든 주파수 대역에서 높은 성분 값을 가지도록 하는 주파수 교삽을 이용한 데이터 코딩 방법에 관한 것이다.The present invention analyzes a pattern of frequencies of image data of one frame and uses frequency interpolation to have a high component value in all frequency bands by replacing a band having a large frequency value in a band having a relatively small frequency component value. A data coding method is provided.

이러한 본 발명은 영상 데이터가 주파수적 관점에서 빈 공간을 가지는 특징을 응용하여, 이 빈공간에 영상 데이터를 교삽함으로써 데이터 압축을 실현하는 것으로, 압축시 압축시킬 영상 데이터의 포맷을 확인하고, 포맷이 확인된 데이터를 1차원의 배열로 재구성하여 데이터를 고주파와 저주파로 나누며, 분리된 고주파 성분을 주파수 이동하고 고주파/저주파 데이터의 주파수 대역을 제한한 후 고주파 데이터를 저주파 데이터의 빈 공간에 교삽하고, 교삽된 1차원 데이터를 다시 2차원 배열로 재구성하므로서 이루어지며, 복원은 상기 압축시와 역순에 의하여 이루어지는 것이다.The present invention implements data compression by applying the feature that video data has a blank space in terms of frequency, and interleaving the video data in the blank space to confirm the format of the video data to be compressed during compression. Reconstruct the identified data into a one-dimensional array, dividing the data into high frequency and low frequency, frequency shifting the separated high frequency components, limiting the frequency band of the high frequency / low frequency data, and interpolating the high frequency data into the empty space of the low frequency data, This is achieved by reconstructing the interpolated one-dimensional data into a two-dimensional array, and the reconstruction is performed in the reverse order of the compression.

Description

Video signal coding method to use frequency interleaving

오래 전부터 영상 데이터의 저장처리 및 전송과 관련된 문제가 대두되었으며, 영상 데이터의 저장과 전송에는 영상데이터의 용량을 줄이도록 높은 비율로 압축/복원하는 문제가 가장 핵심 사안이라고 할 수 있다. There has been a problem related to the storage processing and transmission of image data for a long time, and the compression / restore at a high rate to reduce the capacity of the image data is the key issue in the storage and transmission of image data.

최근 정보통신 기술의 발달과 함께 유무선 통신을 통해 멀티미디어 데이터 전송이 활발해 지고 있으나, 전송 대역폭의 제약으로 인하여 원활한 데이터 통신을 하는데 어려움이 발생하므로, 전송 속도 및 전송 용량을 늘이려는 노력과 함께 데이터 자체의 용량을 줄이는 기술들이 연구되고 있으며, 이를 해결하기 위해 데이터 압축기술이 필요하게 되었다.Recently, with the development of information and communication technology, multimedia data transmission has become active through wired and wireless communication, but due to the limitation of the transmission bandwidth, it is difficult to perform smooth data communication, and the data itself with efforts to increase the transmission speed and transmission capacity. In order to solve this problem, data compression techniques are required.

현재 많이 사용하는 영상 압축 방법 중 공간 중복성(spatial redundancy)을 줄이는 방법으로는 DCT(Discrete Cosine Transform) 또는 Wavelet 등의 변환(Transform) 알고리즘을 사용하여 공간 영역(spatial domain)의 데이터를 주파수 영역(frequency domain)의 데이터로 바꾼 후, 인간의 시각적(psycho visual) 특성을 이용한 손실 압축인 스칼라 양자화(Scalar Quantization)를 한 후 엔트로피(entropy) 코딩인 Huffman 또는 Arithmetic 코딩 방법을 사용하고 있다.As a method of reducing spatial redundancy among current image compression methods, data of spatial domain is divided into frequency domain using transform algorithm such as Discrete Cosine Transform (DCT) or Wavelet. After changing to domain data, scalar quantization, which is a lossy compression using human visual characteristics, is used, followed by entropy coding, Huffman or Arithmetic coding.

그러나 상기된 압축 방법은 비트 스트림(bit stream)이 발생하여 시각적으로 볼 수 있는 소스 영상을 압축 후 시각적으로 볼 수 없는 부호로 만들기 때문에 추가적인 코덱(codec)을 붙이는 것은 불가능하다.However, the above-described compression method is impossible to attach an additional codec because a bit stream is generated to make the visually visible source image into a code that cannot be visually seen after compression.

본 발명은 상기와 같은 문제를 해결하기 위해서 발명된 것으로, 공간 기반영역의 영상 데이터를 다시 공간 기반영역의 영상 데이터로 압축함으로써 DCT 및 Wavelet 변환을 사용하는 H.26x 또는 MPEG 계열 등의 기존 코덱에 적용이 가능한 데이터 코딩 방법을 제공하는 것이다.The present invention has been invented to solve the above problems, and by compressing the image data of the spatial base region back to the image data of the spatial base region, the present invention is applied to an existing codec such as H.26x or MPEG series using DCT and Wavelet transformation. It is to provide an applicable data coding method.

이러한 본 발명은 압축시 압축시킬 영상 데이터의 포맷을 확인하고, 포맷이 확인된 데이터를 1차원의 배열로 재구성하여 데이터를 고주파와 저주파로 나누며, 분리된 고주파 성분을 주파수 이동하고 고주파/저주파 데이터의 주파수 대역을 제한한 후 고주파 데이터를 저주파 데이터의 빈 공간에 교삽하고, 교삽된 1차원 데이터를 다시 2차원 배열로 재구성하므로서 이루어지며, 복원은 상기 압축시와 역순으로 이루어지는 것으로, 소스 영상의 전처리로 인하여 데이터의 압축 효율을 높이는 것이다.The present invention checks the format of the image data to be compressed during compression, reconstructs the format-identified data into a one-dimensional array, divides the data into high frequency and low frequency, frequency shifts the separated high frequency components, and converts the high frequency / low frequency data. After limiting the frequency band, high frequency data is interpolated into the empty space of the low frequency data, and the interleaved one-dimensional data is reconstructed into a two-dimensional array. The reconstruction is performed in the reverse order of the compression. This will increase the compression efficiency of the data.

본 발명에서의 압축시 입력 데이터는 RGB 영상의 각 성분, YUV 영상의 각 성분, CMYK 영상의 각 성분, Gray 영상의 성분 등으로, 회색조의 단일 영상 소스 또는 컬러 영상에서 각각의 색 성분이 되고, 압축의 결과 출력 데이터 역시 해당 입력 성분과 같은 성분이 되는 것으로, 예를 들면, 컬러 영상의 R 성분에 대해 압축을 한 결과 데이터 역시 R 성분이 되며 이는 다른 영상 성분에 영향을 주지 않는 독립성을 가짐을 뜻한다.In the present invention, the input data during compression is each component of an RGB image, each component of a YUV image, each component of a CMYK image, a component of a Gray image, and the like, and each color component in a single image source or color image of grayscale, As a result of compression, the output data is also the same component as the corresponding input component. For example, as a result of compressing the R component of a color image, the data is also an R component, which has independence that does not affect other image components. It means.

이러한 데이터 성질을 갖도록 하는 본 발명의 압축 구성과 복원 구성은 도 1 에 도시된 바와 같다.The compression and decompression configurations of the present invention having such data properties are as shown in FIG.

즉 본 발명은 입력데이터(1)를 본 발명 코더(2)를 통하여 압축시킨 후 일반적인 코더(3)에서 압축시켜 압축된 데이터(4)로 전송될 수 있도록 하고, 상기 압축된 데이터(4)는 일반적인 디코더(5)에서 복원된 후 본 발명 디코더(6)에서 최종적으로 복원되어 출력되도록 하는 것이다.That is, the present invention compresses the input data 1 through the coder 2 of the present invention and then compresses the input data 1 in the general coder 3 so that the compressed data 4 can be transmitted. After the restoration is performed in the general decoder 5, the decoder 6 is finally restored and output.

본 발명의 압축 복원 방법은 입력 데이터와 출력 데이터가 같은, 공간 영역기반(domain)의 성분이 되므로, 추가로 DCT 또는 wavelet 변환의 H.26x 또는 JPEG/MPEG 등의 일반적인 코더(3) 및 디코더(5)에 적용이 가능하다.Since the decompression method of the present invention is a component of a spatial domain where the input data and the output data are the same, a general coder 3 and a decoder (such as H.26x or JPEG / MPEG of DCT or wavelet transform) may be used. 5) can be applied.

따라서 압축 시 일반적인 코더(3)의 앞 부분에 본 발명 코더(2)를 설치하여 영상신호가 본 발명 코더(2)를 통과되게 하여 소스 영상을 전처리 하도록 하며, 복원 시에는 일반적인 디코더(5)의 뒤 부분에 본 발명 디코더(6)를 설치하여 본 발명 디코더(6)에서 후처리 해 주게 되는 것으로, 이러한 본 발명에 의해 일반적인 코더(3)는 소스 영상의 1/2 크기에 대해서만 압축하면 되므로 그만큼 영상 압축을 더 할 수 있게 되는 것이다.Therefore, when the compression is provided, the coder 2 of the present invention is installed at the front of the general coder 3 so that the image signal passes through the coder 2 of the present invention so as to pre-process the source image. After the present invention decoder 6 is installed at the rear part to be post-processed by the present invention decoder 6, according to the present invention, the general coder 3 only needs to compress about 1/2 the size of the source image. You will be able to add more video compression.

이러한 본 발명의 압축과정을 도 2 에 의거 살펴보면 다음과 같다.Looking at the compression process of the present invention based on Figure 2 as follows.

본 발명에서의 영상데이터 압축과정은 압축시킬 영상 데이터의 포맷을 확인하는 과정, 데이터의 빈 공간을 확보하는 과정, 데이터를 1차원의 배열로 재구성하는 과정, 데이터를 고주파와 저주파로 나누는 과정, 고주파 성분을 주파수 이동하는 과정, 고주파/저주파 데이터의 주파수 대역을 제한하는 과정, 고주파 데이터를 저주파 데이터의 빈 공간에 교삽하는 과정, 교삽된 1차원 데이터를 다시 2차원 배열로 재구성하는 과정으로 이루어지며, 압축 과정을 이루는 각각의 과정은 하나의 기능 단위로 이루어져 이들을 순차적으로 수행시킴으로서 압축이 이루어지게 된다.The image data compression process in the present invention is a process of checking the format of the image data to be compressed, securing the empty space of the data, reconstructing the data into a one-dimensional array, dividing the data into high and low frequencies, high frequency Frequency shifting of components, limiting the frequency band of high frequency / low frequency data, interpolating high frequency data into the empty space of low frequency data, and reconstructing the interleaved one-dimensional data into a two-dimensional array, Each process of the compression process consists of one functional unit, and compression is performed by sequentially performing them.

상기된 압축의 결과 입력 성분과 같은 출력 성분을 가짐과 동시에 고주파 성분이 저주파 성분에 교삽되어 들어감으로써 출력 데이터 크기가 입력 데이터 크기의 1/2로 줄어들게 된다.As a result of the compression described above, the output data size is reduced to 1/2 of the input data size by having an output component equal to the input component and interfering with the high frequency component into the low frequency component.

다음으로 본 발명의 복원과정을 도 3 에 의거 살펴보면 다음과 같다.Next, the restoration process of the present invention will be described with reference to FIG. 3.

복원에서 사용되는 입력 데이터와 출력 데이터의 성분 역시 압축에서 사용된 경우와 동일한 것으로, 입력 데이터는 회색조의 단일 영상 성분 또는 컬러의 각 색 성분이 되며 복원 후의 결과 데이터 역시 그에 해당하는 성분이 된다.The components of the input data and the output data used in the reconstruction are also the same as those used in the compression. The input data is a single image component of grayscale or each color component of color, and the result data after reconstruction is also a corresponding component.

압축된 영상데이터의 복원은 압축에서 사용된 방법들을 역순으로 배열시키는 것으로 그 과정을 살펴보면, 복원시킬 데이터의 포맷을 확인하는 과정, 교삽된 영상에서 저주파 성분과 고주파 성분을 분리하는 과정, 분리된 각 성분을 1차원 배열로 재구성하는 과정, 각 주파수 성분의 데이터 대역을 압축 전에 가진 대역으로 확장시키는 과정, 고주파 성분을 원래의 위치로 환원하는 과정, 고주파와 저주파 데이터를 합치는 과정, 합쳐진 1차원 데이터를 2차원 배열로 재구성하는 과정으로 이루어지며, 복원 과정을 이루는 각각의 과정은 하나의 기능 단위로 이루어져 이들을 순차적으로 수행시킴으로서 복원이 이루어지게 된다.Restoration of compressed image data is the arrangement of the methods used in the compression in reverse order. The process is as follows. Identifying the format of the data to be restored, separating the low and high frequency components from the interpolated image, Reconstructing the components into a one-dimensional array, extending the data band of each frequency component to the band before compression, reducing the high frequency components to their original positions, combining the high frequency and low frequency data, and combining the one-dimensional data It consists of the process of reconstructing the two-dimensional array, each process of the restoration process consists of a single functional unit is restored by performing them sequentially.

상기된 복원의 결과 입력 성분과 같은 출력 성분을 가짐과 동시에 교삽 되어 있던 고주파와 저주파를 원래의 자리로 이동시켜 줌으로써 입력 데이터 크기의 2배인 원래의 영상 데이터의 크기로 출력되게 된다.As a result of the reconstruction, the high frequency and low frequency interleaved are moved to the original position while having the same output component as that of the input component, thereby outputting the original image data at twice the size of the input data.

이러한 본 발명을 압축과 복원과정으로 나누어 압축 복원을 행하는 각 과정을 첨부도면에 의거 상세히 설명한다.This process of dividing the present invention into a compression and decompression process will be described in detail with reference to the accompanying drawings.

먼저 도 2 에 도시된 흐름을 갖고 압축시킬 영상 데이터의 포맷을 확인하는 과정, 데이터의 빈 공간을 확보하는 과정, 데이터를 1차원의 배열로 재구성하는 과정, 데이터를 고주파와 저주파로 나누는 과정, 고주파 성분을 주파수 이동하는 과정, 고주파/저주파 데이터의 주파수 대역을 제한하는 과정, 고주파 데이터를 저주파 데이터의 빈 공간에 교삽하는 과정, 교삽 된 1차원 데이터를 다시 2차원 배열로 재구성하는 과정으로 이루어진 본 발명의 압축과정에 대하여 살펴본다.First, the process of checking the format of the image data to be compressed with the flow shown in FIG. 2, securing the empty space of the data, reconstructing the data into a one-dimensional array, dividing the data into high frequency and low frequency, high frequency The present invention consists of a process of frequency shifting a component, a process of limiting a frequency band of high frequency / low frequency data, interpolating high frequency data into an empty space of low frequency data, and reconstructing the interleaved one-dimensional data into a two-dimensional array. Let's take a look at the compression process.

1. 입력 데이터의 포맷을 확인하는 과정(Dimension detect)1. Process to check the format of input data (Dimension detect)

입력받은 영상 데이터는 일반적으로 2차원의 배열 형태를 가지게 되므로, 입력 영상 데이터의 가로 길이(Width) Ｗ, 세로 길이(Height) Ｈ 를 확인하는 작업이 필요하다. Since the input image data generally has a two-dimensional arrangement, it is necessary to check the width Ｗ and the height H of the input image data.

이 경우 원 영상의 화면 크기이므로 사전에 해당 영상의 크기를 입력받아 놓거나, 데이터 입력 시 초기화 해 주도록 한다.In this case, since the screen size of the original image, the size of the image is input in advance or initialized when data is input.

또한 영상 데이터를 2차원 행렬 데이터로 보았을 때 도 4 에 도시된 바와 같이 전치행렬(Transpose)시킨 것도 같은 원리에 해당하는 것으로, 이 경우에는 새로운 가로 길이 (Ｗ'=H ) 와 세로 길이 (H '=Ｗ) 를 가지게 된다.In addition, when the image data is viewed as two-dimensional matrix data, transpose is performed as shown in FIG. 4, and in this case, a new horizontal length (Ｗ '= H) and a vertical length (H') are used. = Ｗ).

2. 주파수의 빈 공간을 확보하는 과정(Make space using Band Pass Filter)2. Make space using Band Pass Filter

영상 데이터를 1차원 FFT(Fast Fourier Transformation)로 분석하여 주파수 특성을 살펴보면 아치형의 다리를 거꾸로 세워놓은 모양을 가지고 있음을 확인 할 수 있다.When analyzing the image data by 1-D Fast Fourier Transformation (FFT) to examine the frequency characteristics, it can be seen that the arched legs are upside down.

여기서 본 발명은 주파수 성분 값들이 작은 영역에 주파수 성분 값들이 높은 영역의 성분들을 넣을 것이기 때문에 이 부분의 성분 값들을 깨끗이 지울 필요가 있긴 하지만, 지우지 않아도 새로 들어갈 성분 값에 비해 기존의 성분 값이 작기 때문에 그 간섭효과는 크지 않을 수 있으므로, 압축시 주파수의 빈 공간을 확보하는 과정은 선택적이다.In the present invention, since the components of the region having high frequency component values will be inserted in the region where the frequency component values are small, the component values of this portion need to be cleared, but the existing component values are smaller than the new component values without deleting them. Therefore, the interference effect may not be large, so the process of securing the empty space of the frequency during compression is optional.

빈 공간을 확보하기 위해서는 영상 데이터의 세로 방향으로 LPF(Low Pass Filter)를 통과시키되 영상 데이터의 위상 왜곡을 막기 위하여 FIR(Finite Impulse Response) 필터를 사용하며, 이러한 결과는 1차원 FFT 분석으로 볼 때 빗살무늬 필터(Comb Filter)를 통과시킨 것과 같다.To secure the empty space, a low pass filter (LPF) is passed in the vertical direction of the image data, but a finite impulse response (FIR) filter is used to prevent phase distortion of the image data. It is like passing a comb filter.

3. 데이터를 1차원으로 재배열하는 과정(convert to 1 Dimensional array)3. Convert to 1 Dimensional array

본 발명의 코더(2)는 2차원의 영상 데이터를 1차원의 영상데이터로 재배열하여 처리하게 된다. The coder 2 of the present invention rearranges and processes two-dimensional image data into one-dimensional image data.

재배열 방법은 도 5 에 도시된 바와 같이 영상 데이터의 한 라인의 끝 부분에 다른 라인의 첫 부분을 이어나가는 방식으로 전체를 1차원 배열로 만든다.In the rearrangement method, as shown in FIG. 5, the whole is formed in a one-dimensional array by connecting the first portion of the other line to the end of one line of the image data.

이를 식으로 표현하면 L=W ×H 으로 전체 데이터 크기는 그대로이며 단지 배열 방식만이 틀려진 것이다.In this case, L = W × H, the total data size is the same and only the array method is wrong.

4. 고주파와 저주파로 나누는 과정(Divide into High Frequency and Low Frequency)4. Divide into High Frequency and Low Frequency

1차원으로 재배열된 도 7 의 (b)와 같은 영상 데이터를 LPF(Low Pass Filter) 와 HPF(High Pass Filter)를 각각 통과시켜 도 7 의 (c)에 도시된 저주파 성분과 도 7 의 (d)에 도시된 고주파 성분을 얻는다.The low-frequency component shown in FIG. 7C and the low-frequency component shown in FIG. 7C are passed through a low pass filter (LPF) and a high pass filter (HPF), respectively. Obtain the high frequency component shown in d).

여기서 고주파와 저주파를 분리하는 방법은 상기와 다르게 LPF 만을 통과시킨 저주파 데이터를 처음 데이터와 차분하여 고주파 데이터를 얻을 수도 있으며, HPF 만을 통과시킨 고주파 데이터를 처음 데이터와 차분하여 저주파 데이터를 얻을 수 있는 것으로, 어떠한 방법을 사용하더라도 저주파와 고주파 성분으로 분리시키면 된다.Here, the method of separating high frequency and low frequency may obtain high frequency data by differentiating low frequency data passing only LPF from the first data, and obtain low frequency data by differentiating high frequency data passing only HPF with the first data. However, any method may be used to separate the low frequency and high frequency components.

필터 통과 결과 전체 주파수 대역 중 부분은 저주파 성분으로, 부분은 고주파 성분으로 나누어진다.Filter pass result full frequency band medium The part is a low frequency component, The part is divided into high frequency components.

5. 고주파 성분을 주파수 이동하는 과정(Frequency shift)5. Frequency shift of high frequency components

6. 고주파/저주파 데이터의 주파수 대역을 제한하는 과정(Down sample)6. Process of limiting frequency band of high frequency / low frequency data (Down sample)

고주파 성분을 저주파 대역으로 낮추고 교삽이 가능하도록 주파수 이동을 해 주어야 하는 것으로, 고주파 성분의 데이터에는 저주파 공간이 비어 있기 때문에, 이를 저주파로 낮춘 후 교삽을 위한 영역으로 이동시키는 방법에는 다음과 같은 두 가지 방법이 있다.It is necessary to lower the high frequency component to the low frequency band and move the frequency so that interpolation is possible. Since the low frequency space is empty in the data of the high frequency component, there are two ways to lower the high frequency component and move it to the interpolation region. There is a way.

첫째는, 데이터 에 을 곱해주는 것으로, 이는 이 되어 데이터의 주파수 성분 대역을 도 7 의 (e)(f)와 같이 전체적으로 만큼 이동시키게 된다.First is data on Multiply by Thus, the frequency component band of the data as a whole as shown in Fig. 7 (e) (f). Will be moved by.

이 후 도 9 의 (a)와 같이 대역 제한(down sample)을 통해 저주파 성분의 데이터와 고주파 성분의 데이터를 만큼 씩 줄이며, 상기된 대역 제한은 저주파 데이터 또는 고주파 데이터의 홀수 데이터만 가지고 짝수 데이터는 버리거나, 또는 짝수 데이터만 가지고 홀수 데이터는 버리는 방법을 취한다.Thereafter, as shown in (a) of FIG. 9, data of the low frequency component and the high frequency component are reduced by the band down sample. The band limit described above is a method of discarding even data only with odd data of low frequency data or high frequency data, or discarding odd data with only even data.

이때 대역제한을 행할 경우 도 11 과 같이 대역제한에 따른 주파수 보상을 해 주어야 한다.In this case, when the band limit is performed, frequency compensation according to the band limit should be performed as shown in FIG. 11.

둘째는, 먼저 고주파 성분 데이터와 저주파 성분 데이터에 대해 대역 제한을 먼저 하고, 이렇게 제한된 고주파 성분 데이터에 을 곱해주는 방법으로서, 이는 결과적으로 첫째 방법과 같게 된다.Second, first, the band limitation is applied to the high frequency component data and the low frequency component data, and then the high frequency component data Multiply by, which results in the same as the first method.

이렇게 대역 제한된 두 주파수 성분에서 고주파 성분이 저주파 데이터로 교삽되기 위해서는 고주파 성분의 주파수 영역을 도 7 의 (e)(f)와 같이 이동시켜 줘야 한다. In order for the high frequency component to be intercepted into the low frequency data in the two band-limited frequency components, the frequency region of the high frequency component must be moved as shown in FIG. 7 (e) (f).

따라서 앞에서 확인한 주파수 상의 빈 공간으로 주파수 이동을 해주어야 하는 것으로, 그 공식은 다음과 같다.Therefore, the frequency shift to the empty space on the frequency identified above, the formula is as follows.

이동 주파수 Moving frequency

7. 고주파 데이터를 저주파 데이터의 빈 공간에 합치는 과정(Interleave)7. Interleave of high frequency data into empty space of low frequency data

지금까지 처리한 고주파 성분의 데이터와 저주파 성분의 데이터를 더하여 도 7 의 (g)와 같이 하나의 데이터로 만들고, 이를 1차원 FFT 분석으로 보면 두 주파수 성분 값들이 교삽되어 있음을 확인 할 수 있다.By adding the data of the high frequency component and the low frequency component processed so far to make one data as shown in (g) of FIG. 7, it can be seen that the two frequency component values are interpolated.

8. 다시 2차원 형태로 재배열시키는 과정(convert to 2 Dimensional array)8. Convert to 2 Dimensional Array

압축된 데이터는 1차원의 배열로 되어 있는데, 이를 다시 도 6 에 도시된 바와 같이 2차원 배열의 형태로 변경해주어야 한다. Compressed data has a one-dimensional array, which should be changed to a two-dimensional array as shown in FIG. 6.

처음 배열의 크기 이었으나 압축 후 크기 의 결과가 되기 때문에 1차원 배열의 연속된 데이터 값 만큼씩을 묶어서 한 라인으로 취급하고, 이것은 총 개의 라인이 된다.The size of the first array Size after compression Contiguous data values in a one-dimensional array because Bundle them up and treat them as one line, Lines.

만약 압축 초기 단계에서 2차원 데이터의 전치 행렬 작업이 있었다면 최종 단계에서도 전치행렬을 해주어야 처음 모양의 영상 형태가 된다.If the pre-matrix of two-dimensional data has been performed in the initial stage of compression, the transpose of the transpose matrix is required in the final stage to form the image of the first shape.

이렇게 2차원으로 재배열 해 줌으로써 압축된 영상을 다시 볼 수 있으며, 또한 기존 코더(3)의 입력 소스로 재사용 될 수 있는 것이다.By rearranging in two dimensions, the compressed image can be viewed again and can be reused as an input source of the existing coder 3.

이와 같이 주파수의 빈 공간을 찾아 압축하는 과정은 도 8 에 도시된 바와 같다. The process of finding and compressing the empty space of the frequency is as shown in FIG.

다음으로 도 3 의 흐름도를 갖고, 복원시킬 데이터의 포맷을 확인하는 과정, 교삽된 영상에서 저주파 성분과 고주파 성분을 분리하는 과정, 분리된 각 성분을 1차원 배열로 재구성하는 과정, 각 주파수 성분의 데이터 대역을 압축 전에 가진 대역으로 확장시키는 과정, 고주파 성분을 원래의 위치로 환원하는 과정, 고주파와 저주파 데이터를 합치는 과정, 합쳐진 1차원 데이터를 2차원 배열로 재구성하는 과정으로 이루어진 본 발명의 복원과정을 살펴본다.Next, with the flowchart of FIG. 3, a process of identifying a format of data to be restored, a process of separating low frequency components and high frequency components from interleaved images, a process of reconstructing each separated component into a one-dimensional array, and Restoration of the present invention consisting of extending the data band to the band before compression, reducing the high frequency components to their original positions, combining the high frequency and low frequency data, and reconstructing the combined one-dimensional data into a two-dimensional array Look at the process.

1. 복원시킬 데이터의 포맷을 확인하는 과정(detect format & convert to 1D array)1. Detecting the format of the data to be restored (detect format & convert to 1D array)

가로 길이 와 세로 길이 를 확인하는 작업이 필요하며, 이때 전체 크기 이다.Width And vertical length To make sure that the full size to be.

2. 교삽된 영상에서 저주파 성분과 고주파 성분을 분리하는 과정(extract to two frequency group)2. Extraction of low and high frequency components from interleaved images (extract to two frequency group)

복원시킬 영상은 저주파 성분과 고주파 성분이 교삽되어 있기 때문에, 이를 각각의 성분으로 추출해야 한다.Since the low frequency component and the high frequency component are interleaved, the image to be reconstructed must be extracted into each component.

추출 방법은 압축 때 사용한 빗살 필터(Comb filter)를 사용하는 것으로 세로 방향으로 FIR LPF/ HPF를 적용하면 된다. The extraction method is to use the Comb filter used for compression, and apply FIR LPF / HPF in the vertical direction.

이 때 LPF 와 HPF 둘 다 한번씩 적용하여 각각 저주파 성분과 고주파 성분을 얻을 수도 있으며, 또는 LPF를 통과시켜 나온 저주파 성분 데이터를 통과시키기 전의 데이터와 차분 시켜 고주파 성분을 얻거나, 또는 HPF를 통과시켜 나온 고주파 성분 데이터를 통과 시키기 전의 데이터와 차분 시켜 저주파 성분을 얻을 수도 있다.At this time, LPF and HPF may be applied once to obtain low frequency and high frequency components, or high frequency components may be different from data before passing low frequency component data passed through LPF, or HPF may be passed through. The low frequency component may be obtained by differentiating the data before passing the high frequency component data.

3. 1차원 배열로 재구성하는 과정(convert to 1D array)3. Convert to 1D array

복원할 영상 데이터는 2차원 배열이기 때문에 이를 처리하기 위해서 1차원 배열로 변환해야 한다. Since the image data to be reconstructed is a two-dimensional array, it must be converted into a one-dimensional array in order to process it.

압축 때와 마찬가지로 가로길이 만큼이 한 라인이므로 라인을 연속해서 연결시켜 줌으로써 데이터를 1차원 배열로 재구성 할 수 있다.Width as in compression As long as it is one line, the data can be reconstructed into a one-dimensional array by connecting the lines consecutively.

4. 각 주파수 성분의 데이터 대역을 압축 전에 가진 대역으로 확장시키는 과정(up sampling)4. Up sampling of the data band of each frequency component to the band before compression

상기 과정에 의해 저주파 성분과 고주파 성분을 각각 얻었다면 이제는 이들을 원래의 영상 크기로 도 9 의 (b)와 같이 확장(up sample) 시켜주어야 한다. If the low frequency component and the high frequency component were obtained by the above process, they should be expanded to the original image size as shown in FIG. 9 (b).

확장의 기본 적인 방법은 각 성분 데이터의 픽셀 사이에 새로운 픽셀을 하나씩 추가하는 방법으로 각 성분의 크기 이 된다.The basic method of expansion is to add one new pixel between the pixels of each component data, so that the size of each component Becomes

이 때 새로운 픽셀에 어떤 값을 적용하느냐에 따라 확장된 성분 데이터의 주파수 스펙트럼이 달라지는데, 일반적으로 계산 량을 줄이기 위해 ZOH (Zero Order Hold) 방법이나 또는 FOH (First Order Hold) 방법을 사용하며, 고품질을 위해 많은 탭 수(multi tap)를 가진 LPF 를 통과시킬 수도 있다.In this case, the frequency spectrum of the extended component data varies depending on which value is applied to the new pixel. Generally, the ZOH (Zero Order Hold) method or the FOH (First Order Hold) method is used to reduce the calculation amount. You can also pass an LPF that has a large number of taps.

그리고 이때 대역확장을 행할 경우 도 10 과 같이 대역확장에 따른 주파수 보상을 해 주어야 한다.In this case, when performing band extension, frequency compensation according to band extension should be performed as shown in FIG. 10.

5. 고주파 성분을 원래의 위치로 환원하는 과정(frequency shifting)5. Frequency shifting to high frequency components

확장된 두 성분 데이터에서 저주파의 경우는 압축 전의 자리와 동일하므로 그대로 두면 되나, 고주파의 경우 다시 원래의 주파수 위치로 이동시켜 주어야 한다.In the extended two component data, the low frequency is the same as the position before compression, so it can be left as it is, but the high frequency needs to be moved back to the original frequency position.

고주파가 추출될 때 위치하고 있는 중심 주파수의 위치가 이므로 이를 만큼 이동시켜 준다.When the high frequency is extracted, the position of the center frequency Because it Move by.

위의 식에 따라 고주파 성분을 이동시켜 주면 되며, 이때 고주파 성분은 대역을 차지하게 된다.The high frequency component can be moved according to the above formula. Occupy the band.

한편 이 과정에서 고주파 성분의 부분도 함께 이동되어 영역을 차지하게 되는데 이는 필요가 없으며 저주파 영상과 더해질 때 간섭만 생기므로 HPF 를 통과 시켜 주파수 영역을 깨끗이 해 준다.In this process, Parts are moved together It takes up an area, which is not necessary, and only when it is added to the low frequency image, Clear the frequency domain.

6. 고주파와 저주파를 합치는 과정6. Process of combining high frequency and low frequency

원래의 주파수로 이동된 고주파 성분 데이터를 저주파 성분 데이터와 덧셈 연산을 통해줌으로써 다시 압축 전의 처음 영상이 가진 주파수 스펙트럼을 가지도록 복원하게 된다.The high frequency component data moved to the original frequency through low frequency component data and the addition operation is restored to have the frequency spectrum of the first image before compression.

7. 2차원 데이터로 재배열하는 과정7. The process of rearranging into 2D data

중간에 1차원 데이터로 재배열하였기 때문에 이를 다시 2차원 데이터로 재배열 시켜주므로서, 압축 전의 영상과 같은 스펙트럼의 결과 데이터를 얻을 수 있게 된다.Since it was rearranged to one-dimensional data in the middle, it is rearranged to two-dimensional data, so that the result data of the same spectrum as the image before compression can be obtained.

이와 같은 복원 과정에서의 주파수 스펙트럼은 도 12 에 도시된 바와 같다.The frequency spectrum in this restoration process is shown in FIG. 12.

상기한 바와 같이 본 발명은 소스 영상 데이터가 가진 주파수의 패턴을 분석하여 주파수 성분 값이 상대적으로 작은 대역에 주파수 값이 큰 대역을 옮겨 놓음으로써 전체적으로 모든 주파수 대역에서 높은 성분 값을 가지도록 하는 주파수 교삽을 이용한 데이터 압축 및 복원을 함으로써 약간의 손실에 비해 2배로 압축된 시공간 기반의 영상을 만들어 내기 때문에 추가로 다른 코더와 결합하여 데이터 압축을 더욱 높일 수 있는 것으로, 데이터 처리 장치 및 유무선 통신 등의 영상 산업 분야에 걸쳐 사용이 가능하고, 경제성 및 효율을 높일 수 있는 것이다.As described above, the present invention analyzes the frequency pattern of the source image data and replaces a band having a large frequency value with a band having a relatively small frequency component value so as to have a high component value in all frequency bands as a whole. By compressing and restoring the data, the system creates a spatio-temporal video that is twice as large as a small loss, so it can be further combined with other coders to further increase data compression, such as data processing devices and wired / wireless communication. It can be used across industries, and can increase economics and efficiency.

도 1 은 본 발명의 코덱 적용 상태도1 is a codec application state of the present invention

도 2 는 본 발명의 코더 내부 흐름도2 is a coder internal flow diagram of the present invention.

도 3 은 본 발명의 디코더 내부 흐름도3 is a flowchart of a decoder inside the present invention.

도 4 는 본 발명의 입력데이터 포맷 확인 설명도4 is an explanatory diagram of input data format confirmation of the present invention.

도 5 는 본 발명의 2차원 데이터를 1차원 데이터로 배열하는 상태 설명도5 is a state explanatory diagram for arranging two-dimensional data of the present invention into one-dimensional data;

도 6 은 본 발명의 1차원 데이터를 2차원 데이터로 재배열하는 상태 설명도6 is a state explanatory diagram of rearranging one-dimensional data of the present invention into two-dimensional data;

도 7 은 본 발명의 압축과정의 주파수 스펙트럼 변화도7 is a change in frequency spectrum of the compression process of the present invention

도 8 은 본 발명의 주파수의 빈 공간을 찾아 압축하는 상태 설명도8 is a state explanatory diagram for finding and compressing an empty space of a frequency of the present invention.

도 9 는 본 발명의 주파수 대역제한/확장 설명도9 is an explanatory diagram of frequency band limitation / extension of the present invention.

도 10 은 본 발명의 대역확장에 따른 보상 설명도10 is an explanatory diagram of compensation according to the band extension of the present invention.

도 11 은 본 발명의 대역제한에 따른 보상 설명도11 is an explanatory diagram of compensation according to the band limitation of the present invention.

도 12 는 본 발명의 복원에 따른 주파수 스펙트럼 변화도12 is a change in frequency spectrum according to the restoration of the present invention

[도면의 주요부분에 대한 부호의 설명][Explanation of symbols on the main parts of the drawings]

1 : 영상 데이터 2 : 본 발명 코더1: Image data 2: Coder of the present invention

3 : 기존 코더 4 : 압축된 데이터3: existing coder 4: compressed data

5 : 기존 디코더 6 : 본 발명 디코더5: conventional decoder 6: invention decoder

Claims

delete

Checking the format of the image data to be compressed;

Reconstructing the formatted input data into a one-dimensional array;

Dividing the data reconstructed into a one-dimensional array into high and low frequency components,

A process of frequency shifting high frequency components among data separated into low frequency and high frequency components,

Limiting the frequency bands of high and low frequency data,

Interpolating band-limited high frequency data into an empty space of low frequency data,

An image data coding method using frequency interpolation, comprising the steps of reconstructing interleaved one-dimensional data into a two-dimensional array.

3. The method of claim 2, wherein after the format of the image data is confirmed, a process of securing empty space of the data is performed and then the data is reconstructed into a one-dimensional array.

4. The frequency interpolation of claim 3, wherein the frequency component of the image data has an effect of passing an LPF in the longitudinal direction of the two-dimensional data so as to pass a comb filter on the frequency spectrum in order to clear the empty portion. Image data coding method.

The image data coding method using frequency interpolation according to claim 2, wherein the image data is regarded as a matrix and transposed.

The method of claim 2, wherein after separating the low frequency band and the high frequency band, respectively An image data coding method using frequency interpolation, characterized in that the interpolation is performed after band limiting by downsample.

The vertical length of the image data according to claim 2 As seen from An image data coding method using frequency interpolation, wherein the high frequency band is shifted so as to interpolate to a low frequency band.

Confirming the format of the data to be restored,

Separating low and high frequency components from interpolated image data,

Reconstruct each separated component into a one-dimensional array,

The process of extending the data bands of low and high frequency components into the bands before compression,

Reducing the high frequency components to their original positions,

The process of combining high frequency and low frequency data,

A method of coding image data using frequency interpolation, comprising: reconstructing compressed data by performing a process of reconstructing combined one-dimensional data into a two-dimensional array.

The image data coding method using frequency interpolation according to claim 8, wherein the compressed data is extracted and reconstructed through a comb filter.

The low frequency band and the high frequency of the comb filter are implemented by LPF and HPF or LPF or HPF {LPF and HPF} in the longitudinal direction of the two-dimensional data. An image data coding method using frequency interpolation, wherein the band is extracted.

The image data coding method using frequency interpolation according to claim 8, wherein the low frequency band and the high frequency band are each extended by twice, and after performing compensation according to the extension, the signal is reconstructed in the form of frequency spectrum before compression.

The method of claim 8, wherein the horizontal length of the compressed image data In order to preserve the characteristics of the image data before the compression, The method of image data coding using frequency interpolation, characterized in that shifting by and removing the symmetric frequency (mirror image spectrum) by HPF.