KR20140138358A - Apparatus and method for de-interlacing using Local motion compensation - Google Patents
Apparatus and method for de-interlacing using Local motion compensation Download PDFInfo
- Publication number
- KR20140138358A KR20140138358A KR20140060909A KR20140060909A KR20140138358A KR 20140138358 A KR20140138358 A KR 20140138358A KR 20140060909 A KR20140060909 A KR 20140060909A KR 20140060909 A KR20140060909 A KR 20140060909A KR 20140138358 A KR20140138358 A KR 20140138358A
- Authority
- KR
- South Korea
- Prior art keywords
- motion
- block
- image
- motion vector
- flag
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Television Systems (AREA)
Abstract
Description
본 발명은 영역 분류에 의한 움직임 보상 디인터레이싱 장치 및 방법에 관한 것으로, 보다 상세하게는 현재 입력되는 영상필드에 대하여 이전 및 이후 영상에서 움직임의 정보를 추적해 찾아낸 움직임 벡터의 신뢰도를 영역별로 분류 및 테스트하여 신뢰도가 낮은 경우에 높은 신뢰도를 가지는 참조 영상의 블록을 출력하여 보다 높은 화질의 영상을 얻을 수 있도록 해주는 영역 분류에 의한 움직임 보상 디인터레이싱 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for motion compensation deinterlacing based on region classification, and more particularly, to an apparatus and method for motion compensation deinterlacing based on region classification, And more particularly, to a motion compensation deinterlacing apparatus and method using a region classification that outputs a block of a reference image having high reliability in a case where the reliability is low to obtain a higher quality image.
일반적으로 사용자들은 고가의 고화질 TV를 구입하면서 그에 걸맞은 고화질의 화면을 제공받기를 원한다. 현재의 TV 신호는 NTSC 신호로서 짝수 필드와 홀수 필드로 나누어서 전송하고 있으며 이것을 브라운관에서 표시할 때에 브라운관이 가지는 물리적인 특성에 의해서 사람이 보기에 적당한 품질의 영상을 제공한다.In general, users want to buy expensive high-definition TVs and provide them with high-quality screens. The current TV signal is transmitted as an NTSC signal divided into an even field and an odd field. When displaying the TV signal on a cathode ray tube, the cathode ray tube provides an image of a quality suitable for human viewing according to the physical characteristics of the cathode ray tube.
고화질 TV는 LCD나 PDP등의 표시장치를 이용하며, 이들 표시장치는 신호가 연속되어 이루어져 있는 순차 주사 방식을 따르고 있다. 따라서 송신단에서 반으로 줄여서 전송되는 정보를 추적 조사하여 영상을 순차 주사 방식으로 복원하는 디인터레이싱 알고리듬이 반드시 필요하게 된다. 수신된 현재의 영상 필드에서 제거된 정보를 앞 혹은 뒤의 필드에서 찾아서 복원하는 디인터레이싱 알고리듬은 NTSC 신호의 규격이 만들어질 때부터 그 필요성이 대두 되어온 부분이다.The high-definition TV uses a display device such as an LCD or a PDP, and these display devices follow a progressive scanning method in which signals are continuously provided. Therefore, a deinterlacing algorithm is required to track the information transmitted in half by the transmitting end and to reconstruct the image sequentially. The deinterlacing algorithm that finds and restores the information removed from the received current image field in the previous or next field is a necessity since the specification of the NTSC signal has been established.
기존의 TV 디스플레이 방식은 필드 삽입 디인터레이싱과 동일한 동작을 수행하는데 이 방식은 움직임이 적은 영상에서는 우수하지만 움직임이 많은 영상에서는 좋지 않은 품질의 영상을 만들어 낸다. 그러나 실제로는 기존의 TV 브라운관의 물리적 특징과 사람의 시각 시스템이 이를 적절히 보상해서 평균 정도의 품질을 보는 것이다.The conventional TV display method performs the same operation as the field insertion deinterlacing. This method is good for less moving images but produces poor quality images for many moving images. In reality, however, the physical characteristics of existing TV CRTs and the human visual system compensate them appropriately for an average quality.
디인터레이싱 알고리듬은 크게 움직임에 대한 검출을 수행하여 움직임 정도를 판단해서 새로운 정보를 만들어내는 움직임 적응형 디인터레이싱 알고리듬과, 움직임에 대한 보상을 하여 새로운 정보를 만들어 내는 움직임 보상형 디인터레이싱 알고리듬으로 나눌 수 있다.The deinterlacing algorithm can be broadly classified into a motion adaptive deinterlacing algorithm that detects motion and determines new motion information and a motion compensated deinterlacing algorithm that compensates motion to generate new information.
움직임 적응형 디인터레이싱 알고리듬은 움직임의 정도를 검출하여 적절하게 보간을 수행하는 것으로, 가장 간단한 움직임 적용형 알고리듬으로 메디안 필터를 이용한 보간 알고리듬이 있다. 메디안 필터를 이용한 보간 알고리듬은 현재 보간 대상이된 픽셀에서 한 줄 위의 픽셀과 한줄 아래 픽셀 그리고 이전 화면의 픽셀중 중간치를 가지고 와서 보간함으로서 어느정도 움직임 적응이 고려된 화소를 가지고 오게 된다.The motion adaptive deinterlacing algorithm detects the degree of motion and performs interpolation appropriately. There is an interpolation algorithm using the median filter as the simplest motion adaptive algorithm. The interpolation algorithm using the median filter will bring pixels that are subject to motion adaptation by interpolating the pixels that are one line above the current pixel and one pixel below the current interpolation pixel and the median of the pixels of the previous screen.
또한, Grand Alliance ― HDTV (GA-HDTV) 알고리듬이 있다. GA-HDTV 알고리듬은 움직임 외에 에지가 지나가는 정도를 추적하며 현재 필드를 기준으로 앞뒤 2 필드까지 모두 5개의 필드의 움직임을 검출하여 적용함으로서 우수한 성능을 발휘한다. 그러나 5개 필드 분의 메모리를 가지고 있어야 하므로 많은 메모리를 요구하는 것이 단점이다.There is also a Grand Alliance - HDTV (GA-HDTV) algorithm. The GA-HDTV algorithm tracks the extent of edge movement in addition to motion, and shows excellent performance by detecting and applying 5 fields of motion to both front and back fields based on the current field. However, since it requires 5 fields of memory, it requires a lot of memory.
Pixel Classifier 알고리듬은 5개의 필드를 저장한 뒤 이중 3개의 필드의 값을 비교하여 움직임의 크기를 알아낸 뒤 이전 Field의 값과 보간을 수행시의 가중치와 이후 Field의 값과 보간을 수행할 시의 가중치를 결정하는 알고리듬이다. Pixel Classifier 알고리듬은 GA-HDTV 알고리듬에 비해 간단하게 구현할 수 있다. 움직임이 적은 영상에서는 상대적으로 좋은 성능을 나타내지만 움직임이 큰 영상에서는 화질이 나빠지는 특성을 가지고 있으며 또한 5필드 분량의 메모리를 요구한다.The Pixel Classifier algorithm stores five fields, compares the values of the three fields, finds the size of the motion, calculates the weight of the previous field and interpolation, It is an algorithm that determines the weight. The Pixel Classifier algorithm is simpler to implement than the GA-HDTV algorithm. It has relatively good performance in low-motion images, but deteriorates image quality in large-motion images and requires five fields of memory.
움직임 보상형 알고리듬은 연속된 입력 필드에서 움직임이 일정하거나 혹은 탐색 범위 내에 있을 경우에 그 대상을 가지고 와서 화면을 복원하며 탐색 범위를 벗어나면 최적의 값을 유추하여 복원하는 알고리듬이다. 이에 관하여 여러 가지 알고리듬이 제안되고 있으며 대개의 경우 많은 연산량과 메모리를 요구하는 경우가 많다. 또한 단순히 움직임만을 추적하여 보상하는 경우에는 정확한 움직임을 얻어내지 못하게 된다.The motion-compensated algorithm restores the scene when the motion is constant or within the search range in a continuous input field, and reconstructs the optimal value when the motion is out of the search range. Various algorithms have been proposed and often require large amounts of computation and memory. In addition, when the motion is tracked and compensated for, it is impossible to obtain accurate motion.
Successive-Approximation 알고리듬은 대표적인 움직임 보상형 알고리듬으로서 정확한 움직임을 찾아내기 위해서 탐색의 기준이 되는 필드를 시간 성분과 공간성분에서 얻어 낸 뒤에 다시 이를 방향 성분으로 보간하여 움직임 보상의 기준이 되는 필드를 만들어 이를 이용하여 움직임을 보상하는 알고리듬을 제시하였다. 이 알고리듬은 우수한 화질의 디인터레이싱 결과를 얻을 수 있으나 많은 메모리와 복잡한 연산을 수행해야 하므로 실질적으로 하드웨어로 구현하기가 어렵고 비용이 많이든다는 단점이 있다.The successive-approximation algorithm is a typical motion-compensated algorithm. In order to find the correct motion, a successive-approximation algorithm is used to obtain a field as a search reference from temporal and spatial components, Motion compensation algorithm. This algorithm can obtain the deinterlacing result of excellent image quality, but it requires a lot of memory and complicated operation, so it is difficult to implement it in hardware and it is costly.
켄주 알고리듬은 이러한 연산을 좀더 쉽게 수행하기 위하여 움직임 보상을 한 이미지에 대해서 보상된 이미지와 선 평균 보간(Line Average Interpolation)을 수행하여 얻은 이미지와 비교하여 그 차이가 크면 잘못 찾은 움직임에 의한 보상이라 판단하여 선 평균 디인테리싱 알고리듬의 결과 이미지에 더 큰 가중치를 그 차이가 작으면 잘 찾은 움직임에 의한 보상이라 판단하여 움직임 보상에 의해 얻은 이미지에 큰 가중치를 주어서 영상을 디 인터레이싱하는 알고리듬을 제시하였다.In order to more easily perform such an operation, the Kenju algorithm compares the compensated image and the image obtained by performing Line Average Interpolation on the image compensated for motion, and if the difference is large, We propose an algorithm that deinterlaces the image by assigning a larger weight to the resulting image of the line average deinterleaching algorithm and a larger weight to the image obtained by motion compensation, .
이 방식은 다른 움직임 보상 디 인터레이싱 알고리듬에 비해서 구현이 용이하지만 단순히 차이값만을 기준으로 정확히 찾은 것인지를 판단하며, 선 평균 디인터레이싱의 결과만을 기준으로 함으로서 움직임이 적은 영상에서는 오히려 안 좋은 결과를 초래한다.This method is easier to implement than other motion compensated deinterlacing algorithms, but it is judged whether or not it is based on only the difference value. Based on the result of the line average deinterlacing only, the result is rather poor in the motionless image .
이 알고리듬은 다른 움직임 보상형 알고리듬에 비해 상대적으로 적은 영상으로 어느정도 좋은 품질의 영상을 얻을 수 있다는 장점이 있다. 그러나 알고리듬은 찾아낸 움직임 벡터 값이 항상 정확하다는 것을 전제로 해서 디인터레이싱을 수행한다. 그러나 움직임 벡터를 찾아내는 기준 영상이 현재 필드가 아니라 이전 필드에서 찾아내어 현재 필드의 벡터라고 간주함으로서 문제가 생긴다. 이는 켄주 알고리듬에서 사용하는 양방향 움직임 보상에 의한 움직임 벡터 검출 알고리듬이 대상블록의 움직임은 항상 일정한 속도와 일정한 방향으로 움직인다고 가정하기 때문에 생기는 문제이다.This algorithm is advantageous in that it obtains a relatively good image with a relatively small amount of image compared to other motion compensation algorithms. However, the algorithm performs de-interlacing on the assumption that the motion vector values found are always correct. However, a problem arises because the reference image for finding the motion vector is found in the previous field, not in the current field, and is regarded as a vector of the current field. This is a problem caused by the motion vector detection algorithm based on the bidirectional motion compensation used in the Kenju algorithm because the motion of the target block always moves at a constant speed and constant direction.
위의 영상에서 팬스에 있는 H 마크를 보면 정확하게 디 인터레이싱을 수행하지 못함으로서 오히려 않좋은 영상을 만들어 낸 것을 알 수 있다. 이 경우의 움직임 벡터의 값을 검사하면 다음과 같은 사실을 알 수 있다. 도 4, 5에서와 같이 대상의 움직임은 왼쪽 위에서 오른쪽 하단으로 이동을 하였으므로 움직임 벡터가 해당 방향으로 검출되어야 하는데 실제로는 아래 그림과 같이 움직임 벡터의 값이 틀린방향으로 검출된다. 이는 양방향 탐색에 의한 움직임 벡터를 얻을 때에 참조 기준이 되는 영상이 F(t)가 아니라 F(t-1)에서 시작하므로 생기는 문제이다. 이 문제를 해결하기 위해서 Successive??Approximation 알고리듬은 참조 영상을 여러 단계에 걸쳐서 최적화 하여 만들어내고 있다. 그러나 Successive-Approximation 알고리듬은 실제 구현하기에 어려운 많은 연산과 많은 메모리를 필요로 한다.If you look at the H mark on the pans in the above image, you can see that it made a rather bad image because it can not perform the deinterlacing correctly. If the value of the motion vector in this case is examined, the following facts can be known. As shown in FIGS. 4 and 5, since the motion of the target moves from the upper left to the lower right, the motion vector should be detected in the corresponding direction. Actually, the motion vector value is detected in the wrong direction as shown in the following figure. This is a problem that occurs when the reference image is not F (t) but F (t-1) when the motion vector is obtained by bidirectional search. In order to solve this problem, the Successive Approximation algorithm is used to optimize the reference image over several stages. However, the successive-approximation algorithm requires a lot of computation and a lot of memory that are difficult to implement.
즉, 기존의 움직임 보상 디인터레이싱 알고리듬은 움직임의 검출을 통하여 이전 혹은 이후 화면에서 움직임의 정보를 추적해 디인터레이싱을 수행하는데 이는 움직임 적응형 디인터레이싱 알고리듬에 비해 많은 계산량과 메모리를 요구하며, 찾아낸 움직임 벡터가 반드시 정확한 움직임 벡터가 아닐 수 있다는 단점을 가지고 있다.
That is, the conventional motion compensating deinterlacing algorithm performs deinterlacing by tracking motion information on a previous or a subsequent screen through motion detection. This requires more computation amount and memory than the motion adaptive deinterlacing algorithm, It is not an accurate motion vector.
본 발명은 상기와 같은 제반 문제점을 해결하기 위해 발명된 것으로, 본 발명의 목적은 현재 입력되는 영상필드에 대하여 이전 및 이후 영상에서 움직임의 정보를 추적해 찾아낸 움직임 벡터의 신뢰도를 영역별로 분류 및 테스트하여 신뢰도가 낮은 경우에 높은 신뢰도를 가지는 참조 영상의 블록을 출력하여 보다 높은 화질의 영상을 얻을 수 있도록 해주는 영역 분류에 의한 움직임 보상 디인터레이싱 장치 및 방법을 제공함에 그 목적이 있다.
SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and it is an object of the present invention to provide a method and apparatus for classifying and restricting reliability of a motion vector, And to provide a motion compensating deinterlacing apparatus and method by region classification that outputs a block of reference images having high reliability when reliability is low, so that a higher quality image can be obtained.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 실시예에 의한 영역 분류에 의한 움직임 보상 디인터레이싱 장치는, 입력되는 영상필드를 지연하는 지연장치; 상기 지연장치에서 지연된 영상필드를 일정 크기의 블록으로 나눈 후 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터를 검출하는 움직임 벡터 검출부와, 상기 움직임 벡터 검출부에서 검출된 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터의 크기를 이용하여 각 블록의 움직임 플래그를 설정하는 블록 움직임 플래그 설정부, 및 상기 블록 움직임 플래그 설정부에서 설정된 블록 움직임 플래그를 이용하여 일정한 범위 내의 블록들에 대한 부분 움직임 플래그 카운트를 산출하고 시간 축 상에 배열된 다수의 영상필드의 부분 움직임 플래그 카운트를 합하여 일정한 범위 내의 블록들에 대한 삼차원 부분 움직임 플래그 카운트를 산출하는 부분 움직임 플래그 처리부를 포함하는 양방향 움직임 처리부; 및 상기 지연장치에서 지연된 영상필드를 입력받아 선 평균 알고리듬에 의한 순차주사영상과 필드 삽입 알고리듬에 의한 순차주사영상을 각각 생성하여 출력하는 영상 처리부, 및 상기 부분 움직임 플래그 처리부에서 생성된 삼차원 부분 움직임 플래그 카운트를 이용하여 상기 선 평균 알고리듬에 의한 순차주사영상 또는 필드 삽입 알고리듬에 의한 순차주사영상 중 어느 하나의 영상 블록을 참조 블록으로 선택하여 출력하는 참조 블록 처리부를 포함하는 참조 블록 생성기;를 포함할 수 있다.According to an aspect of the present invention, there is provided a motion compensation deinterlacing apparatus comprising: a delay unit for delaying an input video field; A motion vector detector for dividing an image field delayed by the delay device into blocks of a predetermined size and then detecting an inverse motion vector and a forward motion vector of each block; and a motion vector detector for detecting a backward motion vector and a forward motion vector of each block detected by the motion vector detector, A block motion flag setting unit for setting a motion flag of each block using a size of the block motion flag setting unit and a block motion flag set in the block motion flag setting unit to calculate a partial motion flag count for blocks within a certain range, A partial motion flag processing unit for calculating a three-dimensional partial motion flag count for blocks within a certain range by summing the partial motion flag counts of the plurality of video fields arranged on the motion picture flag field; And an image processing unit for receiving the delayed image field from the delay device and generating and outputting a progressive scan image by a line average algorithm and a progressive scan image by a field insertion algorithm, respectively, and a three-dimensional partial motion flag And a reference block processor for selecting one of the progressive scan image by the line average algorithm or the progressive scan image by the field insertion algorithm as a reference block using the count and outputting the reference block, have.
상기 부분 움직임 플래그 카운트(LMC)는 의 수학식에 의해 산출되고, 상기 수학식에서 는 현재 블록의 좌표이고, 은 부분 움직임 플래그 카운트의 참조 범위일 수 있다.The partial motion flag count (LMC) , And in the above equation Is the coordinates of the current block, May be the reference range of the partial motion flag count.
상기 삼차원 부분 움직임 플래그 카운트(3D LMC)는 의 수학식에 의해 산출되고, 상기 수학식에서 는 삼차원 부분 움직임 플래그 카운트이고, 는 시간 t의 영상필드의 부분 움직임 플래그 카운트이며, 는 시간 축 상에서 참조할 프레임의 수일 수 있다.The three-dimensional partial motion flag count (3D LMC) , And in the above equation Is a three-dimensional partial motion flag count, Is the partial motion flag count of the video field at time t, May be the number of frames to be referred to on the time axis.
상기 참조 블록 처리부는, 상기 삼차원 부분 움직임 플래그 카운트가 임계치보다 크면 필드 삽입 아고리듬에 의해 생성된 블록을 선택하고, 임계치보다 작으면 선 평균 알고리듬에 의해 생성된 블록을 선택할 수 있다.The reference block processing unit may select a block generated by the field insertion algorithm if the three-dimensional partial motion flag count is larger than the threshold value, and may select a block generated by the line average algorithm if the count is smaller than the threshold value.
상기 움직임 벡터 검출부에서 검출된 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터의 크기를 이용하여 상기 입력되는 영상필드에 대한 움직임 보상을 처리하는 움직임 보상 처리부;를 더 포함할 수 있다.And a motion compensation processor for processing motion compensation for the input image field using the size of the forward motion vector and the backward motion vector of each block detected by the motion vector detector.
상기 움직임 보상 처리부에 의해 보상된 영상필드는 의 수학식에 의해 산출되고, 상기 수학식에서 는 보상된 영상필드이고, 는 역방향 움직임 보상 가중치이며, 는 역방향 움직임 벡터이고, 는 순방향 움직임 벡터이며, 는 순방향 움직임 보상 가중치일 수 있다.The video field compensated by the motion compensation processing unit , And in the above equation Is a compensated video field, Is a backward motion compensation weight, Is a backward motion vector, Is a forward motion vector, May be the forward motion compensation weight.
상기 움직임 보상 처리부에서 움직임 보상 처리에 의하여 얻은 영상필드 중에서 움직임 보상 블록을 선택하여 출력하는 움직임 보상 블록 출력부;를 더 포함할 수 있다.And a motion compensation block output unit for selecting and outputting a motion compensation block among the image fields obtained by the motion compensation process in the motion compensation processing unit.
상기 움직임 보상 블록 출력부에서 출력되는 움직임 보상 블록과 상기 참조 블록 처리부에서 출력되는 참조 블록의 차이값을 검출하여, 상기 차이값이 일정 크기 이상이면 상기 참조 블록이 포함된 영상을 화면으로 출력하고 그렇지 않으면 상기 움직임 보상 처리부에서 움직임 보상 처리에 의하여 얻은 영상을 화면으로 출력하는 영상 출력 제어부;를 더 포함할 수 있다.A difference between the motion compensation block output from the motion compensation block output unit and the reference block output from the reference block processing unit is detected, and if the difference is greater than or equal to a predetermined size, And outputting the image obtained by the motion compensation processing in the motion compensation processing unit to the screen.
상기 블록 움직임 플래그 설정부는, 각 블록의 움직임 벡터의 값이 미리 설정된 임계값보다 크면 해당 블록의 움직임 플래그를 '1'로 설정하고, 작으면 '0'으로 설정할 수 있다.The block motion flag setting unit may set the motion flag of the corresponding block to '1' if the value of the motion vector of each block is greater than a predetermined threshold value, and may set it to '0' if it is smaller.
본 발명의 다른 실시예에 의한 영역 분류에 의한 움직임 보상 디인터레이싱 방법은, 영상필드를 입력받아 선 평균 알고리듬에 의한 순차주사영상과 필드 삽입 알고리듬에 의한 순차주사영상을 각각 생성하는 단계; 상기 영상필드를 입력받아 일정 크기의 블록으로 나눈 후 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터를 검출하는 단계; 상기 검출된 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터의 크기를 이용하여 각 블록의 부분 움직임 플래그를 설정하는 단계; 시간 축 상에 배열된 다수의 영상필드의 부분 움직임 플래그 플래그 카운트를 합하여 일정한 범위 내의 블록들에 대한 삼차원 부분 움직임 플래그 카운트를 산출하는 단계; 및 상기 삼차원 부분 움직임 플래그 카운트를 이용하여 상기 선 평균 알고리듬 에 의한 순차주사영상 또는 필드 삽입 알고리듬에 의한 순차주사영상 중 어느 하나의 영상 블록을 참조 블록으로 선택하여 출력하는 단계;를 포함할 수 있다.According to another aspect of the present invention, there is provided a method of deinterlacing motion compensation by area classification, comprising: generating a progressive scan image by a line averaging algorithm and a progressive scan image by a field insertion algorithm, respectively, Dividing the image field into blocks of a predetermined size, and detecting a backward motion vector and a forward motion vector of each block; Setting a partial motion flag of each block using the detected backward motion vector and forward motion vector of each block; Calculating a three-dimensional partial motion flag count for blocks within a certain range by summing partial motion flag flag counts of a plurality of video fields arranged on a time axis; And selecting one of the progressive scan image by the line average algorithm or the progressive scan image by the field insertion algorithm using the three-dimensional partial motion flag count as a reference block and outputting the selected block.
상기 부분 움직임 플래그 카운트(LMC)는 의 수학식에 의해 산출되고, 상기 수학식에서 는 현재 블록의 좌표이고, 은 부분 움직임 플래그 카운트의 참조 범위일 수 있다.The partial motion flag count (LMC) , And in the above equation Is the coordinates of the current block, May be the reference range of the partial motion flag count.
상기 삼차원 부분 움직임 플래그 카운트(3D LMC)는 의 수학식에 의해 산출되고, 상기 수학식에서 는 삼차원 부분 움직임 플래그 카운트이고, 는 시간 t의 영상필드의 부분 움직임 플래그 카운트이며, 는 시간 축 상에서 참조할 프레임의 수일 수 있다.The three-dimensional partial motion flag count (3D LMC) , And in the above equation Is a three-dimensional partial motion flag count, Is the partial motion flag count of the video field at time t, May be the number of frames to be referred to on the time axis.
상기 검출된 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터의 크기를 이용하여 상기 입력되는 영상필드에 대한 움직임 보상을 처리하는 단계;를 더 포함할 수 있다.And processing motion compensation for the input image field using the detected backward motion vector and forward motion vector of each block.
움직임 보상을 처리하는 단계는, 의 수학식에 의해 산출되고, 상기 수학식에서 는 보상된 영상필드이고, 는 역방향 움직임 보상 가중치이며, 는 역방향 움직임 벡터이고, 는 순방향 움직임 벡터이며, 는 순방향 움직임 보상 가중치일 수 있다.The step of processing motion compensation comprises: , And in the above equation Is a compensated video field, Is a backward motion compensation weight, Is a backward motion vector, Is a forward motion vector, May be the forward motion compensation weight.
상기 움직임 보상 처리에 의하여 얻은 영상 중에서 움직임 보상 블록을 선택하여 출력하는 단계;를 더 포함할 수 있다.And selecting and outputting a motion compensation block from among the images obtained by the motion compensation process.
상기 참조 블록과 움직임 보상 블록의 차이값을 검출하여, 상기 차이값이 일정 크기 이상이면 상기 참조 블록이 포함된 영상을 화면으로 출력하고 그렇지 않으면, 움직임 보상 처리에 의하여 얻은 영상을 화면으로 출력하는 단계;를 더 포함할 수 있다.
Detecting a difference value between the reference block and the motion compensation block and outputting the image including the reference block to the screen if the difference value is greater than or equal to a predetermined size, ; ≪ / RTI >
상기와 같이 구성에 따르면, 본 발명에 따른 영역 분류에 의한 움직임 보상의 디인터레이싱 장치는, 순방향 움직임 벡터와 역방향 움직임 벡터를 검출하여 기 위한 참조 영상을 영상의 각 블록의 움직임의 크기를 가지고 결정하며, 선택된 참조 영상을 찾아낸 움직임 보상 영상과 비교하여 그 차이가 크면 찾아낸 움직임 영상의 신뢰도가 낮은 것으로 판단하여 참조 영상을 출력하고 작으면 움직임 영상을 정확하게 찾은 것으로 판단하여 움직임 보상된 영상을 출력함으로서 화면을 순차영상으로 변환할 수 있다.According to the above configuration, in the deinterlacing apparatus for motion compensation according to the present invention, the reference image for detecting the forward motion vector and the backward motion vector is determined based on the motion size of each block of the image, Compares the selected reference image with the motion compensated image, and if the difference is large, it is determined that the reliability of the detected motion image is low and the reference image is output. If the difference is small, it is determined that the motion image has been found correctly and the motion compensated image is outputted. Image.
또한, 본 발명에 따른 영역 분류에 의한 움직임 보상의 디인터레이싱 장치는 화면을 적절하게 작은 블록단위로 처리하여 스트리밍 데이터 단위로 처리할 수 있도록 구현됨으로서 최소의 메모리와 적은 연산량으로 고속으로 동작할 수 있다.In addition, the deinterlacing apparatus for motion compensation according to the present invention can process a screen in a unit of small blocks appropriately and process it in units of streaming data, so that it can operate at a minimum memory and a small amount of calculation at a high speed.
또한, 본 발명에 따른 영역 분류에 의한 움직임 보상의 디인터레이싱 장치는 시간 축 상에 배열된 다수의 영상필드에서 계산된 삼차원 부분 움직임 플래그 카운트를 이용하여 선 평균 알고리듬에 의한 순차주사영상 또는 필드 삽입 알고리듬에 의한 순차주사영상 중의 하나를 선택함으로써 디인터레이싱 성능이 향상되어 높은 화질의 영상을 얻을 수 있다.
Also, the apparatus for deinterlacing motion compensation according to the present invention may further include a motion estimation unit for performing motion compensation on a progressive scanning image or a field insertion algorithm using a linear average algorithm using a three-dimensional partial motion flag count calculated in a plurality of image fields arranged on a time axis. The deinterlacing performance is improved and a high quality image can be obtained.
도 1 은 본 발명에 따른 영역 분류에 의한 움직임 보상의 디인터레이싱 장치의 구성을 도시한다.
도 2a 내지 도 2o 는 본 발명에 따른 본 발명에 따른 영역 분류에 의한 움직임 보상의 디인터레이싱 장치에서 사용하는 프로세서를 설명하기 위한 수학식이다.
도 3 은 본 발명에 따른 영역 분류에 의한 움직임 보상 디인터레이싱 방법의 흐름도이다.
도 4 는 종래 움직임 보상형 알고리듬에서 잘못 찾은 움직임 벡터에 의한 디인터레이싱 결과 영상을 도시한다.
도 5는 종래 움직임 보상형 알고리듬에서 잘못 추적하는 움직임 벡터를 설명하기 위한 예시도이다.FIG. 1 shows a configuration of a motion compensation deinterlacing apparatus according to the present invention.
FIGS. 2A to 2O are mathematical expressions for explaining a processor used in a motion compensation deinterlacing apparatus according to the present invention.
3 is a flowchart of a motion compensation deinterlacing method according to the present invention.
FIG. 4 illustrates a deinterlacing result image based on a motion vector erroneously found in a conventional motion compensation type algorithm.
FIG. 5 is an exemplary diagram for explaining a motion vector that is erroneously tracked in a conventional motion compensation type algorithm.
이하, 첨부된 도면을 참조하여 전술한, 그리고 추가적인 양상을 기술되는 바람직한 실시예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to the present embodiments of the present invention, examples of which are illustrated in the accompanying drawings, wherein like reference numerals refer to the like elements throughout.
본 발명에 따른 영역 분류에 의한 움직임 보상의 디인터레이싱 장치는, 움직임의 크기를 검출하기 위해 입력된 필드를 일정 크기의 블록으로 나눈 후 각 블록의 움직임 벡터를 검출한다. 검출된 움직임 벡터의 크기가 일정 크기 이상인 경우 해당 블록의 움직임 플래그를'1'로 설정한다. 움직임 보상된 이미지에 대해서 비교를 해야할 참조 블록을 선 평균 알고리듬의 이미지를 가지고 올지 혹은 필드 삽입 알고리듬의 결과 이미지를 가지고 올지를 결정하기 위해서 대상 블록 외에 인접한 일정 영역의 움직임 플래그의 개수를 확인하여 비교할 참조 이미지를 결정한다.The apparatus for deinterlacing motion compensation by region classification according to the present invention divides an input field into blocks of a predetermined size and detects a motion vector of each block in order to detect the magnitude of motion. If the size of the detected motion vector is equal to or larger than a predetermined size, the motion flag of the corresponding block is set to '1'. To determine whether a reference block to be compared for a motion compensated image is to be taken with an image of a line average algorithm or to take a result image of a field insertion algorithm, the number of motion flags in an adjacent predetermined area other than the target block is checked, Determine the image.
본 발명에 따른 영역 분류에 의한 움직임 보상의 디인터레이싱 장치는, 도 1에 도시한 바와 같이, 크게 입력되는 영상필드(f(t))를 지연하는 지연장치(110)와, 참조 블록 생성기(120)와, 양방향 움직임 보상기(130)와 영상 출력 제어부(140)를 포함하여 구현된다.1, a de-interlacing apparatus for motion compensation according to the present invention includes a
지연장치(110)는 제1, 제2 샘플 메모리로 구현된다. 참조 블록 생성기(120)는 필드 삽입 디인터레이싱기와 선 평균 디인터레이싱기를 포함하는 영상 처리부(121)와, 참조 블록 처리부(122)를 포함한다.The
영상 처리부(121)는 지연장치(110)에서 지연된 영상필드를 입력받아 선 평균 알고리듬에 의한 순차주사영상과 필드 삽입 알고리듬에 의한 순차주사영상을 각각 생성하여 출력한다. 필드 삽입 알고리듬은 도 2a에 도시한 바와 같이 현재 필드의 구성에 필요한 정보를 한 필드 이전 필드에서 가지고 온다. 필드 삽입 알고리듬은 움직임이 작은 영상에 대해서 우수한 디인터레이싱 결과를 보인다.The
선 평균 알고리듬은 도 2b에 도시한 바와 같이 현재 필드의 영상만을 가지고 보간을 수행한다. 현재 라인에서 상위 1 라인의 값과 하위 1 라인의 값의 평균을 출력으로한다. 선 평균 알고리듬은 움직임이 많은 영상에서 우수한 디인터레이싱 결과를 보인다.The line average algorithm performs the interpolation using only the image of the current field as shown in FIG. 2B. Outputs the average of the value of the upper 1 line and the value of the lower 1 line in the current line. Linear averaging algorithms show good deinterlacing results in motion-rich images.
참조 블록 처리부(122)는 양방향 움직임 보상기(130)에서 생성된 부분 움직임 플래그 테이블을 이용하여, 선 평균 알고리듬에 의한 순차주사영상 또는 필드 삽입 알고리듬에 의한 순차주사영상 중 어느 하나의 영상 블록을 참조 블록으로 선택하여 출력한다.The reference
양방향 움직임 보상기(130)는 움직임 벡터 검출부(131)와, 블록 움직임 플래그 설정부(132)와, 부분 움직임 플래그 처리부(133)와, 움직임 보상 처리부(134)와, 움직임 보상 블록 출력부(135)를 포함하여 구현된다.The
움직임 벡터 검출부(131)는 지연장치(110)에서 지연된 영상필드를 입력받아 일정 크기의 블록으로 나눈 후 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터를 검출한다. 움직임 벡터 검출부(131)는 현재 필드의 임의의 블록을 , 해당 블록의 후보 움직임 벡터는 로 정의하면, 도 2c 및 도 2d에 도시한 바와 같이, 시간 축선상에서 이전 시간 및 이후 시간에 대해서 양방향으로 움직임 벡터를 검출하여 영상을 보상하므로 하나의 블록에 대해서 2개의 벡터를 검출하는데, 하나는 후 프레임에 대한 움직임 벡터로 로 나타내며 나머지 하나는 이전 움직임에 대한 벡터로 으로 나타낸다.The motion
블록 움직임 플래그 설정부(132)는 움직임 벡터 검출부(131)에서 검출된 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터의 크기를 이용하여 각 블록의 움직임 플래그를 설정한다. 블록 움직임 플래그 설정부(132)는 임의의 블록의 움직임 벡터의 크기가 일정 크기 이상일 경우를 가지고 판단한다. 일례로, 블록 움직임 플래그 설정부(132)는 도 2e에 도시한 바와 같이, 블럭 에서의 움직임 벡터의 값이 미리 설정된 임계값 () 보다 크면 해당 블록의 움직임 플래그를 '1'로 설정하고 보다 작으면 '0'으로 설정한다.The block motion
부분 움직임 플래그 처리부(133)는 도 2f, 도 2g에 도시한 바와 같이, 블록 움직임 플래그 설정부(132)에서 설정된 블록 움직임 플래그를 이용해 일정한 범위 내의 블록들에 대한 부분 움직임 플래그 카운트 산출하여 부분 움직임 플래그 테이블을 생성한다. As shown in FIGS. 2F and 2G, the partial motion
도 2f에는 부분 움직임 플래그 카운트를 계산하기 위한 수학식이 도시되어 있다.FIG. 2F shows a formula for calculating the partial motion flag count.
하나의 필드를 보간 할 때 전체 움직임 플래그의 개수를 가지고 하면 어느 정도 좋은 성능을 가질 수 있지만 부분적으로 움직임이 있거나 부분적으로 움직임이 없는 경우에 대해서 잘못된 판단을 수행하게 된다. 따라서 적당한 범위의 블록의 움직임 플래그의 개수인 부분 움직임 플래그 카운트(LMC: local motion flag count)만을 사용하여 기준 이미지를 선택하면 좋은 결과를 가지고 온다.When interpolating one field, it is possible to have a good performance by having the number of all motion flags, but it makes a wrong decision in case of partial motion or partial motion. Therefore, selecting a reference image using only a local motion flag count (LMC), which is the number of motion flags in an appropriate range of blocks, has a good result.
한편, 상기 부분 움직임 플래그 처리부(133)는 시간 성분을 추가하여 부분 움직임 플래그 카운트(LMC)를 계산할 수 있다.Meanwhile, the partial
구체적으로, 도 2k에 도시된 바와 같이 n번째 영상필드는 frmae(n)으로 표시하고, n번째 영상필드의 특정 블록의 위치를 bx, by로 표시하면, n번째 영상필드의 LMC는 LMC(bx, by)로 표시할 수 있다.Specifically, if the nth image field is represented by frmae (n) and the position of a specific block of the nth image field is represented by bx, by, as shown in FIG. 2K, the LMC of the nth image field is LMC (bx , by).
도 2l 에 도시된 바와 같이, 시간 축 상에 다수의 영상필드를 배치하여 시간 축 상에 배열된 각 영상필드의 LMC를 표시하면 다음과 같다.As shown in FIG. 21, the LMC of each image field arranged on the time axis is displayed by arranging a plurality of image fields on the time axis as follows.
즉, 시간 t에서 영상필드의 LMC는 LMC(t, bx, by), 시간 t-1에서 영상필드의 LMC는 LMC(t-1, bx, by), 그리고 시간 t+1에서 영상필드의 LMC는 LMC(t+1, bx, by)로 표시할 수 있다.That is, LMC of the image field at time t is LMC (t, bx, by), LMC of the image field at time t-1 is LMC Can be expressed by LMC (t + 1, bx, by).
이를 이용하여 3D LMC를 구하는 수식은 도 2m에 도시되어 있다. 도 2m에 도시된 바와 같이, 시간 축 상에 배열된 다수 영상필드의 LMC를 합하여 삼차원 부분 움직임 플래그 카운트 (3D LMC)를 계산할 수 있다.The formula for obtaining the 3D LMC using this is shown in FIG. As shown in FIG. 2m, the LMCs of the multiple image fields arranged on the time axis can be summed to calculate the 3D motion flag count (3D LMC).
도 2m에 도시된 수식을 그림으로 표현하면, 도 2n과 같이 표현할 수 있다. 도 2m에서 만약 세 개의 영상필드만을 이용하여 3D LMC를 계산하면 다음과 같다. The expression shown in FIG. 2m can be expressed as shown in FIG. 2n. In FIG. 2m, if 3D LMC is calculated using only three image fields, it is as follows.
이와 같이 얻어진 3D LMC는 시간 성분 상에서 LMC를 누적하여 얻어지는 것이다.The 3D LMC thus obtained is obtained by accumulating LMC on the time component.
움직임 보상 처리부(134)는 도 2h에 도시한 바와 같이, 움직임 벡터 검출부(131)에서 검출된 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터의 크기를 이용하여 입력되는 영상필드에 대한 움직임을 보상 처리한다. 움직임 보상 블록 출력부(135)는 움직임 보상 처리부(134)에서 움직임 보상 처리에 의하여 얻은 영상 중에서 움직임 보상 블록을 선택하여 출력한다.The motion
상기 움직임 보상 처리부(134)는 모션을 탐색하는 과정에서 현재의 필드에 존재하는 정보와 이전 필드의 어떤 위치에서 모션이 이동해 왔는지와 함께 다음 필드의 어디로 모션이 이동해 가는지를 탐색하여 그 값을 보상하는 양방향 움직임을 보상한다.The motion
상기 움직임 보상 처리부(134)에 의해 필드를 보상하는 방법에 관한 수식은 도 2h에 도시된 바와 같다.The equation for the method of compensating the field by the motion
영상 출력 제어부(140)는 도 2j에 도시한 바와 같이, 움직임 보상 블록 출력부(135)에서 출력되는 움직임 보상 블록과 참조블록 처리부(122)에서 출력되는 참조 블록의 차이값을 검출한다. The image
참조블록 처리부(122)는 부분 움직임 플래그 처리부(133)에서 생성된 부분 움직임 플래그 테이블을 이용하여, 선 평균 알고리듬에 의한 순차주사영상 또는 필드 삽입 알고리듬에 의한 순차주사영상 중 어느 하나의 영상 블록을 참조 블록으로 선택하여 출력한다. The reference
즉, 참조블록 처리부(122)는 도 2i에 도시한 바와 같이, 움직임이 많은 경우 필드 삽입 알고리듬에 의한 순차주사영상의 참조 블록을, 움직임이 적은 경우에는 선 평균 알고리듬에 의한 순차주사영상의 참조 블록을 선택한다.That is, as shown in FIG. 2I, the reference
또한, 상기 참조블록 처리부(122)는 상기 부분 움직임 플래그 처리부(133)에서 계산된 3D LMC를 이용하여 필드 삽입 알고리듬에 의한 순차주사영상의 참조 블록을 선택할 것인지, 선 평균 알고리듬에 의한 순차주사영상의 참조 블록을 선택할 것인지 판단할 수 있다.In addition, the
즉, 도 2o에 도시된 바와 같이, 상기 참조 블록 처리부(122)는 상기 부분 움직임 플래그 처리부(133)에서 구한 3D LMC가 임계치보다 크면 필드 삽입 알고리듬에 의해 생성된 블록을 선택한다. 그러나 3D LMC가 임계치보다 작으면 선 평균 알고리듬에 의해 생성된 블록을 선택한다.That is, as shown in FIG. 20, the reference
이와 같이, 시간 성분을 포함하여 계산된 3D LMC를 이용하여 필드 삽입 알고리듬에 의해 생성된 블록을 선택할 것인지, 또는 선 평균 알고리듬에 의해 생성된 블록을 선택할 것인지를 판단함으로써, 더욱 정확한 디인터레이싱이 이루어질 수 있다. 따라서 높은 화질의 영상을 얻을 수 있다.Thus, more accurate deinterlacing can be achieved by determining whether to select a block generated by the field insertion algorithm or a block generated by the line averaging algorithm using the 3D LMC computed with time components . Therefore, a high-quality image can be obtained.
영상 출력 제어부(140)는 움직임 보상 블록 출력부(135)에서 출력되는 움직임 보상 블록과 참조블록 처리부(122)에서 출력되는 참조 블록의 차이값이 일정 크기 이상 크다면 움직임 보상 블록이 잘못 보상되어 얻은 결과로 인식을 하고 참조 블록을 출력 블록으로 결정한다. 영상 출력 제어부(140)는 차이값이 일정 크기 이하이면 움직임 보상 블록을 출력 블록으로 선택한다.If the difference between the motion compensation block output from the motion compensation
영상 출력 제어부(140)는 움직임 보상 블록 출력부(135)에서 출력되는 움직임 보상 블록과 참조블록 처리부(122)에서 출력되는 참조 블록의 차이값이 일정 크기 이상이면 참조 블록이 포함된 영상을 화면으로 출력하고 그렇지 않으면 움직임 보상 처리부(134)에서 움직임 보상 처리에 의하여 얻은 영상을 화면으로 출력한다.If the difference between the motion compensation block output from the motion compensation
본 발명에 따른 영역 분류에 의한 움직임 보상 디인터레이싱 방법은 도 3 에 도시한 바와 같이, 먼저, 영상필드를 입력받아 선 평균 알고리듬에 의한 순차주사영상과 필드 삽입 알고리듬에 의한 순차주사영상을 각각 생성한다(S310). 이후, 영상필드를 입력받아 일정 크기의 블록으로 나눈 후 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터를 검출한다(S320).As shown in FIG. 3, the motion compensation deinterlacing method according to the present invention generates a progressive scan image by a line average algorithm and a progressive scan image by a field insertion algorithm, respectively, by receiving an image field S310). Thereafter, the image field is divided into blocks of a predetermined size, and the backward motion vector and the forward motion vector of each block are detected (S320).
이후, 검출된 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터의 크기를 이용하여 상기 입력되는 영상필드에 대한 움직임 보상을 처리한다(S330). 이후, 움직임 보상 처리에 의하여 얻은 영상 중에서 움직임 보상 블록을 선택하여 출력한다(S340).Thereafter, motion compensation for the input image field is performed using the detected backward motion vector and the forward motion vector of each block (S330). Thereafter, the motion compensation block is selected from among the images obtained by the motion compensation process and output (S340).
한편, 단계 S330에서 검출된 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터의 크기를 이용하여 각 블록의 움직임 플래그를 설정한다(S335). Meanwhile, a motion flag of each block is set using the size of the forward motion vector and the backward motion vector of each block detected in step S330 (S335).
설정된 블록 움직임 플래그를 이용해 일정한 범위 내의 블록들에 대한 부분 움직임 플래그 카운트를 산출하여 부분 움직임 플래그 테이블을 생성한다(S345). A partial motion flag count for a block within a certain range is calculated using the set block motion flag to generate a partial motion flag table (S345).
시간 축 상에 배열된 다수의 영상필드의 부분 움직임 플래그 카운트를 합하여 일정한 범위 내의 블록들에 대한 삼차원 부분 움직임 플래그 카운트를 산출한다(S350).The partial motion flag counts of the plurality of image fields arranged on the time axis are summed up to calculate the three-dimensional partial motion flag count for blocks within a certain range (S350).
생성된 부분 움직임 플래그 테이블을 이용하여, S310 단계에서 생성된 선 평균 알고리듬에 의한 순차주사영상 또는 필드 삽입 알고리듬에 의한 순차주사영상 중 어느 하나의 영상 블록을 참조 블록으로 선택하여 출력한다(S355).In step S355, the generated partial motion flag table is used to select one of the progressive scan image by the line average algorithm generated in step S310 or the progressive scan image by the field insertion algorithm as a reference block.
참조 블록과 움직임 보상 블록의 차이값을 검출하여, 상기 차이값이 일정 크기 이상이면 상기 참조 블록이 포함된 영상을 화면으로 출력하고 그렇지 않으면 상기 움직임 보상 처리부에서 움직임 보상 처리에 의하여 얻은 영상을 화면으로 출력한다(S365).The motion compensating unit detects the difference value between the reference block and the motion compensation block and outputs the image including the reference block to the screen if the difference value is equal to or larger than a predetermined size, (S365).
기존의 알고리듬이 움직임 탐색의 결과가 항상 정확하다는 전제 하에서 동작하므로 제대로 찾지 못하는 경우에 대해서는 정확한 디인터레이싱이 이루어지지 않는 경우가 많았다. 본 발명에 따른 영역 분류에 의한 움직임 보상 디인터레이싱 장치 및 방법은 움직임 벡터를 정확하게 찾았는지에 대해 참조 블록과 비교하여 부정확하게 찾았을 경우와 정확하게 찾았다고 판단될 경우에 대해서 출력 영상을 결정하였다. 또한 참조 블록을 결정하는 과정에서 영상의 전체를 가지고 결정하는 것이 아니라 대상 블록의 인접 블록만을 가지고 판단함으로서 더욱 정확도를 높일 수 있었다.Since the existing algorithm operates under the assumption that the result of motion search is always correct, accurate deinterlacing is often not performed when it is not found properly. The motion compensation deinterlacing apparatus and method according to the present invention compares the motion vector with a reference block to determine whether the motion vector has been correctly detected and determines an output image when it is determined that the motion vector has been found inaccurately or inaccurately. In addition, in the process of determining the reference block, it is possible to increase the accuracy by judging only the adjacent block of the target block, not by determining the whole image.
실험 결과 제안한 방법은 필드 삽입 알고리듬에 비해 2.7973 [dB] 선 평균 알고리듬에 비하여 1.5662 [dB] 높은 PSNR을 나타났다.Experimental results show that the proposed method has a PSNR of 1.5662 [dB] higher than the 2.7973 [dB] line average algorithm compared to the field insertion algorithm.
본 발명에 따른 영역 분류에 의한 움직임 보상 디인터레이싱 장치 및 방법은 움직임 검출할 때 얻어지는 움직임 벡터를 재 사용함으로서 상대적으로 적은 메모리와 간단한 계산으로 이루어져 있어 실제 하드웨어로 구현할 때에 다른 움직임 보상 디인터레이싱 알고리듬에 배해 쉽게 구현된다는 장점을 가지고 있다. 따라서 SoC로 구현시에 적은 하드웨어와 메모리로 구현할 수 있다.The apparatus and method for motion compensation deinterlacing according to the present invention are made up of a relatively small amount of memory and simple calculations by reusing motion vectors obtained by motion detection, so that they can be easily implemented by other motion compensation deinterlacing algorithms . Therefore, it can be realized with fewer hardware and memory when implementing with SoC.
지금까지, 본 명세서에는 본 발명이 속하는 기술 분야에서 통상의 지식을 지닌 자가 본 발명을 용이하게 이해하고 재현할 수 있도록 도면에 도시한 실시 예들 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술 분야에 통상의 지식을 지닌 자라면 본 발명의 실시 예들로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허 청구범위에 의해서만 정해져야 할 것이다.
While the invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the scope of the present invention. Accordingly, the true scope of the present invention should be determined only by the appended claims.
110: 지연장치
120: 참조 블록 생성기
121: 영상 처리부
122: 참조 블록 처리부
130: 양방향 움직임 보상기
131: 움직임 벡터 검출부
132: 블록 움직임 플래그 검출부
133: 부분 움직임 플래그 처리부
134: 움직임 처리 보상부
135: 움직임 보상 블록 출력부
140: 영상 출력 제어부110: Delay device
120: reference block generator
121:
122: reference block processor
130: Bi-directional motion compensator
131: Motion vector detection unit
132: Block motion flag detection unit
133: partial motion flag processing unit
134: motion processing compensation section
135: Motion compensation block output unit
140: Video output control unit
Claims (16)
상기 지연장치에서 지연된 영상필드를 일정 크기의 블록으로 나눈 후 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터를 검출하는 움직임 벡터 검출부와, 상기 움직임 벡터 검출부에서 검출된 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터의 크기를 이용하여 각 블록의 움직임 플래그를 설정하는 블록 움직임 플래그 설정부, 및 상기 블록 움직임 플래그 설정부에서 설정된 블록 움직임 플래그를 이용하여 일정한 범위 내의 블록들에 대한 부분 움직임 플래그 카운트를 산출하고 시간 축 상에 배열된 다수의 영상필드의 부분 움직임 플래그 카운트를 합하여 일정한 범위 내의 블록들에 대한 삼차원 부분 움직임 플래그 카운트를 산출하는 부분 움직임 플래그 처리부를 포함하는 양방향 움직임 처리부; 및
상기 지연장치에서 지연된 영상필드를 입력받아 선 평균 알고리듬에 의한 순차주사영상과 필드 삽입 알고리듬에 의한 순차주사영상을 각각 생성하여 출력하는 영상 처리부, 및 상기 부분 움직임 플래그 처리부에서 생성된 삼차원 부분 움직임 플래그 카운트를 이용하여 상기 선 평균 알고리듬에 의한 순차주사영상 또는 필드 삽입 알고리듬에 의한 순차주사영상 중 어느 하나의 영상 블록을 참조 블록으로 선택하여 출력하는 참조 블록 처리부를 포함하는 참조 블록 생성기;
를 포함하는 것을 특징으로 하는 영역 분류에 의한 움직임 보상 디인터레이싱 장치.
A delay device for delaying an input video field;
A motion vector detector for dividing an image field delayed by the delay device into blocks of a predetermined size and then detecting an inverse motion vector and a forward motion vector of each block; and a motion vector detector for detecting a backward motion vector and a forward motion vector of each block detected by the motion vector detector, A block motion flag setting unit for setting a motion flag of each block using a size of the block motion flag setting unit and a block motion flag set in the block motion flag setting unit to calculate a partial motion flag count for blocks within a certain range, A partial motion flag processing unit for calculating a three-dimensional partial motion flag count for blocks within a certain range by summing the partial motion flag counts of the plurality of video fields arranged on the motion picture flag field; And
An image processor for receiving a delayed image field from the delay device and generating and outputting a progressive scan image by a line averaging algorithm and a progressive scan image by a field insertion algorithm, A reference block generator for selecting one of a progressive scan image by the line average algorithm or a progressive scan image by a field insertion algorithm as a reference block and outputting the selected reference block;
Wherein the motion compensation deinterlacing unit comprises:
상기 부분 움직임 플래그 카운트(LMC)는 의 수학식에 의해 산출되고,
상기 수학식에서 는 현재 블록의 좌표이고, 은 부분 움직임 플래그 카운트의 참조 범위인 것을 특징으로 하는 영역 분류에 의한 움직임 보상 디인터레이싱 장치.
The method according to claim 1,
The partial motion flag count (LMC) Is calculated by the following equation,
In the above equation Is the coordinates of the current block, Is a reference range of the partial motion flag count.
상기 삼차원 부분 움직임 플래그 카운트(3D LMC)는 의 수학식에 의해 산출되고,
상기 수학식에서 는 삼차원 부분 움직임 플래그 카운트이고, 는 시간 t의 영상필드의 부분 움직임 플래그 카운트이며, 는 시간 축 상에서 참조할 프레임의 수인 것을 특징으로 하는 영역 분류에 의한 움직임 보상 디인터레이싱 장치.
The method according to claim 1,
The three-dimensional partial motion flag count (3D LMC) Is calculated by the following equation,
In the above equation Is a three-dimensional partial motion flag count, Is the partial motion flag count of the video field at time t, Is a number of frames to be referred to on the time axis.
상기 참조 블록 처리부는,
상기 삼차원 부분 움직임 플래그 카운트가 임계치보다 크면 필드 삽입 아고리듬에 의해 생성된 블록을 선택하고, 임계치보다 작으면 선 평균 알고리듬에 의해 생성된 블록을 선택하는 것을 특징으로 하는 영역 분류에 의한 움직임 보상 디인터레이싱 장치.
The method according to claim 1,
The reference block processing unit,
Selecting a block generated by the field insertion algorithm if the three-dimensional partial motion flag count is greater than a threshold value, and selecting a block generated by a line average algorithm if the count is less than a threshold value. .
상기 움직임 벡터 검출부에서 검출된 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터의 크기를 이용하여 상기 입력되는 영상필드에 대한 움직임 보상을 처리하는 움직임 보상 처리부;
를 더 포함하는 것을 특징으로 하는 영역 분류에 의한 움직임 보상 디인터레이싱 장치.
The method according to claim 1,
A motion compensation processing unit for performing motion compensation on the input image field using a size of a forward motion vector and a backward motion vector of each block detected by the motion vector detection unit;
Wherein the motion compensating deinterlacer further includes a motion compensating deinterlacer.
상기 움직임 보상 처리부에 의해 보상된 영상필드는 의 수학식에 의해 산출되고,
상기 수학식에서 는 보상된 영상필드이고, 는 역방향 움직임 보상 가중치이며, 는 역방향 움직임 벡터이고, 는 순방향 움직임 벡터이며, 는 순방향 움직임 보상 가중치인 것을 특징으로 하는 영역 분류에 의한 움직임 보상 디인터레이싱 장치.
6. The method of claim 5,
The video field compensated by the motion compensation processing unit Is calculated by the following equation,
In the above equation Is a compensated video field, Is a backward motion compensation weight, Is a backward motion vector, Is a forward motion vector, Is a forward motion compensation weight. ≪ RTI ID = 0.0 > [10] < / RTI >
상기 움직임 보상 처리부에서 움직임 보상 처리에 의하여 얻은 영상필드 중에서 움직임 보상 블록을 선택하여 출력하는 움직임 보상 블록 출력부;
를 더 포함하는 것을 특징으로 하는 영역 분류에 의한 움직임 보상 디인터레이싱 장치.
6. The method of claim 5,
A motion compensation block output unit for selecting and outputting a motion compensation block among the image fields obtained by the motion compensation process in the motion compensation processing unit;
Wherein the motion compensating deinterlacer further includes a motion compensating deinterlacer.
상기 움직임 보상 블록 출력부에서 출력되는 움직임 보상 블록과 상기 참조 블록 처리부에서 출력되는 참조 블록의 차이값을 검출하여, 상기 차이값이 일정 크기 이상이면 상기 참조 블록이 포함된 영상을 화면으로 출력하고 그렇지 않으면 상기 움직임 보상 처리부에서 움직임 보상 처리에 의하여 얻은 영상을 화면으로 출력하는 영상 출력 제어부;
를 더 포함하는 것을 특징으로 하는 영역 분류에 의한 움직임 보상 디인터레이싱 장치.
8. The method of claim 7,
A difference between the motion compensation block output from the motion compensation block output unit and the reference block output from the reference block processing unit is detected, and if the difference is greater than or equal to a predetermined size, An image output control unit for outputting the image obtained by the motion compensation processing in the motion compensation processing unit to a screen;
Wherein the motion compensating deinterlacer further includes a motion compensating deinterlacer.
상기 블록 움직임 플래그 설정부는,
각 블록의 움직임 벡터의 값이 미리 설정된 임계값보다 크면 해당 블록의 움직임 플래그를 '1'로 설정하고, 작으면 '0'으로 설정하는 것을 특징으로 하는 영역 분류에 의한 움직임 보상 디인터레이싱 장치.
The method according to claim 1,
Wherein the block motion flag setting unit comprises:
Wherein the motion flag of the corresponding block is set to '1' if the value of the motion vector of each block is greater than a preset threshold value, and is set to '0' when the value of the motion vector is smaller than a preset threshold value.
상기 영상필드를 입력받아 일정 크기의 블록으로 나눈 후 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터를 검출하는 단계;
상기 검출된 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터의 크기를 이용하여 각 블록의 부분 움직임 플래그를 설정하는 단계;
시간 축 상에 배열된 다수의 영상필드의 부분 움직임 플래그 플래그 카운트를 합하여 일정한 범위 내의 블록들에 대한 삼차원 부분 움직임 플래그 카운트를 산출하는 단계; 및
상기 삼차원 부분 움직임 플래그 카운트를 이용하여 상기 선 평균 알고리듬 에 의한 순차주사영상 또는 필드 삽입 알고리듬에 의한 순차주사영상 중 어느 하나의 영상 블록을 참조 블록으로 선택하여 출력하는 단계;
를 포함하는 것을 특징으로 하는 영역 분류에 의한 움직임 보상 디인터레이싱 방법.
Generating a progressive scan image by a line average algorithm and a progressive scan image by a field insertion algorithm, respectively;
Dividing the image field into blocks of a predetermined size, and detecting a backward motion vector and a forward motion vector of each block;
Setting a partial motion flag of each block using the detected backward motion vector and forward motion vector of each block;
Calculating a three-dimensional partial motion flag count for blocks within a certain range by summing partial motion flag flag counts of a plurality of video fields arranged on a time axis; And
Selecting one of a progressive scan image by the line average algorithm or a progressive scan image by a field insertion algorithm as a reference block using the three-dimensional partial motion flag count, and outputting the selected block;
Wherein the motion compensation deinterlacing method comprises:
상기 부분 움직임 플래그 카운트(LMC)는 의 수학식에 의해 산출되고,
상기 수학식에서 는 현재 블록의 좌표이고, 은 부분 움직임 플래그 카운트의 참조 범위인 것을 특징으로 하는 영역 분류에 의한 움직임 보상 디인터레이싱 방법.
11. The method of claim 10,
The partial motion flag count (LMC) Is calculated by the following equation,
In the above equation Is the coordinates of the current block, Is a reference range of the partial motion flag count.
상기 삼차원 부분 움직임 플래그 카운트(3D LMC)는 의 수학식에 의해 산출되고,
상기 수학식에서 는 삼차원 부분 움직임 플래그 카운트이고, 는 시간 t의 영상필드의 부분 움직임 플래그 카운트이며, 는 시간 축 상에서 참조할 프레임의 수인 것을 특징으로 하는 영역 분류에 의한 움직임 보상 디인터레이싱 방법.
11. The method of claim 10,
The three-dimensional partial motion flag count (3D LMC) Is calculated by the following equation,
In the above equation Is a three-dimensional partial motion flag count, Is the partial motion flag count of the video field at time t, Is a number of frames to be referred to on the time axis.
상기 검출된 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터의 크기를 이용하여 상기 입력되는 영상필드에 대한 움직임 보상을 처리하는 단계;
를 더 포함하는 것을 특징으로 하는 영역 분류에 의한 움직임 보상 디인터레이싱 방법.
11. The method of claim 10,
Processing motion compensation for the input image field using the detected backward motion vector and forward motion vector of each block;
The motion compensation deinterlacing method according to claim 1,
움직임 보상을 처리하는 단계는,
의 수학식에 의해 산출되고,
상기 수학식에서 는 보상된 영상필드이고, 는 역방향 움직임 보상 가중치이며, 는 역방향 움직임 벡터이고, 는 순방향 움직임 벡터이며, 는 순방향 움직임 보상 가중치인 것을 특징으로 하는 영역 분류에 의한 움직임 보상 디인터레이싱 방법.
14. The method of claim 13,
The step of processing motion compensation comprises:
Is calculated by the following equation,
In the above equation Is a compensated video field, Is a backward motion compensation weight, Is a backward motion vector, Is a forward motion vector, Is a forward motion compensation weight. ≪ RTI ID = 0.0 > [10] < / RTI >
상기 움직임 보상 처리에 의하여 얻은 영상 중에서 움직임 보상 블록을 선택하여 출력하는 단계;
를 더 포함하는 것을 특징으로 하는 영역 분류에 의한 움직임 보상 디인터레이싱 방법.
14. The method of claim 13,
Selecting and outputting a motion compensation block among the images obtained by the motion compensation process;
The motion compensation deinterlacing method according to claim 1,
상기 참조 블록과 움직임 보상 블록의 차이값을 검출하여, 상기 차이값이 일정 크기 이상이면 상기 참조 블록이 포함된 영상을 화면으로 출력하고 그렇지 않으면, 움직임 보상 처리에 의하여 얻은 영상을 화면으로 출력하는 단계;
를 더 포함하는 것을 특징으로 하는 영역 분류에 의한 움직임 보상 디인터레이싱 방법.15. The method of claim 14,
Detecting a difference value between the reference block and the motion compensation block and outputting the image including the reference block to the screen if the difference value is greater than or equal to a predetermined size, ;
The motion compensation deinterlacing method according to claim 1,
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20130058553 | 2013-05-23 | ||
KR1020130058553 | 2013-05-23 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140138358A true KR20140138358A (en) | 2014-12-03 |
KR101572539B1 KR101572539B1 (en) | 2015-11-27 |
Family
ID=52457687
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140060909A KR101572539B1 (en) | 2013-05-23 | 2014-05-21 | Apparatus and method for de-interlacing using Local motion compensation |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101572539B1 (en) |
-
2014
- 2014-05-21 KR KR1020140060909A patent/KR101572539B1/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR101572539B1 (en) | 2015-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8437398B2 (en) | Method and apparatus for adaptively converting frame rate based on motion vector, and display device with adaptive frame rate conversion function | |
US8144778B2 (en) | Motion compensated frame rate conversion system and method | |
US7057665B2 (en) | Deinterlacing apparatus and method | |
JP4162621B2 (en) | Frame interpolation method and apparatus for frame rate conversion | |
US9148622B2 (en) | Halo reduction in frame-rate-conversion using hybrid bi-directional motion vectors for occlusion/disocclusion detection | |
US8300145B2 (en) | Apparatus and method of frame rate up-conversion with dynamic quality control | |
US20040101047A1 (en) | Motion estimation apparatus, method, and machine-readable medium capable of detecting scrolling text and graphic data | |
JP2009527173A (en) | Method and apparatus for determining motion between video images | |
US20100177239A1 (en) | Method of and apparatus for frame rate conversion | |
JP2005318621A (en) | Ticker process in video sequence | |
JP2003517739A (en) | System for deinterlacing television signals from camera video or film | |
JP2006504175A (en) | Image processing apparatus using fallback | |
US20100329343A1 (en) | Motion vector calibration circuit, image generating apparatus and method thereof | |
US20080239144A1 (en) | Frame rate conversion device and image display apparatus | |
US8761262B2 (en) | Motion vector refining apparatus | |
US7505080B2 (en) | Motion compensation deinterlacer protection | |
US8305490B2 (en) | De-interlacing system | |
JP2007510213A (en) | Improved motion vector field for tracking small fast moving objects | |
KR101572539B1 (en) | Apparatus and method for de-interlacing using Local motion compensation | |
KR100692597B1 (en) | Image processing apparatus capable of selecting field and method the same | |
JP5448983B2 (en) | Resolution conversion apparatus and method, scanning line interpolation apparatus and method, and video display apparatus and method | |
KR100594780B1 (en) | Apparatus for converting image and method the same | |
JP4354799B2 (en) | Interpolated image generation method and apparatus | |
US9324131B1 (en) | Method and apparatus for motion adaptive deinterlacing with reduced artifacts | |
Martins et al. | True-motion estimation and compensation with multitemporal block-matching search |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20191030 Year of fee payment: 5 |