KR101572539B1 - 영역 분류에 의한 움직임 보상 디인터레이싱 장치 및 방법 - Google Patents
영역 분류에 의한 움직임 보상 디인터레이싱 장치 및 방법 Download PDFInfo
- Publication number
- KR101572539B1 KR101572539B1 KR1020140060909A KR20140060909A KR101572539B1 KR 101572539 B1 KR101572539 B1 KR 101572539B1 KR 1020140060909 A KR1020140060909 A KR 1020140060909A KR 20140060909 A KR20140060909 A KR 20140060909A KR 101572539 B1 KR101572539 B1 KR 101572539B1
- Authority
- KR
- South Korea
- Prior art keywords
- motion
- block
- flag
- motion vector
- image
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Television Systems (AREA)
Abstract
본 발명의 실시예에 따른 영역 분류에 의한 움직임 보상 디인터레이싱 장치는, 입력되는 영상필드를 지연하는 지연장치; 상기 지연장치에서 지연된 영상필드를 일정 크기의 블록으로 나눈 후 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터를 검출하는 움직임 벡터 검출부와, 상기 움직임 벡터 검출부에서 검출된 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터의 크기를 이용하여 각 블록의 움직임 플래그를 설정하는 블록 움직임 플래그 설정부, 및 상기 블록 움직임 플래그 설정부에서 설정된 블록 움직임 플래그를 이용하여 일정한 범위 내의 블록들에 대한 부분 움직임 플래그 카운트를 산출하고 시간 축 상에 배열된 다수의 영상필드의 부분 움직임 플래그 카운트를 합하여 일정한 범위 내의 블록들에 대한 삼차원 부분 움직임 플래그 카운트를 산출하는 부분 움직임 플래그 처리부를 포함하는 양방향 움직임 처리부; 및 상기 지연장치에서 지연된 영상필드를 입력받아 선 평균 알고리듬에 의한 순차주사영상과 필드 삽입 알고리듬에 의한 순차주사영상을 각각 생성하여 출력하는 영상 처리부, 및 상기 부분 움직임 플래그 처리부에서 생성된 삼차원 부분 움직임 플래그 카운트를 이용하여 상기 선 평균 알고리듬에 의한 순차주사영상 또는 필드 삽입 알고리듬에 의한 순차주사영상 중 어느 하나의 영상 블록을 참조 블록으로 선택하여 출력하는 참조 블록 처리부를 포함하는 참조 블록 생성기;를 포함한다.
Description
본 발명은 영역 분류에 의한 움직임 보상 디인터레이싱 장치 및 방법에 관한 것으로, 보다 상세하게는 현재 입력되는 영상필드에 대하여 이전 및 이후 영상에서 움직임의 정보를 추적해 찾아낸 움직임 벡터의 신뢰도를 영역별로 분류 및 테스트하여 신뢰도가 낮은 경우에 높은 신뢰도를 가지는 참조 영상의 블록을 출력하여 보다 높은 화질의 영상을 얻을 수 있도록 해주는 영역 분류에 의한 움직임 보상 디인터레이싱 장치 및 방법에 관한 것이다.
일반적으로 사용자들은 고가의 고화질 TV를 구입하면서 그에 걸맞은 고화질의 화면을 제공받기를 원한다. 현재의 TV 신호는 NTSC 신호로서 짝수 필드와 홀수 필드로 나누어서 전송하고 있으며 이것을 브라운관에서 표시할 때에 브라운관이 가지는 물리적인 특성에 의해서 사람이 보기에 적당한 품질의 영상을 제공한다.
고화질 TV는 LCD나 PDP등의 표시장치를 이용하며, 이들 표시장치는 신호가 연속되어 이루어져 있는 순차 주사 방식을 따르고 있다. 따라서 송신단에서 반으로 줄여서 전송되는 정보를 추적 조사하여 영상을 순차 주사 방식으로 복원하는 디인터레이싱 알고리듬이 반드시 필요하게 된다. 수신된 현재의 영상 필드에서 제거된 정보를 앞 혹은 뒤의 필드에서 찾아서 복원하는 디인터레이싱 알고리듬은 NTSC 신호의 규격이 만들어질 때부터 그 필요성이 대두 되어온 부분이다.
기존의 TV 디스플레이 방식은 필드 삽입 디인터레이싱과 동일한 동작을 수행하는데 이 방식은 움직임이 적은 영상에서는 우수하지만 움직임이 많은 영상에서는 좋지 않은 품질의 영상을 만들어 낸다. 그러나 실제로는 기존의 TV 브라운관의 물리적 특징과 사람의 시각 시스템이 이를 적절히 보상해서 평균 정도의 품질을 보는 것이다.
디인터레이싱 알고리듬은 크게 움직임에 대한 검출을 수행하여 움직임 정도를 판단해서 새로운 정보를 만들어내는 움직임 적응형 디인터레이싱 알고리듬과, 움직임에 대한 보상을 하여 새로운 정보를 만들어 내는 움직임 보상형 디인터레이싱 알고리듬으로 나눌 수 있다.
움직임 적응형 디인터레이싱 알고리듬은 움직임의 정도를 검출하여 적절하게 보간을 수행하는 것으로, 가장 간단한 움직임 적용형 알고리듬으로 메디안 필터를 이용한 보간 알고리듬이 있다. 메디안 필터를 이용한 보간 알고리듬은 현재 보간 대상이된 픽셀에서 한 줄 위의 픽셀과 한줄 아래 픽셀 그리고 이전 화면의 픽셀중 중간치를 가지고 와서 보간함으로서 어느정도 움직임 적응이 고려된 화소를 가지고 오게 된다.
또한, Grand Alliance ― HDTV (GA-HDTV) 알고리듬이 있다. GA-HDTV 알고리듬은 움직임 외에 에지가 지나가는 정도를 추적하며 현재 필드를 기준으로 앞뒤 2 필드까지 모두 5개의 필드의 움직임을 검출하여 적용함으로서 우수한 성능을 발휘한다. 그러나 5개 필드 분의 메모리를 가지고 있어야 하므로 많은 메모리를 요구하는 것이 단점이다.
Pixel Classifier 알고리듬은 5개의 필드를 저장한 뒤 이중 3개의 필드의 값을 비교하여 움직임의 크기를 알아낸 뒤 이전 Field의 값과 보간을 수행시의 가중치와 이후 Field의 값과 보간을 수행할 시의 가중치를 결정하는 알고리듬이다. Pixel Classifier 알고리듬은 GA-HDTV 알고리듬에 비해 간단하게 구현할 수 있다. 움직임이 적은 영상에서는 상대적으로 좋은 성능을 나타내지만 움직임이 큰 영상에서는 화질이 나빠지는 특성을 가지고 있으며 또한 5필드 분량의 메모리를 요구한다.
움직임 보상형 알고리듬은 연속된 입력 필드에서 움직임이 일정하거나 혹은 탐색 범위 내에 있을 경우에 그 대상을 가지고 와서 화면을 복원하며 탐색 범위를 벗어나면 최적의 값을 유추하여 복원하는 알고리듬이다. 이에 관하여 여러 가지 알고리듬이 제안되고 있으며 대개의 경우 많은 연산량과 메모리를 요구하는 경우가 많다. 또한 단순히 움직임만을 추적하여 보상하는 경우에는 정확한 움직임을 얻어내지 못하게 된다.
Successive-Approximation 알고리듬은 대표적인 움직임 보상형 알고리듬으로서 정확한 움직임을 찾아내기 위해서 탐색의 기준이 되는 필드를 시간 성분과 공간성분에서 얻어 낸 뒤에 다시 이를 방향 성분으로 보간하여 움직임 보상의 기준이 되는 필드를 만들어 이를 이용하여 움직임을 보상하는 알고리듬을 제시하였다. 이 알고리듬은 우수한 화질의 디인터레이싱 결과를 얻을 수 있으나 많은 메모리와 복잡한 연산을 수행해야 하므로 실질적으로 하드웨어로 구현하기가 어렵고 비용이 많이든다는 단점이 있다.
켄주 알고리듬은 이러한 연산을 좀더 쉽게 수행하기 위하여 움직임 보상을 한 이미지에 대해서 보상된 이미지와 선 평균 보간(Line Average Interpolation)을 수행하여 얻은 이미지와 비교하여 그 차이가 크면 잘못 찾은 움직임에 의한 보상이라 판단하여 선 평균 디인테리싱 알고리듬의 결과 이미지에 더 큰 가중치를 그 차이가 작으면 잘 찾은 움직임에 의한 보상이라 판단하여 움직임 보상에 의해 얻은 이미지에 큰 가중치를 주어서 영상을 디 인터레이싱하는 알고리듬을 제시하였다.
이 방식은 다른 움직임 보상 디 인터레이싱 알고리듬에 비해서 구현이 용이하지만 단순히 차이값만을 기준으로 정확히 찾은 것인지를 판단하며, 선 평균 디인터레이싱의 결과만을 기준으로 함으로서 움직임이 적은 영상에서는 오히려 안 좋은 결과를 초래한다.
이 알고리듬은 다른 움직임 보상형 알고리듬에 비해 상대적으로 적은 영상으로 어느정도 좋은 품질의 영상을 얻을 수 있다는 장점이 있다. 그러나 알고리듬은 찾아낸 움직임 벡터 값이 항상 정확하다는 것을 전제로 해서 디인터레이싱을 수행한다. 그러나 움직임 벡터를 찾아내는 기준 영상이 현재 필드가 아니라 이전 필드에서 찾아내어 현재 필드의 벡터라고 간주함으로서 문제가 생긴다. 이는 켄주 알고리듬에서 사용하는 양방향 움직임 보상에 의한 움직임 벡터 검출 알고리듬이 대상블록의 움직임은 항상 일정한 속도와 일정한 방향으로 움직인다고 가정하기 때문에 생기는 문제이다.
위의 영상에서 팬스에 있는 H 마크를 보면 정확하게 디 인터레이싱을 수행하지 못함으로서 오히려 않좋은 영상을 만들어 낸 것을 알 수 있다. 이 경우의 움직임 벡터의 값을 검사하면 다음과 같은 사실을 알 수 있다. 도 4, 5에서와 같이 대상의 움직임은 왼쪽 위에서 오른쪽 하단으로 이동을 하였으므로 움직임 벡터가 해당 방향으로 검출되어야 하는데 실제로는 아래 그림과 같이 움직임 벡터의 값이 틀린방향으로 검출된다. 이는 양방향 탐색에 의한 움직임 벡터를 얻을 때에 참조 기준이 되는 영상이 F(t)가 아니라 F(t-1)에서 시작하므로 생기는 문제이다. 이 문제를 해결하기 위해서 Successive??Approximation 알고리듬은 참조 영상을 여러 단계에 걸쳐서 최적화 하여 만들어내고 있다. 그러나 Successive-Approximation 알고리듬은 실제 구현하기에 어려운 많은 연산과 많은 메모리를 필요로 한다.
즉, 기존의 움직임 보상 디인터레이싱 알고리듬은 움직임의 검출을 통하여 이전 혹은 이후 화면에서 움직임의 정보를 추적해 디인터레이싱을 수행하는데 이는 움직임 적응형 디인터레이싱 알고리듬에 비해 많은 계산량과 메모리를 요구하며, 찾아낸 움직임 벡터가 반드시 정확한 움직임 벡터가 아닐 수 있다는 단점을 가지고 있다.
본 발명은 상기와 같은 제반 문제점을 해결하기 위해 발명된 것으로, 본 발명의 목적은 현재 입력되는 영상필드에 대하여 이전 및 이후 영상에서 움직임의 정보를 추적해 찾아낸 움직임 벡터의 신뢰도를 영역별로 분류 및 테스트하여 신뢰도가 낮은 경우에 높은 신뢰도를 가지는 참조 영상의 블록을 출력하여 보다 높은 화질의 영상을 얻을 수 있도록 해주는 영역 분류에 의한 움직임 보상 디인터레이싱 장치 및 방법을 제공함에 그 목적이 있다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 실시예에 의한 영역 분류에 의한 움직임 보상 디인터레이싱 장치는, 입력되는 영상필드를 지연하는 지연장치; 상기 지연장치에서 지연된 영상필드를 일정 크기의 블록으로 나눈 후 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터를 검출하는 움직임 벡터 검출부와, 상기 움직임 벡터 검출부에서 검출된 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터의 크기를 이용하여 각 블록의 움직임 플래그를 설정하는 블록 움직임 플래그 설정부, 및 상기 블록 움직임 플래그 설정부에서 설정된 블록 움직임 플래그를 이용하여 일정한 범위 내의 블록들에 대한 부분 움직임 플래그 카운트를 산출하고 시간 축 상에 배열된 다수의 영상필드의 부분 움직임 플래그 카운트를 합하여 일정한 범위 내의 블록들에 대한 삼차원 부분 움직임 플래그 카운트를 산출하는 부분 움직임 플래그 처리부를 포함하는 양방향 움직임 처리부; 및 상기 지연장치에서 지연된 영상필드를 입력받아 선 평균 알고리듬에 의한 순차주사영상과 필드 삽입 알고리듬에 의한 순차주사영상을 각각 생성하여 출력하는 영상 처리부, 및 상기 부분 움직임 플래그 처리부에서 생성된 삼차원 부분 움직임 플래그 카운트를 이용하여 상기 선 평균 알고리듬에 의한 순차주사영상 또는 필드 삽입 알고리듬에 의한 순차주사영상 중 어느 하나의 영상 블록을 참조 블록으로 선택하여 출력하는 참조 블록 처리부를 포함하는 참조 블록 생성기;를 포함할 수 있다.
상기 삼차원 부분 움직임 플래그 카운트(3D LMC)는 의 수학식에 의해 산출되고, 상기 수학식에서 는 삼차원 부분 움직임 플래그 카운트이고, 는 시간 t의 영상필드의 부분 움직임 플래그 카운트이며, 는 시간 축 상에서 참조할 프레임의 수일 수 있다.
상기 참조 블록 처리부는, 상기 삼차원 부분 움직임 플래그 카운트가 임계치보다 크면 필드 삽입 아고리듬에 의해 생성된 블록을 선택하고, 임계치보다 작으면 선 평균 알고리듬에 의해 생성된 블록을 선택할 수 있다.
상기 움직임 벡터 검출부에서 검출된 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터의 크기를 이용하여 상기 입력되는 영상필드에 대한 움직임 보상을 처리하는 움직임 보상 처리부;를 더 포함할 수 있다.
상기 움직임 보상 처리부에 의해 보상된 영상필드는 의 수학식에 의해 산출되고, 상기 수학식에서 는 보상된 영상필드이고, 는 역방향 움직임 보상 가중치이며, 는 역방향 움직임 벡터이고, 는 순방향 움직임 벡터이며, 는 순방향 움직임 보상 가중치일 수 있다.
상기 움직임 보상 처리부에서 움직임 보상 처리에 의하여 얻은 영상필드 중에서 움직임 보상 블록을 선택하여 출력하는 움직임 보상 블록 출력부;를 더 포함할 수 있다.
상기 움직임 보상 블록 출력부에서 출력되는 움직임 보상 블록과 상기 참조 블록 처리부에서 출력되는 참조 블록의 차이값을 검출하여, 상기 차이값이 일정 크기 이상이면 상기 참조 블록이 포함된 영상을 화면으로 출력하고 그렇지 않으면 상기 움직임 보상 처리부에서 움직임 보상 처리에 의하여 얻은 영상을 화면으로 출력하는 영상 출력 제어부;를 더 포함할 수 있다.
상기 블록 움직임 플래그 설정부는, 각 블록의 움직임 벡터의 값이 미리 설정된 임계값보다 크면 해당 블록의 움직임 플래그를 '1'로 설정하고, 작으면 '0'으로 설정할 수 있다.
본 발명의 다른 실시예에 의한 영역 분류에 의한 움직임 보상 디인터레이싱 방법은, 영상필드를 입력받아 선 평균 알고리듬에 의한 순차주사영상과 필드 삽입 알고리듬에 의한 순차주사영상을 각각 생성하는 단계; 상기 영상필드를 입력받아 일정 크기의 블록으로 나눈 후 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터를 검출하는 단계; 상기 검출된 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터의 크기를 이용하여 각 블록의 부분 움직임 플래그를 설정하는 단계; 시간 축 상에 배열된 다수의 영상필드의 부분 움직임 플래그 플래그 카운트를 합하여 일정한 범위 내의 블록들에 대한 삼차원 부분 움직임 플래그 카운트를 산출하는 단계; 및 상기 삼차원 부분 움직임 플래그 카운트를 이용하여 상기 선 평균 알고리듬 에 의한 순차주사영상 또는 필드 삽입 알고리듬에 의한 순차주사영상 중 어느 하나의 영상 블록을 참조 블록으로 선택하여 출력하는 단계;를 포함할 수 있다.
상기 삼차원 부분 움직임 플래그 카운트(3D LMC)는 의 수학식에 의해 산출되고, 상기 수학식에서 는 삼차원 부분 움직임 플래그 카운트이고, 는 시간 t의 영상필드의 부분 움직임 플래그 카운트이며, 는 시간 축 상에서 참조할 프레임의 수일 수 있다.
상기 검출된 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터의 크기를 이용하여 상기 입력되는 영상필드에 대한 움직임 보상을 처리하는 단계;를 더 포함할 수 있다.
움직임 보상을 처리하는 단계는, 의 수학식에 의해 산출되고, 상기 수학식에서 는 보상된 영상필드이고, 는 역방향 움직임 보상 가중치이며, 는 역방향 움직임 벡터이고, 는 순방향 움직임 벡터이며, 는 순방향 움직임 보상 가중치일 수 있다.
상기 움직임 보상 처리에 의하여 얻은 영상 중에서 움직임 보상 블록을 선택하여 출력하는 단계;를 더 포함할 수 있다.
상기 참조 블록과 움직임 보상 블록의 차이값을 검출하여, 상기 차이값이 일정 크기 이상이면 상기 참조 블록이 포함된 영상을 화면으로 출력하고 그렇지 않으면, 움직임 보상 처리에 의하여 얻은 영상을 화면으로 출력하는 단계;를 더 포함할 수 있다.
상기와 같이 구성에 따르면, 본 발명에 따른 영역 분류에 의한 움직임 보상의 디인터레이싱 장치는, 순방향 움직임 벡터와 역방향 움직임 벡터를 검출하여 기 위한 참조 영상을 영상의 각 블록의 움직임의 크기를 가지고 결정하며, 선택된 참조 영상을 찾아낸 움직임 보상 영상과 비교하여 그 차이가 크면 찾아낸 움직임 영상의 신뢰도가 낮은 것으로 판단하여 참조 영상을 출력하고 작으면 움직임 영상을 정확하게 찾은 것으로 판단하여 움직임 보상된 영상을 출력함으로서 화면을 순차영상으로 변환할 수 있다.
또한, 본 발명에 따른 영역 분류에 의한 움직임 보상의 디인터레이싱 장치는 화면을 적절하게 작은 블록단위로 처리하여 스트리밍 데이터 단위로 처리할 수 있도록 구현됨으로서 최소의 메모리와 적은 연산량으로 고속으로 동작할 수 있다.
또한, 본 발명에 따른 영역 분류에 의한 움직임 보상의 디인터레이싱 장치는 시간 축 상에 배열된 다수의 영상필드에서 계산된 삼차원 부분 움직임 플래그 카운트를 이용하여 선 평균 알고리듬에 의한 순차주사영상 또는 필드 삽입 알고리듬에 의한 순차주사영상 중의 하나를 선택함으로써 디인터레이싱 성능이 향상되어 높은 화질의 영상을 얻을 수 있다.
도 1 은 본 발명에 따른 영역 분류에 의한 움직임 보상의 디인터레이싱 장치의 구성을 도시한다.
도 2a 내지 도 2o 는 본 발명에 따른 본 발명에 따른 영역 분류에 의한 움직임 보상의 디인터레이싱 장치에서 사용하는 프로세서를 설명하기 위한 수학식이다.
도 3 은 본 발명에 따른 영역 분류에 의한 움직임 보상 디인터레이싱 방법의 흐름도이다.
도 4 는 종래 움직임 보상형 알고리듬에서 잘못 찾은 움직임 벡터에 의한 디인터레이싱 결과 영상을 도시한다.
도 5는 종래 움직임 보상형 알고리듬에서 잘못 추적하는 움직임 벡터를 설명하기 위한 예시도이다.
도 2a 내지 도 2o 는 본 발명에 따른 본 발명에 따른 영역 분류에 의한 움직임 보상의 디인터레이싱 장치에서 사용하는 프로세서를 설명하기 위한 수학식이다.
도 3 은 본 발명에 따른 영역 분류에 의한 움직임 보상 디인터레이싱 방법의 흐름도이다.
도 4 는 종래 움직임 보상형 알고리듬에서 잘못 찾은 움직임 벡터에 의한 디인터레이싱 결과 영상을 도시한다.
도 5는 종래 움직임 보상형 알고리듬에서 잘못 추적하는 움직임 벡터를 설명하기 위한 예시도이다.
이하, 첨부된 도면을 참조하여 전술한, 그리고 추가적인 양상을 기술되는 바람직한 실시예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.
본 발명에 따른 영역 분류에 의한 움직임 보상의 디인터레이싱 장치는, 움직임의 크기를 검출하기 위해 입력된 필드를 일정 크기의 블록으로 나눈 후 각 블록의 움직임 벡터를 검출한다. 검출된 움직임 벡터의 크기가 일정 크기 이상인 경우 해당 블록의 움직임 플래그를'1'로 설정한다. 움직임 보상된 이미지에 대해서 비교를 해야할 참조 블록을 선 평균 알고리듬의 이미지를 가지고 올지 혹은 필드 삽입 알고리듬의 결과 이미지를 가지고 올지를 결정하기 위해서 대상 블록 외에 인접한 일정 영역의 움직임 플래그의 개수를 확인하여 비교할 참조 이미지를 결정한다.
본 발명에 따른 영역 분류에 의한 움직임 보상의 디인터레이싱 장치는, 도 1에 도시한 바와 같이, 크게 입력되는 영상필드(f(t))를 지연하는 지연장치(110)와, 참조 블록 생성기(120)와, 양방향 움직임 보상기(130)와 영상 출력 제어부(140)를 포함하여 구현된다.
지연장치(110)는 제1, 제2 샘플 메모리로 구현된다. 참조 블록 생성기(120)는 필드 삽입 디인터레이싱기와 선 평균 디인터레이싱기를 포함하는 영상 처리부(121)와, 참조 블록 처리부(122)를 포함한다.
영상 처리부(121)는 지연장치(110)에서 지연된 영상필드를 입력받아 선 평균 알고리듬에 의한 순차주사영상과 필드 삽입 알고리듬에 의한 순차주사영상을 각각 생성하여 출력한다. 필드 삽입 알고리듬은 도 2a에 도시한 바와 같이 현재 필드의 구성에 필요한 정보를 한 필드 이전 필드에서 가지고 온다. 필드 삽입 알고리듬은 움직임이 작은 영상에 대해서 우수한 디인터레이싱 결과를 보인다.
선 평균 알고리듬은 도 2b에 도시한 바와 같이 현재 필드의 영상만을 가지고 보간을 수행한다. 현재 라인에서 상위 1 라인의 값과 하위 1 라인의 값의 평균을 출력으로한다. 선 평균 알고리듬은 움직임이 많은 영상에서 우수한 디인터레이싱 결과를 보인다.
참조 블록 처리부(122)는 양방향 움직임 보상기(130)에서 생성된 부분 움직임 플래그 테이블을 이용하여, 선 평균 알고리듬에 의한 순차주사영상 또는 필드 삽입 알고리듬에 의한 순차주사영상 중 어느 하나의 영상 블록을 참조 블록으로 선택하여 출력한다.
양방향 움직임 보상기(130)는 움직임 벡터 검출부(131)와, 블록 움직임 플래그 설정부(132)와, 부분 움직임 플래그 처리부(133)와, 움직임 보상 처리부(134)와, 움직임 보상 블록 출력부(135)를 포함하여 구현된다.
움직임 벡터 검출부(131)는 지연장치(110)에서 지연된 영상필드를 입력받아 일정 크기의 블록으로 나눈 후 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터를 검출한다. 움직임 벡터 검출부(131)는 현재 필드의 임의의 블록을 , 해당 블록의 후보 움직임 벡터는 로 정의하면, 도 2c 및 도 2d에 도시한 바와 같이, 시간 축선상에서 이전 시간 및 이후 시간에 대해서 양방향으로 움직임 벡터를 검출하여 영상을 보상하므로 하나의 블록에 대해서 2개의 벡터를 검출하는데, 하나는 후 프레임에 대한 움직임 벡터로 로 나타내며 나머지 하나는 이전 움직임에 대한 벡터로 으로 나타낸다.
블록 움직임 플래그 설정부(132)는 움직임 벡터 검출부(131)에서 검출된 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터의 크기를 이용하여 각 블록의 움직임 플래그를 설정한다. 블록 움직임 플래그 설정부(132)는 임의의 블록의 움직임 벡터의 크기가 일정 크기 이상일 경우를 가지고 판단한다. 일례로, 블록 움직임 플래그 설정부(132)는 도 2e에 도시한 바와 같이, 블럭 에서의 움직임 벡터의 값이 미리 설정된 임계값 () 보다 크면 해당 블록의 움직임 플래그를 '1'로 설정하고 보다 작으면 '0'으로 설정한다.
부분 움직임 플래그 처리부(133)는 도 2f, 도 2g에 도시한 바와 같이, 블록 움직임 플래그 설정부(132)에서 설정된 블록 움직임 플래그를 이용해 일정한 범위 내의 블록들에 대한 부분 움직임 플래그 카운트 산출하여 부분 움직임 플래그 테이블을 생성한다.
도 2f에는 부분 움직임 플래그 카운트를 계산하기 위한 수학식이 도시되어 있다.
하나의 필드를 보간 할 때 전체 움직임 플래그의 개수를 가지고 하면 어느 정도 좋은 성능을 가질 수 있지만 부분적으로 움직임이 있거나 부분적으로 움직임이 없는 경우에 대해서 잘못된 판단을 수행하게 된다. 따라서 적당한 범위의 블록의 움직임 플래그의 개수인 부분 움직임 플래그 카운트(LMC: local motion flag count)만을 사용하여 기준 이미지를 선택하면 좋은 결과를 가지고 온다.
한편, 상기 부분 움직임 플래그 처리부(133)는 시간 성분을 추가하여 부분 움직임 플래그 카운트(LMC)를 계산할 수 있다.
구체적으로, 도 2k에 도시된 바와 같이 n번째 영상필드는 frmae(n)으로 표시하고, n번째 영상필드의 특정 블록의 위치를 bx, by로 표시하면, n번째 영상필드의 LMC는 LMC(bx, by)로 표시할 수 있다.
도 2l 에 도시된 바와 같이, 시간 축 상에 다수의 영상필드를 배치하여 시간 축 상에 배열된 각 영상필드의 LMC를 표시하면 다음과 같다.
즉, 시간 t에서 영상필드의 LMC는 LMC(t, bx, by), 시간 t-1에서 영상필드의 LMC는 LMC(t-1, bx, by), 그리고 시간 t+1에서 영상필드의 LMC는 LMC(t+1, bx, by)로 표시할 수 있다.
이를 이용하여 3D LMC를 구하는 수식은 도 2m에 도시되어 있다. 도 2m에 도시된 바와 같이, 시간 축 상에 배열된 다수 영상필드의 LMC를 합하여 삼차원 부분 움직임 플래그 카운트 (3D LMC)를 계산할 수 있다.
도 2m에 도시된 수식을 그림으로 표현하면, 도 2n과 같이 표현할 수 있다. 도 2m에서 만약 세 개의 영상필드만을 이용하여 3D LMC를 계산하면 다음과 같다.
이와 같이 얻어진 3D LMC는 시간 성분 상에서 LMC를 누적하여 얻어지는 것이다.
움직임 보상 처리부(134)는 도 2h에 도시한 바와 같이, 움직임 벡터 검출부(131)에서 검출된 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터의 크기를 이용하여 입력되는 영상필드에 대한 움직임을 보상 처리한다. 움직임 보상 블록 출력부(135)는 움직임 보상 처리부(134)에서 움직임 보상 처리에 의하여 얻은 영상 중에서 움직임 보상 블록을 선택하여 출력한다.
상기 움직임 보상 처리부(134)는 모션을 탐색하는 과정에서 현재의 필드에 존재하는 정보와 이전 필드의 어떤 위치에서 모션이 이동해 왔는지와 함께 다음 필드의 어디로 모션이 이동해 가는지를 탐색하여 그 값을 보상하는 양방향 움직임을 보상한다.
상기 움직임 보상 처리부(134)에 의해 필드를 보상하는 방법에 관한 수식은 도 2h에 도시된 바와 같다.
영상 출력 제어부(140)는 도 2j에 도시한 바와 같이, 움직임 보상 블록 출력부(135)에서 출력되는 움직임 보상 블록과 참조블록 처리부(122)에서 출력되는 참조 블록의 차이값을 검출한다.
참조블록 처리부(122)는 부분 움직임 플래그 처리부(133)에서 생성된 부분 움직임 플래그 테이블을 이용하여, 선 평균 알고리듬에 의한 순차주사영상 또는 필드 삽입 알고리듬에 의한 순차주사영상 중 어느 하나의 영상 블록을 참조 블록으로 선택하여 출력한다.
즉, 참조블록 처리부(122)는 도 2i에 도시한 바와 같이, 움직임이 많은 경우 필드 삽입 알고리듬에 의한 순차주사영상의 참조 블록을, 움직임이 적은 경우에는 선 평균 알고리듬에 의한 순차주사영상의 참조 블록을 선택한다.
또한, 상기 참조블록 처리부(122)는 상기 부분 움직임 플래그 처리부(133)에서 계산된 3D LMC를 이용하여 필드 삽입 알고리듬에 의한 순차주사영상의 참조 블록을 선택할 것인지, 선 평균 알고리듬에 의한 순차주사영상의 참조 블록을 선택할 것인지 판단할 수 있다.
즉, 도 2o에 도시된 바와 같이, 상기 참조 블록 처리부(122)는 상기 부분 움직임 플래그 처리부(133)에서 구한 3D LMC가 임계치보다 크면 필드 삽입 알고리듬에 의해 생성된 블록을 선택한다. 그러나 3D LMC가 임계치보다 작으면 선 평균 알고리듬에 의해 생성된 블록을 선택한다.
이와 같이, 시간 성분을 포함하여 계산된 3D LMC를 이용하여 필드 삽입 알고리듬에 의해 생성된 블록을 선택할 것인지, 또는 선 평균 알고리듬에 의해 생성된 블록을 선택할 것인지를 판단함으로써, 더욱 정확한 디인터레이싱이 이루어질 수 있다. 따라서 높은 화질의 영상을 얻을 수 있다.
영상 출력 제어부(140)는 움직임 보상 블록 출력부(135)에서 출력되는 움직임 보상 블록과 참조블록 처리부(122)에서 출력되는 참조 블록의 차이값이 일정 크기 이상 크다면 움직임 보상 블록이 잘못 보상되어 얻은 결과로 인식을 하고 참조 블록을 출력 블록으로 결정한다. 영상 출력 제어부(140)는 차이값이 일정 크기 이하이면 움직임 보상 블록을 출력 블록으로 선택한다.
영상 출력 제어부(140)는 움직임 보상 블록 출력부(135)에서 출력되는 움직임 보상 블록과 참조블록 처리부(122)에서 출력되는 참조 블록의 차이값이 일정 크기 이상이면 참조 블록이 포함된 영상을 화면으로 출력하고 그렇지 않으면 움직임 보상 처리부(134)에서 움직임 보상 처리에 의하여 얻은 영상을 화면으로 출력한다.
본 발명에 따른 영역 분류에 의한 움직임 보상 디인터레이싱 방법은 도 3 에 도시한 바와 같이, 먼저, 영상필드를 입력받아 선 평균 알고리듬에 의한 순차주사영상과 필드 삽입 알고리듬에 의한 순차주사영상을 각각 생성한다(S310). 이후, 영상필드를 입력받아 일정 크기의 블록으로 나눈 후 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터를 검출한다(S320).
이후, 검출된 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터의 크기를 이용하여 상기 입력되는 영상필드에 대한 움직임 보상을 처리한다(S330). 이후, 움직임 보상 처리에 의하여 얻은 영상 중에서 움직임 보상 블록을 선택하여 출력한다(S340).
한편, 단계 S330에서 검출된 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터의 크기를 이용하여 각 블록의 움직임 플래그를 설정한다(S335).
설정된 블록 움직임 플래그를 이용해 일정한 범위 내의 블록들에 대한 부분 움직임 플래그 카운트를 산출하여 부분 움직임 플래그 테이블을 생성한다(S345).
시간 축 상에 배열된 다수의 영상필드의 부분 움직임 플래그 카운트를 합하여 일정한 범위 내의 블록들에 대한 삼차원 부분 움직임 플래그 카운트를 산출한다(S350).
생성된 부분 움직임 플래그 테이블을 이용하여, S310 단계에서 생성된 선 평균 알고리듬에 의한 순차주사영상 또는 필드 삽입 알고리듬에 의한 순차주사영상 중 어느 하나의 영상 블록을 참조 블록으로 선택하여 출력한다(S355).
참조 블록과 움직임 보상 블록의 차이값을 검출하여, 상기 차이값이 일정 크기 이상이면 상기 참조 블록이 포함된 영상을 화면으로 출력하고 그렇지 않으면 상기 움직임 보상 처리부에서 움직임 보상 처리에 의하여 얻은 영상을 화면으로 출력한다(S365).
기존의 알고리듬이 움직임 탐색의 결과가 항상 정확하다는 전제 하에서 동작하므로 제대로 찾지 못하는 경우에 대해서는 정확한 디인터레이싱이 이루어지지 않는 경우가 많았다. 본 발명에 따른 영역 분류에 의한 움직임 보상 디인터레이싱 장치 및 방법은 움직임 벡터를 정확하게 찾았는지에 대해 참조 블록과 비교하여 부정확하게 찾았을 경우와 정확하게 찾았다고 판단될 경우에 대해서 출력 영상을 결정하였다. 또한 참조 블록을 결정하는 과정에서 영상의 전체를 가지고 결정하는 것이 아니라 대상 블록의 인접 블록만을 가지고 판단함으로서 더욱 정확도를 높일 수 있었다.
실험 결과 제안한 방법은 필드 삽입 알고리듬에 비해 2.7973 [dB] 선 평균 알고리듬에 비하여 1.5662 [dB] 높은 PSNR을 나타났다.
본 발명에 따른 영역 분류에 의한 움직임 보상 디인터레이싱 장치 및 방법은 움직임 검출할 때 얻어지는 움직임 벡터를 재 사용함으로서 상대적으로 적은 메모리와 간단한 계산으로 이루어져 있어 실제 하드웨어로 구현할 때에 다른 움직임 보상 디인터레이싱 알고리듬에 배해 쉽게 구현된다는 장점을 가지고 있다. 따라서 SoC로 구현시에 적은 하드웨어와 메모리로 구현할 수 있다.
지금까지, 본 명세서에는 본 발명이 속하는 기술 분야에서 통상의 지식을 지닌 자가 본 발명을 용이하게 이해하고 재현할 수 있도록 도면에 도시한 실시 예들 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술 분야에 통상의 지식을 지닌 자라면 본 발명의 실시 예들로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허 청구범위에 의해서만 정해져야 할 것이다.
110: 지연장치
120: 참조 블록 생성기
121: 영상 처리부
122: 참조 블록 처리부
130: 양방향 움직임 보상기
131: 움직임 벡터 검출부
132: 블록 움직임 플래그 검출부
133: 부분 움직임 플래그 처리부
134: 움직임 처리 보상부
135: 움직임 보상 블록 출력부
140: 영상 출력 제어부
120: 참조 블록 생성기
121: 영상 처리부
122: 참조 블록 처리부
130: 양방향 움직임 보상기
131: 움직임 벡터 검출부
132: 블록 움직임 플래그 검출부
133: 부분 움직임 플래그 처리부
134: 움직임 처리 보상부
135: 움직임 보상 블록 출력부
140: 영상 출력 제어부
Claims (16)
- 입력되는 영상필드를 지연하는 지연장치;
상기 지연장치에서 지연된 영상필드를 일정 크기의 블록으로 나눈 후 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터를 검출하는 움직임 벡터 검출부와, 상기 움직임 벡터 검출부에서 검출된 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터의 크기를 이용하여 각 블록의 움직임 플래그를 설정하는 블록 움직임 플래그 설정부, 및 상기 블록 움직임 플래그 설정부에서 설정된 블록 움직임 플래그를 이용하여 일정한 범위 내의 블록들에 대한 부분 움직임 플래그 카운트를 산출하고 시간 축 상에 배열된 다수의 영상필드의 부분 움직임 플래그 카운트를 합하여 일정한 범위 내의 블록들에 대한 삼차원 부분 움직임 플래그 카운트를 산출하는 부분 움직임 플래그 처리부를 포함하는 양방향 움직임 처리부; 및
상기 지연장치에서 지연된 영상필드를 입력받아 선 평균 알고리듬에 의한 순차주사영상과 필드 삽입 알고리듬에 의한 순차주사영상을 각각 생성하여 출력하는 영상 처리부, 및 상기 부분 움직임 플래그 처리부에서 생성된 삼차원 부분 움직임 플래그 카운트를 이용하여 상기 선 평균 알고리듬에 의한 순차주사영상 또는 필드 삽입 알고리듬에 의한 순차주사영상 중 어느 하나의 영상 블록을 참조 블록으로 선택하여 출력하는 참조 블록 처리부를 포함하는 참조 블록 생성기;
를 포함하고,
상기 삼차원 부분 움직임 플래그 카운트(3D LMC)는 의 수학식에 의해 산출되고,
상기 수학식에서 는 삼차원 부분 움직임 플래그 카운트이고, 는 시간 t의 영상필드의 부분 움직임 플래그 카운트이며, 는 시간 축 상에서 참조할 프레임의 수인 것을 특징으로 하는 영역 분류에 의한 움직임 보상 디인터레이싱 장치.
- 삭제
- 제1항에 있어서,
상기 참조 블록 처리부는,
상기 삼차원 부분 움직임 플래그 카운트가 임계치보다 크면 필드 삽입 아고리듬에 의해 생성된 블록을 선택하고, 임계치보다 작으면 선 평균 알고리듬에 의해 생성된 블록을 선택하는 것을 특징으로 하는 영역 분류에 의한 움직임 보상 디인터레이싱 장치.
- 제1항에 있어서,
상기 움직임 벡터 검출부에서 검출된 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터의 크기를 이용하여 상기 입력되는 영상필드에 대한 움직임 보상을 처리하는 움직임 보상 처리부;
를 더 포함하는 것을 특징으로 하는 영역 분류에 의한 움직임 보상 디인터레이싱 장치.
- 제5항에 있어서,
상기 움직임 보상 처리부에서 움직임 보상 처리에 의하여 얻은 영상필드 중에서 움직임 보상 블록을 선택하여 출력하는 움직임 보상 블록 출력부;
를 더 포함하는 것을 특징으로 하는 영역 분류에 의한 움직임 보상 디인터레이싱 장치.
- 제7항에 있어서,
상기 움직임 보상 블록 출력부에서 출력되는 움직임 보상 블록과 상기 참조 블록 처리부에서 출력되는 참조 블록의 차이값을 검출하여, 상기 차이값이 일정 크기 이상이면 상기 참조 블록이 포함된 영상을 화면으로 출력하고 그렇지 않으면 상기 움직임 보상 처리부에서 움직임 보상 처리에 의하여 얻은 영상을 화면으로 출력하는 영상 출력 제어부;
를 더 포함하는 것을 특징으로 하는 영역 분류에 의한 움직임 보상 디인터레이싱 장치.
- 제1항에 있어서,
상기 블록 움직임 플래그 설정부는,
각 블록의 움직임 벡터의 값이 미리 설정된 임계값보다 크면 해당 블록의 움직임 플래그를 '1'로 설정하고, 작으면 '0'으로 설정하는 것을 특징으로 하는 영역 분류에 의한 움직임 보상 디인터레이싱 장치.
- 영상필드를 입력받아 선 평균 알고리듬에 의한 순차주사영상과 필드 삽입 알고리듬에 의한 순차주사영상을 각각 생성하는 단계;
상기 영상필드를 입력받아 일정 크기의 블록으로 나눈 후 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터를 검출하는 단계;
상기 검출된 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터의 크기를 이용하여 각 블록의 부분 움직임 플래그를 설정하는 단계;
시간 축 상에 배열된 다수의 영상필드의 부분 움직임 플래그 플래그 카운트를 합하여 일정한 범위 내의 블록들에 대한 삼차원 부분 움직임 플래그 카운트를 산출하는 단계; 및
상기 삼차원 부분 움직임 플래그 카운트를 이용하여 상기 선 평균 알고리듬 에 의한 순차주사영상 또는 필드 삽입 알고리듬에 의한 순차주사영상 중 어느 하나의 영상 블록을 참조 블록으로 선택하여 출력하는 단계;
를 포함하고,
상기 삼차원 부분 움직임 플래그 카운트(3D LMC)는 의 수학식에 의해 산출되고,
상기 수학식에서 는 삼차원 부분 움직임 플래그 카운트이고, 는 시간 t의 영상필드의 부분 움직임 플래그 카운트이며, 는 시간 축 상에서 참조할 프레임의 수인 것을 특징으로 하는 영역 분류에 의한 움직임 보상 디인터레이싱 방법.
- 삭제
- 제10항에 있어서,
상기 검출된 각 블록의 역방향 움직임 벡터와 순방향 움직임 벡터의 크기를 이용하여 상기 입력되는 영상필드에 대한 움직임 보상을 처리하는 단계;
를 더 포함하는 것을 특징으로 하는 영역 분류에 의한 움직임 보상 디인터레이싱 방법.
- 제13항에 있어서,
상기 움직임 보상 처리에 의하여 얻은 영상 중에서 움직임 보상 블록을 선택하여 출력하는 단계;
를 더 포함하는 것을 특징으로 하는 영역 분류에 의한 움직임 보상 디인터레이싱 방법.
- 제14항에 있어서,
상기 참조 블록과 움직임 보상 블록의 차이값을 검출하여, 상기 차이값이 일정 크기 이상이면 상기 참조 블록이 포함된 영상을 화면으로 출력하고 그렇지 않으면, 움직임 보상 처리에 의하여 얻은 영상을 화면으로 출력하는 단계;
를 더 포함하는 것을 특징으로 하는 영역 분류에 의한 움직임 보상 디인터레이싱 방법.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20130058553 | 2013-05-23 | ||
KR1020130058553 | 2013-05-23 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140138358A KR20140138358A (ko) | 2014-12-03 |
KR101572539B1 true KR101572539B1 (ko) | 2015-11-27 |
Family
ID=52457687
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140060909A KR101572539B1 (ko) | 2013-05-23 | 2014-05-21 | 영역 분류에 의한 움직임 보상 디인터레이싱 장치 및 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101572539B1 (ko) |
-
2014
- 2014-05-21 KR KR1020140060909A patent/KR101572539B1/ko active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR20140138358A (ko) | 2014-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8437398B2 (en) | Method and apparatus for adaptively converting frame rate based on motion vector, and display device with adaptive frame rate conversion function | |
US8144778B2 (en) | Motion compensated frame rate conversion system and method | |
JP4162621B2 (ja) | フレームレート変換時のフレーム補間方法およびその装置 | |
KR101536794B1 (ko) | 후광현상이 줄어든 영상보간 장치 및 방법 | |
US7057665B2 (en) | Deinterlacing apparatus and method | |
US9148622B2 (en) | Halo reduction in frame-rate-conversion using hybrid bi-directional motion vectors for occlusion/disocclusion detection | |
US20040101047A1 (en) | Motion estimation apparatus, method, and machine-readable medium capable of detecting scrolling text and graphic data | |
JP2009527173A (ja) | ビデオ画像間の運動を確定するための方法と装置 | |
US20100177239A1 (en) | Method of and apparatus for frame rate conversion | |
JP2005318621A (ja) | ビデオシーケンスでのティッカー処理 | |
JP2006504175A (ja) | フォールバックを用いる画像処理装置 | |
US20100329343A1 (en) | Motion vector calibration circuit, image generating apparatus and method thereof | |
US20080239144A1 (en) | Frame rate conversion device and image display apparatus | |
KR20040049214A (ko) | 고속 모션벡터 추정장치 및 방법 | |
US8761262B2 (en) | Motion vector refining apparatus | |
US7505080B2 (en) | Motion compensation deinterlacer protection | |
JP2005318623A (ja) | フィルムモード外挿方法及びフィルムモード検出器並びに動き補償器 | |
US8305490B2 (en) | De-interlacing system | |
JP2007510213A (ja) | 小さな高速移動物体を追跡するための動きベクトル場の改良 | |
KR101572539B1 (ko) | 영역 분류에 의한 움직임 보상 디인터레이싱 장치 및 방법 | |
KR100692597B1 (ko) | 필드 선택이 가능한 영상처리 장치 및 그 방법 | |
JP5448983B2 (ja) | 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法 | |
KR100594780B1 (ko) | 영상변환 장치 및 그 방법 | |
EP2400740A2 (en) | Method and device for estimating motion vectors for frame interpolation | |
JP4354799B2 (ja) | 補間画像生成方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20191030 Year of fee payment: 5 |