KR20040050577A - 디인터레이싱 장치 및 방법 - Google Patents
디인터레이싱 장치 및 방법 Download PDFInfo
- Publication number
- KR20040050577A KR20040050577A KR1020020078434A KR20020078434A KR20040050577A KR 20040050577 A KR20040050577 A KR 20040050577A KR 1020020078434 A KR1020020078434 A KR 1020020078434A KR 20020078434 A KR20020078434 A KR 20020078434A KR 20040050577 A KR20040050577 A KR 20040050577A
- Authority
- KR
- South Korea
- Prior art keywords
- value
- interpolation
- sad
- motion
- unit
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Abstract
디인터레이싱 장치 및 방법이 개시된다. 본 디인터레이싱 장치는 보간할 현재필드의 전후 필드인 이전필드 및 다음필드를 기준으로, 복수의 추정된 움직임 벡터별로 움직임 보상이 있는 시간적 보간을 수행하여 보간할 픽셀에 관한 보간값을 생성하고, 보간값 중에서 선택된 어느 하나를 제1 보간값으로 출력하는 움직임 보상부, 보간할 픽셀의 주변 픽셀의 화소값을 사용하여, 보간할 픽셀에 관한 제2 보간값을 생성하는 공간적 보간부, 및 제1 및 제2 보간값을 소정의 가중치를 사용하여 혼합하여 출력하는 출력부를 구비한다. 이에 의해, 움직임 보상을 효율적으로 수행하여, 구현이 용이하며 처리속도가 빠른 디인터레이싱이 가능하게 된다.
Description
본 발명은 디인터레이싱(deinterlacing) 장치 및 방법에 관한 것으로, 더욱 상세하게는 추정된 움직임 벡터별로 보간값 및 혼합값을 산출하고, 이 중에서 하나를 최종 보간값 및 혼합값으로 선택하여, 구현이 용이하면서 처리속도가 빠른 디인터레이싱 장치 및 방법에 관한 것이다.
영상 디스플레이 장치의 스캔방식에는, 인터레이스 스캔(interlace scan)방식과 프로그레시브 스캔(progressive scan)방식이 있다. 인터레이스 스캔 방식은 일반적인 TV 등에 사용되며, 하나의 영상을 표시할 때, 하나의 이미지 프레임을 두개의 필드로 나누어 순차적으로 번갈아 가면서 화면에 표시하는 방식을 말한다. 이때, 두개의 필드는 top 필드와 bottom 필드, upper 필드와 lower 필드, odd 필드와 even 필드 등으로 불리운다.
이에 대해, 프로그레시브 스캔(혹은 non-interlaced scan)방식은 컴퓨터 모니터, 디지털 TV 등에 사용되며, 필름을 스크린에 영사하듯이 하나의 이미지 프레임을 프레임 단위로 하여 전체 프레임을 한꺼번에 표시하는 방식을 말한다.
디인터레이싱 장치란, 상술한 인터레이스 스캔방식의 영상신호를 프로그레시브 스캔방식의 영상신호로 변환하는 장치를 말한다. 프로그레시브 스캔방식을 사용하는 영상 디스플레이 장치가 증가됨과 동시에, 서로 다른 스캔방식을 사용하는 장치들간의 데이터 교환의 필요성이 늘어남에 따라, 인터레이스 스캔방식을 프로그레시브 스캔방식으로 변환하는 디인터레이싱 장치가 필요하게 된다.
인터레이스 스캔방식의 영상신호를 프로그래시브 스캔방식의 영상신호로 변환하는 디인터레이싱 혹은 보간(interpolation)방법은 다양한 방법으로 구현이 가능하다. 기본적인 방법으로는, 보간할 현재필드의 라인정보를 단순히 반복하는 라인 반복 방법이 있다. 이 방법은 구현이 용이하나, 보간된 화면의 해상도가 절반으로 떨어지며, 특정 시점의 특정한 이미지가 아예 사라질 수도 있다는 단점이 있다.
이러한 단점을 극복하기 위해, 현재필드의 두 라인사이의 영역에 그 두 라인의 데이터를 이분한 데이터를 삽입하는 방법 등으로 새로운 필드를 구현하는 공간적 보간(spatial interpolation) 방법, 및 현재필드의 라인사이에 현재필드 전후 필드의 라인을 이용하여 프레임을 구현하는 움직임 보상이 없는 시간적 보간(temporal interpolation) 방법 등이 개발되었다. 이러한 방식은 단순한 하드웨어로 구현할 수 있다는 장점은 있으나, 움직임이 있는 영상을 보간하는 경우에 오류가 발생하거나, 보간된 화면이 열화되어 화질이 떨어질 수 있다는 단점이 있다.
상기한 방식의 단점을 보완하기 위해, 현재필드의 데이터를 기준으로 연속적인 필드 데이터 대하여 화면을 여러개의 블럭으로 분할하여 각각의 블럭에 대해 움직임을 구하고, 그 움직임벡터를 참조하여 현재 프레임의 화면을 보간하는 움직임 보상 보간(Motion-compensated interpolation) 방법이 개발되었다. 이러한 움직임 보상 보간 방법은 미국 특허 제5,777,682호(Motion-compensated interpolation, 발행일 : 1998년 7월 7일) 등에 개시되어 있다.
이외에도, 움직임 정도를 추정하여 움직임에 따라 프레임을 보간하는 움직임 적응 보간방법이 있다. 이러한 움직임 적응 보간방법은. 미국 특허 제5,027,201호(Motion detection apparatus as for an interlace to non-interlace scan converter, 발행일 : 1991년 6월 25일), 미국 특허 제5,159,451호 (Field memory expansible line doubler for television receiver, 발행일 : 1992년 10월 27일) 등에 개시되어 있다.
그런데, 움직임 적응 보간방법은 하드웨어적 구성이 상대적으로 간단하므로 구현이 용이하며 비용도 적게 드나, 화질개선의 성능은 떨어진다는 문제점이 있다. 또한, 움직임 보상 보간방법은, 움직임 추정을 위해 보간할 현재필드 및 참조필드로부터 많은 픽셀 데이터를 필요로 하기 때문에, 필드 혹은 프레임 메모리로부터 대량의 데이터를 고속으로 액세스하거나, 큰 용량의 버퍼에 데이터를 저장할 필요성이 있다. 이에 따라 구현이 복잡하며, 구현 비용도 상승하게 된다. 더구나, 움직임 보상 보간방법은, 움직임 추정 및 보상을 위해 블럭 단위의 움직임 벡터를 사용하는 것이 일반적이므로, 오류정정 단위가 블럭 단위로 이루어져 보간된 영상에 블럭 아티팩트(block artifact)가 종종 발생하게 된다. 따라서 이를 막기 위해 후처리 과정 등이 필요하게 되어, 전체적으로 하드웨어적 구성이 상당히 복잡하게 된다는 문제점이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 움직임 보상을 효율적으로 수행하여, 구현이 용이하면서 처리속도도 빠른 디인터레이싱 장치 및 방법을 제공함에 있다.
도 1은 본 발명에 따른 디인터레이싱 장치의 블럭도,
도 2는 도 1의 움직임 보상 보조부의 상세 블럭도,
도 3은 도 2의 SAD 계산부의 상세 블럭도,
도 4는 도 2의 움직임 정보부의 상세 블럭도, 그리고
도 5는 본 발명에 따른 디인터레이싱 장치의 동작 설명에 제공되는 흐름도이다.
* 도면의 주요 부분에 대한 부호의 설명 *
100a ~ 100n : 움직임 보상 보조부110 : SAD 계산부
111 : 세그먼트 SAD산출부113 : SAD 버퍼
115 : 블럭 SAD산출부120 : 움직임 정보부
121 : 움직임 정보산출부123 : 움직임 정보버퍼부
125 : 가중치 산출부130 : 시간적 보간부
140 : 메모리 액세스부150 : 움직임 선택부
200 : 제1 멀티플렉서 250 : 제2 멀티플렉서
300 : 공간적 보간부350 : 출력부
상기 목적을 달성하기 위한 본 발명에 따른 디인터레이싱 장치는, 보간할 현재필드의 전후 필드인 이전필드 및 다음필드를 기준으로, 복수의 추정된 움직임 벡터별로 움직임 보상이 있는 시간적 보간을 수행하여 보간할 픽셀에 관한 보간값을 생성하고, 상기 보간값 중에서 선택된 어느 하나를 제1 보간값으로 출력하는 움직임 보상부, 상기 보간할 픽셀의 주변 픽셀의 화소값을 사용하여, 상기 보간할 픽셀에 관한 제2 보간값을 생성하는 공간적 보간부, 및 상기 제1 보간값과 상기 제2 보간값을 소정의 가중치를 사용하여 혼합하여 출력하는 출력부를 포함한다.
상기 움직임 보상부는, 상기 복수의 추정된 움직임 벡터별로 상기 보간할 픽셀에 대한 움직임 정보에 기초한 혼합값을 더 산출하며, 상기 혼합값 중에서 선택된 어느 하나를 상기 소정의 가중치로 출력하는 것이 바람직하다. 또한, 상기 움직임 보상부는, 상기 다음필드 및 상기 이전필드를 기준으로, 상기 복수의 추정된 움직임 벡터를 참조하여 위치가 설정되는 소정의 탐색영역 단위별로 SAD(Summed Absolute Difference)값을 더 산출하며, 상기 SAD값에 기초하여 상기 제1 보간값 및 상기 소정의 가중치를 선택하는 것이 바람직하다.
상기 움직임 보상부는, 상기 복수의 추정된 움직임 벡터별로 상기 보간값, 상기 SAD값, 및 상기 혼합값을 각각 생성하는 복수의 움직임 보상 보조기, 및 상기 SAD값에 기초하여, 상기 보간값 및 상기 혼합값 중에서 각각 선택된 어느 하나를 상기 제1 보간값 및 상기 소정의 가중치로 출력하는 선택부를 포함하도록 구성하는것이 바람직하다.
이때, 상기 움직임 보상 보조부는, 상기 SAD 값을 산출하는 SAD 계산부, 상기 혼합값을 생성하는 움직임 정보부, 및 상기 보간값을 산출하는 시간적 보간부로 구성하는 것이 가능하다. 여기서, 상기 SAD 계산부는, 소정의 크기를 갖는 라인에 대하여 세그먼트 SAD값을 산출하는 세그먼트 SAD산출부, 상기 세그먼트 SAD 산출부로부터 산출된 세그먼트 SAD값을 라인별로 저장하는 SAD 버퍼, 및 상기 SAD 버퍼에 저장된 상기 세그먼트 SAD값을 합산하여 상기 SAD값을 산출하는 블럭 SAD산출부로 구성할 수 있다. 상기 움직임 정보부는, 상기 보간할 픽셀을 기준으로 상기 이전필드 및 상기 다음필드간의 움직임 정도를 나타내는 움직임 정보값을 산출하는 움직임 정보 산출부, 상기 움직임 정보에 대응하는 상기 혼합값이 저장되는 움직임 정보버퍼부, 및 상기 움직임 정보버퍼부를 참조하여, 상기 혼합값을 산출하는 가중치 산출부를 포함하도록 구성하는 것도 가능하다.
바람직하게는, 상기 선택부는, 상기 보간값중에서 어느 하나를 상기 제1 보간값으로 출력하는 제1 멀티플렉서, 상기 혼합값중에서 어느 하나를 상기 소정의 가중치로 출력하는 제2 멀티플렉서, 및 상기 SAD값에 기초하여 상기 제1 및 제2 멀티플렉서의 출력을 제어하는 움직임 선택부를 포함한다. 이때, 상기 움직임 선택부는, 상기 SAD값 중에서 가장 작은 SAD값을 산출한 상기 추정 움직임 벡터에 대응하는 상기 보간값 및 상기 혼합값이 선택되도록 제어하는 것이 바람직하다.
한편, 본 발명의 디인터레이싱 방법은, (a) 보간할 현재필드의 전후 필드인 이전필드 및 다음필드를 기준으로 복수의 추정된 움직임 벡터별로 움직임 보상이있는 시간적 보간을 수행하여 보간할 픽셀에 관한 보간값을 생성하고, 상기 보간값 중에서 선택된 어느 하나를 제1 보간값으로 출력하는 단계, (b) 상기 보간할 픽셀의 주변 픽셀의 화소값을 사용하여, 상기 보간할 픽셀에 관한 제2 보간값을 생성하는 단계, 및 (c) 상기 제1 보간값과 상기 제2 보간값을 소정의 가중치를 사용하여 혼합하여 출력하는 단계를 포함한다.
상기 (a) 단계는, 상기 복수의 추정된 움직임 벡터별로 상기 보간할 픽셀에 대한 움직임 정보에 기초한 혼합값을 산출하며, 상기 혼합값 중에서 선택된 어느 하나를 상기 소정의 가중치로 출력하는 단계를 더 포함하는 것이 바람직하다. 또한, 상기 (a) 단계는, 상기 다음필드와 상기 이전필드를 기준으로, 상기 복수의 추정된 움직임 벡터를 참조하여 위치가 설정되는 소정의 탐색영역 단위별로 SAD값을 산출하며, 상기 SAD값에 기초하여 상기 제1 보간값 및 상기 소정의 가중치를 선택하는 단계를 더 포함하는 것이 바람직하다.
상기 (a) 단계는, (a1) 상기 복수의 추정 움직임 벡터별로 상기 보간값, 상기 SAD 값, 및 상기 움직임 정보를 각각 생성하는 단계, 및 (a2) 상기 (a1) 단계에서 생성된 상기 SAD값에 기초하여, 상기 보간값 및 상기 혼합값 중 어느 하나를 선택적으로 출력하는 단계를 포함하는 것이 바람직하다.
이때, 상기 (a1) 단계는, 상기 SAD 값을 산출하는 단계, 상기 혼합값을 생성하는 단계, 및 상기 보간값을 산출하는 단계를 포함하는 것이 바람직하다. 여기서, 상기 SAD값을 산출하는 단계는, 소정의 크기를 갖는 라인에 대하여 세그먼트 SAD값을 산출하는 단계, 상기 세그먼트 SAD값을 라인별로 저장하는 단계, 및 저장된 상기 세그먼트 SAD값을 합산하여 SAD값을 산출하는 단계를 포함하는 것이 바람직하다. 상기 혼합값을 생성하는 단계는, 상기 현재필드의 보간할 화소를 기준으로 상기 이전필드 및 상기 다음필드간의 움직임 정도를 나타내는 움직임 정보값을 산출하는 단계, 및 상기 움직임 정보에 대응하여 기저장된 혼합값을 조회하여, 상기 혼합값을 산출하는 단계를 포함하는 것이 바람직하다
그리고, 상기 (a2) 단계는, 상기 SAD값 중에서 가장 작은 SAD값을 산출한 상기 추정 움직임 벡터에 대응하는 상기 보간값 및 상기 혼합값이 선택되도록 제어하는 것이 바람직하다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명에 따른 디인터레이싱 장치의 블럭도이다. 본 디인터레이싱 장치는, 복수의 움직임 보상 보조부(motion compensation assistant part) (100a~100n), 움직임 선택부(150), 제1 멀티플렉서(200), 제2 멀티플렉서(250), 공간적 보간부(spatial interpolation part)(300), 및 출력부(350)로 구성된다.
복수의 움직임 보상 보조부(100a~100n)는 각각 동일한 구조를 가지며, 인터레이스 스캔방식의 시간적으로 연속적인 필드가 순차적으로 입력되며, 동시에 각 복수의 움직임 보상 보조부(100a~100n)별로 추정된 움직임 벡터(V1~Vn)가 각각 입력된다. 이때, 현재 보간할 필드를 현재 필드(current field)라 하고, 현재필드에 시간적으로 전후의 필드를 각각 이전필드(previous field) 및 다음필드(next field)라고 한다. 또한, 각 움직임 보상 보조부(100a~100n)는 입력되는 추정된 움직임 벡터(V1~Vn)는 움직임 검출을 통해 산출된 움직임 벡터가 아니라, 추정되는움직임 벡터이다.
보간을 위해서는 현재 필드와, 참조 필드(reference field)인 이전필드 및 다음필드사이에서 가장 비슷한 블럭을 찾는 작업이 필요한데, 이를 움직임 추정(motion estimation)이라 하며, 블럭이 얼마만큼 움직였는가 하는 변위를 나타내는 것을 움직임 벡터(moving vector)라고 한다. 즉, 움직임 벡터는 2차원 정보로, 참조 필드와 현재 필드에서 블럭의 이동을 X-Y 이차원 좌표상의 이동량으로 표시한 것이다. 따라서, 움직임 벡터는 가로 방향의 움직임 크기와 세로 방향의 움직임 크기로 구성되며, 이러한 움직임 벡터가 가르키는 위치에서 해당 블럭을 불러와 보간하는 것이 일반적이다. 그러나, 본 발명에서는 추정된 움직임 벡터(V1~Vn)를 사용하여, 해당 추정 움직임 벡터가 가르키는 위치별로 복수의 보간값을 산출하고, 산출된 보간값 중에서 하나를 선택하는 방식을 취한다.
이에 따라, 복수의 움직임 보상 보조부(100a~100n)는 이전필드 및 다음필드를 기준으로, 입력되는 추정 움직임 벡터(V1~Vn)가 가르키는 해당 영역을 참조하여, 각각 소정 블럭 단위의 SAD(Summed Absolute Difference) 값(A1~An), 혼합을 위한 혼합값(B1~Bn), 및 움직임 보상 시간적 보간(motion compensated temporal interpolation)을 사용한 보간값(C1~Cn)을 각각 산출한다.
움직임 선택부(150)는 각 움직임 보상 보조부(100a~100n)에서 출력되는 각 SAD값(A1~An)에 기초하여, 각 움직임 보상 보조부(100a~100n)중 어느 하나의 출력을 선택하고, 이에 따라 제1 및 제2 멀티플렉서(200, 250)의 출력을 제어한다. 이러한 제어에 의해, 제1 및 제2 멀티플렉서(200,250)는 복수의 움직임 보상보조부(100a~100n)에서 출력되는 혼합값(B1~Bn) 및 보간값(C1~Cn)중에서 각각 선택된 어느 하나를 제1 보간값 및 가중치(α)로 출력부(350)에 출력한다.
공간적 보간부(300)는 현재필드에서 보간할 픽셀을 기준으로 그 주변의 픽셀들의 화소값을 이용하는 공간적 보간(spatial interpolation)을 수행하여, 보간할 픽셀에 관한 제2 보간값을 산출한다.
출력부(350)는 제1 멀티플렉서(200)에서 출력되는 제1 보간값과, 공간적 보간부(300)에서 출력되는 제2 보간값을, 제2 멀티플렉서(250)에서 출력되는 가중치(α)를 사용하여 혼합하여 출력한다. 출력부(350)에서 출력되는 값이 최종 보간값이 된다.
도 2는 도 1의 복수의 움직임 보상 보조부(100a~100n)중 첫번째 움직임 보상 보조부(100a)의 상세 블럭도이다. 복수의 움직임 보상 보조부(100a~100n)는 모두 동일한 구조를 갖는다.
도면을 참조하면, 움직임 보상 보조부(100a)는, SAD 계산부(110), 움직임 정보부(120), 시간적 보간부(130), 및 메모리 액세스부(140)로 구성된다.
SAD계산부(110)는 이전필드와 다음필드를 기준으로, 추정된 움직임 벡터(V1)가 가르키는 위치에서, 소정 크기의 매크로블럭에 해당하는 이미지를 비교하여, SAD값을 산출한다. SAD 계산부(110)는, 도 3에 도시한 바와 같이, 세그먼트 SAD산출부(111), SAD 버퍼(113), 및 블럭 SAD산출부(115)로 구성할 수 있다. 이때, 세그먼트SAD 산출부(111)는 이전필드와 다음필드에서 추정된 움직임 벡터를 참조하여 정해지는 위치의 일정한 크기의 라인 세그먼트에 해당하는 이미지를 비교하여 라인SAD값을 구한다. 구해진 라인 SAD값은 SAD 버퍼(113)에 전달된다. SAD 버퍼(113)는 상위 라인의 같은 위치에 해당하는 라인 세그먼트의 SAD 값을 저장하고 있다. 블럭 SAD산출부(115)는 SAD 버퍼(113)에 저장되어 있는 값을 모두 더하여 매크로블럭의 SAD값에 해당하는 값을 구할 수 있다.
움직임 정보부(120)는 현재필드의 보간할 픽셀을 기준으로 이전필드와 다음필드간의 움직임 정보를 픽셀단위로 산출한다. 이 경우에도 이전필드 및 다음필드에서 참조할 영역은 입력되는 추정 움직임 벡터(V1)가 가르키는 곳이 된다. 움직임 보상 보조부(100)는 산출된 움직임 정보를 바탕으로 혼합을 위한 혼합값을 산출한다. 움직임 정보부(120)는, 도 4에 도시한 바와 같이, 움직임 정보산출부(121), 움직임 정보버퍼부(123), 및 가중치 산출부(125)로 구성할 수 있다. 이 경우, 움직임 정보산출부(121)는, 추정된 움직임 벡터(V1)를 참조하여 보간할 현재 필드의 각 픽셀별로 움직임 여부를 나타내는 움직임 정보값을 검출한다. 검출된 움직임 정보값은 움직임 정보버퍼부(123)에 전달되어 저장된다. 움직임 정보버퍼부(123)에는 각각의 움직임 정보값에 대응하는 혼합값이 테이블 형태로 저장되어 있고, 가중치 산출부(121)는 이를 참조하여 움직임 정보산출부(121)에서 출력되는 움직임 정보에 기초하여 검색테이블에 저장된 혼합값중 하나를 선택하여 출력한다. 이때, 출력되는 혼합값은 보통 0과 1사이의 값이 된다.
시간적 보간부(130)는 입력되는 추정된 움직임벡터(V1)를 가르키는 이전필드와 다음필드의 영역을 참조하여, 움직임 보상 시보간(motion compensated temporal interpolation)을 수행하여 보간할 픽셀에 관한 보간값을 산출한다.
메모리 액세스부(140)는 현재필드의 보간할 픽셀 주위의 라인, 및 이전 필드 및 다음 필드에서 추정 움직임 벡터(V1)가 가르키는 해당 영역을 저장하고, 이를 SAD계산부(110), 움직임 정보부(120) 및 시간적 보간부(130)에 각각 제공한다.
상술한 동작과정은 모든 움직임 보상 보조부(100a~100n)에서 동일한 과정에 의해 수행되며, 단지 입력되는 추정된 움직임 벡터(V1~Vn)에 따라 SAD값, 움직임 정보값. 및 보간값의 산출시 참조되는 이전필드 및 다음필드의 영역만이 달라지게 된다.
도 3은 본 발명에 따른 디인터레이싱 장치의 동작방법의 설명에 제공되는 흐름도이다. 흐름도를 참조하면, 먼저 각 움직임 보상 보조부(100a~100n)는 시간적으로 연속적인 필드, 및 각 움직임 보상 보조부(100a~100n)별로 각각 서로 다른 추정된 움직임 벡터(V1~Vn)가 입력되어, 상술한 방법에 의해, 보간값 및 혼합값 혹은 가중치(α)가 각각 산출된다(S300). 움직임 보상 보조부(100a~100n)에서는 동시에 추정된 움직임 벡터를 참조하여 SAD 값도 각각 산출된다.
움직임 선택부(150)는 각 움직임 보상 보조부(100a~100n)에서 산출된 SAD값을 참조하여, 가장 적은 SAD 값을 산출한 움직임 보상 보조부를 선택한다. 이에 따라, 제1 및 제2 멀티플렉서(200, 250)의 출력을 제어하여, 가장 적은 SAD 값을 산출한 움직임 보상 보조부에서 산출된 보간값 및 가중치가 출력부(350)에 전달되도록 하여, 시간적 보간값 및 혼합값 혹은 가중치 중에서 하나를 선택한다(S305). 이는 가장 적은 SAD값을 산출하는 추정된 움직임 벡터가 현재 보간할 픽셀의 움직임을 가장 잘 나타내는 진정한 움직임 벡터가 되기 때문이다.
공간적 보간부(300)는 현재필드에서 보간할 픽셀을 주변 픽셀이 화소값을 사용하여, 보간할 픽셀에 관한 공간적 보간값을 산출한다(S310).
출력부(350)는 제2 멀티플렉서(200)로 부터 출력되는 시간적 보간값 및 공간적 보간부(300)에서 출력되는 공간적 보간값을, 제2 멀티플렉서(250)에서 출력되는 가중치를 사용하여 혼합하여 출력한다(S315). 즉, 출력부에서 출력되는 최종 보간값은 시간적 보간값, 공간적 보간값, 및 시간적 보간값과 공간적 보간값을 가중치를 사용하여 혼합한 값중에 어느 하나가 되며, 이 값이 최종 보간값이 된다.
상기한 방법은, 움직임 검출을 통해 움직임 벡터를 산출하고, 산출된 움직임 벡터를 참조하여 보간값 등을 산출하여 보간을 수행하는 종래의 방법에 비해, 추정된 움직임 벡터별로 보간값 및 가중치 등을 동시에 산출하고, 이중에서 하나를 선택하여 보간에 사용한다는 점에서 차이가 있다. 이러한 방법은, 움직임 검출시 필요한 메모리 용량, 및 메모리 액세스 속도 등에서 유리하며, 이에 따라 구현이 용이하며 처리속도가 향상된다.
이상 설명한 바와 같이, 본 발명에 따르면, 추정 움직임 벡터를 사용하여 보간값 및 가중치를 동시에 산출하고, 이 중에서 하나를 선택하는 방식을 취하므로, 구현이 용이하며 처리속도가 빠른 디인터레이싱 장치 및 방법이 제공된다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
Claims (17)
- 보간할 현재필드의 전후 필드인 이전필드 및 다음필드를 기준으로, 복수의 추정된 움직임 벡터별로 움직임 보상이 있는 시간적 보간을 수행하여 보간할 픽셀에 관한 보간값을 생성하고, 상기 보간값 중에서 선택된 어느 하나를 제1 보간값으로 출력하는 움직임 보상부;상기 보간할 픽셀의 주변 픽셀의 화소값을 사용하여, 상기 보간할 픽셀에 관한 제2 보간값을 생성하는 공간적 보간부; 및상기 제1 보간값과 상기 제2 보간값을 소정의 가중치를 사용하여 혼합하여 출력하는 출력부;를 포함하는 것을 특징으로 하는 디인터레이싱 장치.
- 제1항에 있어서,상기 움직임 보상부는, 상기 복수의 추정된 움직임 벡터별로 상기 보간할 픽셀에 대한 움직임 정보에 기초한 혼합값을 더 산출하며, 상기 혼합값 중에서 선택된 어느 하나를 상기 소정의 가중치로 출력하는 것을 특징으로 하는 디인터레이싱 장치.
- 제2항에 있어서,상기 움직임 보상부는,상기 다음필드 및 상기 이전필드를 기준으로, 상기 복수의 추정된 움직임 벡터를 참조하여 위치가 설정되는 소정의 탐색영역 단위별로 SAD(Summed Absolute Difference)값을 더 산출하며, 상기 SAD값에 기초하여 상기 제1 보간값 및 상기 소정의 가중치를 선택하는 것을 특징으로 하는 디인터레이싱 장치.
- 제3항에 있어서,상기 움직임 보상부는,상기 복수의 추정된 움직임 벡터별로 상기 보간값, 상기 SAD값, 및 상기 혼합값을 각각 생성하는 복수의 움직임 보상 보조기; 및상기 SAD값에 기초하여, 상기 보간값 및 상기 혼합값 중에서 각각 선택된 어느 하나를 상기 제1 보간값 및 상기 소정의 가중치로 출력하는 선택부;를 포함하는 것을 특징으로 하는 디인터레이싱 장치.
- 제4항에 있어서,상기 움직임 보상 보조부는,상기 SAD 값을 산출하는 SAD 계산부;상기 혼합값을 생성하는 움직임 정보부; 및상기 보간값을 산출하는 시간적 보간부;를 포함하는 것을 특징으로 하는 디인터레이싱 장치.
- 제5항에 있어서,상기 SAD 계산부는,소정의 크기를 갖는 라인에 대하여 세그먼트 SAD값을 산출하는 세그먼트 SAD 산출부;상기 세그먼트 SAD 산출부로부터 산출된 세그먼트 SAD값을 라인별로 저장하는 SAD 버퍼; 및상기 SAD 버퍼에 저장된 상기 세그먼트 SAD값을 합산하여 상기 SAD값을 산출하는 블럭 SAD 산출부;를 포함하는 것을 특징으로 하는 디인터레이싱 장치.
- 제5항에 있어서,상기 움직임 정보부는,상기 보간할 픽셀을 기준으로 상기 이전필드 및 상기 다음필드간의 움직임 정도를 나타내는 움직임 정보값을 산출하는 움직임 정보 산출부;상기 움직임 정보에 대응하는 상기 혼합값이 저장되는 움직임 정보버퍼부; 및상기 움직임 정보버퍼부를 참조하여, 상기 혼합값을 산출하는 가중치 산출부;를 포함하는 것을 특징으로 하는 디인터레이싱 장치.
- 제4항에 있어서,상기 선택부는,상기 보간값중에서 어느 하나를 상기 제1 보간값으로 출력하는 제1 멀티플렉서;상기 혼합값중에서 어느 하나를 상기 소정의 가중치로 출력하는 제2 멀티플렉서; 및상기 SAD값에 기초하여 상기 제1 및 제2 멀티플렉서의 출력을 제어하는 움직임 선택부;를 포함하는 것을 특징으로 하는 디인터레이싱 장치.
- 제8항에 있어서,상기 움직임 선택부는, 상기 SAD값 중에서 가장 작은 SAD값을 산출한 상기 추정 움직임 벡터에 대응하는 상기 보간값 및 상기 혼합값이 선택되도록 제어하는 것을 특징으로 하는 디인터레이싱 장치.
- (a) 보간할 현재필드의 전후 필드인 이전필드 및 다음필드를 기준으로 복수의 추정된 움직임 벡터별로 움직임 보상이 있는 시간적 보간을 수행하여 보간할 픽셀에 관한 보간값을 생성하고, 상기 보간값 중에서 선택된 어느 하나를 제1 보간값으로 출력하는 단계;(b) 상기 보간할 픽셀의 주변 픽셀의 화소값을 사용하여, 상기 보간할 픽셀에 관한 제2 보간값을 생성하는 단계; 및(c) 상기 제1 보간값과 상기 제2 보간값을 소정의 가중치를 사용하여 혼합하여 출력하는 단계;를 포함하는 것을 특징으로 하는 디인터레이싱 방법.
- 제10항에 있어서,상기 (a) 단계는, 상기 복수의 추정된 움직임 벡터별로 상기 보간할 픽셀에 대한 움직임 정보에 기초한 혼합값을 산출하며, 상기 혼합값 중에서 선택된 어느 하나를 상기 소정의 가중치로 출력하는 단계;를 더 포함하는 것을 특징으로 하는 디인터레이싱 방법.
- 제11항에 있어서,상기 (a) 단계는, 상기 다음필드와 상기 이전필드를 기준으로, 상기 복수의 추정된 움직임 벡터를 참조하여 위치가 설정되는 소정의 탐색영역 단위별로 SAD값을 산출하며, 상기 SAD값에 기초하여 상기 제1 보간값 및 상기 소정의 가중치를 선택하는 단계;를 더 포함하는 것을 특징으로 하는 디인터레싱 방법.
- 제12항에 있어서,상기 (a) 단계는,(a1) 상기 복수의 추정 움직임 벡터별로 상기 보간값, 상기 SAD 값, 및 상기 움직임 정보를 각각 생성하는 단계; 및(a2) 상기 (a1) 단계에서 생성된 상기 SAD값에 기초하여, 상기 보간값 및 상기 혼합값 중 어느 하나를 선택적으로 출력하는 단계;를 포함하는 것을 특징으로하는 디인터레이싱 방법.
- 제13항에 있어서,상기 (a1) 단계는,상기 SAD 값을 산출하는 단계;상기 혼합값을 생성하는 단계; 및상기 보간값을 산출하는 단계;를 포함하는 것을 특징으로 하는 디인터레이싱 방법.
- 제14항에 있어서,상기 SAD값을 산출하는 단계는,소정의 크기를 갖는 라인에 대하여 세그먼트 SAD값을 산출하는 단계;상기 세그먼트 SAD값을 라인별로 저장하는 단계; 및저장된 상기 세그먼트 SAD값을 합산하여 SAD값을 산출하는 단계;를 포함하는 것을 특징으로 하는 디인터레이싱 방법.
- 제14항에 있어서,상기 혼합값을 생성하는 단계는,상기 현재필드의 보간할 화소를 기준으로 상기 이전필드 및 상기 다음필드간의 움직임 정도를 나타내는 움직임 정보값을 산출하는 단계; 및상기 움직임 정보에 대응하여 기저장된 혼합값을 조회하여, 상기 혼합값을 산출하는 단계;를 포함하는 것을 특징으로 하는 디인터레이싱 방법.
- 제13항에 있어서,상기 (a2) 단계는, 상기 SAD값 중에서 가장 작은 SAD값을 산출한 상기 추정 움직임 벡터에 대응하는 상기 보간값 및 상기 혼합값이 선택되도록 제어하는 것을 특징으로 하는 디인터레이싱 방법.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020020078434A KR20040050577A (ko) | 2002-12-10 | 2002-12-10 | 디인터레이싱 장치 및 방법 |
US10/703,568 US7321396B2 (en) | 2002-12-10 | 2003-11-10 | Deinterlacing apparatus and method |
EP03026149A EP1429547A3 (en) | 2002-12-10 | 2003-11-13 | Deinterlacing apparatus and method |
CNB2003101203753A CN100442820C (zh) | 2002-12-10 | 2003-11-15 | 去隔行扫描的装置和方法 |
JP2003407901A JP2004194317A (ja) | 2002-12-10 | 2003-12-05 | インターレース解除装置および方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020020078434A KR20040050577A (ko) | 2002-12-10 | 2002-12-10 | 디인터레이싱 장치 및 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20040050577A true KR20040050577A (ko) | 2004-06-16 |
Family
ID=32322370
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020020078434A KR20040050577A (ko) | 2002-12-10 | 2002-12-10 | 디인터레이싱 장치 및 방법 |
Country Status (5)
Country | Link |
---|---|
US (1) | US7321396B2 (ko) |
EP (1) | EP1429547A3 (ko) |
JP (1) | JP2004194317A (ko) |
KR (1) | KR20040050577A (ko) |
CN (1) | CN100442820C (ko) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7675572B2 (en) | 2004-10-06 | 2010-03-09 | Samsung Electronics Co., Ltd. | Image processing device capable of selecting field and method thereof |
KR101107255B1 (ko) * | 2007-02-16 | 2012-01-19 | 삼성전자주식회사 | 움직임이 보상된 보간 화소를 이용한 영상 보간 방법 및 그장치 |
US8922711B2 (en) | 2006-08-29 | 2014-12-30 | Realtek Semiconductor Corp. | Method and apparatus for de-interlacing video data |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7663695B2 (en) * | 2000-05-05 | 2010-02-16 | Stmicroelectronics S.R.L. | Method and system for de-interlacing digital images, and computer program product therefor |
KR20060084848A (ko) * | 2003-09-04 | 2006-07-25 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 비디오 신호들의 강건한 디-인터레이싱 |
KR100995398B1 (ko) * | 2004-01-20 | 2010-11-19 | 삼성전자주식회사 | 수직 및 수평 방향의 패턴을 고려한 전역 움직임 보상순차주사화 방법 |
EP1631068A3 (en) * | 2004-08-26 | 2008-09-03 | Samsung Electronics Co., Ltd. | Apparatus and method for converting interlaced image into progressive image |
KR100594780B1 (ko) * | 2004-10-09 | 2006-06-30 | 삼성전자주식회사 | 영상변환 장치 및 그 방법 |
JP4774736B2 (ja) * | 2004-12-27 | 2011-09-14 | カシオ計算機株式会社 | 画像拡大装置および撮像装置 |
KR100579890B1 (ko) * | 2004-12-30 | 2006-05-15 | 삼성전자주식회사 | 움직임 적응적 영상처리 장치 및 그 방법 |
KR100732683B1 (ko) * | 2005-05-06 | 2007-06-27 | 삼성전자주식회사 | 움직임 보상을 수행하는 영상변환장치 및 움직임 보상방법 |
US8325273B2 (en) * | 2005-06-06 | 2012-12-04 | Broadcom Corporation | System and method for vertical gradient detection in video processing |
US7982798B2 (en) * | 2005-09-08 | 2011-07-19 | Silicon Image, Inc. | Edge detection |
GB2444532A (en) * | 2006-12-06 | 2008-06-11 | Sony Uk Ltd | Motion adaptive image processing detecting motion at different levels of sensitivity |
GB2444534A (en) * | 2006-12-06 | 2008-06-11 | Sony Uk Ltd | Assessing the reliability of motion information in motion adaptive image processing |
US20090046202A1 (en) * | 2007-08-17 | 2009-02-19 | Himax Technologies Limited | De-interlace method and apparatus |
US8351510B1 (en) | 2008-02-01 | 2013-01-08 | Zenverge, Inc. | Motion compensated noise reduction using shared motion estimation engine |
US8274603B2 (en) * | 2008-03-28 | 2012-09-25 | Microsoft Corporation | Choosing video deinterlacing interpolant based on cost |
US8559746B2 (en) | 2008-09-04 | 2013-10-15 | Silicon Image, Inc. | System, method, and apparatus for smoothing of edges in images to remove irregularities |
CN101848318B (zh) * | 2009-03-26 | 2012-10-31 | 晨星软件研发(深圳)有限公司 | 影像处理的方法及电路 |
GB2484071B (en) * | 2010-09-23 | 2013-06-12 | Imagination Tech Ltd | De-interlacing of video data |
CN102158635B (zh) * | 2011-05-04 | 2012-10-31 | 凌阳科技股份有限公司 | 运动向量改善装置 |
US10264212B1 (en) | 2018-06-27 | 2019-04-16 | The United States Of America As Represented By Secretary Of The Navy | Low-complexity deinterlacing with motion detection and overlay compensation |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5027201A (en) * | 1989-12-21 | 1991-06-25 | Rca Licensing Corporation | Motion detection apparatus as for an interlace to non-interlace scan converter |
US5159451A (en) * | 1991-03-19 | 1992-10-27 | Faroudja Y C | Field memory expansible line doubler for television receiver |
DE69318216T2 (de) * | 1992-06-22 | 1998-08-27 | Thomson Multimedia Sa | Verfahren und Vorrichtung zur adaptiven Interpolation |
US5398071A (en) * | 1993-11-02 | 1995-03-14 | Texas Instruments Incorporated | Film-to-video format detection for digital television |
US5602654A (en) * | 1995-01-06 | 1997-02-11 | National Science Council | Contour-sensitive, single-field deinterlacing method |
EP0765573B1 (en) * | 1995-03-14 | 1999-06-09 | Koninklijke Philips Electronics N.V. | Motion-compensated interpolation |
US5661525A (en) * | 1995-03-27 | 1997-08-26 | Lucent Technologies Inc. | Method and apparatus for converting an interlaced video frame sequence into a progressively-scanned sequence |
CN1096185C (zh) * | 1996-01-27 | 2002-12-11 | 三星电子株式会社 | 使用运动和空间相关的隔行向逐行转换装置和方法 |
EP1013089B1 (en) * | 1997-10-06 | 2005-06-22 | Silicon Image, Inc. | Digital video system and methods for providing same |
US6340990B1 (en) * | 1998-03-31 | 2002-01-22 | Applied Intelligent Systems Inc. | System for deinterlacing television signals from camera video or film |
US6625333B1 (en) * | 1999-08-06 | 2003-09-23 | Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry Through Communications Research Centre | Method for temporal interpolation of an image sequence using object-based image analysis |
KR100327395B1 (ko) * | 1999-09-03 | 2002-03-13 | 구자홍 | 움직임 보상을 기반으로 하는 격행주사 영상의 디인터레이싱 방법 |
KR100708091B1 (ko) * | 2000-06-13 | 2007-04-16 | 삼성전자주식회사 | 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법 |
US7116372B2 (en) * | 2000-10-20 | 2006-10-03 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for deinterlacing |
JP4103073B2 (ja) * | 2001-01-09 | 2008-06-18 | ミクロナス ミュニッヒ ゲーエムベーハー | ビデオ信号を変換する方法および装置 |
EP1356676B1 (en) * | 2001-01-16 | 2007-04-11 | Koninklijke Philips Electronics N.V. | Reducing halo-like effects in motion-compensated interpolation |
-
2002
- 2002-12-10 KR KR1020020078434A patent/KR20040050577A/ko not_active Application Discontinuation
-
2003
- 2003-11-10 US US10/703,568 patent/US7321396B2/en not_active Expired - Fee Related
- 2003-11-13 EP EP03026149A patent/EP1429547A3/en not_active Withdrawn
- 2003-11-15 CN CNB2003101203753A patent/CN100442820C/zh not_active Expired - Fee Related
- 2003-12-05 JP JP2003407901A patent/JP2004194317A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7675572B2 (en) | 2004-10-06 | 2010-03-09 | Samsung Electronics Co., Ltd. | Image processing device capable of selecting field and method thereof |
US8922711B2 (en) | 2006-08-29 | 2014-12-30 | Realtek Semiconductor Corp. | Method and apparatus for de-interlacing video data |
KR101107255B1 (ko) * | 2007-02-16 | 2012-01-19 | 삼성전자주식회사 | 움직임이 보상된 보간 화소를 이용한 영상 보간 방법 및 그장치 |
Also Published As
Publication number | Publication date |
---|---|
US7321396B2 (en) | 2008-01-22 |
CN1507265A (zh) | 2004-06-23 |
US20040109085A1 (en) | 2004-06-10 |
JP2004194317A (ja) | 2004-07-08 |
EP1429547A3 (en) | 2007-10-24 |
EP1429547A2 (en) | 2004-06-16 |
CN100442820C (zh) | 2008-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20040050577A (ko) | 디인터레이싱 장치 및 방법 | |
US7057665B2 (en) | Deinterlacing apparatus and method | |
US8396129B2 (en) | Apparatus and method for single-pass, gradient-based motion compensated image rate conversion | |
KR20040009967A (ko) | 디인터레이싱장치 및 방법 | |
KR20040045525A (ko) | 스크롤링 텍스트나 그래픽 데이터를 검출할 수 있는움직임 추정장치 및 방법 | |
JPH10105142A (ja) | インターレース処理されたビデオデータ変換方法および変換システム | |
US20040119887A1 (en) | Method and device for converting video signals | |
US8355442B2 (en) | Method and system for automatically turning off motion compensation when motion vectors are inaccurate | |
JP2005045803A (ja) | 2:2プルダウンシーケンスの判別装置およびその方法 | |
KR100732683B1 (ko) | 움직임 보상을 수행하는 영상변환장치 및 움직임 보상방법 | |
EP1460847B1 (en) | Image signal processing apparatus and processing method | |
JP4322114B2 (ja) | 画像プロセッサ及びそのような画像プロセッサを備える画像表示装置 | |
TWI471010B (zh) | 一種具有移動補償的解交錯影像處理裝置及其相關方法 | |
KR20070043703A (ko) | 비월 비디오 이미지에서의 움직임 추정 | |
US8279931B2 (en) | Motion vector estimator for reducing film judder | |
JP3898546B2 (ja) | 画像走査変換方法及び装置 | |
KR100594780B1 (ko) | 영상변환 장치 및 그 방법 | |
KR100730499B1 (ko) | 화상 변환 장치 및 방법 | |
JP2006229269A (ja) | 走査線補間装置 | |
KR20030027004A (ko) | 전환 유닛 및 방법 및 화상 처리 장치 | |
KR100588902B1 (ko) | 영상 디인터레이스 장치 및 그 방법 | |
JPH08186802A (ja) | 飛び越し走査画像の補間画素作成方法 | |
KR20040036243A (ko) | 디인터레이싱장치 및 방법 | |
KR100728914B1 (ko) | 영상의 속성을 이용한 디인터레이싱 장치 및 그 방법 | |
KR20060084849A (ko) | 비디오 신호들의 견고한 디인터레이싱 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |