KR100441559B1 - 주사포맷변환장치 및 방법 - Google Patents

주사포맷변환장치 및 방법 Download PDF

Info

Publication number
KR100441559B1
KR100441559B1 KR10-2002-0005857A KR20020005857A KR100441559B1 KR 100441559 B1 KR100441559 B1 KR 100441559B1 KR 20020005857 A KR20020005857 A KR 20020005857A KR 100441559 B1 KR100441559 B1 KR 100441559B1
Authority
KR
South Korea
Prior art keywords
macroblock
field
format conversion
pixel
interpolation
Prior art date
Application number
KR10-2002-0005857A
Other languages
English (en)
Other versions
KR20030065832A (ko
Inventor
송병철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR10-2002-0005857A priority Critical patent/KR100441559B1/ko
Publication of KR20030065832A publication Critical patent/KR20030065832A/ko
Application granted granted Critical
Publication of KR100441559B1 publication Critical patent/KR100441559B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Abstract

주사포맷변환장치 및 방법이 개시된다. 필드내 보간부는 입력되는 매크로블록의 제1필드의 공간축 화소로부터 제2필드를 생성하여 주사포맷을 변환한다. 움직임 보상부는 입력되는 매크로블록의 움직임 벡터를 이용하여 주사포맷을 변환한다. 데이터 제공부는 입력되는 매크로블록의 모드 정보, 픽쳐 타입 및 복호된 상기 움직임 벡터를 기초로 하여 매크로블록의 주사포맷변환방식을 적응적으로 판단한 후, 판단결과에 따라 매크로블록을 필드내 보간부 및 움직임 보상부로 선택적으로 제공한다. 따라서 매크로블록의 주사포맷변환방식을 결정한 후 적응적으로 제공함으로써 주사포맷변환의 계산량을 감소시킬 수 있다.

Description

주사포맷변환장치 및 방법 {Apparatus and method for transformation of scanning format}
본 발명은 주사포맷변환장치 및 방법에 관한 것으로서, 보다 상세하게는 매크로블록의 주사포맷을 적응적으로 변환하는 주사포맷변환장치 및 방법에 관한 것이다.
비월주사 방식은 전국 텔레비전 체계 위원회(National Television System Committee : NTSC)의 경우 525개, 위상변경선로(Phaser Alternation Line : PAL)의 경우 625개로 이루어진 주사선을 1/60초 간격으로 한 번은 짝수번째(even, bottom) 주사선을 화면에 출력시키고, 다음에는 홀수번째(odd, top) 주사선을 화면에 출력하는 방식이다. 이 때, 1/60초 간격의 각각의 화면을 필드(field), 두 개의 필드를 합하여 프레임(frame)이라 한다. 순차주사 방식은 하나의 화면을 구현할 때 최상단의 화소 좌측에서 최하단의 화소 우측까지 주사선을 순차적으로 출력하는 것을 말한다. 순차주사 방식의 대표적인 예는 1초에 24프레임을 투영하는 극장용 영화를 들 수 있다.
이와 같은 비월주사 방식은, 1/60초 간격으로 모든 주사선들을 보내는 순차주사 방식에 비해 텔레비젼 신호의 대역폭을 절반으로 줄일 수 있는 장점이 있다. 예를 들면, 대역폭이 6MHz인 현재의 NTSC 방식의 텔레비젼이 순차주사 방식을 채택하였다면 약 12MHz의 대역폭을 필요로 한다.
그러나 비월주사 방식은 수평으로 미세한 줄무늬가 있는 경우, 그 부분은 30Hz로 떠리는 깜박임(flicker) 현상 및, 미세한 줄무늬가 겹쳐 보이는 불편한 점이 있다. 반면, 순차주사 방식은 비월 주사 방식에 비해 화면 떨림이 적으며, 고밀도의 영상을 구현할 수 있다.
디인터레이스드(de-interlaced) 방식은 비월주사(interlaced)로 입력되는 영상을 순차주사(progressive) 영상으로 변환하여 출력하는 주사포맷변환방식이다. 디인터레이스드 방식이 사용되는 대표적인 예는 공중파 방송인 텔레비젼 신호를 컴퓨터로 시청하는 경우를 들 수 있다. 이 디인터레이스드 방식은 한 필드내에 빠져있는 화소값들을 예측하여 완전한 한 프레임을 만든다. 디인터레이스드 방식은 크게 두가지로 나누어진다. 두가지 방식은 필드간 보간(inter-field interpolation) 및 필드내 보간(intra-field interpolation)이다.
필드간 보간의 한 예로 weave를 들 수 있으며, 탑필드(top-field)와 바텀필드(bottom-field)를 결합하여 하나의 프레임을 만든다. 즉, 현재 필드의 라인 사이에 직전 필드의 라인을 단순히 삽입함으로써 하나의 프레임을 구현하는 것이다. 이는 움직임 보상이 없는 영상을 보간하는 경우에는 간단히 구현할 수 있지만, 움직임 보상이 있는 영상을 보간하는 경우에는 수평선이 생기거나 화면이 열화된다.
필드내 보간은 흔히 bob이라고 알려져 있으며, 한 필드의 각 라인을 두 번 사용하여 하나의 프레임을 만든다. 다시 말하면, 하나의 필드에서 두 라인사이의 영역에 두 라인의 평균데이터를 삽입하여 새로운 프레임을 구현한다. 이러한 필드내 보간 방법은 움직임 보상이 있는 영상에 수평선이 생긴 것을 방지한다. 그러나, 정지 영상을 보간하는 경우 화면이 열화되며, 복잡하고 미세한 화면은 30Hz로 떨리게 된다.
도 1은 종래의 디인터레이싱(de-interlacing) 방식을 설명하기 위한 주사변환장치의 기본적인 구성을 도시한 블럭도, 그리고, 도 2는 종래의 디인터레이싱(de-interlacing)부의 동작을 설명하기 위해 실시예를 도시한 도면이다.
도 1을 참조하면, 종래의 영상 변환 장치(100)는 엠펙 복호기(MPEG2 decoder)(110), 움직임 검출부(Motion detector)(120) 및 디인터레이싱부(de-interlacing)(130)를 갖는다.
엠펙 복호기(110)는 입력된 비월주사 비트스트림을 복호화하여, 움직임 벡터 정보(motion vector information), 모드 정보(mode information) 및 복원된 비월주사 영상을 출력한다. 복호된 움직임 벡터 정보 및 모드 정보는 움직임 검출부(120)로 입력된다. 복원된 비월주사 영상은 디인터레이싱부(130)로 입력된다.
움직임 검출부(120)는 움직임 벡터 및 모드 정보로부터 각 화소의 움직임 여부를 판단한다. 즉, 움직임 검출부(120)는 매크로블록(macro block) 단위의 움직임 검출을 한다. 매크로블록 단위의 움직임 검출이 가능한 것은 입력 데이터가 엠펙 스트림으로부터 얻어진 복호된 움직임 벡터 및 모드 정보이기 때문이다. 움직임 보상을 위한 매크로블록이 일정 크기의 움직임 벡터를 가지면, 그 매크로블록 내의 모든 화소는 움직임이 있다고 판단한다. 화소의 움직임 여부에 대한 결과는 디인터레이싱부(130)에 입력된다.
디인터레이싱부(130)는 화소의 움직임 여부에 따라 필드 정보를 예측한다. 만약 복원된 인터레이스드 영상이 홀수필드라면, 화소의 움직임으로부터 짝수필드를 예측하여 하나의 프레임을 만든다. 도 2를 참조하면 디인터레이싱부(130)는 필드내에서 공간적으로 인접한 화소들 뿐만 아니라 이전 필드의 화소들도 이용하여 화소값을 예측한다. 즉, 디인터레이싱부(130)는 화소 단위로 적응적인 디인터레이싱을 수행한다.
움직임 벡터 및 모드 정보를 이용한 필드 예측은 도 2와 같이, ti시점에서 식(1)에 의해 얻어진다. 식(1)의 화소값 s(x1,x2,ti)는 시공간적으로 인접한 세 화소값(A, B, C)으로부터 예측된 화소값이다.
s(x1,x2,ti)는 ti시점에서 (x1,x2) 위치의 화소값, x1은 수평방향, x2는 수직방향을 의미한다. d는 윤곽선(edge) 방향으로 보간(interpolation)하기 위해 찾아진 움직임 벡터이다. [수학식1]에서 α와 β값은 움직임 검출기의 출력인 화소의 움직임 여부에 따라 달라진다. 만약, 움직임 보상을 위한 매크로블록의 화소가 움직임이 있다면, α= 0.5, β= 0이다. 즉, [수학식1]은 다음과 같은 [수학식2]로 나타낼 수 있다.
만약, 움직임 보상을 위한 매크로블록의 화소가 움직임이 없다면, α=0,β=1이다. 즉, [수학식1]은 다음과 같은 [수학식3]으로 나타낼 수 있다.
[수학식3]에 의하면 움직임이 없는 경우 보간할 화소값 s(x1,x2,ti)는 (ti-1)시점에서의 (x1,x2) 위치의 화소값을 갖게 된다.
그런데, 상기한 종래의 움직임 보상을 위한 디인터레이스드 방식은 필드 단위로 움직임을 추정한다. 이러한 디인터레이스드 방식은 화소값 예측을 위해 복잡한 계산을 요구하며, 픽쳐 딜레이(delay)를 발생하기도 한다. 또한, 필드 전체의 움직임 벡터를 저장하기 위한 메모리를 구비해야 하므로 복잡한 하드웨어를 필요로 한다.
본 발명이 이루고자 하는 기술적 과제는, 매크로블록의 주사포맷변환방식을 적응적으로 선택하여 계산량을 감소화할 수 있는 주사포맷변환장치 및 방법을 제공하는 데 있다.
도 1은 종래의 디인터레이싱(de-interlacing) 방식을 설명하기 위한 주사변환장치의 기본적인 구성을 도시한 블럭도,
도 2는 종래의 디인터레이싱(de-interlacing)부의 동작을 설명하기 위해 실시예를 도시한 도면,
도 3은 본 발명에 따른 주사포맷변환장치의 기본적인 구성을 도시한 블럭도,
도 4는 본 발명에 따른 주사포맷변환장치에서 윤곽선 보간에 의한 디인터레이싱 수행의 실시예를 설명하기 위한 도면,
도 5는 본 발명에 따른 주사포맷변환장치에서 필드내 보간 수행시 발생하는 문제점을 설명하기 위한 도면,
도 6은 본 발명에 따른 픽쳐 지연을 해결하기 위한 실시예를 도시한 도면,
도 7a 내지 도 7d는 본 발명에 따른 주사포맷변환장치의 움직임 보상에 의한 디인터레이싱 중 MV = 0인 경우의 실시예를 설명하기 위한 도면,
도 8a 내지 도 8d는 본 발명에 따른 주사포맷변환장치의 움직임 보상에 의한 디인터레이싱 중 MV ≠ 0이며 MVx2·h = 0.5인 경우의 실시예를 설명하기 위한 도면,
도 9a 내지 도 9c는 본 발명에 따른 주사포맷변환장치의 움직임 보상에 의한 디인터레이싱 중 MV ≠ 0, MVx2·h = 0이며 픽쳐간 거리가 1픽쳐인 경우의 실시예를 설명하기 위한 도면,
도 10a 내지 도 10d는 본 발명에 따른 주사포맷변환장치의 움직임 보상에 의한 디인터레이싱 중 MV ≠ 0, MVx2·h = 0이고 픽쳐간 거리가 2픽쳐이며 백워드 MC인 경우의 실시예를 설명하기 위한 도면,
도 11a 내지 도 11d는 본 발명에 따른 주사포맷변환장치의 움직임 보상에 의한 디인터레이싱 중 MV ≠ 0, MVx2·h = 0이고 픽쳐간 거리가 2픽쳐이며 포워드 MC인 경우의 실시예를 설명하기 위한 도면, 그리고,
도 12a 내지 도 12d는 본 발명에 따른 주사포맷변환장치의 움직임 보상에 의한 디인터레이싱 중 MV ≠ 0, MVx2·h = 0이고 픽쳐간 거리가 3픽쳐인 경우의 실시예를 설명하기 위한 도면이다.
* 도면의 주요 부분에 대한 부호의 설명 *
300 : 주사포맷변환장치 310 : 데이터 제공부
312 : 포맷방식 결정부 314 : 제로벡터 검출부
316 : 제공부 320 : 필드내 보간부
330 : 윤곽선 검출부 340 : 움직임 보상부
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 주사포맷변환장치는 입력되는 매크로블록의 제1필드의 공간축 화소로부터 제2필드를 생성하여 주사포맷을 변환하는 필드내 보간부; 입력되는 상기 매크로블록의 움직임 벡터를 이용하여 상기 주사포맷을 변환하는 움직임 보상부; 및 입력되는 상기 매크로블록의 모드 정보, 픽쳐 타입 및 복호된 상기 움직임 벡터를 기초로 하여 상기 매크로블록의 주사포맷변환방식을 적응적으로 결정한 후, 결정결과에 따라 상기 매크로블록을 상기 필드내 보간부 및 상기 움직임 보상부로 선택적으로 제공하는 데이타 제공부;를 포함한다.
보다 상세하게는, 상기 매크로블록은 인트라 모드, 인터 모드, MC 모드 및 no MC 모드 중 적어도 하나 이상의 상기 모드 정보를 포함한다. 상기 선택제공부는, 상기 모드 정보, 상기 픽쳐 타입 및 복호된 상기 움직임 벡터를 비교하여, 필드내 보간에 의한 주사포맷변환방식 및 움직임 보상에 의한 주사포맷변환방식 중에서 모드별로 분류된 상기 매크로블록에 대한 상기 주사포맷변환방식을 적응적으로 결정하는 포맷방식결정부; 및 상기 포맷방식결정부에서 결정된 방식을 기초로 하여 상기 필드내 보간부 및 상기 움직임 보상부로 상기 매크로블록의 화소값을 선택적으로 제공하는 제공부;를 포함한다.
상기 포맷방식결정부는 상기 매크로블록이 인트라 모드이고 내부호화 필드(Inter coded frame : I 프레임)인 경우, 상기 매크로블록의 움직임 보상(MC) 에러량(시간축 부호화 에러량)이 다음의 조건을 만족하면 상기 필드내 보간에 의한 주사포맷변환방식을 수행하도록 결정하며, 상기 매크로블록의 상기 움직임 보상 에러량이 상기 다음의 조건을 만족하지 않으면 상기 움직임 보상에 의한 주사포맷변환방식을 수행한다.
여기서, SAD(Sum of Absolute Difference)는 움직임 벡터 MV = 0인 경우 이전 예측프레임과의 블록 매칭에 의해 얻어진 값, QP는 상기 매크로블록의 양자화 변수, TH는 임계값이다.
상기 데이타 제공부는, 상기 매크로블록이 인트라 모드이고 내부호화 프레임(Inter coded frame : I 프레임)인 경우에 상기 매크로블록 내에서 영의 값을 갖는 상기 움직임 벡터만을 검출하는 제로벡터 검출부;를 더 포함하며, 상기 포맷방식결정부는 상기 제로벡터 검출부에서 상기 움직임 벡터가 영인 것으로 검출된 상기 매크로블록에 대해 상기 주사포맷변환방식을 결정한다.
상기 포맷방식결정부는 상기 매크로블록이 상기 인트라 모드이고 양방향예측프레임(B frame) 및/또는 예측프레임(P frame)이면 상기 필드내 보간에 의한 주사포맷변환방식을 수행한다.
바람직하게는, 상기 포맷방식결정부는 상기 매크로블록이 상기 인터 모드이고 부호화된 MC 모드 및/또는 부호화된 no MC 모드인 경우, 상기 MC 에러가 다음의 조건을 만족하면 상기 움직임 보상에 의한 주사포맷변환방식을 수행하도록 결정하며, 상기 다음의 조건을 만족하지 않으면 상기 필드내 보간에 의한 주사포맷변환방식을 수행하도록 결정한다.
여기서, DC, AD01, AD10, AD11, AD02및 AD20은 DCT 계수, QP는 상기 매크로블록의 양자화 변수, TH는 임계값이다.
상기 포맷방식결정부는 상기 매크로블록이 상기 인터 모드이고 부호화되지 않은 MC 모드 및/또는 부호화되지 않은 no MC 모드인 경우 상기 움직임 보상에 의한 상기 주사포맷변환방식을 선택한다.
상기 선택제공부로부터 입력된 상기 매크로블록에 기초하여 상기 필드내 보간부는 다음식에 의해 상기 필드내 보간에 의한 주사포맷변환을 수행한다.
여기서, f(x1,x2,ti)는 ti시점에서 (x1,x2)에 위치한 화소값, x1은 수평방향, x2는 수직방향, d는 윤곽선(edge)을 보간하기 위한 움직임 벡터이다.
상기 필드내 보간부에서 상기 매크로블록의 상기 주사포맷변환을 수행하는 경우, 상기 윤곽선 보간을 위한 상기 매크로블록의 상기 움직임 벡터를 검출하는 윤곽선 검출부;를 더 포함한다. 또한, 상기 선택제공부로부터 입력된 상기 매크로블록의 움직임 벡터가 영인 경우, 상기 움직임 보상부는 참조 필드의 탑 필드 및/또는 참조 필드 중 상기 제1필드에 주사되지 않은 필드의 화소를 이용하여 상기 움직임 보상에 의한 주사포맷변환을 수행한다.
한편, 본 발명에 따른 주사포맷변환방법은 입력되는 매크로블록을 모드별로 분류한 후, 상기 매크로블록의 픽쳐 타입 및 복호된 움직임 벡터를 비교하여 상기 매크로블록의 주사포맷변환방식을 결정하는 단계; 결정된 상기 주사포맷변환방식에 의해 화소값을 가지는 상기 매크로블록을 적응적으로 출력하는 단계; 및 출력된 상기 매크로블록의 주사포맷을 결정된 상기 주사포맷변환방식에 의해 변환하는 단계;를 포함한다.
보다 상세하게는, 상기 포맷방식 결정단계는 상기 매크로블록이 인트라 모드이고 내부호화 필드(Inter coded frame : I 프레임)인 경우, 상기 매크로블록의 움직임 보상(MC) 에러량(시간축 부호화 에러량)이 다음의 조건을 만족하면 필드내 보간에 의한 주사포맷변환방식을 수행하도록 결정하며, 상기 매크로블록의 상기 움직임 보상 에러량이 상기 다음의 조건을 만족하지 않으면 움직임 보상에 의한 주사포맷변환방식을 수행하도록 결정한다.
여기서, SAD(Sum of Absolute Difference)는 움직임 벡터 MV = 0인 경우 이전 예측프레임과의 블록 매칭에 의해 얻어진 값, QP는 상기 매크로블록의 양자화 변수, TH는 임계값이다.
상기 포맷방식 결정단계는 상기 매크로블록이 인트라 모드이고 내부호화 프레임인 경우, 상기 매크로블록 내에서 영의 값을 갖는 상기 움직임 벡터를 검출하는 단계;를 포함하며, 상기 포맷방식 결정단계는 검출된 상기 움직임 벡터를 포함하는 상기 매크로블록에 대해서만 상기 주사포맷변환방식을 결정한다.
상기 포맷방식 결정단계는 상기 매크로블록이 상기 인트라 모드이고 양방향예측프레임(B frame) 및/또는 예측프레임(P frame)이면 상기 필드내 보간에 의한 주사포맷변환방식을 수행하도록 결정한다.
상기 포맷방식 결정단계는 상기 매크로블록이 상기 인터 모드이고 부호화된 MC 모드 및/또는 부호화된 no MC 모드인 경우, 상기 MC 에러가 다음의 조건을 만족하면 상기 움직임 보상에 의한 주사포맷변환방식을 수행하도록 결정하며, 상기 다음의 조건을 만족하지 않으면 상기 필드내 보간에 의한 주사포맷변환방식을 수행하도록 결정한다.
여기서, DC, AD01, AD10, AD11, AD02및 AD20은 DCT 계수, QP는 상기 매크로블록의 양자화 변수, TH는 임계값이다.
상기 포맷방식 결정단계는 상기 매크로블록이 상기 인터 모드이고 부호화되지 않은 MC 모드 및/또는 부호화되지 않은 no MC 모드인 경우 상기 움직임 보상에 의한 주사포맷변환방식을 수행하도록 결정한다.
필드내 보간에 의한 주사포맷변환방식이 결정된 상기 매크로블록이 입력된 경우, 상기 변환단계는 다음식에 의해 상기 매크로블록의 상기 주사포맷을 변환한다.
여기서, f(x1,x2,ti)는 ti시점에서 (x1,x2)에 위치한 화소값, x1은 수평방향, x2는 수직방향, d는 윤곽선(edge)을 보간하기 위한 움직임 보상 벡터이다.
상기 필드내 보간에 의해 상기 매크로블록의 상기 주사포맷을 변환하는 경우, 상기 변환단계는 상기 윤곽선 보간을 위한 상기 매크로블록의 상기 움직임 벡터를 검출하는 단계;를 포함한다. 또한, 움직임 보상에 의한 상기 주사포맷변환방식이 결정된 상기 매크로블록이 입력된 경우, 상기 변환단계는 상기 매크로블록에 대해 상기 움직임 보상에 의한 주사포맷변환을 수행한다.
본 발명에 따르면, 입력되는 매크로블록의 모드 정보, 픽쳐 타입 및 움직임 벡터에 의해 주사포맷변환방식을 결정한 후 적응적으로 매크로블록을 출력함으로써 주사포맷변환의 복잡한 계산량을 감소시킬 수 있다.
이하에서는 첨부된 도면들을 참조하여 본 발명을 보다 상세하기 설명한다.
도 3은 본 발명에 따른 주사포맷변환장치의 기본적인 구성을 도시한 블럭도이다.
도 3을 참조하면, 본 발명에 따른 주사포맷변환장치(300)는 데이타 제공부(310), 필드내 보간부(320), 윤곽선 검출부(330) 및 움직임 보상부(340)를 갖는다. 이하에서는 비월주사로 입력된 탑 필드 영상을 순차주사 영상으로 변환하는 디인터레이싱을 실시예로 들어 설명한다. 또한, 본 발명에 따른 주사포맷변환장치(300)는 매크로블록 단위로 디인터레이싱을 수행한다. 본 발명에서 고려하는 디인터레이싱 방식은 필드내 보간에 의한 디인터레이싱 및 움직임 보상에 의한 디인터레이싱이다.
데이타 제공부(310)는 입력되는 매크로블록의 모드 정보(mode_info), 픽쳐 타입(picture_type) 및 복호된 움직임 벡터(MV)를 기초로 하여 매크로블록의 디인터레이싱 방식을 결정한 후 매크로블록을 출력한다. 데이타 제공부(310)는 포맷방식결정부(312), 제로벡터 검출부(314) 및 제공부(316)를 갖는다. 포맷방식결정부(312)는 매크로블록의 모드 정보, 픽쳐 타입 및 움직임 벡터를 비교 및 분류하여 매크로블록의 디인터레이싱 방식을 결정한다.
포맷방식결정부(312)가 매크로블록의 디인터레이싱 방식을 선택하는 기준은 다음의 [표 1]과 같다.
기준1: 모드정보 기준2: 픽쳐타입 기준3 : MV 적용방식 case
인트라 모드 I 픽쳐 MV=0인 경우큰 MC 에러 필드내 보간 case1
MV=0인 경우작은 MC 에러 움직임 보상 case2
B 또는 P 픽쳐 · 필드내 보간 case3
인터 모드 MC 또는 no MC (not-coded) · 움직임 보상 case4
MC 또는 no MC(coded) 큰 MC 에러 필드내 보간 case5
작은 MC 에러 움직임 보상 case6
[표 1]을 살펴보면, 포맷방식결정부(312)는 입력되는 매크로블록의 모드 정보를 비교한다. 매크로블록의 모드가 인트라 모드인 경우 픽쳐 타입을 고려한다. 매크로블록이 인트라 모드이면서 I 픽쳐(inter coded picture : 내부호화 픽쳐)이면 매크로블록의 움직임 벡터는 존재하지 않는다. 이 때 필드내 보간을 이용하여 디인터레이싱을 수행하면 블러링(blurring)이 발생하므로 화질의 열화가 발생한다. 또한, I 픽쳐는 다음 픽쳐의 부호화 성능에 영향을 미치므로 필드내 보간만을 이용하여 디인터레이싱을 수행하는 것은 바람직하지 않다.
I 픽쳐의 화질 향상을 위한 방법으로 I 픽쳐의 모든 매크로블록에 대해 바로이전의 P 픽쳐를 참조 픽쳐(reference picture)로 하여 전역 탐색(Global Search)을 통한 움직임 추정을 할 수 있다. 그러나 전역 탐색을 통한 움직임 추정은 많은 계산량을 요구하므로 움직임 벡터 MV = 0인 경우에 한하여, 바로 이전 P 픽쳐를 참조 픽쳐로 하여 움직임을 추정한다.
제로벡터 검출부(314)는 매크로블록의 움직임 벡터들 중 0의 값 즉, MV = (0,0)인 움직임 벡터만을 검출한다. 매크로블록이 인트라 모드이고 I 픽쳐인 것으로 판단되면, 포맷방식결정부(312)는 MV = (0,0)인 경우만 고려한다. 동영상의 경우 MV = 0인 경우가 가장 많으므로 MV = 0인 경우만 고려하는 것은 가능하다.
MV = 0인 경우 포맷방식결정부(312)는 픽쳐 내의 매크로블록의 디인터레이싱 방식을 다음의 기준에 의해 결정한다.
이면, 포맷방식결정부(312)는 매크로블록의 움직임이 있는 것으로 판단하여 필드내 보간에 의한 디인터레이싱(case1)을 수행하도록 결정한다.
반면,이면 MV = 0이며, 포맷방식결정부(312)는 움직임 보상에 의한 디인터레이싱(case2)을 수행하도록 결정한다.
여기서, SAD(Sum of Absolute Difference)는 MV = 0인 경우 바로 이전 P 픽쳐와의 블록 매칭에 의해 얻어진 값, QP(Quantization Parameter : 양자화 값)는 매크로블록의 양자화값, SAD/QP는 움직임 보상 에러, TH(threshold)는 움직임 보상 에러의 임계값으로 100보다 작은 수이다.
한편, 매크로블록의 모드가 인터 모드인 경우, 기본적으로 움직임 추정은 복호시 얻어진 움직임벡터를 사용한다. 이 때, 포맷방식결정부(312)는 매크로블록의 부호화 여부를 고려한다. 매크로블록이 부호화되지 않은 MC 또는 부호화되지 않은 no MC이면 포맷방식결정부(312)는 움직임 보상에 의한 디인터레이싱 방식을 수행하도록 결정한다(case4). 특히, 위 조건에서 TH의 범위를 80 ∼ 100으로 설정한 경우, 움직임 보상 에러가 TH보다 작으면 부호화되지 않은 no MC 매크로블록을 움직임 보상에 의해 상당한 정확도로 디인터레이싱할 수 있다.
반면, 매크로블록이 부호화된 MC 또는 부호화된 no MC이면 포맷방식결정부(312)는 부호화된 블록의 코딩 에러량을 확인하여 블록의 움직임 벡터 사용여부를 결정한다. 부호화된 블록은 매크로블록내에 존재한다. 매크로블록내의 부호화된 블록은 다음 두 조건에 의해 디인터레이싱 방식이 결정된다. 두 조건은 다음과 같다.
위에서, DC, AD01, AD10, AD11, AD02및 AD20은 DCT 계수, QP는 상기 매크로블록의 양자화 변수, TH는 임계값이다.
매크로블록내의 부호화된 블록이 위의 두 조건을 만족하지 않으면, 포맷방식결정부(312)는 부호화된 블록이 필드내 보간에 의해 디인터레이싱되도록 결정한다(case5). 그러나, 위의 두 조건을 만족하는 블록에 대해서는 움직임 벡터를 이용한 움직임 보상에 의해 디인터레이싱을 수행하도록 한다(case6).
제공부(316)는 포맷방식결정부(312)에서 선택된 디인터레이싱 방식에 의해 매크로블록(MB having pixel data)을 필드내 보간부(320) 또는 움직임 보상부(340)로 적응적으로 제공한다. 포맷방식결정부(312)에 의해 필드내 보간에 의한 디인터레이싱이 결정되면(case1, case3, case5) 제공부(316)는 매크로블록을 필드내 보간부(320)로 제공한다. 또한, 포맷방식결정부(312)에 의해 움직임 보상에 의한 디인터레이싱이 결정되면(case2, case4, case6) 제공부(316)는 매크로블록을 움직임 보상부(340)로 제공한다.
필드내 보간부(320)는 제공부(316)로부터 입력받은 매크로블록의 주사포맷을 변환한다. 입력된 매크로블록의 제1필드에 탑 필드가 주사된 경우를 예로 들면, 필드내 보간부(320)는 탑 필드의 공간축 화소로부터 제2필드 즉, 바텀 필드를 생성한다. 공간축 화소는 필드의 동일열인 수직방향에 위치하는 화소이다. 즉, 필드내 보간부(320)는 종래의 [수학식 2]를 이용하여 필드내 보간에 의한 디인터레이싱을 수행한다. 종래의 [수학식 2]는 다음과 같다.
s(x1,x2,ti)는 ti시점에서 (x1,x2) 위치의 화소값, x1은 수평방향, x2는 수직방향을 의미한다. d는 윤곽선(edge) 방향으로 보간(interpolation)하기 위해 찾아진 움직임 벡터, α와 β는 움직임 검출기의 출력인 화소의 움직임 여부에 따라 변하는 가중치이다.
윤곽선 검출부(330)는 필드내 보간부(320)로 입력되는 매크로블록의 윤곽선 보간을 위한 움직임 벡터 d를 검출한다. 또한, 본 발명에서 [수학식 2]를 이용하여 디인터레이싱을 수행하는 경우 필드내 보간부(320)는 윤곽선 기반 보간에 의한 디인터레이싱을 수행할 수 있다. 이러한 경우, 필드내 보간부(320)는 윤곽선 검출부(330)에서 검출된 움직임 벡터 d를 [수학식 2]에 적용하여 보간하면 된다. 윤곽선 기반 보간을 이용한 필드내 보간에 의한 디인터레이싱은 단순한 필드내 보간에 의한 디인터레이싱에 비해 뚜렷한 영상을 얻을 수 있다.
윤곽선 보간에 의한 디인터레이싱을 수행하는 경우 윤곽선 보간의 계산량이 많은 것으로 판단되면 [수학식 4]에 의한 디인터레이싱을 수행할 수 있다.
[수학식 4]는 [수학식 2]에 d = 0을 대입하여 얻어진 식이며, 도 4와 같이 수직으로 인접한 두 화소의 화소값의 평균값을 의미한다. 그러나, 상술한 바와 같이 매크로블록 단위로 필드내 보간에 의한 디인터레이싱을 수행하는 경우, 필드내 보간부(320)는 인접한 매크로블록의 화소 정보를 알지 못 하므로 필드내 보간을 수행하는 데 어려움이 있다.
도 5는 본 발명에 따른 주사포맷변환장치에서 필드내 보간 수행시 발생하는 문제점을 설명하기 위한 도면, 도 6은 본 발명에 따른 픽쳐 지연을 해결하기 위한 실시예를 도시한 도면이다.
도 5에서 탑 필드 및 바텀 필드의 블록에 주사된 화소는 검은색, 필드내 보간에 의해 예측될 화소는 흰색, 블록 밖의 화소는 회색, 블록의 경계는 실선으로 나타낸다. 도 5를 참조하면, 화살표로 지적된 라인의 화소들 예를 들어, 탑 필드의 최하위 라인의 화소들은 필드내 보간이 불가능하다. 또한, 바텀 필드의 최상위 라인의 화소들 역시 필드내 보간이 불가능하다. 필드내 보간을 수행하는 경우, 블록내의 최하위 또는 최상위 라인에 존재하는 화소들이 필드내 보간을 위해 필요로 하는 화소들은 블록외에 존재하기 때문이다. 필요로 하는 화소들은 블록내의 최하위 또는 최상위 라인에 존재하는 화소들의 위 또는 아래 라인에 존재한다.
이러한 문제는 탑 필드 또는 바텀 필드 블록의 한 라인 즉, 1 슬라이스만 지연시킴으로써 해결할 수 있다. 즉, 임의의 블록에 1 슬라이스 지연을 둔 후, 현재 슬라이스(current_slice)의 위에 위치한 슬라이스(upper_slice)의 맨 아래 화소들 및 현재 슬라이스의 아래에 위치한 슬라이스(down_slice)의 맨 위 화소들을 저장해둠으로써 필드내 보간을 수행할 수 있다.
도 6을 참조하면, 1 슬라이스는 N개의 매크로블록을 갖는다. 현재 슬라이스의 n번째에 위치한 현재 매크로블록(MBn)을 필드내 보간에 의해 디인터레이싱하는 경우, 필드내 보간부(320)는 디코딩보다 1 슬라이스 지연하여 현재 매크로블록(MBn)의 디인터레이싱을 수행한다. 즉, 1 슬라이스를 지연함으로써 현재 매크로블록(MBn)의 아래 매크로블록까지 디코딩이 되며 필드내 보간부(320)는 위·아래 매크로블록의 화소정보를 이용하여 현재 매크로블록(MBn)을 디인터레이싱 할 수 있다. 이 때 위·아래 매크로블록의 모든 화소를 이용하지 않고 도 6의 사선으로 도시된 맨아래 또는 맨위 라인에 위치한 화소들만 이용한다.
움직임 보상부(340)는 제공부(316)로부터 입력받은 매크로블록의 주사포맷을 변환한다. 이 때의 매크로블록은 case2, case4, case6에 해당하며, 움직임 보상부(340)는 매크로블록의 움직임 벡터 즉, 시간축 화소 및 공간축 화소를 이용하여 디인터레이싱을 수행한다. 움직임 보상부(340)는 크게 MV = 0인 경우, MV ≠0인 경우 및 MC 타입이 양방향 모드인 경우를 고려하여 움직임 보상에 의한 디인터레이싱을 수행한다.
이하에서는 도 7a 내지 도 7d를 참조하여 MV = 0인 경우를 고려한다.
도 7a 내지 도 7d는 본 발명에 따른 주사포맷변환장치의 움직임 보상에 의한 디인터레이싱 중 MV = 0인 경우의 실시예를 설명하기 위한 도면이다.
도 7a 내지 도 7d를 참조하면, 참조 필드(Reference Fields)는 탑 필드(top fields) 및 바텀 필드(bottom field), 현재 필드(Current Field)는 참조 필드에 주사된 필드가 그대로 주사된 필드이다.
또한, 도 7a 내지 도 7d에서 참조 필드의 두 필드 중 현재 필드에 주사되는 필드(예를 들면 도 7a의 top field)의 화소는 실선안의 검은색, 참조 필드의 두 필드 중 현재 필드(예를 들면 도 7a의 TOP field)에 주사되는 필드(예를 들면 도 7a의 top field)의 예측되는 화소는 실선안의 흰색, 현재 필드에 주사되지 않은 필드(예를 들면 도 7a의 bottom field)의 화소는 점선안의 사선으로 나타내며, 현재 필드 중 주사된 필드(예를 들면 도 7a의 TOP field)의 화소는 실선안의 검은색,참조 필드의 두 필드 중 하나에 의해 예측될 필드(예를 들면 도 7a의 TOP field의 짝수 라인)의 화소는 실선안의 흰색으로 나타낸다.
1. TOP - to - top MC의 경우는 현재 필드의 탑(TOP) 필드는 참조 필드의 탑(top)필드로부터 주사된 경우이다. 이러한 경우 움직임 보상부(340)는 현재 필드의 예측될 바텀 필드(예를 들면, 현재 필드의 (x2-1), (x2+1)번째)를 도 7a와 같이 참조 필드의 바텀(bottom) 필드로부터 그대로 가져온다. 이는 다음의 [수학식 5]와 같이 표현된다.
[수학식 5]에서 예측될 화소값 s(x1,x2,ti+n)는 ti시점에서 (x1,x2)에 위치하는 화소값을 갖게 된다.
2. TOP - to - bottom MC의 경우는 현재 필드의 탑(TOP) 필드는 참조 필드의 바텀(bottom)필드로부터 주사된 경우이다. 이러한 경우 움직임 보상부(340)는 현재 필드의 예측될 바텀 필드(예를 들면, 현재 필드의 (x2-1), (x2+1)번째)를 도 7b와 같이 참조 필드의 탑(top) 필드로부터 그대로 가져온다. 이는 다음의 [수학식 6]과 같이 표현된다.
[수학식 6]에서 예측될 화소값 s(x1,x2,ti+n)는 ti시점에서 (x1,x2+1)에 위치하는 화소값을 갖게 된다.
3. BOTTOM - to - bottom MC의 경우는 현재 필드의 바텀(BOTTOM) 필드는 참조 필드의 탑(top)필드로부터 주사된 경우이다. 이러한 경우 움직임 보상부(340)는 현재 필드의 예측될 탑 필드(예를 들면, 현재 필드의 x2, (x2+2)번째)를 도 7c와 같이 참조 필드의 바텀(bottom) 필드로부터 그대로 가져온다. 이는 다음의 [수학식 7]과 같이 표현된다.
[수학식 7]에서 예측될 화소값 s(x1,x2,ti+n)는 ti+1시점에서 (x1,x2-1)에 위치하는 화소값을 갖게 된다.
4. BOTTPM - to - bottom MC의 경우는 현재 필드의 바텀(BOTTOM) 필드는 참조 바텀(bottom)필드로부터 주사된 경우이다. 이러한 경우 움직임 보상부(340)는 현재 필드의 예측될 탑 필드(예를 들면, 현재 필드의 x2, (x2+2)번째)를 도 7d와 같이 참조 필드의 탑(top) 필드로부터 그대로 가져온다. 이는 다음의 [수학식 8]과 같이 표현된다.
[수학식 8]에서 예측될 화소값 s(x1,x2,ti+n+1)는 ti시점에서 (x1,x2)에 위치하는 화소값을 갖게 된다.
이하에서는 도 8a 내지 도 8d를 참조하여 MV ≠ 0이며, MVx2·h = 0.5인 경우를 고려한다.
도 8a 내지 도 8d를 참조하면, 참조 필드(Reference Field) 및 현재 필드(Current Field)에 주사된 화소는 검은색, 예측될 화소는 흰색, 양방향 화살표는 서로 대응하는 위치의 화소, 한 방향 화살표는 움직임 보상을 의미한다. MVx2·h = 0.5는 참조 필드의 수직방향(x2)의 반화소에 대한 움직임 벡터이다.
도 8a 내지 도 8d는 MVx2·h = 0.5 단위를 갖는 화소에 2를 곱하여 MVx2·h = 1 단위를 갖는 화소를 도시한 것이다. MVx2·h = 0.5인 경우, 움직임 보상부(340)는 필드에 관계없이 각각의 예측될 화소에 대응하는 참조 화소들을 그대로 가져와 움직임을 보상한다. 이와 같은 디인터레이싱은 다음의 [수학식 9]와 같이 표현된다.
이하에서는 주어진 도면들을 참조하여 본 발명에 따른 주사포맷변환장치의 움직임 보상에 의한 디인터레이싱 중 MV ≠ 0, MVx2·h = 0인 경우의 실시예를 설명한다.
MVx2·h = 0이어도 움직임 벡터 MV는 0이 아니며 MV ≠ 0, MVx2·h = 0인 경우 픽쳐 간 거리에 따라 디인터레이싱 방법이 다르다. 이하에서는 픽쳐간 거리 M = 3인 경우를 고려한다. M = 3인 경우, P 픽쳐와 참조 픽쳐간의 거리는 3 픽쳐이며, B 픽쳐와 참조 픽쳐간의 거리는 1 또는 2 픽쳐이다.
도 9a 내지 도 9c는 본 발명에 따른 주사포맷변환장치의 움직임 보상에 의한 디인터레이싱 중 MV ≠ 0, MVx2·h = 0이며 현재 픽쳐와 참조 픽쳐간 거리가 1픽쳐인 경우의 실시예를 설명하기 위한 도면이다.
도 9a 내지 도 9c에서 참조 필드(Reference Fields) 및 현재 필드(Current Fields)에 주사된 각 필드의 화소는 검은색, 예측될 화소는 실선의 흰색, 예측에 이용될 필드의 화소는 점선의 사선으로 표시되며, 양방향 화살표는 서로 대응하는 위치의 화소, 한 방향 화살표는 움직임 보상을 의미한다. MVx1및 MVx2는 수평 방향 및 수직방향 화소의 움직임 벡터이다.
1. TOP - to - top MC의 경우는 현재 필드의 탑(TOP) 필드는 참조 필드의 탑(top) 필드로부터 주사된 경우이다. 도 9a를 참조하면, 수직방향의 움직임 벡터 MVx2가 2의 배수인 경우, 움직임 보상부(340)는 현재 탑(TOP) 필드와 참조 탑(top) 필드 사이의 참조 바텀(bottom) 필드 화소들을 MVx2/2만큼 움직임 보상하여 현재 탑(TOP) 필드의 화소를 예측한다. 이는 다음의 [수학식 10]과 같이 표현된다.
MVx2가 2의 배수인 경우, [수학식 10]의 s(x1,x2,tcTOP)는 tcTOP시점에서 (x1,x2) 위치의 현재 탑 필드의 화소값, x1은 수평방향, x2는 수직방향을 의미한다. MVx2가 2의 배수가 아닌 경우에는 필드내 보간에 의해 현재 바텀 필드의 화소를 예측한다.
2. BOTTOM - to - bottom MC의 경우는 현재 필드의 바텀(BOTTOM) 필드는 참조 필드의 바텀(bottom) 필드로부터 주사된 경우이다. 도 9b를 참조하면, MVx2가 2의 배수인 경우, 움직임 보상부(340)는 현재 바텀(BOTTOM) 필드와 참조 바텀(bottom) 필드 사이의 현재 탑(TOP) 필드 화소들을 MVx2/2만큼 움직임 보상하여 현재 바텀(BOTTOM) 필드의 화소를 예측한다. 이는 다음의 [수학식 11]과 같이 표현된다.
MVx2가 2의 배수가 아닌 경우에는 필드내 보간에 의해 현재 바텀 필드의 화소를 예측한다.
3. BOTTOM - to - top MC의 경우는 현재 필드의 바텀(BOTTOM) 필드는 참조 필드의 바텀(top) 필드로부터 주사된 경우이다. 도 9c를 참조하여, MVx2≠(3m-1) (m은 정수)이면, 움직임 보상부(340)는 MVx2방향으로 현재 탑(TOP) 필드와 참조 바텀(bottom) 필드를 연결한다. 그리고 연결선과 가장 근접한 참조 바텀(bottom) 필드의 화소와 현재 바텀(BOTTOM) 필드의 화소를 보간한다(곡선안의 두 화소). MVx2= (3m-1) (m은 정수)이면 필드내 보간에 의해 현재 바텀(BOTTOM) 필드의 화소를 예측한다.
4. TOP - to - bottom의 경우는 서로 대응하는 움직임 벡터가 없으므로 필드내 보간을 이용하여 디인티레이싱을 수행한다.
도 10a 내지 도 10d는 본 발명에 따른 주사포맷변환장치의 움직임 보상에 의한 디인터레이싱 중 MV ≠ 0, MVx2·h = 0, 현재 픽쳐와 참조 픽쳐간 거리가 2 픽쳐이며, 첫번째 B 픽쳐에서 백워드 MC하는 경우의 실시예를 설명하기 위한 도면이다.
도 10a 내지 도 10d에서 참조 필드(Reference Fields) 및 현재 필드(Current Fields)에 주사된 각 필드의 화소는 검은색, 주사된 각 필드 중 가공의 화소 또는 예측될 화소는 흰색, 예측에 이용될 화소는 점선의 사선으로 표시된다. 또한, C1, C2, C3, C4, C5및 C6는 각 필드의 칼럼번호, 양방향 화살표는 서로 대응하는 위치의 화소, 한 방향 화살표는 움직임 보상을 의미한다. MVx1및 MVx2는 수평 방향 및 수직방향 화소의 움직임 벡터이다.
도 10a 내지 도 10d를 참조하면, 이는 현재 픽쳐와 참조 픽쳐의 두번째 B 픽쳐가 복호되기 이전이다. 이로 인해 움직임 보상부(340)는 B 픽쳐를 이용하여 움직임 보상에 의한 디인터레이싱을 수행할 수 없다.
1. TOP - to - top MC인 경우, 먼저 MVx2가 2의 배수가 아닌 경우를 고려한다. 도 10a를 참조하면, 움직임 보상부(340)는 MVx2방향으로 현재 탑(TOP) 필드(C5)의 가상의 바텀 필드의 화소(C5의 (x2-1)번째의 화소)와 참조 탑(top) 필드(C1)의 가상의 바텀 필드의 화소(C1의 (x2+1)번째의 화소)를 연결한다. 그리고 연결한 선(양방향 점선 화살표)과 가장 근접한 참조 바텀 필드의 화소(C2의 (x2+1)번째의 화소) 및 현재 바텀 필드의 화소(C6의 (x2-1)번째의 화소)를 보간하여 현재 탑(TOP) 필드의 가상의 바텀 필드의 화소(C5의 (x2-1)번째의 화소)를 예측한다. 반면, MVx2가 2의 배수이면 예측될 화소(C5의 (x2-1)번째의 화소)는 필드내 보간에 의한 디인터레이싱된다.
2. TOP - to - bottom MC인 경우, 먼저 MVx2≠(3m-2)(m은 정수)인 경우를 고려한다. 도 10b를 참조하면, 움직임 보상부(340)는 MVx2방향으로 현재 탑(TOP) 필드(C5)의 가상의 바텀 필드의 화소(C5의 (x2-1)번째의 화소)와 참조 바텀(bottom) 필드(C2)의 가상의 탑 필드의 화소(C2의 (x2+4)번째의 화소)를 연결한다. 그리고 연결한 선(양방향 점선 화살표)과 가장 근접한 참조 탑 필드의 화소(C1의 (x2+4)번째의 화소) 및 현재 바텀 필드의 화소(C6의 (x2-1)번째의 화소)를 보간하여 현재 탑(TOP) 필드의 가상의 바텀 필드의 화소(C5의 (x2-1)번째의 화소)를 예측한다. 반면, MVx2= (3m-2)(m은 정수)이면 예측될 화소(C5의 (x2-1)번째의 화소)는 필드내 보간에 의해 디인터레이싱된다.
3. BOTTOM - to - bottom MC인 경우, 먼저 MVx2가 2의 배수가 아닌 경우를 고려한다. 도 10c를 참조하면, 움직임 보상부(340)는 MVx2방향으로 현재 바텀(BOTTOM) 필드(C6)의 가상의 탑 필드의 화소(C5의 x2번째의 화소)와 참조 바텀(bottom) 필드(C1)의 가상의 탑 필드의 화소(C2의 (x2+2)번째의 화소)를 연결한다. 그리고 연결한 선(양방향 점선 화살표)과 가장 근접한 참조 탑 필드의 화소(C1의 (x2+2)번째의 화소) 및 현재 탑 필드의 화소(C5의 x2번째의 화소)를 보간하여 현재 바텀(BOTTOM) 필드의 가상의 탑 필드의 화소(C6의 x2번째의 화소)를 예측한다. 반면, MVx2가 2의 배수이면 예측될 화소(C6의 x2번째의 화소)는 필드내 보간에 의한 디인터레이싱된다.
4. BOTTOM - to - top MC인 경우, 먼저 MVx2≠(5m-2)(m은 정수)인 경우를 고려한다. 도 10d를 참조하면, 움직임 보상부(340)는 MVx2방향으로 현재 바텀(BOTTOM) 필드(C6)의 가상의 탑 필드의 화소(C6의 x2번째의 화소)와 참조 탑(top) 필드(C1)의 가상의 바텀 필드의 화소(C1의 (x2+3)번째의 화소)를 연결한다. 그리고 연결한 선(양방향 점선 화살표)과 가장 근접한 참조 바텀 필드의 화소(C2의(x2+3)번째의 화소) 및 현재 탑 필드의 화소(C5의 x2번째의 화소)를 보간하여 현재 바텀(BOTTOM) 필드의 가상의 탑 필드의 화소(C6의 x2번째의 화소)를 예측한다. 반면, MVx2= (5m-2)(m은 정수)이면 예측될 화소(C6의 x2번째의 화소)는 필드내 보간에 의해 디인터레이싱된다.
도 11a 내지 도 11d는 본 발명에 따른 주사포맷변환장치의 움직임 보상에 의한 디인터레이싱 중 MV ≠ 0, MVx2·h = 0, 현재 픽쳐와 참조 픽쳐간 거리가 2 픽쳐이며, 두번째 B 픽쳐에서 포워드 MC하는 경우의 실시예를 설명하기 위한 도면이다.
현재 픽쳐와 참조 픽쳐간 거리가 2 픽쳐이며, 두번째 B 픽쳐에서 포워드 MC하는 경우, 현재 픽쳐와 참조 픽쳐의 두번째 B 픽쳐의 정보는 메모리(도시되지 않음)에 저장되어 있다. 이로 인해 움직임 보상부(340)는 B 픽쳐를 이용하여 움직임 보상에 의한 디인터레이싱을 수행하는 것이 가능하다.
도 11a 내지 도 11d에서 참조 필드(Reference Fields) 및 현재 필드(Current Fields)에 주사된 각 필드의 화소는 검은색, 주사된 각 필드 중 가공의 화소 또는 예측될 화소는 흰색, 예측에 이용될 화소는 사선으로 표시되며, 양방향 화살표는 서로 대응하는 위치의 화소, 한 방향 화살표는 움직임 보상을 의미한다. MVx1및 MVx2는 수평 방향 및 수직방향 화소의 움직임 벡터이다.
1. TOP - to - top MC인 경우, 현재 탑(TOP) 필드의 임의의 화소(C5의 x2번째의 화소)는 참조 탑(top) 필드의 임의의 화소(C1의 (x2+2)번째의 화소)로주터 주사된다(양방향 화살표). 먼저 MVx2가 2의 배수가 아닌 경우를 고려한다. 도 11a를 참조하면, 움직임 보상부(340)는 가운데 B 픽쳐의 탑 필드 화소(C3의 x2번째의 화소)를 MVx2/2만큼 움직임 보상한다. 보상하여 얻어진 화소값은 현재 탑(TOP) 필드(C5)의 가상의 바텀 필드의 화소(C5의 (x2-1)번째의 화소)로 예측된다(한방향 화살표). 반면, MVx2가 2의 배수이면 예측될 화소(C5의 (x2-1)번째의 화소)는 필드내 보간에 의한 디인터레이싱된다.
2. TOP - to - bottom MC인 경우, 현재 탑(TOP) 필드의 임의의 화소(C5의 x2번째의 화소)는 참조 바텀(bottom) 필드의 임의의 화소(C5의 (x2+5)번째의 화소)로주터 주사된다(양방향 화살표). 먼저 MVx2≠(3m-2)(m은 정수)인 경우를 고려한다. 도 11b를 참조하면, MVx2방향으로 현재 탑(TOP) 필드(C5)의 가상의 바텀 필드의 화소(C5의 (x2-1)번째의 화소)와 참조 바텀(bottom) 필드(C2)의 가상의 탑 필드의 화소(C2의 (x2+4)번째의 화소)를 연결한다. 그리고 연결한 선(양방향 점선 화살표)과 가장 근접한 가운데 B 픽쳐의 탑 필드 화소(C3의 (x2+2)번째의 화소)와 바텀 필드 화소(C4의 (x2+1)번째의 화소)를 보간한다. 움직임 보상부(340)는 보간된 화소값을 이용하여 현재 탑(TOP) 필드의 가상의 바텀 필드의 화소(C5의 (x2-1)번째의 화소)를 예측한다(한방향 화살표). 반면, MVx2= (3m-2)(m은 정수)이면 예측될화소(C5의 (x2-1)번째의 화소)는 필드내 보간에 의해 디인터레이싱된다.
3. BOTTOM - to - bottom MC인 경우, 현재 바텀(BOTTOM) 필드의 임의의 화소(C6의 (x2-1)번째의 화소)는 참조 바텀(bottom) 필드의 임의의 화소(C2의 (x2+1)번째의 화소)로주터 주사된다(양방향 화살표). 먼저 MVx2가 2의 배수가 아닌 경우를 고려한다. 도 11c를 참조하면, 움직임 보상부(340)는 가운데 B 픽쳐의 바텀 필드 화소(C4의 (x2+1)번째의 화소)를 MVx2/2만큼 움직임 보상한다. 보상하여 얻어진 화소값은 현재 바텀(BOTTOM) 필드(C5)의 가상의 탑 필드의 화소(C5의 x2번째의 화소)로 예측된다(한방향 화살표). 반면, MVx2가 2의 배수이면 예측될 화소(C5의 x2번째의 화소)는 필드내 보간에 의한 디인터레이싱된다.
4. BOTTOM - to - top MC인 경우, 현재 바텀(BOTTOM) 필드의 임의의 화소(C6의 (x2-1)번째의 화소)는 참조 탑(top) 필드의 임의의 화소(C1의 (x2+2)번째의 화소)로주터 주사된다(양방향 화살표). 먼저 MVx2≠(5m-2)(m은 정수)인 경우를 고려한다. 도 11d를 참조하면, MVx2방향으로 현재 바텀(BOTTOM) 필드(C6)의 가상의 탑 필드의 화소(C6의 x2번째의 화소)와 참조 탑(top) 필드(C1)의 가상의 바텀 필드의 화소(C1의 (x2+3)번째의 화소)를 연결한다. 그리고 연결한 선(양방향 점선 화살표)과 가장 근접한 가운데 B 픽쳐의 탑 필드 화소(C3의 (x2+2)번째의 화소)와 바텀 필드화소(C4의 (x2+1)번째의 화소)를 보간한다. 움직임 보상부(340)는 보간된 화소값을 이용하여 현재 바텀(BOTTOM) 필드의 가상의 탑 필드의 화소(C6의 x2번째의 화소)를 예측한다(한방향 화살표). 반면, MVx2= (5m-2)(m은 정수)이면 예측될 화소(C6의 x2번째의 화소)는 필드내 보간에 의해 디인터레이싱된다.
도 12a 내지 도 12d는 본 발명에 따른 주사포맷변환장치의 움직임 보상에 의한 디인터레이싱 중 MV ≠ 0, MVx2·h = 0이고 픽쳐간 거리가 3픽쳐인 경우의 실시예를 설명하기 위한 도면이다.
현재 픽쳐와 참조 픽쳐간 거리가 3인 경우, 중간의 두 B 픽쳐들은 복호 이전의 상태이므로 B 픽쳐를 이용하여 디인터레이싱을 수행하는 것은 불가능하다.
도 12a 내지 도 12d에서 참조 필드(Reference Fields) 및 현재 필드(Current Fields)에 주사된 각 필드의 화소는 검은색, 주사된 각 필드 중 가공의 화소 또는 예측될 화소는 흰색, 예측에 이용될 화소는 사선으로 표시되며, 양방향 화살표는 서로 대응하는 위치의 화소, 한 방향 화살표는 움직임 보상을 의미한다. MVx1및 MVx2는 수평 방향 및 수직방향 화소의 움직임 벡터이다.
1. TOP - to - top MC인 경우, 도 12a를 참조하면, 현재 탑(TOP) 필드의 임의의 화소(C7의 (x2-2)번째의 화소)는 참조 탑(top) 필드의 임의의 화소(C1의 (x2+2)번째의 화소)로주터 주사된다(양방향 화살표). 먼저 MVx2가 2의 배수인 경우를 고려한다. 움직임 보상부(340)는 MVx2방향으로 현재 탑(TOP) 필드의 가상의 바텀 필드 화소(C7의 (x2-1)번째의 화소)와 참조 탑(top) 필드의 가상의 바텀 필드 화소(C1의 (x2+3)번째의 화소)를 연결한다. 그리고 연결한 선(양방향 점선 화살표)과 가장 근접한 참조 바텀 필드 화소(C2의 (x2+3)번째의 화소) 및 현재 바텀 필드 화소(C4의 (x2-1)번째의 화소)를 보간한다. 움직임 보상부(340)는 보간된 화소값을 이용하여 현재 탑(TOP) 필드의 가상의 바텀 필드의 화소(C7의 (x2-1)번째의 화소)를 예측한다(한방향 화살표). 반면, MVx2가 2의 배수이면 예측될 화소(C7의 (x2-1)번째의 화소)는 필드내 보간에 의해 디인터레이싱된다.
2. TOP - to - bottom MC인 경우, 현재 탑(TOP) 필드의 임의의 화소(C7의 (x2-2)번째의 화소)는 참조 바텀(bottom) 필드의 임의의 화소(C2의 (x2+1)번째의 화소)로주터 주사된다(양방향 화살표). 먼저 MVx2≠(5m-3)(m은 정수)인 경우를 고려한다. 도 12b를 참조하면, MVx2방향으로 현재 탑(TOP) 필드(C7)의 가상의 바텀 필드의 화소(C7의 (x2-1)번째의 화소)와 참조 바텀(bottom) 필드(C2)의 가상의 탑 필드의 화소(C2의 (x2+2)번째의 화소)를 연결한다. 그리고 연결한 선(양방향 점선 화살표)과 가장 근접한 참조 탑 필드 화소(C1의 (x2+2)번째의 화소)와 현재 바텀 필드 화소(C8의 (x2-1)번째의 화소)를 보간한다. 움직임 보상부(340)는 보간된 화소값을이용하여 현재 탑(TOP) 필드의 가상의 바텀 필드의 화소(C7의 (x2-1)번째의 화소)를 예측한다(한방향 화살표). 반면, MVx2= (5m-3)(m은 정수)이면 예측될 화소(C7의 (x2-1)번째의 화소)는 필드내 보간에 의해 디인터레이싱된다.
3. BOTTOM - to - bottom MC의 경우, 현재 바텀(BOTTOM) 필드의 임의의 화소(C8의 (x2-1)번째의 화소)는 참조 바텀(bottom) 필드의 임의의 화소(C2의 (x2+3)번째의 화소)로주터 주사된다(양방향 화살표). 먼저 MVx2가 2의 배수인 경우를 고려한다. 도 12c를 참조하면, 움직임 보상부(340)는 MVx2방향으로 현재 바텀(BOTTOM) 필드의 가상의 탑 필드 화소(C8의 x2번째의 화소)와 참조 바텀(bottom) 필드의 가상의 탑 필드 화소(C2의 (x2+4)번째의 화소)를 연결한다. 그리고 연결한 선(양방향 점선 화살표)과 가장 근접한 참조 탑 필드 화소(C1의 (x2+4)번째의 화소) 및 현재 탑 필드 화소(C7의 x2번째의 화소)를 보간한다. 움직임 보상부(340)는 보간된 화소값을 이용하여 현재 바텀(BOTTOM) 필드의 가상의 탑 필드의 화소(C8의 x2번째의 화소)를 예측한다(한방향 화살표). 반면, MVx2가 2의 배수가 아니면 예측될 화소(C8의 x2번째의 화소)는 필드내 보간에 의해 디인터레이싱된다.
4. BOTTOM - to - top MC인 경우, 현재 바텀(BOTTOM) 필드의 임의의 화소(C8의 (x2-1)번째의 화소)는 참조 탑(top) 필드의 임의의 화소(C1의 x2번째의 화소)로주터 주사된다(양방향 화살표). 먼저 MVx2≠(7m-3)(m은 정수)인 경우를 고려한다. 도 12d를 참조하면, MVx2방향으로 현재 바텀(BOTTOM) 필드(C8)의 가상의 바텀 필드의 화소(C8의 x2번째의 화소)와 참조 탑(top) 필드(C1)의 가상의 바텀 필드의 화소(C1의 (x2+1)번째의 화소)를 연결한다. 그리고 연결한 선(양방향 점선 화살표)과 가장 근접한 참조 바텀 필드 화소(C2의 (x2+1)번째의 화소)와 현재 탑 필드 화소(C7의 x2번째의 화소)를 보간한다. 움직임 보상부(340)는 보간된 화소값을 이용하여 현재 바텀(BOTTOM) 필드의 가상의 탑 필드의 화소(C8의 x2번째의 화소)를 예측한다(한방향 화살표). 반면, MVx2= (7m-3)(m은 정수)이면 예측될 화소(C8의 x2번째의 화소)는 필드내 보간에 의해 디인터레이싱된다.
한편, MC 타입이 양방향 모드인 경우를 고려하면, 양방향 모드인 경우는 움직임 벡터가 두 개인 경우를 말한다. 이 때, 움직임 보상부(340)는 각 움직임 벡터에 대해 상기와 같은 방법을 이용하여 디인터레이싱을 수행한 후, 두 결과값의 평균값을 예측될 화소값으로 사용한다.
도 13은 본 발명에 따른 주사포맷변환방법을 설명하기 위한 흐름도이다.
이하에서는 비월주사에 의해 주사된 필드는 탑 필드이며 예측하기 위한 필드는 바텀 필드인 경우를 실시예로 들어 설명한다.
도 13을 참조하면, 본 발명에 따른 주사포맷변환방법은 먼저 입력되는 매크로블록의 모드 정보를 판단한다. 인트라 모드인 것으로 판단되면(S1305) 매크로블록의 픽쳐 타입을 확인한다. 매크로블록의 픽쳐 타입이 I 프레임이면(S1310) MV = 0을 갖는 매크로블록을 검출한다(S1315). 동영상의 경우 MV = 0인 경우가 가장 많으므로 MV = 0인 경우만 고려하는 것은 가능하다. 검출된 매크로블록은 다음 기준에 의해 디인터레이싱 방식이 결정된다.
이면(S1320), 매크로블록은 움직임이 있는 것으로 판단되어 필드내 보간에 의한 디인터레이싱 방식이 결정된다(S1325).
반면,이면(S1320), MV = 0인 경우이며, 움직임 보상에 의한 디인터레이싱 방식이 결정된다(S1370).
여기서, SAD(Sum of Absolute Difference)는 MV = 0인 경우 바로 이전 P 픽쳐와의 블록 매칭에 의해 얻어진 값, QP(Quantization Parameter : 양자화 값)는 매크로블록의 양자화값, SAD/QP는 움직임 보상 에러로서 시간축 부호화 에러, TH(threshold)는 움직임 보상 에러의 임계값으로 100보다 작은 수이다.
S1310단계에서 I 프레임이 아닌 것으로 판단되면 매크로블록은 B 또는 P 프레임이다. B 또는 P 프레임을 갖는 매크로블록은 필드내 보간에 의한 디인터레이싱 방식이 결정된다(S1325). 필드내 보간에 의한 디인터레이싱 방식이 결정된 매크로블록은 디인터레이싱을 수행하는 장치로 제공된다(S1330). 입력된 매크로블록을 필드내 보간에 의해 디인터레이싱 하기 이전, 매크로블록의 윤곽선 보간을 위한움직임 벡터를 검출한다(S1335). 이는 단순한 필드내 보간에 의한 디인터레이싱에 비해 뚜렷한 영상을 얻을 수 있기 때문이다. 그리고 입력된 매크로블록을 필드내 보간 또는 윤곽선 보간에 의해 디인터레이싱한다(S1340). 디인터레이싱된 매크로블록은 엔코더로 출력된다(S1345).
S1305단계에서 매크로블록이 인트라 모드가 아닌 것으로 판단되면 인터 모드로 판단한다(S1350). 인터 모드의 매크로블록이 부호화된 MC 또는 부호화된 no MC이면(S1355) 다음의 두 조건에 의해 디인터레이싱 방식을 결정한다.
위에서, DC, AD01, AD10, AD11, AD02및 AD20은 DCT 계수, QP는 상기 매크로블록의 양자화 변수, TH는 임계값이다. 매크로블록내의 부호화된 블록이 위의 두 조건을 만족하면(S1360) 움직임 보상에 의한 디인터레이싱 방식을 수행하도록 결정한다(S1365). S1360단계에서 매크로블록내의 부호화된 블록이 위의 두 조건을 만족하지 않으면 필드내 보간에 의한 디인터레이싱 방식을 수행하도록 결정한다(S1325).
또한, S1355단계에서 인터 모드의 매크로블록이 부호화된 MC 또는 부호화된 no MC가 아닌 것으로 판단되면, 매크로블록은 부호화되지 않은 MC 또는 부호화되지 않은 no MC인 것으로 판단한다(S1370). 부호화되지 않은 MC 또는 부호화되지 않은 no MC인 매크로블록은 움직임 보상에 의한 디인터레이싱 방식이 결정된다(S1365).움직임 보상에 의한 디인터레이싱 방식이 선택된 매크로블록은 움직임 보상에 의해 디인터레이싱을 수행하는 장치로 제공된다(S1375). 입력된 매크로블록은 움직임 보상에 의해 디인터레이싱한다(S1380). 디인터레이싱된 매크로블록은 엔코더로 출력된다(S1345).
본 발명에 따른 주사포맷변환장치 및 방법에 의하면, 입력되는 매크로블록의 모드 정보, 픽쳐 타입 및 움직임 벡터를 비교하여 적응적으로 매크로블록 단위로 디인터레이싱을 수행할 수 있다. 특히, 필드내 보간에 의한 디인터레이싱을 수행하는 경우 움직임 벡터는 영인 경우를 고려하므로 디인터레이싱에 필요한 계산량을 감소시킬 수 있다. 또한, 모든 처리를 매크로블록 단위로 수행함으로써 복호기의 포스트 필터(post-filter)를 대체하여 움직임 보상 에러에 대해 후처리할 수 있으며, 1 슬라이스만 지연함으로써 픽쳐 지연을 방지할 수 있다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안되며, 후술하는 특허청구범위 뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 입력되는 매크로블록의 제1필드의 공간축 화소로부터 제2필드를 생성하여 주사포맷을 변환하는 필드내 보간부;
    입력되는 상기 매크로블록의 움직임 벡터를 이용하여 상기 주사포맷을 변환하는 움직임 보상부;
    입력되는 상기 매크로블록의 모드 정보, 픽쳐 타입 및 복호된 상기 움직임 벡터를 기초로 하여, 필드내 보간에 의한 주사포맷변환방식 및 움직임 보상에 의한 주사포맷변환방식 중 하나를 상기 매크로블록의 주사포맷변환방식으로 결정하는 포맷방식결정부; 및
    상기 결정된 방식을 기초로 하여 상기 필드내 보간부 및 상기 움직임 보상부 중 하나로 상기 매크로블록의 화소값을 선택적으로 제공하는 제공부;를 포함하는 것을 특징으로 하는 주사포맷변환장치.
  2. 제 1항에 있어서,
    상기 매크로블록은 인트라 모드, 인터 모드, MC 모드 및 no MC 모드 중 적어도 하나의 상기 모드 정보를 포함하는 것을 특징으로 하는 주사포맷변환장치.
  3. 삭제
  4. 제 1항에 있어서,
    상기 포맷방식결정부는 상기 매크로블록이 인트라 모드이고 내부호화 필드(Inter coded frame : I 프레임)인 경우, 상기 매크로블록의 움직임 보상(MC) 에러량(시간축 부호화 에러량)이 다음의 조건을 만족하면 상기 필드내 보간에 의한 주사포맷변환방식을 수행하도록 결정하며, 상기 매크로블록의 상기 움직임 보상 에러량이 상기 다음의 조건을 만족하지 않으면 상기 움직임 보상에 의한 주사포맷변환방식을 수행하도록 결정하는 것을 특징으로 하는 주사포맷변환장치:
    여기서, SAD(Sum of Absolute Difference)는 움직임 벡터 MV = 0인 경우 이전 예측프레임과의 블록 매칭에 의해 얻어진 값, QP는 상기 매크로블록의 양자화 변수, TH는 임계값.
  5. 제 1항에 있어서,
    상기 데이타 제공부는, 상기 매크로블록이 인트라 모드이고 내부호화 프레임(Inter coded frame : I 프레임)인 경우에 상기 매크로블록 내에서 영의 값을 갖는 상기 움직임 벡터만을 검출하는 제로벡터 검출부;를 더 포함하며,
    상기 포맷방식결정부는 상기 제로벡터 검출부에서 상기 움직임 벡터가 영인 것으로 검출된 상기 매크로블록에 대해 상기 주사포맷변환방식을 결정하는 것을 특징으로 하는 주사포맷변환장치.
  6. 제 1항에 있어서,
    상기 포맷방식결정부는 상기 매크로블록이 상기 인트라 모드이고 양방향예측프레임(B frame) 및/또는 예측프레임(P frame)이면 상기 필드내 보간에 의한 주사포맷변환방식을 수행하도록 결정하는 것을 특징으로 하는 주사포맷변환장치.
  7. 제 1항에 있어서,
    상기 포맷방식결정부는 상기 매크로블록이 상기 인터 모드이고 부호화된 MC 모드 및/또는 부호화된 no MC 모드인 경우, 상기 MC 에러가 다음의 조건을 만족하면 상기 움직임 보상에 의한 주사포맷변환방식을 수행하도록 결정하며, 상기 다음의 조건을 만족하지 않으면 상기 필드내 보간에 의한 주사포맷변환방식을 수행하도록 결정하는 것을 특징으로 하는 주사포맷변환장치:
    여기서, DC, AD01, AD10, AD11, AD02및 AD20은 DCT 계수, QP는 상기 매크로블록의 양자화 변수, TH는 임계값.
  8. 제 1항에 있어서,
    상기 포맷방식결정부는 상기 매크로블록이 상기 인터 모드이고 부호화되지 않은 MC 모드 및/또는 부호화되지 않은 no MC 모드인 경우 상기 움직임 보상에 의한 상기 주사포맷변환방식을 선택하는 것을 특징으로 하는 주사포맷변환장치.
  9. 제 1항에 있어서,
    상기 제공부로부터 입력된 상기 매크로블록에 기초하여 상기 필드내 보간부는 다음식에 의해 상기 필드내 보간에 의한 주사포맷변환을 수행하는 것을 특징으로 하는 주사포맷변환장치:
    여기서, f(x1,x2,ti)는 ti시점에서 (x1,x2)에 위치한 화소값, x1은 수평방향, x2는 수직방향, d는 윤곽선(edge)을 보간하기 위한 움직임 벡터.
  10. 제 9항에 있어서,
    상기 필드내 보간부에서 상기 매크로블록의 상기 주사포맷변환을 수행하는 경우, 상기 윤곽선 보간을 위한 상기 매크로블록의 상기 움직임 벡터를 검출하는 윤곽선 검출부;를 더 포함하는 것을 특징으로 하는 주사포맷변환장치.
  11. 제 1항에 있어서,
    상기 제공부로부터 입력된 상기 매크로블록의 움직임 벡터가 영인 경우, 상기 움직임 보상부는 참조 필드의 탑 필드 및/또는 참조 필드 중 상기 제1필드에 주사되지 않은 필드의 화소를 이용하여 상기 움직임 보상에 의한 주사포맷변환을 수행하는 것을 특징으로 하는 주사포맷변환장치.
  12. 입력되는 매크로블록을 모드별로 분류한 후, 상기 매크로블록의 픽쳐 타입 및 복호된 움직임 벡터를 비교하여 상기 매크로블록의 주사포맷변환방식을 필드내 보간 및 움직임 보상 중 하나로 결정하는 단계;
    결정된 상기 주사포맷변환방식에 의해 화소값을 가지는 상기 매크로블록을 적응적으로 출력하는 단계; 및
    상기 결정하는 단계에서 상기 필드내 보간으로 결정되면, 상기 매크로블록의 제1필드의 공간축 화소로부터 제2필드를 생성하여 주사포맷을 변환하고, 상기 움직임 보상으로 결정되면, 상기 매크로블록의 움직임 벡터를 이용하여 상기 주사포맷을 변환하는 단계;를 포함하는 것을 특징으로 하는 주사포맷변환방법.
  13. 제 12항에 있어서,
    상기 결정하는 단계는 상기 매크로블록이 인트라 모드이고 내부호화 필드(Inter coded frame : I 프레임)인 경우, 상기 매크로블록의 움직임 보상(MC) 에러량(시간축 부호화 에러량)이 다음의 조건을 만족하면 필드내 보간에 의한 주사포맷변환방식을 수행하도록 결정하며, 상기 매크로블록의 상기 움직임 보상 에러량이 상기 다음의 조건을 만족하지 않으면 움직임 보상에 의한 주사포맷변환방식을 수행하도록 결정하는 것을 특징으로 하는 주사포맷변환방법:
    여기서, SAD(Sum of Absolute Difference)는 움직임 벡터 MV = 0인 경우 이전 예측프레임과의 블록 매칭에 의해 얻어진 값, QP는 상기 매크로블록의 양자화 변수, TH는 임계값.
  14. 제 13항에 있어서,
    상기 결정하는 단계는 상기 매크로블록이 인트라 모드이고 내부호화 프레임인 경우, 상기 매크로블록 내에서 영의 값을 갖는 상기 움직임 벡터를 검출하는 단계;를 포함하며,
    상기 결정하는 단계는 검출된 상기 움직임 벡터를 포함하는 상기 매크로블록에 대해서만 상기 주사포맷변환방식을 결정하는 것을 특징으로 하는 주사포맷변환방법.
  15. 제 12항에 있어서,
    상기 결정하는 단계는 상기 매크로블록이 상기 인트라 모드이고 양방향예측프레임(B frame) 및/또는 예측프레임(P frame)이면 상기 필드내 보간에 의한 주사포맷변환방식을 수행하도록 결정하는 것을 특징으로 하는 주사포맷변환방법.
  16. 제 12항에 있어서,
    상기 결정하는 단계는 상기 매크로블록이 상기 인터 모드이고 부호화된 MC 모드 및/또는 부호화된 no MC 모드인 경우, 상기 MC 에러가 다음의 조건을 만족하면 상기 움직임 보상에 의한 주사포맷변환방식을 수행하도록 결정하며, 상기 다음의 조건을 만족하지 않으면 상기 필드내 보간에 의한 주사포맷변환방식을 수행하도록 결정하는 것을 특징으로 하는 주사포맷변환방법:
    여기서, DC, AD01, AD10, AD11, AD02및 AD20은 DCT 계수, QP는 상기 매크로블록의 양자화 변수, TH는 임계값.
  17. 제 12항에 있어서,
    상기 결정하는 단계는 상기 매크로블록이 상기 인터 모드이고 부호화되지 않은 MC 모드 및/또는 부호화되지 않은 no MC 모드인 경우 상기 움직임 보상에 의한 주사포맷변환방식을 수행하도록 결정하는 것을 특징으로 하는 주사포맷변환방법.
  18. 제 12항에 있어서,
    필드내 보간에 의한 주사포맷변환방식이 결정된 상기 매크로블록이 입력된 경우, 상기 변환하는 단계는 다음식에 의해 상기 매크로블록의 상기 주사포맷을 변환하는 것을 특징으로 하는 주사포맷변환방법:
    여기서, f(x1,x2,ti)는 ti시점에서 (x1,x2)에 위치한 화소값, x1은 수평방향, x2는 수직방향, d는 윤곽선(edge)을 보간하기 위한 움직임 보상 벡터.
  19. 제 18항에 있어서,
    상기 필드내 보간에 의해 상기 매크로블록의 상기 주사포맷을 변환하는 경우, 상기 변환하는 단계는 상기 윤곽선 보간을 위한 상기 매크로블록의 상기 움직임 벡터를 검출하는 단계;를 포함하는 것을 특징으로 하는 주사포맷변환방법.
  20. 제 12항에 있어서,
    움직임 보상에 의한 상기 주사포맷변환방식이 결정된 상기 매크로블록이 입력된 경우, 상기 변환하는 단계는 상기 매크로블록에 대해 상기 움직임 보상에 의한 주사포맷변환을 수행하는 것을 특징으로 하는 주사포맷변환방법.
KR10-2002-0005857A 2002-02-01 2002-02-01 주사포맷변환장치 및 방법 KR100441559B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2002-0005857A KR100441559B1 (ko) 2002-02-01 2002-02-01 주사포맷변환장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0005857A KR100441559B1 (ko) 2002-02-01 2002-02-01 주사포맷변환장치 및 방법

Publications (2)

Publication Number Publication Date
KR20030065832A KR20030065832A (ko) 2003-08-09
KR100441559B1 true KR100441559B1 (ko) 2004-07-23

Family

ID=32220185

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0005857A KR100441559B1 (ko) 2002-02-01 2002-02-01 주사포맷변환장치 및 방법

Country Status (1)

Country Link
KR (1) KR100441559B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000050212A (ja) * 1998-07-29 2000-02-18 Nec Corp 画像表示装置及び画像表示方法
KR20010026089A (ko) * 1999-09-03 2001-04-06 구자홍 움직임 보상을 기반으로 하는 격행주사 영상의 디인터레이싱 방법
JP2001145066A (ja) * 1999-11-12 2001-05-25 Matsushita Electric Ind Co Ltd 走査線補間装置
US6331874B1 (en) * 1999-06-29 2001-12-18 Lsi Logic Corporation Motion compensated de-interlacing
KR20030049140A (ko) * 2001-12-14 2003-06-25 매크로영상기술(주) 영상 신호의 디인터레이스 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000050212A (ja) * 1998-07-29 2000-02-18 Nec Corp 画像表示装置及び画像表示方法
US6331874B1 (en) * 1999-06-29 2001-12-18 Lsi Logic Corporation Motion compensated de-interlacing
KR20010026089A (ko) * 1999-09-03 2001-04-06 구자홍 움직임 보상을 기반으로 하는 격행주사 영상의 디인터레이싱 방법
JP2001145066A (ja) * 1999-11-12 2001-05-25 Matsushita Electric Ind Co Ltd 走査線補間装置
KR20030049140A (ko) * 2001-12-14 2003-06-25 매크로영상기술(주) 영상 신호의 디인터레이스 방법 및 장치

Also Published As

Publication number Publication date
KR20030065832A (ko) 2003-08-09

Similar Documents

Publication Publication Date Title
US7477690B2 (en) Macroblock level adaptive frame/field coding for digital video content
US5436665A (en) Motion picture coding apparatus
EP0631444B1 (en) Time-varying image encoder
US8428118B2 (en) Technique for transcoding MPEG-2/MPEG-4 bitstream to H.264 bitstream
CA2468087C (en) Macroblock level adaptive frame/field coding for digital video content
US20090168890A1 (en) Predicting motion vectors for fields of forward-predicted interlaced video frames
KR20060047595A (ko) 적응 시간적인 예측을 채용하는 움직임 벡터 추정
KR20060047556A (ko) 필름 모드 검출 방법과, 필름 모드 검출기와, 움직임 보상방법 및 움직임 보상기
JP2755851B2 (ja) 動画像符号化装置及び動画像符号化方法
EP1418754B1 (en) Progressive conversion of interlaced video based on coded bitstream analysis
KR100441559B1 (ko) 주사포맷변환장치 및 방법
JP2004320278A (ja) 動画像時間軸補間方法及び動画像時間軸補間装置
JP2758378B2 (ja) 動画像復号化装置及び動画像復号化方法
KR100441552B1 (ko) 영상변환장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130627

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20140627

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20150629

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20160629

Year of fee payment: 13

LAPS Lapse due to unpaid annual fee