KR100657261B1 - 적응적 움직임 보상 보간 방법 및 장치 - Google Patents

적응적 움직임 보상 보간 방법 및 장치 Download PDF

Info

Publication number
KR100657261B1
KR100657261B1 KR20030089365A KR20030089365A KR100657261B1 KR 100657261 B1 KR100657261 B1 KR 100657261B1 KR 20030089365 A KR20030089365 A KR 20030089365A KR 20030089365 A KR20030089365 A KR 20030089365A KR 100657261 B1 KR100657261 B1 KR 100657261B1
Authority
KR
South Korea
Prior art keywords
frame
motion vector
motion
frames
image
Prior art date
Application number
KR20030089365A
Other languages
English (en)
Other versions
KR20050057707A (ko
Inventor
하태현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR20030089365A priority Critical patent/KR100657261B1/ko
Priority to US10/960,494 priority patent/US7868946B2/en
Priority to JP2004356944A priority patent/JP2005176381A/ja
Publication of KR20050057707A publication Critical patent/KR20050057707A/ko
Application granted granted Critical
Publication of KR100657261B1 publication Critical patent/KR100657261B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Abstract

움직임 벡터의 특성을 고려하여 적응적으로 프레임사이에 보간될 영상을 생성하는 움직임 보상 보간 방법 및 그 장치가 개시되어 있다. 본 발명은 인접한 이미지 프레임간에 움직임 추정을 수행하여 블록 기반의 움직임 벡터를 추정하는 과정, 추정된 움직임 벡터의 변화율을 계산하는 과정, 움직임 벡터의 변화율을 바탕으로 해당 이미지 픽셀들을 복수개의 이미지 영역으로 구분하는 과정, 구분된 이미지 영역에 따라 상기 이미지 프레임 사이에 보간될 이미지 픽셀값을 결정하는 과정을 포함한다.

Description

적응적 움직임 보상 보간 방법 및 장치{Method and apparatus for interpolating with adaptive motion compensation}
도 1은 종래의 움직임 보상 보간 방법을 보이는 개념도이다.
도 2는 본 발명에 따른 적응적 움직임 보상 보간 장치의 블록도이다.
도 3은 도 2의 MC 보간부의 상세도이다.
도 4는 본 발명에 따른 적응적 움직임 보상 보간 방법을 보이는 흐름도이다.
도 5는 블록 기반의 움직임 추정에 의한 움직임 보상 보간을 설명하는 타이밍도이다.
도 6은 본 발명에 따른 적응적 움직임 보상 보간 방법을 설명하기 위한 타이밍도이다.
본 발명은 프레임 레이트 변환 시스템에 한 것이며, 특히 움직임 벡터의 특성을 고려하여 적응적으로 프레임사이에 보간될 영상을 생성하는 움직임 보상 보간 (Motion Compensated Interpolation)방법 및 그 장치에 관한 것이다.
통상적으로 PC나 HDTV에서는 PAL 또는 NTSC 와 같은 다양한 방송 신호 규격 을 갖는 프로그램을 호환하기 위해 프레임 레이트 변환(Frame Rate Conversion)을 수행한다. 프레임 레이트 변환은 초당 출력되는 프레임수를 변환시키는 것을 의미한다. 특히 프레임 레이트가 증가되는 경우에 새로운 프레임을 보간하는 과정이 필요하다. 한편, 최근에는 방송기술의 발달에 따라 MPEG(Moving Picture Experts Group), H.263과 같은 영상 압축 방식에 의해 영상데이터를 압축한 후 프레임 레이트 변환을 수행하고 있다. 이러한 영상 처리 분야에서 영상신호는 대부분의 경우 상관관계(autocorrelation)가 크기 때문에 중복성(redundancy)을 가지고 있다. 따라서 데이터 압축시 중복성을 제거함으로써 데이터 압축 효과를 향상시킬 수 있다. 이때 시간적으로 변하는 비디오 프레임을 효율적으로 압축하기 위해서는 시간축 방향의 중복성 제거가 필요하다. 즉, 움직임이 없는 프레임이나 움직임이 약간 있는 프레임은 전 프레임으로 대체함으로써 전송해야 할 데이터량을 큰 폭으로 줄일 수 있다. 움직임 추정(Motion Estimation:ME)은 이전 프레임과 현재 프레임 사이에서 가장 비슷한 블록을 찾는 작업이다. 움직임 추정에서 블럭이 얼마 만큼 움직였는가를 나타내는 것을 움직임 벡터(Motion Vector, MV)라고 한다.
일반적으로 움직임 추정 방법은 움직임 정도의 정확도, 실시간 처리가능성 및 하드웨어 구현 등을 고려하여 블럭 매칭 알고리즘(Block Maching Algorithm:BMA)을 이용하고 있다. 프레임과 프레임사이에 삽입될 영상 신호는 주로 블럭 매칭 알고리즘을 사용하여 생성된다. 도 1은 블럭 매칭 알고리즘을 이용한 프레임간의 움직임 보상 보간 방법을 도시하고 있다.
도 1에서 프레임(Fn), 프레임(Fn-1), 프레임(Fi)에 속한 블럭(B)내의 픽셀값을 각각 fn, fn-1, fi라고 하고, 프레임(Fn)에 속한 좌표값을 x라고 할 때, 움직임 보상으로 보간될 영상 신호는 수학 식 1과 같이 나타낼 수 있다.
fi(x+MV(x)/2) = {fn(x)+fn-1(x+MV(x))}/2
그러나 프레임(Fn)과 프레임(Fn-1)사이에서는 물체의 수평, 수직, 회전, 확대 축소등에 의해 물체의 모양 및 크기에 변형이 생기며, 종종 물체가 사라지거나 나타나는 경우가 허다하다. 따라서 블럭 매칭 알고리즘에 의해 매칭된 양 블록 내부의 이미지들이 서로 다를 가능성이 높기 때문에, 수학식 1과 같은 수식으로 보간된 영상 신호는 왜곡을 발생시키거나, 블러링(blurring)현상을 일으킬 가능성이 많은 문제점이 있다. .
이런 문제점을 해결하기 위해 수학식 2와 같이 프레임(Fn)이나 프레임(Fn-1)에 속한 블록중 어느 하나를 사용하여 프레임사이에 보간될 픽셀값을 결정한다. 그러나 수학식 2를 사용한 프레임간의 보간 방법도 프레임(Fn)이나 프레임(Fn-1)에 속한 블록중 어느 블록을 사용할 것인지가 분명치 않다.
fi(x+MV(x)/2) = fn(x) or fn-1(x+MV(x))
또한 인접한 두 개의 프레임을 사용하여 움직임 추정을 수행할 시 배경 부분 과 움직이는 물체 부분의 경계에서는 감춰지는 영역(covered region)과 새로이 나타나는 영역(uncovered region)이 나타난다. 이때 두 프레임 사이에 한쪽 방향으로만 움직임 추정을 수행할 경우 보간될 프레임에는 감춰지는 영역(covered region)으로 인해 홀(hole) 및 오버래핑(overlapping)이 발생한다. 따라서 이러한 홀 및 오버래핑을 방지하기 위해 양방향 움직임 추정(bi-directional ME)을 사용하여 보간될 프레임(fi)을 생성한다. 그러나 이러한 양방향 움직임 추정 방법은 양쪽 방향으로 움직임을 추정해야하기 때문에 계산량을 증가시키고 하드웨어의 량을 증가시키는 문제점이 있다.
본 발명이 이루고자하는 기술적 과제는 움직임 벡터의 변화율(gradient)에 따라 적응적으로 움직임 보상 보간을 수행함으로써 블록 기반 움직임 추정에 의한 화질 열화를 개선하는 적응적 움직임 보상 보간 방법 및 그 장치를 제공하는 데 있다.
상기의 기술적 과제를 해결하기 위하여, 본 발명은 적응적 움직임 보상 보간 방법에 있어서,
(a) 인접한 이미지 프레임간에 블록 기반의 움직임 추정을 수행하여 움직임 벡터를 추정하는 과정;
(b) 상기 과정에서 추정된 움직임 벡터의 변화율을 계산하는 과정;
(c) 상기 움직임 벡터의 변화율을 바탕으로 해당 프레임내 픽셀들을 복수개 의 이미지 영역으로 구분하는 과정;
(d) 상기 구분된 이미지 영역에 따라 프레임간에 서로 매칭되는 픽셀들 및 프레임간에 추정된 움직임 벡터를 적응적으로 선택하여 상기 프레임 사이에 보간될 픽셀값으로 결정하는 과정을 포함하는 것을 특징으로 한다.
상기의 다른 기술적 과제를 해결하기 위하여, 본 발명은 적응적 움직임 보상 보간 장치에 있어서,
입력되는 이미지 신호를 프레임 단위로 저장하는 프레임 버퍼부;
상기 프레임 버퍼부에서 저장된 (n-1)번째 프레임 및 n번째 프레임간에 단 방향 움직임 추정을 수행하는 움직임 추정부;
상기 움직임 추정부에서 추정된 움직임 벡터의 변화율을 검출하는 MV 변화율 검출부;
상기 MV 변화율 검출부에서 검출된 움직임 벡터의 변화율 따라 복수개의 이미지 영역으로 분류하고, 이 이미지 영역에 따라 프레임간에 서로 매칭되는 픽셀들에 대한 가중치를 결정하여 프레임사이에 픽셀값으로 보간하는 보간부를 포함하는 것을 특징으로 한다.
이하 첨부된 도면을 참조로하여 본 발명의 바람직한 실시예를 설명하기로 한다.
도 2는 본 발명에 따른 적응적 움직임 보상 보간 장치의 블록도이다.
도 2를 참조하면, 프레임 버퍼(210)는 입력되는 이미지 신호를 프레임 단위 로 저장한다.
단 방향움직임 추정부(220)는 프레임 버퍼(210)에서 저장된 (n-1)번째 프레임 및 n번째 프레임을 이용하여 백워드(backward) 움직임 추정을 수행한다.
MV 변화율 검출부(230)는 단방향움직임 추정부(220)에서 추정된 움직임 벡터의 변화율(gradient)을 검출한다.
MC 보간부(240)는 MV 변화율 검출부에서 검출된 움직임 벡터의 변화율(gradient)에 따라 프레임간에 서로 매칭되는 픽셀들에 대한 가중치를 결정하여 프레임사이에 보간될 픽셀값을 생성한다.
도 3은 도 2의 MC 보간부의 상세도이다.
도 3을 참조하면, MV 분석부(310)는 MV 변화율 검출부(230)에서 검출된 MV 변화율을 분석한다.
이미지 영역 분리부(320)는 MV 분석부(310)에서 MV 변화율의 분석에 따라 이미지 신호를 균일 영역, 불균일 영역, 새로이 나타나는 영역, 감춰진 영역으로 분류한다.
어댑티브 보간부(330)는 이미지 영역 분리부(320)에서 분류된 영역에 따라 (n-1)번째 프레임의 픽셀 및 n번째 프레임사이에 서로 매칭되는 픽셀값, 움직임 벡터를 다르게 선택하여 (n-1)번째 프레임의 픽셀 및 n번째 프레임사이에 보간될 프레임(Fi)을 생성한다.
도 4는 본 발명에 따른 적응적 움직임 보상 보간 방법을 보이는 흐름도이다.
먼저, 도 5에 도시된 바와 같이 (n-1)번째 프레임(Fn-1)와 n번째 프레임(Fn)간에 역방향으로 움직임 추정을 수행하여 블록 기반의 움직임 벡터를 추정 한다(410 과정). 도 5에서 Fn-1는 이전 프레임이고, Fn은 이후 프레임이고, F i는 보간될 프레임이다. b1에서 b9는 움직임 추정을 위한 단위 블록을 나타낸다. 점선 화살표는 움직임 벡터의 방향을 나타낸다.
도 5와 같이 움직임 추정 결과를 보면, b4 영역은 움직임 물체(Moving Object)의 경계(boundary)영역이다. 그 물체가 오른쪽으로 움직임에 따라 보간될 프레임(Fi)에는 홀(Hole)이 발생한다. 마찬가지로 b8 영역은 움직임 물체(Moving Object)의 경계(boundary)영역이다. 그 물체가 오른쪽으로 움직임에 따라 보간될 프레임(Fi)에는 오버랩(Overlap)이 발생한다.
이어서, 움직임 추정에 의해 구해진 움직임 벡터를 이용하여 움직임 벡터의 변화율(gradient)을 계산한다(420 과정). 도 5를 보면, 움직임 벡터(MV)의 방향이 균일하게 유지되다가 물체의 경계 부분에서 기울기가 달라짐을 알 수 있다.
이어서, 움직임 벡터의 변화율을 검출하여 해당 블록이 어떤 이미지 영역에 속하는 지를 추정한다(430 과정). 일 실시예를 들면, 먼저 이미지 분류를 위해 제1움직임 벡터 변화율(ΔMV1(bi))과 제2움직임 벡터 변화율(ΔMV2(bi))를 계산한다. 여기서 ΔMV1(bi)= MV(bi-1)- MV(bi), 그리고 ΔMV2(bi)= MV(bi-1)-MV(bi+1)로 계산된다. 그리고 MV(bi)는 도 5의 블록(b(i))에서 추정된 움직임 벡터를 나타내며, i는 블록의 공간상의 순서를 나타낸다. 또한 ΔMV1(bi)는 해당 블록이 속한 이미지 영역을 결정하는 데 사용되고, ΔMV2(bi)는 균일 영역을 결정짓는 정확성을 높이기 위한 기준으로 사용된다.
bi b1 b2 b3 b4 b5 b6 b7 b8 b9 b10 b11 b12
MV(bi) 0 0 0 +V +V +V +V +V +V 0 0 0
△MV1(bi) 0 0 -V 0 0 0 0 0 +V 0 0
△MV2(bi) 0 -V -V 0 0 0 0 +V +V 0
표 1을 보면, ΔMV1(bi) 이 -V, 즉 마이너스 값을 가질 때 홀(hole)이 발생하며, +V, 즉 플러스 값을 가질 때 오버랩(overlap)이 발생한다
따라서 표 1을 바탕으로 ΔMV1(bi)와 ΔMV2(bi)의 계산 결과에 따라 해당 블록은 아래와 같이 분류된다.
1. ΔMV1(bi) = 0 그리고 MV2(bi)=0 : 균일 영역(uniform region)
2. ΔMV1(bi) = 0 그리고 MV2(bi)≠0 : 불균일 영역(non-uniform region)
3. ΔMV1(bi) ＞ 0: 물체가 새롭게 나타나는 영역(uncovering region)
4. ΔMV1(bi) ＜ 0: 물체가 감춰진 영역(occlusion region)
여기서 균일 영역은 움직임이 거의 없는 배경 이미지(background image)에 해당된다.
이어서, 분류된 이미지 영역에 따라 적응적으로 보간될 영상 신호를 결정한다(440 과정). 분류된 영역에 따라 두 프레임사이에 보간될 프레임은 수학 식 3과 같이 나타낼 수 있다.
Figure 112003047095518-pat00001
여기서 fi(X)는 보간될 이미지 픽셀이며, fn-1(X)는 프레임(Fn-1) 내부의 픽셀이며, fn(X)는 프레임(Fn)내부의 픽셀이며, X는 공간 좌표(x, y)이며, Vc 는 프레임(Fn-1)에서 프레임(Fn)으로 움직임 추정에 의해 구해진 움직임 벡터이며, α는 움직임 벡터의 변화량에 따라 결정된 적응 계수이다.
이 적응 계수(α)는 분류된 이미지 영역에 따라 다음과 수학식3에 적용된다.
1. α= 0.5: 균일 영역
2. α= 1: 불균일 영역 및 새로이 나타나는 영역
3. α = 0 : 감춰진 영역
각 영역에 따른 움직임 보상 보간을 설명하면, 균일 영역에서는 움직임 추정에 의해 추정된 양쪽 프레임의 이미지가 거의 동일하다고 간주된다. 따라서 균일 영역에서 보간될 프레임내의 픽셀값은 수학식 2에 "α= 0.5"를 적용하여 양쪽 프레임(Fn-1,Fn)내 이미지를 서로 평균하여 결정한다. 즉, 균일 영역에서 보간될 프레임내의 픽셀값은 1/2{fn-1(X)+fn(X+Vc)}으로 계산된다.
반면, 불균일 영역과 새로이 나타나는 영역에서는 움직임 추정에 의해 추정된 움직임 벡터의 정확도가 낮으므로 두 프레임의 이미지를 평균하였을 때 이미지 손상을 일으킨다. 따라서 불균일 영역과 새로이 나타나는 영역에서 보간될 프레임내의 픽셀값은 수학식 2에 "α= 1"를 적용하여 기준이되는 프레임(Fn-1)의 이미지만을 이용한다. 즉, 불균일 영역과 새로이 나타나는 영역에서 보간될 프레임내의 픽셀값은 fn-1(X) 로 계산된다.
그리고, 프레임(Fn-1)의 블록(b4)에 대응된 프레임(Fn)내의 블록은 감춰진 영역이 아니다. 해당 블록들이 감춰진 영역에서 프레임(Fn)의 이미지는 프레임(Fn-1)의 이미지 보다 더 많은 정보를 포함하고 있다. 따라서 해당 블록이 감춰진 영역에서보간될 프레임내의 픽셀값은 수학식 2에 "α= 0"를 적용하여 프레임(Fn)내의 픽셀을 이용한다. 즉, 감춰진 영역에서 보간될 프레임내의 픽셀값은 fn(X+Vc)으로 계산된다.
그러나 두 프레임 사이의 감춰진 영역으로 인해 보간될 프레임에서 발생되는 홀(hole) 부분은 프레임(Fn)내의 픽셀을 이용해도 홀(hole)부분은 그대로 보간되지 않은 채로 남아 있다.
따라서 한쪽 방향의 움직임 추정으로 홀 부분을 제거하기 위한 보간 방법은 도 6을 참조하여 설명한다.
도 6을 살펴보면 블록(b4)에 대한 역 방향 움직임 벡터는 바로 이전 블록에 할당된 움직임 벡터와 일치한다. 즉, 수평 방향의 움직임 물체에 대한 움직임 벡터는 인접한 좌측 블록의 움직임 벡터와 일치하고, 수직 방향의 움직임 물체에 대한 움직임 벡터는 인접한 상위 블록의 움직임 벡터와 일치한다. 도 6에서 블록(b4)으로 인한 홀 부분은 움직임 추정에서 의해 구해진 움직임 벡터(a0)와 이전 블록(b3)에 할당된 움직임 벡터(a1)를 사용하여 복구된다.
따라서 한쪽 방향의 움직임 추정만으로 홀 부분의 복구를 위한 프레임은 수학식 4와 같다.
Figure 112003047095518-pat00002
여기서 Vp는 인접한 블록 예컨대, 좌측 블록 또는 상위 블록에 할당된 움직임 벡터이다. 이때 움직임 벡터(Vp)는 인접 블록의 움직임 벡터의 수평 및 수직 성분을 비교하여 크기가 큰 성분과 동일한 방향의 블록에 대한 움직임 벡터로 선택된다.
본 발명은 상술한 실시예에 한정되지 않으며, 본 발명의 사상내에서 당업자에 의한 변형이 가능함은 물론이다.
또한 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드디스크, 플로피디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함 한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
상술한 바와 같이 본 발명에 의하면, 움직임 벡터의 변화율(gradient)에 따라 적응적으로 움직임 보상 보간을 수행함으로써 블록 기반 움직임 추정에 의한 화질의 열화를 개선할 수 있으며, 특히, 프레임 보간시 움직이는 물체 뒤에 가려진 영역 때문에 발생하는 홀(hole)부분은 인접한 블록에 할당된 움직임 벡터를 이용함으로써 효과적으로 복원할 수 있다.

Claims (11)

  1. 적응적 움직임 보상 보간 방법에 있어서,
    (a) 인접한 이미지 프레임간에 블록 기반의 단 방향 움직임 추정을 수행하여 움직임 벡터를 추정하는 과정;
    (b) 프레임내 인접한 블록들에 대해 상기 과정의 움직임 추정으로 할당된 움직임 벡터들간의 차이로 움직임 벡터의 변화율을 계산하고 그 변화율에 따라 적응 계수들을 결정하는 과정;
    (c) 상기 움직임 벡터의 변화율에 따라 해당 프레임내 픽셀들을 복수개의 이미지 영역들로 구분하는 과정;
    (d) 상기 구분된 이미지 영역에 따라 프레임간에 서로 매칭되는 픽셀들 및 프레임간에 추정된 움직임 벡터를 다르게 선택하고 상기 구분된 이미지 영역에 따라 상기 적응 계수들을 적용하여 상기 프레임 사이에 보간될 픽셀값으로 결정하는 과정을 포함하며,
    상기 움직임 벡터의 변화율이 제로보다 적을 경우 프레임 사이의 감춰진 영역으로 결정되고, 그 감춰진 영역으로 인해 보간될 프레임에서 발생되는 홀 부분은 단 방향의 움직임 추정에 의해 추정된 움직임 벡터와 이전 블록에 할당된 움직임 벡터를 조합하여 이미지로 복구되는 것임을 특징으로 하는 적응적 움직임 보상 보간 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서, 상기(b)과정의 움직임 벡터 변화율은 제1움직임 벡터 변화율(ΔMV1(bi))= MV(bi-1) - MV(bi), 제2움직임 벡터 변화율(ΔMV2(bi))= MV(bi-1) - MV(bi+1)로 계산되며, 여기서 i는 프레임내 블록의 순서임을 특징으로 하는 적응적 움직임 보상 보간 방법.
  5. 제1항에 있어서, 상기 (c) 과정은 상기 ΔMV1(bi)=0 그리고 MV2(bi)=0이면 균일 영역(uniform region), ΔMV1(bi)=0 그리고 MV2(bi)≠0이면 불균일 영역(non-uniform region), ΔMV1(bi)＞0 이면 물체가 새롭게 나타나는 영역(uncovering region)이고, ΔMV1(bi)＜0 이면 물체가 감춰진 영역(occlusion region)으로 결정됨을 특징으로 하는 적응적 움직임 보상 보간 방법.
  6. 제1항에 있어서, 상기 (d) 과정은 해당 프레임내 픽셀들이 상기 균일 영역에속하면 상기 보간될 프레임내의 픽셀값은 1/2{fn-1(X)+fn(X+Vc)}로 생성되며, 해당 프레임내 픽셀들이 상기 불균일 영역 및 새로이 나타나는 영역(uncovered) 영역에 속하면 상기 보간될 프레임내의 픽셀값은 fn-1(X)로 생성되며, 해당 프레임내 픽셀들이 상기 감춰진 영역에 속하면 상기 보간될 프레임내의 픽셀값은 fn(X+Vc) 그리고 fn(X+Vp)로 생성되며, 여기서 fn-1(X)는 n-1번째 프레임의 픽셀이며, f n(X)는 n번째 프레임의 픽셀이며, Vc는 n-1번째 프레임에서 n번째 프레임에 대한 움직임 벡터이며, Vp는 인접한 픽셀에 할당된 움직임 벡터임을 특징으로 하는 적응적 움직임 보상 보간 방법.
  7. 삭제
  8. 제6항에 있어서, 상기 인접한 픽셀에 할당된 움직임 벡터는
    해당 픽셀들의 움직임 벡터 수평 성분과 수직 성분을 비교하여 크기가 큰 성 분의 픽셀의 움직임 벡터로 결정되는 것임을 특징으로 하는 적응적 움직임 보상 보간 방법.
  9. 적응적 움직임 보상 보간 장치에 있어서,
    입력되는 이미지 신호를 프레임 단위로 저장하는 프레임 버퍼부;
    상기 프레임 버퍼부에서 저장된 (n-1)번째 프레임 및 n번째 프레임간에 단 방향 움직임 추정을 수행하는 움직임 추정부;
    상기 움직임 추정부에서 추정된 움직임 벡터의 변화율을 검출하는 MV 변화율 검출부;
    상기 MV 변화율 검출부에서 검출된 움직임 벡터의 변화율 따라 복수개의 이미지 영역으로 분류하고, 이 이미지 영역에 따라 프레임간에 서로 매칭되는 픽셀들에 대한 가중치를 결정하여 프레임사이에 픽셀값으로 보간하는 보간부를 포함하며,
    상기 보간부는
    움직임 벡터의 변화율을 분석하는 MV 분석부;
    상기 MV 분석부에서 분석된 움직임 벡터 변화율에 따라 상기 이미지 신호를 균일 영역, 불균일 영역, 새로이 나타나는 영역, 감춰진 영역으로 분류하는 이미지 영역 분리부;
    상기 이미지 영역 분리부에서 분류된 상기 이미지 영역들에 따라 (n-1)번째 프레임과 n번째 프레임 사이에 서로 매칭되는 픽셀값들, 프레임 사이에 추정된 움직임 벡터, 인접 픽셀에 할당된 적어도 하나의 또 다른 움직임 벡터를 선택하여 프레임 사이에 픽셀값으로 보간하는 어댑티브 보간부를 포함하는 것을 특징으로 하는 적응적 움직임 보상 장치.
  10. 삭제
  11. 제9항에 있어서, 상기 인접 픽셀에 할당된 적어도 하나의 또 다른 움직임 벡터는 상기 프레임 사이의 감춰진 영역으로 인해 보간될 프레임에서 발생되는 홀 부분에 적용하는 것임을 특징으로 하는 적응적 움직임 보상 장치.
KR20030089365A 2003-12-10 2003-12-10 적응적 움직임 보상 보간 방법 및 장치 KR100657261B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR20030089365A KR100657261B1 (ko) 2003-12-10 2003-12-10 적응적 움직임 보상 보간 방법 및 장치
US10/960,494 US7868946B2 (en) 2003-12-10 2004-10-08 Adaptive motion compensated interpolating method and apparatus
JP2004356944A JP2005176381A (ja) 2003-12-10 2004-12-09 適応的動き補償の補間方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20030089365A KR100657261B1 (ko) 2003-12-10 2003-12-10 적응적 움직임 보상 보간 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20050057707A KR20050057707A (ko) 2005-06-16
KR100657261B1 true KR100657261B1 (ko) 2006-12-14

Family

ID=34651331

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20030089365A KR100657261B1 (ko) 2003-12-10 2003-12-10 적응적 움직임 보상 보간 방법 및 장치

Country Status (3)

Country Link
US (1) US7868946B2 (ko)
JP (1) JP2005176381A (ko)
KR (1) KR100657261B1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4417918B2 (ja) * 2006-03-30 2010-02-17 株式会社東芝 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム
JP2008244846A (ja) * 2007-03-27 2008-10-09 Toshiba Corp フレーム補間装置及びその方法
JP4991360B2 (ja) * 2007-03-27 2012-08-01 三洋電機株式会社 フレームレート変換装置および映像表示装置
US7990476B2 (en) * 2007-09-19 2011-08-02 Samsung Electronics Co., Ltd. System and method for detecting visual occlusion based on motion vector density
US8724022B2 (en) * 2009-11-09 2014-05-13 Intel Corporation Frame rate conversion using motion estimation and compensation
EP2559243B1 (en) * 2010-04-13 2014-08-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. A video decoder and a video encoder using motion-compensated prediction
CN102263925A (zh) * 2010-05-31 2011-11-30 郑朝钟 处理遮蔽的方法
KR20110131897A (ko) * 2010-06-01 2011-12-07 삼성전자주식회사 데이터 처리 방법 및 이를 수행하는 표시 장치
JP2012089986A (ja) 2010-10-18 2012-05-10 Mitsubishi Electric Corp 画像処理装置及び方法、並びに画像表示装置及び方法
JP5645636B2 (ja) * 2010-12-16 2014-12-24 三菱電機株式会社 フレーム補間装置及び方法
CN102263956B (zh) * 2011-07-21 2013-03-20 福建星网视易信息系统有限公司 基于运动矢量的移动侦测方法
KR101908388B1 (ko) * 2012-07-19 2018-10-17 삼성전자 주식회사 폐색 영역 복원 장치, 폐색 영역을 복원하는 비디오 디코딩 장치 및 폐색 영역 복원 방법
US20140056354A1 (en) * 2012-08-21 2014-02-27 Mediatek Inc. Video processing apparatus and method
KR101975206B1 (ko) * 2012-11-23 2019-05-07 삼성전자주식회사 시간상 연속하는 물체의 움직임들에 대응하는 이미지 데이터들을 프로세싱하는 방법 및 장치
US20170359575A1 (en) * 2016-06-09 2017-12-14 Apple Inc. Non-Uniform Digital Image Fidelity and Video Coding
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US10057538B2 (en) * 2017-01-16 2018-08-21 Gopro, Inc. Apparatus and methods for the selection of one or more frame interpolation techniques
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
CN112770015B (zh) * 2020-12-29 2022-09-13 紫光展锐(重庆)科技有限公司 一种数据处理方法及相关装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5214751A (en) * 1987-06-04 1993-05-25 Thomson Grand Public Method for the temporal interpolation of images and device for implementing this method
FR2675002B1 (fr) * 1991-04-05 1993-06-18 Thomson Csf Procede de classification des pixels d'une image appartenant a une sequence d'images animees et procede d'interpolation temporelle d'images utilisant ladite classification.
KR100292474B1 (ko) 1993-08-07 2001-06-01 구자홍 비월주사/순차주사 변환 방법 및 장치
US5612745A (en) 1995-07-24 1997-03-18 Motorola, Inc. Method and apparatus for detecting occlusion
US6480632B2 (en) * 1998-12-03 2002-11-12 Intel Corporation Method and apparatus to interpolate video frames
CA2279797C (en) * 1999-08-06 2010-01-05 Demin Wang A method for temporal interpolation of an image sequence using object-based image analysis

Also Published As

Publication number Publication date
US7868946B2 (en) 2011-01-11
JP2005176381A (ja) 2005-06-30
US20050129124A1 (en) 2005-06-16
KR20050057707A (ko) 2005-06-16

Similar Documents

Publication Publication Date Title
KR100657261B1 (ko) 적응적 움직임 보상 보간 방법 및 장치
JP4724459B2 (ja) 適応時間予測を用いた動きベクトル検出
US8625673B2 (en) Method and apparatus for determining motion between video images
JP4519396B2 (ja) 適応動き補償型フレーム及び／又はフィールドレート変換装置及びその方法
JP4162621B2 (ja) フレームレート変換時のフレーム補間方法およびその装置
US8018998B2 (en) Low complexity motion compensated frame interpolation method
KR100579493B1 (ko) 움직임 벡터 생성 장치 및 방법
US7773674B2 (en) Image matching device and method for motion pictures
US7684486B2 (en) Method for motion compensated interpolation using overlapped block motion estimation and frame-rate converter using the method
KR100973429B1 (ko) 배경 움직임 벡터 선택기, 업-변환 유닛, 이미지 처리 장치, 배경 움직임 벡터 선택 방법 및 컴퓨터 판독 가능한 기록 매체
US20050249288A1 (en) Adaptive-weighted motion estimation method and frame rate converting apparatus employing the method
KR100541953B1 (ko) 움직임 보상을 위한 화소값 선택 장치 및 방법
EP1980113A1 (en) Method and apparatus for block-based motion estimation
KR100855976B1 (ko) 배경과 이동 객체를 분리하여 움직임을 추정하는 프레임보간 장치 및 프레임 보간 방법
US8350966B2 (en) Method and system for motion compensated noise level detection and measurement
JP2002223374A (ja) ノイズ除去装置およびノイズ除去方法
JP4365344B2 (ja) フィルムモード検出装置
US8805101B2 (en) Converting the frame rate of video streams
Lu et al. An artifact information based motion vector processing method for motion compensated frame interpolation
KR100208984B1 (ko) 물체의 윤곽선을 이용한 움직임 벡터 추정 장치
JPH0865674A (ja) 動きベクトル検出器

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
E90F Notification of reason for final refusal
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20111129

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20121129

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee