KR20050080862A - 중첩된 블록 기반 움직임 추정에 의한 움직임 보상 보간방법 및 그를 적용한 프레임 레이트 변환 장치 - Google Patents

중첩된 블록 기반 움직임 추정에 의한 움직임 보상 보간방법 및 그를 적용한 프레임 레이트 변환 장치 Download PDF

Info

Publication number
KR20050080862A
KR20050080862A KR1020040009021A KR20040009021A KR20050080862A KR 20050080862 A KR20050080862 A KR 20050080862A KR 1020040009021 A KR1020040009021 A KR 1020040009021A KR 20040009021 A KR20040009021 A KR 20040009021A KR 20050080862 A KR20050080862 A KR 20050080862A
Authority
KR
South Korea
Prior art keywords
block
blocks
frame
mxm
pixels
Prior art date
Application number
KR1020040009021A
Other languages
English (en)
Other versions
KR100565066B1 (ko
Inventor
하태현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR20040009021A priority Critical patent/KR100565066B1/ko
Priority to JP2005028088A priority patent/JP2005229600A/ja
Priority to US11/053,940 priority patent/US7684486B2/en
Publication of KR20050080862A publication Critical patent/KR20050080862A/ko
Application granted granted Critical
Publication of KR100565066B1 publication Critical patent/KR100565066B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

중첩된 블록 기반 움직임 추정에 의한 움직임 보상 보간 (Motion Compensated Interpolation)방법 및 그를 적용한 프레임 레이트 변환 장치가 개시되어 있다. 본 발명은 입력되는 이미지를 프레임 단위로 저장하는 과정, 저장된 이미지를 NxN 블럭과, 그 NxN 블럭과 같은 중심축으로 NxN 블록보다 더 큰 크기의 서로 중첩되는 MxM 블럭으로 분할하고, MxM 블록내 픽셀을 소정 배수로 샘플링하는 과정, 인접 프레임 사이에 상기 샘플링된 MxM 블록들을 매칭시켜 움직임 벡터를 추정하는 과정, 추정된 방향 움직임 벡터와 인접 프레임간에 서로 매칭되는 상기 NxN 블럭의 픽셀값들로 프레임 사이의 중간 픽셀값을 생성하는 과정을 포함한다.

Description

중첩된 블록 기반 움직임 추정에 의한 움직임 보상 보간 방법 및 그를 적용한 프레임 레이트 변환 장치{Method for interpolating frame with motion compensation by overlapped block motion estimation and frame-rate converter using thereof}
본 발명은 프레임 레이트 변환 시스템에 관한 것이며, 특히 중첩된 블록 기반 움직임 추정에 의한 움직임 보상 보간 (Motion Compensated Interpolation)방법 및 그를 적용한 프레임 레이트 변환 장치에 관한 것이다.
통상적으로 PC나 HDTV에서는 PAL 또는 NTSC 와 같은 다양한 방송 신호 규격을 갖는 프로그램을 호환하기 위해 프레임 레이트 변환(Frame Rate Conversion)을 수행한다. 프레임 레이트 변환은 초당 출력되는 프레임수를 변환시키는 것을 의미한다. 특히 프레임 레이트가 증가되는 경우에 새로운 프레임을 보간하는 과정이 필요하다. 한편, 최근에는 방송기술의 발달에 따라 MPEG(Moving Picture Experts Group), H.263과 같은 영상 압축 방식에 의해 영상데이터를 압축한 후 프레임 레이트 변환을 수행하고 있다.
이러한 영상 처리 분야에서 영상신호는 대부분의 경우 상관관계(autocorrelation)가 크기 때문에 중복성(redundancy)을 가지고 있다. 따라서 데이터 압축시 중복성을 제거함으로써 데이터 압축 효과를 향상시킬 수 있다. 이때 시간적으로 변하는 비디오 프레임을 효율적으로 압축하기 위해서는 시간축 방향의 중복성 제거가 필요하다. 즉, 움직임이 없는 프레임이나 움직임이 약간 있는 프레임은 전 프레임으로 대체함으로써 전송해야 할 데이터량을 큰 폭으로 줄일 수 있다. 움직임 추정(Motion Estimation:ME)은 이전 프레임과 현재 프레임 사이에서 가장 비슷한 블록을 찾는 작업이다. 움직임 벡터(Motion Vector, MV)는 움직임 추정에서 블럭이 얼마 만큼 움직였는가를 나타낸다.
일반적으로 움직임 추정 방법은 움직임 정도의 정확도, 실시간 처리가능성 및 하드웨어 구현 등을 고려하여 블럭 매칭 알고리즘(Block Maching Algorithm:BMA)을 이용하고 있다.
이 BMA는 연속적으로 입력되는 영상을 균일한 크기의 화소 블록으로 분할하고, 그 분할된 각각의 블록에 대해 이전 혹은 이후 프레임에서 가장 유사한 블록을 찾아 움직임 벡터로 결정한다. BMA에서 인접한 블록간의 유사성을 판단하기 위해 MAD(Mean Absolute Difference)를 주로 이용한다.
또한 프레임과 프레임사이에 삽입될 영상 신호는 주로 블럭 매칭 알고리즘을 사용하여 생성된다. 도 1은 블럭 매칭 알고리즘을 이용한 프레임간의 움직임 보상 보간 방법을 도시하고 있다.
도 1에서 프레임(Fn), 프레임(Fn-1), 프레임(Fi)에 속한 블럭(B)내의 픽셀값을 각각 fn, fn-1, fi라고 하고, 프레임(Fn)에 속한 좌표값을 x라고 할 때, 움직임 보상으로 보간될 영상 신호는 수학 식 1과 같이 나타낼 수 있다.
fi(x+MV(x)/2) = {fn(x)+fn-1(x+MV(x))}/2
이러한 블럭 매칭 알고리즘은 실시간 처리에 적합하여 FRC 뿐만 아니라 MPEG2/4 및 H.262/264등의 압축 표준에서 사용된다. 그러나 블럭 매칭 알고리즘은 수평 수직 성분만을 가진 움직임 추정에는 그 성능이 탁월하나 영상의 회전이나 축소에는 성능이 좋지 못하다. 따라서 블럭 매칭 알고리즘을 사용하여 정확성을 높이기 위해서 매칭 블록의 사이즈를 키워야한다. 그러나 블록 사이즈가 커지면 정확도가 높아지는 반면 세밀한 표현이 힘들어지고, 블록 사이즈가 적어지면 계산량이 적어지고 세밀한 표현이 가능한 반면 정확도가 떨어지는 문제점이 있다.
본 발명이 이루고자하는 기술적 과제는 각기 크기가 다른 움직임 추정 블록과 MCI 블록을 이용하여 움직임 추정 및 움직임 보상 보간을 수행함으로써 블록 기반 움직임 추정에 의한 계산량을 줄이고 정밀도를 증가시키는 움직임 보상 보간 방법 및 그를 적용한 프레임 레이트 변환 장치를 제공하는 데 있다.
상기의 기술적 과제를 해결하기 위하여, 본 발명은 움직임 보상 보간 방법에 있어서,
(a) 입력되는 이미지를 프레임 단위로 저장하는 과정;
(b) 상기 저장된 이미지를 NxN 블럭과, 그 NxN 블럭과 같은 중심축으로 NxN 블록보다 더 큰 크기의 서로 중첩되는 MxM 블럭으로 분할하고, 상기 MxM 블록내 픽셀을 소정 배수로 샘플링하는 과정;
(c) 인접 프레임 사이에 상기 샘플링된 MxM 블록들을 매칭시켜 움직임 벡터를 추정하는 과정;
(d) 상기 추정된 방향 움직임 벡터와 인접 프레임간에 서로 매칭되는 상기 NxN 블럭의 픽셀값들로 프레임 사이의 중간 픽셀값을 생성하는 과정을 포함하는 것을 특징으로 한다.
상기의 다른 기술적 과제를 해결하기 위하여, 본 발명은 한 프레임의 픽셀들을 NxN의 블럭과, 그 NxN 블럭과 같은 중심축으로 NxN 블록보다 더 큰 크기의 서로 중첩되는 MxM블럭으로 분할하여 프레임 레이트를 변환하는 장치에 있어서,
입력되는 이미지를 상기 NxN블럭 및 상기 MxM블럭을 포함하는 프레임 단위로 저장하는 프레임 버퍼 수단;
상기 프레임 버퍼 수단에 저장된 MxM블럭의 픽셀을 소정 배수로 샘플링하여, 인접 프레임 사이에 상기 MxM블록들을 매칭시켜 움직임 벡터를 추정하는 움직임 추정 수단;
상기 움직임 추정 수단에서 추정된 움직임 벡터와 상기 프레임 버퍼부에 저장된 NxN블럭의 픽셀을 바탕으로 프레임 사이의 중간 픽셀값을 생성하는 움직임 보상 보간 수단을 포함하는 것을 특징으로 한다.
이하 첨부된 도면을 참조로하여 본 발명의 바람직한 실시예를 설명하기로 한다.
도 2는 본 발명에 따른 움직임 보상 보간 방법을 보이는 흐름도이다.
먼저, 입력되는 이미지를 프레임 단위로 저장한다(210 과정).
이어서, (n-1)번째 프레임(Fn-1)와 n번째 프레임(Fn)내 픽셀을 N1 x N 2 의 MCI 블록(Motion Compensated Interpolation)과, 그 MCI 블럭과 같은 중심축으로 그 블럭보다 더 큰 M1 x M2 의 움직임 추정 블록(Motion Estimation Block:이하 ME 블록)으로 분할한다(220 과정). 이때 M1 x M2 는 N1 x N2 보다 큰 값으로 설정된다. 예컨대, ME 블록은 32 x 32로, MCI 블록은 16 x 16로 설정할 수 있다. 또한 M1 x M2 의 임의의 블록은 좌우 상하의 인접 블록에 대해 수평과 수직 방향으로 각각 N1 과 N2 로 떨어져 있다. 따라서 M1 x M2 의 ME 블록은 도 2에 도시된 바와 같이 인접 블록과 중첩하는 특성을 갖는다.
이어서, (n-1)번째 프레임(Fn-1)와 n번째 프레임(Fn)의 블록내 픽셀을 1/2 혹은 그 이하 간격으로 서브 샘플링(sub sampling)한다(230 과정).
도 4를 참조하면, (a)는 M1 x M2 의 ME 블록을 샘플링 계수 2로 서브 샘플링하여 선택된 화소와 비선택된 화소로 구분된다. (b)는 N1 x N2 의 MCI 블록을 도시한 것이다.
이어서, (n-1)번째 프레임(Fn-1)와 n번째 프레임(Fn)사이에서 샘플링된 NxN의 ME 블록을 역방향 또는 순방향으로 시켜 프레임간에 보간될 프레임(Fi)에 적용할 움직임 벡터를 추정한다(240 과정).
예컨대, 도 3을 참조하여 샘플링 블록을 적용한 움직임 추정 방법을 설명한다. (n-1)번째 프레임(Fn-1)과 n번째 프레임(Fn)이 주어졌을 때, 움직임 벡터는 수학 식 1 및 수학 식2에서처럼 기준 블록과 탐색 영역 내부의 모든 참조 블록들간의 MAD(Mean Absolute Difference)값을 계산한 후 최소의 MAD값을 가지는 블록에 대한 공간적인 거리로 결정된다. 먼저 MAD는 수학 식 2와 같이 계산된다.
여기서, n은 시간 영역에서의 입력 프레임의 순서를 나타내는 변수이다. (i,j)는 픽셀들의 공간 좌표를 나타내는 변수이며, (x,y)는 정합이 이루어지는 두 블록 사이의 공간적인 거리 차이를 나타내는 변수이다. (k,l)은 N1 x N2 개의 픽셀로 이루어진 두 블록의 공간좌표를 나타내는 변수이며, 여기서 N1 및 N2 는 각각 두 정합 블록의 수평과 수직 크기를 나타낸다. 또한 수학 식 2와 같이 움직임 추정 영역내에서 최소의 MAD값을 가지는 블록에 대한 움직임 벡터(MV)를 구한다. 즉, 움직임 벡터는 수학식 3과 같이 나타낼 수 있다.
여기서, S는 움직임 추정을 위한 탐색 범위를 나타내며, (xm, ym)는 최소의 MAD값을 갖는 블록에 대한 움직임 벡터를 나타낸다.
이때, 샘플링된 ME 블록을 이용한 MAD는 수학 식 4와 같이 나타낼 수 있다.
여기서, α는 ME 블록내 픽셀에 대한 샘플링 계수이며, [M/α]는 M/α보다 크지 않는 최대의 정수값이다. M1xM2 는 ME 블록의 크기이며, M1 및 M 2 는 수학 식1의 N1 및 N2 보다 큰 값으로 설정된다. 수학 식3을 보면, M1xM2 의 블록을 샘플링 계수(α)의 크기만큼 수평과 수직 방향으로 균일하게 샘플링된 픽셀로 이루어진 블록으로 움직임 추정을 실행한다. 이때 샘플링된 블록으로 움직임 추정을 실행함으로써 계산량을 감소시킨다. 예를 들면, 동일한 영상 프레임에 대해 움직임 추정을 실행하고, MCI 블록의 크기가 같고 움직임 추정 범위가 같다는 가정하에 종래 기술 및 본 발명에 따른 움직임 추정의 계산량을 비교해보면 다음과 같다. 움직임 추정 영역을 S 라하고, MAD를 추정하기 위한 각 픽셀의 단위 계산량을 K라고 할 때, 종래에 임의의 한 ME 블록에 대한 움직임 벡터의 계산량은 SKN1N2 로 나타낼 수 있으며, 본 발명은 SK(M1M2/α2 )로 나타낼 수 있다.
이어서, ME 블록으로 추정된 움직임 벡터를 바탕으로 프레임 사이의 MCI 블록들을 조합하여 도 3에 도시된 바와 같이 보간 프레임(Fi)의 화소값을 생성한다(250 과정). 즉, 보간 프레임을 생성하는 실시예를 들면, 시공간에서 n번째 프레임에서 n-1번째 프레임의 중간 시점에서 보간될 프레임을 가정하고, 보간될 프레임을 기준으로 n번째 프레임에서 n-1번째 프레임으로 향하는 움직임 벡터가 주어지면, 각각 n번째 프레임과 n-1번째 프레임에서 서로 정합(matching)되는 지점의 픽셀 평균값을 보간될 프레임의 픽셀로 생성한다.
여기서, 보간될 프레임의 화소값은 수학 식 5와 같이 나타낼 수 있다.
결국, 샘플링된 ME 블록을 이용하여 움직임 벡터를 추정함으로써 움직임 추정 계산량을 줄이고, 샘플링되지 않은 MCI 블록을 이용하여 움직임 보상 보간을 수행함으로써 이미지 정밀도를 높일 수 있다.
도 5는 본 발명에 따른 움직임 보상 보간 방법을 적용한 프레임 레이트 변환 장치의 블록도이다.
도 5를 참조하면, 프레임 버퍼(510)는 입력되는 이미지 신호를 프레임 단위로 저장한다. 예컨대, 프레임 버퍼(510)에는 n번째 프레임 및 n-1번째 프레임이 저장되어 있다.
움직임 추정부(520)는 샘플링부(524) 및 움직임 벡터 검출부(526)를 구비하여 샘플링된 MxM 픽셀로부터 움직임 벡터를 추출한다. 즉, 샘플링부(524)는 프레임 버퍼(510)에서 저장된 n번째 프레임 및 n-1번째 프레임의 MxM 픽셀을 소정의 샘플 계수로 서브 샘플링한다. 움직임 벡터 검출부(526)는 n번째 프레임 및 n-1번째 프레임간에 그 샘플링된 M1xM2 픽셀을 백워드(backward) 또는 포워드(Forward) 방향으로 매칭시켜 움직임 벡터를 추정한다.
MC 보간부(240)는 MV 검출부(526)에서 검출된 움직임 벡터를 프레임 버퍼(510)에서 저장된 n번째 프레임 및 n-1번째 프레임의 N1xN2 픽셀에 적용하여 프레임 사이에 보간될 픽셀값을 생성한다.
본 발명은 상술한 실시예에 한정되지 않으며, 본 발명의 사상내에서 당업자에 의한 변형이 가능함은 물론이다.
또한 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드디스크, 플로피디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
상술한 바와 같이 본 발명에 의하면, 각기 크기가 다른 움직임 추정 블록과 MCI 블록을 이용하여 움직임 보상 보간을 수행함으로써 블록 기반 움직임 추정에 의한 계산량을 줄이고 정밀도를 증가시킬 수 있다.
도 1은 종래의 움직임 보상 보간 방법을 보이는 개념도이다.
도 2는 본 발명에 따른 움직임 보상 보간 방법을 보이는 흐름도이다.
도 3은 본 발명에 따른 ME 블록과 MCI 블록을 이용한 움직임 보상 보간 방법을 보이는 개념도이다.
도 4는 도 3의 ME 블록과 MCI 블록을 도시한 것이다.
도 5는 도 5는 본 발명에 따른 움직임 보상 보간 방법을 적용한 프레임 레이트 변환 장치의 블록도이다.

Claims (8)

  1. 움직임 보상 보간 방법에 있어서,
    (a) 입력되는 이미지를 프레임 단위로 저장하는 과정;
    (b) 상기 저장된 이미지를 NxN 블럭과, 그 NxN 블럭과 같은 중심축으로 NxN 블록보다 더 큰 크기의 서로 중첩되는 MxM 블럭으로 분할하고, 상기 MxM 블록내 픽셀을 샘플링하는 과정;
    (c) 인접 프레임 사이에 상기 샘플링된 MxM 블록들을 매칭시켜 움직임 벡터를 추정하는 과정;
    (d) 상기 추정된 방향 움직임 벡터와 인접 프레임간에 서로 매칭되는 상기 NxN 블럭의 픽셀값들로 프레임 사이의 중간 픽셀값을 생성하는 과정을 포함하는 움직임 보상 보간 방법.
  2. 제1항에 있어서, 상기 (b) 과정의 MxM 블럭은 움직임 추정용 블록이며, 상기 NxN블럭은 움직임 보상 보간용 블록임을 특징으로 하는 움직임 보상 보간 방법.
  3. 제1항에 있어서, 상기 (c) 과정은
    (c-1) 샘플링된 기준 MxM블록과 참조 MxM블록들간의 MAD(Mean Absolute Difference)값들을 계산하는 과정;
    (c-2) 상기 과정에서 계산된 MAD값들중에서 최소값을 갖는 MAD를 움직임 벡터로 결정하는 과정을 포함하는 것을 특징으로 하는 움직임 보상 보간 방법.
  4. 제3항에 있어서,
    상기 MAD는
    이며, 여기서 (i,j)는 픽셀들의 공간 좌표를 나타내는 변수이며, (x,y)는 정합이 이루어지는 두 블록 사이의 공간적인 거리 차이를 나타내는 변수이며, (k,l)은 N1 x N2 개의 픽셀로 이루어진 두 블록의 공간좌표를 나타내는 변수이며,α는 ME 블록내 픽셀에 대한 샘플링 계수이며, [M/α]는 M/α보다 크지 않는 최대의 정수값이며, M1xM2 는 움직임 추정용 블록의 크기이며, M1 및 M2 는 N1 및 N2 보다 큰 값으로 설정됨을 특징으로 하는 움직임 보상 보간 방법.
  5. 제1항에 있어서, 상기 (d) 과정에서 보간될 프레임의 화소값은
    이며, 여기서, xm, ym는 최소의 MAD값을 갖는 블록에 대한 움직임 벡터의 수직 수평 성분임을 특징으로 하는 움직임 보상 보간 방법.
  6. 움직임 추정 방법에 있어서,
    (a) 입력되는 이미지를 프레임 단위로 저장하는 과정;
    (b) 상기 저장된 이미지를 NxN 블럭과, 그 블럭과 같은 중심축으로 그 블럭보다 더 큰 크기의 서로 중첩되는 MxM 블럭으로 분할하고, 상기 MxM 블록내 픽셀을 소정 배수로 샘플링하는 과정;
    (c) 인접 프레임 사이에 상기 샘플링된 MxM 블록들을 매칭시켜 움직임 벡터를 추정하는 과정을 포함하는 움직임 추정 방법.
  7. 한 프레임의 픽셀들을 NxN의 블럭과, 그 NxN 블럭과 같은 중심축으로 그보다 더 큰 크기의 서로 중첩되는 MxM블럭으로 분할하여 프레임 레이트를 변환하는 장치에 있어서,
    입력되는 이미지를 상기 NxN블럭 및 상기 MxM블럭을 포함하는 프레임 단위로 저장하는 프레임 버퍼 수단;
    상기 프레임 버퍼 수단에 저장된 MxM블럭의 픽셀을 샘플링하여, 인접 프레임 사이에 상기 MxM블록들을 매칭시켜 움직임 벡터를 추정하는 움직임 추정 수단;
    상기 움직임 추정 수단에서 추정된 움직임 벡터와 상기 프레임 버퍼부에 저장된 NxN블럭의 픽셀을 바탕으로 프레임 사이의 중간 픽셀값을 생성하는 움직임 보상 보간 수단을 포함하는 프레임 레이트 변환 장치.
  8. 제7항에 있어서, 상기 움직임 추정부는
    상기 프레임 버퍼 수단에서 저장된 n번째 프레임 및 n-1번째 프레임내 MxM블럭의 픽셀을 소정의 샘플 계수로 서브 샘플링하는 샘플링부;
    상기 n번째 프레임 및 n-1번째 프레임간에 샘플링된 MxM블럭의 픽셀을 백워드(backward) 및/또는 포워드(Forward) 방향으로 매칭시켜 움직임 벡터를 추정하는 움직임 벡터 검출부를 포함하는 것을 특징으로 하는 프레임 레이트 변환 장치.
KR20040009021A 2004-02-11 2004-02-11 중첩된 블록 기반 움직임 추정에 의한 움직임 보상 보간방법 및 그를 적용한 프레임 레이트 변환 장치 KR100565066B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR20040009021A KR100565066B1 (ko) 2004-02-11 2004-02-11 중첩된 블록 기반 움직임 추정에 의한 움직임 보상 보간방법 및 그를 적용한 프레임 레이트 변환 장치
JP2005028088A JP2005229600A (ja) 2004-02-11 2005-02-03 重畳されたブロック基盤の動き推定による動き補償補間方法及びそれを適用したフレームレート変換装置
US11/053,940 US7684486B2 (en) 2004-02-11 2005-02-10 Method for motion compensated interpolation using overlapped block motion estimation and frame-rate converter using the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20040009021A KR100565066B1 (ko) 2004-02-11 2004-02-11 중첩된 블록 기반 움직임 추정에 의한 움직임 보상 보간방법 및 그를 적용한 프레임 레이트 변환 장치

Publications (2)

Publication Number Publication Date
KR20050080862A true KR20050080862A (ko) 2005-08-18
KR100565066B1 KR100565066B1 (ko) 2006-03-30

Family

ID=34825169

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20040009021A KR100565066B1 (ko) 2004-02-11 2004-02-11 중첩된 블록 기반 움직임 추정에 의한 움직임 보상 보간방법 및 그를 적용한 프레임 레이트 변환 장치

Country Status (3)

Country Link
US (1) US7684486B2 (ko)
JP (1) JP2005229600A (ko)
KR (1) KR100565066B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100801974B1 (ko) * 2005-12-08 2008-02-12 한국전자통신연구원 저비용 움직임 추정 장치 및 움직임 추정 방법
KR100988568B1 (ko) * 2008-04-30 2010-10-18 삼성전자주식회사 로봇 및 그 지도작성방법
WO2011068360A3 (ko) * 2009-12-01 2011-09-15 (주)휴맥스 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
KR101337206B1 (ko) * 2007-10-12 2013-12-06 삼성전자주식회사 블록 샘플링을 이용한 영상의 움직임 추정 시스템 및 방법.
US9338353B2 (en) 2012-11-01 2016-05-10 Hanwha Techwin Co., Ltd. Method of and system for detecting motion in real time
US10089746B2 (en) 2013-11-25 2018-10-02 Hanwha Techwin Co., Ltd. Motion detection system and method

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080018788A1 (en) * 2006-07-20 2008-01-24 Samsung Electronics Co., Ltd. Methods and systems of deinterlacing using super resolution technology
JP4868968B2 (ja) * 2006-07-31 2012-02-01 株式会社東芝 補間フレーム作成方法及び補間フレーム作成装置
TWI344790B (en) * 2007-05-07 2011-07-01 Mstar Semiconductor Inc Pixel interpolation apparatus and method thereof
JP5078428B2 (ja) * 2007-05-15 2012-11-21 キヤノン株式会社 画像処理装置および画像処理方法
US8374247B2 (en) 2008-01-14 2013-02-12 Broadcom Corporation Method and system for hierarchical motion estimation with multi-layer sub-pixel accuracy and motion vector smoothing
KR100996542B1 (ko) * 2008-03-31 2010-11-24 성균관대학교산학협력단 실시간 모션 검출 영상 처리 장치 및 그 방법
KR101543298B1 (ko) * 2008-10-13 2015-08-10 에스케이 텔레콤주식회사 동영상 부호화/복호화 장치 및 그를 위한 가변 단위의 적응적 중첩 블록 움직임 보상 장치 및 방법
KR101543301B1 (ko) * 2008-10-15 2015-08-10 에스케이 텔레콤주식회사 동영상 부호화/복호화 장치 및 그를 위한 하이브리드 블록 움직임 보상/중첩 블록 움직임 보상 방법 및 장치
JP2010268259A (ja) * 2009-05-15 2010-11-25 Sony Corp 画像処理装置および方法、並びにプログラム
US8724022B2 (en) * 2009-11-09 2014-05-13 Intel Corporation Frame rate conversion using motion estimation and compensation
TWI606418B (zh) * 2012-09-28 2017-11-21 輝達公司 圖形處理單元驅動程式產生內插的圖框之電腦系統及方法
CN103237222B (zh) * 2013-05-07 2015-12-02 河海大学常州校区 多模式搜索的运动估计方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03256485A (ja) 1990-03-06 1991-11-15 Victor Co Of Japan Ltd 動きベクトル検出回路
GB2248361B (en) * 1990-09-28 1994-06-01 Sony Broadcast & Communication Motion dependent video signal processing
US5353119A (en) * 1990-11-15 1994-10-04 Sony United Kingdom Limited Format conversion of digital video signals, integration of digital video signals into photographic film material and the like, associated signal processing, and motion compensated interpolation of images
US5398079A (en) * 1993-01-27 1995-03-14 General Instrument Corporation Half-pixel interpolation for a motion compensated digital video system
US5642170A (en) * 1993-10-11 1997-06-24 Thomson Consumer Electronics, S.A. Method and apparatus for motion compensated interpolation of intermediate fields or frames
JP3769773B2 (ja) 1995-04-20 2006-04-26 ソニー株式会社 動きベクトル検出装置および検出方法
KR100235356B1 (ko) 1997-08-13 1999-12-15 전주범 개선된 움직임 추정 장치 및 그 추정 방법
US6229570B1 (en) * 1998-09-25 2001-05-08 Lucent Technologies Inc. Motion compensation image interpolation—frame rate conversion for HDTV
KR100708091B1 (ko) * 2000-06-13 2007-04-16 삼성전자주식회사 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법
JP2002094987A (ja) 2000-09-14 2002-03-29 Victor Co Of Japan Ltd 映像信号符号化装置
KR100439183B1 (ko) 2001-08-29 2004-07-05 한국전자통신연구원 확률 샘플링 기반의 움직임 추정 방법
KR20030039815A (ko) 2001-11-14 2003-05-22 박상래 디브이알에서 계층적 블록 기반을 이용한 움직임 검출방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100801974B1 (ko) * 2005-12-08 2008-02-12 한국전자통신연구원 저비용 움직임 추정 장치 및 움직임 추정 방법
KR101337206B1 (ko) * 2007-10-12 2013-12-06 삼성전자주식회사 블록 샘플링을 이용한 영상의 움직임 추정 시스템 및 방법.
KR100988568B1 (ko) * 2008-04-30 2010-10-18 삼성전자주식회사 로봇 및 그 지도작성방법
WO2011068360A3 (ko) * 2009-12-01 2011-09-15 (주)휴맥스 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
US9338353B2 (en) 2012-11-01 2016-05-10 Hanwha Techwin Co., Ltd. Method of and system for detecting motion in real time
US10089746B2 (en) 2013-11-25 2018-10-02 Hanwha Techwin Co., Ltd. Motion detection system and method

Also Published As

Publication number Publication date
JP2005229600A (ja) 2005-08-25
US20050175102A1 (en) 2005-08-11
US7684486B2 (en) 2010-03-23
KR100565066B1 (ko) 2006-03-30

Similar Documents

Publication Publication Date Title
US7684486B2 (en) Method for motion compensated interpolation using overlapped block motion estimation and frame-rate converter using the method
JP3393832B2 (ja) 電子ディジタル画像シーケンス再生システムにおける画像データ補間方法
KR100541953B1 (ko) 움직임 보상을 위한 화소값 선택 장치 및 방법
JP4162621B2 (ja) フレームレート変換時のフレーム補間方法およびその装置
US6671319B1 (en) Methods and apparatus for motion estimation using neighboring macroblocks
EP1638339B1 (en) Motion estimation
US6483876B1 (en) Methods and apparatus for reduction of prediction modes in motion estimation
KR100579493B1 (ko) 움직임 벡터 생성 장치 및 방법
US20050249288A1 (en) Adaptive-weighted motion estimation method and frame rate converting apparatus employing the method
KR100657261B1 (ko) 적응적 움직임 보상 보간 방법 및 장치
US20060262853A1 (en) Low complexity motion compensated frame interpolation method
JP2003163894A (ja) 適応動き補償型フレーム及び／又はフィールドレート変換装置及びその方法
US20090208123A1 (en) Enhanced video processing using motion vector data
JPH0644815B2 (ja) 動物体の動き内挿装置
US6690728B1 (en) Methods and apparatus for motion estimation in compressed domain
JP2000512091A (ja) 動作ベクトル処理
EP1472881B1 (en) Unit for and method of estimating a current motion vector
US20020001347A1 (en) Apparatus and method for converting to progressive scanning format
JPH07193791A (ja) 画像情報変換装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130227

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140227

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150226

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160226

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170224

Year of fee payment: 12

LAPS Lapse due to unpaid annual fee