KR100810391B1 - 움직임 보간을 이용한 프레임 레이트 변환 방법 - Google Patents

움직임 보간을 이용한 프레임 레이트 변환 방법 Download PDF

Info

Publication number
KR100810391B1
KR100810391B1 KR1020060106402A KR20060106402A KR100810391B1 KR 100810391 B1 KR100810391 B1 KR 100810391B1 KR 1020060106402 A KR1020060106402 A KR 1020060106402A KR 20060106402 A KR20060106402 A KR 20060106402A KR 100810391 B1 KR100810391 B1 KR 100810391B1
Authority
KR
South Korea
Prior art keywords
block
motion
interpolation
motion vector
vertex
Prior art date
Application number
KR1020060106402A
Other languages
English (en)
Inventor
전선영
주영훈
임용현
김봉곤
오윤제
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060106402A priority Critical patent/KR100810391B1/ko
Priority to US11/903,180 priority patent/US8135069B2/en
Application granted granted Critical
Publication of KR100810391B1 publication Critical patent/KR100810391B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

본 발명은 움직임 보간을 이용한 프레임 레이트 변환 방법에 있어서, 보간 프레임을 교차하는 움직임 벡터의 위치를 보간 프레임의 블록별로 확인하는 과정과, 각 블록별로 인접 움직임 벡터를 이용하여 각 블록의 각 꼭지점의 움직임 벡터를 구함으로서 움직임 보간을 행하는 과정과, 각 블록의 각 꼭지점의 움직임 벡터를 이용하여 각 블록 내 픽셀들의 움직임 보간을 행하는 과정을 수행한다.
FRC, 움직임, 벡터, 보간

Description

움직임 보간을 이용한 프레임 레이트 변환 방법{FRAME RATE UP CONVERSION USING MOTION INTERPOLATION}
도 1은 일반적인 프레임 레이트 변환 장치를 채용한 영상 처리 장치의 일 예시 블록 구성도
도 2는 종래의 프레임 레이트 변환 장치의 일 예시 블록 구성도
도 3a, 3b는 종래의 양방향 움직임 벡터를 이용한 움직임 보간 보상 동작을 개략적으로 나타낸 도면
도 4는 본 발명이 적용되는 프레임 레이트 변환 장치의 블록 구성도
도 5는 본 발명의 일 실시예에 따른 프레임 레이트 변환을 위한 보간 프레임 생성 동작의 흐름도
도 6은 도 5 중 보간 프레임의 움직임 벡터 위치 초기화 과정을 나타낸 도면
도 7은 도 5 중 인접 움직임 벡터를 이용한 각 블록의 꼭지점에서의 움직임 보간 과정을 나타낸 도면
도 8은 도 5 중 각 블록의 네 꼭지점의 움직임 벡터를 이용한 블록 내 픽셀의 움직임 보간 과정을 나타낸 도면
본 발명은 H.264, MPEG-4와 같은 동영상의 영상처리 분야에서, 움직임 추청(motion estimation) 및 움직임 보상(motion compensation) 기법을 사용하는 동영상의 움직임 보간(motion interpolation)을 이용한 프레임 레이트 변환 방법에 관한 것이다.
프레임 레이트 변환(Frame Rate Conversion: FRC)은 초당 출력되는 프레임수를 변환하는 것으로서, 통상 낮은 프레임 레이트로 기 압축된 비디오 시퀀스에 대해 높은 프레임 레이트로 변환시켜주는 기술을 의미한다. 이러한 FRC는 통상 비디오 전송 신호와 디스플레이의 프레임 레이트가 다를 경우에 적용되며, PC나 HDTV 등에서 다양한 신호 규격을 갖는 프로그램들을 서로 교환하기 위해서 적용된다.
FRC 기법은 초기에는 압축되지 않은 상태에서 프레임 레이트를 변환시키는 여러 가지 기법들이 개발되고 이용되어 왔다. 그러나 영상 데이터의 급격한 증가와 함께 ISO/IEC JTC1계열이나 ITU-T계열의 영상 압축 방식이 발전되면서 영상을 압축 및 전송할 때 압축된 영상 신호와 이를 응용하는 영상 시스템에서 프레임 레이트를 변환시키기 위한 방법이 적용되고 있다.
도 1은 FRC 장치의 적용 예를 나타낸다. 도 1에서 참조번호 101은 DMB(Digital Multimedia Broadcasting), PMP(Personal Multimedia Player) 등과 같은 이동형 모바일 장치의 영상 소스일 수 있으며, 이러한 영상 소스(101)는 FRC 장치(102)에 의해 디스플레이 장치(103)에 표시되기 위한 해당 디스플레이 장치(103) 에서 요구되는 적절한 프레임 레이트로 변환된다.
도 2는 종래의 프레임 레이트 변환 장치의 일 예시 블록 구성도이다. 도 2를 참조하면, 기존의 FRC 장치는 통상 블록 단위로 움직임 추정을 통해 모션벡터를 구하고 이를 이용하여 움직임 보상을 수행하여 새로운 프레임(즉 보간 프레임)을 생성하는 방식을 사용한다. 도 2를 참조하면, 먼저, 이미지 세분화(Image Segmentation)부(110)에서는 움직임 추정을 효율적으로 하기 위해 한 프레임 내의 영상을 몇 개의 영역으로 세분화한다. 이때 두 단계를 거치는데 먼저 전체 프레임을 크게 변경/비변경(changed/unchanged) 영역으로 나누고, 비변경 영역을 다시 커버/언커버(covered/uncovered), 배경(background), 객체(object) 영역으로 나눈다.
이후 움직임 추정부(120)에서는 움직임 추정을 수행하게 되는데 블록 정합 알고리즘(BMA: Block Matching Algorithm)을 이용하여 해당 블록의 움직임을 추정한다. 이후 벡터 평활(Vector Smoothing)부(130)에서는 전 단계에서 얻어진 움직임 벡터를 평활하게 개선시킨다. 그리고 나서 마지막으로 MCI(Motion Compensated Interpolation)부(140)에서 움직임 보상 보간으로 보간 프레임을 완성한다.
도 3a, 3b는 종래의 양방향 움직임 벡터를 이용한 움직임 보간 보상 동작을 개략적으로 나타낸 도면으로서, 도 3a에는 양방향 움직임 벡터의 초기값을 설정하는 동작을 나타내며, 도 3b는 실제 움직임 보간 보상을 하는 동작을 나타낸다. 이때 도 3a에 도시된 이전 프레임, 이전 프레임 및 보간 프레임은 시간축에 대해 수직축(또는 수평축)만 표현된 상태임을 유의하여야 한다.
기존의 움직임 보상 보간 방식은 우선 움직임 추정을 하고, 이전 프레임과 현재 프레임간 단방향 또는 양방향 움직임 벡터를 이용하여 보간 프레임을 생성한다. 도 3a, 3b에는 양??항 움직임 벡터를 이용한 방식이 도시되고 있는데, 이는 보간하려는 프레임의 이전과 이후 프레임들의 순방향 움직임 벡터만을 이용한 보간시 발생하는 겹치는 부분(overlap)과 빈부분(hole)을 제거하기 위함이다. 도 3a에서는 초기 양방향 움직임 벡터를 이용하여 보간 프레임의 블록 그리드(grid)를 적절히 설정하는 상태가 도시되며, 도 3b에서는 각 블록의 블록 정합 알고리즘(BMA: Block Matching Algorithm)을 사용하여 보간 프레임의 움직임 추정 및 움직임 보간 보상을 수행하는 상태가 도시된다.
모바일에서는 움직임 추정과 양방향 움직임 벡터에 의한 움직임 보상 보간은 많은 계산량을 요구하기 때문에 이동성이라는 특성에 의해 움직임 추정을 생략하여 디코더에서 움직임 정보를 입력받아 이용하는 방법이 개발되고 있다. 그러나 움직임 보상 보간에 의해 여전히 많은 계산량이 요구되고 있다
따라서, 본 발명은 모바일 장치에서 FRC를 적용하기에 적합하도록 FRC의 움직임 보간 방식을 간단하면서 빠른 속도로 구현할 수 있는 방법을 제공하고자 한다.
또한 본 발명은 종래 블록 정합 알고리즘에 의한 움직임 추정 및 보상 방법보다 더 실제 움직임(True Motion)에 근접한 움직임 정보를 찾아 프레임을 보간할 수 있는 방법을 제공하고자 한다.
이에 본 발명의 일 양상에 따르면, 본 발명은 움직임 보간을 이용한 프레임 레이트 변환 방법에 있어서, 보간 프레임을 교차하는 움직임 벡터의 위치를 보간 프레임의 블록별로 확인하는 과정과, 상기 각 블록별로 인접 움직임 벡터를 이용하여 각 블록의 각 꼭지점의 움직임 벡터를 구함으로서 움직임 보간을 행하는 과정과, 상기 각 블록의 각 꼭지점의 움직임 벡터를 이용하여 각 블록 내 픽셀들의 움직임 보간을 행하는 과정을 수행함을 특징으로 한다.
본 발명의 다른 양상에 따르면, 본 발명은 외부 디코딩 장치로부터 디코딩을 거친 영상 데이터의 움직임 벡터와 이전 프레임, 현재 프레임을 입력으로 받는, 움직임 보간을 이용한 프레임 레이트 변환 장치에 있어서, 상기 받은 움직임 벡터를 평활하게 하는 벡터 평활(Vector Smoothing)부와, 상기 평활화된 움직임 벡터, 이전 프레임 및 현재 프레임을 이용하여 움직임 보간을 실행하는 움직임 보간부를 포함하며, 상기 움직임 보간부는 보간 프레임을 교차하는 움직임 벡터의 위치를 보간 프레임의 블록별로 확인하고, 상기 각 블록별로 인접 움직임 벡터를 이용하여 각 블록의 각 꼭지점의 움직임 벡터를 구함으로서 움직임 보간을 행하고, 상기 각 블록의 각 꼭지점의 움직임 벡터를 이용하여 각 블록 내 픽셀들의 움직임 보간을 행함을 특징으로 한다.
이하 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
도 4는 본 발명이 적용되는 프레임 레이트 변환 장치의 블록 구성도이다. 도 4를 참조하면, 본 발명에 따른 프레임 레이트 변환 장치는 일반적인 H.264 디코더로 구성될 수 있는 디코딩부(400)에서 디코딩을 거친 영상 데이터의 움직임 벡터와 이전 프레임, 현재 프레임을 입력으로 받는다. 이때 본 발명이 적용되는 프레임 레이트 변환 장치는 종래와는 달리 움직임 추정 동작을 수행하지 않으며, 대신 움직임 벡터를 디코딩부(400)로부터 직접 받는다. 이후 벡터 평활(Vector Smoothing)부(410)에서는 디코딩부(400)로부터 받은 움직임 벡터를 평활하게 개선하여 실제 움직임에 더 가깝도록 한다. 이후 움직임 보간부(420)에서 평활화된 움직임 벡터, 이전 프레임 및 현재 프레임을 이용하여 움직임 보간을 실행한다.
도 5는 본 발명의 일 실시예에 따른 프레임 레이트 변환을 위한 보간 프레임 생성 동작의 흐름도이다. 도 5를 참조하면, 본 발명에 따른 프레임 레이트 변환 동작은 크게 보간 프레임을 교차하는 움직임 벡터의 위치를 보간 프레임의 블록별로 확인하는 과정(502, 504단계)을 수행하며, 이후 각 블록별로 인접 움직임 벡터를 이용하여 각 블록의 꼭지점의 움직임 벡터를 구함으로서 움직임 보간을 행하는 과정(506, 508, 510단계)을 수행하며, 이후 각 블록의 네 꼭지점의 움직임 벡터를 이용하여 각 블록 내 픽셀들의 움직임 보간을 행하는 과정(512단계)을 수행함으로 이루어진다. 이하, 상기 도 5에 도시된 각 단계 및 도 6 내지 도 8을 참조하여 상 기 각 과정들을 보다 상세히 설명하기로 한다.
먼저, 보간 프레임의 움직임 벡터 위치 초기화 과정은 보간 프레임의 움직임 벡터를 초기화하는 단계(502단계)와, 보간 프레임의 블록을 설정하는 단계(504단계)로 이루어진다. 도 6을 참조하여 이러한 502, 503단계를 보다 상세히 설명하면, 도 6에서는 현재 프레임과 이전 프레임 사이에 위치한 보간 프레임의 움직임 벡터를 보여 준다. 도 6에서 참조번호 P는 이전 프레임을, C는 현재 프레임을 의미하여 I는 보간 프레임이다.
도 6의 (1)에서는 I프레임을 통과하는 움직임 벡터 및 움직임 벡터와 I프레임과의 교차 지점을 구하는 것을 나타내고 있다. 즉 도 6의 (1)에서는 모든 움직임 벡터들과 I프레임과의 교차점을 전부 I프레임에 점으로 표시하였다. 이와 같이, 보간 프레임에서의 움직임 벡터를 초기화하면, 이후 도 6의 (2)에서 보여지는 바와 같이 보간 프레임을 블록 레벨로 표시한다.
이후 각 블록별로 인접 움직임 벡터를 이용하여 각 블록의 꼭지점의 움직임 벡터를 구함으로서 움직임 보간을 행하는 과정은 각 블록 꼭지점에 인접한 움직임 벡터를 확인하는 단계(506단계)와, 각 블록의 꼭지점과 해당 인접 움직임 벡터 사이의 거리를 측정하는 단계(506단계)와, 상기 측정한 거리 및 상기 인접 움직임 벡터를 이용하여 상기 각 블록의 꼭지점별로 움직임 벡터를 산출하는 단계(510단계)로 이루어진다.
도 6의 (2) 및 도 7의 (1)에서 원으로 표시된 부분은 프레임 내의 여러 블록의 꼭지점들 중 하나를 예로 들어 표시한 것이다. 표시된 부분에 해당하는 블록의 꼭지점을 A라 가정한다. 이때 A에 근접한 움직임 벡터를 찾게 되는데, A에서 블록의 사이즈와 같은 길이의 지름을 갖는 원을 검색 범위(Search Range)로 하여 그 원 안에 위치한 점들을 찾는다. 그 결과 도 6의 (2) 및 도 7 등에 도시된 바와 같이, 네 개의 움직임 벡터를 표시하는 점이 위치해 있다고 가정한다.
네 개의 벡터를 각각 MV1, MV2, MV3, MV4라 하고 각 벡터에서 A 사이 거리를 각각 d1, d2, d3, d4라고 하면, 이는 도 7의 (2)와 같이 표시할 수 있다. 거리가 가까울수록 그 움직임 벡터의 영향을 많이 받는 관계를 이용하여, 거리에 반비례한 가중치가 가해지도록 하여 상기 네 개의 벡터를 이용하여 A의 움직임 벡터를 계산한다. 계산 과정은 하기 수학식 1과 같을 수 있다. 하기 수학식 1에서와 같이 d는 A와 각 움직임 벡터들 사이 거리의 총합이다.
Figure 112006079696726-pat00001
이와 같은 방식으로 A의 오른쪽, 아래, 오른쪽 아래로 대각선에 위치한 세 꼭지점을 각각 B, C, PD라 하면 이 B, C, PD의 움직임 벡터도 같은 방법으로 계산할 수 있다. 그 결과는 도 8의 (1)과 같을 수 있다.
이러한 계산으로 블록의 네 꼭지점에서의 움직임 벡터를 구하고 나면 각 블록 내 실제 픽셀들의 움직임을 보간하게 되는데(512단계), 도 8의 (2)에서 보여지는 바와 같이, 블록 내 시작 픽셀부터 마지막 픽셀까지 순차적으로 계산하되 각각의 픽셀은 각 꼭지점과의 거리를 이용하여 움직임 벡터를 계산한다. 예를 들어, 각 꼭지점 A, B, C, PD의 움직임 벡터를 각각 MVa, MVb, MVc, MVd라 하고 블록내의 특정 점(픽셀) P에서 A, B, C, PD까지의 거리를 각각 da, db, dc, dd라 하면, P의 움직임 벡터는 하기 수학식 2와 같다.
Figure 112006079696726-pat00002
이와 같은 방식으로 각 블록 내의 모든 픽셀들의 움직임 벡터를 구함으로써, 이를 통해 이전 프레임으로부터 보간 프레임의 각 보간된 픽셀을 구할 수 있게 된다.
상기와 같이 본 발명의 일 실시예에 따른 움직임 보간을 이용한 프레임 레이트 변환 방법이 수행될 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.
상기한 바와 같이, 움직임 보간을 이용한 프레임 레이트 변환 방법은 모바일 장치에서 FRC를 적용하기에 적합하도록 FRC의 움직임 보간 방식을 간단하면서 빠른 속도로 구현할 수 있으며, 종래 블록 정합 알고리즘에 의한 움직임 추정 및 보상 방법보다 더 실제 움직임(True Motion)에 근접한 움직임 정보를 찾아 프레임을 보간할 수 있게 된다.

Claims (6)

  1. 움직임 보간을 이용한 프레임 레이트 변환 방법에 있어서,
    보간 프레임을 교차하는 움직임 벡터의 위치를 보간 프레임의 블록별로 확인하는 과정과,
    상기 각 블록별로 인접 움직임 벡터를 이용하여 각 블록의 각 꼭지점의 움직임 벡터를 구함으로서 움직임 보간을 행하는 과정과,
    상기 각 블록의 각 꼭지점의 움직임 벡터를 이용하여 각 블록 내 픽셀들의 움직임 보간을 행하는 과정을 포함함을 특징으로 하는 프레임 레이트 변환 방법.
  2. 제1항에 있어서, 상기 각 블록별로 인접 움직임 벡터를 이용하여 각 블록의 꼭지점의 움직임 벡터를 구하는 것은
    상기 각 블록 꼭지점별로 인접한 움직임 벡터들을 확인하는 단계와,
    상기 각 블록의 꼭지점별로 상기 확인한 인접 움직임 벡터들 사이의 거리를 측정하는 단계와,
    상기 각 블록의 꼭지점별로 상기 확인한 각 인접 움직임 벡터들에게 상기 측정한 거리에 반비례한 가중치를 가하여 보간함으로써, 상기 각 블록의 꼭지점별로 움직임 벡터를 산출하는 단계를 포함함을 특징으로 하는 프레임 레이트 변환 방법.
  3. 제2항에 있어서, 상기 각 블록의 꼭지점별로 상기 확인한 각 인접 움직임 벡터들에게 상기 측정한 거리에 반비례한 가중치가 가하여 보간함으로써, 상기 각 블록의 꼭지점별로 움직임 벡터를 산출하는 것은 하기 수학식 3에 따라 수행함을 특징으로 하는 프레임 레이트 변환 방법.
    Figure 112006079696726-pat00003
    상기 수학식 3에서, MV1, MV2, MV3, MV4, …, MVn은 상기 확인한 인접 움직임 벡터들이며, 상기 d1, d2, d3, d4,…, dn은 각각 상기 인접한 움직임 벡터와 해당 꼭지점 사이의 거리임.
  4. 제1항 또는 제2항에 있어서, 상기 각 블록의 각 꼭지점의 움직임 벡터를 이용하여 각 블록 내 픽셀들의 움직임 보간을 행하는 것은 하기 수학식 4에 따라 수행함을 특징으로 하는 프레임 레이트 변환 방법.
    Figure 112007094555324-pat00004
    상기 수학식 4에서 해당 블록의 각 꼭지점 A, B, C, PD의 움직임 벡터가 각각 MVa, MVb, MVc, MVd이며, 블록내의 픽셀 P에서 A, B, C, PD까지의 거리가 각각 da, db, dc, dd임.
  5. 외부 디코딩 장치로부터 디코딩을 거친 영상 데이터의 움직임 벡터와 이전 프레임, 현재 프레임을 입력으로 받는, 움직임 보간을 이용한 프레임 레이트 변환 장치에 있어서,
    상기 받은 움직임 벡터를 평활하게 하는 벡터 평활(Vector Smoothing)부와,
    상기 평활화된 움직임 벡터, 이전 프레임 및 현재 프레임을 이용하여 움직임 보간을 실행하는 움직임 보간부를 포함하며,
    상기 움직임 보간부는 보간 프레임을 교차하는 움직임 벡터의 위치를 보간 프레임의 블록별로 확인하고, 상기 각 블록별로 인접 움직임 벡터를 이용하여 각 블록의 각 꼭지점의 움직임 벡터를 구함으로서 움직임 보간을 행하고, 상기 각 블록의 각 꼭지점의 움직임 벡터를 이용하여 각 블록 내 픽셀들의 움직임 보간을 행함을 특징으로 하는 프레임 레이트 변환 장치.
  6. 제5항에 있어서, 상기 각 블록별로 인접 움직임 벡터를 이용하여 각 블록의 꼭지점의 움직임 벡터를 구하는 것은
    상기 각 블록 꼭지점별로 인접한 움직임 벡터들을 확인하는 단계와,
    상기 각 블록의 꼭지점별로 상기 확인한 인접 움직임 벡터들 사이의 거리를 측정하는 단계와,
    상기 각 블록의 꼭지점별로 상기 확인한 각 인접 움직임 벡터들에게 상기 측정한 거리에 반비례한 가중치를 가하여 보간함으로써, 상기 각 블록의 꼭지점별로 움직임 벡터를 산출하는 단계를 수행하는 것임을 특징으로 하는 프레임 레이트 변환 장치.
KR1020060106402A 2006-10-31 2006-10-31 움직임 보간을 이용한 프레임 레이트 변환 방법 KR100810391B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020060106402A KR100810391B1 (ko) 2006-10-31 2006-10-31 움직임 보간을 이용한 프레임 레이트 변환 방법
US11/903,180 US8135069B2 (en) 2006-10-31 2007-09-20 Frame rate conversion method using motion interpolation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060106402A KR100810391B1 (ko) 2006-10-31 2006-10-31 움직임 보간을 이용한 프레임 레이트 변환 방법

Publications (1)

Publication Number Publication Date
KR100810391B1 true KR100810391B1 (ko) 2008-03-04

Family

ID=39330108

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060106402A KR100810391B1 (ko) 2006-10-31 2006-10-31 움직임 보간을 이용한 프레임 레이트 변환 방법

Country Status (2)

Country Link
US (1) US8135069B2 (ko)
KR (1) KR100810391B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI353562B (en) * 2008-02-04 2011-12-01 Mstar Semiconductor Inc A video processing apparatus and related method to
US9602763B1 (en) * 2010-12-16 2017-03-21 Pixelworks, Inc. Frame interpolation using pixel adaptive blending

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08116541A (ja) * 1994-10-14 1996-05-07 Hitachi Ltd 画像符号化装置
JPH10243401A (ja) 1998-04-06 1998-09-11 Nec Corp 適応動きベクトル補間による動き補償フレーム間予測方法
KR20050020287A (ko) * 2003-08-21 2005-03-04 삼성전자주식회사 모션추정 및 모션보상 연산을 위한 라인메모리를 공유하여라인메모리를 감축하는 프레임레이트변환장치 및 그 방법
KR20050081730A (ko) * 2004-02-16 2005-08-19 엘지전자 주식회사 움직임 보상 기반의 영상 신호 프레임율 변환 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2811791B1 (fr) * 2000-07-13 2002-11-22 France Telecom Estimateur de mouvement pour le codage et le decodage de sequences d'images
KR100396558B1 (ko) * 2001-10-25 2003-09-02 삼성전자주식회사 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법
KR100457517B1 (ko) * 2002-02-19 2004-11-17 삼성전자주식회사 프레임 레이트 변환장치 및 그 방법
KR100627329B1 (ko) 2004-08-19 2006-09-25 전자부품연구원 Ｈ.264 비디오 코덱을 위한 적응형 움직임 예측 및 모드결정 장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08116541A (ja) * 1994-10-14 1996-05-07 Hitachi Ltd 画像符号化装置
JPH10243401A (ja) 1998-04-06 1998-09-11 Nec Corp 適応動きベクトル補間による動き補償フレーム間予測方法
KR20050020287A (ko) * 2003-08-21 2005-03-04 삼성전자주식회사 모션추정 및 모션보상 연산을 위한 라인메모리를 공유하여라인메모리를 감축하는 프레임레이트변환장치 및 그 방법
KR20050081730A (ko) * 2004-02-16 2005-08-19 엘지전자 주식회사 움직임 보상 기반의 영상 신호 프레임율 변환 방법

Also Published As

Publication number Publication date
US8135069B2 (en) 2012-03-13
US20080101472A1 (en) 2008-05-01

Similar Documents

Publication Publication Date Title
RU2251820C2 (ru) Экстраполяция вектора движения для перекодировки видеопоследовательности
JP3621152B2 (ja) 特徴点の特定装置及びその方法
US8724022B2 (en) Frame rate conversion using motion estimation and compensation
JP3277111B2 (ja) 動画像符号化装置および動画像復号化装置
KR101217627B1 (ko) 블록 기반의 움직임 추정 방법 및 장치
EP2232873B1 (en) Adaptive motion estimation
US20160080765A1 (en) Encoding system using motion estimation and encoding method using motion estimation
JPH10285602A (ja) 映像データをエンコードするための動的なスプライト
KR20040108053A (ko) 움직임 벡터 생성 장치 및 방법
JP2008502196A (ja) グローバル動きベクトルの探索方法
JP2004526363A (ja) ビデオ符号化における中間画素高精度高速探索を実現する装置及び方法
KR20180037042A (ko) 모션 벡터 필드 코딩 방법 및 디코딩 방법, 및 코딩 및 디코딩 장치들
US20150110190A1 (en) Method and apparatus for motion estimation
EP1472881B1 (en) Unit for and method of estimating a current motion vector
JP2004356747A (ja) 画像のマッチング方法および装置
JP3764488B2 (ja) 画像符号化及び復号化方法及び装置
KR100810391B1 (ko) 움직임 보간을 이용한 프레임 레이트 변환 방법
KR100254667B1 (ko) 폐색을 검출하는 방법 및 장치
KR101810118B1 (ko) 프로파일 정보 기반 움직임 추정장치 및 방법
JP3175914B2 (ja) 画像符号化方法および画像符号化装置
JP3513277B2 (ja) 映像符号化装置及び映像復号化装置
KR101895822B1 (ko) 프로파일 정보 기반 움직임 추정장치 및 방법
JPH0879759A (ja) 画像符号化装置及び画像復号装置
JPH07203425A (ja) 動画像の符号化・復号化装置
JP2988836B2 (ja) 動きベクトル探索方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130130

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140128

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150129

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160128

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170125

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180130

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee