KR20010111740A - 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법 - Google Patents

양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법 Download PDF

Info

Publication number
KR20010111740A
KR20010111740A KR20000032388A KR20000032388A KR20010111740A KR 20010111740 A KR20010111740 A KR 20010111740A KR 20000032388 A KR20000032388 A KR 20000032388A KR 20000032388 A KR20000032388 A KR 20000032388A KR 20010111740 A KR20010111740 A KR 20010111740A
Authority
KR
Grant status
Application
Patent type
Prior art keywords
frame
motion vector
interpolated
block
method
Prior art date
Application number
KR20000032388A
Other languages
English (en)
Other versions
KR100708091B1 (ko )
Inventor
이성희
고성제
Original Assignee
윤종용
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012Conversion between an interlaced and a progressive signal

Abstract

양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및 그 방법이 개시되어 있다. 본 발명은 프레임 레이트 변환 방법에 있어서, 보간될 프레임을 기준으로 두 프레임간의 양방향의 움직임 벡터를 추정하는 과정, 상기 과정에서 보간될 프레임에서 화소 오차가 최소인 주변 블록의 움직임 벡터를 현재 블록의 움직임 벡터로 설정하는 과정, 상기 과정에서 설정된 움직임 벡터로 보간될 프레임을 형성하는 과정을 포함한다.

Description

양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및 그 방법{Frame rate converter using bidirectional motion vector and method thereof}

본 발명은 영상 신호 변환 장치 및 그 방법에 관한 것으로서, 특히 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및 그 방법에 관한 것이다.

일반적으로 다양한 TV 표준을 따르는 프로그램들을 서로 교환하기 위해서는 이들간의 포맷 교환이 필요하다.

도 1은 종래의 프레임 레이트 변환 장치를 보이는 블록도이다.

도 1을 참조하면, 영상 분할부(110)는 도 2와 같이 효율적인 움직임 추정을 위해 영상을 체인지드/언체인지드(changed/unchanged) 영역으로 구분한다. 그리고 다시 언체인지드 영역은 커버드/언커버드(covered/uncovered)영역, 배경(background), 움직이는 물체(object)로 나눈다.

움직임 추정부(120)는 일반적으로 비디오 코딩에서 사용하는 블록 정합 알고리듬(block matching algorithm)을 이용하여 블록의 움직임 벡터를 생성한다. 기존의 대표적인 블록 정합 알고리듬은 도 3과 같이 일정 크기의 블록 내의 화소들이 회전 혹은 확대, 축소되지 않고 동일하게 이동만 하였다는 가정하에서 블록당 하나의 움직임 벡터를 찾는 것이다. 도 3에서 현재 프레임(ft2)내의 (xt2, yt2)에 위치한 N×N 크기의 기준 블록의 움직임을 이전 프레임(ft1)에서 ±P 화소 만큼의 범위에서 추정한다고 가정하자. 그러면 이전 프레임 내의 움직임 추정 영역의 크기는(N+2P)×(N+2P)가 되고 여기에서 움직임 벡터의 후보가 될 수 있는 총 (2P+1)2개의 위치에서 상관 계수를 모두 계산한 후 최대 상관도를 보여주는 위치를 움직임 벡터로 결정한다. 이때 현재 프레임에서의 기준 블록(x)와 이전 프레임에서의 후보 블록(Y)간의 차이는 수학식 1과 같이 MAD(mean absolute difference) 혹은, l1메트릭(metric)으로 불리는 정합 기준이 주로 사용된다.

여기서 최종적으로 블록의 움직임 벡터는 기준 블록과 후보 블록의 평균 절대값 차이가 가장 작은 값을 갖는 탐색 영역(search range)의 위치(m, n)으로 결정된다.

움직임 벡터 리파인부(130)는 움직임 추정부(120)에서 얻어진 부적절한 움직임 벡터를 개선(refinement)시키며, 도 4에 도시된 바와 같이 움직임 벡터의 스무드니스(smoothness)를 개선시킨다.

움직임보상보간부(140)는 보간하려는 영상의 전후 프레임에 대한 순방향 움직임 벡터를 찾아내고, 이 구해진 움직임 벡터를 이용하여 영상분할부(110)에서 발생하는 영역분류정보에 따라 양방향 보간을 수행한다. 이때 움직임보상보간부(140)에서 움직임(forward motion) 정보를 이용한 움직임보상보간은 도 4와 같이 보간될 프레임에서 두 개 이상의 움직임이 할당되는 것에 의해 블록이 겹치는부분(overlap)과 움직임이 할당되지 않는 빈 부분(hole)이 발생한다. 이 겹치는 부분(overlap)과 빈 부분(hole)들은 보간된 영상의 화질에 직접적인 영향을 주어 화질을 저하시킨다. 또한 이 겹치는 부분(overlap)과 빈 부분(hole)들은 불규칙한 모양을 갖고 있기 때문에 화소 단위로 처리되어야한다. 따라서 종래에는 이 겹치는 부분(overlap) 및 빈 부분(hole)들을 해결하기 위해 복잡한 신호 처리 과정 및 이에 따른 복잡한 하드웨어를 구현해야하는 문제점이 있다.

본 발명이 이루고자하는 기술적과제는 보간될 프레임을 기준으로 연속적인 두 프레임의 양방향 움직임 벡터를 직접 구함으로서 화질을 개선 시키는 프레임 레이트 변환 방법 및 그를 이용한 장치를 제공하는 데있다.

도 1은 종래의 프레임 레이트 변환 장치의 블록도이다.

도 2는 도 1의 영상분할부에서 영상 분할 방법을 설명하기 위한 도면이다.

도 3은 도 1의 움직임 추정부에서 움직임 추정 방법을 설명하기 위한 도면이다.

도 4는 도 1의 움직임 벡터리파인부에서 움직임 벡터 리파인이전과 이후의 화면을 도시한 것이다.

도 5는 도 1의 움직임보상보간부에서 움직임 보상에 의한 보간된 영상의 구성예를 도시한 것이다.

도 6은 본 발명에 따른 프레임 레이트 변환 장치의 블록도이다.

도 7은 도 6의 양방향움직임 추정부에서 양방향 움직임 벡터 추정을 설명하기위한 도면이다.

도 8은 도 6의움직임벡터리파인부에서 블록별로 움직임 벡터 추정을 설명하기 위한 도면이다.

도 9는 개선된움직임보상보간부에서 블록 중첩에 의한 프레임 보간을 설명하기 위한 도면이다.

상기의 기술적 과제를 해결하기 위하여, 본 발명은 프레임 레이트 변환 방법에 있어서,

(a) 보간될 프레임을 기준으로 두 프레임간의 양방향의 움직임 벡터를 추정하는 과정;

(b) 상기 (a)과정에서 보간될 프레임에서 화소 오차가 최소인 주변 블록의 움직임 벡터를 현재 블록의 움직임 벡터로 설정하는 과정;

(C) 상기 (b)과정에서 설정된 움직임 벡터로 보간될 프레임을 형성하는 과정을 포함하는 프레임 레이트 변환 방법이다.

상기의 다른 기술적 과제를 해결하기 위하여, 본 발명은 프레임 레이트 변환 방법에 있어서, 프레임 레이트 변환 장치에 있어서,

현재 프레임을 기준으로 연속적으로 입력되는 현재 프레임과 이전 프레임간의 움직임 벡터를 구하여 보간될 프레임에 할당하고, 보간될 프레임을 기준으로 할당된 움직임 벡터를 추정하는 양방향 움직임 추정수단;

상기 양방향움직임추정수단에서 보간될 프레임에서 현재 블록의 움직임 벡터의 정확성을 평가한 후 화소 오차가 최소인 주변 블록의 움직임 벡터를 현재 블록의 움직임 벡터로 설정하는 움직임 벡터 리파인부;

상기 보간될 블록을 확장하여 중첩된 영역에서 서로 다른 가중치를 두고 상기 움직임벡터리파인수단에서 구해진 움직임 벡터로 보간하는 보간부를 포함하는 프레임 레이트 변환 방법이다.

이하 첨부된 도면을 참조로하여 본 발명의 바람직한 실시예를 설명하기로 한다.

도 6은 본 발명에 따른 프레임 레이트 변환 장치를 보이는 블록도이다.

도 6의 장치는 양방향움직임 추정부(610), 움직임벡터리파인부(620), 개선된움직임보상보간부(630)로 구성된다.

도 6을 참조하면, 양방향움직임 추정부(610)는 현재 프레임을 기준으로 연속적으로 입력되는 현재 프레임과 이전 프레임간의 움직임 벡터를 구하여 보간될 프레임에 할당하고, 그 보간될 프레임을 기준으로 할당된 움직임 벡터를 추정한다.

움직임벡터리파인부(620)는 보간될 프레임에서 양방향움직임 추정부(610)에서 추정된 현재 블록의 움직임 벡터의 정확성을 평가한 후 화소 오차가 최소인 주변 블록의 움직임 벡터를 현재 블록의 움직임 벡터로 대체한다.

개선된움직임보상보간부(630)는 움직임벡터리파인부(620)에서 구해진 움직임 벡터를 이용하여 보간될 프레임의 전후 프레임에서 블록의 평균으로 보간될 블록을 형성한다. 이때 개선된움직임보상보간부(630)는 보간될 블록을 확장하여 중첩된 영역에서 서로 다른 가중치를 두고 보간을 수행한다.

도 7은 도 6의 양방향움직임 추정부(610)의 양방향 움직임 벡터를 구하는 개념도이다.

도 7을 참조하면, 인접한 두 프레임에서 ft1은 이전 프레임(previous frame)이고, ft2는 현재 프레임(current frame)이며, fti는 두 프레임 사이에서 보간될 프레임(interpolated frame)이다. 보간될 프레임에서 구할 양방향 움직임 벡터는 도 7의 (a) 및 (b)에서 도시된 바와 같은 움직임 벡터 초기화 단계와 움직임 벡터 조정 단계를 거친다.

도 7의 (a)를 참조하여 움직임 벡터 초기화 단계를 설명한다. 먼저 연속적으로 입력되는 현재 프레임과 이전 프레임을 2:1로 데시메이션(decimation)한다. 이어서, 현재 프레임을 블록들로 나누고 각 블록에 대해서 탐색 영역(search range)을 정하여 블록 정합 알고리듬(block matching algorithm:이하 BMA이라 칭함)으로 순방향 움직임 벡터(forward MV)를 추정한다. 이어서 보간될 프레임을 블록별로 나누고 추정된 순방향 움직임 벡터를 보간될 프레임의 초기 움직임 벡터로 설정한다.

이어서 도 7의 (b)를 참조하여 움직임 벡터 조정 단계를 설명한다. 먼저, 움직임 벡터 초기화 단계에서 구한 순방향 움직임 벡터를 초기값으로 하여 작은 탐색영역(small search range)을 새로 설정하고, 그 범위내에서 다시 BMA를 이용하여 초기에 설정된 움직임 벡터를 보정한다. 즉, 보간될 프레임에서 임의의 블록(Bti)의 중심(xti, yti)로 설정한다. 이어서, 그 중심(xti, yti)을 통과하는 이전 프레임과 현재 프레임에서의 블록들(Bt1, Bt2)중 두 블록의 오차가 가장 적은 위치값을 보간될 프레임 블록(Bn)의 최종적인 양방향 움직임 벡터로 설정한다.

결국 이전프레임(ft1)의 블록(Bt1)은 움직임벡터(D)를 구비하면서 현재프레임(ft1)의 블록(Bt2)로 프로젝션된다.

도 8은 도 6의 움직임 벡터리파인부(620)의 움직임 벡터를 개선하는 개념도이다.

도 8을 참조하면, 먼저 보간될 프레임에서 현재 블록(current block)은 B(P)로 하고, 현재 블록을 둘러싼 주변 블록(candidate MV block)은 Ni(P), I=1,.....8로 설정하고, 블록의 움직임 벡터는 D(·)로 설정한다. 그리고 이 주변 블록에서 얻어진 움직임 벡터들중에서 가장 작은 MAD(mean absolute difference)를 갖는 블록의 움직임 벡터를 현재 블록의 움직임 벡터로 대체한다. 즉, 수학식 2와 같이 인접한 두 프레임사이의 양방향 움직임 벡터를 이용하여 현재 블록의 DFD(displaced frame differences)를 구하고, 이중 가장 적은 DFD를 갖는 주변 블록의 움직임 벡터를 현재 블록의 움직임 벡터로 설정한다. 결국 움직임벡터 리파인은 움직임 추정에서 검출된 부적절한 움직임 벡터를 제거함으로써 화질을 개선한다.

도 9는 도 6의 개선된움직임보상보간부(630)에서 움직임 보상형 보간 방법을 설명하는 개념도이다.

도 9를 참조하면, 개선된움직임보상보간부(630)는 양방향으로 얻어진 움직임 벡터를 이용하여 수학식 3과 같이 인접한 두 프레임에서의 블록의 평균을 취하여 보간될 프레임을 구성한다. 이때 보간할 프레임은 원래의 블록 크기에서 가로/세로 방향으로 작은 크기만큼 블록을 확장하며, 그 중첩된 영역에서 서로 다른 가중치(weight)를 두고 보간된다.

본 발명은 상술한 실시예에 한정되지 않으며, 본 발명의 사상내에서 당업자에 의한 변형이 가능함은 물론이다. 즉, 포맷 변환을 수행하는 모든 영상 신호 처리 장치에 적용 가능하다.

상술한 바와 같이 본 발명에 의하면, 보간될 프레임을 기준으로 연속적인 두 프레임의 양방향 움직임 벡터를 직접 구함으로서 겹치는 부분(overlap) 및 빈 부분(hole)이 전혀 발생하지 않아 화질을 향상 시킬 수있으며, 특히 카메라 모션이 있는 패닝(panning)이나 줌잉(zooming) 영상에 효율적으로 대응할 수있다.

Claims (9)

  1. 프레임 레이트 변환 방법에 있어서,
    (a) 보간될 프레임을 기준으로 현재프레임과 이전프레임간의 양방향의 움직임 벡터를 추정하는 과정;
    (b) 보간될 프레임에서 상기 (a)과정에서 추정된 움직임 벡터중 화소 오차가 최소인 주변 블록의 움직임 벡터를 현재 블록의 움직임 벡터로 설정하는 과정;
    (C) 상기 (b)과정에서 설정된 움직임 벡터로 보간될 프레임을 형성하는 과정을 포함하는 프레임 레이트 변환 방법.
  2. 제1항에 있어서, 상기 (a)과정은
    (a-1) 현재 프레임을 기준으로 연속적으로 입력되는 현재 프레임과 이전 프레임간의 움직임 벡터를 검출하여 보간될 프레임에 할당하는 과정;
    (a-2) 보간될 프레임을 기준으로 상기 (a-1)과정에서 할당된 움직임 벡터를 조정하는 과정을 포함하는 것을 특징으로 하는 프레임 레이트 변환 방법.
  3. 제2항에 있어서, 상기 (a-1)에서 움직임 벡터 검출은
    영상을 데시메이션하는 과정;
    상기 과정에서 데시메이션된 영상으로부터 움직임 벡터를 추정하는 과정을 포함하는 것을 특징으로 하는 프레임 레이트 변환 방법.
  4. 제2항에 있어서, 상기 (a-2)과정은
    보간될 프레임에서 임의의 블록의 중심을 설정하고 그 블록 중심을 선형적으로 통과하는 이전 프레임과 현재 프레임의 블록중에서 오차가 가장적은 위치값을 보간될 프레임 블록의 양방향 움직임 벡터로 추정하는 과정임을 특징으로 하는 프레임 레이트 변환 방법.
  5. 제1항에 있어서, 상기 (b)과정은 보간될 프레임에서 현재 블록의 움직임 벡터의 정확성을 평가하고, 화소 오차가 최소인 주변 블록의 움직임 벡터을 현재 블록의 움직임 벡터로 설정하는 과정을 포함하는 것을 특징으로 하는 프레임 레이트 변환 방법.
  6. 제1항에 있어서, 상기 (b)과정은
    보간될 프레임을 기준으로 할당된 움직임 벡터를 조정하고,
    현재 블록의 상기 움직임 벡터의 정확성을 평가하고,
    화소 오차가 최소인 주변 블록의 움직임 벡터을 현재 블록의 움직임 벡터로 설정하는 과정을 포함하는 것을 특징으로 하는 프레임 레이트 변환 방법.
  7. 제1항에 있어서, 상기 (c)과정은 보간될 프레임의 전후 프레임에서 상기 과정에서 추정된 움직임 벡터를 적용하여 블록의 평균으로 보간될 블록을 형성하는것임을 특징으로 하는 프레임 레이트 변환 방법.
  8. 제1항에 있어서, 상기 (c)과정은 상기 보간될 블록을 확장하여 중첩된 영역에서 서로 다른 가중치를 두고 보간하는 과정임을 특징으로 하는 프레임 레이트 변환 방법.
  9. 프레임 레이트 변환 장치에 있어서,
    현재 프레임을 기준으로 연속적으로 입력되는 현재 프레임과 이전 프레임간의 움직임 벡터를 구하여 보간될 프레임에 할당하고, 보간될 프레임을 기준으로 할당된 움직임 벡터를 추정하는 양방향 움직임 추정수단;
    상기 양방향움직임추정수단에서 보간될 프레임에서 현재 블록의 움직임 벡터의 정확성을 평가한 후 화소 오차가 최소인 주변 블록의 움직임 벡터를 현재 블록의 움직임 벡터로 설정하는 움직임 벡터 리파인부;
    상기 보간될 블록을 확장하여 중첩된 영역에서 서로 다른 가중치를 두고 상기 움직임벡터리파인수단에서 구해진 움직임 벡터로 보간하는 보간부를 포함하는 프레임 레이트 변환 장치.
KR20000032388A 2000-06-13 2000-06-13 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법 KR100708091B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20000032388A KR100708091B1 (ko) 2000-06-13 2000-06-13 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20000032388A KR100708091B1 (ko) 2000-06-13 2000-06-13 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법
CN 01104799 CN1183768C (zh) 2000-06-13 2001-02-27 采用双向运动矢量的格式转换器及其方法
EP20010104859 EP1164792A3 (en) 2000-06-13 2001-02-28 Format converter using bidirectional motion vector and method thereof
JP2001072812A JP4563603B2 (ja) 2000-06-13 2001-03-14 両方向動きベクトルを用いたフォーマット変換装置及びその方法
US09878916 US6900846B2 (en) 2000-06-13 2001-06-13 Format converter using bi-directional motion vector and method thereof

Publications (2)

Publication Number Publication Date
KR20010111740A true true KR20010111740A (ko) 2001-12-20
KR100708091B1 KR100708091B1 (ko) 2007-04-16

Family

ID=19671823

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20000032388A KR100708091B1 (ko) 2000-06-13 2000-06-13 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법

Country Status (5)

Country Link
US (1) US6900846B2 (ko)
EP (1) EP1164792A3 (ko)
JP (1) JP4563603B2 (ko)
KR (1) KR100708091B1 (ko)
CN (1) CN1183768C (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100848509B1 (ko) * 2006-10-10 2008-07-25 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR100870115B1 (ko) * 2005-12-21 2008-12-10 주식회사 메디슨 블록정합 및 움직임 보상 보간을 이용한 영상 형성 방법
KR100973100B1 (ko) * 2007-08-08 2010-07-29 캐논 가부시끼가이샤 화상 처리 장치 및 제어 방법
US8421917B2 (en) 2007-08-08 2013-04-16 Canon Kabushiki Kaisha Image processing apparatus and method of controlling the same

Families Citing this family (131)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7663695B2 (en) * 2000-05-05 2010-02-16 Stmicroelectronics S.R.L. Method and system for de-interlacing digital images, and computer program product therefor
US8111754B1 (en) * 2001-07-11 2012-02-07 Dolby Laboratories Licensing Corporation Interpolation of video compression frames
US7266150B2 (en) 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
KR100412501B1 (ko) * 2001-11-30 2003-12-31 삼성전자주식회사 움직임 보상을 위한 화소값 선택 장치 및 방법
US20030107648A1 (en) * 2001-12-12 2003-06-12 Richard Stewart Surveillance system and method with adaptive frame rate
US6885706B2 (en) * 2002-01-05 2005-04-26 Aiptek International Inc. Method for promoting temporal resolution of sequential images
CN101031082B (zh) 2002-01-09 2011-08-17 松下电器产业株式会社 移动向量解码方法和移动向量解码装置
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
KR100441509B1 (ko) 2002-02-25 2004-07-23 삼성전자주식회사 주사포맷변환장치 및 방법
JP3840129B2 (ja) * 2002-03-15 2006-11-01 株式会社東芝 動きベクトル検出方法と装置、補間画像作成方法と装置及び画像表示システム
JP2003339029A (ja) * 2002-05-20 2003-11-28 Sony Corp 動きベクトル補正回路及び方法
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US7362374B2 (en) * 2002-08-30 2008-04-22 Altera Corporation Video interlacing using object motion estimation
JP4198550B2 (ja) * 2002-09-10 2008-12-17 株式会社東芝 フレーム補間方法およびこのフレーム補間方法を用いた装置
KR100506864B1 (ko) 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법
US20040066466A1 (en) * 2002-10-08 2004-04-08 Macinnis Alexander Progressive conversion of interlaced video based on coded bitstream analysis
JP4462823B2 (ja) * 2002-11-20 2010-05-12 ソニー株式会社 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
KR100486284B1 (ko) 2002-11-22 2005-04-29 삼성전자주식회사 연속되는 두 개의 디인터레이스 프레임들을 출력할 수있는 디인터레이스 장치 및 디인터레이스 방법
KR20040050577A (ko) * 2002-12-10 2004-06-16 삼성전자주식회사 디인터레이싱 장치 및 방법
KR20040061244A (ko) * 2002-12-30 2004-07-07 삼성전자주식회사 디-인터레이싱 방법 및 그 장치
JP4053490B2 (ja) 2003-03-25 2008-02-27 株式会社東芝 フレーム補間のための補間画像作成方法及びこれを用いた画像表示システム、補間画像作成装置
JP3887346B2 (ja) * 2003-04-28 2007-02-28 株式会社東芝 映像信号処理装置及び映像信号処理方法、映像表示装置
US8824553B2 (en) 2003-05-12 2014-09-02 Google Inc. Video compression method
KR100530223B1 (ko) * 2003-05-13 2005-11-22 삼성전자주식회사 프레임 레이트 변환시의 프레임 보간 방법 및 그 장치
KR100517504B1 (ko) * 2003-07-01 2005-09-28 삼성전자주식회사 B-픽처의 움직임 보상 모드 결정방법 및 장치
US7129987B1 (en) 2003-07-02 2006-10-31 Raymond John Westwater Method for converting the resolution and frame rate of video data using Discrete Cosine Transforms
US7170469B2 (en) * 2003-07-18 2007-01-30 Realtek Semiconductor Corp. Method and apparatus for image frame synchronization
DE60312981D1 (de) * 2003-08-26 2007-05-16 St Microelectronics Srl Verfahren und System zum Aufheben des Zeilensprungverfahrens während der Darstellung von Videobildern
WO2005025213A1 (en) * 2003-09-04 2005-03-17 Koninklijke Philips Electronics N.V. Robust de-interlacing of video signals
CN100450155C (zh) 2003-09-04 2009-01-07 皇家飞利浦电子股份有限公司 视频信号的鲁棒去隔行
CN1316824C (zh) * 2004-02-02 2007-05-16 扬智科技股份有限公司 运动向量解交错的方法
KR100565066B1 (ko) * 2004-02-11 2006-03-30 삼성전자주식회사 중첩된 블록 기반 움직임 추정에 의한 움직임 보상 보간방법 및 그를 적용한 프레임 레이트 변환 장치
GB2411784B (en) * 2004-03-02 2006-05-10 Imagination Tech Ltd Motion compensation deinterlacer protection
US20110025911A1 (en) * 2004-05-17 2011-02-03 Weisgerber Robert C Method of enhancing motion pictures for exhibition at a higher frame rate than that in which they were originally produced
CN101023677A (zh) * 2004-07-20 2007-08-22 高通股份有限公司 以多个参考帧以及可变块尺寸的帧速率上变换方法和装置
KR101127220B1 (ko) * 2004-07-28 2012-04-12 삼성전자주식회사 움직임 보상 적응형 순차주사화 장치 및 그 방법
US7365795B2 (en) * 2004-09-22 2008-04-29 Via Technologies, Inc. Apparatus and method for adaptively de-interlacing image frame
JP4359223B2 (ja) 2004-10-29 2009-11-04 株式会社 日立ディスプレイズ 映像補間装置とこれを用いたフレームレート変換装置,映像表示装置
KR101042623B1 (ko) 2004-11-17 2011-06-20 삼성전자주식회사 필드 가변분할방식을 이용한 디인터레이싱방법 및 장치
JP4396496B2 (ja) * 2004-12-02 2010-01-13 株式会社日立製作所 フレームレート変換装置、及び映像表示装置、並びにフレームレート変換方法
US8780957B2 (en) 2005-01-14 2014-07-15 Qualcomm Incorporated Optimal weights for MMSE space-time equalizer of multicode CDMA system
JP4736456B2 (ja) * 2005-02-15 2011-07-27 株式会社日立製作所 走査線補間装置、映像表示装置、映像信号処理装置
EP1867173A2 (en) 2005-03-10 2007-12-19 QUALCOMM Incorporated Content adaptive multimedia processing
US7567294B2 (en) * 2005-03-28 2009-07-28 Intel Corporation Gradient adaptive video de-interlacing
JPWO2006117878A1 (ja) * 2005-04-28 2008-12-18 株式会社日立製作所 フレームレート変換装置及び映像表示装置
US8018998B2 (en) * 2005-05-20 2011-09-13 Microsoft Corporation Low complexity motion compensated frame interpolation method
US9131164B2 (en) 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
US8879857B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
US8948260B2 (en) 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
US20070206117A1 (en) 2005-10-17 2007-09-06 Qualcomm Incorporated Motion and apparatus for spatio-temporal deinterlacing aided by motion compensation for field-based video
US8654848B2 (en) 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
JP4887727B2 (ja) 2005-10-20 2012-02-29 ソニー株式会社 画像信号処理装置、カメラシステム、および画像信号処理方法
US20070171280A1 (en) * 2005-10-24 2007-07-26 Qualcomm Incorporated Inverse telecine algorithm based on state machine
US7546026B2 (en) * 2005-10-25 2009-06-09 Zoran Corporation Camera exposure optimization techniques that take camera and scene motion into account
JP4389866B2 (ja) 2005-12-12 2009-12-24 セイコーエプソン株式会社 画像処理方法、画像処理装置、表示装置およびプログラム
CN101366273A (zh) * 2005-12-21 2009-02-11 模拟装置公司 用于交错式视频的逐行扫描的方法和设备
CN101375315B (zh) 2006-01-27 2015-03-18 图象公司 数字重制2d和3d运动画面以呈现提高的视觉质量的方法和系统
US8204104B2 (en) 2006-03-09 2012-06-19 Sony Corporation Frame rate conversion system, method of converting frame rate, transmitter, and receiver
KR101019010B1 (ko) 2006-04-03 2011-03-04 퀄컴 인코포레이티드 전처리기 방법 및 장치
EP1855474A1 (en) * 2006-05-12 2007-11-14 Sony Deutschland Gmbh Method for generating an interpolated image between two images of an input image sequence
CN102685533B (zh) 2006-06-23 2015-03-18 图象公司 对2d电影进行转换用于立体3d显示的方法和系统
US20080018788A1 (en) * 2006-07-20 2008-01-24 Samsung Electronics Co., Ltd. Methods and systems of deinterlacing using super resolution technology
US7697836B2 (en) * 2006-10-25 2010-04-13 Zoran Corporation Control of artificial lighting of a scene to reduce effects of motion in the scene on an image being acquired
CN101523475B (zh) * 2006-11-24 2011-09-28 夏普株式会社 图像显示装置
JP4438795B2 (ja) 2006-12-28 2010-03-24 株式会社日立製作所 映像変換装置、映像表示装置、映像変換方法
US8942505B2 (en) * 2007-01-09 2015-01-27 Telefonaktiebolaget L M Ericsson (Publ) Adaptive filter representation
JP4513819B2 (ja) 2007-03-19 2010-07-28 株式会社日立製作所 映像変換装置、映像表示装置、映像変換方法
JP2008244846A (ja) * 2007-03-27 2008-10-09 Toshiba Corp フレーム補間装置及びその方法
US8115863B2 (en) * 2007-04-04 2012-02-14 Freescale Semiconductor, Inc. Video de-interlacer using pixel trajectory
US20080260021A1 (en) * 2007-04-23 2008-10-23 Chih-Ta Star Sung Method of digital video decompression, deinterlacing and frame rate conversion
US8433159B1 (en) * 2007-05-16 2013-04-30 Varian Medical Systems International Ag Compressed target movement model using interpolation
US8054381B2 (en) * 2007-05-16 2011-11-08 Himax Technologies Limited Apparatus and method for frame rate up conversion
GB0711390D0 (en) * 2007-06-13 2007-07-25 Sharp Kk Method of and apparatus for frame rate conversion
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
US20090207314A1 (en) * 2008-02-14 2009-08-20 Brian Heng Method and system for motion vector estimation using a pivotal pixel search
US8482620B2 (en) 2008-03-11 2013-07-09 Csr Technology Inc. Image enhancement based on multiple frames and motion estimation
US8805101B2 (en) * 2008-06-30 2014-08-12 Intel Corporation Converting the frame rate of video streams
WO2010017166A8 (en) 2008-08-04 2010-09-23 Dolby Laboratories Licensing Corporation Overlapped block disparity estimation and compensation architecture
JP4385077B1 (ja) 2008-08-27 2009-12-16 三菱電機株式会社 動きベクトル検出装置および画像処理装置
JP5200788B2 (ja) 2008-09-09 2013-06-05 富士通株式会社 映像信号処理装置、映像信号処理方法および映像信号処理プログラム
US8325796B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video coding using adaptive segmentation
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
US8385404B2 (en) 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
WO2010038857A1 (ja) * 2008-10-02 2010-04-08 ソニー株式会社 画像処理装置および方法
KR100991624B1 (ko) 2008-11-03 2010-11-04 엘지전자 주식회사 모션벡터 결정방법
KR100991618B1 (ko) 2008-11-14 2010-11-04 엘지전자 주식회사 모션벡터 결정방법
KR100991568B1 (ko) 2008-11-14 2010-11-04 엘지전자 주식회사 모션벡터 결정방법
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
US8218075B2 (en) * 2009-02-06 2012-07-10 Analog Devices, Inc. Method and system for efficient de-interlacing
DE102009001520B4 (de) * 2009-03-12 2016-02-25 Entropic Communications, Inc. Vorrichtung und Verfahren zur Zwischenbildinterpolation
CN101534445B (zh) 2009-04-15 2011-06-22 杭州华三通信技术有限公司 一种视频处理方法和系统以及解交织处理器
US8724022B2 (en) 2009-11-09 2014-05-13 Intel Corporation Frame rate conversion using motion estimation and compensation
KR20110055196A (ko) * 2009-11-19 2011-05-25 삼성전자주식회사 디스플레이장치 및 그 영상신호처리방법
US20110134315A1 (en) * 2009-12-08 2011-06-09 Avi Levy Bi-Directional, Local and Global Motion Estimation Based Frame Rate Conversion
JP5372721B2 (ja) * 2009-12-11 2013-12-18 ルネサスエレクトロニクス株式会社 映像信号処理装置、方法及びプログラム
JP5805665B2 (ja) * 2010-01-22 2015-11-04 トムソン ライセンシングThomson Licensing Example−based超解像を用いたビデオ圧縮のためのデータプルーニング
KR101789845B1 (ko) 2010-01-22 2017-11-20 톰슨 라이센싱 샘플링 기반 초 해상도 비디오 인코딩 및 디코딩을 위한 방법 및 장치
JP5424926B2 (ja) * 2010-02-15 2014-02-26 パナソニック株式会社 映像処理装置、映像処理方法
US9338477B2 (en) 2010-09-10 2016-05-10 Thomson Licensing Recovering a pruned version of a picture in a video sequence for example-based data pruning using intra-frame patch similarity
WO2012033972A1 (en) 2010-09-10 2012-03-15 Thomson Licensing Methods and apparatus for pruning decision optimization in example-based data pruning compression
WO2012048055A1 (en) 2010-10-05 2012-04-12 General Instrument Corporation Coding and decoding utilizing adaptive context model selection with zigzag scan
US8514328B2 (en) * 2010-12-27 2013-08-20 Stmicroelectronics, Inc. Motion vector based image segmentation
US8938001B1 (en) 2011-04-05 2015-01-20 Google Inc. Apparatus and method for coding using combinations
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
US8638854B1 (en) 2011-04-07 2014-01-28 Google Inc. Apparatus and method for creating an alternate reference frame for video compression using maximal differences
US8781004B1 (en) 2011-04-07 2014-07-15 Google Inc. System and method for encoding video using variable loop filter
US8780996B2 (en) 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
US8891616B1 (en) 2011-07-27 2014-11-18 Google Inc. Method and apparatus for entropy encoding based on encoding cost
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
US9247257B1 (en) 2011-11-30 2016-01-26 Google Inc. Segmentation based entropy encoding and decoding
JP6222514B2 (ja) * 2012-01-11 2017-11-01 パナソニックIpマネジメント株式会社 画像処理装置、撮像装置、およびコンピュータブログラム
US9262670B2 (en) 2012-02-10 2016-02-16 Google Inc. Adaptive region of interest
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
US9609341B1 (en) 2012-04-23 2017-03-28 Google Inc. Video data encoding and decoding using reference picture lists
US9426459B2 (en) 2012-04-23 2016-08-23 Google Inc. Managing multi-reference picture buffers and identifiers to facilitate video data coding
US9014266B1 (en) 2012-06-05 2015-04-21 Google Inc. Decimated sliding windows for multi-reference prediction in video coding
US8819525B1 (en) 2012-06-14 2014-08-26 Google Inc. Error concealment guided robustness
US9774856B1 (en) 2012-07-02 2017-09-26 Google Inc. Adaptive stochastic entropy coding
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
US9277169B2 (en) * 2013-02-21 2016-03-01 Robert C. Weisgerber Method for enhancing motion pictures for exhibition at a higher frame rate than that in which they were originally produced
US9509998B1 (en) 2013-04-04 2016-11-29 Google Inc. Conditional predictive multi-symbol run-length coding
GB201309489D0 (en) * 2013-05-28 2013-07-10 Snell Ltd Image processing
US9756331B1 (en) 2013-06-17 2017-09-05 Google Inc. Advance coded reference prediction
US9392288B2 (en) 2013-10-17 2016-07-12 Google Inc. Video coding using scatter-based scan tables
US9179151B2 (en) 2013-10-18 2015-11-03 Google Inc. Spatial proximity context entropy coding
CN104219533B (zh) * 2014-09-24 2018-01-12 苏州科达科技股份有限公司 一种双向运动估计方法和视频帧率上转换方法及系统
JP2016121877A (ja) * 2014-12-24 2016-07-07 シチズンホールディングス株式会社 電子機器
US20170024614A1 (en) * 2015-03-16 2017-01-26 Rohan Sanil System for Automatically Editing Video
CN104811723B (zh) * 2015-04-24 2018-03-16 宏祐图像科技(上海)有限公司 Memc技术中局部运动矢量修正方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0520036B2 (ko) 1985-03-04 1993-03-18 Kokusai Denshin Denwa Co Ltd
US5198901A (en) * 1991-09-23 1993-03-30 Matsushita Electric Corporation Of America Derivation and use of motion vectors in a differential pulse code modulation system
FR2700090B1 (fr) * 1992-12-30 1995-01-27 Thomson Csf Procédé de désentrelacement de trames d'une séquence d'images animées.
GB2283385B (en) 1993-10-26 1998-04-01 Sony Uk Ltd Motion compensated video signal processing
US5453799A (en) * 1993-11-05 1995-09-26 Comsat Corporation Unified motion estimation architecture
KR0126871B1 (ko) * 1994-07-30 1997-12-29 심상철 양방향 이동벡터 추정을 위한 고속 블럭정합 방식
KR100287211B1 (ko) * 1994-08-30 2001-01-20 윤종용 양방향 움직임 추정방법 및 장치
JP2671820B2 (ja) * 1994-09-28 1997-11-05 日本電気株式会社 両方向予測方法及び両方向予測装置
US5886745A (en) * 1994-12-09 1999-03-23 Matsushita Electric Industrial Co., Ltd. Progressive scanning conversion apparatus
JP3191583B2 (ja) 1994-12-12 2001-07-23 ソニー株式会社 情報復号化装置
CN1108061C (zh) 1995-03-20 2003-05-07 大宇电子株式会社 利用搜索网格对视频信号编码的装置
US5661525A (en) * 1995-03-27 1997-08-26 Lucent Technologies Inc. Method and apparatus for converting an interlaced video frame sequence into a progressively-scanned sequence
JP2798120B2 (ja) * 1995-08-04 1998-09-17 日本電気株式会社 動き補償フレーム間予測方法及び動き補償フレーム間予測装置
EP1274253A3 (en) * 1995-08-29 2005-10-12 Sharp Kabushiki Kaisha Video coding device and video decoding device with a motion compensated interframe prediction
JP3855286B2 (ja) * 1995-10-26 2006-12-06 ソニー株式会社 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体
US5778097A (en) * 1996-03-07 1998-07-07 Intel Corporation Table-driven bi-directional motion estimation using scratch area and offset valves
US5661524A (en) * 1996-03-08 1997-08-26 International Business Machines Corporation Method and apparatus for motion estimation using trajectory in a digital video encoder
US5784115A (en) * 1996-12-31 1998-07-21 Xerox Corporation System and method for motion compensated de-interlacing of video frames
US6404813B1 (en) * 1997-03-27 2002-06-11 At&T Corp. Bidirectionally predicted pictures or video object planes for efficient and flexible video coding
KR100255648B1 (ko) * 1997-10-10 2000-05-01 윤종용 그래디언트 패턴 정합에 의한 영상 움직임 검출장치 및 그 방법
KR100252080B1 (ko) * 1997-10-10 2000-04-15 윤종용 비트 플레인 정합을 이용한 입력영상의 움직임 보정을 통한 영상안정화 장치 및 그에 따른 영상 안정화방법
US6192079B1 (en) * 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
EP1104970B1 (en) * 1998-06-25 2009-08-12 Hitachi, Ltd. Method and device for converting number of frames of image signals
US6594313B1 (en) * 1998-12-23 2003-07-15 Intel Corporation Increased video playback framerate in low bit-rate video applications

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100870115B1 (ko) * 2005-12-21 2008-12-10 주식회사 메디슨 블록정합 및 움직임 보상 보간을 이용한 영상 형성 방법
KR100848509B1 (ko) * 2006-10-10 2008-07-25 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR100973100B1 (ko) * 2007-08-08 2010-07-29 캐논 가부시끼가이샤 화상 처리 장치 및 제어 방법
US8421917B2 (en) 2007-08-08 2013-04-16 Canon Kabushiki Kaisha Image processing apparatus and method of controlling the same
US8531601B2 (en) 2007-08-08 2013-09-10 Canon Kabushiki Kaisha Image processing apparatus and control method
US8842220B2 (en) 2007-08-08 2014-09-23 Canon Kabushiki Kaisha Image processing apparatus and method of controlling the same
US9485457B2 (en) 2007-08-08 2016-11-01 Canon Kabushiki Kaisha Image processing apparatus and method of controlling the same

Also Published As

Publication number Publication date Type
KR100708091B1 (ko) 2007-04-16 grant
JP4563603B2 (ja) 2010-10-13 grant
EP1164792A3 (en) 2003-08-13 application
CN1328405A (zh) 2001-12-26 application
EP1164792A2 (en) 2001-12-19 application
CN1183768C (zh) 2005-01-05 grant
JP2002027414A (ja) 2002-01-25 application
US6900846B2 (en) 2005-05-31 grant
US20020036705A1 (en) 2002-03-28 application

Similar Documents

Publication Publication Date Title
US5208667A (en) Motion compensated video standards converter and method of deriving motion vectors
US5488421A (en) Interlaced-to-progressive scanning converter with a double-smoother and a method therefor
US5005078A (en) Motion dependent video signal processing
US20080204592A1 (en) Motion compensated frame rate conversion system and method
US6122017A (en) Method for providing motion-compensated multi-field enhancement of still images from video
US5661525A (en) Method and apparatus for converting an interlaced video frame sequence into a progressively-scanned sequence
US5027203A (en) Motion dependent video signal processing
US5016102A (en) Motion dependent video signal processing
US4651207A (en) Motion adaptive interpolation of television image sequences
US5068722A (en) Motion vector estimating apparatus
US6011596A (en) Video image motion compensation using an algorithm involving at least two fields
US6141056A (en) System for conversion of interlaced video to progressive video using horizontal displacement
US20020001347A1 (en) Apparatus and method for converting to progressive scanning format
US5682205A (en) Adaptive, global-motion compensated deinterlacing of sequential video fields with post processing
US4992869A (en) Motion dependent video signal processing
US20050259739A1 (en) Image processing apparatus and method, and recording medium and program used therewith
EP0395271A2 (en) Motion dependent video signal processing
EP0883298A2 (en) Conversion apparatus for image signals and TV receiver
US20060072790A1 (en) Background motion vector detection
US20030063673A1 (en) Motion estimation and/or compensation
US5541660A (en) Systolic realization of motion compensated interpolation filter
US6005639A (en) Vector assignment for video image motion compensation
US7365801B2 (en) Apparatus and method for processing signal
US7321396B2 (en) Deinterlacing apparatus and method
US20010017889A1 (en) Motion compensated interpolation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment
FPAY Annual fee payment
FPAY Annual fee payment

Payment date: 20160330

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170330

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 12