KR20060047590A - 움직임 벡터 결정 방법, 비디오 화상 시퀀스 인코딩 방법,비디오 화상 시퀀스 보간 방법, 움직임 추정기, 인코더 및보간기 - Google Patents

움직임 벡터 결정 방법, 비디오 화상 시퀀스 인코딩 방법,비디오 화상 시퀀스 보간 방법, 움직임 추정기, 인코더 및보간기 Download PDF

Info

Publication number
KR20060047590A
KR20060047590A KR1020050035566A KR20050035566A KR20060047590A KR 20060047590 A KR20060047590 A KR 20060047590A KR 1020050035566 A KR1020050035566 A KR 1020050035566A KR 20050035566 A KR20050035566 A KR 20050035566A KR 20060047590 A KR20060047590 A KR 20060047590A
Authority
KR
South Korea
Prior art keywords
motion vector
motion
sad
picture
error value
Prior art date
Application number
KR1020050035566A
Other languages
English (en)
Inventor
랄프 후브리히
미카엘 에크하르트
Original Assignee
마츠시타 덴끼 산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마츠시타 덴끼 산교 가부시키가이샤 filed Critical 마츠시타 덴끼 산교 가부시키가이샤
Publication of KR20060047590A publication Critical patent/KR20060047590A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Abstract

본 발명은 움직임 추정을 위한 개선된 방법을 제공한다. 이를 위해, 움직임 벡터 추정의 예측 품질이 두 번 평가되는 것으로, 다시 말해, 2개의 이전 필드에 대해 예측 품질을 비교하고 다수의 후보 벡터들로부터 최상의 움직임 벡터 추정을 선택하기 위해 양쪽의 계산된 에러 값을 단일 에러 값으로 결합함으로써 평가된다. 이 방식으로, 화상 물체의 실제 움직임의 결정은 단일 이전 화상만을 참조함으로써 검출될 수 없는 잘못된 추정을 제거함으로써 개선된다.

Description

움직임 벡터 결정 방법, 비디오 화상 시퀀스 인코딩 방법, 비디오 화상 시퀀스 보간 방법, 움직임 추정기, 인코더 및 보간기{MOTION VECTOR ESTIMATION WITH IMPROVED MOTION VECTOR SELECTION}
도 1은 움직임 추정 목적을 위해 비디오 화상을 균일한 크기의 다수의 블록으로 분할한 도면,
도 2는 공간 예측 벡터의 예시도,
도 3은 공간 및 시간 예측 벡터의 예시도,
도 4는 필드 속도 변환기의 예시적인 구성도,
도 5는 인터레이싱된 비디오 시퀀스에서 가느다란 수평 라인 표시의 예시도,
도 6은 단일의 이전 필드를 나타내는 상이한 후보 벡터에 의해 주기적인 구조를 예측하는 예시도,
도 7은 2개의 상이한 이전 필드를 인용함으로써 예측 품질이 평가되는 상이한 후보 벡터에 의한 주기적인 구조의 예측도,
도 8은 본 발명에 따른 움직임 추정기의 예시적인 구성도,
도 9는 움직임 추정을 이용하는 복합형 비디오 인코더의 예시적인 구성도이다.
도면의 주요 부분에 대한 부호의 설명
110 : 입력 필드 메모리 113, 116 : 추가 필드 메모리
121, 123 : 지연 수단 130, 160 : SAD 계산기
140 : 후보 벡터 생성기 150 : 가중화 유닛
본 발명은 개선된 움직임 추정에 관한 것이다. 구체적으로, 본 발명은 비디오 시퀀스의 화상 블록들 사이의 움직임 벡터의 추정을 위한 방법 및 대응하는 움직임 추정기에 관한 것이다.
움직임 추정은 점점 더 많은 애플리케이션, 특히 현대식 텔레비전 수신기의 디지털 신호 처리에 이용된다. 명확히 말해, 현대식 텔레비전 수신기는, 프레임 속도(frame-rate) 변환을 특히 업 컨버전(up-conversion) 또는 움직임 보상된 업 컨버전 형식으로 수행하여 재생된 화상의 화질을 향상시키고 있다. 움직임 보상된 업 컨버전은, 예를 들어, 50Hz의 필드 또는 프레임 주파수 내지 60Hz, 66.67Hz, 75Hz, 100Hz 등과 같은 더 높은 주파수를 갖는 비디오 시퀀스에 대해 수행된다. 50Hz 입력 신호 주파수는 PAL 또는 SECAM 표준에 기반을 둔 텔레비전 신호 방송에 주로 사용되는 반면, NTSC 기반 비디오 신호는 60Hz의 입력 주파수를 갖는다. 60Hz 입력 비디오 신호는 72Hz, 80Hz, 90Hz, 120Hz 등과 같은 더 같은 주파수로 업 컨버전될 수도 있다.
업 컨버전 동안, 50Hz 또는 60Hz 입력 비디오 시퀀스에 의해 표시되지 않는 시간적 위치에서 비디오 콘텐트를 반영하는 중개 화상이 생성된다. 이를 위해, 이동하는 물체의 움직임은 물체의 움직임에 의해 야기된 후속 화상들 사이의 변화를 적절히 반영하기 위해 고려되어야 한다. 물체의 움직임은 블록 단위로 계산되며, 움직임 보상은 이전 화상과 후속 화상 사이에서 새로 생성된 화상의 상대적인 시간적 위치에 기반하여 수행된다.
움직임 벡터 결정에 대해, 각 화상은 다수의 블록으로 분할된다. 각 블록은 이전 화상으로부터 물체의 이동(shift)을 검출하기 위해 움직임 추정된다. 바람직하게도, 사전 결정된 조사(search) 범위 내의 이전 화상에서 최상의 매칭 블록을 검출하기 위한 시간 소비형 전조사(time consuming full search) 알고리즘은 다수의 사전 정의된 후보 벡터를 이용함으로써 회피된다. 후보 벡터들의 세트는 많은 사전 정의된 가능성이 가장 높은 움직임 벡터를 포함한다.
움직임 벡터는 각각의 후보 벡터에 대해 계산된 에러 값에 기반하여 후보 벡터 중에서 선택된다. 이 에러 함수는 현재 블록과, 각각의 후보 벡터에 따라 선택된 이전 화상의 후보 블록 사이에서 부합(conformity) 정도를 평가한다. 최소의 에러 함수를 갖는 최상의 매칭 벡터는 현재 블록의 움직임 벡터로서 선택된다. 현재 블록과 이전 블록 사이의 유사도에 대한 측정으로서, SAD(Sum of Absolute Differences)가 이용될 수도 있다.
사전 정의된 후보 벡터들의 세트는 현재 화상의 인접 블록에 대해 이미 결정 되었던 후보 벡터와 비슷한 위치에 있는 이전 화상의 블록에 대해 결정되었던 움직임 벡터 등의 그러한 움직임 벡터를 포함할 수도 있다.
Gerard de Haan 등의 논문 "An Efficient True-Motion Estimator Using Candidate Vectors from a Parametric Motion Model", IEEE Transactions on Circuits and Systems for Video Technology, vol. 8, no. 1, February 1998은 후보 벡터로서의 포괄적인 움직임 벡터의 계산을 설명한다. 포괄적인 움직임 벡터는 모든 화상 블록의 공통 움직임을 반영한다.
EP-A-0 578 290은 현재 화상의 인접 블록의 움직임 벡터에 기반을 두고 있는 추가의 후보 벡터를 설명한다. 이들 벡터의 길이 및 방향은 랜덤 크기를 갖는 업데이트 벡터를 추가함으로써 수정된다. 현재 블록의 움직임 벡터로서의 이러한 벡터 유형 선택은, 사전 정의된 페널티 값을 각각의 SAD에 추가함으로써 제어될 수 있다. 추가된 페널티에 따라, 현재 블록의 움직임 벡터로서 선택될 가능성은 제각각 감소될 수 있다.
또한, 화상 보간(interpolation) 이외에도, 움직임 추정은 시간 린던던시(temporal redundancies)를 이용하기 위해 비디오 화상의 인코딩 동안 이용된다. 이를 위해, 다수의 비디오 인코딩 표준이 개발되고 있다. 널리 사용되고 있는 것은 H.26x 또는 MPEG-x로 표시되는 인코딩 표준이다.
고성능 텔레비전 수신기에서 사용되는 업 컨버전 알고리즘은 가느다란 수평 라인 또는 주기적 구조 중의 어느 것을 처리할 때 발생하는 추정 에러를 경험한다.
수평 라인에서의 움직임 벡터 추정 에러는 인터레이싱된 텔레비전 표준 PAL, SECAM 또는 NTSC에 따라 전송된 비디오 신호의 인터레이싱된 전송 제약에 기인한다. 연속 화상에서 2개의 인접 픽셀 행으로 표현된 가느다란 수평 라인의 경우, 이 라인은 인터레이스 비디오 신호에서 개개의 라인으로 분할되어, 이들 2개의 라인 중의 하나가 제 1 필드의 일부이고 제 2 라인이 다음 필드의 일부가 된다. 움직임 추정 알고리즘은, 후속 필드의 라인이 하나의 필드에서 상향으로 다음 필드에서 하향으로 반복해서 이동하는 것으로 보이면, 이어서 상향 및 하향 방향의 움직임 벡터를 그 결과로서 검출할 것이다.
다른 문제점이 입력 시퀀스의 주기적 구조에 의해 야기된다. 현재 블록에 대한 움직임 벡터를 결정하자마자, 움직임 추정 알고리즘은 동일한 추정 에러, 즉 SAD 값을 제공하는 다수의 상이한 움직임 추정으로 되돌아간다. 동일한 추정 품질 때문에, 추정 알고리즘은 이들 움직임 추정 중의 임의의 것을 선택할 수도 있으나, 이 블록의 정확한 움직임을 결정하는 위치에 있지는 않다.
예를 들어, 6픽셀 폭의 주기적 구조를 갖는 패턴은 필드 당 7픽셀의 속도로 이동하는 것으로 가정된다. 정확한 움직임 추정은 7픽셀 이동을 나타내는 움직임 벡터를 되돌려 보낼 것이다. 그러나 1픽셀, -5픽셀, -12픽셀 또는 13픽셀의 이동을 나타내는 움직임 벡터도 또한 동일한 낮은 에러 값을 가져올 것이다. 이러한 문제점은 현재 블록이 주기적 패턴을 갖는 움직이는 화상 물체의 내부에 완전히 위치하는 경우에 발생한다.
움직임 벡터가 움직이는 물체의 정확한 움직임을 정확히 반영하는지를 결정할 수 없다면, 강한 아티팩트가 특히 수평 라인 또는 주기적 구조에 있는 움직임 보상된 화상에서 뚜렷해진다.
본 발명은 움직임 추정을 개선하고, 움직임 벡터를 결정하는 개선된 방법 및 개선된 움직임 추정기를 제공하는 데 목적을 두고 있다.
이것은 독립 청구항의 특징에 의해 달성된다.
본 발명의 제 1 측면에 따르면, 비디오 화상의 시퀀스에서 현재 화상의 블록에 대한 움직임 벡터를 결정하는 방법이 제공된다. 각 비디오 화상은 다수의 블록으로 분할된다. 움직임 벡터를 결정하는 것에 대해, 본 방법은 현재 블록의 움직임 벡터에 대한 상이한 추정을 제공한다. 에러 값은 현재 블록과, 움직임 벡터 추정에 의해 참조된 이전 화상의 블록에 기반하여 각각의 움직임 벡터 추정에 대해 계산된다. 추가의 에러 값은 현재 블록과, 움직임 벡터 추정에 따라 참조된 다른 이전 화상의 블록에 기반하여 움직임 벡터 추정들 중의 적어도 하나에 대해 계산된다. 현재 화상 블록에 대한 필름 모드 지시가 수신되는 경우, 양쪽의 계산된 개별적인 에러 값들 중의 단 하나만이 움직임 벡터를 선택하는 데 선택된다. 그렇지 않은 경우, 단일 움직임 벡터에 기반하여 계산된 에러 값들은 선택 단계를 위한 단일 에러 값으로 결합된다. 해당 움직임 벡터 추정은 최소 에러 값을 갖는 현재 블록의 움직임 벡터로서 선택된다.
본 발명의 다른 측면에 따르면, 비디오 화상의 시퀀스에서 현재 화상의 블록에 대한 움직임 벡터를 결정하는 움직임 추정기가 제공된다. 각 비디오 화상은 다 수의 블록으로 분할된다. 움직임 추정기는 후보 벡터 생성기, 제 1 및 제 2 에러 계산기, 결합기 및 선택기를 포함한다. 후보 벡터 생성기는 현재 블록의 움직임 벡터에 대한 상이한 추정을 제공한다. 제 1 에러 계산기는 현재 블록과, 움직임 벡터 추정에 의해 참조된 이전 화상의 블록에 기반하여 각각의 움직임 벡터 추정에 대한 에러 값을 계산한다. 제 2 에러 계산기는 현재 블록과, 움직임 벡터 추정에 따라 참조된 다른 이전 화상의 블록에 기반하여 움직임 벡터 추정들 중의 적어도 하나에 대한 추가 에러 값을 계산한다. 현재 화상 블록에 대한 필름 모드 지시가 수신된 경우, 선택기는 양쪽의 계산된 개별적인 에러 값들 중의 하나에 기반하여 움직임 벡터를 선택한다. 그렇지 않은 경우, 결합기는 단일 움직임 벡터 추정에 기반하여 계산된 에러 값들을 단일 에러 값에 결합한다. 선택기는 최소 에러 값을 갖는 현재 블록의 움직임 벡터로서 해당 움직임 벡터 추정을 선택한다.
다수의 후보 벡터로부터 움직임 벡터를 부정확하게 선택하는 것을 회피하는 것이 본 발명의 특정 접근법이다. 일반적으로, 움직임 벡터의 선택은 최소 계산된 에러 값에 기반을 둔다. 본 발명은 이전 화상을 참조하여 계산된 단일 에러 값만을 이용하는 것은 아니다. 추가 에러 값이 다른 이전 화상을 참조하여 계산되며, 이 때 움직임 벡터 길이가 그에 따라 조절된다. 동일한 움직임 벡터 추정으로부터 발생한 양 계산된 에러 값은 다른 후보 벡터의 에러 값과 결합 및 비교된다. 이 방식으로, 화상 물체의 실제 움직임을 적절히 반영하지 않는 움직임 벡터는 계산된 에러 값을 증가시킴으로써 효율적으로 "페널티"를 받을 수 있다. 추정 품질에 따라, 동일한 움직임 벡터 추정에 대해 계산된 제 2 에러 값은 잘못된 움직임 벡터들 에 대해 더 높은 에러 값을 유도하여, 이들 벡터가 현재 블록에 대한 움직임 벡터로서 선택될 가능성이 적게 한다.
이것은, 에러 값이 증가하도록 가느다란 라인을 포함하지 않는 화상 부분을 참조하여 부정확한 움직임 추정에 대한 추가 계산된 에러 값이 계산될 때 수평 라인에 대해 달성된다.
주기적 패턴의 실제 움직임은 에러 값 계산을 위해 단일 화상만을 참조한 것에 기인한 모든 잘못된 움직임 벡터가 주기적 패턴의 움직임과 매칭되지 않는 추가의 화상을 참조할 때 페널티가 발생한 경우 추가의 에러 값을 이용하여 정확히 검출된다. 따라서 본 발명은 간단한 방법으로 화상 물체의 실제 움직임을 검출하게 할 수 있다.
필름 모드가 검출되면, 적어도 2개의 연속 필드가 동일한 원 화상으로부터 발생한다. 따라서 현재 필드에 대해 시간적으로 더 근접한 이전 필드는 현재 필드와 동일한 움직임 위상이나 다른 이전 필드와 동일한 움직임 위상 중의 어느 하나를 갖는다. 결과적으로, 현재 필드에 시간적으로 더 근접하게 위치한 이전 필드에 기반을 둔 에러 값은 결합된 단일 에러 값을 왜곡할 것이다. 단일 에러 값의 이러한 왜곡을 회피하기 위해, 현재 화상에 대해 시간적으로 더 멀리 떨어진 해당 이전 필드만이 에러 값을 계산하는 데에 이용된다.
바람직하게도, 평균값은 단일 움직임 벡터 추정에 대해 계산된 에러 값들에 기반하여 단일 에러 값으로서 계산된다. 이 방식으로, 2개의 이전 화상에 대한 예측 품질은 현재 블록에 대한 적절한 움직임 벡터를 선택할 때 고려된다.
바람직한 실시예에 따르면, 양쪽의 에러 값들은 평균값이 계산되기 전에 상이한 가중 인자를 에러 값에 할당함으로써 가중된다. 이 방식으로, 움직임 벡터 선택에 대한 제 2 에러 값의 효과는 조정될 수 있다.
바람직하게도, 상이한 가중 인자는 양쪽의 계산된 에러 값에 적용된다. 현재 화상에 대해 시간적으로 더 근접한 해당 이전 화상에 기반하여 계산되었던 에러 값에 더 큰 가중 인자를 할당함으로써, 상이한 화상 유형이 더욱 적절히 고려될 수 있다. 불규칙 구조만을 포함하는 화상의 움직임은 짧은 시간적 거리를 갖는 화상 데이터를 이용하여 더욱 정확하게 추정될 수 있다. 반면, 주기적 구조에 대한 정확한 움직임 벡터는 2개의 개별적인 에러 값을 이용하여 결정될 수 있다. 상이한 크기의 설명된 가중 인자를 이용하여, 불규칙적 구조 또는 주기적 구조를 포함하는 화상의 필요성을 동시에 반영하는 단일 에러 값이 제공될 수 있다.
바람직한 특정 실시예에 따르면, 현재 화상에 대해 시간적으로 더 근접한 해당 이전 화상에 기반을 둔 에러 값에 할당된 가중 인자는 대략 3/4이고 다른 에러 값에 할당된 가중 인자는 대략 1/4이다. 이들 특정 가중 인자들은 상이한 화상 유형들의 필요성을 동시에 반영하는 최적의 단일 에러 값의 제공을 가능하게 한다.
바람직하게도, 현재 블록의 블록 위치를 가리키는 0의 움직임 벡터, 현재 화상에서 인접 블록에 대해 이미 결정되며 벡터 길이가 업데이트 벡터를 추가함으로써 변화되는 움직임 벡터, 이전 화상의 블록에 대해 이미 결정된 움직임 벡터 중의 적어도 하나는 현재 블록에 대한 움직임 벡터를 선택하기 위한 후보 벡터로서 사용된다. 상이한 추정 방식에 기반하여, 현재 블록에 대한 움직임 벡터는 고효율 및 높은 정확도로 결정될 수 있다.
바람직하게도, 비디오 시퀀스는 인터레이싱된 비디오 시퀀스이고, 에러 값을 계산하는 데 참조된 화상은 현재 필드 바로 이전에 위치한 2개의 필드이다.
다른 바람직한 실시예에 따르면, 다수의 에러 값이 모든 움직임 벡터 추정 방식에 대해 계산된다.
추가 실시예에 따르면, 적어도 단일 움직임 벡터 추정에 대한 제 3 에러 값이 추가의 이전 화상을 참조하여 계산된다. 이 방식으로, 현재 블록에 대한 움직임 추정의 적응성은 개선된 정확도로 입증될 수 있다.
본 발명의 바람직한 실시예는 종속 청구항의 주제사항이다.
본 발명의 다른 실시예 및 이점은 바람직한 실시예에 대한 다음의 설명으로부터 더욱 명백해질 것이다.
본 발명은 디지털 신호 처리, 특히 현대식 텔레비전 수신기에서의 신호 처리에 관한 것이다. 현대식 텔레비전 수신기는 재생 화질을 향상시키기 위해 업 컨버전 알고리즘(up-conversion algorithm)을 이용한다. 이를 위해, 중개 화상(intermediate images)은 2개의 후속 화상으로부터 생성되는 것이다. 중개 화상을 생성하는 것에 대해, 이동하는 물체의 움직임은 삽간 화상에 의해 반영된 시점에 물체 위치를 적절히 적응시키기 위해 고려되어야 한다.
움직임 추정은 블록 단위로 수행된다. 이를 위해, 각각의 수신된 화상은, 예 를 들어 도 1에 도시된 바와 같은 다수의 블록으로 분할된다. 각각의 현재 블록은 이전 화상에서 최상의 매칭 블록을 결정함으로써 개별적으로 움직임 추정된다.
사전 정의된 조사 영역 내의 시간 소비형 전조사를 피하기 위해서는, 제한된 후보 벡터 세트만이 움직임 추정기에 제공된다. 이들 후보 벡터로부터, 움직임 추정기는 최소의 편차량을 갖는 이전의 화상의 각각의 블록으로부터 현재의 블록을 예측할 수 있는 해당 벡터를 선택한다.
도 1은 각 비디오 화상을 다수의 블록 B(x, y)로 분할한 것을 예시한다. 각 블록은 폭 X 및 높이 Y를 가지며, 이 때의 X 및 Y는 각각 라인의 픽셀 수 및 열 방향을 나타낸다. 라인 또는 열 당 블록의 수는 다음의 공식을 이용하여 계산될 수 있다.
x max = 라인 당 픽셀/X
y max = 열 당 픽셀/Y
이들 블록 각각에 대해, 움직임 벡터는 다수의 상이한 후보 벡터로부터 계산된다. 통상적으로, 후보 벡터 세트는 예를 들어 다음의 움직임 벡터를 포함한다.
Figure 112005022377167-PAT00001
여기서 n은 현재 필드를 나타내고, n-1은 이전 필드를 나타내며,
Figure 112005022377167-PAT00002
는 업데이트 벡터를 나타낸다.
상기 수식으로부터 알 수 있는 바와 같이, 후보 벡터는 0의 움직임 벡터(C1), 공간 예측을 위한 인접 블록의 움직임 벡터(C2, C3), 및/또는 공간 예측을 위한 이전 화상의 움직임 벡터(C6, C7)를 포함할 수도 있다.
공간 예측은 공간 예측 벡터 C2, C3에 누적된 업데이트 벡터를 이용함으로써 개선될 수 있다. 선택된 후보 벡터에 비해 물체 움직임의 작은 변화를 고려하기 위해, 업데이트 벡터는 움직임 벡터에 적용되어 새로운 후보 벡터 C4, C5를 생성한다. 후보 벡터의 상기 리스트에서, 업데이트 벡터
Figure 112005022377167-PAT00003
가 후보 벡터 C2 및 C3에만 적용되더라도, 임의의 다른 후보 벡터, 예를 들어 후보 벡터 C6, C7에 동일한 방식으로 적용될 수도 있다.
상기 리스트의 시간 예측 벡터 C6 및 C7이 2개 블록의 오프셋을 갖는 후보 벡터의 용도를 정의하고 있으나, 임의의 다른 오프셋이 2개 대신, 예를 들어, 0개, 1개, 3개 등이 이용될 수도 있다.
시간 예측 벡터가 현재 및 이전 화상에 대해 설명되고 있으나, 용어 "화상"은 인터레이싱된 비디오 시퀀스의 필드 또는 연속적인 비디오 시퀀스의 프레임 중의 어느 것에 관할 것일 수도 있다. 대응하여, 생성된 중개 화상은 비디오 시퀀스의 유형에 따라 필드 또는 프레임일 수도 있다.
또한, 후보 벡터의 상기 리스트는 전술한 후보 벡터 모두를 포괄하고 있거나 그러할 것을 요구하지 않는다. 임의의 다른 후보 벡터 세트가 이용되어, 현재 블록에 대한 최상의 매칭 움직임 벡터를 결정할 수도 있다.
각 후보 벡터에 대해, 예측 에러는 최상의 매칭 움직임 벡터를 결정하기 위해 계산 및 평가된다. 예측 에러에 대한 측정으로서, SAD(Sum of Absolute Differences)가 결정될 수 있다. 그 후보 벡터는 선택되어 최소 SAD를 갖는 블록의 움직임을 가장 잘 나타내는 것으로 여겨진다.
움직임 벡터 후보 C1 내지 C7중의 일부가 다른 후보 벡터에 대해 바람직할 수도 있기 때문에, 프로그램 가능한 "페널티"는 개별 후보에 대한 결정된 SAD에 추가될 수도 있다. 이 방식에서는, 특정 후보의 선택이 우선된다. 바람직하게도, 페널티 값은 움직임 벡터 후보 C4, C5에 대한 업데이트 벡터
Figure 112005022377167-PAT00004
의 길이에 비례한다.
또한, 후보 벡터의 상기 리스트 이외에도, 포괄적인 움직임 벡터가 고려될 수도 있다. 포괄적인 움직임 벡터는 비디오 화상의 모든 블록에 적용 가능한 움직 임을 나타낸다. 이러한 움직임 벡터는 카메라 팬에 적절히 적용된다.
공간적 예측 벡터의 예가 도 2에 예시된다. 유리하게도, 현재 화상 n에서 수평 및 수직 방향으로 인접한 블록들에 대해 이미 결정된 움직임 벡터는 현재 블록 B(x, y)의 움직임 벡터를 계산하기 위해 공간 예측 벡터로서 사용될 수도 있다. 도 2는 현재 블록 B(x, y), 및 현재 필드 n으로부터의 2개의 가능한 공간 예측 움직임 벡터를 예시한다.
또한, 도 3은 이전 필드 n-1로부터 가능한 시간 예측 벡터 B'(x+2, y) 및 B'(x, y+2)를 예시한다. 특정 블록들이 도 2 및 도 3에서 시간 및 공간 움직임 벡터 예측으로서 예시되고 있으나, 당업자는 현재 블록의 위치로부터의 임의의 다른 오프셋이 사용될 수도 있음을 알고 있다.
필드 속도 변환기에 대한 구성이 도 4에 예시된다. 현재 필드 n 및 이전 필드 n-1로부터의 화상 데이터는 움직임 추정기(ME) 및 움직임 보상형 보간기(MCI)에 인가된다. 움직임 추정기(ME)는 움직임 보상된 보간기(MCI)에 인가된 현재 화상에 대한 움직임 벡터 필드를 계산한다. 움직임 보상형 보간기(MCI)는 그로부터 디스플레이 장치 상에 디스플레이될 새로운 화상 데이터를 생성한다.
인터레이싱된 비디오 화상의 시퀀스에서 연속적인 화상 표현에서 2개의 인접 라인으로 표현된 가느다란 선의 분포가 도 5에 예시된다. 가느다란 라인은 2개의 인접 라인의 높이를 가지며 후속 프레임들 사이에서 움직이지 않는다. 프레임이 상부 필드 및 바닥부 필드로 분할되는 경우, 단일 라인은 상부 및 바닥부 필드에 의해 교대로 디스플레이되는 2개의 라인으로 분할된다. 이것은 프레임에 비해 필 드의 감소된 수평 해상도에 의해 야기된다. PAL 프레임은 576개 라인의 해상도를 갖는 반면, 각 필드는 288개의 라인만을 포함한다. 이에 따라 480개 라인의 NTSC 프레임은 240라인을 갖는 필드 두 개로 구성된다.
연속 필드에서 라인의 불안정한 수직 위치 때문에, 이전 필드를 참조하는 움직임 추정은 항상 각각의 움직임 벡터를 검출한다.
도 6은 7픽셀/필드의 속도로 이동하는 6픽셀 폭의 주기적 구조를 예시한다. 이러한 주기적 구조의 움직임에 대한 움직임 벡터를 결정할 때, 선택기는 주기적 구조에 따른 예측들 중의 하나를 균일하게 선택할 수도 있다. 예를 들어, 7픽셀 또는 1픽셀만큼 이동한 패턴은 동일한 낮은 에러 값이 될 것이다.
에러 값이 이전 필드를 참조하여 시간 예측을 평가함으로써 계산되는 한, 정확한 움직임 벡터와, 주기적 구조의 주기(즉, 도 6의 예에서는 6픽셀)에 따라 달라지는 다른 후보 사이의 에러 값에는 차이가 없다. 그러나 추가의 이전 화상에 대해 물체 움직임을 적절히 반영하지 않는 움직임 벡터 후보에 대한 추가 에러 값을 결정함에 있어서, 예를 들어 필드 n-2에 대하여, 부정확 움직임이 검출될 수 있다. 이를 위해, 본 발명은 에러 값을 계산할 때 이전 화상을 고려할 뿐 아니라 추가의 이전 화상을 고려할 것을 제안한다. 결과로서 생성된 상이한 움직임 추정이 도 7에 도시된다.
본 발명에 따른 움직임 추정기의 예시적인 구성이 도 8에 예시된다. 현재 입력 필드 n은 입력 필드 메모리(110)에 저장되고, 하나의 필드 주기에 대해 지연 수단(121, 123)에 의해 두 번 지연되어 추가 필드 메모리(113, 116)에 저장된다. 2개의 에러 값은 동일한 후보 벡터를 이용하여 동시에 SAD 계산기(130, 160)에 의해 계산된다. 따라서 제 1 에러 값 SADfield는 필드 n 및 필드 n-1의 화상 데이터에 근거하여 제 1 에러 계산기(130)에 의해 계산된다. 제 2 에러 값 SADframe은 필드 n 및 필드 n-2로부터의 화상 데이터를 이용하여 제 2 에러 계산기(160)에 의해 계산된다. 양쪽의 에러 값 모두 가중화 유닛(150)에 제공되어, 후보 벡터 생성기(140)에 의해 제공된 다수의 후보 벡터 C1 내지 C7로부터 현재 움직임 벡터를 결정하는 데 사용되는 단일 에러 값 SADweighted를 계산하게 한다.
가중화 유닛(150)은 계산된 에러 값 SADfield 및 SADframe를 가중 인자에 할당한다. 2개의 개별적인 에러 값 SADfield 및 SADframe로부터 평균화된 단일 에러 값은 양쪽의 에러 값에 대략 0.5의 동일한 가중 인자를 할당함으로써 계산될 수 있다.
그러나 다른 실시예에 따르면, 상이한 가중 인자가 양쪽의 계산된 에러 값에 인가된다. 더 큰 가중 인자는 현재 화상에 대해 시간적으로 더 근접한 이전 화상에 기반하여 계산되는 에러 값 SADfield에 할당된다. 따라서 상이한 유형의 화상이 더욱 적절한 것으로 여겨질 수 있다. 불규칙 구조를 포함하는 화상의 움직임은 짧은 시간적 거리를 갖는 화상 데이터에 기반을 둔 에러 값을 이용하여 더욱 정확하게 결정될 수 있지만, 주기적인 구조에 대한 움직임 벡터는 2개의 개별적인 에러 값을 이용하여 정확하게 결정된다. 테스트가 나타낸 바와 같이, 상이한 화상 유형의 필요성을 동시에 반영하는 최적의 단일 에러 값은 0.75의 가중 인자를 SADfield에 할당하고 0.25의 가중치를 SADframe에 할당함으로써 얻어질 수 있다.
에러 값 결합기(150)는 또한 양쪽의 계산된 에러 값 SADfield 및 SADframe에 할당된 가중 인자를 나타내는 가중 프로세스 동안 고려되는 블록 모드 또는 필드 모드 신호를 수신한다. 블록 모드 신호는 참조된 화상 데이터의 특정 움직임 위상을 나타낼 수도 있다. 이 방식에 있어서, 특정 움직임 위상 구조는 양쪽의 에러 값을 결합할 때 고려될 수도 있다. 예를 들어, 블록 모드 신호는 참조된 화상 데이터가 동일하거나 또는 상이한 움직임 위상에 관한 것인지와 이에 따라 가중치를 할당하는지의 여부를 나타낼 수 있다.
입력 비디오 시퀀스의 검출된 필름 모드 또는 비디오 모드에 따르면, 가중 프로세스는, 필름 모드 동안의 현재 움직임 화상의 반복이 에러 값 결합기(150)에 의한 가중 프로세스 동안 적절히 고려되도록 제어된다. 필름 모드가 검출되면, SADfield만이 사용되어 SADweighted로서 에러 값 결합기(150)의 출력에 전달된다. 이것은 필드 n-1이 필드 n과 동일한 움직임 위상을 갖거나 필드 n-1이 필드 n-2와 동일한 위상을 갖게 되어, 이로서 SADfield 값이 결과로서 생성된 SAD를 왜곡할 것이기 때문에 수행된다.
당업자는 소스 모드 정보가 필드 또는 블록 중의 어느 하나의 단위로 사용될 수도 있음을 인지한다. 양쪽의 변수는 비디오 모드 및 필름 모드 소스 물질에 대해 양호한 추정 결과를 가져온다. 그러나 혼합 모드에서, 블록 기반 모드 검출은 더 양호한 추정 결과를 제공할 것이다.
모든 후보 벡터들에 대해, 에러 값 - 바람직하게는 SAD(Sum of Absolute Differences) - 이 각 후보 벡터 C1 내지 C7에 대해 두 번 계산된다. 필드 n과 필드 n-2 사이의 제 2 에러 값을 계산할 때, 움직임 벡터의 길이는 이에 따라 적용된다. 즉, 움직임 벡터의 길이는 필드 n-1에 사용된 움직임 벡터의 두 배가 된다.
선택기(도 8에는 도시하지 않음)는 최소 에러 값 SADweighted를 갖는 해당 움직임 벡터 추정을 선택한다.
후보 벡터 C1 내지 C7은 전술한 추정 방안과는 상이한 방식으로 계산될 수도 있다. 전술한 개수 및 추정 방식은 단지 바람직한 예를 나타낼 뿐이다.
또한, 개별적인 에러 값들을 단일 에러 값 SADweighted로 결합하는 가중 함수는 소위 "페널티 값들"을 추가하여 더 수정될 수 있다. 예를 들어, 전술한 움직임 벡터 추정 C4 및 C5는 값을 업데이트 벡터 u의 길이에 비례하는 에러 값에 더하여 페널티를 받을 수도 있다.
또한, 본 발명은 업 컨버전 알고리즘 뿐 아니라 텔레비전 수신기 입력 신호의 표준 변환 및 비디오 압축에 이용되는 움직임 추정에 사용될 수도 있다.
본 발명이 특히 현대식 텔레비전 수신기에서의 필드 또는 프레임 속도 변환을 위한 중개 화상의 보간에 관하여 주로 설명되고 있으나, 본 발명의 개선된 움직임 추정은 비디오 데이터 압축에 대응하는 방식으로 적용될 수도 있다.
비디오 데이터의 압축은 일반적으로 많은 주요 단계를 이용한다(도 9 참조). 각각의 개별적인 화상은 각각의 화상을 블록 레벨에서 데이터 압축시키기 위해 픽 셀의 블록으로 분할된다. 이러한 블록 분할은 도 1에 도시한 분할에 대응할 수도 있다. 화상 내의 공간 리던던시는 각 블록의 픽셀을 공간 도메인으로부터 주파수 도메인으로 변환하기 위해 각 블록을 변환에 적용함으로써 감소된다. 결과로서 생성된 변환 계수는 양자화되고, 양자화된 변환 계수는 엔트로피 코딩된다.
또한, 후속 화상들의 블록들 사이의 공간 종속성은 후속 화상들 사이의 차이를 전송하는 데에만 이용된다. 이것은 움직임 추정/보상 기술을 이용하여 달성된다. 공간 종속성의 이용은 시간 및 공간 압축 기술을 통계적 코딩과 함께 결합하는 소위 복합형 코딩 기술에 의해 수행된다.
도 9를 참조하면, 복합형 비디오 인코더의 예가 예시된다. 일반적으로, 참조번호(1)로 기록된 비디오 인코더는 현재 비디오 화상과, 움직임 보상된 이전에 인코딩된 화상에 기반을 둔 화상 현재 화상의 예측 신호 사이의 차이를 결정하는 감산기(10)를 포함한다. 변환 및 양자화 유닛(20)은 예측 에러를 공간 도메인으로부터 주파수 도메인으로 변환하고, 얻어진 변환 계수를 양자화한다. 엔트로피 인코딩 유닛(90)은 양자화된 변환 계수를 인코딩한다.
인코더(1)는 입력 비디오 시퀀스의 후속 화상들 사이의 차이만을 전송하는 DPCM(Differential Pulse Code Modulation)을 채용한다. 이들 차이는 인코딩될 비디오 화상 및 그로부터 감산될 예측 신호를 수신하는 감산기(10)에 의해 결정된다.
예측 신호는 인코더 사이트(site) 상의 이전에 인코딩된 화상의 디코딩 결과에 기반을 둔다. 이것은 비디오 인코더 내에 내장된 디코딩 유닛에 의해 달성된다. 디코딩 유닛은 인코딩 단계를 반대 방식으로 수행한다. 역양자화 및 역변환 유닛(30)은 양자화된 계수를 역양자화하고 역양자화된 계수에 역변환을 적용한다. 합산기(35)는 디코딩된 차이 및 예측된 신호를 누적한다.
예측 신호는 현재 필드 또는 프레임과 이전 필드 또는 프레임 사이의 움직임의 추정에 기인한다. 움직임 추정은 현재의 입력 신호 및 국부적으로 디코딩된 화상을 수신하는 움직임 추정기(70)에 의해 수행된다. 바람직하게도, 움직임 추정은 본 발명에 따라 수행된다. 움직임 추정 결과를 기반으로, 움직임 보상은 움직임 보상기(60)에 의해 수행된다.
본 발명은 움직임 추정을 위한 개선된 방법을 제공한다. 이를 위해, 움직임 벡터 추정의 예측 품질은 두 번 평가되는 것으로, 다시 말해, 2개의 이전 필드에 대해 예측 품질을 비교하고 다수의 후보 벡터들로부터 최상의 움직임 벡터 추정을 선택하기 위해 양쪽의 계산된 에러 값을 단일 에러 값으로 결합함으로써 평가된다. 이 방식으로, 화상 물체의 실제 움직임의 결정은 단일 이전 화상만을 참조하여 검출될 수 없는 잘못된 추정을 제거함으로써 개선된다.
본 발명은 움직임 벡터 추정의 예측 품질을 두 번 평가하여, 단일 이전 화상만을 참조함으로써 검출될 수 없는 잘못된 추정을 제거하여 화상 물체의 실제 움직임의 결정을 개선한다.

Claims (34)

  1. 각각이 다수의 블록으로 분할되는 비디오 화상의 시퀀스에서 현재 화상의 블록에 대한 움직임 벡터를 결정하는 방법에 있어서,
    상기 현재 블록의 움직임 벡터에 대한 상이한 추정(C1 내지 C7)을 제공하는 단계와,
    상기 현재 블록, 및 상기 움직임 벡터 추정(C1 내지 C7)에 의해 참조된 이전 화상(n-1)의 블록에 기반하여 상기 움직임 벡터 추정(C1 내지 C7)의 각각에 대한 에러 값(SADfield)을 계산하는 단계와,
    상기 현재 블록, 및 상기 움직임 벡터 추정(C1 내지 C7)에 따라 참조된 다른 이전 화상(n-2)의 블록에 기반하여 상기 움직임 벡터 추정(C1 내지 C7) 중 적어도 하나에 대한 추가 에러 값(SADframe)을 계산하는 단계와,
    단일 움직임 벡터 추정(C1 내지 C7)에 기반하여 계산된 상기 에러 값들(SADfield, SADframe)을 상기 선택 단계를 위해 단일 에러 값으로 결합하는 단계와,
    상기 현재 블록에 대한 필름 모드 지시를 수신하는 단계와,
    상기 필름 모드 지시가 상기 현재 블록이 필름 모드에 있음을 나타내는 경우 상기 단일 에러 값으로서 상기 추가 계산된 에러 값(SADframe)을 출력하는 단계와,
    최소 에러 값을 갖는 상기 현재 블록의 움직임 벡터로서 해당 움직임 벡터 추정(C1 내지 C7)을 선택하는 단계를 포함하는
    움직임 벡터 결정 방법.
  2. 제 1 항에 있어서,
    상기 에러 값들(SADfield, SADframe)은 평균값을 계산함으로써 결합되는
    움직임 벡터 결정 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 에러 값(SADfield, SADframe)은 누적되어, 누적된 에러 값들(SADfield, SADframe)의 수로 분할되는
    움직임 벡터 결정 방법.
  4. 제 1 항 내지 제 3 항 중의 어느 한 항에 있어서,
    상기 에러 값들(SADfield, SADframe)은 누적되기 전에 가중되는
    움직임 벡터 결정 방법.
  5. 제 4 항에 있어서,
    상이한 가중 인자가 상기 에러 값들(SADfield, SADframe)에 할당되는
    움직임 벡터 결정 방법.
  6. 제 4 항 또는 제 5 항에 있어서,
    상기 제 1 이전 화상(n-1)의 상기 에러 값(SADfield)에 할당된 상기 가중 인자는 상기 다른 이전 화상(n-2)의 상기 에러 값(SADframe)에 할당된 상기 가중 인자보다 더 큰
    움직임 벡터 결정 방법.
  7. 제 4 항 내지 제 6 항 중의 어느 한 항에 있어서,
    상기 제 1 이전 화상(n-1)의 상기 에러 값(SADfield)에 할당된 상기 가중 인자는 대략 3/4이고, 상기 다른 이전 화상(n-2)의 상기 에러 값(SADframe)에 할당된 상 기 가중 인자는 대략 1/4인
    움직임 벡터 결정 방법.
  8. 제 1 항 내지 제 7 항 중의 어느 한 항에 있어서,
    상기 움직임 벡터 추정(C1 내지 C7)은 다음의 예측 방식, 즉,
    상기 현재 블록의 상기 블록 위치를 가리키는 움직임 벡터 추정(C1)과,
    상기 현재 화상에서 인접 블록에 대해 이미 결정된 움직임 벡터에 대응하는 움직임 벡터 추정(C2, C3)과,
    상기 현재 화상(n)에서 인접 블록에 대해 이미 결정된 움직임 벡터에 대응하며, 업데이트 벡터(u)를 추가함으로써 벡터 길이가 변화되는 움직임 벡터 추정(C4, C5)과,
    이전 화상(n-1, n-2)의 블록에 대해 이미 결정된 움직임 벡터에 대응하는 움직임 벡터 추정(C6, C7) 중의 적어도 하나에 기반을 두고 있는
    움직임 벡터 결정 방법.
  9. 제 1 항 내지 제 8 항 중의 어느 한 항에 있어서,
    상기 에러 값은 상기 현재 블록과 상기 움직임 벡터 추정(C1 내지 C7)에 의해 참조된 상기 블록 사이의 픽셀 차이의 누적에 기반하여 계산되는
    움직임 벡터 결정 방법.
  10. 제 1 항 내지 제 9 항 중의 어느 한 항에 있어서,
    상기 비디오 시퀀스는 인터레이싱된 비디오 시퀀스인
    움직임 벡터 결정 방법.
  11. 제 1 항 내지 제 10 항 중의 어느 한 항에 있어서,
    상기 다른 이전 화상(n-2)은 상기 이전 화상(n-1) 이전의 상기 비디오 시퀀스의 화상인
    움직임 벡터 결정 방법.
  12. 제 8 항에 있어서,
    상기 움직임 벡터 추정(C1 내지 C7)의 길이는 상기 다른 이전 화상(n-2)에 대한 시간적 거리에 따라 조절되는
    움직임 벡터 결정 방법.
  13. 제 1 항 내지 제 12 항 중의 어느 한 항에 있어서,
    단일 움직임 벡터 추정(C1 내지 C7)에 대한 다수의 에러 값은 모든 예측 벡터에 대해 계산되는
    움직임 벡터 결정 방법.
  14. 제 1 항 내지 제 13 항 중의 어느 한 항에 있어서,
    상기 비디오 시퀀스는 인터레이싱된 비디오 시퀀스이고, 상기 움직임 벡터 추정(C1 내지 C7)에 의해 참조된 상기 화상은 상기 현재 필드(n) 바로 이전의 필드(n-1)이며, 상기 다른 이전 화상은 상기 참조된 화상 바로 이전의 필드(n-2)인
    움직임 벡터 결정 방법.
  15. 제 1 항 내지 제 14 항 중의 어느 한 항에 있어서,
    추가의 이전 화상을 참조하여, 단일 움직임 벡터 추정(C1 내지 C7)에 대한 적어도 제 3 에러 값을 계산하는 단계를 더 포함하는
    움직임 벡터 결정 방법.
  16. 제 1 항 내지 15 항 중의 어느 한 항에 따른 움직임 추정 방법을 포함하는 비디오 화상 시퀀스 인코딩 방법.
  17. 제 1 항 내지 제 15 항 중의 어느 한 항에 따른 움직임 추정 방법을 이용하는 움직임 보상을 포함한 비디오 화상 시퀀스 보간 방법.
  18. 각각이 다수의 블록으로 분할되는 비디오 화상의 시퀀스에서 현재 화상의 블록에 대한 움직임 벡터를 결정하는 움직임 추정기에 있어서,
    상기 현재 블록의 움직임 벡터에 대한 상이한 추정(C1 내지 C7)을 제공하는 후보 벡터 생성기(140)와,
    상기 현재 블록, 및 상기 움직임 벡터 추정(C1 내지 C7)에 의해 참조된 이전 화상(n-1)의 블록에 기반하여 상기 움직임 벡터 추정(C1 내지 C7)의 각각에 대한 에러 값(SADfield)을 계산하는 제 1 에러 계산기(130)와,
    상기 현재 블록, 및 상기 움직임 벡터 추정(C1 내지 C7)에 따라 참조된 다른 이전 화상(n-2)의 블록에 기반하여 상기 움직임 벡터 추정(C1 내지 C7) 중 적어도 하나에 대한 추가 에러 값(SADframe)을 계산하는 제 2에러 계산기(160)와,
    단일 움직임 벡터 추정(C1 내지 C7)에 기반하여 계산된 상기 에러 값들(SADfield, SADframe)을 단일 에러 값으로 결합하되, 상기 현재 블록에 대한 필름 모드 지시를 수신하고, 상기 필름 모드 지시가 상기 현재 블록이 필름 모드에 있음을 나타내는 경우 상기 단일 에러 값으로서 상기 추가 계산된 에러 값(SADframe)을 출력하는 결합기(150)와,
    최소 에러 값을 갖는 상기 현재 블록의 움직임 벡터로서 해당 움직임 벡터 추정(C1 내지 C7)을 선택하는 선택기를 포함하는
    움직임 추정기.
  19. 제 18 항에 있어서,
    상기 결합기(150)는 상기 에러 값들(SADfield, SADframe)에 기반하여 평균값을 계산하는
    움직임 추정기.
  20. 제 18 항 또는 제 19 항에 있어서,
    상기 결합기(150)는 상기 에러 값(SADfield, SADframe)을 누적하고, 누적된 합을 누적된 에러 값들(SADfield, SADframe)의 수로 분할하는
    움직임 추정기.
  21. 제 18 항 내지 제 20 항 중의 어느 한 항에 있어서,
    상기 결합기(150)는 상기 에러 값들(SADfield, SADframe)을 가중화하는
    움직임 추정기.
  22. 제 21 항에 있어서,
    상기 결합기(150)는 상이한 가중 인자를 상기 에러 값들(SADfield, SADframe)에 할당하는
    움직임 추정기.
  23. 제 21 항 또는 제 22 항에 있어서,
    상기 결합기(150)는 상기 다른 이전 화상(n-2)의 상기 에러 값(SADframe)에 할당된 상기 가중 인자보다 더 큰 가중 인자를 상기 제 1 이전 화상(n-1)의 상기 에러 값(SADfield)에 할당하는
    움직임 추정기.
  24. 제 21 항 내지 제 23 항 중의 어느 한 항에 있어서,
    상기 제 1 이전 화상(n-1)의 상기 에러 값(SADfield)에 할당된 상기 가중 인자는 대략 3/4이고, 상기 다른 이전 화상(n-2)의 상기 에러 값(SADframe)에 할당된 상기 가중 인자는 대략 1/4인
    움직임 추정기.
  25. 제 18 항 내지 제 24 항 중의 어느 한 항에 있어서,
    상기 후보 벡터 생성기(140)는 다음의 예측 방식, 즉,
    상기 현재 블록의 상기 블록 위치를 가리키는 움직임 벡터 추정(C1)과,
    상기 현재 화상에서 인접 블록에 대해 이미 결정된 움직임 벡터에 대응하는 움직임 벡터 추정(C2, C3)과,
    상기 현재 화상(n)에서 인접 블록에 대해 이미 결정된 움직임 벡터에 대응하며, 업데이트 벡터(u)를 추가함으로써 벡터 길이가 변화되는 움직임 벡터 추정(C4, C5)과,
    이전 화상(n-1, n-2)의 블록에 대해 이미 결정된 움직임 벡터에 대응하는 움직임 벡터 추정(C6, C7) 중의 적어도 하나에 기반하여 상기 움직임 벡터 추정(C1 내지 C7)을 생성하는
    움직임 추정기.
  26. 제 18 항 내지 제 25 항 중의 어느 한 항에 있어서,
    상기 에러 값 계산기(130, 160)는 상기 현재 블록과 상기 움직임 벡터 추정(C1 내지 C7)에 의해 참조된 상기 블록 사이의 픽셀 차이의 누적에 기반하여 상기 에러 값을 계산하는
    움직임 추정기.
  27. 제 18 항 내지 제 26 항 중의 어느 한 항에 있어서,
    상기 비디오 시퀀스는 인터레이싱된 비디오 시퀀스인
    움직임 추정기.
  28. 제 18 항 내지 제 27 항 중의 어느 한 항에 있어서,
    상기 다른 이전 화상(n-2)은 상기 이전 화상(n-1) 이전의 상기 비디오 시퀀스의 화상인
    움직임 추정기.
  29. 제 18 항 내지 제 18 항 중의 어느 한 항에 있어서,
    상기 제 2 에러 계산기(160)는 상기 다른 이전 화상(n-2)에 대한 시간 거리에 따라 상기 움직임 벡터 추정(C1 내지 C7)의 길이를 조절하는
    움직임 추정기.
  30. 제 18 항 내지 제 29 항 중의 어느 한 항에 있어서,
    상기 비디오 시퀀스는 인터레이싱된 비디오 시퀀스이고, 상기 움직임 벡터 추정(C1 내지 C7)에 의해 참조된 상기 화상은 상기 현재 필드(n) 바로 이전의 필드(n-1)이며, 상기 다른 이전 화상은 상기 참조된 화상 바로 이전의 필드(n-2)인
    움직임 추정기.
  31. 제 18 항 내지 제 30 항 중의 어느 한 항에 있어서,
    상기 제 2 에러 계산기(160)는 모든 예측 벡터에 대해 단일 움직임 벡터 추정(C1 내지 C7)에 대한 다수의 에러 값을 계산하는
    움직임 추정기.
  32. 제 18 항 내지 제 31 항 중의 어느 한 항에 있어서,
    추가의 이전 화상을 참조하여, 단일 움직임 벡터 추정(C1 내지 C7)에 대한 적어도 제 3 에러 값을 계산하는 제 3 에러 계산기를 더 포함하는
    움직임 추정기.
  33. 제 18 항 내지 32 항 중의 어느 한 항에 따른 움직임 추정기를 포함하는 비디오 화상 시퀀스를 보간하는 보간기.
  34. 제 18 항 내지 제 32 항 중의 어느 한 항에 따른 움직임 추정기를 이용하는 움직임 보상을 포함하는 비디오 화상 시퀀스를 보간하는 보간기.
KR1020050035566A 2004-04-30 2005-04-28 움직임 벡터 결정 방법, 비디오 화상 시퀀스 인코딩 방법,비디오 화상 시퀀스 보간 방법, 움직임 추정기, 인코더 및보간기 KR20060047590A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04010298.0 2004-04-30
EP04010298A EP1592255A1 (en) 2004-04-30 2004-04-30 Motion vector estimation with improved motion vector selection

Publications (1)

Publication Number Publication Date
KR20060047590A true KR20060047590A (ko) 2006-05-18

Family

ID=34924802

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050035566A KR20060047590A (ko) 2004-04-30 2005-04-28 움직임 벡터 결정 방법, 비디오 화상 시퀀스 인코딩 방법,비디오 화상 시퀀스 보간 방법, 움직임 추정기, 인코더 및보간기

Country Status (5)

Country Link
US (1) US7693218B2 (ko)
EP (1) EP1592255A1 (ko)
JP (1) JP2005318586A (ko)
KR (1) KR20060047590A (ko)
CN (1) CN100534131C (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100692600B1 (ko) * 2005-02-22 2007-03-13 삼성전자주식회사 움직임 추정 장치 및 방법
US8588513B2 (en) * 2005-07-18 2013-11-19 Broadcom Corporation Method and system for motion compensation
KR100843083B1 (ko) * 2005-12-14 2008-07-02 삼성전자주식회사 움직임 추정 기반 프레임 보간을 위한 장치 및 방법
JP5145887B2 (ja) * 2007-07-13 2013-02-20 富士通株式会社 フレーム補間装置および方法
KR101445791B1 (ko) * 2008-05-10 2014-10-02 삼성전자주식회사 움직임 벡터 변환을 이용한 비월 주사 영상 부호화/복호화방법 및 장치
JP4748191B2 (ja) * 2008-07-30 2011-08-17 ソニー株式会社 動きベクトル検出装置、動きベクトル検出方法及びプログラム
US9100535B2 (en) * 2008-10-22 2015-08-04 Entropic Communications, Llc Device and method for motion estimation and compensation
GB2469679B (en) * 2009-04-23 2012-05-02 Imagination Tech Ltd Object tracking using momentum and acceleration vectors in a motion estimation system
JP5441803B2 (ja) * 2010-04-12 2014-03-12 キヤノン株式会社 動きベクトル決定装置及び動きベクトル決定方法、コンピュータプログラム
US9398308B2 (en) 2010-07-28 2016-07-19 Qualcomm Incorporated Coding motion prediction direction in video coding
JP2012049603A (ja) * 2010-08-24 2012-03-08 Olympus Corp 画像処理装置および画像処理プログラム
RU2010144450A (ru) 2010-10-29 2012-05-10 ЭлЭсАй Корпорейшн (US) Оценка движения для видео транскодера
US9066102B2 (en) 2010-11-17 2015-06-23 Qualcomm Incorporated Reference picture list construction for generalized P/B frames in video coding
MX2013008691A (es) * 2011-02-10 2013-08-21 Panasonic Corp Metodo de codificacion de imagenes en movimiento, aparato de codificacion de imagenes en movimiento, metodo de decodificacion de imagenes en movimiento, aparato de decodificacion de imagenes en movimiento y aparato de codificacion y decodificacion de imagenes en movimiento.
US10395378B2 (en) * 2016-07-15 2019-08-27 Samsung Electronics Co., Ltd. Detecting periodic patterns and aperture problems for motion estimation
CN106993108B (zh) * 2017-04-07 2020-08-28 上海顺久电子科技有限公司 一种确定视频图像在运动估计中的随机量的方法和装置
US10904555B2 (en) * 2018-07-11 2021-01-26 Tencent America LLC Method and apparatus for video coding
WO2023230310A1 (en) * 2022-05-26 2023-11-30 Mary Hitchcock Memorial Hospital, For Itself And On Behalf Of Dartmouth-Hitchcock Clinic System and method for real-time image registration during radiotherapy using deep learning

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5929919A (en) * 1994-04-05 1999-07-27 U.S. Philips Corporation Motion-compensated field rate conversion
JP3355054B2 (ja) * 1995-03-10 2002-12-09 日本放送協会 動きベクトル検出方法および動きベクトル検出装置
US6061401A (en) * 1995-03-20 2000-05-09 Daewoo Electronics Co., Ltd. Method and apparatus for selectively encoding/decoding a video signal
US5687097A (en) * 1995-07-13 1997-11-11 Zapex Technologies, Inc. Method and apparatus for efficiently determining a frame motion vector in a video encoder
JP3495485B2 (ja) * 1995-12-19 2004-02-09 日本放送協会 画像変換装置
DE69727911D1 (de) * 1997-04-24 2004-04-08 St Microelectronics Srl Verfahren zur Erhöhung der bewegungsgeschätzten und bewegungskompensierten Bildfrequenz für Videoanwendungen, und Vorrichtung zur Verwendung eines solchen Verfahrens
DE69836473T2 (de) 1997-09-23 2007-09-20 Koninklijke Philips Electronics N.V. Bewegungsschätzung und bewegungskompensierte interpolation
JP3540142B2 (ja) * 1998-01-30 2004-07-07 株式会社東芝 動きベクトル検出回路および動きベクトル検出方法
JP2000134585A (ja) * 1998-10-23 2000-05-12 Hitachi Ltd 動きベクトル決定方法、画像信号のフレーム数変換方法および回路
KR100571687B1 (ko) * 1999-02-09 2006-04-18 소니 가부시끼 가이샤 코딩 시스템 및 방법, 부호화 장치 및 방법, 복호화 장치및 방법, 기록 장치 및 방법, 및 재생 장치 및 방법
JP4622077B2 (ja) * 2000-10-11 2011-02-02 ソニー株式会社 画像処理装置及び画像処理方法
JP4197434B2 (ja) * 2001-02-21 2008-12-17 エヌエックスピー ビー ヴィ 動き推定の容易化

Also Published As

Publication number Publication date
US7693218B2 (en) 2010-04-06
JP2005318586A (ja) 2005-11-10
CN1694502A (zh) 2005-11-09
CN100534131C (zh) 2009-08-26
EP1592255A1 (en) 2005-11-02
US20050243929A1 (en) 2005-11-03

Similar Documents

Publication Publication Date Title
US7693218B2 (en) Motion vector estimation with improved motion vector selection
US7920627B2 (en) Motion estimation employing adaptive spatial update vectors
EP1592248B1 (en) Motion vector estimation employing adaptive temporal prediction
US7852937B2 (en) Motion vector estimation employing line and column vectors
KR100579493B1 (ko) 움직임 벡터 생성 장치 및 방법
JPS58197984A (ja) テレビジヨン信号の適応予測符号化装置
KR19990035896A (ko) 모션 벡터를 추정하는 방법, 장치 및 그 장치를 포함하는 비디오 디스플레이 장치
JP2000134585A (ja) 動きベクトル決定方法、画像信号のフレーム数変換方法および回路
KR20070033345A (ko) 전역 움직임 벡터를 검색하는 방법
US8073054B2 (en) Unit for and method of estimating a current motion vector
KR100942887B1 (ko) 추정된 움직임 벡터 결정 방법 및 컴퓨터 판독가능한 기록매체
Biswas et al. A novel motion estimation algorithm using phase plane correlation for frame rate conversion
KR100633715B1 (ko) 움직임 판정 장치, 그 방법, 및 화상 정보 변환 장치
Biswas et al. A novel de-interlacing technique based on phase plane correlation motion estimation
KR101215128B1 (ko) 프레임 보간 방법
KR100624304B1 (ko) 움직임을 이용한 적응적인 영상 디인터레이스 장치 및 그방법
JP2925046B2 (ja) 動画像の動き補償予測方法
JP3201344B2 (ja) インターレース動画像信号の動き補償予測方法及び符号化装置
JPH10257496A (ja) インターレース動画像の動き補償予測装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application