KR20060047595A - 적응 시간적인 예측을 채용하는 움직임 벡터 추정 - Google Patents

적응 시간적인 예측을 채용하는 움직임 벡터 추정 Download PDF

Info

Publication number
KR20060047595A
KR20060047595A KR1020050035603A KR20050035603A KR20060047595A KR 20060047595 A KR20060047595 A KR 20060047595A KR 1020050035603 A KR1020050035603 A KR 1020050035603A KR 20050035603 A KR20050035603 A KR 20050035603A KR 20060047595 A KR20060047595 A KR 20060047595A
Authority
KR
South Korea
Prior art keywords
motion
image
motion vector
offset
block
Prior art date
Application number
KR1020050035603A
Other languages
English (en)
Inventor
랄프 후브리히
미카엘 에크하르트
Original Assignee
마츠시타 덴끼 산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마츠시타 덴끼 산교 가부시키가이샤 filed Critical 마츠시타 덴끼 산교 가부시키가이샤
Publication of KR20060047595A publication Critical patent/KR20060047595A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47K—SANITARY EQUIPMENT NOT OTHERWISE PROVIDED FOR; TOILET ACCESSORIES
    • A47K3/00—Baths; Douches; Appurtenances therefor
    • A47K3/001—Accessories for baths, not provided for in other subgroups of group A47K3/00 ; Insertions, e.g. for babies; Tubs suspended or inserted in baths; Security or alarm devices; Protecting linings or coverings; Devices for cleaning or disinfecting baths; Bath insulation
    • A47K3/002—Non-slip mats for baths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Abstract

본 발명은 움직임 추정, 및 특히 움직임 보상된 보간에 대한 개선된 방법을 제공한다. 비디오 데이터의 소스를 고려함으로써, 시간적인 예측 벡터의 선택을 위한 공간적인 오프셋이 검출된 소스 모드(source mode)에 따라서 설정된다. 이전 필드에서의 현재 블록 위치로부터 적절한 오프셋을 선택함으로써, 예측된 움직임의 정확도 및 움직임 보상된 보간 이미지의 화질이 상당히 향상될 수 있다.

Description

적응 시간적인 예측을 채용하는 움직임 벡터 추정{MOTION VECTOR ESTIMATION EMPLOYING ADAPTIVE TEMPORAL PREDICTION}
도 1은 움직임 추정 및 보상을 위해 비디오 이미지를 균일한 사이즈의 복수의 블록으로 분할하는 것을 나타내는 도면,
도 2는 현재 블록 B(x, y) 및 가능한 공간적인 예측 위치를 나타내는 도면,
도 3은 현재 블록 B(x, y) 및 가능한 시공간적 예측 위치를 나타내는 도면,
도 4는 이미지 레이트 컨버터의 구성을 나타내는 도면,
도 5는 움직이는 물체 및 블록 래스터(raster)에서 표시된 작은 오프셋 값에 근거한 움직임 벡터 추정을 위한 시간적인 예측 위치를 나타내는 도면,
도 6은 움직이는 물체 및 블록 래스터에서 표시된 보다 큰 오프셋 값에 근거한 움직임 벡터 추정을 위한 시간적인 예측 위치를 나타내는 도면,
도 7은 비디오 카메라에서 기인하는 비디오 시퀀스에서의 상이한 움직임 단계(motion phase)를 나타내는 도면,
도 8은 동영상 시퀀스에서의 도 7의 동일한 움직이는 물체의 상이한 움직임 단계를 나타내는 도면,
도 9는 비디오 시퀀스로 변환된 도 8에 나타낸 동영상 시퀀스에서 기인하는 비디오 시퀀스에서의 상이한 움직임 단계를 나타내는 도면,
도 10은 본 발명에 따른 움직임 추정기를 포함하는 비디오 인코더의 구성을 나타내는 도면이다.
도면의 주요 부분에 대한 부호의 설명
10 : 감산기 20 : 변환/양자화 유닛
30 : 역양자화/역변환 유닛 35 : 가산기
40 : 메모리 60 : 움직임 보상기
70 : 움직임 추정기 90 : 엔트로피 인코딩 유닛
본 발명은 개선된 움직임 추정에 관한 것이다. 특히, 본 발명은 비디오 시퀀스에서의 이미지 블록들 사이의 움직임 벡터의 추정에 대한 방법 및 해당 움직임 추정기에 관한 것이다.
움직임 추정은 점점 더 많은 애플리케이션, 특히 현대 텔레비전 수상기의 디지털 신호 처리에 채용된다. 구체적으로, 현대 텔레비전 수상기는 재생된 이미지의 화질을 향상시키기 위해서, 프레임 레이트 변환(frame-rate conversion), 특히 업컨버전 또는 움직임 보상 업컨버전(motion compensated up-conversion)을 수행한다. 예를 들면, 움직임 보상 업컨버전은 50㎐ 내지 60㎐, 66.67㎐, 75㎐, 100㎐ 등과 같이 보다 높은 주파수의 필드 또는 프레임을 갖는 비디오 시퀀스에 대해서 수행된다. 50㎐의 입력 신호 주파수는 PAL 또는 SECAM 표준에 근거하여 텔레비전 신호 브로드캐스트에 주로 사용하는 반면에, NTSC에 근거한 비디오 신호는 60㎐의 입력 주파수를 갖는다. 60㎐의 입력 비디오 신호는 72㎐, 80㎐, 90㎐, 120㎐ 등과 같이 보다 높은 주파수로 업컨버트될 수 있다.
업컨버전시, 50㎐ 또는 60㎐ 입력 비디오 시퀀스에 의해 나타나지 않는 시간 위치에 비디오 내용을 반영하는 중간 이미지가 생성될 것이다. 이를 위해, 물체의 움직임에 의해 야기되는 후속 이미지들 사이의 변화를 적절하게 반영하도록, 움직이는 물체의 움직임이 고려되어야 한다. 물체의 움직임은 블록 단위로 계산되고, 움직임 보상은 이전 및 후속 이미지 사이의 새롭게 생성되는 이미지의 상대적 시간 위치에 근거하여 수행된다.
움직임 벡터를 결정함에 있어서, 각각의 이미지는 복수의 블록으로 분할된다. 각각의 블록에 대해서는 이전 이미지로부터 물체의 시프트를 검출하기 위해서 움직임 추정이 수행된다. 이전 이미지의 사전 정의된 검색 범위내에서 최상의 정합 블록(match block)을 검출기 위한 완전 검색 알고리즘(full search algorithm)은 시간을 많이 소모하므로, 복수의 사전 정의된 후보 벡터(candidate vectors)를 채용하여 방지하는 것이 바람직하다. 후보 벡터의 세트는 다수의 사전 정의된 최근사 움직임 벡터(most likely motion vectors)를 포함한다.
움직임 벡터는 각각의 후보 벡터에 대해 계산된 오류값에 근거하여 후보 벡터로부터 선택된다. 이 오류 함수는 제각각의 후보 벡터에 따라서 선택된 이전 이 미지내의 후보 블록과 현재 블록 사이의 일치도를 분석한다. 가장 작은 오류 함수를 갖는 최상의 정합 벡터(best matching vector)가 현재 블록의 움직임 벡터로서 선택된다. 현재 블록과 이전 블록 사이의 유사도에 대한 척도로서, 차분 절대값의 합(SAD; Summed Absolute Difference)이 채용될 수 있다.
사전 정의된 후보 벡터의 세트는 현재 이미지의 인접 블록에 대해 이미 결정된 움직임 벡터와, 유사한 위치에서의 이전 이미지내의 블록에 대해 결정된 움직임 벡터 등을 후보 벡터로서 포함할 수 있다.
Gerard de Haan 등의, "An Efficient True-Motion Estimator Using Candidate Vectors from a Parametric Motion Model", (IEEE Transactions on Circuits and Systems for Video Technology, 1998년 2월, vol.8, no.1)은 후보 벡터로서 전역 움직임 벡터(global motion vector)의 계산을 기술한다. 전역 움직임 벡터는 이미지의 모든 블록의 공통적인 움직임을 반영한다.
EP-A-0 578 290은 현재 이미지의 인접 블록의 움직임 벡터에 근거하는 후보 벡터를 더 기술한다. 이들 벡터의 길이와 방향은 랜덤한 크기를 갖는 갱신 벡터를 가산함으로써 변경된다. 현재 블록의 움직임 벡터로서, 이 타입의 벡터 선택은 제각각의 SAD에 사전 정의된 페널티 값을 가산함으로써 제어될 수 있다. 가산된 페널티에 따라서, 현재 블록의 움직임 벡터로서 선택될 가능성은 제각기 감소될 수 있다.
이미지 보간 외에 또한, 움직임 추정은 시간적인 리던던시를 이용하기 위해서 비디오 이미지의 인코딩시에 더 채용된다. 이를 위해, 복수의 비디오 인코딩 표준이 개발되었다. H.26X 또는 MPEG-x로 표시되는 인코딩 표준이 널리 보급되어 사용되고 있다.
움직임 벡터 결정을 위해 시간적인 예측을 채용하는 움직임 추정은, 이전 이미지에서 참조된 블록이 현재 블록과 동일하게 움직이는 물체에 속하는 경우에 한해, 현재 블록의 움직임을 적절히 예측할 수 있다. 움직임 벡터를 얻기 위해서 참조되는, 이전 이미지에서의 블록이 동일하게 움직이는 물체에 속하지 않으면, 이전의 움직임 벡터는 물체의 움직임을 반영하지 않고, 따라서 현재 블록에 대한 움직임 벡터로서 기능할 수 없다. 특히, 이전 이미지에서 참조된 블록이 동일한 이미지 물체에 속하지 못하기 더욱 쉽기 때문에, 움직이는 물체의 경계 영역은 열악한 예측 품질을 갖는다.
시간적인 예측에 근거한 움직임 벡터 결정에서의 이 결함은 동영상에서 기인하는 비디오 시퀀스에서 보다 더 심각하다. 동영상/비디오 변환 구조에 따라서, 사전 정의된 풀다운 패턴(pull-down pattern)에 따르면, 비디오 시퀀스내에서 동일한 이미지가 자주 반복된다. 동영상에서는 움직임 단계(motion phase)의 수가 적으므로, 상이한 움직임 단계를 나타내는 이미지들 사이에서 움직이는 물체의 시프트는 더욱 커진다. 이미지들 사이에서 움직이는 물체의 보다 큰 시프트는 시간적인 예측을 어렵게 하여, 움직임 보상된 이미지로, 특히 고속으로 움직이는 물체의 윤곽에 가시적인 아티팩트(artifacts)를 초래한다.
본 발명의 목적은 이들 종래 기술의 결점을 극복하여 움직임 벡터를 결정하는 개선된 방법 및 개선된 움직임 추정기를 제공하는 것이다.
이는 독립항의 특징에 의해 달성된다.
본 발명의 제 1 관점에 의하면, 비디오 이미지의 시퀀스에서의 현재 이미지의 블록에 대한 움직임 벡터를 결정하는 방법이 제공된다. 각각의 비디오 이미지는 복수의 블록으로 분할된다. 상기 방법은 이전 이미지의 블록에 대해서 추정된 움직임 벡터에 근거하여 현재 블록에 대한 움직임 벡터를 결정한다. 이전 이미지의 블록은 현재 블록의 위치에 대해 사전 정의된 오프셋을 갖는 위치에 존재한다. 오프셋의 사이즈는 이미지 데이터가 동영상 타입 이미지(a motion picture type image)에서 기인하는지 여부에 따라 설정된다.
본 발명의 제 2 관점에 의하면, 비디오 이미지의 시퀀스에서의 현재 이미지의 블록에 대한 움직임 벡터를 결정하는 움직임 추정기가 제공된다. 각각의 비디오 이미지는 복수의 블록으로 분할된다. 움직임 추정기는 이전 이미지의 블록에 대해서 추정된 움직임 벡터에 근거하여 현재 블록에 대한 움직임 벡터를 결정한다. 이전 이미지의 블록은 현재 블록의 위치에 사전 정의된 오프셋을 갖는 위치에 존재한다. 움직임 추정기에 포함된 필름 모드 검출기는 현재 블록의 이미지 데이터가 동영상 타입 이미지에서 기인하는지 여부를 결정한다. 움직임 추정기의 오프셋 조절 유닛은 필름 모드 검출기의 검출 결과에 따라 오프셋의 사이즈를 설정한다.
본 발명의 특정 방안은, 이미지 데이터의 타입을 고려하여 움직임 벡터 결정을 위한 시간적인 예측 벡터를 선택할 때, 오프셋을 조절하는 것이다. 움직임 벡터가 결정될 이미지 데이터가 동영상에서 기인한다고 판정되면, 상이한 움직임 단계의 후속 이미지들 사이에서 물체 경계의 보다 큰 시프트가 기대될 것이다. 따라서, 시간적인 예측시 공간적인 오프셋이 증가된다. 이러한 방식으로, 움직임 추정 품질을 개선하여 움직임 보상된 이미지에서의 가시적인 아티팩트를 감소시키기 위해서, 움직임 벡터의 시간적인 예측은 특정한 이미지 타입의 특징을 고려한다.
바람직하게는, 동영상 데이터 결정은 비디오 시퀀스내에 존재하는 검출된 변환 패턴에 근거하여 수행된다. 변환 패턴은 동영상으로부터 비디오 데이터로의 변환시에 채용된 풀다운 구조를 반영한다.
바람직한 실시예에 의하면, 이미지 타입은 필드 당 또는 프레임 당, 이미지 단위로 결정된다. 이러한 방식으로, 낮은 조작적인 노력만을 필요로 하는 신뢰성 있는 예측이 가능해진다.
이와 다른 바람직한 실시예에 의하면, 이미지 타입, 특히 필름 모드는 블록 단위에 기초하여 결정된다. 따라서, 본 이미지 타입의 보다 정확한 결정이 가능하여, 본 발명은 혼합 타입 이미지 시퀀스에 유리하게 적용될 수 있다. 그러한 혼합 타입 이미지 시퀀스는 동영상 및 비디오 카메라 데이터와 같은 상이한 소스에서 기인하는 이미지 데이터를 포함한다.
바람직하게는, 오프셋 값은 표준 비디오 이미지 데이터와 비교하여 동영상 타입 이미지 데이터에 대해 2배 크게 설정된다. 따라서, 상이한 움직임 단계가 이 미지 시퀀스의 두 번째 이미지마다에만 존재하더라도, 움직임은 정확하게 결정될 수 있다. 동영상 타입 이미지에 대한 오프셋 값이 2 내지 8 블록 길이 사이에서 설정되는 반면에, 표준 타입 이미지에 대한 오프셋 값은 1 내지 4 블록 길이 사이에서 바람직하게 설정된다. 가장 바람직하게는, 표준 타입 이미지에 대한 오프셋 값은 2블록 길이로 설정되고, 동영상 타입 이미지에 대한 오프셋 값은 4블록 길이로 설정된다.
바람직하게는, 오프셋은 수평 및 수직 방향에서 상이하게 설정된다. 이러한 방식으로, 상이한 움직임 방향이 적당하게 고려될 수 있다.
가장 바람직하게는, 오프셋 값은 수평 또는 수직 방향에 대해서 제로로 설정된다. 따라서, 시간적인 예측을 위한 공간적인 오프셋은 수평으로 또는 수직으로 설정된다.
바람직한 실시예에 의하면, 움직임 추정은 복수의 후보 벡터에 근거하여 수행된다. 복수의 후보 벡터는, 최상의 정합 움직임 벡터를 결정하기 위해서 현재 블록의 위치로부터의 위치 오프셋에, 이전 이미지에서의 블록의 움직임 벡터를 포함한다. 후보 움직임 벡터의 제한된 세트에 근거하여, 움직임 벡터 결정은 최소한의 하드웨어적인 노력과, 필요로 되는 조작의 최소한의 수만을 채용하는 신뢰성 있는 결과로 수행될 수 있다.
가능한 움직임을 신뢰성 있게 검출하기 위해서, 상이한 시간적인 예측이 제공된다. 특히, 시간적인 예측은 동일한 이전 이미지에 관한 것이지만, 상이한 오프셋 값, 바람직하게는 수직 또는 수평의 오프셋을 갖는다.
움직임 벡터를 결정하기 위한 완전 검색 방식(a full search approach)과는 달리, 움직임 추정은, 현재 블록과 동일한 블록 위치를 가리키는 제로 움직임 벡터와, 벡터의 길이가 갱신 벡터에 의해 변화되는 현재 이미지의 인접 블록에 대해서 결정되는 움직임 벡터와, 그 위치가 오프셋 값에 따라서 시프트된 이전 이미지로부터의 움직임 벡터 중 적어도 하나를 포함하는 후보 벡터에 바람직하게 근거한다. 움직임 벡터의 제한된 세트는 빠르고 신뢰성 있는 움직임 벡터 결정을 가능하게 한다.
본 발명의 바람직한 실시예는 종속항의 청구 대상이다.
본 발명의 다른 실시예 및 이점은 이하에 기술되는 바람직한 실시예에서 보다 명백하게 될 것이다.
본 발명은 디지털 신호 처리, 특히 현대 텔레비전 수상기에서의 신호 처리에 관한 것이다. 현대 텔레비전 수상기는 재생된 화질을 향상시키기 위해서 업컨버전 알고리즘을 채용한다. 이를 위해, 2개의 후속 이미지로부터 중간 이미지가 생성될 것이다. 중간 이미지를 생성함에 있어서, 보간된 이미지에 의해 반영된 시점에 물체 위치를 적절하게 적용시키기 위해서, 움직이는 물체의 움직임이 고려되어야 한다.
움직임 추정은 블록 단위로 수행된다. 이를 위해, 각각의 수신된 이미지는, 예를 들면, 도 1에 나타낸 바와 같이 복수의 블록으로 분할된다. 이전 이미지에서 최상의 정합 블록을 결정함으로써, 각각의 현재 블록은 개별적으로 움직임 추정이 수행된다.
사전 정의된 검색 영역내의 완전 검색에 시간이 소비되는 것을 방지하기 위해서, 제한된 세트의 후보 벡터만이 움직임 추정기에 제공된다. 이들 후보 벡터로부터, 움직임 추정기는 최소량의 편차를 갖는 이전 이미지의 제각각의 블록으로부터 현재 블록을 예측할 수 있는 벡터를 선택한다.
도 1은 복수의 블록 B(x, y)로 분할된 각각의 비디오 이미지를 나타낸다. 각각의 블록은 폭 X와 높이 Y를 갖고, X와 Y는 각각 열과 행 방향에서의 픽셀의 수를 나타낸다. 행 또는 열 당 블록의 수는 다음의 수학식을 채용하여 계산될 수 있다.
Figure 112005022403369-PAT00001
이들 블록의 각각에서, 움직임 벡터는 복수의 상이한 후보 벡터로부터 계산된다. 통상, 후보 벡터의 세트는, 예를 들면 다음의 움직임 벡터를 포함한다.
Figure 112005022403369-PAT00002
여기서, n은 현재 필드를 나타내고, n-1은 이전 필드를 나타내며,
Figure 112005022403369-PAT00003
은 갱신 벡터를 나타낸다.
상기 수학식에서 알 수 있는 바와 같이, 후보 벡터는 제로 움직임 벡터(C1), 공간적인 예측을 위한 인접 블록의 움직임 벡터(C2, C3), 및/또는 시간적인 예측을 위한 이전 이미지의 움직임 벡터(C6, C7)를 포함할 수 있다.
공간적인 예측은 공간적인 예측 벡터(C2, C3)에 축적되는 갱신 벡터를 채용함으로써 개선될 수 있다. 선택된 후보 벡터와 비교하여 물체 움직임의 작은 변화를 고려하기 위해서, 갱신 벡터가 움직임 벡터에 사용되어 새로운 후보 벡터(C4, C5)를 생성한다. 후보 벡터의 상기 리스트에서는, 갱신 벡터
Figure 112005022403369-PAT00004
가 후보 벡터(C2, C3)에만 사용되고 있지만, 또 다른 후보 벡터, 예를 들면 후보 벡터(C6, C7)에 마찬가지 방식으로 사용될 수 있다.
상기 리스트의 시간적인 예측 벡터(C6, C7)는 2개의 블록의 오프셋을 갖는 후보 벡터를 사용하고 있지만, 2 대신에 또 다른 오프셋, 예를 들면 0, 1, 3 등이 채용될 수도 있다.
시간적인 예측 벡터는 현재 및 이전 이미지에 대해서 기술되었지만, "이미지"란 인터레이스 비디오 시퀀스(an interlaced video sequence)의 필드 또는 프로그레시브 비디오 시퀀스(a progressive video sequence)의 프레임에 관련될 수 있다. 따라서, 생성된 중간 이미지는 비디오 시퀀스의 타입에 따라 필드 또는 프레임일 수 있다.
또한, 후보 벡터의 상기 리스트는 완결된 것도 아니고 상기한 모든 후보 벡터를 반드시 포함해야 하는 것도 아니다. 또 다른 세트의 후보 벡터가 현재 블록 에 대한 최상의 정합 움직임 벡터의 결정을 산출하는데 채용될 수도 있다.
각각의 후보 벡터에서, 최상의 정합 움직임 벡터를 결정하기 위해서 예측 오류가 계산되어 평가된다. 예측 오류에 대한 척도로서, 차분 절대값의 합(SAD)이 결정될 수 있다. 최소 SAD를 갖는 블록의 최상의 움직임을 나타내기 위해서 상기 후보 벡터가 선택되어 고려된다.
움직임 후보 벡터(C1~C7)의 일부는 다른 후보 벡터보다 선호될 수 있기 때문에, 프로그램화 할 수 있는 "페널티"가 개개의 후보에 대한 결정된 SAD에 가산될 수 있다. 이런 방식으로, 특정 후보의 선택이 우선시될 수 있다. 바람직하게는, 페널티 값은 움직임 후보 벡터(C4, C5)에 대한 갱신 벡터
Figure 112005022403369-PAT00005
의 길이에 비례한다.
후보 벡터의 상기 리스트 외에 또한, 전역 움직임 벡터가 더 고려될 수 있다. 전역 움직임 벡터는 비디오 이미지의 모든 블록에 사용할 수 있는 움직임을 나타낸다. 그러한 움직임 벡터는 적절하게 카메라 팬(a camera pan)에 사용된다.
상기 리스트된 후보 벡터(C1~C7)는, 도 2에 나타낸 바와 같이, 공간적인 근방으로부터의 사전에 계산된 움직임 벡터를 포함한다. 이들 후보 벡터는, 후보 벡터(C2, C3)로서, 인접 위치로부터 후보 블록 B(x, y)의 위치로 이미 처리된 블록 B(x-1, y) 및 B(x, y-1)를 포함한다.
후보 벡터(C6, C7)는 이전 필드 n-1의 이미 계산된 움직임 벡터를 나타내는 시간적인 예측 벡터를 나타낸다. 시간적인 움직임 예측 벡터에 대한 예를 도 3에 나타냈는데, 여기서 블록 B'(x+2, y)와 B'(x, y+2)는 예측 벡터로서 표시된다.
장면의 움직임이 다수의 필드에 걸쳐서 거의 일정하면, 시간적인 예측 벡터는 움직이는 물체의 균일한 속도를 제공한다. 움직임 추정 알고리즘에 의해 생성된 벡터 정보에 근거하여, 중간 필드가 움직임 보상 기술을 이용하여 보간된다.
공지의 필드 레이트 컨버터의 구성예를 도 4에 나타낸다. 움직임 추정 회로(ME)는 움직임 벡터 필드를 계산하여, 움직임 보상된 보간 회로(MCI)에 움직임 벡터 필드를 제공한다. 움직임 보상된 출력 이미지는 연결된 디스플레이 디바이스에 표시된다.
소스 재료(the source material)가 동영상에서 유래하고 있으면, 최고급 텔레비전 수상기에서 사용되는 업컨버전 알고리즘은 열악한 화질을 갖는다. 고속 움직임의 경우에, 움직이는 물체의 경계선은 보간시에 재생될 수 없다. 이 결점은 현재 블록에 근접한 이전 필드에서의 시간적인 예측 블록 위치로부터 나온다. 그러한 시간적인 예측 위치는 이전 필드에서의 현재 움직이는 물체의 외부이다. 이 문제를 도 5에 상세하게 나타낸다.
도 5는 현재 필드 n과 이전 필드 n-1에서의 회색의 움직이는 물체를 묘사한다. 회색으로 표시된 블록은 왼쪽으로 고속으로 움직이는 물체를 나타낸다. 현재 블록 B(x, y)는 움직이는 물체의 왼쪽 경계에 위치한다. 이전 필드 n-1에서 대응하여 채용된 시간적인 예측 벡터 위치(TP1, TP2)는 움직이는 물체의 외부에 위치한다. 따라서, 시간적인 예측 벡터(TP1, TP2)는 현재 물체의 움직임을 반영하는 움직임 벡터를 제공할 수 없다.
도 5에 나타낸 필드 n 및 n-1에서의 움직임 단계는 동영상으로부터 변환된 비디오 데이터에서 기인한다. 동영상의 프레임 레이트는 24㎐이므로, 50㎐ 또는 60㎐의 필드 레이트를 갖는 카메라 소스 재료에서 기인하는 비디오 데이터에 비해, 인접한 이미지들 사이의 물체 위치가 크게 달라진다. 따라서, 카메라 소스 재료로부터 기인했더라도, 동일한 방식으로 결정된 시간적인 예측 벡터라면, 이전 필드에서의 동일한 시간적인 예측 위치(TP1, TP2)로부터 현재 이미지 물체의 정확한 움직임을 반영하는 움직임 벡터를 결정할 수 있을 것이다.
필름 카메라 동영상 데이터로부터 비디오 카메라 데이터로 변환되어 있는 카메라 또는 필름 카메라에 의해 기록된 상이한 움직임 단계를 도 7, 8 및 9에 나타낸다.
도 7은 50㎐ 또는 60㎐의 필드 레이트의 인터레이스 기록 포맷을 갖는 전자 카메라에 의해 기록된 움직임 단계를 나타낸다. 이와는 달리, 필름 카메라에 의해 기록된 동일한 장면을 도 8에 나타낸다. 따라서, 동영상 데이터는 PAL, SECAM 또는 NTSC와 같은 텔레비전 표준에 따른 비디오 데이터와 비교하여 보다 적은 움직임 단계만을 반영한다.
도 8에 나타낸 바와 같은 동영상 데이터를 비디오 포맷과 같은 텔레비전 표준으로 변환할 때, 동영상으로부터의 움직임 단계는 복수의 필드로 반복적으로 변환된다. 도 9로부터 알 수 있는 바와 같이, 동영상으로부터의 각각의 움직임 단계는 2:2 풀다운 변환에 따라서 필드의 시퀀스의 2개의 필드로 변환된다.
도 7 및 도 9의 비디오 시퀀스에서 나타낸 상이한 움직임 단계의 물체 위치 를 비교할 때, 도 9의 움직임 단계에 근거한 시간적인 예측은 다소 오류가 발생하기 쉽다. 도 9에서는 비디오 시퀀스 중 보다 적은 이미지만이 상이한 움직임 단계를 반영하기 때문에, 시간적인 움직임 벡터 예측은 움직임 단계들 사이에서 움직이는 물체의 큰 시프트를 처리해야 한다.
비디오 시퀀스에 사용된 움직임 추정은 이미지 데이터의 양쪽의 종류, 즉 비디오 모드 데이터 및 필름 모드 데이터 모두를 정확하게 고려할 수는 없다. 따라서, 일반적으로 동영상에서 기인하는 고속으로 움직이는 물체에 대해서는 시간적인 움직임 벡터 예측이 실패한다. 그러므로, 고속으로 움직이는 물체에 대한 필드의 움직임 보상된 시퀀스에서, 특히 움직이는 물체의 경계선에서 심한 아티팩트를 볼 수 있다.
본 발명은 이미지 데이터의 타입에 따라 시간적인 예측 벡터의 오프셋을 적용시킴으로써 상기 문제를 해결한다. 비디오 모드에서, 이전 필드에서의 블록 위치는 현재 블록 위치에 근접하게 설정되지만, 필름 모드에서 시간적인 예측 위치는 현재 블록으로부터 더욱 멀리 설정된다. 비디오 모드 및 필름 모드에 대한 이들 상이한 예측 모드를 도 5 및 6에 나타낸다. 도 5는 수평(TP1) 및 수직(TP2) 방향에서의 2개 블록의 오프셋 값을 나타내고, 도 6은 예측 오프셋을 보다 크게 설정하는 것을 나타낸다. 수평 및 수직 오프셋은 4개 블록으로 설정된다.
일반적으로, 후보 벡터로서 시간적인 예측 벡터는 다음과 같이 설정된다:
Figure 112005022403369-PAT00006
변수 (tpx1, tpy1), (tpx2, tpy2)은 시간적인 예측 오프셋 위치를 나타낸다. 시간적인 예측 오프셋 위치는 현재 이미지 또는 블록에 대해서 검출된 소스 모드(source mode)에 따른다. 필름 모드에서, 시간적인 예측 오프셋 위치의 값 (tpx1, tpy1), (tpx2, tpy2)은 비디오 모드에서보다 더 크게 설정되어야 한다. 필름 모드 또는 비디오 모드 검출은 블록 단위로, 이미지 단위로, 또는 심지어 이미지의 시퀀스 단위로 수행될 수 있다.
바람직한 실시예에서, 시간적인 예측 오프셋 위치는 수학식 (1) 내지 (4)에 따라서 블록 단위로 결정된다.
Figure 112005022403369-PAT00007
파라미터 block_mode=0은 현재 블록에 대해서 검출된 비디오 모드를 나타낸다.
거의 일정한 속도로 움직이는 보다 큰 물체의 움직임 추정 품질을 향상시키기 위해서, 후보 벡터(C6, C7)(시간적인 예측 벡터)는 후보 벡터의 세트에 포함된다. 이전 필드에서의 물체 움직임과 거의 동일한 물체 움직임의 경우에, 시간적인 예측 후보 벡터는 현재 물체의 움직임을 완벽하게 반영한다. 따라서, 계산된 오류 값, 바람직하게는 차분 절대값의 합(SAD)이 최소값을 가져, 시간적 예측 벡터(C6, C7)가 현재 블록에 대한 최상의 움직임 벡터로서 선택될 것이다.
본 발명은 중간 이미지의 보간의 관점에서, 특히 현대의 텔레비전 수상기에서의 프레임 레이트 컨버터에 대해서 앞서 주로 기술했지만, 본 발명의 개선된 움직임 추정은 비디오 데이터 압축에 대응하는 방식으로 사용될 수 있다.
비디오 데이터의 압축은 일반적으로 다수의 주요 스테이지를 채용한다. 각각의 이미지가 블록 레벨로 데이터 압축되기 위해서, 각각의 개별적인 이미지는 픽셀의 블록으로 분할된다. 그러한 블록 분할은 도 1에 나타낸 분할에 대응할 수 있다. 각각의 블록의 픽셀을 공간 도메인으로부터 주파수 도메인으로 변환하기 위해서, 변환 유닛에 각각의 블록을 사용함으로써 이미지내의 공간적인 리던던시가 제거된다. 결과적으로 변환 계수가 양자화되고, 양자화된 변환 계수는 엔트로피 인코딩 처리된다.
또한, 후속 이미지들 사이의 차분만을 전송하기 위해서, 후속 이미지의 블록들 사이의 시간적인 의존성이 이용된다. 이는 움직임 추정/보상 기술을 채용함으로써 달성된다. 시간적인 의존성을 이용하는 것은, 시공간적인 인코딩 기술을 통계적 인코딩와 함께 조합하는 이른바 하이브리드 인코딩 기술에 의해 수행된다.
도 10을 참조하여, 하이브리드 비디오 인코더의 예를 나타낸다. 일반적으로 참조 번호 1로 표시되는 비디오 인코더는, 현재 비디오 이미지와, 움직임 보상된 사전에 인코딩된 이미지에 근거한 현재 이미지의 예측 신호 사이의 차분을 결정하 는 감산기(10)를 포함한다. 변환/양자화 유닛(20)은 공간 도메인으로부터 주파수 도메인으로의 예측 오류를 변환하고, 획득된 변환된 계수를 양자화한다. 엔트로피 인코딩 유닛(90)은 양자화된 변형 계수를 엔트로피 인코딩한다.
인코더(1)는 입력 비디오 시퀀스의 후속 이미지들 사이의 차분만을 전송하는 차분 펄스 코드 변조(DPCM)를 채용한다. 이들 차분은 인코딩될 비디오 이미지와 그로부터 감산될 예측 신호를 수신하는 감산기(10)에 의해 결정된다.
예측 신호는 인코더 위치상의 사전에 인코딩된 이미지의 디코딩 결과에 근거한다. 이는 비디오 인코더에 통합된 디코딩 유닛에 의해 달성된다. 디코딩 유닛은 반대 방식으로 인코딩 단계를 수행한다. 역양자화/역변환 유닛(30)은 양자화된 계수를 역양자화하여, 역양자화된 계수에 역변환을 사용한다. 가산기(35)는 디코딩된 차분과 예측 신호를 축적한다.
예측 신호는 현재와 이전 필드들, 또는 프레임들 사이의 움직임 추정에서 나온다. 움직임 추정은 현재 입력 신호 및 부분적으로 디코딩된 이미지를 수신하는 움직임 추정기(70)에 의해 수행된다. 움직임 추정은 본 발명에 따라서 바람직하게 수행된다. 움직임 추정의 결과에 근거하여, 움직임 보상이 움직임 보상기(60)에 의해 수행된다.
요약하면, 본 발명은 움직임 추정, 특히 움직임 보상된 보간에 대한 개선된 방법을 제공한다. 비디오 데이터의 소스를 고려함으로써, 시간적인 예측 벡터의 선택을 위한 공간적인 오프셋은 검출된 소스 모드에 따라서 설정된다. 이전 필드에서의 현재 블록 위치로부터 적절한 오프셋을 선택함으로써, 따라서 예측된 움직임의 정확도 및 움직임 보상된 보간 이미지의 화질이 상당히 향상될 수 있다.

Claims (33)

  1. 각각이 복수의 블록으로 분할되어 있는 비디오 이미지 시퀀스에서 현재 이미지 블록에 대한 움직임 벡터를 결정하는 방법으로서,
    이전 이미지 블록에 대해서 추정된 움직임 벡터에 근거하여 현재 블록에 대한 움직임 벡터를 결정하되,
    상기 이전 이미지 블록은 상기 현재 블록의 위치에 대해 사전 정의된 오프셋을 갖는 위치에 존재하고,
    상기 현재 블록의 이미지 데이터가 동영상 타입 이미지(a motion picture type image)에서 기인하는지 여부에 따라 상기 오프셋의 사이즈를 설정하는 것
    을 특징으로 하는 움직임 벡터 결정 방법.
  2. 제 1 항에 있어서,
    상기 이미지 데이터가 동영상 타입 이미지에서 기인하는지 여부에 대한 판단은, 상기 비디오 이미지 시퀀스에서의 동영상/비디오 데이터 변환 패턴(a motion picture to video data conversion pattern)의 검출에 근거하는 움직임 벡터 결정 방법.
  3. 제 2 항에 있어서,
    상기 변환 패턴은 2:2 또는 3:2 변환 패턴인 움직임 벡터 결정 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 이미지 데이터가 동영상 타입 이미지에서 기인하는지 여부에 대한 판단은, 이미지 단위로, 특히 필드 또는 프레임 당 판단되는 움직임 벡터 결정 방법.
  5. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 이미지 데이터가 동영상 타입 이미지에서 기인하는지 여부에 대한 판단은, 블록 단위로 판단되는 움직임 벡터 결정 방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 이미지 데이터가 동영상에서 기인하면, 상기 오프셋은 보다 크게 설정되는 움직임 벡터 결정 방법.
  7. 제 6 항에 있어서,
    상기 오프셋은, 동영상 이미지 데이터의 경우에, 비동영상 타입 이미지 데이터에 대한 오프셋 값보다 실질적으로 2배 크게 설정되는 움직임 벡터 결정 방법.
  8. 제 6 항 또는 제 7 항에 있어서,
    상기 오프셋은, 비동영상 타입 이미지 데이터의 경우에, 1 내지 4 블록 길이 사이의 값으로 설정되고, 동영상 타입 이미지의 경우에, 2 내지 8 블록 길이이 사이의 값으로 설정되는 움직임 벡터 결정 방법.
  9. 제 6 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 오프셋은, 비동영상 타입 이미지 데이터의 경우에, 2 블록 길의 값으로 설정되고, 동영상 타입 이미지 데이터의 경우에, 4 블록 길이의 값으로 설정되는 움직임 벡터 결정 방법.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 오프셋은 수평 및 수직 방향에서 상이하게 설정되는 움직임 벡터 결정 방법.
  11. 제 10 항에 있어서,
    상기 오프셋은 수평 또는 수직 방향에 대해서 제로로 설정되는 움직임 벡터 결정 방법.
  12. 제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 현재 블록의 위치로부터 오프셋된 위치에 있는 이전 이미지 블록에 대해서 추정된 상기 움직임 벡터를 포함하는 복수의 후보 움직임 벡터(C1-C7)로부터, 상기 현재 블록에 대한 움직임 벡터를 선택하는 단계와,
    상기 선택된 움직임 벡터를 상기 현재 블록에 할당하는 단계
    를 더 포함하는 움직임 벡터 결정 방법.
  13. 제 12 항에 있어서,
    상기 선택하는 단계는,
    상기 각각의 후보 움직임 벡터(C1-C7)에 대한 오류값을 계산하는 단계와,
    최소 오류값을 갖는 움직임 벡터를 선택하는 단계
    를 포함하는 움직임 벡터 결정 방법.
  14. 제 12 항 또는 제 13 항에 있어서,
    상기 후보 벡터(C1-C7)는,
    상기 현재 블록과 동일한 블록 위치를 가리키는 제로 움직임 벡터(C1)와,
    상기 현재 이미지에서의 인접 블록에 대해서 결정된 움직임 벡터(C2, C3)와,
    갱신 벡터(
    Figure 112005022403369-PAT00008
    )를 가산함으로써 벡터 길이가 변경된, 상기 현재 이미지에서의 인접 블록에 대해서 결정된 움직임 벡터(C4, C5)
    중 적어도 하나의 움직임 벡터를 더 포함하는
    움직임 벡터 결정 방법.
  15. 청구항 1 내지 14 중 어느 하나에 기재된 움직임 추정 방법을 채용하는 움직임 보상을 포함하는 비디오 이미지 시퀀스 인코딩 방법.
  16. 청구항 1 내지 14 중 어느 하나에 기재된 움직임 추정 방법을 채용하는 움직 임 보상을 포함하는 비디오 이미지 시퀀스 보간 방법.
  17. 청구항 16에 기재된 움직임 보상을 채용하여 비디오 시퀀스의 필드 또는 프레임 레이트를 변환하는 방법.
  18. 각각이 복수의 블록으로 분할되는 비디오 이미지 시퀀스에서 현재 이미지 블록에 대한 움직임 벡터를 결정하는 움직임 추정기로서,
    이전 이미지 블록에 대해서 추정된 움직임 벡터에 근거하여 현재 블록에 대한 상기 움직임 벡터를 결정하되,
    상기 이전 이미지 블록은 상기 현재 블록의 위치에 대해 사전 정의된 오프셋을 갖는 위치에 존재하고,
    상기 현재 블록의 이미지 데이터가 동영상 타입 이미지에서 기인하는지 여부를 결정하는 필름 모드 검출기와,
    상기 필름 모드 검출기의 검출 결과에 따라 상기 오프셋의 사이즈를 설정하는 오프셋 조절 유닛
    을 포함하는 것을 특징으로 하는 움직임 추정기.
  19. 제 18 항에 있어서,
    상기 필름 모드 검출기는, 비디오 이미지의 시퀀스에서의 동영상/비디오 데이터 변환 패턴의 검출에 근거하여, 상기 이미지 데이터가 동영상 타입 이미지에서 기인하는지 여부를 판단하는 움직임 추정기.
  20. 제 19 항에 있어서,
    상기 변환 패턴은 2:2 또는 3:2 변환 패턴인 움직임 추정기.
  21. 제 18 항 내지 제 20 항 중 어느 한 항에 있어서,
    상기 필름 모드 검출기는, 상기 이미지 데이터가 동영상 타입 이미지에서 기인하는지 여부를 이미지 단위로, 특히 필드 또는 프레임 당 판단하는 움직임 추정기.
  22. 제 18 항 내지 제 20 항 중 어느 한 항에 있어서,
    상기 필름 모드 검출기는, 상기 이미지 데이터가 동영상 타입 이미지에서 기인하지 여부를 블록 단위로 판단하는 움직임 추정기.
  23. 제 18 항 내지 제 22 항 중 어느 한 항에 있어서,
    상기 오프셋 조절 유닛은, 상기 이미지 데이터가 동영상에서 기인하면, 상기 오프셋을 보다 크게 설정하는 움직임 추정기.
  24. 제 23 항에 있어서,
    상기 오프셋 조절 유닛은, 동영상 이미지 데이터의 경우에, 비동영상 타입 이미지 데이터에 대한 오프셋 값의 2배로 상기 오프셋을 설정하는 움직임 추정기.
  25. 제 23 항 또는 제 24 항에 있어서,
    상기 오프셋 조절 유닛은, 비동영상 타입 이미지 데이터의 경우에, 1 내지 4 블록 길이 사이의 값으로, 동영상 타입 이미지 데이터의 경우에, 2 내지 8 블록 길이 사이의 값으로 상기 오프셋을 설정하는 움직임 추정기.
  26. 제 23 항 내지 제 25 항 중 어느 한 항에 있어서,
    상기 오프셋 조절 유닛은, 비동영상 타입 이미지 데이터의 경우에, 2 블록 길이의 값으로, 동영상 타입 이미지 데이터의 경우에, 4 블록 길이의 값으로 상기 오프셋을 설정하는 움직임 추정기.
  27. 제 18 항 내지 제 26 항 중 어느 한 항에 있어서,
    상기 오프셋 조절 유닛은 수평 및 수직 방향에서 상이하게 상기 오프셋을 설정하는 움직임 추정기.
  28. 제 27 항에 있어서,
    상기 오프셋 조절 유닛은 수평 또는 수직 방향에 대해서 상기 오프셋을 제로로 설정하는 움직임 추정기.
  29. 제 18 항 내지 제 28 항 중 어느 한 항에 있어서,
    상기 현재 블록의 위치로부터 오프셋된 위치에 있는 이전 이미지 블록에 대해서 추정된 상기 움직임 벡터를 포함하는 복수의 후보 움직임 벡터(C1-C7)로부터, 상기 현재 블록에 대한 움직임 벡터를 선택하고, 상기 현재 블록에 상기 선택된 움직임 벡터를 할당하는 선택기를 더 포함하는
    움직임 추정기.
  30. 제 29 항에 있어서,
    상기 선택기는,
    상기 각각의 후보 움직임 벡터(C1-C7)의 오류값을 계산하는 처리 유닛과,
    최소 오류값을 갖는 상기 움직임 벡터를 선택하는 비교기
    를 포함하는 움직임 추정기.
  31. 제 29 항 또는 제 30 항에 있어서,
    상기 후보 벡터(C1-C7)는,
    상기 현재 블록과 동일한 블록 위치를 가리키는 제로 움직임 벡터(C1)와,
    상기 현재 이미지에서의 인접 블록에 대해서 결정된 움직임 벡터(C2, C3)와,
    상기 벡터 길이가 갱신 벡터를 가산함으로써 변경된, 상기 현재 이미지에서의 인접 블록에 대해서 결정된 움직임 벡터(C4, C5)
    중 적어도 하나의 움직임 벡터를 포함하는
    움직임 추정기.
  32. 비디오 이미지의 시퀀스를 인코딩하는 비디오 인코더로서,
    청구항 18 내지 31 중 어느 하나에 기재된 움직임 추정기를 채용하는 움직임 보상기를 포함하는 비디오 인코더.
  33. 비디오 이미지의 시퀀스를 보간하는 보간기로서,
    청구항 18 내지 31 중 어느 하나에 기재된 움직임 추정기를 채용하는 움직임 보상기를 포함하는 보간기.
KR1020050035603A 2004-04-30 2005-04-28 적응 시간적인 예측을 채용하는 움직임 벡터 추정 KR20060047595A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04010299.8 2004-04-30
EP04010299A EP1592248B1 (en) 2004-04-30 2004-04-30 Motion vector estimation employing adaptive temporal prediction

Publications (1)

Publication Number Publication Date
KR20060047595A true KR20060047595A (ko) 2006-05-18

Family

ID=34924803

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050035603A KR20060047595A (ko) 2004-04-30 2005-04-28 적응 시간적인 예측을 채용하는 움직임 벡터 추정

Country Status (6)

Country Link
US (1) US20050243926A1 (ko)
EP (1) EP1592248B1 (ko)
JP (1) JP4724459B2 (ko)
KR (1) KR20060047595A (ko)
CN (1) CN100370807C (ko)
DE (1) DE602004002455T2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012023763A3 (ko) * 2010-08-17 2012-05-10 Oh Soo Mi 인터 예측 부호화 방법
WO2013002450A1 (ko) * 2011-06-30 2013-01-03 엘지전자 주식회사 보간 방법 및 이를 이용한 예측 방법

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070069615A (ko) 2005-12-28 2007-07-03 삼성전자주식회사 움직임 추정장치 및 움직임 추정방법
JP4181592B2 (ja) * 2006-09-20 2008-11-19 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
US8249371B2 (en) * 2007-02-23 2012-08-21 International Business Machines Corporation Selective predictor and selective predictive encoding for two-dimensional geometry compression
JP4935771B2 (ja) * 2008-06-27 2012-05-23 三菱電機株式会社 動きベクトル検出装置および動画像符号化装置
CN101635789B (zh) * 2008-07-21 2012-12-19 奇美电子股份有限公司 动态图像补偿装置及方法
US8718142B2 (en) * 2009-03-04 2014-05-06 Entropic Communications, Inc. System and method for frame rate conversion that utilizes motion estimation and motion compensated temporal interpolation employing embedded video compression
US8295551B2 (en) * 2009-04-08 2012-10-23 Samsung Electronics Co., Ltd. System and method of adaptive vertical search range tracking for motion estimation in digital video
GB2469679B (en) 2009-04-23 2012-05-02 Imagination Tech Ltd Object tracking using momentum and acceleration vectors in a motion estimation system
WO2011120221A1 (en) * 2010-03-31 2011-10-06 Intel Corporation Power efficient motion estimation techniques for video encoding
US8736767B2 (en) * 2010-09-29 2014-05-27 Sharp Laboratories Of America, Inc. Efficient motion vector field estimation
US8891626B1 (en) 2011-04-05 2014-11-18 Google Inc. Center of motion for encoding motion fields
US9094689B2 (en) 2011-07-01 2015-07-28 Google Technology Holdings LLC Motion vector prediction design simplification
CN102263958A (zh) * 2011-07-26 2011-11-30 中兴通讯股份有限公司 基于h264运动估计算法的初始点获取方法及装置
US8520140B2 (en) * 2011-10-12 2013-08-27 Intel Corporation Mode based film mode detection
US9185428B2 (en) 2011-11-04 2015-11-10 Google Technology Holdings LLC Motion vector scaling for non-uniform motion vector grid
CN104221373B (zh) * 2011-11-08 2017-10-27 谷歌技术控股有限责任公司 用于采样自适应偏移代码化和/或信号通知的设备和方法
US8908767B1 (en) 2012-02-09 2014-12-09 Google Inc. Temporal motion vector prediction
US9172970B1 (en) 2012-05-29 2015-10-27 Google Inc. Inter frame candidate selection for a video encoder
US11317101B2 (en) 2012-06-12 2022-04-26 Google Inc. Inter frame candidate selection for a video encoder
TWI601075B (zh) * 2012-07-03 2017-10-01 晨星半導體股份有限公司 移動補償影像處理裝置與影像處理方法
WO2014054897A1 (ko) * 2012-10-05 2014-04-10 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US9485515B2 (en) 2013-08-23 2016-11-01 Google Inc. Video coding using reference motion vectors
US9503746B2 (en) 2012-10-08 2016-11-22 Google Inc. Determine reference motion vectors
US10469866B2 (en) 2013-04-05 2019-11-05 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding video with respect to position of integer pixel
US9313493B1 (en) 2013-06-27 2016-04-12 Google Inc. Advanced motion estimation
US20150110190A1 (en) * 2013-10-21 2015-04-23 Sony Corporation Method and apparatus for motion estimation
CA2880458A1 (en) 2014-01-29 2015-07-29 Ecole De Technologie Superieure Method and system for rate-constrained search ordering
CA2958254A1 (en) * 2015-01-29 2016-08-04 Ecole De Technologie Superieure Methods and systems for determining motion vectors in a motion estimation process of a video encoder
GB2539198B (en) 2015-06-08 2019-09-25 Imagination Tech Ltd Motion estimation using collocated blocks
CN113597766B (zh) 2019-03-17 2023-11-10 北京字节跳动网络技术有限公司 基于光流的预测细化的计算

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4982280A (en) * 1989-07-18 1991-01-01 Yves C. Faroudja Motion sequence pattern detector for video
US5317398A (en) * 1992-08-17 1994-05-31 Rca Thomson Licensing Corporation Video/film-mode (3:2 pulldown) detector using patterns of two-field differences
JP3121519B2 (ja) * 1994-12-12 2001-01-09 沖電気工業株式会社 動きベクトルを用いた動き内挿方法および動き内挿回路ならびに動きベクトル検出方法および動きベクトル検出回路
JP3155509B2 (ja) * 1997-06-17 2001-04-09 日本電信電話株式会社 動きベクトル探索方法および動きベクトル探索装置ならびに動きベクトル探索プログラムを記憶した記憶媒体
KR100582856B1 (ko) * 1997-09-23 2006-05-24 코닌클리케 필립스 일렉트로닉스 엔.브이. 움직임 추정 및 움직임 보상된 보간법
US6876702B1 (en) * 1998-10-13 2005-04-05 Stmicroelectronics Asia Pacific (Pte) Ltd. Motion vector detection with local motion estimator
US6870568B1 (en) * 1998-12-02 2005-03-22 Stmicroelectronics Asia Pacific Pte Ltd. Progressive/interlace and redundant field detection for encoder
JP2001024988A (ja) * 1999-07-09 2001-01-26 Hitachi Ltd 画像信号の動き補償フレーム数変換方式および装置
US6707853B1 (en) * 2000-01-10 2004-03-16 Intel Corporation Interface for performing motion compensation
CN1456015A (zh) * 2001-01-11 2003-11-12 皇家菲利浦电子有限公司 识别并行地出现在单个电视信号场中的影片和视频对象
KR100854091B1 (ko) * 2002-07-13 2008-08-25 삼성전자주식회사 영상신호의 필름 모드 검출장치 및 방법
US7453940B2 (en) * 2003-07-15 2008-11-18 Lsi Corporation High quality, low memory bandwidth motion estimation processor
US7480334B2 (en) * 2003-12-23 2009-01-20 Genesis Microchip Inc. Temporal motion vector filtering
DE602004030993D1 (de) * 2004-04-30 2011-02-24 Panasonic Corp Bewegungsschätzung unter Verwendung von adaptiven räumlichen Verfeinerungsvektoren

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012023763A3 (ko) * 2010-08-17 2012-05-10 Oh Soo Mi 인터 예측 부호화 방법
KR101430048B1 (ko) * 2010-08-17 2014-08-18 엠앤케이홀딩스 주식회사 동영상 복호화 장치
US9544611B2 (en) 2010-08-17 2017-01-10 M & K Holdings Inc. Apparatus for decoding moving picture
WO2013002450A1 (ko) * 2011-06-30 2013-01-03 엘지전자 주식회사 보간 방법 및 이를 이용한 예측 방법
US9460488B2 (en) 2011-06-30 2016-10-04 Lg Electronics Inc. Interpolation method and prediction method using same

Also Published As

Publication number Publication date
CN1694495A (zh) 2005-11-09
EP1592248A1 (en) 2005-11-02
DE602004002455D1 (de) 2006-11-02
US20050243926A1 (en) 2005-11-03
CN100370807C (zh) 2008-02-20
DE602004002455T2 (de) 2007-01-11
EP1592248B1 (en) 2006-09-20
JP4724459B2 (ja) 2011-07-13
JP2005318620A (ja) 2005-11-10

Similar Documents

Publication Publication Date Title
KR20060047595A (ko) 적응 시간적인 예측을 채용하는 움직임 벡터 추정
US7920627B2 (en) Motion estimation employing adaptive spatial update vectors
US7693218B2 (en) Motion vector estimation with improved motion vector selection
US7852937B2 (en) Motion vector estimation employing line and column vectors
US5689305A (en) System for deinterlacing digitally compressed video and method
JP4472986B2 (ja) 動き推定および／または補償
JP4083265B2 (ja) 画像信号の方式変換方法および装置
KR100579493B1 (ko) 움직임 벡터 생성 장치 및 방법
JP2005318611A (ja) ビデオシーケンスにおけるフィルムモード検出方法、フィルムモード検出器、動き補償方法及び動き補償器
US20130329796A1 (en) Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
JP2000134585A (ja) 動きベクトル決定方法、画像信号のフレーム数変換方法および回路
JP2003259374A (ja) 走査フォーマットの変換装置及び方法
KR100657261B1 (ko) 적응적 움직임 보상 보간 방법 및 장치
WO1999067952A1 (en) Method and device for converting number of frames of image signals
JPH11298861A (ja) 画像信号のフレーム数変換方法および装置
WO2006136983A2 (en) Motion estimation
JP2925046B2 (ja) 動画像の動き補償予測方法
JPH07147670A (ja) 画像データの補間装置
JPH10257496A (ja) インターレース動画像の動き補償予測装置
JPH10257497A (ja) インターレース動画像信号の動き補償予測方法及び符号化装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application