KR20040047963A - 움직임 예측 유닛 및 방법 및 이러한 움직임 예측 유닛을구비하는 이미지 처리 장치 - Google Patents

움직임 예측 유닛 및 방법 및 이러한 움직임 예측 유닛을구비하는 이미지 처리 장치 Download PDF

Info

Publication number
KR20040047963A
KR20040047963A KR10-2004-7006106A KR20047006106A KR20040047963A KR 20040047963 A KR20040047963 A KR 20040047963A KR 20047006106 A KR20047006106 A KR 20047006106A KR 20040047963 A KR20040047963 A KR 20040047963A
Authority
KR
South Korea
Prior art keywords
optical flow
pixels
motion vector
block
motion
Prior art date
Application number
KR10-2004-7006106A
Other languages
English (en)
Inventor
그라드 에이. 룬터
안나 펠라고티
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20040047963A publication Critical patent/KR20040047963A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

움직임 예측 유닛(100)은 부가 이미지(120)의 화소들의 부가 블록(122)과 화소들의 블록(116)에 대한 정합 기준으로서 미리 결정된 비용 함수를 최소화함으로써 개시 움직임 벡터(110)를 계산하기 위한 블록 정합기(102)를 포함한다. 움직임 예측 유닛(100)은 개시 움직임 벡터(110)에 기초하여 갱신 움직임 벡터(111)를 계산하고 화소들의 블록(116)의 각각의 화소들에 대응하는 가장 적합한 광학 흐름식들의 세트를 발견하도록 설계된 광학 흐름 분석기(104)를 추가로 포함한다. 이는 화소들의 블록(116)의 화소들에 대한 광학 흐름식들의 구배 벡터들을 분석함으로써 성취된다. 마지막으로, 움직임 예측 유닛(100)의 선택기(106)는 개시 움직임 벡터(110)를 갱신 움직임 벡터(111)와 비교함으로써 움직임 벡터(126)를 선택한다.

Description

움직임 예측 유닛 및 방법 및 이러한 움직임 예측 유닛을 구비하는 이미지 처리 장치{Unit for and method of motion estimation and image processing apparatus provided with such motion estimate unit}
움직임 예측에 있어서, 두 개의 주요 기술들이 일반적으로 구별되는데, 즉 대응-기반 방법들 및 광학 흐름-기반 방법들이다. 전자는 큰 움직임에 적합하다. 광학 흐름-기반 방법들은 작은 움직임에 적합하며, 신속하고 정확하다. 광학 흐름-기반 방법들의 개념은 움직임 벡터를 계산하기 위해 광학 흐름식(OFE)을 사용하는 것이다. OFE는 단순히 휘도(L)가 움직임 궤도를 따라 일정하다는 가설을 설명하는 선형 방정식이다. 일정한 휘도 가설은, 고정된 위치, 및 속도에 대해서,
(1)
로서 기술될 수 있다. t에 대해 미분하면,
(2)
를 얻고, 움직임 벡터로, 또는 달리 기술하면,
(3)
이며, 블록-정합 방법들은 대응-기반 방법들에 속한다.
개시 단락에 설명한 종류의 움직임 예측 유닛의 실시예는 WO99/17256호로부터 공지되어 있다. 이 문헌에서, 인접하는 시공간적 후보들이 블록-순환 정합 프로세스를 위한 입력으로서 사용된다. 게다가, 부가의 갱신 벡터가 블록-순환 정합 프로세스의 가장 양호한 후보에 대하여 테스트된다. 이 갱신 벡터는 현재의 블록에 로컬 화소-순환 프로세스를 적용함으로써 계산되고, 이는 개시 벡터로서 블록-순환 정합 프로세스의 가장 양호한 후보를 사용한다. 화소-순환 프로세스는 광학 흐름식들에 기초한다. 최종 출력 벡터는 화소 순환으로부터의 갱신 벡터와 블록-순환 프로세스로부터의 개시 벡터를 비교하고 가장 양호한 정합을 갖는 하나를 선택함으로써 얻어진다. 종래 기술에 따른 움직임 예측 유닛은 광학 흐름부에 관련하여 두 개의 단점들을 갖는다. 먼저, 화소-순환 체계는 본질적으로 예측 불가능한 메모리 접근을 유도하고, 이는 하드웨어 구현들에 대해 바람직하지 않다. 둘째로, 구경 문제(aperture problem)를 해결하도록 선택된 기술은 방법이 노이즈에 취약성이 있게 한다. 구경 문제를 갖는다는 것은 두 개의 미지수들을 갖는, 즉 수학식 2에서 u 및 v 모두가 미지수인 단일의 광학 흐름식을 풀어야 한다는 것을 의미한다.
본 발명은 이미지의 화소들의 블록에 대응하는 움직임 벡터를 생성하기 위한 움직임 예측 유닛에 관한 것으로서,
- 부가 이미지의 화소들의 부가 블록과 화소들의 블록을 정합하기 위한 정합 기준으로서 미리 결정된 비용 함수를 최소화함으로써 개시 움직임 벡터를 계산하기 위한 블록 정합기;
- 상기 개시 움직임 벡터에 기초하고 화소들의 블록의 제1 화소에 대한 제1 광학 흐름식에 기초하여 갱신 움직임 벡터를 계산하기 위한 광학 흐름 분석기; 및
- 상기 개시 움직임 벡터의 정합 기준의 제1 값과 상기 갱신 움직임 벡터의 정합 기준의 제2 값을 비교함으로써, 개시 움직임 벡터 또는 갱신 움직임 벡터를 움직임 벡터로서 선택하기 위한 선택기를 포함한다.
본 발명은 또한 이미지의 화소들의 블록에 대응하는 움직임 벡터를 생성하는 방법에 관한 것으로서,
- 부가 이미지의 화소들의 부가 블록과 화소들의 블록을 정합하기 위한 정합 기준으로서 미리 결정된 비용 함수를 최소화함으로써 개시 움직임 벡터를 계산하기위한 블록 정합 단계;
- 상기 개시 움직임 벡터에 기초하고 화소들의 블록의 제1 화소에 대한 제1 광학 흐름식에 기초하여 갱신 움직임 벡터를 계산하기 위한 광학 흐름 분석 단계; 및
- 상기 개시 움직임 벡터의 정합 기준의 제1 값과 상기 갱신 움직임 벡터의 정합 기준의 제2 값을 비교함으로써, 개시 움직임 벡터 또는 갱신 움직임 벡터를 움직임 벡터로서 선택하는 단계를 포함한다.
본 발명은 또한 이미지 처리 장치에 관한 것으로서,
- 디스플레이될 이미지들을 표현하는 신호를 수신하기 위한 수신 수단;
- 이러한 움직임 예측 유닛; 및
- 움직임 보상 이미지 처리 유닛을 포함한다.
도 1a는 움직임 예측 유닛의 실시예를 개략적으로 도시하는 도면.
도 1b는 움직임 예측 유닛의 실시예를 더욱 상세하게 개략적으로 도시하는 도면.
도 2는 이미지 처리 장치의 실시예를 개략적으로 도시하는 도면.
본 발명의 제1 목적은 상대적으로 고품질의 움직임 벡터 필드를 예측하도록 설계된, 개시 단락에 설명한 종류의 움직임 예측 유닛을 제공하는 것이다.
본 발명의 제2 목적은 상대적으로 고품질의 움직임 벡터 필드를 예측하기 위한, 개시 단락에 설명된 종류의 움직임 예측 방법을 제공하는 것이다.
본 발명의 제3 목적은 상대적으로 고품질의 움직임 벡터 필드에 기초하여 움직임 보상 이미지 처리를 수행하도록 설계된, 개시 단락에 설명된 종류의 이미지 처리 장치를 제공하는 것이다.
본 발명의 제1 목적은, 광학 흐름 분석기가 제1 광학 흐름식의 제1 구배 벡터 및 제2 광학 흐름식의 제2 구배 벡터에 기초하는 선택에 의해, 각각 제1 광학 흐름식 및 제2 광학 흐름식을 포함하는 식들의 세트를 풀도록 화소들의 블록으로부터 제1 화소 및 제2 화소를 선택하도록 설계되는 것에 의해 성취된다. 종래 기술에 따른 및 본 발명에 따른 움직임 예측 유닛들 사이의 주요 차이점은, 본 발명에 따른 움직임 예측 유닛의 광학 흐름 분석기가 순환성이 아니라 블록 기반이라는 점이다. 종래 기술에 따른 움직임 예측 유닛에서, 화소들의 블록의 각각의 화소에 대응하는 광학 흐름식의 해답은 개별적으로 예측되어 다음 화소에 대응하는 광학 흐름식의 해답을 예측하는데 사용된다. 본 발명에 따른 움직임 예측 유닛에서, 가장 적합한 광학 흐름식들과 관련된 화소들이 탐색되고 사용된다. 이 사상은에 대한 가장 신뢰적인 해답을 초래하는 세트에 대한 이들 광학 흐름식들을 선택하는 것이다. 통상적으로, 두 개의 광학 흐름식들이 요구된다. 이는, 열화 상황들을 제외하고는에 대한 유일한 해답을 제공할 것이다. 화소들을 적합하게 선택함으로써, 노이즈의 효과들이 억제된다. 결과는 상대적으로 정확한 움직임 벡터 필드이다. 이는 예를 들면 적은 잔류 이미지 데이터 때문에 코딩 적용들에 대한 이점들을 갖는다. 고품질 움직임 벡터 필드로부터 이익을 얻는 다른 적용은 움직임 벡터 필드의 서브 화소 정확도가 중대한 바와 같은 디인터레이싱(de-interlacing)이다. 다른 장점은 양호한 후보들이 움직임 보상 유닛을 안정화하여, 잘못된 움직임 벡터 후보, 즉 실제 움직임에 대응하지 않고 잘못하여 낮은 정합 에러를 나타내는 것이 선택되는 가능성을 적게 한다.
광학 흐름식들을 풀기 위한 일반적인 접근은 구경 문제를 극복하기 위해 평활도 제약(smoothness constraint)을 부가하는 것이다. 이 접근의 예는 호온(Horn) 및 셩크(Schunk)의 논문 "광학 흐름 결정", 인공 지능 1981, vol. 17, 페이지 185 내지 203에 개시되어 있다. 평활도 제약 항은 비선형적이고, 식들을 풀기 위한 반복적인 프로세스를 필요로 하며, 이는 본 발명에 따른 방법보다 더 복잡하다.
본 발명에 따른 움직임 예측 유닛의 실시예에서, 광학 흐름 분석기는,
- 제1 구배 벡터 및 제2 구배 벡터를 포함하는 특정 쌍에 대응하는 특정 외적값을 갖는, 화소들의 블록의 다수의 화소들에 대한 광학 흐름식들의 구배 벡터들의 쌍들의 외적값들을 계산하고;
- 특정 외적값이 외적값들과 비교하여 상대적으로 크면 제1 화소 및 제2 화소를 선택하도록 설계된다.
해답의 신뢰성은 포함된 구배 벡터들의 길이 및 이들 사이의 각도에 의존한다. 이들이 짧거나 또는 거의 평행한 경우, 노이즈의 영향은 증폭된다. 길이 및 평행도 모두는 2D 벡터들에서 스칼라인 외적에 의해 측정된다. 이하의 표기가 도입된다:
- 화소들의 블록 내의 화소들은 단일 인덱스 i 또는 j로 색인된다.
-;
- Li는 인덱스 i를 갖는 블록 내의 화소의 휘도값;
- Xi는 해당 화소에서의 L의 x-도함수;
- Yi는 해당 화소에서의 L의 y-도함수;
- Ti는 해당 화소에서의 L의 t-도함수;
- gi:=(Xi, Yi)는 픽셀 i에 대응하는 구배 벡터.
제1 구배 벡터(gi)와 제2 구배 벡터(gj) 사이의 외적은:
(4)
양호한 신뢰성은 절대 외적값 gi×gj이 상대적으로 큰 구배 벡터들의 쌍을 발견함으로써 성취될 수 있다.
본 발명에 따른 움직임 예측 유닛의 실시예에서, 광학 흐름 분석기는 제1 화소 및 제2 화소를 선택하기 위해 화소들의 블록의 화소들에 대한 광학 흐름식들의 구배 벡터들의 모든 가능한 쌍들에 대한 외적값들을 계산하도록 선택된다. 상기 실시예는 외적값을 실제로 최대화하는 구배 벡터들의 쌍을 발견하기 위해 가장 직설적인 접근을 취하도록 전개된다. 장점은 이것이 최대 가능하게 가장 양호한 결과를 제공한다는 것이다. 그러나, 이 직설적인 접근의 시간 복잡성은 구배 벡터들의 수의 2차 함수이다. 예를 들면, 8×8의 크기들을 갖는 화소들의 블록에 대해 2000 연산들의 차수를 필요로 한다.
본 발명에 따른 움직임 예측 유닛의 다른 실시예에서, 광학 흐름 분석기는,
- 제1 구배 벡터에 관한 특정 길이값을 갖는, 화소들의 블록의 화소들의 수에 대한 광학 흐름식들의 구배 벡터들의 길이값들을 계산하고;
- 특정 길이값이 길이값들과 비교할 때 상대적으로 크면 제1 화소를 선택하도록 설계된다.
먼저, 상대적으로 긴 구배 벡터가 유클리드 노옴(Euclidean norm)에 따라 구배 벡터들 중에서 선택된다. 바람직하게는, 최장 구배 벡터가 선택된다. 다음, 긴 구배 벡터를 갖는 외적값을 최대화하는 제2 구배 벡터가 선택된다. 본 발명에 따른 이 광학 흐름 분석기는 각각의 구배 벡터를 단 2회만 고려하고, 따라서 선형적 시간으로 작동한다. 최종 외적값은 많아야 인수 2만큼 실제 최대값에 부족한 것으로 나타날 수 있다.
본 발명에 따른 움직임 예측 유닛의 다른 실시예에서, 광학 흐름 분석기는,
- 화소들의 블록의 3개의 화소들에 대한 광학 흐름식들의 3개의 구배 벡터들로부터의 3개의 쌍들의 3개의 외적값들을 반복적으로 계산하고;
- 화소들의 블록의 3개의 화소들에 대한 광학 흐름식들의 3개의 구배 벡터들 중 두 개가 최대 외적값을 형성하는 것을 결정하도록 3개의 외적값들을 반복적으로 비교하고;
- 3개의 구배 벡터들 중 두 개 및 존재한다면 부가의 구배 벡터를 포함하는 구배 벡터들의 새로운 쌍들을 반복적으로 생성하고;
- 3개의 구배 벡터들 중 두 개의 대응하는 제1 화소 및 제2 화소를 선택하도록 설계된다.
두 개의 "현재" 구배 벡터들은 메모리 내에, 예를 들면 gA및 gB로 유지된다. 이들은 g1및 g2로 초기화될 수 있다. 모든 새로운 벡터 gk에 대해서, 3개의 다음의 외적값, 절대값으로: gA×gB, gk×gB, gA×gk중 어느 것이 최대인지가 결정된다. 다음, 쌍(gA,gB)은 최대 외적값에 대응하는 쌍으로 대체된다. 달리 말하면, 3개의 구배 벡터들의 반복적인 그룹들이 외적값들을 계산하도록 취해진다. 이러한 그룹으로부터 하나의 구배 벡터가 외적값들에 기초하여 새로운 구배 벡터로 대체될 것이다. 본 발명에 따른 이 광학 흐름 분석기에 의해 수행된 알고리즘도 또한 선형적이지만 광학 흐름 분석기는 구배 벡터들로의 단지 단일의 접근만을 필요로 한다. 그러나, 발견된 외적의 값이 실제 최대 가능한 값의 상수 인수 내에 있을 것이라는 보장은 없다.
본 발명에 따른 움직임 예측 유닛의 실시예에서, 블록 정합기는 순환성이다. 상대적으로 양호한 움직임 예측 유닛은 지. 데 하안(G. de Haan) 등에 의한 논문 "3-D 순환성 탐색 블록 정합에 의한 실제 움직임 예측", 비디오 기술을 위한 회로들 및 시스템들 상의 IEEE 트랜잭션들, vol 3, no. 5, 1993년 10월, 페이지 368 내지 379로부터 공지되어 있다. 이 3DRS 블록 정합기는 원리적으로는 최대 1/4 화소들까지 정확하다. 이 정확도는 예를 들면 카메라 팬에서의 병진 움직임을 갖는 큰 질감화된 영역들에서 실제로 성취될 수 있다. 그러나, 더 작은 영역들 또는 예를 들면 주밍과 같은 더 복잡한 움직임을 갖는 영역들에서 이 정확도에 도달하기 위해, 3DRS 정합기는 다수의 갱신 후보들을 선택해야 하고, 이는 일반적으로 공간 일관성의 열화를 초래하기 때문에 바람직하지 않다. 이로 인해, 갱신 후보들은 페널티들에 의해 억제된다. 이는 공간적 및 시간적으로 안정한 벡터 필드를 유도할 뿐만 아니라, 준-최적 정확도를 유도한다. 본 발명에 따른 상기 실시예는 블록 정합 방법 및 광학 흐름 기반 방법 모두의 양호한 양태들을 조합한다. 이 사상은 블록 정합기가 중간 정확도까지의 개시 벡터 필드를 발견하는데 사용된다는 것이다. 잔류 움직임 벡터는 광학 흐름 방법이 광학 흐름 분석기에 의해 적용될 수 있게 하는데 충분하게 작다. 종래 기술에 따른 3DRS 블록 정합기와 비교할 때, 움직임의 트래킹이 주로 광학 흐름 분석기에 의해 수행되기 때문에 더 적은 수의 갱신 후보들이 고려되어야 한다. 이는 움직임 예측 유닛의 효율을 향상시킨다.
이미지 처리 장치의 변형들 및 이의 변경들이 상술된 움직임 예측 유닛의 변형들 및 이의 변경들에 대응할 수도 있다. 이미지 처리 장치는 예를 들면, 이미지들을 표현하는 신호를 수신하기 위한 수신 수단 및 처리된 이미지들을 디스플레이하기 위한 디스플레이 디바이스와 같은 부가의 부품들을 포함할 수도 있다. 움직임 보상 이미지 처리 유닛은 이하의 유형들의 이미지 처리 중 하나 이상을 지원할 수도 있다:
- 디인터레이싱: 인터레이싱은 홀수 또는 짝수의 이미지 라인들을 교번적으로 전송하기 위한 통상의 비디오 방송 절차이다. 디인터레이싱은 완전 수직 해상도를 복원하도록, 즉 각각의 이미지에 동시적으로 이용 가능한 홀수 및 짝수 라인들을 형성하도록 시도한다;
- 업컨버전(upconversion): 원래 입력 이미지들의 시리즈로부터, 입력 이미지들의 더 큰 시리즈가 계산된다. 출력 이미지들은 두 개의 원래 입력 이미지들 사이에 시간적으로 위치된다;
- 시간적 노이즈 감소. 이는 또한 공간적 처리를 포함하여, 공간-시간적 노이즈 감소를 초래할 수 있다.
본 발명에 따른 이미지 처리 장치의 움직임 예측 유닛 및 방법의 상기 및 다른 양태들은 첨부 도면들을 참조하여 이하에 설명되는 구현들 및 실시예들로부터 명백해지고 명료해질 것이다.
대응하는 도면 부호들은 모든 도면들에서 동일한 의미를 갖는다.
도 1a는 본 발명에 따른 움직임 예측 유닛(100)의 실시예를 개략적으로 도시한다. 움직임 예측 유닛(100)은 이미지(118)의 화소들의 블록(116)에 대응하는 움직임 벡터(126)를 생성하도록 설계된다. 하나의 이미지의 모든 움직임 벡터들은 움직임 벡터 필드(124)라 칭한다. 움직임 예측 유닛(100)은,
- 부가의 이미지(120)의 화소들의 부가의 블록(122)과 화소들의 블록(116)을 정합하기 위한 정합 기준으로서 기능하는 미리 결정된 비용을 최소화함으로써 개시 움직임 벡터(110)를 계산하기 위한 블록 정합기(102);
- 상기 개시 움직임 벡터(110)에 기초하여 갱신 움직임 벡터(111)를 계산하고, 제1 광학 흐름식의 제1 구배 벡터 및 제2 광학 흐름식의 제2 구배 벡터에 기초하는 선택에 의해, 각각의 제1 광학 흐름식 및 제2 광학 흐름식을 포함하는 식들의 세트를 풀도록 화소들의 블록(116)으로부터 제1 화소 및 제2 화소를 선택하도록 설계되는 광학 흐름 분석기(104); 및
- 상기 개시 움직임 벡터(110)의 정합 기준의 제1 값과 상기 갱신 움직임 벡터(111)의 정합 기준의 제2 값을 비교함으로써, 개시 움직임 벡터(110) 또는 갱신 움직임 벡터(111)를 움직임 벡터(126)로서 선택하기 위한 선택기(106)를 포함한다.
움직임 예측 유닛(100)은 이미지들을 포함하고 입력 커넥터(112)에 제공된다. 움직임 예측 유닛(100)의 출력은 움직임 벡터 필드들(예를 들면, 124)이고 출력 커넥터(114)에 제공된다.
도 1b는 도 1a와 관련하여 설명된 움직임 예측 유닛의 실시예를 더욱 상세하게 개략적으로 도시한다. 블록 정합기(102)의 거동은 이하와 같다. 먼저, 생성 수단(202)이 후보 움직임 벡터들의 세트를 화소들의 블록(116)에 대해 생성한다. 다음, 블록 정합 에러 계산기(206)가 이들 후보 움직임 벡터들에 대해 정합 에러들을 계산한다. 다음, 선택기(204)가 이들 정합 에러들에 기초하여 후보 움직임 벡터들의 세트로부터 개시 움직임 벡터(110)를 선택한다. 이 개시 움직임 벡터(110)는 그 정합 에러가 최저값을 갖기 때문에 선택된다. 블록 정합 에러 계산기(206)에 의해 계산되는 정합 에러는, 이미지(118)의 화소들의 블록(116) 내의 화소들과 후보 움직임 벡터에 의해 시프트된 화소들의 블록(116)에 대응하는 다음 이미지(120)의 부가의 블록(122)의 화소들의 절대 휘도 차이들의 합인 SAD에 대응한다.
광학 흐름 분석기(104)의 거동은 이하와 같다. 구배 연산기(208, 210, 212)는 x-, y- 및 시간 방향에서의 휘도 구배들을 각각 계산한다. 통상적으로 화소들의 블록의 모든 화소들의 구배들이 계산된다. 광학 흐름식들이 화소들의 블록의 단지 일부에만 사용되는 경우에, 더 적은 구배들이 계산되어야 한다. 구배 벡터들은 가장 적합한 화소들 및 대응하는 광학 흐름식들을 발견하도록 구배 분석기(214)에 의해 분석된다. 결과는 수학식 2에 따른 광학 흐름식들의 두 개의 인스턴스들의 세트이다. 식들의 세트는 수학식 5에 제공된다. 이 경우 인덱스들 i 및 j는 가장 적합한 광학 흐름식들을 지시한다는 것을 주목하라.
(5)
수학식 4를 풀면 갱신 움직임 벡터(111)가 산출된다.
마지막으로, 두 개의 움직임 벡터들, 즉 블록 정합기(102)에 의해 계산되는 개시 움직임 벡터(110) 및 광학 흐름 분석기(104)에 의해 계산되는 갱신 움직임 벡터(11)가 움직임 벡터(126)를 선택하도록 선택기(106)에 의해 분석된다. 이를 성취하기 위해, 블록 정합 에러 계산기(216)는 예를 들면 절대 차이들의 합에 기초하여 양 움직임 벡터들에 대해 정합 에러들을 계산한다. 다음, 선택기(218)가 이들 정합 에러들에 기초하여 움직임 벡터(126)를 선택한다. 선택된 움직임 벡터(126)는 다른 블록들을 위한 가능한 움직임 벡터 후보이다. 따라서, 선택된 움직임 벡터(126)는 블록 정합기(102)의 생성 수단(202)에 제공된다.
구배 분석기(214)는 가장 적합한 광학 흐름식들을 탐색하기 위해 이하의 접근들을 취하도록 전개된다:
- 화소들의 블록(116)의 화소들의 수에 대한 광학 흐름식의 구배 벡터들의 모든 가능한 쌍들에 대해 외적값들이 계산된다. 최대 외적값을 갖는 쌍은 가장 적합한 광학 흐름식들에 대응한다.
- 먼저, 최장의 구배 벡터가 유클리드 노옴에 따라 구배 벡터들 중에 선택된다. 다음, 긴 구배 벡터를 갖는 외적값을 최대화하는 제2 구배 벡터가 선택된다.
- 3개의 구배 벡터들의 반복적인 그룹들이 외적값들을 계산하기 위해 취해진다. 이러한 그룹으로부터 하나의 구배 벡터가 외적값들에 기초하여 새로운 구배 벡터로 대체될 수도 있다. 이는 최대 외적값을 갖는 쌍의 부분이 아닌 구배 벡터가 새로운 구배 벡터로 대체된다는 것을 의미한다. 제어 인터페이스(220)를 경유하여 이들 접근들 중 하나가 선택될 수 있다.
도 2는 이미지 처리 장치(200)의 요소들을 개략적으로 도시하며, 이 이미지 처리 장치는,
- 소정 처리가 수행된 후에 디스플레이될 이미지들을 표현하는 신호를 수신하기 위한 수신 수단(201); 상기 신호는 안테나 또는 케이블을 경유하여 수신된 방송 신호일 수도 있거나 또는 VCR(비디오 카세트 레코더) 또는 디지털 다기능 디스크(DVD)와 같은 저장 디바이스로부터의 신호일 수도 있다. 이 신호는 입력 커넥터(207)에 제공된다.
- 도 1a 및 도 1b와 관련하여 설명된 바와 같은 움직임 예측 유닛(100);
- 움직임 보상 이미지 처리 유닛(203); 및
- 처리된 이미지들을 디스플레이하기 위한 디스플레이 디바이스(205)를 포함한다. 이 디스플레이 디바이스는 선택적이다.
움직임 보상 이미지 처리 유닛(203)은 그 입력으로서 움직임 벡터들 및 이미지들을 필요로 한다.
상술한 실시예들은 본 발명을 한정하기보다는 예시하는 것이고 당 기술 분야의 숙련자들은 첨부된 청구범위의 범주로부터 일탈하지 않는 대안적인 실시예들을 설계할 수도 있다는 것을 주목해야 한다. 청구범위에서, 괄호들 사이에 배치된 임의의 도면 부호들은 청구항을 한정하는 것으로서 해석되어서는 안된다. 용어 '포함하는'은 청구항에 열거되지 않은 다른 요소들 또는 단계들의 존재를 배제하는 것은 아니다. 요소들에 선행하는 "단수 관사(a, an)"는 복수의 이러한 요소들의 존재를 배제하는 것은 아니다. 본 발명은 다수의 개별 소자들을 포함하는 하드웨어에 의해 및 적합한 프로그램된 컴퓨터에 의해 구현될 수 있다. 다수의 수단들을 열거하는 유닛 청구항들에서, 이들 수단의 다수는 하드웨어의 하나 및 동일 아이템에 의해 실시될 수 있다. 블록 정합 에러 계산기들(216, 206)의 기능들은 유사하다는 것을 주목하라. 선택적으로, 이들 중 하나가 양 작업들을 수행할 수 있다. 동일한 개념이 선택기들(204, 218)에도 적용된다.

Claims (11)

  1. 이미지(118)의 화소들의 블록(116)에 대응하는 움직임 벡터(126)를 생성하기 위한 움직임 예측 유닛(100)으로서,
    - 부가 이미지(120)의 화소들의 부가 블록(122)과 상기 화소들의 블록(116)을 정합하기 위한 정합 기준으로서 미리 결정된 비용 함수를 최소화함으로써 개시 움직임 벡터(110)를 계산하기 위한 블록 정합기(102);
    - 상기 개시 움직임 벡터(110)에 기초하고 상기 화소들의 블록(116)의 제1 화소에 대한 제1 광학 흐름식에 기초하여 갱신 움직임 벡터(111)를 계산하기 위한 광학 흐름 분석기(104); 및
    - 상기 개시 움직임 벡터(110)의 정합 기준의 제1 값과 상기 갱신 움직임 벡터(111)의 정합 기준의 제2 값을 비교함으로써, 상기 개시 움직임 벡터(110) 또는 상기 갱신 움직임 벡터(111)를 상기 움직임 벡터(126)로서 선택하기 위한 선택기(106)를 포함하는 움직임 예측 유닛에 있어서,
    상기 광학 흐름 분석기(104)는, 상기 제1 광학 흐름식의 제1 구배 벡터 및 제2 광학 흐름식의 제2 구배 벡터에 기초하는 선택에 의해, 각각 제1 광학 흐름식 및 제2 광학 흐름식을 포함하는 식들의 세트를 풀도록 상기 화소들의 블록(116)으로부터 제1 화소 및 제2 화소를 선택하도록 설계되는 것을 특징으로 하는, 움직임 예측 유닛.
  2. 제1 항에 있어서, 상기 광학 흐름 분석기(104)는,
    - 상기 제1 구배 벡터 및 상기 제2 구배 벡터를 포함하는 특정 쌍에 대응하는 특정 외적값을 갖는, 상기 화소들의 블록(116)의 다수의 화소들에 대한 광학 흐름식들의 구배 벡터들의 쌍들의 외적값들을 계산하고;
    - 상기 특정 외적값이 상기 외적값들과 비교하여 상대적으로 크면 상기 제1 화소 및 상기 제2 화소를 선택하도록 설계되는 것을 특징으로 하는, 움직임 예측 유닛.
  3. 제2 항에 있어서, 상기 광학 흐름 분석기(104)는 상기 제1 화소 및 상기 제2 화소를 선택하기 위해 상기 화소들의 블록(116)의 화소들에 대한 광학 흐름식들의 구배 벡터들의 모든 가능한 쌍들에 대해 외적값들을 계산하도록 설계되는 것을 특징으로 하는, 움직임 예측 유닛.
  4. 제2 항에 있어서, 상기 광학 흐름 분석기(104)는,
    - 상기 제1 구배 벡터에 관한 특정 길이값을 갖는, 상기 화소들의 블록(116)의 화소들의 수에 대한 상기 광학 흐름식들의 구배 벡터들의 길이값들을 계산하고;
    - 상기 특정 길이값이 상기 길이값들과 비교할 때 상대적으로 크면 상기 제1 화소를 선택하도록 설계되는 것을 특징으로 하는, 움직임 예측 유닛.
  5. 제2 항에 있어서, 상기 광학 흐름 분석기(104)는,
    - 상기 화소들의 블록(116)의 3개의 화소들에 대한 광학 흐름식들의 3개의 구배 벡터들로부터의 3개의 쌍들의 3개의 외적값들을 반복적으로 계산하고;
    - 상기 화소들의 블록(116)의 3개의 화소들에 대한 광학 흐름식들의 3개의 구배 벡터들 중 두 개가 최대 외적값을 형성하는 것을 결정하도록 상기 3개의 외적값들을 반복적으로 비교하고;
    - 상기 3개의 구배 벡터들 중 두 개 및 존재한다면 부가의 구배 벡터를 포함하는 구배 벡터들의 새로운 쌍들을 반복적으로 생성하고;
    - 상기 3개의 구배 벡터들 중 두 개의 대응하는 제1 화소 및 제2 화소를 선택하도록 설계되는 것을 특징으로 하는, 움직임 예측 유닛.
  6. 제1 항에 있어서, 상기 블록 정합기(102)는 순환성인 것을 특징으로 하는, 움직임 예측 유닛.
  7. 이미지(118)의 화소들의 블록(116)에 대응하는 움직임 벡터(126)를 생성하는 방법에 있어서,
    - 부가 이미지(120)의 화소들의 부가 블록(122)과 상기 화소들의 블록(116)을 정합하기 위한 정합 기준으로서 미리 결정된 비용 함수를 최소화함으로써 개시 움직임 벡터(110)를 계산하기 위한 블록 정합 단계;
    - 상기 개시 움직임 벡터(110)에 기초하고 상기 화소들의 블록(116)의 제1 화소에 대한 제1 광학 흐름식에 기초하여 갱신 움직임 벡터(111)를 계산하기 위한광학 흐름 분석 단계; 및
    - 상기 개시 움직임 벡터(110)의 정합 기준의 제1 값과 상기 갱신 움직임 벡터(111)의 정합 기준의 제2 값을 비교함으로써, 상기 개시 움직임 벡터(110) 또는 상기 갱신 움직임 벡터(111)를 상기 움직임 벡터(126)로서 선택하는 단계를 포함하는 움직임 벡터 생성 방법에 있어서,
    상기 광학 흐름 분석 단계에서, 상기 제1 광학 흐름식의 제1 구배 벡터 및 제2 광학 흐름식의 제2 구배 벡터에 기초하는 선택에 의해, 각각 제1 광학 흐름식 및 제2 광학 흐름식을 포함하는 식들의 세트를 풀도록 상기 화소들의 블록(116)으로부터 제1 화소 및 제2 화소가 선택되는 것을 특징으로 하는, 움직임 벡터 생성 방법.
  8. 이미지 처리 장치(200)로서:
    - 디스플레이될 이미지(118)를 표현하는 신호를 수신하기 위한 수신 수단(201);
    - 상기 이미지(118)의 화소들의 블록(116)에 대응하는 움직임 벡터(126)를 생성하기 위한 움직임 예측 유닛(100); 및
    - 움직임 보상 이미지 처리 유닛(203)을 포함하고,
    상기 움직임 예측 유닛(100)은,
    * 부가 이미지(120)의 화소들의 부가 블록(122)과 상기 화소들의 블록(116)을 정합하기 위한 정합 기준으로서 미리 결정된 비용 함수를 최소화함으로써 개시움직임 벡터(110)를 계산하기 위한 블록 정합기(102);
    * 상기 개시 움직임 벡터(110)에 기초하고 상기 화소들의 블록(116)의 제1 화소에 대한 제1 광학 흐름식에 기초하여 갱신 움직임 벡터(111)를 계산하기 위한 광학 흐름 분석기(104); 및
    * 상기 개시 움직임 벡터(110)의 정합 기준의 제1 값과 상기 갱신 움직임 벡터(111)의 정합 기준의 제2 값을 비교함으로써, 상기 개시 움직임 벡터(110) 또는 상기 갱신 움직임 벡터(111)를 상기 움직임 벡터(126)로서 선택하기 위한 선택기(106)를 포함하는, 이미지 처리 장치(200)에 있어서,
    상기 광학 흐름 분석기(104)는, 상기 제1 광학 흐름식의 제1 구배 벡터 및 제2 광학 흐름식의 제2 구배 벡터에 기초하는 선택에 의해, 각각 제1 광학 흐름식 및 제2 광학 흐름식을 포함하는 식들의 세트를 풀도록 상기 화소들의 블록(116)으로부터 제1 화소 및 제2 화소를 선택하도록 설계되는 것을 특징으로 하는, 이미지 처리 장치.
  9. 제8 항에 있어서, 상기 움직임 보상 이미지 처리 유닛(203)은 상기 이미지(118) 내의 노이즈를 감소시키도록 설계되는 것을 특징으로 하는, 이미지 처리 장치.
  10. 제8 항에 있어서, 상기 움직임 보상 이미지 처리 유닛(203)은 상기 이미지(118)를 디인터레이싱(de-interlace)하도록 설계되는 것을 특징으로 하는,이미지 처리 장치.
  11. 제8 항에 있어서, 상기 움직임 보상 이미지 처리 유닛(203)은 업컨버전(up-conversion)을 수행하도록 설계되는 것을 특징으로 하는, 이미지 처리 장치.
KR10-2004-7006106A 2001-10-25 2002-10-14 움직임 예측 유닛 및 방법 및 이러한 움직임 예측 유닛을구비하는 이미지 처리 장치 KR20040047963A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP01204086.1 2001-10-25
EP01204086 2001-10-25
PCT/IB2002/004225 WO2003036334A2 (en) 2001-10-25 2002-10-14 Method and apparatus for motion estimation

Publications (1)

Publication Number Publication Date
KR20040047963A true KR20040047963A (ko) 2004-06-05

Family

ID=8181144

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2004-7006106A KR20040047963A (ko) 2001-10-25 2002-10-14 움직임 예측 유닛 및 방법 및 이러한 움직임 예측 유닛을구비하는 이미지 처리 장치

Country Status (6)

Country Link
US (1) US6925124B2 (ko)
EP (1) EP1442428A2 (ko)
JP (1) JP2005506626A (ko)
KR (1) KR20040047963A (ko)
CN (1) CN1575479A (ko)
WO (1) WO2003036334A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100801532B1 (ko) * 2006-08-22 2008-02-12 한양대학교 산학협력단 Ｈ．２６４／ａｖｃ 비디오 표준에서의 옵티컬플로워를이용한 시방향 에러 은닉 방법

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1440581B1 (en) * 2001-07-10 2014-10-08 Entropic Communications, Inc. Unit for and method of motion estimation, and image processing apparatus provided with such motion estimation unit
JP2005505841A (ja) * 2001-10-08 2005-02-24 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 動き推定のための装置及び方法
KR100995398B1 (ko) * 2004-01-20 2010-11-19 삼성전자주식회사 수직 및 수평 방향의 패턴을 고려한 전역 움직임 보상순차주사화 방법
US7697783B2 (en) * 2005-07-26 2010-04-13 Sony Corporation Coding device, coding method, decoding device, decoding method, and programs of same
US20070171987A1 (en) * 2006-01-20 2007-07-26 Nokia Corporation Method for optical flow field estimation using adaptive Filting
US20080018788A1 (en) * 2006-07-20 2008-01-24 Samsung Electronics Co., Ltd. Methods and systems of deinterlacing using super resolution technology
US7982800B2 (en) * 2007-02-02 2011-07-19 Freescale Semiconductor, Inc. Video de-interlacer using motion residue compensation
WO2008140656A2 (en) * 2007-04-03 2008-11-20 Gary Demos Flowfield motion compensation for video compression
US8605786B2 (en) * 2007-09-04 2013-12-10 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
KR100955044B1 (ko) * 2008-07-11 2010-04-28 포항공과대학교 산학협력단 서브 픽셀 해상도의 옵티컬 플로우 추정 장치 및 방법
US20110013852A1 (en) * 2009-07-17 2011-01-20 Himax Technologies Limited Approach for determining motion vector in frame rate up conversion
KR101451286B1 (ko) * 2010-02-23 2014-10-17 니폰덴신뎅와 가부시키가이샤 움직임 벡터 추정 방법, 다시점 영상 부호화 방법, 다시점 영상 복호 방법, 움직임 벡터 추정 장치, 다시점 영상 부호화 장치, 다시점 영상 복호 장치, 움직임 벡터 추정 프로그램, 다시점 영상 부호화 프로그램 및 다시점 영상 복호 프로그램
KR101374812B1 (ko) * 2010-02-24 2014-03-18 니폰덴신뎅와 가부시키가이샤 다시점 영상 부호화 방법, 다시점 영상 복호 방법, 다시점 영상 부호화 장치, 다시점 영상 복호 장치 및 프로그램
US9350970B2 (en) * 2012-12-14 2016-05-24 Qualcomm Incorporated Disparity vector derivation
US10515455B2 (en) * 2016-09-29 2019-12-24 The Regents Of The University Of Michigan Optical flow measurement
JP6854629B2 (ja) * 2016-11-24 2021-04-07 キヤノン株式会社 画像処理装置、画像処理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2231225B (en) * 1989-04-27 1993-10-20 Sony Corp Motion dependent video signal processing
US5471252A (en) * 1993-11-03 1995-11-28 Matsushita Electric Industrial Corporation Of America Method and apparatus for estimating motion vector fields by rejecting local outliers
IT1261398B (it) * 1993-12-23 1996-05-20 Fiat Ricerche Dispositivo per l'iniezione di corrente a radiofrequenza su cablaggi elettrici
JPH08206117A (ja) * 1994-05-27 1996-08-13 Fujitsu Ltd 超音波診断装置
US5496041A (en) * 1994-12-09 1996-03-05 Broussard; Hartwell N. Arrow penetration brake and stop assembly
DE19744134A1 (de) * 1997-09-29 1999-04-01 Hertz Inst Heinrich Verfahren zur Bestimmung von Blockvektoren für die Bewegungsschätzung
US6330353B1 (en) * 1997-12-18 2001-12-11 Siemens Corporate Research, Inc. Method of localization refinement of pattern images using optical flow constraints
EP1104197A3 (en) * 1999-11-23 2003-06-04 Texas Instruments Incorporated Motion compensation
US6744933B2 (en) * 2001-01-18 2004-06-01 Siemens Corporate Research, Inc. Method for image alignment under non-uniform illumination variations

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100801532B1 (ko) * 2006-08-22 2008-02-12 한양대학교 산학협력단 Ｈ．２６４／ａｖｃ 비디오 표준에서의 옵티컬플로워를이용한 시방향 에러 은닉 방법

Also Published As

Publication number Publication date
JP2005506626A (ja) 2005-03-03
US6925124B2 (en) 2005-08-02
US20030086499A1 (en) 2003-05-08
WO2003036334A2 (en) 2003-05-01
EP1442428A2 (en) 2004-08-04
WO2003036334A3 (en) 2003-10-09
CN1575479A (zh) 2005-02-02

Similar Documents

Publication Publication Date Title
JP5877469B2 (ja) 動き推定システムにおいてモーメント及び加速度ベクトルを使用するオブジェクト追跡
US7929609B2 (en) Motion estimation and/or compensation
KR20040047963A (ko) 움직임 예측 유닛 및 방법 및 이러한 움직임 예측 유닛을구비하는 이미지 처리 장치
JP2005505841A (ja) 動き推定のための装置及び方法
JP2004534336A (ja) 動きまたは奥行き推定方法及び推定ユニット、並びにこのような動き推定ユニットを備える画像処理装置
US20060045365A1 (en) Image processing unit with fall-back
KR20050089886A (ko) 배경 움직임 벡터 검출
US20050180506A1 (en) Unit for and method of estimating a current motion vector
US20050226462A1 (en) Unit for and method of estimating a motion vector
EP1472881B1 (en) Unit for and method of estimating a current motion vector
KR100857731B1 (ko) 움직임 추정을 용이하게 하는 방법 및 장치
US20060098886A1 (en) Efficient predictive image parameter estimation
Kim et al. Adaptive motion estimation based on spatio-temporal correlation
KR20060103430A (ko) 작고 고속으로 움직이는 오브젝트들을 추적하기 위한움직임 벡터 필드들 정제 방법
EP1420595B1 (en) Motion vector selection in a video motion estimator based on a preferred reference point
JP2007503656A (ja) エッジ方向の推定
Ilinu et al. VOTING-BASED MOTION ESTIMATION.
JP2988836B2 (ja) 動きベクトル探索方法
JP3115511B2 (ja) 動きベクトル探索装置
Dedeoğlu A Hardware implementation of true-motion estimation with 3-D recursive search block matching algorithm
JP2006529039A (ja) エッジ方向の推定

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid