KR20050097936A - 효과적인 예측 이미지 파라미터 추정 - Google Patents

효과적인 예측 이미지 파라미터 추정 Download PDF

Info

Publication number
KR20050097936A
KR20050097936A KR1020057012776A KR20057012776A KR20050097936A KR 20050097936 A KR20050097936 A KR 20050097936A KR 1020057012776 A KR1020057012776 A KR 1020057012776A KR 20057012776 A KR20057012776 A KR 20057012776A KR 20050097936 A KR20050097936 A KR 20050097936A
Authority
KR
South Korea
Prior art keywords
vectors
candidate vectors
candidate
vector
criterion
Prior art date
Application number
KR1020057012776A
Other languages
English (en)
Inventor
제라드 디 하안
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20050097936A publication Critical patent/KR20050097936A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 이미지 시퀀스로부터 취해진 적어도 하나의 화상으로부터 로컬 벡터들을 귀납적으로 추정하는 방법에 관한 것이다. 정확도를 저하시키지 않고 추정 방법의 계산적 복잡도를 감소시키도록, 적어도 부분적으로 귀납(recursion)을 사용하여 제1 세트의 후보 벡터들을 발생시키는 단계; 보다 적은 제2 세트의 후보 벡터들을 형성하도록 제1 기준에 따라 제1 세트의 후보 벡터들로부터 후보 벡터들을 선택하는 단계; 제2 기준에 기초하여 화소 그룹에 대해 제2 세트의 후보 벡터들 중 후보 벡터들을 평가하는 단계; 상기 제2 기준에 따라 제2 세트의 후보 벡터들로부터 최상의 벡터들을 결정하는 단계; 및 제2 세트의 후보 벡터들 중 후보 벡터들이 평가되었던 화소 그룹과 관련된 화소 그룹에 상기 결정된 최상의 벡터들을 할당하는 단계를 포함하는 방법이 제안된다. 본 발명은 또한 이미지 시퀀스로부터 취해진 적어도 하나의 화상으로부터 로컬 벡터들을 귀납적으로 추정하는 장치와, 이미지 시퀀스로부터 취해진 적어도 하나의 화상으로부터 로컬 벡터들을 귀납적으로 추정하는 소프트웨어 코드부들을 포함하는 컴퓨터 프로그램 제품에 관한 것이다.

Description

효과적인 예측 이미지 파라미터 추정{Efficient predictive image parameter estimation}
본 발명은 이미지 시퀀스로부터 취해진 적어도 하나의 화상으로부터 로컬 벡터들을 귀납적(recursively)으로 추정하는 방법에 있어서, 적어도 부분적으로 귀납을 사용하여 제1 세트의 후보 벡터들을 발생시키는 단계; 보다 적은 제2 세트의 후보 벡터들을 형성하도록 제1 기준에 따라 제1 세트의 후보 벡터들로부터 후보 벡터들을 선택하는 단계; 제2 기준에 기초하여 화소 그룹에 대해 제2 세트의 후보 벡터들 중 후보 벡터들을 평가하는 단계; 제2 기준에 따라 제2 세트의 후보 벡터들로부터 최상의 벡터들을 결정하는 단계 및 제2 세트의 후보 벡터들 중 후보 벡터들이 평가되었던 화소 블록과 관련된 화소 그룹에 상기 결정된 최상의 벡터들을 할당하는 단계를 포함하는, 로컬 벡터들의 귀납적 추정 방법에 관한 것이다. 본 발명은 또한 이미지 시퀀스로부터 취해진 적어도 하나의 화상으로부터 로컬 벡터들을 귀납적으로 추정하는 장치와, 이미지 시퀀스로부터 취해진 적어도 하나의 화상으로부터 로컬 벡터들을 귀납적으로 추정하는 소프트웨어 코드부들을 포함하는 컴퓨터 프로그램 제품에 관한 것이다.
이미지 데이터로부터 로컬 벡터들을 추정하는 것은, 코딩/압축, 노이즈 감소(noise reduction), 오브젝트 추적 및 스캔 레이트 변환(scan rate conversion)과 같은 넓은 범위의 이미지 처리 애플리케이션들에 요구된다. MPEG나 H.261과 같은 비디오 코딩 프레임워크에서, 로컬 벡터들은 하나의 이미지에서 또다른 이미지로의 움직임(또는 오브젝트 변위)을 결정하는 움직임 벡터들로 표현된다. 예를 들어, 움직임 벡터들의 추정은 움직임-보상된 예측 코딩에 사용될 수 있다. 이미지 내 하나의 화상은 일반적으로 그 전에 사용되었던 것들의 대체된 복제물과 매우 유사하기 때문에, 실제 이미지와 화소- 또는 DCT-도메인에서의 그 예측 사이의 차이에 관한 정보와 함께 추정된 움직임 벡터를 인코딩하는 것은 코딩된 신호에서의 시간적 리던던시(redundancy)를 매우 감소시킨다.
로컬 벡터들의 추정에 대한 또 다른 예들은, 로컬 벡터들이 이 후 공간적 특성들에 대한 양적인 척도를 나타내는 유사한 공간적 특성들(오브젝트 분할(object segmentation))을 갖는 영역들의 이미지를 분할하는 방법들과, 로컬 벡터들의 성분들이 이 후 움직임 모델의 파라미터들을 포함하는 이미지 세그먼트들(오브젝트들)에 대한 움직임 모델을 추정하는 방법들을 포함한다.
이미지 데이터로부터 로컬 벡터들을 추정하는 종래의 기술들은 일반적으로, 이미지가 고정된 크기나 가변 크기의 블록들로 분할되는 임의 종류의 블록 매칭 알고리즘(Block Matching Algorithm;BMA)을 적용한다. 또한, 이하의 설명이 블록들 대신에 오브젝트들에 대해서도 동일하게 유지되도록, 이미지는 그 블록들(오브젝트 분할) 대신에 그 주요 오브젝트들(dominant objects)로 분할될 수 있다. 현재 이미지의 각 블록에 대해, 이전 이미지에서 유사한 블록이 검색되고, 유사도 척도는 현재 블록과 가장 유사한 이전 블록을 식별하도록 적용된다. 최대 유사도가 결정되었던 이전 이미지의 블록과 연관된 로컬 벡터는, 이 후 현재 블록의 화소들과 연관된 로컬 벡터를 나타낸다. 유사도 척도를 계산할 때, 비교되는 두개의 블록들의 모든 화소들이 평가되어야 하는 것은 아니라는 점에 유의하라. 예컨대, 두 블록들의 각 k번째 화소만이 유사도 척도의 평가에 고려되도록, 블록들이 공간적으로 서브-샘플링될 수 있다.
이전 이미지의 모든 블록들과 현재 블록의 유사도를 확인하고자 할 때 직면하는 계산적 수고를 감소시키도록, 로컬 벡터들은 일반적으로 예측, 즉, 현재 블록의 인접 영역 내의 블록들과 연관된 한정된 수의 소위 후보 벡터들에 대해서만 유사도 척도를 평가함으로써 추정된다.
US 5 072 293은, 3D 인접 영역으로부터의 예측들이 움직임 벡터 추정을 위한 후보 벡터들로서 사용되는 BMA를 개시한다. 후보 움직임 벡터들의 세트는 움직임 벡터들의 공간적(2D) 및 시간적(1D) 예측들 모두를 포함하고, 각 블록에 대해 귀납적으로 최상의 벡터가 결정된다. 상기 기술은, 현재 이미지 n의 블록에 대한 후보 움직임 벡터들의 세트에서 적어도 하나의 후보 움직임 벡터가 이미지 n(공간적 예측들)나 이전 이미지 n-1(시간적 예측들) 내의 다른 블록들의 미리 결정된 움직임 벡터들에 의존한다는 점에서 귀납적이다. 이런 귀납적 추정 기술은 암시적으로, 움직임 벡터가 인접 블록들로부터 적어도 하나의 공간적 예측들로 발견될 수 있도록 오브젝트들이 블록보다 크다고 가정한다. 또한, 오브젝트들의 관성이 가정되어, 상기 추정 기술이 시간 예측들도 또한 이용할 수 있게 하고, 이것은 인과 관계(causality)에 기인하여 어떤 공간적 예측들도 이용할 수 없을 때 특히 도움이 된다. 따라서, 두 가지 가정들에 기초하여, 이전에 발견된 움직임 벡터들은 귀납적으로 최적화된다.
귀납적 BMA들에서, 유사도 척도가 각각의 귀납 단계에서 평가되어야 하는 블록에 대한 후보 벡터들의 세트의 성분은, 귀납적 움직임 추정 기술의 정확성과 수렴 속도(convergence speed)뿐만 아니라 그 계산적 복잡도를 결정한다. 정확한 움직임 벡터 추정을 보장하도록, 큰 세트의 후보 움직임 벡터들이 선택되어야 하고, 이것은 증가된 계산적 복잡도를 야기한다.
도 1은 움직임 벡터들이 로컬 벡터들로서 추정되는 본 발명에 따른 귀납적 BMA의 제1 실시예를 도시하는 도면.
도 2는 글로벌 움직임 모델에 따라 예측된 후보 움직임 벡터를 통합함으로써 로컬 벡터들로서의 움직임 벡터들의 추정이 향상되는 본 발명에 따른 귀납적 BMA의 제2 실시예를 도시하는 도면.
따라서 본 발명의 목적은 감소된 복잡도과 신속한 수렴(convergence)으로 로컬 벡터들을 정확히 추정하기 위한 귀납적 방법을 제공하는 것이다.
본 발명의 목적을 해결하도록, 이미지 시퀀스로부터 취해진 적어도 하나의 화상으로부터 로컬 벡터들을 귀납적으로 추정하는 방법에 있어서, 적어도 부분적으로 귀납을 사용하여 제1 세트의 후보 벡터들을 발생시키는 단계; 보다 적은 제2 세트의 후보 벡터들을 형성하도록 제1 기준에 따라 제1 세트의 후보 벡터들로부터 후보 벡터들을 선택하는 단계; 제2 기준에 기초하여 화소 그룹에 대해 제2 세트의 후보 벡터들 중 후보 벡터들을 평가하는 단계; 상기 제2 기준에 따라 제2 세트의 후보 벡터들로부터 최상의 벡터들을 결정하는 단계 및 제2 세트의 후보 벡터들 중 후보 벡터들이 평가되었던 화소 그룹과 관련된 화소 그룹에 상기 결정된 최상의 벡터를 할당하는 단계를 포함하는, 로컬 벡터들의 귀납적 추정 방법이 제안된다.
계산적 복잡도가 종래 추정기들에 비해 크게 감소될 수 있도록, 제1 기준에 따라 제1 세트의 후보 벡터들의 크기를 감소시킴으로써, 제2 기준에 따른 유사도 척도는 보다 적은 후보 벡터들에 대해 평가되어야 하고, 유사도 척도는 제1 세트의 후보 벡터들의 모든 후보 벡터들에 대해 평가되어야 한다. 제1 기준은 제2 기준에 비해 낮은 계산적 복잡도를 갖고, 추정기의 정확성과 수렴 모두를 제어한다. 제안된 방법의 큰 이점은, 큰 제1 세트의 후보 벡터들이 사용될 수 있고, 사전-선택 방법이 유사도 척도의 실제 평가를 위해 상기 세트로부터 가장 가능성 있는 벡터를 선택한다는 점이다. 그 결과 감소된 제1 세트의 후보 벡터들로 동일한 종래 로컬 벡터 추정기에 필요한 것보다 더 많지 않은 계산들을 요구하지만, 유사성 척도가 평가되는 벡터들 중 가장 가능성 있는 후보들을 가질 기회들은 현저히 증가한다.
상기 방법의 또 다른 이점은 전용 하드웨어 구현을 고려할 때 분명하게 된다. 상기 구현은 종종 평균보다 낮은 동작들의 카운트에서 이익이 될 수 없다. 그것은 최악의 경우의 상황에 대해 설계되어야 한다. 이제, 제한된 제1 세트의 후보 벡터들로 인해, 실제로 상이한 후보 벡터들의 수가 하드웨어의 용량보다 낮은 좋은 기회가 있다. 본 발명에 제안된 바와 같이 사전 선택 모듈에 앞서 보다 큰 제1 세트로, 상기 기회는 훨씬 감소될 수 있다. 이것은 하드웨어 용량을 보다 최적으로 사용하게 한다.
선택적으로, 제2 세트의 후보 움직임 벡터들은 제1 세트의 움직임 벡터들에 포함되지 않는 후보 움직임 벡터들로 확장된다. 예컨대, 널-벡터(null-vector), 즉, 움직임이 없는 벡터나, 제1 세트의 움직임 벡터들 중 선택된 움직임 벡터들의 중간에 기초하는 후보 움직임 벡터가 부가된다.
제1 세트의 후보 벡터들 중 후보 벡터들은 양호하게 랜덤한 벡터들이나 한정되고 고정된 세트의 업데이트 벡터들에 속하는, 이미 결정되고 추정된 로컬 벡터들 및/또는 제로 벡터 및/또는 업데이트 벡터들에 기초하여 공간적으로 및/또는 시간적으로 예측된다. 이미지 시퀀스의 화상 내의 오브젝트들이 블록보다 더 크고 관성을 갖는 것으로 가정하면, 현재 블록의 로컬 벡터들은 현재 블록 주위의 현재 화상의 다른 인접 블록들 내의 미리 결정된 로컬 벡터들(공간적 예측들)이나, 이전 이미지의 인접 블록들의 미리 결정된 로컬 벡터들(시간적 예측들)과 매우 유사할 것이다. 후보 벡터로서의 제로 벡터는 특히 움직임이 없는 화상 부분들에 유용하고, 공간적 및/또는 시간적으로 예측된 로컬 벡터들에 업데이트 벡터들을 부가하는 것은, 초기화 단계에서 예측이 기초될 수 있었던 모든 로컬 벡터들이 0이라는 문제를 해결한다.
본 발명에 따라, 로컬 벡터들은 양호하게 이미지 시퀀스의 화상들 내의 화소 그룹들의 움직임을 기술하는 움직임 벡터들을 나타낸다.
상기 움직임 벡터들 중 적어도 하나는 파라메트릭 2D 글로벌 움직임 모델(parametric 2D global motion model)에 따라 예측될 수 있다. 예를 들어, 2D 1차 방정식으로서 움직임 벡터를 표현한다면, 패닝(panning), 틸팅(tilting), 트래블링(traveling) 및 주밍(zooming) 같은 카메라 움직임은 정확히 모델링될 수 있다. 이런 종류의 움직임은 오브젝트 움직임과 비교하여 평활한 움직임 벡터들을 발생시키는 규칙적인 특성을 갖는다. 주밍은 공간적 위치로 선형적으로 변하는 움직임 벡터들을 발생시키는 반면에, 패닝, 틸팅 및 트래블링은 전체 화상에 대해 균일한 움직임 벡터를 발생시킨다. 그런 글로벌 움직임이 발생한다면, 움직임 벡터들 그 자체 대신에 파라메트릭 2D 글로벌 움직임 모델의 파라미터들을 추정하는 것이 보다 효과적일 수 있다.
로컬 벡터들은 또한 이미지 시퀀스의 화상들 내의 화소 그룹의 움직임 모델을 기술하는 파라미터들의 세트들을 나타낼 수 있다.
또다른 대안으로서, 로컬 벡터들은 화소 그룹의 공간적 특징들, 특히, 텍스쳐(texture), 동적 범위, 색상, 또는 평균값을 나타낼 수 있다.
본 발명에 따라, 제2 기준은 절대차들의 합(SAD) 기준과 같은 에러 매치 기준이나 평균 제곱 에러(MSE) 기준으로서 구현될 수 있다. 움직임 벡터 추정에 있어서, 이 후, 예측된 이미지 및 현재 이미지의 화소 그룹들이나 화소들 사이의 SAD 또는 MSE가 계산된다. 반대로, 이미지 분할에 있어서, 로컬 벡터들의 성분들은 이미지 세그먼트의 텍스쳐, 동적 범위, 색상, 또는 평균 휘도 값과 같은 공간적 특징들을 나타내고, SAD 및 MSE 기준은 로컬 이미지 컨텐트로부터 측정된 대응하는 공간적 특징들과 로컬 벡터들의 성분들에 직접 적용된다.
보다 적은 제2 세트의 후보 벡터들을 형성하기 위해 제1 세트의 후보 벡터들로부터 후보 벡터들을 선택하는 것은, 제1 세트의 후보 벡터들에서 후보 벡터들의 대응하는 벡터 성분들의 랭킹에 적절하게 기초한다.
보다 적은 제2 세트의 후보 벡터들을 형성하기 위해 제1 세트의 후보 벡터들로부터 후보 벡터들을 선택하는 것은 또한, 제1 세트의 후보 벡터들에서 후보 벡터들의 랭킹에 기초할 수 있다.
본 발명의 양호한 실시예에서, 제2 세트의 후보 벡터들은 제1 기준에 따라 제1 세트의 후보 벡터들 중 적어도 하나의 극단적인 및/또는 하나의 가장 극단적이지 않은 후보 벡터를 포함한다.
가장 극단적이지 않은 후보 벡터는 종종 수렴된 상황에서 우수한 벡터이고, 보다 극단적인 벡터들은 특히 수렴되지 않은 상황에서 유용하기 때문에, 후속하고 계산적으로 보다 비싼 제2 기준으로 평가하기 위해 단지 상기 벡터들만을 선택하는 것이 합리적이다. 고정적인 화상 부분들의 보간은 움직임 벡터들에 대한 다수의 애플리케이션들에서 중요하기 때문에, 극단적인 벡터로서 제로 벡터(움직임이 없는 것을 나타냄)를 부가하는 것이 또한 합리적이다.
극단적인 후보 벡터들은 양호하게 제1 세트의 후보 벡터들 중 다수의 후보 벡터들의 평균 벡터에 대해 최장 거리를 갖거나 제1 세트의 후보 벡터들에서 공간적 예측 벡터에 대해 최장 거리를 갖는 두 개의 벡터들, 또는 최장 및 최단 벡터, 또는 제1 세트의 후보 벡터들 중 나머지 후보 벡터들에 대해 최장 거리이다.
가장 극단적이지 않은 후보 벡터는 양호하게 제1 세트의 후보 벡터들 중 다수의 후보 벡터들의 평균 벡터에 대해 최소 거리를 갖거나 제1 세트의 후보 벡터들에서 공간적 예측 벡터에 대해 최소 거리를 갖는 벡터이거나, 중간 벡터이다.
본 발명의 또 다른 양호한 실시예는 이미지 시퀀스로부터 취해진 적어도 하나의 화상으로부터 로컬 벡터들을 귀납적으로 추정하는 장치에 있어서, 적어도 부분적으로 귀납을 사용하여 제1 세트의 후보 벡터들을 발생시키는 수단; 보다 적은 제2 세트의 후보 벡터들을 형성하도록 제1 기준에 따라 제1 세트의 후보 벡터들로부터 후보 벡터들을 선택하는 수단; 제2 기준에 기초하여 화소 그룹에 대해 제2 세트의 후보 벡터들 중 후보 벡터들을 평가하는 수단; 제2 기준에 따라 제2 세트의 후보 벡터들로부터 최상의 벡터들을 결정하는 수단; 및 제2 세트의 후보 벡터들 중 후보 벡터들이 평가되었던 화소 그룹과 관련된 화소 그룹에 상기 결정된 최상의 벡터들을 할당하는 수단을 포함하는, 로컬 벡터의 귀납적 추정 장치이다.
본 발명의 마지막 양호한 실시예는 디지털 컴퓨터의 내부 메모리에 직접 로딩할 수 있는 컴퓨터 프로그램 제품에 있어서, 상기 제품이 컴퓨터 상에서 실행될 때, 적어도 부분적으로 귀납을 사용하여 제1 세트의 후보 벡터들을 발생시키는 단계; 보다 적은 제2 세트의 후보 벡터들을 형성하도록 제1 기준에 따라 상기 제1 세트의 후보 벡터들로부터 후보 벡터들을 선택하는 단계; 제2 기준에 기초하여 화소 그룹에 대해 제2 세트의 후보 벡터들 중 후보 벡터들을 평가하는 단계; 제2 기준에 따라 제2 세트의 후보 벡터들로부터 최상의 벡터들을 결정하는 단계; 및 제2 세트의 후보 벡터들 중 후보 벡터들이 평가되었던 화소 그룹과 관련된 화소 그룹에 상기 결정된 최상의 벡터들을 할당하는 단계를 수행하는 소프트웨어 코드부들을 포함하는, 컴퓨터 프로그램 제품이다.
본 발명의 상기 및 다른 양상들은 이하에 기술된 실시예들을 참조하여 보다 분명해지고 명백해질 것이다.
도 1은 본 발명의 제1 실시예에 따른 움직임 벡터들의 추정에 대한 귀납적 BMA를 도시한다.
은 이미지 시퀀스의 현재 이미지 와 이전 이미지 사이의 움직임 벡터들의 필드를 표시하고, 여기서 는 화소 그리드 벡터이다. 또한, 은 현재 이미지 내의 X ×Y 화소 블록 에 할당된 움직임 벡터를 나타내고, 여기서 블록의 중심은 블록 그리드 벡터 로 식별된다.
도 1에 도시된 바와 같이, 예측 메모리 인스턴스(1)는 후보 벡터들의 세트를 출력하고,
여기서, 후보 벡터들 은, 상수이면서 미리 정의된 정수들 N과 M을 갖는 이산 후보 세트 로 한정된다.
이런 양호한 실시예에 대한 이하의 설명에 제공된 업데이팅 프로시져와 후보 벡터들의 세트 의 성분에 대해 다양하고 상이한 선택들이 존재한다는 점에 유의하라. 따라서, 화상 내 블록들이 좌측 상단에서 우측 하단으로 스캐닝되고 시간적 및/또는 공간적으로 일관된 것으로 가정하는 이런 특정한 실시예는 단지 훨씬 더 일반적인 로컬 벡터 추정 원리에 대한 예로서 간주되어야 한다.
제공된 후보 벡터들의 세트 중 4개의 공간적 후보 벡터들 중 하나, 즉, 단지 인덱스 k에 의존하거나 모든 인덱스들 i,j,k에 독립적인 벡터들은, 이 후 업데이터 인스턴스(2)에 공급되고, 여기서 업데이트 벡터 가 부가된다. 에 포함된 공간적 후보 벡터들 중 하나에 업데이트 벡터를 부가하는 것은, 귀납의 초기화 단계에서 모든 벡터들이 벡터와 동일한 문제를 해결한다. 업데이트 벡터들은 잡음 벡터들로서 발생되거나, 보다 간단하게는, 정수의 업데이트 값들을 갖는 화소 해상도가 요구된다면 와 같은 룩-업-테이블이나, 분수의 업데이트 값들을 갖는 쿼터 화소 해상도에 대해서는 과 같은 룩-업-테이블에 저장된 한정되고 고정된 업데이트 세트로부터 취해질 수 있다.
이러한 관계에 있어서, 과 은 2D 직교 정규 기본 벡터들(orthonomal basis vectors)을 표시한다.
도 1에 도시된 바와 같이, 모듈로-p-카운터(modulo-p-counter;4)와 룩-업-테이블(5)로 구성된 업데이트 발생기 인스턴스(3)는 업데이트 값들의 세트로부터 p 주기인 요구된 업데이트 벡터들 을 출력한다. 모듈로-p-카운터는 현재의 블록 카운트 Nbl에 의해 트리거된다. 또한, 이미지 내의 공간적 위치와 업데이트 벡터 사이의 커플링(coupling)을 방지하도록, 정수 p는 화상의 블록들의 수에 대해 어떤 요인도 아니도록 선택될 수 있다.
예측 메모리 인스턴스(1)로부터 출력된 시간적 후보 벡터들과 공간적 후보 벡터들은 사전-선택 인스턴스(6)에 입력되고, 이들 중 하나는 업데이트 인스턴스(2)에서 업데이트되었다. 사전-선택 인스턴스는 예를 들어 세트 내 모든 후보 벡터들의 평균 벡터에 대해 모든 후보 벡터들의 거리를 결정함으로써, 세트 에 포함된 후보 벡터들 의 랭킹(ranking)을 수행한다. 대안으로서, 후보 벡터들은 길이(크기)로 분류된다. 사전-선택 인스턴스(6)는 이 후, 예컨대 평균 벡터에 대해 최대 거리를 갖는 두 개의 벡터들이나 최장 및 최단 벡터들과 같이, 랭킹에 따라 두 개의 극단적인 후보 벡터들을 결정한다. 사전-선택 인스턴스(6)는 또한, 예컨대 평균 벡터에 대해 최소 거리를 갖는 벡터와 같이, 가장 극단적이지 않은 후보 벡터들 을 결정한다. 대안적으로, 중간 벡터가 가장 극단적이지 않은 벡터로서 결정될 수 있다. 사전-선택 인스턴스(6)에 의해 결정된 가장 극단적인 벡터들과 가장 극단적이지 않은 벡터들은 세트 를 구성하고, 이것은 최상의 벡터 선택 인스턴스(7)로 포워딩된다. 이런 예시적인 구성에서, 따라서, 10개의 후보 벡터들을 포함하는 후보 벡터들의 세트 는, 에 포함된 3개의 가장 극단적인 후보 벡터들/가장 극단적이지 않은 후보 벡터들의 세트로 감소된다.
도 1에 도시된 최상의 벡터 선택 인스턴스(7)는 유사도 척도(예컨대, 절대차들의 합, SAD)를 계산함으로써 현재 이미지 에서 블록 그리드 벡터 에 중심을 둔 고려된 블록 과 세트 의 각 후보 벡터와 연관된 이전 이미지 의 블록 사이의 유사도를 결정한다:
여기서, 는 업데이트 벡터의 길이이고, α는 상수이며, 매칭 에러는 로 정의되는, 폭 X와 높이 Y를 갖는 블록 그리드의 위치 에서 블록 에 대해 합산된다. 대안적으로, 평균 제곱 에러(MSE)와 같은 상이한 유사도 척도가 또한 제2 기준으로서 적용될 수 있다. 블록 내의 화소 그리드 상의 모든 화소들 에 대해 유사도 척도를 평가하는 것 대신에, 물론 정확성이 약간 감소하지만 계산들의 수를 줄이기 위해, 유사도 척도를 평가하기 전에 x- 및 y-방향으로 공간적 서브-샘플링이 수행될 수 있다는 점에 유의하라.
적용된 제2 기준과 샘플링 기술에 상관 없이, 최상의 벡터 선택 인스턴스(7)는 또한 최대 유사도 척도가 되는 후보 움직임 벡터 를 선택하고, 이런 최상의 후보 움직임 벡터를 블록 내 화소 그리드 상의 위치들 에서의 모든 화소들에 할당한다(비록 유사도 척도 계산시에 계산적 수고를 감소시키도록 공간적 서브-샘플링이 수행되었더라도).
최상의 움직임 벡터 는 이 후 블록 에 대한 움직임 추정의 결과로서 출력되고, 후속하는 귀납 단계들에서 사용하기 위해 예측 메모리 인스턴스(7)에 저장된다.
도 2는, 움직임 벡터들이 로컬 벡터들로서 추정되고 글로벌 움직임 모델에 따라 예측되는 후보 움직임 벡터를 통합함으로써, 귀납적 추정이 향상되는 본 발명의 제2의 양호한 실시예를 도시한다.
근본적으로, 도 2의 구성이 예측 메모리 인스턴스(1), 업데이트 인스턴스(2), 모듈로-p-카운트(4)와 룩-업-테이블(5)로 구성된 업데이트 발생기 인스턴스(3), 사전-선택 인스턴스(6) 및 최상의 벡터 선택 인스턴스(7)를 포함한다는 점에서, 도 2의 구성은 도 1의 구성으로부터 발전한다.
도 1에 도시된 본 발명의 제1의 양호한 실시예와 같이, 제1 세트의 후보 움직임 벡터들 은 예측 메모리 인스턴스(1)에 의해 공간적 및 시간적으로 예측되고, 사전-선택 인스턴스(6)에 입력되며, 공간적 후보들 중 하나는 업데이트 발생기 인스턴스(3)에 의해 발생된 주기적 업데이트 벡터들 로 업데이트 인스턴스(2)에서 미리 업데이트된다. 사전-선택 인스턴스(6)에 의해 결정된 가장 극단적인 후보 벡터들/가장 극단적이지 않은 후보 벡터들 은 이 후 최상의 벡터 선택 인스턴스(7)에서 유사도 척도로 평가되고, 블록 에 대한 최상의 움직임 벡터 가 결정되어 다음 귀납 단계를 위해 예측 메모리(1)에 저장된다.
그러나, 제1 세트의 후보 벡터들이 부가적으로 에 따라 3개의 파라미터들 p1(n),p2(n),p3(n)을 갖는 2D 1차 선형 방정식으로 기술될 수 있는 후보 움직임 벡터를 포함한다는 점에서, 도 2에 도시된 제2의 양호한 실시예는 도 1에 도시된 제1의 양호한 실시예와 다르고, 여기서 p1(n)는 카메라의 패닝(panning), p2(n)은 틸팅(tilting), p3(n)은 주밍(zooming)을 기술한다. 따라서, 상기 글로벌 움직임 벡터 모델은, 움직임, 즉 움직임 벡터들이 매우 평활한 속도들을 갖게 하는 매우 규칙적인 특성을 갖는 것으로 가정한다. 카메라의 주밍은 공간적 위치로 선형적으로 변하는 움직임 벡터들을 발생시킬 것이다. 반면에, 카메라의 패닝, 틸팅 또는 트래블링(travelling)은 전체 스크린에 대해 균일한 움직임 벡터를 발생시킬 것이다. 상기 모델을 6개의 파라미터 모델로 확장하는 것은 부가적으로 회전들로 인한 벡터 필드들의 설명을 가능하게 한다. 이런 종류의 움직임은 카메라 움직임으로 인한 것이 아닐 수 있고, 다른 환경들에서 발생할 수 있다.
도 2에 따라, 움직임 모델의 파라미터들 p1(n),p2(n),p3(n)은 예컨대 예측 메모리(1)로부터의 샘플 벡터들에 기초하여 마이크로프로세서(8)에 의해 결정된다. 추정된 움직임 벡터 필드로부터 글로벌 움직임 모델의 상기 파라미터들을 추출하기 위한 많은 옵션들이 있다. 상기 모델이 귀납적 BMA에 통합되는 본 발명의 양호한 실시예에서, 이미 이용가능한 움직임 벡터들, 즉, 시간적 예측 메모리에서 이용가능한 벡터들로부터 시작하는 것이 합리적이다. 동작들의 카운트를 낮게 유지하도록, 상기 메모리에서만 이용가능한 제한된 벡터 세트를 사용하는 것이 더 매력적이다.
움직임 모델의 추정된 파라미터들 p1(n),p2(n),p3(n)은 이 후 로컬 후보 계산 인스턴스(9)에 입력되고, 여기서 움직임 벡터 가 구성되어 그 후 업데이팅 없이 예측 메모리 인스턴스(1)로부터의 공간적(이 중 일부가 업데이트될 수 있음) 및 시간적 예측들과 함께 사전-선택 인스턴스(6)에 입력된다.

Claims (14)

  1. 이미지 시퀀스로부터 취해진 적어도 하나의 화상으로부터 로컬 벡터들을 귀납적으로 추정하는 방법에 있어서,
    - 적어도 부분적으로 귀납(recursion)을 사용하여 제1 세트의 후보 벡터들을 발생시키는 단계;
    - 보다 적은 제2 세트의 후보 벡터들을 형성하도록 제1 기준에 따라 상기 제1 세트의 후보 벡터들로부터 후보 벡터들을 선택하는 단계;
    - 제2 기준에 기초하여 화소 그룹에 대해 상기 제2 세트의 후보 벡터들 중 상기 후보 벡터들을 평가하는 단계;
    - 상기 제2 기준에 따라 상기 제2 세트의 후보 벡터들로부터 최상의 벡터들을 결정하는 단계; 및
    - 상기 제2 세트의 후보 벡터들 중 상기 후보 벡터들이 평가되었던 화소 그룹과 관련된 화소 그룹에 상기 결정된 최상의 벡터들을 할당하는 단계를 포함하는, 로컬 벡터의 귀납적 추정 방법.
  2. 제 1 항에 있어서, 상기 제1 세트의 후보 벡터들 내의 상기 후보 벡터들은, 랜덤한 벡터들이나 한정되고 고정된 세트의 업데이트 벡터들에 속하는, 이미 결정되고 추정된 로컬 벡터들 및/또는 제로 벡터(zero vector) 및/또는 업데이트 벡터들에 기초하여 공간적 및/또는 시간적으로 예측되는 것을 특징으로 하는, 로컬 벡터의 귀납적 추정 방법.
  3. 제 1 항 또는 제 2 항에 있어서, 상기 로컬 벡터들은 이미지 시퀀스의 화상들에서 화소 그룹들의 움직임을 기술하는 움직임 벡터들인 것을 특징으로 하는, 로컬 벡터의 귀납적 추정 방법.
  4. 제 3 항에 있어서, 상기 움직임 벡터들 중 적어도 하나는 파라메트릭 2D 글로벌 움직임 모델(parametric 2D global motion model)에 따라 예측되는 것을 특징으로 하는, 로컬 벡터의 귀납적 추정 방법.
  5. 제 1 항 또는 제 2 항에 있어서, 상기 로컬 벡터들은 이미지 시퀀스의 화상들에서 화소 그룹의 상기 움직임 모델을 기술하는 파라미터들의 세트들을 나타내는 것을 특징으로 하는, 로컬 벡터의 귀납적 추정 방법.
  6. 제 1 항 또는 제 2 항에 있어서, 상기 로컬 벡터들은 화소 그룹의 공간적 특징들, 특히 텍스쳐(texture), 동적 범위, 색상 또는 평균값을 나타내는 것을 특징으로 하는, 로컬 벡터의 귀납적 추정 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서, 상기 제2 기준은 절대차들의 합(SAD) 기준과 같은 매치 에러 기준이나, 평균 제곱 에러 기준인 것을 특징으로 하는, 로컬 벡터의 귀납적 추정 방법.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서, 보다 적은 제2 세트의 후보 벡터들을 형성하기 위해 상기 제1 세트의 후보 벡터들로부터 후보 벡터들을 선택하는 것은 상기 제1 세트의 후보 벡터들에서 상기 후보 벡터들의 대응하는 벡터 성분들의 랭킹(ranking)에 기초하는 것을 특징으로 하는, 로컬 벡터의 귀납적 추정 방법.
  9. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서, 보다 적은 제2 세트의 후보 벡터들을 형성하기 위해 상기 제1 세트의 후보 벡터들로부터 후보 벡터들을 선택하는 것은 상기 제1 세트의 후보 벡터들에서 상기 후보 벡터들의 랭킹에 기초하는 것을 특징으로 하는, 로컬 벡터의 귀납적 추정 방법.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서, 상기 제2 세트의 후보 벡터들은 상기 제1 기준에 따라 상기 제1 세트의 후보 벡터들 중 적어도 하나의 극단적인 후보 벡터(extreme candidate vector) 및/또는 하나의 가장 극단적이지 않은 후보 벡터(the least extreme candidate vector)를 포함하는 것을 특징으로 하는, 로컬 벡터의 귀납적 추정 방법.
  11. 제 10 항에 있어서, 상기 극단적인 후보 벡터들은 상기 제1 세트의 후보 벡터들 중 다수의 후보 벡터들의 평균 벡터에 대해 최장 거리를 갖거나 상기 제1 세트의 후보 벡터들에서 공간적 예측 벡터에 대해 최장 거리를 갖는 두 개의 벡터들, 또는 최장 및 최단 벡터, 또는 상기 제1 세트의 후보 벡터들 중 나머지 후보 벡터들에 대해 최장 거리인 것을 특징으로 하는, 로컬 벡터의 귀납적 추정 방법.
  12. 제 10 항에 있어서, 상기 가장 극단적이지 않은 후보 벡터는 상기 제1 세트의 후보 벡터들 중 다수의 후보 벡터들의 평균 벡터에 대해 최소 거리를 갖거나 상기 제1 세트의 후보 벡터들에서 공간적 예측 벡터에 대해 최소 거리를 갖는 벡터이거나, 중간 벡터인 것을 특징으로 하는, 로컬 벡터의 귀납적 추정 방법.
  13. 이미지 시퀀스로부터 취해진 적어도 하나의 화상으로부터 로컬 벡터들을 귀납적으로 추정하는 장치에 있어서,
    - 적어도 부분적으로 귀납을 사용하여 제1 세트의 후보 벡터들을 발생시키는 수단;
    - 보다 적은 제2 세트의 후보 벡터들을 형성하도록 제1 기준에 따라 상기 제1 세트의 후보 벡터들로부터 후보 벡터들을 선택하는 수단;
    - 제2 기준에 기초하여 화소 그룹에 대해 상기 제2 세트의 후보 벡터들 중 상기 후보 벡터들을 평가하는 수단;
    - 상기 제2 기준에 따라 상기 제2 세트의 후보 벡터들로부터 최상의 벡터들을 결정하는 수단; 및
    - 상기 제2 세트의 후보 벡터들 중 상기 후보 벡터들이 평가되었던 화소 그룹과 관련된 화소 그룹에 상기 결정된 최상의 벡터들을 할당하는 수단을 포함하는, 로컬 벡터의 귀납적 추정 장치.
  14. 디지털 컴퓨터의 내부 메모리에 직접 로딩할 수 있는 컴퓨터 프로그램 제품에 있어서,
    상기 제품이 컴퓨터 상에서 실행될 때, 제 1 항의 단계들을 수행하는 소프트웨어 코드부들을 포함하는, 컴퓨터 프로그램 제품.
KR1020057012776A 2003-01-10 2003-12-04 효과적인 예측 이미지 파라미터 추정 KR20050097936A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03075125.9 2003-01-10
EP03075125 2003-01-10

Publications (1)

Publication Number Publication Date
KR20050097936A true KR20050097936A (ko) 2005-10-10

Family

ID=32695613

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057012776A KR20050097936A (ko) 2003-01-10 2003-12-04 효과적인 예측 이미지 파라미터 추정

Country Status (7)

Country Link
US (1) US20060098886A1 (ko)
EP (1) EP1586201A1 (ko)
JP (1) JP2006513478A (ko)
KR (1) KR20050097936A (ko)
CN (1) CN1736108A (ko)
AU (1) AU2003303732A1 (ko)
WO (1) WO2004064403A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060184462A1 (en) 2004-12-10 2006-08-17 Hawkins Jeffrey C Methods, architecture, and apparatus for implementing machine intelligence and hierarchical memory systems
US20070192267A1 (en) 2006-02-10 2007-08-16 Numenta, Inc. Architecture of a hierarchical temporal memory based system
US8732098B2 (en) 2006-02-10 2014-05-20 Numenta, Inc. Hierarchical temporal memory (HTM) system deployed as web service
EP1841231A1 (en) * 2006-03-29 2007-10-03 Sony Deutschland Gmbh Method for motion estimation
WO2008106615A1 (en) 2007-02-28 2008-09-04 Numenta, Inc. Spatio-temporal learning algorithms in hierarchical temporal networks
WO2009073415A2 (en) 2007-11-30 2009-06-11 Dolby Laboratories Licensing Corporation Temporal image prediction
WO2009087493A1 (en) * 2008-01-11 2009-07-16 Zoran (France) Sparse geometry for super resolution video processing
US8407166B2 (en) * 2008-06-12 2013-03-26 Numenta, Inc. Hierarchical temporal memory system with higher-order temporal pooling capability
RU2519525C2 (ru) * 2010-02-09 2014-06-10 Ниппон Телеграф Энд Телефон Корпорейшн Способ кодирования с предсказанием вектора движения, способ декодирования с предсказанием вектора движения, устройство кодирования фильма, устройство декодирования фильма и их программы
US8787459B2 (en) * 2010-11-09 2014-07-22 Sony Computer Entertainment Inc. Video coding methods and apparatus
CN103733625B (zh) * 2011-06-14 2017-04-05 三星电子株式会社 用于对运动矢量进行解码的方法
GB2493755B (en) 2011-08-17 2016-10-19 Canon Kk Method and device for encoding a sequence of images and method and device for decoding a sequence of images
CN104427345B (zh) * 2013-09-11 2019-01-08 华为技术有限公司 运动矢量的获取方法、获取装置、视频编解码器及其方法
EP3320134B1 (de) * 2015-09-10 2018-11-21 Uster Technologies AG Vorhersage des aussehens einer textilen fläche
CA3008886A1 (en) * 2015-12-18 2017-06-22 Iris Automation, Inc. Real-time visual situational awareness system
WO2018169571A1 (en) * 2017-03-15 2018-09-20 Google Llc Segmentation-based parameterized motion models

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5072293A (en) * 1989-08-29 1991-12-10 U.S. Philips Corporation Method of estimating motion in a picture signal
WO2000034920A1 (en) * 1998-12-07 2000-06-15 Koninklijke Philips Electronics N.V. Motion vector estimation
JP3982952B2 (ja) * 1999-07-23 2007-09-26 沖電気工業株式会社 動きベクトル検出装置
JP4161477B2 (ja) * 1999-08-23 2008-10-08 ソニー株式会社 動き検出方法および動き検出装置
KR100727910B1 (ko) * 2000-10-11 2007-06-13 삼성전자주식회사 하이브리드형 고속 움직임 추정 방법 및 그 장치
US6782054B2 (en) * 2001-04-20 2004-08-24 Koninklijke Philips Electronics, N.V. Method and apparatus for motion vector estimation

Also Published As

Publication number Publication date
US20060098886A1 (en) 2006-05-11
CN1736108A (zh) 2006-02-15
EP1586201A1 (en) 2005-10-19
JP2006513478A (ja) 2006-04-20
WO2004064403A1 (en) 2004-07-29
AU2003303732A1 (en) 2004-08-10

Similar Documents

Publication Publication Date Title
KR100582856B1 (ko) 움직임 추정 및 움직임 보상된 보간법
JP4242656B2 (ja) 動きベクトル予測方法及び動きベクトル予測装置
JP5044568B2 (ja) 予測誘導間引き探索を使用する動き推定
KR100492127B1 (ko) 적응형 움직임 추정장치 및 추정 방법
JP5877469B2 (ja) 動き推定システムにおいてモーメント及び加速度ベクトルを使用するオブジェクト追跡
US8130835B2 (en) Method and apparatus for generating motion vector in hierarchical motion estimation
KR20050097936A (ko) 효과적인 예측 이미지 파라미터 추정
JPH08265781A (ja) 動きベクトル特定方法及び装置
JPH10285602A (ja) 映像データをエンコードするための動的なスプライト
JPH04501648A (ja) 画像列の動作を予測しかつ階層的コード化を行う方法及び装置
US20080002772A1 (en) Motion vector estimation method
US20090180032A1 (en) Method and system for hierarchical motion estimation with multi-layer sub-pixel accuracy and motion vector smoothing
KR100942887B1 (ko) 추정된 움직임 벡터 결정 방법 및 컴퓨터 판독가능한 기록매체
Kim et al. Adaptive motion estimation based on spatio-temporal correlation
KR20040047963A (ko) 움직임 예측 유닛 및 방법 및 이러한 움직임 예측 유닛을구비하는 이미지 처리 장치
KR100955415B1 (ko) 움직임 파라미터 세트 및 화상 반복 패턴을 제공하기 위한 방법, 컴퓨터 판독가능 저장 매체 및 집적 회로와, 움직임 파라미터를 제공하기 위한 컴퓨터
US20080144716A1 (en) Method For Motion Vector Determination
JP2006521740A (ja) 動きベクトル決定方法
KR100969420B1 (ko) 프레임 레이트 변환 방법
JP3611958B2 (ja) 動画像信号の動きベクトル検出方法および動きベクトル検出回路
KR100413002B1 (ko) 동영상 부호화기의 확산누적배열을 이용한 블록정합 장치및 그 방법
KR0178228B1 (ko) 이미지 신호 복호화용 개선된 움직임 벡터 추정 방법 및 장치
JP2002521944A (ja) デジタル画像が被る動きを求める方法および装置
JPH0946711A (ja) 動きベクトル推定方法及び装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid