KR101328795B1 - 비디오 압축에서 적응형 모션 벡터 샘플링을 위한 다단계 링크 프로세스 - Google Patents

비디오 압축에서 적응형 모션 벡터 샘플링을 위한 다단계 링크 프로세스 Download PDF

Info

Publication number
KR101328795B1
KR101328795B1 KR1020087008979A KR20087008979A KR101328795B1 KR 101328795 B1 KR101328795 B1 KR 101328795B1 KR 1020087008979 A KR1020087008979 A KR 1020087008979A KR 20087008979 A KR20087008979 A KR 20087008979A KR 101328795 B1 KR101328795 B1 KR 101328795B1
Authority
KR
South Korea
Prior art keywords
target image
image data
motion vector
prediction
generating
Prior art date
Application number
KR1020087008979A
Other languages
English (en)
Other versions
KR20080054399A (ko
Inventor
마르코 파니코니
제임스 제이. 캐릭
져롱 미아오
Original Assignee
소니 일렉트로닉스 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 일렉트로닉스 인코포레이티드 filed Critical 소니 일렉트로닉스 인코포레이티드
Publication of KR20080054399A publication Critical patent/KR20080054399A/ko
Application granted granted Critical
Publication of KR101328795B1 publication Critical patent/KR101328795B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

이미지를 필터링하는 방법은 타겟 이미지 데이터를 수신하는 스텝, 및 타겟 이미지 데이터에 다단계 필터링을 적용하는 스텝을 포함한다. 필터링의 각 단계는 모션 벡터 샘플링 패턴을 생성하는 스텝, 타겟 이미지 데이터 및 모션 벡터 샘플링 패턴을 이용하여 타겟 이미지 데이터의 시간 예측을 생성하는 스텝, 및 타겟 이미지 데이터의 시간 예측을 이용하여 타겟 이미지 데이터의 공간-시간 변환을 생성하는 스텝을 포함한다.
적응형 모션 벡터, 비디오 압축, 공간 필터링, 시간 예측 필터, 모션 벡터 샘플링

Description

비디오 압축에서 적응형 모션 벡터 샘플링을 위한 다단계 링크 프로세스{MULTI-STAGED LINKED PROCESS FOR ADAPTIVE MOTION VECTOR SAMPLING IN VIDEO COMPRESSION}
본 발명은 비디오 압축 분야에 관한 것이다.
비디오 코딩에서, 압축 프로세스는 통상 공간 필터링을 위한 잔여 필터(residual filter) 및 시간 예측 필터를 포함한다. 잔여 필터는 이산 코사인 변환(DCT), 웨이블렛, 또는 리프팅(lifting) 변환을 이용할 수 있다. 시간 예측 필터는 타겟 이미지가 참조 이미지 집합(통상, 1 또는 2)으로부터 예측될 수 있게 한다. 시간 예측 필터는 참조 이미지에 대해 타겟 이미지의 위치를 변경한(즉, 이동한) 오브젝트를 나타내는 모션 벡터의 집합, 및 모션 벡터 데이터에 대해 동작하는 필터를 이용한다. 시간 예측에 대한 표준 접근법은 모션 벡터의 규칙적인 패턴 또는 균일한 패턴을 이용하여, 모션 벡터에 의해 표현되는 각 블록에 대한 단순한 모션 보상을 수행한다.
타겟 이미지에서 불규칙한 모션 벡터 패턴을 이용하려는 경향이 있다. 모션 벡터의 불규칙적인 패턴은 시간 예측을 개선하기 위해 타겟 이미지에서 모션 벡터 위치를 적응시키는 것(예를 들면, 움직이는 오브젝트 경계 근처에는 더 많은 모션 벡터가 있고 배경 영역에는 더 적다)으로부터 발생한다. 그러나, 불규칙적인 모션 벡터 패턴을 생성하는 것은 종종 고도로 복잡한 절차이고, 통상 공간-시간 필터링의 효과와 관계없이 타겟 이미지에 대해 수행된다. 이러한 프로세스는 공간-시간 필터링 및 불규칙적인 모션 벡터 샘플링의 효과 사이에 상당한 중첩이 있을 수 있으므로 바람직하지 못하다.
예를 들면, 이미지의 일부 영역들은 복잡한 모션을 가지고 있더라도, 공간 상관성이 매우 높기 때문에 매우 용이하게 필터링될 수도 있다. 그러므로, 이들 영역들은 모션 벡터의 불규칙적인 분포를 필요로 하지 않는다. 왜냐하면 모션 벡터의 간단하고 균일한 패턴이 불규칙적인 모션 벡터 패턴을 생성하는 복잡도 비용을 배제하는데 이용될 수 있기 때문이다. 종래 접근법은 불규칙적인 모션 벡터 패턴의 생성과 공간-시간 필터링의 결과를 링크할 수 없다.
이미지를 필터링하는 방법은 타겟 이미지 데이터를 수신하는 스텝 및 다단계 필터를 타겟 이미지 데이터에 적용하는 스텝을 포함한다. 각 단계는 모션 벡터 샘플링 패턴을 생성하는 스텝, 타겟 이미지 데이터 및 모션 벡터 샘플링 패턴을 이용하여 타겟 이미지 데이터의 시간 예측을 생성하는 스텝, 및 타겟 이미지 데이터의 시간 예측을 이용하여 타겟 이미지 데이터의 공간-시간 변환을 생성하는 스텝을 포함한다.
본 발명은 예로서 예시되어 있고 첨부된 도면과 조합하여 이하의 상세한 설명을 참조함으로써 더 잘 이해될 수 있다.
도 1은 링크 방법의 예를 도시하고 있다.
도 2는 도 1의 방법에 의해 생성된 중간 결과의 예를 도시하고 있다.
도 3은 도 1의 방법에 이용된 공간-시간 변환의 예를 도시하고 있다.
도 4는 도 1의 방법에 이용된 적응형 시간 필터링 절차의 예를 도시하고 있다.
도 5는 도 4의 방법에 이용된 모션 벡터의 패턴의 예를 도시하고 있다.
도 6은 도 4의 방법을 이용하여 시간 예측을 생성하는 예를 도시하고 있다.
도 7은 도 1의 방법을 이용하여 시간 예측을 생성함으로써 발생되는 중간 결과의 예를 도시하고 있다.
도 8은 도 1의 방법에 의해 이용되는 모션 벡터의 패턴을 생성하는 예이다.
도 9는 도 1의 링크 방법을 이용하는 시스템의 예를 도시하고 있다.
이하의 설명에서, 본 발명이 실시되는 특정 실시예의 일부를 형성하고 본 발명이 실시되는 특정 실시예를 예시로서 도시한 첨부된 도면을 참조한다. 다른 실시예들이 활용될 수 있고 구조적 변경은 본 발명의 범주에서 벗어나지 않고서 행해질 수 있다는 것은 자명하다. 예를 들면, 본 기술분야의 숙련자라면, 다양한 실시예를 설명하는데 이용되는 용어들 필드 또는 프레임 또는 이미지는 일반적으로 비디오 데이터에 관하여 이용되는 바와 같이 교체가능하다는 것을 잘 알고 있을 것이다. 마찬가지로, 본 기술분야의 숙련자라면 용어 "모션 벡터의 규칙적인 분포" 및 "모션 벡터의 균일한 분포"는 일반적으로 교체가능하고, 용어 "모션 벡터의 불규칙적인 패턴" 및 "모션 벡터의 적응형 패턴"은 일반적으로 비디오 데이터에 관하여 이용되는 바와 같이, 일반적으로 교체가능하다는 것을 잘 알고 있을 것이다.
모션 벡터 패턴의 생성과 공간-시간 예측을 링크하는 방법은 공간-시간 변환을 다단계에 걸쳐 타겟 이미지에 적용한다. 변환은 타겟 이미지로부터의 공간 데이터 및 예측된 이미지로부터의 시간 데이터를 처리한다. 본 방법의 처음 몇 개의 단계에서는, 타겟 이미지의 공간 데이터가 고도로 상관된다. 환언하면, 이미지의 한 부분으로부터의 공간 데이터는 통상적으로 이미지의 인접 부분의 공간 데이터의 정확한 예측을 제공한다. 그러므로, 본 방법의 초기 단계들(early stages)은 시간 예측보다 공간 예측에 더 의존한다. 예를 들면, 초기 단계에서, 생성되는 모션 벡터의 패턴들이 규칙적인 패턴으로, 또는 거의 규칙적인 패턴으로 분포된다. 모션 벡터의 패턴은 모션 벡터가 균일한 간격으로 타겟 이미지에 걸쳐 고루 분포되는 경우에 규칙적이다.
본 방법의 후반 단계(later stages)에서는, 공간 상관이 저역 통과 필터링의 효과로 인해 감소된다. 따라서, 후반 단계에서 생성되는 모션 벡터의 패턴은 공간 예측보다 시간 예측에 더 의존하기 위해 불규칙적이다. 공간 데이터 및 모션 벡터의 규칙적인 패턴을 이용하여 타겟 이미지를 초기에 예측함으로써, 타겟 이미지의 압축된 버전은 모션 벡터의 불규칙적인 패턴 및 시간 데이터를 이용하는 추가 압축에 사용가능하다. 결과적으로, 더 작은 크기를 가지는, 부분적으로 압축된 타겟 이미지에 대한 모션 벡터의 불규칙적인 패턴을 생성하는 것은 완전한 타겟 이미지에 대한 불규칙적인 패턴을 생성하는 것보다 덜 복잡하다.
다단계 링크 방법의 예가 도 1에 도시되어 있다. 스텝 110에서, 인코더는 입력 타겟 이미지 및 하나 이상의 참조 이미지들의 집합을 수신한다. 각 참조 이미지는 이전에 디코딩된 데이터를 포함하고, 인코더 및 디코더 양쪽에 사용가능하다. 스텝 120에서, 인코더는 모션 벡터의 제1 샘플링 패턴을 생성하고 이를 타겟 이미지에 적용한다. 이러한 예에서, 샘플링 패턴은 타겟 이미지 상의 공간 상관이 초기에는 강하기 때문에 규칙적이다. 스텝 130에서, 적응형 시간 예측 필터는 타겟 이미지, 모션 벡터의 규칙적 패턴, 및 참조 이미지 집합을 이용하여, 타겟 이미지의 제1 예측을 생성한다. 적응형 시간 예측 필터의 예는 적응형 영향 영역(AAOI, adaptive area of influence) 필터이며, 이하에 설명된다. 스텝 140에서, 공간-시간 변환의 제1 단계가 타겟 이미지 및 제1 예측에 적용되어, 타겟 이미지의 제1 변환을 생성한다. 일부 실시예들에서, 제1 변환은 타겟 이미지의 제1 저역 통과 데이터 및 제1 고역 통과 데이터를 포함한다.
스텝 150에서, 인코더는 모션 벡터의 제2 패턴을 생성하고 이를 타겟 이미지의 제1 저역 통과 데이터에 적용한다. 이러한 예에서, 일부 공간 상관이 제1 단계 변환의 평균화 프로세스로 인해 제1 저역 통과 데이터에서 손실되기 때문에, 제2 샘플링 패턴은 제1 샘플링 패턴보다 덜 규칙적이다. 스텝 160에서, 적응형 시간 예측 필터는 모션 벡터의 불규칙적인 샘플링 패턴, 타겟 이미지의 제1 저역 통과 데이터, 참조 필드 집합, 및 제1 예측을 이용하여, 타겟 이미지의 제2 예측을 생성한다. 스텝 170에서, 공간-시간 변환의 제2 단계가 타겟 이미지의 제1 저역 통과 데이터 및 제2 예측에 적용되어, 타겟 이미지의 제2 변환을 생성한다. 일부 실시예들에서, 제2 변환은 제2 저역 통과 데이터 및 제2 고역 통과 데이터를 포함한다.
스텝 180에서, 제2 단계 변환에 의해 생성된 타겟 이미지의 제2 저역 통과 데이터가 주어지면, 인코더는 모션 벡터의 제3 패턴을 생성한다. 이러한 예에서, 제2 단계 변환의 평균화 프로세스로 인해 더 많은 공간 상관이 손실되기 때문에, 제3 패턴은 제2 패턴보다 훨씬 더 불규칙적이다. 스텝 190에서, 적응형 시간 예측 필터는 모션 벡터의 제3의 불규칙 패턴, 타겟 이미지의 제2 저역 통과 데이터, 참조 이미지 집합, 및 제2 예측을 이용하여, 제3 예측을 생성한다. 스텝 195에서, 공간-시간 변환의 제3 단계는 제3 예측 및 제2 저역 통과 데이터에 적용되어, 타겟 이미지의 제3 변환을 생성하고, 이는 제3 저역 통과 데이터를 포함한다. 스텝 197에서, 본 예에서 최종 잔여 데이터(final residual)인 제3 저역 통과 데이터가 엔트로피 코딩되고, 코딩된 계수는 디코더에 전송된다. 도 1은 3개의 단계를 가지는 다단계 링크 방법의 예를 도시하고 있다. 일반적으로, 다단계 링크 방법은 임의의 개수의 단계에 대해 적용될 수 있고, 단계의 개수는 각 타겟 이미지가 압축을 최대화하도록 고정되거나 변형될 수 있다.
도 1의 방법에 의해 생성된 중간 결과의 예가 3개의 단계로 도 2에 도시되어 있다. 블록 210은 인코더에 의해 수신되는 타겟 이미지를 도시하고 있다. 타겟 이미지는 필터링되기 이전에는 높은 수준의 공간 상관을 가지고 있다. 그러므로, 블록 220에 도시된 바와 같이, 모션 벡터의 규칙적 패턴이 타겟 이미지에 적용되어 적응형 시간 예측 필터에 입력되어 제1 예측을 생성한다. 공간-시간 변환의 제1 단계는 제1 예측 및 타겟 이미지를 이용하여, 블록 240에 도시된 바와 같이, 제1 저역 통과 데이터 L1 및 제1 고역 통과 데이터 H1을 포함하는 제1 변환을 생성한다. 저역 통과 데이터의 예는 평균화되거나 압축된 데이터이고, 고역 통과 데이터의 예는 (원래의 타겟 이미지 - 타겟 이미지의 예측)으로부터 얻어지는 잔여 데이터(residual data)이다.
블록 250에 도시된 바와 같이, 모션 벡터의 불규칙 패턴이 생성되어 타겟 이미지의 제1 저역 통과 데이터 L1에 적용된다. 그리고나서, 적응형 시간 예측 필터는 제1 저역 통과 데이터, 제1 예측, 및 모션 벡터의 불규칙 패턴을 이용하여 제2 예측을 생성한다. 공간-시간 변환의 제2 단계는 제2 예측 및 제1 저역 통과 데이터를 이용하여, 블록 260에 도시된 바와 같이, 제2 저역 통과 데이터 L2 및 제2 고역 통과 데이터 H2를 포함하는 제2 변환을 생성한다.
제2 저역 통과 데이터의 양은 블록 210에 도시된 초기 타겟 이미지의 데이터 양에 비해 작다. 결과적으로, 제2 저역 통과 데이터에 대해 모션 벡터의 불규칙 패턴을 생성하는 것이 초기 타겟 이미지에 대해 불규칙 패턴을 생성하는 것보다 덜 복잡하다. 또한, 제2 저역 통과 데이터의 공간 상관은 타겟 이미지(210)의 공간 상관보다 훨씬 더 낮다. 그러므로, 제2 저역 통과 데이터에 대한 예측은 공간 데이터보다 시간 데이터에 의존하는 경우에 더 정확하다. 그러므로, 모션 벡터의 불규칙 패턴이 생성되어 블록 280에 도시된 바와 같이 제2 저역 통과 데이터에 적용된다.
제2 저역 통과 데이터, 제2 예측, 및 모션 벡터의 불-균일 패턴이 적응형 시간 예측 필터에 의해 이용되어 제3 예측을 생성한다. 제3 예측 및 제2 저역 통과 데이터는 공간-시간 변환에 의해 이용되어, 블록 295에 도시된 바와 같이, 제3 저역 통과 데이터 L3을 포함하는 제3 변환을 생성한다. 도 2에 도시된 방법은 모션 벡터의 패턴을 생성하는 것이 공간-시간 필터링으로 인터리빙되는 방법을 예시하고 있다. 각 단계에서, 모션 벡터 샘플링 패턴은 그 단계에서의 타겟 이미지 데이터의 공간 상관에 적응된다. 적응형 샘플링 패턴은 움직이는 오브젝트 영역에서는 더 높은 밀도의 모션 벡터를 제공하고, 배경 영역에서는 더 낮은 밀도의 모션 벡터를 제공한다. 공간 상관은 초기 단계에서는 일반적으로 더 강하고 후반 단계에서는 더 약하다. 그러므로, 도 2의 예는 (공간 예측에 더 의존할 수 있는) 단계 1에서의 모션 벡터의 규칙적 패턴 및 (시간 예측에 더 의존할 수 있는) 더 높은 단계에서의 더 복잡한 모션 벡터 패턴을 도시하고 있다.
도 1의 참조번호 140을 더 상세하게 참조하면, 공간-시간 변환의 예가 도 3에 도시되어 있다. 모션 벡터(315)의 패턴이 타겟 이미지(310)에 분포되어 있다. 모션 벡터 및 참조 이미지(320)는 적응형 시간 예측 필터에 의해 이용되어 시간 예측(330)을 생성한다. 공간-시간 변환이 시간 예측 및 타겟 이미지에 적용된다. 예를 들면, 타겟 이미지로부터의 픽셀(340)의 행은 저역 통과 필터에 의해 필터링되어 저역 통과 데이터(350)를 생성한다. 저역 통과 데이터 및 시간 예측으로부터의 픽셀(360)은 고역 통과 예측 필터에 의해 이용되어 고역 통과 데이터(370)를 생성한다.
도 1의 참조번호 130, 160 및 190을 더 상세하게 참조하면, 적응형 시간 예측 필터를 구현하는 프로세스의 예가 도 4에 도시되어 있다. 적응형 시간 예측 필터가, 규칙적이거나 불규칙적일 수 있는 모션 벡터의 패턴에 적용되어, 타겟 이미지의 예측을 생성한다. 하나의 실시예에서, 모션 벡터의 각 추정은 불규칙 패턴에 대한 적응형 시간 필터의 탭 구조에 대해 결정된다. 추정은 2가지 단계로 만들어진다. 제1 단계에서, 모션 벡터의 초기 추정은 필터의 탭 구조와 상관없이 결정된다. 제2 단계에서, 탭 구조는 각 모션 벡터의 값의 재 추정 동안에 이용된다. 특정 모션 벡터에 적용되는 탭 구조는 이웃하는 모션 벡터의 로컬 패턴으로부터 생성되어, 특정 모션 벡터의 추정시 그 효과를 포함한다. 일부 실시예들에서, 적응형 픽셀 영향 영역 및 적응형 탐색 윈도우는 재추정 프로세스를 수행하는 복잡도를 감소시키는데 이용된다. 적응형 시간 필터에 대해 모션 벡터의 값을 추정하는 방법의 예는 본 출원서와 동시에 출원되고 참고로 여기에 원용되어 있는 Marco Paniconi 등에 의한, 발명의 명칭이 ADAPTIVE MOTION ESTIMATION FOR TEMPORAL PREDICTION FILTER OVER IRREGULAR MOTION VECTOR SAMPLES인 동시계류중이고 대리인 정리 번호 제50U7057호인 미국특허출원 번호 제XX/XXX,XXX에 기재되어 있다.
적응형 시간 필터링 절차의 예는 도 4에 도시되어 있다. 스텝 410에서, 모션 벡터의 샘플링 패턴이 이미지에 대해 생성된다. 이러한 패터닝은 본 기술분야의 숙련자들에게 알려져 있는 방법들을 이용하여 다양한 방식으로 수행될 수 있다.
스텝 410에서 생성된 모션 벡터의 샘플링 패턴의 예는 도 5의 블록 510에 도시된 불규칙 패턴이다. 이미지(510)의 백색 도트가 모션 벡터를 나타낸다. 불규칙적 또는 적응형 샘플링 패턴으로, 모션 벡터는 참조 이미지로부터 예측하기 어려운 영역(즉, 이동 경계 근처의 영역과 같은 더 복잡한 모션을 가지는 이미지 영역)에 더 집중된다. 더 적은 모션 벡터는 이미지 배경 영역과 같은 간단한 모션 영역에 배치된다.
도 4로 되돌아가면, 스텝 420에서, 이미지는 영향 영역 셀(AOI 셀)이라 지칭되는 복수의 셀로 분할되고, 각 AOI 셀은 그 노드로서 하나의 모션 벡터를 가지고 있다. 예를 들면, 도 5의 이미지(510)는 블록 520에 도시된 바와 같이 AOI 셀들로 분할된다. 각 AOI 셀은 이미지의 임의의 다른 모션 벡터에 의하기보다는 셀의 내부의 모션 벡터에 의해 더 많이 영향을 받는 영역을 나타낸다. 각 모션 벡터에 대해 AOI 셀이 생성되므로, AOI 셀의 크기는 경계 영역과 같은, 이미지에서의 오브젝트의 특징과 관련될 수 있다. 예를 들면, 오브젝트간의 경계 영역 근처의 AOI 셀은 이미지 배경 영역의 AOI 셀보다 더 작을 수 있다. 또한, AOI 셀의 형태는 국부적으로 변형되어 오브젝트의 경계의 형태에 적응할 수 있다. AOI 셀을 생성하기 위한 방법의 하나의 실시예는 거리가 가장 근접하는 모션 벡터 분할 방법이다. 블록 또는 삼각형 방법과 같은 다른 분할 방법이 이용될 수 있다.
도 4로 돌아가면, 스텝 430에서, 각 모션 벡터에 대한 초기값이 결정된다. 스텝 435에서, 모션 벡터의 불규칙한 패턴 및 영향 영역 셀을 이용하여, 타겟 이미지의 픽셀을 예측하기 위한 적응형 시간 예측 필터가 생성된다. 예측 필터는 모션 보상된 신호에 대하여 시간-도메인으로 동작한다. 특히, 필터는 다른 모션 보상된 신호의 가중 합을 이용하여 타겟 픽셀을 예측하고, 여기에서 각 모션 보상된 신호는 다른 벡터를 적용하여 타겟 픽셀을 예측함으로서 얻어진다. 필터 계수 및 탭 구조는 모션 벡터의 변경 패턴에 따라 각 픽셀에 대해 변경된다. 또한, 필터의 서포트는 국부적이다. 이것은 타겟 픽셀을 보상하는데 이용되는 모션 벡터들이 그 픽셀의 국부적 이웃으로부터 얻어진다는 것을 의미한다.
필터는 이하의 구조를 가지고 있다. {vj}를 N개의 모션 벡터의 집합이라고 하고, I(x)는 참조 이미지(이전에 디코딩된 이미지)라 하자. S(x)는 픽셀 x의 로케이션을 둘러싸고 있는 모션 벡터의 일부 집합을 지칭한다고 하자. 그 타겟 픽셀 x의 예측은 일반적으로 다음과 같이 표현될 수 있다.
Figure 112008026704809-pct00001
여기에서, {fi}는 필터 계수 집합이고, x+vi는 모션 벡터 vi가 픽셀 x에 적용되는 경우의 모션 보상된 픽셀이다. 필터의 서포트 또는 탭은 집합 S(x)에 의해 정의된다. 탭 서포트 S(x) 및 필터 계수 {fi}는 일반적으로, 픽셀 위치 x 및 그 인접하는 모션 벡터의 함수들이다. 즉, 모션 벡터의 분포가 이미지 전체에 걸쳐 변경되므로, 필터 계수는 각 픽셀에 대해 변경될 수 있다. 그러므로, 필터는 변경되는 모션 벡터 패턴에 국부적으로 적응한다.
스텝 440에서, 예측 필터가 타겟 이미지에 적용되어 타겟 이미지에 대한 시간 예측을 수행한다. 필터가 시간 도메인으로 적용되어, 모션 벡터 값의 집합 및 샘플링 패턴이 주어진 타겟 이미지에 대해 예측 결과를 생성한다. 필터는 중첩 구역의 영역에 의해 정의된 필터 탭 및 필터 계수를 이용하여 예측될 픽셀에 인접하는 모션 벡터의 관련성(relevance)을 캡쳐한다. 이러한 부류의 예측 필터의 예는 본 출원서와 동시 출원되고 여기에 참고로 원용된 대리인 정리 번호 50U6045이며 발명의 명칭이 ADAPTIVE AREA OF INFLUENCE FILTER이며 Marco Paniconi 등에 의한 동시계류중인 미국출원번호 제XX/XXX,XXX호에 개시된 영향 필터의 영역이다.
필터를 적용하여 시간 예측을 생성하는 하나의 예가 도 6에 도시되어 있다. 참조 이미지(602)의 픽셀은 타겟(604)의 픽셀을 예측하는데 이용된다. 참조 픽셀은 참조 이미지(602)에서 직선으로 표현되고, 예측될 타겟 픽셀은 타겟 이미지(604)에서 점선으로 표현되어 있다. 필터는 로컬 모션 벡터 v1 내지 v5의 탭 구조를 이용하여 타겟 이미지(604)의 픽셀 x에 대한 예측을 형성한다. 각 AOI 셀의 각각이 픽셀 x에 대해 AOI 셀의 적어도 일부와 중첩하기 때문에, 모션 벡터는 픽셀 x에 국부적이다. 탭 구조의 각 모션 벡터 {vi}는 참조 이미지(602)의 이미지 데이터 {Ii}에 매핑한다. 적응형 시간 예측 필터는 필터 가중 {fi}에 의해 참조 데이터 {Ij}를 조정하여 픽셀 x를 예측한다.
하나의 실시예에서, 예측 필터는 탭 구조 및 필터 가중을 이용하여 이하의 수학식에 따른 예측을 생성한다.
예측 = I1*f1 + I2*f2 +I3*f3 +I4*f4 +I5*f5
여기에서, 로컬 모션 벡터에 의해 정의되는 필터 탭, 및 필터 계수{fi}는 필터가 스텝 430에서 생성되는 경우에 결정된다.
도 4로 돌아가면, 스텝 450에서, 필터에 의해 생성된 예측 결과는 적응형 필터의 정확도를 개선하기 위해 모션 벡터의 값을 재추정하는데 이용된다. 스텝 460에서, 예측 에러가 감소될 필요가 있는 경우, 방법은 스텝 440으로 리턴한다. 그렇지 않으면, 방법은 스텝 470에서 종료한다. 결과적으로, 모션 벡터의 총 영향 영역의 모든 픽셀에 대한 예측 에러가 감소된다. 모션 벡터의 총 영향 영역을 이용하여 모션 벡터의 값을 재추정하는 방법의 예는 본 출원서와 동시 출원되고 여기에 참고로 원용된 대리인 정리 번호 50U7057이며 발명의 명칭이 ADAPTIVE MOTION ESTIMATION FOR TEMPORAL PREDICTION FILTER OVER IRREGULAR MOTION VECTOR SAMPLES이며 Marco Paniconi 등에 의한 동시계류중인 미국출원번호 제XX/XXX,XXX호에 기재되어 있다.
도 1의 참조번호 130 및 160을 더 상세하게 참조하면, 적응형 시간 예측 필터에 의해 생성된 중간 결과의 예가 도 7에 도시되어 있다. 참조 이미지(720) 및 타겟 이미지(710)의 모션 벡터(715) 집합이 적응형 시간 예측 필터에 의해 이용되어 예측된 이미지(730)를 생성한다. 적응형 시간 예측 필터는 필터 계수{fi}를 복수의 모션 벡터{mi}에 적용하여 타겟 이미지의 픽셀 x를 예측한다. 예측 필터는 이하와 같은 형태를 가지고 있다.
Figure 112008026704809-pct00002
여기에서, x는 예측될 필터이고, i는 특정 모션 벡터를 나타내며, mi는 모션 벡터 i에 대한 값이고, fi는 모션 벡터 i에 대한 필터 계수이며, 집합 S(x)는 필터 탭이고, P1은 제1 예측이다.
제1 예측, 타겟 이미지의 제1 저역 통과 데이터, 및 참조 이미지는 제2 예측을 생성하는데 이용된다. 하나의 실시예에서, 제1 예측 및 참조 이미지는 공간-시간 변환의 저역 통과 필터에 의해 필터링되어, 제1 예측(760)의 저역 통과 데이터 및 참조 이미지(750)의 저역 통과 데이터를 생성한다. 이러한 액션은 예측 필터에 입력되는 데이터가 공통 형태가 되도록 허용한다. 모션 벡터(745)의 불규칙한 패턴이 타겟 이미지의 저역 통과 데이터(740)에 적용되고, 제2 예측(770)이 생성된다. 적응형 시간 예측 필터는 참조번호 750으로부터의 참조 데이터 및 참조번호 760으로부터의 제1 예측 데이터를 이용하여 타겟 이미지의 제1 저역 통과 데이터(740)에서의 픽셀 x를 예측한다.
제2 예측에 이용되는 각 모션 벡터는 값(mi) 및 모드 맵(pi)을 가지고 있다. 모드 맵은 0과 1 사이의 값이고, pi ∈[0,1]이고, 일부 실시예들에서 pi는 0, 1 또는 1/2이다. 모드 맵은 이전 예측의 현재 예측에 대한 기여도를 나타낸다. 예를 들면, 모드 맵이 0인 경우, 모션 벡터에 대한 값은 단지 참조 이미지의 데이터로부터만 결정된다. 모드 맵이 1인 경우, 모션 벡터에 대한 값은 단지 이전 예측의 데이터로부터만 결정된다. 모드 맵이 1/2인 경우, 모션 벡터의 값은 이전 예측 데이터 및 참조 이미지 데이터의 평균으로부터 결정된다.
적응형 시간 예측 필터가 제1 예측을 이용하여 제2 예측을 생성하므로, 필터는 이하와 같은 형태를 가지고 있다.
Figure 112008026704809-pct00003
여기에서, pi는 모션 벡터 i에 대한 모드 맵 값이고, L1 ref는 참조 이미지의 저역 통과 데이터이며, L1 P는 제1 예측의 저역 통과 데이터이고, P2는 제2 예측이다.
도 1의 참조번호 120, 150 및 180을 더 상세하게 참조하면, 모션 벡터의 패턴을 선택하는 예가 도 8에 도시되어 있다. 일반적으로, 모션 벡터에 할당되는 총 비트 예산 및 공간-시간 변환의 단계 개수는 미리 결정된다. 일부 실시예들에서, 각 단계에서 이용되는 모션 벡터의 개수도 또한 미리 결정된다. 이용될 수 있는 다양한 모션 벡터 샘플링 패턴은 각 블록이 하나의 모션 벡터를 가지고 있으므로, 블록의 개수 및 타입에 의해 특징지어진다. 예를 들면, 모션 벡터의 규칙적인 패턴 MV1은 16 픽셀 x 16 픽셀과 같은 하나의 블록 형태를 이용하여 생성된다. 불규칙적인 패턴 MV2는 일부 실시예에서, 8 x 16, 16 x 16 및 16 x 32 픽셀과 같은 3가지 블록 형태를 이용하여 생성된다. 훨씬 더 불규칙적인 패턴 MV3은 일부 실시예들에서, 8 x 8, 8 x 16, 16 x 16, 16 x 32, 32 x 32 및 32 x 64 픽셀과 같은 6개의 블록 형태를 가지고 있다. 매우 불규칙적인 패턴 MV4는 예를 들면 10개와 같은 훨씬 더 많은 블록 형태를 가지고 있다.
i가 특정 패턴을 나타내는 이들 모션 벡터 샘플링 패턴 MVi가 주어지고, 각 단계에서 사용가능한 모션 벡터의 개수가 주어지는 경우, 인코더는 이하의 액션을 수행하여, 특정 단계 n에서 샘플링 패턴을 결정한다. 스텝 810에서, 고역 통과 데이터가 공간 필터를 이용하여 계산된다. 일부 실시예들에서, 이러한 액션은 타겟 이미지를 공간적으로 필터링하여 고역 통과 데이터의 공간 예측을 생성함으로써 수행된다. 스텝 815에서, 공간 예측 에러가 측정된다. 단계 n에서 고역 통과 데이터에 대한 공간 예측 에러는 en spatial로 표시된다. 스텝 820에서, 고역 통과 데이터는 후보 모션 벡터 샘플링 패턴 MVi를 가지는 공간-시간 필터를 이용하여 계산된다. 일부 실시예들에서, 이러한 액션은 공간-시간 필터 및 모션 벡터의 패턴을 타겟 이미지에 적용하여 공간-시간 예측을 생성함으로써 수행된다. 스텝 825에서, 공간-시간 예측 에러가 측정된다. 단계 n에서의 고역 통과 데이터에 대한 공간 예측 에러는 en spatial_temporal로서 표시된다. 제1 반복 동안에, i는 1이므로, 규칙적인 샘플링 패턴 MV1이 이용된다. 스텝 830에서, 공간 예측 에러와 공간-시간 예측 에러의 차가 임계값 내에 있는지 여부가 결정된다. 하나의 실시예에서, 이하를 이용하여 결정된다.
Figure 112008026704809-pct00004
여기에서, Ci-1 및 Ci는 모션 벡터 샘플링 패턴에서 복잡도를 제어하는데 이용되는 소정의 한계치이다. 예를 들면, i=1이고 C0=0이며,
Figure 112011070007314-pct00005
인 경우, 예측 에러는 시간 성분의 추가에 따라 실질적으로 감소하지 않는다. 따라서, 규칙적인 패턴 MV1 대신 모션 벡터의 불규칙한 패턴을 사용할 필요가 없다. 스텝 830에서, 조건들이 만족되는 경우, 스텝 840에서 후보 패턴이 이용되고, 프로세스는 스텝 845에서 종료한다. 조건들이 만족되지 않는 경우, 스텝 850에서, i는 1만큼 증가되어, 후보 패턴으로서 모션 벡터의 다음 패턴을 선택한 후, 프로세스는 스텝 820으로 리턴한다.
도 9는 다단계 링크 방법을 이용하는 시스템의 예를 도시하고 있다. 디지털 비디오 카메라(910)는 이미지를 전자 형태로 캡쳐하고, 압축 및 인코딩 프로세스 동안에 링크 방법을 이용하는 압축 디바이스(920)를 이용하여 이미지를 처리한다. 인코딩된 이미지는 전자 송신 매체(930)를 통해 디지털 재생 디바이스(940)에 전송된다. 이미지는 디코딩 프로세스 동안에 상기 방법을 이용하는 디코딩 디바이스(950)에 의해 디코딩된다. 카메라(910)는 본 발명의 실시예들을 포함하는 다양한 이미지 처리 장치(예를 들면, 다른 이미지 캡쳐 디바이스, 이미지 에디터, 이미지 프로세서, 개인 및 상용 컴퓨팅 플랫폼, 등)를 예시하고 있다. 마찬가지로, 디코딩 디바이스(950)는 이미지 데이터를 디코딩하는 다양한 디바이스들을 예시하고 있다.
본 발명이 특정 시스템 환경에서의 실시예의 측면에서 기재되었지만, 본 기술분야의 통상의 기술자라면, 본 발명이 첨부된 청구의 범위의 사상 및 범주 내에서 기타 하드웨어 및 소프트웨어 환경에서 그리고 상이한 하드웨어 및 소프트웨어 환경에서 변형하여 실시될 수 있다는 것을 잘 알고 있을 것이다.

Claims (18)

  1. 전자 데이터 프로세서에 의해 실행되는 방법으로서,
    타겟 이미지 데이터를 수신하는 스텝; 및
    상기 타겟 이미지 데이터에 다단계 필터링(multiple stage filtering)을 적용하는 스텝
    을 포함하고, 각 단계는 필터링 프로세스를 포함하며,
    상기 필터링 프로세스는,
    상기 타겟 이미지 데이터를 공간적으로 필터링하여 상기 타겟 이미지 데이터의 제1 예측을 생성하는 스텝;
    상기 제1 예측을 이용하여 제1 예측 에러를 결정하는 스텝;
    모션 벡터의 후보 패턴 및 공간-시간 필터를 상기 타겟 이미지 데이터에 적용하여 상기 타겟 이미지 데이터의 제2 예측을 생성하는 스텝;
    상기 제2 예측을 이용하여 제2 예측 에러를 결정하는 스텝;
    상기 제1 예측 에러와 상기 제2 예측 에러 간의 차가 소정의 한계치 내에 있는 경우, 상기 모션 벡터의 후보 패턴을 상기 모션 벡터 샘플링 패턴으로서 이용하는 스텝;
    상기 타겟 이미지 데이터 및 상기 모션 벡터 샘플링 패턴을 이용하여 상기 타겟 이미지 데이터의 시간 예측을 생성하는 스텝; 및
    상기 타겟 이미지 데이터의 상기 시간 예측을 이용하여 상기 타겟 이미지 데이터의 공간-시간 변환을 생성하는 스텝
    을 포함하는, 전자 데이터 프로세서에 의해 실행되는 방법.
  2. 제1항에 있어서, 상기 타겟 이미지 데이터에 상기 다단계 필터링을 적용하는 스텝은,
    제1 단계에서 상기 필터링 프로세스를 상기 타겟 이미지 데이터에 적용하는 스텝, 및
    후속 단계들에서 상기 필터링 프로세스를 상기 타겟 이미지 데이터의 필터링된 저역 통과 데이터에 적용하는 스텝
    을 포함하는, 전자 데이터 프로세서에 의해 실행되는 방법.
  3. 제1항에 있어서, 상기 모션 벡터 샘플링 패턴을 생성하는 스텝은,
    제1 단계에서 규칙적인 모션 벡터 샘플링 패턴을 생성하는 스텝, 및
    후속 단계들에서 불규칙적인 모션 벡터 샘플링 패턴을 생성하는 스텝
    을 포함하는, 전자 데이터 프로세서에 의해 실행되는 방법.
  4. 제1항에 있어서, 각 단계에서의 상기 모션 벡터 샘플링 패턴은 해당 단계에서의 상기 타겟 이미지 데이터의 공간 상관에 적응되는, 전자 데이터 프로세서에 의해 실행되는 방법.
  5. 삭제
  6. 제1항에 있어서, 상기 다단계 필터링의 제1 단계에서, 상기 모션 벡터 샘플링 패턴을 이용하여 상기 타겟 이미지 데이터의 시간 예측을 생성하는 스텝은,
    Figure 112013040057352-pct00006
    을 포함하는 예측 필터를 적용하는 스텝을 포함하고,
    여기에서 P1(x)는 픽셀 x에 대한 상기 제1 단계에서의 시간 예측이며, S(x)는 상기 픽셀 x를 필터링하기 위한 모션 벡터들의 집합이고, fi는 상기 집합 S(x)에서의 모션 벡터 i에 대한 필터 계수 가중이며, mi는 모션 벡터 i의 값이고, Iref는 참조 이미지인, 전자 데이터 프로세서에 의해 실행되는 방법.
  7. 제1항에 있어서, 상기 다단계 필터링의 제1 단계 이후의 단계에서, 상기 모션 벡터 샘플링 패턴을 이용하여 상기 타겟 이미지 데이터의 시간 예측을 생성하는 스텝은,
    상기 모션 벡터 샘플링 패턴, 참조 이미지, 및 상기 시간 예측을 이용하여 예측 필터를 적용하는 스텝을 포함하는, 전자 데이터 프로세서에 의해 실행되는 방법.
  8. 제7항에 있어서,
    상기 예측 필터는
    Figure 112013040057352-pct00007
    를 포함하고,
    여기에서 Pn(x)는 단계 n 및 픽셀 x에 대한 시간 예측이며, S(x)는 상기 픽셀 x를 필터링하기 위한 모션 벡터들의 집합이고, fi는 상기 집합 S(x)에서의 모션 벡터 i에 대한 필터 계수 가중이며, mi는 모션 벡터 i의 값이고, Ln-1 ref는 상기 참조 이미지의 필터링된 저역 통과 데이터이며, Ln-1 P는 상기 시간 예측의 필터링된 저역 통과 데이터이고, pi는 상기 참조 이미지로부터의 상기 필터링된 저역 통과 데이터 및 상기 시간 예측의 필터링된 저역 통과 데이터에 의한 기여도를 결정하는 모드 맵 값인, 전자 데이터 프로세서에 의해 실행되는 방법.
  9. 처리 시스템에 의해 실행될 때, 상기 시스템으로 하여금 방법을 수행하도록 하는 명령어들의 컴퓨터 프로그램을 저장하는 비일시적 컴퓨터 판독가능 매체로서,
    상기 방법은,
    타겟 이미지 데이터를 수신하는 스텝; 및
    상기 타겟 이미지 데이터에 다단계 필터링을 적용하는 스텝
    을 포함하고, 각 단계는 필터링 프로세스를 포함하며,
    상기 필터링 프로세스는,
    상기 타겟 이미지 데이터를 공간적으로 필터링하여 상기 타겟 이미지 데이터의 제1 예측을 생성하는 스텝;
    상기 제1 예측을 이용하여 제1 예측 에러를 결정하는 스텝;
    모션 벡터의 후보 패턴 및 공간-시간 필터를 상기 타겟 이미지 데이터에 적용하여 상기 타겟 이미지 데이터의 제2 예측을 생성하는 스텝;
    상기 제2 예측을 이용하여 제2 예측 에러를 결정하는 스텝;
    상기 제1 예측 에러와 상기 제2 예측 에러 간의 차가 소정의 한계치 내에 있는 경우, 상기 모션 벡터의 후보 패턴을 상기 모션 벡터 샘플링 패턴으로서 이용하는 스텝;
    상기 타겟 이미지 데이터 및 상기 모션 벡터 샘플링 패턴을 이용하여 상기 타겟 이미지 데이터의 시간 예측을 생성하는 스텝; 및
    상기 타겟 이미지 데이터의 상기 시간 예측을 이용하여 상기 타겟 이미지 데이터의 공간-시간 변환을 생성하는 스텝
    을 포함하는, 비일시적 컴퓨터 판독가능 매체.
  10. 제9항에 있어서, 상기 타겟 이미지 데이터에 상기 다단계 필터링을 적용하는 스텝은,
    제1 단계에서 상기 필터링 프로세스를 상기 타겟 이미지 데이터에 적용하는 스텝, 및
    후속 단계들에서 상기 필터링 프로세스를 상기 타겟 이미지 데이터의 필터링된 저역 통과 데이터에 적용하는 스텝
    을 포함하는, 비일시적 컴퓨터 판독가능 매체.
  11. 제9항에 있어서, 상기 모션 벡터 샘플링 패턴을 생성하는 스텝은,
    제1 단계에서 규칙적인 모션 벡터 샘플링 패턴을 생성하는 스텝, 및
    후속 단계들에서 불규칙적인 모션 벡터 샘플링 패턴을 생성하는 스텝
    을 포함하는, 비일시적 컴퓨터 판독가능 매체.
  12. 제9항에 있어서, 각 단계에서의 상기 모션 벡터 샘플링 패턴은 해당 단계에서의 상기 타겟 이미지 데이터의 공간 상관에 적응되는, 비일시적 컴퓨터 판독가능 매체.
  13. 삭제
  14. 타겟 이미지 데이터를 수신하고, 상기 타겟 이미지 데이터에 다단계 필터링을 적용하는 마이크로프로세서를 포함하는 장치로서,
    각 단계는 필터링 프로세스를 포함하며,
    상기 필터링 프로세스는,
    상기 타겟 이미지 데이터를 공간적으로 필터링하여 상기 타겟 이미지 데이터의 제1 예측을 생성하는 스텝;
    상기 제1 예측을 이용하여 제1 예측 에러를 결정하는 스텝;
    모션 벡터의 후보 패턴 및 공간-시간 필터를 상기 타겟 이미지 데이터에 적용하여 상기 타겟 이미지 데이터의 제2 예측을 생성하는 스텝;
    상기 제2 예측을 이용하여 제2 예측 에러를 결정하는 스텝;
    상기 제1 예측 에러와 상기 제2 예측 에러 간의 차가 소정의 한계치 내에 있는 경우, 상기 모션 벡터의 후보 패턴을 상기 모션 벡터 샘플링 패턴으로서 이용하는 스텝;
    상기 타겟 이미지 데이터 및 상기 모션 벡터 샘플링 패턴을 이용하여 상기 타겟 이미지 데이터의 시간 예측을 생성하는 스텝; 및
    상기 타겟 이미지 데이터의 상기 시간 예측을 이용하여 상기 타겟 이미지 데이터의 공간-시간 변환을 생성하는 스텝
    을 포함하는, 장치.
  15. 제14항에 있어서, 상기 마이크로프로세서는,
    제1 단계에서 상기 필터링 프로세스를 상기 타겟 이미지 데이터에 적용하고,
    후속 단계들에서 상기 필터링 프로세스를 상기 타겟 이미지 데이터의 필터링된 저역 통과 데이터에 적용함으로써,
    상기 다단계 필터링을 상기 타겟 이미지 데이터에 적용하는, 장치.
  16. 제14항에 있어서, 상기 마이크로프로세서는,
    제1 단계에서 규칙적인 모션 벡터 샘플링 패턴을 생성하고,
    후속 단계들에서 불규칙적인 모션 벡터 샘플링 패턴을 생성함으로써
    상기 모션 벡터 샘플링 패턴을 생성하는, 장치.
  17. 제14항에 있어서, 각 단계에서의 상기 모션 벡터 샘플링 패턴은 해당 단계에서의 상기 타겟 이미지 데이터의 공간 상관에 적응되는, 장치.
  18. 삭제
KR1020087008979A 2005-09-16 2006-09-13 비디오 압축에서 적응형 모션 벡터 샘플링을 위한 다단계 링크 프로세스 KR101328795B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/229,230 2005-09-16
US11/229,230 US7894527B2 (en) 2005-09-16 2005-09-16 Multi-stage linked process for adaptive motion vector sampling in video compression
PCT/US2006/035675 WO2007035362A2 (en) 2005-09-16 2006-09-13 Multi-staged linked process for adaptive motion vector sampling in video compression

Publications (2)

Publication Number Publication Date
KR20080054399A KR20080054399A (ko) 2008-06-17
KR101328795B1 true KR101328795B1 (ko) 2013-11-13

Family

ID=37884051

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087008979A KR101328795B1 (ko) 2005-09-16 2006-09-13 비디오 압축에서 적응형 모션 벡터 샘플링을 위한 다단계 링크 프로세스

Country Status (6)

Country Link
US (1) US7894527B2 (ko)
EP (1) EP1932098A4 (ko)
JP (1) JP5237814B2 (ko)
KR (1) KR101328795B1 (ko)
CN (1) CN101268477B (ko)
WO (1) WO2007035362A2 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050123886A1 (en) * 2003-11-26 2005-06-09 Xian-Sheng Hua Systems and methods for personalized karaoke
DE102005051091A1 (de) * 2005-10-25 2007-04-26 Siemens Ag Verfahren und Vorrichtungen zur Bestimmung und Rekonstruktion eines prädizierten Bildbereichs
JP4569555B2 (ja) * 2005-12-14 2010-10-27 日本ビクター株式会社 電子機器
US8111750B2 (en) * 2007-03-20 2012-02-07 Himax Technologies Limited System and method for 3-D recursive search motion estimation
WO2009073415A2 (en) 2007-11-30 2009-06-11 Dolby Laboratories Licensing Corporation Temporal image prediction
US8059909B2 (en) * 2008-04-29 2011-11-15 Sony Corporation Adaptive generation of irregular spatial sub-sampling for images
CN101567694B (zh) * 2009-04-30 2012-04-18 钱宇 一种基于连通子图的多级数据采样方法
JP2012151576A (ja) 2011-01-18 2012-08-09 Hitachi Ltd 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990005282A (ko) * 1997-06-30 1999-01-25 배순훈 웨이브렛 변환 영역에서의 패턴 분류를 이용한 계층적 움직임 추정 방법
JP2004524730A (ja) * 2000-12-21 2004-08-12 ユニサーチ・リミテッド ビデオのスケーラブル圧縮方法および装置
JP2005167976A (ja) * 2003-11-14 2005-06-23 Victor Co Of Japan Ltd 動きベクトル検出装置及び動きベクトル検出プログラム

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0309669B1 (de) * 1987-09-30 1992-12-30 Siemens Aktiengesellschaft Verfahren zur szenenmodellgestützten Bilddatenreduktion für digitale Fernsehsignale
US5690934A (en) * 1987-12-31 1997-11-25 Tanox Biosystems, Inc. Peptides relating to the extracellular membrane-bound segment of human alpha chain
US5047850A (en) * 1989-03-03 1991-09-10 Matsushita Electric Industrial Co., Ltd. Detector for detecting vector indicating motion of image
US5872866A (en) * 1995-04-18 1999-02-16 Advanced Micro Devices, Inc. Method and apparatus for improved video decompression by predetermination of IDCT results based on image characteristics
US5654771A (en) * 1995-05-23 1997-08-05 The University Of Rochester Video compression system using a dense motion vector field and a triangular patch mesh overlay model
JP3855286B2 (ja) * 1995-10-26 2006-12-06 ソニー株式会社 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体
EP0894403B1 (en) * 1996-04-19 2002-08-28 Nokia Corporation Video encoder and decoder using motion-based segmentation and merging
US6101276A (en) * 1996-06-21 2000-08-08 Compaq Computer Corporation Method and apparatus for performing two pass quality video compression through pipelining and buffer management
JP3967405B2 (ja) * 1996-10-09 2007-08-29 テキサス インスツルメンツ インコーポレイテツド 画像信号の符号化方法
JP4034380B2 (ja) * 1996-10-31 2008-01-16 株式会社東芝 画像符号化／復号化方法及び装置
DE19648016A1 (de) * 1996-11-20 1998-05-28 Philips Patentverwaltung Verfahren zur fraktalen Bildkodierung und Anordnung zur Durchführung des Verfahrens
CN101026762B (zh) * 1997-02-13 2015-08-19 三菱电机株式会社 运动图像预测装置和方法
US6178205B1 (en) * 1997-12-12 2001-01-23 Vtel Corporation Video postfiltering with motion-compensated temporal filtering and/or spatial-adaptive filtering
US6208692B1 (en) * 1997-12-31 2001-03-27 Sarnoff Corporation Apparatus and method for performing scalable hierarchical motion estimation
US6591015B1 (en) * 1998-07-29 2003-07-08 Matsushita Electric Industrial Co., Ltd. Video coding method and apparatus with motion compensation and motion vector estimator
KR100301833B1 (ko) 1998-08-20 2001-09-06 구자홍 오류은폐방법
US6711278B1 (en) 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
US6466624B1 (en) * 1998-10-28 2002-10-15 Pixonics, Llc Video decoder with bit stream based enhancements
JP2000308064A (ja) * 1999-04-22 2000-11-02 Mitsubishi Electric Corp 動きベクトル検出装置
US6480615B1 (en) * 1999-06-15 2002-11-12 University Of Washington Motion estimation within a sequence of data frames using optical flow with adaptive gradients
JP3753578B2 (ja) * 1999-12-07 2006-03-08 Ｎｅｃエレクトロニクス株式会社 動きベクトル探索装置および方法
US6864994B1 (en) * 2000-01-19 2005-03-08 Xerox Corporation High-speed, high-quality descreening system and method
KR20020026177A (ko) 2000-04-11 2002-04-06 요트.게.아. 롤페즈 비디오 엔코딩 및 디코딩 방법
WO2002037859A2 (en) 2000-11-03 2002-05-10 Compression Science Video data compression system
US6782054B2 (en) * 2001-04-20 2004-08-24 Koninklijke Philips Electronics, N.V. Method and apparatus for motion vector estimation
US7110455B2 (en) * 2001-08-14 2006-09-19 General Instrument Corporation Noise reduction pre-processor for digital video using previously generated motion vectors and adaptive spatial filtering
US6996186B2 (en) * 2002-02-22 2006-02-07 International Business Machines Corporation Programmable horizontal filter with noise reduction and image scaling for video encoding system
CA2491679A1 (en) * 2002-07-09 2004-01-15 Nokia Corporation Method and system for selecting interpolation filter type in video coding
US7068722B2 (en) 2002-09-25 2006-06-27 Lsi Logic Corporation Content adaptive video processor using motion compensation
US6898328B2 (en) * 2002-10-23 2005-05-24 Sony Corporation Method and apparatus for adaptive pixel estimation under high error rate conditions
JP4462823B2 (ja) 2002-11-20 2010-05-12 ソニー株式会社 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
JP3997171B2 (ja) 2003-03-27 2007-10-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
US7480334B2 (en) * 2003-12-23 2009-01-20 Genesis Microchip Inc. Temporal motion vector filtering
KR20050075483A (ko) 2004-01-15 2005-07-21 삼성전자주식회사 비디오 코딩 및 디코딩 방법, 및 이를 위한 장치
US8503530B2 (en) * 2004-05-27 2013-08-06 Zhourong Miao Temporal classified filtering for video compression
US20060140273A1 (en) * 2004-12-28 2006-06-29 Siu-Wai Wu Dual-pass HDTV encoder with noise reduction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990005282A (ko) * 1997-06-30 1999-01-25 배순훈 웨이브렛 변환 영역에서의 패턴 분류를 이용한 계층적 움직임 추정 방법
JP2004524730A (ja) * 2000-12-21 2004-08-12 ユニサーチ・リミテッド ビデオのスケーラブル圧縮方法および装置
JP2005167976A (ja) * 2003-11-14 2005-06-23 Victor Co Of Japan Ltd 動きベクトル検出装置及び動きベクトル検出プログラム

Also Published As

Publication number Publication date
EP1932098A4 (en) 2012-09-12
KR20080054399A (ko) 2008-06-17
EP1932098A2 (en) 2008-06-18
JP2009509411A (ja) 2009-03-05
CN101268477A (zh) 2008-09-17
WO2007035362A3 (en) 2007-10-11
WO2007035362A2 (en) 2007-03-29
US20070064806A1 (en) 2007-03-22
CN101268477B (zh) 2012-08-15
JP5237814B2 (ja) 2013-07-17
US7894527B2 (en) 2011-02-22

Similar Documents

Publication Publication Date Title
KR101328795B1 (ko) 비디오 압축에서 적응형 모션 벡터 샘플링을 위한 다단계 링크 프로세스
US8005308B2 (en) Adaptive motion estimation for temporal prediction filter over irregular motion vector samples
KR0148154B1 (ko) 움직임크기에 따른 동영상데이타의 부호화방법 및 장치
KR100578682B1 (ko) 가변 블록 크기를 이용한 계층적 움직임 추정 장치 및방법
KR101266638B1 (ko) 이동 객체 경계용 적응형 영향 영역 필터
KR101591825B1 (ko) 비디오 신호의 인코딩 또는 디코딩 방법 및 장치
KR101339566B1 (ko) 모션 벡터 선택
US7894522B2 (en) Classified filtering for temporal prediction
KR20010013198A (ko) 비선형 피라미드를 사용하여 계층적인 모션 추정을실행하기 위한 장치 및 방법
RU2684193C1 (ru) Устройство и способ для компенсации движения в видеоизображении
KR101276450B1 (ko) 적응형 영향 영역 필터
GB2481856A (en) Picture coding using weighted predictions in the transform domain
WO2011089158A1 (en) Spatial prediction technique for video coding
KR101345294B1 (ko) 영상의 양자화 장치 및 방법
JP2007110409A (ja) 画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラム
JP5171658B2 (ja) 画像符号化装置
KR101113862B1 (ko) 모션 추정 알고리즘의 최적화 방법
KR100943068B1 (ko) 곡선 보간을 이용한 에러복원방법
JP2008301270A (ja) 動画像符号化装置及び動画像符号化方法
JPH06165164A (ja) 動画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161024

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171023

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181024

Year of fee payment: 6