KR101274804B1 - 통합된 공간 시간 예측 - Google Patents

통합된 공간 시간 예측 Download PDF

Info

Publication number
KR101274804B1
KR101274804B1 KR1020087009014A KR20087009014A KR101274804B1 KR 101274804 B1 KR101274804 B1 KR 101274804B1 KR 1020087009014 A KR1020087009014 A KR 1020087009014A KR 20087009014 A KR20087009014 A KR 20087009014A KR 101274804 B1 KR101274804 B1 KR 101274804B1
Authority
KR
South Korea
Prior art keywords
spatial
matrix
discrete cosine
cosine transform
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020087009014A
Other languages
English (en)
Other versions
KR20080048071A (ko
Inventor
져롱 미아오
제임스 제이. 캐릭
마르코 파니코니
Original Assignee
소니 일렉트로닉스 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 일렉트로닉스 인코포레이티드 filed Critical 소니 일렉트로닉스 인코포레이티드
Publication of KR20080048071A publication Critical patent/KR20080048071A/ko
Application granted granted Critical
Publication of KR101274804B1 publication Critical patent/KR101274804B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

타겟 이미지에서의 픽셀들의 타겟 블록의 공간 예측을 생성하는 방법은 픽셀들의 타겟 블록에 대한 공간 벡터를 생성하고, 공간 벡터를 이용하여 공간 참조 블록을 구성하며, 공간 참조 블록을 이용하여 타겟 블록의 공간 예측을 생성하는 것을 포함한다.
이미지, 픽셀, 타겟, 공간, 시간, 벡터, 블록

Description

통합된 공간 시간 예측{INTEGRATED SPATIAL-TEMPORAL PREDICTION}
본 발명은 비디오 압축 분야에 관한 것이다.
순차적 비디오 이미지들은 일반적으로 두 가지 방식 중 하나로 비디오 압축 프로세스들에 의해 인코딩된다. 한 가지 방식은 시퀀스에서의 각각의 이미지가 독립적 이미지 또는 정지 이미지로서 자체적으로 인코딩되는 것이다. 이 프로세스는 인코딩 알고리즘이 타겟 이미지 내의 특징들에 대해서만 작동하기 때문에 인트라 인코딩 압축 프로세스(intra-encoding compression process)라고 지칭된다. 비디오 압축을 수행하는, 시간 예측 인코딩이라고 지칭되는 다른 한 방식은 미리 인코딩된 다른 하나의 참조 이미지에 기반하여 타겟 이미지의 움직임을 예측함으로써 소정의 이미지가 인코딩되게 하는 것이다. 이 프로세스는 또한 타겟 이미지와 참조 이미지 사이의 상호 관계로부터 예측이 생성되기 때문에 인터 인코딩(inter-encoding)이라고 지칭되기도 한다.
시간 예측 인코딩 프로세스 동안에, 타겟 이미지 및 참조 이미지는 블록들로 분할된다. 타겟 이미지에서의 블록이 참조 이미지에서의 블록과 유사하다면, 참조 이미지에서의 블록 위치로부터 타겟 이미지에서의 블록 위치로의 블록의 공간 변위, 또는 움직임이 결정된다. 이 변위 정보는 참조 블록이 타겟 블록과 관련되는 움직임 벡터에 저장된다. 참조 블록으로부터 인코딩된 이미지 데이터는 타겟 블록에 대한 이미지 데이터의 예측을 제공한다.
타겟 이미지에서의 타겟 블록들의 대부분에 대해 이미지 데이터가 시간 예측 방법에 의해 예측될 수 있을지라도, 타겟 블록들의 일부는 이 방법에 의해 그다지 잘 예측되지 않을 수 있다. 예를 들어, 타겟 이미지에서의 블록이 참조 이미지에서의 블록과 유사하지 않을 수 있을 것이다. 이 경우에, 참조 이미지들 중 어느 것에도 의존함이 없이 타겟 블록을 인코딩하기 위해 인트라 인코딩 프로세스가 이용된다.
도 1은 시간 예측(또는 인터 인코딩)과 인트라 인코딩 방법들을 모두 이용하여 인코딩된 타겟 이미지의 예를 도시한다. 타겟 이미지(120)에서의 타겟 블록(125)이 움직임 벡터(130)를 이용하여 참조 이미지(110)에서의 유사한 블록(115)에 매칭된다. 그 후, 타겟 블록(115)에서의 이미지 데이터로부터의 디코딩 프로세스 동안에 타겟 블록(125)에 대한 이미지 데이터가 예측된다. 그러므로, 타겟 블록(125)은 시간 예측 방법에 의해 효율적으로 인코딩된다.
그러나, 타겟 블록(140)이 참조 이미지(110)에서 아무런 대응 부분을 갖지 못하기 때문에 타겟 블록(140)은 시간 예측 방법에 의해 인코딩될 수 없다. 그러므로, 타겟 블록(140)은 인트라 블록 인코딩 방법에 의해 인코딩되어야 한다.
일부 블록들은 시간 예측 방법에 의해 더 잘 인코딩되고, 다른 블록들은 인트라 인코딩 방법에 의해 더 잘 인코딩된다. 한 이미지를 인코딩하기 위해 시간 예측 방법과 인트라 인코딩 방법을 모두 이용할 때, 인코더는 각각의 블록에 대해 시간 예측 방법 또는 인트라 인코딩 방법을 이용할지를 판정해야 한다. 그러나, 종래의 시간 예측 방법 및 인트라 인코딩 방법은 상이한 결과들을 생성하므로, 그들 각각의 인코딩된 블록들이 이러한 결정을 할 때 비교하기가 너무 어렵다.
예를 들어, 타겟 블록을 인코딩할 때, 통상적인 비디오 압축 알고리즘들은 그 블록에 대해 시간 예측 방법을 적용할지 또는 인트라 인코딩 방법을 적용할지를 판정하기 위해 도 2에 도시된 판정 시스템(200)을 이용한다. 타겟 블록(210)은 시간 예측 인코딩 방법을 적용하는 시간 예측 로직 디바이스(220)에 의해 인코딩된다. 로직 디바이스(220)는 참조 블록으로부터 타겟 블록(210)으로 인코딩된 이미지 데이터를 매핑하기 위해 움직임 벡터(230)를 결정한다. 시간 예측 로직(220)은 또한 타겟 블록에 대한 이미지 데이터의 예측과 타겟 블록에 대한 실제의 이미지 데이터 사이의 예측 오류(240)를 계산한다. 비트 비용 추정 로직 디바이스(250)는 타겟 블록(210)의 시간적 인코딩에 대한 비트 비용을 생성하기 위해 움직임 벡터(230)를 위한 비트 비용뿐만 아니라, 예측 오류(240)의 비트 비용도 추정한다.
판정 시스템(200)은 또한 인트라 인코딩 프로세스를 이용하여 타겟 블록(210)을 인코딩한다. 인트라 인코딩 로직 디바이스(260)는 타겟 블록에서의 원래 픽셀 값들에 대해 DCT(Discrete Cosine Transform(이산 코사인 변환))을 적용하여 한 세트의 DCT 계수(270)들을 생성한다. 인트라 블록 비트 비용 추정 로직 디바이스(280)는 DCT 계수들을 인코딩하는 비트 비용을 추정한다. 비트 비용 선택 로직 디바이스(290)는 로직 디바이스(250 및 280)들에 의해 생성된 비트 비용들을 비교하고, 비트 비용이 더 작은 인코딩 프로세스를 선택한다.
도 2에 도시된 바와 같이, 시간 예측 프로세스는 움직임 벡터 및 예측 오류를 생성하고, 인트라 인코딩 방법은 한 세트의 DCT 계수들을 생성한다. 양자를 비교하기 위해, 판정 시스템은 더 작은 비트 비용으로 결과를 생성하는 프로세스를 식별하기 전에, 두개의 인코딩 프로세스들을 수행하고난 후 각각의 프로세스로부터의 인코딩된 결과들의 비트 비용을 추정해야 한다. 그러므로, 문제는, 두 프로세스들의 전체적인 결과의 비트 비용들을 추정하지 않고서는, 어떤 특정한 인코딩 프로세스가 더 양호한 비용적 이점을 제공하는지를 판정 시스템이 판정할 수 없다는 것이다.
타겟 이미지에서의 픽셀들의 타겟 블록의 공간 예측을 생성하는 방법은, 픽셀들의 타겟 블록에 대한 공간 벡터를 생성하는 단계와, 공간 벡터를 이용하여 공간 참조 블록을 구성하는 단계와, 공간 참조 블록을 이용하여 타겟 블록의 공간 예측을 생성하는 단계를 포함한다.
도 1은 시간 예측(또는 인터 인코딩) 방법과 인트라 인코딩 방법을 모두 이용하여 인코딩되는 타겟 이미지의 예를 도시한다.
도 2는 한 블록에 대해 시간 예측 방법 또는 인트라 인코딩 방법을 적용할지를 판정하기 위한 판정 시스템의 예를 도시한다.
도 3은 통합된 공간 시간 예측 인코딩 시스템의 한 예를 도시한다.
도 4는 ISTPE(Integrated Spatial-Temporal Predictive Encoding(통합된 공 간 시간 예측 인코딩))를 수행하기 위한 방법의 한 예를 도시한다.
도 5는 ISTPE 방법의 한 실시예를 수행하기 위해 이용되는 DCT 공간 예측 프로세스의 한 예를 도시한다.
도 6은 ISTPE 방법을 이용하는 시스템의 한 예를 도시한다.
아래의 기술에서는, 이 기술의 일부를 이루고 본 발명이 실시될 수 있는 특정한 실시예가 예시적으로 도시된 첨부 도면들에 대한 참조가 이루어진다. 본 발명의 범위로부터 벗어남이 없이 다른 실시예들이 이용될 수 있을 것이고 구조적 변경이 이루어질 수 있을 것임을 알아야 한다. 예를 들어, 숙련된 자들은 다양한 실시예들을 기술하기 위해 이용되는 필드, 프레임, 이미지, 또는 픽쳐라는 용어가 비디오 데이터와 관련하여 이용됨에 있어서 일반적으로 교체 가능한 것임을 알 것이다.
공간 예측 방법은 공간 벡터 및 공간 예측 오류를 생성함으로써 종래의 인트라 인코딩 방법들을 대체한다. 공간 벡터는 움직임 벡터의 구조와 유사한 구조를 갖는다. 결과적으로, 공간 벡터를 인코딩하는 비용은 움직임 벡터를 인코딩하는 비용과 유사하다. 그러므로, ISTPE(Integrated Spatial-Temporal Predictive Encoding(통합된 공간 시간 예측 인코딩)) 방법을 생성하기 위해 공간 예측 방법이 시간 예측 방법과 통합될 수 있다.
시간 예측 방법 및 공간 예측 방법을 통합하기 위해, 오류 기반 선택 프로세스가 두개의 방법들의 예측 오류들을 비교함으로써 어떤 방법을 특정한 타겟 블록에 적용할지를 선택한다. 선택 프로세스는 움직임 벡터 및 시간 예측 오류를 포함하는, 시간 예측 방법에 대한 예측 결과들을 생성시킨다. 선택 프로세스는 또한 공간 벡터 및 공간 예측 오류를 포함하는, 공간 예측 방법에 대한 예측 결과들을 생성시키기도 한다. 움직임 벡터의 인코딩 비용이 공간 벡터의 인코딩 비용과 유사하기 때문에, 선택 프로세스는 공간 예측 오류와 시간 예측 오류를 비교함으로써 어떤 인코딩 방법을 이용할지를 판정한다. 타겟 블록은 예측 오류가 더 작은 예측 방법으로 인코딩된다. 공간 및 시간 예측 방법들의 인코딩된 결과들의 비트 비용을 추정하지 않고 선택이 이루어진다.
시간적 및 공간 예측 방법들이 유사한 예측 및 인코딩 단계들을 갖고, 유사한 출력들을 생성하기 때문에, 통합된 방법을 수행하는 인코더는 적절한 인코딩 방법을 선택함에 있어서 덜 복잡하고 더 정확하다. 통합된 공간 시간 예측 인코딩 시스템(300)의 예가 도 3에 도시되어 있다. 시스템(300)은 오류 기반 선택을 함으로써 어떤 예측 방법을 타겟 블록에 적용할지를 판정한다.
타겟 블록(310)은 시간 예측 로직 디바이스(320)에 의해 시간 예측 프로세스를 이용하여 인코딩된다. 참조 블록을 포인팅하는 움직임 벡터(330)가 로직 디바이스(320)에 의해 생성된다. 로직 디바이스(320)는 참조 블록으로부터의 인코딩된 이미지 데이터를 이용하여 타겟 블록에 대한 이미지 데이터를 예측한다. 그 후, 타겟 블록에 대한 예측된 이미지 데이터와 타겟 블록에 대한 실제의 이미지 데이터 사이의 차이인 시간 예측 오류(340)가 로직 디바이스(320)에 의해 계산된다.
타겟 블록(310)은 또한 타겟 블록에 대한 공간 벡터(360)를 생성하는 공간 예측 로직 디바이스(350)에 의해 인코딩된다. 로직 디바이스(350)는 공간 벡터를 이용하여 공간 참조 블록을 구성한다. 로직 디바이스(350)는 공간 참조 블록을 이용하여 타겟 블록에 대한 이미지 데이터를 예측한다. 그 후, 로직 디바이스(350)는 공간적으로 예측된 이미지 데이터와 실제의 이미지 데이터 사이의 공간 예측 오류(370)를 계산한다.
시간 예측 오류(340)와 공간 예측 오류(370)는 더 작은 오류를 갖는 인코딩 방법을 타겟 블록(310)에 대해 이용하기에 적절한 인코딩 방법으로서 선택하는 통합된 공간 시간 선택 로직 디바이스(380)에 의해 비교된다.
도 3에 도시된 바와 같이, 공간 예측 로직 디바이스(350)는 시간 예측 로직 디바이스(320)의 출력과 유사한, 공간 벡터(360) 및 공간 예측 오류(370) 등과 같은 출력을 생성한다. 타겟 블록을 인코딩하기 위한 시간 예측 방법 또는 공간 예측 방법을 선택할 때, 인코더 시스템(300)은 시간적 및 공간 예측들의 비트 비용들을 추정하지 않고 시간적 및 공간 예측들의 예측 오류들을 직접 비교함으로써 결정할 수 있다. 결과적으로, 결정하는 복잡도가 감소된다. 이것은 공간 예측 방법이 시간 예측 방법과 용이하게 통합되게 하여, ISTPE를 수행하는 시스템을 제공하는 것을 가능하게 한다.
또한, ISTPE 시스템에 의해 생성된 예측 오류들은 넌-블록 기반 프로세스(non-block based process)에 의해 인코딩될 수 있다. 이것은 인터 인코딩된(또는 시간적으로 예측된) 블록들에 대한 예측 오류만을 생성하는 종래의 인터 인코딩 방법 및 인트라 인코딩 방법과 대조적이다. 그러므로, 이러한 종래의 예측 오류들은 블록별로(예를 들어, 블록 기반 DCT 방법들에 의해) 인코딩되어야 한다. ISPTE 프로세스는 공간적으로 예측될 뿐만 아니라, 시간적으로 예측된 타겟 블록들에 대한 예측 오류들을 생성한다. 그래서, 두 가지 방법들에 의해 생성된 예측 오류들이 수집되고 넌-블록 기반 변환(예를 들어, 웨이브릿 변환)을 이용하여 인코딩될 수 있다.
타겟 이미지에 대해 ISTPE를 수행하기 위한 방법이 도 4에 도시되어 있다. 단계(410)에서, 타겟 이미지에 대한 시간적 참조 이미지를 수신한다. 이미 인코딩된 시간적 참조 이미지들은 단일 또는 다수의 참조 이미지들일 수 있다.
단계(420)에서, 타겟 블록들에 대한 형상 패턴을 선택하여 예측될 타겟 이미지에 적용한다. 형상 패턴은 고정 블록 패턴(예를 들어, MPEG-1/2에서 이용되는 패턴) 또는 가변 블록 패턴(예를 들어, MPEG-AVC/H.264에서 이용되는 패턴)일 수 있다. 단계(420)에서는, 선택된 패턴이 타겟 이미지에 적용되어 타겟 블록이라고 지칭되는 한 세트의 블록(또는 다른 형상)들을 생성한다. 각각의 타겟 블록은 시간적 또는 공간 참조 블록으로부터 함께 예측될 타겟 이미지에서의 최소 그룹의 픽셀들이며, 예를 들어, 한 타겟 블록에서의 모든 픽셀들이 동일한 움직임 벡터 또는 공간 벡터를 공유한다.
단계(425)에서, 타겟 블록들 중 하나가 인코딩을 위해 선택된다. 단계(430)에서, 시간 예측 방법이 선택된 타겟 블록에 적용되어 참조 블록을 포인팅하는 움직임 벡터를 생성시킨다. 당 기술 분야에서 숙련된 자들에게 알려진 종래의 움직임 추정 절차들이 참조 블록을 식별하고 움직임 벡터를 결정하기 위해 이용될 수 있다. 예를 들어, 움직임 벡터가 타겟 블록과 참조 블록 사이의 변위(또는 움직임)로부터 계산될 수 있다. 단계(435)에서, 참조 블록에서의 인코딩된 이미지 데이터가 타겟 블록에 대한 이미지 데이터의 시간 예측을 생성하기 위해 이용된다.
단계(440)에서, 공간 예측 방법이 선택된 타겟 블록에 적용되어 타겟 블록에 대한 공간 벡터를 생성한다. 공간 벡터는 공간 참조 블록이라고 지칭되는 대략적 버전(coarse version)의 타겟 블록을 생성하기 위한 한 세트의 데이터이다. 단계(450)에서, 공간 벡터를 이용하여 공간 참조 블록이 구성된다. 공간 벡터를 생성하고 공간 참조 블록을 구성하는 상이한 방법이 이용될 수 있다. 한 실시예에서는, DCT-SP(Discrete Cosine Transform Spatial Prediction) 프로세스가 공간 벡터를 생성하고 대응하는 공간 참조 블록을 구성하기 위해 이용된다. DCT-SP 프로세스의 한 예가 아래에서 설명된다.
단계(455)에서, 공간 참조 블록을 이용하여 타겟 블록에 대한 이미지 데이터의 공간 예측을 생성한다.
단계(460)에서, 선택 함수는, 타겟 블록을 인코딩하는 데 이용할 예측 방법을 선택한다. 이 선택은 시간 예측 방법과 공간 예측 방법의 예측 오류들을 비교함으로써 이루어진다. 시간 예측 오류는 블록의 실제의 픽셀 값들로부터 블록에 대한 픽셀 값들의 시간 예측을 감산함으로써 생성된다. 마찬가지로, 공간 예측 오류는 실제의 값들로부터 픽셀 값들의 공간 예측을 감산함으로써 생성된다. 일반적으로, 선택 함수는 시간 예측 오류와 공간 예측 오류를 계산하고, 두개의 오류들을 비교하며, 더 작은 예측 오류를 갖는 방법을 선택한다. 한 실시예에서는, 선택 함수가 시간 예측과 타겟 예측 모두를 위한 타겟 블록의 예측 왜곡(prediction distortion)의 값을 결정하고, 더 작은 예측 왜곡을 갖는 인코딩 방법을 선택한다.
한 블록의 예측 왜곡의 예는 아래의 수학식 1과 같다.
Figure 112008026787912-pct00001
여기에서, x,y∈B는 블록(또는 형상) B에 있는 모든 픽셀들을 지칭하고, vx,y 는 타겟 픽쳐에서의 원래의 픽셀 값이며,
Figure 112011064286091-pct00002
은 그 타겟 픽셀의 예측된 값이다.
단계(435)로부터의 시간 예측이 수학식 1에 입력되어 시간 예측 왜곡을 생성할 수 있다. 단계(455)로부터의 공간 예측도 수학식 1에 적용되어 공간 예측 왜곡을 생성할 수 있다. 그래서, 수학식 1은 시간적 및 공간 예측에 대한 예측 왜곡들을 생성하는 데에 이용될 수 있다. 그 후, 두개의 예측 왜곡들이 용이하게 비교되어 적절한 인코딩 방법을 선택한다.
예측 왜곡의 다른 한 예는 예측 오류의 절대 값의 합이다.
Figure 112008026787912-pct00003
사용자는 타겟 블록에 대해 시간 예측 방법을 이용할지 또는 공간 예측 방법을 이용할지를 판정하기 위해 단계(460)에서 이용될 수학식 1, 수학식 2 또는 다른 한 함수를 선택할 수 있다.
단계(470)에서, (단계(460)에서 선택된 공간 또는 시간 인코딩으로부터의) 최종 타겟 블록 예측 오류가 적절한 인코딩 방법을 이용하여 블록과 함께 인코딩될 수 있다. 대안적으로, 타겟 이미지에서의 각각의 타겟 블록이 예측 및 인코딩된 후, 모든 타겟 블록들에 대한 예측 오류들이 함께 인코딩될 수 있다.
단계(480)에서, 이미지 내의 다른 타겟 블록이 인코딩될 필요가 있다면, 프로세스는 단계(425)로 복귀되고, 그렇지 않으면, 프로세스는 단계(490)에서 종료된다.
더 자세하게는, 도 4의 단계(440) 및 단계(450)를 참고하면, 공간 벡터를 생성하고 공간 참조 블록을 구성하는 방법의 한 예가 도 5에 도시되어 있다. 이 예시적 방법은 공간 벡터를 생성하고 DCT(Discrete Cosine Transform(이산 코사인 변환)) 블록 변환을 이용하여 공간 벡터에 대응하는 공간 참조 블록을 구성한다.
단계(440)에서, 아래의 함수들을 수행함으로써 공간 벡터가 생성된다. 단계(510)에서, 타겟 이미지 내의 타겟 블록이 수신된다. 단계(515)에서, 변환 계수들이 생성된다. 예를 들어, X를 타겟 블록을 나타내는 행렬이라고 하고, 행렬에서의 각각의 요소를 그 블록에서의 픽셀 값이라고 하자. 변환 계수 행렬 C를 얻기 위해 행렬 X에 대한 블록 변환(예를 들어, DCT)이 수행된다.
단계(517)에서, 행렬 C를 양자화하는 양자화 함수 q가 제어 파라미터로서 방법에 입력된다. 양자화 함수의 값은 사용자에 의해 정해지거나 또는 인코더에 의해 설정될 수 있다. 단계(520)에서, 행렬 C에서의 각각의 계수가 양자화되어, 양자화된 행렬 C’를 생성한다.
단계(522)에서, 선택할 계수들의 수 NC 및 그들의 대응하는 행렬 위치들이 일부 실시예들에서 제어 파라미터들로서 사용자에 의해 입력되거나 또는 인코더에 의해 설정될 수 있다. 일반적으로, 계수들의 수 NC 는 공간 벡터에서의 계수 요소들의 수가 움직임 벡터에서의 요소들의 수와 유사하도록 선택된다. 그 결과, 두개의 방법들의 인코딩 효율은 두개의 벡터들의 인코딩 비용들을 무시하는 함수에 의해 비교될 수 있다.
단계(525)에서, 계수 행렬 C’ 내의 소정의 위치들에서 NC 개의 계수들을 선택한다. 한 실시예에서는, 프로세스가 계수 행렬 C’의 상좌측 코너에 배치된 NC 개의 계수들을 선택한다.
단계(530)에서, NC 개의 양자화된 수들을 이용하여 이 타겟 블록에 대한 공간 벡터 S를 생성한다. 이 공간 벡터는 대응하는 타겟 블록에 대한 공간 참조 블록을 생성하는데 이용될 수 있다.
단계(450)에서는, 단계(560)에서 소정의 타겟 블록에 대한 공간 벡터 S를 먼저 수신하여 공간 참조 블록이 구성된다. 공간 벡터는 NC 개의 요소들을 포함한다. 단계(565)에서, 공간 벡터로부터 타겟 블록에 대한 블록 변환 계수들의 행렬을 구성한다. 한 실시예에서는, 이는 모든 계수들을 영(zero)으로 처음 설정함으로써 이루어진다. 그 후, 공간 벡터 S로부터의 계수들의 값들이 행렬에서 그들의 이전의 위치들에 복원된다. NC 개의 계수들이 복원되기 때문에, 결과는 행렬
Figure 112011064286091-pct00004
이다. 계수들의 행렬 위치들은 앞서 설명했듯이 단계(522)에서 시스템 파라미터로서 방법에 입력될 수 있다.
단계(570)에서,
Figure 112011064286091-pct00005
(양자화 함수는 앞서 설명했듯이 단계(517)에서 시스템 파라미터로서 방법에 입력될 수 있음)에서의 각각의 계수를 역 양자화하여 계수 행렬
Figure 112011064286091-pct00006
를 생성한다. 단계(575)에서,
Figure 112011064286091-pct00007
에 대한 역 변환이 수행된다. 결과는 원본 타겟 블록 X을 예측하는데 이용되는 공간 참조 블록
Figure 112011064286091-pct00008
이다.
단계(580)에서, 공간 예측 방법이 다른 한 타겟 블록에 대해 수행될 필요가 있으면, 단계(510)으로 복귀함으로써 프로세스가 반복된다. 그렇지 않으면, 프로세스가 단계(590)에서 종료된다.
도 5에 도시된 방법은 시간적 참조 블록 및 움직임 벡터의 아키텍처 및 기능과 유사한 아키텍처 및 기능을 갖는 공간 참조 블록 및 그 대응하는 공간 벡터를 생성한다. 예를 들어, 시간적 참조 블록은 그 움직임 벡터에 의해 식별된다. 예를 들어, 시간적 참조 블록은 그 움직임 벡터에 의해 식별되고, 공간 참조 블록은 그 공간 벡터로부터 구성된다. 도 5의 방법에 의해 생성된 공간 벡터는 움직임 벡터에서의 요소들의 수와 유사한 요소들의 수를 갖는다. 유사한 요소들의 수에 의해, 타겟 블록에 적용할 예측 방법을 결정할 때, 벡터를 인코딩하기 위해 필요한 비트 수인 각각의 벡터의 인코딩 비용이 무시될 수 있다. 그러므로, 두개의 예측 블록들의 예측 오류들을 비교함으로써 인코딩 결정이 용이하게 이루어질 수 있다.
이제 도 5의 방법을 이용하여 공간 예측을 수행하는 예가 설명된다. 이 예에서는, 타겟 블록이 4×4 크기의 크기를 갖고, 예를 들어, 그것이 4 행 및 4 열의 픽셀들을 갖는다고 하자. 일반적으로, DCT는 예를 들어, 8×8 또는 4×8인 소정 크기의 직사각형 블록에 적용될 수 있다. X를 타겟 블록에서의 원래 픽셀 값들의 행렬(실제의 이미지로부터 얻어진 데이터)라 하고, 이 예에서는 아래와 같다고 하자.
Figure 112008026787912-pct00009
행렬 X에 2차원 DCT 변환을 적용하여 아래와 같은 DCT 계수 행렬을 생성시킨다.
Figure 112008026787912-pct00010
C에서의 DCT 계수들에 양자화 함수를 적용하고, 예를 들어, C에서의 각각의 요소를 값 q로 나눈 후, 최근접 정수로 사사오입한다(이 예에서는 q=10).
Figure 112008026787912-pct00011
NC =3이라고 설정하여 공간 벡터가 3개의 요소들을 갖게 한다. 3개의 요소들의 위치는 상좌측 코너에 있다. 그 후, C’에서의 상좌측 코너에서 3개의 양자화된 계수들을 선택한다. 일반적으로, 계수들의 수 NC 뿐만 아니라, 그 위치들은 사용자에 의해 자유 파라미터(free parameter)로서 정해질 수 있다. 이 예에서는, C’에서 선택된 계수들이 44,13,10이다.
이제, 선택된 계수들을 이용하여 타겟 블록에 대한 공간 벡터를 생성한다.
S=[44,13,10].
행렬 C’에서의 모든 다른 요소들은 버려진다.
공간 참조 블록을 구성하기 위해, 먼저 공간 벡터 S로부터 계수 행렬
Figure 112011064286091-pct00012
을 생성한다. 이것은 (i)
Figure 112011064286091-pct00013
에서의 모든 요소들을 0으로 설정하고, (ii) 공간 벡터 S로부터 선택된 계수들을 행렬에서의 그들의 이전의 위치들에 복원함으로써 이루어진다.
Figure 112008026787912-pct00014
그 후, 예를 들어, 행렬
Figure 112008026787912-pct00015
에 q=10을 곱함으로써 행렬
Figure 112008026787912-pct00016
에 대한 역 양자화를 수행한다.
Figure 112008026787912-pct00017
행렬
Figure 112011064286091-pct00018
에 대해 역 DCT를 적용하여 공간 참조 블록
Figure 112011064286091-pct00019
에 대한 픽셀 값들을 생성한다.
Figure 112008026787912-pct00020
공간 참조 블록
Figure 112011064286091-pct00021
에서의 픽셀 값들은 타겟 블록 X에 대한 픽셀 값들을 예측하는 데에 이용된다. 공간 예측 오류는 타겟 블록에 대한 실제의 픽셀 값에서 예측된 픽셀 값들을 뺀 것이다.
Figure 112008026787912-pct00022
이 경우에는 아래와 같다.
Figure 112008026787912-pct00023
공간 예측 인코딩 방법은 비디오 압축 애플리케이션에서의 종래의 인트라 코딩 방법을 대체할 수 있다. 시간 예측 코딩과의 그 통합은 예를 들어, MPEG인 비디오 압축 애플리케이션에서의 이미지들의 전체 시퀀스를 인코딩하는 데에 적용될 수 있는 통합된 공간 시간 예측 인코딩 방법을 만들어낸다.
도 6은 ISTPE 방법을 이용한 시스템의 한 예를 도시한다. 디지털 비디오 카메라(610)는 전자적 형태로 이미지들을 획득하고, 압축 및 인코딩 프로세스 동안에 ISTPE 방법을 구현하는 압축 디바이스(620)를 이용하여 이미지들을 처리한다. 인코딩된 이미지들은 전자적 전송 매체(630)를 통해 디지털 재생 디바이스(640)로 보내진다. 이미지들은 디코딩 프로세스 동안에 이 ISTPE 방법을 이용하는 디코딩 디바이스(650)에 의해 디코딩된다. 카메라(610)는 본 발명의 실시예들을 포함하는 다양한 이미지 처리 장치(예를 들어, 다른 이미지 획득 디바이스, 이미지 편집기, 이미지 프로세서, 개인용 및 상업용 컴퓨팅 플랫폼, 등)들의 예이다. 마찬가지로, 디코딩 디바이스(650)는 이미지 데이터를 디코딩하는 다양한 디바이스들의 예이다.
본 발명이 특정한 시스템 환경에서의 예시적 실시예들에 비추어 기술되지만, 당 기술분야에서 통상적인 지식을 가진 자들은 본 발명이 첨부된 특허청구의 범위의 사상 및 범위 내에서 다른 상이한 하드웨어 및 소프트웨어 환경에서 각종 방법으로 실시될 수 있음을 알 것이다.

Claims (21)

  1. 전자 데이터 프로세서에 의해 수행되는 공간 시간 예측 방법으로서,
    픽셀들의 타겟 블록에 대한 공간 벡터를 생성하는 단계,
    상기 공간 벡터를 이용하여 공간 참조 블록을 구성하는 단계,
    상기 공간 참조 블록을 이용하여 상기 타겟 블록의 공간 예측을 생성하는 단계,
    공간 예측 오류 및 시간 예측 오류를 생성하는 단계, 및
    상기 공간 예측 오류를 이용하여 상기 공간 참조 블록을 인코딩할지를 판정하는 단계
    를 포함하는, 전자 데이터 프로세서에 의해 수행되는 공간 시간 예측 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 공간 참조 블록을 인코딩할지를 판정하는 단계는,
    상기 공간 예측 오류를 상기 시간 예측 오류와 비교하는 단계, 및
    상기 공간 예측 오류가 상기 시간 예측 오류보다 작으면 상기 공간 참조 블록을 인코딩하는 단계를 포함하는, 전자 데이터 프로세서에 의해 수행되는 공간 시간 예측 방법.
  4. 제1항에 있어서,
    상기 공간 벡터를 생성하는 단계는 이산 코사인 변환 공간 예측 방법을 수행하는 단계를 포함하는, 전자 데이터 프로세서에 의해 수행되는 공간 시간 예측 방법.
  5. 제4항에 있어서,
    상기 이산 코사인 변환 공간 예측 방법은,
    상기 타겟 블록에 대한 픽셀 값들의 행렬을 생성하는 단계,
    상기 행렬에 이산 코사인 변환 함수를 적용하여 이산 코사인 변환 계수 행렬을 생성하는 단계,
    상기 이산 코사인 변환 계수 행렬에 양자화 함수를 적용하는 단계, 및
    양자화된 계수들의 수를 상기 공간 벡터의 요소들로서 선택하는 단계를 포함하는, 전자 데이터 프로세서에 의해 수행되는 공간 시간 예측 방법.
  6. 제5항에 있어서,
    상기 공간 벡터를 이용하여 공간 참조 블록을 구성하는 단계는,
    상기 공간 벡터를 이용하여, 양자화된 이산 코사인 변환 계수들의 행렬을 생성하는 단계,
    상기 양자화된 이산 코사인 변환 계수들의 행렬에 역 양자화 함수를 적용하여 이산 코사인 변환 계수들의 행렬을 생성하는 단계, 및
    상기 이산 코사인 변환 계수들의 행렬에 역 이산 코사인 변환 함수를 적용하여 픽셀 값들의 행렬을 갖는 상기 공간 참조 블록을 생성하는 단계를 포함하는, 전자 데이터 프로세서에 의해 수행되는 공간 시간 예측 방법.
  7. 제6항에 있어서,
    상기 공간 참조 블록을 이용하여 상기 타겟 블록의 공간 예측을 생성하는 단계는 상기 픽셀 값들의 행렬을 이용하여 상기 타겟 블록의 값들을 예측하는 단계를 포함하는, 전자 데이터 프로세서에 의해 수행되는 공간 시간 예측 방법.
  8. 픽셀들의 타겟 블록에 대한 공간 벡터를 생성하는 공간 벡터 생성기,
    상기 공간 벡터를 이용하여 공간 참조 블록을 구성하는 공간 참조 블록 구성기,
    상기 공간 참조 블록을 이용하여 상기 타겟 블록의 공간 예측을 생성하는 공간 예측기,
    공간 예측 오류 및 시간 예측 오류를 생성하는 예측 오류 생성기, 및
    상기 공간 예측 오류를 이용하여 상기 공간 참조 블록을 인코딩할지를 판정하는 판정 로직
    을 포함하는, 장치.
  9. 삭제
  10. 제8항에 있어서,
    상기 판정 로직은,
    상기 공간 예측 오류를 상기 시간 예측 오류와 비교하는 비교기, 및
    상기 공간 예측 오류가 상기 시간 예측 오류보다 더 작으면 상기 공간 참조 블록을 인코딩하는 인코더를 포함하는, 장치.
  11. 제8항에 있어서,
    상기 공간 벡터 생성기는 이산 코사인 변환 공간 예측 함수를 수행하는 이산 코사인 변환 로직을 포함하는, 장치.
  12. 제11항에 있어서,
    상기 이산 코사인 변환 로직은,
    상기 타겟 블록에 대한 픽셀 값들의 행렬을 생성하는 행렬 생성기,
    상기 행렬을 이용하여 이산 코사인 변환 계수 행렬을 생성하는 이산 코사인 변환 계수 생성기,
    상기 이산 코사인 변환 계수 행렬에 양자화 함수를 적용하는 양자화 디바이스, 및
    양자화된 계수들의 수를 상기 공간 벡터의 요소들로서 선택하는 선택 디바이스를 포함하는, 장치.
  13. 제12항에 있어서,
    상기 공간 참조 블록 구성기는,
    상기 공간 벡터를 이용하여, 양자화된 이산 코사인 변환 계수들의 행렬을 생성하는 공간 벡터 디코더,
    상기 양자화된 이산 코사인 변환 계수들의 행렬에 역 양자화 함수를 적용하여 이산 코사인 변환 계수들의 행렬을 생성하는 역 양자화 디바이스, 및
    상기 이산 코사인 변환 계수들의 행렬에 역 이산 코사인 변환 함수를 적용하여 픽셀 값들의 행렬을 갖는 상기 공간 참조 블록을 생성하는 역 이산 코사인 변환 디바이스를 포함하는, 장치.
  14. 제13항에 있어서,
    상기 공간 예측기는, 상기 공간 참조 블록으로부터 상기 픽셀 값들의 행렬을 이용하여 상기 타겟 블록의 픽셀 값들을 예측하는 참조 블록 디코더를 포함하는, 장치.
  15. 처리 시스템에 의해 실행될 때 상기 시스템이 방법을 수행하게 하는 명령어의 프로그램을 저장하는 컴퓨터 판독 가능 매체로서,
    상기 방법은,
    픽셀들의 타겟 블록에 대한 공간 벡터를 생성하는 단계,
    상기 공간 벡터를 이용하여 공간 참조 블록을 구성하는 단계,
    상기 공간 참조 블록을 이용하여 상기 타겟 블록의 공간 예측을 생성하는 단계,
    공간 예측 오류 및 시간 예측 오류를 생성하는 단계, 및
    상기 공간 예측 오류를 이용하여 상기 공간 참조 블록을 인코딩할지를 판정하는 단계
    를 포함하는, 컴퓨터 판독 가능 매체.
  16. 삭제
  17. 제15항에 있어서,
    상기 공간 참조 블록을 인코딩할지를 판정하는 단계는,
    상기 공간 예측 오류를 상기 시간 예측 오류와 비교하는 단계, 및
    상기 공간 예측 오류가 상기 시간 예측 오류보다 작으면 상기 공간 참조 블록을 인코딩하는 단계를 포함하는, 컴퓨터 판독 가능 매체.
  18. 제15항에 있어서,
    상기 공간 벡터를 생성하는 단계는 이산 코사인 변환 공간 예측 방법을 수행하는 단계를 포함하는, 컴퓨터 판독 가능 매체.
  19. 제18항에 있어서,
    상기 이산 코사인 변환 공간 예측 방법은,
    상기 타겟 블록에 대한 픽셀 값들의 행렬을 생성하는 단계,
    상기 행렬에 이산 코사인 변환 함수를 적용하여 이산 코사인 변환 계수 행렬을 생성하는 단계,
    상기 이산 코사인 변환 계수 행렬에 양자화 함수를 적용하는 단계, 및
    양자화된 계수들의 수를 상기 공간 벡터의 요소들로서 선택하는 단계를 포함하는, 컴퓨터 판독 가능 매체.
  20. 제19항에 있어서,
    상기 공간 벡터를 이용하여 공간 참조 블록을 구성하는 단계는,
    상기 공간 벡터를 이용하여 양자화된 이산 코사인 변환 계수들의 행렬을 생성하는 단계,
    상기 양자화된 이산 코사인 변환 계수들의 행렬에 역 양자화 함수를 적용하여 이산 코사인 변환 계수들의 행렬을 생성하는 단계, 및
    상기 이산 코사인 변환 계수들의 행렬에 역 이산 코사인 변환 함수를 적용하여 픽셀 값들의 행렬을 갖는 상기 공간 참조 블록을 생성하는 단계를 포함하는, 컴퓨터 판독 가능 매체.
  21. 제20항에 있어서,
    상기 공간 참조 블록을 이용하여 상기 타겟 블록의 공간 예측을 생성하는 단계는 상기 픽셀 값들의 행렬을 이용하여 상기 타겟 블록의 픽셀 값들을 예측하는 단계를 포함하는, 컴퓨터 판독 가능 매체.
KR1020087009014A 2005-09-16 2006-08-30 통합된 공간 시간 예측 Expired - Fee Related KR101274804B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/228,599 2005-09-16
US11/228,599 US7620108B2 (en) 2005-09-16 2005-09-16 Integrated spatial-temporal prediction
PCT/US2006/034091 WO2007037912A2 (en) 2005-09-16 2006-08-30 Integrated spatial-temporal prediction

Publications (2)

Publication Number Publication Date
KR20080048071A KR20080048071A (ko) 2008-05-30
KR101274804B1 true KR101274804B1 (ko) 2013-06-13

Family

ID=37884043

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087009014A Expired - Fee Related KR101274804B1 (ko) 2005-09-16 2006-08-30 통합된 공간 시간 예측

Country Status (6)

Country Link
US (1) US7620108B2 (ko)
EP (1) EP1925160A4 (ko)
JP (1) JP5078895B2 (ko)
KR (1) KR101274804B1 (ko)
CN (1) CN101584215B (ko)
WO (1) WO2007037912A2 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8233535B2 (en) * 2005-11-18 2012-07-31 Apple Inc. Region-based processing of predicted pixels
DE102005061690A1 (de) * 2005-12-21 2007-07-05 Solmic Gmbh Verfahren zur Herstellung solartauglichen Siliziums
US8296662B2 (en) * 2007-02-05 2012-10-23 Brother Kogyo Kabushiki Kaisha Image display device
CA2684110A1 (en) * 2007-04-12 2008-10-23 Nokia Corporation Spatially enhanced transform coding
CN104220979B (zh) * 2009-05-27 2017-08-25 章寅 时空压缩感知方法及装置
GB2487200A (en) 2011-01-12 2012-07-18 Canon Kk Video encoding and decoding with improved error resilience
GB2488815C (en) 2011-03-09 2018-03-28 Canon Kk Video decoding
GB2491589B (en) 2011-06-06 2015-12-16 Canon Kk Method and device for encoding a sequence of images and method and device for decoding a sequence of image
US8670782B2 (en) 2011-06-10 2014-03-11 International Business Machines Corporation Systems and methods for analyzing spatiotemporally ambiguous events
US9571833B2 (en) * 2011-11-04 2017-02-14 Nokia Technologies Oy Method for coding and an apparatus
US9020294B2 (en) 2012-01-18 2015-04-28 Dolby Laboratories Licensing Corporation Spatiotemporal metrics for rate distortion optimization
US9621902B2 (en) * 2013-02-28 2017-04-11 Google Inc. Multi-stream optimization
CN114501020B (zh) * 2016-08-21 2025-04-08 上海天荷电子信息有限公司 使用最近运动矢量和邻近运动矢量的图像压缩方法和装置
EP3685576A1 (en) * 2017-09-22 2020-07-29 V-Nova International Limited Obtaining a target representation of a time sample of a signal

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466624B1 (en) 1998-10-28 2002-10-15 Pixonics, Llc Video decoder with bit stream based enhancements
US6782054B2 (en) * 2001-04-20 2004-08-24 Koninklijke Philips Electronics, N.V. Method and apparatus for motion vector estimation

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3877105D1 (ko) 1987-09-30 1993-02-11 Siemens Ag, 8000 Muenchen, De
US5047850A (en) 1989-03-03 1991-09-10 Matsushita Electric Industrial Co., Ltd. Detector for detecting vector indicating motion of image
US5872866A (en) * 1995-04-18 1999-02-16 Advanced Micro Devices, Inc. Method and apparatus for improved video decompression by predetermination of IDCT results based on image characteristics
US5654771A (en) 1995-05-23 1997-08-05 The University Of Rochester Video compression system using a dense motion vector field and a triangular patch mesh overlay model
GB9519923D0 (en) 1995-09-29 1995-11-29 Philips Electronics Nv Motion estimation for predictive image coding
ES2182972T3 (es) 1996-04-19 2003-03-16 Nokia Corp Codificador y descodificador de video utilizando procedimientos de segmentacion y fusion de movimiento.
US6101276A (en) 1996-06-21 2000-08-08 Compaq Computer Corporation Method and apparatus for performing two pass quality video compression through pipelining and buffer management
JP3967405B2 (ja) 1996-10-09 2007-08-29 テキサス インスツルメンツ インコーポレイテツド 画像信号の符号化方法
JP4034380B2 (ja) 1996-10-31 2008-01-16 株式会社東芝 画像符号化／復号化方法及び装置
DE19648016A1 (de) 1996-11-20 1998-05-28 Philips Patentverwaltung Verfahren zur fraktalen Bildkodierung und Anordnung zur Durchführung des Verfahrens
CN1217852A (zh) 1997-02-13 1999-05-26 三菱电机株式会社 动态图象预测方式
US6178205B1 (en) 1997-12-12 2001-01-23 Vtel Corporation Video postfiltering with motion-compensated temporal filtering and/or spatial-adaptive filtering
US6208692B1 (en) 1997-12-31 2001-03-27 Sarnoff Corporation Apparatus and method for performing scalable hierarchical motion estimation
US6591015B1 (en) 1998-07-29 2003-07-08 Matsushita Electric Industrial Co., Ltd. Video coding method and apparatus with motion compensation and motion vector estimator
KR100301833B1 (ko) * 1998-08-20 2001-09-06 구자홍 오류은폐방법
US6711278B1 (en) 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
JP2000308064A (ja) 1999-04-22 2000-11-02 Mitsubishi Electric Corp 動きベクトル検出装置
US6480615B1 (en) 1999-06-15 2002-11-12 University Of Washington Motion estimation within a sequence of data frames using optical flow with adaptive gradients
JP3753578B2 (ja) 1999-12-07 2006-03-08 Ｎｅｃエレクトロニクス株式会社 動きベクトル探索装置および方法
US6864994B1 (en) 2000-01-19 2005-03-08 Xerox Corporation High-speed, high-quality descreening system and method
JP2003530789A (ja) 2000-04-11 2003-10-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ符号化及び復号方法
WO2002037859A2 (en) 2000-11-03 2002-05-10 Compression Science Video data compression system
CN1297148C (zh) * 2001-08-28 2007-01-24 株式会社Ntt都科摩 动画图像编码传送系统、动画图像编码传送方法、该系统和方法使用的适合的编码装置、译码装置、编码方法、译码方法以及程序
JP3807342B2 (ja) * 2002-04-25 2006-08-09 三菱電機株式会社 デジタル信号符号化装置、デジタル信号復号装置、デジタル信号算術符号化方法、およびデジタル信号算術復号方法
CN100452668C (zh) 2002-07-09 2009-01-14 诺基亚有限公司 用于在视频编码中选择插值滤波器类型的方法和系统
US7068722B2 (en) 2002-09-25 2006-06-27 Lsi Logic Corporation Content adaptive video processor using motion compensation
JP4462823B2 (ja) 2002-11-20 2010-05-12 ソニー株式会社 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
JP3997171B2 (ja) 2003-03-27 2007-10-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
CN1212014C (zh) * 2003-08-18 2005-07-20 北京工业大学 基于时空域相关性快速运动估计的视频编码方法
JP2005151017A (ja) * 2003-11-13 2005-06-09 Sharp Corp 画像符号化装置
US7480334B2 (en) 2003-12-23 2009-01-20 Genesis Microchip Inc. Temporal motion vector filtering
KR20050075483A (ko) 2004-01-15 2005-07-21 삼성전자주식회사 비디오 코딩 및 디코딩 방법, 및 이를 위한 장치
JP4257789B2 (ja) * 2004-02-27 2009-04-22 Ｋｄｄｉ株式会社 動画像符号化装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466624B1 (en) 1998-10-28 2002-10-15 Pixonics, Llc Video decoder with bit stream based enhancements
US6782054B2 (en) * 2001-04-20 2004-08-24 Koninklijke Philips Electronics, N.V. Method and apparatus for motion vector estimation

Also Published As

Publication number Publication date
CN101584215B (zh) 2011-09-21
JP2009509403A (ja) 2009-03-05
WO2007037912A3 (en) 2009-05-07
KR20080048071A (ko) 2008-05-30
WO2007037912A2 (en) 2007-04-05
EP1925160A2 (en) 2008-05-28
CN101584215A (zh) 2009-11-18
JP5078895B2 (ja) 2012-11-21
US7620108B2 (en) 2009-11-17
EP1925160A4 (en) 2011-01-26
US20070064797A1 (en) 2007-03-22

Similar Documents

Publication Publication Date Title
KR101274804B1 (ko) 통합된 공간 시간 예측
US11546627B2 (en) Moving picture decoding method and moving picture encoding method
CN104067619B (zh) 视频解码器、视频解码方法以及视频解码程序的记录介质
US8244048B2 (en) Method and apparatus for image encoding and image decoding
CN101325715B (zh) 亮度补偿方法和装置及编码和解码图像的方法和装置
MX2013000372A (es) Intraprediccion de baja comlejidad para la codificacion de video.
JP4074868B2 (ja) 画像符号化制御方法及びその装置
JP4494803B2 (ja) 動き補償に基づいた改善されたノイズ予測方法及びその装置とそれを使用した動画符号化方法及びその装置
US8792549B2 (en) Decoder-derived geometric transformations for motion compensated inter prediction
KR20120058584A (ko) 이미지들의 시퀀스를 코딩하는 방법
JP5358485B2 (ja) 画像符号化装置
JP5952733B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体
JP6004852B2 (ja) ピクセルブロックを符号化及び再構成する方法と装置
JP2006237765A (ja) 画像符号化装置

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20080415

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20110819

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20130124

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20130509

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20130607

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20130607

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20170509