KR100887524B1 - 모션 정보 코딩 및 디코딩 방법 - Google Patents

모션 정보 코딩 및 디코딩 방법 Download PDF

Info

Publication number
KR100887524B1
KR100887524B1 KR1020027013631A KR20027013631A KR100887524B1 KR 100887524 B1 KR100887524 B1 KR 100887524B1 KR 1020027013631 A KR1020027013631 A KR 1020027013631A KR 20027013631 A KR20027013631 A KR 20027013631A KR 100887524 B1 KR100887524 B1 KR 100887524B1
Authority
KR
South Korea
Prior art keywords
motion vector
current
block
predictor
spatial
Prior art date
Application number
KR1020027013631A
Other languages
English (en)
Other versions
KR20020093032A (ko
Inventor
빈센트 보트레유
비트리세 페스퀴-포페스크
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20020093032A publication Critical patent/KR20020093032A/ko
Application granted granted Critical
Publication of KR100887524B1 publication Critical patent/KR100887524B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Control Of Electric Motors In General (AREA)

Abstract

본 발명은 이미지 시퀀스에 연관된 모션 정보를 코딩하는 방법에 관한 것으로, 각각의 이미지를 블록들로 세분하고 현재 블록의 예측으로서 시프트된 블록을 규정하기 위한 블록 매칭 알고리즘을 각각의 블록에 적용하는 단계를 포함하고, 상기 시프트된 블록과 현재 블록 사이의 모션 벡터는 상기 현재 블록에 연관된 예측된 벡터이고, 전체 현재 이미지에 대해 유사하게 예측된 모든 상기 모션 벡터들은 상기 현재 프레임에 연관된 모션 벡터 필드를 구성한다. 각각의 현재 프레임의 대해, 상기 연관된 모션 벡터 필드에 의해 구성된 모션 정보는 최종적으로 코딩된다. 본 발명에 따라, 코딩될 모션 벡터 C는 유형의 관계: P = α. S + β. T 에 의해 규정된 공간-시간 예측자 P에 의해 근사되며, 여기서, S 및 T는 각각 공간 및 시간 예측자들이고 (α, β)는 상기 공간 및 시간 예측자들에 각각 연관된 가중 계수들이다. 또한 본 발명은 대응하는 디코딩 방법에 관한 것이다.
모션 벡터 필드, 가중 계수, 공간-시간 예측자, 모션 정보

Description

모션 정보 코딩 및 디코딩 방법{Motion information coding and decoding method}
본 발명은 연속적인 프레임들로 분할된 비디오 시퀀스에 연관된 모션 정보의 코딩 방법으로서,
- 현재 프레임을 2차원 블록들(bidimensional blocks)로 세분하는 단계,
- 상기 현재 프레임의 각각의 현재 블록에 대해, 이전 프레임에서 블록 매칭 알고리즘에 의해 상기 현재 블록의 예측으로서 시프트된 블록을 선택하는 단계로서, 상기 시프트된 블록과 현재 블록 사이의 모션 벡터는 상기 현재 블록에 연관된 예측된 벡터이고, 전체 현재 프레임에 대해 유사하게 예측된 모든 상기 모션 벡터들은 상기 현재 프레임에 연관된 모션 벡터 필드를 구성하는, 상기 시프트된 블록 선택 단계, 및
- 각각의 현재 프레임에 대해, 코딩될 각각의 모션 벡터에 대하여 그에 관련된 예측자(predictor)를 수반하는 차동 엔코딩 기법에 의해 상기 연관된 모션 벡터 필드에 의해 구성된 모션 정보를 코딩하는 단계를 포함하는 상기 모션 정보 코딩 방법에 관한 것이다.
또한, 본 발명은 대응하는 엔코딩 디바이스, 이러한 코딩 방법에 따라 코딩된 모션 정보를 디코딩하는 방법, 및 대응하는 디코딩 디바이스에 관한 것이다. 나 중에 제공되는 본 발명의 한 구현에 대한 자세한 설명에 있어서, MPEG 계열의 표준들에 규정된 바와 같이, 2차원 블록들은 예를 들면, 매크로블록들이다.
디지털 비디오 압축을 위해 제안된 코딩 설계들은 일반적으로, 처리된 비디오 시퀀스의 연속적인 프레임들 사이의 시간적 리던던시(redundancy)를 감소시키기 위해 모션 추정 및 보상을 이용한다. 이러한 방법들에서, 모션 벡터들의 세트는 엔코딩쪽에서 결정되고 디코더로 전송된다. 대부분의 비디오 코딩 표준들은 모션 추정 동작을 위해 소위, 블록 매칭 알고리즘(BMA :block matching algorithm)을 이용하며, 이것은 1996년의 BBC Research and Development Report에 S.R Ely에 의한 "MPEG video coding : a basic tutorial introduction" 문서에 예로서 기술되어 있다. 도 1에 묘사된 상기 알고리즘은 현재 이미지 It의 각각의 블록 Bc에 대해 최상으로 매칭되는 이전 참조 이미지 It-1의 블록 Br을 찾도록 노력하며, 상기 이전 블록은 블록 Bc의 위치 주위의 이러한 이전 이미지의 제한된 영역(또는 탐색 윈도우 SW(search window))에서만 탐색된다. 따라서, 현재 프레임의 각각의 블록 Bc에 대한 엔코더에서 결정된 모션 벡터들의 세트는 디코더에 보내져야 한다.
모션 벡터들을 전송하는데 필요한 비트율을 최소화하기 위해, 이러한 벡터들은 일반적으로, 이전에 결정된 모션 벡터들(또는 예측자들)에 대해 서로 다르게 엔코딩된다. 보다 정확히, 이전 블록들 Br에서 현재 블록들 Bc까지의 모션을 기술하는 모션 벡터들의 엔코딩은 이전에 전송된 공간 전후에 기초한 예측 기법에 의해 실현된다. 모션 벡터들은 예측값에 대해 서로 다르며, 가변 길이 코드들을 이용하여 코딩된다.
본 발명의 제 1 목적은 이들 모션 벡터들의 개선된 예측을 포함하는 모션 벡터들을 코딩하는 방법을 제안하는 것이다.
이를 위해, 본 발명은 설명의 도입부에 정의한 바와 같은 코딩 방법에 관한 것이며, 그것은 또한, 각각의 현재 블록에 대해, 상기 차동 엔코딩 기법의 감산 연산에 이용되는 예측자가 다음 유형의 관계, 즉
P = α. S + β. T
에 의해 규정된 선형 조합에 의해 얻어진 공간-시간 예측자 P이며, 여기서, S 및 T는 각각 공간 및 시간 예측자들이고 (α, β)는 상기 공간 및 시간 예측자들에 각각 연관된 가중 계수들인 것을 특징으로 한다.
본 발명의 구현의 이점에 있어서, 가중 계수들의 선택에 대한 기준은 최소 평균 제곱(in the least means square sense)에서 코딩될 모션 벡터 C와 그 예측자 P 사이의 왜곡을 최소화하는 것, 즉 다음의 연산자를 최소화하는 것이며:
F = ∑[C - (α. S + β. T)]2,
여기서, 합산은 전체 모션 벡터 필드, 즉 현재 프레임의 모든 블록들에 대해 실행된다.
바람직하게, 공간 예측자는 현재 블록의 전후에서 선택된 모션 벡터 후보들의 세트에 대해 메디안 필터링(median filtering)을 적용함으로써 얻어지고, 상기 모션 벡터 후보들의 세트는 MPEG-4 표준을 따르는 공간 예측이 필요한 경우, 세 개의 모션 벡터 후보들을 포함한다.
시간 예측자는 이전에 전송된 모션 벡터 필드 내의 블록을 가리키도록(to point) 현재 블록의 모션 벡터에 대해 이미 결정된 공간 예측자를 재이용함으로써 결정될 수 있거나, 또는 공간 예측자의 계산 동안 이용된 공간 예측자 후보들을 메모리에 유지하고, 그것들로 현재 이미지에서 대응하는 블록들로부터 모션 벡터들이 결정될 시간 예측자에 대해 공간 예측자들로서 또한 보여질 수 있는 이전 이미지의 블록들까지 가리키며, 이전 모션 벡터 필드 내의 이들 공간 예측자들의 메디안 필터링을 구현함으로써 결정될 수 있으며, 얻어진 결과는 결정될 상기 시간 예측자이다.
본 발명의 다른 목적은 상기 코딩 방법에 의해 코딩된 모션 정보를 디코딩하는 방법을 제안하는 것이다.
이를 위해, 본 발명은 코딩 방법에 의해 전송 또는 저장 단계 전에 미리 코딩되고, 이미지 시퀀스에 대응하는 모션 정보를 디코딩하는 방법에 관한 것으로, 상기 코딩 방법은,
- 현재 이미지를 2차원 블록들로 세분하는 단계,
- 상기 현재 이미지의 각각의 현재 블록에 대해, 이전 이미지에서 블록 매칭 알고리즘에 의해 상기 현재 블록의 예측으로서 시프트된 블록을 선택하는 단계로 서, 상기 시프트된 블록과 현재 블록 사이의 모션 벡터는 상기 현재 블록에 연관된 예측된 벡터이고, 전체 현재 이미지에 대해 유사하게 예측된 모든 상기 모션 벡터들은 상기 현재 이미지에 연관된 모션 벡터 필드를 구성하는, 상기 시프트된 블록 선택 단계, 및
- 각각의 현재 이미지에 대해, 상기 연관된 모션 벡터 필드에 의해 구성된 모션 정보를 코딩하는 단계로서, 각각의 현재 블록에 대해 코딩될 모션 벡터 C는 다음 유형의 관계, 즉
P = α. S + β. T
에 의해 규정된 선형 조합에 의해 얻어진 공간-시간 예측자 P에 의해 근사되며:
여기서, S 및 T는 각각 공간 및 시간 예측자들이고 (α, β)는 상기 공간 및 시간 예측자들에 각각 연관된 가중 계수들인 상기 모션 정보 코딩 단계를 포함하고, 상기 디코딩 방법은,
- 시퀀스의 제 1 모션 벡터 필드에 대해, 공간 예측자들에만 기초된 제 1 유형의 디코딩 단계, 및
- 다른 모션 벡터 필드들에 대해, 이미 디코딩된 이전 모션 벡터 필드의 모션 벡터들, 디코딩될 현재 모션 벡터의 전후에 규정된 공간 벡터들, 및 전송된 가중 계수들 α및 β에 기초한 공간-시간 예측자 P의 계산을 포함하는 제 2 유형의 디코딩 단계의 두 가지 유형들의 디코딩 단계를 포함하는 것을 특징으로 한다.
도 1은 전통적인 블록 매칭 알고리즘을 설명한 도면.
도 2는 알려진 3차원(3D) 모션 추정 방법에 이용된 예측자들의 위치들을 도시한 도면.
도 3은 예측 기법에 의해 모션 벡터 엔코딩에 대한 공간 후보들의 가능한 위치들을 도시한 도면.
도 4는 모션 벡터 시간 예측자의 결정을 위한 제 1 해결책을 설명한 도면.
도 5는 모션 벡터 시간 예측자의 결정을 위한 제 2 해결책을 설명한 도면.
도 6은 본 발명에 따른 엔코딩 방법을 실행하도록 허용하는 엔코더의 구현을 설명한 도면.
도 7은 본 발명에 따른 디코딩 방법을 실행하도록 허용하는 디코더의 구현을 설명한 도면.
본 발명은 첨부한 도면들을 참조하여 예의 방법으로 기술될 것이다.
도 1을 참조하여 상기 설명한 바와 같이, 모션 추정은 이전 프레임에서의 제한된 탐색 영역 SW내에서 블록의 최상의 매칭 위치를 찾도록 노력하는 탐색 설계에 기초되며, 상기 매칭 위치는 예측자의 감산 및 가변 길이 엔코딩(VLC : variable length encoding) 이후, 엔코더에서 디코더로 전송되는 모션 벡터에 의한 각각의 블록(또는 MPEG 표준들의 경우, "매크로블록(macroblock)")에 대해 기술된다.
본 발명의 원리는 두개의 연속적인 모션 벡터 필드들 사이에서 관찰된 시간 상관 관계를 고려하여 부가적 동작이 예측에(각각의 현재 모션 벡터에 대응하는 서로 다른 값들의 가변 길이 코딩(VLC : variable length coding) 이전에 제공된) 도입되는 것이다. 시간 예측자들을 이용한 블록 기초된 모션 추정은 1993년 10월, IEEE Transactions on Circuits and Systems for Video Technology, Vol.3, n°5, 368 내지 379 페이지의 G.de Haan 등에 의한 "True motion estimation with 3D recursive block matching"에 예로서 이미 기술되어 있다. 3-D 순환 탐색(3-D recursive search)에 기초되는 이러한 기법은 도 2에 설명된 현재 블록 Bc의 전후 블록들 사이에 선택된 세 개의 공간 예측자 P1, P2, P3와, P1의 선형 조합 및 이전 처리된 블록의 최상의 후보인 하나의 부가적 공간 예측자와, 시간 예측자 P4(대응하는 모션 벡터가 이전 모션 벡터 필드에 속한다는 의미의 "시간(temporal)")인 그 가능한 구현들 중 하나에 이용된다.
통상적으로, 이전 작업들은 현재 모션 벡터를 서로 다르게 엔코딩하는 데에 단지 공간 예측자들만을 고려하였다. 16 x 16 픽셀 모션 벡터들(4개의 블록들을 포함한 매크로블록에 대한 하나의 모션 벡터)의 경우, 공간 예측은, 그러한 후보들 MV1, MV2, 및 MV3(따라서, 현재 모션 벡터에 대한 공간 예측자는 이러한 모션 벡터 후보들에 대해 메디안 필터링(median filtering) 동작을 실행함으로써 얻어진다.)의 가능한 위치들을 도시한 도 3의 예로 설명한 바와 같이, 현재 매크로블록의 전후에서 여러개의 모션 후보들(MPEG -4의 경우 3개)을 선택하는 것으로 구성되었다. 모션 벡터 엔코딩을 개선하기 위해, 엔코딩될 현재 매크로블록의 모션 벡터를 보다 잘 예측하도록 모션궤도(motion trajectory)를 따라 모션 벡터들 사이에 존재하는 상관관계를 활용하도록 제안한다.
도 4에 설명된 바와 같이, 현재 모션 벡터 필드 CMVF(current motion vector field)에 대해, 적절한 시간 예측자 P를 결정하기 위한 제 1 해결책은 이전에 전송된 모션 벡터 필드 PMVF(previously transmitted motion vector field) 내부의 매크로블록을 가리키도록 현재 매크로블록의 모션 벡터에 대해 이미 결정된 공간 예측자를 재이용할 수 있다. 또한, 불량 예측의 영향을 감소시키기 위해, 메디안 필터링 동작은 선택된 매크로블록 주위의 8개의 전후 매크로블록들에 대해 한번 더 실행될 수 있다.
예측자 P의 결정에 대한 제 2 해결책은, 도 5에 설명한 바와 같이, 공간 예측자의 계산 동안 이용된 공간 예측자 후보들 SPC(spatial predictor candidates)를 메모리에 유지하는 것이다. 이러한 모션 벡터 후보들은 현재 프레임의 매크로블록들로부터, 모션 벡터들이 결정되어야 하는 시간 예측자에 대해 공간 예측자들로서 또한 보여질 수 있는 이전 프레임의 매크로블록들까지 가리킨다. 따라서, 현재 모션 벡터에 대한 이러한 시간 예측자는 이전 모션 벡터 필드 내의 이러한 공간 예측자들의 메디안 필터링의 결과이다.
선택된 해결책이 무엇이든지, 공간-시간이라 불릴 수 있는 예측자 P는
P = α. S + β. T
상기 유형의 선형 조합에 의해 얻어진다:
여기서, S 및 T는 각각 상술된 바와 같이 결정된 공간 및 시간 예측자들이고 (α, β)는 상기 공간 및 시간 예측자들에 각각 연관된 가중 계수들이다. α및 β의 선택에 대한 가능한 기준은 최소 평균 제곱에서 원래의 모션 벡터 C와 그 예측자 P 사이의 왜곡을 최소화하는 것, 즉 연산자 F를 최소화하는 것이다 :
F = ∑[C - (α. S + β. T)]2,
여기서, 합산 ∑은 전체 모션 벡터 필드, 즉 현재 프레임( 이러한 가중 계수들 α및 β는 디코딩쪽을 향하여 전송될 필요가 있는데, 디코딩 디바이스가 그들을 계산하기 위해 대칭 동작들을 실행할 수 없기 때문이다: 따라서, 전체 전송 비용에 대해, 양호한 트레이드-오프는 시간 예측자에 의해 초래된 전송 이득과 각각의 모션 벡터 필드에 대한 두개의 값들(α, β)의 부가적 전송 비용 사이에 도달되어야 한다.)의 모든 매크로블록들을 포함함으로써 실행된다.
모션 벡터들은 일반적으로, DPCM(Differential Pulse Code Modulation) 기법으로 엔코딩되며, 그것은 입력과 국부적으로 디코딩된 이전 출력에 기초된 예측 사이의 차들(differences)만이 양자화되고 전송되며, VLC 테이블들을 이용하고 모션 벡터들에 대응하는 코딩된 데이터를 생성하는 엔트로피 코딩 단계가 뒤따른다. 상기 기술한 것과 같은 코딩 방법이 비디오 코딩 설계내에 이용되었을 때, 모션 벡터들에 대응하고 디코딩쪽에서 수신된 코딩된 데이터는 특히 디코딩되어야 한다. 그다음, 모션 벡터 재구성은 다음의 처리 단계들에 따라 실행된다:
- 제 1 모션 벡터 필드에 대해(즉, 어떤 전임자(predecessor)도 갖지 않는 것), 공간 예측자들에만 기초된 전통적인 디코딩 단계가 구현된다
- 다른 모션 벡터 필드들에 대해(즉, 시간 전임자들을 갖는 것들), 엔코더에 제공된 동작들이 유사하게 구현된다: 알고 있는 모션 벡터 시간 예측자들(이미 디코딩된 이전 모션 벡터 필드의 모션 벡터들이다), 공간 예측자들(= 디코딩될 현재 모션 벡터의 전후에 있는 모션 벡터들), 및 가중 계수들 α및 β(전송되었음), 엔코더쪽에서 이미 이용된 최종 예측자 P = α. S + β. T 이 계산되며, 그다음, 그것은 엔코더의 VLC 테이블들에 설정된 대응에 의해 현재 모션 벡터를 서로 다르게 디코딩하도록 허용한다.
상기 기술된 엔코딩 기법은 많은 엔코딩 설계들, 예를 들면 MPEG-4 비디오 엔코더에서 실행될 수 있다. 도 6은 그러한 엔코더의 설명을 제공한다: 입력 비디오 정보 VIF는 분할 회로(61)에 의해 비디오 오브젝트들(VOs)로 분할되고, 코딩 제어 회로(62)는 VOs이 전송될 것을 결정하며(예를 들면, 이용자 요구 또는 디코더의 성능들에 기초하여), 선택된 VOs는 그다음, 코딩 회로들(63a 내지 63n)에서 엔코딩되고(그밖의 것들과 관계없는 각각의 것), 그다음, 다중화기(64)는 얻어진( 및 서로 다른 VOs를 나타내는) n개의 비트스트림들을 단일 비디오 스트림으로 통합한다. 각각의 VO는 그것의 형태, 텍스쳐(texture), 및 모션 컴포넌트들에 의해 규정되고, 각각의 코딩 회로의 엔코딩 매카니즘은 형태, 텍스쳐, 및 모션 엔코딩 동작들을 실행해야 한다. 형태 및 텍스쳐 동작들은 2000년 1월, Signal Processing : Image Communication, vol.15, n°4-5, 365 내지 385페이지의 T.Ebrahimi 등에 의한 "MPEG-4 natural video coding - An overview"에서 예로서 기술된 바와 같이 실행된다. 모션 동작은 상기 기술된 모션 정보 코딩 방법을 구현함으로써 본 발명에 따라 실행될 수 있다.
유사하게, 상기 기술되고 본 발명에 따른 엔코딩 방법에 대응하는 디코딩 방법은 동일한 문서에 기술된 바와 같은 디코딩 설계에서 실행될 수 있다. 도 7은 상기 엔코딩 방법을 수행할 때 얻어진 것과 같은 코딩된 비트스트림을 수신하고 디코딩하도록 허용하는 디코더의 설명을 제공한다: 입력 비트스트림은 역다중화 회로(71)에서 먼저 역다중화되고, 이렇게 생성된, 서로 다른 서로 다른 VOs에 대응하는 역다중화된 엘리멘트리 스트림들(elementary streams)은 엘리멘트리 스트림들이 분해되어(parsed) 적절한 디코더들(형태 디코딩 회로(72), 텍스쳐 디코딩 회로(73), 모션 디코딩 회로(74))에 보내지고, VOs를 포함하는 원래의 장면을 재구성하도록 장면 설명 정보와 함께 디코딩된 데이터를 이용하는 재구성 회로(75)는 디스플레이된 비디오 이미지를 최종적으로 얻도록 허용한다. 본 발명에 따른 모션 정보 디코딩 방법은 상기 회로(74)에서 실행된다.
본 발명의 양호한 실시예들의 상기 설명은 설명 및 기술할 목적으로 제공되었다. 이것은 본 발명을 개시된 정규 형식으로 제한하거나 규명하기 위한 의도가 아니며, 명백히 많은 변형들 및 변화들이 본 발명의 범위 내에 포함되도록 의도되고 본 기술 분야의 숙련된 기술자들에게 명백하며 상기 가르침들로서 가능하다.
본 명세서에 기술된 디바이스들은, 하드웨어 또는 소프트웨어의 단일 아이템이 여러개의 기능들을 실행할 수 있다는 것 또는 하드웨어 및 소프트웨어 또는 둘다의 아이템들의 조립이 단일 기능을 실행한다는 것을 배제하지 않고, 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어의 조합으로 구현될 수 있음을 알 수 있다. 기술한 방법들 및 디바이스들은 본 명세서에 기술된 방법들을 실행하도록 적응된 컴퓨터 시스템 또는 다른 장치의 어떤 유형으로도 구현될 수 있다. 하드웨어 및 소프트웨어의 전형적인 조합은, 로드되고 실행될 때 본 명세서에 기술된 방법들을 실행하는 그러한 컴퓨터 시스템을 제어하는 컴퓨터 프로그램을 가진 일반적 목적의 컴퓨터 시스템일 수 있다. 대안적으로, 본 발명의 하나 또는 그 이상의 기능적 직무들을 실행하기 위한 특정화된 하드웨어를 포함하는 특정 용도 컴퓨터가 이용될 수 있다.
본 발명은 또한, 본 명세서에 기술된 방법들 및 기능들의 구현을 가능하게 하는 특징들 모두를 포함하고 -컴퓨터 시스템에 로드될 때- 이러한 방법들 및 기능들을 실행할 수 있는 컴퓨터 프로그램 제품에 임베디드할 수 있다. 컴퓨터 프로그램, 소프트웨어 프로그램, 프로그램, 프로그램 제품, 또는 소프트웨어는 명령들의 세트의 본 문맥 의미에서 코드 또는 표시(notation)의 어떠한 언어로 어떠한 표현으로 다음의 어느것 또는 둘다 후에 또는 바로 특정 기능을 실행하는 정보 처리 성능을 시스템이 가지도록 의도된다 :
(a) 다른 언어, 코드 또는 표시로 전환 및/또는,
(b) 서로 다른 자료 형태(material form)에서 재생

Claims (7)

  1. 연속적인 프레임들로 분할된 비디오 시퀀스에 연관된 모션 정보를 코딩하는 방법으로서:
    - 현재 프레임을 2차원 블록들로 세분하는 단계;
    - 상기 현재 프레임의 각각의 현재 블록에 대해, 이전 프레임에서 블록 매칭 알고리즘에 의해 상기 현재 블록의 예측으로서 시프트된 블록을 선택하는 단계로서, 상기 시프트된 블록과 현재 블록 사이의 모션 벡터는 상기 현재 블록에 연관된 예측된 벡터이고, 전체 현재 프레임에 대해 유사하게 예측된 모든 상기 모션 벡터들은 상기 현재 프레임에 연관된 모션 벡터 필드를 구성하는, 상기 시프트된 블록 선택 단계; 및
    - 각각의 현재 프레임에 대해, 코딩될 각각의 모션 벡터에 대하여 그에 관련된 예측자(predictor)를 수반하는 차동 엔코딩 기법에 의해 상기 연관된 모션 벡터 필드에 의해 구성된 모션 정보를 코딩하는 단계를 포함하고,
    각각의 현재 블록에 대해, 상기 차동 엔코딩 기법의 감산 연산에 이용되는 상기 예측자는, 다음 유형의 관계:
    P = α. S + β. T
    에 의해 규정된 선형 조합에 의해 얻어진 공간-시간(spatio-temporal) 예측자 P이며:
    여기서, S 및 T는 각각 공간 및 시간 예측자들이고 (α, β)는 상기 공간 및 시간 예측자들에 각각 연관된 가중 계수들인 것을 특징으로 하는, 모션 정보 코딩 방법.
  2. 제 1 항에 있어서, 상기 가중 계수들의 선택에 대한 기준은 코딩될 상기 모션 벡터 C와 최소 평균 제곱에서의 그 예측자 P 사이의 왜곡을 최소화하는 것, 즉 다음의 연산자:
    F = ∑[C - (α. S + β. T)]2
    를 최소로 하는 것이며,
    여기서, 합산은 전체 모션 벡터 필드, 즉 상기 현재 프레임의 모든 블록들에 대해 실행되는 것을 특징으로 하는, 모션 정보 코딩 방법.
  3. 제 2 항에 있어서, 상기 공간 예측자는 상기 현재 블록의 전후에서 선택된 모션 벡터 후보들의 세트에 대해 메디안 필터링(median filtering)을 적용함으로써 얻어지는 것을 특징으로 하는, 모션 정보 코딩 방법.
  4. 제 3 항에 있어서, 상기 모션 벡터 후보들의 세트는 MPEG-4 표준에 따르는 공간 예측을 가지기 위해, 세 개의 모션 벡터 후보들을 포함하는 것을 특징으로 하는, 모션 정보 코딩 방법.
  5. 제 2 항에 있어서, 상기 시간 예측자는 이전에 전송된 모션 벡터 필드 내의 블록을 가리키도록 상기 현재 블록의 모션 벡터에 대해 이미 결정된 상기 공간 예측자를 재이용함으로써 결정되는 것을 특징으로 하는, 모션 정보 코딩 방법.
  6. 제 2 항에 있어서, 상기 시간 예측자는 상기 공간 예측자의 계산 동안 이용된 상기 공간 예측자 후보들을 메모리에 유지하고, 그것들로 상기 현재 이미지에서 대응하는 블록들로부터, 결정될 상기 시간 예측자에 대해 공간 예측자들로서 또한 모션 벡터들이 보여질 수 있는 상기 이전 이미지의 블록들까지 가리키며, 상기 이전 모션 벡터 필드 내의 이들 공간 예측자들의 메디안 필터링을 구현함으로써 결정되고, 상기 얻어진 결과는 결정될 상기 시간 예측자인 것을 특징으로 하는, 모션 정보 코딩 방법.
  7. 전송 또는 저장 전에 코딩 방법에 의해 미리 코딩된, 이미지 시퀀스에 대응하는 모션 정보를 디코딩하는 방법으로서,
    상기 코딩 방법은:
    - 현재 이미지를 2차원 블록들로 세분하는 단계;
    - 상기 현재 이미지의 각각의 현재 블록에 대해, 이전 이미지에서 블록 매칭 알고리즘에 의해 상기 현재 블록의 예측으로서 시프트된 블록을 선택하는 단계로서, 상기 시프트된 블록과 현재 블록 사이의 모션 벡터는 상기 현재 블록에 연관된 예측된 벡터이고, 전체 현재 이미지에 대해 유사하게 예측된 모든 상기 모션 벡터들은 상기 현재 이미지에 연관된 모션 벡터 필드를 구성하는, 상기 시프트된 블록 선택 단계; 및
    - 각각의 현재 이미지에 대해, 상기 연관된 모션 벡터 필드에 의해 구성된 상기 모션 정보를 코딩하는 단계를 포함하고,
    각각의 현재 블록에 대해 코딩될 상기 모션 벡터 C는 다음 유형의 관계:
    P = α. S + β. T
    에 의해 규정된 선형 조합에 의해 얻어진 공간-시간 예측자 P에 의해 근사되고,
    여기서, S 및 T는 각각 공간 및 시간 예측자들이고, (α, β)는 상기 공간 및 시간 예측자들에 각각 연관된 가중 계수들이며,
    상기 디코딩 방법은 두 가지 유형의 디코딩 단계로서:
    - 상기 시퀀스의 제 1 모션 벡터 필드에 대해, 공간 예측자들에만 기초한 제 1 유형의 디코딩 단계; 및
    - 다른 모션 벡터 필드들에 대해, 이미 디코딩된 상기 이전 모션 벡터 필드의 모션 벡터들, 디코딩될 상기 현재 모션 벡터의 전후에 규정된 공간 예측자들, 및 상기 전송된 가중 계수들 α및 β에 기초한 상기 공간-시간 예측자 P의 계산을 포함하는 제 2 유형의 디코딩 단계를 포함하는 것을 특징으로 하는, 모션 정보 디코딩 방법.
KR1020027013631A 2001-02-13 2002-02-11 모션 정보 코딩 및 디코딩 방법 KR100887524B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP01400375.0 2001-02-13
EP01400375 2001-02-13

Publications (2)

Publication Number Publication Date
KR20020093032A KR20020093032A (ko) 2002-12-12
KR100887524B1 true KR100887524B1 (ko) 2009-03-09

Family

ID=8182624

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027013631A KR100887524B1 (ko) 2001-02-13 2002-02-11 모션 정보 코딩 및 디코딩 방법

Country Status (8)

Country Link
US (1) US6825885B2 (ko)
EP (1) EP1378124B1 (ko)
JP (1) JP2004519167A (ko)
KR (1) KR100887524B1 (ko)
CN (1) CN1248509C (ko)
AT (1) ATE297099T1 (ko)
DE (1) DE60204447T2 (ko)
WO (1) WO2002065784A1 (ko)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4130783B2 (ja) 2002-04-23 2008-08-06 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
EP1418762A1 (en) * 2002-05-22 2004-05-12 Matsushita Electric Industrial Co., Ltd. Moving image encoding method, moving image decoding method, and data recording medium
US7499495B2 (en) * 2003-07-18 2009-03-03 Microsoft Corporation Extended range motion vectors
US20050013498A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7620106B2 (en) * 2003-09-07 2009-11-17 Microsoft Corporation Joint coding and decoding of a reference field selection and differential motion vector information
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7623574B2 (en) * 2003-09-07 2009-11-24 Microsoft Corporation Selecting between dominant and non-dominant motion vector predictor polarities
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7616692B2 (en) * 2003-09-07 2009-11-10 Microsoft Corporation Hybrid motion vector prediction for interlaced forward-predicted fields
US7599438B2 (en) * 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
CN1306821C (zh) * 2004-07-30 2007-03-21 联合信源数字音视频技术（北京）有限公司 一种视频图像中运动矢量预测生成的方法及其装置
US8588304B2 (en) 2005-03-31 2013-11-19 Panasonic Corporation Video decoding device, video decoding method, video decoding program, and video decoding integrated circuit
US8457203B2 (en) * 2005-05-26 2013-06-04 Ntt Docomo, Inc. Method and apparatus for coding motion and prediction weighting parameters
EP1915871B1 (en) * 2005-07-21 2017-07-05 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding
EP1949702A2 (en) * 2005-10-12 2008-07-30 Thomson Licensing Methods and apparatus for weighted prediction in scalable video encoding and decoding
DE102005051091A1 (de) * 2005-10-25 2007-04-26 Siemens Ag Verfahren und Vorrichtungen zur Bestimmung und Rekonstruktion eines prädizierten Bildbereichs
KR20080096768A (ko) * 2006-02-06 2008-11-03 톰슨 라이센싱 사용 가능한 움직임 정보를 비디오 인코딩을 위한 움직임추정 예측자로서 재사용하는 방법 및 장치
CN101491107B (zh) * 2006-07-07 2012-07-18 艾利森电话股份有限公司 一种对图像元素组进行解码的方法及其相关的编码器、解码器
KR101383540B1 (ko) 2007-01-03 2014-04-09 삼성전자주식회사 복수의 움직임 벡터 프리딕터들을 사용하여 움직임 벡터를추정하는 방법, 장치, 인코더, 디코더 및 복호화 방법
EP2104356A1 (en) * 2008-03-18 2009-09-23 Deutsche Thomson OHG Method and device for generating an image data stream, method and device for reconstructing a current image from an image data stream, image data stream and storage medium carrying an image data stream
KR101361005B1 (ko) 2008-06-24 2014-02-13 에스케이 텔레콤주식회사 인트라 예측 방법 및 장치와 그를 이용한 영상부호화/복호화 방법 및 장치
US8290712B2 (en) * 2008-11-14 2012-10-16 The Invention Science Fund I, Llc Food content detector
EP2493195A1 (en) * 2009-10-20 2012-08-29 Sharp Kabushiki Kaisha Video encoding device, video decoding device, and data structure
KR20120016991A (ko) * 2010-08-17 2012-02-27 오수미 인터 프리딕션 방법
KR101341993B1 (ko) * 2010-10-06 2013-12-16 에스케이텔레콤 주식회사 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치
RU2010144450A (ru) 2010-10-29 2012-05-10 ЭлЭсАй Корпорейшн (US) Оценка движения для видео транскодера
GB2501835B (en) * 2011-03-09 2014-09-03 Canon Kk Video encoding and decoding
US10264276B2 (en) 2011-06-14 2019-04-16 Samsung Electronics Co., Ltd. Method and apparatus for encoding motion information and method and apparatus for decoding same
US8483516B2 (en) * 2011-08-16 2013-07-09 National Taiwan University Super resolution system and method with database-free texture synthesis
CN107396100B (zh) * 2011-11-08 2020-05-05 株式会社Kt 利用解码装置对视频信号进行解码的方法
CN103248894B (zh) * 2013-05-14 2016-09-14 讯美电子科技有限公司 一种多通道遍码方法及系统
JP6640468B2 (ja) 2015-04-22 2020-02-05 Ｎｅｃディスプレイソリューションズ株式会社 表示システム、表示装置、調整方法
US10445862B1 (en) * 2016-01-25 2019-10-15 National Technology & Engineering Solutions Of Sandia, Llc Efficient track-before detect algorithm with minimal prior knowledge
US11665365B2 (en) * 2018-09-14 2023-05-30 Google Llc Motion prediction coding with coframe motion vectors

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5574663A (en) * 1995-07-24 1996-11-12 Motorola, Inc. Method and apparatus for regenerating a dense motion vector field
WO1997046022A2 (en) * 1996-05-24 1997-12-04 Philips Electronics N.V. Motion estimation

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1984000178A1 (en) * 1982-06-22 1984-01-19 Hughes Aircraft Co Low temperature process for depositing epitaxial layers
US5072293A (en) * 1989-08-29 1991-12-10 U.S. Philips Corporation Method of estimating motion in a picture signal
US5301019A (en) * 1992-09-17 1994-04-05 Zenith Electronics Corp. Data compression system having perceptually weighted motion vectors
GB9712651D0 (en) * 1997-06-18 1997-08-20 Nds Ltd Improvements in or relating to encoding digital signals

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5574663A (en) * 1995-07-24 1996-11-12 Motorola, Inc. Method and apparatus for regenerating a dense motion vector field
WO1997046022A2 (en) * 1996-05-24 1997-12-04 Philips Electronics N.V. Motion estimation

Also Published As

Publication number Publication date
KR20020093032A (ko) 2002-12-12
CN1248509C (zh) 2006-03-29
WO2002065784A1 (en) 2002-08-22
JP2004519167A (ja) 2004-06-24
US20030076883A1 (en) 2003-04-24
CN1457604A (zh) 2003-11-19
EP1378124B1 (en) 2005-06-01
EP1378124A1 (en) 2004-01-07
US6825885B2 (en) 2004-11-30
DE60204447T2 (de) 2006-04-27
ATE297099T1 (de) 2005-06-15
DE60204447D1 (de) 2005-07-07

Similar Documents

Publication Publication Date Title
KR100887524B1 (ko) 모션 정보 코딩 및 디코딩 방법
US7961785B2 (en) Method for encoding interlaced digital video data
US6249318B1 (en) Video coding/decoding arrangement and method therefor
KR0161551B1 (ko) 압축화상의 편집 또는 합성방법 및 장치
KR100774296B1 (ko) 움직임 벡터 부호화 방법, 복호화 방법 및 그 장치
KR100464995B1 (ko) 운동의존예측을이용하여비디오정보를압축하는방법및장치
EP3054684B1 (en) Video prediction encoding device, video prediction encoding method, video prediction encoding program, video prediction decoding device, video prediction decoding method, and video prediction decoding program
US20130101040A1 (en) Method for coding a block of a sequence of images and method for reconstructing said block
WO2012045225A1 (en) System and method for low complexity motion vector derivation
US20010031004A1 (en) Method and apparatus for updating motion vector memories
GB2328337A (en) Encoding motion vectors
KR100202538B1 (ko) 엠펙 비디오 코덱 장치
JP3950211B2 (ja) 動きベクトル符号化装置
JP5442039B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR0181067B1 (ko) 호환성을 갖는 동영상 부호화기
WO2004010708A1 (en) Advanced method of coding and decoding motion vector and apparatus therefor
WO2023221993A1 (en) Method and apparatus of decoder-side motion vector refinement and bi-directional optical flow for video coding
KR20050120699A (ko) 비디오 엔코딩 및 디코딩 방법 및 대응 디바이스들
KR100657714B1 (ko) 3차원 스캐닝을 이용한 영상데이터 부호화 방법
JP2003116141A (ja) 動画像予測符号化方法とその復号化方法、及びそれらの装置
KR100293445B1 (ko) 움직임벡터코딩방법
KR100393987B1 (ko) 영상 부호화 및 복호화 방법
KR20000043589A (ko) 비디오 신호의 움직임 벡터 생성 장치
KR0178209B1 (ko) 복호화 시스템에서의 스타트 코드 검출장치
JPH06284415A (ja) 動き補償予測符号化および復号化装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee