KR20100047321A - 복수의 픽쳐를 갖는 영상 시퀀스의 엔코딩 및 디코딩 방법 - Google Patents

복수의 픽쳐를 갖는 영상 시퀀스의 엔코딩 및 디코딩 방법 Download PDF

Info

Publication number
KR20100047321A
KR20100047321A KR1020107006173A KR20107006173A KR20100047321A KR 20100047321 A KR20100047321 A KR 20100047321A KR 1020107006173 A KR1020107006173 A KR 1020107006173A KR 20107006173 A KR20107006173 A KR 20107006173A KR 20100047321 A KR20100047321 A KR 20100047321A
Authority
KR
South Korea
Prior art keywords
picture
field
pictures
pixels
current
Prior art date
Application number
KR1020107006173A
Other languages
English (en)
Other versions
KR101076506B1 (ko
Inventor
리민 왕
크리트 파누소포네
라지브 간디
유에 유
아자이 루스라
Original Assignee
제너럴 인스트루먼트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US10/301,203 external-priority patent/US20030099294A1/en
Application filed by 제너럴 인스트루먼트 코포레이션 filed Critical 제너럴 인스트루먼트 코포레이션
Publication of KR20100047321A publication Critical patent/KR20100047321A/ko
Application granted granted Critical
Publication of KR101076506B1 publication Critical patent/KR101076506B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

디지털 영상 콘텐츠를 엔코딩하고 디코딩하는 방법 및 시스템이다. 디지털 영상 콘텐츠는 각각 인트라, 예측 또는 이중 예측 픽쳐가 될 수 있는 픽쳐 스트림을 포함한다. 각각의 픽쳐는 더 작은 블록으로 분할될 수 있는 매크로 블록을 포함한다. 상기 방법은 프레임 모드 또는 필드 모드내에서 상기 픽쳐 스트림내에서 각 픽쳐의 엔코딩 및 디코딩을 수반한다.

Description

복수의 픽쳐를 갖는 영상 시퀀스의 엔코딩 및 디코딩 방법{A method of encoding and decoding an image sequence having a plurality of pictures}
본 발명은 디지털 영상 콘텐츠의 엔코딩(encoding) 및 디코딩(decoding)에 관한 것이다. 특히, 본 발명은 MPEG-4 Part 10 AVC/H.264 영상 코딩 표준에서 사용되는 것과 같이, 픽쳐 레벨로 디지털 영상 콘텐츠의 프레임 모드와 필드 모드 엔코딩 및 디코딩에 관한 것이다.
영상 압축은, 현재 출시된 제품에서 다수 사용되고 있다. 그것은, 디지털 텔레비전 셋톱 박스(STBs), 디지털 인공위성 시스템(DSSs), 고해상도 텔레비전(HDTV) 디코더, 디지털 버서타일(versatile) 디스크(DVD) 플레이어, 영상 회의, 인터넷 영상 및 멀티미디어 콘텐츠 및 다른 디지털 영상 응용의 핵심이다. 영상 압축없이는, 디지털 영상 콘텐츠가 매우 크게 될 수 있어, 디지털 영상 콘텐츠가 효율적으로 저장되거나, 전송되거나, 또는 보여지는 것이 곤란하거나 또는 불가능하다.
디지털 영상 콘텐츠는, 텔레비전 수신기, 컴퓨터 모니터 또는 디지털 영상 콘텐츠를 표시할 수 있는 몇가지 다른 전자장치상에 이미지로서 표시될 수 있는 픽쳐의 스트림(stream)을 포함한다. 특정 픽쳐 이전의 시간내에 표시되는 픽쳐는, 특정 픽쳐에 관련된 "백워드 방향(backward direction)"에 존재한다. 마찬가지로, 특정 픽쳐 이후의 시간내에 표시되는 픽쳐는, 특정 픽쳐에 관련된 "전지 방향(forward direction)"에 존재한다.
영상 압축은, 각각의 픽쳐가 하나의 프레임 또는 2개의 필드로서 엔코드되는 영상 엔코딩 또는 코딩 프로세스를 통해 수행된다. 각각의 프레임은 공간 정보의 다수의 라인을 포함한다. 예를 들면, 전형적인 프레임은 480개의 수평라인을 포함한다. 각각의 필드는 프레임내에서 전체 라인의 절반을 포함한다. 예를 들면, 프레임이 480의 수평라인을 포함하면, 각각의 필드는 240개의 수평라인을 포함한다. 전형적인 구성에 있어서, 하나의 필드는 프레임내에서 홀수 라인을 포함하고 다른 필드는 프레임내에서 짝수 라인을 포함한다. 달리 구체적으로 언급하지 않는 한, 홀수 라인을 포함하는 필드는, 이후 및 첨부된 청구항에서 "상부(top)" 로서 언급된다. 마찬가지로, 달리 구체적으로 언급하지 않는 한, 짝수 라인을 포함하는 필드는, 이후 및 첨부된 청구항에서 "하부(bottom)" 필드로서 언급된다. 2개의 필드는 인터레이스된(interlaced) 프레임을 형성하기 위해 서로 인터레이스(interlace) 될 수 있다.
영상 코딩 이면의 일반적인 아이디어는 디지털 영상 콘텐츠에서 "불필요한(non-essential)" 데이터를 제거하는 것이다. 그 후, 데이터의 감소량은 방송 또는 전송에 더 적은 대역 폭을 필요로 한다. 압축 영상 데이터가 전송된 후, 디코드되거나 또는 압축 해제된다. 이 프로세스에 있어서, 코딩 프로세스에서 제거된 "불필요한(non-essential)" 데이터를 교체하기 위해 영상 데이터로 대체되는 추정 데이터를 생성하도록, 전송 영상 데이터가 처리된다.
영상 코딩은, 더 적은 공간을 사용하여 저장되고, 압축되지 않은 디지털 영상 콘텐츠보다는 더 적은 대역 폭을 이용하여 전송될 수 있는, 압축 형태로 디지털 영상 콘텐츠를 변형시킨다. 그것은 영상 콘텐츠의 픽쳐내에서 일시적이고, 공간적인 리던던시을 이용해서 이렇게 행한다. 디지털 영상 콘텐츠는 하드 드라이브, DVD 또는 몇가지 다른 불휘발성 저장 장치와 같은 저장 매체내에 저장될 수 있다.
디지털 영상 콘텐츠를 압축하는 수 많은 영상 코딩방법이 있다. 따라서, 다양한 영상 코딩방법을 표준화하기 위한 영상 코딩표준이 개발되었고, 압축 디지털 영상 콘텐츠가 대부분의 영상 인코더 및 디코더가 인식할 수 있는 포맷내에서 표현된다. 예를 들면, 모션 픽처 엑스퍼트 그룹(MPEG) 및 국제전기통신연합(ITU-T)은 널리 사용되고 있는 영상 코딩표준을 개발했다. 이들 표준의 일예는 MPEG-1, MPEG-2, MPEG-4, ITU-T H261 및 ITU-T H263 표준을 포함한다.
MPEG과 ITU-T에 의해 개발된 최신 영상 코딩표준은, 모션 보상(MC) 알고리즘에 의한 시간 예측(temporal prediction)에 부분적으로 기초를 둔다. 모션 보상에 의한 시간 예측은, 디지털 영상 방송에서 연속되는 픽쳐 사이의 시간상의 리던던시을 제거하는데 사용된다.
모션 보상 알고리즘에 의한 시간 예측은, 전형적으로 특정 픽쳐를 엔코드하기 위해 1개 또는 2개의 레퍼런스 픽쳐를 이용한다. 레퍼런스 픽쳐는, 이미 엔코드된 픽쳐이다. 레퍼런스 픽쳐들 중 하나를 가지고 엔코드되는 특정 픽쳐를 비교함으로써, 모션 보상 알고리즘에 의한 시간 예측은, 레퍼런스 픽쳐와 엔코드될 특정 픽쳐 사이에 존재하는 시간 리던던시를 이용할 수 있고, 모션 보상 알고리즘에 의한 시간 예측을 이용하지 않고 픽쳐가 엔코드되는 경우보다 많은 압축량으로 엔코드되어 픽쳐를 압축할 수 있다. 레퍼런스 픽쳐들 중 하나는 엔코드되는 특정 픽쳐와 관련되어 백워드 방향일 수 있다. 다른 레퍼런스 픽쳐는 엔코드되는 특정 픽쳐에 관련되어 포워드 방향(forward direction)일 수 있다.
그러나, 고해상도, 더 복잡한 그래픽 콘텐츠 및 더 고속의 전송시간에 대한 요구가 증가함에 따라, 더 좋은 영상 압축방법을 필요로 한다. 이것을 위해, 새로운 영상 코딩표준이 현재 개발되고 있다. 이 새로운 영상 코딩표준은 MPEG-4 Part 10AVC/H.264 표준이라 불린다.
새로운 MPEG-4 Part 10AVC/H.264 표준은, 영상 압축시 다수의 새로운 방법을 위한 것으로 불린다. 예를 들면, 새로운 MPEG-4 Part 10AVC/H.264 표준의 하나의 특징은, 단지 2개의 레퍼런스 픽쳐의 대신에, 복수의 레퍼런스 픽쳐를 허용한다는 것이다. 복수의 레퍼런스 픽쳐의 사용은, 인코더가 엔코드되는 픽쳐와 가장 근접하게 매칭되는 레퍼런스 픽쳐를 발견하게 함으로써, 모션 보상 알고리즘에 의한 시간 예측의 성능을 향상한다. 코딩 프로세스에서, 엔코드되는 픽쳐와 가장 근접하게 매칭되는 레퍼런스 픽쳐를 이용함으로써, 최대량의 압축이 픽쳐의 엔코딩시에 가능하다. 레퍼런스 픽쳐는 프레임와 필드 버퍼내에 저장된다.
이전에 진술한 바와 같이, 인코더는 하나의 프레임 또는 2개의 필드로서 픽쳐를 엔코드할 수 있다. 엔코드될 픽쳐들의 시퀀스에서, 몇 개의 픽쳐는 프레임으로서 엔코드되고, 몇 개의 픽쳐는 필드로서 엔코드된다면, 더 높은 압축도를 성취할 수 있다.
많은 가능한 실시예중 하나에 있어서, 본 발명은 디지털 영상 콘텐츠의 엔코딩, 디코딩, 및 비트 스트림(bit stream) 생성 방법을 제공한다.
디지털 영상 콘텐츠는 각각 인트라(intra), 예측 또는 이중 예측된 픽쳐가 될 수 있는 픽쳐의 스트림을 포함한다. 각각의 픽쳐는 더 작은 블록으로 분할될 수 있는 매크로 블록을 포함한다. 상기 방법은, 픽쳐의 상기 스트림내에서 각 픽쳐를 프레임 모드 또는 필드 모드로 엔코딩 및 디코딩하는 것을 수반한다.
이와 같은 본 발명에 의하면, 엔코드될 픽쳐들의 시퀀스에서, 몇 개의 픽쳐는 프레임으로서 엔코드되고, 몇 개의 픽쳐는 필드로서 엔코드됨으로써 더 높은 압축도를 성취할 수 있다.
첨부 도면은 본 발명의 다양한 실시예를 나타내며, 명세서의 일부분이다. 다음의 설명과 함께, 도면은 본 발명의 원리를 입증하고, 설명한다. 도시된 실시예들은 본 발명의 일예일뿐, 본 발명의 범위를 한정하지 않는다.
도 1은, MPEG-4 Part 10 AVC/H.264 표준과 같은 예시적인 영상 코딩표준에 의해 정의되는 것과 같이, 본 발명을 수행하기 위해 이용될 수 있는 픽쳐의 3가지 유형의 예시적인 시퀀스를 나타낸다.
도 2는, 본 발명의 실시예에 따라 각각의 픽쳐가 매크로 블록들을 포함하는 슬라이스들로 바람직하게 분할되는 것을 나타낸다.
도 3a는, 본 발명의 실시예에 따라 매크로 블록이 16×8 픽셀의 블록 크기로 더 분할될 수 있는 것을 나타낸다.
도 3b는, 매크로 블록이 본 발명의 실시예에 따른 8×16 픽셀의 블록 크기로 더 분할될 수 있는 것을 나타낸다.
도 3c는, 매크로 블록이 본 발명의 실시예에 따른 8×8 픽셀의 블록 크기로 더 분할될 수 있는 것을 나타낸다.
도 3d는, 매크로 블록이 본 발명의 실시예에 따른 8×4 픽셀의 블록 크기로 더 분할될 수 있는 것을 나타낸다.
도 3e는, 매크로 블록이 본 발명의 실시예에 따른 4×8 픽셀의 블록 크기로 더 분할될 수 있는 것을 나타낸다.
도 3f는, 매크로 블록이 본 발명의 실시예에 따른 4×4 픽셀의 블록 크기로 더 분할될 수 있는 것을 나타낸다.
도 4는, 본 발명의 실시예를 나타내는 모션 보상에 의한 시간 예측을 이용한 픽쳐 구성의 예를 나타낸다.
도 5는, 본 발명의 실시예에 따른 모션 보상에 의한 시간 예측에서 복수의 레퍼런스 픽쳐들을 이용한 장점을 나타내는 예시적인 픽쳐의 스트림을 나타낸다.
도 6은, 프레임 모드로 엔코드 되어 있는 현재 픽쳐으로부터의 거리에 따라, 고유한 레퍼런스 프레임 번호가 프레임 버퍼내에서 각각의 레퍼런스 프레임에 할당되어 있는 본 발명의 실시예를 나타낸다.
도 7a는 본 발명의 실시예에 따라, 현재 필드와 동일한 필드 패리티(parity)의 레퍼런스 필드들이, 대응하는 제2 필드보다 더 적은 번호가 주어지는 예시적인 레퍼런스 필드 번호의 구성을 나타낸다.
도 7b는, 현재 필드가, 2개의 필드로서 엔코드되는 픽쳐의 제2 필드인 예시적인 레퍼런스 필드 번호의 구성을 나타낸다.
도 8은, 본 발명의 실시예에 따른 필드 버퍼내에서 교체(alternate) 레퍼런스 필드 번호의 구성을 나타낸다.
도 9는, 현재 매크로 블록 및 그것과 동일 위치의(co-located) 매크로 블록이 모두 프레임 모드인 직접 모드 벡터 계산의 방법을 나타낸다.
도 10은, 현재 매크로 블록 및 그것과 동일 위치의 매크로 블록이 모두 필드 모드인 직접 모드 벡터 계산의 방법을 나타낸다.
도 11은, 현재 매크로 블록 및 그것과 동일 위치의 매크로 블록이 모두 필드 모드인 직접 모드 벡터 계산의 다른 방법을 나타낸다.
도 12는, 현재 매크로 블록이 필드 모드내에 있고, 그것과 동일 위치의 매크로 블록이 프레임 모드인 직접 모드 벡터 계산의 방법을 나타낸다.
도 13은, 현재 매크로 블록이 프레임 모드내에 있고, 그것과 동일 위치의 매크로 블록이 필드 모드인 직접 모드 벡터 계산의 방법을 설명한다.
도 14는, 본 발명의 실시예에 따른 시간상의 포워드 방향에서 2개의 레퍼런스 픽쳐를 가지는 B 픽쳐를 나타낸다.
도 15는, 본 발명의 실시예에 따른 시간상의 백워드 방향에서 2개의 레퍼런스 픽쳐를 가지는 B 픽쳐를 나타낸다.
도 16은, 시간상의 포워드 방향에서의 포워드 레퍼런스 픽쳐(forward reference picture) 및 시간상의 백워드 방향에서 백워드 레퍼런스 픽쳐(backward reference picture)를 가지는 B 픽쳐를 나타낸다.
*도면을 통하여, 동일한 레퍼런스 번호는 유사하지만, 반드시 동일한 것은 아닌 구성 요소를 지시한다.
본 발명은, 픽쳐 레벨로 픽쳐의 스트림을 포함하는 디지털 영상 콘텐츠의 적응성 프레임/필드(frame/field)(AFF) 코딩방법을 제공한다. 픽쳐 레벨의 AFF 코딩에 있어서, 엔코드되는 픽쳐 스트림내의 각 픽쳐는, 다른 픽쳐의 프레임 또는 필드 코딩 모드에 관계없이, 프레임 모드 또는 필드 모드로 엔코드 된다. 픽쳐가 프레임 모드로 엔코드되면, 인터레이스된 프레임을 구성하는 2개의 필드가 공동으로 코드화 된다. 반대로, 픽쳐가 필드 모드로 엔코드 되면, 인터레이스된 프레임을 구성하는 2개의 필드가 별개로 코드화 된다. 인코더는, 각각의 픽쳐를 위해, 프레임 모드 코딩 또는 필드 모드 코딩의 어느 코딩 유형이 보다 더 유리한가를 결정하고, 픽쳐의 엔코딩 유형을 선택한다. 프레임 모드와 필드 모드 사이의 정확한 선택방법은, 본 발명에 결정적으로 중요하지 않으므로, 여기서 상술하지 않는다.
상술한 바와 같이, MPEG-4 Part 10AVC/H.264 표준은 디지털 영상 콘텐츠를 엔코딩하고, 압축하기 위한 새로운 표준이다. MPEG-4 Part 10AVC/H.264 표준을 규정하는, Joint Video Team (JVT)에 의해 2002년 8월 10일자로 발행된 "Joint Final Committee Draft(JFCD) of Joint Video Specification"(ITU-T Rec.H.264 & ISO/IEC 14496-10 AVC)를 포함하는 문서들이 참고로 여기에 포함된다. JVT는 ISO 또는 MPEG 및 ITU-T의 전문가들로 구성되어 있다. MPEG-4 Part 10AVC/H.264 표준의 공공성 때문에, 본 명세서에서는 표준에 포함된 상세에 의존하는 대신, MPEG-4 Part 10AVC/H.264 영상 코딩의 모든 기존 양상을 증거 서류로 입증하지 않는다.
이러한 AFF 엔코딩 방법은 MPEG-4 Part 10AVC/H.264 표준 지침서와 호환가능하고, 그것을 이용하여 설명되지만, 특정 표준 또는 응용을 최상으로 처리하도록 수정되어 사용될 수 있다.
도면을 사용하여, 지금 본 발명의 바람직한 실시예를 설명한다.
도 1은, MPEG-4 Part 10AVC/H.264 표준과 같이 예시적인 영상 코딩표준에 의해 규정된 바와 같이, 본 발명을 수행하기 위해 사용될 수 있는 픽쳐의 3가지 유형의 예시적인 시퀀스를 나타낸다. 상술한 바와 같이, 인코더는 픽쳐를 엔코드하고, 디코더는 픽쳐를 디코드한다. 인코더 또는 디코더는, 픽쳐의 스트림을 엔코딩 할 수 있는 프로세서, 주문형 반도체(ASIC), 필드 프로그래머블 게이트 어레이(FPGA),코더/디코더(CODEC), 디지털 신호처리기(DSP) 또는 다른 몇가지 전자장치가 될 수 있다. 그러나, 이하 및 부가된 청구하에서 사용되는 것과 같이, 달리 구체적으로 언급하지 않는 한, "인코더(encoder)"는 픽쳐의 스트림을 포함하는 디지털 영상 콘텐츠를 엔코드하는 모든 전자장치를 광범위하게 언급하기 위해 사용된다. 또한, 이하 및 부가된 청구하에서 사용되는 것과 같이, 달리 구체적으로 언급하지 않는 한, "디코더(decoder)"는 픽쳐의 스트림을 포함하는 디지털 영상 콘텐츠를 디코드하는 모든 전자장치를 광범위하게 언급하기 위해 사용된다.
도 1에 도시된 바와 같이, 영상 코딩 방법에서 사용할 수 있는 픽쳐의 바람직한 3가지 유형이 있다. 픽쳐의 3가지 유형은, 모션 보상에 의한 시간 예측을 이용한 최대 리던던시 감소를 조사하면서, 저장된 디지털 영상 콘텐츠에 대한 임의의 액세스를 지원하도록 규정되어 있다. 픽쳐의 3가지 유형은 인트라(I) 픽쳐(100), 예측(P) 픽쳐(102a,b), 및 이중 예측(B) 픽쳐(101a-d)이다. I 픽쳐(100)은, 저장된 디지털 영상 콘텐츠에 대한 임의의 액세스를 위한 액세스 포인트를 제공하고, 단지 조금 압축되면서 엔코드 될 수 있다. 인트라 픽쳐(100)은 레퍼런스 픽쳐들을 참조하지 않고 엔코드된다.
예측 픽쳐(102a,b)는 레퍼런스 픽쳐로 이미 엔코드된 I, P, 또는 B 픽쳐를 사용하여 엔코드된다. 레퍼런스 픽쳐는 엔코드 되어 있는 P 픽쳐와 관련되어 시간상의 포워드 또는 백워드 방향에 있을 수 있다. 예측 픽쳐들(102a,b)은 인트라 픽쳐(100) 보다 더 압축되어 엔코드 될 수 있다.
이중 예측 픽쳐(101a-d)은, 2개의 시간상의 레퍼런스 픽쳐를 사용하여 엔코드된다: 포워드 레퍼런스 픽쳐 및 백워드 레퍼런스 픽쳐. 포워드 레퍼런스 픽쳐는 때때로 과거 레퍼런스 픽쳐라 불리고, 백워드 레퍼런스 픽쳐는 때때로 미래 레퍼런스 픽쳐라 불린다. 본 발명의 실시예는 포워드 레퍼런스 픽쳐와 백워드 레퍼런스 픽쳐가 엔코드 되어 있는 B픽쳐에 관련되어 동일한 시간상의 방향으로 있을 수 있다는 것이다. 이중 예측 픽쳐들(101a-d)은 3가지 픽쳐 유형중에서 최대의 압축으로 엔코드 될 수 있다.
3가지의 픽쳐 유형 사이의 관련 관계(103)는 도 1에 나타나 있다. 예를 들면, P 픽쳐(102a)은 그 레퍼런스 픽쳐으로 엔코드된 I 픽쳐(100)을 이용하여 엔코드 될 수 있다. B 픽쳐(101a-d)는, 도 1에 도시된 바와 같이, 그 레퍼런스 픽쳐로 엔코드된 I 픽쳐(100) 또는 엔코드된 P 픽쳐(102a)을 이용하여 엔코드 될 수 있다. 본 발명의 실시예의 원리하에서, 엔코드된 B 픽쳐(101a-d)는 엔코드될 다른 B 픽쳐를 위해 레퍼런스 픽쳐로서도 이용될 수 있다. 예를 들면, 도 1의 B 픽쳐 (101c)는 그 레퍼런스 픽쳐로서 2개의 다른 B 픽쳐(101b 및 101d)로 도시되었다.
도 1에 도시된 I(100), B(101a-d) 및 P(102a,b) 픽쳐의 수 및 특정 순서는 픽쳐의 예시적인 구성으로 주어졌지만, 본 발명을 수행하는데 필수적인 것은 아니다. I, B 및 P 픽쳐의 어떤 수도 특정 응용을 최상으로 처리하기 위해 어떠한 순서로도 사용될 수 있다. MPEG-4 Part 10AVC/H.264 표준은, 2개의 레퍼런스 픽쳐 사이의 B 픽쳐의 수에 어떠한 제한도 부과하지 않고, 2개의 I 픽쳐 사이의 픽쳐의 수에도 제한을 행하지 않는다.
도 2는, 슬라이스(202)로 바람직하게 분할된 각각의 픽쳐(200)을 나타낸다. 슬라이스(202)는 매크로 블록(202)의 그룹을 포함한다. 매크로 블록(201)은 픽쳐의 직사각형 그룹이다. 도 2에 도시된 바와 같이, 바람직한 매크로 블록(201의) 크기는 16×16 픽쳐들이다.
도 3a-f는 더 작은 크기의 블록으로 분할될 수 있는 매크로 블록을 나타낸다. 예를 들면, 도 3a-f에 도시된 바와 같이, 매크로 블록은 16×8 픽쳐(도 3a;300), 8×16 픽쳐(도 3b;301), 8×8 픽쳐(도 3c;302), 8×4 픽쳐(도 3d;303), 4×8 픽쳐(도 3e;304), 또는 4×4 픽쳐(도 3f;305)의 블록 크기로 더 분할될 수 있다.
도 4는, 본 발명의 실시예를 나타내는 모션 보상에 의한 시간 예측을 이용한 픽쳐 구성 예를 나타낸다. 모션 보상에 의한 시간 예측은, 현재 픽쳐, 픽쳐 N(400)이 다른 픽쳐, 픽쳐 N-1(401)의 번역(translation)으로서 국부적으로 모델링 될 수 있다. 픽쳐 N-1(401)은 픽쳐 N(400)의 엔코딩을 위한 레퍼런스 픽쳐이며, 픽쳐 N(400)에 관하여 시간상의 포워드 또는 백워드 방향에 있을 수 있다.
도 4에 도시된 바와 같이, 각각의 픽쳐는 매크로 블록(201a,b)을 포함하는 슬라이스로 바람직하게 분할된다. 픽쳐 N-1(401)는 픽쳐 N(400)내에 도시된 이미지(403)를 포함한다. 이미지(403)는, 도 4에 도시된 바와 같이, 픽쳐 N-1(401)내에 있는 것보다도 픽쳐 N(400)내의 다른 시간상의 위치(402)에 있을 것이다. 픽쳐 N(400)의 각 매크로 블록(201b)의 이미지 콘텐츠는, 이미지(403)가 픽쳐 N(400)내에서 새로운 시간상의 위치(402)로 이동하기 위해, 픽쳐 N-1(401)의 각 매크로 블록(201a)의 이미지 콘텐츠의 시간상 이동의 필요량을 계산함으로써, 픽쳐 N-1(401)의 각 대응 매크로 블록(201a)의 이미지 콘텐츠로부터 예측된다. 원본 이미지(402) 대신에, 이미지(402)와 그 예측(403) 사이의 차이(404)가 실제로 엔코드되어 전송된다.
픽쳐 N(400)내의 각 이미지(402)를 위해, 시간 예측은 이미지(403)가 픽쳐 N(400)내에서 새로운 시간상의 위치(402)로 이동하기 위해 필요한 시간상의 이동량을 표시하는 모션 벡터로 종종 표시될 수 있다. 모션 벡터들(406)은 엔코드되고 전송되는데 필요한 모션 보상에 의한 시간 예측을 위해 사용된다.
도 4는, 픽쳐 N(400)내의 이미지(402)가 이미지 및 그것의 예측 사이의 차이(404)와 그 연관된 모션 벡터들(406)로 표시될 수 있는 것을 나타낸다. 모션 벡터를 이용한 정확한 엔코딩 방법은 특정 응용을 최상으로 서브하도록 변경할 수 있으며, 이 기술 분야에서 숙련된 사람들에 의해 용이하게 수행될 수 있다.
도 5는, 본 발명의 실시예에 따른 모션 보상에 의한 시간 예측내에서 복수의 레퍼런스 픽쳐들을 이용한 장점을 나타내는 픽쳐의 예시적인 스트림을 나타낸다. 복수의 레퍼런스 픽쳐의 사용은, 픽쳐 N(400)이 가능한 한 최대 압축으로 엔코드될 가능성을 증가한다. 픽쳐 N-1(401), N-2(500) 및 N-3(501)은 이 예에서 이미 엔코드 되었다. 도 5에 도시된 바와 같이, 픽쳐 N-3(501)내의 이미지(504)는 각각 픽쳐 N-2(500)와 N-1(401)의 이미지(503, 502)보다도 픽쳐 N(400)내의 이미지(402)와 더 유사하다. 복수의 레퍼런스 픽쳐의 사용은, 픽쳐 N(400)이 픽쳐 N-1(401) 대신 그것의 레퍼런스 픽쳐로서 픽쳐 N-3(501)을 이용하여 엔코드되도록 허용한다.
지금, 픽쳐 스트림의 픽쳐 레벨 AFF 코딩이 더 상세히 설명될 것이다. 인터레이스된 시퀀스의 프레임은 2개의 필드를 포함하고, 상부 필드와 하부 필드는 필드 기간까지 시간내에 인터리브(interleave)되어 분리된다. 필드 기간은 프레임 기간의 절반이다. 픽쳐 레벨 AFF코딩시, 인터레이스된 프레임의 2개의 필드는 공동으로(jointly) 또는 별개로(separately) 코드화 될 수 있다. 이들이 공동으로 코드화 되면, 프레임 모드 코딩이 사용된다. 반대로, 2개 필드가 별개로 코드화 되면, 필드 모드 코딩이 사용된다.
다른 한편, 고정된 프레임/필드 코딩은, 픽쳐의 스트림내에서 모든 픽쳐를 1가지 모드로만 코드화 한다. 그 모드는, 프레임 모드 또는 필드 모드가 될 수 있다. 디지털 영상 재료의 콘텐츠에 기초한 픽쳐 스트림의 각 픽쳐를 엔코드 하도록, 인코더가 모드, 프레임 모드 또는 필드 모드를 선택할 수 있도록 하므로, 픽쳐 레벨의 AFF는 고정 프레임/필드 코딩에 바람직하다.
프레임 모드 코딩은, 레퍼런스 프레임과 같이 프레임으로서 이미 엔코드 된 픽쳐를 사용한다. 레퍼런스 프레임들은 어떤 코드화된 I, P 또는 B 프레임이 될 수 있다. 레퍼런스 프레임들은, 인코더의 일부분인 프레임 버퍼내에 저장된다. 본 발명의 실시예는, 고유한 레퍼런스 프레임 번호가, 도 6의 예시적인 구성에 도시된 바와 같이, 프레임 모드로 엔코드되어 있는 현재 픽쳐로부터의 거리에 따라 프레임 버퍼내의 각 레퍼런스 프레임에 할당되는 것이다. 예를 들면, 도 6에 도시된 바와 같이, 프레임(600)으로서 엔코드되는 현재 픽쳐는 프레임 버퍼(601)내에서 다수의 레퍼런스 프레임(0-5)을 갖는다. 또한, 도 6에는 현재 프레임(600) 및 레퍼런스 프레임(0-5)에 대한 그 대응 필드(fl,f2)가 도시되었다. fl이라 지칭된 점선은 제1 필드이고, f2라 지칭된 점선은 제2 필드이다. 제1 필드는 2개 필드의 픽쳐내에서 엔코드되는 첫번째 필드이다. 마찬가지로, 제2 필드는 2개 필드의 픽쳐내에서 엔코드되는 두번째 필드이다. 본 발명의 실시예는, 제1 필드가 상부 또는 하부 필드가 될 수 있는 것이다. 본 발명의 다른 실시예에 있어서, 제2 필드는 또한 상부 또는 하부 필드가 될 수 있다. 프레임들은 실선들로 표시된다. 도 6에 도시된 바와 같이, 레퍼런스 프레임 0은, 현재 프레임(600)에 일시적으로 가장 근접한 레퍼런스 프레임이다. 레퍼런스 프레임 번호는 더 증가하고, 더구나 레퍼런스 프레임은 현재 프레임(600)으로부터 일시적이다.
본 발명의 실시예의 원리하에서, 프레임으로서 엔코드되는 B 픽쳐는 복수의 포워드 및 백워드 레퍼런스 픽쳐들을 가질 수 있다. 고유한 수들이 포워드 및 백워드 레퍼런스 픽쳐에 할당된다.
모션 보상 알고리즘에 의한 시간 예측에 있어서, 서브 펠(sub-pel) 보간은 프레임로서 엔코드되는 픽쳐내의 각각의 픽쳐에서 실행된다. 또한, 패딩(Padding)도 프레임 경계상에서 픽셀들을 반복함으로써 프레임으로서 엔코드된 레퍼런스 픽쳐들에 적용될 수 있다. 패딩은 모션 보상 알고리즘에 의한 시간 예측에서 때때로 바람직하다. 루프 필터링 또는 디 블록킹 스킴(de-blocking scheme)은, 인접하는 블록의 에지들에서 픽셀 값 불연속성들을 설명하기 위해 프레임 블록에 적용될 수 있다.
본 발명의 또 다른 실시예에 의하면, P 픽쳐내의 매크로 블록은 AFF코딩에서 스킵(skip)될 수 있다. 매크로 블록이 스킵되면, 그 데이터는 픽쳐의 엔코딩시 전송되지 않는다. P 픽쳐내에서 스킵된 매크로 블록은 프레임으로서 엔코드된 가장 최근에 코드화된 I 또는 P 레퍼런스 픽쳐내에서 모션 보상에 의한 동일 위치의(co-located) 매크로 블록을 복사함으로써 재구성된다.
필드 모드 코딩은 레퍼런스 필드와 같이 필드로서 이미 엔코드된 픽쳐를 사용한다. 레퍼런스 필드는 임의의 코드화된 I, P 또는 B 필드가 될 수 있다. 레퍼런스 필드는 인코더의 일부분인 필드 버퍼내에 저장된다. 본 발명의 실시예는, 고유한 레퍼런스 필드 번호가, 2개 필드로서 엔코드 되어 있는 현재 픽쳐으로부터의 거리에 따라 필드 버퍼내의 각 레퍼런스 필드에 할당되는 것이다. 도 7a 및 도 7b는 현재 필드와 동일한 필드 패리티의 레퍼런스 필드들이, 본 발명의 실시예에 따라 그들의 대응하는 제2 필드보다도 더 적은 수가 주어지는 예시적인 레퍼런스 필드 번호 구성을 나타낸다. 2개 필드가 모두 상부 필드 또는 하부 필드이면 동일한 필드 패리티를 갖는다. 도 7a 및 도 7b의 예에 있어서, 엔코드되는 현재 픽쳐의 제1 필드가 상부 필드이면, 레퍼런스 픽쳐들의 제1 필드들도 또한 상부 필드이다. 제2 필드들은 하부 필드가 된다. 제1 필드는 또한 모두 하부 필드가 될 수 있고, 제2 필드는 모두 상부 필드가 될 수 있다.
도 7a에 도시된 바와 같이, 필드(700)로서 엔코드되는 현재 픽쳐는, 필드 버퍼(701)내에 다수의 레퍼런스 필드(0-10)를 갖는다. fl이라 불리는 점선은 제1 필드이고, f2라 불리는 점선은 제2 필드이다. 필드들에 대한 대응 프레임들은 또한 도 7a에 도시되어 있으며, 실선으로 표시되어 있다. 도 7a에 도시된 바와 같이, 현재 필드(700)가 엔코드될 픽쳐의 제1 필드이면, 필드 버퍼(701)내에서 제1 픽쳐의 제1 필드에는 숫자 0이 할당되고, 필드 버퍼(701)내에서 제1 픽쳐의 제2 필드에는 숫자 1이 할당된다. 레퍼런스 필드 번호가 증가하고, 게다가 레퍼런스 필드는 현재 필드(700)로부터 일시적이다. 필드 버퍼내에서 픽쳐의 제1 필드는 그들의 대응하는 제2 필드보다 더 낮은 레퍼런스 번호를 갖는다.
도 7b는 현재 필드(702)가 2개 필드로서 엔코드되는 픽쳐의 제2 필드인 예시적인 레퍼런스 필드 번호 구성을 나타낸다. fl이라 불리는 점선은 제1 필드이고, f2라 불리는 점선은 제2 필드이다. 현재 픽쳐의 제1 필드는 이미 코드화 되었다. 도 7b에 도시된 바와 같이, 현재 필드(702)가 제2 필드이기 때문에, 필드 버퍼(701)내에서 제1 픽쳐의 제2 필드에는 0이 할당된다. 현재 픽쳐의 제1 코드화된 필드에는 숫자 0이 할당된다. 레퍼런스 필드 번호는 증가하고, 게다가 레퍼런스 필드는 현재 필드(702)로부터 일시적이다. 필드 버퍼내에서 픽쳐의 제2 필드는, 그들의 대응하는 제1 필드보다 더 낮은 레퍼런스 번호를 갖는다.
도 8은, 본 발명의 실시예에 따른 필드 버퍼내에서 교체(alterate) 레퍼런스 필드 번호 구성을 나타낸다. 이 구성에 있어서, 현재 필드와 동일한 필드 패리티의 필드에 선호(favoring)가 전혀 주어지지 않는다. 예를 들면, 도 8에 도시된 바와 같이, 현재 필드(800)는 제1 필드이다. 필드 버퍼내에서 가장 최근에 코드화된 픽쳐의 가장 최근에 코드화된 필드에는 레퍼런스 숫자 0이 할당된다. 레퍼런스 필드 번호는 증가하고, 게다가 레퍼런스 필드는 그들의 패리티에 관계없이 현재 필드(800)로부터 일시적이다.
본 발명의 또 다른 실시예에 의하면, 필드 코딩이 특정 P 픽쳐를 위해 인코더에 의해 선택되면, 인코더는 제2 필드의 엔코딩을 위해 레퍼런스 필드로서 엔코드되는 제1 필드를 사용할 수 있다. 픽쳐가 B 픽쳐이면, 엔코드되는 제1 필드는 제2 필드의 엔코딩을 위해 2개 레퍼런스 필드 중 하나로서 사용될 수 있다.
적응성 이중 예측(ABP)를 위해, 2개 레퍼런스 픽쳐는 필드 모드로 코드화 될 수 있다. 이 경우, 스케일 모션 벡터들을 산출하기 위해 사용된 시간상의 거리들은 필드 간격내에 있다. ABP 코딩시, 양쪽 레퍼런스 픽쳐는 동일한 방향으로 있다.
모션 보상 알고리즘에 의한 시간 예측에 있어서, 서브 펠 보간법은 필드 모드로 엔코드되는 픽쳐내의 각각의 픽쳐에서 수행된다. 또한, 패딩은 필드 경계상에서 픽쳐를 반복함으로써, 필드 모드로 엔코드된 레퍼런스 픽쳐에 적용될 수 있다. 패딩은, 모션 보상 알고리즘에 의한 시간 예측내에서 때때로 바람직하 다. 루프 필터링, 디 블록킹 스킴은 인접한 블록의 에지들에서 픽쳐 값 불연속성들을 설명하기 위해 필드 블록들에 적용될 수 있다.
본 발명의 또 다른 실시예에 의하면, P 픽쳐내의 매크로 블록은 AFF 코딩시 스킵될 수 있다. 매크로 블록이 스킵되면, 그 데이터는 픽쳐의 엔코딩시 전송되지 않는다. P 픽쳐내에서 스킵된 매크로 블록은 동일한 필드 패리티의 가장 최근에 코드화된 I 또는 P 레퍼런스 필드내에서 모션 보상을 갖는 동일 위치의 매크로 블록을 복사함으로써 재구성된다. 다른 실시예는 P 픽쳐내에서 스킵된 매크로 블록이 다른 필드 패리티가 될 수 있는 가장 최근에 코드화된 레퍼런스 필드내에서 동일 위치의 매크로 블록을 복사함으로써 재구성된다.
본 발명의 또 다른 실시예는 B 픽쳐를 위한 직접 모드 코딩이다. 직접 모드 코딩시, B 픽쳐내의 매크로 블록을 위한 포워드 및 백워드 모션 벡터는, 대응하는 또는 백워드 레퍼런스 픽쳐의 동일 위치의 매크로 블록에서 사용된 모션 벡터로부터 유도된다. 2개 픽쳐내에 동일 위치의 매크로 블록은, 양쪽 픽쳐내에서 동일한 기하학적인 위치를 점유한다. 비록 본 발명의 실시예에 의해서도, 백워드 레퍼런스 픽쳐가 때때로 포워드 레퍼런스 픽쳐으로서 레퍼런스되지만, 백워드 레퍼런스 픽쳐는 엔코드 되어 있는 현재 픽쳐보다 일시적으로 반드시 앞에 있을 필요는 없다.
매크로 블록이 인터 모드 코딩에서 16 모션 벡터까지 및 4 레퍼런스 프레임까지 가질 수 있기 때문에, 직접 모드 코딩은 다른 방법의 코딩보다 유리하다. 인터 모드 코딩은 모션 보상에 의한 시간 예측을 이용하여 매크로 블록을 코드화한다. 매크로 블록이 인터 모드 코딩을 이용하여 코드화되면, MPEG-4 Part 10AVC/H.264 표준은, 도 3a-f(16×8 픽쳐, 8×16 픽쳐, 8×8 픽쳐, 8×4 픽쳐, 4×8 픽쳐 및 4×4 픽쳐)의 더 작은 크기의 6개 블록의 각각이 그 자신의 모션 벡터를 갖게 한다. 또한, MPEG-4 Part 10AVC/H.264 표준은 16×16 픽쳐, 16×8 픽쳐, 8×16 픽쳐, 8×8 픽쳐 크기의 블록이 그 자신의 레퍼런스 프레임을 갖게 한다. 이와 같이, 매크로 블록은 16 모션 벡터까지 및 4 레퍼런스 프레임까지 가질 수 있다. 이렇게 많은 위치 모션 벡터를 갖기 때문에, 이미 산출된 백워드 레퍼런스 픽쳐의 동일 위치의 매크로 블록의 모션 벡터로부터 엔코드되는 매크로 블록의 모션 벡터를 유도하는데 유리하다. 직접 모드 코딩시, 엔코드되는 매크로 블록의 포워드 및 백워드 모션 벡터는 백워드 레퍼런스 픽쳐내에 동일 위치의 매크로 블록의 포워드 모션 벡터의 스케일 버전으로서 계산된다.
픽쳐 레벨에서의 AFF 코딩시, B 픽쳐 및 그 백워드 레퍼런스 픽쳐는 각각 프레임 모드 또는 필드 모드로 코드화 될 수 있다. 그러므로, 프레임과 필드 코딩 모드의 관점에서, 백워드 레퍼런스 픽쳐의 B 픽쳐내의 한쌍의 매크로 블록과 그것과 동일 위치의 매크로 블록을 위해 4개의 다른 조합이 가능하다. 케이스 1에 있어서, 현재 매크로 블록 및 그것의 동일 위치의(co-located) 매크로 블록은 프레임 모드로 존재한다. 케이스 2에서는, 현재 매크로 블록 및 그것의 동일 위치의 매크로 블록은 필드 모드로 존재한다. 케이스 3에서는, 현재 매크로 블록은 필드 모드로 존재하고, 그것의 동일 위치의 매크로 블록은 프레임 모드 내에 존재한다. 마지막으로, 케이스 4에서는, 현재 매크로 블록은 프레임 모드으로 존재하고, 그것의 위치된 매크로 블록은 필드 모드로 존재한다. 엔코딩되는 매크로 블록들을 위한 직접 모드 모션 벡터 연산의 방법은 위 4가지의 케이스 각각에 상이하다. B 픽쳐 내 매크로 블록들을 위한 직접 모션 벡터 연산의 4가지 방법들은 이하에서 상세하게 설명될 것이다.
케이스 1에서의 직접 모드 벡터 연산의 방법은 도 9와 관련되어 설명될 것이다. 도 9에서 도시된 바와 같이, 현재의 B 픽쳐(900)는 레퍼런스 픽쳐로서 프레임 모드에서 엔코딩된 백워드 레퍼런스 픽쳐(901)와 포워드 레퍼런스 픽쳐(902)를 이용하여 프레임 모드에서 엔코딩된다. 도 9에서의 프레임들은 수직선들과 이 수직선들에 대응되며 수직 점선들로 나타나 있는 f1과 f2들로 표시되어 있다. 본 발명의 실시예에 따라서, 백워드 레퍼런스 픽쳐(901)는 프레임 모드에서 엔코딩된 I, P 또는 B 픽쳐가 될 수 있다. 이와 유사하게, 포워드 레퍼런스 픽쳐(902) 또한 엔코딩된 I, P 또는 B 픽쳐가 될 수 있다.
도 9에서 도시된 바와 같이, 현재의 B 픽쳐(900)내에는 블록(903)이, 그리고 백워드 레퍼런스 픽쳐(901)내에는 그것의 동일 위치의 블록(904)이 존재한다. 블록(903)과 그것의 동일 위치의 블록(904)은 동일한 픽셀 디멘젼(dimensions)을 갖는다. 이 디멘젼들은 16×16 픽셀들, 16×8, 8×16 픽셀들, 8×8 픽셀들, 8×4 픽셀들, 4×8 픽셀들, 또는 4×4 픽셀들이 될 수 있다. 본 발명의 실시예에 따라서, 인코더는 모션 보상 알고리즘(motion compensation algorithm)의 시간 예측에서 이용되는 현재 B 픽쳐(900)내 블록(903)에 있어서의 2개의 모션 벡터들을 추출한다. 모션 벡터들 중 하나인 MVF는 프레임 모드내에서 엔코딩된 포워드 레퍼런스 픽쳐(902)를 가르키며, 다른 모션 벡터인 MVB는 프레임 모드내에서 엔코딩된 백워드 레퍼런스 픽쳐(601)를 가르킨다. 2 모션 벡터들은 다음과 같이 연산된다:
MVF = TRBㆍMV/TRD
MVB = (TRB-TRD)ㆍMV/TRD (식 1 및 식 2)
식 1과 2에서, TRB는, 프레임 모드로 엔코딩되는 현재의 B 픽쳐와 프레임 모드내에서 엔코딩되는 포워드 레퍼런스 픽쳐(602) 사이의 시간상의 거리, 시간상의 거리의 근사값, 시간상의 거리에 대한 비례 거리, 또는 시간상의 거리의 근사값에 대한 비례 근사치이다. TRD는 프레임 모드로 엔코딩된 포워드 레퍼런스 픽쳐(602)와 백워드 레퍼런스 픽쳐(601)사이의 시간상의 거리, 시간상의 거리의 근사값, 시간상의 거리에 대한 비례 거리, 또는 시간상의 거리의 근사값에 대한 비례 근사치이다. 레퍼런스 픽쳐들 사이의 시간상의 거리를 연산하는 바람직한 방법은 밑에서 설명될 것이다. MV는 백워드 레퍼런스 픽쳐(901) 내에서 그것과 동일 위치의 블록(904)에 있어 이미 연산된 모션 벡터이며 프레임 모드에서 엔코딩된 포워드 레퍼런스 픽쳐(902)를 가리킨다.
케이스 2에서의 직접 모드 벡터 연산의 방법은 도 10 및 도 11과 관련지어서 설명될 것이다. 도 10 및 도 11에서 도시된 바와 같이, 현재 B 픽쳐은 레퍼런스 픽쳐시로서 포워드 레퍼런스 픽쳐(902)와 필드 모드로 엔코딩된 백워드 레퍼런스 픽쳐(901)를 이용하여 필드 모드로 엔코딩된다. 도 10 및 도 11에서의 프레임들은, 수직선들과 이 수직선들에 대응되며 수직 점선들로 나타나 있는 f1과 f2들로 표시되어 있다. 본 발명의 실시예에 따라서, 백워드 레퍼런스 픽쳐(901)는 프레임 모드에서 엔코딩된 I, P 또는 B 픽쳐로 될 수 있다. 이와 유사하게, 포워드 레퍼런스 픽쳐(902) 또한 엔코딩된 I, P 또는 B 픽쳐로 될 수 있다.
도 10에서 도시된 바와 같이 현재 B 픽쳐(900)의 제 1 필드내에는 블록(905)이 존재한다. 도 10에서 도시된 실시예에 따라, 그것과 동일 위치의 블록(906)은 B 픽쳐(900) 내의 블록(905)과 같이, 동일 부분의 필드에 존재한다. 블록(905)과 그것의 동일 위치의 블록(906)은 동일한 픽셀 디멘젼들을 가진다. 이 디멘젠들은, 16×16 픽셀들, 16×8픽셀들, 8×16 픽셀들, 8×8 픽셀들, 8×4 픽셀들, 4×8 픽셀들, 또는 4×4 픽셀들이 될 수 있다.
본 발명의 실시예에 의하면, 인코더는 모션 보상 알고리즘의 시간 예측에서 이용되는 현재 B 픽쳐(900)내 블록(905)을 위한 2개의 모션 벡터들을 추출한다. 모션 벡터들 중 하나인 MVF,1는 MV1가 가리키는 포워드 레퍼런스 픽쳐(902)내 필드를 가리킨다. 다른 모션 벡터인 MVB,1는 백워드 레퍼런스 픽쳐(901) 내 그 대응되는 위치의 블록(906)의 필드를 가리킨다. 두 모션 벡터들은 다음과 같이 연산된다:
MVF,i = TRB,iㆍMVi/TRD,i
MVB,i = (TRB,i-TRD,i)ㆍMVi/TRD,i (식 3 및 식 4)
식 3과 4에서, 첨자 i는 필드 인덱스이다. 제 1 필드는 1의 인덱스 필드를 가지고 제 2 필드의 필드 인덱스는 2이다. 그러므로, 도 10의 전형적인 시나리오에서는, 제 1 필드가 엔코딩되고 있기 때문에 필드 인덱스는 1이 된다. MVi는 백워드 레퍼런스 픽쳐(901)의 필드 i에서 그 동일 위치된 매크로 블록의 포워드 모션 벡터이다. TRB,i는, 현재 B 픽쳐의 i번째 필드와 MVi에 의해 가르켜지는 레퍼런스 필드 사이의 시간상의 거리, 시간상의 거리의 근사값, 시간상의 거리의 비례 거리, 시간상의 거리의 근사값에 대한 비례 근사치이다. TRD,i는, 백워드 레퍼런스 픽쳐(901)의 i번째 필드와 MVi에 의해 지시된 레퍼런스 필드 사이의 시간상의 거리, 시간상의 거리의 근사값, 시간상의 거리의 비례 거리, 시간상의 거리의 근사값에 대한 비례 근사치이다.
도 10에서 도시된 바와 같이, 현재 B 픽쳐(900)의 제 2 필드내에는 또 다른 블록(907)이 존재한다. 그것은 백워드 레퍼런스 픽쳐(901)의 제 2 필드 내에는 동일 위치의(co-located) 블록(908)을 가진다. 만일 그 동일 위치의 블록(908)의 포워드 모션 벡터가 그 자신의 픽쳐가 아닌 어떤 픽쳐 내에서 먼저 코드된 필드를 가르킨다면, 필드 인덱스가 2가 되면서, 포워드 및 백워드 모션 벡터들의 연산은 식 3과 4를 따른다.
그러나, 본 발명의 실시예에 따라, 도 11에서 도시된 바와 같이, 백워드 레퍼런스 픽쳐(901)의 제 2 필드 내에서 동일 위치의 블록(908)의 포워드 모션 벡터는 같은 백워드 레퍼런스 픽쳐(901)의 제 1 필드를 가르킬 수 있다. 도 11은 동일 위치의 블록(908)이 백워드 레퍼런스 픽쳐(901)의 제 1 필드를 가르키는 포워드 모션 벡터 MV2를 갖는다는 것을 보여주고 있다. 이 경우에, 현재 블록(907)에 있어서의 두 모션 벡터들은 다음과 같이 연산된다:
MVF,2 = -TRB,2ㆍMV2/TRD,2
MVB,2 = -(TRB,2+TRD,2)ㆍMV2/TRD,2 (식 5 및 식 6)
식 5와 식 6에서, TRB,2는, MV2에 의해 가르켜지는 레퍼런스 필드와 현재 B 픽쳐(900)의 제 2 필드 사이의 시간상의 거리, 시간상의 거리의 근사값, 시간상의 거리에 대한 비례 거리, 또는 시간상의 거리의 근사값에 대한 비례 근사치이다. TRD,2는 MV2에 의해 가르켜지는 레퍼런스 필드와 백워드 레퍼런스 픽쳐(901)의 제 2 필드 사이의 시간상의 거리, 시간상의 거리의 근사값, 시간상의 거리에 대한 비례 거리, 또는 시간상의 거리의 근사값에 대한 비례 근사치이다. 이 경우에, 도 11에서 도시된 바와 같이, 모션 벡터들은 백워드 방향을 가르킨다.
케이스 3에서의 직접 모드 벡터 연산의 방법은 도 12와 관련지어 설명될 것이다. 도 12에서 도시된 바와 같이, 현재 B 픽쳐(900)는 그 레퍼런스 픽쳐들로서 포워드 레퍼런스 픽쳐(902)와 프레임 모드로 엔코딩된 백워드 레퍼런스 픽쳐(901)을 이용하여 필드 모드로 엔코딩된다. 도 12에서의 프레임들은 수직선들과 그것들에 대응하여 수직 점선들로 나타내지는 f1과 f2로 표시된다. 본 발명의 실시예에 따라서, 백워드 레퍼런스 픽쳐(901)는 프레임 모드에서 엔코딩된 I, P 또는 B 픽쳐가 될 수 있다. 이와 유사하게, 포워드 레퍼런스 픽쳐(902) 또한 엔코딩된 I, P 또는 B 픽쳐가 될 수 있다.
도 12에서 도시된 바와 같이, 현재 B 픽쳐(900)의 제 1 필드 내에 블록(905)이 존재한다. 도 12에서 도시된 실시예에 따라, 동일 위치의 블록(904)은 프레임 모드로 코딩된다. 본 발명의 실시예에 따라서, 인코더는 모션 보상 알고리즘의 시간 예측에서 이용되는 현재 B 픽쳐(900)내 블록(905)에 있어서의 2개의 모션 벡터들을 추출한다. 도 12에서 도시된 바와 같이, 모션 벡터들 중 하나인 MVF,1는 현재 블록(905)의 필드와 같은 위치를 갖는 포워드 레퍼런스 픽쳐(902)내의 필드를 가르킨다. 도 12의 예에서, 현재 블록(905)은 현재 B 픽쳐(900)의 제 1 필드내에 존재한다. 다른 모션 벡터인 MVB,1는, 백워드 레퍼런스 픽쳐(901)내의 유사한 위치의 필드를 가르킨다. 두 모션 벡터들은 다음과 같이 연산된다:
MVF,i = TRB,iㆍMV/TRD
MVB,i = (TRB,i-TRD)ㆍMV/TRD (식 7 및 식 8)
식 7과 식 8에서, MV는 수직 방향내에서 동일 위치의 블록(904)의 프레임 기반(frame-based)의 포워드 모션 벡터를 2로 나누는 것에 의해 얻어진다. 이것은 현재 블록(905)이 필드 모드에 있는 반면에 동일 위치의 블록(904)이 프레임 모드에 존재하는 사실을 보상한다. 첨자 i는, 필드 인덱스이다. 제 1 필드는 1의 필드 인덱스를 갖고 제 2 필드의 필드 인덱스는 2이다. 그러므로, 도 12의 전형적인 시나리오에서는, 제 1 필드가 엔코딩되고 있기 때문에 필드 인덱스는 1이 된다. TRB,i는, 백워드 레퍼런스 픽쳐(901)의 i 번째 필드와 앞 프레임(902)의 i 번째 필드 사이의 시간상의 거리, 시간상의 거리의 근사값, 시간상의 거리에 대한 비례 거리, 또는 시간상의 거리의 근사값에 대한 비례 근사치이다. TRD는, 현재 B 픽쳐(900)의 i 번째 필드와 백워드 레퍼런스 픽쳐(901)내 동일 위치의 블록(904)의 프레임 사이의 시간상의 거리, 시간상의 거리의 근사값, 시간상의 거리에 대한 비례 거리, 또는 시간상의 거리의 근사값에 대한 비례 근사치이다. 동일한 식들은 현재 B 픽쳐(900)의 제 2 필드내 블록(907)을 위한 모션 벡터들을 연산하는 데 이용된다.
케이스 4에서의 직접 모드 벡터 연산의 방법은 도 13과 관련지어 설명될 것이다. 도 13에서 도시된 바와 같이, 현재 B 픽쳐(900)는, 그 레퍼런스 픽쳐들과 같이 포워드 레퍼런스 픽쳐(902)와 프레임 모드로 엔코딩된 백워드 레퍼런스 픽쳐(901)를 이용하여 필드 모드로 엔코딩된다. 도 13에서의 프레임들은 수직선들과 그것들에 대응하는 필드로서 수직 점선들로 나타내지는 f1과 f2로 표시된다. 본 발명의 실시예에 따라서, 백워드 레퍼런스 픽쳐(901)는 프레임 모드에서 엔코딩된 I, P 또는 B 픽쳐가 될 수 있다. 이와 유사하게, 포워드 레퍼런스 픽쳐(902) 또한 엔코딩된 I, P 또는 B 픽쳐가 될 수 있다.
도 13에서 도시된 바와 같이, 프레임으로서 엔코딩되는 현재 B 픽쳐(900)내에 블록(903)이 존재한다. 그것의 모션 벡터들은 백워드 레퍼런스 픽쳐(901) 내 동일 위치 블록(906)의 포워드 모션 벡터 MV1으로부터 얻어진다. 본 발명의 실시예에 따라서, 인코더는 모션 보상 알고리즘의 시간 예측에서 이용되는 현재 B 픽쳐(900)내 현재 블록(903)에 있어서의 2개의 모션 벡터들을 추출한다. 두 모션 벡터들은 다음과 같이 연산된다:
MVF = TRBㆍMV1/TRD,1
MVB = (TRB-TRD,1)ㆍMV1/TRD,1 (식 9 및 식 10)
식 9와 식 10에서, MV1는 수직 방향내에서 백워드 레퍼런스 픽쳐(901)의 제 1 필드 내 동일 위치의 블록(906)의 필드 기반(field-based) 모션 벡터를 2배 하는 것에 의해 유도된다. TRB는, 동일 위치의 블록(906)의 포워드 모션 벡터를 가르키는 포워드 레퍼런스 픽쳐(902)내 필드에 대응하는 레퍼런스 프레임 사이의 시간상의 거리, 시간상의 거리의 근사값, 시간상의 거리에 대한 비례 거리, 또는 시간상의 거리의 근사값에 대한 비례 근사치이다. 도 13에서, 이 모션 벡터는 MV1으로 표시되어 진다. TRD,1는, 동일 위치의 블록(906)의 포워드 모션 벡터를 가르키는 포워드 레퍼런스 픽쳐(902)내의 필드와 백워드 레퍼런스 픽쳐(901)의 제 1 필드 사이의 시간상의 거리, 시간상의 거리의 근사값, 시간상의 거리에 대한 비례 거리, 또는 시간상의 거리의 근사값에 대한 비례 근사치이다.
본 발명의 또 다른 실시예는 P 도시부분으로 코딩하는 직접 모드까지 확대된다. 픽쳐 레벨에서의 AFF 코딩에서, P 픽쳐와 그 포워드 레퍼런스 픽쳐는 필드 모드 또는 프레임 모드에서 코딩될 수 있다. 그러므로, 프레임 및 필드 코딩 모드들의 관점에서, P 픽쳐내 매크로 블록들의 쌍 및 뒤 레퍼런스 픽쳐의 그것과 동일 위치의 매크로 블록에 있어서의 네 가지 상이한 조합들이 가능해진다. 케이스 1에서, 현재 매크로 블록과 그것과 동일 위치의 매크로 블록 모두 프레임 모드 내에 존재한다. 케이스 2에 있어서는, 현재 매크로 블록과 그것과 동일 위치의 매크로 블록 모두 필드 모드 내에 존재한다. 케이스 3은, 현재 매크로 블록은 필드 모드내에 존재하고 그것과 동일 위치의 매크로 블록은 프레임 모드 내에 존재한다. 마지막으로, 케이스 4에 있어서, 현재 매크로 블록은 프레인 모든에서 존재하고 그것과 동일 위치의 매크로블록은 필드 모드내에 존재한다. P 픽쳐들 내 블록들은 포워드 모션 벡터인 단지 하나의 모션 벡터를 갖는다. 엔코딩되는 매크로 블록들에서의 직접 모드 모션 벡터 연산의 방법은 4 가지 경우 마다 각각 상이하다. B 픽쳐 내의 매크로 블록들에서의 직접 모션 벡터 연산의 4 가지 방법들은 이하에서 상세하게 설명될 것이다.
케이스 1에서는, 현재 P 픽쳐와 그 포워드 레퍼런스 픽쳐는 프레임 모드로 엔코딩된다. 현재 P 픽쳐 내 블록에서의 포워드 레퍼런스 픽쳐는, 포워드 레퍼런스 픽쳐내 동일 위치의 블록에 의해 이용되는 같은 픽쳐이다. 그러므로, 현재 블록의 포워드 모션 벡터인 MVF는 그것과 동일 위치의 블록의 포워드 모션 벡터와 같다.
케이스 2에 있어서, 현재 P 픽쳐와 그 포워드 레퍼런스 픽쳐는 모두 필드 모드로 엔코딩된다. 현재 P 픽쳐의 필드에서의 블록의 직접 모드 코딩 내 모션 벡터는, 포워드 레퍼런스 픽쳐 내 같은 위치의 필드 내에서 동일 위치의 블록의 포워드 모션 벡터로부터 연산된다. 현재 P 픽쳐의 i 번째 필드내의 블록에서의 포워드 모션 벡터인 MVF,i는 포워드 레퍼런스 픽쳐의 i 번째 내 동일 위치의 블록의 포워드 모션 벡터와 같다.
케이스 3에 있어서, 현재 P 픽쳐는 필드 모드내에서 존재하고 포워드 레퍼런스 픽쳐는 프레임 모드내에 존재한다. 현재 P 픽쳐의 필드들의 하나 내에서 블록의 동일 위치의 블록은 코딩된 프레임이기 때문에, 현재 P 픽쳐의 필드들의 하나 내에서 블록의 포워드 모션 벡터는 수직방향으로 동일 위치의 블록의 모션을 둘로 나누는 것에 의해 얻어진다.
케이스 4에 있어서, 현재 P 픽쳐는 프레임 모드 내에 존재하고 포워드 레퍼런스 픽쳐는 필드 모드 내에 존재한다. 포워드 레퍼런스 픽쳐의 제 1 필드 내의 동일 위치의 블록은 프레임 모드 내에 존재하는 현재 P 픽쳐내 블록의 포워드 모션 벡터를 연산하는 데 이용된다. 프레임 모드로 현재 P 픽쳐내 포워드 모션 벡터 MVF는, 수직방향 내에서 포워드 레퍼런스 픽쳐의 제 1 필드내 동일 위치의 블록의 필드 기반 모션 벡터를 두배하는 것에 의해 유도된다.
본 발명의 또 다른 실시예는 다중-프레임 삽입 예측 모드(multi-frame interpolative prediction mode, MFIP)이다. MFIP는 일반적인 프레임 삽입 예측 구조이다. 앞에서 설명한 것처럼, 프레임 모드 또는 필드 모드로 엔코딩된 B 픽쳐는 프레임 모드 또는 필드 모드내에서 엔코딩된 2개의 레퍼런스 픽쳐들을 갖는다. 2개의 레퍼런스 픽쳐들은 도 14에서 도시된 바와 같이 모두 포워드 레퍼런스 픽쳐들이다. 도 14는 2개의 레퍼런스 픽쳐들을 갖고 엔코딩되는 B 픽쳐(140)를 도시하고 있다. 레퍼런스 픽쳐들 중 하나는 포워드 레퍼런스 픽쳐(141)이고 다른 하나는 포워드 레퍼런스 픽쳐(142)이다. 도 14에서 도시된 바와 같이, 두 개 모두 시간상에서의 포워드 방향이라는 점에서 같다. 2개의 레퍼런스 픽쳐들은 또한 도 15에서 도시된 바와 같이 모두 시간상에서의 백워드 방향내에서 존재할 수 있다. 도 15에서, B 픽쳐(140)는 시간상의 백워드 방향에서 그것의 포워드 레퍼런스 픽쳐(141)와 포워드 레퍼런스 픽쳐(142)를 갖는다. 도 16은 본 발명의 또 다른 실시예를 나타낸다. 도 16에서 도시된 바와 같이, B 픽쳐(140)는 시간적인 포워드 방향에서의 포워드 레퍼런스 픽쳐(141)와 시간적인 백워드 방향에서의 포워드 레퍼런스 픽쳐(142)를 가질 수 있다.
MFIP에서, 예측 시그널은 모션이 보상된 시그널들의 선형 보간(interpolation)이다. B 픽쳐의 MPIF에서의 예측 시그널(pred)은 다음과 같이 연산된다:
pred = w 1 ref 1 + w 2 ref 2 + d (식 11)
식 11에서, 변수 ref 1와 ref 2는 2개의 레퍼런스 픽쳐들이다. 변수 w 1과 w 2은 가중(weigting) 인자이다. 변수 d는 디폴트에 의해 0으로 세트된다. 선형 보간 계수들인 w 1, w 2, d는 각각의 매크로블록에 있어서 명백하게 결정될 수 있다. 만일 ref 1와 ref 2가 포워드 또는 백워드 레퍼런스 픽쳐들이라면, 레퍼런스 픽쳐인 ref 1는 시간적인 거리의 관점에서 B 픽쳐에 보다 근접한 레퍼런스 픽쳐이다. 양방향성 레퍼런스 픽쳐들에 있어서, ref 1와 ref 2는 각각 포워드 및 백워드 레퍼런스 픽쳐들이다.
MFIP 매크로블록의 양 모션 벡터들은 서로 비례하여 코딩된다. ref 2의 모션 벡터인 MV 2는, 다음 식을 이용하여, 측정된 ref 1의 모션 벡터인 MV 1에 오프셋 DMV를 더하는 것에 의해 생성된다:
MV 2 = (TR 2 × MV 1)/TR 1 + DMV (식 12)
도 12에서, 변수 DMV는 데이터 모션 벡터이며 오프셋이다. 변수 TR 1 및 TR 2는, 현재 픽쳐와 가장 가까운 레퍼런스 픽쳐인 ref 1, 가장 먼 레퍼런스 픽쳐인 ref 2 사이의 시간적인 거리들, 시간적인 거리의 대략값, 시간적인 거리에 대한 비례 거리, 시간적인 거리의 대략값에 대한 비례 대략치이다.
픽쳐 레벨 AFF에서, B 픽쳐는 하나의 B 프레임 픽쳐 또는 두 개의 B 필드 픽쳐들로서 코딩될 수 있다. 필드 구조내에서 엔코딩된 현재 B 픽쳐와 그것의 레퍼런스 픽쳐들을 갖는 필드 모드내에서의 MFIP를 조작하는 규칙들은 아래와 같이 주어진다:
도 11은 예측 시그널을 생성하는 데 이용된다. 그러나, ref 1와 ref 2는, 레퍼런스 필드 넘버들인, ref_idx_fwd와 ref_idx_bwd에 의해 인덱스되는 필드들이다. 필드 ref 1와 ref 2는 상부 필드들이거나 하부 필드들이다. 디폴트 가중 인자인, w 1과 w 2은, 각각 (.5, .5, 0) 및 (2, -1, 0)이다.
식 12는 MV 2를 생성하는 데 이용된다. 레퍼런스 픽쳐들이 필드 구조내에 존재하기 때문에, TR 1과 TR 2는 레퍼런스 필드와 현재 필드들 사이의 시간적인 거리들에 기초하여 결정된다.
MFIP 모드에서의 레퍼런스 필드 넘버에 있어서의 코드 넘버인 ref_idx_fwd와 ref_idx_bwd는, 필드 픽쳐에 있어서의 잘 알려진 통상의 규칙을 따른다.
AFF 코딩 내 픽쳐 사이의 시간상의 거리는, 변수, 시간상의 레퍼런스(TR)를 이용하는 것에 의해 또는 픽쳐의 숫자를 카운트하고 그것들의 차이들을 계산하는 것에 연산될 수 있다. 본 발명의 실시예는, TR이 필드 당 1씩 증가하고, 픽쳐 레벨 AFF을 위한 상수(예컨대, 256)에 의해 감싸진다. TR은 필드 간격 내에 존재한다. n을 프레임 인덱스 또는 프레임 번호인 경우, 변수 n은 프레임 당 1씩 증가된다. 프레임 인덱스 n을 가진 프레임이 프레임 모드로 엔코딩되면, 이 프레임의 TR은 2n이 된다. 프레임 인덱스 n을 가진 프레임이 필드 모드로 엔코딩되면, 이 프레임의 제 1 필드의 TR은 2n이고, 제 2 필드의 TR은 2n+1이다.
이상의 상세한 설명은 발명의 실시예를 설명하고 기술하는 것만으로 표현되고 있는 것이다. 개시된 어떤 정량적인 수치나 기재에 본 발명을 한정하거나 소모시키려는 의도는 존재하지 않는다. 많은 수정과 변경은 위 개시된 발명의 범위내에서 가능할 것이다.
앞서 언급한 실시예들은 본 발명의 원리 및 어떤 실제적인 적용들을 나타내기 위하여 선택되고 설명되어진 것이다. 상술한 설명은 이 기술분야의 당업자라면 고려된 특별한 이용에 알맞는 형태로서 다양한 수정들과 다양한 실시예로 본 발명을 이용하는 것이 가능할 것이다. 발명의 범위는 다음의 특허청구범위에 의하여 정해지도록 의도되고 있다.

Claims (12)

  1. 복수의 픽쳐들(pictures) 중의 적어도 하나는 이중 예측의 부호화된(bi-predictive coded)(B) 픽쳐로 엔코딩(encoding)될 현재의 픽쳐인, 복수의 픽쳐를 갖는 영상 시퀀스(sequence)의 엔코딩 방법으로서,
    엔코더에서,
    상기 복수의 픽쳐들 중의 적어도 하나를 프레임 코딩(frame coding) 모드로 선택적으로 엔코딩하는 단계;
    상기 복수의 픽쳐들 중의 적어도 하나를 필드 코딩(field coding) 모드로 선택적으로 엔코딩하는 단계;
    상기 현재의 픽쳐가 프레임 코딩 상태이면, 상기 현재의 픽쳐를, 매크로블록(macroblock)이 16×16 픽셀, 16×8 픽셀, 8×16 픽셀, 8×8 픽셀, 8×4 픽셀, 4×8 픽셀 및 4×4 픽셀 중의 적어도 하나를 포함하는 적어도 하나의 블록으로 분할되는, 복수의 매크로블록으로 분할하고; 한 쌍의 현재 필드를 포함하는 상기 현재의 픽쳐가 필드 코딩 상태이면, 상기 현재의 픽쳐의 각 현재 필드를, 매크로블록(macroblock)이 16×16 픽셀, 16×8 픽셀, 8×16 픽셀, 8×8 픽셀, 8×4 픽셀, 4×8 픽셀 및 4×4 픽셀 중의 적어도 하나를 포함하는 적어도 하나의 블록으로 분할되는, 복수의 매크로블록으로 분할하는 단계; 및
    적어도 두 개의 모션(motion) 벡터를 계산하고, 상기 매크로블록들 중의 적어도 하나의 현재 블록에 대하여, 상기 적어도 두 개의 모션 벡터에 의해 지시된 적어도 두 개의 관련 기준 픽쳐 또는 필드를 유도하는 단계를 포함하며,
    상기 적어도 두 개의 관련 기준 픽쳐 또는 필드의 각각은 포워드(forward) 또는 백워드(backward) 기준 픽쳐 또는 필드인 것을 특징으로 하는 복수의 픽쳐를 갖는 영상 시퀀스의 엔코딩 방법.
  2. 제1항에 있어서,
    상기 적어도 두 개의 모션 벡터 및 상기 적어도 두 개의 관련 기준 픽쳐 또는 필드는 백워드 기준 픽쳐 또는 필드 내의 같은 장소에 배치된(co-located) 블록으로부터 계산되고, 상기 백워드 기준 픽쳐 또는 필드 내의 상기 같은 장소에 배치된 블록은 상기 현재의 픽쳐 또는 필드 내의 상기 적어도 하나의 현재 블록과 동일한 기하학적인 장소를 차지하는 것을 특징으로 하는 복수의 픽쳐를 갖는 영상 시퀀스의 엔코딩 방법.
  3. 제2항에 있어서,
    상기 현재의 블록 또는 상기 현재의 블록의 상기 같은 장소에 배치된 블록은 프레임 코딩 모드 또는 필드 코딩 모드로 코딩되는 것을 특징으로 하는 복수의 픽쳐를 갖는 영상 시퀀스의 엔코딩 방법.
  4. 제3항에 있어서,
    상기 현재의 블록 또는 상기 같은 장소에 배치된 블록은 상기 프레임 코딩 모드로 엔코딩되는 것을 특징으로 하는 복수의 픽쳐를 갖는 영상 시퀀스의 엔코딩 방법.
  5. 제4항에 있어서,
    상기 현재의 블록의 상기 적어도 두 개의 모션 벡터는 상기 백워드 기준 픽쳐에서 같은 장소에 배치된 블록의 포워드 모션 벡터(MV)로부터 유도되고,
    상기 적어도 두 개의 모션 벡터는 상기 포워드 기준 픽쳐로 향하는 모션 벡터(MVF)와 상기 백워드 기준 픽쳐로 향하는 모션 벡터(MVB)를 포함하며,
    상기 포워드 기준 픽쳐는 상기 같은 장소에 배치된 블록의 상기 포워드 모션 벡터(MV)에 의해 지시된 프레임이고, 상기 백워드 기준 픽쳐는 상기 같은 장소에 배치된 블록이 존재하는 프레임인 것을 특징으로 하는 복수의 픽쳐를 갖는 영상 시퀀스의 엔코딩 방법.
  6. 제5항에 있어서,
    상기 적어도 두 개의 모션 벡터는 상기 현재의 픽쳐와 상기 포워드 기준 픽쳐 간의 제1 시간적 측정(TRB)과, 상기 포워드 기준 픽쳐와 상기 현재 블록의 상기 백워드 기준 픽쳐 간의 제2 시간적 측정(TRD)에 따라 계산되는 것을 특징으로 하는 복수의 픽쳐를 갖는 영상 시퀀스의 엔코딩 방법.
  7. 제6항에 있어서,
    상기 모션 벡터 MVF와 상기 모션 벡터 MVB는,
    MVF = TRB · MV/TRD
    MVB = (TRB - TRD)· MV/TRD 로 표현되는 것을 특징으로 하는 복수의 픽쳐를 갖는 영상 시퀀스의 엔코딩 방법.
    여기서, MV는 상기 백워드 기준 픽쳐 내의 상기 현재 블록의 상기 같은 장소에 배치된 블록으로 사용된 모션 벡터이다.
  8. 복수의 픽쳐들(pictures) 중의 적어도 하나는 이중 예측의 부호화된(bi-predictive coded)(B) 픽쳐로 엔코딩(encoding)될 현재의 픽쳐인, 복수의 픽쳐를 갖는 영상 시퀀스(sequence)의 엔코딩 장치로서,
    상기 복수의 픽쳐들 중의 적어도 하나를 프레임 코딩(frame coding) 모드로 선택적으로 엔코딩하는 수단;
    상기 복수의 픽쳐들 중의 적어도 하나를 필드 코딩(field coding) 모드로 선택적으로 엔코딩하는 수단; 및
    적어도 두 개의 모션(motion) 벡터를 계산하고, 상기 매크로블록들 중의 적어도 하나의 현재 블록에 대하여, 상기 적어도 두 개의 모션 벡터에 의해 지시된 적어도 두 개의 관련 기준 픽쳐 또는 필드를 유도하는 수단을 포함하며,
    상기 현재의 픽쳐가 프레임 코딩 상태이면, 상기 현재의 픽쳐를, 매크로블록(macroblock)이 16×16 픽셀, 16×8 픽셀, 8×16 픽셀, 8×8 픽셀, 8×4 픽셀, 4×8 픽셀 및 4×4 픽셀 중의 적어도 하나를 포함하는 적어도 하나의 블록으로 분할되는, 복수의 매크로블록으로 분할하고,
    한 쌍의 현재 필드를 포함하는 상기 현재의 픽쳐가 필드 코딩 상태이면, 상기 현재의 픽쳐의 각 현재 필드를, 매크로블록(macroblock)이 16×16 픽셀, 16×8 픽셀, 8×16 픽셀, 8×8 픽셀, 8×4 픽셀, 4×8 픽셀 및 4×4 픽셀 중의 적어도 하나를 포함하는 적어도 하나의 블록으로 분할되는, 복수의 매크로블록으로 분할하며,
    상기 적어도 두 개의 관련 기준 픽쳐 또는 필드의 각각은 포워드(forward) 또는 백워드(backward) 기준 픽쳐 또는 필드인 것을 특징으로 하는 복수의 픽쳐를 갖는 영상 시퀀스의 엔코딩 장치.
  9. 하나의 엔코딩된 현재의 프레임 또는 필드는 이중 예측의 부호화된(bi-predictive coded)(B) 픽쳐로 엔코딩되어 복수의 매크로블록으로 분할되고, 상기 매크로 블록은 16×16 픽셀, 16×8 픽셀, 8×16 픽셀, 8×8 픽셀, 8×4 픽셀, 4×8 픽셀 및 4×4 픽셀 중의 적어도 하나를 포함하는 적어도 하나의 블록으로 분할되는, 복수의 엔코딩된 픽쳐를 갖는 영상 시퀀스를 비트스트림(bitstream)으로부터 디코딩(decoding)하는 방법으로서,
    디코더에서,
    프레임 코딩 모드의 상기 복수의 픽쳐들 중의 적어도 하나와, 필드 코딩 모드의 상기 복수의 픽쳐들 중의 적어도 하나를 디코딩하는 단계; 및
    상기 복수의 디코딩된 픽쳐를 이용하여 영상 시퀀스를 구성하는 단계를 포함하며,
    상기 디코딩은 상기 매크로블록의 적어도 하나의 현재 블록을 디코딩하기 위해 적어도 두 개의 모션 벡터에 의해 지시된 두 개의 관련 디코딩된 기준 픽쳐 또는 필드를 갖는 적어도 두 개의 모션 벡터를 사용하며, 상기 두 개의 관련 디코딩된 기준 픽쳐 또는 필드는 포워드 또는 백워드 기준 픽쳐 또는 필드인 것을 특징으로 하는 복수의 픽쳐를 갖는 영상 시퀀스의 디코딩 방법.
  10. 제9항에 있어서,
    상기 현재의 블록 또는 상기 현재의 블록의 상기 같은 장소에 배치된 블록은 프레임 코딩 모드 또는 필드 코딩 모드로 디코딩되는 것을 특징으로 하는 복수의 픽쳐를 갖는 영상 시퀀스의 디코딩 방법.
  11. 제10항에 있어서,
    상기 현재의 블록은 상기 필드 코딩 모드로 디코딩되고, 상기 같은 장소에 배치된 블록은 상기 프레임 코딩 모드로 디코딩되는 것을 특징으로 하는 복수의 픽쳐를 갖는 영상 시퀀스의 디코딩 방법.
  12. 제10항에 있어서,
    상기 현재의 블록은 상기 프레임 코딩 모드로 디코딩되고, 상기 같은 장소에 배치된 블록은 상기 필드 코딩 모드로 디코딩되는 것을 특징으로 하는 복수의 픽쳐를 갖는 영상 시퀀스의 디코딩 방법.










KR1020107006173A 2001-11-21 2002-11-21 복수의 픽쳐를 갖는 영상 시퀀스의 엔코딩 및 디코딩 방법 KR101076506B1 (ko)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
US33300401P 2001-11-21 2001-11-21
US60/333,004 2001-11-21
US33392101P 2001-11-27 2001-11-27
US60/333,921 2001-11-27
US39571702P 2002-07-12 2002-07-12
US39570802P 2002-07-12 2002-07-12
US60/395,717 2002-07-12
US60/395,708 2002-07-12
US10/301,203 2002-11-20
US10/301,203 US20030099294A1 (en) 2001-11-27 2002-11-20 Picture level adaptive frame/field coding for digital video content

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR10-2004-7007734A Division KR20040068143A (ko) 2001-11-21 2002-11-21 디지털 영상 콘텐츠를 위한 픽쳐 레벨의 적응성프레임/필드 코딩

Publications (2)

Publication Number Publication Date
KR20100047321A true KR20100047321A (ko) 2010-05-07
KR101076506B1 KR101076506B1 (ko) 2011-10-24

Family

ID=27540864

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020107006173A KR101076506B1 (ko) 2001-11-21 2002-11-21 복수의 픽쳐를 갖는 영상 시퀀스의 엔코딩 및 디코딩 방법
KR10-2004-7007734A KR20040068143A (ko) 2001-11-21 2002-11-21 디지털 영상 콘텐츠를 위한 픽쳐 레벨의 적응성프레임/필드 코딩

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR10-2004-7007734A KR20040068143A (ko) 2001-11-21 2002-11-21 디지털 영상 콘텐츠를 위한 픽쳐 레벨의 적응성프레임/필드 코딩

Country Status (9)

Country Link
EP (5) EP2285120A1 (ko)
JP (1) JP2005510984A (ko)
KR (2) KR101076506B1 (ko)
CN (5) CN101715136B (ko)
AU (1) AU2002365337A1 (ko)
CA (1) CA2468086C (ko)
MX (1) MXPA04004723A (ko)
NO (1) NO339086B1 (ko)
WO (1) WO2003047271A2 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2661697T3 (es) 2001-11-06 2018-04-03 Panasonic Intellectual Property Corporation Of America Método de codificación de imágenes en movimiento y método de decodificación de imágenes en movimiento
JP2004088722A (ja) 2002-03-04 2004-03-18 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
KR100931750B1 (ko) 2002-04-19 2009-12-14 파나소닉 주식회사 움직임 벡터 계산방법
EP3324625B1 (en) * 2002-04-19 2019-06-12 Panasonic Intellectual Property Corporation of America Motion vector calculating method
AU2005203096B2 (en) * 2003-03-03 2007-11-29 Lg Electronics Inc. Method of selecting a reference picture
KR100693669B1 (ko) 2003-03-03 2007-03-09 엘지전자 주식회사 피일드 매크로 블록의 레퍼런스 픽쳐 결정 방법
GB2415569B (en) * 2003-03-03 2007-09-05 Lg Electronics Inc Method of selecting a reference picture
CN100344163C (zh) * 2004-06-16 2007-10-17 华为技术有限公司 视频编解码处理方法
BRPI0515282A (pt) * 2004-09-16 2008-07-15 Thomson Licensing método e aparelho para a codificação rápida de quadro e campo de vìdeo
EP1809042A1 (en) * 2006-01-13 2007-07-18 THOMSON Licensing Method and apparatus for coding interlaced video data
JP4527677B2 (ja) * 2006-03-15 2010-08-18 富士通株式会社 動画像符号化方法、動画像符号化装置、動画像符号化プログラム
JP4592656B2 (ja) * 2006-08-17 2010-12-01 富士通セミコンダクター株式会社 動き予測処理装置、画像符号化装置および画像復号化装置
US8711901B2 (en) * 2007-03-12 2014-04-29 Vixs Systems, Inc. Video processing system and device with encoding and decoding modes and method for use therewith
JP5578775B2 (ja) 2008-09-02 2014-08-27 富士通株式会社 符号化装置および復号装置
JP2011009949A (ja) 2009-06-24 2011-01-13 Toshiba Corp 映像処理装置及び映像処理方法
WO2011111372A1 (ja) * 2010-03-09 2011-09-15 パナソニック株式会社 動画像符号化装置および動画像符号化方法
JP5310614B2 (ja) * 2010-03-17 2013-10-09 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法
WO2011125211A1 (ja) 2010-04-08 2011-10-13 株式会社 東芝 画像符号化方法及び画像復号化方法
MX2014000159A (es) 2011-07-02 2014-02-19 Samsung Electronics Co Ltd Metodo y aparato para la codificacion de video, y metodo y aparato para la decodificacion de video acompañada por inter prediccion utilizando imagen co-localizada.
JP2013121020A (ja) * 2011-12-06 2013-06-17 Sony Corp 画像処理装置および方法
WO2014051081A1 (ja) * 2012-09-28 2014-04-03 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
CN107925775A (zh) * 2015-09-02 2018-04-17 联发科技股份有限公司 基于双向预测光流技术的视频编解码的运动补偿方法及装置
CN106529634B (zh) * 2015-09-10 2019-10-01 原相科技股份有限公司 利用图样进行编码与解码的方法及其系统
KR20180001925U (ko) 2016-12-19 2018-06-27 주식회사 한국가스기술공사 정압기용 튜브코어 조립 지그

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6968003B1 (en) * 1996-01-29 2005-11-22 International Business Machines Corporation Speed-memory tradeoff for MPEG decoders
CN1297147C (zh) * 1997-03-07 2007-01-24 通用仪器公司 对交错数字视频的双向预测的视频目标平面的预测和编码
US6094225A (en) * 1997-12-02 2000-07-25 Daewoo Electronics, Co., Ltd. Method and apparatus for encoding mode signals for use in a binary shape coder

Also Published As

Publication number Publication date
NO339086B1 (no) 2016-11-14
CA2468086C (en) 2013-08-20
CN100584028C (zh) 2010-01-20
JP2005510984A (ja) 2005-04-21
EP2268038A1 (en) 2010-12-29
EP1459562A2 (en) 2004-09-22
CA2468086A1 (en) 2003-06-05
CN101715136A (zh) 2010-05-26
KR20040068143A (ko) 2004-07-30
MXPA04004723A (es) 2004-07-30
EP2285120A1 (en) 2011-02-16
CN101715138A (zh) 2010-05-26
CN101715138B (zh) 2014-02-05
CN101715128B (zh) 2014-01-01
CN1615656A (zh) 2005-05-11
WO2003047271A3 (en) 2004-02-26
CN101715137A (zh) 2010-05-26
EP2276261A1 (en) 2011-01-19
KR101076506B1 (ko) 2011-10-24
CN101715136B (zh) 2017-03-29
AU2002365337A8 (en) 2003-06-10
WO2003047271A2 (en) 2003-06-05
NO20042543L (no) 2004-07-21
EP2268041A1 (en) 2010-12-29
CN101715137B (zh) 2016-01-27
CN101715128A (zh) 2010-05-26
AU2002365337A1 (en) 2003-06-10

Similar Documents

Publication Publication Date Title
KR101076506B1 (ko) 복수의 픽쳐를 갖는 영상 시퀀스의 엔코딩 및 디코딩 방법
US7769087B2 (en) Picture level adaptive frame/field coding for digital video content
JP6681758B2 (ja) デジタルビデオコンテンツのマクロブロックレベルにおける適応フレーム／フィールド符号化
US7310374B2 (en) Macroblock level adaptive frame/field coding for digital video content
US8625669B2 (en) Predicting motion vectors for fields of forward-predicted interlaced video frames
JP2005510985A5 (ko)
JP2005510984A5 (ko)
CA2738322C (en) Picture level adaptive frame/field coding for digital video content

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141007

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151006

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161011

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171012

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20181010

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20191008

Year of fee payment: 9