KR100992044B1 - 매크로블록 파티션의 혼합된 인터/인트라 비디오 코딩 방법 - Google Patents

매크로블록 파티션의 혼합된 인터/인트라 비디오 코딩 방법 Download PDF

Info

Publication number
KR100992044B1
KR100992044B1 KR1020057012656A KR20057012656A KR100992044B1 KR 100992044 B1 KR100992044 B1 KR 100992044B1 KR 1020057012656 A KR1020057012656 A KR 1020057012656A KR 20057012656 A KR20057012656 A KR 20057012656A KR 100992044 B1 KR100992044 B1 KR 100992044B1
Authority
KR
South Korea
Prior art keywords
intra
reference picture
coding
partitions
macroblock
Prior art date
Application number
KR1020057012656A
Other languages
English (en)
Other versions
KR20050089876A (ko
Inventor
질 맥도날드 보이스
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20050089876A publication Critical patent/KR20050089876A/ko
Application granted granted Critical
Publication of KR100992044B1 publication Critical patent/KR100992044B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

복수의 파티션을 갖는 매크로블록의 혼합된 인터/인트라 인코딩을 위한 비디오 인코더(200, 300) 및 대응하는 방법(400)이 제공되며, 여기서 인코더는, 각각 인터 및 인트라 코딩된 파티션 각각에 대응하는 가중치 인자를 할당하기 위해 기준 화상 가중치 인자 유닛(272, 372)과 결합된 기준 화상 가중치 애플리케이터(292, 392)를 포함하고; 수 개의 파티션을 갖는 매크로블록을 인코딩하는 대응하는 방법은 적어도 하나의 파티션을 인터-코딩하는 단계(426)와, 적어도 제 2 파티션을 인트라-코딩하는 단계(428)를 포함한다.

Description

매크로블록 파티션의 혼합된 인터/인트라 비디오 코딩 방법{MIXED INTER/INTRA VIDEO CODING OF MACROBLOCK PARTITIONS}
본 출원은, 본 명세서에 전체가 참고용으로 병합되어 있는, 2003년 1월 7일에 출원된 "MIXED INTER/INTRA VIDEO CODING OF MACROBLOCK PARTITIONS"이라는 제목의 미국 가특허 출원 번호 60/438,427(출원인 관리 번호 PU030010)의 이익을 청구한다.
본 발명은 비디오 인코더에 관한 것으로, 더 구체적으로 혼합된 인터블록 및 인트라블록 비디오를 인코딩하기 위한 장치 및 방법에 관한 것이다.
비디오 데이터는 일반적으로 비트 스트림의 형태로 처리되고 전달된다. 전형적인 비디오 압축 인코더는, 인코딩될 화상 또는 매크로블록의 기준 화상 예측을 형성하고 현재 화상과 예측 사이의 차이를 인코딩함으로써 상기 인코더의 많은 압축 효율을 얻는다. 예측이 현재 화상과 더 밀접하게 상관될수록, 상기 화상을 압축하는데 필요한 비트의 수는 더 적어져서, 프로세스의 효율을 증가시킨다. 따라서, 최상의 가능한 기준 화상 예측이 형성되는 것이 바람직하다.
인터블록("인터") 및 인트라블록("인트라") 코딩은 공통적으로 비디오 압축 표준에 사용된다. 일반적으로, 인코더는 코딩 효율 및 주관적인 품질 고려사항에 기초하여 각 매크로블록에 대한 인터/인트라 코딩 결정을 한다. 예를 들어 16×16 매크로블록의 몇몇 파티션(예를 들어, 16×8, 8×16 또는 8×8 서브 블록)은 인트라 코딩을 이용하여 더 효율적으로 코딩될 수 있는 반면, 동일한 매크로블록의 다른 파티션은 인터 코딩을 이용하여 더 효율적으로 코딩될 수 있다.
따라서, 각 개별적인 매크로블록은 즉 공간 상관만을 이용하는 인트라로서 코딩되거나, 즉 이전에 코딩된 프레임으로부터 시간 상관을 이용하는 인터로서 코딩된다. 인터 코딩은 일반적으로 이전 프레임으로부터 잘 예측되는 매크로블록에 사용되고, 인트라 코딩은 일반적으로 이전 프레임으로부터 잘 예측되지 않는 매크로블록, 또는 낮은 공간적 활동을 갖는 매크로블록에 사용된다.
또한 H.264 및 MPEG AVC로서 알려져 있는 JVT 비디오 압축 표준은 트리 구조의 계층적 매크로블록 파티션을 이용한다. 인터-코딩된 16×16 픽셀 매크로블록은 16×8, 8×16, 또는 8×8의 크기로 된 매크로블록 파티션으로 나누어질 수 있다. 8×8 매크로블록 파티션은 또한 서브-매크로블록으로서 알려져 있다. 서브-매크로블록은 또한 8×4, 4×8, 및 4×4의 크기로 된 서브-매크로블록 파티션으로 나누어질 수 있다. 인코더는, 압축 효율 및 주관적 품질을 최대화시키기 위해 특정 매크로블록의 특성에 기초하여 매크로블록을 파티션 및 서브-매크로블록 파티션으로 나누는 방법을 선택할 수 있다.
다수의 기준 화상은 인터 예측에 사용될 수 있으며, 기준 화상 인덱스는, 다수의 기준 화상 중 어떤 것이 사용되는지를 나타내도록 코딩된다. P 화상(또는 P 슬라이스)에서, 단일 방향 예측만이 사용되고, 허용가능한 기준 화상은 목록 0에서 관리된다. B 화상(또는 B 슬라이스)에서, 기준 화상의 2개의 목록, 즉 목록 0 및 목록 1이 관리된다. B 화상(또는 B 슬라이스)에서, 목록 0 또는 목록 1 중 어느 하나를 이용하는 단일 방향 예측이 허용되거나, 목록 0 및 목록 1 모두를 이용하는 양방향 예측이 허용된다. 양방향 예측이 이용될 때, 목록 0 및 목록 1 예측자(predictor)는 함께 평균화되어, 최종 예측자를 형성한다.
각 매크로블록 파티션은 독립적인 기준 화상 인덱스, 예측 유형(예를 들어 목록 1, 목록 1, 양방향 예측), 및 독립적인 움직임 벡터를 가질 수 있다. 각 서브-매크로블록 파티션은 독립적인 움직임 벡터를 가질 수 있지만, 동일한 서브-매크로블록에서의 모든 서브-매크로블록 파티션은 동일한 기준 화상 인덱스 및 예측 유형을 이용한다.
인트라 예측이 인터-코딩된 매크로블록의 몇몇 파티션에 사용될 수 있음이 제안되었다. 복잡도의 고려사항으로 인해, 결국엔 이러한 융통성은 허용되지 않고, 인트라-코딩 모드는 현재 표준 하에 개별적인 매크로블록 파티션에 대해 허용되지 않는다. 동일한 매크로블록 내부에서 인터 및 인트라 코딩된 파티션을 지원할 때 증가된 복잡도 일부는 JVT 표준에 사용된 인트라 공간 방향 예측으로 인한 것이다. 동일한 매크로블록 내부에서 혼합된 인터/인트라 코딩을 허용하지 않는 것은 코딩 효율, 및 특히 주관적인 품질에 손상을 줄 수 있다. 하나의 이미지 내의 몇몇 블록에 대해, 인트라 코딩은 인트라 코딩보다 더 효율적이다.
JVT 표준의 주 및 확장된 프로파일은 가중된 예측을 위한 도구를 제공한다. 가중된 예측이 사용 중에 있을 때, 가중치 인자 및 오프셋은 인터 예측에 적용된 다. 단일 방향 예측에 대해, 가중된 예측자는,
SampleP= Clipl(((sampleP0ㆍWo+2LWD-1)>>LWD)+O0)으로서 형성되고,
양방향 예측에 대해, 가중된 예측자는,
SampleP=Clipl((SampleP0-W0+SampleP1ㆍW1+2LWD)>>(LWD+1)+(O0+O1+1)>>1)으로서 형성되는데, 여기서 W0 및 O0은 각각 목록 0의 기준 화상 가중치 인자 및 오프셋이고, W1 및 O1은 목록 1의 기준 화상 가중치와 오프셋이다. LWD는 로그 가중치 분모-버림(log weight denominator-rounding) 인자이다. SamplePo 및 SamplP1은 목록 0 및 목록 1의 초기 예측자이고, SampleP는 가중된 예측자이다. 가중치 인자 및 오프셋은 선택적으로 슬라이스 헤더에서 코딩되고, 특정 기준 화상 인덱스와 연관된다.
JVT 표준에서의 관련 구문(syntax) 요소는,
luma_log_weight_denom, chroma_log_weight_denom, luma_weight_10,
chroma_weight_10, luma_offset_10, chroma_offset_10, luma_weight_l1,
chroma_weight_l1, luma_offset_l1, 및 chroma_offset_l1이다.
더욱이, 하나보다 많은 기준 화상 인덱스는 기준 화상 렌더링을 이용함으로써 특정 기준 화상 저장부와 연관될 수 있는데, 이것은 하나보다 많은 가중치 인자가 동일한 기준 화상 저장부로부터 예측하는 동안 사용되게 한다.
JVT(Joint Video Team) 비디오 압축 표준은 인터-코딩을 위해 더 작은 크기의 매크로블록 파티션으로 나누어진 16×16 픽셀 매크로블록을 명백하게 지원하지 만, 매크로블록의 몇몇 파티션의 인터 코딩, 및 동일한 매크로블록의 다른 파티션의 인트라 코딩을 지원하지 않는다.
종래 기술의 이들 및 다른 결점 및 단점은 가중된 예측의 이용을 통해 매크로블록의 혼합된 인터/인트라 코딩을 제공하는 장치 및 방법에 의해 해결된다.
비디오 인코더 및 대응하는 방법은 복수의 파티션을 갖는 매크로블록의 혼합된 인터/인트라 인코딩에 제공되며, 여기서 인코더는, 각 인터 및 인트라 코딩된 파티션에 대응하는 가중치 인자를 할당하기 위한 기준 화상 가중치 인자 유닛과 결합된 기준 화상 가중치 애플리케이터(applicator)를 포함하고, 수 개의 파티션을 갖는 매크로블록을 인코딩하는 대응 방법은 적어도 하나의 파티션을 인터-코딩하는 단계와, 적어도 제 2 파티션을 인트라-코딩하는 단계를 포함한다.
본 발명의 예시적인 실시예는 가중된 예측의 이용을 통해 JVT 압축 표준에 따라 혼합된 인터/인트라 코딩을 제공할 수 있다. 본 발명의 원리에 따라, 동일한 매크로블록 내의 파티션의 혼합된 인터/인트라 코딩이 허용되고, 이것은 코딩 효율 및 주관적인 비디오 품질을 개선시킬 수 있다.
본 발명의 이들 및 다른 양상, 특징 및 장점은 첨부 도면과 연계하여 읽혀질 예시적인 실시예의 다음 설명으로부터 명백해질 것이다.
본 발명은 다음의 예시적인 도면에 따라 더 잘 이해될 것이다.
도 1은 표준 비디오 인코더를 도시한 블록도.
도 2는 기준 화상 가중치를 통한 비디오 인코더를 도시한 블록도.
도 3은 통합된 움직임 추정 및 가중치 예측을 통한 비디오 인코더를 도시한 블록도.
도 4는 본 발명의 원리에 따라 매크로블록을 인코딩하는 방법을 도시한 흐름도.
JVT 비디오 압축 표준은 16×16 픽셀 매크로블록을 인터 코딩을 위해 더 작은 크기의 매크로블록 파티션으로 나누는 것을 지원하지만, 매크로블록의 몇몇 파티션의 인터 코딩, 및 동일한 매크로블록의 다른 파티션의 인트라 코딩을 허용하지 않는다. 본 발명의 실시예에서, 혼합된 인터/인트라 코딩은 가중된 예측을 이용하는 JVT 압축 표준을 이용하여 달성될 수 있다.
본 설명은 본 발명의 원리 및 다양한 실시예를 예시한다. 따라서, 본 명세서에 명백히 설명되지 않거나 도시되지 않더라도, 본 발명의 원리를 구현하고 본 발명의 사상 및 범주 내에 포함되는 다양한 장치를 당업자가 고안할 수 있음이 이해될 것이다.
본 명세서에 언급된 모든 예 및 조건부 언어는, 교육적 목적을 위해 독자가 발명자에 의해 종래 기술을 개선시키는데 기여된 개념 및 본 발명의 원리를 이해하는데 도움을 주도록 의도되고, 특히 그러한 언급된 예 및 조건에 한정 없는 것으로 해석될 것이다.
더욱이, 본 발명의 원리, 양상, 및 실시예 뿐 아니라 본 발명의 특정 예를 언급한 본 명세서의 모든 설명은 구조적 및 기능적 등가물을 모두 포함하도록 의도된다. 추가적으로, 그러한 등가물이 현재 알려져 있는 등가물 및 미래에 개발될 등가물, 즉 구조에 상관없이 동일한 기능을 수행하는 개발된 임의의 요소를 포함하도록 의도된다.
따라서, 예를 들어, 본 명세서에 제공된 블록도가 본 발명의 원리를 구현하는 예시적인 회로의 개념적 도면을 나타낸다는 것을 당업자는 인식할 것이다. 이와 유사하게, 임의의 플로우 차트, 흐름도, 상태 전이도, 의사 코드, 등이, 컴퓨터 판독가능 매체에 실질적으로 나타날 수 있으므로, 컴퓨터 또는 프로세서가 명백히 도시되는지에 상관없이 컴퓨터 또는 프로세서에 의해 수행될 수 있는 다양한 프로세스를 나타낸다는 것이 인식될 것이다.
도면에 도시된 다양한 요소의 기능은 적절한 소프트웨어와 연관하여 소프트웨어를 실행할 수 있는 하드웨어 뿐 아니라 전용 하드웨어의 이용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 그 기능은 단일 전용 프로세서, 단일 공유 프로세서, 또는 복수의 개별적인 프로세서에 의해 제공될 수 있으며, 이들 프로세서 중 일부는 공유될 수 있다. 더욱이, "프로세서" 또는 "제어기"라는 용어의 명백한 이용은 전적으로 소프트웨어를 실행할 수 있는 하드웨어만을 언급하는 것으로 해석되지 않아야 하고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 판독-전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 및 비-휘발성 저장부를 암시적으로 포함할 수 있다.
종래의 및/또는 주문형 다른 하드웨어도 또한 포함될 수 있다. 이와 유사하 게, 도면에 도시된 임의의 스위치는 단지 개념적이다. 그 기능은 프로그램 논리 회로의 동작을 통해, 전용 논리 회로를 통해, 프로그램 제어 및 전용 논리 회로의 상호 작용을 통해, 또는 심지어 수동으로 수행될 수 있으며, 특정한 기술은 정황으로부터 더 구체적으로 이해되는 바와 같이 구현자에 의해 선택가능하다.
본 발명의 청구항에서, 지정된 기능을 수행하기 위한 수단으로서 표현된 임의의 요소는, 예를 들어 a) 상기 기능을 수행하는 회로 요소의 조합, 또는 b) 임의의 형태의 소프트웨어로서, 그러므로 펌웨어, 마이크로코드 등을 포함하며, 상기 기능을 수행하기 위해 상기 소프트웨어를 실행하기 위한 적절한 회로와 조합된 임의의 형태의 소프트웨어를 포함하는 상기 기능을 수행하는 임의의 방식을 수용하도록 의도된다. 그러한 청구항에 의해 한정된 본 발명은, 다양한 언급된 수단에 의해 제공된 기능이 청구항이 청구하는 방식으로 조합되고 결합된다는 점에 있다. 이에 따라 출원인은 본 명세서에 도시된 것과 등가물로서 그러한 기능을 제공할 수 있는 임의의 수단에 관한 것이다.
도 1에 도시된 바와 같이, 표준 비디오 인코더는 일반적으로 참조 번호 100으로 표시된다. 인코더(100)의 입력은 가산 접합(110)의 비-반전 입력과 신호 통신 상태로(signal communication) 연결된다. 가산 접합(110)의 출력은 블록 변환 기능부(120)와 신호 통신 상태로 연결된다. 변환기(120)는 양자화기(130)와 신호 통신 상태로 연결된다. 양자화기(130)의 출력은 가변 길이 코더(VLC)(140)와 신호 통신 상태로 연결되며, 여기서 VLC(140)의 출력은 인코더(100)의 외부적으로 이용가능한 출력이다.
양자화기(130)의 출력은 역 양자화기(150)와 신호 통신 상태로 추가로 연결된다. 역 양자화기(150)는 반전 블록 변환기(160)와 신호 통신 상태로 연결되며, 상기 변환기(160)는 다시 기준 화상 저장부(170)와 신호 통신 상태로 연결된다. 기준 화상 저장부(170)의 제 1 출력은 움직임 추정기(180)의 제 1 입력과 신호 통신 상태로 연결된다. 인코더(100)의 입력은 움직임 추정기(180)의 제 2 입력과 신호 통신 상태로 추가로 연결된다. 움직임 추정기(180)의 출력은 움직임 보상기(190)의 제 1 입력과 신호 통신 상태로 연결된다. 기준 화상 저장부(170)의 제 2 출력은 움직임 보상기(190)의 제 2 입력과 신호 통신 상태로 연결된다. 움직임 보상기(190)의 출력은 가산 접합(110)의 반전 입력과 신호 통신 상태로 연결된다.
도 2를 참조하면, 기준 화상 가중치를 갖는 비디오 인코더는 일반적으로 참조 번호 200으로 표시된다. 인코더(200)의 입력은 가산 접합(210)의 비-반전 입력과 신호 통신 상태로 연결된다. 가산 접합(210)의 출력은 블록 변환기(220)와 신호 통신 상태로 연결된다. 변환기(220)는 양자화기(230)와 신호 통신 상태로 연결된다. 양자화기(230)의 출력은 VLC(240)와 신호 통신 상태로 연결되며, 여기서 VLC(240)의 출력은 인코더(200)의 외부적으로 이용가능한 출력이다.
양자화기(230)의 출력은 역 양자화기(250)와 신호 통신 상태로 추가로 연결된다. 역 양자화기(250)는 반전 블록 변환기(260)와 신호 통신 상태로 연결되며, 상기 변환기(260)는 다시 기준 화상 저장부(270)와 신호 통신 상태로 연결된다. 기준 화상 저장부(270)의 제 1 출력은 기준 화상 가중치 인자 할당기(assignor)(272)의 제 1 입력과 신호 통신 상태로 연결된다. 인코더(200)의 입력은 기준 화상 가중 치 인자 할당기(272)의 제 2 입력과 신호 통신 상태로 추가로 연결된다. 가중치 인자를 나타내는, 기준 화상 가중치 인자 할당기(272)의 출력은 움직임 추정기(280)의 제 1 입력과 신호 통신 상태로 연결된다. 기준 화상 저장부(270)의 제 2 출력은 움직임 추정기(280)의 제 2 입력과 신호 통신 상태로 연결된다.
인코더(200)의 입력은 움직임 추정기(280)의 제 3 입력과 신호 통신 상태로 추가로 연결된다. 움직임 벡터를 나타내는, 움직임 추정기(280)의 출력은 움직임 보상기(290)의 제 1 입력과 신호 통신 상태로 연결된다. 기준 화상 저장부(270)의 제 3 출력은 움직임 보상기(290)의 제 2 입력과 신호 통신 상태로 연결된다. 움직임 보상된 기준 화상을 나타내는, 움직임 보상기(290)의 출력은 곱셈기(292)의 제 1 입력과 신호 통신 상태로 연결된다. 가중치 인자를 나타내는, 기준 화상 가중치 인자 할당기(272)의 출력은 곱셈기(292)의 제 2 입력과 신호 통신 상태로 연결된다. 곱셈기(292)의 출력은 가산 접합(210)의 반전 입력과 신호 통신 상태로 연결된다.
이들 모두가 전체로서 본 명세서에 참고용으로 병합되어 있는, 공동 양수인을 갖고 2003년 4월 9일에 출원된 "ADAPTIVE WEIGHTING OF REFERENCE PICTURES IN VIDEO DECODING"이라는 명칭의 미국 가특허 출원 번호 10/410,481과; 또한 공동 양수인을 갖는 2003년 4월 9일에 출원된 "ADAPTIVE WEIGHTING OF REFERENCE PICTURES IN VIDEO ENCODING"이라는 명칭의 미국 특허 출원 번호 10/410,456(출원인 관리 번호 PU020477)에서, 화상 또는 슬라이스마다 1회 송신된 가중치 인자 세트를 이용하는 장치 및 방법이 개시되며, 여기서 특정 가중치 인자는 각 기준 화상 인덱스와 연관된다.
이제 도 3을 참조하면, 통합형 움직임 추정 및 가중치 예측을 갖는 비디오 인코더는 일반적으로 참조 번호 300으로 표시된다. 인코더(300)의 입력은 가산 접합(310)의 비-반전 입력과 신호 통신 상태로 연결된다. 가산 접합(310)의 출력은 블록 변환기(320)와 신호 통신 상태로 연결된다. 변환기(320)는 양자화기(330)와 신호 통신 상태로 연결된다. 양자화기(330)의 출력은 VLC(340)와 신호 통신 상태로 연결되며, 여기서 VLC(340)의 출력은 인코더(300)의 외부적으로 이용가능한 출력이다.
양자화기(330)의 출력은 역 양자화기(350)와 신호 통신 상태로 추가로 연결된다. 역 양자화기(350)는 반전 블록 변환기(360)와 신호 통신 상태로 연결되며, 상기 변환기(360)는 다시 기준 화상 저장부(370)와 신호 통신 상태로 연결된다. 기준 화상 저장부(370)의 제 1 출력은 기준 화상 가중치 인자 선택기(372)의 제 1 입력과 신호 통신 상태로 연결된다. 인코더(300)의 입력은 현재 화상을 선택기에 제공하기 위해 기준 화상 가중치 인자 선택기(372)의 제 2 입력과 신호 통신 상태로 추가로 연결된다. 가중치 인자를 나타내는, 기준 화상 가중치 인자 선택기(372)의 출력은 곱셈기(374)의 제 1 입력과 신호 통신 상태로 연결된다. 곱셈기(374)의 제 2 입력은 기준 화상 저장부(370)의 기준 화상 출력과 신호 통신 상태로 연결된다. 곱셈기(374)로서 간단히 도시되지만, 당업자에게 명백한 바와 같이, 곱셈기 이외에 다른 유형의 가중치 인자 애플리케이터가 구성될 수 있다는 것이 주지되어야 한다.
곱셈기(374)의 출력은 가중된 기준 화상 저장부(376)와 신호 통신 상태로 연 결된다. 가중된 기준 화상 저장부(376)의 출력은 가중된 기준 화상을 제공하기 위해 움직임 추정기(380)의 제 1 입력과 신호 통신 상태로 연결된다. 움직임 추정기(380)의 출력은 움직임 벡터를 제공하기 위해 제 1 움직임 보상기(382)와 신호 통신 상태로 연결된다. 움직임 추정기(380)의 출력은 제 2 움직임 보상기(390)의 제 1 입력과 신호 통신 상태로 추가로 연결된다. 가중된 기준 화상 저장부(376)의 제 2 출력은 제 1 움직임 보상기(382)의 제 2 입력과 신호 통신 상태로 연결된다.
가중된 움직임 보상된 기준 화상을 나타내는, 제 1 움직임 보상기(382)의 출력은 절대 차이값 생성기(384)의 제 1 입력과 신호 통신 상태로 연결된다. 현재 화상을 나타내는, 인코더(300)의 입력은 절대 차이값 생성기(384)의 제 2 입력과 신호 통신 상태로 추가로 연결된다. 절대 차이값 생성기(384)의 출력은 기준 화상 가중치 인자 선택기(372)의 제 3 입력과 신호 통신 상태로 연결된다.
기준 화상 저장부(370)의 제 3 출력은 제 2 움직임 보상기(390)의 제 2 입력과 신호 통신 상태로 연결된다. 움직임 보상된 기준 화상을 나타내는 제 2 움직임 보상기(390)의 출력은 곱셈기(392)의 제 1 입력과 신호 통신 상태로 연결된다. 가중치 인자를 나타내는, 기준 화상 가중치 인자 선택기(372)의 출력은 곱셈기(392)의 제 2 입력과 신호 통신 상태로 연결된다. 곱셈기(392)의 출력은 가산 접합(310)의 반전 입력과 신호 통신 상태로 연결된다.
본 명세서에 참고용으로 전체가 병합되어 있고, 공동 양수인을 갖고 2003년 4월 9일에 출원된, "MOTION ESTIMATION WITH WEIGHTING PREDICTION"이라는 제목의 미국 특허 출원 번호 10/410,479(출원인 관리 번호 PU020339)에서, 가중치 인자 검 색과 움직임 추정 검색을 결합하는 장치 및 방법이 개시되며, 이는 기준 화상 가중치 없이 단독으로 추정을 수행하는 것보다 움직임 추정으로 가중치 인자를 찾기 위해 수행된 더 높은 수의 계산을 초래한다.
도 4에 도시된 바와 같이, 매크로블록을 인코딩하는 방법에 대한 흐름도는 일반적으로 참조 번호 400으로 표시된다. 여기서, 시작 블록(410)은 제어를 기능 블록(412)으로 전달하며, 상기 기능 블록(412)은 최상의 인터 매크로블록 분할을 찾고, 각 파티션에 대한 비용(CPINTER)을 계산하고, 전체 매크로블록에 대한 비용(CINTER)을 계산한다. 블록(412)은 제어를 기능 블록(414)에 전달하며, 상기 기능 블록(414)은 최상의 인트라 예측 방향을 찾고, 전체 매크로블록에 대한 비용(CINTRA)을 계산한다. 블록(414)은 제어를 결정 블록(416)에 전달하며, 상기 결정 블록(416)은 CINTER가 CINTRA보다 적은지를 결정한다.
CINTER가 CINTRA보다 적지 않다면, 제어는 전체 매크로블록을 인트라 코딩하는 기능 블록(418)으로 전달되고, 그 다음에 제어는 종료 블록(434)으로 전달된다. 다른 한 편으로, CINTER가 CINTRA보다 적다면, 제어는 기능 블록(420)으로 전달되고, 상기 기능 블록(420)은 상기 매크로블록에 대한 인터 코딩을 이용하고, 매크로블록의 제 1(i=0) 파티션을 선택한다. 블록(420)은 제어를 기능 블록(422)으로 전달하고, 상기 기능 블록(422)은, 제로 가중치 인자를 이용하여 인트라로서 코딩되는 현재 파티션에 대한 비용(CPINTRA)을 계산한다. 블록(422)은 다시 제어를 결정 블록(424)으로 전달하고, 상기 결정 블록(424)은 CPINTER가 CPINTRA보다 적은지를 결정한다.
CPINTER가 CPINTRA보다 적다면, 제어는 기능 블록(426)으로 전달되고, 상기 기능 블록(426)은 현재 파티션(i)을 인터 코딩하고, 제어를 결정 블록(430)으로 전달한다. 다른 한편으로, CPINTER가 CPINTRA보다 적지 않다면, 제어는 기능 블록(428)으로 전달되고, 상기 기능 블록(428)은 제로 가중치 인자를 이용하여 파티션(i)을 비-예측적으로 인트라 코딩하고, 제어를 결정 블록(430)으로 전달한다.
결정 블록(430)은 다시 현재 파티션(i)이 매크로블록에서의 마지막 파티션인지를 결정한다. 현재 파티션(i)이 매크로블록에서 마지막 파티션이 아니면, 제어는 기능 블록(432)으로 전달되고, 상기 기능 블록(432)은 현재 파티션(i)을 증분하고, 제어를 다시 기능 블록(422)으로 전달한다. 다른 한 편으로, 현재 파티션(i)이 매크로블록에서의 마지막 파티션이면, 이 때 제어는 종료 블록(434)으로 전달된다.
따라서, 본 발명의 동작시, 동일한 매크로블록의 파티션의 혼합된 인터/인트라 코딩은 JVT 압축 표준을 이용하여 달성될 수 있다. 매크로블록 파티션의 인트라 코딩은 JVT 표준의 주 및 확장된 프로파일에서 가중된 예측 도구로 제로 가중치 인자를 이용함으로써 달성된다. 이러한 인트라 코딩 유형은 비-예측 인트라 코딩으로 언급되어, 전체 매크로블록이 인트라 코딩될 때 사용된 공간 방향 인트라로부터 그것을 구별하게 된다. 몇몇 비-예측 인트라 코딩된 파티션을 포함하는 매크로블록은 여전히 인터 코딩된 매크로블록인 것으로 간주된다.
제로 가중치 인자는 특정한 기준 화상 인덱스와 연관되어 슬라이스 헤더에서 코딩된다. 인코더는, 제로 가중치 인자 및 비-제로 가중치 인자가 특정 기준 화상 저장부와 연관되도록 하기 위해 기준 화상 재 순서 배치를 이용하여 다수의 기준 화상 인덱스를 특정 기준 화상 저장부와 연관시킬 수 있다. 또는, 인코더는 기준 화상 재 순서 배치를 사용하지 않고도 디폴트 기준 화상 순서 배치를 이용하고, 제로 가중치 인자만을 특정한 기준 화상 저장부와 연관시키도록 선택할 수 있다. 제로 가중치 인자만이 주어진 기준 화상 저장부와 연관되면, 제로 가중치 인자는 인터 예측에 사용될 수 없어서, 인코더는, 이러한 기준 화상 저장부가 종종 인터 예측에 대해 선택되지 않음이 결정될 때 이를 행하도록 선택할 것이다. 장기간 기준 화상은 이를 위해 제로 가중치 인자와 연관될 수 있다.
단일 방향 예측의 경우에 있어서, 제로 가중치 인자에 대해, 인터 예측을 계산하기 위한 가중치 예측 수학식은 다음과 같다:
SampleP=Clipl(((SampleP0ㆍW0+2LWD-1)>>LWD)+O0)은
SampleP=O0이 된다.
오프셋 값(O0)은 0이 되거나, 128이 되거나, 또는 임의의 다른 원하는 값으로 설정될 수 있다. MPEG-1 및 MPEG-2는 인트라 코딩을 위해 128의 오프셋을 효과적으로 사용한다.
매크로블록 파티션의 모든 픽셀에 대해 제로 또는 O0의 샘플 예측으로, 매크로블록 파티션은 효과적으로 인트라 코딩되지만, 공간 방향 예측은 수행되지 않는다. 파티션은 비-예측 인트라 코딩되는 것으로 언급된다.
B 화상(또는 B 슬라이스)에서, 매크로블록 파티션에 대한 비-예측 인트라 코 딩은 단지 목록 0 또는 목록 1 예측 및 제로 가중치 인자와 연관된 기준 화상 인덱스만을 선택함으로써 달성될 수 있다. 대안적으로, 목록 0에 대해 특정 인덱스를 위해 그리고 목록 1에 대해 다른 인덱스를 위해 슬라이스 헤더에서 송신된 제로 가중치 인자에 대한 양방향 예측이 사용될 수 있고, 비-예측 인트라 코딩은, 목록 0 및 목록 1에 대한 적절한 제로 가중치 인자와 연관된 기준 화상 인덱스에 대한 양방향 예측을 이용하여 코딩함으로써 상기 매크로블록 파티션에 대해 달성될 수 있다.
본 발명의 바람직한 실시예에서, JVT 비디오 인코더는 화상의 매크로블록을 인코딩한다. 주어진 매크로블록을 인코딩할 때, 매크로블록을 파티션 및 서브-매크로블록 파티션으로 나누는 방법을 결정하는 것 외에, 인코더는, 각 매크로블록 파티션이 비-예측 인트라 또는 인터(예를 들어, 목록 0, 목록 1, 직접, 또는 양방향 예측)로서 코딩되는 것이 더 유리한지를 결정한다. 비-예측 인트라로서 코딩될 그러한 매크로블록 파티션(들)에 대해, 인터 코딩 모드(예를 들어, 목록 0, 목록 1, 직접, 또는 양방향 예측)는 상기 파티션에 대해 mb_type에 사용되며, 여기서 제로 가중치 인자와 연관되는 기준 화상 인덱스가 사용된다. 비-예측 인트라 코딩된 파티션은, 어떠한 이득도 없이, 추가 비트가 서브-매크로블록 파티션으로의 분할을 나타내는데 필요로 하기 때문에, 일반적으로 8×8 서브-매크로블록 파티션에 대해 허용되는 바와 같이, 서브-매크로블록 파티션에서 추가로 분할되지 않는다. 비-예측 인트라 코딩된 파티션에 대한 차분 움직임 벡터는 0으로 설정되는데, 이는, 그것이 코딩하기 위해 가장 적은 수의 비트를 이용하고, 움직임 벡터의 모든 가능한 값이 동일한 디코딩된 픽셀을 초래하기 때문이다.
이러한 방법을 이용하여, 인트라 코딩은 매크로블록의 파티션의 전체가 아닌 일부에 대해 효과적으로 달성되며, 이것은 JVT 압축 표준과 호환된다. 비-예측 인트라 코딩된 파티션에 대해서 어떠한 인트라 공간 방향 예측도 수행되지 않는다.
제안된 본 발명에 따라 매크로블록을 인코딩하는 예시적인 방법은 도 4에 대해 설명된 흐름도(400)에 도시된다. 매크로블록의 인터 코딩을 위해 매크로블록을 매크로블록 파티션 및 서브-매크로블록 파티션으로 가장 잘 분할하는 것은 속도-왜곡 최적화를 이용하여 결정되고, 비용 측정은 각 파티션에 대해 계산되고(CPINTER), 전체 매크로블록에 대해 계산된다(CINTER). 파티션을 코딩하는 비용은 기준 화상 인덱스, 움직임 벡터, 및 예측 잔여물을 코딩하는 비용을 포함한다. 그 다음에, 매크로블록의 인트라 코딩에 대한 최상의 인트라 공간 예측 방향이 결정되고, 비용 측정은 전체 매크로블록의 인트라 코딩에 대해 계산된다(CINTRA). 그런 후에 CINTER가 CINTRA보다 작지 않으면, 전체 매크로블록은 공간 방향 예측을 이용하여 인트라로서 코딩된다. CINTER가 CINTRA보다 작으면, 매크로블록은 인터 매크로블록으로서 코딩된다.
다음으로, 인터 매크로블록의 각 파티션은 인터 또는 비-예측 인트라로서 코딩되는 것으로 간주된다. 기준 화상 인덱스, 및 잔여물을 코딩하는 비용, 및 제로 값의 차분 움직임 벡터 비용을 고려하여, 제로 가중치 예측을 이용하여 파티션의 인트라 코딩에 대한 비용이 계산된다(CPINTRA).
파티션(i)에 대해, CPINTERi가 CPINTRAi보다 작으면, 파티션(i)은 정상적으로 인터 코딩될 것이고, 서브-매크로블록 파티션으로 추가로 분할될 수 있다. CPINTERi가 CPINTRAi보다 크면, 파티션은 제로 가중치 인자와 연관된 기준 화상 인덱스를 선택함으로써 비-예측 인트라 코딩될 것이다.
본 발명의 이들 및 다른 특징 및 장점은 본 명세서에서의 가르침에 기초하여 당업자에 의해 쉽게 확인될 것이다. 본 발명의 원리가 하드웨어, 소프트웨어, 펌웨어, 특수 목적 프로세서, 또는 이들의 조합의 다양한 형태로 구현될 것임이 이해될 것이다.
가장 바람직하게, 본 발명의 원리는 하드웨어와 소프트웨어의 조합으로서 구현된다. 더욱이, 소프트웨어는 프로그램 저장 유닛 상에서 명백히 구현된 애플리케이션 프로그램으로서 구현되는 것이 바람직하다. 애플리케이션 프로그램은 임의의 적합한 구조를 포함하는 기계에 업로드되고, 이 기계에 의해 실행될 수 있다. 바람직하게, 상기 기계는 하나 이상의 중앙 처리 유닛(CPU), 랜덤 액세스 메모리(RAM), 및 입/출력(I/O) 인터페이스와 같은 하드웨어를 갖는 컴퓨터 플랫폼 상에서 구현된다. 컴퓨터 플랫폼은 또한 운영 체계 및 마이크로지령 코드를 포함할 수 있다. 본 명세서에 기재된 다양한 프로세스 및 기능은 CPU에 의해 실행될 수 있는, 마이크로 지령 코드의 부분, 또는 애플리케이션 프로그램의 부분, 또는 이들의 임의의 조합 중 어느 하나일 수 있다. 더욱이, 다양한 다른 주변 유닛은 추가 데이터 저장 유닛 및 프린팅 유닛과 같은 컴퓨터 플랫폼에 연결될 수 있다.
첨부 도면에 도시된 몇몇 구성 시스템 구성요소 및 방법이 소프트웨어에서 구현되는 것이 바람직하기 때문에, 시스템 구성요소 또는 프로세스 기능 블록 사이의 실제 연결은 본 발명이 프로그래밍되는 방식에 따라 다를 수 있음이 더 이해될 것이다. 본 명세서의 가르침이 주어지면, 당업자는 본 발명의 이들 및 유사한 구현 또는 본 발명의 구성을 구상할 수 있다.
예시적인 실시예가 첨부 도면을 참조하여 본 명세서에 기재되었지만, 본 발명이 이들 명백한 실시예에 한정되지 않고, 다양한 변화 및 변형이 본 발명의 사상 또는 범주에서 벗어나지 않고도 당업자에 의해 여기서 달성될 수 있음이 이해될 것이다. 모든 그러한 변화 및 변형은 첨부된 청구항에 기재된 본 발명의 범주 내에 포함되는 것으로 의도된다.
상술한 바와 같이, 본 발명은 비디오 인코더에 관한 것으로, 더 구체적으로 혼합된 인터블록 및 인트라블록 비디오를 인코딩하기 위한 장치 및 방법 등에 이용된다.

Claims (27)

  1. 복수의 파티션(partition)을 갖는 매크로블록을 인코딩하는 방법(400)으로서,
    상기 복수의 파티션 중 적어도 하나를 인터-코딩하는 단계(426)와;
    상기 복수의 파티션 중 적어도 제 2 파티션의 인트라-코딩 단계(428)로서, 상기 인트라-코딩 단계는 제로 가중치 인자와 연관되는 기준 화상 인덱스를 제공하는 단계를 포함하는, 인트라-코딩 단계(428)를
    포함하되,
    상기 인트라-코딩 단계는, JVT 표준의 주 프로파일 및 확장된 프로파일 중 적어도 하나로부터 가중된 예측 도구를 통해 제로 가중치 인자를 이용함으로써 가중된 예측 인코딩 모드 내에서 수행되는 비-예측 인트라-코딩 단계를 포함하는, 복수의 파티션을 갖는 매크로블록을 인코딩하는 방법.
  2. 제 1항에 있어서, 상기 매크로블록은 JVT(Joint Video Team) 표준에 따른 비디오 데이터를 포함하는, 복수의 파티션을 갖는 매크로블록을 인코딩하는 방법.
  3. 제 1항에 있어서, 상기 매크로블록은 비-인트라 매크로블록 유형을 포함하는, 복수의 파티션을 갖는 매크로블록을 인코딩하는 방법.
  4. 삭제
  5. 제 1항에 있어서, 비-예측 인트라-코딩되는 파티션에 대한 제로 차분 움직임 벡터를 코딩하는 단계를 더 포함하는, 복수의 파티션을 갖는 매크로블록을 인코딩하는 방법.
  6. 제 1항에 있어서, 상기 복수의 파티션 중 적어도 하나의 인터-코딩된 파티션은 비-제로 값의 가중치 인자와 연관된 기준 화상 인덱스를 갖는, 복수의 파티션을 갖는 매크로블록을 인코딩하는 방법.
  7. 제 6항에 있어서, 각 코딩 방법에 대한 비용 측정에 응답하여 파티션의 인터-코딩과 비-예측 인트라-코딩 사이를 결정하는 단계를 더 포함하는, 복수의 파티션을 갖는 매크로블록을 인코딩하는 방법.
  8. 제 1항에 있어서,
    기준 화상 재 순서 배치(reordering) 명령을 이용하여 복수의 기준 화상 인덱스를 특정 기준 화상 저장부와 연관시키는 단계와;
    제로 가중치를 복수의 기준 화상 인덱스 중 하나에 할당하고, 비-제로 가중치를 다른 기준 화상 인덱스에 할당하는 단계를
    더 포함하는, 복수의 파티션을 갖는 매크로블록을 인코딩하는 방법.
  9. 적어도 하나의 파티션을 갖는 매크로블록을 인코딩하는 방법(400)으로서,
    제로 가중치 인자와 연관되는 기준 화상 인덱스를 제공함으로써, 적어도 하나의 파티션의 비-예측 인트라-코딩 단계(428)를
    포함하되,
    상기 비-예측 인트라-코딩 단계는, JVT 표준의 주 프로파일 및 확장된 프로파일 중 적어도 하나로부터 가중된 예측 도구를 통해 제로 가중치 인자를 이용함으로써 가중된 예측 인코딩 모드 내에서 수행되는, 적어도 하나의 파티션을 갖는 매크로블록을 인코딩하는 방법.
  10. 삭제
  11. 복수의 파티션을 갖는 매크로블록의 혼합된 인터/인트라 인코딩을 위한 비디오 인코더(200, 300)로서,
    기준 화상 가중치 애플리케이터(applicator)(292, 392);
    혼합된 인터 및 인트라 코딩된 파티션 각각에 대응하는 가중치 인자를 할당하기 위한 상기 기준 화상 가중치 애플리케이터와 각각 신호 통신 상태에 있는 기준 화상 가중치 인자 유닛(272, 372);
    매크로블록의 적어도 하나의 파티션을 인터-코딩하기 위한 인터-코딩 수단과;
    상기 매크로블록의 적어도 제 2 파티션을 인트라-코딩하기 위한 인트라-코딩 수단을
    포함하되,
    상기 인트라-코딩 수단은 제로 가중치 인자와 연관되는 기준 화상 인덱스를 제공하는 인덱스 수단을 포함하고,
    상기 인트라-코딩 수단은, JVT 표준의 주 프로파일 및 확장된 프로파일 중 적어도 하나로부터 가중된 예측 도구를 통해 제로 가중치 인자를 이용함으로써 가중된 예측 인코딩 모드 내에서 비-예측 인트라-코딩을 수행하는, 복수의 파티션을 갖는 매크로블록의 혼합된 인터/인트라 인코딩을 위한 비디오 인코더.
  12. 제 11항에 있어서, 각각 움직임 보상된 인터 및 인트라 코딩된 파티션의 적 어도 각 하나를 제공하기 위해 상기 기준 화상 가중치 애플리케이터와 신호 통신 상태에 있는 움직임 보상 유닛(290, 390)을 더 포함하는, 복수의 파티션을 갖는 매크로블록의 혼합된 인터/인트라 인코딩을 위한 비디오 인코더.
  13. 제 12항에 있어서, 각각 움직임 보상된 인터 및 인트라 코딩된 파티션의 적어도 각 하나를 저장하기 위해 상기 기준 화상 가중치 인자 유닛 및 움직임 보상 유닛 각각과 신호 통신 상태에 있는 기준 화상 저장부(270, 370)를 더 포함하는, 복수의 파티션을 갖는 매크로블록의 혼합된 인터/인트라 인코딩을 위한 비디오 인코더.
  14. 제 12항에 있어서, 상기 기준 화상 가중치 애플리케이터는 상기 기준 화상 가중치 인자 유닛에 의해 선택된 가중치 인자를 각각 상기 움직임 보상된 인터 및 인트라 코딩된 파티션 중 적어도 하나에 적용하는, 복수의 파티션을 갖는 매크로블록의 혼합된 인터/인트라 인코딩을 위한 비디오 인코더.
  15. 제 14항에 있어서, 양방향 예측 화상 예측자(predictor)와 함께 사용가능하고,
    적어도 하나의 가중되고 움직임 보상된 인터/인트라 코딩된 파티션으로부터 제 1 및 제 2 예측자를 형성하는 예측 수단을 더 포함하는, 복수의 파티션을 갖는 매크로블록의 혼합된 인터/인트라 인코딩을 위한 비디오 인코더.
  16. 삭제
  17. 제 11항에 있어서, 상기 매크로블록은 JVT 표준에 따른 비디오 데이터를 포함하는, 복수의 파티션을 갖는 매크로블록의 혼합된 인터/인트라 인코딩을 위한 비디오 인코더.
  18. 제 11항에 있어서, 상기 매크로블록은 비-인트라 매크로블록 유형을 포함하는, 복수의 파티션을 갖는 매크로블록의 혼합된 인터/인트라 인코딩을 위한 비디오 인코더.
  19. 삭제
  20. 제 11항에 있어서, 비-예측 인트라-코딩되는 파티션을 위한 제로 차분 움직임 벡터를 코딩하는 비-예측 인트라-코딩 수단을 더 포함하는, 복수의 파티션을 갖는 매크로블록의 혼합된 인터/인트라 인코딩을 위한 비디오 인코더.
  21. 제 11항에 있어서, 상기 복수의 파티션의 인터-코딩된 적어도 하나는 비-제로 값의 가중치 인자와 연관되는 기준 화상 인덱스를 갖는, 복수의 파티션을 갖는 매크로블록의 혼합된 인터/인트라 인코딩을 위한 비디오 인코더.
  22. 제 21항에 있어서, 각 코딩 방법에 대한 비용 측정에 응답하여 파티션의 인터-코딩과 비-예측 인트라-코딩 중에서 하나를 결정하는 결정 수단을 더 포함하는, 복수의 파티션을 갖는 매크로블록의 혼합된 인터/인트라 인코딩을 위한 비디오 인코더.
  23. 제 11항에 있어서,
    기준 화상 재 순서 배치 명령을 이용하여 복수의 기준 화상 인덱스를 특정 기준 화상 저장부와 연관시키기 위한 기준 화상 재 순서 배치 수단과;
    제로 가중치를 복수의 기준 화상 인덱스 중 하나에 할당하고, 비-제로 가중치를 적어도 하나의 다른 기준 화상 인덱스에 할당하기 위한 가중치 수단을
    더 포함하는, 복수의 파티션을 갖는 매크로블록의 혼합된 인터/인트라 인코딩을 위한 비디오 인코더.
  24. 적어도 하나의 파티션을 갖는 매크로블록의 비-예측 인트라 인코딩을 위한 비디오 인코더(200, 300)로서,
    기준 화상 가중치 애플리케이터(292, 392);
    적어도 하나의 비-예측 인트라 코딩된 파티션에 대응하는 가중치 인자를 할당하기 위한 상기 기준 화상 가중치 애플리케이터와 신호 통신 상태에 있는 기준 화상 가중치 인자 유닛(272, 372)과;
    제로 가중치 인자와 연관되는 기준 화상 인덱스를 제공함으로써 상기 적어도 하나의 파티션을 인트라-코딩하기 위한 비-예측 인트라-코딩 수단을
    포함하되,
    상기 비-예측 인트라 코딩은 JVT 표준의 주 프로파일 및 확장된 프로파일 중 적어도 하나로부터 가중된 예측 도구를 통해 제로 가중치 인자를 이용함으로써 가중된 예측 인코딩 모드 내에서 수행되는, 적어도 하나의 파티션을 갖는 매크로블록의 비-예측 인트라 인코딩을 위한 비디오 인코더.
  25. 삭제
  26. 삭제
  27. 복수의 파티션을 갖는 매크로블록을 인코딩하기 위한 장치로서,
    상기 복수의 파티션 중 적어도 하나를 인터-코딩하는 수단(426)과;
    상기 복수의 파티션 중 적어도 제 2 파티션을 인트라-코딩하는 수단(428)을 포함하고,
    인트라-코딩을 위한 상기 수단은 제로 가중치 인자와 연관되는 기준 화상 인덱스를 이용하고,
    상기 인트라-코딩하는 수단(428)은, JVT 표준의 주 프로파일 및 확장된 프로파일 중 적어도 하나로부터 가중된 예측 도구를 통해 제로 가중치 인자를 이용함으로써 가중된 예측 인코딩 모드 내에서 비-예측 인트라-코딩을 수행하는, 복수의 파티션을 갖는 매크로블록을 인코딩하기 위한 장치.
KR1020057012656A 2003-01-07 2004-01-06 매크로블록 파티션의 혼합된 인터/인트라 비디오 코딩 방법 KR100992044B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US43842703P 2003-01-07 2003-01-07
US60/438,427 2003-01-07

Publications (2)

Publication Number Publication Date
KR20050089876A KR20050089876A (ko) 2005-09-08
KR100992044B1 true KR100992044B1 (ko) 2010-11-05

Family

ID=32713323

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057012656A KR100992044B1 (ko) 2003-01-07 2004-01-06 매크로블록 파티션의 혼합된 인터/인트라 비디오 코딩 방법

Country Status (9)

Country Link
US (1) US7466774B2 (ko)
EP (1) EP1582063B1 (ko)
JP (2) JP2006517364A (ko)
KR (1) KR100992044B1 (ko)
CN (1) CN1723706B (ko)
BR (1) BRPI0406625A (ko)
MX (1) MXPA05007384A (ko)
MY (1) MY139467A (ko)
WO (1) WO2004064255A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019135457A1 (ko) * 2018-01-02 2019-07-11 삼성전자 주식회사 움직임 예측에 의한 패딩 기법을 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100693669B1 (ko) * 2003-03-03 2007-03-09 엘지전자 주식회사 피일드 매크로 블록의 레퍼런스 픽쳐 결정 방법
CN1810041A (zh) * 2003-06-25 2006-07-26 汤姆森许可贸易公司 利用移位帧差分进行加权预测估计的方法和设备
JP4247680B2 (ja) * 2004-07-07 2009-04-02 ソニー株式会社 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
US8284837B2 (en) 2004-09-16 2012-10-09 Thomson Licensing Video codec with weighted prediction utilizing local brightness variation
US20060133494A1 (en) * 2004-12-17 2006-06-22 Rahul Saxena Image decoder with context-based parameter buffer
JP4050754B2 (ja) * 2005-03-23 2008-02-20 株式会社東芝 ビデオエンコーダ及び動画像信号の符号化方法
US8457203B2 (en) * 2005-05-26 2013-06-04 Ntt Docomo, Inc. Method and apparatus for coding motion and prediction weighting parameters
KR100727969B1 (ko) 2005-08-27 2007-06-14 삼성전자주식회사 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
KR100727970B1 (ko) 2005-08-30 2007-06-13 삼성전자주식회사 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
JP2007195117A (ja) * 2006-01-23 2007-08-02 Toshiba Corp 動画像復号装置
KR101293086B1 (ko) * 2006-02-17 2013-08-06 톰슨 라이센싱 비디오 데이터 밝기 변화를 다루는 지역화된 가중 예측
WO2008004940A1 (en) * 2006-07-07 2008-01-10 Telefonaktiebolaget Lm Ericsson (Publ) Video data management
JP4690966B2 (ja) 2006-08-11 2011-06-01 株式会社東芝 動画像符号化装置
KR101365575B1 (ko) * 2007-02-05 2014-02-25 삼성전자주식회사 인터 예측 부호화, 복호화 방법 및 장치
JP2008252176A (ja) * 2007-03-29 2008-10-16 Toshiba Corp 動画像符号化装置及び方法
KR20080107965A (ko) * 2007-06-08 2008-12-11 삼성전자주식회사 객체 경계 기반 파티션을 이용한 영상의 부호화, 복호화방법 및 장치
US8681855B2 (en) * 2007-10-12 2014-03-25 Thomson Licensing Method and apparatus for video encoding and decoding geometrically partitioned bi-predictive mode partitions
KR101595899B1 (ko) * 2008-04-15 2016-02-19 오렌지 선형 형태의 픽셀들의 파티션들로 슬라이스 된 이미지 또는 이미지들의 시퀀스의 코딩 및 디코딩
JPWO2010035732A1 (ja) * 2008-09-24 2012-02-23 ソニー株式会社 画像処理装置および方法
US8634456B2 (en) * 2008-10-03 2014-01-21 Qualcomm Incorporated Video coding with large macroblocks
US8483285B2 (en) * 2008-10-03 2013-07-09 Qualcomm Incorporated Video coding using transforms bigger than 4×4 and 8×8
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
US8619856B2 (en) * 2008-10-03 2013-12-31 Qualcomm Incorporated Video coding with large macroblocks
US10455248B2 (en) * 2008-10-06 2019-10-22 Lg Electronics Inc. Method and an apparatus for processing a video signal
US8311112B2 (en) * 2008-12-31 2012-11-13 Entropic Communications, Inc. System and method for video compression using predictive coding
KR20100095992A (ko) 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
US9113168B2 (en) 2009-05-12 2015-08-18 Lg Electronics Inc. Method and apparatus of processing a video signal
JP2013514718A (ja) * 2009-12-17 2013-04-25 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 映像符号化の方法及び装置
KR101675118B1 (ko) 2010-01-14 2016-11-10 삼성전자 주식회사 스킵 및 분할 순서를 고려한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
TWI562600B (en) 2010-02-08 2016-12-11 Nokia Technologies Oy An apparatus, a method and a computer program for video coding
KR101780921B1 (ko) * 2010-04-01 2017-09-21 소니 주식회사 화상 처리 장치, 방법 및 기록매체
FR2959093B1 (fr) * 2010-04-20 2013-07-26 Canon Kk Procede et dispositif de prediction d'une information de complexite de texture contenue dans une image
PL3739883T3 (pl) 2010-05-04 2023-04-11 Lg Electronics Inc. Sposób i aparat do kodowania i dekodowania sygnału wideo
US8638863B1 (en) 2010-05-18 2014-01-28 Google Inc. Apparatus and method for filtering video using extended edge-detection
KR102004836B1 (ko) 2010-05-26 2019-07-29 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
EP2942957A1 (en) * 2010-07-02 2015-11-11 HUMAX Holdings Co., Ltd. Apparatus for decoding images for intra-prediction
JP2012034213A (ja) * 2010-07-30 2012-02-16 Toshiba Corp 画像処理装置、画像処理システムおよび画像処理方法
CN108737843B (zh) 2010-09-27 2022-12-27 Lg 电子株式会社 用于分割块的方法和解码设备
US9066104B2 (en) 2011-01-14 2015-06-23 Google Inc. Spatial block merge mode
US8767817B1 (en) 2011-04-07 2014-07-01 Google Inc. Apparatus and method for coding using parameterized equation
CN102238391B (zh) * 2011-05-25 2016-12-07 深圳市云宙多媒体技术有限公司 一种预测编码方法、装置
US9280835B2 (en) * 2011-10-18 2016-03-08 Nokia Technologies Oy Method for coding and an apparatus based on a DC prediction value
US9020294B2 (en) 2012-01-18 2015-04-28 Dolby Laboratories Licensing Corporation Spatiotemporal metrics for rate distortion optimization
US9531990B1 (en) 2012-01-21 2016-12-27 Google Inc. Compound prediction using multiple sources or prediction modes
US8737824B1 (en) 2012-03-09 2014-05-27 Google Inc. Adaptively encoding a media stream with compound prediction
US9781447B1 (en) 2012-06-21 2017-10-03 Google Inc. Correlation based inter-plane prediction encoding and decoding
US9185414B1 (en) 2012-06-29 2015-11-10 Google Inc. Video encoding using variance
US9167268B1 (en) 2012-08-09 2015-10-20 Google Inc. Second-order orthogonal spatial intra prediction
US9344742B2 (en) 2012-08-10 2016-05-17 Google Inc. Transform-domain intra prediction
US9380298B1 (en) 2012-08-10 2016-06-28 Google Inc. Object-based intra-prediction
EP2733933A1 (en) 2012-09-19 2014-05-21 Thomson Licensing Method and apparatus of compensating illumination variations in a sequence of images
US9369732B2 (en) 2012-10-08 2016-06-14 Google Inc. Lossless intra-prediction video coding
US9357212B2 (en) 2012-12-07 2016-05-31 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
US9374578B1 (en) 2013-05-23 2016-06-21 Google Inc. Video coding using combined inter and intra predictors
US9247251B1 (en) 2013-07-26 2016-01-26 Google Inc. Right-edge extension for quad-tree intra-prediction
US9609343B1 (en) 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction
KR101644967B1 (ko) * 2015-01-21 2016-08-03 한국과학기술원 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
KR101644969B1 (ko) * 2015-01-21 2016-08-03 한국과학기술원 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
KR101644970B1 (ko) * 2015-01-21 2016-08-03 한국과학기술원 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
FR3040849A1 (fr) * 2015-09-04 2017-03-10 Stmicroelectronics (Grenoble 2) Sas Procede de compression d'un flux de donnees video
US11032550B2 (en) * 2016-02-25 2021-06-08 Mediatek Inc. Method and apparatus of video coding
US10404989B2 (en) * 2016-04-26 2019-09-03 Google Llc Hybrid prediction modes for video coding
WO2019194109A1 (ja) * 2018-04-04 2019-10-10 日本放送協会 予測画像補正装置、画像符号化装置、画像復号装置、及びプログラム
KR102062894B1 (ko) * 2018-05-04 2020-01-07 한국과학기술원 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
KR102258057B1 (ko) * 2018-05-04 2021-05-28 한국과학기술원 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
KR20240008977A (ko) 2018-05-10 2024-01-19 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US11310515B2 (en) 2018-11-14 2022-04-19 Tencent America LLC Methods and apparatus for improvement for intra-inter prediction mode

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6005981A (en) 1996-04-11 1999-12-21 National Semiconductor Corporation Quadtree-structured coding of color images and intra-coded images
US6404814B1 (en) 2000-04-28 2002-06-11 Hewlett-Packard Company Transcoding method and transcoder for transcoding a predictively-coded object-based picture signal to a predictively-coded block-based picture signal
US20020110195A1 (en) 1987-12-30 2002-08-15 Eric Auvray Adaptive method of encoding and decoding a series of pictures by transformation, and devices for implementing this method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU6099594A (en) * 1993-02-03 1994-08-29 Qualcomm Incorporated Interframe video encoding and decoding system
JP3844844B2 (ja) * 1997-06-06 2006-11-15 富士通株式会社 動画像符号化装置及び動画像符号化方法
US6542549B1 (en) 1998-10-13 2003-04-01 Matsushita Electric Industrial Co., Ltd. Method and model for regulating the computational and memory requirements of a compressed bitstream in a video decoder

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020110195A1 (en) 1987-12-30 2002-08-15 Eric Auvray Adaptive method of encoding and decoding a series of pictures by transformation, and devices for implementing this method
US6005981A (en) 1996-04-11 1999-12-21 National Semiconductor Corporation Quadtree-structured coding of color images and intra-coded images
US6404814B1 (en) 2000-04-28 2002-06-11 Hewlett-Packard Company Transcoding method and transcoder for transcoding a predictively-coded object-based picture signal to a predictively-coded block-based picture signal

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019135457A1 (ko) * 2018-01-02 2019-07-11 삼성전자 주식회사 움직임 예측에 의한 패딩 기법을 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치

Also Published As

Publication number Publication date
MXPA05007384A (es) 2005-09-12
MY139467A (en) 2009-10-30
JP2010136411A (ja) 2010-06-17
KR20050089876A (ko) 2005-09-08
CN1723706B (zh) 2010-09-22
EP1582063A2 (en) 2005-10-05
JP2006517364A (ja) 2006-07-20
US20060153297A1 (en) 2006-07-13
EP1582063A4 (en) 2011-05-25
CN1723706A (zh) 2006-01-18
BRPI0406625A (pt) 2005-12-06
WO2004064255A2 (en) 2004-07-29
WO2004064255A3 (en) 2004-10-28
US7466774B2 (en) 2008-12-16
EP1582063B1 (en) 2018-03-07

Similar Documents

Publication Publication Date Title
KR100992044B1 (ko) 매크로블록 파티션의 혼합된 인터/인트라 비디오 코딩 방법
JP4968726B2 (ja) インターフレームのための高速モード決定符号化
JP5046335B2 (ja) ビデオ符号器におけるｂフレームの高速モード決定のための方法および装置
JP5074924B2 (ja) インタフレームのための高速モード決定方法及び装置
KR101406156B1 (ko) 움직임 보상 예측을 위한 적응 가중 선택 방법 및 장치
KR101201930B1 (ko) 국부적 밝기 변동을 이용한 가중화된 예측을 가진 비디오 코덱
KR100984517B1 (ko) 인터프레임 인코딩을 위한 빠른 모드 결정 방법
JP2007525072A (ja) 置換されたフレーム差を使用する重み付き予測推定の方法と装置
TW200913724A (en) Image encoding and image decoding method and apparatus
JPWO2008012918A1 (ja) 画像符号化と復号の方法及び装置
JP2006180196A (ja) 動画像圧縮符号化方法と動画像圧縮符号化装置並びにプログラム
US20100278266A1 (en) Method of generating image data
JP2008048065A (ja) 動画像符号化装置
US20110261876A1 (en) Method for encoding a digital picture, encoder, and computer program element
US20120250767A1 (en) Method and apparatus for bi-directional prediction within p-slices
JP2004165894A (ja) 符号化器のビットレート制御方法
KR101083399B1 (ko) 인터 프레임을 위한 고속 모드 결정 인코딩

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131001

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141006

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151002

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160929

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191017

Year of fee payment: 10