KR100958504B1 - 가중치 예측을 사용한 움직임 추정 - Google Patents

가중치 예측을 사용한 움직임 추정 Download PDF

Info

Publication number
KR100958504B1
KR100958504B1 KR1020057000779A KR20057000779A KR100958504B1 KR 100958504 B1 KR100958504 B1 KR 100958504B1 KR 1020057000779 A KR1020057000779 A KR 1020057000779A KR 20057000779 A KR20057000779 A KR 20057000779A KR 100958504 B1 KR100958504 B1 KR 100958504B1
Authority
KR
South Korea
Prior art keywords
reference picture
motion
image block
weighting factor
weighted
Prior art date
Application number
KR1020057000779A
Other languages
English (en)
Other versions
KR20050021487A (ko
Inventor
질 맥도날드 보이세
알랜 제이 스테인
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=30119143&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR100958504(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20050021487A publication Critical patent/KR20050021487A/ko
Application granted granted Critical
Publication of KR100958504B1 publication Critical patent/KR100958504B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Algebra (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

특정 기준 픽쳐 인덱스 및 이미지 블록에 대하여 비디오 신호 데이터를 인코딩하고 디코딩하는 비디오 인코더 및 디코더가 제공되며, 여기에서 인코더(300)는 특정 기준 픽쳐에 대응하는 가중 인자로 표시되는 출력을 구비하는 기준 픽쳐 가중 인자 선택기(372), 기준 픽쳐의 가중 버전을 제공하는 기준 픽쳐 가중 인자 선택기와 신호 통신하는 곱셈기(374), 및 기준 픽쳐의 가중 버전에 대응하는 움직임 벡터를 제공하는 곱셈기와 신호 통신하는 움직임 추정기(380)를 포함하고; 대응하는 디코더(500)는 특정 기준 픽쳐 인덱스에 대응하는 가중 인자를 결정하는 출력을 구비하는 기준 픽쳐 가중 인자 유닛(580)을 포함한다.
픽쳐, 인덱스, 이미지, 인코더, 디코더, 가중 인자, 추정기

Description

가중치 예측을 사용한 움직임 추정{MOTION ESTIMATION WITH WEIGHTING PREDICTION}
관련 출원에 대한 상호 참조
본 출원은, 2002년 7월 15일에 출원되고 발명의 명칭이 "Motion Estimation With Weighting Prediction"인 미국 가출원 제60/395,874호(대리인 문서 번호 PU020339)를 우선권 주장하며, 그 전체의 내용이 본 명세서에 참조로 사용된다. 또한, 본 출원은, 2002년 7월 15일에 또한 출원되고 발명의 명칭이 "Adaptive Weighting Of Reference Pictures In Video CODEC"인 미국 가출원 제60/395,843호(대리인 문서번호 PU020340)를 우선권 주장하며, 그 전체의 내용이 본 명세서에 참조로 사용된다.
본 발명은 비디오 인코더 및 디코더에 관한 것으로, 더 상세하게는, 비디오 인코더 및 디코더에서 가중치 예측을 사용하여 움직임 추정하는 것이다.
비디오 데이터는 일반적으로 비트 스트림의 형태로 처리되어 전송된다. 전형적인 비디오 압축 코더 및 디코더(CODEC)는, 인코딩될 한 픽쳐의 기준 픽쳐를 예측하고 현재 픽쳐와 그 예측과의 차분값(difference)을 인코딩함으로써 고효율의 압축을 얻는다. 그 예측이 현재 픽쳐와 상관이 클수록, 그 픽쳐를 압축하는데 필 요한 비트가 더 적게되어 프로세스의 효율을 증가시킨다. 따라서, 최상의 가능한 기준 픽쳐 예측을 하는 것이 바람직하다.
Moving Picture Experts Group(MPEG)-1, MPEG-2 및 MPEG-4를 포함하는 많은 비디오 압축 표준에서, 이전 기준 픽쳐의 움직임 추정 버전이 현재 픽쳐를 위한 예측으로 사용되고, 현재 픽쳐와 그 예측과의 차분값만을 코딩한다. 단일 픽쳐 예측("P" 픽쳐)을 사용하는 경우, 기준 픽쳐는 움직임 보상 예측이 형성될 때 스케일링되지 않는다. 양방향 픽쳐 예측("B" 픽쳐)을 사용하는 경우, 두개의 서로 다른 픽쳐로부터 중간 예측을 한 다음 두개의 중간 픽쳐를 각각에 대하여 (1/2, 1/2)의 동일한 가중 인자로 서로 평균하여 단일의 평균 예측을 형성한다. 이들 MPEG 표준에서, B 픽쳐용으로는 전방 및 후방으로부터 각각마다 하나씩 항상 두개의 기준 픽쳐가 존재한다.
발명의 개요
종래의 상기 및 다른 결점 및 불리한 점은 비디오 인코더 및 디코더에서 가중치 예측을 사용하여 움직임 추정을 집적하는 시스템 및 방법에 의해 해결된다.
이미지 블록을 예측하기 위해 특정 기준 픽쳐 인덱스 및 이미지 블록에 대하여 비디오 신호 데이터를 인코딩하고 디코딩하는 비디오 인코더 및 디코더가 제공되며, 여기에서 인코더는 특정 기준 픽쳐에 대응하는 가중 인자로 표시되는 출력을 구비하는 기준 픽쳐 가중 인자 선택기, 기준 픽쳐의 가중 버전을 제공하는 기준 픽쳐 가중 인자 선택기와 신호 통신하는 곱셈기, 및 기준 픽쳐의 가중 버전에 대응하는 움직임 벡터를 제공하는 곱셈기와 신호 통신하는 움직임 추정기를 포함하고; 대 응하는 디코더는 특정 기준 픽쳐 인덱스에 대응하는 가중 인자를 결정하는 출력을 구비하는 기준 픽쳐 가중 인자 유닛을 포함한다.
이미지 블록에 대하여 비디오 신호 데이터를 인코딩하는 대응하는 방법은, 실질적으로 비압축된 이미지 블록을 수신하는 단계, 특정 기준 픽쳐에 대응하는 상기 이미지 블록에 대하여 가중 인자를 할당하는 단계, 상기 기준 픽쳐를 가중 인자로 가중시키는 단계, 상기 이미지 블록과 가중된 기준 픽쳐 간의 차분값에 대응하는 움직임 벡터를 계산하는 단계, 상기 움직임 벡터에 대응하여 가중된 기준 픽쳐를 움직임 보상하는 단계, 상기 움직임 보상 가중 기준 픽쳐에 응답하여 가중 인자 선택을 세정(refine)하는 단계, 움직임 벡터에 따라 오리지날 비가중 기준 픽쳐를 움직임 보상하는 단계, 상기 할당된 가중 인자를 움직임 보상 오리지날 기준 픽쳐에 곱셈하여 가중된 움직임 보상 기준 픽쳐를 형성하는 단계, 상기 가중된 움직임 보상 기준 픽쳐를 실질적으로 비압축된 이미지 블록에서 차감하는 단계, 및 상기 실질적으로 비압축된 이미지 블록과 가중된 움직임 보상 기준 픽쳐 간의 차분값으로 표시되는 신호를 인코딩하는 단계를 포함한다.
본 발명의 이들 양상 및 다른 양상, 특징 및 잇점은 첨부 도면을 참조하여 후술하는 예시적 실시예의 설명으로부터 분명해질 것이다.
본 발명은 다음의 예시적 도면에 따라 비디오 인코더 및 디코더에서 가중 예측을 사용하여 집적된 움직임 추정을 사용한다.
도 1은 표준 비디오 인코더의 블록도이다.
도 2는 기준 픽쳐 가중을 사용하는 비디오 인코더의 블록도이다.
도 3은 본 발명의 원리에 따라 가중 예측 및 집적된 움직임 추정을 사용하는 비디오 인코더의 블록도이다.
도 4는 표준 비디오 디코더의 블록도이다.
도 5는 적응성 양방향 예측을 사용하는 비디오 디코더의 블록도이다.
도 6은 본 발명의 원리에 따른 인코딩 프로세스의 플로우챠트이다.
도 7은 본 발명의 원리에 따른 디코딩 프로세스의 플로우챠트이다.
집적된 움직임 벡터 추정 및 적응성 기준 픽쳐 가중 인자 선택을 위한 효율적인 프로세스가 제공된다. 초기 가중 인자가 추정되어 움직임 추정에 사용되는 반복 프로세스가 사용된다. 가중 인자 추정은 움직임 추정 프로세스의 결과에 기초하여 이루어진다. 인코딩시 가중 인자가 사용되는 경우, 비디오 인코더는 가중 인자 및 움직임 벡터 모두를 결정하지만, 이들 각각에 대한 최상의 선택은 다른 것에 달려있다. 움직임 추정은 전형적으로 디지털 비디오 압축 인코더에서 계산적으로 가장 집중되는 부분이다.
특히 페이딩이 있는 일부 비디오 시퀀스에서, 코딩될 이미지 블록 또는 현재 블록은 기준 픽쳐 그 자체보다도 가중 인자에 의해 스케일링된 기준 픽쳐에 보다 강하게 상관 관계가 있다. 기준 픽쳐에 적용된 가중 인자가 없는 비디오 CODEC은 매우 비효율적으로 페이딩 시퀀스를 인코딩한다.
제안된 JVT(Joint Video Team) 비디오 압축 표준에서, 각각의 P 픽쳐는 다수 의 기준 픽쳐를 사용하여 픽쳐의 예측을 형성하지만, 각각의 개별 움직임 블록 또는 매크로블록의 8×8 영역은 예측을 위해 단지 단일의 기준 픽쳐를 사용한다. 움직임 벡터의 코딩 및 전송에 부가하여, 각각의 움직임 블록 또는 8×8 영역에 대하여 기준 픽쳐가 사용되는 것을 지시하는 기준 픽쳐 인덱스가 전송된다. 한정된 세트의 가능 기준 픽쳐가 인코더 및 디코더 모두에 저장되고 허용가능한 기준 픽쳐의 수가 전송된다.
JVT 표준에서, 양방향 예측(bi-predictive) 픽쳐("B" 픽쳐로 칭하기도 함)에 대하여, 각 움직임 블록 또는 8×8 영역에 대하여 두개의 예측자(predictor)가 형성되고, 이들 각각은 개별 기준 픽쳐로부터 존재할 수 있으며, 두개의 예측자는 함께 평균되어 단일의 평균 예측자를 형성한다. 양방향 코딩 움직임 블록에 대하여, 기준 픽쳐는 모두 전방으로부터 유래할 수 있고, 후방으로부터 유래할 수 있거나 또는 전방 및 후방으로부터 각각 하나씩 유래할 수 있다. 예측용으로 사용될 수 있는 이용가능한 기준 픽쳐의 두개의 리스트가 유지된다. 두개의 기준 픽쳐는 리스트 0 및 리스트 1 예측자로서 칭해진다. 리스트 0 및 리스트 1 기준 픽쳐 각각에 대하여 ref_idx_l0 및 ref_idx_l1인 각각의 기준 픽쳐에 대한 인덱스가 코딩되고 전송된다. JVT 양방향 예측 또는 "B" 픽쳐는 두개의 예측 간의 적응성 가중을 가능하게 하는데, 즉,
Pred = [(P0)*(Pred0)] + {(P1)*(Pred1)] + D.
여기에서, P0 및 P1은 가중 인자, Pred0 및 Pred1은 리스트 0 및 리스트 1 각각에 대한 기준 픽쳐 예측이고, D는 오프셋이다.
가중 인자를 지시하기 위해 두가지 방법이 제안되었다. 첫번째로, 기준 픽쳐용으로 사용되는 방향에 의해 가중 인자가 결정된다. 이러한 방법에서는, ref_idx_l0 인덱스가 ref_idx_l1 이하이면, (1/2, 1/2)인 가중 인자를 사용하고, 그렇지 않다면, (2, -1) 인자를 사용한다.
두번째 방법에서는, 각 슬라이스(slice)에 대하여 임의의 갯수의 가중 인자를 전송한다. 다음에, 양방향 예측을 사용하는 매크로블록의 8×8 영역 또는 각 움직임 블록에 대하여 가중 인자 인덱스가 전송된다. 디코더는 수신된 가중 인자 인덱스를 사용하여 전송된 세트로부터 적당한 가중 인자를 선택하여 움직임 블록 또는 8×8 영역 디코딩 시에 사용한다. 예를 들면, 슬라이스 층에서 세개의 가중 인자가 전송되었다면, 그들은 가중 인자 인덱스 0, 1, 및 2 각각에 대응하게 된다.
후술하는 설명은 단지 본 발명의 원리를 설명하는 것이다. 따라서, 명시적으로 설명 또는 도시하지 않았다하더라도, 본 발명의 원리를 구체화하고 본 발명의 사상 및 범위 내에 포함되는 다양한 구조를 안출할 수 있다는 것을 당업자는 이해할 수 있을 것이다. 더우기, 본 명세서에 인용된 모든 예 및 잠정적 언어는 발명자에 의해 기고된 개념 및 본 발명의 원리를 독자가 이해하는데 도움을 주기 위한 교육적 목적으로 단지 표현된 것이며, 그러한 특정하게 인용된 예 및 조건에 한정을 가하지 않고 해석될 수 있다. 또한, 본 명세서에서 본 발명의 원리, 양상, 및 실시예 뿐만 아니라 그들의 특정 예를 인용하는 모든 진술은 그들의 구조적 및 기능적 등가물 모두를 강조하는 것을 의도로 한다. 부가하여, 그러한 등가물은 현재 공지된 등가물 뿐만 아니라 미래에 개발될 등가물, 즉, 구조와는 관계없이 동일한 기능을 수행하도록 개발된 임의의 구성요소 모두를 포함한다.
따라서, 예를 들면, 본 명세서에서의 블록도는 본 발명의 원리를 구체화하는 예시적 회로의 개념도를 나타낸다는 것을 당업자는 이해할 수 있을 것이다. 유사하게, 임의의 플로우 차트, 흐름도, 상태 전이도, 의사코드(pseudocode) 등은 컴퓨터 판독가능 매체에 실질적으로 표현되어 컴퓨터 또는 프로세서에 의해 실행될 수 있는 다양한 프로세스를 나타내며, 그러한 컴퓨터 또는 프로세서가 명시적으로 도시되었는지의 여부는 관계없다.
도면에 도시된 다양한 구성요소의 기능은 전용 하드웨어 뿐만 아니라 적당한 소프트웨어와 관련하여 소프트웨어를 실행할 수 있는 하드웨어를 통하여 제공될 수 있다. 프로세서에 의해 제공되는 경우, 단일 전용 프로세서에 의해, 단일 공유 프로세서에 의해, 또는 복수의 개별 프로세서 - 이들 중 일부는 공유될 수 있음 - 에 의해 제공될 수 있다. 더우기, 용어 "프로세서" 또는 "컨트롤러"의 명시적 사용은 소프트웨어를 실행할 수 있는 하드웨어로만 칭해서는 안되며, 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하는 ROM, RAM, 및 비휘발성 저장 장치를, 제한 없이, 암묵적으로 포함할 수 있다. 종래 및/또는 주문형의 기타 하드웨어 또한 포함될 수 있다. 유사하게, 도면에 도시된 임의의 스위치는 단지 개념적인 것이다. 스위치의 기능은 프로그램 로직의 동작을 통해, 전용 로직을 통해, 프로그램 로직 및 전용 로직의 인터랙션(interaction)을 통해, 또는 심지어 수동으로 실행 될 수 있으며, 특정 기술은 문맥으로부터 특히 더 이해되는 바와 같이 구현자에 의해 선택가능하다.
청구범위에서, 특정 기능을 수행하는 수단으로 표현된 임의의 구성요소는, 예를 들면, a) 그러한 기능을 수행하는 회로 소자들의 조합, 또는 b) 펌웨어, 마이크로코드 등을 포함하는 임의의 형태의 소프트웨어로서, 기능을 수행하도록 그러한 소프트웨어를 실행하는 적당한 회로 결합되는 소프트웨어를 포함하는 기능을 수행하는 임의의 방식을 강조하는 것을 의도로 한다. 그러한 청구범위에 의해 정의되는 본 발명은, 다양한 인용 수단에 의해 제공되는 기능성이 청구범위가 요구하는 방식으로 모아서 이루어지고 결합된다는 사실에 귀속된다. 따라서, 출원인은 본 명세서에 도시된 것과 등가의 기능성을 제공할 수 있는 임의의 수단 또한 고려한다.
도 1에 도시된 바와 같이, 표준 비디오 인코더는 일반적으로 참조부호(100)로 도시된다. 인코더(100)로의 입력은 가산 결합부(110)의 비반전 입력과 신호 통신으로 연결된다. 가산 결합부(110)의 출력은 블록 변환 기능부(120)와 신호 통신으로 연결된다. 변환(120)은 양자기(130)와 신호 통신으로 연결된다. 양자기(130)의 출력은 가변장 코더(VLC; 140)와 신호 통신으로 연결되며, 여기서 VLC(140)의 출력은 인코더(100)의 외부에서 이용가능한 출력이다.
양자기(130)의 출력은 또한 역 양자기(150)와 신호 통신으로 연결된다. 역 양자기(150)는 역 블록 변환기(160)와 신호 통신으로 연결되며, 그 다음에 기준 픽쳐 저장 장치(170)와 신호 통신으로 연결된다. 기준 픽쳐 저장 장치(170)의 제1 출력은 움직임 추정기(180)의 제1 입력과 신호 통신으로 연결된다. 인코더(100)로의 입력은 또한 움직임 추정기(180)의 제2 입력과 신호 통신으로 연결된다. 움직 임 추정기(180)의 출력은 움직임 보상기(190)의 제1 입력과 신호 통신으로 연결된다. 기준 픽쳐 저장 장치(170)의 제2 출력은 움직임 보상기(190)의 제2 입력과 신호 통신으로 연결된다. 움직임 보상기(190)의 출력은 가산 결합부(110)의 반전 입력과 신호 통신으로 연결된다.
도 2를 참조하면, 기준 픽쳐 가중치를 사용하는 비디오 인코더는 일반적으로 참조 부호(200)로 표시되어 있다. 인코더(200)로의 입력은 신호 통신으로 가산 결합부(210)의 비반전 입력과 연결된다. 가산 결합부(210)의 출력은 신호 통신으로 블록 변환기(220)와 연결된다. 변환기(220)는 신호 통신으로 양자기(230)와 연결된다. 양자기(230)의 출력은 VLC(240)와 신호 통신으로 연결되며, VLC(440)의 출력은 인코더(200)의 외부에서 이용가능한 출력이다.
양자기(230)의 출력은 또한 신호 통신으로 역 양자기(250)와 연결된다. 역 양자기(250)는 역 블록 변환기(260)와 신호 통신으로 연결된 다음, 기준 픽쳐 저장 장치(270)와 신호 통신으로 연결된다. 기준 픽쳐 저장 장치(270)의 제1 출력은 신호 통신으로 기준 픽쳐 가중 인자 할당기(272)의 제1 입력과 연결된다. 인코더(200)로의 입력은 또한 신호 통신으로 기준 픽쳐 가중 인자 할당기(272)의 제2 입력과 연결된다. 가중 인자로 표시된 기준 픽쳐 가중 인자 할당기(272)의 출력은 신호 통신으로 움직임 추정기(280)의 제1 입력과 연결된다. 기준 픽쳐 저장 장치(270)의 제2 출력은 움직임 추정기(280)의 제2 입력과 연결된다.
인코더(200)로의 입력은 신호 통신으로 움직임 추정기(280)의 제3 입력과 연결된다. 움직임 벡터로 표시되는 움직임 추정기(280)의 출력은 움직임 보상기 (290)의 제1 입력과 신호 통신으로 연결된다. 기준 픽쳐 저장 장치(270)의 제3 출력은 움직임 보상기(290)의 제2 입력과 신호 통신으로 연결된다. 움직임 보상 기준 픽쳐로 표시되는 움직임 보상기(290)의 출력은 곱셈기(292)의 제1 출력과 신호 통신으로 연결된다. 가중 팩터로 표시되는 기준 픽쳐 가중 인자 할당기(272)의 출력은 곱셈기(292)의 제2 입력과 신호 통신으로 연결된다. 곱셈기(292)의 출력은 가산 결합부(210)의 반전 입력과 신호 통신으로 연결된다.
도 3을 참조하면, 집적된 움직임 추정 및 가중치 예측을 구비한 비디오 인코더가 일반적으로 참조부호(300)로 표시된다. 인코더(300)로의 입력은 가산 결합부(310)의 비반전 입력과 신호 통신으로 연결된다. 가산 결합부(310)의 출력은 블록 변환기(320)와 신호 통신으로 연결된다. 변환기(320)는 양자기(330)와 신호 통신으로 연결된다. 양자기(330)의 출력은 VLC(340)와 신호 통신으로 연결되며, VLC(440)의 출력은 인코더(300)의 외부에서 이용가능한 출력이다.
양자기(330)의 출력은 또한 역 양자기(350)와 신호 통신으로 연결된다. 역 양자기(350)는 역 블록 변환기(360)과 신호 통신으로 연결된 다음 기준 픽쳐 저장 장치(370)과 신호 통신으로 연결된다. 기준 픽쳐 저장 장치(370)의 제1 출력은 기준 픽쳐 가중 인자 선택기(372)의 제1 입력과 신호 통신으로 연결된다. 인코더(300)로의 입력은 또한 기준 픽쳐 가중 인자 선택기(372)의 제2 입력과 신호 통신으로 접속되어 현재 픽쳐를 선택기에 제공한다. 가중 인자로 표시되는 기준 픽쳐 가중 인자 선택기(372)의 출력은 곱셈기의 제1 입력과 신호 통신으로 연결된다. 곱셈기(374)의 제2 입력은 기준 픽쳐 저장 장치(370)의 기준 픽쳐 출력과 신호 통 신으로 연결된다. 곱셈기(374)로서 간단하게 도시되었지만, 당업자에게는 분명한 바와 같이, 곱셈기가 아닌 다른 유형의 가중 인자 적용기로 구성될 수 있으며, 그들 모두 본 발명의 사상 및 범위 내에 있는 것으로 고려된다.
곱셈기(374)의 출력은 가중 기준 픽쳐 저장 장치(376)과 신호 통신으로 연결된다. 가중 기준 픽쳐 저장 장치(376)의 출력은 가중 기준 픽쳐를 제공하는 움직임 추정기(380)의 제1 입력과 신호 통신으로 연결된다. 움직임 추정기(380)의 출력은 움직임 벡터를 제공하는 제1 움직임 보상기(382)와 신호 통신으로 연결된다. 움직임 추정기(380)의 출력은 또한 제2 움직임 보상기(390)의 제1 입력과 신호 통신으로 연결된다. 가중 기준 픽쳐 저장 장치(376)의 제2 출력은 제1 움직임 보상기(382)의 제2 입력과 신호 통신으로 연결된다.
가중 움직임 보상 기준 픽쳐로 표시되는 제1 움직임 보상기(382)의 출력은 차분의 절대값 생성기(384)의 제1 입력과 신호 통신으로 연결된다. 현재 픽쳐인 인코더(300)로의 입력은 또한 차분의 절대값 생성기(384)의 제2 입력과 신호 통신으로 연결된다. 차분의 절대값 기능부(384)의 출력은 기준 픽쳐 가중 인자 선택기(372)의 제3 입력과 신호 통신으로 연결된다.
기준 픽쳐 저장 장치(370)의 제3 출력은 제2 움직임 보상기(390)의 제2 입력과 신호 통신으로 연결된다. 움직임 보상 기준 픽쳐로 표시되는 제2 움직임 보상기(390)의 출력은 곱셈기(392)의 제1 입력과 신호 통신으로 연결된다. 가중 인자로 표시되는 기준 픽쳐 가중 인자 선택기(372)의 출력은 곱셈기(392)의 제2 입력과 신호 통신으로 연결된다. 곱셈기(392)의 출력은 가산 결합부(310)의 반전 입력과 신호 통신으로 연결된다.
도 4에 도시된 바와 같이, 표준 비디오 디코더는 일반적으로 참조부호(400)로 표시되어 있다. 비디오 디코더(400)는 역 양자기(420)와 신호 통신으로 연결된 가변장 디코더(VLD; 410)를 포함한다. 역 양자기(420)는 역 변환기(430)와 신호 통신으로 연결된다. 역 변환기(430)는 가산기 또는 가산 결합부(440)의 제1 입력 터미널과 신호 통신으로 연결되며, 가산 결합부(440)의 출력은 비디오 디코더(400)의 출력을 제공한다. 가산 결합부(440)의 출력은 기준 픽쳐 저장 장치(450)과 신호 통신으로 연결된다. 기준 픽쳐 저장 장치(450)는, 가산 결합부(440)의 제2 입력 터미널과 신호 통신으로 연결되는 움직임 보상기(460)와 신호 통신으로 연결된다.
도 5를 참조하면, 적응성 양방향 예측을 사용하는 비디오 디코더는 일반적으로 참조부호(500)으로 표시되어 있다. 비디오 디코더(500)는 역 양자기(520)와 신호 통신으로 연결된 VLD(510)을 포함한다. 역 양자기(520)는 역 변환기(530)와 신호 통신으로 연결된다. 역 변환기(530)는 가산 결합부(540)의 제1 입력 터미널과 신호 통신으로 연결되며, 가산 결합부(540)의 출력은 비디오 디코더(500)의 출력을 제공한다. 가산 결합부(540)의 출력은 기준 픽쳐 저장 장치(550)와 신호 통신으로 연결된다. 기준 픽쳐 저장 장치(550)는, 곱셈기(570)의 제1 입력과 신호 통신으로 연결되는 움직임 보상기(560)와 신호 통신으로 연결된다.
VLD(510)는 적응성 양방향 예측(ABP) 계수 인덱스를 룩업(580)에 제공하는 기준 픽쳐 가중 인자 룩업(580)과 신호 통신으로 연결된다. 룩업(580)의 제1 출력 은 가중 인자를 제공하고 곱셈기(570)의 제2 입력에 신호 통신으로 연결된다. 곱셈기(570)의 출력은 가산 결합부(590)의 제1 입력에 신호 통신으로 연결된다. 룩업(580)의 제2 출력은 오프셋을 제공하며 가산 결합부(590)의 제2 입력에 신호 통신으로 연결된다. 가산 결합부(590)의 출력은 가산 결합부(540)의 제2 입력 터미널과 신호 통신으로 연결된다.
도 6을 참조하면, 움직임 벡터 및 가중 인자 결정 프로세스가 참조부호(600)로 일반적으로 표시되어 있다. 여기에서, 기능 블록(610)은, 현재 픽쳐 또는 이미지 픽쳐(cur) 및 기준 픽쳐(ref)에 대하여 가중 인자 w = avg(cur)/avg(ref)를 계산함으로써 초기 가중 인자 추정을 찾는다. 블록(610)은 결정 블록(612)으로 진행하여 가중 인자(w)가 임계값(T1)보다 크고 임계값(T2)보다 작은지의 여부를 결정한다. w가 T1과 T2 사이에 있으면, 리턴 블록(614)으로 진행되어 초기 가중 인자로서 w=1이 사용된다. w가 T1과 T2 사이에 있지 않으면 기능 블록(616)으로 진행하여 가중 인자(w)를 기준 픽쳐에 적용하여 가중 기준 픽쳐(wref)를 형성한다. 블록(616)은 기능 블록(618)으로 진행하고 가중 기준 픽쳐(wref)를 사용하여 움직임 벡터(MV)를 찾음으로써 움직임 추정을 수행한다. 블록(618)은 기능 블록(620)으로 진행하여 MV를 wref에 적용함으로써 움직임 보상 가중 기준 픽쳐(mcwerf)를 형성한다. 블록(620)은 기능 블록(622)으로 진행되고 차분값(diff)을 계산하며, 여기에서, diff는 cur와 wmcref 사이의 픽셀 차분값의 합의 절대값과 동일하다.
블록(622)은 결정 블록(624)으로 진행하여 diff가 이전 최상 diff보다 큰지의 여부를 결정한다. diff가 이전 최상 diff보다 크다면, 리턴 블록(626)으로 진 행하여 이전의 최상 diff를 사용한다. diff가 이전 최상 diff보다 크지 않다면, 결정 블록(628)으로 진행하여 diff가 임계값(T)보다 작은지의 여부를 결정한다. diff가 임계값(T)보다 작다면, 리턴 블록(634)로 진행하여 현재 추정을 사용한다. diff가 임계값(T)보다 작다면, 기능 블록(630)으로 진행하여 MV들을 ref에 적용함으로써 움직임 보상 기준 픽쳐(mcref)를 형성한다. 블록(630)은 기능 블록(632)으로 진행하여 w를 avg(cur)/avg(mcref)와 동일하게 설정함으로써 가중 인자 추정을 세정(refine)한다. 블록(632)은 추가의 프로세싱을 위해 기능 블록(616)으로 다시 진행한다. 따라서, 가중 인자를 더 세정 하기 위한 결정은 차분값을 임계값 또는 허용오차(tolerance)와 비교하는 것에 기초하고 있다.
도 7을 참조하면, 이미지 블록에 대하여 비디오 신호 데이터를 디코딩하는 예시적 프로세스가 참조부호(700)로 일반적으로 표시되어 있다. 프로세스는 입력 블록(712)으로 진행하는 시작 블록(710)을 포함한다. 입력 블록(712)은 이미지 블록 압축 데이터를 수신하고 입력 블록(714)로 진행한다. 입력 블록(714)은 이미지 블록에 대하여 데이터를 구비한 적어도 하나의 기준 픽쳐 인덱스를 수신하며, 각각의 기준 픽쳐 인덱스는 특정 기준 픽쳐에 대응한다. 입력 블록(714)은 기능 블록(716)으로 진행하여 수신된 기준 픽쳐 인덱스 각각에 대응하는 가중 인자를 결정하고 선택적 기능 블록(717)으로 진행한다. 선택적 기능 블록(717)은 수신된 기준 픽쳐 인덱스 각각에 대응하는 오프셋을 결정하고 기능 블록(718)으로 진행한다. 기능 블록(718)은 수신된 기준 픽쳐 인덱스 각각에 대응하는 기준 픽쳐를 검색하고 기능 블록(720)으로 진행한다. 다음에, 기능 블록(720)은 검색된 기준 픽쳐를 움 직임 보상하고 기능 블록(722)으로 진행한다. 기능 블록(722)은 움직임 보상 기준 픽쳐에 해당 가중 인자를 곱셈한 다음 선택적 기능 블록(723)으로 진행한다. 선택적 기능 블록(723)은 움직임 보상 기준 픽쳐를 해당 오프셋에 가산한 다음 기능 블록(724)으로 진행한다. 다음에, 기능 블록(724)은 가중 움직임 보상 기준 픽쳐를 형성하고 종료 블록(726)으로 진행한다.
본 예시적 실시예에서, 각각의 코딩된 픽쳐 또는 슬라이스에 대하여, 가중 인자는 현재 픽쳐의 블록들이 관계하여 인코딩될 수 있는 각각의 허용가능 기준 픽쳐와 관계가 있다. 현재 픽쳐에 있는 각각의 개별 블록이 인코딩되거나 디코딩되는 경우, 그의 기준 픽쳐에 대응하는 가중 인자(들) 및 오프셋(들)이 기준 예측에 적용되어 가중 예측자를 형성한다. 동일한 기준 픽쳐에 관계하여 코딩되는 슬라이스에 있는 모든 블록은 동일한 가중 인자를 기준 픽쳐 예측에 적용한다.
코딩시에 적응성 가중을 사용하든 안하든 간에 픽쳐는 픽쳐 파라미터 세트 또는 시퀀스 파라미터 세트에 또는 슬라이스 또는 픽쳐 헤더에 지시될 수 있다. 적응성 가중을 사용하는 각각의 슬라이스 또는 픽쳐에 대하여, 가중 인자는 이 슬라이스 또는 픽쳐를 인코딩하기 위해 사용될 수 있는 각각의 허용가능한 기준 픽쳐에 대하여 전송될 수 있다. 허용가능 기준 픽쳐의 수는 슬라이스 헤더에 전송된다. 예를 들면, 세개의 기준 픽쳐가 현재 슬라이스를 인코딩하기 위해 사용될 수 있다면, 세개까지의 가중 인자가 전송되고, 그들은 동일한 인덱스를 갖는 기준 픽쳐와 관계가 있다.
전송되는 가중 인자가 없다면, 디폴트 가중이 사용된다. 본 발명의 일 실시 예에서, 전송되는 가중 인자가 없다면, (1/2, 1/2)의 디폴트 가중이 사용된다. 가중 인자는 고정 또는 가변장 코드를 사용하여 전송될 수 있다.
전형적인 시스템과는 달리, 각 슬라이스, 블록 또는 픽쳐와 함께 전송되는 각각의 가중 인자는 특정 기준 픽쳐 인덱스에 대응한다. 이전에, 각 슬라이스 또는 픽쳐와 함께 전송되는 임의의 가중 인자 세트는 임의의 특정 기준 픽쳐와 관계가 없다. 대신, 적응성 양방향 예측 가중 인덱스는 각각의 움직임 블록 또는 8×8 영역에 대하여 전송되어 그 전송된 세트로부터 어느 가중 인자를 상기 특정 움직임 블록 또는 8×8 영역에 적용할 것인지를 선택한다.
본 발명의 예시적 실시예에서, 각 움직임 블록 또는 8×8 영역에 대한 가중 인자 인덱스는 명시적으로 전송되지는 않는다. 대신, 전송된 기준 픽쳐 인덱스와 관계된 가중 인자가 사용된다. 이것은 전송된 비트스트림에 있는 오버헤드의 양을 대폭 감소시켜 기준 픽쳐의 적응성 가중을 가능하게 한다.
이 시스템 및 기술은 단일 예측자로 인코딩되는 예측성 "P" 픽쳐 또는 두개의 예측자로 인코딩되는 양방향 예측성 "B" 픽쳐에 적용될 수 있다. 인코더 및 디코더 모두에 제공되는 디코딩 프로세스는 P 및 B 픽쳐 경우에 대하여 하기에 설명된다. 대안으로, 이 기술은 또한 I, B 및 P 픽쳐와 유사한 개념을 사용하여 코딩 시스템에 적용될 수 있다.
B 픽쳐에 있는 단방향 예측용으로 그리고 B 픽쳐에 있는 양방향 예측용으로 동일한 가중 인자를 사용할 수 있다. 매크로블록에 대하여 단일 예측자를 사용하는 경우, P 픽쳐에 또는 B 픽쳐에 있는 단방향 예측에 대해, 단일의 기준 픽쳐 인 덱스가 블록을 위해 전송된다. 움직임 보상의 디코딩 프로세스가 예측자를 생성한 후에, 가중 인자가 예측자에 적용된다. 가중된 예측자는 다음에 코딩된 나머지(residual)에 가산되고, 그 합에 클리핑이 수행되어 디코딩된 픽쳐를 형성한다. P 픽쳐에서 또는 단지 리스트 0 예측을 사용하는 B 픽쳐에 있는 블록을 위해 사용하기 위해, 가중된 예측자는
Pred = W0 * Pred0 + D0로서 형성되고,
여기에서, W0는 리스트 0 기준 픽쳐와 관련된 가중 인자이고, D0는 리스트 0 기준 픽쳐와 관련된 오프셋이며, Pred0는 리스트 0 기준 픽쳐로부터의 움직임 보상된 예측 블록이다.
단지 리스트 0 예측을 사용하는 B 픽쳐의 블록에 사용하기 위해, 가중된 예측자는
Pred = W1*Pred1 + D1으로서 형성되고,
여기에서, W1는 리스트 1 기준 픽쳐와 관련된 가중 인자이고, D0는 리스트 1 기준 픽쳐와 관련된 오프셋이며, Pred1는 리스트 1 기준 픽쳐로부터의 움직임 보상된 예측 블록이다.
가중된 예측자를 클리핑하여 그 결과 값이 픽셀 값의 허용가능 범위, 전형적으로, 0 내지 255내에 있는 것을 보장할 수 있다. 가중 공식에 있어서 곱셈의 정밀도는 해상도(resolution)의 임의의 사전결정된 비트 수로 한정될 수 있다.
양방향 예측의 경우에, 기준 픽쳐 인덱스는 각각의 두개의 예측자에 대하여 전송된다. 움직임 보상을 수행하여 두개의 예측자를 형성한다. 각각의 예측자는 자신의 기준 픽쳐 인덱스와 관계된 가중 인자를 사용하여 두개의 가중된 예측자를 형성한다. 두개의 가중된 예측자는 다음에 평균되어 평균된 예측자를 형성하며, 이것은 다음에 코딩된 나머지에 가산된다.
리스트 0 및 리스트 1 예측을 사용하는 B 픽쳐의 블록에 사용하기 위해, 가중된 예측자는,
Pred = (P0 * Pred + D0 + P1 * Pred1 + D1)/2로서 형성된다.
가중된 예측자 또는 가중된 예측자 계산시 임의의 중간 값에 클리핑을 적용하여 그 결과값이 픽셀 값의 허용가능 범위, 전형적으로 0 내지 255 내에 있게 되는 것을 보장한다.
따라서, 가중 인자는 다수의 기준 픽쳐를 사용하는 비디오 압축 인코더 및 디코더의 기준 픽쳐 예측에 적용된다. 가중 인자는 움직임 블록용으로 사용되는 기준 픽쳐 인덱스에 기초하여 픽쳐내의 개별 움직임 블록에 적용된다. 기준 픽쳐 인덱스는 압축된 비디오 비디오 스트림에 이미 전송되었기 때문에, 움직임 블록 기초에 가중 인자를 적용하기 위한 부가의 오버헤드가 상당히 감소된다. 동일한 기준 픽쳐에 관하여 코딩된 모든 움직임 블록은 동일한 가중 인자를 기준 픽쳐 예측에 적용한다.
움직임 추정 기술은 폭 넓게 연구되었다. 코딩되는 픽쳐의 각 움직임 블록에 대하여, 기준 픽쳐로부터 움직임 벡터의 어긋남(displacement)을 나타내는 움직임 벡터가 선택된다. 탐색 영역내의 모든 곳을 대상으로 한 탐색 방법에서는, 움직임 블록 위치에 관련한 소정의 오프셋 범위내의 모든 어긋남이 테스트된다. 이 테스트는, 현재 픽쳐의 움직임 블록의 기준 픽쳐의 어긋난 움직임 블록과의 각 픽셀에서 평균 제곱 에러(MSE) 또는 차이의 절대값의 합(SAD)을 계산하는 단계를 포함한다. 가장 작은 SAD 또는 MSE를 갖는 오프셋을 움직임 벡터로서 선택한다. 3단계 탐색 및 레이트(rate)-왜곡 최적화 움직임 추정과 같은 본 기술의 다양한 변형예가 제안되었고, 이들 모두 기준 픽쳐의 어긋난 움직임 블록과의 현재 움직임 블록의 SAD 또는 MSE를 계산하는 단계를 포함한다.
반복 프로세스를 사용함으로써 움직임 벡터 및 적응성 기준 가중 인자를 결정하는 계산 비용을 줄일 수도 있으면서, 고효율로 압축할 수 있는 움직임 벡터 및 가중 인자를 여전히 선택할 수 있다. 단일 가중 인자가 전체의 기준 픽쳐에 적용된다고 가정하여 예시적 실시예의 움직임 벡터 및 가중 인자 결정 프로세스가 설명되지만, 이에 본 발명이 한정되는 것은 아니다. 이 프로세스는 또한, 예를 들면, 슬라이스와 같은 픽쳐의 더 작은 영역에 걸쳐 적용될 수 있다. 또한, 본 발명의 일 실시예가 단지 하나의 기준 픽쳐를 사용하는 것으로 설명되지만, 본 발명은 다수의 기준 픽쳐 예측 및 양방향 예측 픽쳐에 적용될 수도 있다.
움직임 블록용 움직임 벡터의 계산은 전형적으로 사용될 가중 인자가 공지된 경우에 행해지는 것이 최상이다. 예시적 실시예에서, 기준 픽쳐 및 현재 픽쳐 픽셀 값을 사용하여 가중 인자의 추정이 이루어진다. 가중 인자는 해상도의 다수의 비트에 한정될 수 있다. 가중 인자가 1에 매우 가깝다면, 움직임 추정 프로세스에서 가중 인자를 고려할 필요가 없고, 가중 인자를 1과 동일한 것으로 가정하여 정상적인 움직임 추정이 행해질 수 있다. 그렇지 않다면, 가중 인자 추정이 기준 픽 쳐에 적용된다. 다음에, SAD 또는 MSE를 계산하는 임의의 방법을 사용하여, 하지만, 비가중 기준 픽쳐보다는 가중된 버전의 기준 픽쳐에 있는 어긋난 움직임 블록과 현재 픽쳐 움직임 블록 간에 수행된 SAD 또는 MSE를 사용하여 움직임 추정이 수행된다. 움직임 벡터가 선택된 후에, 필요하다면, 가중 인자의 추정을 더 세정할 수 있다.
현재 움직임 벡터가 가중된 기준 픽쳐에 적용되어 가중된, 움직임 보상 기준 픽쳐를 형성한다. 가중된 움직임 보상 기준 픽쳐와 현재 픽쳐간의 차분값이 계산된다. 차분값이 임계값보다 작으면, 또는 이전의 최상 차분값보다 작으면, 프로세스는 종료되고 현재 후보 움직임 벡터 및 가중 인자가 수용된다.
차분값이 일부 임계값보다 크면, 가중 인자는 세정될 수 있다. 이 경우에, 현재 후보 움직임 벡터를 기초로, 움직임 보상 비가중 기준 픽쳐가 형성된다. 가중 인자 추정은, 가중 인자의 초기 추정 형성시에 행해짐에 따라, 비보상 기준 픽쳐를 사용하기 보다는 움직임 보상 기준 픽쳐와 현재 픽쳐를 사용하여 가중 인자 추정이 세정된다.
선택 프로세스는 새롭게 세정된 가중 인자를 기준 픽쳐에 적용하여 가중 기준 픽쳐를 형성하는 단계를 반복하도록 진행한다. 반복 프로세스는, 차분값이 이전의 최상 차분값 이상이거나, 임계값보다 작을 때까지, 또는 대안으로, 한정된 순환 횟수가 완료될 때까지 계속된다. 현재 반복의 차분값이 최상의 이전 반복보다 크다면, 가중 인자 및 최상의 이전 반복에 대한 움직임 벡터가 사용된다. 현재 반복의 차분값이 임계값보다 작다면, 현재 가중 인자 및 움직임 벡터가 사용된다. 최대 수의 반복 순환이 완료되면, 최상의 차분값을 가진 이전의 반복으로부터의 움직임 벡터 및 가중 인자가 사용된다.
일 실시예에서, 가중 인자(w)의 초기 추정은 현재 픽쳐(cur)에 있는 픽셀의 평균값을 기준 픽쳐(ref)에 있는 픽셀의 평균값으로 나눈 비율로,
w = avg(cur)/avg(ref)이다.
정교한 추정값은 현재 픽쳐에 있는 픽셀의 평균과 움직임 보상 기준 픽쳐(mcref)에 있는 픽셀의 평균 간의 비율로,
w = avg(cur)/avg(mcref)이다.
차분값(diff)은 현재 픽쳐(cur)와 가중 움직임 보상 기준 픽쳐(wmcref) 간의 픽셀 차들의 평균의 절대값으로,
diff = ┃∑ cur - wmcref┃이다.
또 다른 실시예에서, 차분값은 현재 픽쳐에 있는 그리고 가중 움직임 보상 기준 픽쳐에 있는 픽셀들의 차의 절대값의 합으로,
diff = ∑ ┃cur - wmcref┃이다.
블록 기반 움직임 추정을 수행하는 경우, 기준 픽쳐에 있는 동일 픽셀을 수많은 SAD 계산용으로 사용한다. 움직임 추정 프로세스동안 예시적 실시예에서, 일단 가중 인자가 기준 픽쳐에 있는 픽셀에 적용되면, 정상 픽셀에 부가하여 가중된 픽셀이 저장된다. 저장은 픽쳐의 영역에 대하여 또는 전체 픽쳐에 대하여 행해질 수 있다.
가중된 기준 픽쳐 값은, 예를 들면, 8비트 등의 비가중 기준에 따라 동일한 비트 수로 저장되도록 클리핑되거나, 그 이상의 비트를 사용하여 저장될 수 있다. 메모리 효율적인 움직임 보상 프로세스에 대하여 클리핑이 수행되면, 실제 선택된 움직임 벡터를 위해 가중 인자가 기준 픽쳐에 다시 적용되고, 가중 인자가 적용된 후에 디코더가 클리핑을 수행하지 않으면 발생할 수 있는 디코더와의 불일치를 피하기 위해 차 후에 클리핑이 수행된다.
다수의 기준 픽쳐를 사용하여 픽쳐를 인코딩하는 경우, 개별 가중 인자는 각각의 기준 픽쳐에 대하여 계산될 수 있다. 움직임 추정동안, 움직임 벡터 및 기준 픽쳐 인덱스는 각각의 움직임 블록에 대하여 선택된다. 프로세스의 각각의 반복을 위해, 움직임 벡터 및 가중 인자가 각각의 기준 픽쳐에 대하여 찾아진다.
바람직한 실시예에서, 움직임 추정동안, 주어진 움직임 블록에 대하여 최상의 기준 픽쳐가 결정된다. 차분값의 계산은 단지 계산에 사용되는 기준 픽쳐를 사용하는 그들 움직임 블록으로 각각의 기준 픽쳐에 대하여 개별적으로 행해진다. 주어진 기준 픽쳐에 대한 가중 인자 추정의 세정은 또한 그 기준 픽쳐를 사용하여 코딩되는 그들 움직임 블록만을 사용한다. 양방향 예측 코딩을 위해, 가중 인자 및 움직임 벡터는 두개의 예측 각각에 대해 개별적으로 결정될 수 있으며, 이는 평균화되어 평균 예측을 형성한다.
본 발명의 원리는 많은 다양한 형태의 움직임 추정 알고리즘에 적용될 수 있다. 계층적 접근법으로 사용되는 경우, 가중 인자 선택 및 움직임 벡터 선택의 반복은 임의의 레벨의 움직임 추정 계층으로 사용될 수 있다. 예를 들면, 반복 접근법은 정수 픽쳐 구성요소(pel) 움직임 추정으로 사용될 수 있다. 가중 인자 및 정 수 움직임 벡터를 제공된 반복 알고리즘을 사용하여 찾은 뒤에, 서브-pel 움직임 벡터는 가중 인자 선택의 또 다른 반복을 요구하지 않고 찾아질 수 있다.
본 발명의 이들 특징 및 다른 특징 및 잇점은 본 명세서의 교시에 기반하여 당업자에게는 이미 확실히 확인될 수 있다. 본 발명의 원리는 하드웨어, 소프트웨어, 펌웨어, 특정 목적의 프로세서, 또는 그들의 조합 등 다양한 형태로 구현될 수 있다.
가장 바람직하게는, 본 발명의 원리는 하드웨어 및 소프트웨어의 조합으로서 구현된다. 더우기, 소프트웨어는 프로그램 저장 장치에 확실히 구체화된 애플리케이션 프로그램으로서 구현될 수 있다. 애플리케이션 프로그램은 임의의 적당한 아키텍쳐를 포함하는 머신으로 업로드되고 그에 의해 실행될 수 있다. 바람직하게, 머신은 하나 이상의 CPU, RAM, 및 입출력(I/O) 인터페이스와 같은 하드웨어를 구비한 컴퓨터 플랫폼 상에 구현된다. 컴퓨터 플랫폼은 또한 오퍼레이팅 시스템 및 마이크로명령 코드를 포함할 수 있다. 본 명세서에 설명된 다양한 프로세스 및 기능은 마이크로명령 코드의 부분 또는 애플리케이션 프로그램의 부분, 또는 그들의 임의의 조합일 수 있으며, 이는 CPU에 의해 실행될 수 있다. 또한, 부가의 데이터 저장 장치 및 프린트 장치 같은 다양한 다른 주변 장치가 컴퓨터 플랫폼에 접속될 수 있다.
첨부 도면에 도시된 방법 및 구성요소 시스템 컴포넌트의 일부가 소프트웨어에 바람직하게 구현되기 때문에, 시스템 컴포넌트 또는 프로세스 기능 블록간의 실제 접속은 본 발명이 프로그래밍되는 방식에 따라 다르다는 것 또한 이해될 것이 다. 본 교시가 주어짐으로 인해, 당업자는 본 발명의 이들 및 유사한 구현 또는 구성을 의도할 수 있을 것이다.
예시적 실시예가 첨부 도면을 참조하여 설명되었지만,본 발명이 이들 명시된 실시예에 한정되는 것은 아니며, 다양한 변경 및 수정을 본 발명의 사상 또는 정신에서 벗어나지 않고 당업자가 행할 수 있다는 것을 이해할 수 있을 것이다. 그러한 모든 변경 및 수정은 첨부된 청구범위에 설명된 바와 같이 본 발명의 범위내에 포함되도록 하는 것을 의도로 한다.

Claims (26)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 이미지 블록에 대하여 비디오 신호 데이터를 인코딩하는 방법으로서,
    비압축된 이미지 블록을 수신하는 단계;
    특정 기준 픽쳐에 대응하여 상기 이미지 블록에 대해서 가중 인자를 할당하는 단계;
    상기 기준 픽쳐를 상기 가중 인자로 가중시키는 단계;
    상기 이미지 블록과 상기 가중 기준 픽쳐 간의 차에 대응하는 움직임 벡터들을 계산하는 단계; 및
    상기 움직임 벡터들에 따라 상기 가중 기준 픽쳐를 움직임 보상하는 단계를 포함하며,
    양방향 픽쳐 예측기들(bi-predictive picture predictors)이 사용되며,
    상기 방법은,
    제2 특정 기준 픽쳐에 대응하여 이미지 블록에 대하여 제2 가중 인자를 할당하는 단계;
    제2 기준 픽쳐를 상기 제2 가중 인자로 가중시키는 단계;
    상기 이미지 블록과 제2 가중 기준 픽쳐 간의 차에 대응하는 제2 움직임 벡터들을 계산하는 단계; 및
    상기 제2 움직임 벡터들에 따라 제2 가중 기준 픽쳐를 움직임 보상하는 단계를 더 포함하는 인코딩 방법.
  12. 제11항에 있어서,
    상기 움직임 벡터들에 따라 원래의 비가중 기준 픽쳐를 움직임 보상하는 단계;
    상기 할당된 가중 인자를 움직임 보상된 원래의 기준 픽쳐에 곱셈하여 가중된 움직임 보상 기준 픽쳐를 형성하는 단계;
    상기 비압축된 이미지 블록으로부터 상기 가중된 움직임 보상 기준 픽쳐를 차감하는(substracting) 단계; 및
    상기 비압축된 이미지 블록과 상기 가중된 움직임 보상 기준 픽쳐 사이의 차를 나타내는 신호를 인코딩하는 단계를 더 포함하는 인코딩 방법.
  13. 제11항에 있어서,
    상기 움직임 벡터들을 계산하는 단계는,
    상기 이미지 블록에 대한 소정의 오프셋들의 범위 내의 모든 변위(every displacement)에 대하여 탐색 영역 내에서 테스트하는 단계;
    움직임 보상 기준 픽쳐와의 상기 이미지 블록의, 각 픽셀에서의 차의 절대값의 합(sum of the absolute difference) 및 평균 제곱 에러(mean squared error) 중 적어도 하나를 계산하는 단계; 및
    가장 작은 차의 절대값의 합 및 평균 제곱 에러를 갖는 오프셋을 움직임 벡터로서 선택하는 단계를 포함하는 인코딩 방법.
  14. 제12항에 있어서,
    상기 제2 움직임 벡터들에 따라 원래의 비가중 제2 기준 픽쳐를 움직임 보상하는 단계;
    상기 움직임 보상된 원래의 제2 기준 픽쳐를 상기 할당된 제2 가중 인자로 곱셈하여 제2 가중 움직임 보상된 기준 픽쳐를 형성하는 단계;
    비압축된 이미지 블록으로부터 상기 제2 가중 움직임 보상된 기준 픽쳐를 차감하는 단계;
    상기 비압축된 이미지 블록과 제2 가중 움직임 보상된 기준 픽쳐 간의 차를 나타내는 신호를 인코딩하는 단계를 더 포함하는 인코딩 방법.
  15. 제11항에 있어서,
    상기 제1 특정 기준 픽쳐 및 제2 특정 기준 픽쳐 모두는 상기 이미지 블록에 대하여 동일한 방향으로부터 오는 인코딩 방법.
  16. 제11항에 있어서,
    상기 움직임 벡터들을 계산하는 단계는
    상기 이미지 블록에 대한 소정의 오프셋들의 범위 내의 모든 변위에 대하여 탐색 영역 내에서 테스트하는 단계;
    제1 예측기에 대응하는 제1 움직임 보상 기준 픽쳐와의 상기 이미지 블록의, 각 픽셀에서의 차의 절대값의 합 및 평균 제곱 에러 중 적어도 하나를 계산하는 단계;
    가장 작은 차의 절대값의 합 및 평균 제곱 에러를 갖는 오프셋을 상기 제1 예측기에 대한 움직임 벡터로서 선택하는 단계;
    제2 예측기에 대응하는 제2 움직임 보상 기준 픽쳐와의 상기 이미지 블록의, 각 픽셀에서의 차의 절대값의 합 및 평균 제곱 에러 중 적어도 하나를 계산하는 단계; 및
    가장 작은 차의 절대값의 합 및 평균 제곱 에러를 갖는 오프셋을 상기 제2 예측기에 대한 움직임 벡터로서 선택하는 단계를 포함하는 인코딩 방법.
  17. 제11항에 있어서,
    상기 기준 픽쳐를 상기 가중 인자로 가중시키는 단계는,
    상기 가중 인자가 1에 가까운지의 여부를 결정하는 단계; 및
    상기 가중 인자가 1에 가까운 경우에 상기 가중 기준 픽쳐 대신에 가중이 행해지기 전의 기준 픽쳐를 이용하는 단계를 포함하는 인코딩 방법.
  18. 제11항에 있어서,
    상기 움직임 보상된 가중 기준 픽쳐에 응답하여 가중 인자 선택을 정교화(refining)하는 단계는,
    상기 이미지 블록과 상기 움직임 보상된 가중 기준 픽쳐 간의 차를 계산하는 단계;
    상기 계산된 차를 소정의 허용 오차(tolerance)와 비교하는 단계; 및
    상기 계산된 차가 상기 소정의 허용 오차를 벗어나는 경우에는 상기 가중 인자를 더 정교화하는 단계를 포함하는 인코딩 방법.
  19. 이미지 블록에 대한 비디오 신호 데이터를 인코딩하는 장치로서,
    비압축된 이미지 블록을 수신하는 수단;
    특정 기준 픽쳐에 대응하여 상기 이미지 블록에 대하여 가중 인자를 할당하는 수단;
    상기 기준 픽쳐를 상기 가중 인자로 가중시키는 수단;
    상기 이미지 블록과 상기 가중 기준 픽쳐 간의 차에 대응하는 움직임 벡터들을 계산하는 수단; 및
    상기 움직임 벡터들에 따라 상기 가중 기준 픽쳐를 움직임 보상하는 수단을 포함하며,
    양방향 픽쳐 예측기들이 사용되며,
    상기 장치는,
    제2 특정 기준 픽쳐에 대응하여 이미지 블록에 대하여 제2 가중 인자를 할당하는 수단;
    제2 기준 픽쳐를 상기 제2 가중 인자로 가중시키는 수단;
    상기 이미지 블록과 제2 가중 기준 픽쳐 간의 차에 대응하는 제2 움직임 벡터들을 계산하는 수단; 및
    상기 제2 움직임 벡터들에 따라 제2 가중 기준 픽쳐를 움직임 보상하는 수단을 더 포함하는 인코딩 장치.
  20. 제19항에 있어서,
    상기 움직임 벡터들에 따라 원래의 비가중 기준 픽쳐를 움직임 보상하는 수단;
    움직임 보상된 원래의 기준 픽쳐를 상기 할당된 가중 인자로 곱셈하여 가중된 움직임 보상 기준 픽쳐를 형성하는 수단;
    상기 비압축된 이미지 블록으로부터 상기 가중된 움직임 보상 기준 픽쳐를 차감하는 수단; 및
    상기 비압축된 이미지 블록과 상기 가중된 움직임 보상 기준 픽쳐 사이의 차를 나타내는 신호를 인코딩하는 수단을 더 포함하는 인코딩 장치.
  21. 제20항에 있어서,
    상기 제2 움직임 벡터들에 따라 원래의 비가중 제2 기준 픽쳐를 움직임 보상하는 수단;
    상기 움직임 보상된 원래의 제2 기준 픽쳐를 상기 할당된 제2 가중 인자로 곱셈하여 제2 가중 움직임 보상된 기준 픽쳐를 형성하는 수단;
    비압축된 이미지 블록으로부터 상기 제2 가중 움직임 보상된 기준 픽쳐를 차감하는 수단;
    상기 비압축된 이미지 블록과 제2 가중 움직임 보상된 기준 픽쳐 간의 차를 나타내는 신호를 인코딩하는 수단을 더 포함하는 인코딩 장치.
  22. 제19항에 있어서,
    움직임 벡터들을 계산하는 수단은,
    상기 이미지 블록에 대한 소정의 오프셋들의 범위 내의 모든 변위에 대하여 탐색 영역 내에서 테스트하는 수단;
    움직임 보상 기준 픽쳐와의 상기 이미지 블록의, 각 픽셀에서의 차의 절대값의 합 및 평균 제곱 에러 중 적어도 하나를 계산하는 수단; 및
    가장 작은 차의 절대값의 합 및 평균 제곱 에러를 갖는 오프셋을 움직임 벡터로서 선택하는 수단을 포함하는 인코딩 장치.
  23. 제19항에 있어서,
    상기 제1 및 제2 특정 기준 픽쳐 모두는 상기 이미지 블록에 대하여 동일한 방향으로부터 오는 인코딩 장치.
  24. 제19항에 있어서,
    움직임 벡터들을 계산하는 수단은,
    상기 이미지 블록에 대한 소정의 오프셋들의 범위 내의 모든 변위에 대하여 탐색 영역 내에서 테스트하는 수단;
    제1 예측기에 대응하는 제1 움직임 보상 기준 픽쳐와의 상기 이미지 블록의, 각 픽셀에서의 차의 절대값의 합 및 평균 제곱 에러 중 적어도 하나를 계산하는 수단;
    가장 작은 차의 절대값의 합 및 평균 제곱 에러를 갖는 오프셋을 상기 제1 예측기에 대한 움직임 벡터로서 선택하는 수단;
    제2 예측기에 대응하는 제2 움직임 보상 기준 픽쳐와의 상기 이미지 블록의, 각 픽셀에서의 차의 절대값의 합 및 평균 제곱 에러 중 적어도 하나를 계산하는 수단; 및
    가장 작은 차의 절대값의 합 및 평균 제곱 에러를 갖는 오프셋을 상기 제2 예측기에 대한 움직임 벡터로서 선택하는 수단을 포함하는 인코딩 장치.
  25. 제19항에 있어서,
    상기 기준 픽쳐를 상기 가중 인자로 가중시키는 수단은,
    상기 가중 인자가 1에 가까운지의 여부를 결정하는 수단; 및
    상기 가중 인자가 1에 가까운 경우에 상기 가중 기준 픽처 대신에 가중이 행해지기 전의 기준 픽쳐를 이용하는 수단을 포함하는 인코딩 장치.
  26. 제19항에 있어서,
    상기 움직임 보상된 가중 기준 픽쳐에 응답하여 가중 인자 선택을 정교화하는 수단은,
    상기 이미지 블록과 상기 움직임 보상된 가중 기준 픽쳐 간의 차를 계산하는 수단;
    상기 계산된 차를 소정의 허용 오차와 비교하는 수단; 및
    상기 계산된 차가 상기 소정의 허용 오차를 벗어나는 경우에는 상기 가중 인자를 더 정교화하는 수단을 포함하는 인코딩 장치.
KR1020057000779A 2002-07-15 2003-07-14 가중치 예측을 사용한 움직임 추정 KR100958504B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US39584302P 2002-07-15 2002-07-15
US39587402P 2002-07-15 2002-07-15
US60/395,874 2002-07-15
US60/395,843 2002-07-15
US10/410,479 2003-04-09
US10/410,456 US8406301B2 (en) 2002-07-15 2003-04-09 Adaptive weighting of reference pictures in video encoding
PCT/US2003/021728 WO2004008761A1 (en) 2002-07-15 2003-07-14 Adaptive weighting of reference pictures in video encoding

Publications (2)

Publication Number Publication Date
KR20050021487A KR20050021487A (ko) 2005-03-07
KR100958504B1 true KR100958504B1 (ko) 2010-05-17

Family

ID=30119143

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020107011694A KR101070530B1 (ko) 2002-07-15 2003-07-14 비디오 신호 데이터를 생성하기 위한 인코딩 방법
KR1020057000779A KR100958504B1 (ko) 2002-07-15 2003-07-14 가중치 예측을 사용한 움직임 추정
KR1020057000723A KR101005215B1 (ko) 2002-07-15 2003-07-14 비디오 신호 데이터 인코더 및 인코딩 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020107011694A KR101070530B1 (ko) 2002-07-15 2003-07-14 비디오 신호 데이터를 생성하기 위한 인코딩 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020057000723A KR101005215B1 (ko) 2002-07-15 2003-07-14 비디오 신호 데이터 인코더 및 인코딩 방법

Country Status (18)

Country Link
US (13) US8406301B2 (ko)
EP (2) EP1540952B1 (ko)
JP (7) JP4840852B2 (ko)
KR (3) KR101070530B1 (ko)
CN (4) CN101902647B (ko)
AU (5) AU2003249053B2 (ko)
BR (5) BR0305519A (ko)
CA (1) CA2491862C (ko)
DK (2) DK1540952T3 (ko)
ES (2) ES2722001T3 (ko)
HK (1) HK1218197A1 (ko)
HU (1) HUE025429T2 (ko)
MX (2) MX354997B (ko)
MY (3) MY153363A (ko)
PL (1) PL374025A1 (ko)
PT (1) PT1540952E (ko)
TW (1) TWI238661B (ko)
WO (1) WO2004008761A1 (ko)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8406301B2 (en) 2002-07-15 2013-03-26 Thomson Licensing Adaptive weighting of reference pictures in video encoding
US7903742B2 (en) 2002-07-15 2011-03-08 Thomson Licensing Adaptive weighting of reference pictures in video decoding
US8761252B2 (en) 2003-03-27 2014-06-24 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
KR20060109247A (ko) * 2005-04-13 2006-10-19 엘지전자 주식회사 베이스 레이어 픽처를 이용하는 영상신호의 엔코딩/디코딩방법 및 장치
KR20060105409A (ko) 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100510136B1 (ko) * 2003-04-28 2005-08-26 삼성전자주식회사 참조 픽처 결정 방법, 그 움직임 보상 방법 및 그 장치
US7724818B2 (en) * 2003-04-30 2010-05-25 Nokia Corporation Method for coding sequences of pictures
US8175154B2 (en) * 2003-06-03 2012-05-08 General Instrument Corporation Method for restructuring a group of pictures to provide for random access into the group of pictures
US7809059B2 (en) 2003-06-25 2010-10-05 Thomson Licensing Method and apparatus for weighted prediction estimation using a displaced frame differential
KR20050075483A (ko) * 2004-01-15 2005-07-21 삼성전자주식회사 비디오 코딩 및 디코딩 방법, 및 이를 위한 장치
CN1922889B (zh) * 2004-02-27 2011-07-20 汤姆逊许可公司 使用加权预测的误差隐蔽技术
US20050201470A1 (en) * 2004-03-12 2005-09-15 John Sievers Intra block walk around refresh for H.264
CA2542266C (en) * 2004-04-28 2012-07-17 Matsushita Electric Industrial Co. Ltd. Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus
US8284837B2 (en) 2004-09-16 2012-10-09 Thomson Licensing Video codec with weighted prediction utilizing local brightness variation
US7924918B2 (en) * 2004-11-29 2011-04-12 Ntt Docomo, Inc. Temporal prediction in video coding
US8660180B2 (en) 2005-04-01 2014-02-25 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
US8755434B2 (en) 2005-07-22 2014-06-17 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
CN101379829B (zh) * 2006-02-02 2016-05-18 汤姆逊许可公司 用于运动补偿预测的自适应加权选择的方法和设备
CN101072355B (zh) * 2006-05-12 2010-07-28 中国科学院计算技术研究所 一种加权预测运动补偿方法
JP4759537B2 (ja) * 2007-06-25 2011-08-31 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびコンピュータ読み取り可能な記録媒体
KR100939917B1 (ko) 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
US9967590B2 (en) 2008-04-10 2018-05-08 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
US8804831B2 (en) * 2008-04-10 2014-08-12 Qualcomm Incorporated Offsets at sub-pixel resolution
KR101517768B1 (ko) 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101377527B1 (ko) 2008-10-14 2014-03-25 에스케이 텔레콤주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
JP5670810B2 (ja) 2010-09-21 2015-02-18 花王株式会社 生乾き臭抑制剤のスクリーニング方法及び生乾き臭抑制剤の評価方法
US10397599B2 (en) * 2010-12-17 2019-08-27 Electronics And Telecommunications Research Institute Method and apparatus for inter prediction using motion vector candidate based on temporal motion prediction
ES2685945T3 (es) 2011-04-12 2018-10-15 Sun Patent Trust Procedimiento de codificación de video de movimiento, y aparato de codificación de video de movimiento
JP2012244353A (ja) * 2011-05-18 2012-12-10 Sony Corp 画像処理装置および方法
PL3751854T3 (pl) 2011-05-24 2023-08-28 Sun Patent Trust Sposób kodowania obrazu, urządzenie do kodowania obrazu, sposób dekodowania obrazu, urządzenie do dekodowania obrazu oraz urządzenie do kodowania/dekodowania obrazu
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
EP4007276B1 (en) 2011-05-27 2023-07-05 Sun Patent Trust Apparatus, method and program for coding moving pictures
SG194746A1 (en) 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
CN103548351B (zh) 2011-05-31 2017-07-11 太阳专利托管公司 运动图像解码方法及运动图像解码装置
MX338669B (es) * 2011-06-28 2016-04-27 Samsung Electronics Co Ltd Metodo de codificacion de video que utiliza ajustes de desplazamiento de conformidad con clasificacion de pixel y aparato para ello, metodo de decodificacion de video y aparato para ello.
PL2728878T3 (pl) * 2011-06-30 2020-06-15 Sun Patent Trust Sposób dekodowania obrazów, sposób kodowania obrazów, urządzenie do dekodowania obrazów, urządzenie do kodowania obrazów oraz urządzenie do kodowania/dekodowania obrazów
EP2741499A4 (en) 2011-08-03 2014-12-10 Panasonic Ip Corp America VIDEO CODING METHOD, VIDEO CODING METHOD, VIDEO CODING DEVICE, VIDEO ENCODING DEVICE AND VIDEO ENCODING / DECODING DEVICE
BR112014004797B1 (pt) 2011-10-17 2022-02-15 Kabushiki Kaisha Toshiba Método de decodificação
IN2014CN02602A (ko) 2011-10-19 2015-08-07 Panasonic Corp
TWI613911B (zh) * 2011-10-31 2018-02-01 Jvc Kenwood Corp 動態影像解碼裝置及動態影像解碼方法
CN103096047B (zh) * 2011-11-01 2018-06-19 中兴通讯股份有限公司 一种分片层参数集解码及编码方法和装置
TWI657696B (zh) * 2012-04-16 2019-04-21 日商Ｊｖｃ建伍股份有限公司 動態影像編碼裝置、動態影像編碼方法、及記錄動態影像編碼程式之記錄媒體
US9843801B2 (en) * 2012-07-10 2017-12-12 Qualcomm Incorporated Generalized residual prediction for scalable video coding and 3D video coding
US9641836B2 (en) * 2012-08-07 2017-05-02 Qualcomm Incorporated Weighted difference prediction under the framework of generalized residual prediction
US9906786B2 (en) 2012-09-07 2018-02-27 Qualcomm Incorporated Weighted prediction mode for scalable video coding
KR102414518B1 (ko) 2012-09-28 2022-06-29 엘지전자 주식회사 영상 복호화 방법 및 이를 이용하는 장치
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
US9609343B1 (en) 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction
KR102273670B1 (ko) * 2014-11-28 2021-07-05 삼성전자주식회사 움직임 보상 정보를 수정하는 데이터 처리 시스템과 데이터 처리 방법
WO2017035831A1 (en) * 2015-09-06 2017-03-09 Mediatek Inc. Adaptive inter prediction
EP3456049B1 (en) * 2016-05-13 2022-05-04 VID SCALE, Inc. Systems and methods for generalized multi-hypothesis prediction for video coding
CN116567262A (zh) 2016-05-24 2023-08-08 韩国电子通信研究院 图像编码/解码方法和用于所述方法的记录介质
US10805631B2 (en) * 2016-09-23 2020-10-13 Lg Electronics Inc. Method and apparatus for performing prediction using template-based weight
WO2018132150A1 (en) * 2017-01-13 2018-07-19 Google Llc Compound prediction for video coding
CN111801946B (zh) 2018-01-24 2024-07-19 Vid拓展公司 用于具有降低的译码复杂性的视频译码的广义双预测
US10764603B2 (en) 2018-12-31 2020-09-01 Alibaba Group Holding Limited Resolution-adaptive video coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010079906A (ko) * 1998-09-23 2001-08-22 테일러 그래함 이. 글루포시네이트 보조제로서의 사르코시네이트
US20060081551A1 (en) * 2004-10-20 2006-04-20 Hegg Linda M Nipple assemblies manufactured to fit standard externally-threaded necks of bottles

Family Cites Families (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US629514A (en) * 1896-10-07 1899-07-25 Fisher H Lippincott Back-pedaling brake.
US4383272A (en) 1981-04-13 1983-05-10 Bell Telephone Laboratories, Incorporated Video signal interpolation using motion estimation
US4985768A (en) * 1989-01-20 1991-01-15 Victor Company Of Japan, Ltd. Inter-frame predictive encoding system with encoded and transmitted prediction error
JP2530217B2 (ja) 1989-01-20 1996-09-04 日本ビクター株式会社 フレ―ム間予測符号化装置及び復号装置
JPH0832047B2 (ja) 1989-04-28 1996-03-27 日本ビクター株式会社 予測符号化装置
US5151784A (en) 1991-04-30 1992-09-29 At&T Bell Laboratories Multiple frame motion estimation
US5467136A (en) 1991-05-31 1995-11-14 Kabushiki Kaisha Toshiba Video decoder for determining a motion vector from a scaled vector and a difference vector
US5369449A (en) 1991-11-08 1994-11-29 Matsushita Electric Industrial Co., Ltd. Method for predicting move compensation
US5488482A (en) * 1992-01-29 1996-01-30 Mitsubishi Denki Kabushiki Kaisha High-efficiency encoder and video information recording/reproducing apparatus
US6104439A (en) 1992-02-08 2000-08-15 Samsung Electronics Co., Ltd. Method and apparatus for motion estimation
US5436665A (en) * 1992-03-03 1995-07-25 Kabushiki Kaisha Toshiba Motion picture coding apparatus
US5301019A (en) 1992-09-17 1994-04-05 Zenith Electronics Corp. Data compression system having perceptually weighted motion vectors
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
AU6099594A (en) 1993-02-03 1994-08-29 Qualcomm Incorporated Interframe video encoding and decoding system
US5592228A (en) * 1993-03-04 1997-01-07 Kabushiki Kaisha Toshiba Video encoder using global motion estimation and polygonal patch motion estimation
DE69424909T2 (de) 1993-04-09 2000-12-14 Sony Corp., Tokio/Tokyo Verfahren und vorrichtung zur bildkodierung
JP2853553B2 (ja) * 1994-02-22 1999-02-03 日本電気株式会社 動画像符号化方式
JP3468856B2 (ja) * 1994-07-28 2003-11-17 株式会社東芝 動きベクトル検出方法及び装置
US5625503A (en) 1994-09-20 1997-04-29 Victor Company Of Japan, Ltd. Magnetic recording and reproducing apparatus having means for discriminating performance of magnetic recording medium to achieve optimum recording and reproduction
JP3708149B2 (ja) 1994-11-24 2005-10-19 松下電器産業株式会社 オートチェンジャー装置
JP3513277B2 (ja) 1995-08-29 2004-03-31 シャープ株式会社 映像符号化装置及び映像復号化装置
AU705914B2 (en) * 1995-04-25 1999-06-03 Koninklijke Philips Electronics N.V. Device and method for coding video pictures
US5781788A (en) * 1995-05-08 1998-07-14 Avc Technology, Inc. Full duplex single clip video codec
RU2093968C1 (ru) 1995-08-02 1997-10-20 Закрытое акционерное общество "Техно-ТМ" Способ кодирования-декодирования изображений и устройство для его осуществления
EP1274254B1 (en) * 1995-08-29 2011-07-06 Sharp Kabushiki Kaisha Video coding device and video decoding device with a motion compensated interframe prediction
JPH09121358A (ja) * 1995-10-25 1997-05-06 Matsushita Electric Ind Co Ltd 画像符号化及び復号化装置と方法
US6049362A (en) 1996-02-14 2000-04-11 International Business Machines Corporation Dual prime motion estimation system and method
US5778097A (en) * 1996-03-07 1998-07-07 Intel Corporation Table-driven bi-directional motion estimation using scratch area and offset valves
US6031575A (en) 1996-03-22 2000-02-29 Sony Corporation Method and apparatus for encoding an image signal, method and apparatus for decoding an image signal, and recording medium
US6266370B1 (en) 1996-09-03 2001-07-24 Nippon Telegraph And Telephone Corporation Brightness-variation compensation method and coding/decoding apparatus for moving pictures
JP3263807B2 (ja) 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
JP4034380B2 (ja) * 1996-10-31 2008-01-16 株式会社東芝 画像符号化／復号化方法及び装置
JPH10224795A (ja) 1997-01-31 1998-08-21 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化方法、復号方法、符号化器および復号器
US6111991A (en) * 1998-01-16 2000-08-29 Sharp Laboratories Of America Method and apparatus for optimizing quantizer values in an image encoder
US6175592B1 (en) * 1997-03-12 2001-01-16 Matsushita Electric Industrial Co., Ltd. Frequency domain filtering for down conversion of a DCT encoded picture
US6151075A (en) * 1997-06-11 2000-11-21 Lg Electronics Inc. Device and method for converting frame rate
US6084917A (en) * 1997-12-16 2000-07-04 Integrated Telecom Express Circuit for configuring and dynamically adapting data and energy parameters in a multi-channel communications system
JPH11239351A (ja) * 1998-02-23 1999-08-31 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化方法、復号方法、符号化器、復号器、動画像符号化プログラムおよび動画像復号プログラムを記録した記録媒体
US6031676A (en) 1998-04-09 2000-02-29 Storage Technology Corporation System for sensing a tape cartridge
US6310919B1 (en) 1998-05-07 2001-10-30 Sarnoff Corporation Method and apparatus for adaptively scaling motion vector information in an information stream decoder
JP2000092494A (ja) 1998-09-09 2000-03-31 Sony Corp 画像処理装置および方法、並びに提供媒体
US6414992B1 (en) 1999-01-27 2002-07-02 Sun Microsystems, Inc. Optimal encoding of motion compensated video
US6680921B1 (en) 1999-06-18 2004-01-20 Telefonaktiebolaget Lm Ericsson (Publ) Estimation of time stamps in real-time packet communications
GB9928022D0 (en) * 1999-11-26 2000-01-26 British Telecomm Video coding and decording
JP2001309384A (ja) 2000-04-18 2001-11-02 Oki Electric Ind Co Ltd 画像圧縮装置
US6711211B1 (en) 2000-05-08 2004-03-23 Nokia Mobile Phones Ltd. Method for encoding and decoding video information, a motion compensated video encoder and a corresponding decoder
JP2001326906A (ja) * 2000-05-17 2001-11-22 Nec Corp 画像圧縮管理装置及びそれに用いる画像圧縮管理方法
JP2002034222A (ja) 2000-07-18 2002-01-31 Nippon Riken Kk 磁束の収束現象を利用した電動機
RU2182727C2 (ru) 2000-07-20 2002-05-20 Дворкович Александр Викторович Способ поиска векторов движения деталей в динамических изображениях
WO2002009419A2 (en) * 2000-07-20 2002-01-31 Giant Leap Ahead Limited Method and apparatus for determining motion vectors in dynamic images
JP3827515B2 (ja) 2000-10-11 2006-09-27 株式会社神戸製鋼所 ディスプレイ
US6782054B2 (en) 2001-04-20 2004-08-24 Koninklijke Philips Electronics, N.V. Method and apparatus for motion vector estimation
JP2002340042A (ja) 2001-05-17 2002-11-27 Tochigi Fuji Ind Co Ltd カップリング
US7266150B2 (en) 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
JP3907996B2 (ja) 2001-10-15 2007-04-18 日本電信電話株式会社 画像符号化装置、画像復号装置並びにその方法及び画像符号化プログラム、画像復号プログラム
JP2003189313A (ja) 2001-12-20 2003-07-04 Matsushita Electric Ind Co Ltd 画面間予測符号化方法および画面間予測復号化方法
JP2004007379A (ja) 2002-04-10 2004-01-08 Toshiba Corp 動画像符号化方法及び動画像復号化方法
JP4015934B2 (ja) * 2002-04-18 2007-11-28 株式会社東芝 動画像符号化方法及び装置
DE10225434B4 (de) 2002-06-07 2004-12-30 Siemens Ag Verfahren und Vorrichtung zur Videocodierung
US8406301B2 (en) 2002-07-15 2013-03-26 Thomson Licensing Adaptive weighting of reference pictures in video encoding
CN100358366C (zh) 2002-07-11 2007-12-26 松下电器产业株式会社 滤波强度的决定方法、动态图像编码方法及解码方法
US7903742B2 (en) 2002-07-15 2011-03-08 Thomson Licensing Adaptive weighting of reference pictures in video decoding
US7376186B2 (en) 2002-07-15 2008-05-20 Thomson Licensing Motion estimation with weighting prediction
ES2638189T3 (es) 2002-08-08 2017-10-19 Godo Kaisha Ip Bridge 1 Procedimiento de descodificación de imágenes en movimiento
US7809059B2 (en) 2003-06-25 2010-10-05 Thomson Licensing Method and apparatus for weighted prediction estimation using a displaced frame differential
US7515637B2 (en) 2004-05-21 2009-04-07 Broadcom Advanced Compression Group, Llc Video decoding for motion compensation with weighted prediction
JP2006053633A (ja) 2004-08-10 2006-02-23 Sony Corp コンテンツ配信システム，利用者端末，コンテンツ配信サーバおよびコンピュータプログラム
EP2171616A4 (en) 2007-05-22 2012-05-02 Nuance Communications Inc KEY DATA-BASED SERVICES FOR MOBILE DEVICE MESSAGES
CN103069412A (zh) 2010-06-29 2013-04-24 诺基亚公司 用于基于情境分组的方法和装置
KR102232113B1 (ko) 2011-03-21 2021-03-25 엘지전자 주식회사 움직임 벡터 예측자 선택 방법 및 이를 이용하는 장치
EP2717422A4 (en) 2011-06-03 2014-11-12 Sanyo Electric Co CONTROL SYSTEM FOR MOUNTED CELLS AND POWER SUPPLY SYSTEM THEREWITH

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010079906A (ko) * 1998-09-23 2001-08-22 테일러 그래함 이. 글루포시네이트 보조제로서의 사르코시네이트
US20060081551A1 (en) * 2004-10-20 2006-04-20 Hegg Linda M Nipple assemblies manufactured to fit standard externally-threaded necks of bottles

Also Published As

Publication number Publication date
MY153363A (en) 2015-01-29
BRPI0318825B1 (pt) 2020-01-28
AU2010202729A1 (en) 2010-07-15
US10721472B2 (en) 2020-07-21
JP2014042318A (ja) 2014-03-06
BRPI0305519B1 (pt) 2017-11-07
US20110019733A1 (en) 2011-01-27
US11558618B2 (en) 2023-01-17
PL374025A1 (en) 2005-09-19
AU2010202727B2 (en) 2013-05-16
CN1669323B (zh) 2010-09-22
US20170064303A1 (en) 2017-03-02
US20140205001A1 (en) 2014-07-24
JP5067905B2 (ja) 2012-11-07
KR101070530B1 (ko) 2011-10-05
US8290050B2 (en) 2012-10-16
JP6496056B2 (ja) 2019-04-03
US20040008786A1 (en) 2004-01-15
HK1218197A1 (zh) 2017-02-03
AU2010202730A1 (en) 2010-07-22
JP2011083031A (ja) 2011-04-21
TW200408280A (en) 2004-05-16
CN1669323A (zh) 2005-09-14
CN101902645A (zh) 2010-12-01
US8290051B2 (en) 2012-10-16
US20110019734A1 (en) 2011-01-27
EP1540952A1 (en) 2005-06-15
EP1540952A4 (en) 2012-11-07
JP4827150B2 (ja) 2011-11-30
EP2950537B1 (en) 2019-03-27
KR20050021487A (ko) 2005-03-07
JP5473015B2 (ja) 2014-04-16
AU2010202728B2 (en) 2013-05-09
CN101902646A (zh) 2010-12-01
MX354997B (es) 2018-03-28
CA2491862A1 (en) 2004-01-22
MXPA05000676A (es) 2005-03-31
JP2018125851A (ja) 2018-08-09
CN101902646B (zh) 2015-01-14
BRPI0318824B1 (pt) 2020-01-28
PT1540952E (pt) 2015-06-03
WO2004008761A1 (en) 2004-01-22
ES2722001T3 (es) 2019-08-06
US9549191B2 (en) 2017-01-17
US20200314428A1 (en) 2020-10-01
AU2010202729B2 (en) 2013-04-18
JP4840852B2 (ja) 2011-12-21
BR0305519A (pt) 2004-09-28
JP2016007032A (ja) 2016-01-14
US20190260994A1 (en) 2019-08-22
DK2950537T3 (da) 2019-05-13
US10326993B2 (en) 2019-06-18
KR20050028026A (ko) 2005-03-21
CN101902647A (zh) 2010-12-01
BRPI0318787B1 (pt) 2020-03-10
AU2010202728A1 (en) 2010-07-15
JP2010183647A (ja) 2010-08-19
US20120275519A1 (en) 2012-11-01
CN101902645B (zh) 2013-09-11
EP2950537A1 (en) 2015-12-02
US9930335B2 (en) 2018-03-27
US20110026589A1 (en) 2011-02-03
HUE025429T2 (en) 2016-05-30
US11102486B2 (en) 2021-08-24
DK1540952T3 (en) 2015-05-04
JP2012050124A (ja) 2012-03-08
ES2536456T3 (es) 2015-05-25
US20110019731A1 (en) 2011-01-27
EP1540952B1 (en) 2015-04-01
KR20100067133A (ko) 2010-06-18
CN101902647B (zh) 2012-06-27
TWI238661B (en) 2005-08-21
KR101005215B1 (ko) 2011-01-13
JP6397384B2 (ja) 2018-09-26
AU2010202730B2 (en) 2013-04-11
US8290052B2 (en) 2012-10-16
US8295354B2 (en) 2012-10-23
US8406301B2 (en) 2013-03-26
AU2003249053A1 (en) 2004-02-02
US20210360250A1 (en) 2021-11-18
AU2003249053B2 (en) 2010-06-10
MY143619A (en) 2011-06-15
AU2010202727A1 (en) 2010-07-15
US20110019743A1 (en) 2011-01-27
JP2005533466A (ja) 2005-11-04
US8290053B2 (en) 2012-10-16
US20180176569A1 (en) 2018-06-21
CA2491862C (en) 2014-09-23
MY146138A (en) 2012-06-29
US20160212419A9 (en) 2016-07-21

Similar Documents

Publication Publication Date Title
KR100958504B1 (ko) 가중치 예측을 사용한 움직임 추정
US7376186B2 (en) Motion estimation with weighting prediction
KR101017907B1 (ko) 화상 사이의 크로스-페이드를 인코딩하는 방법, 비디오 인코더 및 비디오 코덱
CA2491865C (en) Adaptive weighting of reference pictures in video decoding
ZA200500416B (en) Adaptive weighting of reference pictures in video encoding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130419

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140421

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150416

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160419

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170420

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180417

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190430

Year of fee payment: 10