KR20090079939A - 모션 보상 예측을 위해 적응 필터링을 이용하는 비디오 코딩 - Google Patents

모션 보상 예측을 위해 적응 필터링을 이용하는 비디오 코딩 Download PDF

Info

Publication number
KR20090079939A
KR20090079939A KR1020097009732A KR20097009732A KR20090079939A KR 20090079939 A KR20090079939 A KR 20090079939A KR 1020097009732 A KR1020097009732 A KR 1020097009732A KR 20097009732 A KR20097009732 A KR 20097009732A KR 20090079939 A KR20090079939 A KR 20090079939A
Authority
KR
South Korea
Prior art keywords
filter
motion compensation
video
block
mode
Prior art date
Application number
KR1020097009732A
Other languages
English (en)
Other versions
KR101065227B1 (ko
Inventor
옌 예
이량 바오
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20090079939A publication Critical patent/KR20090079939A/ko
Application granted granted Critical
Publication of KR101065227B1 publication Critical patent/KR101065227B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 개시물은, 신호 대 잡음비 (SNR) 확장성 및 공간 확장성과 같은 특징을 갖는 스케일러블 비디오 코딩 또는 정규 단일 계층 비디오 코딩을 지원하는 비디오 코딩 기술에 관한 것이다. 비디오 코딩 디바이스는 모션 보상 모듈 및 필터를 포함하는 비디오 디코더에서 이들 기술을 구현할 수도 있다. 모션 보상 모듈은 디지털 비디오 신호로부터 예측 프레임을 디코딩하며, 여기서 모션 보상 모듈은 디지털 비디오 신호로 인코딩된 모션 벡터로부터 인터-코딩된 프레임의 각 블록을 결정한다. 필터는 디지털 비디오 신호로부터 인코딩 또는 추론된 신호에 기초하여 인터-코딩된 블록 중 하나 이상을 적응적으로 필터링한다. 몇몇 예에서, 비디오 디코더는 이 신호에 기초하여, 상이한 필터 기능을, 하나는 수평 방향으로 다른 하나는 수직 방향으로 적응적으로 적용할 수도 있다. 이들 기술을 구현함으로써, 비디오 디코더는 결과적으로 디코딩된 디지털 비디오 신호의 시각 품질을 증가시키면서 복잡도를 감소시킬 수도 있다.
Figure P1020097009732
비디오 디코더, 스케일러블 비디오 코딩, 모션 보상 모듈, 필터

Description

모션 보상 예측을 위해 적응 필터링을 이용하는 비디오 코딩{VIDEO CODING WITH ADAPTIVE FILTERING FOR MOTION COMPENSATED PREDICTION}
본 출원은 2006년 10월 13일에 출원된 미국 가출원 제 60/829,494호, 및 2007년 5월 15일에 출원된 미국 가출원 60/938,151호의 우선권을 주장하며, 이들 각각의 전체 내용이 참조로서 여기에 포함된다.
기술분야
본 개시물은 디지털 비디오에 관한 것으로, 더 상세하게는, 디지털 비디오의 코딩에 관한 것이다.
배경기술
디지털 비디오 기능은 디지털 텔레비전, 디지털 직접 방송 시스템, 무선 통신 디바이스, 개인 휴대 정보 단말기 (PDA), 랩톱 컴퓨터, 데스크톱 컴퓨터, 디지털 카메라, 디지털 레코딩 디바이스, 비디오 게이밍 디바이스, 셀룰러 또는 위성 라디오 텔레폰 등을 포함하는 광범위한 디바이스에 통합될 수 있다. 디지털 비디오 디바이스는 디지털 비디오 신호를 더욱 효율적으로 송수신하기 위해, 통상적으로 MPEG-2, MPEG-4 또는 H.264/MPEG-4 파트 10 (AVC (Advanced Video Coding)) 과 같은 비디오 압축 기술을 구현한다. 비디오 압축 기술은 비디오 신호에 고유한 리던던시를 감소 또는 제거하기 위해 공간 및 시간 예측을 수행한다. 스케일러블 비디오 코딩 기술은 기본 계층 및 하나 이상의 향상 계층을 통해, 공간, 시간 및/또는 신호 대 잡음비 (SNR) 확장성 (scalability) 과 같은 추가 특징을 가능하게 한다.
비디오 코딩에서, 비디오 압축은 일반적으로 모션 추정 및 모션 보상을 포함한다. 모션 추정은 연속 비디오 프레임 사이의 비디오 오브젝트의 이동을 추적한다. 모션 추정은, 하나 이상의 참조 프레임에서 대응하는 비디오 블록에 대한 비디오 블록의 변위를 표시하는 모션 벡터를 발생시킨다. 모션 보상은 모션 벡터를 이용하여 하나 이상의 참조 프레임으로부터 예측 비디오 블록을 발생시킨다. 또한, 모션 보상은 오리지널 비디오 블록에서 예측 비디오 블록을 감산함으로써 잔여 비디오 블록을 형성한다. 비디오 인코더는 변환, 양자화 및 엔트로피 코딩 프로세스를 적용하여 잔여 블록의 비트 레이트를 더욱 감소시킨다. 비디오 디코더는 블록 각각에 대한 모션 벡터 및 잔여 정보를 이용함으로써, 역연산을 수행하여 인코딩된 비디오를 재생한다.
개요
일반적으로, 본 개시물은 비디오 디코더에서 모션 보상된 예측 블록의 적응 필터링을 지원하는 비디오 코딩 기술에 관한 것이다. 예측 정확도를 증진하도록 모션 보상된 예측 블록의 적응 필터링이 적용될 수도 있다. 추가적으로 또는 다른 방법으로, 복잡도를 감소시키도록 적응 필터링이 적용될 수도 있다.
일 양태에서, 본 개시물은, 비디오 프레임 내의 블록에 모션 보상을 적용하여 예측 비디오 블록을 생성하는 모션 보상 모듈, 및 필터 모드 결정에 기초하여 모션 보상을 적응적으로 조절하여 블록의 각각에 제 1 필터 모드 또는 제 2 필터 모드 중 어느 하나를 적용하는 제어 모듈을 포함하는 비디오 코딩 디바이스를 제공한다.
다른 양태에서, 본 개시물은, 비디오 프레임 내의 블록에 모션 보상을 적용하여 예측 비디오 블록을 발생시키는 단계, 및 필터 모드 결정에 기초하여, 블록의 각각에 제 1 필터 모드 또는 제 2 필터 모드 중 어느 하나를 적용하는 단계를 포함하는 방법을 제공한다.
또 다른 양태에서, 본 개시물은, 비디오 프레임 내의 블록에 대해 모션 보상을 수행하여 비디오 블록을 발생시키는 모션 보상 모듈을 포함하는 비디오 코딩 디바이스를 제공하며, 여기서 모션 보상 모듈은 필터를 포함하고, 모션 보상 모듈은 정수 픽셀 위치를 포인팅하는 모션 벡터에 대한 블록에 필터를 적용한다.
추가 양태에서, 본 개시물은 비디오 프레임 내의 블록에 모션 보상을 적용하여 예측 비디오 블록을 발생시키는 모션 보상 모듈, 및 필터 모드 결정에 기초하여 모션 보상을 적응적으로 조절하여 블록의 각각에 제 1 필터 모드 또는 제 2 필터 모드 중 어느 하나를 적용하는 제어 모듈을 포함하는 집적 회로 디바이스를 제공한다.
다른 양태에서, 본 개시물은, 비디오 프레임 내의 블록에 모션 보상을 적용하여 예측 비디오 블록을 발생시키는 모션 보상 모듈, 및 필터 모드 결정에 기초하여 모션 보상을 적응적으로 조절하여 블록의 각각에 제 1 필터 모드 또는 제 2 필터 모드 중 어느 하나를 적용하는 제어 모듈을 포함하는 무선 통신 디바이스 핸드셋을 제공한다.
다른 양태에서, 본 개시물은 비디오 프레임 내의 블록에 모션 보상을 수행하여 예측 비디오 블록을 발생시키는 단계, 및 정수 픽셀 위치를 포인팅하는 모션 벡터에 대한 블록에 필터를 적용하는 단계를 포함하는 방법을 제공한다.
또 다른 양태에서, 본 개시물은 비디오 프레임 내의 블록에 모션 보상을 수행하여 예측 비디오 블록을 발생시키는 모션 보상 모듈을 포함하는 집적 회로 디바이스를 제공하며, 여기서 모션 보상 모듈은 필터를 포함하고, 모셔 보상 모듈은 정수 픽셀 위치를 포인팅하는 모션 벡터에 대한 블록에 필터를 적용한다.
다른 양태에서, 본 개시물은 비디오 프레임 내의 블록에 모션 보상을 수행하여 예측 비디오 블록을 발생시키는 모션 보상 모듈을 포함하는 무선 통신 디바이스 핸드셋을 제공하며, 여기서 모션 보상 모듈은 필터를 포함하고, 모션 보상 모듈은 정수 픽셀 위치를 포인팅하는 모션 벡터에 대한 블록에 필터를 적용한다.
본 개시물에서 설명된 기술은 하드웨어, 소프트웨어, 펌웨어, 또는 이의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되면, 소프트웨어는 마이크로프로세서, ASIC (application specific integrated circuit), FPGA (field programmable gate array), 또는 DSP (digital signal processor) 와 같은 하나 이상의 프로세서에서 실행될 수도 있다. 이 기술을 실행하는 소프트웨어는 초기에 컴퓨터-판독가능 매체에 저장되어, 프로세서에서 로딩 및 실행될 수도 있다. 따라서, 본 개시물은 또한 본 개시물에서 설명한 바와 같은 기술을 수행하기 위한 명령들을 포함하는 컴퓨터-판독가능 매체를 포함하는 컴퓨터 프로그램 제품을 예기한다.
본 개시물의 하나 이상의 양태에 관한 상세한 사항은 이하의 첨부 도면 및 상세한 설명에서 개시된다. 다른 특징, 목적, 및 이점은 상세한 설명, 도면, 및 청구범위로부터 명백해진다.
도면의 간단한 설명
도 1 은 비디오 인코딩 및 디코딩 시스템을 도시한 블록도이다.
도 2 는 비디오 인코더의 일 실시예를 도시한 블록도이다.
도 3 은 상이한 모션 벡터를 갖는 더 작은 서브블록에 의한 예측 블록의 형성을 도시한 도면이다.
도 4 는 적응 필터링을 지원하여 예측 블록을 발생시키도록 구성된 비디오 디코더의 실시예를 도시한 블록도이다.
도 5 는 적응 필터링을 지원하여 예측 블록을 발생시키도록 구성된 비디오 디코더의 다른 실시예를 도시한 블록도이다.
도 6 은 적응 필터링을 이용하는 스케일러블 비디오 코딩 (SVC) 을 지원하여 예측 블록을 발생시키도록 구성된 비디오 디코더의 실시예를 도시한 블록도이다.
도 7 은 SVC 향상 계층 코딩에서의 SR (smoothed reference) 프로세스의 적용을 도시한 도면이다.
도 8 은 SVC 향상 계층 코딩에서의 적응 모션 보상을 이용하는 SR 프로세스의 적용을 도시한 도면이다.
도 9 는 루마 1/2-픽셀 보간을 위한 1차원 6-탭 필터의 예시적인 특성을 도시한 도면이다.
도 10 은 예측 블록의 수직 및 수평 차원에서의 상이한 적응 필터의 적용을 지원하여 정수 또는 분수 픽셀 정밀도를 갖는 모션 벡터 성분을 수용하도록 구성된 비디오 디코더의 실시예를 도시한 블록도이다.
도 11 은 인터-코딩된 프레임의 블록 레벨에서 적응 모션 보상을 수행하는데 있어 비디오 디코더의 대표적인 동작을 도시한 흐름도이다.
도 12 는 인터-코딩된 프레임의 블록 레벨에서 결합된 평활화 모션 보상 유닛을 이용하여 평활화 및 모션 보상을 수행하는데 있어 비디오 디코더의 대표적인 동작을 도시한 흐름도이다.
도 13 은 수직 및 수평 차원에서 상이한 필터로 적응 모션 보상을 수행하는데 있어 비디오 디코더의 대표적인 동작을 도시한 흐름도이다.
상세한 설명
일반적으로, 본 개시물은 비디오 디코더에서 모션 보상된 예측 블록의 적응 필터링을 지원하는 비디오 코딩 기술에 관한 것이다. 모션 보상된 예측 블록의 적응 필터링이 적용되어 예측 정확도를 증진하고/증진하거나 복잡도를 감소시킬 수도 있다. 필터 모드는, 예를 들어, 프레임 레벨, 슬라이스 레벨, 매크로블록 (MB) 레벨, 또는 블록 레벨에서 동적으로 조절될 수도 있다. 필터 모드 결정은 인코딩된 비트스트림으로 인코더에 의해 명시적으로 시그널링될 수도 있다. 다른 방법으로는, 이 모드 결정은 비디오 시퀀스의 특성 및/또는 통계에 기초하여 디코더측에서 결정될 수도 있다.
제 1 필터 모드에서, 비디오 디코더는 정규 모션 보상을 적용하여 모션 보상 된 예측 블록을 형성할 수도 있다. 제 2 필터 모드에서, 비디오 디코더는 정규 모션 보상에 더하여 추가 필터를 모션 보상된 예측 블록에 적용할 수도 있다. 추가 필터는 상이한 특징을 가질 수도 있다. 일 실시예로서, 추가 필터는 다음의 논의에서 평활화 필터로도 지칭될 수도 있는 저역 통과 필터일 수도 있다. 몇몇 경우에, 평활화 필터는 3-탭 필터일 수도 있다. 제 2 필터 모드에서, 비디오 디코더는 정규 모션 보상 필터와 캐스케이드로 또는 정규 모션 보상 필터와 추가 필터를 결합한 상이한 필터를 이용함으로써 추가 필터를 적용할 수도 있다.
몇몇 경우에, 상이한 필터가 모션 보상된 예측 블록의 수평 및 수직 방향으로 적용될 수도 있다. 예를 들어, 3-탭 필터와 같은 평활화 필터는 정수 픽셀 정밀도를 갖는 모션 벡터 성분에 대해 적용될 수도 있는 반면, 2-탭 필터와 같은 보간 필터, 예를 들어, 바이리니어 필터가 분수 픽셀 정밀도를 갖는 모션 벡터 성분에 대해 적용될 수도 있다. 상이한 필터는 결합된 필터의 일부를 형성하거나 분리될 수도 있다.
적응 필터링은 시각 품질 및 코딩 효율을 증진할 수도 있다. 예를 들어, 적응 필터링은 MB 또는 블록 레벨에서 적용되어, 개별 블록의 정교하게 튜닝된 필터링을 제공할 수도 있다. 매크로블록 (MB) 은 비디오 프레임의 16×16 픽셀 영역으로 지칭될 수도 있는 반면, 블록 또는 서브블록은 더 작은 영역을 지칭하는 것으로 이용될 수도 있다. 또한, 추가 또는 상이한 필터링이 풀타임보다는 필요할 때 적용되어, 복잡도를 감소시킬 수도 있다.
또한, 비디오 코딩 기술은 단일-계층 비디오 또는 다중-계층 스케일러블 비 디오에 적용될 수도 있다. 상기 언급한 바와 같이, 모션 보상 필터 및 추가 필터가 캐스케이드로 적용되기보다는 결합되어, 복잡도를 더욱 감소시킬 수도 있다. 스케일러블 비디오 코딩에 대해, 예를 들어, 결합된 모션 보상 필터 모듈은 평활화 필터와 같이, 캐스케이드된 모션 보상 필터와 추가 필터를 대신할 수도 있다.
도 1 은 비디오 인코딩 및 디코딩 시스템 (10) 을 도시한 블록도이다. 도 1 에 도시된 바와 같이, 시스템 (10) 은 통신 채널 (16) 을 통해 수신 디바이스 (14) 로 인코딩된 비디오를 송신하는 소스 디바이스 (12) 를 포함한다. 소스 디바이스 (12) 는 비디오 소스 (18), 비디오 인코더 (20) 및 송신기 (22) 를 포함할 수도 있다. 몇몇 양태에서, 송신기 (22) 는 무선 송신기일 수도 있다. 수신 디바이스 (14) 는 수신기 (24), 비디오 디코더 (26) 및 비디오 디스플레이 디바이스 (28) 를 포함할 수도 있다. 몇몇 양태에서, 수신기 (24) 는 무선 통신 디바이스 핸드셋에서의 무선 수신기와 같은 무선 수신기일 수도 있다. 시스템 (10) 은 모션 보상된 예측 블록의 적응 필터링을 지원하여 시각 품질과 프로세싱 효율 모두를 향상시키도록 구성될 수도 있다.
비디오 디코더 (26) 는 비디오 프레임 내의 블록에 모션 보상을 적용하여 예측 비디오 블록을 발생시키고, 필터 모드 결정에 기초하여 모션 보상을 적응적으로 조절하여 블록 각각에 제 1 필터 모드 또는 제 2 필터 모드 중 어느 하나를 적용할 수도 있다. 비디오 디코더 (26) 는 제 2 필터 모드에서 일부 비디오 블록에 추가 필터링을 적응적으로 적용할 수도 있다. 제 1 필터 모드에서, 비디오 디코더 (26) 는, 모션 벡터가 수직 차원, 수평 차원 또는 둘 다의 분수 픽셀 위치를 참 조하면 보간 필터링을 포함할 수도 있는 정규 모션 보상을 적용할 수도 있다. 제 2 필터 모드에서, 비디오 디코더 (26) 는 모션 보상된 예측 블록에 모션 보상에 더하여 추가 필터를 적용할 수도 있다. 일 실시예로서, 추가 필터는 평활화 필터일 수도 있다. 다른 방법으로는, 제 2 필터 모드에서, 비디오 디코더 (26) 는 평활화와 같은 추가 필터링과 정규 모션 보상을 결합하는 상이한 필터를 적용할 수도 있다.
비디오 디코더 (26) 는 블록별, 매크로블록별, 슬라이스별, 또는 프레임별 단위로 모션 보상을 적응적으로 조절할 수도 있다. 필터 모드 결정은, 예를 들어, 비디오 인코더 (20) 에 의해 비디오 프레임에서 인코딩된 신호에 기초할 수도 있다. 예를 들어, 비디오 인코더 (20) 는, 비디오 디코더 (26) 가 모션 보상을 조절하여 제 1 또는 제 2 필터 모드를 적용하여야 하는지 여부를 표시하기 위해 인코딩된 비디오에 플래그, 커맨드 또는 다른 명령을 포함시킬 수도 있다. 다른 방법으로는, 비디오 디코더 (26) 는 비디오 프레임의 하나 이상의 특성의 분석에 기초하여 필터 모드 결정을 할 수도 있다. 예를 들어, 비디오 디코더 (26) 는 디코딩 이후에 획득되는 재생된 비디오 블록을 분석하여, 제 2 필터 모드가 적용되어야 하는지 여부를 결정할 수도 있다.
제 1 필터 모드에서, 비디오 디코더 (26) 는, 예를 들어, 분수 픽셀 값을 갖는 모션 벡터에 대해 보간 필터링이 있는 정규 모션 보상을 적용할 수도 있다. H.264/MPEG-4 파트 10 (AVC (Advanced Video Coding)) 방식에서, 예를 들어, ½ 픽셀 위치에서의 픽셀을 보간하기 위한 모션 보상 필터는 6-탭 필터를 포함할 수도 있다. 탭의 수는 일반적으로 필터를 수학적으로 나타내는데 요청되는 계수의 수를 표시한다. 더 높은 탭 번호를 갖는 필터는 일반적으로 더 낮은 탭 번호를 갖는 필터보다 더 복잡한 필터를 포함한다. 따라서, 6-탭 필터는 2-탭 또는 3-탭 필터보다 더 복잡한 필터를 포함한다.
제 2 필터 모드에서, 비디오 디코더 (26) 는 평활화 필터와 같은 추가 필터를 적용할 수도 있다. 평활화 필터는, 예를 들어, 3-탭 필터를 포함할 수도 있다. 평활화 필터는, 예를 들어, 모션 보상 필터에 더하여, 추가 필터로서 제 2 필터 모드에서 제공될 수도 있다. 다른 방법으로는, 평활화 필터는 정규 모션 보상에 이용되는 보간 필터와 결합될 수도 있다. 따라서, 모션 보상에 이용되는 결합된 필터는, 부분적인 픽셀 위치에서의 픽셀을 보간하기 위한, 2-탭 필터와 같은 상이한 필터를 나타낸다. 대표적인 2-탭 필터는 바이리니어 필터이다. 따라서, 비디오 디코더 (26) 에 의해 적용된 제 2 필터 모드는, 모션 보상 필터와 추가 평활화 필터의 사용에 의해서나, 또는 모션 보상과 평활화를 결합한 상이한 필터의 사용에 의해 모션 보상 및 평활화 필터 둘 다의 적용을 포함할 수도 있다. 각 경우에, 평활화와 같은 추가 필터링이 제 2 필터 모드에서 제공된다.
제 2 필터 모드에서, 비디오 디코더 (26) 는 정수 픽셀 정밀도를 갖는 성분 둘 다가 있는 모션 벡터에 대해 차원 둘 다에 평활화 필터를 적용할 수도 있다. 다른 방법으로는, 3-탭 필터와 같은 평활화 필터는 수평 차원 또는 수직 차원 중 어느 하나에서, 또는 둘 다에서 정수 픽셀 정밀도를 갖는 모션 벡터에 대해 이 차원에서 적용될 수도 있다. 모션 벡터가 이러한 차원에서 분수 정밀도를 갖는 경우에 바이리니어 필터와 같은 2-탭 모션 보상 필터는 이러한 차원 중 적어도 하나에서 보간을 위해 적용될 수도 있다. 두 차원에서 분수 픽셀 정밀도를 갖는 모션 벡터에 대해, 2-탭 보간 필터는 수직 및 수평 차원 모두에 대해 적용될 수도 있다. 유사하게, 두 차원에서 정수 픽셀 정밀도를 갖는 모션 벡터에 대해, 평활화 필터가 수직 및 수평 차원 둘 다에서 적용될 수도 있다.
예를 들어, 모션 벡터가 수평 차원의 정수 픽셀 위치를 포인팅하고 수직 차원의 분수 픽셀 위치를 포인팅하는 경우, 비디오 디코더 (26) 는 수평 차원에서 평활화 필터를 적용하고, 수직 차원에서 바이리니어 필터와 같은 2-탭 필터를 적용할 수도 있다. 다른 방법으로는, 모션 벡터가 수직 차원의 정수 픽셀 위치를 포인팅하고 수평 차원의 분수 픽셀 위치를 포인팅하는 경우, 비디오 디코더 (26) 는 수직 차원에서 평활화 필터를 적용하고, 수평 차원에서 바이리니어 필터와 같은 2-탭 필터를 적용할 수도 있다. 다른 방법으로는, 비디오 디코더 (26) 는 모션 벡터의 정수 또는 분수 정밀도에 따라, 두 차원에서 평활화 필터 또는 보간 필터 중 어느 하나를 적용할 수도 있다.
예를 들어, 프레임 레벨, 슬라이스 레벨, 매크로블록 (MB) 레벨, 또는 블록 레벨에서의 적층 필터 조절은 코딩 효율 및 프로세싱 효율 둘 다를 증진할 수 있다. 적응 필터링과 함께, 차라리 풀타임보다는 필요할 때 프레임, 슬라이스, MB, 또는 블록에 추가 또는 상이한 필터링이 적용되며, 이에 의해 프로세싱 오버헤드를 감소시킬 수도 있다. 특히, 제 1 필터 모드는 추가 필터를 생략할 수도 있는 반면, 제 2 필터 모드는 코딩 효율을 증진하도록 추가 필터를 필요로 할 수도 있다. 상기 언급한 바와 같이, 몇몇 양태에서, 추가 필터는 평활화 필터일 수도 있다. 평활화 필터는 모션 보상된 예측 블록으로부터 양자화 잡음 또는 다른 아트팩트를 감소 또는 제거하는데 유용할 수도 있다.
비디오 디코더 (26) 는 단일-계층 비디오 또는 다중-계층 스케일러블 비디오에 적응 필터링 기술을 적용할 수도 있다. 몇몇 경우에, 비디오 디코더 (26) 는 필터를 캐스케이드로 적용하는 것보다는, 모션 보상 필터와 평활화 필터를 결합시켜, 복잡도를 더욱 감소시킬 수도 있다. 스케일러블 비디오 코딩 (SVC) 에 대해, 예를 들어, 비디오 디코더 (26) 는 단순화된 프로세싱을 지원하는 결합된 평활화 모션 보상 필터 모듈을 적용하도록 구성될 수도 있다.
도 1 의 실시예에서, 통신 채널 (16) 은 무선 주파수 (RF) 스펙트럼 또는 하나 이상의 물리 전송 라인과 같은 임의의 무선 또는 유선 통신 매체, 또는 무선 및 유선 매체의 임의의 조합을 포함할 수도 있다. 채널 (16) 은 LAN (local area network), WAN (wide-area network) 또는 인터넷과 같은 글로벌 네트워크와 같은, 패킷-기반 네트워크의 일부를 형성할 수도 있다. 통신 채널 (16) 은 일반적으로, 소스 디바이스 (12) 로부터 수신 디바이스 (14) 로 비디오 데이터를 송신하기 위한, 임의의 적절한 통신 매체, 또는 상이한 통신 매체의 집합을 나타낸다.
소스 디바이스 (12) 는 수신 디바이스 (14) 로 송신하기 위한 비디오를 생성한다. 그러나, 몇몇 경우에, 디바이스 (12, 14) 는 실질적으로 대칭으로 동작할 수도 있다. 예를 들어, 디바이스 (12, 14) 의 각각은 비디오 인코딩 및 디코딩 컴포넌트를 포함할 수도 있다. 따라서, 시스템 (10) 은, 예를 들어, 비디 오 스트리밍, 비디오 브로드캐스팅, 또는 비디오 텔레포니를 위해 비디오 디바이스들 (12, 14) 사이의 단방향 또는 양방향 비디오 송신을 지원할 수도 있다.
비디오 소스 (18) 는 하나 이상의 비디오 카메라와 같은 비디오 캡처 디바이스, 사전에 캡처된 비디오, 또는 비디오 컨텐츠 제공자로부터 공급된 라이브 비디오를 포함하는 비디오 아카이브를 포함할 수도 있다. 또 다른 방법으로는, 비디오 소스 (18) 는 소스 비디오로서 컴퓨터 그래픽스-기반 데이터, 또는 라이브 비디오와 컴퓨터-발생된 비디오의 조합을 발생시킬 수도 있다. 몇몇 경우에, 비디오 소스 (18) 가 카메라이면, 소스 디바이스 (12) 및 수신 디바이스 (14) 는 위성 또는 모바일 무선 전화, 또는 다른 무선 통신 디바이스를 포함하는 소위 카메라 폰 또는 비디오 폰을 형성할 수도 있다. 따라서, 몇몇 양태에서, 본 개시물에서 설명된 기술은 모바일 전화 핸드셋과 같은 모바일 무선 통신 디바이스 핸드셋 내에서 구현될 수도 있다. 각 경우에, 캡처되거나, 사전-캡처되거나 또는 컴퓨터-발생된 비디오는, 비디오 소스 디바이스 (12) 로부터 송신기 (22), 채널 (16) 및 수신기 (24) 를 통해 비디오 수신 디바이스 (14) 의 비디오 디코더 (26) 로 송신하기 위해 비디오 인코더 (20) 에 의해 인코딩될 수도 있다. 디스플레이 디바이스 (28) 는 액정 디스플레이 (LCD), 플라즈마 디스플레이 또는 유기 발광 다이오드 (OLED) 디스플레이와 같은 다양한 디스플레이 디바이스 중 임의의 디바이스를 포함할 수도 있다.
비디오 인코더 (20) 및 비디오 디코더 (26) 는, 본 개시물의 몇몇 양태에서, 공간, 시간 및/또는 신호 대 잡음비 (SNR) 확장성을 위해 스케일러블 비디오 코딩 을 지원하도록 구성될 수도 있다. 인코더 (20) 및 디코더 (26) 는 기본 계층 및 하나 이상의 스케일러블 향상 계층의 인코딩, 송신 및 디코딩을 지원함으로써 다양한 정도의 확장성을 지원할 수도 있다. 스케일러블 코딩의 경우, 기본 계층은 최소 레벨의 품질을 갖는 비디오 데이터를 반송한다. 하나 이상의 향상 계층은 추가 비트스트림을 반송하여, 더 높은 공간, 시간 또는 SNR 레벨을 지원한다.
비디오 인코더 (20) 및 비디오 디코더 (26) 는 MPEG-2, MPEG-4, ITU-T H.263, 또는 ITU-T H.264/MPEG-4 파트 10 (AVC) 과 같은 비디오 압축 표준에 따라 동작할 수도 있다. 도 1 에 도시되지 않았을지라도, 몇몇 양태에서, 비디오 인코더 (20) 및 비디오 디코더 (22) 는 각각 오디오 인코더 및 디코더와 통합될 수도 있고, 적당한 MUX-DEMUX 유닛, 또는 다른 하드웨어 및 소프트웨어를 포함하여, 공통 데이터 스트림 또는 분리된 데이터 스트림으로의 오디오 및 비디오 둘 다의 인코딩을 핸들링할 수도 있다. 적용가능하다면, MUX-DEMUX 유닛은 ITU H.223 멀티플렉서 프로토콜, 또는 사용자 데이터그램 프로토콜 (UDP) 과 같은 다른 프로토콜에 부합할 수도 있다.
H.264 표준은 JVT (Joint Video Team) 로 알려진 파트너쉽의 산출품으로서, ITU-T 비디오 코딩 전문가 그룹 및 ISO/IEC MPEG (Moving Picture Experts Group) 에 의해 개발되었다. H.264 표준은, H.264 표준 또는 H.264 규격, 또는 H.264/AVC 표준이나 규격으로 여기서 지칭할 수도 있는 2005년 3월자 ITU-T 권고 H.264, "Advanced video coding for generic audiovisual services"에 설명된다. 몇몇 양태에서, 본 개시물에서 설명된 기술은 H.264 표준에 일반적으로 부합된 디바이스, 또는 H.264 표준에 일반적으로 부합하지 않는 다른 디바이스에 적용될 수도 있다.
JVT (Joint Video Team) 는 H.264/MPEG-4 AVC 에 대한 스케일러블 비디오 코딩 (SVC) 확장에 대해 계속 작업하고 있다. H.264/MPEG-4AVC 와 개발중인 SVC 확장 둘 다의 규격은 JD (Joint Draft) 의 형태로 되어 있다. JVT 에 의해 생성된 JSVM (Joint Scalable Video Model) 은, 본 명세서에서 설명된 다양한 코딩 태스크에 대해 시스템 (10) 내에서 이용될 수도 있는, 스케일러블 비디오에 이용하기 위한 툴을 구현한다. SVC 에 관한 상세한 정보는 Thomas Wiegand, Gary Sullivan, Julien Reichel, Heiko Schwarz, 및 Mathias Wien 의 "Joint Draft 7 of SVC Amendment (revision 2)"(JVT-T210r2, 2006년 7월, 오스트리아 클라겐푸르트) 에 의해 Joint Draft 문서, 특히 JD7 (Joint Draft 7) 에서 발견될 수 있다.
일부 양태에서, 비디오 브로드캐스팅의 경우, 이 개시물은 기술 표준 TIA-1099 ("FLO 규격") 로 공개되는 FLO (Forward Link Only) 무선 인터페이스 규격, "Forward Link Only Air Interface Specification for Terrestrial Mobile Multimedia Multicast" 를 이용하여 TM3 (terrestrial mobile multimedia multicast) 시스템에서 실시간 비디오 서비스를 전달하기 위한 개선된 H.264 비디오 코딩에 대한 적용을 예기한다. FLO 규격은 FLO 무선 인터페이스에 적절한 비트스트림 구문 및 의미론 및 디코딩 프로세스를 정의하는 실시예를 포함한다. 다른 방법으로는, 비디오는 DVB-H (digital video broadcast-handheld), ISDB-T (integrated services digital broadcast - terrestrial), 또는 DMB (digital media broadcast) 와 같은 다른 표준에 따라 브로드캐스팅될 수도 있다. 따라서, 몇몇 경우에, 소스 디바이스 (12) 는 무선 통신 디바이스 핸드셋과 같은 모바일 무선 단말기, 비디오 스트리밍 서버, 또는 비디오 브로드캐스트 서버일 수도 있다. 그러나, 본 개시물에서 설명된 기술은 임의의 특정한 유형의 브로드캐스트, 멀티캐스트, 또는 포인트-투-포인트 시스템에 제한되지 않는다.
비디오 인코더 (20) 및 비디오 디코더 (26) 는 각각 하나 이상의 마이크로프로세서, DSP (digital signal processor), ASIC (application specific integrated circuit), FPGA (field programmable gate array), 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 이의 임의의 조합으로 구현될 수도 있다. 따라서, 본 명세서에서 설명된 기술은, 집적 회로 디바이스로 통칭될 수도 있는 하나 이상의 집적 회로 디바이스 내에서 구현될 수도 있다. 이러한 집적 회로 디바이스는 무선 통신 디바이스 핸드셋과 같은 통신 디바이스 내에서 제공될 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (26) 각각은 하나 이상의 인코더 또는 디코더에 포함될 수도 있고, 이들 중 어느 하나는 개개의 모바일 디바이스, 가입자 디바이스, 브로드캐스트 디바이스, 서버 등에서 결합된 인코더/디코더 (CODEC) 의 일부로서 집적될 수도 있다. 또한, 비디오 소스 디바이스 (12) 및 비디오 수신 디바이스 (14) 각각은, 적용가능하면, 무선 통신을 지원하기에 충분한 무선 주파수 (RF) 무선 컴포넌트 및 안테나를 포함하여, 인코딩된 비디오의 송수신에 적절한 변조, 복조, 주파수 변환, 필터링, 및 증폭기 컴포넌트를 포함할 수도 있다. 그러나, 설명의 편의를 위해, 이러한 컴포넌트는 도 1 에 도시하지 않는다.
비디오 시퀀스는 일련의 비디오 프레임을 포함한다. 비디오 인코더 (20) 는 비디오 데이터를 인코딩하기 위해 개별 비디오 프레임 내의 픽셀 블록에 대해 동작한다. 비디오 블록은 고정 또는 변동 사이즈를 가질 수도 있고, 특정 코딩 표준에 따라 사이즈가 다를 수도 있다. 일 실시예로서, ITU-T H.264 표준은 루마 성분에 대한 16×16, 8×8, 4×4 와 같이 다양한 블록 사이즈의 인트라 예측, 및 루마 성분에 대한 16×16, 16×8, 8×16, 8×8, 8×4, 4×8 및 4×4 및 크로마 성분에 대한 대응하여 스케일링된 사이즈와 같은 다양한 블록 사이즈의 인터 예측을 지원한다. 더 작은 비디오 블록은 더 우수한 해상도를 제공할 수 있고, 더 높은 레벨의 디테일을 포함하는 비디오 프레임의 위치에 이용될 수도 있다. 일반적으로, 매크로블록 및 다양한 더 작은 블록은 비디오 블록이라고 간주될 수도 있다. 몇몇 경우에, 더 작은 블록은 서브블록이라고 지칭될 수도 있다. 예측 이후에, 8×8 잔여 블록 또는 4×4 잔여 블록에 대해 변환이 수행될 수도 있고, intra_16×16 예측 모드가 이용되면 크로마 성분 또는 루마 성분에 대한 4×4 블록의 DC 계수에 추가 변환이 적용될 수도 있다.
도 2 는 비디오 인코더 (20) 의 일 실시예를 도시한 블록도이다. 비디오 인코더 (20) 는 비디오 프레임 내의 블록의 인트라-코딩 및 인터-코딩을 수행할 수도 있다. 인트라-코딩은 주어진 비디오 프레임 내의 비디오에서의 공간 리던던시를 감소 또는 제거하기 위해 공간 예측에 의존한다. 인터-코딩은 인접 프레임 내의 비디오에서의 시간 리던던시를 감소 또는 제거하기 위해 시간 예측에 의존 한다. 인터-코딩의 경우, 비디오 인코더 (20) 는 모션 추정을 수행하여 2 개 이상의 인접 프레임들 사이의 매칭하는 비디오 블록의 이동을 추적한다.
도 2 에 도시된 바와 같이, 비디오 인코더 (20) 는 인코딩될 비디오 프레임 내의 현재 비디오 블록 (21) 을 수신한다. 도 2 의 실시예에서, 비디오 인코더 (20) 는 모션 추정 유닛 (23), 참조 프레임 저장소 (25), 모션 보상 유닛 (27), 블록 변환 유닛 (29), 양자화 유닛 (31), 역양자화 유닛 (33), 역변환 유닛 (35) 및 엔트로피 코딩 유닛 (37) 을 포함한다. 비디오 인코더 (20) 는 또한 합산기 (39) 및 합산기 (41) 를 포함한다. 도 2 는 비디오 블록의 인터-코딩을 위한 비디오 인코더 (20) 의 시간 예측 컴포넌트를 도시한다. 설명의 편의를 위해 도 2 에 도시되지 않았더라도, 비디오 인코더 (20) 는 또한 몇몇 비디오 블록의 인트라-코딩을 위한 공간 예측 컴포넌트를 포함할 수도 있다.
모션 추정 유닛 (23) 은 하나 이상의 인접 비디오 프레임에서의 블록과 비디오 블록 (21) 을 비교하여 하나 이상의 모션 벡터를 발생시킨다. 인접 프레임 또는 프레임들은 참조 프레임 저장소 (25) 로부터 검색될 수도 있다. 가변 사이즈, 예를 들어, 16×16, 16×8, 8×16, 8×8 또는 더 작은 블록 사이즈의 블록에 대해 모션 추정이 수행될 수도 있다. 모션 추정 유닛 (23) 은, 예를 들어, 레이트 왜곡 모델에 기초하여, 현재 비디오 블록 (21) 에 가장 가깝게 매칭하는 인접 프레임에서의 블록을 식별하고, 블록들 사이의 변위를 결정한다. 이를 기초로, 모션 추정 유닛 (23) 은 변위의 크기 및 궤적 (trajectory) 을 표시하는 모션 벡터를 생성한다.
모션 벡터는, 비디오 인코더 (20) 가 정수 픽셀 위치보다 더 높은 정밀도로 모션을 추적하고 더 우수한 예측 블록을 획득하게, 1/2-픽셀 정밀도 또는 1/4-픽셀 정밀도, 또는 더욱 미세한 정밀도를 가질 수도 있다. 분수 픽셀값을 갖는 모션 벡터가 이용되는 경우, 모션 보상 유닛 (27) 에서 보간 동작이 수행될 수도 있다. 예를 들어, AVC/H.264 표준에서, 1/2-픽셀 포지션에서 루마 신호를 획득하기 위해, 계수 (1, -5, 20, 20, -5, 1)/32 를 갖는 6-탭 위너 필터 (Wiener filter) 가 사용될 수도 있다. 1/4-픽셀 위치에서 루마 신호를 획득하기 위해, 정수 픽셀 위치의 값 및 1/2 픽셀 위치의 보간된 값에 대한 바이리니어 필터링이 이용될 수도 있다. 바이리니어 필터는 또한 1/8-픽셀 정밀도까지를 가질 수도 있는, 크로마 성분에 대한 분수 픽셀 보간에 이용될 수도 있다.
모션 추정 유닛 (23) 은 레이트-왜곡 모델을 이용하여 비디오 블록에 대해 최상의 모션 벡터를 식별한다. 결과로서 생긴 모션 벡터를 이용하여, 모션 보상 유닛 (27) 은 모션 보상에 의해 예측 비디오 블록을 형성한다. 비디오 인코더 (20) 는 합산기 (39) 에서 오리지널인 현재 비디오 블록 (21) 으로부터 모션 보상 유닛 (27) 에 의해 생성된 예측 비디오 블록을 감산함으로써 잔여 비디오 블록을 형성한다. 블록 변환 유닛 (29) 은 잔여 블록에 변환을 적용한다. 양자화 유닛 (31) 은 변환 계수를 양자화하여 비트 레이트를 더욱 감소시킨다. 엔트로피 코딩 유닛 (37) 은 양자화 계수를 엔트로피 코딩하여 비트 레이트를 더욱 더 감소시킨다. 비디오 디코더 (26) 는 역연산을 수행하여 인코딩된 비디오를 재생한다.
역양자화 유닛 (33) 및 역변환 유닛 (35) 은 역양자화 및 역변환을 각각 적용하여, 잔여 블록을 재생한다. 합산기 (41) 는 모션 보상 유닛 (27) 에 의해 생성된 모션 보상된 예측 블록에 재생된 잔여 블록을 가산하여, 참조 프레임 저장소 (25) 에 저장하기 위해 재생된 비디오 블록을 생성한다. 재생된 비디오 블록은 모션 추정 유닛 (23) 및 모션 보상 유닛 (27) 에 의해 후속 비디오 프레임에서의 블록을 인코딩하는데 이용된다.
현재 비디오 프레임 (21) 에서의 주어진 블록에 대해 모션 보상을 수행하는 경우, 모션 보상 유닛 (27) 은 고정 필터 세트를 이용하여 참조 프레임으로부터 참조 블록을 보간할 수도 있다. 현재 블록이 단방향으로 예측되면 하나의 참조 블록이 필요하거나, 또는 현재 블록이 양방향으로 예측되면 2 개의 참조 블록이 필요하다. H.264 에서, 순방향 및 역방향의 다중 참조 프레임이 몇몇 경우에 이용될 수도 있다. 모션 보상 유닛 (27) 에서 이용된 실제 필터는 모션 벡터의 분수 부분에 따른다. 예를 들어, 모션 벡터가 주어진 차원에서 참조 프레임의 1/2-픽셀 위치를 포인팅하면, 1/2-픽셀 위치의 값을 획득하기 위해, (1, -5, 20, 20, -5, 1)/32 와 같은 6-탭 필터가 1/2-픽셀 모션 벡터로 그 차원에서 이용된다. 모션 벡터 성분 둘 다가 정수 위치를 포인팅하면, 참조 프레임 저장소 (25) 에서의 참조 프레임으로부터의 픽셀값은 임의의 보간 필터링 동작 없이 직접 이용될 수도 있다.
도 3 은 상이한 모션 벡터를 갖는 블록들에 의한 예측 블록의 형성을 도시한 도면이다. 도 3 의 실시예에서, 8×16 예측 블록 (43) 은 참조 프레임 (49) 으 로부터 각각 상이한 모션 벡터 (MV) 를 갖는 2 개의 8×8 서브블록 (45, 47) 의 조합에 의해 형성된다. 예를 들어, 8×8 블록 (45) 은 (0, -6) 의 서브블록 모션 벡터를 가지고, 8×8 서브블록 (47) 은 (-2, -6) 의 블록 모션 벡터를 가진다.
상술한 바와 같이, 필요하다면 추가 클립핑 동작이 수행되어, 모션 보상 유닛 (27) 에 의해 생성된 모션 보상된 예측 비디오 블록과 역양자화 유닛 (33) 및 역변환 유닛 (35) 에 의해 생성되는 재생된 잔여 블록의 합산을 취함으로써 재생된 비디오 블록이 형성된다. 이후, 미래 예측 이용을 위해 재생된 블록은 참조 프레임 저장소 (25) 에 저장된다. 재생된 블록은 예측 비디오 블록을 발생시키는데 직접 이용되는 경우에 양자화 잡음 및 원하지 않는 아티팩트를 포함할 수도 있다.
예측 비디오 블록에 평활화 연산을 적용하는 것이 이러한 아티팩트를 완화시킬 수도 있다. 또한, 예측 비디오 블록은, 예를 들어, 도 3 에 도시된 바와 같이, 상이한 모션 벡터를 가지며 모션 보상된 서브블록에 의해 형성될 수도 있다. 따라서, 이들 서브블록의 경계를 따라 불연속성이 존재할 수도 있다. 디블로킹 필터 파라미터가 모션 정보에 따르는, 예를 들어, AVC/H.264 에서와 같은 인-루프 디블로킹 필터를 적용하는 것은 재생된 블록 내의 불연속성 문제를 완화시킬 수도 있다. 그러나, 디블로킹 필터는 높은 계산 복잡도를 가질 수도 있다. 또한, H.264 에서와 같은 디블로킹 필터는 프레임을 변경하는 대신에 현재 프레임의 시각 품질을 개선하도록 설계되어 미래 프레임이 더 잘 예측될 수도 있다. 따라서, 예를 들어, 저역 통과 필터를 통해 모션 보상으로부터 획득된 예측 블록에 평활화 연산을 적용하는 것은 현재 블록에 더 우수한 예측을 제공할 수도 있다.
개별 예측 블록에 존재할 수도 있는 잡음의 크기 및 성질에 따라, 추가 평활화 필터링을 적용하는 것이 유리할 수도 있거나 아닐 수도 있다. 또한, 이는, 참조 프레임에서의 오브젝트와 현재 프레임에서의 오브젝트가 상이한 공간 변환을 겪을 수도 있기 때문에, 참조 블록을 변경시켜 현재 블록에 좀더 가깝게 매칭하게 할 목적으로 평활화 필터가 적용되면 사실이다. 따라서, 평활화는 블록의 실제 컨텐츠의 함수로서 코딩 프로세스에 상이한 영향을 미칠 수도 있다.
본 개시물의 다양한 양태에 따르면, 정규 또는 필터링된 (평활화된) 예측 블록이 이용되어야 하는지 여부를 적응적으로 결정하는 것이 가능하다. 정규 예측 블록의 이용은 제 1 필터 모드에 따라 모션 보상의 적용을 수반할 수도 있다. 제 1 필터 모드는, 적당한 모션 벡터가 분수 픽셀값을 특정하는 경우에 보간 필터의 적용을 수반할 수도 있다. 예측 블록의 평활화는 제 2 필터 모드에 따라 추가 필터의 적용을 수반할 수도 있다. 필터 모드 결정은 인코딩되어 인코딩된 비디오 비트스트림으로 전송될 수도 있다. 다른 방법으로는, 필터 모드 결정은 수신된 비디오의 특성 및/또는 통계를 이용하여 비디오 디코더에서 추론될 수도 있다.
몇몇 예에서, 예측 블록의 평활화를 위한 저역 통과 필터링과 같은 추가 필터링은 디스플레이 디바이스 (28) 상에 디스플레이되는 경우에 디지털 비디오의 결과적인 시각 품질을 개선시킬 수도 있다. 예를 들어, 3-탭 [1,2,1] 필터와 같은 평활화 필터의 적용은 예측 프레임에서 발생하는 아티팩트의 수 및 양자화 잡음 을 감소시킬 수도 있다. 또한, 이 평활화 필터의 적용은 모션 블러 (motion blur) 의 영향을 발생시킬 수도 있어서, 참조 프레임과 현재 프레임이 서로 더 잘 매칭한다.
시스템 (10) 은 예측 블록을 발생시키기 위해 모션 보상된 예측 블록의 적응 필터링을 지원하도록 구성될 수도 있고, 이는 시각 품질과 프로세싱 효율 둘 다를 개선시킨다. 예를 들어, 비디오 디코더 (26) 는 모션 보상을 적응적으로 조절하여 추가 필터링이 없는 제 1 필터 모드 또는 추가 필터링이 있는 제 2 필터 모드 중 어느 하나를 적용할 수도 있다. 필터 모드는 블록별, 매크로블록별, 슬라이스별, 또는 프레임별 단위로 적응될 수도 있고, 비디오 프레임의 하나 이상의 특성의 분석, 또는 비디오 프레임에서 인코딩된 신호에 기초할 수도 있다. 몇몇 경우에, 비디오 디코더 (26) 는 캐스케이드로 평활화 필터와 모션 보상 필터를 적용하는 것보다 차라리, 평활화 필터와 모션 보상 필터를 결합하여, 복잡도를 더욱 감소시킬 수도 있다.
도 4 는 적응 필터링을 지원하여 예측 블록을 발생시키도록 구성된 일 실시예의 비디오 디코더 (26A) 를 도시한 블록도이다. 도 4 의 실시예에서, 비디오 디코더 (26A) 는 비디오 비트스트림으로 인코딩된 필터 모드 신호에 의해 표시된 필터 모드 결정에 기초하여 적응 필터링을 구현한다. 도 4 에 도시된 바와 같이, 비디오 디코더 (26A) 는 모션 보상 모듈 (30), 엔트로피 디코딩 모듈 (32), 역양자화 모듈 (34), 역변환 모듈 (36), 합산기 (S1), 디블로킹 필터 (38), 참조 프레임 저장소 (40), 모션 보상 유닛 (42), 평활화 필터 (44), 및 제어 모듈 (46) 을 포함한다.
제 1 필터 모드에서, 비디오 디코더 (26A) 는 분수 픽셀 값에 대한 보간 필터링을 포함할 수도 있는 정규 모션 보상을 수행한다. 제 2 필터 모드에서, 비디오 디코더 (26A) 는 추가 필터링과 함께 모션 보상을 수행한다. 평활화 필터 (44) 는 제 2 필터 모드에서 적용될 대표적인 추가 필터를 나타낸다. 그러나, 본 개시물은 평활화 필터 (44) 에 제한되어서는 안되고, 상이한 필터링 특성을 포함하는 다른 추가 필터를 포함할 수도 있다. 도 4 에 도시되지 않았지만, 비디오 디코더 (26A) 는 인트라-코딩 (I) 블록의 디코딩도 지원한다. 그러나, 설명의 편의를 위해, 도 4 는 인터-코딩 (P 또는 B) 블록의 디코딩에 집중한다.
도 4 의 실시예에서, 엔트로피 디코딩 모듈 (32) 은 인코딩된 비디오에 엔트로피 디코딩을 적용하여, 양자화된 변환 계수, 모션 벡터, 및 필터 모드 신호를 생성한다. 역양자화 모듈 (34) 및 역변환 모듈 (36) 은 변환 계수를 잔여 블록 정보로 변환한다. 모션 보상 모듈 (30) 은 합산기 (S1) 에 의해 표시된 바와 같이, 잔여 블록 정보와 합산된 예측 블록을 형성한다. 디블로킹 필터 (38) 는 결과적으로 합산된 블록을 필터링하여 "블로키 (blocky)" 아티팩트를 제거한다. "블로키" 아티팩트는 종종 더 낮은 비트레이트에서 발생한다. 대표적인 역양자화, 역변환 및 디블로킹 필터 기술은 H.264/MPEG-4 파트 10 AVC 표준에서 설명되었지만, 본 개시물에서 설명된 이 기술은 다른 비디오 압축 표준 또는 기술과 함께 이용될 수도 있다. 디블로킹 필터 (38) 에 의해 필터링된 비디오 프레임은 참조 프레임 저장소 (40) 에 저장된다. 참조 프레임 저장소 (40) 는 추가 예측에 이용되는 참조 프레임을 저장할 수 있는 메모리를 포함할 수도 있다.
모션 보상 모듈 (30) 은, 엔트로피 디코딩 모듈 (32) 로부터 모션 벡터를 수신하고 참조 프레임 저장소 (40) 로부터 참조 프레임을 수신하여 예측 블록을 생성하는 모션 보상 유닛 (42) 을 포함한다. 예를 들어, 모션 보상 유닛 (42) 은 모션 벡터를 참조 프레임에 적용하여 매칭 블록을 선택하고, 합산기 (S1) 로 표시된 바와 같이, 역변환 모듈 (36) 에 의해 생성된 잔여 정보와 합산하기 위해 예측 블록으로서 선택된 블록을 제공한다. 몇몇 경우에, 모션 보상 유닛 (42) 은 보간 필터를 적용하여, 참조 프레임에서의 블록으로부터 예측 블록을 생성할 수도 있다. 분수 픽셀 위치에서 비디오 데이터를 획득하기 위해, 예를 들어, 모션 보상 유닛 (42) 은 보간 필터를 포함할 수도 있다. 따라서, 제 1 필터 모드는, 적용가능한 모션 벡터가 정수 픽셀값을 포인팅하는지 또는 분수 픽셀값을 포인팅하는지 여부에 따라, 보간 필터링이 있게 또는 없게 정규 모션 보상이 수행되는 모드일 수도 있다. 모션 보상 모듈 (30) 은 제 1 필터 모드에서 직접 예측 블록을 제공할 수도 있거나, 또는 제 2 필터 모드에서 예측 블록에 평활화 필터 (44) 를 적용할 수도 있다. 따라서, 제 2 필터 모드는 제 1 필터 모드와 실질적으로 일치하지만 평활화 필터 (44) 또는 다른 필터가 추가되는 모드일 수도 있다.
제어 모듈 (46) 은 엔트로피 디코딩 모듈 (32) 로부터 필터 모드 신호를 수신하고, 추가 평활화 필터 (44) 가 적용되지 않는 제 1 필터 모드, 또는 모션 보상 유닛 (42) 에 의해 생성된 예측 블록에 추가 평활화 필터 (44) 가 적용되는 제 2 필터 모드 중 어느 하나를 선택하도록 모션 보상 모듈 (30) 내의 스위치 (50) 를 제어한다. 제어 모듈 (46) 은 디코딩된 비트스트림으로부터 필터 모드 신호를 검색하여, 인코더가 제 1 필터 모드를 표시하는지 또는 제 2 필터 모드를 표시하는지 여부를 결정하고, 적절한 필터 모드 결정을 한다.
제 1 필터 모드 또는 제 2 필터 모드의 선택이 예시의 목적으로 스위치 (50) 로 표시되더라도, 이 선택은 소프트웨어 기능일 수도 있고, 실제 스위치에 의해 실현될 필요가 없을 수도 있다. 또한, 제어 모듈 (46) 이 도 4 의 실시예에서 엔트로피 디코딩된 비트스트림으로부터 필터 모드 신호를 검색하더라도, 필터 모드 신호는 역양자화 또는 역변환 이전 또는 이후 디코딩된 비디오 신호의 특성 및/또는 통계로부터 결정될 수도 있다.
엔트로피 디코딩 모듈 (32) 은, 모션 보상 기술을 수행하여, 참조 프레임 저장소 (40) 에 저장된 참조 프레임으로부터 예측 블록을 발생시키는 모션 보상 유닛 (42) 으로 모션 벡터를 송신한다. 상술한 바와 같이, 평활화 필터 (44) 는 본 개시물의 원리에 따라 적응적으로 적용될 수도 있는 추가 필터의 일 실시예이다. 몇몇 양태에서, 비디오 디코더 (26A) 는 필터 모드 결정에 기초하여 예측된 프레임의 블록 레벨에서 평활화 필터 (44) 를 적응적으로 적용할 수도 있다. 즉, 인코더 (20) 는 블록별 단위로 필터 모드 신호를 조절할 수도 있다. 다른 방법으로는, 필터 모드 신호는 프레임별, 슬라이스별, 또는 매크로블록별 단위로 조절될 수도 있다. 결과적으로, 모션 보상 모듈 (30) 은 프레임-레벨, 슬라이스-레벨, 매크로블록-레벨, 또는 블록-레벨에서 평활화 필터 (44) 를 적응적으로 적용할 수도 있다.
비디오 인코더 (20) 는 인코딩되는 디지털 비디오의 하나 이상의 특성의 분석에 기초하여 필터 모드 결정을 발생시킬 수도 있다. 예측 블록의 특정 통계는 이용될 필터 모드를 결정하는데 이용될 수도 있다. 예를 들어, 예측 블록에서의 저역 통과 및 고역 통과 주파수 성분의 양은 필터 모드를 도출하는데 이용될 수도 있다. 다량의 고역 통과 주파수 성분이 예측 블록에 존재하면, 제 2 필터 모드가 적용되어, 예를 들어, 평활화를 제공할 수도 있다. 다른 방법으로는, 예측 블록에서의 고주파수 성분의 양이 크지 않으면, 제 1 필터 모드가 적용될 수도 있다. 예측 블록 및/또는 이웃 비디오 블록의 다른 통계 또는 특성이 이용될 수도 있다. 예를 들어, 예측 블록이 모션 보상 동안에 작은 (예를 들어, 4×4) 블록 파티션으로 형성되면, 제 2 필터 모드가 적용될 수도 있다. 다른 방법으로는, 예측 블록이 작은 블록 파티션으로 형성되지 않으면, 제 1 필터 모드가 적용될 수도 있다.
필터 모드 신호가 인코딩된 비트스트림으로 송신되지 않는 경우, 상술한 바와 같이, 디코더측에서의 제어 모듈 (46) 은 소스 디바이스 (12) 에서의 인코더가 비디오의 인코딩 동안에 필터 모드를 결정하는데 이용할 수도 있는 비디오 신호의 실질적으로 동일한 통계 및/또는 특성을 이용하여, 채널 (16) 을 통해 수신되는 인코딩된 비디오의 분석에 기초하는 필터 모드 신호를 추론할 수도 있다. 따라서, 인코더와 같이, 디코더 (26A) 는 예측 블록을 분석하여 고주파수 및 저주파수 성분의 존재를 결정할 수도 있고/있거나, 이 블록이 작은 블록 파티션으로 이루어지는지 여부를 결정할 수도 있다. 이를 기초로, 디코더 (26) 는 인코더와 실질 적으로 동일한 방식으로 적절한 필터 모드를 선택한다. 일반적으로, 인코더 (20) 및 디코더 (26) 는 디코더에서의 드리프팅을 방지하기 위해 동일한 정보를 이용하고 동일한 로직을 따라서 필터 모드를 도출하여야 한다.
도 5 는 다른 대표적인 양태의 비디오 디코더 (26B) 를 도시한 블록도이다. 비디오 디코더 (26B) 는 도 4 의 비디오 디코더 (26A) 와 실질적으로 유사할 수도 있다. 그러나, 비디오 디코더 (26B) 는 추가 평활화 및 정규 모션 보상과 연관된 보간 필터링을 결합한 평활화 모션 보상 모듈 (52) 을 더 포함한다. 제어 모듈 (46) 이 제 1 필터 모드를 표시하는 필터 모드 결정을 발생시키는 경우, 모션 보상 모듈 (30) 은 모션 보상 유닛 (42) 을 선택하여 추가 필터링 없이 예측 블록을 발생시킨다. 이 경우에, 모션 보상 유닛 (42) 은, 분수 픽셀 정밀도를 갖는 모션 벡터에 대한 보간 필터링을 포함할 수도 있는 정규 모션 보상을 수행한다. 그러나, 제어 모듈 (46) 이 제 2 필터 모드를 표시하는 필터 모드 결정을 발생시키는 경우, 모션 보상 모듈 (30) 은 평활화 모션 보상 필터 (52) 를 선택한다. 따라서, 제어 모듈 (46) 은 정규 예측 블록이 이용되어야 하는지 또는 평활화된 예측 블록이 이용되어야 하는지 여부를 선택한다.
사실상, 평활화 모션 보상 필터 (52) 는 모션 보상 유닛 (42) 과 평활화 필터의 특징을 결합할 수도 있다. 이 방식으로, 제 2 필터 모드에서, 캐스케이드보다는, 보간 필터링과 결합하여 평활화가 적용될 수도 있다. 2 개 이상의 필터 모듈 대신에, 단일 필터 모듈로, 프로세싱 복잡도가 감소될 수도 있다. 분수 픽셀 위치에서 비디오를 획득하기 위해, 모션 보상 유닛 (42) 은 보간 필터의 기능성을 포함할 수도 있다. 평활화 필터와 같은 추가 필터가 적용되는 경우, 이는 모션 보상 유닛 (42) 의 보간 필터와 결합되어 평활화 모션 보상 필터 (48) 를 형성하여, 이에 의해 시스템 복잡도를 감소시킬 수도 있다. 평활화 모션 보상 모듈 (52) 은, 후술할 다중 가정 및 근사에 기초하여 평활화 필터와 모션 보상 유닛 (42) 의 기능성을 결합시킨다.
보간 필터와 평활화 필터의 이러한 조합을 보는 다른 방식은, 평활화된 예측 블록이 생성되는 경우에 제 2 필터 모드에서, 모션 보상 모듈 (30) 이 상이하고 변경된 필터, 즉, 평활화 모션 보상 필터 (52) 를 인보크하는 것이다. 즉, S(MC(참조 블록(들), 모션 벡터(들)) 를 생성하기 위한 모션 보상 MC 과 평활화 필터 S 의 캐스케이드는 S(MC()) 의 수학적 근사인 결합된 필터 MC'(참조 블록(들), 모션 벡터(들)) 로 대체된다.
이 수학적 근사는, 평활화가 요구되는 경우에 제 2 필터 모드에 적용하기 위해 평활화 모션 보상 필터 (52) 에서 구체화될 수도 있다. 평활화 모션 보상 필터 (52) 의 MC' 에 이용된 필터를 형성하는 방법의 일 실시예는 H.264/AVC 에 대한 스케일러블 비디오 코딩 (SVC) 확장의 프레임워크로부터 도출될 수도 있다. 모션 보상된 예측에 대해 추가 필터링을 수행하는 접근법은 본 개시물에서 적응 모션 보상으로 지칭될 수도 있다. 몇몇 경우에, 필터 모드 신호는 H.264/AVC 표준에서 특정된 smoothedPred 플래그일 수도 있다. 특히, 제어 모듈 (46) 은 필터 모드 결정의 표시로서 smoothedPred 플래그의 상태를 해석할 수도 있다.
도 6 내지 도 8 은 예시적인 평활화 모션 보상 필터 (52) 의 도출을 위한 컨 텍스트를 도시한다. 그러나, 이 기술은 이 대표적인 도출에 제한되어서는 안되고, 상술한 일반적인 프레임워크에 적용될 수도 있다. 평활화 모션 보상 필터 (52) 는 도 6 을 참조하여 후술할 평활화 모션 보상 필터 (52) 와 실질적으로 유사할 수도 있다.
도 6 은 다른 대표적인 비디오 디코더 (26C) 를 도시한 블록도이다. 도 6 에서, 비디오 디코더 (26C) 는 스케일러블 비디오 코딩 (SVC) 을 지원하도록 구성될 수도 있다. 일 실시예로서, 비디오 디코더 (26C) 는 H.264/MPEG-4 파트 10 AVC 표준의 SVC 확장에 따른 것일 수도 있다. 비디오 디코더 (26C) 는 도 5 의 비디오 디코더 (26B) 와 실질적으로 유사할 수도 있지만, 또한 SVC 를 지원하도록 구성될 수도 있다. 도 5 의 실시예에서와 같이, 도 6 의 실시예의 필터 모드 신호는 H.264/MPEG-4 파트 10 AVC 표준에서 특정된 smoothedPred 플래그일 수도 있다. 이 실시예에서, 제어 모듈 (46) 은 필터 모드 결정의 표시로서 smoothedPred 플래그의 상태를 해석할 수도 있다. 도 6 의 실시예에서, 비디오 디코더 (26C) 는, 이후 더 상세히 설명할 바와 같이, AVC/H.264 에 대한 SVC 확장에 따른 ResPred 플래그를 입력으로서 수신할 수도 있는 스위치 (54) 의 기능성을 더 포함한다.
ISO/IEC MPEG 및 ITU-T VCEG 로부터의 비디오 코딩 전문가로 구성된 JVT (Joint Video Team) 는 H.264/AVC 에 대한 SVC 확장에 대해 현재 작업하고 있다. JSVM (Joint Scalable Video Model) 로 불리는 공통 소프트웨어가 이 참석자들에 의해 이용되고 있다. JSVM 은 결합된 확장성을 지원한다. 비트스트림은 SNR 확장성, FGS (Fine Granularity Scalability), 공간 확장성, 및 시간 확장성을 가질 수도 있다. 공간 확장성은, SVC 비트스트림으로부터 향상 계층 비트스트림을 디코딩함으로써, 비디오 디코더 (26C) 가 QCIF (quarter common intermediate format) 대신에, 더 높은 공간 해상도의 비디오 신호, 예를 들어, CIF (common intermediate format) 를 재생 및 디스플레이하게 한다.
SVC 는 수개의 계층간 예측 기술을 지원하여 코딩 성능을 개선시킨다. 예를 들어, 향상 계층 매크로블록을 코딩하는 경우, 기본 계층 또는 이전 계층으로부터의 대응하는 매크로블록 모드, 모션 정보, 및 잔여 신호가 이용될 수도 있다. 특히, BLskip 플래그는 매크로블록 (MB) 레벨 구문 엘리먼트로서 추가될 수도 있다. 현재 MB 가 인터 MB 이고 BLskip 플래그가 1 로 설정되면, 향상 계층 MB 는 대응하는 기본 또는 이전 계층 MB 로부터 MB 모드, 모션 벡터, 및 참조 픽처 인덱스를 계승한다.
공간 확장성이 이용되는 경우, 향상 계층은 기본 또는 이전 계층 비트스트림의 해상도보다 더 높은 공간 해상도의 비디오 신호를 나타낸다. 이 경우에, 기본 또는 이전 계층 MB 정보는 계층간 예측에 이용되기 전에 업샘플링된다. 일 실시예로서, 공간 확장성 팩터가 2:1 (이항 공간 확장성) 인 경우, 기본 또는 이전 계층 MB 정보는 각 차원에서 2 배로 업샘플링된다. 기본 또는 이전 계층 MB 가 MODE_8×8 (4 개의 8×8 블록을 갖는 인터 예측된 매크로블록) 를 가지면, 업샘플링된 비디오 신호는 대응하는 위치에서 MODE_16×16 를 갖는 4 개의 매크로블록을 가진다.
다른 계층간 예측 방법, 잔여 예측이 또한 SVC 에서 지원된다. 기본 또는 이전 계층에서의 몇몇 잔여 블록은 대응하는 향상 계층 잔여 블록과 상관될 수도 있다. 이들 블록에 대해, 잔여 예측을 적용하는 것은 향상 계층 잔여 에너지를 감소시키고 코딩 성능을 개선시킬 수도 있다. SVC 에서, 잔여 예측이 이용되는지 또는 이용되지 않는지 여부는 1-비트 플래그 ResPred 를 이용하여 표시된다. BLskip 과 같이, ResPred 는 또한 매트로블록 레벨 구문 엘리먼트로서 코딩된다. ResPred=1 이면, 향상 계층 잔여는 기본 또는 이전 계층 잔여 블록으로부터 이를 감산한 후에 코딩된다.
따라서, 향상 계층을 적절히 디코딩하기 위해, 비디오 디코더 (26C) 는 향상 계층에 기본 또는 이전 계층 잔여 블록을 추가할 수도 있다. 도 6 을 참조하면, 예를 들어, ResPred=1 이면, 스위치 (54) 는 향상 계층 잔여 (도 6 의 "잔여") 및 예측 블록 (도 6 의 "예측") 을 합산하는 합산기 (S1) 에 기본 또는 이전 계층 잔여 (도 6 의 "기본 계층 잔여") 를 제공한다. SVC 콘텍스트와 반대로, 도 5 는 유사한 기술을 나타내지만, 이 합산기에 기본 계층 잔여를 제공하는 스위치 (58) 의 표현을 포함하지 않는다. 그러나, 도 4 의 스위치 (50) 와 유사하게, 스위치 (54) 는 예시만을 위한 것이고, 기본 계층 잔여를 제공할지 여부의 선택은 소프트웨어 기능일 수도 있고 실제 스위치에 의해 실현될 필요가 없을 수도 있다.
공간 확장성이 이용되면, 기본 또는 이전 계층 잔여 신호는 계층간 예측에 이용되기 전에 업샘플링된다. 이항 공간 확장성의 경우에, SVC 는 바이리니어 필터를 사용하여 잔여 신호를 업샘플링한다. SVC 에 이용되는 계층간 예측에 대한 더욱 상세한 사항은, 예를 들어, Thomas Wiegand, Gary Sullivan, Julien Reichel, Heiko Schwarz, 및 Mathias Wien 의 "Joint Draft 7 of SVC Amendment (revision 2)"(JVT-T201r2, 2006년 7월, 오스트리아 클라겐푸르트)(JD7) 에서 발견될 수도 있다.
잔여 예측에 기초하여, SR (Smoothed Reference) 로 불리는 기술은 비디오 디코더에서 적용되어 공간 확장성에 대한 코딩 성능을 더욱 개선시킬 수도 있다. SR 기술의 일 실시예는 Woo-Jin Han 의 "Modified IntraBL design using smoothed reference"(JVT-R091rl, 2006년 1월, 태국 방콕) 에서 설명된다. 본 개시물에서 설명된 바와 같이, 모션 보상된 예측 블록의 적응 필터링을 지원하는 비디오 코딩 기술은 상당히 낮은 복잡도로 SR 기술과 유사한 코딩 이득을 달성할 수도 있다. 콘텍스트에 대해, 예시적인 SR 기술이 SVC 향상 계층 코딩에서 SR (smoothed reference) 프로세스의 적용을 도시하는 도면인 도 7 과 관련하여 후술된다.
본 개시물의 일정 양태에 따른 평활화 모션 보상 필터 (52) 의 예시적인 구현의 도출을 H.264/MPEG-4 파트 10 AVC 표준을 참조하여 이하 설명한다. 먼저, 다음의 수학식 1 은, 부분적으로 다음과 같은 H.264/MPEG-4 파트 10 AVC 표준에 대한 SVC 확장의 SR (Smoothed Reference) 동작을 기술하는데:
Figure 112009028438558-PCT00001
여기서 O 은 현재 코딩 계층의 오리지널 블록을 나타내고, S 는 평활화 필터의 적 용을 나타내며, P 는 예측 블록을 나타내고, UR 은 현재 계층과 기본 또는 이전 계층 사이의 업샘플링 연산을 나타내며, Rb 는 재생된 잔여 블록을 나타낸다. 본 개시물에 따르면, 수학식 1 은 통상적인 수학 연산에 의해 다음과 같이 단순화될 수도 있으며, 다음의 수학식 2 를 산출한다.
Figure 112009028438558-PCT00002
수학식 2 는, 수학식 2 의 S(UR(Rb)) 부분 또는 업샘플링되고 재생된 잔여 블록을 평활화하는 효과가 시각 품질에서의 임의의 개선의 경우에 종종 소수 (minor) 를 산출한다는 것에 주목함으로써 이하의 수학식 3 으로 더욱 단순화될 수도 있다. SR 프로세스로부터의 성능 이득이 예측 신호 P 만을 평활화함으로써 보유될 수도 있다는 것이 실험적으로 관찰되었다. 따라서, S(UR(Rb)) 를 UR(Rb) 로서 적절히 나타낼 수 있다는 가정에 기초하여, 다음의 수학식 3 이 야기된다.
Figure 112009028438558-PCT00003
상기 수학식 3 에 따르면, SVC 의 SR (smoothed reference) 는 도 4 의 비디오 디코더 (26A) 의 대표적인 양태에 도시된 더욱 일반적인 프레임워크의 특수한 경우로 고려될 수도 있다. 캐스케이드된 모션 보상 MC() 및 평활화 S() 를 적용하는 SR 기술과 반대로, 평활화 모션 보상 필터 (52) 는 여기서 평활화 모션 보상으로 지칭되는 변경된 모션 보상 MC'() 을 지원하도록 구성될 수도 있다.
도 7 은 SVC 향상 계층 코딩의 SR (smoothed reference) 프로세스의 대표적인 적용을 도시한 도면이다. 더 상세하게는, 도 7 은 향상 계층 (계층 N) 에서의 순방향 참조 프레임 (51A), 현재 프레임 (51B) 및 역방향 참조 프레임 (51C), 및 기본 또는 이전 계층 (계층 N-1) 에서의 순방향 참조 프레임 (53A), 현재 프레임 (53B) 및 역방향 참조 프레임 (53C) 을 수반하는 비디오 디코더에서의 모션 보상 프로세스를 도시한다. 도 7 은 양방향 예측을 나타낸다. 그러나, 단방향 예측이 이용될 수도 있다.
첫째로, ResPred 및 BLskip 플래그 둘 다가 향상 계층에서의 주어진 MB (55B) 에 대해 설정되는 경우, 추가 플래그 SmoothedRef 가 인코더 (20) 에 의해 전송된다. SmoothedRef = 1 인 경우, 기본 또는 이전 계층 (계층 N-1) 의 대응하는 매크로블록 (57B) 으로부터 가능하게는 업샘플링된 모션 벡터 Umv(MVb) 가 향상 계층 (계층 N) 에서의 현재 비디오 블록 (55B) 을 코딩하는데 이용되며, 여기서 Umv() 는 모션 벡터에 대한 업샘플링 연산이다. 이 단계는 도 7 의 도면에서 "모션 재이용" (59A, 59B) 으로 표시된다. 향상 계층의 해상도가 기본 계층의 해상도와 동일하면, Umv(MVb) = MVb 이다. 다른 방법으로는, 업샘플링 연산 Umv() 는 기본 계층 (또는 이전 계층) 의 공간 해상도로부터 적용가능한 향상 계층의 해상도로 업샘플링하는데 필요하다.
두번째로, 예측 블록 (P)(61) 은 모션 재이용 동작 (59A, 59B) 에서 도출된 모션 벡터를 이용하여 정규 모션 보상 필터링 (68) 을 사용하는 모션 보상을 통하여 발생된다. 셋째로, 기본 또는 이전 계층 (계층 N-1) 으로부터의 대응하는 재생된 잔여 블록 (57B)(Rb) 이 업샘플링되어 UR(Rb) 을 획득하며, 여기서 UR() 은 잔여에 대한 업샘플링 연산이다. 재생된 잔여 블록 (57B) 은 기본 또는 이전 계층 (N-1) 에서의 참조 프레임 (53A, 53C) 의 대응하는 블록 (57A, 57C) 을 포인팅하는 모션 벡터로부터 획득된다. 공간 확장성이 이용되지 않으면, UR(r) = r 이다. 업샘플링된 블록 UR(Rb) 가 예측 블록 (61)(P) 에 추가된다. 이 추가는 ResPred 플래그가 설정되기 때문에 발생하며, 이에 의해 도 6 의 스위치 (54) 와 같은 스위치가 합산기 (S1) 에 기본 계층 잔여 (본 예에서는 업샘플링된 블록 UR(Rb) 임) 를 제공하게 한다.
넷째로, 블록 P+ UR(Rb) 에 평활화 필터 (63)(S) 가 적용되어, 평활화된 블록 (65)(S(P+ UR(Rb))) 을 획득한다. 일 실시예로서, 계수 [1,2,1] 을 갖는 3-탭 저역 통과 필터가 평활화 필터 (63) 로 이용될 수도 있다. 매크로블록 (MB) 은 먼저 수평 방향 그리고 이후 수직 방향으로 필터링된다. 다섯째로, 예측 잔여 차이 O-S(P+UR(Rb)) 는 예측 잔여이고, 변환, 양자화 및 엔트로피 코딩 (67) 과 같은 통상적인 단계에서 코딩되며, 여기서 O 는 현재 계층 (계층 N) 에서의 오리지널 블록이다. SVC 에서와 같은 SR 프로세스는 높은 복잡도를 초래할 수도 있다. SR 은 모션 보상에 이용되는 임의의 분수 픽셀 보간 필터의 상부에 하나의 추가 필터링 동작, 예를 들어, 평활화 필터 (63) 를 추가하는데, 이는 매우 높은 계산 복잡도를 제공한다.
상이한 예측 블록, 주어진 상이한 양 및 유형의 잡음에 있어서, 추가 평활화 필터링의 적용이 항상 필요한 것은 아니다. 본 개시물의 다양한 양태에 따르면, 정규 예측 블록이 이용되어야 하는지 또는 필터링된 (평활화된) 예측 블록이 이용되어야 하는지 여부를 적응적으로 결정하는 것이 가능하다. 정규 예측 블록의 이용은 제 1 필터 모드에 따른 모션 보상의 적용을 수반할 수도 있다. 제 1 필터 모드는 적절한 모션 벡터가 분수 픽셀값을 특정하면 보간 필터의 적용을 수반할 수도 있다. 예측 블록의 평활화는 제 2 필터 모드에 따른 추가 필터의 적용을 수반할 수도 있다. 본 개시물에서 설명한 바와 같이, 제 1 필터 모드 또는 제 2 필터 모드의 선택은 필터 모드 결정에 기초할 수도 있다. 제 1 필터 모드 또는 제 2 필터 모드 중 어느 하나를 선택적으로 적용함으로써, 몇몇 블록에 대해 계산 복잡도가 감소될 수도 있다.
도 8 은 SVC 향상 계층 코딩에서의 적응 모션 보상을 이용하는 SR (smoothed reference) 프로세스의 대표적인 적용을 도시한 도면이다. 더 상세하게는, 도 8 은 향상 계층 (계층 N) 에서의 순방향 참조 프레임 (51A), 현재 프레임 (51B) 및 역방향 참조 프레임 (51C), 및 기본 또는 이전 계층 (계층 N-1) 에서의 순방향 참조 프레임 (53A), 현재 프레임 (53B) 및 역방향 참조 프레임 (53C) 을 포함하는 비디오 디코더에서의 다른 모션 보상 프로세스를 도시한다. 도 8 은 양방향 예측을 도시한다. 그러나, 단방향 예측이 이용될 수도 있다. 도 8 에 도시된 모션 보상 프로세스는 도 7 에 도시된 모션 보상 프로세스와 실질적으로 유사할 수도 있다. 그러나, 도 8 에서, 모션 보상 프로세스는, 도 7 의 정규 모션 보상 필터링 (68) 및 평활화 필터 (63) 을 대체하는 적응 모션 보상 (MC) 필터링 (69) 을 포함한다.
상술한 바와 같이, 적응 모션 보상 필터링 (69) 은, 2 개의 필터, 예를 들어, 보간 필터와 평활화 필터의 조합을 나타내는 상이한 필터를 적용할 수도 있다. 적응 모션 보상 필터링 (69) 에 의해 제공된 상이한 필터는, 예를 들어, 도 5 또는 도 6 의 실시예에서의 평활화 모션 보상 필터 (52) 로서 이용될 수도 있다. 수학적으로, 도 8 의 실시예에서, S(MC(참조 블록(들), 모션 벡터(들)) 을 생성하기 위한 정규 모션 보상 필터링 (68) 과 평활화 필터 (63) 의 캐스케이드는 S(MC()) 의 수학적 근사인 개선된 모션 보상 필터링 (69) 또는 결합된 필터 MC'(참조 블록(들), 모션 벡터(들)), 또는 캐스케이드된 정규 모션 보상 필터링 (68) 과 평활화 필터 (63) 로 대체된다. 이들 2 개의 필터의 적용을 결합시킴으로써, 비디오 디코더의 복잡도는 감소될 수도 있는 반면, 도 7 을 참조하여 상기에서 발생된 동일한 예측 시각 블록 (61) 보다 더 높거나 동일한 시각 품질의 예측 비디오 블록 (61) 을 또한 어쩌면 발생시킬 수도 있다.
평활화 모션 보상 필터 (52) 를 적용하는 적응 모션 보상 필터링 (69) 은 예시적인 경우, 이항 공간 확장성을 고려하여 또한 설명될 수도 있다. 이항 공간 확장성에서, 기본 또는 임의의 이전 계층에서의 1/4-픽셀 모션 벡터가 업샘플링되어, 향상 계층에서의 1/2-픽셀 모션 벡터가 된다. 1/2-픽셀 정말도 모션 벡터 의 경우, H.264/MPEG-4 파트 10 AVC 및 SVC 모션 보상 프로세스 MC() 에서 6-탭 필터가 이용된다.
도 9 는 루마 1/2-픽셀 보간을 위한 1차원 6-탭 필터의 실시예의 도면이다. 도 9 에서, 회색 박스는 정수 픽셀 위치를 나타내고, 검정 박스는 1/2 픽셀 위치를 나타내며, 흰색 박스는 1/4 픽셀 위치를 나타낸다. a, b, 및 c 에 의해 표시된 1/2 픽셀 위치를 보간하기 위해, 다음의 수학식 4 가 이용될 수도 있으며:
Figure 112009028438558-PCT00004
여기서, A, B, C, D, E, F, G, 및 H 는 정수 픽셀 위치를 나타낸다.
계수 [1,4,1] 을 갖는 약간 상이한 평활화 필터가 SVC 확장에서 정의된 종래의 [1,2,1] 필터를 대신하여 사용된다고 가정함으로써, 중앙 1/2-픽셀 위치, 또는 b 에 대한 수학식은 다음 수학식 5 로 정리된다.
Figure 112009028438558-PCT00005
상기 수학식 5 및 이하 수학식 6 및 수학식 7 에서, 라운딩 오프셋 (rounding offset) 은 일반성 (generality) 의 손실 없이 논의를 단순화하기 위해 생략된다. 실제 구현에서, 라운딩 오프셋은 수학식 5 내지 수학식 7 의 각각에서 나눗셈이 수행되기 전에 이용될 수 있다. 수학식 5 는 저복잡도 2-탭 필터: (D + E)/2 를 낸다. 이 2-탭 필터는 1/2-픽셀 보간을 위해 결합되는 평활화 모션 보상 필터 MC'() 에 이용될 수도 있다. 정수 픽셀 모션 벡터의 경우, 평활화 모션 보상 필터 MC'() 는 3-탭 [1,2,1] 평활화 필터를 적용하여 평활화 효과를 획득할 수도 있다. 이러한 방식으로, MC'() 에 이용된 필터, 즉, 평활화 모션 보상 필터 (52) 의 복잡도는, 추가 평활화 연산, 즉, 평활화 필터 (44) 와 캐스케이드된 정규 모션 보상 필터 MC(), 즉 모션 보상 유닛 (42) 의 결합된 복잡도보다 상당히 작을 수도 있다. 요약하면, 평활화 모션 보상 모듈 (52) 의 평활화 모션 보상 필터 MC'() 는 다음의 필터 기능을 제공하도록 구성될 수도 있다:
(1) (업샘플링 이후에) 기본 모션 벡터의 두 성분 (수직 및 수평) 이 정수 정밀도를 가지면, 수직 및 수평 방향으로 평활화 필터가 적용되고;
(2) 기본 모션 벡터의 하나의 성분이 정수 정밀도를 가지고 다른 성분이 분수 (예를 들어, 1/2) 픽셀 정밀도를 가지면, 바이리니어 필터와 같은 2-탭 필터를 이용한 보간이, 다른 차원의 다른 성분에 대한 평활화 필터의 적용과 함께, 먼저 1/2 픽셀 성분에 대해 수행되며;
(3) 기본 모션 벡터의 두 성분이 분수 픽셀 정밀도를 가지면, 2-탭 필터를 이용한 보간이 2 차원, 즉, 수직 및 수평으로 수행된다.
SVC 는 또한 ESS (extended spatial scalability) 를 지원할 수도 있으며, 여기서 기본 계층 비디오 차원과 향상 계층 비디오 차원 사이의 스케일링 팩터는 임의적일 수도 있다. ESS 의 경우, 기본 또는 이전 계층 모션 벡터는 스케일링 팩터만큼 업샘플링되고 최근접 1/4-픽셀 위치로 라운딩된다. 1/4-픽셀 정밀도를 갖는 모션 벡터의 경우, 바이리니어 필터가 보간에 이용될 수도 있다. 상기 수학식 5 와 유사하게, MC() 의 바이리니어 필터와 S()의 평활화 필터의 결합은 이하의 수학식 (6) 에 따라, MC'() 의 가중된 평균 필터에 의해 대략 근사될 수도 있다. 평활화 필터가 1/2-픽셀 보간에서 바이리니어 필터와 결합될 수도 있으므로, 평활화 필터는 1/4-픽셀 보간에서 바이리니어 필터와 결합될 수 있어, 다음의 수학식 6 에서 정의된 MC'() 의 가중된 평균 필터를 산출한다:
Figure 112009028438558-PCT00006
여기서, e' 는 근사될 1/4-픽셀 위치를 나타내고, d,e, 및 f 는 1/4-픽셀 위치를 나타낸다. 다시, 캐스케이드된 필터링 동작은 2-탭 필터로의 보간에 의해 근사될 수도 있다. 이 가중된 평균 필터가 시각 품질을 개선시킬 수도 있지만, 이 개선은 가중된 평균 필터에 의해 도입된 추가 복잡도를 보증하지 않을 수도 있다. 따라서, 몇몇 경우에, 평활화 모션 보상 모듈 (52) 은 이러한 가중된 평균 필터를 구현하지 않을 수도 있다. 대신에, 평활화 모션 보상 모듈 (52) 은 다음의 수학식 7 에 의해 정의된 바이리니어 필터와 같은, 더 낮은 구현 복잡도를 갖는 2-탭 필터를 구현할 수도 있다.
Figure 112009028438558-PCT00007
이 경우에, 부분적인 픽셀 위치에서의 보간에 이용된 2-탭 필터는 ESS 의 경우에 1/2-픽셀 위치 및 1/4-픽셀 위치 둘 다에 대해 바이리니어 필터가 된다. SVC 의 공간 확장성의 상기 실시예는, 도 5 및 도 6 에 도시된 바와 같이, 평활화 보상 모듈 (52) 의 결합된 MC'() 에 이용될 수도 있는 필터를 도시하기 위해 단지 일 실시예의 역할을 하고, 본 개시물의 범위를 제한하려는 의도가 아니라는 것을 주의한다. 상기 설명한 특수한 특성을 갖는 필터 및 국부 적응 모션 보상 필터의 개념이 일반적인 단일-계층 또는 다중-계층 비디오 코딩 시스템에 적용될 수도 있다.
도 10 은 예측 블록의 수직 및 수평 차원에서의 상이한 필터의 적용을 지원하여 정수 또는 분수 픽셀 정밀도를 갖는 모션 벡터 성분을 수용하도록 구성된 다른 대표적인 양태의 비디오 디코더 (26D) 를 도시한 블록도이다. 도 10 에서, 비디오 디코더 (26D) 는 도 6 의 실시예의 비디오 디코더 (26C) 에 실질적으로 부합하지만, 예를 들어, 수직 및 수평 차원의 정수 및 분수 픽셀 정밀도의 모션 벡터에 대한 상이한 필터 기능의 적용을 또한 도시한다. 도 10 의 실시예에서, 비디오 디코더 (26D) 는, 1차원의 모션 벡터가 정수 픽셀 포지션을 포인팅하고 다른 차원의 모션 벡터가 분수 픽셀 포지션을 포인팅하는 경우에 예측 블록의 수평 및 수직 차원에서 상이한 필터 기능을 적응적으로 적용함으로써 적응 모션 보상을 구현한다. 예를 들어, 평활화 모션 보상 필터 (52) 에 의해 구현된 결합된 필터는, 사실상, 분수 픽셀 정밀도를 갖는 모션 벡터 성분에 대해서는, 바이리니어 필 터일 수도 있는 2-탭 필터와 같은 보간 필터를 적용하고, 정수 픽셀 정밀도를 갖는 모션 벡터 성분에 대해서는 평활화 필터를 적용할 수도 있다. 따라서, 도 10 은, 예를 들어, 상기의 평활화 모션 보상 필터 MC'() 에 대해 설명한 바와 같이, 평활화 모션 보상 필터 (52) 의 동작을 또한 도시한다.
도 6 에 도시된 비디오 디코더 (26C) 와 유사하게, 도 10 의 비디오 디코더 (26D) 는 모션 보상 모듈 (30), 엔트로피 디코딩 모듈 (32), 역양자화 모듈 (34), 역변환 모듈 (36), 디블로킹 필터 (38), 참조 프레임 저장소 (40), 모션 보상 유닛 (42), 및 스위치 (54) 를 포함한다. 상술한 바와 같이, 디코더 (26D) 가 SVC 비디오 스트림을 디코딩하는데 이용되고, 모든 잔여 예측 모드가 이용되고 추가 필터링이 지시되면, 기본 계층이 향상 계층의 해상도와 상이한 해상도를 가지면 적당히 업샘플링되는 기본 계층 (또는 이전 계층) 잔여는 현재 계층에서 재생된 잔여 및 예측에 추가되어 재생된 비디오를 획득할 수도 있다. 이들 실시형태에서, 비디오 디코더 (26D) 는 H.264/MPEG 4 파트 10 의 SVC 확장에 따른 향상 계층 잔여와 예측 블록의 합산에 대해 기본 계층 잔여를 제공하기 위한 스위치 (54) 의 기능성을 포함할 수도 있다.
또한, 도 10 의 실시예에서, 모션 보상 모듈 (30) 은 평활화 모션 보상 필터 (52) 를 포함한다. 도 10 의 실시예에서, 평활화 모션 보상 필터 (52) 는 평활화 필터 (56) 및 2-탭 필터 (58) 를 더 포함하며, 여기서 2-탭 필터 (58) 는 바이리니어 필터를 포함할 수도 있다. 평활화 필터 (56) 는 3-탭 필터에 의해 형성될 수도 있다.
제어 유닛 (46) 은 인코딩된 비디오 비트스트림으로부터 획득된 필터 모드 신호에 기초하여 필터 모드 결정을 발생시킨다. 필터 모드 결정은 블록별 단위로 변하여, 모션 보상 또는 모션 보상 유닛 (42) 을 통한 정규 모션 보상에 더하여, 평활화 모션 보상 필터 (52) 를 통해 평활화 필터 (56) 또는 2-탭 필터 (58) 에 의해 나타낸 추가 필터링을 적용할 수도 있다. 특히, 제 2 필터 모드의 경우, 제어 모듈 (46) 은, 추가 필터링이 적용되어야 한다고 인코딩된 비디오 비트스트림의 필터 모드 신호가 표시하는 경우, 또는 몇몇 다른 구현예에서, 추가 필터링이 적용되어야 한다고 수신 비디오의 분석으로부터 제어 모듈 (46) 이 추론하는 경우에, 평활화 모션 보상 필터 (52) 를 통해 추가 필터 (56, 58) 중 하나 또는 둘 다를 적응적으로 적용한다. 평활화 모션 보상 필터 (52) 는, 제 2 필터 모드가 선택되는 경우에 예측된 블록의 적절한 차원에서, 바이리니어 필터와 같은 2-탭 필터 (58) 및 평활화 필터 (56) 를 적용한다.
제 2 필터 모드에서 평활화 필터 (56) 및 2-탭 필터 (58) 의 적용은 예측된 블록과 연관된 모션 벡터에 따른다. 예를 들어, 모션 벡터가 참조 프레임 저장소 (40) 에 저장된 참조 프레임의 수평 차원의 분수 픽셀 위치를 포인팅하고, 제 2 필터 모드가 선택되면, 평활화 모션 보상 필터 (52) 는 예측 블록의 수평 차원에서 수평 필터로서, 2-탭 필터 (58), 예를 들어, 바이리니어 필터를 적용한다. 그러나, 모션 벡터가 참조 프레임의 수평 차원의 정수 픽셀 위치를 포인팅하고, 제 2 필터 모드가 선택되면, 평활화 모션 보상 필터 (52) 는 예측 블록의 수평 차원에서 수평 필터로서, 평활화 필터 (56), 예를 들어, 3-탭 필터를 적용한다.
모션 벡터가 또한 참조 프레임의 수직 차원의 분수 픽셀 위치를 포인팅하고, 제 2 필터 모드가 선택되면, 평활화 모션 보상 필터 (52) 는 예측 블록의 수직 차원에서 수직 필터로서, 2-탭 필터 (58), 예를 들어, 바이리니어 필터를 적용한다. 또한, 모션 벡터가 참조 프레임의 수직 차원의 정수 픽셀 위치를 포인팅하고, 제 2 필터 모드가 선택되면, 평활화 모션 보상 필터 (52) 는 예측 블록에 대한 수직 차원에서 수직 필터로서 평활화 필터 (56) 를 적용한다. 따라서, 평활화 모션 보상 필터 (52) 는 수평 차원에서 바이리니어 필터와 같은 2-탭 필터 (58) 및 수직 차원에서 저역 통과 필터와 같은 평활화 필터, 수평 차원에서 저역 통과 필터와 같은 평활화 필터 (56) 및 수직 차원에서 바이리니어 필터와 같은 2-탭 필터, 수평 및 수직 차원 둘 다에서 바이리니어 필터와 같은 2-탭 필터, 또는 수평 및 수직 차원 둘 다에서 3-탭 저역 통과 필터와 같은 평활화 필터를 적용할 수도 있다.
이러한 방식으로, 제 2 필터 모드에서, 비디오 디코더 (26D) 는, 모션 벡터가 분수 픽셀 위치를 포인팅하는지 또는 정수 픽셀 위치를 포인팅하는지 여부에 기초하여 예측 블록의 수평 및 수직 차원에서 상이한 필터를 적응적으로 적용할 수도 있다. 제 1 필터 모드에서, 모션 보상 유닛 (42) 은 추가 필터링이 없이 정규 모션 보상을 적용한다. 제 1 필터 모드에서의 정규 모션 보상은 몇몇 경우에, 예를 들어, 분수 정밀도의 모션 벡터 성분에 대해, 보간 필터링을 포함할 수도 있다. 제 2 필터 모드에서, 블록-레벨에서 상이한 차원에서 평활화 모션 보상 필터 (52) 를 적응적으로 이용함으로써 추가 필터링이 달성되고 특정 예로 맞춤화될 수도 있기 때문에, 도 10 의 비디오 디코더 (26D) 는 종래의 비디오 디코더에 비해 개선된 코딩 효율 및 프로세싱 효율을 제공할 수도 있다.
요약하면, 제 2 필터 모드의 경우, 모션 벡터의 두 성분 (수직 및 수평) 이 정수 정밀도를 가지면, 평활화 모션 보상 필터 (52) 는 수직 및 수평 차원에서 평활화 필터 (56) 를 적용한다. 기본 모션 벡터의 하나의 성분이 정수 정밀도를 가지고 다른 성분이 분수 픽셀 정밀도를 가지면, 평활화 모션 보상 필터 (52) 는 1차원에서 분수 픽셀 성분에 대해 2-탭 필터 (58) 를 적용하고, 다른 차원에서 다른 정수 픽셀 성분에 대해 평활화 필터 (56) 가 적용된다. 모션 벡터의 두 성분이 분수 픽셀 정밀도를 가지면, 평활화 모션 보상 필터 (52) 는 두 차원, 즉, 수직 및 수평으로 2-탭 필터 (58) 를 적용한다. 따라서, 수평 또는 수직 차원의 적절한 모션 벡터 성분이 분수 픽셀 정밀도를 가지는지 또는 정수 픽셀 정밀도를 가지는지 여부에 따라서, 수평 필터링은 2-탭 필터 (58) 또는 평활화 필터 (56) 중 하나를 포함할 수도 있고, 수직 필터링은 2-탭 필터 (58) 또는 평활화 필터 (56) 중 하나를 포함할 수도 있다. 수직 필터링의 적용 이전에 수평 필터링이 적용될 수도 있고, 반대로도 적용될 수도 있다.
도 11 은 인터-코딩된 프레임의 블록 레벨에서 적응 모션 보상을 수행하는데 있어서 도 4 의 비디오 디코더 (26A) 의 대표적인 동작을 도시한 흐름도이다. 도 11 에 도시된 바와 같이, 비디오 디코더 (26A) 는, 예를 들어, 채널 (16) 을 통해, 인코딩된 디지털 비디오를 수신하고 (70), 모션 보상을 수행하여 예측된 블록을 형성한다 (72). 제 1 필터 모드에서의 모션 보상은 디지털 비디오와 함께 수신된 모션 벡터를 이용하는 하나 이상의 참조 프레임에서 대응하는 블록의 선택, 및 모션 벡터가 분수 픽셀 위치를 포인팅하는 경우의 보간 필터링을 포함할 수도 있다. 정규 모션 보상과 함께, 제 2 필터 모드에서, 양자화 잡음 또는 다른 아티팩트를 제거하기 위한 평활화 필터 (44) 를 통한 평활화와 같은 추가 필터링이 적응에 기초하여 예측 블록에 적용될 수도 있다. 추가 필터링은 정규 모션 보상 필터 이후에 추가 필터를 적용함으로써, 또는 평활화와 같은 추가 필터링 및 정규 모션 보상 둘 다를 결합한 상이한 필터를 적용함으로써 달성될 수도 있다. 그러나, 도 4 의 실시예에서, 예를 들어, 캐스케이드로 모션 보상 유닛 (42) 과 함께 평활화 필터 (44) 를 적용함으로써 추가 필터링이 달성된다.
상술한 바와 같이, 모션 보상 모듈 (30) 은 인코딩된 디지털 비디오와 함께 제공된 필터 모드 신호에 기초하여 제 1 필터 모드 또는 제 2 필터 모드 중 어느 하나를 적응적으로 적용할 수도 있다. 몇몇 경우에, 필터 모드 신호는, 예를 들어, JD7 (Joint Draft 7) 에서 특정된 바와 같은 smoothed_reference 플래그와 같은 인코딩된 신호일 수도 있다. 이러한 방식으로, 비디오 디코더 (26A) 는 비디오 인코더 (20) 에 의해 지시된 바와 같이 필터 모드 결정을 할 수도 있다. 다른 방법으로는, 비디오 디코더 (26) 는 인코딩된 디지털 비디오의 특성을 분석하여, 추가 필터링이 적용되어야 하는지 여부를 결정할 수도 있다.
제 1 필터 모드는, 예를 들어, 임의의 필요한 보간 필터를 이용한 정규 모션 보상을 포함할 수도 있으며, 제 2 필터 모드는 정규 모션 보상에 더하여 평활화와 같은 추가 필터링을 포함한다. 일 실시예로서, 2-탭 필터를 이용하여 보간이 적용될 수도 있고, 3-탭 필터를 이용함으로써 평활화가 적용될 수도 있다. 제 2 필터 모드가 지시되면 (74), 모션 보상 모듈 (30) 은 예측된 블록에 추가 필터를 적용한다 (76). 특히, 필터 모드 결정은 블록별 단위로 이루어질 수도 있으며, 여기서 용어 "블록"은 서브블록과 같은 더 작은 블록 또는 매크로블록을 지칭할 수도 있다. 다른 방법으로는, 필터 모드 결정은 프레임-레벨 또는 슬라이스-레벨에서 이루어질 수도 있고, 적용가능하면 주어진 프레임 또는 슬라이스 내의 모든 블록에 적용될 수도 있다. 제 2 필터 모드가 지시되지 않으면 (74), 추가 필터링이 적용되지 않고, 이에 의해 블록별 적응 모션 보상의 경우에 일부 블록에 대한 프로세싱 복잡도를 던다.
정규 모션 보상 (72) 또는 모션 보상에 더하여 추가 필터링 (76) 중 어느 하나 이후에, 비디오 디코더 (26A) 는 인코딩된 디지털 비디오에서 제공된 잔여 데이터와 예측된 블록을 합산하고 (78), 이 합산에 기초하여 디코딩된 블록을 형성한다 (80). 비디오 디코더가, 예를 들어, 도 6 의 비디오 디코더 (26C) 또는 도 10 의 비디오 디코더 (26D) 와 유사한 비디오 디코더와 같이, H.264/AVC 의 SVC 확장에 부합하는 예에서, 비디오 디코더는 (예를 들어, S1 로 표시된 바와 같이) 합산을 위해 기본 계층 잔여를 제공하는 스위치 (54) 의 기능성을 더 포함할 수도 있다. 이 경우에, SVC 프레임의 향상 계층에서의 블록에 모션 보상이 적용된다. 이들 예에서, 비디오 디코더 (26C) 는 인코딩된 디지털 비디오에 제공된 잔여 데이터 및 예측 블록과 기본 계층 잔여를 합산하여 (78), 이 합산에 기초하여 디코딩된 블록을 형성한다 (80). 모든 예에서, 이 합산은 디블로킹 필터 (38) 에 의해 프로세싱되어 블로킹 아티팩트를 제거할 수도 있다. 디코딩된 블록은 비디 오 프레임을 형성하여 디스플레이 디바이스 (28) 를 구동하는데 이용될 수도 있고, 후속 프레임의 디코딩을 위해 참조 프레임 저장소에 추가되어 참조 프레임을 형성할 수도 있다. 블록-레벨에서 추가 필터링을 적용함으로써, 디코딩된 디지털 비디오는 향상된 코딩 효율을 나타낼 수도 있다. 그러나, 풀타임보다는 적응에 기초하여 추가 필터링을 적용함으로써, 비디오 디코더 (26C) 는 과도한 프로세싱 복잡도 없이 상당한 성능 이득을 달성할 수도 있다.
도 12 는 결합된 평활화 모션 보상 유닛을 이용하여 평활화 및 모션 보상을 수행하는데 있어 도 5 의 비디오 디코더 (26B) 의 대표적인 동작을 도시한 흐름도이다. 도 12 에 도시된 프로세스는 SVC 코딩에 적용하기 위해 구성될 수도 있다. 도 12 에 도시된 바와 같이, 채널 (16) 을 통해 디지털 비디오를 수신하는 때에 (82), 비디오 디코더 (26B, 도 5) 또는 비디오 디코더 (26C, 도 6) 는 제 2 필터 모드가 지시되는지 여부를 결정한다 (84). 역시, 제 2 필터 모드는 인코딩된 비디오 비트스트림에 포함된 필터 모드 신호에 의해 지시될 수도 있다. 제 2 필터 모드는 프레임 단위, 슬라이스 단위, 매크로블록 단위, 또는 서브블록 단위로 표시될 수도 있다. 다른 방법으로는, 비디오 디코더 (26B) 는, 디지털 비디오의 하나 이상의 특성의 분석에 기초하여 제 2 필터 모드가 적용되어야 하는지 여부를 결정하도록 구성될 수도 있다.
제 2 필터 모드가 지시되면 (84), 모션 보상 모듈 (30) 은 결합된 평활화 및 정규 모션 보상, 즉, 평활화 모션 보상을 수행하여, 예측된 블록을 형성한다 (86). 도 5 의 모션 보상 모듈 (30) 의 평활화 모션 보상 필터 (52, 도 5 또는 도 6) 를 통해 평활화 모션 보상이 수행될 수도 있다. 제 2 필터 모드가 지시되지 않으면 (84), 모션 보상 모듈 (30) 은 추가 필터링 없이, 정규 모션 보상을 수행하여, 예를 들어, 모션 보상 모듈 (30) 의 모션 보상 유닛 (42) 을 통해 예측된 블록을 형성한다 (88). 이후, 비디오 디코더 (26B 또는 26C) 는 잔여 데이터와 예측된 블록을 합산하고 (90), 이 합산에 기초하여 디코딩된 블록을 형성한다 (92).
다시, 비디오 디코더가, 예를 들어, 도 6 의 비디오 디코더 (26C) 또는 도 10 의 비디오 디코더 (26D) 와 유사하게, H.264/AVC 의 SVC 확장에 부합하는 예에서, 비디오 디코더는 합산을 위해 기본 계층 잔여를 제공하는 스위치 (54) 의 기능성을 더 포함한다. 이 경우에, SVC 프레임의 향상 계층에서의 블록에 모션 보상이 적용된다. 이들 예에서, 비디오 디코더는 인코딩된 디지털 비디오에서 제공된 잔여 데이터 및 예측 블록과 기본 계층 잔여를 합산하여 (90), 이 합산에 기초하여 디코딩된 블록을 형성한다 (92). 모든 예에서, 이 합산은 디블로킹 필터 (38) 에 의해 프로세싱되어 블로킹 아티팩트를 제거할 수도 있다. 디코딩된 블록은 비디오 프레임을 형성하여 디스플레이 디바이스 (28) 를 구동하는데 이용될 수도 있고, 후속 프레임의 디코딩을 위해 참조 프레임 저장소에 추가되어 참조 프레임을 형성할 수도 있다.
도 12 는, 캐스케이드 방식으로 별개 필터링 동작으로서 정규 모션 보상 및 평활화를 적용하는 대신에, 단일 필터 모듈에서 정규 모션 보상과 평활화를 결합한 결합된 평활화 모션 보상 유닛 (52) 의 이용을 도시한다. 이러한 방식으로, 도 12 의 실시예에서, 정규 모션 보상과 평활화를 결합함으로써, 프로세싱 복잡도가 감소될 수 있다. 이 프로세스는 각 프레임에서 블록에 걸쳐, 그리고 비디오 시퀀스와 연관된 다중 프레임 및 슬라이스에 걸쳐 계속될 수도 있다. 역시, 평활화 모션 보상 유닛 (52) 을 적용할지 또는 정규 모션 보상 유닛 (42) 을 적용할지 여부의 필터 모드 결정은 프레임별, 슬라이스별, 매크로블록별, 또는 블록별 단위로 결정될 수도 있다.
도 13 은 수직 및 수평 차원에서 상이한 필터로 적응 모션 보상을 수행하는데 있어 도 10 의 비디오 디코더 (26D) 의 대표적인 동작을 도시한 흐름도이다. 도 13 의 실시예에서, 비디오 디코더 (26D) 는 도 12 와 유사한 적응 필터 모드를 적용한다. 특히, 모션 보상 모듈 (30) 은 제 1 필터 모드에서 정규 모션 보상 유닛 (42) 을 적용할 수도 있다. 제 2 필터 모드에서, 모션 보상 모듈 (30) 은, 평활화와 같은 추가 필터링과 정규 모션 보상을 결합한 평활화 모션 보상 필터 (52) 를 적용할 수도 있다. 그러나, 도 10 에 도시된 바와 같이, 평활화 모션 보상 필터 (52) 의 적용은 수평 및 수직 차원의 상이한 필터 (56, 58) 의 적용을 더 포함할 수도 있다. 디지털 비디오를 수신하는 때에 (94), 비디오 디코더 (26) 는 제 2 필터 모드가 지시되는지 여부를 결정한다 (96). 제 2 필터 모드가 지시되지 않으면, 모션 보상 모듈 (30) 은, 예를 들어, 모션 보상 유닛 (42, 도 10) 을 통해 정규 모션 보상을 적용한다 (98). 제 2 필터 모드가 지시되면 (96), 모션 보상 모듈 (30) 은 평활화 모션 보상 필터 (52) 를 적용할 수도 있는데, 사실상 정규 모션 보상 및 추가 필터링을 제공하는 것이다.
적절한 모션 벡터가 정수 픽셀 위치를 포인팅하는 차원에서, 즉, 정수 차원 에서 평활화 모션 보상 유닛 (52) 에 의해 적용된 3-탭 필터와 같은 평활화 필터에 의해 추가 필터링이 제공될 수도 있다 (100). 또한, 평활화 모션 보상 유닛 (52) 은, 적절한 모션 벡터가 분수 픽셀 위치를 포인팅하는 예측 블록의 차원, 즉 분수 차원에서, 보간 필터, 예를 들어, 바이리니어 필터와 같은 2-탭 필터를 적용할 수도 있다 (102). 따라서, 제 2 필터 모드가 지시되는 경우, 평활화 모션 보상 유닛 (52) 은 상이한 차원에서 상이한 필터를 적용할 수도 있다. 제 2 필터 모드가 지시되지 않으면 (96), 대신에 정규 모션 보상이 적용된다 (98).
모든 경우에, 비디오 디코더는 적용가능한 잔여 데이터와 예측된 블록을 합산하고 (104), 이 합산에 기초하여 디코딩된 블록을 형성한다 (106). 이전에 논의한 바와 같이, 예를 들어, 도 10 의 비디오 디코더 (26D) 와 유사하게, H.264/AVC 의 SVC 확장에 부합하는 예에서, 비디오 디코더 (26D) 는 합산을 위해 기본 계층 잔여를 제공하는 스위치 (54) 의 기능성을 더 포함할 수도 있다. 이 경우에, SVC 프레임의 향상 계층에서의 블록에 모션 보상이 적용된다. 이들 예에서, 비디오 디코더 (26D) 는 인코딩된 디지털 비디오에서 제공된 잔여 데이터 및 예측 블록과 기본 계층 잔여를 합산하여 (104), 이 합산에 기초하여 디코딩된 블록을 형성한다 (106). 모든 예에서, 이 합산은 디블로킹 필터 (38) 에 의해 프로세싱되어 블로킹 아티팩트를 제거할 수도 있다. 디코딩된 블록을 비디오 프레임을 형성하여 디스플레이 디바이스 (28) 를 구동하는데 이용될 수도 있고, 후속 프레임의 디코딩을 위해 참조 프레임 저장소 (40) 에 추가되어 참조 프레임을 형성할 수도 있다. 상술한 바와 같이, 평활화 모션 보상 필터 (52) 는 모션 보상 및 평활화 연산을 효과적으로 적용하여, 캐스케이드 방식으로 각 동작의 독립적인 적용에 대해 복잡도를 감소시킨다. 또한, 평활화 모션 보상 필터 (52) 는 적용가능한 모션 벡터에 따라 수평 및 수직 차원에서 상이한 필터를 적응적으로 적용하도록 구성된다.
본 개시물에서 설명된 임의의 디바이스는 무선 전화, 셀룰러 전화, 랩톱 컴퓨터, 무선 멀티미디어 디바이스, 무선 통신 개인용 컴퓨터 (PC) 카드, 개인 휴대 정보 단말기 (PDA), 외부 또는 내부 모뎀, 게이밍 디바이스, 또는 무선 또는 유선 채널을 통해 통신하는 임의의 디바이스와 같은, 다양한 유형의 디바이스를 나타낼 수도 있다. 이러한 디바이스는 액세스 단말기 (AT), 액세스 유닛, 가입자 유닛, 이동국, 이동 디바이스, 이동 유닛, 이동 전화, 모바일, 원격국, 원격 단말기, 원격 유닛, 사용자 디바이스, 사용자 장비, 핸드헬드 디바이스 등과 같은 다양한 명칭을 가질 수도 있다. 일 양태에서, 본 개시물에서 설명된 것과 같은 디바이스는 무선 통신 디바이스 핸드셋이거나 그 일부를 형성할 수도 있다.
본 명세서에서 설명된 기술은 하드웨어, 소프트웨어, 펌웨어, 또는 이의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되면, 이 기술은 컴퓨터-판독가능 매체 상에서 하나 이상의 저장 또는 송신된 명령 또는 코드에 의해 적어도 부분적으로 실현될 수도 있다. 컴퓨터-판독가능 매체는 컴퓨터 저장 매체, 통신 매체, 또는 둘 다를 포함할 수도 있고, 하나의 장소에서 다른 하나의 장소로의 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함할 수도 있다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수도 있 다.
제한이 아닌 예시로서, 이러한 컴퓨터-판독가능 매체는 RAM, 예를 들어, SDRAM (synchronous dynamic random access memory), ROM (read-only memory), NVRAM (non-volatile random access memory), ROM, EEPROM (electrically erasable programmable read-only memory), EEPROM, FLASH 메모리, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 저장 디바이스, 또는 명령 또는 데이터 구조의 형태로 원하는 프로그램 코드를 반송 또는 저장하는데 이용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 컴퓨터-판독가능 데이터 저장 매체와 같은 데이터 저장 매체를 포함할 수 있다.
또한, 임의의 접속이 컴퓨터-판독가능 매체로 적절히 용어화된다. 예를 들어, 소프트웨어가 웹사이트, 서버, 또는 다른 원격 소스로부터 동축 케이블, 광섬유 케이블, 연선 (twisted pair), DSL (digital subscriber line), 또는 적외선, 라디오, 및 마이크로웨이브와 같은 무선 기술을 이용하여 송신되면, 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선, 라디오, 및 마이크로웨이브와 같은 무선 기술은 매체의 정의에 포함된다. 본 명세서에서 이용된 디스크 (disk 또는 disc) 는 디스크가 보통 데이터를 자기적으로 재생하는 CD (compact disc), 레이저 디스크, 광학 디스크, DVD (digital versatile disc), 플로피 디스크 및 블루레이 디스크를 포함하는 반면, 디스크 (disc) 는 광학적으로, 예를 들어, 레이저로 데이터를 재생한다. 상기의 조합은 또한 컴퓨터-판독가능 매체로 간주되어야 한다.
컴퓨터 프로그램 제품의 컴퓨터-판독가능 매체와 연관된 코드는 컴퓨터, 예 를 들어, 하나 이상의 DSP (digital signal processor), 범용 마이크로프로세서, ASIC (application specific integrated circuit), FPGA (field programmable logic array), 또는 다른 균등한 집적 또는 이산 논리 회로와 같은 하나 이상의 프로세서에 의해 실행될 수도 있다. 몇몇 양태에서, 본 명세서에서 설명된 기능성은 인코딩 및 디코딩하도록 구성된 전용 소프트웨어 모듈 또는 하드웨어 모듈 내에서 제공되거나, 또는 결하된 비디오 인코더-디코더 (CODEC) 에서 통합될 수도 있다. 따라서, 본 개시물은 이 개시물에서 설명된 기술을 구현하도록 구성된 집적 회로 디바이스를 예기한다. 이러한 집적 회로 디바이스는 무선 통신 디바이스 핸드셋 내에서 이용하는 것을 포함하여, 다양한 적용을 가질 수도 있다.
본 개시물의 다양한 양태를 설명하였다. 이들 양태 및 다른 양태는 다음의 청구범위의 범위 내에 있다.

Claims (25)

  1. 비디오 프레임 내의 블록에 모션 보상을 적용하여, 예측 비디오 블록을 발생시키는 단계; 및
    필터 모드 결정에 기초하여, 상기 모션 보상을 적응적으로 조절하여 상기 블록의 각각에 제 1 필터 모드 또는 제 2 필터 모드 중 어느 하나를 적용하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    정수 픽셀 위치를 포인팅하는 모션 벡터에 대해 상기 블록에 3-탭 필터를 적용하는 단계를 더 포함하는, 방법.
  3. 제 1 항에 있어서,
    비디오 비트스트림으로 인코딩된 신호 또는 상기 비디오 프레임의 하나 이상의 특성 중 하나에 기초하여 상기 필터 모드 결정을 발생시키는 단계를 더 포함하는, 방법.
  4. 제 1 항에 있어서,
    상기 블록은 스케일러블 비디오 코딩 프레임의 향상 계층에서의 블록을 포함하는, 방법.
  5. 제 1 항에 있어서,
    상기 제 1 필터 모드에서 모션 보상 필터를 적용하고, 상기 제 2 필터 모드에서 3-탭 필터를 적용하는 단계를 더 포함하는, 방법.
  6. 제 5 항에 있어서,
    상기 제 2 필터 모드에서 상기 3-탭 필터 및 상기 모션 보상 필터를 적용하는 단계를 더 포함하며,
    상기 모션 보상 필터는 2-탭 필터를 포함하는, 방법.
  7. 제 5 항에 있어서,
    상기 제 2 필터 모드에서, 상기 3-탭 필터와 보간 필터를 결합한 필터를 적용하는 단계를 더 포함하는, 방법.
  8. 제 7 항에 있어서,
    상기 보간 필터는 2-탭 필터를 포함하고,
    상기 방법은,
    상기 제 2 필터 모드에서, 수평 차원과 수직 차원 중 하나에서 3-탭 필터를 적용하고, 상기 수평 차원과 상기 수직 차원 중 다른 하나에서 상기 2-탭 필터를 적용하는 단계를 더 포함하는, 방법.
  9. 제 7 항에 있어서,
    상기 보간 필터는 2-탭 필터를 포함하고,
    상기 방법은, 제 2 필터 모드에서,
    모션 벡터가 수평 차원의 정수 픽셀 위치 및 수직 차원의 분수 픽셀 위치를 포인팅하는 경우에, 상기 수평 차원에서 상기 3-탭 필터를 적용하고 상기 수직 차원에서 상기 2-탭 필터를 적용하는 단계; 및
    모션 벡터가 상기 수직 차원의 정수 픽셀 위치 및 상기 수평 차원의 분수 픽셀 위치를 포인팅하는 경우에, 상기 수직 차원에서 3-탭 필터를 적용하고 상기 수평 차원에서 상기 2-탭 필터를 적용하는 단계를 더 포함하는, 방법.
  10. 제 1 항에 있어서,
    블록별, 매크로별, 슬라이스별, 또는 프레임별 중 하나의 단위로 상기 모션 보상을 적응적으로 조절하는 단계를 더 포함하는, 방법.
  11. 비디오 프레임 내의 블록에 모션 보상을 적용하여 예측 비디오 블록을 발생시키는 모션 보상 모듈; 및
    필터 모드 결정에 기초하여, 상기 모션 보상을 적응적으로 조절하여 상기 블록의 각각에 제 1 필터 모드 또는 제 2 필터 모드 중 어느 하나를 적용하는 제어 모듈을 포함하는, 비디오 코딩 디바이스.
  12. 제 11 항에 있어서,
    상기 제어 모듈은, 정수 픽셀 위치를 포인팅하는 모션 벡터에 대해 상기 블록에 3-탭 필터를 적용하는, 비디오 코딩 디바이스.
  13. 제 11 항에 있어서,
    상기 제어 모듈은 비디오 비트스트림으로 인코딩된 신호 또는 상기 비디오 프레임의 하나 이상의 특성 중 하나에 기초하여 상기 필터 모드를 발생시키는, 비디오 코딩 디바이스.
  14. 제 11 항에 있어서,
    상기 블록은 스케일러블 비디오 코딩 프레임의 향상 계층에서의 블록을 포함하는, 비디오 코딩 디바이스.
  15. 제 11 항에 있어서,
    상기 모션 보상 모듈은, 상기 제 1 필터 모드에서 모션 보상 필터를 적용하고, 상기 제 2 필터 모드에서 3-탭 필터를 적용하는, 비디오 코딩 디바이스.
  16. 제 15 항에 있어서,
    상기 모션 보상 모듈은, 상기 제 2 필터 모드에서 상기 3-탭 필터 및 상기 모션 보상 필터를 적용하며,
    상기 모션 보상 필터는 2-탭 필터를 포함하는, 비디오 코딩 디바이스.
  17. 제 15 항에 있어서,
    상기 모션 보상 모듈은, 상기 제 2 필터 모드에서, 상기 3-탭 필터와 보간 필터를 결합한 필터를 적용하는, 비디오 코딩 디바이스.
  18. 제 17 항에 있어서,
    상기 보간 필터는 2-탭 필터를 포함하고,
    상기 모션 보상 모듈은,
    상기 제 2 필터 모드에서, 수평 차원과 수직 차원 중 하나에서 상기 3-탭 필터를 적용하고, 상기 수평 차원과 상기 수직 차원 중 다른 하나에서 상기 2-탭 필터를 적용하는, 비디오 코딩 디바이스.
  19. 제 17 항에 있어서,
    상기 보간 필터는 2-탭 필터를 포함하고,
    상기 모션 보상 모듈은, 제 2 필터 모드에서,
    모션 벡터가 수평 차원의 정수 픽셀 위치 및 수직 차원의 분수 픽셀 위치를 포인팅하는 경우에, 상기 수평 차원에서 상기 3-탭 필터를 적용하고 상기 수직 차원에서 상기 2-탭 필터를 적용하고,
    모션 벡터가 상기 수직 차원의 정수 픽셀 위치 및 상기 수평 차원의 분수 픽셀 위치를 포인팅하는 경우에, 상기 수직 차원에서 3-탭 필터를 적용하고 상기 수평 차원에서 상기 2-탭 필터를 적용하는, 비디오 코딩 디바이스.
  20. 제 11 항에 있어서,
    상기 제어 모듈은, 블록별, 매크로별, 슬라이스별, 또는 프레임별 중 하나의 단위로 상기 모션 보상을 적응적으로 조절하는, 비디오 코딩 디바이스.
  21. 제 11 항에 있어서,
    상기 비디오 코딩 디바이스는 무선 통신 디바이스 핸드셋 또는 집적 회로 디바이스 중 하나인, 비디오 코딩 디바이스.
  22. 비디오 프레임 내의 블록에 모션 보상을 적용하여 예측 비디오 블록을 발생시키는 수단; 및
    필터 모드 결정에 기초하여, 상기 모션 보상을 적응적으로 조절하여 상기 블록의 각각에 제 1 필터 모드 또는 제 2 필터 모드 중 어느 하나를 적용하는 수단을 포함하는, 비디오 코딩 디바이스.
  23. 제 22 항에 있어서,
    정수 픽셀 위치를 포인팅하는 모션 벡터에 대해 상기 블록에 3-탭 필터를 적 용하는 수단을 더 포함하는, 비디오 코딩 디바이스.
  24. 프로세서로 하여금,
    비디오 프레임 내의 블록에 모션 보상을 적용하여 예측 비디오 블록을 발생시키게 하고;
    필터 모드 결정에 기초하여, 상기 모션 보상을 적응적으로 조절하여 상기 블록의 각각에 제 1 필터 모드 또는 제 2 필터 모드 중 어느 하나를 적용하게 하는 명령들을 포함하는, 컴퓨터-판독가능 매체를 포함하는 컴퓨터 프로그램 제품.
  25. 제 24 항에 있어서,
    상기 프로세서로 하여금, 정수 픽셀 위치를 포인팅하는 모션 벡터에 대해 상기 블록에 3-탭 필터를 적용하게 하는 명령들을 더 포함하는, 컴퓨터-판독가능 매체를 포함하는 컴퓨터 프로그램 제품.
KR1020097009732A 2006-10-13 2007-10-11 모션 보상 예측을 위해 적응 필터링을 이용하는 비디오 코딩 KR101065227B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US82949406P 2006-10-13 2006-10-13
US60/829,494 2006-10-13
US93815107P 2007-05-15 2007-05-15
US60/938,151 2007-05-15
US11/869,062 US9014280B2 (en) 2006-10-13 2007-10-09 Video coding with adaptive filtering for motion compensated prediction
US11/869,062 2007-10-09

Publications (2)

Publication Number Publication Date
KR20090079939A true KR20090079939A (ko) 2009-07-22
KR101065227B1 KR101065227B1 (ko) 2011-09-16

Family

ID=39303089

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097009732A KR101065227B1 (ko) 2006-10-13 2007-10-11 모션 보상 예측을 위해 적응 필터링을 이용하는 비디오 코딩

Country Status (7)

Country Link
US (1) US9014280B2 (ko)
EP (1) EP2092753A2 (ko)
JP (2) JP5450073B2 (ko)
KR (1) KR101065227B1 (ko)
CN (1) CN101523922B (ko)
TW (1) TWI399099B (ko)
WO (1) WO2008048864A2 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011037337A2 (ko) * 2009-09-23 2011-03-31 에스케이텔레콤 주식회사 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치
WO2012044093A2 (ko) * 2010-09-29 2012-04-05 한국전자통신연구원 필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치
KR20140139454A (ko) * 2011-11-08 2014-12-05 주식회사 케이티 영상의 부호화 방법 및 장치, 및 복호화 방법 및 장치
US9363533B2 (en) 2010-09-29 2016-06-07 Electronics And Telecommunications Research Institute Method and apparatus for video-encoding/decoding using filter information prediction

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8374238B2 (en) 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
CN101711481B (zh) * 2006-10-18 2013-01-09 汤姆森特许公司 使用预测数据精选进行视频编码的方法和装置
FR2907630A1 (fr) * 2006-10-19 2008-04-25 Thomson Licensing Sas Dispositif et procede de codage sous forme scalable d'une sequence d'images et dispositif et procede de decodage correspondants
KR20090104050A (ko) * 2006-12-21 2009-10-05 톰슨 라이센싱 비디오 이미지의 블럭을 디코딩하는 방법
KR101365570B1 (ko) * 2007-01-18 2014-02-21 삼성전자주식회사 인트라 예측 부호화, 복호화 방법 및 장치
US8238424B2 (en) 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US20080225952A1 (en) * 2007-03-15 2008-09-18 Nokia Corporation System and method for providing improved residual prediction for spatial scalability in video coding
WO2009032255A2 (en) * 2007-09-04 2009-03-12 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
US8228991B2 (en) 2007-09-20 2012-07-24 Harmonic Inc. System and method for adaptive video compression motion compensation
KR20100067122A (ko) * 2007-10-05 2010-06-18 노키아 코포레이션 적응 보간 필터를 구현하는 방법, 장치 및 컴퓨터 판독가능 저장 매체
US8750390B2 (en) * 2008-01-10 2014-06-10 Microsoft Corporation Filtering and dithering as pre-processing before encoding
US8160132B2 (en) 2008-02-15 2012-04-17 Microsoft Corporation Reducing key picture popping effects in video
US8953673B2 (en) * 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8711948B2 (en) * 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US8195001B2 (en) 2008-04-09 2012-06-05 Intel Corporation In-loop adaptive wiener filter for video coding and decoding
US9967590B2 (en) 2008-04-10 2018-05-08 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
KR101648818B1 (ko) * 2008-06-12 2016-08-17 톰슨 라이센싱 움직임 보상 보간 및 참조 픽쳐 필터링에 대한 국부적 적응형 필터링을 위한 방법 및 장치
EP2136565A1 (en) 2008-06-19 2009-12-23 Thomson Licensing Method for determining a filter for interpolating one or more pixels of a frame, method for encoding or reconstructing a frame and method for transmitting a frame
EP2141927A1 (en) * 2008-07-03 2010-01-06 Panasonic Corporation Filters for video coding
US8811484B2 (en) * 2008-07-07 2014-08-19 Qualcomm Incorporated Video encoding by filter selection
RU2494568C2 (ru) * 2008-07-25 2013-09-27 Сони Корпорейшн Способ и устройство обработки изображения
EP2306733A4 (en) * 2008-07-25 2017-03-15 Sony Corporation Image processing device and method
EP2152009A1 (en) * 2008-08-06 2010-02-10 Thomson Licensing Method for predicting a lost or damaged block of an enhanced spatial layer frame and SVC-decoder adapted therefore
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8213503B2 (en) * 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
US8548041B2 (en) 2008-09-25 2013-10-01 Mediatek Inc. Adaptive filter
WO2010038212A2 (en) * 2008-10-01 2010-04-08 Nxp B.V. Embedded video compression for hybrid contents
IT1394145B1 (it) * 2009-05-04 2012-05-25 St Microelectronics Srl Procedimento e dispositivo per la codifica video digitale, relativo segnale e prodotto informatico
JP2011030177A (ja) * 2009-06-29 2011-02-10 Sony Corp 復号装置、復号制御装置、復号方法およびそのプログラム
CN105791831A (zh) 2009-07-07 2016-07-20 汤姆森特许公司 将协作分区编码用于基于区域的滤波器的方法及装置
CN101783951B (zh) * 2010-03-02 2012-01-04 西安交通大学 基于人类视觉系统的视频编码帧间预测模式快速确定方法
US8259808B2 (en) * 2010-03-25 2012-09-04 Mediatek Inc. Low complexity video decoder
US10063873B2 (en) 2010-03-25 2018-08-28 Mediatek Inc. Method for adaptively performing video decoding, and associated adaptive complexity video decoder and adaptive audio/video playback system
US9172980B2 (en) * 2010-03-25 2015-10-27 Mediatek Inc. Method for adaptively performing video decoding, and associated adaptive complexity video decoder and adaptive audio/video playback system
US20110243222A1 (en) * 2010-04-05 2011-10-06 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using adaptive prediction filtering, method and apparatus for decoding video by using adaptive prediction filtering
KR20110113561A (ko) 2010-04-09 2011-10-17 한국전자통신연구원 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치
CN106358045B (zh) 2010-04-13 2019-07-19 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
BR122020007923B1 (pt) 2010-04-13 2021-08-03 Ge Video Compression, Llc Predição interplano
TWI815295B (zh) 2010-04-13 2023-09-11 美商Ｇｅ影像壓縮有限公司 樣本區域合併技術
KR102159896B1 (ko) 2010-04-13 2020-09-25 지이 비디오 컴프레션, 엘엘씨 샘플 배열 멀티트리 세부분할에서 계승
WO2011129100A1 (ja) 2010-04-13 2011-10-20 パナソニック株式会社 画像符号化方法および画像復号化方法
US9094658B2 (en) 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
EP2398240A1 (en) * 2010-06-16 2011-12-21 Canon Kabushiki Kaisha A method and device for encoding and decoding a video signal
WO2011158867A1 (ja) * 2010-06-17 2011-12-22 シャープ株式会社 画像復号装置、及び画像符号化装置
US9247265B2 (en) 2010-09-01 2016-01-26 Qualcomm Incorporated Multi-input adaptive filter based on combination of sum-modified Laplacian filter indexing and quadtree partitioning
US9819966B2 (en) 2010-09-01 2017-11-14 Qualcomm Incorporated Filter description signaling for multi-filter adaptive filtering
BR122020014075B1 (pt) 2010-09-30 2023-11-28 Samsung Electronics Co., Ltd Método de compensação de movimento
EP2622857A1 (en) * 2010-10-01 2013-08-07 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
US9628821B2 (en) 2010-10-01 2017-04-18 Apple Inc. Motion compensation using decoder-defined vector quantized interpolation filters
KR20120045369A (ko) * 2010-10-29 2012-05-09 에스케이 텔레콤주식회사 쿼드 트리 기반으로 블록 필터 정보를 부호화/복호화하는 영상 부호화/복호화 장치 및 방법
KR102007626B1 (ko) * 2010-12-07 2019-08-05 소니 주식회사 텔레비전 장치, 휴대 전화기, 재생 장치, 카메라 및 신호 처리 방법
US9432693B2 (en) * 2011-01-07 2016-08-30 Nokia Technologies Oy Motion prediction in video coding
US9807424B2 (en) * 2011-01-10 2017-10-31 Qualcomm Incorporated Adaptive selection of region size for identification of samples in a transition zone for overlapped block motion compensation
US20120183041A1 (en) * 2011-01-14 2012-07-19 Sony Corporation Interpolation filter for intra prediction of hevc
US20120230423A1 (en) * 2011-03-10 2012-09-13 Esenlik Semih Line memory reduction for video coding and decoding
KR20120118782A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 적응적 필터링을 이용한 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
TW201246920A (en) * 2011-05-12 2012-11-16 Sunplus Technology Co Ltd Apparatus for refining motion vector
KR101383775B1 (ko) 2011-05-20 2014-04-14 주식회사 케이티 화면 내 예측 방법 및 장치
CN108337521B (zh) * 2011-06-15 2022-07-19 韩国电子通信研究院 存储由可伸缩编码方法生成的比特流的计算机记录介质
US9602839B2 (en) * 2011-06-15 2017-03-21 Futurewei Technologies, Inc. Mode dependent intra smoothing filter table mapping methods for non-square prediction units
JP5649524B2 (ja) 2011-06-27 2015-01-07 日本電信電話株式会社 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
BR122021004604B1 (pt) * 2011-06-28 2022-07-26 Samsung Electronics Co., Ltd Aparelho para decodificar vídeo para predição intra de uma imagem usando compensação de movimento mediante usar um filtro de interpolação, método de codificação de vídeo para predição intra uma imagem usando compensação de movimento usando um filtro de interpolação, e aparelho para codificar vídeo para predição intra de uma imagem usando compensação de movimento mediante uso de um filtro de interpolação
KR101956284B1 (ko) * 2011-06-30 2019-03-08 엘지전자 주식회사 보간 방법 및 이를 이용한 예측 방법
US9179148B2 (en) * 2011-06-30 2015-11-03 Futurewei Technologies, Inc. Simplified bilateral intra smoothing filter
MX354287B (es) 2011-06-30 2018-02-22 Samsung Electronics Co Ltd Método de codificación de video con ajuste de profundidad de bits para conversión de punto fijo y aparato para el mismo, y método de decodificación de video y aparato para el mismo.
CN103095374B (zh) 2011-10-28 2016-04-20 富士通株式会社 偏振复用光通信系统的自适应非线性均衡的方法和装置
WO2013068548A2 (en) 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient multi-view coding using depth-map estimate for a dependent view
KR101662918B1 (ko) 2011-11-11 2016-10-05 지이 비디오 컴프레션, 엘엘씨 깊이-맵 추정 및 업데이트를 사용한 효율적인 멀티-뷰 코딩
EP2781091B1 (en) 2011-11-18 2020-04-08 GE Video Compression, LLC Multi-view coding with efficient residual handling
WO2013106190A1 (en) 2012-01-09 2013-07-18 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for single and multiple layered video coding systems
WO2013109867A1 (en) * 2012-01-19 2013-07-25 Futurewei Technologies, Inc. Simplification of mode dependent intra smoothing
US9225984B2 (en) * 2012-01-24 2015-12-29 Futurewei Technologies, Inc. Simplification of LM mode
US9596463B2 (en) * 2012-02-22 2017-03-14 Qualcomm Incorporated Coding of loop filter parameters using a codebook in video coding
US9420280B2 (en) 2012-06-08 2016-08-16 Qualcomm Incorporated Adaptive upsampling filters
US9854259B2 (en) * 2012-07-09 2017-12-26 Qualcomm Incorporated Smoothing of difference reference picture
KR20140016823A (ko) * 2012-07-24 2014-02-10 한국전자통신연구원 영상의 복호화 방법 및 이를 이용하는 장치
US9467692B2 (en) * 2012-08-31 2016-10-11 Qualcomm Incorporated Intra prediction improvements for scalable video coding
KR102221615B1 (ko) * 2012-09-03 2021-03-02 소니 주식회사 화상 처리 장치 및 방법
US20140086328A1 (en) * 2012-09-25 2014-03-27 Qualcomm Incorporated Scalable video coding in hevc
US20140086319A1 (en) * 2012-09-25 2014-03-27 Sony Corporation Video coding system with adaptive upsampling and method of operation thereof
KR20220131366A (ko) * 2012-10-01 2022-09-27 지이 비디오 컴프레션, 엘엘씨 베이스 레이어로부터 예측을 위한 서브블록 세부분할의 유도를 이용한 스케일러블 비디오 코딩
WO2014078068A1 (en) * 2012-11-13 2014-05-22 Intel Corporation Content adaptive transform coding for next generation video
US9357211B2 (en) * 2012-12-28 2016-05-31 Qualcomm Incorporated Device and method for scalable and multiview/3D coding of video information
US9648353B2 (en) * 2013-04-04 2017-05-09 Qualcomm Incorporated Multiple base layer reference pictures for SHVC
EP2997732A1 (en) * 2013-05-15 2016-03-23 VID SCALE, Inc. Single loop decoding based inter layer prediction
US9635371B2 (en) * 2013-05-31 2017-04-25 Qualcomm Incorporated Determining rounding offset using scaling factor in picture resampling
US20150023436A1 (en) 2013-07-22 2015-01-22 Texas Instruments Incorporated Method and apparatus for noise reduction in video systems
JP6306884B2 (ja) * 2013-12-27 2018-04-04 日本電信電話株式会社 予測画像生成方法、画像再構成方法、予測画像生成装置、画像再構成装置、予測画像生成プログラム、画像再構成プログラム及び記録媒体
US9774881B2 (en) * 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US9438910B1 (en) 2014-03-11 2016-09-06 Google Inc. Affine motion prediction in video coding
US20160050442A1 (en) * 2014-08-15 2016-02-18 Samsung Electronics Co., Ltd. In-loop filtering in video coding
WO2016072722A1 (ko) * 2014-11-04 2016-05-12 삼성전자 주식회사 영상 특성을 반영한 보간 필터를 이용하는 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
EP3340621B1 (en) * 2015-08-20 2023-01-25 Nippon Hoso Kyokai Image decoding device, and programs therefor
WO2017052405A1 (en) * 2015-09-25 2017-03-30 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
JP2018530244A (ja) 2015-09-25 2018-10-11 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 選択可能な補間フィルタを用いるビデオ動き補償のための装置および方法
AU2015409727B2 (en) 2015-09-25 2019-09-12 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
EP3354027A1 (en) 2015-09-25 2018-08-01 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
WO2017052407A1 (en) 2015-09-25 2017-03-30 Huawei Technologies Co., Ltd. Adaptive sharpening filter for predictive coding
US10110926B2 (en) 2015-10-15 2018-10-23 Cisco Technology, Inc. Efficient loop filter for video codec
US10341659B2 (en) * 2016-10-05 2019-07-02 Qualcomm Incorporated Systems and methods of switching interpolation filters
GB2572595B (en) * 2018-04-04 2023-03-22 British Broadcasting Corp Video encoding and decoding
US11044480B2 (en) * 2019-01-24 2021-06-22 Google Llc More accurate 2-tap interpolation filters for video compression

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03127580A (ja) * 1989-10-13 1991-05-30 Matsushita Electric Ind Co Ltd 動き補償フレーム間符号化装置
JP2606523B2 (ja) 1992-02-28 1997-05-07 日本ビクター株式会社 予測符号化装置及び復号化装置
JP3165296B2 (ja) 1992-12-25 2001-05-14 三菱電機株式会社 フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式
JP3392307B2 (ja) 1995-11-02 2003-03-31 松下電器産業株式会社 画像信号平滑化装置および画像信号平滑化方法
US6037986A (en) * 1996-07-16 2000-03-14 Divicom Inc. Video preprocessing method and apparatus with selective filtering based on motion detection
US6192079B1 (en) 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
US6292512B1 (en) * 1998-07-06 2001-09-18 U.S. Philips Corporation Scalable video coding system
JP2001204029A (ja) 1999-08-25 2001-07-27 Matsushita Electric Ind Co Ltd ノイズ検出方法、ノイズ検出装置及び画像復号化装置
EP2458865A3 (en) 2001-06-29 2014-10-01 NTT DoCoMo, Inc. Apparatuses for image coding and decoding
EP2296382B1 (en) * 2001-09-12 2012-01-04 Panasonic Corporation Picture decoding method
US7031552B2 (en) * 2002-04-05 2006-04-18 Seiko Epson Corporation Adaptive post-filtering for reducing noise in highly compressed image/video coding
JP4102973B2 (ja) 2002-04-24 2008-06-18 日本電気株式会社 動画像の符号化方法および復号化方法、これを用いた装置とプログラム
US6950473B2 (en) * 2002-06-21 2005-09-27 Seiko Epson Corporation Hybrid technique for reducing blocking and ringing artifacts in low-bit-rate coding
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
BRPI0509563A (pt) 2004-04-02 2007-09-25 Thomson Licensing codificação de vìdeo de complexidade escalonável
US7724307B2 (en) * 2004-07-28 2010-05-25 Broadcom Corporation Method and system for noise reduction in digital video
KR20060043051A (ko) * 2004-09-23 2006-05-15 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
US20060169368A1 (en) 2004-10-05 2006-08-03 Tenaris Conncections A.G. (A Liechtenstein Corporation) Low carbon alloy steel tube having ultra high strength and excellent toughness at low temperature and method of manufacturing the same
US20060088104A1 (en) 2004-10-27 2006-04-27 Stephen Molloy Non-integer pixel sharing for video encoding
JP2006254320A (ja) * 2005-03-14 2006-09-21 Toshiba Corp 情報処理装置および同装置で用いられるプログラム
JP2005312072A (ja) 2005-05-19 2005-11-04 Mitsubishi Electric Corp 映像信号復号化装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011037337A2 (ko) * 2009-09-23 2011-03-31 에스케이텔레콤 주식회사 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치
WO2011037337A3 (ko) * 2009-09-23 2011-07-07 에스케이텔레콤 주식회사 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치
US9124901B2 (en) 2009-09-23 2015-09-01 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding images considering low frequency components
US9807425B2 (en) 2009-09-23 2017-10-31 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding images considering low frequency components
US10034024B2 (en) 2009-09-23 2018-07-24 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding images considering low frequency components
WO2012044093A2 (ko) * 2010-09-29 2012-04-05 한국전자통신연구원 필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2012044093A3 (ko) * 2010-09-29 2012-05-31 한국전자통신연구원 필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치
US9363533B2 (en) 2010-09-29 2016-06-07 Electronics And Telecommunications Research Institute Method and apparatus for video-encoding/decoding using filter information prediction
USRE49308E1 (en) 2010-09-29 2022-11-22 Electronics And Telecommunications Research Instit Method and apparatus for video-encoding/decoding using filter information prediction
KR20140139454A (ko) * 2011-11-08 2014-12-05 주식회사 케이티 영상의 부호화 방법 및 장치, 및 복호화 방법 및 장치

Also Published As

Publication number Publication date
US9014280B2 (en) 2015-04-21
CN101523922A (zh) 2009-09-02
EP2092753A2 (en) 2009-08-26
JP5450073B2 (ja) 2014-03-26
TW200835349A (en) 2008-08-16
WO2008048864A2 (en) 2008-04-24
JP2014039289A (ja) 2014-02-27
WO2008048864A3 (en) 2008-08-07
KR101065227B1 (ko) 2011-09-16
CN101523922B (zh) 2012-09-26
JP2010507286A (ja) 2010-03-04
US20080089417A1 (en) 2008-04-17
TWI399099B (zh) 2013-06-11

Similar Documents

Publication Publication Date Title
KR101065227B1 (ko) 모션 보상 예측을 위해 적응 필터링을 이용하는 비디오 코딩
JP5175303B2 (ja) スケーラブルビデオコーディング用の適応アップサンプリング
KR101067308B1 (ko) 정제 계수 코딩을 위한 블록 형식 통계치에 기초한 가변 길이 코딩 테이블 선택
KR101056001B1 (ko) 코딩된 블록 패턴들에 대한 가변 길이 코딩 기술
TWI401961B (zh) 藉由過濾器選擇之視訊編碼
KR101247452B1 (ko) 정제 계수 코딩을 위한 비디오 블록 형식에 기초한 가변 길이 코딩 테이블 선택
US20160014411A1 (en) Method for determining predictor blocks for a spatially scalable video codec
US20060120450A1 (en) Method and apparatus for multi-layered video encoding and decoding
EP1817911A1 (en) Method and apparatus for multi-layered video encoding and decoding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140828

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160629

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee