KR20140098768A - 비디오 코딩을 위한 2차 경계 필터링 - Google Patents

비디오 코딩을 위한 2차 경계 필터링 Download PDF

Info

Publication number
KR20140098768A
KR20140098768A KR1020147015016A KR20147015016A KR20140098768A KR 20140098768 A KR20140098768 A KR 20140098768A KR 1020147015016 A KR1020147015016 A KR 1020147015016A KR 20147015016 A KR20147015016 A KR 20147015016A KR 20140098768 A KR20140098768 A KR 20140098768A
Authority
KR
South Korea
Prior art keywords
block
boundary
intra
predicted block
value
Prior art date
Application number
KR1020147015016A
Other languages
English (en)
Other versions
KR101589852B1 (ko
Inventor
더 아우베라 게르트 판
마르타 카르체비츠
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20140098768A publication Critical patent/KR20140098768A/ko
Application granted granted Critical
Publication of KR101589852B1 publication Critical patent/KR101589852B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Abstract

일 예에서, 비디오 코딩 디바이스는 비디오 데이터의 블록을, 블록의 1차 경계에 따른 픽셀들의 값들을 이용하여, 인트라-예측하여 예측된 블록을 형성하고, 예측된 블록을 필터링할지 여부를 블록의 2차 경계의 데이터를 이용하여 결정하고, 그리고, 예측된 블록을 필터링하기로 결정하는 것에 응답하여, 예측된 블록을 2차 경계의 데이터를 이용하여 필터링하도록 구성된다. 비디오 코딩 디바이스는 임계치에 대한 라플라시안 값 또는 기울기 차이 값의 비교에 기초하여, 예측된 블록을 필터링할지 여부를 결정할 수도 있다. 예측된 블록을 필터링할지 여부의 결정은 경계 관계, 예컨대, 또 다른 경계에 대한 하나의 경계, 또는 그 예측된 블록의 픽셀 값들에 대한 경계의 관계에 적어도 부분적으로 기초할 수도 있다.

Description

비디오 코딩을 위한 2차 경계 필터링{SECONDARY BOUNDARY FILTERING FOR VIDEO CODING}
본 출원은 2011년 11월 4일자에 출원된 미국 가출원 제 61/556,038호의 이익을 주장하며, 이의 전체 내용들이 본원에 참고로 포함된다.
기술 분야
본 개시물은 비디오 코딩, 좀더 구체적으로는, 비디오 데이터의 인트라-예측 코딩에 관한 것이다.
디지털 비디오 능력들은 디지털 텔레비전, 디지털 직접 브로드캐스트 시스템들, 무선 브로드캐스트 시스템들, 개인 휴대정보 단말기들 (PDAs), 랩탑 또는 데스크탑 컴퓨터들, 디지털 카메라들, 디지털 리코딩 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 디바이스들, 비디오 게임 콘솔들, 셀룰러 또는 위성 무선 전화기들, 원격 화상회의 디바이스들 등을 포함한, 광범위한 디바이스들에 포함될 수 있다. 디지털 비디오 디바이스들은 디지털 비디오 정보를 좀더 효율적으로 송수신하기 위해서, MPEG-2, MPEG-4, ITU-T H.263 또는 ITU-T H.264/MPEG-4, 파트 10, AVC (Advanced Video Coding) 에 의해 정의된 표준들, 및 이런 표준들의 확장판들에 설명된 기법들과 같은, 비디오 압축 기법들을 구현한다.
비디오 압축 기법들은 비디오 시퀀스들에 고유한 리던던시를 감소시키거나 또는 제거하기 위해 공간 예측 및/또는 시간 예측을 수행한다. 블록-기반 비디오 코딩에 있어, 비디오 프레임 또는 슬라이스는 블록들로 파티셔닝될 수도 있다. 각각의 블록은 더 파티셔닝될 수도 있다. 인트라-코딩된 (I) 프레임 또는 슬라이스에서의 블록들은 이웃하는 블록들에 대한 공간 예측을 이용하여 인코딩된다. 인터-코딩된 (P 또는 B) 프레임 또는 슬라이스에서의 블록들은 동일한 프레임 또는 슬라이스에서 이웃하는 블록들에 대한 공간 예측, 또는 다른 참조 프레임들에 대한 시간 예측을 이용할 수도 있다.
일반적으로, 본 개시물은 비디오 데이터의 인트라-예측 코딩 동안 2차 경계 필터링을 수행할지 여부를 결정하는 기법들을 설명한다. 2차 경계 필터링을 수행할지 여부의 결정은 수학적 경계 관계들, 예컨대, 현재의 블록의 경계들 또는 현재의 블록의 경계와 현재의 블록의 픽셀 값들 사이의 관계들에 기초할 수도 있다. 수학적 경계 관계들은, 일부 예들에서, 라플라시안 (Laplacian) 값들 또는 기울기 차이들에 대응할 수도 있다.
일 예에서, 방법은 예측된 블록을 형성하기 위해, 비디오 데이터의 블록을 블록의 1차 경계에 따른 픽셀들의 값들을 이용하여, 인트라-예측하는 단계; 그 블록의 2차 경계의 데이터를 이용하여, 예측된 블록을 필터링할지 여부를 결정하는 단계; 및 예측된 블록을 필터링하기로 결정하는 것에 응답하여, 2차 경계의 데이터를 이용하여 그 예측된 블록을 필터링하는 단계를 포함한다.
또 다른 예에서, 디바이스는 예측된 블록을 형성하기 위해, 비디오 데이터의 블록을 블록의 1차 경계에 따른 픽셀들의 값들을 이용하여 인트라-예측하고; 예측된 블록을 필터링할지 여부를 블록의 2차 경계의 데이터를 이용하여 결정하고; 그리고 예측된 블록을 필터링하기로 결정하는 것에 응답하여, 예측된 블록을 2차 경계의 데이터를 이용하여 필터링하도록 구성되는 비디오 코더를 포함한다.
또 다른 예에서, 디바이스는 예측된 블록을 형성하기 위해, 비디오 데이터의 블록을 블록의 1차 경계에 따른 픽셀들의 값들을 이용하여 인트라-예측하는 수단; 그 블록의 2차 경계의 데이터를 이용하여, 예측된 블록을 필터링할지 여부를 결정하는 수단; 및 예측된 블록을 필터링하기로 결정하는 것에 응답하여, 2차 경계의 데이터를 이용하여 그 예측된 블록을 필터링하는 수단을 포함한다.
또 다른 예에서, 컴퓨터-판독가능 저장 매체는 실행될 경우, 프로세서로 하여금, 예측된 블록을 형성하기 위해, 비디오 데이터의 블록을 블록의 1차 경계에 따른 픽셀들의 값들을 이용하여 인트라-예측하게 하고; 예측된 블록을 필터링할지 여부를 블록의 2차 경계의 데이터를 이용하여 결정하게 하고; 그리고 예측된 블록을 필터링하기로 결정하는 것에 응답하여, 예측된 블록을 2차 경계의 데이터를 이용하여 필터링하게 하는 명령들을 저장하고 있다.
하나 이상의 예들의 세부 사항들이 첨부도면 및 아래의 상세한 설명에서 개시된다. 다른 특성들, 목적들, 및 이점들은 설명 및 도면들로부터, 그리고 청구항들로부터 명백히 알 수 있을 것이다.
도 1 은 2차 경계 필터링을 수행할지 여부를 결정하는 기법들을 이용할 수도 있는 예시적인 비디오 인코딩 및 디코딩 시스템을 예시하는 블록도이다.
도 2 는 2차 경계 필터링을 수행할지 여부를 결정하는 기법들을 구현할 수도 있는 비디오 인코더의 일 예를 예시하는 블록도이다.
도 3 은 2차 경계 필터링을 수행할지 여부를 결정하는 기법들을 구현할 수도 있는 비디오 디코더의 일 예를 예시하는 블록도이다.
도 4 는 HEVC 에서 여러 인트라-예측 모드 방향들을 예시하는 개념도이다.
도 5a 및 도 5b 는 라플라시안 에 기초한 참조 경계 샘플들 사이의 경계 관계들의 컴퓨팅을 예시하는 개념도들이다.
도 6 은 현재의 블록을 인코딩하는 예시적인 방법을 예시하는 플로우차트이다.
도 7 은 비디오 데이터의 현재의 블록을 디코딩하는 예시적인 방법을 예시하는 플로우차트이다.
도 8 은 본 개시물의 기법에 따른, 2차 경계 필터링을 수행할지 여부를 결정하는 예시적인 방법을 예시하는 플로우차트이다.
일반적으로, 본 개시물은 인트라-예측 코딩 동안 픽셀들을 프로세싱하는데 관련된 기법들을 제공한다. 특히, 본 개시물은 비디오 데이터의 블록들의 인트라-예측 코딩 동안에 2차 경계 필터링을 (전체적으로 또는 부분적으로) 인에이블하거나 디스에이블하는 기법들을 설명한다. 2차 경계 필터링은 또한 1차 경계의 데이터를 이용하여 예측되어진 예측된 블록을, 2차 경계의 데이터를 이용하여 필터링하는 것으로 설명될 수도 있다. 즉, 블록을 인트라-예측하는 것은 블록을 1차 경계의 데이터를 이용하여 예측하고, 그 블록을 필터링할지 여부를 2차 경계를 이용하여 결정하고, 그 후 그 블록을 필터링하기로 결정하는 것에 응답하여 그 예측된 블록을 2차 경계의 데이터를 이용하여 필터링하는 것을 포함할 수도 있다.
2차 경계 필터링은 다양한 필터들 중 임의의 필터를 2차 경계에서의 픽셀들의 값들 및 예측 유닛에서의 픽셀들의 값들에 적용하여, 예측 유닛에서의 수정된 픽셀들의 값들을 발생하는 것을 포함할 수도 있다. 2차 경계 필터링은 일반적으로, 예측된 블록의 하나 이상의 픽셀들에 대한 오프셋 값들을 2차 경계의 하나 이상의 값들을 이용하여 계산하고 그리고 그 오프셋 값들을 각각의 픽셀들에 적용하는 것을 포함할 수도 있다.
경계들은 좌측면 경계 또는 상부 경계 (즉, 최상부측 경계) 에 대응할 수도 있다. 예측 유닛은 방향성 인트라-예측 모드들 및 비-방향성 인트라-예측 모드들과 같은, 여러 인트라-예측 모드들을 통해서 발생될 수도 있다. 비-방향성 인트라-예측 모드들은 예를 들어, DC 모드 및 평면 모드를 포함할 수도 있다. 방향성 인트라-예측 모드들은 본 개시물에서 설명하는 바와 같이, 상대적으로 수평의 인트라-예측 모드들, 상대적으로 수직의 인트라-예측 모드들, 및 상대적 대각선 인트라-예측 모드들을 포함할 수도 있다. 상대적으로 수평의 인트라-예측 모드들은 예측된 블록을 좌측면 경계의 데이터를 이용하여 발생하는데 사용되는 반면, 상대적으로 수직의 인트라-예측 모드들은 예측된 블록을 최상부측 경계의 데이터를 이용하여 발생하는데 사용된다.
따라서, 1차 경계는, 위에서 설명한 바와 같이, 예측된 블록이 상대적으로 수평의 인트라-예측 모드를 이용하여 발생될 때 좌측면 경계로서 간주될 수도 있는 반면, 1차 경계는 예측된 블록이 상대적으로 수직의 인트라-예측 모드를 이용하여 발생될 때 최상부측 경계로서 간주될 수도 있다. 2차 경계는 예측된 블록이 상대적으로 수평의 인트라-예측 모드를 이용하여 발생될 때 최상부측 경계로서 간주될 수도 있는 반면, 2차 경계는 예측된 블록이 상대적으로 수직의 인트라-예측 모드를 이용하여 발생될 때 좌측면 경계로서 간주될 수도 있다.
비디오 블록들은 코딩 유닛들 (CU들), 예측 유닛들 (PU들), 및 변환 유닛들 (TU들) 을 포함할 수도 있다. 블록 경계들은 CU들, PU들, 및 TU들 사이에 일어날 수도 있다. 즉, 블록 경계는 2개의 이웃하는 블록들, 예컨대, 이웃하는 CU들, PU들, 또는 TU들 사이의 공통 에지에 대응할 수도 있다. CU들은 일반적으로 하나 이상의 PU들 및 하나 이상의 TU들을 포함하는 비디오 데이터의 블록들을 지칭한다. PU들은 일반적으로 인트라-예측에 의해서든 또는 인터-예측에 의해서든 예측된 데이터의 블록들에 대응하는 반면, TU들은 잔여 데이터의 블록들에 대응한다. 잔여 데이터는 일반적으로 미가공의, 비코딩된 비디오 데이터와 예측된 비디오 데이터, 즉, 대응하는 PU 에서의 픽셀들의 값들 사이의 픽셀 단위 차이들에 대응할 수도 있다. HEVC Working Draft version 4 (WD4) 는 루마 성분에 대한 다음 인트라 예측 모드들, 즉, 평면, DC, 및 33 까지의 방향성 모드들을, 인트라 PU 사이즈에 따라서, 규정한다. HEVC WD4 는 2011년 7월 14-22일, 이탈리아, 토리노, ITU-T SG16 WP3 와 ISO/IEC JTC1/SC29/WG11 의 JCT-VC (Joint Collaborative Team on Video Coding), 6차 회의, Bross 등, WD4: 고효율 비디오 코딩의 작업 초안 4 에 설명되어 있다. MDIS (Mode-Dependent Intra Smoothing) 방법은 모드 및 PU 사이즈에 따른, 인트라 예측 앞선 참조 경계 샘플들의 저역 필터링을 포함한다. DC 예측 필터링 방법 및 단순화는 DC-예측된 PU 의 경계를 가로질러 필터링을 적용한다.
인트라-예측된 블록들 (즉, 본원에서 또한 "예측된 블록들" 으로 지칭되는 인트라-예측된 PU들) 사이의 경계들 근처의 픽셀들을 프로세싱하는 일부 기법들은, 필터링, 기울기-기반 예측, 및 양방향 예측을 포함한다. 기울기-기반 예측에서는, 2개의 참조 경계 샘플들 사이의 차이가 계산되고 (일부 경우들에서, 내삽이 요구될 수도 있다), 가중되고, 그리고 수평 또는 수직 예측에 의존하여, 인트라 PU 경계를 따라서 적어도 하나의 칼럼 또는 로우에 가산될 수도 있다. 양방향 예측에서는, 방향의 양 단부들 상에서 참조 샘플들 (즉, 픽셀들) 이 사용될 수도 있으며 (일부 경우들에서, 내삽이 요구될 수도 있다), 2차 경계 상에서 참조 샘플은 가중되어, 예측된 인트라 PU 샘플들에 가산될 수도 있다. 즉, 예컨대, 1차 경계의 데이터를 이용한, 예측된 블록의 발생에 뒤이어서, 비디오 코더는 예측된 블록의 데이터 (예컨대, 픽셀 값들) 를 2차 경계의 값들과 수학적으로 합산하는 필터를 적용하여, 예측된 블록의 데이터를 수정할 수도 있다.
일부 예들에서, 2개의 참조 샘플들 사이의 가중된 기울기가 수직 및 수평 예측 모드들에 대해 인트라 PU 경계를 따라서 적어도 하나의 칼럼 또는 로우에 가산될 수도 있다. 일부 예들에서는, 필터가 평면 예측 모드에 따라서 발생된 PU 의 경계를 가로질러 적용되며, 2개의-탭 필터가 인트라 예측 방향에 따라서 2차 경계에 적용될 수도 있다. 일부 예들에서는, 평면 예측 모드에 따라서 발생된 PU 의 경계를 가로질러 제 1 필터를 반드시 적용할 필요가 없이, 대각선 2개의-탭 필터가 인트라-예측 방향에 따라서 2차 경계를 가로질러 적용될 수도 있다.
비디오 코딩 방법들의 평가는 일반적으로, Bjontegaard Delta 비트레이트 (BD-레이트) 에서의 감소의 평가를 포함한다. 이런 평가는 왜곡 (즉, 코딩된 비디오 데이터와 원래 비디오 데이터로부터 재생될 수 있는 데이터 사이의 차이) 에 대한 비트레이트 (즉, 비디오 데이터를 나타내는 사용되는 비트수) 의 비교를 포함한다. 일반적으로, BD-레이트를 감소시키는 기법들은 양호한 비디오 코딩 기법들을 반영한다. 위에서 설명한 경계 필터링을 위한 방법들은 일부 비디오 시퀀스들에 대한 BD-레이트를 감소시키며, 그러나 일부 경우들에서, 2차 경계 필터링은 바람직하지 못한 BD-레이트 손실들을 도입한다. 본 개시물은 BD-레이트 손실들이 도입되는 경우들에 있어 2차 경계 필터링을 다시 적용하는 것을 방지하는 기법들을 제공한다.
좀더 자세하게 설명하면, 본 개시물은 2차 경계 필터링에 있어 BD-레이트 손실들을 초래하는 경우들을 검출하는 기법들을 제공한다. 이들 기법들은 이들 기법들이 2차 경계 필터링을 (전체적으로 또는 부분적으로) 인에이블하거나 디스에이블할지 여부를 결정할 수도 있다는 점에서, 2차 경계 필터링을 위한 보호 로직으로서 설명될 수도 있다. 그 검출이 긍정이면, 2차 경계 필터링이 BD-레이트 성능을 향상시키기 위해, 부분적으로 또는 전체적으로 디스에이블될 수도 있다. 예를 들어, 높은 콘트라스트를 가지고 빈번한 전환들을 포함하는 텍스트 영역들을 포함하는 시퀀스들에 있어, 2차 경계 필터링은 비관련된 샘플들을 참조 경계로부터 인트라 PU 로 전파한다.
본 개시물의 기법들은 참조 경계들의 샘플들 사이, 또는 참조 경계 샘플과 인트라 PU 샘플들 (즉, 예측된 블록의 픽셀 값들) 사이의 수학적 관계들을 계산하는 것을 포함한다. 이들 수학적 관계들은 예를 들어, 라플라시안 또는 기울기 차이들의 계산에 기초할 수 있다. 이들 관계들을 계산하는 것으로부터의 결과들이 2차 경계 필터링을 (부분적으로 또는 전체적으로) 적용하거나 또는 디스에이블하는 것 사이에서 결정하기 위해 임계치들에 대해 비교될 수 있다. 임계치들은 인코딩/디코딩 동안 계산되거나, 또는 시그널링되는 (양자화 파라미터와 같은 파라미터들에 잠재적으로 의존하는) 미리 결정된 상수들일 수 있다. 수학적 관계들은 인코더 및 디코더 양자에 의해, 또는 오직 인코더에 의해 계산될 수 있으며, 이 경우, 인코더는 2차 경계 필터링이 적용되어야 하는지 여부, 또는 어느 부분이 적용되어야 하는지를 디코더로 시그널링할 수도 있다.
도 1 은 2차 경계 필터링을 수행할지 여부를 결정하는 기법들을 이용할 수도 있는 예시적인 비디오 인코딩 및 디코딩 시스템 (10) 을 예시하는 블록도이다. 도 1 에 나타낸 바와 같이, 시스템 (10) 은 인코딩된 비디오를 컴퓨터-판독가능 매체 (16) 를 통해서 목적지 디바이스 (14) 에 제공하는 소스 디바이스 (12) 를 포함한다. 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 광범위한 디바이스들 중 임의의 디바이스를 포함할 수도 있다. 본 개시물의 기법들은 오버-디-에어 텔레비전 브로드캐스트들, 케이블 텔레비전 송신들, 위성 텔레비전 송신들, 인터넷 비디오 송신들, 저장 매체 상으로 인코딩된 인코딩된 디지털 비디오, 또는 다른 시나리오들에 적용될 수도 있다. 따라서, 컴퓨터-판독가능 매체 (16) 는 인코딩된 비디오 데이터의 송신에 적합한 무선 또는 유선 매체들의 임의의 조합, 또는 디스크들, 하드 드라이브들, 또는 기타 등등과 같은, 컴퓨터-판독가능 저장 매체들을 포함할 수도 있다.
도 1 의 예에서, 소스 디바이스 (12) 는 비디오 소스 (18), 비디오 인코더 (20), 및 출력 인터페이스 (22) 를 포함한다. 목적지 디바이스 (14) 는 입력 인터페이스 (28), 비디오 디코더 (30), 및 디스플레이 디바이스 (32) 를 포함한다. 본 개시물에 따르면, 소스 디바이스 (12) 의 비디오 인코더 (20) 는 2차 경계 필터링을 수행할지 여부를 결정하는 기법들을 적용하도록 구성될 수도 있다. 다른 예들에서, 소스 디바이스 및 목적지 디바이스는 다른 구성요소들 또는 배열들을 포함할 수도 있다. 예를 들어, 소스 디바이스 (12) 는 비디오 데이터를 외부 카메라와 같은 외부 비디오 소스 (18) 로부터 수신할 수도 있다. 이와 유사하게, 목적지 디바이스 (14) 는 통합된 디스플레이 디바이스를 포함하는 대신, 외부 디스플레이 디바이스와 인터페이스할 수도 있다.
도 1 의 예시된 시스템 (10) 은 단지 일 예이다. 2차 경계 필터링을 수행할지 여부를 결정하는 기법들은 임의의 디지털 비디오 인코딩 및/또는 디코딩 디바이스에 의해 수행될 수도 있다. 일반적으로, 본 개시물의 기법들은 비디오 인코딩 디바이스에 의해 수행되지만, 그 기법들은 또한 "코덱" 으로서 일반적으로 지칭되는, 비디오 인코더/디코더에 의해 수행될 수도 있다. 더욱이, 본 개시물의 기법들은 또한 비디오 프리프로세서에 의해 수행될 수도 있다. 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 단지 코딩 디바이스들의 예들이며, 여기서, 소스 디바이스 (12) 는 목적지 디바이스 (14) 로의 송신을 위해 코딩된 비디오 데이터를 발생한다. 일부 예들에서, 디바이스들 (12, 14) 은 디바이스들 (12, 14) 의 각각이 비디오 인코딩 및 디코딩 구성요소들을 포함하도록, 실질적으로 대칭적 방법으로 동작할 수도 있다. 그러므로, 시스템 (10) 은 예컨대, 비디오 스트리밍, 비디오 플레이백, 비디오 브로드캐스팅, 또는 비디오 전화 통신을 위해, 비디오 디바이스들 (12, 14) 사이에 1-방향 또는 2-방향 비디오 송신을 지원할 수도 있다.
소스 디바이스 (12) 의 비디오 소스 (18) 는 비디오 카메라와 같은 비디오 캡쳐 디바이스, 이전에 캡쳐된 비디오를 포함하는 비디오 아카이브, 및/또는 비디오 콘텐츠 제공자로부터 공급되는 비디오를 포함할 수도 있다. 추가 대안적인 예로서, 비디오 소스 (18) 는 컴퓨터 그래픽스-기반의 데이터를 소스 비디오, 또는 라이브 비디오, 아카이브된 비디오, 및 컴퓨터 발생된 비디오의 조합으로서 발생할 수도 있다. 일부의 경우, 비디오 소스 (18) 가 비디오 카메라이면, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 소위 카메라 폰들 또는 비디오 폰들을 형성할 수도 있다. 위에서 언급한 바와 같이, 그러나, 본 개시물에서 설명하는 기법들은 비디오 코딩에 일반적으로 적용가능할 수도 있으며, 무선 및/또는 유선 애플리케이션들에 적용될 수도 있다. 각 경우에, 캡쳐되거나, 사전-캡쳐되거나, 또는 컴퓨터-발생된 비디오는 비디오 인코더 (20) 에 의해 인코딩될 수도 있다. 인코딩된 비디오 정보는 그 후 출력 인터페이스 (22) 에 의해 컴퓨터-판독가능 매체 (16) 상으로 출력될 수도 있다.
컴퓨터-판독가능 매체 (16) 는 무선 브로드캐스트 또는 유선 네트워크 송신과 같은 일시성 매체, 또는 하드 디스크, 플래시 드라이브, 컴팩트 디스크, 디지털 비디오 디스크, 블루-레이 디스크, 또는 다른 컴퓨터-판독가능 매체들과 같은 저장 매체들 (즉, 비일시성 저장 매체들) 을 포함할 수도 있다. 일부 예들에서, 네트워크 서버 (미도시) 는 인코딩된 비디오 데이터를 소스 디바이스 (12) 로부터 수신하고 그 인코딩된 비디오 데이터를 목적지 디바이스 (14) 로, 예컨대, 네트워크 송신을 통해서 제공할 수도 있다. 이와 유사하게, 디스크 스탬핑 설비와 같은 매체 생산 설비의 컴퓨팅 디바이스는 인코딩된 비디오 데이터를 소스 디바이스 (12) 로부터 수신하고 그 인코딩된 비디오 데이터를 포함하는 디스크를 제조할 수도 있다. 따라서, 컴퓨터-판독가능 매체 (16) 는 여러 예들에서, 여러 형태들의 하나 이상의 컴퓨터-판독가능 매체들을 포함하는 것으로 이해될 수도 있다.
목적지 디바이스 (14) 의 입력 인터페이스 (28) 는 컴퓨터-판독가능 매체 (16) 로부터 정보를 수신한다. 컴퓨터-판독가능 매체 (16) 의 정보는 블록들 및 다른 코딩된 유닛들, 예컨대, GOP들의 특성들 및/또는 프로세싱을 기술하는 구문 엘리먼트들을 포함하는, 비디오 인코더 (20) 에 의해 정의되고 또한 비디오 디코더 (30) 에 의해 사용되는, 구문 정보를 포함할 수도 있다. 디스플레이 디바이스 (32) 는 그 디코딩된 비디오 데이터를 사용자에게 디스플레이하고, 음극선관 (CRT), 액정 디스플레이 (LCD), 플라즈마 디스플레이, 유기 발광 다이오드 (OLED) 디스플레이, 또는 또 다른 유형의 디스플레이 디바이스와 같은, 다양한 디스플레이 디바이스들 중 임의의 디바이스를 포함할 수도 있다.
도 1 의 예에서, 컴퓨터-판독가능 매체 (16) 는 임의의 무선 또는 유선 통신 매체, 예컨대 무선 주파수 (RF) 스펙트럼 또는 하나 이상의 물리적인 송신 라인들, 또는 무선 매체와 유선 매체들의 임의의 조합을 포함할 수도 있다. 컴퓨터-판독가능 매체 (16) 는 근거리 네트워크, 광역 네트워크, 또는 글로벌 네트워크, 예컨대 인터넷과 같은 패킷-기반 네트워크의 일부를 형성할 수도 있다. 컴퓨터-판독가능 매체 (16) 는 일반적으로 유선 또는 무선 매체들의 임의의 적합한 조합을 포함한, 비디오 데이터를 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로 송신하기 위한, 임의의 적합한 통신 매체, 또는 상이한 통신 매체들의 컬렉션을 나타낸다. 컴퓨터-판독가능 매체 (16) 는 라우터들, 스위치들, 기지국들, 또는 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로 통신을 용이하게 하는데 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 는 대안적으로 MPEG 4, 파트 10, AVC (Advanced Video Coding) 로서 지칭되는 ITU-T H.264 표준과 같은 비디오 압축 표준에 따라서 동작할 수도 있다. 본 개시물의 기법들은, 그러나, 임의의 특정의 코딩 표준에 한정되지 않는다. 다른 예들은 MPEG-2 및 ITU-T H.263 를 포함한다. 도 1 에 나타내지는 않지만, 일부 양태들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 오디오 인코더 및 디코더와 각각 통합될 수도 있으며, 오디오 및 비디오 양자의 인코딩을 공통 데이터 스트림 또는 별개의 데이터 스트림들로 처리하기 위해 적합한 MUX-DEMUX 유닛들, 또는 다른 하드웨어 및 소프트웨어를 포함할 수도 있다. 적용가능한 경우, MUX-DEMUX 유닛들은 ITU H.223 멀티플렉서 프로토콜, 또는 다른 프로토콜들, 예컨대, 사용자 데이터그램 프로토콜 (UDP) 을 따를 수도 있다.
ITU-T H.264/MPEG-4 (AVC) 표준은 ISO/IEC 동화상 전문가 그룹 (MPEG) 과 함께 ITU-T 비디오 코딩 전문가 그룹 (VCEG) 에 의해, 조인트 비디오 팀 (JVT) 으로서 알려진 공동 파트너쉽의 성과로서, 정식화되었다. 일부 양태들에서, 본 개시물에서 설명하는 기법들은 일반적으로 H.264 표준에 따르는 디바이스들에 적용될 수도 있다. H.264 표준은 2005 년 3월, ITU-T 스터디 그룹에 의한, ITU-T 권고안 H.264, Advanced Video Coding for generic audiovisual services 에 설명되어 있으며, 본원에서 H.264 표준 또는 H.264 사양, 또는 H.264/AVC 표준 또는 사양으로서 지칭될 수도 있다. 조인트 비디오 팀 (JVT) 은 H.264/MPEG-4 AVC 에 대한 확장판들에 대해 계속 노력을 들이고 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSP들), 주문형 집적회로들 (ASIC들), 필드 프로그래밍가능 게이트 어레이들 (FPGA들), 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 임의의 이들의 조합들과 같은, 다양한 적합한 인코더 회로 중 임의의 회로로 구현될 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 하나 이상의 인코더들 또는 디코더들에 포함될 수도 있으며, 이들 중 어느 쪽이든 각각의 카메라, 컴퓨터, 모바일 디바이스, 가입자 디바이스, 브로드캐스트 디바이스, 셋-탑 박스, 서버 등에 결합된 인코더/디코더 (코덱) 의 부분으로서 통합될 수도 있다.
비디오 시퀀스는 일반적으로 비디오 프레임들의 시리즈를 포함한다. 화상들의 그룹 (GOP) 은 일반적으로 하나 이상의 비디오 프레임들의 시리즈를 포함한다. GOP 는 GOP 에 포함된 다수의 프레임들을 기술하는 구문 데이터를 GOP 의 헤더, GOP 의 하나 이상의 프레임들의 헤더, 또는 다른 장소에, 포함할 수도 있다. 각각의 프레임은 각각의 프레임에 대한 인코딩 모드를 기술하는 프레임 구문 데이터를 포함할 수도 있다. 비디오 인코더 (20) 는 일반적으로 비디오 데이터를 인코딩하기 위해 개개의 비디오 프레임들 내 비디오 블록들에 대해 작용할 수도 있다. 비디오 블록은 블록 또는 블록의 파티션에 대응할 수도 있다. 비디오 블록들은 고정 또는 가변 사이즈들을 가질 수도 있으며, 규정된 코딩 표준에 따라서 사이즈가 상이할 수도 있다. 각각의 비디오 프레임은 복수의 슬라이스들을 포함할 수도 있다. 각각의 슬라이스는 복수의 블록들을 포함할 수도 있으며, 이 블록들은 서브-블록들로서 또한 지칭되는 파티션들에 배열될 수도 있다.
일 예로서, ITU-T H.264 표준은 루마 성분들에 대해 16x16, 16x8, 8x16, 8x8, 8x4, 4x8 및 4x4, 그리고 크로마 성분들에 대해 대응하는 스케일링된 사이즈들과 같은, 여러 블록 사이즈들에서의 인터 예측 뿐만 아니라, 루마 성분들에 대해 16x16, 8x8, 또는 4x4, 그리고 크로마 성분들에 대해 8x8 과 같은, 여러 블록 사이즈들에서의 인트라 예측을 지원한다. 본 개시물에서, "NxN" 및 "N 곱하기 N", 예컨대, 16x16 픽셀들 또는 16 곱하기 16 픽셀들은 수직 및 수평 치수들의 관점에서 블록의 픽셀 치수들을 지칭하기 위해 상호교환가능하게 사용될 수도 있다. 일반적으로, 16x16 블록은 수직 방향으로 16 개의 픽셀들 (y = 16) 및 수평 방향으로 16 개의 픽셀들 (x = 16) 을 가질 것이다. 이와 유사하게, NxN 블록은 일반적으로 수직 방향으로 N 개의 픽셀들 및 수평 방향으로 N 개의 픽셀들을 가지며, 여기서 N 은 음이 아닌 정수 값을 나타낸다. 블록에서 픽셀들은 로우들 및 칼럼들로 배열될 수도 있다. 더욱이, 블록들은 수직 방향에서와 같이 수평 방향에서 동일한 픽셀들의 개수를 반드시 가질 필요는 없다. 예를 들어, 블록들은 NxM 픽셀들을 포함할 수도 있으며, 여기서 M 은 반드시 N 과 같을 필요는 없다.
16x16 미만인 블록 사이즈들은 16x16 블록의 파티션들로서 지칭될 수도 있다. 비디오 블록들은 예컨대, 코딩된 비디오 블록들과 예측 비디오 블록들 사이의 픽셀 차이들을 나타내는 잔여 비디오 블록 데이터에의, 이산 코사인 변환 (DCT), 정수 변환, 웨이블릿 변환, 또는 개념적으로 유사한 변환과 같은 변환의 적용이 뒤따르는, 그 변환 도메인에서의 변환 계수들의 블록들, 또는 픽셀 도메인에서의 픽셀 데이터의 블록들을 포함할 수도 있다. 일부의 경우, 비디오 블록은 변환 도메인에서 양자화된 변환 계수들의 블록들을 포함할 수도 있다.
더 작은 비디오 블록들은 더 나은 해상도를 제공할 수 있으며, 높은 세부 레벨들을 포함하는 비디오 프레임의 로케이션들에 사용될 수도 있다. 일반적으로, 서브-블록들로서 종종 지칭되는, 블록들 및 여러 파티션들이 비디오 블록들로 간주될 수도 있다. 게다가, 슬라이스는 블록들 및/또는 서브-블록들과 같은, 복수의 비디오 블록들인 것으로 간주될 수도 있다. 각각의 슬라이스는 비디오 프레임의 독립적으로 디코딩가능한 유닛일 수도 있다. 이의 대안으로, 프레임들 자체는 디코딩가능한 유닛들이거나, 또는 프레임의 다른 부분들은 디코딩가능한 유닛들로서 정의될 수도 있다. 용어 "코딩된 유닛" 또는 "코딩 유닛" 은 전체 프레임, 프레임의 슬라이스, 시퀀스로서 또한 지칭되는 화상들의 그룹 (GOP) 과 같은 비디오 프레임의 임의의 독립적으로 디코딩가능한 유닛, 또는 적용가능한 코딩 기법들에 따라서 정의된 또 다른 독립적으로 디코딩가능한 유닛을 지칭할 수도 있다.
인코딩된 비디오 데이터는 예측 데이터 및 잔여 데이터를 포함할 수도 있다. 비디오 인코더는 인트라-예측 모드 또는 인터-예측 모드 동안 예측 데이터를 발생할 수도 있다. 인트라-예측은 일반적으로 동일한 화상의 이웃하는 이전에 코딩된 블록들에 대해, 화상의 블록을 예측하는 것을 수반한다. 인터-예측은 일반적으로 이전에 코딩된 화상의 데이터에 대해, 화상의 블록을 예측하는 것을 수반한다.
인트라-또는 인터-예측에 이어서, 비디오 인코더는 그 블록에 대한 잔여 값을 계산할 수도 있다. 잔여 값은 일반적으로 블록에 대한 예측된 데이터와 블록의 참 값 사이의 차이에 대응한다. 블록의 잔여 값을 추가로 압축하기 위해, 잔여 값은 가능한 한 많은 데이터 (또한, "에너지" 로서 지칭됨) 를 가능한 한 적은 계수들로 압축시키는 변환 계수들의 세트로 변환될 수도 있다. 변환 계수들은 원래 블록과 동일한 사이즈일 수도 있는 계수들의 2차원 매트릭스에 대응한다. 즉, 원래 블록에서의 픽셀들과 같은 수 만큼 변환 계수들이 있을 수도 있다. 그러나, 그 변환으로 인해, 변환 계수들 중 많은 것들이 제로인 값들을 가질 수도 있다.
비디오 인코더는 그 후 비디오 데이터를 추가로 압축하기 위해서 변환 계수들을 양자화할 수도 있다. 양자화는 일반적으로 상대적으로 큰 범위 내의 값들을 상대적으로 작은 범위의 값들로 맵핑하는 것을 수반하며, 따라서, 양자화된 변환 계수들을 표현하는데 요구되는 데이터의 양을 감소시킨다. 양자화 프로세스는 그 계수들의 일부 또는 모두와 연관되는 비트 심도를 감소시킬 수도 있다. 예를 들어, n-비트 값은 양자화 동안 m-비트 값까지 절사될 수도 있으며, 여기서, n 은 m 보다 더 크다. 양자화 이후, 비디오 인코더는 변환 계수들을 스캐닝하여, 양자화된 변환 계수들을 포함하는 2차원 매트릭스로부터 1차원 벡터를 발생할 수도 있다. 여러 제로-값 양자화된 변환 계수들이 있을 수도 있기 때문에, 비디오 인코더는 제로-값 양자화된 변환 계수에 도달 시 스캐닝을 중지시켜, 1차원 벡터에서 계수들의 개수를 감소시키도록 구성될 수도 있다. 스캐닝은 어레이의 전면에 더 높은 에너지 (따라서, 더 낮은 주파수) 계수들을 배치하고, 그리고 어레이의 후면에 더 낮은 에너지 (따라서, 더 높은 주파수) 계수들을 배치하도록 설계될 수도 있다.
비디오 인코더는 그 후 최종 어레이를 엔트로피 인코딩하여, 데이터를 더욱더 추가로 압축할 수도 있다. 일부 예들에서, 비디오 인코더는 가변 길이 코드들 (VLCs) 을 이용하여, 예컨대, 컨텍스트-적응적 변수-길이 코딩 (CAVLC) 을 이용하여, 어레이의 여러 가능한 양자화된 변환 계수들을 나타내도록 구성될 수도 있다. 다른 예들에서, 비디오 인코더는 2진 산술 코딩을 이용하여, 예컨대, 컨텍스트-적응 2진 산술 코딩 (CABAC) 을 이용하여, 최종 양자화된 계수들을 인코딩하도록 구성될 수도 있다.
비디오 인코더 (20) 는 구문 데이터, 예컨대 블록-기반의 구문 데이터, 프레임-기반의 구문 데이터, 및 GOP-기반의 구문 데이터를, 비디오 디코더 (30) 로, 예컨대, 프레임 헤더, 블록 헤더, 슬라이스 헤더, 또는 GOP 헤더로 추가로 전송할 수도 있다. GOP 구문 데이터는 각각의 GOP 에서의 다수의 프레임들을 기술할 수도 있으며, 프레임 구문 데이터는 대응하는 프레임을 인코딩하는데 사용되는 인코딩/예측 모드를 나타낼 수도 있다.
HEVC (High Efficiency Video Coding) 로서 현재 지칭되는 새로운 비디오 코딩 표준을 개발하려는 노력들이 현재 계속되고 있다. 차기 표준은 또한 H.265 로서 지칭된다. 이 표준화 노력들은 HEVC 테스트 모델 (HM) 로서 지칭되는 비디오 코딩 디바이스의 모델에 기초한다. HM 은 예컨대, ITU-T H.264/AVC 에 따른 디바이스들을 넘어서는 비디오 코딩 디바이스들의 여러 능력들을 가정한다. 예를 들어, H.264 는 9개의 인트라-예측 인코딩 모드들을 제공하는 반면, HM 은 33개의 만큼이나 많은 인트라-예측 인코딩 모드들을 제공한다.
HM 비디오 데이터의 블록을 코딩 유닛 (CU) 으로서 지칭한다. 비트스트림 내 구문 데이터가 최대 코딩 유닛 (LCU) 을 정의하며, 이 최대 코딩 유닛은 픽셀들의 개수의 관점에서 최대 코딩 유닛이다. 일반적으로, CU 가 사이즈 구별을 갖지 않는다는 점을 제외하고는, CU 는 H.264 의 매크로블록과 유사한 목적을 갖는다. 따라서, CU 는 서브-CU들로 분할될 수도 있다. 일반적으로, 본 개시물에서 CU 에 대한 언급들은 화상의 최대 코딩 유닛 또는 LCU 의 서브-CU 를 지칭할 수도 있다. LCU 는 서브-CU들로 분할될 수도 있으며, 각각의 서브-CU 는 서브-CU들로 분할될 수도 있다. 비트스트림에 대한 구문 데이터는 LCU 가 분할되는 최대 횟수를 정의할 수도 있으며, 이는 CU 깊이로 지칭된다. 따라서, 비트스트림은 또한 가장 작은 코딩 유닛 (SCU) 을 정의할 수도 있다. 본 개시물은 또한 CU, PU, 또는 TU 중 임의의 것을 지칭하기 위해 용어 “블록" 을 이용한다.
LCU 는 쿼드트리 데이터 구조와 연관될 수도 있다. 일반적으로, 쿼드트리 데이터 구조는 CU 당 하나의 노드를 포함하며, 여기서, 루트 노드는 LCU 에 대응한다. CU 가 4개의 서브-CU들로 분할되면, CU 에 대응하는 노드는 4개의 잎 노드들을 포함하며, 각각의 잎 노드는 서브-CU들 중 하나에 대응한다. 쿼드트리 데이터 구조의 각각의 노드는 대응하는 CU 에 대해 구문 데이터를 제공할 수도 있다. 예를 들어, 쿼드트리에서 노드는 그 노드에 대응하는 CU 가 서브-CU들로 분할될지 여부를 나타내는 분할 플래그를 포함할 수도 있다. CU 에 대한 구문 엘리먼트들은 회귀적으로 정의될 수도 있으며, CU 가 서브-CU들로 분할되는지 여부에 의존할 수도 있다.
분할되지 않은 CU 는 하나 이상의 예측 유닛들 (PU들) 을 포함할 수도 있다. 일반적으로, PU 는 대응하는 CU 의 모두 또는 부분을 나타내며, PU 에 대한 참조 샘플을 취출하기 위한 데이터를 포함한다. 예를 들어, PU 가 인트라-모드 인코딩될 때, PU 는 PU 에 대한 인트라-예측 모드를 기술하는 데이터를 포함할 수도 있다. 또 다른 예로서, PU 가 인터-모드 인코딩될 때, PU 는 PU 에 대한 모션 벡터를 정의하는 데이터를 포함할 수도 있다. 모션 벡터를 정의하는 데이터는 예를 들어, 모션 벡터의 수평 성분, 모션 벡터의 수직 성분, 모션 벡터에 대한 해상도 (예컨대, 1/4 픽셀 정밀도 또는 1/8 픽셀 정밀도), 모션 벡터가 가리키는 참조 프레임, 및/또는 모션 벡터에 대한 참조 리스트 (예컨대, 리스트 0 또는 리스트 1) 를 기술할 수도 있다. PU(들) 을 정의하는 CU 에 대한 데이터는 또한 예를 들어, 하나 이상의 PU들로의 CU 의 파티셔닝을 기술할 수도 있다. 모드들을 파티셔닝하는 것은 CU 가 코딩되지 않거나, 인트라-예측 모드 인코딩되거나, 또는 인터-예측 모드 인코딩되는지 여부에 따라 상이할 수도 있다.
하나 이상의 PU들을 갖는 CU 는 또한 하나 이상의 변환 유닛들 (TU들) 을 포함할 수도 있다. PU 를 이용한 예측 이후, 비디오 인코더는 PU 에 대응하는 CU 의 부분에 대한 잔여 값을 계산할 수도 있다. 이 잔여 값은 변환되고, 스캐닝되고, 그리고 양자화될 수도 있다. TU 는 PU 의 사이즈에 반드시 제한될 필요는 없다. 따라서, TU들은 동일한 CU 에 대한 대응하는 PU들 보다 더 크거나 또는 더 작을 수도 있다. 일부 예들에서, TU 의 최대 사이즈는 대응하는 CU 의 사이즈에 대응할 수도 있다.
위에서 언급한 바와 같이, 인트라-예측은 동일한 화상의 이전에 코딩된 CU들로부터 화상의 현재의 CU 의 PU 를 예측하는 것을 포함한다. 좀더 구체적으로는, 비디오 인코더는 특정의 인트라-예측 모드를 이용하여 화상의 현재의 CU 를 인트라-예측할 수도 있다. HM 인코더는 33개까지의 방향성 인트라-예측 모드들 및 2개의 비-방향성 인트라-예측 모드들로 구성될 수도 있다.
HM 인코더는 블록에 이용가능한 인트라-예측 모드들의 세트가 블록의 사이즈에 기초하여 상이하도록 구성될 수도 있다. 즉, 예측 유닛 (PU) 의 사이즈는 PU 에 이용가능한 인트라-예측 모드들의 개수를 결정할 수도 있으며, 이로부터 인코더가 PU 를 예측할 인트라-예측 모드를 선택할 수도 있다. 아래의 테이블 1 은 예측 유닛 사이즈들과 그 사이즈의 PU들에 이용가능한 방향성 인트라-예측 모드들의 개수 사이의 대응의 일 예를 예시한다.
예측 유닛 사이즈 방향성 인트라-예측 모드들의 개수
4x4 33
8x8 33
16x16 33
32x32 33
본 개시물의 기법들에 따르면, 비디오 인코더 (20) 는 2차 경계 필터링을 인에이블할지 또는 디스에이블할지 여부를 결정하도록 구성될 수도 있다. 즉, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 1차 경계를 이용하여 예측되어진 비디오 데이터의 인트라-예측된 블록에 필터를 적용할지 여부를 결정하도록 구성될 수도 있으며, 여기서, 필터는 2차 경계의 데이터를 이용한다. 비디오 인코더 (20) 는 비디오 디코더 (30) 가 비디오 데이터의 특정의 블록들에 대한 2차 경계 필터링을 수행해야 하는지 여부를 나타내는 정보를 비디오 디코더 (30) 에 제공하도록 구성될 수도 있다. 이의 대안으로, 비디오 디코더 (30) 는 2차 경계 필터링을 수행할지 여부를 결정하는 비디오 인코더 (20) 의 기법들과 유사한 기법들을 수행할 수도 있다. 어느 경우에나, 비디오 디코더 (30) 는 비디오 데이터의 인트라-코딩된 블록들 사이의 경계들에 대해 2차 경계 필터링을 수행할지 여부를 결정하도록 구성될 수도 있다.
좀더 자세하게 설명하면, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 비디오 데이터의 어떤 블록들을 인트라-예측하도록 구성될 수도 있다. 인트라-예측 모드들은 예컨대, 도 4 에 예시된 바와 같이, 방향성 인트라-예측 모드들을 포함하며, 아래에서 더욱더 자세하게 설명된다. 다른 인트라-예측 모드들은 DC 모드 및 평면 모드와 같은, 비-방향성 인트라-예측 모드들을 포함한다. 어떤 방향성 인트라-예측 모드들은 상대적 수평 또는 상대적 수직으로서 설명될 수도 있는 반면, 다른 방향성 인트라-예측 모드들은 상대적 대각선으로서 설명될 수도 있다.
본 개시물에서 설명하는 바와 같이, 상대적 수평 및 상대적으로 수직의 인트라-예측 모드들은 하나의 1차 경계로부터의 데이터를 활용하여 대응하는 블록을 예측하는 모드들인 반면, 상대적 대각선 인트라-예측 모드들은 2개의 경계들로부터의 데이터를 활용하여 대응하는 블록을 예측하는 모드들이다. 예를 들어, 상대적 수평 예측 모드들은 블록의 좌측면 경계로부터의 데이터를 활용하여 블록을 예측하는 반면, 상대적 수직 예측 모드들은 블록의 최상부측 경계로부터의 데이터를 활용하여 블록을 예측한다. 따라서, 좌측면 경계는 상대적 수평 예측 모드들에 대한 1차 경계로서 간주될 수도 있는 반면, 최상부측 경계는 상대적 수직 예측 모드들에 대한 1차 경계로서 간주될 수도 있다.
한편, 상대적 대각선 인트라-예측 모드들은, 좌측면 경계 및 최상부측 경계 양자의 데이터를 이용하며, 따라서, 최상부측 경계도, 좌측면 경계도 이들 모드들에 대한 1차 경계로서 간주되지 않는다. 이의 대안으로, 다른 예들에서는, 상대적 대각선 인트라-예측 모드들에 대해, 경계들 양자가 1차로서 간주될 수도 있거나, 또는 (예측에 대한 기여의 관점에서) 더 많이 가중된 경계가 1차로서 간주될 수도 있다. DC 및 평면 모드들과 같은, 비-방향성 인트라-예측 모드들에 있어, 최상부측 경계 및 좌측면 경계 양자는 1차 경계들로서 간주될 수도 있다. 이와 유사하게, 비-방향성 인트라-예측 모드들의 경우에 경계들 양자로부터의 데이터가 2차 경계 필터링을 수행하는데 사용될 수도 있다.
본 개시물의 기법들에 따르면, 블록을 1차 경계의 데이터를 이용하여 (예컨대, 상대적 수평 또는 상대적 수직 방향성 인트라-예측 모드를 이용하여) 인트라-예측한 후, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 예측된 블록을 필터링할지 여부를 블록의 2차 경계의 데이터를 이용하여 결정할 수도 있다. 예를 들어, 예측된 블록을 현재의 블록의 좌측면 경계의 데이터를 1차 경계로서 이용하여 형성한 후, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 예측된 블록을 필터링할지 여부를 최상부측 경계의 데이터를 2차 경계로서 이용하여 결정할 수도 있다. 위에서 설명한 바와 같이, 예측된 블록을 좌측면 경계의 데이터를 1차 경계로서 이용하여 형성하는 것은 현재의 블록을 상대적으로 수평의 인트라-예측 모드를 이용하여 인트라-예측하는 것으로부터 기인할 수도 있다. 또 다른 예로서, 예측된 블록을 현재의 블록의 최상부측 경계의 데이터를 1차 경계로서 이용하여 형성한 후, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 예측된 블록을 필터링할지 여부를 좌측면 경계의 데이터를 2차 경계로서 이용하여 결정할 수도 있다. 또한 위에서 설명한 바와 같이, 예측된 블록을 최상부측 경계의 데이터를 1차 경계로서 이용하여 형성하는 것은 현재의 블록을 상대적으로 수직의 인트라-예측 모드를 이용하여 인트라-예측하는 것으로부터 기인할 수도 있다.
2차 경계 필터를 예측된 블록에 적용할지 여부를 결정하기 위해, (일 예로서) 비디오 인코더 (20) 는 경계 관계를 나타내는 값을 계산할 수도 있다. 경계 관계 값으로서 지칭될 수도 있는 이런 값은, 2차 경계의 값들에 대한 1차 경계의 값들 사이의 관계를 기술할 수도 있거나, 또는 예측된 블록 자체의 값들에 대한 1차 및/또는 2차 경계의 값들 사이의 관계를 기술할 수도 있다. 경계 관계 값을 계산한 후, 비디오 인코더 (20) 는 그 값이 임계치를 초과하는지 여부에 기초하여 2차 경계 필터를 예측된 블록에 적용할지 여부를 결정할 수도 있다. 비디오 인코더 (20) 는 예를 들어, 라플라시안 또는 기울기 차이들을 이용하여, 경계 관계 값을 계산할 수도 있다.
비디오 디코더 (30) 는 또한 비디오 인코더 (20) 와 유사하게, 경계 관계 값을 계산할 수도 있다. 이의 대안으로, 비디오 인코더 (20) 는 예측된 블록을 필터링할지 여부를 나타내는 시그널링 데이터를 코딩하도록 구성될 수도 있다. 즉, 비디오 인코더 (20) 는 예측된 블록을 2차 경계의 데이터를 이용하여 필터링할지 여부를 나타내는 구문 정보를 인코딩할 수도 있다. 이와 유사하게, 비디오 디코더 (30) 는 예측된 블록을 2차 경계의 데이터를 이용하여 필터링할지 여부를 나타내는 구문 정보를 디코딩하도록 구성될 수도 있다. 따라서, 2차 경계 값을 계산하는 대신, 비디오 디코더 (30) 는 디코딩된 구문 데이터에 기초하여, 예측된 블록을 2차 경계의 데이터를 이용하여 선택적으로 필터링할 수도 있다.
위에서 설명한 바와 같이, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 1차 경계의 데이터를 이용하여 예측되어진 예측된 블록을 필터링할지 여부를, 2차 경계의 데이터를 이용하여 결정하도록 구성될 수도 있다. 이런 필터링은 2차 경계 필터링으로서 지칭될 수도 있다. 일반적으로, 2차 경계 필터링은 예측된 블록의 데이터를 2차 경계의 데이터를 이용하여 수정하는 것을 수반한다. 예를 들어, 2차 경계를 따른 하나 이상의 픽셀들의 값들은 예측된 블록의 하나 이상의 픽셀들의 값들을 수정하기 위해 수학적으로 적용될 수도 있다. 2차 경계 필터링의 일 예로서, 1차 경계를 이용하여 인트라-예측된 블록에서 발생되는 각각의 픽셀 값에 대해, 오프셋은 2차 경계에서의 2개의 특정의 픽셀 값들 사이의 가중된 차이에 기초하여 계산될 수도 있다. 오프셋은 수정된 픽셀 값을 발생하기 위해 예측된 블록에서의 픽셀 값에 가산될 수 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 는 또한 예측된 블록이 2차 경계의 데이터를 이용하여 필터링되었든 되지 않았든, 인트라-예측된 블록을 코딩할 수도 있다. 즉, 그 예측된 블록이 필터링되지 않았으면, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 예측된 블록을 이용하여 코딩할 수도 있다. 특히, 비디오 인코더 (20) 는 예측된 블록과 원래 블록 사이의 픽셀 단위 차이들을 나타내는 잔여 값들을 계산한 후, 그 잔여 값들을 코딩할 수도 있다 (예컨대, 변환하고, 양자화하고, 그리고 엔트로피 인코딩할 수도 있다). 비디오 디코더 (30) 는, 이와 유사하게, 잔여 값들을 디코딩하고 그 잔여 값들을 예측된 블록을 합산하여 블록을 디코딩할 수도 있다.
한편, 예측된 블록이 2차 경계 필터링되었으면, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 블록을 필터링된 예측된 블록을 이용하여 코딩할 수도 있다. 특히, 비디오 인코더 (20) 는 필터링된 예측된 블록과 원래 블록 사이의 픽셀 단위 차이들을 나타내는 잔여 값들을 계산한 후, 그 잔여 값들을 코딩할 수도 있다 (예컨대, 변환하고, 양자화하고, 그리고 엔트로피 인코딩할 수도 있다). 비디오 디코더 (30) 는, 이와 유사하게, 잔여 값들을 디코딩하고 그 잔여 값들을 필터링된 예측된 블록과 합산하여, 그 블록을 디코딩할 수도 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 적용가능한 경우, 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSP들), 주문형 집적회로들 (ASIC들), 필드 프로그래밍가능 게이트 어레이들 (FPGA들), 이산 로직 회로, 소프트웨어, 하드웨어, 펌웨어 또는 임의의 이들의 조합들과 같은, 다양한 적합한 인코더 또는 디코더 회로 중 임의의 회로로서 구현될 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 하나 이상의 인코더들 또는 디코더들에 포함될 수도 있으며, 이들 중 어느 쪽이든 결합된 비디오 인코더/디코더 (코덱) 의 부분으로서 통합될 수도 있다. 비디오 인코더 (20) 및/또는 비디오 디코더 (30) 를 포함하는 장치는 집적 회로, 마이크로프로세서, 및/또는 무선 통신 디바이스, 예컨대 셀룰러 전화기를 포함할 수도 있다.
이와 같이, 비디오 인코더 (20) 및 비디오 디코더 (30) 각각은, 블록의 1차 경계에 따른 픽셀들의 값들을 이용하여 비디오 데이터의 블록을 인트라-예측하여 예측된 블록을 형성하고, 그 예측된 블록을 필터링할지 여부를 블록의 2차 경계의 데이터를 이용하여 결정하고, 그리고 예측된 블록을 필터링하기로 결정하는 것에 응답하여, 예측된 블록을 2차 경계의 데이터를 이용하여 필터링하도록 구성되는 비디오 코더의 일 예를 나타낸다.
위에서 언급한 바와 같이, 비디오 데이터의 블록을 인트라-예측하는 것은 비디오 데이터의 현재의 블록을 예컨대, 상대적 수평 또는 상대적으로 수직의 인트라-예측 모드를 이용하여 인트라-예측하는 것을 포함할 수도 있다. 도 4 와 관련하여 더 자세히 설명한 바와 같이, 상대적 수평 및 상대적으로 수직의 인트라-예측 모드들은, 본 개시물에서, 현재의 블록의 주로 하나의 경계의 데이터를 이용하는 모드들이다. 1차 경계는 예를 들어, 좌측면 경계 또는 최상부측 경계에 대응할 수도 있다. 특히, 좌측면 경계는 하나 이상의 좌측-이웃하는 블록들의 픽셀들을 포함하는 반면, 최상부측 경계는 하나 이상의 최상부-이웃하는 블록들의 픽셀들을 포함한다.
본 개시물은 주로 상대적 수평 또는 상대적으로 수직의 인트라-예측 모드의 사용에 대응하는 것으로 이들 기법들을 설명하지만, 이들 기법들은 또한 상대적 대각선 인트라-예측 모드들 및/또는 비-방향성 인트라-예측 모드들, 예컨대 DC 모드 및 평면 모드에 적용될 수도 있다. 예를 들어, DC 모드 및 평면 모드에서, 경계들 양자는 1차 경계들 및 2차 경계들로서 간주될 수도 있다.
예측된 블록을 필터링할지 여부를 결정하는 것은 위에서 설명한 바와 같이, 라플라시안 경계 관계 값 및/또는 기울기 차이 경계 관계 값을 계산하는 것을 포함할 수도 있다. 더욱이, 예측된 블록을 필터링할지 여부를 결정하는 것은 경계 관계 값을 임계값에 비교하는 것을 포함할 수도 있다. 임계값은 그 경계 관계 값이 계산되어진 방법에 고유할 수도 있다. 예를 들어, 제 1 임계값은 라플라시안 경계 관계 값들에 대해 정의될 수도 있으며, 제 2 임계값은 기울기 차이 경계 관계 값들에 대해 정의될 수도 있다. 일부 예들에서, 경계 관계 값이 임계치 미만일 때, 2차 경계 필터링은 인에이블될 수도 있다.
도 2 는 2차 경계 필터링을 수행할지 여부를 결정하는 기법들을 구현할 수도 있는 비디오 인코더 (20) 의 일 예를 예시하는 블록도이다. 비디오 인코더 (20) 는 블록들, 또는 블록들의 파티션들 또는 서브-파티션들을 포함한, 비디오 프레임들 내 블록들의 인트라-코딩 및 인터-코딩을 수행할 수도 있다. 인트라 코딩은 주어진 비디오 프레임 내 비디오에서 공간 리던던시를 감소시키거나 제거하기 위해 공간 예측에 의존한다. 인터-코딩은 비디오 시퀀스의 인접 프레임들 내 비디오에서 시간 리던던시를 감소시키거나 제거하기 위해 시간 예측에 의존한다. 인트라-모드 (I-모드) 는 여러 공간 기반의 압축 모드들 중 임의의 모드를 지칭할 수도 있으며, 단방향 예측 (P-모드) 또는 양방향 예측 (B-모드) 과 같은 인터-모드들 중 임의의 모드는 여러 시간-기반의 압축 모드들 중 임의의 모드를 지칭할 수도 있다. 인터-모드 인코딩을 위한 구성요소들이 도 2 에 도시되지만, 비디오 인코더 (20) 는 인트라-모드 인코딩을 위한 구성요소들을 더 포함할 수도 있는 것으로 이해되어야 한다. 그러나, 이런 구성요소들은 간결성과 명확성을 위해 도시되지 않는다.
도 2 에 나타낸 바와 같이, 비디오 인코더 (20) 는 인코딩될 비디오 프레임 내에서 현재의 비디오 블록을 수신한다. 도 2 의 예에서, 비디오 인코더 (20) 는 모드 선택 유닛 (40), 참조 프레임 메모리 (64), 합산기 (50), 변환 프로세싱 유닛 (52), 양자화 유닛 (54), 및 엔트로피 코딩 유닛 (56) 을 포함한다. 모드 선택 유닛 (40) 은, 따라서, 모션 보상 유닛 (44), 모션 추정 유닛 (42), 인트라-예측 유닛 (46), 필터링 유닛 (66), 및 파티션 유닛 (48) 을 포함한다. 비디오 블록 재구성을 위해, 비디오 인코더 (20) 는 또한 역양자화 유닛 (58), 역변환 유닛 (60), 및 합산기 (62) 를 포함한다. 게다가, 비디오 인코더 (20) 는 디-블록커 (미도시) 를 포함할 수도 있으며, 이 디-블록커는 합산기 (62) 의 출력을 디-블록킹하고 그 디블록킹된 비디오 데이터를 참조 프레임 메모리 (64) 에 저장할 수도 있다.
인코딩 프로세스 동안, 비디오 인코더 (20) 는 코딩될 비디오 프레임 또는 슬라이스를 수신한다. 이 프레임 또는 슬라이스는 다수의 비디오 블록들로 분할될 수도 있다. 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은 시간 압축을 제공하기 위해 하나 이상의 참조 프레임들에서 하나 이상의 블록들에 대해 그 수신된 비디오 블록의 인터-예측 코딩을 수행한다. 인트라-예측 유닛 (46) 은 대안적으로 공간 압축을 제공하기 위해, 코딩되는 블록과 동일한 프레임 또는 슬라이스에서 하나 이상의 이웃하는 블록들에 대해, 수신된 비디오 블록의 인트라-예측 코딩을 수행할 수도 있다. 본 개시물의 기법들에 따르면, 아래에서 더 자세히 설명하는 바와 같이, 인트라-예측 유닛 (46) 은 필터링 유닛 (66) 을 이용하여, 예측된 블록을 필터링할 수도 있다, 예컨대, 2차 경계 필터링을 수행할 수도 있다. 비디오 인코더 (20) 는 예컨대, 비디오 데이터의 각각의 블록에 대해 적합한 코딩 모드를 선택하기 위해, 다수의 코딩 과정들 (passes) 을 수행할 수도 있다.
더욱이, 파티션 유닛 (48) 은 이전 코딩 패스들에서의 이전 파티셔닝 방식들의 평가에 기초하여, 비디오 데이터의 블록들을 서브-블록들로 파티셔닝할 수도 있다. 예를 들어, 파티션 유닛 (48) 은 레이트-왜곡 분석 (예컨대, 레이트-왜곡 최적화) 에 기초하여, 처음에 프레임 또는 슬라이스를 LCU들로 파티셔닝하고, LCU들의 각각을 서브-CU들로 파티셔닝할 수도 있다. 모드 선택 유닛 (40) 은 서브-CU들로의 LCU 의 파티셔닝을 나타내는 쿼드트리 데이터 구조를 추가로 발생할 수도 있다. 쿼드트리의 리프-노드 CU들은 하나 이상의 PU들 및 하나 이상의 TU들을 포함할 수도 있다.
모드 선택 유닛 (40) 은 에러 결과들에 기초하여 코딩 모드들, 즉 인트라 또는 인터 중 하나를 선택할 수도 있으며, 최종 인트라-또는 인터-코딩된 블록을 합산기 (50) 에 제공하여 잔여 블록 데이터를 발생하고, 그리고 합산기 (62) 에 제공하여 참조 프레임으로서 사용을 위해 그 인코딩된 블록을 재구성한다. 모드 선택 유닛 (40) 은 또한 모션 벡터들, 인트라-모드 표시자들, 파티션 정보, 및 다른 이런 구문 정보와 같은 구문 엘리먼트들을 엔트로피 코딩 유닛 (56) 에 제공한다.
모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은 고도로 통합될 수도 있지만, 개념적인 목적들을 위해 별개로 예시된다. 모션 추정은 비디오 블록들에 대한 모션을 추정하는 모션 벡터들을 발생하는 프로세스이다. 모션 벡터는, 예를 들어, 현재의 프레임 내 코딩중인 현재의 블록 (또는, 다른 코딩된 유닛) 에 상대적인, 예측 참조 프레임 내 예측 블록 (또는, 다른 코딩된 유닛) 의 변위를 나타낼 수도 있다. 예측 블록은 픽셀 차이의 관점에서, 코딩될 블록과 가깝게 일치하는 것으로 발견되는 블록이며, SAD (sum of absolute difference ), SSD (sum of square difference), 또는 다른 차이 메트릭들에 의해 결정될 수도 있다. 모션 벡터는 또한 블록의 파티션의 변위를 나타낼 수도 있다. 모션 보상은 예측 블록을 모션 추정에 의해 결정된 모션 벡터에 기초하여 페치하거나 또는 발생하는 것을 수반할 수도 있다. 또, 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은 일부 예들에서, 기능적으로 통합될 수도 있다.
모션 추정 유닛 (42) 은 참조 프레임 메모리 (64) 에서의 참조 프레임의 비디오 블록들을 비교함으로써 인터-코딩된 프레임의 비디오 블록에 대한 모션 벡터를 계산한다. 모션 보상 유닛 (44) 은 또한 참조 프레임, 예컨대, I-프레임 또는 P-프레임의 서브-정수 픽셀들을 내삽할 수도 있다. ITU H.264 표준은, 일 예로서, 2개의 리스트들: 인코딩 중인 현재의 프레임보다 빠른 디스플레이 순서를 갖는 참조 프레임들을 포함하는 리스트 0, 및 인코딩중인 현재의 프레임보다 더 늦은 디스플레이 순서를 갖는 참조 프레임들을 포함하는 리스트 1 을 기술한다. 따라서, 참조 프레임 메모리 (64) 에 저장된 데이터는 이들 리스트들에 따라서 편성될 수도 있다.
모션 추정 유닛 (42) 은 참조 프레임 메모리 (64) 로부터의 하나 이상의 참조 프레임들의 블록들을 현재의 프레임의 인코딩되는 블록, 예컨대, P-프레임 또는 B-프레임과 비교한다. 참조 프레임 메모리 (64) 에서의 참조 프레임들이 서브-정수 픽셀들에 대한 값들을 포함할 때, 모션 추정 유닛 (42) 에 의해 계산된 모션 벡터는 참조 프레임의 서브-정수 픽셀 로케이션을 참조할 수도 있다. 모션 추정 유닛 (42) 및/또는 모션 보상 유닛 (44) 은 또한 어떤 서브-정수 픽셀 위치들에 대한 값들도 참조 프레임 메모리 (64) 에 저장되어 있지 않으면, 참조 프레임 메모리 (64) 에 저장된 참조 프레임들의 서브-정수 픽셀 위치들에 대한 값들을 계산하도록 구성될 수도 있다. 모션 추정 유닛 (42) 은 그 계산된 모션 벡터를 엔트로피 코딩 유닛 (56) 및 모션 보상 유닛 (44) 으로 전송한다. 모션 벡터에 의해 식별되는 참조 프레임 블록은 예측 블록으로서 지칭될 수도 있다. 모션 보상 유닛 (44) 은 예측 데이터를 예측 블록에 기초하여 계산할 수도 있다.
인트라-예측 유닛 (46) 은 위에서 설명된 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 에 의해 수행되는 인터-예측에 대한 대안으로서, 현재의 블록을 인트라-예측할 수도 있다. 특히, 인트라-예측 유닛 (46) 은 현재의 블록을 인코딩하는데 사용할 인트라-예측 모드를 결정할 수도 있다. 일부 예들에서, 인트라-예측 유닛 (46) 은 예컨대, 별개의 인코딩 과정들 동안 여러 인트라-예측 모드들을 이용하여 현재의 블록을 인코딩할 수도 있으며, 인트라-예측 유닛 (46) (또는, 일부 예들에서는, 모드 선택 유닛 (40)) 은 테스트된 모드들로부터 사용할 적합한 인트라-예측 모드를 선택할 수도 있다.
예를 들어, 인트라-예측 유닛 (46) 은 여러 테스트된 인트라-예측 모드들에 대한 레이트-왜곡 분석을 이용하여 레이트-왜곡 값들을 계산하고, 그 테스트된 모드들 중에서 최상의 레이트-왜곡 특성들을 갖는 인트라-예측 모드를 선택할 수도 있다. 레이트-왜곡 분석은 일반적으로 인코딩된 블록과 그 인코딩된 블록을 발생하기 위해 인코딩되었던 원래의 미인코딩된 블록 사이의 왜곡의 양 (또는, 에러) 뿐만 아니라, 그 인코딩된 블록을 발생하는데 사용되는 비트 레이트 (즉, 비트들의 수) 를 결정한다. 인트라-예측 유닛 (46) 은 여러 인코딩된 블록들에 대한 왜곡들 및 레이트들로부터 비율들 (비들) 을 계산하여, 어느 인트라-예측 모드가 그 블록에 대해 최상의 레이트-왜곡 값을 나타내는 지를 결정할 수도 있다. 블록에 대한 인트라-예측 모드를 선택한 후, 인트라-예측 유닛 (46) 은 그 블록에 대한 선택된 인트라-예측 모드를 나타내는 정보를 엔트로피 코딩 유닛 (56) 에 제공할 수도 있다.
본 개시물의 기법들에 따르면, 인트라-예측 유닛 (46) 은 비디오 데이터의 블록 (예컨대, PU) 의 인트라-예측 코딩 동안 2차 경계 필터링을 (전체적으로 또는 부분적으로) 선택적으로 인에이블하거나 또는 디스에이블할 수도 있다. 특히, 인트라-예측 유닛 (46), 또는 모드 선택 유닛 (40) 은 현재의 블록, 예컨대, 현재의 PU 의 2개의 경계들, 예컨대, 좌측-이웃하는 경계와 상부-이웃하는 경계 사이의 경계 관계를 나타내는 값을 계산할 수도 있다. 이의 대안으로, 인트라-예측 유닛 (46), 또는 모드 선택 유닛 (40) 은 현재의 블록 (예컨대, 현재의 PU) 의 경계와 현재의 블록의 픽셀 값들 사이의 경계 관계를 나타내는 값을 계산할 수도 있다.
일반적으로, 필터링 유닛 (66) 은, 인트라-예측 유닛 (46) 을 대신하여, 경계 관계에 적어도 부분적으로 기초하여, 비디오 데이터의 예측된 블록을 필터링한다. 좀더 자세하게 설명하면, (도 5 와 관련하여 더욱더 자세하게 설명한 바와 같이) 본 개시물의 기법들에 따르면, 인트라-예측 유닛 (46) 은 비디오 데이터의 인트라-예측된 블록들의 2차 경계 필터링을 인에이블할지 또는 디스에이블할지 여부를 결정할 수도 있다. 선택적으로 2차 경계 필터링을 인에이블하거나 또는 디스에이블하는 것은 블록, 예컨대, PU 에 대한 예측된 값을 향상시킴으로써, 그 블록에 대한 BD-레이트를 향상시킬 수도 있다. 인트라-예측 유닛 (46) (또는, 모드 선택 유닛 (40)) 이 2차 경계 필터링을 인에이블할 때, 필터링 유닛 (66) 은 비디오 데이터의 예측된 블록 (예컨대, PU) 을 필터링할 수도 있다. 모드 선택 유닛 (40) 은 또한 예측된 블록 (또는, 필터링 유닛 (66) 에 의한 필터링이 뒤따름, 필터링된 예측된 블록) 을 합산기 (50) 에 제공할 수도 있다.
예측된 블록을 2차 경계를 이용하여 필터링하기 위해, 필터링 유닛 (66) 은 예측된 블록의 개개의 픽셀들 Pij 을 2차 경계의 하나 이상의 값들을 이용하여 수정할 수도 있다. 예를 들어, (i, j) 가 위치 (i, j) 에서의 예측된 블록의 픽셀에 대응한다고 하자, 여기서, 예측된 블록의 상부-좌측 모서리는 위치 (0, 0) 에 있다. Pij 가 예측된 블록의 위치 (i, j) 에서의 픽셀에 대응한다고 하자. P'ij 가 즉, 필터링 유닛 (66) 에 의해 수정될 때와 같이 Pij 의 값을 갖는 위치 (i, j) 에서의 필터링된 픽셀에 대응한다고 하자. 필터링 유닛 (66) 은 상대적으로 수직의 인트라-예측 모드를 이용하여 예측되어진 예측된 블록에 대한 P'ij 를 다음과 같이 계산할 수도 있다:
Figure pct00001
, (1)
여기서, α 는 0 과 1 사이의 분수이며 수직 모드 및 수평 모드에 대해 j 및 i 에 따라서 각각 선택되며, RLi 는 Pij (즉, 위치 i 에서 좌측면 경계에서의 픽셀) 에 대응하는 좌측면 경계에서의 참조 샘플을 나타내며, 그리고 Li 는 현재의 블록의 좌측 칼럼에서 위치 i 에서의 참조 샘플을 나타낸다. 일 예에서, j(i) = 0 일 때 α=1/2, j(i)=1 일 때 α=1/4, j(i)=2 일 때 α=1/8, 그리고 j(i)=3,4 일 때 α=1/16 이다.
필터링 유닛 (66) 은 상대적 수평 인트라-모드를 이용하여 예측되어진 예측된 블록에 대한 P'ij 를 다음과 같이 계산할 수도 있다:
Figure pct00002
, (2)
여기서, α 는 0 과 1 사이의 분수이며 (위에서 언급한 바와 같은) 수직 모드 및 수평 모드에 대해 j 및 i 에 따라서 각각 선택되며, RAj 는 Pij (즉, 위치 j 에서 최상부측 경계에서의 픽셀) 에 대응하는 최상부측 경계에서의 참조 샘플을 나타내며, 그리고 Aj 는 상부 로우에서 위치 j 에서의 참조 샘플을 나타낸다. 위에서 언급한 바와 같이, 일 예에서, j(i) = 0 일 때 α=1/2, j(i)=1 일 때 α=1/4, j(i)=2 일 때 α=1/8, 그리고 j(i)=3,4 일 때 α=1/16 이다.
모드 선택 유닛 (40) 은 비디오 데이터의 현재의 블록을 예측하는데 사용할 인트라-예측 유닛 (46) 을 위한 상대적 수평 또는 상대적으로 수직의 인트라-예측 모드를 선택할 수도 있다. 인트라-예측 유닛 (46) 은 예측된 블록 (예컨대, PU) 를 상대적 수평 또는 상대적으로 수직의 인트라-예측 모드에 따라서 1차 경계의 데이터를 이용하여 형성할 수도 있다. 1차 경계는 예를 들어, 상대적 수평 모드들에 있어 블록의 좌측면 경계 또는 상대적 수직 모드들에 있어 블록의 최상부측 경계에 대응할 수도 있다. 2차 경계는 1차 경계와는 상이한 블록의 경계에 대응할 수도 있다. 예를 들어, 2차 경계는 1차 경계가 좌측면 경계일 때 최상부측 경계에 대응할 수도 있으며, 2차 경계는 1차 경계가 최상부측 경계일 때 좌측면 경계에 대응할 수도 있다. 모드 선택 유닛 (40) 은 블록의 2차 경계의 데이터를 이용하여, 예측된 블록 (즉, 상대적 수평 또는 상대적으로 수직의 인트라-예측 모드를 이용한 인트라-예측으로부터 기인하는 예측된 블록) 을 필터링할지 여부 (즉, 2차 경계 필터링을 수행할지 여부) 를 추가로 결정할 수도 있다.
일부 예들에서, 모드 선택 유닛 (40) 은 경계 관계를 나타내는 값 (또한, 본원에서 경계 관계 값으로 지칭됨) 을 계산할 수도 있다. 모드 선택 유닛 (40) 은 1차 경계의 하나 이상의 픽셀들의 값들과 2차 경계의 하나 이상의 픽셀들의 픽셀 값들, 또는 1차 경계 및 2차 경계 중 적어도 하나의 하나 이상의 픽셀들의 값들과 예측된 블록의 하나 이상의 픽셀들의 픽셀 값들을 나타내도록, 경계 관계 값을 계산할 수도 있다. 모드 선택 유닛 (40) 은 임계치에 대한 경계 관계 값의 비교에 기초하여 2차 경계를 이용하여 예측된 블록을 필터링할지 여부를 결정할 수도 있다.
일부 예들에서, 경계 관계 값을 계산하는 것은 라플라시안 값을 계산하는 것을 포함할 수도 있다. 예를 들어, 인트라-예측 유닛 (46) 이 상대적으로 수평의 인트라-예측 모드를 이용하여 블록을 예측할 때, 모드 선택 유닛 (40) 은 라플라시안 값을 하기 공식에 따라서 계산할 수도 있다:
max (|TR[N-2]-2*TR[N-1]+TR[N]|, |TR[N-3]-2*TR[N-2]+TR[N-1]|).
이 예시적인 함수에서, TR[k] 는 최상부측 경계를 따라서 블록의 좌측 에지로부터 시작하여 k번째 픽셀에 대응하며, 그리고 N 은 블록의 폭을 나타내는 정수 값이다. 좀더 구체적으로는, 블록의 최상부측 경계를 따른 픽셀들은 블록의 폭이 (N+1) 이 되도록, 0 으로부터 N 까지 인덱싱될 수도 있으며, 여기서, 0 은 블록의 최좌측 픽셀을 나타내며 N 은 블록의 최우측 픽셀을 나타낸다.
또 다른 예로서, 인트라-예측 유닛 (46) 이 블록을 상대적으로 수직의 인트라-예측 모드를 이용하여 예측할 때, 모드 선택 유닛 (40) 은 라플라시안 값을 하기 공식에 따라서 계산할 수도 있다:
max (|SR[N-2]-2*SR[N-1]+SR[N]|, |SR[N-3]-2*SR[N-2]+SR[N-1]|).
이 예시적인 함수에서, SR[j] 는 좌측면 경계를 따라서 블록의 최상부 에지로부터 시작하여 j번째 픽셀에 대응하며, 그리고 N 은 블록의 높이를 나타내는 정수 값이다. 좀더 구체적으로는, 블록의 좌측면 경계를 따른 픽셀들은 블록의 높이가 (N+1) 이 되도록, 0 으로부터 N 까지 인덱싱될 수도 있으며, 여기서, 0 은 블록의 최상부측 픽셀을 나타내며 N 은 블록의 최하부측 픽셀을 나타낸다.
위에서는, 상대적 수평 및 상대적으로 수직의 인트라-예측 모드들과 같은 방향성 인트라-예측 모드들의 사용과 관련하여 주로 설명되지만, 본 개시물의 기법들은 또한 2차 경계 필터링을 DC 모드 또는 평면 모드와 같은 비-방향성 인트라-예측 모드에 기인하는 예측된 블록에 적용할지 여부를 결정하는데 적용될 수도 있다. 이런 경우, 라플라시안 값을 계산하는 것은 다음 공식에 따라서 수행될 수도 있다:
max (|TR[N-2]-2*TR[N-1]+TR[N]|, |TR[N-3]-2*TR[N-2]+TR[N-1]|, |SR[N-2]-2*SR[N-1]+SR[N]|, |SR[N-3]-2*SR[N-2]+SR[N-1]|).
상기 예들에서와 같이, 이 예에서, TR[k] 는 최상부측 경계를 따라서 블록의 좌측 에지로부터 시작하여 k번째 픽셀에 대응하며, 한편 SR[j] 는 좌측면 경계를 따라서 블록의 최상부 에지로부터 시작하여 j번째 픽셀에 대응한다. 이 예에서, 블록은 정사각형인 것으로 가정되며, 값 N 은 블록의 높이 및 폭 양자를 나타내는 정수 값이다. 위에서 언급한 바와 같이, 높이는 폭과 동일할 수도 있으며, 높이 및 폭 양자는 블록의 제 1 픽셀들 (최좌측 및 최상부측 픽셀들) 의 제로-인덱싱을 가정하면, (N+1) 과 동일할 수도 있다.
다른 예들에서, 모드 선택 유닛 (40) 은 경계 관계 값을 기울기 차이 값으로서 계산할 수도 있다. 예를 들어, 인트라-예측 유닛 (46) 이 예측된 블록을 상대적으로 수평의 인트라-예측 모드를 이용하여 계산할 때, 모드 선택 유닛 (40) 은 다음 공식에 따라서 경계 관계 값을 계산할 수도 있다:
max (|TR[N]-P[N,0]|, |TR[N-1]-P[N-1,0]|, |TR[N]-P[N-1,0]|, |TR[N-1]-P[N,0]|).
상기 예들에서와 같이, 이 예에서, TR[k] 는 최상부측 경계를 따라서 블록의 좌측 에지로부터 시작하여 k번째 픽셀에 대응하며, 그리고 N 은 블록의 폭을 나타내는 정수 값이다. P(i, j) 는 이 예에서, 위치 (i, j) 에서의 예측된 블록의 픽셀에 대응한다.
또 다른 예로서, 인트라-예측 유닛 (46) 이 예측된 블록을 상대적으로 수직의 인트라-예측 모드를 이용하여 계산할 때, 모드 선택 유닛 (40) 은 다음 공식에 따라서 경계 관계 값을 계산할 수도 있다:
max (|SR[N]-P[0,N]|, |SR[N-1]-P[0,N-1]|, |SR[N]-P[0,N-1]|, |SR[N-1]-P[0,N]|).
상기 예들에서와 같이, 이 예에서, SR[j] 는 좌측면 경계를 따라서 블록의 최상부 에지로부터 시작하여 j번째 픽셀에 대응하며, 그리고 N 은 블록의 높이를 나타내는 정수 값이다.
어쨌든, 모드 선택 유닛 (40) 은 예컨대, 경계 관계 값을 임계값에 비교함으로써, 예측된 블록이 2차 경계 필터링되어야 하는지 여부를 결정할 수도 있다. 일부 예들에서, 모드 선택 유닛 (40) 은 여러 특성들, 예컨대, 경계 관계 값이 라플라시안 값 또는 기울기 차이 값인지 여부에 기초하여 상이한 임계값들을 정의하는 데이터를 포함할 수도 있다. 예측된 블록이 2차 경계 필터링되어야 한다고 모드 선택 유닛 (40) 이 결정하는 경우에, 필터링 유닛 (66) 은 2차 경계 필터를 그 블록에 적용할 수도 있다. 즉, 인트라-예측 유닛 (46) 은 예측된 블록을 나타내는 데이터를 필터링 유닛 (66) 으로 전송할 수도 있으며, 그 필터링 유닛은 그 후 그 데이터를 2차 경계의 데이터를 이용하여 수정할 수도 있다. 인트라-예측 유닛 (46) 또는 모드 선택 유닛 (40) 은 또한 그 경계들 중 어느 경계가 1차 경계로서 간주되는지 및 그 경계들 중 어느 경계가 2차 경계로 간주되는지를 나타내는 데이터를 필터링 유닛 (66) 으로 전송할 수도 있다. 필터링 유닛 (66) 은 참조 프레임 메모리 (64) 로부터 2차 경계의 데이터를 취출하여, 2차 경계 필터링을 수행할 수도 있다.
비디오 인코더 (20) 는 코딩중인 원래 비디오 블록으로부터, 모드 선택 유닛 (40) 으로부터의 예측 데이터 (즉, 예측된 블록) 를 감산함으로써, 잔여 비디오 블록을 형성한다. 합산기 (50) 는 이 감산 동작을 수행하는 구성요소 또는 구성요소들을 나타낸다. 잔여 비디오 블록은 예측된 (그리고, 가능한 한 필터링된) 블록과 그 예측된 블록이 대응하는 원래 블록 사이의 픽셀 단위 차이들을 나타낸다. 좀더 자세하게 설명하면, 모드 선택 유닛 (40) 은, 예측된 블록을 2차 경계 필터링을 이용하여 필터링하지 않기로 모드 선택 유닛 (40) 이 결정할 때, 예측된 블록을 합산기 (50) 로 전송할 수도 있다. 이의 대안으로, 예측된 블록이 2차 경계 필터링되어야 한다고 모드 선택 유닛 (40) 이 결정할 때, 모드 선택 유닛 (40) 은 (필터링 유닛 (66) 에 의해 수행되는 2차 경계 필터링으로부터 기인하는) 필터링된 예측된 블록을 합산기 (50) 로 전송할 수도 있다. 이와 같이, 비디오 인코더 (20) 는 예측된 블록을 필터링하지 않기로 결정하는 것에 응답하여, 그 블록 (즉, 그 예측된 블록이 대응하는 원래 블록) 을 예측된 블록을 이용하여 인코딩하고, 그리고, 예측된 블록을 필터링하기로 결정하는 것에 응답하여, 그 블록을 필터링된 예측된 블록을 이용하여 인코딩할 수도 있다.
변환 프로세싱 유닛 (52) 은 이산 코사인 변환 (DCT) 또는 개념적으로 유사한 변환과 같은 변환을 잔여 블록에 적용하여, 잔여 변환 계수 값들을 포함하는 비디오 블록을 발생한다. 변환 프로세싱 유닛 (52) 은 DCT 와 개념적으로 유사한, H.264 표준 또는 차기 HEVC 표준에 의해 정의되는 변환들과 같은, 다른 변환들을 수행할 수도 있다. 웨이블릿 변환들, 정수 변환들, 서브밴드 변환들 또는 다른 유형들의 변환들이 또한 이용될 수 있다. 어쨌든, 변환 프로세싱 유닛 (52) 은 그 변환을 잔여 블록에 적용하여, 잔여 변환 계수들의 블록을 발생한다. 이 변환은 잔여 정보를 픽셀 값 도메인으로부터 변환 도메인, 예컨대 주파수 도메인으로 변환할 수도 있다. 양자화 유닛 (54) 은 비트 레이트를 추가로 감소시키기 위해 잔여 변환 계수들을 양자화한다. 양자화 프로세스는 그 계수들의 일부 또는 모두와 연관되는 비트 심도를 감소시킬 수도 있다. 양자화의 정도는 양자화 파라미터를 조정함으로써 변경될 수도 있다.
양자화 이후, 엔트로피 코딩 유닛 (56) 은 양자화된 변환 계수들을 엔트로피 코딩한다. 예를 들어, 엔트로피 코딩 유닛 (56) 은 콘텐츠 적응 가변 길이 코딩 (CAVLC), 컨텍스트 적응 2진 산술 코딩 (CABAC), 또는 또 다른 엔트로피 코딩 기법을 수행할 수도 있다. 엔트로피 코딩 유닛 (56) 은 또한 모션 벡터들, 인트라-모드 표시자들, 파티션 정보 등과 같은, 모드 선택 유닛 (40) 으로부터의 구문 엘리먼트들을 엔트로피 코딩할 수도 있다. 엔트로피 코딩 유닛 (56) 에 의한 엔트로피 코딩 이후, 인코딩된 비디오가 또 다른 디바이스로 송신되거나 또는 추후 송신 또는 취출을 위해 아카이브될 수도 있다. 컨텍스트 적응 2진 산술 코딩의 경우, 컨텍스트는 이웃하는 블록들에 기초할 수도 있다.
일부의 경우, 엔트로피 코딩 유닛 (56) 또는 비디오 인코더 (20) 의 또 다른 유닛은 엔트로피 코딩에 더해서, 다른 코딩 기능들을 수행하도록 구성될 수도 있다. 예를 들어, 엔트로피 코딩 유닛 (56) 은 블록들 및 파티션들에 대해 CBP 값들을 결정하도록 구성될 수도 있다. 또한, 일부의 경우, 엔트로피 코딩 유닛 (56) 은 블록 또는 그의 파티션에서의 계수들의 런 길이 코딩을 수행할 수도 있다. 특히, 엔트로피 코딩 유닛 (56) 은 지그-재그 스캐닝 또는 다른 스캐닝 패턴을 적용하여, 그 블록 또는 파티션에서 변환 계수들을 스캐닝하고, 추가적인 압축을 위해 제로들의 런들을 인코딩할 수도 있다. 엔트로피 코딩 유닛 (56) 은 또한 헤더 정보를 인코딩된 비디오 비트스트림으로의 송신에 적합한 구문 엘리먼트들로 구성할 수도 있다.
역양자화 유닛 (58) 및 역변환 유닛 (60) 은 역양자화 및 역변환을 각각 적용하여, 예컨대, 참조 블록으로 추후 사용을 위해, 픽셀 도메인에서 잔여 블록을 재구성한다. 모션 보상 유닛 (44) 은 잔여 블록을 참조 프레임 메모리 (64) 의 프레임들 중 하나의 예측 블록에 가산함으로써, 참조 블록을 계산할 수도 있다. 모션 보상 유닛 (44) 은 또한 하나 이상의 내삽 필터들을 그 재구성된 잔여 블록에 적용하여, 모션 추정에 사용하기 위한 서브-정수 픽셀 값들을 계산할 수도 있다. 합산기 (62) 는 그 재구성된 잔여 블록을 모션 보상 유닛 (44) 에 의해 발생된 모션 보상된 예측 블록에 가산하여, 참조 프레임 메모리 (64) 에의 저장을 위한 재구성된 비디오 블록을 발생한다. 재구성된 비디오 블록은 후속 비디오 프레임에서 블록을 인터-코딩하기 위해 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 에 의해 참조 블록으로서 사용될 수도 있다.
이와 같이, 비디오 인코더 (20) 는 블록의 1차 경계에 따른 픽셀들의 값들을 이용하여 비디오 데이터의 블록을 인트라-예측하여 예측된 블록을 형성하고, 그 예측된 블록을 필터링할지 여부를 블록의 2차 경계의 데이터를 이용하여 결정하고, 그리고 예측된 블록을 필터링하기로 결정하는 것에 응답하여, 예측된 블록을 2차 경계의 데이터를 이용하여 필터링하도록 구성되는 비디오 코더의 일 예를 나타낸다.
도 3 은 2차 경계 필터링을 수행할지 여부를 결정하는 기법들을 구현할 수도 있는 비디오 디코더 (30) 의 일 예를 예시하는 블록도이다. 도 3 의 예에서, 비디오 디코더 (30) 는 엔트로피 디코딩 유닛 (70), 모션 보상 유닛 (72), 인트라 예측 유닛 (74), 필터링 유닛 (84), 역양자화 유닛 (76), 역변환 유닛 (78), 참조 프레임 메모리 (82), 및 합산기 (80) 를 포함한다. 일부 예들에서, 비디오 디코더 (30) 는 디-블록커 (미도시) 를 포함할 수도 있으며, 이 디-블록커는 합산기 (80) 의 출력을 필터링하여 그 디블록킹된 비디오 데이터를 참조 프레임 메모리 (82) 에 저장할 수도 있다. 비디오 디코더 (30) 는 일부 예들에서, 비디오 인코더 (20) (도 2) 에 대해 설명한 인코딩 과정에 일반적으로 반대인 디코딩 과정을 수행할 수도 있다.
모션 보상 유닛 (72) 은 디코딩 유닛 (70) 으로부터 수신된 모션 벡터들에 기초하여 예측 데이터를 발생할 수도 있다. 모션 보상 유닛 (72) 은 비트스트림으로 수신된 모션 벡터들을 이용하여, 참조 프레임 메모리 (82) 에서의 참조 프레임들에서 예측 블록을 식별할 수도 있다. 인트라 예측 유닛 (74) 은 비트스트림으로 수신된 인트라 예측 모드들을 이용하여 공간적으로 인접한 블록들로부터 예측 블록을 형성할 수도 있다.
본 개시물의 기법들에 따르면, 인트라-예측 유닛 (74) 은 비디오 데이터의 블록 (예컨대, PU) 의 인트라-예측 코딩 동안 2차 경계 필터링을 (전체적으로 또는 부분적으로) 선택적으로 인에이블하거나 또는 디스에이블할 수도 있다. 특히, 인트라-예측 유닛 (74) 은 현재의 블록, 예컨대, 현재의 PU 의 2개의 경계들, 예컨대, 좌측-이웃하는 경계와 상부-이웃하는 경계 사이의 경계 관계를 나타내는 값을 계산할 수도 있다. 이의 대안으로, 인트라-예측 유닛 (74) 은 현재의 블록 (예컨대, 현재의 PU) 의 경계와 현재의 블록의 픽셀 값들 사이의 경계 관계를 나타내는 값을 계산할 수도 있다.
이런 예들에서, 인트라-예측 유닛 (74) 은 선택적으로 비디오 데이터의 현재의 블록에 대응하는 예측된 블록을 필터링할지 여부를 경계 관계에 적어도 부분적으로 기초하여 결정할 수도 있다. 좀더 자세하게 설명하면, (예컨대, 도 5 와 관련하여 더욱더 자세하게 설명한 바와 같이) 본 개시물의 기법들에 따르면, 인트라-예측 유닛 (74) 은 비디오 데이터의 인트라-예측된 블록들의 2차 경계 필터링을 인에이블할지 또는 디스에이블할지 여부를 결정할 수도 있다. 선택적으로 2차 경계 필터링을 인에이블하거나 또는 디스에이블하는 것은 블록, 예컨대, PU 에 대한 예측된 값을 향상시킴으로써, 그 블록에 대한 BD-레이트를 향상시킬 수도 있다.
인트라-예측 유닛 (74) 이 경계 관계 값을 계산하는 예들에서, 인트라-예측 유닛 (74) 은 도 2 와 관련하여 설명한 바와 같은 비디오 인코더 (20) 의 방법과 실질적으로 유사한 방법으로 경계 관계 값을 계산할 수도 있다. 예를 들어, 인트라-예측 유닛 (74) 은 라플라시안 값을 계산할 수도 있다. 일 예로서, 인트라-예측 유닛 (74) 이 그 블록 (예컨대, 인트라-예측 모드를 나타내는 현재의 블록에 대한 구문 데이터로 나타낸 바와 같이) 상대적으로 수평의 인트라-예측 모드를 이용하여 예측할 때, 인트라-예측 유닛 (74) 은 라플라시안 값을 하기 공식에 따라서 계산할 수도 있다:
max (|TR[N-2]-2*TR[N-1]+TR[N]|, |TR[N-3]-2*TR[N-2]+TR[N-1]|).
이 예시적인 함수에서, TR[k] 는 최상부측 경계를 따라서 블록의 좌측 에지로부터 시작하여 k번째 픽셀에 대응하며, 그리고 N 은 블록의 폭을 나타내는 정수 값이다. 좀더 구체적으로는, 블록의 최상부측 경계를 따른 픽셀들은 블록의 폭이 (N+1) 이 되도록, 0 으로부터 N 까지 인덱싱될 수도 있으며, 여기서, 0 은 블록의 최좌측 픽셀을 나타내며 N 은 블록의 최우측 픽셀을 나타낸다.
또 다른 예로서, 인트라-예측 유닛 (74) 이 그 블록을 상대적으로 수직의 인트라-예측 모드를 이용하여 (다시, 인트라-예측 모드를 나타내는 구문 데이터에 따라서) 예측할 때, 인트라-예측 유닛 (74) 은 라플라시안 값을 하기 공식에 따라서 계산할 수도 있다:
max (|SR[N-2]-2*SR[N-1]+SR[N]|, |SR[N-3]-2*SR[N-2]+SR[N-1]|).
이 예시적인 함수에서, SR[j] 는 좌측면 경계를 따라서 블록의 최상부 에지로부터 시작하여 j번째 픽셀에 대응하며, 그리고 N 은 블록의 높이를 나타내는 정수 값이다. 좀더 구체적으로는, 블록의 좌측면 경계를 따른 픽셀들은 블록의 높이가 (N+1) 이 되도록, 0 으로부터 N 까지 인덱싱될 수도 있으며, 여기서, 0 은 블록의 최상부측 픽셀을 나타내며, N 은 블록의 최하부측 픽셀을 나타낸다.
위에서는, 상대적 수평 및 상대적으로 수직의 인트라-예측 모드들과 같은 방향성 인트라-예측 모드들의 사용과 관련하여 주로 설명되었지만, 본 개시물의 기법들은 또한 2차 경계 필터링을 DC 모드 또는 평면 모드와 같은 비-방향성 인트라-예측 모드에 기인하는 예측된 블록에 적용할지 여부를 결정하는데 적용될 수도 있다. 이런 경우, 라플라시안 값을 계산하는 것은 다음 공식에 따라서 수행될 수도 있다:
max (|TR[N-2]-2*TR[N-1]+TR[N]|, |TR[N-3]-2*TR[N-2]+TR[N-1]|, |SR[N-2]-2*SR[N-1]+SR[N]|, |SR[N-3]-2*SR[N-2]+SR[N-1]|).
상기 예들에서와 같이, 이 예에서, TR[k] 는 최상부측 경계를 따라서 블록의 좌측 에지로부터 시작하여 k번째 픽셀에 대응하며, 한편 SR[j] 는 좌측면 경계를 따라서 블록의 최상부 에지로부터 시작하여 j번째 픽셀에 대응한다. 이 예에서, 블록은 정사각형인 것으로 가정되며, 값 N 은 블록의 높이 및 폭 양자를 나타내는 정수 값이다. 위에서 언급한 바와 같이, 높이는 폭과 동일할 수도 있으며, 높이 및 폭 양자는 그 블록의 제 1 픽셀들 (최좌측 및 최상부측 픽셀들) 의 제로-인덱싱을 가정하면, (N+1) 과 동일할 수도 있다.
다른 예들에서, 인트라-예측 유닛 (74) 은 경계 관계 값을 기울기 차이 값으로서 계산할 수도 있다. 예를 들어, 인트라-예측 유닛 (74) 이 예측된 블록을 상대적으로 수평의 인트라-예측 모드를 이용하여 계산할 때, 인트라-예측 유닛 (74) 은 (기울기 차이 값에 대응하는) 경계 관계 값을 다음 공식에 따라서 계산할 수도 있다:
max (|TR[N]-P[N,0]|, |TR[N-1]-P[N-1,0]|, |TR[N]-P[N-1,0]|, |TR[N-1]-P[N,0]|).
상기 예들에서와 같이, 이 예에서, TR[k] 는 최상부측 경계를 따라서 블록의 좌측 에지로부터 시작하여 k번째 픽셀에 대응하며, 그리고 N 은 블록의 폭을 나타내는 정수 값이다. P(i, j) 는 이 예에서, 위치 (i, j) 에서의 예측된 블록의 픽셀에 대응한다.
또 다른 예로서, 인트라-예측 유닛 (74) 이 예측된 블록을 상대적으로 수직의 인트라-예측 모드를 이용하여 계산할 때, 인트라-예측 유닛 (74) 은 (기울기 차이 값에 대응하는) 경계 관계 값을 다음 공식에 따라서 계산할 수도 있다:
max (|SR[N]-P[0,N]|, |SR[N-1]-P[0,N-1]|, |SR[N]-P[0,N-1]|, |SR[N-1]-P[0,N]|).
상기 예들에서와 같이, 이 예에서, SR[j] 는 좌측면 경계를 따라서 블록의 최상부 에지로부터 시작하여 j번째 픽셀에 대응하며, 그리고 N 은 블록의 높이를 나타내는 정수 값이다.
어쨌든, 인트라-예측 유닛 (74) 은 예컨대, 경계 관계 값을 임계값에 비교함으로써, 예측된 블록이 2차 경계 필터링되어야 하는지 여부를 결정할 수도 있다. 일부 예들에서, 인트라-예측 유닛 (74) 은 여러 특성들, 예컨대, 경계 관계 값이 라플라시안 값 또는 기울기 차이 값인지 여부에 기초하여 상이한 임계값들을 정의하는 데이터를 포함할 수도 있다. 이런 임계값들은 사전-정의되거나, 또는 비디오 인코더로부터 수신된 구문 엘리먼트들로부터 결정될 수도 있다.
예측된 블록이 2차 경계 필터링되어야 한다고 인트라-예측 유닛 (74) 이 결정하는 경우에, 필터링 유닛 (84) 은 그 블록에 2차 경계 필터를 적용할 수도 있다. 즉, 인트라-예측 유닛 (74) 은 예측된 블록을 나타내는 데이터를 필터링 유닛 (84) 으로 전송할 수도 있으며, 그 필터링 유닛은 그 후 그 데이터를 2차 경계의 데이터를 이용하여 수정할 수도 있다. 인트라-예측 유닛 (74) 은 또한 그 경계들 중 어느 경계가 1차 경계로서 간주되는지 및 그 경계들 중 어느 경계가 2차 경계로 간주되는지를 나타내는 데이터를 필터링 유닛 (84) 으로 전송할 수도 있다. 필터링 유닛 (84) 은 참조 프레임 메모리 (82) 로부터 2차 경계의 데이터를 취출하여, 2차 경계 필터링을 수행할 수도 있다.
예측된 블록을 2차 경계를 이용하여 필터링하기 위해, 필터링 유닛 (84) 은 도 2 의 비디오 인코더 (20) 의 필터링 유닛 (66) 과 관련하여 설명한 기법들과 실질적으로 유사할 수도 있는 방법으로, 예측된 블록의 개개의 픽셀들 Pij 을 2차 경계의 하나 이상의 값들을 이용하여, 수정할 수도 있다. 즉, 필터링 유닛 (84) 은 2차 경계 필터링이 인에이블될 때 예측된 블록의 데이터를 필터링하는데 적합한 수식들 (1) 및/또는 (2) 을 실행할 수도 있다. 예를 들어, (i, j) 가 위치 (i, j) 에서의 예측된 블록의 픽셀에 대응한다고 하자, 여기서 예측된 블록의 상부-좌측 모서리는 위치 (0, 0) 에 있다. Pij 가 예측된 블록의 위치 (i, j) 에서의 픽셀에 대응한다고 하자. P'ij 가 즉, 필터링 유닛 (84) 에 의해 수정될 때와 같이 Pij 의 값을 갖는 위치 (i, j) 에서의 필터링된 픽셀에 대응한다고 하자. 필터링 유닛 (84) 은 상대적으로 수직의 인트라-예측 모드를 이용하여 예측되어진 예측된 블록에 대한 P'ij 를 다음과 같이 계산할 수도 있다:
Figure pct00003
, (1)
여기서, α 는 0 과 1 사이의 분수이며 수직 모드 및 수평 모드에 대해 j 및 i 에 따라서 각각 선택되며, RLi 는 Pij (즉, 위치 i 에서 좌측면 경계에서의 픽셀) 에 대응하는 좌측면 경계에서의 참조 샘플을 나타내며, 그리고 Li 는 현재의 블록의 좌측 칼럼에서 위치 i 에서의 참조 샘플을 나타낸다. 일 예에서, j(i) = 0 일 때 α=1/2, j(i)=1 일 때 α=1/4, j(i)=2 일 때 α=1/8, 그리고 j(i)=3,4 일 때 α=1/16 이다.
필터링 유닛 (84) 은 상대적 수평 인트라-모드를 이용하여 예측되어진 예측된 블록에 대한 P'ij 를 다음과 같이 계산할 수도 있다:
Figure pct00004
, (2)
여기서, α 는 0 과 1 사이의 분수이며 (위에서 언급한 바와 같은) 수직 모드 및 수평 모드에 대해 j 및 i 에 따라서 각각 선택되며, RAj 는 Pij (즉, 위치 j 에서 최상부측 경계에서의 픽셀) 에 대응하는 최상부측 경계에서의 참조 샘플을 나타내며, 그리고 Aj 는 상부 로우에서 위치 j 에서의 참조 샘플을 나타낸다. 위에서 언급한 바와 같이, 일 예에서, j(i) = 0 일 때 α=1/2, j(i)=1 일 때 α=1/4, j(i)=2 일 때 α=1/8, 그리고 j(i)=3,4 일 때 α=1/16 이다.
다른 예들에서, 인트라-예측 유닛 (74) 은 2차 경계 필터링을 수행할지 여부를 나타내는 구문 엘리먼트를 수신할 수도 있다. 이런 예들에서, 인트라-예측 유닛 (74) 은 경계 관계 값을 계산할 필요가 없다. 대신, 인트라-예측 유닛 (74) 은 구문 엘리먼트의 값에 기초하여 2차 경계 필터링을 수행할지 여부를 결정할 수도 있다. 도 2 와 관련하여 설명한 바와 같이, 비디오 인코더 (20) 와 같은 비디오 인코더는 경계 관계 값을 계산하고 그 경계 관계 값을 임계치에 비교하여, 특정의 예측된 블록에 대한 2차 경계 필터링을 수행할지 여부를 결정하고, 그 후 그 결정을 나타내는 구문 엘리먼트를 인코딩할 수도 있다. 따라서, 비디오 디코더 (30) 는 구문 엘리먼트를 디코딩하여, 상대적 수평 또는 상대적으로 수직의 인트라-예측 모드로부터 기인하는 예측된 블록을 필터링할지 여부를 결정할 수도 있다.
역양자화 유닛 (76) 은 엔트로피 디코딩 유닛 (70) 에 의해 비트스트림으로 제공되어 디코딩되는 양자화된 변환 계수들을 역양자화한다, 즉 양자화 해제한다. 역양자화 프로세스는 예컨대, H.264 디코딩 표준 또는 차기 HEVC 표준에 의해 정의된 바와 같은, 종래의 프로세스를 포함할 수도 있다. 역양자화 프로세스는 또한 양자화의 정도, 그리고, 이와 유사하게, 적용되어야 하는 역양자화의 정도를 결정하기 위해, 각각의 블록에 대한 비디오 디코더 (30) 에 의해 계산된 양자화 파라미터 QPY 의 사용을 포함할 수도 있다.
역변환 유닛 (58) 은 역 DCT, 역 정수 변환, 또는 개념적으로 유사한 역변환 프로세스와 같은 역변환을 변환 계수들에 적용하여, 픽셀 도메인에서 잔여 블록들을 발생한다. 모션 보상 유닛 (72) 은 될 수 있는 한 내삽 필터들에 기초하여 내삽을 수행하여 모션 보상된 블록들을 발생한다. 서브-픽셀 정밀도를 갖는 모션 추정에 이용되는 내삽 필터들에 대한 식별자들이 구문 엘리먼트들에 포함될 수도 있다. 모션 보상 유닛 (72) 은 비디오 블록의 인코딩 동안 비디오 인코더 (20) 에 의해 사용된 것과 같은 내삽 필터들을 이용하여, 참조 블록의 서브-정수 픽셀들에 대한 내삽된 값들을 계산할 수도 있다. 모션 보상 유닛 (72) 은 수신된 구문 정보에 따라서 비디오 인코더 (20) 에 의해 이용된 내삽 필터들을 결정하고 그 내삽 필터들을 이용하여, 예측 블록들을 발생할 수도 있다.
모션 보상 유닛 (72) 은 구문 정보의 일부를 이용하여, 인코딩된 비디오 시퀀스의 프레임(들) 을 인코딩하는데 사용되는 블록들의 사이즈들, 어떻게 인코딩된 비디오 시퀀스의 프레임의 각각의 블록이 파티셔닝되는지를 기술하는 파티션 정보, 어떻게 각각의 파티션이 인코딩되는지를 나타내는 모드들, 각각의 인터-인코딩된 블록 또는 파티션에 대한 하나 이상의 참조 프레임들 (및 참조 프레임 리스트들), 및 인코딩된 비디오 시퀀스를 디코딩하기 위한 다른 정보를 결정할 수도 있다. 이의 대안으로, 위에서 설명한 바와 같이, 인트라-예측 유닛 (74) 은 비디오 데이터의 블록들을 인트라-예측할 수도 있다. 더욱이, 인트라-예측 유닛 (74) 은 또한 위에서 설명한 바와 같이, 필터링 유닛 (84) 으로 하여금 예측된 블록을 필터링하도록 할지 여부를 결정할 수도 있다.
합산기 (80) 는 잔여 블록들을 모션 보상 유닛 (72) 또는 인트라-예측 유닛 (74) 에 의해 발생된 대응하는 예측 블록들과 합산하여, 디코딩된 블록들을 형성한다. 좀더 자세하게 설명하면, 본 개시물의 기법들에 따르면, 인트라-예측 유닛 (74) 이 예측된 블록을 발생하고 2차 경계 필터링을 수행하지 않기로 결정할 때, 합산기 (80) 는 잔여 블록을 대응하는 예측된 블록과 합산한다. 한편, 인트라-예측 유닛 (74) 이 예측된 블록을 발생하고 필터링 유닛 (84) 으로 하여금 2차 경계 필터링을 수행하도록 할 때, 합산기 (80) 는 잔여 블록을 대응하는 필터링된 예측된 블록과 합산한다. 원할 경우, 블록킹 현상 아티팩트들을 제거하기 위해 디블로킹 필터가 또한 그 디코딩된 블록들을 필터링하는데 적용될 수도 있다. 디블로킹 필터는 본 개시물의 2차 경계 필터링 프로세스와는 별개인 것으로 이해되어야 한다. 디코딩된 비디오 블록들은 그 후 참조 프레임 메모리 (82) 에 저장되며, 그 참조 프레임 메모리는 후속 모션 보상 또는 인트라-예측을 위해 참조 블록들을 제공하며 또한 (도 1 의 디스플레이 디바이스 (32) 와 같은) 디스플레이 디바이스 상에의 프리젠테이션을 위해 디코딩된 비디오를 발생한다.
이와 같이, 비디오 디코더 (30) 는 블록의 1차 경계에 따른 픽셀들의 값들을 이용하여 비디오 데이터의 블록을 인트라-예측하여 예측된 블록을 형성하고, 그 예측된 블록을 필터링할지 여부를 블록의 2차 경계의 데이터를 이용하여 결정하고, 그리고 예측된 블록을 필터링하기로 결정하는 것에 응답하여, 예측된 블록을 2차 경계의 데이터를 이용하여 필터링하도록 구성되는 비디오 코더의 일 예를 나타낸다.
도 4 는 HEVC 에서 여러 인트라-예측 모드 방향들을 예시하는 개념도이다. 인트라-예측 모드들은 일반적으로 수직 (v) 또는 수평 (h) 으로부터의 상대적인 오프셋 뿐만 아니라, 둥근 괄호들 내 숫자 식별자들을 이용하여 표시된다. 이 예에서, 모드 (2) 가 일반적으로 비-방향성인 DC 예측 모드에 대응하기 때문에, 모드 (2) 는 스킵된다. 평면 모드와 같은, 다른 비-방향성 인트라-예측 모드들은 또한 도 4 에서 생략된다.
도 4 의 예에서, 방향성 인트라-예측 모드들은 상대적 수평 또는 상대적 수직으로서 표시될 수도 있다. 이 예에서, 수평에 대해 표시된 모드들 (예컨대, n ∈ [0, 8]) 에 대해, h+n) 은 상대적 수평인 것으로 불리워 지는 반면, 수직에 대해 표시되는 모드들 (예컨대, n ∈ [0, 8] 에 대해, v+n) 은 상대적 수직인 것으로 불리워진다. 다른 방향성 모드들은 상대적 대각선으로서 간주되며, 파선들을 가진 화살표들로 표시된다. 이런 상대적 대각선 인트라-예측 모드들은 n ∈ [1, 7] 에 대해 h-n, 및 n ∈ [1, 8] 에 대해 v-n 으로서 정의된 모드들을 포함한다.
(상대적 수평, 상대적 수직, 및 상대적 대각선을 포함한) 방향성 인트라-예측 모드들에 있어, 2차 경계는 상대적 수평 모드들 (HOR 내지 HOR+8) 의 경우에 최상부 인트라 PU 경계로서 그리고 모드들 (HOR-1 내지 HOR-7) 을 포함하는 상대적 대각선 모드들에 대해 정의되며, 그리고, 상대적 수직 모드들 (VER 내지 VER+8) 에 대한 측면 (좌측) 인트라 PU 경계로서 그리고 모드들 (VER-1 내지 VER-8) 을 포함하는 상대적 대각선 모드들에 대해 정의된다. 일반적으로, 2차 경계 필터링을 수행할지 여부를 결정하기 위해 서로 또는 예측 유닛의 픽셀들에 대한 경계들의 비교들은 현재의 블록과, 이웃하는 이전에 코딩된 블록, 예컨대, 현재의 블록의 좌측 또는 상부에 있는 블록 사이의 경계들의 데이터를 분석하는 것에 대응한다.
따라서, 경계 관계들에 대한 언급들은, 현재의 블록과 이웃하는 이전에 코딩된 블록들 사이의 2개의 경계들 사이의 수학적 관계들, 또는 현재의 블록과 이웃하는 이전에 코딩된 블록들 사이의 2개의 경계들 중 하나와 현재의 블록의 픽셀 값들 (예컨대, 현재의 블록의 PU 의 픽셀 값들) 에 대한 수학적 관계들을 포함하는 것으로 이해되어야 한다. 이런 수학적 관계들은 예를 들어, 라플라시안 계산들 및 기울기 차이 계산들을 포함할 수도 있다.
도 5a 및 도 5b 는 라플라시안에 기초한 참조 경계 샘플들 사이의 경계 관계들의 컴퓨팅을 예시하는 개념도들이다. 도 5a 는 픽셀들 (106A-106P) (픽셀들 (106)) 을 포함하는 블록 (100) 을 예시한다. 블록 (100) 은 픽셀들 (104A-104D) (픽셀들 (104)) 에 의해 정의되는 최상부측 경계, 및 픽셀들 (102A-102D) 에 의해 정의되는 좌측면 경계에 이웃한다. 이 예에서, 블록 (100) 은 4x4 블록으로, 블록 (100) 이 4 픽셀들의 높이 및 4 픽셀들의 폭을 갖는다는 것을 의미한다. 픽셀들 (106) 은 좌표들 (i, j) 을 이용하여 참조될 수 있으며, 여기서, i 및 j 는 [0, 3] 에 있다. 따라서, 블록 (100) 의 높이 및 폭은 N 으로 표시될 수 있으며, 여기서 N = 3 이다. 특히, 블록 (100) 의 높이 및 폭은 N+1 (따라서, 이 예에서는, 4) 이다. 도 5b 의 블록 (110) 은, 유사하게, 픽셀들 (116A-116P) 을 포함하며, 픽셀들 (114A-114D) (픽셀들 (114)) 에 의해 정의되는 최상부측 경계 및 픽셀들 (112A-112D) (픽셀들 (112)) 에 의해 정의되는 좌측면 경계에 이웃한다. 블록 (100) 과 유사하게, 도 5b 의 블록 (110) 은 4x4 블록이다.
도 5a 및 도 5b 에서 화살표들은 블록들 (100, 110) 에 대한 인트라-예측 방향들을 나타낸다. 이들 예들에서, 블록 (100) 은 상대적 수평 예측 방향을 이용하여 예측되는 반면, 블록 (110) 은 상대적 수직 예측 방향을 이용하여 예측된다. 따라서, 블록 (100) 에 대한 1차 경계는 픽셀들 (102) 에 의해 정의되는 좌측면 경계인 반면, 블록 (100) 에 대한 2차 경계는 픽셀들 (104) 에 의해 정의되는 최상부측 경계이다. 한편, 블록 (110) 에 대한 1차 경계는 픽셀들 (114) 에 의해 정의되는 최상부측 경계인 반면, 블록 (110) 에 대한 2차 경계는 픽셀들 (112) 에 의해 정의되는 좌측면 경계이다.
(도 5a 에서의 픽셀들 (104) 및 도 5b 에서의 픽셀들 (114) 에 의해 정의되는) 최상부 참조 경계 샘플들은 또한 TR[i] (i=0…N) 로 표기될 수 있으며, 측면 참조 경계 샘플들 (도 5a 에서의 픽셀들 (102) 및 도 5b 에서의 픽셀들 (112)) 은 SR[i] (i=0…N) 으로 표기될 수 있다. 이들 예들에서, "경계 샘플들" 은 현재의 블록의 경계들의 픽셀 값들이며, 여기서, 경계들은 현재의 블록에 대한, 이웃하는, 이전에 코딩된 블록들의 픽셀들을 포함한다. 인트라 PU 샘플들 (즉, 도 5a 에서의 픽셀들 (106) 및 도 5b 에서의 픽셀들 (116) 과 같은, PU 의 예측된 픽셀 값들) 은 P[k,l] (k,l=0…N) 로 표기된다. 다음 의사-코드는 방향성 인트라-예측 모드들의 경우에 라플라시안에 기초한 참조 경계 샘플들 사이의 관계들의 예시적인 계산들을 예시한다:
Figure pct00005
이 의사-코드에서, 라플라시안의 절대 값들은 2개의 인접한 참조 경계 로케이션들, 즉 TR[N-1] 과 TR[N-2] 를 중심으로 하여, 또는 SR[N-1] 과 SR[N-2] 를 중심으로 하여 계산된다. 일반적으로, 라플라시안은 적어도 하나의 로케이션에 대해 계산될 수 있으며, 다수의 로케이션들의 경우, 그들은 참조 경계 로케이션들을 따라서 드물게 분포되거나 또는 인접할 수 있다. 더욱이, 기법은 하나로부터 다수의 참조 경계 라인들까지 확장될 수 있다.
따라서, 도 5a 의 예에서, 블록 (100) 에 대해, 라플라시안 값은 다음과 같이 계산될 수도 있다:
max (|픽셀 104B-2*픽셀 104C+픽셀 104D|, |픽셀 104A-2*픽셀 104B+픽셀 104C).
이와 유사하게, 도 5b 의 예에서, 블록 (110) 에 대해, 라플라시안 값은 다음과 같이 계산될 수도 있다:
max (|픽셀 112B-2*픽셀 112C+픽셀 112D|, |픽셀 112A-2*픽셀 112B+픽셀 112C|).
비-방향성 DC 및 평면 인트라 예측 모드들의 경우에, "2차" 경계는 최상부 및 측면 (좌측) 인트라 PU 경계들 양자에 의해 정의될 수도 있다. 다음 의사-코드는 예시적인 솔루션을 예시한다:
Figure pct00006
기울기 차이에 기초한 대안적인 수학적 관계가 사용될 수 있다. 이것은 방향성 인트라-예측 모드들에 대해 다음 의사-코드로 예시된다:
Figure pct00007
라플라시안 기반의 관계들과 유사하게, DC 및 평면 인트라 모드들에 대해, 경계들 양자는 함께 프로세싱될 수 있다. 일반적인 경우, 적어도 하나의 기울기 차이가 계산될 수 있으며, 다수의 기울기 차이들의 경우, 그들은 인트라 PU 경계들을 따라서 드물게 위치되거나, 또는 서로 인접할 수도 있다. 더욱이, 기울기 차이는 다수의 참조 경계 라인들까지, 그리고 TR[i] 샘플과 SR[i] 샘플 사이의 기울기 차이들까지 확장될 수 있다. 추가 확장은 전체 인트라 PU 및 참조 경계들로부터의 샘플들을 포함할 수도 있다.
더욱이, 각각의 2차 경계 필터링 기법 (필터링, 기울기-기반, 양방향 등) 은 그 기법을 인에이블하거나 또는 디스에이블하기 위한 그 자신의 전용 보호 로직 및 임계값들을 가질 수도 있다. 각각의 방향성 또는 비-방향성 인트라-예측 모드는 적합한 2차 경계 필터링 기법을 인에이블하거나 또는 디스에이블하기 위한 그 자신의 전용 보호 로직 및 임계값들을 가질 수도 있다. 테이블이 2차 경계 필터링 기법을 인에이블하거나 또는 디스에이블하기 위해 (적합한 보호 로직에 대응하는) 임계값들과 함께, 어느 2차 경계 필터링 기법을 각각의 방향성 또는 비-방향성 인트라-예측 모드에 대해 적용할지를 탐색하는데 사용될 수 있다. 이의 대안으로, 이 정보는 인코더에 의해 디코더로 (예컨대, 비디오 인코더 (20) 에 의해 비디오 디코더 (30) 로) 시그널링될 수 있다. 따라서, 인코더는 여러 예들에서, 2차 경계 필터링을 수행할지 여부 또는 2차 경계 필터링을 수행할지 여부를 결정하기 위한 기준들을 디코더로 시그널링할 수도 있다. 또한 다른 예들에서, 비디오 디코더는 2차 경계 필터링을 수행할지 여부를 결정하기 위한 기준들로 선험적으로 구성될 수도 있다.
도 6 은 현재의 블록을 인코딩하는 예시적인 방법을 예시하는 플로우차트이다. 현재의 블록은 현재의 CU 또는 현재의 CU 의 부분을 포함할 수도 있다. 비디오 인코더 (20) (도 1 및 도 2) 에 대해 설명되었지만, 다른 디바이스들이 도 6 의 방법과 유사한 방법을 수행하도록 구성될 수도 있는 것으로 이해되어야 한다.
이 예에서, 비디오 인코더 (20) 는 먼저 현재의 블록을 인트라-예측을 이용하여 예측한다 (120). 예를 들어, 비디오 인코더 (20) 는 현재의 블록에 대한 하나 이상의 예측 유닛들 (PU들) 을 계산할 수도 있다. 본 개시물의 기법들에 따르면, 비디오 인코더 (20) 는 현재의 블록을 인트라-예측 모드, 예컨대, 상대적 수평 또는 상대적으로 수직의 인트라-예측 모드를 이용하여 예측할 수도 있다. 일부 예들에서, 비디오 인코더 (20) 는 상대적 대각선 인트라-예측 모드 또는 비-방향성 인트라-예측 모드, 예컨대 DC 또는 평면 모드를 이용하여 현재의 블록을 예측할 수도 있다.
비디오 인코더 (20) 는 그 후 2차 경계 필터링을 수행할지 여부를 결정할 수도 있다 (122). 2차 경계 필터링을 수행할지 여부를 결정하는 예시적인 방법은 도 8 과 관련하여 아래에서 더욱더 자세히 설명된다. 비디오 인코더 (20) 는 그 후 2차 경계 필터링이 결정되면, 예측된 블록을 필터링할 수도 있다 (124). 즉, 인트라-예측 유닛 (46) 은 예측된 블록을 형성할 수도 있으며, 필터링 유닛 (66) (도 2) 은 예측된 블록의 값들을 2차 경계를 따른 픽셀들의 값들을 이용하여 필터링할 수도 있다.
비디오 인코더 (20) 는 그 후 예컨대, 변환 유닛 (TU) 을 발생하기 위해 현재의 블록에 대한 잔여 블록을 계산할 수도 있다 (126). 잔여 블록을 계산하기 위해, 비디오 인코더 (20) 는 원래 비코딩된 블록과 현재의 블록에 대한 예측된 블록 사이의 차이를 계산할 수도 있다. 특히, 본 개시물의 기법들에 따르면, 비디오 인코더 (20) 는 잔여 블록을, 2차 경계 필터링이 결정되지 않을 때, 원래 블록과 예측된 블록 사이의 차이로서, 그리고, 2차 경계 필터링이 결정될 때, 원래 블록과 필터링된 예측된 블록 사이의 차이로서, 계산할 수도 있다.
비디오 인코더 (20) 는 그 후 잔여 블록의 계수들을 변환하여 양자화할 수도 있다 (128). 다음으로, 비디오 인코더 (20) 는 잔여 블록의 양자화된 변환 계수들을 스캐닝할 수도 있다 (130). 스캐닝 동안, 또는 스캐닝에 뒤이어서, 비디오 인코더 (20) 는 계수들을 엔트로피 인코딩할 수도 있다 (132). 예를 들어, 비디오 인코더 (20) 는 CAVLC 또는 CABAC 를 이용하여 계수들을 인코딩할 수도 있다. 비디오 인코더 (20) 는 그 후 그 블록의 엔트로피 코딩된 데이터를 출력할 수도 있다 (134).
이와 같이, 도 6 의 방법은 예측된 블록을 형성하기 위해, 블록의 1차 경계에 따른 픽셀들의 값들을 이용하여, 비디오 데이터의 블록을 인트라-예측하는 단계, 그 블록의 2차 경계의 데이터를 이용하여, 예측된 블록을 필터링할지 여부를 결정하는 단계, 및 예측된 블록을 필터링하기로 결정하는 것에 응답하여, 2차 경계의 데이터를 이용하여 그 예측된 블록을 필터링하는 단계를 포함하는 방법의 일 예를 나타낸다.
도 7 은 비디오 데이터의 현재의 블록을 디코딩하는 예시적인 방법을 예시하는 플로우차트이다. 현재의 블록은 현재의 CU 또는 현재의 CU 의 부분을 포함할 수도 있다. 비디오 디코더 (30) (도 1 및 도 3) 와 관련하여 설명되지만, 다른 디바이스들이 도 7 의 방법과 유사한 방법을 수행하도록 구성될 수도 있는 것으로 이해되어야 한다.
비디오 디코더 (30) 는 인트라-예측을 이용하여 현재의 블록을 예측하여 (140), 현재의 블록에 대한 예측된 블록을 계산할 수도 있다. 예를 들어, 비디오 디코더 (30) 는 현재의 블록에 대한 하나 이상의 예측 유닛들 (PU들) 을 계산할 수도 있다. 특히, 비디오 디코더 (30) 는 현재의 블록에 대한 인트라-예측 모드 표시를 엔트로피 디코딩할 수도 있다. 본 개시물의 기법들에 따르면, 비디오 디코더 (30) 는 현재의 블록을 인트라-예측 모드, 예컨대, 상대적 수평 또는 상대적으로 수직의 인트라-예측 모드를 이용하여 예측할 수도 있다. 일부 예들에서, 비디오 디코더 (30) 는 현재의 블록을 상대적 대각선 인트라-예측 모드 또는 비-방향성 인트라-예측 모드, 예컨대 DC 또는 평면 모드를 이용하여 예측할 수도 있다.
비디오 디코더 (30) 는 그 후 2차 경계 필터링을 수행할지 여부를 결정할 수도 있다 (142). 2차 경계 필터링을 수행할지 여부를 결정하는 예시적인 방법은 도 8 과 관련하여 아래에서 더욱더 자세히 설명된다. 비디오 디코더 (30) 는 그 후 2차 경계 필터링이 결정되면, 예측된 블록을 필터링할 수도 있다 (144). 즉, 인트라-예측 유닛 (74) 은 예측된 블록을 형성할 수도 있으며, 필터링 유닛 (84) (도 3) 은 그 예측된 블록의 값들을 2차 경계를 따른 픽셀들의 값들을 이용하여 필터링할 수도 있다.
비디오 디코더 (30) 는 또한 현재의 블록에 대응하는 잔여 블록의 계수들에 대한 엔트로피 코딩된 데이터와 같은, 현재의 블록에 대한 엔트로피 코딩된 데이터를 수신할 수도 있다 (146). 비디오 디코더 (30) 는 엔트로피 코딩된 데이터를 엔트로피 디코딩하여, 잔여 블록의 계수들을 재생한다 (148). 비디오 디코더 (30) 는 그 후 그 재생된 계수들을 역스캐닝하여 (150), 양자화된 변환 계수들의 블록을 생성할 수도 있다. 비디오 디코더 (30) 는 그 후 그 계수들을 역양자화하고 역변환하여, 잔여 블록을 발생할 수도 있다 (152). 비디오 디코더 (30) 는 궁극적으로, 그 예측된 블록과 잔여 블록을 합산함으로써, 현재의 블록을 디코딩할 수도 있다 (154). 특히, 비디오 디코더 (30) 는 2차 경계 필터링이 결정되지 않을 때 잔여 블록과 예측된 블록을 합산할 수도 있다. 한편, 2차 경계 필터링이 결정될 때, 비디오 디코더 (30) 는 잔여 블록과 그 필터링된 예측된 블록을 합산할 수도 있다.
이와 같이, 도 7 의 방법은 예측된 블록을 형성하기 위해, 블록의 1차 경계에 따른 픽셀들의 값들을 이용하여, 비디오 데이터의 블록을 인트라-예측하는 단계, 그 블록의 2차 경계의 데이터를 이용하여, 예측된 블록을 필터링할지 여부를 결정하는 단계, 및 예측된 블록을 필터링하기로 결정하는 것에 응답하여, 2차 경계의 데이터를 이용하여 그 예측된 블록을 필터링하는 단계를 포함하는 방법의 일 예를 나타낸다.
도 8 은 본 개시물의 기법에 따른, 2차 경계 필터링을 수행할지 여부를 결정하는 예시적인 방법을 예시하는 플로우차트이다. 도 8 의 방법은 비디오 인코더 (20) (예컨대, 인트라-예측 유닛 (46)) 및/또는 비디오 디코더 (30) (예컨대, 인트라-예측 유닛 (74)), 또는 다른 비디오 데이터 프로세싱 디바이스들에 의해 수행될 수도 있다. 예의 목적들을 위해, 도 8 의 방법은 비디오 인코더 (20) 에 대해 설명되지만, 유사한 방법이 비디오 디코더 (30) 에 의해 수행될 수도 있는 것으로 이해되어야 한다. 일부 예들에서, 도 8 의 방법의 단계들 (162-168) 은 도 6 의 방법의 단계 (122) 및 도 7 의 방법의 단계 (142) 에 대응할 수도 있다.
먼저, 비디오 인코더 (20) 는 비디오 데이터의 블록을 인트라-예측할 수도 있다 (160). 예를 들어, 비디오 인코더 (20) 는 비디오 데이터의 블록을 인코딩하는데 사용할 인트라-모드를 선택하고, 그 후 후속하여 비디오 데이터의 인트라-코딩된 블록을 디코딩할 수도 있다. 비디오 디코더 (30) 는 도 8 의 방법을 수행할 때, 비디오 데이터의 코딩된 블록을, 수신된 구문 정보에 의해 표시되는 인트라-모드를 이용하여 디코딩할 수도 있다.
비디오 데이터의 인트라-코딩된 블록을 예측한 후, 비디오 인코더 (20) 는 그 블록에 대한 경계 관계를 나타내는 값을 계산할 수도 있다 (162). 경계 관계는 하나의 경계와 또 다른 경계 (예컨대, 최상부측 경계 및 좌측면 경계), 또는 경계와 인트라 PU 샘플들 사이의 수학적 관계를 포함할 수도 있다. 일부 예들에서, 경계 관계는 라플라시안 값을 포함할 수도 있는 반면, 다른 예들에서, 경계 관계는 기울기 차이에 기초할 수도 있다.
예를 들어, 그 블록이 상대적 수평 방향성 인트라-예측 모드를 이용하여 예측되었으면, 비디오 인코더 (20) 는 최상부-이웃하는 블록에서의 픽셀들의 값들로부터 라플라시안 값을 계산할 수도 있다. 도 5a 에 예시하고 그와 관련하여 설명한 바와 같이, 예를 들어, 비디오 인코더 (20) 는 라플라시안 값을 |TR[N-2]-2*TR[N-1]+TR[N]| 및 |TR[N-3]-2*TR[N-2]+TR[N-1]| 의 최대치로서 계산할 수도 있다. 또 다른 예로서, 그 블록이 상대적으로 수직의 인트라-예측 모드를 이용하여 예측되었으면, 비디오 인코더 (20) 는 좌측-이웃하는 블록에서의 픽셀들의 값들로부터 라플라시안 값을 계산할 수도 있다. 도 5b 에 예시하고 그와 관련하여 설명한 바와 같이, 예를 들어, 비디오 인코더 (20) 는 라플라시안 값을 |SR[N-2]-2*SR[N-1]+SR[N]| 및 |SR[N-3]-2*SR[N-2]+SR[N-1]| 의 최대치로서 계산할 수도 있다.
또한 또 다른 예로서, 블록은 DC 또는 평면 모드와 같은 비-방향성 인트라-예측 모드를 이용하여 예측되었을 수도 있다. 일부 예들에서, 블록이 비-방향성 모드를 이용하여 인트라-예측될 때, 비디오 인코더 (20) 는 라플라시안 값을 |TR[N-2]-2*TR[N-1]+TR[N]|, |TR[N-3]-2*TR[N-2]+TR[N-1]|, |SR[N-2]-2*SR[N-1]+SR[N]| 및 |SR[N-3]-2*SR[N-2]+SR[N-1]| 의 최대치로서 계산할 수도 있다.
다른 예들에서, 비디오 인코더 (20) 는 기울기 차이들에 기초한 수학적 관계를 경계 관계로서 계산할 수도 있다. 예를 들어, 비디오 인코더 (20) 는 상대적 수평 방향 모드들에 대해, |TR[N]-P[N,0]|, |TR[N-1]-P[N-1,0]|, |TR[N]-P[N-1,0]|, 및 |TR[N-1]-P[N,0]| 의 최대치, 또는 상대적 수직 방향 모드들에 대해, |SR[N]-P[0,N]|, |SR[N-1]-P[0,N-1]|, |SR[N]-P[0,N-1]|, 및 |SR[N-1]-P[0,N]| 의 최대치로서 기울기 차이 값을 계산할 수도 있다. 비디오 인코더 (20) 는 또한 비-방향성 모드들에 대한 기울기 차이 값들을, 비-방향성 모드들에 대한 라플라시안 값들과 실질적으로 유사한 방법으로, 계산하도록 구성될 수도 있다.
경계 관계 (또한, 본원에서 경계 관계 값으로서 지칭됨) 를 나타내는 값을 계산한 후, 비디오 인코더 (20) 는 그 값이 임계치 미만인지 여부를 결정할 수도 있다 (164). 그 값이 임계치 미만이면 (164 의 "예" 브랜치), 비디오 인코더 (20) 는 2차 경계 필터링을 인에이블할 수도 있다 (166). 한편, 그 값이 임계치 미만이 아니면 (예컨대, 임계치와 동일하거나 더 크면) (164 의 "아니오" 브랜치), 비디오 인코더 (20) 는 2차 경계 필터링을 디스에이블할 수도 있다 (168). 임계치와 동일하거나 더 큰 값은 2차 경계 필터링이 인에이블되면 BD-레이트가 저하할 것임을 나타낼 수도 있다. 이와 같이, 비디오 인코더 (20) 및/또는 비디오 디코더 (30) 는 비디오 데이터의 인트라-예측된 블록에 대한 2차 경계 필터링을 인에이블할지 또는 디스에이블할지 여부를 결정할 수도 있다.
하나 이상의 예들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되는 경우, 그 기능들은 하나 이상의 명령들 또는 코드로서 컴퓨터-판독가능 매체 상에 저장되거나 전달되어, 하드웨어-기반의 프로세싱 유닛에 의해 실행될 수도 있다. 컴퓨터-판독가능 매체는 컴퓨터-판독가능 저장 매체들을 포함할 수도 있으며, 이 컴퓨터-판독가능 저장 매체들은 데이터 저장 매체와 같은 유형의 매체, 또는 예컨대, 통신 프로토콜에 따라서 한 장소로부터 다른 장소로의 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함한 통신 매체들에 대응한다. 이와 같이, 컴퓨터-판독가능 매체들은 일반적으로 (1) 비일시성 유형의 컴퓨터-판독가능 저장 매체 또는 (2) 신호 또는 캐리어 파와 같은 통신 매체에 대응할 수도 있다. 데이터 저장 매체는 본 개시물에서 설명하는 기법들의 구현을 위한 명령들, 코드 및/또는 데이터 구조들을 취출하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 가용 매체들일 수도 있다. 컴퓨터 프로그램 제품은 컴퓨터-판독가능 매체를 포함할 수도 있다.
일 예로서, 이에 한정하지 않고, 이런 컴퓨터-판독가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광디스크 스토리지, 자기디스크 스토리지, 또는 다른 자기 저장 디바이스들, 플래시 메모리, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터-판독가능 매체로 적절히 지칭된다. 예를 들어, 동축 케이블, 광섬유 케이블, 이중 권선, 디지털 가입자 회선 (DSL), 또는 무선 기술들 예컨대 적외선, 무선, 및 마이크로파를 이용하여 명령들이 웹사이트, 서버, 또는 다른 원격 소스로부터 송신되는 경우, 동축 케이블, 광섬유 케이블, 이중 권선, DSL, 또는 무선 기술들 예컨대 적외선, 무선, 및 마이크로파가 그 매체의 정의에 포함된다. 그러나, 컴퓨터-판독가능 저장 매체들 및 데이터 저장 매체들이 접속부들, 캐리어 파들, 신호들, 또는 다른 일시성 매체들을 포함하지 않고, 대신 비일시성 유형의 저장 매체들에 관련되는 것으로 이해되어야 한다. 디스크 (disk) 및 디스크 (disc) 는, 본원에서 사용할 때, 컴팩트 디스크 (CD), 레이저 디스크, 광 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 블루-레이 디스크를 포함하며, 디스크들 (disks) 은 데이터를 자기적으로 보통 재생하지만, 디스크들 (discs) 은 레이저로 데이터를 광학적으로 재생한다. 앞에서 언급한 것들의 조합들이 또한 컴퓨터-판독가능 매체들의 범위 내에 포함되어야 한다.
명령들은 하나 이상의 디지털 신호 프로세서들 (DSP들), 범용 마이크로프로세서들, 주문형 집적회로들 (ASIC들), 필드 프로그래밍가능 로직 어레이들 (FPGA들), 또는 다른 등가의 통합 또는 이산 로직 회로와 같은, 하나 이상의 프로세서들에 의해 실행될 수도 있다. 따라서, 용어 “프로세서" 는, 본원에서 사용될 때 전술한 구조 중 임의의 구조 또는 본원에서 설명하는 기법들의 구현에 적합한 임의의 다른 구조를 지칭할 수도 있다. 게다가, 일부 양태들에서, 본원에서 설명하는 기능 전용 하드웨어 및/또는 인코딩 및 디코딩을 위해 구성되는 소프트웨어 모듈들 내에 제공되거나, 또는 결합된 코덱에 포함될 수도 있다. 또한, 이 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들로 전적으로 구현될 수 있다.
본 개시물의 기법들은 무선 핸드셋, 집적 회로 (IC) 또는 IC들의 세트 (예컨대, 칩 세트) 를 포함한, 매우 다양한 디바이스들 또는 장치들로 구현될 수도 있다. 본 개시물에서는, 개시한 기법들을 수행하도록 구성되는 디바이스들의 기능적 양태들을 강조하기 위해서 여러 구성요소들, 모듈들, 또는 유닛들이 설명되지만, 상이한 하드웨어 유닛들에 의한 실현을 반드시 필요로 하지는 않는다. 더 정확히 말하면, 위에서 설명한 바와 같이, 여러 유닛들이 코덱 하드웨어 유닛에 결합되거나 또는 적합한 소프트웨어 및/또는 펌웨어와 함께, 위에서 설명한 바와 같은 하나 이상의 프로세서들을 포함한, 상호작용하는 하드웨어 유닛들의 컬렉션으로 제공될 수도 있다.
여러 예들이 설명되었다. 이들 및 다른 예들은 다음 청구항들의 범위 이내이다.

Claims (38)

  1. 비디오 데이터를 코딩하는 방법으로서,
    예측된 블록을 형성하기 위해 비디오 데이터의 블록을 상기 블록의 1차 경계를 따른 픽셀들의 값들을 이용하여 인트라-예측하는 단계;
    상기 블록의 2차 경계의 데이터를 이용하여 상기 예측된 블록을 필터링할지 여부를 결정하는 단계; 및
    상기 예측된 블록을 필터링하기로 결정하는 것에 응답하여, 상기 예측된 블록을 상기 2차 경계의 데이터를 이용하여 필터링하는 단계를 포함하는, 비디오 데이터를 코딩하는 방법.
  2. 제 1 항에 있어서,
    상기 2차 경계의 데이터를 이용하여 상기 예측된 블록을 필터링할지 여부를 결정하는 단계는, 경계 관계를 나타내는 값을 계산하는 단계를 포함하는, 비디오 데이터를 코딩하는 방법.
  3. 제 2 항에 있어서,
    상기 예측된 블록을 필터링할지 여부를 결정하는 단계는, 임계치에 대한 상기 계산된 값의 비교에 기초하여, 상기 예측된 블록을 필터링할지 여부를 결정하는 단계를 포함하는, 비디오 데이터를 코딩하는 방법.
  4. 제 2 항에 있어서,
    상기 값은, 상기 1차 경계의 하나 이상의 픽셀들의 픽셀 값들과 상기 2차 경계의 하나 이상의 픽셀들의 픽셀 값들 사이의 관계를 나타내는, 비디오 데이터를 코딩하는 방법.
  5. 제 2 항에 있어서,
    상기 값은, 상기 1차 경계 및 상기 2차 경계 중 적어도 하나의 하나 이상의 픽셀들의 픽셀 값들과 상기 예측된 블록의 하나 이상의 픽셀들의 픽셀 값들 사이의 관계를 나타내는, 비디오 데이터를 코딩하는 방법.
  6. 제 2 항에 있어서,
    상기 값을 계산하는 단계는, 라플라시안 (Laplacian) 값을 계산하는 단계를 포함하는, 비디오 데이터를 코딩하는 방법.
  7. 제 6 항에 있어서,
    상기 블록을 인트라-예측하는 단계는, 상기 블록을 상대적으로 수평의 인트라-예측 모드를 이용하여 예측하는 단계를 포함하며,
    상기 라플라시안 값을 계산하는 단계는 |TR[N-2]-2*TR[N-1]+TR[N]| 및 |TR[N-3]-2*TR[N-2]+TR[N-1]| 의 최대치를 계산하는 단계를 포함하며,
    상기 2차 경계는 최상부측 경계를 포함하며, 상기 TR[k] 는 최상부 경계를 따라 상기 블록의 좌측 에지로부터 시작하여 k번째 픽셀에 대응하며, 그리고 상기 N 은 상기 블록의 폭을 나타내는 정수 값인, 비디오 데이터를 코딩하는 방법.
  8. 제 6 항에 있어서,
    상기 블록을 인트라-예측하는 단계는 상기 블록을 상대적으로 수직의 인트라-예측 모드를 이용하여 예측하는 단계를 포함하며,
    상기 라플라시안 값을 계산하는 단계는 |SR[N-2]-2*SR[N-1]+SR[N]| 및 |SR[N-3]-2*SR[N-2]+SR[N-1]| 의 최대치를 계산하는 단계를 포함하며,
    상기 2차 경계는 좌측면 경계를 포함하며, 상기 SR[j] 는 상기 좌측면 경계를 따라서 상기 블록의 최상부 에지로부터 시작하여 j번째 픽셀에 대응하며, 상기 N 은 상기 블록의 높이를 나타내는 정수 값인, 비디오 데이터를 코딩하는 방법.
  9. 제 6 항에 있어서,
    상기 블록을 인트라-예측하는 단계는 상기 블록을 비-방향성 인트라-예측 모드를 이용하여 예측하는 단계를 포함하며, 상기 라플라시안 값을 계산하는 단계는 |TR[N-2]-2*TR[N-1]+TR[N]|, |TR[N-3]-2*TR[N-2]+TR[N-1]|, |SR[N-2]-2*SR[N-1]+SR[N]|, 및 |SR[N-3]-2*SR[N-2]+SR[N-1]| 의 최대치를 계산하는 단계를 포함하며,
    상기 TR[k] 는 최상부측 경계를 따라서 상기 블록의 좌측 에지로부터 시작하여 k번째 픽셀에 대응하며, 상기 SR[j] 는 좌측면 경계를 따라서 상기 블록의 최상부 에지로부터 시작하여 j번째 픽셀에 대응하며, 상기 블록은 정사각형 블록을 포함하며, 상기 N 은 상기 블록의 폭 및 높이를 나타내는 정수 값인, 비디오 데이터를 코딩하는 방법.
  10. 제 9 항에 있어서,
    상기 블록을 비-방향성 인트라-예측 모드를 이용하여 인트라-예측하는 단계는, 상기 블록을 DC 모드 및 평면 모드 중 하나를 이용하여 예측하는 단계를 포함하는, 비디오 데이터를 코딩하는 방법.
  11. 제 2 항에 있어서,
    상기 값을 계산하는 단계는, 기울기 차이 값을 계산하는 단계를 포함하는, 비디오 데이터를 코딩하는 방법.
  12. 제 11 항에 있어서,
    상기 블록을 인트라-예측하는 단계는 상기 블록을 상대적으로 수평의 인트라-예측 모드를 이용하여 예측하는 단계를 포함하며, 상기 기울기 차이 값을 계산하는 단계는 |TR[N]-P[N,0]|, |TR[N-1]-P[N-1,0]|, |TR[N]-P[N-1,0]|, 및 |TR[N-1]-P[N,0]| 의 최대치를 계산하는 단계를 포함하며,
    상기 2차 경계는 최상부측 경계를 포함하며, 상기 TR[k] 는 최상부 경계를 따라 상기 블록의 좌측 에지로부터 시작하여 k번째 픽셀에 대응하며, 상기 N 은 상기 블록의 폭을 나타내는 정수 값이며, 상기 P[i, j] 는 위치 [i, j] 에서의 상기 예측된 블록의 픽셀에 대응하는, 비디오 데이터를 코딩하는 방법.
  13. 제 11 항에 있어서,
    블록을 인트라-예측하는 단계는 상기 블록을 상대적으로 수직의 인트라-예측 모드를 이용하여 예측하는 단계를 포함하며, 상기 기울기 차이 값을 계산하는 단계는 |SR[N]-P[0,N]|, |SR[N-1]-P[0,N-1]|, |SR[N]-P[0,N-1]|, 및 |SR[N-1]-P[0,N]| 의 최대치를 계산하는 단계를 포함하며,
    상기 SR[j] 는 좌측면 경계를 따라서 상기 블록의 최상부 에지로부터 시작하여 j번째 픽셀에 대응하며, 상기 N 은 상기 블록의 높이를 나타내는 정수 값이며, 상기 P[i, j] 는 위치 [i, j] 에서의 상기 예측된 블록의 픽셀에 대응하는, 비디오 데이터를 코딩하는 방법.
  14. 제 1 항에 있어서,
    상기 예측된 블록을 필터링하지 않기로 결정하는 것에 응답하여, 상기 블록을 상기 예측된 블록을 이용하여 코딩하는 단계; 및
    상기 예측된 블록을 필터링하기로 결정하는 것에 응답하여, 상기 블록을 필터링된 예측된 블록을 이용하여 코딩하는 단계를 더 포함하는, 비디오 데이터를 코딩하는 방법.
  15. 제 14 항에 있어서,
    상기 블록을 상기 예측된 블록을 이용하여 코딩하는 단계는, 디코딩된 잔여 값들을 상기 예측된 블록에 가산하는 단계를 포함하는, 상기 블록을 상기 예측된 블록을 이용하여 디코딩하는 단계를 포함하며, 그리고
    상기 블록을 상기 필터링된 예측된 블록을 이용하여 코딩하는 단계는, 상기 디코딩된 잔여 값들을 상기 필터링된 예측된 블록에 가산하는 단계를 포함하는, 상기 블록을 상기 필터링된 예측된 블록을 이용하여 디코딩하는 단계를 포함하는, 비디오 데이터를 코딩하는 방법.
  16. 제 14 항에 있어서,
    상기 인트라-예측하는 단계는, 상기 블록에 대해 이용할 인트라-예측 모드를 선택하는 단계 및 상기 블록을 상기 선택된 인트라-예측 모드를 이용하여 예측하는 단계를 포함하며,
    상기 블록을 상기 예측된 블록을 이용하여 코딩하는 단계는, 상기 블록과 상기 예측된 블록 사이의 차이들을 나타내는 잔여 값들을 계산하는 단계를 포함하는, 상기 블록을 상기 예측된 블록을 이용하여 인코딩하는 단계를 포함하며, 그리고
    상기 블록을 상기 필터링된 예측된 블록을 이용하여 코딩하는 단계는, 상기 블록과 상기 필터링된 예측된 블록 사이의 차이들을 나타내는 잔여 값들을 계산하는 단계를 포함하는, 상기 블록을 상기 필터링된 예측된 블록을 이용하여 인코딩하는 단계를 포함하는, 비디오 데이터를 코딩하는 방법.
  17. 제 1 항에 있어서,
    상기 2차 경계의 데이터를 이용하여 상기 예측된 블록을 필터링할지 여부를 나타내는 구문 정보를 코딩하는 단계를 더 포함하는, 비디오 데이터를 코딩하는 방법.
  18. 비디오 데이터를 코딩하는 디바이스로서,
    예측된 블록을 형성하기 위해, 비디오 데이터의 블록을 상기 블록의 1차 경계를 따른 픽셀들의 값들을 이용하여 인트라-예측하고; 상기 블록의 2차 경계의 데이터를 이용하여 상기 예측된 블록을 필터링할지 여부를 결정하고; 그리고, 상기 예측된 블록을 필터링하기로 결정하는 것에 응답하여, 상기 예측된 블록을 상기 2차 경계의 데이터를 이용하여 필터링하도록 구성되는, 비디오 코더를 포함하는, 비디오 데이터를 코딩하는 디바이스.
  19. 제 18 항에 있어서,
    상기 2차 경계의 데이터를 이용하여 상기 예측된 블록을 필터링할지 여부를 결정하기 위해, 상기 비디오 코더는 경계 관계를 나타내는 값을 계산하도록 구성되는, 비디오 데이터를 코딩하는 디바이스.
  20. 제 19 항에 있어서,
    상기 비디오 코더는, 임계치에 대한 상기 계산된 값의 비교에 기초하여 상기 예측된 블록을 필터링할지 여부를 결정하도록 구성되는, 비디오 데이터를 코딩하는 디바이스.
  21. 제 19 항에 있어서,
    상기 값은, 상기 1차 경계의 하나 이상의 픽셀들의 픽셀 값들과 상기 2차 경계의 하나 이상의 픽셀들의 픽셀 값들 사이의 관계, 및 상기 1차 경계 및 상기 2차 경계 중 적어도 하나의 하나 이상의 픽셀들의 픽셀 값들과 상기 예측된 블록의 하나 이상의 픽셀들의 픽셀 값들 사이의 관계 중 하나를 나타내는, 비디오 데이터를 코딩하는 디바이스.
  22. 제 18 항에 있어서,
    상기 값을 계산하기 위해, 상기 비디오 코더는, 라플라시안 값을 계산하도록 구성되는, 비디오 데이터를 코딩하는 디바이스.
  23. 제 18 항에 있어서,
    상기 값을 계산하기 위해, 상기 비디오 코더는, 기울기 차이 값을 계산하도록 구성되는, 비디오 데이터를 코딩하는 디바이스.
  24. 제 18 항에 있어서,
    상기 비디오 코더는 추가로, 상기 예측된 블록을 필터링하지 않기로 결정하는 것에 응답하여, 상기 블록을 상기 예측된 블록을 이용하여 코딩하고, 그리고 상기 예측된 블록을 필터링하기로 결정하는 것에 응답하여 상기 블록을 필터링된 예측된 블록을 이용하여 코딩하도록 구성되는, 비디오 데이터를 코딩하는 디바이스.
  25. 비디오 데이터를 코딩하는 디바이스로서,
    예측된 블록을 형성하기 위해, 비디오 데이터의 블록을 상기 블록의 1차 경계를 따른 픽셀들의 값들을 이용하여 인트라-예측하는 수단;
    상기 블록의 2차 경계의 데이터를 이용하여 상기 예측된 블록을 필터링할지 여부를 결정하는 수단; 및
    상기 예측된 블록을 필터링하기로 결정하는 것에 응답하여, 상기 예측된 블록을 상기 2차 경계의 데이터를 이용하여 필터링하는 수단을 포함하는, 비디오 데이터를 코딩하는 디바이스.
  26. 제 25 항에 있어서,
    상기 2차 경계의 데이터를 이용하여 상기 예측된 블록을 필터링할지 여부를 결정하는 수단은, 경계 관계를 나타내는 값을 계산하는 수단을 포함하는, 비디오 데이터를 코딩하는 디바이스.
  27. 제 26 항에 있어서,
    상기 예측된 블록을 필터링할지 여부를 결정하는 수단은, 임계치에 대한 상기 계산된 값의 비교에 기초하여 상기 예측된 블록을 필터링할지 여부를 결정하는 수단을 포함하는, 비디오 데이터를 코딩하는 디바이스.
  28. 제 26 항에 있어서,
    상기 값은, 상기 1차 경계의 하나 이상의 픽셀들의 픽셀 값들과 상기 2차 경계의 하나 이상의 픽셀들의 픽셀 값들 사이의 관계, 및 상기 1차 경계 및 상기 2차 경계 중 적어도 하나의 하나 이상의 픽셀들의 픽셀 값들과 상기 예측된 블록의 하나 이상의 픽셀들의 픽셀 값들 사이의 관계 중 하나를 나타내는, 비디오 데이터를 코딩하는 디바이스.
  29. 제 25 항에 있어서,
    상기 값을 계산하는 수단은, 라플라시안 값을 계산하는 수단을 포함하는, 비디오 데이터를 코딩하는 디바이스.
  30. 제 25 항에 있어서,
    상기 값을 계산하는 수단은, 기울기 차이 값을 계산하는 수단을 포함하는, 비디오 데이터를 코딩하는 디바이스.
  31. 제 25 항에 있어서,
    상기 예측된 블록을 필터링하지 않기로 결정하는 것에 응답하여, 상기 블록을 상기 예측된 블록을 이용하여 코딩하는 수단; 및
    상기 예측된 블록을 필터링하기로 결정하는 것에 응답하여, 상기 블록을 필터링된 예측된 블록을 이용하여 코딩하는 수단을 더 포함하는, 비디오 데이터를 코딩하는 디바이스.
  32. 명령들을 저장한 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은, 실행될 경우, 프로세서로 하여금,
    예측된 블록을 형성하기 위해, 비디오 데이터의 블록을 상기 블록의 1차 경계를 따른 픽셀들의 값들을 이용하여 인트라-예측하게 하고;
    상기 블록의 2차 경계의 데이터를 이용하여 상기 예측된 블록을 필터링할지 여부를 결정하게 하고; 그리고
    상기 예측된 블록을 필터링하기로 결정하는 것에 응답하여, 상기 예측된 블록을 상기 2차 경계의 데이터를 이용하여 필터링하게 하는, 컴퓨터-판독가능 저장 매체.
  33. 제 32 항에 있어서,
    상기 프로세서로 하여금, 상기 2차 경계의 데이터를 이용하여 상기 예측된 블록을 필터링할지 여부를 결정하게 하는 명령들은, 상기 프로세서로 하여금, 경계 관계를 나타내는 값을 계산하게 하는 명령들을 포함하는, 컴퓨터-판독가능 저장 매체.
  34. 제 33 항에 있어서,
    상기 프로세서로 하여금, 상기 예측된 블록을 필터링할지 여부를 결정하게 하는 명령들은, 상기 프로세서로 하여금, 임계치에 대한 상기 계산된 값의 비교에 기초하여 상기 예측된 블록을 필터링할지 여부를 결정하게 하는 명령들을 포함하는, 컴퓨터-판독가능 저장 매체.
  35. 제 33 항에 있어서,
    상기 값은, 상기 1차 경계의 하나 이상의 픽셀들의 픽셀 값들과 상기 2차 경계의 하나 이상의 픽셀들의 픽셀 값들 사이의 관계, 및 상기 1차 경계 및 상기 2차 경계 중 적어도 하나의 하나 이상의 픽셀들의 픽셀 값들과 상기 예측된 블록의 하나 이상의 픽셀들의 픽셀 값들 사이의 관계 중 하나를 나타내는, 컴퓨터-판독가능 저장 매체.
  36. 제 32 항에 있어서,
    상기 프로세서로 하여금, 상기 값을 계산하게 하는 명령들은, 상기 프로세서로 하여금, 라플라시안 값을 계산하게 하는 명령들을 포함하는, 컴퓨터-판독가능 저장 매체.
  37. 제 32 항에 있어서,
    상기 프로세서로 하여금, 상기 값을 계산하게 하는 명령들은, 상기 프로세서로 하여금, 기울기 차이 값을 계산하게 하는 명령들을 포함하는, 컴퓨터-판독가능 저장 매체.
  38. 제 32 항에 있어서,
    상기 프로세서로 하여금,
    상기 예측된 블록을 필터링하지 않기로 결정하는 것에 응답하여, 상기 블록을 상기 예측된 블록을 이용하여 코딩하게 하고; 그리고
    상기 예측된 블록을 필터링하기로 결정하는 것에 응답하여, 상기 블록을 필터링된 예측된 블록을 이용하여 코딩하게 하는
    명령들을 더 포함하는, 컴퓨터-판독가능 저장 매체.
KR1020147015016A 2011-11-04 2012-11-02 비디오 코딩을 위한 2차 경계 필터링 KR101589852B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161556038P 2011-11-04 2011-11-04
US61/556,038 2011-11-04
US13/666,610 2012-11-01
US13/666,610 US9282344B2 (en) 2011-11-04 2012-11-01 Secondary boundary filtering for video coding
PCT/US2012/063276 WO2013067320A1 (en) 2011-11-04 2012-11-02 Secondary boundary filtering for video coding

Publications (2)

Publication Number Publication Date
KR20140098768A true KR20140098768A (ko) 2014-08-08
KR101589852B1 KR101589852B1 (ko) 2016-01-28

Family

ID=47192161

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147015016A KR101589852B1 (ko) 2011-11-04 2012-11-02 비디오 코딩을 위한 2차 경계 필터링

Country Status (6)

Country Link
US (2) US9282344B2 (ko)
EP (1) EP2774368B1 (ko)
JP (1) JP5833250B2 (ko)
KR (1) KR101589852B1 (ko)
CN (1) CN104041045B (ko)
WO (1) WO2013067320A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110113561A (ko) * 2010-04-09 2011-10-17 한국전자통신연구원 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치
US9282344B2 (en) 2011-11-04 2016-03-08 Qualcomm Incorporated Secondary boundary filtering for video coding
US8660374B1 (en) * 2011-12-23 2014-02-25 Massachusetts Institute Of Technology Selecting transform paths for compressing visual data
US10820015B2 (en) * 2014-01-02 2020-10-27 Hfi Innovation Inc. Method and apparatus for intra prediction coding with boundary filtering control
US9438923B2 (en) * 2014-06-05 2016-09-06 Blackberry Limited Apparatus and method to support encoding and decoding video data
US20200288146A1 (en) * 2015-08-17 2020-09-10 Lg Electronics Inc. Intra-prediction mode-based image processing method and apparatus therefor
GB2557809B (en) 2015-08-28 2021-12-01 Kt Corp Method and device for processing video signal
US10425648B2 (en) * 2015-09-29 2019-09-24 Qualcomm Incorporated Video intra-prediction using position-dependent prediction combination for video coding
EP3364655A4 (en) * 2015-11-11 2018-10-10 Samsung Electronics Co., Ltd. Method and apparatus for decoding video, and method and apparatus for encoding video
CA3005417A1 (en) 2015-11-17 2017-05-26 Huawei Technologies Co., Ltd. Method and apparatus for video coding
CN114286091A (zh) 2016-09-05 2022-04-05 Lg电子株式会社 图像编码和解码方法、比特流存储介质及数据传输方法
US10728548B2 (en) 2017-04-04 2020-07-28 Futurewei Technologies, Inc. Processing reference samples used for intra-prediction of a picture block
CN107801024B (zh) * 2017-11-09 2019-07-12 北京大学深圳研究生院 一种用于帧内预测的边界滤波方法
CN107896330B (zh) * 2017-11-29 2019-08-13 北京大学深圳研究生院 一种用于帧内和帧间预测的滤波方法
JP7046186B2 (ja) * 2017-12-08 2022-04-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
CN108492370B (zh) * 2018-03-02 2020-05-22 中国地质大学（武汉） 基于TV和各向异性Laplacian正则项的三角网格滤波方法
WO2019245650A1 (en) * 2018-06-18 2019-12-26 Interdigital Vc Holdings, Inc. Boundary filtering for planar and dc modes in intra prediction
US11140388B2 (en) * 2019-09-06 2021-10-05 Tencent America LLC Method and apparatus for non-linear loop filtering
CN113612992B (zh) * 2021-07-01 2023-11-03 杭州未名信科科技有限公司 一种针对avs3硬件编码器的快速帧内编码单元的编码方法
US11917144B2 (en) * 2021-09-29 2024-02-27 Mediatek Inc. Efficient in-loop filtering for video coding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080090937A (ko) * 2007-04-06 2008-10-09 삼성전자주식회사 미분 방정식을 이용한 인트라 예측 부호화, 복호화 방법 및장치

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6236764B1 (en) * 1998-11-30 2001-05-22 Equator Technologies, Inc. Image processing circuit and method for reducing a difference between pixel values across an image boundary
US7457362B2 (en) 2003-10-24 2008-11-25 Texas Instruments Incorporated Loop deblock filtering of block coded video in a very long instruction word processor
KR100973657B1 (ko) 2007-11-01 2010-08-02 경희대학교 산학협력단 디블록킹 필터링을 포함하는 코덱 사이의 트랜스코딩 방법 및 장치
FR2923637A1 (fr) * 2007-11-09 2009-05-15 Canon Kk Procede, dispositif d'identification d'un ensemble de pixels dont les valeurs sont destinees a etre utilisees pour determiner la valeur d'un pixel
EP2081386A1 (en) 2008-01-18 2009-07-22 Panasonic Corporation High precision edge prediction for intracoding
WO2010050699A2 (ko) * 2008-10-27 2010-05-06 에스케이텔레콤 주식회사 동영상 부호화/복호화 장치, 이를 위한 적응적 디블록킹 필터링 장치와 필터링 방법, 및 기록 매체
KR101668133B1 (ko) * 2009-03-06 2016-10-20 톰슨 라이센싱 화상 데이터의 블록을 예측하는 방법, 이 방법을 실행하는 복호 장치 및 부호화 장치
US20100329362A1 (en) 2009-06-30 2010-12-30 Samsung Electronics Co., Ltd. Video encoding and decoding apparatus and method using adaptive in-loop filter
CN102860005B (zh) 2010-02-05 2016-07-06 瑞典爱立信有限公司 去块滤波控制
US9185430B2 (en) 2010-03-15 2015-11-10 Mediatek Singapore Pte. Ltd. Deblocking filtering method and deblocking filter
KR20110113561A (ko) 2010-04-09 2011-10-17 한국전자통신연구원 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치
WO2011127964A2 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for intra predicting a block, apparatus for reconstructing a block of a picture, apparatus for reconstructing a block of a picture by intra prediction
MX2012012443A (es) 2010-04-26 2012-11-21 Panasonic Corp Modo de filtrado para intra-prediccion deducida de estadisticas de bloques circundantes.
HUE053988T2 (hu) * 2011-07-19 2021-08-30 Tagivan Ii Llc Szûrési eljárás, mozgókép-dekódoló eljárás, mozgókép-kódoló eljárás, mozgókép-dekódoló berendezés és mozgókép-kódoló berendezés
US9161046B2 (en) * 2011-10-25 2015-10-13 Qualcomm Incorporated Determining quantization parameters for deblocking filtering for video coding
US9282344B2 (en) 2011-11-04 2016-03-08 Qualcomm Incorporated Secondary boundary filtering for video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080090937A (ko) * 2007-04-06 2008-10-09 삼성전자주식회사 미분 방정식을 이용한 인트라 예측 부호화, 복호화 방법 및장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Ali Tabatabai ET AL: "CE6: Intra Coding Improvements", (F906_r2), JCT-VC of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 6th Meeting: Torino, IT, 14-22 July, 2011 *
BROSS B ET AL: "WD4: Working Draft 4 of High-Efficiency Video Coding", (F803) JCT-VC of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 6th Meeting: TORINO, IT, 14-22 July, 2011* *
Matthias Narroschke ET AL: "Decisions for deblocking", (E251), JCT-VC of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 5th Meeting: Geneva, CH, 16-23 March, 2011 *

Also Published As

Publication number Publication date
JP5833250B2 (ja) 2015-12-16
WO2013067320A1 (en) 2013-05-10
US9282344B2 (en) 2016-03-08
CN104041045B (zh) 2017-10-31
CN104041045A (zh) 2014-09-10
JP2014535224A (ja) 2014-12-25
US9838718B2 (en) 2017-12-05
EP2774368B1 (en) 2016-01-06
KR101589852B1 (ko) 2016-01-28
EP2774368A1 (en) 2014-09-10
US20130114708A1 (en) 2013-05-09
US20160191951A1 (en) 2016-06-30

Similar Documents

Publication Publication Date Title
KR101589852B1 (ko) 비디오 코딩을 위한 2차 경계 필터링
KR101469394B1 (ko) 사이즈 및 인트라 모드에 기초한 또는 에지 검출에 기초한 인트라 블록들 코딩을 위한 적응적 주파수 변환들
KR101626734B1 (ko) 비디오 코딩을 위한 인트라 평활 필터
KR101632776B1 (ko) 비디오 코딩에 대한 구문 엘리먼트들의 공동 코딩
EP2727353B1 (en) Video coding using adaptive motion vector resolution
KR101518149B1 (ko) 비디오 코딩을 위한 인트라-예측 모드 선택의 표시
KR101534416B1 (ko) 인트라-예측을 이용한 비디오 코딩
KR101569259B1 (ko) 비디오 코딩을 위한 변환 계수들의 적응적 스캐닝
KR101375891B1 (ko) 큰 매크로블록들을 이용한 비디오 코딩
KR101619004B1 (ko) 인트라 예측 코딩에 있어서의 최빈 변환
KR101344115B1 (ko) 큰 매크로블록들을 이용한 비디오 코딩
KR101593289B1 (ko) 비디오 코딩을 위해 블록킹 현상 아티팩트들을 필터링하기
KR20130025903A (ko) 기하학적 모션 파티셔닝을 위한 고정 소수점 구현
EP2754294A1 (en) Run-mode based coefficient coding for video coding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee