KR101654814B1 - 비디오 코딩에서 크로마 신호 향상을 위한 교차-평면 필터링 - Google Patents

비디오 코딩에서 크로마 신호 향상을 위한 교차-평면 필터링 Download PDF

Info

Publication number
KR101654814B1
KR101654814B1 KR1020157010964A KR20157010964A KR101654814B1 KR 101654814 B1 KR101654814 B1 KR 101654814B1 KR 1020157010964 A KR1020157010964 A KR 1020157010964A KR 20157010964 A KR20157010964 A KR 20157010964A KR 101654814 B1 KR101654814 B1 KR 101654814B1
Authority
KR
South Korea
Prior art keywords
cross
plane
filter
video signal
plane filter
Prior art date
Application number
KR1020157010964A
Other languages
English (en)
Other versions
KR20150065766A (ko
Inventor
지에 동
유웬 헤
얀 예
Original Assignee
브이아이디 스케일, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 브이아이디 스케일, 인크. filed Critical 브이아이디 스케일, 인크.
Publication of KR20150065766A publication Critical patent/KR20150065766A/ko
Application granted granted Critical
Publication of KR101654814B1 publication Critical patent/KR101654814B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Abstract

교차-평면 필터링은 대응하는 루마 평면으로부터의 정보를 이용하여 하나 또는 양자의 크로마 평면들에서의 블러링된 에지들 및/또는 텍스처들을 복원하기 위하여 이용될 수도 있다. 적응적 교차-평면 필터들이 구현될 수도 있다. 교차-평면 필터 계수들은 비트스트림에서의 오버헤드가 성능 열화를 최소화하도록 양자화 및/또는 시그널링될 수도 있다. 교차-평면 필터링은 비디오 이미지의 선택 영역들(예를 들어, 에지 구역들)에 적용될 수도 있다. 교차-평면 필터들은 단일-계층 비디오 코딩 시스템들, 및/또는 멀티-계층 비디오 코딩 시스템들에서 구현될 수도 있다.

Description

비디오 코딩에서 크로마 신호 향상을 위한 교차-평면 필터링{CROSS-PLANE FILTERING FOR CHROMA SIGNAL ENHANCEMENT IN VIDEO CODING}
관련 출원들에 대한 교차-참조
이 출원은 2012년 9월 28일자로 출원된 미국 가출원 제61/707,682호, 2013년 2월 8일자로 출원된 제61/762,611호, 2013년 3월 12일자로 출원된 제61/778,218호, 및 2013년 7월 12일자로 출원된 제61/845,792호에 대한 우선권을 주장하고, 이 출원들은 그 전체가 인용에 의해 본원에 통합된다.
비디오 코딩 시스템들은 디지털 비디오 신호들을 압축하여 예를 들어, 소비된 저장 공간을 감소시키고, 및/또는 이러한 신호들과 연관된 송신 대역폭 소비를 감소시키기 위하여 종종 이용된다. 예를 들어, 블록-기반 하이브리드 비디오 코딩 시스템들이 널리 배포되고 빈번하게 이용된다.
디지털 비디오 신호들은 전형적으로, 루마 평면(luma plane), 청색-차이 크로마 평면(blue-difference chroma plane), 및 적색-차이 크로마 평면(red-difference chroma plane)을 포함하는 3 개의 컬러 평면들을 가진다. 크로마 평면들의 픽셀(pixel)들은 전형적으로 루마 평면의 픽셀들보다 더 작은 동적 범위들을 가져서, 비디오 이미지의 크로마 평면들은 전형적으로 루마 평면보다 더 평탄하고 및/또는 더 작은 디테일(detail)을 가진다. 이에 따라, 비디오 이미지의 크로마 블록은 정확하게 예측하기가 더 용이할 수도 있어서, 예를 들어, 더 적은 자원들을 소비하고 및/또는 더 적은 예측 에러를 초래할 수도 있다.
그러나, 알려진 크로마 예측 기법들을 이용한 비디오 코딩은 크로마 평면들에서 상당히 블러링된 에지(blurred edge)들 및/또는 텍스처(texture)들을 갖는 비디오 이미지들로 귀착하될 수도 있다.
교차-평면 필터링은 대응하는 루마 평면으로부터의 정보를 이용하여 하나 또는 양자의 크로마 평면들에서의 블러링된 에지들 및/또는 텍스처들을 복원하기 위하여 이용될 수도 있다. 적응적 교차-평면 필터들이 구현될 수도 있다. 교차-평면 필터 계수들은 비트스트림에서의 오버헤드(overhead)가 성능 열화 없이 입수가능하도록(예를 들어, 감소 및/또는 최소화됨) 양자화 및/또는 시그널링될 수도 있다. 교차-평면 필터의 하나 이상의 특성들(예를 들어, 사이즈, 분리성(separability), 대칭성, 등)은 비트스트림에서의 오버헤드가 성능 열화 없이 입수가능하도록(예를 들어, 감소 및/또는 최소화됨) 결정될 수도 있다. 교차-평면 필터링은 다양한 컬러 서브샘플링 포맷들(예를 들어, 4:4:4, 4:2:2, 및 4:2:0)을 갖는 비디오들에 적용될 수도 있다. 교차-평면 필터링은 비디오 이미지의 선택 영역들, 예를 들어, 에지 구역들 및/또는 비트스트림에서 시그널링된 하나 이상의 파라미터들에 의해 특정된 구역들에 적용될 수도 있다. 교차-평면 필터링은 단일-계층 비디오 코딩 시스템들, 및/또는 멀티-계층 비디오 코딩 시스템들에서 구현될 수도 있다.
교차-평면 필터링에 따른 일 예의 비디오 디코딩 프로세스는 비디오 신호, 및 비디오 신호와 연관되는 교차-평면 필터를 수신하는 것을 포함할 수도 있다. 비디오 디코딩 프로세스는 크로마 오프셋(chroma offset)을 결정하기 위하여, 교차-평면 필터를 비디오 신호의 루마 평면 픽셀에 적용하는 것을 포함할 수도 있다. 비디오 디코딩 프로세스는 크로마 오프셋을 비디오 신호의 대응하는 크로마 평면 픽셀에 부가(add)하는 것을 포함할 수도 있다.
비디오 코딩 디바이스는 교차-평면 필터링을 위하여 구성될 수도 있다. 비디오 코딩 디바이스는 비디오 신호, 및 비디오 신호와 연관되는 교차-평면 필터를 수신하도록 구성되는 네트워크 인터페이스를 포함할 수도 있다. 비디오 코딩 디바이스는 크로마 오프셋을 결정하기 위하여, 교차-평면 필터를 비디오 신호의 루마 평면 픽셀에 적용하도록 구성되는 프로세서를 포함할 수도 있다. 프로세서는 크로마 오프셋을 비디오 신호의 대응하는 크로마 평면 픽셀에 부가하도록 구성될 수도 있다.
교차-평면 필터링에 따른 일 예의 비디오 인코딩 프로세스는 비디오 신호를 수신하는 것을 포함할 수도 있다. 비디오 인코딩 프로세스는 비디오 신호의 컴포넌트들을 이용하여 교차-평면 필터를 생성하는 것을 포함할 수도 있다. 비디오 인코딩 프로세스는 교차-평면 필터와 연관된 필터 계수를 양자화하는 것을 포함할 수도 있다. 비디오 인코딩 프로세스는 필터 계수를, 비디오 신호를 나타내는 비트스트림으로 인코딩하는 것을 포함할 수도 있다. 비디오 인코딩 프로세스는 비트스트림을 송신하는 것을 포함할 수도 있다.
비디오 코딩 디바이스는 교차-평면 필터링을 위하여 구성될 수도 있다. 비디오 코딩 디바이스는 비디오 신호를 수신하도록 구성되는 네트워크 인터페이스를 포함할 수도 있다. 비디오 코딩 디바이스는 비디오 신호의 컴포넌트들을 이용하여 교차-평면 필터를 생성하도록 구성되는 프로세서를 포함할 수도 있다. 프로세서는 교차-평면 필터와 연관된 필터 계수를 양자화하도록 구성될 수도 있다. 프로세서는 필터 계수를, 비디오 신호를 나타내는 비트스트림으로 인코딩하도록 구성될 수도 있다. 프로세서는 예를 들어, 네트워크 인터페이스를 통해 비트스트림을 송신하도록 구성될 수도 있다.
도 1은 일 예의 블록-기반 비디오 인코더를 예시하는 블록도이다.
도 2는 일 예의 블록-기반 비디오 디코더를 예시하는 블록도이다.
도 3은 일 예의 2-계층 공간 스케일러블 비디오 인코더를 예시하는 블록도이다.
도 4는 일 예의 2-계층 공간 스케일러블 비디오 디코더를 예시하는 블록도이다.
도 5는 일 예의 인터-계층(inter-layer) 예측 프로세싱 및 관리 유닛의 블록도이다.
도 6a는 일 예의 4:4:4: 컬러 서브샘플링(subsampling) 포맷을 도시한다.
도 6b는 일 예의 4:2:2: 컬러 서브샘플링 포맷을 도시한다.
도 6c는 일 예의 4:2:0: 컬러 서브샘플링 포맷을 도시한다.
도 7은 교차-평면 필터링의 예를 예시하는 블록도이다.
도 8a 및 도 8b는 교차-평면 필터링의 또 다른 예를 예시하는 블록도들이다.
도 9a 및 도 9b는 교차-평면 필터링의 또 다른 예를 예시하는 블록도들이다.
도 10a는 4:4:4에서의 선택 크로마 픽셀에 대한 교차-평면 필터(filter_Y4Cb 및 filter_Y4Cr)의 일 예의 사이즈 및 지원 영역을 도시한다.
도 10b는 4:2:2에서의 선택 크로마 픽셀에 대한 교차-평면 필터(filter_Y4Cb 및 filter_Y4Cr)의 일 예의 사이즈 및 지원 영역을 도시한다.
도 10c는 4:2:0에서의 선택 크로마 픽셀에 대한 교차-평면 필터(filter_Y4Cb 및 filter_Y4Cr)의 일 예의 사이즈 및 지원 영역을 도시한다.
도 11a는 4:4:4에서의 선택 크로마 픽셀에 대한 교차-평면 필터(filter_Y4Cb 및 filter_Y4Cr)의 일 예의 통합된 사이즈 및 지원 영역을 도시한다.
도 11b는 4:2:2에서의 선택 크로마 픽셀에 대한 교차-평면 필터(filter_Y4Cb 및 filter_Y4Cr)의 일 예의 통합된 사이즈 및 지원 영역을 도시한다.
도 11c는 4:2:0에서의 선택 크로마 픽셀에 대한 교차-평면 필터(filter_Y4Cb 및 filter_Y4Cr)의 일 예의 통합된 사이즈 및 지원 영역을 도시한다.
도 12a는 일 예의 교차-평면 필터의 일 예의 대칭 성질의 결여를 도시한다.
도 12b는 일 예의 교차-평면 필터의 일 예의 수평 및 수직 대칭 성질을 도시한다.
도 12c는 일 예의 교차-평면 필터의 일 예의 수직 대칭 성질을 도시한다.
도 12d는 일 예의 교차-평면 필터의 일 예의 수평 대칭 성질을 도시한다.
도 12e는 일 예의 교차-평면 필터의 일 예의 점 대칭 성질을 도시한다.
도 13a는 대칭성을 갖지 않는 일 예의 수평 및 수직 1-차원 필터들을 도시한다.
도 13b는 대칭성을 갖는 일 예의 수평 및 수직 1-차원 필터들을 도시한다.
도 14는 교차-평면 필터 계수들의 세트를 시그널링하는 예를 예시하는 일 예의 신택스 표이다.
도 15a 및 도 15b는 교차-평면 필터 계수들의 일 예의 배치들을 도시한다.
도 16은 교차-평면 필터 계수들의 다수의 세트들을 시그널링하는 예를 예시하는 일 예의 신택스 표이다.
도 17은 교차-평면 필터링을 위한 영역을 특정하는 정보를 시그널링하는 예를 예시하는 일 예의 신택스 표이다.
도 18은 영역-기반 교차-평면 필터링의 구현예에 따라 검출된 복수의 이미지 영역들의 예를 도시한다.
도 19는 교차-평면 필터 계수들의 다수의 세트들과 함께, 다수의 영역들에 속하는 정보를 시그널링하는 예를 예시하는 일 예의 신택스 표이다.
도 20은 교차-평면 필터링을 위한 일 예의 픽쳐-레벨 선택 알고리즘을 도시한다.
도 21a는 하나 이상의 개시된 실시형태들이 구현될 수도 있는 일 예의 통신 시스템의 시스템 도면을 도시한다.
도 21b는 도 21a에서 예시된 통신 시스템 내에서 이용될 수도 있는 일 예의 무선 송신/수신 유닛(wireless transmit/receive unit; WTRU)의 시스템 도면을 도시한다.
도 21c는 도 21a에서 예시된 통신 시스템 내에서 이용될 수도 있는 일 예의 라디오 액세스 네트워크 및 일 예의 코어 네트워크의 시스템 도면을 도시한다.
도 21d는 도 21a에서 예시된 통신 시스템 내에서 이용될 수도 있는 일 예의 라디오 액세스 네트워크 및 일 예의 코어 네트워크의 시스템 도면을 도시한다.
도 21e는 도 21a에서 예시된 통신 시스템 내에서 이용될 수도 있는 일 예의 라디오 액세스 네트워크 및 일 예의 코어 네트워크의 시스템 도면을 도시한다.
도 1은 일 예의 블록-기반 비디오 인코더를 예시한다. 입력 비디오 신호(102)는 예를 들어, 블록 대 블록으로 프로세싱될 수도 있다. 비디오 블록 유닛은 16x16 픽셀들을 포함할 수도 있다. 이러한 블록 유닛은 매크로블록(macroblock; MB)로서 지칭될 수도 있다. 비디오 블록 유닛 사이즈는 예를 들어, 64x64 픽셀들로 확장될 수도 있다. 확장된 사이즈 비디오 블록들은 고해상도 비디오 신호들(예를 들어, 1080p 비디오 신호들 및 그 이상)을 압축하기 위하여 이용될 수도 있다. 확장된 블록 사이즈들은 코딩 유닛(coding unit; CU)들로서 지칭될 수도 있다. CU는, 별도의 예측 방법들이 적용될 수도 있는 하나 이상의 에측 유닛(prediction unit; PU)들로 파티셔닝(partitioning)될 수도 있다.
MB들 또는 CU들과 같은 하나 이상의 입력 비디오 블록들(예를 들어, 각각의 입력 비디오 블록)에 대하여, 공간적 예측(160) 및/또는 시간적 예측(162)이 수행될 수도 있다. 인트라 예측(intra prediction)으로서 지칭될 수도 있는 공간적 예측(160)은 예를 들어, 비디오 블록을 예측하기 위하여 비디오 픽쳐(picture) 및/또는 슬라이스(slice)에서의 하나 이상의 이미 코딩된 이웃하는 블록들로부터의 픽셀들을 이용할 수도 있다. 공간적 예측(160)은 비디오 신호에서 내재할 수도 있는 공간적 중복성을 감소시킬 수도 있다. 인터 예측(inter prediction) 및/또는 모션 보상된 예측(motion compensated prediction)으로서 지칭될 수도 있는 시간적 예측(162)은 예를 들어, 비디오 블록을 예측하기 위하여 하나 이상의 이미 코딩된 비디오 픽쳐들로부터의 픽셀들을 이용할 수도 있다. 시간적 예측은 비디오 신호에서 내재할 수도 있는 시간적 중복성을 감소시킬 수도 있다. 비디오 블록에 대한 시간적 예측 신호는 시간적 예측 신호가 참조 픽쳐 저장소(164)에서의 어느 참조 픽쳐들로부터 시작될 수도 있는지를 식별하기 위하여, 예를 들어, 다수의 참조 픽쳐들이 이용될 경우, 하나 이상의 모션 벡터들 및/또는 하나 이상의 참조 픽쳐 인덱스들을 포함할 수도 있다.
공간적 예측 및/또는 시간적 예측이 수행된 후, (예를 들어, 인코더에서의) 모드 판정 블록(180)은 예를 들어, 레이트-왜곡 최적화 방법(rate-distortion optimization method)에 기초하여 예측 모드를 선택할 수도 있다. 예측 블록은 비디오 블록(116)으로부터 감산(subtract)될 수도 있다. 예측 잔차(prediction residual)는 변환(104) 및/또는 양자화(106)될 수도 있다. 하나 이상의 양자화된 잔차 계수(residual coefficient)들은 예를 들어, 재구성된 잔차를 형성하기 위하여 역양자화(110) 및/또는 역변환(112)될 수도 있다. 재구성된 잔차는 예를 들어, 재구성된 비디오 블록을 형성하기 위하여 잔차 블록(126)에 부가될 수도 있다.
하나 이상의 디블록킹 필터(deblocking filter)들 및/또는 적응적 루프 필터(adaptive loop filter)들(166)과 같은 추가의 인-루프 필터링(in-loop filtering)은 예를 들어, 재구성된 비디오 블록이 참조 픽쳐 저장소(164)에서 저장되거나 및/또는 후속 비디오 블록들을 코딩하기 위하여 이용되기 전에, 재구성된 비디오 블록에 대해 적용될 수도 있다. 출력 비디오 비트스트림(120)을 형성하기 위하여, 코딩 모드(예를 들어, 인터 또는 인트라), 예측 모드 정보, 모션 정보, 및/또는 양자화된 잔차 계수들은 예를 들어, 비트스트림(120)을 형성하기 위하여 추가로 압축 및/또는 팩킹(packing)되도록 하기 위하여, 엔트로피 코딩 유닛(108)으로 전송될 수도 있다.
도 2는 도 1에서 도시된 블록-기반 인코더에 대응할 수도 있는 일 예의 블록-기반 비디오 디코더를 예시한다. 비디오 비트스트림(202)은 예를 들어, 엔트로피 디코딩 유닛(208)에서 언팩킹(unpacking) 및/또는 엔트로피 디코딩될 수도 있다. 코딩 모드 및/또는 예측 정보는 예를 들어, 예측 블록을 형성하기 위하여, (예를 들어, 인트라 코딩을 위한) 공간적 예측 유닛(260) 또는 (예를 들어, 인터 코딩을 위한) 시간적 예측 유닛(262)으로 전송될 수도 있다. 하나 이상의 잔차 변환 계수들은 예를 들어, 잔차 블록을 재구성하기 위하여, 역양자화 유닛(210) 및/또는 역변환 유닛(212)으로 전송될 수도 있다. 예측 블록 및 잔차 블록은 예를 들어, 재구성된 블록을 형성하기 위하여, (226)에서 함께 부가될 수도 있다. 재구성된 블록은 예를 들어, (예를 들어, 디스플레이 디바이스로) 송신되어야 할 재구성된 출력 비디오(220)에 부가되기 전에, 및/또는 예를 들어, 하나 이상의 후속 비디오 블록들을 예측함에 있어서 이용하기 위하여 참조 픽쳐 저장소(264)에서 저장되기 전에, (예를 들어, 루프 필터(266)를 이용한) 인-루프 필터링을 통해 프로세싱될 수도 있다.
비디오는 예를 들어, 스마트폰들 및/또는 태블릿들에 의해, 컴퓨팅 파워(computing power), 메모리 및/또는 저장장치 사이즈, 디스플레이 해상도, 디스플레이 프레임 레이트 등의 측면에서 변동되는 능력들을 갖는 디바이스들 상에서 소비될 수도 있다. 네트워크 및/또는 송신 채널들은 패킷 손실 레이트, 이용가능한 채널 대역폭, 버스트 에러 레이트(burst error rate), 등의 측면에서 변동되는 특성들을 가질 수도 있다. 비디오 데이터는, 하나 이상의 기초적인 비디오 송신 채널 특성들을 복잡하게 만들 수도 있는 유선 네트워크들 및/또는 무선 네트워크들의 조합을 통해 송신될 수도 있다. 이러한 시나리오들에서, 스케일러블 비디오 코딩(scalable video coding)은 비디오 애플리케이션들에 의해 제공된 비디오 품질, 예를 들어, 이종 네트워크(heterogenous network)들 상에서 상이한 능력들을 갖는 디바이스들 상에서 실행되는 비디오 애플리케이션들에 의해 제공된 비디오 품질을 개선시킬 수도 있다.
스케일러블 비디오 코딩은 최고 표현(예를 들어, 시간적 해상도, 공간적 해상도, 품질, 등)에 따라 비디오 신호를 인코딩할 수도 있지만, 예를 들어, 클라이언트 디바이스 상에서 실행되는 하나 이상의 애플리케이션들에 의해 채용된 특정된 레이트 및/또는 표현에 따라 하나 이상의 비디오 스트림들의 각각의 서브세트(subset)들로부터의 디코딩을 가능하게 할 수도 있다. 스케일러블 비디오 코딩은 대역폭 및/또는 저장장치 절감들을 가능하게 할 수도 있다.
도 3은 하나의 기본 계층(base layer; BL) 및 하나의 향상 계층(enhancement layer; EL)을 가지는 일 예의 2-계층 스케일러블 비디오 코딩 시스템을 예시한다. 2 개의 계층들 사이의 공간적 해상도들은 상이할 수도 있어서, 공간적 스케일러빌러티(spatial scalability)가 적용될 수도 있다. 기본 계층 인코더(예를 들어, 고효율 비디오 코딩(High Efficiency Video Coding; HEVC) 인코더)는 예를 들어, 블록 대 블록으로 기본 계층 비디오 입력을 인코딩할 수도 있고, (예를 들어, 도 1에서 도시된 블록도에 따라) 기본 계층 비트스트림을 생성할 수도 있다. 향상 계층 인코더는 예를 들어, 블록 대 블록으로 향상 계층 비디오 입력을 인코딩할 수도 있고, (예를 들어, 도 1에서 도시된 블록도에 따라) 향상 계층 비트스트림을 생성할 수도 있다. 스케일러블 비디오 코딩 시스템의 코딩 효율(예를 들어, 향상 계층 코딩의 코딩 효율)은 개선될 수도 있다. 예를 들어, 기본 계층 재구성된 비디오로부터의 신호 상관(correlation)은 예측 정확도를 개선시키기 위하여 이용될 수도 있다.
기본 계층 재구성된 비디오는 하나 이상의 프로세싱된 기본 계층 픽쳐들의 적어도 일부분들이 향상 계층 디코딩된 픽쳐 버퍼(enhancement layer Decoded Picture Buffer; EL DPB)로 삽입될 수도 있고, 및/또는 향상 계층 비디오 입력을 예측하기 위하여 이용될 수도 있도록 프로세싱될 수도 있다. 기본 계층 비디오 및 향상 계층 비디오는 각각의 상이한 공간적 해상도들에서 표현된 실질적으로 동일한 비디오 소스일 수도 있어서, 이들은 예를 들어, 다운샘플링(downsampling) 프로세스를 통해 서로에 대응한다. 인터-계층 예측(inter-layer prediction; ILP) 프로세싱은, 기본 계층 재구성의 공간적 해상도를 향상 계층 비디오의 그것과 정렬하기 위하여 이용될 수도 있는 업샘플링(upsampling) 동작과 같이, 인터-계층 프로세싱 및/또는 관리 유닛에 의해 수행될 수도 있다. 스케일러블 비디오 코딩 비트스트림은 기본 계층 비트스트림, 기본 및 향상 계층 인코더들에 의해 생성된 향상 계층 비트스트림, 및/또는 인터-계층 예측 정보를 포함할 수도 있다.
인터-계층 예측 정보는 ILP 프로세싱 및 관리 유닛에 의해 생성될 수도 있다. 예를 들어, ILP 정보는 다음 중의 하나 이상을 포함할 수도 있다: 적용되는 인터-계층 프로세싱의 타입(type); (예를 들어, 업샘플링 필터들이 이용되는) 프로세싱에서 이용된 하나 이상의 파라미터들; 하나 이상의 프로세싱된 기본 계층 픽쳐들 중의 어느 것이 EL DPB 내로 삽입되어야 하는지; 등. 기본 및 향상 계층 비트스트림 및/또는 ILP 정보는 예를 들어, 스케일러블 비트스트림(예를 들어, SHVC 비트스트림)을 형성하기 위하여 함께 멀티플렉싱(multiplexing)될 수도 있다.
도 4는 도 3에서 도시된 스케일러블 인코더에 대응할 수도 있는 일 예의 2-계층 스케일러블 비디오 디코더를 예시한다. 디코더는 예를 들어, 인코더에 비해 반대의 순서로 하나 이상의 동작들을 수행할 수도 있다. 스케일러블 비트스트림은 기본 계층 비트스트림, 향상 계층 비트스트림, 및/또는 ILP 정보로 디-멀티플렉싱(de-multiplexing)될 수도 있다. 기본 계층 디코더는 기본 계층 비트스트림을 디코딩할 수도 있고, 및/또는 기본 계층 재구성을 생성할 수도 있다.
ILP 프로세싱 및 관리 유닛은 ILP 정보를 수신할 수도 있고, 및/또는 예를 들어, 수신된 ILP 정보에 따라 기본 계층 재구성을 프로세싱할 수도 있다. ILP 프로세싱 및 관리 유닛은 예를 들어, 수신된 ILP 정보에 따라 하나 이상의 프로세싱된 기본 계층 픽쳐들을 EL DPB 내로 선택적으로 삽입할 수도 있다. 향상 계층 디코더는 향상 계층 비디오를 재구성하기 위하여, 예를 들어, 시간적 참조 픽쳐들 및/또는 인터-계층 참조 픽쳐들(예를 들어, 하나 이상의 프로세싱된 기본 계층 픽쳐들)로 향상 계층 비트스트림을 디코딩할 수도 있다. 즉각적인 개시의 목적들을 위하여, 용어들 "인터 계층 참조 픽쳐" 및 "프로세싱된 기본 계층 픽쳐들"은 상호 교환가능하게 이용될 수도 있다.
도 5는 예를 들어, 도 3에서 도시된 일 예의 2-계층 공간적 스케일러블 비디오 인코더 및/또는 도 4에서 도시된 일 예의 2-계층 공간적 스케일러블 비디오 디코더에서 구현될 수도 있는 바와 같이, 일 예의 인터-계층 예측 및 프로세싱 관리 유닛을 도시한다. 인터-계층 예측 및 프로세싱 관리 유닛은 하나 이상의 단계(stage)들(예를 들어, 도 5에서 도시된 바와 같은 3 개의 단계들)을 포함할 수도 있다. 제 1 단계(예를 들어, 스테이지 1)에서, BL 재구성된 픽쳐는 (예를 들어, 그것이 업샘플링되기 전에) 향상될 수도 있다. 제 2 단계(예를 들어, 스테이지 2)에서는, (예를 들어, BL의 해상도가 공간적 스케일러빌러티에서 EL의 해상도보다 더 낮을 때) 업샘플링이 수행될 수도 있다. 제 2 단계의 출력은 정렬된 샘플링 그리드(samplign grid)를 갖는 EL의 그것과 실질적으로 동일한 해상도를 가질 수도 있다. 향상은 예를 들어, 업샘플링된 픽쳐가 EL DPB 내에 넣어지기 전에 제 3 단계(예를 들어, 단계 3)에서 수행될 수도 있고, 이것은 인터-계층 참조 픽쳐 품질을 개선시킬 수도 있다.
인터-계층 예측 및 프로세싱 관리 유닛에 의해, 상기 설명된 3 개의 단계들 중의 어느 것도 실행될 수도 없거나, 3 개의 단계들 중의 하나 또는 그보다 많은 것이 수행될 수도 있다. 예를 들어, BL 픽쳐가 EL 픽쳐와 실질적으로 동일한 해상도를 가질 수도 있지만 더 낮은 품질을 가질 수도 있는, 신호-대-잡음 비율(SNR) 스케일러빌러티에서는, 상기 설명된 3 개의 단계들 중의 하나 이상(예를 들어, 모든 단계들)이 수행되지 않을 수도 있어서, 예를 들어, BL 재구성된 픽쳐가 인터-계층 예측을 위하여 EL DPB 내로 직접 삽입될 수도 있다. 공간적 스케일러빌러티에서는, 예를 들어, 업샘플링된 BL 재구성된 픽쳐가 EL 픽쳐에 비해 정렬된 샘플링 그리드를 가지도록 하기 위하여, 제 2 단계가 수행될 수도 있다. 제 1 및 제 3 단계들은 인터-계층 참조 픽쳐 품질을 개선시키기 위하여 수행될 수도 있고, 이것은 예를 들어, EL 코딩에서 더 높은 효율을 달성하는 것을 도울 수도 있다.
(예를 들어, 도 3 및 도 4에서 예시된 바와 같이) 스케일러블 비디오 코딩 시스템에서 픽쳐 레벨 ILP를 수행하는 것은, 예를 들어, 각각의 기본 계층 및/또는 향상 계층 인코더 및/또는 디코더 로직들이 예를 들어, 블록 레벨에서, 변경들 없이 적어도 부분적으로 재이용될 수도 있으므로, 구현 복잡도를 감소시킬 수도 있다. 하이 레벨(예를 들어, 픽쳐 및/또는 슬라이스 레벨) 구성들은 하나 이상의 각각의 프로세싱된 기본 계층 픽쳐들의 향상 계층 DPB로의 삽입을 구현할 수도 있다. 코딩 효율을 개선시키기 위하여, 하나 이상의 블록 레벨 변경들은 예를 들어, 픽쳐 레벨 인터-계층 예측에 추가하는 것일 수도 있는 블록-레벨 인터-계층 예측을 용이하게 하기 위해 스케일러블 시스템에서 허용될 수도 있다.
본원에서 설명된 단일 및/또는 멀티-계층 비디오 코딩 시스템들은 컬러 비디오들을 코딩하기 위하여 이용될 수도 있다. 컬러 비디오에서는, 휘도(luminance) 및 색차(chrominance) 정보를 운반하는 각각의 픽셀이 원색(primary color)들(예를 들어, YCbCr, RGB, 또는 YUV)의 각각의 강도(intensity)들의 조합으로 이루어질 수도 있다. 컬러 비디오의 각각의 비디오 프레임은 3 개의 컬러 채널들에 대응하는 3 개의 직사각형 어레이(rectangular array)들로 구성될 수도 있다. 컬러 채널(예를 들어, 각각의 컬러)에서의 하나 이상의 샘플들은, 디지털 비디오 애플리케이션들에서 8-비트 값들을 이용하여 표현될 수도 있는 이산(discrete) 및/또는 유한(finite) 크기들을 가질 수도 있다. 적색, 녹색, 및 청색(RBG) 원색은 비디오 캡처 및/또는 디스플레이 시스템들에서 이용될 수도 있다.
비디오 코딩 및/또는 송신에서는, 예를 들어, 대역폭 소비를 감소시키기 위하여 및/또는 흑백 비디오 애플리케이션들과의 호환성을 위하여, RGB 공간에서의 비디오 신호들이 PAL 및 SECAM TV 시스템들에 대해 YUV, 그리고 NTSC TV 시스템들에 대해 YIQ 와 같은, (예를 들어, 휘도 및/또는 색차 좌표들을 갖는) 하나 이상의 다른 컬러 공간들로 변환될 수도 있다. Y 컴포넌트(component)의 값은 픽셀의 밝기(brightness)를 나타낼 수도 있는 반면, 다른 2 개의 컴포넌트들(예를 들어, Cb 및 Cr)은 색차 정보를 지닐 수도 있다. 디지털 컬러 공간(예를 들어, YCbCr)은 아날로그 컬러 공간(예를 들어, YUV)의 스케일링된 및/또는 시프트된 버전일 수도 있다. RGB 좌표로부터 YCbCr 좌표를 유도하기 위한 변환 행렬은 수학식 1로서 표현될 수도 있다.
Figure 112015040915841-pct00001
인간 시각 체계(human vision system; HVS)는 밝기보다는 컬러에 덜 민감할 수도 있으므로, 색체 컴포넌트들 Cb 및 Cr은 인지된 비디오 품질의 적은 열화로 서브샘플링될 수도 있다. 컬러 서브샘플링 포맷은 콜론(colon)들에 의해 분리된 숫자들의 트리플렛(triplet)에 의해 표시될 수도 있다. 예를 들어, 4:2:2 컬러 서브샘플링 포맷에 따르면, 색차 컴포넌트들에 대한 수평 샘플링 레이트는 절반으로 감소될 수도 있는 반면, 수직 샘플링 레이트는 변경되지 않을 수도 있다. 4:2:0 컬러 서브샘플링 포맷에 따르면, 연관된 데이터 레이트를 감소시키기 위하여, 색차 컴포넌트들에 대한 샘플링 레이트는 수평 및 수직 방향들의 양자에서 절반으로 감소될 수도 있다. 매우 높은 비디오 품질을 이용하는 애플리케이션들에 대해 이용될 수도 있는 4:4:4 컬러 서브샘플링 포맷에 따르면, 색차 컴포넌트들은 휘도 컴포넌트들에 대해 이용된 샘플링 레이트와 실질적으로 동일한 샘플링 레이트들을 가질 수도 있다. 상기 설명된 컬러 서브샘플링 포맷들에 대한 휘도 및 색차 샘플들을 예시하는 일 예의 샘플링 그리드(sampling grid)들은 도 6a 내지 도 6c에서 각각 도시된다.
비디오 시퀀스(video sequence)에서의 프레임의 Y, Cb, 및 Cr 컬러 평면들은 컨텐츠에 있어서 상관될 수도 있지만(예를 들어, 고도로 상관됨), 2 개의 크로마(chroma) 평면들은 루마(luma) 평면보다 더 적은 텍스처들 및/또는 에지들을 나타낼 수도 있다. 3 개의 컬러 평면들은 동일한 모션을 공유할 수도 있다. 블록-기반 하이브리드 비디오 코딩 시스템이 (예를 들어, 도 1 및 도 2에 따라) 컬러 블록에 적용될 때, 블록 내의 3 개의 평면들은 별도로 코딩되지 않을 수도 있다. 컬러 블록이 인터 예측에 의해 코딩될 경우, 2 개의 크로마 블록들은 모션 벡터 및/또는 참조 인덱스와 같은, 루마 블록의 모션 정보를 재이용할 수도 있다. 컬러 블록이 인트라 예측에 의해 코딩될 경우, 예를 들어, 루마 블록들은 더 다양하고 및/또는 더 강한 에지들을 가질 수도 있으므로, 루마 블록은 2 개의 크로마 블록들 중의 하나 또는 양자가 가지는 것보다, 선택하기 위한 더 많은 예측 방향들을 가질 수도 있다.
예를 들어, H.264/AVC 인트라 예측에 따르면, 루마 블록들은 9 개의 후보 방향들을 가질 수도 있는 반면, 크로마 블록들은 4 개의 후보 방향들을 가질 수도 있다. HEVC 인트라 예측에 따르면, 크로마 블록들은 4 개의 후보 방향들을 가질 수도 있고, 루마 블록들은 4 개보다 더 많은 후보 방향들(예를 들어, 35 개의 후보 방향들)을 가질 수도 있다. 루마 및/또는 크로마 예측 에러들에 대한 각각의 변환 및/또는 양자화 프로세스들은 예를 들어, 인트라 또는 인터 예측 후에 별도로 수행될 수도 있다. (예를 들어, 루마에 대한 QP가 34 보다 더 큰) 낮은 비트 레이트들에서는, 예를 들어, 크로마 평면들에서의 에지들 및/또는 텍스처들이 더 섬세할 수도 있고 과중한 양자화를 더 많이 거칠 수도 있으며, 이것은 컬러 블리딩(color bleeding)과 같은 가시적 아티팩트(visible artifact)들을 야기시킬 수도 있으므로, 크로마는 대응하는 루마보다 더 가벼운 양자화(예를 들어, 더 작은 양자화 스텝사이즈(stepsize))를 가질 수도 있다.
(예를 들어, 비디오 신호들을 인코딩 및/또는 디코딩하기 위하여) 비디오 코딩을 수행하도록 구성되는 디바이스는 비디오 코딩 디바이스로서 지칭될 수도 있다. 이러한 비디오 코딩 디바이스들은 비디오-가능 디바이스들, 예를 들어, 텔레비전, 디지털 미디어 플레이어, DVD 플레이어, Blu-ray™ 플레이어, 네트워킹된 미디어 플레이어 디바이스, 데스크톱 컴퓨터, 랩톱 개인용 컴퓨터, 태블릿 디바이스, 이동 전화, 영상 회의 시스템, 하드웨어 및/또는 소프트웨어 기반 비디오 인코딩 시스템, 등을 포함할 수도 있다. 이러한 비디오 코딩 디바이스들은 무선 송신/수신 유닛(wireless transmit/receive unit; WTRU), 기지국, 게이트웨이, 또는 다른 네트워크 엘리먼트(network element)들과 같은 무선 통신 네트워크 엘리먼트들을 포함할 수도 있다.
비디오 코딩 디바이스는 네트워크 인터페이스를 통해 비디오 신호들(예를 들어, 비디오 비트스트림들)을 수신하도록 구성될 수도 있다. 비디오 코딩 디바이스는 무선 네트워크 인터페이스, 유선 네트워크 인터페이스, 또는 그 임의의 조합을 가질 수도 있다. 예를 들어, 비디오 코딩 디바이스가 무선 통신 네트워크 엘리먼트(예를 들어, 무선 송신 수신 유닛(WTRU))일 경우, 네트워크 인터페이스는 WTRU의 트랜시버일 수도 있다. 또 다른 예에서, 비디오 코딩 디바이스가 무선 통신을 위해 구성되지 않은 비디오-가능 디바이스(예를 들어, 백-엔드 랙 인코더(back-end rack encoder))일 경우, 네트워크 인터페이스는 유선 네트워크 접속(예를 들어, 광섬유 접속)일 수도 있다. 또 다른 예에서, 네트워크 인터페이스는 물리적 저장 매체(예를 들어, 광학적 디스크 드라이브, 메모리 카드 인터페이스, 비디오 카메라로의 직접 접속, 등)와 통신하도록 구성되는 인터페이스일 수도 있다. 네트워크 인터페이스는 이 예들에 제한되지 않고, 네트워크 인터페이스는 비디오 코딩 디바이스가 비디오 신호들을 수신하는 것을 가능하게 하는 다른 인터페이스들을 포함할 수도 있다는 것이 인식되어야 한다.
비디오 코딩 디바이스는 하나 이상의 비디오 신호들(예를 들어, 비디오 코딩 디바이스의 네트워크 인터페이스에 의해 수신된 소스 비디오 신호)에 대해 교차-평면 필터링을 수행하도록 구성될 수도 있다.
교차-평면 필터링은 예를 들어, 대응하는 루마 평면으로부터의 정보를 이용하여 하나 또는 양자의 크로마 평면들에서의 블러링된 에지들 및/또는 텍스처들을 복원하기 위하여 이용될 수도 있다. 적응적 교차-평면 필터들이 구현될 수도 있다. 교차-평면 필터 계수들은, 비트스트림에서의 오버헤드(overhead)가 예를 들어, 비디오 신호와 연관된 비트스트림의 송신 성능의 임계 레벨에 따라 성능 열화를 감소(예를 들어, 최소화)시키도록 양자화 및/또는 시그널링될 수도 있다. 교차-평면 필터 계수들은 비트스트림(예를 들어, 출력 비디오 비트스트림)에서 송신될 수도 있고, 및/또는 비트스트림에 대한 대역외(out of band)에서 송신될 수도 있다.
교차-평면 필터의 하나 이상의 특성들(예를 들어, 사이즈, 분리성(separability), 대칭성, 등)은 비트스트림에서의 오버헤드가 성능 열화 없이 입수가능하도록 결정될 수도 있다. 교차-평면 필터링은 (예를 들어, 4:4:4, 4:2:2, 및 4:2:0을 포함하는) 다양한 컬러 서브샘플링 포맷들을 갖는 비디오들에 적용될 수도 있다. 교차-평면 필터링은 비디오 이미지의 선택 영역들(예를 들어, 에지 구역들 및/또는 비트스트림에서 시그널링될 수도 있는 하나 이상)에 적용될 수도 있다. 교차-평면 필터들은 단일-계층 비디오 코딩 시스템들에서 구현될 수도 있다. 교차-평면 필터들은 멀티-계층 비디오 코딩 시스템들에서 구현될 수도 있다.
루마 평면은 하나 또는 양자의 크로마 평면들의 품질을 개선시키기 위한 안내로서 이용될 수도 있다. 예를 들어, 루마 평면에 속하는 정보의 하나 이상의 일부분들은 대응하는 크로마 평면들로 배합(blend)될 수도 있다. 즉각적인 개시의 목적들을 위하여, 원래의(예를 들어, 코딩되지 않은) 비디오 이미지의 3 개의 컬러 평면들은 각각 Y_org, Cb_org, 및 Cr_org로서 나타내어질 수도 있고, 원래의 비디오 이미지의 코딩된 버전의 3 개의 컬러 평면들은 각각 Y_rec, Cb_rec, 및 Cr_rec로서 나타내어질 수도 있다.
도 7은 예를 들어, Y_rec, Cb_rec, 및 Cr_rec를 다시 RGB 공간으로 변환하기 위하여 이용될 수도 있는 교차-평면 필터링의 예를 예시하며, 여기서, 3 개의 평면들은 역 프로세스(inverse process)(예를 들어, 위에서 도시된 프로세스 (1))를 이용하여 각각 R_rec, G_rec, 및 B_rec로서 나타내어진다. Y_org, Cb_org, 및 Cr_org는 (예를 들어, 실질적으로 동시에) RGB 공간으로 다시 변환될 수도 있어서, R_org, G_org, 및 B_org로서 나타내어진 각각의 원래의 RGB 평면들이 얻어질 수도 있다. 최소 제곱(least square;LS) 트레이닝 방법(LS training method)은 filter_R, filter_G, 및 filter_B로서 각각 나타내어진, R, G, 및 B 평면들에 대한 3 개의 필터들을 트레이닝하기 위한 트레이닝 데이터 세트(training data set)로서 평면 쌍들 (R_org, R_rec), (G_org, G_rec), 및 (B_org, B_rec)을 취할 수도 있다. R_rec, G_rec, 및 B_rec를 각각 필터링하기 위하여 filter_R, filter_G, 및 filter_B를 이용함으로써, R_imp, G_imp, 및 B_imp로서 나타내어진 3 개의 개선된 RGB 평면들이 얻어질 수도 있고, 및/또는 각각 R_org 및 R_imp, G_org 및 G_imp, 그리고 B_org 및 B_imp 사이의 왜곡들이 R_org 및 R_rec, G_org 및 G_rec, 그리고 B_org 및 B_rec 사이의 각각의 왜곡들에 비해 감소(예를 들어, 최소화)될 수도 있다. R_imp, G_imp, 및 B_imp는 YCbCr 공간으로 변환될 수도 있고, Y_imp, Cb_imp, 및 Cr_imp가 얻어질 수도 있으며, 여기서, Cb_imp 및 Cr_imp는 교차-평면 필터링 프로세스의 출력일 수도 있다.
컬러 공간을 예를 들어, 도 7에서 예시된 바와 같이 전후로 변환하는 것은 인코더 및/또는 디코더 측들 중의 하나 또는 양자의 연산 자원들(예를 들어, 연산 자원들의 바람직하지 않게 큰 양)을 소비할 수도 있다. 공간 변환 프로세스들 및 필터링 프로세스들은 양자 모두 선형(linear)이므로, 예시된 교차-평면 필터링 절차의 적어도 일부분은 예를 들어, 동작들의 하나 이상(예를 들어, 동작들의 전부)이 YCbCr 공간에서 수행되는 간략화된 프로세스를 이용하여 근사화될 수도 있다.
도 8a에서 도시된 바와 같이, Cb_rec의 품질을 개선시키기 위하여, LS 트레이닝 모듈은 트레이닝 데이터 세트로서 Y_rec, Cb_rec, Cr_rec, 및 Cb_org를 취할 수도 있고, 공동으로 유도될 수도 있는 최적의 필터들 filter_Y4Cb, filter_Cb4Cb, 및 filter_Cr4Cb는 각각 Y_rec, Cb_rec, 및 Cr_rec에 적용될 수도 있다. 3 개의 평면들 상에서의 필터링의 각각의 출력들은 예를 들어, Cb_imp로서 나타내어진 개선된 Cb 평면을 얻기 위하여 함께 부가될 수도 있다. 3 개의 최적의 필터들은 LS 방법에 의해 트레이닝될 수도 있어서, 예를 들어, 수학식 2에 따르면, Cb_imp 및 Cb_org 사이의 왜곡이 최소화될 수도 있다.
Figure 112015040915841-pct00002
여기서,
Figure 112015040915841-pct00003
는 2차원(2-D) 컨벌루션(convolution)을 나타내고, + 및 - 는 각각 행렬 부가 및 감산을 나타내고,
Figure 112015040915841-pct00004
은 행렬 X에서의 각각의 엘리먼트의 제곱의 평균을 나타낸다.
도 8b에서 도시된 바와 같이, Cr_rec의 품질을 개선시키기 위하여, LS 트레이닝 모듈은 트레이닝 데이터 세트로서 Y_rec, Cb_rec, Cr_rec, 및 Cr_org를 취할 수도 있고, 공동으로 유도될 수도 있는 최적의 필터들 filter_Y4Cb, filter_Cb4Cr, 및 filter_Cr4Cr는 각각 Y_rec, Cb_rec, 및 Cr_rec에 적용될 수도 있다. 3 개의 평면들 상에서의 필터링의 각각의 결과들은 예를 들어, Cr_imp로서 나타내어진 개선된 Cr 평면을 얻기 위하여 함께 부가될 수도 있다. 3 개의 최적의 필터들은 LS 방법에 의해 트레이닝될 수도 있어서, 예를 들어, 수학식 3에 따르면, Cr_imp 및 Cr_org 사이의 왜곡이 최소화될 수도 있다.
Figure 112015040915841-pct00005
Cr은 Cb를 개선시키는 것에 거의 기여하지 않을 수도 있다. Cb는 Cr을 개선시키는 것에 거의 기여하지 않을 수도 있다.
도 8a 및 도 8b에서 예시된 교차-평면 필터링 기법들은 간략화될 수도 있다. 예를 들어, 도 9a에서 도시된 바와 같이, Cb 평면의 품질은 LS 트레이닝에서 Cr 평면이 아니라 Y 및 Cb 평면들을 채용함으로써 개선될 수도 있어서, 2 개의 필터들, filter_Y4Cb 및 filter_Cb4Cb는 공동으로 유도될 수도 있고, 각각 Y 및 Cb에 적용될 수도 있다. 필터들의 각각의 출력들은 예를 들어, Cb_imp로서 나타내어진 개선된 Cb 평면을 얻기 위하여 함께 부가될 수도 있다.
예를 들어, 도 9b에서 도시된 바와 같이, Cr 평면의 품질은 LS 트레이닝에서 Cb 평면이 아니라 Y 및 Cr 평면들을 채용함으로써 개선될 수도 있어서, 2 개의 필터들, filter_Y4Cr 및 filter_Cr4Cr는 공동으로 유도될 수도 있고, 각각 Y 및 Cr에 적용될 수도 있다. 필터들의 각각의 출력들은 예를 들어, Cr_imp로서 나타내어진 개선된 Cr 평면을 얻기 위하여 함께 부가될 수도 있다.
도 9a 및 도 9b에서 예시된 교차-평면 필터링 기법들은 트레이닝 및/또는 필터링의 각각의 연산 복잡도들을 감소시킬 수도 있고, 및/또는 교차-평면 필터 계수들을 디코더 측으로 송신하는 오버헤드 비트들을 감소시킬 수도 있어서, 성능 열화가 미미할 수도 있다.
비디오 코딩 시스템에서 교차-평면 필터링을 구현하기 위하여, 다음 중의 하나 이상이 다루어질 수도 있다: 교차-평면 필터 사이즈 결정; 교차-평면 필터 계수 양자화 및/또는 송신(예를 들어, 시그널링); 또는 교차-평면 필터링을 하나 이상의 로컬 구역들에 적응시킴.
최적의 교차-평면 필터들을 트레이닝하기 위하여, 적당한 필터 사이즈들이 결정될 수도 있다. 필터의 사이즈는 필터와 연관된 오버헤드의 사이즈 및/또는 필터의 연산 복잡도에 대략 비례할 수도 있다. 예를 들어, 3x3 필터는 송신되어야 할 9 개의 필터 계수들을 가질 수도 있고, 하나의 픽셀을 필터링하는 것을 달성하기 위하여 9 개의 승산들 및 8 개의 가산들을 채용할 수도 있다. 5x5 필터는 송신되어야 할 25 개의 필터 계수들을 가질 수도 있고, 하나의 픽셀을 필터링하기 위하여 25 개의 승산 및 24 개의 가산들을 채용할 수도 있다. 더 큰 사이즈의 필터들은 (예를 들어, 수학식들 2 및 3에서와 같이) 더 낮은 최소 왜곡을 달성할 수도 있고, 및/또는 더 양호한 성능을 제공할 수도 있다. 필터 사이즈는 예를 들어, 연산 복잡도, 오버헤드 사이즈, 및/또는 성능의 균형을 위하여 선택될 수도 있다.
filter_Cb4Cb 및 filter_Cr4Cr과 같은, 평면 자체에 적용될 수도 있는 트레이닝된 필터들은 저역-통과(low-pass) 필터들로서 구현될 수도 있다. filter_Y4Cb, filter_Y4Cr, filter_Cb4Cr, 및 filter_Cr4Cb와 같은, 교차-평면들에 대해 이용될 수도 있는 트레이닝된 필터들은 고역-통과(high-pass) 필터들로서 구현될 수도 있다. 상이한 사이즈들의 상이한 필터들을 이용하는 것은 대응하는 비디오 코딩 시스템의 성능에 거의 영향을 가지지 않을 수도 있다. 교차-평면 필터의 사이즈는 예를 들어, 작게 (예를 들어, 가능한 한 작게) 유지될 수도 있어서, 성능 벌칙이 무시가능하다. 예를 들어, 교차-평면 필터 사이즈는 실질적으로 성능 손실이 전혀 관찰되지 않도록 선택될 수도 있다. 큰 사이즈의 교차-평면 필터들이 구현될 수도 있다(예를 들어, M x N 교차-평면 필터들, 여기서, M 및 N은 정수일 수도 있음).
예를 들어, filter_Cb4Cb 및 filter_Cr4Cr과 같은 저역-통과 필터들에 대하여, 필터 사이즈는 1x1로서 구현될 수도 있어서, 필터는 필터링되어야 할 각각의 픽셀들에 승산된 하나의 계수를 가진다. 1x1 filter_Cb4Cb 및 filter_Cr4Cr의 필터 계수는 1.0인 것으로 고정될 수도 있어서, filter_Cb4Cb 및 filter_Cr4Cr는 절약될 수도 있다(예를 들어, 적용되지 않고 및/또는 시그널링되지 않음).
filter_Y4Cb 및 filter_Y4Cr와 같은 고역-통과 필터들에 대하여, 필터 사이즈는 컬러 샘플링 포맷에 종속적일 수도 있거나 이에 독립적일 수도 있다. 교차-평면 필터 사이즈는 컬러 샘플링 포맷에 종속될 수도 있다. 예를 들어, 교차-평면 필터(예를 들어, filter_Y4Cb 및 filter_Y4Cr)의 사이즈 및/또는 지원 영역은 예를 들어, 도 10a 내지 도 10c에서 예시된 바와 같이 선택 크로마 픽셀에 대해 구현될 수도 있으며, 여기서, 원들은 루마 샘플들의 각각의 위치들을 나타낼 수도 있고, 실선 삼각형들은 크로마 샘플들의 각각의 위치들을 나타낼 수도 있고, (예를 들어, 윤곽선 삼각형에 의해 표현된 바와 같이) 선택 크로마 샘플을 필터링하기 위하여 이용된 루마 샘플들은 회색 원들에 의해 표현될 수도 있다. 예시된 바와 같이, filter_Y4Cb 및 filter_Y4Cr의 필터 사이즈는 4:4:4 및 4:2:2 컬러 포맷들에 대하여 3x3일 수도 있고, 4:2:0 컬러 포맷에대하여 4x3일 수도 있다. 필터 사이즈는 예를 들어, 도 11a 내지 도 11c에서 도시된 바와 같이, 컬러 포맷에 독립적일 수도 있다. 필터 사이즈는 예를 들어, 4:2:0 포맷에 대한 사이즈에 따라 4x3일 수도 있다.
교차-평면 필터링 프로세스는 Y 평면 상에서 트레이닝된 고역-통과 필터를 적용할 수도 있고, 예를 들어, 수학식들 4 및 5에 따라, 크로마 평면에서의 대응하는 픽셀에 부가될 수도 있는 오프셋(offset)으로서, Y_offset4Cb 및 Y_offset4Cr로 나타내어진 필터링 결과를 취할 수도 있다.
Figure 112015040915841-pct00006
Figure 112015040915841-pct00007
교차-평면 필터 계수들은 양자화될 수도 있다. 트레이닝된 교차-평면 필터들은 예를 들어, 송신 전에 양자화될 수도 있는 실수값 계수들을 가질 수도 있다. 예를 들어, filter_Y4Cb는 filter_int로서 나타내어진 정수 필터(integer filter)에 의해 대략 근사화될 수도 있다. filter_int에서의 엘리먼트들은 (예를 들어, 4-비트 표현에 따라 -8로부터 7까지) 작은 동적인 범위를 가질 수도 있다. coeff. 로서 나타내어진 제 2 계수는 예를 들어, 수학식 6에 따라, filter_int를 filter_Y4Cb에 더욱 정확하게 접근시키기 위하여 이용될 수도 있다.
Figure 112015040915841-pct00008
수학식 6에서, 실수값의 수인 coeff. 는 M/2N에 의해 근사화될 수도 있으며, 여기서, M 및 N은 예를 들어, 수학식 7에 따라 정수들이다.
Figure 112015040915841-pct00009
filter_Y4Cb를 송신하기 위하여, filter_int에서의 계수들은 M 및 N과 함께, 예를 들어, 비트스트림에서 코딩될 수도 있다. 상기 설명된 양자화 기법은 예를 들어, filter_Y4Cr을 양자화하기 위하여 확장될 수도 있다.
교차-평면 필터들(예를 들어, filter_Y4Cb 및/또는 filter_Y4Cr)은 신축성 있는 분리성 및/또는 대칭성들을 가질 수도 있다. 본원에서 도입된 교차-평면 성질들은 (예를 들어, 도 10a 내지 도 10c, 또는 도 11a 내지 도 11c에 따라) 일 예의 4x3 교차-평면 필터와 관련하여 설명될 수도 있지만, 다른 필터 사이즈들에 적용가능할 수도 있다.
교차-평면 필터들은 예를 들어, 도 12a 내지 도 12e에서 도시된 바와 같이, 다양한 대칭 성질들을 가질 수도 있다. 교차-평면 필터는 예를 들어, 도 12a에서 도시된 바와 같이 대칭성을 전혀 가지지 않을 수도 있다. 각각의 정사각형은 하나의 필터 계수를 나타낼 수도 있고, 그 값이 나머지 필터 계수들의 값들과는 상이할 수도 있음을 표시할 수도 있는 고유한 인덱스로 라벨표기될 수도 있다. 교차-평면 필터는 예를 들어, 도 12b에서 도시된 바와 같이 수평 및 수직 대칭성을 가질 수도 있어서, 계수는 하나 이상의 다른 사분면(quadrant)들에서 하나 이상의 대응하는 계수들과 동일한 값을 가질 수도 있다. 교차 평면 필터는 예를 들어, 도 12c에서 도시된 바와 같이 수직 대칭성을 가질 수도 있다. 교차 평면 필터는 예를 들어, 도 12d에서 도시된 바와 같이 수평 대칭성을 가질 수도 있다. 교차 평면 필터는 예를 들어, 도 12e에서 도시된 바와 같이 점 대칭성을 가질 수도 있다.
교차-평면 필터들은 도 12a 내지 도 12e에서 예시된 대칭성들에 제한되지 않고, 하나 이상의 다른 대칭성들을 가질 수도 있다. 필터에서의 적어도 2 개의 계수들이 동일한 값을 가질 경우(예를 들어, 적어도 2 개의 계수들이 동일한 인덱스로 라벨표기될 수도 있음), 교차 평면 필터는 대칭성을 가질 수도 있다. 예를 들어, 고역 통과 교차-평면 필터들(예를 들어, filter_Y4Cb 및 filter_Y4Cr)에 대해서는, 필터 지원 영역의 경계들을 따라 하나 이상(예를 들어, 전부)의 계수들에 대해 대칭성을 강제하지만, 필터 지원 영역의 내부 계수들의 하나 이상(예를 들어, 전부)에 대해 일부의 대칭성(예를 들어, 수평 및 수직, 수평, 수직, 또는 점 대칭성)을 강제하는 것이 유익할 수도 있다.
교차-평면 필터는 분리가능할 수도 있다. 예를 들어, 4x3 2차원 필터를 이용한 교차-평면 필터링은 (예를 들어, 제 1 단계 동안에) 1x3 수평 필터를 라인(line)들에 적용하는 것, 및 (예를 들어, 제 2 스테이지 동안에) 4x1 수직 필터를 제 1 스테이지의 출력의 컬럼(column)들에 적용하는 것과 동등할 수도 있다. 제 1 및 제 2 단계들의 순서는 변경될 수도 있다. 대칭성은 1x3 수평 필터 및/또는 4x1 수직 필터에 적용될 수도 있다. 도 13a 및 도 13b는 각각 대칭성을 갖지 않는, 그리고 대칭성을 갖는 2 개의 1차원 필터들을 도시한다.
교차-평면 필터가 분리가능하고 및/또는 대칭적이든지 그렇지 않든지, 비트스트림으로의 필터 계수들의 코딩은 고유한 값들을 가지는 필터 계수들로 제한될 수도 있다. 예를 들어, 도 12a에서 도시된 교차-평면 필터에 따라, 12 개의 필터 계수들(0 내지 11로 인덱싱됨)이 코딩될 수도 있다. 도 12b에서 도시된 교차-평면 필터에 따라, 4 개의 필터 계수들(0 내지 3으로 인덱싱됨)이 코딩될 수도 있다. 교차-평면 필터에서 대칭성을 구현하는 것은 (예를 들어, 비디오 신호 비트스트림에서) 오버헤드 사이즈를 감소시킬 수도 있다.
예를 들어, 교차-평면 필터들(예를 들어, filter_Y4Cb 및 filter_Y4Cr)이 고역-통과 필터들일 경우, 교차-평면 필터의 필터 계수들의 합산은 제로(zero)와 동일할 수도 있다. 제약(constraint)일 수도 있는 이 성질에 따르면, 교차-평면 필터에서의 계수(예를 들어, 적어도 하나의 계수)는 다른 계수들의 합산과 동일한 크기를 가질 수도 있지만, 반대의 부호를 가질 수도 있다. 교차-평면 필터가 송신되어야 할 X 계수들을 가질 경우(예를 들어, X는 도 12a에서 도시된 바와 같이 12와 동일함), X-1 계수들은 비트스트림으로 코딩될 수도 있다(예를 들어, 명시적으로 코딩됨). 디코더는 X-1 계수들을 수신할 수도 있고, 예를 들어, 제로-합산 제약에 기초하여 나머지 계수의 값을 유도(예를 들어, 묵시적으로 유도)할 수도 있다.
교차-평면 필터링 계수들은 예를 들어, 비디오 비트스트림에서 시그널링될 수도 있다. 도 14의 일 예의 신택스 표는 크로마 평면(예를 들어, Cb 또는 Cr)에 대한 2차원의, 비-분리가능한, 비대칭적인 교차-평면 필터 계수들의 세트를 시그널링하는 예를 예시한다. 다음은 일 예의 신택스 표에서의 엔트리(entry)들에 적용할 수도 있다. 엔트리 num_coeff_hori_minus1 플러스 1(+1)은 교차-평면 필터의 수평 방향에서의 계수들의 수를 표시할 수도 있다. 엔트리 num_coeff_vert_minus1 플러스 1(+1)은 교차-평면 필터의 수직 방향에서의 계수들의 수를 표시할 수도 있다. 0과 동일한 엔트리 num_coeff_reduced_flag는 예를 들어, 도 15a에서 도시된 바와 같이, 교차-평면 필터 계수들의 수가 (num_coeff_hori_minus1+1) x (num_coeff_vert_minus1+1)과 동일할 수도 있음을 표시할 수도 있다. 도 15a에서 도시된 바와 같이, num_coeff_hori_minus1은 2와 동일하고, num_coeff_vert_minus1은 3과 동일하다.
1과 동일한 엔트리 num_eoeff_reduced_flag는, 예를 들어, 도 15b에서 도시된 바와 같이, 예를 들어, 4 개의 코너 계수들을 제거함으로써, 전형적으로 (num_coeff_hori_minus1+1) x (num_coeff_vert_minus1+1)과 동일할 수도 있는 교차-평면 필터 계수들의 수가 (num_coeff_hori_minus1+1) x (num_coeff_vert_minus1+1) - 4로 감소될 수도 있음을 표시할 수도 있다. 교차-평면 필터의 지원 영역은 예를 들어, 4 개의 코너 계수들을 제거함으로써 감소될 수도 있다. num_coeff_reduced_flag 엔트리를 채용하는 것은 예를 들어, 필터 계수들이 감소되든지 그렇지 않을 시에, 향상된 신축성을 제공할 수도 있다.
엔트리 filter_coeff_plus8 [i] 마이너스(minus) 8은 i번째 교차-평면 필터 계수에 대응할 수도 있다. 필터 계수들의 값은 예를 들어, -8 내지 7의 범위에 있을 수도 있다. 이러한 경우, 엔트리 filter_coeff_plus8 [i]는 0 내지 15의 범위에 있을 수도 있고, 예를 들어, 4-비트 고정-길이 코딩(fixed-length coding; FLC)에 따라 코딩될 수도 있다. 엔트리들 scaling_factor_abs_minus1 및 scaling_factor_sign은 다음과 같이 스케일링 인자의 값(예를 들어, 수학식 7에서 M)을 함께 특정할 수도 있다:
M = (1 - 2 * scaling_factor_sign) * (scaling_factor_abs_minus1+1)
엔트리 bit_shifting은 스케일링 프로세스 후에 우측으로 시프트(shift)되어야 할 비트들의 수를 특정할 수도 있다. 이 엔트리는 수학식 7에서 N을 나타낼 수도 있다.
픽쳐의 상이한 영역들은 상이한 통계적 성질들을 가질 수도 있다. 하나 이상의 이러한 영역들에 대해(예를 들어, 각각의 이러한 영역에 대해) 교차-평면 필터 계수들을 유도하는 것은 크로마 코딩 성능을 개선시킬 수도 있다. 예시하기 위하여, 교차-평면 필터 계수들의 상이한 세트들은, 교차-평면 필터 계수들의 다수의 세트들이 (예를 들어, 적응적 픽쳐 세트(adaptive picture set; APS)에서) 픽쳐 레벨에서 및/또는 (예를 들어, 슬라이스 헤더에서) 슬라이스 레벨에서 송신될 수도 있는, 픽쳐 또는 슬라이스의 상이한 영역들에 적용될 수도 있다.
교차-평면 필터링이 예를 들어, 비디오가 디스플레이되기 전에 재구성된 비디오에 적용된 포스트-프로세싱(post processing) 구현예에서 이용될 경우, 필터 계수들의 하나 이상의 세트들은 보충 향상 정보(supplemental enhancement information; SEl) 메시지로서 송신될 수도 있다. 각각의 컬러 평면에 대하여, 필터 세트들의 총 수가 시그널링될 수도 있다. 수가 제로보다 더 클 경우, 교차-평면 필터 계수들의 하나 이상의 세트들은 예를 들어, 순차적으로 송신될 수도 있다.
도 16의 일 예의 신택스 표는 cross_plane_filter( )로 명명될 수도 있는 SEI 메시지에서의 교차-평면 필터 계수들의 다수의 세트들을 시그널링하는 예를 예시한다. 다음은 일 예의 신택스 표에서의 엔트리들에 적용할 수도 있다. 1과 동일한 엔트리 cross_plane_filter_enabled_flag는 교차-평면 필터링이 인에이블 됨을 특정할 수도 있다. 대조적으로, 제로(0)와 동일한 엔트리 cross_plane_filter_enabled_flag는 교차-평면 필터링이 디스에이블 됨을 특정할 수도 있다.
엔트리 cb_num_of_filter_sets는 현재의 픽쳐의 Cb 평면을 코딩하기 위하여 이용될 수도 있는 교차-평면 필터 계수들 세트들의 수를 특정할 수도 있다. 제로(0)와 동일한 엔트리 cb_num_of_filter_sets는 교차-평면 필터링이 현재의 픽쳐의 Cb 평면 상에서 적용되지 않음을 표시할 수도 있다. 엔트리 cb_filter_coeff [i]는 Cb 평면에 대한 교차-평면 필터 계수들의 i번째 세트일 수도 있다. 엔트리 cb_filter_coeff는 데이터 구성일 수도 있고, num_coeff_hori_minus1, num_coeff_vert_minus1, num_coeff_reduced_flag, filter_coeff_plus8, scaling_factor_abs_minus1, scaling_factor_sign, 또는 bit_shifling 중의 하나 이상을 포함할 수도 있다.
엔트리 cr_num_of_fllter_sets는 현재의 픽쳐의 Cr 평면을 코딩하기 위하여 이용될 수도 있는 교차-평면 필터 계수들 세트들의 수를 특정할 수도 있다. 제로(0)와 동일한 엔트리 cr_num_of_filter_sets는 교차-평면 필터링이 현재의 픽쳐의 Cr 평면 상에서 적용되지 않음을 표시할 수도 있다. 엔트리 cr_filter_coeff [i]는 Cr 평면에 대한 교차-평면 필터 계수들의 i번째 세트일 수도 있다. 엔트리 cr_filter_coeff는 데이터 구성일 수도 있고, num_coeff_hori_minus1, num_coeff_vert_minus1, num_coeff_reduced_flag, filter_coeff_plus8, scaling_factor_abs_minus1, scaling_factor_sign, 또는 bit_shifting 중의 하나 이상을 포함할 수도 있다.
영역-기반 교차-평면 필터들이 구현될 수도 있다. 예를 들어, (루마 평면의 안내로) 연관된 크로마 평면들에서의 고주파수 정보의 손실을 복원하는 것이 희망될 경우, 교차-평면 필터링은 비디오 이미지에서 하나 이상의 국소적 구역들을 필터링하기 위하여 적응될 수도 있다. 예를 들어, 교차-평면 필터링은 에지들 및/또는 텍스처들에서의 풍부한 구역에 적용될 수도 있다. 예를 들어, 교차-평면 필터가 적용될 수도 있는 하나 이상의 영역들을 찾기 위하여, 에지 검출이 먼저 수행될 수도 있다. filter_Y4Cb 및/또는 filter_Y4Cr와 같은 고역-통과 필터는 Y 평면에 먼저 적용될 수도 있다.
필터링 결과의 크기는 필터링된 픽셀이 고주파수 구역에 있는지 여부를 암시할 수도 있다. 큰 크기는 필터링된 픽셀의 영역에서 선명한 예지(sharp edge)들을 표시할 수도 있다. 제로에 근접한 크기는 필터링된 픽셀이 동종 영역에 있음을 표시할 수도 있다. 임계치는 filter_Y4Cb 및/또는 filter_Y4Cr에 의한 필터링 출력을 측정하기 위하여 채용될 수도 있다. 필터링 출력은 예를 들어, 그것이 임계치보다 더 클 경우, 크로마 평면에서의 대응하는 픽셀에 부가될 수도 있다. 예를 들어, 평탄한 영역들에서의 각각의 크로마 픽셀들은 변경되지 않을 수도 있고, 이것은 랜덤 필터링 잡음(random filtering noise)을 회피할 수도 있다. 영역-기반 교차-평면 필터링은 코딩 성능을 유지하면서 비디오 코딩 복잡도를 감소시킬 수도 있다. 예를 들어, 하나 이상의 영역들을 포함할 수도 있는 영역 정보는 디코더로 시그널링될 수도 있다.
영역-기반 교차-평면 필터링의 구현예에서는, 상이한 통계적 성질들을 갖는 하나 이상의 영역들(예를 들어, 평탄한, 색채가 있는, 텍스처, 및/또는 에지-풍부한 구역들)이 예를 들어, 인코더 측에서 검출될 수도 있다. 복수의 교차-평면 필터들이 유도될 수도 있고, 하나 이상의 영역들 중의 대응하는 것들에 적용될 수도 있다. 하나 이상의 영역들 중의 각각의 것들에 속하는 정보는 디코더 측으로 송신될 수도 있다. 이러한 정보는 예를 들어, 영역의 구역, 영역의 로케이션, 및/또는 영역에 적용하기 위한 특정 교차-평면 필터를 포함할 수도 있다.
도 17의 일 예의 신택스 표는 특별한 영역에 속하는 정보를 시그널링하는 예를 예시한다. 다음은 일 예의 신택스 표에서의 엔트리들에 적용할 수도 있다. 엔트리들 top_offset, left_offset, right_offset, 및 bottom_offset은 현재의 영역의 구역 및/또는 로케이션을 특정할 수도 있다. 엔트리들은 예를 들어, 도 18에서 도시된 바와 같이, 현재의 영역의 상부, 좌측, 우측, 및 하부 변들로부터 연관된 픽쳐의 대응하는 4 개의 변들까지, 예를 들어, 픽셀들의 측면에서 각각의 거리들을 나타낼 수도 있다.
cross_plane_filtering_region_info ( )는 Cb 평면이 특정된 영역의 교차-평면 필터링, Cr 평면의 특정된 영역의 교차-평면 필터링, 또는 Cb 평면 및 Cr 평면의 각각의 특정된 영역들의 교차-평면 필터링에 속하는 정보를 포함할 수도 있다.
1과 동일한 엔트리 cb_filtering_enabled_flag는 Cb 평면의 현재의 영역에 대한 교차-평면 필터링이 인에이블 됨을 표시할 수도 있다. 제로(0)와 동일한 엔트리 cb_filtering_enabled_flag는 Cb 평면의 현재의 영역에 대한 교차-평면 필터링이 디스에이블 됨을 표시할 수도 있다. 엔트리 cb_filter_idx는 교차-평면 필터 cb_filter_coeff [cb_filter_idx](예를 들어, 도 16에서 도시된 바와 같이 cb_filter_coeff를 시그널링)가 Cb 평면의 현재의 영역에 적용될 수도 있다는 것을 특정할 수도 있다.
1과 동일한 엔트리 cr_filtering_enabled_flag는 Cr 평면의 현재의 영역에 대한 교차-평면 필터링이 인에이블 됨을 표시할 수도 있다. 제로(0)와 동일한 엔트리 cr_filtering_enabled_flag는 Cr 평면의 현재의 영역에 대한 교차-평면 필터링이 디스에이블 됨을 표시할 수도 있다. 엔트리 cr_filter_idx는 교차-평면 필터 cr_filter_coeff [cr_filter_idx](예를 들어, 도 16에서 도시된 바와 같이 cr_filter_coeff를 시그널링)가 Cr 평면의 현재의 영역에 적용될 수도 있다는 것을 특정할 수도 있다.
하나 이상의 영역들에 속하는 정보는 (예를 들어, APS 또는 SEI 메시지에서) 픽쳐 레벨에서 또는 (예를 들어, 슬라이스 헤더에서) 슬라이스 레벨에서 송신될 수도 있다. 도 19의 일 예의 신택스 표는 cross_plane_filter( )로 명명될 수도 있는 SEI 메시지에서의 다수의 교차-평면 필터들과 함께, 다수의 영역들을 시그널링하는 예를 예시한다. 영역들에 속하는 정보는 이탤릭체로 되어 있다.
다음은 일 예의 신택스 표에서의 엔트리들에 적용할 수도 있다. 엔트리 cb_num_of_regions_minus1 플러스 1(+1)은 Cb 평면에서의 영역들의 수를 특정할 수도 있다. 각각의 영역은 대응하는 교차-평면 필터에 의해 필터링될 수도 있다. 제로(0)와 동일한 엔트리 cb_num_of_regions_minus1은 Cb 평면의 전체가 하나의 교차-평면 필터에 의해 필터링될 수도 있음을 표시할 수도 있다. 엔트리 cb_region_info [i]는 Cb 평면에서의 i번째 영역 정보일 수도 있다. 엔트리 cb_region_info는 데이터 구성일 수도 있고, top_offset, left_offset, right_offset, bottom_offset, cb_filtering_enabled_flag, 또는 cb_filter_idx 중의 하나 이상을 포함할 수도 있다.
엔트리 cr_num_of_regions_minus1 플러스 1(+1)은 Cr 평면에서의 영역들의 수를 특정할 수도 있다. 각각의 영역은 대응하는 교차-평면 필터에 의해 필터링될 수도 있다. 제로(0)와 동일한 엔트리 cr_num_of_regions_minus1은 Cr 평면의 전체가 하나의 교차-평면 필터에 의해 필터링될 수도 있음을 표시할 수도 있다. 엔트리 cr_region_info [i]는 Cr 평면에서의 i번째 영역 정보일 수도 있다. 엔트리 cr_region_info는 데이터 구성일 수도 있고, top_offset, left_offset, right_offset, bottom_offset, cr_filtering_enabled_flag, 또는 cr_filter_idx 중의 하나 이상을 포함할 수도 있다.
교차-평면 필터링은 단일-계층 비디오 코딩 시스템들에서, 및/또는 멀티-계층 비디오 코딩 시스템들에서 이용될 수도 있다. (예를 들어, 도 1 및 도 2에서 예시된 바와 같이) 단일-계층 비디오 코딩에 따르면, 예를 들어, 참조 픽쳐들(예를 들어, 참조 픽쳐 저장소들(164 및/또는 264)에 저장된 픽쳐들)을 개선시키기 위하여, 교차-평면 필터링이 적용될 수도 있어서, 하나 이상의 후속 프레임들은 (예를 들어, 크로마 평면들에 대하여) 더 양호하게 예측될 수도 있다.
교차-평면 필터링은 포스트-프로세싱 방법으로서 이용될 수도 있다. 예를 들어, 교차-평면 필터링은 재구성된 출력 비디오(220)에 (예를 들어, 그것이 디스플레이되기 전에) 적용될 수도 있다. 이러한 필터링은 MCP 루프의 일부가 아닐 수도 있고, 이에 따라, 후속 픽쳐들의 코딩에 영향을 주지 않을 수도 있지만, 포스트-프로세싱은 디스플레이를 위한 비디오의 품질을 (예를 들어, 직접) 개선시킬 수도 있다. 예를 들어, 교차-평면 필터링은 보충 향상 정보(SEI) 시그널링을 갖는 HEVC 포스트프로세싱에서 적용될 수도 있다. 인코더 측에서 추정된 교차-평면 필터 정보는 예를 들어, SEI 메시지에서 전달될 수도 있다.
(예를 들어, 도 3 및 도 4에서 예시된 바와 같이) 멀티-계층 비디오 코딩을 이용하는 예에 따르면, 교차-평면 필터링은 예를 들어, 하나 이상의 픽쳐들이 더 상위 계층 픽쳐들을 예측하기 위하여 EL DPB 버퍼(예를 들어, 참조 픽쳐 리스트)에서 배치되기 전에, 하나 이상의 업샘플링된 BL 픽쳐들에 적용될 수도 있다. 도 5에서 도시된 바와 같이, 교차-평면 필터링은 제 3 단계에서 수행될 수도 있다. 업샘플링된 기본 계층 재구성 픽쳐(예를 들어, ILP 픽쳐)에서 하나 또는 양자의 크로마 평면들의 품질을 개선시키기 위하여, 트레이닝 및/또는 필터링에 관여된 대응하는 루마 평면은 동일한 ILP 픽쳐로부터의 하나일 수도 있으며, 여기서, 트레이닝 및/또는 필터링 프로세스들은 단일-계층 비디오 코딩에서 이용된 것과 동일할 수도 있다.
멀티-계층 비디오 코딩을 이용하는 또 다른 예에 따르면, 대응하는 루마 평면은 교차-평면 트레이닝 및/또는 필터링을 지원하기 위하여, 예를 들어, ILP 픽쳐에서 크로마 평면들을 향상시키기 위하여, 업샘플링 없이 기본 계층 재구성 픽쳐에서 (예를 들어, 직접) 이용될 수도 있다. 예를 들어, 4:2:0 비디오 소스를 갖는 2X 공간적 SVC에 따르면, 기본 계층 루마 평면의 사이즈는 ILP 픽쳐에서의 하나 또는 양자의 대응하는 크로마 평면들의 사이즈와 실질적으로 동일(예를 들어, 정확하게 동일)할 수도 있다. 2 개의 타입들의 평면들의 샘플링 그리드들은 상이할 수도 있다. 기본 계층 픽쳐에서의 루마 평면은 예를 들어, ILP 픽쳐에서 크로마 평면들의 샘플링 그리드와 정렬(예를 들어, 정확하게 정렬)하기 위하여, 위상-정정 필터(phase-correction filter)에 의해 필터링될 수도 있다. 하나 이상의 다음의 동작들은 예를 들어, 단일-계층 비디오 코딩에 대하여, 본원의 어딘가에서 설명된 것들과 동일할 수도 있다. 컬러 포맷은 (예를 들어, 도 10a 또는 도 11a에 따르면) 4:4:4로서 간주될 수도 있다. ILP 픽쳐에서의 크로마 평면들에 대하 교차-평면 필터링을 지원하기 위하여 기본 계층 루마 평면을 이용하는 것은 예를 들어, 간단한 유도에 의해 공간적 스케일러빌러티 및/또는 다른 컬러 포맷들의 다른 비율들로 확장될 수도 있다.
멀티-계층 비디오 코딩을 이용하는 또 다른 예에 따르면, 교차-평면 필터링은 업샘플링되지 않은 재구성된 기본 계층 픽쳐에 적용될 수도 있다. 교차-평면 필터링의 출력은 업샘플링될 수도 있다. 도 5에서 도시된 바와 같이, 교차-평면 필터링은 제 1 단계에서 수행될 수도 있다. 공간적 스케일러빌러티의 경우(예를 들어, BL이 EL보다 더 낮은 해상도를 가질 경우), 교차-평면 필터링은 본원에서 설명된 다른 멀티-계층 비디오 코딩의 예들 중의 하나 이상보다 더 낮은 연산 복잡도를 포함할 수도 있는 더 적은 픽셀들에 적용될 수도 있다. 예를 들어, 수학식 2를 참조하면,
Figure 112015040915841-pct00010
및 Cborg가 상이한 차원(dimension)들을 가질 수도 있고 정확하게 감산하지 않을 수도 있으므로, 수학식들 2 및 3은 직접 적용되지 않을 수도 있다. Yrec , Cbrec , 및 Crrec는 기본 계층 픽쳐에서와 동일한 해상도를 가질 수도 있다. Cborg는 향상 계층 픽쳐에서와 동일한 해상도를 가질 수도 있다. 멀티계층 비디오 코딩의 이 예에 따르면, 교차-평면 필터 계수들의 유도는 수학식들 8 및 9를 이용하여 달성될 수도 있다.
Figure 112015040915841-pct00011
Figure 112015040915841-pct00012
여기서, U는 기본 계층 픽쳐를 입력으로서 취할 수도 있으며 향상 계층 해상도를 갖는 업샘플링된 픽쳐를 출력할 수도 있는 업샘플링 함수일 수도 있다.
도 9a 및 도 9b에서 예시된 교차-평면 필터링 기법에 따르면, 교차 평면은 루마 평면에 의해, 그리고 그 자체(예를 들어, 다른 크로마 평면을 제외함)에 의해 향상될 수도 있고, 수학식들 8 및 9는 예를 들어, 수학식들 10 및 11에서 예시된 바와 같이 단순화될 수도 있다.
Figure 112015040915841-pct00013
Figure 112015040915841-pct00014
도 9a 및 도 9b에서 예시된 교차-평면 필터링 기법에 기초하여, filter_Cb4Cb 및/또는 filter_Cr4Cr는 1x1로 감소될 수도 있고, 필터 계수의 값은 1.0으로 설정될 수도 있다. 수학식들 10 및 11은 예를 들어, 수학식들 12 및 13에서 예시된 바와 같이 단순화될 수도 있다.
Figure 112015040915841-pct00015
Figure 112015040915841-pct00016
교차-평면 필터링은 적응적으로 적용될 수도 있다. 예를 들어, 멀티-계층 비디오 코딩에 적용될 때, 교차-평면 필터링은 예를 들어, 도 5에서 도시된 바와 같이 제 1 및/또는 제 3 단계들에서 적응적으로 적용될 수도 있다.
교차-평면 필터링은 예를 들어, 시퀀스-레벨, 픽쳐-레벨, 슬라이스-레벨, 또는 블록-레벨 중의 하나 이상을 포함하는 하나 이상의 코딩 레벨들에 적응적으로 적용될 수도 있다. 시퀀스-레벨 적응에 따르면, 예를 들어, 인코더는 비디오 시퀀스의 일부분(예를 들어, 비디오 시퀀스의 전체)을 코딩하기 위한 제 1 단계 및/또는 제 3 단계에서 교차-평면 필터링을 채용할 것을 결정할 수도 있다. 이러한 결정은 예를 들어, 비디오 파라미터 세트(video parameter set; VPS) 및/또는 시퀀스 파라미터 세트(sequence parameter set; SPS)와 같은 하나 이상의 시퀀스-레벨 파라미터 세트들에서 및/또는 시퀀스 헤더에서 포함될 수도 있는 2진 플래그(binary flag)로서 표현될 수도 있다.
픽쳐-레벨 적응에 따르면, 예를 들어, 인코더는 하나 이상의 EL 픽쳐들(예를 들어, 비디오 시퀀스의 각각의 EL 픽쳐)을 코딩하기 위한 제 1 단계 및/또는 제 3 단계에서 교차-평면 필터링을 채용할 것을 결정할 수도 있다. 이러한 결정은 예를 들어, 적응적 파라미터 세트(adaptive parameter set; APS) 및/또는 픽쳐 파라미터 세트(picture parameter set; PPS)와 같은 하나 이상의 픽쳐-레벨 파라미터 세트들에서 및/또는 픽쳐 헤더에서 포함될 수도 있는 2진 플래그로서 표현될 수도 있다.
슬라이스-레벨 적응에 따르면, 예를 들어, 인코더는 하나 이상의 EL 비디오 슬라이스들(예를 들어, 각각의 EL 슬라이스)을 코딩하기 위한 제 1 단계 및/또는 제 3 단계에서 교차-평면 필터링을 채용할 것을 결정할 수도 있다. 이러한 결정은 예를 들어, 슬라이스 헤더에서 포함될 수도 있는 2진 플래그로서 표현될 수도 있다. 상기 설명된 바와 같은 시그널링 메커니즘들은 하나 이상의 다른 레벨 적응들에 따라(예를 들어, 이들로 확장됨) 구현될 수도 있다.
픽쳐-기반 교차-평면 필터링은 예를 들어, 멀티-계층 비디오 코딩을 위해 구현될 수도 있다. 이러한 교차-평면 필터링에 관련된 정보는 시그널링될 수도 있다. 예를 들어, uplane_filtering_flag 및/또는 vplane_filtering_fiag와 같은 하나 이상의 플래그들은 예를 들어, 픽쳐 당 한번 코딩될 수도 있고, 디코더로 송신될 수도 있다. 플래그들 uplane_filtering_flag 및/또는 vplane_filtering_flag는 예를 들어, 교차-평면 필터링이 Cb 평면 및/또는 Cr 평면에 각각 적용되어야 하는지 여부를 표시할 수도 있다. 인코더는 (예를 들어, 픽쳐-대-픽쳐에 기초하여) 하나 이상의 픽쳐들의 어느 하나의 크로마 평면에 대한 교차-평면 필터링을 인에이블 또는 디스에이블할 것인지 여부를 결정할 수도 있다. 인코더는 예를 들어, 코딩 성능을 개선시키기 위하여, 및/또는 코딩 성능 및 복잡도의 희망하는 레벨들에 따라(예를 들어, 교차-평면 필터링을 턴온(turn on)하는 것은 디코딩 복잡도를 증가시킬 수도 있음) 이러한 결정을 행하도록 구성될 수도 있다.
인코더는 픽쳐-기반 교차-평면 필터링을 하나 이상의 크로마 평면들에 적용할 것인지 여부를 결정하기 위하여 하나 이상의 기법들을 채용하도록 구성될 수도 있다. 예를 들어, 픽쳐-레벨 선택을 수행하는 예에 따르면, 필터링 이전 및 이후의 Cb 평면들 예를 들어, Cb_rec 및 Cb_imp는 EL 픽쳐에서의 원래의 Cb 평면, 예를 들어, Cb_org와 비교될 수도 있다. MSE_rec 및 MSE_imp로서 각각 나타내어질 수도 있는 필터링 이전 및 이후의 평균 제곱 에러(mean square error; MSE) 값들이 계산될 수도 있고 비교될 수도 있다. 일 예에서, MSE_imp는 MSE_rec보다 더 작을 수도 있고, 이것은 교차-평면 필터링을 적용하는 것이 왜곡을 감소시킬 수도 있으며 교차-평면 필터링이 Cb 평면 상에서 인에이블될 수도 있음을 표시할 수도 있다. MSE_imp가 MSE_rec보다 더 작지 않을 경우, 교차-평면 필터링은 Cb 평면 상에서 디스에이블될 수도 있다. 이 기법에 따르면, MSE는 전체적인 픽쳐에 기반으로 하여 계산될 수도 있고, 이것은 단일 가중 인자가 MSE 계산에서 하나 이상의 픽셀들(예를 들어, 각각의 픽셀)에 적용될 수도 있음을 의미할 수도 있다.
픽쳐-레벨 선택을 수행하는 또 다른 예에 따르면, MSE는 ILP에서 관여된 하나 이상의 픽셀들에 기초하여, 예를 들어, ILP에서 관여된 그러한 픽셀들에만 기초하여 계산될 수도 있다. 인코더가 교차-평면 필터링을 Cb 평면 상에서 적용할 것인지 여부를 결정할 때, 픽쳐에 대한 ILP 맵(map)은 아직 이용가능하지 않을 수도 있다. 예를 들어, 결정은 EL 픽쳐를 코딩하기 전에 행해질 수도 있는 반면, ILP 맵은 EL 픽쳐가 코딩되었을 때까지 이용가능하지 않을 수도 있다.
픽쳐-레벨 선택을 수행하는 또 다른 예에 따르면, 멀티-패스(multi-pass) 인코딩 전략이 채용될 수도 있다. 제 1 패스에서는, EL 픽쳐가 인코딩될 수도 있고 ILP 맵은 레코딩될 수도 있다. 제 2 패스에서는, 예를 들어, ILP 맵에 의해 표기된 ILP 블록들로 제한될 수도 있는 MSE 계산에 따라, 교차-평면 필터링을 이용할 것인지 여부의 결정이 행해질 수도 있다. 픽쳐는 이 결정에 따라 인코딩될 수도 있다. 이러한 멀티-패스 인코딩은 시간-소비적일 수도 있고, 단일-패스 인코딩과 비교할 때에 더 큰 연산 복잡도를 포함할 수도 있다.
각각의 픽쳐들(예를 들어, 비디오 시퀀스의 각각의 픽쳐들)에서의 하나 이상의 이동 객체(moving object)들은 비-이동 객체(non-moving object)들보다 ILP 픽쳐에 의해 코딩될 가능성이 더 많을 수도 있다. 연속적인 픽쳐들(예를 들어, 비디오 시퀀스의 연속적인 픽쳐들)의 ILP 맵들은 상관될 수도 있다(예를 들어, 높은 상관도를 나타낼 수도 있음). 이러한 연속적인 ILP 맵들은 서로에 대해 하나 이상의 변위들(예를 들어, 상대적으로 작은 변위들)을 나타낼 수도 있다. 이러한 변위들은 예를 들어, 픽쳐들의 각각의 상이한 시간 인스턴스(time instance)들에 기인할 수도 있다.
픽쳐-레벨 선택을 수행하는 또 다른 예에 따르면, 하나 이상의 이전에 코딩된 EL 픽쳐들의 ILP 맵들은 코딩되어야 할 현재의 EL 픽쳐의 ILP 맵을 예측하기 위하여 이용될 수도 있다. 예측된 ILP 맵은 현재의 EL 픽쳐를 코딩함에 있어서 ILP를 위해 이용될 가능성이 있을 수도 있는 하나 이상의 블록들을 위치시키기 위하여 이용될 수도 있다. 이러한 이용될 가능성이 있는 블록들은 잠재적인 ILP 블록들로서 지칭될 수도 있다. 하나 이상의 잠재적인 ILP 블록들은 (예를 들어, 위에서 설명된 바와 같이) MSE를 계산할 시에 포함될 수도 있고, 및/또는 예를 들어, 계산된 MSE에 기초하여 교차-평면 필터링을 적용할 것인지 여부를 결정할 시에 이용될 수도 있다.
ILP 맵의 차원은 예를 들어, 인코더가 선택하는 세분화(granularity)에 종속될 수도 있다. 픽쳐의 차원이 (예를 들어, 루마 해상도의 측면에서) W x H일 경우, 예를 들어, ILP 맵의 차원은 W x H일 수도 있으며, 여기서, 엔트리는 대응하는 픽셀이 ILP를 위해 이용되는지 여부를 나타낼 수도 있다. ILP 맵의 차원은 (W/M) x (H/N)일 수도 있으며, 여기서, 엔트리는 사이즈 M x N의 대응하는 블록이 ILP를 위해 이용되는지 여부를 나타낼 수도 있다. 일 예의 구현예에 따르면, M=N=4가 선택될 수도 있다.
예를 들어, EL 픽쳐가 코딩된 후에 레코딩된 정확한 ILP 맵은 2진 맵일 수도 있어서, 엔트리들(예를 들어, 각각의 엔트리)은 엔트리가 ILP를 위해 이용되는지 여부를 표시할 수도 있는 2 개의 가능한 값들 중의 하나(예를 들어, 제로(0) 또는 1)로 제한될 수도 있다. 0 및 1의 값들은 예를 들어, 엔트리가 ILP를 위해 이용되거나 ILP를 위해 이용되지 않음을 각각 표시할 수도 있다.
예측된 ILP 맵은 멀티-레벨 맵일 수도 있다. 이러한 ILP 맵에 따르면, 각각의 엔트리는 ILP를 위해 이용되어야 할 블록을 예측할 시에 다수-레벨 확실성(multiple-level confidence)을 표현할 수도 있는 다수의 가능한 값들을 가질 수도 있다. 더 큰 값들은 더 높은 확실성을 표시할 수도 있다. 일 예의 구현예에 따르면, 0부터 128까지의 예측된 ILP 맵의 가능한 값들이 이용될 수도 있으며, 여기서, 128은 최고 확실성을 나타내고, 0은 최저 확실성을 나타낸다.
도 20은 교차-평면 필터링을 위한 일 예의 픽쳐-레벨 선택 알고리즘(2000)을 도시한다. 예시된 픽쳐-레벨 선택 알고리즘은 예를 들어, Cb 평면 및/또는 Cr 평면에 적용될 수도 있다. (2010)에서는, 예를 들어, 제 1 픽쳐를 인코딩하기 전에, PredlLPMap으로서 나타낸 예측된 ILP 맵이 초기화될 수도 있다. 도시된 알고리즘에 따르면, 각각의 블록은 ILP를 위해 이용될 동일한 기회를 가질 수도 있고 PredlLPMap의 각각의 엔트리의 값은 128로 설정될 수도 있는 것으로 가정될 수도 있다.
(2020)에서, 인코더는 교차-평면 필터링을 적용할 것인지 여부를 결정할 수도 있다. 향상된 Cb 평면, Cb_imp는 교차-평면 필터링에 의해 생성될 수도 있다. 가중처리된 MSE는 예를 들어, 수학식들 14 및 15를 이용하여 계산될 수도 있다.
Figure 112015040915841-pct00017
Figure 112015040915841-pct00018
수학식들 14 및 15에서, Cb_rec 및 Cb_imp는 교차-평면 필터링 이전 및 이후의 Cb 평면을 나타낼 수도 있고, Cb_org는 코딩되어야 할 현재의 EL 픽쳐의 원래의 Cb 평면을 나타낼 수도 있고, (x, y)는 루마 평면의 그리드에서의 어떤 픽셀의 위치를 나타낼 수도 있다. 도시된 바와 같이, 수학식들 14 및 15는 4:2:0 컬러 서브샘플링을 가정하고, ILP 맵의 엔트리는 4x4 블록 사이즈를 나타내므로, Cb 평면에서의 대응하는 위치들 및 PredlLPMap은 각각 (x/2, y/2) 및 (x/4, y/4)일 수도 있다. 각각의 픽셀에 대하여, 제곱된 에러 (Cb_imp(x/2,y/2) - Cb_org(x/2,y/2))2 또는 (Cb_rec(x/2,y/2) - Cb_org(x/2,y/2))2 는 예를 들어, 에러가 Weighted_MSE_imp 또는 Weighted_MSE_rec로 누적되기 전에 PredlLPMap에서의 대응하는 인자에 의해 가중처리될 수도 있다. 이것은 ILP를 위해 이용될 가능성이 더 많은 하나 이상의 픽셀들 상에서의 왜곡이 가중처리된 MSE에서 더 높은 가중치를 가질 수도 있음을 의미할 수도 있다.
대안적으로 또는 추가적으로, (2020)에서는, 향상된 Cr 평면, Cr_imp가 교차-평면 필터링에 의해 생성될 수도 있다. 가중처리된 MSE는 예를 들어, 수학식들 16 및 17을 이용하여 계산될 수도 있다.
Figure 112015040915841-pct00019
Figure 112015040915841-pct00020
수학식들 16 및 17에서, Cr_rec 및 Cr_imp는 교차-평면 필터링 이전 및 이후의 Cr 평면을 나타낼 수도 있고, Cr_org는 코딩되어야 할 현재의 EL 픽쳐의 원래의 Cr 평면을 나타낼 수도 있고, (x, y)는 루마 평면의 그리드에서의 어떤 픽셀의 위치를 나타낼 수도 있다. 도시된 바와 같이, 수학식들 16 및 17은 4:2:0 컬러 서브샘플링을 가정하고, ILP 맵의 엔트리는 4x4 블록 사이즈를 나타내므로, Cr 평면에서의 대응하는 위치들 및 PredlLPMap은 각각 (x/2, y/2) 및 (x/4, y/4)일 수도 있다. 각각의 픽셀에 대하여, 제곱된 에러 (Cr_imp(x/2,y/2) - Cr_org(x/2,y/2))2 또는 (Cr_rec(x/2,y/2) - Cr_org(x/2,y/2))2 는 예를 들어, 에러가 Weighted_MSE_imp 또는 Weighted_MSE_rec로 누적되기 전에 PredlLPMap에서의 대응하는 인자에 의해 가중처리될 수도 있다. 이것은 ILP를 위해 이용될 가능성이 더 많은 하나 이상의 픽셀들 상에서의 왜곡이 가중처리된 MSE에서 더 높은 가중치를 가질 수도 있음을 의미할 수도 있다.
Weighted_MSE_imp 및 Weighted_MSE_rec는 서로 비교될 수도 있다. Weighted_MSE_imp가 Weighted_MSE_rec보다 더 작고, 이것은 교차-평면 필터링이 왜곡(예를 들어, 잠재적인 ILP 블록들 중의 하나 이상의 왜곡)을 감소시킬 수도 있음을 표시할 수도 있을 경우, 교차-평면 필터링이 인에이블될 수도 있다. Weighted_MSE_imp가 Weighted_MSE_rec보다 더 작지 않을 경우, 교차-평면 필터링은 디스에이블될 수도 있다.
일단 (2020)에서 결정이 행해지면, 현재의 EL 픽쳐는 (2030)에서 인코딩될 수도 있고, CurrlLPMap으로서 나타내어질 수도 있는 현재의 ILP 맵은 (2040)에서 레코딩될 수도 있다. 현재의 ILP 맵은 예를 들어, 현재의 EL 픽쳐에 후속하는 EL 픽쳐와 함께 이용될 수도 있다. 현재의 ILP 맵은 예측되기 보다는, 정확할 수도 있고, 2진일 수도 있다. 대응하는 블록이 ILP를 위해 이용될 경우, 그 블록에 대한 엔트리의 값은 128로 설정될 수도 있다. 대응하는 블록이 ILP를 위해 이용되지 않을 경우, 그 블록에 대한 엔트리의 값은 제로(0)로 설정될 수도 있다.
(2050)에서는, 현재의 ILP 맵이 예를 들어, 수학식 18에서 도시된 바와 같이, 예측된 ILP 맵을 업데이트하기 위하여 이용될 수도 있다. 일 예의 업데이팅 프로세스에 따르면, 이전에 예측된 ILP 맵(예를 들어, PredILPMap(x,y)) 및 현재의 ILP 맵(예를 들어, CurrILPMap(x,y))의 합은 2로 나누어질 수도 있고, 이것은 또 다른 픽쳐와 연관된 ILP 맵이 업데이팅된 예측된 ILP 맵에 대해 상대적으로 작은 영향을 가질 수도 있음을 의미할 수도 있다.
Figure 112015040915841-pct00021
(2060)에서는, 비디오 시퀀스들의 종점에 도달되었는지 여부가 결정될 수도 있다. 비디오 시퀀스의 종점에 도달되지 않았을 경우, 상기 설명된 동작들(예를 들어, (2020) 내지 (2060)) 중의 하나 이상은 예를 들어, 연속적인 EL 픽쳐들을 코딩하기 위하여 반복될 수도 있다. 비디오 시퀀스의 종점에 도달되었을 경우, 일 예의 픽쳐-레벨 선택 알고리즘(2000)은 (2070)에서 종결될 수도 있다.
예를 들어, 교차-평면 필터링을 채용하는 본원에서 설명된 비디오 코딩 기법들은 도 21a 내지 도 21e에서 도시된 일 예의 무선 통신 시스템(2100) 및 그 컴포넌트들과 같은 무선 통신 시스템에서 비디오를 전송하는 것에 따라 구현될 수도 있다.
도 21a는 하나 이상의 개시된 실시형태들이 구현될 수도 있는 일 예의 통신 시스템(2100)의 도면이다. 예를 들어, 무선 네트워크(예를 들어, 통신 시스템(2100)의 하나 이상의 컴포넌트들을 포함하는 무선 네트워크)는, 무선 네트워크 너머로(예를 들어, 무선 네트워크와 연관된 폐쇄형 네트워크(walled garden) 너머로) 확장되는 베어러(bearer)들에 QoS 특성들이 배정될 수도 있도록 구성될 수도 있다.
통신 시스템(2100)은 음성, 데이터, 비디오, 메시징, 브로드캐스트 등과 같은 컨텐츠를 다중 무선 사용자들에게 제공하는 다중 액세스 시스템일 수도 있다. 통신 시스템(2100)은 다중 무선 사용자들이 무선 대역폭을 포함하는 시스템 자원들의 공유를 통해 이러한 컨텐츠를 액세스하는 것을 가능하게 할 수도 있다. 예를 들어, 통신 시스템들(2100)은 코드 분할 다중 액세스(code division multiple access; CDMA), 시간 분할 다중 액세스(time division multiple access; TDMA), 주파수 분할 다중 액세스(frequency division multiple access; FDMA), 직교 FDMA(orthogonal FDMA; OFDMA), 단일-캐리어 FDMA(single-carrier FDMA; SC-FDMA), 등과 같은 하나 이상의 채널 액세스 방법들을 채용할 수도 있다.
도 21a 에서 도시된 바와 같이, 개시된 실시형태들은 임의의 수의 WTRU들, 기지국(base station)들, 네트워크들, 및/또는 네트워크 엘리먼트들을 구상한다는 것이 인식될 것이지만, 통신 시스템(2100)은 복수의 WTRU들, 예를 들어, WTRU들(2102a, 2102b, 2102c, 및 2102d)과 같은 적어도 하나의 무선 송신 수신 유닛(WTRU), 라디오 액세스 네트워크(radio access network; RAN)(2104), 코어 네트워크(core network; 2106), 공중 교환 전화 네트워크(public switched telephone network; PSTN)(2108), 인터넷(2110), 및 다른 네트워크들(2112)을 포함할 수도 있다. WTRU들(2102a, 2102b, 2102c, 2102d)의 각각은 무선 환경에서 동작 및/또는 통신하도록 구성된 임의의 타입의 디바이스일 수도 있다. 예로서, WTRU들(2102a, 2102b, 2102c, 2102d)은 무선 신호들을 송신 및/또는 수신하도록 구성될 수도 있고, 사용자 장비(user equipment; UE), 이동국(mobile station), 고정 또는 이동 가입자 유닛, 페이저(pager), 셀룰러 전화, 개인 정보 단말(personal digital assistant; PDA), 스마트폰, 랩톱, 넷북, 개인용 컴퓨터, 무선 센서, 소비자 가전, 등을 포함할 수도 있다.
통신 시스템들(2100)은 기지국(2114a) 및 기지국(2114b)을 또한 포함할 수도 있다. 기지국들(2114a, 2114b)의 각각은 코어 네트워크(2106), 인터넷(2110), 및/또는 네트워크들(2112)과 같은 하나 이상의 통신 네트워크들에 대한 액세스를 용이하게 하기 위하여 WTRU들(2102a, 2102b, 2102c, 2102d) 중의 적어도 하나와 무선으로 인터페이싱하도록 구성된 임의의 타입의 디바이스일 수도 있다. 예로서, 기지국들(2114a, 2114b)은 기지국 트랜시버(base transceiver station; BTS), 노드-B, eNode B, 홈 노드 B, 홈 eNode B, 사이트 제어기(site controller), 액세스 포인트(access point; AP), 무선 라우터(wireless router), 등일 수도 있다. 기지국들(2114a, 2114b)은 단일 엘리먼트로서 각각 도시되어 있지만, 기지국들(2114a, 2114b)은 임의의 수의 상호접속된 기지국들 및/또는 네트워크 엘리먼트들을 포함할 수도 있다는 것이 인식되어야 한다.
기지국(2114a)은, 다른 기지국들 및/또는, 기지국 제어기(base station controller; BSC), 라디오 네트워크 제어기(radio network controller; RNC), 중계 노드(relay node)들 등과 같은 네트워크 엘리먼트들(도시되지 않음)을 또한 포함할 수도 있는 RAN(2104)의 일부일 수도 있다. 기지국(2114a) 및/또는 기지국(2114b)은, 셀(도시되지 않음)로서 지칭될 수도 있는 특별한 지리적 영역 내에서 무선 신호들을 송신 및/또는 수신하도록 구성될 수도 있다. 셀은 셀 섹터(cell sector)들로 추가로 분할될 수도 있다. 예를 들어, 기지국(2114a)과 연관된 셀은 3 개의 섹터들로 분할될 수도 있다. 따라서, 하나의 실시형태에서, 기지국(2114a)은 3 개의 트랜시버들, 즉, 셀의 각각의 섹터에 대해 하나를 포함할 수도 있다. 또 다른 실시형태에서, 기지국(2114a)은 다중 입력 다중 출력(multiple input multiple output; MIMO) 기술을 채용할 수도 있고, 그러므로, 셀의 각각의 섹터에 대해 다중 트랜시버들을 사용할 수도 있다.
기지국들(2114a, 2114b)은, 임의의 적당한 무선 통신 링크(예를 들어, 라디오 주파수(radio frequency; RF), 마이크로파, 적외선(infrared; IR), 자외선(ultraviolet: UV), 가시광(visible light), 등)일 수도 있는 에어 인터페이스(air interface; 2116)를 통해 WTRU들(2102a, 2102b, 2102c, 2102d) 중의 하나 이상과 통신할 수도 있다. 에어 인터페이스(2116)는 임의의 적당한 라디오 액세스 기술(radio access technology; RAT)을 이용하여 구축될 수도 있다.
더욱 구체적으로, 위에서 언급된 바와 같이, 통신 시스템(2100)은 다중 액세스 시스템일 수도 있고, CDMA, TDMA, FDMA, OFDMA, SC-FDMA 등과 같은 하나 이상의 채널 액세스 방식들을 채용할 수도 있다. 예를 들어, RAN(2104)에서의 기지국(2114a) 및 WTRU들(2102a, 2102b, 2102c)은, 광대역 CDMA(wideband CDMA; WCDMA)를 이용하여 에어 인터페이스(2116)를 구축할 수도 있는, 유니버셜 이동 통신 시스템(Universal Mobile Telecommunications System; UMTS) 지상 라디오 액세스(UMTS Terrestrial Radio Access; UTRA)와 같은 라디오 기술을 구현할 수도 있다. WCDMA는 고속 패킷 액세스(High-Speed Packet Access; HSPA) 및/또는 진화형 HSPA(Evolved HSPA; HSPA+)와 같은 통신 프로토콜들을 포함할 수도 있다. HSPA는 고속 다운링크 패킷 액세스(High-Speed Downlink Packet Access; HSDPA) 및/또는 고속 업링크 패킷 액세스(High-Speed Uplink Packet Access; HSUPA)를 포함할 수도 있다.
또 다른 실시형태에서, 기지국(2114a) 및 WTRU들(2102a, 2102b, 2102c)은, 롱텀 에볼루션(Long Term Evolution; LTE) 및/또는 LTE-어드밴스드(LTE- Advanced; LTE-A)를 이용하여 에어 인터페이스(2116)를 구축할 수도 있는, 진화형 UMTS 지상 라디오 액세스(E-UTRA)와 같은 라디오 기술을 구현할 수도 있다.
다른 실시형태들에서, 기지국(2114a) 및 WTRU들(2102a, 2102b, 2102c)은 IEEE 802.16(즉, WiMAX(Worldwide Interoperability for Microwave Access)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, 잠정 표준 2000(Interim Standard 2000; IS-2000), 잠정 표준 95(IS-95), 잠정 표준 856(IS-856), 이동 통신을 위한 글로벌 시스템(Global System for Mobile communications; GSM), GSM 진화를 위한 증대된 데이터 레이트들(Enhanced Data rates for GSM Evolution; EDGE), GSM EDGE(GERAN), 등과 같은 라디오 기술들을 구현할 수도 있다.
도 21a에서의 기지국(2114b)은 예를 들어, 무선 라우터, 홈 노드 B, 홈 eNode B, 또는 액세스 포인트일 수도 있고, 업무의 장소, 집, 차량, 캠퍼스, 등과 같은 국소화된 구역에서 무선 접속성(wireless connectivity)을 용이하게 하기 위한 임의의 적당한 RAT를 사용할 수도 있다. 하나의 실시형태에서, 기지국(2114b) 및 WTRU들(2102c, 2102d)은 무선 로컬 영역 네트워크(wireless local area network; WLAN)를 구축하기 위하여 IEEE 802.11과 같은 라디오 기술을 구현할 수도 있다. 또 다른 실시형태에서, 기지국(2114b) 및 WTRU들(2102c, 2102d)은 무선 개인 영역 네트워크(wireless personal area network; WPAN)를 구축하기 위하여 IEEE 802.15와 같은 라디오 기술을 구현할 수도 있다. 또 다른 실시형태에서, 기지국(2114b) 및 WTRU들(2102c, 2102d)은 피코셀(picocell) 또는 펨토셀(femtocell)을 구축하기 위하여 셀룰러-기반 RAT(예를 들어, WCDMA, CDMA2000, GSM, LTE, LTE-A, 등)를 사용할 수도 있다. 도 21a에서 도시된 바와 같이, 기지국(2114b)은 인터넷(2110)에 대한 직접 접속을 가질 수도 있다. 따라서, 기지국(2114b)은 코어 네트워크(2106)를 통해 인터넷(2110)을 액세스하도록 요구받지 않을 수도 있다.
RAN(2104)은, 음성, 데이터, 애플리케이션들, 및/또는 보이스 오버 인터넷 프로토콜(VoIP) 서비스들을 WTRU들(2102a, 2102b, 2102c, 2102d) 중의 하나 이상에 제공하도록 구성된 임의의 타입의 네트워크일 수도 있는 코어 네트워크(2106)와 통신하고 있을 수도 있다. 예를 들어, 코어 네트워크(2106)는 호출 제어, 청구 서비스들, 이동 위치-기반 서비스들, 선불 통화(pre-paid calling), 인터넷 접속성, 비디오 분배, 등을 제공할 수도 있고, 및/또는 사용자 인증(user authentication)과 같은 하이-레벨 보안 기능들을 수행할 수도 있다. 도 21a에서 도시되지 않았지만, RAN(2104) 및/또는 코어 네트워크(2106)는 RAN(2104)과 동일한 RAT 또는 상이한 RAT를 채용하는 다른 RAN들과 직접 또는 간접 통신하고 있을 수도 있다는 것이 인식되어야 한다. 예를 들어, E-UTRA 라디오 기술을 사용하고 있을 수도 있는 RAN(2104)에 접속되는 것에 추가하여, 코어 네트워크(2106)는 또한, GSM 라디오 기술을 채용하는 또 다른 RAN(도시되지 않음)과 통신하고 있을 수도 있다.
코어 네트워크(2106)는 또한, PSTN(2108), 인터넷(2110), 및/또는 다른 네트워크들(2112)을 액세스하기 위하여 WTRU들(2102a, 2102b, 2102c, 2102d)에 대한 게이트웨이로서 서빙(serving)할 수도 있다. PSTN(2108)은 기존 전화 서비스(plain old telephone service; POTS)를 제공하는 회선-교환 전화 네트워크(circuit-switched telephone network)들을 포함할 수도 있다. 인터넷(2110)은 송신 제어 프로토콜(transmission control protocol; TCP), 사용자 데이터그램 프로토콜(user datagram protocol; UDP) 및 TCP/IP 인터넷 프로토콜 묶음에서의 인터넷 프로토콜(internet protocol; IP)과 같은 공통적인 통신 프로토콜들을 이용하는 상호접속된 컴퓨터 네트워크 및 디바이스들의 글로벌 시스템을 포함할 수도 있다. 네트워크들(2112)은 다른 서비스 제공자들에 의해 소유 및/또는 운영되는 유선 또는 무선 통신 네트워크들을 포함할 수도 있다. 예를 들어, 네트워크들(2112)은, RAN(2104)과 동일한 RAT 또는 상이한 RAT를 채용할 수도 있는, 하나 이상의 RAN들에 접속된 또 다른 코어 네트워크를 포함할 수도 있다.
통신 시스템(2100)에서의 WTRU들(2102a, 2102b, 2102c, 2102d)의 일부 또는 전부는 멀티-모드(multi-mode) 능력들을 포함할 수도 있으며, 즉, WTRU들(2102a, 2102b, 2102c, 2102d)은 상이한 무선 링크들을 통해 상이한 무선 네트워크들과 통신하기 위한 다중 트랜시버들을 포함할 수도 있다. 예를 들어, 도 21a에서 도시된 WTRU(102c)는, 셀룰러-기반 라디오 기술을 채용할 수도 있는 기지국(2114a)과, 그리고 IEEE 802 라디오 기술을 채용할 수도 있는 기지국(2114b)과 통신하도록 구성될 수도 있다.
도 21b는 일 예의 WTRU(2102)의 시스템 도면이다. 도 21b에서 도시된 바와 같이, WTRU(2102)는 프로세서(2118), 트랜시버(2120), 송신/수신 엘리먼트(2122), 스피커/마이크로폰(2124), 키패드(2126), 디스플레이/터치패드(2128), 비-분리가능 메모리(2130), 분리가능 메모리(2132), 전원(2134), 글로벌 위치결정 시스템(global positioning system; GPS) 칩셋(2136), 및 다른 주변기기들(2138)을 포함할 수도 있다. WTRU(2102)는 실시형태와의 일관성을 유지하면서 상기한 엘리먼트들의 임의의 하위-조합을 포함할 수도 있다는 것이 인식되어야 한다.
프로세서(2118)는 범용 프로세서, 특수 목적 프로세서, 기존의 프로세서, 디지털 신호 프로세서(digital signal processor; DSP), 복수의 마이크로프로세서들, DSP 코어와 연관된 하나 이상의 마이크로프로세서들, 제어기, 마이크로제어기, 애플리케이션 특정 집적 회로(Application Specific Integrated Circuit; ASIC)들, 필드 프로그래밍가능 게이트 어레이(Field Programmable Gate Array; FPGA) 회로들, 임의의 다른 타입의 집적 회로(integrated circuit; IC), 상태 머신(state machine), 등일 수도 있다. 프로세서(2118)는 신호 코딩, 데이터 프로세싱, 전력 제어, 입력/출력 프로세싱, 및/또는 WTRU(2102)가 무선 환경에서 동작하는 것을 가능하게 하는 임의의 다른 기능성을 수행할 수도 있다. 프로세서(2118)는 송신/수신 엘리먼트(2122)에 결합될 수도 있는 트랜시버(2120)에 결합될 수도 있다. 도 21b는 프로세서(2118) 및 트랜시버(2120)를 별도의 컴포넌트들로서 도시하고 있지만, 프로세서(2118) 및 트랜시버(2120)는 전자 패키지 또는 칩 내에 함께 집적될 수도 있다는 것이 인식되어야 한다.
송신/수신 엘리먼트(2122)는 에어 인터페이스(2116)를 통해 신호들을 기지국(예를 들어, 기지국(2114a))으로 송신하거나 기지국으로부터 신호들을 수신하도록 구성될 수도 있다. 예를 들어, 하나의 실시형태에서, 송신/수신 엘리먼트(2122)는 RF 신호들을 송신 및/또는 수신하도록 구성된 안테나일 수도 있다. 또 다른 실시형태에서, 송신/수신 엘리먼트(2122)는 예를 들어, IR, UV, 또는 가시 광 신호들을 송신 및/또는 수신하도록 구성된 에미터/검출기(emitter/detector)일 수도 있다. 또 다른 실시형태에서, 송신/수신 엘리먼트(2122)는 RF 및 광 신호들 양자를 송신 및 수신하도록 구성될 수도 있다. 송신/수신 엘리먼트(2122)는 무선 신호들의 임의의 조합을 송신 및/또는 수신하도록 구성될 수도 있다는 것이 인식되어야 한다.
추가적으로, 송신/수신 엘리먼트(2122)는 도 21b에서 단일 엘리먼트로서 도시되어 있지만, WTRU(2102)는 임의의 수의 송신/수신 엘리먼트들(2122)을 포함할 수도 있다. 더욱 구체적으로, WTRU(2102)는 MIMO 기술을 채용할 수도 있다. 따라서, 하나의 실시형태에서, WTRU(2102)는 에어 인터페이스(2116)를 통해 무선 신호들을 송신 및 수신하기 위한 2 개 이상의 송신/수신 엘리먼트들(2122)(예를 들어, 다중 안테나들)을 포함할 수도 있다.
트랜시버(2120)는 송신/수신 엘리먼트(2122)에 의해 송신되어야 하는 신호들을 변조하도록, 그리고 송신/수신 엘리먼트(2122)에 의해 수신되는 신호들을 복조하도록 구성될 수도 있다. 위에서 언급된 바와 같이, WTRU(2102)는 멀티-모드 능력들을 가질 수도 있다. 따라서, 트랜시버(2120)는 WTRU(2102)가 예를 들어, UTRA 및 IEEE 802.11과 같은 다중 RAT들을 통해 통신하는 것을 가능하게 하기 위한 다중 트랜시버들을 포함할 수도 있다.
WTRU(2102)의 프로세서(2118)는 스피커/마이크로폰(2124), 키패드(2126), 및/또는 디스플레이/터치패드(2128)(예를 들어, 액정 디스플레이(LCD) 디스플레이 유닛 또는 유기 발광 다이오드(organic light-emitting diode; OLED) 디스플레이 유닛)에 결합될 수도 있고 이로부터 사용자 입력 데이터를 수신할 수도 있다. 프로세서(2118)는 또한, 사용자 데이터를 스피커/마이크로폰(2124), 키패드(2126), 및/또는 디스플레이/터치패드(2128)로 출력할 수도 있다. 추가적으로, 프로세서(2118)는 비-분리가능 메모리(2130) 및/또는 분리가능 메모리(2132)와 같은 임의의 타입의 적당한 메모리로부터 정보를 액세스할 수도 있고, 이 메모리에 데이터를 저장할 수도 있다. 비-분리가능 메모리(2130)는 랜덤-액세스 메모리(random-access memory; RAM), 판독전용 메모리(read-only memory; ROM), 하드 디스크, 또는 임의의 다른 타입의 메모리 저장 디바이스를 포함할 수도 있다. 분리가능 메모리(2132)는 가입자 식별 모듈(subscriber identity module; SIM) 카드, 메모리 스틱, 보안 디지털(secure digital; SD) 메모리 카드, 등을 포함할 수도 있다. 다른 실시형태들에서, 프로세서(2118)는 서버 또는 홈 컴퓨터(도시되지 않음) 상에서와 같이, WTRU(2102) 상에 물리적으로 위치되지 않은 메모리로부터 정보를 액세스할 수도 있고, 이 메모리에 데이터를 저장할 수도 있다.
프로세서(2118)는 전원(2134)으로부터 전력을 수신할 수도 있고, 전력을 WTRU(2102)에서의 다른 컴포넌트들로 분배하고 및/또는 이 전력을 제어하도록 구성될 수도 있다. 전원(2134)은 WTRU(2102)에 급전하기 위한 임의의 적당한 디바이스일 수도 있다. 예를 들어, 전원(2134)은 하나 이상의 건전지 배터리들(예를 들어, 니켈-카드뮴(nickel-cadmium; NiCd), 니켈-아연(nickel-zinc; NiZn), 니켈 금속 수소(nickel metal hydride; NiMH), 리튬-이온(lithium-ion; Li-ion), 등), 태양 전지(solar cell)들, 연료 전지, 등을 포함할 수도 있다.
프로세서(2118)는 또한, WTRU(2102)의 현재의 위치에 관한 위치 정보(예를 들어, 경도 및 위도)를 제공하도록 구성될 수도 있는 GPS 칩셋(2136)에 결합될 수도 있다. GPS 칩셋(2136)으로부터의 정보에 추가적으로 또는 이에 대신하여, WTRU(2102)는 에어 인터페이스(2116)를 통해 기지국(예를 들어, 기지국들(2114a, 2114b))으로부터 위치 정보를 수신할 수도 있고 및/또는 2 개 이상의 근접 기지국들로부터 수신되고 있는 신호들의 타이밍에 기초하여 그 위치를 결정할 수도 있다. WTRU(2102)는 실시형태와의 일관성을 유지하면서 임의의 적당한 위치-결정 방법을 통해 위치 정보를 획득할 수도 있다는 것이 인식되어야 한다.
프로세서(2118)는, 추가적인 특징들, 기능성 및/또는 유선 또는 무선 접속성을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈들을 포함할 수도 있는 다른 주변기기들(2138)에 추가로 결합될 수도 있다. 예를 들어, 주변기기들(2138)은 가속도계, 전자-나침판(e-compass), 위성 트랜시버, (사진들 또는 비디오를 위한) 디지털 카메라, 유니버셜 직렬 버스(universal serial bus; USB) 포트, 진동 디바이스, 텔리비전 트랜시버, 핸즈 프리(hands free) 헤드셋, Bluetooth(블루투스)® 모듈, 주파수 변조된(FM) 라디오 유닛, 디지털 음악 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저(internet browser), 등을 포함할 수도 있다.
도 21c는 RAN(2104) 및 코어 네트워크(2106)의 일 예의 구현예들을 각각 포함하는 RAN(2104a) 및 코어 네트워크(2106a)를 포함하는 통신 시스템(2100)의 실시형태의 시스템 도면이다. 위에서 언급된 바와 같이, RAN(2104), 예를 들어, RAN(2104a)은 에어 인터페이스(2116)를 통해 WTRU들(2102a, 2102b, 2102c)과 통신하기 위하여 UTRA 라디오 기술을 채용할 수도 있다. RAN(2104a)은 또한 코어 네트워크(2106a)와 통신하고 있을 수도 있다. 도 21c에서 도시된 바와 같이, RAN(2104a)은, 에어 인터페이스(2116)를 통해 WTRU들(2102a, 2102b, 2102c)과 통신하기 위한 하나 이상의 트랜시버들을 각각 포함할 수도 있는 노드-B들(2140a, 2140b, 2140c)을 포함할 수도 있다. 노드-B들(2140a, 2140b, 2140c)은 RAN(2104a) 내의 특별한 셀(도시되지 않음)과 각각 연관될 수도 있다. RAN(2104a)은 RNC들(2142a, 2142b)을 또한 포함할 수도 있다. RAN(2104a)은 실시형태와의 일관성을 유지하면서 임의의 수의 노드-B들 및 RNC들을 포함할 수도 있다는 것이 인식되어야 한다.
도 21c에서 도시된 바와 같이, 노드-B들(2140a, 2140b)은 RNC(2142a)와 통신하고 있을 수도 있다. 추가적으로, 노드-B(2140c)는 RNC(2142b)와 통신하고 있을 수도 있다. 노드-B들(2140a, 2140b, 2140c)은 lub 인터페이스를 통해 각각의 RNC들(2142a, 2142b)과 통신할 수도 있다. RNC들(2142a, 2142b)은 lur 인터페이스를 통해 서로 통신하고 있을 수도 있다. RNC들(2142a, 2142b)의 각각은 그것이 접속되는 각각의 노드-B들(2140a, 2140b, 2140c)을 제어하도록 구성될 수도 있다. 추가적으로, RNC들(2142a, 2142b)의 각각은 외부 루프 전력 제어, 부하 제어, 수락 제어(admission control), 패킷 스케줄링, 핸드오버 제어, 매크로다이버시티(macrodiversity), 보안 기능들, 데이터 암호화, 등과 같은 다른 기능성을 수행하거나 지원하도록 구성될 수도 있다.
도 21c에서 도시된 코어 네트워크(2106a)는 미디어 게이트웨이(media gateway; MOW)(2144), 이동 스위칭 센터(mobile switching center; MSG)(2146), 서빙 GPRS 지원 노드(serving GPRS support node; SGSN)(2148), 및/또는 게이트웨이 GPRS 지원 노드(gateway GPRS support node; GGSN)(2150)를 포함할 수도 있다. 상기한 엘리먼트들의 각각은 코어 네트워크(2106a)의 일부로서 도시되어 있지만, 이 엘리먼트들 중의 임의의 하나는 코어 네트워크 운영자 이외의 엔티티에 의해 소유 및/또는 운영될 수도 있다는 것이 인식되어야 한다.
RAN(2104a)에서의 RNC(2142a)는 luCS 인터페이스를 통해 코어 네트워크(2106a)에서의 MSG(2146)에 접속될 수도 있다. MSG(2146)는 MGW(2144)에 접속될 수도 있다. MSG(2146) 및 MGW(2144)는 WTRU들(2102a, 2102b, 2102c) 및 전통적인 지상-라인(land-line) 통신 디바이스들 사이의 통신들을 용이하게 하기 위하여, PSTN(2108)과 같은 회선-교환 네트워크들에 대한 액세스를 WTRU들(2102a, 2102b, 2102c)에 제공할 수도 있다.
RAN(2104a)에서의 RNC(2142a)는 또한, luPS 인터페이스를 통해 코어 네트워크(2106a)에서의 SGSB(2148)에 접속될 수도 있다. SGSN(2148)은 GGSN(2150)에 접속될 수도 있다. SGSN(2148) 및 GGSN(2150)은 WTRU들(2102a, 2102b, 2102c) 및 IP-인에이블형 디바이스들 사이의 통신들을 용이하게 하기 위하여, 인터넷(2110)과 같은 패킷-교환 네트워크들에 대한 액세스를 WTRU들(2102a, 2102b, 2102c)에 제공할 수도 있다.
위에서 언급된 바와 같이, 코어 네트워크(2106a)는 또한, 다른 서비스 제공자들에 의해 소유 및/또는 운영되는 다른 유선 또는 무선 네트워크들을 포함할 수도 있는 네트워크들(2112)에 접속될 수도 있다.
도 21d는 RAN(2104) 및 코어 네트워크(2106)의 일 예의 구현예들을 각각 포함하는 RAN(2104a) 및 코어 네트워크(2106a)를 포함하는 통신 시스템(2100)의 실시형태의 시스템 도면이다. 위에서 언급된 바와 같이, RAN(2104), 예를 들어, RAN(2104b)은 에어 인터페이스(2116)를 통해 WTRU들(2102a, 2102b, 2102c)과 통신하기 위하여 E-UTRA 라디오 기술을 채용할 수도 있다. RAN(2104b)은 또한 코어 네트워크(2106b)와 통신하고 있을 수도 있다.
RAN(2104b)은 실시형태와의 일관성을 유지하면서 임의의 수의 eNode-B들을 포함할 수도 있다는 것이 인식될 것이지만, RAN(2104b)은 eNode-B들(2140d, 2140e, 2140f)을 포함할 수도 있다. eNode-B들(2140d, 2140e, 2140f)은 에어 인터페이스(2116)를 통해 WTRU들(2102a, 2102b, 2102c)과 통신하기 위한 하나 이상의 트랜시버들을 각각 포함할 수도 있다. 하나의 실시형태에서, eNode-B들(2140d, 2140e, 2140f)은 MIMO 기술을 구현할 수도 있다. 따라서, eNode-B(2140d)는 예를 들어, 무선 신호들을 WTRU(2102a)로 송신하기 위하여, 그리고 WTRU(2102a)로부터 무선 신호들을 수신하기 위하여 다중 안테나들을 이용할 수도 있다.
eNode-B들(2140d, 2140e, 및 2140f)의 각각은 특별한 셀(도시되지 않음)과 연관될 수도 있고, 라디오 자원 관리 판정들, 핸드오버 판정들, 업링크 및/또는 다운링크에서의 사용자들의 스케줄링, 등을 처리하도록 구성될 수도 있다. 도 21d에서 도시된 바와 같이, eNode-B들(2140d, 2140e, 2140f)은 X2 인터페이스를 통해 서로 통신할 수도 있다.
도 21d에서 도시된 코어 네트워크(2106b)는 이동성 관리 게이트웨이(mobility management gateway; MME)(2143), 서빙 게이트웨이(serving gateway)(2145), 및 패킷 데이터 네트워크(packet data network; PDN) 게이트웨이(2147)를 포함할 수도 있다. 상기한 엘리먼트들의 각각은 코어 네트워크(2106b)의 일부로서 도시되어 있지만, 이 엘리먼트들 중의 임의의 하나는 코어 네트워크 운영자 이외의 엔티티에 의해 소유 및/또는 운영될 수도 있다는 것이 인식되어야 한다.
MME(2143)는 S1 인터페이스를 통해 RAN(2104b)에서의 eNode-B들(2140d, 2140e, 및 2140f)의 각각에 접속될 수도 있고, 제어 노드로서 서빙할 수도 있다. 예를 들어, MME(2143)는 WTRU들(2102a, 2102b, 2102c)의 사용자들을 인증하는 것, 베어러 활성화/비활성화, WTRU들(2102a, 2102b, 2102c)의 초기 연결 동안에 특별한 서빙 게이트웨이를 선택하는 것, 등을 담당할 수도 있다. MME(2143)는 또한, RAN(2104b)과, GSM 또는 WCDMA와 같은 다른 라디오 기술들을 채용하는 다른 RAN들(도시되지 않음)과의 사이에서 스위칭하기 위한 제어 평면 기능을 제공할 수도 있다.
서빙 게이트웨이(2145)는 S1 인터페이스를 통해 RAN(2104b)에서의 eNode-B들(2140d, 2140e, 2140f)의 각각에 접속될 수도 있다. 서빙 게이트웨이(2145)는 일반적으로 WTRU들(2102a, 2102b, 2102c)로/로부터 사용자 데이터 패킷들을 라우팅 및 포워딩할 수도 있다. 서빙 게이트웨이(2145)는 또한, eNode B 사이의 핸드오버들 동안에 사용자 평면들을 앵커링(anchoring) 하는 것, 다운링크 데이터가 WTRU들(2102a, 2102b, 2102c)에 대해 이용가능할 때에 페이징을 트리거링하는 것, WTRU들(2102a, 2102b, 2102c)의 컨텍스트(context)들을 관리 및 저장하는 것, 등과 같은 다른 기능들을 수행할 수도 있다.
서빙 게이트웨이(2145)는 또한, WTRU들(2102a, 2102b, 2102c) 및 IP-인에이블형 디바이스들 사이의 통신들을 용이하게 하기 위하여, 인터넷(2110)과 같은 패킷-교환 네트워크들에 대한 액세스를 WTRU들(2102a, 2102b, 2102c)에 제공할 수도 있는 PDN 게이트웨이(2147)에 접속될 수도 있다.
코어 네트워크(2106b)는 다른 네트워크들과의 통신들을 용이하게 할 수도 있다. 예를 들어, 코어 네트워크(2106b)는 또한, WTRU들(2102a, 2102b, 2102c) 및 전통적인 지상-라인 통신 디바이스들 사이의 통신들을 가능하게 하기 위하여, PSTN(2108)과 같은 회선-교환 네트워크들에 대한 액세스를 WTRU들(2102a, 2102b, 2102c)에 제공할 수도 있다. 예를 들어, 코어 네트워크(2106b)는, 코어 네트워크(2106b) 및 PSTN(2108) 사이의 인터페이스로서 서빙하는 IP 게이트웨이(예를 들어, IP 멀티미디어 서브시스템(IP multimedia subsystem; IMS) 서버)를 포함할 수도 있거나, 이 IP 게이트웨이와 통신할 수도 있다. 추가적으로, 코어 네트워크(2106b)는, 다른 서비스 제공자들에 의해 소유 및/또는 운영되는 다른 유선 또는 무선 네트워크들을 포함할 수도 있는 네트워크들(2112)에 대한 액세스를 WTRU들(2102a, 2102b, 2102c)에 제공할 수도 있다.
도 21e는 RAN(2104) 및 코어 네트워크(2106)의 일 예의 구현예들을 각각 포함하는 RAN(2104c) 및 코어 네트워크(2106c)를 포함하는 통신 시스템(2100)의 실시형태의 시스템 도면이다. RAN(2104) 예를 들어, RAN(2104c)은 에어 인터페이스(2116)를 통해 WTRU들(2102a, 2102b, 및 2102c)과 통신하기 위하여 IEEE 802.16 라디오 기술을 채용하는 액세스 서비스 네트워크(access service network; ASN)일 수도 있다. 본원에서 설명된 바와 같이, WTRU들(2102a, 2102b, 2102c), RAN(2104c), 및 코어 네트워크(2106c)의 상이한 기능적 엔티티들 사이의 통신 링크들은 참조 포인트(reference point)로서 정의될 수도 있다.
도 21e에서 도시된 바와 같이, RAN(2104c)은 실시형태와의 일관성을 유지하면서 임의의 수의 기지국들 및 ASN 게이트웨이들을 포함할 수도 있는 것이 인식되어야 하지만, RAN(2104c)은 기지국들(2140g, 2140h, 2140i) 및 ASN 게이트웨이(2141)를 포함할 수도 있다. 기지국들(2140g, 2140h, 2140i)은 RAN(2104c)에서 특별한 셀(도시되지 않음)과 각각 연관될 수도 있고, 에어 인터페이스(2116)를 통해 WTRU들(2102a, 2102b, 2102c)과 통신하기 위한 하나 이상의 트랜시버들을 각각 포함할 수도 있다. 하나의 실시형태에서, 기지국들(2140g, 2140h, 2140i)은 MIMO 기술을 구현할 수도 있다. 따라서, 기지국(2140g)은 예를 들어, 무선 신호들을 WTRU(2102a)로 송신하기 위하여, 그리고 WTRU(2102a)로부터 무선 신호들을 수신하기 위하여 다중 안테나들을 이용할 수도 있다. 기지국들(2140g, 2140h, 2140i)은 또한, 핸드오프 트리거링, 터널 구축, 라디오 자원 관리, 트래픽 분류, 서비스 품질(quality of service; QoS) 정책 집행, 등과 같은 이동성 관리 기능들을 제공할 수도 있다. ASN 게이트웨이(2141)는 트래픽 집합 포인트(traffic aggregation point)로서 서빙할 수도 있고, 페이징, 가입자 프로파일들의 캐싱(caching), 코어 네트워크(2106c)로의 라우팅, 등을 담당할 수도 있다.
WTRU들(2102a, 2102b, 2102c) 및 RAN(2104c) 사이의 에어 인터페이스(2116)는 IEEE 802.16 사양을 구현하는 R1 참조 포인트로서 정의될 수도 있다. 추가적으로, WTRU들(2102a, 2102b, 및 2102c)의 각각은 코어 네트워크(2106c)와의 논리적 인터페이스(도시되지 않음)를 구축할 수도 있다. WTRU들(2102a, 2102b, 2102c) 및 코어 네트워크(2106c) 사이의 논리적 인터페이스는, 인증, 허가, IP 호스트 구성 관리, 및/또는 이동성 관리를 위해 이용될 수도 있는 R2 참조 포인트로서 정의될 수도 있다.
기지국들(2140g, 2140h, 2140i)의 각각 사이의 통신 링크는, 기지국들 사이의 WTRU 핸드오버들 및 데이터의 전송을 용이하게 하기 위한 프로토콜들을 포함하는 R8 참조 포인트로서 정의될 수도 있다. 기지국들(2140g, 2140h, 2140i) 및 ASN 게이트웨이(2141) 사이의 통신 링크는 R6 참조 포인트로서 정의될 수도 있다. R6 참조 포인트는 WTRU들(2102a, 2102b, 2102c)의 각각과 연관된 이동성 이벤트들에 기초하여 이동성 관리를 용이하게 하기 위한 프로토콜들을 포함할 수도 있다.
도 21e에서 도시된 바와 같이, RAN(2104c)은 코어 네트워크(2106c)에 접속될 수도 있다. RAN(2104c) 및 코어 네트워크(2106c) 사이의 통신 링크는, 예를 들어, 데이터 전송 및 이동성 관리 능력들을 용이하게 하기 위한 프로토콜들을 포함하는 R3 참조 포인트로서 정의될 수도 있다. 코어 네트워크(2106c)는 이동 IP 홈 에이전트(mobile IP home agent; MIP-HA)(2154), 인증, 허가, 과금(authentication, authorization, accounting; AAA) 서버(2156), 및 게이트웨이(2158)를 포함할 수도 있다. 상기한 엘리먼트들의 각각은 코어 네트워크(2106c)의 일부로서 도시되어 있지만, 이 엘리먼트들 중의 임의의 하나는 코어 네트워크 운영자 이외의 엔티티에 의해 소유 및/또는 운영될 수도 있다는 것이 인식되어야 한다.
MIP-HA는 IP 어드레스 관리를 담당할 수도 있고, WTRU들(2102a, 2102b, 및 2102c)이 상이한 ASN들 및/또는 상이한 코어 네트워크들 사이에서 로밍하는 것을 가능하게 할 수도 있다. MIP-HA(2154)는 WTRU들(2102a, 2102b, 2102c) 및 IP-인에이블형 디바이스들 사이의 통신들을 용이하게 하기 위하여, 인터넷(2110)과 같은 패킷-교환 네트워크들에 대한 액세스를 WTRU들(2102a, 2102b, 2102c)에 제공할 수도 있다. AAA 서버(2156)는 사용자 인증과, 사용자 서비스들을 지원하는 것을 담당할 수도 있다. 게이트웨이(2158)는 다른 네트워크들과의 상호연동(interworking)을 용이하게 할 수도 있다. 예를 들어, 게이트웨이(2158)는 WTRU들(2102a, 2102b, 2102c) 및 전통적인 지상-라인 통신 디바이스들 사이의 통신들을 용이하게 하기 위하여 PSTN(2108)과 같은 회선-교환 네트워크들에 대한 액세스를 WTRU들(2102a, 2102b, 2102c)에 제공할 수도 있다. 추가적으로, 게이트웨이(2158)는 다른 서비스 제공자들에 의해 소유 및/또는 운영되는 다른 유선 또는 무선 네트워크들을 포함할 수도 있는 네트워크들(2112)에 대한 액세스를 WTRU들(2102a, 2102b, 2102c)에 제공할 수도 있다.
도 21e에서 도시되지 않지만, RAN(2104c)은 다른 ASN들에 접속될 수도 있고 코어 네트워크(2106c)는 다른 코어 네트워크들에 접속될 수도 있는 것이 인식되어야 한다. RAN(2104c) 및 다른 ASN들 사이의 통신 링크는, RAN(2104c) 및 다른 ASN들 사이에서 WTRU들(2102a, 2102b, 2102c)의 이동성을 조정하기 위한 프로토콜들을 포함할 수도 있는 R4 참조 포인트로서 정의될 수도 있다. 코어 네트워크(2106c) 및 다른 코어 네트워크들 사이의 통신 링크는, 홈(home) 코어 네트워크들 및 방문(visited) 코어 네트워크들 사이의 상호연동을 용이하게 하기 위한 프로토콜들을 포함할 수도 있는 R5 참조 포인트로서 정의될 수도 있다.
특징들 및 엘리먼트들이 특별한 조합들로 위에서 설명되지만, 당해 분야의 당업자는 각각의 특징 및 엘리먼트가 단독으로, 또는 다른 특징들 및 엘리먼트들과의 임의의 조합으로 이용될 수도 있다는 것을 인식할 것이다. 추가적으로, 본원에서 설명된 방법들은 컴퓨터 또는 프로세서에 의한 실행을 위하여 컴퓨터-판독가능 매체 내에 통합된 컴퓨터 프로그램, 소프트웨어, 또는 펌웨어에서 구현될 수도 있다. 컴퓨터-판독가능 매체들의 예들은 (유선 또는 무선 접속들을 통해 송신된) 전자 신호들 및 컴퓨터-판독가능 저장 매체들을 포함한다. 컴퓨터-판독가능 저장 매체들의 예들은 판독전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 레지스터, 캐시 메모리, 반도체 메모리 디바이스들, 내부 하드 디스크들 및 분리가능 디스크들과 같은 자기 매체들, 자기-광 매체들, 및 CD-ROM 디스크들 및 디지털 다기능 디스크(DVD)들과 같은 광학 매체들을 포함하지만, 이것으로 제한되지 않는다. 소프트웨어와 연관된 프로세서는 WTRU, 단말, 기지국, RNC, 또는 임의의 호스트 컴퓨터에서 이용하기 위한 라디오 주파수 트랜시버를 구현하기 위하여 이용될 수도 있다. 하나 이상의 일 예의 실시형태들에 따라 본원에서 설명된 특징들 및/또는 엘리먼트들은 하나 이상의 다른 예의 실시형태들에 따라 본원에서 설명된 특징들 및/또는 엘리먼트들과 조합하여 이용될 수도 있다.

Claims (26)

  1. 비디오 디코딩 방법에 있어서,
    비디오 신호, 및 상기 비디오 신호와 연관되는 교차-평면 필터(cross-plane filter)를 수신하는 단계;
    크로마 오프셋(chroma offset)을 결정하기 위하여, 상기 교차-평면 필터를 상기 비디오 신호의 루마 평면 픽셀(luma plane pixel)에 적용하는 단계; 및
    상기 크로마 오프셋을 상기 비디오 신호의 대응하는 크로마 평면 픽셀에 부가하는 단계
    를 포함하는, 비디오 디코딩 방법.
  2. 제 1 항에 있어서,
    상기 교차-평면 필터가 적용될 상기 비디오 신호의 영역의 표시를 수신하는 단계; 및
    상기 교차-평면 필터를 상기 영역에 적용하는 단계
    를 더 포함하는, 비디오 디코딩 방법.
  3. 제 1 항에 있어서,
    상기 교차-평면 필터를, 상기 비디오 신호의 시퀀스 레벨, 픽쳐 레벨, 슬라이스 레벨, 또는 블록 레벨 중의 적어도 하나에 적용하기 위한 표시를 수신하는 단계를 더 포함하는, 비디오 디코딩 방법.
  4. 제 1 항에 있어서,
    상기 교차-평면 필터를 적용하는 단계는, 포스트-프로세싱으로서 단일-계층 비디오 코딩 프로세스에서 수행되는 것인, 비디오 디코딩 방법.
  5. 제 1 항에 있어서,
    상기 교차-평면 필터를 적용하는 단계는 멀티-계층 비디오 코딩 프로세스에서 수행되고, 상기 루마 평면 픽셀은 업샘플링된(upsampled) 기본 계층(base layer) 루마 평면 픽셀이고, 상기 크로마 평면 픽셀은 업샘플링된 기본 계층 크로마 평면 픽셀인 것인, 비디오 디코딩 방법.
  6. 제 1 항에 있어서,
    상기 교차-평면 필터를 적용하는 단계는 멀티-계층 비디오 코딩 프로세스에서 수행되고, 상기 루마 평면 픽셀은 업샘플링되지 않은 기본 계층 루마 평면 픽셀이고, 상기 크로마 평면 픽셀은 업샘플링된 기본 계층 크로마 평면 픽셀인 것인, 비디오 디코딩 방법.
  7. 비디오 코딩 디바이스에 있어서,
    비디오 신호, 및 상기 비디오 신호와 연관되는 교차-평면 필터를 수신하도록 구성되는 네트워크 인터페이스; 및
    크로마 오프셋을 결정하기 위하여 상기 교차-평면 필터를 상기 비디오 신호의 루마 평면 픽셀에 적용하고, 상기 크로마 오프셋을 상기 비디오 신호의 대응하는 크로마 평면 픽셀에 부가하도록 구성되는 프로세서
    를 포함하는, 비디오 코딩 디바이스.
  8. 제 7 항에 있어서,
    상기 프로세서는 또한,
    상기 네트워크 인터페이스를 통해, 상기 교차-평면 필터가 적용될 상기 비디오 신호의 영역의 표시를 수신하며;
    상기 교차-평면 필터를 상기 영역에 적용하도록
    구성되는 것인, 비디오 코딩 디바이스.
  9. 제 7 항에 있어서,
    상기 프로세서는 또한, 상기 네트워크 인터페이스를 통해, 상기 교차-평면 필터를 상기 비디오 신호의 시퀀스 레벨, 픽쳐 레벨, 슬라이스 레벨, 또는 블록 레벨 중의 적어도 하나에 적용하기 위한 표시를 수신하도록 구성되는 것인, 비디오 코딩 디바이스.
  10. 제 7 항에 있어서,
    상기 프로세서는 상기 교차-평면 필터를, 포스트-프로세싱으로서 단일-계층 비디오 코딩 프로세스에서 적용하도록 구성되는 것인, 비디오 코딩 디바이스.
  11. 제 7 항에 있어서,
    상기 프로세서는 멀티-계층 비디오 코딩 프로세스에서 상기 교차-평면 필터를 적용하도록 구성되고, 상기 루마 평면 픽셀은 업샘플링된 기본 계층 루마 평면 픽셀이고, 상기 크로마 평면 픽셀은 업샘플링된 기본 계층 크로마 평면 픽셀인 것인, 비디오 코딩 디바이스.
  12. 제 7 항에 있어서,
    상기 프로세서는 멀티-계층 비디오 코딩 프로세스에서 상기 교차-평면 필터를 적용하도록 구성되고, 상기 루마 평면 픽셀은 업샘플링되지 않은 기본 계층 루마 평면 픽셀이고, 상기 크로마 평면 픽셀은 업샘플링된 기본 계층 크로마 평면 픽셀인 것인, 비디오 코딩 디바이스.
  13. 비디오 신호를 인코딩하는 방법에 있어서,
    상기 비디오 신호의 컴포넌트들을 이용하여 교차-평면 필터를 생성하는 단계;
    상기 교차-평면 필터와 연관된 필터 계수를 양자화하는 단계;
    상기 필터 계수를, 상기 비디오 신호를 나타내는 비트스트림으로 인코딩하는 단계; 및
    상기 비트스트림을 송신하는 단계
    를 포함하는, 비디오 신호를 인코딩하는 방법.
  14. 제 13 항에 있어서,
    상기 교차-평면 필터는 상기 비디오 신호의 루마 평면 컴포넌트로의 적용을 위하여 설계되고, 상기 루마 평면 컴포넌트로의 상기 교차-평면 필터의 적용은 상기 비디오 신호의 크로마 평면 컴포넌트에 적용가능한 출력을 생성하는 것인, 비디오 신호를 인코딩하는 방법.
  15. 제 13 항에 있어서,
    상기 교차-평면 필터는 트레이닝 세트에 따라 생성되는 것인, 비디오 신호를 인코딩하는 방법.
  16. 제 15 항에 있어서,
    상기 트레이닝 세트는 상기 비디오 신호의 코딩된 루마 컴포넌트, 상기 비디오 신호의 코딩된 크로마 컴포넌트, 및 상기 비디오 신호의 원래의(original) 크로마 컴포넌트를 포함하는 것인, 비디오 신호를 인코딩하는 방법.
  17. 제 13 항에 있어서,
    코딩 성능 또는 컬러 서브샘플링 포맷 중의 적어도 하나에 따라 상기 교차-평면 필터의 특성을 결정하는 단계를 더 포함하는, 비디오 신호를 인코딩하는 방법.
  18. 제 17 항에 있어서,
    상기 특성은 상기 교차-평면 필터의 사이즈, 상기 교차-평면 필터의 분리성, 또는 상기 교차-평면 필터의 대칭성 중의 적어도 하나인 것인, 비디오 신호를 인코딩하는 방법.
  19. 제 13 항에 있어서,
    상기 비디오 신호의 인코딩된 픽쳐 내의 영역을 식별하는 단계; 및
    상기 교차-평면 필터를 상기 영역에 적용하기 위한 표시를 송신하는 단계
    를 더 포함하는, 비디오 신호를 인코딩하는 방법.
  20. 비디오 코딩 디바이스에 있어서,
    비디오 신호를 수신하도록 구성되는 네트워크 인터페이스; 및
    상기 비디오 신호의 컴포넌트들을 이용하여 교차-평면 필터를 생성하고, 상기 교차-평면 필터와 연관된 필터 계수를 양자화하고, 상기 필터 계수를 상기 비디오 신호를 나타내는 비트스트림으로 인코딩하며, 상기 네트워크 인터페이스를 통해 상기 비트스트림을 송신하도록 구성되는 프로세서
    를 포함하는, 비디오 코딩 디바이스.
  21. 제 20 항에 있어서,
    상기 프로세서는 상기 비디오 신호의 루마 평면 컴포넌트로의 적용을 위하여 상기 교차-평면 필터를 설계하도록 구성되고, 상기 루마 평면 컴포넌트로의 상기 교차-평면 필터의 적용은 상기 비디오 신호의 크로마 평면 컴포넌트에 적용가능한 출력을 생성하는 것인, 비디오 코딩 디바이스.
  22. 제 20 항에 있어서,
    상기 프로세서는 트레이닝 세트에 따라 상기 교차-평면 필터를 생성하도록 구성되는 것인, 비디오 코딩 디바이스.
  23. 제 22 항에 있어서,
    상기 트레이닝 세트는 상기 비디오 신호의 코딩된 루마 컴포넌트, 상기 비디오 신호의 코딩된 크로마 컴포넌트, 및 상기 비디오 신호의 원래의 크로마 컴포넌트를 포함하는 것인, 비디오 코딩 디바이스.
  24. 제 20 항에 있어서,
    상기 프로세서는 또한, 코딩 성능 또는 컬러 서브샘플링 포맷 중의 적어도 하나에 따라 상기 교차-평면 필터의 특성을 결정하도록 구성되는 것인, 비디오 코딩 디바이스.
  25. 제 24 항에 있어서,
    상기 특성은 상기 교차-평면 필터의 사이즈, 상기 교차-평면 필터의 분리성, 또는 상기 교차-평면 필터의 대칭성 중의 적어도 하나인 것인, 비디오 코딩 디바이스.
  26. 제 20 항에 있어서,
    상기 프로세서는 또한, 상기 비디오 신호의 인코딩된 픽쳐 내의 영역을 식별하고, 그리고 상기 네트워크 인터페이스를 통해, 상기 교차-평면 필터를 상기 영역에 적용하기 위한 표시를 송신하도록 구성되는 것인, 비디오 코딩 디바이스.
KR1020157010964A 2012-09-28 2013-09-27 비디오 코딩에서 크로마 신호 향상을 위한 교차-평면 필터링 KR101654814B1 (ko)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201261707682P 2012-09-28 2012-09-28
US61/707,682 2012-09-28
US201361762611P 2013-02-08 2013-02-08
US61/762,611 2013-02-08
US201361778218P 2013-03-12 2013-03-12
US61/778,218 2013-03-12
US201361845792P 2013-07-12 2013-07-12
US61/845,792 2013-07-12
PCT/US2013/062133 WO2014052731A2 (en) 2012-09-28 2013-09-27 Cross-plane filtering for chroma signal enhancement in video coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020167024019A Division KR102028244B1 (ko) 2012-09-28 2013-09-27 비디오 코딩에서 크로마 신호 향상을 위한 교차-평면 필터링

Publications (2)

Publication Number Publication Date
KR20150065766A KR20150065766A (ko) 2015-06-15
KR101654814B1 true KR101654814B1 (ko) 2016-09-22

Family

ID=50385193

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020167024019A KR102028244B1 (ko) 2012-09-28 2013-09-27 비디오 코딩에서 크로마 신호 향상을 위한 교차-평면 필터링
KR1020157010964A KR101654814B1 (ko) 2012-09-28 2013-09-27 비디오 코딩에서 크로마 신호 향상을 위한 교차-평면 필터링

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020167024019A KR102028244B1 (ko) 2012-09-28 2013-09-27 비디오 코딩에서 크로마 신호 향상을 위한 교차-평면 필터링

Country Status (7)

Country Link
US (4) US10397616B2 (ko)
EP (2) EP3661215A1 (ko)
JP (4) JP6175505B2 (ko)
KR (2) KR102028244B1 (ko)
CN (3) CN109327704B (ko)
TW (1) TWI652935B (ko)
WO (1) WO2014052731A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024076141A1 (ko) * 2022-10-05 2024-04-11 엘지전자 주식회사 포스트 디코딩 필터에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150036744A1 (en) * 2012-05-02 2015-02-05 Sony Corporation Image processing apparatus and image processing method
TWI652935B (zh) 2012-09-28 2019-03-01 Ｖｉｄ衡器股份有限公司 視訊編碼方法及裝置
US9648353B2 (en) 2013-04-04 2017-05-09 Qualcomm Incorporated Multiple base layer reference pictures for SHVC
KR102209067B1 (ko) * 2013-04-05 2021-01-28 삼성전자주식회사 필터링과 관련하여 비디오의 부호화 및 복호화를 수행하는 방법과 그 장치
US10708588B2 (en) * 2013-06-19 2020-07-07 Apple Inc. Sample adaptive offset control
US9294766B2 (en) 2013-09-09 2016-03-22 Apple Inc. Chroma quantization in video coding
GB201500719D0 (en) * 2015-01-15 2015-03-04 Barco Nv Method for chromo reconstruction
US10972728B2 (en) * 2015-04-17 2021-04-06 Interdigital Madison Patent Holdings, Sas Chroma enhancement filtering for high dynamic range video coding
CN113810691A (zh) * 2015-07-08 2021-12-17 交互数字麦迪逊专利控股公司 用于使用交叉平面滤波的增强色度编码的方法和装置
WO2017019818A1 (en) 2015-07-28 2017-02-02 Vid Scale, Inc. High dynamic range video coding architectures with multiple operating modes
US10009622B1 (en) * 2015-12-15 2018-06-26 Google Llc Video coding with degradation of residuals
WO2017123487A1 (en) 2016-01-15 2017-07-20 Vid Scale, Inc. System and method for enhanced motion compensation using adaptive filtering
WO2019147403A1 (en) 2018-01-29 2019-08-01 Interdigital Vc Holdings, Inc. Encoding and decoding with refinement of the reconstructed picture
CN112789853A (zh) * 2018-06-21 2021-05-11 交互数字Vc控股公司 视频编码和解码中的细化模式处理
KR20200081327A (ko) * 2018-12-27 2020-07-07 인텔렉추얼디스커버리 주식회사 영상 부/복호화 방법 및 장치
JP7119236B2 (ja) 2019-01-09 2022-08-16 ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド クロスコンポーネント線形モデルを用いたビデオコーディング
GB2586484B (en) * 2019-08-20 2023-03-08 Canon Kk A filter
US11234010B2 (en) 2019-08-28 2022-01-25 Qualcomm Incorporated Cross-component adaptive loop filtering for video coding
US11356707B2 (en) * 2019-09-23 2022-06-07 Qualcomm Incorporated Signaling filters for video processing
EP4042684A4 (en) 2019-10-29 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. SIGNALING AN ADAPTIVE CROSS-COMPONENT LOOP FILTER
US11303936B2 (en) * 2020-02-21 2022-04-12 Tencent America LLC Method and apparatus for filtering
WO2021203394A1 (zh) * 2020-04-09 2021-10-14 北京大学 环路滤波的方法与装置
CN115834912A (zh) * 2020-06-03 2023-03-21 北京达佳互联信息技术有限公司 对视频进行编码的方法和装置
CN116325734A (zh) * 2020-09-23 2023-06-23 北京达佳互联信息技术有限公司 具有虚拟边界的跨分量样点自适应偏移中的色度编解码增强
WO2022164757A1 (en) * 2021-02-01 2022-08-04 Beijing Dajia Internet Information Technology Co., Ltd. Chroma coding enhancement in cross-component sample adaptive offset
WO2022170073A1 (en) * 2021-02-08 2022-08-11 Beijing Dajia Internet Information Technology Co., Ltd. Cross-component adaptive loop filter
EP4295576A1 (en) * 2021-02-22 2023-12-27 Beijing Dajia Internet Information Technology Co., Ltd. Coding enhancement cross-component sample adaptive offset
CN113099221B (zh) * 2021-02-22 2023-06-02 浙江大华技术股份有限公司 跨分量样点自适应补偿方法、编码方法及相关装置
JP2024509801A (ja) * 2021-03-18 2024-03-05 ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド 成分間サンプル適応オフセットにおけるコーディングの強化

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4701783A (en) * 1982-09-14 1987-10-20 New York Institute Of Technology Technique for encoding and decoding video with improved separation of chrominance and luminance
US7102669B2 (en) * 2002-04-02 2006-09-05 Freescale Semiconductor, Inc. Digital color image pre-processing
KR20040043750A (ko) * 2002-11-19 2004-05-27 엘지전자 주식회사 디지털 영상기기의 크로스 필터 효과 구현방법
US7333544B2 (en) * 2003-07-16 2008-02-19 Samsung Electronics Co., Ltd. Lossless image encoding/decoding method and apparatus using inter-color plane prediction
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7822286B2 (en) 2003-11-07 2010-10-26 Mitsubishi Electric Research Laboratories, Inc. Filtering artifacts in images with 3D spatio-temporal fuzzy filters
KR100754388B1 (ko) 2003-12-27 2007-08-31 삼성전자주식회사 레지듀 영상 다운/업 샘플링 방법 및 장치와 그를 이용한영상 부호화/복호화 방법 및 장치
US7397515B2 (en) * 2004-01-30 2008-07-08 Broadcom Corporation Method and system for cross-chrominance removal using motion detection
US8391672B2 (en) * 2004-02-06 2013-03-05 Panasonic Corporation Recording medium, reproduction device, program, and reproduction method
EP1858014B1 (en) * 2004-06-02 2009-11-18 Panasonic Corporation Recording medium, reproduction device, program, and reproduction method
JP2008516556A (ja) 2004-10-13 2008-05-15 トムソン ライセンシング コンプレクシティスケーラブル映像符号化復号化方法及び装置
KR100679022B1 (ko) * 2004-10-18 2007-02-05 삼성전자주식회사 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더
JP2008536414A (ja) * 2005-04-13 2008-09-04 ゴットフリート・ヴィルヘルム・ライプニッツ・ウニヴェルジテート・ハノーヴァー ビデオの拡張された符号化方法及び装置
TWI314720B (en) * 2005-05-31 2009-09-11 Himax Tech Inc 2d yc separation device and yc separation system
US7551232B2 (en) 2005-11-14 2009-06-23 Lsi Corporation Noise adaptive 3D composite noise reduction
CN101009842B (zh) * 2006-01-11 2012-02-01 华为技术有限公司 可分级视频压缩中插值的方法与装置
CN101496406B (zh) * 2006-03-23 2012-02-01 三星电子株式会社 图像编码/解码方法和设备
US7579670B2 (en) * 2006-07-03 2009-08-25 Semiconductor Components Industries, L.L.C. Integrated filter having ground plane structure
KR101266168B1 (ko) * 2006-08-16 2013-05-21 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US9001899B2 (en) * 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
CN101702963A (zh) * 2007-03-15 2010-05-05 诺基亚公司 用于为视频编码中的空间可伸缩性提供改进的残差预测的系统和方法
KR20080114388A (ko) * 2007-06-27 2008-12-31 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
US8270472B2 (en) 2007-11-09 2012-09-18 Thomson Licensing Methods and apparatus for adaptive reference filtering (ARF) of bi-predictive pictures in multi-view coded video
BRPI0915591A2 (pt) 2008-07-04 2016-08-02 Toshiba Kk método e aparelho de codificação/decodificação de imagem em movimento
US8270466B2 (en) 2008-10-03 2012-09-18 Sony Corporation Adaptive decimation filter
CN101404765B (zh) * 2008-10-24 2010-12-08 宁波大学 一种交互式多视点视频编码方法
CN101778371B (zh) 2009-01-09 2012-08-29 电信科学技术研究院 寻呼方法及装置
KR20110009058A (ko) * 2009-07-20 2011-01-27 삼성전자주식회사 계층 구조의 영상 부호화/복호화에서 색 채널을 부호화/복호화하는 방법 및 장치
JPWO2011033643A1 (ja) * 2009-09-17 2013-02-07 株式会社東芝 動画像符号化方法及び動画像復号化方法
EP2486731B1 (en) * 2009-10-05 2018-11-07 InterDigital Madison Patent Holdings Methods and apparatus for adaptive filtering of prediction pixels for chroma components in video encoding and decoding
US8593483B2 (en) * 2009-10-20 2013-11-26 Apple Inc. Temporal filtering techniques for image signal processing
KR101682147B1 (ko) 2010-04-05 2016-12-05 삼성전자주식회사 변환 및 역변환에 기초한 보간 방법 및 장치
CN201726499U (zh) * 2010-05-04 2011-01-26 武汉光华芯科技有限公司 复合视频信号亮色分离系统
CN101902653B (zh) * 2010-06-25 2013-04-24 杭州爱威芯科技有限公司 一种基于亮度样本的方向预测的场内yc分离方法
US20120008687A1 (en) * 2010-07-06 2012-01-12 Apple Inc. Video coding using vector quantized deblocking filters
US8605167B2 (en) * 2010-09-01 2013-12-10 Apple Inc. Flexible color space selection for auto-white balance processing
US9693070B2 (en) 2011-06-24 2017-06-27 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
EP2849444A3 (en) 2011-06-28 2015-06-24 Samsung Electronics Co., Ltd Video encoding method using merge information to code offset parameters and apparatus therefor, video decoding method and apparatus therefor
US9641866B2 (en) 2011-08-18 2017-05-02 Qualcomm Incorporated Applying partition-based filters
US9807403B2 (en) 2011-10-21 2017-10-31 Qualcomm Incorporated Adaptive loop filtering for chroma components
US9344715B2 (en) 2011-11-07 2016-05-17 Futurewei Technologies, Inc. Angular table for improving intra prediction
EP2804377A4 (en) 2012-01-13 2015-12-09 Sharp Kk Image Decoding Device, Image Coding Device and Data Structure of the Coded Data
US9380302B2 (en) 2012-02-27 2016-06-28 Texas Instruments Incorporated Sample adaptive offset (SAO) parameter signaling
US20150036744A1 (en) 2012-05-02 2015-02-05 Sony Corporation Image processing apparatus and image processing method
US20140086316A1 (en) * 2012-09-24 2014-03-27 Louis Joseph Kerofsky Video compression with color space scalability
TWI652935B (zh) 2012-09-28 2019-03-01 Ｖｉｄ衡器股份有限公司 視訊編碼方法及裝置
KR102257542B1 (ko) 2012-10-01 2021-05-31 지이 비디오 컴프레션, 엘엘씨 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩
US9357211B2 (en) 2012-12-28 2016-05-31 Qualcomm Incorporated Device and method for scalable and multiview/3D coding of video information
WO2014115283A1 (ja) 2013-01-24 2014-07-31 シャープ株式会社 画像復号装置、および画像符号化装置
WO2014163241A1 (ko) 2013-04-02 2014-10-09 주식회사 칩스앤미디어 동영상 처리 방법 및 장치
US9503732B2 (en) 2013-04-10 2016-11-22 Arris Enterprises, Inc. Re-sampling with phase offset adjustment for luma and chroma to select filters in scalable video coding
US8810727B1 (en) 2013-05-07 2014-08-19 Qualcomm Technologies, Inc. Method for scaling channel of an image
US9686561B2 (en) * 2013-06-17 2017-06-20 Qualcomm Incorporated Inter-component filtering
WO2015003753A1 (en) 2013-07-12 2015-01-15 Nokia Solutions And Networks Oy Redirection of m2m devices
US10129542B2 (en) 2013-10-17 2018-11-13 Futurewei Technologies, Inc. Reference pixel selection and filtering for intra coding of depth map
WO2015062098A1 (zh) 2013-11-01 2015-05-07 华为技术有限公司 一种网络选择方法及核心网设备
EP3286918A1 (en) 2015-04-21 2018-02-28 VID SCALE, Inc. Artistic intent based video coding
JP6750234B2 (ja) 2016-01-28 2020-09-02 横浜ゴム株式会社 タイヤ運用サービスシステムおよび方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Dong, Jie, et al., ‘Cross-plane chroma enhancement for SHVC Inter-Layer Prediction’, Picture Coding Symposium (PCS), 2013, 2013권, 12호, pp.309-312
Jie Dong, et al., ‘Chroma Enhancement for ILR Picture’, (JCTVC-L0059), JCT-VC of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 12th Meeting: Geneva, CH, 2013.01.14.
X. Li, et al., ‘Non-SCE3: Region based Inter-layer Cross-Color Filtering’, (JCTVC-N0229), JCT-VC of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 14th Meeting: Vienna, AT, 2013.07.25.

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024076141A1 (ko) * 2022-10-05 2024-04-11 엘지전자 주식회사 포스트 디코딩 필터에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체

Also Published As

Publication number Publication date
US20190327494A1 (en) 2019-10-24
EP2901703A2 (en) 2015-08-05
JP6175505B2 (ja) 2017-08-02
CN109327704B (zh) 2021-06-18
KR20150065766A (ko) 2015-06-15
WO2014052731A3 (en) 2014-10-23
US20200404341A1 (en) 2020-12-24
WO2014052731A2 (en) 2014-04-03
KR20160105944A (ko) 2016-09-07
JP2020036353A (ja) 2020-03-05
US20140092999A1 (en) 2014-04-03
KR102028244B1 (ko) 2019-10-02
CN109327704A (zh) 2019-02-12
CN104769950B (zh) 2018-11-13
CN104769950A (zh) 2015-07-08
JP6671321B2 (ja) 2020-03-25
TW201436530A (zh) 2014-09-16
US11356708B2 (en) 2022-06-07
JP2017200235A (ja) 2017-11-02
EP3661215A1 (en) 2020-06-03
US20220286712A1 (en) 2022-09-08
CN113518228A (zh) 2021-10-19
JP2023011047A (ja) 2023-01-20
US10798423B2 (en) 2020-10-06
JP7433019B2 (ja) 2024-02-19
JP2015531569A (ja) 2015-11-02
US10397616B2 (en) 2019-08-27
TWI652935B (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
US11356708B2 (en) Cross-plane filtering for chroma signal enhancement in video coding
KR101774675B1 (ko) 다층 비디오 코딩을 위한 적응적 업샘플링
CN107534769B (zh) 用于高动态范围视频译码的色度增强滤波
KR101946039B1 (ko) 스케일가능한 비디오 코딩을 위한 계층간 예측
TW201735641A (zh) 使用適應性濾波增強運動補償系統及方法
KR20170103924A (ko) 비-4:4:4 화면 콘텐츠 영상의 팔레트 코딩
JP2017531382A (ja) ビデオ符号化のための成分間相関解除

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right