KR20170041203A

KR20170041203A - 멀티-모드 비디오 코딩을 위해 공간 예측 모드로 비디오 코딩하기 위한 방법

Info

Publication number: KR20170041203A
Application number: KR1020177003332A
Authority: KR
Inventors: 네이탄 헤임 제이콥슨; 비자야라가반 티루말라이; 라잔 랙스맨 조쉬; 민 다이
Original assignee: 퀄컴 인코포레이티드
Priority date: 2014-08-08
Filing date: 2015-08-06
Publication date: 2017-04-14
Also published as: BR112017002226A2; US20160044308A1; KR102282260B1; CN106576173B; CA2953878A1; JP6622791B2; WO2016022835A1; EP3178230A1; JP2017527194A; US10979705B2; HUE049462T2; EP3178230B1; ES2812807T3; CN106576173A

Abstract

멀티-모드 비디오 코딩을 위해 공간 예측 모드로 비디오 코딩하기 위한 방법 및 장치가 개시된다. 일 양태에서, 그 방법은 상기 비디오 데이터의 슬라이스를 코딩하는 것을 포함하고, 상기 슬라이스는 상기 슬라이스의 제 1 라인과 상기 슬라이스의 복수의 비-제 1 라인들에서 복수의 픽셀들을 포함한다. 상기 슬라이스를 코딩하는 것은, 제 1 라인의 이전 픽셀을 예측자로서 사용하여 공간 예측 모드에서 제 1 라인의 현재 픽셀을 코딩하는 것, 및 공간 예측 모드 이외의 코딩 모드에서 비-제 1 라인의 다른 픽셀을 코딩하는 것을 포함한다.

Description

멀티-모드 비디오 코딩을 위해 공간 예측 모드로 비디오 코딩하기 위한 방법{METHOD FOR VIDEO CODING WITH SPATIAL PREDICTION MODE FOR MULTI-MODE VIDEO CODING}

본 개시물은 비디오 코딩 및 압축 분야에 관한 것으로, 특히 디스플레이 링크들을 통한 송신을 위한 비디오 압축, 예컨대 디스플레이 링크 비디오 압축에 관한 것이다.

디지털 비디오 능력들은 디지털 텔레비전들, 개인 디지털 보조장치들 (PDA들), 랩탑 컴퓨터들, 데스크탑 모니터들, 디지털 카메라들, 디지털 레코딩 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 디바이스들, 비디오 게임 콘솔들, 셀룰러 또는 위성 무선 전화기들, 비디오 텔레컨퍼런싱 디바이스들 등을 포함한, 광범위한 디바이스들에 통합될 수 있다. 디스플레이 링크들은 디스플레이들을 적절한 소스 디바이스들에 접속하는데 사용된다. 디스플레이 링크들의 대역폭 요건들은 디스플레이들의 해상도에 비례하고, 따라서 고해상도 디스플레이들은 큰 대역폭 디스플레이 링크들을 요구한다. 일부 디스플레이 링크들은 고해상도 디스플레이들을 지원하기 위한 대역폭을 가지지 않는다. 비디오 압축은, 더 낮은 대역폭 디스플레이 링크들이 디지털 비디오를 고해상도 디스플레이들에 제공하는데 사용될 수 있도록, 대역폭 요건들을 감소시키는데 사용될 수 있다.

다른 것들은 픽셀 데이터에 이미지 압축을 활용하는 것을 시도한다. 그러나, 그러한 방식들은 때때로, 시각적으로 손실이 없는 것은 아니거나 또는 종래의 디스플레이 디바이스들에서 구현하기에 어렵고 비쌀 수 있다.

VESA (Video Electronics Standards Association) 는 디스플레이 링크 비디오 압축을 위한 표준으로서 DSC (Display Stream Compression) 를 개발하였다. DSC 와 같은 디스플레이 링크 비디오 압축 기술은 다른 것들 중에서, 시각적으로 손실이 없는 픽처 품질 (즉, 사용자들이 압축이 활성이라고 말할 수 없도록 하는 품질의 레벨을 갖는 픽처들) 을 제공해야만 한다. 디스플레이 링크 비디오 압축 기술은 또한, 종래의 하드웨어로 실시간으로 구현하기에 용이하거나 비싸지 않은 방식을 제공해야만 한다.

본 개시물의 시스템들, 방법들 및 디바이스들 각각은 여러 혁신적인 양태들을 가지며, 이들 중 어느 것도 본원에서 개시된 바람직한 속성들에 대해 독자적으로 책임지는 것은 아니다.

일 양태에서, 디스플레이 링크 비디오 압축에 있어서 복수의 코딩 모드들을 통해 비디오 데이터를 코딩하기 위한 방법은, 비디오 데이터의 슬라이스를 코딩하는 단계로서, 슬라이스는 슬라이스의 제 1 라인과 슬라이스의 복수의 비-제 1 라인들에서 복수의 픽셀들을 포함하는, 상기 슬라이스를 코딩하는 단계를 포함하고, 상기 슬라이스를 코딩하는 단계는, 제 1 라인의 이전 픽셀을 예측자로서 사용하여 공간 예측 모드에서 슬라이스의 제 1 라인의 현재 픽셀을 코딩하는 단계; 및 공간 예측 모드 이외의 코딩 모드에서 슬라이스의 비-제 1 라인의 다른 픽셀을 코딩하는 단계를 포함한다.

다른 양태에서, 디스플레이 링크 비디오 압축에 있어서 복수의 코딩 모드들을 통해 비디오 데이터를 코딩하기 위한 디바이스는, 비디오 데이터를 저장하도록 구성된 메모리; 및 메모리와 통신하는 프로세서를 포함하며, 상기 프로세서는, 비디오 데이터의 슬라이스를 코딩하는 것으로서, 슬라이스는 슬라이스의 제 1 라인과 슬라이스의 복수의 비-제 1 라인들에서 복수의 픽셀들을 포함하는, 상기 슬라이스를 코딩하고; 제 1 라인의 이전 픽셀을 예측자로서 사용하여 공간 예측 모드에서 슬라이스의 제 1 라인의 현재 픽셀을 코딩하고; 그리고 공간 예측 모드 이외의 코딩 모드에서 슬라이스의 비-제 1 라인의 다른 픽셀을 코딩하도록 구성된다.

또 다른 양태에서, 장치는, 비디오 데이터의 슬라이스를 코딩하는 수단으로서, 슬라이스는 슬라이스의 제 1 라인과 슬라이스의 복수의 비-제 1 라인들에서 복수의 픽셀들을 포함하는, 상기 슬라이스를 코딩하는 수단; 제 1 라인의 이전 픽셀을 예측자로서 사용하여 공간 예측 모드에서 슬라이스의 제 1 라인의 현재 픽셀을 코딩하는 수단; 및 공간 예측 모드 이외의 코딩 모드에서 슬라이스의 비-제 1 라인의 다른 픽셀을 코딩하는 수단을 포함한다.

또 다른 양태에서, 비-일시적인 컴퓨터 판독가능 저장 매체는, 실행될 경우, 디바이스의 프로세서로 하여금 비디오 데이터의 슬라이스를 코딩하게 하는 것으로서, 슬라이스는 슬라이스의 제 1 라인과 슬라이스의 복수의 비-제 1 라인들에서 복수의 픽셀들을 포함하는, 상기 슬라이스를 코딩하게 하고; 제 1 라인의 이전 픽셀을 예측자로서 사용하여 공간 예측 모드에서 슬라이스의 제 1 라인의 현재 픽셀을 코딩하게 하고; 그리고 공간 예측 모드 이외의 코딩 모드에서 슬라이스의 비-제 1 라인의 다른 픽셀을 코딩하게 한다.

도 1a 는 본 개시물에서 설명된 양태들에 따른 기술들을 활용할 수도 있는 예시적인 비디오 인코딩 및 디코딩 시스템을 도시한 블록 다이어그램이다.
도 1b 는 본 개시물에서 설명된 양태들에 따른 기술들을 수행할 수도 있는 다른 예시적인 비디오 인코딩 및 디코딩 시스템을 도시한 블록 다이어그램이다.
도 2a 는 본 개시물에서 설명된 양태들에 따른 기술들을 구현할 수도 있는 비디오 인코더의 예를 도시한 블록 다이어그램이다.
도 2b 는 본 개시물에서 설명된 양태들에 따른 기술들을 구현할 수도 있는 비디오 디코더의 예를 도시한 블록 다이어그램이다.
도 3 은 본 개시물에서 설명된 양태들에 따라 슬라이스의 제 1 라인을 코딩하는 방법을 도시한 블록 다이어그램이다.
도 4 는 본 개시물에서 설명된 양태들에 따라 슬라이스의 제 1 라인을 코딩하는 다른 방법을 도시한 블록 다이어그램이다.
도 5 는 본 개시물에서 설명된 양태들에 따라 블록을 코딩하는 방법에서 현재 픽셀과 예측자 픽셀들 간의 공간적 관계들을 도시한 블록 다이어그램이다.
도 6 은 본 개시물에서 설명된 양태들에 따라 블록을 코딩하는 방법에서 현재 픽셀과 예측자 픽셀들 간의 공간적 관계들을 도시한 블록 다이어그램이다.
도 7 은 본 개시물에서 설명된 양태들에 따라 블록을 코딩하는 방법에서 현재 픽셀과 예측자 픽셀들 간의 공간적 관계들을 도시한 블록 다이어그램이다.
도 8 은 본 개시물에서 설명된 양태들에 따른 예시적인 그룹화 전략을 도시한 블록 다이어그램이다.
도 9 는 본 개시물에서 설명된 양태들에 따라 슬라이스의 라인을 코딩하는 방법을 도시한 블록 다이어그램이다.
도 10 은 본 개시물에서 설명된 양태들에 따라 슬라이스의 라인을 코딩하는 다른 방법을 도시한 블록 다이어그램이다.
도 11 은 본 개시물의 양태들에 따라 공간 예측 모드 코딩하기 위한 방법을 도시한 플로우차트이다.

일반적으로, 본 개시물은 디스플레이 링크 비디오 압축에서 활용된 것과 같은 비디오 압축 기술들을 개선하는 방법들에 관한 것이다. 더 구체적으로, 본 개시물은 멀티-모드 코딩 기술들을 사용할 때 슬라이스에서 제 1 라인의 코딩 효율을 개선하기 위한 시스템들 및 방법들에 관한 것이다.

특정 실시형태들이 본원에서 DSC 표준의 문맥에서 설명되지만, 본원에 개시된 시스템들 및 방법들은 어떤 적당한 비디오 코딩 표준들에도 적용가능할 수도 있음을 당업자는 인식할 것이다. 예를 들어, 본원에 개시된 실시형태들은 다음 표준들: 인터내셔널 텔레커뮤니케이션 연합 (ITU) 텔레커뮤니케이션 표준화 섹터 (ITU-T) H.261, 즉 ISO/IEC (International Organization for Standardization/International Electrotechnical Commission) MPEG1 (Moving Picture Experts Group-1) Visual, ITU-T H.262 또는 ISO/IEC MPEG-2 Visual, ITU-T H.263, 즉 ISO/IEC MPEG4 Visual, (또한 ISO/IEC MPEG-4 AVC 로 알려진) ITU-T H.264, 고효율 비디오 코딩 (HEVC), 및 그러한 표준들에 대한 임의의 확장물들 중 하나 이상에 적용가능할 수도 있다. 또한, 본 개시물에 설명된 기술들은 향후 개발되는 표준들의 부분이 될 수도 있다. 즉, 본 개시물에서 설명된 기술들은 이전에 개발된 비디오 코딩 표준들, 현재 개발 중인 비디오 코딩 표준들, 및 다가오는 비디오 코딩 표준들에 적용가능할 수도 있다.

DSC 표준에 대한 제안된 방법은, 비디오 데이터의 각 블록이 인코더에 의해 인코딩되고, 유사하게 디코더에 의해 디코딩될 수도 있는, 다수의 코딩 모드들을 포함한다. 일부 구현들에서, 이미지의 픽셀들은 복수의 상이한 코딩 모드들을 사용하여 (즉, 멀티-모드 비디오 코딩을 사용하여) 코딩될 수도 있다. 그러나, 이미지의 슬라이스를 코딩하는데 사용된 모드들 중 일부는 슬라이스의 제 1 라인이 아닌 슬라이스의 라인들에 대하여 더 양호한 성능을 가질 수도 있다. 예를 들어, 특정 비디오 코딩 모드들은 코딩될 현재 픽셀 위에 공간적으로 위치되는 예측자들을 이용할 수도 있다. 슬라이스의 제 1 라인이 슬라이스의 제 1 라인 위에 공간적으로 위치되는 예측자들을 액세스할 수 없기 때문에 (즉, 이전 라인들이 슬라이스의 제 1 라인의 코딩에 사용가능하지 않기 때문에), 이들 비디오 코딩 기술들은 슬라이스의 제 1 라인에 대하여 감소된 코딩 품질을 가질 수도 있다.

본 개시물에서, 공간 예측 모드를 사용하여 슬라이스의 제 1 라인을 코딩하는 개선된 방법이 설명된다. 예를 들어, 슬라이스의 제 1 라인의 픽셀들은 제 1 라인의 이전 픽셀들을 예측자들로서 사용하여 코딩될 수도 있다. 다시 말해서, 슬라이스의 제 1 라인에서 코딩될 현재 픽셀 이전에 위치되는 이전 픽셀은 현재 픽셀을 코딩할 때 예측자로서 이용될 수도 있다. 이전 픽셀은 코딩 순서에서 현재 픽셀 이전에 공간적으로 위치될 수도 있다. 이는 슬라이스의 제 1 라인 위에 위치된 이전 라인들로의 액세스 없이 슬라이스의 제 1 라인의 코딩 품질을 개선시킬 수도 있다.

비디오 코딩 표준들

비디오 이미지, TV 이미지, 스틸 이미지 또는 비디오 레코더 또는 컴퓨터에 의해 생성된 이미지와 같은 디지털 이미지는 수평 라인과 수직 라인으로 배열되는 픽셀들 또는 샘플들을 포함할 수도 있다. 단일 이미지에서 픽셀들의 수는 통상적으로 수만개이다. 각각의 픽셀은 통상적으로, 휘도 및 색차 정보를 포함한다. 압축 없이, 이미지 인코더로부터 이미지 디코더로 전달될 정보의 순수한 양은 실시간 이미지 송신을 실현 불가능하게 할 것이다. 송신될 정보의 양을 감소시키기 위해, JPEG, MPEG 및 H.263 표준들과 같은 다수의 상이한 압축 방법들이 개발되었다.

비디오 코딩 표준들은, ITU-T H.261, ISO/IEC MPEG-1 Visual, ITU-T H.262 또는 ISO/IEC MPEG-2 Visual, ITU-T H.263, ISO/IEC MPEG-4 Visual, ITU-T H.264 (ISO/IEC MPEG-4 AVC 로서 또한 공지됨), 및 그러한 표준들의 확장물들을 포함하는 HEVC 를 포함한다.

추가로, 비디오 코딩 표준, 즉 DSC 는 VESA 에 의해 개발되었다. DSC 표준은 디스플레이 링크들을 통한 통신을 위해 비디오를 압축할 수 있는 비디오 압축 표준이다. 디스플레이들의 해상도가 증가함에 따라, 디스플레이들을 구동하는데 필요한 비디오 데이터의 대역폭이 상응하여 증가한다. 일부 디스플레이 링크들은 모든 비디오 데이터를 그러한 해상도들에 대한 디스플레이로 송신하기 위한 대역폭을 가지지 않을 수도 있다. 따라서, DSC 표준은 디스플레이 링크들을 통한 상호 운용적인, 시각적으로 무손실의 압축을 위한 압축 표준을 명시한다.

DSC 표준은 H.264 및 HEVC 와 같은 다른 비디오 코딩 표준들과 상이하다. DSC 는 인트라-프레임 압축을 포함하지만, 인터-프레임 압축을 포함하지 않으며, 이는 시간 정보가 비디오 데이터를 코딩하는데 있어 DSC 표준에 의해 사용되지 않을 수도 있는 것을 의미한다. 대조적으로, 다른 비디오 코딩 표준들은 그들의 비디오 코딩 기술들에서 인터-프레임 압축을 채용할 수도 있다.

비디오 코딩 시스템

신규한 시스템들, 장치들, 및 방법들의 다양한 양태들이 첨부 도면들을 참조하여 이하 더 충분히 설명된다. 하지만, 본 개시물은 다수의 상이한 형태들로 구현될 수도 있으며, 본 개시 전반에 걸쳐 제시된 임의의 특정 구조 또는 기능으로 한정되는 것으로서 해석되지 않아야 한다. 대신, 이들 양태들은, 본 개시물이 철저하고 완벽하며 또한 본 개시물의 범위를 당업자에게 충분히 전달하게 하도록 제공된다. 본 명세서에서의 교시들에 기초하여, 당업자는, 본 개시물의 임의의 다른 양태와 독립적으로 구현되든 또는 임의의 다른 양태와 결합되든, 본 개시물의 범위가 본 명세서에 개시된 신규한 시스템들, 장치들, 및 방법들의 임의의 양태를 커버하도록 의도됨을 인식할 것이다. 예를 들어, 본 명세서에서 설명된 임의의 수의 양태들을 이용하여 일 장치가 구현될 수도 있거나 일 방법이 실시될 수도 있다. 부가적으로, 본 개시물의 범위는, 본 명세서에서 설명된 본 개시물의 다양한 양태들에 부가한 또는 그 이외의 구조 및 기능, 또는 다른 구조, 기능을 이용하여 실시되는 그러한 장치 또는 방법을 커버하도록 의도된다. 본 명세서에서 개시된 임의의 양태는 청구항의 하나 이상의 엘리먼트들에 의해 구현될 수도 있음이 이해되어야 한다.

특정 양태들이 본 명세서에서 설명되지만, 이들 양태들의 다수의 변형예들 및 치환예들은 본 개시의 범위 내에 있다. 바람직한 양태들의 일부 이익들 및 이점들이 언급되지만, 본 개시물의 범위는 특정 이익들, 사용들, 또는 목적들에 한정되도록 의도되지 않는다. 대신, 본 개시물의 양태들은 상이한 무선 기술들, 시스템 구성들, 네트워크들, 및 송신 프로토콜들에 널리 적용가능하도록 의도되며, 이들 중 일부는 도면들에서, 그리고 선호된 양태들의 다음의 설명에서 예로써 예시된다. 상세한 설명 및 도면들은 한정하는 것보다는 본 개시물의 단지 예시일 뿐이며, 본 개시물의 범위는 첨부된 청구항들 및 그 균등물들에 의해 정의된다.

첨부된 도면들은 예들을 도시한다. 첨부된 도면들에서 참조 번호들로 표시된 엘리먼트들은 이하 설명에서 유사한 참조 번호들에 의해 표시된 엘리먼트들에 대응한다. 본 개시물에서, 서수 (예컨대, "제 1", "제 2", "제 3", 등) 로 시작하는 명칭들을 갖는 엘리먼트들은 그 엘리먼트들이 특정 순서를 가지는 것을 반드시 의미하는 것은 아니다. 오히려, 그러한 서수들은 단지 동일하거나 유사한 타입의 상이한 엘리먼트들을 지칭하는데 사용된다.

도 1a 는 본 개시물에서 설명된 양태들에 따른 기술들을 활용할 수도 있는 예시적인 비디오 코딩 시스템 (10) 을 도시하는 블록 다이어그램이다. 본원에서 설명되어 사용되는 바와 같이, 용어 "비디오 코더" 또는 "코더" 는 일반적으로 비디오 인코더들 및 비디오 디코더들 양자를 지칭한다. 본 개시물에 있어서, 용어들 "비디오 코딩" 또는 "코딩" 은 일반적으로 비디오 인코딩 또는 비디오 디코딩을 지칭할 수도 있다. 비디오 인코더들 및 비디오 디코더들에 부가하여, 본 출원에서 설명된 양태들은 트랜스코더들 (예컨대, 비트스트림을 디코딩하고 다른 비트스트림을 재인코딩할 수 있는 디바이스들) 및 미들박스들 (예컨대, 비트스트림을 수정하고, 변환하고, 및/또는 그렇지 않으면 조작할 수 있는 디바이스들) 과 같은 다른 관련 디바이스들로 확장될 수도 있다.

도 1a 에 도시된 바와 같이, 비디오 코딩 시스템 (10) 은 목적지 디바이스 (14) (즉, "비디오 코딩 디바이스 (14)" 또는 "코딩 디바이스 (14)") 에 의해 추후 디코딩될 인코딩된 비디오 데이터를 생성하는 소스 디바이스 (12) (즉, "비디오 코딩 디바이스 (12)" 또는 "코딩 디바이스 (12)") 를 포함한다. 도 1a 의 예에서, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 별개의 디바이스들을 구성한다. 그러나, 소스 디바이스 (12) 및 목적지 디바이스 (14) 가 도 1b 의 예에 나타낸 바와 같이 동일한 디바이스 상에 있거나 또는 그 부분일 수도 있다는 점에 유의한다.

도 1a 를 다시 참조하면, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 데스크탑 컴퓨터들, 노트북 (예컨대, 랩탑) 컴퓨터들, 태블릿 컴퓨터들, 셋탑 박스들, 소위 "스마트" 폰들과 같은 전화기 핸드셋들, 소위 "스마트" 패드들, 텔레비전들, 카메라들, 디스플레이 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 콘솔들, 비디오 스트리밍 디바이스 등을 포함한 광범위한 디바이스들 중 임의의 디바이스를 각각 포함할 수도 있다. 여러 실시형태들에서, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 무선 통신용으로 탑재될 (즉, 무선 통신을 통해 통신하도록 구성될) 수도 있다.

비디오 코딩 시스템 (10) 의 비디오 코딩 디바이스들 (12, 14) 은 무선 광역 네트워크 (WWAN) (예컨대, 셀룰러) 및/또는 무선 로컬 영역 네트워크 (WLAN) 캐리어들과 같은 무선 네트워크들 및 무선 기술들을 통해 통신하도록 구성될 수도 있다. "네트워크" 및 "시스템"이라는 용어들은 상호 교환적으로 종종 사용된다. 비디오 코딩 디바이스들 (12, 14) 의 각각은 사용자 장비 (UE), 무선 디바이스, 단말기, 이동국, 가입자 유닛, 등일 수도 있다.

WWAN 캐리어들은 예컨대, 코드 분할 다중 액세스 (CDMA), 시분할 다중 액세스 (TDMA), 주파수 분할 다중 액세스 (FDMA), 직교 FDMA (OFDMA), 싱글-캐리어 FDMA (SC-FDMA) 및 다른 네트워크들과 같은 무선 통신 네트워크들을 포함할 수도 있다. CDMA 네트워크는 UTRA (Universal Terrestrial Radio Access), CDMA2000 등과 같은 무선 기술을 구현할 수도 있다. UTRA 는 WCDMA (Wideband CDMA) 및 CDMA 의 다른 변형들을 포함한다. CDMA2000 은 IS-2000, IS-95 및 IS-856 표준들을 커버한다. TDMA 네트워크는 모바일 통신용 글로벌 시스템 (GSM) 과 같은 무선 기술을 구현할 수도 있다. OFDMA 네트워크는 E-UTRA (Evolved UTRA), UMB (Ultra Mobile Broadband), IEEE 802.11 (Wi-Fi), IEEE 802.16 (WiMAX), IEEE 802.20, 플래시-OFDMA, 등과 같은 무선 기술을 구현할 수도 있다. UTRA 및 E-UTRA 는 UMTS (Universal Mobile Telecommunication System) 의 일부이다. 3GPP LTE (Long Term Evolution) 와 LTE-A (LTE-Advanced) 는 E-UTRA 를 사용하는 UMTS 의 새로운 릴리스들 (releases) 이다. UTRA, E-UTRA, UMTS, LTE, LTE-A 및 GSM은 "3rd Generation Partnership Project (3GPP)" 로 명명된 조직으로부터의 문헌들에서 설명된다. CDMA2000 및 UMB 는 "제3세대 파트너십 프로젝트 2" (3GPP2) 로 명명된 협회로부터의 문헌들에서 설명된다.

비디오 코딩 시스템 (10) 의 비디오 코딩 디바이스들 (12, 14) 은 또한, IEEE 802.11 표준과 같고, 예컨대 이들의 개정들 : 802.11a-1999 (일반적으로 "802.11a" 로 불림), 802.11b-1999 (일반적으로 "802.11b" 로 불림), 802.11g-2003 (일반적으로 "802.11g" 로 불림) 을 포함하는 하나 이상의 표준들에 따라 WLAN 기지국을 통해 서로 통신할 수도 있다.

목적지 디바이스 (14) 는 디코딩될 인코딩된 비디오 데이터를 링크 (16) 를 통해 수신할 수도 있다. 링크 (16) 는 인코딩된 비디오 데이터를 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로 이동 가능한 임의의 타입의 매체 또는 디바이스를 포함할 수도 있다. 도 1a 의 예에 있어서, 링크 (16) 는, 소스 디바이스 (12) 로 하여금 인코딩된 비디오 데이터를 목적지 디바이스 (14) 로 실시간으로 송신할 수 있게 하는 통신 매체를 포함할 수도 있다. 인코딩된 비디오 데이터는 무선 통신 프로토콜과 같은 통신 표준에 따라 변조되고, 목적지 디바이스 (14) 로 송신될 수도 있다. 통신 매체는 무선 주파수 (RF) 스펙트럼 또는 하나 이상의 물리적인 송신 라인들과 같은 임의의 무선 또는 유선 통신 매체를 포함할 수도 있다. 통신 매체는 로컬 영역 네트워크, 광역 네트워크, 또는 인터넷과 같은 글로벌 네트워크와 같은 패킷 기반 네트워크의 부분을 형성할 수도 있다. 통신 매체는 라우터들, 스위치들, 기지국들, 또는 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로의 통신을 용이하게 하는데 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다.

도 1a 의 예에 있어서, 소스 디바이스 (12) 는 비디오 소스 (18), 비디오 인코더 (20), 및 출력 인터페이스 (22) 를 포함한다. 일부 경우들에 있어서, 출력 인터페이스 (22) 는 변조기/복조기 (모뎀) 및/또는 송신기를 포함할 수도 있다. 소스 디바이스 (12) 에 있어서, 비디오 소스 (18) 는 비디오 캡처 디바이스, 예를 들어, 비디오 카메라, 이전에 캡처된 비디오를 포함하는 비디오 아카이브, 비디오 콘텐츠 제공자로부터 비디오를 수신하기 위한 비디오 피드 인터페이스, 및/또는 컴퓨터 그래픽스 데이터를 소스 비디오로서 생성하기 위한 컴퓨터 그래픽스 시스템과 같은 소스, 또는 그러한 소스들의 조합을 포함할 수도 있다. 일 예로서, 도 1b 의 예에 도시된 바와 같이, 비디오 소스 (18) 가 비디오 카메라이면, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 소위 "카메라 폰들" 또는 "비디오 폰들"을 형성할 수도 있다. 하지만, 본 개시물에서 설명된 기술들은 일반적으로 비디오 코딩에 적용가능할 수도 있으며, 무선 및/또는 유선 어플리케이션들에 적용될 수도 있다.

캡처되거나 사전-캡처되거나 또는 컴퓨터 생성된 비디오는 비디오 인코더 (20) 에 의해 인코딩될 수도 있다. 인코딩된 비디오 데이터는 소스 디바이스 (12) 의 출력 인터페이스 (22) 를 통해 목적지 디바이스 (14) 에 송신될 수도 있다. 인코딩된 비디오 데이터는 또한 (또는 대안적으로), 디코딩 및/또는 플레이백을 위해 목적지 디바이스 (14) 또는 다른 디바이스들에 의한 더 나중의 액세스를 위해 (도시되지 않은) 저장 디바이스 상으로 저장될 수도 있다. 도 1a 및 도 1b 에 예시된 비디오 인코더 (20) 는 도 2 에 예시된 비디오 인코더 (20), 또는 본원에서 설명되는 임의의 다른 비디오 인코더를 포함할 수도 있다.

도 1a 의 예에 있어서, 목적지 디바이스 (14) 는 입력 인터페이스 (28), 비디오 디코더 (30), 및 디스플레이 디바이스 (32) 를 포함한다. 일부 경우들에 있어서, 입력 인터페이스 (28) 는 수신기 및/또는 모뎀을 포함할 수도 있다. 목적지 디바이스 (14) 의 입력 인터페이스 (28) 는 링크 (16) 를 통해서 및/또는 저장 디바이스로부터, 인코딩된 비디오 데이터를 수신할 수도 있다. 링크 (16) 상으로 통신되는 또는 저장 디바이스 상에 제공되는 인코딩된 비디오 데이터는, 비디오 데이터를 디코딩함에 있어서 비디오 디코더 (30) 와 같은 비디오 디코더에 의한 사용을 위해 비디오 인코더 (20) 에 의해 생성된 다양한 신택스 엘리먼트들을 포함할 수도 있다. 그러한 신택스 엘리먼트들에는, 통신 매체 상으로 송신되거나 저장 매체 상에 저장되거나 또는 파일 서버에 저장되는 인코딩된 비디오 데이터가 포함될 수도 있다. 도 1a 및 도 1b 에 예시된 비디오 디코더 (30) 는 도 2b 에 예시된 비디오 디코더 (30), 또는 본원에서 설명되는 임의의 다른 비디오 디코더를 포함할 수도 있다.

디스플레이 디바이스 (32) 는 목적지 디바이스 (14) 와 통합될 수도 있거나 또는 목적지 디바이스 (14) 외부에 있을 수도 있다. 일부 예들에 있어서, 목적지 디바이스 (14) 는 통합된 디스플레이 디바이스를 포함할 수도 있고, 또한 외부 디스플레이 디바이스와 인터페이싱하도록 구성될 수도 있다. 다른 예들에 있어서, 목적지 디바이스 (14) 는 디스플레이 디바이스일 수도 있다. 일반적으로, 디스플레이 디바이스 (32) 는 디코딩된 비디오 데이터를 사용자에게 디스플레이하며, 액정 디스플레이 (LCD), 플라즈마 디스플레이, 유기 발광 다이오드 (OLED) 디스플레이, 또는 다른 타입의 디스플레이 디바이스와 같은 다양한 디스플레이 디바이스들 중 임의의 디바이스를 포함할 수도 있다.

관련된 양태들에서, 도 1b 는 예시적인 비디오 코딩 시스템 (10') 을 나타내며, 여기서 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 디바이스 (11) 상에 또는 부분에 있다. 디바이스 (11) 는 "스마트" 폰 등과 같은 전화기 핸드셋일 수도 있다. 디바이스 (11) 는 소스 디바이스 (12) 및 목적지 디바이스 (14) 와 통신가능하게 동작하는 프로세서/제어기 디바이스 (13) (옵션적으로 존재함) 을 포함할 수도 있다. 도 1b 의 비디오 코딩 시스템 (10'), 및 그의 컴포넌트들은, 그 밖의 점에서는, 도 1a 의 비디오 코딩 시스템 (10), 및 그의 컴포넌트들과 유사하다.

도 1a 및 도 1b 의 각각은 소스 디바이스 (12) 가 비디오 소스/카메라 (18), 비디오 인코더 (20), 및 출력 인터페이스 (22) 를 포함하고, 목적지 디바이스 (14) 가 입력 인터페이스 (28), 비디오 디코더 (30), 및 디스플레이 디바이스 (32) 를 포함하는 것을 도시하지만, 소스 디바이스 (12) 와 목적지 디바이스 (14) 의 각각은 추가의 엘리먼트들을 포함할 수도 있다. 예를 들어, 소스 디바이스 (12) 와 목적지 디바이스 (14) 의 각각은 비디오 소스/카메라 (18), 비디오 인코더 (20), 출력 인터페이스 (22), 입력 인터페이스 (28), 비디오 디코더 (30), 및 디스플레이 디바이스 (32) 를 포함하는 유사한 구조를 가질 수도 있다. 이와 같이, 특정 구현들에서 소스 디바이스 (12) 와 목적지 디바이스 (14) 는 상호교환가능할 수도 있다.

비디오 인코더 (20) 및 비디오 디코더 (30) 는 DSC 와 같은 비디오 압축 표준에 따라 동작할 수도 있다. 대안적으로, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 MPEG-4, 파트 10, AVC, HEVC 와 같은 다른 전매특허 또는 산업 표준들, 또는 그러한 표준들의 확장들에 따라 동작할 수도 있다. 하지만, 본 개시의 기술들은 임의의 특정 코딩 표준으로 한정되지 않는다. 비디오 압축 표준들의 다른 실시예들은 MPEG-2 및 ITU-T H.263 을 포함한다.

도 1a 및 도 1b 의 예들에서 도시되지는 않았지만, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 오디오 인코더 및 디코더와 각각 통합될 수도 있으며, 오디오 및 비디오 양자의 인코딩을 공통 데이터 스트림 또는 별개의 데이터 스트림들로 처리하기 위해 적절한 MUX-DEMUX 유닛들 또는 다른 하드웨어 및 소프트웨어를 포함할 수도 있다. 적용가능하다면, 일부 예들에 있어서, MUX-DEMUX 유닛들은 ITU H.223 멀티플렉서 프로토콜, 또는 사용자 데이터그램 프로토콜 (UDP) 과 같은 다른 프로토콜들에 부합할 수도 있다.

비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSP들), 주문형 집적회로들 (ASIC들), 필드 프로그래밍가능 게이트 어레이들 (FPGA들), 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합들과 같은 다양한 적합한 인코더 회로 중 임의의 회로로서 구현될 수도 있다. 기술들이 부분적으로 소프트웨어로 구현될 경우, 디바이스는 적합한 비-일시적인 컴퓨터 판독가능 매체에 소프트웨어에 대한 명령들을 저장하고, 본 개시의 기술들을 수행하기 위해 하나 이상의 프로세서들을 사용하는 하드웨어로 명령들을 실행할 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 하나 이상의 인코더들 또는 디코더들에 포함될 수도 있으며, 이들 중 어느 하나는 개별 디바이스에 있어서 결합된 인코더/디코더의 부분으로서 통합될 수도 있다.

비디오 코딩 프로세스

상기에 간략히 언급된 바와 같이, 비디오 인코더 (20) 는 비디오 데이터를 인코딩한다. 비디오 데이터는 하나 이상의 픽처들을 포함할 수도 있다. 픽처들 각각은 비디오의 부분을 형성하는 스틸 이미지이다. 일부의 경우, 픽처는 비디오 "프레임" 으로서 지칭될 수도 있다. 비디오 인코더 (20) 가 비디오 데이터 (예를 들면, 비디오 코딩 계층 (VCL) 데이터 및/또는 비-VCL 데이터) 를 인코딩할 때, 비디오 인코더 (20) 는 비트스트림을 생성할 수도 있다. 비트스트림은, 비디오 데이터의 코딩된 표현을 형성하는 비트들의 시퀀스를 포함할 수도 있다. 비트스트림은 코딩된 픽처들 및 관련 데이터를 포함할 수도 있다. 코딩된 픽처는 픽처의 코딩된 표현이다. VCL 데이터는 코딩된 픽처 데이터 (즉, 코딩된 픽처(들)의 샘플들과 연관된 정보) 를 포함할 수도 있고, 비-VCL 데이터는 하나 이상의 코딩된 픽처들과 연관된 제어 정보 (예컨대, 파라미터 세트들 및/도는 보충 향상 정보) 를 포함할 수도 있다.

비트스트림을 생성하기 위해, 비디오 인코더 (20) 는 비디오 데이터에서 각각의 픽처에 인코딩 동작들을 수행할 수도 있다. 비디오 인코더 (20) 가 픽처들에 인코딩 동작들을 수행할 경우, 비디오 인코더 (20) 는 코딩된 픽처들 및 연관된 데이터의 시리즈를 생성할 수도 있다. 연관되는 데이터는 양자화 파라미터 (QP) 와 같은 코딩 파라미터들의 세트를 포함할 수도 있다. 코딩된 픽처를 생성하기 위해, 비디오 인코더 (20) 는 픽처를 동일한-사이즈의 비디오 블록들로 분할할 수도 있다. 비디오 블록은 샘플들의 2 차원 어레이일 수도 있다. 코딩 파라미터들은 모든 비디오 데이터의 블록에 대한 코딩 옵션 (예컨대, 코딩 모드) 을 정의할 수도 있다. 코딩 옵션은 원하는 레이트-왜곡 성능을 달성하기 위해 선택될 수도 있다.

일부 예들에서, 비디오 인코더 (20) 는 픽처를 복수의 슬라이스들로 파티셔닝할 수도 있다. 슬라이스들의 각각은 이미지 또는 프레임에서의 영역들의 나머지로부터의 정보 없이 독립적으로 디코딩될 수 있는 이미지 (예컨대, 프레임) 에서의 공간적으로 별개의 영역을 포함할 수도 있다. 각각의 이미지 또는 비디오 프레임은 단일 슬라이스로 인코딩될 수도 있거나 또는 각각의 이미지 또는 비디오 프레임은 여러 슬라이스들로 인코딩될 수도 있다. DSC 에서, 각각의 슬라이스를 인코딩하기 위해 할당된 비트들의 수는 실질적으로 일정할 수도 있다. 픽처에 인코딩 동작을 수행하는 것의 일부로서, 비디오 인코더 (20) 는 픽처의 각 슬라이스에 인코딩 동작들을 수행할 수도 있다. 비디오 인코더 (20) 가 슬라이스에 대해 인코딩 동작을 수행할 때, 비디오 인코더 (20) 는 그 슬라이스와 연관되는 인코딩된 데이터를 발생할 수도 있다. 슬라이스와 연관된 인코딩된 데이터는 "코딩된 슬라이스" 로서 지칭될 수도 있다.

DSC 비디오 인코더

도 2a 는 본 개시물에서 설명하는 양태들에 따른 기법들을 구현할 수도 있는 예시적인 비디오 인코더 (20) 의 예를 예시하는 블록도이다. 비디오 인코더 (20) 는 본 개시물의 기법들 중 일부 또는 모두를 수행하도록 구성될 수도 있다. 일부 예들에 있어서, 본 개시에서 설명된 기술들은 비디오 인코더 (20) 의 다양한 컴포넌트들 중에서 공유될 수도 있다. 일부 예들에 있어서, 추가적으로 또는 대안적으로, 프로세서 (도시 안됨) 가 본 개시물에서 설명된 기술들의 일부 또는 전부를 수행하도록 구성될 수도 있다.

설명의 목적을 위해, 본 개시물은 DSC 코딩의 상황에서 비디오 인코더 (20) 를 기술한다. 그러나, 본 개시물의 기법들은 다른 코딩 표준들 또는 방법들에 적용가능할 수도 있다.

도 2a 의 예에서, 비디오 인코더 (20) 는 복수의 기능적 컴포넌트들을 포함한다. 비디오 인코더 (20) 의 기능적 컴포넌트들은 컬러-공간 컨버터 (105), 버퍼 (110), 편평도 검출기 (115), 레이트 제어기 (120), 예측기, 양자화기, 및 복원기 컴포넌트 (125), 라인 버퍼 (130), 인덱싱된 컬러 이력 (135), 엔트로피 인코더 (140), 서브스트림 멀티플렉서 (145), 및 레이트 버퍼 (150) 를 포함한다. 다른 예들에 있어서, 비디오 인코더 (20) 는 더 많거나, 더 적거나, 또는 상이한 기능 컴포넌트들을 포함할 수도 있다.

컬러-공간 (105) 컨버터는 입력 컬러-공간을 코딩 구현에서 사용되는 컬러-공간으로 컨버팅할 수도 있다. 예를 들어, 예시적인 일 실시형태에서, 입력 비디오 데이터의 컬러-공간은 적색, 녹색, 및 청색 (RGB) 컬러-공간에 있으며 코딩은 휘도 Y, 색차 녹색 Cg, 및 색차 주황색 Co (YCgCo) 컬러-공간에서 구현된다. 컬러-공간 컨버전은 비디오 데이터에의 시프트들 및 추가들을 포함한 방법(들) 에 의해 수행될 수도 있다. 다른 컬러-공간들에서의 입력 비디오 데이터가 프로세싱될 수도 있으며 다른 컬러-공간들로의 컨버전들이 또한 수행될 수도 있다는 점에 유의한다.

관련된 양태들에서, 비디오 인코더 (20) 는 버퍼 (110), 라인 버퍼 (130), 및/또는 레이트 버퍼 (150) 를 포함할 수도 있다. 예를 들어, 버퍼 (110) 는 비디오 인코더 (20) 의 다른 부분들에 의한 그의 사용 전에 컬러-공간 컨버팅된 비디오 데이터를 보유할 수도 있다. 다른 예에서, 비디오 데이터는 RGB 컬러-공간에서 저장될 수도 있으며, 컬러-공간 컨버팅된 데이터가 더 많은 비트들을 필요로 할 수도 있기 때문에 필요에 따라서 컬러-공간 컨버전이 수행될 수도 있다.

레이트 버퍼 (150) 는 비디오 인코더 (20) 에서 레이트 제어 메커니즘의 부분으로서 기능할 수도 있으며, 레이트 제어기 (120) 와 관련하여 아래에서 더욱더 자세히 설명된다. 비디오 데이터의 각각의 블록을 인코딩하는데 소비된 비트들 (즉, 인코딩하기 위해 활용된 비트들) 은 블록의 특성들 (예컨대, 사이즈, 비트들의 수, 등등) 에 기초하여 실질적으로 크게 변할 수 있다. 레이트 버퍼 (150) 는 압축된 비디오 (즉, 출력 비디오 스트림) 에서의 레이트 변경들을 평활화할 수 있다. 일부 실시형태들에서, 비트들이 유선의 물리 링크를 통한 데이터의 송신 동안 고정 비트 레이트로 버퍼로부터 제거되는 고정 비트 레이트 (CBR) 버퍼 모델이 채용된다. CBR 버퍼 모델에서, 비디오 인코더 (20) 가 너무 많은 비트들을 비트스트림에 추가하면, 레이트 버퍼 (150) 에서 비트들의 수는 레이트 버퍼 (150) 의 능력을 초과할 수도 있고, 이는 오버플로우를 야기할 수도 있다. 다른 한편으로, 비디오 인코더 (20) 는 레이트 버퍼 (150) 의 언더플로우를 방지하기 위해 충분한 레이트로 비트들을 추가해야 한다.

비디오 디코더 측에서, 비트들이 비디오 디코더 (30) 의 레이트 버퍼 (155) (아래에서 좀 더 상세히 설명되는 도 2b 참조) 에 고정 비트 레이트로 추가될 수도 있으며, 비디오 디코더 (30) 가 각각의 블록에 대하여 가변 수의 비트들을 제거할 수도 있다. 적합한 디코딩을 보장하기 위해, 비디오 디코더 (30) 의 레이트 버퍼 (155) 는 압축된 비트 스트림의 디코딩 동안 언더플로우 또는 오버플로우하지 않아야 한다.

일부 실시형태들에서, 버퍼 충만도 (BF) 는 버퍼에 현재 저장된 비트들의 수를 나타내는 변수 BufferCurrentSize 및 레이트 버퍼 (150) 의 사이즈 (즉, 용량), 즉 레이트 버퍼 (150) 에 저장될 수 있는 비트들의 전체 최대 개수를 나타내는 변수 BufferMaxSize 에 기초하여 정의될 수 있다. 버퍼의 "충만도" (또한 버퍼 충만도 (BF) 로 지칭됨) 는 이하 식 1 에 도시된 것과 같이 계산될 수도 있다. BF 는 특정 시점에 비트들의 저장을 위해 사용되고 있는 버퍼의 용량의 퍼센티지를 나타낸다.

BF = ((BufferCurrentSize * 100) / BufferMaxSize) (식 1)

편평도 검출기 (115) 는 비디오 데이터에서의 복잡한 (즉, 편평하지 않은) 영역들로부터 비디오 데이터에서의 편평한 (즉, 간단한 또는 균일한) 영역들으로의 변화들을 검출할 수 있다. 용어들 "복잡한" 및 "편평한" 은 본원에서 일반적으로 비디오 인코더 (20) 가 비디오 데이터의 개개의 영역들을 인코딩하는데 있어서의 어려움을 지칭하기 위해 사용될 것이다. 따라서, 본원에서 사용되는 것과 같은 용어 "복잡한" 은, 일반적으로 비디오 인코더 (20) 가 인코딩하기에 복잡한 것과 같은 비디오 데이터의 영역을 기술하며, 예를 들어, 텍스쳐된 비디오 데이터, 높은 공간 주파수, 및/또는 인코딩하기에 복잡한 다른 피처들을 포함할 수도 있다. 본원에서 사용되는 것과 같은 용어 "편평한" 은, 일반적으로 비디오 인코더 (20) 가 인코딩하기에 간단한 것과 같은 비디오 데이터의 영역을 기술하며, 예를 들어, 비디오 데이터에서의 평활한 입도 (smooth gradient), 낮은 공간 주파수, 및/또는 인코딩하기에 간단한 다른 피처들을 포함할 수도 있다. 인코딩된 비디오 데이터에서의 양자화 아티팩트들을 감소시키기 위해 복잡한 영역과 편평한 영역 사이의 천이들이 비디오 인코더 (20) 에 의해 사용될 수도 있다. 구체적으로, 레이트 제어기 (120) 및 예측기, 양자화기, 및 복원기 컴포넌트 (125) 는 복잡한 영역으로부터 편평한 영역으로의 천이들이 식별될 때 이러한 양자화 아티팩트들을 감소시킬 수 있다.

레이트 제어기 (120) 는 코딩 파라미터들의 세트, 예컨대, QP 를 결정한다. QP 는 레이트 버퍼 (150) 가 오버플로우 또는 언더플로우하지 않도록 보장하는 목표 비트레이트에 대한 픽처 품질을 최대화하기 위해 레이트 버퍼 (150) 의 버퍼 충만도 및 비디오 데이터의 이미지 활동도 (image activity) 에 기초하여 레이트 제어기 (120) 에 의해 조정될 수도 있다. 레이트 제어기 (120) 는 또한 최적의 레이트-왜곡 성능을 달성하기 위해 비디오 데이터의 각각의 블록에 대한 특정의 코딩 옵션 (예컨대, 특정의 모드) 을 선택한다. 레이트 제어기 (120) 는 레이트 제어기 (120) 가 비트-레이트 제약을 만족하도록, 즉, 전체 실제 코딩 레이트가 목표 비트 레이트 내에 있도록, 복원된 이미지들의 왜곡을 최소화한다.

예측기, 양자화기, 및 복원기 컴포넌트 (125) 는 비디오 인코더 (20) 의 적어도 3개의 인코딩 동작들을 수행할 수도 있다. 예측기, 양자화기, 및 복원기 컴포넌트 (125) 는 다수의 상이한 모드들에서 예측을 수행할 수도 있다. 하나의 예시적인 예측 모드는 중간값-적응 예측의 수정된 버전이다. 중간값-적응 예측은 무손실 JPEG 표준 (JPEG-LS) 에 의해 구현될 수도 있다. 예측기, 양자화기, 및 복원기 컴포넌트 (125) 에 의해 수행될 수도 있는 중간값-적응 예측의 수정 버전은 3개의 연속된 샘플 값들의 병렬 예측을 가능하게 할 수도 있다. 다른 예시적인 예측 모드는 블록 예측이다. 블록 예측에서, 샘플들은 라인 상부에 있거나 또는 동일한 라인에서 좌측에 있는 이전에 복원된 픽셀들로부터 예측된다. 일부 실시형태들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 가 양쪽 다 복원된 픽셀들에 대해 동일한 탐색을 수행하여 블록 예측 사용량들을 결정할 수도 있으며, 따라서, 블록 예측 모드에서 어떤 비트들도 송신될 필요가 없다. 다른 실시형태들에서, 비디오 인코더 (20) 는 비디오 디코더 (30) 가 별개의 탐색을 수행할 필요가 없도록, 탐색을 수행하여 블록 예측 벡터들을 비트스트림으로 시그널링할 수도 있다. 컴포넌트 범위의 중간점을 이용하여 샘플들이 예측되는 중간점 예측 모드가 또한 구현될 수도 있다. 중간점 예측 모드는 심지어 최악의 경우 샘플 (worst-case sample) 에서 압축된 비디오에 대해 요구되는 비트들의 수의 바운딩 (bounding) 을 가능하게 할 수도 있다.

예측기, 양자화기, 및 복원기 컴포넌트 (125) 는 또한 양자화를 수행한다. 예를 들어, 양자화는 시프터를 이용하여 구현될 수도 있는 2 제곱 (power-of-2) 양자화기를 통해서 수행될 수도 있다. 2 제곱 양자화기 대신 다른 양자화 기법들이 구현될 수도 있다는 점에 유의한다. 예측기, 양자화기, 및 복원기 컴포넌트 (125) 에 의해 수행되는 양자화는 레이트 제어기 (120) 에 의해 결정된 QP 에 기초할 수도 있다. 마지막으로, 예측기, 양자화기, 및 복원기 컴포넌트 (125) 는 또한 역 양자화된 잔차를 예측된 값에 가산하고 그 결과가 샘플 값들의 유효한 범위로부터 벗어나지 않도록 보장하는 것을 포함하는 복원을 수행한다.

예측기, 양자화기, 및 복원기 컴포넌트 (125) 에 의해 수행되는 예측, 양자화, 및 복원에 대한 위에서 설명한 예시적인 접근법들은 단지 예시적이며 다른 접근법들이 구현될 수도 있다는 점에 유의한다. 또한, 예측기, 양자화기, 및 복원기 컴포넌트 (125) 가 예측, 양자화, 및/또는 복원을 수행하는 하위 컴포넌트(들) 을 포함할 수도 있다는 점에 유의한다. 또한, 예측, 양자화, 및/또는 복원이 예측기, 양자화기, 및 복원기 컴포넌트 (125) 대신, 여러 별개의 인코더 컴포넌트들에 의해 수행될 수도 있다는 점에 유의한다.

라인 버퍼 (130) 는 예측기, 양자화기, 및 복원기 컴포넌트 (125) 및 인덱싱된 컬러 이력 (135) 이 버퍼된 비디오 데이터를 이용할 수 있도록 예측기, 양자화기, 및 복원기 컴포넌트 (125) 로부터의 출력을 유지한다. 인덱싱된 컬러 이력 (135) 은 최근에 사용된 픽셀 값들을 저장한다. 최근에 사용된 이들 픽셀 값들은 전용 신택스를 통해서 비디오 인코더 (20) 에 의해 직접 참조될 수 있다.

엔트로피 인코더 (140) 는 인덱싱된 컬러 이력 (135) 및 편평도 검출기 (115) 에 의해 식별된 편평도 천이들에 기초하여, 예측기, 양자화기, 및 복원기 컴포넌트 (125) 로부터 수신된 예측 잔차들 및 임의의 다른 데이터 (예컨대, 예측기, 양자화기, 및 복원기 컴포넌트 (125) 에 의해 식별된 인덱스들) 를 인코딩한다. 일부 예들에서, 엔트로피 인코더 (140) 는 서브스트림 인코더에 대한 클록 당 3개의 샘플들을 인코딩할 수도 있다. 서브스트림 멀티플렉서 (145) 는 무헤더 (headerless) 패킷 멀티플렉싱 방식에 기초하여 비트스트림을 멀티플렉싱할 수도 있다. 이것은 비디오 디코더 (30) 로 하여금 3개의 엔트로피 디코더들을 병렬로 실행가능하게 하여, 클록 당 3개의 픽셀들의 디코딩을 용이하게 한다. 서브스트림 멀티플렉서 (145) 는 패킷들이 비디오 디코더 (30) 에 의해 효율적으로 디코딩될 수 있도록 패킷 순서를 최적화할 수도 있다. 클록 당 2 제곱 픽셀들 (예컨대, 2 픽셀들/클록 또는 4 픽셀들/클록) 의 디코딩을 용이하게 하는, 엔트로피 코딩에 대한 상이한 접근법들이 구현될 수도 있다는 점에 유의한다.

DSC 비디오 디코더

도 2b 는 본 개시물에서 설명하는 양태들에 따른 기법들을 구현할 수도 있는 예시적인 비디오 디코더 (30) 의 예를 예시하는 블록도이다. 비디오 디코더 (30) 는 본 개시물의 기법들 중 일부 또는 모두를 수행하도록 구성될 수도 있다. 일부 예들에서, 본 개시물에서 설명하는 기법들은 비디오 디코더 (30) 의 여러 컴포넌트들 사이에 공유될 수도 있다. 일부 예들에서, 추가적으로 또는 대안적으로, 프로세서 (미도시) 는 본 개시물에서 설명되는 기법들 중 일부 또는 모두를 수행하도록 구성될 수도 있다.

설명의 목적을 위해, 본 개시물은 DSC 코딩의 상황에서 비디오 디코더 (30) 를 기술한다. 그러나, 본 개시물의 기법들은 다른 코딩 표준들 또는 방법들에도 적용가능할 수도 있다.

도 2b 의 예에서, 비디오 디코더 (30) 는 복수의 기능적 컴포넌트들을 포함한다. 비디오 디코더 (30) 의 기능적 컴포넌트들은 레이트 버퍼 (155), 서브스트림 디멀티플렉서 (160), 엔트로피 디코더 (165), 레이트 제어기 (170), 예측기, 양자화기, 및 복원기 컴포넌트 (175), 인덱싱된 컬러 이력 (180), 라인 버퍼 (185), 및 컬러-공간 컨버터 (190) 를 포함한다. 비디오 디코더 (30) 의 예시된 컴포넌트들은 도 2a 에서의 비디오 인코더 (20) 와 관련하여 위에서 설명된 대응하는 컴포넌트들과 유사하다. 이와 같이, 비디오 디코더 (30) 의 컴포넌트들의 각각은 위에서 설명한 바와 같은 비디오 인코더 (20) 의 대응하는 컴포넌트들과 유사한 방식으로 동작할 수도 있다.

DSC 에서의 슬라이스들

위에서 언급한 바와 같이, 슬라이스는 일반적으로 이미지 또는 프레임에서의 영역들의 나머지로부터의 정보를 이용함이 없이 독립적으로 디코딩될 수 있는 이미지 또는 프레임에서의 공간적으로 별개의 영역을 지칭한다. 각각의 이미지 또는 비디오 프레임은 단일 슬라이스로 인코딩될 수도 있거나 또는 각각의 이미지 또는 비디오 프레임은 여러 슬라이스들로 인코딩될 수도 있다. DSC 에서, 각각의 슬라이스를 인코딩하기 위해 할당된 비트들의 수는 실질적으로 일정할 수도 있다.

본 개시물의 양태들에 따르면, 이미지들의 코딩은 블록-기반일 수도 있고 다수의 코딩 모드들을 포함할 수도 있으며, 코딩 모드들 각각은 상이한 타입의 컨텐츠를 압축하는 것을 목표로 한다. 모드 선택은 모드들의 왜곡과 레이트 양자를 고려함으로써 각각의 블록에 대하여 적절한 모드를 선택하는 것을 목표로 하는 레이트-제어 피처 (즉, 레이트 제어기 (120) 또는 레이트 제어기 (170)) 에 의해 핸들링될 수도 있다. 레이트-제어 피처는 가설 참조 디코더 (HRD) 버퍼 모델 (즉, 레이트 버퍼 (150) 또는 레이트 버퍼 (155)) 에 의해 지원될 수도 있다. 일 예에서, HRD 버퍼는 결코, (예컨대, 버퍼에서 제로 비트들보다 적은) 언더플로우 상태 또는 오버플로우 상태에 있지 않다 (예컨대, 버퍼 사이즈는 설정된 최대 사이즈를 지나서 증가했다).

슬라이스-기반의 비디오 코덱에 대하여 슬라이스의 비-제 1 라인 (즉, 제 1 라인 이외의 라인들) 에 대하여, 슬라이스의 제 1 라인에서의 컨텐츠를 압축하는 것은 도전과제들이다. 이는 비-제 1 라인들이 슬라이스의 비-제 1 라인들 위에 복원된 라인들에서 고도하게 상관된 예측자들을 이용할 수 있지만, 제 1 라인들은 소정의 슬라이스의 제 1 라인 위의 슬라이스의 복원된 라인들이 사용 불가능하다는 사실로 인한 것이 아닐 수도 있기 때문이다. 따라서, 수평 예측자들을 이용하는 코딩 모드는 슬라이스의 제 1 라인에서의 블록들에 대하여 바람직할 수도 있다. 이러한 모드는 델타 펄스 코드 변조 (DPCM) 모드들의 더 큰 세트의 변형일 수도 있고, 하드웨어에서 효율적으로 구현될 수 있도록 튜닝될 수도 있다. 추가로, 소정의 슬라이스의 제 1 라인의 블록에서 픽셀들의 제 1 세트에 대하여 어떤 예측자들도 사용하지 않는 변형이 설명될 수도 있다. 2 개의 기술들 간의 트레이드오프는 하드웨어 복잡도/스루풋 대 압축 레이트/성능이다.

공간 예측

DSC 와 같은 코딩 기술들에 대한 기존의 접근방식들로 전술된 도전과제들을 극복하기 위해, 본 개시물은 이하의 개선들을 설명한다. 본 개시물에서, 이하 설명되는 기술들 및 접근방식들은 단독으로 또는 어떤 조합으로 사용될 수도 있다.

본 개시물의 하나 이상의 양태들에 따르면, 예컨대 그래픽스 컨텐츠일 수도 있는 비디오 데이터의 코딩을 위해 공간 예측 모드/기술이 제공된다. 관련된 양태들에서, 높은 레벨의 성능을 유지하면서 하드웨어 복잡도가 최소화될 수도 있다.

도 3 은 본 개시물에서 설명된 양태들에 따라 슬라이스의 제 1 라인을 코딩하는 방법을 도시한 블록 다이어그램이다. 도 4 는 본 개시물에서 설명된 양태들에 따라 슬라이스의 제 1 라인을 코딩하는 다른 방법을 도시한 블록 다이어그램이다. 도 3 은 이전 블록 (205) 과 현재 블록 (207) 을 포함하는 제 1 라인 (203) 을 포함하는 슬라이스의 일부를 도시한다. 이전 블록 (205) 은 픽셀들 X_-2 및 X_-1 을 포함하는 복수의 픽셀들을 포함한다. 현재 블록 (207) 은 복수의 픽셀들 X₀ 내지 X_N _-1 을 포함하고, 그 블록들의 각각은 N 개의 픽셀들을 포함한다. 도 4 는 이전 블록 (215) 과 현재 블록 (217) 을 포함하는 제 1 라인 (213) 을 포함하는 슬라이스의 일부를 도시한다. 도 4 의 구현에서, 블록들 (215 및 217) 은 2-차원 (2D) 블록들이다.

현재 블록 (207) 의 현재 픽셀 X₀ 은 제 2 의 좌측 이웃 픽셀, 즉 이전 블록 (205) 의 픽셀 X_-2 에 기초하여 예측될 수도 있다. 이는 제 1 라인 (203) 의 임의의 픽셀로 일반화될 수도 있고, 예를 들면, 현재 픽셀 X_i 은 현재 픽셀 X_i 의 제 2 좌측 이웃인 이전 픽셀 X_i _- ₂ 로부터 예측될 수도 있다. 제 2 좌측 이웃으로부터의 현재 픽셀 X_i 의 예측은 2 개의 코딩 경로들이 병렬로 (짝수 픽셀들 상의 일 경로 및 홀수 픽셀들 상의 다른 경로) 실행되게 하는 것을 유의한다. 이는 하드웨어 구현에서 주요 경로 (critical path) 를 급격히 감소시킨다. 이러한 예측 방법은 본원에서 "인터리빙된 예측" 으로 표시된다.

이전의 복원된 블록들에 대한 의존도를 감소시키기 위해, 블록의 시작부에서 하나 이상의 픽셀들은 (예측 없이) 펄스 코드 변조 (PCM) 를 사용하여 인코딩될 수도 있음을 추가로 유의한다.

본원에 개시된 기술들은 블록 사이즈가 1 차원 (1D) 인지 2D 인지 여부에 관계없이 임의의 블록-기반 코덱을 위해 사용될 수도 있고, 고차원 블록들 (예컨대, 3D 블록들) 에 추가로 적용가능할 수도 있다. 본원에 개시된 기술들은 또한 임의의 타입의 DPCM 방법과 함께 사용될 수도 있다. 예를 들어, 개시된 기술들은 표준 DPCM 방식 또는 MAP (Median Adaptive Predictor) 방식과 함께 사용될 수도 있다.

1D 공간 예측

공간 예측 모드에 대한 예시적인 예측 경로들이 도 3 및 도 4 에 도시된다. 이전에 설명된 것과 같이, 현재 블록 (207 또는 217) 에서의 각각의 픽셀은 그 제 2 좌측 이웃 픽셀로부터 예측될 수도 있다. 일부 구현들에서, 이전 이웃이 현재 슬라이스의 외부에 있을 경우, 예컨대, 현재 픽셀 (즉, 현재 코딩되고 있는 픽셀) 의 동적 범위의 절반과 동일할 수도 있는 디폴트 예측자가 사용될 수도 있다. 소정의 비디오 프레임에서의 픽셀들의 각각의 동적 범위는 전체 비디오 프레임에 대하여 공통일 수도 있다. 이러한 예에서, 8 개 비트들/컴포넌트를 갖는 RGB 컨텐츠 (RGB888 컨텐츠) 에 대하여, 디폴트 값은 R, G 및 B 에 대하여 128 일 것이다. Y 에 대하여 8 개 비트들, Co/Cg 에 대하여 9 개 비트들을 갖는 YCoCg 에 대하여, 예측자들은 Y 에 대하여 128 의 디폴트 값 및 Co 및 Cg 에 대하여 0 의 디폴트 값을 가질 것이다. 이들 값들은 더 높은 비트-심도 소스 컨텐츠에 대하여 상응하여 스케일링될 수도 있다. 예를 들어, 소스가 RGB10/10/10 이면, 512 의 디폴트 값은 R/G/B 에 대하여 사용될 수도 있다. 예측 루프는 다음과 같이 계산될 수도 있다:

여기서, 양자화된 공간 잔차 계수들은 α_i 로 제공되고; 양자화 및 탈-양자화는 각각

및

로 제공되고; x_i 에 대한 복원된 픽셀은

로 표시되고; 그리고 예측은 로 제공된다. 도 3 및 도 4 에 도시된 것과 같이, 픽셀들 x_-2 및 x_-1 은 이전의 복원된 블록 (205 또는 215) 로부터 온다. 예측은 하기와 같은 이하 2 개의 픽셀들에 대하여 진행한다:

유사한 접근 방식은 현재 블록에서 나머지 픽셀들을 위해 사용될 수도 있다.

현재 블록이 도 4 의 구현에서와 같이 다수의 라인들 (예컨대, 2x8 블록 사이즈가 채용됨) 을 포함한다면, 병렬성이 추가로 증가될 수 있다. 인터리빙된 예측은 각각의 블록 (215 및 217) 의 라인 또는 로우마다 2 개의 평행한 코딩 경로들을 허용하고, 블록들 (215 및 217) 의 다수의 라인들이 또한 독립적으로 프로세싱될 수도 있다. 그러므로, 2x8 블록 사이즈에 대하여, 총 4 개의 코딩 평행 경로들이 이용될 수도 있다. 상기 내용은 2x8 블록들 (215 및 217) 의 각각을 2 개의 라인들을 포함하는 것으로 설명하지만, 본원에서 사용되는 것과 같은 용어 "제 1 라인" 은 일반적으로 슬라이스에서 블록들의 제 1 의 독립적으로 코딩된 라인을 지칭한다. 따라서, 도 4 에 도시된 슬라이스의 제 1 라인은 블록들 (215 및 217) 에서의 픽셀들 모두를, 이들 블록들 (215 및 217) 이 2D 임에도 불구하고, 포함할 수도 있다. 예를 들어, 도 4 에서의 샘플들

은 병렬로 예측될/양자화될/복원될 수도 있다:

MAP 공간 예측

도 5 내지 도 7 은 본 개시물에서 설명된 양태들에 따라 블록을 코딩하는 다수의 방법들에서 현재 픽셀과 예측자 픽셀들 간의 공간적 관계들을 도시한 블록 다이어그램들이다. 특히, 도 5 내지 도 7 은 2D MAP 공간 예측을 위한 예측 경로들을 도시한다. 도 5 내지 도 7 에서, 도시된 픽셀들은 이전 라인 (221, 231, 또는 241), 현재 라인 (223, 233, 또는 243), 현재 라인 (223, 233, 또는 243) 의 이전 블록 (225, 235, 또는 245), 및 현재 라인 (223, 233, 또는 243) 의 현재 블록 (227, 237, 또는 247) 을 포함한다. 이전 라인 (221, 231, 또는 241) 은 픽셀들 A 내지 F 를 포함하고, 이전 블록 (225, 235, 또는 245) 은 X_-2,0, X_-1,0, X_-2,1, 및 X_-1, ₁ 를 포함한다. 도 5 내지 도 7 에서, 유사한 참조 번호들은 도시된 블록들 및/또는 픽셀들의 유사한 레이아웃들을 도시하도록 사용된다.

도 5 는 완전한 MAP 구현에서 사용될 수도 있는 예측자 픽셀들의 세트를 도시한다. 도시된 예측자 픽셀들 B, C, 및 X_-1,0 은 현재 픽셀 X₀ _,0 에 가장 가까운 공간 이웃들이고, 따라서 현재 픽셀 X₀ _,0 과 밀접하게 상관될 최고 가능성을 가질 수도 있다. 도 5 는 블록 내의 모든 픽셀들에 대하여 하나의 인코딩 경로를 갖는 도시된 구현들의 최저 스루풋을 갖는다. 2 개의 병렬적 접근 방식들, 즉 DPCM 에 대하여 사용될 수도 있는 예측자 픽셀들의 세트가 도 6 및 도 7 에 도시되고, 도 5 의 구현의 스루풋을 각각 2x 및 4x 만큼 증가시킨다. 예를 들어, 도 6 에 대한 예측자 픽셀들의 세트는 2 개의 코딩 경로들 사이에 어떤 오버랩 의존성도 존재하지 않을 수도 있기 때문에, 2 개의 코딩 경로들이 병렬로 실행되게 하도록 선택될 수도 있다. 유사하게, 도 7 은 4 개의 코딩 경로들이 병렬로 실행될 수도 있는 구현을 도시한다. 예를 들어, 도 7 의 구현에서, 로우 당 2 개의 병렬 경로들은, 그 경로들의 각각이 어떤 오버랩 의존성도 포함하지 않는 독립적인 프로세스들일 수도 있다. 이는 최악의 경우의 주요 경로가 감소되어 하드웨어 구현의 복잡도를 감소시키기 때문에, 하드웨어에 유리하다.

도 5 의 구현을 위한 예측 루프는 다음과 같이 계산될 수도 있다:

여기서, 양자화된 공간 잔차 계수들은 α_i, _j 로 제공되고; 양자화 및 탈-양자화는 각각

및

로 제공되고; x_i,j 에 대한 복원된 픽셀은

로 표시되고; 그리고 예측은

로 제공된다. 도 5 에 도시된 것과 같이, 픽셀들 x_-1 은 이전의 복원된 블록 (225) 으로부터 오고, 픽셀들 B 및 C 은 이전 라인 (221) 으로부터 온다. 추가로,

는 함수에 대한 입력들의 중간값을 리턴하는 중간값 함수이다

도 6 의 구현을 위한 예측 루프는 다음과 같이 계산될 수도 있으며, 여기서 함수들 및 값들은 상기와 같이 정의된다:

유사하게, 도 7 의 구현을 위한 예측 루프는 다음과 같이 계산될 수도 있으며, 여기서 함수들 및 값들은 상기와 같이 정의된다:

양자화기의 선택은 일반적으로 코덱의 설계 기준들에 의존할 수도 있다. 그러나, 어떤 적절한 양자화기도 채용될 수도 있다. 예를 들어, 간단한 양자화기가 저비용 하드웨어 설계를 위해 다음과 같이 사용될 수도 있다:

양자화된 잔차들 α_i 이 전체 블록에 대하여 계산된다면, 양자화된 잔차들 α_i 은 디코더로 송신되기 전에 엔트로피 코딩될 수도 있다.

도 8 은 본 개시물에서 설명된 양태들에 따른 예시적인 그룹화 전략을 도시한 블록 다이어그램이다. 사용된 엔트로피 코더의 타입에 의존하여, 양자화된 계수들에 대한 그룹화 전략은 고유할 수도 있거나, 도 8 에 도시된 그룹화 전략을 고수할 수도 있음을 유의한다. 도 8 은 복수의 그룹들, 그룹 1 내지 그룹 4 으로 그룹화되는 복수화된 양자화된 잔차들 a₀ 내지 a₁₅ 을 포함한다. 도 8 에서, 양자화된 잔차들 a₀ 내지 a₁₅ 은 4 개의 그룹들로 그룹화될 수도 있고; 그룹 1 은 양자화된 잔차들 a₀ 및 a₁ 을 포함하고, 그룹 2 는 양자화된 잔차들 a₂, a₃, 및 a₄ 을 포함하고, 그룹 3 은 양자화된 잔차들 a₅ 내지 a₉ 을 포함하고, 그룹 4 는 양자화된 잔차들 a₁₀ 내지 a₁₅ 을 포함한다.

다른 접근방식에서, 비-2 제곱 양자화기 (non-power of-2 quantizer) 는 간단한 양자화 대신 사용될 수도 있다. 예를 들어, HEVC-스타일 양자화기가 사용될 수도 있고, 추가의 복잡도가 코더의 버짓 (budget) 내에 있기만 한다면, 성능을 개선시킬 것이다.

전술된 기술에 대한 다른 접근방식에서, 양자화된 공간 잔차들은 예컨대, 딕셔너리를 사용하는 가변 길이 코드 (VLC) 코딩 또는 고정 길이 코딩, 등과 같은 일부 다른 방법을 사용하여 시그널링될 수도 있다. VLC 가 사용된다면, 딕셔너리는 예컨대, 코딩 타입의 예측 통계치들에 기초하여 트레이닝될 수도 있다.

도 9 는 본 개시물에서 설명된 양태들에 따라 슬라이스의 라인을 코딩하는 방법을 도시한 블록 다이어그램이다. 도 10 은 본 개시물에서 설명된 양태들에 따라 슬라이스의 라인을 코딩하는 다른 방법을 도시한 블록 다이어그램이다. 일부 구현들에서, 도 9 및 도 10 의 방법들은 슬라이스의 제 1 라인에 적용될 수도 있다. 특히, 도 9 및 도 10 은 도 3 의 방법에 각각 대응하는 구현들을 도시하는 기술들이다. 따라서, 동일한 참조 번호들은 이전에 도시된 것과 동일한 엘리먼트들을 지정한다. 구체적으로, 도 9 및 도 10 의 각각은 이전 블록 (205) 과 현재 블록 (207) 을 포함하는 제 1 라인 (203) 을 포함하는 슬라이스의 일부를 도시한다.

도 9 및 도 10 에 도시된 접근방식에서, 현재 블록 (207 또는 217) 에서의 제 1 n 개의 픽셀들은 이전의 복원된 블록 (205 또는 215) 로부터 예측되는 것보다, 비트스트림에서 명백하게 인코딩될 수도 있다. 도 9 는 n = 2 인 케이스를 도시하고, 도 10 은 n = 1 인 케이스를 도시한다. 이러한 접근방식의 장점은 이전에 복원된 데이터에 대한 현재 블록의 전체적인 독립성이다. 블록당 더 높은 비트레이트가 상기 접근방식에 의해 예상될 수도 있다. 상기 접근 방식에 대한 수정에 있어서, 제 1 의 n 개 픽셀들은 제거된 비트플레인들에 대한 일부 서브세트로 인코딩될 수도 있다. 예를 들어, 그 시나리오가 레이트-제약된다면, 그 후 PCM 픽셀들은 인코딩 이전에 더 낮은 비트-심도로 절단될 수도 있다.

본원에 개시된 공간 예측 모드가 임의의 컬러 공간에서 수행될 수도 있다. 예를 들어, RGB 또는 YCoCg 은 상기 타입의 프레임 압축을 위해 이용될 수도 있다. 예측자들이 현재 블록과 동일한 컬러 공간을 사용하는 것을 보장하는 것이 바람직할 수도 있다. 예를 들어, 현재 블록은 YCoCg 공간에서 프로세싱되고 있지만 복원된 픽셀들은 RGB 에 저장된다면, 그 후 복원된 픽셀들의 컬러공간 컨버전이 수행되어야만 한다.

본 개시물의 양태들에 따른 공간 예측 모드의 성능은 그 모드 없이 코딩하기에 어려운 컨텐츠를 검사함으로써 입증될 수도 있다. 일 실시예에서, 이미지 컨텐츠는 제안된 모드로 그리고 제안된 모드 없이 코딩된다. 이들 예들은 고정 레이트 4:1 압축을 사용할 수도 있다. 이미지 품질에 대한 공통의 객관적 메트릭인 피크 신호대 잡음비 (PSNR) 를 사용하여, 객관적 품질이 측정된다.

제안된 코덱의 레이트 제어 메커니즘이 레이트와 왜곡 간의 트레이드 오프에 기초하여 각각의 블록에 대한 최적 코딩 모드를 선택하도록 설계될 수도 있다.

특히 슬라이스의 제 1 라인들에서의 컨텐츠에 대하여, 제안된 공간 예측 모드는 비용

와 관련하여 저비용 코딩 옵션을 제공한다. 여기서, 파라미터 R 은 현재 블록에 대하여 인코더 (20) 와 디코더 (30) 간에 송신되는 비트들의 전체 수일 수도 있는, 현재 블록의 비트레이트를 지칭하고; 파라미터 D 는 원래의 블록과 복원된 블록 간의 차이일 수도 있는, 현재 블록의 왜곡을 지칭한다. 파라미터 D 는 다수의 상이한 방식들로, 예컨대 원래의 블록들과 복원된 블록들 간에 절대 차이의 합 (SAD), 제곱 차이의 합, 등으로 계산될 수도 있다. 파라미터 λ 는 파라미터들 R 과 D 간의 트레이드 오프일 수도 있는 라그랑주 파라미터이다. 라그랑주 파라미터 λ 는 다양한 방식들로 계산될 수도 있고, λ 계산에 대한 선택된 접근방식은 그 문맥과 적용에 따라 변화할 수도 있다. 예를 들어, 라그랑주 파라미터 λ 는 레이트 버퍼 (155) 상태, 블록의 제 1 라인 또는 비-제 1 라인 조건들, 등과 같은 다수의 인자들에 기초하여 계산될 수도 있다. 심지어 슬라이스 조건들의 비-제 1 라인들에 대하여, 공간 예측 모드는 이미지 컨텐츠의 다수의 타입들에 대하여 선택될 수도 있다.

공간 예측 모드 코딩을 위한 예시적인 플로우차트

도 11 을 참조하여, 공간 예측 모드 코딩을 위한 예시적인 절차가 설명될 것이다. 도 11 에 도시된 단계들은 비디오 인코더 (예컨대, 도 2a 의 비디오 인코더 (20)), 비디오 디코더 (예컨대, 도 2b 의 비디오 디코더 (30)), 또는 그 컴포넌트(들)에 의해 수행될 수도 있다. 편의를 위해, 방법 (300) 은 비디오 인코더 (20), 비디오 디코더 (30), 또는 다른 컴포넌트일 수도 있는 (간단히 코더로도 지칭되는) 비디오 코더에 의해 수행되는 것으로 설명된다.

방법 (300) 은 블록 (301) 에서 시작한다. 블록 (305) 에서, 코더는 비디오 데이터의 슬라이스를 코딩한다. 슬라이스는 제 1 라인 및 복수의 비-제 1 라인들로 조직된 복수의 픽셀들을 포함한다. 블록 (310) 에서, 코더는 제 1 라인의 이전 픽셀을 예측자로서 사용하여 공간 예측 모드에서 제 1 라인의 현재 픽셀을 코딩하는 것을 통해 슬라이스를 코딩할 수도 있다. 이전 픽셀과 현재 픽셀 간에 중간 픽셀이 존재할 수도 있다. 블록 (315) 에서, 코더는 공간 예측 모드 이외의 코딩 모드에서 비-제 1 라인의 적어도 다른 픽셀을 코딩하는 것을 통해 슬라이스를 코딩하는 것을 계속할 수도 있다. 슬라이스의 코딩은 제 1 및 제 2 인터리빙된 코딩 경로들을 통해 제 1 라인을 코딩하는 것을 더 포함할 수도 있다. 제 1 및 제 2 코딩 경로들에서 픽셀들의 각각은 대응하는 코딩 경로로 외부의 픽셀들과 독립적으로 코딩될 수도 있다. 방법 (300) 은 블록 (320) 에서 종료한다.

방법 (300) 에서, 블록 11 에 도시된 블록들 중 하나 이상이 제거될 (예컨대, 수행되지 않을) 수도 있고 및/또는 방법이 수행되는 순서는 교환될 수도 있다. 일부 구현들에서, 추가의 블록들이 방법 (300) 에 부가될 수도 있다. 본 개시물의 실시형태들이 도 11 에 도시된 예로 또는 그 예에 의해 제한되지 않으며, 다른 변형들이 본 개시물의 범위로부터 벗어남 없이 구현될 수도 있다.

다른 고려사항들

본원에 개시된 정보 및 신호들은 임의의 다양한 서로 다른 기술들 및 기법들을 이용하여 표현될 수도 있다. 예를 들어, 상기 설명 전반에 걸쳐 참조될 수도 있는 데이터, 명령들, 커맨드들, 정보, 신호들, 비트들, 심볼들, 및 칩들은 전압, 전류, 전자기파, 자계 또는 자성 입자, 광계 또는 광자, 또는 이들의 임의의 조합에 의해 표현될 수도 있다.

본원에서 개시된 실시형태들과 연계하여 설명된 다양한 예시적인 논리 블록들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들 양자 모두의 조합들로서 구현될 수도 있다. 하드웨어 및 소프트웨어의 이러한 상호 교환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 및 단계들이 그들의 기능적 관점에서 일반적으로 상술되었다. 그러한 기능이 하드웨어로 구현되는지 또는 소프트웨어로 구현되는지의 여부는 특정 애플리케이션 및 전체 시스템에 부과되는 설계 제약들에 따라 달라진다. 당업자는 설명된 기능을 각각의 특정 어플리케이션에 대하여 다양한 방식으로 구현할 수도 있지만, 그러한 구현의 결정들이 본 개시의 범위로부터의 일탈을 야기하는 것으로서 해석되지는 않아야 한다.

본 명세서에서 설명된 기술들은 또한 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합에서 구현될 수도 있다. 그러한 기술들은 범용 컴퓨터들, 무선 통신 디바이스 핸드셋들, 또는 무선 통신 디바이스 헤드셋들과 다른 디바이스들에서 애플리케이션을 포함하는 다수의 사용들을 갖는 집적 회로 디바이스들과 같은 다양한 디바이스들 중 임의의 디바이스에 구현될 수도 있다. 디바이스들 또는 컴포넌트들로서 설명된 임의의 피처들은 집적된 로직 디바이스에서 함께 또는 별개이지만 상호 동작가능한 로직 디바이스들로서 개별적으로 구현될 수도 있다. 소프트웨어로 구현되는 경우, 상기 기술들은, 실행시 상술한 방법들의 적어도 하나를 수행하는 명령들을 포함하는 컴퓨터 판독가능 매체에 의해 적어도 부분적으로 실현될 수도 있다. 컴퓨터 판독가능 데이터 저장 매체는 컴퓨터 프로그램 제품의 일부를 형성할 수도 있고, 컴퓨터 프로그램 제품은 패키징 재료들을 포함할 수도 있다. 컴퓨터 판독가능 매체는 SDRAM (synchronous dynamic random access memory) 과 같은 RAM (random access memory), ROM (read-only memory), NVRAM (non-volatile random access memory), EEPROM (electrically erasable programmable read-only memory), 플래시 메모리, 자기 또는 광학 데이터 저장 매체 등과 같은 메모리 또는 데이터 저장 매체를을 포함할 수도 있다. 상기 기술들은, 추가적으로, 또는 대안적으로, 명령들 또는 데이터 구조들의 형태의 코드를 전달 또는 통신하며, 컴퓨터에 의해 액세스, 판독, 및/또는 실행될 수 있는 컴퓨터 판독가능 통신 매체, 예컨대 전파된 신호들 또는 파들에 의해 적어도 부분적으로 실현될 수도 있다.

컴퓨터 판독가능 매체 (예컨대, 메모리 또는 다른 데이터 저장 디바이스) 와 통신하는 (예컨대, 협업하여 동작하는) 프로세서(들)은 프로그램 코드의 명령들을 실행할 수도 있고, 하나 이상의 디지털 신호 프로세서 (DSP) 들, 범용 마이크로프로세서들, ASIC (application specification integrated circuit) 들, FPGA (field programmable gate array) 들, 또는 임의의 다른 등가의 집적 또는 이산 논리 회로와 같은 하나 이상의 프로세서들을 포함할 수도 있다. 그러한 프로세서는 본 개시물에 설명된 기술들 중 임의의 기술을 수행하도록 구성될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만; 대안적으로 프로세서는 임의의 종래의 프로세서, 컨트롤러, 마이크로컨트롤러, 또는 상태 머신일 수도 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 예를 들면, DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들의 조합, DSP 코어와 연계한 하나 이상의 마이크로프로세서들의 조합, 또는 임의의 다른 그러한 구성으로서 구현될 수도 있다. 그에 따라, 본원에서 이용되는 바와 같은 용어 "프로세서" 는 앞서 언급한 구조 중 임의의 것, 앞서 언급한 구조의 임의의 조합, 또는 본원에서 설명된 기법들을 구현하기에 적합한 임의의 다른 구조 또는 장치를 지칭할 수도 있다. 또한, 몇몇 양태들에서, 본원에서 사용된 기능은, 인코딩 및 디코딩을 위해 구성된 전용 소프트웨어 모듈들 또는 하드웨어 모듈들 내에서 제공되거나, 또는 결합된 비디오 인코더-디코더(CODEC)에 내장될 수도 있다. 또한, 그 기술들은 하나 이상의 회로들 또는 로직 엘리먼트들에서 완전히 구현될 수 있다.

본 개시의 기술들은 무선 핸드셋, 집적 회로 (IC) 또는 IC들의 세트 (예를 들어, 칩 세트) 를 포함하여 매우 다양한 디바이스들 또는 장치들에서 구현될 수도 있다. 다양한 컴포넌트들, 또는 유닛들이 개시된 기술들을 수행하도록 구성된 디바이스들의 기능적 양태들을 강조하기 위해 본 개시에서 설명되지만, 반드시 상이한 하드웨어 유닛들에 의한 실현을 요구하지는 않는다. 오히려, 상기 설명된 바와 같이, 다양한 유닛들은 적절한 소프트웨어 및/또는 펌웨어와 함께 상기 설명된 바와 같은 하나 이상의 프로세서들을 포함하여 코덱 하드웨어 유닛으로 결합되거나 또는 상호운용식 하드웨어 유닛들의 집합에 의해 제공될 수도 있다.

앞의 설명이 다양한 상이한 실시형태들과 연계하여 설명되었지만, 하나의 실시형태로부터의 피처들 또는 엘리먼트들은 본 개시물의 교시들로부터 벗어남 없이 다른 실시형태들과 조합될 수도 있다. 그러나, 개별 실시형태들 간의 피처들의 조합들은 반드시 제한되지 않는다. 본 개시물의 다양한 실시형태들이 설명되었다. 이들 및 다른 실시형태들은 다음의 청구항들의 범위 내에 있다.

Claims

디스플레이 링크 비디오 압축에 있어서 복수의 코딩 모드들을 통해 비디오 데이터를 코딩하기 위한 방법으로서,
상기 비디오 데이터의 슬라이스를 코딩하는 단계로서, 상기 슬라이스는 상기 슬라이스의 제 1 라인과 상기 슬라이스의 복수의 비-제 1 라인들에서 복수의 픽셀들을 포함하는, 상기 슬라이스를 코딩하는 단계를 포함하고,
상기 슬라이스를 코딩하는 단계는,
공간 예측 모드에서 상기 슬라이스의 제 1 라인의 현재 픽셀을, 상기 제 1 라인의 이전 픽셀을 예측자로서 사용하여 코딩하는 단계; 및
상기 공간 예측 모드 이외의 코딩 모드에서 상기 슬라이스의 비-제 1 라인의 다른 픽셀을 코딩하는 단계를 포함하는, 비디오 데이터를 코딩하기 위한 방법.
제 1 항에 있어서,
상기 제 1 라인의 현재 픽셀과 상기 제 1 라인의 이전 픽셀은 개재하는 픽셀에 의해 분리되고, 그리고
상기 비디오 데이터의 슬라이스를 코딩하는 단계는 제 1 및 제 2 인터리빙된 코딩 경로들을 통해 상기 제 1 라인을 코딩하는 단계를 더 포함하고, 상기 제 1 및 제 2 인터리빙된 코딩 경로들에서 픽셀들의 각각은 대응하는 인터리빙된 코딩 경로 외부의 픽셀들과 독립적으로 코딩되는, 비디오 데이터를 코딩하기 위한 방법.
제 1 항에 있어서,
상기 비디오 데이터의 슬라이스는 추가로 복수의 블록들로 조직되고, 각각의 블록은 픽셀들의 적어도 2 개의 로우들을 포함하는 2차원 (2D) 블록이고, 상기 슬라이스의 각각의 라인은 복수의 블록들을 포함하며, 상기 현재 픽셀과 상기 이전 픽셀은 동일한 로우에 있고,
상기 비디오 데이터의 슬라이스를 코딩하는 단계는 대응하는 제 1 및 제 2 인터리빙된 코딩 경로들을 통해 상기 제 1 라인의 각각의 로우를 코딩하는 단계를 더 포함하고, 상기 제 1 및 제 2 인터리빙된 코딩 경로들에서 픽셀들의 각각은 대응하는 인터리빙된 코딩 경로 외부의 픽셀들과 독립적으로 코딩되는, 비디오 데이터를 코딩하기 위한 방법.
제 1 항에 있어서,
상기 슬라이스의 제 1 라인의 제 1 픽셀을 예측 없이 코딩하는 단계를 더 포함하는, 비디오 데이터를 코딩하기 위한 방법.
제 4 항에 있어서,
상기 슬라이스의 제 1 라인의 제 2 픽셀을 예측 없이 코딩하는 단계를 더 포함하며, 상기 제 1 라인의 현재 픽셀과 상기 제 1 라인의 이전 픽셀은 개재하는 픽셀에 의해 분리되고,
상기 비디오 데이터의 슬라이스를 코딩하는 단계는 제 1 및 제 2 인터리빙된 코딩 경로들을 통해 상기 제 1 라인을 코딩하는 단계를 더 포함하고, 상기 제 1 인터리빙된 코딩 경로는 상기 제 1 픽셀에서 시작하고, 상기 제 2 인터리빙된 코딩 경로는 상기 제 2 픽셀에서 시작하며, 상기 제 1 및 제 2 인터리빙된 코딩 경로들에서 픽셀들의 각각은 대응하는 인터리빙된 코딩 경로 외부의 픽셀들과 독립적으로 코딩되는, 비디오 데이터를 코딩하기 위한 방법.
제 4 항에 있어서,
상기 공간 예측 모드에서 상기 슬라이스의 제 1 라인의 제 2 픽셀을, 상기 제 1 라인의 제 1 픽셀을 예측자로서 사용하여 코딩하는 단계를 더 포함하며, 상기 제 1 라인의 현재 픽셀과 상기 제 1 라인의 이전 픽셀은 개재하는 픽셀에 의해 분리되고,
상기 비디오 데이터의 슬라이스를 코딩하는 단계는 제 1 및 제 2 인터리빙된 코딩 경로들을 통해 상기 제 1 라인을 코딩하는 단계를 더 포함하고, 상기 제 1 인터리빙된 코딩 경로는 상기 제 1 픽셀에서 시작하고, 상기 제 2 인터리빙된 코딩 경로는 상기 제 2 픽셀에서 시작하며, 상기 제 1 및 제 2 인터리빙된 코딩 경로들에서 픽셀들의 각각은 대응하는 인터리빙된 코딩 경로 외부의 픽셀들과 독립적으로 코딩되는, 비디오 데이터를 코딩하기 위한 방법.
제 4 항에 있어서,
상기 비디오 데이터의 코딩에 관한 레이트 제약이 존재하는지 여부를 결정하는 단계; 및
상기 레이트 제약이 존재한다는 결정에 응답하여 상기 제 1 픽셀의 비트 심도를 절단하는 단계를 더 포함하는, 비디오 데이터를 코딩하기 위한 방법.
제 1 항에 있어서,
디폴트 예측자를 사용하여 상기 공간 예측 모드에서 상기 제 1 라인의 제 1 픽셀을 코딩하는 단계를 더 포함하고,
상기 디폴트 예측자는 상기 비디오 데이터의 비트-심도에 의존하는, 비디오 데이터를 코딩하기 위한 방법.
제 1 항에 있어서,
중간값 적응 예측 (MAP) 모드에서 현재 라인의 현재 픽셀을, 상기 현재 라인의 이전 픽셀 및 이전 라인의 제 1 및 제 2 픽셀들을 예측자로서 사용하여 코딩하는 단계를 더 포함하며,
상기 현재 라인의 현재 픽셀과 상기 현재 라인의 이전 픽셀은 제 1 개재하는 픽셀에 의해 분리되고, 상기 이전 라인의 제 1 및 제 2 픽셀들은 제 2 개재하는 픽셀에 의해 분리되고, 상기 비디오 데이터의 슬라이스를 코딩하는 단계는 제 1 및 제 2 인터리빙된 코딩 경로들을 통해 상기 현재 라인을 코딩하는 단계를 더 포함하고, 상기 제 1 및 제 2 인터리빙된 코딩 경로들에서의 픽셀들의 각각은 대응하는 인터리빙된 코딩 경로 외부의 픽셀들과 독립적으로 코딩되는, 비디오 데이터를 코딩하기 위한 방법.
디스플레이 링크 비디오 압축에서 복수의 코딩 모드들을 통해 비디오 데이터를 코딩하는 디바이스로서,
상기 비디오 데이터를 저장하도록 구성된 메모리; 및
상기 메모리와 통신하는 프로세서를 포함하며,
상기 프로세서는,
상기 비디오 데이터의 슬라이스를 코딩하는 것으로서, 상기 슬라이스는 상기 슬라이스의 제 1 라인과 상기 슬라이스의 복수의 비-제 1 라인들에서 복수의 픽셀들을 포함하는, 상기 슬라이스를 코딩하고;
공간 예측 모드에서 상기 슬라이스의 제 1 라인의 현재 픽셀을, 상기 제 1 라인의 이전 픽셀을 예측자로서 사용하여 코딩하고; 그리고
상기 공간 예측 모드 이외의 코딩 모드에서 상기 슬라이스의 비-제 1 라인의 다른 픽셀을 코딩하도록
구성되는, 비디오 데이터를 코딩하는 디바이스.
제 10 항에 있어서,
상기 제 1 라인의 현재 픽셀과 상기 제 1 라인의 이전 픽셀은 개재하는 픽셀에 의해 분리되고, 그리고
상기 프로세서는 추가로, 제 1 및 제 2 인터리빙된 코딩 경로들을 통해 상기 제 1 라인을 코딩하도록 구성되고, 상기 제 1 및 제 2 인터리빙된 코딩 경로들에서 픽셀들의 각각은 대응하는 인터리빙된 코딩 경로 외부의 픽셀들과 독립적으로 코딩되는, 비디오 데이터를 코딩하는 디바이스.
제 10 항에 있어서,
상기 비디오 데이터의 슬라이스는 추가로 복수의 블록들로 조직되고, 각각의 블록은 픽셀들의 적어도 2 개의 로우들을 포함하는 2차원 (2D) 블록이고, 상기 슬라이스의 각각의 라인은 복수의 블록들을 포함하며, 상기 현재 픽셀과 상기 이전 픽셀은 동일한 로우에 있고,
상기 프로세서는 추가로, 대응하는 제 1 및 제 2 인터리빙된 코딩 경로들을 통해 상기 제 1 라인의 각각의 로우를 코딩하도록 구성되고, 상기 제 1 및 제 2 인터리빙된 코딩 경로들에서 픽셀들의 각각은 대응하는 인터리빙된 코딩 경로 외부의 픽셀들과 독립적으로 코딩되는, 비디오 데이터를 코딩하는 디바이스.
제 10 항에 있어서,
상기 프로세서는 추가로, 상기 슬라이스의 제 1 라인의 제 1 픽셀을 예측 없이 코딩하도록 구성되는, 비디오 데이터를 코딩하는 디바이스.
제 13 항에 있어서,
상기 프로세서는 추가로, 상기 슬라이스의 제 1 라인의 제 2 픽셀을 예측 없이 코딩하도록 구성되며, 상기 제 1 라인의 현재 픽셀과 상기 제 1 라인의 이전 픽셀은 개재하는 픽셀에 의해 분리되고,
상기 비디오 데이터의 슬라이스를 코딩하는 것은 제 1 및 제 2 인터리빙된 코딩 경로들을 통해 상기 제 1 라인을 코딩하는 것을 더 포함하고, 상기 제 1 인터리빙된 코딩 경로는 상기 제 1 픽셀에서 시작하고, 상기 제 2 인터리빙된 코딩 경로는 상기 제 2 픽셀에서 시작하며, 상기 제 1 및 제 2 인터리빙된 코딩 경로들에서 픽셀들의 각각은 대응하는 인터리빙된 코딩 경로 외부의 픽셀들과 독립적으로 코딩되는, 비디오 데이터를 코딩하는 디바이스.
제 13 항에 있어서,
상기 프로세서는 추가로,
상기 공간 예측 모드에서 상기 슬라이스의 제 1 라인의 제 2 픽셀을, 상기 제 1 라인의 제 1 픽셀을 예측자로서 사용하여 코딩하는 것으로서, 상기 제 1 라인의 현재 픽셀과 상기 제 1 라인의 이전 픽셀은 개재하는 픽셀에 의해 분리되는, 상기 상기 슬라이스의 제 1 라인의 제 2 픽셀을 코딩하고; 그리고
제 1 및 제 2 인터리빙된 코딩 경로들을 통해 상기 제 1 라인을 코딩하는 것으로서, 상기 제 1 인터리빙된 코딩 경로는 상기 제 1 픽셀에서 시작하고, 상기 제 2 인터리빙된 코딩 경로는 상기 제 2 픽셀에서 시작하며, 상기 제 1 및 제 2 인터리빙된 코딩 경로들에서 픽셀들의 각각은 대응하는 인터리빙된 코딩 경로 외부의 픽셀들과 독립적으로 코딩되는, 상기 제 1 라인을 코딩하도록
구성되는, 비디오 데이터를 코딩하는 디바이스.
제 13 항에 있어서,
상기 프로세서는 추가로,
상기 비디오 데이터의 코딩에 관한 레이트 제약이 존재하는지 여부를 결정하고; 그리고
상기 레이트 제약이 존재한다는 결정에 응답하여 상기 제 1 픽셀의 비트 심도를 절단하도록
구성되는, 비디오 데이터를 코딩하는 디바이스.
제 10 항에 있어서,
상기 프로세서는 추가로, 디폴트 예측자를 사용하여 상기 공간 예측 모드에서 상기 제 1 라인의 제 1 픽셀을 코딩하도록 구성되고,
상기 디폴트 예측자는 상기 비디오 데이터의 비트-심도에 의존하는, 비디오 데이터를 코딩하는 디바이스.
제 10 항에 있어서,
상기 프로세서는 추가로, 중간값 적응 예측 (MAP) 모드에서 현재 라인의 현재 픽셀을, 상기 현재 라인의 이전 픽셀 및 이전 라인의 제 1 및 제 2 픽셀들을 예측자로서 사용하여 코딩하도록 구성되며,
상기 현재 라인의 현재 픽셀과 상기 현재 라인의 이전 픽셀은 제 1 개재하는 픽셀에 의해 분리되고, 상기 이전 라인의 제 1 및 제 2 픽셀들은 제 2 개재하는 픽셀에 의해 분리되고, 상기 비디오 데이터의 슬라이스를 코딩하는 것은 제 1 및 제 2 인터리빙된 코딩 경로들을 통해 상기 현재 라인을 코딩하는 것을 더 포함하고, 상기 제 1 및 제 2 인터리빙된 코딩 경로들에서의 픽셀들의 각각은 대응하는 인터리빙된 코딩 경로 외부의 픽셀들과 독립적으로 코딩되는, 비디오 데이터를 코딩하는 디바이스.
비디오 데이터의 슬라이스를 코딩하는 수단으로서, 상기 슬라이스는 상기 슬라이스의 제 1 라인과 상기 슬라이스의 복수의 비-제 1 라인들에서 복수의 픽셀들을 포함하는, 상기 슬라이스를 코딩하는 수단;
공간 예측 모드에서 상기 슬라이스의 제 1 라인의 현재 픽셀을, 상기 제 1 라인의 이전 픽셀을 예측자로서 사용하여 코딩하는 수단; 및
상기 공간 예측 모드 이외의 코딩 모드에서 상기 슬라이스의 비-제 1 라인의 다른 픽셀을 코딩하는 수단을 포함하는, 장치.
제 19 항에 있어서,
상기 제 1 라인의 현재 픽셀과 상기 제 1 라인의 이전 픽셀은 개재하는 픽셀에 의해 분리되고, 그리고
상기 장치는 제 1 및 제 2 인터리빙된 코딩 경로들을 통해 상기 제 1 라인을 코딩하는 수단을 더 포함하고, 상기 제 1 및 제 2 인터리빙된 코딩 경로들에서 픽셀들의 각각은 대응하는 인터리빙된 코딩 경로 외부의 픽셀들과 독립적으로 코딩되는, 장치.
제 19 항에 있어서,
상기 비디오 데이터의 슬라이스는 추가로 복수의 블록들로 조직되고, 각각의 블록은 픽셀들의 적어도 2 개의 로우들을 포함하는 2차원 (2D) 블록이고, 상기 슬라이스의 각각의 라인은 복수의 블록들을 포함하며, 상기 현재 픽셀과 상기 이전 픽셀은 동일한 로우에 있고,
상기 장치는 대응하는 제 1 및 제 2 인터리빙된 코딩 경로들을 통해 상기 제 1 라인의 각각의 로우를 코딩하는 수단을 더 포함하고, 상기 제 1 및 제 2 인터리빙된 코딩 경로들에서 픽셀들의 각각은 대응하는 인터리빙된 코딩 경로 외부의 픽셀들과 독립적으로 코딩되는, 장치.
제 19 항에 있어서,
상기 슬라이스의 제 1 라인의 제 1 픽셀을 예측 없이 코딩하는 수단을 더 포함하는, 장치.
제 22 항에 있어서,
상기 슬라이스의 제 1 라인의 제 2 픽셀을 예측 없이 코딩하는 수단으로서, 상기 제 1 라인의 현재 픽셀과 상기 제 1 라인의 이전 픽셀은 개재하는 픽셀에 의해 분리되는, 상기 제 2 픽셀을 코딩하는 수단; 및
제 1 및 제 2 인터리빙된 코딩 경로들을 통해 상기 제 1 라인을 코딩하는 수단으로서, 상기 제 1 인터리빙된 코딩 경로는 상기 제 1 픽셀에서 시작하고, 상기 제 2 인터리빙된 코딩 경로는 상기 제 2 픽셀에서 시작하며, 상기 제 1 및 제 2 인터리빙된 코딩 경로들에서 픽셀들의 각각은 대응하는 인터리빙된 코딩 경로 외부의 픽셀들과 독립적으로 코딩되는, 상기 제 1 라인을 코딩하는 수단을 더 포함하는, 장치.
제 22 항에 있어서,
상기 공간 예측 모드에서 상기 슬라이스의 제 1 라인의 제 2 픽셀을, 상기 제 1 라인의 제 1 픽셀을 예측자로서 사용하여 코딩하는 수단으로서, 상기 제 1 라인의 현재 픽셀과 상기 제 1 라인의 이전 픽셀은 개재하는 픽셀에 의해 분리되는, 상기 제 2 픽셀을 코딩하는 수단; 및
제 1 및 제 2 인터리빙된 코딩 경로들을 통해 상기 제 1 라인을 코딩하는 수단으로서, 상기 제 1 인터리빙된 코딩 경로는 상기 제 1 픽셀에서 시작하고, 상기 제 2 인터리빙된 코딩 경로는 상기 제 2 픽셀에서 시작하며, 상기 제 1 및 제 2 인터리빙된 코딩 경로들에서 픽셀들의 각각은 대응하는 인터리빙된 코딩 경로 외부의 픽셀들과 독립적으로 코딩되는, 상기 제 1 라인을 코딩하는 수단을 더 포함하는, 장치.
제 22 항에 있어서,
상기 비디오 데이터의 코딩에 관한 레이트 제약이 존재하는지 여부를 결정하는 수단; 및
상기 레이트 제약이 존재한다는 결정에 응답하여 상기 제 1 픽셀의 비트 심도를 절단하는 수단을 더 포함하는, 장치.
명령들을 저장한 비-일시적 컴퓨터 판독가능 저장 매체로서,
상기 명령들은, 실행될 경우, 디바이스의 프로세서로 하여금,
비디오 데이터의 슬라이스를 코딩하게 하는 것으로서, 상기 슬라이스는 상기 슬라이스의 제 1 라인과 상기 슬라이스의 복수의 비-제 1 라인들에서 복수의 픽셀들을 포함하는, 상기 슬라이스를 코딩하게 하고;
공간 예측 모드에서 상기 슬라이스의 제 1 라인의 현재 픽셀을, 상기 제 1 라인의 이전 픽셀을 예측자로서 사용하여 코딩하게 하고; 그리고
상기 공간 예측 모드 이외의 코딩 모드에서 상기 슬라이스의 비-제 1 라인의 다른 픽셀을 코딩하게 하는, 비-일시적 컴퓨터 판독가능 저장 매체.
제 26 항에 있어서,
상기 제 1 라인의 현재 픽셀과 상기 제 1 라인의 이전 픽셀은 개재하는 픽셀에 의해 분리되고, 그리고
상기 비-일시적 컴퓨터 판독가능 저장 매체는 추가로, 실행될 경우, 상기 프로세서로 하여금, 제 1 및 제 2 인터리빙된 코딩 경로들을 통해 상기 제 1 라인을 코딩하게하는 명령들을 저장하고, 상기 제 1 및 제 2 인터리빙된 코딩 경로들에서 픽셀들의 각각은 대응하는 인터리빙된 코딩 경로 외부의 픽셀들과 독립적으로 코딩되는, 비-일시적 컴퓨터 판독가능 저장 매체.
제 26 항에 있어서,
상기 비디오 데이터의 슬라이스는 추가로 복수의 블록들로 조직되고, 각각의 블록은 픽셀들의 적어도 2 개의 로우들을 포함하는 2차원 (2D) 블록이고, 상기 슬라이스의 각각의 라인은 복수의 블록들을 포함하며, 상기 현재 픽셀과 상기 이전 픽셀은 동일한 로우에 있고,
상기 비-일시적 컴퓨터 판독가능 저장 매체는 추가로, 실행될 경우, 상기 프로세서로 하여금, 대응하는 제 1 및 제 2 인터리빙된 코딩 경로들을 통해 상기 제 1 라인의 각각의 로우를 코딩하게 하는 명령들을 저장하고, 상기 제 1 및 제 2 인터리빙된 코딩 경로들에서 픽셀들의 각각은 대응하는 인터리빙된 코딩 경로 외부의 픽셀들과 독립적으로 코딩되는, 비-일시적 컴퓨터 판독가능 저장 매체.
제 26 항에 있어서,
실행될 경우, 상기 프로세서로 하여금, 상기 슬라이스의 제 1 라인의 제 1 픽셀을 예측 없이 코딩하게 하는 명령들을 추가로 저장하는, 비-일시적 컴퓨터 판독가능 저장 매체.
제 29 항에 있어서,
실행될 경우, 상기 프로세서로 하여금,
상기 슬라이스의 제 1 라인의 제 2 픽셀을 예측 없이 코딩하게 하는 것으로서, 상기 제 1 라인의 현재 픽셀과 상기 제 1 라인의 이전 픽셀은 개재하는 픽셀에 의해 분리되는, 상기 제 2 픽셀을 코딩하게 하고; 그리고
제 1 및 제 2 인터리빙된 코딩 경로들을 통해 상기 제 1 라인을 코딩하게 하는 것으로서, 상기 제 1 인터리빙된 코딩 경로는 상기 제 1 픽셀에서 시작하고, 상기 제 2 인터리빙된 코딩 경로는 상기 제 2 픽셀에서 시작하며, 상기 제 1 및 제 2 인터리빙된 코딩 경로들에서 픽셀들의 각각은 대응하는 인터리빙된 코딩 경로 외부의 픽셀들과 독립적으로 코딩되는, 상기 제 1 라인을 코딩하게 하는
명령들을 추가로 저장하는, 비-일시적 컴퓨터 판독가능 저장 매체.