KR20180118653A - 디스플레이 스트림 압축을 위한 벡터 기반 엔트로피 코딩을 위한 장치 및 방법 - Google Patents

디스플레이 스트림 압축을 위한 벡터 기반 엔트로피 코딩을 위한 장치 및 방법 Download PDF

Info

Publication number
KR20180118653A
KR20180118653A KR1020187025188A KR20187025188A KR20180118653A KR 20180118653 A KR20180118653 A KR 20180118653A KR 1020187025188 A KR1020187025188 A KR 1020187025188A KR 20187025188 A KR20187025188 A KR 20187025188A KR 20180118653 A KR20180118653 A KR 20180118653A
Authority
KR
South Korea
Prior art keywords
code
video
sample
vector
samples
Prior art date
Application number
KR1020187025188A
Other languages
English (en)
Other versions
KR102185027B1 (ko
Inventor
비자야라가반 티루말라이
네이탄 헤임 제이콥슨
라잔 랙스맨 조쉬
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20180118653A publication Critical patent/KR20180118653A/ko
Application granted granted Critical
Publication of KR102185027B1 publication Critical patent/KR102185027B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

복수의 비디오 샘플들을 갖는 비디오 정보를 코딩하기 위한 방법들 및 장치가 개시된다. 비디오 샘플들은 단일 클록 사이클 내의 송신을 위해 그룹들로 파티셔닝되고, 여기서 샘플들은 비트 길이 B 와 연관되며, 그룹은 그룹 사이즈 K 를 갖는다. 샘플 그룹은 코드 번호에 맵핑되고 코딩되어 맵핑을 수행하는데 사용되는 룩업 테이블의 타입을 식별하는 제 1 부분 및 그룹의 샘플들을 표현하는 제 2 부분을 포함하는 벡터 기반 코드를 형성한다. 룩업 테이블은 상이한 샘플 그룹들의 발생 확률들에 기초하여 구성될 수도 있다. 또한, 다른 유형들의 룩업 테이블들이 상이한 B 및 K 값들에 대해 사용될 수도 있다.

Description

디스플레이 스트림 압축을 위한 벡터 기반 엔트로피 코딩을 위한 장치 및 방법
본 개시는 비디오 코딩 및 압축의 분야에 관한 것으로서, 상세하게는, 디스플레이 스트림 압축 (DSC) 과 같은 디스플레이 링크들 상으로의 송신을 위한 비디오 압축에 관한 것이다.
디지털 비디오 능력들은 디지털 텔레비전들, 개인용 디지털 보조기들 (PDA들), 랩톱 컴퓨터들, 데스크톱 모니터들, 디지털 카메라들, 디지털 리코딩 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 디바이스들, 비디오 게임 콘솔들, 셀룰러 또는 위성 무선 전화기들, 비디오 텔레컨퍼런싱 디바이스들 등을 포함한, 광범위한 디스플레이들에 통합될 수 있다. 디스플레이 링크들은 디스플레이들을 적절한 소스 디바이스들에 접속하는데 사용된다. 디스플레이 링크들의 대역폭 요건들은 디스플레이들의 해상도에 비례하고, 따라서 고해상도 디스플레이들은 큰 대역폭 디스플레이 링크들을 요구한다. 일부 디스플레이 링크들은 고해상도 디스플레이들을 지원하기 위한 대역폭을 가지지 않는다. 비디오 압축은, 더 낮은 대역폭 디스플레이 링크들이 디지털 비디오를 고해상도 디스플레이들에 제공하는데 사용될 수 있도록, 대역폭 요건들을 감소시키는데 사용될 수 있다.
다른 것들은 픽셀 데이터에 이미지 압축을 활용하는 것을 시도한다. 하지만, 그러한 방식들은 종종, 시각적으로 무손실이 아니거나 또는 종래의 디스플레이 디바이스들에서 구현하기에 어렵고 비쌀 수 있다.
비디오 전자 표준 협회 (VESA) 는 디스플레이 링크 비디오 압축을 위한 표준으로서 디스플레이 스트림 압축 (DSC) 을 개발하였다. DSC 와 같은 디스플레이 링크 비디오 압축 기술은 다른 것들 중에서, 시각적으로 손실이 없는 픽처 품질 (예컨대, 사용자들이 압축이 활성이라고 말할 수 없도록 하는 품질의 레벨을 갖는 픽처들) 을 제공해야만 한다. 디스플레이 링크 비디오 압축 기법은 또한, 종래의 하드웨어로 실시간으로 구현하기에 용이하고 저렴한 방식을 제공해야 한다.
본 개시물의 시스템들, 방법들 및 디바이스들 각각은 여러 혁신적인 양태들을 가지며, 이들 중 어느 것도 본원에서 개시된 바람직한 속성들에 대해 독자적으로 책임지는 것은 아니다.
일 양태에서, 복수의 비디오 샘플들을 갖는 비디오 정보를 코딩하기 위한 방법들 및 장치가 개시된다. 비디오 샘플들은 단일 클록 사이클 내의 송신을 위해 그룹들로 파티셔닝되고, 여기서 샘플들은 비트 길이 B 와 연관되며, 그룹은 그룹 사이즈 K 를 갖는다. 샘플 그룹은 코드 번호에 맵핑되고 코딩되어 맵핑을 수행하는데 사용되는 룩업 테이블의 타입을 식별하는 제 1 부분 및 그룹의 샘플들을 표현하는 제 2 부분을 포함하는 벡터 기반 코드를 형성한다. 룩업 테이블은 상이한 샘플 그룹들의 발생 확률들에 기초하여 구성될 수도 있다. 또한, 다른 유형들의 룩업 테이블들이 상이한 B 및 K 값들에 대해 사용될 수도 있다.
도 1a 는 본 개시물에서 설명된 양태들에 따른 기술들을 활용할 수도 있는 예시적인 비디오 인코딩 및 디코딩 시스템을 도시한 블록 다이어그램이다.
도 1b 는 본 개시물에서 설명된 양태들에 따른 기술들을 수행할 수도 있는 다른 예시적인 비디오 인코딩 및 디코딩 시스템을 도시한 블록 다이어그램이다.
도 2a 는 본 개시물에서 설명된 양태들에 따른 기술들을 구현할 수도 있는 비디오 인코더의 예를 도시한 블록 다이어그램이다.
도 2b 는 본 개시물에서 설명된 양태들에 따른 기술들을 구현할 수도 있는 비디오 디코더의 예를 도시한 블록 다이어그램이다.
도 3 은 양자화 파라미터 (QP) 조정 값(들)을 결정하기 위한 예시적인 접근 방식을 도시한다.
도 4 는 K = 4 샘플들을 갖는 벡터에 대한 DSU-VLC 구조를 도시한다.
도 5 는 4 개의 샘플들의 예시적인 그룹에 대한 DSU-VLC 코드를 도시한다.
도 6 은 2×8 블록들이 4 개의 그룹으로 파티셔닝되는 균일한 그룹핑의 일 예를 도시한다.
도 7 은 벡터 기반 EC 프로세스의 예시적인 블록 다이어그램을 도시한다.
도 8 은 사용된 LUT 의 타입이 명시적으로 시그널링되는, K = 4 의 샘플을 포함하는 그룹을 코딩하는데 사용될 수도 있는 벡터 기반 EC 의 구조를 도시한다.
도 9 는 결합된 LUT 타입 신호 및 VLC 코드 프리픽스를 포함하는 코드를 도시한다.
도 10a 및 도 10b 는 부호 크기 표현을 사용하여 복수의 샘플 벡터들을 엔트로피 코딩하는 일 예를 도시한다.
도 11은 부호 크기를 사용하여 코딩된 샘플 벡터들을 파싱하고 디코딩하는데 필요할 수도 있는 클록 사이클들의 수를 예시하는 예시적인 그래프를 도시한다.
도 12 는 복수의 샘플 벡터들의 하이브리드 엔트로피 코딩의 일 예를 도시한다.
도 13 은 하이브리드 코딩 방식을 사용하여 코딩된 샘플 벡터들을 파싱하고 디코딩하는데 필요할 수도 있는 클록 사이클들의 수를 예시하는 예시적인 그래프를 도시한다.
도 14a 및 도 14b 는 샘플 벡터 데이터를 인코딩/디코딩하기 위한 프로세스들의 흐름도들을 도시한다.
도 15 는 하이브리드 코딩을 사용하여 샘플 벡터 데이터를 인코딩하기 위한 예시적인 프로세스의 흐름도를 도시한다.
일반적으로, 본 개시는 디스플레이 스트림 압축 (DSC) 과 같은 비디오 압축 기법들을 개선하는 기법들과 관련된다. 더 구체적으로, 본 개시는 블록 값들을 샘플 벡터들로 파티셔닝하고 샘플 벡터들의 발생 확률에 적어도 부분적으로 기초하여 샘플 벡터들을 코딩함으로써, 클록 사이클 당 다수의 샘플 값들을 송신하는 시스템들 및 방법들에 관한 것이다.
특정 실시형태들이 DSC 표준의 맥락에서 본 명세서에 설명되지만, 당업자는 본 명세서에 개시된 시스템들 및 방법들이 임의의 적합한 비디오 코딩 표준에 적용가능할 수도 있음을 인식할 것이다. 예를 들어, 본원에 개시된 실시형태들은 다음 표준들: ITU-T (International Telecommunication Union (ITU) Telecommunication Standardization Sector) H.261, 즉 ISO/IEC (International Organization for Standardization/International Electrotechnical Commission) MPEG1 (Moving Picture Experts Group-1) Visual, ITU-T H.262 또는 ISO/IEC MPEG-2 Visual, ITU-T H.263, 즉 ISO/IEC MPEG4 Visual, (또한 ISO/IEC MPEG-4 AVC 로 알려진) ITU-T H.264, 고효율 비디오 코딩 (HEVC), 및 그러한 표준들에 대한 임의의 확장물들 중 하나 이상에 적용가능할 수도 있다. 본 명세서에 설명된 기법들은 특히, 일정 비트 레이트 (CBR) 버퍼 모델을 포함하는 표준들에 적용가능할 수도 있다. 또한, 본 개시물에 설명된 기술들은 향후 개발되는 표준들의 부분이 될 수도 있다. 즉, 본 개시물에서 설명된 기술들은 이전에 개발된 비디오 코딩 표준들, 현재 개발 중인 비디오 코딩 표준들, 및 다가오는 비디오 코딩 표준들에 적용가능할 수도 있다.
본 개시의 개념들은, 실질적으로 시각적으로 무손실 성능을 갖는 다양한 타입들의 컨텐츠를 인코딩/디코딩하는 것을 목표로 한, 수개의 엘리먼트들 및/또는 모드들을 포함하는 코덱 (예를 들어, DSC) 에 통합되거나 그 부분일 수도 있다. 본 개시는 비디오 샘플들을 단일 클록 사이클 내의 송신을 위한 그룹들로 파티셔닝하기 위한 시스템들 및 방법들을 제공하며, 여기서 샘플들은 비트 길이 B 와 연관되며, 그룹은 그룹 사이즈 K 를 갖는다. 샘플 그룹은 코드 번호에 맵핑되고 코딩되어 맵핑을 수행하는데 사용되는 룩업 테이블의 타입을 식별하는 제 1 부분 및 그룹의 샘플들을 표현하는 제 2 부분을 포함하는 벡터 기반 코드를 형성할 수 있다. 룩업 테이블은 상이한 샘플 그룹들의 발생 확률들에 기초하여 구성될 수도 있다. 또한, 다른 유형들의 룩업 테이블들이 상이한 B 및 K 값들에 대해 사용될 수도 있고, 더 효율적인 코딩을 허용한다.
비디오 코딩 표준들
비디오 이미지, TV 이미지, 스틸 이미지 또는 비디오 레코더 또는 컴퓨터에 의해 생성된 이미지와 같은 디지털 이미지는 수평 라인과 수직 라인으로 배열되는 픽셀들 또는 샘플들을 포함할 수도 있다. 단일 이미지에서 픽셀들의 수는 통상적으로 수만 개이다. 각각의 픽셀은 통상적으로, 휘도 및 색차 정보를 포함한다. 압축 없이, 이미지 인코더로부터 이미지 디코더로 전달될 정보의 순수한 양은 실시간 이미지 송신을 실현 불가능하게 할 것이다. 송신될 정보의 양을 감소시키기 위해, JPEG, MPEG 및 H.263 표준들과 같은 다수의 상이한 압축 방법들이 개발되었다.
비디오 코딩 표준들은, ITU-T H.261, ISO/IEC MPEG-1 Visual, ITU-T H.262 또는 ISO/IEC MPEG-2 Visual, ITU-T H.263, ISO/IEC MPEG-4 Visual, ITU-T H,264 (ISO/IEC MPEG-4 AVC 로서 또한 공지됨), 및 그러한 표준들의 확장물들을 포함하는 HEVC 를 포함한다.
추가로, 비디오 코딩 표준, 즉 DSC 는 VESA 에 의해 개발되었다. DSC 표준은 디스플레이 링크들을 통한 통신을 위해 비디오를 압축할 수 있는 비디오 압축 표준이다. 디스플레이들의 해상도가 증가함에 따라, 디스플레이들을 구동하는데 필요한 비디오 데이터의 대역폭이 상응하여 증가한다. 일부 디스플레이 링크들은 모든 비디오 데이터를 그러한 해상도들에 대한 디스플레이로 송신하기 위한 대역폭을 가지지 않을 수도 있다. 따라서, DSC 표준은 디스플레이 링크들을 통한 상호 운용적인, 시각적으로 무손실의 압축을 위한 압축 표준을 명시한다.
DSC 표준은 H.264 및 HEVC 와 같은 다른 비디오 코딩 표준들과 상이하다. DSC 는 인트라-프레임 압축을 포함하지만, 인터-프레임 압축을 포함하지 않으며, 이는 시간 정보가 비디오 데이터를 코딩하는데 있어 DSC 표준에 의해 사용되지 않을 수도 있는 것을 의미한다. 대조적으로, 다른 비디오 코딩 표준들은 그들의 비디오 코딩 기술들에서 인터-프레임 압축을 채용할 수도 있다.
비디오 코딩 시스템
신규한 시스템들, 장치들, 및 방법들의 다양한 양태들이 첨부 도면들을 참조하여 이하 더 충분히 설명된다. 하지만, 본 개시물은 다수의 상이한 형태들로 구현될 수도 있으며, 본 개시 전반에 걸쳐 제시된 임의의 특정 구조 또는 기능으로 한정되는 것으로서 해석되지 않아야 한다. 대신, 이들 양태들은, 본 개시물이 철저하고 완벽하며 또한 본 개시물의 범위를 당업자에게 충분히 전달하게 하도록 제공된다. 본 명세서에서의 교시들에 기초하여, 당업자는, 본 개시물의 임의의 다른 양태와 독립적으로 구현되든 또는 임의의 다른 양태와 결합되든, 본 개시물의 범위가 본 명세서에 개시된 신규한 시스템들, 장치들, 및 방법들의 임의의 양태를 커버하도록 의도됨을 인식할 것이다. 예를 들어, 본 명세서에서 설명된 임의의 수의 양태들을 이용하여 일 장치가 구현될 수도 있거나 일 방법이 실시될 수도 있다. 부가적으로, 본 개시물의 범위는, 본 명세서에서 설명된 본 개시물의 다양한 양태들에 부가한 또는 그 이외의 구조 및 기능, 또는 다른 구조, 기능을 이용하여 실시되는 그러한 장치 또는 방법을 커버하도록 의도된다. 본 명세서에서 개시된 임의의 양태는 청구항의 하나 이상의 엘리먼트들에 의해 구현될 수도 있음이 이해되어야 한다.
특정 양태들이 본 명세서에서 설명되지만, 이들 양태들의 다수의 변형예들 및 치환예들은 본 개시의 범위 내에 있다. 바람직한 양태들의 일부 이익들 및 이점들이 언급되지만, 본 개시물의 범위는 특정 이익들, 사용들, 또는 목적들에 한정되도록 의도되지 않는다. 대신, 본 개시물의 양태들은 상이한 무선 기술들, 시스템 구성들, 네트워크들, 및 송신 프로토콜들에 널리 적용가능하도록 의도되며, 이들 중 일부는 도면들에서, 그리고 선호된 양태들의 다음의 설명에서 예로써 예시된다. 상세한 설명 및 도면들은 한정하는 것보다는 본 개시물의 단지 예시일 뿐이며, 본 개시물의 범위는 첨부된 청구항들 및 그 균등물들에 의해 정의된다.
첨부된 도면들은 예들을 도시한다. 첨부된 도면들에서 참조 번호들로 표시된 엘리먼트들은 이하 설명에서 유사한 참조 번호들에 의해 표시된 엘리먼트들에 대응한다. 본 개시물에서, 서수 (예컨대, "제 1", "제 2", "제 3", 등) 로 시작하는 명칭들을 갖는 엘리먼트들은 그 엘리먼트들이 특정 순서를 가지는 것을 반드시 의미하는 것은 아니다. 오히려, 그러한 서수들은 단지 동일하거나 유사한 타입의 상이한 엘리먼트들을 지칭하는데 사용된다.
도 1a 는 본 개시물에서 설명된 양태들에 따른 기법들을 활용할 수도 있는 예시적인 비디오 코딩 시스템 (10) 을 예시하는 블록 다이어그램이다. 본원에서 설명되어 사용되는 바와 같이, 용어 "비디오 코더" 또는 "코더" 는 일반적으로 비디오 인코더들 및 비디오 디코더들 양자를 지칭한다. 본 개시물에 있어서, 용어들 "비디오 코딩" 또는 "코딩" 은 일반적으로 비디오 인코딩 또는 비디오 디코딩을 지칭할 수도 있다. 비디오 인코더들 및 비디오 디코더들에 부가하여, 본 출원에서 설명된 양태들은 트랜스코더들 (예컨대, 비트스트림을 디코딩하고 다른 비트스트림을 재인코딩할 수 있는 디바이스들) 및 미들박스들 (예컨대, 비트스트림을 수정하고, 변환하고, 및/또는 그렇지 않으면 조작할 수 있는 디바이스들) 과 같은 다른 관련 디바이스들로 확장될 수도 있다.
도 1a 에 도시된 바와 같이, 비디오 코딩 시스템 (10) 은, 목적지 디바이스 (14) 에 의해 더 나중 시간에 디코딩될 인코딩된 비디오 데이터를 생성하는 소스 디바이스 (12) 를 포함한다. 도 1a 의 예에서, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 별개의 디바이스들을 구성한다. 그러나, 소스 디바이스 (12) 및 목적지 디바이스 (14) 가 도 1b 의 예에 도시된 바와 같이 동일한 디바이스 상에 있거나 또는 그 부분일 수도 있다는 점에 유의한다.
도 1a 를 다시 한 번 참조하면, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 데스크탑 컴퓨터들, 노트북 (예를 들어, 랩탑) 컴퓨터들, 태블릿 컴퓨터들, 셋탑 박스들, 소위 "스마트" 폰들과 같은 전화기 핸드셋들, 소위 "스마트" 패드들, 텔레비전들, 카메라들, 디스플레이 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 콘솔들, 차량내 컴퓨터들, 비디오 스트리밍 디바이스들, 아이웨어 및/또는 웨어러블 컴퓨터와 같은 엔티티 (예를 들어, 인간, 동물, 및/또는 다른 제어된 디바이스) 에 의해 (엔티티에) 착용가능한 (또는 착탈가능하게 부착가능한) 디바이스들, 엔티티 내에서 소비되거나 입수되거나 또는 배치될 수 있는 디바이스들 또는 장치들 등을 포함한 광범위한 디바이스들 중 임의의 디바이스를 각각 포함할 수도 있다. 다양한 실시형태들에 있어서, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 무선 통신을 위해 장비될 수도 있다.
목적지 디바이스 (14) 는 디코딩될 인코딩된 비디오 데이터를 링크 (16) 를 통해 수신할 수도 있다. 링크 (16) 는 인코딩된 비디오 데이터를 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로 이동 가능한 임의의 타입의 매체 또는 디바이스를 포함할 수도 있다. 도 1a 의 예에 있어서, 링크 (16) 는, 소스 디바이스 (12) 로 하여금 인코딩된 비디오 데이터를 목적지 디바이스 (14) 로 실시간으로 송신할 수 있게 하는 통신 매체를 포함할 수도 있다. 인코딩된 비디오 데이터는 무선 통신 프로토콜과 같은 통신 표준에 따라 변조되고, 목적지 디바이스 (14) 로 송신될 수도 있다. 통신 매체는 무선 주파수 (RF) 스펙트럼 또는 하나 이상의 물리적인 송신 라인들과 같은 임의의 무선 또는 유선 통신 매체를 포함할 수도 있다. 통신 매체는 로컬 영역 네트워크, 광역 네트워크, 또는 인터넷과 같은 글로벌 네트워크와 같은 패킷 기반 네트워크의 부분을 형성할 수도 있다. 통신 매체는 라우터들, 스위치들, 기지국들, 또는 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로의 통신을 용이하게 하는데 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다.
도 1a 의 예에 있어서, 소스 디바이스 (12) 는 비디오 소스 (18), 비디오 인코더 (20), 및 출력 인터페이스 (22) 를 포함한다. 일부 경우들에 있어서, 출력 인터페이스 (22) 는 변조기/복조기 (모뎀) 및/또는 송신기를 포함할 수도 있다. 소스 디바이스 (12) 에 있어서, 비디오 소스 (18) 는 비디오 캡처 디바이스, 예를 들어, 비디오 카메라, 이전에 캡처된 비디오를 포함하는 비디오 아카이브, 비디오 콘텐츠 제공자로부터 비디오를 수신하기 위한 비디오 피드 인터페이스, 및/또는 컴퓨터 그래픽스 데이터를 소스 비디오로서 생성하기 위한 컴퓨터 그래픽스 시스템과 같은 소스, 또는 그러한 소스들의 조합을 포함할 수도 있다. 일 예로서, 도 1b 의 예에 도시된 바와 같이, 비디오 소스 (18) 가 비디오 카메라이면, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 소위 "카메라 폰들" 또는 "비디오 폰들"을 형성할 수도 있다. 하지만, 본 개시에서 설명된 기술들은 일반적으로 비디오 코딩에 적용가능할 수도 있으며, 무선 및/또는 유선 애플리케이션들에 적용될 수도 있다.
캡처되거나 사전-캡처되거나 또는 컴퓨터 생성된 비디오는 비디오 인코더 (20) 에 의해 인코딩될 수도 있다. 인코딩된 비디오 데이터는 소스 디바이스 (12) 의 출력 인터페이스 (22) 를 통해 목적지 디바이스 (14) 에 송신될 수도 있다. 인코딩된 비디오 데이터는 또한 (또는 대안적으로), 디코딩 및/또는 플레이백을 위한 목적지 디바이스 (14) 또는 다른 디바이스들에 의한 더 나중의 액세스를 위해 저장 디바이스 (31) 상으로 저장될 수도 있다. 도 1a 및 도 1b 에 예시된 비디오 인코더 (20) 는 도 2 에 예시된 비디오 인코더 (20), 또는 본원에서 설명되는 임의의 다른 비디오 인코더를 포함할 수도 있다.
도 1a 의 예에 있어서, 목적지 디바이스 (14) 는 입력 인터페이스 (28), 비디오 디코더 (30), 및 디스플레이 디바이스 (32) 를 포함한다. 일부 경우들에 있어서, 입력 인터페이스 (28) 는 수신기 및/또는 모뎀을 포함할 수도 있다. 목적지 디바이스 (14) 의 입력 인터페이스 (28) 는 인코딩된 비디오 데이터를 링크 (16) 상으로 및/또는 저장 디바이스 (31) 로부터 수신할 수도 있다. 링크 (16) 상으로 통신되는 또는 저장 디바이스 (31) 상에 제공되는 인코딩된 비디오 데이터는, 비디오 데이터를 디코딩함에 있어서 비디오 디코더 (30) 와 같은 비디오 디코더에 의한 사용을 위해 비디오 인코더 (20) 에 의해 생성된 다양한 신택스 엘리먼트들을 포함할 수도 있다. 그러한 신택스 엘리먼트들에는, 통신 매체 상으로 송신되거나 저장 매체 상에 저장되거나 또는 파일 서버에 저장되는 인코딩된 비디오 데이터가 포함될 수도 있다. 도 1a 및 도 1b 에 예시된 비디오 디코더 (30) 는 도 2b 에 예시된 비디오 디코더 (30), 또는 본원에서 설명되는 임의의 다른 비디오 디코더를 포함할 수도 있다.
디스플레이 디바이스 (32) 는 목적지 디바이스 (14) 와 통합될 수도 있거나 또는 목적지 디바이스 (14) 외부에 있을 수도 있다. 일부 예들에 있어서, 목적지 디바이스 (14) 는 통합된 디스플레이 디바이스를 포함할 수도 있고, 또한 외부 디스플레이 디바이스와 인터페이싱하도록 구성될 수도 있다. 다른 예들에 있어서, 목적지 디바이스 (14) 는 디스플레이 디바이스일 수도 있다. 일반적으로, 디스플레이 디바이스 (32) 는 디코딩된 비디오 데이터를 사용자에게 디스플레이하며, 액정 디스플레이 (LCD), 플라즈마 디스플레이, 유기 발광 다이오드 (OLED) 디스플레이, 또는 다른 타입의 디스플레이 디바이스와 같은 다양한 디스플레이 디바이스들 중 임의의 디바이스를 포함할 수도 있다.
관련된 양태들에서, 도 1b 는 예시적인 비디오 코딩 시스템 (10') 을 도시하며, 여기서 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 디바이스 (11) 상에 또는 부분에 있다. 디바이스 (11) 는 "스마트" 폰 등과 같은 전화기 핸드셋일 수도 있다. 디바이스 (11) 는 소스 디바이스 (12) 및 목적지 디바이스 (14) 와 통신가능하게 동작하는 프로세서/제어기 디바이스 (13) (옵션적으로 존재함) 을 포함할 수도 있다. 도 1b 의 비디오 코딩 시스템 (10'), 및 그의 컴포넌트들은, 그 밖의 점에서는, 도 1a 의 비디오 코딩 시스템 (10), 및 그의 컴포넌트들과 유사하다.
비디오 인코더 (20) 및 비디오 디코더 (30) 는 DSC 와 같은 비디오 압축 표준에 따라 동작할 수도 있다. 대안적으로, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 MPEG-4, 파트 10, AVC, HEVC 와 같은 다른 전매특허 또는 산업 표준들, 또는 그러한 표준들의 확장들에 따라 동작할 수도 있다. 하지만, 본 개시의 기술들은 임의의 특정 코딩 표준으로 한정되지 않는다. 비디오 압축 표준들의 다른 실시예들은 MPEG-2 및 ITU-T H.263을 포함한다.
비록 도 1a 및 도 1b 에 도시되지는 않지만, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 오디오 인코더 및 디코더와 각각 통합될 수도 있으며, 오디오 및 비디오 양자의 인코딩을 공통 데이터 스트림 또는 별개의 데이터 스트림들로 처리하기 위해 적절한 MUX-DEMUX 유닛들 또는 다른 하드웨어 및 소프트웨어를 포함할 수도 있다. 적용가능하다면, 일부 예들에 있어서, MUX-DEMUX 유닛들은 ITU H.223 멀티플렉서 프로토콜, 또는 사용자 데이터그램 프로토콜 (UDP) 과 같은 다른 프로토콜들에 부합할 수도 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSP들), 주문형 집적회로들 (ASIC들), 필드 프로그래밍가능 게이트 어레이들 (FPGA들), 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합들과 같은 다양한 적합한 인코더 회로 중 임의의 회로로서 구현될 수도 있다. 기술들이 부분적으로 소프트웨어로 구현될 경우, 디바이스는 적합한 비-일시적인 컴퓨터 판독가능 매체에 소프트웨어에 대한 명령들을 저장하고, 본 개시의 기술들을 수행하기 위해 하나 이상의 프로세서들을 사용하는 하드웨어로 명령들을 실행할 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 하나 이상의 인코더들 또는 디코더들에 포함될 수도 있으며, 이들 중 어느 하나는 개별 디바이스에 있어서 결합된 인코더/디코더의 부분으로서 통합될 수도 있다.
비디오 코딩 프로세스
상기에 간략히 언급된 바와 같이, 비디오 인코더 (20) 는 비디오 데이터를 인코딩한다. 비디오 데이터는 하나 이상의 픽처들을 포함할 수도 있다. 픽처들 각각은 비디오의 부분을 형성하는 스틸 이미지이다. 일부 예들에 있어서, 픽처는 비디오 "프레임" 으로서 지칭될 수도 있다. 비디오 인코더 (20) 가 비디오 데이터를 인코딩할 경우, 비디오 인코더 (20) 는 비트스트림을 생성할 수도 있다. 비트스트림은, 비디오 데이터의 코딩된 표현을 형성하는 비트들의 시퀀스를 포함할 수도 있다. 비트스트림은 코딩된 픽처들 및 관련 데이터를 포함할 수도 있다. 코딩된 픽처는 픽처의 코딩된 표현이다.
비트스트림을 생성하기 위해, 비디오 인코더 (20) 는 비디오 데이터에서 각각의 픽처에 인코딩 동작들을 수행할 수도 있다. 비디오 인코더 (20) 가 픽처들에 인코딩 동작들을 수행할 경우, 비디오 인코더 (20) 는 코딩된 픽처들 및 연관된 데이터의 시리즈를 생성할 수도 있다. 관련 데이터는 QP 와 같은 코딩 파라미터들의 세트를 포함할 수도 있다. 코딩된 픽처를 생성하기 위해, 비디오 인코더 (20) 는 픽처를 동일한-사이즈의 비디오 블록들로 분할할 수도 있다. 비디오 블록은 샘플들의 2 차원 어레이일 수도 있다. 코딩 파라미터들은 모든 비디오 데이터의 블록에 대한 코딩 옵션 (예컨대, 코딩 모드) 을 정의할 수도 있다. 코딩 옵션은 원하는 레이트-왜곡 성능을 달성하기 위해 선택될 수도 있다.
일부 예들에서, 비디오 인코더 (20) 는 픽처를 복수의 슬라이스들로 파티셔닝할 수도 있다. 슬라이스들의 각각은 이미지 또는 프레임에서의 영역들의 나머지로부터의 정보 없이 독립적으로 디코딩될 수 있는 이미지 (예컨대, 프레임) 에서의 공간적으로 별개의 영역을 포함할 수도 있다. 각각의 이미지 또는 비디오 프레임은 단일 슬라이스로 인코딩될 수도 있거나 또는 각각의 이미지 또는 비디오 프레임은 여러 슬라이스들로 인코딩될 수도 있다. DSC 에 있어서, 각각의 슬라이스를 인코딩하도록 할당된 타겟 비트들은 실질적으로 일정할 수도 있다. 픽처에 인코딩 동작을 수행하는 것의 일부로서, 비디오 인코더 (20) 는 픽처의 각 슬라이스에 인코딩 동작들을 수행할 수도 있다. 비디오 인코더 (20) 가 슬라이스에 대해 인코딩 동작을 수행할 때, 비디오 인코더 (20) 는 그 슬라이스와 연관되는 인코딩된 데이터를 발생할 수도 있다. 슬라이스와 연관된 인코딩된 데이터는 "코딩된 슬라이스" 로서 지칭될 수도 있다.
DSC 비디오 인코더
도 2a 는 본 개시물에서 설명하는 양태들에 따른 기법들을 구현할 수도 있는 예시적인 비디오 인코더 (20) 의 예를 예시하는 블록 다이어그램이다. 비디오 인코더 (20) 는 본 개시물의 기법들 중 일부 또는 모두를 수행하도록 구성될 수도 있다. 일부 예들에 있어서, 본 개시에서 설명된 기술들은 비디오 인코더 (20) 의 다양한 컴포넌트들 중에서 공유될 수도 있다. 일부 예들에 있어서, 추가적으로 또는 대안적으로, 프로세서 (도시 안 됨) 가 본 개시물에서 설명된 기술들의 일부 또는 전부를 수행하도록 구성될 수도 있다.
설명의 목적을 위해, 본 개시물은 DSC 코딩의 상황에서 비디오 인코더 (20) 를 기술한다. 하지만, 본 개시물의 기술들은 다른 코딩 표준들 또는 방법들에 적용가능할 수도 있다.
도 2a 의 예에서, 비디오 인코더 (20) 는 복수의 기능적 컴포넌트들을 포함한다. 비디오 인코더 (20) 의 기능 컴포넌트들은 컬러 공간 변환기 (105), 버퍼 (110), 평탄도 검출기 (115), 레이트 제어기 (120), 예측기, 양자화기, 및 복원기 컴포넌트 (125), 라인 버퍼 (130), 인덱싱된 컬러 이력 (135), 엔트로피 인코더 (140), 서브스트림 멀티플렉서 (145), 및 레이트 버퍼 (150) 를 포함한다. 다른 예들에 있어서, 비디오 인코더 (20) 는 더 많거나, 더 적거나, 또는 상이한 기능 컴포넌트들을 포함할 수도 있다.
컬러 공간 컨버터 (105) 는 입력 컬러 공간을, 코딩 구현에서 사용되는 컬러 공간으로 컨버팅할 수도 있다. 예를 들어, 하나의 예시적인 실시형태에 있어서, 입력 비디오 데이터의 컬러 공간은 적색, 녹색, 및 청색 (RGB) 컬러 공간에 있고, 코딩은 루미넌스 (Y), 크로미넌스 녹색 (Cg) 및 크로미넌스 주황색 Co (YCgCo) 컬러 공간에서 구현된다. 컬러 공간 변환은 비디오 데이터에 대한 시프트들 및 가산들을 포함한 방법(들)에 의해 수행될 수도 있다. 다른 컬러 공간들에서의 입력 비디오 데이터가 프로세싱될 수도 있고 다른 컬러 공간들로의 변환들이 또한 수행될 수도 있음이 주목된다.
관련된 양태들에서, 비디오 인코더 (20) 는 버퍼 (110), 라인 버퍼 (130), 및/또는 레이트 버퍼 (150) 를 포함할 수도 있다. 예를 들어, 버퍼 (110) 는 비디오 인코더 (20) 의 다른 부분들에 의한 그 사용 전에 컬러 공간 변환형 비디오 데이터를 보유할 수도 있다. 다른 예에 있어서, 비디오 데이터는 RGB 컬러 공간에 저장될 수도 있고, 컬러 공간 변환은 필요할 때 수행될 수도 있는데, 왜냐하면 컬러 공간 변환형 데이터는 더 많은 비트들을 요구할 수도 있기 때문이다.
레이트 버퍼 (150) 는 비디오 인코더 (20) 에서의 레이트 제어 메커니즘의 부분으로서 기능할 수도 있으며, 이는 레이트 제어기 (120) 와 관련하여 하기에서 더 상세히 설명될 것이다. 각각의 블록을 인코딩하는데 쓴 비트들은 블록의 본성에 기초하여 매우 실질적으로 변할 수 있다. 레이트 버퍼 (150) 는 압축된 비디오에서의 레이트 변동들을 평활화할 수 있다. 일부 실시형태들에 있어서, 비트들이 일정 비트 레이트에서 버퍼로부터 취해지는 CBR 버퍼 모델이 채용된다. CBR 버퍼 모델에 있어서, 비디오 인코더 (20) 가 비트스트림에 너무 많은 비트들을 부가하면, 레이트 버퍼 (150) 는 오버플로우할 수도 있다. 다른 한편, 비디오 인코더 (20) 는 레이트 버퍼 (150) 의 언더플로우를 방지하기 위하여 충분한 비트들을 부가해야 한다.
비디오 디코더 측에서, 비트들이 비디오 디코더 (30) 의 레이트 버퍼 (155) (아래에서 더 상세히 설명되는 도 2b 참조) 에 고정 비트 레이트로 추가될 수도 있으며, 비디오 디코더 (30) 가 각각의 블록에 대하여 가변 수의 비트들을 제거할 수도 있다. 적절한 디코딩을 보장하기 위해, 비디오 디코더 (30) 의 레이트 버퍼 (155) 는 압축된 비트 스트림의 디코딩 동안 "언더플로우" 또는 "오버플로우"하지 않아야 한다.
일부 실시형태들에 있어서, 버퍼 충만도 (BF) 는 버퍼에서의 현재 비트들의 수를 표현하는 값 BufferCurrentSize 및 레이트 버퍼 (150) 의 사이즈, 예컨대, 임의의 시점에서 레이트 버퍼 (150) 에 저장될 수 있는 비트들의 최대 수를 표현하는 값 BufferMaxSize 에 기초하여 정의될 수 있다. BF 는 다음과 같이 계산될 수도 있다:
Figure pct00001
BF 를 계산하기 위한 상기 접근법은 단지 예시적일 뿐이며, BF 는 특정 구현 또는 맥락에 의존하여 임의의 수의 상이한 방식들로 계산될 수도 있음이 주목된다.
편평도 검출기 (115) 는 비디오 데이터에서의 복잡한 (예컨대, 비-편평한) 영역들로부터 비디오 데이터에서의 편평한 (예컨대, 간단한 또는 균일한) 영역들로의 및/또는 그 역으로의 변화들을 검출할 수 있다. 용어들 "복잡한" 및 "편평한" 은 본원에서 일반적으로 비디오 인코더 (20) 가 비디오 데이터의 개개의 영역들을 인코딩하는데 있어서의 어려움을 지칭하기 위해 사용될 것이다. 따라서, 본원에서 사용되는 것과 같은 용어 "복잡한" 은, 일반적으로 비디오 인코더 (20) 가 인코딩하기에 복잡한 것과 같은 비디오 데이터의 영역을 기술하며, 예를 들어, 텍스쳐된 비디오 데이터, 높은 공간 주파수, 및/또는 인코딩하기에 복잡한 다른 피처들을 포함할 수도 있다. 본원에서 사용되는 것과 같은 용어 "편평한" 은, 일반적으로 비디오 인코더 (20) 가 인코딩하기에 간단한 것과 같은 비디오 데이터의 영역을 기술하며, 예를 들어, 비디오 데이터에서의 평활한 입도 (smooth gradient), 낮은 공간 주파수, 및/또는 인코딩하기에 간단한 다른 피처들을 포함할 수도 있다. 복잡한 영역으로부터 편평한 영역으로의 천이들은 인코딩된 비디오 데이터에서의 양자화 아티팩트들을 감소하도록 비디오 인코더 (20) 에 의해 사용될 수도 있다. 구체적으로, 레이트 제어기 (120) 및 예측기, 양자화기, 및 복원기 컴포넌트 (125) 는 복잡한 영역으로부터 편평한 영역으로의 천이들이 식별될 때 이러한 양자화 아티팩트들을 감소시킬 수 있다. 유사하게, 편평한 영역으로부터 복잡한 영역으로의 천이들이, 현재 블록을 코딩하는데 요구되는 예상된 레이트를 감소하기 위하여 QP 를 증가하도록 비디오 인코더 (20) 에 의해 사용될 수도 있다.
레이트 제어기 (120) 는 코딩 파라미터들의 세트, 예컨대, QP 를 결정한다. QP 는, 레이트 버퍼 (150) 가 오버플로우 또는 언더플로우하지 않음을 보장하는 타겟 비트 레이트에 대한 픽처 품질을 최대화하기 위하여 레이트 버퍼 (150) 의 버퍼 충만도 및 비디오 데이터의 이미지 활성도 (예를 들어, 복잡한 영역들로부터 편평한 영역들로의 또는 그 역으로의 천이) 에 기초하여 레이트 제어기 (120) 에 의해 조정될 수도 있다. 레이트 제어기 (120) 는 또한 최적의 레이트-왜곡 성능을 달성하기 위해 비디오 데이터의 각각의 블록에 대한 특정의 코딩 옵션 (예컨대, 특정의 모드) 을 선택한다. 레이트 제어기 (120) 는, 비트-레이트 제약을 만족시키도록, 예컨대, 전체 실제 코딩 레이트가 타겟 비트 레이트 내에 맞도록, 복원된 이미지들의 왜곡을 최소화한다. 따라서, 레이트 제어기 (120) 의 하나의 목적은, 레이트-왜곡 성능을 최대화하면서 레이트에 대한 순시 및 평균 제약들을 만족시키기 위해 QP(들), 코딩 모드(들) 등과 같은 코딩 파라미터들의 세트를 결정하는 것이다.
예측기, 양자화기, 및 복원기 컴포넌트 (125) 는 비디오 인코더 (20) 의 적어도 3개의 인코딩 동작들을 수행할 수도 있다. 예측기, 양자화기, 및 복원기 컴포넌트 (125) 는 다수의 상이한 모드들에서 예측을 수행할 수도 있다. 하나의 예시적인 예측 모드는 중간값-적응 예측의 수정된 버전이다. 중간값-적응 예측은 무손실 JPEG 표준 (JPEG-LS) 에 의해 구현될 수도 있다. 예측기, 양자화기, 및 복원기 컴포넌트 (125) 에 의해 수행될 수도 있는 중간값-적응 예측의 수정 버전은 3 개의 연속된 샘플 값들의 병렬 예측을 가능하게 할 수도 있다. 다른 예시적인 예측 모드는 블록 예측이다. 블록 예측에서, 샘플들은 라인 상부에 있거나 또는 동일한 라인에서 좌측에 있는 이전에 복원된 픽셀들로부터 예측된다. 일부 실시형태들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 가 양쪽 다 복원된 픽셀들에 대해 동일한 탐색을 수행하여 블록 예측 사용량들을 결정할 수도 있으며, 따라서, 블록 예측 모드에서 어떤 비트들도 송신될 필요가 없다. 다른 실시형태들에서, 비디오 인코더 (20) 는 비디오 디코더 (30) 가 별개의 탐색을 수행할 필요가 없도록, 탐색을 수행하여 블록 예측 벡터들을 비트스트림으로 시그널링할 수도 있다. 컴포넌트 범위의 중간점을 이용하여 샘플들이 예측되는 중간점 (midpoint) 예측 모드가 또한 구현될 수도 있다. 중간점 예측 모드는, 심지어 최악의 경우 샘플에 있어서도 압축된 비디오에 대해 요구된 비트들의 수의 바운딩을 가능케 할 수도 있다.
예측기, 양자화기, 및 복원기 컴포넌트 (125) 는 또한 양자화를 수행한다. 예를 들어, 양자화는, 시프터를 이용하여 구현될 수도 있는 2 의 거듭제곱 양자화기를 통해 수행될 수도 있다. 다른 양자화 기법들이 2 의 거듭제곱 양자화기 대신 구현될 수도 있음이 주목된다. 예측기, 양자화기, 및 복원기 컴포넌트 (125) 에 의해 수행된 양자화는 레이트 제어기 (120) 에 의해 결정된 QP 에 기초할 수도 있다. 마지막으로, 예측기, 양자화기, 및 복원기 컴포넌트 (125) 는 또한, 예측된 값에 역양자화된 잔차를 부가하는 것 및 그 결과가 샘플 값들의 유효 범위 밖에 있지 않음을 보장하는 것을 포함한 복원을 수행한다.
예측기, 양자화기, 및 복원기 컴포넌트 (125) 에 의해 수행된 예측, 양자화, 및 복원에 대한 상기 설명된 예시적인 접근법들은 단지 예시적일 뿐이고 다른 접근법들이 구현될 수도 있음이 주목된다. 예측기, 양자화기, 및 복원기 컴포넌트 (125) 는 예측, 양자화, 및/또는 복원을 수행하기 위한 서브컴포넌트(들)를 포함할 수도 있음이 또한 주목된다. 예측, 양자화, 및/또는 복원은 예측기, 양자화기, 및 복원기 컴포넌트 (125) 대신 수개의 별도의 인코더 컴포넌트들에 의해 수행될 수도 있음이 추가로 주목된다.
라인 버퍼 (130) 는 예측기, 양자화기, 및 복원기 컴포넌트 (125) 로부터의 출력을 보유하여, 예측기, 양자화기, 및 복원기 컴포넌트 (125) 및 인덱싱된 컬러 이력 (135) 은 버퍼링된 비디오 데이터를 사용할 수 있다. 인덱싱된 컬러 이력 (135) 은 최근 사용된 픽셀 값들을 저장한다. 이들 최근 사용된 픽셀 값들은 전용 신택스를 통해 비디오 인코더 (20) 에 의해 직접 참조될 수 있다.
엔트로피 인코더 (140) 는, 편평도 검출기 (115) 에 의해 식별된 편평도 천이들 그리고 인덱싱된 컬러 이력 (135) 에 기초하여 예측기, 양자화기, 및 복원기 컴포넌트 (125) 로부터 수신된 예측 잔차들 및 임의의 다른 데이터 (예를 들어, 예측기, 양자화기, 및 복원기 컴포넌트 (125) 에 의해 식별된 인덱스들) 를 인코딩한다. 일부 예들에 있어서, 엔트로피 인코더 (140) 는 서브스트림 인코더 당 클록 당 3 개의 샘플들을 인코딩할 수도 있다. 서브스트림 멀티플렉서 (145) 는 헤더리스 (headerless) 패킷 멀티플렉싱 방식에 기초하여 비트스트림을 멀티플렉싱할 수도 있다. 이는 비디오 디코더 (30) 로 하여금 3 개의 엔트로피 디코더들을 병렬로 구동하게 하여, 클록당 3개의 픽셀들의 디코딩을 용이하게 한다. 서브스트림 멀티플렉서 (145) 는 패킷 순서를 최적화할 수도 있어서, 패킷들이 비디오 디코더 (30) 에 의해 효율적으로 디코딩될 수 있게 한다. 클록 당 2 의 거듭제곱 픽셀들 (예를 들어, 2 픽셀들/클록 또는 4 픽셀들/클록) 의 디코딩을 용이하게 할 수도 있는 엔트로피 코딩에 대한 상이한 접근법들이 구현될 수도 있음이 주목된다.
DSC 비디오 디코더
도 2b 는 본 개시에서 설명된 양태들에 따른 기법들을 구현할 수도 있는 비디오 디코더 (30) 의 일 예를 예시한 블록 다이어그램이다. 비디오 디코더 (30) 는 본 개시의 기법들 중 일부 또는 모두를 수행하도록 구성될 수도 있다. 일부 예들에 있어서, 본 개시에서 설명된 기법들은 비디오 디코더 (30) 의 다양한 컴포넌트들 중에서 공유될 수도 있다. 일부 예들에 있어서, 추가적으로 또는 대안적으로, 프로세서 (도시 안 됨) 가 본 개시물에서 설명된 기술들의 일부 또는 전부를 수행하도록 구성될 수도 있다.
설명의 목적들로, 본 개시는 DSC 코딩의 맥락에서 비디오 디코더 (30) 를 설명한다. 하지만, 본 개시물의 기술들은 다른 코딩 표준들 또는 방법들에 적용가능할 수도 있다.
도 2b 의 예에 있어서, 비디오 디코더 (30) 는 복수의 기능 컴포넌트들을 포함한다. 비디오 디코더 (30) 의 기능 컴포넌트들은 레이트 버퍼 (155), 서브스트림 디멀티플렉서 (160), 엔트로피 디코더 (165), 레이트 제어기 (170), 예측기, 양자화기, 및 복원기 컴포넌트 (175), 인덱싱된 컬러 이력 (180), 라인 버퍼 (185), 및 컬러 공간 변환기 (190) 를 포함한다. 비디오 디코더 (30) 의 도시된 컴포넌트들은 도 2a 에서의 비디오 인코더 (20) 와 관련하여 상기 설명된 대응하는 컴포넌트들과 유사하다. 이에 따라, 비디오 디코더 (30) 의 컴포넌트들 각각은 상기 설명된 바와 같은 비디오 인코더 (20) 의 대응하는 컴포넌트들과 유사한 방식으로 동작할 수도 있다.
QP 계산
하나의 접근법에서, 레이트 제어기 (120) 는 다음 방정식에 기초하여 비디오 데이터의 현재 블록 (currQP로 표시됨) 에 대한 QP를 유도하거나 계산할 수도 있다:
Figure pct00002
여기서, prevQP 는 이전 블록과 연관된 QP 이고, QpAdj 는 diffBits 의 크기에 기초하여 계산될 수도 있는 QP 오프셋 값 (예를 들어, QP 조정 값) 이다. diffBits 는 previousBlockBits 와 targetBits 간의 차이를 표현하고, 여기서 previousBlockBits 는 이전 블록을 코딩하는데 사용된 비트들의 수를 표현하고, targetBits 는 현재 블록을 코딩하기 위한 타겟 비트들의 수를 표현한다. previousBlockBits > targetBits 일 경우, diffBits 는 포지티브이고, 레이트 제어기 (120) 는 오프셋 값 QpAdj 을 prevQP 값에 가산함으로써 현재 블록 QP (currQP) 를 도출할 수도 있다. 즉, QP 값은, diffBits 가 포지티브일 경우 prevQP 값으로부터의 값에서 감소하지 않는다. previousBlockBits ≤ targetBits 일 경우, diffBits 는 네거티브이거나 제로이고, 레이트 제어기 (120) 에 의해 도출된 것과 같은 currQP 는 prevQP 값으로부터 증가하지 않는다. 일부 실시형태들에서, 레이트 제어기 (120) 는 QpAdj 가 diffBits 의 크기가 증가함에 따라 단조 증가하는 그러한 방식으로 diffBits 의 함수로서 오프셋 값 QpAdj 을 계산할 수도 있음이 주목된다.
도 3 은 QP 조정 값 QpAdj 을 계산하기 위한 예시적인 기법을 도시하는 그래프 (300) 를 도시한다. 그래프 (300) 는 0 에서 시작하는 diffBits 의 값들이 플롯되는 수평축 (302) 을 도시한다. 일부 구현들에서 diffBits > 0 일 경우, diffBits 의 값은 K 개의 임계 값들을 사용하여 K+1 개 범위들로 분류될 수도 있다. K 임계 값들은 라벨들 (임계치 1, 임계치 2, 임계치 3, …, 및 임계치 K) 에 의해 도 3 에 도시되고, K+1 범위들은 라벨들 (범위 1, 범위 2, 범위 3, …, 및 범위 K+1) 에 의해 도시된다. K+1 범위들의 각 범위는 특정 QpAdj 값과 연관될 수도 있다. 예를 들어, 레이트 제어기 (120) 는 diffBits 의 값의 범위 인덱스가 증가함에 따라 QpAdj 값을 증가시킬 수도 있다. 일부 실시형태들에서, diffBits ≤ 0 일 경우, 레이트 제어기 (120) 는 diffBits 의 절대 값을 (도시되지 않은) J 개의 임계 값들을 사용하여 J+1 개 범위들로 분류할 수도 있고, 특정 QpAdj 값은 J+1 개 범위들 각각에 대해 할당된다.
다른 양태들에 있어서, 레이트 제어기 (120) 는 버퍼 (110) 의 언더플로우 및/또는 오버플로우를 방지하기 위하여, 도 2a 에 도시된 버퍼 (110) 의 충만도에 기초하여 currQP 값을 조정할 수도 있다. 버퍼 (110) 의 충만도는 계산된 버퍼 충만도 파라미터 BF 로 표현될 수도 있다. 특히, BF 가 특정 임계치 (예를 들어, P1) 를 초과할 경우, 레이트 제어기 (120) 는 고정된 오프셋 값 (예를 들어, p1) 만큼 currQP 를 증분할 수도 있다. 예를 들어, currQP 는 다음과 같이 조정될 수도 있다: currQP += p1. 추가로, BF 가 특정 임계치 (예를 들어, Q1) 이하로 떨어질 경우, 레이트 제어기 (120) 는 고정된 값 q1 만큼 currQP 를 감분할 수도 있으며, 예를 들어, currQP -= q1 이다. 특정 양태에 있어서, 도 3 의 diffBits 와 관련하여 도시된 임계치들 및 범위들과 유사하게, BF 에 대한 복수의 임계치들이 채용될 수도 있다. 예를 들어, BF의 각 임계 값은 currQP 를 조정하기 위한 대응하는 오프셋 값과 연관될 수도 있다.
델타 사이즈 유닛 - 가변 길이 코딩
일부 실시형태들에서, 코더 (예를 들어, 비디오 인코더 (20) 또는 비디오 디코더 (30)) 는 저비용, 고정 레이트 시각적 무손실 압축을 제공하기 위해 델타 사이즈 유닛 (DSU) 코딩을 사용할 수도 있다. 코더는 (블록 사이즈 P × Q 를 갖는) 블록-기반 접근법에 기초하여 설계될 수도 있고, 다수의 코딩 모드들을 포함할 수도 있다. 예를 들어, 비디오 데이터의 각각의 블록 (310, 315) 에 대한 코딩 모드들은 변환 모드 (예를 들어, DCT, 하다마드), 블록 예측 모드, 차동 펄스 코드 변조 (DPCM) 모드, 패턴 모드, 중간점 예측 (MPP) 모드, 및/또는 중간점 예측 폴 백 (MPPF) 모드를 포함하지만, 이에 제한되지 않는다. 일부 실시형태들에서, 수개의 상이한 코딩 모드들이 상이한 타입들의 컨텐츠들 또는 이미지들을 효율적으로 압축하기 위해 인코더 (20) 에 의해 구현될 수 있다. 예를 들어, 일부 실시형태들에서, 인코더 (20) 는 패턴 모드를 사용하여 텍스트 이미지들을 압축하고, 변환 모드를 사용하여 자연 이미지들을 압축할 수도 있다.
일부 실시형태들에서, 인코더 (20) 는 레이트 제어 메커니즘 (예를 들어,도 2a 에 도시된 바와 같은 레이트 제어기 (120)) 에 기초하여 비디오 데이터의 각각의 개별 블록에 대한 복수의 코딩 모드들로부터 코딩 모드를 선택, 선정 또는 결정한다. 인코더 (20) 는 또한 비트스트림의 수신시, 디코더 (30) 가 비디오 데이터를 코딩하는데 사용된 코딩 모드를 결정할 수 있도록, 선택된 코딩 모드를 비디오 데이터 비트스트림에서 시그널링할 수도 있다. 레이트 제어기 (120) 는 모드의 레이트 및 왜곡 양자를 고려함으로써 각 블록에 대한 유효 코딩 모드를 선택하는 것을 목표로 할 수도 있다. 레이트 제어기 (120) 는 (도 2a 에 도시된 바와 같이) 버퍼 (110) 와 연관된 버퍼 모델 또는 입력되는 블록 데이터를 저장하기 위한 다른 타입의 메모리에 의해 지원될 수도 있다. 버퍼 (110) 는 예를 들어 DSC 와 같은 코덱의 요건에 따라, 버퍼 (110) 는 결코, (예컨대, 버퍼에서 제로 비트들보다 적은) 언더플로우 상태 또는 오버플로우 상태에 있지 않도록 구성될 수도 있다 (예컨대, 버퍼 사이즈는 설정된 최대 사이즈를 지나서 증가했다).
상술한 바와 같이, 인코더 (20) 의 예측기, 양자화기 및 복원기 컴포넌트 (125) 는 코딩된 비디오 데이터의 블록에서 손실을 유도할 수도 있는 양자화를 수행할 수도 있으며, 여기서 손실의 양은 블록의 양자화 파라미터 (QP) 에 의해 제어될 수 있다. 예를 들어, 일부 실시형태들에서, 예측기, 양자화기 및 복원기 컴포넌트 (125) 는 하나 이상의 비트평면들을 드롭함으로써 양자화를 수행할 수도 있으며, 여기서 드롭된 비트평면들의 수는 블록의 QP 와 연관된 양자화 스텝 사이즈로 표시될 수도 있다. 일부 실시형태들에서, 인코더 (20) 가 각각의 QP 에 대한 양자화 스텝 사이즈를 저장하는 대신에, 인코더 (20) 는 QP 의 함수로서 스케일링 매트릭스를 특정할 수도 있다. 각각의 QP 에 대한 양자화 스텝 사이즈는 스케일링 매트릭스로부터 도출될 수 있고, 여기서 도출된 값은 반드시 2 의 거듭제곱일 필요는 없고, 즉, 도출된 값은 또한 2 의 비-거듭제곱과 등가의 값일 수 있다. 일부 실시형태들에서, 인코더 (20) 에 의한 스케일링 매트릭스의 사용은 예측기, 양자화기 및 복원기 컴포넌트 (125) 가 비트평면들을 단순히 제거하는 것보다 더 큰 입도로 양자화를 수행하여, 잠재적으로 성능을 증가시키는 것을 허용할 수도 있다.
일부 실시형태들에서, 비디오 데이터의 주어진 블록에서 단일 컴포넌트 (예를 들어, 특정 컬러 성분, 루마 또는 크로마 컴포넌트 등) 의 모든 값들이 제로이면, 인코더 (20) 는 스킵 모드를 사용하여 블록을 효과적으로 코딩할 수도 있다. 스킵 모드 코딩에서, 인코더 (20) 는 현재 블록이 스킵 모드를 사용하여 코딩되는지 (컴포넌트의 모든 값들이 현재 블록에 대하여 제로인지) 아니면 스킵 모드에 있지 않은지 (블록에서의 컴포넌트의 적어도 하나의 값이 비-제로인지) 를 표시하는, 디코더 (30) 에 의해 판독될 수도 있는 신택스 엘리먼트 또는 표시자 (예를 들어, 1-비트 플래그) 를 코딩할 수도 있다.
일부 실시형태들에서, 인코더 (20) 는 프리픽스 부분들 및 서픽스 부분들을 사용하여 K-길이 샘플 벡터 ("그룹"으로도 지칭됨) 의 양자화된 잔차 값들을 코딩하기 위해 델타 사이즈 유닛-가변 길이 코딩 (DSU-VLC) 을 사용할 수도 있다. 샘플들은 예를 들어, RGB 444 의 경우, 단일 컬러 성분의 값을 참조할 수 있고, 각 픽셀은 3 개의 샘플들을 갖는다. 프리픽스 부분은 서픽스 부분을 뒤따르는 잔차 값의 사이즈 (예컨대, 비트들인 길이) 를 표시하지만 (사이즈는 B 비트들로 표시됨), 서픽스 부분은 샘플 벡터의 모든 샘플들의 실제 잔차 값을 표시한다. 일부 실시형태들에서, 그룹 내의 K 개의 잔차 값들의 각각은 동일한 수의 비트들을 사용하여 2 의 보수로 코딩된다.
도 4 는 일부 실시형태들에 따라 K = 4 샘플들을 갖는 샘플 벡터 (402) 를 코딩하기 위한 DSU-VLC 구조 (404) 를 도시한다. 일부 실시형태들에서, DSU-VLC 구조 (404) 는 도 2a 에 도시된 바와 같은 엔트로피 인코더 (140) 에 대응할 수도 있다. 샘플 벡터 (402) 는 비디오 데이터의 특정 컬러 성분의 잔차 값에 각각 대응하는, 복수의 샘플들을 포함할 수도 있다. 도 4 에 도시된 바와 같이, 샘플 벡터 (402) 는 4 개의 샘플들 (S0, S1, S2 및 S3) 을 포함할 수도 있다. DSU-VLC 구조 (404) 는 수신된 샘플 벡터 (402) 를 코딩하여 DSU-VLC 코드 (406) (이하, 코드 (406)) 를 형성할 수도 있다. 코드 (406) 는 프리픽스 (408) 및 서픽스 (410) 를 포함한다. 서픽스 (410) 는 샘플 벡터 (402) 의 수신 샘플 (예를 들어, S0, S1, 등) 에 각각 대응하는, 복수의 서픽스들 부분들 (예를 들어, 서픽스 1, 서픽스 2, 등) 을 포함한다. 코드 (406) 의 프리픽스 (408) 및 서픽스 (410) 에 대한 추가의 설명은 도 5 를 참조하여 아래에서 설명된다.
도 5 는 값들 [1, -2, -1, 0] 을 갖는 4 개의 샘플들을 포함하는 샘플 벡터 (도시되지 않음) 에 대해 엔트로피 인코더 (140) 에 의해 코딩될 수도 있는 코드 (502) 를 도시한다. 코드 (502) 는 도 4 에 도시된 코드 (406) 에 대응할 수도 있다. 또한, 코드 (502) 는 (각각, 도 4 의 프리픽스 (408) 및 서픽스 (410) 에 대응할 수도 있는) 프리픽스 (504) 및 서픽스 (506) 를 포함한다. 서픽스 (506) 는 샘플 벡터의 샘플 값에 각각 대응하는, 4 개의 서픽스 부분들을 포함한다.
2 의 보수 표현을 사용하여, 엔트로피 인코더 (140) 는 샘플 벡터의 샘플들의 각각을 코딩하기 위해 B = 2 비트들을 사용할 수도 있다. 코드 (502) 에서, 프리픽스 (504) 는 서픽스 (506) 의 코딩된 서픽스 부분들의 각각의 길이가 2 비트들임을 표시하는, 단항 코드 (unary code) '001' 를 사용하여 표현될 수도 있다. 서픽스 (506) 는 각각 2 비트들을 사용하여 코딩된, 실제 코딩된 샘플 값들 샘플 벡터를 각각 표현하는 값들 [01, 10, 11, 00] 로 표현될 수도 있다. 통상적으로 단일 클록에서 행해질 수도 있는 프리픽스 (504) 를 디코딩함으로써, 디코더 (30) 는 서픽스 (506) 의 모두 4 개의 심볼들을 병렬로 디코딩 가능할 수도 있다.
그룹 파티셔닝
도 6 은 일부 실시형태들에 따라, 비디오 데이터의 주어진 P × Q 블록의 샘플들을 복수의 샘플 벡터들 (그룹들) 로 파티셔닝하는 예를 도시한다. 도 6 에 도시된 바와 같이, 블록 (602) 은 16 샘플들을 포함하는 2 × 8 블록일 수도 있다. 블록 (602) 의 각 샘플은 블록 (602) 에 대응하는 비디오 데이터의 특정 컬러 성분의 양자화된 잔차 값에 대응할 수도 있다. 샘플들이 DSU-VLC 구조 (404) 를 사용하여 코딩되기 전에, 인코더 (20) 는 샘플들을 복수의 그룹들로 파티셔닝할 수도 있다. 예를 들어, 도 6 은 4 개의 샘플들 (예를 들어, 샘플 벡터들 (604A, 604B, 604C, 및 604D)) 을 각각 포함하는 4 개의 샘플 벡터들 (604) 로 파티셔닝된 블록 (602) 의 16 샘플들을 도시한다. DSU-VLC 구조 (404) 는 샘플 벡터들 (604A-604D) 을 코딩하여 (예를 들어, 도 4 에 도시된 바와 같은) 프리픽스 및 서픽스를 각각 갖는 코드들 (도시되지 않음) 을 생성할 수도 있다. 상술한 바와 같이, (도 3 에 도시된 바와 같은) 디코더 (30) 는 디코더 (30) 가 클록 사이클 당 4 개의 샘플들을 디코딩하도록, 코드들 각각의 프리픽스들 및 서픽스들을 병렬로 디코딩 가능할 수도 있다.
인코더 (20) 를 사용하여 블록 (602) 의 샘플들을 그룹들로 파티셔닝함으로써, 코딩된 그룹들을 디코딩할 때 디코더 (30) 에 의해 클록 당 다수의 샘플들의 스루풋이 달성될 수 있다. 도 6 은 샘플 벡터들 (604) 로 균일하게 파티셔닝된 블록 (602) 의 샘플들을 도시하지만, 인코더 (20) 는 샘플들의 블록을 N 개의 샘플 벡터들로 균일하게 또는 불균일하게 파티셔닝할 수도 있는 것이 이해된다. 균일한 그룹핑 방법에서, 모든 N 개의 샘플 벡터들 (604) 은 동등한 수의 샘플들을 가질 것이다. 다른 한편으로, 각 샘플 벡터 (604) 내의 샘플들의 수는 불균일한 그룹핑 방법을 사용할 때 상이할 수도 있다.
일부 실시형태들에서, 블록 (602) 의 파티셔닝이 균일한지 또는 불균일한지 여부는 블록 (602) 과 연관된 코딩 모드에 기초할 수도 있다. 예를 들어, 인코더 (20) 는 변환 모드에서 불균일한 그룹핑 방법들을 사용하면서, 블록 예측 모드에서 균일한 그룹핑 방법을 사용할 수도 있다.
벡터 기반 엔트로피 코딩
도 7 은 도 2a 에 도시된 엔트로피 인코더 (140) 에 대응할 수도 있는, 코더 (702) 를 이용하는 벡터 기반 EC 프로세스의 예시적인 블록 다이어그램을 도시한다. 코더 (702) 는 샘플 벡터 (704) 를 코딩하는데 사용될 수도 있다. 샘플 벡터 (704) 는 도 4 에 도시된 것과 같은 샘플 벡터 (402) 및 도 6 에 도시된 것과 같은 샘플 벡터들들 (604) 과 유사할 수도 있다.
도 7 에 도시된 바와 같이, 샘플 벡터 (704) 는 벡터 사이즈 K (예를 들어, [S0, S1, ..., SK-1]) 를 갖는다. 또한, 샘플 벡터 (704) 는 B 비트들의 필요한 샘플 사이즈를 가질 수도 있다 (예를 들어, 코더 (702) 는 그룹 내의 각 샘플을 충실히 표현하기 위해 샘플 당 B 비트들을 요구할 수도 있다). 주어진 K 및 B 값들에 대해, 가능한 K-길이 샘플 벡터들의 총 수는 2BK 이다. 예를 들어, K = 2 및 B = 1 일 때, 1 비트를 사용하여 표현될 수 있는 샘플들을 갖는 모든 가능한 2-길이 샘플 벡터들의 세트는 4 이고, 즉 (2 의 보수 표현을 사용할 때) [-1, 0], [-1, -1], [0, 0], [0, -1] 이다. 도 4 및 도 5 에 도시된 코딩 방식을 사용하여, 코더 (702) 는 동일한 수의 비트들 (예를 들어, BK 비트들 또는 2 비트들) 을 사용하여 이들 샘플 벡터들의 각각에 대응하는 서픽스들을 코딩할 수도 있다. 이와 같이, 주어진 K 와 B 값들의 조합에 대해, 샘플 벡터를 코딩하는데 사용된 비트들의 수는 설정된 2BK 의 가능한 벡터들에서 어떤 K-길이 샘플 벡터가 코딩되는지에 관계없이 동일하다. 이는 세트 내의 각 샘플 벡터의 발생 확률을 고려하지 않는다.
그러나, 이미지 정보를 코딩 할 때, 특정 샘플 벡터들 (704) 은 K-길이 샘플 벡터들의 세트 내의 다른 샘플 벡터들과 비교하여, 더 가능성이 있는 경향이 있을 수도 있다. 일부 실시형태들에서, 2BK 벡터들의 세트 내의 K-길이 샘플 벡터들의 분포가 균일하지 않을 때 (예를 들어, 세트 내의 모든 벡터들이 동등하게 가능하지는 않음), 코더 (702) 는 발생 가능성에 기초하여, K-길이 샘플 벡터들 (704) 을 상이하게 코딩할 수도 있다. 예를 들어, 코더 (702) 는 가능성이 적은 K-길이 샘플 벡터들 (704) 과 비교하여, 더 적은 비트를 사용하여 가능성이 많은 K-길이 샘플 벡터들 (704) 을 코딩할 수도 있다. 아래에 기술된 기법들은 가능한 K-길이 샘플 벡터들의 세트가 불균일한 분포로부터 인출될 때, K-길이 샘플 벡터들 (704) 을 코딩하기 위한 효율적인 코딩 전략들에 관한 것이다.
일부 실시형태들에서, 가능한 K-길이 샘플 벡터들 (704) 의 세트가 불균일한 분포로부터 인출될 때, K-길이 샘플 벡터 (704) 를 보다 효율적으로 코딩하기 위해, 코더 (702) 는 벡터 기반 엔트로피 코딩 (RC) 방법을 사용할 수도 있다. 일부 실시형태들에서, 코더 (702) 는 주어진 K-길이 샘플 벡터 (704) 를 고유한 단일 값 (예를 들어, "인덱스" (706)) 로 컨버팅하기 위해 커버전 (712) 을 수행함으로써, 그룹 내의 K-길이 샘플 벡터 (704) 에 벡터 기반 EC 를 수행할 수도 있다. K-길이 샘플 벡터 (704) 와 "인덱스" (706) 사이에 일대일 대응이 있을 수도 있으며,
코더 (702) 는 계산된 인덱스 값 (706) 을 사용하여 인덱스 값 (706) 을 "코드 번호" (708) 로 맵핑하는 맵핑 (714) 을 수행할 수도 있다. VLC 코드 (716) 를 사용하여, 코더 (702) 는 비디오 데이터 비트스트림의 일부로서 디코더 (165) 에 송신될 수도 있는 코딩된 비트들 (710) 의 시퀀스를 형성하기 위해 "코드 번호" (708) 를 코딩할 수도 있다. VLC 코드 (716) 는 구조화되지 않거나 구조화될 수도 있다. 구조화되지 않은 VLC 코들 (716) 의 예들은 허프만, 산술을 포함하는 반면, 구조화된 VLC 코딩은 지수-골롬 (EG), 골롬-라이스 (GR) 또는 EG 와 GR 의 혼합을 포함할 수도 있다. 디코더 (165) 에서, 코딩된 비트들 (710) 의 단일 시퀀스를 파싱할 시 (통상적으로 단일 클록에서 수행될 수 있음), 샘플 벡터 (704) 내의 모든 K 샘플들이 복원될 수 있다. 따라서, 벡터 기반 EC 의 사용은 높은 스루풋, 통상적으로 K 샘플들/클록을 제공할 수도 있다.
일부 실시형태들에서, 코더 (702) 는 계산된 "인덱스" 값 (706) 을 "코드 번호" (708) 로 맵핑하는데 사용될 수 있는 LUT (룩업 테이블, 도시되지 않음) 를 사용하여 맵핑 (714) 을 수행할 수도 있다. LUT 는 주어진 그룹의 K-길이 샘플 벡터들 (704) 의 확률 값들에 기초하여 구성될 수 있다. 예를 들어, 일부 실시형태들에서, 더 가능성 있는 것으로 고려되는 샘플 벡터들 (704) 이 더 작은 값들을 갖는 코드 번호들 (708) 로 맵핑되거나 또는 더 적은 비트들 (예를 들어, 더 짧은 코드 길이들을 갖는 코드 번호들 (708)) 을 사용하여 코딩될 수 있도록 LUT 가 구성될 수도 있다. 예를 들어, 더 높은 확률의 샘플 벡터들에 대한 코드 번호들 (708) 은 BK 비트들 보다 적은 비트들을 사용하여 코딩될 수도 있다. 일부 실시형태들에서, 샘플 벡터들 (704) 을 코드 번호들 (708) 에 맵핑하기 위한 LUT 또는 데이터 구조는, 더 가능성 있는 것으로 고려되는 샘플 벡터들 (704) 이 LUT 또는 데이터 구조에서 샘플 벡터 (704) 를 검색할 때 더 신속하게 또는 더 높은 우선 순위로 액세스될 수도 있도록 구성될 수도 있어서, 디코더 (165) 에 의한 더 빠른 액세스를 허용한다.
일부 실시형태들에서, 인코더 (20) 는 루마 및 크로마 컴포넌트 샘플들 양자에 대해 동일한 LUT 를 저장할 수도 있는 반면, 다른 실시형태들에서, 상이한 LUT들이 루마 및 크로마 컴포넌트 샘플들을 코딩하기 위해 사용될 수도 있다. 또한, 디코더 (30) 는 인코더 (20) 에 의해 사용되는 LUT들 또는 데이터 구조들의 자체 카피들을 저장할 수도 있다. 예를 들어, 디코더 (30) 는 코딩된 비디오 데이터의 비트스트림을 수신하고 하나 이상의 코드 번호들 (708) 을 디코딩하는 것에 응답하여, 자신의 LUT들을 사용하여 대응하는 샘플 벡터들 (704) 을 결정할 수도 있다.
일부 실시형태들에서, 코더 (702) 는 모든 사이즈들 B 에 대해 단일 LUT 를 사용한다. 다른 실시형태들에서, 코더 (702) 는 B 의 상이한 사이즈들에 대해 개별 LUT들을 사용할 수도 있다. 예를 들어, 일 실시형태에서, 코더 (702) 는 B = 1 일 때 제 1 LUT1, 사이즈 B = 2 일 때 제 2 LUT2 등을 사용할 수도 있다. 코더 (702) 가 사이즈 B 에 기초하여 특정 LUT를 선택할 때, 코더 (702) 는 사용된 LUT 의 타입이 명시적으로 시그널링될 수도 있도록 비트들의 코딩된 시퀀스 (710) 를 코딩할 수도 있다 (예를 들어, B = 1 일 때 LUT 타입 = 1 이 시그널링되고, B = 2 일 때 LUT 타입 = 2 가 시그널링되는 등등). 코딩된 비트들 (710) 에서 LUT 의 타입을 시그널링함으로써, 디코더 (165) 는 비트들의 시퀀스 (710) 를 디코딩할 때 사용될 대응하는 LUT 를 식별할 수 있을 것이다. 일부 실시형태들에서, 시그널링은 단항 코드 (unary code) 의 형태일 수도 있다. 대안적으로, 코딩된 비트들 (710) 에서 LUT 타입을 시그널링하는 것은 고정 길이 코드를 사용하여 행해질 수도 있다. 다른 실시형태들에서, 코더 (702) 는 코딩된 비트들 (710) 에서 LUT 타입을 시그널링하기 위해 허프만 또는 산술과 같은 VLC 코드들을 사용할 수도 있다.
도 8 은 코딩된 비트들의 시퀀스 (806) 를 생성하기 위해 K = 4 샘플들을 포함하는 샘플 벡터 (402) 를 코딩하기 위해 벡터 기반 EC 를 사용하는 코더 (702) 의 일 예를 도시한다. 코딩된 비트들 (806) (도 7 에 도시된 코딩된 비트들의 시퀀스 (710) 에 대응할 수도 있음) 은 LUT 타입 신호 (808) 및 벡터 기반 VLC 코드 (810) 를 포함할 수도 있다. LUT 타입 신호 (808) 는 코딩된 비트들 (806) 을 생성하기 위해 코더 (702) 에 의해 사용된 (예를 들어, 도 7 에 도시된 것과 같은 인덱스 값 (706) 의 코드 번호 (708) 로의 맵핑을 수행하는데 사용된) LUT의 타입을 명시적으로 시그널링한다. 벡터 기반 VLC 코드 (810) 는 샘플 벡터 (802) 내의 모든 4 개의 샘플들을 표현하다. 일부 실시형태들에서, LUT 타입 신호 (808) 는 또한, 샘플 벡터 (402) 의 샘플들의 값들을 코딩하는데 필요한 비트들 (B) 의 수를 표시할 수도 있다.
일부 실시형태들에서, 인코더 (20) 가 특정 코딩 모드 (예를 들어, 변환 모드) 에 대한 샘플 벡터들 (402) 을 구성하기 위해 불균일한 파티셔닝 방법 (예를 들어, 상이한 K 값들) 을 적용할 때, 개별 LUT들은 각 샘플 벡터의 샘플들의 수 K 가 상이하기 때문에, 상이한 샘플 벡터 사이즈들 K 을 위해 사용될 수도 있다. 이와 같이, 상이한 LUT들은 상이한 B 값들, 상이한 K 값들, 또는 상이한 K 및 B 값 조합들에 대응하여 사용될 수도 있다.
인덱스 값들 (706) 을 대응하는 코드번호들 (708) 에 맵핑하기 위한 LUT 의 사이즈는 사이즈 B 가 증가함에 따라, 증가할 수도 있다. 이와 같이, 일부 실시형태들에서, 벡터 기반 EC 는 샘플 벡터 (402) 의 사이즈 B 가 특정 임계치보다 작을 때 오직 코더 (702) 에 의해서만 사용된다. 이는 B 의 더 큰 값들에 대해 더 큰 사이즈의 LUT들을 인코더 (20) 및 디코더 (30) 가 저장하지 않음으로써 메모리 요건들을 감소시키기 위해 수행될 수도 있다. 예를 들어, B 가 임계치 한계를 초과하면, 코더 (702) 는 비-벡터 기반 코딩 기법들 (예를 들어, 도 4 및 도 5 에 도시된 DSU-VLC 코딩 방식) 을 사용하여 샘플 벡터 (402) 를 코딩할 수도 있다. 예를 들어, 임계치가 4 인 실시형태에서, 코더 (702) 는 오직 수신된 샘플 벡터 (704) 가 사이즈 B = 1, 2 또는 3 을 가질 때에만 벡터 기반 EC 를 사용하는 반면, (도 4 및 도 5 에 도시된 것과 같은) DSU-VLC 코딩은 4 이상의 사이즈 B 를 갖는 샘플 벡터들 (704) 을 위해 사용된다.
여기서 개시된 기법들은 블록 예측 (BP), 변환 모드, BP 스킵 모드, 변환 스킵, MPP 또는 MPPF와 같은 비디오 데이터의 블록들을 코딩하는데 사용되는 임의의 코딩 모드에 적용될 수 있다. 벡터 기반 엔트로피 코더 (702) 가 1 초과의 코딩 모드에 대해 벡터 기반 EC 를 적용하는 실시형태들에서, 각각의 코딩 모드는 그 자신의 LUT 와 연관될 수도 있거나, 또는 공통 LUT 는 다수의 모드들과 연관될 수도 있다. 공통 LUT 가 사용되는지 또는 개별 LUT 들이 사용되는지 여부는 메모리 요건들과 성능 간의 트레이드 오프에 기초하여 결정될 수도 있다. 예를 들어, 일부 실시형태들에서, BP 및 변환은 동일한 LUT(들) 또는 데이터 구조들을 사용하여 인덱스들 (706) 을 코드 번호들 (708) 에 맵핑할 수도 있고, 다른 실시형태들에서, BP 및 변환이 상이한 LUT들 또는 데이터 구조들을 사용할 수도 있다. 일부 실시형태들에서, 코더 (702) 는 오직 특정 모드들 (예를 들어, BP 모드) 에서만 벡터 기반 EC 를 사용할 수도 있는 반면, 다른 코딩 기법들은 다른 모드들 (예를 들어, 비-BP 모드) 에서 사용된다. 또한, 여기에 개시된 기술들은 임의의 타입의 샘플링 포맷, 예를 들어 4:4:4, 4:2:2, 4:2:0 에 적용될 수 있다.
도 9 는 LUT 타입 신호 (808) 가 VLC 코드 (810) 의 프리픽스와 결합되는, 코딩된 비트들의 시퀀스 (806) 의 일 예를 도시한다. (EG, GR, 또는 EG 및 GR 의 혼합과 같은 구조화된 VLC 코드와 같은) 코드 번호 (708) 를 코딩하기 위해 코더 (702) 에 의해 사용될 수도 있는 일부 타입들의 VLC 코드들 (716) 은 프리픽스 (908) 및 서픽스 (910) 를 포함하는 VLC 코드 (810) 를 발생할 수도 있다. 일부 실시형태들에서, VLC 코드 (810) 의 프리픽스 (908) 는 단항 코드 또는 디코더 (예를 들어, 디코더 (165)) 가 프로세싱하기 위해 시간을 소비할 수도 있는 어떤 다른 코드 포맷일 수도 있으며, 서픽스 (910) 는 고정된 길이일 수도 있다. 프로세싱 시간을 감소시키기 위해, 코더 (702) 는 프리픽스 (908) 및 LUT 타입 신호 (808) 를 단일 VLC 코드 부분 (912) 으로 결합할 수도 있다.
예를 들어, 도 9 에 도시된 바와 같이, 코더 (702) 는 VLC 코드 부분 (912) 을 형성하기 위해 VLC 코딩 (도시되지 않음) 의 제 2 스테이지를 통해, 코딩된 비트들 (806) 의 가변 길이 부분들 (예를 들어, LUT 타입 신호 (808) 및 프리픽스 (908)) 을 결합 및 코딩할 수도 있다. 일부 실시형태들에서, VLC 코딩의 제 2 스테이지는 도 2a 에 도시된 바와 같은 엔트로피 인코더 (140) 에 의해 수행될 수도 있다. LUT 타입 신호 (808) 및 VLC 코드 프리픽스 (908) 양자는 단항 코드 또는 일부 다른 프로세싱 비용 포맷일 수도 있기 때문에, VLC 코딩의 제 2 스테이지를 수행하는 것은 코딩된 비트들 (806) 을 수신하는 디코더 (165) 가 LUT 타입 신호 (808) 및 VLC 코드 프리픽스 (908) 를 프로세싱하는데 필요한 프로세싱의 양을 감소시키도록 서빙할 수도 있다. 일부 실시형태들에서, 코더 (702) 는 LUT 타입 신호 (808) 및 프리픽스 (908) 를 단일 코드 번호로 맵핑하기 위해 제 2 의 분리된 LUT (도시되지 않음) 를 사용할 수도 있다. 그 후, 코더 (702) 는 (예를 들어, 제 2 스테이지 VLC 코드를 사용하여) 결과적인 코드 번호를 코딩하여 VLC 코드 부분 (912) 을 형성할 수도 있다. 디코더 (165) 에 의해 수신될 때, 디코더 (165) 는 먼저 VLC 코드 부분 (912) 을 디코딩하여 비트들의 완전한 코딩된 시퀀스 (806) 를 획득하기 위해 LUT 타입 신호 (808) 및 전체 VLC 코드 (810) 의 프리픽스 (908) 를 결정할 수 있다. 일부 실시형태들에서, 코딩된 비트들 (806) 의 가변 길이 부분들을 코딩하는데 사용된 제 2 스테이지 VLC 코드는 코딩된 비트들의 시퀀스 (806) 를 형성하기 위해 코드 번호 (708) 를 코딩하는데 사용되는 동일한 타입의 VLC 코드 (716) 일 수도 있다. 다른 실시형태들에서, 제 2 스테이지 VLC 코드는 VLC 코드 (716) 와 상이할 수도 있다.
부호 크기 코딩
상술한 바와 같이, 사이즈 B 는 주어진 그룹 (예를 들어, 샘플 벡터 402, 604 또는 704) 의 모든 샘플들을 충실하게 표현하는데 필요한 비트들의 수를 표현할 수도 있다. 일부 실시형태들에서, B 의 값은 2 의 보수 표현에 기초하여 계산될 수도 있으며, 여기서 B-비트들은 -(2B-1) 부터 +(2B-1-1) 까지의 샘플 값들을 표현하는데 필요하다. 그러나, 본 명세서에 개시된 기법들은 2 의 보수 등록을 사용하는 실시형태들에 한정되지 않으며, 다른 타입들의 표현을 사용하여 계산된 샘플 값들에 적용될 수 있다. 예를 들어, 일부 실시형태들에서, 인코더 (20) 는 부호 크기 표현을 사용하여 샘플 값들을 코딩할 수도 있으며, 여기서 B-비트들은 0 부터 2B-1 까지의 범위에서 샘플 값들을 표현하는데 필요하다.
도 10a 는 부호 크기 표현을 사용하여 (예컨대, 도 6 에 도시된 것과 같은) 예시적인 샘플 벡터들 (604) 의 엔트로피 코딩의 일 예를 도시한다. 특정 실시형태들에서 부호 크기 표현이 사용되는 경우, 코더 (702) 는 (또한 크기 또는 절대값 부분으로 지칭되는) 샘플 벡터들 (604) 의 샘플들의 절대 값들을 코딩한 다음, 샘플 벡터들 (604) 의 샘플들의 부호 값들에 대응하여 사인 비트 코딩한다.
코더 (702) 는 샘플 벡터들 (604A 내지 604D) 의 각각을 코딩하여 코딩된 비트들의 개별 그룹 (1002) (예컨대, 1002A, 1002B, 1002C 및 1002D) 을 형성할 수도 있다. 코딩된 비트들의 각 그룹 (1002) 은 프리픽스 부분 (1004), 서픽스 부분 (1006), 및 0 이상의 부호 비트들 (1008) 을 포함한다. 프리픽스 부분 (1002) 은 개별 샘플 벡터 (604) 에서 샘플들의 최대 절대 값을 시그널링하는데 필요한 비트들의 수 B 를 표시한다. 서픽스 부분 (1006) 은 각 샘플 벡터 (604) 의 각 샘플의 절대 값을 표현한다. 마지막으로, 부호 비트들 (1008) 은 각각의 샘플 벡터 (604) 의 비-제로 샘플들에 대한 부호 값들을 표현한다.
일 예로서, 샘플 벡터 (604A) 가 [1, -3, -1, 0] 의 값들을 갖는 4 개의 샘플들을 포함한다고 가정한다. 이 예에서, 코딩된 비트들 (1002A) 의 프리픽스 부분 (1004) 은 (절대 값들 [1, 3, 1, 0] 로부터 계산된) B = 2 의 값을 표시한다. 서픽스 부분 (1006) 은 (예를 들어, 01, 11, 01, 00 으로 코딩된) 샘플 벡터 (604A) 의 절대 샘플 값들에 대응하는 부분들을 포함할 수도 있다. 부호 비트들 (1008) 는 샘플 벡터 (604A) 의 비-제로 샘플들의 각각에 대한 부호 값들을 표시할 수도 있다. 예를 들어, 부호 비트들 (1008) 은 '100' 으로 시그널링될 수도 있으며, 여기서 '1' 은 포지티브를 표시하고, '0' 은 네거티브를 표시한다. 제로 값을 갖는 샘플 벡터 (604A) 의 샘플들에 대한 부호는 부호 비트들 (1008) 로서 시그널링되지 않는다.
일부 실시형태들에서, 코더 (702) 는 샘플 벡터 (604)의 샘플의 크기 또는 절대치 부분에 대해 (예를 들어, 도 7 및 도 8 에 도시된 바와 같은) 벡터 기반 엔트로피 코딩을 사용하여 샘플 벡터 (604A) 를 코딩할 수도 있다. 샘플 벡터 (604A) 내의 샘플들의 절대 값들은 본 명세서에 개시된 벡터 기반 기법들을 사용하여 코딩 될 수도 있다.
예를 들어, 4 개의 샘플들 S0, S1, S8 및 S9 을 포함하는 샘플 벡터 (604A) 에 대해, 벡터 기반 엔트로피 코더 (702) 는 벡터 기반의 EC 를 그룹 내의 샘플들의 절대 값, 예컨대 |S0|, |S1|, |S8|, |S9| 에 적용 하여 프리픽스 부분 (1004) 및 서픽스 부분 (1006) 을 생성할 수도 있다. 프리픽스 부분 (1004) 은 사용된 LUT 의 타입을 표시할 수도 있는 반면, 서픽스 부분 (1006) 은 샘플 벡터 (604A) 의 모든 샘플들의 절대 값들이 결정될 수 있는 코드번호에 대응할 수도 있다.
다른 한편으로, 코더 (702) 는 벡터 기반 엔트로피 코딩을 사용하지 않고 샘플들 S0, S1, S8 및 S9 의 부호 비트들 (1008) 을 개별적으로 시그널링할 수도 있다. 예를 들어, 부호 비트들 (1008) 은 고정 길이 코드를 사용하여 시그널링될 수도 있으며, 여기서 1 비트는 샘플이 포지티브인지 또는 네거티브인지 여부를 표시하기 위해 비-제로 샘플 당 시그널링된다. 일부 실시형태들에서, 대응하는 샘플 값이 제로일 때 부호 비트는 시그널링되지 않는다.
도 10b 는 일부 실시형태들에 따라, 부호 크기 표현을 사용하여 샘플 벡터들 (604) 을 코딩하기 위한 대안적인 배열을 도시한다. 일부 실시형태들에서, 코더 (702) 는, 복수의 샘플 벡터들 (604A 내지 604D) 의 각각에 대한 프리픽스 부분들 (1004) 및 서픽스 부분들 (1006) 이 코딩된 후에, 비트스트림 내의 복수의 샘플 벡터들 (604A 내지 604D) 에 대한 부호 비트들 (1008) 을 코딩할 수도 있다. 예를 들어, 일부 실시형태들에서, 코더 (702) 는 비트스트림에서 먼저 모든 샘플 벡터들 (604A-D) 의 프리픽스 부분들 (1004) 및 서픽스 부분들 (1006) 을 코딩할 수도 있는 반면에, 모든 그룹들 (604A-D) 의 부호 비트들 (1008) 은 모든 프리픽스 부분들 (1004) 및 서픽스 부분들 (1006) 이 코딩된 후에 비트스트림에서 코딩될 수도 있다.
2 의 보수 표현과 비교할 때, 부호 크기 표현의 장점은 그 값이 제로인 심볼들에 대한 부호 정보가 시그널링되지 않는다는 것이다. 그러므로, 부호 크기 표현은 예를 들어, 블록 예측 및 변환 모드와 같은, 제로 값이 더 가능성이 있는 모드들에서 우수한 코딩 성능을 초래할 수 있다.
전술한 바와 같이, 코더 (702) 는 샘플 벡터 (604) 를 코딩하기 위해 부호 크기 표현을 사용할 수도 있으며, 여기서 제로 값에 대응하는 샘플 벡터 (604) 의 샘플에 대한 부호 비트가 부호 비트들 (1008) 에서 시그널링되지 않는다. 이와 같이, 디코더 (30) 의 파서 로직은 (서픽스 부분 (1006) 으로서 코딩된) 샘플 벡터 (604) 의 샘플들을 복원하거나 디코딩하여, 비트 스트림으로부터 샘플 벡터 (604) 의 샘플들의 각각에 대한 부호 비트들 (1008) 로부터의 부호 정보를 판독할지 여부를 알아야만 한다. 일부 실시형태들에서, 디코더 (30) 의 파서는 서브스트림 디멀티플렉서 (160) 의 일부로서 구현될 수도 있다.
즉, 디코더 (30) 의 파서 로직은, 샘플 벡터 (604) 에 대한 부호 비트들 (1008) 을 분석할 수 있기 전에, 샘플 벡터 (604) 의 각 샘플이 제로 값을 갖는지 또는 비-제로 값을 갖는지 여부를 알아야만 한다. 샘플 값이 비-제로인 경우, 디코더 (30) 는 부호 비트들 (1008) 의 부분으로서 비트 스트림으로부터 샘플에 대한 부호 정보를 분석한다. 그렇지 않으면, 샘플 값이 제로이면, 부호 비트는 비트 스트림으로부터 판독되지 않는다. 디코더 (30) 의 (예를 들어, 엔트로피 디코더 (165) 로서 구현된, 샘플을 디코딩하기 위한) 파싱 및 디코딩 기능들 사이의 이러한 의존성 때문에, 일부 실시형태들에서 디코더 (30) 의 최대 디코더 스루풋이 감소될 수도 있다.
일부 실시형태들에서, 비디오 데이터 비트 스트림으로부터 코딩된 샘플 벡터를 수신하는 것에 응답하여, 파서는 단항 코드일 수도 있는 수신된 코딩된 샘플 벡터의 프리픽스를 디코딩하여 샘플 벡터의 각각의 서픽스 부분의 길이를 결정할 수도 있다. 그 후에, 파서는 엔트로피 디코더 (165) 에 의한 디코딩을 위해 샘플 벡터의 서픽스에 대응하는 고정된 수의 비트들을 취출하고, 그 후에 다음 클록 사이클 동안 다음 샘플 벡터로 진행할 수도 있다.
디코더 (예를 들어, 엔트로피 디코더 (165)) 는 코딩된 샘플 벡터의 서픽스에 대응하는 파서로부터 비트들을 수신한다. 그 후에, 디코더 (165) 는 수신된 비트들을 디코딩하여 코드 번호 (708) 를 결정할 수도 있다. 그 후, 디코더 (165) 는 LUT 를 사용하여 코드 번호 (708) 를 인덱스 값 (706) 에 맵핑할 수도 있으며, 그 결과, 샘플 벡터의 실제 샘플 값들을 획득하는데 사용된다. 일부 실시형태들에서, 이 디코딩은 파서가 코딩된 샘플 벡터 (예를 들어, 파서가 후속 샘플 벡터를 파싱하고 있는 것과 동일한 클록 사이클) 를 파싱한 후, 다음 클록 사이클에서 수행될 수도 있다.
도 11 은 일부 실시형태들에 따라, 부호 크기를 사용하여 코딩된 샘플 벡터들 (604A-D) 을 파싱하고 디코딩하는데 필요할 수도 있는 클록 사이클들의 수를 예시하는 예시적인 그래프 (1100) 를 도시한다. 일부 실시형태들에서, 디코더 (30) 는 (프리픽스 부분 (1004) 이 서픽스 부분 (1006) 의 비트들의 수를 직접 식별하기 때문에) 단일 클록에서 각 샘플 벡터 (604) 의 프리픽스 부분 (1004) 및 서픽스 부분 (1006) 을 파싱 가능할 수도 있다. 도 10a 에 도시된 바와 같은 샘플 벡터들 (604A-604D) 을 고려하여, 일부 실시형태들에서, 디코더 (30) 는 4 개의 샘플 벡터들 (604A 내지 604D) 을 파싱하기 위해 적어도 5 개의 클록 사이클들을 필요로 할 수도 있다.
클록 사이클 1 에서, 디코더 (30) 는 샘플 벡터 (604A) 프리픽스 및 서픽스 부분들을 파싱한다. 클록 사이클 2 에서, 디코더 (30) 는 샘플 벡터 (604B) 프리픽스 및 서픽스 부분들을 파싱한다. 동시에, 디코더 (30) 는 샘플 벡터 (604A) 의 절대 샘플 값들을 디코딩하고, 샘플 벡터 (604A) 에 대한 부호 비트들을 파싱한다. 클록 사이클 3 에서, 디코더 (30) 는 샘플 벡터 (604B) 절대 샘플 값들을 디코딩하고, 샘플 벡터 (604B) 부호 비트들뿐만 아니라, 샘플 벡터 (604C) 프리픽스 및 서픽스 부분들을 파싱한다. 클록 사이클 4 에서, 디코더 (30) 는 샘플 벡터 (604C) 샘플 값들을 디코딩하고, 샘플 벡터 (604C) 부호 비트들 및 벡터 (604D) 프리픽스 및 서픽스들을 파싱한다. 디코더 (30) 가 샘플 벡터 (604D) 에 대한 대응하는 부호 정보를 파싱하기 위해 샘플 벡터 (604D) 절대 값들을 디코딩하기 위해, 추가적인 클록 사이클 (클록 사이클 5) 이 필요하다. 따라서, 도 10a 에 도시된 바와 같은 이러한 표현은, 일부 실시형태들에서 디코더 (20) 의 최대 달성가능한 스루풋을 감소시킬 수도 있다. 각 샘플 벡터의 절대 샘플 값들이 벡터 엔트로피 코딩을 사용하여 코딩될 때, 유사한 결론들이 도출될 수도 있다.
일부 실시형태들에서, 도 10b 에 도시된 바와 같이, 복수의 샘플 벡터들 (604A-D) 에 대응하는 부호 비트들 (1008) 은 비트 스트림 내의 그룹들 (604A-D) 의 프리픽스 부분들 (1004) 및 서픽스 부분들 (1006) 이후에 위치될 수도 있다. 이들 경우들에서, 디코더 (30) 는 복수의 샘플 벡터들 (예를 들어, 그룹 (604D)) 의 최종 샘플 벡터의 프리픽스 및 서픽스의 파싱 이후의 클록 사이클에서 부호 비트들 (1008) 을 파싱할 수도 있다. 이와 같이, 복수의 샘플 벡터들 (604A-D) 의 모든 샘플 벡터들이 부호 크기를 사용하여 코딩될 때, 디코더 (30) 는 샘플 벡터들 (604A-D) 의 프리픽스들 및 서픽스들을 파싱한 후에 부호 비트들 (1008) 을 파싱하기 위해 초과 클록 사이클 (예컨대, 클록 사이클 5) 을 요구할 수도 있으며, 디코더 (165) 의 최대 달성가능한 스루풋을 잠재적으로 감소시킬 수도 있다. 예를 들어, n 개의 그룹들 (604) 을 파싱하기 위해, 디코더 (30) 는 n+1 개의 클록 사이클들을 요구할 수도 있다.
도 12 는 (예를 들어,도 6 에 도시된 바와 같은) 예시적인 샘플 벡터들 (604) 의 하이브리드 엔트로피 코딩의 일 예를 도시한다. 일부 실시형태들에서, 디코더 (30) 의 스루풋을 증가시키기 위해, 코더 (702) 는 하이브리드 방법을 사용할 수도 있다. 예를 들어, 코더 (702) 는 부호 크기 표현을 사용하여 초기 개수의 샘플 벡터들 (604) (예를 들어, 샘플 벡터들 (604A-C)) 을 코딩할 수도 있다. 다른 한편으로, 코더 (702) 는 2 의 보수 표현과 같은 상이한 표현을 사용하여 나머지 샘플 벡터들 (예를 들어, 샘플 벡터 (604D)) 을 코딩할 수도 있다. 코더 (702) 는 (도 4 및 도 5 에 도시된 바와 같은) DSU-VLC 또는 (예를 들어, 도 7 내지 도 9 에 도시된 바와 같은) 벡터-EC 에 기초하여 샘플 벡터들 (604A-D) 의 각각을 코딩할 수 있다. 예를 들어, 2 의 보수 표현에 대한 벡터-ECC 는 도 8 에 기초할 수도 있고, 여기서 샘플 벡터 (604) 의 심볼들은 단일 코드 번호 (708) 로 맵핑된다. 다른 한편으로, 부호 크기 표현에서, 코더 (702) 는, 샘플 벡터들 (604) 에 대한 부호 비트들 (1008) 이 샘플 벡터 (604) 의 각각의 비-제로 심볼에 대해 개별적으로 시그널링될 수도 있는 동안, 샘플 벡터 (604) 의 각 심볼의 절대 값들의 세트를 단일 코드 번호 (708) 에 맵핑할 수도 있다.
4 개의 샘플 벡터들 (604A-D) 을 코딩하기 위한 하나의 예시적인 실시형태에서, 부호 크기 표현은 처음 3 개의 샘플 벡터들 (604A-C) 에 대해 사용되는 반면, 2 의 보수 표현이 최종 샘플 벡터 (604D) 에 대해 사용된다. 도 13 은 일부 실시형태들에 따라, 도 12 에 도시된 하이브리드 코딩 방식을 사용하여 코딩된 샘플 벡터들 (604A-D) 을 파싱하고 디코딩하는데 필요할 수도 있는 클록 사이클들의 수를 예시하는 예시적인 그래프 (1300) 를 도시한다. 상술한 바와 같이 파서 및 심볼 디코더 (165) 를 파이프라이닝함으로써, 제 4 클록 사이클 동안, 샘플 벡터 (604D) 의 샘플들은 샘플 벡터 (604C) 의 샘플들이 디코딩되는 동안 디코더 (165) 에 의해 파싱된다. 샘플 벡터 (604D) 의 샘플들은 2 의 보수 표현에 기초하여 코더 (702) 에 의해 인코딩되기 때문에, 디코더 (165) 가 샘플 벡터 (604D) 에 대한 부호 비트들을 파싱하기 위해 샘플 벡터 (604D) 의 절대 샘플 값들을 디코딩할 필요가 없다. 따라서, 하이브리드 방법들을 사용하여, 디코더 (30) 가 4 개의 클록 사이클들에서 4 개의 샘플 벡터들 (604A-D) 모두를 파싱하는 것이 가능할 수도 있다. 따라서, 일부 실시형태들에서, n 개의 샘플 벡터들을 파싱할 때 초과의 클록 사이클을 필요로 하는 것을 회피하기 위해, 코더 (702) 는 2 의 보수 표현과 같은 상이한 표현을 사용하여 최종 샘플 벡터를 코딩하는 동안, 부호 크기 표현을 사용하여 제 1 의 n-1 개의 샘플 벡터들을 코딩할 수도 있다. 따라서, 디코더 (30) 는 n 개의 클록 사이클들에서 n 개의 샘플 벡터들을 파싱 가능할 수도 있다.
일부 실시형태들에서, 코더 (702) 는 비-제로 샘플 값들을 갖는 샘플 벡터들 (604) 의 수에 기초하여 2 의 보수 표현을 사용할지 또는 부호 크기 표현을 사용할지 여부를 결정할 수도 있다. 일 예에서, 코더 (702) 는 이전 샘플 벡터들 (604A 내지 604C) 각각이 적어도 하나의 비-제로 샘플 값을 포함하는 경우에만 최종 샘플 벡터 (604D) 에 대한 2 의 보수 표현을 사용할 수도 있다. 그렇지 않으면, 코더 (702) 는 최종 샘플 벡터 (604D) 를 코딩하기 위해 부호 크기 표현을 사용할 수도 있다. 일부 실시형태들에서, 최종 샘플 벡터 (604D) 를 코딩하기 위해 2 의 보수를 사용하는 것은 압축 효율의 일부 손실을 수반할 수도 있다. 오직 3 개의 샘플 벡터들 (604A 내지 604C) 의 각각이 적어도 하나의 비-제로 샘플 값을 포함할 때 (따라서 부호 비트들 (1008) 의 코딩을 필요로 할 때) 에만 2 의 보수로 최종 샘플 벡터 (604D) 를 코딩함으로써, 2 의 보수의 사용은 원하는 스루풋을 달성하는데 필요한 경우에만 이를 사용함으로써 최소화될 수도 있다. 예를 들어, 3 개의 샘플 벡터들 (604A 내지 604C) 중 하나가 적어도 하나의 비-제로 샘플 값을 포함하지 않는다면, 샘플 벡터는 그룹 스킵 모드를 사용하여 코딩될 수도 있다. 따라서, 디코더 (30) 는 샘플 벡터들 (604A 내지 604C) 을 더 신속하게 파싱 가능할 수도 있어서, 모두 4 개의 샘플 벡터들이 4 개의 클록 사이클들 내에서 파싱되게 한다.
상기 예에서, DSU-VLC 기반 엔트로피 코딩은 부호 크기 및 2 의 보수 표현 양자에 대해 사용된다. 그러나, 양자의 표현들에 대하여 동일한 기법들이 벡터 EC 로 확장될 수 있다.
프로세스 흐름
본 개시의 양태들은 도 2a 의 비디오 인코더 (20) 와 같은 인코더 또는 도 8 에 도시된 벡터 기반 엔트로피 코더 (804) 와 같은 인코더의 부분들의 관점에서 설명되었다는 것을 알아야 한다. 상기 설명된 것들에 대한 역 동작들이 생성된 비트스트림을 예를 들어, 도 2b 에서의 비디오 디코더 (30) 에 의해 디코딩하도록 적용될 수도 있다.
예를 들어, 도 14a 는 샘플 벡터 데이터를 인코딩하는 프로세스의 흐름도를 도시하고, 도 14b 는 샘플 벡터 데이터에 대응하는 수신된 비트 시퀀스들을 디코딩하는 프로세스의 흐름도를 도시한다. 예를 들어, 도 14a 의 블록 (1402) 에 도시된 바와 같이, 인코더는 수신된 샘플 벡터를 인덱스 값으로 컨버팅한다. 일부 실시형태들에서, 샘플 벡터들과 인덱스 값들 사이에 일대일 대응이 존재하므로, 2 개의 상이한 샘플 벡터들이 동일한 인덱스 값을 갖지 않을 것이다. 블록 (1404) 에서, 인코더는 LUT 를 사용하여 인덱스 값을 코드 번호에 맵핑한다. LUT 는 가능한 샘플 벡터들의 그룹의 주어진 샘플 벡터의 발생 확률에 적어도 부분적으로 기초하여 구성될 수도 있다. 일부 실시형태들에서, 인코더는 샘플 벡터를 코딩하는데 사용된 코딩 모드, 샘플 벡터의 각각의 샘플 값을 표현하기 위해 요구되는 비트들의 수, 샘플 벡터 내의 샘플 값들의 수, 등등에 기초하여 LUT 를 식별할 수도 있다. 블록 (1406) 에서, 인코더는 VLC 방식을 사용하여 코드 번호를 코딩하여, 비트스트림의 일부로서 저장되거나 송신될, 코딩된 비트들의 시퀀스를 형성한다.
도 14b 의 블록 (1412) 에 도시된 바와 같이, 디코더는 VLC 방식을 사용하여 (예를 들어, 수신된 비트 스트림으로부터) 수신된 비트들의 시퀀스를 디코딩하여 코드 번호를 형성한다. 블록 (1414) 에서, 디코더는 LUT 를 사용하여 코드 번호를 인덱스 값에 맵핑한다. 일부 실시형태들에서, 디코더는 (예를 들어, 시퀀스의 프리픽스 부분으로서) 비트들의 시퀀스의 일부로서 수신된 표시에 기초하여 맵핑을 수행하는데 사용되는 LUT 타입을 식별한다. 블록 (1416) 에서, 디코더는 인덱스 값을 샘플 벡터에 대한 값들로 컨버팅한다.
도 15 는 하이브리드 코딩을 사용하여 샘플 벡터 데이터를 인코딩하기 위한 예시적인 프로세스의 흐름도를 도시한다. 블록 (1502) 에서, 인코더는 복수의 샘플 값들을 수신하고, 수신된 샘플 값들을 n 개의 샘플 벡터들로 나눈다. 블록 (1504) 에서, 인코더는 부호 크기 표현을 사용하여 n 개의 샘플 벡터들의 제 1 부분을 코딩한다. 일부 실시형태들에서, 샘플 벡터들의 제 1 부분은 n 개의 샘플 벡터들의 최초 n-1 개의 샘플 벡터들을 포함 할 수도 있다. 블록 (1506) 에서, 인코더는 2 의 보수 표현을 사용하여 n 개의 샘플 벡터들 중 하나 이상의 나머지 샘플 벡터들을 코딩한다. 일부 실시형태들에서, 하나 이상의 나머지 샘플 벡터들은 n 개의 샘플 벡터들의 최종 샘플 벡터들을 포함할 수도 있다. 일부 실시형태들에서, 인코더는 샘플 벡터들의 제 1 부분의 각각이 비-제로 값을 갖는 적어도 하나의 샘플을 포함하는 경우, 오직 하나 이상의 나머지 샘플 벡터들을 2 의 보수 표현에서 코딩한다. 부호 크기 표현을 사용하여 n 개의 샘플 벡터들의 샘플 벡터들의 제 1 부분을 코딩하고, 2 의 보수 표현을 사용하여 나머지 그룹들을 코딩함으로써, 부호 크기 표현을 사용하는 코딩의 이점들이 실현될 수도 있는 반면, n 개의 샘플 벡터들의 모든 샘플 값들의 절대 값들이 디코딩된 후에 비-제로 샘플 값들의 부호 비트들을 디코딩할 필요에 의해 야기될 수도 있는 디코더 스루풋의 감소를 회피한다.
다른 고려사항들
본원에 개시된 정보 및 신호들은 임의의 다양한 서로 다른 기술들 및 기법들을 이용하여 표현될 수도 있다. 예를 들어, 상기 설명 전반에 걸쳐 참조될 수도 있는 데이터, 명령들, 커맨드들, 정보, 신호들, 비트들, 심볼들, 및 칩들은 전압, 전류, 전자기파, 자계 또는 자성 입자, 광계 또는 광자, 또는 이들의 임의의 조합에 의해 표현될 수도 있다.
본원에서 개시된 실시형태들과 연계하여 설명된 다양한 예시적인 논리 블록들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들 양자 모두의 조합들로서 구현될 수도 있다. 하드웨어 및 소프트웨어의 이러한 상호 교환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 및 단계들이 그들의 기능적 관점에서 일반적으로 상술되었다. 그러한 기능이 하드웨어로 구현되는지 또는 소프트웨어로 구현되는지의 여부는 특정 애플리케이션 및 전체 시스템에 부과되는 설계 제약들에 따라 달라진다. 당업자는 설명된 기능을 각각의 특정 애플리케이션에 대하여 다양한 방식으로 구현할 수도 있지만, 그러한 구현의 결정들이 본 개시의 범위로부터의 일탈을 야기하는 것으로서 해석되지는 않아야 한다.
본 명세서에서 설명된 기술들은 또한 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합에서 구현될 수도 있다. 그러한 기법들은 범용 컴퓨터들, 무선 통신 디바이스 핸드셋들, 또는 무선 통신 디바이스 핸드셋들, 자동차, 애플라이언스들, 웨어러블들, 및/또는 다른 디바이스들에서의 애플리케이션들을 포함하여 다중의 이용들을 갖는 집적 회로 디바이스들과 같은 임의의 다양한 디바이스들에서 구현될 수도 있다. 디바이스들 또는 컴포넌트들로서 설명된 임의의 피처들은 집적된 로직 디바이스에서 함께 또는 별개이지만 상호 동작가능한 로직 디바이스들로서 개별적으로 구현될 수도 있다. 소프트웨어로 구현되는 경우, 상기 기술들은, 실행시 상술한 방법들의 적어도 하나를 수행하는 명령들을 포함하는 컴퓨터 판독가능 매체에 의해 적어도 부분적으로 실현될 수도 있다. 컴퓨터 판독가능 데이터 저장 매체는 컴퓨터 프로그램 제품의 일부를 형성할 수도 있고, 컴퓨터 프로그램 제품은 패키징 재료들을 포함할 수도 있다. 컴퓨터 판독가능 매체는 SDRAM (synchronous dynamic random access memory) 과 같은 RAM (random access memory), ROM (read-only memory), NVRAM (non-volatile random access memory), EEPROM (electrically erasable programmable read-only memory), 플래시 메모리, 자기 또는 광학 데이터 저장 매체 등과 같은 메모리 또는 데이터 저장 매체들을 포함할 수도 있다. 상기 기술들은, 추가적으로, 또는 대안적으로, 명령들 또는 데이터 구조들의 형태의 코드를 전달 또는 통신하며, 컴퓨터에 의해 액세스, 판독, 및/또는 실행될 수 있는 컴퓨터 판독가능 통신 매체, 예컨대 전파된 신호들 또는 파들에 의해 적어도 부분적으로 실현될 수도 있다.
하나 이상의 디지털 신호 프로세서 (DSP) 들, 범용 마이크로프로세서들, ASIC (application specification integrated circuit) 들, FPGA (field programmable gate array) 들, 또는 임의의 다른 등가의 집적 또는 이산 논리 회로와 같은 하나 이상의 프로세서들을 포함할 수도 있는 프로세서에 의해 프로그램 코드가 실행될 수도 있다. 그러한 프로세서는 본 개시물에 설명된 기술들 중 임의의 기술을 수행하도록 구성될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만; 대안적으로 프로세서는 임의의 종래의 프로세서, 컨트롤러, 마이크로컨트롤러, 또는 상태 머신일 수도 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 예를 들면, DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들의 조합, DSP 코어와 연계한 하나 이상의 마이크로프로세서들의 조합, 또는 임의의 다른 그러한 구성으로서 구현될 수도 있다. 그에 따라, 본원에서 이용되는 바와 같은 용어 "프로세서" 는 앞서 언급한 구조 중 임의의 것, 앞서 언급한 구조의 임의의 조합, 또는 본원에서 설명된 기법들을 구현하기에 적합한 임의의 다른 구조 또는 장치를 지칭할 수도 있다. 또한, 몇몇 양태들에서, 본원에서 사용된 기능은, 인코딩 및 디코딩을 위해 구성된 전용 소프트웨어 모듈들 또는 하드웨어 모듈들 내에서 제공되거나, 또는 결합된 비디오 인코더-디코더 (CODEC) 에 내장될 수도 있다. 또한, 그 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들에서 완전히 구현될 수 있다.
본 개시의 기법들은 무선 핸드셋, IC 또는 IC들의 세트 (예를 들어, 칩 세트) 를 포함하여 매우 다양한 디바이스들 또는 장치들에서 구현될 수도 있다. 다양한 컴포넌트들, 또는 유닛들이 개시된 기술들을 수행하도록 구성된 디바이스들의 기능적 양태들을 강조하기 위해 본 개시에서 설명되지만, 반드시 상이한 하드웨어 유닛들에 의한 실현을 요구하지는 않는다. 오히려, 상기 설명된 바와 같이, 다양한 유닛들은 적절한 소프트웨어 및/또는 펌웨어와 함께 상기 설명된 바와 같은 하나 이상의 프로세서들을 포함하여 코덱 하드웨어 유닛으로 결합되거나 또는 상호운용식 하드웨어 유닛들의 집합에 의해 제공될 수도 있다.
앞의 설명이 다양한 상이한 실시형태들과 연계하여 설명되었지만, 하나의 실시형태로부터의 피처들 또는 엘리먼트들은 본 개시물의 교시들로부터 벗어남 없이 다른 실시형태들과 조합될 수도 있다. 그러나, 개별 실시형태들 간의 피처들의 조합들은 반드시 제한되지 않는다. 본 개시물의 다양한 실시형태들이 설명되었다. 이들 및 다른 실시형태들은 다음의 청구항들의 범위 내에 있다.

Claims (21)

  1. 복수의 비디오 샘플들을 갖는 비디오 정보를 코딩하기 위한 장치로서,
    그룹에 배열된 복수의 비디오 샘플들을 저장하도록 구성된 메모리로서, 각각의 비디오 샘플은 비트 사이즈 (B) 를 갖고 상기 그룹은 그룹 사이즈 (K) 를 갖는, 상기 메모리; 및
    가변 길이 코딩 (VLC) 방식을 사용하여 상기 그룹 내의 상기 복수의 비디오 샘플들을 코딩하여 벡터 기반 코드를 형성하도록 구성된 하드웨어 프로세서로서, 상기 벡터 기반 코드는 상기 비트 사이즈 (B) 또는 상기 그룹 사이즈 (K) 중 적어도 하나에 대응하는 룩업 테이블의 타입을 식별하는 적어도 제 1 부분 및 상기 그룹에서 상기 복수의 비디오 샘플들을 표현하는 제 2 부분을 포함하는, 상기 하드웨어 프로세서를 포함하는, 비디오 정보를 코딩하기 위한 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는 추가로,
    상기 그룹을 인덱스 값으로 컨버팅하고;
    상기 그룹과 연관된 상기 그룹 사이즈 (K) 또는 상기 비트 사이즈 (B) 중 적어도 하나에 대응하는 상기 룩업 테이블의 타입을 사용하여 상기 인덱스 값을 코드 번호에 맵핑하며; 그리고
    상기 VLC 방식을 사용하여, 상기 코드 번호를 인코딩하여 상기 벡터 기반 코드를 형성하도록
    구성되는, 비디오 정보를 코딩하기 위한 장치.
  3. 제 1 항에 있어서,
    상기 프로세서는 추가로,
    가변 길이 코딩 (VLC) 방식을 사용하여, 상기 벡터 기반 코드를 디코딩하여 코드 번호를 형성하고;
    상기 벡터 기반 코드의 상기 제 1 부분에 의해 식별된 상기 룩업 테이블의 타입을 사용하여 상기 코드 번호를 인덱스 값에 맵핑하고; 그리고
    상기 인덱스 값을 상기 그룹의 상기 복수의 비디오 샘플들로 컨버팅하도록
    구성되는, 비디오 정보를 코딩하기 위한 장치.
  4. 제 1 항에 있어서,
    상기 제 1 부분은 단항 코드 포맷을 사용하여 코딩되는, 비디오 정보를 코딩하기 위한 장치.
  5. 제 1 항에 있어서,
    상기 복수의 비디오 샘플들은 2 의 보수 표현을 사용하여 표현되는, 비디오 정보를 코딩하기 위한 장치.
  6. 제 1 항에 있어서,
    상기 복수의 비디오 샘플들은 부호 크기 표현을 사용하여, 상기 프로세서가 상기 그룹 내의 상기 복수의 비디오 샘플들의 절대 값들을 코딩하여 상기 벡터 기반 코드를 형성하도록 구성되게 하는, 비디오 정보를 코딩하기 위한 장치.
  7. 제 1 항에 있어서,
    프로세서 회로는 상기 비트 사이즈 (B) 가 임계 값 미만일 때 상기 벡터 기반 코드를 제공하도록 구성되는, 비디오 정보를 코딩하기 위한 장치.
  8. 제 1 항에 있어서,
    프로세서 회로는 추가로, 제 2 VLC 방식을 사용하여 상기 벡터 기반 코드의 상기 제 1 부분, 및 상기 제 2 부분의 적어도 프리픽스 부분을 인코딩하도록 구성되는, 비디오 정보를 코딩하기 위한 장치.
  9. 제 1 항에 있어서,
    상기 룩업 테이블의 타입은 가능한 K 사이즈 그룹들의 세트 중의 그룹의 발생 확률에 적어도 부분적으로 기초하는, 비디오 정보를 코딩하기 위한 장치.
  10. 샘플들의 세트를 포함하는 비디오 정보를 코딩하는 방법으로서,
    하나 이상의 샘플 벡터들로 상기 샘플들의 세트를 파티셔닝하는 단계로서, 상기 하나 또는 이상의 샘플 벡터들의 샘플 벡터는 비트 사이즈 (B) 와 연관된 K 개의 샘플들을 포함하는, 상기 샘플들의 세트를 파티셔닝하는 단계;
    룩업 테이블을 사용하여 상기 샘플 벡터를 코드 번호에 맵핑하는 단계로서, 상기 룩업 테이블은 가능한 K-길이 샘플 벡터들의 세트 중의 샘플 벡터의 발생 확률에 적어도 부분적으로 기초하는, 상기 샘플 벡터를 코드 번호에 맵핑하는 단계; 및
    가변 길이 코딩 (VLC) 방식을 사용하여 상기 코드 번호를 코딩하여 상기 K 샘플을 표현하는 VLC 코드를 생성하는 단계로서, 상기 VLC 코드는 상기 룩업 테이블을 식별하는 적어도 제 1 부분 및 상기 샘플 벡터의 상기 K 개 샘플들을 표현하는 제 2 부분을 포함하는, 상기 VLC 코드를 생성하는 단계를 포함하는, 비디오 정보를 코딩하는 방법.
  11. 제 10 항에 있어서,
    상기 샘플은 픽셀의 컬러 성분에 대응하는, 비디오 정보를 코딩하는 방법.
  12. 제 10 항에 있어서,
    상기 샘플들의 세트는 비디오 정보의 블록과 연관된 양자화된 잔차에 대응하는, 비디오 정보를 코딩하는 방법.
  13. 제 10 항에 있어서,
    상기 VLC 방식은 허프만, 산술, 지수-골롬 (EG), 및 골롬-라이스 (GR) 중 적어도 하나를 포함하는, 비디오 정보를 코딩하는 방법.
  14. 제 10 항에 있어서,
    상기 샘플 벡터를 코드 번호에 맵핑하는 단계는, 상기 샘플 벡터를 상기 샘플 벡터에 대응하는 고유 인덱스 값으로 컨버팅하는 단계, 및 상기 룩업 테이블을 사용하여 상기 인덱스 값을 상기 코드 번호에 맵핑하는 단계를 포함하는, 비디오 정보를 코딩하는 방법.
  15. 제 10 항에 있어서,
    상기 룩업 테이블 (LUT) 은 상기 비트 사이즈 (B) 또는 길이 (K) 중 적어도 하나에 기초하여 선택되는, 비디오 정보를 코딩하는 방법.
  16. 제 10 항에 있어서,
    상기 제 2 부분은 적어도 프리픽스 부분 및 서픽스 부분을 포함하고,
    VLC 방식을 사용하여 상기 제 1 부분 및 상기 프리픽스 부분을 코딩하는 단계를 더 포함하는, 비디오 정보를 코딩하는 방법.
  17. 제 10 항에 있어서,
    상기 제 1 부분은 단항 포맷으로 표현되는, 비디오 정보를 코딩하는 방법.
  18. 제 10 항에 있어서,
    상기 샘플들의 세트는 2 의 보수 표현을 사용하여 표현되는, 비디오 정보를 코딩하는 방법.
  19. 복수의 비디오 샘플들을 갖는 비디오 정보를 코딩하기 위한 장치로서,
    송신을 위해 복수의 그룹들로 분할된 복수의 비디오 샘플들을 저장하도록 구성된 메모리로서, 각각의 그룹은 하나 이상의 비디오 샘플들을 포함하는, 상기 메모리; 및
    비디오 샘플들의 상기 복수의 그룹들을 코딩하도록 구성된 하드웨어 프로세서로서, 상기 복수의 그룹들 중 제 1 복수의 그룹들로부터의 비디오 샘플들은 부호 크기 포맷을 사용하여 코딩되고, 상기 복수의 그룹들 중 하나 이상의 나머지 그룹들은 2 의 보수 포맷을 사용하여 코딩되는, 상기 하드웨어 프로세서를 포함하는, 비디오 정보를 코딩하기 위한 장치.
  20. 제 19 항에 있어서,
    상기 복수의 그룹들은 n 개의 그룹들을 포함하고, 상기 제 1 복수의 그룹들은 상기 복수의 그룹들 중 제 1 의 n-1 개의 그룹들을 포함하는, 비디오 정보를 코딩하기 위한 장치.
  21. 제 19 항에 있어서,
    상기 하나 이상의 나머지 그룹들은 오직 상기 제 1 복수의 그룹들의 각각의 적어도 하나의 샘플 값이 비-제로 값에 대응하는 경우에만, 2 의 보수 포맷을 사용하여 코딩되는, 비디오 정보를 코딩하기 위한 장치.
KR1020187025188A 2016-03-08 2017-03-06 디스플레이 스트림 압축을 위한 벡터 기반 엔트로피 코딩을 위한 장치 및 방법 KR102185027B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662305380P 2016-03-08 2016-03-08
US62/305,380 2016-03-08
US201662415999P 2016-11-01 2016-11-01
US62/415,999 2016-11-01
US15/449,755 US10666984B2 (en) 2016-03-08 2017-03-03 Apparatus and method for vector-based entropy coding for display stream compression
US15/449,755 2017-03-03
PCT/US2017/020897 WO2017155864A1 (en) 2016-03-08 2017-03-06 Apparatus and method for vector-based entropy coding for display stream compression

Publications (2)

Publication Number Publication Date
KR20180118653A true KR20180118653A (ko) 2018-10-31
KR102185027B1 KR102185027B1 (ko) 2020-12-01

Family

ID=59787516

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187025188A KR102185027B1 (ko) 2016-03-08 2017-03-06 디스플레이 스트림 압축을 위한 벡터 기반 엔트로피 코딩을 위한 장치 및 방법

Country Status (9)

Country Link
US (1) US10666984B2 (ko)
EP (1) EP3427480B1 (ko)
JP (1) JP6800991B2 (ko)
KR (1) KR102185027B1 (ko)
CN (1) CN108702520B (ko)
BR (1) BR112018067872A2 (ko)
CA (1) CA3012869C (ko)
TW (1) TWI705693B (ko)
WO (1) WO2017155864A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10110931B2 (en) * 2016-04-27 2018-10-23 Aspeed Technology Inc. Variable length coding and decoding methods and devices for grouped pixels
US20180288439A1 (en) * 2017-03-31 2018-10-04 Mediatek Inc. Multiple Transform Prediction
US10855997B2 (en) * 2017-04-14 2020-12-01 Mediatek Inc. Secondary transform kernel size selection
US10706492B2 (en) 2017-09-05 2020-07-07 Texas Instruments Incorporated Image compression/decompression in a computer vision system
KR20220090887A (ko) 2020-12-23 2022-06-30 삼성전자주식회사 이미지 처리 장치 및 이미지 처리 장치의 동작 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010046260A1 (en) * 1999-12-09 2001-11-29 Molloy Stephen A. Processor architecture for compression and decompression of video and images
US7055018B1 (en) * 2001-12-31 2006-05-30 Apple Computer, Inc. Apparatus for parallel vector table look-up

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2679995C (en) * 2007-03-13 2014-06-03 Nokia Corporation System and method for video encoding and decoding using sub-vectors
US20100098156A1 (en) * 2008-10-16 2010-04-22 Qualcomm Incorporated Weighted prediction based on vectorized entropy coding
US8301803B2 (en) * 2009-10-23 2012-10-30 Samplify Systems, Inc. Block floating point compression of signal data
US9516316B2 (en) * 2011-06-29 2016-12-06 Qualcomm Incorporated VLC coefficient coding for large chroma block
US9877048B2 (en) * 2014-06-09 2018-01-23 Qualcomm Incorporated Entropy coding techniques for display stream compression (DSC)
US10402166B2 (en) * 2016-02-05 2019-09-03 Sony Corporation System and method for processing data in an adder based circuit

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010046260A1 (en) * 1999-12-09 2001-11-29 Molloy Stephen A. Processor architecture for compression and decompression of video and images
US7055018B1 (en) * 2001-12-31 2006-05-30 Apple Computer, Inc. Apparatus for parallel vector table look-up

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Bai-Jue Shieh et al., "A new approach of group-based VLC codec system with full table programmability", IEEE Transactions on Circuits and Systems for Video Technology, Volume: 11 , Issue: 2, p210-220,* *
Bai-Jue Shieh 등, "A new approach of group-based VLC codec system", 2000 IEEE International Symposium on Circuits and Systems (ISCAS), p609-612, (2002.08.06.) *
Pei-Yin Chen 등, "An Efficient Design of Variable Length Decoder for MPEG-1/2/4", IEEE Transactions on Multimedia, Volume: 10, Issue: 7, p1307-1315, (2008.11.07.) *

Also Published As

Publication number Publication date
CA3012869A1 (en) 2017-09-14
JP6800991B2 (ja) 2020-12-16
TW201737706A (zh) 2017-10-16
KR102185027B1 (ko) 2020-12-01
TWI705693B (zh) 2020-09-21
JP2019511865A (ja) 2019-04-25
US20170264918A1 (en) 2017-09-14
CA3012869C (en) 2022-03-29
EP3427480B1 (en) 2023-09-13
CN108702520A (zh) 2018-10-23
US10666984B2 (en) 2020-05-26
BR112018067872A2 (pt) 2019-01-02
EP3427480A1 (en) 2019-01-16
CN108702520B (zh) 2020-12-25
WO2017155864A1 (en) 2017-09-14

Similar Documents

Publication Publication Date Title
US9877048B2 (en) Entropy coding techniques for display stream compression (DSC)
US10362310B2 (en) Entropy coding techniques for display stream compression (DSC) of non-4:4:4 chroma sub-sampling
KR102342660B1 (ko) 디스플레이 스트림 압축을 위한 서브스트림 멀티플렉싱
EP3284253B1 (en) Rate-constrained fallback mode for display stream compression
KR102185027B1 (ko) 디스플레이 스트림 압축을 위한 벡터 기반 엔트로피 코딩을 위한 장치 및 방법
US9930346B2 (en) System and method for flatness detection for display stream compression (DSC)
CN108702513B (zh) 用于在显示流压缩中量化参数的适应性计算的设备及方法
KR20180134895A (ko) 디스플레이 스트림 압축에 대한 지각적 양자화 파라미터 (qp) 가중을 위한 장치 및 방법들
US10123045B2 (en) Modification to block size for transform mode in display stream compression

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant