KR20180030021A - 서브픽셀 패킹을 이용한 디스플레이 스트림 압축 픽셀 포맷 확장 - Google Patents

서브픽셀 패킹을 이용한 디스플레이 스트림 압축 픽셀 포맷 확장 Download PDF

Info

Publication number
KR20180030021A
KR20180030021A KR1020187000480A KR20187000480A KR20180030021A KR 20180030021 A KR20180030021 A KR 20180030021A KR 1020187000480 A KR1020187000480 A KR 1020187000480A KR 20187000480 A KR20187000480 A KR 20187000480A KR 20180030021 A KR20180030021 A KR 20180030021A
Authority
KR
South Korea
Prior art keywords
pixel values
input
output
buffer
channel
Prior art date
Application number
KR1020187000480A
Other languages
English (en)
Inventor
아이크 이키잔
네이탄 헤임 제이콥슨
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20180030021A publication Critical patent/KR20180030021A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

서브픽셀 패킹을 이용한 디스플레이 스트림 압축 픽셀 포맷 확장을 위한 방법들 및 장치들이 개시된다. 하나의 양태에서, 이 방법은, M-채널 코덱에 의한 인코딩을 위해 O-채널 포맷으로 배열된 픽셀 값들을 패킹하는 것을 수반한다. 이 방법은 추가적으로, 입력 픽셀 값들의 셋트를 수신하는 것을 수반할 수도 있고, 각각의 입력 픽셀 값은 O-채널 포맷으로 배열된 O 입력 서브픽셀 값들을 포함한다. 이 방법은, 입력 서브픽셀 값들의 각각을 출력 픽셀 값들의 셋트로 재배열하는 것을 수반할 수도 있고, 출력 픽셀 값들의 각각의 셋트는 M-채널 포맷으로 배열된 M 출력 서브픽셀 값들을 포함하고, O 는 M 보다 더 큰 값을 가지며, 재배열된 M 출력 서브픽셀들의 적어도 부분은 O 입력 서브픽셀 값들로부터 재배열되기 이전의 그들의 상대적인 공간적 포지셔닝을 유지한다. 이 방법은 또한, 출력 픽셀 값들을 M-채널 코덱에 제공하는 것을 수반할 수도 있다.

Description

서브픽셀 패킹을 이용한 디스플레이 스트림 압축 픽셀 포맷 확장
본 개시는, 비디오 코딩 및 압축의 분야에 관한 것으로, 특히, 디스플레이 스트림 압축과 같은, 디스플레이 링크들을 통한 송신을 위한 비디오 압축에 관한 것이다.
디지털 비디오 능력들은 디지털 텔레비전들, 개인 휴대 정보 단말기들 (PDA들), 랩톱 컴퓨터들, 데스크톱 모니터들, 디지털 카메라들, 디지털 레코딩 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 디바이스들, 비디오 게임 콘솔들, 셀룰러 또는 위성 무선 전화기들, 비디오 텔레컨퍼런싱 디바이스들 등을 포함한, 광범위한 디스플레이들에 통합될 수 있다. 디스플레이 링크들이 디스플레이들을 적절한 소스 디바이스들에 접속하는데 이용된다. 디스플레이 링크들의 대역폭 요건들은 디스플레이들의 해상도에 비례하고, 따라서 고해상도 디스플레이들은 큰 대역폭 디스플레이 링크들을 요구한다. 일부 디스플레이 링크들은 고해상도 디스플레이들을 지원하기 위한 대역폭을 갖지 않는다. 비디오 압축은 더 낮은 대역폭 디스플레이 링크들이 고해상도 디스플레이들에 디지털 비디오를 제공하는데 이용될 수 있도록 대역폭 요건들을 감소시키는데 이용될 수 있다.
다른 사람들은 픽셀 데이터에 대한 이미지 압축을 활용하려고 시도하였다. 그러나, 이러한 방식들은 때때로 시각적으로 무손실이 아니거나 또는 종래의 디스플레이 디바이스들에서 구현하기 어렵고 비용이 많이 들 수 있다.
비디오 전자 표준 위원회 (VESA) 는 디스플레이 링크 비디오 압축을 위한 표준으로서 디스플레이 스트림 압축 (DSC) 을 개발하였다. DSC 와 같은 디스플레이 링크 비디오 압축 기법은, 다른 것들 중에서도, 시각적으로 무손실인 픽처 품질 (즉, 사용자들이 압축이 활성 중인지 알 수 없도록 하는 수준의 품질을 갖는 픽처들) 을 제공해야 한다. 디스플레이 링크 비디오 압축 기법은 종래의 하드웨어로 실시간으로 구현하기 용이하고 비용이 많이 들지 않는 방식을 또한 제공해야 한다.
본 개시의 시스템들, 방법들 및 디바이스들 각각은 여러 혁신적인 양태들을 갖고, 그 혁신적인 양태들 중 어떤 단일의 양태도 본 명세서에서 개시된 바람직한 속성들에 대해 전적인 책임이 있지는 않다.
하나의 양태에서, M-채널 코덱에 의한 인코딩을 위해 O-채널 포맷 (format) 으로 배열된 픽셀 값들을 패킹 (packing) 하는 방법이 제공된다. 이 방법은, 입력 픽셀 값들의 셋트를 수신하는 단계로서, 각각의 입력 픽셀 값은 O-채널 포맷으로 배열된 O 입력 서브픽셀 (subpixel) 값들을 포함하는, 상기 입력 픽셀 값들의 셋트를 수신하는 단계; 입력 서브픽셀 값들의 각각을 출력 픽셀 값들의 셋트로 재배열하는 단계로서, 출력 픽셀 값들의 각각의 셋트는 M-채널 포맷으로 배열된 M 출력 서브픽셀 값들을 포함하고, O 는 M 보다 더 큰 값을 가지며, 재배열된 M 출력 서브픽셀들의 적어도 부분은 O 입력 서브픽셀 값들로부터 재배열되기 이전의 그들의 상대적인 공간적 포지셔닝 (positioning) 을 유지하는, 상기 입력 서브픽셀 값들의 각각을 출력 픽셀 값들의 셋트로 재배열하는 단계; 및, 출력 픽셀 값들을 M-채널 코덱에 제공하는 단계를 수반할 수도 있다.
다른 양태에서, M-채널 코덱에 의한 인코딩을 위해 O-채널 포맷으로 배열된 픽셀 값들을 패킹하기 위한 디바이스가 제공된다. 이 디바이스는, O-채널 포맷으로 배열된 입력 픽셀 값의 O 입력 서브픽셀 값들을 각각 수신하도록 구성된 O 개의 입력 채널들을 포함하는 트랜시버 회로; O 입력 서브픽셀들을 버퍼링하도록 구성된 적어도 하나의 버퍼; 및, O 입력 서브픽셀들을 출력 픽셀 값들의 셋트로 재배열하도록 구성된 로직 회로로서, 각각의 출력 픽셀 값은 M-채널 포맷으로 배열된 M 출력 서브픽셀 값들을 포함하고, O 는 M 보다 더 큰 값을 가지며, 재배열된 M 출력 서브픽셀들의 적어도 부분은 O 입력 서브픽셀 값들로부터 재배열되기 이전의 그들의 상대적인 공간적 포지셔닝을 유지하는, 상기 로직 회로를 포함할 수도 있고, 트랜시버 회로는, 출력 픽셀 값들의 셋트를 M-채널 코덱에 출력하도록 구성된 M 개의 출력 채널들을 더 포함한다.
또 다른 양태에서, M-채널 포맷으로 배열된 픽셀 값들을 언패킹 (unpacking) 하는 방법이 제공된다. 이 방법은, M-채널 코덱으로부터 입력 픽셀 값들의 셋트를 수신하는 단계로서, 각각의 입력 픽셀은 M-채널 포맷으로 배열된 M 입력 서브픽셀을 포함하는, 상기 입력 픽셀 값들의 셋트를 수신하는 단계; 입력 서브픽셀 값들의 각각을 출력 픽셀 값들의 셋트로 재배열하는 단계로서, 출력 픽셀 값들의 각각의 셋트는 O-채널 포맷으로 배열된 O 출력 서브픽셀 값들을 포함하고, O 는 M 보다 더 큰 값을 가지며, 재배열된 O 출력 서브픽셀들의 적어도 부분은 M 입력 서브픽셀 값들로부터 재배열되기 이전의 그들의 상대적인 공간적 포지셔닝을 유지하는, 상기 입력 서브픽셀 값들의 각각을 출력 픽셀 값들의 셋트로 재배열하는 단계; 및, 출력 픽셀 값들을 출력으로서 제공하는 단계를 수반할 수도 있다.
또 다른 양태에서, M-채널 포맷으로 배열된 픽셀 값들을 언패킹하기 위한 디바이스가 제공된다. 이 디바이스는, M-채널 포맷으로 배열된 입력 픽셀 값의 M 입력 서브픽셀 값들을 각각 수신하도록 구성된 M 개의 입력 채널들을 포함하는 트랜시버 회로; M 입력 서브픽셀들을 버퍼링하도록 구성된 적어도 하나의 버퍼; 및, M 입력 서브픽셀들을 출력 픽셀 값들의 셋트로 재배열하도록 구성된 로직 회로로서, 각각의 출력 픽셀 값은 O-채널 포맷으로 배열된 O 출력 서브픽셀 값들을 포함하고, O 는 M 보다 더 큰 값을 가지며, 재배열된 O 출력 서브픽셀들의 적어도 부분은 M 입력 서브픽셀 값들로부터 재배열되기 이전의 그들의 상대적인 공간적 포지셔닝을 유지하는, 상기 로직 회로를 포함하고; 트랜시버 회로는, 출력 픽셀 값들의 셋트를 출력하도록 구성된 O 개의 출력 채널들을 더 포함한다.
도 1a 는 본 개시물에서 설명된 양태들에 따른 기법들을 활용할 수도 있는 예시적인 비디오 인코딩 및 디코딩 시스템을 도시한 블록도이다.
도 1b 는 본 개시물에서 설명된 양태들에 따른 기법들을 수행할 수도 있는 다른 예시적인 비디오 인코딩 및 디코딩 시스템을 도시한 블록도이다.
도 2a 는 본 개시물에서 설명된 양태들에 따른 기법들을 구현할 수도 있는 비디오 인코더의 예를 도시한 블록도이다.
도 2b 는 본 개시물에서 설명된 양태들에 따른 기법들을 구현할 수도 있는 비디오 디코더의 예를 도시한 블록도이다.
도 3 은 본 개시물에서 설명된 양태들에 따른 기법들을 구현할 수도 있는 비디오 인코더의 다른 예를 도시한 블록도이다.
도 4 는 픽셀 패킹/언패킹을 위한 예시적인 시스템의 블록도이다.
도 5 내지 도 8 은 본 개시물에서 설명된 양태들에 따른 예시적인 픽셀 패킹 방식들을 도시하는 도들이다.
도 9 는 본 개시물에서 설명된 양태들에 따른 픽셀 패킹을 위한 예시적인 아키텍처를 도시하는 도이다.
도 10 은 본 개시물에서 설명된 양태들에 따른 예시적인 패킹 타임라인이다.
도 11 은 품질 평가를 위한 테스트 이미지들을 기술하는 테이블이다.
도 12 는 본 개시물에서 설명된 픽셀 패킹 기법들에 기초한 픽처 품질 결과들을 갖는 테이블이다.
도 13 은 본 개시물에서 설명된 양태들에 따른 픽셀 패킹을 위한 방법을 도시하는 플로우차트이다.
도 14 는 본 개시물에서 설명된 양태들에 따른 픽셀 언패킹을 위한 방법을 도시하는 플로우차트이다.
일반적으로, 이 개시물은 전통적 또는 레거시 (legacy) 코딩 기법들을 통해 밝기, 루미넌스 또는 루마, 및 컬러를 표현하는 추가적인 컬러 공간들을 지원하기 위한 기법들에 관한 것이다. 예를 들어, 디스플레이 스트림 압축 (Display Stream Compression; DSC) 과 같은 비디오 압축 기법들은 전형적인 기존의 디스플레이들을 위해 적합한 적색, 녹색, 및 청색 (RGB) 또는 YCbCr 입력 포맷들을 지원할 수도 있다. 하지만, 어떤 디스플레이들은 주어진 밝기에 대해 더 높은 전력 효율을 달성하기 위해 추가적인 서브픽셀들, 예를 들어, 제 4 서브픽셀 (예컨대, 백색 (W)) 을 도입한다. 제 1 입력 포맷 (예컨대, RGB) 으로부터 제 2 입력 포맷 (예컨대, RGBW) 포맷으로 컨버팅하기 위해서는 특별한 프로세싱이 필요할 수도 있다. 예를 들어, 이러한 컨버전 (conversion) 은 디스플레이 드라이버 집적 회로 (DDIC) 와 같은 디스플레이 드라이버에 의해 수행될 수도 있다. 하지만, 시스템 비용을 낮추기 위해서 시스템 온 칩 (SoC) 을 통해 이러한 컨버전 프로세스를 지원하는 것이 바람직할 수도 있다. 이것은, SoC 가 디스플레이 링크를 가로지르는 송신을 위해 RGBW 정보를 생성할 필요가 있을 수도 있음을 의미한다. DSC 에 대한 기존의 접근법들은 현재 RGBW 를 지원하지 않기 때문에, 이러한 시나리오들에 대한 압축 솔루션에 대한 필요성이 남아있다.
소정의 실시형태들은 본 명세서에서 DSC 표준의 맥락에서 설명되지만, 당해 기술분야에서 통상의 지식을 가진 자 (이하, '통상의 기술자' 라 함) 는 본 명세서에서 개시된 시스템들 및 방법들이 임의의 적합한 비디오 코딩 표준에 적용가능할 수도 있다는 것을 인식할 것이다. 예를 들어, 본 명세서에서 개시된 실시형태들은 다음의 표준들: 국제 전기 통신 연합 (ITU) 전기통신 표준화 섹터 (ITU-T) H.261, ISO/IEC (International Organization for Standardization/International Electrotechnical Commission) MPEG-1 (Moving Picture Experts Group-1) Visual, ITU-T H.262 또는 ISO/IEC MPEG-2 Visual, ITU-T H.263, ISO/IEC MPEG-4 Visual, ITU-T H.264 (또한 ISO/IEC MPEG-4 AVC 로도 알려져 있음), HEVC (High Efficiency Video Coding) 중 하나 이상, 및 이러한 표준들에 대한 임의의 확장들에 적용가능할 수도 있다. 본 명세서에서 설명된 기법들은 고정 비트 레이트 (constant bit rate; CBR) 버퍼 모델을 통합하는 표준들에 특히 적용가능할 수도 있다. 또한, 본 개시에서 설명된 기법들은 장차 개발되는 표준들의 일부가 될 수도 있다. 다시 말해서, 본 개시에서 설명된 기법들은 이전에 개발된 비디오 코딩 표준들, 현재 개발중인 비디오 코딩 표준들, 및 곧 나올 비디오 코딩 표준들에 적용가능할 수도 있다.
비디오 코딩 표준들
디지털 이미지, 이를 테면, 비디오 이미지, TV 이미지, 스틸 이미지 또는 비디오 레코더 또는 컴퓨터에 의해 생성된 이미지는, 수평 및 수직 라인들로 배열된 픽셀들 또는 샘플들을 포함할 수도 있다. 단일 이미지에서의 픽셀들의 수는 통상적으로 수만 개이다. 각각의 픽셀은 통상 루미넌스 및 크로미넌스 정보를 포함한다. 압축이 없으면, 이미지 인코더로부터 이미지 디코더에 전달될 엄청난 양의 정보는 실시간 이미지 송신을 비현실적으로 만들 것이다. 송신될 정보의 양을 감소시키기 위해, 다수의 상이한 압축 방법들, 이를 테면 JPEG, MPEG 및 H.263 표준들이 개발되었다.
비디오 코딩 표준들은 이러한 표준들의 확장들을 포함하여, ITU-T H.261, ISO/IEC MPEG-1 Visual, ITU-T H.262 또는 ISO/IEC MPEG-2 Visual, ITU-T H.263, ISO/IEC MPEG-4 Visual, ITU-T H.264 (또한 ISO/IEC MPEG-4 AVC 로도 알려져 있음), 및 HEVC 를 포함한다.
추가로, 비디오 코딩 표준, 즉 DSC 는 VESA 에 의해 개발되었다. DSC 표준은 디스플레이 링크들을 통한 송신을 위해 비디오를 압축할 수 있는 비디오 압축 표준이다. 디스플레이들의 해상도가 증가함에 따라, 디스플레이들을 드라이빙하도록 요구되는 비디오 데이터의 대역폭은 대응하여 증가한다. 일부 디스플레이 링크들은 이러한 해상도들을 위해 디스플레이에 비디오 데이터 전부를 송신하기 위한 대역폭을 갖지 않을 수도 있다. 이에 따라, DSC 표준은 디스플레이 링크들을 통한 상호운용적, 시각적으로 무손실 압축을 위한 압축 표준을 특정한다.
DSC 표준은 H.264 및 HEVC 와 같은, 다른 비디오 코딩 표준들과는 상이하다. DSC 는 인트라-프레임 압축을 포함하지만, 인터-프레임 압축을 포함하지는 않는데, 이는 비디오 데이터를 코딩하는데 있어서 시간적 정보 (temporal information) 가 DSC 표준에 의해 이용되지 않을 수도 있다는 것을 의미한다. 그에 반해서, 다른 비디오 코딩 표준들은 그들의 비디오 코딩 기법들에서 인터-프레임 압축을 채용할 수도 있다.
비디오 코딩 시스템
신규한 시스템들, 장치들, 및 방법들의 다양한 양태들이 첨부한 도면들을 참조하여 이하에 보다 완전히 설명된다. 본 개시는, 그러나, 많은 상이한 형태들로 구현될 수도 있고 본 개시 전반에 걸쳐 제시된 임의의 특정 구조 또는 기능에 제한되는 것으로서 해석되어서는 안된다. 오히려, 이들 양태들이 제공되어, 본 개시는 철저하고 완전할 것이며, 통상의 기술자에게 본 개시의 범위를 완전히 전달할 것이다. 본 명세서의 교시들에 기초하여, 통상의 기술자는 본 개시의 범위가 본 개시의 임의의 다른 양태에 독립적으로 구현되든, 또는 그 임의의 다른 양태와 결합되든 간에, 본 명세서에서 개시된 신규한 시스템들, 장치들, 및 방법들의 임의의 양태를 커버하도록 의도된다는 것을 인식해야 한다. 예를 들어, 본 명세서에서 기재된 임의의 수의 양태들을 이용하여 장치가 구현될 수도 있거나 또는 방법이 실시될 수도 있다. 추가로, 본 개시의 범위는 본 명세서에서 기재된 본 개시의 다양한 양태들에 더하여 또는 그 다양한 양태들 이외에 다른 구조, 기능성, 또는 구조와 기능성을 이용하여 실시되는 그러한 장치 또는 방법을 커버하도록 의도된다. 본 명세서에서 개시된 임의의 양태는 청구항의 하나 이상의 엘리먼트들에 의해 구현될 수도 있는 것으로 이해되어야 한다.
특정한 양태들이 본 명세서에서 설명되지만, 이들 양태들의 많은 변동들 및 치환들이 본 개시의 범위 내에 들어가게 된다. 선호된 양태들의 일부 이익들 및 이점들이 언급되지만, 본 개시의 범위는 특정한 이익들, 용도들, 또는 목적들에 제한되도록 의도되지 않는다. 오히려, 본 개시의 양태들은, 일부가 도면들에서 및 다음의 선호된 양태들의 설명에서 일 예로 예시되는, 상이한 무선 기법들, 시스템 구성들, 네트워크들, 및 송신 프로토콜들에 폭넓게 적용가능한 것으로 의도된다. 상세한 설명 및 도면들은 제한이 아니라 본 개시의 단지 예시일 뿐이며, 본 개시의 범위는 첨부된 청구항들 및 그 등가물들에 의해 정의된다.
첨부된 도면들은 예들을 예시한다. 첨부된 도면들에서 참조 번호들로 표시된 엘리먼트들은 다음의 설명에서 동일한 참조 번호들로 표시된 엘리먼트들에 대응한다. 본 개시에서, 서수 단어들 (예를 들어, "제 1", "제 2", "제 3" 등) 로 시작하는 명칭들을 갖는 엘리먼트들은 그 엘리먼트들이 특정한 순서를 갖는 것을 반드시 의미하는 것은 아니다. 오히려, 이러한 서수 단어들은 단지 동일한 또는 유사한 타입의 상이한 엘리먼트들을 지칭하는데 사용된다.
도 1a 는 본 개시에서 설명된 양태들에 따른 기법들을 활용할 수도 있는 일 예의 비디오 코딩 시스템 (10) 을 예시하는 블록도이다. 본 명세서에서의 설명에 사용한 바와 같이, 용어 "비디오 코더" 또는 "코더" 는 비디오 인코더들과 비디오 디코더들 양자 모두를 일반적으로 지칭한다. 본 개시에서, 용어들 "비디오 코딩" 또는 "코딩" 은 비디오 인코딩 및 비디오 디코딩을 일반적으로 지칭할 수도 있다. 비디오 인코더들 및 비디오 디코더들에 더하여, 본 출원에서 설명된 양태들은 트랜스코더들 (예를 들어, 비트스트림을 디코딩하고 다른 비트스트림을 재-인코딩할 수 있는 디바이스들) 및 미들박스들 (예를 들어, 비트스트림을 변경, 변환, 및/또는 다르게는 조작할 수 있는 디바이스들) 과 같은 다른 관련 디바이스들로 확대될 수도 있다.
도 1a 에 도시한 바와 같이, 비디오 코딩 시스템 (10) 은 목적지 디바이스 (14) 에 의해 추후에 디코딩될 인코딩된 비디오 데이터를 생성하는 소스 디바이스 (12) 를 포함한다. 도 1a 의 예에서, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 별도의 디바이스들을 구성한다. 그러나, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 도 1b 의 예에 도시한 바와 같이, 동일한 디바이스 상에 있거나 또는 그 동일한 디바이스의 일부일 수도 있다는 것에 유의한다.
도 1a 를 다시 한번 참조하면, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 데스크톱 컴퓨터들, 노트북 (예를 들어, 랩톱) 컴퓨터들, 태블릿 컴퓨터들, 셋-톱 박스들, 전화기 핸드셋들, 이를 테면 소위 "스마트" 폰들, 소위 "스마트" 패드들, 텔레비전들, 카메라들, 디스플레이 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 콘솔들, 차량내 컴퓨터들, 비디오 스트리밍 디바이스들, 엔티티 (예를 들어, 사람, 동물, 및/또는 다른 제어된 디바이스) 에 의해 (에) 착용가능한 (또는 제거가능하게 탈착가능한) 디바이스들, 이를 테면 안경류 및/또는 웨어러블 컴퓨터, 엔티티 내에서 소비, 수집, 또는 배치될 수 있는 디바이스들 또는 장치, 및/또는 등등을 포함한, 광범위한 디바이스들 중 임의의 것을 각각 포함할 수도 있다. 다양한 실시형태들에서, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 무선 통신을 위해 구비될 수도 있다.
목적지 디바이스 (14) 는 디코딩될 인코딩된 비디오 데이터를 링크 (16) 를 통해 수신할 수도 있다. 링크 (16) 는 인코딩된 비디오 데이터를 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로 이동시키는 것이 가능한 임의의 타입의 매체 또는 디바이스를 포함할 수도 있다. 도 1a 의 예에서, 링크 (16) 는, 소스 디바이스 (12) 가 인코딩된 비디오 데이터를 실시간으로 목적지 디바이스 (14) 에 송신하는 것을 가능하게 하기 위한 통신 매체를 포함할 수도 있다. 인코딩된 비디오 데이터는 통신 표준, 이를 테면 무선 통신 프로토콜에 따라 변조되고, 그리고 목적지 디바이스 (14) 에 송신될 수도 있다. 통신 매체는 임의의 무선 또는 유선 통신 매체, 이를 테면 무선 주파수 (RF) 스펙트럼 또는 하나 이상의 물리 송신 라인들을 포함할 수도 있다. 통신 매체는 로컬 영역 네트워크, 광역 네트워크, 또는 인터넷과 같은 글로벌 네트워크와 같이, 패킷-기반 네트워크의 일부를 형성할 수도 있다. 통신 매체는 라우터들, 스위치들, 기지국들, 또는 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로의 통신을 용이하게 하는데 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다.
도 1a 의 예에서, 소스 디바이스 (12) 는 비디오 소스 (18), 비디오 인코더 (20) 및 출력 인터페이스 (22) 를 포함한다. 일부 경우들에서, 출력 인터페이스 (22) 는 변조기/복조기 (모뎀) 및/또는 송신기를 포함할 수도 있다. 소스 디바이스 (12) 에서, 비디오 소스 (18) 는 소스, 이를 테면 비디오 캡처 디바이스, 예를 들어, 비디오 카메라, 이전에 캡처된 비디오를 포함하는 비디오 아카이브, 비디오 콘텐츠 제공자로부터 비디오를 수신하기 위한 비디오 피드 인터페이스, 및/또는 컴퓨터 그래픽스 데이터를 소스 비디오로서 생성하기 위한 컴퓨터 그래픽스 시스템, 또는 이러한 소스들의 조합을 포함할 수도 있다. 하나의 예로서, 비디오 소스 (18) 가 비디오 카메라이면, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 도 1b 의 예에 예시되는 바와 같이, 소위 "카메라 폰들" 또는 "비디오 폰들" 을 형성할 수도 있다. 그러나, 본 개시에서 설명된 기법들은 일반적으로 비디오 코딩에 적용가능할 수도 있고, 무선 및/또는 유선 애플리케이션들에 적용될 수도 있다.
캡처된, 사전-캡처된, 또는 컴퓨터-생성된 비디오는 비디오 인코더 (20) 에 의해 인코딩될 수도 있다. 인코딩된 비디오 데이터는 소스 디바이스 (12) 의 출력 인터페이스 (22) 를 통해 목적지 디바이스 (14) 에 송신될 수도 있다. 인코딩된 비디오 데이터는 또한 (또는 대안적으로), 목적지 디바이스 (14) 에 의한 추후 액세스를 위해 저장 디바이스 (31) 로 또는 디코딩 및/또는 플레이백을 위해 다른 디바이스들로 저장될 수도 있다. 도 1a 및 도 1b 에 예시된 비디오 인코더 (20) 는 도 2a 에 예시된 비디오 인코더 (20) 또는 본 명세서에서 설명된 임의의 다른 비디오 인코더를 포함할 수도 있다.
도 1a 의 예에서, 목적지 디바이스 (14) 는 입력 인터페이스 (28), 비디오 디코더 (30), 및 디스플레이 디바이스 (32) 를 포함한다. 일부 경우들에서, 입력 인터페이스 (28) 는 수신기 및/또는 모뎀을 포함할 수도 있다. 목적지 디바이스 (14) 의 입력 인터페이스 (28) 는 링크 (16) 를 통해 및/또는 저장 디바이스 (31) 로부터 인코딩된 비디오 데이터를 수신할 수도 있다. 링크 (16) 를 통해 통신되거나, 또는 저장 디바이스 (31) 상에서 제공된 인코딩된 비디오 데이터는, 비디오 데이터를 디코딩하는데 있어서, 비디오 디코더 (30) 와 같은 비디오 디코더에 의한 이용을 위해 비디오 인코더 (20) 에 의해 생성된 다양한 신택스 엘리먼트들을 포함할 수도 있다. 이러한 신택스 엘리먼트들에는 통신 매체 상에서 송신되거나, 저장 매체 상에 저장되거나, 또는 파일 서버에 저장된 인코딩된 비디오 데이터가 포함될 수도 있다. 도 1a 및 도 1b 에 예시된 비디오 디코더 (30) 는 도 2b 에 예시된 비디오 디코더 (30) 또는 본 명세서에서 설명된 임의의 다른 비디오 디코더를 포함할 수도 있다.
디스플레이 디바이스 (32) 는 목적지 디바이스 (14) 와 통합되거나, 또는 목적지 디바이스 (14) 의 외부에 있을 수도 있다. 일부 예들에서, 목적지 디바이스 (14) 는 통합된 디스플레이 디바이스를 포함할 수도 있고 또한 외부 디스플레이 디바이스와 인터페이스하도록 구성될 수도 있다. 다른 예들에서, 목적지 디바이스 (14) 는 디스플레이 디바이스일 수도 있다. 일반적으로, 디스플레이 디바이스 (32) 는 디코딩된 비디오 데이터를 사용자에게 디스플레이하고, 액정 디스플레이 (LCD), 플라즈마 디스플레이, 유기 발광 다이오드 (OLED) 디스플레이, 또는 다른 타입의 디스플레이 디바이스와 같은 다양한 디스플레이 디바이스들 중 임의의 것을 포함할 수도 있다.
관련 양태들에서, 도 1b 는 소스 디바이스 (12) 및 목적지 디바이스 (14) 가 디바이스 (11) 상에 있거나 또는 그 디바이스 (11) 의 일부인, 일 예의 비디오 코딩 시스템 (10') 을 도시한다. 디바이스 (11) 는 "스마트" 폰 또는 등등과 같은 전화기 핸드셋일 수도 있다. 디바이스 (11) 는 소스 디바이스 (12) 및 목적지 디바이스 (14) 와 동작적 통신하는 (옵션적으로 존재하는) 프로세서/제어기 디바이스 (13) 를 포함할 수도 있다. 도 1b 의 비디오 코딩 시스템 (10') 및 그 컴포넌트들은 다르게는 도 1a 의 비디오 코딩 시스템 (10) 및 그 컴포넌트들과 유사하다.
비디오 인코더 (20) 및 비디오 디코더 (30) 는 DSC 와 같은 비디오 압축 표준에 따라 동작할 수도 있다. 대안적으로, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 MPEG-4, Part 10, AVC 로 대안적으로 지칭되는 ITU-T H.264 표준, HEVC 또는 이러한 표준들의 확장들과 같은 다른 사유 또는 산업 표준들에 따라 동작할 수도 있다. 본 개시의 기법들은, 그러나, 임의의 특정한 코딩 표준에 제한되지는 않는다. 비디오 압축 표준들의 다른 예들은 MPEG-2 및 ITU-T H.263 을 포함한다.
도 1a 및 도 1b 의 예들에 도시되지는 않았지만, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 오디오 인코더 및 디코더와 각각 통합될 수도 있고, 공통 데이터 스트림 또는 별도의 데이터 스트림들에서의 오디오 및 비디오 양자 모두의 인코딩을 핸들링하기 위해, 적절한 MUX-DEMUX 유닛들, 또는 다른 하드웨어 및 소프트웨어를 포함할 수도 있다. 적용가능하다면, 일부 예들에서, MUX-DEMUX 유닛들은 ITU H.223 멀티플렉서 프로토콜, 또는 사용자 데이터그램 프로토콜 (UDP) 과 같은 다른 프로토콜들에 따를 수도 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSP들), 애플리케이션 특정 집적 회로들 (ASIC들), 필드 프로그래밍가능 게이트 어레이들 (FPGA들), 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 그 임의의 조합들과 같은, 다양한 적합한 인코더 회로부 중 임의의 것으로서 구현될 수도 있다. 기법들이 부분적으로 소프트웨어로 구현되는 경우, 디바이스는 적합한 비일시적 컴퓨터 판독가능 매체에 소프트웨어용 명령들을 저장하고 그 명령들을, 본 개시의 기법들을 수행하기 위해 하나 이상의 프로세서들을 이용하는 하드웨어에서 실행할 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 의 각각은, 어느 하나가 개별의 디바이스에 결합된 인코더/디코더의 일부로서 통합될 수도 있는, 하나 이상의 인코더들 또는 디코더들에 포함될 수도 있다.
비디오 코딩 프로세스
간략하게 언급한 바와 같이, 비디오 인코더 (20) 는 비디오 데이터를 인코딩한다. 비디오 데이터는 하나 이상의 픽처들을 포함할 수도 있다. 그 픽처들의 각각은 비디오의 일부를 형성하는 스틸 이미지이다. 일부 인스턴스들에서, 픽처는 비디오 "프레임" 으로 지칭될 수도 있다. 비디오 인코더 (20) 가 비디오 데이터를 인코딩하는 경우, 비디오 인코더 (20) 는 비트스트림을 생성할 수도 있다. 비트스트림은 비디오 데이터의 코딩된 표현을 형성하는 비트들의 시퀀스를 포함할 수도 있다. 비트스트림은 코딩된 픽처들 및 연관된 데이터를 포함할 수도 있다. 코딩된 픽처는 픽처의 코딩된 표현이다.
비트스트림을 생성하기 위해, 비디오 인코더 (20) 는 비디오 데이터에서의 각각의 픽처에 대해 인코딩 동작들을 수행할 수도 있다. 비디오 인코더 (20) 가 그 픽처들에 대해 인코딩 동작들을 수행하는 경우, 비디오 인코더 (20) 는 일련의 코딩된 픽처들 및 연관된 데이터를 생성할 수도 있다. 연관된 데이터는 양자화 파라미터 (QP) 와 같은 코딩 파라미터들의 셋트를 포함할 수도 있다. 코딩된 픽처를 생성하기 위해, 비디오 인코더 (20) 는 픽처를 동일하게 사이징된 비디오 블록들로 파티셔닝할 수도 있다. 비디오 블록은 샘플들의 2 차원 어레이일 수도 있다. 코딩 파라미터들은 비디오 데이터의 모든 블록에 대한 코딩 옵션 (예를 들어, 코딩 모드) 을 정의할 수도 있다. 코딩 옵션은 원하는 레이트-왜곡 성능을 달성하기 위하여 선택될 수도 있다.
일부 예들에서, 비디오 인코더 (20) 는 픽처를 복수의 슬라이스들로 파티셔닝할 수도 있다. 슬라이스들의 각각은 이미지 또는 프레임에서의 나머지 영역들로부터의 정보 없이 독립적으로 디코딩될 수 있는 (예를 들어, 프레임인) 이미지에서의 공간적으로 별개의 영역을 포함할 수도 있다. 각각의 이미지 또는 비디오 프레임은 단일의 슬라이스에서 인코딩될 수도 있거나 또는 각각의 이미지 또는 비디오 프레임은 여러 슬라이스들에서 인코딩될 수도 있다. DSC 에서, 각각의 슬라이스를 인코딩하도록 할당된 목표 비트들은 실질적으로 일정할 수도 있다. 픽처에 대해 인코딩 동작을 수행하는 것의 일부로서, 비디오 인코더 (20) 는 픽처의 각각의 슬라이스에 대해 인코딩 동작들을 수행할 수도 있다. 비디오 인코더 (20) 가 슬라이스에 대해 인코딩 동작을 수행하는 경우, 비디오 인코더 (20) 는 슬라이스와 연관된 인코딩된 데이터를 생성할 수도 있다. 슬라이스와 연관된 인코딩된 데이터는 "코딩된 슬라이스" 로 지칭될 수도 있다.
예시적인 비디오 인코더
도 2a 는 본 개시에서 설명된 양태들에 따른 기법들을 구현할 수도 있는 비디오 인코더 (20) 의 일 예를 예시하는 블록도이다. 비디오 인코더 (20) 는 본 개시의 기법들의 일부 또는 전부를 수행하도록 구성될 수도 있다. 일부 예들에서, 본 개시에서 설명된 기법들은 비디오 인코더 (20) 의 다양한 컴포넌트들 간에 공유될 수도 있다. 일부 예들에서, 추가적으로 또는 대안적으로, 프로세서 (미도시) 는 본 개시에서 설명된 기법들의 일부 또는 전부를 수행하도록 구성될 수도 있다.
설명의 목적들을 위해, 본 개시는 DSC 코딩의 맥락에서 비디오 인코더 (20) 를 설명한다. 그러나, 본 개시의 기법들은 다른 코딩 표준들 또는 방법들에 적용가능할 수도 있다.
도 2a 의 예에서, 비디오 인코더 (20) 는 복수의 기능적 컴포넌트들을 포함한다. 비디오 인코더 (20) 의 기능적 컴포넌트들은 컬러-공간 컨버터 (105), 버퍼 (110), 평탄도 검출기 (115), 레이트 제어기 (120), 예측기, 양자화기, 및 복원기 컴포넌트 (125), 라인 버퍼 (130), 인덱싱된 컬러 히스토리 (135), 엔트로피 인코더 (140), 서브스트림 멀티플렉서 (145), 및 레이트 버퍼 (150) 를 포함한다. 다른 예들에서, 비디오 인코더 (20) 는 더 많거나, 더 적거나, 또는 상이한 기능적 컴포넌트들을 포함할 수도 있다.
컬러-공간 컨버터 (105) 는 코딩 구현에서 이용되는 컬러-공간으로 입력 컬러-공간을 컨버팅할 수도 있다. 예를 들어, 하나의 예시적인 실시형태에서, 입력 비디오 데이터의 컬러-공간은 적색, 녹색, 및 청색 (RGB) 컬러-공간에 있고 코딩은 루미넌스 Y, 크로미넌스 그린 Cg, 및 크로미넌스 오렌지 Co (YCgCo) 컬러-공간에서 구현된다. 컬러-공간 컨버전은 비디오 데이터에 대한 시프트들 및 추가들을 포함하는 방법(들)에 의해 수행될 수도 있다. 다른 컬러-공간들에서의 입력 비디오 데이터가 프로세싱될 수도 있고 다른 컬러-공간들로의 컨버전들이 또한 수행될 수도 있다는 것에 유의한다.
특정 코덱들은 모든 컬러-공간 표준들 사이에서의 컨버전들을 수행하도록 설계되지 않을 수도 있다. 예를 들어, 적색, 녹색, 청색, 및 백색 (RGBW) 과 같은 특정 컬러-공간은 4 개의 컬러 채널들을 포함할 수도 있고, 이는 상기 리스트된 보다 통상적인 3-채널 컬러 포맷들보다 더 크다. 디스플레이 기술에서의 진보는 이 컬러 포맷에 대한 수요를 생성하는 추가적인 서브픽셀들, 예컨대, RGBW 를 채용할 수도 있다. 하지만, 레거시 3-채널 코덱들은 오직 3 개의 입력들/출력들만을 가지고, 따라서, 태생적으로 4 채널 입력을 수신하도록 구성되지 않는다. 따라서, 이들 3-채널 코덱들은 3-채널 표준의 내부 구조 및 사양에 대한 수정 없이 RGBW 비디오 데이터를 코딩할 수 없다.
관련 양태들에서, 비디오 인코더 (20) 는 버퍼 (110), 라인 버퍼 (130), 및/또는 레이트 버퍼 (150) 를 포함할 수도 있다. 예를 들어, 버퍼 (110) 는 컬러-공간 컨버팅된 비디오 데이터를, 비디오 인코더 (20) 의 다른 부분들에 의한 그 데이터의 이용 이전에 유지할 수도 있다. 다른 예에서, 비디오 데이터는 RGB 컬러-공간에 저장될 수도 있고 컬러-공간 컨버전은, 컬러-공간 컨버팅된 데이터가 더 많은 비트들을 요구할 수도 있기 때문에, 필요에 따라 수행될 수도 있다.
레이트 버퍼 (150) 는 비디오 인코더 (20) 에서 레이트 제어 메커니즘의 일부로서 기능할 수도 있는데, 이는 레이트 제어기 (120) 와 관련하여 아래에 더 상세히 설명될 것이다. 각각의 블록을 인코딩하는데 쓰여진 비트들은 블록의 본성에 기초하여 매우 상당히 가변할 수 있다. 레이트 버퍼 (150) 는 압축된 비디오에서 레이트 변동들을 평활화할 수 있다. 일부 실시형태들에서는, 고정 비트 레이트에서 비트들이 버퍼로부터 취해지는 고정 비트 레이트 (CBR) 버퍼 모델이 채용된다. CBR 버퍼 모델에서, 비디오 인코더 (20) 가 비트스트림에 너무 많은 비트들을 추가하면, 레이트 버퍼 (150) 는 오버플로우할 수도 있다. 다른 한편으로, 비디오 인코더 (20) 는 레이트 버퍼 (150) 의 언더플로우를 방지하기 위하여 충분한 비트들을 추가해야 한다.
비디오 디코더 측에서, 비트들은 고정 비트 레이트에서 비디오 디코더 (30) 의 레이트 버퍼 (155) 에 추가될 수도 있고 (아래에 더욱 상세히 설명되는 도 2b 를 참조), 비디오 디코더 (30) 는 각각의 블록에 대해 가변 수들의 비트들을 제거할 수도 있다. 적절한 디코딩을 보장하기 위해, 비디오 디코더 (30) 의 레이트 버퍼 (155) 는 압축된 비트 스트림의 디코딩 동안 "언더플로우" 또는 "오버플로우" 해서는 안된다.
일부 실시형태들에서, 버퍼 충실도 (BF) 는 현재 버퍼에 있는 비트들의 수를 나타내는 값들 BufferCurrentSize 및 레이트 버퍼 (150) 의 사이즈, 즉, 어떤 시점에 레이트 버퍼 (150) 에 저장될 수 있는 비트들의 최대 수를 나타내는 BufferMaxSize 에 기초하여 정의될 수 있다. BF 는 다음으로서 계산될 수도 있다:
Figure pct00001
BF 를 계산하는 것에 대한 상기 접근법은 단지 예시적일 뿐이며, BF 는 특정한 구현 또는 맥락에 의존하여, 임의의 수의 상이한 방식들로 계산될 수도 있다는 것에 유의한다.
평탄도 검출기 (115) 는 비디오 데이터에서의 복잡한 (즉, 비-평탄한) 영역들로부터 비디오 데이터에서의 평탄한 (즉, 단순한 또는 균일한) 영역들로의 변화들을 검출할 수 있고, 및/또는 그 역도 또한 마찬가지이다. 용어들 "복잡한 (complex)" 및 "평탄한 (flat)" 은 본 명세서에서 비디오 인코더 (20) 가 비디오 데이터의 개별의 영역들을 인코딩하기 어려움을 일반적으로 지칭하는데 사용될 것이다. 따라서, 용어 복잡한은 본 명세서에서 사용한 바와 같이, 비디오 인코더 (20) 가 인코딩하기 복잡한 것으로서 비디오 데이터의 영역을 일반적으로 설명하고, 예를 들어, 텍스처화된 비디오 데이터, 높은 공간 주파수, 및/또는 인코딩하기 복잡한 다른 피처들을 포함할 수도 있다. 용어 평탄한은 본 명세서에서 사용한 바와 같이, 비디오 인코더 (20) 가 인코딩하기 간단한 것으로서 비디오 데이터의 영역을 일반적으로 설명하고, 예를 들어, 비디오 데이터에서의 평활한 경사도, 낮은 공간 주파수, 및/또는 인코딩하기 간단한 다른 피처들을 포함할 수도 있다. 복잡한 영역으로부터 평탄한 영역으로의 트랜지션들은 인코딩된 비디오 데이터에서의 양자화 아티팩트들을 감소시키기 위해 비디오 인코더 (20) 에 의해 이용될 수도 있다. 구체적으로, 레이트 제어기 (120) 및 예측기, 양자화기, 및 복원기 컴포넌트 (125) 는, 복잡한 영역으로부터 평탄한 영역으로의 트랜지션들이 식별되는 경우 이러한 양자화 아티팩트들을 감소시킬 수 있다. 유사하게, 평탄한 영역으로부터 복잡한 영역으로의 트랜지션들은 현재의 블록을 코딩하도록 요구되는 예상된 레이트를 감소시키기 위하여 QP 를 증가시키기 위해 비디오 인코더 (20) 에 의해 이용될 수도 있다.
레이트 제어기 (120) 는 일 셋트의 코딩 파라미터들, 예를 들어, QP 를 결정한다. QP 는 레이트 버퍼 (150) 가 오버플로우 또는 언더플로우하지 않는 것을 보장하는 목표 비트레이트에 대한 픽처 품질을 최대화하기 위하여 레이트 버퍼 (150) 의 버퍼 충실도 및 비디오 데이터의 이미지 활동도 (예를 들어, 복잡한 영역으로부터 평탄한 영역으로의 트랜지션 또는 그 역도 또한 마찬가지임) 에 기초하여 레이트 제어기 (120) 에 의해 조정될 수도 있다. 레이트 제어기 (120) 는 또한, 최적의 레이트-왜곡 성능을 달성하기 위하여 비디오 데이터의 각각의 블록에 대한 특정한 코딩 옵션 (예를 들어, 특정한 모드) 을 선택한다. 레이트 제어기 (120) 는 비트-레이트 제약을 충족하도록, 즉 전체 실제 코딩 레이트가 목표 비트 레이트 안에 들어가도록 복원된 이미지들의 왜곡을 최소화한다. 따라서, 레이트 제어기 (120) 의 하나의 목적은, 레이트-왜곡 성능을 최대화하면서 레이트에 대한 순간 및 평균 제약들을 충족하도록, 일 셋트의 코딩 파라미터들, 이를 테면 QP(들), 코딩 모드(들) 등을 결정하는 것이다.
예측기, 양자화기, 및 복원기 컴포넌트 (125) 는 비디오 인코더 (20) 의 적어도 3 개의 인코딩 동작들을 수행할 수도 있다. 예측기, 양자화기, 및 복원기 컴포넌트 (125) 는 다수의 상이한 모드들에서 예측을 수행할 수도 있다. 하나의 예의 예측 모드는 메디안 적응 (median-adaptive) 예측의 변경된 버전이다. 메디안 적응 예측은 무손실 JPEG 표준 (JPEG-LS) 에 의해 구현될 수도 있다. 예측기, 양자화기, 복원기 컴포넌트 (125) 에 의해 수행될 수도 있는 메디안 적응 예측의 변경된 버전은 3 개의 연속적인 샘플 값들의 병렬 예측을 허용할 수도 있다. 다른 예의 예측 모드는 블록 예측이다. 블록 예측에서, 샘플들은 상부의 라인에서의 또는 동일한 라인의 좌측의 이전에 복원된 픽셀들로부터 예측된다. 일부 실시형태들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 양자 모두는, 블록 예측 사용들을 결정하기 위해 복원된 픽셀들에 대해 동일한 검색을 수행할 수도 있고, 따라서 어떤 비트들도 블록 예측 모드에서 전송될 필요가 없다. 다른 실시형태들에서, 비디오 인코더 (20) 는 비디오 디코더 (30) 가 별도의 검색을 수행할 필요가 없도록, 검색을 수행하고 비트스트림에서 블록 예측 벡터들을 시그널링할 수도 있다. 중간점 (midpoint) 예측 모드가 또한 구현될 수도 있으며, 여기서 샘플들은 컴포넌트 범위의 중간점을 이용하여 예측된다. 중간점 예측 모드는 심지어 최악의 경우의 샘플에서 압축된 비디오를 위해 요구되는 비트들의 수의 바운딩 (bounding) 을 가능하게 할 수도 있다.
예측기, 양자화기, 및 복원기 컴포넌트 (125) 는 또한 양자화를 수행한다. 예를 들어, 양자화는 시프터를 이용하여 구현될 수도 있는 2 의 거듭제곱 (power-of-2) 양자화기를 통해 수행될 수도 있다. 다른 양자화 기법들이 2 의 거듭제곱 양자화기 대신에 구현될 수도 있다는 것에 유의한다. 예측기, 양자화기, 및 복원기 컴포넌트 (125) 에 의해 수행된 양자화는 레이트 제어기 (120) 에 의해 결정된 QP 에 기초할 수도 있다. 마지막으로, 예측기, 양자화기, 및 복원기 컴포넌트 (125) 는 또한, 역 양자화된 잔차를 예측된 값에 추가하는 것 및 결과가 샘플 값들의 유효한 범위를 벗어나지 않는 것을 보장하는 것을 포함하는 복원을 수행한다.
예측기, 양자화기, 및 복원기 컴포넌트 (125) 에 의해 수행된 예측, 양자화, 및 복원에 대한 상기 설명된 예의 접근법들은 단지 예시적일 뿐이며 다른 접근법들이 구현될 수도 있다는 것에 유의한다. 또한, 예측기, 양자화기, 및 복원기 컴포넌트 (125) 는 예측, 양자화, 및/또는 복원을 수행하기 위한 서브컴포넌트(들)를 포함할 수도 있다는 것에 유의한다. 추가로, 예측, 양자화, 및/또는 복원은 예측기, 양자화기, 및 복원기 컴포넌트 (125) 대신에 여러 별도의 인코더 컴포넌트들에 의해 수행될 수도 있다는 것에 유의한다.
라인 버퍼 (130) 는 예측기, 양자화기, 및 복원기 컴포넌트 (125) 및 인덱싱된 컬러 히스토리 (135) 가 버퍼링된 비디오 데이터를 이용할 수 있도록 예측기, 양자화기, 및 복원기 컴포넌트 (125) 로부터의 출력을 유지한다. 인덱싱된 컬러 히스토리 (135) 는 최근에 이용된 픽셀 값들을 저장한다. 이들 최근에 이용된 픽셀 값들은 전용 신택스를 통해 비디오 인코더 (20) 에 의해 직접 참조될 수 있다.
엔트로피 인코더 (140) 는 인덱싱된 컬러 히스토리 (135) 및 평탄도 검출기 (115) 에 의해 식별된 평탄도 트랜지션들에 기초하여 예측기, 양자화기, 및 복원기 컴포넌트 (125) 로부터 수신된 예측 잔차들 및 임의의 다른 데이터 (예를 들어, 예측기, 양자화기, 및 복원기 컴포넌트 (125) 에 의해 식별된 인덱스들) 를 인코딩한다. 일부 예들에서, 엔트로피 인코더 (140) 는 서브스트림 인코더에 대하여 클럭 당 3 개의 샘플들을 인코딩할 수도 있다. 서브스트림 멀티플렉서 (145) 는 헤더리스 패킷 멀티플렉싱 방식에 기초하여 비트스트림을 멀티플렉싱할 수도 있다. 이것은 비디오 디코더 (30) 가 엔트로피 디코더들을 병렬로 실행하는 것을 허용하여, 클럭 당 3 개의 픽셀들의 디코딩을 용이하게 한다. 서브스트림 멀티플렉서 (145) 는 패킷들이 비디오 디코더 (30) 에 의해 효율적으로 디코딩될 수 있도록 패킷 순서를 최적화할 수도 있다. 클럭 당 2 의 거듭제곱 픽셀들 (예를 들어, 2 픽셀들/클럭 또는 4 픽셀들/클럭) 의 디코딩을 용이하게 할 수도 있는, 엔트로 코딩에 대한 상이한 접근법들이 구현될 수도 있다는 것에 유의한다.
예시적인 비디오 디코더
도 2b 는 본 개시에서 설명된 양태들에 따른 기법들을 구현할 수도 있는 비디오 디코더 (30) 의 일 예를 예시하는 블록도이다. 비디오 디코더 (30) 는 본 개시의 기법들의 일부 또는 전부를 수행하도록 구성될 수도 있다. 일부 예들에서, 본 개시에서 설명된 기법들은 비디오 디코더 (30) 의 다양한 컴포넌트들 간에 공유될 수도 있다. 일부 예들에서, 추가적으로 또는 대안적으로, 프로세서 (미도시) 는 본 개시에서 설명된 기법들의 일부 또는 전부를 수행하도록 구성될 수도 있다.
설명의 목적들을 위해, 본 개시는 DSC 코딩의 맥락에서 비디오 디코더 (30) 를 설명한다. 그러나, 본 개시의 기법들은 다른 코딩 표준들 또는 방법들에 적용가능할 수도 있다.
도 2b 의 예에서, 비디오 디코더 (30) 는 복수의 기능적 컴포넌트들을 포함한다. 비디오 디코더 (30) 의 기능적 컴포넌트들은 레이트 버퍼 (155), 서브스트림 디멀티플렉서 (160), 엔트로피 디코더 (165), 레이트 제어기 (170), 예측기, 양자화기, 및 복원기 컴포넌트 (175), 인덱싱된 컬러 히스토리 (180), 라인 버퍼 (185), 및 컬러-공간 컨버터 (190) 를 포함한다. 비디오 디코더 (30) 의 예시된 컴포넌트들은 도 2a 에서의 비디오 인코더 (20) 와 관련하여 상기 설명된 대응하는 컴포넌트들과 유사하다. 이와 같이, 비디오 디코더 (30) 의 컴포넌트들의 각각은 상기 설명한 바와 같이 비디오 인코더 (20) 의 대응하는 컴포넌트들과 유사한 방식으로 동작할 수도 있다.
DSC 에서의 슬라이스들
상기 언급된 바와 같이, 슬라이스는 일반적으로, 이미지 또는 프레임에서의 구역의 나머지로부터의 정보를 이용하지 않고서 독립적으로 디코딩될 수 있는 이미지 또는 프레임에서의 공간적으로 구분되는 영역을 지칭한다. 각각의 이미지 또는 비디오 프레임은 단일의 슬라이스에서 인코딩될 수도 있거나, 각각의 이미지 또는 비디오 프레임은 수개의 슬라이스들에서 인코딩될 수도 있다. DSC 에서, 각각의 슬라이스를 인코딩하기 위해 할당된 목표 비트들은 실질적으로 일정할 수도 있다.
양자화 파라미터 ( QP )
상술된 바와 같이, 비디오 코딩은 예를 들어 예측기, 양자화기, 및 복원기 컴포넌트 (125) 를 통한 비디오 데이터의 양자화를 포함할 수도 있다. 양자화는 신호에 손실을 도입할 수도 있고, 손실의 양은 레이트 제어기 (120) 에 의해 결정되는 QP 에 의해 제어될 수 있다. 각각의 QP 에 대한 양자화 스텝 사이즈를 저장하기보다는, 스케일링 매트릭스가 QP 의 함수로서 명시될 수도 있다. 각각의 QP 에 대한 양자화 스텝 사이즈는 그 스케일링 매트릭스로부터 도출될 수도 있고, 도출된 값은 반드시 2 의 거듭제곱일 필요는 없을 수도 있다, 즉, 도출된 값은 또한 2 의 거듭제곱이 아닐 수 있다.
비디오 인코더의 추가적인 예
도 3 은 본원에 설명된 양태들에 따른 기법들을 구현하기 위한 비디오 인코더 (20) 의 또 다른 예를 도시하는 블록도이다. 비디오 인코더 (20) 또는 그것의 컴포넌트(들)는 본 개시의 기법들의 일부 또는 전부를 수행하도록 구성될 수도 있다. 일부 예들에서, 본원에 기술된 기법들은 비디오 인코더 (20) 의 다양한 컴포넌트들 중에서 공유 또는 분포될 수도 있다. 일부 예들에서, 추가적으로 또는 대안적으로, 프로세서 (미도시) 는 본원에 기술된 기법들의 일부 또는 전부를 수행하도록 구성될 수도 있다.
도 3 의 예에서, 비디오 인코더 (20) 는 복수의 기능적 컴포넌트들을 포함한다. 비디오 인코더 (20) 의 기능적 컴포넌트들은, 예를 들어, 평탄도 검출기 (115), 레이트 제어기 (120), 엔트로피 인코더 (140), 서브스트림 멀티플렉서 (145), 레이트 버퍼 (150), 라인 버퍼(들) (305), 래스터-투-블록 컨버터 (310), 모드 평가기 (315), 모드 선택기 (320), 복원기 (325), 업데이트 복원 버퍼 컴포넌트 (330), 및 업데이트 패턴 데이터베이스 컴포넌트 (335) 를 포함할 수도 있다. 다른 예들에서, 비디오 인코더 (20) 는 더 많은, 더 적은, 또는 상이한 기능적 컴포넌트들을 포함할 수도 있다. 평탄도 검출기 (115), 레이트 제어기 (120), 엔트로피 인코더 (140), 서브스트림 멀티플렉서 (145), 및 레이트 버퍼 (150) 는 도 2a 와 관련하여 상술된 비디오 인코더 (20) 의 대응하는 컴포넌트들과 유사하게 기능할 수도 있고, 따라서, 이들 컴포넌트들의 추가적인 상세한 설명은 반복되지 않을 것이다.
라인 버퍼(들) (305) 는 예를 들어 비디오 데이터의 2-4 라인들을 저장하는 버퍼 또는 복수의 버퍼들일 수도 있다. 라인 버퍼(들) (305) 에 의해 저장된 비디오 데이터의 라인들은 래스터-투-블록 컨버터 (310) 에 제공될 수도 있다. 라인 버퍼(들) (305) 에 의해 저장된 라인들의 수는 픽셀들의 블록들 (예컨대, Kx2 또는 Kx4 블록들) 을 생성하기 위해 사용되는 픽셀들의 행들 (rows) 의 수에 대응할 수도 있다. 래스터-투-블록 컨버터 (310) 는 비디오 데이터의 라인들을 인코더 (20) 가 동작하도록 설계된 비디오 데이터의 블록들로 컨버팅할 수도 있다.
래스터-투-블록 컨버터 (310) 는 평탄도 검출기 (115) 및/또는 모드 평가기 (315) 에 블록들을 제공하도록 구성될 수도 있다. 평탄도 검출기 (115) 는 비디오 데이터에서의 평탄한 영역들을 검출하고, 도 2a 에서의 평탄도 검출기 (115) 와 유사한 방식으로 동작할 수도 있다. 유사하게, 평탄도 검출기 (115) 로부터의 출력을 수신하는 레이트 제어기 (120) 는 도 2a 의 레이트 제어기 (120) 와 유사한 방식으로 동작할 수도 있다.
모드 평가기 (315) 는 복수의 코딩 모드들에서 래스터-투-블록 컨버터 (310) 로부터 수신된 블록들의 코딩과 연관된 하나 이상의 파라미터들을 평가하도록 구성될 수도 있다. 예를 들어, 모드 평가기 (315) 는 복수의 코딩 모드들의 각각에 대해 현재 블록을 인코딩하기 위한 레이트-왜곡 비용 (rate-distortion cost) 을 결정할 수도 있다. 코딩 모드들의 예들은 변환 코딩 모드 (예컨대, DCT, 하다마르 (Hadamard) 등), 블록 예측 코딩 모드, 차분 펄스-코드 변조 (DPCM) 코딩 모드, 패턴 코딩 모드, 중간점 예측 (MPP) 코딩 모드, 및 MPP 폴 백 (MPPF) 코딩 모드를 포함할 수도 있다. 모드 선택기 (320) 는 비디오 데이터의 현재 블록을 인코딩하기 위해 복수의 코딩 모드들 중 하나를 선택할 수도 있다. 하나의 구현에서, 모드 선택기 (320) 는 모드 평가기 (315) 에 의해 결정된 바와 같은 최저 레이트-왜곡 비용을 갖는 코딩 모드를 선택하도록 구성될 수도 있다. 모드 선택기 (320) 의 출력은 복원기 (325) 및/또는 엔트로피 인코더 (140) 에 제공될 수도 있다. 엔트로피 인코더 (140), 서브스트림 멀티플렉서 (145), 및 레이트 버퍼 (150) 의 각각은 도 2a 와 관련하여 상술된 예의 대응하는 컴포넌트들과 유사하게 동작할 수도 있다.
도 2a 의 인코더의 예측기, 양자화기, 및 복원기 컴포넌트 (125) 와 유사하게, 복원기 (325) 는 원래의 수신된 비디오 데이터의 복원을 수행할 수도 있고, 이는 역 양자화된 잔차를 예측된 값에 추가하는 것 및 결과가 샘플 값들의 허용된 또는 유효한 범위를 벗어나지 않는 것을 보장하는 것을 포함할 수도 있다. 업데이트 복원 버퍼 (330) 는 복원기 (325) 로부터 비디오 데이터의 복원에 관련된 정보를 저장하도록 구성될 수도 있다. 예를 들어, 업데이트 복원 버퍼 (330) 는 현재 블록 및 이전의 복원된 라인과 동일한 라인들에서 복원된 픽셀 값들을 저장할 수도 있다. 특정 구현들에서, 이들 복원된 픽셀 값들은 특정 코딩 코드들에서의 예측을 위해 사용될 수도 있다.
업데이트 패턴 데이터베이스 (335) 는 비디오 데이터에서 반복적으로 또는 흔히 나타나는 픽셀 값들을 저장하도록 구성될 수도 있다. 이들 저장된 픽셀 값들은 인덱스를 참조하는 코딩 모드들과 같은 특정 코딩 모드들 (예컨대, 패턴 코딩 모드) 에 의해 사용될 수도 있다. 저장된 픽셀 값들을 참조하기 위한 업데이트된 패턴 데이터베이스 (335) 에서의 하나 이상의 인덱스들의 사용은, 큰 영역들이 구분되는 픽셀 값들의 작은 셋트를 포함할 수도 있는, 그래픽 콘텐츠와 같은 특정 콘텐츠 타입들에 대한 레이트-왜곡을 향상시킬 수도 있다.
비록 자세히 설명되거나 예시되지 않았지만, 통상의 기술자는, 대응하는 비디오 디코더는 도 3 에서 예시된 비디오 인코더 (20) 에 기초하여 구성될 수도 있음을 인식할 것이다. 이러한 비디오 디코더는 비디오 인코더 (20) 에 의해 수신된 비디오 데이터에 대응하는 시각적으로 손실없는 이미지들을 재생하기 위해 인코딩된 비디오 비트스트림을 디코딩하도록 구성될 수도 있다.
비디오 인코더 및/또는 비디오 디코더의 특정 실시형태들은 본 명세서에서 DSC 표준의 맥락에서 설명되지만, 통상의 기술자는 본 명세서에 개시된 시스템들 및 방법들은 임의의 적합한 비디오 코더 및 코딩 표준에 적용가능할 수도 있음을 이해할 것이다.
도 1a 및 도 1b, 도 2a 및 도 2b, 및/또는 도 3 에서 예시된 비디오 인코더 (20), 비디오 디코더 (30), 및/또는 그것의 컴포넌트(들)는 본원에 설명된 코딩 기법들의 피처들의 하나 이상을 수행하도록 구성될 수도 있다.
비디오 인코더, 비디오 디코더, 및/또는 그것의 컴포넌트(들)는 버퍼를 포함하는 복수의 프로그래밍가능 컴퓨팅 유닛들에 의해 공유되는 집적된 글로벌 메모리를 포함하는 디바이스 상에서 구현될 수도 있고, 여기서, 버퍼는 퍼스트-인-퍼스트-아웃 (first-in-first-out; FIFO) 버퍼를 포함할 수도 있다. 디바이스는 적어도 하나의 프로세서 또는 프로세서 회로 (예컨대, 중앙 프로세싱 유닛 (CPU)) 및/또는 그래픽 프로세싱 유닛 (GPU) 을 포함할 수도 있는 집적 회로 (IC) 를 포함할 수도 있으며, 여기서 GPU 는 하나 이상의 프로그래밍가능 컴퓨팅 유닛들을 포함할 수도 있다. 디바이스는 SoC 의 일부일 수도 있고, 여기서, SoC 는 적어도 하나의 감소된 명령 셋트 컴퓨팅 (RISC) 명령 셋트를 사용하는 CPU 를 포함할 수도 있다. SoC 는 다수의 CPU 코어들 및 GPU 들을 포함할 수도 있다.
서브픽셀 패킹을 이용한 픽셀 포맷 확장들
본 개시의 하나 이상의 양태들에 따르면, DSC 로 하여금 예를 들어 RGBW 와 같은 새로운 픽셀 포맷들을 지원하는 것을 허용하는 서브픽셀 패킹을 위한 기법(들)이 제공된다. 본 개시는 RGB 및 YCbCr 기반 포맷들 너머로 DSC 의 유용성을 확장하고, DSC 로 하여금 DSC 표준과 연관된 픽처 품질의 하이 레벨들을 유지하면서 4 개 이상의 프라이머리 컬러들 (primary colors) (예컨대, RGBW) 상에서 동작하도록 허용하는 기법을 제공한다. 이것은 인코더의 입력에서 통상적 전처리 단계 및 디코더 후에 대응하는 후처리 단계를 추가함으로써 달성될 수도 있다. 인코더 및 디코더 그들 자신들은 어떤 수정도 필요하지 않다.
도 4 의 예를 참조하면, DSC 로 하여금, 4 개 이상의 프라이머리 컬러들을 갖는 픽셀 포맷들과 같이, RGB 및 YCbCr 너머로 새로운 픽셀 포맷들을 지원하는 것을 허용하는 서브픽셀 패킹/언패킹을 위한 시스템 (200) 의 블록도가 도시된다. 4 개 이상의 프라이머리 컬러들을 지원하는 픽셀 포맷의 일 예는 RGBW 이다. 예시적인 목적들을 위해, RGBW 의 서브픽셀 패킹은 본 개시의 양태들을 예시하기 위해서 사용되지만, 본 명세서에서 기술된 기법들은 RGBW, RGB 및 YCbCr 너머의 다른 픽셀 포맷들에 대해 적용가능함이 이해될 것이다.
시스템 (200) 의 예는 서로 통신하는 SoC (210) 및 디스플레이 드라이버 집적 회로 (IC) (250) 를 포함할 수도 있다. SoC (210) 는 디스플레이 드라이버 IC (250) 에 데이터의 압축된 스트림을 송신한다.
SoC (210) 는 4 개 이상의 서브픽셀 값들 (예컨대, RGBW) 을 수신하는 픽셀 패킹 유닛 (220) 을 포함할 수도 있고, 4 개 이상의 서브픽셀 값들을 패킹하고, 더 작은 수 (예컨대, 3) 의 서브픽셀 값들 (예컨대, RGB) 을 출력한다. 주어진 포맷에서의 서브픽셀 값들의 수는 이하에서 (서브스트림들의 수로서 또한 지칭될 수도 있는) 채널들의 수로서 지칭될 수도 있다. SoC (210) 는 픽셀 패킹 유닛 (220) 으로부터 3 개의 서브픽셀 값들을 수신하는 DSC 인코더 (20) 를 포함할 수도 있다. 예를 들어, DSC 인코더 (20) 는 도 2a 또는 도 3 의 인코더 (20) 를 포함할 수도 있다. 4 개 이상의 서브픽셀 값들의 작은 수의 픽셀 값들로의 패킹은 그 4 개 이상의 서브픽셀 값들을 DSC 인코더 (20) 에 대한 입력으로서 수용가능한 포맷으로 포맷팅할 수도 있다.
디스플레이 드라이버 IC (250) 는 DSC 인코더 (20) 로부터 데이터의 압축된 스트림을 수신하는 DSC 디코더 (30) 를 포함할 수도 있다. 디스플레이 드라이버 IC (250) 는 DSC 디코더 (30) 로부터 3 개의 서브픽셀 값들 (예컨대, RGB) 을 수신하고, 그 3 개의 서브픽셀 값들을 4 개 이상의 서브픽셀 값들 (예컨대, RGBW) 로 언패킹하는 픽셀 언패킹 유닛 (260) 을 포함할 수도 있다. 언패킹된 서브픽셀 값들의 채널들의 수는 픽셀 패킹 유닛 (220) 에 의해 수신된 채널들의 수에 대응할 수도 있다.
SoC (210) 에서의 4 개의 서브픽셀 값들의 3 개의 서브픽셀 값들로의 패킹, 및 디스플레이 드라이버 IC (250) 에서의 3 개의 서브픽셀 값들의 4 개의 서브픽셀 값들로의 대응하는 언패킹이 예시적인 목적들을 위해 본원에서 나타내어지고 설명된다. 서브픽셀 패킹 기법들은 임의의 적합한 수의 서브픽셀 값들에 대해 사용될 수도 있음에 유의한다. 추가적으로, 서브픽셀 값들의 수는 주어진 디스플레이 디바이스에 의해 사용되는 서브픽셀들의 수에 대응할 수도 있거나 대응하지 않을 수도 있다.
도 5 를 참조하면, 픽셀 패킹에 대한 예시적인 접근법이 도시된다. 레이트 x 의 RGBW 입력 시퀀스 (400) 가 도 5 의 좌측에 도시된다. 데이터 (410) 에 적용되는 (4x/3 의 레이트에서의) 상관 특성들을 이용하는 패킹 방식이 상부 우측에 도시된다. 구체적으로, 도 5 의 상부 우측 상의 패킹 방식은 데이터의 순서를 (예컨대 상부에서 하부로, 좌측에서 우측으로) 변경함이 없이 RGBW 데이터를 RGB 채널들로 단지 패킹할 뿐이다. 데이터 (410) 는, 도 5 의 하부 우측에 도시된 바와 같이, RGB 입력 포맷을 가정하는 DSC 코덱 (예컨대, 도 4 의 DSC 인코더 (20) 또는 DSC 디코더 (30)) 에 의해 데이터 (420) 로서 해석된다. 도 5 의 패킹 방식은, 감소된 데이터 상관으로 인해 최적의 압축된 이미지 품질보다 더 적은 것으로 이끌 수도 있는 차선적 상관 특성들을 가질 수도 있음에 유의한다. 예를 들어, DSC 코덱은 픽셀 값 R1 을 적색 픽셀로서 해석하고, 이 가정에 기초하여 인코딩/디코딩 기법들을 적용할 수도 있다. 하지만, 도 5 의 패킹 기법에 따르면, 이 픽셀은 픽셀 값 W0 으로 패킹된다. 따라서, DSC 인코더가, 그것이 픽셀 값 R0 으로 어떤 상관을 가져야만한다는 가정 상에서 픽셀 값 W0 을 인코딩하기를 시도하여야 하는 경우에는, 인코더는 그렇지 않게 이 가정이 진실이었다면 발생할 효율을 실현하지 못할 수도 있다.
도 6 을 참조하면, 픽셀 패킹에 대한 다른 예시적인 접근법이 도시된다. 레이트 x 의 RGBW 입력 시퀀스 (500) 가 도 6 의 좌측에 도시된다. 도 6 의 패킹 방식들은 높은 픽처 품질 압축을 위해 공간적 상관을 보존하도록 설계됨에 유의한다. 도 6 의 백색 (W) 서브픽셀들은 열-우선 순서 (column-major order) 로 배열된다.
데이터 (510) 에 적용되는 바와 같은 상관 특성들 (레이트 4x/3) 을 유지하는 하나의 패킹 방식이 도 6 의 상부 우측에 도시되고, 여기서, N=1 이다. 보다 큰 N 값들이 상관을 향상시킬 수도 있음에 유의한다. N=2 인, 데이터 (520) 에 적용되는 바와 같은 상관 특성들 (레이트 4x/3) 을 유지하는 패킹 방식이 또한 도 6 의 우측에 도시된다. N=3 인, 데이터 (530) 에 적용되는 바와 같은 상관 특성들 (레이트 4x/3) 을 유지하는 패킹 방식이 또한 도 6 의 우측에 도시된다. 데이터 (510) (N=1), 데이터 (520) (N=2), 또는 데이터 (530) (N=3) 이, RGB 입력 포맷을 도 5 의 하부 우측에 도시된 바와 같은 데이터 (540) 로서 가정하는 DSC 코덱에 의해 해석될 수도 있다. N 은 임의의 정수 값일 수 있고, N 은 본 명세서에서 예시적인 목적들을 위해 사용된 N 값들 (예컨대, N= 1, 2, 또는 3) 에 한정되지 않음에 유의한다.
도 6 의 패킹 방식에서, DSC 코더는 백색 픽셀 값들 W0 내지 W8 을 RGB 값들로서 해석한다. 하지만, 도 6 의 패킹 방식 내에서의 백색 픽셀 값들 W0 내지 W8 의 배열로 인해, 도 5 의 픽셀 패킹 방식에서보다 픽셀 값들 사이의 더 적은 공간적 상관이 손실된다. 예를 들어, N=1 패킹 방식에서, 픽셀 값들 R0 내지 R2, G0 내지 G2, 및 B0 내지 B2 의 상대적인 공간적 포지션들은 변경되지 않은 채로 유지된다. 따라서, 이들 픽셀 값들에 대한 공간적 상관은 픽셀 값들 W0 내지 W2 이 출력 픽셀 값들에 배치될 때까지 유지된다. N=2 및 N=3 패킹 방식에서 알 수 있는 바와 같이, 픽셀 값들 W0 내지 W2 의 배열로 인해, 심지어 추가적인 공간적 상관이 유지된다. 추가적으로, 백색 픽셀 값들 W0 내지 W2 및 다른 컬러 채널들의 픽셀 값들 사이에서보다, 함께 배열될 수도 있는 백색 픽셀 값들 W0 내지 W2 사이에 더 많은 상관들이 존재할 수도 있다.
추가로 도 6 을 참조하면, 통상의 기술자는 예시된 픽셀 패킹 방식이 출력 시퀀스들 (510, 520, 530) 의 각각에서 입력 시퀀스로부터 픽셀들의 상대적인 공간적 포지셔닝 (예컨대, 공간적 배열) 의 적어도 일부를 유지함을 인식할 것이다. 예를 들어, 서브픽셀 값들 R0 내지 R2, G0 내지 G2, 및 B0 내지 B2 을 포함하는 처음 3 개의 픽셀 값들은 입력 시퀀스 (500) 에서와 같이 출력 시퀀스 (510) 에서 동일한 공간적 배열을 갖는다. 백색 픽셀들 W0 내지 W2 의 공간적 배열은 출력 시퀀스 (510) 에서 변경되지만, 적어도 서브픽셀 값들 R0 내지 R2, G0 내지 G2, 및 B0 내지 B2 의 공간적 포지셔닝은 실질적으로 유지된다. 추가적으로, 더 높은 N 값들을 갖는 패킹 방식들 (520 및 530) 에서, 다수의 입력 서브픽셀들이 동일한 상대적인 공간적 포지셔닝에서 유지된다.
도 7 을 참조하면, 픽셀 패킹에 대한 또 다른 예시적인 접근법이 도시된다. 레이트 x 의 RGBW 입력 시퀀스 (600) 는 도 7 의 좌측에 도시된다. 도 6 의 것들과 유사하게 도 7 의 패킹 방식은 고 픽처 품질 압축을 위해 공간적 상관을 보존하도록 설계된다. 하지만, 도 7 에서의 W 서브픽셀들은 열-우선 순위로보다는 행-우선순위로 배열된다. 인코딩될 비디오 데이터의 콘텐츠에 따라, 행-우선순위 또는 열-우선 순위에서의 W 서브픽셀들의 배열이 DSC 인코더 (20) 의 효율에 대해 영향을 가질 수도 있다.
데이터 (610) 에 적용되는 바와 같은 상관 특성들 (레이트 4x/3) 을 유지하는 패킹 방식이 도 7 의 상부 우측에 도시되고, 여기서, N=1 이다. 도 6 의 실시형태에서와 같이, 보다 큰 N 값들이 상관을 향상시킬 수도 있음에 유의한다. N=2 인, 데이터 (620) 에 적용되는 바와 같은 상관 특성들 (레이트 4x/3) 을 유지하는 패킹 방식이 또한 도 7 의 우측에 도시된다. N=3 인, 데이터 (630) 에 적용되는 바와 같은 상관 특성들 (레이트 4x/3) 을 유지하는 패킹 방식이 또한 도 7 의 우측에 도시된다. 데이터 (610) (N=1), 데이터 (620) (N=2), 또는 데이터 (630) (N=3) 이, RGB 입력 포맷을 도 7 의 하부 우측에 도시된 바와 같은 데이터 (640) 로서 가정하는 DSC 코덱에 의해 해석될 수도 있다.
도 8 을 참조하면, 픽셀 패킹에 대한 또 다른 예시적인 접근법이 도시된다. 레이트 x 의 RGBW 입력 시퀀스 (700) 는 도 8 의 좌측에 도시된다. 도 6 및 도 7 의 것들과 유사하게 도 8 의 패킹 방식들은 고 픽처 품질 압축을 위해 공간적 상관을 보존하도록 설계된다. 하지만, 도 8 에 도시된 W 서브픽셀들은 행-우선 순위로 3x3 의 그룹들에서 순서화되어 배열된다. N 은 이 예에서 3 의 배수이다.
데이터 (710) 에 적용되는 바와 같은 상관 특성들을 유지하는 패킹 방식이 도 8 의 상부 우측에 도시되고, 여기서, N=3 이다. 다시 한번, 보다 큰 N 값들이 상관을 향상시킬 수도 있음에 유의한다. N=6 인, 데이터 (720) 에 적용되는 바와 같은 상관 특성들을 유지하는 패킹 방식이 또한 도 8 의 우측에 도시된다. 데이터 (710) (N=3) 및 데이터 (720) (N=6) 는, RGB 입력 포맷을 도 8 의 하부 우측에 도시된 바와 같은 데이터 (730) 로서 가정하는 DSC 코덱에 의해 해석될 수도 있다.
패킹 방식에 대한 3 의 배수의 사용은 다른 값들의 N 이 획득하지 못하는 어떤 효율성들로 이끌 수도 있다. 예를 들어, DSC 코더는 3-채널 코더이고, 따라서, 입력 데이터를 3 의 그룹들로 분할되는 (W 서브픽셀들을 N 이 3 의 배수이도록 함께 그룹핑) 상대적인 공간적 포지셔닝을 갖는 그룹들로 포맷팅함으로써, DSC 코더는 코델을 설계함에 있어서 사용된 가정들의 이점을 취하는 것이 가능할 수도 있다. 일반적으로, N 의 값이 코덱에 의해 사용되는 컬러 채널들의 수의 배수이도록 하는 것이 유익할 수도 있다.
도 9 를 참조하면, 픽셀 패킹을 위한 일 예시적인 아키텍처가 도시된다. 예를 들어, 4 개 이상의 서브픽셀 값들 (예컨대, RGBW) 을 수신하고, 그 4 개 이상의 서브픽셀 값들을 패킹하며, 더 작은 수 (예컨대, 3) 의 서브픽셀 값들 (예컨대, RGB) 을 출력하는 픽셀 패킹 유닛 (220) 이 도시된다. 예시적인 목적들을 위해, 본 예는 도 6 의 예시적인 기법에 대응하고, 6 RGBW 샘플들 (N=2) 에 대한 RGBW 대 RGB 픽셀 패킹의 동작에 대한 것이다. 6 RGBW 샘플들은 6·(4/3)=8 RGB 샘플들이 될 것이다. RGBW 샘플들에 대한 입력 클럭은 출력 클럭에 대해 4/3 비율에 의해 스케일 업된다. t 가 입력 클럭에 대한 하나의 사이클의 주기인 경우에, 출력 클럭에 대한 하나의 사이클의 주기는 3t/4 이다.
픽셀 패킹 유닛 (220) 은 2 개 이상의 FIFO 버퍼들을 포함할 수도 있다. 예를 들어, 픽셀 패킹 유닛 (220) 은, 도 9 에서 도시된 바와 같이 배열된, FIFO 버퍼 (222) 및 FIFO 버퍼 (224), 및 상태 머신 (226) 및 선택기 유닛 (228) 을 포함할 수도 있다. FIFO 버퍼 (222) 는 RGB 서브픽셀 값들을 저장하도록 구성될 수도 있다. FIFO 버퍼 (224) 는 W 서브픽셀들을 저장하도록 구성될 수도 있다. FIFO 버퍼 (222) 및 FIFO 버퍼 (224) 의 저장 요건들은 N 의 값 및 패킹 기법 (예컨대, 도 6 내지 도 8 의 예시적인 기법들) 에 의존한다.
FIFO 버퍼 (222) 및 FIFO 버퍼 (224) 의 각각은 클럭 입력 및 4X/3 클럭 멀티플라이어 입력을 수신하고, 상태 머신 (226) 으로부터 입력을 수신하도록 구성된다. 선택기 유닛 (228) 은 FIFO 버퍼 (222) 및 FIFO 버퍼 (224) 양자로부터 입력을 수신한다.
픽셀 언패킹 유닛 (260) 에 대한 대응하는 아키텍처는 픽셀 패킹 유닛 (220) 의 것과 실질적으로 유사하지만, 픽셀 언패킹 유닛 (260) 에 대한 입력은 RGB 서브픽셀 값들을 포함하는 반면에 출력은 RGBW 서브픽셀 값들을 포함할 수도 있도록 역 기능을 수행한다는 점에 유의한다.
도 9 의 예시적인 아키텍처를 이용한, 도 6 의 예시적인 기법의 구현에 대응하는 타이밍도가 도 10 에서 도시된다. 이와 같이, 도 9 의 예시적인 아키텍처의 동작은 도 10 의 타이밍도와 관련하여 보다 자세히 설명될 것이다. 예를 들어, t 가 입력 클럭에 대한 하나의 사이클의 주기인 경우 및 N=2 인 경우에, 입력 클럭의 제 1 사이클 동안, 서브픽셀 값들 R0 G0 B0 은 FIFO 버퍼 (222) 에 저장될 수도 있는 한편, 서브픽셀 W0 는 도시된 바와 같이 FIFO 버퍼 (222) 에 저장될 수도 있다. 입력 클럭의 제 2 사이클에서, 서브픽셀 값들 R1 G1 B1 은 또한 FIFO 버퍼 (222) 에 저장될 수도 있는 한편, 서브픽셀 W1 은 도시된 바와 같이 FIFO 버퍼 (222) 에 저장될 수도 있다. 입력 클럭의 제 3 사이클에서, 서브픽셀 값들 R2 G2 B2 은 또한 FIFO 버퍼 (222) 에 저장될 수도 있는 한편, 서브픽셀 W2 은 도시된 바와 같이 FIFO 버퍼 (224) 에 저장될 수도 있다. 입력 클럭의 제 4 사이클에서, 서브픽셀 값들 R0 G0 B0 은 또한 FIFO 버퍼 (222) 로부터 제거될 수도 있는 한편, 서브픽셀 W0 은 FIFO 버퍼 (224) 로부터 제거되어, 다른 서브픽셀 값들 (예컨대, 서브픽셀 값들 R3 G3 B3 W3 등) 을 위한 공간을 만든다. 다른 실시형태들에서, 가장 오래된 서브픽셀 값들 (예컨대, R0 G0 B0 W0) 은 FIFO 버퍼 (222 및 224) 가 가득 찰 때 단순히 덮어쓰기된다.
입력 클럭의 제 2 및 제 3 사이클들과 중첩하는 출력 클럭의 제 1 사이클 (3t/4) 에서, 서브픽셀 값들 (예컨대, R0 G0 B0) 은 (예컨대, 선택기 유닛 (228) 을 통해) 픽셀 패킹 유닛 (220) 에 의해 출력된다. 출력 클럭의 제 2 사이클 동안, 서브픽셀 값들 R1 G1 B1 은 픽셀 패킹 유닛 (220) 에 의해 출력된다. 픽셀 패킹 유닛 (220) 은, 출력 클럭의 제 2 내지 제 6 사이클들 동안 유사한 방식으로 서브픽셀 값들 R2 G2 B2, 및 R3 G3 B3, 및 R4 G4 B4, 및 R5 G5 B5 를 출력한다. 0 및 5 사이의 서브스크립트 값들을 갖는 RGB 서브픽셀 값들의 출력 동안에, 상태 머신 (226) 은 선택기 유닛 (228) 에 출력하기 위한 FIFO (222) 를 선택할 수도 있다.
픽셀 패킹 유닛 (220) 은 출력 클럭의 제 7 사이클 동안 서브픽셀 값들 W0 W1 W2 을 출력하고, 출력 클럭의 제 8 사이클 동안 서브픽셀 값들 W3 W4 W5 을 출력한다. 제 7 및 제 8 사이클들동안, 상태 머신 (226) 은 선택기 유닛 (228) 에 출력하기 위한 FIFO (224) 를 선택할 수도 있다.
도 10 에서의 예시적인 타이밍도는 오직 예시적인 목적들을 위한 것이고, 입력/출력 서브픽셀 값들, 입력/출력 클럭들, W 서브픽셀 값들의 배열 등에 관련된 상이한 파라미터들이 구현되어 상이한 타이밍도들에 있어서 상이한 타이밍 패킹/언패킹 솔루션들을 초래할 수도 있음에 유의한다.
본 명세서에서 설명된 서브픽셀 패킹/언패킹 기법들 및 아키텍처에 대한 수개의 이점들이 존재함에 추가로 유의한다. 한 가지 이점은, 예컨대 다른 컬러-공간 컨버전 기법들에 비해 오직 매우 작은 서브픽셀 재-순서화 유닛들을 포함하는, 프리/포스트 프로세서들이 저 비용이라는 점이다. 이러한 프리/포스트 프로세서들은 통상적인 라인 버퍼의 사이즈의 작은 분수인 일부 버퍼링을 수반하고, 따라서, 비용-효율적이다. 다른 이점은, 압축 결과들이 주관적 및 개념적 메트릭들의 면에서 높은 픽처 품질을 보인다는 점이다. 또 다른 이점은, DSC 인코더/디코더에 대한 수정들이 필요하지 않아서, 개시된 기법들은 DSC 표준 호환적이라는 점이다. 또 다른 이점은, 개시된 기법들은 RGBW 를 넘어서 다른 컬러 포맷들에 적용될 수도 있어서, DSC 표준이 추가적인 애플리케이션들로 확장되도록 허용할 수도 있다는 점이다.
품질 평가에 대한 테스트 이미지들은 도 11 에서의 테이블에서 기술되고, 대응하는 픽처 품질은 도 12 에서의 테이블에서 제공된다. 방법 2 는 도 6 의 방법에 대응하고, 방법 3 은 도 7 에서의 방법에 대응하며, 방법 4 는 도 8 에서의 방법에 대응한다. 방법 2, 3, 및 4 는 도 5 의 기본적인 방법에 대해 상당한 성능 향상을 보인다. 도 12 에서의 PNSR 값들은 RGBW 컬러 공간에서의 계산에 기초한다. 도 12 의 PNSR 값들로부터 명백한 바와 같이, 최대 픽처 품질 값들을 제공하는 방법은 테스트 이미지들의 공간적 상관에 의존하여 변화할 수도 있다. 따라서, 어떤 상황들 하에서, 픽셀 패킹 방식들 중 하나는 다른 방식들에서보다 더 나은 결과들을 생성할 수도 있다.
제 1 포맷으로 배열된 픽셀 값들을 제 2 포맷으로 패킹하기 위한 예시적인 플로우차트
도 13 을 참조하여, 제 1 포맷으로 배열된 픽셀 값들을 제 2 포맷으로 패킹하기 위한 예시적인 프로시저가 설명될 것이다. 도 13 은, 본 개시의 일 실시형태에 따른, 비디오 데이터를 코딩하기 위한 방법 (800) 을 나타내는 플로우차트이다. 도 13 에서 예시된 단계들은 비디오 인코더 (예컨대, 도 2a 또는 도 3 에서의 비디오 인코더 (20)) 또는 그것의 컴포넌트(들)에 의해 수행될 수도 있다. 편의상, 방법 (800) 은, 비디오 인코더 (20) 또는 다른 컴포넌트일 수도 있는, 비디오 코더 (또한 단순히 코더로서 지칭됨) 에 의해 수행되는 것으로서 설명된다.
방법 (800) 은 블록 (801) 에서 시작한다. 블록 (805) 에서, 코더는 입력 픽셀 값들의 셋트를 수신한다. 입력 픽셀 값들은 제 1 포맷 (예컨대, O-채널 포맷) 으로 배열된다. 각각의 입력 픽셀 값은 O 입력 서브픽셀 값들을 포함할 수도 있다. 블록 (810) 에서, 코더는 입력 서브픽셀 값들을 출력 픽셀 값들의 셋트 내로 재배열한다. 출력 픽셀 값들의 각 셋트는 M-채널 포맷으로 배열된 M 출력 서브픽셀 값들을 포함할 수도 있다. 특정 구현들에서, O 는 M 보다 더 큰 값을 가질 수도 있다. 재배열 후에, 재배열된 M 개의 출력 서브픽셀들의 적어도 부분은 O 입력 서브픽셀 값들로부터 재배열되기 이전으로부터의 그들의 상대적인 공간적 포지셔닝을 유지한다.
블록 (815) 에서, 코더는 출력 픽셀 값들을 M-채널 코덱에 제공한다. 입력 픽셀 값들의 M-채널 포맷으로의 재배열로 인해, M-채널 코덱은 재배열된 출력 픽셀 값들을 코딩하는 것이 가능할 수도 있다. 추가적으로, M-채널 코덱은 수신된 픽셀 값들 사이의 소정의 가정된 공간적 관계들에 기초하여 수신된 픽셀 값들을 코딩할 수도 있기 때문에, 재배열된 M 출력 서브픽셀들은 그들의 유지된 상대적인 공간적 포지셔닝에 기초하여 소정의 코딩 효율성들을 달성할 수도 있다. 방법 (800) 은 블록 (820) 에서 종료된다.
방법 (800) 에서, 도 13 에 도시된 블록들 중 하나 이상이 제거될 (예컨대, 수행되지 않을) 수도 있고 및/또는 방법이 수행되는 순서는 교환될 수도 있다. 일부 구현들에서, 추가의 블록들이 방법 (800) 에 부가될 수도 있다. 본 개시물의 실시형태들이 도 13 에 도시된 예로 또는 그 예에 의해 제한되지 않으며, 다른 변형들이 본 개시물의 범위로부터 벗어남 없이 구현될 수도 있다.
제 1 포맷으로 배열된 픽셀 값들을 제 2 포맷으로 언패킹하기 위한 예시적인 플로우차트
도 14 를 참조하여, 제 1 포맷으로 배열된 픽셀 값들을 제 2 포맷으로 언패킹하기 위한 예시적인 프로시저가 설명될 것이다. 도 14 는 본 개시의 일 실시형태에 따른, 비디오 데이터를 코딩하기 위한 방법 (900) 을 예시하는 플로우차트이다. 도 14 에서 예시된 단계들은 비디오 디코더 (예컨대, 도 2b 에서의 비디오 디코더 (30)) 또는 그것의 컴포넌트(들)에 의해 수행될 수도 있다. 편의상, 방법 (900) 은, 비디오 디코더 (30) 또는 다른 컴포넌트일 수도 있는, 비디오 코더 (또한 단순히 코더로서 지칭됨) 에 의해 수행되는 것으로서 설명된다.
방법 (900) 은 블록 (901) 에서 시작한다. 블록 (905) 에서, 코더는 M-채널 코덱으로부터 입력 픽셀 값들의 셋트를 수신한다. 입력 픽셀 값들은 제 1 포맷 (예컨대, M-채널 포맷) 으로 배열된다. 각각의 입력 픽셀 값은 M 입력 서브픽셀 값들을 포함할 수도 있다. 블록 (910) 에서, 코더는 입력 서브픽셀 값들을 출력 픽셀 값들의 셋트 내로 재배열할 수도 있다. 출력 픽셀 값들의 각각의 셋트는 O-채널 포맷으로 배열된 O 출력 서브픽셀 값들을 포함할 수도 있다. 특정 구현들에서, O 는 M 보다 더 큰 값을 가질 수도 있다. 재배열 후에, 재배열된 O 출력 서브픽셀들의 적어도 부분은 M 입력 서브픽셀 값들로부터 재배열되기 이전으로부터의 그들의 상대적인 공간적 포지셔닝을 유지한다.
블록 (915) 에서, 코더는 출력 픽셀 값들을 출력으로서 제공한다. 예를 들어, 출력 픽셀 값들은 사용자에 대한 디스플레이를 위해 디스플레이에 제공될 수도 있다. 디스플레이는 O-채널 디스플레이, 예를 들어, 각 픽셀이 O 서브픽셀을 갖는 복수의 픽셀을 갖는 디스플레이 (예컨대, RGBW 디스플레이) 일 수도 있다. 입력 픽셀 값들의 O-채널 포맷으로의 재배열로 인해, 디스플레이는 풀 (full) 컬러-공간 컨버터를 포함하지 않고서도 재배열된 출력 픽셀 값들을 디스플레이하는 것이 가능할 수도 있다. 방법 (900) 은 블록 (920) 에서 종료된다.
방법 (900) 에서, 도 14 에 도시된 블록들 중 하나 이상이 제거될 (예컨대, 수행되지 않을) 수도 있고 및/또는 방법이 수행되는 순서는 교환될 수도 있다. 일부 구현들에서, 추가의 블록들이 방법 (900) 에 부가될 수도 있다. 본 개시물의 실시형태들이 도 14 에 도시된 예로 또는 그 예에 의해 제한되지 않으며, 다른 변형들이 본 개시물의 범위로부터 벗어남 없이 구현될 수도 있다.
다른 고려사항들
본 개시의 양태들은 도 9 에서의 픽셀 패킹 유닛 (220) 과 같은 인코더의 관점에서 설명되었다는 것에 유의해야 한다. 그러나, 통상의 기술자는 상기 설명된 것들과는 정반대의 동작들이 예를 들어, 도 4 에서의 픽셀 언패킹 유닛 (260) 에 의해 생성된 비트스트림을 디코딩하도록 적용될 수도 있다는 것을 인식할 것이다.
본 명세서에서 개시된 정보 및 신호들은 다양한 상이한 기술들 및 기법들 중 임의의 것을 이용하여 나타내질 수도 있다. 예를 들어, 상기 설명 전반에 걸쳐 언급될 수도 있는 데이터, 명령들, 커맨드들, 정보, 신호들, 비트들, 심볼들, 및 칩들은 전압들, 전류들, 전자기파들, 자기 장들 또는 입자들, 광학 장들 또는 입자들, 또는 그 임의의 조합으로 나타내질 수도 있다.
본 명세서에서 개시된 실시형태들과 관련하여 설명된 다양한 예시적인 논리 블록들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자의 조합들로서 구현될 수도 있다. 하드웨어와 소프트웨어의 이 상호교환가능성을 명확히 예시하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 및 단계들은 그들의 기능성에 관하여 일반적으로 상기 설명되었다. 이러한 기능성이 하드웨어로서 구현되는지 또는 소프트웨어로서 구현되는지 여부는 전체 시스템에 부과된 설계 제약들 및 특정한 애플리케이션에 의존한다. 통상의 기술자는 각각의 특정한 애플리케이션에 대해 다양한 방식들로 설명된 기능성을 구현할 수도 있지만, 이러한 구현 판정들은 본 개시의 범위로부터 벗어남을 야기하는 것으로서 해석되어서는 안된다.
본 명세서에서 설명된 기법들은 하드웨어, 소프트웨어, 펌웨어, 또는 그 임의의 조합으로 구현될 수도 있다. 이러한 기법들은 범용 컴퓨터들, 무선 통신 디바이스 핸드셋들, 또는 무선 통신 디바이스 핸드셋들 및 다른 디바이스들에서의 애플리케이션을 포함한 다목적 이용들을 갖는 집적 회로 디바이스들과 같은 다양한 디바이스들 중 임의의 것으로 구현될 수도 있다. 디바이스들 또는 컴포넌트들로서 설명된 임의의 피처들은 통합된 로직 디바이스에 함께 또는 별개이지만 상호운용적 로직 디바이스들로서 별도로 구현될 수도 있다. 소프트웨어로 구현되면, 그 기법들은, 실행될 때, 상기 설명된 방법들 중 하나 이상을 수행하는 명령들을 포함하는 프로그램 코드를 포함하는 컴퓨터 판독가능 데이터 저장 매체에 의해 적어도 부분적으로 실현될 수도 있다. 컴퓨터 판독가능 데이터 저장 매체는 패키징 자료들을 포함할 수도 있는 컴퓨터 프로그램 제품의 일부를 형성할 수도 있다. 컴퓨터 판독가능 매체는 메모리 또는 데이터 저장 매체들, 이를 테면 랜덤 액세스 메모리 (RAM) 이를 테면 동기식 동적 랜덤 액세스 메모리 (SDRAM), 판독 전용 메모리 (ROM), 비휘발성 랜덤 액세스 메모리 (NVRAM), 전기적으로 소거가능한 프로그래밍가능 판독 전용 메모리 (EEPROM), FLASH 메모리, 자기 또는 광학 데이터 저장 매체들, 및 등등을 포함할 수도 있다. 기법들은 추가적으로 또는 대안적으로, 명령들 또는 데이터 구조들의 형태로 프로그램 코드를 반송 또는 통신하고 전파 신호들 또는 파들과 같은 컴퓨터에 의해 액세스, 판독, 및/또는 실행될 수 있는 컴퓨터 판독가능 통신 매체에 의해 적어도 부분적으로 실현될 수도 있다.
컴퓨터-판독가능 매체 (예컨대, 메모리 또는 다른 데이터 저장 디바이스) 와 통신하는 (예컨대, 협동하여 동작하는) 프로세서(들)는, 프로그램 코드의 명령들을 실행할 수도 있고, 하나 이상의 디지털 신호 프로세서들 (DSP들), 범용 마이크로프로세서들, 애플리케이션 특정 집적 회로들 (ASIC들), 필드 프로그래밍가능 로직 어레이들 (FPGA들), 또는 다른 등가의 집적 또는 이산 로직 회로와 같은 하나 이상의 프로세서들을 포함할 수도 있다. 이러한 프로세서는 본 개시에서 설명된 기법들 중 임의의 것을 수행하도록 구성될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만; 대안으로, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한, 컴퓨팅 디바이스들의 조합, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서들, 또는 임의의 다른 이러한 구성으로서 구현될 수도 있다. 이에 따라, 용어 "프로세서" 는, 본 명세서 사용한 바와 같이, 전술한 구조, 전술한 구조의 임의의 조합, 또는 본 명세서에서 설명된 기법들의 구현에 적합한 임의의 다른 구조 또는 장치 중 임의의 것을 지칭할 수도 있다. 추가로, 일부 양태들에서, 본 명세서에서 설명된 기능성은 인코딩 및 디코딩을 위해 구성된 전용 소프트웨어 또는 하드웨어 내에 제공되거나, 또는 결합된 비디오 인코더-디코더 (CODEC) 에 통합될 수도 있다. 또한, 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들에서 완전히 구현될 수 있다.
본 개시의 기법들은 무선 핸드셋, 집적 회로 (IC) 또는 IC들의 셋트 (예를 들어, 칩 셋트) 를 포함한, 광범위한 디바이스들 또는 장치들에서 구현될 수도 있다. 다양한 컴포넌트들, 또는 유닛들은 개시된 기법들을 수행하도록 구성된 디바이스들의 기능적 양태들을 강조하기 위해 본 개시에서 설명되지만, 반드시 상이한 하드웨어 유닛들에 의한 실현을 요구하는 것은 아니다. 오히려, 상기 설명한 바와 같이, 다양한 유닛들은 적합한 소프트웨어 및/또는 펌웨어와 함께, 상기 설명한 바와 같은 하나 이상의 프로세서들을 포함한, 상호운용적 하드웨어 유닛들의 컬렉션에 의해 제공되거나 또는 코덱 하드웨어 유닛에서 결합될 수도 있다.
전술한 것은 다양한 상이한 실시형태들과 관련하여 설명되었지만, 하나의 실시형태로부터의 피처들 또는 엘리먼트들은 본 개시의 교시들로부터 벗어남 없이 다른 실시형태들과 결합될 수도 있다. 그러나, 개별의 실시형태들 간의 피처들의 조합들이 반드시 그것에 제한되는 것은 아니다. 본 개시의 다양한 실시형태들이 설명되었다. 이들 및 다른 실시형태들은 다음의 청구항들의 범위 내에 있다.

Claims (30)

  1. M-채널 코덱에 의한 인코딩을 위해 O-채널 포맷으로 배열된 픽셀 값들을 패킹하는 방법으로서,
    입력 픽셀 값들의 셋트를 수신하는 단계로서, 각각의 입력 픽셀 값은 상기 O-채널 포맷으로 배열된 O 입력 서브픽셀 값들을 포함하는, 상기 입력 픽셀 값들의 셋트를 수신하는 단계;
    상기 입력 서브픽셀 값들의 각각을 출력 픽셀 값들의 셋트로 재배열하는 단계로서, 출력 픽셀 값들의 각각의 셋트는 M-채널 포맷으로 배열된 M 출력 서브픽셀 값들을 포함하고, O 는 M 보다 더 큰 값을 가지며, 재배열된 M 출력 서브픽셀들의 적어도 부분은 상기 O 입력 서브픽셀 값들로부터 재배열되기 이전의 그들의 상대적인 공간적 포지셔닝을 유지하는, 상기 입력 서브픽셀 값들의 각각을 출력 픽셀 값들의 셋트로 재배열하는 단계; 및
    상기 출력 픽셀 값들을 상기 M-채널 코덱에 제공하는 단계를 포함하는, 픽셀 값들을 패킹하는 방법.
  2. 제 1 항에 있어서,
    상기 M-채널 포맷은 M 개의 상이한 컬러 채널들을 포함하고, 상기 O-채널 포맷은 상기 M 개의 컬러 채널들 및 적어도 하나의 추가적인 컬러 채널을 포함하며,
    상기 방법은,
    상기 M 개의 컬러 채널들의 상기 입력 서브픽셀 값들의 각각을 상기 출력 픽셀 값들의 대응하는 M 개의 컬러 채널들에서 배열하는 단계; 및
    상기 적어도 하나의 추가적인 컬러 채널의 상기 입력 서브픽셀 값들의 각각을 오직 상기 적어도 하나의 추가적인 컬러 채널만을 포함하는 출력 픽셀 값들로 배열하는 단계를 더 포함하는, 픽셀 값들을 패킹하는 방법.
  3. 제 2 항에 있어서,
    상기 M 개의 컬러 채널들의 상기 입력 서브픽셀 값들의 각각을 제 1 버퍼에서 버퍼링하는 단계;
    상기 적어도 하나의 추가적인 컬러 채널의 상기 입력 서브픽셀 값들의 각각을 제 2 버퍼에서 버퍼링하는 단계;
    상기 출력 픽셀 값들을 구성하기 위해 상기 제 1 버퍼로부터 픽셀들을 선택하는 단계; 및
    상기 제 2 버퍼가 N 출력 픽셀 값들을 구성하기 위해 충분한 수의 서브픽셀 값들을 포함하게 된 후에, 오직 상기 적어도 하나의 추가적인 컬러 채널만을 포함하는 상기 N 출력 픽셀 값들을 구성하기 위해 상기 제 2 버퍼로부터 픽셀들을 선택하는 단계로서, 상기 N 출력 픽셀 값들은 서로에 대해 바로 인접하는, 상기 제 2 버퍼로부터 픽셀들을 선택하는 단계를 더 포함하는, 픽셀 값들을 패킹하는 방법.
  4. 제 3 항에 있어서,
    상기 제 1 및 제 2 버퍼들은 퍼스트 인 퍼스트 아웃 (first in first out; FIFO) 버퍼들인, 픽셀 값들을 패킹하는 방법.
  5. 제 3 항에 있어서,
    상기 적어도 하나의 추가적인 컬러 채널의 상기 서브픽셀들은 상기 N 출력 픽셀 값들에서 열-우선 순서로 배열되는, 픽셀 값들을 패킹하는 방법.
  6. 제 3 항에 있어서,
    상기 적어도 하나의 추가적인 컬러 채널의 상기 서브픽셀들은 상기 N 출력 픽셀 값들에서 행-우선 순서로 배열되는, 픽셀 값들을 패킹하는 방법.
  7. 제 3 항에 있어서,
    상태 머신을 통해, 상기 제 1 및 제 2 버퍼들 중에서, 상기 출력 픽셀 값들을 구성하기 위해 어느 버퍼로부터 서브픽셀들을 수신하도록 할지를 선택하는 단계를 더 포함하는, 픽셀 값들을 패킹하는 방법.
  8. 제 1 항에 있어서,
    상기 입력 픽셀 값들의 셋트가 수신되는 레이트보다 더 큰 레이트로 상기 출력 픽셀 값들을 상기 M-채널 코덱에 제공하는 단계를 더 포함하는, 픽셀 값들을 패킹하는 방법.
  9. M-채널 코덱에 의한 인코딩을 위해 O-채널 포맷으로 배열된 픽셀 값들을 패킹하기 위한 디바이스로서,
    O-채널 포맷으로 배열된 입력 픽셀 값의 O 입력 서브픽셀 값들을 각각 수신하도록 구성된 O 개의 입력 채널들을 포함하는 트랜시버 회로;
    O 입력 서브픽셀들을 버퍼링하도록 구성된 적어도 하나의 버퍼; 및
    상기 O 입력 서브픽셀들을 출력 픽셀 값들의 셋트로 재배열하도록 구성된 로직 회로로서, 각각의 출력 픽셀 값은 M-채널 포맷으로 배열된 M 출력 서브픽셀 값들을 포함하고, O 는 M 보다 더 큰 값을 가지며, 재배열된 M 출력 서브픽셀들의 적어도 부분은 상기 O 입력 서브픽셀 값들로부터 재배열되기 이전의 그들의 상대적인 공간적 포지셔닝을 유지하는, 상기 로직 회로를 포함하고,
    상기 트랜시버 회로는, 상기 출력 픽셀 값들의 셋트를 상기 M-채널 코덱에 출력하도록 구성된 M 개의 출력 채널들을 더 포함하는, 픽셀 값들을 패킹하기 위한 디바이스.
  10. 제 9 항에 있어서,
    상기 M-채널 포맷은 M 개의 상이한 컬러 채널들을 포함하고, 상기 O-채널 포맷은 상기 M 개의 컬러 채널들 및 적어도 하나의 추가적인 컬러 채널을 포함하며,
    상기 로직 회로는 추가적으로,
    상기 M 개의 컬러 채널들의 상기 입력 서브픽셀 값들의 각각을 상기 출력 픽셀 값들의 대응하는 M 개의 컬러 채널들에서 배열하고; 그리고
    상기 적어도 하나의 추가적인 컬러 채널의 상기 입력 서브픽셀 값들의 각각을 오직 상기 적어도 하나의 추가적인 컬러 채널만을 포함하는 출력 픽셀 값들로 배열하도록 구성되는, 픽셀 값들을 패킹하기 위한 디바이스.
  11. 제 10 항에 있어서,
    상기 버퍼는,
    상기 M 개의 컬러 채널들의 상기 입력 서브픽셀 값들의 각각을 버퍼링하도록 구성된 제 1 버퍼; 및
    상기 적어도 하나의 추가적인 컬러 채널의 상기 입력 서브픽셀 값들의 각각을 버퍼링하도록 구성된 제 2 버퍼를 더 포함하고,
    상기 로직 회로는 추가적으로,
    상기 출력 픽셀 값들을 구성하기 위해 상기 제 1 버퍼로부터 픽셀들을 선택하고; 그리고
    상기 제 2 버퍼가 N 출력 픽셀 값들을 구성하기 위해 충분한 수의 서브픽셀 값들을 포함하게 된 후에, 오직 상기 적어도 하나의 추가적인 컬러 채널만을 포함하는 상기 N 출력 픽셀 값들을 구성하기 위해 상기 제 2 버퍼로부터 픽셀들을 선택하는 것으로서, 상기 N 출력 픽셀 값들은 서로에 대해 바로 인접하는, 상기 제 2 버퍼로부터 픽셀들을 선택하는 것을 행하도록 구성되는, 픽셀 값들을 패킹하기 위한 디바이스.
  12. 제 11 항에 있어서,
    상기 제 1 및 제 2 버퍼들은 퍼스트 인 퍼스트 아웃 (first in first out; FIFO) 버퍼들인, 픽셀 값들을 패킹하기 위한 디바이스.
  13. 제 11 항에 있어서,
    상기 로직 회로는 추가적으로, 상기 적어도 하나의 추가적인 컬러 채널의 상기 서브픽셀들을 열-우선 순서로 배열하도록 구성되는, 픽셀 값들을 패킹하기 위한 디바이스.
  14. 제 11 항에 있어서,
    상기 로직 회로는 추가적으로, 상기 적어도 하나의 추가적인 컬러 채널의 상기 서브픽셀들을 행-우선 순서로 배열하도록 구성되는, 픽셀 값들을 패킹하기 위한 디바이스.
  15. 제 11 항에 있어서,
    상기 로직 회로는 상태 머신을 포함하고, 상기 상태 머신은, 상기 제 1 및 제 2 버퍼들 중에서, 상기 출력 픽셀 값들을 구성하기 위해 어느 버퍼로부터 서브픽셀들을 수신하도록 할지를 선택하도록 구성되는, 픽셀 값들을 패킹하기 위한 디바이스.
  16. 제 9 항에 있어서,
    상기 M 개의 출력 채널들은 추가적으로, 상기 O 개의 입력 채널들에 의해 입력 픽셀 값들의 셋트가 수신되는 레이트보다 더 큰 레이트로 상기 출력 픽셀 값들의 셋트를 상기 M-채널 코덱에 출력하도록 구성되는, 픽셀 값들을 패킹하기 위한 디바이스.
  17. M-채널 포맷으로 배열된 픽셀 값들을 언패킹하는 방법으로서,
    M-채널 코덱으로부터 입력 픽셀 값들의 셋트를 수신하는 단계로서, 각각의 입력 픽셀은 상기 M-채널 포맷으로 배열된 M 입력 서브픽셀을 포함하는, 상기 입력 픽셀 값들의 셋트를 수신하는 단계;
    입력 서브픽셀 값들의 각각을 출력 픽셀 값들의 셋트로 재배열하는 단계로서, 출력 픽셀 값들의 각각의 셋트는 O-채널 포맷으로 배열된 O 출력 서브픽셀 값들을 포함하고, O 는 M 보다 더 큰 값을 가지며, 재배열된 O 출력 서브픽셀들의 적어도 부분은 상기 M 입력 서브픽셀 값들로부터 재배열되기 이전의 그들의 상대적인 공간적 포지셔닝을 유지하는, 상기 입력 서브픽셀 값들의 각각을 출력 픽셀 값들의 셋트로 재배열하는 단계; 및
    상기 출력 픽셀 값들을 출력으로서 제공하는 단계를 포함하는, 픽셀 값들을 언패킹하는 방법.
  18. 제 17 항에 있어서,
    상기 M-채널 포맷은 M 개의 상이한 컬러 채널들을 포함하고, 상기 O-채널 포맷은 상기 M 개의 컬러 채널들 및 적어도 하나의 추가적인 컬러 채널을 포함하며,
    상기 방법은,
    상기 M 개의 컬러 채널들의 복수의 상기 입력 서브픽셀 값들을 상기 출력 픽셀 값들의 대응하는 O 개의 컬러 채널들에서 배열하는 단계; 및
    상기 적어도 하나의 추가적인 컬러 채널에 대응하는 상기 입력 서브픽셀 값들의 각각을 상기 적어도 하나의 추가적인 컬러 채널의 출력 픽셀 값들로 배열하는 단계를 더 포함하는, 픽셀 값들을 언패킹하는 방법.
  19. 제 18 항에 있어서,
    상기 M 개의 컬러 채널들에 대응하는 상기 입력 서브픽셀 값들의 각각을 제 1 버퍼에서 버퍼링하는 단계;
    상기 적어도 하나의 추가적인 컬러 채널에 대응하는 상기 입력 서브픽셀 값들의 각각을 제 2 버퍼에서 버퍼링하는 단계;
    상기 출력 픽셀 값들을 구성하기 위해 상기 제 1 버퍼로부터 M 개의 픽셀들을 그리고 상기 제 2 버퍼로부터 적어도 하나의 픽셀을 선택하는 단계를 더 포함하는, 픽셀 값들을 언패킹하는 방법.
  20. 제 19 항에 있어서,
    상기 제 1 및 제 2 버퍼들은 퍼스트 인 퍼스트 아웃 (first in first out; FIFO) 버퍼들인, 픽셀 값들을 언패킹하는 방법.
  21. 제 19 항에 있어서,
    상기 적어도 하나의 추가적인 컬러 채널의 상기 서브픽셀들은 N 입력 픽셀 값들에서 열-우선 순서로 배열되는, 픽셀 값들을 언패킹하는 방법.
  22. 제 19 항에 있어서,
    상기 적어도 하나의 추가적인 컬러 채널의 상기 서브픽셀들은 N 입력 픽셀 값들에서 행-우선 순서로 배열되는, 픽셀 값들을 언패킹하는 방법.
  23. 제 19 항에 있어서,
    상태 머신을 통해, 상기 제 1 및 제 2 버퍼들 중에서, 상기 입력 서브픽셀 값들의 각각을 배치할 버퍼를 선택하는 단계를 더 포함하는, 픽셀 값들을 언패킹하는 방법.
  24. 제 17 항에 있어서,
    상기 입력 픽셀 값들의 셋트가 수신되는 레이트보다 더 적은 레이트로 상기 출력 픽셀 값들을 제공하는 단계를 더 포함하는, 픽셀 값들을 언패킹하는 방법.
  25. M-채널 포맷으로 배열된 픽셀 값들을 언패킹하기 위한 디바이스로서,
    상기 M-채널 포맷으로 배열된 입력 픽셀 값의 M 입력 서브픽셀 값들을 각각 수신하도록 구성된 M 개의 입력 채널들을 포함하는 트랜시버 회로;
    M 입력 서브픽셀들을 버퍼링하도록 구성된 적어도 하나의 버퍼; 및
    상기 M 입력 서브픽셀들을 출력 픽셀 값들의 셋트로 재배열하도록 구성된 로직 회로로서, 각각의 출력 픽셀 값은 O-채널 포맷으로 배열된 O 출력 서브픽셀 값들을 포함하고, O 는 M 보다 더 큰 값을 가지며, 재배열된 O 출력 서브픽셀들의 적어도 부분은 상기 M 입력 서브픽셀 값들로부터 재배열되기 이전의 그들의 상대적인 공간적 포지셔닝을 유지하는, 상기 로직 회로를 포함하고,
    상기 트랜시버 회로는, 상기 출력 픽셀 값들의 셋트를 출력하도록 구성된 O 개의 출력 채널들을 더 포함하는, 픽셀 값들을 언패킹하기 위한 디바이스.
  26. 제 25 항에 있어서,
    상기 M-채널 포맷은 M 개의 상이한 컬러 채널들을 포함하고, 상기 O-채널 포맷은 상기 M 개의 컬러 채널들 및 적어도 하나의 추가적인 컬러 채널을 포함하며,
    상기 로직 회로는 추가적으로,
    상기 M 개의 컬러 채널들의 복수의 상기 입력 서브픽셀 값들을 상기 출력 픽셀 값들의 대응하는 O 개의 컬러 채널들에서 배열하고; 그리고
    상기 적어도 하나의 추가적인 컬러 채널에 대응하는 상기 입력 서브픽셀 값들의 각각을 상기 적어도 하나의 추가적인 컬러 채널의 출력 픽셀 값들로 배열하도록 구성되는, 픽셀 값들을 언패킹하기 위한 디바이스.
  27. 제 26 항에 있어서,
    상기 버퍼는,
    상기 M 개의 컬러 채널들에 대응하는 상기 입력 서브픽셀 값들의 각각을 버퍼링하도록 구성된 제 1 버퍼; 및
    상기 적어도 하나의 추가적인 컬러 채널에 대응하는 상기 입력 서브픽셀 값들의 각각을 버퍼링하도록 구성된 제 2 버퍼를 더 포함하고,
    상기 로직 회로는 추가적으로, 상기 출력 픽셀 값들을 구성하기 위해 상기 제 1 버퍼로부터 M 개의 픽셀들을 그리고 상기 제 2 버퍼로부터 적어도 하나의 픽셀을 선택하도록 구성되는, 픽셀 값들을 언패킹하기 위한 디바이스.
  28. 제 27 항에 있어서,
    상기 제 1 및 제 2 버퍼들은 퍼스트 인 퍼스트 아웃 (first in first out; FIFO) 버퍼들인, 픽셀 값들을 언패킹하기 위한 디바이스.
  29. 제 27 항에 있어서,
    상기 적어도 하나의 추가적인 컬러 채널의 상기 서브픽셀들은 N 입력 픽셀 값들에서 열-우선 순서로 배열되는, 픽셀 값들을 언패킹하기 위한 디바이스.
  30. 제 27 항에 있어서,
    상기 적어도 하나의 추가적인 컬러 채널의 상기 서브픽셀들은 N 입력 픽셀 값들에서 행-우선 순서로 배열되는, 픽셀 값들을 언패킹하기 위한 디바이스.
KR1020187000480A 2015-07-09 2016-07-07 서브픽셀 패킹을 이용한 디스플레이 스트림 압축 픽셀 포맷 확장 KR20180030021A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562190689P 2015-07-09 2015-07-09
US62/190,689 2015-07-09
US15/203,721 US10200697B2 (en) 2015-07-09 2016-07-06 Display stream compression pixel format extensions using subpixel packing
US15/203,721 2016-07-06
PCT/US2016/041287 WO2017007902A1 (en) 2015-07-09 2016-07-07 Display stream compression pixel format extensions using subpixel packing

Publications (1)

Publication Number Publication Date
KR20180030021A true KR20180030021A (ko) 2018-03-21

Family

ID=56551565

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187000480A KR20180030021A (ko) 2015-07-09 2016-07-07 서브픽셀 패킹을 이용한 디스플레이 스트림 압축 픽셀 포맷 확장

Country Status (7)

Country Link
US (1) US10200697B2 (ko)
EP (1) EP3320685A1 (ko)
JP (1) JP2018524932A (ko)
KR (1) KR20180030021A (ko)
CN (1) CN107710766A (ko)
BR (1) BR112018000486A2 (ko)
WO (1) WO2017007902A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10368073B2 (en) * 2015-12-07 2019-07-30 Qualcomm Incorporated Multi-region search range for block prediction mode for display stream compression (DSC)
US20200365098A1 (en) * 2019-05-13 2020-11-19 Qualcomm Incorporated Packing of subpixel rendered data for display stream compression
US20220254070A1 (en) * 2021-02-05 2022-08-11 Qualcomm Incorporated Methods and apparatus for lossless compression of gpu data

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100496297B1 (ko) * 2003-03-06 2005-06-17 삼성에스디아이 주식회사 박막 트랜지스터를 구비한 평판표시장치
WO2006090334A2 (en) 2005-02-28 2006-08-31 Nxp B.V. New compression format and apparatus using the new compression format for temporarily storing image data in a frame memory
TW200707374A (en) 2005-07-05 2007-02-16 Koninkl Philips Electronics Nv A method and apparatus of converting signals for driving a display and a display using the same
US20070159492A1 (en) 2006-01-11 2007-07-12 Wintek Corporation Image processing method and pixel arrangement used in the same
US7796836B2 (en) 2006-03-03 2010-09-14 General Atomics Color condensation for image transformation and/or compression
US20070247477A1 (en) 2006-04-21 2007-10-25 Lowry Gregory N Method and apparatus for processing, displaying and viewing stereoscopic 3D images
US8295594B2 (en) * 2007-10-09 2012-10-23 Samsung Display Co., Ltd. Systems and methods for selective handling of out-of-gamut color conversions
US8189016B2 (en) * 2008-05-19 2012-05-29 Samsung Electronics Co., Ltd. Post-color space conversion processing system and methods
US9049410B2 (en) 2009-12-23 2015-06-02 Samsung Display Co., Ltd. Color correction to compensate for displays' luminance and chrominance transfer characteristics
US8681170B2 (en) 2011-05-05 2014-03-25 Ati Technologies Ulc Apparatus and method for multi-streaming for more than three pixel component values
US8963944B2 (en) 2012-05-15 2015-02-24 Omnivision Technologies, Inc. Method, apparatus and system to provide video data for buffering
US9813711B2 (en) * 2012-10-03 2017-11-07 Avago Technologies General Ip (Singapore) Pte. Ltd. Hybrid transform-based compression
US9978156B2 (en) 2012-10-03 2018-05-22 Avago Technologies General Ip (Singapore) Pte. Ltd. High-throughput image and video compression
US9036047B2 (en) * 2013-03-12 2015-05-19 Intel Corporation Apparatus and techniques for image processing
US10089955B2 (en) 2014-03-18 2018-10-02 Mediatek Inc. Data processing apparatus capable of using different compression configurations for image quality optimization and/or display buffer capacity optimization and related data processing method
US20160127771A1 (en) 2014-10-30 2016-05-05 Broadcom Corporation System and method for transporting hd video over hdmi with a reduced link rate

Also Published As

Publication number Publication date
CN107710766A (zh) 2018-02-16
JP2018524932A (ja) 2018-08-30
EP3320685A1 (en) 2018-05-16
US20170013266A1 (en) 2017-01-12
US10200697B2 (en) 2019-02-05
WO2017007902A1 (en) 2017-01-12
BR112018000486A2 (pt) 2018-09-11

Similar Documents

Publication Publication Date Title
EP3632114B1 (en) Substream multiplexing for display stream compression
KR102120571B1 (ko) 넌-4:4:4 크로마 서브-샘플링의 디스플레이 스트림 압축 (dsc) 을 위한 엔트로피 코딩 기법들
KR101975093B1 (ko) 디스플레이 스트림 압축 (dsc) 을 위한 라그랑지안 파라미터 계산을 위한 시스템 및 방법
KR20170016849A (ko) 디스플레이 스트림 압축 (dsc) 을 위한 엔트로피 코딩 기법들
JP2019522413A (ja) ディスプレイストリーム圧縮のためのサブストリーム多重化
KR20170137076A (ko) 복잡도 측정에 기초한 디스플레이 스트림 압축 (dsc) 을 위한 양자화 파라미터 (qp) 계산
KR20160145051A (ko) 디스플레이 스트림 압축 (ｄｓｃ) 을 위한 블록 예측 모드에서 코딩하기 위한 시스템 및 방법
JP2019512970A (ja) ディスプレイストリーム圧縮における量子化パラメータの適応計算のための装置および方法
KR20170042292A (ko) 다중-파티션 변환을 위해 변환 구조를 재사용하는 시스템 및 방법
KR102175662B1 (ko) 디스플레이 스트림 압축 (dsc) 에서의 왜곡을 계산하기 위한 시스템 및 방법들
KR102185027B1 (ko) 디스플레이 스트림 압축을 위한 벡터 기반 엔트로피 코딩을 위한 장치 및 방법
US10200697B2 (en) Display stream compression pixel format extensions using subpixel packing
US10123045B2 (en) Modification to block size for transform mode in display stream compression