KR20180102565A - 디스플레이 스트림 압축 (dsc) 에서의 왜곡을 계산하기 위한 시스템 및 방법들 - Google Patents

디스플레이 스트림 압축 (dsc) 에서의 왜곡을 계산하기 위한 시스템 및 방법들 Download PDF

Info

Publication number
KR20180102565A
KR20180102565A KR1020187019580A KR20187019580A KR20180102565A KR 20180102565 A KR20180102565 A KR 20180102565A KR 1020187019580 A KR1020187019580 A KR 1020187019580A KR 20187019580 A KR20187019580 A KR 20187019580A KR 20180102565 A KR20180102565 A KR 20180102565A
Authority
KR
South Korea
Prior art keywords
video
color space
block
color
blocks
Prior art date
Application number
KR1020187019580A
Other languages
English (en)
Other versions
KR102175662B1 (ko
Inventor
비자야라가반 티루말라이
네이탄 헤임 제이콥슨
라잔 랙스맨 조쉬
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20180102565A publication Critical patent/KR20180102565A/ko
Application granted granted Critical
Publication of KR102175662B1 publication Critical patent/KR102175662B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

다수의 컬러 공간들에서 프레임 또는 블록의 왜곡 값을 계산하고 그리고 계산된 왜곡 값들에 기초하여 최적의 코딩 모드를 결정하기 위한 시스템들 및 방법들이 개시된다. 일 실시형태는 비디오 카메라 또는 미리 저장된 컨텐츠를 포함하는 비디오 아카이브를 포함하는 비디오 소스, 및 저장된 비디오 컨텐츠를 인코딩하도록 구성된 프로세서를 갖는 시스템을 포함한다.

Description

디스플레이 스트림 압축 (DSC) 에서의 왜곡을 계산하기 위한 시스템 및 방법들
본 개시는 비디오 코딩 및 압축의 분야에 관한 것으로서, 상세하게는, 디스플레이 스트림 압축 (DSC) 과 같은 디스플레이 링크들 상으로의 송신을 위한 비디오 압축에 관한 것이다.
디지털 비디오 능력들은 디지털 텔레비전들, 개인용 디지털 보조기들 (PDA들), 랩탑 컴퓨터들, 데스크탑 모니터들, 디지털 카메라들, 디지털 레코딩 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 디바이스들, 비디오 게임 콘솔들, 셀룰러 또는 위성 무선 전화기들, 비디오 텔레컨퍼런싱 디바이스들 등을 포함한, 광범위한 디스플레이들에 통합될 수 있다. 디스플레이 링크들은 디스플레이들을 적절한 소스 디바이스들에 연결하는데 사용된다. 디스플레이 링크들의 대역폭 요건들은 디스플레이들의 해상도에 비례하고, 따라서, 고 해상도 디스플레이들은 큰 대역폭의 디스플레이 링크들을 요구한다. 일부 디스플레이 링크들은 고 해상도 디스플레이들을 지원하기 위한 대역폭을 갖지 않는다. 비디오 압축은, 하위 대역폭의 디스플레이 링크들이 디지털 비디오를 고 해상도 디스플레이들에 제공하기 위해 사용될 수 있도록 대역폭 요건들을 감소하는데 사용될 수 있다.
다른 방식들이 픽셀 데이터에 대한 이미지 압축을 활용하려고 시도하였다. 하지만, 그러한 방식들은 종종, 시각적으로 무손실이 아니거나 또는 종래의 디스플레이 디바이스들에서 구현하기에 어렵고 비쌀 수 있다.
비디오 전자 표준 협회 (VESA) 는 디스플레이 링크 비디오 압축을 위한 표준으로서 디스플레이 스트림 압축 (DSC) 을 개발하였다. DSC 와 같은 디스플레이 링크 비디오 압축 기법은, 다른 것들 중에서, 시각적으로 무손실인 픽처 품질 (즉, 사용자들이 압축이 활성임을 구별할 수 없도록 하는 품질의 레벨을 갖는 픽처들) 을 제공해야 한다. 디스플레이 링크 비디오 압축 기법은 또한, 종래의 하드웨어로 실시간으로 구현하기에 용이하고 저렴한 방식을 제공해야 한다.
본 개시의 시스템들, 방법들 및 디바이스들 각각은 수개의 혁신적 양태들을 가지며, 이들 양태들 중 어떠한 단일 양태도 본 명세서에 개시된 바람직한 속성들을 유일하게 책임지지 않는다.
하나의 혁신예는 비디오 데이터를 코딩하기 위한 장치를 포함한다. 그 장치는 비디오 데이터, 및 복수의 코딩 모드들에 관한 정보를 저장하기 위한 메모리를 포함할 수도 있고, 비디오 데이터는 복수의 비디오 블록들을 포함한다. 그 장치는 또한, 메모리에 동작가능하게 커플링된 하드웨어 프로세서를 포함할 수도 있다. 프로세서는 복수의 비디오 블록들의 비디오 블록에 대해 복수의 컬러 공간들 중 하나의 컬러 공간을 선택하고, 복수의 비디오 블록들 중 선택된 컬러 공간에 있지 않은 모든 비디오 블록에 컬러 변환을 적용하고 복수의 비디오 블록들의 비디오 블록들 중 모두가 선택된 컬러 공간에 있음을 확인하고, 그리고 선택된 컬러 공간에 기초하여 복수의 비디오 블록들의 각각의 왜곡 값을 결정하도록 구성될 수도 있다.
일부 실시형태들에 대해, 그 장치는 복수의 비디오 블록들의 각각의 비디오 블록의 초기 컬러 공간을 결정하는 것으로서, 초기 컬러 공간은 컬러 변환의 적용 이전의 각각의 비디오 블록의 컬러 공간인, 상기 초기 컬러 공간을 결정하고, 복수의 코딩 모드들 중 어느 코딩 모드들이 초기 컬러 공간과 호환가능한지를 결정하고; 그리고 인코딩된 블록을 제공하기 위해 복수의 비디오 블록들의 비디오 블록을 호환가능 코딩 모드들로 인코딩하도록 구성될 수도 있다.
일부 실시형태들에 대해, 그 장치는 복수의 코딩 모드들 중 어느 코딩 모드들이 초기 컬러 공간과 호환가능하지 않은지를 결정하는 것으로서, 초기 컬러 공간은 컬러 변환의 적용 이전의 각각의 비디오 블록의 컬러 공간인, 상기 초기 컬러 공간과 호환가능하지 않은지를 결정하고; 호환가능 컬러 블록을 제공하기 위해 초기 컬러 공간에 컬러 변환을 적용하고, 그리고 인코딩된 블록을 제공하기 위해 호환가능 컬러 블록을, 초기 컬러 공간과 호환가능하지 않은 코딩 모드들로 인코딩하도록 구성될 수도 있다.
일부 실시형태들에 있어서, 그 장치는 비디오 블록 및 인코딩된 블록으로부터 레지듀 (residue) 블록을 계산하도록 구성될 수도 있고, 레지듀 블록은 비디오 블록과 인코딩된 블록 간의 차이를 나타낸다.
일부 실시형태들에 있어서, 왜곡 값을 결정하는 것은 레지듀 블록의 왜곡 값을 결정하는 것을 포함한다.
일부 실시형태들에 있어서, 선택된 컬러 공간은 루마-크로마 컬러 공간을 포함하고, 여기서, 왜곡 값을 결정하는 것은 루마-크로마 컬러 공간의 각각의 크로마 컴포넌트를 정규화하는 것을 포함한다.
일부 실시형태들에 있어서, 비디오 블록은 다수의 컬러 평면들을 포함하고, 여기서, 비디오 블록의 왜곡 값을 결정하는 것은 그 다수의 컬러 평면들의 각각의 컬러 평면의 절대 차이들의 합, 및 그 다수의 컬러 평면들의 각각의 컬러 평면의 제곱 에러의 합 중 적어도 하나를 포함한다.
일부 실시형태들에 있어서, 컬러 변환은 변환 매트릭스에 기초하고, 변환 매트릭스는 선택된 컬러 공간의 다수의 컬러 평면들을 나타내는 다수의 컬럼들에 의해 정의되고, 여기서, 하드웨어 프로세서는 추가로, 그 다수의 컬럼들의 컬럼의 유클리드 놈 (Euclidean norm) 에 기초하여 가중치 값을 결정하도록 구성된다.
일부 실시형태들에 있어서, 변환된 비디오 블록의 왜곡 값은 그 다수의 컬러 평면들의 각각의 컬러 평면의 절대 차이들의 합으로서, 각각의 컬러 평면은 그 다수의 가중치 값들 중 대응하는 가중치 값에 의해 승산되는, 상기 각각의 컬러 평면의 절대 차이들의 합, 및 그 다수의 컬러 평면들의 각각의 컬러 평면의 제곱 에러의 합으로서, 각각의 컬러 평면은 그 다수의 가중치들 중 대응하는 가중치에 의해 승산되는, 상기 각각의 컬러 평면의 제곱 에러의 합 중 적어도 하나에 기초한다.
일부 실시형태들에 있어서, 선택된 컬러 공간은 루마-크로마 컬러 공간 및 RGB 컬러 공간 중 적어도 하나에 있다.
일부 실시형태들에 있어서, 왜곡 값을 결정하는 것은 (i) 복수의 비디오 블록들의 각각의 왜곡 값, (ii) 람다 값, 및 (iii) 비디오 블록을 통신하기 위한 비트스트림 레이트에 기초하여 복수의 코딩 모드들의 코딩 모드를 결정하는 것을 더 포함한다.
일부 실시형태들에 있어서, 복수의 비디오 블록들의 각각의 비디오 블록은, 복수의 코딩 모드들의 모든 코딩 모드를 사용하여 인코딩된 단일의 비디오 블록을 나타낸다.
도 1a 는 본 개시에서 설명된 양태들에 따른 기법들을 활용할 수도 있는 예시적인 비디오 인코딩 및 디코딩 시스템을 예시한 블록 다이어그램이다.
도 1b 는 본 개시에서 설명된 양태들에 따른 기법들을 수행할 수도 있는 다른 예시적인 비디오 인코딩 및 디코딩 시스템을 예시한 블록 다이어그램이다.
도 2 는 본 개시에서 설명된 양태들에 따른 기법들을 구현할 수도 있는 비디오 인코더의 일 예를 예시한 블록 다이어그램이다.
도 3 은 왜곡 회로의 예시적인 구현을 예시한 블록 다이어그램이다.
도 4 는 왜곡 회로의 대안적인 구현을 예시한 블록 다이어그램이다.
도 5 는 본 개시에서 설명된 양태들에 따른 기법들을 구현할 수도 있는 비디오 디코더의 일 예를 예시한 블록 다이어그램이다.
도 6 은 인코딩 모드를 결정하기 위한 예시적인 방법을 예시한 플로우 다이어그램이다.
고정된 레이트 및 시각적으로 무손실의 압축을 제공하는 DSC 코더가 본 명세서에서 개시된다. 코더는 블록 또는 슬라이스 기반 접근법으로 설계되고 (예를 들어, 블록 사이즈는 P x Q 임), 다수의 코딩 모드들 중 하나 이상으로 구현될 수도 있다. 예를 들어, 각각의 블록에 대한 가용 코딩 옵션들은 변환 모드 (예를 들어, DCT, 하다마드), 블록 예측 모드, 차동 펄스 코드 변조 (DPCM) 모드, 패턴 모드, 중간점 (mid-point) 예측 (MPP) 모드, 및/또는 중간점 예측 폴 백 (MPPF) 모드를 포함한다. 수개의 코딩 모드들이 상이한 타입들의 컨텐츠 또는 이미지들을 압축하기 위해 코더에서 사용될 수도 있다. 예를 들어, 텍스트 이미지들은 패턴 모드를 통해 압축될 수도 있는 한편, 자연적 이미지는 변환 모드를 통해 캡처될 수도 있다.
특정 실시형태들이 DSC 표준의 맥락에서 본 명세서에 설명되지만, 당업자는 본 명세서에 개시된 시스템들 및 방법들이 임의의 적합한 비디오 코딩 표준에 적용가능할 수도 있음을 인식할 것이다. 예를 들어, 본 명세서에 개시된 실시형태들은 다음의 표준들 중 하나 이상에 적용가능할 수도 있다: 국제 원격통신 연합 (ITU) 원격통신 표준화 섹터 (ITU-T) H.261, 국제 표준화 기구/국제 전기기술 위원회 (ISO/IEC) 동화상 전문가 그룹-1 (MPEG-1) 비주얼, ITU-T H.262 또는 ISO/IEC MPEG-2 비주얼, ITU-T H.263, ISO/IEC MPEG-4 비주얼, ITU-T H.264 (ISO/IEC MPEG-4 AVC 로서 또한 공지됨), 고효율 비디오 코딩 (HEVC), 및 그러한 표준들에 대한 임의의 확장들. 또한, 본 개시에서 설명된 기법들은 미래에 개발되는 표준들의 부분이 될 수도 있다. 즉, 본 개시에서 설명된 기법들은 이전에 개발된 비디오 코딩 표준들, 현재 개발 중인 비디오 코딩 표준들, 및 다가오는 비디오 코딩 표준들에 적용가능할 수도 있다.
특정 양태들에 따른 DSC 코더에 있어서, 각각의 모드의 레이트 왜곡 ("RD") 성능은 다양한 컬러 공간들, 예를 들어, YCoCg 또는 YCbCr 과 같은 임의의 루마-크로마 표현에서, 또는 RGB 또는 CMYK 컬러 공간에서 평가될 수 있다.
특정 양태들에 따르면, 본 개시에서 설명된 기법들은 코딩 모드들의 왜곡을 계산하기 위한 다양한 방법들을 제공할 수 있고, 예를 들어, 여기서, 각각의 모드는 상이한 컬러 공간들에서 평가된다. 예를 들어, 모든 코딩 모드들의 왜곡은, 예를 들어, 적절한 컬러 변환을 적용함으로써, 동일한 컬러 공간에서 계산될 수도 있다. 컬러 변환은 레지듀 블록에 적용될 수도 있고, 여기서, 레지듀 블록은 원래의 비디오 블록들과 복원된 비디오 블록들 (인코딩된 블록들 또는 에러 블록들로서 본 명세서에서 또한 지칭됨) 간의 차이를 나타내거나, 또는 컬러 변환은 레지듀를 계산하기 전에 원래의 및 복원된 블록들 양자 모두에 적용될 수도 있다.
비디오 코딩 표준들
디지털 이미지, 예컨대, 비디오 이미지, TV 이미지, 스틸 이미지, 또는 비디오 레코더 또는 컴퓨터에 의해 생성된 이미지는 수평 및 수직 라인들로 배열된 픽셀들 또는 샘플들을 포함할 수도 있다. 단일 이미지에서의 픽셀들의 수는 통상적으로 수만개이다. 각각의 픽셀은 통상적으로, 루미넌스 및 크로미넌스 정보를 포함한다. 압축이 없으면, 이미지 인코더로부터 이미지 디코더로 전달될 정보의 순수량은 실시간 이미지 송신을 실행불가능하게 할 것이다. 송신될 정보의 양을 감소시키기 위해, JPEG, MPEG 및 H.263 표준들과 같은 다수의 상이한 압축 방법들이 개발되었다.
비디오 코딩 표준들은 ITU-T H.261, ISO/IEC MPEG-1 비주얼, ITU-T H.262 또는 ISO/IEC MPEG-2 비주얼, ITU-T H.263, ISO/IEC MPEG-4 비주얼, ITU-T H.264 (ISO/IEC MPEG-4 AVC 로서 또한 공지됨), 및 HEVC (그러한 표준들의 확장들을 포함) 를 포함한다.
부가적으로, 비디오 코딩 표준, 즉, DSC 가 VESA 에 의해 개발되었다. DSC 표준은, 디스플레이 링크들 상으로의 송신을 위해 비디오를 압축할 수 있는 비디오 압축 표준이다. 디스플레이들의 해상도가 증가함에 따라, 디스플레이들을 구동하기 위해 요구된 비디오 데이터의 대역폭이 대응하여 증가한다. 일부 디스플레이 링크들은 그러한 해상도들에 대해 비디오 데이터의 모두를 디스플레이로 송신하기 위한 대역폭을 갖지 않을 수도 있다. 이에 따라, DSC 표준은 디스플레이 링크들 상으로의 상호운용가능한 시각적으로 무손실의 압축을 위한 압축 표준을 명시한다.
DSC 표준은 H.264 및 HEVC 와 같은 다른 비디오 코딩 표준들과는 상이하다. DSC 는 프레임내 (intra-frame) 압축을 포함하지만, 프레임간 압축을 포함하진 않으며, 이는 시간 정보가 비디오 데이터를 코딩함에 있어서 DSC 표준에 의해 사용되지 않을 수도 있음을 의미한다. 이에 반하여, 다른 비디오 코딩 표준들은 그 비디오 코딩 기법들에 있어서 프레임간 압축을 채용할 수도 있다. 진보된 DSC 가, 예를 들어, 4:1 이상의 압축 비율들을 제공하기 위하여 개발되고 있다. 4:1 이상의 압축 비율들은 모바일 디바이스들용, 예를 들어, 4K 와 같은 고 해상도 디스플레이들용으로 사용될 수도 있다.
DSC 에서의 슬라이스들
상기 언급된 바와 같이, 슬라이스는 일반적으로, 이미지 또는 프레임에서의 영역들의 나머지로부터의 정보를 사용하는 것없이 독립적으로 디코딩될 수 있는 이미지 또는 프레임에서의 공간적으로 별개의 영역을 지칭한다. 각각의 이미지 또는 비디오 프레임은 단일 슬라이스에서 인코딩될 수도 있거나 또는 각각의 이미지 또는 비디오 프레임은 수개의 슬라이스들에서 인코딩될 수도 있다. DSC 에 있어서, 각각의 슬라이스를 인코딩하도록 할당된 타겟 비트들은 실질적으로 일정할 수도 있다. 이는, 이미지 높이가 슬라이스 높이에 의해 나누어 떨어지지 않으면 발생할 수 있는 부분 슬라이스들에 대해 상이할 수도 있다. 예를 들어, 108 의 슬라이스 높이를 갖는 사이즈 1280 x 720 의 이미지는 높이 108 의 6개의 슬라이스들 및 높이 72 (= 720 - (6 * 108)) 의 하나의 부분 슬라이스를 가질 것이다.
진보된 DSC 슬라이스 치수들은 변수들 또는 파라미터들 슬라이스 폭 X 슬라이스 높이를 사용하여 명시될 수 있으며, 여기서, 슬라이스 폭 및 슬라이스 높이는 구성가능하다. 슬라이스 높이는 원하는 값, 예를 들어, 16, 32, 108 등으로 구성될 수 있다. 슬라이스 폭은, 라인에서의 슬라이스들의 수를 결정하는 파라미터 (N) 를 사용하여 구성될 수 있고, 각각의 슬라이스들에서의 라인 당 픽셀들의 수는 동일하다고 가정된다, 예를 들어, 슬라이스 폭 = 이미지 폭/ N. 이미지 폭은 이미지의 폭을 나타내는 변수 또는 파라미터일 수 있다.
비디오 코딩 시스템
신규한 시스템들, 장치들, 및 방법들의 다양한 양태들이 첨부 도면들을 참조하여 이하 더 충분히 설명된다. 하지만, 본 개시는 다수의 상이한 형태들로 구현될 수도 있으며, 본 개시 전반에 걸쳐 제시된 임의의 특정 구조 또는 기능으로 한정되는 것으로서 해석되지 않아야 한다. 대신, 이들 양태들은, 본 개시가 철저하고 완벽할 것이며 그리고 본 개시의 범위를 당업자에게 충분히 전달할 것이도록 제공된다. 본 명세서에서의 교시들에 기초하여, 당업자는, 본 개시의 임의의 다른 양태와 독립적으로 구현되든지 또는 임의의 다른 양태와 결합되든지, 본 개시의 범위가 본 명세서에 개시된 신규한 시스템들, 장치들, 및 방법들의 임의의 양태를 커버하도록 의도됨을 인식할 것이다. 예를 들어, 본 명세서에서 기재된 임의의 수의 양태들을 이용하여 일 장치가 구현될 수도 있거나 또는 일 방법이 실시될 수도 있다. 부가적으로, 본 개시의 범위는, 본 명세서에서 기재된 본 개시의 다양한 양태들에 부가한 또는 그 이외의 구조 및 기능, 또는 다른 구조, 기능을 이용하여 실시되는 그러한 장치 또는 방법을 커버하도록 의도된다. 본 명세서에서 개시된 임의의 양태는 청구항의 하나 이상의 엘리먼트들에 의해 구현될 수도 있음이 이해되어야 한다.
특정 양태들이 본 명세서에서 설명되지만, 이들 양태들의 다수의 변형예들 및 치환예들은 본 개시의 범위 내에 있다. 선호된 양태들의 일부 이익들 및 이점들이 언급되지만, 본 개시의 범위는 특정 이익들, 사용들, 또는 목적들로 한정되도록 의도되지 않는다. 대신, 본 개시의 양태들은 상이한 무선 기술들, 시스템 구성들, 네트워크들, 및 송신 프로토콜들에 널리 적용가능하도록 의도되며, 이들 중 일부는 도면들에서, 그리고 선호된 양태들의 다음의 설명에서 예로써 예시된다. 상세한 설명 및 도면들은 한정하는 것보다는 본 개시의 단지 예시일 뿐이며, 본 개시의 범위는 첨부된 청구항들 및 그 균등물들에 의해 정의된다.
첨부 도면들은 예들을 예시한다. 첨부 도면들에서의 참조 부호들에 의해 표시된 엘리먼트들은 다음의 설명에서의 동일한 참조 부호들에 의해 표시된 엘리먼트들에 대응한다. 본 개시에 있어서, 서수사들 (예를 들어, "제 1", "제 2", "제 3" 등) 로 시작하는 네임들을 갖는 엘리먼트들은 반드시 그 엘리먼트들이 특정 순서를 가짐을 암시하는 것은 아니다. 오히려, 그러한 서수사들은 단지 동일한 또는 유사한 타입의 상이한 엘리먼트들을 지칭하는데 사용될 뿐이다.
도 1a 는 본 개시에서 설명된 양태들에 따른 기법들을 활용할 수도 있는 예시적인 비디오 코딩 시스템 (10) 을 예시한 블록 다이어그램이다. 본 명세서에서 설명되어 사용되는 바와 같이, 용어 "비디오 코더" 또는 "코더" 는 일반적으로 비디오 인코더들 및 비디오 디코더들 양자 모두를 지칭한다. 본 개시에 있어서, 용어들 "비디오 코딩" 또는 "코딩" 은 일반적으로 비디오 인코딩 또는 비디오 디코딩을 지칭할 수도 있다. 비디오 인코더들 및 비디오 디코더들에 부가하여, 본원에서 설명된 양태들은 트랜스코더들 (예를 들어, 비트스트림을 디코딩하고 다른 비트스트림을 재-인코딩할 수 있는 디바이스들) 및 미들박스들 (예를 들어, 비트스트림을 수정, 변환, 및/또는 그렇지 않으면 조작할 수 있는 디바이스들) 과 같은 다른 관련 디바이스들로 확장될 수도 있다.
도 1a 에 도시된 바와 같이, 비디오 코딩 시스템 (10) 은, 목적지 디바이스 (14) 에 의해 더 나중 시간에 디코딩될 인코딩된 비디오 데이터 (16) 및 소스 비디오 데이터 (13) 를 생성하는 소스 디바이스 (12) 를 포함한다. 도 1a 의 예에 있어서, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 별도의 디바이스들을 구성한다. 하지만, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는, 도 1b 의 예에 도시된 바와 같이, 동일한 디바이스 상에 있거나 그 부분일 수도 있음이 주목된다.
도 1a 를 다시한번 참조하면, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 데스크탑 컴퓨터들, 노트북 (예를 들어, 랩탑) 컴퓨터들, 태블릿 컴퓨터들, 셋탑 박스들, 소위 "스마트" 폰들과 같은 전화기 핸드셋들, 소위 "스마트" 패드들, 텔레비전들, 카메라들, 디스플레이 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 콘솔들, 차량내 컴퓨터들, 비디오 스트리밍 디바이스들, 아이웨어 및/또는 웨어러블 컴퓨터와 같은 엔터티 (예를 들어, 인간, 동물, 및/또는 다른 제어된 디바이스) 에 의해 (엔터티에) 착용가능한 (또는 착탈가능하게 부착가능한) 비디오 디바이스들, 엔터티 내에서 소비되거나 입수되거나 또는 배치될 수 있는 디바이스들 또는 장치들 등을 포함한 광범위한 디바이스들 중 임의의 디바이스를 각각 포함할 수도 있다. 다양한 실시형태들에 있어서, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 무선 통신을 위해 장비될 수도 있다.
목적지 디바이스 (14) 는 디코딩될 인코딩된 비디오 데이터 (16) 를 링크 (17) 를 통해 수신할 수도 있다. 링크 (17) 는 인코딩된 비디오 데이터 (16) 를 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로 이동 가능한 임의의 타입의 매체 또는 디바이스를 포함할 수도 있다. 도 1a 의 예에 있어서, 링크 (17) 는, 소스 디바이스 (12) 로 하여금 인코딩된 비디오 데이터 (16) 를 목적지 디바이스 (14) 로 실시간으로 송신할 수 있게 하는 통신 매체를 포함할 수도 있다. 인코딩된 비디오 데이터 (16) 는 무선 통신 프로토콜과 같은 통신 표준에 따라 변조되고, 목적지 디바이스 (14) 로 송신될 수도 있다. 통신 매체는 무선 주파수 (RF) 스펙트럼 또는 하나 이상의 물리적인 송신 라인들과 같은 임의의 무선 또는 유선 통신 매체를 포함할 수도 있다. 통신 매체는 로컬 영역 네트워크, 광역 네트워크, 또는 인터넷과 같은 글로벌 네트워크와 같은 패킷 기반 네트워크의 부분을 형성할 수도 있다. 통신 매체는 라우터들, 스위치들, 기지국들, 또는 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로의 통신을 용이하게 하는데 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다.
도 1a 의 예에 있어서, 소스 디바이스 (12) 는 비디오 소스 (18), 비디오 인코더 (20), 및 출력 인터페이스 (22) 를 포함한다. 일부 경우들에 있어서, 출력 인터페이스 (22) 는 변조기/복조기 (모뎀) 및/또는 송신기를 포함할 수도 있다. 소스 디바이스 (12) 에 있어서, 비디오 소스 (18) 는 비디오 캡쳐 디바이스, 예를 들어, 비디오 카메라, 이전에 캡쳐된 비디오를 포함하는 비디오 아카이브, 비디오 컨텐츠 제공자로부터 비디오를 수신하기 위한 비디오 피드 인터페이스, 및/또는 컴퓨터 그래픽스 데이터를 소스 비디오로서 생성하기 위한 컴퓨터 그래픽스 시스템과 같은 소스, 또는 그러한 소스들의 조합을 포함할 수도 있다. 일 예로서, 도 1b 의 예에 도시된 바와 같이, 비디오 소스 (18) 가 비디오 카메라이면, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 소위 "카메라 폰들" 또는 "비디오 폰들" 을 형성할 수도 있다. 비디오 소스 (18) 는 캡쳐되거나 사전-캡쳐되거나 또는 컴퓨터 생성된 비디오를 소스 비디오 데이터 (13) 비트스트림으로서 비디오 인코더 (20) 에 출력할 수도 있다. 하지만, 본 개시에서 설명된 기법들은 일반적으로 비디오 코딩에 적용가능할 수도 있으며, 무선 및/또는 유선 어플리케이션들에 적용될 수도 있다. 예를 들어, 비디오 소스 (18) 는 비디오 소스 (18) 와 비디오 인코더 (20) 사이의 커넥션 상으로 소스 비디오 데이터 (13) 를 생성 및 출력할 수도 있다. 커넥션은 임의의 적합한 유선 커넥션 (예를 들어, 범용 직렬 버스 (USB), 파이어와이어, 썬더볼트, 라이트 피크, 디지털 비디오 인터페이스 (DVI), 고선명 멀티미디어 인터페이스 (HDMI), 비디오 그래픽스 어레이 (VGA) 등) 을 포함할 수도 있다. 커넥션은 또한 임의의 적합한 무선 커넥션 (예를 들어, 블루투스, Wi-Fi, 3G, 4G, LTE, LTE 어드밴스드, 5G 등) 을 포함할 수도 있다.
소스 비디오 데이터 (13) 는 비디오 인코더 (20) 에 의해 수신 및 인코딩될 수도 있다. 인코딩된 비디오 데이터 (16) 는 소스 디바이스 (12) 의 출력 인터페이스 (22) 를 통해 목적지 디바이스 (14) 로 송신될 수도 있다. 인코딩된 비디오 데이터 (16) 는 또한 (또는 대안적으로), 디코딩 및/또는 플레이백을 위한 목적지 디바이스 (14) 또는 다른 디바이스들에 의한 더 나중의 액세스를 위해 저장 디바이스 (도시 안됨) 상으로 저장될 수도 있다. 도 1a 및 도 1b 에 예시된 비디오 인코더 (20) 는 도 2 에 예시된 비디오 인코더 (20) 또는 본 명세서에서 설명된 임의의 다른 비디오 인코더를 포함할 수도 있다.
도 1a 의 예에 있어서, 목적지 디바이스 (14) 는 입력 인터페이스 (28), 비디오 디코더 (30), 및 디스플레이 디바이스 (32) 를 포함한다. 일부 경우들에 있어서, 입력 인터페이스 (28) 는 수신기 및/또는 모뎀을 포함할 수도 있다. 목적지 디바이스 (14) 의 입력 인터페이스 (28) 는 인코딩된 비디오 데이터 (16) 를 링크 (17) 상으로 및/또는 저장 디바이스로부터 수신할 수도 있다. 링크 (17) 상으로 통신되는 또는 저장 디바이스 상에 제공되는 인코딩된 비디오 데이터 (16) 는, 비디오 데이터 (16) 를 디코딩함에 있어서 비디오 디코더 (30) 와 같은 비디오 디코더에 의한 사용을 위해 비디오 인코더 (20) 에 의해 생성된 다양한 신택스 엘리먼트들을 포함할 수도 있다. 그러한 신택스 엘리먼트들에는, 통신 매체 상으로 송신되거나 저장 매체 상에 저장되거나 또는 파일 서버에 저장되는 인코딩된 비디오 데이터 (16) 가 포함될 수도 있다. 도 1a 및 도 1b 에 예시된 비디오 디코더 (30) 는 도 5 에 예시된 비디오 디코더 (30) 또는 본 명세서에서 설명된 임의의 다른 비디오 디코더를 포함할 수도 있다.
디스플레이 디바이스 (32) 는 목적지 디바이스 (14) 와 통합되거나 그 외부에 있을 수도 있다. 일부 예들에 있어서, 목적지 디바이스 (14) 는 통합된 디스플레이 디바이스를 포함할 수도 있고, 또한, 외부 디스플레이 디바이스와 인터페이싱하도록 구성될 수도 있다. 다른 예들에 있어서, 목적지 디바이스 (14) 는 디스플레이 디바이스일 수도 있다. 일반적으로, 디스플레이 디바이스 (32) 는 디코딩된 비디오 데이터를 사용자에게 디스플레이하며, 액정 디스플레이 (LCD), 플라즈마 디스플레이, 유기 발광 다이오드 (OLED) 디스플레이, 또는 다른 타입의 디스플레이 디바이스와 같은 다양한 디스플레이 디바이스들 중 임의의 디바이스를 포함할 수도 있다.
관련 양태들에 있어서, 도 1b 는, 소스 디바이스 (12) 및 목적지 디바이스 (14) 가 디바이스 (11) 상에 있거나 그 부분인 예시적인 비디오 코딩 시스템 (10') 을 도시한다. 디바이스 (11) 는 "스마트" 폰 등과 같은 전화기 핸드셋일 수도 있다. 디바이스 (11) 는 소스 디바이스 (12) 및 목적지 디바이스 (14) 와 동작적으로 통신하는 (옵션적으로 존재하는) 프로세서/제어기 디바이스 (13) 를 포함할 수도 있다. 그렇지 않으면, 도 1b 의 비디오 코딩 시스템 (10') 및 그 컴포넌트들은 도 1a 의 비디오 코딩 시스템 (10) 및 그 컴포넌트들과 유사하다.
비디오 인코더 (20) 및 비디오 디코더 (30) 는 DSC 와 같은 비디오 압축 표준에 따라 동작할 수도 있다. 대안적으로, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 MPEG-4, 파트 10, AVC, HEVC 로서 대안적으로 지칭되는 ITU-T H.264 표준과 같은 다른 전매특허 또는 산업 표준들, 또는 그러한 표준들의 확장들에 따라 동작할 수도 있다. 하지만, 본 개시의 기법들은 임의의 특정 코딩 표준으로 한정되지 않는다. 비디오 압축 표준들의 다른 예들은 MPEG-2 및 ITU-T H.263 을 포함한다.
도 1a 및 도 1b 의 예들에는 도시되지 않지만, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 오디오 인코더 및 디코더와 각각 통합될 수도 있으며, 오디오 및 비디오 양자의 인코딩을 공통 데이터 스트림 또는 별도의 데이터 스트림들로 처리하기 위해 적절한 MUX-DEMUX 유닛들 또는 다른 하드웨어 및 소프트웨어를 포함할 수도 있다. 적용가능하다면, 일부 예들에 있어서, MUX-DEMUX 유닛들은 ITU H.223 멀티플렉서 프로토콜, 또는 사용자 데이터그램 프로토콜 (UDP) 과 같은 다른 프로토콜들에 부합할 수도 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSP들), 주문형 집적 회로들 (ASIC들), 필드 프로그래밍가능 게이트 어레이들 (FPGA들), 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합들과 같은 다양한 적합한 인코더 회로부 중 임의의 회로부로서 구현될 수도 있다. 기법들이 부분적으로 소프트웨어로 구현될 경우, 디바이스는 적합한 비-일시적인 컴퓨터 판독가능 매체에 소프트웨어에 대한 명령들을 저장하고, 본 개시의 기법들을 수행하기 위해 하나 이상의 프로세서들을 사용하는 하드웨어로 명령들을 실행할 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 의 각각은 하나 이상의 인코더들 또는 디코더들에 포함될 수도 있으며, 이들 중 어느 하나는 개별 디바이스에 있어서 결합된 인코더/디코더의 부분으로서 통합될 수도 있다.
비디오 코딩 프로세스
상기에 간략히 언급된 바와 같이, 비디오 인코더 (20) 는 소스 비디오 데이터 (13) 를 인코딩한다. 소스 비디오 데이터 (13) 는 하나 이상의 픽처들을 포함할 수도 있다. 픽처들의 각각은 비디오의 부분을 형성하는 스틸 이미지이다. 일부 예들에 있어서, 픽처는 비디오 "프레임" 으로서 지칭될 수도 있다. 비디오 인코더 (20) 가 소스 비디오 데이터 (13) 를 인코딩할 경우, 비디오 인코더 (20) 는 비트스트림을 생성할 수도 있다. 비트스트림은, 비디오 데이터 (16) 의 코딩된 표현을 형성하는 비트들의 시퀀스를 포함할 수도 있다. 비트스트림은 코딩된 픽처들 및 관련 데이터를 포함할 수도 있다. 코딩된 픽처는 픽처의 코딩된 표현이다.
비트스트림을 생성하기 위해, 비디오 인코더 (20) 는 비디오 데이터에서의 각각의 픽처에 대해 인코딩 동작들을 수행할 수도 있다. 비디오 인코더 (20) 가 픽처들에 대해 인코딩 동작들을 수행할 경우, 비디오 인코더 (20) 는 일련의 코딩된 픽처들 및 관련 데이터를 생성할 수도 있다. 관련 데이터는 양자화 파라미터 (QP) 와 같은 코딩 파라미터들의 세트를 포함할 수도 있다. 양자화는 신호에 손실을 도입할 수도 있고, 손실의 양은 레이트 제어기 (120) 에 의해 결정된 QP 에 의해 제어될 수 있다. 레이트 제어기 (120) 는 도 2 에서 더 상세히 논의된다. 각각의 QP 에 대한 양자화 스텝 사이즈를 저장하는 것보다는 오히려, 스케일링 매트릭스가 QP 의 함수로서 명시될 수도 있다. 각각의 QP 에 대한 양자화 스텝 사이즈는 스케일링 매트릭스로부터 도출될 수도 있고, 도출된 값은 반드시 2 의 거듭제곱일 필요는 없을 수도 있고, 즉, 도출된 값은 또한 2의 거듭제곱이 아닐 수 있다.
코딩된 픽처를 생성하기 위해, 비디오 인코더 (20) 는 픽처를 동일하게 사이징된 비디오 블록들로 파티셔닝할 수도 있다. 비디오 블록은 샘플들의 2차원 어레이일 수도 있다. 코딩 파라미터들은 비디오 데이터의 모든 블록에 대한 코딩 옵션 (예를 들어, 코딩 모드) 을 정의할 수도 있다. 코딩 옵션은 원하는 레이트-왜곡 성능을 달성하기 위해 선택될 수도 있다.
일부 예들에 있어서, 비디오 인코더 (20) 는 픽처를 복수의 슬라이스들로 파티셔닝할 수도 있다. 슬라이스들의 각각은, 이미지 또는 프레임에서의 영역들의 나머지로부터의 정보없이 독립적으로 디코딩될 수 있는 이미지 (예를 들어, 프레임) 에서의 공간적으로 별개의 영역을 포함할 수도 있다. 각각의 이미지 또는 비디오 프레임은 단일 슬라이스에서 인코딩될 수도 있거나 또는 각각의 이미지 또는 비디오 프레임은 수개의 슬라이스들에서 인코딩될 수도 있다. DSC 에 있어서, 각각의 슬라이스를 인코딩하도록 할당된 타겟 비트들은 실질적으로 일정할 수도 있다. 픽처에 대해 인코딩 동작을 수행하는 것의 부분으로서, 비디오 인코더 (20) 는 픽처의 각각의 슬라이스에 대해 인코딩 동작들을 수행할 수도 있다. 비디오 인코더 (20) 가 슬라이스에 대해 인코딩 동작을 수행할 경우, 비디오 인코더 (20) 는 슬라이스와 연관된 인코딩된 데이터를 생성할 수도 있다. 슬라이스와 연관된 인코딩된 데이터는 "코딩된 슬라이스" 로서 지칭될 수도 있다.
DSC 비디오 인코더
도 2 는 본 개시에서 설명된 양태들에 따른 기법들을 구현할 수도 있는 비디오 인코더 (20) 의 일 예를 예시한 블록 다이어그램이다. 비디오 인코더 (20) 는 본 개시의 기법들 중 일부 또는 모두를 수행하도록 구성될 수도 있다. 일부 예들에 있어서, 본 개시에서 설명된 기법들은 비디오 인코더 (20) 의 다양한 컴포넌트들 중에서 공유될 수도 있다. 일부 예들에 있어서, 부가적으로 또는 대안적으로, 프로세서 (도시 안됨) 가 본 개시에서 설명된 기법들 중 일부 또는 모두를 수행하도록 구성될 수도 있다.
설명의 목적들로, 본 개시는 DSC 코딩의 맥락에서 비디오 인코더 (20) 를 설명한다. 하지만, 본 개시의 기법들은 다른 코딩 표준들 또는 방법들에 적용가능할 수도 있다.
도 2 의 예에 있어서, 비디오 인코더 (20) 는 복수의 기능 컴포넌트들을 포함한다. 비디오 인코더 (20) 의 기능 컴포넌트들은 컬러 공간 컨버터 (105), 버퍼 (110), 평탄도 검출기 (115), 레이트 제어기 (120), 예측기, 양자화기, 및 복원기 (PQR) 컴포넌트 (125), 왜곡 회로 (188), 라인 버퍼 (130), 인덱싱된 컬러 이력 (135), 엔트로피 인코더 (140), 서브스트림 멀티플렉서 (145), 및 레이트 버퍼 (150) 를 포함한다. 다른 예들에 있어서, 비디오 인코더 (20) 는 더 많거나, 더 적거나, 또는 상이한 기능 컴포넌트들을 포함할 수도 있다.
컬러 공간 컨버터 (105) 는 소스 비디오 데이터 (13) 의 입력 컬러 공간을, 특정 코딩 구현에서 사용되는 컬러 공간으로 컨버팅할 수도 있다. 예를 들어, 소스 비디오 데이터 (13) 의 컬러 공간은 적색, 녹색, 및 청색 (RGB) 컬러 공간에 있을 수도 있는 한편, 코딩은 루미넌스 (Y), 크로미넌스 녹색 (Cg) 및 크로미넌스 주황색 Co (YCoCg) 컬러 공간에서 구현될 수도 있다. 컬러 공간 컨버젼은 비디오 데이터에 대한 시프트들 및 가산들을 포함한 방법(들)에 의해 수행될 수도 있다. 다른 컬러 공간들에서의 입력 비디오 데이터가 프로세싱될 수도 있고 다른 컬러 공간들로의 컨버젼들이 또한 수행될 수도 있음이 주목된다. 일부 구현들에 있어서, 비디오 데이터는, 입력 비디오 데이터의 컬러 공간이 특정 코딩 모드에 대한 정확한 포맷에 이미 있는 경우 컬러 공간 컨버터 (105) 를 바이패스할 수도 있다. 예를 들어, 입력 컬러 공간이 RGB 이면, 비디오 데이터는, RGB 또는 루마-크로마 표현에서 비디오 데이터를 인코딩할 수도 있는 중간점 예측 모드에 의한 코딩을 위해 컬러 공간 컨버터 (105) 를 바이패스할 수도 있다.
관련 양태들에 있어서, 비디오 인코더 (20) 는 버퍼 (110), 라인 버퍼 (130), 및/또는 레이트 버퍼 (150) 를 포함할 수도 있다. 예를 들어, 버퍼 (110) 는 비디오 인코더 (20) 의 다른 부분들에 의한 그 사용 전에 컬러 공간 컨버팅된 비디오 데이터를 보유할 수도 있다. 다른 예에 있어서, 비디오 데이터는 RGB 컬러 공간에 저장될 수도 있고, 컬러 공간 컨버젼은 필요할 때 수행될 수도 있는데, 왜냐하면 컬러 공간 컨버팅된 데이터는 더 많은 비트들을 요구할 수도 있기 때문이다.
레이트 버퍼 (150) 는 비디오 인코더 (20) 에서의 레이트 제어 메커니즘의 부분으로서 기능할 수도 있으며, 이는 레이트 제어기 (120) 와 관련하여 하기에서 더 상세히 설명될 것이다. 각각의 블록을 인코딩하는데 쓴 비트들은 블록의 본성에 기초하여 매우 실질적으로 변할 수 있다. 레이트 버퍼 (150) 는 압축된 비디오에서의 레이트 변동들을 평활화할 수 있다. 일부 실시형태들에 있어서, 비트들이 일정 비트 레이트에서 버퍼로부터 취해지는 일정 비트 레이트 (CBR) 버퍼 모델이 채용된다. CBR 버퍼 모델에 있어서, 비디오 인코더 (20) 가 비트스트림에 너무 많은 비트들을 부가하면, 레이트 버퍼 (150) 는 오버플로우할 수도 있다. 한편, 비디오 인코더 (20) 는 레이트 버퍼 (150) 의 언더플로우를 방지하기 위하여 충분한 비트들을 부가해야 한다.
비디오 디코더 측 상에서, 비트들은 일정 비트 레이트에서 비디오 디코더 (30) (하기에서 더 상세히 설명되는 도 5 참조) 의 레이트 버퍼 (155) 에 부가될 수도 있고, 비디오 디코더 (30) 는 각각의 블록에 대한 가변 수들의 비트들을 제거할 수도 있다. 적절한 디코딩을 보장하기 위해, 비디오 디코더 (30) 의 레이트 버퍼 (155) 는 압축된 비트 스트림의 디코딩 동안 "언더플로우" 또는 "오버플로우"하지 않아야 한다.
일부 실시형태들에 있어서, 버퍼 충만도 (BF) 는 버퍼에서의 현재 비트들의 수를 나타내는 값 BufferCurrentSize 및 레이트 버퍼 (150) 의 사이즈, 즉, 임의의 시점에서 레이트 버퍼 (150) 에 저장될 수 있는 비트들의 최대 수를 나타내는 값 BufferMaxSize 에 기초하여 정의될 수 있다. 하기의 식 1 이 BF 를 계산하기 위해 사용될 수도 있다:
Figure pct00001
평탄도 검출기 (115) 는 비디오 데이터에서의 복잡한 (즉, 비-평탄한) 영역들로부터 비디오 데이터에서의 평탄한 (즉, 간단한 또는 균일한) 영역들로의 변화들을 검출할 수 있다. 용어들 "복잡한" 및 "평탄한" 은 비디오 인코더 (20) 가 비디오 데이터의 개별 영역들을 인코딩하는 난이도를 일반적으로 지칭하도록 본 명세서에서 사용될 것이다. 따라서, 본 명세서에서 사용된 바와 같은 용어 '복잡한' 은 일반적으로, 비디오 인코더 (20) 가 인코딩하기에 복잡한 것으로서 비디오 데이터의 영역을 기술하며, 예를 들어, 텍스처링된 비디오 데이터, 높은 공간 주파수, 및/또는 인코딩하기에 복잡한 다른 특징들을 포함할 수도 있다. 본 명세서에서 사용된 바와 같은 용어 '평탄한' 은 일반적으로, 비디오 인코더 (20) 가 인코딩하기에 간단한 것으로서 비디오 데이터의 영역을 기술하며, 예를 들어, 비디오 데이터에서의 평활한 구배, 낮은 공간 주파수, 및/또는 인코딩하기에 간단한 다른 특징들을 포함할 수도 있다. 복잡한 영역과 평탄한 영역 간의 천이들은 인코딩된 비디오 데이터 (16) 에서의 양자화 아티팩트들을 감소하도록 비디오 인코더 (20) 에 의해 사용될 수도 있다. 구체적으로, 레이트 제어기 (120) 및 PQR 컴포넌트 (125) 는, 복잡한 영역으로부터 평탄한 영역으로의 천이들이 식별될 경우 그러한 양자화 아티팩트들을 감소할 수 있다.
레이트 제어기 (120) 는 코딩 파라미터들의 세트, 예를 들어, QP 를 결정한다. QP 는, 레이트 버퍼 (150) 가 오버플로우 또는 언더플로우하지 않음을 보장하는 타겟 비트레이트에 대한 픽처 품질을 최대화하기 위하여 레이트 버퍼 (150) 의 버퍼 충만도 및 비디오 데이터의 이미지 활성도에 기초하여 레이트 제어기 (120) 에 의해 조정될 수도 있다. 레이트 제어기 (120) 는 또한, 최적의 레이트-왜곡 성능을 달성하기 위하여 비디오 데이터의 각각의 블록에 대한 특정 코딩 옵션 (예를 들어, 특정 모드) 을 선택한다. 레이트 제어기 (120) 는, 비트-레이트 제약을 만족시키도록, 즉, 전체 실제 코딩 레이트가 타겟 비트 레이트 내에 맞도록, 복원된 이미지들의 왜곡을 최소화한다. 따라서, 레이트 제어기 (120) 의 하나의 목적은, 레이트-왜곡 성능을 최대화하면서 레이트에 대한 순시 및 평균 제약들을 만족시키기 위해 QP(들), 코딩 모드(들) 등과 같은 코딩 파라미터들의 세트를 결정하는 것이다. PQR 컴포넌트 (125) 는 레이트 제어 기법에 기초하여 복수의 후보 코딩 모드들 중으로부터 각각의 블록에 대한 코딩 모드를 선택할 수도 있다. 레이트 제어 기법은 버퍼 모델을 활용하는 것을 수반할 수도 있고, 코덱의 설계 고려사항은 레이트 버퍼 (150) 가 언더플로우 (예를 들어, 버퍼에 제로 미만의 비트들) 또는 오버플로우 (예를 들어, 버퍼 사이즈가 설정된/정의된 최대 사이즈를 지나 증가함) 의 상태에 있지 않도록 확실히 하는 것을 포함할 수도 있다. 일 실시형태에 있어서, 레이트 제어기 (120) 는, 레이트와 왜곡 간의 트레이드-오프에 기초하여 각각의 블록에 대한 최상의 코딩 모드, 예를 들어, 비용 D+λ·R 의 관점에서의 저비용 코딩 옵션을 선택하도록 설계될 수도 있다. 여기서, 파라미터 R 은, 현재 블록에 대해 인코더 (20) 와 디코더 (30) 사이에서 송신된 비트들의 총 수일 수도 있는 현재 블록의 비트레이트를 지칭하고; 파라미터 D 는, 원래의 블록과 복원된 블록 (또는 인코딩된 블록) 간의 차이일 수도 있는 현재 블록의 왜곡을 지칭한다. 파라미터 D 는 다수의 상이한 방식들로, 예를 들어, 원래의 블록과 복원된 블록 간의 절대 차들의 합 (SAD) (예를 들어, 식 4, 식 6, 식 8, 식 10, 및 식 12), 제곱 에러의 합 (예를 들어, 식 5, 식 7, 식 9, 식 11, 및 식 13) 등등으로서 산출될 수도 있다. 파라미터 λ, 또는 람다 값은 파라미터들 R 및 D 사이의 트레이드-오프일 수도 있는 라그랑주 파라미터이다. 라그랑주 파라미터 λ 는 다양한 방식들로 계산될 수도 있고, λ 계산에 대한 선택된 접근법은 맥락 및 어플리케이션에 의존하여 변할 수도 있음이 주목된다. 예를 들어, 라그랑주 파라미터 λ 는 다수의 팩터들, 예컨대, 레이트 버퍼 (150, 155) 상태 (즉, 버퍼 충만도), 블록의 제 1 라인 또는 비-제 1 라인 조건들 등에 기초하여 산출될 수도 있다. 심지어 슬라이스의 비-제 1 라인들 조건에 대해, 공간 예측 모드가 다수의 타입들의 이미지 컨텐츠에 대해 선택될 수도 있다.
PQR 컴포넌트 (125) 는 비디오 인코더 (20) 의 적어도 3개의 인코딩 동작들을 수행할 수도 있다. PQR 컴포넌트 (125) 는 다수의 상이한 모드들에서 예측을 수행할 수도 있다. 하나의 예시적인 예측 모드는 메디안 적응적 예측의 수정된 버전이다. 메디안 적응적 예측은 무손실 JPEG 표준 (JPEG-LS) 에 의해 구현될 수도 있다. PQR 컴포넌트 (125) 에 의해 수행될 수도 있는 메디안 적응적 예측의 수정된 버전은 3개의 연속적인 샘플 값들의 병렬 예측에 대해 허용할 수도 있다. 다른 예시적인 예측 모드는 블록 예측이다. 블록 예측에 있어서, 샘플들은 라인 위에서 또는 동일 라인의 좌측에서 이전에 복원된 픽셀들로부터 예측된다. 일부 실시형태들에 있어서, 비디오 인코더 (20) 및 비디오 디코더 (30) 양자 모두는 블록 예측 이용들을 결정하기 위해 복원된 픽셀들에 대해 동일한 탐색을 수행할 수도 있고, 따라서, 어떠한 비트들도 블록 예측 모드에서 전송될 필요는 없다. 다른 실시형태들에 있어서, 비디오 인코더 (20) 는 비트스트림에서 탐색을 수행하고 블록 예측 벡터들을 시그널링할 수도 있어서, 비디오 디코더 (30) 는 별도의 탐색을 수행할 필요가 없다. 컴포넌트 범위의 중간점을 이용하여 샘플들이 예측되는 중간점 예측 모드가 또한 구현될 수도 있다. 중간점 예측 모드는, 심지어 최악의 경우 샘플에 있어서도 압축된 비디오에 대해 요구된 비트들의 수의 바운딩을 가능케 할 수도 있다. PQR 컴포넌트 (125) 는 본 개시의 방법들 및 기법들을 수행함으로써 비디오 데이터의 블록 (또는 예측의 임의의 다른 유닛) 을 예측 (예를 들어, 인코딩 또는 디코딩) 하도록 구성될 수도 있다.
PQR 컴포넌트 (125) 는 또한 양자화를 수행한다. 예를 들어, 양자화는, 시프터를 이용하여 구현될 수도 있는 2의 거듭제곱 양자화기를 통해 수행될 수도 있다. 다른 양자화 기법들이 2의 거듭제곱 양자화기 대신 구현될 수도 있음이 주목된다. PQR 컴포넌트 (125) 에 의해 수행된 양자화는 레이트 제어기 (120) 에 의해 결정된 QP 에 기초할 수도 있다. 마지막으로, PQR 컴포넌트 (125) 는 또한, 예측된 값에 역양자화된 잔차 (residual) 를 부가하는 것 및 그 결과가 샘플 값들의 유효 범위 밖에 떨어지지 않음을 보장하는 것을 포함한 복원을 수행한다. 본 명세서에서, 용어 "잔차" 는 "레지듀" 와 상호대체가능하게 사용될 수도 있다.
PQR 컴포넌트 (125) 에 의해 수행된 예측, 양자화, 및 복원에 대한 상기 설명된 예시적인 접근법들은 단지 예시적일 뿐이고 다른 접근법들이 구현될 수도 있음이 주목된다. PQR 컴포넌트 (125) 는 예측, 양자화, 및/또는 복원을 수행하기 위한 서브컴포넌트(들)를 포함할 수도 있음이 또한 주목된다. 예측, 양자화, 및/또는 복원은 PQR 컴포넌트 (125) 대신 수개의 별도의 인코더 컴포넌트들에 의해 수행될 수도 있음이 추가로 주목된다.
도 2 를 여전히 참조하면, PQR 컴포넌트 (125) 는 왜곡 회로 (188) 를 포함할 수도 있다. 왜곡 회로는 하기에서 설명되는 기능들과 관련된 명령들을 실행하기 위한 컴퓨팅 디바이스에 대응할 수도 있다. 왜곡 회로 (188) 는, 집합적으로, 통신 및 태스크들의 실행을 관리하도록 구성되는 프로세서 예를 들어 비디오 프로세싱 유닛 또는 일반 프로세싱 유닛 및 메모리를 포함할 수도 있다. 왜곡 회로 (188) 는 비디오 데이터의 입력을 수신할 수도 있고, 비디오 데이터는 다양한 컬러 공간들을 갖는다. 예를 들어, 입력 비디오 데이터의 컬러 공간은 RGB 또는 RCT 컬러 공간, 또는 YCbCr, YCoCg, 또는 무손실 YCoCg-R 과 같은 루마-크로마 표현일 수도 있다. 왜곡 회로 (188) 는 입력 비디오 데이터에 적용된 바와 같은 다수의 코딩 모드들의 왜곡을 계산할 수도 있다. 왜곡 회로 (188) 는 계산된 왜곡 및 비용 함수에 따라 입력 비디오 데이터의 특정 슬라이스 또는 블록에 대해 사용될 최적의 코딩 모드를 결정하고, 이 정보를 PQR 컴포넌트 (125) 에 제공할 수도 있다. 비용 함수는 디코더에서의 레이트-왜곡 성능을 제어한다. 예를 들어, 상대적으로 최소의 왜곡을 생성하는 코딩 모드는, 레이트가 너무 높으면 버퍼가 오버플로우하게 할 수도 있다. 대안적으로, 상대적으로 높은 레이트가 용인가능하지만 이미지의 품질을 희생할 수도 있다. 따라서, 왜곡 회로 (188) 는, 이미지 품질 및 버퍼 레이트들이 용인가능 레벨들로 유지되도록, 레이트-제어 기법을 사용하여 수신된 이미지 데이터의 모든 블록 또는 슬라이스에 대해 최적의 코딩 모드를 결정하는 이점을 제공한다.
라인 버퍼 (130) 는 PQR 컴포넌트 (125) 로부터의 출력을 보유하여, PQR 컴포넌트 (125) 및 인덱싱된 컬러 이력 (135) 은 버퍼링된 비디오 데이터를 사용할 수 있다. 인덱싱된 컬러 이력 (135) 은 최근 사용된 픽셀 값들을 저장한다. 이들 최근 사용된 픽셀 값들은 전용 신택스를 통해 비디오 인코더 (20) 에 의해 직접 참조될 수 있다.
엔트로피 인코더 (140) 는, 평탄도 검출기 (115) 에 의해 식별된 평탄도 천이들 그리고 인덱싱된 컬러 이력 (135) 에 기초하여 PQR 컴포넌트 (125) 로부터 수신된 예측 잔차들 및 임의의 다른 데이터 (예를 들어, PQR 컴포넌트 (125) 에 의해 식별된 인덱스들) 를 인코딩한다. 일부 예들에 있어서, 엔트로피 인코더 (140) 는 서브스트림 인코더 당 클록 당 3개의 샘플들을 인코딩할 수도 있다. 서브스트림 멀티플렉서 (145) 는 헤더리스 (headerless) 패킷 멀티플렉싱 방식에 기초하여 비트스트림을 멀티플렉싱할 수도 있다. 이는 비디오 디코더 (30) 로 하여금 3개의 엔트로피 디코더들을 병렬로 구동하게 하여, 클록당 3개의 픽셀들의 디코딩을 용이하게 한다. 서브스트림 멀티플렉서 (145) 는 패킷 순서를 최적화할 수도 있어서, 패킷들이 비디오 디코더 (30) 에 의해 효율적으로 디코딩될 수 있게 한다. 클록 당 2의 거듭제곱 픽셀들 (예를 들어, 2 픽셀들/클록 또는 4 픽셀들/클록) 의 디코딩을 용이하게 할 수도 있는 엔트로피 코딩에 대한 상이한 접근법들이 구현될 수도 있음이 주목된다.
왜곡의 계산
특정 실시형태들에 있어서, 비디오 인코더 (20) 의 왜곡 회로 (188) 는 동일한 컬러 공간에서의 모든 코딩 모드들의 왜곡을 계산할 수도 있다. 예를 들어, 왜곡 회로는 적절한 컬러 변환을 적용함으로써 동일한 컬러 공간에서의 모든 코딩 모드들의 왜곡을 계산할 수도 있다. 적절한 컬러 변환은 상기에 개시된 다양한 컬러 변환들을 지칭할 수도 있다. 컬러 변환의 예들은 입력 RGB 신호를 루마-크로마 표현으로 컨버팅하는 것, 및 루마-크로마 표현을 RGB 신호로 컨버팅하는 것을 포함한다. 일 구현에 있어서, 왜곡 회로 (188) 는 레지듀 블록들 (340a-n) 의 세트에 대한 컬러 변환을 수행할 수도 있고, 여기서, 레지듀 블록들 (340a-n) 은 원래의 블록들 (310, 315) 과 복원된 블록들 (330) 또는 인코딩된 블록들 간의 차이를 나타낸다. 예를 들어, 원래의 블록들 (310, 315) 은, 인코딩 이전에 다수의 블록들 또는 슬라이스들로 파티셔닝되었던 입력 프레임의 파티셔닝된 표현일 수도 있다. 복원된 블록들 (330) 은, 복수의 코딩 모드들 (325) 를 사용하여 인코딩된 다수의 상이한 컬러 공간들에서의 원래의 블록들 중 하나를 나타낼 수도 있다. 다른 구현에 있어서, 왜곡 회로 (188) 는 레지듀 블록들 (340a-n) 을 계산하기 전에 원래의 블록들 (310, 315) 및 복원된 블록들 (330) 양자 모두에 대한 컬러 변환을 수행할 수도 있다.
도 3 은 도 2 의 왜곡 회로 (188) 의 예시적인 구현을 예시한다. 왜곡 회로는 복수의 기능 컴포넌트들을 포함한다. 왜곡 회로의 기능 컴포넌트들은 블록 인코더 (320), 차이 계산 (335a-n) 컴포넌트들, 및 왜곡 계산 (345a-n) 컴포넌트들을 포함한다. 다른 예들에 있어서, 왜곡 회로 (188) 는 더 많거나, 더 적거나, 또는 상이한 기능 컴포넌트들을 포함할 수도 있다.
도 3 을 여전히 참조하면, 왜곡 회로 (188) 는 버퍼 (110) 로부터의 소스 비디오 데이터 (13) 뿐 아니라 컬러 공간 컨버터 (105) 로부터 출력된 비디오 데이터를 수신할 수도 있다. 소스 비디오 데이터 (13) 의 포맷이 RGB 컬러 공간에 있을 경우, 컬러 공간 컨버터 (105) 는 선형 컬러 변환을 이용하여 데이터를 역상관시킬 수도 있다. 컬러 공간 컨버터 (105) 는 다양한 컬러 변환들을 사용할 수도 있다. 예를 들어, RGB 를 루마-크로마 표현들 (예를 들어, YCbCr, YCoCg, 또는 JPEG 에서 사용된 RCT) 로 컨버팅하는 변환들. 또한, YCoCg 에 대한 RGB 의 손실 (YCoCg) 버전 및 무손실 (YCoCg-R) 버전을 사용하는 컬러 변환들. 일 구현에 있어서, 컬러 공간 컨버터 (105) 는, 컬러 변환이 임의의 손실을 도입하지 않도록, 소스 비디오 데이터 (13) 컬러 공간의 가역 버전 (예를 들어, YCoCg-R) 과 호환가능하다. 가역 변환은 크로마 컴포넌트들에 대한 데이터의 추가 비트를 요구할 수 있다. 예를 들어, 8 비트 RGB 에 대해, 루마 컴포넌트 또는 채널은 8 비트들을 요구하고, 크로마 컴포넌트들 (Co 및 Cg) 의 각각은 9 비트들을 요구한다. YCoCg-R 에 대한 순방향 컬러 변환은 다음과 같이 주어질 수도 있다:
Figure pct00002
YCoCg-R 에 대한 역방향 컬러 변환은 다음과 같이 주어질 수도 있다:
Figure pct00003
상기 예시적인 식들에 있어서, RGB 및 YCoCg 컬러 공간들 각각은 3개의 컬러 평면들 (즉, R, G, 및 B; 또는 Y, Co, 및 Cg) 을 포함한다. 비디오 인코더 (20) 에 있어서, 각각의 모드의 레이트 왜곡 ("RD") 성능은 YCoCg 컬러 공간에서 또는 RGB 컬러 공간에서 평가될 수 있다. 예를 들어, 비디오 인코더 (20) 는 패턴, MPP, 및 MPP 폴백 모드들을 사용하여 RGB 컬러 공간에서의 RD 성능을 평가하는 한편, 루마-크로마 컬러 공간에서의 RD 성능은 다른 모드들을 사용할 수도 있다. 비디오 인코더 (20) 로부터 수신된 소스 비디오 데이터 (13) 및 컬러 공간 컨버터 (105) 로부터 수신된 컬러 변환된 데이터 양자 모두는 블록들 또는 슬라이스들로 파티셔닝될 수도 있다. 일 실시형태에 있어서, 소스 비디오 데이터 (13) 는 왜곡 회로 (188) 에 의한 수신 이전 임의의 포인트에서, 예를 들어, 비디오 소스 (18) 에서 파티셔닝될 수도 있다. 다른 실시형태에 있어서, 왜곡 회로 (188) 는 소스 비디오 데이터 (13) 를 파티셔닝하여 RGB 블록들 (310) 및 YCoCg 블록들 (315) 을 생성할 수도 있다.
도 3 을 여전히 참조하면, 왜곡 회로 (188) 는 또한 블록 인코더 (320) 를 포함할 수도 있다. 블록 인코더 (320) 는, 집합적으로, 명령들을 저장하고 태스크들을 실행하도록 구성되는 프로세서 예를 들어 비디오 프로세싱 유닛 또는 일반 프로세싱 유닛 및 메모리를 포함할 수도 있다. 블록 인코더 (320) 는 다수의 코딩 모드들 (325) (본 명세서에서 "모드 1", "모드 2", 또는 "모드 n" 으로서 또한 지칭됨) 을 각각의 블록에 그 컬러 공간에 기초하여 적용할 수도 있다. 예를 들어, 각각의 블록 (310, 315) 에 대한 코딩 모드들 (325) 은 변환 모드 (예를 들어, DCT, 하다마드), 블록 예측 모드, 차동 펄스 코드 변조 (DPCM) 모드, 패턴 모드, 중간점 예측 (MPP) 모드, 및/또는 중간점 예측 폴 백 (MPPF) 모드를 포함할 수 있다. 블록 인코더 (320) 는 RGB 블록들 (310) 및 YCoCg 블록들 (315) 을 수신하고, 그 다수의 코딩 모드들 (325) 의 임의의 코딩 모드로 각각의 블록을 인코딩할 수도 있다. 일 실시형태에 있어서, 블록 인코더 (320) 는 각각의 수신된 블록을, 각각의 수신된 블록과 연관된 컬러 공간에 적절한 코딩 모드들의 모두로 인코딩한다. 블록 인코더 (320) 는 다수의 복원된 블록들 (330) 을 출력할 수도 있고, 복원된 블록들 (330) 은 그 다수의 모드들을 사용하여 인코딩된 수신된 블록들 (310, 315) 중 하나를 나타낸다. 예를 들어, RGB 블록들 (310) 의 블록 1 은 코딩 모드들 (325) 로부터의 중간점 예측 모드 및 변환 모드를 사용하여 인코딩될 수도 있다. 블록 인코더 (320) 는 블록 1 에 대응하는 2개의 블록들을 출력할 수도 있고, 각각은 중간점 예측 모드 또는 변환 모드 중 어느 하나에 의해 인코딩되고, 각각의 인코딩된 블록은 RGB 블록들 (310) 의 블록 1 의 인코딩된 표현이다. 블록 인코더 (320) 는 그 다수의 복원된 블록들 (330) 을 생성하여, 왜곡 회로 (188) 는 수신된 바와 같은 RGB 블록들 (310) 및 YCoCg 블록들 (315) 양자 모두와 각각의 모드에 대한 복원된 블록들 (330) 간의 차이를 계산할 수 있다.
도 3 을 여전히 참조하면, 왜곡 회로 (188) 는 차이 계산 (335a-n) 컴포넌트들을 더 포함할 수도 있다. 차이 계산 (335a-n) 컴포넌트들은, 집합적으로, 명령들을 저장하고 태스크들을 실행하도록 구성되는 프로세서 예를 들어 비디오 프로세싱 유닛 또는 일반 프로세싱 유닛 및 메모리를 포함할 수도 있다. 차이 계산 (335a-n) 컴포넌트들은 복원된 블록들 (330) 과 그 대응하는 원래의 블록들 (310, 315) 간의 차이를 계산할 수도 있다. 예를 들어, 블록 인코더 (320) 는 코딩 모드들 (325) 로부터의 중간점 예측 모드 및 변환 모드를 사용하여 RGB 블록들 (310) 의 블록 1 을 인코딩할 수도 있다. 블록 인코더 (320) 는 블록 1 에 대응하는 2개의 블록들을 출력할 수도 있고, 각각은 중간점 예측 모드 또는 변환 모드 중 어느 하나에 의해 인코딩되고, 각각의 인코딩된 블록은 RGB 블록들 (310) 의 블록 1 의 인코딩된 표현이다. 차이 계산 (335a) 모듈은 RGB 블록들 (310) 의 블록 1 과 복원된 블록들 (330) 의 대응하는 인코딩된 블록 모드 1 (즉, 중간점 예측 모드에 의해 인코딩됨) 간의 차이를 계산할 수도 있다. 차이 계산 (335b) 모듈은 RGB 블록들 (310) 의 블록 1 과 복원된 블록들 (330) 의 대응하는 인코딩된 블록 모드 2 (즉, 변환 모드에 의해 인코딩됨) 간의 차이를 계산할 수도 있다. 차이 계산 (335a-n) 은 레지듀 블록들 (340a-n) 을 생성할 수도 있고, 여기서, 레지듀 블록들 (340a-n) 은 RGB 블록들 (310) 및 YCoCg 블록들 (315) 과 그 대응하는 복원된 블록들 (330) 간의 차이를 나타낸다.
도 3 을 여전히 참조하면, 왜곡 회로 (188) 는 왜곡 계산 (345a-n) 을 수행할 수도 있다. 왜곡 계산 (345a-n) 은 각각의 레지듀 블록 (340a-n) 의 왜곡을 계산할 수도 있다. 왜곡 계산 (345a-n) 은, 레지듀 블록들 (340a-n) 의 왜곡을 계산하기 전에 수신된 레지듀 블록들 (340a-n) 을 균일한 컬러 공간으로 컨버팅하는 컬러 공간 변환 기능을 포함할 수도 있다. 왜곡 회로 (188) 는 계산된 왜곡에 기초하여 특정 블록에 대한 최상의 모드를 결정하고, 최상의 모드로 인코딩된 블록을 PQR 컴포넌트 (125) 에 출력할 수도 있다. 예를 들어, 왜곡 회로 (188) 로 입력되는 소스 비디오 데이터 (13) 가 RGB 컬러 공간에 있으면, 블록 인코더 (320) 는 중간점 예측 모드 양자를 사용하여 RGB 컬러 공간 (310) 의 블록 1 을 인코딩하고, 이에 의해, RGB 컬러 공간의 블록 1 의 하나의 인코딩된 버전을 생성할 수도 있다. 하지만, 복수의 코딩 모드들 (325) 의 특정 코딩 모드들은 오직 루마-크로마 컬러 공간에서의 비디오 블록들만을 인코딩할 수 있다. 따라서, 컬러 공간 컨버터 (105) 는 소스 비디오 데이터 (13) 의 컬러 공간을, RGB 컬러 공간으로부터 YCoCg 와 같은 루마-크로마 표현으로 컨버팅할 수도 있다. 블록 인코더 (320) 는 변환 모드 및 패턴 모드 양자를 사용하여 YCoCg 컬러 공간 (315) 의 블록 1 을 인코딩하고, 이에 의해, YCoCg 컬러 공간의 블록 1 의 2개의 인코딩된 버전을 생성할 수도 있다. 차이 계산 (335a-n) 은 각각의 모드에서 블록 1 에 대한 레지듀 블록들 (340a-n) 을 생성할 수도 있다. 왜곡 계산 (345a-n) 은 RGB 컬러 공간에서의 레지듀 블록들 (340a-n) 또는 YCoCg 컬러 공간에서의 레지듀 블록들 (340a-n) 중 어느 하나에 대해 컬러 공간 변환 기능을 수행할 수도 있어서, 블록 1 에 대해 사용된 각각의 모드의 왜곡이 동일한 컬러 공간에서 계산될 수 있다.
일 예에 있어서, 모든 모드들에 대해, 왜곡 회로 (188) 는 RGB 컬러 공간에서 또는 루마-크로마 컬러 공간에서 왜곡 계산 (345a-n) 을 수행할 수도 있고, 여기서, 왜곡 계산은 SAD (절대 차이들의 합) 또는 SSE (제곱 에러의 합) 를 포함한다. 예를 들어, YCoCg-R 변환이 왜곡을 계산하기 위한 컬러 공간으로서 사용될 경우, 크로마 컴포넌트들의 왜곡은 하나의 추가 비트를 설명하기 위해 정규화될 수도 있다. 예를 들어, YCoCg-R 은 루마 컴포넌트 당 8 비트 그리고 크로마 컴포넌트들의 각각에 대해 9 비트들을 사용할 수도 있다. YCoCg 컬러 공간에서의 SAD 는 다음과 같이 식 4 에서 계산될 수도 있다:
Figure pct00004
여기서:
SAD(Y): 블록의 루마 컴포넌트들에 대한 절대 차이들의 합,
SAD(Co): 블록의 Co 크로마 컴포넌트들에 대한 절대 차이들의 합,
SAD(Cg): 블록의 Cg 크로마 컴포넌트들에 대한 절대 차이들의 합, 및
offset: 가장 가까운 정수로 라운딩하기 위해 사용될 수도 있는 옵션적인 값, 예를 들어, offset 은 값 0 또는 1 일 수도 있다.
루마 컴포넌트 (Y) 또는 루마 평면, 및 크로마 컴포넌트들 (Co, Cg) 또는 크로마 평면들은 분석되는 블록 또는 슬라이스에서의 모든 픽셀에 대한 루마 및 크로마 값들을 나타냄을 유의한다. 예를 들어, 16개 픽셀들을 포함하는 블록에 식 4 를 적용하는 것은 루마 값들의 16개 샘플들, Co 값들의 16개 샘플들, 및 Cg 값들의 16개 샘플들의 각각에 대한 SAD 의 계산을 발생시킬 것이다. 결과적인 SADYCoCg 값은, 각각의 컴포넌트에서의 하나의 여분의 비트를 설명하기 위해 크로마 컴포넌트들을 효과적으로 정규화하도록 우측으로 1 만큼 시프트된다.
SSE 가 왜곡을 계산하기 위한 메트릭으로서 사용될 경우, 식 5 가 사용될 수도 있다:
Figure pct00005
여기서:
SSE(Y): 블록의 루마 컴포넌트들에 대한 제곱 에러의 합,
SSE(Co): 블록의 Co 크로마 컴포넌트들에 대한 제곱 에러의 합,
SSE(Cg): 블록의 Cg 크로마 컴포넌트들에 대한 제곱 에러의 합, 및
offset: 가장 가까운 정수로 라운딩하기 위해 사용될 수도 있는 옵션적인 값, 예를 들어, offset 은 값 0 또는 1 일 수도 있다.
루마 컴포넌트 (Y) 또는 루마 평면, 및 크로마 컴포넌트들 (Co, Cg) 또는 크로마 평면들은 분석되는 블록 또는 슬라이스에서의 모든 픽셀에 대한 루마 및 크로마 값들을 나타냄을 유의한다. 예를 들어, 16개 픽셀들을 포함하는 블록에 식 5 를 적용하는 것은 루마 값들의 16개 샘플들, Co 값들의 16개 샘플들, 및 Cg 값들의 16개 샘플들의 각각에 대한 SSE 의 계산을 발생시킬 것이다. 결과적인 SSEYCoCg 값은, 각각의 컴포넌트에서의 하나의 여분의 비트를 설명하기 위해 크로마 컴포넌트들을 효과적으로 정규화하도록 우측으로 1 만큼 시프트된다.
대안적으로, 왜곡 회로 (188) 는 인간 콘트라스트 시각적 감도를 효과적으로 고려하기 위해 YCoCg 컬러 공간에서의 각각의 컬러 평면에 가중을 적용할 수도 있다. 인간 시력이 크로미넌스보다 루미넌스에 더 민감할 수 있기 때문에, 왜곡 회로 (188) 는 루마 컴포넌트에 더 큰 가중치를, 그리고 루마 컴포넌트에 비해 크로마 컴포넌트들에 더 작은 가중치들을 적용할 수도 있다. 예를 들어, SAD 의 계산은 다음과 같다:
Figure pct00006
여기서, WY, WCo, 및 WCg 는 개별 루마 및 크로마 컴포넌트들에 적용된 가중치들이다. 유사한 시각적 가중치들이, SSE 가 왜곡 메트릭으로서 사용될 경우에 사용될 수 있다:
Figure pct00007
예를 들어, 왜곡 계산들 (345a-n) 에 있어서 레지듀 블록 (340a-n) 에 컬러 변환을 적용하는 대신, 왜곡 회로 (188) 는 식 2 및 식 3 의 컬러 변환 매트릭스로부터 가중치들을 도출할 수도 있고, 각각의 루마 및 크로마 컴포넌트에서의 왜곡은 왜곡을 계산하기 위해 가중될 수 있다. 이러한 방법은 왜곡 계산 (345a-n) 에서 수행된 컬러 변환에 대한 산출들을 회피하고, 이에 의해 프로세스를 단순화한다. 왜곡 회로 (188) 는 변환 매트릭스에서의 값들의 3개의 컬럼들 각각의 컬럼 놈 (예를 들어,
Figure pct00008
놈 (유클리드 놈)) 에 기초하여 각각의 컴포넌트에 대한 가중치들을 계산할 수도 있다. 예를 들어, 코딩 모드들의 왜곡이 RGB 컬러 공간에서 계산될 경우, YCoCg 컬러 공간에서 동작하는 코딩 모드들의 왜곡은 식 3 의 변환 매트릭스를 사용하여 다음과 같이 식 8 및 식 9 중 어느 하나에서 계산된다:
Figure pct00009
여기서, 가중치들
Figure pct00010
은 역 변환 매트릭스 (YCoCg 대 RGB 로) 에서의 컬럼들의
Figure pct00011
놈을 나타낸다.
Figure pct00012
여기서, 가중치들 (3, 0.5, 0.75) 은 역 변환 매트릭스 (YCoCg 대 RGB 로) 에서의 개별 컬럼들의
Figure pct00013
놈의 제곱을 나타낸다. 더욱이, 부동소수점 계산들을 사용하는 대신, 고정소수점 계산들이 왜곡을 계산하는데 사용될 수도 있다. 예를 들어, 가중치들
Figure pct00014
은
Figure pct00015
와 같이 8 비트 분수 정밀도로 표현될 수 있다.
대안적으로, YCoCg 컬러 공간이 왜곡을 계산하기 위한 컬러 공간으로서 설정될 경우, 가중치들은 R, G 및 B 왜곡을 가중하기 위하여 순방향 변환 매트릭스의 컬럼들에 기초하여 도출될 수 있다. 예를 들어, SAD 는 다음과 같이 계산될 수도 있다:
Figure pct00016
여기서, WR, WG, 및 WB 는 개별 루마 및 크로마 컴포넌트들에 적용된 가중치들이다. 유사한 시각적 가중치들이, SSE 가 왜곡 메트릭으로서 사용될 경우에 사용될 수 있다:
Figure pct00017
R 컴포넌트 (R), G 컴포넌트 (G), 및 B 컴포넌트 (B) 는 분석되는 블록 또는 슬라이스에서의 모든 픽셀에 대한 적색, 녹색, 및 청색 값들을 나타냄을 유의한다. 예를 들어, 16개 픽셀들을 포함하는 블록에 식 10 및 식 11 을 적용하는 것은 적색 값들의 16개 샘플들, 녹색 값들의 16개 샘플들, 및 청색 값들의 16개 샘플들의 각각에 대한 SAD 및 SSE 의 계산을 발생시킬 것이다. 각각의 컴포넌트에 대한 가중치들은 순방향 변환 매트릭스에서의 값들의 3개의 컬럼들 각각의 컬럼 놈 (예를 들어,
Figure pct00018
놈 (유클리드 놈)) 에 기초하여 계산될 수도 있다. 예를 들어, 코딩 모드들의 왜곡이 YCoCg 컬러 공간에서 계산될 경우, RGB 컬러 공간에서 동작하는 코딩 모드들의 왜곡은 식 2 의 순방향 변환 매트릭스를 사용하여 다음과 같이 식 12 및 식 13 중 어느 하나에서 계산될 수도 있다:
Figure pct00019
여기서, 가중치들
Figure pct00020
은 순방향 변환 매트릭스 (RGB 대 YCoCg 로) 에서의 컬럼들의
Figure pct00021
놈을 나타낸다.
Figure pct00022
여기서, 가중치들
Figure pct00023
은 역 변환 매트릭스 (RGB 대 YCoCg 로) 에서의 개별 컬럼들의
Figure pct00024
놈의 제곱을 나타낸다. 더욱이, 부동소수점 계산들을 사용하는 대신, 고정소수점 계산들이 왜곡을 계산하는데 사용될 수도 있다.
상기 설명된 기법들 및 방법들은 RGB 대 YCoCg 로의 무손실 컬러 변환으로만 한정되지 않고, 이들은 임의의 선형 컬러 변환, 예를 들어, YCbCr, YCoCg 손실성 변환에 적용될 수 있다. 이러한 방식으로, 그 기법들은 다양한 코딩 모드들 (예를 들어, 모든 코딩 모드들) 에 대한 왜곡을 계산하기 위하여 동일한 컬러 공간을 사용할 수 있다. 동일한 컬러 공간을 사용하는 것은 계산을 더 효율적이게 하고 성능을 개선할 수 있다. 본 개시에서 설명된 예들 및 실시형태들은 실시형태에 의존하여 별도로 또는 조합하여 구현될 수도 있다. 그 예들 및 실시형태들의 특정 특징들은 생략되거나 변경될 수도 있고, 다른 특징들이 실시형태에 의존하여 그 예들 및 실시형태들에 추가될 수도 있다.
도 4 는 도 3 과 실질적으로 유사한 왜곡 회로 (188) 의 대안적인 실시형태를 예시한다. 이 실시형태에 있어서, 컬러 변환 및 왜곡 계산 (345a-n) 은 차이 계산 (335a-n) 및 레지듀 블록들 (340a-n) 의 생성 전에 원래의 및 복원된 블록들 양자 모두에 적용될 수도 있다. 도 3 에서의 왜곡 회로 (188) 의 모든 다른 기능 블록들은 도 4 의 왜곡 회로 (188) 의 기능 블록들과 유사한 방식으로 기능한다. 비록 도 4 는 차이 계산들 (335a-n) 이 왜곡 계산들 (345a-n) 에 기초하여 실시되는 것을 예시하지만, 대안적인 실시형태는 도 3 과 유사한 방식으로 실시되는 차이 계산을 포함할 수도 있음을 유의한다.
DSC 비디오 디코더
도 5 는 본 개시에서 설명된 양태들에 따른 기법들을 구현할 수도 있는 비디오 디코더 (30) 의 일 예를 예시한 블록 다이어그램이다. 비디오 디코더 (30) 는 본 개시의 기법들 중 일부 또는 모두를 수행하도록 구성될 수도 있다. 일부 예들에 있어서, 본 개시에서 설명된 기법들은 비디오 디코더 (30) 의 다양한 컴포넌트들 중에서 공유될 수도 있다. 일부 예들에 있어서, 부가적으로 또는 대안적으로, 프로세서 (도시 안됨) 가 본 개시에서 설명된 기법들 중 일부 또는 모두를 수행하도록 구성될 수도 있다.
설명의 목적들로, 본 개시는 DSC 코딩의 맥락에서 비디오 디코더 (30) 를 설명한다. 하지만, 본 개시의 기법들은 다른 코딩 표준들 또는 방법들에 적용가능할 수도 있다.
도 5 의 예에 있어서, 비디오 디코더 (30) 는 복수의 기능 컴포넌트들을 포함한다. 비디오 디코더 (30) 의 기능 컴포넌트들은 레이트 버퍼 (155), 서브스트림 디멀티플렉서 (160), 엔트로피 디코더 (165), 레이트 제어기 (170), 예측기, 양자화기, 및 복원기 (PQR) 컴포넌트 (175), 인덱싱된 컬러 이력 (180), 라인 버퍼 (185), 및 컬러 공간 컨버터 (190) 를 포함한다. 비디오 디코더 (30) 의 예시된 컴포넌트들은 도 2 에서의 비디오 인코더 (20) 와 관련하여 상기 설명된 대응하는 컴포넌트들과 유사하다. 이에 따라, 비디오 디코더 (30) 의 컴포넌트들의 각각은 상기 설명된 바와 같은 비디오 인코더 (20) 의 대응하는 컴포넌트들과 유사한 방식으로 동작할 수도 있다.
도 5 를 여전히 참조하면, 비디오 디코더 (30) 의 레이트 버퍼 (155) 는 도 1b 의 입력 인터페이스 (28) 로부터 수신된 압축된 비디오 데이터를 저장하기 위해 사용된 물리적 메모리의 일부일 수도 있다. 레이트 버퍼 (155) 는 압축된 비디오 데이터를 비트 레이트로 수신하고, 압축된 비디오 스트림을 일정 비트 레이트로 출력할 수도 있다. 적절한 디코딩을 보장하기 위해, 비디오 디코더 (30) 의 레이트 버퍼 (155) 는 압축된 비트 스트림의 디코딩 동안 "언더플로우" 또는 "오버플로우"하지 않아야 한다. 일부 실시형태들에 있어서, 버퍼 충만도 (BF) 는, 상기 식 1 에서 언급된 바와 같이, 버퍼에서의 현재 비트들의 수를 나타내는 값 BufferCurrentSize 및 레이트 버퍼 (150) 의 사이즈, 즉, 임의의 시점에서 레이트 버퍼 (150) 에 저장될 수 있는 비트들의 최대 수를 나타내는 값 BufferMaxSize 에 기초하여 정의될 수 있다. 레이트 버퍼 (155) 는 압축된 비디오에서의 레이트 변동들을 평활화할 수 있다. 레이트 버퍼 (155) 는 비디오 디코더 (30) 에서의 레이트 제어 메커니즘의 부분으로서 기능할 수도 있으며, 이는 레이트 제어기 (170) 와 관련하여 하기에서 더 상세히 설명될 것이다.
BF 는 다른 방식들로 계산될 수도 있고, BF 계산에 대한 선택된 접근법은 맥락 및 어플리케이션에 의존하여 변할 수도 있다. 다른 예에 있어서, BF 는 BF 를 100 으로 제산함으로써 0 내지 1 로 정규화될 수도 있다. 정규화된 BF 값은 λ 값을 계산하는데 사용될 수도 있다. 버퍼 충만도에 기반한 λ 값은 다음의 식에 기초하여 계산될 수 있다:
Figure pct00025
여기서, {Λ, a1, b1, c1, d1} 는 조율가능한 파라미터들이다. x ∈ [0,1] 및 x 는
Figure pct00026
로서 계산되고, 여기서, BF 는 여기에서 퍼센티지 (예를 들어, 버퍼에서 점유된 비트들의 퍼센티지) 로서 표현된다.
도 5 를 여전히 참조하면, 서브스트림 디멀티플렉서 (160) 는, 레이트 버퍼 (155) 로부터 압축된 비디오 데이터를 수신하고 그 데이터를 엔트로피 디코더 (165) 에 접속된 다수의 출력 라인들을 사용하여 출력하는 집적 회로 디바이스를 포함할 수도 있으며, 출력 라인은 선택 입력에 의해 결정된다. 서브스트림 디멀티플렉서 (160) 는 수신된 압축된 비디오 데이터를 하나 이상의 채널들 상으로의 송신을 위해 하나 이상의 디먹스 비트스트림들로 분할하도록 배열될 수도 있다. 하나 이상의 비트스트림들은 디코딩을 위해 하나 이상의 엔트로피 디코더들 (165) 에 출력될 수도 있다. 서브스트림 디멀티플렉서 (160) 는 비디오 인코더 (20) 의 서브스트림 멀티플렉서 (145) 로부터 출력된 멀티플렉싱된 데이터를 디멀티플렉싱하기 위한 상보적 디바이스로서 사용될 수도 있다.
도 5 를 여전히 참조하면, 엔트로피 디코더 (165) 는 전자 회로, 예를 들어, 비디오 프로세싱 유닛 또는 일반 프로세싱 유닛을 포함할 수도 있다. 엔트로피 디코더 (165) 는 서브스트림 디멀티플렉서 (160) 로부터 압축된 비디오 데이터를 수신할 수도 있다. 엔트로피 디코딩 유닛 (165) 은 압축된 비디오 데이터를 파싱하여 비트스트림으로부터 신택스 엘리먼트들을 획득할 수도 있다. 엔트로피 디코딩 유닛 (165) 은 엔트로피 인코딩된 신택스 엘리먼트들을 엔트로피 디코딩할 수도 있다. 수신된 압축된 비디오 데이터는 코딩된 슬라이스 데이터를 포함할 수도 있다. 비트스트림을 디코딩하는 부분으로서, 엔트로피 디코딩 유닛 (165) 은 코딩된 슬라이스 데이터로부터 신택스 엘리먼트들을 추출 및 엔트로피 디코딩할 수도 있다. 디코딩된 슬라이스들의 각각은 슬라이스 헤더 및 슬라이스 데이터를 포함할 수도 있다. 슬라이스 헤더는 슬라이스에 관련된 신택스 엘리먼트들을 포함할 수도 있다. 엔트로피 디코더 (165) 는 모션 벡터들 및 다른 신택스 엘리먼트들을 PQR 컴포넌트 (175) 로 포워딩할 수도 있다. 비디오 디코더 (30) 는 신택스 엘리먼트들을 비디오 슬라이스 레벨 및/또는 비디오 블록 레벨로 수신할 수도 있다. 엔트로피 디코더 (165) 는 비디오 인코더 (20) 의 엔트로피 인코더 (140) 에 의해 인코딩된 데이터를 디코딩하기 위한 상보적 디바이스로서 사용될 수도 있다. PQR 컴포넌트 (175) 는 비트스트림으로부터 추출된 신택스 엘리먼트들에 기초하여 디코딩된 비디오 데이터를 생성할 수도 있다.
도 5 를 여전히 참조하면, 레이트 제어기 (170) 는 전자 회로, 예를 들어, 비디오 프로세싱 유닛 또는 일반 프로세싱 유닛을 포함할 수도 있다. 레이트 제어기 (170) 는 엔트로피 디코더 (165) 로부터 입력으로서 엔트로피 디코딩된 비트스트림을 수신할 수도 있다. 레이트 제어기 (170) 는 코딩 파라미터들의 세트, 예를 들어, QP 를 결정한다. QP 는, 레이트 버퍼 (155) 가 오버플로우 또는 언더플로우하지 않음을 보장하는 타겟 비트레이트에 대한 픽처 품질을 최대화하기 위하여 레이트 버퍼 (155) 의 버퍼 충만도 및 비디오 데이터의 이미지 활성도에 기초하여 레이트 제어기 (170) 에 의해 조정될 수도 있다. 레이트 제어기 (170) 는 또한, 최적의 레이트-왜곡 성능을 달성하기 위하여 비디오 데이터의 각각의 블록에 대한 특정 코딩 옵션 (예를 들어, 특정 모드) 을 선택한다. 레이트 제어기 (170) 는, 비트-레이트 제약을 만족시키도록, 즉, 전체 실제 코딩 레이트가 타겟 비트 레이트 내에 맞도록, 복원된 이미지들의 왜곡을 최소화한다. 즉, 레이트 제어기는 블록 레이트가 가용 리소스들을 압도하는 것을 방지함으로써 버퍼 실패를 방지한다.
도 5 를 여전히 참조하면, 인덱싱된 컬러 이력 (180) 은 전자 회로, 예를 들어, 비디오 프로세싱 유닛 또는 일반 프로세싱 유닛 (이들 중 어느 하나는 메모리를 포함함) 을 포함할 수도 있다. 인덱싱된 컬러 이력 (180) 은 하나 이상의 엔트로피 디코더들 (165) 로부터 압축된 비디오의 비트스트림을 수신할 수도 있고, 또한, PQR 컴포넌트 (175) 로부터 데이터를 수신할 수도 있다. 인덱싱된 컬러 이력 (180) 은 최근 사용된 픽셀 값들을 저장할 수도 있다. 이들 최근 사용된 픽셀 값들은 전용 신택스를 통해 PQR 컴포넌트 (175) 에 의해 직접 참조될 수 있다. 인덱싱된 컬러 이력 (180) 을 사용하는 이점은 디스플레이 리프레시 및 데이터 전송을 가속화하기 위해 디지털 이미지의 컬러들을 관리하는 것을 포함한다.
도 5 를 여전히 참조하면, 라인 버퍼 (185) 는 전자 회로, 예를 들어, 집적 회로 상에 구현된 저장 디바이스를 포함할 수도 있다. 라인 버퍼 (185) 는 PQR 컴포넌트 (175) 로부터의 출력을 보유하여, PQR 컴포넌트 (175) 및 인덱싱된 컬러 이력 (180) 은 버퍼링된 비디오 데이터를 사용할 수 있다. 인덱싱된 컬러 이력 (180) 은 최근 사용된 픽셀 값들을 저장한다. 이들 최근 사용된 픽셀 값들은 전용 신택스를 통해 비디오 디코더 (30) 에 의해 직접 참조될 수 있다.
도 5 를 여전히 참조하면, PQR 컴포넌트 (175) 는 전자 회로, 예를 들어, 비디오 프로세싱 유닛 또는 일반 프로세싱 유닛을 포함할 수도 있다. PQR 컴포넌트 (175) 는 비디오 디코더 (30) 의 적어도 3개의 인코딩 동작들을 수행할 수도 있다. 예를 들어, PQR 컴포넌트 (175) 는 다수의 상이한 모드들에서 예측을 수행할 수도 있다. 예를 들어, 비디오 슬라이스가 인트라-코딩된 슬라이스로서 코딩되면, PQR 컴포넌트 (175) 는 현재 프레임 또는 픽처의 이전에 디코딩된 블록들로부터의 데이터 및 시그널링된 인트라 예측 모드에 기초하여 현재 비디오 슬라이스의 비디오 블록에 대한 예측 데이터를 생성할 수도 있다. 다른 예에 있어서, 비디오 프레임이 인터-코딩된 슬라이스로서 코딩되면, PQR 컴포넌트 (175) 는 엔트로피 디코더 (165) 으로부터 수신된 모션 벡터들 및 다른 신택스 엘리먼트들에 기초하여 현재 비디오 슬라이스의 비디오 블록에 대한 예측 블록들을 생성할 수도 있다. 예측 프로세싱은 결과적인 인트라- 또는 인터-코딩된 블록을 합산기 또는 복원기에 제공하여 잔차 블록 데이터를 생성하고, 디코딩된 블록을 복원할 수도 있다.
PQR 컴포넌트 (175) 는 또한 양자화를 수행한다. 잔차 블록들은 역양자화를 통해 결정될 수도 있다. 예를 들어, 역양자화 프로세싱은, 비트스트림에서 제공되고 엔트로피 디코더 (165) 에 의해 디코딩되는 양자화된 변환 계수들을 역양자화 (즉, 탈양자화) 한다. 역양자화 프로세스는 비디오 슬라이스에서의 각각의 비디오 블록에 대해 비디오 인코더 (20) 에 의해 계산된 양자화 파라미터의 이용을 포함하여, 적용되어야 하는 양자화의 정도 및 유사하게 역양자화의 정도를 결정할 수도 있다. PQR 컴포넌트 (175) 는 픽셀 도메인에서 잔차 블록들을 생성하기 위해, 역변환 (예를 들어, 역 DCT, 정수 역변환, 또는 개념적으로 유사한 역변환 프로세스) 을 변환 계수들에 적용하는 역변환 프로세스를 포함할 수도 있다. PQR 컴포넌트 (175) 는 비디오 인코더 (20) 의 PQR 컴포넌트 (125) 로부터 출력된 데이터의 역양자화를 위한 상보적 디바이스로서 사용될 수도 있다.
PQR 컴포넌트 (175) 는 또한 복원을 수행한다. PQR 컴포넌트 (175) 는 레퍼런스 블록으로서의 더 나중 사용을 위해 픽셀 도메인에서 잔차 블록을 복원할 수도 있다. 예를 들어, 루마-크로마 표현에 있어서, 복원기는 코딩 유닛 (CU) 의 변환 유닛들 (TU들) 과 연관된 루마, Cb, 및 Cr 변환 블록들로부터의 잔차 값들 및 CU 의 예측 유닛들 (PU들) 의 PU 루마, Cb, 및 Cr 블록들, 즉, 적용가능한 바와 같이 인트라 예측 데이터 또는 인터 예측 데이터 중 어느 하나를 이용하여, CU 의 루마, Cb, 및 Cr 코딩 블록들을 복원할 수도 있다. 예를 들어, PQR 컴포넌트 (175) 의 복원기는 루마, Cb, 및 Cr 변환 블록들의 샘플들을 예측 루마, Cb, 및 Cr 블록들의 대응하는 샘플들에 가산하여, CU 의 루마, Cb, 및 Cr 코딩 블록들을 복원할 수도 있다.
도 5 를 다시 참조하면, 컬러 공간 컨버터 (190) 는 전자 회로, 예를 들어, 비디오 프로세싱 유닛 또는 일반 프로세싱 유닛을 포함할 수도 있다. 컬러 공간 컨버터 (190) 는 코딩 구현에서 사용된 컬러 공간을, 디스플레이 구현에서 사용된 컬러 공간으로 컨버팅할 수도 있다. 예를 들어, 컬러 공간 컨버터 (190) 에 의해 수신된 컬러 공간은 코딩 구현에 의해 사용된 루미넌스 (Y), 크로미넌스 녹색 (Cg), 및 크로미넌스 주황색 (Co) (YCgCo) 컬러 공간에 있을 수도 있고, 디스플레이 구현은 적색, 녹색, 및 청색 (RGB) 컬러 공간을 포함할 수도 있다. 컬러 공간 컨버젼은 상기 식 2 및 식 3 에서 언급된 비디오 데이터에 대한 시프트들 및 가산들을 포함한 방법(들)에 의해 수행될 수도 있다. 다른 컬러 공간들에서의 입력 비디오 데이터가 프로세싱될 수도 있고 다른 컬러 공간들로의 컨버젼들이 또한 수행될 수도 있음이 주목된다.
관련 양태들에 있어서, 비디오 디코더 (30) 는 레이트 버퍼 (155) 및/또는 라인 버퍼 (185) 를 포함할 수도 있다. 예를 들어, 레이트 버퍼 (155) 는 비디오 디코더 (30) 의 다른 부분들에 의한 그 사용 전에 컬러 공간 컨버팅된 비디오 데이터를 보유할 수도 있다. 다른 예에 있어서, 비디오 데이터는 루마-크로마 컬러 공간에 저장될 수도 있고, 컬러 공간 컨버젼은 필요할 때 수행될 수도 있는데, 왜냐하면 컬러 공간 컨버팅된 데이터는 더 많은 비트들을 요구할 수도 있기 때문이다.
도 6 은 제 1 비디오 블록 (310, 315) 에 대한 코딩 모드를 결정하기 위한 프로세스 (400) 의 예를 예시한 플로우차트이다. 블록 405 에서, 비디오 인코더 (20) 의 왜곡 회로 (188) 는 적어도 하나의 컬러 공간에서 제 1 비디오 블록 (310, 315) 을 수신한다. 일부 구현들에 있어서, 제 1 비디오 블록 (310, 315) 은 그 다수의 상이한 컬러 공간들에서 수신될 수도 있다. 예를 들어, 제 1 비디오 블록 (310, 315) 은 RGB 컬러 공간 및 루마-크로마 컬러 공간에서 수신될 수도 있다.
도 6 을 여전히 참조하면, 블록 410 에서, 왜곡 회로 (188) 의 블록 인코더 (320) 는 복수의 복원된 비디오 블록들 (330) 을 생성한다. 복수의 복원된 비디오 블록들 (330) 은 복수의 코딩 모드들 (325) 을 사용하여 인코딩된 제 1 비디오 블록 (310, 315) 을 나타낸다. 즉, 복수의 복원된 비디오 블록들 (330) 의 각각은 그 다수의 코딩 모드들 중 하나를 사용하여 복원되었던 제 1 비디오 블록 (310, 315) 의 사본이다. 일부 구현들에 있어서, 블록 인코더 (320) 는 제 1 비디오 블록 (310, 315) 을, 제 1 비디오 블록 (310, 315) 의 컬러 공간과 호환가능한 그 다수의 코딩 모드들을 사용하여 인코딩할 수도 있다. 예를 들어, 블록 인코더 (320) 는 중간점 예측 모드를 사용하여 RGB 컬러 공간의 제 1 비디오 블록 (310) 을 인코딩할 수도 있다. 블록 인코더 (320) 는 또한, 변환 모드를 사용하여 YCoCg 컬러 공간의 제 1 비디오 블록 (315) 을 인코딩할 수도 있다. 이 예에 있어서, 블록 인코더 (320) 는 복수의 복원된 비디오 블록들 (330) 을 생성하고, 여기서, 복수의 복원된 비디오 블록 (330) 은 상이한 컬러 공간들에서 표현되고, 제 1 비디오 블록 (310, 315) 을 나타낸다.
도 6 을 여전히 참조하면, 블록 415 에서, 왜곡 회로 (188) 는 복수의 컬러 공간들 중 하나의 컬러 공간을 선택한다. 일 구현에 있어서, 왜곡 회로 (188) 는, 복수의 복원된 비디오 블록들 (330) 중에서, RGB 컬러 공간에서의 다수의 복원된 블록들 및 루마-크로마 표현에서의 다수의 복원된 블록들을 결정할 수도 있다. 왜곡 회로 (188) 는, 복원된 비디오 블록들 (330) 의 대부분을 표현하는 컬러 공간을 선택함으로써 블록 420 에서의 계산들을 감소시킬 수도 있다. 다른 구현에 있어서, 사용자는 컬러 공간을 선택할 수도 있거나, 또는 왜곡 회로 (188) 는 특정 컬러 공간을 선택하도록 미리 프로그래밍될 수도 있다.
도 6 을 여전히 참조하면, 블록 420 에서, 왜곡 회로 (188) 는, 복수의 복원된 비디오 블록들 (330) 중 선택된 컬러 공간에 있지 않은 모든 인코딩된 비디오 블록에 컬러 변환을 적용한다. 컬러 변환은 식 2 및 식 3 의 컬러 변환 매트릭스들을 포함할 수도 있으며, 여기서, 컬러 변환 매트릭스들은 컬러 공간에서의 다수의 컬러 평면들과 동일한 다수의 컬럼들을 포함한다. 일 구현에 있어서, 왜곡 회로 (188) 는 다수의 레지듀 블록들 (340a-n) 에 컬러 변환을 적용하며, 여기서, 각각의 레지듀 블록은 제 1 비디오 블록 (310, 315) 과 복수의 복원된 비디오 블록들 (330) 의 각각 간의 차이를 나타낸다. 다른 구현에 있어서, 왜곡 회로 (188) 는 레지듀 블록들 (340a-n) 을 계산하기 전에 제 1 비디오 블록 (310, 315) 및 복수의 복원된 비디오 블록들 (330) 의 각각의 양자에 컬러 변환을 적용한다.
도 6 을 여전히 참조하면, 블록 425 에서, 왜곡 회로 (188) 는 복수의 레지듀 블록들 (340a-n) 의 각각의 왜곡 값을 결정한다. 다른 구현에 있어서, 왜곡 회로 (188) 는 복수의 복원된 비디오 블록들 (330) 의 각각의 왜곡 값을 결정한다. 어느 하나의 구현에 있어서, 왜곡 회로 (188) 는 RGB 컬러 공간에서 또는 루마-크로마 컬러 공간에서 왜곡 값을 계산할 수도 있고, 여기서, 왜곡 값은 (i) 복원된 블록들 (330) 의 각각, 또는 (ii) 레지듀 블록들 (340a-n) 의 각각 중 어느 하나의 SAD 또는 SSE 일 수도 있다. 다른 구현에 있어서, 선택된 컬러 공간이 루마-크로마 컬러 공간일 경우, 왜곡 회로 (188) 는 크로마 컴포넌트들에서의 여분의 비트들을 설명하기 위해 계산된 왜곡 값을 정규화할 수도 있다. 예를 들어, 왜곡 회로 (188) 는 SAD 또는 SSE 에 의해 계산된 왜곡 값을 우측으로 1 만큼 시프트할 수도 있다. 또 다른 구현에 있어서, 왜곡 회로 (188) 는 루마-크로마 컬러 공간에서의 SAD 및 SSE 계산들에 가중 값들을 적용할 수도 있다. 예를 들어, 왜곡 회로 (188) 는 컬러 변환 매트릭스에서의 각각의 컬럼의 컬럼 놈 또는 유클리드 놈에 기초하여 루마-크로마 컬러 공간에서의 각각의 컬러 평면에 대한 가중치들을 계산할 수도 있다.
도 6 을 여전히 참조하면, 블록 430 에서, 왜곡 회로 (188) 는, 비트레이트 및 왜곡 값 양자 모두를 고려하는 비용 함수에 기초하여 복수의 코딩 모드들 (325) 중 최적의 코딩 모드를 결정한다. 일 구현에 있어서, 왜곡 회로 (188) 는 비용-값 함수를 이용하여 코딩 모드를 결정한다. 예를 들어, 왜곡 회로 (188) 는 비용 함수: D+λ*R 의 관점에서 비트레이트와 왜곡 간의 트레이드-오프에 기초하여 최적의 코딩 모드를 결정할 수도 있다. 여기서, 파라미터 R 은, 제 1 비디오 블록 (310, 315) 에 대해 인코더 (20) 와 디코더 (30) 사이에서 송신된 비트들의 총 수일 수도 있는 제 1 비디오 블록 (310, 315) 의 비트레이트를 지칭한다. 파라미터 D 는 제 1 비디오 블록 (310, 315) 의 왜곡을 지칭한다. 파라미터 λ 는 파라미터들 R 및 D 사이의 트레이드-오프일 수도 있는 라그랑주 파라미터이다. 라그랑주 파라미터 λ 는 다양한 방식들로 계산될 수도 있고, λ 계산에 대한 선택된 접근법은 맥락 및 어플리케이션에 의존하여 변할 수도 있음이 주목된다. 예를 들어, 비디오 인코더는 다수의 팩터들, 예컨대, 레이트 버퍼 (150, 155) 상태, 제 1 비디오 블록 (310, 315) 의 조건들 등에 기초하여 라그랑주 파라미터 λ 를 산출할 수도 있다.
도 6 을 여전히 참조하면, 블록 435 에서, 비디오 인코더 (20) 는 제 1 인코딩된 비디오 블록을 목적지 디바이스로 통신하며, 제 1 인코딩된 비디오 블록은 결정된 최적의 코딩 모드를 사용하여 인코딩된 제 1 비디오 블록 (310, 315) 을 나타낸다.
다른 고려사항들
본 개시의 양태들은 도 2 에서의 비디오 인코더 (20) 와 같은 인코더의 관점으로부터 설명되었음이 주목되어야 한다. 하지만, 당업자는 상기 설명된 것들에 대한 역 동작들이 생성된 비트스트림을 예를 들어 도 5 에서의 비디오 디코더 (30) 에 의해 디코딩하도록 적용될 수도 있음을 인식할 것이다.
본 명세서에서 개시된 정보 및 신호들은 임의의 다양한 서로 다른 기술들 및 기법들을 이용하여 표현될 수도 있다. 예를 들어, 상기 설명 전반에 걸쳐 참조될 수도 있는 데이터, 명령들, 커맨드(command)들, 정보, 신호들, 비트들, 심볼들, 및 칩들은 전압, 전류, 전자기파, 자계 또는 자성 입자, 광계 또는 광학 입자, 또는 이들의 임의의 조합에 의해 표현될 수도 있다.
본 명세서에 개시된 실시형태들과 관련하여 설명된 다양한 예시적인 논리 블록들, 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들 양자의 조합으로서 구현될 수도 있다. 하드웨어와 소프트웨어의 이러한 상호대체 가능성을 분명히 예시하기 위하여, 다양한 예시적인 컴포넌트들, 블록들, 및 단계들이 일반적으로 그들의 기능의 관점에서 상기 설명되었다. 그러한 기능이 하드웨어로서 구현될지 또는 소프트웨어로서 구현될지는 전체 시스템에 부과된 설계 제약들 및 특정 어플리케이션에 의존한다. 당업자는 설명된 기능을 각각의 특정 어플리케이션에 대하여 다양한 방식들로 구현할 수도 있지만, 그러한 구현의 결정들이 본 개시의 범위로부터의 일탈을 야기하는 것으로서 해석되지는 않아야 한다.
본 명세서에서 설명된 기법들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합에서 구현될 수도 있다. 그러한 기법들은 범용 컴퓨터들, 무선 통신 디바이스 핸드셋들, 또는 다중의 이용들을 갖는 집적 회로 디바이스들과 같은 임의의 다양한 디바이스들에서 구현될 수도 있다. 디바이스들 또는 컴포넌트들로서 설명된 임의의 특징들은 집적된 로직 디바이스에서 함께 또는 별개지만 상호운용가능한 로직 디바이스들로서 별도로 구현될 수도 있다. 소프트웨어에서 구현되면, 그 기법들은, 실행될 경우 상기 설명된 방법들 중 하나 이상을 수행하는 명령들을 포함하는 프로그램 코드를 포함하는 컴퓨터 판독가능 데이터 저장 매체에 의해 적어도 부분적으로 실현될 수도 있다. 컴퓨터 판독가능 데이터 저장 매체는 컴퓨터 프로그램 제품의 부분을 형성할 수도 있으며, 이는 패키징 재료들을 포함할 수도 있다. 컴퓨터 판독가능 매체는 동기식 동적 랜덤 액세스 메모리 (SDRAM) 와 같은 랜덤 액세스 메모리 (RAM), 판독 전용 메모리 (ROM), 비휘발성 랜덤 액세스 메모리 (NVRAM), 전기적으로 소거가능한 프로그래밍가능 판독 전용 메모리 (EEPROM), 플래시 메모리, 자기 또는 광학 데이터 저장 매체들 등과 같은 메모리 또는 데이터 저장 매체들을 포함할 수도 있다. 그 기법들은, 부가적으로 또는 대안적으로, 전파된 신호들 또는 파동들과 같이, 명령들 또는 데이터 구조들의 형태로 프로그램 코드를 수록하거나 통신하고 그리고 컴퓨터에 의해 액세스, 판독 및/또는 실행될 수 있는 컴퓨터 판독가능 통신 매체에 의해 적어도 부분적으로 실현될 수도 있다.
프로그램 코드는, 하나 이상의 디지털 신호 프로세서들 (DSP들), 범용 마이크로 프로세서들, 주문형 집적 회로들 (ASIC들), 필드 프로그래밍가능 로직 어레이들 (FPGA들), 또는 다른 균등한 집적된 또는 별개의 로직 회로부와 같은 하나 이상의 프로세서들을 포함할 수도 있는 프로세서에 의해 실행될 수도 있다. 그러한 프로세서는 본 개시에서 설명된 기법들 중 임의의 기법을 수행하도록 구성될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안적으로, 그 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로 제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한, 컴퓨팅 디바이스들의 조합, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서들, 또는 임의의 기타 다른 구성물로서 구현될 수도 있다. 이에 따라, 본 명세서에서 사용된 바와 같은 용어 "프로세서" 는 전술한 구조, 전술한 구조의 임의의 조합, 또는 본 명세서에서 설명된 기법들의 구현에 적합한 임의의 다른 구조 또는 장치 중 임의의 것을 지칭할 수도 있다. 부가적으로, 일부 양태들에 있어서, 본 명세서에서 설명된 기능은, 인코딩 및 디코딩을 위해 구성된 전용 소프트웨어 또는 하드웨어 내에서 제공되거나, 또는 결합된 비디오 인코더-디코더 (코덱) 에 통합될 수도 있다. 또한, 그 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들에서 완전히 구현될 수 있다.
본 개시의 기법들은 무선 핸드셋, 집적 회로 (IC) 또는 IC들의 세트 (예를 들어, 칩 세트) 를 포함하여 매우 다양한 디바이스들 또는 장치들에서 구현될 수도 있다. 다양한 컴포넌트들, 또는 유닛들이 개시된 기법들을 수행하도록 구성된 디바이스들의 기능적 양태들을 강조하기 위해 본 개시에서 설명되지만, 반드시 상이한 하드웨어 유닛들에 의한 실현을 요구하지는 않는다. 오히려, 상기 설명된 바와 같이, 다양한 유닛들은 적합한 소프트웨어 및/또는 펌웨어와 함께 상기 설명된 바와 같은 하나 이상의 프로세서들을 포함하여 코덱 하드웨어 유닛으로 결합되거나 또는 상호운용식 하드웨어 유닛들의 집합에 의해 제공될 수도 있다.
비록 전술한 바가 다양한 상이한 실시형태들과 관련하여 설명되었더라도, 일 실시형태로부터의 특징들 또는 엘리먼트들은 본 개시의 교시들로부터 일탈함없이 다른 실시형태들과 결합될 수도 있다. 하지만, 개별 실시형태들 간의 특징들의 결합들이 반드시 그것으로 한정되지는 않는다. 본 개시의 다양한 실시형태들이 설명되었다. 이들 및 다른 실시형태들은 다음의 청구항들의 범위 내에 있다.

Claims (20)

  1. 비디오 데이터를 코딩하기 위한 장치로서,
    복수의 코딩 모드들에 관한 정보 및 상기 비디오 데이터를 저장하기 위한 메모리로서, 상기 비디오 데이터는 복수의 비디오 블록들을 포함하는, 상기 메모리; 및
    상기 메모리에 동작가능하게 커플링된 하드웨어 프로세서를 포함하고,
    상기 하드웨어 프로세서는,
    상기 복수의 비디오 블록들의 비디오 블록에 대해 복수의 컬러 공간들 중 하나의 컬러 공간을 선택하고,
    상기 복수의 비디오 블록들 중 선택된 상기 컬러 공간에 있지 않은 모든 비디오 블록에 컬러 변환을 적용하고 상기 복수의 비디오 블록들의 비디오 블록들 중 모두가 상기 선택된 컬러 공간에 있음을 확인하고, 그리고
    상기 선택된 컬러 공간에 기초하여 상기 복수의 비디오 블록들의 각각의 왜곡 값을 결정하도록
    구성되는, 비디오 데이터를 코딩하기 위한 장치.
  2. 제 1 항에 있어서,
    상기 하드웨어 프로세서는, 추가로,
    상기 복수의 비디오 블록들의 각각의 비디오 블록의 초기 컬러 공간을 결정하는 것으로서, 상기 초기 컬러 공간은 상기 컬러 변환의 적용 이전의 각각의 비디오 블록의 컬러 공간인, 상기 초기 컬러 공간을 결정하고;
    상기 복수의 코딩 모드들 중 어느 코딩 모드들이 상기 초기 컬러 공간과 호환가능한지를 결정하고; 그리고
    인코딩된 블록을 제공하기 위해 상기 복수의 비디오 블록들의 상기 비디오 블록을 호환가능 코딩 모드들로 인코딩하도록
    구성되는, 비디오 데이터를 코딩하기 위한 장치.
  3. 제 1 항에 있어서,
    상기 하드웨어 프로세서는, 추가로,
    상기 복수의 코딩 모드들 중 어느 코딩 모드들이 초기 컬러 공간과 호환가능하지 않은지를 결정하는 것으로서, 상기 초기 컬러 공간은 상기 컬러 변환의 적용 이전의 각각의 비디오 블록의 컬러 공간인, 상기 초기 컬러 공간과 호환가능하지 않은지를 결정하고;
    호환가능 컬러 블록을 제공하기 위해 상기 초기 컬러 공간에 상기 컬러 변환을 적용하고; 그리고
    인코딩된 블록을 제공하기 위해 상기 호환가능 컬러 블록을, 상기 초기 컬러 공간과 호환가능하지 않은 코딩 모드들로 인코딩하도록
    구성되는, 비디오 데이터를 코딩하기 위한 장치.
  4. 제 2 항에 있어서,
    상기 하드웨어 프로세서는 추가로, 상기 비디오 블록 및 상기 인코딩된 블록으로부터 레지듀 블록을 계산하도록 구성되고,
    상기 레지듀 블록은 상기 비디오 블록과 상기 인코딩된 블록 간의 차이를 나타내는, 비디오 데이터를 코딩하기 위한 장치.
  5. 제 4 항에 있어서,
    상기 왜곡 값을 결정하는 것은 상기 레지듀 블록의 왜곡 값을 결정하는 것을 포함하는, 비디오 데이터를 코딩하기 위한 장치.
  6. 제 1 항에 있어서,
    상기 선택된 컬러 공간은 루마-크로마 컬러 공간을 포함하고,
    상기 왜곡 값을 결정하는 것은 상기 루마-크로마 컬러 공간의 각각의 크로마 컴포넌트를 정규화하는 것을 포함하는, 비디오 데이터를 코딩하기 위한 장치.
  7. 제 1 항에 있어서,
    상기 비디오 블록은 다수의 컬러 평면들을 포함하고,
    상기 비디오 블록의 왜곡 값을 결정하는 것은
    상기 다수의 컬러 평면들의 각각의 컬러 평면의 절대 차이들의 합, 및
    상기 다수의 컬러 평면들의 각각의 컬러 평면의 제곱 에러의 합
    중 적어도 하나를 포함하는, 비디오 데이터를 코딩하기 위한 장치.
  8. 제 1 항에 있어서,
    상기 컬러 변환은 변환 매트릭스에 기초하고, 상기 변환 매트릭스는 상기 선택된 컬러 공간의 다수의 컬러 평면들을 나타내는 다수의 컬럼들에 의해 정의되고,
    상기 하드웨어 프로세서는 추가로, 상기 다수의 컬럼들의 컬럼의 유클리드 놈 (Euclidean norm) 에 기초하여 가중치 값을 결정하도록 구성되는, 비디오 데이터를 코딩하기 위한 장치.
  9. 제 8 항에 있어서,
    변환된 상기 비디오 블록의 왜곡 값은
    상기 다수의 컬러 평면들의 각각의 컬러 평면의 절대 차이들의 합으로서, 각각의 컬러 평면은 그 다수의 가중치 값들 중 대응하는 가중치 값에 의해 승산되는, 상기 각각의 컬러 평면의 절대 차이들의 합, 및
    상기 다수의 컬러 평면들의 각각의 컬러 평면의 제곱 에러의 합으로서, 각각의 컬러 평면은 그 다수의 가중치들 중 대응하는 가중치에 의해 승산되는, 상기 각각의 컬러 평면의 제곱 에러의 합
    중 적어도 하나에 기초하는, 비디오 데이터를 코딩하기 위한 장치.
  10. 제 1 항에 있어서,
    상기 선택된 컬러 공간은 루마-크로마 컬러 공간 및 RGB 컬러 공간 중 적어도 하나에 있는, 비디오 데이터를 코딩하기 위한 장치.
  11. 제 1 항에 있어서,
    상기 왜곡 값을 결정하는 것은 (i) 상기 복수의 비디오 블록들의 각각의 왜곡 값, (ii) 람다 값, 및 (iii) 상기 비디오 블록을 통신하기 위한 비트스트림 레이트에 기초하여 상기 복수의 코딩 모드들의 코딩 모드를 결정하는 것을 더 포함하는, 비디오 데이터를 코딩하기 위한 장치.
  12. 제 1 항에 있어서,
    상기 복수의 비디오 블록들의 각각의 비디오 블록은, 상기 복수의 코딩 모드들의 모든 코딩 모드를 사용하여 인코딩된 단일의 비디오 블록을 나타내는, 비디오 데이터를 코딩하기 위한 장치.
  13. 비디오 데이터를 코딩하는 방법으로서,
    복수의 비디오 블록들의 비디오 블록에 대해 복수의 컬러 공간들 중 하나의 컬러 공간을 선택하는 단계;
    상기 복수의 비디오 블록들 중 선택된 상기 컬러 공간에 있지 않은 모든 비디오 블록에 컬러 변환을 적용하고 상기 복수의 비디오 블록들의 비디오 블록들 중 모두가 상기 선택된 컬러 공간에 있음을 확인하는 단계, 및
    상기 선택된 컬러 공간에 기초하여 상기 복수의 비디오 블록들의 각각의 왜곡 값을 결정하는 단계를 포함하는, 비디오 데이터를 코딩하는 방법.
  14. 제 13 항에 있어서,
    상기 복수의 비디오 블록들의 각각의 비디오 블록의 초기 컬러 공간을 결정하는 단계로서, 상기 초기 컬러 공간은 상기 컬러 변환의 적용 이전의 각각의 비디오 블록의 컬러 공간인, 상기 초기 컬러 공간을 결정하는 단계;
    복수의 코딩 모드들 중 어느 코딩 모드들이 상기 초기 컬러 공간과 호환가능한지를 결정하는 단계; 및
    인코딩된 블록을 제공하기 위해 상기 복수의 비디오 블록들의 상기 비디오 블록을 호환가능 코딩 모드들로 인코딩하는 단계를 더 포함하는, 비디오 데이터를 코딩하는 방법.
  15. 제 13 항에 있어서,
    복수의 코딩 모드들 중 어느 코딩 모드들이 초기 컬러 공간과 호환가능하지 않은지를 결정하는 단계로서, 상기 초기 컬러 공간은 상기 컬러 변환의 적용 이전의 각각의 비디오 블록의 컬러 공간인, 상기 초기 컬러 공간과 호환가능하지 않은지를 결정하는 단계;
    호환가능 컬러 블록을 제공하기 위해 상기 초기 컬러 공간에 상기 컬러 변환을 적용하는 단계; 및
    인코딩된 블록을 제공하기 위해 상기 호환가능 컬러 블록을, 상기 초기 컬러 공간과 호환가능하지 않은 코딩 모드들로 인코딩하는 단계를 더 포함하는, 비디오 데이터를 코딩하는 방법.
  16. 제 14 항에 있어서,
    상기 비디오 블록 및 상기 인코딩된 블록으로부터 레지듀 블록을 계산하는 단계를 더 포함하고,
    상기 레지듀 블록은 상기 비디오 블록과 상기 인코딩된 블록 간의 차이를 나타내는, 비디오 데이터를 코딩하는 방법.
  17. 제 13 항에 있어서,
    상기 왜곡 값을 결정하는 단계는 (i) 상기 복수의 비디오 블록들의 각각의 왜곡 값, (ii) 람다 값, 및 (iii) 상기 비디오 블록을 통신하기 위한 비트스트림 레이트에 기초하여 상기 복수의 코딩 모드들의 코딩 모드를 결정하는 단계를 더 포함하는, 비디오 데이터를 코딩하는 방법.
  18. 명령들을 포함하는 비-일시적인 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은, 디바이스에 의해 실행될 경우, 상기 디바이스로 하여금
    복수의 비디오 블록들의 비디오 블록에 대해 복수의 컬러 공간들 중 하나의 컬러 공간을 선택하게 하고,
    상기 복수의 비디오 블록들 중 선택된 상기 컬러 공간에 있지 않은 모든 비디오 블록에 컬러 변환을 적용하게 하고 상기 복수의 비디오 블록들의 비디오 블록들 중 모두가 상기 선택된 컬러 공간에 있음을 확인하게 하고, 그리고
    상기 선택된 컬러 공간에 기초하여 상기 복수의 비디오 블록들의 각각의 왜곡 값을 결정하게 하는, 비-일시적인 컴퓨터 판독가능 저장 매체.
  19. 제 18 항에 있어서,
    상기 복수의 비디오 블록들의 각각의 비디오 블록의 초기 컬러 공간을 결정하는 것으로서, 상기 초기 컬러 공간은 상기 컬러 변환의 적용 이전의 각각의 비디오 블록의 컬러 공간인, 상기 초기 컬러 공간을 결정하는 것;
    복수의 코딩 모드들 중 어느 코딩 모드들이 상기 초기 컬러 공간과 호환가능한지를 결정하는 것; 및
    인코딩된 블록을 제공하기 위해 상기 복수의 비디오 블록들의 상기 비디오 블록을 호환가능 코딩 모드들로 인코딩하는 것을 더 포함하는, 비-일시적인 컴퓨터 판독가능 저장 매체.
  20. 제 18 항에 있어서,
    복수의 코딩 모드들 중 어느 코딩 모드들이 초기 컬러 공간과 호환가능하지 않은지를 결정하는 것으로서, 상기 초기 컬러 공간은 상기 컬러 변환의 적용 이전의 각각의 비디오 블록의 컬러 공간인, 상기 초기 컬러 공간과 호환가능하지 않은지를 결정하는 것;
    호환가능 컬러 블록을 제공하기 위해 상기 초기 컬러 공간에 상기 컬러 변환을 적용하는 것; 및
    인코딩된 블록을 제공하기 위해 상기 호환가능 컬러 블록을, 상기 초기 컬러 공간과 호환가능하지 않은 코딩 모드들로 인코딩하는 것을 더 포함하는, 비-일시적인 컴퓨터 판독가능 저장 매체.
KR1020187019580A 2016-01-11 2017-01-05 디스플레이 스트림 압축 (dsc) 에서의 왜곡을 계산하기 위한 시스템 및 방법들 KR102175662B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662277379P 2016-01-11 2016-01-11
US62/277,379 2016-01-11
US15/398,567 2017-01-04
US15/398,567 US10448024B2 (en) 2016-01-11 2017-01-04 System and methods for calculating distortion in display stream compression (DSC)
PCT/US2017/012331 WO2017123451A1 (en) 2016-01-11 2017-01-05 System and methods for calculating distortion in display stream compression (dsc)

Publications (2)

Publication Number Publication Date
KR20180102565A true KR20180102565A (ko) 2018-09-17
KR102175662B1 KR102175662B1 (ko) 2020-11-06

Family

ID=59276081

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187019580A KR102175662B1 (ko) 2016-01-11 2017-01-05 디스플레이 스트림 압축 (dsc) 에서의 왜곡을 계산하기 위한 시스템 및 방법들

Country Status (10)

Country Link
US (1) US10448024B2 (ko)
EP (1) EP3403408B1 (ko)
JP (1) JP6772275B2 (ko)
KR (1) KR102175662B1 (ko)
CN (1) CN108432249B (ko)
BR (1) BR112018013964A2 (ko)
HK (1) HK1254970A1 (ko)
SG (1) SG11201804403TA (ko)
TW (1) TWI686078B (ko)
WO (1) WO2017123451A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021107626A1 (ko) * 2019-11-28 2021-06-03 엘지전자 주식회사 영상/비디오 인코딩/디코딩 시스템에서 슬라이스에 관한 정보의 시그널링 방법 및 장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021071313A1 (ko) * 2019-10-09 2021-04-15 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
US11481929B2 (en) * 2020-03-16 2022-10-25 Meta Platforms Technologies, Llc System and method for compressing and decompressing images using block-based compression format
CN117579839B (zh) * 2024-01-15 2024-03-22 电子科技大学 一种基于率失真优化色彩空间转换矩阵的图像压缩方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014066488A1 (en) * 2012-10-25 2014-05-01 Magnum Semiconductor, Inc. Rate-distortion optimizers and optimization techniques including joint optimization of multiple color components
US20140376611A1 (en) * 2013-06-21 2014-12-25 Qualcomm Incorporated Adaptive color transforms for video coding
US20150304675A1 (en) * 2014-04-21 2015-10-22 Qualcomm Incorporated System and method for coding in block prediction mode for display stream compression (dsc)
US20170105012A1 (en) * 2015-10-08 2017-04-13 Mediatek Inc. Method and Apparatus for Cross Color Space Mode Decision

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7317759B1 (en) 2002-02-28 2008-01-08 Carnegie Mellon University System and methods for video compression mode decisions
WO2007079781A1 (en) * 2006-01-13 2007-07-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Picture coding using adaptive colour space transformation
US8243340B2 (en) * 2006-02-23 2012-08-14 Microsoft Corporation Pre-processing of image data for enhanced compression
CN100563347C (zh) * 2006-10-30 2009-11-25 华为技术有限公司 视频通讯中视频显示设备伽玛特性校正方法和装置
CN101627625A (zh) * 2007-03-13 2010-01-13 索尼株式会社 通信系统、发送装置、发送方法、接收装置以及接收方法
US9280806B2 (en) * 2013-01-10 2016-03-08 Broadcom Corporation Edge smoothing block filtering and blending
US9177393B2 (en) * 2013-02-04 2015-11-03 Qualcomm Incorporated Mixed mode for frame buffer compression
US9609343B1 (en) * 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction
US9877048B2 (en) * 2014-06-09 2018-01-23 Qualcomm Incorporated Entropy coding techniques for display stream compression (DSC)
US20150373327A1 (en) * 2014-06-20 2015-12-24 Qualcomm Incorporated Block adaptive color-space conversion coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014066488A1 (en) * 2012-10-25 2014-05-01 Magnum Semiconductor, Inc. Rate-distortion optimizers and optimization techniques including joint optimization of multiple color components
US20140376611A1 (en) * 2013-06-21 2014-12-25 Qualcomm Incorporated Adaptive color transforms for video coding
US20150304675A1 (en) * 2014-04-21 2015-10-22 Qualcomm Incorporated System and method for coding in block prediction mode for display stream compression (dsc)
US20170105012A1 (en) * 2015-10-08 2017-04-13 Mediatek Inc. Method and Apparatus for Cross Color Space Mode Decision

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
D. Marpe, et al. An adaptive color transform approach and its application in 4:4:4 video coding. 14th European Signal Processing Conf., Sep. 2006, pp.1-5 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021107626A1 (ko) * 2019-11-28 2021-06-03 엘지전자 주식회사 영상/비디오 인코딩/디코딩 시스템에서 슬라이스에 관한 정보의 시그널링 방법 및 장치
US11509905B2 (en) 2019-11-28 2022-11-22 Lg Electronics Inc. Method and device for signaling information related to slice in image/video encoding/decoding system
US11902528B2 (en) 2019-11-28 2024-02-13 Lg Electronics Inc. Method and device for signaling information related to slice in image/video encoding/decoding system

Also Published As

Publication number Publication date
HK1254970A1 (zh) 2019-08-02
US20170201753A1 (en) 2017-07-13
CN108432249A (zh) 2018-08-21
EP3403408B1 (en) 2023-05-03
TWI686078B (zh) 2020-02-21
EP3403408A1 (en) 2018-11-21
US10448024B2 (en) 2019-10-15
KR102175662B1 (ko) 2020-11-06
TW201728173A (zh) 2017-08-01
JP2019507530A (ja) 2019-03-14
WO2017123451A1 (en) 2017-07-20
JP6772275B2 (ja) 2020-10-21
SG11201804403TA (en) 2018-07-30
BR112018013964A2 (pt) 2018-12-11
CN108432249B (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
EP3284253B1 (en) Rate-constrained fallback mode for display stream compression
KR102120571B1 (ko) 넌-4:4:4 크로마 서브-샘플링의 디스플레이 스트림 압축 (dsc) 을 위한 엔트로피 코딩 기법들
US10631005B2 (en) System and method for coding in block prediction mode for display stream compression (DSC)
US9848193B2 (en) System and method for selecting quantization parameter (QP) in display stream compression (DSC)
US9866853B2 (en) System and method for lagrangian parameter calculation for display stream compression (DSC)
KR101993966B1 (ko) 디스플레이 스트림 압축 (ｄｓｃ) 을 위한 평탄도 검출을 위한 시스템 및 방법
KR20170016849A (ko) 디스플레이 스트림 압축 (dsc) 을 위한 엔트로피 코딩 기법들
CN108702513B (zh) 用于在显示流压缩中量化参数的适应性计算的设备及方法
KR20170137076A (ko) 복잡도 측정에 기초한 디스플레이 스트림 압축 (dsc) 을 위한 양자화 파라미터 (qp) 계산
EP3178230B1 (en) Method for video coding with spatial prediction mode for multi-mode video coding
KR102175662B1 (ko) 디스플레이 스트림 압축 (dsc) 에서의 왜곡을 계산하기 위한 시스템 및 방법들
KR102112942B1 (ko) 디스플레이 스트림 압축에 대한 지각적 양자화 파라미터 (qp) 가중을 위한 장치 및 방법들
US10123045B2 (en) Modification to block size for transform mode in display stream compression

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant