KR20170021875A - 인덱스 맵 부호화의 예측자로서 이스케이프 픽셀을 취급하는 방법 - Google Patents

인덱스 맵 부호화의 예측자로서 이스케이프 픽셀을 취급하는 방법 Download PDF

Info

Publication number
KR20170021875A
KR20170021875A KR1020177002207A KR20177002207A KR20170021875A KR 20170021875 A KR20170021875 A KR 20170021875A KR 1020177002207 A KR1020177002207 A KR 1020177002207A KR 20177002207 A KR20177002207 A KR 20177002207A KR 20170021875 A KR20170021875 A KR 20170021875A
Authority
KR
South Korea
Prior art keywords
current
index
pixels
escape
pixel
Prior art date
Application number
KR1020177002207A
Other languages
English (en)
Other versions
KR101953482B1 (ko
Inventor
쯔-더 추앙
유-첸 선
정선 김
샨 리우
왕-린 라이
이-웬 첸
Original Assignee
에이치에프아이 이노베이션 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이치에프아이 이노베이션 인크. filed Critical 에이치에프아이 이노베이션 인크.
Publication of KR20170021875A publication Critical patent/KR20170021875A/ko
Application granted granted Critical
Publication of KR101953482B1 publication Critical patent/KR101953482B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

복사 모드를 이용한 팔레트 부호화시에 이스케이프 픽셀인 예측자와 관련된 문제를 극복하는 방법이 개시된다. 일 실시형태에 따르면, 상측 복사 모드의 예측자가 이스케이프 픽셀이면, 현재 이스케이프 픽셀의 픽셀 값이 전송되어 예측자가 전송된 픽셀 값을 이용하여 재구성될 수 있다. 다른 실시형태에 있어서, 인코더 측에 제한이 적용되고, 상측 복사 모드에서 현재 픽셀 위에 위치된 상측 픽셀이 이스케이프 픽셀인 때마다 상측 복사 런이 종결되거나 상측 복사 모드가 현재 픽셀에 대하여 선택되지 않는다. 또 다른 실시형태에 있어서, 이스케이프 값의 직접 복사가 사용되고, 예측자가 이스케이프 픽셀인 때 현재 픽셀을 재구성하기 위해 이스케이프 인덱스와 이스케이프 값 둘 다를 직접 복사하거나 또는 예측자의 재구성된 픽셀 값을 직접 복사한다.

Description

인덱스 맵 부호화의 예측자로서 이스케이프 픽셀을 취급하는 방법{METHODS OF HANDLING ESCAPE PIXEL AS A PREDICTOR IN INDEX MAP CODING}
관련 출원에 대한 교차 참조
본 출원은 2014년 7월 7일자 출원된 미국 가특허 출원 제62/021,289호, 2014년 7월 22일자 출원된 미국 가특허 출원 제62/027,334호, 2014년 7월 30일자 출원된 미국 가특허 출원 제62/030,714호, 2014년 8월 11일자 출원된 미국 가특허 출원 제62/035,625호, 2014년 8월 21일자 출원된 미국 가특허 출원 제62/040,020호, 및 2014년 8월 21일자 출원된 미국 가특허 출원 제62/040,022호에 대하여 우선권을 주장한다. 상기 미국 가특허 출원들은 인용에 의해 그 전부가 본원에 통합된다.
기술 분야
본 발명은 영상 데이터의 팔레트 부호화에 관한 것이다. 특히 본 발명은 예측자가 이스케이프 픽셀에 대응할 때 예측자 복사 모드와 연관된 문제들을 해결하는 각종 기술에 관한 것이다.
고효율 영상 부호화(High Efficiency Video Coding, HEVC)는 최근에 개발된 새로운 부호화 표준이다. 고효율 영상 부호화(HEVC) 시스템에서는 H.264/AVC의 고정 크기 매크로 블록이 부호화 단위(coding unit, CU)라고 부르는 플렉시블 블록(flexible block)으로 교체된다. CU 내의 픽셀들은 부호화 효율을 개선하기 위해 동일한 부호화 파라미터들을 공유한다. CU는 HEVC에서 부호화 트리 단위(coded tree unit, CTU)라고도 부르는 최대 CU(largest CU, LCU)로 시작할 수 있다. 부호화 단위의 개념 외에, 예측 단위(prediction unit, PU)의 개념이 또한 HEVC에 도입된다. CU 계층 트리의 분할이 이루어진 때, 각각의 잎(leaf) CU는 예측 유형 및 PU 구획(partition)에 따라 하나 이상의 예측 단위로 추가로 분할된다. 화면 내용 부호화를 위한 몇 가지 부호화 툴이 개발되었다. 본 발명과 관련된 이러한 툴에 대하여 이하에서 간단히 설명한다.
팔레트 부호화
HEVC 화면 내용 부호화(screen content coding, SCC)의 개발 중에, 팔레트 기반 부호화를 다루기 위한 몇 가지 제안이 있었다. 예를 들면, 팔레트 예측 및 공유 기술은 JCTVC-N0247(2013년 7월 25일부터 8월 2일까지 오스트리아 비엔나에서 개최된 ITU-T SG 16 WP 3 및 ISO/IEC JTC 1/SC 29/WG 11의 영상 부호화에 대한 합동 협력팀(JCT-VC)의 14차 회의에서 구오(Guo) 등이 "RCE3: 화면 내용 부호화를 위한 팔레트 모드에서 테스트 3.1의 결과"(RCE3: Results of Test 3.1 on Palette Mode for Screen Content Coding)의 명칭으로 발표한 문서 JCTVC-N0247) 및 JCTVC-O0218(2013년 10월 23일부터 11월 1일까지 스위스 제네바에서 개최된 ITU-T SG 16 WP 3 및 ISO/IEC JTC 1/SC 29/WG 11의 영상 부호화에 대한 합동 협력팀(JCT-VC)의 15차 회의에서 구오(Guo) 등이 "HM-12.0+RExt-4.1에서 팔레트 모드 부호화의 평가"(Evaluation of Palette Mode Coding on HM-12.0+RExt-4.1)의 명칭으로 발표한 문서 JCTVC-O0218)에 개시되어 있다. JCTVC-N0247 및 JCTVC-O0218에서, 각각의 색 성분의 팔레트가 구성되고 전송된다. 팔레트는 비트레이트를 줄이기 위해 그 좌측의 이웃 CU로부터 예측(또는 공유)될 수 있다. 그 다음에, 주어진 블록 내의 모든 픽셀들이 그들의 팔레트 인덱스를 이용하여 부호화된다. JCTVC-N0247에 따른 인코딩 처리의 예가 다음과 같이 나타난다.
1. 팔레트의 전송: 색 인덱스 테이블(팔레트 테이블이라고도 부름) 크기가 먼저 전송되고 그 다음에 팔레트 요소(즉, 색 값(color value))들이 전송된다.
2. 픽셀 값의 전송: CU 내의 픽셀들이 래스터 스캔 순으로 인코딩된다. 하나 이상 픽셀들의 각 그룹에 대하여, 런(run) 기반 모드의 플래그가 먼저 전송되어 "인덱스 복사 모드"가 사용되는지 또는 "상측 복사 모드"가 사용되는지 표시한다.
2.1 "인덱스 복사 모드": 이 런 기반 모드에서, 팔레트 인덱스가 먼저 시그널링되고 그 다음에 런 값을 표시하는 값 "팔레트 런"(palette_run)(예를 들면, M)이 시그널링된다. "인덱스 복사 모드"는 일부 문헌에서 "인덱스" 모드라고도 부른다. 용어 "팔레트 런"은 이 명세서에서 "픽셀 런"(pixel_run) 또는 단순히 "런"이라고도 또한 부를 수 있다. 런 값은 총 M개의 연속적인 샘플이 모두 런 모드를 이용하여 부호화되는 것을 표시한다. 현재 위치와 다음의 M개의 위치는 비트스트림으로 시그널링된 것과 동일한 팔레트 인덱스를 갖기 때문에 상기 현재 위치와 다음의 M개의 위치에 대하여 추가의 정보를 전송할 필요가 없다. 팔레트 인덱스(예를 들면, i)는 또한 3개의 색 성분 모두에 의해 공유되고, 이것은 YUV 색 공간의 경우에 재구성된 픽셀 값이 (Y. U. V) = (paletteY[i], paletteU[i], paletteV[i])임을 의미한다.
2.2 "상측 복사 모드": "상측 복사 모드"에서, 현재 픽셀과 다음의 N개의 픽셀에 대하여 팔레트 인덱스가 상측 행에 있는 대응하는 팔레트 인덱스와 동일하다는 것을 표시하기 위해 값 "팔레트 런"(palette_run)(예를 들면, N)이 전송된다.
3. 나머지의 전송: 스테이지 2에서 전송된 팔레트 인덱스는 픽셀 값으로 다시 변환되고 예측으로서 사용된다. 나머지 정보는 HEVC 잔여 부호화를 이용하여 전송되고 재구성을 위한 예측에 추가된다.
인덱스 복사 모드와 상측 복사 모드는 둘 다 이 명세서에서 "복사 모드"로서 인용된다. 인덱스 복사 모드에서, 인덱스 복사 부호화 픽셀의 선행 픽셀(leading pixel)의 팔레트 인덱스가 전송된다. 인덱스 복사 부호화 픽셀의 수가 또한 전송된다. 디코더 측에서, 하부 픽셀에 대한 부호화 모드(즉, 인덱스 복사 모드)를 결정한 후에는 선행 픽셀의 팔레트 인덱스의 정보 및 인덱스 복사 부호화 픽셀의 수만이 인덱스 복사 부호화 픽셀을 재구성하기 위해 필요하다. 선행 픽셀에 후행하는 픽셀들은 예측자(즉, 좌측의 픽셀)로부터 "복사"함으로써 재구성될 수 있다. 픽셀 값은 팔레트 테이블을 이용하여 재구성될 수 있다. 상측 복사 모드에서는 상측 픽셀이 재구성되었기 때문에 예측자(즉, 상측 픽셀)에 관한 팔레트 인덱스가 전송될 필요가 없다. 현재 픽셀은 상측 픽셀로부터 "복사"될 수 있다.
JCTVC-N0247에서, 각 성분의 팔레트가 구성되고 전송된다. 팔레트는 비트레이트를 줄이기 위해 그 좌측의 이웃 CU로부터 예측(공유)될 수 있다. JCTVC-O0218에서, 팔레트의 각 요소는 3개의 색 성분의 특수 조합을 표시하는 3개 한벌(triplet)이다. 또한, CU 전역에서 팔레트의 예측 부호화는 제거된다.
JCTVC-O0218과 유사한 다른 팔레트 부호화 기술이 또한 개시되었다. 좌측 CU로부터 전체 팔레트 테이블을 예측하는 대신에, 팔레트 내의 개별적인 팔레트 색 엔트리가 상측 CU 또는 좌측 CU 내의 정확한 대응하는 팔레트 색 엔트리로부터 예측된다.
픽셀 팔레트 인덱스 값의 전송을 위해, 예측 부호화 방법이 JCTVC-O0182(2013년 10월 23일부터 11월 1일까지 스위스 제네바에서 개최된 ITU-T SG 16 WP 3 및 ISO/IEC JTC 1/SC 29/WG 11의 영상 부호화에 대한 합동 협력팀(JCT-VC)의 15차 회의에서 구오(Guo) 등이 "AHG8: 주요 색 기반 화면 내용 부호화"(AHG8: Major-color-based screen content coding)의 명칭으로 발표한 문서 JCTVC-O0182)에 개시된 것처럼 인덱스에 적용된다. 3종의 라인 모드, 즉 수평 모드, 수직 모드 및 정상 모드가 각 인덱스 라인을 부호화하기 위해 사용된다. 수평 모드에서, 동일 라인 내의 모든 인덱스는 동일 값을 갖는다. 만일 값이 상측 픽셀 라인의 제1 픽셀과 동일하면, 라인 모드 시그널링 비트만이 전송된다. 그렇지 않으면 인덱스 값이 또한 전송된다. 수직 모드에서는 현재 인덱스 라인이 상측 인덱스 라인과 동일하다고 표시한다. 그러므로 라인 모드 시그널링 비트만이 전송된다. 정상 모드에서는 라인 내의 인덱스들이 개별적으로 예측된다. 각각의 인덱스 위치에 대하여, 좌측 또는 상측 이웃이 예측자로서 사용되고, 예측 기호가 디코더에 전송된다.
또한, 픽셀들은 JCTVC-O0182에 따라서 주요 색 픽셀(팔레트 색을 지시하는 팔레트 인덱스를 가짐)과 이스케이프 픽셀(Escape pixel)로 분류된다. 주요 색 픽셀에 대하여, 픽셀 값이 디코더 측의 주요 색 인덱스(즉, 팔레트 인덱스) 및 팔레트 테이블에 따라 재구성된다. 이스케이프 픽셀에 대하여, 픽셀 값이 비트스트림으로 추가로 시그널링된다.
팔레트 테이블 시그널링
화면 내용 부호화(screen content coding, SCC) 표준의 참조 소프트웨어인 SCM-2.0(2014년 7월 일본 삿포로에서 개최된 ITU-T SG 16 WP 3 및 ISO/IEC JTC 1/SC 29/WG 11의 영상 부호화에 대한 합동 협력팀(JCT-VC)의 18차 회의에서 죠시(Joshi) 등이 "화면 내용 부호화 테스트 모델 2(SCM 2)"(Screen content coding test model 2(SCM 2))의 명칭으로 발표한 문서 번호 JCTVC-R1014)에서, 개선된 팔레트 방식은 JCTVC-R0348(2014년 7월 일본 삿포로에서 개최된 ITU-T SG 16 WP 3 및 ISO/IEC JTC 1/SC 29/WG 11의 영상 부호화에 대한 합동 협력팀(JCT-VC)의 18차 회의에서 오노(Onno) 등이 "런 기반 팔레트 모드에 대한 제안된 결합형 소프트웨어 및 텍스트"(Suggested combined software and text for run-based palette mode)의 명칭으로 발표한 문서 번호 JCTVC-R0348)에 통합된다. 이전의 팔레트 부호화된 CU의 팔레트 테이블은 현재 팔레트 테이블 부호화를 위한 예측자로서 사용된다. 팔레트 테이블 부호화에 있어서, 현재 팔레트 테이블은 이전 부호화된 팔레트 테이블(팔레트 예측자) 내의 어떤 팔레트 색을 재사용할 것인지 선택함으로써, 또는 새로운 팔레트 색을 전송함으로써 시그널링된다. 현재 팔레트의 크기는 예측된 팔레트의 크기(즉, numPredPreviousPalette) 더하기 전송된 팔레트의 크기(즉, num_signalled_palette_entries)로서 설정된다. 예측된 팔레트는 이전에 재구성된 팔레트 부호화 CU로부터 도출된 팔레트이다. 현재 CU를 팔레트 모드로서 부호화할 때, 예측된 팔레트를 이용하여 예측되지 않은 팔레트 색은 비트스트림으로 직접 전송된다(즉, 시그널링된 엔트리).
팔레트 갱신의 예를 이하에서 설명한다. 이 예에서 현재 CU는 6과 같은 팔레트 크기를 가진 팔레트 모드로서 부호화된다. 6개의 주요 색 중 3개가 팔레트 예측자로부터 예측되고(numPredPreviousPalette = 3), 다른 3개가 비트스트림을 통하여 직접 전송된다. 전송된 3개의 색은 아래에 나타낸 예시적인 구문을 이용하여 시그널링될 수 있다.
Figure pct00001
팔레트 크기가 이 예에서 6이므로, 팔레트 색 테이블의 주요 색 엔트리를 표시하기 위해 0-5의 팔레트 인덱스가 사용된다. 3개의 예측된 팔레트 색은 인덱스 0-2로 표시된다. 따라서, 3개의 새로운 팔레트 엔트리가 인덱스 3-5에 대하여 전송된다.
SCM-2.0에서, 만일 파면 병렬 처리(wavefront parallel processing, WPP)가 적용되지 않으면, 팔레트 예측자 테이블은 각 슬라이스의 시작부에서 또는 각 타일의 시작부에서 초기화(리세트)된다. 만일 WPP가 적용되면, 최종 부호화된 팔레트 테이블이 각 슬라이스의 시작부에서 또는 각 타일의 시작부에서 초기화(리세트)될 뿐만 아니라 각 CTU 행의 시작부에서 초기화(리세트)된다.
팔레트 예측 부호화
JCTVC-O0218 및 JCTVC-N0247에서, 팔레트 예측 플래그는 최종 부호화된 팔레트 CU로부터 팔레트를 예측하기 위해 사용된다. 각 엔트리마다 1비트가 사용된다. 만일 팔레트 엔트리의 팔레트 예측 플래그가 1이면, 이 팔레트는 현재 CU에 대하여 재사용된다.
JCTVC-R0348에는 코드워드에 대한 다른 이진화 방법이 개시되어 있고, 여기에서는 각각의 예측된 팔레트 사이의 제로 런들이 부호화된다. 코드워드 N은 다음 팔레트가 1인 플래그를 재사용하기 전에 N개의 제로가 있음을 의미한다. 예를 들면, "0"은 다음 팔레트가 재사용되는 것을 의미하고(즉, 현재 재사용 플래그와 다음 재사용 플래그 1 사이에 0이 없다), "1"은 제2의 다음 팔레트가 재사용되는 것을 의미한다. 제로 런 기반 팔레트 예측의 다른 예가 10개의 팔레트를 가진 팔레트 예측 테이블에 대하여 도 1에 도시되어 있다. 0, 2, 3, 5 및 8에 대응하는 팔레트 테이블 엔트리에 있는 팔레트가 현재 CU에 의해 재사용된다. 예측된 팔레트의 제로 런은 각각 {0, 1, 0, 1, 2}이다.
이진화 방법은 오더-K를 가진 지수 골롬 코드(EG-K 코드), 오더-K를 가진 사절두(truncated) 지수 골롬 코드(사절두 EG-K 코드), 또는 N-비트 사절두 일진법 코드 + EG-K 코드일 수 있다. K는 0, 1, 2 또는 3일 수 있고, N은 0, 1, 2 또는 3일 수 있다.
최종 사용된 팔레트를 시그널링하기 위해, 코드워드에 엔드 코드(EC)를 삽입하는 방법이 JCTVC-R0228(2014년 7월 일본 삿포로에서 개최된 ITU-T SG 16 WP 3 및 ISO/IEC JTC 1/SC 29/WG 11의 영상 부호화에 대한 합동 협력팀(JCT-VC)의 18차 회의에서 세레진(Seregin) 등이 "비-SCCE3: 팔레트 예측자의 런렝스 부호화(Non-SCCE3: Run-length coding for palette predictor)"의 명칭으로 발표한 문서 JCTVC-R0228)에 개시되어 있다. EC와 같거나 EC보다 더 큰 제로 런은 1만큼 증가될 것이다. 디코더 측에서 만일 디코드된 제로 런이 EC와 같으면, 이것은 다른 예측된 팔레트가 없다는 것을 의미한다. 만일 디코드된 제로 런이 EC보다 더 크면, 실제 제로 런은 디코드된 제로 런 빼기 1이다. 예를 들면, EC는 1로 설정되고 1과 같거나 1보다 더 큰 임의의 제로 런은 1만큼 증가될 것이다. 따라서, 도 1의 예에서 인코드/디코드된 코드워드는 도 2에 도시된 것처럼 {0, 2, 0, 2, 3, 1}로 된다.
기존의 팔레트 부호화에 있어서, 디코더는 예측자가 이스케이프 픽셀일 때 문제점에 봉착한다. 예를 들어서 만일 상측 복사 모드가 선택되고 상측 픽셀이 이스케이프 픽셀이면, 이스케이프 픽셀 아래의 현재 픽셀이 적절히 재구성되지 않을 수 있다. 기존의 상측 복사 모드에 따르면, 런 값만이 시그널링된다. 상측 이스케이프 픽셀 아래의 현재 픽셀에 대하여 이스케이프 인덱스가 지정될 수 있다. 그러나 이스케이프 값이 전송되지 않기 때문에, 상측 이스케이프 픽셀 아래의 현재 픽셀이 재구성될 수 없다. 따라서, 이스케이프 픽셀인 예측자와 관련된 문제를 극복하는 방법을 개발하는 것이 요망된다.
복사 모드를 이용한 팔레트 부호화시에 이스케이프 픽셀인 예측자와 관련된 문제를 극복하는 방법이 개시된다. 본 발명의 일 실시형태에 따르면, 상측 복사 모드의 예측자가 이스케이프 픽셀인 경우, 예측자와 연관된 이스케이프 픽셀이 전송된 픽셀 값을 이용하여 재구성될 수 있도록 현재 이스케이프 픽셀의 이스케이프 값이 전송된다. 이스케이프 픽셀의 각 성분에 대한 픽셀 값이 전송될 수 있다. 상측 복사 모드에 의해 예측되는 연속 픽셀의 수에 대응하는 런 값이 시그널링, 도출 또는 추론될 수 있다. 만일 런 값이 시그널링되면, 런 값은 이스케이프 픽셀의 이스케이프 값 앞에 시그널링될 수 있다. 만일 현재 픽셀의 선행 픽셀 위에 위치된 상측 픽셀이 이스케이프 픽셀이면, 런 값은 0이 되도록 제한될 수 있다. 만일 현재 부호화 모드가 인덱스 복사 모드에 대응하고 시그널링된 인덱스가 이스케이프 인덱스이면, 인덱스 복사 모드에 의해 예측되는 연속 픽셀의 수에 대응하는 런 값이 시그널링, 도출 또는 추론될 수 있다. 만일 런 값이 시그널링되면, 런 값은 이스케이프 픽셀의 이스케이프 값 앞에 시그널링될 수 있다. 연속 픽셀들은 이스케이프 픽셀로서 부호화된다. 연속 이스케이프 픽셀의 팔레트 인덱스는 이스케이프 인덱스로서 부호화되고, 이스케이프 픽셀의 이스케이프 값이 전송된다. 조정된 최대 팔레트 인덱스(AdjustedMaxPaletteIndex)는 CU의 제1 샘플을 제외하고 최대 팔레트 인덱스 빼기 1(즉, MaxPaletteIndex - 1)과 같도록 고정된다. 대응하는 디코더 측에 대한 실시예가 또한 논의된다.
다른 실시형태에 있어서, 이스케이프 픽셀인 예측자와 관련된 문제는 인코더 측에 제한을 적용함으로써 해결된다. 상측 복사 모드에서, 현재 픽셀 위에 위치된 상측 픽셀이 이스케이프 픽셀인 때마다 상측 복사 런이 전송되거나, 상측 복사 모드가 현재 픽셀에 대하여 이용불능으로서 지정되거나, 또는 상측 복사 모드가 현재 픽셀에 대하여 선택되지 않는다. 그러므로 이스케이프 픽셀인 예측자와 관련된 문제는 결코 발생하지 않을 것이다.
또 다른 실시형태에 있어서, 이스케이프 픽셀인 예측자와 관련된 문제는 이스케이프 값을, 이스케이프 인덱스와 이스케이프 값 둘 다를, 또는 예측자가 이스케이프 픽셀일 때 예측자의 재구성된 픽셀 값을 직접 복사함으로써 해결된다. 예를 들어서 상측 복사 모드에서 현재 픽셀 위에 위치된 상측 픽셀이 이스케이프 픽셀이면, 현재 픽셀은 이스케이프 인덱스와 이스케이프 값을 복사함으로써, 또는 상측 픽셀의 재구성된 픽셀 값을 복사함으로써 재구성될 수 있다.
또 다른 실시형태에 있어서, 이스케이프 픽셀인 예측자와 관련된 문제는 팔레트 인덱스 0과 같은 미리 규정된 팔레트 인덱스로 예측자를 교체함으로써 해결된다. 예를 들면, 상측 복사 모드에서 이스케이프 픽셀인 임의의 상측 픽셀은 미리 규정된 인덱스로서 취급된다. 다시 말해서, 만일 현재 픽셀이 미리 규정된 인덱스이고 상측 픽셀이 이스케이프 픽셀이면, 상측 복사 런이 계속될 것이다. 인덱스 복사 모드의 경우에, 만일 N개의 연속 픽셀이 이스케이프 픽셀이면, 선행 픽셀은 팔레트 인덱스(즉, 이스케이프 인덱스) 및 픽셀 값(즉, 이스케이프 값)을 전송함으로써 부호화될 것이다. 모든 후행 픽셀들은 미리 규정된 인덱스로서 부호화될 것이다.
도 1은 0, 2, 3, 5 및 8에 대응하는 팔레트 테이블 엔트리가 현재 CU에 의해 재사용되고 예측된 팔레트의 제로 런이 각각 {0, 1, 0, 1, 2}인 경우의 예시적인 제로 런 기반 팔레트 예측을 보인 도이다.
도 2는 "1"에 대응하는 엔드코드(EC)가 재사용 플래그 부호화의 끝을 표시하기 위해 사용되고 도 1에 대응하는 제로 런이 {0, 2, 0, 2, 3, 1}로 되는 경우의 예시적인 제로 런 기반 팔레트 예측을 보인 도이다.
도 3a 및 도 3b는 이웃 픽셀의 색 값을 표 1의 색 인덱스 테이블에 따른 색 인덱스로 변환하는 예를 보인 것으로서, 도 3a의 이웃 픽셀 값이 도 3b의 이웃 픽셀 인덱스로 변환되는 예를 보인 도이다.
도 4는 이웃 픽셀로부터 색 인덱스 예측의 예를 보인 것으로서, 제1 픽셀의 인덱스가 예측자로서 상측 이웃 픽셀을 이용하여 1로서 디코드되는 예를 보인 도이다.
도 5a는 현재 샘플이 "?"로서 표시되고 상측 인덱스가 "A"인, 이전의 상측 복사 모드와 연관된 용장성의 예를 보인 도이다.
도 5b는 현재 샘플이 "?"로서 표시되고 상측-우측 인덱스가 "C"인, 이전의 상측-우측 복사 모드와 연관된 용장성의 예를 보인 도이다.
도 6a는 현재 샘플이 "?"로서 표시되고 좌측 인덱스가 "A"인, 이전의 인덱스 복사 모드와 연관된 용장성의 예를 보인 도이다.
도 6b는 본 발명의 실시형태에 따라 결정된 용장성의 경우에 교체 인덱스 예측자를 이용하는 예를 보인 도이다.
이하에서는 본 발명을 실행하는 최상으로 예상되는 모드에 대하여 설명한다. 이 설명은 본 발명의 일반적인 원리를 예시하기 위한 것이고 제한하는 의도로 해석되지 않아야 한다. 발명의 범위는 첨부된 특허 청구범위를 참고하여 최상으로 결정된다.
예측 모드에서 예측자가 이스케이프 픽셀인 때의 문제점
JCTVC-O0218, JCTVC-N0247 및 JCTVC-O0182에서는 상측 복사 모드 및 인덱스 복사 모드와 같은 몇 가지 예측 모드가 팔레트 인덱스 맵 부호화를 위해 지원된다. 인덱스 복사 모드는 블록 내의 픽셀들이 좌측으로부터 우측으로 래스터 스캔 순으로 처리될 때 좌측 픽셀의 인덱스가 복사되기 때문에 가끔 "좌측 복사 모드"라고도 부른다. 또한, 좌측 복사 모드는 이 명세서에서 트래버스 스캔 순으로 이전 픽셀을 복사하는 데까지 연장될 수 있다. 이러한 모드에서, 색 인덱스는 하나 이상의 상측 샘플 또는 좌측 샘플과 같은 예측자로부터 복사된다. 화면 내용 복사 테스트 모델 2(SCM-2.0)에서는 JCTVC-O0218 및 JCTVC-N0247과 유사한 런 기반 팔레트 부호화 방법이 통합된다. SCM-2.0에서는 상측 복사 모드와 인덱스 복사 모드가 사용된다. 이스케이프 샘플은 런 모드에서 최대 팔레트 크기와 동일한 색 인덱스로 부호화된다. 런 모드에서 만일 부호화된 팔레트 크기가 인덱스 복사 모드에서의 최대 팔레트 크기와 동일하면, 각 성분(예를 들면, R/G/B 성분 또는 Y/U/V 성분)의 값들이 시그널링된다.
그러나 SCM-2.0에서 만일 상측 복사 모드가 사용되고 상측 샘플이 이스케이프 인덱스로서 부호화되면 이스케이프 값이 시그널링되지 않는다. 디코더는 이러한 샘플 값을 재구성하지 못할 것이다. 이러한 문제점을 극복하기 위한 각종 방법을 이하에서 설명한다.
A. 이스케이프 값 시그널링을 위한 인코더 구속
이 실시형태에 따르면, 이스케이프 샘플 또는 이스케이프 색 인덱스가 인덱스 복사 모드 또는 새로운 인덱스 모드만으로 부호화될 수 있도록 인코더 구속이 개시된다. 다시 말해서, 이 경우에 상측 복사 모드와 같은 다른 예측 복사 모드가 허용되지 않는다. 따라서, 상측 복사 모드의 경우에는 상측 픽셀의 넌-이스케이프 픽셀만이 상측 복사 모드의 예측자로서 사용될 수 있다. 그러므로 만일 상측 복사 모드가 적용되면 이스케이프 값을 시그널링할 필요가 없다. 이 명세서에서 샘플과 픽셀은 상호 교환적으로 사용된다. 따라서, 이스케이프 샘플은 이스케이프 픽셀이라고 또한 부를 수 있다.
B. 예측자로서 이스케이프 샘플 비허용
이 실시형태에 따르면, 이스케이프 샘플 또는 이스케이프 색 인덱스는 인덱스 복사 모드 또는 새로운 인덱스 모드만으로 부호화될 수 있다. 다시 말해서, 상측 복사 모드와 같은 다른 예측 복사 모드가 이 경우에 허용되지 않는다. 따라서, 예측자 복사 모드(예를 들면, 상측 복사 모드)가 적용되면 이스케이프 값을 시그널링할 필요가 없다. 또한, 복사 모드에서의 예측자(예를 들면, 상측 복사 모드에서의 상측 샘플)이 이스케이프 샘플이면 복사 모드를 이용할 수 없을 것이다. 복사 모드의 구문은 제거될 수 있다. 예를 들어서 만일 상측 샘플이 이스케이프 샘플이면, 현재 샘플에 대한 상측 복사 모드는 없을 것이다. 예를 들면, 현재 예측 모드는 만일 상측 샘플이 이스케이프 샘플이면 인덱스 복사 모드로서 추론될 수 있다. 다른 예로서, 상측 샘플의 색 인덱스는 상측 복사 모드를 사용하는 경우에 현재 픽셀에 대하여 복사된다. 만일 상측 샘플이 이스케이프 샘플이면, 인덱스 복사 절차가 종료될 수 있다. 예를 들어서 만일 상측 복사 모드가 시그널링되고 런이 5이며 상측 제3 샘플이 이스케이프 샘플이면, 상측 2개의 샘플만을 복사할 것이다. 실제 런 값은 1과 같다.
C. 복사 모드에서의 재구성된 픽셀 값의 직접 복사
복사 모드에서 현재 픽셀 및 후행하는 N개의 픽셀에 대하여 픽셀 값이 복사 모드로 부호화된 각각의 위치(예를 들면, 상측, 좌측, 최상부-좌측, 상측 M 라인, 또는 최상부-우측 위치)에서의 재구성된 픽셀 값과 같다는 것을 표시하기 위해 값 "팔레트 런"(palette_run)(예를 들면, N)이 전송, 도출 또는 추론된다. 이러한 예측자 복사 모드에서는 이스케이프 코드(예를 들면, 이스케이프 값의 부호화)가 필요 없다.
이 방법에서, 팔레트 런은 시그널링된 인덱스가 이스케이프 인덱스와 같다 하더라도 인덱스 복사 모드에 대하여 시그널링될 수 있다. 만일 이스케이프 인덱스에 대한 팔레트 런이 0보다 크면(예를 들면, N), 디코더는 현재 샘플 및 N개의 후행 샘플에 대하여 재구성된 값을 채울 것이다. 이스케이프 값은 팔레트 런 구문 후에 시그널링될 수 있다.
D. 이스케이프 샘플 예측자에 대한 복사 모드에서의 이스케이프 값 및 인덱스의 직접 복사
복사 모드에서 현재 픽셀 및 후행하는 N개의 픽셀에 대하여 색 인덱스가 복사 모드로 부호화된 각각의 위치에서의 각각의 색 인덱스와 같고 색 인덱스가 각각의 복사 모드 위치(예를 들면, 상측, 좌측, 최상부-좌측, 상측 M 라인, 최상부-우측, ...)에서의 색 인덱스와 같다는 것을 표시하기 위해 값 "팔레트 런"(예를 들면, N)이 전송, 도출 또는 추론된다. 그러나 만일 예측자가 이스케이프 샘플이면 현재 샘플은 인덱스(즉, 이스케이프 인덱스)를 복사할 뿐만 아니라 예측자로부터 이스케이프 값(예를 들면, palette_Escape_val)을 복사한다. 이러한 예측자 복사 모드에서는 이스케이프 코드(예를 들면, 이스케이프 값의 부호화)가 필요 없다.
팔레트 런은 시그널링된 인덱스가 이스케이프 인덱스와 같다 하더라도 인덱스 복사 모드에 대하여 시그널링될 수 있다. 만일 이스케이프 인덱스에 대한 팔레트 런이 0보다 크면(예를 들면, N), 디코더는 현재 샘플 및 후행하는 N개의 샘플에 대하여 이스케이프 값을 채울 것이다. 이스케이프 값은 팔레트 런 구문 후에 시그널링될 수 있다. 다른 예로서, 만일 이스케이프 인덱스에 대한 팔레트 런이 0보다 크면, 이스케이프 값의 (N+1)개의 샘플이 시그널링된다.
E. 이스케이프 샘플 예측자에 대한 복사 모드에서의 이스케이프 값의 직접 복사
복사 모드에서 현재 픽셀 및 후행하는 N개의 픽셀에 대하여 색 인덱스가 각각의 복사 모드 위치(예를 들면, 상측, 좌측, 최상부-좌측, 상측 M 라인, 최상부-우측, ...)에서의 색 인덱스와 같다는 것을 표시하기 위해 값 "팔레트 런"(예를 들면, N)이 전송, 도출 또는 추론된다. 그러나 만일 예측자가 이스케이프 샘플이면 현재 샘플은 예측자로부터 이스케이프 값(예를 들면, palette_Escape_val)을 복사하고 현재 인덱스를 미리 규정된 인덱스(예를 들면, 0)로서 설정한다. 이러한 예측자 복사 모드에서는 이스케이프 코드(예를 들면, 이스케이프 값의 부호화)가 필요 없다.
이 방법에서, 팔레트 런은 시그널링된 인덱스가 이스케이프 인덱스와 같다 하더라도 인덱스 복사 모드에 대하여 시그널링될 수 있다. 만일 이스케이프 인덱스에 대한 팔레트 런이 0보다 크면(예를 들면, N), 제1 샘플이 이스케이프 값으로 재구성되고 나머지 샘플들이 미리 규정된 인덱스로 재구성된다. 이스케이프 값은 팔레트 런 구문 후에 시그널링될 수 있다.
F. 이스케이프 샘플 예측자에 대한 예측자 복사 모드에서의 이스케이프 샘플을 미리 규정된 색 인덱스로서 취급
복사 모드에서 현재 픽셀 및 후행하는 N개의 픽셀에 대하여 색 인덱스가 각각의 복사 모드 위치(예를 들면, 상측, 좌측, 최상부-좌측, 상측 M 라인, 최상부-우측, ...)에서의 색 인덱스와 같다는 것을 표시하기 위해 값 "팔레트 런"(예를 들면, N)이 전송, 도출 또는 추론된다. 그러나 만일 예측자가 이스케이프 샘플이면 예측자의 색 인덱스는 본 발명의 실시형태에 따라 미리 규정된 색 인덱스(예를 들면, 0)로서 취급된다. 예를 들어서 만일 상측 복사 모드가 현재 픽셀에 대하여 시그널링되고 예측자(즉, 현재 픽셀 위의 픽셀)가 이스케이프 픽셀이면, 예측자는 미리 규정된 인덱스로서 취급된다. 그러므로 만일 현재 픽셀이 미리 규정된 인덱스와 같으면 상측 복사 런이 계속될 것이다. 디코더 측에서 현재 인덱스는 만일 예측자(즉, 현재 픽셀 위의 픽셀)가 이스케이프 픽셀이면 미리 규정된 인덱스로 설정된다. 이러한 예측자 복사 모드에서는 이스케이프 코드(예를 들면, 이스케이프 값의 부호화)가 필요 없다.
이 실시형태는 인덱스 복사 모드의 경우에도 또한 적용될 수 있다. 그러므로 팔레트 런은 시그널링된 인덱스가 이스케이프 인덱스와 같다 하더라도 인덱스 복사 모드에 대하여 시그널링될 수 있다. 시그널링된 인덱스와 연관된 이스케이프 값은 팔레트 런 구문 후에 시그널링될 수 있다. 만일 이스케이프 인덱스에 대한 팔레트 런이 0보다 크면, 제1 샘플이 이스케이프 값으로 재구성되고 나머지 샘플들이 미리 규정된 인덱스로 재구성된다. 예를 들어서 만일 인덱스 복사 모드가 사용되고 팔레트 런이 4이면, 선행 픽셀은 이스케이프 픽셀이고 후행하는 4개의 픽셀은 미리 규정된 인덱스를 갖는다. 이 실시형태에 따르면 5개의 픽셀이 인덱스 복사 모드를 이용하여 부호화될 것이다. 인덱스 복사 모드는 선행 픽셀을 이스케이프 픽셀로 하고 이 예측자를 미리 규정된 인덱스로서 취급함으로써 관습적인 인덱스 복사 모드로부터 수정된다는 것이 명백하다. 다른 예로서, 만일 이스케이프 인덱스에 대한 팔레트 런이 0보다 크면(예를 들면, N), 제1 샘플이 이스케이프 값으로 재구성되고 나머지 샘플들도 또한 각 샘플에 대한 이스케이프 값을 시그널링할 필요가 있다. 나머지 샘플들은 시그널링된 이스케이프 값으로 각각 재구성된다. 이스케이프 값의 (N+1)개의 샘플이 시그널링된다.
일 실시형태에 따르면, 인덱스 복사 모드에서의 조정된 최대 팔레트 인덱스(AdjustedMaxPaletteIndex)는 부호화 단위(CU)의 제1 샘플을 제외하고 고정된다(예를 들면, MaxPaletteIndex - 1로 고정된다). CU의 제1 샘플에 대하여, AdjustedMaxPaletteIndex는 MaxPaletteIndex와 같다. AdjustedMaxPaletteIndex는 예측자 또는 최종 부호화 인덱스가 이스케이프 샘플인지 여부와 상관없다. 이 파라미터는 고정 길이 코드 부호화 또는 사절두 이진 코드 부호화와 함께 인덱스 부호화를 위해 사용될 수 있다.
G. 예측자가 이스케이프 샘플인 경우에 이스케이프 값 송출
복사 모드에서 현재 픽셀 및 후행하는 N개의 픽셀에 대하여 색 인덱스가 각각의 복사 모드 위치(예를 들면, 상측, 좌측, 최상부-좌측, 상측 M 라인, 최상부-우측, ...)에서의 색 인덱스와 같다는 것을 표시하기 위해 값 "팔레트 런"(예를 들면, N)이 전송, 도출 또는 추론된다. 그러나 만일 예측자가 이스케이프 샘플이면 이스케이프 코드(예를 들면, 이스케이프 값의 부호화)가 본 발명의 실시형태에 따라 이 샘플에 대하여 시그널링된다. 예를 들어서 만일 상측 샘플이 이스케이프 샘플이고 상측 복사 모드가 현재 샘플(현재 이스케이프 픽셀이라고도 부름)에 대하여 선택되면, 현재 샘플에 대한 각 성분의 이스케이프 값이 시그널링된다. 즉, 만일 상측 복사 모드가 선택되고 상측 픽셀이 이스케이프 픽셀이면, 현재 픽셀에 대한 3-성분(예를 들면, YUV 성분 또는 RGB 성분)의 값이 시그널링될 것이다. 이스케이프 값은 "팔레트 런" 후에 시그널링될 수 있다. 시그널링되는 이스케이프 값의 수는 예측자로부터 예측되는 이스케이프 샘플의 수에 의존한다. 또한, 만일 예측자로부터의 제1 샘플이 이스케이프 샘플이면, 팔레트 런은 0으로 추론되거나 0으로 설정될 수 있다.
예측자가 이스케이프 샘플인 경우 팔레트 런이 종료되는 다른 구속이 추가될 수 있다. 이 방법으로 팔레트 런이 종결될 수 있다.
H. 예측자가 이스케이프 샘플인 경우에 이스케이프 런과 함께 이스케이프 값 송출
복사 모드에서 현재 픽셀 및 후행하는 N개의 픽셀에 대하여 색 인덱스가 각각의 복사 모드 위치(예를 들면, 상측, 좌측, 최상부-좌측, 상측 M 라인, 최상부-우측, ...)에서의 색 인덱스와 같다는 것을 표시하기 위해 값 "팔레트 런"(예를 들면, N)이 전송, 도출 또는 추론된다. 그러나 만일 예측자가 이스케이프 샘플이면 이스케이프 코드(예를 들면, 이스케이프 값의 부호화)가 이 샘플에 대하여 시그널링된다. 예를 들어서 만일 상측 샘플이 이스케이프 샘플이고 상측 복사 모드가 선택되면, 각 성분의 이스케이프 값이 현재 샘플(현재 이스케이프 픽셀이라고도 부름)에 대하여 시그널링된다. 이스케이프 값은 "팔레트 런" 직후에 시그널링될 수 있다. 시그널링되는 이스케이프 값의 수는 예측자로부터 예측되는 이스케이프 샘플의 수에 의존한다. 인덱스 복사 모드에 대하여, 시그널링되는 인덱스가 이스케이프 인덱스일 때 팔레트 런은 현재 픽셀 및 후행하는 N개의 픽셀이 이스케이프 샘플임을 표시하기 위해 시그널링될 수 있다. 이스케이프 코드(예를 들면, 이스케이프 값의 부호화)가 이 샘플에 대하여 시그널링된다. 이스케이프 값은 팔레트 런 구문 후에 시그널링될 수 있다.
이 실시형태에 따르면, 인덱스 복사 모드에서의 조정된 최대 팔레트 인덱스(AdjustedMaxPaletteIndex)는 부호화 단위(CU)의 제1 샘플을 제외하고 고정된다(예를 들면, MaxPaletteIndex - 1로 고정된다). CU의 제1 샘플에 대하여, AdjustedMaxPaletteIndex는 MaxPaletteIndex와 같다. AdjustedMaxPaletteIndex는 예측자 또는 최종 부호화 인덱스가 이스케이프 샘플인지 여부와 상관없다. 이 파라미터는 고정 길이 코드 부호화 또는 사절두 이진 코드 부호화와 함께 인덱스 부호화를 위해 사용될 수 있다.
I. 이스케이프 인덱스로부터 인덱스 예측
만일 예측 소스(예를 들면, 상측 인덱스 또는 좌측 인덱스)가 이스케이프 인덱스이면, 현재 샘플의 인덱스는 이스케이프 인덱스로서 추론된다. 현재 샘플에 대한 이스케이프 값이 그 다음에 시그널링된다.
예를 들어서 만일 현재 팔레트 런이 상측 복사 모드로서 시그널링되고 적어도 하나의 상측 샘플이 이스케이프 인덱스이면, 이스케이프 인덱스를 가진 샘플들이 이스케이프 인덱스로서 추론된다. 그 다음에 이스케이프 값이 시그널링된다.
다른 예로서, 만일 현재 팔레트 런이 좌측 복사 모드로서 시그널링되고 좌측 인덱스가 이스케이프 인덱스이면, 현재 샘플이 이스케이프 인덱스로서 추론된다. 그 다음에 이스케이프 값이 시그널링된다. 따라서, 만일 현재 팔레트 런이 인덱스 복사 모드로서 시그널링되고 새로 시그널링된 인덱스가 이스케이프 인덱스이면, 팔레트 런과 연관된 모든 샘플들이 이스케이프 인덱스로서 추론된다. 그 다음에 이스케이프 값이 시그널링된다.
이 실시형태에 있어서, 팔레트 런의 N개의 샘플이 이스케이프 인덱스로서 추론된 때 M개의 이스케이프 픽셀 값이 시그널링되고, 여기에서 N과 M은 양의 정수이다. M은 N과 같을 수 있고, 개별적인 이스케이프 픽셀 값은 이 경우에 팔레트 런의 모든 샘플들에 대하여 시그널링된다. M은 N보다 작을 수 있고 이스케이프 픽셀 값이 팔레트 런의 일부 샘플에 대하여 전송되며 나머지 샘플들이 전송된 이스케이프 값을 공유한다. 예를 들면, M은 1이고 하나의 이스케이프 값이 모든 샘플에 대하여 전송되며, 모든 샘플이 이 이스케이프 값을 공유하도록 이스케이프 인덱스로서 추론된다.
J. 도출된 또는 미리 규정된 인덱스를 이용하여 이스케이프 인덱스로부터 인덱스 예측
만일 예측 소스(예를 들면, 상측 인덱스 또는 좌측 인덱스)가 이스케이프 인덱스이면, 이 소스가 예측을 위해 사용되는 경우에 현재 샘플의 인덱스는 도출된 또는 미리 규정된 인덱스로서 추론된다. 미리 규정된 인덱스는 0일 수 있다.
예를 들어서 만일 현재 팔레트 런이 상측 복사 모드로서 시그널링되고 적어도 하나의 상측 샘플이 이스케이프 인덱스이면, 관련 예측 모드를 이용하는 경우에 이스케이프 인덱스를 가진 샘플들이 도출된 또는 미리 규정된 인덱스로서 추론된다. 미리 규정된 인덱스는 0일 수 있다.
다른 예로서, 만일 현재 팔레트 런이 인덱스 복사 모드에 의해 시그널링되고 좌측 인덱스가 이스케이프 인덱스이면, 관련 예측 모드를 이용하는 경우에 현재 샘플이 도출된 또는 미리 규정된 인덱스로서 추론된다. 미리 규정된 인덱스는 0일 수 있다.
다른 예로서, 만일 현재 팔레트 런이 인덱스 복사 모드에 의해 시그널링되면, 새로 시그널링된 인덱스가 이스케이프 인덱스인지 표시하기 위해 팔레트 런 값이 시그널링될 것이다. 만일 새로 시그널링된 인덱스가 이스케이프 인덱스이면, 팔레트 런의 제1 샘플이 이스케이프 인덱스로서 추론되고 나머지 샘플이 도출된 또는 미리 규정된 인덱스로서 추론된다. 미리 규정된 인덱스는 0일 수 있다.
K. 인덱스 부호화시에 용장 인덱스 제거
SCM 2.0에서, 디코더는 용장 인덱스가 제거될 수 있도록 몇 가지 조건들을 체크할 필요가 있다. 예를 들면, 디코더는 이전 팔레트 런이 상측 복사 모드인지 및 상측 샘플이 이스케이프 인덱스로서 부호화되지 않는지 체크할 수 있다. 만일 상기 2개의 조건이 참이면, 상측 샘플의 인덱스가 용장 인덱스로서 취급되고 인덱스 부호화 중에 제거될 수 있다.
일 실시형태에 있어서, 조건 체크는 파싱(parsing) 단계에서 제거될 수 있다. 만일 CU의 제1 샘플을 제외한 임의의 샘플 위치에서 인덱스 복사 모드가 사용되면, 여기에는 적어도 하나의 용장 인덱스 값이 있다. 그러므로 파싱 단계에서, 디코더는 임의의 조건 체크 없이 고정된 용장 인덱스 수(예를 들면, 1)를 직접 제거할 수 있다.
만일 임의의 예측 방법을 CU의 제1 샘플에 적용하면(예를 들면, CU 경계 전역에서의 예측), 전술한 이스케이프 픽셀 예측이 위에서 설명한 용장성 제거 처리와 결합될 수 있다. 인덱스 값 파싱 방법은 다음과 같이 정제(refine)될 수 있다: 만일 임의의 샘플 위치에서 인덱스 복사 모드가 사용되면, 적어도 하나의 용장 인덱스 값이 있다. 그러므로 파싱 단계에서 디코더는 임의의 조건 체크 없이 고정된 용장 인덱스를 직접 제거할 수 있다.
L. 인덱스 부호화시 용장 인덱스 제거 후 인덱스 값의 재구성
인덱스 재구성 단계에서, 디코더는 제거된 용장 인덱스 값을 계산할 것이다. 만일 파싱된 인덱스 값이 제거된 용장 인덱스 값과 같거나 더 크면, 재구성된 인덱스 값은 파싱된 인덱스 값 더하기 1과 같다. 그렇지 않으면, 재구성된 인덱스 값은 파싱된 인덱스 값과 같다.
상기 "I. 이스케이프 인덱스로부터 인덱스 예측"에서 설명한 실시형태에 기초해서, 만일 예측 소스가 이스케이프 인덱스이면, 제거된 용장 인덱스 값은 이스케이프 인덱스 값이다.
상기 "J. 도출된 또는 미리 규정된 인덱스를 이용하여 이스케이프 인덱스로부터 인덱스 예측"에서 설명한 실시형태에 기초해서, 만일 예측 소스가 이스케이프 인덱스이면, 제거된 용장 인덱스 값은 도출된 또는 미리 규정된 인덱스이다. 미리 규정된 인덱스는 0일 수 있다.
M. 이웃 픽셀로부터 색 인덱스 맵 부호화를 위한 예측
현재 CU의 주요 색 인덱스 맵은 현재 CU의 이웃 픽셀(NP)로부터 예측될 수 있다. 색 인덱스 맵을 부호화할 때, 인코더/디코더는 먼저 이웃 픽셀(NP)을 결정할 수 있다. NP는 현재 부호화 단위의 색 인덱스를 예측하는데 사용될 수 있다. 예측 전에, NP의 픽셀 값이 주요 색 테이블에 의해 색 인덱스에 맵될 수 있고, 맵된 색 인덱스가 현재 부호화 단위의 색 인덱스를 예측하는데 사용된다. 예를 들면, 표 1에 나타낸 바와 같은 현재 부호화 단위의 주요 색 테이블을 이용함으로써, NP의 픽셀 값은 도 3a 및 도 3b에 도시된 바와 같이 색 인덱스에 맵될 수 있고, 이때 이웃 픽셀의 값은 이탤릭체와 괄호로 표시되고 맵된 색 인덱스는 각 NP의 픽셀 값 아래에 표시된다.
색 인덱스 픽셀 값
1 20
2 200
NP는 공간적 이웃 샘플 또는 시간적 이웃 샘플과 각각의 나머지를 포함한 임의의 이전에 디코드되었거나 재구성된 픽셀일 수 있다. 이웃 픽셀들은 샘플 적응 오프셋(sample adaptive offset, SAO) 또는 디블로킹 필터와 같은 임의의 인루프(in-loop) 필터링이 없는 재구성 픽셀일 수 있다. 이웃 픽셀들은 또한 SAO 또는 디블로킹 필터에 의해, 또는 SAO와 디블로킹 필터 둘 다에 의해 필터링된 재구성 픽셀일 수 있다. 시간적 NP는 참조 화상 내 공존 위치 또는 모션 벡터에 의해 표시된 위치에 있는 픽셀일 수 있다. 일 예로서, NP는 최근접 상측 행 및 최근접 좌측 열의 픽셀로 단순화된다.
디코딩 중에, 색 인덱스는 NP에 의해 예측될 수 있다. 도 4는 픽셀의 색 인덱스가 상측 NP에 의해 예측되는 예를 보인 것이다. 이 예에서 제1 픽셀의 인덱스는 1로서 디코드된다.
색 값을 맵핑하는 양자화 방법을 단순화하기 위해, 만일 색 인덱스에 대해 NP가 사용되면, 디코더는 팔레트의 일부 색만을 테스트할 수 있다. 만일 NP에 대한 정합되는 색이 없으면, 디코더는 고정 인덱스 또는 도출된 인덱스를 NP에 지정할 수 있다. 예를 들면, 디코더는 Ntest1으로부터 Ntest2까지의 색 인덱스만을 테스트한다. 만일 정합되는 색이 없으면, 디코더는 NP에게 인덱스 Ntest3를 지정하고 Ntest3는 0일 수 있다. Ntest1과 Ntest2는 고정되거나 도출될 수 있다. Ntest1과 Ntest2는 CU 크기에 따라 도출될 수 있다.
NP에 대한 정합되는 색을 식별하기 위해, 디코더는 NP에 의해 Ntest 색을 또한 테스트할 수 있다. 만일 테스트한 색(Ctest1)과 NP 간의 차가 역치 미만이면, NP는 인덱스 Ctest1이 지정된다. 역치는 고정되거나 도출될 수 있다. 예를 들면, 역치는 QP 설정에 따라 도출될 수 있다. 만일 NP에 대한 역치 미만인 대응하는 차를 가진 테스트 색이 2개 이상 있으면, NP는 차가 더 작은 테스트 색으로 양자화될 수 있다.
색 인덱스에 대한 NP 값의 양자화를 단순화하기 위해, 만일 NP에 대한 역치 미만인 차를 가진 테스트 색이 2개 이상 있으면, NP는 최종 테스트 색으로 양자화될 수 있다. 색을 테스트하는 순서는 최대 인덱스로부터 최소 인덱스로일 수 있다(즉, 최고 발생률의 인덱스 대 최소 발생률의 인덱스). 다시 말해서, 발생률이 높은 인덱스와 발생률이 낮은 인덱스가 둘 다 차 역치 내에 있으면, 발생률이 높은 인덱스가 발생률이 낮은 인덱스를 덮어쓰기할 것이다.
다른 실시형태에 있어서, 만일 NP에 대한 역치 미만인 차를 가진 테스트 색이 2개 이상 있으면, NP는 최초 테스트 색으로 양자화될 수 있다. 색을 테스트하는 순서는 최소 인덱스로부터 최대 인덱스로일 수 있다(즉, 작은 발생률의 인덱스 대 최고 발생률의 인덱스). 테스트 처리는 만일 임의의 테스트 색이 정합되면 일찍 종결될 수 있다.
색 인덱스에 대한 NP 값의 양자화를 단순화하는 다른 방법으로서, 디코더는 팔레트 내의 색을 가진 픽셀과 비교하기 위해 색 값의 NMSB _COLOR MSB만을 이용할 수 있다. NMSB _COLOR는 고정되거나 도출될 수 있다. NMSB _COLOR는 CU 크기에 따라 도출될 수 있다. 다른 색 성분에 대하여 NMSB _COLOR는 다를 수 있다. 예를 들면, Y/G 성분에 대한 NMSB_COLOR는 UV/RB 성분에 대한 NMSB _COLOR보다 더 클 수 있다.
위에서 설명한 "예측 모드의 이스케이프 색" 및 "NP로부터 색 인덱스 맵 부호화를 위한 예측"의 기술은 단일화될 수 있다. 예를 들면, 디코더는 "NP로부터 색 인덱스 맵 부호화를 위한 예측"을 위해 NP를 이스케이프 인덱스에 직접 양자화할 수 있다. 그 결과, 만일 제1행의 픽셀이 상측 복사 모드로서 시그널링되면, 그 픽셀은 이스케이프 인덱스로부터 예측될 것이다. 이스케이프 인덱스로부터의 예측을 다루기 위해, "복사 모드에서 재구성된 값의 직접 복사" 또는 "이스케이프 샘플 예측자에 대한 복사 모드에서 재구성된 값의 직접 복사"를 이용할 수 있다. 다시 말해서, 디코더는 NP의 재구성된 픽셀 값을 제1행의 픽셀에 복사할 것이다. 제1행의 상측으로부터 예측된 픽셀의 재구성 인덱스는 이스케이프 인덱스로서 추론될 수 있다.
본 발명의 일 양태는 "이스케이프" 인덱스를 부호화하기 위해 색 인덱스 부호화를 다룬다. 인덱스 "이스케이프"는 값이 팔레트 테이블 내의 어떠한 인덱스에도 맵될 수 없는 픽셀에 부여된다. 색 인덱스 부호화를 위한 각종 실시형태를 이하에서 설명한다.
i. 이스케이프의 런
JCTVC-N0247에 개시된 팔레트 부호화 방식에서는 인덱스 "이스케이프"를 가진 픽셀을 부호화하기 위해 "인덱스 복사 모드"와 인덱스 "이스케이프"가 먼저 시그널링되고 이어서 그 실제 픽셀 값이 시그널링된다. 인덱스 "이스케이프"를 가진 픽셀이 연속적으로 위치되면, 이 처리는 인덱스 "이스케이프"를 가진 각 픽셀에 대하여 반복된다. 예를 들면, {"인덱스 복사 모드", "이스케이프 인덱스", 값}에 대응하는 구문들의 집합은 인덱스 "이스케이프"를 가진 연속적인 픽셀에 대하여 반복될 수 있다. 일 실시형태에 있어서, "인덱스 복사 모드" 또는 "상측 복사 모드" 외에 새로운 예측 모드(예를 들면, "이스케이프 런 모드")가 이스케이프 인덱스에 포함된다. 모드를 시그널링한 후에, "런의 수"와 픽셀 값이 인덱스 "이스케이프"를 시그널링하지 않고 시그널링된다. 예시적인 처리를 이하에서 설명한다.
1) 각 위치에 대하여, "상측 복사 모드", "인덱스 복사 모드" 및 "이스케이프 런 모드" 중에서 선택된 예측 모드를 표시하기 위해 플래그가 전송된다.
2) 만일 "상측 복사 모드"가 사용되면, "팔레트 런"이 플래그 뒤에 전송된다. 현재 위치로부터 런의 수에 대한 인덱스는 스캔 순서에 따라 상측 라인의 것과 동일하다.
3) 만일 "인덱스 복사 모드"가 사용되면, "팔레트 인덱스"가 플래그 뒤에 시그널링되고 이어서 "팔레트 런"이 시그널링된다. 런의 수에 대하여, 인덱스는 시그널링된 인덱스와 동일하다.
4) 만일 "이스케이프 런 모드"가 사용되면, "팔레트 런"이 시그널링된다. 런의 수에 대한 픽셀 값이 시그널링된다.
ii. 상측 복사 모드에서의 이스케이프
픽셀이 "상측 복사 모드"에 있을 때, 그 픽셀의 인덱스는 스캔 방향을 따라 그 상측 픽셀과 동일하다. 종래 기술은 이스케이프 픽셀 또는 이스케이프 인덱스가 "상측 복사 모드"의 런에 포함된 때의 처리를 규정하지 않는다. 일 실시형태에 있어서, "상측 복사 모드"의 런이 이스케이프 인덱스를 포함하는지 여부가 시그널링된다. 이 실시형태에 따른 예시적인 처리 및 시그널링을 이하에서 설명한다.
1) 만일 "상측 복사 모드"가 사용되면, "팔레트 런"이 모드 플래그 뒤에 시그널링된다. 현재 위치로부터 런의 수에 대한 인덱스는 스캔 순서에 따라 상측 라인의 것과 동일하다.
2) 런의 수 다음에, 임의의 이스케이프 픽셀이 "상측 복사" 픽셀에 존재하는지 표시하기 위해 "런에서의 이스케이프" 플래그가 전송된다.
3) 만일 "런에서의 이스케이프"가 참이면, 이 이스케이프 픽셀의 픽셀 값이 순차적으로 시그널링된다.
상기 예에서, 이스케이프 인덱스의 수가 도출된다. 다른 실시형태에 있어서, "상측 복사 모드"의 현재 집합에서의 "이스케이프" 인덱스의 수가 픽셀 값을 시그널링하기 전에 명시적으로 시그널링될 수 있다. 이 명시적 시그널링은 "런에서의 이스케이프" 플래그를 대체할 수 있다.
iii. "팔레트 런"의 시그널링
"팔레트 런"은 인덱스를 시그널링하기 전 또는 후에 시그널링될 수 있다. 종래 기술에서 "런의 수"는 인덱스 뒤에 시그널링된다. 본 발명의 실시형태에서는 "팔레트 런"의 시그널링 순서가 적응된다. 예를 들면, "팔레트 런"은 만일 "인덱스"가 존재하면 "인덱스" 전에 시그널링되고, 또는 만일 "인덱스"가 존재하지 않으면 예측 모드 뒤에 시그널링된다. 실시형태에 따른 예시적인 처리 및 시그널링을 이하에서 설명한다.
1) 각 위치에 대하여, "상측 복사 모드"와 "인덱스 복사 모드"로부터 선택된 예측 모드를 표시하기 위해 플래그가 먼저 전송된다.
2) "팔레트 런"이 전송된다.
3) "상측 복사 모드"가 사용되는 경우, 현재 위치로부터 런의 수에 대한 인덱스는 스캔 순서에 따라 상측 라인의 것과 동일하다.
4) "인덱스 복사 모드"가 사용되는 경우, "인덱스"가 플래그 뒤에 시그널링된다.
a. 만일 "인덱스"가 "이스케이프"이면, 현재 위치로부터 런의 수에 대한 픽셀 값이 시그널링된다.
b. 만일 "인덱스"가 팔레트 테이블에 있으면, 현재 위치로부터 런의 수에 대한 인덱스는 시그널링된 인덱스와 동일하다.
위에서 설명한 "팔레트 런"의 시그널링 기술은 본 발명에서 개시되는 다른 기술과 결합될 수 있다.
다른 예로서, "팔레트 런"은 예측 모드 및 인덱스 전에 시그널링된다. 예시적인 시그널링 및 처리를 이하에서 설명한다.
1) 각 위치에 대하여, "팔레트 런"이 시그널링된다.
2) "상측 복사 모드"와 "인덱스 복사 모드"로부터 선택된 예측 모드를 표시하기 위해 플래그가 "팔레트 런" 다음에 시그널링된다.
a. "상측 복사 모드"가 사용되는 경우, 현재 위치로부터 런의 수에 대한 인덱스는 스캔 순서에 따라 상측 라인의 것과 동일하다.
b. "인덱스 복사 모드"가 사용되는 경우, "인덱스"가 플래그 뒤에 시그널링된다.
i. 만일 "인덱스"가 "이스케이프"이면, 현재 위치로부터 런의 수에 대한 픽셀 값이 시그널링된다.
ii. 만일 "인덱스"가 팔레트 테이블에 있으면, 현재 위치로부터 런의 수에 대한 인덱스는 시그널링된 인덱스와 동일하다.
위에서 설명한 "팔레트 런"의 시그널링 기술은 본 발명에서 개시되는 다른 기술과 결합될 수 있다.
다른 실시형태에 있어서, "팔레트 런"이 1과 같을 때, 인덱스가 현재 위치에 대하여 시그널링된다. 다시 말해서, 예측 모드의 시그널링은 필요 없다. 만일 인덱스가 이스케이프이면 픽셀 값이 이스케이프 인덱스 뒤에 시그널링된다. 예시적인 시그널링 및 처리를 이하에서 설명한다.
1) 각 위치에 대하여, "팔레트 런"이 시그널링된다.
2) "팔레트 런"이 1과 같으면 "인덱스"가 시그널링된다. 또한, 만일 "인덱스"가 "이스케이프"이면 픽셀 값이 시그널링된다.
3) 그렇지 않으면(즉, "팔레트 런"이 1보다 크면), "상측 복사 모드"와 "인덱스 복사 모드"로부터 선택된 예측 모드를 표시하기 위해 플래그가 "팔레트 런" 다음에 시그널링된다.
a. "상측 복사 모드"가 사용되는 경우, 현재 위치로부터 런의 수에 대한 인덱스는 스캔 순서에 따라 상측 라인의 것과 동일하다.
b. "인덱스 복사 모드"가 사용되는 경우, "인덱스"가 플래그 뒤에 시그널링된다.
i. 만일 "인덱스"가 "이스케이프"이면, 현재 위치로부터 런의 수에 대한 픽셀 값이 시그널링된다.
ii. 만일 "인덱스"가 팔레트 테이블에 있으면, 현재 위치로부터 런의 수에 대한 인덱스는 시그널링된 인덱스와 동일하다.
위에서 설명한 "팔레트 런"의 시그널링 기술은 본 발명에서 개시되는 다른 기술과 결합될 수 있다.
iv. "이스케이프"에 대한 픽셀 값의 시그널링
"이스케이프" 인덱스에 대응하는 픽셀 값이 시그널링될 때, 실제 값이 직접 시그널링될 수 있다. 샘플 값을 직접 시그널링하는 대신에, 실제 값과 참조 값 간의 차가 또한 시그널링될 수 있다(즉, 차동 부호화). 종래 기술에서는 차동 부호화를 위한 참조 값이 동일 CU의 이미 재구성된 이스케이프 값에 기초를 둔다. 본 발명의 일부 실시형태에 있어서, 다른 참조 값이 또한 사용될 수 있다. 예를 들면, 참조 값은 직접 시그널링되거나 도출될 수 있다. 다른 예로서, 참조 값은 팔레트 예측자 테이블 내의 N번째 인덱스일 수 있고, 인덱스 N과 값 차가 시그널링된다. 또 다른 예로서, 참조 값은 이웃 블록으로부터의 재구성된 값일 수 있다. 참조 값은 재구성된 관습적인 인트라/인터 팔레트 값 또는 이스케이프 값일 수 있다. 참조 값은 연속적인 "이스케이프" 픽셀에서 최소 픽셀 값일 수 있다. 또한, 참조 값은 연속적인 "이스케이프" 픽셀에서 N번째 값일 수 있다.
N. 변이 복사 예측을 위한 힐버트 인덱스 스캔
변이 복사(transition copy, TC) 예측에서, 현재 픽셀 및 후행하는 N개의 픽셀에 대하여 팔레트 인덱스가 변이 복사 테이블 도출(transition-copy-table-derived, TCT 도출) 인덱스와 같음을 표시하기 위해 값 "팔레트 런"(예를 들면, N)이 전송 또는 도출된다. N은 1일 수 있다.
디코딩 중에, 디코더는 이전의 K개의 디코드된 인덱스와 후행하는 N개의 인덱스 간의 관계를 기록하기 위해 변이 복사 테이블(TCT)을 유지한다. 그 다음에, 새로운 N개의 인덱스를 디코딩하기 전에, 디코더는 이전의 K개의 디코드된 인덱스를 이용하여 후행하는 N개의 인덱스의 예측 패턴을 조사한다. N과 K는 전송 또는 도출된다.
변이 복사를 위해, 블록 내의 색 인덱스가 블록을 횡단하는 스캔 패턴에 따라 처리된다. 본 발명의 실시형태에 따르면, 인덱스 맵은 힐버트(Hilbert) 스캔 순서를 이용하여 스캔된다. 힐버트 스캔으로부터 야기된 런렝쓰가 그 다음에 인코딩된다. 힐버트 스캔의 경우 시작 위치가 변경될 수 있다. 인덱스 맵은 먼저 회전되고 그 다음에 스캔될 수 있다. 스캔 패턴은 JCTVC-R0348에 개시된 바와 같이 다른 팔레트 관련 부호화를 위해 사용될 수 있다.
O. 용장 예측 모드 구문 제거
본 발명의 일 실시형태는 만일 예측 모드가 용장이면 예측 모드 구문을 제거한다. 예를 들어서 만일 상측 픽셀이 이스케이프 픽셀이면, 상측 복사 모드가 제거되고 예측 모드는 인덱스 복사 모드로서 추론될 수 있다.
다른 예로서, 만일 최종 예측 모드가 인덱스 복사 모드이고, 상측 픽셀이 이스케이프 픽셀이 아니며, 상측 픽셀 및 이전 픽셀의 인덱스가 동일하면, 상측 복사 모드를 제거할 수 있다. 예측 모드는 인덱스 복사 모드로서 추론될 수 있다.
또 다른 예로서, 만일 최종 예측 모드가 인덱스 복사 모드이고 상측 픽셀 및 이전 픽셀의 인덱스가 동일하면 상측 복사 모드를 제거할 수 있다. 예측 모드는 인덱스 복사 모드로서 추론될 수 있다.
또 다른 예로서, 만일 상측 픽셀이 이스케이프 픽셀이면, 또는 만일 최종 예측 모드가 인덱스 복사 모드이고 상측 픽셀 및 이전 픽셀의 인덱스가 동일하면, 상측 복사 모드를 제거할 수 있다. 예측 모드는 인덱스 복사 모드로서 추론될 수 있다.
P. 상측 런 복사 모드의 예측 소스 정제
팔레트 부호화시에, 현재 픽셀의 용장 인덱스 Irun _red는 최종 부호화 예측 모드로부터 도출될 수 있다. 최종 부호화 예측 모드가 아닌 다른 예측 모드의 경우에, 만일 최초 인덱스 예측자가 Irun _red와 동일하면, 최초 인덱스 예측자는 고정 인덱스 또는 도출된 인덱스인 교체 인덱스로 교체될 수 있다. 교체 인덱스는 0, 또는 Irun_red와 동일하지 않은 최소의 가능한 및 비용장 인덱스일 수 있다. 예를 들어서 만일 Irun _red가 0이면 교체 인덱스는 1로 설정될 수 있고; 그렇지 않으면 교체 인덱스는 0으로 설정될 수 있다. 인덱스 교체 방법은 만일 Irun _red가 이스케이프 인덱스와 동일하면 사용하지 못할 수 있다.
SCM 2.0에서 만일 이전 예측 모드가 상측 복사 모드이면 현재 인덱스는 상측 인덱스와 동일하지 않을 수 있다. 그렇지 않으면, 현재 인덱스 부호화는 상측 복사 모드의 이전 런에 합병될 수 있다. 이 용장 인덱스 값은 Irun _red라고 부른다. 도 5a는 현재 샘플을 "?"로서 표시하고 상측 인덱스가 "A"인, 상측 복사 모드와 연관된 용장성의 예를 보인 도이다. 현재 인덱스는 "A"일 수 없고 인덱스 A는 현재 인덱스를 부호화함에 있어서 용장이다. 그러므로 이 경우에 예측 소스의 정제는 다른 예측 모드가 사용되는 경우로서 개시된다. 예를 들어서 만일 예측 모드가 상측 복사 모드이면, 상측-우측 픽셀의 인덱스는 A일 수 없다. 이 인덱스는 도 5b에 도시된 것처럼 인덱스 C와 같은 고정된 인덱스 또는 도출된 인덱스에 대응하는 교체 인덱스로 교체될 수 있다. 여기에서 "C"는 0, 또는 Irun _red와 동일하지 않은 최소의 가능한 및 비용장 인덱스일 수 있다. 예를 들어서 만일 Irun _red가 0이면 인덱스 C는 1로 설정될 수 있고; 그렇지 않으면 인덱스 C는 0으로 설정될 수 있다.
다른 실시형태에 있어서, 만일 이전 예측 모드가 인덱스 복사 모드이면 현재 인덱스는 좌측 인덱스와 동일하지 않을 수 있다. 그렇지 않으면, 현재 인덱스 부호화는 인덱스 복사 모드의 이전 런에 합병될 것이다. 이 용장 인덱스 값은 Irun _red라고 부른다. 도 6a는 현재 샘플을 "?"로서 표시하고 상측 인덱스가 "A"인, 상측 복사 모드와 연관된 용장성의 예를 보인 도이다. 그러나 만일 현재 인코드 예정 인덱스의 상측 인덱스가 Irun _red와 같으면, 현재 인덱스의 상측 복사 예측이 용장성이다. 그러므로 이 경우에 상측 인덱스의 인덱스 예측자는 상측 복사 모드를 사용하는 경우 교체된다.
만일 현재 인코드 예정 인덱스의 상측 인덱스가 도 6a의 인덱스 A와 같이 Irun_red와 같으면, 디코더는 상측 복사 모드의 상측 인덱스의 인덱스 예측자를 도 6b의 인덱스 C와 같은 고정된 인덱스 또는 도출된 인덱스에 대응하는 교체 인덱스로 교체할 수 있다. 인덱스 "C"는 0, 또는 Irun _red와 동일하지 않은 최소의 가능한 및 비용장 인덱스일 수 있다. 예를 들어서 만일 Irun _red가 0이면 인덱스 C는 1로 설정될 수 있고; 그렇지 않으면 인덱스 C는 0으로 설정될 수 있다.
실시형태에 따른 다른 예에 있어서, Irun _red는 상측 2행 복사 모드에서 상측 2행의 인덱스와 같이, 임의의 예측 모드의 용장 인덱스일 수 있다. 만일 최종 부호화 모드가 인덱스 복사 모드이고 이전 부호화 인덱스가 Irun _red와 동일하면, 예측 모드의 Irun _red(예를 들면, 상측 2행 복사 모드에서 상측 2행의 인덱스)는 도출된 인덱스로 교체될 수 있다.
실시형태에 따른 또 다른 예에 있어서, 만일 상측 복사 모드가 선택 가능한 부호화 모드 중의 하나이면, 예측 모드는 인덱스 복사 모드의 런이 상측 복사 모드의 런보다 훨씬 더 큰 경우 상측 복사 모드로 설정된다.
만일 예측자가 교체 인덱스로 교체되면, 인덱스 복사 모드의 인덱스 부호화를 수정할 수 있다. 2개의 용장 인덱스(즉, Irun _red와 교체 인덱스)가 제거될 수 있다. 예를 들어서 만일 최종 부호화 모드가 상측 복사 모드이고 상측 인덱스가 이전 인덱스와 동일하며 상측 인덱스가 이스케이프 인덱스가 아니면, 현재 픽셀에 대한 인덱스 복사 모드의 인덱스 부호화시에 2개의 인덱스가 제거될 수 있다. 2개의 인덱스 중의 하나는 이전 인덱스이고 다른 하나는 용장 인덱스이다.
실시형태에 따른 또 다른 예에 있어서, 만일 최종 부호화 모드가 인덱스 복사 모드이고 상측 인덱스가 이전 인덱스와 동일하며 가능한 최대 인덱스가 2보다 더 크고 상측 인덱스가 이스케이프 인덱스가 아니면, 현재 픽셀에 대한 인덱스 복사 모드의 인덱스 부호화시에 2개의 인덱스가 제거될 수 있다. 2개의 인덱스 중의 하나는 이전 인덱스이고 다른 하나는 용장 인덱스이다.
실시형태에 따른 또 다른 예에 있어서, 만일 최종 부호화 모드가 인덱스 복사 모드이고 상측 인덱스가 이전 인덱스와 동일하며 가능한 최대 인덱스가 2보다 더 크면, 현재 픽셀에 대한 인덱스 복사 모드의 인덱스 부호화시에 2개의 인덱스가 제거될 수 있다. 2개의 인덱스 중의 하나는 이전 인덱스이고 다른 하나는 용장 인덱스이다.
본 발명에 따른 실시형태는 하나 이상의 인덱스 용장성을 체크한다. 이 기술은 이 명세서의 앞에서 설명한 것처럼 TC 정제에 또한 적용될 수 있다. 따라서, 인덱스 용장성에 기초하여 TC 예측자를 정제할 때, 디코더는 전술한 기술에 의해 체크된 추가의 용장성을 또한 고려할 수 있다.
Q. 이웃 픽셀로부터 색 인덱스 맵 부호화를 위한 용장 인덱스 제거
이 명세서의 앞에서 설명한 바와 같이, SCM2.0에는 인덱스 용장성이 존재한다. 만일 이전 런이 상측 복사 런이면, 현재 인덱스는 새로운 좌측 복사 런에 의해 인코드될 때 현재 인덱스의 상측 인덱스와 동일할 수 없다. 그렇지 않으면, 현재 인덱스 부호화는 이전 런에 합병될 수 있다. 반면에, SCM2.0에서는 최초 행에 상측 복사 런이 없다. 그러므로 디코더는 최초 행에서 상측 복사 런의 상기 용장 인덱스 체크를 수행하지 않는다.
다른 실시형태에 따르면, 용장 인덱스 제거는 최초 행에 또한 적용된다. 용장 인덱스 제거 처리는 이웃 픽셀(NP)에 따라 수정된다. 최초 행의 픽셀들을 인코딩할 때, 인코더는 이전 런이 상측 복사 런인지 체크할 수 있다. 현재 인덱스는 새로운 좌측 복사 런에 의해 인코드될 때 현재 인덱스의 상측 NP의 인덱스와 동일할 수 없다. 이 경우에 Irun _red는 현재 인덱스의 상측 NP의 인덱스와 동일하다.
파싱 스루풋을 개선하기 위해, 디코더는 파싱 단계에서 인코딩된 인덱스 값만을 파싱하고(즉, Irun _red 제거) 재구성 단계에서 진정한 팔레트 인덱스를 재구성(즉, Irun _red 추가)할 수 있다. 그러므로 NP로부터 색 인덱스로의 양자화 처리는 파싱 스루풋을 개선하기 위해 재구성 단계로 이동할 수 있다.
전술한 설명은 당업자가 특정 응용 및 그 필요조건과 관련하여 제공된 대로 본 발명을 실시할 수 있게 하기 위해 제시된다. 당업자에게는 설명한 실시형태에 대한 각종 수정이 명백할 것이고, 여기에서 규정된 일반 원리는 다른 실시형태에 적용될 수 있다. 그러므로 본 발명은 도시되고 설명된 특정 실시형태로 제한되지 않고, 여기에서 개시된 원리 및 신규 특징과 일치하는 최광의의 범위로 고려되어야 한다. 전술한 상세한 설명에서, 본 발명의 완전한 이해를 제공하기 위해 각종의 특정 세부들이 설명되었다. 그러나 당업자라면 그러한 세부 없이 본 발명이 실시될 수 있다는 것을 이해할 것이다.
전술한 본 발명의 실시형태는 각종 하드웨어, 소프트웨어 코드 또는 이들의 조합으로 구현될 수 있다. 예를 들면, 본 발명의 실시형태는 여기에서 설명한 처리를 수행하도록 영상 압축 칩에 집적된 하나 이상의 전자 회로 또는 영상 압축 소프트웨어에 통합된 프로그램 코드일 수 있다. 본 발명의 실시형태는 또한 여기에서 설명한 처리를 수행하도록 디지털 신호 프로세서(DSP)에서 실행되는 프로그램 코드일 수 있다. 본 발명은 컴퓨터 프로세서, 디지털 신호 프로세서, 마이크로프로세서 또는 현장 프로그램가능 게이트 어레이(FPGA)에 의해 수행되는 다수의 기능을 또한 수반할 수 있다. 이러한 프로세서들은 본 발명에 의해 구현되는 특수 방법들을 규정하는 기계 판독가능 소프트웨어 코드 또는 펌웨어 코드를 실행함으로써, 본 발명에 따른 특정 태스크를 수행하도록 구성될 수 있다. 상기 소프트웨어 코드 또는 펌웨어 코드는 상이한 프로그래밍 언어 및 상이한 포맷 또는 스타일로 개발될 수 있다. 상기 소프트웨어 코드는 다른 타겟 플랫폼용으로 또한 컴파일될 수 있다. 그러나 소프트웨어 코드의 다른 코드 포맷, 스타일 및 언어, 및 본 발명에 따른 태스크를 수행하도록 코드를 구성하는 다른 수단은 본 발명의 정신 및 범위로부터 벗어나지 않을 것이다.
본 발명은 그 정신 또는 본질적 특성으로부터 벗어나지 않고 다른 특정 형태로 구현될 수 있다. 전술한 예들은 모든 점에서 단지 예시하는 것이지 제한하는 것이 아닌 것으로 생각하여야 한다. 그러므로 본 발명의 범위는 전술한 상세한 설명보다는 첨부된 특허 청구범위에 의해 규정된다. 특허 청구범위의 균등물의 의미 및 범위 내에 있는 모든 변화들은 본 발명의 범위 내에 포함되어야 한다.

Claims (32)

  1. 팔레트 예측이 하나 이상의 제1 픽셀 위에 대응하게 위치된 하나 이상의 제2 픽셀에 기초하여 상기 하나 이상의 제1 픽셀을 예측하기 위한 상측 복사 모드(copy-above mode)를 포함하는, 화상에 대한 팔레트 예측을 이용한 팔레트 모드 부호화 방법에 있어서,
    현재 블록과 연관된 입력 데이터를 수신하는 단계와;
    하나 이상의 현재 픽셀에 대한 현재 부호화 모드를 결정하는 단계와;
    상기 현재 부호화 모드가 상기 상측 복사 모드인 경우, 하나 이상의 상측 픽셀로부터 복사하기 위해 상기 하나 이상의 현재 픽셀에 대하여 상기 하나 이상의 현재 픽셀 위에 대응하게 위치된 하나 이상의 상측 픽셀을 식별하는 단계와;
    상기 하나 이상의 상측 픽셀이 하나 이상의 현재 이스케이프 픽셀(Escape pixel)을 포함한 경우, 상기 하나 이상의 현재 이스케이프 픽셀에 대한 하나 이상의 이스케이프 값을 시그널링하거나, 하나의 이스케이프 픽셀인 제1 상측 픽셀에서 상측 복사 런(copy-above run)을 종결하는 단계
    를 포함한 화상에 대한 팔레트 예측을 이용한 팔레트 모드 부호화 방법.
  2. 제1항에 있어서, 상기 현재 부호화 모드가 상측 복사 모드에 대응하는 경우, 상기 하나 이상의 상측 픽셀에 포함된 상기 하나 이상의 현재 이스케이프 픽셀에 대응하는 각각의 현재 이스케이프 픽셀의 색 성분 각각에 대한 하나의 이스케이프 값이 시그널링되는 것인, 팔레트 모드 부호화 방법.
  3. 제1항에 있어서, 상기 현재 부호화 모드가 상측 복사 모드에 대응하는 경우, 상기 하나 이상의 현재 픽셀의 제1수가 시그널링, 도출 또는 추론되는 것인, 팔레트 모드 부호화 방법.
  4. 제3항에 있어서, 상기 하나 이상의 현재 픽셀의 제1수가 시그널링될 때, 상기 하나 이상의 현재 픽셀의 제1수는, 상기 하나 이상의 현재 이스케이프 픽셀에 대한 상기 하나 이상의 이스케이프 값 전에 시그널링되는 것인, 팔레트 모드 부호화 방법.
  5. 제3항에 있어서, 상기 하나 이상의 상측 픽셀이 하나 이상의 이스케이프 픽셀을 포함하는 경우, 상기 상측 복사 런은 이스케이프 픽셀인 제1 픽셀에서 종결되는 것인, 팔레트 모드 부호화 방법.
  6. 제1항에 있어서, 상기 현재 부호화 모드가 인덱스 복사 모드에 대응하고 대응하는 시그널링된 인덱스가 이스케이프 인덱스인 경우, 상기 하나 이상의 현재 픽셀의 제2수가 시그널링, 도출 또는 추론되는 것인, 팔레트 모드 부호화 방법.
  7. 제6항에 있어서, 상기 하나 이상의 현재 픽셀의 제2수가 시그널링될 때, 상기 하나 이상의 현재 픽셀의 제2수는 상기 하나 이상의 현재 이스케이프 픽셀에 대한 상기 하나 이상의 이스케이프 값 전에 시그널링되는 것인, 팔레트 모드 부호화 방법.
  8. 제7항에 있어서, 상기 하나 이상의 현재 픽셀의 상기 제2수에 대응하는 각 이스케이프 픽셀의 색 성분 각각에 대한 하나의 이스케이프 값이 시그널링되는 것인, 팔레트 모드 부호화 방법.
  9. 팔레트 예측이 하나 이상의 제1 픽셀 위에 대응하게 위치된 하나 이상의 제2 픽셀에 기초하여 상기 하나 이상의 제1 픽셀을 예측하기 위한 상측 복사 모드를 포함하는, 화상에 대한 팔레트 예측을 이용한 팔레트 모드 디코딩 방법에 있어서,
    현재 블록의 압축 데이터를 포함한 입력 부호화 비트스트림을 수신하는 단계와;
    상기 입력 부호화 비트스트림으로부터 하나 이상의 현재 픽셀에 대한 현재 부호화 모드를 파싱하는 단계와;
    상기 현재 부호화 모드가 상기 상측 복사 모드에 대응하는 경우, 상기 하나 이상의 현재 픽셀 위에 대응하게 위치된 하나 이상의 상측 픽셀을 식별하는 단계와;
    상기 하나 이상의 상측 픽셀이 하나 이상의 현재 이스케이프 픽셀을 포함한 경우, 상기 하나 이상의 현재 픽셀의 상기 하나 이상의 현재 이스케이프 픽셀을 재구성하기 위해 상기 입력 부호화 비트스트림으로부터 하나 이상의 픽셀 값을 파싱하는 단계
    를 포함한 화상에 대한 팔레트 예측을 이용한 팔레트 모드 디코딩 방법.
  10. 제9항에 있어서, 상기 현재 부호화 모드가 상측 복사 모드에 대응하는 경우, 상기 하나 이상의 현재 픽셀의 제1수가 파싱, 도출 또는 추론되는 것인, 팔레트 모드 디코딩 방법.
  11. 제10항에 있어서, 상기 하나 이상의 현재 픽셀의 선행하는 현재 픽셀 위에 위치된 상측 픽셀이 하나의 이스케이프 픽셀인 경우, 상기 하나 이상의 현재 픽셀의 상기 제1수는 0으로서 추론되는 것인, 팔레트 모드 디코딩 방법.
  12. 제10항에 있어서, 상기 현재 부호화 모드가 인덱스 복사 모드에 대응하고 대응하는 파싱된 인덱스가 이스케이프 인덱스인 경우, 상기 하나 이상의 현재 픽셀의 제2수가 파싱, 도출 또는 추론되는 것인, 팔레트 모드 디코딩 방법.
  13. 제12항에 있어서, 상기 하나 이상의 현재 픽셀의 제2수가 파싱될 때, 상기 하나 이상의 현재 픽셀의 제2수는, 상기 하나 이상의 현재 이스케이프 픽셀에 대한 하나 이상의 이스케이프 값 전에 파싱되는 것인 팔레트 모드 디코딩 방법.
  14. 제13항에 있어서, 상기 하나 이상의 현재 픽셀의 제2수에 대응하는 각각의 현재 이스케이프 픽셀의 색 성분 각각에 대한 하나의 이스케이프 값이 파싱되는 것인, 팔레트 모드 디코딩 방법.
  15. 제9항에 있어서, 상기 현재 부호화 모드가 인덱스 복사 모드에 대응하는 경우, 조정된 최대 팔레트 인덱스(AdjustedMaxPaletteIndex)는 CU의 제1 샘플을 제외하고 최대 팔레트 인덱스 빼기 1(MaxPaletteIndex - 1)과 같도록 고정되는 것인, 팔레트 모드 디코딩 방법.
  16. 팔레트 예측이 하나 이상의 제1 픽셀 위에 대응하게 위치된 하나 이상의 상측 픽셀에 기초하여 상기 하나 이상의 제1 픽셀을 예측하기 위한 상측 복사 모드를 포함하는, 화상에 대한 팔레트 예측을 이용한 팔레트 모드 부호화 방법에 있어서,
    현재 블록과 연관된 입력 데이터를 수신하는 단계와;
    하나 이상의 현재 픽셀에 대한 현재 부호화 모드를 결정하는 단계와;
    상기 현재 부호화 모드가 상기 상측 복사 모드인 경우, 상기 하나 이상의 현재 픽셀 위에 대응하게 위치된 하나 이상의 상측 픽셀을 식별하는 단계로서, 상기 하나 이상의 상측 픽셀은 넌-이스케이프 픽셀로 제한되는 것인, 상기 하나 이상의 상측 픽셀을 식별하는 단계; 및
    예측자로서 상기 하나 이상의 상측 픽셀을 이용하여 상기 하나 이상의 현재 픽셀을 인코딩하는 단계
    를 포함한 화상에 대한 팔레트 예측을 이용한 팔레트 모드 부호화 방법.
  17. 팔레트 예측이 하나 이상의 제1 픽셀 위에 대응하게 위치된 하나 이상의 제2 픽셀에 기초하여 상기 하나 이상의 제1 픽셀을 예측하기 위한 상측 복사 모드를 포함하는, 화상에 대한 팔레트 예측을 이용한 팔레트 모드 부호화 방법에 있어서,
    현재 블록과 연관된 입력 데이터를 수신하는 단계와;
    하나 이상의 현재 픽셀에 대한 현재 부호화 모드를 결정하는 단계와;
    상기 현재 부호화 모드가 상기 상측 복사 모드인 경우, 하나 이상의 상측 픽셀이 임의의 이스케이프 픽셀을 포함하는지 여부와 관계없이, 상기 하나 이상의 상측 픽셀로부터 복사하기 위해 상기 하나 이상의 현재 픽셀에 대하여 상기 하나 이상의 현재 픽셀 위에 대응하게 위치된 하나 이상의 상측 픽셀을 식별하는 단계와;
    임의의 픽셀 값을 시그널링하지 않고, 상기 하나 이상의 현재 픽셀 내의 다수의 픽셀을 시그널링함으로써 상기 하나 이상의 현재 픽셀을 인코딩하는 단계
    를 포함한 화상에 대한 팔레트 예측을 이용한 팔레트 모드 부호화 방법.
  18. 팔레트 예측이 하나 이상의 제1 픽셀 위에 대응하게 위치된 하나 이상의 제2 픽셀에 기초하여 상기 하나 이상의 제1 픽셀을 예측하기 위한 상측 복사 모드를 포함하는, 화상에 대한 팔레트 예측을 이용한 팔레트 모드 디코딩 방법에 있어서,
    현재 블록의 압축 데이터를 포함한 입력 부호화 비트스트림을 수신하는 단계와;
    상기 입력 부호화 비트스트림으로부터 하나 이상의 현재 픽셀에 대한 현재 부호화 모드를 파싱하는 단계와;
    상기 현재 부호화 모드가 상기 상측 복사 모드인 경우, 상기 하나 이상의 현재 픽셀을 예측하기 위해 상기 하나 이상의 현재 픽셀 위에 대응하게 위치된 하나 이상의 상측 픽셀을 식별하는 단계와;
    하나의 현재 픽셀 위에 위치된 상측 픽셀이 이스케이프 픽셀인 경우, 이스케이프 값을 복사함으로써, 또는 이스케이프 인덱스와 이스케이프 값 둘 다를 복사함으로써, 또는 상측 픽셀의 재구성된 값을 복사함으로써 상기 하나의 현재 픽셀을 재구성하는 단계
    를 포함한 화상에 대한 팔레트 예측을 이용한 팔레트 모드 디코딩 방법.
  19. 화상에 대한 팔레트 예측을 이용한 팔레트 모드 부호화 방법에 있어서,
    현재 블록과 연관된 입력 데이터를 수신하는 단계와;
    하나 이상의 현재 픽셀에 대한 현재 부호화 모드를 결정하는 단계와;
    상기 하나 이상의 현재 픽셀에 대한 하나 이상의 예측자를 결정하는 단계와;
    임의의 예측자가 이스케이프 픽셀인 경우, 상기 예측자를 미리 규정된 팔레트 인덱스에 지정하는 단계와;
    상기 하나 이상의 예측자를 이용하여 상기 하나 이상의 현재 픽셀을 인코딩 또는 디코딩하는 단계
    를 포함한 화상에 대한 팔레트 예측을 이용한 팔레트 모드 부호화 방법.
  20. 제19항에 있어서, 상기 미리 규정된 팔레트 인덱스는 팔레트 인덱스 0에 대응한 것인, 팔레트 모드 부호화 방법.
  21. 제19항에 있어서, 상기 현재 부호화 모드가 상측 복사 모드인 경우, 상기 하나 이상의 예측자는 상기 하나 이상의 현재 픽셀 위에 위치된 하나 이상의 상측 픽셀에 대응한 것인, 팔레트 모드 부호화 방법.
  22. 제19항에 있어서, 상기 현재 부호화 모드가 인덱스 복사 모드인 경우, 상기 하나 이상의 예측자는 선행하는 현재 픽셀에 대응한 것인, 팔레트 모드 부호화 방법.
  23. 제22항에 있어서, 상기 선행하는 현재 픽셀은 이스케이프 인덱스로서 부호화되고, 적어도 하나의 후행하는 현재 픽셀이 존재하는 경우 하나 이상의 후행하는 현재 픽셀은 인코더 측에서 미리 규정된 팔레트 인덱스로서 인코딩되는 것인, 팔레트 모드 부호화 방법.
  24. 제23항에 있어서, 상기 미리 규정된 팔레트 인덱스로서 부호화되는 다수의 후행하는 현재 픽셀을 표시하는 런 값(run_value)이 인코더 측에서 시그널링되는 것인, 팔레트 모드 부호화 방법.
  25. 제22항에 있어서, 상기 이스케이프 픽셀에 대응하는 픽셀 값이 시그널링되는 것인, 팔레트 모드 부호화 방법.
  26. 제22항에 있어서, 파싱된 선행하는 현재 픽셀이 이스케이프 인덱스인 경우, 미리 규정된 팔레트 인덱스에 대응하는 픽셀 인덱스를 가진 다수의 후행하는 현재 픽셀이 디코더 측에서 재구성되고, 상기 후행하는 현재 픽셀의 수는 비트스트림으로부터 파싱된 런 값에 의해 표시되는 것인, 팔레트 모드 부호화 방법.
  27. 제22항에 있어서, 상기 선행하는 현재 픽셀은 이스케이프 인덱스로서 부호화되고, 하나 이상의 후행하는 현재 픽셀은 인코더 측에서 이스케이프 인덱스로서 인코딩되는 것인, 팔레트 모드 부호화 방법.
  28. 제27항에 있어서, 이스케이프 인덱스로서 부호화되는 다수의 후행하는 현재 픽셀을 표시하는 제1수의 런 값이 인코더 측에서 시그널링되는 것인, 팔레트 모드 부호화 방법.
  29. 제28항에 있어서, 상기 하나 이상의 현재 픽셀의 상기 제1수의 런 값 더하기 1에 대응하는 각 이스케이프 픽셀의 색 성분 각각에 대한 하나의 이스케이프 값이 시그널링되는 것인, 팔레트 모드 부호화 방법.
  30. 제28항에 있어서, 파싱된 선행하는 현재 픽셀이 이스케이프 인덱스인 경우, 이스케이프 인덱스에 대응하는 픽셀 인덱스를 가진 다수의 후행하는 현재 픽셀이 디코더 측에서 재구성되고, 상기 후행하는 현재 픽셀의 수는 비트스트림으로부터 파싱된 제1수의 런 값에 의해 표시되는 것인, 팔레트 모드 부호화 방법.
  31. 제28항에 있어서, 상기 하나 이상의 현재 픽셀의 상기 제1수의 런 값 더하기 1에 대응하는 각 이스케이프 픽셀의 색 성분 각각에 대한 하나의 이스케이프 값이 파싱되는 것인, 팔레트 모드 부호화 방법.
  32. 제19항에 있어서, 상기 현재 부호화 모드가 인덱스 복사 모드에 대응하는 경우, 조정된 최대 팔레트 인덱스(AdjustedMaxPaletteIndex)는 CU의 제1 샘플을 제외하고 최대 팔레트 인덱스 빼기 1(MaxPaletteIndex - 1)과 같도록 고정되는 것인 팔레트 모드 부호화 방법.
KR1020177002207A 2014-07-07 2015-07-07 인덱스 맵 부호화의 예측자로서 이스케이프 픽셀을 취급하는 방법 KR101953482B1 (ko)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US201462021289P 2014-07-07 2014-07-07
US62/021,289 2014-07-07
US201462027334P 2014-07-22 2014-07-22
US62/027,334 2014-07-22
US201462030714P 2014-07-30 2014-07-30
US62/030,714 2014-07-30
US201462035625P 2014-08-11 2014-08-11
US62/035,625 2014-08-11
US201462040020P 2014-08-21 2014-08-21
US201462040022P 2014-08-21 2014-08-21
US62/040,022 2014-08-21
US62/040,020 2014-08-21
PCT/CN2015/083442 WO2016004849A1 (en) 2014-07-07 2015-07-07 Methods of handling escape pixel as a predictor in index map coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020177003724A Division KR101962458B1 (ko) 2014-07-07 2015-07-07 인덱스 맵 부호화의 예측자로서 이스케이프 픽셀을 취급하는 방법

Publications (2)

Publication Number Publication Date
KR20170021875A true KR20170021875A (ko) 2017-02-28
KR101953482B1 KR101953482B1 (ko) 2019-02-28

Family

ID=55063576

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020177002207A KR101953482B1 (ko) 2014-07-07 2015-07-07 인덱스 맵 부호화의 예측자로서 이스케이프 픽셀을 취급하는 방법
KR1020177003724A KR101962458B1 (ko) 2014-07-07 2015-07-07 인덱스 맵 부호화의 예측자로서 이스케이프 픽셀을 취급하는 방법
KR1020197008150A KR102069474B1 (ko) 2014-07-07 2015-07-07 인덱스 맵 부호화의 예측자로서 이스케이프 픽셀을 취급하는 방법

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020177003724A KR101962458B1 (ko) 2014-07-07 2015-07-07 인덱스 맵 부호화의 예측자로서 이스케이프 픽셀을 취급하는 방법
KR1020197008150A KR102069474B1 (ko) 2014-07-07 2015-07-07 인덱스 맵 부호화의 예측자로서 이스케이프 픽셀을 취급하는 방법

Country Status (6)

Country Link
US (2) US9749628B2 (ko)
EP (1) EP3167612B1 (ko)
JP (3) JP6417027B2 (ko)
KR (3) KR101953482B1 (ko)
CN (2) CN106537910B (ko)
WO (1) WO2016004849A1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112016012417B1 (pt) 2013-12-18 2023-04-11 Hfi Innovation Inc Método e aparelho para inicialização e gerenciamento de paleta
US10182242B2 (en) * 2013-12-27 2019-01-15 Mediatek Inc. Method and apparatus for palette coding with cross block prediction
CN105981388B (zh) 2013-12-27 2019-05-10 寰发股份有限公司 调色板编码中句法冗余移除的方法和装置
CN110225345B (zh) 2013-12-27 2022-07-19 寰发股份有限公司 用于主颜色索引图编码的方法及装置
WO2015103980A1 (en) 2014-01-07 2015-07-16 Mediatek Inc. Method and apparatus for color index prediction
KR102324004B1 (ko) * 2014-03-14 2021-11-09 브이아이디 스케일, 인크. 스크린 콘텐츠 코딩을 위한 팔레트 코딩
CN114501033B (zh) * 2014-06-20 2023-11-10 寰发股份有限公司 用于视频编码的调色板预测器信令的方法
KR101953482B1 (ko) * 2014-07-07 2019-02-28 에이치에프아이 이노베이션 인크. 인덱스 맵 부호화의 예측자로서 이스케이프 픽셀을 취급하는 방법
WO2016048092A1 (ko) * 2014-09-26 2016-03-31 주식회사 케이티 비디오 신호 처리 방법 및 장치
US20160100177A1 (en) * 2014-10-06 2016-04-07 Qualcomm Incorporated Non-uniform exponential-golomb codes for palette mode coding
KR102470832B1 (ko) * 2014-10-20 2022-11-28 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2016114583A1 (ko) * 2015-01-15 2016-07-21 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR102422484B1 (ko) * 2015-01-29 2022-07-20 주식회사 케이티 비디오 신호 처리 방법 및 장치
US10477244B2 (en) * 2015-01-29 2019-11-12 Kt Corporation Method and apparatus for predicting and restoring a video signal using palette entry and palette mode
US9900624B2 (en) * 2015-02-05 2018-02-20 Mediatek Inc. Methods and apparatus of decoding process for palette syntax
CN107455007B (zh) * 2015-04-02 2021-02-09 株式会社Kt 对视频信号进行编解码的方法
US10448058B2 (en) * 2015-05-21 2019-10-15 Qualcomm Incorporated Grouping palette index at the end and index coding using palette size and run value
JP6545570B2 (ja) * 2015-08-18 2019-07-17 株式会社東芝 符号化装置、復号装置および画像処理装置
GB2547047B (en) * 2016-02-08 2018-07-18 Canon Kk Encoder optimizations for palette lossless encoding of content with subsampled colour component
US11259047B2 (en) 2016-04-06 2022-02-22 Kt Corporation Method and apparatus for processing video signal
CN107135004B (zh) * 2017-04-20 2020-04-03 中国科学技术大学 一种对地震数据流的自适应实时无损压缩方法
WO2021133529A1 (en) * 2019-12-26 2021-07-01 Alibaba Group Holding Limited Methods for coding video data in palette mode
CN111294596B (zh) * 2020-02-13 2023-04-14 辽宁师范大学 基于2d马尔可夫和边缘方向特性的屏幕内容索引图预测方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11308465A (ja) 1998-04-17 1999-11-05 Seiko Epson Corp カラー画像の符号化方法およびその符号化装置ならびにカラー画像の復号化方法およびその復号化装置
US20020080870A1 (en) * 1999-01-07 2002-06-27 Thomas A. Piazza Method and apparatus for performing motion compensation in a texture mapping engine
SG136944A1 (en) * 2004-04-21 2007-11-29 Slipstream Data Inc Method, system and software product for color image encoding
US7525552B2 (en) 2004-04-21 2009-04-28 Slipstream Data Inc. Method, system and software product for color image encoding
JP4515832B2 (ja) * 2004-06-14 2010-08-04 オリンパス株式会社 画像圧縮装置、及び画像復元装置
US11259020B2 (en) * 2013-04-05 2022-02-22 Qualcomm Incorporated Determining palettes in palette-based video coding
US8868954B1 (en) * 2013-05-21 2014-10-21 Microsoft Corporation Low cost storage for rarely read data
US10362333B2 (en) * 2014-01-02 2019-07-23 Qualcomm Incorporated Color index coding for palette-based video coding
KR102324004B1 (ko) * 2014-03-14 2021-11-09 브이아이디 스케일, 인크. 스크린 콘텐츠 코딩을 위한 팔레트 코딩
US10291940B2 (en) * 2014-05-23 2019-05-14 Qualcomm Incorporated Coding runs with escape in palette-based video coding
KR101953482B1 (ko) * 2014-07-07 2019-02-28 에이치에프아이 이노베이션 인크. 인덱스 맵 부호화의 예측자로서 이스케이프 픽셀을 취급하는 방법
US20160345014A1 (en) * 2015-05-20 2016-11-24 Sharp Laboratories Of America, Inc. Systems and methods for coding a number of palette indices

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Seregin V et al: "Non - CE6: Copy mode and escape coded sample", no. JCTVC-S0157-v2, 16 October 2014. *
Zhu J et al: "AHG10: Modified copy above mode for palette based coding", no.JCTVC-Q0174-v2,29 March 2014. *

Also Published As

Publication number Publication date
JP2017139769A (ja) 2017-08-10
US20170105002A1 (en) 2017-04-13
CN110191338B (zh) 2021-09-03
KR101962458B1 (ko) 2019-03-26
KR102069474B1 (ko) 2020-01-22
EP3167612A4 (en) 2017-09-20
CN110191338A (zh) 2019-08-30
CN106537910A (zh) 2017-03-22
KR20190032659A (ko) 2019-03-27
EP3167612A1 (en) 2017-05-17
US20170134725A1 (en) 2017-05-11
JP2019198104A (ja) 2019-11-14
JP6550412B2 (ja) 2019-07-24
KR101953482B1 (ko) 2019-02-28
KR20170020542A (ko) 2017-02-22
CN106537910B (zh) 2019-07-12
US9749628B2 (en) 2017-08-29
WO2016004849A1 (en) 2016-01-14
JP6417027B2 (ja) 2018-10-31
EP3167612B1 (en) 2021-06-16
JP2017525271A (ja) 2017-08-31
US10554979B2 (en) 2020-02-04

Similar Documents

Publication Publication Date Title
KR101962458B1 (ko) 인덱스 맵 부호화의 예측자로서 이스케이프 픽셀을 취급하는 방법
EP3087738B1 (en) Method and apparatus for palette coding with cross block prediction
CA2934743C (en) Method and apparatus for syntax redundancy removal in palette coding
CN110099277B (zh) 调色板大小发信和有条件的调色板例外标志发信的方法
US9788004B2 (en) Method of color index coding with palette stuffing
CN107431827B (zh) 使用调色板编码模式的视频和图像编解码的方法和装置

Legal Events

Date Code Title Description
A201 Request for examination
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right