KR20170103924A - 비-4:4:4 화면 콘텐츠 영상의 팔레트 코딩 - Google Patents

비-4:4:4 화면 콘텐츠 영상의 팔레트 코딩 Download PDF

Info

Publication number
KR20170103924A
KR20170103924A KR1020177022358A KR20177022358A KR20170103924A KR 20170103924 A KR20170103924 A KR 20170103924A KR 1020177022358 A KR1020177022358 A KR 1020177022358A KR 20177022358 A KR20177022358 A KR 20177022358A KR 20170103924 A KR20170103924 A KR 20170103924A
Authority
KR
South Korea
Prior art keywords
chroma
sample
palette
chroma format
format
Prior art date
Application number
KR1020177022358A
Other languages
English (en)
Inventor
샤오유 씨우
얀 예
유웬 헤
Original Assignee
브이아이디 스케일, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 브이아이디 스케일, 인크. filed Critical 브이아이디 스케일, 인크.
Publication of KR20170103924A publication Critical patent/KR20170103924A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

영상 코딩 장치는 비-4:4:4 크로마 포맷으로 포착된 영상을 운반하는 영상 비트스트림을 수신할 수 있다. 팔레트 모드는 영상 비트스트림을 디코딩하기 위해 사용될 수 있다. 영상 비트스트림은 현재 블록에 대하여 4:4:4 크로마 포맷으로 팔레트 테이블 및 팔레트 인덱스 맵을 정의하는 데이터를 포함할 수 있다. 비-4:4:4 크로마 포맷의 루마 샘플 위치에 대한 루마 샘플 값은 루마 샘플 위치, 팔레트 인덱스 맵 및 팔레트 테이블에 기초하여 결정될 수 있다. 팔레트 인덱스 맵에서 4:4:4 크로마 포맷과 연관된 크로마 샘플 위치는 비-4:4:4 크로마 포맷에서 크로마 성분 대 루마 성분 해상도율에 기초하여 도출될 수 있다. 비-4:4:4 크로마 포맷에서 크로마 샘플 위치에 대한 크로마 샘플 값은 도출된 크로마 샘플 위치, 팔레트 인덱스 맵 및 팔레트 테이블에 기초하여 결정될 수 있다.

Description

비-4:4:4 화면 콘텐츠 영상의 팔레트 코딩
관련 출원에 대한 교차 참조
이 출원은 2015년 1월 14일자 출원된 미국 가특허 출원 제62/103,419호에 대한 이익을 주장하며, 상기 가특허 출원은 인용에 의해 그 전부가 본원에 통합된다.
화면 콘텐츠 공유 애플리케이션이 원격 데스크톱, 화상 회의 및/또는 모바일 미디어 프리젠테이션 애플리케이션용으로 활용될 수 있다. 산업은 애플리케이션 필요조건을 가질 수 있다. 화면 콘텐츠는 예컨대 자연적인 영상 콘텐츠에 비하여 내측에 선명한 곡선 및 텍스트가 있을 수 있기 때문에 몇 가지 색(예를 들면, 주요 색) 및/또는 선명한 에지를 가진 복수의 블록을 포함할 수 있다. 영상 압축을 이용하여 화면 콘텐츠을 인코딩하고 및/또는 화면 콘텐츠을 수신기에 전송할 수 있다. 일부 영상 압축 구현은 화면 콘텐츠의 특색(feature)을 충분히 특징화하지 못하고, 및/또는 낮은 압축 성능을 유도할 수 있다. 재구성된 화상(picture)은 품질 문제를 가질 수 있다. 예를 들면, 곡선과 텍스트가 흐릿해질 수 있고, 곡선과 텍스트를 인식하는 것이 어려울 수 있다. 화면 압축 구현은 화면 콘텐츠를 효과적으로 재구성하기 위해 활용될 수 있다.
팔레트 기반 코딩는 예를 들면 화면 콘텐츠의 특성을 고려하여 화면 콘텐츠을 코딩하는 HEVC의 재귀적 쿼드 트리 프레임워크에서 사용될 수 있다.
영상 코딩 장치는 비-4:4:4 영상용의 영상 비트스트림을 수신하도록 구성될 수 있다. 비-4:4:4 크로마 포맷에서 영상용의 영상 비트스트림은 팔레트 모드로 디코딩될 수 있다. 예를 들면, 비트스트림은 현재 블록에 대한 4:4:4 크로마 포맷으로 팔레트 테이블 및 팔레트 인덱스 맵을 정의하는 데이터를 포함할 수 있다. 비-4:4:4 크로마 포맷의 루마 샘플 위치에 대하여, 각각의 루마 샘플 값은 루마 샘플 위치, 팔레트 인덱스 맵 및 팔레트 테이블에 기초하여 결정될 수 있다. 루마 샘플 위치와 연관된 색 인덱스 값이 결정되고, 팔레트 테이블에서 각각의 루마 샘플 값을 조사하기 위해 사용될 수 있다. 비-4:4:4 크로마 포맷의 크로마 샘플 위치에 대하여, 팔레트 인덱스 맵에서 4:4:4 크로마 포맷과 연관된 크로마 샘플 위치는 비-4:4:4 크로마 포맷에서 크로마 성분 대 루마 성분 해상도율에 기초하여 도출될 수 있다. 비-4:4:4 크로마 포맷에서 크로마 샘플 위치에 대한 각각의 크로마 샘플 값은 4:4:4 크로마 포맷과 연관된 상기 도출된 크로마 샘플 위치, 팔레트 인덱스 맵 및 팔레트 테이블에 기초하여 결정될 수 있다.
비-4:4:4 크로마 포맷의 크로마 샘플 위치에 대하여, 크로마 샘플 위치에 대한 크로마 샘플 값은 크로마 샘플 위치가 루마 성분과 연관되는지에 기초하여 결정될 수 있다. 이 결정은 크로마 샘플 위치에 기초를 둘 수 있다. 크로마 샘플 위치에 대한 크로마 샘플 값은 크로마 샘플 위치가 루마 성분에만 연관된다고 결정된 때 버려질 수 있다. 비-4:4:4 크로마 포맷은 4:2:0, 4:2:2 또는 4:0:0 크로마 포맷일 수 있다.
코딩 단위(CU)의 샘플 위치가 이스케이프 색과 연관된다고 결정된 때, 그 샘플 위치 및 비-4:4:4 크로마 포맷은 샘플 위치와 연관된 크로마 성분이 시그널링되는지 여부를 결정하기 위해 사용될 수 있다. 크로마 샘플 값은 샘플 위치와 연관된 크로마 성분이 시그널링된 때 복구될 수 있다. 샘플 위치와 연관된 크로마 성분에 대한 디코딩된 이스케이프 색 값은 크로마 샘플 값을 복구하기 위해 사용될 수 있다.
샘플 위치가 이스케이프 색과 연관되는지 여부는 팔레트 인덱스 맵에서 샘플 위치와 연관된 색 인덱스 값에 기초하여 결정될 수 있다. 샘플 위치가 비-4:4:4 크로마 포맷의 적어도 하나의 크로마 성분과 연관된 때, 그 샘플 위치와 연관된 크로마 성분이 시그널링될 수 있다. 샘플 위치가 비-4:4:4 크로마 포맷의 루마 성분에만 연관된 때, 그 샘플 위치와 연관된 크로마 성분은 시그널링되지 않을 수 있다.
영상 코딩 장치는 비-4:4:4 크로마 포맷으로 포착된 영상을 팔레트 인코딩을 이용하여 인코드할 수 있다. 예를 들면, 비-4:4:4 크로마 포맷과 연관된 영상 블록은 크로마 샘플 위치와 루마 샘플 위치를 포함할 수 있다. 크로마 샘플은 4:4:4 크로마 포맷에 따라 업샘플링될 수 있다. 4:4:4 크로마 포맷과 연관된 팔레트 테이블 및 팔레트 인덱스 맵은 업샘플링된 크로마 샘플 위치 및 루마 샘플 위치에 기초하여 도출될 수 있다. 4:4:4 크로마 포맷과 연관된 팔레트 테이블 및 팔레트 인덱스 맵은 영상 비트스트림에서 인코드될 수 있다. 비트스트림은 루마만의 샘플 위치와 연관된 크로마 샘플 값을 포함할 수 있다. 루마 샘플 위치 부근의 크로마 샘플 위치는 크로마 샘플 위치를 업샘플링하기 위해 사용될 수 있다. 루마 샘플 위치 부근의 크로마 샘플 위치는 루마 샘플 위치에 위상 거리로 가장 가까운 크로마 샘플 위치일 수 있다. 보간 기반 업샘플링은 복수의 크로마 샘플 위치를 업샘플링하기 위해 사용될 수 있다. 보간 기반 업샘플링은 루마 샘플 위치 부근의 크로마 샘플 위치 및 크로마 샘플 위치와 루마 샘플 위치 사이의 위상 거리에 기초를 둘 수 있다.
영상 코딩 장치는 샘플 위치가 이스케이프 색과 연관되는지 여부를 결정할 수 있다. 샘플 위치가 이스케이프 색과 연관된다고 장치가 결정한 때, 장치는 그 샘플 위치 및 비-4:4:4 크로마 포맷에 기초하여 상기 샘플 위치와 연관된 크로마 성분을 시그널링할 것인지 여부를 결정할 수 있다. 장치는 샘플 위치와 연관된 크로마 성분이 시그널링되어야 한다는 결정에 기초하여 영상 비트스트림 내의 크로마 성분을 인코드할 수 있다. 장치는 샘플 위치와 연관된 크로마 성분에 대한 이스케이프 색 값을 인코드할 수 있다. 인코더는 샘플 위치와 연관된 크로마 샘플 값이 샘플 위치가 비-4:4:4 크로마 포맷에서 적어도 하나의 크로마 샘플 값과 연관된 조건에서 시그널링될 수 있다고 결정할 수 있다. 인코더는 샘플 위치가 루마 샘플 값에만 연관된 조건에서 상기 샘플 위치와 연관된 크로마 샘플 값이 시그널링되지 않을 수 있다고 결정할 수 있다.
도 1은 블록 기반형 영상 인코딩 장치의 예시적인 일반적 블록도이다.
도 2는 블록 기반형 영상 디코딩 장치의 예시적인 일반적 블록도이다.
도 3은 예시적인 화면 콘텐츠 공유 시스템을 보인 도이다.
도 4는 팔레트 코딩의 코딩 처리의 예시적인 블록도이다.
도 5는 4:4:4 크로마 포맷에서 루마 성분과 크로마 성분의 예시적인 샘플링 격자를 보인 도이다.
도 6은 4:2:0 크로마 포맷에서 루마 성분과 크로마 성분의 예시적인 샘플링 격자를 보인 도이다.
도 7은 4:2:2 크로마 포맷에서 루마 성분과 크로마 성분의 예시적인 샘플링 격자를 보인 도이다.
도 8은 비-4:4:4 영상에 대한 팔레트 코딩의 인코딩 처리의 예시적인 블록도이다.
도 9는 비-4:4:4 영상에 대한 팔레트 코딩의 디코딩 처리의 예시적인 블록도이다.
도 10A는 하나 이상의 본 발명의 실시형태가 구현될 수 있는 예시적인 통신 시스템의 계통도이다.
도 10B는 도 10A에 도시된 통신 시스템에서 사용될 수 있는 예시적인 무선 송수신 유닛(WTRU)의 계통도이다.
도 10C는 도 10A에 도시된 통신 시스템에서 사용될 수 있는 예시적인 무선 접근 네트워크 및 예시적인 코어 네트워크의 계통도이다.
도 10D는 도 10A에 도시된 통신 시스템에서 사용될 수 있는 다른 예시적인 무선 접근 네트워크 및 다른 예시적인 코어 네트워크의 계통도이다.
도 10E는 도 10A에 도시된 통신 시스템에서 사용될 수 있는 다른 예시적인 무선 접근 네트워크 및 다른 예시적인 코어 네트워크의 계통도이다.
이제, 각종 도면을 참조하면서 예시적인 실시형태를 상세히 설명한다. 비록 이 설명이 가능한 구현의 상세한 예를 제공하지만, 그 세부는 예를 든 것이고 어떻게든 발명의 범위를 제한하는 것으로 의도되지 않는다는 점에 주목하여야 한다.
영상 코딩 시스템은 디지털 영상 신호를 압축하기 위해, 예를 들면 디지털 영상 신호의 저장 필요 공간 및/또는 전송 대역폭을 줄이기 위해 사용될 수 있다. 영상 코딩 시스템은 블록 기반형, 웨이브릿 기반형 및 객체 기반형 시스템과 같은 각종 유형의 것이 있다. 블록 기반형 하이브리드 영상 코딩 시스템이 널리 사용되고 전개되고 있다. 블록 기반형 영상 코딩 시스템의 예로는 MPEG1/2/4 파트 2, H.264/MPEG-4 파트 10 AVC 및 VC-1 표준과 같은 국제 영상 코딩 표준이 있다.
도 1은 블록 기반형 영상 코딩 장치의 일반적인 블록도이다. 도 1은 일반적인 블록 기반형 하이브리드 영상 코딩 시스템의 블록도를 나타낸다. 입력 영상 신호(102)는 블록마다 처리될 수 있다. 영상 블록 단위는 16x16 픽셀을 포함할 수 있다. 이러한 블록 단위는 매크로블록 또는 MB라고 부른다. 고효율 영상 코딩(High Efficiency Video Coding, HEVC)에서, 확장형 블록 크기(예를 들면, "코딩 단위" 또는 CU)는 고해상도(예를 들면, 1080p 등) 영상 신호를 압축(예를 들면, 효율적으로 압축)하기 위해 사용될 수 있다. HEVC에서, CU는 64x64 픽셀일 수 있다. CU는 예측 단위 또는 PU로 분할될 수 있다. 별도의 예측 모드가 PU에 적용될 수 있다. (예를 들면, 각각의) 입력 영상 블록(예를 들면, MB 또는 CU)에 대하여, 공간 예측(160) 및/또는 시간 예측(162)이 수행될 수 있다. 공간 예측 또는 "인트라 예측"은 동일한 또는 이웃하는 영상 화상(video picture)/슬라이스 내의 코딩된 이웃 블록으로부터의 픽셀들을 이용하여 현재 영상 블록을 예측할 수 있다. 공간 예측은 영상 신호에서 공간 중복성을 줄일 수 있다. 시간 예측은 "인터 예측" 또는 "모션 보상 예측"이라고 부를 수 있다. 시간 예측은 코딩된 영상 화상으로부터의 픽셀들을 이용하여 현재 영상 블록을 예측할 수 있다. 시간 예측은 영상 신호에서 시간 중복성을 줄일 수 있다. 영상 블록에 대한 시간 예측 신호는 현재 블록과 그 참조 블록 사이에서 모션의 양 및 방향을 표시하는 하나 이상의 모션 벡터에 의해 시그널링될 수 있다. 만일 복수의 참조 화상이 지원되면, 하나 이상의(예를 들면, 각각의) 영상 블록에 대하여 참조 화상 인덱스가 보내질 수 있다. 참조 인덱스는 참조 화상 기억부(164) 내의 어떤 참조 화상으로부터 시간 예측 신호가 발원하거나 오는지 여부를 식별하기 위해 사용될 수 있다. 영상 코딩 장치의 모드 결정 블록(180)은 예를 들면 공간 및/또는 시간 예측 후에 예측 모드(예를 들면, 최상의 예측 모드)를 선택할 수 있다. 영상 코딩 장치의 모드 결정 블록(180)은 예를 들면 레이트 왜곡(rate-distortion) 최적화 방법에 기초하여 예측 모드(예를 들면, 최상의 예측 모드)를 선택할 수 있다. 예측 블록은 현재 영상 블록(116)으로부터 공제될 수 있다. 예측 잔여(prediction residual)는 예를 들면 목표 비트 레이트를 달성하기 위해 변환(104) 및 양자화(106)를 이용하여 무상관화(de-correlated)될 수 있다. 양자화 잔여 계수는 역양자화(110) 및/또는 역변환(112)되어 재구성 잔여를 형성할 수 있다. 재구성 잔여는 예측 블록(126)에 추가되어 재구성된 영상 블록을 형성할 수 있다. 디블로킹 필터 및 적응적 루프 필터와 같은 인루프(in-loop) 필터링(166)이, 예를 들면 재구성된 영상 블록이 참조 화상 기억부(164)에 저장되거나 및/또는 미래 영상 블록을 코딩하기 위해 사용되기 전에, 상기 재구성된 영상 블록에 적용될 수 있다. 출력 영상 비트스트림(120)을 형성하기 위해, 코딩 모드(예를 들면, 인터 또는 인트라), 예측 모드 정보, 모션 정보 및 양자화 잔여 계수가 비트스트림을 형성하도록 압축 및/또는 패킹 대상의 엔트로피 코딩 유닛(108)에 보내질 수 있다.
도 2는 블록 기반형 영상 코딩 장치의 예시적인 일반적 블록도이다. 도 2는 예를 들면 블록 기반형 영상 디코더를 나타낼 수 있다. 영상 비트스트림(202)은 엔트로피 디코딩 유닛(208)에서 언패킹 및/또는 엔트로피 디코딩될 수 있다. 코딩 모드 및/또는 예측 정보는 예를 들면 공간 예측 유닛(260)에(예를 들면, 인트라 코딩된 경우) 및/또는 시간 예측 유닛(262)에(예를 들면, 인터 코딩된 경우) 보내져서 예측 블록을 형성할 수 있다. 잔여 변환 계수들이 예를 들면 역 양자화 유닛(210) 및/또는 역변환 유닛(212)에 보내져서 잔여 블록을 재구성할 수 있다. 예측 블록 및/또는 잔여 블록은 226에서 합쳐질 수 있다. 재구성된 블록은 예를 들면 참조 화상 기억부(264)에 저장되기 전에 인루프 필터링을 받을 수 있다. 참조 화상 기억부 내의 재구성된 영상(220)은 디스플레이 장치를 구동하도록 보내지거나 및/또는 미래 영상 블록을 예측하기 위해 사용될 수 있다.
예를 들면 사람들이 미디어 프리젠테이션 또는 원격 데스크톱 목적으로 그들의 장치 콘텐츠를 공유하기 때문에 화면 콘텐츠 압축이 더욱 활용될 수 있다. 모바일 장치의 화면 디스플레이는 고선명 또는 초고선명 해상도일 수 있다. 블록 코딩 모드 및 변환과 같은 영상 코딩 툴은 이들이 공유 애플리케이션에서 화면 콘텐츠를 전송하기 위해 대역폭 필요조건을 증가시킬 수 있기 때문에 화면 콘텐츠 인코딩용으로 최적화되지 않을 수 있다. 도 3은 화면 콘텐츠 공유 시스템의 예시적인 블록도이다. 도 3의 화면 콘텐츠 공유 시스템은 수신기, 디코더 및 디스플레이(예를 들면, 렌더러)를 포함할 수 있다. 도 1은 블록 기반형 단일 층 영상 코딩 장치(예를 들면, 영상 인코딩 장치)의 예시적인 블록도를 나타낸다. 도 1에 도시된 것처럼, 효율적인 압축을 달성하기 위해, 영상 코딩 장치(예를 들면, 영상 인코딩 장치)는 공간 예측(예를 들면, 인트라 예측) 및 시간 예측(예를 들면, 인터 예측 및/또는 모션 보상 예측)과 같은 기술을 이용하여 입력 영상 신호를 예측할 수 있다. 영상 코딩 장치(예를 들면, 영상 인코딩 장치)는 예를 들면 레이트와 왜곡의 조합과 같은 소정의 기준에 기초하여 적당한(예를 들면, 가장 적당한) 예측 형태를 결정하는 모드 결정 로직을 가질 수 있다. 영상 코딩 장치(예를 들면, 영상 인코딩 장치)는 예측 잔여(예를 들면, 입력 신호와 예측 신호 간의 차)를 변환 및 양자화할 수 있다. 양자화된 잔여는, 모드 정보(예를 들면, 인트라 또는 인터 예측) 및 예측 정보(예를 들면, 모션 벡터, 참조 화상 인덱스, 인트라 예측 모드 등)와 함께, 엔트로피 코딩기에서 압축되고 및/또는 출력 영상 비트스트림으로 패킹될 수 있다. 도 1에 도시된 것처럼, 영상 코딩 장치(예를 들면, 영상 인코딩 장치)는 재구성된 잔여를 획득하기 위해 예를 들면 상기 양자화된 잔여에 역양자화 및/또는 역변환을 적용함으로써 재구성된 영상 신호를 발생할 수 있다. 영상 코딩 장치(예를 들면, 영상 인코딩 장치)는 예를 들면 상기 재구성된 잔여를 예측 신호에 다시 합산함으로써 재구성된 영상 신호를 발생할 수 있다. 재구성된 영상 신호는 루프 필터 처리(예를 들면, 디블로킹 필터, 샘플 적응 오프셋)를 받을 수 있다. 재구성된 영상 신호는 미래 영상 신호를 예측하기 위해 참조 화상 기억부에 저장될 수 있다.
도 2는 블록 기반형 단일 층 영상 코딩 장치(예를 들면, 영상 디코딩 장치)의 블록도를 나타낸다. 도 2의 영상 코딩 장치(예를 들면, 영상 디코딩 장치)는 도 1의 영상 코딩 장치(예를 들면, 영상 인코딩 장치)에 의해 생성된 비트스트림을 수신하고 디스플레이될 영상 신호를 재구성할 수 있다. 디코더에서, 비트스트림은 엔트로피 디코더에 의해 파싱될 수 있다. 잔여 계수는 재구성된 잔여를 획득하기 위해 역양자화 및/또는 역변환될 수 있다. 코딩 모드 및/또는 예측 정보는 예를 들면 공간 예측 또는 시간 예측을 이용하여 예측 신호를 획득하기 위해 사용될 수 있다. 예측 신호 및 재구성된 잔여는 합산되어 재구성된 영상을 얻을 수 있다. 재구성된 영상은 미래 영상 신호를 디코딩하기 위해 디스플레이 및/또는 사용되도록 참조 화상 기억부에 저장되기 전에 루프 필터링을 받을 수 있다.
MPEG는 예를 들면 전송 대역폭 및 스토리지를 절약하기 위해 영상 코딩 표준으로 적용되어 왔다. 고효율 영상 코딩(HEVC)는 영상 압축 표준이다. HEVC는 ITU-T 영상 코딩 전문가 그룹(VCEG) 및 ISO/IEC 동화상 전문가 그룹(MPEG)에 의해 합동으로 개발되었다. HEVC는 동일한 품질을 가진 H.264에 비하여 50% 대역폭을 절약할 수 있다. HEVC는 인코더 및 디코더가 일반적으로 도 1 및/또는 도 2에 따라 동작하게 하는 블록 기반형 하이브리드 영상 코딩 표준일 수 있다. HEVC는 다른 표준하에서의 영상 블록보다 더 큰 영상 블록을 사용할 수 있게 한다. HEVC는 쿼드 트리 분할을 이용하여 블록 코딩 정보를 시그널링할 수 있다. 화상 또는 슬라이스는 동일하거나 유사한 크기(예를 들면, 64x64)를 가진 코딩 트리 블록(CTB)으로 분할될 수 있다. 하나 이상의(예를 들면, 각각의) CTB는 쿼드 트리를 가진 CU로 분할될 수 있고, 하나 이상의(예를 들면, 각각의) CU는 쿼드 트리를 가진 예측 단위(PU) 및/또는 변환 단위(TU)로 분할될 수 있다. (예를 들면, HEVC에서 1/4 픽셀까지 될 수 있는) 모션 벡터의 정밀도에 따라서, 선형 필터는 부분 위치(fractional position)에서 픽셀 값을 획득하기 위해 적용될 수 있다. HEVC에서, 보간 필터는 루마에 대하여 7 또는 8개의 탭을 갖고 크로마에 대하여 4개의 탭을 가질 수 있다. HEVC에서 디블로킹 필터는 콘텐츠 기반형일 수 있다. 코딩 모드 차, 모션 차, 참조 화상 차, 픽셀 값 차 등과 같은 다수의 인수에 따라서, TU 및 PU 경계에서 다른 디블로킹 필터 동작이 적용될 수 있다. 엔트로피 코딩의 경우에, HEVC는 하나 이상의 블록 레벨 구문 요소에 대하여 콘텍스트 기반 적응 산술 이진 코딩(context-based adaptive arithmetic binary coding, CABAC)를 이용할 수 있다. 상위 레벨 파라미터는 사용할 수도 있고 사용하지 않을 수도 있다. CABAC에는 콘텍스트 기반 코딩 레귤러 빈(bin) 및/또는 콘텍스트 없는 바이패스 코딩 빈과 같은 각종(예를 들면, 2 종류)의 빈이 있을 수 있다.
영상 코딩 설계는 각종의 블록 코딩 모드를 포함할 수 있다. 영상 데이터 또는 신호 데이터 또는 콘텐츠 데이터에서의 공간 중복성이 화면 콘텐츠 코딩를 위해 이용될 수 있다. 카메라 포착형 자연 콘텐츠는 연속 톤 영상 신호를 포함할 수 있다. 화면 콘텐츠는 이산 톤(discrete-tone) 영상 신호를 포함할 수 있다. 텍스트 및 그래픽과 같은 화면 콘텐츠 자료가 자연 콘텐츠에 비하여 다른 특성을 보이기 때문에, 인트라 블록 카피, 팔레트 코딩 및 적응적 색 변환과 같은 코딩 툴이 화면 콘텐츠 코딩를 위해 활용될 수 있다.
팔레트 기반 코딩는 예를 들면 특성을 고려함으로써 화면 콘텐츠를 코딩하도록 HEVC의 재귀적 쿼드 트리 프레임워크에서 사용될 수 있다. 도 4는 팔레트 기반 코딩의 영상 코딩 처리의 예시적 블록도이다. 도 4에 도시된 것처럼, 화면 콘텐츠 영상 내의 영상 블록들은 제한된 수의 주요 색을 포함할 수 있고(예를 들면, 주요 색에 의해 지배될 수 있고), 하나 이상 픽셀들의 색 값(color value)은 그 상측 또는 좌측 픽셀의 색 값과 동일하거나 유사할 수 있다. 영상 블록의 주요 색과 이스케이프 색을 나타내는 색 테이블(color table) 및 인덱스 맵은 예를 들면 모든 픽셀들의 샘플 값을 이용하는 대신에 그 블록의 코딩를 위해 활용될 수 있다. 도 5는 4:4:4 포맷으로 루마 성분과 크로마 성분의 예시적인 샘플링 격자를 보인 도이다. 도 6은 4:2:0 포맷으로 루마 성분과 크로마 성분의 예시적인 샘플링 격자를 보인 도이다. 도 7은 4:2:2 포맷으로 루마 성분과 크로마 성분의 예시적인 샘플링 격자를 보인 도이다. 도 8은 비-4:4:4 영상에 대한 팔레트 코딩의 인코딩 처리의 예시적인 블록도이다. 예를 들면, 도 4에서, 팔레트 모드로 코딩된 하나 이상의(예를 들면, 각각의) 코딩 단위(CU)에 대하여, 그 CU로부터 주요 색들의 집합을 선택함으로써 팔레트 테이블이 도출될 수 있다. 팔레트 인덱스 맵은 CU의 픽셀들을 주요 색과 이스케이프 색으로 분류함으로써 발생될 수 있다. 이스케이프 색은 도 4에서 빈 블록으로서 표시될 수 있다. 주요 색은 도 4에서 패턴화 블록으로서 표시될 수 있다. 색이 팔레트 테이블에서 표시되는 픽셀들에 대하여, 팔레트 테이블 내의 인덱스(예를 들면, 인덱스만)가 인코드될 수 있다. 색이 팔레트 테이블에서 표시되지 않는 픽셀들에 대하여, 그 픽셀들의 색 값은 이스케이프 색으로서 고려될 수 있다. 양자화된 색 값(예를 들면, 손실 코딩가 사용되는 경우)들이 직접 인코딩될 수 있다. 좌측 복사 모드 및 상측 복사 모드와 같은 각종의(예를 들면, 2개의) 예측 코딩 모드가 팔레트 인덱스 맵을 인코딩하기 위해 활용될 수 있다. 좌측 복사 모드에 있어서, 하나의 팔레트 인덱스의 값과 런 값이 시그널링될 수 있다. 런 값은 현재 픽셀과 동일한 팔레트 인덱스를 가진 후속 픽셀들의 수를 표시할 수 있다. 상측 복사 모드에 있어서, 코딩된 픽셀들의 팔레트 인덱스는 그 바로 위에 있는 이웃 픽셀들로부터 복사될 수 있다. 런 값은 대응하는 상측 이웃으로부터 그들의 팔레트 인덱스를 복사하는 후속 픽셀들의 수를 표시하기 위해 시그널링될 수 있다. 예를 들면, 런 값은 대응하는 상측 이웃으로부터 그들의 팔레트 인덱스를 복사하는 후속 픽셀들의 수를 표시하기 위해서만 시그널링될 수 있다. 만일 팔레트 테이블의 크기가 K이면, 팔레트 인덱스 0~K-1을 이용하여 주요 색을 표시할 수 있고, 팔레트 인덱스 K를 이용하여 이스케이프 색을 표시할 수 있다. 표 1은 예시적인 팔레트 모드 구문을 나타낸다.
Figure pct00001
Figure pct00002
Figure pct00003
Figure pct00004
표 1: 예시적인 팔레트 모드 구문
팔레트 모드로 코딩된 하나 이상의(예를 들면, 각각의) CU에 대한 팔레트 테이블을 도출하기 위해 색 군집화(color clustering)를 이용할 수 있다. 현재 CU의 색 값은 K개의 집합으로 군집화될 수 있고, K는 팔레트 테이블의 크기일 수 있다. 현재 CU에서의 최초 색 값은 c={c_0,c_1,…c_(N-1)}로서 표시될 수 있다. 하나 이상의(예를 들면, 각각의) 색 값(c_i)은 3차원 벡터일 수 있고, N은 CU 내 픽셀들의 총 수일 수 있다. 색 군집화 동작은 N 픽셀들의 색을 K(K≤N)개의 집합으로 분할하기 위한 것일 수 있다. S는 색 집합이고, S={S_0,S_1,…S_(K-1)}이다. 예를 들면 수학식 1을 이용하여 군집 내 왜곡을 최소화할 수 있다.
Figure pct00005
μi h는 색 집합(Si)의 중심의 h번째 성분(예를 들면, Y, Cb 및 Cr)일 수 있다. 색 군집의 중심은 현재 CU의 팔레트 테이블을 형성하기 위한 주요 색으로서 사용될 수 있다. 팔레트 테이블은 도출될 수 있다. 하나 이상의(예를 들면, 각각의) 픽셀(c)에 대하여, 팔레트 인덱스(i*)는 픽셀의 색 값을 팔레트 테이블 내의 주요 색으로 변환함으로써 선택될 수 있다. 예를 들면, 수학식 2를 이용하여 i*를 계산할 수 있다. 픽셀과 선택된 주요 색 간의 왜곡은 수학식 2를 이용함으로써 최소화될 수 있다.
Figure pct00006
영상 코딩 시스템은 크로마 성분(예를 들면, YCbCr 포맷에서 Cb와 Cr 성분)보다 루마 성분(예를 들면, YCbCr 포맷에서 Y 성분)에 대하여 더 큰 대역폭을 쓸 수 있다. 영상 코딩 시스템은 크로마 성분을 서브샘플링할 수 있다. 크로마 성분의 서브샘플링은 인간의 시각(vision)이 색보다 휘도의 변화에 더 민감하기 때문에 재구성된 영상에 대한 인지 품질을 감퇴시킬 수도 있고 그렇지 않을 수도 있다. 4:4:4(예를 들면, 도 5), 4:2:2(예를 들면, 도 7) 및 4:2:0(예를 들면, 도 6)은 영상 코딩 시스템에서 사용할 수 있는 예시적인 크로마 서브샘플링 포맷이다. 도 5, 도 7 및 도 6은 각각 4:4:4, 4:2:2 및 4:2:0 크로마 서브샘플링 포맷의 예를 보인 것이다. 도 6에서, 수평 방향 및 수직 방향으로 크로마 성분의 샘플링 레이트는 루마 성분의 샘플링 레이트의 반일 수 있다. 도 7에서, 크로마 성분의 수평 샘플링 레이트는 루마 성분의 샘플링 레이트의 반일 수 있다. 수직 샘플링 레이트는 루마 성분의 샘플링 레이트와 동일할 수 있다. 4:4:4 크로마 포맷은 고충실도를 요구하는 영상 응용에 사용될 수 있다. 도 5에서, 수평 방향 및 수직 방향으로 크로마 성분의 샘플링 레이트는 루마 성분의 샘플링 레이트와 동일할 수 있다. 도 5, 도 6 및 도 7에 도시된 크로마 포맷의 샘플링 격자는 예를 든 것이다. 루마 샘플링 격자와 크로마 샘플링 격자 간의 상대적 위상 편이의 변체를 이용할 수 있다. 예를 들면, 루마 성분과 크로마 성분 간의 각종 상대적 위상 편이를 가진 샘플링 격자들은 4:2:0 서브샘플링에서 사용될 수 있다. Cb 및 Cr 성분들은 수평 방향으로만, 수직 방향으로만, 또는 양측 방향으로, 대응하는 이웃 루마 샘플들 사이의 중간이 서브샘플링될 수 있다.
팔레트 모드는 4:4:4 크로마 포맷, 및 4:2:0 및 4:2:2 포맷과 같은 비-4:4:4 크로마 포맷의 영상 신호를 코딩하기 위해 이용할 수 있다. 비-4:4:4 크로마 포맷은 초분광 이미징(hyperspectral imaging), 의료 및 원격 감지 등과 같은 화면 콘텐츠에 대한 응용에 활용될 수 있다. 영상 장치는 예를 들면 4:4:4 크로마 포맷의 복잡성/대역폭 구속 때문에 4:4:4 크로마 포맷의 영상을 지원할 수도 있고 그렇지 않을 수도 있다. 코딩 툴은 4:2:0 및 4:2:2 포맷과 같은 비-4:4:4 크로마 포맷의 영상 자료들을 코딩하는 것을 지원하기 위해 사용될 수 있다.
팔레트 모드는 비-4:4:4 크로마 포맷인 화면 콘텐츠 영상을 코딩하기 위해 사용될 수 있다. 팔레트 코딩는 비-4:4:4 화면 콘텐츠 영상에 활용될 수 있다. 여기에서 설명하는 예는 임의의 영상 코덱에 적용될 수 있다.
비록 여기에서 설명하는 기술 및 실시예가 4:2:0 및 4:2:2 크로마 포맷과 관련하여 설명되지만, 당업자라면 여기에서 설명하는 기술 및 실시예가 4:0:0, 4:2:1, 4:1:1 및 4:1:0 등과 같은 다른 비-4:4:4 크로마 포맷에 동일하게 적용된다는 것을 이해할 것이다.
일부 팔레트 코딩 구현은 4:4:4 크로마 포맷을 가진 입력 영상을 지원할 수 있다. 팔레트 모드는 비-4:4:4 입력 영상에 대하여 디스에이블될 수 있다. 화면 콘텐츠 자료는 비-4:4:4 크로마 포맷으로 포착될 수 있다. 4:4:4 크로마 포맷용으로 개발된 툴들은 4:2:0 및 4:2:2 크로마 포맷에 대하여 지원 및/또는 테스트될 수 있다.
팔레트 모드는 비-4:4:4 크로마 포맷의 영상에 대하여 인에이블될 수 있다. 이중 팔레트 기반형의 팔레트 코딩가 예를 들면 효율성을 위해 4:2:0 및 4:2:2 크로마 포맷의 화면 콘텐츠 영상에 대하여 활용될 수 있다. 이중 팔레트 기반형의 팔레트 코딩에 있어서, 하나 이상의(예를 들면, 2개의) 팔레트 테이블이 사용될 수 있고, 하나는 루마 성분용이고 다른 것은 2개의 크로마 성분용이다. 예를 들면, 현재 CU로부터의 색(예를 들면, 가장 대표적인 색)이 색 히스토그램에 기초하여 선택될 수 있다. 색 히스토그램은 루마 성분과 크로마 성분에 대하여 별도로 계산될 수 있다. 하나 이상의(예를 들면, 2개의) 팔레트 인덱스 맵이 루마 성분 및 크로마 성분에 대하여 형성될 수 있고, 예를 들면, 하나는 루마 성분용이고 다른 것은 크로마 성분용이다. 예를 들면, 현재 CU의 하나 이상의(예를 들면, 각각의) 픽셀의 루마 성분과 크로마 성분이 2개의 별도의 팔레트 인덱스로 맵될 수 있고, 예를 들면, 하나는 루마 성분용이고 다른 것은 크로마 성분용이다. 도 4에 도시된 것처럼 좌측 복사 모드와 상측 복사 모드는 팔레트 인덱스 맵(예를 들면, 2개의 팔레트 인덱스 맵)을 인코딩하기 위해 사용될 수 있다. 이중 팔레트 기반 구현은 추가의 코딩 이득을 제공할 수 있다.
이중 팔레트 기반 구현을 사용할 때, 루마 성분 및 크로마 성분에 대하여 별도의(예를 들면, 2개의) 팔레트 테이블 및/또는 별도의(예를 들면, 2개의) 팔레트 인덱스 맵이 보내질 수 있다. 팔레트 테이블 및 팔레트 인덱스 맵은 루마 성분 및 크로마 성분에 대하여 별도로 도출될 수 있다. 크로마 샘플의 수는 4:2:0 및 4:2:2 크로마 포맷의 영상에 대하여 루마 샘플의 수보다 더 작을 수 있다. 인코더는 루마 성분 및 크로마 성분에 대한 2개의 팔레트 구문 요소 집합을 별도로 인코딩할 수 있다. 디코더는 루마 성분 및 크로마 성분에 대한 2개의 팔레트 구문 요소 집합을 별도로 파싱할 수 있다.
이중 팔레트 기반 구현을 사용할 때, 디코더는 루마 샘플 및 크로마 샘플을 재구성하기 위해 하나 이상의(예를 들면, 2개의) 별도의 팔레트 디코딩 처리를 수행할 수 있다. 디코더는 루마 팔레트 디코딩 처리에서 Y 성분(예를 들면, Y 성분만)을 디코딩할 수 있다. 디코더는 크로마 팔레트 디코딩 처리에서 Cb 및 Cr 성분을 디코딩할 수 있다. 디코더는 다른 치수를 가진 샘플에서 하나 이상의(예를 들면, 2개의) 디코딩 처리를 수행할 수 있다. 예를 들면, 크로마 블록 크기는 4:2:0 크로마 포맷의 영상에 대하여 루마 블록 크기의 1/4일 수 있다. 크로마 블록 크기는 4:2:2 크로마 포맷의 영상에 대하여 루마 블록 크기의 1/2일 수 있다. 디코더는 이중 팔레트 기반 구현이 사용될 때 하나 이상의(예를 들면, 2개의) 별도의 팔레트 테이블 및 하나 이상의(예를 들면, 2개의) 별도의 팔레트 예측자를 유지할 수 있다. 4:4:4 크로마 포맷의 팔레트 설계는 이중 팔레트 기반 구현과 다를 수 있다. 4:4:4 크로마 포맷의 팔레트 설계는 CU에 대하여 (예를 들면, 단일의) 팔레트 테이블 및/또는 (예를 들면, 단일의) 팔레트 예측자를 활용(예를 들면, 유일하게 활용)할 수 있다.
4:4:4 크로마 포맷의 팔레트 설계는 4:2:0 및 4:2:2 포맷을 지원하도록 확장될 수 있다. 예를 들면, 비-4:4:4 영상은 4:4:4 포맷의 팔레트 설계를 이용한 팔레트 코딩에 의해 코딩될 수 있다.
팔레트 코딩는 비-4:4:4 크로마 포맷의 영상에 대하여 활용될 수 있다. 팔레트 코딩는 4:4:4 크로마 포맷의 영상과 연관된 팔레트 설계와 동일하거나 유사한 구문을 이용할 수 있다(예를 들면, 표 1에 나타낸 것처럼).
도 8은 비-4:4:4 크로마 포맷의 영상에 대한 팔레트 코딩의 인코딩 처리의 예시적 블록도이다. 여기에서 사용되는 것처럼, 픽셀은 4:4:4 크로마 포맷의 동일 위치에서 하나 이상의 성분(예를 들면, 1개의 루마 성분과 2개의 크로마 성분)을 포함한 단일 요소(예를 들면, 샘플)를 포함할 수 있다. 샘플은 4:2:0 및 4:2:2 크로마 포맷의 영상에 대한 루마 성분 또는 2개의 크로마 성분 중의 하나일 수 있는 단일 색 성분을 말할 수 있다. 샘플과 샘플 위치는 상호 교환적으로 사용될 수 있다. 크로마 샘플과 루마 샘플은 예를 들면 크로마 서브샘플링 때문에 4:2:0 및 4:2:2 크로마 포맷에서 다른 픽셀 위치에 위치될 수 있다. 도 8에 도시된 것처럼, 비-4:4:4 크로마 포맷의 영상에 대한 팔레트 구현은 입력 영상의 루마 및 크로마 성분을 더 높은 공간 해상도(예를 들면, 루마 해상도)로 처리할 수 있다. 비-4:4:4 크로마 포맷의 영상에 대한 팔레트 구현은 팔레트 인코더가 도 4에서 4:4:4 크로마 포맷의 영상에 대하여 하는 것과 유사한 방식으로 팔레트 코딩 CU에 대한 비트스트림을 생성할 수 있다. 크로마 업샘플링은 루마 성분의 해상도와 동일하거나 유사한 해상도로 크로마 성분을 업샘플링하기 위해 활용될 수 있다. 입력 영상 블록은 4:4:4 블록일 수 있다. 입력 영상 블록에 대한 팔레트 인코딩 로직이 재사용될 수 있다. 루마 성분의 해상도로 크로마 성분의 해상도를 업샘플링하기 위해, 4:4:4 크로마 포맷의 하나 이상의(예를 들면, 각각의) 픽셀 위치에서 크로마 샘플을 발생하는 다른 예를 사용할 수 있다. 주어진 루마 샘플 위치에 대하여, 루마 샘플 위치 부근의(예를 들면, 위상 거리가 가장 가까운) 위치에 있는 크로마 샘플이 사용될 수 있다. 예를 들면, 가장 가까운 이웃 복사가 적용될 수 있다.
4:4:4 크로마 포맷에서 하나 이상의(예를 들면, 각각의) 루마 샘플 위치에 대하여, 보간 기반 업샘플링 처리를 이용하여 대응하는 크로마 샘플을 발생할 수 있다. 예를 들면, 하기의 보간법이 사용될 수 있다.
Figure pct00007
c*는 업샘플링된 크로마 성분이다. N은 목표 픽셀 위치 부근의(예를 들면, 목표 픽셀 위치에 이웃하는) 크로마 샘플들의 집합이다. ci는 보간시에 사용되는 i번째 크로마 샘플의 값이다. si는 i번째 크로마 샘플에 적용되는 가중 계수이다. 다른 메트릭을 이용하여 si를 도출할 수 있다. 예를 들면, si는 루마 샘플과 크로마 샘플 간의 위상 거리에 따라 도출될 수 있다. 보간 필터를 이용하여 크로마 샘플과 루마 샘플을 동일한 픽셀 위치에 맵할 수 있다. 비-4:4:4 팔레트 코딩에도 동일한 보간 필터를 사용할 수 있다. 도 9는 비-4:4:4 크로마 포맷의 영상에 대한 팔레트 코딩의 디코딩 처리의 예시적인 블록도이다.
도 9는 도 8의 인코딩 처리에 대응할 수 있다. 디코더는 수신된 팔레트 테이블, 팔레트 인덱스 및 식별된 이스케이프 색을 이용하여 4:4:4 포맷으로 중간 블록을 재구성할 수 있다. 현재 CU의 비트스트림은 엔트로피 디코딩 모듈을 이용하여 엔트로피 디코딩될 수 있다. 팔레트 테이블 정보는 현재 CU의 주요 색을 포함한 팔레트 테이블을 형성하도록 팔레트 테이블 재구성 모듈에 보내질 수 있다. 팔레트 코딩 정보(예를 들면, 팔레트 인덱스 및 런렝스) 및 양자화된(예를 들면, 손실 코딩가 적용된 경우) 이스케이프 색은 만일 픽셀이 주요 색으로서 코딩되면 팔레트 인덱스 디코딩 모듈에 보내질 수 있다. 팔레트 코딩 정보(예를 들면, 팔레트 인덱스 및 런렝스) 및 양자화된(예를 들면, 손실 코딩가 적용된 경우) 이스케이프 색은 만일 픽셀이 이스케이프 색으로서 코딩되면 4:4:4 포맷으로 중간 블록의 하나 이상의(예를 들면, 각각의) 픽셀 위치의 색 성분을 재구성하도록 역 양자화 모듈(예를 들면, 손실 코딩가 적용된 경우)에 보내질 수 있다. 크로마 서브샘플링 모듈은 도 9의 예로 보인 것처럼 루마 성분과 크로마 성분의 상이한 해상도로 영상 블록을 재구성하기 위해 사용될 수 있다.
디코더는 크로마 서브샘플링이 사용될 때 복수의 이웃 픽셀 위치로부터 픽셀 위치의 크로마 샘플 값(예를 들면, Cb 및 Cr 성분 샘플 값)을 결정할 수 있다. 디코더는 픽셀 위치의 크로마 샘플 값으로부터 CU의 크로마 샘플 값을 재구성할 수 있다. 복수의 이웃 픽셀 위치는 픽셀 집합이라고 부를 수 있다. 픽셀 집합 내의 픽셀 위치들은 4:4:4 크로마 해상도와 4:2:0 또는 4:2:2 크로마 해상도 사이의 샘플링 레이트 비율에 기초하여 선택될 수 있다. 예를 들면, 도 5, 도 6 및 도 7에 도시된 것처럼, 1 픽셀 집합(예를 들면, 점선 사각형으로 둘러싸인 것)은 4:2:0 크로마 포맷에 대하여 2×2 블록의 픽셀 위치 및 4:2:2 크로마 포맷에 대하여 1×2 블록의 픽셀 위치를 포함할 수 있다. 도 5, 도 6 및 도 7에서 하나 이상의(예를 들면, 각각의) 픽셀 집합에 대하여, 패턴화 픽셀들은 루마 샘플 및 크로마 샘플이 값을 가지는 픽셀 위치일 수 있다. 비패턴화 픽셀들은 루마 샘플만이 값을 가지는 픽셀 위치일 수 있다. 4:2:0 또는 4:2:2 크로마 포맷으로 출력 CU를 재구성하기 위한 크로마 서브샘플링 처리의 일 예에 있어서, 패턴화 픽셀 위치에 위치된 중간 4:4:4 블록 내의 크로마 샘플들은 유지될 수 있다. 비패턴화 픽셀 위치에 위치된 중간 4:4:4 블록 내의 크로마 샘플들은 버려질 수 있다. 도 5, 도 6 및 도 7에서, 패턴화 픽셀들은 각 픽셀 집합의 최상부 좌측 또는 최상부에 위치될 수 있다. 도 5, 도 6 및 도 7은 배열의 예이다. 다른 배열을 사용할 수 있다. 예를 들면, 패턴화 픽셀은 각 픽셀 집합의 최하부 좌측 또는 최하부에 위치될 수 있다. 픽셀(예를 들면, 도 5, 도 6 및 도 7에서 최상부 좌측 또는 최상부 픽셀 외의 픽셀)은 대응하는 크로마 샘플이 최종 출력 4:2:0 또는 4:2:2 영상 블록 내에 유지되는 픽셀 위치로서 선택될 수 있다.
크로마 서브샘플링 처리에서, 보간 기반 서브샘플링 처리는 수학식 4에 나타낸 것처럼 중간 4:4:4 블록으로부터 출력 비-4:4:4 영상 블록으로 크로마 성분을 서브샘플링하기 위해 사용될 수 있다.
Figure pct00008
c+는 서브샘플링된 크로마 성분이다. B는 목표 크로마 샘플의 복수의 이웃 픽셀들을 나타내는 픽셀 집합이다. ui는 픽셀 집합(B)에서 i번째 픽셀의 크로마 성분의 샘플 값이다. hi는 ui에 적용되는 가중 계수이다. 다른 메트릭을 이용하여 hi를 도출할 수 있다. 예를 들면, hi는 루마 샘플과 크로마 샘플 간의 위상 거리에 따라 도출될 수 있다.
비-4:4:4 크로마 포맷의 영상에 대한 영상 비트스트림은 팔레트 모드로 디코딩될 수 있다. 비-4:4:4 포맷의 팔레트 모드에 대한 디코딩 처리의 입력은 현재 화상의 최상부 좌측 샘플에 대한 현재 블록의 최상부 좌측 샘플을 특정하는 위치(xCb, yCb); 현재 블록의 색 성분을 특정하는 변수 cIdx; 현재 블록의 크기를 특정하는 변수 nCbS; 현재 블록의 하나 이상의(예를 들면, 각각의) 샘플에 대한 팔레트 모드를 특정하는 어레이 palette_mode[xCb + x][yCb + y](여기에서 x=0...nCbS-1이고 y=0...nCbS-1임); 팔레트 모드가 ESCAPE와 같지 않은 현재 블록의 하나 이상의(예를 들면, 각각의) 샘플에 대한 팔레트 인덱스를 특정하는 어레이 paletteMap[xCb + x][yCb + y](여기에서 x=0...nCbS-1이고 y=0...nCbS-1임); 및/또는 팔레트 모드가 ESCAPE와 동일한 현재 블록의 하나 이상의(예를 들면, 각각의) 샘플에 대한 양자화 이스케이프 값을 특정하는 어레이 palette_escape_val[xCb + x][yCb + y](여기에서 x=0...nCbS-1이고 y=0...nCbS-1임) 등을 포함할 수 있다.
색 성분의 값(cIdx)에 따라서, 변수 nSubWidth 및 nSubHeight가 도출될 수 있다. 만일 cIdx가 0과 같으면(예를 들면, 샘플이 루마 샘플임), nSubWidth는 1로 설정되고 nSubHeight는 1로 설정될 수 있다. 만일 cIdx가 0과 같지 않으면(예를 들면, 샘플이 크로마 샘플임), nSubWidth는 SubWidthC로 설정되고 nSubHeight는 SubHeightC로 설정될 수 있다. 출력은 팔레트 블록에 대한 재구성된 샘플 값을 특정하는 어레이 recSamples[x][y](여기에서 x=0...nCbS/nSubWidth-1이고 y=0...nCbS/nSubHeight-1임)일 수 있다.
색 성분의 값(cIdx)에 따라서 하기의 지정이 이루어질 수 있다. 만일 cIdx가 0과 같으면, recSamples는 재구성된 화상 샘플 어레이 SL에 대응하고, 함수 clipCidx1은 Clip1Y에 대응할 수 있다. 만일 cIdx가 1과 같으면, recSamples는 재구성된 크로마 샘플 어레이 SCb에 대응하고, 함수 clipCidx1은 Clip1C에 대응할 수 있다. 만일 cIdx가 2와 같으면, recSamples는 재구성된 크로마 샘플 어레이 SCr에 대응하고, 함수 clipCidx1은 Clip1C에 대응할 수 있다.
영상 디코딩 장치는 비-4:4:4 크로마 포맷으로 하나 이상의 CU를 수신할 수 있다. 예를 들면, 비트스트림은 현재 블록에 대하여 4:4:4 크로마 포맷으로 팔레트 테이블 및 팔레트 인덱스 맵을 정의하는 데이터를 포함할 수 있다. 비-4:4:4 크로마 포맷의 루마 샘플 위치에 대하여, 각각의 루마 샘플 값은 루마 샘플 위치, 팔레트 인덱스 맵 및 팔레트 테이블에 기초하여 결정될 수 있다. 루마 샘플 위치와 연관된 색 인덱스 값이 결정되고 팔레트 테이블의 각각의 루마 샘플 값을 조사하기 위해 사용될 수 있다.
영상 디코딩 장치는 비-4:4:4 크로마 포맷으로 CU를 얻기 위해 4:4:4 크로마 포맷으로 CU를 서브샘플링할 수 있다. 비-4:4:4 크로마 포맷의 크로마 샘플 위치에 대하여, 팔레트 인덱스 맵에서 4:4:4 크로마 포맷과 연관된 크로마 샘플 위치는 비-4:4:4 크로마 포맷의 크로마 성분에 대한 루마 성분의 해상도율에 기초하여 도출될 수 있다. 4:4:4 크로마 포맷의 크로마 샘플 위치에 대하여, 팔레트 인덱스 맵에서 비-4:4:4 크로마 포맷과 연관된 크로마 샘플 위치는 비-4:4:4 크로마 포맷의 크로마 성분에 대한 4:4:4 크로마 포맷의 크로마 성분의 해상도율에 기초하여 도출될 수 있다. 비-4:4:4 크로마 포맷의 하나 이상의 CU의 크로마 성분에 대하여, 영상 코딩 장치는 4:4:4 크로마 포맷의 대응하는 크로마 성분들을 둘 수 있다. 영상 디코딩 장치는 4:4:4 크로마 포맷 좌표 내의 위치를 비-4:4:4 포맷 좌표 내의 대응하는 위치에 맵할 수 있다. 예를 들면, 크로마 포맷 좌표는 변수 nSubWidth 및 nSubHeight에 기초하여 계산될 수 있다. 파라미터 nSubWidth는 비-4:4:4 크로마 포맷의 크로마 성분의 수평 해상도에 대한 4:4:4 크로마 포맷의 크로마 성분의 수평 해상도의 비율을 표시할 수 있다. 파라미터 nSubHeight는 비-4:4:4 크로마 포맷의 수직 해상도에 대한 4:4:4 크로마 포맷의 크로마 성분의 수직 해상도의 비율을 표시할 수 있다. 영상 디코딩 장치는 비트스트림으로부터 변수 nSubWidth 및 nSubHeight를 결정할 수 있다. 비-4:4:4 크로마 포맷의 크로마 샘플 위치에 대한 각각의 크로마 샘플 값은 4:4:4 크로마 포맷과 연관된 도출된 크로마 샘플 위치, 팔레트 인덱스 맵 및 팔레트 테이블에 기초하여 결정될 수 있다.
위치 (xCb/nSubWidth, yCb/nSubHeight)에서 재구성된 샘플 어레이 recSamples의 (nCbS/nSubWidth × nCbS/nSubHeight) 블록이 도출될 수 있다. x=0...nCbS/nSubWidth - 1 및 y=0...nCbS/nSubHeight nSubHeightC - 1에 대하여, recSample[dIdx][yCb/nSubHeight SubHeightC + y][xCb/nSubWidth + x]가 설정될 수 있다. 만일 palette_mode[xCb + x * nSubWidth][yCb + y * nSubHeight]가 ESCAPE와 동일하지 않으면, 하기의 것을 적용할 수 있다. 만일 palette_transpose_flag가 참이면 하기의 것을 적용할 수 있다: recSample[cIdx][yCb/nSubHeight + y][xCb/nSubWidth + x] = palette_entries[cIdx][paletteMap[xCb + x * nSubWidth][yCb + y * nSubHeight]]. 만일 palette_transpose_flag가 거짓이면 하기의 것을 적용할 수 있다: recSample[cIdx][xCb/nSubWidth + x][yCb/nSubHeight + y] = palette_entries[cIdx][paletteMap[xCb + x * nSubWidth][yCb + y * nSubHeight]]. 만일 cu_transquant_bypass_flag가 참이면 하기의 것을 적용할 수 있다. 만일 palette_transpose_flag가 참이면 하기의 것을 적용할 수 있다: recSample[cIdx][yCb/nSubHeight + y][xCb/nSubWidth + x] = palette_escape_val[cIdx][xCb + x * nSubWidth][yCb + y * nSubHeight]]. 만일 palette_transpose_flag가 거짓이면 하기의 것을 적용할 수 있다: recSample[cIdx][xCb/nSubWidth + x][yCb/nSubHeight + y] = palette_escape_val[cIdx][xCb + x * nSubWidth][yCb + y * nSubHeight]]. 만일 palette_mode[xCb + x * nSubWidth][yCb + y * nSubHeight]]가 ESCAPE와 같고 cu_transquant_bypass_flag가 거짓이면 하기의 단계를 적용할 수 있다. 여기에서 설명하는 양자화 파라미터의 도출은 예를 들면 현재 블록이 슬라이스 내의 최초 블록이고, availableA가 FALSE와 같으며, availableB가 FALSE와 같고, CuQpDeltaVal이 0과 같으면 호출될 수 있다. 양자화 파라미터(qP)는 다음과 같이 도출될 수 있다: 만일 cIdx가 0과 같으면 qP는 Qp'Y로 설정되고; 만일 cIdx가 1과 같으면 qP는 Qp'Cb로 설정되며; 만일 cIdx가 2와 같으면 qP는 Qp'Cr로 설정될 수 있다. 변수 bdShift는 다음과 같이 도출될 수 있다.
Figure pct00009
리스트 levelScale[]은 levelScale[k] = {40, 45, 51, 57, 64, 72}로서 특정될 수 있고, 여기에서 k=0.5이다. 하기의 것을 적용할 수 있다. 만일 palette_transpose_flag가 참이면 하기의 것을 적용할 수 있다:
recSamples[xCb/nSubWidth + x][yCb/nSubHeight + y] = Clip3(0, 1<<bdShift -1, ((palette_escape_val[cIdx][yCb + y * nSubHeight][xCb + x * nSubWidth] * 16 * levelScale[qP%6] << (qP/6)) + (1<<(bdShift -1))) >> bdShift)
만일 palette_transpose_flag가 거짓이면 하기의 것을 적용할 수 있다:
recSamples[xCb/nSubWidth + x][yCb/nSubHeight + y] = Clip3(0, 1<<bdShift -1, ((palette_escape_val[cIdx][xCb + x * nSubWidth][yCb + y * nSubHeight] * 16 * levelScale[qP%6] << (qP/6)) + (1<<(bdShift -1))) >> bdShift)
이스케이프 색에 대한 구문 중복성 제거가 여기에서 설명된다.
표 1에 나타낸 것처럼, 만일 픽셀이 이스케이프 색으로서 코딩되면, 성분들의 샘플 값은 양자화되고(예를 들면, 손실 코딩가 적용된 경우) 구문 요소 palette_escape_val을 통하여 디코더에 전송될 수 있다. 하나 이상의(예를 들면, 각각의) 픽셀 집합에 대하여, 픽셀 위치의 크로마 샘플 값이 비-4:4:4 팔레트 구현에서 출력 CU를 재구성하기 위해 사용될 수 있다. 동일한 픽셀 집합에서 다른 픽셀들의 크로마 샘플 값은 예를 들면 그 픽셀들이 이스케이프 색으로서 코딩된 경우에 시그널링될 수도 있고 시그널링되지 않을 수도 있다. 픽셀 위치는 이스케이프 색 코딩 픽셀 위치에 대하여 재구성 처리에서 사용될 수 있는 크로마 샘플 값이 비트스트림으로 시그널링될 수 있도록 크로마 성분에 대한 구문 요소 palette_escape_val의 존재를 조절하기 위해 사용될 수 있다.
픽셀 위치가 이스케이프 색으로서 코딩된 때, 색 성분들의 샘플 값은 만일 픽셀 위치가 하나 이상의(예를 들면, 각각의) 픽셀 집합 내의 패턴화 픽셀 위치에 대응하면 양자화되고(예를 들면, 필요한 경우에) 코딩될 수 있다. 만일 이스케이프 색 픽셀 위치가 동일한 픽셀 집합 내의 나머지 픽셀(예를 들면, 비패턴화 픽셀)에 대응하면, 루마 샘플 값이 비트스트림으로 양자화되고(예를 들면, 필요한 경우에) 시그널링될 수 있다. 표 2는 이스케이프 색 시그널링시에 크로마 성분의 조건적 내포에 기초한 구문 설계를 보인 것이다.
Figure pct00010
표 2: 이스케이프 색 시그널링시에 크로마 성분의 조건적 내포를 가진 예시적인 팔레트 모드 구문
영상 코딩 장치는 픽셀 위치를 이스케이프 색으로서 코딩하도록 구성될 수 있다. 팔레트 테이블은 CU의 복수의 주요 색들에 대응하는 복수의 색 값들을 포함할 수 있다. 팔레트 인덱스 맵은 CU 내의 샘플 위치에 대한 색 인덱스 값을 식별할 수 있다. 샘플 위치가 이스케이프 색과 연관되는지 여부는 팔레트 인덱스 맵의 샘플 위치와 연관된 색 인덱스 값에 기초하여 결정될 수 있다. 도 5, 도 6 및 도 7에서, 패턴화 픽셀은 루마 샘플과 크로마 샘플이 둘 다 존재하는 픽셀 위치를 포함한다. 비패턴화 픽셀은 루마 샘플(예를 들면, 루마 샘플만)이 존재하는 픽셀 위치를 포함할 수 있다. 픽셀 위치는 하나 이상의 픽셀 집합 내의 패턴화 픽셀 위치에 대응할 수도 있고 그렇지 않을 수도 있다. 예를 들면, 픽셀 위치는 하나 이상의 픽셀 집합 내의 패턴화 픽셀 위치에 대응할 수 있다. 픽셀 위치는 이스케이프 색과 연관될 수 있다. 픽셀은 동일한 픽셀 집합 내의 나머지 픽셀(예를 들면, 비패턴화 픽셀)에 대응할 수 있다. 영상 코딩 장치는 픽셀 위치가 이스케이프 색과 연관된(예를 들면, 이스케이프 색으로서 코딩된) 때 픽셀 위치 또는 샘플 위치가 패턴화 픽셀 위치에 대응하는지 여부에 기초하여 (예를 들면, 코딩 블록 내의) 픽셀 또는 샘플 위치의 크로마 샘플 값을 시그널링할 것인지 여부를 결정할 수 있다. 예를 들면, 픽셀 위치가 패턴화 픽셀 위치에 대응하는 조건에서, 크로마 성분의 샘플 값은 양자화 및/또는 시그널링될 수 있다. 예를 들면, 크로마 성분이 복구될 수 있다. 크로마 성분은 샘플 위치와 연관된 크로마 성분의 디코딩된 이스케이프 색 값에 기초하여 복구될 수 있다. 픽셀 위치가 이스케이프 색과 연관된(예를 들면, 이스케이프 색으로서 코딩된) 때 픽셀 위치가 비패턴화 픽셀 위치에 대응하는 조건에서, 크로마 성분의 샘플 값은 생략될 수 있다. 예를 들면, 크로마 성분의 샘플 값은 양자화 또는 시그널링될 수도 있고 그렇지 않을 수도 있다. 샘플 위치와 연관된 크로마 성분은 샘플 위치가 비-4:4:4 크로마 포맷의 적어도 하나의 크로마 성분과 연관된 조건에서 시그널링될 수 있다. 샘플 위치와 연관된 크로마 성분은 샘플 위치가 루마 성분에만 연관된 조건에서 시그널링되지 않을 수 있다.
영상 코딩 장치는 예를 들면 이스케이프 색 픽셀 위치가 동일한 집합 내의 나머지 픽셀들에 대응한다고 영상 코딩 장치가 결정한 경우에 루마 샘플을 양자화하도록 구성될 수 있다. 영상 코딩 장치는 예를 들면 이스케이프 색 픽셀 위치가 동일한 집합 내의 나머지 픽셀들에 대응한다고 영상 코딩 장치가 결정한 경우에 루마 샘플을 비트스트림으로 시그널링하도록 구성될 수 있다. 이스케이프 색 위치의 루마 성분은 위치가 패턴화되거나 패턴화되지 않은 것에 상관없이 항상 양자화 및 시그널링될 수 있다.
비-4:4:4 영상에 대한 팔레트 테이블 및 팔레트 인덱스 맵이 발생될 수 있다.
현재 CU의 팔레트 테이블 및 팔레트 인덱스 맵은 하나 이상의(예를 들면, 각각의) 픽셀들의 루마 성분 또는 크로마 성분(예를 들면, YCbCr 색 포맷에서 Y, Cb 및 Cr)을 고려함으로써 도출될 수 있다. 4:4:4 크로마 포맷의 영상에 대하여, 루마 성분과 2개의 크로마 성분은 팔레트 모드로 코딩된 CU의 전체 수행에 유사한 충격을 가질 수 있다. 여기에서 설명하는 것처럼, 비-4:4:4 크로마 포맷의 루마 성분과 크로마 성분은 현재 CU의 재구성된 샘플에 다르게 기여할 수 있다. 비-4:4:4 팔레트 코딩는 최종 재구성 처리에 대한 다른 성분들의 각각의 기여를 고려하여 팔레트 테이블 및 팔레트 인덱스를 발생할 수 있다. 도 7, 도 8 및 도 9에 도시된 예에 기초해서, 하나 이상의(예를 들면, 각각의) 픽셀 집합에서, 패턴화 픽셀 위치에 대하여, 그 루마 샘플과 크로마 샘플의 값들은 둘 다 현재 CU의 팔레트 테이블 및 팔레트 인덱스 맵을 발생하기 위해 사용될 수 있다. 동일한 픽셀 집합 내의 다른 픽셀 위치(예를 들면, 비패턴화 픽셀)에 대하여, 그 픽셀에 대한 루마 샘플의 값은 팔레트 테이블 및 팔레트 인덱스 맵을 발생하기 위해 사용될 수 있다. 전술한 수학식 1과 수학식 2는 다음과 같이 될 수 있다.
Figure pct00011
Figure pct00012
파라미터 D+와 D*은 각각 루마 샘플과 크로마 샘플이 출력 CU를 재구성하기 위해 사용될 수 있는 픽셀들의 집합, 및 루마 샘플이 출력 CU를 재구성하기 위해 사용될 수 있는 픽셀들의 집합을 나타낸다.
여기에서 비-4:4:4 팔레트 코딩는 팔레트 테이블 및 팔레트 인덱스 맵 발생 구현에서 독립적으로 작용할 수 있다. 예를 들면, 4:4:4 팔레트 코딩를 위한 팔레트 테이블 및 팔레트 인덱스의 발생 구현은 팔레트 모드를 이용하여 CU를 코딩하기 위해 여기에서 설명하는 비-4:4:4 팔레트 코딩와 결합될 수 있다. 수학식 6 및 수학식 7에 나타낸 팔레트 테이블 및 팔레트 인덱스 발생은 팔레트 모드를 이용하여 CU를 코딩하기 위해 여기에서 설명하는 비-4:4:4 팔레트 코딩와 결합될 수 있다. 수학식 6 및 수학식 7에 나타낸 팔레트 테이블 및 팔레트 인덱스 발생은 영상 코딩 장치가 이스케이프 색으로서 픽셀 위치들을 코딩하도록 구성된 때 팔레트 모드를 이용하여 CU를 코딩하기 위해 비-4:4:4 팔레트 코딩와 결합될 수 있다.
도 10A는 하나 이상의 본 발명의 실시형태를 구현될 수 있는 예시적인 통신 시스템(1000)을 보인 도이다. 통신 시스템(1000)은 복수의 무선 사용자에게 음성, 데이터, 영상, 메시지, 방송 등의 콘텐츠를 제공하는 다중 접속 시스템일 수 있다. 통신 시스템(1000)은 복수의 무선 사용자들이 무선 대역폭을 포함한 시스템 자원을 공유함으로써 상기 콘텐츠에 접근할 수 있게 한다. 예를 들면, 통신 시스템(1000)은 코드 분할 다중 접속(CDMA), 시분할 다중 접속(TDMA), 주파수 분할 다중 접속(FDMA), 직교 FDMA(OFDMA), 단일 캐리어 FDMA(SC-FDMA) 등과 같은 하나 이상의 채널 접속 방법을 이용할 수 있다.
도 10A에 도시된 것처럼, 통신 시스템(1000)은 무선 송수신 유닛(wireless transmit/receive unit, WTRU)(1002a, 1002b, 1002c 및/또는 1002d)(총괄적으로 또는 집합적으로 WTRU(1002)라고 부를 수 있다), 무선 접근 네트워크(radio access network; RAN)(1003/1004/1005), 코어 네트워크(1006/1007/1009), 공중 교환식 전화망(public switched telephone network; PSTN)(1008), 인터넷(1010) 및 기타의 네트워크(1012)를 포함하고 있지만, 본 발명의 실시형태는 임의 수의 WTRU, 기지국, 네트워크 및/또는 네트워크 요소를 포함할 수 있다는 것을 이해할 것이다. 각각의 WTRU(1002a, 1002b, 1002c, 1002d)는 무선 환경에서 동작 및/또는 통신하도록 구성된 임의 유형의 장치일 수 있다. 예를 들면, WTRU(1002a, 1002b, 1002c, 1002d)는 무선 신호를 송신 및/또는 수신하도록 구성될 수 있고, 사용자 장비(UE), 이동국, 고정식 또는 이동식 가입자 유닛, 페이저, 셀룰러 전화기, 개인 정보 단말기(personal digital assistant; PDA), 스마트폰, 랩톱, 넷북, 퍼스널 컴퓨터, 무선 센서, 가전제품 등을 포함할 수 있다.
통신 시스템(1000)은 기지국(1014a)과 기지국(1014b)을 또한 포함할 수 있다. 각각의 기지국(1014a, 1014b)은 적어도 하나의 WTRU(1002a, 1002b, 1002c, 1002d)와 무선으로 인터페이스 접속하여 코어 네트워크(1006/1007/1009), 인터넷(1010) 및/또는 네트워크(1012)와 같은 하나 이상의 통신 네트워크에 접근하도록 구성된 임의 유형의 장치일 수 있다. 예를 들면, 기지국(1014a, 1014b)은 기지국 송수신기(base transceiver station; BTS), 노드-B, e노드 B, 홈 노드 B, 홈 e노드 B, 사이트 제어기, 접근점(access point; AP), 무선 라우터 등일 수 있다. 비록 기지국(1014a, 1014b)이 각각 단일 요소로서 도시되어 있지만, 기지국(1014a, 1014b)은 임의 수의 상호접속된 기지국 및/또는 네트워크 요소를 포함할 수 있다는 것을 이해할 것이다.
기지국(1014a)은 RAN(1003/1004/1005)의 일부일 수 있고, RAN(1003/1004/1005)은 기지국 제어기(base station controller; BSC), 라디오 네트워크 제어기(radio network controller; RNC), 릴레이 노드 등과 같은 다른 기지국 및/또는 네트워크 요소(도시 생략됨)를 또한 포함할 수 있다. 기지국(1014a) 및/또는 기지국(1014b)은 셀(도시 생략됨)이라고도 부르는 특정의 지리적 영역 내에서 무선 신호를 송신 및/또는 수신하도록 구성될 수 있다. 셀은 복수의 셀 섹터로 세분될 수 있다. 예를 들면, 기지국(1014a)과 관련된 셀은 3개의 섹터로 나누어질 수 있다. 따라서, 일 실시형태에 있어서, 기지국(1014a)은 셀의 각 섹터마다 하나씩 3개의 송수신기를 포함할 수 있다. 다른 실시형태에 있어서, 기지국(1014a)은 다중입력 다중출력(MIMO) 기술을 사용할 수 있고, 따라서 셀의 각 섹터마다 복수의 송수신기를 사용할 수 있다.
기지국(1014a, 1014b)은 임의의 적당한 무선 통신 링크(예를 들면, 라디오 주파수(RF), 마이크로파, 적외선(IR), 자외선(UV), 가시광선 등)일 수 있는 무선 인터페이스(1015/1016/1017)를 통하여 하나 이상의 WTRU(1002a, 1002b, 1002c, 1002d)와 통신할 수 있다. 무선 인터페이스(1015/1016/1017)는 임의의 적당한 무선 접근 기술(radio access technology; RAT)을 이용하여 확립될 수 있다.
더 구체적으로, 위에서 언급한 것처럼, 통신 시스템(1000)은 다중 접근 시스템일 수 있고, CDMA, TDMA, FDMA, OFDMA, SC-FDMA 등과 같은 하나 이상의 채널 접근 방식을 이용할 수 있다. 예를 들면, RAN(1003/1004/1005) 내의 기지국(1014a)과 WTRU(1002a, 1002b, 1002c)는 광대역 CDMA(WCDMA)를 이용하여 무선 인터페이스(1015/1016/1017)를 확립하는 범용 이동통신 시스템(UMTS) 지상 라디오 액세스(UTRA)와 같은 무선 기술을 구현할 수 있다. WCDMA는 고속 패킷 액세스(HSPA) 및/또는 진화형 HSPA(HSPA+)와 같은 통신 프로토콜을 포함할 수 있다. HSPA는 고속 다운링크 패킷 액세스(HSDPA) 및/또는 고속 업링크 패킷 액세스(HSUPA)를 포함할 수 있다.
다른 실시형태에 있어서, 기지국(1014a)과 WTRU(1002a, 1002b, 1002c)는 롱텀 에볼루션(LTE) 및/또는 LTE-어드반스드(LTE-A)를 이용하여 무선 인터페이스(1015/1016/1017)를 확립하는 진화형 UMTS 지상 라디오 액세스(E-UTRA)와 같은 무선 기술을 구현할 수 있다.
다른 실시형태에 있어서, 기지국(1014a)과 WTRU(1002a, 1002b, 1002c)는 IEEE 802.16(즉, WiMAX(Worldwide Interoperability for Microwave Access)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, 잠정 표준 2000(IS-2000), 잠정 표준 95(IS-95), 잠정 표준 856(IS-856), 글로벌 이동통신 시스템(GSM), EDGE(Enhanced Data rates for GSM Evolution), GSM EDGE(GERAN) 등과 같은 무선 기술을 구현할 수 있다.
도 10A의 기지국(1014b)은 예를 들면 무선 라우터, 홈 노드 B, 홈 e노드 B, 또는 접근점일 수 있고, 사업장, 홈, 자동차, 캠퍼스 등과 같은 국소 지역에서 무선 접속을 가능하게 하는 임의의 적당한 RAT를 이용할 수 있다. 일 실시형태에 있어서, 기지국(1014b)과 WTRU(1002c, 1002d)는 IEEE 802.11과 같은 무선 기술을 구현하여 무선 근거리 통신망(WLAN)을 확립할 수 있다. 다른 실시형태에 있어서, 기지국(1014b)과 WTRU(1002c, 1002d)는 IEEE 802.15와 같은 무선 기술을 구현하여 무선 개인 통신망(WPAN)을 확립할 수 있다. 또 다른 실시형태에 있어서, 기지국(1014b)과 WTRU(1002c, 1002d)는 셀룰러 기반 RAT(예를 들면, WCDMA, CDMA2000, GSM, LTE, LTE-A 등)를 이용하여 피코셀 또는 펨토셀을 확립할 수 있다. 도 10A에 도시된 바와 같이, 기지국(1014b)은 인터넷(1010)에 직접 접속될 수 있다. 그러므로 기지국(1014b)은 코어 네트워크(1006/1007/1009)를 통해 인터넷(1010)에 접속할 필요가 없다.
RAN(1003/1004/1005)은 코어 네트워크(1006/1007/1009)와 통신하고, 코어 네트워크(1006/1007/1009)는 하나 이상의 WTRU(1002a, 1002b, 1002c, 1002d)에게 음성, 데이터, 애플리케이션 및/또는 인터넷을 통한 음성 프로토콜(voice over internet protocol; VoIP) 서비스를 제공하도록 구성된 임의 유형의 네트워크일 수 있다. 예를 들면, 코어 네트워크(1006/1007/1009)는 호출 제어, 빌링(billing) 서비스, 모바일 위치 기반 서비스, 선불 통화, 인터넷 접속, 영상 분배 등을 제공할 수 있고, 및/또는 사용자 인증과 같은 고급 보안 기능을 수행할 수 있다. 비록 도 10A에 도시되어 있지 않지만, RAN(1003/1004/1005) 및/또는 코어 네트워크(1006/1007/1009)는 RAN(1003/1004/1005)과 동일한 RAT 또는 다른 RAT를 이용하는 다른 RAN과 직접 또는 간접 통신을 할 수 있다는 것을 이해할 것이다. 예를 들면, E-UTRA 무선 기술을 이용하는 RAN(1003/1004/1005)에 접속하는 것 외에, 코어 네트워크(1006/1007/1009)는 GSM 무선 기술을 이용하는 다른 RAN(도시 생략됨)과도 또한 통신할 수 있다.
코어 네트워크(1006/1007/1009)는 WTRU(1002a, 1002b, 1002c, 1002d)가 PSTN(1008), 인터넷(1010) 및/또는 기타 네트워크(1012)에 접속하게 하는 게이트웨이로서 또한 기능할 수 있다. PSTN(1008)은 재래식 전화 서비스(plain old telephone service; POTS)를 제공하는 회선 교환식 전화망을 포함할 수 있다. 인터넷(1010)은 TCP/IP 인터넷 프로토콜 스위트(suite)에서 전송 제어 프로토콜(TCP), 사용자 데이터그램 프로토콜(UDP) 및 인터넷 프로토콜(IP)과 같은 공통의 통신 프로토콜을 이용하는 상호접속된 컴퓨터 네트워크 및 장치의 글로벌 시스템을 포함할 수 있다. 네트워크(1012)는 다른 서비스 공급자에 의해 소유 및/또는 운용되는 유선 또는 무선 통신 네트워크를 포함할 수 있다. 예를 들면, 네트워크(1012)는 RAN(1003/1004/1005)과 동일한 RAT 또는 다른 RAT를 이용하는 하나 이상의 RAN에 접속된 다른 코어 네트워크를 포함할 수 있다.
통신 시스템(1000)의 WTRU(1002a, 1002b, 1002c, 1002d) 중의 일부 또는 전부는 다중 모드 능력을 구비할 수 있다. 즉, WTRU(1002a, 1002b, 1002c, 1002d)는 다른 무선 링크를 통하여 다른 무선 네트워크와 통신하기 위한 복수의 송수신기를 포함할 수 있다. 예를 들면, 도 10A에 도시된 WTRU(1002c)는 셀룰러 기반 무선 기술을 이용하는 기지국(1014a)과 통신하고, IEEE 802 무선 기술을 이용하는 기지국(1014b)과 통신하도록 구성될 수 있다.
도 10B는 예시적인 WTRU(1002)의 계통도이다. 도 10B에 도시된 바와 같이, WTRU(1002)는 프로세서(1018), 송수신기(1020), 송수신 엘리멘트(1022), 스피커/마이크로폰(1024), 키패드(1026), 디스플레이/터치패드(1028), 비분리형 메모리(1030), 분리형 메모리(1032), 전원(1034), 글로벌 위치확인 시스템(GPS) 칩세트(1036) 및 기타 주변장치(1038)를 포함할 수 있다. WTRU(1002)는 실시형태의 일관성을 유지하면서 전술한 요소들의 임의의 부조합(sub-combination)을 포함할 수 있다는 것을 이해할 것이다. 또한, 실시형태는 기지국(1014a, 1014b), 및/또는 기지국(1014a, 1014b)이 비제한적인 예로서, 다른 무엇보다도 특히, 기지국 송수신기(BTS), 노드-B, 사이트 제어기, 접근점(AP), 홈 노드-B, 진화형 홈 노드-B(e노드B), 홈 e노드-B(HeNB 또는 He노드B), 홈 e노드-B 게이트웨이, 및 프록시 노드를 대표할 수 있는 노드들이 도 10B에 도시되고 여기에서 설명하는 요소들의 일부 또는 전부를 포함하는 것을 고려한다.
프로세서(1018)는 범용 프로세서, 특수 용도 프로세서, 전통적 프로세서, 디지털 신호 프로세서(DSP), 복수의 마이크로프로세서, DSP 코어와 연합하는 하나 이상의 마이크로프로세서, 컨트롤러, 마이크로컨트롤러, 용도 지정 집적회로(ASIC), 현장 프로그램가능 게이트 어레이(FPGA) 회로, 임의의 다른 유형의 집적회로(IC), 상태 기계 등일 수 있다. 프로세서(1018)는 신호 코딩, 데이터 처리, 전력 제어, 입력/출력 처리, 및/또는 WTRU(1002)가 무선 환경에서 동작하게 하는 임의의 다른 기능을 수행할 수 있다. 프로세서(1018)는 송수신기(1020)에 결합되고, 송수신기(1020)는 송수신 엘리멘트(1022)에 결합될 수 있다. 비록 도 10B에서는 프로세서(1018)와 송수신기(1020)가 별도의 구성요소로서 도시되어 있지만, 프로세서(1018)와 송수신기(1020)는 전자 패키지 또는 칩으로 함께 통합될 수 있음을 이해할 것이다.
송수신 엘리멘트(1022)는 무선 인터페이스(1015/1016/1017)를 통하여 기지국(예를 들면 기지국(1014a))에 신호를 송신하거나 기지국으로부터 신호를 수신하도록 구성될 수 있다. 예를 들면, 일 실시형태에 있어서, 송수신 엘리멘트(1022)는 RF 신호를 송신 및/또는 수신하도록 구성된 안테나일 수 있다. 다른 실시형태에 있어서, 송수신 엘리멘트(1022)는 예를 들면, IR, UV 또는 가시광 신호를 송신 및/또는 수신하도록 구성된 에미터/검지기일 수 있다. 또 다른 실시형태에 있어서, 송수신 엘리멘트(1022)는 RF 신호와 광신호 둘 다를 송신 및 수신하도록 구성될 수 있다. 송수신 엘리멘트(1022)는 임의의 무선 신호 조합을 송신 및/또는 수신하도록 구성될 수 있다는 것을 이해할 것이다.
또한, 비록 송수신 엘리멘트(1022)가 도 10B에서 단일 엘리멘트로서 도시되어 있지만, WTRU(1002)는 임의 수의 송수신 엘리멘트(1022)를 포함할 수 있다. 더 구체적으로, WTRU(1002)는 MIMO 기술을 이용할 수 있다. 따라서, 일 실시형태에 있어서, WTRU(1002)는 무선 인터페이스(1015/1016/1017)를 통해 무선 신호를 송신 및 수신하기 위해 2개 이상의 송수신 엘리멘트(1022)(예를 들면, 복수의 안테나)를 포함할 수 있다.
송수신기(1020)는 송수신 엘리멘트(1022)에 의해 송신할 신호들을 변조하고 송수신 엘리멘트(1022)에 의해 수신된 신호를 복조하도록 구성될 수 있다. 전술한 바와 같이, WTRU(1002)는 다중 모드 능력을 구비할 수 있다. 따라서, 송수신기(1020)는 WTRU(1002)가 예를 들면 UTRA 및 IEEE 802.11과 같은 복수의 RAT를 통하여 통신하게 하는 복수의 송수신기를 포함할 수 있다.
WTRU(1002)의 프로세서(1018)는 스피커/마이크로폰(1024), 키패드(1026), 및/또는 디스플레이/터치패드(1028)(예를 들면, 액정 디스플레이(LCD) 표시 장치 또는 유기 발광 다이오드(OLED) 표시 장치)에 결합되어 이들로부터 사용자 입력 데이터를 수신할 수 있다. 프로세서(1018)는 또한 스피커/마이크로폰(1024), 키패드(1026), 및/또는 디스플레이/터치패드(1028)에 사용자 데이터를 출력할 수 있다. 또한, 프로세서(1018)는 비분리형 메모리(1030) 및/또는 분리형 메모리(1032)와 같은 임의 유형의 적당한 메모리로부터의 정보에 접근하고 상기 적당한 메모리에 데이터를 저장할 수 있다. 비분리형 메모리(1030)는 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 하드 디스크 또는 임의의 다른 유형의 메모리 기억장치를 포함할 수 있다. 분리형 메모리(1032)는 가입자 식별 모듈(SIM) 카드, 메모리 스틱, 보안 디지털(SD) 메모리 카드 등을 포함할 수 있다. 다른 실시형태에 있어서, 프로세서(1018)는 서버 또는 홈 컴퓨터(도시 생략됨)와 같이 WTRU(1002)에 물리적으로 위치되어 있지 않은 메모리로부터의 정보에 접근하고 그러한 메모리에 데이터를 저장할 수 있다.
프로세서(1018)는 전원(1034)으로부터 전력을 수신하고, WTRU(1002)의 각종 구성요소에 대하여 전력을 분배 및/또는 제어하도록 구성될 수 있다. 전원(1034)은 WTRU(1002)에 전력을 공급하는 임의의 적당한 장치일 수 있다. 예를 들면, 전원(1034)은 하나 이상의 건전지 배터리(예를 들면, 니켈-카드뮴(NiCd), 니켈-아연(NiZn), 니켈 금속 하이드라이드(NiMH), 리튬-이온(Li-ion) 등), 태양 전지, 연료 전지 등을 포함할 수 있다.
프로세서(1018)는 WTRU(1002)의 현재 위치에 관한 위치 정보(예를 들면, 경도 및 위도)를 제공하도록 구성된 GPS 칩세트(1036)에 또한 결합될 수 있다. GPS 칩세트(1036)로부터의 정보에 추가해서 또는 그 대신으로, WTRU(1002)는 기지국(예를 들면 기지국(1014a, 1014b))으로부터 무선 인터페이스(1015/1016/1017)를 통해 위치 정보를 수신하고, 및/또는 2개 이상의 인근 기지국으로부터 신호가 수신되는 타이밍에 기초하여 그 위치를 결정할 수 있다. WTRU(1002)는 실시형태의 일관성을 유지하면서 임의의 적당한 위치 결정 방법에 의해 위치 정보를 획득할 수 있다는 것을 이해할 것이다.
프로세서(1018)는 추가의 특징, 기능 및/또는 유선 또는 무선 접속을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈을 포함한 기타 주변 장치(1038)에 또한 결합될 수 있다. 예를 들면, 주변 장치(1038)는 가속도계, e-콤파스, 위성 송수신기, 디지털 카메라(사진용 또는 영상용), 범용 직렬 버스(USB) 포트, 진동 장치, 텔레비전 송수신기, 핸즈프리 헤드셋, 블루투스® 모듈, 주파수 변조(FM) 라디오 장치, 디지털 뮤직 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저 등을 포함할 수 있다.
도 10C는 일 실시형태에 따른 RAN(1003) 및 코어 네트워크(1006)의 계통도이다. 전술한 바와 같이, RAN(1003)은 UTRA 무선 기술을 이용하여 무선 인터페이스(1015)를 통해 WTRU(1002a, 1002b, 1002c)와 통신할 수 있다. RAN(1003)은 코어 네트워크(1006)와 또한 통신할 수 있다. 도 10C에 도시된 것처럼, RAN(1003)은 노드-B(1040a, 1040b, 1040c)를 포함하고, 노드-B(1040a, 1040b, 1040c)는 무선 인터페이스(1015)를 통하여 WTRU(1002a, 1002b, 1002c)와 통신하는 하나 이상의 송수신기를 각각 포함할 수 있다. 노드-B(1040a, 1040b, 1040c)는 RAN(1003) 내의 특정 셀(도시 생략됨)과 각각 연합될 수 있다. RAN(1003)은 또한 RNC(1042a, 1042b)를 포함할 수 있다. RAN(1003)은 실시형태의 일관성을 유지하면서 임의 수의 노드-B 및 RNC를 포함할 수 있다는 것을 이해할 것이다.
도 10C에 도시된 것처럼, 노드-B(1040a, 1040b)는 RNC(1042a)와 통신할 수 있다. 또한, 노드-B(1040c)는 RNC(1042b)와 통신할 수 있다. 노드-B(1040a, 1040b, 1040c)는 Iub 인터페이스를 통해 각각의 RNC(1042a, 1042b)와 통신할 수 있다. RNC(1042a, 1042b)는 Iur 인터페이스를 통해 서로 통신할 수 있다. 각각의 RNC(1042a, 1042b)는 이들이 접속된 각각의 노드-B(1040a, 1040b, 1040c)를 제어하도록 구성될 수 있다. 또한, 각각의 RNC(1042a, 1042b)는 외부 루프 전력 제어, 부하 제어, 허가 제어, 패킷 스케줄링, 핸드오버 제어, 매크로다이버시티, 보안 기능, 데이터 암호화 등과 같은 다른 기능을 실행 또는 지원하도록 구성될 수 있다.
도 10C에 도시된 코어 네트워크(1006)는 미디어 게이트웨이(MGW)(1044), 모바일 스위칭 센터(MSC)(1046), 서빙 GPRS 지원 노드(SGSN)(1048) 및/또는 게이트웨이 GPRS 지원 노드(GGSN)(1050)를 포함할 수 있다. 전술한 요소들이 각각 코어 네트워크(1006)의 일부로서 도시되어 있지만, 이 요소들 중 임의의 요소는 코어 네트워크 운용자가 아닌 다른 엔티티에 의해 소유 및/또는 운용될 수 있다는 것을 이해할 것이다.
RAN(1003)에 있는 RNC(1042a)는 IuCS 인터페이스를 통해 코어 네트워크(1006) 내의 MSC(1046)에 접속될 수 있다. MSC(1046)는 MGW(1044)에 접속될 수 있다. MSC(1046)와 MGW(1044)는 PSTN(1008)과 같은 회선 교환식 네트워크에 대한 액세스를 WTRU(1002a, 1002b, 1002c)에게 제공하여 WTRU(1002a, 1002b, 1002c)와 전통적인 지상선 통신 장치 간의 통신을 가능하게 한다.
RAN(1003)에 있는 RNC(1042a)는 IuPS 인터페이스를 통해 코어 네트워크(1006) 내의 SGSN(1048)에 또한 접속될 수 있다. SGSN(1048)은 GGSN(1050)에 접속될 수 있다. SGSN(1048)과 GGSN(1050)은 인터넷(1010)과 같은 패킷 교환식 네트워크에 대한 액세스를 WTRU(1002a, 1002b, 1002c)에게 제공하여 WTRU(1002a, 1002b, 1002c)와 IP-인에이블 장치 간의 통신을 가능하게 한다.
전술한 바와 같이, 코어 네트워크(1006)는 다른 서비스 공급자에 의해 소유 및/또는 운용되는 다른 유선 또는 무선 네트워크를 포함하는 네트워크(1012)에 또한 접속될 수 있다.
도 10D는 일 실시형태에 따른 RAN(1004) 및 코어 네트워크(1007)의 계통도이다. 전술한 바와 같이, RAN(1004)은 E-UTRA 무선 기술을 이용하여 무선 인터페이스(1016)를 통해 WTRU(1002a, 1002b, 1002c)와 통신할 수 있다. RAN(1004)은 코어 네트워크(1007)와 또한 통신할 수 있다.
RAN(1004)이 e노드-B(1060a, 1060b, 1060c)를 포함하고 있지만, RAN(1004)은 실시형태의 일관성을 유지하면서 임의 수의 e노드-B를 포함할 수 있다는 것을 이해할 것이다. e노드-B(1060a, 1060b, 1060c)는 무선 인터페이스(1016)를 통하여 WTRU(1002a, 1002b, 1002c)와 통신하는 하나 이상의 송수신기를 각각 포함할 수 있다. 일 실시형태에 있어서, e노드-B(1060a, 1060b, 1060c)는 MIMO 기술을 구현할 수 있다. 따라서, 예를 들면 e노드-B(1060a)는 복수의 안테나를 사용하여 WTRU(1002a)에게 무선 신호를 송신하고 WTRU(1002a)로부터 무선 신호를 수신할 수 있다.
각각의 e노드-B(1060a, 1060b, 1060c)는 특정 셀(도시 생략됨)과 연합될 수 있고, 무선 자원 관리 결정, 핸드오버 결정, 업링크 및/또는 다운링크에서 사용자의 스케줄링 등을 취급하도록 구성될 수 있다. 도 10D에 도시된 바와 같이, e노드-B(1060a, 1060b, 1060c)는 X2 인터페이스를 통해 서로 통신할 수 있다.
도 10D에 도시된 코어 네트워크(1007)는 이동성 관리 게이트웨이(MME)(1062), 서빙 게이트웨이(1064) 및 패킷 데이터 네트워크(PDN) 게이트웨이(1066)를 포함할 수 있다. 전술한 요소들이 각각 코어 네트워크(1007)의 일부로서 도시되어 있지만, 이 요소들 중 임의의 요소는 코어 네트워크 운용자가 아닌 다른 엔티티에 의해 소유 및/또는 운용될 수 있다는 것을 이해할 것이다.
MME(1062)는 S1 인터페이스를 통해 RAN(1004) 내의 각각의 e노드-B(1060a, 1060b, 1060c)에 접속될 수 있고, 제어 노드로서 기능할 수 있다. 예를 들면, MME(1062)는 WTRU(1002a, 1002b, 1002c)의 사용자를 인증하고, 베어러를 활성화/비활성화하고, WTRU(1002a, 1002b, 1002c)의 초기 부착 중에 특정의 서빙 게이트웨이를 선택하는 등의 임무를 수행할 수 있다. MME(1062)는 또한 GSM 또는 WCDMA와 같은 다른 무선 기술을 이용하는 다른 RAN(도시 생략됨)과 RAN(1004) 간의 전환을 위한 제어 평면 기능(control plane function)을 또한 제공할 수 있다.
서빙 게이트웨이(1064)는 RAN(1004) 내의 각각의 e노드-B(1060a, 1060b, 1060c)에 S1 인터페이스를 통해 접속될 수 있다. 서빙 게이트웨이(1064)는 일반적으로 WTRU(1002a, 1002b, 1002c)로/로부터 사용자 데이터 패킷을 라우트 및 회송할 수 있다. 서빙 게이트웨이(1064)는 또한 e노드-B 간의 핸드오버 중에 사용자 평면(user plane)을 앵커링(anchoring)하는 것, 다운링크 데이터가 WTRU(1002a, 1002b, 1002c)에 이용할 수 있을 때 페이징을 트리거하는 것, WTRU(1002a, 1002b, 1002c)의 콘텍스트를 관리 및 저장하는 것 등의 다른 기능을 수행할 수 있다.
서빙 게이트웨이(1064)는 PDN 게이트웨이(1066)에 또한 접속될 수 있고, PDN 게이트웨이(1066)는 WTRU(1002a, 1002b, 1002c)와 IP-인에이블 장치 간의 통신이 가능하도록 인터넷(1010) 등의 패킷 교환식 네트워크에 대한 액세스를 WTRU(1002a, 1002b, 1002c)에게 제공할 수 있다.
코어 네트워크(1007)는 다른 네트워크와의 통신을 가능하게 한다. 예를 들면, 코어 네트워크(1007)는 WTRU(1002a, 1002b, 1002c)와 전통적인 지상선(land-line) 통신 장치 간의 통신이 가능하도록, PSTN(1008) 등의 회선 교환식 네트워크에 대한 액세스를 WTRU(1002a, 1002b, 1002c)에게 제공할 수 있다. 예를 들면, 코어 네트워크(1007)는 코어 네트워크(1007)와 PSTN(1008) 간의 인터페이스로서 기능하는 IP 게이트웨이(예를 들면, IP 멀티미디어 서브시스템(IMS) 서버)를 포함하거나 그러한 IP 게이트웨이와 통신할 수 있다. 또한, 코어 네트워크(1007)는 다른 서비스 공급자에 의해 소유 및/또는 운용되는 다른 유선 또는 무선 네트워크를 포함하는 네트워크(1012)에 대한 액세스를 WTRU(1002a, 1002b, 1002c)에게 제공할 수 있다.
도 10E는 일 실시형태에 따른 RAN(1005) 및 코어 네트워크(1009)의 계통도이다. RAN(1005)은 IEEE 802.16 무선 기술을 이용하여 무선 인터페이스(1017)를 통해 WTRU(1002a, 1002b, 1002c)와 통신하는 액세스 서비스 네트워크(ASN)일 수 있다. 뒤에서 더 자세히 설명하는 것처럼, WTRU(1002a, 1002b, 1002c)의 다른 기능 엔티티, RAN(1005) 및 코어 네트워크(1009) 간의 통신 링크는 기준점으로서 정의될 수 있다.
도 10E에 도시된 것처럼, RAN(1005)이 기지국(1080a, 1080b, 1080c)과 ASN 게이트웨이(1082)를 포함하고 있지만, RAN(1005)은 실시형태의 일관성을 유지하면서 임의 수의 기지국 및 ASN 게이트웨이를 포함할 수 있다는 것을 이해할 것이다. 기지국(1080a, 1080b, 1080c)은 RAN(1005) 내의 특정 셀(도시 생략됨)과 각각 연합될 수 있고, 무선 인터페이스(1017)를 통하여 WTRU(1002a, 1002b, 1002c)와 통신하는 하나 이상의 송수신기를 각각 포함할 수 있다. 일 실시형태에 있어서, 기지국(1080a, 1080b, 1080c)은 MIMO 기술을 구현할 수 있다. 따라서, 예를 들면 기지국(1080a)은 복수의 안테나를 사용하여 WTRU(1002a)에게 무선 신호를 송신하고 WTRU(1002a)로부터 무선 신호를 수신할 수 있다. 기지국(1080a, 1080b, 1080c)은 핸드오프 트리거링, 터널 확립, 무선 자원 관리, 트래픽 분류, 서비스 품질(QoS) 정책 강화 등과 같은 이동성 관리 기능을 또한 제공할 수 있다. ASN 게이트웨이(1082)는 트래픽 집성 점으로서 기능할 수 있고, 페이징, 가입자 프로필의 캐싱, 코어 네트워크(1009)로의 라우팅 등의 임무를 수행할 수 있다.
WTRU(1002a, 1002b, 1002c)와 RAN(1005) 간의 무선 인터페이스(1017)는 IEEE 802.16 명세서를 구현하는 R1 기준점으로서 정의될 수 있다. 또한, 각각의 WTRU(1002a, 1002b, 1002c)는 코어 네트워크(1009)와 논리 인터페이스(도시 생략됨)를 확립할 수 있다. WTRU(1002a, 1002b, 1002c)와 코어 네트워크(1009) 간의 논리 인터페이스는 R2 기준점으로서 정의될 수 있고, 이것은 인증(authentication), 권한부여(authorization), IP 호스트 구성 관리, 및/또는 이동성 관리를 위해 사용될 수 있다.
각각의 기지국(1080a, 1080b, 1080c)들 간의 통신 링크는 WTRU 핸드오버 및 기지국들 간의 데이터 전송을 가능하게 하는 프로토콜을 포함한 R8 기준점으로서 정의될 수 있다. 기지국(1080a, 1080b, 1080c)과 ASN 게이트웨이(1082) 간의 통신 링크는 R6 기준점으로서 정의될 수 있다. R6 기준점은 각각의 WTRU(1002a, 1002b, 1002c)와 연합된 이동성 이벤트에 기초하여 이동성 관리를 가능하게 하는 프로토콜을 포함할 수 있다.
도 10E에 도시된 것처럼, RAN(1005)은 코어 네트워크(1009)에 접속될 수 있다. RAN(1005)과 코어 네트워크(1009) 간의 통신 링크는 예를 들면 데이터 전송 및 이동성 관리 능력을 가능하게 하는 프로토콜을 포함한 R3 기준점으로서 정의될 수 있다. 코어 네트워크(1009)는 모바일 IP 홈 에이전트(MIP-HA)(1084), 인증, 권한부여, 계정(AAA) 서버(1086), 및 게이트웨이(1088)를 포함할 수 있다. 비록 전술한 요소들이 각각 코어 네트워크(1009)의 일부로서 도시되어 있지만, 이 요소들 중 임의의 요소는 코어 네트워크 운용자가 아닌 다른 엔티티에 의해 소유 및/또는 운용될 수 있다는 것을 이해할 것이다.
MIP-HA(1084)는 IP 어드레스 관리의 임무를 가질 수 있고, WTRU(1002a, 1002b, 1002c)가 다른 ASN 및/또는 다른 코어 네트워크들 사이에서 로밍하게 할 수 있다. MIP-HA(1084)는 인터넷(1010)과 같은 패킷 교환식 네트워크에 대한 액세스를 WTRU(1002a, 1002b, 1002c)에게 제공하여 WTRU(1002a, 1002b, 1002c)와 IP-인에이블 장치 간의 통신을 가능하게 한다. AAA 서버(1086)는 사용자 인증 및 사용자 서비스 지원의 임무를 가질 수 있다. 게이트웨이(1088)는 다른 네트워크들과의 상호연동을 가능하게 한다. 예를 들면, 게이트웨이(1088)는 PSTN(1008)과 같은 회선 교환식 네트워크에 대한 액세스를 WTRU(1002a, 1002b, 1002c)에게 제공하여 WTRU(1002a, 1002b, 1002c)와 전통적인 지상선 통신 장치 간의 통신을 가능하게 한다. 또한, 게이트웨이(1088)는 다른 서비스 공급자에 의해 소유 및/또는 운용되는 다른 유선 또는 무선 네트워크를 포함한 네트워크(1012)에 대한 액세스를 WTRU(1002a, 1002b, 1002c)에게 제공할 수 있다.
비록 도 10E에는 도시되지 않았지만, RAN(1005)은 다른 ASN에 접속될 수 있고 코어 네트워크(1009)는 다른 코어 네트워크에 접속될 수 있다는 것을 이해할 것이다. RAN(1005)과 다른 ASN 간의 통신 링크는 R4 기준점으로서 정의될 수 있고, R4 기준점은 RAN(1005)과 다른 ASN 사이에서 WTRU(1002a, 1002b, 1002c)의 이동성을 조정하는 프로토콜을 포함할 수 있다. 코어 네트워크(1009)와 다른 코어 네트워크 간의 통신 링크는 R5 기준점으로서 정의될 수 있고, R5 기준점은 홈 코어 네트워크와 방문 코어 네트워크 간의 상호연동을 가능하게 하는 프로토콜을 포함할 수 있다.
전술한 프로세스들은 컴퓨터 및/또는 프로세서에 의해 실행되는 컴퓨터 판독가능 매체에 통합된 컴퓨터 프로그램, 소프트웨어 및/또는 펌웨어로 구현될 수 있다. 컴퓨터 판독가능 매체의 비제한적인 예로는 전자 신호(유선 또는 무선 접속을 통해 전송된 것) 및/또는 컴퓨터 판독가능 기억 매체가 있다. 컴퓨터 판독가능 기억 매체의 비제한적인 예로는 읽기 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 레지스터, 캐시 메모리, 반도체 메모리 소자, 내부 하드 디스크 및 분리형 디스크와 같은 자기 매체, 자기 광학 매체, 및/또는 CD-ROM 디스크 및/또는 디지털 다기능 디스크(DVD)와 같은 광학 매체가 있다. 프로세서는 소프트웨어와 연합해서 WTRU, UE, 단말기, 기지국, RNC 및/또는 임의의 호스트 컴퓨터에서 사용되는 무선 주파수 송수신기를 구현하기 위해 사용될 수 있다.

Claims (54)

  1. 제1 크로마 포맷과 연관된 영상 비트스트림을 팔레트 디코딩하는 방법에 있어서,
    코딩 단위(coding unit, CU)와 연관된 팔레트 테이블 및 팔레트 인덱스 맵- 이 팔레트 테이블 및 팔레트 인덱스 맵은 제2 크로마 포맷과 연관된 것임 -을 정의하는 데이터를 수신하는 단계와;
    제1 크로마 포맷과 연관된 제1 크로마 샘플 위치에 대하여, 상기 제1 크로마 포맷과 연관된 크로마 성분 대 루마 성분 해상도율에 기초하여 상기 팔레트 인덱스 맵에서의 상기 제2 크로마 포맷과 연관된 크로마 샘플 위치를 도출하는 단계와;
    상기 제2 크로마 포맷과 연관된 상기 도출된 크로마 샘플 위치, 상기 팔레트 인덱스 맵 및 상기 팔레트 테이블에 기초하여 상기 제1 크로마 포맷과 연관된 크로마 샘플 위치의 각각의 크로마 샘플 값을 결정하는 단계를 포함한 팔레트 디코딩 방법.
  2. 제1항에 있어서,
    상기 팔레트 테이블은 상기 CU 내의 복수의 색에 대응하는 복수의 색 값을 포함하고, 상기 팔레트 인덱스 맵은 상기 CU 내의 샘플 위치에 대한 각각의 색 인덱스 값을 식별하는 것이며, 상기 팔레트 디코딩 방법은,
    상기 팔레트 인덱스 맵에서의 상기 제2 크로마 포맷과 연관된 상기 크로마 샘플 위치와 연관된 색 인덱스 값을 결정하는 단계와;
    상기 팔레트 테이블에서 각각의 크로마 샘플 값을 조사하기 위해 상기 색 인덱스 값을 이용하는 단계를 더 포함한 것인 팔레트 디코딩 방법.
  3. 제1항에 있어서,
    상기 제1 크로마 포맷과 연관된 루마 샘플 위치에 대하여, 상기 루마 샘플 위치, 상기 팔레트 인덱스 맵, 및 상기 팔레트 테이블에 기초하여 각각의 루마 샘플 값을 결정하는 단계를 더 포함하는 팔레트 디코딩 방법.
  4. 제3항에 있어서,
    상기 팔레트 테이블은 상기 CU 내의 복수의 색에 대응하는 복수의 색 값을 포함하고, 상기 팔레트 인덱스 맵은 상기 CU 내의 샘플 위치에 대한 각각의 색 인덱스 값을 식별하는 것이며, 상기 팔레트 디코딩 방법은,
    상기 루마 샘플 위치와 연관된 색 인덱스 값을 결정하는 단계와;
    상기 팔레트 테이블에서 각각의 루마 샘플 값을 조사하기 위해 상기 색 인덱스 값을 이용하는 단계를 더 포함한 것인 팔레트 디코딩 방법.
  5. 제1항에 있어서,
    상기 CU 내의 제2 샘플 위치를 식별하는 단계와;
    상기 제2 샘플 위치 및 상기 제1 크로마 포맷에 기초하여, 상기 제2 샘플 위치가 루마 성분에만 연관되는지 여부를 결정하는 단계와;
    상기 제2 샘플 위치가 루마 성분에만 연관된다는 결정에 기초하여, 상기 제2 샘플 위치와 연관된 크로마 샘플 값을 버리는(discarding) 단계
    를 더 포함하는 팔레트 디코딩 방법.
  6. 제1항에 있어서,
    상기 제1 크로마 포맷은 비-4:4:4 크로마 포맷이고 상기 제2 크로마 포맷은 4:4:4 크로마 포맷인 것인 팔레트 디코딩 방법.
  7. 제6항에 있어서,
    상기 비-4:4:4 크로마 포맷은 4:2:0, 4:2:2 또는 4:0:0인 것인 팔레트 디코딩 방법.
  8. 제1 크로마 포맷과 연관된 영상 비트스트림을 팔레트 디코딩하는 방법에 있어서,
    코딩 단위(coding unit, CU)와 연관된 팔레트 테이블 및 팔레트 인덱스 맵- 이 팔레트 테이블 및 팔레트 인덱스 맵은 제2 크로마 포맷과 연관된 것임 -을 정의하는 데이터를 수신하는 단계와;
    상기 CU 내의 샘플 위치가 이스케이프 색과 연관되는지 여부를 결정하는 단계와;
    상기 샘플 위치가 이스케이프 색과 연관된다는 결정에 기초하여, 상기 샘플 위치와 연관된 크로마 성분이 시그널링되는지 여부를 상기 샘플 위치 및 상기 제1 크로마 포맷에 기초하여 결정하는 단계와;
    상기 샘플 위치와 연관된 크로마 성분이 시그널링된다는 결정에 기초하여 상기 크로마 성분을 복구하는 단계를 포함한 팔레트 디코딩 방법.
  9. 제8항에 있어서,
    상기 크로마 성분은 상기 샘플 위치와 연관된 크로마 성분에 대한 디코드된 이스케이프 색 값에 기초하여 복구되는 것인 팔레트 디코딩 방법.
  10. 제8항에 있어서,
    상기 팔레트 테이블은 상기 CU 내의 복수의 색에 대응하는 복수의 색 값을 포함하고, 상기 팔레트 인덱스 맵은 상기 CU 내의 샘플 위치에 대한 각각의 색 인덱스 값을 식별하며, 상기 샘플 위치가 이스케이프 색과 연관되는지 여부는 상기 팔레트 인덱스 맵에서의 샘플 위치와 연관된 색 인덱스 값에 기초하여 결정되는 것인 팔레트 디코딩 방법.
  11. 제8항에 있어서,
    상기 샘플 위치와 연관된 상기 크로마 성분은 샘플 위치가 상기 제1 크로마 포맷의 적어도 하나의 크로마 성분과 연관되는 조건에서 시그널링되는 것으로 결정되는 팔레트 디코딩 방법.
  12. 제8항에 있어서,
    상기 샘플 위치와 연관된 상기 크로마 성분은 샘플 위치가 루마 성분에만 연관되는 조건에서 시그널링되지 않는 것으로 결정되는 팔레트 디코딩 방법.
  13. 제8항에 있어서,
    상기 제1 크로마 포맷은 비-4:4:4 크로마 포맷이고 상기 제2 크로마 포맷은 4:4:4 크로마 포맷인 팔레트 디코딩 방법.
  14. 제13항에 있어서,
    상기 비-4:4:4 크로마 포맷은 4:2:0, 4:2:2 또는 4:0:0인 팔레트 디코딩 방법.
  15. 영상을 팔레트 인코딩하는 방법에 있어서,
    제1 크로마 포맷과 연관된 영상 블록- 이 영상 블록은 복수의 크로마 샘플 위치와 복수의 루마 샘플 위치를 포함한 것임 -을 수신하는 단계와;
    제2 크로마 포맷에 따라서 상기 복수의 크로마 샘플 위치를 업샘플링하는 단계와;
    상기 업샘플링된 크로마 샘플 위치 및 상기 복수의 루마 샘플 위치에 기초하여 상기 제2 크로마 포맷과 연관된 팔레트 테이블 및 팔레트 인덱스 맵을 도출하는 단계와;
    영상 비트스트림에서 상기 제2 크로마 포맷과 연관된 팔레트 테이블 및 팔레트 인덱스 맵을 인코딩하는 단계를 포함한 팔레트 인코딩 방법.
  16. 제15항에 있어서,
    상기 루마 샘플 위치 부근의 크로마 샘플 위치가 상기 복수의 크로마 샘플 위치를 업샘플링하기 위해 사용되는 팔레트 인코딩 방법.
  17. 제15항에 있어서,
    루마 샘플 위치에 위상 거리로 가장 가까운 크로마 샘플 위치들이 상기 복수의 크로마 샘플 위치들을 업샘플링하기 위해 사용되는 것인 팔레트 인코딩 방법.
  18. 제15항에 있어서,
    보간 기반 업샘플링이 상기 복수의 크로마 샘플 위치들을 업샘플링하기 위해 사용되고, 상기 보간 기반 업샘플링은 루마 샘플 위치 부근의 크로마 샘플 위치들 및 상기 크로마 샘플 위치들과 상기 루마 샘플 위치 사이의 위상 거리에 기초를 둔 것인 팔레트 인코딩 방법.
  19. 제15항에 있어서,
    제2 샘플 위치와 연관된 크로마 샘플 값이 인코딩되고, 상기 제2 샘플 위치는 루마 샘플 값에만 연관된 것인 팔레트 인코딩 방법.
  20. 제15항에 있어서,
    상기 제1 크로마 포맷은 비-4:4:4 크로마 포맷이고 상기 제2 크로마 포맷은 4:4:4 크로마 포맷인 팔레트 인코딩 방법.
  21. 제20항에 있어서,
    상기 비-4:4:4 크로마 포맷은 4:2:0, 4:2:2 또는 4:0:0인 팔레트 인코딩 방법.
  22. 제1 크로마 포맷과 연관된 영상 비트스트림을 팔레트 인코딩하는 방법에 있어서,
    코딩 단위(coding unit, CU)와 연관된 팔레트 테이블 및 팔레트 인덱스 맵- 이 팔레트 테이블 및 팔레트 인덱스 맵은 제2 크로마 포맷과 연관된 것임 -을 도출하는 단계와;
    상기 CU 내의 샘플 위치가 이스케이프 색과 연관되는지 여부를 결정하는 단계와;
    상기 샘플 위치가 이스케이프 색과 연관된다는 결정에 기초하여, 상기 샘플 위치와 연관된 크로마 성분이 시그널링되어야 하는지 여부를 상기 샘플 위치 및 상기 제1 크로마 포맷에 기초하여 결정하는 단계와;
    상기 샘플 위치와 연관된 크로마 성분이 시그널링되어야 한다는 결정에 기초하여 상기 영상 비트스트림 내의 상기 크로마 성분을 인코딩하는 단계를 포함한 팔레트 인코딩 방법.
  23. 제22항에 있어서,
    상기 샘플 위치와 연관된 상기 크로마 성분의 이스케이프 색 값이 인코딩되는 팔레트 인코딩 방법.
  24. 제22항에 있어서,
    상기 샘플 위치가 상기 제1 크로마 포맷의 적어도 하나의 크로마 샘플 값과 연관되는 조건에서 상기 샘플 위치와 연관된 상기 크로마 성분을 시그널링하도록 결정되는 팔레트 인코딩 방법.
  25. 제22항에 있어서,
    상기 샘플 위치가 루마 샘플 값에만 연관되는 조건에서 상기 샘플 위치와 연관된 상기 크로마 성분을 시그널링하지 않도록 결정되는 팔레트 인코딩 방법.
  26. 제22항에 있어서,
    상기 제1 크로마 포맷은 비-4:4:4 크로마 포맷이고 상기 제2 크로마 포맷은 4:4:4 크로마 포맷인 팔레트 인코딩 방법.
  27. 제26항에 있어서,
    상기 비-4:4:4 크로마 포맷은 4:2:0, 4:2:2 또는 4:0:0인 팔레트 인코딩 방법.
  28. 제1 크로마 포맷과 연관된 영상 비트스트림을 팔레트 디코딩하는 영상 코딩 장치에 있어서,
    코딩 단위(coding unit, CU)와 연관된 팔레트 테이블 및 팔레트 인덱스 맵- 이 팔레트 테이블 및 팔레트 인덱스 맵은 제2 크로마 포맷과 연관된 것임 -을 정의하는 데이터를 수신하고;
    제1 크로마 포맷과 연관된 제1 크로마 샘플 위치에 대하여, 상기 제1 크로마 포맷과 연관된 크로마 성분 대 루마 성분 해상도율에 기초하여 상기 팔레트 인덱스 맵에서의 상기 제2 크로마 포맷과 연관된 크로마 샘플 위치를 도출하고;
    상기 제2 크로마 포맷과 연관된 상기 도출된 크로마 샘플 위치, 상기 팔레트 인덱스 맵 및 상기 팔레트 테이블에 기초하여 상기 제1 크로마 포맷과 연관된 크로마 샘플 위치의 각각의 크로마 샘플 값을 결정하도록 구성된 프로세서를 포함한 영상 코딩 장치.
  29. 제28항에 있어서,
    상기 팔레트 테이블은 상기 CU 내의 복수의 색에 대응하는 복수의 색 값을 포함하고, 상기 팔레트 인덱스 맵은 상기 CU 내의 샘플 위치에 대한 각각의 색 인덱스 값을 식별하는 것이며, 상기 프로세서는,
    상기 팔레트 인덱스 맵에서의 상기 제2 크로마 포맷과 연관된 상기 크로마 샘플 위치와 연관된 색 인덱스 값을 결정하고;
    상기 팔레트 테이블에서 각각의 크로마 샘플 값을 조사하기 위해 상기 색 인덱스 값을 이용하도록 또한 구성된 것인 영상 코딩 장치.
  30. 제28항에 있어서,
    상기 프로세서는 상기 제1 크로마 포맷과 연관된 루마 샘플 위치에 대하여, 상기 루마 샘플 위치, 상기 팔레트 인덱스 맵 및 상기 팔레트 테이블에 기초하여 각각의 루마 샘플 값을 결정하도록 또한 구성된 것인 영상 코딩 장치.
  31. 제30항에 있어서,
    상기 팔레트 테이블은 상기 CU 내의 복수의 색에 대응하는 복수의 색 값을 포함하고, 상기 팔레트 인덱스 맵은 상기 CU 내의 샘플 위치에 대한 각각의 색 인덱스 값을 식별하는 것이며, 상기 프로세서는,
    상기 루마 샘플 위치와 연관된 색 인덱스 값을 결정하고;
    상기 팔레트 테이블에서 각각의 루마 샘플 값을 조사하기 위해 상기 색 인덱스 값을 이용하도록 또한 구성된 것인 영상 코딩 장치.
  32. 제28항에 있어서,
    상기 프로세서는 또한,
    상기 CU 내의 제2 샘플 위치를 식별하고;
    상기 제2 샘플 위치 및 상기 제1 크로마 포맷에 기초하여, 상기 제2 샘플 위치가 루마 성분에만 연관되는지 여부를 결정하고;
    상기 제2 샘플 위치가 루마 성분에만 연관된다는 결정에 기초하여, 상기 제2 샘플 위치와 연관된 크로마 샘플 값을 버리도록
    구성되는 것인 영상 코딩 장치.
  33. 제28항에 있어서,
    상기 제1 크로마 포맷은 비-4:4:4 크로마 포맷이고 상기 제2 크로마 포맷은 4:4:4 크로마 포맷인 영상 코딩 장치.
  34. 제33항에 있어서,
    상기 비-4:4:4 크로마 포맷은 4:2:0, 4:2:2 또는 4:0:0인 영상 코딩 장치.
  35. 제1 크로마 포맷과 연관된 영상 비트스트림을 팔레트 디코딩하는 영상 코딩 장치에 있어서,
    코딩 단위(coding unit, CU)와 연관된 팔레트 테이블 및 팔레트 인덱스 맵- 이 팔레트 테이블 및 팔레트 인덱스 맵은 제2 크로마 포맷과 연관된 것임 -을 정의하는 데이터를 수신하고;
    상기 CU 내의 샘플 위치가 이스케이프 색과 연관되는지 여부를 결정하고;
    상기 샘플 위치가 이스케이프 색과 연관된다는 결정에 기초하여, 상기 샘플 위치와 연관된 크로마 성분이 시그널링되는지 여부를 상기 샘플 위치 및 상기 제1 크로마 포맷에 기초하여 결정하고;
    상기 샘플 위치와 연관된 크로마 성분이 시그널링된다는 결정에 기초하여 상기 크로마 성분을 복구하도록 구성된 프로세서를 포함한 영상 코딩 장치.
  36. 제35항에 있어서,
    상기 크로마 성분은 상기 샘플 위치와 연관된 크로마 성분에 대한 디코딩된 이스케이프 색 값에 기초하여 복구되는 것인 영상 코딩 장치.
  37. 제35항에 있어서,
    상기 팔레트 테이블은 상기 CU 내의 복수의 색에 대응하는 복수의 색 값을 포함하고, 상기 팔레트 인덱스 맵은 상기 CU 내의 샘플 위치에 대한 각각의 색 인덱스 값을 식별하며, 상기 샘플 위치가 이스케이프 색과 연관되는지 여부는 상기 팔레트 인덱스 맵에서의 샘플 위치와 연관된 색 인덱스 값에 기초하여 결정되는 것인 영상 코딩 장치.
  38. 제35항에 있어서,
    상기 샘플 위치와 연관된 상기 크로마 성분은 샘플 위치가 상기 제1 크로마 포맷의 적어도 하나의 크로마 성분과 연관되는 조건에서 시그널링되는 것으로 결정되는 영상 코딩 장치.
  39. 제35항에 있어서,
    상기 샘플 위치와 연관된 상기 크로마 성분은 샘플 위치가 루마 성분에만 연관되는 조건에서 시그널링되지 않는 것으로 결정되는 영상 코딩 장치.
  40. 제35항에 있어서,
    상기 제1 크로마 포맷은 비-4:4:4 크로마 포맷이고 상기 제2 크로마 포맷은 4:4:4 크로마 포맷인 영상 코딩 장치.
  41. 제40항에 있어서,
    상기 비-4:4:4 크로마 포맷은 4:2:0, 4:2:2 또는 4:0:0인 영상 코딩 장치.
  42. 영상을 팔레트 인코딩하는 영상 코딩 장치에 있어서,
    제1 크로마 포맷과 연관된 영상 블록- 이 영상 블록은 복수의 크로마 샘플 위치와 복수의 루마 샘플 위치를 포함한 것임 -을 수신하고;
    제2 크로마 포맷에 따라서 상기 복수의 크로마 샘플 위치를 업샘플링하고;
    상기 업샘플링된 크로마 샘플 위치 및 상기 복수의 루마 샘플 위치에 기초하여 상기 제2 크로마 포맷과 연관된 팔레트 테이블 및 팔레트 인덱스 맵을 도출하고;
    영상 비트스트림에서 상기 제2 크로마 포맷과 연관된 팔레트 테이블 및 팔레트 인덱스 맵을 인코딩하도록 구성된 프로세서를 포함한 영상 코딩 장치.
  43. 제42항에 있어서,
    상기 루마 샘플 위치 부근의 크로마 샘플 위치가 상기 복수의 크로마 샘플 위치를 업샘플링하기 위해 사용되는 영상 코딩 장치.
  44. 제42항에 있어서,
    상기 루마 샘플 위치에 위상 거리로 가장 가까운 크로마 샘플 위치가 상기 복수의 크로마 샘플 위치를 업샘플링하기 위해 사용되는 영상 코딩 장치.
  45. 제42항에 있어서,
    보간 기반 업샘플링이 상기 복수의 크로마 샘플 위치를 업샘플링하기 위해 사용되고, 상기 보간 기반 업샘플링은 상기 루마 샘플 위치 부근의 크로마 샘플 위치 및 상기 크로마 샘플 위치와 상기 루마 샘플 위치 사이의 위상 거리에 기초를 둔 것인 영상 코딩 장치.
  46. 제42항에 있어서,
    제2 샘플 위치와 연관된 크로마 샘플 값이 인코딩되고, 상기 제2 샘플 위치는 루마 샘플 값에만 연관된 것인 영상 코딩 장치.
  47. 제42항에 있어서,
    상기 제1 크로마 포맷은 비-4:4:4 크로마 포맷이고 상기 제2 크로마 포맷은 4:4:4 크로마 포맷인 영상 코딩 장치.
  48. 제47항에 있어서,
    상기 비-4:4:4 크로마 포맷은 4:2:0, 4:2:2 또는 4:0:0인 영상 코딩 장치.
  49. 제1 크로마 포맷과 연관된 영상 비트스트림을 팔레트 인코딩하는 영상 코딩 장치에 있어서,
    코딩 단위(coding unit, CU)와 연관된 팔레트 테이블 및 팔레트 인덱스 맵- 이 팔레트 테이블 및 팔레트 인덱스 맵은 제2 크로마 포맷과 연관된 것임 -을 도출하고;
    상기 CU 내의 샘플 위치가 이스케이프 색과 연관되는지 여부를 결정하고;
    상기 샘플 위치가 이스케이프 색과 연관된다는 결정에 기초하여, 상기 샘플 위치와 연관된 크로마 성분이 시그널링되어야 하는지 여부를 상기 샘플 위치 및 상기 제1 크로마 포맷에 기초하여 결정하고;
    상기 샘플 위치와 연관된 크로마 성분이 시그널링되어야 한다는 결정에 기초하여 상기 영상 비트스트림 내의 상기 크로마 성분을 인코딩하도록 구성된 프로세서를 포함한 영상 코딩 장치.
  50. 제49항에 있어서,
    상기 샘플 위치와 연관된 상기 크로마 성분의 이스케이프 색 값이 인코딩되는 영상 코딩 장치.
  51. 제49항에 있어서,
    상기 샘플 위치가 상기 제1 크로마 포맷의 적어도 하나의 크로마 샘플 값과 연관되는 조건에서 상기 샘플 위치와 연관된 상기 크로마 샘플 값을 시그널링하도록 결정되는 영상 코딩 장치.
  52. 제49항에 있어서,
    상기 샘플 위치가 루마 샘플 값에만 연관되는 조건에서 상기 샘플 위치와 연관된 상기 크로마 샘플 값을 시그널링하지 않도록 결정되는 영상 코딩 장치.
  53. 제49항에 있어서,
    상기 제1 크로마 포맷은 비-4:4:4 크로마 포맷이고 상기 제2 크로마 포맷은 4:4:4 크로마 포맷인 영상 코딩 장치.
  54. 제53항에 있어서,
    상기 비-4:4:4 크로마 포맷은 4:2:0, 4:2:2 또는 4:0:0인 영상 코딩 장치.
KR1020177022358A 2015-01-14 2016-01-14 비-4:4:4 화면 콘텐츠 영상의 팔레트 코딩 KR20170103924A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562103419P 2015-01-14 2015-01-14
US62/103,419 2015-01-14
PCT/US2016/013406 WO2016115343A2 (en) 2015-01-14 2016-01-14 Palette coding for non-4:4:4 screen content video

Publications (1)

Publication Number Publication Date
KR20170103924A true KR20170103924A (ko) 2017-09-13

Family

ID=55697439

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177022358A KR20170103924A (ko) 2015-01-14 2016-01-14 비-4:4:4 화면 콘텐츠 영상의 팔레트 코딩

Country Status (7)

Country Link
US (1) US20170374384A1 (ko)
EP (1) EP3245788A2 (ko)
JP (1) JP2018505604A (ko)
KR (1) KR20170103924A (ko)
CN (1) CN107211147A (ko)
TW (1) TW201637448A (ko)
WO (1) WO2016115343A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021029744A1 (ko) * 2019-08-14 2021-02-18 엘지전자 주식회사 루마 샘플 위치를 참조하여 크로마 블록의 예측 모드를 결정하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9979960B2 (en) 2012-10-01 2018-05-22 Microsoft Technology Licensing, Llc Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions
GB2542858A (en) * 2015-10-02 2017-04-05 Canon Kk Encoder optimizations for palette encoding of content with subsampled colour component
GB2547047B (en) * 2016-02-08 2018-07-18 Canon Kk Encoder optimizations for palette lossless encoding of content with subsampled colour component
US10368080B2 (en) * 2016-10-21 2019-07-30 Microsoft Technology Licensing, Llc Selective upsampling or refresh of chroma sample values
KR102707768B1 (ko) * 2017-05-25 2024-09-19 브이아이디 스케일, 인크. 360도 비디오 코딩을 위한 하이브리드 큐브 맵 투사
EP3861728A4 (en) * 2018-11-06 2022-04-06 Beijing Bytedance Network Technology Co., Ltd. COMPLEXITY REDUCTION IN A DERIVATION OF PARAMETERS FOR AN INTRA PREDICTION
CN113170122B (zh) 2018-12-01 2023-06-27 北京字节跳动网络技术有限公司 帧内预测的参数推导
CN113412624A (zh) * 2018-12-21 2021-09-17 北京达佳互联信息技术有限公司 用于推导针对色度分量的仿射运动矢量的视频编解码的方法和装置
CN113366833A (zh) 2019-02-01 2021-09-07 北京字节跳动网络技术有限公司 对环路整形的限制
CN113366841B (zh) 2019-02-01 2024-09-20 北京字节跳动网络技术有限公司 配置用于视频编解码的依赖于亮度的色度残差缩放
PL3928519T3 (pl) 2019-02-22 2024-08-12 Huawei Technologies Co., Ltd. Sposób i aparat do predykcji inter podbloków chrominancji na podstawie afinicznej
JP7197720B2 (ja) * 2019-02-24 2022-12-27 北京字節跳動網絡技術有限公司 パレットモードの使用の指示の独立した符号化
CN113475077B (zh) * 2019-02-24 2023-11-17 北京字节跳动网络技术有限公司 调色板模式使用指示的独立编解码
WO2020177702A1 (en) * 2019-03-04 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Two-level signaling of filtering information in video processing
CN113615188B (zh) * 2019-03-08 2024-08-02 北京字节跳动网络技术有限公司 调色板模式使用指示的联合编解码
CN113574889B (zh) 2019-03-14 2024-01-12 北京字节跳动网络技术有限公司 环路整形信息的信令和语法
KR20210139272A (ko) 2019-03-23 2021-11-22 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링 파라미터 세트들에 대한 제한들
WO2020216177A1 (en) 2019-04-20 2020-10-29 Beijing Bytedance Network Technology Co., Ltd. Signaling of chroma and luma syntax elements in video coding
CN113785574B (zh) * 2019-05-30 2022-10-11 北京字节跳动网络技术有限公司 色度分量的自适应环路滤波
WO2020243295A1 (en) 2019-05-31 2020-12-03 Bytedance Inc. Palette mode with intra block copy prediction
KR20220032520A (ko) 2019-07-20 2022-03-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 팔레트 모드 사용 지시의 조건 종속적인 코딩
CN114145013B (zh) 2019-07-23 2023-11-14 北京字节跳动网络技术有限公司 调色板模式编解码的模式确定
WO2021018166A1 (en) 2019-07-29 2021-02-04 Beijing Bytedance Network Technology Co., Ltd. Scanning order improvements for palette mode coding
WO2021030788A1 (en) 2019-08-15 2021-02-18 Bytedance Inc. Entropy coding for palette escape symbol
JP7494289B2 (ja) 2019-08-15 2024-06-03 バイトダンス インコーポレイテッド 異なるパーティション構造をもつパレット・モード
CN114375581A (zh) * 2019-09-12 2022-04-19 字节跳动有限公司 在视频编解码中使用调色板预测器
CN114424545B (zh) 2019-09-19 2024-07-16 字节跳动有限公司 用于调色板模式的量化参数推导
CN114430901B (zh) 2019-09-20 2024-07-05 北京字节跳动网络技术有限公司 带有色度缩放的亮度映射
US11451801B2 (en) * 2019-12-26 2022-09-20 Alibaba Group Holding Limited Methods for coding video data in palette mode

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10291827B2 (en) * 2013-11-22 2019-05-14 Futurewei Technologies, Inc. Advanced screen content coding solution
US10097839B2 (en) * 2014-12-19 2018-10-09 Qualcomm Incorporated Palette mode for subsampling format

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021029744A1 (ko) * 2019-08-14 2021-02-18 엘지전자 주식회사 루마 샘플 위치를 참조하여 크로마 블록의 예측 모드를 결정하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
KR20220020992A (ko) * 2019-08-14 2022-02-21 엘지전자 주식회사 루마 샘플 위치를 참조하여 크로마 블록의 예측 모드를 결정하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US11595642B2 (en) 2019-08-14 2023-02-28 Lg Electronics Inc. Image encoding/decoding method and apparatus for determining prediction mode of chroma block by referring to luma sample position, and method for transmitting bitstream
US11973942B2 (en) 2019-08-14 2024-04-30 Lg Electronics Inc. Image encoding/decoding method and apparatus for determining prediction mode of chroma block by referring to luma sample position, and method for transmitting bitstream

Also Published As

Publication number Publication date
US20170374384A1 (en) 2017-12-28
JP2018505604A (ja) 2018-02-22
TW201637448A (zh) 2016-10-16
CN107211147A (zh) 2017-09-26
WO2016115343A3 (en) 2016-10-13
EP3245788A2 (en) 2017-11-22
WO2016115343A2 (en) 2016-07-21

Similar Documents

Publication Publication Date Title
KR20170103924A (ko) 비-4:4:4 화면 콘텐츠 영상의 팔레트 코딩
JP7433019B2 (ja) ビデオコーディングにおけるクロマ信号強調のためのクロスプレーンフィルタリング
US20220329831A1 (en) Enhanced chroma coding using cross plane filtering
JP7485645B2 (ja) Ｒｇｂビデオコーディングエンハンスメントのためのシステムおよび方法
US10484686B2 (en) Palette coding modes and palette flipping
US10972731B2 (en) Systems and methods for coding in super-block based video coding framework
KR101774675B1 (ko) 다층 비디오 코딩을 위한 적응적 업샘플링
KR101955700B1 (ko) 스케일러블 비디오 코딩을 위한 모션 벡터 예측 방법 및 장치
KR101812860B1 (ko) Ｈｄｒ 비디오를 디노이징하기 위한 시간적 필터
KR101840915B1 (ko) 스케일러블 비디오 코딩을 위한 모션 정보 시그널링
KR101915156B1 (ko) 다수의 레이어 비디오 코딩을 위한 레이어간 참조 화상 강화
KR20170108112A (ko) 팔레트 코딩 모드를 위한 이스케이프 컬러 코딩
KR20170056626A (ko) 비디오 코딩을 위한 성분간 탈상관
KR20170021845A (ko) 3차원 기반 컬러 매핑에서의 모델 파라미터 최적화를 위한 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application