KR20170121317A - Ｈｅｖｃ 확장을 위한 계층간 파라미터 집합 - Google Patents

Ｈｅｖｃ 확장을 위한 계층간 파라미터 집합 Download PDF

Info

Publication number
KR20170121317A
KR20170121317A KR1020177030341A KR20177030341A KR20170121317A KR 20170121317 A KR20170121317 A KR 20170121317A KR 1020177030341 A KR1020177030341 A KR 1020177030341A KR 20177030341 A KR20177030341 A KR 20177030341A KR 20170121317 A KR20170121317 A KR 20170121317A
Authority
KR
South Korea
Prior art keywords
layer
inter
video
flag
layers
Prior art date
Application number
KR1020177030341A
Other languages
English (en)
Other versions
KR102115075B1 (ko
Inventor
용 헤
얀 예
유웬 헤
시아오유 시우
Original Assignee
브이아이디 스케일, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 브이아이디 스케일, 인크. filed Critical 브이아이디 스케일, 인크.
Publication of KR20170121317A publication Critical patent/KR20170121317A/ko
Application granted granted Critical
Publication of KR102115075B1 publication Critical patent/KR102115075B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 코딩 장치는 비디오 데이터 처리를 제공할 수 있다. 비디오 코딩 장치는 복수의 비디오 표시 형식 부분집합을 수신할 수 있다. 복수의 비디오 표시 형식 부분집합은 복수의 계층에 대응할 수 있다. 복수의 비디오 표시 부분집합은 각각 하나 이상의 비디오 표시 파라미터 값을 포함할 수 있다. 비디오 코딩 장치는 현재 계층과 연관된 비디오 표시 형식 부분집합 인덱스를 수신할 수 있다(예를 들면, 교차 계층 파라미터 집합으로). 비디오 코딩 장치는 비디오 표시 형식 부분집합 인덱스를 이용하여 현재 계층과 연관된 복수의 비디오 표시 형식 부분집합들 중 하나를 결정할 수 있다.

Description

ＨＥＶＣ 확장을 위한 계층간 파라미터 집합{INTER-LAYER PARAMETER SET FOR HEVC EXTENSIONS}
관련 출원에 대한 교차 참조
이 출원은 2013년 6월 18일자 출원된 미국 가특허 출원 제61/836,552호, 2013년 6월 19일자 출원된 미국 가특허 출원 제61/837,116호, 2013년 6월 27일자 출원된 미국 가특허 출원 제61/840,380호, 및 2013년 7월 30일자 출원된 미국 가특허 출원 제61/860,221호를 우선권 주장하며, 상기 우선권 출원들의 내용은 인용에 의해 본원에 통합된다.
디지털 비디오 통신, 배포 및/또는 소비의 효율을 향상시키는 디지털 비디오 압축 기술, 예컨대 고효율 비디오 코딩(high efficiency video coding, HEVC)이 계속하여 개발되고 있다. 전통적인 디지털 비디오 서비스(예컨대 TV 신호)와 비교할 때, 비디오 응용은 이종 환경에서 전개될 수 있다. 이러한 이종성(heterogeneity)은 클라이언트 측뿐만 아니라 네트워크 측에도 존재할 수 있다. 스케일러블(scalable) 비디오 코딩 메카니즘은 비디오 신호를 최고 해상도로 1회 인코드하기 위해 사용될 수 있지만, 소정 애플리케이션에 의해 요구되는 및/또는 클라이언트 장치에 의해 지원되는 특정 레이트 및 해상도에 따라 스트림들의 부분집합으로부터의 디코딩을 가능하게 할 수 있다.
최종 사용자의 경험 및/또는 서비스 품질을 개선하기 위해 스케일러블 비디오 코딩 기술을 포함한 비디오 압축 기술이 제공될 수 있다. 예를 들면, 스케일러블 비디오 코딩은 하나 이상의 파라미터 집합을 통해 하이 레벨 구문(syntax) 설계로 구현될 수 있다. 그러나, 신호되는 파라미터 집합 및 구문 요소는 귀중한 통신 대역폭 및/또는 처리 자원을 비효율적으로 소비할 수 있다.
비디오 데이터 처리를 구현하는 시스템, 방법 및 수단이 제공된다. 비디오 코딩 장치는 복수의 비디오 표시 형식 부분집합(video representation format subset)을 수신할 수 있다. 비디오 코딩 장치는 복수의 비디오 표시 형식 부분집합의 카운트를 수신할 수 있다. 복수의 비디오 표시 형식 부분집합은 복수의 계층에 대응할 수 있다. 예를 들면, 복수의 비디오 표시 형식 부분집합 중 제1의 비디오 표시 형식 부분집합은 제1 계층에 대응하고 복수의 비디오 표시 형식 부분집합 중 제2의 비디오 표시 형식 부분집합은 제2 계층 또는 복수의 계층에 대응할 수 있다.
복수의 비디오 표시 부분집합은 각각 하나 이상의 비디오 표시 파라미터 값을 포함할 수 있다. 상기 파라미터 값들은 루마 샘플의 화상(picture) 폭의 표시, 루마 샘플의 화상 높이의 표시, 루마 어레이의 하나 이상 샘플의 비트 깊이의 표시, 크로마(chroma) 어레이의 하나 이상 샘플의 비트 깊이의 표시, 또는 크로마 형식 인덱스의 표시 중 적어도 하나를 포함할 수 있다.
비디오 코딩 장치는 현재 계층과 연관된 비디오 표시 형식 부분집합 인덱스를 수신할 수 있다. 예를 들면, 비디오 표시 형식 부분집합 인덱스는 교차 계층 파라미터 집합 및/또는 시퀀스 파라미터 집합(sequence parameter set, SPS)에서 수신될 수 있다.
비디오 코딩 장치는 비디오 표시 형식 부분집합 인덱스를 이용하여 현재 계층과 연관된 복수의 비디오 표시 형식 부분집합들 중 하나를 결정할 수 있다.
비디오 인코딩 장치는 활성 참조 계층의 수를 직접 참조 계층의 수와 비교할 수 있다. 비디오 인코딩 장치는 상기 활성 참조 계층의 표시를 슬라이스 레벨 헤더에 포함해야 하는지를 상기 활성 참조 계층의 수와 직접 참조 계층의 수의 비교 결과에 기초하여 결정할 수 있다.
비디오 인코딩 장치는 예를 들어서 상기 활성 참조 계층의 수가 상기 직접 참조 계층의 수와 동일하지 않은 경우에 계층간 예측을 위해 사용될 수 있는 화상의 표시를 포함할 수 있다. 비디오 인코딩 장치는 예를 들어서 상기 활성 참조 계층의 수가 상기 직접 참조 계층의 수와 동일한 경우에 계층간 예측을 위해 사용될 수 있는 화상의 표시를 건너뛸 수 있다.
비디오 디코딩 장치는 하나 이상의 계층을 포함한 비트스트림을 수신할 수 있다. 수신된 비트스트림 내 활성 참조 계층의 수가 직접 참조 계층의 수와 동일하지 않은 경우에, 비디오 디코딩 장치는 계층간 예측 계층 구문 요소를 수신할 수 있다. 계층간 예측 계층 구문 요소는 계층간 예측을 위해 현재 계층의 현재 화상에 의해 사용될 수 있는 참조 화상 계층 ID의 리스트를 표시한다.
비디오 디코딩 장치는 예를 들어서 활성 참조 계층의 수가 직접 참조 계층의 수와 동일한 경우에 계층간 예측 계층 구문 요소를 도출할 수 있다. 계층간 예측 계층 구문 요소는 현재 계층의 직접 참조 계층의 계층 ID로부터 추론될 수 있다.
도 1a-1c는 예시적인 계층간 파라미터 집합을 보인 구문표이다.
도 2a-2c는 단순화한 시퀀스 파라미터 집합의 예를 보인 구문표이다.
도 3은 단순화한 시퀀스 파라미터 집합 확장의 예를 보인 구문표이다.
도 4는 계층간 파라미터 집합으로부터 비디오 코딩 및/또는 디코딩 파라미터를 도출하는 예시적인 처리를 보인 도이다.
도 5는 참조 화상 크로핑의 예를 보인 도이다.
도 6a는 하나 이상의 본 발명의 실시형태가 구현될 수 있는 예시적인 통신 시스템의 계통도이다.
도 6b는 도 6a에 도시된 통신 시스템에서 사용될 수 있는 예시적인 무선 송수신 유닛(WTRU)의 계통도이다.
도 6c는 도 6a에 도시된 통신 시스템에서 사용될 수 있는 예시적인 무선 접근 네트워크 및 예시적인 코어 네트워크의 계통도이다.
도 6d는 도 6a에 도시된 통신 시스템에서 사용될 수 있는 다른 예시적인 무선 접근 네트워크 및 다른 예시적인 코어 네트워크의 계통도이다.
도 6e는 도 6a에 도시된 통신 시스템에서 사용될 수 있는 다른 예시적인 무선 접근 네트워크 및 다른 예시적인 코어 네트워크의 계통도이다.
이제, 각종 도면을 참조하면서 예시적인 실시형태를 상세히 설명한다. 비록 이 설명이 가능한 구현의 상세한 예를 제공하지만, 그 세부는 예를 든 것이고 어떻게든 발명의 범위를 제한하는 것으로 의도되지 않는다.
비디오 코딩 시스템에 있어서, 클라이언트 장치 측에서는 서로 다른 화면 크기 및/또는 디스플레이 능력을 가진 장치, 예를 들면, 스마트폰, 태블릿, PC, HDTV 등에서 비디오 콘텐츠를 소비하는 N-스크린 시나리오가 계속될 것으로 기대된다. 통신 네트워크 측에서는 비디오가 인터넷, 와이파이 네트워크, 모바일 통신 네트워크(예를 들면, 3G, 4G 등) 등, 또는 이들의 임의 조합 중의 하나 이상을 통하여 송신될 수 있다.
사용자 경험(예를 들면, 클라이언트 장치의 최종 사용자의 경험) 및/또는 비디오 서비스 품질을 개선하기 위해 스케일러블 비디오 코딩이 구현될 수 있다. 스케일러블 비디오 코딩에 의해, 비디오 신호는 최고 해상도로 1회 인코딩될 수 있다. 그러한 비디오 신호는 예를 들면 특정 애플리케이션에서 필요로 하는 및/또는 클라이언트 장치에 의해 지원되는 특정 레이트 및/또는 해상도에 따라서 상기 비디오 신호와 연관된 하나 이상의 비디오 스트림의 부분집합으로부터 디코딩될 수 있다. 해상도는 공간 해상도(예를 들면, 화상 크기), 시간 해상도(예를 들면, 프레임 레이트) 및 비디오 품질(예를 들면, MOS와 같은 주관적 품질 및/또는 PSNR, SSIM 또는 VQM과 같은 객관적 품질)과 같은 하나 이상의 비디오 파라미터를 포함할 수 있다. 사용 가능한 다른 비디오 파라미터는 크로마 형식(예를 들면, YUV420, YUV422 또는 YUV444), 비트-깊이(예를 들면, 8-비트 또는 10-비트 비디오), 복잡도, 뷰, 색영역(gamut)(예를 들면, 색재현율), 및/또는 종횡비(예를 들면, 16:9 또는 4:3)를 포함한다.
비디오 표준은 확장성 모드(scalability mode)를 지원하는 툴 및/또는 프로파일을 포함할 수 있다. 예를 들면, 고효율 비디오 코딩은 스케일러블 비디오 코딩을 지원하도록 구성될 수 있다. HEVC에 대한 예시적인 스케일러블 확장(scalable extension)은 공간 확장성(예를 들면, 스케일러블 비트스트림은 각각의 신호를 2개 이상의 공간 해상도로 포함할 수 있다), 품질 확장성(예를 들면, 스케일러블 비트스트림은 각각의 신호를 2개 이상의 품질 레벨로 포함할 수 있다), 및 표준 확장성(예를 들면, 스케일러블 비트스트림은 H.264/AVC를 이용하여 부호화된 기본 계층 및 HEVC를 이용하여 부호화된 하나 이상의 향상 계층(enhancement layer)을 포함할 수 있다) 중의 하나 이상을 지원할 수 있다. 스케일러블 비디오는 3D 비디오까지 확장될 수 있다. 예를 들면, 멀티뷰 확장성이 구현될 수 있다(예를 들면, 스케일러블 비트스트림은 2D 비디오 신호와 3D 비디오 신호 둘 다를 포함할 수 있다). 비록 스케일러블 HEVC 설계의 각종 양태가 예를 들면 여기에서 설명하는 바와 같이 공간 확장성 및/또는 품질 확장성의 사용을 포함할 수 있지만, 여기에서 설명하는 기술은 하나 이상의 다른 유형의 확장성에 적용될 수 있다는 것을 알아야 한다.
HEVC의 스케일러블 확장(SHVC)은 참조 인덱스 기반 프레임워크에 따라 구현될 수 있다. 참조 인덱스 기반 프레임워크는 블록 레벨의 동작 및/또는 블록 레벨 이하의 동작을 그대로 두어서 단일 계층 코덱 로직이 그러한 프레임워크를 사용하는 스케일러블 코딩 시스템 내에서 재사용될 수 있다. 참조 인덱스 기반 프레임워크는 스케일러블 코덱의 설계를 단순화할 수 있다. 그러한 프레임워크는 코딩 효율을 달성하기 위해 예를 들면 하이 레벨 구문 시그널링 및/또는 계층간 처리 모듈을 통합함으로써 다른 유형의 확장성을 지원할 수 있다. 하이 레벨 구문 변화는 예를 들면 SHVC의 계층간 처리 및/또는 다층 시그널링을 지원하도록 구현될 수 있다. 이러한 구문 변화는 예를 들면 참조 인덱스 기반 프레임워크에 따라서 구현될 수 있다.
스케일러블 비디오 코딩은 하나 이상의 계층(예를 들면, 복수의 계층)을 지원할 수 있다. 이러한 각각의 계층은 공간 확장성, 시간 확장성, SNR 확장성 또는 다른 유형의 확장성 중의 하나 이상을 인에이블하도록 설계될 수 있다. 예를 들어서 스케일러블 비트스트림은 혼합형의 확장성 계층을 포함할 수 있고, 하나 이상의 각각의 향상 계층은 디코딩되기 위해 하나 이상의 하위층에 의존할 수 있다. 계층간 처리는 예를 들면 하나 이상의 향상 계층의 예측 정확도를 향상시키기 위해 계층간 참조 화상(inter-layer reference picture, ILR) 샘플 및/또는 모션 필드 정보를 발생할 수 있다.
수 개의 파라미터 집합이 HEVC 구현을 위해 및/또는 하나 이상의 대응하는 확장을 위해 특정될 수 있다. 예를 들면, 비디오 파라미터 집합(video parameter set, VPS)은 복수의 계층이 공유하는 하나 이상의 구문 요소를 포함할 수 있다. VPS는 비트스트림 추출, 확장성 교환, 및/또는 세션 협의를 위한 정보(예를 들면, 계층들의 최대수 및/또는 프로파일, 타이어(tier) 및 레벨 정보 중의 하나 이상)를 포함할 수 있다.
시퀀스 파라미터 집합(sequence parameter set, SPS)은 소정의 시간 간격에 걸치는 일련의 비디오 화상과 같이 부호화 비디오 시퀀스의 하나 이상의 부호화 슬라이스(예를 들면, 모든 부호화 슬라이스)에 공통인 정보를 포함할 수 있다. 이러한 정보는 화상 해상도, 비트 깊이, 코딩 블록 크기 등 중의 하나 이상을 포함할 수 있다.
화상 파라미터 집합(picture parameter set, PPS)은 화상 레벨 정보를 포함할 수 있다. 이러한 정보는 초기 양자화 값, 코딩 툴 인에이블 및/또는 디스에이블 플래그 등 중의 하나 이상을 포함할 수 있다. PPS로 운반된 정보는 비교적 긴 지속기간, 예를 들면 복수 화상의 지속기간 내내 불변으로 유지되어 정보가 빈번하게 갱신되지 않게 할 수 있다. 슬라이스 레벨에서 변경되는 정보가 슬라이스 헤더에 포함될 수 있다.
VPS, SPS 및/또는 PPS와 같은 하나 이상의 파라미터 집합은 대역외(out-of-band) 방식으로 송신될 수 있다(예를 들면, 일부 응용 시나리오에서와 같이 신뢰할 수 있는 채널을 이용해서). 하이 레벨 구문 설계는 복수의 계층이 단일 SPS(예를 들면, 동일 SPS)를 참조하게 할 수 있다. 이것은 예를 들면 멀티뷰 및/또는 SNR 확장성을 위해 사용될 수 있다. 공간 확장성의 경우에, 하나 이상의 계층(예를 들면, 각 계층)은 예를 들면 다른 비디오 해상도에 기인하여 각각의 다른 SPS를 참조할 수 있다. 만일 SPS의 하나 이상의 파라미터(예를 들면, 대부분의 파라미터)가 복수의 계층에 걸쳐서 동일하면, 그러한 용장성을 제거함으로써 비트레이트를 절약하는 것이 바람직할 수 있다. 하나 이상의 이러한 파라미터는 복수의 계층들 간에 공유될 수 있다.
비트레이트를 절약하기 위한 예시적인 접근법에 있어서, 기본 계층 및/또는 다른 종속 계층의 SPS 파라미터로부터 예컨대 스케일링 리스트, 참조 화상 리스트(RPS) 등과 같은 하나 이상의 향상 계층 SPS 파라미터를 예측하기 위해 사용할 수 있는 SPS 대 SPS 예측이 구현될 수 있다. 이러한 SPS 대 SPS 예측은 다른 계층들 간에 파라미터 집합 종속성을 도입할 수 있다.
비트레이트를 절약하기 위한 다른 예에 있어서, 계층들 간의 하나 이상의 공유 파라미터를 VPS에 재배치하고 VPS의 대응하는 파라미터에 기초하여 하나 이상의 공유 SPS 파라미터(예를 들면, 각 계층의 SPS 파라미터)를 예측하는 VPS 대 SPS 예측이 구현될 수 있다.
HEVC 확장을 위한 VPS 및/또는 SPS 구현의 설계 기준은 하기의 것 중 하나 이상을 포함할 수 있다. VPS는 비트스트림 추출 및/또는 능력 교환에 유용한 하나 이상의 파라미터를 포함할 수 있다. 디코드된 화상 버퍼(decoded picture buffer, DPB) 관련 파라미터는 VPS 확장에 포함될 수 있다.
복수의 계층들 간에 공유될 수 있는 하나 이상의 하이 레벨 구문 요소를 집성하는 파라미터 집합(예를 들면, 계층간 파라미터 집합(IPS))이 구현될 수 있다. 하나 이상의 계층(예를 들면, 각 계층)은 하나 이상의 IPS 파라미터를 참조할 수 있고, 이것은 대응하는 오버헤드 비트를 절약할 수 있다.
IPS는 스케일러블 HEVC 비디오 코딩 시스템에 제공될 수 있다. 예를 들면, IPS는 기본 계층에서 운반되지 않기 때문에, IPS의 크기는 기본 계층 서브스트림에 영향을 주지 않을 수 있다. IPS는 예를 들면 복수의 계층에 걸쳐서 하나 이상의 공유 파라미터의 예측을 촉진함으로써 하이 레벨 시그널링 효율을 제공할 수 있다. IPS의 구현은, 예를 들면 전형적으로 상이한 파라미터 집합에 배치되는 하나 이상의 파라미터가 동일한 IPS에 포함될 수 있기 때문에, 각 파라미터의 파싱(parsing)이 다른 상이한 파라미터 집합으로부터의 파싱 결과에 의존하지 않도록 비디오 코딩 시스템에서 파싱 종속성을 제거할 수 있다.
IPS는 IPS NAL 유닛의 nuh_layer_id 값이 정합 비트스트림(conforming bitstream)에 대하여 영(0)이 되지 않도록 스케일러블 코딩 시스템의 하나 이상의 향상 계층에 적용할 수 있다. 예를 들면, 정합 비트스트림은 1과 동일한 하나 이상의 IPS NAL 유닛(예를 들면, 모든 IPS NAL 유닛)의 nuh_layer_id를 가질 수 있다.
도 1a 내지 도 1c는 예시적인 IPS를 보인 구문표(syntax table)이다. 도 1a 내지 도 1c에 도시된 바와 같이, IPS는 하나 이상의 파라미터를 포함하고 복수의 계층을 코딩할 목적으로 설계될 수 있다. 이러한 파라미터는 예를 들면 max_sublayer_for_ilp_plus1 및 direct_dependency_type을 포함할 수 있다. 하나 이상의 계층이 동일한 또는 매우 유사한 RPS를 공유할 수 있기 때문에, IPS는 하나 이상의 계층에 관련된 RPS를 포함할 수 있다.
유사한 목적에 소용되고 SPS에 존재할 수 있는 하나 이상의 파라미터는 비디오 형식 부분집합, 코딩 파라미터 부분집합, 스케일링 리스트 부분집합, 스케일된 오프셋 부분집합 또는 VUI 부분집합 중의 하나 이상을 포함하는 각각의 부분집합으로 그룹지어질 수 있다. IPS에서, 하나 이상의 부분집합(예를 들면, 각 부분집합)은 각각 복수의 파라미터 값을 가질 수 있다. 이것은 향상 계층이 IPS 및 부분집합으로 인덱싱함으로써 복수의 파라미터 값을 참조할 수 있게 한다. 예를 들면, 제1 비디오 형식 집합(예를 들면, 0)은 720p 형식을 특정하고 제2 비디오 형식 집합(예를 들면, 1)은 1080p 형식을 특정할 수 있다. 4개의 계층(예를 들면, 계층 0은 720p 계층이고 계층 1, 2 및 3은 1080p 계층임)을 가진 혼합형 공간 및/또는 SNR 확장성 코딩 시스템의 경우에, 기본 계층(예를 들면, 계층 0) SPS는 ips_video_format_subset(0)을 참조하고 향상 계층(예를 들면, 계층 1, 2 및 3)은 ips_video_format_subset(1)을 참조할 수 있다. 이러한 예에서, 복수의 계층에 의해 사용된 파라미터들을 커버하도록 감소된(예를 들면, 최소) 수의 구문 요소가 시그널링될 수 있다.
하기의 것은 도 1a-1c에 도시된 예시적인 IPS 구문표의 엔트리에 적용할 수 있다. 구문 요소 ips_inter_layer_view_parameter_set_id는 다른 구문 요소에 의한 참조를 위해 IPS를 식별할 수 있다. 구문 요소 num_video_format_subsets는 비디오 형식 구문 구조(ips_video_format_subset)의 수를 특정할 수 있다. 구문 요소 num_coding_param_subsets는 코딩 파라미터 구문 구조(ips_coding_param_subset)의 수를 특정할 수 있다. 구문 요소 num_pcm_param_subsets는 PCM 코딩 파라미터 구문 구조(ips_pcm_param_subset)의 수를 특정할 수 있다. 구문 요소 num_scaling_list_subsets는 스케일링 리스트 구조(ips_scaling_list_subset)의 수를 특정할 수 있다. 구문 요소 num_scaled_ref_layer_offset_subset는 스케일된 참조 계층 오프셋 구조(ips_scaled_ref_layer_offset_subset)의 수를 특정할 수 있다. 구문 요소 num_vui_param_subsets는 VUI 파라미터 구조(ips_vui_param_subset)를 특정할 수 있다.
하나 이상의 비디오 표시 형식은 부분집합으로 그룹지어질 수 있다. 하나 이상의 부분집합은 파라미터 집합(예를 들면, IPS)으로 신호될 수 있다. 부분집합들은 하나 이상의 계층에 의해 참조될 수 있다. 예를 들면, 제1 계층은 제1 부분집합을 참조할 수 있다. 하나 이상의 계층이 제2 부분집합을 참조할 수 있다. 각 계층은 부분집합의 인덱스를 참조하여 비디오 표시 구문 값을 도출할 수 있다. 예를 들면 IPS의 하나 이상의 부분집합은 비트 시그널링 IPS 구문 요소(예를 들면, 오버헤드 비트)를 더욱 절약하기 위해 구현될 수 있다. 예를 들면, 주어진 부분집합의 파라미터 값들의 제1 집합으로 한정된 절대 파라미터 값이 신호될 수 있다. 파라미터 값들의 하나 이상의 후속 집합에 대하여, 파라미터 값의 현재 집합과 파라미터 값의 이전 집합 간의 각각의 차분 값이 신호될 수 있다. 예를 들면, ips_video_format_subset(0)는 720p 형식을 표시할 수 있고(pic_width_in_luma_samples는 1280으로 설정되고 pic_height_in_luma_samples는 720으로 설정될 수 있다), ips_video_format_set(1)는 1080p 형식을 표시할 수 있다(pic_width_in_luma_samples는 1920으로 설정되고 pic_height_in_luma_samples는 1080으로 설정될 수 있다). 1920과 1080을 둘 다 신호하는 대신에, ips_video_format_set(0)와 ips_video_format_set(1) 간의 각각의 차분 값이 신호될 수 있다. 이 예에 따라서, 폭과 높이 각각에 대하여 640과 360의 차분 값이 ips_video_format_set(1)로 신호될 수 있다.
이러한 IPS의 대응하는 구문표가 도 1a-1c에 도시되어 있고 서술자 유형은 예를 들면 차분 값으로서 신호되는 파라미터들에 대하여 ue(v) 또는 se(v)로 변경될 수 있다. 관련 파라미터의 값은 다음과 같이 도출될 수 있다.
예를 들어서, 만일 S(i)가 주어진 부분집합에 대한 i번째 파라미터 집합이면, 변수 P(i, X)는 i번째 파라미터 집합 S(i)의 파라미터 X이고, 및/또는 변수 ParamValueInIPS(i, X)는 IPS의 P(i, X)에 대하여 신호된 값이다. i번째 파라미터 부분집합 P(i, X)의 파라미터 X의 변수 ParamValue(i, X)는 예를 들면 다음과 같이 (i-1)번째 파라미터 부분집합 P(i-1, X)의 파라미터 X로부터 도출될 수 있다.
Figure pat00001
SPS 및/또는 그 확장은 예를 들면 도 2a-2c 및 도 3에 도시된 바와 같이 각각 단순화될 수 있다. 하나 이상의 향상 계층에 대하여 SPS의 유사한 구문 요소를 운반하는 대신에, 향상 계층 SPS 구문표는 예를 들면 IPS 파라미터 집합 인덱스에 대한 참조를 포함함으로써 단순화될 수 있다.
SPS의 하나 이상의 구문 요소(예를 들면, 이러한 모든 구문 요소)는 도 2a-2c에 음영을 넣은 엔트리로 표시된 바와 같이 기본 계층에 대하여 그대로 유지될 수 있다(nuh_layer_id=0). 이것은 예를 들면 단일 계층 HEVC 사양(specification)과의 하위 호환성(backward compatibility)을 가능하게 한다. IPS의 구현에 따라 SPS에 추가될 수 있는 예시적인 구문 요소는 도 2a-2c 및 도 3에 이탤릭체로 표시되어 있다.
하기의 것은 도 2a-2c 및 도 3에 도시된 단순화한 SPS 및 확장 구문표의 엔트리에 적용할 수 있다. 도 2a-2c 및 도 3에 도시된 바와 같이, 구문 요소 sps_inter_layer_view_parameter_set_id는 활성 파라미터 집합(예를 들면, IPS)의 ips_inter_layer_view_parameter_set_id의 값을 특정할 수 있다. 파라미터 집합으로 신호되는 구문 요소 ips_video_format_subsets_index는 활성 파라미터 집합에 포함된 비디오 표시 형식 구문 구조의 리스트에 인덱스를 특정할 수 있다. 구문 요소 ips_video_format_subsets_index는 이 SPS를 참조하는 계층에 적용할 수 있는 표시 형식 구문 구조를 특정할 수 있다. ips_video_format_subsets_index의 범위는 0부터 num_video_format_subsets_index까지(0과 num_video_format_subsets_index는 제외함)일 수 있다. 구문 요소 ips_coding_param_subsets_index는 활성 IPS에 포함된 코딩 파라미터 구문 구조의 리스트에 인덱스를 특정할 수 있다. ips_coding_param_subsets_index의 범위는 0부터 num_coding_param_subsets_index까지(0과 num_coding_param_subsets_index는 제외함)일 수 있다. ips_scaling_list_subsets_index는 활성 IPS에 포함된 스케일링 리스트 구문 구조의 리스트에 인덱스를 특정할 수 있다. ips_scaling_list_subsets_index의 범위는 0부터 num_scaling_list_subsets_index까지(0과 num_scaling_list_subsets_index는 제외함)일 수 있다. ips_pcm_param_subsets_index는 활성 IPS에 포함된 PCM 파라미터 구문 구조의 리스트에 인덱스를 특정할 수 있다. ips_pcm_param_subsets_index의 범위는 0부터 num_pcm_param_subsets_index까지(0과 num_pcm_param_subsets_index는 제외함)일 수 있다. ips_vui_param_subsets_index는 활성 IPS에 포함된 VUI 구문 구조의 리스트에 인덱스를 특정할 수 있다. ips_vui_param_subsets_index의 범위는 0부터 num_vui_param_subsets_index까지(0과 num_vui_param_subsets_index는 제외함)일 수 있다. ips_scaled_ref_layer_offset_subset_index는 활성 IPS에 포함된 비디오 형식 구문 구조의 리스트에 인덱스를 특정할 수 있다. ips_scaled_ref_layer_offset_subsets_index의 범위는 0부터 num_scaled_ref_layer_offset_subsets_index까지(0과 num_scaled_ref_layer_offset_subsets_index는 제외함)일 수 있다.
이러한 예시적인 구문 구조 인덱스는 향상 계층이 예를 들면 IPS 및 특정 부분집합에 인덱싱함으로써 복수의 파라미터 값을 도출할 수 있게 한다. 예를 들면, 계층(예를 들면, 향상 계층(EL))의 pic_width_in_luma_samples를 도출하기 위해, EL은 예를 들면 주어진 EL의 SPS에 존재하는 IPS 신원(sps_inter_layer_view_parameter_set_id)에 의해 관련 활성 IPS의 위치를 찾을 수 있다. EL은 EL SPS 내 ips_video_format_subsets_index의 값을 이용하여 관련 활성 IPS에 존재하는 특정 비디오 형식 부분집합 ips_video_format_subset(ips_video_format_subsets_index)의 위치를 찾을 수 있다. EL의 pic_width_in_luma_samples의 값은 예를 들면 여기에서 설명하는 제1의 예시적인 IPS 시그널링 방법에 따라 직접 ips_video_format_subset(ips_video_format_subsets_index)에 존재하는 pic_width_in_luma_samples의 대응하는 파라미터 값으로부터 도출될 수 있다. 대안적으로, pic_width_in_luma_samples의 값은 예를 들면 여기에서 설명하는 제2의 예시적인 IPS 시그널링 방법에 따라 ParamValue(ips_video_format_subsets_index, pic_width_in_luma_samples)로부터 도출될 수 있다. 이 EL의 pic_height_in_luma_samples의 값도 유사한 방식으로 도출될 수 있다. 도 4는 IPS로부터 파라미터들을 도출하는 그러한 예를 보인 것이다. 하나 이상의 다른 파라미터 부분집합 내 하나 이상의 다른 파라미터의 값도 유사한 방식으로 도출될 수 있다.
IPS 로 바이트 시퀀스 페이로드(raw byte sequence payload, RBSP)는 하나 이상의 SPS RBSP에 의해 참조되는 하나 이상의 파라미터를 포함할 수 있다. 각각의 IPS RBSP는 초기에, 예를 들면 디코딩 처리 동작의 시작시에 활성이 아닌 것으로 생각될 수 있다. 예시적인 디코딩 처리 동작 중에는 기껏해야 하나의 ISP RBSP가 활성인 것으로 생각될 수 있다. 임의의 IPS RBSP의 활성화는 이전에 활성인 IPS RBSP의 비활성화를 야기할 수 있다.
IPS RBSP가 이미 활성이 아니고 SPS RBSP의 활성화에 의해 참조될 때(예를 들면, 이 경우 sps_inter_layer_view_parameter_set_id는 ips_inter_layer_view_parameter_set_id 값과 동일하다), IPS RBSP는 활성화될 수 있다. 활성화된 IPS RBSP는 이것이 예를 들면 다른 IPS RBSP의 활성화의 결과로서 비활성화될 때까지 활성화 IPS RBSP라고 부를 수 있다. 특수한 ips_inter_layer_view_parameter_set_id의 값을 가진 IPS RBSP는 그 활성화 전에 디코딩 처리에 이용할 수 있다.
슬라이스 헤더는 하나의 슬라이스로부터 다른 슬라이스로 변경될 수 있는 정보, 및 작은, 즉 일부 슬라이스 및/또는 화상 유형에 관련된 화상 관련 정보를 포함할 수 있다. 비디오 코딩 표준, 예를 들면, 고효율 비디오 코딩(HEVC)의 스케일러블 확장(SHVC)에 있어서, 계층간 예측용으로 설계된 구문 요소는 샘플 예측을 포함하고 모션 예측은 고유의 용장성을 가질 수 있다. 슬라이스 헤더의 비트 비용(bit cost)은 소정의 용장성을 제거함으로써, 예를 들면, 일부 시그널링 로직을 조정함으로써 감소될 수 있다.
표 1은 VPS 확장 구문표의 예를 보인 것이다. 표 2는 비디오 코딩 표준, 예를 들면, SHVC에서 사용되는 슬라이스 헤더 구문의 예를 보인 것이다.
Figure pat00002
Figure pat00003
Figure pat00004
Figure pat00005
Figure pat00006
Figure pat00007
표 1에 나타낸 바와 같이, max_one_active_ref_layer_flag는 예를 들면 하나의 계층 또는 2개 이상의 계층으로부터의 하나 이상의 화상이 스케일러블 시스템의 계층간 예측을 위해 사용될 수 있는지를 특정하기 위해 VPS 확장으로 신호될 수 있다. 이 플래그는 스케일러블 시스템에서 하나의 계층으로부터의 계층간 참조 화상을 허용하도록 한정을 부여하기 위해 사용될 수 있다. 이러한 한정은 스케일러블 프로파일 및/또는 레벨이 규정될 때 바람직할 수 있다. max_one_active_ref_layer_flag의 설정에 따라서, (예를 들면, 표 2에 나타낸 바와 같이) 슬라이스 헤더의 구문 요소 num_inter_layer_ref_pics_minus1은 슬라이스 헤더에서 신호될 수도 있고 신호되지 않을 수도 있다. max_one_active_ref_layer_flag가 1과 같을 때, num_inter_layer_ref_pics_minus1은 0이라고 추론될 수 있고, 따라서 신호되지 않을 수 있으며, 하나의 참조 계층의 계층 ID가 슬라이스 헤더에서 신호될 수 있고, 그렇지 않으면(예를 들면, max_one_active_ref_layer_flag가 0일 때), num_inter_layer_ref_pic_minus1이 신호될 수 있다. 슬라이스 헤더에서 num_inter_layer_ref_pic_minus1 플래그는 (num_inter_layer_ref_pics_minus1+1) 계층의 계층 ID가 뒤따를 수 있다.
max_one_active_ref_layer_flag는 max_num_active_ref_layers_minus1 플래그로 교체될 수 있다. max_num_active_ref_layers_minus1 플래그의 서술자 유형은 (예를 들면, 표 3에 나타낸 바와 같이) ue(v)일 수 있다. 이 구문 요소는 능력 교환의 목적으로 소용되도록 디코딩 처리에서 사용되는 최대 참조 계층을 표시할 수 있다. 적당한 프로파일 및/또는 레벨 구속(constraint)이 규정될 수 있다. 이 구문 요소는 1-비트 플래그보다 더 융통성이 있다.
Figure pat00008
max_num_active_ref_layers_minus1이 0과 같을 때, num_inter_layer_ref_pics_minus1은 슬라이스 헤더에서 신호되지 않을 수 있다(예를 들면, 생략될 수 있다). 계층간 예측을 위해 기껏해야 하나의 참조 계층이 허용되는 경우에, VPS 확장에서 이러한 구문 요소의 비트 비용은 최초의 max_one_active_ref_layer_flag와 동일할 수 있다(예를 들면, 1비트). 그러한 경우에, 비디오 디코딩 장치는 계층간 예측 계층 구문 요소를 추론할 수 있다. 표 4는 슬라이스 세그멘트 헤더의 예를 보인 것이다.
Figure pat00009
변수 NumActiveRefLayerPics는 max_num_active_ref_layers_minus1에 기초하여 도출될 수 있다. 예를 들면, 이 변수는 다음과 같이 도출될 수 있다.
의사 코드 1:
Figure pat00010
Figure pat00011
표 4에 나타낸 바와 같이, inter_layer_pred_layer_idc는 예를 들면 활성 참조 계층의 수(예를 들면, NumDirectRefLayers[num_layer_id])와 동일하지 않을 때 신호될 수 있다. inter_layer_pred_layer_idc는 예를 들면 활성 참조 계층의 수(예를 들면, NumActiveRefLayerPics)가 직접 참조 계층의 수(예를 들면, NumDirectRefLayers[num_layer_id])와 동일할 때 비트스트림에 존재하지 않을 수 있다. 예를 들면, 슬라이스 헤더의 inter_layer_pred_layer_idc는 용장성일 수 있다. 그 경우에, 계층간 예측을 위해 사용되는 화상의 표시는 건너뛸 수 있다. 그 경우에, inter_layer_pred_layer_idc는 의사 코드 2로 나타낸 바와 같이 RefLayerId로부터 도출 또는 추론될 수 있다. 변수 NumDirectRefLayers의 값은 표준으로, 예를 들면, SHVC로 제공될 수 있다.
의사 코드 2:
Figure pat00012
만일 슬라이스가 종속 슬라이스가 아니면, 에러 복원 고려사항을 위해, 슬라이스 헤더는 화상 내의 각 슬라이스에 대하여 제공될 수 있다. 화상이 하나 이상의 슬라이스를 포함하고 슬라이스 헤더가 각 슬라이스에 대하여 제공될 수 있기 때문에, 슬라이스 헤더의 비트 비용은 예를 들면 SPS(시퀀스 파라미터 집합), PPS(화상 파라미터 집합) 등과 같은 다른 파라미터 집합의 비트 비용보다 더 관심이 있을 수 있다. 이러한 파라미터 집합은 슬라이스 헤더보다 덜 빈번하게 제공될 수 있다.
비디오 코딩 표준, 예를 들면, SHVC에 있어서, NumActiveRefLayerPics, inter_layer_pred_layer_idc 및 collocated_ref_layer_idx와 같은 변수들은 부호화 화상의 각 슬라이스마다 동일할 수 있다. 그러므로, 슬라이스 헤더 대신에, SPS 확장, PPS, APS 또는 IPS의 예컨대 inter_layer_pred_enable_flag, num_inter_layer_ref_pics_minus1, inter_layer_pred_layer_idc, inter_layer_sample_pred_only_flag, alt_collocated_indicate_flag 및 collocated_ref_layer_idx의 구문 요소들은 동일한 구문이 화상 내의 각 슬라이스에 대하여 이중화되지 않도록 보내질 수 있다. 표 5는 SPS 확장에서 신호될 수 있는 구문 요소들을 보인 것이다.
Figure pat00013
다른 파라미터 집합으로 신호되는 파라미터 값에 의존하는 조건들은 예를 들면 파라미터 집합들 중의 파싱 종속성을 회피하기 위해 슬라이스 헤더로부터의 구문 요소들을 파라미터 집합에 재배치할 때 수정될 수 있다. 표 5는 관련 구문 요소가 슬라이스 헤더로부터 SPS 확장에 재배치될 때 SPS 확장 구문표의 예를 보인 것이다.
일부 응용에 있어서, 계층간 예측 관련 시그널링(예를 들면, inter_layer_pred_enabled_flag, inter_layer_sample_pred_only_flag 등)은 슬라이스마다 또는 화상마다 다를 수 있다. 그러한 응용에 있어서, 슬라이스 헤더에서 구문 요소의 전송은 바람직하지 않은 시그널링 오버헤드를 발생할 수 있다. 플래그는 예를 들면 계층간 예측 관련 구문 요소가 슬라이스 세그멘트 헤더에 존재하는지 여부를 표시하기 위해 SPS 확장(또는 PPS 또는 IPS) 등에서 추가될 수 있다. 표 6은 SPS 확장에서 신호될 수 있는 구문 요소들의 예를 보인 것이다. 표 7은 대응하는 슬라이스 헤더의 예를 보인 것이다.
Figure pat00014
Figure pat00015
sample_prediction_present_slice_present_flag가 1과 같으면, 이것은 inter_layer_pred_enable_flag, num_inter_layer_ref_pics_minus1, inter_layer_pred_layer_idc, inter_layer_sample_pred_only_flag와 같은 계층간 샘플 예측 관련 구문 요소들이 슬라이스 헤더에 존재한다는 것을 표시할 수 있다. sample_prediction_present_slice_present_flag가 0과 같으면, 이것은 관련 샘플 예측 구문 요소들이 슬라이스 헤더에 존재하지 않는다는 것을 표시할 수 있다. 존재하지 않을 때, 구문 요소들의 값은 하나 이상의 변수에 기초하여 추론될 수 있다. 예를 들면, 의사 코드 3은 구문 요소들의 값을 추론하는 방법의 일 예를 제공한다.
의사 코드 3:
Figure pat00016
변수 NumSamplePredRefLayers, NumSamplePredLayers 및 SamplePredEnabledFlag는 비디오 코딩 표준, 예를 들면 SHVC에서 제공될 수 있다. 샘플 예측 구문 요소 inter_layer_sample_pred_only는 sample_prediction_slice_present_flag가 0과 같을 때 0과 같은 것으로 추론될 수 있다. motion_prediction_slice_present_flag가 1과 같으면 이것은 계층간 모션 예측 관련 구문 요소, 예를 들면, alt_collocated_indication_flag, collocated_ref_layer_idx 등이 슬라이스 헤더에 존재한다는 것을 표시할 수 있다. motion_prediction_slice_present_flag가 0과 같으면 이것은 계층간 모션 예측 관련 구문 요소가 향상 계층 슬라이스 세그멘트 헤더에 존재하지 않는다는 것을 표시할 수 있다. 이러한 구문 요소들의 값은 하나 이상의 변수에 기초하여 추론될 수 있다. 예를 들면, 의사 코드 4는 구문 요소의 값을 추론하는 법의 일 예를 제공한다. NumMotionPredRefLayers 및/또는 MotionPredRefLayerId는 비디오 코딩 표준, 예를 들면 SHVC에 의해 제공될 수 있다.
의사 코드 4:
Figure pat00017
Figure pat00018
의사 코드 4에 나타낸 것처럼, 계층간 모션 정보(예를 들면, 시간 모션 정보 대신에)는 적어도 하나의 모션 예측 참조 계층을 이용할 수 있는 경우에 시간 모션 벡터 예측(temporal motion vector prediction, TMVP)을 위해 사용될 수 있다. 공존형(collocated) 참조 계층은 현재 향상 계층에 가장 가까운 모션 예측 참조 계층으로 설정될 수 있다. 다른 모션 예측 참조 계층은 공존형 참조 계층으로서 특정될 수 있다. 예를 들면, 가장 가까운 참조 계층 대신에, 최저 모션 예측 참조 계층인 MotionPredRefLayerId[nuh_layer_id][0]이 TMVP에 대한 공존형 디폴트 참조 계층으로서 사용될 수 있다.
구문 요소 inter_layer_sample_pred_only_flag가 1과 같을 때 이것은 EL의 시간 참조 화상을 이용하는 계층간 예측이 현재 화상의 디코딩시에 허용되지 않는다는 것을 표시할 수 있다. 참조 화상 리스트 L0 및 L1은 시간 참조 화상을 포함하지 않을 수 있다. inter_layer_sample_pred_only_flag는 슬라이스의 네트워크 추상 계층(network abstraction layer, NAL) 유닛의 유형과 관계없이 각 슬라이스에서 신호될 수 있다. 향상 계층(EL)의 순시 디코더 리프레시(instantaneous decoder refresh, IDR)는 인터 예측 없이 시간 참조 화상을 이용하는 화상일 수 있다. inter_layer_sample_pred_only_flag는 EL에서 IDR NAL 유닛에 기초하여 결정될 수 있다. 표 8에 나타낸 바와 같은 조건(예를 들면, (nal_unit_type! = IDR_W_RADL && nal_unit_type!= IDR_N_LP))이 적용될 수 있다.
Figure pat00019
inter_layer_sample_pred_only_flag가 1과 같을 때, 이용 가능한 참조 화상은 계층간 참조 화상일 수 있다. SHVC에서 계층간 참조 화상으로부터의 모션 벡터는 0과 같기 때문에, 시간 모션 벡터 예측(TMVP)은 우회되고 TMVP와 관련된 슬라이스 헤더의 각 구문 요소는 건너뛸 수 있다. inter_layer_sample_pred_only_flag는 모션 예측 시그널링을 건너뛰기 위해 활용될 수 있다.
WTRU는 inter_layer_sample_pred_only_flag를 사용하지 않고 계층간 예측을 위한 참조 화상을 결정할 수 있다. 예를 들면, WTRU는 inter_layer_sample_pred_only_flag를 수신하지 않고, WTRU는 계층간 예측을 위해 활용될 수 있는 참조 화상을 결정할 수 있다. 예를 들면 WTRU에 의한 시간 예측 없는 계층간 예측의 추론은 inter_layer_sample_pred_only_flag에 의존하지 않을 수 있다. 만일 inter_layer_sample_pred_only_flag가 비트스트림에서 신호되지 않으면(예를 들면, 및/또는 WTRU에 의해 수신되지 않으면), WTRU는 시간 참조 화상을 추론할 수 있다. 예를 들면, WTRU는 예컨대 RPS를 시험함으로써 시간 참조 화상이 현재 슬라이스에 대하여 사용되지 않는다는 것을 검출할 수 있다(예로서, RPS의 플래그 used_by_curr_pic_flag, used_by_curr_pic_s0_flag 및 used_by_curr_pic_s1_flag는 0으로 설정될 수 있다). 예를 들어서 만일 시간 참조 화상이 현재 슬라이스의 코딩을 위해 사용되지 않으면 시간 모션 벡터 예측(TMVP) 처리는 우회될 수 있다. 예를 들면, 다른 관련 구문 요소들을 건너뛸 수 있다(예를 들면, 또한 건너뛸 수 있다).
slice_temporal_mvp_enabled_flag는 향상 계층에 대한 sps_temporal_mvp_enabled_flag(예를 들면, SHVC에서 제공된 것) 및/또는 inter_layer_sample_pred_only_flag에 기초하여 신호될 수 있다(예를 들면, nuh_layer_id > 0). 표 9는 이러한 시그널링의 예를 보인 것이다. 예를 들면, 변수 InterRefEnabledInRPLFlag는 다음과 같이 도출될 수 있다: 만일 NumSamplePredRefLayers[ nuh_layer_id ] 및 NumActiveRefLayerPics가 0보다 더 크면, InterRefEnabledInRPLFlag는 !inter_layer_sample_pred_only_flag와 동일하게 설정되고; 그렇지 않으면 InterRefEnabledInRPLFlag는 1과 동일하게 설정될 수 있다.
inter_layer_sample_pred_only_flag에서 slice_temporal_mvp_enabled_flag를 조절하기 위해, inter_layer_sample_pred_only_flag의 시그널링 및 샘플 예측 구문 구조(예를 들면, 표 9에 나타낸 것)는 slice_temporal_mvp_enabled_flag 전에 결정 또는 신호될 수 있다. slice_temporal_mvp_enabled_flag가 신호되지 않을 때(예를 들면, inter_layer_sample_pred_only_flag가 1과 동일하게 설정되기 때문에), slice_temporal_mvp_enabled_flag는 0과 동일하게 추론될 수 있다.
slice_temporal_mvp_enabled_flag가 0일 때, alt_collocated_indication_flag, collocated_ref_layer_idx, collocated_from_10_flag 및/또는 collocated_ref_idx 등의 구문 요소는 건너뛸 수 있다(예를 들면, 표 9에 나타낸 것처럼).
Figure pat00020
Figure pat00021
slice_temporal_mvp_enabled_flag가 inter_layer_sample_pred_only_flag 전에 신호되는 경우의 시그널링 순서는 유지될 수 있다. 소정의 조건(InterRefEnabledInRPLFlag)이 표 10에 나타낸 것처럼 TMVP 파라미터를 신호하기 위해 적용될 수 있다. InterRefEnabledInRPLFlag의 도출은 비디오 코딩 표준, 예를 들면 SHVC로 특정될 수 있다. 변수 InterRefEnabledInRPLFlag는 다음과 같이 도출될 수 있다: 만일 NumSamplePredRefLayers[ nuh_layer_id ]가 0보다 더 크고 NumActiveRefLayerPics가 0보다 더 크면, InterRefEnabledInRPLFlag는 !inter_layer_sample_pred_only_flag와 동일하게 설정되고; 그렇지 않으면 InterRefEnabledInRPLFlag는 1과 동일하게 설정될 수 있다. slice_temporal_mvp_enabled_flag의 값은 다음과 같이 변경될 수 있다: 만일 InterRefEnabledInRPLFlag가 0과 같으면, slice_temporal_mvp_enabled_flag는 0과 동일하게 설정될 수 있다.
Figure pat00022
Figure pat00023
시간적 루마 모션 벡터 예측을 위한 도출 처리는 변경될 수 있고, 변수 mvLXCol 및 availableFlagLXCol이 도출될 수 있다. 예를 들면, slice_temporal_mvp_enabled_flag가 0과 같거나 InterRefEnabledInRPLFlag가 0과 같으면, mvLXCol의 컴포넌트(예를 들면, 양측 컴포넌트)는 0과 동일하게 설정되고 availableFlagLXCol은 0과 동일하게 설정될 수 있다.
비디오 코딩 장치(예를 들면, SHVC 코딩 표준에 기반을 둔 것)는 계층간 모션 예측을 위한 참조 계층을 표시하기 위해 슬라이스 헤더의 하나 이상의 구문 요소(예를 들면, 2개의 구문 요소) alt_collocated_indication_flag 및/또는 collocated_ref_layer_idx를 신호할 수 있다. 최초의 시간 모션 벡터 예측(TMVP)은 구문 요소 collocated_from_10_flag 및 collocated_ref_idx를 이용하여 TMVP를 위해 사용되는 참조 화상을 표시할 수 있다. 동일한 시그널링이 계층간 모션 예측에 적용되어 용장 구문 요소 alt_collocated_indication_flag 및 collocated_ref_layer_idx가 신호되지 않게 할 수 있다(예를 들면, 생략될 수 있다). 표 11은 예시적인 일반 슬라이스 세그멘트 헤더 구문을 보인 것이다.
alt_collocated_indication_flag 및 collocated_ref_layer_idx는 비디오 코딩 표준, 예를 들면 HEVC에 의해 제공될 수 있다. TMVP에 대하여 사용되는 계층간 참조 화상들 중의 일부는 샘플 예측을 위해 사용되지 않을 수 있다. 참조 화상 리스트 내의 계층간 참조 화상의 인덱스는 TMVP에 대한 계층간 공존형 참조 화상을 나타내는 데 사용될 수 있다. 참조 화상 리스트 내의 계층간 참조 화상의 인덱스는 계층간 샘플 예측을 위해 사용되지 않을 수 있다. 계층간 참조 화상에 대응하는 참조 인덱스가 향상 계층 화상의 임의의 예측 블록에 의해 참조되지 않는 비트스트림 한정이 부여될 수 있다.
Figure pat00024
SNR 확장성을 시그널링하기 위한 시스템 및/또는 방법이 제공될 수 있다. 그러한 시스템 및/또는 방법에 있어서, 그러한 시그널링은 상이한 확장성들 간에 다를 수 있다. 예를 들면, 공간 확장성이 SNR 확장성과 다르고 SNR 확장성이 공간 확장성과 다를 수 있다. 예시적인 실시형태에 있어서, 표시자, 플래그 또는 다른 식별자 또는 정보는 SNR을 공간 확장성으로부터 구별할 수 있다. 추가로, SNR 확장성 표시자와 같은 표시자에 기초하여, 이러한 시그널링은 (예를 들면, 소정의 샘플에 대한) 리샘플링 처리 및/또는 모션 예측을 호출 또는 수행할 것인지 표시할 수 있다.
여기에서 설명한 바와 같이, MPEG-2 비디오, H.263, MPEG4 비주얼 및 H.264와 같은 기존의 국제 비디오 표준은 각각 확장성 모드를 지원하는 툴 및/또는 프로파일을 포함하거나 가질 수 있다. 그러나, HEVC는 상기 기존 표준에 의해 지원되는 그러한 스케일러블 코딩을 현재 지원하지 않을 수 있다. 그래서, HEVC는 공간 확장성(즉, 스케일러블 비트스트림은 2개 이상의 공간 해상도로 신호할 수 있다), 품질 확장성(즉, 스케일러블 비트스트림은 2개 이상의 품질 레벨로 신호할 수 있다), 및 표준 확장성(즉, 스케일러블 비트스트림은 H.264/AVC를 이용하여 부호화된 기본 계층 및 HEVC를 이용하여 부호화된 하나 이상의 향상 계층을 포함한다) 중의 적어도 하나를 포함하는 그러한 확장성 코딩을 지원하도록 확장될 수 있다. 예시적인 실시형태에 있어서, HEVC에 의해 지원되는 품질 확장성은 SNR 확장성을 또한 포함할 수 있다. 추가로, 3D 비디오가 오늘날 더 대중화됨에 따라서, 확장성의 추가적인 확장(예를 들면, 2D 및/또는 3D 비디오 신호를 포함하는 스케일러블 비트스트림)이 추가로 제공 및/또는 사용될 수 있다(예를 들면, MPEG에서 설명 또는 규정된 것처럼).
HEVC의 스케일러블 및 멀티뷰 확장을 위한 공통 사양은 HEVC의 스케일러블 확장(SHVC)을 위한 참조 인덱스 기본 프레임워크를 포함할 수 있다. 그러한 프레임워크에 있어서, SHVC용의 구문, 어의론(semantics) 및 디코딩 처리가 제공될 수 있다. 참조 인덱스 기반 프레임워크는 기존의 단일 계층 코덱 로직이 스케일러블 코딩 시스템 내에서 재사용될 수 있도록 블록 레벨 및 블록 레벨 이하의 하나 이상의 동작을 그대로 유지할 수 있다. 프레임워크는 스케일러블 코덱 설계를 단순화하고, 코딩 효율을 달성하기 위해 하이 레벨 구문 시그널링 및 계층간 처리 모듈을 통합함으로써 다른 유형의 확장성을 지원하도록 추가로 융통성을 가질 수 있다. 각종의 새로운 하이 레벨 구문 변경이 SHVC의 계층간 처리 및 다중 계층 시그널링을 지원하기 위해 제공될 수 있다.
HEVC에서 이러한 확장성을 신호하기 위해, 여기에서 설명하는 시스템 및/또는 방법이 제공될 수 있다. 예를 들면, 공간 확장성이 SNR 확장성과 다르고 SNR 확장성이 공간 확장성과 다를 수 있다. 예시적인 실시형태에 있어서, 표시자, 플래그 또는 다른 식별자 또는 정보는 SNR을 공간 확장성으로부터 구별할 수 있다. 추가로, SNR 확장성 표시자와 같은 표시자에 기초하여, 이러한 시그널링은 (예를 들면, 샘플에 대한) 리샘플링 처리 및/또는 모션 예측을 호출 또는 수행할 것인지 표시할 수 있다.
스케일러블 비디오 코딩은 복수의 계층을 지원할 수 있고, 각 계층은 공간 확장성, 시간 확장성, SNR(신호 대 잡음비) 확장성, 및/또는 임의의 다른 유형의 확장성을 지원할 수 있다. 스케일러블 비트스트림은 혼합 확장성 계층을 가질 수 있고, 각각의 향상 계층은 디코딩 대상의 하나 이상의 하위 계층에 의존할 수 있다. 계층간 처리는 계층간 참조 화상(ILR) 샘플 및/또는 모션 필드 정보를 발생하여 향상 계층 코딩 효율을 향상 또는 개선할 수 있다.
SNR 확장성 시그널링이 제공 및/또는 사용될 수 있다. 공간 확장성의 경우에, 비디오는 다른 해상도로 및 다른 계층에서 코딩될 수 있다. 예를 들면, 기본 계층 비디오는 720p 해상도를 갖고 향상 계층은 1080p 해상도를 가질 수 있다. 추가로, SNR 확장성의 경우에, 비디오 해상도는 복수의 계층에 걸쳐서 동일할 수 있지만, 다른 계층들은 다른 품질로 코딩될 수 있다. 예를 들면, 기본 계층은 33dB로 코딩되고 향상 계층은 36dB로 코딩될 수 있다. SHVC에 있어서, scalability_mask와 같은 구문 요소는 멀티뷰 확장성과 공간/SNR 확장성을 구분하기 위해 파라미터 집합(예를 들면, 비디오 파라미터 집합(VPS))에 포함될 수 있다(예를 들면, 표 12에 나타낸 것처럼).
scalability_mask 인덱스 확장성 치수 ScalabilityId 맵핑
0 멀티뷰 ViewId
1 공간/SNR 확장성 DependencyId
2-15 예약
표 12: 확장성 치수에 대한 ScalabilityId의 맵핑
그러나, 현재 SHVC에 있어서, scalability_mask 구문은 공간 확장성과 SNR 확장성 사이에 차이가 없을 수 있다. 예를 들면, 공간 확장성과 SNR 확장성은 상이한 코덱 동작 및 메모리 할당을 이용하는 2개의 다른 종류의 확장성일 수 있다. 이러한 차이 중의 일부 예는 다음과 같다. 참조 계층 화상 샘플 및 참조 계층 모션 필드의 리샘플링 처리는 공간 확장성에 대하여 사용되고 SNR 확장성에 대하여 사용되지 않을 수 있다. 추가로, (예를 들면, 핵심 실험 SCE3에서 평가되는) 고정식의 대안적인 리샘플링 필터와 같은 일부 계층간 필터는 SNR 확장성에서 개선된 수행 이득을 달성하지만 공간 확장성에는 적용하지 못할 수 있다. 소정의 응용은 SNR 확장성에 대하여 단일 루프 설계(예를 들면, SVC, H.264의 스케일러블 확장에 의해 지원되는 것)를 이용하고 공간 확장성에 대해서는 이용하지 않을 수 있다. 샘플링 그리드(예를 들면, 현재 핵심 실험 SCE1을 진행중인 것)는 공간 확장성에 관한 특정의 이슈를 다루지만 SNR 확장성에 대해서는 그렇지 않을 수 있다.
지원되는 관련 코딩 툴에 따라 인코더 및 디코더가 구성 및/또는 초기화될 수 있도록 하이 레벨 구문에서 공간 확장성과 SNR 확장성을 구별할 수 있는 시스템, 방법 및 수단이 여기에서 설명된다.
예를 들면, 현재의 SHVC에 있어서, SNR 확장성은 리샘플링 처리(예를 들면, JCTVC-M1008, SHVC 규격 초안(Working Draft), 2013년 4월호의 G.8.1.4에서 설명된 리샘플링 처리)에서 특정된 ScaleFactorX와 같은 축척 계수(scale factor)로부터 추론될 수 있다. ScaleFactorX가 1과 같을 때, 확장성은 SNR 확장성일 수 있다. 확장성은 SPS 및 SPS 확장을 파싱한 후에 도출될 수 있다. 다른 시그널링 옵션은 용장 코덱 동작 및 메모리 할당 및/또는 액세스가 감소 또는 회피될 수 있도록(예를 들면, 파싱을 피함으로써) SNR 확장성의 시그널링 및 리샘플링 처리를 다루기 위해 제공될 수 있다.
예를 들면 공간 확장성과 SNR 확장성을 구분하기 위해 공간 확장성과 SNR 확장성에 별도의 확장성 치수가 지정될 수 있다. 표 13은 공간 확장성과 SNR 확장성이 별도의 다른 값을 갖는 경우에 수정된 확장성 치수표의 예시적인 실시형태를 보인 것이다.
scalability_mask 인덱스 확장성 치수 ScalabilityId 맵핑
0 멀티뷰 ViewId
1 공간 확장성 DependencyId
2 SNR 확장성 SnrId
3-15 예약
표 13: 확장성 치수에 대한 ScalabilityId의 제안된 맵핑
표 13에 나타낸 바와 같이, ViewId 및 DependencyId 외에, 변수 SnrId[layer_id_in_nuh[i]]가 i번째 계층의 SNR 식별자로서 제공 및/또는 사용될 수 있다. 예시적인 실시형태에 따라서, SnrId는 다음과 같이 도출될 수 있다:
Figure pat00025
추가로, 예를 들면 공간 확장성과 SNR 확장성을 구분하기 위해 SNR 확장성 플래그가 제공 및/또는 사용될 수 있다. 예를 들면, SNR 확장성 플래그는 표 14에 나타낸 바와 같이 SNR 확장성을 표시하기 위해 파라미터 집합 확장(예를 들면, 비디오 파라미터 집합(VPS) 확장)에서 추가될 수 있다.
Figure pat00026
*
Figure pat00027
표 14: 비디오 파라미터 집합 확장 구문
예시적인 실시형태에 따라서, SNR_scalability_flag가 1과 같은 경우, layer_id_in_nuh[i]와 같은 nuh_layer_id를 가진 계층과 layer_id_in_nuh[j]와 같은 nuh_layer_id를 가진 계층 간의 확장성은 SNR 확장성을 특정하거나 표시할 수 있다. SNR_scalability_flag가 0과 같은 경우, layer_id_in_nuh[i]와 같은 nuh_layer_id를 가진 계층과 layer_id_in_nuh[j]와 같은 nuh_layer_id를 가진 계층 간의 확장성은 SNR 확장성이 아닐 수 있다(예를 들면, SNR 확장성을 특정하거나 표시하지 않을 수 있다). 추가로, SNR_scalability_flag가 제공되지 않은 경우, 확장성은 0과 같다고 추론할 수 있다.
여기에서 설명하는 바와 같이, 디코딩은 예를 들면 리샘플링 처리의 일부로서 수행될 수 있다. 예시적인 리샘플링 처리와 연관된 디코딩 처리는 다음과 같이 수행될 수 있다. 만일 PicWidthInSamplesL이 RefLayerPicWidthInSamplesL과 같고, PicHeightInSamplesL이 RefLayerPicHeightInSamplesL과 같으며, ScaledRefLayerLeftOffset, ScaledRefLayerTopOffset, ScaledRefLayerRightOffset 및/또는 ScaledRefLayerBottomOffset의 각 값이 0과 같으면, 예컨대 alt_collocated_indication_flag가 1과 같을 때, rsPicSample은 rlPicSample로 설정되고 rsPicMotion은 rlPicMotion과 같게 설정될 수 있다. 화상 샘플 리샘플링 처리(예를 들면, JCTVC-M1008, SHVC 규격 초안, 2013년 4월호의 종속절 G.8.1.4.1에서 특정된 리샘플링 처리)는 입력으로서 rlPicSample의 샘플 값으로 및 출력으로서 rsPicSample의 리샘플링된 샘플 값으로 호출될 수 있다. alt_collocated_indication_flag가 1과 같을 때, 화상 모션 필드 리샘플링 처리(예를 들면, JCTVC-M1008, SHVC 규격 초안, 2013년 4월호의 종속절 G.8.1.4.2에서 특정된 리샘플링 처리)는 입력으로서 rlPicMotion으로 및 출력으로서 rsPicMotion의 리샘플링된 모션 필드로 호출될 수 있다.
여기에서 설명한 SNR_scalability_flag를 이용하여, 예시적인 리샘플링 처리가 다음과 같이 제공될 수 있다. 예를 들어서, 만일 SNR_scalability_flag가 1로 설정되면, rsPicSample은 rlPicSample과 같게 되도록 설정될 수 있다. 추가로, alt_collocated_indication_flag가 1과 같을 때 만일 SNR_scalability_flag가 1로 설정되면, rsPicMotion은 rlPicMotion으로 설정될 수 있다. rsPic은 다음과 같이 도출될 수 있다. 화상 샘플 리샘플링 처리(예를 들면, JCTVC-M1008, SHVC 규격 초안, 2013년 4월호의 종속절 G.8.1.4.1에서 특정된 리샘플링 처리)는 입력으로서 rlPicSample의 샘플 값으로 및 출력으로서 rsPicSample의 리샘플링된 샘플 값으로 호출될 수 있다. alt_collocated_indication_flag가 1과 같을 때, 화상 모션 필드 리샘플링 처리(예를 들면, JCTVC-M1008, SHVC 규격 초안, 2013년 4월호의 종속절 G.8.1.4.2에서 특정된 리샘플링 처리)는 입력으로서 rlPicMotion으로 및 출력으로서 rsPicMotion의 리샘플링된 모션 필드로 호출될 수 있다.
예시적인 실시형태에 있어서, 하나 이상의 예외가 제공되거나 및/또는 존재할 수 있다. 이러한 하나의 예외는 기본 계층(BL)이 AVC 코딩되는 경우에 혼성(hybrid) 표준 확장성을 포함하거나 혼성 표준 확장성일 수 있다. 비디오 코딩 크기는 HEVC EL과 AVC BL 간에 상이할 수 있다. 예를 들면, AVC 기본 계층(BL) 및 HEVC 향상 계층(EL)이 둘 다 1920×1080 비디오를 인코딩할 때, 디코드된 BL 참조 화상 크기는 1920×1088이고 향상 코딩 화상 크기는 1920×1080일 수 있다(예를 들면, 이것은 AVC 표준과 HEVC 표준이 상이한 패딩 처리를 적용하기 때문이다). 비록 루마 및/또는 크로마 샘플의 리샘플링이 필요하지 않을 수 있지만, 디코드된 참조 화상(1920×1088)은 EL 화상(1920×1080)을 예측하는데 직접 사용되지 않고, 대응하는 크롭 영역(cropped region)이 ILR 화상에 복사될 수 있다.
이러한 예외를 다루기 위해 여기에서 설명하는 것처럼 사용될 수 있는 복수의 방법이 있다. 예를 들면, 소정의 방법에서, SNR_scalability_flag는 BL 및 EL 비디오 코딩 크기가 둘 다 하나 이상의 스케일된 오프셋의 값과 관계없이 동일할 때 1로 한정될 수 있다. 이러한 한정은 인코더가 SNR_scalability_flag의 값으로 적절히 설정되는 것을 보장하기 위해 비트스트림 순응 한정의 형태로 제공 및/또는 부여될 수 있다. 그 경우에, SNR_scalability_flag는 전술한 1920×1080 혼성 표준 확장성에 대하여 0으로 설정되고, 계층간 참조 화상은 리샘플링 처리(예를 들면, JCTVC-M1008, SHVC 규격 초안, 2013년 4월호의 SHVC WD G.8.1.4.1에서 특정된 리샘플링 처리)에 따라 1920×1088 AVC 기본 계층 화상으로부터 도출될 수 있다.
소정의 방법에 있어서, SNR_scalability_flag는 척도 계수 ScaleFactorX(예를 들면, G.8.1.4에서 특정된 것)가 1과 같을 때 1로 설정될 수 있다. 그러한 방법에서, 리샘플링 처리는 다음과 같이 특수 경우를 포괄하도록 추가로 수정될 수 있다. rlPic 및 rsPic(예를 들면, SHVC WD G.8.1.4에서 규정된 것)에 추가하여, 다른 하나의 크롭된 참조 계층 화상 rcPic가 리샘플링 처리에서 추가될 수 있다. 변수 CroppedRefLayerPicWidthInSamplesL 및 CroppedRefLayerPicWidthinSamplesL은 루마 샘플의 유닛에서 각각 rcPic의 폭 및 높이와 동일하게 설정될 수 있다. 변수 rcPicSample은 루마 및 크로마 성분의 rcPic의 샘플 값을 특정하는 샘플 어레이의 그룹으로서 추가로 규정될 수 있다. 추가로, rcPicMotion은 rcPic의 압축 모션 필드를 특정하는 가변 어레이의 그룹으로서 규정될 수 있다.
변수 RefLayerPicWidthInSamplesL 및 RefLayerPicHeightInSamplesL은 루마 샘플의 유닛에서 각각 디코드된 참조 계층 화상 rlPic의 폭 및 높이와 동일하게 설정될 수 있다. 루마 샘플 위치 [xP][yP]는 rlPic의 상부 좌측 샘플을 특정할 수 있다. 추가로, 변수 rcLeftStart, rcRightEnd, rcTopStart 및 rcBottomEnd가 다음과 같이 도출될 수 있다:
Figure pat00028
rcPic는 rlPic를 상부-좌측 위치(rcLeftStart, rcTopStart) 및 하부-우측 위치(rcRightEnd, rcBottomEnd)로 크로핑함으로써 도출될 수 있다. 도 5는 크로핑의 예를 보인 것이다. 도 5에 도시된 바와 같이, rcPic는 스케일된 오프셋이 0이 아닐 때 rlPic로부터 도출될 수 있다.
리샘플링 처리는 다음과 같이 제공될 수 있다. 만일 SNR_scalability_flag가 1로 설정되면, rsPicSample은 rcPicSample과 같게 설정될 수 있고, alt_collocated_indication_flag가 1과 같을 때 rsPicMotion은 rcPicMotion과 같게 설정될 수 있다. rsPic는 다음과 같이 도출될 수 있다. 화상 샘플 리샘플링 처리(예를 들면, JCTVC-M1008, SHVC 규격 초안, 2013년 4월호의 종속절 G.8.1.4.1에서 특정된 리샘플링 처리)는 입력으로서 rlPicSample의 샘플 값으로 및 출력으로서 rsPicSample의 리샘플링된 샘플 값으로 호출될 수 있다. 예를 들면, alt_collocated_indication_flag가 1과 같을 때, 화상 모션 필드 리샘플링 처리(예를 들면, JCTVC-M1008, SHVC 규격 초안, 2013년 4월호의 종속절 G.8.1.4.2에서 특정된 리샘플링 처리)는 입력으로서 rlPicMotion으로 및 출력으로서 rsPicMotion의 리샘플링된 모션 필드로 호출될 수 있다.
공간 및 SNR 확장성은 예를 들면 불필요한 리샘플링 동작 및/또는 메모리 할당을 회피하기 위해 구별될 수 있다. 리샘플링 처리가 우회되는지 아닌지를 표시하기 위해 추가적인 또는 여분의 구문 요소가 파라미터 집합 확장(예를 들면, 표 15에 나타낸 바와 같은 비디오 파라미터 집합(VPS) 확장)으로 신호될 수 있다.
Figure pat00029
Figure pat00030
표 15: 비디오 파라미터 집합 확장 구문
0과 같은 resampling_buffer_enable_flag[i][j]는 i번째 계층과 j번째 계층 사이의 리샘플링 처리가 우회되고 리샘플링 버퍼가 할당되지 않는 것을 표시 또는 특정할 수 있다. 1과 같은 resampling_buffer_enable_flag는 화상 샘플의 리샘플링 처리를 위한 관련 버퍼 또는 모션 값들이 호출될 수 있음을 표시 또는 특정할 수 있다. resampling_buffer_enable_flag가 존재하지 않을 때, 디폴트 값은 0일 수 있다. 리샘플링 처리는 다음과 같이 수정될 수 있다. 만일 resampling_buffer_enable_flag가 0으로 설정되면, rsPicSample은 rlPicSample과 같게 설정될 수 있고, alt_collocated_indication_flag가 1과 같을 때 rsPicMotion은 rlPicMotion과 같게 설정될 수 있다. rsPic는 다음과 같이 도출될 수 있다. 화상 샘플 리샘플링 처리(예를 들면, JCTVC-M1008, SHVC 규격 초안, 2013년 4월호의 종속절 G.8.1.4.1에서 특정된 리샘플링 처리)는 입력으로서 rlPicSample의 샘플 값으로 및 출력으로서 rsPicSample의 리샘플링된 샘플 값으로 호출될 수 있다. 추가로, alt_collocated_indication_flag가 1과 같을 때, 화상 모션 필드 리샘플링 처리(예를 들면, JCTVC-M1008, SHVC 규격 초안, 2013년 4월호의 종속절 G.8.1.4.2에서 특정된 리샘플링 처리)는 입력으로서 rlPicMotion으로 및 출력으로서 rsPicMotion의 리샘플링된 모션 필드로 호출될 수 있다.
resampling_buffer_enable_flag는 direct_dependency_type 구문 요소와 결합되지 않을 수 있다. resampling_buffer_enable_flag는 표 17에 나타낸 바와 같이 신호(예를 들면, 독립적으로 신호)될 수 있다. resampling_buffer_enable_flag는 리샘플링된 참조 화상 및 모션이 샘플 예측 및/또는 모션 예측 이외의 목적으로 사용되도록 융통성을 제공할 수 있다. 예를 들면, 리샘플링된 모션은 혼성 계층간 참조 화상을 발생하기 위해 사용될 수 있다.
Figure pat00031
표 16: 비디오 파라미터 집합 확장 구문
resampling_buffer_enable_flag는 direct_dependency_type 구문 요소와 결합되지 않을 수 있다. resampling_buffer_enable_flag는 SNR_scalability_flag로서 신호(예를 들면, 독립적으로 신호)될 수 있고 resampling_buffer_enable_flag는 SPS 또는 SPS 확장에 또는 임의의 다른 적당한 파라미터 집합에도 또한 배치될 수 있다. 표 17은 SPS 확장에서 SNR_scalability_flag를 신호하는 예시적인 실시형태를 보인 것이다. 표 17에 나타낸 구문 요소 num_SNR_scalability_flags는 신호된 플래그의 수를 표시한다. num_SNR_scalability_flags의 값은 현재 향상 계층의 참조 계층의 수와 같을 수 있다. num_scaled_ref_layer_offsets의 값은 현재 향상 계층의 참조 계층의 수와 같을 수 있다. 표 19에 나타낸 바와 같이, 구문 요소 num_SNR_scalability_flags와 num_scaled_ref_layer_offsets는 하나의 구문 요소, 예를 들면, num_ref_layers로서 결합 및 신호될 수 있다.
Figure pat00032
표 17: 시퀀스 파라미터 집합 확장 구문
여기에서 설명하는 바와 같이, SNR 확장성 시그널링에 의해, 코덱 동작이 하나 이상의 구문 요소를 신호하여 신호되는 비트 수를 절약하고 그에 따라서 효율을 증가시킬 수 있다. 예를 들면, 여기에서 설명하는 SNR_scalability_flag(예를 들면, 전술한 바와 같이 VPS 확장에 추가되는 것)는 각종 응용 시나리오에서 사용될 수 있다.
예를 들면, 샘플링 그리드 시프트 시그널링이 예를 들면 SNR_scalability_flag와 함께 제공 및/또는 사용될 수 있다. 샘플링 그리드 시프트 정보는 각종 기술 및/또는 방법을 이용하여 샘플링될 수 있다(예를 들면, JCTVC-M0465 2013년 4월호의 "업샘플링 처리 및 크로마 샘플링 위치에서 위상 오프셋의 시그널링"(Signaling of phase offset in up-sampling process and chroma sampling location)에서 제안되어 있음). 예를 들면, 샘플링 그리드 정보는 위상 오프셋 제공 플래그 및 루마 및/또는 크로마 위상 오프셋 파라미터와 함께 SPS 확장으로 신호될 수 있다. 샘플링 위상 시프트는 공간 확장성에 적용할 수 있기 때문에, 제안된 SNR_scalability_flag는 SNR 확장성을 위해 비트스트림에 존재하는 불필요한 구문 요소를 회피하기 위한 조건으로서 사용될 수 있다. 표 18은 여분의 샘플링 그리드 파라미터가 신호될 수 있는지를 결정하기 위한 조건으로서 SNR_scalability_flag 시그널링을 사용하는 예시적인 구문표를 보인 것이다.
Figure pat00033
표 18: SPS 확장의 제안된 샘플링 그리드 정보
스케일된 참조 계층 오프셋이 또한 제공 및/또는 사용될 수 있다. 예를 들면, SPS 확장에서 신호될 수 있는 scaled_ref_layer_offset 구문 요소들이 기본 계층 및 향상 계층을 정렬하기 위해 사용될 수 있다. SNR 확장성에 있어서, 스케일된 오프셋은 0일 수 있고, 그래서 SNR_scalability_flag에서 이들 오프셋의 시그널링을 조절함으로써 여분의 비트들이 SNR 스케일러블 계층에 대한 스케일된 오프셋 시그널링을 건너뜀으로써 절약될 수 있다. 표 19는 이러한 시그널링의 예를 보인 것이다.
Figure pat00034
표 19: 시퀀스 파라미터 집합 확장 구문
num_ref_layer의 어의론은 num_ref_layers가 SPS에 존재하는 스케일된 참조 계층 오프셋 파라미터의 집합의 수를 특정하는 경우에 VPS에서 신호되는 종속 계층(예를 들면, 참조 계층)의 수를 매칭시킴에 있어서 정확하지 않을 수 있다. 일 실시형태에 있어서, num_ref_layers의 값은 0~63의 범위(0과 63을 포함함) 내에 있을 수 있다. 어의론은 다음과 같이 수정될 수 있다. num_ref_layers는 SPS에 존재하는 스케일된 참조 계층 오프셋 파라미터 집합의 수를 특정 또는 표시할 수 있다. num_ref_layers의 값은 NumDirectRefLayers[nuh_layer_id]와 같을 수 있다(예를 들면, 비트스트림 순응성 한정의 일부로서, 및 JCTVC-M1008, SHVC 규격 초안, 2013년 4월호의 F.7.4.3.1.1에서 특정된 바와 같이).
층간 필터링 시그널링이 제공 및/또는 사용될 수 있다. 예를 들면, 전환 가능한 정수 위치 필터(예를 들면, 계층간 필터링(SCE3)의 핵심 실험에서 제공될 수 있는 JCTVC-M0273 2013년 4월호의 "정수 위치에서의 비-SCE4 전환 가능 필터"(Non-SCE4 Switchable filter on integer position)에서 설명된 필터)는 SNR 확장성에 대하여 수행 이득을 달성할 수 있지만 공간 확장성에 대해서는 달성할 수 없다. 그래서 각종의 필터 전환 방법이 제공 및/또는 사용될 수 있다. 예를 들면, 필터 전환은 슬라이스 헤더로 신호될 수 있고, 추가의 실시형태에 있어서, ILR 및 필터링된 ILR이 둘 다 계층간 예측을 위해 참조 화상 리스트(reference picture list, RPL)에 삽입될 수 있다. 예를 들면, SNR_scalability_flag가 0으로 설정된 때, 예를 들면 이러한 필터가 공간 확장성 시나리오의 수행을 개선하지 않기 때문에, 슬라이스 헤더의 1비트 구문 요소가 우회될 수 있다. 다른 예에 있어서, 활성 계층간 참조 화상의 수는 SNR_scalability_flag가 0으로 설정된 때, 예를 들면 필터링된 ILR 화상이 참조 화상 집합 및 참조 화상 리스트에 추가되지 않기 때문에, 감소될 수 있다. SNR 확장성 표시자의 시그널링은 참조 화상 리스트 구성 처리를 단순화하고 공간 확장성의 경우를 위해 먼저 DPB 메모리 크기를 절약할 수 있다. SNR_scalability_flag는 코덱 동작 복잡성 및 메모리 할당을 줄이기 위해 공간 확장성(SNR_scalability_flag가 0으로 설정됨)에 대하여 전환가능 정수 위치 필터(예를 들면, JCTVC-M0273 2013년 4월호의 "정수 위치에서의 비-SCE4 전환 가능 필터"(Non-SCE4 Switchable filter on integer position)에서 설명된 필터)를 우회하도록 리샘플링 처리에서 참조될 수 있다.
복수의 플래그가 파라미터 집합(예를 들면, 비디오 파라미터 집합)에서 신호될 수 있다. 각각의 플래그는 스케일러블 비트스트림의 계층(예를 들면, 기본 계층 및 종속 향상 계층)과 연관된 리샘플링 처리가 수행될 필요가 있는지를 표시할 수 있다. 리샘플링 처리가 필요하지 않다고 플래그가 표시하는 조건에서는 리샘플링 버퍼의 할당이 우회될 수 있다. 리샘플링 처리가 필요하다고 플래그가 표시하는 조건에서는 하나 이상의 리샘플링 버퍼가 할당되고 참조 화상 샘플 또는 참조 화상 샘플과 연관된 모션 중의 하나 이상의 리샘플링이 호출될 수 있다.
여기에서 설명하는 시그널링은 예를 들면 여기에서 설명하는 임의의 네트워크 또는 적당한 네트워크 요소에서 사용될 수 있다. 예를 들면, 여기에서 설명하는 시그널링은 도 6a-6e에 도시된 예시적인 무선 통신 시스템(100) 및/또는 그 컴포넌트와 같은 무선 통신 시스템과 연관된 장치(예를 들면, 비디오 스트리밍 장치)에 의해 구현되는 스케일러블 비디오 코딩에 따라 구현될 수 있다.
도 6a는 하나 이상의 본 발명의 실시형태를 구현 및/또는 사용할 수 있는 예시적인 통신 시스템(100)을 보인 도이다. 통신 시스템(100)은 복수의 무선 사용자에게 음성, 데이터, 영상, 메시지, 방송 등의 콘텐츠를 제공하는 다중 접속 시스템일 수 있다. 통신 시스템(100)은 복수의 무선 사용자들이 무선 대역폭을 포함한 시스템 자원을 공유함으로써 상기 콘텐츠에 접근할 수 있게 한다. 예를 들면, 통신 시스템(100)은 코드 분할 다중 접속(CDMA), 시분할 다중 접속(TDMA), 주파수 분할 다중 접속(FDMA), 직교 FDMA(OFDMA), 단일 캐리어 FDMA(SC-FDMA) 등과 같은 하나 이상의 채널 접속 방법을 이용할 수 있다.
도 6a에 도시된 것처럼, 통신 시스템(100)은 무선 송수신 유닛(wireless transmit/receive unit, WTRU)(102a, 102b, 102c, 및/또는 102d)(총괄적으로 또는 집합적으로 WTRU(102)라고 부를 수 있다), 무선 접근 네트워크(radio access network; RAN)(103/104/105), 코어 네트워크(106/107/109), 공중 교환식 전화망(public switched telephone network; PSTN)(108), 인터넷(110) 및 기타의 네트워크(112)를 포함하고 있지만, 본 발명의 실시형태는 임의 수의 WTRU, 기지국, 네트워크 및/또는 네트워크 요소를 포함할 수 있다는 것을 이해할 것이다. 각각의 WTRU(102a, 102b, 102c, 및/또는 102d)는 무선 환경에서 동작 및/또는 통신하도록 구성된 임의 유형의 장치일 수 있다. 예를 들면, WTRU(102a, 102b, 102c, 및/또는 102d)는 무선 신호를 송신 및/또는 수신하도록 구성될 수 있고, 사용자 장비(UE), 이동국, 고정식 또는 이동식 가입자 유닛, 페이저, 셀룰러 전화기, 개인 정보 단말기(personal digital assistant; PDA), 스마트폰, 랩톱, 넷북, 퍼스널 컴퓨터, 무선 센서, 가전제품 등을 포함할 수 있다.
통신 시스템(100)은 기지국(114a)과 기지국(114b)을 또한 포함할 수 있다. 각각의 기지국(114a, 114b)은 적어도 하나의 WTRU(102a, 102b, 102c, 및/또는 102d)와 무선으로 인터페이스 접속하여 코어 네트워크(106/107/109), 인터넷(110) 및/또는 네트워크(112)와 같은 하나 이상의 통신 네트워크에 접근하도록 구성된 임의 유형의 장치일 수 있다. 예를 들면, 기지국(114a 및/또는 114b)은 기지국 송수신기(base transceiver station; BTS), 노드-B, e노드 B, 홈 노드 B, 홈 e노드 B, 사이트 제어기, 접근점(access point; AP), 무선 라우터 등일 수 있다. 비록 기지국(114a, 114b)이 각각 단일 요소로서 도시되어 있지만, 기지국(114a, 114b)은 임의 수의 상호접속된 기지국 및/또는 네트워크 요소를 포함할 수 있다는 것을 이해할 것이다.
기지국(114a)은 RAN(103/104/105)의 일부일 수 있고, RAN(103/104/105)은 기지국 제어기(base station controller; BSC), 라디오 네트워크 제어기(radio network controller; RNC), 릴레이 노드 등과 같은 다른 기지국 및/또는 네트워크 요소(도시 생략됨)를 또한 포함할 수 있다. 기지국(114a) 및/또는 기지국(114b)은 셀(도시 생략됨)이라고도 부르는 특정의 지리적 영역 내에서 무선 신호를 송신 및/또는 수신하도록 구성될 수 있다. 셀은 복수의 셀 섹터로 세분될 수 있다. 예를 들면, 기지국(114a)과 관련된 셀은 3개의 섹터로 나누어질 수 있다. 따라서, 일 실시형태에 있어서, 기지국(114a)은 셀의 각 섹터마다 하나씩 3개의 송수신기를 포함할 수 있다. 다른 실시형태에 있어서, 기지국(114a)은 다중입력 다중출력(MIMO) 기술을 사용할 수 있고, 따라서 셀의 각 섹터마다 복수의 송수신기를 사용할 수 있다.
기지국(114a 및/또는 114b)은 임의의 적당한 무선 통신 링크(예를 들면, 라디오 주파수(RF), 마이크로파, 적외선(IR), 자외선(UV), 가시광선 등)일 수 있는 무선 인터페이스(115/116/117)를 통하여 하나 이상의 WTRU(102a, 102b, 102c, 및/또는 102d)와 통신할 수 있다. 무선 인터페이스(115/116/117)는 임의의 적당한 무선 접근 기술(radio access technology; RAT)을 이용하여 확립될 수 있다.
더 구체적으로, 위에서 언급한 것처럼, 통신 시스템(100)은 다중 접근 시스템일 수 있고, CDMA, TDMA, FDMA, OFDMA, SC-FDMA 등과 같은 하나 이상의 채널 접근 방식을 이용할 수 있다. 예를 들면, RAN(103/104/105) 내의 기지국(114a)과 WTRU(102a, 102b 및/또는 102c)는 광대역 CDMA(WCDMA)를 이용하여 무선 인터페이스(115/116/117)를 확립하는 범용 이동통신 시스템(UMTS) 지상 라디오 액세스(UTRA)와 같은 무선 기술을 구현할 수 있다. WCDMA는 고속 패킷 액세스(HSPA) 및/또는 진화형 HSPA(HSPA+)와 같은 통신 프로토콜을 포함할 수 있다. HSPA는 고속 다운링크 패킷 액세스(HSDPA) 및/또는 고속 업링크 패킷 액세스(HSUPA)를 포함할 수 있다.
다른 실시형태에 있어서, 기지국(114a)과 WTRU(102a, 102b 및/또는 102c)는 롱텀 에볼루션(LTE) 및/또는 LTE-어드반스드(LTE-A)를 이용하여 무선 인터페이스(115/116/117)를 확립하는 진화형 UMTS 지상 라디오 액세스(E-UTRA)와 같은 무선 기술을 구현할 수 있다.
다른 실시형태에 있어서, 기지국(114a)과 WTRU(102a, 102b 및/또는 102c)는 IEEE 802.16(즉, WiMAX(Worldwide Interoperability for Microwave Access)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, 잠정 표준 2000(IS-2000), 잠정 표준 95(IS-95), 잠정 표준 856(IS-856), 글로벌 이동통신 시스템(GSM), EDGE(Enhanced Data rates for GSM Evolution), GSM EDGE(GERAN) 등과 같은 무선 기술을 구현할 수 있다.
도 6a의 기지국(114b)은 예를 들면 무선 라우터, 홈 노드 B, 홈 e노드 B, 또는 접근점일 수 있고, 사업장, 홈, 자동차, 캠퍼스 등과 같은 국소 지역에서 무선 접속을 가능하게 하는 임의의 적당한 RAT를 이용할 수 있다. 일 실시형태에 있어서, 기지국(114b)과 WTRU(102c, 102d)는 IEEE 802.11과 같은 무선 기술을 구현하여 무선 근거리 통신망(WLAN)을 확립할 수 있다. 다른 실시형태에 있어서, 기지국(114b)과 WTRU(102c, 102d)는 IEEE 802.15와 같은 무선 기술을 구현하여 무선 개인 통신망(WPAN)을 확립할 수 있다. 또 다른 실시형태에 있어서, 기지국(114b)과 WTRU(102c, 102d)는 셀룰러 기반 RAT(예를 들면, WCDMA, CDMA2000, GSM, LTE, LTE-A 등)를 이용하여 피코셀 또는 펨토셀을 확립할 수 있다. 도 6a에 도시된 바와 같이, 기지국(114b)은 인터넷(110)에 직접 접속될 수 있다. 그러므로, 기지국(114b)은 코어 네트워크(106/107/109)를 통해 인터넷(110)에 접속할 필요가 없다.
RAN(103/104/105)은 코어 네트워크(106/107/109)와 통신하고, 코어 네트워크(106/107/109)는 하나 이상의 WTRU(102a, 102b, 102c, 및/또는 102d)에게 음성, 데이터, 애플리케이션 및/또는 인터넷을 통한 음성 프로토콜(voice over internet protocol; VoIP) 서비스를 제공하도록 구성된 임의 유형의 네트워크일 수 있다. 예를 들면, 코어 네트워크(106/107/109)는 호출 제어, 빌링(billing) 서비스, 모바일 위치 기반 서비스, 선불 통화, 인터넷 접속, 영상 분배 등을 제공할 수 있고, 및/또는 사용자 인증과 같은 고급 보안 기능을 수행할 수 있다. 비록 도 6a에 도시되어 있지 않지만, RAN(103/104/105) 및/또는 코어 네트워크(106/107/109)는 RAN(103/104/105)과 동일한 RAT 또는 다른 RAT를 이용하는 다른 RAN과 직접 또는 간접 통신을 할 수 있다는 것을 이해할 것이다. 예를 들면, E-UTRA 무선 기술을 이용하는 RAN(103/104/105)에 접속하는 것 외에, 코어 네트워크(106/107/109)는 GSM 무선 기술을 이용하는 다른 RAN(도시 생략됨)과도 또한 통신할 수 있다.
코어 네트워크(106/107/109)는 WTRU(102a, 102b, 102c, 및/또는 102d)가 PSTN(108), 인터넷(110) 및/또는 기타 네트워크(112)에 접속하게 하는 게이트웨이로서 또한 기능할 수 있다. PSTN(108)은 재래식 전화 서비스(plain old telephone service; POTS)를 제공하는 회선 교환식 전화망을 포함할 수 있다. 인터넷(110)은 TCP/IP 인터넷 프로토콜 스위트(suite)에서 전송 제어 프로토콜(TCP), 사용자 데이터그램 프로토콜(UDP) 및 인터넷 프로토콜(IP)과 같은 공통의 통신 프로토콜을 이용하는 상호접속된 컴퓨터 네트워크 및 장치의 글로벌 시스템을 포함할 수 있다. 네트워크(112)는 다른 서비스 공급자에 의해 소유 및/또는 운용되는 유선 또는 무선 통신 네트워크를 포함할 수 있다. 예를 들면, 네트워크(112)는 RAN(103/104/105)과 동일한 RAT 또는 다른 RAT를 이용하는 하나 이상의 RAN에 접속된 다른 코어 네트워크를 포함할 수 있다.
통신 시스템(100)의 WTRU(102a, 102b, 102c, 및/또는 102d)의 일부 또는 전부는 다중 모드 능력을 구비할 수 있다. 즉, WTRU(102a, 102b, 102c, 및/또는 102d)는 다른 무선 링크를 통하여 다른 무선 네트워크와 통신하기 위한 복수의 송수신기를 포함할 수 있다. 예를 들면, 도 6a에 도시된 WTRU(102c)는 셀룰러 기반 무선 기술을 이용하는 기지국(114a)과 통신하고, IEEE 802 무선 기술을 이용하는 기지국(114b)과 통신하도록 구성될 수 있다.
도 6b는 예시적인 WTRU(102)의 계통도이다. 도 6b에 도시된 바와 같이, WTRU(102)는 프로세서(118), 송수신기(120), 송수신 엘리멘트(122), 스피커/마이크로폰(124), 키패드(126), 디스플레이/터치패드(128), 비분리형 메모리(130), 분리형 메모리(132), 전원(134), 글로벌 위치확인 시스템(GPS) 칩세트(136) 및 기타 주변장치(138)를 포함할 수 있다. WTRU(102)는 실시형태의 일관성을 유지하면서 전술한 요소들의 임의의 부조합(sub-combination)을 포함할 수 있다는 것을 이해할 것이다. 또한, 실시형태는 기지국(114a, 114b), 및/또는 기지국(114a, 114b)이 비제한적인 예로서, 다른 무엇보다도 특히, 기지국 송수신기(BTS), 노드-B, 사이트 제어기, 접근점(AP), 홈 노드-B, 진화형 홈 노드-B(e노드B), 홈 e노드-B(HeNB), 홈 e노드-B 게이트웨이, 및 프록시 노드를 대표할 수 있는 노드들이 도 6b에 도시되고 여기에서 설명하는 요소들의 일부 또는 전부를 포함하는 것을 고려한다.
프로세서(118)는 범용 프로세서, 특수 용도 프로세서, 전통적 프로세서, 디지털 신호 프로세서(DSP), 복수의 마이크로프로세서, DSP 코어와 연합하는 하나 이상의 마이크로프로세서, 컨트롤러, 마이크로컨트롤러, 용도 지정 집적회로(ASIC), 현장 프로그램가능 게이트 어레이(FPGA) 회로, 임의의 다른 유형의 집적회로(IC), 상태 기계 등일 수 있다. 프로세서(118)는 신호 코딩, 데이터 처리, 전력 제어, 입력/출력 처리, 및/또는 WTRU(102)가 무선 환경에서 동작하게 하는 임의의 다른 기능을 수행할 수 있다. 프로세서(118)는 송수신기(120)에 결합되고, 송수신기(120)는 송수신 엘리멘트(122)에 결합될 수 있다. 비록 도 6b에서는 프로세서(118)와 송수신기(120)가 별도의 구성요소로서 도시되어 있지만, 프로세서(118)와 송수신기(120)는 전자 패키지 또는 칩으로 함께 통합될 수 있음을 이해할 것이다.
송수신 엘리멘트(122)는 무선 인터페이스(115/116/117)를 통하여 기지국(예를 들면 기지국(114a))에 신호를 송신하거나 기지국으로부터 신호를 수신하도록 구성될 수 있다. 예를 들면, 일 실시형태에 있어서, 송수신 엘리멘트(122)는 RF 신호를 송신 및/또는 수신하도록 구성된 안테나일 수 있다. 다른 실시형태에 있어서, 송수신 엘리멘트(122)는 예를 들면, IR, UV 또는 가시광 신호를 송신 및/또는 수신하도록 구성된 에미터/검지기일 수 있다. 또 다른 실시형태에 있어서, 송수신 엘리멘트(122)는 RF 신호와 광신호 둘 다를 송신 및 수신하도록 구성될 수 있다. 송수신 엘리멘트(122)는 임의의 무선 신호 조합을 송신 및/또는 수신하도록 구성될 수 있다는 것을 이해할 것이다.
또한, 비록 송수신 엘리멘트(122)가 도 6b에서 단일 엘리멘트로서 도시되어 있지만, WTRU(102)는 임의 수의 송수신 엘리멘트(122)를 포함할 수 있다. 더 구체적으로, WTRU(102)는 MIMO 기술을 이용할 수 있다. 따라서, 일 실시형태에 있어서, WTRU(102)는 무선 인터페이스(115/116/117)를 통해 무선 신호를 송신 및 수신하기 위해 2개 이상의 송수신 엘리멘트(122)(예를 들면, 복수의 안테나)를 포함할 수 있다.
송수신기(120)는 송수신 엘리멘트(122)에 의해 송신할 신호들을 변조하고 송수신 엘리멘트(122)에 의해 수신된 신호를 복조하도록 구성될 수 있다. 전술한 바와 같이, WTRU(102)는 다중 모드 능력을 구비할 수 있다. 따라서, 송수신기(120)는 WTRU(102)가 예를 들면 UTRA 및 IEEE 802.11과 같은 복수의 RAT를 통하여 통신하게 하는 복수의 송수신기를 포함할 수 있다.
WTRU(102)의 프로세서(118)는 스피커/마이크로폰(124), 키패드(126), 및/또는 디스플레이/터치패드(128)(예를 들면, 액정 디스플레이(LCD) 표시 장치 또는 유기 발광 다이오드(OLED) 표시 장치)에 결합되어 이들로부터 사용자 입력 데이터를 수신할 수 있다. 프로세서(118)는 또한 스피커/마이크로폰(124), 키패드(126), 및/또는 디스플레이/터치패드(128)에 사용자 데이터를 출력할 수 있다. 또한, 프로세서(118)는 비분리형 메모리(130) 및/또는 분리형 메모리(132)와 같은 임의 유형의 적당한 메모리로부터의 정보에 접근하고 상기 적당한 메모리에 데이터를 저장할 수 있다. 비분리형 메모리(130)는 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 하드 디스크 또는 임의의 다른 유형의 메모리 기억장치를 포함할 수 있다. 분리형 메모리(132)는 가입자 식별 모듈(SIM) 카드, 메모리 스틱, 보안 디지털(SD) 메모리 카드 등을 포함할 수 있다. 다른 실시형태에 있어서, 프로세서(118)는 서버 또는 홈 컴퓨터(도시 생략됨)와 같이 WTRU(102)에 물리적으로 위치되어 있지 않은 메모리로부터의 정보에 접근하고 그러한 메모리에 데이터를 저장할 수 있다.
프로세서(118)는 전원(134)으로부터 전력을 수신하고, WTRU(102)의 각종 구성요소에 대하여 전력을 분배 및/또는 제어하도록 구성될 수 있다. 전원(134)은 WTRU(102)에 전력을 공급하는 임의의 적당한 장치일 수 있다. 예를 들면, 전원(134)은 하나 이상의 건전지 배터리(예를 들면, 니켈-카드뮴(NiCd), 니켈-아연(NiZn), 니켈 금속 하이드라이드(NiMH), 리튬-이온(Li-ion) 등), 태양 전지, 연료 전지 등을 포함할 수 있다.
프로세서(118)는 WTRU(102)의 현재 위치에 관한 위치 정보(예를 들면, 경도 및 위도)를 제공하도록 구성된 GPS 칩세트(136)에 또한 결합될 수 있다. GPS 칩세트(136)로부터의 정보에 추가해서 또는 그 대신으로, WTRU(102)는 기지국(예를 들면 기지국(114a, 114b))으로부터 무선 인터페이스(115/116/117)를 통해 위치 정보를 수신하고, 및/또는 2개 이상의 인근 기지국으로부터 신호가 수신되는 타이밍에 기초하여 그 위치를 결정할 수 있다. WTRU(102)는 실시형태의 일관성을 유지하면서 임의의 적당한 위치 결정 방법에 의해 위치 정보를 획득할 수 있다는 것을 이해할 것이다.
프로세서(118)는 추가의 특징, 기능 및/또는 유선 또는 무선 접속을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈을 포함한 기타 주변 장치(138)에 또한 결합될 수 있다. 예를 들면, 주변 장치(138)는 가속도계, e-콤파스, 위성 송수신기, 디지털 카메라(사진용 또는 영상용), 범용 직렬 버스(USB) 포트, 진동 장치, 텔레비전 송수신기, 핸즈프리 헤드셋, 블루투스® 모듈, 주파수 변조(FM) 라디오 장치, 디지털 뮤직 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저 등을 포함할 수 있다.
도 6c는 일 실시형태에 따른 RAN(103) 및 코어 네트워크(106)의 계통도이다. 전술한 바와 같이, RAN(103)은 UTRA 무선 기술을 이용하여 무선 인터페이스(115)를 통해 WTRU(102a, 102b, 및/또는 102c)와 통신할 수 있다. RAN(103)은 코어 네트워크(106)와 또한 통신할 수 있다. 도 6c에 도시된 것처럼, RAN(103)은 노드-B(140a, 140b, 140c)를 포함하고, 노드-B(140a, 140b, 및/또는 140c)는 무선 인터페이스(115)를 통하여 WTRU(102a, 102b, 및/또는 102c)와 통신하는 하나 이상의 송수신기를 각각 포함할 수 있다. 노드-B(140a, 140b, 및/또는 140c)는 RAN(103) 내의 특정 셀(도시 생략됨)과 각각 연합될 수 있다. RAN(103)은 또한 RNC(142a 및/또는 142b)를 포함할 수 있다. RAN(103)은 실시형태의 일관성을 유지하면서 임의 수의 노드-B 및 RNC를 포함할 수 있다는 것을 이해할 것이다.
도 6c에 도시된 것처럼, 노드-B(140a 및/또는 140b)는 RNC(142a)와 통신할 수 있다. 또한, 노드-B(140c)는 RNC(142b)와 통신할 수 있다. 노드-B(140a, 140b, 및/또는 140c)는 Iub 인터페이스를 통해 각각의 RNC(142a, 142b)와 통신할 수 있다. RNC(142a, 142b)는 Iur 인터페이스를 통해 서로 통신할 수 있다. 각각의 RNC(142a, 142b)는 이들이 접속된 각각의 노드-B(140a, 140b, 및/또는 140c)를 제어하도록 구성될 수 있다. 또한, 각각의 RNC(142a, 142b)는 외부 루프 전력 제어, 부하 제어, 허가 제어, 패킷 스케줄링, 핸드오버 제어, 매크로다이버시티, 보안 기능, 데이터 암호화 등과 같은 다른 기능을 실행 또는 지원하도록 구성될 수 있다.
도 6c에 도시된 코어 네트워크(106)는 미디어 게이트웨이(MGW)(144), 모바일 스위칭 센터(MSC)(146), 서빙 GPRS 지원 노드(SGSN)(148) 및/또는 게이트웨이 GPRS 지원 노드(GGSN)(150)를 포함할 수 있다. 전술한 요소들이 각각 코어 네트워크(106)의 일부로서 도시되어 있지만, 이 요소들 중 임의의 요소는 코어 네트워크 운용자가 아닌 다른 엔티티에 의해 소유 및/또는 운용될 수 있다는 것을 이해할 것이다.
RAN(103)에 있는 RNC(142a)는 IuCS 인터페이스를 통해 코어 네트워크(106) 내의 MSC(146)에 접속될 수 있다. MSC(146)는 MGW(144)에 접속될 수 있다. MSC(146)와 MGW(144)는 PSTN(108)과 같은 회선 교환식 네트워크에 대한 액세스를 WTRU(102a, 102b, 및/또는 102c)에게 제공하여 WTRU(102a, 102b, 및/또는 102c)와 전통적인 지상선 통신 장치 간의 통신을 가능하게 한다.
RAN(103)에 있는 RNC(142a)는 IuPS 인터페이스를 통해 코어 네트워크(106) 내의 SGSN(148)에 또한 접속될 수 있다. SGSN(148)은 GGSN(150)에 접속될 수 있다. SGSN(148)과 GGSN(150)은 인터넷(110)과 같은 패킷 교환식 네트워크에 대한 액세스를 WTRU(102a, 102b, 및/또는 102c)에게 제공하여 WTRU(102a, 102b, 및/또는 102c)와 IP-인에이블 장치 간의 통신을 가능하게 한다.
전술한 바와 같이, 코어 네트워크(106)는 다른 서비스 공급자에 의해 소유 및/또는 운용되는 다른 유선 또는 무선 네트워크를 포함하는 네트워크(112)에 또한 접속될 수 있다.
도 6d는 일 실시형태에 따른 RAN(104) 및 코어 네트워크(107)의 계통도이다. 전술한 바와 같이, RAN(104)은 E-UTRA 무선 기술을 이용하여 무선 인터페이스(116)를 통해 WTRU(102a, 102b, 및/또는 102c)와 통신할 수 있다. RAN(104)은 코어 네트워크(107)와 또한 통신할 수 있다.
RAN(104)이 e노드-B(160a, 160b, 및/또는 160c)를 포함하고 있지만, RAN(104)은 실시형태의 일관성을 유지하면서 임의 수의 e노드-B를 포함할 수 있다는 것을 이해할 것이다. e노드-B(160a, 160b, 및/또는 160c)는 무선 인터페이스(116)를 통하여 WTRU(102a, 102b, 및/또는 102c)와 통신하는 하나 이상의 송수신기를 각각 포함할 수 있다. 일 실시형태에 있어서, e노드-B(160a, 160b, 및/또는 160c)는 MIMO 기술을 구현할 수 있다. 따라서, 예를 들면 e노드-B(160a)는 복수의 안테나를 사용하여 WTRU(102a)에게 무선 신호를 송신하고 WTRU(102a)로부터 무선 신호를 수신할 수 있다.
각각의 e노드-B(160a, 160b, 및/또는 160c)는 특정 셀(도시 생략됨)과 연합될 수 있고, 무선 자원 관리 결정, 핸드오버 결정, 업링크 및/또는 다운링크에서 사용자의 스케줄링 등을 취급하도록 구성될 수 있다. 도 6d에 도시된 바와 같이, e노드-B(160a, 160b, 및/또는 160c)는 X2 인터페이스를 통해 서로 통신할 수 있다.
도 6d에 도시된 코어 네트워크(107)는 이동성 관리 게이트웨이(MME)(162), 서빙 게이트웨이(164) 및 패킷 데이터 네트워크(PDN) 게이트웨이(166)를 포함할 수 있다. 전술한 요소들이 각각 코어 네트워크(107)의 일부로서 도시되어 있지만, 이 요소들 중 임의의 요소는 코어 네트워크 운용자가 아닌 다른 엔티티에 의해 소유 및/또는 운용될 수 있다는 것을 이해할 것이다.
MME(162)는 S1 인터페이스를 통해 RAN(104) 내의 각각의 e노드-B(160a, 160b, 및/또는 160c)에 접속될 수 있고, 제어 노드로서 기능할 수 있다. 예를 들면, MME(162)는 WTRU(102a, 102b, 및/또는 102c)의 사용자를 인증하고, 베어러를 활성화/비활성화하고, WTRU(102a, 102b, 및/또는 102c)의 초기 부착 중에 특정의 서빙 게이트웨이를 선택하는 등의 임무를 수행할 수 있다. MME(162)는 또한 GSM 또는 WCDMA와 같은 다른 무선 기술을 이용하는 다른 RAN(도시 생략됨)과 RAN(104) 간의 전환을 위한 제어 평면 기능(control plane function)을 또한 제공할 수 있다.
서빙 게이트웨이(164)는 RAN(104) 내의 각각의 e노드-B(160a, 160b, 및/또는 160c)에 S1 인터페이스를 통해 접속될 수 있다. 서빙 게이트웨이(164)는 일반적으로 WTRU(102a, 102b, 및/또는 102c)로/로부터 사용자 데이터 패킷을 라우트 및 회송할 수 있다. 서빙 게이트웨이(164)는 또한 e노드-B 간의 핸드오버 중에 사용자 평면(user plane)을 앵커링(anchoring)하는 것, 다운링크 데이터가 WTRU(102a, 102b, 및/또는 102c)에 이용할 수 있을 때 페이징을 트리거하는 것, WTRU(102a, 102b, 및/또는 102c)의 콘텍스트를 관리 및 저장하는 것 등의 다른 기능을 수행할 수 있다.
서빙 게이트웨이(164)는 PDN 게이트웨이(166)에 또한 접속될 수 있고, PDN 게이트웨이(166)는 WTRU(102a, 102b, 및/또는 102c)와 IP-인에이블 장치 간의 통신이 가능하도록 인터넷(110) 등의 패킷 교환식 네트워크에 대한 액세스를 WTRU(102a, 102b, 및/또는 102c)에게 제공할 수 있다.
코어 네트워크(107)는 다른 네트워크와의 통신을 가능하게 한다. 예를 들면, 코어 네트워크(107)는 WTRU(102a, 102b, 및/또는 102c)와 전통적인 지상선(land-line) 통신 장치 간의 통신이 가능하도록, PSTN(108) 등의 회선 교환식 네트워크에 대한 액세스를 WTRU(102a, 102b, 및/또는 102c)에게 제공할 수 있다. 예를 들면, 코어 네트워크(107)는 코어 네트워크(107)와 PSTN(108) 간의 인터페이스로서 기능하는 IP 게이트웨이(예를 들면, IP 멀티미디어 서브시스템(IMS) 서버)를 포함하거나 그러한 IP 게이트웨이와 통신할 수 있다. 또한, 코어 네트워크(107)는 다른 서비스 공급자에 의해 소유 및/또는 운용되는 다른 유선 또는 무선 네트워크를 포함하는 네트워크(112)에 대한 액세스를 WTRU(102a, 102b, 및/또는 102c)에게 제공할 수 있다.
도 6e는 일 실시형태에 따른 RAN(105) 및 코어 네트워크(109)의 계통도이다. RAN(105)은 IEEE 802.16 무선 기술을 이용하여 무선 인터페이스(117)를 통해 WTRU(102a, 102b, 및/또는 102c)와 통신하는 액세스 서비스 네트워크(ASN)일 수 있다. 뒤에서 더 자세히 설명하는 것처럼, WTRU(102a, 102b, 및/또는 102c)의 다른 기능 엔티티, RAN(105) 및 코어 네트워크(109) 간의 통신 링크는 기준점으로서 정의될 수 있다.
도 6e에 도시된 것처럼, RAN(105)이 기지국(180a, 180b, 및/또는 180c)과 ASN 게이트웨이(182)를 포함하고 있지만, RAN(105)은 실시형태의 일관성을 유지하면서 임의 수의 기지국 및 ASN 게이트웨이를 포함할 수 있다는 것을 이해할 것이다. 기지국(180a, 180b, 및/또는 180c)은 RAN(105) 내의 특정 셀(도시 생략됨)과 각각 연합될 수 있고, 무선 인터페이스(117)를 통하여 WTRU(102a, 102b, 및/또는 102c)와 통신하는 하나 이상의 송수신기를 각각 포함할 수 있다. 일 실시형태에 있어서, 기지국(180a, 180b, 및/또는 180c)은 MIMO 기술을 구현할 수 있다. 따라서, 예를 들면 기지국(180a)은 복수의 안테나를 사용하여 WTRU(102a)에게 무선 신호를 송신하고 WTRU(102a)로부터 무선 신호를 수신할 수 있다. 기지국(180a, 180b, 및/또는 180c)은 핸드오프 트리거링, 터널 확립, 무선 자원 관리, 트래픽 분류, 서비스 품질(QoS) 정책 강화 등과 같은 이동성 관리 기능을 또한 제공할 수 있다. ASN 게이트웨이(182)는 트래픽 집성점으로서 기능할 수 있고, 페이징, 가입자 프로필의 캐싱, 코어 네트워크(109)로의 라우팅 등의 임무를 수행할 수 있다.
WTRU(102a, 102b, 및/또는 102c)와 RAN(105) 간의 무선 인터페이스(117)는 IEEE 802.16 명세서를 구현하는 R1 기준점으로서 규정될 수 있다. 또한, 각각의 WTRU(102a, 102b, 및/또는 102c)는 코어 네트워크(109)와 논리 인터페이스(도시 생략됨)를 확립할 수 있다. WTRU(102a, 102b, 및/또는 102c)와 코어 네트워크(109) 간의 논리 인터페이스는 R2 기준점으로서 규정될 수 있고, 이것은 인증(authentication), 권한부여(authorization), IP 호스트 구성 관리, 및/또는 이동성 관리를 위해 사용될 수 있다.
각각의 기지국(180a, 180b, 및/또는 180c)들 간의 통신 링크는 WTRU 핸드오버 및 기지국들 간의 데이터 전송을 가능하게 하는 프로토콜을 포함한 R8 기준점으로서 규정될 수 있다. 기지국(180a, 180b, 및/또는 180c)과 ASN 게이트웨이(182) 간의 통신 링크는 R6 기준점으로서 규정될 수 있다. R6 기준점은 각각의 WTRU(102a, 102b, 및/또는 102c)와 연합된 이동성 이벤트에 기초하여 이동성 관리를 가능하게 하는 프로토콜을 포함할 수 있다.
도 6e에 도시된 것처럼, RAN(105)은 코어 네트워크(109)에 접속될 수 있다. RAN(105)과 코어 네트워크(109) 간의 통신 링크는 예를 들면 데이터 전송 및 이동성 관리 능력을 가능하게 하는 프로토콜을 포함한 R3 기준점으로서 규정될 수 있다. 코어 네트워크(109)는 모바일 IP 홈 에이전트(MIP-HA)(184), 인증, 권한부여, 계정(AAA) 서버(186), 및 게이트웨이(188)를 포함할 수 있다. 비록 전술한 요소들이 각각 코어 네트워크(109)의 일부로서 도시되어 있지만, 이 요소들 중 임의의 요소는 코어 네트워크 운용자자가 아닌 다른 엔티티에 의해 소유 및/또는 운용될 수 있다는 것을 이해할 것이다.
MIP-HA(184)는 IP 어드레스 관리의 임무를 가질 수 있고, WTRU(102a, 102b, 및/또는 102c)가 다른 ASN 및/또는 다른 코어 네트워크들 사이에서 로밍하게 할 수 있다. MIP-HA(184)는 인터넷(110)과 같은 패킷 교환식 네트워크에 대한 액세스를 WTRU(102a, 102b, 및/또는 102c)에게 제공하여 WTRU(102a, 102b, 및/또는 102c)와 IP-인에이블 장치 간의 통신을 가능하게 한다. AAA 서버(186)는 사용자 인증 및 사용자 서비스 지원의 임무를 가질 수 있다. 게이트웨이(188)는 다른 네트워크들과의 상호연동을 가능하게 한다. 예를 들면, 게이트웨이(188)는 PSTN(108)과 같은 회선 교환식 네트워크에 대한 액세스를 WTRU(102a, 102b, 및/또는 102c)에게 제공하여 WTRU(102a, 102b, 및/또는 102c)와 전통적인 지상선 통신 장치 간의 통신을 가능하게 한다. 또한, 게이트웨이(188)는 다른 서비스 공급자에 의해 소유 및/또는 운용되는 다른 유선 또는 무선 네트워크를 포함한 네트워크(112)에 대한 액세스를 WTRU(102a, 102b, 및/또는 102c)에게 제공할 수 있다.
비록 도 6e에는 도시되지 않았지만, RAN(105)은 다른 ASN에 접속될 수 있고 코어 네트워크(109)는 다른 코어 네트워크에 접속될 수 있다는 것을 이해할 것이다. RAN(105)과 다른 ASN 간의 통신 링크는 R4 기준점으로서 규정될 수 있고, R4 기준점은 RAN(105)과 다른 ASN 사이에서 WTRU(102a, 102b, 및/또는 102c)의 이동성을 조정하는 프로토콜을 포함할 수 있다. 코어 네트워크(109)와 다른 코어 네트워크 간의 통신 링크는 R5 기준점으로서 규정될 수 있고, R5 기준점은 홈 코어 네트워크와 방문 코어 네트워크 간의 상호연동을 가능하게 하는 프로토콜을 포함할 수 있다.
지금까지 각종 특징 및 요소들을 특수한 조합으로 설명하였지만, 이 기술에 통상의 지식을 가진 사람이라면 각종 특징 및 요소가 단독으로 또는 다른 특징 및 요소들과 함께 임의 조합으로 사용될 수 있다는 것을 인식할 것이다. 또한, 여기에서 설명한 방법들은 컴퓨터 및/또는 프로세서에 의해 실행되는 컴퓨터 판독가능 매체에 통합된 컴퓨터 프로그램, 소프트웨어 및/또는 펌웨어로 구현될 수 있다. 컴퓨터 판독가능 매체의 예로는 전자 신호(유선 또는 무선 접속을 통해 전송된 것) 및 컴퓨터 판독가능 기억 매체가 있다. 컴퓨터 판독가능 기억 매체의 비제한적인 예로는 읽기 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 레지스터, 캐시 메모리, 반도체 메모리 소자, 내부 하드 디스크 및 착탈식 디스크와 같은 자기 매체, 자기 광학 매체, 및 CD-ROM 디스크 및/또는 디지털 다기능 디스크(DVD)와 같은 광학 매체가 있다. 프로세서는 소프트웨어와 연합해서 WTRU, UE, 단말기, 기지국, RNC 또는 임의의 호스트 컴퓨터에서 사용되는 무선 주파수 송수신기를 구현하기 위해 사용될 수 있다.

Claims (12)

  1. 비디오 인코딩 방법에 있어서,
    활성 참조 계층(layer)의 수를 직접 참조 계층의 수와 비교하는 단계; 및
    상기 활성 참조 계층의 표시를 슬라이스 레벨 헤더에 포함해야 하는지를, 상기 활성 참조 계층의 수와 직접 참조 계층의 수의 비교에 기초하여 결정하는 단계
    를 포함하는, 비디오 인코딩 방법.
  2. 제1항에 있어서,
    상기 활성 참조 계층의 수가 상기 직접 참조 계층의 수와 동일하지 않은 경우에, 계층간 예측을 위해 사용되는 화상의 표시를 포함하는 단계를 더 포함하는, 비디오 인코딩 방법.
  3. 제1항에 있어서,
    상기 활성 참조 계층의 수가 상기 직접 참조 계층의 수와 동일한 경우에, 계층간 예측을 위해 사용되는 화상의 표시를 포함하지 않는 단계를 더 포함하는, 비디오 인코딩 방법.
  4. 제1항에 있어서,
    상기 표시는 화상의 계층 ID인 것인, 비디오 인코딩 방법.
  5. 비디오 디코딩 방법에 있어서,
    하나 이상의 계층을 포함한 비트스트림을 수신하는 단계; 및
    수신된 비트스트림 내 활성 참조 계층의 수가 직접 참조 계층의 수와 동일하지 않은 경우에, 계층간 예측 계층 구문(syntax) 요소를 수신하는 단계
    를 포함하며,
    상기 계층간 예측 계층 구문 요소는, 계층간 예측을 위해 현재 계층의 현재 화상에 의해 사용될 수 있는 참조 화상 계층 ID의 리스트를 표시하는 것인, 비디오 디코딩 방법.
  6. 제5항에 있어서,
    상기 활성 참조 계층의 수가 상기 직접 참조 계층의 수와 동일한 경우에 상기 계층간 예측 계층 구문 요소를 도출하는 단계를 더 포함하며,
    상기 계층간 예측 계층 구문 요소는 상기 현재 계층의 직접 참조 계층의 계층 ID로부터 추론되는 것인, 비디오 디코딩 방법.
  7. 비디오 인코딩 장치에 있어서,
    프로세서로서,
    활성 참조 계층의 수를 직접 참조 계층의 수와 비교하고;
    상기 활성 참조 계층의 표시를 슬라이스 레벨 헤더에 포함해야 하는지를, 상기 활성 참조 계층의 수와 직접 참조 계층의 수의 비교에 기초하여 결정하도록 구성되는 프로세서를 포함하는, 비디오 인코딩 장치.
  8. 제7항에 있어서, 상기 프로세서는 또한,
    상기 활성 참조 계층의 수가 상기 직접 참조 계층의 수와 동일하지 않은 경우에, 계층간 예측을 위해 사용되는 화상의 표시를 포함하도록 구성되는 것인, 비디오 인코딩 장치.
  9. 제7항에 있어서, 상기 프로세서는 또한,
    상기 활성 참조 계층의 수가 상기 직접 참조 계층의 수와 동일한 경우에, 계층간 예측을 위해 사용되는 화상의 표시를 포함하지 않도록 구성되는 것인, 비디오 인코딩 장치.
  10. 제7항에 있어서,
    상기 표시는 화상의 계층 ID인 것인, 비디오 인코딩 장치.
  11. 비디오 디코딩 장치에 있어서,
    프로세서로서,
    하나 이상의 계층을 포함한 비트스트림을 수신하고;
    수신된 비트스트림 내 활성 참조 계층의 수가 직접 참조 계층의 수와 동일하지 않은 경우에, 계층간 예측 계층 구문 요소를 수신하도록 구성되는 프로세서를 포함하며,
    상기 계층간 예측 계층 구문 요소는, 계층간 예측을 위해 현재 계층의 현재 화상에 의해 사용될 수 있는 참조 화상 계층 ID의 리스트를 표시하는 것인, 비디오 디코딩 장치.
  12. 제11항에 있어서, 상기 프로세서는 또한,
    상기 활성 참조 계층의 수가 상기 직접 참조 계층의 수와 동일한 경우에 상기 계층간 예측 계층 구문 요소를 도출하도록 구성되고,
    상기 계층간 예측 계층 구문 요소는 상기 현재 계층의 직접 참조 계층의 계층 ID로부터 추론되는 것인, 비디오 디코딩 장치.

KR1020177030341A 2013-06-18 2014-06-18 Ｈｅｖｃ 확장을 위한 인터 레이어 파라미터 집합 KR102115075B1 (ko)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201361836552P 2013-06-18 2013-06-18
US61/836,552 2013-06-18
US201361837116P 2013-06-19 2013-06-19
US61/837,116 2013-06-19
US201361840380P 2013-06-27 2013-06-27
US61/840,380 2013-06-27
US201361860221P 2013-07-30 2013-07-30
US61/860,221 2013-07-30
PCT/US2014/042923 WO2014205067A1 (en) 2013-06-18 2014-06-18 Inter-layer parameter set for hevc extensions

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020167000935A Division KR20160021222A (ko) 2013-06-18 2014-06-18 Ｈｅｖｃ 확장을 위한 계층간 파라미터 집합

Publications (2)

Publication Number Publication Date
KR20170121317A true KR20170121317A (ko) 2017-11-01
KR102115075B1 KR102115075B1 (ko) 2020-05-25

Family

ID=51136856

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177030341A KR102115075B1 (ko) 2013-06-18 2014-06-18 Ｈｅｖｃ 확장을 위한 인터 레이어 파라미터 집합
KR1020167000935A KR20160021222A (ko) 2013-06-18 2014-06-18 Ｈｅｖｃ 확장을 위한 계층간 파라미터 집합

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020167000935A KR20160021222A (ko) 2013-06-18 2014-06-18 Ｈｅｖｃ 확장을 위한 계층간 파라미터 집합

Country Status (9)

Country Link
US (1) US10104374B2 (ko)
EP (2) EP3011747A1 (ko)
JP (2) JP2016523483A (ko)
KR (2) KR102115075B1 (ko)
CN (1) CN105393542B (ko)
IL (1) IL243101B (ko)
MY (1) MY174134A (ko)
TW (1) TWI667911B (ko)
WO (1) WO2014205067A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021201598A1 (ko) * 2020-03-31 2021-10-07 엘지전자 주식회사 레이어간 참조 여부에 기반하여 서브 레이어를 결정하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140087971A (ko) 2012-12-26 2014-07-09 한국전자통신연구원 계층적 비디오 부호화에서 다중참조계층을 적용한 화면간 부／복호화 방법 및 그 장치
US9756335B2 (en) 2013-07-02 2017-09-05 Qualcomm Incorporated Optimizations on inter-layer prediction signalling for multi-layer video coding
WO2015006281A2 (en) * 2013-07-09 2015-01-15 Sony Corporation High level syntax improvement on inter-layer prediction for shvc/mv-hevc
US9510001B2 (en) * 2013-07-09 2016-11-29 Electronics And Telecommunications Research Institute Video decoding method and apparatus using the same
US20160191933A1 (en) * 2013-07-10 2016-06-30 Sharp Kabushiki Kaisha Image decoding device and image coding device
CN104604234B (zh) * 2013-07-12 2019-07-16 索尼公司 图像编码设备和方法
US9681145B2 (en) 2013-10-14 2017-06-13 Qualcomm Incorporated Systems and methods for inter-layer RPS derivation based on sub-layer reference prediction dependency
WO2015054812A1 (en) 2013-10-14 2015-04-23 Microsoft Technology Licensing, Llc Features of base color index map mode for video and image coding and decoding
US9794558B2 (en) 2014-01-08 2017-10-17 Qualcomm Incorporated Support of non-HEVC base layer in HEVC multi-layer extensions
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
CN104093028B (zh) * 2014-06-25 2019-02-01 中兴通讯股份有限公司 一种设备能力协商的方法和装置
KR102330740B1 (ko) 2014-09-30 2021-11-23 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 파면 병렬 프로세싱이 인에이블되는 경우의 인트라 픽쳐 예측 모드에 대한 규칙
US10419779B2 (en) * 2014-10-08 2019-09-17 Lg Electronics Inc. Method and device for processing camera parameter in 3D video coding
US10659783B2 (en) 2015-06-09 2020-05-19 Microsoft Technology Licensing, Llc Robust encoding/decoding of escape-coded pixels in palette mode
US20170359575A1 (en) * 2016-06-09 2017-12-14 Apple Inc. Non-Uniform Digital Image Fidelity and Video Coding
US11259037B2 (en) * 2017-12-06 2022-02-22 V-Nova International Limited Method and apparatus for decoding a received set of encoded data
MX2022008177A (es) * 2019-12-31 2022-10-10 Huawei Tech Co Ltd Un codificador, un decodificador y métodos y aparatos correspondientes.
US11563980B2 (en) * 2020-04-02 2023-01-24 Qualcomm Incorporated General constraint information syntax in video coding

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US78854A (en) * 1868-06-16 William adair
MX2007012604A (es) 2005-04-13 2008-01-11 Nokia Corp Metodo, dispositivo y sistema para codificar y decodificar efectivamente datos de video.
WO2007148909A1 (en) * 2006-06-19 2007-12-27 Lg Electronics, Inc. Method and apparatus for processing a vedeo signal
US8532176B2 (en) * 2006-07-10 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for combining layers in a multi-layer bitstream
US8059714B2 (en) * 2006-07-10 2011-11-15 Sharp Laboratories Of America, Inc. Methods and systems for residual layer scaling
US7535383B2 (en) * 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
US7840078B2 (en) * 2006-07-10 2010-11-23 Sharp Laboratories Of America, Inc. Methods and systems for image processing control based on adjacent block characteristics
TWI368443B (en) * 2006-11-09 2012-07-11 Lg Electronics Inc Method and apparatus for decoding/encoding a video signal
US7742524B2 (en) * 2006-11-17 2010-06-22 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal using inter-layer prediction
US8548056B2 (en) 2007-01-08 2013-10-01 Qualcomm Incorporated Extended inter-layer coding for spatial scability
US8953685B2 (en) 2007-12-10 2015-02-10 Qualcomm Incorporated Resource-adaptive video interpolation or extrapolation with motion level analysis
CN102257818B (zh) * 2008-10-17 2014-10-29 诺基亚公司 3d视频编码中运动向量的共享
EP2425626A2 (en) 2009-05-01 2012-03-07 Thomson Licensing Inter-layer dependency information for 3dv
US8780999B2 (en) * 2009-06-12 2014-07-15 Qualcomm Incorporated Assembling multiview video coding sub-BITSTREAMS in MPEG-2 systems
US8411746B2 (en) * 2009-06-12 2013-04-02 Qualcomm Incorporated Multiview video coding over MPEG-2 systems
CA2829493A1 (en) * 2011-03-10 2012-09-13 Vidyo, Inc. Dependency parameter set for scalable video coding
US10237565B2 (en) * 2011-08-01 2019-03-19 Qualcomm Incorporated Coding parameter sets for various dimensions in video coding
JP6110410B2 (ja) 2012-01-31 2017-04-05 ヴィド スケール インコーポレイテッド スケーラブルな高効率ビデオコーディング（ｈｅｖｃ）のための参照ピクチャセット（ｒｐｓ）シグナリング
KR20140087971A (ko) * 2012-12-26 2014-07-09 한국전자통신연구원 계층적 비디오 부호화에서 다중참조계층을 적용한 화면간 부／복호화 방법 및 그 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Y-K Wang et al: "MV-HEVC/SHVC HLS: On signalling and derivation of inter-layer RPS(combining aspects of JCTVC-M046 and JCTVC-M0269)", JCTVC-M0458, 24 April 2013.* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021201598A1 (ko) * 2020-03-31 2021-10-07 엘지전자 주식회사 레이어간 참조 여부에 기반하여 서브 레이어를 결정하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Also Published As

Publication number Publication date
EP3011747A1 (en) 2016-04-27
JP2016523483A (ja) 2016-08-08
CN105393542B (zh) 2019-04-09
IL243101B (en) 2020-03-31
US10104374B2 (en) 2018-10-16
CN105393542A (zh) 2016-03-09
KR102115075B1 (ko) 2020-05-25
EP3522540A1 (en) 2019-08-07
JP6420429B2 (ja) 2018-11-07
WO2014205067A1 (en) 2014-12-24
US20160134868A1 (en) 2016-05-12
MY174134A (en) 2020-03-10
KR20160021222A (ko) 2016-02-24
TWI667911B (zh) 2019-08-01
JP2017212752A (ja) 2017-11-30
TW201526612A (zh) 2015-07-01

Similar Documents

Publication Publication Date Title
JP6420429B2 (ja) Ｈｅｖｃ拡張のためのレイヤ間パラメータセット
US20220400254A1 (en) Reference picture set (rps) signaling for scalable high efficiency video coding (hevc)
JP6515159B2 (ja) Ｈｅｖｃ拡張のための高レベル構文
JP6401161B2 (ja) マルチレイヤビデオコーディングにおける空間レイヤのためのサンプリンググリッド情報
JP6139701B2 (ja) スケーラブルビデオ符号化のための動き情報シグナリング
US10616597B2 (en) Reference picture set mapping for standard scalable video coding
TW201419867A (zh) 可調視訊編碼層相依及優先傳訊設計
WO2014028838A1 (en) Slice based skip mode signaling for multiple layer video coding
US20220377344A1 (en) Systems and methods for versatile video coding

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant