KR101959645B1 - 다중-레이어 비디오 코딩에서 공간적 레이어들에 대한 샘플링 그리드 정보 - Google Patents

다중-레이어 비디오 코딩에서 공간적 레이어들에 대한 샘플링 그리드 정보 Download PDF

Info

Publication number
KR101959645B1
KR101959645B1 KR1020177008123A KR20177008123A KR101959645B1 KR 101959645 B1 KR101959645 B1 KR 101959645B1 KR 1020177008123 A KR1020177008123 A KR 1020177008123A KR 20177008123 A KR20177008123 A KR 20177008123A KR 101959645 B1 KR101959645 B1 KR 101959645B1
Authority
KR
South Korea
Prior art keywords
phase shift
chroma
sampling grid
luma
sampling
Prior art date
Application number
KR1020177008123A
Other languages
English (en)
Other versions
KR20170038089A (ko
Inventor
얀 예
유웬 헤
지에 동
Original Assignee
브이아이디 스케일, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 브이아이디 스케일, 인크. filed Critical 브이아이디 스케일, 인크.
Publication of KR20170038089A publication Critical patent/KR20170038089A/ko
Application granted granted Critical
Publication of KR101959645B1 publication Critical patent/KR101959645B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

샘플링 그리드 정보는 다중-레이어 비디오 코딩 시스템들을 위해 결정될 수 있다. 샘플링 그리드 정보는 코딩 시스템의 비디오 레이어들을 정렬하는데 이용될 수 있다. 샘플링 그리드 정정은 샘플링 그리드 정보에 기초하여 수행될 수 있다. 샘플링 그리드들은 또한 검출될 수 있다. 몇몇 실시예들에서, 샘플링 그리드 정밀도는 또한 검출되고 및/또는 시그널링될 수 있다.

Description

다중-레이어 비디오 코딩에서 공간적 레이어들에 대한 샘플링 그리드 정보{SAMPLING GRID INFORMATION FOR SPATIAL LAYERS IN MULTI-LAYER VIDEO CODING}
관련 출원들에 대한 상호참조
본 출원은 2012년 8월 6일 출원되고 발명이 명칭이 "Signaling Of Sampling Grid Information Among Spatial Layers In Multi-Layer Video"인 미국 가특허 출원 번호 제61/680,244호 및 2013년 4월 5일 출원되고 발명의 명칭이 "Signaling Of Sampling Grid Information Among Spatial Layers In Multi-Layer Video Coding"인 미국 가특허 출원 번호 제61/809,102호를 우선권으로 주장하며, 상기 양자의 가특허의 개시물들은 그에 의해, 모든 목적들을 위해 그 각자의 전체가 본원에 인용에 의해 포함된다.
비디오 애플리케이션들이 스마트폰들 및 다른 WTRU들 상에서 구현됨에 따라, 비디오 소비는 (예를 들어, 컴퓨팅 전력, 메모리/저장 크기, 디스플레이 해상도, 디스플레이 프레임 레이트 등의 견지에서) 폭넓게 변하는 능력들을 갖는 디바이스들 상에 맞춰질 수 있다. 네트워크 및/또는 전송 채널들은 또한 (예를 들어, 패킷 손실 레이트, 이용 가능한 채널 대역폭, 버스트 에러 레이트 등의 견지에서) 폭넓게 변하는 특성들을 가질 수 있다. 또한, 비디오 데이터는 유선 네트워크들 및/또는 무선 네트워크들을 통해 전송될 수 있다. 이들 디바이스들 및/또는 네트워크 엔티티들의 다양한 구성들은 비디오 데이터의 전송 및/또는 코딩을 복잡하게 할 수 있다.
다중-레이어 비디오 코딩 시스템(multi-layer video coding system)에서 샘플링 그리드 정보(sampling grid information)를 시그널링하기 위한 시스템들, 방법들 및 장치들이 본 명세서에서 설명된다. 예를 들어, 제 1 비디오 레이어와 제 2 비디오 레이어 간의 샘플링 그리드 정렬의 정도(또는 양)를 적어도 표시할 수 있는 샘플링 그리드 정보가 수신될 수 있다. 제 1 비디오 레이어와 연관되는 샘플링 그리드는 제 2 비디오 레이어와 연관되는 샘플링 그리드와 정렬하기 위해 수신된 샘플링 그리드 정보에 따라 오프셋될 수 있다.
하나 이상의 실시예들에서, 샘플링 그리드 정정은 샘플링 그리드 정보에 기초하여 수행될 수 있다.
하나 이상의 실시예들에서, 샘플링 그리드들이 검출될 수 있다.
실시예들은 다중-레이어 비디오 코딩을 위한 샘플링 그리드 정정을 위한 하나 이상의 기법들을 고려한다. 기법들은 제 1 비디오 레이어와 제 2 비디오 레이어 간의 샘플링 그리드 정렬을 표시할 수 있는 샘플링 그리드 정보를 수신하는 것을 포함할 수 있다. 기법들은 또한 제 1 비디오 레이어와 연관되는 샘플링 그리드를 제 2 비디오 레이어와 연관되는 샘플링 그리드와 정렬하는 것을 포함할 수 있다. 정렬은 수신된 샘플링 그리드 정보에 기초할 수 있다.
실시예들은 다중-레이어 비디오 코딩에 대한 샘플링 그리드 정보를 전달하기 위한 하나 이상의 기법들을 고려한다. 기법들은 제 1 데이터(예를 들어, 데이터 세트 또는 데이터)를 수신하는 것을 포함할 수 있다. 기법들은 또한 제 1 데이터가 샘플링 그리드 정보를 포함하는지를 결정하는 것을 포함할 수 있다. 기법들은 또한 제 1 데이터가 샘플링 그리드 정보를 포함하는 것으로 결정되면 샘플링 그리드 정보의 정밀도를 결정하는 것을 포함할 수 있다.
실시예들은 다중-레이어 비디오 코딩에서 하나 이상의 레이어들에 대한 상대적 샘플링 그리드의 검출을 위한 하나 이상의 기법들을 고려한다. 기법들은 강화 레이어 공간적 해상도에 매칭하도록 베이스 레이어를 업샘플링하는 것을 포함할 수 있다. 기법들은 또한 업샘플링된 베이스 레이어 및 강화 레이어에 적응형 필터 트레이닝을 적용하는 것을 포함할 수 있다. 기법들은 또한 적응형 필터 트레이닝으로부터의 하나 이상의 적응형 필터 계수들에 기초하여 상대적 샘플링 그리드의 위치를 결정하는 것을 또한 포함할 수 있다.
도 1은 실시예들에 부합하는, N개의 레이어들을 갖는 예시적인 블록-기반 하이브리드 스케일러블 비디오 인코딩 시스템의 블록도를 예시한다.
도 2는 실시예들에 부합하는, H.264/MVC를 이용한 입체적(2-뷰) 비디오 코딩을 위한 시간적 및 인터-레이어 예측의 예의 도면을 도시한다.
도 3은 실시예들에 부합하는, 예시적인 공간적 스케일러블 다중-레이어(예를 들어, 2 레이어) 인코딩 시스템의 블록도를 도시한다.
도 4는 실시예들에 부합하는, 예시적인 공간적 스케일러블 다중-레이어(예를 들어, 2 레이어) 디코더의 블록도를 도시한다.
도 5a(예를 들어, 0 위상 시프트) 및 5b(예를 들어, 비-제로 위상 시프트)는 실시예들에 부합하는, 다운-샘플링 비(예를 들어, 2x, 각각의 차원)에 대한 BL 비디오 및 EL 비디오 간의 샘플링 그리드의 예들을 도시한다.
도 6a(예를 들어, 0 위상 시프트) 및 6b(예를 들어, 비-제로 위상 시프트)는 실시예들에 부합하는, 다운-샘플링 공간 비(예를 들어, 1.5x, 각각의 차원)에 대한 BL 비디오 및 EL 비디오의 샘플링 그리드의 다른 예들을 도시한다.
도 7은 실시예들에 부합하는, 다운-샘플링 및 업-샘플링(예를 들어, 2x 공간 비, 비-제로 위상 시프트 다운-샘플링 및 0 위상 시프트 업-샘플링) 이후에 업-샘플링된 BL 비디오와 EL 비디오 간의 오정렬된(또는 미스매치된) 샘플링 그리드의 예를 도시한다.
도 8은 실시예들에 부합하는, 샘플링 그리드 정보(예를 들어, 비디오 파라미터 세트(들)(VPS) 및/또는 시퀀스 파라미터 세트(들)(SPS))의 시그널링에 대한 예시적인 흐름도를 도시한다.
도 9는 실시예들에 부합하는, 샘플링 그리드 정보의 시그널링에 대한 예를 도시한다.
도 10은 실시예들에 부합하는, 공간적 레이어들(예를 들어, 2 공간적 레이어들) 간의 샘플링 그리드(예를 들어, 상대적 샘플링)의 예시적인 검출에 대한 블록도를 도시한다.
도 11은 실시예들에 부합하는, 2-탭 적응형 필터(예를 들어, X 차원)를 이용한 예시적인 상대적 샘플링 그리드 검출을 예시하는 블록도를 도시한다.
도 12는 실시예들에 부합하는, 샘플링 그리드 정보 시그널링, 샘플링 그리드 정정 및 샘플링 그리드 검출을 포함하는 예시적인 다중-레이어(예를 들어, 2 레이어) 공간적 스케일러블 인코딩 시스템의 블록도를 도시한다.
도 13a는 하나 이상의 개시된 실시예들이 구현될 수 있는 예시적인 통신 시스템의 시스템도이다.
도 13b는 도 13a에서 예시된 통신 시스템 내에서 이용될 수 있는 예시적인 무선 송수신 유닛(WTRU)의 시스템도이다.
도 13c는 도 13a에서 예시된 통신 시스템 내에서 이용될 수 있는 예시적인 라디오 액세스 네트워크 및 예시적인 코어 네트워크의 시스템도이다.
도 13d는 도 13a에서 예시된 통신 시스템 내에서 이용될 수 있는 다른 예시적인 라디오 액세스 네트워크 및 예시적인 코어 네트워크의 시스템도이다.
도 13e는 도 13a에서 예시된 통신 시스템 내에서 이용될 수 있는 다른 예시적인 라디오 액세스 네트워크 및 예시적인 코어 네트워크의 시스템도이다.
예시적인 실시예들의 상세한 설명이 다양한 도면들을 참조하여 이제 설명될 것이다. 이 설명이 가능한 구현들의 상세한 예를 제공하지만, 세부사항들은 예시적이며, 어떠한 방식으로도 본 출원의 범위를 제한하지 않는다는 것이 주의되어야 한다. 본 명세서에서 이용된 바와 같이, 추가의 단서나 특징화가 없는 단수표현은 예를 들어, "하나 이상" 또는 "적어도 하나"를 의미하는 것으로 이해될 수 있다.
다양한 디지털 비디오 압축 기술들은 효율적인 디지털 비디오 통신, 분배 및/또는 소비를 가능하게 하기 위해 이용될 수 있다. 이러한 디지털 비디오를 위해 상업적으로 전개된 표준들의 예들은 H.26, MPEG-1, MPEG-2, H.263, MPEG-4 파트 2, H.264/MPEG-4 파트 10 AVC, 및/또는 (예를 들어, ITU-T 비디오 코딩 익스퍼츠 그룹(Video Coding Experts Group; VCEG) 및 ISO/IEC 동영상 익스퍼츠 그룹(Moving Picture Experts Group; MPEG)에 의해 공동으로 개발될 수 있는) 고효율 비디오 코딩(High Efficiency Video Coding; HEVC)과 같이 ISO/IEC 및 ITU-T에 의해 개발될 수 있다. HEVC는 동일하거나 유사한 비디오 품질로 더 뛰어난 압축(예를 들어, H.264/AVC보다 2배 만큼 많은 압축) 및/또는 더 적은 비트 레이트(예를 들어, 절반의 비트 레이트)를 달성하는데 이용될 수 있다.
디지털 비디오 서비스들은 (예를 들어, 스마트폰들, 태블릿들 및/또는 다른 WTRU들과 같은 모바일 디바이스들 상에서) 위성, 케이블, 지상 방송 채널들, 인터넷을 통한 TV 서비스들 및/또는 예를 들어, 비디오 채팅, 모바일 비디오 레코딩 및 공유 및/또는 비디오 스트리밍과 같은 다른 비디오 애플리케이션들을 통해 구현될 수 있다. 이들 비디오 전송들은 이종의 환경에서 수행될 수 있다. 3-스크린 또는 N-스크린과 같은 다양한 타입들의 비디오 전송 시나리오들에서, 다양한 소비자 디바이스들(예를 들어, PC들, 스마트폰들, 태블릿들, TV들 등)은 (예를 들어, 컴퓨팅 전력, 메모리/저장소 크기, 디스플레이 해상도, 디스플레이 프레임 레이트 등의 견지에서) 폭넓게 변하는 능력들을 갖는 비디오 소비에 맞춰질 수 있다. 네트워크 및/또는 전송 채널들은 (예를 들어, 패킷 손실 레이트, 이용 가능한 채널 대역폭, 버스트 에러 레이트 등의 견지에서) 폭넓게 변하는 특성들을 가질 수 있다. 비디오 데이터는 유선 네트워크들 및/또는 무선 네트워크들의 결합을 통해 전송될 수 있으며, 이는 근본적인 전송 채널 특성을 복잡하게 할 수 있다. 이러한 시나리오들에서, 다른 것들 중에서도, 스케일러블 비디오 코딩(scalable video coding; SVC)의 전제는, 이종의 네트워크들을 통해 상이한 능력들을 갖는 디바이스들 상에서 실행중인 비디오 애플리케이션에 대한 경험의 품질(quality of experience)을 개선하는데 이용될 수 있다.
SVC는 최고 표현(highest representation)(예를 들어, 시간적 해상도, 공간적 해상도, 품질 등)에서 신호를 인코딩하는데 (예를 들어, 몇몇 실시예들에서, 아마도 한번) 이용될 수 있다. SVC는 클라이언트 디바이스 상에서 실행중인 애플리케이션들에 의해 구현되는 레이트(rate) 및/또는 표현에 의존하는 비디오 스트림들의 서브세트들로부터 디코딩을 가능하게 한다. SVC는 비-스케일러블 해결책들에 비해 대역폭 및/또는 저장소를 절감할 수 있다. 국제 비디오 표준들(MPEG-2 비디오, H.263, MPEG4 비주얼 및 H.264)은 스케일러빌리티(scalability)의 적어도 일부의 모드들을 지원할 수 있는 툴들 및/또는 프로파일들을 가질 수 있다.
도 1은 예시적인 블록-기반 하이브리드 스케일러블 비디오 인코딩 시스템의 블록도를 도시한다. 도 1에서 예시된 바와 같이, 스케일러블 비디오 인코딩 시스템은 다수의 레이어들(예를 들어, 1-N 레이어들)을 포함할 수 있다. 레이어 1(예를 들어, 베이스 레이어)에 의해 표현되는 공간/시간적 신호 해상도(spatial/temporal signal resolution)는 입력 비디오 신호의 다운-샘플링에 의해 생성될 수 있다. 후속 인코딩 스테이지에서, 양자화기(Q1)의 적절한 세팅은 베이스 정보의 품질 레벨을 야기할 수 있다. 후속의 더 높은 레이어들을 인코딩(예를 들어, 효율적으로 인코딩)하기 위해, 베이스-레이어 재구성(Y1)(더 높은 레이어 해상도 레벨들의 근사화)은 후속 레이어들의 인코딩/디코딩에서 활용될 수 있다. 베이스 레이어 재구성(Y1)은 예를 들어, 업-샘플링 유닛에 의해 레벨-2의 해상도로 업샘플링될 수 있다. 다운-샘플링 및/또는 업-샘플링은 다양한 레이어들(예를 들어, 레이어 1, 2,... N)에 걸쳐서 수행될 수 있다. 다운-샘플링 및/또는 업-샘플링 비들은, 아마도, 몇몇 실시예들에서, 다른 팩터들 중에서도, 2개의 주어진 레이어들(예를 들어, n1 및 n2) 간의 상대적 차원들에 의존하여 상이할 수 있다. 2개의 레이어들에 의해 표현되는 비디오 신호들은 동일하거나 유사한 공간적 해상도를 가질 수 있다. 몇몇 실시예들에서, 대응하는 다운-샘플링 및/또는 업-샘플링 동작들은 우회(by-pass)될 수 있다.
도 1에서 도시된 예시적인 스케일러블 시스템에서, 임의의 주어진 더 높은 레이어(n)(예를 들어, 2≤n≤N)에 대해, 차동 신호가 현재 레이어(n) 신호로부터 업-샘플링된 더 낮은 레이어 신호(예를 들어, 레이어(n-1) 신호)를 차감함으로써 생성될 수 있고, 이렇게 획득된 차이 신호가 인코딩될 수 있다. 몇몇 실시예들에서, 도 1에서 구현된 바와 같은 차이 신호의 코딩은 동시에, 양호한 코딩 효율을 달성하고 및/또는 잠재적인 시각적 아티팩트들(visual artifacts)을 방지하는 것을 어렵게 할 수 있다. 차이 신호의 동적 범위를 정규화(normalize)하기 위해, 비-선형 양자화 및/또는 공동 양자화 및 정규화가 이용될 수 있다. 몇몇 실시예들에서, 이들 프로세스들은 방지하기 어려울 수 있는 시각적 아티팩트들을 야기할 수 있다. 몇몇 실시예들에서, (예를 들어, H.264 표준의 다중-뷰 코딩(Multi-View Coding; MVC) 및/또는 스케일러블 비디오 코딩(Scalable Video Coding; SVC)과 같은 비디오 코딩 표준들에서 구현될 수 있는 바와 같은) 스케일러블 비디오 코딩은 인터-레이어 예측에 기초한 오차(residual)를 이용하지 않을 수 있다. 대신, 몇몇 실시예들에서, 다른 레이어들의 디코딩된 화상들에 직접 기초한 인터-레이어 예측이 이용될 수 있다.
도 2는 좌측 뷰(레이어 1) 및 우측 뷰(레이어 2)를 이용한 입체적(2-뷰) 비디오 코딩에 대한 시간적 및 인터-레이어 예측의 예를 도시한다. 도 2에서 예시된 바와 같이, 예시적인 구조는 좌측 뷰(레이어 1) 및 우측 뷰(레이어 2)로 입체적 비디오를 코딩하기 위해 MVC를 이용할 수 있다. 좌측 뷰 비디오는 IBBP 예측 구조를 갖도록 코딩될 수 있는 반면에, 우측 뷰 비디오는 PBBB 예측 구조를 갖도록 코딩될 수 있다. 우측 뷰(레이어 2)에서, 좌측 뷰(레이어 1)에서의 최초의 I 화상과 함께 위치되는 제 1 화상은 아마도, 예를 들어, 레이어 1의 I 화상으로부터의 예측에 기초하여 P 화상으로서 코딩될 수 있다. 우측 뷰에서 다른 화상들은 B 화상들로서 코딩될 수 있으며, 예를 들어, 제 1 예측은 동일 레이어(예를 들어, 우측 뷰)의 시간적 참조들로부터 이루어지고, 및/또는 제 2 예측은 레이어 1(예를 들어, 좌측 뷰)에서 인터-레이어 참조 화상들로부터 이루어진다.
도 2가 뷰 스케일러빌리티(view scalability)의 예를 도시하지만, 스케일러블 시스템은 다른 타입들의 스케일러빌리티들을 지원할 수 있다. 표 1은 이들을 지원할 수 있는 몇 개의 타입들의 스케일러빌리티들 및 예시적인 표준들을 예시한다. (예를 들어, 2개의 레이어들의 공간적 해상도들이 상이할 수 있는) 공간적 스케일러빌리티에 대한 하나 이상의 실시예들이 여기서 설명된다. 공간적 스케일러빌리티를 포함할 수 있는 스케일러블 시스템의 코딩 효율을 위한 하나 이상의 실시예들이 또한 여기서 설명된다.
표 1: 상이한 타입들의 스케일러빌리티들의 예들
Figure 112017029272598-pat00001
* 스케일러블 HEVC 표준화의 제 1 위상에서 계획되지 않을 수 있음
도 3은 공간적 스케일러빌리티를 지원할 수 있는 예시적인 2-레이어 인코딩 시스템을 도시한다. 도시된 바와 같이, 베이스 레이어(BL) 비디오 입력 및 강화 레이어(EL) 비디오 입력은 다운-샘플링 프로세스와 상관될 수 있다. BL 비디오는 BL 인코더에 의해 인코딩될 수 있다. EL 비디오는 EL 인코더에 의해 인코딩될 수 있다. 예를 들어, BL 참조 화상 버퍼에 저장될 수 있는 재구성된 BL 비디오 신호는 EL 비디오 해상도에 매칭하도록 업-샘플링되고 및/또는 EL 비디오 입력을 효율적으로 인코딩 및/또는 예측하도록 EL 인코더에 의해 이용될 수 있다. 도 3에서 예시된 업-샘플링 프로세스가 화상 레벨(예를 들어, 전체 BL 화상이 업-샘플링될 수 있음)에서, 영역 레벨(예를 들어, BL 화상의 부분들이 업-샘플링될 수 있음)에서, 및/또는 블록 레벨(예를 들어, BL 화상의 몇몇 블록들이 업-샘플링될 수 있음)에서 적용될 수 있다. 인코딩 이후에, BL 비트-스트림 및/또는 EL 비트-스트림의 비디오 패킷들은 스케일러블 비트-스트림을 형성하도록 함께 멀티플렉싱될 수 있다. 도 4는 몇몇 실시예들에서, 도 3의 인코더에 대응할 수 있는 예시적인 공간적 스케일러블 디코더(예를 들어, 2개의 레이어들을 가짐)를 도시한다.
몇몇 실시예들에서, 스케일러블 코딩 시스템은 예를 들어, 아마도, 다른 이유들 중에서도, 인코더와 디코더 간의 비트 정확성을 보장하기 위해 도 3의 인코더 및/또는 도 4의 디코더에 공통적인 업-샘플링 프로세스를 지시할 수 있다. 도 3의 다운-샘플링 프로세스는 사전-프로세싱 단계일 수 있고 및/또는 어떠한 스케일러블 코딩 표준에 의해서도 지시되지 않을 수 있다. 인코더는 자유도(freedom)가 허용되어 다운-샘플링에서 이용될 수 있는 다운-샘플링 필터들을 설계할 때 주파수 특성들 및/또는 상대적 샘플링 그리드를 결정할 수 있다. 본 명세서에서 설명된 바와 같이, 몇몇 실시예들에서, 인코더는, 아마도, 스케일러블 코딩 시스템에 의해 지시될 수 있는 업-샘플링 프로세스와 결합될 때 EL 비디오 신호와 완전히 정렬되는 샘플링 그리드를 생성하지 않을 수 있는 다운-샘플링 프로세스를 적용하도록 선택할 수 있다. 결과적으로, 스케일러블 코딩 성능은 부정적으로 영향을 받을 수 있다. 하나 이상의 실시예들은 EL 비디오의 샘플링 그리드를 복구하기 위해 본 명세서에서 설명된다. 예를 들어, EL 비디오의 샘플링 그리드는 스케일러블 비트-스트림의 부분으로서 샘플링 그리드 정보를 시그널링함으로써 및/또는 아마도, 다른 팩터들 중에서도 샘플링 그리드 정보에 기초하여 공간적 레이어들 간에 샘플링 그리드들을 정렬함으로써 복구될 수 있다.
도 5a, 도 5b, 도 6a 및 도 6b는 2개의 다운-샘플링 비들(2x 및 1.5x)에 대해 BL 비디오(예를 들어, 원) 및 EL 비디오(예를 들어, 텅빈 정사각형) 간의 샘플링 그리드들의 예들을 예시한다. 각각의 공간적 비에 대해, 2개의 예시적인 샘플링 그리드들이 주어지며, 하나는 (도 5a 및 도 6a에서) 0 위상 시프트를 갖고, 다른 하나는 (도 5b 및 도 6b에서) 비-제로 위상 시프트를 갖는다. 업-샘플링 필터는 인코더와 디코더 간의 비트 정확도를 보장할 수 있다. 특정된 업-샘플링 필터는 다운-샘플링 동안 2개의 공간적 레이어들 간의 고정된 샘플링 그리드를 가정할 수 있다. (예를 들어, HEVC 표준의) 스케일러블 확장의 개발은 0 위상 시프트 다운-샘플링 필터들을 이용하여 생성된 테스트 비디오 시퀀스들을 이용할 수 있다. 그 결과, 업-샘플링 필터들(예를 들어, HEVC의 스케일러블 확장에서 특정됨)은 0 위상 시프트 업-샘플링 필터들일 수 있어서, 업-샘플링된 BL 비디오는 EL 비디오와 위상 정렬될 수 있다.
인코더 애플리케이션들은 상이한 다운-샘플링 필터들을 적용하도록 선택할 수 있다. 예를 들어, 이들은 비-제로 위상 시프트들을 갖는 다운-샘플링 필터들을 적용하도록 선택할 수 있다. BL과 EL 비디오 간의 2x 공간적 비, 비-제로 위상 시프트를 갖는 다운-샘플링 필터 및 0 위상 시프트를 갖는 업-샘플링 필터의 예를 이용하여, 도 7은 EL 비디오와 업-샘플링된 BL 비디오 간의 오정렬된 샘플링 그리드의 예를 제공한다. 도 7에서, 원래의 EL 비디오는 텅빈 정사각형들로 도시된다. 아마도, 다른 기법들 중에서도, 비-제로 위상 시프트 다운-샘플링 필터가 적용된 이후, 다운-샘플링된 BL 비디오의 샘플링 그리드가 원들로 도시된다. 아마도, 다른 기법들 중에서도, 0 위상 시프트 업-샘플링 필터가 BL 비디오에 적용된 이후, 업-샘플링된 비디오의 샘플링 그리드가 패터닝된 정사각형들로 도시된다. 몇몇 실시예들에서, 아마도, 샘플링 그리드들에서 이러한 오정렬을 표출하는 업-샘플링된 비디오가 예를 들어, (다른 기법들 중에서도) 도 3 및/또는 도 4에 따라 EL 비디오를 예측하는데 이용될 수 있을 때, 레이트-왜곡 성능의 견지에서 강화 레이어 비디오의 코딩 효율은 부정적으로 영향을 받을 수 있다. 실시예들은 아마도, 단편적인 픽셀 정밀도(fractional pixel precision)를 갖는 모션 추정이 보상을 위해 이용될 수 있지만, 코딩 성능에 관한 영향은 본 명세서에서 설명된 이유들 중 하나 이상으로 인해 완전히 다루어지지 않을 수 있다는 것을 고려된다.
예를 들어, EL 비디오의 몇몇 블록들은 예를 들어, 모션 벡터들이 송신되지 않을 수 있는 H.264/SVC의 베이스 레이어 인트라 스킵 모드(base layer intra skip mode)를 이용하는 것과 같이, 베이스 레이어로부터의 인트라 예측을 이용하여 예측될 수 있다. 비디오 코딩은 예를 들어, 하나 이상의 루마(luma) 컴포넌트들에 대한 1/4 픽셀 모션 벡터 정밀도 및/또는 하나 이상의 크로마(chroma) 컴포넌트들에 대한 대응하는 정밀도까지 지원할 수 있다. 몇몇 실시예들에서, 아마도, 다른 이유들 중에서도, 샘플링 그리드가 더 미세한 단편들에 의해 오정렬(예를 들어, 1/8 픽셀들에 의한 오정렬)될 수 있는 경우, 단편적인 모션 보상이 이용되지 않을 수 있다. 비디오 코딩은, 블록 모션 벡터들이 그들의 이웃하는 블록들로부터 예측될 수 있는 모션 벡터 예측을 지원할 수 있다. 몇몇 실시예들에서, 아마도, 다른 이유들 중에서도, EL 비디오의 블록은 업-샘플링된 BL 비디오로부터 예측될 수 있고 및/또는 오정렬된 샘플링 그리드 문제를 겪을 수 있고 및/또는 그의 이웃들은 시간적 참조로부터 예측될 수 있고 및/또는 오정렬된 샘플링 그리드 문제를 겪지 않을 수 있거나, 또는 그 반대의 경우, 모션 벡터 예측 정확도는 감소될 수 있다.
본 명세서에서 설명되는 하나 이상의 실시예들은 샘플링 그리드 정보를 시그널링하도록 구현될 수 있다. 예를 들어, 샘플링 그리드 오정렬의 양(또는 정도)이 시그널링될 수 있다. 아마도, 예를 들어, 다른 팩터들 중에서도, 시그널링된 샘플링 그리드 정보에 기초하여 정정들이 오정렬된 샘플링 그리드들에 대해 이루어질 수 있다.
인코더는 다운-샘플링 필터를 선택할 수 있다. 스케일러블 시스템의 업-샘플링 필터는 미리 결정되고 및/또는 고정될 수 있다. 다운-샘플링 필터들은 아마도, 다른 이유들 중에서도, 동일 레이어의 화상들이 동일 샘플링 그리드를 공유할 수 있다는 것을 보장하기 위해(예를 들어, 그렇지 않으면, 심지어 시간적 예측 성능이 부정적으로 영향을 받을 수 있음) 고레벨에서, 예를 들어, 시퀀스 레벨 이상에서 선택되고 및/또는 고정될 수 있다. 샘플링 그리드 정보에 관련되는 신택스(syntax) 엘리먼트들은 예를 들어, 비디오 파라미터 세트들(Video Parameter Sets; VPS) 및/또는 시퀀스 파라미터 세트들(Sequence Parameter Sets; SPS)과 같은(그러나 이것으로 제한되지 않음) 시퀀스 레벨에서 송신될 수 있다.
도 8은 샘플링 그리드 정보의 예시적인 시그널링에 대한 흐름도를 도시한다. 도 8에서 예시된 바와 같이, 플래그가 샘플링 그리드 정보가 존재하는지를 표시하기 위해 송신될 수 있다. 몇몇 실시예들에서, 아마도, 다른 이유들 중에서도, 이러한 정보가 존재하지 않을 수 있는 경우, 디폴트 샘플링 그리드가 가정될 수 있다. 예를 들어, 디폴트는 업-샘플링된 베이스 레이어 및/또는 강화 레이어의 샘플링 그리드들이 할당(예를 들어, 2개의 그리드들 간의 0 위상 시프트)될 수 있다는 것을 표시할 수 있다. 몇몇 실시예들에서, 아마도, 다른 이유들 중에서도, 샘플링 그리드 정보가 존재한다는 것을 플래그가 표시할 수 있는 경우, 샘플링 그리드 정보의 정밀도가 시그널링될 수 있으며, 이어서 X 및/또는 Y 차원에 대한 실제 샘플링 그리드 정렬 정보(예를 들어, X 방향(또는 수평 방향과 같은(그러나 이것으로 제한되지 않음) 제 1 방향)의 샘플링 그리드 오프셋 및/또는 Y 방향(또는 수직 방향과 같은(그러나 이것으로 제한되지 않음) 제 2 방향)의 샘플링 그리드 오프셋)가 이어진다. 몇몇 실시예들에서, 기법들은 예를 들어, VPS 및/또는 SPS를 포함할 수 있는 데이터 세트(예를 들어, 데이터의 세트 또는 데이터)에 적용될 수 있다. 도 8의 흐름도에 관하여 설명된 개별 엘리먼트들 중 어느 것도 필수적이거나 본질적이지 않고, 엘리먼트들 중 임의의 것은 임의의 순서로 또는 임의의 결합으로 수행될 수 있다.
도 7의 예에서, 업-샘플링된 베이스 레이어와 강화 레이어 간의 샘플링 그리드 정렬(및/또는 정렬의 양 및/또는 정도)은 예를 들어, (다른 단편적 픽셀 정밀도들을 포함하는 다른 고려되는 정밀도들 중에서) (몇몇 실시예들에서, 강화 레이어(EL) 샘플링 그리드의 견지에서의 측정될 수 있는) 1/4 픽셀 정밀도로 시그널링될 수 있다. 몇몇 실시예들에서, 값(예를 들어, "+2")은 (예를 들어, 상대적 샘플링 그리드들이 우측으로 1/2 픽셀들만큼 및/또는 아래로 1/2 픽셀들 만큼 떨어져 있다는 것을 표시하기 위해) 하나 이상의, 또는 각각의 차원에서의 오프셋에 대해 시그널링될 수 있다. 도 7의 예에서 도시되지 않았지만, 업-샘플링된 BL과 EL 간의 상대적 샘플링 그리드들은 하나 또는 양 방향들(예를 들어, 제 1 방향 및/또는 제 2 방향)에서 떨어져 있을 수 있다. 즉, EL 그리드에 대하여, 업-샘플링된 BL 그리드는 X 차원에서 좌측에 또는 우측에 및/또는 Y 차원에서 위 또는 아래에 있을 수 있다. 몇몇 실시예들에서, 도 8의 X 및 Y 샘플링 그리드 오프셋들은 부호화된 값들(signed values) 및 부호화되지 않은 정수값들 또는, 양자의 부호화된 및 부호화되지 않은 정수 값들의 결합일 수 있다. 업-샘플링된 BL 및 EL 비디오 간의 상대적 샘플링 그리드는 예를 들어, ±1 최대(full) 픽셀 미만 만큼 떨어져 있을 수 있다. 몇몇 실시예들에서, 제 1 차원(예를 들어, X 차원) 및 제 2 차원(예를 들어, Y 차원)의 오프셋 정밀도는 동일하거나 실질적으로 유사할 수 있다. 몇몇 실시예들에서, X 차원 및 Y 차원의 오프셋 정밀도는 상이할 수 있다. 하나 이상의 실시예들에서, X 차원 및/또는 Y 차원의 오프셋 정밀도는 함께 또는 별개로 시그널링될 수 있다.
샘플링 그리드 정보는 (예를 들어, 비디오에서, 또는 디스플레이 상에서) 시그널링될 수 있다. 도 5a, 5b, 6a 및 6b의 예들에서, BL 및 EL 샘플링 그리드들은 예를 들어, 상대적 샘플링 그리드 정보가 어떻게 시그널링되는지를 예시하기 위해 오버레이된다. 정밀도는 BL 샘플링 그리드의 견지에서 측정될 수 있다. 도 9에서 도시된 바와 같이, 2개의 이웃하는 BL 픽셀들의 거리는 16개의 세그먼트들로 (예를 들어, 균등하게) 분할될 수 있다. 하나 이상의, 또는 각각의 세그먼트 예를 들어, 정밀도의 1/16-픽셀 유닛을 표현할 수 있다. 다른 정밀도들이 구현될 수 있다. BL 및 EL 화상들에서 픽셀들의 상대적 위치들이 검토될 수 있고, 그리드 오프셋들의 샘플링이 결정될 수 있다. 검토될 수 있는 상대적 위치들은 BL 및 EL 화상들에서 상위-좌측 픽셀들을 포함할 수 있다. 수평 방향에서의 샘플링 그리드 오프셋이 수학식 1을 이용하여 결정될 수 있다. 수직방향에서의 샘플링 그리드 오프셋은 수학식 2을 이용하여 결정될 수 있다.
[수학식 1]
sampling_grid_offset_hori = position_BL_hori - position_EL_hori
[수학식 2]
sampling_grid_offset_vert = position_BL_vert - position_EL_vert
position_BL_hori 및 position_EL_hori는 각각 BL 및 EL 화상들에서 상위-좌측 픽셀들의 수평 위치들을 포함할 수 있다. position_BL_vert 및 position_EL_vert는 각각 BL 및 EL 화상들에서 상위-좌측 픽셀들의 수직 위치들을 포함할 수 있다. 도 9에서, 샘플링 그리드 오프셋들(sampling_grid_offset_hori 및 sampling_grid_offset_vert)은 4와 동일할 수 있으며 1/16-픽셀 정밀도를 갖는다. 몇몇 실시예들에서, 아마도, 다른 시나리오들 중에서도, 예를 들어, 도 5a 및 도 6a에서 도시된 바와 같이 BL 및 EL 샘플링 그리드들이 정렬될 수 있는 경우, 샘플링 그리드 오프셋들은 0의 디폴트 값들을 포함할 수 있다.
샘플링 그리드 오프셋은 루마 및/또는 크로마 평면에 대해 결정될 수 있다. 샘플링 그리드 오프셋들의 쌍(예를 들어, sampling_grid_offset_hori 및 sampling_grid_offset_vert)은 루마 및/또는 크로마 평면 각각 또는 이들 중 하나 이상에 대해 시그널링될 수 있다. 비디오 시퀀스에서 루마 및 크로마 평면들의 상대적 그리드들은 미리 결정되고 및/또는 고정될 수 있다. 상대적 그리드들이 고정될 수 있는데, 그 이유는 비디오 시퀀스가 예를 들어, 4:2:0, 4:2:2, 및/또는 4:4:4와 같은 표준화된 컬러 서브샘플링 포맷을 포함할 수 있기 때문이다. 크로마 평면들에 대한 샘플링 그리드 오프셋들은 루마 평면에 대한 샘플링 그리드 오프셋들에 따라 유도될 수 있다. 몇몇 실시예들에서, 아마도, 다른 이유들 중에서도, 크로마 평면들에 대한 샘플링 그리드 오프셋들이 루마 평면에 대한 샘플링 그리드 오프셋들에 따라 유도될 수 있을 때, 크로마 평면들에 대한 샘플링 그리드 오프셋들은 명시적인 시그널링 없이 결정될 수 있다. 유도 프로세스는 본 명세서에서 설명된 바와 같이 수행될 수 있다:
표 2: 샘플링 그리드 오프셋를 시그널링하는 예
Figure 112017029272598-pat00002
표 2는 (예를 들어, 본 명세서에서 예시된 신택스 엘리먼트들의 세그먼트에서) 샘플링 그리드 정도를 시그널링하기 위한 예시적인 신택스 표를 예시한다. 의미들(semantics) 중 하나 이상의 본 명세서에서 추가로 설명된다. sampling_grid_info_presented_flag는 1과 동일할 수 있고 및/또는 샘플링 그리드 정보가 다음의 비트스트림에서 제시될 수 있다는 것(또는 몇몇 실시예들에서, 아마도 제시될 것)을 표시할 수 있다. sampling_grid_info_presented_flag는 0과 동일할 수 있고 및/또는 샘플링 그리드 정보가 제시되지 않을 수 있다는 것(또는 몇몇 실시예들에서, 아마도 제시되지 않을 것)을 표시할 수 있다. sampling_grid_info_presented_flag는 BL 및 EL 샘플링 그리드들이 정렬되었고 및/또는 아마도, 예를 들어, 샘플링 그리드 정보가 제시되지 않을 수 있다는 것(또는 몇몇 실시예들에서 아마도 제시되지 않을 것)을 sampling_grid_info_presented_flag가 표시할 때 오프셋은 0의 디폴트 값으로 세팅되었다는 것을 표시할 수 있다. log2_sampling_grid_precision은 샘플링 그리드의 정밀도를 표시할 수 있다. 예를 들어, 샘플링 그리드의 정밀도는 SamplingGridPrecision=2log2_sampling_grid_precision에 의해 결정될 수 있다.
sampling_grid_abs_offset_x는 수평 방향에서 샘플링 그리드 오프셋의 절댓값을 표시할 수 있다. sampling_grid_abs_offset_x는 고정-길이 코딩될 수 있다. 코드 길이는 log2_sampling_grid_precision와 동일할 수 있다.
sampling_grid_abs_offset_y는 수직 방향에서 샘플링 그리드 오프셋의 절댓값을 표시할 수 있다. sampling_grid_abs_offset_y는 고정-길이 코딩될 수 있다. 코드 길이는 log2_sampling_grid_precision와 동일할 수 있다.
sampling_grid_sign_x는 수평 방향에서의 샘플링 그리드 오프셋을 표시할 수 있다. 0과 동일한 sampling_grid_sign_x는 수평 방향에서의 샘플링 그리드 오프셋이 양(positive)이라는 것을 표시할 수 있다. 1과 동일한 sampling_grid_sign_x는 수평 방향에서의 샘플링 그리드 오프셋이 음(negative)이라는 것을 표시할 수 있다.
sampling_grid_sign_y는 수직 방향에서의 샘플링 그리드 오프셋을 표시할 수 있다. 0과 동일한 sampling_grid_sign_y는 수직 방향에서의 샘플링 그리드 오프셋이 양이라는 것을 표시할 수 있다. 1과 동일한 sampling_grid_sign_y는 수직 방향에서의 샘플링 그리드 오프셋이 음이라는 것을 표시할 수 있다.
수평 방향에서의 샘플링 그리드 오프셋은 SamplingGridOffsetX에 의해 표시될 수 있다. SamplingGridOffsetX는 SamplingGridOffsetX = (1- sampling_grid_sign_x*2) * sampling_grid_abs_offset_x에 의해 결정될 수 있다. 수직 방향에서의 샘플링 그리드 오프셋은 SamplingGridOffsetY에 의해 표시될 수 있다. SamplingGridOffsetY는 SamplingGridOffsetY = (1-sampling_grid_sign_y*2) * sampling_grid_abs_offset_y에 의해 결정될 수 있다.
크로마 샘플링 그리드 정보는 chroma_sampling_grid_info_presented_flag에 의해 표시될 수 있다. 1과 동일한 chroma_sampling_grid_info_presented_flag는 크로마 샘플링 그리드 정보가 다음의 비트스트림에서 제시될 수 있다는 것(또는 몇몇 실시예들에서, 아마도 제시될 것)을 표시할 수 있다. 0과 동일한 chroma_sampling_grid_info_presented_flag는 어떠한 크로마 샘플링 그리드 정보도 제시되지 않을 수 있다는 것(또는 몇몇 실시예에서, 아마도 제시되지 않을 것)을 표시할 수 있다. 후자의 경우에서, 아마도, 다른 이유들 중에서도, sampling_grid_info_presented_flag가 1과 동일한 경우, 크로마 샘플링 그리드 오프셋들은 예를 들어, 루마에 대한 오프셋들에 따라 유도될 수 있다. 아마도, 다른 이유들 중에서도, sampling_grid_info_presented_flag가 0과 동일한 경우, 크로마 샘플링 그리드 오프셋들은 예를 들어, 디폴트 값(0)으로 세팅될 수 있다.
log2_chroma_sampling_grid_precision는 예를 들어, 본 명세서에서 설명된 바와 같이 크로마 샘플링 그리드의 정밀도를 표시할 수 있다. ChromaSamplingGridPrecision는 ChromaSamplingGridPrecision=2 log2_chroma_sampling_grid_precision에 의해 결정될 수 있다. chroma_sampling_grid_abs_offset_x는 수평 방향에서 크로마 샘플링 그리드 오프셋의 절댓값을 표시할 수 있다. chroma_sampling_grid_abs_offset_x는 고정-길이 코딩될 수 있다. 코드 길이는 log2_chroma_sampling_grid_precision와 동일할 수 있다. chroma_sampling_grid_abs_offset_y는 수직 방향에서의 크로마 샘플링 그리드 오프셋의 절댓값을 특정할 수 있다. chroma_sampling_grid_abs_offset_y는 고정-길이 코딩될 수 있다. 코드 길이는 log2_chroma_sampling_grid_precision와 동일할 수 있다.
chroma_sampling_grid_sign_x는 수평 방향에서의 크로마 샘플링 그리드 오프셋을 표시할 수 있다. 0과 동일한 chroma_sampling_grid_sign_x는 수평 방향에서의 크로마 샘플링 그리드 오프셋이 양이라는 것을 표시할 수 있다. 1과 동일한 chroma_sampling_grid_sign_x는 수평 방향에서의 크로마 샘플링 그리드 오프셋이 음이라는 것을 표시할 수 있다.
chroma_sampling_grid_sign_y는 수직 방향에서의 크로마 샘플링 그리드 오프셋을 표시할 수 있다. 0과 동일한 chroma_sampling_grid_sign_y는 수직 방향에서의 크로마 샘플링 그리드 오프셋이 양이라는 것을 표시할 수 있다. 1과 동일한 chroma_sampling_grid_sign_y는 수직 방향에서의 크로마 샘플링 그리드 오프셋이 음이라는 것을 표시할 수 있다.
수평 방향에서의 크로마 샘플링 그리드 오프셋은 ChromaSamplingGridOffsetX에 의해 표시될 수 있다. ChromaSamplingGridOffsetX는 ChromaSamplingGridOffsetX = (1-chroma_sampling_grid_sign_x*2) * chroma_sampling_grid_abs_offset_x에 의해 결정될 수 있다.
수직 방향에서의 크로마 샘플링 그리드 오프셋은 ChromaSamplingGridOffsetY에 의해 표시될 수 있다. ChromaSamplingGridOffsetY는 ChromaSamplingGridOffsetY = (1-chroma_sampling_grid_sign_y*2) * chroma_sampling_grid_abs_offset_y에 의해 결정될 수 있다.
본 명세서에서 설명된 신택스 및 의미는 예로서 제공된다. 대안적으로, 또는 부가적으로, 실시예들은 샘플링 그리드 정보를 코딩하기 위해 구현될 수 있다. 가변 길이 코딩은 샘플링 그리드 오프셋들을 코딩하도록 적용될 수 있다. 크로마 샘플링 그리드 정보는 루마 샘플링 그리드 정보 및/또는 크로마 포맷 정보에 기초하여 직접 유도될 수 있다. 몇몇 실시예들에서, 표 2의 chroma_sampling_grid_info_present_flag, log2_chroma_sampling_grid_precision, chroma_sampling_grid_abs_offset_x, chroma_sampling_grid_abs_offset_y, chroma_sampling_grid_sign_x, 및/또는 chroma_sampling_grid_sign_y 중 하나 이상 또는 각각은 생략될 수 있다.
하나 이상의 실시예들에서, 표 2의 샘플링 그리드 정보 sampling_grid_information()는 예를 들어, 표 2a에서 도시된 바와 같이 시퀀스 파라미터 세트(SPS)의 부분으로서 시그널링될 수 있다. 샘플링 그리드 정보는 비디오 파라미터 세트들(VPS)에서 시그널링될 수 있다. VPS는 예를 들어, 상이한 레이어들 간의 레이어 의존 정보(layer dependency information)와 같이 스케일러블 비트스트림에 대한 고레벨 정보를 특정하는데 이용될 수 있는 확장 vps_extension()를 포함할 수 있다. 표 2b에서 도시된 바와 같이, 이진 플래그 direct_dependency_flag[i][j]는 현재의 레이어 "i"가 코딩을 위한 참조 레이어로서 레이어 "j"를 이용하는지를 표시하는데 이용될 수 있다. 아마도, 다른 시나리오들 중에서도, VPS에서 시그널링될 때, 현재 레이어와 하나 이상의 참조 레이어들 간의 상대적 샘플링 그리드(예를 들어, sampling_grid_information(i, j))는 예를 들어, 레이어 의존 정보와 함께 시그널링될 수 있다. 시그널링은 표 2b에서 예시된 신택스 예를 이용하여 수행될 수 있다.
하나 이상의 실시예들에서, 아마도, 다른 이유들 중에서도, 레이어 "i"가 코딩을 위해 참조 레이어 "j"에 의존한다는 것을 레이어 의존 정보 direct_dependency_flag[i][j]가 보여주는 경우 조차도, sampling_grid_information(i, j)는 아마도, 다른 시나리오들 중에서도, 공간적 스케일러빌리티가 레이어 "i"와 레이어"j" 간에 적용될 때 적절할 수 있다(그리고 몇몇 실시예들에서, 단지 적절할 수 있음). 몇몇 실시예들에서, 아마도, 다른 시나리오들 중에서도, 예를 들어, 뷰 스케일러빌리티 및/또는 SNR 스케일러빌리티와 같은 하나 이상의 다른 스케일러빌리티들이 이용될 수 있을 때 그것은 적절하지 않을 수 있다. 현재의 SHVC 설계에서, 공간적 스케일러빌리티 및/또는 SNR 스케일러빌리티는, VPS에서 구분될 수 없을 수 있다는 것(이는 이들이 표 3에서 도시된 바와 같이, 동일한 스케일러빌리티 마스크 값, 예를 들어, scalability_mask를 공유할 수 있다는 것을 표시할 수 있음)을 실시예들이 인지한다. 몇몇 실시예들에서, 표 3은 수정될 수 있고 공간적 스케일러빌리티 및 SNR 스케일러빌리티는 예를 들어, 표 2c에서 도시된 바와 같이 특유의 값들을 가질 수 있다. 1과 동일한 scalability_mask[i][j]는 현재 레이어 "i"와 참조 레이어"j" 간에 공간적 스케일러빌리티가 적용된다는 것(또는 적용될 수 있다는 것)을 표시할 수 있다. 하나 이상의 실시예들에서, 표 2c에서, 표 2b에서 도시된 바와 같이 엘리먼트 "if (direct_dependency_flag[i][j])"는 표 2d에서 도시된 바와 같이 "if (direct_dependency_flag[i][j] && scalability_mask[i][j] == 1)"로서 수정될 수 있어서, 샘플링 그리드 정보 sampling_grid_information()는, 아마도, 다른 이유들 중에서도, 예를 들어, 현재 레이어 "i"가 참조 레이어로서 레이어 "j"을 이용하고 및/또는 공간적 스케일러빌리티가 적용될 때(그리고, 몇몇 실시예들에서 아마도 적용될 때에만) VPS에서 시그널링될 수 있다.
표 2a: SPS에서 샘플링 그리드 정보의 예시적인 시그널링
Figure 112017029272598-pat00003
표 2b: VPS 확장에서 샘플링 그리드 정보의 예시적인 시그널링
Figure 112017029272598-pat00004
표 2c: 스케일러빌리티Id와 스케일러빌리티 차원들의 예시적인 맵핑
Figure 112017029272598-pat00005
표 2d: VPS 확장에서 샘플링 그리드 정보의 예시적인 시그널링
Figure 112017029272598-pat00006
표 3: 스케일러빌리티Id와 스케일러빌리티 차원들의 예시적인 맵핑
Figure 112017029272598-pat00007
몇몇 실시예들에서, 아마도, 다른 시나리오들 중에서도, 2개의 공간적 레이어들 간에 비-제로 상대적 위상 시프트가 있다고 샘플링 그리드 정보가 표시하는 경우, 샘플링 그리드 정정은 예를 들어, EL 비디오의 샘플링 그리드에 업-샘플링된 BL 비디오의 샘플링 그리드를 정렬하도록 수행될 수 있다. 정렬에 의해 제공된 정정된 신호는 EL 비디오의 코딩의 더 양호한 예측(예를 들어, 정렬 이전에 및/또는 정렬 없는 예측에 비해 EL 비디오의 코딩에 대한 개선된 예측)으로서 역할할 수 있다. 도 7의 예에서, 음영진 픽셀들의 위상은, 이들이 텅 빈 정사각형들과의 정렬(및/또는 실질적으로 정렬됨)되게 되도록 정정될 수 있다.
샘플링 그리드 정정은 업샘플링 및/또는 필터링에 의해 수행될 수 있다. 하나 이상의 실시예들에서, BL 화상은 하나 이상의 표준들(예를 들어, 규범적 업샘플링(normative upsampling))에서 정의된 업샘플링 필터들을 이용하여 업샘플링될 수 있다. 업샘플링된 BL 화상은 위상-정정 필터들을 이용하여 필터링될 수 있다. 하나 이상의 다-위상(poly-phase) 필터들(또는 위상 정정 필터들)은 샘플링 그리드 정정을 수행하는데 이용될 수 있다. 예를 들어, 다-위상 필터는, (예를 들어, 위상 시프트의 양에 대응할 수 있는) 이중선형 필터(bilinear filter), 바이-큐빅(bi-cubic) 필터, 란초스(Lanczos) 필터 및/또는 보간 필터 중 하나 이상으로서 구성될 수 있다. 예를 들어, H.264/AVC 및/또는 HEVC 비디오 코딩과 같은 비디오 코딩은 단편적 픽셀 모션 보상을 지원할 수 있다. 예를 들어, H.264/AVC에서 6-탭 위이너 필터(Wiener filter) 또는 HEVC의 DCT-IF와 같이 이들 시스템들에서 모션 보상을 위해 이용될 수 있는 보간 필터가 샘플링 그리드들을 정정하고 및/또는 정렬하는데 이용될 수 있다. 이들 보간 필터들은 코딩 시스템에 의해 지원될 수 있다. 몇몇 실시예들에서, 상술된 필터들 중 하나 이상은 하나 이상의 결합들에서 이용될 수 있다. 몇몇 실시예들에서, 아마도, 다른 시나리오들 중에서도, 보간 필터들이 모션 보상을 위해 이용될 수 있는 경우, 부가적인 필터링 기능성이 구현되지 않을 수 있다.
샘플링 그리드 정정은 본 명세서에서 설명되는 샘플링 그리드 정보를 이용하여 수행될 수 있다. 몇몇 실시예들에서, HEVC의 스케일러블 확장(scalable extension of HEVC; SHVC)에서 정의되는 업샘플링 필터링 프로세스가 이용될 수 있다. 샘플링 그리드 정정은 1.5x 또는 2x 공간적 스케일러빌리티 및/또는 4:2:0 컬러 서브샘플링 포맷을 이용하여 수행될 수 있다.
수평 및 수직 방향들에서의 업샘플링 비(N)를 이용하여, 업샘플링 프로세스는 하나 또는 둘 다의 방향들에서 그의 크기를 16배까지로 BL 화상을 보간(interpolating)하고 및/또는 비(M)로 16x 화상을 데시메이팅(decimating)함으로써 근사화될 수 있으며 여기서
Figure 112017029272598-pat00008
이다. 다른 이유들 중에서도, 16x 업샘플링을 수행하기 위해 16-위상 보간 필터들이 이용될 수 있다. 상세된 필터 계수들의 예들은 루마 및 크로마에 대해 각각 표 4 및 표 5에서 제공된다. 실시예들은 SHVC가 1.5x 및/또는 2x 공간적 스케일러빌리티를 지원할 수 있다는 것을 인지한다. 16-위상 보간 필터들의 서브세트는 (예를 들어, 표 4에서 위상 p = 0, 5, 8, 및 11의 행들에서 및/또는 표 5에서 위상 p = 0, 4, 5, 6, 8, 9, 11, 14, 및 15의 행들에서 도시된 바와 같이) HEVC의 스케일러빌리티 확장(SHVC)에서 설명될 수 있다. 실시예들은, 2x 또는 1.5x 업샘플링 프로세스에서 이용될 수 않을 수 있는 위상 필터들이 SHVC에 의해 설명되지 않을 수 있다는 것을 고려한다. 하나 이상의 실시예들에서 루마 필터들은 8-탭일 수 있다. 하나 이상의 실시예들에서, 크로마 필터들은 4-탭일 수 있다. 또한, 하나 이상의 실시예들에서, 루마 필터들 및/또는 크로마 필터들은 2D 분리 가능한 필터들일 수 있다.
표 4: 예시적인 16-위상 루마 업샘플링 필터
Figure 112017029272598-pat00009
표 5: 예시적인 16-위상 크로마 업샘플링 필터
Figure 112017029272598-pat00010
16x 보간은 하나 이상의, 또는 각각의 샘플에 대해 수행되거나 수행되지 않을 수 있다. 몇몇 실시예들에서, 데시메이션(decimation) 이후 유지될 수 있는 16x 화상의 샘플들이 보간될 수 있다. 다른 이유들 중에서도, EL 화상에서 (x, y)로서 위치되는 샘플을 생성하기 위해, 데시메이션 이전의 가상 16x 화상의 대응하는 위치(x16, y16)는 수학식 3 및/또는 수학식 4를 이용함으로써 발견될 수 있다.
[수학식 3]
x16 = (x *BLPictureWidth*16+ELPictureWidth/2)/ ELPictureWidth
[수학식 4]
y16 = (y *BLPictureHeight*16+ELPictureHeight/2)/ ELPictureHeight-offset
(BLPictureWidth, BLPictureHeight) 및 (ELPictureWidth, ELPictureHeight)는 각각 BL 및 EL 화상들의 화상 차원들을 표현할 수 있다. 차원들은 루마 또는 크로마 평면들로 이루어질 수 있으며, 이 평면들에 따라, (x16, y16)이 유도될 수 있다. 수학식 4에서, 오프셋은 본 명세서에서 설명된 바와 같이 정의될 수 있다. 아마도, 다른 시나리오들 중에서도, y16이 루마 평면에 대해 계산되는 경우, 오프셋은 0과 동일하게 될 수 있다. 아마도, 다른 시나리오들 중에서도, y16이 크로마 평면에 대해 계산되고, 및/또는 공간적 스케일러빌리티에 대한 비가 1.5x인 경우, 오프셋은 1과 동일하게 될 수 있다. 아마도, 다른 시나리오들 중에서도, y16이 크로마 평면에 대해 계산되고 및/또는 공간 스케일러빌리티에 대한 비가 2x인 경우, 오프셋은 2와 동일할 수 있다.
(x16, y16)에서 샘플 값은 BL 화상으로부터의 지지 영역에 적절한 위상 필터를 적용함으로써 생성될 수 있다. 수평 방향에 대한 위상 필터의 인덱스는 (x16%16)으로서 계산될 수 있다. 수직 방향에 대한 위상 필터의 인덱스는 (y16%16)으로서 계산될 수 있다. 위상 필터가 앵커(anchor)될 수 있는 BL 화상에서의 픽셀의 위치는 (floor (x16/16), floor(y16/16))로서 계산될 수 있다 floor(.) 함수는 실수를 최대의 이전의 정수로 맵핑하는데 이용될 수 있다. 수학식 3 및/또는 수학식 4에서, (x16, y16)의 유도는 BL 및 EL 화상들의 샘플링 그리드가 0 위상 시프트를 갖는다고 가정할 수 있다. (x16, y16)은 예를 들어, VPS 및/또는 SPS와 같은 시퀀스 헤더에서 시그널링되는 샘플링 그리드 정보를 이용하여 및/또는 BL 및/또는 EL 화상 차원 정보를 이용하여 계산될 수 있다.
루마 평면에 대해, (x16, y16)는 수학식 5 및/또는 수학식 6에서 도시된 바와 같이 유도될 수 있다:
[수학식 5]
x16 = (x *BLPictureWidth*16+ELPictureWidth/2)/
ELPictureWidth-SamplingGridOffsetX
[수학식 6]
y16 = (y *BLPictureHeight*16+ELPictureHeight/2)/
ELPictureHeight-offset-SamplingGridOffsetY
크로마 평면들에 대해, 아마도, 다른 이유들 중에서도, 샘플링 그리드 오프셋들이 명시적으로 제시되는 경우(예를 들어, chroma_sampling_grid_info_presented_flag가 1과 동일함), (x16, y16)은 수학식 7 및/또는 수학식 8에서 도시된 바와 같이 유도될 수 있다.
[수학식 7]
x16 = (x *BLPictureWidth*16+ELPictureWidth/2)/
ELPictureWidth-ChromaSamplingGridOffsetX
[수학식 8]
y16 = (y *BLPictureHeight*16)/
ELPictureHeight-offset-ChromaSamplingGridOffsetY
크로마 평면들에 대해, 아마도, 다른 이유들 중에서도, 샘플링 그리드 오프셋들이 명시적으로 제시되지 않는 경우(예를 들어, chroma_sampling_grid_info_presented_flag가 시그널링되고 0으로 세팅되거나, 또는 시그널링되지 않고 및/또는 0으로 결정됨). (x16, y16)는 수학식 9 및/또는 수학식 10에서 도시된 바와 같이 루마에 대한 샘플링 그리드 오프셋에 따라 유도될 수 있다.
[수학식 9]
x16 = (x *BLPictureWidth*16+ELPictureWidth/2)/
ELPictureWidth-SamplingGridOffsetX/2
[수학식 10]
y16 = (y *BLPictureHeight*16)/
ELPictureHeight-offset-SamplingGridOffsetY/2
샘플링 그리드들은 예를 들어, 본 명세서에서 설명된 바와 같이 검출될 수 있다. 예를 들어, 도 3에서 도시된 바와 같은 다운-샘플링 프로세스는 인코더의 부분일 수 있거나 부분이 아닐 수 있다. 몇몇 애플리케이션들에서, 인코더는 더 높은 해상도 EL 비디오를 수신하고, 더 낮은 해상도 BL 비디오를 획득하기 위해 다운-샘플링을 수행하고 및/또는 양자의 비디오 입력들에 공간적 스케일러블 인코딩을 적용할 수 있다. 인코더는 다른 이유들 중에서도, 상대적 위상 시프트 값을 결정하기 위해 업-샘플링 필터 위상 시프트 특성들에 다운-샘플링 필터 위상 시프트 특성들을 비교할 수 있다. 인코더는, 아마도, 다른 시나리오들 중에서도, 다운-샘플링 프로세스가 파이프라인의 다른 곳에 적용된 이후, 예를 들어, 입력들로서 더 높은 해상도 EL 비디오 및/또는 더 낮은 해상도 BL 비디오를 직접 수신할 수 있다. 다운-샘플링 필터들의 위상 시프트 특성은 인코더에 알려지지 않을 수 있고 및/또는 인코더는 상대적 샘플링 그리드들을 검출할 수 있다.
도 10은 상대적 샘플링 그리드들을 검출하기 위한 적응형 필터 트레이닝(adaptive filter training)을 이용하는 예를 도시한다. BL 비디오는 EL 비디오 공간적 해상도에 매칭하도록 업-샘플링 필터를 이용하여 업-샘플링될 수 있다. 적응형 필터 트레이닝(예를 들어, 최소 제곱 선형 필터 트레이닝(Least Squared linear filter training))은 EL 입력 및 업-샘플링된 BL 입력 상에 적용될 수 있다. 몇몇 실시예들에서, 상대적 위상 시프트는 하나 이상의 적응형 필터 계수들을 검토함으로써 검출될 수 있다. 적응형 필터 계수들(예를 들어, LS 트레이닝을 이용하여 획득된 계수들)은 부동 소수점 정밀도(floating point precision)로 이루어질 수 있다. 몇몇 실시예들에서, 하나 이상의 적응형 필터 계수들 중 적어도 하나의 계수 양자화는 어느 상대적 샘플링 그리드 위치가 (예를 들어, 도 8에서 도시된 바와 같이) 미리 정의된 고정된 정밀도에 따르는지를 결정하는데 이용될 수 있다. 적응형 필터 트레이닝은 예를 들어, 다른 이유들 중에서도, 주어진 차원의 상대적 샘플링 그리드를 검출하기 위해 별개로 하나 이상의, 또는 각각의 차원에서 수행될 수 있다.
예로서 x 차원을 이용하여, 도 11은 업-샘플링된 BL(패터닝된 정사각형)과 그것이 대응할 수 있는 EL(텅빈 정사각형) 간의 상대적 샘플링 그리드들 및 탭 길이 2의 적응형 필터의 트레이닝된 계수들의 예를 도시한다. 본 명세서에서 설명된 바와 같이, 상대적 샘플링 그리드 정보는 입력 비디오의 지속기간에 걸쳐서 고정될 수 있다. 샘플링 그리드들의 검출은 예를 들어, 입력 비디오의 선두에 (예를 들어, 적어도 한번) 수행될 수 있다.
도 12는 샘플링 그리드 정보 시그널링, 샘플링 그리드 정정 및/또는 샘플링 그리드 검출과 같이, 본 명세서에서 설명된 실시예들 중 하나 이상을 포함할 수 있는 (예를 들어, 도 3에서 도시된 바와 같은) 강화된 2-레이어 스케일러블 인코더를 도시한다. 도시되지 않았지만, 도 4에서 예시된 스케일러블 디코더가 실질적으로 유사한 방식들로 이들 실시예들 중 하나 이상과 더불어 구현될 수 있다. 실시예들이 본 명세서에서 예시적인 2-레이어 공간적 스케일러블 시스템으로 설명되었지만, 이들 실시예들은 더 많은 레이어들을 지원하는 공간적 스케일러블 시스템들로 응용 가능할 수 있다. 예를 들어, 본 명세서에서 설명된 실시예들은 다중-레이어 시스템에서 임의의 2개의 공간적 레이어들로 응용 가능할 수 있다. N-레이어 스케일러블 시스템의 레이어들은 (L0, L1, .. LN - 1)를 포함할 수 있고, (La, Lb) 및 (Lc, Ld)(0 ≤ a, b, c, d ≤ (N-1))는 상이한 공간적 스케일링 비들 및 상이한 상대적 위상 시프트 특성들을 갖는 공간적 레이어들의 2개의 쌍들일 수 있다고 가정할 수 있다. 예를 들어, (La, Lb)는 1/2 픽셀 위상 시프트를 갖는 1.5x 비를 가질 수 있다. (Lc, Ld)는 1/4 픽셀 위상 시프트를 갖는 2x 비를 가질 수 있다. 도 8에서 예시된 시그널링은 레이어 표시들을 포함하도록 확장될 수 있으며, 이는 특정한 레이어들에 대한 샘플링 그리드 정보 시그널링이 이어진다. 레이어 의존 정보는 예를 들어, SPS에 비교되는 VPS에서 시그널링될 수 있기 때문에, VPS는 레이어-특정 샘플링 그리드 정보를 포함하기 위한 장소일 수 있다.
도 13a는 하나 이상의 개시된 실시예들이 구현될 수 있는 예시적인 통신 시스템(100)의 다이어그램이다. 통신 시스템(100)은 음성, 데이터, 비디오, 메시징, 브로드캐스트 등과 같은 콘텐츠를 다수의 무선 사용자들에 제공하는 다중 액세스 시스템일 수 있다. 통신 시스템(100)은 무선 대역폭을 포함하는 시스템 자원들의 공유를 통해 다수의 무선 사용자들이 이러한 콘텐츠에 액세스하는 것을 가능하게 할 수 있다. 예를 들어, 통신 시스템들(100)은 코드 분할 다중 액세스(code division multiple access; CDMA), 시분할 다중 액세스(time division multiple access; TDMA), 주파수 분할 다중 액세스(frequency division multiple access; FDMA), 직교 FDMA(orthogonal FDMA; OFDMA), 단일-캐리어 FDMA(single-carrier FDMA; SC-FDMA) 등과 같은 하나 이상의 채널 액세스 방법들을 이용할 수 있다.
도 13a에서 도시되는 바와 같이, 통신 시스템(100)은 무선 송수신 유닛들(wireless transmit/receive units; WTRU들)(102a, 102b, 102c, 및/또는 102d)(일반적으로 또는 집합적으로 WTRU(102)로서 지칭될 수 있음), 라디오 액세스 네트워크(radio access network; RAN)(103/104/105), 코어 네트워크(106/107/109), 공개 교환 전화 네트워크(public switched telephone network; PSTN)(108), 인터넷(110), 및 다른 네트워크들(112)을 포함할 수 있지만, 개시된 실시예들이 임의의 수의 WTRU들, 기지국들, 네트워크들 및/또는 네트워크 엘리먼트들을 기도(contemplate)한다고 인지될 것이다. WTRU들(102a, 102b, 102c, 102d) 각각은 무선 환경에서 동작 및/또는 통신하도록 구성되는 임의의 타입의 디바이스일 수 있다. 예로서, WTRU들(102a, 102b, 102c, 102d)은 무선 신호들을 전송 및/또는 수신하도록 구성될 수 있고, 사용자 장비(user equipment; UE), 모바일국, 고정 또는 이동 가입자 유닛, 호출기, 셀룰러 전화, 개인 휴대 정보 단말(personal digital assistant; PDA), 스마트폰, 랩톱, 넷북, 개인용 컴퓨터, 무선 센서, 소비자 전자기기 등을 포함할 수 있다.
통신 시스템들(100)은 또한 기지국(114a) 및 기지국(114b)을 포함할 수 있다. 기지국들(114a, 114b) 각각은 코어 네트워크(106/107/109), 인터넷(110), 및/또는 네트워크들(112)과 같은 하나 이상의 통신 네트워크들에 대한 액세스를 용이하게 하기 위해 WTRU들(102a, 102b, 102c, 102d) 중 적어도 하나와 무선으로 인터페이스하도록 구성되는 임의의 타입의 디바이스일 수 있다. 예로서, 기지국들(114a, 114b)은 베이스 트랜시버 스테이션(base transceiver station; BTS), 노드 B, e노드 B, 홈 노드 B, 홈 e노드 B, 사이트 제어기, 액세스 포인트(AP), 무선 라우터 등일 수 있다. 기지국들(114a, 114b)이 단일의 엘리먼트로서 각각 도시되었지만, 기지국들(114a, 114b)은 임의의 수의 상호연결된 기지국들 및/또는 네트워크 엘리먼트들을 포함할 수 있다는 것이 인지될 것이다.
기지국(114a)은 기지국 제어기(base station controller; BSC), 라디오 네트워크 제어기(radio network controller; RNC), 중계 노드들 등과 같은 다른 기지국들 및/또는 네트워크 엘리먼트들(도시되지 않음)을 또한 포함할 수 있는 RAN(103/104/105)의 일부일 수 있다. 기지국(114a) 및/또는 기지국(114b)은 셀(도시되지 않음)로서 지칭될 수 있는 특정한 지리적인 영역 내에서 무선 신호들을 전송 및/또는 수신하도록 구성될 수 있다. 셀은 또한 셀 섹터들로 분할될 수 있다. 예를 들어, 기지국(114a)과 연관된 셀은 3개의 섹터들로 분할될 수 있다. 따라서 일 실시예에서, 기지국(114a)은 3개의 트랜시버들, 즉 셀의 각 섹터마다 하나의 트랜시버를 포함할 수 있다. 다른 실시예에서, 기지국(114a)은 다중-입력 다중 출력(multiple-input multiple output; MIMO) 기술을 이용할 수 있고, 그러므로 셀의 각 섹터에 대해 다수의 트랜시버들을 활용할 수 있다.
기지국들(114a, 114b)은 임의의 적합한 무선 통신 링크(예를 들어, 라디오 주파수(radio frequency; RF), 마이크로파, 적외선(infrared; IR), 자외선(ultraviolet; UV), 가시광 등)일 수 있는 공중 인터페이스(115/116/117)를 통해 WTRU들(102a, 102b, 102c, 102d) 중 하나 이상의 WTRU와 통신할 수 있다. 공중 인터페이스(115/116/117)는 임의의 적합한 라디오 액세스 기술(RAT)을 이용하여 설정될 수 있다.
보다 구체적으로, 상술한 바와 같이, 통신 시스템(100)은 다수의 액세스 시스템일 수 있으며 CDMA, TDMA, FDMA, OFDMA, SC-FDMA 등과 같은 하나 이상의 채널 액세스 방식들을 이용할 수 있다. 예를 들어, RAN(103/104/105)의 기지국(114a) 및 WTRU(102a, 102b, 102c)는 광대역 CDMA(WCDMA)를 이용하여 공중 인터페이스(115/116/117)를 설정할 수 있는 유니버셜 모바일 원격통신 시스템(UMTS) 지상 라디오 액세스(Universal Mobile Telecommunications System Terrestrial Radio Access; UTRA)와 같은 라디오 기술을 구현할 수 있다. WCDMA는 고속 패킷 액세스(High-Speed Packet Access; HSPA) 및/또는 이볼브드 HSPA(HSPA+)와 같은 통신 프로토콜들을 포함할 수 있다. HSPA는 고속 다운링크 패킷 액세스(High-Speed Downlink Packet Access; HSDPA) 및/또는 고속 업링크 패킷 액세스(High-Speed Uplink Packet Access; HSUPA)를 포함할 수 있다.
다른 실시예에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 롱텀 에볼루션(Long Term Evolution; LTE) 및/또는 LTE-어드밴스드(LTE- Advanced; LTE-A)를 이용하여 공중 인터페이스(115/116/117)를 설정할 수 있는 이볼브드 UMTS 지상 라디오 액세스(Evolved UMTS Terrestrial Radio Access; E-UTRA)와 같은 라디오 기술을 구현할 수 있다.
다른 실시예들에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 IEEE 802.16(즉, WiMAX(Worldwide Interoperability for Microwave Access)), CDMA2000, CDMA2000 1X, CDMA 2000 EV-DO, 잠정 표준 2000(IS-2000), 잠정 표준 95(IS-95), 잠정 표준 856(IS-856), 모바일 통신을 위한 글로벌 시스템(Global System for Mobile communications; GSM), GSM 에볼루션을 위한 강화된 데이터 레이트(Enhanced Data rates for GSM Evolution; EDGE), GERAN(GSM EDGE) 등과 같은 라디오 기술들을 구현할 수 있다.
도 13a의 기지국(114b)은 예를 들어, 무선 라우터, 홈 노드 B, 홈 e노드 B, 또는 액세스 포인트일 수 있으며 비즈니스, 가정, 차량, 캠퍼스 등의 장소와 같이 로컬화된 영역에서 무선 연결을 용이하게 하는 임의의 적합한 RAT를 활용할 수 있다. 일 실시예에서, 기지국(114b) 및 WTRU들(102c, 102d)은 무선 로컬 영역 네트워크(wireless local area network; WLAN)를 설정하기 위해 IEEE 802.11과 같은 라디오 기술을 구현할 수 있다. 다른 실시예에서, 기지국(114b) 및 WTRU들(102c, 102d)은 무선 개인 영역 네트워크(wireless personal area network; WPAN)을 설정하기 위해 IEEE 802.15와 같은 라디오 기술을 구현할 수 있다. 또 다른 실시예에서, 기지국(114b) 및 WTRU들(102c, 102d)은 피코셀 또는 펨토셀을 설정하기 위해 셀룰러-기반 RAT(예를 들어, WCDMA, CDMA2000, GSM, LTE, LTE-A 등)를 활용할 수 있다. 도 13a에서 도시되는 바와 같이, 기지국(114b)은 인터넷(110)에 직접 연결할 수 있다. 따라서 기지국(114b)은 코어 네트워크(106/107/109)를 통해 인터넷(110)에 액세스하도록 요구되지 않을 수 있다.
RAN(103/104/105)은 WTRU들(102a, 102b, 102c, 102d) 중 하나 이상의 WTRU에 음성, 데이터, 애플리케이션들, 및/또는 보이스 오버 인터넷 프로토콜(voice over internet protocol; VoIP) 서비스들을 제공하도록 구성되는 임의의 타입의 네트워크일 수 있는 코어 네트워크(106/107/109)와 통신할 수 있다. 예를 들어, 코어 네트워크(106/107/109)는 호 제어, 계산서발송 서비스들(billing services), 모바일 위치-기반 서비스들, 선불 호출(pre-paid calling), 인터넷 연결, 비디오 분배 등을 제공할 수 있고 및/또는 사용자 인증과 같은 고-레벨 보안 기능들을 수행할 수 있다. 도 13a에 도시되지 않았지만, RAN(103/104/105) 및/또는 코어 네트워크(106/107/109)는 RAN(103/104/105)과 같은 동일한 RAT 또는 상이한 RAT를 이용하는 다른 RAN들과 직접적으로 또는 간접적으로 통신할 수 있다는 것이 인지될 것이다. 예를 들어, E-UTRA 라디오 기술을 활용할 수 있는 RAN(103/104/105)에 연결되는 것 외에, 코어 네트워크(106/107/109)는 또한 GSM 라디오 기술을 이용하는 다른 RAN(도시되지 않음)과 통신할 수 있다.
코어 네트워크(106/107/109)는 또한 WTRU들(102a, 102b, 102c, 102d)이 PSTN(108), 인터넷(110) 및/또는 다른 네트워크(112)에 액세스하기 위한 게이트웨이로서 역할할 수 있다. PSTN(108)은 기존 전화 서비스(plain old telephone service; POTS)를 제공하는 회선-교환 전화 네트워크들을 포함할 수 있다. 인터넷(110)은 전송 제어 프로토콜(transmission control protocol; TCP), 사용자 데이터그램 프로토콜(user datagram protocol; UDP) 및 TCP/IP 인터넷 프로토콜 스위트(suite)의 인터넷 프로토콜(internet protocol; IP)과 같이 공통 통신 프로토콜들을 이용하는 상호연결된 컴퓨터 네트워크들 및 디바이스들의 글로벌 시스템을 포함할 수 있다. 네트워크들(112)은 다른 서비스 제공자들에 의해 소유되고 및/또는 동작되는 유선 또는 무선 통신 네트워크들을 포함할 수 있다. 예를 들어, 네트워크들(112)은 RAN(103/104/105)과 동일한 RAT 또는 상이한 RAT를 이용할 수 있는 하나 이상의 RAN들에 연결된 다른 코어 네트워크를 포함할 수 있다.
통신 시스템(100)의 WTRU들(102a, 102b, 102c, 102d) 중 일부 또는 모두 다는 다중-모드 성능들을 포함할 수 있는데, 즉, WTRU들(102a, 102b, 102c, 102d)은 상이한 무선 링크들을 통해 상이한 무선 네트워크들과 통신하기 위해 다수의 트랜시버들을 포함할 수 있다. 예를 들어, 도 13a에 도시된 WTRU(102c)는 셀룰러-기반 라디오 기술을 이용할 수 있는 기지국(114a)과, 그리고 IEEE 802 라디오 기술을 이용할 수 있는 기지국(114b)과 통신하도록 구성될 수 있다.
도 13b는 예시적인 WTRU(102)의 시스템 다이어그램이다. 도 13b에서 도시되는 바와 같이, WTRU(102)는 프로세서(118), 트랜시버(120), 송수신 엘리먼트(122), 스피커/마이크로폰(124), 키패드(126), 디스플레이/터치패드(128), 비분리형 메모리(130), 분리형 메모리(132), 전원(134), 글로벌 포지셔닝 시스템(global positioning system; GPS) 칩셋(136), 및 다른 주변장치들(138)을 포함할 수 있다. WTRU(102)는 일 실시예와 일관됨을 유지하면서 상술한 엘리먼트들의 임의의 서브-조합을 포함할 수 있다는 것이 인지될 것이다. 또한, 실시예들은 기지국들(114a, 및 114b) 및/또는 다른 것들 중에서도, 트랜시버 스테이션(transceiver station; BTS), 노드-B, 사이트 제어기, 액세스 포인트(access point; AP), 홈 노드-B, 이볼브드 홈 노드-B(evolved home node-B; eNodeB), 홈 이볼브드 노드-B(home evolved node-B; HeNB), 홈 이볼브드 노드-B 게이트웨이 및 프록시 노드들과 같이(그러나 이들로 제한되지 않음) 기지국들(114a 및 114b)이 표현할 수 있는 노드들은 도 13b에서 도시되고 본 명세서에서 기술된 엘리먼트들 모두 또는 일부를 포함할 수 있다는 것이 기도된다.
프로세서(118)는 범용 프로세서, 특수 용도 프로세서, 종래의 프로세서, 디지털 신호 프로세서(digital signal processor; DSP), 복수의 마이크로프로세서들, DSP 코어와 연관된 하나 이상의 마이크로프로세서들, 제어기, 마이크로제어기, 주문형 집적 회로들(Application Specific Integrated Circuits; ASIC들), 필드 프로그래밍 가능한 게이트 어레이(Field Programmable Gate Array; FPGA들) 회로들, 임의의 다른 타입의 집적 회로(integrated circuit; IC), 상태 머신 등일 수 있다. 프로세서(118)는 신호 코딩, 데이터 프로세싱, 전력 제어, 입력/출력 프로세싱, 및/또는 WTRU(102)가 무선 환경에서 동작하는 것을 가능하게 하는 임의의 다른 기능을 수행할 수 있다. 프로세서(118)는 송수신 엘리먼트(122)에 결합될 수 있는 트랜시버(120)에 결합될 수 있다. 도 13b가 프로세서(118) 및 트랜시버(120)를 별개의 컴포넌트들로서 도시하지만, 프로세서(118) 및 트랜시버(120)는 전자 패키지 또는 칩에 함께 통합될 수 있다는 것이 인지될 것이다.
송수신 엘리먼트(122)는 공중 인터페이스(115/116/117)를 통해 기지국(예를 들어, 기지국(114a))에 신호들을 전송하거나 기지국으로부터 신호들을 수신하도록 구성될 수 있다. 예를 들어, 일 실시예에서, 송수신 엘리먼트(122)는 RF 신호들을 전송 및/또는 수신하도록 구성되는 안테나일 수 있다. 다른 실시예에서, 송수신 엘리먼트(122)는 예를 들어, IR, UV, 또는 가시광 신호들을 전송 및/또는 수신하도록 구성되는 방출기/검출기일 수 있다. 또 다른 실시예에서, 송수신 엘리먼트(122)는 RF 및 광 신호들 둘 다를 전송 및 수신하도록 구성될 수 있다. 송수신 엘리먼트(122)는 무선 신호들의 임의의 조합을 전송 및/또는 수신하도록 구성될 수 있다는 것이 인지될 것이다.
또한, 송수신 엘리먼트(122)가 도 13b에서 단일의 엘리먼트로서 도시되었지만, WTRU(102)는 임의의 수의 송수신 엘리먼트들(122)을 포함할 수 있다. 보다 구체적으로, WTRU(102)은 MIMO 기술을 이용할 수 있다. 따라서 일 실시예에서, WTRU(102)는 공중 인터페이스(115/116/117)를 통해 무선 신호들을 전송하고 수신하기 위해 2개 이상의 송수신 엘리먼트들(122)(예를 들어, 다수의 안테나들)을 포함할 수 있다.
트랜시버(120)는 송수신 엘리먼트(122)에 의해 전송될 신호들을 변조하고 송수신 엘리먼트(122)에 의해 수신되는 신호들을 복조하도록 구성될 수 있다. 상술한 바와 같이, WTRU(102)는 다중-모드 능력들을 가질 수 있다. 따라서 트랜시버(120)는 WTRU(102)가 예를 들어, UTRA 및 IEEE 802.11과 같이 다수의 RAT들을 통해 통신하는 것을 가능하게 하기 위해 다수의 트랜시버들을 포함할 수 있다.
WTRU(102)의 프로세서(118)는 스피커/마이크로폰(124), 키패드(126), 및/또는 디스플레이/터치패드(128)(예를 들어, 액정 디스플레이(liquid crystal display; LCD) 디스플레이 유닛 또는 유기 발광 다이오드(organic light-emitting diode; OLED) 디스플레이 유닛)에 결합될 수 있고, 스피커/마이크로폰(124), 키패드(126), 및/또는 디스플레이/터치패드(128)로부터 사용자 입력 데이터를 수신할 수 있다. 프로세서(118)는 또한 스피커/마이크로폰(124), 키패드(126), 및/또는 디스플레이/터치패드(128)에 사용자 데이터를 출력할 수 있다. 또한, 프로세서(118)는 비분리형 메모리(130) 및/또는 분리형 메모리(132)와 같은 임의의 타입의 적합한 메모리에 데이터를 저장하고, 이로부터 정보를 액세스할 수 있다. 비분리형 메모리(130)는 랜덤-액세스 메모리(random-access memory; RAM), 판독-전용 메모리(read-only memory; ROM), 하드디스크 또는 임의의 다른 타입의 메모리 저장 디바이스를 포함할 수 있다. 분리형 메모리(132)는 가입자 아이덴티티 모듈(subscriber identity module; SIM) 카드, 메모리 스틱, 안전한 디지털(secure digital; SD) 메모리 카드 등을 포함할 수 있다. 다른 실시예들에서, 프로세서(118)는 서버 또는 홈 컴퓨터(도시되지 않음) 상에서와 같이 WTRU(102) 상에 물리적으로 위치되지 않는 메모리에 데이터를 저장하고, 이로부터 정보를 액세스할 수 있다.
프로세서(118)는 전원(134)으로부터 전력을 수신할 수 있고, WTRU(102)의 다른 컴포넌트들에 전력을 분배 및/또는 제어하도록 구성될 수 있다. 전원(134)은 WTRU(102)에 전력을 공급하기 위한 임의의 적합한 디바이스일 수 있다. 예를 들어, 전원(134)은 하나 이상의 건전지들(예를 들어, 니켈-카드뮴(nickel-cadmium; NiCd), 니켈-아연(nickel-zinc; NiZn), 니켈 금속 수소화물(nickel metal hydride; NiMH), 리튬-이온(lithium-ion; Li-ion) 등), 태양 전지들, 연료 전지들 등을 포함할 수 있다.
프로세서(118)는 또한 WTRU(102)의 현재 위치에 관한 위치 정보(예를 들어, 위도 및 경도)를 제공하도록 구성될 수 있는 GPS 칩셋(136)에 결합될 수 있다. GPS 칩셋(136)으로부터의 정보에 추가하여 또는 그 대신에, WTRU(102)는 기지국(예를 들어, 기지국들(114a, 114b))으로부터 공중 인터페이스(115/116/117)를 통해 위치 정보를 수신할 수 있고 및/또는 둘 이상의 근처의 기지국들로부터 수신되는 신호들의 타이밍에 기초하여 그 위치를 결정할 수 있다. WTRU(102)가 일 실시예와 일관됨을 유지하면서 임의의 적합한 위치-결정 방법에 의해 위치 정보를 획득할 수 있다는 것이 인지될 것이다.
프로세서(118)는 또한 부가적인 특징들, 기능 및/또는 유선 또는 무선 연결을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈들을 포함할 수 있는 다른 주변장치들(138)에 결합될 수 있다. 예를 들어, 주변장치들(138)은 가속도계, e-나침반, 위성 트랜시버, 디지털 카메라(사진 또는 비디오 용), 유니버셜 직렬 버스(universal serial bus; USB) 포트, 진동 디바이스, 텔레비전 트랜시버, 핸즈 프리 헤드셋, 블루투쓰® 모듈, 주파수 변조(frequency modulated; FM) 라디오 유닛, 디지털 음악 재생기, 미디어 재생기, 비디오 게임 플레이어 모듈, 인터넷 브라우저 등을 포함할 수 있다.
도 13c는 일 실시예에 따라 RAN(103)과 코어 네트워크(106)의 시스템 다이어그램이다. 본 명세서에서 설명된 바와 같이, RAN(103)은 공중 인터페이스(115)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위해 UTRA 라디오 기술을 이용할 수 있다. RAN(103)은 또한 코어 네트워크(106)와 통신하게 될 수 있다. 도 13c에서 도시되는 바와 같이, RAN(103)은 공중 인터페이스(115)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위해 하나 이상의 트랜시버들을 각각 포함할 수 있는 노드-B들(140a, 140b, 140c)을 포함할 수 있다. 노드-B들(140a, 140b, 140c)은 RAN(103)내의 특정한 셀(도시되지 않음)과 각각 연관될 수 있다. RAN(103)은 또한 RNC들(142a, 142b)을 포함할 수 있다. RAN(103)은 실시예들과 일관됨을 유지하면서 임의의 수의 노드-B들 및 RNC들을 포함할 수 있다는 것이 인지될 것이다.
도 13c에서 도시되는 바와 같이, 노드-B들(140a, 140b)은 RNC(142a)와 통신할 수 있다. 또한, 노드-B(140c)는 RNC(142b)와 통신할 수 있다. 노드-B들(140a, 140b, 140c)은 Iub 인터페이스를 통해 각각의 RNC들(142a, 142b)과 통신할 수 있다. RNC들(142a, 142b)은 Iur 인터페이스를 통해 서로 통신하게 될 수 있다. RNC들(142a, 142b) 각각은 자신이 연결된 각각의 노드-B들(140a, 140b, 140c)을 제어하도록 구성될 수 있다. 또한, RNC들(142a, 142b) 각각은 외부 루프 전력 제어, 로드 제어, 승인 제어, 패킷 스케줄링, 핸드오버 제어, 매크로다이버시티(macrodiversity), 보안 기능들, 데이터 암호화 등과 같은 다른 기능을 수행하거나 지원하도록 구성될 수 있다.
도 13c에서 도시된 코어 네트워크(106)는 미디어 게이트웨이(media gateway; MGW)(144), 모바일 스위칭 센터(mobile switching center; MSC)(146), 서빙 GPRS 지원 노드(serving GPRS support node; SGSN)(148), 및/또는 게이트웨이 GPRS 지원 노드(gateway GPRS support node; GGSN)(150)를 포함할 수 있다. 상술한 엘리먼트들 각각이 코어 네트워크(106)의 부분으로서 도시되지만, 이들 엘리먼트들 중 임의의 엘리먼트는 코어 네트워크 운용자 이외의 다른 엔티티에 의해 소유되고 및/또는 운용될 수 있다는 것이 인지될 것이다.
RAN(103)의 RNC(142a)는 IuCS 인터페이스를 통해 코어 네트워크(106)의 MSC(146)에 연결될 수 있다. MSC(146)는 MGW(144)에 연결될 수 있다. MSC(146) 및 MGW(144)는 PSTN(108)과 같은 회선 교환 네트워크들에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공하여 WTRU들(102a, 102b, 102c)과 기존의 지상-라인 통신 디바이스들 간의 통신을 용이하게 할 수 있다.
RAN(103)의 RNC(142a)는 또한 IuPS 인터페이스를 통해 코어 네트워크(106)의 SGSN(148)에 연결될 수 있다. SGSN(148)은 GGSN(150)에 연결될 수 있다. SGSN(148) 및 GGSN(150)은 인터넷(110)과 같은 패킷-교환 네트워크들에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공하여 WTRU들(102a, 102b, 102c)과 IP-인에이블 디바이스들(IP-enabled devices) 간의 통신을 용이하게 할 수 있다.
위에서 언급한 바와 같이, 코어 네트워크(106)는 또한 다른 유선 또는 무선 네트워크들을 포함할 수 있는 네트워크들(112)에 연결될 수 있으며, 다른 유선 또는 무선 네트워크들은 다른 서비스 제공자들에 의해 소유되고 및/또는 운용된다.
도 13d는 일 실시예에 따른 RAN(104)과 코어 네트워크(107)의 시스템 다이어그램이다. 위에서 언급된 바와 같이, RAN(104)은 공중 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위해 E-UTRA 라디오 기술을 이용할 수 있다. RAN(104)은 또한 코어 네트워크(107)와 통신하게 될 수 있다.
RAN(104)이 e노드-B들(160a, 160b, 160c)을 포함할 수 있지만, RAN(104)은 일 실시예와 일관됨을 유지하면서 임의의 수의 e노드-B들을 포함할 수 있다는 것이 인지될 것이다. e노드-B들(160a, 160b, 160c)은 공중 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)와 통신하기 위해 하나 이상의 트랜시버들을 각각 포함할 수 있다. 일 실시예에서, e노드-B들(160a, 160b, 160c)은 MIMO 기술을 구현할 수 있다. 따라서 e노드-B(160a)는 예를 들어, 무선 신호들을 WTRU(102a)에 전송하고 WTRU(102a)로부터 무선 신호들을 수신하기 위해 다수의 안테나들을 이용할 수 있다.
e노드-B들(160a, 160b, 160c) 각각은 특정한 셀(도시되지 않음)과 연관될 수 있고, 라디오 자원 관리 판단들, 핸드오버 판단들, 업링크 및/또는 다운링크에서 사용자들의 스케줄링 등을 핸들링하도록 구성될 수 있다. 도 13d에 도시되는 바와 같이, e노드-B들(160a, 160b, 160c)은 X2 인터페이스를 통해 서로 통신할 수 있다.
도 13d에서 도시된 코어 네트워크(107)는 이동성 관리 게이트웨이(mobility management gateway; MME)(162), 서빙 게이트웨이(164), 및 패킷 데이터 네트워크(packet data network; PDN) 게이트웨이(166)를 포함할 수 있다. 앞선 엘리먼트들 각각이 코어 네트워크(107)의 부분으로서 도시되지만, 이들 엘리먼트들 중 임의의 것은 코어 네트워크 운용자 이외의 다른 엔티티에 의해 소유되고 및/또는 운용될 수 있다는 것이 인지될 것이다.
MME(162)는 S1 인터페이스를 통해 RAN(104)의 e노드-B들(160a, 160b, 160c) 각각에 연결될 수 있고 제어 노드로서 역할할 수 있다. 예를 들어, MME(162)는 WTRU들(102a, 102b, 102c)의 사용자들의 인증, 베어러 활성화/탈활성화, WTRU들(102a, 102b, 102c)의 초기 부착 동안 특정한 서빙 게이트웨이의 선택 등을 담당할 수 있다. MME(162)는 또한 RAN(104)과 GSM 또는 WCDMA와 같은 다른 라디오 기술들을 이용하는 다른 RAN들(도시되지 않음) 간의 스위칭을 위한 제어 평면 기능을 제공할 수 있다.
서빙 게이트웨이(164)는 S1 인터페이스를 통해 RAN(104)의 e노드-B들(160a, 160b, 160c) 각각에 연결될 수 있다. 서빙 게이트웨이(164)는 일반적으로 WTRU들(102a, 102b, 102c)에/로부터 사용자 데이터 패킷들을 라우팅 및 포워딩할 수 있다. 서빙 게이트웨이(164)는 또한 e노드-B간 핸드오버들 동안 사용자 평면들을 앵커(anchor)하고, 다운링크 데이터가 WTRU들(102a, 102b, 102c)에 대해 이용 가능할 때 페이징을 트리거하고, WTRU들(102a, 102b, 102c)의 콘택스트들을 관리 및 저장하는 등과 같은 다른 기능들을 수행할 수 있다.
서빙 게이트웨이(164)는 또한 WTRU들(102a, 102b, 102c)과 IP-인에이블 디바이스들 간의 통신들을 용이하게 하기 위해 인터넷(110)과 같은 패킷-교환 네트워크들에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공하는 PDN 게이트웨이(166)에 연결될 수 있다.
코어 네트워크(107)는 다른 네트워크들과의 통신들을 용이하게 할 수 있다. 예를 들어, 코어 네트워크(107)는 WTRU들(102a, 102b, 102c)과 종래의 육상-라인 통신 디바이스들 간의 통신들을 용이하게 하기 위해 PSTN(108)과 같은 회선-교환 네트워크들에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있다. 예를 들어, 코어 네트워크(107)는 코어 네트워크(107)와 PSTN(108) 간의 인터페이스로서 역할하는 IP 게이트웨이(예를 들어, IP 멀티미디어 서브시스템(multimedia subsystem; IMS)) 서버를 포함할 수 있거나, 또는 이와 통신할 수 있다. 또한, 코어 네트워크(107)는 다른 서비스 제공자들에 의해 소유되고 및/또는 운용되는 다른 유선 또는 무선 네트워크들을 포함할 수 있는 네트워크들(112)에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있다.
도 13e는 일 실시예에 따라 RAN(105)과 코어 네트워크(109)의 시스템 다이어그램이다. RAN(105)은 공중 인터페이스(117)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위해 IEEE 802.16 라디오 기술을 이용하는 액세스 서비스 네트워크(access service network; ASN)일 수 있다. 아래에서 추가로 기술된 바와 같이, WTRU들(102a, 102b, 102c), RAN(105) 및 코어 네트워크(109)의 상이한 기능적 엔티티들 간의 통신 링크들은 기준점들로서 정의될 수 있다.
도 13e에서 도시된 바와 같이, RAN(105)은 기지국들(180a, 180b, 180c) 및 ASN 게이트웨이(182)를 포함할 수 있지만, RAN(105)은 일 실시예와 일관됨을 유지하면서 임의의 수의 기지국들 및 ASN 게이트웨이들을 포함할 수 있다는 것이 인지될 것이다. 기지국들(180a, 180b, 180c)은 RAN(105)내의 특정한 셀(도시되지 않음)과 각각 연관될 수 있고, 공중 인터페이스(117)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위한 하나 이상의 트랜시버들을 각각 포함할 수 있다. 일 실시예에서, 기지국들(180a, 180b, 180c)은 MIMO 기술을 구현할 수 있다. 따라서 기지국(180a)은 예를 들어, WTRU들(102a)에 무선 신호들을 전송하고 이로부터 무선 신호들을 수신하기 위해 다수의 안테나들을 이용할 수 있다. 기지국들(180a, 180b, 180c)은 또한 핸드오프 트리거링, 터널 설정, 라디오 자원 관리, 트래픽 분류, 서비스 품질(quality of service; QoS) 정책 실시 등과 같은 이동성 관리 기능들을 제공할 수 있다. ASN 게이트웨이(182)는 트래픽 어그리게이션 지점(traffic aggregation point)으로서 역할할 수 있고 페이징, 가입자 프로파일의 캐싱, 코어 네트워크(109)로의 라우팅 등을 담당할 수 있다.
WTRU들(102a, 102b, 102c)과 RAN(105) 간의 공중 인터페이스(117)는 IEEE 802.16 규격을 구현하는 R1 기준점으로서 정의될 수 있다. 또한, WTRU들(102a, 102b, 102c) 각각은 코어 네트워크(109)와의 논리적 인터페이스(도시되지 않음)를 설정할 수 있다. WTRU들(102a, 102b, 102c)과 코어 네트워크(109) 간의 논리적 인터페이스는 인증, 인가, IP 호스트 구성 관리 및/또는 이동성 관리를 위해 이용될 수 있는 R2 기준점으로서 정의될 수 있다.
기지국들(180a, 180b, 180c) 각각 간의 통신 링크는 기지국 간의 데이터의 전달 및 WTRU 핸드오버들을 용이하게 하기 위한 프로토콜을 포함하는 R8 기준점으로서 정의될 수 있다. 기지국들(180a, 180b, 180c)과 ASN 게이트웨이(182) 간의 통신 링크는 R6 기준점으로서 정의될 수 있다. R6 기준점은 WTRU(102a, 102b, 102c) 각각과 연관되는 이동성 이벤트들에 기초하여 이동성 관리를 용이하게 하기 위한 프로토콜들을 포함할 수 있다.
도 13e에서 도시된 바와 같이, RAN(105)은 코어 네트워크(109)에 연결될 수 있다. RAN(105)과 코어 네트워크(109) 간의 통신 링크는 예를 들어, 데이터 전달 및 이동성 관리 능력들을 용이하게 하기 위한 프로토콜들을 포함하는 R3 기준점으로서 정의될 수 있다. 코어 네트워크(109)는 모바일 IP 홈 에이전트(mobile IP home agent; MIP-HA)(184), 인증, 인가, 과금(authentication, authorization, accounting; AAA) 서버(186) 및 게이트웨이(188)를 포함할 수 있다. 위의 엘리먼트들 각각이 코어 네트워크(109)의 부분으로서 도시되었지만, 이들 엘리먼트들 중 임의의 엘리먼트는 코어 네트워크 운용자 이외의 다른 엔티티에 의해 소유되고 및/또는 운용될 수 있다는 것이 인지될 것이다.
MIP-HA는 IP 어드레스 관리를 담당할 수 있고 WTRU들(102a, 102b, 102c)이 상이한 ASN들 및/또는 상이한 코어 네트워크들 사이에서 로밍하는 것을 가능하게 할 수 있다. MIP-HA(184)는 WTRU들(102a, 102b, 102c)과 IP-인에이블 디바이스들 간의 통신을 용이하게 하기 위해 인터넷(110)과 같은 패킷-교환 네트워크들에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있다. AAA 서버(186)는 사용자 인증 및 사용자 서비스들의 지원을 담당할 수 있다. 게이트웨이(188)는 다른 네트워크들과의 협력(interworking)을 용이하게 할 수 있다. 예를 들어, 게이트웨이(188)는 WTRU들(102a, 102b, 102c)과 종래의 육상-라인 통신 디바이스들 간의 통신을 용이하게 하기 위해 PSTN(108)과 같은 회선-교환 네트워크들에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있다. 또한, 게이트웨이(188)는 다른 서비스 제공자들에 의해 소유되고 및/또는 운용되는 다른 유선 또는 무선 네트워크들을 포함할 수 있는 네트워크들(112)에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있다.
도 13e에서 도시되진 않았지만, RAN(105)는 다른 ASN들에 연결될 수 있고, 코어 네트워크(109)는 다른 코어 네트워크들에 연결될 수 있다는 것이 인지될 것이다. RAN(105)과 다른 ASN들 간의 통신 링크는 RAN(105)과 다른 ASN들 간의 WTRU들(102a, 102b, 102c)의 이동성을 조절하기 위한 프로토콜들을 포함할 수 있는 R4 기준점으로서 정의될 수 있다. 코어 네트워크(109)와 다른 코어 네트워크들 간의 통신 링크는 홈 코어 네트워크들과 방문 코어 네트워크들 간의 협력을 용이하게 하기 위한 프로토콜들을 포함할 수 있는 R5 기준점으로서 정의될 수 있다.
위에서 참조된 통신 시스템들은 본 명세서에서 설명된 실시예들 중 하나 이상을 구현하는데 이용될 수 있다. 예를 들어, 통신 시스템들 또는 그의 부분들은 본 명세서에서 설명된 바와 같이 비디오 데이터를 전송 및/또는 정렬하는데 이용될 수 있다.
특징들 및 엘리먼트들이 특정한 결합들로 위에서 설명되었지만, 각각의 특징 또는 엘리먼트가 다른 특징들 및 엘리먼트들과의 임의의 결합으로 또는 단독으로 이용될 수 있다. 부가적으로, 특징들 및 엘리먼트들이 특정한 순서로 설명되었지만, 이들 특징들 및 엘리먼트들은 설명된 순서로 제한되지 않는다. 또한, 본 명세서에서 설명되는 방법들은 컴퓨터 또는 프로세서에 의한 실행을 위해 컴퓨터-판독 가능한 매체에 통합되는 컴퓨터 프로그램, 소프트웨어 또는 펌웨어로 구현될 수 있다. 컴퓨터-판독 가능한 매체들의 예들은 전자 신호들(유선 또는 무선 연결들을 통해 전송됨) 및 컴퓨터-판독 가능한 저장 매체들을 포함한다. 컴퓨터 판독 가능한 저장 매체들의 예들은, 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 레지스터, 캐시 메모리, 반도체 메모리 디바이스, 내부 하드 디스크들 및 분리형 디스크들과 같은 자기 매체들, 자기-광학 매체들 및 CD-ROM 디스크들 및 디지털 다용도 디스크들(DVD들)과 같은 광학 매체들을 포함(그러나 이들로 제한되지 않음)한다. 소프트웨어와 연관되는 프로세서는 WTRU, WTRU, UE, 단말, 기지국, RNC, 또는 임의의 호스트 컴퓨터에서 이용하기 위해 라디오 주파수 트랜시버를 구현하는데 이용될 수 있다.
106/107/109: 코어 네트워크 110: 인터넷
112: 다른 네트워크들 118: 프로세서
120: 트랜시버 124: 스피커/마이크로폰
126: 키패드 128: 디스플레이/터치패드
130: 비분리형 메모리 132: 분리형 메모리
134: 전원 136: GPS 칩셋
138 주변장치들 140a,b,c : 노드 B
160a, b, c: e노드-B 164: 서빙 게이트웨이
166: PDN 게이트웨이 180a,b,c: 기지국
182: ASN 게이트웨이 188: 게이트웨이

Claims (20)

  1. 다중-레이어 비디오 코딩을 위한 방법에 있어서,
    무선 송수신 유닛(wireless transmit/receive unit; WTRU)에 의해, 샘플링 그리드 정보를 포함하는 신호를 수신하는 단계로서, 상기 샘플링 그리드 정보는 루마 평면 위상 시프트 데이터 및 크로마 평면 위상 시프트 데이터를 포함하고, 상기 루마 평면 위상 시프트 데이터는 제1 비디오 레이어의 제1 화상(picture)의 루마 샘플링 그리드와 제2 비디오 레이어의 제2 화상의 루마 샘플링 그리드 간의 루마 위상 시프트를 특정하고, 상기 크로마 평면 위상 시프트 데이터는 상기 제1 화상의 크로마 샘플링 그리드와 상기 제2 화상의 크로마 샘플링 그리드 간의 크로마 위상 시프트를 특정하는 것인, 수신하는 단계;
    상기 WTRU에 의해, 상기 루마 평면 위상 시프트 데이터 및 상기 크로마 평면 위상 시프트 데이터에 기초하여 하나 이상의 다-위상(poly-phase) 필터를 결정하는 단계; 및
    상기 WTRU에 의해, 상기 수신된 샘플링 그리드 정보에 기초하여 그리고 상기 결정된 하나 이상의 다-위상 필터를 이용하여 샘플링 그리드 정정(correction)을 수행하여, 상기 제1 화상의 루마 샘플링 그리드를 상기 제2 화상의 루마 샘플링 그리드와 정렬시키고 상기 제1 화상의 크로마 샘플링 그리드를 상기 제2 화상의 크로마 샘플링 그리드와 정렬시키는 단계
    를 포함하는, 다중-레이어 비디오 코딩 방법.
  2. 제 1 항에 있어서,
    하나 이상의 다-위상 필터를 결정하는 단계는, 하나 이상의 고효율 비디오 코딩(High Efficiency Video Coding; HEVC) 다-위상 필터를 선택하는 단계를 포함하는 것인, 다중-레이어 비디오 코딩 방법.
  3. 제 1 항에 있어서,
    상기 크로마 평면 위상 시프트 데이터는, 수평 크로마 위상 시프트 또는 수직 크로마 위상 시프트 중 적어도 하나를 포함하는 것인, 다중-레이어 비디오 코딩 방법.
  4. 제 1 항에 있어서,
    상기 루마 평면 위상 시프트 데이터는, 수평 루마 위상 시프트 또는 수직 루마 위상 시프트 중 적어도 하나를 포함하는 것인, 다중-레이어 비디오 코딩 방법.
  5. 제 1 항에 있어서,
    상기 신호는 플래그를 포함하고, 상기 플래그는 상기 샘플링 그리드 정보가 상기 신호에 포함되어 있다는 것을 표시하는 것인, 다중-레이어 비디오 코딩 방법.
  6. 제 1 항에 있어서,
    상기 제1 비디오 레이어는 베이스 레이어이고, 상기 제2 비디오 레이어는 강화 레이어인 것인, 다중-레이어 비디오 코딩 방법.
  7. 제 1 항에 있어서,
    상기 루마 평면 위상 시프트 데이터는 상기 제1 비디오 레이어의 상기 제1 화상과 상기 제2 비디오 레이어의 상기 제2 화상 간의 비-제로(non-zero) 상대적 위상 시프트를 표시하고,
    상기 크로마 평면 위상 시프트 데이터는 상기 제1 비디오 레이어의 상기 제1 화상과 상기 제2 비디오 레이어의 상기 제2 화상 간의 비-제로 상대적 위상 시프트를 표시하는 것인, 다중-레이어 비디오 코딩 방법.
  8. 장치에 있어서,
    프로세서를 포함하고, 상기 프로세서는 적어도,
    샘플링 그리드 정보를 포함하는 신호를 수신하고 - 상기 샘플링 그리드 정보는 루마 평면 위상 시프트 데이터 및 크로마 평면 위상 시프트 데이터를 포함하고, 상기 루마 평면 위상 시프트 데이터는 제1 비디오 레이어의 제1 화상의 루마 샘플링 그리드와 제2 비디오 레이어의 제2 화상의 루마 샘플링 그리드 간의 루마 위상 시프트를 특정하고, 상기 크로마 평면 위상 시프트 데이터는 상기 제1 화상의 크로마 샘플링 그리드와 상기 제2 화상의 크로마 샘플링 그리드 간의 크로마 위상 시프트를 특정함 - ;
    상기 루마 평면 위상 시프트 데이터 및 상기 크로마 평면 위상 시프트 데이터에 기초하여 하나 이상의 다-위상 필터를 결정하며;
    상기 수신된 샘플링 그리드 정보에 기초하여 그리고 상기 결정된 하나 이상의 다-위상 필터를 이용하여 샘플링 그리드 정정을 수행하여, 상기 제1 화상의 루마 샘플링 그리드를 상기 제2 화상의 루마 샘플링 그리드와 정렬시키고 상기 제1 화상의 크로마 샘플링 그리드를 상기 제2 화상의 크로마 샘플링 그리드와 정렬시키도록
    구성된 것인, 장치.
  9. 제 8 항에 있어서,
    상기 루마 평면 위상 시프트 데이터 및 상기 크로마 평면 위상 시프트 데이터에 기초하여 하나 이상의 다-위상 필터를 결정하는 것은, 하나 이상의 고효율 비디오 코딩(HEVC) 다-위상 필터를 선택하는 것을 포함하는 것인, 장치.
  10. 제 8 항에 있어서,
    상기 크로마 평면 위상 시프트 데이터는, 수평 크로마 위상 시프트 또는 수직 크로마 위상 시프트 중 적어도 하나를 포함하는 것인, 장치.
  11. 제 8 항에 있어서,
    상기 루마 평면 위상 시프트 데이터는, 수평 루마 위상 시프트 또는 수직 루마 위상 시프트 중 적어도 하나를 포함하는 것인, 장치.
  12. 제 8 항에 있어서,
    상기 신호는 플래그를 포함하고, 상기 플래그는 상기 샘플링 그리드 정보가 상기 신호에 포함되어 있다는 것을 표시하는 것인, 장치.
  13. 제 8 항에 있어서,
    상기 제1 비디오 레이어는 베이스 레이어이고, 상기 제2 비디오 레이어는 강화 레이어인 것인, 장치.
  14. 제 8 항에 있어서,
    상기 루마 평면 위상 시프트 데이터는 상기 제1 비디오 레이어의 상기 제1 화상과 상기 제2 비디오 레이어의 상기 제2 화상 간의 비-제로(non-zero) 상대적 위상 시프트를 표시하고,
    상기 크로마 평면 위상 시프트 데이터는 상기 제1 비디오 레이어의 상기 제1 화상과 상기 제2 비디오 레이어의 상기 제2 화상 간의 비-제로 상대적 위상 시프트를 표시하는 것인, 장치.
  15. 다중-레이어 비디오 코딩을 위한 방법에 있어서,
    샘플링 그리드 정보를 포함하는 신호를 수신하는 단계로서, 상기 샘플링 그리드 정보는 루마 평면 위상 시프트 데이터 및 크로마 평면 위상 시프트 데이터를 포함하고, 상기 루마 평면 위상 시프트 데이터는 제1 비디오 레이어의 제1 화상의 루마 샘플링 그리드와 제2 비디오 레이어의 제2 화상의 루마 샘플링 그리드 간의 루마 위상 시프트를 특정하고, 상기 크로마 평면 위상 시프트 데이터는 상기 제1 화상의 크로마 샘플링 그리드와 상기 제2 화상의 크로마 샘플링 그리드 간의 크로마 위상 시프트를 특정하는 것인, 수신하는 단계;
    상기 루마 평면 위상 시프트 데이터 및 상기 크로마 평면 위상 시프트 데이터 중 적어도 하나에 기초하여 하나 이상의 다-위상 필터를 선택하는 단계; 및
    상기 하나 이상의 다-위상 필터를 적용하여 상기 제1 화상의 루마 샘플링 그리드를 상기 제2 화상의 루마 샘플링 그리드와 정렬시키고 상기 제1 화상의 크로마 샘플링 그리드를 상기 제2 화상의 크로마 샘플링 그리드와 정렬시키는 단계
    를 포함하는, 다중-레이어 비디오 코딩 방법.
  16. 제 15 항에 있어서,
    상기 루마 평면 위상 시프트 데이터 및 상기 크로마 평면 위상 시프트 데이터 중 적어도 하나에 기초하여 하나 이상의 다-위상 필터를 선택하는 단계는, 하나 이상의 고효율 비디오 코딩(HEVC) 다-위상 필터를 선택하는 단계를 포함하는 것인, 다중-레이어 비디오 코딩 방법.
  17. 제 16 항에 있어서,
    상기 크로마 평면 위상 시프트 데이터는, 수평 크로마 위상 시프트 또는 수직 크로마 위상 시프트 중 적어도 하나를 포함하는 것인, 다중-레이어 비디오 코딩 방법.
  18. 제 16 항에 있어서,
    상기 루마 평면 위상 시프트 데이터는, 수평 루마 위상 시프트 또는 수직 루마 위상 시프트 중 적어도 하나를 포함하는 것인, 다중-레이어 비디오 코딩 방법.
  19. 제 15 항에 있어서,
    상기 신호는 플래그를 포함하고, 상기 플래그는 상기 샘플링 그리드 정보가 상기 신호에 포함되어 있다는 것을 표시하는 것인, 다중-레이어 비디오 코딩 방법.
  20. 제 15 항에 있어서,
    상기 제1 비디오 레이어는 베이스 레이어이고, 상기 제2 비디오 레이어는 강화 레이어인 것인, 다중-레이어 비디오 코딩 방법.
KR1020177008123A 2012-08-06 2013-08-06 다중-레이어 비디오 코딩에서 공간적 레이어들에 대한 샘플링 그리드 정보 KR101959645B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261680244P 2012-08-06 2012-08-06
US61/680,244 2012-08-06
US201361809102P 2013-04-05 2013-04-05
US61/809,102 2013-04-05
PCT/US2013/053733 WO2014025741A2 (en) 2012-08-06 2013-08-06 Sampling grid information for spatial layers in multi-layer video coding

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020157005989A Division KR101721559B1 (ko) 2012-08-06 2013-08-06 다중-레이어 비디오 코딩에서 공간적 레이어들에 대한 샘플링 그리드 정보

Publications (2)

Publication Number Publication Date
KR20170038089A KR20170038089A (ko) 2017-04-05
KR101959645B1 true KR101959645B1 (ko) 2019-03-18

Family

ID=49029202

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020157005989A KR101721559B1 (ko) 2012-08-06 2013-08-06 다중-레이어 비디오 코딩에서 공간적 레이어들에 대한 샘플링 그리드 정보
KR1020177008123A KR101959645B1 (ko) 2012-08-06 2013-08-06 다중-레이어 비디오 코딩에서 공간적 레이어들에 대한 샘플링 그리드 정보

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020157005989A KR101721559B1 (ko) 2012-08-06 2013-08-06 다중-레이어 비디오 코딩에서 공간적 레이어들에 대한 샘플링 그리드 정보

Country Status (10)

Country Link
US (3) US9924166B2 (ko)
EP (1) EP2880865A2 (ko)
JP (4) JP6401161B2 (ko)
KR (2) KR101721559B1 (ko)
CN (2) CN104704831B (ko)
IL (1) IL237025B (ko)
IN (1) IN2015DN00935A (ko)
MY (1) MY173879A (ko)
TW (3) TWI674792B (ko)
WO (1) WO2014025741A2 (ko)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10448032B2 (en) * 2012-09-04 2019-10-15 Qualcomm Incorporated Signaling of down-sampling location information in scalable video coding
WO2014144559A1 (en) * 2013-03-15 2014-09-18 General Instrument Corporation Adaptive sampling filter process for scalable video coding
US9503732B2 (en) 2013-04-10 2016-11-22 Arris Enterprises, Inc. Re-sampling with phase offset adjustment for luma and chroma to select filters in scalable video coding
WO2014201353A1 (en) * 2013-06-14 2014-12-18 General Instrument Corporation Re-sampling filters for scalable video coding
KR101712108B1 (ko) * 2013-07-16 2017-03-03 삼성전자 주식회사 비트 뎁스 및 컬러 포맷의 변환을 동반하는 업샘플링 필터를 이용하는 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치
KR20150029593A (ko) 2013-09-10 2015-03-18 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
EP3057327A4 (en) * 2013-10-08 2017-05-17 Sharp Kabushiki Kaisha Image decoder, image encoder, and encoded data converter
US9648333B2 (en) * 2013-10-11 2017-05-09 Vid Scale, Inc. High level syntax for HEVC extensions
WO2015060614A1 (ko) * 2013-10-22 2015-04-30 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150046742A (ko) * 2013-10-22 2015-04-30 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
MX360338B (es) * 2013-10-29 2018-10-30 Kt Corp Metodo y dispositivo de codificacion/decodificacion de señal de video de multiples capas.
KR20160105861A (ko) 2014-01-02 2016-09-07 브이아이디 스케일, 인크. 혼합된 인터레이스 및 프로그레시브 콘텐트에 의한 스케일러블 비디오 코딩을 위한 방법들, 및 시스템들
CA2935303C (en) 2014-01-03 2023-04-11 Arris Enterprises Llc Conditionally parsed extension syntax for hevc extension processing
CA2943121C (en) 2014-03-18 2020-09-08 Arris Enterprises Llc Scalable video coding using reference and scaled reference layer offsets
US9986251B2 (en) 2014-05-01 2018-05-29 Arris Enterprises Llc Reference layer and scaled reference layer offsets for scalable video coding
US10785492B2 (en) 2014-05-30 2020-09-22 Arris Enterprises Llc On reference layer and scaled reference layer offset parameters for inter-layer prediction in scalable video coding
KR102440941B1 (ko) 2015-03-03 2022-09-05 삼성전자주식회사 이미지 처리 정보에 따라 크기와 방향을 갖는 초기 위상을 계산할 수 있는 이미지 처리 장치들
CN106162180A (zh) 2016-06-30 2016-11-23 北京奇艺世纪科技有限公司 一种图像编解码方法及装置
EP3643063A1 (en) * 2017-06-21 2020-04-29 Vid Scale, Inc. Adaptive quantization for 360-degree video coding
US10986356B2 (en) 2017-07-06 2021-04-20 Samsung Electronics Co., Ltd. Method for encoding/decoding image and device therefor
US11190784B2 (en) 2017-07-06 2021-11-30 Samsung Electronics Co., Ltd. Method for encoding/decoding image and device therefor
WO2019009447A1 (ko) * 2017-07-06 2019-01-10 삼성전자 주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
WO2019009448A1 (ko) * 2017-07-06 2019-01-10 삼성전자 주식회사 영상을 부호화 또는 복호화하는 방법 및 장치
CN109284952B (zh) * 2017-07-21 2023-04-18 菜鸟智能物流控股有限公司 一种归属区域的定位方法和装置
CA3108402A1 (en) 2018-08-03 2020-02-06 V-Nova International Ltd Entropy coding for signal enhancement coding
FR3087309B1 (fr) * 2018-10-12 2021-08-06 Ateme Optimisation d'un sous-echantillonnage intervenant avant le codage d'images en compression
WO2020080765A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
WO2020080665A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
CN114365490A (zh) 2019-09-09 2022-04-15 北京字节跳动网络技术有限公司 高精度图像和视频编解码的系数缩放
JP7323712B2 (ja) 2019-09-21 2023-08-08 北京字節跳動網絡技術有限公司 画像およびビデオコーディングのための高精度変換および量子化
KR102436512B1 (ko) 2019-10-29 2022-08-25 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
WO2021134019A1 (en) 2019-12-26 2021-07-01 Bytedance Inc. Constraints on coding of layered video
KR20220115958A (ko) 2019-12-26 2022-08-19 바이트댄스 아이엔씨 코딩된 비트스트림들에서의 비디오 계층들의 시그널링에 대한 제약들
CN114902672A (zh) 2019-12-26 2022-08-12 字节跳动有限公司 视频编解码中的档次-层-级别参数集
WO2021134055A1 (en) 2019-12-27 2021-07-01 Bytedance Inc. Subpicture signaling in parameter sets
CN115004669A (zh) 2020-01-09 2022-09-02 字节跳动有限公司 不同sei消息的解码顺序
KR102287942B1 (ko) 2020-02-24 2021-08-09 삼성전자주식회사 전처리를 이용한 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
KR20230125985A (ko) 2022-02-22 2023-08-29 한국전자통신연구원 심층신경망 기반 다계층 구조를 활용한 오디오 신호의 압축 방법, 압축 장치, 및 그 훈련 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011090790A1 (en) * 2010-01-22 2011-07-28 Thomson Licensing Methods and apparatus for sampling -based super resolution vido encoding and decoding

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6252906B1 (en) * 1998-07-31 2001-06-26 Thomson Licensing S.A. Decimation of a high definition video signal
JP3431542B2 (ja) 1999-06-22 2003-07-28 株式会社東芝 無線基地局
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
KR20060105407A (ko) * 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US8488457B2 (en) 2003-11-14 2013-07-16 Interdigital Technology Corporation Wireless communication method and apparatus for transferring buffered enhanced uplink data from a mobile station to a node-B
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
JP4752237B2 (ja) * 2004-10-15 2011-08-17 ソニー株式会社 画像フィルタ回路及びフィルタリング処理方法
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
US8660180B2 (en) * 2005-04-01 2014-02-25 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
US7876833B2 (en) 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
US20060268886A1 (en) 2005-05-04 2006-11-30 Interdigital Technology Corporation Wireless communication method and system for enhancing the capability of WLAN control frames
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US7535383B2 (en) 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
US8120660B2 (en) 2006-07-10 2012-02-21 Freescale Semiconductor, Inc. Image data up sampling
US8014613B2 (en) * 2007-04-16 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image parameter prediction
GB2446670C (en) 2007-07-11 2013-03-13 Flexlife Ltd Inspection method
CN101511017B (zh) * 2009-03-20 2011-02-09 西安电子科技大学 基于网格的立体视频空间可分级编码器及其编码方法
WO2012012444A2 (en) * 2010-07-19 2012-01-26 Dolby Laboratories Licensing Corporation Enhancement methods for sampled and multiplexed image and video data
CN104221373B (zh) * 2011-11-08 2017-10-27 谷歌技术控股有限责任公司 用于采样自适应偏移代码化和/或信号通知的设备和方法
JP2013150173A (ja) * 2012-01-19 2013-08-01 Sony Corp 画像処理装置および方法
US9420280B2 (en) * 2012-06-08 2016-08-16 Qualcomm Incorporated Adaptive upsampling filters
IN2015DN02130A (ko) * 2012-09-27 2015-08-14 Dolby Lab Licensing Corp
TWI597968B (zh) * 2012-12-21 2017-09-01 杜比實驗室特許公司 在高位元深度視訊的可適性編碼中，高精度升取樣

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011090790A1 (en) * 2010-01-22 2011-07-28 Thomson Licensing Methods and apparatus for sampling -based super resolution vido encoding and decoding

Also Published As

Publication number Publication date
TWI720543B (zh) 2021-03-01
TWI674792B (zh) 2019-10-11
CN110087091B (zh) 2021-11-12
WO2014025741A3 (en) 2014-05-30
JP6421224B2 (ja) 2018-11-07
KR101721559B1 (ko) 2017-03-30
US20180160124A1 (en) 2018-06-07
JP2018026863A (ja) 2018-02-15
JP2021192514A (ja) 2021-12-16
TW201429260A (zh) 2014-07-16
CN104704831A (zh) 2015-06-10
CN110087091A (zh) 2019-08-02
JP2019024250A (ja) 2019-02-14
US9924166B2 (en) 2018-03-20
EP2880865A2 (en) 2015-06-10
TW201836356A (zh) 2018-10-01
MY173879A (en) 2020-02-26
KR20170038089A (ko) 2017-04-05
US10666953B2 (en) 2020-05-26
WO2014025741A2 (en) 2014-02-13
US20140037015A1 (en) 2014-02-06
US11405621B2 (en) 2022-08-02
CN104704831B (zh) 2019-01-04
IL237025B (en) 2019-03-31
US20200252629A1 (en) 2020-08-06
IN2015DN00935A (ko) 2015-06-12
TW201947934A (zh) 2019-12-16
TWI631850B (zh) 2018-08-01
JP6964567B2 (ja) 2021-11-10
JP2015529066A (ja) 2015-10-01
JP6401161B2 (ja) 2018-10-03
KR20150041098A (ko) 2015-04-15

Similar Documents

Publication Publication Date Title
US11405621B2 (en) Sampling grid information for spatial layers in multi-layer video coding
US10986370B2 (en) Combined scalability processing for multi-layer video coding
US10321130B2 (en) Enhanced deblocking filters for video coding
KR101774675B1 (ko) 다층 비디오 코딩을 위한 적응적 업샘플링
US10277909B2 (en) Single loop decoding based interlayer prediction
US10708605B2 (en) Inter-layer reference picture enhancement for multiple layer video coding
US9973751B2 (en) Slice base skip mode signaling for multiple layer video coding
US10104374B2 (en) Inter-layer parameter set for HEVC extensions
US20150358635A1 (en) Motion information signaling for scalable video coding
KR20160074601A (ko) 비디오 송신 시스템에 대한 에러 은닉 모드 시그널링

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant