KR101754999B1 - 스케일러블 비디오 코딩을 위한 모션 벡터 예측 방법 및 장치 - Google Patents

스케일러블 비디오 코딩을 위한 모션 벡터 예측 방법 및 장치 Download PDF

Info

Publication number
KR101754999B1
KR101754999B1 KR1020157007116A KR20157007116A KR101754999B1 KR 101754999 B1 KR101754999 B1 KR 101754999B1 KR 1020157007116 A KR1020157007116 A KR 1020157007116A KR 20157007116 A KR20157007116 A KR 20157007116A KR 101754999 B1 KR101754999 B1 KR 101754999B1
Authority
KR
South Korea
Prior art keywords
picture
video block
base layer
layer
intermediate layer
Prior art date
Application number
KR1020157007116A
Other languages
English (en)
Other versions
KR20150046228A (ko
Inventor
시아오유 시우
얀 예
용 헤
유웬 헤
Original Assignee
브이아이디 스케일, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 브이아이디 스케일, 인크. filed Critical 브이아이디 스케일, 인크.
Publication of KR20150046228A publication Critical patent/KR20150046228A/ko
Application granted granted Critical
Publication of KR101754999B1 publication Critical patent/KR101754999B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

층간 모션 맵핑 정보를 이용하여 비트스트림의 향상 레이어의 시간적 모션 벡터 예측(TMVP)을 할 수 있다. 예를 들면 중간 레이어 비디오 블록의 참조 화상 및 모션 벡터(MV)를 결정할 수 있다. 참조 화상은 공존형 기본 레이어 비디오 블록에 기초하여 결정할 수 있다. 예를 들면 참조 화상은 공존형 기본 레이어 비디오 블록의 참조 화상의 공존형 중간 레이어 참조 화상일 수 있다. MV는 공존형 기본 레이어 비디오 블록의 MV에 기초하여 결정할 수 있다. 예를 들면 MV는 공존형 기본 레이어 비디오 블록의 MV를 결정하고 기본 레이어와 향상 레이어 간의 공간 비율에 따라 상기 공존형 기본 레이어 비디오 블록의 MV를 스케일링함으로써 결정할 수 있다. TMVP는 중간 레이어 비디오 블록의 MV를 이용하여 향상 레이어 화상에서 수행될 수 있다.

Description

스케일러블 비디오 코딩을 위한 모션 벡터 예측 방법 및 장치{METHOD AND APPARATUS OF MOTION VECTOR PREDICTION FOR SCALABLE VIDEO CODING}
관련 출원에 대한 교차 참조
본 출원은 2012년 8월 29일자 출원한 미국 가특허 출원 제61/694,555호, 2012년 12월 7일자 출원한 미국 가특허 출원 제61/734,650호 및 2013년 8월 16일자 출원한 미국 가특허 출원 제61/866,822호를 우선권 주장하며, 상기 가특허 출원들의 내용은 여기에서의 인용에 의해 본원에 통합된다.
지난 20년 동안 디지털 영상 압축 기술은 효율적인 디지털 영상 통신, 분배 및 소비가 가능하도록 개발 및 표준화되어 왔다. 상업적으로 폭넓게 전개되는 표준들의 대부분은 MPEG-2 및 H.264(MPEG-4 파트 10)과 같이 ISO/IEC 및 ITU-T에 의해 개발된다. 영상 압축 기술의 출현 및 성숙도에 기인하여 고효율 비디오 코딩(High Efficiency Video Coding, HEVC)이 개발될 수 있다.
위성, 케이블 및 지상 전송 채널을 통한 전통적인 디지털 영상 서비스와 비교할 때, 비제한적인 예를 들자면 영상 채팅, 모바일 비디오 및 스트리밍 비디오와 같이 점점 더 많은 영상 애플리케이션들이 클라이언트뿐만 아니라 네트워크 측에서 이종일 수 있는 환경에서 사용될 수 있다. 스마트폰, 태블릿 및 TV는 클라이언트 측에 우세한 것이고, 이때 영상은 인터넷, 모바일 네트워크, 및/또는 이들의 조합을 통해 전송될 수 있다. 사용자 경험 및 영상 서비스 품질을 개선하기 위해, 스케일러블 비디오 코딩(scalable video coding, SVC)을 구현할 수 있다. SVC에 있어서, 신호는 최고 해상도로 1회 인코딩되지만, 애플리케이션에 의해 요구되고 클라이언트 장치에 의해 지원되는 특정 레이트 및 해상도에 따라서 스트림의 부분집합으로부터 디코딩할 수 있다. 국제 영상 표준 MPEG-2 비디오, H.263, MPEG-4 비주얼 및 H.264는 확장성 모드(scalability mode)를 지원하는 툴 및/또는 프로필을 가질 수 있다.
중간 레이어(inter-layer) 모션 맵핑 정보를 이용하여 비트스트림의 향상 레이어(enhancement layer)의 시간적 모션 벡터 예측(temporal motion vector prediction, TMVP)을 할 수 있다. 예를 들면, 향상 레이어 비디오 블록의 참조 화상은 공존형 기본 레이어(base layer) 비디오 블록에 기초하여 결정될 수 있다. 향상 레이어 비디오 블록은 비트스트림의 향상 레이어와 연관되고 공존형 기본 레이어 비디오 블록은 비트스트림의 기본 레이어와 연관될 수 있다. 예를 들면, 향상 레이어 비디오 블록은 향상 레이어 화상과 연관되고 공존형 기본 레이어 비디오 블록은 기본 레이어 화상과 연관될 수 있다. 공존형 기본 레이어 비디오 블록은 향상 레이어 비디오 블록과 면적에 있어서 최대 중첩을 갖는 것이 특징인 공존형 기본 레이어 화상의 비디오 블록을 선택함으로써 결정될 수 있다. 비디오 블록은 임의 레벨의 비트스트림에서의 동작 단위일 수 있다. 비디오 블록은 임의 사이즈(예를 들면, 블록 사이즈(예컨대 16×16), PU, SPU 등)를 가질 수 있다.
향상 레이어 비디오 블록의 참조 화상은 공존형 기본 레이어 비디오 블록의 참조 화상을 결정함으로써 결정될 수 있다. 향상 레이어 비디오 블록의 참조 화상은 공존형 기본 레이어 비디오 블록의 참조 화상의 공존형 향상 레이어 화상일 수 있다. 향상 레이어 비디오 블록의 참조 화상은 중간 레이어 비디오 블록의 참조 화상을 결정하기 위해 공존형 기본 레이어 비디오 블록의 참조 화상을 이용하고 향상 레이어 비디오 블록의 참조 화상을 결정하기 위해 중간 레이어 비디오 블록의 참조 화상을 이용하여 공존형 기본 레이어 비디오 블록의 참조 화상을 결정함으로써 결정될 수 있다. 상기 중간 레이어 비디오 블록은 향상 레이어 비디오 블록 및/또는 기본 레이어 비디오 블록과 공존할 수 있다.
향상 레이어 비디오 블록의 모션 벡터(motion vector, MV)는 공존형 기본 레이어 비디오 블록의 MV에 기초하여 결정할 수 있다. 향상 레이어 비디오 블록의 MV는 공존형 기본 레이어 비디오 블록의 MV를 결정하고, 향상 레이어 비디오 블록의 MV를 결정하기 위해 기본 레이어와 향상 레이어 간의 공간 비율에 따라 상기 공존형 기본 레이어 비디오 블록의 MV를 스케일링함으로써 결정할 수 있다.
향상 레이어 비디오 블록의 MV는 공존형 기본 레이어 비디오 블록의 MV를 결정하고, 중간 레이어 비디오 블록의 MV를 결정하기 위해 기본 레이어와 향상 레이어 간의 공간 비율에 따라 상기 공존형 기본 레이어 비디오 블록의 MV를 스케일링하며, 상기 중간 레이어 비디오 블록의 MV에 기초하여 향상 레이어 비디오 블록의 MV를 예측함으로써 결정할 수 있다. 예를 들면, 향상 레이어 비디오 블록의 MV는 중간 레이어 비디오 블록의 MV에 대하여 시간적 스케일링을 수행함으로써 중간 레이어 비디오 블록의 MV에 기초하여 예측될 수 있다. 상기 중간 레이어 비디오 블록은 향상 레이어 비디오 블록 및/또는 기본 레이어 비디오 블록과 공존할 수 있다.
TMVP는 중간 레이어 비디오 블록의 MV 및/또는 참조 화상을 이용하여 향상 레이어 비디오 블록에서 수행될 수 있다. 향상 레이어 비디오 블록은 향상 레이어 비디오 블록의 참조 화상 및/또는 MV, 및/또는 중간 레이어 비디오 블록의 참조 화상 및/또는 MV에 기초하여 디코딩될 수 있다.
방법은 기본 레이어 및 향상 레이어를 포함한 비트스트림을 수신하는 단계와, 인코드된 비트스트림의 향상 레이어를 시간적 모션 벡터 예측(TMVP)을 이용하여 디코딩하는 단계를 포함할 수 있다. 중간 레이어 참조 화상은 향상 레이어의 TMVP용의 공존형 참조 화상으로서 사용할 수 있다.
인코드된 비트스트림의 향상 레이어를 TMVP를 이용하여 디코딩하는 단계는 향상 레이어 화상을 TMVP를 이용하여 디코딩하는 단계를 포함할 수 있다. 향상 레이어 화상을 TMVP를 이용하여 디코딩하는 단계는 중간 레이어 참조 화상의 모션 벡터(MV) 필드를 결정하는 단계와, 상기 중간 레이어 참조 화상의 MV 필드에 기초하여 향상 레이어 화상을 디코딩하는 단계를 포함할 수 있다. 상기 중간 레이어 참조 화상의 MV 필드는 공존형 기본 레이어 화상의 MV 필드에 기초하여 결정할 수 있다. MV 필드는 중간 레이어 참조 화상의 비디오 블록의 MV 및 참조 화상 인덱스를 포함할 수 있다. 예를 들면, MV 필드는 중간 레이어 참조 화상의 하나 이상의 비디오 블록의 MV 및 하나 이상의 참조 화상 인덱스를 포함할 수 있다(예를 들면, MV 필드가 P 슬라이스인지 또는 B 슬라이스인지에 따라서). 상기 중간 레이어 참조 화상의 MV 필드를 결정하는 단계는 공존형 기본 레이어 화상의 압축 MV 필드를 결정하는 단계와, 상기 공존형 기본 레이어 화상의 압축 MV 필드에 기초하여 중간 레이어 참조 화상의 MV 필드를 결정하는 단계를 포함할 수 있다.
상기 중간 레이어 참조 화상의 MV 필드를 결정하는 단계는 중간 레이어 참조 화상의 비디오 블록의 참조 화상 및 MV를 결정하는 단계를 포함할 수 있다. 상기 중간 레이어 참조 화상의 비디오 블록의 참조 화상 및 MV를 결정하는 단계는 공존형 기본 레이어 비디오 블록의 참조 화상에 기초하여 중간 레이어 비디오 블록의 참조 화상을 결정하는 단계와, 상기 공존형 기본 레이어 비디오 블록의 MV에 기초하여 중간 레이어 비디오 블록의 MV를 결정하는 단계를 포함할 수 있다. 상기 공존형 기본 레이어 비디오 블록은 상기 중간 레이어 참조 화상의 비디오 블록과 면적에 있어서 최대 중첩을 갖는 것이 특징인 공존형 기본 레이어 화상의 비디오 블록을 선택함으로써 결정할 수 있다.
중간 레이어 비디오 블록의 참조 화상을 결정하는 단계는 공존형 기본 레이어 비디오 블록의 참조 화상을 결정하는 단계와, 중간 레이어 비디오 블록의 참조 화상을 결정하는 단계를 포함할 수 있다. 상기 중간 레이어 비디오 블록의 참조 화상은 공존형 기본 레이어 비디오 블록의 참조 화상의 공존형 기본 레이어 참조 화상일 수 있다. 상기 중간 레이어 비디오 블록의 MV를 결정하는 단계는 상기 공존형 기본 레이어 비디오 블록의 MV를 결정하는 단계와, 상기 중간 레이어 비디오 블록의 MV를 결정하기 위해 상기 기본 레이어와 향상 레이어 간의 공간 비율에 따라서 상기 공존형 기본 레이어 비디오 블록의 MV를 스케일링하는 단계를 포함할 수 있다.
향상 레이어 비디오 블록의 MV 필드는 중간 레이어 비디오 블록의 MV 필드에 기초하여 결정할 수 있다. 향상 레이어 비디오 블록은 중간 레이어 비디오 블록 및/또는 기본 레이어 비디오 블록과 공존할 수 있다. 예를 들면, 향상 레이어 비디오 블록의 참조 화상은 중간 레이어 비디오 블록의 참조 화상에 기초하여 결정할 수 있다(예를 들면, 공존형 향상 레이어 화상일 수 있다). 향상 레이어 비디오 블록의 MV는 중간 레이어 비디오 블록의 MV에 기초하여 결정할 수 있다. 예를 들면, 중간 레이어 비디오 블록의 MV는 향상 레이어 비디오 블록의 MV를 결정하기 위해 스케일(예를 들면, 시간적으로 스케일)될 수 있다. 향상 레이어 비디오 블록은 향상 레이어 비디오 블록의 MV 필드에 기초하여 디코딩될 수 있다.
방법은 기본 레이어, 향상 레이어 및 층간 모션 맵핑 정보를 포함한 비트스트림을 수신하는 단계와, 향상 레이어의 층간 모션 예측을 수행하는 단계를 포함할 수 있다. 층간 모션 예측은 상기 층간 맵핑 정보에 기초하여 상기 향상 레이어에 대하여 가능하다고 결정할 수 있다.
층간 맵핑 정보는 비트스트림의 시퀀스 레벨로 신호될 수 있다. 예를 들면, 층간 맵핑 정보는 비트스트림의 시퀀스 레벨로 신호되는 변수(예를 들면, 플래그)일 수 있다. 층간 맵핑 정보는 비트스트림의 시퀀스 레벨로 추론될 수 있다. 층간 맵핑 정보는 비트스트림의 비디오 파라미터 집합(video parameter set, VPS) 내의 변수(예를 들면, 플래그)를 통해 신호될 수 있다(예를 들면, 층간 맵핑 정보는 비트스트림의 VPS 내의 플래그일 수 있다). 예를 들면, 층간 맵핑 정보는 비트스트림의 시퀀스 파라미터 집합(sequence parameter set, SPS) 내의 변수(예를 들면, 플래그)를 통해 신호될 수 있다(예를 들면, 층간 맵핑 정보는 비트스트림의 SPS 내의 플래그일 수 있다). 예를 들면, 층간 맵핑 정보는 비트스트림의 화상 파라미터 집합(picture parameter set, PPS) 내의 변수(예를 들면, 플래그)를 통해 신호될 수 있다(예를 들면, 층간 맵핑 정보는 비트스트림의 PPS 내의 플래그일 수 있다).
도 1은 SVC 공간 스케일러블 코딩을 위한 추가적인 층간 예측을 가진 스케일러블 구조의 예를 보인 도이다.
도 2는 HEVC 공간 스케일러블 코딩을 위해 고려할 수 있는 예시적인 층간 예측 구조를 보인 도이다.
도 3은 공간 모션 벡터(MV) 예측(SMVP)의 예를 보인 도이다.
도 4는 시간 MV 예측(TMVP)의 예를 보인 도이다.
도 5는 업샘플링된 기본 레이어에 대한 기본 레이어의 예측 구조 중복의 예를 보인 도이다.
도 6은 업샘플링된 기본 레이어의 SPU와 원래 기본 레이어의 SPU 간의 예시적인 관계를 보인 도이다.
도 7A 내지 도 7C는 기본 레이어 화상의 슬라이스와 기처리된 기본 레이어 화상의 슬라이스 간의 예시적인 관계를 보인 도이다.
도 8A는 시간적 단기 MV들 간의 MV 예측을 보인 도이다.
도 8B는 맵핑된 단기 MV로부터 시간적 단기 MV의 MV 예측을 보인 도이다.
도 9A는 시간적 장기 MV들 간의 MV 예측의 예를 보인 도이다.
도 9B는 맵핑된 장기 MV로부터 시간적 장기 MV의 MV 예측의 예를 보인 도이다.
도 10A는 시간적 장기 MV로부터 시간적 단기 MV의 MV 예측의 예를 보인 도이다.
도 10B는 맵핑된 장기 MV로부터 시간적 단기 MV의 MV 예측의 예를 보인 도이다.
도 10C는 시간적 단기 MV로부터 시간적 장기 MV의 MV 예측의 예를 보인 도이다.
도 10D는 맵핑된 단기 MV로부터 시간적 장기 MV의 MV 예측의 예를 보인 도이다.
도 11A는 중간 레이어 MV로부터 시간적 단기 MV의 불능으로 된 MV 예측의 예를 보인 도이다.
도 11B는 시간적 단기 MV로부터 중간 레이어 MV의 불능으로 된 MV 예측의 예를 보인 도이다.
도 11C는 맵핑된 단기 MV로부터 중간 레이어 MV의 불능으로 된 MV 예측의 예를 보인 도이다.
도 12A는 중간 레이어 MV로부터 시간적 장기 MV의 불능으로 된 MV 예측의 예를 보인 도이다.
도 12B는 시간적 장기 MV로부터 중간 레이어 MV의 예를 보인 도이다.
도 12C는 맵핑된 장기 MV로부터 중간 레이어 MV의 예를 보인 도이다.
도 13A는 Te=Tp일 때 2개의 중간 레이어 MV 간의 MV 예측의 예를 보인 도이다.
도 13B는 Te≠Tp일 때 중간 레이어 MV 간의 불능으로 된 MV 예측의 예를 보인 도이다.
도 14A는 하나 이상의 본 발명의 실시형태가 구현될 수 있는 예시적인 통신 시스템의 계통도이다.
도 14B는 도 14A에 도시된 통신 시스템에서 사용될 수 있는 예시적인 무선 송수신 유닛(WTRU)의 계통도이다.
도 14C는 도 14A에 도시된 통신 시스템에서 사용될 수 있는 예시적인 무선 접근 네트워크 및 예시적인 코어 네트워크의 계통도이다.
도 14D는 도 14A에 도시된 통신 시스템에서 사용될 수 있는 다른 예시적인 무선 접근 네트워크 및 다른 예시적인 코어 네트워크의 계통도이다.
도 14E는 도 14A에 도시된 통신 시스템에서 사용될 수 있는 다른 예시적인 무선 접근 네트워크 및 다른 예시적인 코어 네트워크의 계통도이다.
도 15는 블록 기반형 비디오 인코더의 예를 보인 블록도이다.
도 16은 블록 기반형 비디오 디코더의 예를 보인 블록도이다.
도 17은 예시적인 통신 시스템을 보인 도이다.
부분 비트스트림의 레이트에 비하여 높은 재구성 품질을 유지하면서 낮은 시간 해상도, 공간 해상도 및/또는 감소된 충실도(fidelity)로 비디오 서비스를 제공하기 위한 비트스트림(예를 들면, 부분 비트스트림)의 인코딩 및/또는 디코딩(및 예를 들면 송신 및 수신)이 예를 들면 H.264의 확장성(scalability) 확대에 의해 제공될 수 있다. 도 1은 SVC 공간 스케일러블 코딩을 위한 추가적인 층간 예측을 가진 스케일러블 구조의 예를 보인 도이다. 이 도(100)는 스케일러블 코딩 효율을 개선할 수 있는 2층 SVC 층간 예측 메카니즘의 예를 나타낼 수 있다. 유사한 메카니즘을 복수 층 SVC 코딩 구조에 적용할 수 있다. 도(100)에 있어서, 기본 레이어와 향상 레이어는 상이한 해상도를 가진 2개의 인접하는 공간 스케일러블 레이어를 나타낼 수 있다. 레이어(예를 들면, 기본 레이어 및/또는 향상 레이어) 내에서, 모션 보상 예측 및/또는 인트라 예측이 예를 들면 H.264 인코더에 의해 사용될 수 있다. 층간 예측은 기본 레이어 정보(예를 들면, 공간 텍스처, 모션 벡터, 참조 화상 인덱스, 잔여 신호 등)를 이용하여 향상 레이어의 코딩 효율을 개선할 수 있다. 향상 레이어를 디코딩할 때, SVC는 완전히 재구성될 하위 레이어(예를 들면, 현재 레이어의 종속 레이어)으로부터의 참조 화상을 이용하지 않을 수 있다.
층간 예측은 예를 들면 스케일러블 코딩 시스템(예를 들면, HEVC 스케일러블 코딩 확대)에서 사용하여 복수의 레이어들 간의 상관성을 결정하고 스케일러블 코딩 효율을 개선할 수 있다. 도 2는 HEVC 스케일러블 코딩을 위해 고려할 수 있는 예시적인 층간 예측 구조를 보인 도이다. 예를 들면 도(200)는 HEVC 공간 스케일러블 코딩을 위한 추가적인 층간 예측을 가진 스케일러블 구조의 예를 나타낼 수 있다. 향상 레이어의 예측은 (예를 들어서 만일 2개의 레이어 간의 공간 해상도가 상이하면 업샘플링 후의) 재구성된 기본 레이어 신호로부터의 모션 보상 예측에 의해, 현재 향상 레이어 내에서의 시간 예측에 의해, 및/또는 시간 예측 신호로 기본 레이어 재구성 신호를 평균한 것에 의해 수행될 수 있다. 하위 레이어 화상의 완전한 재구성이 수행될 수 있다. 3개 이상의 레이어를 가진 스케일러블 코딩 시스템(예를 들면, 3개 이상의 레이어를 가진 HEVC 스케일러블 코딩 시스템)에 대해서도 유사한 구현을 사용할 수 있다.
HEVC는 예를 들면 현재 비디오 화상 내의 픽셀을 예측하기 위해 부호화(coded) 비디오 화상으로부터의 픽셀을 이용하여 비디오 신호에 고유한 화상간 용장성(inter-picture redundancy)을 결정하는 진보형 모션 보상 예측 기술을 이용할 수 있다. 부호화 대상의 현재 예측 유닛(prediction unit, PU)과 참조 화상 내의 그 하나 이상의 매칭 블록(예를 들면, 이웃하는 PU) 간의 변위는 예를 들면 모션 보상 예측의 모션 벡터(MV)에 의해 표시될 수 있다. MV는 2개의 성분, 즉 MVx와 MVy를 포함할 수 있다. MVx와 MVy는 각각 수평 방향 및 수직 방향의 변위를 나타낼 수 있다. MVx와 MVy는 직접 부호화될 수도 있고 그렇지 않을 수도 있다.
진보형 모션 벡터 예측(advanced motion vector prediction, AMVP)은 이웃 PU의 하나 이상의 MV로부터 MV를 예측하기 위해 사용할 수 있다. 실제 MV와 MV 예측자(predictor) 간의 차를 부호화할 수 있다. MV 차를 부호화(예를 들면, 부호화만)함으로써, MV를 부호화하기 위해 사용하는 비트 수를 줄일 수 있다. 예측에 사용하는 MV는 공간적 및/또는 시간적 이웃으로부터 획득될 수 있다. 공간적 이웃은 현재 부호화 PU를 포위하는 공간 PU를 지칭할 수 있다. 시간적 이웃은 이웃 화상 내의 공존형 PU를 지칭할 수 있다. HEVC에서, 정확한 MV 예측자를 획득하기 위해, 공간적 및/또는 시간적 이웃으로부터의 예측 후보들을 함께 취하여 후보 리스트를 형성할 수 있고, 현재 PU의 MV를 예측하기 위한 최상의 예측자를 선택할 수 있다. 예를 들면, 최상의 MV 예측 변수의 선택은 라그랑지안 레이트(Lagrangian rate)-왜곡(R-D) 비용 등에 기초를 둘 수 있다. MV 차는 비트스트림으로 부호화될 수 있다.
도 3은 공간 MV 예측(SMVP)의 예를 보인 도이다. 도(300)는 이웃 참조 화상(310), 현재 참조 화상(320) 및 현재 화상의 예를 나타낼 수 있다. 부호화 대상의 현재 화상(CurrPic(330))에 있어서, 해시 사각형(hashed square)(CurrPU(332))이 현재 PU일 수 있다. CurrPU(332)는 참조 화상(CurrRefPic(320))에서 최상의 매칭 블록(CurrRefPU(322))을 가질 수 있다. CurrPU의 MV(MV2(340))가 예측될 수 있다. 예를 들면, HEVC에 있어서, 현재 PU의 공간 이웃은 현재 PU(332)의 상부, 좌측, 상부 좌측, 하부 좌측 또는 상부 우측 이웃 PU일 수 있다. 예를 들면, 이웃 PU(334)는 CurrPU(332)의 상부 이웃으로서 보일 수 있다. NeighbPU의 참조 화상(NeighbRefPic(310)), PU(314) 및 MV(MV1(350))는 예를 들면 NeighbPU(334)가 CurrPU(332) 앞에서 부호화되었기 때문에 알려질 수 있다.
도 4는 시간 MV 예측(TMVP)의 예를 보인 도이다. 이 도(400)는 4개의 화상, 즉, 예를 들면 ColRefPic(410), CurrRefPic(420), ColPic(430) 및 CurrPic(440)를 포함할 수 있다. 부호화 대상의 현재 화상(CurrPic(440))에 있어서, 해시 사각형(CurrPU(442))이 현재 PU일 수 있다. 해시 사각형(CurrPU(442))은 참조 화상(CurrRefPic(420))에서 최상의 매칭 블록(CurrRefPU(422))을 가질 수 있다. CurrPU의 MV(MV2(460))가 예측될 수 있다. 예를 들면, HEVC에 있어서, 현재 PU의 시간 이웃은 예컨대 이웃 화상(ColPic(430))의 일부일 수 있는 공존형 PU(ColPU(432))일 수 있다. ColPU의 참조 화상(ColRefPic(410)), PU(412) 및 MV(MV1(450))는 예를 들면 ColPic(430)가 CurrPic(440) 앞에서 부호화되었기 때문에 알려질 수 있다.
PU들 간의 모션은 균일한 속도로 변환될 수 있다. 2개의 PU 간의 MV는 2개의 연관된 화상이 포착된 때 시간 인스턴스 사이의 시간적 거리에 비례할 수 있다. 모션 벡터 예측자는 현재 PU의 MV를 예측하기 전에 스케일될 수 있다(예를 들면, AMVP에서). 예를 들면, CurrPic와 CurrRefPic 사이의 시간적 거리는 TB라고 부를 수 있다. 예를 들면, CurrPic와 NeighbRefPic 사이(예를 들면, 도 3에서) 또는 ColPic와 ColRefPic 사이(예를 들면, 도 4에서)의 시간적 거리는 TD라고 부를 수 있다. TB와 TD가 주어진 때, MV2의 스케일된 예측자(예를 들면, MV2')는 수학식 1과 같다.
Figure 112015027462539-pct00001
단기 및 장기 참조 화상이 지원될 수 있다. 예를 들면, 복호 화상 버퍼(decoded picture buffer, DPB)에 저장된 참조 화상은 단기 참조 화상 또는 장기 참조 화상으로서 표시될 수 있다. 예컨대 수학식 1에서와 같은 모션 벡터의 스케일링은 만일 하나 이상의 참조 화상이 장기 참조 화상이면 불능으로 될 수 있다.
여기에서 다층 비디오 코딩을 위한 MV 예측의 사용에 대하여 설명한다. 여기에서 설명하는 예는 기초적인 단일 층 코딩 표준으로서의 HEVC 표준 및 2개의 공간 레이어(예를 들면, 향상 레이어 및 기본 레이어)을 가진 스케일러블 시스템을 이용할 수 있다. 여기에서 설명하는 예는 3개 이상의 레이어를 구비한 다른 유형의 기초적인 단일 층 코덱을 이용하고, 및/또는 다른 유형의 확장성을 지원하는 다른 스케일러블 코딩 시스템에 적용할 수 있다.
비디오 슬라이스(예를 들면, P 슬라이스 또는 B 슬라이스)의 디코딩을 시작할 때, DPB 내의 하나 이상의 참조 화상이 모션 보상 예측을 위해 P-슬라이스의 참조 화상 리스트(예를 들면, 리스트0) 및/또는 B-슬라이스의 2개의 참조 화상 리스트(예를 들면, 리스트0 및 리스트1)에 추가될 수 있다. 스케일러블 코딩 시스템은 향상 레이어의 시간적 참조 화상 및/또는 기본 레이어으로부터의 압축 참조 화상(예를 들어서 만일 공간 해상도가 레이어들 간에 상이하면 업샘플링된 기본 레이어 화상)을 이용하여 모션 보상 예측을 적용할 수 있다. 향상 레이어에 있는 현재 화상의 MV를 예측할 때, 기본 레이어으로부터의 처리된 참조 화상을 지시하는 중간 레이어 MV를 이용하여 향상 레이어의 시간적 참조 화상을 지시하는 시간 MV를 예측할 수 있다. 시간 MV는 또한 중간 레이어 MV를 예측하기 위해 사용할 수 있다. 이러한 2가지 유형의 MV들 간에 상관성이 거의 없기 때문에, 향상 레이어에 대한 MV 예측의 효율이 상실될 수 있다. 단일 층 코덱은 기본 레이어 화상들 간의 시간 MV로부터 향상 레이어 화상들 간의 시간 MV의 예측을 지원하지 않을 수 있고, 이것은 고도로 상관되고 MV 예측 수행을 개선하기 위해 활용할 수 있다.
MV 예측 처리는 단순화될 수 있고 및/또는 다층 비디오 코딩의 압축 효율이 개선될 수 있다. 향상 레이어의 MV 예측은 단일 층 인코더의 MV 예측 처리와 하위 호환성을 가질 수 있다. 단일 층 인코더 및 디코더 로직이 향상 레이어에 대하여 재사용될 수 있도록 예를 들면 향상 레이어 내의 블록 레벨 동작에 대하여 어떠한 변경도 요구하지 않는 MV 예측 구현이 있다. 이것은 스케일러블 시스템의 구현 복잡성을 줄일 수 있다. 향상 레이어의 MV 예측은 향상 레이어의 시간 참조 화상을 지시하는 시간 MV와 기본 레이어으로부터의 처리된(예를 들면, 업샘플링된) 참조 화상을 지시하는 중간 레이어 MV를 구별할 수 있다. 이것은 코딩 효율을 개선할 수 있다. 향상 레이어에서의 MV 예측은 향상 레이어 화상들 간의 시간적 MV와 기본 레이어 화상들 간의 시간적 MV 사이의 MV 예측을 지원할 수 있다. 이것은 코딩 효율을 개선할 수 있다. 2개의 레이어의 공간 해상도가 다를 경우, 기본 레이어 화상들 간의 시간적 MV는 2개의 레이어의 공간 해상도의 비율에 따라 스케일될 수 있다.
여기에서 설명하는 구현 예는 예를 들면 맵핑된 기본 레이어 MV가 AMVP(예를 들면, 도 4의 TMVP 모드)의 과정에서 향상 레이어 MV를 예측하기 위해 사용될 수 있도록 기본 레이어 MV에 대한 층간 모션 정보 맵핑 알고리즘에 관한 것이다. 블록 레벨 동작은 변경되지 않을 수 있다. 단일 층 인코더 및 디코더는 향상 레이어의 MV 예측에 대한 변경 없이 적용될 수 있다. 향상 레이어 인코딩 및 디코딩 처리를 위한 블록 레벨 변경을 포함하는 MV 예측 툴이 여기에서 설명된다.
중간 레이어는 처리된 기본 레이어 및/또는 업샘플링된 기본 레이어를 포함할 수 있다. 예를 들면, 중간 레이어, 처리된 기본 레이어 및/또는 업샘플링된 기본 레이어는 상호 교환적으로 사용될 수 있다. 중간 레이어 참조 화상, 기처리된 기본 레이어 참조 화상 및/또는 업샘플링된 기본 레이어 참조 화상은 상호 교환적으로 사용될 수 있다. 중간 레이어 비디오 블록, 기처리된 기본 레이어 비디오 블록 및/또는 업샘플링된 기본 레이어 비디오 블록은 상호 교환적으로 사용될 수 있다. 향상 레이어, 중간 레이어 및 기본 레이어 간에는 시간적 관계가 있을 수 있다. 예를 들면, 향상 레이어의 비디오 블록 및/또는 화상은 중간 레이어 및/또는 기본 레이어의 시간적으로 대응하는 비디오 블록 및/또는 화상과 연관될 수 있다.
비디오 블록은 비트스트림의 임의의 타이어(tier) 및/또는 레벨에서의 동작 단위일 수 있다. 예를 들면, 비디오 블록은 화상 레벨, 블록 레벨, 슬라이스 레벨 등의 동작 단위를 지칭할 수 있다. 비디오 블록은 임의 크기를 가질 수 있다. 예를 들면, 비디오 블록은 4×4 비디오 블록, 8×8 비디오 블록, 16×16 비디오 블록 등과 같이 임의 크기의 비디오 블록을 지칭할 수 있다. 예를 들면, 비디오 블록은 예측 단위(PU), 최소 PU(SPU) 등을 지칭할 수 있다. PU는 예컨대 참조 화상 인덱스 및 MV를 포함하는 모션 예측에 관한 정보를 운반하기 위해 사용하는 비디오 블록일 수 있다. 하나의 PU는 하나 이상의 최소 PU(SPU)를 포함할 수 있다. 비록 동일한 PU의 SPU가 동일한 MV를 가진 동일한 참조 화상을 지칭할 수 있지만, SPU의 단위로 모션 정보를 저장하면 일부 구현 예에서 모션 정보 검색을 촉진할 수 있다. 모션 정보(예를 들면, MV 필드)는 PU, SPU 등과 같이 비디오 블록의 단위로 저장될 수 있다. 비록 여기에서 설명하는 예들이 화상, 비디오 블록, PU 및/또는 SPU와 관련하여 설명되지만, 임의 크기의 임의의 동작 단위(예를 들면, 화상, 비디오 블록, PU, SPU 등)를 사용할 수 있다.
재구성된 기본 레이어 신호의 텍스처는 향상 레이어의 층간 예측을 위해 처리될 수 있다. 예를 들면, 2개의 레이어 사이에서 공간 확장성이 가능할 때, 중간 레이어 참조 화상 처리는 하나 이상의 기본 레이어 화상의 업샘플링을 수반할 수 있다. 모션 관련 정보(예를 들면, MV, 참조 화상 리스트, 참조 화상 인덱스 등)는 기본 레이어으로부터 기처리된 참조 화상에 대하여 적절히 생성되지 않을 수 있다. 누락된 모션 정보는 시간적 MV 예측자가 기처리된 기본 레이어 참조 화상으로부터 올 경우(예를 들면, 도 4에 도시된 것처럼) 향상 레이어의 MV의 예측(예를 들면, TMVP에 의한 예측)에 영향을 줄 수 있다. 예를 들면, 기처리된 기본 레이어 참조 화상이 시간적 공존형 PU(ColPU)를 포함하는 시간적 이웃 화상(ColPic)으로서 선택된 경우, 만일 MV 예측자(MV1) 및 참조 화상(ColRefPic)이 기처리된 기본 레이어 참조 화상에 대하여 적절히 생성되지 않으면, TMVP가 적절히 동작하지 않을 수 있다. 향상 레이어 MV 예측을 위한 TMVP가 가능하도록, 예를 들면 여기에서 설명하는 것처럼 층간 모션 정보 맵핑 구현을 활용할 수 있다. 예를 들면, MV 필드(예를 들면, MV 및 참조 화상을 포함함)가 기처리된 기본 레이어 참조 화상에 대하여 생성될 수 있다.
현재 비디오 슬라이스의 참조 화상은 하나 이상의 변수, 예를 들면 참조 화상 리스트 ListX(예를 들면, X는 0 또는 1임) 및/또는 ListX 내의 참조 화상 인덱스(refIdx) 등에 의해 특정될 수 있다. 도 4의 예를 이용해서, 공존형 PU(ColPU)의 참조 화상(ColRefPic)을 획득하기 위해, 기처리된 참조 화상(ColPic) 내의 PU(예를 들면, 각각의 PU)(ColPU)의 참조 화상들이 생성될 수 있다. 이것은 ColPic의 참조 화상 리스트 및/또는 ColPic 내의 ColPU(예를 들면, 각각의 ColPU)에 대한 참조 화상 인덱스의 생성으로 세분될 수 있다. 참조 화상 리스트가 주어진 경우, 기처리된 기본 레이어 참조 화상의 PU에 대한 참조 화상 인덱스의 생성이 여기에서 설명된다. 기처리된 기본 레이어 참조 화상에 대한 참조 화상 리스트의 형성에 관한 구현이 여기에서 설명된다.
기본 레이어와 기처리된 기본 레이어가 상관될 수 있기 때문에, 기본 레이어와 기처리된 기본 레이어는 동일한 또는 실질적으로 동일한 예측 종속성을 갖는다고 가정할 수 있다. 기본 레이어 화상의 예측 종속성은 기처리된 기본 레이어 화상의 참조 화상 리스트를 형성하기 위해 중복될 수 있다. 예를 들어서 만일 기본 레이어 화상(BL1)이 참조 화상 리스트 ListX(예를 들면, X는 0 또는 1임)의 참조 화상 인덱스(refIdx)를 가진 다른 기본 레이어 화상(BL2)의 시간적 참조 화상이면, BL1의 기처리된 기본 레이어 화상(pBL1)은 BL2의 기처리된 기본 레이어 화상(pBL2)의 동일한 인덱스(refIdx)를 가진 동일한 참조 화상 리스트 ListX(예를 들면, X는 0 또는 1임)에 추가될 수 있다. 도 5는 업샘플링된 기본 레이어에 대한 기본 레이어의 예측 구조 중복의 예를 보인 도이다. 이 도(500)는 공간 확장성의 예를 보인 것이고, 여기에서 기본 레이어(예를 들면, 도면에서 실선으로 표시된 기본 레이어)의 모션 예측을 위해 적용된 동일한 레이어-B 구조는 업샘플링된 기본 레이어(예를 들면, 도면에서 대시 선으로 표시된 기본 레이어)의 모션 정보로서 중복된다.
기처리된 기본 레이어 예측 단위(PU)의 참조 화상은 공존형 기본 레이어 PU에 기초하여 결정될 수 있다. 예를 들면, 기처리된 기본 레이어 PU의 공존형 기본 레이어 PU가 결정될 수 있다. 공존형 기본 레이어 PU는 여기에서 설명하는 것처럼, 예를 들면 기처리된 기본 레이어 PU와 면적에 있어서 최대 중첩을 갖는 것을 특징으로 하는 공존형 기본 레이어 화상의 PU를 선택함으로써 결정될 수 있다. 공존형 기본 레이어 PU의 참조 화상이 결정될 수 있다. 기처리된 기본 레이어 PU의 참조 화상은 공존형 기본 레이어 PU의 참조 화상의 공존형 기처리 기본 레이어 화상이 되도록 결정될 수 있다. 기처리된 기본 레이어 PU의 참조 화상은 향상 레이어의 TMVP를 위해 및/또는 향상 레이어(예를 들면, 공존형 향상 레이어 PU)을 디코딩하기 위해 사용할 수 있다.
기처리된 기본 레이어 PU는 기처리된 기본 레이어 화상과 연관될 수 있다. 기처리된 기본 레이어 화상의 MV 필드는 예를 들면 향상 레이어 화상(예를 들면, 공존형 향상 레이어 PU)의 TMVP를 위해 기처리된 기본 레이어 PU의 참조 화상을 포함할 수 있다. 참조 화상 리스트는 기처리된 기본 레이어 화상과 연관될 수 있다. 기처리된 기본 레이어 화상의 참조 화상 리스트는 기처리된 기본 레이어 PU의 하나 이상의 참조 화상을 포함할 수 있다. 기처리된 기본 레이어의 화상(예를 들면, 각각의 화상)은 동일한 화상 순서 계수(picture order count, POC) 및/또는 단기/장기 화상 마킹을 기본 레이어의 대응하는 화상으로부터 물려받을 수 있다.
1,5x 업샘플링율을 가진 공간 확장성이 예로서 사용될 수 있다. 도 6은 업샘플링된 기본 레이어의 SPU와 원래 기본 레이어의 SPU 간의 예시적인 관계를 보인 도이다. 이 도(600)는 업샘플링된 기본 레이어의 SPU(예를 들면, ui로 표시된 블록)와 원래 기본 레이어의 SPU(예를 들면, bj로 표시된 블록) 간의 예시적인 관계를 보인 것이다. 예를 들면, 각종 업샘플링율 및 화상 내의 좌표가 주어진 경우, 업샘플링된 기본 레이어 화상의 SPU는 원래 기본 레이어 화상으로부터의 SPU의 각종 수 및/또는 비율에 대응할 수 있다. 예를 들면 SPU u4는 기본 레이어의 4개의 SPU(예를 들면, b0, b1, b2 및 b3)의 영역을 커버할 수 있다. SPU u1은 2개의 기본 레이어 SPU(예를 들면, b0 및 b1)를 커버할 수 있다. SPU u0는 1개의 단일 기본 레이어 SPU(예를 들면, b0)를 커버할 수 있다. 예를 들면 원래 기본 레이어 화상으로부터의 대응하는 SPU의 모션 정보를 이용하여 기처리된 기본 레이어 화상의 SPU에 대한 참조 화상 인덱스 및 MV를 추정하기 위해 MV 필드 맵핑 구현을 활용할 수 있다.
기처리된 기본 레이어 PU의 MV는 공존형 기본 레이어 PU의 MV에 기초하여 결정할 수 있다. 예를 들면, 기처리된 기본 레이어 PU의 공존형 기본 레이어 PU를 결정할 수 있다. 공존형 기본 레이어 PU의 MV를 결정할 수 있다. 기본 레이어 PU의 MV는 기처리된 기본 레이어 PU의 MV를 결정하기 위해 스케일될 수 있다. 예를 들면, 기본 레이어 PU의 MV는 기처리된 기본 레이어 PU의 MV를 결정하기 위해 기본 레이어와 향상 레이어 간의 공간 비율에 따라 스케일될 수 있다. 기처리된 기본 레이어 PU의 MV는 향상 레이어(예를 들면, 공존형 향상 레이어 PU)의 TMVP를 위해 및/또는 향상 레이어(예를 들면, 공존형 향상 레이어 PU)을 디코딩하기 위해 사용할 수 있다.
기처리된 기본 레이어 PU는 향상 레이어 화상(예를 들면, 향상 레이어 화상의 PU)과 연관(예를 들면, 시간적으로 연관)될 수 있다. 공존형 향상 레이어 화상의 MV 필드는 예를 들면 향상 레이어 화상(예를 들면, 공존형 향상 레이어 PU)의 TMVP를 위해 기처리된 기본 레이어 PU의 MV에 기초를 둘 수 있다. 향상 레이어 PU(예를 들면, 공존형 향상 레이어 PU)의 MV는 기처리된 기본 레이어 PU의 MV에 기초하여 결정할 수 있다. 예를 들면, 향상 레이어 PU(예를 들면, 공존형 향상 레이어 PU)의 MV는 기처리된 기본 레이어 PU의 MV를 이용하여 예측(예를 들면, 공간적으로 예측)될 수 있다.
기처리된 기본 레이어 화상의 SPU(예를 들면, 각각의 SPU)에 대한 참조 화상은 기본 레이어의 대응하는 SPU의 참조 화상 인덱스에 기초하여 선택될 수 있다. 예를 들면, 기처리된 기본 레이어 화상의 SPU에 대하여, 다수결 원칙을 적용하여 기본 레이어 화상으로부터의 그 대응하는 SPU에 의해 가장 빈번하게 사용된 참조 화상 인덱스를 결정할 수 있다. 예를 들어서, 기처리된 기본 레이어 화상 내의 하나의 SPU uh가 기본 레이어으로부터의 K개의 SPU bi(i=0, 1, ..., K-1)에 대응한다고 가정하면, 인덱스 {0, 1, ..., M-1}을 가진 기처리된 기본 레이어 화상의 참조 화상 리스트 내에 M개의 참조 화상이 있을 수 있다. 기본 레이어으로부터의 K개의 대응하는 SPU가 인덱스 {r0, r1, ..., rK -1}(여기에서 i=0, 1, ..., K-1에 대하여 ri∈{0, 1, ..., M-1임)을 가진 참조 화상의 집합으로부터 예측된다고 가정하면, uh의 참조 화상 인덱스가 수학식 2에 의해 결정될 수 있다.
Figure 112015027462539-pct00002
여기에서 C(ri)(i=0, 1, ..., K-1)는 참조 화상(ri)이 몇 번 사용될 수 있는지에 대한 카운터이다. 예를 들어서, 만일 기본 레이어 화상이 {0, 1}로 표시된 2개의 참조 화상(M=2)을 갖고 있고 기처리된 기본 레이어 화상의 주어진 uh가 {0, 1, 1, 1}로부터 예측된 4개(K=4)의 기본 레이어 SPU에 대응하면(예를 들면, {r0, r1, ..., r3}가 {0, 1, 1, 1}과 같다), r(uh)는 수학식 2에 따라서 1로 설정될 수 있다. 예를 들면 더 작은 시간적 거리를 가진 2개의 화상이 (예를 들면, 수학식 2를 적용할 때 C(ri)의 결합을 파괴하기 위해) 더 높은 상관성을 갖기 때문에, 현재의 기처리 화상까지 최소의 POC 거리를 가진 참조 화상(ri)이 선택될 수 있다.
기처리된 기본 레이어 화상의 다른 SPU는 원래 기본 레이어으로부터의 SPU의 각종 수 및/또는 비율에 대응할 수 있다(예를 들면, 도 6에 도시된 것처럼). 최대의 커버된 면적을 가진 기본 레이어 SPU의 참조 화상 인덱스는 기처리된 기본 레이어의 대응하는 SPU의 참조 화상을 결정하도록 선택될 수 있다. 기처리된 기본 레이어의 주어진 SPU(uh)에 대하여, 그 참조 화상 인덱스는 수학식 3에 의해 결정될 수 있다.
Figure 112015027462539-pct00003
여기에서 Si는 기본 레이어으로부터 i번째의 대응하는 SPU(bi)에 의해 커버된 면적일 수 있다. 예를 들면 2개 이상의 대응하는 SPU가 동일한 면적 크기를 커버할 때 수학식 3에서 Si의 결합을 파괴하기 위해 현재의 기처리 화상까지 최소의 POC 거리를 가진 참조 화상(ri)이 선택될 수 있다.
대응하는 기본 레이어 SPU(bj)는 인트라 모드에 의해 부호화될 수 있다. 참조 화상 인덱스(예를 들면, 대응하는 기본 레이어 SPU(bj)의 참조 화상 인덱스)는 -1로 설정되고 수학식 2 및/또는 수학식 3을 적용할 때 고려하지 않을 수 있다. 만일 대응하는 기본 레이어 SPU(bj)가 인트라 부호화되면, SPU(uh)의 참조 화상 인덱스는 -1로 설정되고 및/또는 TMVP에 이용할 수 없다고 표시될 수 있다.
기처리된 기본 레이어의 주어진 SPU(uh)에 대하여, 그 대응하는 SPU(bi')들의 면적은 동일하지 않을 수 있다. 기처리된 기본 레이어 화상의 SPU(예를 들면, 각각의 SPU)의 MV는 예를 들면 여기에서 설명하는 것처럼 면적 기반 구현을 이용하여 추정될 수 있다.
기처리된 기본 레이어 화상에서 하나의 SPU(uh)의 MV를 추정하기 위해, 기본 레이어 SPU 후보들 중의 SPU(bi)로 커버되는 최대 면적(예를 들면, 최대 중첩)을 가진 기본 레이어 SPU(bl)의 MV가 선택될 수 있다. 예를 들면, 수학식 4를 이용할 수 있다.
Figure 112015027462539-pct00004
여기에서 MV'는 SPU(uh)의 결과적인 MV를 표시하고 MVi는 기본 레이어으로부터 i번째의 대응하는 SPU(bi)의 MV를 나타내며, N은 층들(예를 들면, 기본 레이어와 향상 레이어) 간의 공간 비율(예를 들면, 공간 해상도)에 따른 업샘플링 계수일 수 있다(예를 들면, N은 2 또는 1.5와 같을 수 있다). 예를 들면, 업샘플링 계수(예를 들면, N)는 기처리된 기본 레이어 화상의 PU의 MV를 산출하기 위해 기본 레이어의 PU로부터 결정된 결과적인 MV를 스케일링하기 위해 사용할 수 있다.
기처리된 기본 레이어의 SPU의 MV를 결정하기 위해 가중 평균을 이용할 수 있다. 예를 들면, 가중 평균은 기본 레이어의 대응하는 SPU와 연관된 MV를 이용하여 기처리된 기본 레이어의 SPU의 MV를 결정하기 위해 사용할 수 있다. 가중 평균을 이용하면, 예컨대 기처리된 기본 레이어의 MV 정확성을 증가시킬 수 있다. 기처리된 기본 레이어의 SPU(uh)에 대하여, 그 MV는 uh와 중첩되는 하나 이상의(예를 들면, 각각의)기초적인 기본 레이어 SPU(bi)의 MV에 대한 가중 평균을 결정함으로써 도출될 수 있다. 예를 들면, 이것은 수학식 5로 나타낼 수 있다.
Figure 112015027462539-pct00005
여기에서 B는 참조 화상 인덱스가 예를 들면 수학식 2 및/또는 수학식 3으로 결정된 r(uh)와 동일한 기본 레이어으로부터의 SPU(bi')의 부분집합일 수 있다.
예를 들면, MV'로서 표시되는 맵핑된 MV를 획득하기 위해 하나 이상의 필터(예를 들면, 메디움 필터, 저역 통과 가우스 필터 등)를 수학식 5에서 B로서 표시한 MV의 집합에 적용할 수 있다. 예를 들면, 수학식 6으로 나타낸 바와 같이 신뢰 기반 평균을 사용하여 추정 MV의 정확성을 개선할 수 있다.
Figure 112015027462539-pct00006
여기에서 파라미터 wi는 SPU(uh)의 MV를 추정할 때 기본 레이어 SPU(bi)(예를 들면, 각각의 기본 레이어 SPU(bi))의 MV의 신뢰 측정치이다. 다른 메트릭을 이용하여 wi의 값을 도출할 수도 있다. 예를 들면, wi는 모션 보상 예측 중에 예측 잔여의 양에 따라 결정될 수도 있고, wi는 MVi가 그 이웃 MV와 어떻게 결부되는지에 따라서 결정될 수도 있다.
기처리된 기본 레이어 화상의 모션 정보는 예를 들면 기본 레이어에서 시간적 모션 보상 예측을 수행하기 위해 사용되는 기본 레이어의 원래 모션 필드로부터 맵핑될 수 있다. 예를 들면 기본 레이어의 압축 모션 필드를 생성하기 위해 모션 필드 압축 알고리즘(예를 들면, HEVC에서 지원되는 알고리즘)을 기본 레이어의 모션 필드에 적용할 수 있다. 하나 이상의 기처리된 기본 레이어 화상의 모션 정보는 기본 레이어의 압축 모션 필드로부터 맵핑될 수 있다.
기처리된 기본 레이어 화상의 누락된 모션 정보가 예를 들면 여기에서 설명하는 것처럼 생성될 수 있다. 단일 층 코덱(예를 들면, HEVC 코덱)에 의해 지원되는 TMVP는 블록 레벨 동작에 대한 추가의 변경 없이 향상 레이어에 대하여 사용할 수 있다.
예를 들면, 여기에서 설명하는 바와 같은 참조 화상 리스트 생성 처리 및/또는 MV 맵핑 처리는 대응하는 기본 레이어 참조 화상이 하나 이상의 슬라이스로 구성될 때 사용할 수 있다. 만일 기본 레이어 참조 화상에 복수의 슬라이스가 존재하면, 슬라이스 파티션이 기본 레이어 화상으로부터 기처리된 기본 레이어 화상으로 맵핑될 수 있다. 참조 화상 리스트 생성 처리는 적당한 슬라이스 유형 및/또는 참조 화상 리스트를 도출하기 위해 기처리된 기본 레이어의 슬라이스에 대하여 수행될 수 있다.
도 7A 내지 도 7C는 예를 들면 1.5x 공간 확장성을 위해 기본 레이어 화상의 슬라이스와 기처리된 기본 레이어 화상의 슬라이스 간의 예시적인 관계를 보인 도이다. 도 7A는 기본 레이어의 슬라이스 파티션의 예를 보인 도(701)이다. 도 7B는 기처리된 기본 레이어의 맵핑된 슬라이스 파티션의 예를 보인 도(702)이다. 도 7C는 기처리된 기본 레이어의 조정된 슬라이스 파티션의 예를 보인 도(703)이다.
기본 레이어 화상은 복수의 슬라이스, 예를 들면 도(701)에 나타낸 것처럼 2개의 슬라이스를 포함할 수 있다. 기처리된 기본 레이어 화상의 맵핑된 슬라이스 파티션은 예를 들면 기본 레이어가 업샘플링될 때 향상 레이어의 이웃하는 코딩 트리 블록(CTB)들 간의 경계를 교차할 수 있다(예를 들면, 도(702)로 나타낸 것처럼). 이것은 기본 레이어 화상과 향상 레이어 화상 간의 공간 비율이 상이하기 때문일 수 있다. 슬라이스 파티션(예를 들면, HEVC 내의 것)은 CTB 경계에 정렬될 수 있다. 기처리된 기본 레이어의 슬라이스 파티션은 예를 들면 도(703)에 나타낸 것처럼 슬라이스 경계가 CTB 경계와 정렬되도록 조정될 수 있다.
향상 레이어 TMVP 도출 처리는 구속(constraint)을 포함할 수 있다. 예를 들어서, 만일 대응하는 기본 레이어 화상에 1개의 슬라이스가 있으면, 기처리된 기본 레이어 화상을 공존형 화상으로서 사용할 수 있다. 층간 모션 정보 맵핑(예를 들면, 여기에서 설명하는 바와 같은 참조 화상 리스트 생성 및/또는 MV 맵핑)은 대응하는 기본 레이어 화상에 2개 이상의 슬라이스가 있는 경우 기처리된 기본 레이어 참조 화상에 대하여 수행되지 않을 수 있다. 만일 대응하는 기본 레이어 화상에 2개 이상의 슬라이스가 있으면, 향상 레이어의 TMVP 도출 처리를 위한 공존형 화상으로서 시간적 참조 화상을 사용할 수 있다. 기본 레이어 화상 내의 슬라이스 수를 이용하여 향상 레이어의 TMVP를 위한 공존형 화상으로서 중간 레이어 참조 화상을 이용할 것인지 및/또는 시간적 참조 화상을 이용할 것인지를 결정할 수 있다.
만일 대응하는 기본 레이어 화상에 1개의 슬라이스가 있으면 및/또는 만일 슬라이스 정보(예를 들면, 대응하는 기본 레이어 화상 내의 슬라이스 유형, 슬라이스의 참조 화상 리스트 등)가 동일하면, 기처리된 기본 레이어 화상을 공존형 화상으로서 사용할 수 있다. 층간 모션 정보 맵핑(예를 들면, 여기에서 설명하는 바와 같은 참조 화상 리스트 생성 및/또는 MV 맵핑)은 대응하는 기본 레이어 화상 내의 2개 이상의 슬라이스가 상이한 슬라이스 정보를 가진 경우 기처리된 기본 레이어 참조 화상에 대하여 수행되지 않을 수 있다. 만일 대응하는 기본 레이어 화상 내의 2개 이상의 슬라이스가 상이한 슬라이스 정보를 갖고 있으면, 향상 레이어의 TMVP 도출 처리를 위한 공존형 화상으로서 시간적 참조 화상을 사용할 수 있다.
모션 정보 맵핑은 각종의 단일 층 MV 예측 기술을 스케일러블 코딩 시스템에 사용할 수 있게 한다. 블록 레벨 MV 예측 동작을 적용하여 향상 레이어 코딩 수행을 개선할 수 있다. 향상 레이어의 MV 예측이 여기에서 설명된다. 기본 레이어의 MV 예측 처리는 불변으로 유지할 수 있다.
시간적 MV는 동일한 향상 레이어으로부터의 참조 화상을 지시하는 MV를 말한다. 중간 레이어 MV는 다른 레이어, 예를 들면 기처리된 기본 레이어 참조 화상을 지시하는 MV를 말한다. 맵핑된 MV는 기처리된 기본 레이어 화상에 대하여 생성된 MV를 말한다. 맵핑된 MV는 맵핑된 시간적 MV 및/또는 맵핑된 중간 레이어 MV를 포함할 수 있다. 맵핑된 시간적 MV는 최종 코딩 레이어의 시간 예측으로부터 발원하는 맵핑된 MV를 말한다. 맵핑된 중간 레이어 MV는 최종 코딩 레이어의 층간 예측으로부터 생성된 맵핑된 MV를 말한다. 맵핑된 중간 레이어 MV는 3개 이상의 레이어를 가진 스케일러블 코딩 시스템에 대하여 존재할 수 있다. 시간적 MV 및/또는 맵핑된 시간적 MV는 예를 들면 MV가 단기 참조 화상을 지칭하는지 또는 장기 참조 화상을 지칭하는지에 따라서 단기 또는 장기 MV일 수 있다. 시간적 단기 MV 및 맵핑된 단기 MV는 각각의 코딩 레이어 내의 단기 시간적 참조를 이용하는 시간적 MV 및 맵핑된 시간적 MV를 지칭할 수 있다. 시간적 장기 MV 및 맵핑된 장기 MV는 그들 각각의 코딩 레이어 내의 장기 시간적 참조를 이용하는 시간적 MV 및 맵핑된 시간적 MV를 지칭할 수 있다. 시간적 MV, 맵핑된 시간적 MV, 맵핑된 중간 레이어 MV 및 중간 레이어 MV는 다른 유형의 MV로 생각할 수 있다.
향상 레이어 MV 예측은 하기의 것 중 하나 이상을 포함할 수 있다. 중간 레이어 MV 및/또는 맵핑된 중간 레이어 MV로부터의 시간적 MV의 MV 예측은 가능 또는 불능으로 될 수 있다. 시간적 MV 및/또는 맵핑된 시간적 MV로부터의 중간 레이어 MV의 MV 예측은 가능 또는 불능으로 될 수 있다. 맵핑된 시간적 MV로부터의 시간적 MV의 MV 예측은 가능으로 될 수 있다. 중간 레이어 MV 및/또는 맵핑된 중간 레이어 MV로부터의 중간 레이어 MV의 MV 예측은 가능 또는 불능으로 될 수 있다. MV 예측은 예를 들면 시간적 장기 MV 및 맵핑된 장기 MV를 둘 다 포함한 MV 예측에서 수반되는 장기 MV에 대한 MV 스케일링 없이 활용될 수 있다.
MV 스케일링에 의한 단기 MV들 간의 예측은 가능으로 될 수 있다(예를 들면, 단일 층 MV 예측과 유사하게). 도 8A는 시간적 단기 MV들 간의 MV 예측을 보인 도이다. 도 8B는 맵핑된 단기 MV로부터 시간적 단기 MV의 MV 예측을 보인 도이다. 도(800)에 있어서, 시간적 단기 MV(802)는 시간적 단기 MV(804)로부터 예측될 수 있다. 도(810)에 있어서, 시간적 단기 MV(812)는 맵핑된 단기 MV(814)로부터 예측될 수 있다.
MV 스케일링 없는 장기 MV들 간의 예측은 예를 들면 큰 POC 거리에 기인하여 제공될 수 있다. 이것은 단일 층 인코딩 및 디코딩의 MV 예측과 유사할 수 있다. 도 9A는 시간적 장기 MV들 간의 MV 예측의 예를 보인 도이다. 도 9B는 맵핑된 장기 MV로부터 시간적 장기 MV의 MV 예측의 예를 보인 도이다. 도(900)에 있어서, 시간적 장기 MV(902)는 시간적 장기 MV(904)로부터 예측될 수 있다. 도(910)에 있어서, 시간적 장기 MV(912)는 맵핑된 장기 MV(914)로부터 예측될 수 있다.
MV 스케일링 없는 단기 MV 및 장기 MV 간의 예측은 예를 들면 2개의 참조 화상이 장거리를 갖기 때문에 제공될 수 있다. 이것은 단일 층 인코딩 및 디코딩의 MV 예측과 유사할 수 있다. 도 10A는 시간적 장기 MV로부터 시간적 단기 MV의 MV 예측의 예를 보인 도이다. 도 10B는 맵핑된 장기 MV로부터 시간적 단기 MV의 MV 예측의 예를 보인 도이다. 도 10C는 시간적 단기 MV로부터 시간적 장기 MV의 MV 예측의 예를 보인 도이다. 도 10D는 맵핑된 단기 MV로부터 시간적 장기 MV의 MV 예측의 예를 보인 도이다.
도(1000)에 있어서, 시간적 단기 MV(1002)는 시간적 장기 MV(1004)로부터 예측될 수 있다. 도(1010)에 있어서, 시간적 단기 MV(1012)는 맵핑된 장기 MV(1014)로부터 예측될 수 있다. 도(1020)에 있어서, 시간적 장기 MV(1024)는 시간적 단기 MV(1022)로부터 예측될 수 있다. 도(1030)에 있어서, 시간적 장기 MV(1032)는 맵핑된 단기 MV(1034)로부터 예측될 수 있다.
중간 레이어 MV 및/또는 맵핑된 중간 레이어 MV로부터 시간적 단기 MV의 예측은 불능으로 될 수 있다. 시간적 단기 MV 및 맵핑된 단기 MV로부터 중간 레이어 MV의 예측은 불능으로 될 수 있다. 도 11A는 중간 레이어 MV로부터 시간적 단기 MV의 불능으로 된 MV 예측의 예를 보인 도이다. 도 11B는 시간적 단기 MV로부터 중간 레이어 MV의 불능으로 된 MV 예측의 예를 보인 도이다. 도 11C는 맵핑된 단기 MV로부터 중간 레이어 MV의 불능으로 된 MV 예측의 예를 보인 도이다.
도(1100)는 중간 레이어 MV(1104)로부터 시간적 단기 MV(1102)의 불능으로 된 MV 예측의 예를 보인 것이다. 예를 들면, 시간적 단기 MV(1102)는 중간 레이어 MV(1104)로부터 예측되지 않을 수 있다. 도(1110)는 시간적 단기 MV(1114)로부터 중간 레이어 MV(1112)의 불능으로 된 MV 예측의 예를 보인 것이다. 예를 들면, 중간 레이어 MV(1112)는 시간적 단기 MV(1114)로부터 예측되지 않을 수 있다. 도(1120)는 맵핑된 단기 MV(1124)로부터 중간 레이어 MV(1122)의 불능으로 된 MV 예측의 예를 보인 것이다. 예를 들면, 중간 레이어 MV(1122)는 맵핑된 단기 MV(1124)로부터 예측되지 않을 수 있다.
중간 레이어 MV 및/또는 맵핑된 중간 레이어 MV로부터 시간적 장기 MV의 예측은 불능으로 될 수 있다. 시간적 장기 MV 및 맵핑된 장기 MV로부터 중간 레이어 MV의 예측은 불능으로 될 수 있다. 도 12A는 중간 레이어 MV로부터 시간적 장기 MV의 불능으로 된 MV 예측의 예를 보인 도이다. 도 12B는 시간적 장기 MV로부터 중간 레이어 MV의 불능으로 된 MV 예측의 예를 보인 도이다. 도 12C는 맵핑된 장기 MV로부터 중간 레이어 MV의 불능으로 된 MV 예측의 예를 보인 도이다.
도(1200)는 중간 레이어 MV(1204)로부터 시간적 장기 MV(1202)의 불능으로 된 MV 예측의 예를 보인 것이다. 예를 들면, 시간적 장기 MV(1202)는 중간 레이어 MV(1204)로부터 예측되지 않을 수 있다. 도(1210)는 시간적 장기 MV(1214)로부터 중간 레이어 MV(1212)의 불능으로 된 MV 예측의 예를 보인 것이다. 예를 들면, 중간 레이어 MV(1212)는 시간적 장기 MV(1214)로부터 예측되지 않을 수 있다. 도(1220)는 맵핑된 장기 MV(1224)로부터 중간 레이어 MV(1222)의 불능으로 된 MV 예측의 예를 보인 것이다. 예를 들면, 중간 레이어 MV(1222)는 맵핑된 장기 MV(1224)로부터 예측되지 않을 수 있다.
다른 중간 레이어 MV로부터 중간 레이어 MV의 예측은 예를 들면 2개의 중간 레이어 MV가 향상 레이어 및 기처리된 기본 레이어에서 동일한 시간적 간격을 갖는 경우에 가능으로 될 수 있다. 만일 2개의 중간 레이어 MV가 향상 레이어 및 기처리된 기본 레이어에서 동일한 시간적 간격을 갖지 않으면, 2개의 중간 레이어 MV 간의 예측이 불능으로 될 수 있다. 이것은 예측이 명확한 MV 상관성의 부족에 기인하여 양호한 코딩 수행을 산출하지 못하기 때문이다.
도 13A는 Te=Tp일 때 2개의 중간 레이어 MV 간의 MV 예측의 예를 보인 도이다. 도 13B는 Te≠Tp일 때 중간 레이어 MV들 간의 불능으로 된 MV 예측의 예를 보인 도이다. TMVP는 예로서 사용될 수 있다(예를 들면, 도 13A 및 도 13B에 도시된 것처럼). 도(1300)에 있어서, 현재의 중간 레이어 MV(예를 들면, MV2)(1302)는 다른 중간 레이어 MV(예를 들면, MV1)(1304)로부터 예측될 수 있다. 현재 화상(CurrPic)과 그 시간적 이웃 화상(ColPic)(예를 들면, 공존형 PU(ColPU)를 포함함) 간의 시간적 간격은 Te로 표시할 수 있다. 그들 각각의 참조 화상(예를 들면, CurrRefPic와 ColRefPic) 간의 시간적 간격은 Tp로 표시할 수 있다. CurrPic와 ColPic는 향상 레이어 내에 있을 수 있다. CurrRefPic와 ColRefPic는 기처리된 기본 레이어 내에 있을 수 있다. 만일 Te=Tp이면, MV1은 MV2를 예측하기 위해 사용할 수 있다.
MV 스케일링은 예를 들면 POC 기반 MV 스케일링이 실패할 수 있기 때문에 2개의 중간 레이어 MV 간의 예측에 대하여 불능으로 될 수 있다. 도(1310)에 있어서, 현재의 중간 레이어 MV(예를 들면, MV2)(1312)는 예를 들면 현재 화상(CurrPic)과 그 시간적 이웃 화상(ColPic) 간의 시간적 간격(예를 들면, Te)이 그들 각각의 참조 화상들 간의 시간적 간격(예를 들면, Tp)과 동일하지 않기 때문에 다른 중간 레이어 MV(예를 들면, MV1)(1314)로부터 예측되지 못할 수 있다.
맵핑된 중간 레이어 MV로부터 중간 레이어 MV의 예측은 예를 들면 중간 레이어 MV와 맵핑된 중간 레이어 MV가 동일한 시간적 거리를 갖는 경우에 스케일링 없이 가능으로 될 수 있다. 만일 이들이 동일한 시간적 거리를 갖지 않으면, 맵핑된 중간 레이어 MV로부터 중간 레이어 MV의 예측은 불능으로 될 수 있다.
표 1은 SVC의 향상 레이어 코딩에 대한 MV 예측에서의 상이한 조건들의 예를 요약한 것이다.
목표 MV 예측자 MV MV 예측의 조건


시간적 단기 MV		 시간적 단기 MV MV 스케일링과 함께 이용가능
맵핑된 단기 MV MV 스케일링과 함께 이용가능
시간적 장기 MV MV 스케일링 없이 이용가능
맵핑된 장기 MV MV 스케일링 없이 이용가능
중간 레이어 MV 이용불능
맵핑된 중간 레이어 MV 이용불능


시간적 장기 MV		 시간적 단기 MV MV 스케일링 없이 이용가능
맵핑된 단기 MV MV 스케일링 없이 이용가능
시간적 장기 MV MV 스케일링 없이 이용가능
맵핑된 장기 MV MV 스케일링 없이 이용가능
중간 레이어 MV 이용불능
맵핑된 중간 레이어 MV 이용불능



중간 레이어 MV		 시간적 단기 MV 이용불능
맵핑된 단기 MV 이용불능
시간적 장기 MV 이용불능
맵핑된 장기 MV 이용불능
중간 레이어 MV Te=Tp인 때 MV 스케일링 없이 이용가능 Te≠Tp인 때 이용불능
맵핑된 중간 레이어 MV Te=Tp인 때 MV 스케일링 없이 이용가능 Te≠Tp인 때 이용불능
<표 1: SVC의 향상 레이어 MV 예측의 예시적인 조건들>
중간 레이어 MV의 MV 맵핑은 예를 들면 여기에서 설명하는 바와 같이 상이한 코딩 레이어 간의 모션 정보 맵핑 구현에 대하여 불능으로 될 수 있다. 맵핑된 중간 레이어 MV는 향상 레이어의 MV 예측에 대하여 이용불능으로 될 수 있다.
중간 레이어 MV를 수반하는 MV 예측은 불능으로 될 수 있다. 향상을 위하여, 시간적 MV(예를 들면, 시간적 MV만)는 다른 시간적 MV로부터 예측될 수 있다. 이것은 단일 층 코덱의 MV 예측과 동일할 수 있다.
장치(예를 들면, 프로세서, 인코더, 디코더, WTRU 등)는 비트스트림(예를 들면, 확장가능 비트스트림)을 수신할 수 있다. 예를 들면, 비트스트림은 기본 레이어 및 하나 이상의 향상 레이어를 포함할 수 있다. 비트스트림의 기본 레이어(예를 들면, 기본 레이어 비디오 블록) 및/또는 향상 레이어(예를 들면, 향상 레이어 비디오 블록)은 TMVP를 이용하여 디코딩될 수 있다. TMVP는 비트스트림의 기본 레이어 및 향상 레이어에 대하여 수행될 수 있다. 예를 들면, TMVP는, 예컨대 도 4를 참조하여 설명한 바와 같이, 임의의 변경 없이 비트스트림의 기본 레이어(예를 들면, 기본 레이어 비디오 블록)에 대하여 수행될 수 있다. TMVP는 여기에서 설명하는 바와 같이 중간 레이어 참조 화상을 이용하여 비트스트림의 향상 레이어(예를 들면, 향상 레이어 비디오 블록)에 대하여 수행될 수 있다. 예를 들면, 중간 레이어 참조 화상은 향상 레이어(예를 들면, 향상 레이어 비디오 블록)의 TMVP에 대한 공존형 참조 화상으로서 사용할 수 있다. 예를 들면, 공존형 기본 레이어 화상의 압축 MV 필드를 결정할 수 있다. 중간 레이어 참조 화상의 MV 필드는 공존형 기본 레이어 화상의 압축 MV 필드에 기초하여 결정할 수 있다. 중간 레이어 참조 화상의 MV 필드는 향상 레이어(예를 들면, 향상 레이어 비디오 블록)에 대하여 TMVP를 수행하기 위해 사용할 수 있다. 예를 들면, 중간 레이어 참조 화상의 MV 필드는 향상 레이어 비디오 블록(예를 들면, 공존형 향상 레이어 비디오 블록)에 대하여 MV 필드를 예측하기 위해 사용할 수 있다.
중간 레이어 참조 레이어 화상의 MV 필드를 결정할 수 있다. 예를 들면, 중간 레이어 참조 레이어 화상의 MV 필드는 공존형 기본 레이어 화상의 MV 필드에 기초하여 결정할 수 있다. MV 필드는 하나 이상의 MV 및/또는 참조 화상 인덱스를 포함할 수 있다. 예를 들면, MV 필드는 중간 레이어 참조 레이어 화상의 PU의 MV 및 참조 화상 인덱스를 포함할 수 있다(예를 들면, 중간 레이어 참조 레이어 화상의 각각의 PU에 대하여). 향상 레이어 화상(예를 들면, 공존형 향상 레이어 화상)은 MV 필드에 기초하여 디코딩될 수 있다. TMVP는 MV 필드에 기초하여 향상 레이어 화상에서 수행될 수 있다.
층간 모션 예측을 위한 구문(syntax) 시그널링(예를 들면, 하이레벨 구문 시그널링)이 제공될 수 있다. 층간 모션 정보 맵핑 및 MV 예측은 시퀀스 레벨에서 가능 및/또는 불능으로 될 수 있다. 층간 모션 정보 맵핑 및 MV 예측은 화상/슬라이스 레벨에서 가능 및/또는 불능으로 될 수 있다. 예를 들면, 소정의 층간 모션 예측 기술을 가능으로 할 것인지 및/또는 불능으로 할 것인지의 결정은 개선된 코딩 효율 및/또는 감소된 시스템 복잡성에 대한 고려사항에 기초하여 행할 수 있다. 시퀀스 레벨의 시그널링은 예를 들면 추가된 구문이 시퀀스의 화상(예를 들면, 모든 화상)에 적용될 수 있기 때문에 화상/슬라이스 레벨의 시그널링보다 더 적은 오버헤드를 활용할 수 있다. 화상/슬라이스 레벨의 시그널링은 예를 들면 시퀀스의 화상(예를 들면, 각각의 화상)이 그들 자신의 모션 예측 구현 및/또는 MV 예측 구현을 수신할 수 있기 때문에 더 큰 융통성을 제공할 수 있다.
시퀀스 레벨 시그널링이 제공될 수 있다. 층간 모션 정보 맵핑 및/또는 MV 예측은 시퀀스 레벨에서 신호될 수 있다. 만일 시퀀스 레벨 시그널링을 활용하면 시퀀스 내의 화상(예를 들면, 모든 화상)은 동일한 모션 정보 맵핑 및/또는 MV 예측을 활용할 수 있다. 예를 들면, 표 2에 나타낸 구문은 시퀀스 레벨의 층간 모션 정보 맵핑 및/또는 MV 예측을 허용할 것인지 여부를 표시한다. 표 2의 구문은 비제한적인 예를 들자면 비디오 파라미터 집합(VPS)(예를 들면, HEVC에서), 시퀀스 파라미터 집합(SPS)(예를 들면, H.264 및 HEVC에서), 화상 파라미터 집합(PPS)(예를 들면, H.264 및 HEVC에서) 등과 같은 파라미터 집합에 적용할 수 있다.
Figure 112015027462539-pct00007
<표 2: 시퀀스 레벨 시그널링의 추가된 구문의 예>
inter_layer_mvp_present_flag는 층간 모션 예측이 시퀀스 레벨에서 활용되는지 화상/슬라이스 레벨에서 활용되는지를 표시할 수 있다. 예를 들어서, 만일 이 플래그가 0으로 설정되면, 시그널링은 화상/슬라이스 레벨로 될 수 있다. 만일 이 플래그가 1로 설정되면, 모션 맵핑 및/또는 MV 예측 시그널링은 시퀀스 레벨로 될 수 있다. inter_layer_motion_mapping_seq_enabled_flag는 층간 모션 맵핑(예를 들면, 층간 모션 예측)이 시퀀스 레벨에서 활용될 수 있는지를 표시할 수 있다. inter_layer_add_mvp_seq_enabled_flag는 블록 MV 예측(예를 들면, 추가적인 블록 MV 예측)이 시퀀스 레벨에서 활용될 수 있는지를 표시할 수 있다.
화상/슬라이스 레벨 시그널링이 제공될 수 있다. 층간 모션 정보 맵핑 및/또는 MV 예측은 화상/슬라이스 레벨로 신호될 수 있다. 만일 화상/슬라이스 레벨 시그널링을 활용하면 시퀀스의 화상(예를 들면, 각각의 화상)은 그 자신의 시그널링을 수신할 수 있다. 예를 들면, 동일 시퀀스의 화상들은 다른 모션 정보 맵핑 및/또는 MV 예측을 활용할 수 있다(예를 들면, 그들의 수신된 시그널링에 기초해서). 예를 들면, 표 3에 나타낸 구문은 층간 모션 정보 맵핑 및/또는 MV 예측이 향상 레이어의 현재 화상/슬라이스에 대하여 활용될 수 있는지를 표시하기 위해 슬라이스 헤더에서 활용될 수 있다.
Figure 112015027462539-pct00008
<표 3: 수정된 슬라이스 헤더 구문의 예>
inter_layer_motion_mapping_slice_enabled_flag는 층간 모션 맵핑이 현재 슬라이스에 적용될 수 있는지를 표시할 수 있다. inter_layer_add_mvp_slice_enabled_flag는 추가적인 블록 MV 예측이 현재 슬라이스에 적용될 수 있는지를 표시할 수 있다.
MV 예측 코딩은 다층 비디오 코딩 시스템에 대하여 제안될 수 있다. 예를 들면, 기본 레이어 및 향상 레이어의 시간적 MV들 간의 상관성이 향상 레이어의 TMVP의 과정에서 탐구될 수 있도록 기처리된 기본 레이어의 모션 관련 정보를 생성하기 위한 층간 모션 정보 맵핑 알고리즘이 여기에서 설명된다. 블록 레벨 동작이 변경되지 않기 때문에, 단일 층 인코더 및 디코더는 향상 레이어의 MV 예측을 위해 수정 없이 적용할 수 있다. MV 예측은 (예를 들면, MV 예측 효율을 개선하기 위해) 스케일러블 시스템의 다른 유형의 MV의 특성 분석에 기초를 둘 수 있다.
비록 공간 확장성이 있는 2-레이어 SVC 시스템에 대하여 여기에서 설명하지만, 이 설명은 3개 이상의 레이어 및 다른 확장성 모드를 가진 SVC 시스템에까지 확장될 수 있다.
층간 모션 예측은 비트스트림의 향상 레이어에 대하여 수행될 수 있다. 층간 모션 예측은 예를 들면 여기에서 설명하는 것처럼 신호될 수 있다. 층간 모션 예측은 비트스트림의 시퀀스 레벨에서 신호될 수 있다(예를 들면, inter_layer_motion_mapping_seq_enabled_flag 등을 이용해서). 예를 들면, 층간 모션 예측은 비트스트림의 비디오 파라미터 집합(VPS), 시퀀스 파라미터 집합(SPS), 화상 파라미터 집합(PPS) 등의 변수(예를 들면, 플래그)를 통해 신호될 수 있다.
장치(예를 들면, 프로세서, 인코더, 디코더, WTRU 등)는 여기에서 설명하는 임의의 기능을 수행할 수 있다. 예를 들면, 디코더는 비트스트림(예를 들면, 확장가능 비트스트림)을 수신하도록 구성된 프로세서를 포함할 수 있다. 비트스트림은 기본 레이어 및 향상 레이어를 포함할 수 있다. 디코더는 중간 레이어 참조 화상을 향상 레이어의 시간적 모션 벡터 예측(temporal motion vector prediction, TMVP)을 위한 공존형 참조 화상으로서 이용하는 TMVP를 이용하여 비트스트림의 향상 레이어를 디코딩할 수 있다. 향상 레이어 비디오 블록, 중간 레이어 비디오 블록 및/또는 기본 레이어 비디오 블록은 공존(예를 들면, 시간적으로 공존)될 수 있다.
디코더는 TMVP를 이용하여 향상 레이어 화상을 디코딩할 수 있다. 예를 들면, 디코더는 공존형 기본 레이어 화상의 MV 필드에 기초하여 중간 레이어 참조 화상의 MV 필드를 결정할 수 있다. 중간 레이어 참조 화상 및 향상 레이어 화상은 공존될 수 있다. 중간 레이어 참조 화상의 MV 필드는 중간 레이어 참조 화상의 비디오 블록의 MV 및 참조 화상 인덱스를 포함할 수 있다. 디코더는 중간 레이어 참조 화상의 MV 필드에 기초하여 향상 레이어 화상을 디코딩할 수 있다. 예를 들면, 디코더는 중간 레이어 참조 화상의 MV 필드에 기초하여 향상 레이어 화상의 MV 필드를 결정하고 향상 레이어 화상의 MV 필드에 기초하여 향상 레이어 화상을 디코딩할 수 있다.
중간 레이어 참조 화상의 MV 필드는 압축 MV 필드에 기초하여 결정될 수 있다. 예를 들면, 디코더는 공존형 기본 레이어 화상의 압축 MV 필드를 결정하고 및/또는 공존형 기본 레이어 화상의 압축 MV 필드에 기초하여 중간 레이어 참조 화상의 MV 필드를 결정할 수 있다.
디코더는 중간 레이어 참조 화상의 비디오 블록의 참조 화상 및 MV를 결정할 수 있다. 예를 들면, 디코더는 공존형 기본 레이어 비디오 블록의 참조 화상에 기초하여 중간 레이어 비디오 블록의 참조 화상을 결정할 수 있다. 디코더는 공존형 기본 레이어 비디오 블록의 MV에 기초하여 중간 레이어 비디오 블록의 MV를 결정할 수 있다. 디코더는 중간 레이어 비디오 블록과 면적에 있어서 최대 중첩을 갖는 것이 특징인 공존형 기본 레이어 화상의 비디오 블록을 선택함으로써 공존형 기본 레이어 비디오 블록을 결정할 수 있다. 디코더는 중간 레이어 참조 화상의 비디오 블록의 참조 화상 및 MV에 기초하여 향상 레이어 화상의 비디오 블록(예를 들면, 향상 레이어 화상의 공존형 비디오 블록)의 참조 화상 및/또는 MV를 결정할 수 있다.
디코더는 공존형 기본 레이어 비디오 블록의 참조 화상을 결정하고, 공존형 기본 레이어 비디오 블록의 참조 화상에 기초하여 중간 레이어 비디오 블록의 참조 화상을 결정할 수 있다. 예를 들면, 중간 레이어 비디오 블록의 참조 화상은 공존형 기본 레이어 비디오 블록의 참조 화상의 공존형 중간 레이어 참조 화상일 수 있다. 디코더는 중간 레이어 비디오 블록의 참조 화상에 기초하여 향상 레이어 화상의 비디오 블록의 참조 화상을 결정할 수 있다. 예를 들면, 향상 레이어의 참조 화상은 중간 레이어 비디오 블록의 참조 화상의 공존형 향상 레이어 참조 화상일 수 있다. 향상 레이어 비디오 블록, 중간 레이어 비디오 블록 및/또는 기본 레이어 비디오 블록은 공존(예를 들면, 시간적으로 공존)될 수 있다.
디코더는 중간 레이어 비디오 블록의 MV를 결정할 수 있다. 예를 들면, 디코더는 공존형 기본 레이어 비디오 블록의 MV를 결정하고, 기본 레이어와 향상 레이어 간의 공간적 비율에 따라 공존형 기본 레이어 비디오 블록의 MV를 스케일하여 중간 레이어 비디오 블록의 MV를 결정할 수 있다. 디코더는 중간 레이어 비디오 블록의 MV에 기초하여 향상 레이어 비디오 블록의 MV를 결정할 수 있다. 예를 들면, 디코더는 예컨대 중간 레이어 비디오 블록의 MV를 시간적으로 스케일링함으로써 중간 레이어 비디오 블록의 MV를 이용하여 향상 레이어 비디오 블록의 MV를 예측할 수 있다.
디코더는 공존형 기본 레이어 비디오 블록에 기초하여 향상 레이어 비디오 블록의 참조 화상을 결정하고, 공존형 기본 레이어 비디오 블록의 MV에 기초하여 향상 레이어 비디오 블록의 MV를 결정하며, 및/또는 향상 레이어 비디오 블록의 참조 화상 및 향상 레이어 비디오 블록의 MV에 기초하여 향상 레이어 비디오 블록을 디코딩하도록 구성될 수 있다. 예를 들면, 디코더는 향상 레이어 비디오 블록과 면적에 있어서 최대 중첩을 가진 것이 특징인 공존형 기본 레이어 화상의 비디오 블록을 선택함으로써 공존형 기본 레이어 비디오 블록을 결정할 수 있다.
디코더는 공존형 기본 레이어 비디오 블록의 참조 화상을 결정할 수 있다. 디코더는 공존형 기본 레이어 비디오 블록의 참조 화상을 이용하여 중간 레이어 비디오 블록의 참조 화상을 결정할 수 있다. 디코더는 향상 레이어 비디오 블록의 참조 화상을 결정할 수 있다. 예를 들면, 향상 레이어 비디오 블록의 참조 화상은 공존형 기본 레이어 비디오 블록의 참조 화상 및 공존형 중간 레이어 비디오 블록의 참조 화상의 공존형 향상 레이어 화상일 수 있다. 향상 레이어 비디오 블록, 중간 레이어 비디오 블록 및/또는 기본 레이어 비디오 블록은 공존(예를 들면, 시간적으로 공존)될 수 있다.
디코더는 공존형 기본 레이어 비디오 블록의 MV를 결정할 수 있다. 디코더는 기본 레이어와 향상 레이어 간의 공간적 비율에 따라 공존형 기본 레이어 비디오 블록의 MV를 스케일하여 중간 레이어 비디오 블록의 MV를 결정할 수 있다. 디코더는 예컨대 중간 레이어 비디오 블록의 MV를 시간적으로 스케일링함으로써 중간 레이어 비디오 블록의 MV에 기초하여 향상 레이어 비디오 블록의 MV를 예측할 수 있다.
디코더는 비트스트림을 수신하는 프로세서를 포함할 수 있다. 비트스트림은 기본 레이어 및 향상 레이어를 포함할 수 있다. 비트 스트림은 층간 모션 맵핑 정보를 포함할 수 있다. 디코더는 상기 층간 맵핑 정보에 기초하여 층간 모션 예측이 향상 레이어에 대하여 가능으로 되는 것을 결정할 수 있다. 디코더는 상기 층간 맵핑 정보에 기초하여 향상 레이어의 층간 모션 예측을 수행할 수 있다. 상기 층간 맵핑 정보는 비트스트림의 시퀀스 레벨에서 신호될 수 있다. 예를 들면, 상기 층간 맵핑 정보는 비트스트림의 VPS, SPS 및/또는 PPS의 변수(예를 들면, 플래그)에 의해 신호될 수 있다.
비록 디코더의 관점에서 설명하였지만, 여기에서 설명한 기능들(예를 들면, 여기에서 설명한 기능들의 역)은 예를 들면 인코더 등의 다른 장치에 의해 수행될 수도 있다.
도 14A는 하나 이상의 본 발명의 실시형태를 구현할 수 있는 예시적인 통신 시스템(1400)을 보인 도이다. 통신 시스템(1400)은 복수의 무선 사용자에게 음성, 데이터, 영상, 메시지, 방송 등의 콘텐츠를 제공하는 다중 접속 시스템일 수 있다. 통신 시스템(1400)은 복수의 무선 사용자들이 무선 대역폭을 포함한 시스템 자원을 공유함으로써 상기 콘텐츠에 접근할 수 있게 한다. 예를 들면, 통신 시스템(1400)은 코드 분할 다중 접속(CDMA), 시분할 다중 접속(TDMA), 주파수 분할 다중 접속(FDMA), 직교 FDMA(OFDMA), 단일 캐리어 FDMA(SC-FDMA) 등과 같은 하나 이상의 채널 접속 방법을 이용할 수 있다.
도 14A에 도시된 것처럼, 통신 시스템(1400)은 무선 송수신 유닛(WTRU)(1402a, 1402b, 1402c, 및/또는 1402d)(총칭적으로 또는 집합적으로 WTRU(1402)라고 부른다), 무선 접근 네트워크(radio access network; RAN)(1403/1404/1405), 코어 네트워크(1406/1407/1409), 공중 교환식 전화망(public switched telephone network; PSTN)(1408), 인터넷(1410) 및 기타의 네트워크(1412)를 포함하고 있지만, 본 발명의 실시형태는 임의 수의 WTRU, 기지국, 네트워크 및/또는 네트워크 요소를 포함할 수 있다는 것을 이해할 것이다. 각각의 WTRU(1402a, 1402b, 1402c, 1402d)는 무선 환경에서 동작 및/또는 통신하도록 구성된 임의 유형의 장치일 수 있다. 예를 들면, WTRU(1402a, 1402b, 1402c, 1402d)는 무선 신호를 송신 및/또는 수신하도록 구성될 수 있고, 사용자 장비(UE), 이동국, 고정식 또는 이동식 가입자 유닛, 페이저, 셀룰러 전화기, 개인 정보 단말기(personal digital assistant; PDA), 스마트폰, 랩톱, 넷북, 퍼스널 컴퓨터, 무선 센서, 가전제품 등을 포함할 수 있다.
통신 시스템(1400)은 기지국(1414a)과 기지국(1414b)을 또한 포함할 수 있다. 각각의 기지국(1414a, 1414b)은 적어도 하나의 WTRU(1402a, 1402b, 1402c, 1402d)와 무선으로 인터페이스 접속하여 코어 네트워크(1406/1407/1409), 인터넷(1410) 및/또는 네트워크(1412)와 같은 하나 이상의 통신 네트워크에 접근하도록 구성된 임의 유형의 장치일 수 있다. 예를 들면, 기지국(1414a, 1414b)은 기지국 송수신기(base transceiver station; BTS), 노드-B, e노드 B, 홈 노드 B, 홈 e노드 B, 사이트 제어기, 접근점(access point; AP), 무선 라우터 등일 수 있다. 비록 기지국(1414a, 1414b)이 각각 단일 요소로서 도시되어 있지만, 기지국(1414a, 1414b)은 임의 수의 상호접속된 기지국 및/또는 네트워크 요소를 포함할 수 있다는 것을 이해할 것이다.
기지국(1414a)은 RAN(1403/1404/1405)의 일부일 수 있고, RAN(1403/1404/1405)은 기지국 제어기(base station controller; BSC), 라디오 네트워크 제어기(radio network controller; RNC), 릴레이 노드 등과 같은 다른 기지국 및/또는 네트워크 요소(도시 생략됨)를 또한 포함할 수 있다. 기지국(1414a) 및/또는 기지국(1414b)은 셀(도시 생략됨)이라고도 부르는 특정의 지리적 영역 내에서 무선 신호를 송신 및/또는 수신하도록 구성될 수 있다. 셀은 복수의 셀 섹터로 세분될 수 있다. 예를 들면, 기지국(1414a)과 관련된 셀은 3개의 섹터로 나누어질 수 있다. 따라서, 일 실시형태에 있어서, 기지국(1414a)은 셀의 각 섹터마다 하나씩 3개의 송수신기를 포함할 수 있다. 다른 실시형태에 있어서, 기지국(1414a)은 다중입력 다중출력(MIMO) 기술을 사용할 수 있고, 따라서 셀의 각 섹터마다 복수의 송수신기를 사용할 수 있다.
기지국(1414a, 1414b)은 임의의 적당한 무선 통신 링크(예를 들면, 라디오 주파수(RF), 마이크로파, 적외선(IR), 자외선(UV), 가시광선 등)일 수 있는 무선 인터페이스(1415/1416/1417)를 통하여 하나 이상의 WTRU(1402a, 1402b, 1402c, 1402d)와 통신할 수 있다. 무선 인터페이스(1415/1416/1417)는 임의의 적당한 무선 접근 기술(radio access technology; RAT)을 이용하여 확립될 수 있다.
더 구체적으로, 위에서 언급한 것처럼, 통신 시스템(1400)은 다중 접근 시스템일 수 있고, CDMA, TDMA, FDMA, OFDMA, SC-FDMA 등과 같은 하나 이상의 채널 접근 방식을 이용할 수 있다. 예를 들면, RAN(1403/1404/1405) 내의 기지국(1414a)과 WTRU(1402a, 1402b, 1402c)는 광대역 CDMA(WCDMA)를 이용하여 무선 인터페이스(1415/1416/1417)를 확립하는 범용 이동통신 시스템(UMTS) 지상 라디오 액세스(UTRA)와 같은 무선 기술을 구현할 수 있다. WCDMA는 고속 패킷 액세스(HSPA) 및/또는 진화형 HSPA(HSPA+)와 같은 통신 프로토콜을 포함할 수 있다. HSPA는 고속 다운링크 패킷 액세스(HSDPA) 및/또는 고속 업링크 패킷 액세스(HSUPA)를 포함할 수 있다.
다른 실시형태에 있어서, 기지국(1414a)과 WTRU(1402a, 1402b, 1402c)는 롱텀 에볼루션(LTE) 및/또는 LTE-어드반스드(LTE-A)를 이용하여 무선 인터페이스(1415/1416/1417)를 확립하는 진화형 UMTS 지상 라디오 액세스(E-UTRA)와 같은 무선 기술을 구현할 수 있다.
다른 실시형태에 있어서, 기지국(1414a)과 WTRU(1402a, 1402b, 1402c)는 IEEE 802.16(즉, WiMAX(Worldwide Interoperability for Microwave Access)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, 잠정 표준 2000(IS-2000), 잠정 표준 95(IS-95), 잠정 표준 856(IS-856), 글로벌 이동통신 시스템(GSM), EDGE(Enhanced Data rates for GSM Evolution), GSM EDGE(GERAN) 등과 같은 무선 기술을 구현할 수 있다.
도 14A의 기지국(1414b)은 예를 들면 무선 라우터, 홈 노드 B, 홈 e노드 B, 또는 접근점일 수 있고, 사업장, 홈, 자동차, 캠퍼스 등과 같은 국소 지역에서 무선 접속을 가능하게 하는 임의의 적당한 RAT를 이용할 수 있다. 일 실시형태에 있어서, 기지국(1414b)과 WTRU(1402c, 1402d)는 IEEE 802.11과 같은 무선 기술을 구현하여 무선 근거리 통신망(WLAN)을 확립할 수 있다. 다른 실시형태에 있어서, 기지국(1414b)과 WTRU(1402c, 1402d)는 IEEE 802.15와 같은 무선 기술을 구현하여 무선 개인 통신망(WPAN)을 확립할 수 있다. 또 다른 실시형태에 있어서, 기지국(1414b)과 WTRU(1402c, 1402d)는 셀룰러 기반 RAT(예를 들면, WCDMA, CDMA2000, GSM, LTE, LTE-A 등)를 이용하여 피코셀 또는 펨토셀을 확립할 수 있다. 도 14A에 도시된 바와 같이, 기지국(1414b)은 인터넷(1410)에 직접 접속될 수 있다. 그러므로, 기지국(1414b)은 코어 네트워크(1406/1407/1409)를 통해 인터넷(1410)에 접속할 필요가 없다.
RAN(1403/1404/1405)은 코어 네트워크(1406/1407/1409)와 통신하고, 코어 네트워크(1406/1407/1409)는 하나 이상의 WTRU(1402a, 1402b, 1402c, 1402d)에게 음성, 데이터, 애플리케이션 및/또는 인터넷을 통한 음성 프로토콜(voice over internet protocol; VoIP) 서비스를 제공하도록 구성된 임의 유형의 네트워크일 수 있다. 예를 들면, 코어 네트워크(1406/1407/1409)는 호출 제어, 빌링(billing) 서비스, 모바일 위치 기반 서비스, 선불 통화, 인터넷 접속, 영상 분배 등을 제공할 수 있고, 및/또는 사용자 인증과 같은 고급 보안 기능을 수행할 수 있다. 비록 도 14A에 도시되어 있지 않지만, RAN(1403/1404/1405) 및/또는 코어 네트워크(1406/1407/1409)는 RAN(1403/1404/1405)과 동일한 RAT 또는 다른 RAT를 이용하는 다른 RAN과 직접 또는 간접 통신을 할 수 있다는 것을 이해할 것이다. 예를 들면, E-UTRA 무선 기술을 이용하여 RAN(1403/1404/1405)에 접속하는 것 외에, 코어 네트워크(1406/1407/1409)는 GSM 무선 기술을 이용하여 다른 RAN(도시 생략됨)과도 또한 통신할 수 있다.
코어 네트워크(1406/1407/1409)는 WTRU(1402a, 1402b, 1402c, 1402d)가 PSTN(1408), 인터넷(1410) 및/또는 기타 네트워크(1412)에 접속하게 하는 게이트웨이로서 또한 기능할 수 있다. PSTN(1408)은 재래식 전화 서비스(plain old telephone service; POTS)를 제공하는 회선 교환식 전화망을 포함할 수 있다. 인터넷(1410)은 TCP/IP 인터넷 프로토콜 스위트(suite)에서 전송 제어 프로토콜(TCP), 사용자 데이터그램 프로토콜(UDP) 및 인터넷 프로토콜(IP)과 같은 공통의 통신 프로토콜을 이용하는 상호접속된 컴퓨터 네트워크 및 장치의 글로벌 시스템을 포함할 수 있다. 네트워크(1412)는 다른 서비스 공급자에 의해 소유 및/또는 운용되는 유선 또는 무선 통신 네트워크를 포함할 수 있다. 예를 들면, 네트워크(1412)는 RAN(1403/1404/1405)과 동일한 RAT 또는 다른 RAT를 이용하여 하나 이상의 RAN에 접속된 다른 코어 네트워크를 포함할 수 있다.
통신 시스템(1400)의 WTRU(1402a, 1402b, 1402c, 1402d)의 일부 또는 전부는 다중 모드 능력을 구비할 수 있다. 예를 들면, WTRU(1402a, 1402b, 1402c, 1402d)는 다른 무선 링크를 통하여 다른 무선 네트워크와 통신하기 위한 복수의 송수신기를 포함할 수 있다. 예를 들면, 도 14A에 도시된 WTRU(1402c)는 셀룰러 기반 무선 기술을 이용하여 기지국(1414a)과 통신하고, IEEE 802 무선 기술을 이용하여 기지국(1414b)과 통신하도록 구성될 수 있다.
도 14B는 예시적인 WTRU(1402)의 계통도이다. 도 14B에 도시된 바와 같이, WTRU(1402)는 프로세서(1418), 송수신기(1420), 송수신 엘리멘트(1422), 스피커/마이크로폰(1424), 키패드(1426), 디스플레이/터치패드(1428), 비착탈식 메모리(1430), 착탈식 메모리(1432), 전원(1434), 글로벌 위치확인 시스템(GPS) 칩세트(1436) 및 기타 주변장치(1438)를 포함할 수 있다. WTRU(1402)는 실시형태의 일관성을 유지하면서 전술한 요소들의 임의의 부조합(sub-combination)을 포함할 수 있다는 것을 이해할 것이다. 또한, 실시형태는 기지국(1414a, 1414b), 및/또는 기지국(1414a, 1414b)이 비제한적인 예로서, 다른 무엇보다도 특히, 기지국 송수신기(BTS), 노드-B, 사이트 제어기, 접근점(AP), 홈 노드-B, 진화형 홈 노드-B(e노드B), 홈 e노드-B(HeNB), 홈 e노드-B 게이트웨이, 프록시 노드 등을 대표할 수 있는 노드들이 도 14B에 도시되고 여기에서 설명하는 요소들의 일부 또는 전부를 포함하는 것을 예상한다.
프로세서(1418)는 범용 프로세서, 특수 용도 프로세서, 전통적 프로세서, 디지털 신호 프로세서(DSP), 복수의 마이크로프로세서, DSP 코어와 연관하는 하나 이상의 마이크로프로세서, 컨트롤러, 마이크로컨트롤러, 용도 지정 집적회로(ASIC), 현장 프로그램가능 게이트 어레이(FPGA) 회로, 임의의 다른 유형의 집적회로(IC), 상태 기계 등일 수 있다. 프로세서(1418)는 신호 부호화, 데이터 처리, 전력 제어, 입력/출력 처리, 및/또는 WTRU(1402)가 무선 환경에서 동작하게 하는 임의의 다른 기능을 수행할 수 있다. 프로세서(1418)는 송수신기(1420)에 결합되고, 송수신기(1420)는 송수신 엘리멘트(1422)에 결합될 수 있다. 비록 도 14B에서는 프로세서(1418)와 송수신기(1420)가 별도의 구성요소로서 도시되어 있지만, 프로세서(1418)와 송수신기(1420)는 전자 패키지 또는 칩으로 함께 통합될 수 있음을 이해할 것이다.
송수신 엘리멘트(1422)는 무선 인터페이스(1415/1416/1417)를 통하여 기지국(예를 들면 기지국(1414a))에 신호를 송신하거나 기지국으로부터 신호를 수신하도록 구성될 수 있다. 예를 들면, 일 실시형태에 있어서, 송수신 엘리멘트(1422)는 RF 신호를 송신 및/또는 수신하도록 구성된 안테나일 수 있다. 다른 실시형태에 있어서, 송수신 엘리멘트(1422)는 예를 들면, IR, UV 또는 가시광 신호를 송신 및/또는 수신하도록 구성된 에미터/검지기일 수 있다. 또 다른 실시형태에 있어서, 송수신 엘리멘트(1422)는 RF 신호와 광신호 둘 다를 송신 및 수신하도록 구성될 수 있다. 송수신 엘리멘트(1422)는 임의의 무선 신호 조합을 송신 및/또는 수신하도록 구성될 수 있다는 것을 이해할 것이다.
또한, 비록 송수신 엘리멘트(1422)가 도 14B에서 단일 엘리멘트로서 도시되어 있지만, WTRU(1402)는 임의 수의 송수신 엘리멘트(1422)를 포함할 수 있다. 더 구체적으로, WTRU(1402)는 MIMO 기술을 이용할 수 있다. 따라서, 일 실시형태에 있어서, WTRU(1402)는 무선 인터페이스(1415/1416/1417)를 통해 무선 신호를 송신 및 수신하기 위해 2개 이상의 송수신 엘리멘트(1422)(예를 들면, 다중 안테나)를 포함할 수 있다.
송수신기(1420)는 송수신 엘리멘트(1422)에 의해 송신할 신호들을 변조하고 송수신 엘리멘트(1422)에 의해 수신된 신호를 복조하도록 구성될 수 있다. 전술한 바와 같이, WTRU(1402)는 다중 모드 능력을 구비할 수 있다. 따라서, 송수신기(1420)는 WTRU(1402)가 예를 들면 UTRA 및 IEEE 802.11과 같은 복수의 RAT를 통하여 통신하게 하는 복수의 송수신기를 포함할 수 있다.
WTRU(1402)의 프로세서(1418)는 스피커/마이크로폰(1424), 키패드(1426), 및/또는 디스플레이/터치패드(1428)(예를 들면, 액정 디스플레이(LCD) 표시 장치 또는 유기 발광 다이오드(OLED) 표시 장치)에 결합되어 이들로부터 사용자 입력 데이터를 수신할 수 있다. 프로세서(1418)는 또한 스피커/마이크로폰(1424), 키패드(1426), 및/또는 디스플레이/터치패드(1428)에 사용자 데이터를 출력할 수 있다. 또한, 프로세서(1418)는 비착탈식 메모리(1430) 및/또는 착탈식 메모리(1432)와 같은 임의 유형의 적당한 메모리로부터의 정보에 접근하고 상기 적당한 메모리에 데이터를 저장할 수 있다. 비착탈식 메모리(1430)는 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 하드 디스크 또는 임의의 다른 유형의 메모리 기억장치를 포함할 수 있다. 착탈식 메모리(1432)는 가입자 식별 모듈(SIM) 카드, 메모리 스틱, 보안 디지털(SD) 메모리 카드 등을 포함할 수 있다. 다른 실시형태에 있어서, 프로세서(1418)는 서버 또는 홈 컴퓨터(도시 생략됨)와 같이 WTRU(1402)에 물리적으로 위치되어 있지 않은 메모리로부터의 정보에 접근하고 그러한 메모리에 데이터를 저장할 수 있다.
프로세서(1418)는 전원(1434)으로부터 전력을 수신하고, WTRU(1402)의 각종 구성요소에 대하여 전력을 분배 및/또는 제어하도록 구성될 수 있다. 전원(1434)은 WTRU(1402)에 전력을 공급하는 임의의 적당한 장치일 수 있다. 예를 들면, 전원(1434)은 하나 이상의 건전지 배터리(예를 들면, 니켈-카드뮴(NiCd), 니켈-아연(NiZn), 니켈 금속 하이드라이드(NiMH), 리튬-이온(Li-ion) 등), 태양 전지, 연료 전지 등을 포함할 수 있다.
프로세서(1418)는 WTRU(1402)의 현재 위치에 관한 위치 정보(예를 들면, 경도 및 위도)를 제공하도록 구성된 GPS 칩세트(1436)에 또한 결합될 수 있다. GPS 칩세트(1436)로부터의 정보에 추가해서 또는 그 대신으로, WTRU(1402)는 기지국(예를 들면 기지국(1414a, 1414b))으로부터 무선 인터페이스(1415/1416/1417)를 통해 위치 정보를 수신하고, 및/또는 2개 이상의 인근 기지국으로부터 신호가 수신되는 타이밍에 기초하여 그 위치를 결정할 수 있다. WTRU(1402)는 실시형태의 일관성을 유지하면서 임의의 적당한 위치 결정 방법에 의해 위치 정보를 획득할 수 있다는 것을 이해할 것이다.
프로세서(1418)는 추가의 특징, 기능 및/또는 유선 또는 무선 접속을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈을 포함한 기타 주변 장치(1438)에 또한 결합될 수 있다. 예를 들면, 주변 장치(1438)는 가속도계, e-콤파스, 위성 송수신기, 디지털 카메라(사진용 또는 영상용), 범용 직렬 버스(USB) 포트, 진동 장치, 텔레비전 송수신기, 핸즈프리 헤드셋, 블루투스® 모듈, 주파수 변조(FM) 라디오 장치, 디지털 뮤직 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저 등을 포함할 수 있다.
도 14C는 일 실시형태에 따른 RAN(1403) 및 코어 네트워크(1406)의 계통도이다. 전술한 바와 같이, RAN(1403)은 UTRA 무선 기술을 이용하여 무선 인터페이스(1415)를 통해 WTRU(1402a, 1402b, 1402c)와 통신할 수 있다. RAN(1403)은 코어 네트워크(1406)와 또한 통신할 수 있다. 도 14C에 도시된 것처럼, RAN(1403)은 노드-B(1440a, 1440b, 1440c)를 포함하고, 노드-B(1440a, 1440b, 1440c)는 무선 인터페이스(1415)를 통하여 WTRU(1402a, 1402b, 1402c)와 통신하는 하나 이상의 송수신기를 각각 포함할 수 있다. 노드-B(1440a, 1440b, 1440c)는 RAN(1403) 내의 특정 셀(도시 생략됨)과 각각 연관될 수 있다. RAN(1403)은 또한 RNC(1442a, 1442b)를 포함할 수 있다. RAN(1403)은 실시형태의 일관성을 유지하면서 임의 수의 노드-B 및 RNC를 포함할 수 있다는 것을 이해할 것이다.
도 14C에 도시된 것처럼, 노드-B(1440a, 1440b)는 RNC(1442a)와 통신할 수 있다. 또한, 노드-B(1440c)는 RNC(1442b)와 통신할 수 있다. 노드-B(1440a, 1440b, 1440c)는 Iub 인터페이스를 통해 각각의 RNC(1442a, 1442b)와 통신할 수 있다. RNC(1442a, 1442b)는 Iur 인터페이스를 통해 서로 통신할 수 있다. 각각의 RNC(1442a, 1442b)는 이들이 접속된 각각의 노드-B(1440a, 1440b, 1440c)를 제어하도록 구성될 수 있다. 또한 각각의 RNC(1442a, 1442b)는 외부 루프 전력 제어, 부하 제어, 허가 제어, 패킷 스케줄링, 핸드오버 제어, 매크로다이버시티, 보안 기능, 데이터 암호화 등과 같은 다른 기능을 실행 또는 지원하도록 구성될 수 있다.
도 14C에 도시된 코어 네트워크(1406)는 미디어 게이트웨이(MGW)(1444), 모바일 스위칭 센터(MSC)(1446), 서빙 GPRS 지원 노드(SGSN)(1448) 및/또는 게이트웨이 GPRS 지원 노드(GGSN)(1450)를 포함할 수 있다. 전술한 요소들이 각각 코어 네트워크(1406)의 일부로서 도시되어 있지만, 이 요소들 중 임의의 요소는 코어 네트워크 운용자가 아닌 다른 엔티티에 의해 소유 및/또는 운용될 수 있다는 것을 이해할 것이다.
RAN(1403)에 있는 RNC(1442a)는 IuCS 인터페이스를 통해 코어 네트워크(1406) 내의 MSC(1446)에 접속될 수 있다. MSC(1446)는 MGW(1444)에 접속될 수 있다. MSC(1446)와 MGW(1444)는 PSTN(1408)과 같은 회선 교환식 네트워크에 대한 액세스를 WTRU(1402a, 1402b, 1402c)에게 제공하여 WTRU(1402a, 1402b, 1402c)와 전통적인 지상선 통신 장치 간의 통신을 가능하게 한다.
RAN(1403)에 있는 RNC(1442a)는 IuPS 인터페이스를 통해 코어 네트워크(1406) 내의 SGSN(1448)에 또한 접속될 수 있다. SGSN(1448)은 GGSN(1450)에 접속될 수 있다. SGSN(1448)과 GGSN(1450)은 인터넷(1410)과 같은 패킷 교환식 네트워크에 대한 액세스를 WTRU(1402a, 1402b, 1402c)에게 제공하여 WTRU(1402a, 1402b, 1402c)와 IP-인에이블 장치 간의 통신을 가능하게 한다.
전술한 바와 같이, 코어 네트워크(1406)는 다른 서비스 공급자에 의해 소유 및/또는 운용되는 다른 유선 또는 무선 네트워크를 포함하는 네트워크(1412)에 또한 접속될 수 있다.
도 14D는 일 실시형태에 따른 RAN(1404) 및 코어 네트워크(1407)의 계통도이다. 전술한 바와 같이, RAN(1404)은 E-UTRA 무선 기술을 이용하여 무선 인터페이스(1416)를 통해 WTRU(1402a, 1402b, 1402c)와 통신할 수 있다. RAN(1404)은 코어 네트워크(1407)와 또한 통신할 수 있다.
RAN(1404)이 e노드-B(1460a, 1460b, 1460c)를 포함하고 있지만, RAN(1404)은 실시형태의 일관성을 유지하면서 임의 수의 e노드-B를 포함할 수 있다는 것을 이해할 것이다. e노드-B(1460a, 1460b, 1460c)는 무선 인터페이스(1416)를 통하여 WTRU(1402a, 1402b, 1402c)와 통신하는 하나 이상의 송수신기를 각각 포함할 수 있다. 일 실시형태에 있어서, e노드-B(1460a, 1460b, 1460c)는 MIMO 기술을 구현할 수 있다. 따라서, 예를 들면 e노드-B(1460a)는 복수의 안테나를 사용하여 WTRU(1402a)에게 무선 신호를 송신하고 WTRU(1402a)로부터 무선 신호를 수신할 수 있다.
각각의 e노드-B(1460a, 1460b, 1460c)는 특정 셀(도시 생략됨)과 연관될 수 있고, 무선 자원 관리 결정, 핸드오버 결정, 업링크 및/또는 다운링크에서 사용자의 스케줄링 등을 취급하도록 구성될 수 있다. 도 14D에 도시된 바와 같이, e노드-B(1460a, 1460b, 1460c)는 X2 인터페이스를 통해 서로 통신할 수 있다.
도 14D에 도시된 코어 네트워크(1407)는 이동성 관리 게이트웨이(MME)(1462), 서빙 게이트웨이(1464) 및 패킷 데이터 네트워크(PDN) 게이트웨이(1466)를 포함할 수 있다. 전술한 요소들이 각각 코어 네트워크(1407)의 일부로서 도시되어 있지만, 이 요소들 중 임의의 요소는 코어 네트워크 운용자가 아닌 다른 엔티티에 의해 소유 및/또는 운용될 수 있다는 것을 이해할 것이다.
MME(1462)는 S1 인터페이스를 통해 RAN(1404) 내의 각각의 e노드-B(1460a, 1460b, 1460c)에 접속될 수 있고, 제어 노드로서 기능할 수 있다. 예를 들면, MME(1462)는 WTRU(1402a, 1402b, 1402c)의 사용자를 인증하고, 베어러를 활성화/비활성화하고, WTRU(1402a, 1402b, 1402c)의 초기 부착 중에 특정의 서빙 게이트웨이를 선택하는 등의 임무를 수행할 수 있다. MME(1462)는 또한 GSM 또는 WCDMA와 같은 다른 무선 기술을 이용하는 다른 RAN(도시 생략됨)과 RAN(1404) 간의 전환을 위한 제어 평면 기능(control plane function)을 또한 제공할 수 있다.
서빙 게이트웨이(1464)는 RAN(1404) 내의 각각의 e노드-B(1460a, 1460b, 1460c)에 S1 인터페이스를 통해 접속될 수 있다. 서빙 게이트웨이(1464)는 일반적으로 WTRU(1402a, 1402b, 1402c)로/로부터 사용자 데이터 패킷을 라우트 및 회송할 수 있다. 서빙 게이트웨이(1464)는 또한 e노드-B 간의 핸드오버 중에 사용자 평면(user plane)을 앵커링(anchoring)하는 것, 다운링크 데이터가 WTRU(1402a, 1402b, 1402c)에 이용할 수 있을 때 페이징을 트리거하는 것, WTRU(1402a, 1402b, 1402c)의 콘텍스트를 관리 및 저장하는 것 등의 다른 기능을 수행할 수 있다.
서빙 게이트웨이(1464)는 PDN 게이트웨이(1466)에 또한 접속될 수 있고, PDN 게이트웨이(1466)는 WTRU(1402a, 1402b, 1402c)와 IP-인에이블 장치 간의 통신을 돕도록 인터넷(1410) 등의 패킷 교환식 네트워크에 대한 액세스를 WTRU(1402a, 1402b, 1402c)에게 제공할 수 있다.
코어 네트워크(1407)는 다른 네트워크와의 통신을 가능하게 한다. 예를 들면, 코어 네트워크(1407)는 WTRU(1402a, 1402b, 1402c)와 전통적인 지상선(land-line) 통신 장치 간의 통신이 가능하도록, PSTN(1408) 등의 회선 교환식 네트워크에 대한 액세스를 WTRU(1402a, 1402b, 1402c)에게 제공할 수 있다. 예를 들면, 코어 네트워크(1407)는 코어 네트워크(1407)와 PSTN(1408) 간의 인터페이스로서 기능하는 IP 게이트웨이(예를 들면, IP 멀티미디어 서브시스템(IMS) 서버)를 포함하거나 그러한 IP 게이트웨이와 통신할 수 있다. 또한, 코어 네트워크(1407)는 다른 서비스 공급자에 의해 소유 및/또는 운용되는 다른 유선 또는 무선 네트워크를 포함하는 네트워크(1412)에 대한 액세스를 WTRU(1402a, 1402b, 1402c)에게 제공할 수 있다.
도 14E는 일 실시형태에 따른 RAN(1405) 및 코어 네트워크(1409)의 계통도이다. RAN(1405)은 IEEE 802.16 무선 기술을 이용하여 무선 인터페이스(1417)를 통해 WTRU(1402a, 1402b, 1402c)와 통신하는 액세스 서비스 네트워크(ASN)일 수 있다. 뒤에서 더 자세히 설명하는 것처럼, WTRU(1402a, 1402b, 1402c)의 다른 기능 엔티티, RAN(1405) 및 코어 네트워크(1409) 간의 통신 링크는 기준점으로서 정의될 수 있다.
도 14E에 도시된 것처럼, RAN(1405)이 기지국(1480a, 1480b, 1480c)과 ASN 게이트웨이(1482)를 포함하고 있지만, RAN(1405)은 실시형태의 일관성을 유지하면서 임의 수의 기지국 및 ASN 게이트웨이를 포함할 수 있다는 것을 이해할 것이다. 기지국(1480a, 1480b, 1480c)은 RAN(1405) 내의 특정 셀(도시 생략됨)과 각각 연관될 수 있고, 무선 인터페이스(1417)를 통하여 WTRU(1402a, 1402b, 1402c)와 통신하는 하나 이상의 송수신기를 각각 포함할 수 있다. 일 실시형태에 있어서, 기지국(1480a, 1480b, 1480c)은 MIMO 기술을 구현할 수 있다. 따라서, 예를 들면 기지국(1480a)은 복수의 안테나를 사용하여 WTRU(1402a)에게 무선 신호를 전송하고 WTRU(1402a)로부터 무선 신호를 수신할 수 있다. 기지국(1480a, 1480b, 1480c)은 핸드오프 트리거링, 터널 확립, 무선 자원 관리, 트래픽 분류, 서비스 품질(QoS) 정책 강화 등과 같은 이동성 관리 기능을 또한 제공할 수 있다. ASN 게이트웨이(1482)는 트래픽 집성점으로서 기능할 수 있고, 페이징, 가입자 프로필의 캐싱, 코어 네트워크(1409)로의 라우팅 등의 임무를 수행할 수 있다.
WTRU(1402a, 1402b, 1402c)와 RAN(1405) 간의 무선 인터페이스(1417)는 IEEE 802.16 명세서를 구현하는 R1 기준점으로서 규정될 수 있다. 또한 각각의 WTRU(1402a, 1402b, 1402c)는 코어 네트워크(1409)와 논리 인터페이스(도시 생략됨)를 확립할 수 있다. WTRU(1402a, 1402b, 1402c)와 코어 네트워크(1409) 간의 논리 인터페이스는 R2 기준점으로서 규정될 수 있고, 이것은 인증(authentication), 권한부여(authorization), IP 호스트 구성 관리, 및/또는 이동성 관리를 위해 사용될 수 있다.
각각의 기지국(1480a, 1480b, 1480c)들 간의 통신 링크는 WTRU 핸드오버 및 기지국들 간의 데이터 전송을 가능하게 하는 프로토콜을 포함한 R8 기준점으로서 규정될 수 있다. 기지국(1480a, 1480b, 1480c)과 ASN 게이트웨이(1482) 간의 통신 링크는 R6 기준점으로서 규정될 수 있다. R6 기준점은 각각의 WTRU(1402a, 1402b, 1402c)와 연관된 이동성 이벤트에 기초하여 이동성 관리를 가능하게 하는 프로토콜을 포함할 수 있다.
도 14E에 도시된 것처럼, RAN(1405)은 코어 네트워크(1409)에 접속될 수 있다. RAN(1405)과 코어 네트워크(1409) 간의 통신 링크는 예를 들면 데이터 전송 및 이동성 관리 능력을 가능하게 하는 프로토콜을 포함한 R3 기준점으로서 규정될 수 있다. 코어 네트워크(1409)는 모바일 IP 홈 에이전트(MIP-HA)(1484), 인증, 권한부여, 계정(AAA) 서버(1486), 및 게이트웨이(1488)를 포함할 수 있다. 비록 전술한 요소들이 각각 코어 네트워크(1409)의 일부로서 도시되어 있지만, 이 요소들 중 임의의 요소는 코어 네트워크 운용자자가 아닌 다른 엔티티에 의해 소유 및/또는 운용될 수 있다는 것을 이해할 것이다.
MIP-HA는 IP 어드레스 관리의 임무를 가질 수 있고, WTRU(1402a, 1402b, 1402c)가 다른 ASN 및/또는 다른 코어 네트워크들 사이에서 로밍하게 할 수 있다. MIP-HA(1484)는 인터넷(1410)과 같은 패킷 교환식 네트워크에 대한 액세스를 WTRU(1402a, 1402b, 1402c)에게 제공하여 WTRU(1402a, 1402b, 1402c)와 IP-인에이블 장치 간의 통신을 가능하게 한다. AAA 서버(1486)는 사용자 인증 및 사용자 서비스 지원의 임무를 가질 수 있다. 게이트웨이(1488)는 다른 네트워크들과의 상호연동을 가능하게 한다. 예를 들면, 게이트웨이(1488)는 PSTN(1408)과 같은 회선 교환식 네트워크에 대한 액세스를 WTRU(1402a, 1402b, 1402c)에게 제공하여 WTRU(1402a, 1402b, 1402c)와 전통적인 지상선 통신 장치 간의 통신을 가능하게 한다. 또한, 게이트웨이(1488)는 다른 서비스 공급자에 의해 소유 및/또는 운용되는 다른 유선 또는 무선 네트워크를 포함한 네트워크(1412)에 대한 액세스를 WTRU(1402a, 1402b, 1402c)에게 제공할 수 있다.
비록 도 14E에는 도시되지 않았지만, RAN(1405)은 다른 ASN에 접속될 수 있고 코어 네트워크(1409)는 다른 코어 네트워크에 접속될 수 있다는 것을 이해할 것이다. RAN(1405)과 다른 ASN 간의 통신 링크는 R4 기준점으로서 규정될 수 있고, R4 기준점은 RAN(1405)과 다른 ASN 사이에서 WTRU(1402a, 1402b, 1402c)의 이동성을 조정하는 프로토콜을 포함할 수 있다. 코어 네트워크(1409)와 다른 코어 네트워크 간의 통신 링크는 R5 기준점으로서 규정될 수 있고, R5 기준점은 홈 코어 네트워크와 방문 코어 네트워크 간의 상호연동을 가능하게 하는 프로토콜을 포함할 수 있다.
도 15는 블록 기반형 비디오 인코더, 예를 들면 하이브리드 비디오 인코딩 시스템의 예를 보인 블록도이다. 입력 비디오 신호(1502)는 블록별로 처리될 수 있다. 비디오 블록 단위는 16×16 픽셀을 포함할 수 있다. 그러한 블록 단위는 매크로 블록(MB)이라고 부를 수 있다. 고효율 비디오 코딩(HEVC)에 있어서, 확장형 블록 크기(예를 들면, 이것은 "코딩 단위" 또는 CU라고 부를 수 있다)를 이용하여 고해상도(예를 들면, 1080p 이상) 비디오 신호를 효율적으로 압축할 수 있다. HEVC에 있어서, CU는 최대 64×64 픽셀일 수 있다. CU는 예측 단위(PU)로 분할될 수 있고, 각 예측 단위에 대하여 별도의 예측 방법을 적용할 수 있다.
입력 비디오 블록(예를 들면, MB 또는 CU)에 대하여, 공간 예측(1560) 및/또는 시간 예측(1562)을 수행할 수 있다. 공간 예측(예를 들면, "인트라 예측")은 현재 비디오 블록을 예측하기 위해 동일한 비디오 화상/슬라이스의 이미 부호화된 이웃 블록으로부터의 픽셀들을 이용할 수 있다. 공간 예측은 비디오 신호에 고유한 공간 중복성(spatial redundancy)을 감소시킬 수 있다. 시간 예측(예를 들면, "인터 예측" 또는 "모션 보상 예측")은 이미 부호화된 비디오 화상(예를 들면, 이것은 "참조 화상"이라고 부를 수 있다)으로부터의 픽셀들을 이용하여 현재 비디오 블록을 예측할 수 있다. 시간 예측은 비디오 신호에 고유한 시간 중복성을 감소시킬 수 있다. 비디오 블록에 대한 시간 예측 신호는 참조 화상의 현재 블록과 그 예측 블록 간의 움직임의 양 및/또는 방향을 표시하는 하나 이상의 모션 벡터에 의해 신호될 수 있다. 만일 복수의 참조 화상이 지원되면(예를 들면, H.264/AVC 및/또는 HEVC의 경우와 같이), 각각의 비디오 블록에 대하여 그 참조 화상 인덱스가 추가로 보내질 수 있다. 참조 인덱스는 참조 화상 저장부(1564)(예를 들면, 이것은 "복호 화상 버퍼"(decoded picture buffer) 또는 DPB라고 부를 수 있다) 내의 어떤 참조 화상으로부터 시간 예측 신호가 오는지를 식별하기 위해 사용될 수 있다.
공간 및/또는 시간 예측 후에, 인코더의 모드 결정 블록(1580)이 예측 모드를 선택할 수 있다. 예측 블록은 현재 비디오 블록(1516)으로부터 공제될 수 있다. 예측 잔여(prediction residual)는 변환(1504) 및/또는 양자화(1506)될 수 있다. 양자화 잔여 계수는 역양자화(1510) 및/또는 역변환(1512)되어 재구성된 잔여를 형성하고, 재구성된 잔여는 예측 블록(1526)에 다시 추가되어 재구성 비디오 블록을 형성할 수 있다.
비제한적인 예를 들자면 디블로킹 필터, 샘플 적응 오프셋, 및/또는 적응 루프 필터와 같은 인루프(in-loop) 필터링은 재구성 비디오 블록이 참조 화상 저장부(1564)에 저장되고 및/또는 미래의 비디오 블록을 부호화하는데 사용되기 전에 상기 재구성 비디오 블록에 적용될 수 있다(1566). 출력 비디오 비트스트림(1520)을 형성하기 위해, 부호화 모드(예를 들면, 인터 예측 모드 또는 인트라 예측 모드), 예측 모드 정보, 모션 정보, 및/또는 양자화 잔여 계수가 엔트로피 부호화 유닛(1508)에 보내져서 비트스트림을 형성하도록 압축 및/또는 팩(pack)될 수 있다.
도 16은 블록 기반형 비디오 디코더의 예를 보인 블록도이다. 비디오 비트스트림(1602)은 언팩되고 및/또는 엔트로피 디코딩 유닛(1608)에서 엔트로피 디코딩될 수 있다. 부호화 모드 및/또는 예측 정보는 예측 블록을 형성하기 위해 공간 예측 유닛(1660)(예를 들면, 인트라 부호화된 경우) 및/또는 시간 예측 유닛(1662)(예를 들면, 인터 부호화된 경우)에 보내질 수 있다. 만일 인터 부호화되면, 예측 정보는 예측 블록 사이즈, 하나 이상의 모션 벡터(예를 들면, 이것은 움직임의 방향 및 양을 표시할 수 있다), 및/또는 하나 이상의 참조 인덱스(예를 들면, 이것은 예측 신호가 어떤 참조 화상으로부터 획득되는지를 표시할 수 있다)를 포함할 수 있다.
모션 보상 예측은 시간 예측 유닛(1662)에 의해 적용되어 시간 예측 블록을 형성할 수 있다. 잔여 변환 계수가 역양자화 유닛(1610) 및 역변환 유닛(1612)에 전송되어 잔여 블록을 재구성할 수 있다. 예측 블록 및 잔여 블록은 1626에서 함께 가산될 수 있다. 재구성된 블록은 참조 화상 저장부(1664)에 저장되기 전에 인루프 필터링을 통과할 수 있다. 참조 화상 저장부(1664)의 재구성된 비디오는 디스플레이 장치를 구동하기 위해 사용되고 및/또는 미래의 비디오 블록을 예측하기 위해 사용될 수 있다.
단일 층 비디오 인코더는 단일 비디오 시퀀스 입력을 취하고 단일 층 디코더에 전송되는 단일 압축 비트 스트림을 발생한다. 비디오 코덱은 디지털 비디오 서비스용으로 설계될 수 있다(비제한적인 예를 들자면 TV 신호를 위성, 케이블 및 지상 송신 채널을 통해 전송하는 것). 이종 환경에서 전개되는 비디오 중심 애플리케이션에 의해, 다층 비디오 코딩 기술이 각종 애플리케이션을 사용하기 위한 비디오 코딩 표준의 연장으로서 개발될 수 있다. 예를 들면, 스케일러블 비디오 코딩 기술이 2개 이상의 비디오 레이어를 취급하도록 설계될 수 있고, 이때 각 레이어는 특수한 공간 해상도, 시간 해상도, 신뢰도 및/또는 뷰(view)의 비디오 신호를 재구성하도록 디코딩될 수 있다. 비록, 도 15 및 도 16을 참조하여 단일 층 인코더 및 디코더를 설명하였지만, 여기에서 설명한 개념들은 예를 들면 다층 또는 스케일러블 코딩 기술을 위한 다층 인코더 및 디코더를 이용할 수 있다. 도 15 및 도 16의 인코더 및/또는 디코더는 여기에서 설명하는 임의의 기능들을 수행할 수 있다. 예를 들면, 도 15 및 도 16의 인코더 및/또는 디코더는 향상 레이어 PU의 MV를 이용하여 향상 레이어(예를 들면, 향상 레이어 화상)에 대해 TMVP를 수행할 수 있다.
도 17은 통신 시스템의 예를 보인 도이다. 통신 시스템(1700)은 인코더(1702), 통신 네트워크(1704) 및 디코더(1706)를 포함할 수 있다. 인코더(1702)는 접속(1708)을 통해 통신 네트워크(1704)와 통신할 수 있다. 접속(1708)은 유선 접속 또는 무선 접속일 수 있다. 인코더(1702)는 도 15의 블록 기반형 비디오 인코더와 유사할 수 있다. 인코더(1702)는 단층 코덱(예를 들면, 도 15에 도시된 것) 또는 다층 코덱을 포함할 수 있다.
디코더(1706)는 접속(1710)을 통해 통신 네트워크(1704)와 통신할 수 있다. 접속(1710)은 유선 접속 또는 무선 접속일 수 있다. 디코더(1706)는 도 16의 블록 기반형 비디오 디코더와 유사할 수 있다. 디코더(1706)는 단층 코덱(예를 들면, 도 16에 도시된 것) 또는 다층 코덱을 포함할 수 있다. 인코더(1702) 및/또는 디코더(1706)는 비제한적인 예를 들자면 디지털 텔레비전, 무선 방송 시스템, 네트워크 요소/단말, 서버(예를 들면, 하이퍼텍스트 전송 프로토콜(HTTP) 서버와 같은 콘텐츠 또는 웹 서버), 개인용 정보 단말기(PDA), 랩톱 또는 데스크톱 컴퓨터, 태블릿 컴퓨터, 디지털 카메라, 디지털 기록 장치, 디지털 게임 장치, 비디오 게임 콘솔, 셀룰러 또는 위성 라디오 전화기, 디지털 미디어 플레이어 등과 같은 각종 유선 통신 장치 및/또는 무선 송수신 유닛(WTRU) 중의 임의의 장치에 통합될 수 있다.
통신 네트워크(1704)는 적당한 유형의 통신 시스템일 수 있다. 예를 들면, 통신 네트워크(1704)는 복수의 무선 사용자에게 음성, 데이터, 영상, 메시지, 방송 등의 콘텐츠를 제공하는 다중 접속 시스템일 수 있다. 통신 네트워크(1704)는 복수의 무선 사용자들이 무선 대역폭을 포함한 시스템 자원을 공유함으로써 상기 콘텐츠에 접근할 수 있게 한다. 예를 들면, 통신 네트워크(1704)는 코드 분할 다중 접속(CDMA), 시분할 다중 접속(TDMA), 주파수 분할 다중 접속(FDMA), 직교 FDMA(OFDMA), 단일 캐리어 FDMA(SC-FDMA) 등과 같은 하나 이상의 채널 접속 방법을 이용할 수 있다.
위에서 설명한 방법들은 컴퓨터 또는 프로세서에 의해 실행되는 컴퓨터 판독가능 매체에 통합된 컴퓨터 프로그램, 소프트웨어 또는 펌웨어로 구현될 수 있다. 컴퓨터 판독가능 매체의 예로는 전자 신호(유선 또는 무선 접속을 통해 전송된 것) 및 컴퓨터 판독가능 기억 매체가 있다. 컴퓨터 판독가능 기억 매체의 비제한적인 예로는 읽기 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 레지스터, 캐시 메모리, 반도체 메모리 소자, 내부 하드 디스크 및 착탈식 디스크와 같은 자기 매체, 자기 광학 매체, 및 CD-ROM 디스크 및/또는 디지털 다기능 디스크(DVD)와 같은 광학 매체가 있다. 프로세서는 소프트웨어와 연관해서 WTRU, UE, 단말기, 기지국, RNC 또는 임의의 호스트 컴퓨터에서 사용되는 라디오 주파수 송수신기를 구현하기 위해 사용될 수 있다.

Claims (34)

  1. 방법에 있어서,
    기본 레이어 및 향상(enhancement) 레이어를 포함하는 비트스트림을 수신하는 단계와;
    향상 레이어 화상(picture)에 대한 참조 화상 리스트에 중간 레이어(inter-layer) 화상을 추가하는 단계와;
    상기 향상 레이어 화상을 시간적 모션 벡터 예측(temporal motion vector prediction, TMVP)을 이용하여 디코딩하는 단계를 포함하고,
    상기 중간 레이어 화상은 상기 향상 레이어 화상의 TMVP를 위한 공존형(collocated) 화상으로서 사용되는 것인, 방법.
  2. 제1항에 있어서, 상기 중간 레이어 화상은 공존형 기본 레이어 화상으로부터의 텍스처(texture), 상기 공존형 기본 레이어 화상의 모션 벡터에 기초한 스케일된(scaled) 모션 벡터, 및 상기 공존형 기본 레이어 화상과 연관된 참조 화상 인덱스로부터 결정된 참조 화상 인덱스를 포함하는 것인, 방법.
  3. 제1항에 있어서, 상기 향상 레이어 화상을 TMVP를 이용하여 디코딩하는 단계는,
    공존형 기본 레이어 화상의 모션 벡터(motion vector, MV) 필드에 기초하여 상기 중간 레이어 화상의 MV 필드를 결정하는 단계와;
    상기 중간 레이어 화상의 MV 필드에 기초하여 상기 향상 레이어 화상을 디코딩하는 단계를 포함하는 것인, 방법.
  4. 제3항에 있어서, 상기 중간 레이어 화상의 MV 필드에 기초하여 상기 향상 레이어 화상을 디코딩하는 단계는,
    상기 중간 레이어 화상의 MV 필드에 기초하여 상기 향상 레이어 화상의 MV 필드를 결정하는 단계와;
    상기 향상 레이어 화상의 MV 필드에 기초하여 상기 향상 레이어 화상을 디코딩하는 단계를 포함하는 것인, 방법.
  5. 제3항에 있어서, 상기 중간 레이어 화상의 MV 필드를 결정하는 단계는,
    상기 공존형 기본 레이어 화상의 압축(compressed) MV 필드를 결정하는 단계와;
    상기 공존형 기본 레이어 화상의 압축 MV 필드에 기초하여 상기 중간 레이어 화상의 MV 필드를 결정하는 단계를 포함하는 것인, 방법.
  6. 제3항에 있어서, 상기 중간 레이어 화상의 MV 필드는 상기 중간 레이어 화상의 비디오 블록의 MV 및 참조 화상 인덱스를 포함하는 것인, 방법.
  7. 제6항에 있어서, 상기 중간 레이어 화상의 비디오 블록의 MV 및 참조 화상 인덱스를 결정하는 것은,
    공존형 기본 레이어 비디오 블록의 참조 화상에 기초하여 중간 레이어 비디오 블록의 참조 화상을 결정하는 단계와;
    상기 공존형 기본 레이어 비디오 블록의 MV에 기초하여 상기 중간 레이어 비디오 블록의 MV를 결정하는 단계를 포함하는 것인, 방법.
  8. 제7항에 있어서, 상기 중간 레이어 비디오 블록의 참조 화상을 결정하는 단계는,
    상기 공존형 기본 레이어 비디오 블록의 참조 화상을 결정하는 단계와;
    상기 중간 레이어 비디오 블록의 참조 화상을 결정하는 단계를 포함하고,
    상기 중간 레이어 비디오 블록의 참조 화상은 상기 공존형 기본 레이어 비디오 블록의 참조 화상의 공존형 중간 레이어 화상인 것인, 방법.
  9. 제7항에 있어서, 상기 중간 레이어 비디오 블록의 MV를 결정하는 단계는,
    상기 공존형 기본 레이어 비디오 블록의 MV를 결정하는 단계와;
    상기 중간 레이어 비디오 블록의 MV를 결정하기 위해 상기 기본 레이어와 상기 향상 레이어 간의 공간 비율에 따라서 상기 공존형 기본 레이어 비디오 블록의 MV를 스케일링(scaling)하는 단계를 포함하는 것인, 방법.
  10. 방법에 있어서,
    중간 레이어 화상의 모션 벡터(motion vector, MV) 필드를 결정하는 단계와;
    상기 중간 레이어 화상의 MV 필드에 기초하여 향상 레이어 화상의 MV 필드를 예측하기 위해 시간적 모션 벡터 예측(temporal motion vector prediction, TMVP)을 이용하는 단계와;
    상기 향상 레이어 화상의 MV 필드에 기초하여 상기 향상 레이어 화상을 디코딩하는 단계를 포함하는, 방법.
  11. 제10항에 있어서, 상기 중간 레이어 화상은 상기 향상 레이어 화상과 공존하는 것인, 방법.
  12. 제10항에 있어서, 상기 향상 레이어 화상에 대한 참조 화상 리스트에 상기 중간 레이어 화상을 추가하는 단계와;
    상기 향상 레이어 화상을 TMVP를 이용하여 디코딩하는 단계를 더 포함하고,
    상기 중간 레이어 화상은 상기 향상 레이어 화상의 TMVP를 위한 공존형 화상으로서 사용되는 것인, 방법.
  13. 디코더(decoder)에 있어서,
    프로세서를 포함하고, 상기 프로세서는,
    기본 레이어 및 향상 레이어를 포함하는 비트스트림을 수신하고;
    향상 레이어 화상에 대한 참조 화상 리스트에 중간 레이어 화상을 추가하고;
    상기 향상 레이어 화상을 시간적 모션 벡터 예측(temporal motion vector prediction, TMVP)을 이용하여 디코딩하도록 구성되고,
    상기 중간 레이어 화상은 상기 향상 레이어 화상의 TMVP를 위한 공존형(collocated) 화상으로서 사용되는 것인, 디코더.
  14. 제13항에 있어서, 상기 중간 레이어 화상은 공존형 기본 레이어 화상으로부터의 텍스처(texture), 상기 공존형 기본 레이어 화상의 모션 벡터에 기초한 스케일된(scaled) 모션 벡터, 및 상기 공존형 기본 레이어 화상과 연관된 참조 화상 인덱스로부터 결정된 참조 화상 인덱스를 포함하는 것인, 디코더.
  15. 제13항에 있어서, 상기 프로세서는,
    공존형 기본 레이어 화상의 모션 벡터(motion vector, MV) 필드에 기초하여 상기 중간 레이어 화상의 MV 필드를 결정하고;
    상기 중간 레이어 화상의 MV 필드에 기초하여 상기 향상 레이어 화상을 디코딩
    하도록 구성되는 것인, 디코더.
  16. 제15항에 있어서, 상기 프로세서는,
    상기 중간 레이어 화상의 MV 필드에 기초하여 상기 향상 레이어 화상의 MV 필드를 결정하고;
    상기 향상 레이어 화상의 MV 필드에 기초하여 상기 향상 레이어 화상을 디코딩
    하도록 구성되는 것인, 디코더.
  17. 제15항에 있어서, 상기 프로세서는,
    상기 공존형 기본 레이어 화상의 압축 MV 필드를 결정하고;
    상기 공존형 기본 레이어 화상의 압축 MV 필드에 기초하여 상기 중간 레이어 화상의 MV 필드를 결정
    하도록 구성되는 것인, 디코더.
  18. 제15항에 있어서, 상기 중간 레이어 화상의 MV 필드는 상기 중간 레이어 화상의 비디오 블록의 MV 및 참조 화상 인덱스를 포함하는 것인, 디코더.
  19. 제18항에 있어서, 상기 프로세서는,
    공존형 기본 레이어 비디오 블록의 참조 화상에 기초하여 중간 레이어 비디오 블록의 참조 화상을 결정하고;
    상기 공존형 기본 레이어 비디오 블록의 MV에 기초하여 상기 중간 레이어 비디오 블록의 MV를 결정
    하도록 구성되는 것인, 디코더.
  20. 제19항에 있어서, 상기 프로세서는,
    상기 공존형 기본 레이어 비디오 블록의 참조 화상을 결정하고;
    상기 중간 레이어 비디오 블록의 참조 화상을 결정
    하도록 구성되고,
    상기 중간 레이어 비디오 블록의 참조 화상은 상기 공존형 기본 레이어 비디오 블록의 참조 화상의 공존형 중간 레이어 화상인 것인, 디코더.
  21. 제19항에 있어서, 상기 프로세서는,
    상기 공존형 기본 레이어 비디오 블록의 MV를 결정하고;
    상기 중간 레이어 비디오 블록의 MV를 결정하기 위해 상기 기본 레이어와 상기 향상 레이어 간의 공간 비율에 따라서 상기 공존형 기본 레이어 비디오 블록의 MV를 스케일링(scaling)
    하도록 구성되는 것인, 디코더.
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
KR1020157007116A 2012-08-29 2013-08-29 스케일러블 비디오 코딩을 위한 모션 벡터 예측 방법 및 장치 KR101754999B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261694555P 2012-08-29 2012-08-29
US61/694,555 2012-08-29
US201261734650P 2012-12-07 2012-12-07
US61/734,650 2012-12-07
US201361866822P 2013-08-16 2013-08-16
US61/866,822 2013-08-16
PCT/US2013/057291 WO2014036259A1 (en) 2012-08-29 2013-08-29 Method and apparatus of motion vector prediction for scalable video coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020177018232A Division KR101955700B1 (ko) 2012-08-29 2013-08-29 스케일러블 비디오 코딩을 위한 모션 벡터 예측 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150046228A KR20150046228A (ko) 2015-04-29
KR101754999B1 true KR101754999B1 (ko) 2017-07-06

Family

ID=49162260

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020157007116A KR101754999B1 (ko) 2012-08-29 2013-08-29 스케일러블 비디오 코딩을 위한 모션 벡터 예측 방법 및 장치
KR1020177018232A KR101955700B1 (ko) 2012-08-29 2013-08-29 스케일러블 비디오 코딩을 위한 모션 벡터 예측 방법 및 장치
KR1020197006254A KR102062506B1 (ko) 2012-08-29 2013-08-29 스케일러블 비디오 코딩을 위한 모션 벡터 예측 방법 및 장치

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020177018232A KR101955700B1 (ko) 2012-08-29 2013-08-29 스케일러블 비디오 코딩을 위한 모션 벡터 예측 방법 및 장치
KR1020197006254A KR102062506B1 (ko) 2012-08-29 2013-08-29 스케일러블 비디오 코딩을 위한 모션 벡터 예측 방법 및 장치

Country Status (9)

Country Link
US (3) US9900593B2 (ko)
EP (2) EP2891311A1 (ko)
JP (3) JP5961761B2 (ko)
KR (3) KR101754999B1 (ko)
CN (3) CN108156463B (ko)
AU (2) AU2013308719B2 (ko)
MX (1) MX341900B (ko)
TW (2) TWI637625B (ko)
WO (1) WO2014036259A1 (ko)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014011595A1 (en) * 2012-07-09 2014-01-16 Vid Scale, Inc. Codec architecture for multiple layer video coding
CN109413424B (zh) * 2012-09-03 2022-11-15 索尼公司 图像处理设备和方法
CA2871828C (en) * 2012-09-28 2015-09-15 Sony Corporation Image processing device
US10375405B2 (en) 2012-10-05 2019-08-06 Qualcomm Incorporated Motion field upsampling for scalable coding based on high efficiency video coding
US10194146B2 (en) * 2013-03-26 2019-01-29 Qualcomm Incorporated Device and method for scalable coding of video information
KR20140121315A (ko) * 2013-04-04 2014-10-15 한국전자통신연구원 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
US11438609B2 (en) * 2013-04-08 2022-09-06 Qualcomm Incorporated Inter-layer picture signaling and related processes
EP2997732A1 (en) * 2013-05-15 2016-03-23 VID SCALE, Inc. Single loop decoding based inter layer prediction
US10609407B2 (en) * 2013-07-09 2020-03-31 Nokia Technologies Oy Method and apparatus for video coding
US9560358B2 (en) * 2013-07-22 2017-01-31 Qualcomm Incorporated Device and method for scalable coding of video information
WO2015060699A1 (ko) * 2013-10-26 2015-04-30 삼성전자 주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
JP6560230B2 (ja) 2014-01-02 2019-08-14 ヴィド スケール インコーポレイテッド インターレースおよびプログレッシブ混合のコンテンツを用いるスケーラブルビデオコーディングのための方法およびシステム
WO2015139205A1 (en) * 2014-03-18 2015-09-24 Mediatek Singapore Pte. Ltd. An improved method for collocated picture in video coding
WO2015143603A1 (en) * 2014-03-24 2015-10-01 Mediatek Singapore Pte. Ltd. An improved method for temporal motion vector prediction in video coding
WO2016165069A1 (en) * 2015-04-14 2016-10-20 Mediatek Singapore Pte. Ltd. Advanced temporal motion vector prediction in video coding
KR20170059718A (ko) * 2015-11-23 2017-05-31 삼성전자주식회사 디코딩 장치 및 그 방법
CN109660800B (zh) * 2017-10-12 2021-03-12 北京金山云网络技术有限公司 运动估计方法、装置、电子设备及计算机可读存储介质
US11558633B2 (en) * 2017-11-01 2023-01-17 Vid Scale, Inc. Sub-block motion derivation and decoder-side motion vector refinement for merge mode
WO2019234607A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Interaction between ibc and affine
WO2019234608A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Partition tree with more than four sub-blocks
TWI739120B (zh) 2018-06-21 2021-09-11 大陸商北京字節跳動網絡技術有限公司 合併仿射模式與非合併仿射模式的統一拘束
EP3788782A1 (en) 2018-06-21 2021-03-10 Beijing Bytedance Network Technology Co. Ltd. Sub-block mv inheritance between color components
TWI818086B (zh) 2018-09-24 2023-10-11 大陸商北京字節跳動網絡技術有限公司 擴展Merge預測
CN111083484A (zh) 2018-10-22 2020-04-28 北京字节跳动网络技术有限公司 基于子块的预测
WO2020084474A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Gradient computation in bi-directional optical flow
WO2020084556A1 (en) 2018-10-24 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block motion candidate list in video coding
CN112997480B (zh) 2018-11-10 2023-08-22 北京字节跳动网络技术有限公司 成对平均候选计算中的取整
EP3857879A4 (en) 2018-11-12 2022-03-16 Beijing Bytedance Network Technology Co., Ltd. SIMPLIFICATION OF COMBINED INTER-INTRA PREDICTION
WO2020103872A1 (en) 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Prediction refinement for combined inter intra prediction mode
JP7241870B2 (ja) 2018-11-20 2023-03-17 北京字節跳動網絡技術有限公司 部分的な位置に基づく差分計算
CN113228675A (zh) 2018-12-21 2021-08-06 北京字节跳动网络技术有限公司 视频处理中的运动矢量比特深度
KR102023742B1 (ko) 2019-01-31 2019-11-04 (주)래딕스 테스트 핀 조립체
EP3915259A4 (en) 2019-03-06 2022-03-30 Beijing Bytedance Network Technology Co., Ltd. USE OF A CONVERTED UNIVERSITY PREDICTION CANDIDATE
KR20230169434A (ko) 2019-04-02 2023-12-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 디코더 측 움직임 벡터 유도
JP7365434B2 (ja) * 2019-06-24 2023-10-19 エルジー エレクトロニクス インコーポレイティド インター予測に基づく画像コーディング方法および装置
CN117336482A (zh) 2019-08-20 2024-01-02 北京字节跳动网络技术有限公司 变换跳过模式的信令通知
CN115443653A (zh) 2020-04-07 2022-12-06 抖音视界有限公司 高级别语法中的帧间预测的信令通知
JP2023521588A (ja) 2020-04-09 2023-05-25 北京字節跳動網絡技術有限公司 映像コーディングにおけるデブロッキング信号通知
CN115486064A (zh) 2020-04-10 2022-12-16 抖音视界有限公司 标头语法元素和自适应参数集的使用
CN115868159A (zh) 2020-04-17 2023-03-28 抖音视界有限公司 自适应参数集单元的存在
WO2021213357A1 (en) * 2020-04-20 2021-10-28 Beijing Bytedance Network Technology Co., Ltd. Adaptive color transform in video coding
CN115486081A (zh) 2020-04-26 2022-12-16 字节跳动有限公司 视频编解码语法元素的条件信令通知

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100621581B1 (ko) * 2004-07-15 2006-09-13 삼성전자주식회사 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치
ITMI20041971A1 (it) * 2004-10-15 2005-01-15 Uni Degli Studi Brescia Metodo di codifica video scalabile
KR100679022B1 (ko) * 2004-10-18 2007-02-05 삼성전자주식회사 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더
KR100664929B1 (ko) * 2004-10-21 2007-01-04 삼성전자주식회사 다 계층 기반의 비디오 코더에서 모션 벡터를 효율적으로압축하는 방법 및 장치
US20060153295A1 (en) 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
KR100714689B1 (ko) * 2005-01-21 2007-05-04 삼성전자주식회사 다 계층 구조 기반의 스케일러블 비디오 코딩 및 디코딩방법, 이를 위한 장치
KR20060088461A (ko) * 2005-02-01 2006-08-04 엘지전자 주식회사 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
KR100896279B1 (ko) * 2005-04-15 2009-05-07 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US8619860B2 (en) 2005-05-03 2013-12-31 Qualcomm Incorporated System and method for scalable encoding and decoding of multimedia data using multiple layers
US8867618B2 (en) * 2005-07-22 2014-10-21 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding
JP2009531940A (ja) * 2006-03-24 2009-09-03 韓國電子通信研究院 Ｆｇｓレイヤーの動きデータを利用してインターレイヤーリダンダンシを除去するコーディング方法及びその装置
CN101102503A (zh) * 2006-07-07 2008-01-09 华为技术有限公司 视频分层编码层间运动矢量的预测方法
US8396134B2 (en) * 2006-07-21 2013-03-12 Vidyo, Inc. System and method for scalable video coding using telescopic mode flags
WO2008049052A2 (en) * 2006-10-18 2008-04-24 Apple Inc. Scalable video coding with filtering of lower layers
MY149409A (en) * 2006-10-20 2013-08-30 Nokia Corp Virtual decoded reference picture marking and reference picture list
AU2007309044B2 (en) * 2006-10-23 2011-04-28 Vidyo, Inc. System and method for scalable video coding using telescopic mode flags
EP2149262A4 (en) 2007-04-25 2010-09-01 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / CODING A VIDEO SIGNAL
US8254455B2 (en) * 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
US8265144B2 (en) * 2007-06-30 2012-09-11 Microsoft Corporation Innovations in video decoder implementations
WO2012122423A1 (en) * 2011-03-10 2012-09-13 Dolby Laboratories Licensing Corporation Pre-processing for bitdepth and color format scalable video coding
EP2338281A4 (en) * 2008-10-17 2012-08-15 Nokia Corp SHARING THE MOTION VECTOR IN 3D VIDEO CODING
FR2939593B1 (fr) * 2008-12-09 2010-12-31 Canon Kk Procede et dispositif de codage video
WO2010126613A2 (en) * 2009-05-01 2010-11-04 Thomson Licensing Inter-layer dependency information for 3dv
US9124898B2 (en) * 2010-07-12 2015-09-01 Mediatek Inc. Method and apparatus of temporal motion vector prediction
US8908755B2 (en) * 2010-07-16 2014-12-09 Sony Corporation Multi-parameter motion for efficient prediction in video compression
US20120075436A1 (en) * 2010-09-24 2012-03-29 Qualcomm Incorporated Coding stereo video data
TW201223249A (en) 2010-09-24 2012-06-01 Qualcomm Inc Coding stereo video data
EP2630799A4 (en) * 2010-10-20 2014-07-02 Nokia Corp METHOD AND DEVICE FOR VIDEO CODING AND DECODING
US9635382B2 (en) * 2011-01-07 2017-04-25 Texas Instruments Incorporated Method, system and computer program product for determining a motion vector
KR20220070072A (ko) * 2011-02-09 2022-05-27 엘지전자 주식회사 움직임 정보 저장 방법 및 이를 이용한 시간적 움직임 벡터 예측자 유도 방법
KR102287971B1 (ko) * 2011-02-09 2021-08-09 엘지전자 주식회사 영상 부호화 및 복호화 방법과 이를 이용한 장치
US9247266B2 (en) * 2011-04-18 2016-01-26 Texas Instruments Incorporated Temporal motion data candidate derivation in video coding
US20120287999A1 (en) * 2011-05-11 2012-11-15 Microsoft Corporation Syntax element prediction in error correction
WO2013009441A2 (en) * 2011-07-12 2013-01-17 Vidyo, Inc. Scalable video coding using multiple coding technologies
US9736489B2 (en) * 2011-09-17 2017-08-15 Qualcomm Incorporated Motion vector determination for video coding
KR20130037161A (ko) * 2011-10-05 2013-04-15 한국전자통신연구원 스케일러블 비디오 코딩을 위한 향상된 계층간 움직임 정보 예측 방법 및 그 장치
EP2781091B1 (en) * 2011-11-18 2020-04-08 GE Video Compression, LLC Multi-view coding with efficient residual handling
US9900615B2 (en) * 2011-12-28 2018-02-20 Microsoft Technology Licensing, Llc Representative motion information for temporal motion prediction in video encoding and decoding
US20130188719A1 (en) * 2012-01-20 2013-07-25 Qualcomm Incorporated Motion prediction in svc using motion vector for intra-coded block
DK2822276T3 (en) * 2012-02-29 2019-02-04 Lg Electronics Inc Method for interlayer prediction and device using it
EP2829066B1 (en) * 2012-03-22 2020-07-08 MediaTek Inc. Method and apparatus of scalable video coding
EP2842322A1 (en) * 2012-04-24 2015-03-04 Telefonaktiebolaget LM Ericsson (Publ) Encoding and deriving parameters for coded multi-layer video sequences
US20130287093A1 (en) * 2012-04-25 2013-10-31 Nokia Corporation Method and apparatus for video coding
US9253487B2 (en) * 2012-05-31 2016-02-02 Qualcomm Incorporated Reference index for enhancement layer in scalable video coding
US9762903B2 (en) * 2012-06-01 2017-09-12 Qualcomm Incorporated External pictures in video coding
US9420286B2 (en) * 2012-06-15 2016-08-16 Qualcomm Incorporated Temporal motion vector prediction in HEVC and its extensions
WO2013189257A1 (en) * 2012-06-20 2013-12-27 Mediatek Inc. Method and apparatus of bi-directional prediction for scalable video coding
US20130343459A1 (en) * 2012-06-22 2013-12-26 Nokia Corporation Method and apparatus for video coding
US20150229967A1 (en) * 2012-08-21 2015-08-13 Samsung Electronics Co., Ltd. Inter-layer video coding method and device for predictive information based on tree structure coding unit, and inter-layer video decoding method and device for predictive informationbased on tree structure coding unit
CN104756498B (zh) * 2012-09-21 2019-04-23 英特尔公司 跨层运动向量预测
US20140086328A1 (en) * 2012-09-25 2014-03-27 Qualcomm Incorporated Scalable video coding in hevc
US9124899B2 (en) * 2012-09-28 2015-09-01 Sharp Laboratories Of America, Inc. Motion derivation and coding for scaling video
US20150245063A1 (en) * 2012-10-09 2015-08-27 Nokia Technologies Oy Method and apparatus for video coding
US9473779B2 (en) * 2013-03-05 2016-10-18 Qualcomm Incorporated Parallel processing for video coding
US8958477B2 (en) * 2013-04-05 2015-02-17 Vidyo, Inc. Multiple reference layer prediction signaling techniques
US20140348222A1 (en) * 2013-05-23 2014-11-27 Mediatek Inc. Method of Sample Adaptive Offset Processing for Video Coding and Inter-Layer Scalable Coding
WO2016180486A1 (en) * 2015-05-12 2016-11-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Composite scalable video streaming

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
H. Choi, et al. Scalable structures and inter-layer predictions for HEVC scalable extension. JCT-VC of ITU-T and ISO/IEC. JCTVC-F096 Ver.4, Jul. 18, 2011. pp.1-15
H. Schwarz, et al. Overview of the Scalable Video Coding Extension of the H.264/AVC Standard. IEEE Trans. on CSVT. Sep. 2007, Vol.17, No.9, pp.1103-1120
J. Dong, et al. Description of scalable video coding technology proposal by InterDigital Communications. JCT-VC of ITU-T and ISO/IEC. JCTVC-K0034 Ver.1, Oct. 1, 2012. pp.1-30
X. Xiu, et al. TE C5: Motion field mapping. JCT-VC of ITU-T and ISO/IEC. JCTVC-L0052 Ver.1, Jan. 8, 2013. pp.1-5

Also Published As

Publication number Publication date
JP2016213857A (ja) 2016-12-15
AU2013308719A1 (en) 2015-04-02
JP2015529420A (ja) 2015-10-05
TWI637625B (zh) 2018-10-01
KR101955700B1 (ko) 2019-03-07
MX341900B (es) 2016-09-07
CN104604230A (zh) 2015-05-06
JP5961761B2 (ja) 2016-08-02
EP3588958A1 (en) 2020-01-01
US10939130B2 (en) 2021-03-02
TW201424390A (zh) 2014-06-16
US20140064374A1 (en) 2014-03-06
JP2018029361A (ja) 2018-02-22
CN108156463A (zh) 2018-06-12
KR102062506B1 (ko) 2020-01-03
JP6431966B2 (ja) 2018-11-28
US20210120257A1 (en) 2021-04-22
EP2891311A1 (en) 2015-07-08
JP6220013B2 (ja) 2017-10-25
TW201804792A (zh) 2018-02-01
CN104604230B (zh) 2018-03-02
US9900593B2 (en) 2018-02-20
US20180131952A1 (en) 2018-05-10
KR20190025758A (ko) 2019-03-11
KR20170081741A (ko) 2017-07-12
AU2016201903A1 (en) 2016-04-21
AU2016201903B2 (en) 2017-12-21
MX2015002536A (es) 2015-10-12
WO2014036259A1 (en) 2014-03-06
CN115243046A (zh) 2022-10-25
TWI646822B (zh) 2019-01-01
US11343519B2 (en) 2022-05-24
CN108156463B (zh) 2022-07-01
KR20150046228A (ko) 2015-04-29
AU2013308719B2 (en) 2015-12-24

Similar Documents

Publication Publication Date Title
KR101754999B1 (ko) 스케일러블 비디오 코딩을 위한 모션 벡터 예측 방법 및 장치
JP6307650B2 (ja) スケーラブルビデオ符号化のための動き情報シグナリング
US20180343463A1 (en) Enhanced temporal motion vector prediction for scalable video coding
TWI625052B (zh) 多層視訊編碼以片段為基礎之跨越模式傳訊

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right