KR20210118068A - 히스토리 기반 모션 벡터 예측 - Google Patents

히스토리 기반 모션 벡터 예측 Download PDF

Info

Publication number
KR20210118068A
KR20210118068A KR1020217019751A KR20217019751A KR20210118068A KR 20210118068 A KR20210118068 A KR 20210118068A KR 1020217019751 A KR1020217019751 A KR 1020217019751A KR 20217019751 A KR20217019751 A KR 20217019751A KR 20210118068 A KR20210118068 A KR 20210118068A
Authority
KR
South Korea
Prior art keywords
hmvp
list
candidate
prediction
motion
Prior art date
Application number
KR1020217019751A
Other languages
English (en)
Inventor
샤오유 시우
유웬 헤
지안콩 루오
Original Assignee
브이아이디 스케일, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 브이아이디 스케일, 인크. filed Critical 브이아이디 스케일, 인크.
Publication of KR20210118068A publication Critical patent/KR20210118068A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

히스토리 기반 모션 벡터 예측(HMVP)을 처리하기 위한 시스템들, 방법들 및 수단들이 개시된다. 비디오 코딩 디바이스는 현재 블록에 대한 히스토리 기반 모션 벡터 예측(HMVP) 리스트를 생성할 수 있다. 비디오 코딩 디바이스는 이전에 코딩된 블록으로부터 HMVP 후보를 도출한다. HMVP 후보는 현재 블록의 이웃 블록과 연관된 모션 정보, 하나 이상의 참조 인덱스, 및 양방향 예측 가중치 인덱스를 포함할 수 있다. 비디오 코딩 디바이스는 현재 블록과 연관된 모션 벡터의 모션 보상 예측을 위해 HMVP 후보를 HMVP 리스트에 추가할 수 있다. 비디오 코딩 디바이스는 HMVP 리스트로부터 선택된 하나의 HMVP를 이용하여 현재 블록의 모션 보상 예측을 수행한다. 모션 보상 예측은 현재 블록의 이웃 블록과 연관된 모션 정보, 하나 이상의 참조 인덱스, 및 양방향 예측 가중치 인덱스를 이용하여 수행될 수 있다.

Description

히스토리 기반 모션 벡터 예측
관련 출원들에 대한 상호참조
본 출원은 2018년 12월 29일자로 출원된 미국 가특허 출원 제62/786,429호의 이익을 주장하며, 그 내용은 본 명세서에 참고로 포함된다.
비디오 코딩 시스템은 디지털 비디오 신호들을 압축하여 그러한 신호들의 저장 요구 및/또는 송신 대역폭을 감소시키는데 널리 이용된다. 블록 기반(block-based), 웨이블릿 기반(wavelet-based), 및 객체 기반(object-based) 시스템들과 같은 다양한 타입들의 비디오 코딩 시스템들 중에서, 블록 기반 하이브리드 비디오 코딩 시스템들이 널리 이용되고 배치된다. 비디오 코딩을 수행하기 위해, 예를 들어, 히스토리 기반 모션 벡터 예측(history-based motion vector prediction)을 포함하는 다양한 비디오 코딩 기술들이 이용될 수 있다. 비디오 코딩 표준에서 비디오 코딩 기술들과 다른 코딩 툴들의 잠재적인 상호작용은 이용되지 않을 수 있다. 이것은 비디오 코딩 기술들의 코딩 성능의 상당한 저하를 초래할 수 있다.
히스토리 기반 모션 벡터 예측(HMVP)을 처리하기 위한 시스템들, 방법들 및 수단들이 개시된다. 비디오 코딩 디바이스는 현재 블록에 대한 HMVP 리스트를 생성할 수 있다. 비디오 코딩 디바이스는 이전에 코딩된 블록으로부터 HMVP 후보를 도출할 수 있다. HMVP 후보는 이전에 코딩된 블록(예를 들어, 현재 블록의 이웃 블록)과 연관된 모션 정보, 하나 이상의 참조 인덱스(reference index), 및 양방향 예측 가중치 인덱스(bi-prediction weight index)를 포함할 수 있다. 모션 정보는 적어도 하나 이상의 모션 벡터를 포함할 수 있다. 양방향 예측 가중치 인덱스는 이웃 블록과 연관된 하나 이상의 가중치 인덱스를 포함할 수 있다. 현재 블록의 모션 보상 예측(motion compensated prediction)을 수행함으로써 생성되는 예측 신호에 하나 이상의 가중치가 적용될 수 있다.
비디오 코딩 디바이스는 현재 블록과 연관된 모션 벡터의 모션 보상 예측을 위해 HMVP 후보를 HMVP 리스트에 추가할 수 있다. 비디오 코딩 디바이스는 HMVP 리스트로부터 선택된 HMVP를 이용하여 현재 블록의 모션 보상 예측을 수행할 수 있다. 모션 보상 예측은, 현재 블록의 이웃 블록과 연관된 모션 정보, 하나 이상의 참조 인덱스, 및 양방향 예측 가중치 인덱스를 이용하여 수행될 수 있다.
비디오 코딩 디바이스는 HMVP 후보가 현재 블록에 대한 HMVP 리스트에서의 HMVP와 동일한지를 결정함으로써 프루닝(pruning)을 수행할 수 있다. HMVP 후보가 HMVP 리스트에서의 HMVP들 중 임의의 것과 동일한 경우, 비디오 코딩 디바이스는 HMVP 리스트로부터 HMVP를 제거할 수 있다. 비디오 코딩 디바이스는 HMVP 후보를 HMVP 리스트의 끝에 추가할 수 있다. 비디오 코딩 디바이스는 HMVP 리스트에서의 제거된 HMVP 이후에 하나 이상의 HMVP를 하나의 위치만큼 앞으로 이동시킬 수 있다. 예에서, HMVP 후보 및 HMVP 리스트에서의 HMVP가 동일한 모션 벡터들 및 동일한 참조 인덱스들을 갖는 경우, HMVP 후보는 HMVP 리스트에서의 HMVP와 동일하다고 말할 수 있다. 예에서, HMVP 후보 및 HMVP 리스트에서의 HMVP가 동일한 모션 벡터들, 동일한 참조 인덱스들, 및 동일한 일반화된 양방향 예측(generalized bi-prediction)(GBi) 또는 CU 레벨 가중치들을 갖는 양방향 예측(bi-prediction with CU-level weights)(BCW) 가중치들을 갖는 경우, HMVP 후보는 HMVP 리스트에서의 HMVP와 동일하다고 말할 수 있다.
HMVP 후보가 HMVP 리스트에서의 HMVP들 중 임의의 것과 동일하지 않은 경우, 비디오 코딩 디바이스는, 예를 들어, HMVP 리스트가 가득 차면, HMVP 리스트의 가장 오래된 HMVP 엔트리를 제거할 수 있다. 비디오 코딩 디바이스는 HMVP 후보를 HMVP 리스트의 끝에 추가할 수 있다. 비디오 코딩 디바이스는 새로운 코딩 트리 유닛(coding tree unit)(CTU) 라인의 코딩이 시작될 때 HMVP 리스트를 리셋할 수 있다.
도 1은 블록 기반 비디오 인코더의 예시적인 도면을 도시한다.
도 2는 멀티-타입 트리 구조(multi-type tree structure)의 예시적인 블록 파티션들을 도시한다.
도 3은 블록 기반 비디오 디코더의 예시적인 도면을 도시한다.
도 4는 예시적인 히스토리 기반 모션 벡터 예측(HMVP) 코딩 절차를 도시한다.
도 5는 대각 삼각형 파티션 기반(diagonal triangle partition based) 모션 보상 예측의 예, 및 역 대각 삼각형 파티션 기반 모션 보상 예측의 예를 도시한다.
도 6은, 예를 들어, 삼각형 모드에서, 단방향 예측(uni-prediction) 모션 벡터(MV)들을 생성하는 예를 도시한다.
도 7은 하나 이상의 병합 후보에 기초하여 단방향 예측 MV 리스트를 생성하기 위한 예시적인 흐름도를 도시한다.
도 8a는 GBi 가중치를 고려하면서 HMVP 후보를 HMVP 리스트에 추가하는 예를 도시한다.
도 8b는 선입 선출(first-in first-out)(FIFO) 방식을 이용하여 HMVP 후보를 HMVP 리스트에 추가하는 예를 도시한다.
도 9는 HMVP 후보를 HMVP 리스트에 추가하는 예를 도시한다.
도 10은 공간적/시간적 후보들(spatial/temporal candidates) 및 HMVP 후보들에 기초하여 삼각형 모드에 대한 단방향 예측 MV 리스트를 생성하기 위한 예시적인 흐름도를 도시한다.
도 11은 공간적/시간적 후보들 및 HMVP 후보들의 단방향 예측 MV들을 인터리빙(interleaving)하는 것에 기초하여 삼각형 모드에 대한 단방향 예측 MV 리스트를 생성하기 위한 예시적인 흐름도를 도시한다.
도 12a는 하나 이상의 개시된 실시예가 구현될 수 있는 예시적인 통신 시스템의 시스템도이다.
도 12b는 도 12a에 도시된 통신 시스템 내에서 이용될 수 있는 예시적인 무선 송신/수신 유닛(wireless transmit/receive unit)(WTRU)의 시스템도이다.
도 12c는 도 12a에 도시된 통신 시스템 내에서 이용될 수 있는 예시적인 라디오 액세스 네트워크(radio access network)(RAN) 및 예시적인 코어 네트워크(core network)(CN)의 시스템도이다.
도 12d는 도 12a에 도시된 통신 시스템 내에서 이용될 수 있는 추가의 예시적인 RAN 및 추가의 예시적인 CN의 시스템도이다.
이제, 다양한 도면들을 참조하여 예시적인 실시예들의 상세한 설명을 설명한다. 이 설명은 가능한 구현들의 상세한 예를 제공하지만, 세부 사항들은 예시를 위한 것이며, 응용의 범위를 한정하고자 하는 것이 아님을 유의하여야 한다.
비디오 코딩 시스템에서의 하나 이상의 비디오 코딩 디바이스는 디지털 비디오 신호들을 압축하여, 예를 들어, 그러한 신호들의 저장 및/또는 전달과 연관된 저장 공간 및/또는 송신 대역폭을 감소시킬 수 있다. 비디오 코딩 디바이스는 블록 기반 하이브리드 비디오 코딩 프레임워크에 기초할 수 있다. 멀티-타입 트리 기반 블록 파티셔닝 구조가 이용될 수 있다. 코딩 모듈들, 예를 들어, 인트라 예측 모듈(intra prediction module), 인터 예측 모듈(inter prediction module), 변환/역 변환 모듈(transform/inverse transform module) 및 양자화/역 양자화 모듈(quantization/de-quantization module) 중 하나 이상이 포함될 수 있다. 비디오 코딩 디바이스는 인-루프 필터들(in-loop filters)을 포함할 수 있다.
비디오 코딩 디바이스는 더 높은 코딩 효율 및 적당한 구현 복잡도를 제공할 수 있는 하나 이상의 코딩 툴을 포함할 수 있다. 코딩 툴들은 아핀 모션 모델(affine motion model), ATMVP(alternative temporal motion vector prediction), IMV(integer motion vector), GBi(generalized bi-prediction) 또는 BCW(bi-prediction with CU-level weights), BDOF(bi-directional optical flow), 결합된 인터 병합/인트라 예측(combined inter merge/intra prediction), MMVD(merge with motion vector difference), 페어와이즈 평균 병합 후보(pairwise average merge candidate), 인터 코딩을 위한 삼각형 인터 예측, CCLM(cross-component linear model), 멀티-라인 인트라 예측, 인트라 예측을 위한 CPR(current picture referencing); EMT(enhanced multiple transform), 양자화 및 변환 코딩을 위한 종속 양자화, 및 인-루프 필터들을 위한 ALF(adaptive loop filtering) 중 하나 이상을 포함할 수 있다.
예시적인 블록 기반 비디오 코딩 시스템은 블록 기반 하이브리드 비디오 코딩 프레임워크를 포함할 수 있다. 도 1은 블록 기반 하이브리드 비디오 인코딩 시스템의 예시적인 블록도를 도시한다. 도 1에 도시된 바와 같이, 입력 비디오 신호(1002)는 블록별로 처리될 수 있다. (예를 들어, 코딩 유닛 또는 CU라고 지칭되는) 확장된 블록 크기들은 고해상도(예를 들어, 1080p 및/또는 그 이상) 비디오 신호들을 압축하는데 이용될 수 있다. CU는 최대 128x128 픽셀들의 크기들을 포함할 수 있다. 블록들은 4진 트리들(quad-trees)에 기초하여 파티셔닝될 수 있다. 코딩 트리 유닛(CTU)은 4진/2진/3진 트리에 기초하여 변화하는 로컬 특성들에 적응하기 위해 CU들로 분할될 수 있다. CU는 별개의 예측들이 적용될 수 있는 예측 유닛들 또는 PU들로 파티셔닝될 수 있거나 파티셔닝되지 않을 수 있다. CU는 추가 파티션들 없이 예측 및 변환을 위한 기본 유닛으로서 이용(예를 들어, 항상 이용)될 수 있다. 멀티-타입 트리 구조에서, (예를 들어, 하나의) CTU는 4진 트리 구조에 의해 파티셔닝될 수 있다(예를 들어, 먼저 파니셔닝될 수 있다). 4진 트리 리프 노드(quad-tree leaf node)(예를 들어, 각각의 4진 트리 리드 노드(quad tree lead node))는 2진 및 3진 트리 구조에 의해 추가로 파티셔닝될 수 있다. 도 2에 도시된 바와 같이, 예를 들어, 4진 파티셔닝, 수평 2진 파티셔닝, 수직 2진 파티셔닝, 수평 3진 파티셔닝, 및 수직 3진 파티셔닝을 포함하는 하나 이상(예를 들어, 5개)의 분할 타입들이 있을 수 있다.
도 1을 참조하면, 입력 비디오 블록(예를 들어, 매크로블록(macroblock)(MB) 및/또는 CU), 공간 예측(spatial prediction)(1060) 및/또는 시간 예측(temporal prediction)(1062)이 수행될 수 있다. 공간 예측(1060)(예를 들어, 인트라 예측)은 현재 비디오 블록을 예측하기 위해 비디오 픽처/슬라이스에서의 코딩된 이웃 블록들의 샘플들(예를 들어, 참조 샘플들)로부터의 픽셀들을 이용할 수 있다. 공간 예측(1060)은, 예를 들어, 비디오 신호에 내재할 수 있는 공간 중복성을 감소시킬 수 있다. 모션 예측(1062)(예를 들어, 인터 예측 및/또는 시간 예측)은, 예를 들어, 현재 비디오 블록을 예측하기 위해, 코딩된 비디오 픽처들로부터의 재구성된 픽셀들을 이용할 수 있다. 모션 예측(1062)은, 예를 들어, 비디오 신호에 내재할 수 있는 시간 중복성을 감소시킬 수 있다. 비디오 블록(예를 들어, CU)에 대한 모션 예측 신호들(예를 들어, 시간 예측 신호)은 하나 이상의 모션 벡터(MV)에 의해 시그널링될 수 있다. MV들은 현재 블록 및/또는 현재 블록의 참조 블록 또는 그의 시간 참조 사이의 모션의 양 및/또는 방향을 표시할 수 있다. 다수의 참조 픽처들이 (예를 들어, 각각의) 비디오 블록에 대해 지원되는 경우, 비디오 블록의 참조 픽처 인덱스는 인코더에 의해 전송될 수 있다. 참조 픽처 인덱스는 참조 픽처 저장소(1064)에서의 어느 참조 픽처로부터 모션 예측 신호가 도출될 수 있는지를 식별하는데 이용될 수 있다.
공간 예측(1060) 및/또는 모션 예측(1062) 후에, 인코더에서의 모드 결정 블록(1080)은, 예를 들어, 레이트 왜곡 최적화(rate-distortion optimization)에 기초하여, 예측 모드(예를 들어, 최상의 예측 모드)를 결정할 수 있다. 예측 블록은 1016에서 현재 비디오 블록으로부터 감산될 수 있고/있거나, 예측 잔차는 변환(1004) 및/또는 양자화(1006)를 이용하여 역상관되어, 타겟 비트 레이트와 같은 비트 레이트를 달성할 수 있다. 양자화된 잔차 계수들은 역 양자화(1010)에서 역 양자화되고/되거나 변환(1012)에서 역 변환되어, 예를 들어, 재구성된 잔차를 형성할 수 있고, 이는 1026에서 예측 블록에 더해져서, 예를 들어, 재구성된 비디오 블록을 형성할 수 있다. 인-루프 필터링(예를 들어, 디블로킹 필터(de-blocking filter) 및/또는 적응형 루프 필터들(adaptive loop filters))은 재구성된 비디오 블록이 참조 픽처 저장소(1064)에 놓이고 및/또는 비디오 블록들(예를 들어, 미래의 비디오 블록들)을 코딩하는데 이용될 수 있기 전에 재구성된 비디오 블록에 대해 루프 필터(1066)에서 적용될 수 있다. 출력 비디오 비트스트림(1020)을 형성하기 위해, 코딩 모드(예를 들어, 인터 또는 인트라), 예측 모드 정보, 모션 정보, 및/또는 양자화된 잔차 계수들이, 예를 들어, 압축 및/또는 패킹되어 비트스트림을 형성하도록 엔트로피 코딩 모듈(1008)에 전송될 수 있다(예를 들어, 모두 전송될 수 있다).
도 3은 디코더에 대한 예시적인 블록 기반 비디오 디코딩 프레임워크의 블록도를 도시한다. 비디오 비트스트림(1102)(예를 들어, 도 1의 비디오 비트스트림(1020))은 엔트로피 디코딩 모듈(1108)에서 언패킹(예를 들어, 먼저 언패킹) 및/또는 엔트로피 디코딩될 수 있다. 코딩 모드 및 예측 정보는 공간 예측 모듈(1170)(예를 들어, 인트라 코딩되는 경우) 및/또는 모션 보상 예측 모듈(1172)(예를 들어, 인터 코딩 및/또는 시간 코딩되는 경우)에 전송되어 예측 블록을 형성할 수 있다. 잔차 변환 계수들은, 예를 들어, 잔차 블록을 재구성하기 위해 역 양자화 모듈(1110) 및/또는 역 변환 모듈(1112)에 전송될 수 있다. 예측 블록 및/또는 잔차 블록은 1126에서 함께 더해질 수 있다. 재구성된 블록은, 재구성된 블록이 참조 픽처 저장소(1174)에 저장되기 전에, 예를 들어, 루프 필터(1176)에서 인-루프 필터링을 거칠 수 있다. 참조 픽처 저장소(1174)에서의 재구성된 비디오(1120)는 디스플레이 디바이스를 구동하기 위해 전송되고/되거나 비디오 블록들(예를 들어, 미래의 비디오 블록들)을 예측하기 위해 이용될 수 있다.
하나 이상의 코딩 모듈, 예를 들어, 인터 예측과 연관된 코딩 모듈들은 인터 코딩 효율을 개선하기 위해 향상될 수 있다. 예를 들어, 본 명세서에 설명된 바와 같이, 히스토리 기반 모션 벡터 예측(HMVP)의 코딩 효율이 개선될 수 있다.
인터 코딩된 블록들의 MV들은 본 명세서에 설명된 바와 같은 하나 이상의 메커니즘을 이용하여 시그널링될 수 있다. 예를 들어, 인터 코딩된 블록들의 MV들은 AMVP(advanced motion vector prediction) 모드 또는 병합 모드를 이용하여 시그널링될 수 있다. AMVP 모드에서, 실제 MV와 MV 예측기(MVP) 사이의 차이, 참조 인덱스, 및 AMVP 후보 리스트를 참조하는 MVP 인덱스가 시그널링될 수 있다. 병합 모드에 대해, 병합 후보 리스트를 참조하는 병합 인덱스가 시그널링될 수 있다. 병합 후보와 연관된 모션 정보는 시그널링된 병합 후보로부터 승계될 수 있다. 예를 들어, AMVP 및 병합 후보들에 대한 모션 정보는 CU에 이웃하는 공간 블록들로부터 도출될 수 있다. 예를 들어, 공간 블록들은 현재 CU 또는 시간 참조 픽처에서의 병치된 블록에 직접 이웃(예를 들어, 인접)할 수 있다. 하나 이상의 병합 후보(예를 들어, 최대 6개의 병합 후보들) 및 하나 이상의 AMVP 후보(예를 들어, 최대 2개의 AMVP 후보들)이 모션 벡터 예측을 위한 후보 리스트에 추가될 수 있다.
이웃 블록들의 MV들 사이의 상관을 조사하기 위해 HMVP가 이용될 수 있다. 예를 들어, HMVP는 이웃하는 공간적으로 인접하지 않은 블록들 사이의 상관을 조사하기 위해 이용될 수 있다. 본 명세서에서 공간적으로 인접하지 않은 이웃 블록들에 의해 이용되는 HMVP가 참조되지만, 본 기술분야의 통상의 기술자는 이웃 블록들이 또한 인접 블록들인 블록들을 포함할 수 있다는 것을 이해할 수 있다.
HMVP 후보는 이전에 코딩된 CU의 모션 정보를 나타낼 수 있다. 모션 정보는 다음 중 하나 이상을 포함할 수 있다: MV들 및 참조 픽처 인덱스. 다수의 HMVP 후보들의 표는 인코더 및/또는 디코더에서 유지될 수 있다. HMVP 후보 표는 새로운 CTU 라인의 코딩이 시작될 때 리셋(예를 들어, 비어 있는 것으로 리셋)될 수 있다. 다수의 서브-블록들을 포함하지 않는 인터 CU(예를 들어, ATMVP 및 아핀 코딩된 CU들)가 코딩된 후에, 연관된 모션 정보는 규칙(예를 들어, 제한된 선입선출(FIFO) 규칙)에 기초하여 엔트리(예를 들어, HMVP 후보 표에서의 마지막 엔트리)에 추가될 수 있다. (예를 들어, 모션 후보를 HMVP 후보 표 또는 리스트에 추가하기 전에) 새로운 모션 후보와 동일한 기존의 HMVP 후보가 있는지를 식별하기 위해 중복성 검사가 적용될 수 있다. 새로운 모션 후보와 동일한 기존의 HMVP 후보가 발견되면, 동일한 HMVP 후보는 HMVP 후보 표 또는 리스트로부터 제거될 수 있고, HMVP 후보들은, 예를 들어, HMVP 후보 표 인덱스를 1만큼 감소시킴으로써, 하나의 위치만큼 앞으로 이동될 수 있다. 도 4는 MV들을 예측하기 위해 HMVP가 적용될 때의 예시적인 디코딩 워크플로우를 도시한다. 도 4에 도시된 바와 같이, 402에서, 기존의 HMVP 후보들은 기존의 HMVP 후보들의 리스트에 로딩될 수 있다. 404에서, 현재 블록과 연관된 MV는 HMVP 후보들로부터 디코딩될 수 있다. 406에서, HMVP 후보 리스트는 디코딩된 MV에 기초하여 업데이트될 수 있다.
일반화된 양방향 예측(GBi) 또는 CU 레벨 가중치들을 갖는 양방향 예측(BCW)이 수행될 수 있다. 예를 들어, GBi 또는 BCW는 하나의 CU가 재구성되는 참조 픽처들로부터의 2개의 시간 예측 블록들에 의해 예측될 때 양방향 예측의 효율을 개선하기 위해 수행될 수 있다. 양방향 예측 모드에서, 샘플 x에서의 예측 신호는 수학식 1에 나타낸 바와 같이 2개의 예측 신호들의 평균으로서 계산될 수 있다.
Figure pct00001
수학식 1을 참조하면: P[x]는 픽처 위치 x에 위치된 샘플 x의 결과적인 예측 신호일 수 있고, P1[x+v1]은 i번째 리스트(예를 들어, 리스트 0, 리스트 1)에 대한 모션 벡터(MV) v1을 이용하는 x의 모션 보상 예측 신호일 수 있다. GBi는 리스트 0 및 리스트 1로부터의 2개의 예측 신호들에 다양한 가중치 값들(예를 들어, w0 및 w1)을 적용할 수 있다. w0 및 w1의 하나 이상의 구성은 단방향 예측 및 양방향 예측(예를 들어, 종래의 단방향 예측 및 양방향 예측과 동일한 예측)에 대한 예측 유사성들을 암시할 수 있다. 예를 들어, (w0, w1)이 참조 리스트 L0을 갖는 단방향 예측에 대해 (1, 0); 참조 리스트 L1을 갖는 단방향 예측에 대해 (0, 1); 및 2개의 참조 리스트들을 갖는 종래의 양방향 예측에 대해 (0.5, 0.5)와 동일할 때, 단방향 예측 및 양방향 예측에 대한 예측 유사성들이 존재할 수 있다. GBi에서, 리스트들 L0 및 L1로부터의 예측 신호들에 적용된 가중치들은 CU마다 시그널링될 수 있다. w0과 w1의 합이 1, 예를 들어, w0+w1=1이 되도록 제약이 적용될 수 있다. 제약은 시그널링 오버헤드를 감소시키기 위해 적용될 수 있다. 그러한 제약이 주어지면, 단일 가중치가 시그널링될 수 있고, GBi가 적용될 때의 최종 양방향 예측 신호는, 예를 들어, 수학식 2를 이용하여 계산될 수 있다.
Figure pct00002
수학식 2를 참조하면, w1은, 예를 들어, 값들 {-1/4, 1/4, 3/8, 1/2, 5/8, 3/4, 5/4}를 이용하여 이산화(discretized)될 수 있어서, 각각의 가중치 값은 작은 제한된 범위 내의 인덱스 값에 의해 표시될 수 있다. 작은 범위를 이용하는 w1의 이산화는 시그널링 오버헤드를 감소시키기 위해 이용될 수 있다. 가중치 값들 {1/4, 3/8, 1/2, 5/8, 3/4}는 인터 픽처(예를 들어, 모든 인터 픽처들)에 적용될 수 있고, 가중치 값들 {-1/4, 5/4}는 저지연(low-delay) 픽처들에 적용될 수 있다. 가중치 값들은 디스플레이 순서에 따라 현재 픽처에 선행하는 참조 픽처를 이용함으로써 예측될 수 있는 저지연 픽처들에 적용될 수 있다.
삼각형 인터 예측이 수행될 수 있다. 일부 비디오 콘텐츠(예를 들어, 네이처(nature) 비디오 콘텐츠)에서, 2개의 움직이는 객체들 사이의 경계들은 수평 또는 수직(예를 들어, 순전히 수평 또는 수직)이 아닐 수 있다. 그러한 비-수평 또는 비-수직 경계들은 직사각형 블록들에 의해 정확하게 근사화되기 어려울 수 있다. 따라서, 예를 들어, 모션 보상 예측을 위한 삼각형 파티션들을 가능하게 하기 위해 삼각형 예측이 적용될 수 있다. 도 5에 도시된 바와 같이, 삼각형 예측은 CU를, 예를 들어, 대각선 방향(502) 또는 역-대각선 방향(504)으로 하나 이상(예를 들어, 2개)의 삼각형 예측 유닛들로 분할할 수 있다. CU에서의 삼각형 예측 유닛(예를 들어, 각각의 삼각형 예측 유닛)은 그것의 단방향 예측 모션 벡터 및 참조 프레임 인덱스를 이용하여 인터 예측될 수 있다. 단방향 예측 모션 벡터 및 참조 프레임 인덱스는 단방향 예측 후보 리스트로부터 도출될 수 있다.
단방향 예측 후보 리스트는 하나 이상(예를 들어, 5개)의 단방향 예측 모션 벡터 후보를 포함할 수 있다. 단방향 예측 모션 벡터 후보들은 병합 프로세스(예를 들어, HEVC의 병합 프로세스)에 이용되는 것들과 유사한(예를 들어, 동일한) 공간적/시간적 이웃 블록들로부터 도출될 수 있다. 단방향 예측 MV 후보들은, 도 6에 도시된 바와 같이, 5개의 공간적으로 이웃하는 블록들 및 2개의 시간적으로 병치된 블록들로부터 도출될 수 있다. 도 6을 참조하면, 7개의 이웃 블록들의 모션 벡터들이 수집되어, 다음과 같은 순서로 단방향 예측 MV 후보 리스트에 저장될 수 있다: 예를 들어, 이웃 블록들이 양방향 예측되는 경우, 이웃 블록들의 L0 모션 벡터, 이웃 블록들의 L1 모션 벡터, 및 이웃 블록들의 L0 및 L1 모션 벡터들의 평균화된 모션 벡터. MV 후보들의 수가 5 미만이면, 제로(0) 모션 벡터들이 MV 후보 리스트에 추가될 수 있다.
도 7은 병합 후보들의 단방향 예측 MV들을 삼각형 예측 모드에 의해 코딩되는 CU의 단방향 예측 MV 리스트에 추가하기 위한 흐름도를 도시한다. 702에서, 비디오 코딩 디바이스는 병합 후보가 L0 MV를 포함하는지를 결정할 수 있다. 만약 포함한다면, 704에서, 비디오 코딩 디바이스는 병합 후보와 연관된 L0 MV를 단방향 예측 MV 리스트에 추가할 수 있다. 708에서, 비디오 코딩 디바이스는 공간/시간 후보가 리스트에서 마지막인지를 체크할 수 있다. 710에서, 비디오 코딩 디바이스는 병합 후보가 L1 MV를 포함하는지를 결정할 수 있다. 만약 포함한다면, 712에서, 비디오 코딩 디바이스는 병합 후보와 연관된 L1 MV를 단방향 예측 MV 리스트에 추가할 수 있다. 714에서, 비디오 코딩 디바이스는 공간/시간 후보가 리스트에서 마지막인지를 체크할 수 있다. 716에서, 비디오 코딩 디바이스는 병합 후보가 L0 및 L1 MV들을 포함하는지를 결정할 수 있다. 만약 포함한다면, 718에서, 비디오 코딩 디바이스는 병합 후보와 연관된 L0 MV 및 L1 MV의 평균을 단방향 예측 MV 리스트에 추가할 수 있다. 720에서, 비디오 코딩 디바이스는 공간/시간 후보가 리스트에서 마지막인지를 체크할 수 있다.
하나 이상의 이웃 블록의 순서(예를 들어, 후보 리스트에 대한 추가를 위해 후보 블록들이 체크되고 고려될 수 있는 방법의 순서)는 하나 이상의 공간적 이웃 블록들(예를 들어, 1 내지 5)과 그에 후속하는 하나 이상의 시간적 공동 위치된 블록들(6 내지 7)을 포함할 수 있다. 도 6을 참조하면, 7개의 이웃 블록들(예를 들어, A1, A0, B0, B1, B2, T0, T1)의 모션 벡터들은, 단방향 예측 모션 벡터들, 양방향 예측 모션 벡터들의 L0 모션 벡터, 양방향 예측 모션 벡터들의 L1 모션 벡터, 및 양방향 예측 모션 벡터들의 L0 및 L1 모션 벡터들의 평균화된 모션 벡터의 순서에 따라 수집되어 단방향 예측 후보 리스트에 저장될 수 있다. 후보들의 수가 5보다 작으면, 제로 모션 벡터가 리스트에 추가된다.
HMVP 코딩 이득은, 예를 들어, HMVP의 적용을 다른 코딩 툴들, 예를 들어, 일반화된 양방향 예측 및/또는 삼각형 인터 예측으로 확장함으로써 개선될 수 있다. 이웃 블록들 사이의 MV 상관을 결정하기 위해 HMVP가 이용될 수 있다. 예를 들어, 이웃하는 공간적으로 인접하지 않은 블록들 사이의 MV 상관을 결정하기 위해 HMVP가 이용될 수 있다. 본 명세서에서 공간적으로 인접하지 않은 이웃 블록들 사이의 MV 상관을 결정하기 위해 이용되는 HMVP가 참조되지만, 본 기술분야의 통상의 기술자는 이웃 블록들이 인접 블록들인 블록들을 포함할 수 있다는 것을 알 수 있다. HMVP는 하나 이상의 MV 후보의 표를 유지함으로써 MV 상관을 결정하는데 이용될 수 있다. 표는 인코딩 디바이스 및/또는 디코딩 디바이스에서 유지될 수 있다. HMVP 후보는 이전에 코딩된 블록과 연관된 모션 벡터(예를 들어, 하나 이상의 모션 벡터), 참조 리스트(예를 들어, 하나 이상의 참조 리스트), 또는 참조 픽처 인덱스(예를 들어, 하나 이상의 참조 픽처 인덱스) 중 하나 이상을 포함하는 모션 정보에 기초하여 정의될 수 있다.
예에서, HMVP 후보는 GBi가 디스에이블된 CU의 예측 신호를 도출하는데 이용될 수 있다. 그러한 경우, 리스트 0 및 리스트 1과 연관된 2개의 예측 신호들에 동일한 가중치들이 적용될 수 있다.
예에서, HMVP 및 GBi는, 예를 들어, GBi를 HMVP 인덱스와 연관시킴으로써 인에이블될 수 있다. GBi는 적어도 하나의 GBi 인덱스를 HMVP 엔트리들 또는 HMVP 인덱스들 각각과 연관시킴으로써 인에이블될 수 있다. 이것은 HMVP의 코딩 효율의 개선을 초래할 수 있다. GBi 인덱스는 또한 양방향 예측 가중치 인덱스로 지칭될 수 있다.
예에서, 각각의 HMVP 후보에 대해, 모션 정보에 더하여, 적어도 하나의 GBi 인덱스가 다음 중 하나 이상에 기초하여 생성될 수 있다. HMVP 후보가 GBi 가중치가 시그널링되는 인터 CU로부터 도출될 때, HMVP 후보의 GBi 가중치는 시그널링된 GBi 가중치로 설정될 수 있다. HMVP 후보가 공간 병합 후보로부터 도출될 때, HMVP 후보의 GBi 가중치는 공간 후보의 GBi 가중치로 설정될 수 있다. HMVP 후보가 시간 병합 후보로부터 도출될 때, HMVP 후보의 GBi 가중치는 시간적으로 병치된 픽처에서의 병치된 블록의 GBi 가중치로 설정될 수 있다. HMVP 후보가 평균 병합 후보로부터 도출될 때, HMVP 후보의 GBi 가중치는 특정의 고정된 값(예를 들어, 0.5)으로 설정될 수 있다.
본 명세서에 설명된 바와 같이, 프루닝은 HMVP 처리 절차의 하나 이상의 상이한 스테이지에서 수행될 수 있다. 예를 들어, HMVP 리스트에 MV 후보 또는 HMVP 후보를 추가할 때 HMVP 리스트에서의 중복 엔트리들을 제거하기 위해 프루닝이 수행될 수 있다. 예에서, 프루닝은 HMVP 리스트에서의 엔트리가 MV 후보 또는 HMVP 후보와 동일한지를 결정한 후에 수행될 수 있다. HMVP 리스트에서 동일한 후보가 발견되면, 동일한 HMVP는 HMVP 리스트로부터 제거된다. 예에서, HMVP 후보는, HMVP 후보와 연관된 모션 정보가 HMVP 리스트에서의 HMVP 엔트리와 연관된 모션 정보와 유사하면, HMVP 리스트에서의 HMVP 엔트리와 동일하다고 말해질 수 있다. 비교되는 모션 정보는 모션 벡터(예를 들어, 하나 이상의 모션 벡터), 참조 리스트(예를 들어, 하나 이상의 참조 인덱스), 및 참조 픽처 인덱스(예를 들어, 하나 이상의 참조 픽처 인덱스) 중 하나 이상을 포함할 수 있다.
예에서, 모션 벡터 정보에 더하여, HMVP 후보를 HMVP 후보 리스트에 추가할지를 결정 시에 GBi 가중치들이 고려될 수 있다. 도 8a는 HMVP 후보를 HMVP 후보 리스트에 추가할 때 GBi 가중치가 고려되는 예를 도시한다. 도 8a에 도시된 바와 같이, HMVP 리스트의 제2 엔트리 및 HMVP 리스트에 추가될 새로운 HMVP 후보는, 기존의 HMVP 리스트의 제2 엔트리(예를 들어, HMV P1)의 모션 정보 및 GBi 가중치들이 새로운 HMV P 후보(예를 들어, Cl-1)의 모션 정보 및 GBi 가중치들과 유사할 때, 동일한 것으로서 취급될 수 있다. 그러한 예에서, HMVP 후보 Cl-1을 HMVP 리스트의 끝에 추가하기 전에, HMVP 리스트에서의 매칭된 HMVP 엔트리 HMVP1은 리스트로부터 제거될 수 있고, HMVP 엔트리들에 후속하는 HMVP 엔트리들(예를 들어, HMVP2 내지 HMVPl-1)은 화살표들에 의해 표시된 바와 같이 앞으로 이동될 수 있다. 이것은, 예를 들어, 개개의 인덱스들을 1만큼 감소시킴으로써 달성될 수 있다.
도 8b는 HMVP 후보가 HMVP 리스트에서의 엔트리와 동일하지 않은 것으로 취급될 수 있는 예를 도시한다. 도 8b에 도시된 바와 같이, HMVP1 및 Cl-1의 모션 정보가 동일하더라도, HMVP1 및 Cl-1은 그들 개개의 GBi 가중치들이 동일하지 않기 때문에 동일하지 않다고 말해진다. FIFO 프로세스(예를 들어, 디폴트 FIFO 프로세스)가 적용될 수 있다. 도 8b에 도시된 바와 같이, FIFO 절차는 표로부터 제1 HMVP 후보(예를 들어, HMVP0)를 제거하고, 도 8b에서의 화살표들에 의해 표시된 바와 같이, 각각의 엔트리의 위치를 1만큼 이동시켜, HMVP 리스트의 끝에 빈 위치를 생성하고, HMVP 리스트의 끝에서의 빈 위치에 새로운 후보 Cl-1을 추가하는 것을 포함할 수 있다.
(예를 들어, GBi 가중치와 각각 연관될 수 있는) HMVP 후보들은 병합 모드 및/또는 AMVP 모드에 대한 후보들로서 이용될 수 있다. HMVP 후보들(예를 들어, HMVP 표에서의 마지막 엔트리로부터 첫 번째 엔트리까지의 모든 HMVP 후보들)은, 예를 들어, TMVP 후보 이후에 삽입될 수 있다. HMVP가 병합 모드에 적용될 때, 유사한(예를 들어, 동일한) 모션 정보 및 유사한(예를 들어, 동일한) GBi 가중치를 갖는 후보들을 제거하기 위해 프루닝이 적용될 수 있다.
GBi 인덱스들은 모션 보상 예측 및 HMVP 프루닝 프로세스를 위해 이용될 수 있다. 모션 보상 예측 및 HMVP 프루닝 프로세스는 코딩 이득을 개선하고 프루닝 프로세스의 복잡도를 증가시킬 수 있다. HMVP 후보들(예를 들어, 리스트에서의 각각의 HMVP 후보)의 모션 정보 및 GBi 가중치가 체크될 때, HMVP 프루닝 프로세스의 복잡도가 증가할 수 있다. 예에서, 각각의 HMVP 후보들(예를 들어, 모든 HMVP 후보들)의 GBi 가중치는 모션 보상 예측을 위해 이용될 수 있다. HMVP 후보들의 서브세트는 HMVP 프루닝 프로세스를 위해 이용될 수 있다. 본 명세서에 설명된 바와 같이, HMVP 후보는 GBi 인덱스와 연관될 수 있다(예를 들어, 각각의 HMVP 후보는 하나의 GBi 인덱스와 연관될 수 있다). 연관된 GBi 가중치는 (예를 들어, 2개의 HMVP 후보들이 동일한지를 결정하기보다는) CU의 예측 신호를 생성하는데 이용될 수 있다.
도 9는 HMVP 후보를 HMVP 리스트에 추가하는 예를 도시하며, 여기서 GBi 가중치는 HMVP 후보를 HMVP 리스트에 추가할 때 고려되지 않을 수 있다. 도 9에 제공된 예에서, 기존의 HMVP 리스트의 제2 엔트리(예를 들어, HMVP1) 및 새로운 HMVP 후보(예를 들어, Cl-1)의 GBi 인덱스는 동일하지 않은 반면, 기존의 HMVP 리스트의 제2 엔트리(예를 들어, HMVP1) 및 새로운 HMVP 후보(예를 들어, Cl-1)의 모션 정보는 동일하다. 이러한 예에서, 기존의 HMVP 리스트의 제2 엔트리(예를 들어, HMVP1) 및 새로운 HMVP 후보(예를 들어, Cl-1)의 모션 정보가 동일하고, 기존의 HMVP 리스트의 제2 엔트리(예를 들어, HMVP1) 및 새로운 HMVP 후보(예를 들어, Cl-1)의 GBi 인덱스들이 동일하지 않으면, HMVP 리스트의 제2 엔트리 및 새로운 HMVP 후보는 동일한 것으로서 취급될 수 있다. 도 9에 도시된 바와 같이, HMVP1은 HMVP 후보 리스트로부터 제거될 수 있고, 후속 HMVP 후보(예를 들어, HMVP2 내지 HMVPl-1)는, 예를 들어, 화살표들에 의해 도시된 바와 같이 인덱스들을 1만큼 감소시킴으로써 앞으로 이동될 수 있다. 이어서, Cl-1이 HMVP 리스트의 끝에 추가될 수 있다.
삼각형 인터 예측은 HMVP로 수행될 수 있다. 삼각형 인터 예측에서, 단방향 예측 후보 리스트에서의 MV들은 시간적 및 공간적 이웃들로부터 도출될 수 있다. 예를 들어, 종래의 공간적 및 시간적 이웃들은 HEVC의 병합 모드에 이용되는 이웃들일 수 있다. 예를 들어, 삼각형 인터 예측은, 도 6에 도시된 바와 같이, 5개의 공간적 이웃들 및 2개의 시간적 이웃들로부터 단방향 예측 후보 리스트에서의 MV들을 도출할 수 있다. 예에서, MV 도출은 직접적으로 공간적 이웃들이 아닌 블록들(예를 들어, 인접하지 않은 블록들)의 MV들 사이의 상관을 고려하지 않을 수 있다. 그러한 경우에, MV 도출은 2개의 삼각형 파티션들의 실제(true) 모션을 캡처하기 위해 정확한 단방향 예측 MV 후보들(예를 들어, 가장 정확한 단방향 예측 MV 후보들)을 생성하지 않을 수 있다. 예에서, 폐색 경계(occlusion boundary)를 따른 이웃 블록들의 모션 정보는 (예를 들어, 네이처 비디오 콘텐츠와 같은 콘텐츠에 흔히 존재할 수 있는 폐색 객체들로 인해) 상관되지 않을 수 있다. 폐색 경계를 따르는 이웃 블록들의 모션 정보가 상관되지 않으면, 폐색 경계 상의 공간적 이웃들로부터의 MV들은 현재 CU의 MV 예측기로서 작용하도록 정확(예를 들어, 충분히 정확)하지 않을 수 있다. 이것은 인터 코딩의 효율을 낮출 수 있다. 예에서, (예를 들어, 기존의 공간적 및 시간적 MV 후보들 이외의) HMVP 후보들은, 예를 들어, 하나 이상의 이웃 블록들(예를 들어, 공간적으로 인접하지 않은 블록들)의 MV들 사이의 상관을 조사하기 위해, 삼각형 예측 모드에 대한 단방향 예측 MV 후보 리스트를 도출하는데 이용될 수 있다.
HMVP 후보들의 단방향 예측 MV들은 삼각형 모드에 대한 단방향 예측 MV들의 후보 리스트(예를 들어, 최종 후보 리스트)의 상이한 위치들에 배치될 수 있다. 예에서, 하나 이상의 HMVP 후보와 연관된 단방향 예측 MV들은 체크되고, 공간 및/또는 시간 후보들 이후에 리스트에 삽입될 수 있다. HMVP 후보와 연관된 MV들은 체크되고(예를 들어, HMVP 후보의 MV가 단방향 예측 MV 리스트에서의 MV와 동일한지를 체크되고), (예를 들어, 공간 및 시간 후보들 이후에) 단방향 예측 후보 리스트에 삽입될 수 있다. 후보 블록들의 MV들은 도 6 및 N개의 HMVP 후보들에 예시된 바와 같이 2개의 시간적 이웃들(예를 들어, T0 및 T1)이 뒤따르는 5개의 공간적 이웃들(예를 들어, A1, A0, B1, B0 및 B2)의 순서로 수집될 수 있다.
삼각형 모드에 이용되는 단방향 예측 MV들은 본 명세서에 설명된 바와 같이 생성될 수 있다. 예에서, 삼각형 모드에 이용되는 단방향 예측 MV들은 공간/시간 및 HMVP 후보들 중 하나 이상과 연관된 L0 MV들을 추가함으로써 생성될 수 있다. 예에서, 삼각형 모드에 이용되는 단방향 예측 MV들은 하나 이상의 공간/시간 및 HMVP 후보와 연관되는 L1 MV들을 추가함으로써 생성될 수 있다. 예에서, 삼각형 모드에 이용되는 단방향 예측 MV들은, 예를 들어, HMVP 후보가 양방향 예측되는 경우, 공간/시간 및 HMVP 후보들의 L0 및 L1 MV들의 평균을 가산함으로써 생성될 수 있다.
도 10은 병합 후보들의 단방향 예측 MV들을 삼각형 CU의 단방향 예측 MV 리스트에 삽입하는 것과 연관된 예를 도시한다. 도 10에 도시된 바와 같이, 1030에서, 비디오 코딩 디바이스는 후보(예를 들어, i번째 병합 후보)가 L0 MV를 포함하는지를 결정할 수 있다. 예(yes)인 경우, 1032에서, 비디오 코딩 디바이스는 후보와 연관된 L0 MV를 단방향 예측 MV 리스트에 추가할 수 있다. 1034에서, 비디오 코딩 디바이스는 공간/시간 또는 HMVP 후보가 리스트에서 마지막인지를 체크할 수 있다. 1036에서, 비디오 코딩 디바이스는 후보가 L1 MV를 포함하는지를 결정할 수 있다. 예인 경우, 1038에서, 비디오 코딩 디바이스는 후보의 L1 MV를 단방향 예측 MV 리스트에 추가할 수 있다. 1040에서, 비디오 코딩 디바이스는 공간/시간 또는 HMVP 후보가 리스트에서 마지막인지를 체크할 수 있다. 1042에서, 비디오 코딩 디바이스는 후보가 L0 및 L1 MV들을 포함하는지를 결정할 수 있다. 예인 경우, 1044에서, 비디오 코딩 디바이스는 후보의 L0 및 L1 MV들의 평균을 단방향 예측 MV 리스트에 추가할 수 있다. 1046에서, 비디오 코딩 디바이스는 공간/시간 또는 HMVP 후보가 리스트에서 마지막인지를 체크할 수 있다.
공간적 및 시간적 이웃들의 모션(예를 들어, 모션 정보)은 현재 CU의 모션(예를 들어, 모션 정보)과 상관(예를 들어, HMVP 후보들의 모션보다 더 상관)될 수 있다. 공간 및 시간 후보들의 단방향 예측 MV들에는 (예를 들어, 후보 MV들을 시그널링하는 것의 오버헤드를 감소시키기 위해) HMVP 후보들의 단방향 예측 MV들보다 더 높은 우선순위들이 주어질 수 있다. 예들에서, 공간/시간 후보들의 단방향 예측 MV들은 HMVP 후보들의 단방향 예측 MV들과 인터리빙될 수 있다.
삼각형 CU의 단방향 예측 MV 리스트(예를 들어, 최종 단방향 예측 MV 리스트)가 생성될 수 있다. 예에서, 삼각형 CU의 단방향 예측 MV 리스트는 각각의 공간/시간 후보의 L0 MV를 단방향 예측 MV 리스트에 삽입함으로써 생성될 수 있다. 예에서, 삼각형 CU의 단방향 예측 MV 리스트는 각각의 공간/시간 후보의 L1 MV를 단방향 예측 MV 리스트에 삽입함으로써 생성될 수 있다. 예에서, 삼각형 CU의 단방향 예측 MV 리스트는 각각의 HMVP 후보의 L0 MV를 단방향 예측 MV 리스트에 삽입함으로써 생성될 수 있다. 예에서, 삼각형 CU의 단방향 예측 MV 리스트는 각각의 HMVP 후보의 L1 MV를 단방향 예측 MV 리스트에 삽입함으로써 생성될 수 있다.
예에서, 삼각형 CU의 단방향 예측 MV 리스트는 공간/시간 후보(예를 들어, 후보가 양방향 예측되면, 각각의 공간/시간 후보)의 L0 및 L1 MV의 평균을 단방향 예측 MV 리스트에 삽입함으로써 생성될 수 있다. 예에서, 삼각형 CU의 단방향 예측 MV 리스트는 HMVP 후보(예를 들어, 후보가 양방향 예측되면, 각각의 HMVP 후보)의 L0 및 L1 MV들의 평균을 단방향 예측 MV 리스트에 삽입함으로써 생성될 수 있다.
도 11은 공간/시간 후보들 및 HMVP 후보들의 단방향 예측 MV들이 인터리빙될 때 삼각형 모드의 단방향 예측 MV 리스트를 생성하는 예를 도시한다. 도 11에 도시된 바와 같이, 1130에서, 비디오 코딩 디바이스는 후보(예를 들어, i번째 병합 후보)가 L0 MV를 포함하는지를 결정할 수 있다. 예인 경우, 1132에서, 비디오 코딩 디바이스는 후보와 연관된 L0 MV를 단방향 예측 MV 리스트에 추가한다. 1134에서, 비디오 코딩 디바이스는 공간/시간 후보가 리스트에서 마지막인지를 체크할 수 있다. 1136에서, 비디오 코딩 디바이스는 후보가 L1 MV를 포함하는지를 결정할 수 있다. 예인 경우, 1138에서, 비디오 코딩 디바이스는 후보와 연관된 L1 MV를 단방향 예측 MV 리스트에 추가할 수 있다. 1140에서, 비디오 코딩 디바이스는 공간/시간 후보가 리스트에서 마지막인지를 체크할 수 있다. 1142에서, 비디오 코딩 디바이스는 후보가 L0 MV를 포함하는지를 결정할 수 있다. 예인 경우, 1144에서, 비디오 코딩 디바이스는 후보와 연관된 L1 MV를 단방향 예측 MV 리스트에 추가할 수 있다. 1146에서, 비디오 코딩 디바이스는 HMVP 후보가 리스트에서 마지막인지를 체크할 수 있다. 1148에서, 비디오 코딩 디바이스는 후보가 L1 MV를 포함하는지를 결정할 수 있다. 예인 경우, 1150에서, 비디오 코딩 디바이스는 후보와 연관된 L1 MV를 단방향 예측 MV 리스트에 추가할 수 있다. 1152에서, 비디오 코딩 디바이스는 HMVP 후보가 리스트에서 마지막인지를 체크할 수 있다. 1154에서, 비디오 코딩 디바이스는 후보가 L0 및 L1 MV들을 포함하는지를 결정할 수 있다. 예인 경우, 1156에서, 비디오 코딩 디바이스는 후보와 연관된 L0 및 L1 MV들의 평균을 단방향 예측 MV 리스트에 추가할 수 있다. 1158에서, 비디오 코딩 디바이스는 공간/시간 후보가 리스트에서 마지막인지를 체크할 수 있다. 1160에서, 비디오 코딩 디바이스는 후보가 L0 및 L1 MV들을 포함하는지를 결정할 수 있다. 예인 경우, 1162에서, 비디오 코딩 디바이스는 후보와 연관된 L0 및 L1 MV들의 평균을 단방향 예측 MV 리스트에 추가할 수 있다. 1164에서, 비디오 코딩 디바이스는 HMVP 후보가 리스트에서 마지막인지를 체크할 수 있다.
도 12a는 하나 이상의 개시된 실시예가 구현될 수 있는 예시적인 통신 시스템(100)을 도시하는 도면이다. 예를 들어, 본 명세서에 설명된 바와 같은 비디오 코딩 디바이스와 연관된 특징들 중 하나 이상은 통신 시스템(100)의 WTRU들(102a, 102b, 102c 및 102d) 중 하나 이상에 포함될 수 있다. 통신 시스템(100)은 다수의 무선 사용자들에게 음성, 데이터, 비디오, 메시징, 방송 등과 같은 콘텐츠를 제공하는 다중 액세스 시스템(multiple access system)일 수 있다. 통신 시스템(100)은 다수의 무선 사용자들이, 무선 대역폭을 포함하는 시스템 자원들의 공유를 통해 그러한 콘텐츠에 액세스하게 할 수 있다. 예를 들어, 통신 시스템들(100)은 CDMA(code division multiple access), TDMA(time division multiple access), FDMA(frequency division multiple access), OFDMA(orthogonal FDMA), SC-FDMA(single-carrier FDMA), ZT UW DTS-s OFDM(zero-tail unique-word DFT-Spread OFDM), UW-OFDM(unique word OFDM), 자원 블록 필터링된((resource block-filtered)) OFDM, FBMC(filter bank multicarrier) 등과 같은 하나 이상의 채널 액세스 방법을 이용할 수 있다.
도 12a에 도시된 바와 같이, 통신 시스템(100)은 무선 송신/수신 유닛(WTRU)들(102a, 102b, 102c, 102d), RAN(104/113), CN(106/115), 공중 교환 전화 네트워크(public switched telephone network)(PSTN)(108), 인터넷(110), 및 다른 네트워크들(112)을 포함할 수 있지만, 개시된 실시예들이 임의의 수의 WTRU들, 기지국들, 네트워크들, 및/또는 네트워크 요소들을 고려한다는 것이 이해될 것이다. WTRU들(102a, 102b, 102c, 102d) 각각은 무선 환경에서 동작 및/또는 통신하도록 구성된 임의의 타입의 디바이스일 수 있다. 예로써, WTRU들(102a, 102b, 102c, 102d) 중 임의의 것은 "스테이션" 및/또는 "STA"라고 지칭될 수 있고, 무선 신호들을 송신 및/또는 수신하도록 구성될 수 있고, 사용자 장비(user equipment)(UE), 이동국(mobile station), 고정 또는 모바일 가입자 유닛(fixed or mobile subscriber unit), 가입 기반 유닛(subscription-based unit), 페이저(pager), 셀룰러 전화기, PDA(personal digital assistant), 스마트폰, 랩탑, 넷북, 개인용 컴퓨터, 무선 센서, 핫스팟(hotspot) 또는 Mi-Fi 디바이스, IoT(Internet of Things) 디바이스, 시계 또는 다른 웨어러블, 머리 장착 디스플레이(head-mounted display)(HMD), 차량, 드론, 의료용 디바이스 및 애플리케이션들(예를 들어, 원격 수술), 산업용 디바이스 및 애플리케이션들(예를 들어, 산업용 및/또는 자동화된 처리 체인 맥락에서 동작하는 로봇 및/또는 다른 무선 디바이스들), 소비자 전자 디바이스, 상업용 및/또는 산업용 무선 네트워크들에서 동작하는 디바이스 등을 포함할 수 있다. WTRU들(102a, 102b, 102c 및 102d) 중 임의의 것은 UE로서 상호교환가능하게 지칭될 수 있다.
또한, 통신 시스템들(100)은 기지국(114a) 및/또는 기지국(114b)을 포함할 수 있다. 기지국들(114a, 114b) 각각은 CN(106/115), 인터넷(110), 및/또는 다른 네트워크들(112)과 같은 하나 이상의 통신 네트워크에 대한 액세스를 용이하게 하기 위해 WTRU들(102a, 102b, 102c, 102d) 중 적어도 하나와 무선으로 인터페이스하도록 구성된 임의의 타입의 디바이스일 수 있다. 예로써, 기지국들(114a, 114b)은 BTS(base transceiver station), Node-B, eNode B, Home Node B, Home eNode B, gNB, NR NodeB, 사이트 제어기, AP(access point), 무선 라우터 등일 수 있다. 기지국들(114a, 114b)은 각각이 단일 요소로서 묘사되어 있지만, 기지국들(114a, 114b)이 임의의 수의 상호접속된 기지국들 및/또는 네트워크 요소들을 포함할 수 있음을 이해할 것이다.
기지국(114a)은, 기지국 제어기(base station controller)(BSC), 라디오 네트워크 제어기(radio network controller)(RNC), 중계 노드들(relay nodes) 등과 같은, 다른 기지국들 및/또는 네트워크 요소들(도시되지 않음)을 또한 포함할 수 있는, RAN(104/113)의 일부일 수 있다. 기지국(114a) 및/또는 기지국(114b)은 하나 이상의 캐리어 주파수에서 무선 신호들을 송신 및/또는 수신하도록 구성될 수 있고, 이는 셀(도시되지 않음)로 지칭될 수 있다. 이 주파수들은 인가 스펙트럼(licensed spectrum), 비인가 스펙트럼(unlicensed spectrum), 또는 인가 및 비인가 스펙트럼의 조합에 있을 수 있다. 셀은 상대적으로 고정될 수 있거나 시간에 따라 변할 수 있는 특정 지리적 영역에 무선 서비스에 대한 커버리지(coverage)를 제공할 수 있다. 셀은 셀 섹터들(cell sectors)로 추가로 분할될 수 있다. 예를 들어, 기지국(114a)과 연관된 셀이 3개의 섹터들로 분할될 수 있다. 따라서, 일 실시예에서, 기지국(114a)은 3개의 트랜시버들, 즉, 셀의 각각의 섹터에 대해 하나씩을 포함할 수 있다. 실시예에서, 기지국(114a)은 다중 입력 다중 출력(MIMO) 기술을 이용할 수 있고, 셀의 각각의 섹터에 대해 다수의 트랜시버를 이용할 수 있다. 예를 들어, 빔형성은 원하는 공간 방향들로 신호들을 송신 및/또는 수신하는데 이용될 수 있다.
기지국들(114a, 114b)은 임의의 적절한 무선 통신 링크(예를 들어, 라디오 주파수(RF), 마이크로파, 센티미터파, 마이크로미터파, 적외선(IR), 자외선(UV), 가시광선 등)일 수 있는 공중 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c, 102d) 중 하나 이상과 통신할 수 있다. 공중 인터페이스(air interface)(116)는 임의의 적절한 라디오 액세스 기술(radio access technology)(RAT)을 이용하여 확립될 수 있다.
보다 구체적으로, 앞서 살펴본 바와 같이, 통신 시스템(100)은 다중 액세스 시스템일 수 있고, CDMA, TDMA, FDMA, OFDMA, SC-FDMA 등과 같은 하나 이상의 채널 액세스 방식을 이용할 수 있다. 예를 들어, RAN(104/113)에서의 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 광대역(wideband) CDMA(WCDMA)를 이용하여 공중 인터페이스(115/116/117)를 확립할 수 있는, UTRA(Universal Mobile Telecommunications System(UMTS) Terrestrial Radio Access)와 같은 라디오 기술을 구현할 수 있다. WCDMA는 HSPA(High-Speed Packet Access) 및/또는 HSPA+(Evolved HSPA)와 같은 통신 프로토콜들을 포함할 수 있다. HSPA는 HSDPA(High-Speed Downlink(DL) Packet Access) 및/또는 HSUPA(High-Speed UL Packet Access)를 포함할 수 있다.
실시예에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 E-UTRA(Evolved UMTS Terrestrial Radio Access)와 같은 라디오 기술을 구현할 수 있고, 이는 LTE(Long Term Evolution) 및/또는 LTE-A(LTE-Advanced) 및/또는 LTE-A Pro(LTE-Advanced Pro)를 이용하여 공중 인터페이스(116)를 확립할 수 있다.
실시예에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 NR(New Radio)을 이용하여 공중 인터페이스(116)를 확립할 수 있는 NR 라디오 액세스와 같은 라디오 기술을 구현할 수 있다.
실시예에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 다수의 라디오 액세스 기술들을 구현할 수 있다. 예를 들어, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은, 예를 들어, 이중 접속(dual connectivity)(DC) 원리들을 이용하여, LTE 라디오 액세스 및 NR 라디오 액세스를 함께 구현할 수 있다. 따라서, WTRU들(102a, 102b, 102c)에 의해 이용되는 공중 인터페이스는 다수의 타입들의 라디오 액세스 기술들 및/또는 다수의 타입들의 기지국들(예를 들어, eNB 및 gNB)로/로부터 전송된 송신들에 의해 특징지어질 수 있다.
다른 실시예들에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 IEEE 802.11(즉, WiFi(Wireless Fidelity)), IEEE 802.16(즉, WiMAX(Worldwide Interoperability for Microwave Access)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, IS-2000(Interim Standard 2000), IS-95(Interim Standard 95), IS-856(Interim Standard 856), GSM(Global System for Mobile communications), EDGE(Enhanced Data rates for GSM Evolution), GSM EDGE(GERAN) 등과 같은 라디오 기술들을 구현할 수 있다.
도 12a에서의 기지국(114b)은, 예를 들어, 무선 라우터, Home Node B, Home eNode B, 또는 액세스 포인트일 수 있고, 사업장, 가정, 차량, 캠퍼스, 산업 시설, (예를 들어, 드론에 의한 이용을 위한) 공중 회랑(air corridor), 도로 등과 같은, 국지화된 영역에서 무선 접속을 용이하게 하기 위해 임의의 적절한 RAT를 이용할 수 있다. 일 실시예에서, 기지국(114b) 및 WTRU들(102c, 102d)은 무선 로컬 영역 네트워크(wireless local area network)(WLAN)을 확립하기 위해 IEEE 802.11과 같은 라디오 기술을 구현할 수 있다. 실시예에서, 기지국(114b) 및 WTRU들(102c, 102d)은 IEEE 802.15와 같은 라디오 기술을 구현하여 WPAN(wireless personal area network)을 확립할 수 있다. 또 다른 실시예에서, 기지국(114b) 및 WTRU들(102c, 102d)은 셀룰러 기반 RAT(예를 들어, WCDMA, CDMA2000, GSM, LTE, LTE-A, LTE-A Pro, NR 등)를 이용하여 피코셀(picocell) 또는 펨토셀(femtocell)을 확립할 수 있다. 도 12a에 도시된 바와 같이, 기지국(114b)은 인터넷(110)에의 직접 접속을 가질 수 있다. 따라서, 기지국(114b)은 CN(106/115)을 통해 인터넷(110)에 액세스할 필요가 없을 수 있다.
RAN(104/113)은 CN(106/115)과 통신할 수 있으며, 이는 음성, 데이터, 애플리케이션들, 및/또는 VoIP(voice over internet protocol) 서비스들을 WTRU들(102a, 102b, 102c, 102d) 중 하나 이상에게 제공하도록 구성된 임의의 타입의 네트워크일 수 있다. 데이터는 상이한 처리량 요구사항들, 레이턴시 요구사항들, 오류 허용 요구사항들, 신뢰도 요구사항들, 데이터 처리량 요구사항들, 이동성 요구사항들 등과 같은, 다양한 서비스 품질(QoS) 요구사항들을 가질 수 있다. CN(106/115)은 호 제어(call control), 과금 서비스들, 모바일 위치 기반 서비스들, 선불 전화, 인터넷 접속, 비디오 배포 등을 제공할 수 있고/있거나 사용자 인증과 같은 하이 레벨의 보안 기능들을 수행할 수 있다. 비록 도 12a에 도시되어 있지는 않지만, RAN(104/113) 및/또는 CN(106/115)이 RAN(104/113)과 동일한 RAT 또는 상이한 RAT를 이용하는 다른 RAN들과 직접 또는 간접 통신을 할 수 있음을 이해할 것이다. 예를 들어, NR 라디오 기술을 이용할 수 있는 RAN(104/113)에 접속되는 것 이외에도, CN(106/115)은 또한 GSM, UMTS, CDMA 2000, WiMAX, E-UTRA, 또는 WiFi 라디오 기술을 이용하여 다른 RAN(도시되지 않음)과 통신할 수 있다.
CN(106/115)은 또한 WTRU들(102a, 102b, 102c, 102d)이 PSTN(108), 인터넷(110), 및/또는 다른 네트워크들(112)에 액세스하기 위한 게이트웨이로서 역할할 수 있다. PSTN(108)은 POTS(plain old telephone service)를 제공하는 회선 교환 전화 네트워크들을 포함할 수 있다. 인터넷(110)은 송신 제어 프로토콜(TCP), 사용자 데이터그램 프로토콜(UDP), 및/또는 TCP/IP 인터넷 프로토콜 세트(internet protocol suite)에서의 인터넷 프로토콜(IP)과 같은 공통 통신 프로토콜들을 이용하는 상호접속된 컴퓨터 네트워크들 및 디바이스들의 글로벌 시스템을 포함할 수 있다. 네트워크들(112)은 다른 서비스 제공자들에 의해 소유 및/또는 운영되는 유선 및/또는 무선 통신 네트워크를 포함할 수 있다. 예를 들어, 네트워크들(112)은 RAN(104/113)과 동일한 RAT 또는 상이한 RAT를 이용할 수 있는, 하나 이상의 RAN에 접속된 다른 CN을 포함할 수 있다.
통신 시스템(100)에서의 WTRU들(102a, 102b, 102c, 102d) 중 일부 또는 전부는 다중 모드 능력들을 포함할 수 있다(예를 들어, WTRU들(102a, 102b, 102c, 102d)은 상이한 무선 링크들을 통해 상이한 무선 네트워크들과 통신하기 위한 다수의 트랜시버들을 포함할 수 있다). 예를 들어, 도 12a에 도시된 WTRU(102c)는 셀룰러 기반 라디오 기술을 이용할 수 있는 기지국(114a), 및 IEEE 802 라디오 기술을 이용할 수 있는 기지국(114b)과 통신하도록 구성될 수 있다.
도 12b는 예시적인 WTRU(102)를 도시하는 시스템도이다. 도 12b에 도시된 바와 같이, WTRU(102)는, 다른 것들 중에서, 프로세서(118), 트랜시버(120), 송신/수신 요소(122), 스피커/마이크로폰(124), 키패드(126), 디스플레이/터치패드(128), 비이동식 메모리(130), 이동식 메모리(132), 전원(134), GPS(global positioning system) 칩셋(136), 및/또는 다른 주변기기들(138)을 포함할 수 있다. 실시예와 부합한 채로 있으면서 WTRU(102)가 전술한 요소들의 임의의 하위조합을 포함할 수 있다는 것이 이해될 것이다.
프로세서(118)는 범용 프로세서, 특수 목적 프로세서, 종래의 프로세서, 디지털 신호 프로세서(DSP), 복수의 마이크로프로세서들, DSP 코어와 연관된 하나 이상의 마이크로프로세서, 제어기, 마이크로제어기, 주문형 집적 회로(ASIC)들, 필드 프로그래머블 게이트 어레이(FPGA) 회로들, 임의의 다른 타입의 집적 회로(IC), 상태 머신 등일 수 있다. 프로세서(118)는 WTRU(102)가 무선 환경에서 동작할 수 있게 하는 신호 코딩, 데이터 처리, 전력 제어, 입력/출력 처리, 및/또는 임의의 다른 기능을 수행할 수 있다. 프로세서(118)는 송신/수신 요소(122)에 결합될 수 있는 트랜시버(120)에 결합될 수 있다. 도 12b는 프로세서(118) 및 트랜시버(120)를 개별 컴포넌트들로서 도시하지만, 프로세서(118) 및 트랜시버(120)는 전자 패키지 또는 칩 내에 함께 통합될 수 있음을 이해할 것이다.
송신/수신 요소(122)는 공중 인터페이스(116)를 통해 기지국(예를 들어, 기지국(114a))에 신호들을 송신하거나 이로부터 신호들을 수신하도록 구성될 수 있다. 예를 들어, 일 실시예에서, 송신/수신 요소(122)는 RF 신호들을 송신 및/또는 수신하도록 구성된 안테나일 수 있다. 실시예에서, 송신/수신 요소(122)는, 예를 들어, IR, UV 또는 가시광 신호들을 송신 및/또는 수신하도록 구성된 방출기/검출기(emitter/detector)일 수 있다. 또 다른 실시예에서, 송신/수신 요소(122)는 RF 및 광 신호들 모두 송신 및/또는 수신하도록 구성될 수 있다. 송신/수신 요소(122)가 무선 신호들의 임의의 조합을 송신 및/또는 수신하도록 구성될 수 있다는 것이 이해될 것이다.
송신/수신 요소(122)가 단일 요소로서 도 12b에 도시되어 있지만, WTRU(102)는 임의의 수의 송신/수신 요소(122)를 포함할 수 있다. 보다 구체적으로, WTRU(102)는 MIMO 기술을 이용할 수 있다. 따라서, 일 실시예에서, WTRU(102)는 공중 인터페이스(116)를 통해 무선 신호들을 전송 및 수신하기 위한 2개 이상의 송신/수신 요소들(122)(예를 들어, 다수의 안테나들)을 포함할 수 있다.
트랜시버(120)는 송신/수신 요소(122)에 의해 송신될 신호들을 변조하고, 송신/수신 요소(122)에 의해 수신되는 신호들을 복조하도록 구성될 수 있다. 앞서 살펴본 바와 같이, WTRU(102)는 다중 모드 능력들을 가질 수 있다. 따라서, 트랜시버(120)는, 예를 들어, WTRU(102)가 NR 및 IEEE 802.11과 같은, 다수의 RAT를 통해 통신하도록 하는 다수의 트랜시버들을 포함할 수 있다.
WTRU(102)의 프로세서(118)는 스피커/마이크로폰(124), 키패드(126), 및/또는 디스플레이/터치패드(128)(예를 들어, LCD(liquid crystal display) 디스플레이 유닛 또는 OLED(organic light-emitting diode) 디스플레이 유닛)에 결합될 수 있고 그로부터 사용자 입력 데이터를 수신할 수 있다. 프로세서(118)는 또한 사용자 데이터를 스피커/마이크로폰(124), 키패드(126), 및/또는 디스플레이/터치패드(128)에 출력할 수 있다. 또한, 프로세서(118)는 비이동식 메모리(130) 및/또는 이동식 메모리(132)와 같은 임의의 타입의 적절한 메모리로부터의 정보에 액세스하고, 그 메모리에 데이터를 저장할 수 있다. 비이동식 메모리(130)는 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 하드 디스크, 또는 임의의 다른 타입의 메모리 저장 디바이스를 포함할 수 있다. 이동식 메모리(132)는 가입자 식별 모듈(SIM) 카드, 메모리 스틱, 보안 디지털(SD) 메모리 카드 등을 포함할 수 있다. 다른 실시예들에서, 프로세서(118)는, 서버 또는 홈 컴퓨터(도시되지 않음) 상에 있는 것과 같이, WTRU(102) 상에 물리적으로 위치되지 않은 메모리로부터의 정보에 액세스하고, 그 메모리에 데이터를 저장할 수 있다.
프로세서(118)는 전원(134)으로부터 전력을 수신할 수 있고, WTRU(102) 내의 다른 컴포넌트들에 전력을 분배 및/또는 제어하도록 구성될 수 있다. 전원(134)은 WTRU(102)에 전력을 공급하기 위한 임의의 적절한 디바이스일 수 있다. 예를 들어, 전원(134)은 하나 이상의 건전지 배터리(예를 들어, 니켈-카드뮴(NiCd), 니켈-아연(NiZn), 니켈 금속 수소화물(NiMH), 리튬-이온(Li-ion) 등), 태양 전지들, 연료 전지들 등을 포함할 수 있다.
프로세서(118)는 또한 WTRU(102)의 현재 위치에 관한 위치 정보(예를 들어, 경도 및 위도)를 제공하도록 구성될 수 있는 GPS 칩셋(136)에 결합될 수 있다. GPS 칩셋(136)으로부터의 정보에 부가하여 또는 그 대신에, WTRU(102)는 기지국(예를 들어, 기지국들(114a, 114b))으로부터 공중 인터페이스(116)를 통해 위치 정보를 수신할 수 있고/있거나 2개 이상의 근방의 기지국들로부터 수신되고 있는 신호들의 타이밍에 기초하여 그의 위치를 결정할 수 있다. WTRU(102)가 실시예와 부합한 채로 있으면서 임의의 적절한 위치 결정 방법에 의해 위치 정보를 획득할 수 있다는 것이 이해될 것이다.
프로세서(118)는, 추가적인 특징들, 기능 및/또는 유선 또는 무선 접속성을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈을 포함할 수 있는, 다른 주변기기들(138)에 추가로 결합될 수 있다. 예를 들어, 주변기기들(138)은 가속도계, 전자 나침반(e-compass), 위성 트랜시버, 디지털 카메라(사진들 및/또는 비디오용), 범용 직렬 버스(USB) 포트, 진동 디바이스, 텔레비전 트랜시버, 핸즈프리(hands free) 헤드셋, Bluetooth® 모듈, 주파수 변조(FM) 라디오 유닛, 디지털 음악 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저, 가상 현실 및/또는 증강 현실(VR/AR) 디바이스, 액티비티 트래커(activity tracker) 등을 포함할 수 있다. 주변기기들(138)은 하나 이상의 센서를 포함할 수 있고, 센서들은 자이로스코프, 가속도계, 홀 효과 센서, 자력계, 배향 센서, 근접 센서, 온도 센서, 시간 센서, 지오로케이션 센서, 고도계, 광 센서, 터치 센서, 자력계, 기압계, 제스처 센서, 바이오메트릭 센서, 및/또는 습도 센서 중에서의 하나 이상일 수 있다.
WTRU(102)는 (예를 들어, (예를 들어, 송신을 위한) UL 및 (예를 들어, 수신을 위한) 다운링크 모두를 위한 특정 서브프레임들에 연관된) 신호들의 일부 또는 전부의 송신 및 수신이 공존(concurrent)하고/하거나 동시에 있을 수 있는 전이중 라디오(full duplex radio)를 포함할 수 있다. 전이중 라디오는 하드웨어(예를 들어, 초크(choke)) 또는 프로세서를 통한(예를 들어, 별도의 프로세서(도시되지 않음) 또는 프로세서(118)를 통한) 신호 처리를 통해 자기 간섭을 감소시키고 또는 실질적으로 제거하는 간섭 관리 유닛)을 포함할 수 있다. 실시예에서, WRTU(102)는 (예를 들어, (예를 들어, 송신을 위한) UL 또는 (예를 들어, 수신을 위한) 다운링크 중 어느 하나에 대한 특정 서브프레임들과 연관된) 신호들의 일부 또는 전부의 송신 및 수신을 위한 반이중 라디오(half-duplex radio)를 포함할 수 있다.
도 12c는 실시예에 따른, RAN(104) 및 CN(106)을 도시하는 시스템도이다. 앞서 살펴본 바와 같이, RAN(104)은 공중 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위해 E-UTRA 라디오 기술을 이용할 수 있다. RAN(104)은 또한 CN(106)과 통신할 수 있다.
RAN(104)은 eNode-B들(160a, 160b, 160c)을 포함할 수 있지만, RAN(104)이 실시예와 부합한 채로 있으면서 임의의 수의 eNode-B를 포함할 수 있다는 것이 이해될 것이다. eNode-B들(160a, 160b, 160c) 각각은 공중 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위한 하나 이상의 트랜시버를 포함할 수 있다. 일 실시예에서, eNode-B들(160a, 160b, 160c)은 MIMO 기술을 구현할 수 있다. 따라서, eNode-B(160a)는, 예를 들어, WTRU(102a)로 무선 신호들을 송신하고/하거나 WTRU(102a)로부터 무선 신호들을 수신하기 위해 다수의 안테나들을 이용할 수 있다.
각각의 eNode-B들(160a, 160b, 160c)은 특정 셀(도시되지 않음)과 연관될 수 있고, 무선 자원 관리 결정들, 핸드오버 결정들, UL 및/또는 DL에서의 사용자들의 스케줄링 등을 처리하도록 구성될 수 있다. 도 12c에 도시된 바와 같이, eNode-B들(160a, 160b, 160c)은 X2 인터페이스를 통해 서로 통신할 수 있다.
도 12c에 도시된 CN(106)은 이동성 관리 엔티티(MME)(162), 서빙 게이트웨이(SGW)(164), 및 패킷 데이터 네트워크(PDN) 게이트웨이(또는 PGW)(166)를 포함할 수 있다. 전술한 요소들 각각이 CN(106)의 일부로서 도시되어 있지만, 이 요소들 중 임의의 것이 CN 운영자 이외의 엔티티에 의해 소유 및/또는 운영될 수 있다는 것을 이해할 것이다.
MME(162)는 S1 인터페이스를 통해 RAN(104)에서의 각각의 eNode-B들(162a, 162b, 162c)에 접속될 수 있고, 제어 노드로서 역할을 할 수 있다. 예를 들어, MME(162)는 WTRU들(102a, 102b, 102c)의 사용자들을 인증하는 것, 베어러 활성화/비활성화, WTRU들(102a, 102b, 102c)의 초기 어태치(initial attach) 동안 특정 서빙 게이트웨이를 선택하는 것 등을 담당할 수 있다. MME(162)는 RAN(104)과, GSM 및/또는 WCDMA와 같은 다른 라디오 기술들을 이용하는 다른 RAN들(도시되지 않음) 사이를 스위칭하기 위한 제어 평면 기능을 제공할 수 있다.
SGW(164)는 S1 인터페이스를 통해 RAN(104)에서의 eNode-B들(160a, 160b, 160c) 각각에 접속될 수 있다. SGW(164)는 일반적으로 WTRU들(102a, 102b, 102c)로/로부터 데이터 패킷들을 라우팅하고 포워딩할 수 있다. SGW(164)는 eNode-B간(inter-eNode B) 핸드오버 동안 사용자 평면들을 앵커링(anchoring)하는 것, DL 데이터가 WTRU들(102a, 102b, 102c)에 이용가능한 경우 페이징을 트리거하는 것, WTRU들(102a, 102b, 102c)의 컨텍스트들을 관리 및 저장하는 것 등과 같은 다른 기능들을 수행할 수 있다.
SGW(164)는 WTRU들(102a, 102b, 102c)과 IP 가능 디바이스들(IP-enabled device) 사이의 통신을 용이하게 하기 위해, WTRU들(102a, 102b, 102c)에게 인터넷(110)과 같은 패킷 교환 네트워크들에 대한 액세스를 제공할 수 있는 PGW(166)에 접속될 수 있다.
CN(106)은 다른 네트워크들과의 통신을 용이하게 할 수 있다. 예를 들어, CN(106)은 WTRU들(102a, 102b, 102c)과 전통적인 유선(land-line) 통신 디바이스들 사이의 통신을 용이하게 하기 위해 WTRU들(102a, 102b, 102c)에게 PSTN(108)과 같은 회선 교환 네트워크들에 대한 액세스를 제공할 수 있다. 예를 들어, CN(106)은 CN(106)과 PSTN(108) 사이의 인터페이스로서 기능하는 IP 게이트웨이(예를 들어, IP 멀티미디어 서브시스템(IMS) 서버)를 포함하거나, 이와 통신할 수 있다. 또한, CN(106)은 WTRU들(102a, 102b, 102c)에게, 다른 서비스 제공자들에 의해 소유 및/또는 운영되는 다른 유선 및/또는 무선 네트워크를 포함할 수 있는 다른 네트워크들(112)에 대한 액세스를 제공할 수 있다.
WTRU가 도 12a 내지 도 12d에서 무선 단말기로서 설명되지만, 특정한 대표적인 실시예들에서, 그러한 단말기는 통신 네트워크와의 유선 통신 인터페이스들을 (예를 들어, 일시적으로 또는 영구적으로) 이용할 수 있다는 것을 고려한다.
대표적인 실시예들에서, 다른 네트워크(112)는 WLAN일 수 있다.
인프라스트럭처 기본 서비스 세트(BSS) 모드에서의 WLAN은 BSS에 대한 액세스 포인트(AP) 및 AP와 연관된 하나 이상의 스테이션(STA)을 가질 수 있다. AP는 분배 시스템(DS), 또는 BSS 내로 및/또는 밖으로 트래픽을 운반하는 다른 타입의 유선/무선 네트워크에 대한 액세스 또는 인터페이스를 가질 수 있다. BSS 외부에서 유래하는 STA들로의 트래픽은 AP를 통해 도착할 수 있고, STA들로 전달될 수 있다. STA들로부터 BSS 외부의 목적지들까지 유래되는 트래픽은 각각의 목적지들로 전달되도록 AP로 전송될 수 있다. BSS 내의 STA들 사이의 트래픽은 AP를 통해 전송될 수 있고, 예를 들어, 소스 STA가 트래픽을 AP로 전송할 수 있고, AP는 트래픽을 목적지 STA로 전달할 수 있다. BSS 내의 STA들 사이의 트래픽은 피어-투-피어 트래픽으로 간주 및/또는 지칭될 수 있다. 피어-투-피어 트래픽은 직접 링크 셋업(DLS)을 통해 소스 및 목적지 STA들 사이에서(예를 들어, 사이에서 직접적으로) 전송될 수 있다. 특정 대표적인 실시예들에서, DLS는 802.11e DLS 또는 802.11z 터널링된 DLS(TDLS)를 이용할 수 있다. 독립 BSS(IBSS) 모드를 이용하는 WLAN은 AP를 가질 수 없고, IBSS 내의 또는 IBSS를 이용하는 STA들(예를 들어, 모든 STA들)은 서로 직접적으로 통신할 수 있다. IBSS 통신 모드는 때때로 본 명세서에서 "애드혹" 통신 모드로 지칭될 수 있다.
802.11ac 인프라스트럭처 동작 모드 또는 유사한 동작 모드를 이용하는 경우, AP는 주 채널(primary)과 같은 고정 채널을 통해 비컨(beacon)을 송신할 수 있다. 주 채널은 고정 폭(예를 들어, 20MHz 폭의 광대역폭)이거나 또는 시그널링을 통해 동적으로 설정된 폭일 수 있다. 주 채널은 BSS의 동작 채널일 수 있고, AP와의 접속을 확립하기 위해 STA들에 의해 이용될 수 있다. 특정한 대표적인 실시예들에서, 충돌 회피를 갖는 캐리어 감지 다중 액세스(Carrier Sense Multiple Access with Collision Avoidance)(CSMA/CA)가, 예를 들어, 802.11 시스템들에서 구현될 수 있다. CSMA/CA에 대해, AP를 포함하는 STA들(예를 들어, 모든 STA)은 주 채널을 감지할 수 있다. 주 채널이 감지/검출되고 및/또는 특정 STA에 의해 비지 상태(busy)라고 결정되는 경우, 특정 STA는 백오프(back off)할 수 있다. 하나의 STA(예를 들어, 단지 하나의 스테이션)가 주어진 BSS에서 임의의 주어진 시간에 송신할 수 있다.
HT(High Throughput) STA들은, 예를 들어, 주(primary) 20MHz 채널 및 인접하거나 비인접한 20MHz 채널을 결합하여 40MHz 폭의 채널을 형성하는 것을 통해, 통신을 위한 40MHz 폭의 채널을 이용할 수 있다.
VHT(Very High Throughput) STA들은 20MHz, 40MHz, 80MHz, 및/또는 160MHz 폭의 채널들을 지원할 수 있다. 40MHz, 및/또는 80MHz 채널들은 인접한 20MHz 채널들을 결합하여 형성될 수 있다. 160MHz 채널은 8개의 인접한 20MHz 채널들을 결합하거나, 80+80 구성이라고 지칭될 수 있는, 2개의 비인접한 80MHz 채널들을 결합함으로써 형성될 수 있다. 80+80 구성의 경우, 채널 인코딩 후 데이터는 데이터를 두 개의 스트림들로 분할할 수 있는 세그먼트 파서(segment parser)를 통과할 수 있다. 역 고속 푸리에 변환(Inverse Fast Fourier Transform)(IFFT) 처리 및 시간 영역 처리는 각각의 스트림에 대해 개별적으로 수행될 수 있다. 스트림들은 2개의 80MHz 채널들로 맵핑될 수 있고, 데이터는 송신하는 STA에 의해 송신될 수 있다. 수신하는 STA의 수신기에서, 80+80 구성에 대해 위에 설명된 동작은 역전(reverse)될 수 있고, 결합된 데이터는 매체 액세스 제어(Medium Access Control)(MAC)로 전송될 수 있다.
서브 1GHz 동작 모드들은 802.11af 및 802.11ah에 의해 지원된다. 채널 동작 대역폭들 및 캐리어들은 802.11n 및 802.11ac에서 이용되는 것들에 비해 802.11af 및 802.11ah에서 감소된다. 802.11af는 TV 화이트 스페이스(TVWS) 스펙트럼에서 5MHz, 10MHz 및 20MHz 대역폭들을 지원하고, 802.11ah는 비-TVWS 스펙트럼을 이용하여 1MHz, 2MHz, 4MHz, 8MHz 및 16MHz 대역폭들을 지원한다. 대표적인 실시예에 따르면, 802.11ah는 매크로 커버리지 영역(macro coverage area)에서의 MTC 디바이스들과 같은, 미터 타입 제어/머신-타입 통신들(Meter Type Control/Machine-Type Communications)을 지원할 수 있다. MTC 디바이스들은, 예를 들어, 특정한 및/또는 제한된 대역폭들에 대한 지원(예를 들어, 그것들에 대해서만의 지원)을 포함하는 제한된 능력들과 같은 특정 능력들을 가질 수 있다. MTC 디바이스들은 (예를 들어, 배터리 수명을 매우 길게 유지하기 위해) 배터리 수명이 임계값 위인 배터리를 포함할 수 있다.
다수의 채널들, 및 802.11n, 802.11ac, 802.11af, 및 802.11ah와 같은 채널 대역폭들을 지원할 수 있는 WLAN 시스템들은 주 채널로서 지정될 수 있는 채널을 포함한다. 주 채널은 BSS에서의 모든 STA들에 의해 지원되는 최대 공통 동작 대역폭(largest common operating bandwidth)과 동일한 대역폭을 가질 수 있다. 주 채널의 대역폭은 최소 대역폭 동작 모드를 지원하는 BSS에서 동작하는 모든 STA들 중에서, STA에 의해 설정 및/또는 제한될 수 있다. 802.11ah의 예에서, AP 및 BSS에서의 다른 STA들이 2MHz, 4MHz, 8MHz, 16MHz, 및/또는 다른 채널 대역폭 동작 모드들을 지원하는 경우에도, 주 채널은 1MHz 모드를 지원(예를 들어, 오직 그것만을 지원)하는 STA들(예를 들어, MTC 타입 디바이스들)에 대해 1MHz 폭일 수 있다. 캐리어 감지 및/또는 네트워크 할당 벡터(NAV) 설정들은 주 채널의 상태에 의존할 수 있다. 주 채널이, 예를 들어, (오직 1MHz 동작 모드만을 지원하는) STA가 AP에 송신하는 것으로 인해 비지 상태인 경우, 대부분의 주파수 대역들이 아이들 상태(idle)이고 이용가능한 경우에도, 이용가능한 전체 주파수 대역들이 비지 상태인 것으로 간주될 수 있다.
미국에서, 802.11ah에 의해 이용될 수 있는 이용가능한 주파수 대역들은 902MHz 내지 928MHz이다. 한국에서, 이용가능한 주파수 대역들은 917.5MHz 내지 923.5MHz이다. 일본에서, 이용가능한 주파수 대역들은 916.5MHz 내지 927.5MHz이다. 802.11ah에 이용가능한 총 대역폭은 국가 코드에 따라 6MHz 내지 26MHz이다.
도 12d는 실시예에 따른, RAN(113) 및 CN(115)을 도시하는 시스템도이다. 앞서 살펴본 바와 같이, RAN(113)은 공중 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위해 NR 라디오 기술을 이용할 수 있다. RAN(113)은 또한 CN(115)과 통신할 수 있다.
RAN(113)은 gNB들(180a, 180b, 180c)을 포함할 수 있지만, RAN(113)은 실시예와 부합한 채로 있으면서 임의의 수의 gNB들을 포함할 수 있다는 것이 이해될 것이다. gNB들(180a, 180b, 180c) 각각은 공중 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위한 하나 이상의 트랜시버를 포함할 수 있다. 일 실시예에서, gNB들(180a, 180b, 180c)은 MIMO 기술을 구현할 수 있다. 예를 들어, gNB들(180a, 180b)은 빔형성을 이용하여 gNB들(180a, 180b, 180c)로 신호들을 송신하고/하거나 gNB들(180a, 180b, 180c)로부터 신호들을 수신할 수 있다. 따라서, gNB(180a)는, 예를 들어, 다수의 안테나들을 이용하여 WTRU(102a)로 무선 신호들을 송신하고/하거나 WTRU(102a)로부터 무선 신호들을 수신할 수 있다. 실시예에서, gNB들(180a, 180b, 180c)은 캐리어 집성 기술(carrier aggregation technology)을 구현할 수 있다. 예를 들어, gNB(180a)는 WTRU(102a)(도시되지 않음)로 다수의 컴포넌트 캐리어들(component carriers)을 송신할 수 있다. 이들 컴포넌트 캐리어들의 서브세트는 비인가 스펙트럼에 있을 수 있으며, 나머지 컴포넌트 캐리어들은 인가 스펙트럼에 있을 수 있다. 실시예에서, gNB들(180a, 180b, 180c)은 조정된 멀티 포인트(Coordinated Multi-Point)(CoMP) 기술을 구현할 수 있다. 예를 들어, WTRU(102a)는 gNB(180a) 및 gNB(180b)(및/또는 gNB(180c))로부터 조정된 송신들(coordinated transmission)을 수신할 수 있다.
WTRU들(102a, 102b, 102c)은 스케일러블 뉴머롤로지(scalable numerology)와 연관된 송신들을 이용하여 gNB들(180a, 180b, 180c)과 통신할 수 있다. 예를 들어, OFDM 심볼 간격 및/또는 OFDM 서브캐리어 간격은 상이한 송신들, 상이한 셀들, 및/또는 무선 송신 스펙트럼의 상이한 부분들에 대해 변할 수 있다. WTRU들(102a, 102b, 102c)은 다양한 또는 스케일러블 길이들(예를 들어, 가변하는 수의 OFDM 심볼 및/또는 절대 시간의 지속적인 가변 길이들을 포함함)의 서브프레임 또는 송신 시간 간격(transmission time interval)(TTI)들을 이용하여 gNB들(180a, 180b, 180c)과 통신할 수 있다.
gNB들(180a, 180b, 180c)은 독립형(standalone) 구성 및/또는 비독립형 구성으로 WTRU들(102a, 102b, 102c)과 통신하도록 구성될 수 있다. 독립형 구성에서, WTRU들(102a, 102b, 102c)은 (예를 들어, eNode-B들(160a, 160b, 160c)과 같은) 다른 RAN들에도 액세스하지 않고 gNB들(180a, 180b, 180c)과 통신할 수 있다. 독립형 구성에서, WTRU들(102a, 102b, 102c)은 이동성 앵커 포인트(mobility anchor point)로서 gNB들(180a, 180b, 180c) 중 하나 이상을 이용할 수 있다. 독립형 구성에서, WTRU들(102a, 102b, 102c)은 비인가 대역에서의 신호들을 이용하여 gNB들(180a, 180b, 180c)과 통신할 수 있다. 비독립형 구성에서, WTRU들(102a, 102b, 102c)은 gNB들(180a, 180b, 180c)과 통신하거나 접속되면서, 또한 eNode-B들(160a, 160b, 160c)과 같은 다른 RAN과 통신하거나 접속될 수 있다. 예를 들어, WTRU들(102a, 102b, 102c)은 하나 이상의 gNB(180a, 180b, 180c) 및 하나 이상의 eNode-B들(160a, 160b, 160c)과 실질적으로 동시에 통신하기 위해 DC 원리들을 구현할 수 있다. 비독립형 구성에서, eNode-B들(160a, 160b, 160c)은 WTRU들(102a, 102b, 102c)을 위한 이동성 앵커로서 기능할 수 있고, gNB들(180a, 180b, 180c)은 WTRU들(102a, 102b, 102c)을 서비스하기 위한 추가적인 커버리지 및/또는 처리량을 제공할 수 있다.
gNB들(180a, 180b, 180c) 각각은 특정 셀(도시되지 않음)과 연관될 수 있고, 무선 자원 관리 결정들, 핸드오버 결정들, UL 및/또는 DL에서의 사용자들의 스케줄링, 네트워크 슬라이싱의 지원, 이중 접속, NR과 E-UTRA 사이에서의 연동(interwork), 사용자 평면 기능(UPF)(184a, 184b)을 향한 사용자 평면 데이터의 라우팅, 액세스 및 이동성 관리 기능(AMF)(182a, 182b)를 향한 제어 평면 정보의 라우팅 등을 처리하도록 구성될 수 있다. 도 12d에 도시된 바와 같이, gNB들(180a, 180b, 180c)은 Xn 인터페이스를 통해 서로 통신할 수 있다.
도 12d에 도시된 CN(115)는 적어도 하나의 AMF(182a, 182b), 적어도 하나의 UPF(184a, 184b), 적어도 하나의 세션 관리 기능(SMF)(183a, 183b), 및 가능하게는 데이터 네트워크(DN)(185a, 185b)를 포함할 수 있다. 전술한 요소들 각각은 CN(115)의 일부로서 도시되어 있지만, 이 요소들 중 임의의 것은 CN 운영자 이외의 엔티티에 의해 소유 및/또는 운영될 수 있다는 것이 이해될 것이다.
AMF(182a, 182b)는 N2 인터페이스를 통해 RAN(113)에서의 gNB들(180a, 180b, 180c) 중 하나 이상과 접속될 수 있고, 제어 노드로서 기능할 수 있다. 예를 들어, AMF(182a, 182b)는 WTRU들(102a, 102b, 102c)의 사용자 인증, 네트워크 슬라이싱(예를 들어, 상이한 요구사항을 갖는 상이한 PDU 세션들의 처리)의 지원, 특정 SMF(183a, 183b)의 선택, 등록 영역의 관리, NAS 시그널링의 종료, 이동성 관리 등을 담당할 수 있다. 네트워크 슬라이싱은 WTRU들(102a, 102b, 102c)이 이용하는 서비스들의 타입들에 기초하여 WTRU들(102a, 102b, 102c)에 대한 CN 지원을 커스터마이징하기 위해 AMF(182a, 182b)에 의해 이용될 수 있다. 예를 들어, 상이한 네트워크 슬라이스들은 초고신뢰 저지연(ultra-reliable low latency)(URLLC) 액세스에 의존하는 서비스들, 향상된 대규모 모바일 광대역(enhanced massive mobile broadband)(eMBB) 액세스에 의존하는 서비스들, 머신 타입 통신(MTC) 액세스에 대한 서비스들 등과 같은 상이한 이용 사례들에 대해 확립될 수 있다. AMF(162)는 LTE, LTE-A, LTE-A Pro, 및/또는 WiFi와 같은 비 3GPP 액세스 기술들과 같은, 다른 라디오 기술들을 이용하는 다른 RAN들(도시되지 않음)과 RAN(113) 사이에서 스위칭하기 위한 제어 평면 기능을 제공할 수 있다.
SMF(183a, 183b)는 N11 인터페이스를 통해 CN(115)에서의 AMF(182a, 182b)에 접속될 수 있다. 또한, SMF(183a, 183b)는 N4 인터페이스를 통해 CN(115)에서의 UPF(184a, 184b)에 접속될 수 있다. SMF(183a, 183b)는 UPF(184a, 184b)를 선택 및 제어할 수 있고, UPF(184a, 184b)를 통해 트래픽의 라우팅을 구성할 수 있다. SMF(183a, 183b)는 UE IP 어드레스를 관리 및 할당하는 것, PDU 세션들을 관리하는 것, 정책 시행 및 QoS를 제어하는 것, 다운링크 데이터 통지들을 제공하는 것 등과 같은 다른 기능들을 수행할 수 있다. PDU 세션 타입은 IP 기반, 비 IP 기반, 이더넷 기반 등일 수 있다.
UPF(184a, 184b)는 WTRU들(102a, 102b, 102c)과 IP 가능 디바이스들 사이의 통신을 용이하게 하기 위해 인터넷(110)과 같은 패킷 교환 네트워크들에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있는 N3 인터페이스를 통해 RAN(113)에서의 gNB들(180a, 180b, 180c) 중 하나 이상과 접속될 수 있다. UPF(184, 184b)는 패킷들을 라우팅 및 포워딩하는 것, 사용자 평면 정책들을 시행하는 것, 멀티-홈(multi-homed) PDU 세션들을 지원하는 것, 사용자 평면 QoS를 처리하는 것, 다운링크 패킷들을 버퍼링하는 것, 이동성 앵커링을 제공하는 것 등과 같은 다른 기능들을 수행할 수 있다.
CN(115)은 다른 네트워크들과의 통신을 용이하게 할 수 있다. 예를 들어, CN(115)은 CN(115)과 PSTN(108) 사이의 인터페이스로서 기능하는 IP 게이트웨이(예를 들어, IP 멀티미디어 서브시스템(IMS) 서버)를 포함하거나 이와 통신할 수 있다. 또한, CN(115)은 다른 서비스 제공자들에 의해 소유 및/또는 운영되는 다른 유선 및/또는 무선 네트워크들을 포함할 수 있는 다른 네트워크들(112)에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있다. 일 실시예에서, WTRU들(102a, 102b, 102c)은 UPF(184a, 184b)에 대한 N3 인터페이스 및 UPF(184a, 184b)와 DN(185a, 185b) 사이의 N6 인터페이스를 통하여, UPF(184a, 184b)를 통해 로컬 데이터 네트워크(DN)(185a, 185b)에 접속될 수 있다.
도 12a 내지 도 12d, 및 도 12a 내지 도 12d의 대응하는 설명에 비추어, WTRU(102a-d), 기지국(114a-b), eNode-B(160a-c), MME(162), SGW(164), PGW(166), gNB(180a-c), AMF(182a-b), UPF(184a-b), SMF(183a-b), DN(185a-b), 및/또는 본 명세서에 설명된 임의의 다른 디바이스(들) 중 하나 이상에 관하여 본 명세서에서 설명된 기능들 중 하나 이상 또는 전부는 하나 이상의 에뮬레이션 디바이스(도시되지 않음)에 의해 수행될 수 있다. 에뮬레이션 디바이스들은 본 명세서에서 설명된 기능들 중 하나 이상, 또는 전부를 에뮬레이션하도록 구성된 하나 이상의 디바이스일 수 있다. 예를 들어, 에뮬레이션 디바이스들은 다른 디바이스들을 테스트하고/하거나 네트워크 및/또는 WTRU 기능들을 시뮬레이션하는데 이용될 수 있다.
에뮬레이션 디바이스들은 실험실 환경 및/또는 운영자 네트워크 환경에서 다른 디바이스들의 하나 이상의 테스트를 구현하도록 설계될 수 있다. 예를 들어, 하나 이상의 에뮬레이션 디바이스는 통신 네트워크 내의 다른 디바이스들을 테스트하기 위해 유선 및/또는 무선 통신 네트워크의 부분으로서 완전히 및/또는 부분적으로 구현 및/또는 배치되면서, 기능들 중 하나 이상 또는 전부를 수행할 수 있다. 하나 이상의 에뮬레이션 디바이스는 유선 및/또는 무선 통신 네트워크의 일부로서 일시적으로 구현/배치되면서, 기능들 중 하나 이상 또는 전부를 수행할 수 있다. 에뮬레이션 디바이스는 테스트의 목적을 위해 다른 디바이스에 직접 결합될 수 있고/있거나 오버-디-에어(over-the-air) 무선 통신을 이용하여 테스트를 수행할 수 있다.
하나 이상의 에뮬레이션 디바이스는 유선 및/또는 무선 통신 네트워크의 일부로서 구현/배치되지 않으면서, 모든 기능들을 포함하여, 하나 이상의 기능을 수행할 수 있다. 예를 들어, 에뮬레이션 디바이스들은 하나 이상의 컴포넌트의 테스트를 구현하기 위해 테스트 실험실 및/또는 비배치된(예를 들어, 테스트) 유선 및/또는 무선 통신 네트워크에서의 테스트 시나리오에서 이용될 수 있다. 하나 이상의 에뮬레이션 디바이스는 테스트 장비일 수 있다. RF 회로(예를 들어, 하나 이상의 안테나를 포함할 수 있음)를 통한 직접 RF 결합 및/또는 무선 통신은 데이터를 송신 및/또는 수신하기 위해 에뮬레이션 디바이스들에 의해 이용될 수 있다.
본 명세서에 설명된 프로세스들 및 기술들은 컴퓨터 및/또는 프로세서에 의해 실행하기 위한 컴퓨터 판독가능 매체 내에 통합된 컴퓨터 프로그램, 소프트웨어, 및/또는 펌웨어로 구현될 수 있다. 컴퓨터 판독가능 매체들의 예들은, 제한적인 것은 아니지만, (유선 및/또는 무선 접속들을 통해 송신된) 전자 신호들 및/또는 컴퓨터 판독가능 저장 매체들을 포함한다. 컴퓨터 판독가능 저장 매체들의 예들은, 제한적인 것은 아니지만, 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 레지스터, 캐시 메모리, 반도체 메모리 디바이스들, 제한적인 것은 아니지만, 내부 하드 디스크들 및 이동식 디스크들과 같은 자기 매체들, 광 자기(magneto-optical) 매체들, 및/또는 CD-ROM 디스크들, 및/또는 DVD(digital versatile disk)들과 같은 광학 매체들을 포함한다. 소프트웨어와 연관된 프로세서는 WTRU, 단말기, 기지국, RNC, 및/또는 임의의 호스트 컴퓨터에서 이용하기 위한 라디오 주파수 트랜시버를 구현하는데 이용될 수 있다.

Claims (20)

  1. 비디오 코딩 디바이스로서,
    프로세서
    를 포함하고, 상기 프로세서는 적어도,
    현재 블록에 대한 히스토리 기반 모션 벡터 예측(HMVP) 리스트를 생성하고;
    이전에 코딩된 블록으로부터 HMVP 후보를 도출하고 ― 상기 HMVP 후보는 상기 현재 블록의 이웃 블록과 연관된 모션 정보, 하나 이상의 참조 인덱스, 및 양방향 예측 가중치 인덱스를 포함함 ―;
    상기 현재 블록과 연관된 모션 벡터의 모션 보상 예측을 위해 상기 HMVP 후보를 상기 HMVP 리스트에 추가하고;
    상기 HMVP 리스트로부터 선택된 하나의 HMVP를 이용하여 상기 현재 블록의 모션 보상 예측을 수행하도록
    구성되고, 상기 모션 보상 예측은 상기 현재 블록의 상기 이웃 블록과 연관된 상기 모션 정보, 상기 하나 이상의 참조 인덱스, 및 상기 양방향 예측 가중치 인덱스를 이용하여 수행되는, 비디오 코딩 디바이스.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 HMVP 후보가 상기 현재 블록에 대한 상기 HMVP 리스트에서의 HMVP와 동일한지를 결정하고;
    상기 HMVP 후보가 상기 HMVP 리스트에서의 임의의 HMVP와 동일한 조건에서, 상기 HMVP 리스트로부터 상기 HMVP를 제거하고, 상기 HMVP 후보를 상기 HMVP 리스트의 끝에 추가하고;
    상기 HMVP 후보가 상기 HMVP 리스트에서의 임의의 HMVP와 동일하지 않은 조건에서, 상기 HMVP 리스트가 가득 차면 상기 HMVP 리스트의 가장 오래된 HMVP 엔트리를 제거하고, 상기 HMVP 후보를 상기 HMVP 리스트의 끝에 추가하도록
    추가로 구성되는, 비디오 코딩 디바이스.
  3. 제2항에 있어서,
    상기 이웃 블록은 공간적으로 인접하지 않은 블록인, 비디오 코딩 디바이스.
  4. 제2항에 있어서,
    상기 HMVP 후보가 상기 HMVP 리스트에서의 상기 HMVP와 동일한 경우, 상기 HMVP 리스트에서의 상기 제거된 HMVP 이후의 하나 이상의 HMVP를 하나의 위치만큼 앞으로 이동시키는, 비디오 코딩 디바이스.
  5. 제2항에 있어서,
    상기 HMVP 후보 및 상기 HMVP 리스트에서의 상기 HMVP가 동일한 모션 벡터들 및 동일한 참조 인덱스들을 갖는 경우, 상기 HMVP 후보는 상기 HMVP 리스트에서의 상기 HMVP와 동일한, 비디오 코딩 디바이스.
  6. 제2항에 있어서,
    상기 HMVP 후보 및 상기 HMVP 리스트에서의 상기 HMVP가 동일한 모션 벡터들, 동일한 참조 인덱스들, 및 동일한 양방향 예측 가중치 인덱스를 갖는 경우, 상기 HMVP 후보는 상기 HMVP 리스트에서의 상기 HMVP와 동일한, 비디오 코딩 디바이스.
  7. 제1항에 있어서,
    상기 모션 정보는 적어도 하나 이상의 모션 벡터를 포함하는, 비디오 코딩 디바이스.
  8. 제1항에 있어서,
    상기 양방향 예측 가중치 인덱스는 상기 이웃 블록과 연관된 하나 이상의 가중치 인덱스를 포함하는, 비디오 코딩 디바이스.
  9. 제8항에 있어서,
    상기 하나 이상의 가중치 인덱스에 기초한 하나 이상의 가중치는 상기 현재 블록의 모션 보상 예측을 수행함으로써 생성되는 예측 신호에 적용되는, 비디오 코딩 디바이스.
  10. 제1항에 있어서,
    상기 프로세서는 새로운 코딩 트리 유닛(CTU) 라인의 코딩이 시작될 때 HMVP 리스트를 리셋하도록 추가로 구성되는, 비디오 코딩 디바이스.
  11. 비디오 코딩 방법으로서,
    현재 블록에 대한 히스토리 기반 모션 벡터 예측(HMVP) 리스트를 생성하는 단계;
    이전에 코딩된 블록으로부터 HMVP 후보를 도출하는 단계 ― 상기 HMVP 후보는 상기 현재 블록의 이웃 블록과 연관된 모션 정보, 하나 이상의 참조 인덱스, 및 양방향 예측 가중치 인덱스를 포함함 ―;
    상기 현재 블록과 연관된 모션 벡터의 모션 보상 예측을 위해 상기 HMVP 후보를 상기 HMVP 리스트에 추가하는 단계; 및
    상기 HMVP 리스트로부터 선택된 하나의 HMVP를 이용하여 상기 현재 블록의 모션 보상 예측을 수행하는 단계 ― 상기 모션 보상 예측은 상기 현재 블록의 이웃 블록과 연관된 상기 모션 정보, 상기 하나 이상의 참조 인덱스, 및 상기 양방향 예측 가중치 인덱스를 이용하여 수행됨 ―
    를 포함하는, 방법.
  12. 제11항에 있어서,
    상기 HMVP 후보가 상기 현재 블록에 대한 상기 HMVP 리스트에서의 HMVP와 동일한지를 결정하는 단계;
    상기 HMVP 후보가 상기 HMVP 리스트에서의 임의의 HMVP와 동일한 조건에서, 상기 HMVP 리스트로부터 상기 HMVP를 제거하고, 상기 HMVP 후보를 상기 HMVP 리스트의 끝에 추가하는 단계; 및
    상기 HMVP 후보가 상기 HMVP 리스트에서의 임의의 HMVP와 동일하지 않은 조건에서, 상기 HMVP 리스트가 가득 차면 상기 HMVP 리스트의 가장 오래된 HMVP 엔트리를 제거하고, 상기 HMVP 후보를 상기 HMVP 리스트의 끝에 추가하는 단계
    를 포함하는, 방법.
  13. 제11항에 있어서,
    상기 이웃 블록은 공간적으로 인접하지 않은 블록인, 방법.
  14. 제12항에 있어서,
    상기 HMVP 후보가 상기 HMVP 리스트에서의 상기 HMVP와 동일한 경우, 상기 HMVP 리스트에서의 상기 제거된 HMVP 이후의 하나 이상의 HMVP를 하나의 위치만큼 앞으로 이동시키는, 방법.
  15. 제12항에 있어서,
    상기 HMVP 후보 및 상기 HMVP 리스트에서의 상기 HMVP가 동일한 모션 벡터들 및 동일한 참조 인덱스들을 갖는 경우, 상기 HMVP 후보는 상기 HMVP 리스트에서의 상기 HMVP와 동일한, 방법.
  16. 제12항에 있어서,
    상기 HMVP 후보 및 상기 HMVP 리스트에서의 상기 HMVP가 동일한 모션 벡터들, 동일한 참조 인덱스들, 및 동일한 양방향 예측 가중치 인덱스를 갖는 경우, 상기 HMVP 후보는 상기 HMVP 리스트에서의 상기 HMVP와 동일한, 방법.
  17. 제11항에 있어서,
    상기 모션 정보는 적어도 하나 이상의 모션 벡터를 포함하는, 방법.
  18. 제11항에 있어서,
    상기 양방향 예측 가중치 인덱스는 상기 이웃 블록과 연관된 하나 이상의 가중치 인덱스를 포함하는, 방법.
  19. 제18항에 있어서,
    상기 하나 이상의 가중치 인덱스에 기초한 하나 이상의 가중치는 상기 현재 블록의 모션 보상 예측을 수행함으로써 생성되는 예측 신호에 적용되는, 방법.
  20. 제11항에 있어서,
    새로운 코딩 트리 유닛(CTU) 라인의 코딩이 시작될 때 HMVP 리스트를 리셋하는 단계를 포함하는, 방법.
KR1020217019751A 2018-12-29 2019-12-19 히스토리 기반 모션 벡터 예측 KR20210118068A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862786429P 2018-12-29 2018-12-29
US62/786,429 2018-12-29
PCT/US2019/067639 WO2020139717A1 (en) 2018-12-29 2019-12-19 History-based motion vector prediction

Publications (1)

Publication Number Publication Date
KR20210118068A true KR20210118068A (ko) 2021-09-29

Family

ID=69191247

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217019751A KR20210118068A (ko) 2018-12-29 2019-12-19 히스토리 기반 모션 벡터 예측

Country Status (8)

Country Link
US (2) US20220078406A1 (ko)
EP (1) EP3903496A1 (ko)
JP (1) JP2022516091A (ko)
KR (1) KR20210118068A (ko)
CN (1) CN113316936A (ko)
BR (1) BR112021012462A2 (ko)
TW (1) TW202032986A (ko)
WO (1) WO2020139717A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7308428B2 (ja) 2019-03-08 2023-07-14 合同会社ＩＰ Ｂｒｉｄｇｅ１号 画像符号化装置、画像符号化方法及び画像符号化プログラム
WO2023198075A1 (en) * 2022-04-13 2023-10-19 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101630688B1 (ko) * 2010-02-17 2016-06-16 삼성전자주식회사 움직임 예측 장치 및 방법과 영상 처리 장치
WO2013077659A1 (ko) * 2011-11-24 2013-05-30 에스케이텔레콤 주식회사 모션 벡터의 예측 부호화/복호화 방법 및 장치
US9479778B2 (en) * 2012-08-13 2016-10-25 Qualcomm Incorporated Device and method for coding video information using base layer motion vector candidate
US20140071235A1 (en) * 2012-09-13 2014-03-13 Qualcomm Incorporated Inter-view motion prediction for 3d video
US9357214B2 (en) * 2012-12-07 2016-05-31 Qualcomm Incorporated Advanced merge/skip mode and advanced motion vector prediction (AMVP) mode for 3D video
US11477477B2 (en) * 2015-01-26 2022-10-18 Qualcomm Incorporated Sub-prediction unit based advanced temporal motion vector prediction
CN118055224A (zh) * 2018-10-24 2024-05-17 华为技术有限公司 视频编解码器和方法
US11394989B2 (en) * 2018-12-10 2022-07-19 Tencent America LLC Method and apparatus for video coding
WO2020130617A1 (ko) * 2018-12-18 2020-06-25 엘지전자 주식회사 비디오 데이터를 처리하기 위한 방법 및 장치
GB2580084B (en) * 2018-12-20 2022-12-28 Canon Kk Video coding and decoding
US10855992B2 (en) * 2018-12-20 2020-12-01 Alibaba Group Holding Limited On block level bi-prediction with weighted averaging
GB2580326A (en) * 2018-12-28 2020-07-22 British Broadcasting Corp Video encoding and video decoding

Also Published As

Publication number Publication date
US20220078406A1 (en) 2022-03-10
US20240089427A1 (en) 2024-03-14
BR112021012462A2 (pt) 2021-09-08
TW202032986A (zh) 2020-09-01
JP2022516091A (ja) 2022-02-24
CN113316936A (zh) 2021-08-27
WO2020139717A1 (en) 2020-07-02
WO2020139717A8 (en) 2021-08-05
EP3903496A1 (en) 2021-11-03

Similar Documents

Publication Publication Date Title
US11575933B2 (en) Bi-directional optical flow method with simplified gradient derivation
US11553206B2 (en) Bl-prediction for video coding
US11546604B2 (en) Symmetric motion vector difference coding
US11991384B2 (en) Adaptive control point selection for affine motion model based video coding
WO2019089933A1 (en) Sub-block motion derivation and decoder-side motion vector refinement for merge mode
US20220070441A1 (en) Combined inter and intra prediction
EP3939303A1 (en) Symmetric merge mode motion vector coding
US20240089427A1 (en) History-based motion vector prediction
US20240196004A1 (en) Affine motion estimation for affine model-based video coding
US20240305812A1 (en) Adaptive control point selection for affine motion model based video coding

Legal Events

Date Code Title Description
A201 Request for examination