KR20210113187A - 대칭 모션 벡터 차이 코딩 - Google Patents
대칭 모션 벡터 차이 코딩 Download PDFInfo
- Publication number
- KR20210113187A KR20210113187A KR1020217019140A KR20217019140A KR20210113187A KR 20210113187 A KR20210113187 A KR 20210113187A KR 1020217019140 A KR1020217019140 A KR 1020217019140A KR 20217019140 A KR20217019140 A KR 20217019140A KR 20210113187 A KR20210113187 A KR 20210113187A
- Authority
- KR
- South Korea
- Prior art keywords
- smvd
- current coding
- coding block
- motion vector
- reference picture
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 193
- 239000013598 vector Substances 0.000 title claims abstract description 91
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 36
- 230000003287 optical effect Effects 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims description 29
- 230000002123 temporal effect Effects 0.000 claims description 29
- 238000007670 refining Methods 0.000 claims description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 63
- 238000004891 communication Methods 0.000 description 37
- 238000005516 engineering process Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 20
- 230000011664 signaling Effects 0.000 description 17
- 230000005540 biological transmission Effects 0.000 description 10
- 238000012360 testing method Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 7
- 238000013139 quantization Methods 0.000 description 6
- 238000012935 Averaging Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 239000000969 carrier Substances 0.000 description 4
- 238000009795 derivation Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 241000760358 Enodes Species 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 101100172132 Mus musculus Eif3a gene Proteins 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 229910001416 lithium ion Inorganic materials 0.000 description 2
- QELJHCBNGDEXLD-UHFFFAOYSA-N nickel zinc Chemical compound [Ni].[Zn] QELJHCBNGDEXLD-UHFFFAOYSA-N 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000005355 Hall effect Effects 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 241000700159 Rattus Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004873 anchoring Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- OJIJEKBXJYRIBZ-UHFFFAOYSA-N cadmium nickel Chemical compound [Ni].[Cd] OJIJEKBXJYRIBZ-UHFFFAOYSA-N 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229910052987 metal hydride Inorganic materials 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 229910052759 nickel Inorganic materials 0.000 description 1
- PXHVJJICTQNCMI-UHFFFAOYSA-N nickel Substances [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 1
- -1 nickel metal hydride Chemical class 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000000746 purification Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 208000037918 transfusion-transmitted disease Diseases 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000000411 transmission spectrum Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mobile Radio Communication Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
양방향 광학 흐름 (BDOF)은, 대칭 모션 벡터 차이(SMVD)가 현재 코딩 블록에 대한 모션 벡터 코딩에 이용되는지에 기초하여, 현재 코딩 블록에 대해 바이패스될 수 있다. 코딩 디바이스(예를 들어, 인코더 또는 디코더)는 현재 코딩 블록에 대한 SMVD 표시에 적어도 부분적으로 기초하여 현재 코딩 블록에 대한 BDOF를 바이패스할지를 결정할 수 있다. 코딩 디바이스는 SMVD가 현재 코딩 블록에 대한 모션 벡터 코딩에 이용되는지를 표시하는 SMVD 표시를 획득할 수 있다. SMVD 표시가 SMVD가 현재 코딩 블록에 대한 모션 벡터 코딩에 이용된다는 것을 표시하는 경우, 코딩 디바이스는 현재 코딩 블록에 대한 BDOF를 바이패스할 수 있다. 코딩 디바이스는 현재 코딩 블록에 대한 BDOF를 바이패스하기로 결정하면 BDOF를 수행하지 않고 현재 코딩 블록을 재구성할 수 있다.
Description
관련 사례들에 대한 상호 참조
본 출원은 2018년 12월 21일자로 출원된 미국 가특허 출원 제62/783,437호, 2019년 1월 1일자로 출원된 미국 가특허 출원 제62/787,321호, 2019년 1월 15일자로 출원된 미국 가특허 출원 제62/792,710호, 2019년 1월 30일자로 출원된 미국 가특허 출원 제62/798,674호, 및 2019년 2월 22일자로 출원된 미국 가특허 출원 제62/809,308호를 우선권 주장하며, 이들 출원의 내용은 그 전체가 본 명세서에 참고로 포함된다.
비디오 코딩 시스템들은 디지털 비디오 신호들을 압축, 예를 들어, 그러한 신호들에 필요한 저장 및/또는 송신 대역폭을 감소시키는데 이용될 수 있다. 비디오 코딩 시스템들은 블록 기반(block-based), 웨이브릿 기반(wavelet-based) 및/또는 객체 기반(object-based) 시스템들을 포함할 수 있다. 시스템들은 픽처들(pictures) 간의 시간적 상관들(temporal correlations)을 이용함으로써 시간적 중복성들(temporal redundancies)을 제거할 수 있는 양방향 모션 보상 예측(motion compensated prediction)(MCP)과 같은 비디오 코딩 기술들을 이용한다. 그러한 기술들은 인코딩 및/또는 디코딩 동안 수행되는 계산들의 복잡도를 증가시킬 수 있다.
양방향 광학 흐름(bi-directional optical flow)(BDOF)은, 대칭 모션 벡터 차이(symmetric motion vector difference)(SMVD)가 현재 코딩 블록에 대한 모션 벡터 코딩에 이용되는지에 기초하여, 현재 코딩 블록에 대해 바이패스될 수 있다.
코딩 디바이스(예를 들어, 인코더 또는 디코더)는 BDOF가 인에이블되어 있다고 결정할 수 있다. 코딩 디바이스는 현재 코딩 블록에 대한 SMVD 표시에 적어도 부분적으로 기초하여 현재 코딩 블록에 대한 BDOF를 바이패스할지를 결정할 수 있다. 코딩 디바이스는 SMVD가 현재 코딩 블록에 대한 모션 벡터 코딩에 이용되는지를 표시하는 SMVD 표시를 획득할 수 있다. SMVD 표시가 SMVD가 현재 코딩 블록에 대한 모션 벡터 코딩에서 이용된다는 것을 표시하면, 코딩 디바이스는 현재 코딩 블록에 대한 BDOF를 바이패스할 수 있다. 코딩 디바이스는, 현재 코딩 블록에 대한 BDOF를 바이패스하기로 결정하는 경우, BDOF를 수행하지 않고 현재 코딩 블록을 재구성할 수 있다.
현재 코딩 블록에 대한 모션 벡터 차이(motion vector difference)(MVD)는 현재 코딩 블록에 대한 모션 벡터 예측기(motion vector predictor)(MVP)와 현재 코딩 블록에 대한 모션 벡터(motion vector)(MV) 사이의 차이를 표시할 수 있다. 현재 코딩 블록에 대한 MVP는 현재 코딩 블록의 공간적 이웃 블록(spatial neighboring block) 및/또는 현재 코딩 블록의 시간적 이웃 블록(temporal neighboring block)의 MV에 기초하여 결정될 수 있다.
SMVD 표시가 SMVD가 현재 코딩 블록에 대한 모션 벡터 코딩을 위해 이용된다는 것을 표시하는 경우, 코딩 디바이스는 제1 참조 픽처 리스트(first reference picture list)와 연관된 제1 모션 벡터 코딩 정보를 수신할 수 있다. 코딩 디바이스는 제1 참조 픽처 리스트와 연관된 제1 모션 벡터 코딩 정보에 기초하여 제2 참조 픽처 리스트와 연관된 제2 모션 벡터 코딩 정보를 결정할 수 있고, 제1 참조 픽처 리스트와 연관된 MVD는 제2 참조 픽처 리스트와 연관된 MVD와 대칭이다.
예에서, SMVD 표시가 SMVD가 현재 코딩 블록에 대한 모션 벡터 코딩에 이용된다는 것을 표시하는 경우, 코딩 디바이스는 비트스트림(bitstream)에서 제1 참조 픽처 리스트와 연관된 제1 MVD를 파싱(parse)할 수 있다. 코딩 디바이스는 제1 MVD에 기초하여 제2 참조 픽처 리스트와 연관된 제2 MVD를 결정할 수 있고, 제1 MVD와 제2 MVD는 서로 대칭이다.
코딩 디바이스가 현재 코딩 블록에 대한 BDOF를 바이패스하지 않기로 결정하는 경우, 코딩 디바이스는 현재 코딩 블록에서의 위치와 연관된 그래디언트들(gradients)에 적어도 부분적으로 기초하여 현재 코딩 블록의 (예를 들어, 각각의) 서브-블록(sub-block)의 모션 벡터를 정제(refine)할 수 있다.
코딩 디바이스는 SMVD가 픽처들의 시퀀스에 대해 인에이블되지를 표시하는 시퀀스-레벨 SMVD 표시를 수신할 수 있다. SMVD가 픽처들의 시퀀스에 대해 인에이블되는 경우, 코딩 디바이스는 시퀀스-레벨 SMVD 표시에 기초하여 현재 코딩 블록과 연관된 SMVD 표시를 획득할 수 있다.
도 1a는 하나 이상의 개시된 실시예가 구현될 수 있는 예시적인 통신 시스템을 도시하는 시스템도이다.
도 1b는 실시예에 따른, 도 1a에 도시된 통신 시스템 내에서 이용될 수 있는 예시적인 무선 송신/수신 유닛(wireless transmit/receive unit)(WTRU)을 도시하는 시스템도이다.
도 1c는 실시예에 따른, 도 1a에 도시된 통신 시스템 내에서 이용될 수 있는 예시적인 라디오 액세스 네트워크(radio access network)(RAN) 및 예시적인 코어 네트워크(core network)(CN)를 도시하는 시스템도이다.
도 1d는 실시예에 따른, 도 1a에 도시된 통신 시스템 내에서 이용될 수 있는 추가의 예시적인 RAN 및 추가의 예시적인 CN을 도시하는 시스템도이다.
도 2는 인코더에 대한 예시적인 블록 기반 하이브리드 비디오 인코딩 프레임워크의 도면이다.
도 3은 디코더에 대한 예시적인 블록 기반 비디오 디코딩 프레임워크의 도면이다.
도 4는 CU 가중치들을 갖는 양방향 예측(bi-prediction with CU weights)(예를 들어, GBi)의 지원을 갖는 예시적인 비디오 인코더의 도면이다.
도 5는 인코더에 대한 CU 가중치들을 갖는 양방향 예측에 대한 지원을 갖는 예시적인 모듈의 도면이다.
도 6은 CU 가중치들을 갖는 양방향 예측에 대한 지원을 갖는 예시적인 블록 기반 비디오 디코더의 도면이다.
도 7은 디코더에 대한 CU 가중치들을 갖는 양방향 예측에 대한 지원을 갖는 예시적인 모듈의 도면이다.
도 8은 예시적인 양방향 광학 흐름을 도시한다.
도 9는 예시적인 4-파라미터 아핀 모드(four-parameter affine mode)를 도시한다.
도 10은 예시적인 6-파라미터 아핀 모드를 도시한다.
도 11은 예시적인 비-아핀 모션 대칭(non-affine motion symmetric) MVD(예를 들어, MVD1=-MVD0)를 도시한다.
도 12는 (예를 들어, 병합 모드(merge mode) MVD에 대한) 예시적인 모션 벡터 차이(MVD) 탐색 포인트(들)를 도시한다.
도 13은 예시적인 아핀 모션 대칭 MVD를 도시한다.
도 1b는 실시예에 따른, 도 1a에 도시된 통신 시스템 내에서 이용될 수 있는 예시적인 무선 송신/수신 유닛(wireless transmit/receive unit)(WTRU)을 도시하는 시스템도이다.
도 1c는 실시예에 따른, 도 1a에 도시된 통신 시스템 내에서 이용될 수 있는 예시적인 라디오 액세스 네트워크(radio access network)(RAN) 및 예시적인 코어 네트워크(core network)(CN)를 도시하는 시스템도이다.
도 1d는 실시예에 따른, 도 1a에 도시된 통신 시스템 내에서 이용될 수 있는 추가의 예시적인 RAN 및 추가의 예시적인 CN을 도시하는 시스템도이다.
도 2는 인코더에 대한 예시적인 블록 기반 하이브리드 비디오 인코딩 프레임워크의 도면이다.
도 3은 디코더에 대한 예시적인 블록 기반 비디오 디코딩 프레임워크의 도면이다.
도 4는 CU 가중치들을 갖는 양방향 예측(bi-prediction with CU weights)(예를 들어, GBi)의 지원을 갖는 예시적인 비디오 인코더의 도면이다.
도 5는 인코더에 대한 CU 가중치들을 갖는 양방향 예측에 대한 지원을 갖는 예시적인 모듈의 도면이다.
도 6은 CU 가중치들을 갖는 양방향 예측에 대한 지원을 갖는 예시적인 블록 기반 비디오 디코더의 도면이다.
도 7은 디코더에 대한 CU 가중치들을 갖는 양방향 예측에 대한 지원을 갖는 예시적인 모듈의 도면이다.
도 8은 예시적인 양방향 광학 흐름을 도시한다.
도 9는 예시적인 4-파라미터 아핀 모드(four-parameter affine mode)를 도시한다.
도 10은 예시적인 6-파라미터 아핀 모드를 도시한다.
도 11은 예시적인 비-아핀 모션 대칭(non-affine motion symmetric) MVD(예를 들어, MVD1=-MVD0)를 도시한다.
도 12는 (예를 들어, 병합 모드(merge mode) MVD에 대한) 예시적인 모션 벡터 차이(MVD) 탐색 포인트(들)를 도시한다.
도 13은 예시적인 아핀 모션 대칭 MVD를 도시한다.
첨부된 도면과 함께 예로써 주어지는 이하의 상세한 설명으로부터 보다 상세하게 이해할 수 있다.
도 1a는 하나 이상의 개시된 실시예가 구현될 수 있는 예시적인 통신 시스템(100)을 도시하는 도면이다. 통신 시스템(100)은 다수의 무선 사용자들에게 음성, 데이터, 비디오, 메시징, 방송 등과 같은 콘텐츠를 제공하는 다중 액세스 시스템(multiple access system)일 수 있다. 통신 시스템(100)은 다수의 무선 사용자들이, 무선 대역폭을 포함하는 시스템 자원들의 공유를 통해 그러한 콘텐츠에 액세스하게 할 수 있다. 예를 들어, 통신 시스템들(100)은 CDMA(code division multiple access), TDMA(time division multiple access), FDMA(frequency division multiple access), OFDMA(orthogonal FDMA), SC-FDMA(single-carrier FDMA), ZT UW DTS-s OFDM(zero-tail unique-word DFT-Spread OFDM), UW-OFDM(unique word OFDM), 자원 블록 필터링된((resource block-filtered)) OFDM, FBMC(filter bank multicarrier) 등과 같은 하나 이상의 채널 액세스 방법을 이용할 수 있다.
도 1a에 도시된 바와 같이, 통신 시스템(100)은 무선 송신/수신 유닛(WTRU)들(102a, 102b, 102c, 102d), RAN(104/113), CN(106/115), 공중 교환 전화 네트워크(public switched telephone network)(PSTN)(108), 인터넷(110), 및 다른 네트워크들(112)을 포함할 수 있지만, 개시된 실시예들이 임의의 수의 WTRU들, 기지국들, 네트워크들, 및/또는 네트워크 요소들을 고려한다는 것이 이해될 것이다. WTRU들(102a, 102b, 102c, 102d) 각각은 무선 환경에서 동작 및/또는 통신하도록 구성된 임의의 타입의 디바이스일 수 있다. 예로써, WTRU들(102a, 102b, 102c, 102d) 중 임의의 것은 "스테이션" 및/또는 "STA"라고 지칭될 수 있고, 무선 신호들을 송신 및/또는 수신하도록 구성될 수 있고, 사용자 장비(user equipment)(UE), 이동국(mobile station), 고정 또는 모바일 가입자 유닛(fixed or mobile subscriber unit), 가입 기반 유닛(subscription-based unit), 페이저(pager), 셀룰러 전화기, PDA(personal digital assistant), 스마트폰, 랩탑, 넷북, 개인용 컴퓨터, 무선 센서, 핫스팟(hotspot) 또는 Mi-Fi 디바이스, IoT(Internet of Things) 디바이스, 시계 또는 다른 웨어러블, 머리 장착 디스플레이(head-mounted display)(HMD), 차량, 드론, 의료용 디바이스 및 애플리케이션들(예를 들어, 원격 수술), 산업용 디바이스 및 애플리케이션들(예를 들어, 산업용 및/또는 자동화된 처리 체인 맥락에서 동작하는 로봇 및/또는 다른 무선 디바이스들), 소비자 전자 디바이스, 상업용 및/또는 산업용 무선 네트워크들에서 동작하는 디바이스 등을 포함할 수 있다. WTRU들(102a, 102b, 102c 및 102d) 중 임의의 것은 UE로서 상호교환가능하게 지칭될 수 있다. 코딩 디바이스는 WTRU일 수 있거나 이를 포함할 수 있다.
또한, 통신 시스템들(100)은 기지국(114a) 및/또는 기지국(114b)을 포함할 수 있다. 기지국들(114a, 114b) 각각은 CN(106/115), 인터넷(110), 및/또는 다른 네트워크들(112)과 같은 하나 이상의 통신 네트워크에 대한 액세스를 용이하게 하기 위해 WTRU들(102a, 102b, 102c, 102d) 중 적어도 하나와 무선으로 인터페이스하도록 구성된 임의의 타입의 디바이스일 수 있다. 예로써, 기지국들(114a, 114b)은 BTS(base transceiver station), Node-B, eNode B, Home Node B, Home eNode B, gNB, NR NodeB, 사이트 제어기, AP(access point), 무선 라우터 등일 수 있다. 기지국들(114a, 114b)은 각각이 단일 요소로서 묘사되어 있지만, 기지국들(114a, 114b)이 임의 수의 상호접속된 기지국들 및/또는 네트워크 요소들을 포함할 수 있음을 이해할 것이다.
기지국(114a)은, 기지국 제어기(base station controller)(BSC), 라디오 네트워크 제어기(radio network controller)(RNC), 중계 노드들(relay nodes) 등과 같은, 다른 기지국들 및/또는 네트워크 요소들(도시되지 않음)을 또한 포함할 수 있는, RAN(104/113)의 일부일 수 있다. 기지국(114a) 및/또는 기지국(114b)은 하나 이상의 캐리어 주파수에서 무선 신호들을 송신 및/또는 수신하도록 구성될 수 있고, 이는 셀(도시되지 않음)로 지칭될 수 있다. 이 주파수들은 인가 스펙트럼(licensed spectrum), 비인가 스펙트럼(unlicensed spectrum), 또는 인가 및 비인가 스펙트럼의 조합에 있을 수 있다. 셀은 상대적으로 고정될 수 있거나 시간에 따라 변할 수 있는 특정 지리적 영역에 무선 서비스에 대한 커버리지(coverage)를 제공할 수 있다. 셀은 셀 섹터들(cell sectors)로 추가로 분할될 수 있다. 예를 들어, 기지국(114a)과 연관된 셀이 3개의 섹터들로 분할될 수 있다. 따라서, 일 실시예에서, 기지국(114a)은 3개의 트랜시버들, 즉, 셀의 각각의 섹터에 대해 하나씩을 포함할 수 있다. 실시예에서, 기지국(114a)은 다중 입력 다중 출력(MIMO) 기술을 이용할 수 있고, 셀의 각각의 섹터에 대해 다수의 트랜시버를 이용할 수 있다. 예를 들어, 빔형성은 원하는 공간 방향들로 신호들을 송신 및/또는 수신하는데 이용될 수 있다.
기지국들(114a, 114b)은 임의의 적절한 무선 통신 링크(예를 들어, 라디오 주파수(RF), 마이크로파, 센티미터파, 마이크로미터파, 적외선(IR), 자외선(UV), 가시광선 등)일 수 있는 공중 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c, 102d) 중 하나 이상과 통신할 수 있다. 공중 인터페이스(air interface)(116)는 임의의 적절한 라디오 액세스 기술(radio access technology)(RAT)을 이용하여 확립될 수 있다.
보다 구체적으로, 앞서 살펴본 바와 같이, 통신 시스템(100)은 다중 액세스 시스템일 수 있고, CDMA, TDMA, FDMA, OFDMA, SC-FDMA 등과 같은 하나 이상의 채널 액세스 방식을 이용할 수 있다. 예를 들어, RAN(104/113)에서의 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 광대역(wideband) CDMA(WCDMA)를 이용하여 공중 인터페이스(115/116/117)를 확립할 수 있는, UTRA(Universal Mobile Telecommunications System(UMTS) Terrestrial Radio Access)와 같은 라디오 기술을 구현할 수 있다. WCDMA는 HSPA(High-Speed Packet Access) 및/또는 HSPA+(Evolved HSPA)와 같은 통신 프로토콜들을 포함할 수 있다. HSPA는 HSDPA(High-Speed Downlink(DL) Packet Access) 및/또는 HSUPA(High-Speed UL Packet Access)를 포함할 수 있다.
실시예에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 E-UTRA(Evolved UMTS Terrestrial Radio Access)와 같은 라디오 기술을 구현할 수 있고, 이는 LTE(Long Term Evolution) 및/또는 LTE-A(LTE-Advanced) 및/또는 LTE-A Pro(LTE-Advanced Pro)를 이용하여 공중 인터페이스(116)를 확립할 수 있다.
실시예에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 NR(New Radio)을 이용하여 공중 인터페이스(116)를 확립할 수 있는 NR 라디오 액세스와 같은 라디오 기술을 구현할 수 있다.
실시예에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 다수의 라디오 액세스 기술들을 구현할 수 있다. 예를 들어, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은, 예를 들어, 이중 접속(dual connectivity)(DC) 원리들을 이용하여, LTE 라디오 액세스 및 NR 라디오 액세스를 함께 구현할 수 있다. 따라서, WTRU들(102a, 102b, 102c)에 의해 이용되는 공중 인터페이스는 다수의 타입들의 라디오 액세스 기술들 및/또는 다수의 타입들의 기지국들(예를 들어, eNB 및 gNB)로/로부터 전송된 송신들에 의해 특징지어질 수 있다.
다른 실시예들에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 IEEE 802.11(즉, WiFi(Wireless Fidelity)), IEEE 802.16(즉, WiMAX(Worldwide Interoperability for Microwave Access)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, IS-2000(Interim Standard 2000), IS-95(Interim Standard 95), IS-856(Interim Standard 856), GSM(Global System for Mobile communications), EDGE(Enhanced Data rates for GSM Evolution), GSM EDGE(GERAN) 등과 같은 라디오 기술들을 구현할 수 있다.
도 1a에서의 기지국(114b)은, 예를 들어, 무선 라우터, Home Node B, Home eNode B, 또는 액세스 포인트일 수 있고, 사업장, 가정, 차량, 캠퍼스, 산업 시설, (예를 들어, 드론에 의한 이용을 위한) 공중 회랑(air corridor), 도로 등과 같은, 국지화된 영역에서 무선 접속을 용이하게 하기 위해 임의의 적절한 RAT를 이용할 수 있다. 일 실시예에서, 기지국(114b) 및 WTRU들(102c, 102d)은 WLAN(wireless local area network)을 확립하기 위해 IEEE 802.11과 같은 라디오 기술을 구현할 수 있다. 실시예에서, 기지국(114b) 및 WTRU들(102c, 102d)은 IEEE 802.15와 같은 라디오 기술을 구현하여 WPAN(wireless personal area network)을 확립할 수 있다. 또 다른 실시예에서, 기지국(114b) 및 WTRU들(102c, 102d)은 셀룰러 기반 RAT(예를 들어, WCDMA, CDMA2000, GSM, LTE, LTE-A, LTE-A Pro, NR 등)를 이용하여 피코셀(picocell) 또는 펨토셀(femtocell)을 확립할 수 있다. 도 1a에 도시된 바와 같이, 기지국(114b)은 인터넷(110)에의 직접 접속을 가질 수 있다. 따라서, 기지국(114b)은 CN(106/115)을 통해 인터넷(110)에 액세스할 필요가 없을 수 있다.
RAN(104/113)은 CN(106/115)과 통신할 수 있으며, 이는 음성, 데이터, 애플리케이션들, 및/또는 VoIP(voice over internet protocol) 서비스들을 WTRU들(102a, 102b, 102c, 102d) 중 하나 이상에게 제공하도록 구성된 임의의 타입의 네트워크일 수 있다. 데이터는 상이한 처리량 요구사항들, 레이턴시 요구사항들, 오류 허용 요구사항들, 신뢰도 요구사항들, 데이터 처리량 요구사항들, 이동성 요구사항들 등과 같은, 다양한 서비스 품질(QoS) 요구사항들을 가질 수 있다. CN(106/115)은 호 제어(call control), 과금 서비스들, 모바일 위치 기반 서비스들, 선불 전화, 인터넷 접속, 비디오 배포 등을 제공할 수 있고/있거나 사용자 인증과 같은 하이 레벨의 보안 기능들을 수행할 수 있다. 비록 도 1a에 도시되어 있지는 않지만, RAN(104/113) 및/또는 CN(106/115)이 RAN(104/113)과 동일한 RAT 또는 상이한 RAT를 이용하는 다른 RAN들과 직접 또는 간접 통신을 할 수 있음을 이해할 것이다. 예를 들어, NR 라디오 기술을 이용할 수 있는 RAN(104/113)에 접속되는 것 이외에도, CN(106/115)은 또한 GSM, UMTS, CDMA 2000, WiMAX, E-UTRA, 또는 WiFi 라디오 기술을 이용하여 다른 RAN(도시되지 않음)과 통신할 수 있다.
CN(106/115)은 또한 WTRU들(102a, 102b, 102c, 102d)이 PSTN(108), 인터넷(110), 및/또는 다른 네트워크들(112)에 액세스하기 위한 게이트웨이로서 역할할 수 있다. PSTN(108)은 POTS(plain old telephone service)를 제공하는 회선 교환 전화 네트워크들을 포함할 수 있다. 인터넷(110)은 송신 제어 프로토콜(TCP), 사용자 데이터그램 프로토콜(UDP), 및/또는 TCP/IP 인터넷 프로토콜 세트(internet protocol suite)에서의 인터넷 프로토콜(IP)과 같은 공통 통신 프로토콜들을 이용하는 상호접속된 컴퓨터 네트워크들 및 디바이스들의 글로벌 시스템을 포함할 수 있다. 네트워크들(112)은 다른 서비스 제공자들에 의해 소유 및/또는 운영되는 유선 및/또는 무선 통신 네트워크를 포함할 수 있다. 예를 들어, 네트워크들(112)은 RAN(104/113)과 동일한 RAT 또는 상이한 RAT를 이용할 수 있는, 하나 이상의 RAN에 접속된 다른 CN을 포함할 수 있다.
통신 시스템(100)에서의 WTRU들(102a, 102b, 102c, 102d) 중 일부 또는 전부는 다중 모드 능력들을 포함할 수 있다(예를 들어, WTRU들(102a, 102b, 102c, 102d)은 상이한 무선 링크들을 통해 상이한 무선 네트워크들과 통신하기 위한 다수의 트랜시버들을 포함할 수 있다). 예를 들어, 도 1a에 도시된 WTRU(102c)는 셀룰러 기반 라디오 기술을 이용할 수 있는 기지국(114a), 및 IEEE 802 라디오 기술을 이용할 수 있는 기지국(114b)과 통신하도록 구성될 수 있다.
도 1b는 예시적인 WTRU(102)를 도시하는 시스템도이다. 도 1b에 도시된 바와 같이, WTRU(102)는, 다른 것들 중에서, 프로세서(118), 트랜시버(120), 송신/수신 요소(122), 스피커/마이크로폰(124), 키패드(126), 디스플레이/터치패드(128), 비이동식 메모리(130), 이동식 메모리(132), 전원(134), GPS(global positioning system) 칩셋(136), 및/또는 다른 주변기기들(138)을 포함할 수 있다. 실시예와 부합한 채로 있으면서 WTRU(102)가 전술한 요소들의 임의의 하위조합을 포함할 수 있다는 것이 이해될 것이다.
프로세서(118)는 범용 프로세서, 특수 목적 프로세서, 종래의 프로세서, 디지털 신호 프로세서(DSP), 복수의 마이크로프로세서들, DSP 코어와 연관된 하나 이상의 마이크로프로세서, 제어기, 마이크로제어기, 주문형 집적 회로(ASIC)들, 필드 프로그래머블 게이트 어레이(FPGA) 회로들, 임의의 다른 타입의 집적 회로(IC), 상태 머신 등일 수 있다. 프로세서(118)는 WTRU(102)가 무선 환경에서 동작할 수 있게 하는 신호 코딩, 데이터 처리, 전력 제어, 입력/출력 처리, 및/또는 임의의 다른 기능을 수행할 수 있다. 프로세서(118)는 송신/수신 요소(122)에 결합될 수 있는 트랜시버(120)에 결합될 수 있다. 도 1b는 프로세서(118) 및 트랜시버(120)를 개별 컴포넌트들로서 도시하지만, 프로세서(118) 및 트랜시버(120)는 전자 패키지 또는 칩 내에 함께 통합될 수 있음을 이해할 것이다.
송신/수신 요소(122)는 공중 인터페이스(116)를 통해 기지국(예를 들어, 기지국(114a))에 신호들을 송신하거나 이로부터 신호들을 수신하도록 구성될 수 있다. 예를 들어, 일 실시예에서, 송신/수신 요소(122)는 RF 신호들을 송신 및/또는 수신하도록 구성된 안테나일 수 있다. 실시예에서, 송신/수신 요소(122)는, 예를 들어, IR, UV 또는 가시광 신호들을 송신 및/또는 수신하도록 구성된 방출기/검출기(emitter/detector)일 수 있다. 또 다른 실시예에서, 송신/수신 요소(122)는 RF 및 광 신호들 모두 송신 및/또는 수신하도록 구성될 수 있다. 송신/수신 요소(122)가 무선 신호들의 임의의 조합을 송신 및/또는 수신하도록 구성될 수 있다는 것이 이해될 것이다.
송신/수신 요소(122)가 단일 요소로서 도 1b에 도시되어 있지만, WTRU(102)는 임의의 수의 송신/수신 요소(122)를 포함할 수 있다. 보다 구체적으로, WTRU(102)는 MIMO 기술을 이용할 수 있다. 따라서, 일 실시예에서, WTRU(102)는 공중 인터페이스(116)를 통해 무선 신호들을 전송 및 수신하기 위한 2개 이상의 송/수신 요소들(122)(예를 들어, 다수의 안테나들)을 포함할 수 있다.
트랜시버(120)는 송신/수신 요소(122)에 의해 송신될 신호들을 변조하고, 송신/수신 요소(122)에 의해 수신되는 신호들을 복조하도록 구성될 수 있다. 앞서 살펴본 바와 같이, WTRU(102)는 다중 모드 능력들을 가질 수 있다. 따라서, 트랜시버(120)는, 예를 들어, WTRU(102)가 NR 및 IEEE 802.11과 같은, 다수의 RAT를 통해 통신하도록 하는 다수의 트랜시버들을 포함할 수 있다.
WTRU(102)의 프로세서(118)는 스피커/마이크로폰(124), 키패드(126), 및/또는 디스플레이/터치패드(128)(예를 들어, LCD(liquid crystal display) 디스플레이 유닛 또는 OLED(organic light-emitting diode) 디스플레이 유닛)에 결합될 수 있고 그로부터 사용자 입력 데이터를 수신할 수 있다. 프로세서(118)는 또한 사용자 데이터를 스피커/마이크로폰(124), 키패드(126), 및/또는 디스플레이/터치패드(128)에 출력할 수 있다. 또한, 프로세서(118)는 비이동식 메모리(130) 및/또는 이동식 메모리(132)와 같은 임의의 타입의 적절한 메모리로부터의 정보에 액세스하고, 그 메모리에 데이터를 저장할 수 있다. 비이동식 메모리(130)는 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 하드 디스크, 또는 임의의 다른 타입의 메모리 저장 디바이스를 포함할 수 있다. 이동식 메모리(132)는 가입자 식별 모듈(SIM) 카드, 메모리 스틱, 보안 디지털(SD) 메모리 카드 등을 포함할 수 있다. 다른 실시예들에서, 프로세서(118)는, 서버 또는 홈 컴퓨터(도시되지 않음) 상에 있는 것과 같이, WTRU(102) 상에 물리적으로 위치되지 않은 메모리로부터의 정보에 액세스하고, 그 메모리에 데이터를 저장할 수 있다.
프로세서(118)는 전원(134)으로부터 전력을 수신할 수 있고, WTRU(102) 내의 다른 컴포넌트들에 전력을 분배 및/또는 제어하도록 구성될 수 있다. 전원(134)은 WTRU(102)에 전력을 공급하기 위한 임의의 적절한 디바이스일 수 있다. 예를 들어, 전원(134)은 하나 이상의 건전지 배터리(예를 들어, 니켈-카드뮴(NiCd), 니켈-아연(NiZn), 니켈 금속 수소화물(NiMH), 리튬-이온(Li-ion) 등), 태양 전지들, 연료 전지들 등을 포함할 수 있다.
프로세서(118)는 또한 WTRU(102)의 현재 위치에 관한 위치 정보(예를 들어, 경도 및 위도)를 제공하도록 구성될 수 있는 GPS 칩셋(136)에 결합될 수 있다. GPS 칩셋(136)으로부터의 정보에 부가하여 또는 그 대신에, WTRU(102)는 기지국(예를 들어, 기지국들(114a, 114b))으로부터 공중 인터페이스(116)를 통해 위치 정보를 수신할 수 있고/있거나 2개 이상의 근방의 기지국들로부터 수신되고 있는 신호들의 타이밍에 기초하여 그의 위치를 결정할 수 있다. WTRU(102)가 실시예와 부합한 채로 있으면서 임의의 적절한 위치 결정 방법에 의해 위치 정보를 획득할 수 있다는 것이 이해될 것이다.
프로세서(118)는, 추가적인 특징들, 기능 및/또는 유선 또는 무선 접속성을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈을 포함할 수 있는, 다른 주변기기들(138)에 추가로 결합될 수 있다. 예를 들어, 주변기기들(138)은 가속도계, 전자 나침반(e-compass), 위성 트랜시버, 디지털 카메라(사진들 및/또는 비디오용), 범용 직렬 버스(USB) 포트, 진동 디바이스, 텔레비전 트랜시버, 핸즈프리(hands free) 헤드셋, Bluetooth® 모듈, 주파수 변조(FM) 라디오 유닛, 디지털 음악 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저, 가상 현실 및/또는 증강 현실(VR/AR) 디바이스, 액티비티 트래커(activity tracker) 등을 포함할 수 있다. 주변기기들(138)은 하나 이상의 센서를 포함할 수 있고, 센서들은 자이로스코프, 가속도계, 홀 효과 센서, 자력계, 배향 센서, 근접 센서, 온도 센서, 시간 센서, 지오로케이션 센서, 고도계, 광 센서, 터치 센서, 자력계, 기압계, 제스처 센서, 바이오메트릭 센서, 및/또는 습도 센서 중에서의 하나 이상일 수 있다.
WTRU(102)는 (예를 들어, (예를 들어, 송신을 위한) UL 및 (예를 들어, 수신을 위한) 다운링크 모두를 위한 특정 서브프레임들에 연관된) 신호들의 일부 또는 전부의 송신 및 수신이 공존(concurrent)하고/하거나 동시에 있을 수 있는 전이중 라디오(full duplex radio)를 포함할 수 있다. 전이중 라디오는 하드웨어(예를 들어, 초크(choke)) 또는 프로세서를 통한(예를 들어, 별도의 프로세서(도시되지 않음) 또는 프로세서(118)를 통한) 신호 처리를 통해 자기 간섭을 감소시키고 또는 실질적으로 제거하는 간섭 관리 유닛)을 포함할 수 있다. 실시예에서, WRTU(102)는 (예를 들어, (예를 들어, 송신을 위한) UL 또는 (예를 들어, 수신을 위한) 다운링크 중 어느 하나에 대한 특정 서브프레임들과 연관된) 신호들의 일부 또는 전부의 송신 및 수신을 위한 반이중 라디오(half-duplex radio)를 포함할 수 있다.
도 1c는 실시예에 따른, RAN(104) 및 CN(106)을 도시하는 시스템도이다. 앞서 살펴본 바와 같이, RAN(104)은 공중 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위해 E-UTRA 라디오 기술을 이용할 수 있다. RAN(104)은 또한 CN(106)과 통신할 수 있다.
RAN(104)은 eNode-B들(160a, 160b, 160c)을 포함할 수 있지만, RAN(104)이 실시예와 부합한 채로 있으면서 임의의 수의 eNode-B를 포함할 수 있다는 것이 이해될 것이다. eNode-B들(160a, 160b, 160c) 각각은 공중 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위한 하나 이상의 트랜시버를 포함할 수 있다. 일 실시예에서, eNode-B들(160a, 160b, 160c)은 MIMO 기술을 구현할 수 있다. 따라서, eNode-B(160a)는, 예를 들어, WTRU(102a)로 무선 신호들을 송신하고/하거나 WTRU(102a)로부터 무선 신호들을 수신하기 위해 다수의 안테나들을 이용할 수 있다.
각각의 eNode-B들(160a, 160b, 160c)은 특정 셀(도시되지 않음)과 연관될 수 있고, 무선 자원 관리 결정들, 핸드오버 결정들, UL 및/또는 DL에서의 사용자들의 스케줄링 등을 처리하도록 구성될 수 있다. 도 1c에 도시된 바와 같이, eNode-B들(160a, 160b, 160c)은 X2 인터페이스를 통해 서로 통신할 수 있다.
도 1c에 도시된 CN(106)은 이동성 관리 엔티티(MME)(162), 서빙 게이트웨이(SGW)(164), 및 패킷 데이터 네트워크(PDN) 게이트웨이(또는 PGW)(166)를 포함할 수 있다. 전술한 요소들 각각이 CN(106)의 일부로서 도시되어 있지만, 이 요소들 중 임의의 것이 CN 운영자 이외의 엔티티에 의해 소유 및/또는 운영될 수 있다는 것을 이해할 것이다.
MME(162)는 S1 인터페이스를 통해 RAN(104)에서의 각각의 eNode-B들(162a, 162b, 162c)에 접속될 수 있고, 제어 노드로서 역할을 할 수 있다. 예를 들어, MME(162)는 WTRU들(102a, 102b, 102c)의 사용자들을 인증하는 것, 베어러 활성화/비활성화, WTRU들(102a, 102b, 102c)의 초기 어태치(initial attach) 동안 특정 서빙 게이트웨이를 선택하는 것 등을 담당할 수 있다. MME(162)는 RAN(104)과, GSM 및/또는 WCDMA와 같은 다른 라디오 기술들을 이용하는 다른 RAN들(도시되지 않음) 사이를 스위칭하기 위한 제어 평면 기능을 제공할 수 있다.
SGW(164)는 S1 인터페이스를 통해 RAN(104)에서의 eNode-B들(160a, 160b, 160c) 각각에 접속될 수 있다. SGW(164)는 일반적으로 WTRU들(102a, 102b, 102c)로/로부터 데이터 패킷들을 라우팅하고 포워딩할 수 있다. SGW(164)는 eNode-B간(inter-eNode B) 핸드오버 동안 사용자 평면들을 앵커링(anchoring)하는 것, DL 데이터가 WTRU들(102a, 102b, 102c)에 이용가능한 경우 페이징을 트리거하는 것, WTRU들(102a, 102b, 102c)의 컨텍스트들을 관리 및 저장하는 것 등과 같은 다른 기능들을 수행할 수 있다.
SGW(164)는 WTRU들(102a, 102b, 102c)과 IP 가능 디바이스들(IP-enabled device) 사이의 통신을 용이하게 하기 위해, WTRU들(102a, 102b, 102c)에게 인터넷(110)과 같은 패킷 교환 네트워크들에 대한 액세스를 제공할 수 있는 PGW(166)에 접속될 수 있다.
CN(106)은 다른 네트워크들과의 통신을 용이하게 할 수 있다. 예를 들어, CN(106)은 WTRU들(102a, 102b, 102c)과 전통적인 유선(land-line) 통신 디바이스들 사이의 통신을 용이하게 하기 위해 WTRU들(102a, 102b, 102c)에게 PSTN(108)과 같은 회선 교환 네트워크들에 대한 액세스를 제공할 수 있다. 예를 들어, CN(106)은 CN(106)과 PSTN(108) 사이의 인터페이스로서 기능하는 IP 게이트웨이(예를 들어, IP 멀티미디어 서브시스템(IMS) 서버)를 포함하거나, 이와 통신할 수 있다. 또한, CN(106)은 WTRU들(102a, 102b, 102c)에게, 다른 서비스 제공자들에 의해 소유 및/또는 운영되는 다른 유선 및/또는 무선 네트워크를 포함할 수 있는 다른 네트워크들(112)에 대한 액세스를 제공할 수 있다.
WTRU가 도 1a 내지 도 1d에서 무선 단말기로서 설명되지만, 특정한 대표적인 실시예들에서, 그러한 단말기는 통신 네트워크와의 유선 통신 인터페이스들을 (예를 들어, 일시적으로 또는 영구적으로) 이용할 수 있다는 것을 고려한다.
대표적인 실시예들에서, 다른 네트워크(112)는 WLAN일 수 있다.
인프라스트럭처 기본 서비스 세트(BSS) 모드에서의 WLAN은 BSS에 대한 액세스 포인트(AP) 및 AP와 연관된 하나 이상의 스테이션(STA)을 가질 수 있다. AP는 분배 시스템(DS), 또는 BSS 내로 및/또는 밖으로 트래픽을 운반하는 다른 타입의 유선/무선 네트워크에 대한 액세스 또는 인터페이스를 가질 수 있다. BSS 외부에서 유래하는 STA들로의 트래픽은 AP를 통해 도착할 수 있고, STA들로 전달될 수 있다. STA들로부터 BSS 외부의 목적지들까지 유래되는 트래픽은 각각의 목적지들로 전달되도록 AP로 전송될 수 있다. BSS 내의 STA들 사이의 트래픽은 AP를 통해 전송될 수 있고, 예를 들어, 소스 STA가 트래픽을 AP로 전송할 수 있고, AP는 트래픽을 목적지 STA로 전달할 수 있다. BSS 내의 STA들 사이의 트래픽은 피어-투-피어 트래픽으로 간주 및/또는 지칭될 수 있다. 피어-투-피어 트래픽은 직접 링크 셋업(DLS)을 통해 소스 및 목적지 STA들 사이에서(예를 들어, 사이에서 직접적으로) 전송될 수 있다. 특정 대표적인 실시예들에서, DLS는 802.11e DLS 또는 802.11z 터널링된 DLS(TDLS)를 이용할 수 있다. 독립 BSS(IBSS) 모드를 이용하는 WLAN은 AP를 가질 수 없고, IBSS 내의 또는 IBSS를 이용하는 STA들(예를 들어, 모든 STA들)은 서로 직접적으로 통신할 수 있다. IBSS 통신 모드는 때때로 본 명세서에서 "애드혹" 통신 모드로 지칭될 수 있다.
802.11ac 인프라스트럭처 동작 모드 또는 유사한 동작 모드를 이용하는 경우, AP는 주(primary) 채널과 같은 고정 채널을 통해 비컨(beacon)을 송신할 수 있다. 주 채널은 고정 폭(예를 들어, 20MHz 폭의 광대역폭)이거나 또는 시그널링을 통해 동적으로 설정된 폭일 수 있다. 주 채널은 BSS의 동작 채널일 수 있고, AP와의 접속을 확립하기 위해 STA들에 의해 이용될 수 있다. 특정한 대표적인 실시예들에서, 충돌 회피를 갖는 캐리어 감지 다중 액세스(Carrier Sense Multiple Access with Collision Avoidance)(CSMA/CA)가, 예를 들어, 802.11 시스템들에서 구현될 수 있다. CSMA/CA에 대해, AP를 포함하는 STA들(예를 들어, 모든 STA)은 주 채널을 감지할 수 있다. 주 채널이 감지/검출되고 및/또는 특정 STA에 의해 비지 상태(busy)라고 결정되는 경우, 특정 STA는 백오프(back off)할 수 있다. 하나의 STA(예를 들어, 단지 하나의 스테이션)가 주어진 BSS에서 임의의 주어진 시간에 송신할 수 있다.
HT(High Throughput) STA들은, 예를 들어, 주(primary) 20MHz 채널 및 인접하거나 비인접한 20MHz 채널을 결합하여 40MHz 폭의 채널을 형성하는 것을 통해, 통신을 위한 40MHz 폭의 채널을 이용할 수 있다.
VHT(Very High Throughput) STA들은 20MHz, 40MHz, 80MHz, 및/또는 160MHz 폭의 채널들을 지원할 수 있다. 40MHz, 및/또는 80MHz 채널들은 인접한 20MHz 채널들을 결합하여 형성될 수 있다. 160MHz 채널은 8개의 인접한 20MHz 채널들을 결합하거나, 80+80 구성이라고 지칭될 수 있는, 2개의 비인접한 80MHz 채널들을 결합함으로써 형성될 수 있다. 80+80 구성의 경우, 채널 인코딩 후 데이터는 데이터를 두 개의 스트림들로 분할할 수 있는 세그먼트 파서(segment parser)를 통과할 수 있다. 역 고속 푸리에 변환(Inverse Fast Fourier Transform)(IFFT) 처리 및 시간 영역 처리는 각각의 스트림에 대해 개별적으로 수행될 수 있다. 스트림들은 2개의 80MHz 채널들로 맵핑될 수 있고, 데이터는 송신하는 STA에 의해 송신될 수 있다. 수신하는 STA의 수신기에서, 80+80 구성에 대해 위에 설명된 동작은 역전(reverse)될 수 있고, 결합된 데이터는 매체 액세스 제어(Medium Access Control)(MAC)로 전송될 수 있다.
서브 1GHz 동작 모드들은 802.11af 및 802.11ah에 의해 지원된다. 채널 동작 대역폭들 및 캐리어들은 802.11n 및 802.11ac에서 이용되는 것들에 비해 802.11af 및 802.11ah에서 감소된다. 802.11af는 TV 화이트 스페이스(TVWS) 스펙트럼에서 5MHz, 10MHz 및 20MHz 대역폭들을 지원하고, 802.11ah는 비-TVWS 스펙트럼을 이용하여 1MHz, 2MHz, 4MHz, 8MHz 및 16MHz 대역폭들을 지원한다. 대표적인 실시예에 따르면, 802.11ah는 매크로 커버리지 영역(macro coverage area)에서의 MTC 디바이스들과 같은, 미터 타입 제어/머신-타입 통신들(Meter Type Control/Machine-Type Communications)을 지원할 수 있다. MTC 디바이스들은, 예를 들어, 특정한 및/또는 제한된 대역폭들에 대한 지원(예를 들어, 그것들에 대해서만의 지원)을 포함하는 제한된 능력들과 같은 특정 능력들을 가질 수 있다. MTC 디바이스들은 (예를 들어, 배터리 수명을 매우 길게 유지하기 위해) 배터리 수명이 임계값 위인 배터리를 포함할 수 있다.
다수의 채널들, 및 802.11n, 802.11ac, 802.11af, 및 802.11ah와 같은 채널 대역폭들을 지원할 수 있는 WLAN 시스템들은 주 채널로서 지정될 수 있는 채널을 포함한다. 주 채널은 BSS에서의 모든 STA들에 의해 지원되는 최대 공통 동작 대역폭(largest common operating bandwidth)과 동일한 대역폭을 가질 수 있다. 주 채널의 대역폭은 최소 대역폭 동작 모드를 지원하는 BSS에서 동작하는 모든 STA들 중에서, STA에 의해 설정 및/또는 제한될 수 있다. 802.11ah의 예에서, AP 및 BSS에서의 다른 STA들이 2MHz, 4MHz, 8MHz, 16MHz, 및/또는 다른 채널 대역폭 동작 모드들을 지원하는 경우에도, 주 채널은 1MHz 모드를 지원(예를 들어, 오직 그것만을 지원)하는 STA들(예를 들어, MTC 타입 디바이스들)에 대해 1MHz 폭일 수 있다. 캐리어 감지 및/또는 네트워크 할당 벡터(NAV) 설정들은 주 채널의 상태에 의존할 수 있다. 주 채널이, 예를 들어, (오직 1MHz 동작 모드만을 지원하는) STA가 AP에 송신하는 것으로 인해 비지 상태인 경우, 대부분의 주파수 대역들이 아이들 상태(idle)이고 이용가능한 경우에도, 이용가능한 전체 주파수 대역들이 비지 상태인 것으로 간주될 수 있다.
미국에서, 802.11ah에 의해 이용될 수 있는 이용가능한 주파수 대역들은 902MHz 내지 928MHz이다. 한국에서, 이용가능한 주파수 대역들은 917.5MHz 내지 923.5MHz이다. 일본에서, 이용가능한 주파수 대역들은 916.5MHz 내지 927.5MHz이다. 802.11ah에 이용가능한 총 대역폭은 국가 코드에 따라 6MHz 내지 26MHz이다.
도 1d는 실시예에 따른, RAN(113) 및 CN(115)을 도시하는 시스템도이다. 앞서 살펴본 바와 같이, RAN(113)은 공중 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위해 NR 라디오 기술을 이용할 수 있다. RAN(113)은 또한 CN(115)과 통신할 수 있다.
RAN(113)은 gNB들(180a, 180b, 180c)을 포함할 수 있지만, RAN(113)은 실시예와 부합한 채로 있으면서 임의의 수의 gNB들을 포함할 수 있다는 것이 이해될 것이다. gNB들(180a, 180b, 180c) 각각은 공중 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위한 하나 이상의 트랜시버를 포함할 수 있다. 일 실시예에서, gNB들(180a, 180b, 180c)은 MIMO 기술을 구현할 수 있다. 예를 들어, gNB들(180a, 180b)은 빔형성을 이용하여 gNB들(180a, 180b, 180c)로 신호들을 송신하고/하거나 gNB들(180a, 180b, 180c)로부터 신호들을 수신할 수 있다. 따라서, gNB(180a)는, 예를 들어, 다수의 안테나들을 이용하여 WTRU(102a)로 무선 신호들을 송신하고/하거나 WTRU(102a)로부터 무선 신호들을 수신할 수 있다. 실시예에서, gNB들(180a, 180b, 180c)은 캐리어 집성 기술(carrier aggregation technology)을 구현할 수 있다. 예를 들어, gNB(180a)는 WTRU(102a)(도시되지 않음)로 다수의 컴포넌트 캐리어들(component carriers)을 송신할 수 있다. 이들 컴포넌트 캐리어들의 서브세트는 비인가 스펙트럼에 있을 수 있으며, 나머지 컴포넌트 캐리어들은 인가 스펙트럼에 있을 수 있다. 실시예에서, gNB들(180a, 180b, 180c)은 조정된 멀티 포인트(Coordinated Multi-Point)(CoMP) 기술을 구현할 수 있다. 예를 들어, WTRU(102a)는 gNB(180a) 및 gNB(180b)(및/또는 gNB(180c))로부터 조정된 송신들(coordinated transmission)을 수신할 수 있다.
WTRU들(102a, 102b, 102c)은 스케일러블 뉴머롤로지(scalable numerology)와 연관된 송신들을 이용하여 gNB들(180a, 180b, 180c)과 통신할 수 있다. 예를 들어, OFDM 심볼 간격 및/또는 OFDM 서브캐리어 간격은 상이한 송신들, 상이한 셀들, 및/또는 무선 송신 스펙트럼의 상이한 부분들에 대해 변할 수 있다. WTRU들(102a, 102b, 102c)은 다양한 또는 스케일러블 길이들(예를 들어, 가변하는 수의 OFDM 심볼 및/또는 절대 시간의 지속적인 가변 길이들을 포함함)의 서브프레임 또는 송신 시간 간격(transmission time interval)(TTI)들을 이용하여 gNB들(180a, 180b, 180c)과 통신할 수 있다.
gNB들(180a, 180b, 180c)은 독립형(standalone) 구성 및/또는 비독립형 구성으로 WTRU들(102a, 102b, 102c)과 통신하도록 구성될 수 있다. 독립형 구성에서, WTRU들(102a, 102b, 102c)은 (예를 들어, eNode-B들(160a, 160b, 160c)과 같은) 다른 RAN들에도 액세스하지 않고 gNB들(180a, 180b, 180c)과 통신할 수 있다. 독립형 구성에서, WTRU들(102a, 102b, 102c)은 이동성 앵커 포인트(mobility anchor point)로서 gNB들(180a, 180b, 180c) 중 하나 이상을 이용할 수 있다. 독립형 구성에서, WTRU들(102a, 102b, 102c)은 비인가 대역에서의 신호들을 이용하여 gNB들(180a, 180b, 180c)과 통신할 수 있다. 비독립형 구성에서, WTRU들(102a, 102b, 102c)은 gNB들(180a, 180b, 180c)과 통신하거나 접속되면서, 또한 eNode-B들(160a, 160b, 160c)과 같은 다른 RAN과 통신하거나 접속될 수 있다. 예를 들어, WTRU들(102a, 102b, 102c)은 하나 이상의 gNB(180a, 180b, 180c) 및 하나 이상의 eNode-B들(160a, 160b, 160c)과 실질적으로 동시에 통신하기 위해 DC 원리들을 구현할 수 있다. 비독립형 구성에서, eNode-B들(160a, 160b, 160c)은 WTRU들(102a, 102b, 102c)을 위한 이동성 앵커로서 기능할 수 있고, gNB들(180a, 180b, 180c)은 WTRU들(102a, 102b, 102c)을 서비스하기 위한 추가적인 커버리지 및/또는 처리량을 제공할 수 있다.
gNB들(180a, 180b, 180c) 각각은 특정 셀(도시되지 않음)과 연관될 수 있고, 무선 자원 관리 결정들, 핸드오버 결정들, UL 및/또는 DL에서의 사용자들의 스케줄링, 네트워크 슬라이싱의 지원, 이중 접속, NR과 E-UTRA 사이에서의 연동(interwork), 사용자 평면 기능(UPF)(184a, 184b)을 향한 사용자 평면 데이터의 라우팅, 액세스 및 이동성 관리 기능(AMF)(182a, 182b)를 향한 제어 평면 정보의 라우팅 등을 처리하도록 구성될 수 있다. 도 1d에 도시된 바와 같이, gNB들(180a, 180b, 180c)은 Xn 인터페이스를 통해 서로 통신할 수 있다.
도 1d에 도시된 CN(115)는 적어도 하나의 AMF(182a, 182b), 적어도 하나의 UPF(184a, 184b), 적어도 하나의 세션 관리 기능(SMF)(183a, 183b), 및 가능하게는 데이터 네트워크(DN)(185a, 185b)를 포함할 수 있다. 전술한 요소들 각각은 CN(115)의 일부로서 도시되어 있지만, 이 요소들 중 임의의 것은 CN 운영자 이외의 엔티티에 의해 소유 및/또는 운영될 수 있다는 것이 이해될 것이다.
AMF(182a, 182b)는 N2 인터페이스를 통해 RAN(113)에서의 gNB들(180a, 180b, 180c) 중 하나 이상과 접속될 수 있고, 제어 노드로서 기능할 수 있다. 예를 들어, AMF(182a, 182b)는 WTRU들(102a, 102b, 102c)의 사용자 인증, 네트워크 슬라이싱(예를 들어, 상이한 요구사항을 갖는 상이한 PDU 세션들의 처리)의 지원, 특정 SMF(183a, 183b)의 선택, 등록 영역의 관리, NAS 시그널링의 종료, 이동성 관리 등을 담당할 수 있다. 네트워크 슬라이싱은 WTRU들(102a, 102b, 102c)이 이용하는 서비스들의 타입들에 기초하여 WTRU들(102a, 102b, 102c)에 대한 CN 지원을 커스터마이징하기 위해 AMF(182a, 182b)에 의해 이용될 수 있다. 예를 들어, 상이한 네트워크 슬라이스들은 초고신뢰 저지연(ultra-reliable low latency)(URLLC) 액세스에 의존하는 서비스들, 향상된 대규모 모바일 광대역(enhanced massive mobile broadband)(eMBB) 액세스에 의존하는 서비스들, 머신 타입 통신(MTC) 액세스에 대한 서비스들 등과 같은 상이한 이용 사례들에 대해 확립될 수 있다. AMF(162)는 LTE, LTE-A, LTE-A Pro, 및/또는 WiFi와 같은 비 3GPP 액세스 기술들과 같은, 다른 라디오 기술들을 이용하는 다른 RAN들(도시되지 않음)과 RAN(113) 사이에서 스위칭하기 위한 제어 평면 기능을 제공할 수 있다.
SMF(183a, 183b)는 N11 인터페이스를 통해 CN(115)에서의 AMF(182a, 182b)에 접속될 수 있다. 또한, SMF(183a, 183b)는 N4 인터페이스를 통해 CN(115)에서의 UPF(184a, 184b)에 접속될 수 있다. SMF(183a, 183b)는 UPF(184a, 184b)를 선택 및 제어할 수 있고, UPF(184a, 184b)를 통해 트래픽의 라우팅을 구성할 수 있다. SMF(183a, 183b)는 UE IP 어드레스를 관리 및 할당하는 것, PDU 세션들을 관리하는 것, 정책 시행 및 QoS를 제어하는 것, 다운링크 데이터 통지들을 제공하는 것 등과 같은 다른 기능들을 수행할 수 있다. PDU 세션 타입은 IP 기반, 비 IP 기반, 이더넷 기반 등일 수 있다.
UPF(184a, 184b)는 WTRU들(102a, 102b, 102c)과 IP 가능 디바이스들 사이의 통신을 용이하게 하기 위해 인터넷(110)과 같은 패킷 교환 네트워크들에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있는 N3 인터페이스를 통해 RAN(113)에서의 gNB들(180a, 180b, 180c) 중 하나 이상과 접속될 수 있다. UPF(184, 184b)는 패킷들을 라우팅 및 포워딩하는 것, 사용자 평면 정책들을 시행하는 것, 멀티-홈(multi-homed) PDU 세션들을 지원하는 것, 사용자 평면 QoS를 처리하는 것, 다운링크 패킷들을 버퍼링하는 것, 이동성 앵커링을 제공하는 것 등과 같은 다른 기능들을 수행할 수 있다.
CN(115)은 다른 네트워크들과의 통신을 용이하게 할 수 있다. 예를 들어, CN(115)은 CN(115)과 PSTN(108) 사이의 인터페이스로서 기능하는 IP 게이트웨이(예를 들어, IP 멀티미디어 서브시스템(IMS) 서버)를 포함하거나 이와 통신할 수 있다. 또한, CN(115)은 다른 서비스 제공자들에 의해 소유 및/또는 운영되는 다른 유선 및/또는 무선 네트워크들을 포함할 수 있는 다른 네트워크들(112)에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있다. 일 실시예에서, WTRU들(102a, 102b, 102c)은 UPF(184a, 184b)에 대한 N3 인터페이스 및 UPF(184a, 184b)와 DN(185a, 185b) 사이의 N6 인터페이스를 통하여, UPF(184a, 184b)를 통해 로컬 데이터 네트워크(DN)(185a, 185b)에 접속될 수 있다.
도 1a 내지 도 1d 및 도 1a 내지 도 1d의 대응하는 설명에 비추어, WTRU(102a-d), 기지국(114a-b), eNode-B(160a-c), MME(162), SGW(164), PGW(166), gNB(180a-c), AMF(182a-b), UPF(184a-b), SMF(183a-b), DN(185a-b), 및/또는 본 명세서에 설명된 임의의 다른 디바이스(들) 중 하나 이상에 관하여 본 명세서에서 설명된 기능들 중 하나 이상 또는 전부는 하나 이상의 에뮬레이션 디바이스(도시되지 않음)에 의해 수행될 수 있다. 에뮬레이션 디바이스들은 본 명세서에서 설명된 기능들 중 하나 이상, 또는 전부를 에뮬레이션하도록 구성된 하나 이상의 디바이스일 수 있다. 예를 들어, 에뮬레이션 디바이스들은 다른 디바이스들을 테스트하고/하거나 네트워크 및/또는 WTRU 기능들을 시뮬레이션하는데 이용될 수 있다.
에뮬레이션 디바이스들은 실험실 환경 및/또는 운영자 네트워크 환경에서 다른 디바이스들의 하나 이상의 테스트를 구현하도록 설계될 수 있다. 예를 들어, 하나 이상의 에뮬레이션 디바이스는 통신 네트워크 내의 다른 디바이스들을 테스트하기 위해 유선 및/또는 무선 통신 네트워크의 부분으로서 완전히 및/또는 부분적으로 구현 및/또는 배치되면서, 기능들 중 하나 이상 또는 전부를 수행할 수 있다. 하나 이상의 에뮬레이션 디바이스는 유선 및/또는 무선 통신 네트워크의 일부로서 일시적으로 구현/배치되면서, 기능들 중 하나 이상 또는 전부를 수행할 수 있다. 에뮬레이션 디바이스는 테스트의 목적을 위해 다른 디바이스에 직접 결합될 수 있고/있거나 오버-디-에어(over-the-air) 무선 통신을 이용하여 테스트를 수행할 수 있다.
하나 이상의 에뮬레이션 디바이스는 유선 및/또는 무선 통신 네트워크의 일부로서 구현/배치되지 않으면서, 모든 기능들을 포함하여, 하나 이상의 기능을 수행할 수 있다. 예를 들어, 에뮬레이션 디바이스들은 하나 이상의 컴포넌트의 테스트를 구현하기 위해 테스트 실험실 및/또는 비배치된(예를 들어, 테스트) 유선 및/또는 무선 통신 네트워크에서의 테스트 시나리오에서 이용될 수 있다. 하나 이상의 에뮬레이션 디바이스는 테스트 장비일 수 있다. RF 회로(예를 들어, 하나 이상의 안테나를 포함할 수 있음)를 통한 직접 RF 결합 및/또는 무선 통신은 데이터를 송신 및/또는 수신하기 위해 에뮬레이션 디바이스들에 의해 이용될 수 있다.
비디오 코딩 시스템들은 디지털 비디오 신호들을 압축하는데 이용될 수 있으며, 이는 비디오 신호들의 저장 요구들 및/또는 송신 대역폭을 감소시킬 수 있다. 비디오 코딩 시스템들은 블록 기반, 웨이브릿 기반 및/또는 객체 기반 시스템들을 포함할 수 있다. 블록 기반 비디오 코딩 시스템들은 MPEG-1/2/4 파트 2, H.264/MPEG-4 파트 10 AVC, VC-1, HEVC(High Efficiency Video Coding) 및/또는 VVC(Versatile Video Coding)을 포함할 수 있다.
블록 기반 비디오 코딩 시스템들은 블록 기반 하이브리드 비디오 코딩 프레임워크를 포함할 수 있다. 도 2는 인코더에 대한 예시적인 블록 기반 하이브리드 비디오 인코딩 프레임워크의 도면이다. 인코더는 WTRU를 포함할 수 있다. 입력 비디오 신호(202)는 블록별로 처리될 수 있다. 블록 크기들(예를 들어, 코딩 유닛(coding unit)(CU)과 같은 확장된 블록 크기들)은 고해상도(예를 들어, 1080p 이상) 비디오 신호들을 압축할 수 있다. 예를 들어, CU는 64x64 픽셀들 이상을 포함할 수 있다. CU는 예측 유닛(prediction unit)(PU)들로 분할될 수 있고/있거나 개별 예측들이 이용될 수 있다. 입력 비디오 블록(예를 들어, 매크로블록(macroblock)(MB) 및/또는 CU)에 대해, 공간 예측(260) 및/또는 시간 예측(262)이 수행될 수 있다. 공간 예측(260)(예를 들어, 인트라 예측(intra prediction))은 현재 비디오 블록을 예측하기 위해 비디오 픽처/슬라이스에서의 코딩된 이웃 블록들의 샘플들(예를 들어, 참조 샘플들)로부터의 픽셀들을 이용할 수 있다. 공간 예측(260)은, 예를 들어, 비디오 신호에 내재할 수 있는 공간 중복성을 감소시킬 수 있다. 모션 예측(262)(예를 들어, 인터 예측(inter prediction) 및/또는 시간 예측)은, 예를 들어, 현재 비디오 블록을 예측하기 위해, 코딩된 비디오 픽처들로부터의 재구성된 픽셀들을 이용할 수 있다. 모션 예측(262)은, 예를 들어, 비디오 신호에 내재할 수 있는 시간 중복성을 감소시킬 수 있다. 비디오 블록에 대한 모션 예측 신호들은 하나 이상의 모션 벡터에 의해 시그널링될 수 있고/있거나 현재 블록 및/또는 현재 블록의 참조 블록 사이의 모션의 양 및/또는 방향을 표시할 수 있다. 다수의 참조 픽처들이 (예를 들어, 각각의) 비디오 블록에 대해 지원되는 경우, 비디오 블록의 참조 픽처 인덱스가 전송될 수 있다. 참조 픽처 인덱스는 참조 픽처 저장소(reference picture store)(264)에서의 어느 참조 픽처로부터 모션 예측 신호가 도출될 수 있는지를 식별하는데 이용될 수 있다.
공간 예측(260) 및/또는 모션 예측(262) 후에, 인코더에서의 모드 결정 블록(280)은, 예를 들어, 레이트-왜곡 최적화(rate-distortion optimization)에 기초하여, 예측 모드(예를 들어, 최상의 예측 모드)를 결정할 수 있다. 예측 블록은 현재 비디오 블록(216)으로부터 감산될 수 있고/있거나 예측 잔차(prediction residual)는 변환(204) 및/또는 양자화(206)를 이용하여 역상관(de-correlated)되어, 타겟 비트 레이트와 같은 비트 레이트를 달성할 수 있다. 양자화된 잔차 계수들은, 예를 들어, 재구성된 잔차를 형성하기 위해 양자화(210)에서 역 양자화되고/되거나 변환(212)에서 역 변환될 수 있으며, 재구성된 잔차는, 예를 들어, 재구성된 비디오 블록을 형성하기 위해 예측 블록(226)에 가산될 수 있다. 인-루프 필터링(in-loop filtering)(예를 들어, 디블로킹 필터(de-blocking filter) 및/또는 적응형 루프 필터들(adaptive loop filters))은, 재구성된 비디오 블록이 참조 픽처 저장소(264)에 놓이고 및/또는 비디오 블록들(예를 들어, 미래의 비디오 블록들)을 코딩하는데 이용될 수 있기 전에, 루프 필터(266)에서 재구성된 비디오 블록에 대해 적용될 수 있다. 출력 비디오 비트스트림(220)을 형성하기 위해, 코딩 모드(예를 들어, 인터 또는 인트라), 예측 모드 정보, 모션 정보, 및/또는 양자화된 잔차 계수들이 엔트로피 코딩 모듈(entropy coding module)(208)에 전송(예를 들어, 모두 전송될 수 있음)되고, 예를 들어, 압축 및/또는 패킹되어 비트스트림을 형성할 수 있다.
도 3은 디코더에 대한 예시적인 블록 기반 비디오 디코딩 프레임워크의 도면이다. 디코더는 WTRU를 포함할 수 있다. 비디오 비트스트림(302)(예를 들어, 도 2의 비디오 비트스트림(220))은 엔트로피 디코딩 모듈(308)에서 언패킹(예를 들어, 먼저 언패킹) 및/또는 엔트로피 디코딩될 수 있다. 코딩 모드 및 예측 정보는 공간 예측 모듈(360)(예를 들어, 인트라 코딩되는 경우) 및/또는 모션 보상 예측 모듈(362)(예를 들어, 인터 코딩 및/또는 시간 코딩되는 경우)에 전송되어 예측 블록을 형성할 수 있다. 잔차 변환 계수들은, 예를 들어, 잔차 블록을 재구성하기 위해, 역 양자화 모듈(310) 및/또는 역 변환 모듈(312)에 전송될 수 있다. 예측 블록 및/또는 잔차 블록은 326에서 함께 가산될 수 있다. 재구성된 블록은, 예를 들어, 재구성된 블록이 참조 픽처 저장소(364)에 저장되기 전에, 루프 필터(366)에서 인-루프 필터링을 거칠 수 있다. 참조 픽처 저장소(364)에서의 재구성된 비디오(320)는 디스플레이 디바이스에 전송되고/되거나 비디오 블록들(예를 들어, 미래의 비디오 블록들)을 예측하는데 이용될 수 있다.
비디오 코덱들(video codecs)에서 양방향 모션 보상 예측(MCP)의 이용은 픽처들 간의 시간 상관들을 이용함으로써 시간 중복성들을 제거할 수 있다. 양방향 예측 신호는 가중치 값(예를 들어, 0.5)을 이용하여 2개의 단방향 예측(uni-prediction) 신호를 결합함으로써 형성될 수 있다. 특정 비디오들에서, 조도 특성들(illuminance characteristics)은 하나의 참조 픽처로부터 다른 참조 픽처로 신속하게 변할 수 있다. 따라서, 예측 기술들은, 전역적 또는 국지적 가중치들 및 오프셋 값들을 참조 픽처들에서의 하나 이상의 샘플 값에 적용함으로써 시간에 따른 조도의 변동들(예를 들어, 페이딩 천이들(fading transitions))을 보상할 수 있다.
양방향 예측 모드에서의 MCP는 CU 가중치들을 이용하여 수행될 수 있다. 예로서, MCP는 CU 가중치들을 갖는 양방향 예측을 이용하여 수행될 수 있다. CU 가중치들을 갖는 양방향 예측(bi-prediction with CU weights)(BCW)의 예는 일반화된 양방향 예측(generalized bi-prediction)(GBi)을 포함할 수 있다. 양방향 예측 신호는 가중치(들), 참조 픽처 리스트(들)와 연관된 모션 벡터에 대응하는 모션 보상 예측 신호(들) 등 중 하나 이상에 기초하여 계산될 수 있다. 예에서, 양방향 예측 모드에서 샘플 x(주어진 바와 같음)에서의 예측 신호는 수학식 1을 이용하여 계산될 수 있다.
P[x]는 픽처 위치 x에 위치한 샘플 x의 결과 예측 신호를 나타낼 수 있다. Pi[x+vi]는 i번째 리스트(예를 들어, 리스트 0, 리스트 1 등)에 대한 모션 벡터(MV) vi를 이용한 x의 모션 보상 예측 신호를 나타낼 수 있다. w0 및 w1은 블록 및/또는 CU에 대한 예측 신호(들)에 적용되는 2개의 가중치 값들 나타낼 수 있다. 예로서, w0 및 w1은 블록 및/또는 CU에서의 샘플들에 걸쳐 공유되는 2개의 가중치 값들을 나타낼 수 있다. 가중치 값(들)을 조정함으로써 다양한 예측 신호들이 획득될 수 있다. 수학식 1에 나타낸 바와 같이, 가중치 값들 w0 및 w1을 조정함으로써 다양한 예측 신호들이 획득될 수 있다.
가중치 값들 w0 및 w1의 일부 구성들은 단방향 예측 및/또는 양방향 예측과 같은 예측을 나타낼 수 있다. 예를 들어, (w0, w1)=(1, 0)은 참조 리스트 L0을 갖는 단방향 예측과 관련하여 이용될 수 있다. (w0, w1)=(0, 1)은 참조 리스트 L1을 갖는 단방향 예측과 관련하여 이용될 수 있다. (w0, w1)=(0.5, 0.5)은 2개의 참조 리스트들(예를 들어, L1 및 L2)를 갖는 양방향 예측과 관련하여 이용될 수 있다.
가중치(들)는 CU 레벨에서 시그널링될 수 있다. 예에서, 가중치 값들 w0 및 w1은 CU마다 시그널링될 수 있다. 양방향 예측은 CU 가중치들로 수행될 수 있다. 가중치들에 대한 제약은 한 쌍의 가중치들에 적용될 수 있다. 제약은 미리 구성될 수 있다. 예를 들어, 가중치들에 대한 제약은 w0+w1=1을 포함할 수 있다. 가중치는 시그널링될 수 있다. 시그널링된 가중치는 다른 가중치를 결정하는데 이용될 수 있다. 예를 들어, CU 가중치들에 대한 제약으로, 하나의 가중치만이 시그널링될 수 있다. 시그널링 오버헤드가 감소될 수 있다. 가중치들의 쌍들의 예들은 {(4/8, 4/8), (3/8, 5/8), (5/8, 3/8), (-2/8, 10/8), (10/8,-2/8)}을 포함할 수 있다.
가중치는, 예를 들어, 동일하지 않은 가중치들이 이용될 때, 가중치들에 대한 제약에 기초하여 도출될 수 있다. 코딩 디바이스는 가중치 표시를 수신하고, 가중치 표시에 기초하여 제1 가중치를 결정할 수 있다. 코딩 디바이스는 결정된 제1 가중치 및 가중치들에 대한 제약에 기초하여 제2 가중치를 도출할 수 있다.
수학식 2가 이용될 수 있다. 예에서, 수학식 2는 수학식 1 및 w0+w1=1의 제약에 기초하여 생성될 수 있다.
가중치 값들(예를 들어, w1 및/또는 w0)은 이산화(discretized)될 수 있다. 가중치 시그널링 오버헤드가 감소될 수 있다. 예에서, 양방향 예측 CU 가중치 값 w1은 이산화될 수 있다. 이산화된 가중치 w1은, 예를 들어, -2/8, 2/8, 3/8, 4/8, 5/8, 6/8, 10/8 등 중 하나 이상을 포함할 수 있다. 가중치 표시는, 예를 들어, 양방향 예측을 위해 CU에 이용될 가중치들을 표시하는데 이용될 수 있다. 가중치 표시의 예는 가중치 인덱스를 포함할 수 있다. 예에서, 각각의 가중치 값은 인덱스 값에 의해 표시될 수 있다.
도 4는 BCW(예를 들어, GBi)의 지원을 갖는 예시적인 비디오 인코더의 도면이다. 도 4에 도시된 예에서 설명된 인코딩 디바이스는 WTRU일 수 있거나 이를 포함할 수 있다. 인코더는 모드 결정 모듈(404), 공간 예측 모듈(406), 모션 예측 모듈(408), 변환 모듈(410), 양자화 모듈(412), 역 양자화 모듈(416), 역 변환 모듈(418), 루프 필터(420), 참조 픽처 저장소(422) 및 엔트로피 코딩 모듈(414)을 포함할 수 있다. 예들에서, 인코더의 모듈들 또는 컴포넌트들의 일부 또는 전부(예를 들어, 공간 예측 모듈(406))는 도 2와 관련하여 설명된 것들과 동일하거나 유사할 수 있다. 또한, 공간 예측 모듈(406) 및 모션 예측 모듈(408)은 픽셀 도메인 예측 모듈들(pixel-domain prediction modules)일 수 있다. 따라서, 입력 비디오 비트스트림(402)은 입력 비디오 비트스트림(202)과 유사한 방식으로 처리되어 비디오 비트스트림(424)을 출력할 수 있다. 모션 예측 모듈(408)은 CU 가중치들을 갖는 양방향 예측의 지원을 더 포함할 수 있다. 그에 따라, 모션 예측 모듈(408)은 2개의 별개의 예측 신호들을 가중 평균 방식(weighted-averaging manner)으로 결합할 수 있다. 또한, 선택된 가중 인덱스는 입력 비디오 비트스트림(402)에서 시그널링될 수 있다.
도 5는 인코더에 대한 CU 가중치들을 갖는 양방향 예측에 대한 지원을 갖는 예시적인 모듈의 도면이다. 도 5는 추정 모듈(estimation module)(500)의 블록도를 도시한다. 추정 모듈(500)은 모션 예측 모듈(408)과 같은 인코더의 모션 예측 모듈에 이용될 수 있다. 추정 모듈(500)은 BCW(예를 들어, GBi)와 관련하여 이용될 수 있다. 추정 모듈(500)은 가중치 값 추정 모듈(502) 및 모션 추정 모듈(504)을 포함할 수 있다. 추정 모듈(500)은 최종 인터 예측 신호와 같은 인터 예측 신호를 생성하기 위해 2-단계 프로세스를 이용할 수 있다. 모션 추정 모듈(504)은 참조 픽처 저장소(506)로부터 수신된 참조 픽처(들)를 이용하여, 그리고 (예를 들어, 2개의) 참조 블록들을 지시하는 2개의 최적 모션 벡터(MV)들을 탐색함으로써 모션 추정을 수행할 수 있다. 가중치 값 추정 모듈(502)은 현재 비디오 블록과 양방향 예측 사이의 가중 양방향 예측 에러(weighted bi-prediction error)를 최소화하기 위해 최적 가중 인덱스를 탐색할 수 있다. 일반화된 양방향 예측의 예측 신호는 2개의 예측 블록들의 가중 평균으로서 계산될 수 있다.
도 6은 CU 가중치들을 갖는 양방향 예측에 대한 지원을 갖는 예시적인 블록 기반 비디오 디코더의 도면이다. 도 6은 인코더로부터의 비트스트림을 디코딩할 수 있는 예시적인 비디오 디코더의 블록도를 도시한다. 인코더는 BCW를 지원하고/하거나 도 4와 관련하여 설명된 인코더와 일부 유사성들을 공유할 수 있다. 도 6에 도시된 예에서 설명된 디코더는 WTRU를 포함할 수 있다. 도 6에 도시된 바와 같이, 디코더는 엔트로피 디코더(604), 공간 예측 모듈(606), 모션 예측 모듈(608), 참조 픽처 저장소(610), 역 양자화 모듈(612), 역 변환 모듈(614) 및 루프 필터 모듈(618)을 포함할 수 있다. 디코더의 모듈들 중 일부 또는 전부는 도 3과 관련하여 설명된 것들과 동일하거나 유사할 수 있다. 예를 들어, 예측 블록 및/또는 잔차 블록은 616에서 함께 가산될 수 있다. 비디오 비트스트림(602)은, 디스플레이 디바이스에 전송될 수 있고/있거나 비디오 블록들(예를 들어, 미래의 비디오 블록들)을 예측하는데 이용될 수 있는 재구성된 비디오(620)를 생성하도록 처리될 수 있다. 모션 예측 모듈(608)은 BCW에 대한 지원을 더 포함할 수 있다. 코딩 모드 및/또는 예측 정보는 BCW에 대한 지원을 갖는 MCP 또는 공간 예측을 이용하여 예측 신호를 도출하는데 이용될 수 있다. BCW의 경우, 블록 모션 정보 및/또는 가중치 값(예를 들어, 가중치 값을 나타내는 인덱스 형태임)이 수신 및 디코딩되어 예측 블록을 생성할 수 있다.
도 7은 디코더에 대한 CU 가중치들을 갖는 양방향 예측에 대한 지원을 갖는 예시적인 모듈의 도면이다. 도 7은 예측 모듈(700)의 블록도를 도시한다. 예측 모듈(700)은 모션 예측 모듈(608)과 같은 디코더의 모션 예측 모듈에 이용될 수 있다. 예측 모듈(700)은 BCW와 관련하여 이용될 수 있다. 예측 모듈(700)은 참조 픽처 저장소(706)로부터 하나 이상의 참조 픽처를 수신할 수 있는 가중 평균화 모듈(702) 및 모션 보상 모듈(704)을 포함할 수 있다. 예측 모듈(700)은 블록 모션 정보 및 가중치 값을 이용하여 BCW의 예측 신호를 (예를 들어, 2개의) 모션 보상 예측 블록들의 가중 평균으로서 계산할 수 있다.
비디오 코딩에서의 양방향 예측은 다수의 (예를 들어, 2개의) 시간 예측 블록들의 결합에 기초할 수 있다. 예들에서, CU 및 블록은 상호교환가능하게 이용될 수 있다. 시간 예측 블록들은 결합될 수 있다. 예에서, 재구성되는 참조 픽처들로부터 획득되는 2개의 시간 예측 블록들은 평균화를 이용하여 결합될 수 있다. 양방향 예측은 블록 기반 모션 보상에 기초할 수 있다. 양방향 예측에서 (예를 들어, 2개의) 예측 블록들 사이에서 비교적 작은 모션이 관찰될 수 있다.
양방향 광학 흐름(BDOF)은, 예를 들어, 예측 블록들 사이에서 관찰되는 비교적 작은 모션을 보상하기 위해 이용될 수 있다. BDOF는 블록 내부의 샘플에 대한 그러한 모션을 보상하기 위해 적용될 수 있다. 예에서, BDOF는 블록 내의 개별 샘플들에 대한 그러한 모션을 보상할 수 있다. 이것은 모션 보상 예측의 효율을 증가시킬 수 있다.
BDOF는 블록과 연관된 모션 벡터(들)를 정제하는 것을 포함할 수 있다. 예들에서, BDOF는 양방향 예측이 이용될 때 블록 기반 모션 보상 예측들에 대해 수행되는 샘플-방식 모션 정제(sample-wise motion refinement)를 포함할 수 있다. BDOF는 샘플에 대한 정제된 모션 벡터(들)를 도출하는 것을 포함할 수 있다. BDOF의 예로서, 블록에서의 개별 샘플들에 대한 정제된 모션 벡터의 도출은 광학 흐름 모델에 기초할 수 있다.
BDOF는 다음 중 하나 이상에 기초하여 블록과 연관된 서브-블록의 모션 벡터를 정제하는 것을 포함할 수 있다: 블록에서의 위치; 블록에서의 위치와 연관된 그래디언트들(예를 들어, 수평, 수직 등); 위치에 대한 대응하는 참조 픽처 리스트와 연관된 샘플 값들 등. 수학식 3은 샘플에 대한 정제된 모션 벡터를 도출하기 위해 이용될 수 있다. 수학식 3에 나타낸 바와 같이, I(k)(x, y)는 참조 픽처 리스트 k(k= 0, 1)로부터 도출된 예측 블록의 좌표 (x, y)에서의 샘플 값을 나타낼 수 있다. 
및 
는 샘플의 수평 및 수직 그래디언트들일 수 있다. (x, y)에서의 모션 정제 (vx, vy)는 수학식 3을 이용하여 도출될 수 있다. 수학식 3은 광학 흐름 모델이 유효하다는 가정에 기초할 수 있다.
도 8은 예시적인 양방향 광학 흐름을 도시한다. 도 8에서, 
및 
은 블록 레벨 모션 벡터들을 나타낼 수 있다. 블록 레벨 모션 벡터들은 예측 블록들 I(0) 및 I(1)을 생성하기 위해 이용될 수 있다. 샘플 위치 (x, y)에서의 모션 정제 파라미터들 (vx, vy)는, 예를 들어, 모션 정제 후의 샘플(들)의 모션 벡터 값들(예를 들어, 도 8에서 현재 픽처와 역방향 참조 픽처 A 사이의 모션 벡터 및 현재 픽처와 순방향 참조 픽처 B 사이의 모션 벡터) 사이의 차이 Δ를 최소화함으로써 계산될 수 있다. 모션 정제 이후의 샘플들의 모션 벡터 값들 사이의 차이 Δ는, 예를 들어, 수학식 4를 이용하여 계산될 수 있다.
모션 정제가 샘플들에 대해, 예를 들어, 하나의 유닛(예컨대, 4x4 블록) 내에서 일관성이 있다고 가정될 수 있다. 그러한 가정은 도출된 모션 정제의 규칙성을 지원할 수 있다. 
의 값은, 예를 들어, 수학식 5에 나타낸 바와 같이, 각각의 4x4 블록 주위의 6x6 윈도우 Ω 내부의 Δ를 최소화함으로써 도출될 수 있다.
예들에서, BDOF는, 예를 들어, 수학식 5와 관련하여 이용될, 수평 방향(예컨대, 제1) 및 수직 방향(예컨대, 제2)에서의 모션 정제를 최적화할 수 있는 프로그레시브 기법(progressive technique)을 포함할 수 있다. 이는 수학식 6을 초래할 수 있다.
여기서 
는 입력보다 작거나 동일한 최대 값을 출력하는 플로어 함수(floor function)일 수 있다. 
는, 예를 들어, 코딩 잡음 및 불규칙한 로컬 모션으로 인한 에러 전파를 방지하는 모션 정제 값(예를 들어, 임계값)일 수 있다. 예로서, 모션 정제 값은 
일 수 있다. S1, S2, S3, S5 및 S6의 값들은, 예를 들어, 수학식 7 및 수학식 8에 나타낸 바와 같이 계산될 수 있다.
여기서,
수평 및 수직 방향들에서의 수학식 8에서의 BDOF 그래디언트들은 L0/L1 예측 블록의 샘플 위치에서의 다수의 이웃 샘플들 사이의 차이를 계산함으로써 획득될 수 있다. 예에서, 차이는, 예를 들어, 수학식 9를 이용하여, 각각의 L0/L1 예측 블록의 하나의 샘플 위치에서 도출되는 그래디언트의 방향에 따라 수평으로 또는 수직으로 2개의 이웃 샘플들 사이에서 계산될 수 있다.
수학식 7에서, L은, 예를 들어, 데이터 정밀도를 유지하기 위한 내부 BDOF에 대한 비트-깊이 증가(bit-depth increase)일 수 있다. L은 5로 설정될 수 있다. 수학식 6에서의 조절 파라미터들(regulation parameters) r 및 m은 (예를 들어, 더 작은 값에 의한 나눗셈을 피하기 위해) 수학식 10에 나타낸 바와 같이 정의될 수 있다.
BD는 입력 비디오의 비트 깊이일 수 있다. 현재 CU의 양방향 예측 신호(예를 들어, 최종 양방향 예측 신호)는, 예를 들어, 수학식 6에 의해 도출된 모션 정제 및 광학 흐름 수학식 3에 기초하여, 모션 궤적(motion trajectory)을 따라 L0/L1 예측 샘플들을 보간함으로써 계산될 수 있다. 현재 CU의 양방향 예측 신호는 수학식 11을 이용하여 계산될 수 있다.
shift 및 ooffset은 각각 
및 
과 동일하게 설정될 수 있는 양방향 예측을 위한 L0 및 L1 예측 신호들을 결합하기 위해 적용되는 오프셋 및 우측 시프트일 수 있고; 
는 입력 값을 가장 가까운 정수 값으로 반올림하는 반올림 함수(rounding function)일 수 있다.
줌 인/아웃(zoom in/out), 회전, 원근 모션(perspective motion)들 및 기타 불규칙한 모션들과 같은 다양한 타입들의 모션들이 특정 비디오 내에 존재할 수 있다. 병진(translational) 모션 모델 및/또는 아핀 모션 모델이 MCP에 적용될 수 있다. 아핀 모션 모델은 4-파라미터 및/또는 6-파라미터일 수 있다. (예를 들어, 각각의) 인터 코딩된 CU에 대한 제1 플래그는 병진 모션 모델 또는 아핀 모션 모델이 인터 예측을 위해 적용되는지를 표시하기 위해 시그널링될 수 있다. 아핀 모션 모델이 적용되는 경우, 모델이 4-파라미터 또는 6-파라미터인지를 표시하기 위해 제2 플래그가 전송될 수 있다.
4-파라미터 아핀 모션 모델은 수평 및 수직 방향들에서의 병진 이동에 대한 2개의 파라미터들, 즉, 수평 및 수직 방향들에서의 줌 모션에 대한 하나의 파라미터 및/또는 수평 및 수직 방향들에서의 회전 모션에 대한 하나의 파라미터를 포함할 수 있다. 수평 줌 파라미터는 수직 줌 파라미터와 동일할 수 있다. 수평 회전 파라미터는 수직 회전 파라미터와 동일할 수 있다. 4-파라미터 아핀 모션 모델은 (예를 들어, 현재) CU의 최상부-좌측 및 상부-우측 코너들에 정의된 2개의 제어 포인트 위치들에서 2개의 모션 벡터들을 이용하여 코딩될 수 있다.
도 9는 예시적인 4-파라미터 아핀 모드를 도시한다. 도 9는 블록의 예시적인 아핀 모션 필드를 도시한다. 도 9에 도시된 바와 같이, 블록은 2개의 제어 포인트 모션 벡터들 (V0, V1)에 의해 기술될 수 있다. 제어 포인트 모션에 기초하여, 하나의 아핀 코딩된 블록의 모션 필드 (vx, vy)가 수학식 12에 기술될 수 있다.
수학식 12에서, (v0x, v0y)는 최상부 좌측 코너 제어 포인트의 모션 벡터일 수 있다. (v1x, v1y)는 최상부 우측 코너 제어 포인트의 모션 벡터일 수 있다. w는 CU의 폭일 수 있다. 아핀 코딩된 CU의 모션 필드는 4x4 블록 레벨에서 도출될 수 있다. 예를 들어, (vx, vy)는 현재 CU 내의 4x4 블록들 각각에 대해 도출되고, 대응하는 4x4 블록에 적용될 수 있다.
4개의 파라미터들은 반복적으로 추정될 수 있다. 단계 k에서의 모션 벡터 쌍들은 
로서 표시될 수 있고, 원래의 휘도 신호(luminance signal)는 I(i, j)로서 표시될 수 있고, 예측 휘도 신호는 I'k(i, j)로서 표시될 수 있다. 공간 그래디언트 
및 
는 각각 수평 및 수직 방향들에서 예측 신호 I'k(i, j)에 적용된 소벨 필터(Sobel filter)를 이용하여 도출될 수 있다. 수학식 1의 미분은 수학식 13으로서 표현될 수 있다.
수학식 13에서, (a, b)는 델타 병진 파라미터들(delta translational parameters)일 수 있고, (c, d)는 단계 k에서의 델타 줌 및 회전 파라미터들일 수 있다. 제어 포인트들에서의 델타 MV는 수학식 14 및 수학식 15와 같은 그의 좌표들로 도출될 수 있다. 예를 들어, (0, 0), (w, 0)은 각각 최상부 좌측 및 최상부 우측 제어 포인트들에 대한 좌표들일 수 있다.
광학 흐름 수학식에 기초하여, 휘도의 변화와 공간 그래디언트 및 시간 이동 사이의 관계는 수학식 16으로서 공식화될 수 있다.
CU에서의 샘플들이 수학식 17을 만족하면, 파라미터 세트 (a, b, c, d)는, 예를 들어, 최소 제곱 계산을 이용하여 도출될 수 있다. 단계 (k+1)에서의 2개의 제어 포인트들에서의 모션 벡터들 
은 수학식 14 및 수학식 15로 도출될 수 있고, 이들은 특정 정밀도 (예를 들어, 1/4 pel)로 반올림될 수 있다. 반복을 이용하여, 2개의 제어 포인트들에서의 모션 벡터들은 파라미터들 (a, b, c, d)이 0일 수 있거나 반복 시간들이 미리 정의된 한계를 충족시킬 때, 그것이 수렴할 때까지 정제될 수 있다.
6-파라미터 아핀 모션 모델은 수평 및 수직 방향들에서의 병진 이동에 대한 2개의 파라미터들, 줌 모션에 대한 하나의 파라미터, 수평 방향에서의 회전 모션에 대한 하나의 파라미터, 줌 모션에 대한 하나의 파라미터 및/또는 수직 방향에서의 회전 모션에 대한 하나의 파라미터를 포함할 수 있다. 6-파라미터 아핀 모션 모델은 3개의 제어 포인트들에서 3개의 모션 벡터들로 코딩될 수 있다. 도 10은 예시적인 6-파라미터 아핀 모드를 도시한다. 도 10에 도시된 바와 같이, 6-파라미터 아핀 코딩된 CU에 대한 3개의 제어 포인트들은 CU의 최상부 좌측, 최상부 우측 및/또는 최하부 좌측 코너들에서 정의될 수 있다. 최상부 좌측 제어 포인트에서의 모션은 병진 모션에 관련될 수 있다. 최상부 우측 제어 포인트에서의 모션은 수평 방향에서의 회전 및 줌 모션들에 관련될 수 있다. 최하부 좌측 제어 포인트에서의 모션은 수직 방향에서의 회전 및 줌 모션들에 관련될 수 있다. 6-파라미터 아핀 모션 모델에서, 수평 방향에서의 회전 및 줌 모션들은 수직 방향에서의 그 모션들과 동일하지 않을 수 있다. 예에서, 각각의 서브-블록의 모션 벡터 (vx, vy)는 제어 포인트들로서 3개의 모션 벡터들을 이용하여 수학식 18 및 수학식 19로부터 도출될 수 있다:
수학식 18 및 수학식 19에서, (v2x, v2y)는 최하부 좌측 제어 포인트의 모션 벡터일 수 있다. (x, y)는 서브-블록의 중심 위치일 수 있다. w 및 h는 CU의 폭 및 높이일 수 있다.
6-파라미터 아핀 모델의 6개의 파라미터는, 예를 들어, 유사한 방식으로 추정될 수 있다. 예를 들어, 수학식 20은 수학식 13에 기초하여 생성될 수 있다.
수학식 20에서, 단계 k에 대해, (a, b)는 델타 병진 파라미터들일 수 있다. (c, d)는 수평 방향에 대한 델타 줌 및 회전 파라미터들일 수 있다. (e, f)는 수직 방향에 대한 델타 줌 및 회전 파라미터들일 수 있다. 예를 들어, 수학식 21은 수학식 16에 기초하여 생성될 수 있다.
파라미터 세트 (a, b, c, d, e, f)는 CU 내의 샘플들을 고려함으로써 최소 제곱 계산을 이용하여 도출될 수 있다. 최상부 좌측 제어 포인트의 모션 벡터 
는 수학식 14를 이용하여 계산될 수 있다. 최상부 우측 제어 포인트의 모션 벡터 
는 수학식 22를 이용하여 계산될 수 있다. 최상부 우측 제어 포인트의 모션 벡터 
는 수학식 23을 이용하여 계산될 수 있다.
양방향 예측을 위한 대칭 MV 차이가 있을 수 있다. 일부 예들에서, 순방향 참조 픽처 및 역방향 참조 픽처에서의 모션 벡터는, 예를 들어, 양방향 예측에서의 모션 궤적의 연속성으로 인해 대칭일 수 있다.
SMVD는 인터 코딩 모드일 수 있다. SMVD의 경우, 제1 참조 픽처 리스트(예를 들어, 참조 픽처 리스트 1)의 MVD는 제2 참조 픽처 리스트(예를 들어, 참조 픽처 리스트 0)의 MVD에 대칭일 수 있다. 하나의 참조 픽처 리스트의 모션 벡터 코딩 정보(예를 들어, MVD)는 시그널링될 수 있고, 다른 참조 픽처 리스트의 모션 벡터 정보는 시그널링되지 않을 수 있다. 다른 참조 픽처 리스트의 모션 벡터 정보는, 예를 들어, 시그널링된 모션 벡터 정보에 기초하여 결정될 수 있고, 참조 픽처 리스트들의 모션 벡터 정보는 대칭이다. 예에서, 참조 픽처 리스트 0의 MVD는 시그널링될 수 있고, 리스트 1의 MVD는 시그널링되지 않을 수 있다. 이 모드로 코딩된 MV는 수학식 24a를 이용하여 계산될 수 있다.
[수학식 24a]
여기서 아래 첨자들은 참조 픽처 리스트 0 또는 1을 나타내고, x는 수평 방향을 나타내고, y는 수직 방향을 나타낸다.
수학식 24a에 나타낸 바와 같이, 현재 코딩 블록에 대한 MVD는 현재 코딩 블록에 대한 MVP와 현재 코딩 블록에 대한 MV 간의 차이를 나타낼 수 있다. 본 기술분야의 통상의 기술자는 MVP가 현재 코딩 블록의 공간 이웃 블록(들) 및/또는 현재 코딩 블록에 대한 시간 이웃 블록의 MV에 기초하여 결정될 수 있다는 것을 알 것이다. 수학식 24a가 도 11에 도시될 수 있다. 도 11은 예시적인 비-아핀 모션 대칭 MVD(예를 들어, MVD1=-MVD0)를 도시한다. 수학식 24a에 나타내고, 도 11에 도시된 바와 같이, 현재 코딩 블록의 MV는 현재 코딩 블록에 대한 MVP와 현재 코딩 블록의 MVD(또는 참조 픽처 리스트에 따른 네거티브 MVD)의 합과 동일할 수 있다. 수학식 24a에 나타내고, 도 11에 도시된 바와 같이, 참조 픽처 리스트 1의 MVD(MVD1)는 SMVD에 대한 참조 픽처 리스트 0의 MVD(MVD0)의 네거티브와 동일할 수 있다. 참조 픽처 리스트 0의 MV 예측기(MVP)(MVP0)는 참조 픽처 리스트 1의 MVP(MVP1)에 대칭일 수 있거나 대칭이 아닐 수 있다. MVP0은 MVP1의 네거티브와 동일하거나 동일하지 않을 수도 있다. 수학식 24a에 나타낸 바와 같이, 현재 코딩 블록의 MV는 현재 코딩 블록에 대한 MVP와 현재 코딩 블록의 MVD의 합과 동일할 수 있다. 참조 픽처 리스트 0의 MV(MV0)는 수학식 24a에 기초하여 참조 픽처 리스트 1의 MV(MV1)의 네거티브와 동일하지 않을 수 있다. 참조 픽처 리스트 0의 MV(MV0)는 참조 픽처 리스트 1의 MV(MV1)에 대칭일 수 있거나 대칭이 아닐 수 있다.
SMVD는, 참조 픽처 리스트 0이 순방향 참조 픽처를 포함하고, 참조 픽처 리스트 1이 역방향 참조 픽처를 포함하거나; 또는 참조 픽처 리스트 0이 역방향 참조 픽처를 포함하고, 참조 픽처 리스트 1이 순방향 참조 픽처를 포함하는 경우에, 양방향 예측에 이용가능할 수 있다.
SMVD에서는, 참조 픽처 리스트 0 및 리스트 1의 참조 픽처 인덱스들이 시그널링되지 않을 수 있다. 이들은 다음과 같이 도출될 수 있다. 참조 픽처 리스트 0이 순방향 참조 픽처를 포함하고, 참조 픽처 리스트 1이 역방향 참조 픽처를 포함하는 경우, 리스트 0에서의 참조 픽처 인덱스는 현재 픽처에 가장 가까운 순방향 참조 픽처로 설정될 수 있고, 리스트 1의 참조 픽처 인덱스는 현재 픽처에 가장 가까운 역방향 참조 픽처로 설정될 수 있다. 참조 픽처 리스트 0이 역방향 참조 픽처를 포함하고, 참조 픽처 리스트 1이 순방향 참조 픽처를 포함하는 경우, 리스트 0에서의 참조 픽처 인덱스는 현재 픽처에 가장 가까운 역방향 참조 픽처로 설정될 수 있고, 리스트 1의 참조 픽처 인덱스는 현재 픽처에 가장 가까운 순방향 참조 픽처로 설정될 수 있다.
SMVD의 경우, 참조 픽처 인덱스는 어느 한 리스트에 대해 시그널링될 필요가 없을 수 있다. 하나의 참조 픽처 리스트(예를 들어, 리스트 0)에 대한 MVD의 하나의 세트가 시그널링될 수 있다. 양방향 예측 코딩에 대해 시그널링 오버헤드가 감소될 수 있다.
병합 모드에서, 현재 CU의 예측 샘플들을 생성하기 위해 모션 정보가 도출되고/되거나 이용(예를 들어, 직접 이용)될 수 있다. 모션 벡터 차이를 갖는 병합 모드(MMVD)가 이용될 수 있다. 병합 플래그는 MMVD가 CU에 대해 이용되는지를 명시하도록 시그널링될 수 있다. MMVD 플래그는 스킵 플래그(skip flag)를 전송한 후에 시그널링될 수 있다.
MMVD에서, 병합 후보가 선택된 후에, 병합 후보는 MVD 정보에 의해 정제될 수 있다. MVD 정보는 시그널링될 수 있다. MVD 정보는 병합 후보 플래그, 모션 크기를 명시하는 거리 인덱스, 및/또는 모션 방향의 표시를 위한 인덱스 중 하나 이상을 포함할 수 있다. MMVD에서, 병합 리스트에서의 다수의 후보들 (예를 들어, 처음 2개의 후보들) 중 하나가 MV 기반으로서 이용되도록 선택될 수 있다. 병합 후보 플래그는 어느 후보가 이용되는지를 나타낼 수 있다.
거리 인덱스는 모션 크기 정보를 명시할 수 있고/있거나 시작 포인트로부터(예를 들어, MV 기반이 되도록 선택된 후보로부터) 미리 정의된 오프셋을 표시할 수 있다. 도 12는 예시적인 모션 벡터 차이(MVD) 탐색 포인트(들)를 도시한다. 도 12에 도시된 바와 같이, 중심 포인트들은 시작 포인트 MV들일 수 있다. 도 12에 도시된 바와 같이, 점들에서의 패턴들은 (예를 들어, 중심 MV들에 가장 가까운 점들로부터 중심 MV들로부터 더 멀리 떨어진 점들까지의) 상이한 탐색 순서들을 표시할 수 있다. 도 12에 도시된 바와 같이, 시작 포인트 MV의 수평 성분 및/또는 수직 성분에 오프셋이 더해질 수 있다. 거리 인덱스와 미리 정의된 오프셋의 예시적인 관계가 표 1에 도시되어 있다.
방향 인덱스는 시작 포인트에 대한 MVD의 방향을 나타낼 수 있다. 방향 인덱스는 표 2에 도시된 바와 같이 4개의 방향들 중 임의의 것을 나타낼 수 있다. MVD 부호의 의미는 시작 포인트 MV 또는 MV들의 정보에 따라 변할 수 있다. 시작 포인트가 단방향 예측 MV 또는 양쪽 리스트들이 현재 픽처의 동일한 측을 가리키는 한 쌍의 양방향 예측 MV들을 가질 때, 표 2의 부호는 시작 MV 또는 MV들에 더해진 MV 오프셋의 부호를 명시할 수 있다. 예를 들어, 2개의 참조들의 픽처 순서 카운트(picture order count)(POC)들이 둘다 현재 픽처의 POC보다 크거나 둘다 현재 픽처의 POC보다 작을 때, 부호는 시작 MV 또는 MV들에 더해진 MV 오프셋의 부호를 명시할 수 있다. 시작 포인트가 양쪽 리스트들이 현재 픽처의 상이한 측들을 가리키는 양방향 예측 MV들의 쌍을 가질 때(예를 들어, 하나의 참조의 POC가 현재 픽처의 POC보다 크고, 다른 참조의 POC가 현재 픽처의 POC보다 작을 때), 표 2의 부호는 시작 포인트 MV의 리스트0 MV 성분에 더해진 MV 오프셋의 부호를 명시할 수 있고, 리스트1 MV에 더해진 MV 오프셋의 부호는 반대 값을 가질 수 있다.
양방향 예측 코딩을 위한 대칭 모드가 이용될 수 있다. 본 명세서에 설명된 하나 이상의 특징은, 예를 들어, 예에서, 코딩 효율을 증가시키고/시키거나 복잡도를 감소시킬 수 있는, 양방향 예측 코딩을 위한 대칭 모드와 연관하여 이용될 수 있다. 대칭 모드는 SMVD를 포함할 수 있다. 본 명세서에서 설명된 하나 이상의 특징은 SMVD를 하나 이상의 다른 코딩 도구, 예를 들어, CU 가중치들을 갖는 양방향 예측(BCW 또는 BPWA), BDOF, 및/또는 아핀 모드와 협력작용(synergizing)하는 것과 관련될 수 있다. 본 명세서에 설명된 하나 이상의 특징은 병진 및/또는 아핀 모션에 대한 고속 모션 추정을 포함할 수 있는 인코딩(예를 들어, 인코더 최적화)에 이용될 수 있다.
SMVD 코딩 특징들은 제약들, 시그널링, SMVD 탐색 특징들 등 중 하나 이상을 포함할 수 있다.
SMVD 모드의 적용은 CU 크기에 기초할 수 있다. 예를 들어, 제약은 비교적 작은 CU(예를 들어, 64 이하의 영역을 갖는 CU)에 대해 SMVD를 허용하지 않을 수 있다. 제약은 비교적 큰 CU(예를 들어, 32x32보다 큰 CU)에 대해 SMVD를 허용하지 않을 수 있다. 제약이 CU에 대한 SMVD를 허용하지 않으면, 대칭 MVD 시그널링은 CU에 대해 스킵되거나 디스에이블될 수 있고, 및/또는 코딩 디바이스(예를 들어, 인코더)는 대칭 MVD를 탐색하지 않을 수 있다.
SMVD 모드의 적용은 현재 픽처와 참조 픽처들 사이의 POC 거리들에 기초할 수 있다. SMVD의 코딩 효율은 비교적 큰 POC 거리(예를 들어, 8 이상의 POC 거리)에 대해 감소할 수 있다. SMVD는 참조 픽처(예를 들어, 임의의 참조 픽처)와 현재 픽처 사이의 POC 거리가 비교적 큰 경우에 디스에이블될 수 있다. SMVD가 디스에이블되면, 대칭 MVD 시그널링은 스킵되거나 디스에이블될 수 있고, 및/또는 코딩 디바이스(예를 들어, 인코더)는 대칭 MVD를 탐색하지 않을 수 있다.
SMVD 모드의 적용은 하나 이상의 시간 계층으로 제한될 수 있다. 예에서, 하위 시간 계층은 계층적 GOP 구조를 갖는 현재 픽처로부터 더 큰 POC 거리를 갖는 참조 픽처들을 지칭할 수 있다. SMVD의 코딩 효율은 하위 시간 계층에 대해 감소할 수 있다. SMVD 코딩은 비교적 낮은 시간 계층들(예를 들어, 시간 계층 0 및 1)에 대해 허용되지 않을 수 있다. SMVD가 허용되지 않으면, 대칭 MVD 시그널링은 스킵되거나 디스에이블될 수 있고, 및/또는 코딩 디바이스(예를 들어, 인코더)는 대칭 MVD를 탐색하지 않을 수 있다.
SMVD 코딩에서, 참조 픽처 리스트들 중 하나의 참조 픽처 리스트의 MVD가 시그널링(예를 들어, 명시적으로 시그널링)될 수 있다. 예에서, 코딩 디바이스(예를 들어, 디코더)는 비트스트림에서의 제1 참조 픽처 리스트와 연관된 제1 MVD를 파싱할 수 있다. 코딩 디바이스는 제1 MVD에 기초하여 제2 참조 픽처 리스트와 연관된 제2 MVD를 결정할 수 있고, 제1 MVD와 제2 MVD는 서로 대칭이다.
코딩 디바이스(예를 들어, 디코더)는 어느 참조 픽처 리스트의 MVD가 시그널링되는지, 예를 들어, 참조 픽처 리스트 0 또는 참조 픽처 리스트 1의 MVD가 시그널링되는지를 식별할 수 있다. 예들에서, 참조 픽처 리스트 0의 MVD는 시그널링(예를 들어, 항상 시그널링)될 수 있다. 참조 픽처 리스트 1의 MVD가 획득(예를 들어, 도출)될 수 있다.
MVD가 시그널링되는(예를 들어, 명시적으로 시그널링되는) 참조 픽처 리스트가 선택될 수 있다. 다음 중 하나 이상이 적용될 수 있다. 표시(예를 들어, 플래그)는 어느 참조 픽처 리스트가 선택되는지를 표시하기 위해 시그널링될 수 있다. 현재 픽처까지의 POC 거리가 더 작은 참조 픽처 리스트가 선택될 수 있다. 참조 픽처 리스트들에 대한 POC 거리들이 동일한 경우, 참조 픽처 리스트는 타이를 깨기 위해 미리 결정될 수 있다. 예를 들어, 참조 픽처 리스트들에 대한 POC 거리들이 동일하면 참조 픽처 리스트 0이 선택될 수 있다.
참조 픽처 리스트(예를 들어, 하나의 참조 픽처 리스트)에 대한 MVP 인덱스가 시그널링될 수 있다. 일부 예들에서, 양쪽 참조 픽처 리스트들에 대한 MVP 후보들의 인덱스들이 시그널링(예를 들어, 명시적으로 시그널링)될 수 있다. 참조 픽처 리스트에 대한 MVP 인덱스가, 예를 들어, 시그널링 오버헤드를 감소시키기 위해 시그널링될 수 있다(예를 들어, 하나의 참조 픽처 리스트에 대한 MVP 인덱스만). 다른 참조 픽처 리스트에 대한 MVP 인덱스는, 예를 들어, 본 명세서에 설명된 바와 같이 도출될 수 있다. LX는 MVP 인덱스가 시그널링되는(예를 들어, 명시적으로 시그널링되는) 참조 픽처 리스트일 수 있고, i는 시그널링된 MVP 인덱스일 수 있다. mvp'는 수학식 24에 나타낸 바와 같이 LX의 MVP로부터 도출될 수 있다.
여기서, POCLX, POC1-LX 및 POCcurr은 각각 리스트 LX 참조 픽처, 리스트 (1-LX) 참조 픽처 및 현재 픽처의 POC일 수 있다. 그리고, 참조 픽처 리스트 (1-LX)의 MVP 리스트로부터, mvp'에 가장 가까운 MVP가, 예를 들어, 수학식 25에 나타낸 바와 같이 선택될 수 있다.
여기서 j는 참조 픽처 리스트 (1-LX)의 MVP 인덱스일 수 있다. LX는 MVD가 시그널링되는(예를 들어, 명시적으로 시그널링되는) 참조 픽처 리스트일 수 있다.
표 3은 비-아핀 코딩 모드에 대한 대칭 MVD 시그널링을 지원할 수 있는 예시적인 CU 신택스를 도시한다.
예를 들어, sym_mvd_flag 플래그와 같은 표시는 SMVD가 현재 코딩 블록(예를 들어, 양방향 예측 코딩된 CU)에 대한 모션 벡터 코딩에 이용되는지를 표시할 수 있다.
refIdxSymL0과 같은 표시는 참조 픽처 리스트 0에서의 참조 픽처 인덱스를 표시할 수 있다. -1로 설정되는 refIdxSymL0 표시는 SMVD가 적용가능하지 않고 sym_mvd_flag가 없을 수 있다는 것을 표시할 수 있다.
refIdxSymL1과 같은 표시는 참조 픽처 리스트 1에서의 참조 픽처 인덱스를 표시할 수 있다. -1의 값을 갖는 refIdxSymL1 표시는 SMVD가 적용가능하지 않고 sym_mvd_flag가 없을 수 있다는 것을 표시할 수 있다.
예들에서, SMVD는 참조 픽처 리스트 0이 순방향 참조 픽처를 포함하고 참조 픽처 리스트 1이 역방향 참조 픽처를 포함할 때, 또는 참조 픽처 리스트 0이 역방향 참조 픽처를 포함하고 참조 픽처 리스트 1이 순방향 참조 픽처를 포함할 때 적용가능할 수 있다. 그렇지 않으면, SMVD는 적용가능하지 않을 수 있다. 예를 들어, SMVD가 적용가능하지 않을 때, SMVD 표시(예를 들어, CU 레벨에서의 sym_mvd_flag 플래그)의 시그널링이 스킵될 수 있다. 코딩 디바이스(예를 들어, 디코더)는 하나 이상의 조건 체크를 수행할 수 있다. 표 3에 도시된 바와 같이, 2개의 조건 체크가 수행될 수 있다(예를 들어, refIdxSymL0 > -1 및 refIdxSymL1 > -1). SMVD 표시가 이용되는지를 결정하기 위해 하나 이상의 조건 체크가 수행될 수 있다. 표 3에 도시된 바와 같이, SMVD 표시가 수신되는지를 결정하기 위해 2개의 조건 체크가 수행될 수 있다(예를 들어, refIdxSymL0 > -1 및 refIdxSymL1 > -1). 예에서, 디코더가 이러한 조건들을 체크하기 위해, 디코더는 특정 CU 파싱 전에 현재 픽처의 참조 픽처 리스트들(예를 들어, 리스트0 및 리스트1)의 구성을 기다릴 수 있다. 일부 경우들에서, 2개의 체크된 조건들(예를 들어, refIdxSymL0 > -1 및 refIdxSymL1 > -1) 모두가 참(true)이더라도, 인코더는 (예를 들어, 인코딩 복잡도를 절약하기 위해) CU에 대해 SMVD를 이용하지 않을 수 있다.
SMVD 표시는 CU 레벨에 있고 현재 코딩 블록과 연관될 수 있다. CU 레벨 SMVD 표시는 상위 레벨 표시에 기초하여 획득될 수 있다. 예들에서, CU 레벨 SMVD 표시(예를 들어, sym_mvd_flag 플래그)의 존재는 (예를 들어, 대안적으로 또는 추가적으로) 상위 레벨 표시에 의해 제어될 수 있다. 예를 들어, sym_mvd_enabled_flag 플래그와 같은 SMVD 인에이블 표시는 슬라이스(slice) 레벨, 타일(tile) 레벨, 타일 그룹 레벨에서, 또는 픽처 파라미터 세트(PPS) 레벨에서, 시퀀스 파라미터 세트(SPS) 레벨에서, 및/또는 참조 픽처 리스트들이 신택스 레벨과 연관된 CU들에 의해 공유되는 임의의 신택스 레벨에서 시그널링될 수 있다. 예를 들어, 슬라이스 레벨 플래그는 슬라이스 헤더에 배치될 수 있다. 예에서, 코딩 디바이스(예를 들어, 디코더)는 픽처들의 시퀀스에 대해 SMVD가 인에이블되어 있는지를 표시하는 시퀀스 레벨 SMVD 표시를 수신할 수 있다. SMVD가 시퀀스에 대해 인에이블되면, 코딩 디바이스는 시퀀스 레벨 SMVD 표시에 기초하여 현재 코딩 블록과 연관된 SMVD 표시를 획득할 수 있다.
sym_mvd_enabled_flag 플래그와 같은 상위 레벨 SMVD 인에이블먼트 표시로, CU 레벨 파싱은 (예를 들어, 본 명세서에 설명된) 하나 이상의 조건을 체크하지 않고 수행될 수 있다. SMVD는 CU 레벨보다 높은 레벨에서 (예를 들어, 인코더의 재량으로) 인에이블 또는 디스에이블될 수 있다. 표 4는 SMVD 모드를 지원할 수 있는 예시적인 신택스를 도시한다.
코딩 디바이스(예를 들어, 인코더)가 SMVD를 인에이블할지를 결정하고, 그에 따라 sym_mvd_enabled_flag의 값을 설정하는 상이한 방식들이 있을 수 있다. 본 명세서의 하나 이상의 예는 SMVD를 인에이블할지를 결정하고, 그에 따라 sym_mvd_enabled_flag의 값을 설정하기 위해 결합될 수 있다. 예를 들어, 인코더는 참조 픽처 리스트를 체크함으로써 SMVD를 인에이블할지를 결정할 수 있다. 순방향 및 역방향 참조 픽처 둘다가 존재하는 경우, sym_mvd_enabled_flag 플래그는 SMVD를 인에이블시키기 위해 참(true)과 동일하게 설정될 수 있다. 예를 들어, 인코더는 현재 픽처와 순방향 및/또는 역방향 참조 픽처(들) 사이의 시간 거리(들)에 기초하여 SMVD를 인에이블할지를 결정할 수 있다. 참조 픽처가 현재 픽처로부터 멀리 떨어져 있을 때, SMVD 모드는 효과적이지 않을 수 있다. 순방향 또는 역방향 참조 픽처가 현재 픽처로부터 멀리 떨어져 있다면, 인코더는 SMVD를 디스에이블할 수 있다. 코딩 디바이스는 현재 픽처와 참조 픽처 사이의 시간 거리들에 대한 값(예를 들어, 임계값)에 기초하여 상위 레벨 SMVD 인에이블먼트 표시의 값을 설정할 수 있다. 예를 들어, 인코딩 복잡도를 감소시키기 위해, 인코더는 상위 레벨 제어 플래그를 이용하여(예를 들어, 단지 이용하여), 현재 픽처에 대한 이들 2개의 참조 픽처들의 최대 시간 거리가 값(예를 들어, 임계값)보다 작도록 순방향 및 역방향 참조 픽처들을 갖는 픽처들에 대해 SMVD를 인에이블할 수 있다. 예를 들어, 인코더는 (예를 들어, 현재 픽처의) 시간 계층에 기초하여 SMVD를 인에이블할지를 결정할 수 있다. 비교적 낮은 시간 계층은 참조 픽처가 현재 픽처로부터 멀리 떨어져 있다는 것을 나타낼 수 있고, 그 경우에 SMVD는 효과적이지 않을 수 있다. 인코더는 현재 픽처가 비교적 낮은 시간 계층(예를 들어, 1, 2와 같은 임계값보다 낮음)에 속한다고 결정할 수 있고, 그러한 현재 픽처에 대한 SMVD를 디스에이블할 수 있다. 예를 들어, sym_mvd_enabled_flag는 SMVD를 디스에이블하기 위해 거짓(false)으로 설정될 수 있다. 예를 들어, 인코더는 현재 픽처의 시간 계층과 동일한 시간 계층에서 이전에 코딩된 픽처들의 통계(statistics)에 기초하여 SMVD를 인에이블할지를 결정할 수 있다. 통계는 양방향 예측 코딩된 CU들에 대한 평균 POC 거리(예를 들어, 현재 픽처(들)와 현재 픽처(들)의 2개의 참조 픽처의 시간 중심 사이의 거리(들)의 평균)를 포함할 수 있다. R0, R1은 양방향 예측 코딩된 CU에 대한 참조 픽처들일 수 있다. poc(x)는 픽처 x의 POC일 수 있다. 2개의 참조 픽처들과 현재 픽처(current_picture)의 POC 거리 distance(CUi)는 수학식 26을 이용하여 계산될 수 있다. 양방향 예측 코딩된 CU들에 대한 평균 POC 거리 AvgDist는 수학식 27을 이용하여 계산될 수 있다.
변수 N은 순방향 및 역방향 참조 픽처들 모두를 가질 수 있는 양방향 예측 코딩된 CU들의 총 수를 표시할 수 있다. 예로서, AvgDist가 값(예를 들어, 미리 정의된 임계값)보다 작다면, sym_mvd_enabled_flag는 SMVD를 인에이블하기 위해 참으로 인코더에 의해 설정될 수 있고; 그렇지 않으면, sym_mvd_enabled_flag는 SMVD를 디스에이블하기 위해 거짓으로 설정될 수 있다.
일부 예들에서, MVD 값(들)이 시그널링될 수 있다. 일부 예들에서, 방향 인덱스와 거리 인덱스의 조합이 시그널링될 수 있고, MVD 값(들)은 시그널링되지 않을 수 있다. 표 1 및 표 2에 도시된 바와 같은 예시적인 방향 표 및 예시적인 거리 표는 MVD 정보를 시그널링하고 도출하기 위해 이용될 수 있다. 예를 들어, 거리 인덱스 0과 방향 인덱스 0의 조합은 MVD(1/2, 0)를 나타낼 수 있다.
대칭 MVD에 대한 탐색은, 예를 들어, 단방향 예측 탐색 및 양방향 예측 탐색 후에 수행될 수 있다. 단방향 예측 탐색은 단방향 예측을 위해 참조 블록을 가리키는 최적의 MV를 탐색하는데 이용될 수 있다. 양방향 예측 탐색은 양방향 예측을 위해 2개의 참조 블록들을 가리키는 2개의 최적 MV들을 탐색하는데 이용될 수 있다. 탐색은 후보 대칭 MVD, 예를 들어, 최상의 대칭 MVD를 찾기 위해 수행될 수 있다. 예에서, 대칭 MVD 탐색을 위해 탐색 포인트들의 세트가 반복적으로 평가될 수 있다. 반복은 탐색 포인트들의 세트의 평가를 포함할 수 있다. 탐색 포인트들의 세트는, 예를 들어, 이전 반복의 최상의 MV 주위에 중심을 둔 탐색 패턴을 형성할 수 있다. 제1 반복에 대해, 탐색 패턴은 초기 MV에 중심을 둘 수 있다. 초기 MV의 선택은 전체 결과들에 영향을 미칠 수 있다. 초기 MV 후보들의 세트가 평가될 수 있다. 대칭 MVD 탐색을 위한 초기 MV는, 예를 들어, 레이트 왜곡 비용에 기초하여 결정될 수 있다. 예에서, 가장 낮은 레이트 왜곡 비용을 갖는 MV 후보는 대칭 MVD 탐색을 위한 초기 MV가 되도록 선택될 수 있다. 레이트 왜곡 비용은, 예를 들어, 참조 픽처 리스트 0에 대한 MVD 코딩의 가중 레이트 및 양방향 예측 에러를 합산함으로써 추정될 수 있다. 초기 MV 후보들의 세트는 단방향 예측 탐색으로부터 획득된 MV(들), 양방향 예측 탐색으로부터 획득된 MV(들), 및 AMVP(advanced motion vector predictor) 리스트로부터의 MV들 중 하나 이상을 포함할 수 있다. 단방향 예측 탐색으로부터 각각의 참조 픽처에 대해 적어도 하나의 MV가 획득될 수 있다.
예를 들어, 복잡도를 감소시키기 위해 조기 종료가 적용될 수 있다. 양방향 예측 비용이 값(예를 들어, 임계값)보다 크다면 (예를 들어, 인코더에 의해) 조기 종료가 적용될 수 있다. 예들에서, 예를 들어, 초기 MV 선택 전에, 대칭 MVD에 대한 탐색은 양방향 예측 탐색으로부터 획득된 MV에 대한 레이트 왜곡 비용이 값(예를 들어, 임계값)보다 큰 경우 종료될 수 있다. 예를 들어, 값은 단방향 예측 비용의 배수(예를 들어, 1.1배)로 설정될 수 있다. 예들에서, 예를 들어, 초기 MV 선택 후에, 초기 MV와 연관된 레이트 왜곡 비용이 값(예를 들어, 임계값)보다 높으면 대칭 MVD 탐색이 종료될 수 있다. 예를 들어, 값은 단방향 예측 비용과 양방향 예측 비용 중에서 가장 낮은 것의 배수(예를 들어, 1.1배)로 설정될 수 있다.
SMVD 모드와 다른 코딩 도구들 사이에 상호작용이 있을 수 있다. 다음 중 하나 이상이 수행될 수 있다: 대칭 아핀 MVD 코딩; CU 가중치들을 갖는 양방향 예측(BCW 또는 BPWA)과 SMVD의 조합; 또는 BDOF와 SMVD의 조합.
대칭 아핀 MVD 코딩이 이용될 수 있다. 아핀 모션 모델 파라미터들은 제어 포인트 모션 벡터들에 의해 표현될 수 있다. 4-파라미터 아핀 모델은 2개의 제어 포인트 MV들로 표현될 수 있고, 6-파라미터 아핀 모델은 3개의 제어 포인트 MV들로 표현될 수 있다. 수학식 12에 나타낸 예는 2개의 제어 포인트 MV들, 예를 들어, 최상부 좌측 제어 포인트 MV(v0) 및 최상부 우측 제어 포인트 MV(v1)로 표현된 4-파라미터 아핀 모션 모델일 수 있다. 최상부 좌측 제어 포인트 MV는 병진 모션을 나타낼 수 있다. 최상부 좌측 제어 포인트 MV는, 예를 들어, 모션 궤적을 따르는 순방향 및 역방향 참조 픽처들과 연관된 대응하는 대칭 MV를 가질 수 있다. SMVD 모드는 최상부 좌측 제어 포인트에 적용될 수 있다. 다른 제어 포인트 MV들은 줌, 회전 및/또는 전단 맵핑(shear mapping)의 조합을 나타낼 수 있다. SMVD는 다른 제어 포인트 MV들에 적용되지 않을 수 있다.
SMVD는 최상부 좌측 제어 포인트에(예를 들어, 최상부 좌측 제어 포인트에만) 적용될 수 있고, 다른 제어 포인트 MV들은 그들 개개의 MV 예측기(들)에 설정될 수 있다.
제1 참조 픽처 리스트와 연관된 제어 포인트의 MVD가 시그널링될 수 있다. 제2 참조 픽처 리스트(들)와 연관된 제어 포인트(들)의 MVD(들)는 제1 참조 픽처 리스트와 연관된 제어 포인트의 MVD 및 제1 참조 픽처 리스트와 연관된 제어 포인트의 MVD가 제2 참조 픽처 리스트와 연관된 제어 포인트의 MVD와 대칭이라는 것에 기초하여 획득될 수 있다. 예들에서, 대칭 아핀 MVD 모드가 적용될 때, 참조 픽처 리스트 0과 연관된 제어 포인트의 MVD가 시그널링될 수 있다(예를 들어, 참조 픽처 리스트 0의 제어 포인트 MVD만이 시그널링될 수 있다). 참조 픽처 리스트 1과 연관된 제어 포인트들의 MVD들은 대칭 특성에 기초하여 도출될 수 있다. 참조 픽처 리스트 1과 연관된 제어 포인트들의 MVD들은 시그널링되지 않을 수 있다.
참조 픽처 리스트들과 연관된 제어 포인트 MV들이 도출될 수 있다. 참조 픽처 리스트 0 및 참조 픽처 리스트 1의 제어 포인트 0(최상부 좌측)에 대한 제어 포인트 MV들은, 예를 들어, 수학식 28을 이용하여 도출될 수 있다.
수학식 28은 도 13에 예시될 수 있다. 도 13은 예시적인 아핀 모션 대칭 MVD를 도시한다. 수학식 28에 나타내지고, 도 13에 도시된 바와 같이, 현재 코딩 블록의 최상부 좌측 제어 포인트 MV는 현재 코딩 블록의 최상부 좌측 제어 포인트에 대한 MVP와 현재 코딩 블록의 최상부 좌측 제어 포인트에 대한 MVD(또는 참조 픽처 리스트에 따른 네거티브 MVD)의 합과 동일할 수 있다. 수학식 28에 나타내지고, 도 13에 도시된 바와 같이, 참조 픽처 리스트 1과 연관된 최상부 좌측 제어 포인트 MVD는 대칭 아핀 MVD 코딩을 위해 참조 픽처 리스트 0과 연관된 최상부 좌측 제어 포인트 MVD의 네거티브와 동일할 수 있다.
다른 제어 포인트들에 대한 MV들은, 예를 들어, 수학식 29에 나타낸 바와 같이, 적어도 아핀 MVP 예측을 이용하여 도출될 수 있다.
수학식 28 내지 수학식 30에서, 아랫 첨자들의 제1 차원은 참조 픽처 리스트를 나타낼 수 있다. 아랫 첨자들의 제2 차원은 제어 포인트 인덱스를 나타낼 수 있다.
제1 참조 픽처 리스트의 병진 MVD(예를 들어, mvdx0,0, mvdy0,0)는 제2 참조 픽처 리스트(예를 들어, mvx1,0, mvy1,0)의 최상부 좌측 제어 포인트 MV 도출에 적용될 수 있다. 제1 참조 픽처 리스트의 병진 MVD(예를 들어, mvdx0,0, mvdy0,0)는 제2 참조 픽처 리스트(예를 들어, mvx1,j, mvy1,j)의 다른 제어 포인트 MV 도출에 적용되지 않을 수 있다. 대칭 아핀 MVD 도출의 일부 예들에서, 참조 픽처 리스트 0의 병진 MVD(mvdx0,0, mvdy0,0)는 참조 픽처 리스트 1의 최상부 좌측 제어 포인트 MV 도출에 적용(예를 들어, 오직 적용)될 수 있다. 리스트 1의 다른 제어 포인트 MV들은, 예를 들어, 수학식 30에 나타낸 바와 같이, 대응하는 예측기(들)와 동일할 수 있다.
표 5는 아핀 모드(예를 들어, 대칭 아핀 MVD 코딩)와 조합하여 SMVD의 이용을 시그널링하기 위해 이용될 수 있는 예시적인 신택스를 도시한다.
아핀 SMVD가 이용되는지는, 예를 들어, 인터-아핀 표시(inter-affine indication) 및/또는 SMVD 표시에 기초하여 결정될 수 있다. 예를 들어, 인터-아핀 표시 inter_affine_flag가 1이고, SMVD 표시 sym_mvd_flag[x0][y0]이 1일 때, 아핀 SMVD가 적용될 수 있다. 인터-아핀 표시 inter_affine_flag가 0이고, SMVD 표시 sym_mvd_flag[x0][y0]이 1일 때, 비-아핀 모션 SMVD가 적용될 수 있다. SMVD 표시 sym_mvd_flag[x0][y0]이 0이면, SMVD는 적용되지 않을 수 있다.
참조 픽처 리스트(예를 들어, 참조 픽처 리스트 0)에서의 제어 포인트들의 MVD들이 시그널링될 수 있다. 예에서, 참조 픽처 리스트에서의 제어 포인트들의 서브세트의 MVD 값(들)이 시그널링될 수 있다. 예를 들어, 참조 픽처 리스트 0에서의 최상부 좌측 제어 포인트의 MVD가 시그널링될 수 있다. 참조 픽처 리스트 0에서의 다른 제어 포인트들의 MVD들의 시그널링은 스킵될 수 있고, 예를 들어, 이들 제어 포인트들의 MVD들은 0으로 설정될 수 있다. 다른 제어 포인트들의 MV들은 참조 픽처 리스트 0에서의 최상부 좌측 제어 포인트의 MVD에 기초하여 도출될 수 있다. 예를 들어, MVD들이 시그널링되지 않은 제어 포인트들의 MV들은 수학식 31에 나타낸 바와 같이 도출될 수 있다.
표 6은 아핀 모드와 조합하여 SMVD 모드와 관련된 정보를 시그널링하기 위해 이용될 수 있는 예시적인 신택스를 도시한다.
최상부 좌측 MVD 전용 플래그와 같은 표시는 참조 픽처 리스트(예를 들어, 참조 픽처 리스트 0)에서의 최상부 좌측 제어 포인트의 MVD만이 시그널링되는지, 또는 참조 픽처 리스트에서의 제어 포인트들의 MVD들이 시그널링되는지를 표시할 수 있다. 이 표시는 CU 레벨에서 시그널링될 수 있다. 표 7은 아핀 모드와 조합하여 SMVD 모드와 관련된 정보를 시그널링하기 위해 이용될 수 있는 예시적인 신택스를 도시한다.
예들에서, MMVD에 관하여 본 명세서에 설명된 바와 같이, 방향 인덱스와 거리 인덱스의 조합이 시그널링될 수 있다. 예시적인 방향 표 및 예시적인 거리 표가 표 1 및 표 2에 도시되어 있다. 예를 들어, 거리 인덱스 0과 방향 인덱스 0의 조합은 MVD(1/2, 0)를 나타낼 수 있다.
예들에서, 표시(예를 들어, 플래그)는 어느 참조 픽처 리스트의 MVD들이 시그널링되는지를 표시하기 위해 시그널링될 수 있다. 다른 참조 픽처 리스트의 MVD들은 시그널링되지 않을 수 있고; 이들은 도출될 수 있다.
병진 모션 대칭 MVD 코딩에 대해 본 명세서에 설명된 하나 이상의 제약이, 예를 들어, 복잡도를 감소시키고/시키거나 시그널링 오버헤드를 감소시키기 위해, 아핀 모션 대칭 MVD 코딩에 적용될 수 있다.
대칭 아핀 MVD 모드에 의해, 시그널링 오버헤드가 감소될 수 있다. 코딩 효율이 개선될 수 있다.
양방향 예측 모션 추정은 아핀 모델에 대한 대칭 MVD를 탐색하는데 이용될 수 있다. 예에서, 아핀 모델에 대한 대칭 MVD(예를 들어, 아핀 모델에 대한 최상의 대칭 MVD)를 찾기 위해, 양방향 예측 모션 추정이 단방향 예측 탐색 후에 적용될 수 있다. 참조 픽처 리스트 0 및/또는 참조 픽처 리스트 1에 대한 참조 픽처들은 본 명세서에 설명된 바와 같이 도출될 수 있다. 초기 제어 포인트 MV들은 단방향 예측 탐색 결과들, 양방향 예측 탐색 결과들, 및/또는 아핀 AMVP 리스트로부터의 MV들 중 하나 이상으로부터 선택될 수 있다. 제어 포인트 MV(예를 들어, 가장 낮은 레이트 왜곡 비용을 갖는 제어 포인트 MV)는 초기 MV가 되도록 선택될 수 있다. 코딩 디바이스(예를 들어, 인코더)는 하나 이상의 경우를 체크할 수 있다: 제1 경우에, 대칭 MVD는 참조 픽처 리스트 0에 대해 시그널링될 수 있고, 참조 픽처 리스트 1에 대한 제어 포인트 MV들은 (수학식 28 및/또는 수학식 29를 이용하여) 대칭 맵핑에 기초하여 도출될 수 있다; 제2 경우에, 참조 픽처 리스트 1에 대한 대칭 MVD는 시그널링될 수 있고, 참조 픽처 리스트 0에 대한 제어 포인트 MV들은 대칭 맵핑에 기초하여 도출될 수 있다. 제1 경우가 본 명세서에서 예로서 이용될 수 있다. 대칭 MVD 탐색 기술은 단방향 예측 탐색 결과들에 기초하여 적용될 수 있다. 참조 픽처 리스트 1에서의 제어 포인트 MV 예측기들이 주어지면, 미리 정의된 탐색 패턴(예를 들어, 다이아몬드 패턴, 큐빅 패턴 등)을 이용하는 반복 탐색이 적용될 수 있다. 반복(예를 들어, 각각의 반복)에서, MVD는 탐색 패턴에 의해 정제될 수 있고, 참조 픽처 리스트 0 및 참조 픽처 리스트 1에서의 제어 포인트 MV들은 수학식 28 및/또는 수학식 29를 이용하여 도출될 수 있다. 참조 픽처 리스트 0 및 참조 픽처 리스트 1의 제어 포인트 MV들에 대응하는 양방향 예측 에러가 평가될 수 있다. 레이트 왜곡 비용은, 예를 들어, 참조 픽처 리스트 0에 대한 MVD 코딩의 가중 레이트와 양방향 예측 에러를 합산함으로써 추정될 수 있다. 예에서, 탐색 후보들 동안에 낮은(예를 들어, 가장 낮은) 레이트 왜곡 비용을 갖는 MVD는 대칭 MVD 탐색 프로세스에 대한 최상의 MVD로서 취급될 수 있다. 최상부 우측 및 최하부 좌측 제어 포인트 MV들과 같은 다른 제어 포인트 MV들은, 예를 들어, 본 명세서에 설명된 광학 흐름 기반 기술을 이용하여 정제될 수 있다.
대칭 아핀 MVD 코딩을 위한 대칭 MVD 탐색이 수행될 수 있다. 예에서, 병진 파라미터들과 같은 파라미터들의 세트가 먼저 탐색될 수 있고, 이어서 비병진 파라미터 탐색이 뒤따를 수 있다. 예에서, 광학 흐름 탐색은 참조 픽처 리스트 0 및 참조 픽처 리스트 1의 MVD를 (예를 들어, 공동으로) 고려함으로써 수행될 수 있다. 4-파라미터 아핀 모델에 대해, 리스트 0 MVD들에 대한 예시적인 광학 흐름 수학식이 수학식 32에 나타내질 수 있다.
여기서,
는 k번째 반복에서 리스트 0 예측을 나타낼 수 있고, 
및 
는 리스트 0 예측의 공간 그래디언트들을 나타낼 수 있다.
참조 픽처 리스트 1은 병진 변경(translation change)을 가질 수 있다(예를 들어, 병진 변경만을 가질 수 있다). 병진 변경은 참조 픽처 리스트 0의 크기와 동일한 크기를 가질 수 있지만, 역 방향이며, 이는 대칭 아핀 MVD의 조건이다. 참조 픽처 리스트 1 MVD들에 대한 예시적인 광학 흐름 수학식은 수학식 33에 나타내질 수 있다.
리스트 0 예측 및 리스트 1 예측에 대한 BCW 가중치들 w0 및 w1이 각각 적용될 수 있다. 대칭 아핀 모델에 대한 예시적인 광학 수학식은 수학식 34에 나타내질 수 있다.
여기서
파라미터들 a, b, c, d는 (예를 들어, 최소 평균 제곱 에러 계산에 의해) 추정될 수 있다.
대칭 6-파라미터 아핀 모델에 대한 예시적인 광학 흐름 수학식이 수학식 35에 나타내질 수 있다.
파라미터들 a, b, c, d, e, f는 최소 평균 제곱 에러 계산에 의해 추정될 수 있다. 공동 광학 흐름 모션 탐색이 수행될 때, 아핀 파라미터들은 공동으로 최적화될 수 있다. 성능이 개선될 수 있다.
예를 들어, 복잡도를 감소시키기 위해 조기 종료가 적용될 수 있다. 예들에서, 예를 들어, 초기 MV 선택 전에, 양방향 예측 비용이 값(예를 들어, 임계값)보다 큰 경우 탐색이 종료될 수 있다. 예를 들어, 값은 단방향 예측 비용의 배수, 예를 들어, 단방향 예측 비용의 비용의 1.1배로 설정될 수 있다. 예들에서, 코딩 디바이스(예를 들어, 인코더)는, 대칭 아핀 MVD의 ME가 시작하기 전에, 현재 최상의 아핀 모션 추정(ME) 비용(단방향 예측 및 양방향 예측 아핀 탐색을 고려함)을 비-아핀 ME 비용과 비교할 수 있다. 현재 최상의 아핀 ME 비용이 비-아핀 ME 비용을 값(예를 들어, 1.1과 같은 임계값)과 곱셈한 것 보다 큰 경우, 코딩 디바이스는 대칭 아핀 MVD의 ME를 스킵할 수 있다. 예들에서, 예를 들어, 초기 MV 선택 후에, 초기 MV의 비용이 값(예를 들어, 임계값)보다 높으면 아핀 대칭 MVD 탐색은 스킵될 수 있다. 예를 들어, 값은 단방향 예측 비용과 양예측 비용 중에서 가장 낮은 것의 배수(예를 들어, 1.1배로 설정됨)일 수 있다. 예들에서, 값은 비-아핀 ME 비용의 배수(예를 들어, 1.1)로 설정될 수 있다.
SMVD 모드는 BCW와 결합될 수 있다. BCW가 현재 CU에 대해 인에이블될 때, SMVD는 하나 이상의 방식으로 적용될 수 있다. 특정 예들에서, SMVD는 BCW 가중치가 동일한 가중치(예를 들어, 0.5)일 때(예를 들어, 그때만) 인에이블될 수 있고; SMVD는 다른 BCW 가중치들에 대해 디스에이블될 수 있다. 그러한 경우, SMVD 플래그는 BCW 가중치 인덱스 이전에 시그널링될 수 있고, BCW 가중치 인덱스의 시그널링은 SMVD 플래그에 의해 조건부로 제어될 수 있다. SMVD 표시(예를 들어, SMVD 플래그)가 1의 값을 가질 수 있을 때, BCW 가중치 인덱스의 시그널링은 스킵될 수 있다. 디코더는 SMVD 표시를, 양방향 예측 평균화에 대한 동일한 가중치에 대응할 수 있는 값 0을 갖는 것으로 추론할 수 있다. SMVD 플래그가 0일 때, BCW 가중치 인덱스는 양방향 예측 모드에 대해 코딩될 수 있다. SMVD가, BCW 가중치가 동일한 가중치일 때에는 인에이블되고 다른 BCW 가중치들에 대해서는 디스에이블될 수 있는 예에서, BCW 인덱스는 때때로 스킵될 수 있다. 일부 예들에서, SMVD는 BCW와 완전히 결합될 수 있다. SMVD 플래그 및 BCW 가중치 인덱스는 명시적 양방향 예측 모드를 위해 시그널링될 수 있다. SMVD에 대한 (예를 들어, 인코더의) MVD 탐색은 양방향 예측 평균화 동안 BCW 가중치 인덱스를 고려할 수 있다. SMVD 탐색은 하나 이상의 (예를 들어, 모든) 가능한 BCW 가중치의 평가에 기초할 수 있다.
코딩 도구(예를 들어, 양방향 광학 흐름(BDOF))는 하나 이상의 다른 코딩 도구/모드와 관련하여 이용될 수 있다. BDOF는 SMVD와 관련하여 이용될 수 있다. BDOF가 코딩 블록에 적용되는지의 여부는 SMVD가 이용되는지의 여부에 의존할 수 있다. SMVD는 코딩 블록 레벨에서의 대칭 MVD의 가정에 기초할 수 있다. BDOF는, 수행되는 경우, 광학 흐름에 기초하여 서브-블록 MV들을 정제하는데 이용될 수 있다. 광학 흐름은 서브-블록 레벨에서의 대칭 MVD의 가정에 기초할 수 있다.
BDOF는 SMVD와 관련하여 이용될 수 있다. 예에서, 코딩 디바이스(예를 들어, 디코더 또는 인코더)는 SMVD 및/또는 BDOF가 인에이블되어 있다는 하나 이상의 표시를 수신할 수 있다. BDOF는 현재 픽처에 대해 인에이블될 수 있다. 코딩 디바이스는 현재 코딩 블록에 대해 BDOF가 바이패스될지 또는 수행될지를 결정할 수 있다. 코딩 디바이스는 SMVD 표시(예를 들어, sym_mvd_flag[x0][y0])에 기초하여 BDOF를 바이패스할지를 결정할 수 있다. BDOF는 일부 예들에서 BIO와 교환가능하게 이용될 수 있다.
코딩 디바이스는 현재 코딩 블록에 대해 BDOF를 바이패스할지를 결정할 수 있다. 예를 들어, 디코딩 복잡도를 감소시키기 위해, SMVD 모드가 현재 코딩 블록의 모션 벡터 코딩에 이용되는 경우, BDOF는 현재 코딩 블록에 대해 바이패스될 수 있다. SMVD가 현재 코딩 블록의 모션 벡터 코딩에 이용되지 않는 경우, 코딩 디바이스는, 예를 들어, 적어도 다른 조건에 기초하여, 현재 코딩 블록에 대해 BDOF를 인에이블할지를 결정할 수 있다.
코딩 디바이스는 SMVD 표시(예를 들어, sym_mvd_flag[x0][y0])를 획득할 수 있다. SMVD 표시는 SMVD가 현재 코딩 블록에 대한 모션 벡터 코딩에 이용되는지를 표시할 수 있다.
현재 코딩 블록은 BDOF를 바이패스할지의 결정에 기초하여 재구성될 수 있다. MVD는 SMVD 모드에 대한 CU 레벨에서 시그널링(예를 들어, 명시적으로 시그널링)될 수 있다.
코딩 디바이스는 BDOF를 바이패스한다는 결정에 기초하여 BDOF 없이 SMVD를 이용하여 모션 벡터 코딩을 수행하도록 구성될 수 있다.
특징들 및 요소들이 특정 조합들로 상술되었지만, 본 기술분야의 통상의 기술자는 각각의 특징 또는 요소가 단독으로 또는 다른 특징들 및 요소들과의 임의의 조합으로 이용될 수 있음을 알 것이다. 또한, 본 명세서에 설명된 방법들은 컴퓨터 또는 프로세서에 의해 실행하기 위한 컴퓨터 판독가능 매체 내에 통합된 컴퓨터 프로그램, 소프트웨어, 또는 펌웨어로 구현될 수 있다. 컴퓨터 판독가능 매체들의 예들은 (유선 또는 무선 접속들을 통해 송신된) 전자 신호들 및 컴퓨터 판독가능 저장 매체들을 포함한다. 컴퓨터 판독가능 저장 매체들의 예들은, 제한적인 것은 아니지만, 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 레지스터, 캐시 메모리, 반도체 메모리 디바이스들, 내부 하드 디스크들 및 이동식 디스크들과 같은 자기 매체들, 광 자기(magneto-optical) 매체들, 및 CD-ROM 디스크들, 및 DVD(digital versatile disk)들과 같은 광학 매체들을 포함한다. 소프트웨어와 연관된 프로세서는 WTRU, UE, 단말기, 기지국, RNC, 또는 임의의 호스트 컴퓨터에서 이용하기 위한 라디오 주파수 트랜시버를 구현하는데 이용될 수 있다.
Claims (16)
- 비디오 코딩 디바이스로서,
프로세서
를 포함하고, 상기 프로세서는,
양방향 광학 흐름(BDOF)이 인에이블되는 것을 결정하고;
현재 코딩 블록과 연관된 대칭 모션 벡터 차이(SMVD) 표시를 획득하고 ― 상기 SMVD 표시는 SMVD가 상기 현재 코딩 블록에 대한 모션 벡터 코딩에 이용되는지를 표시함 ―;
상기 현재 코딩 블록과 연관된 상기 SMVD 표시에 적어도 부분적으로 기초하여 상기 현재 코딩 블록에 대한 BDOF를 바이패스할지를 결정하고 ― 상기 프로세서는, SMVD가 상기 현재 코딩 블록에 대한 상기 모션 벡터 코딩에서 이용되는 조건에서, 상기 현재 코딩 블록에 대한 BDOF를 바이패스할 것을 결정하도록 구성됨 ―;
BDOF를 바이패스할지의 상기 결정에 기초하여 상기 현재 코딩 블록을 재구성하도록
구성되는, 비디오 코딩 디바이스. - 제1항에 있어서,
상기 현재 코딩 블록에 대한 모션 벡터 차이(MVD)는 상기 현재 코딩 블록에 대한 모션 벡터 예측기(MVP)와 상기 현재 코딩 블록에 대한 모션 벡터(MV) 사이의 차이를 표시하는, 비디오 코딩 디바이스. - 제2항에 있어서,
상기 현재 코딩 블록에 대한 상기 MVP는 상기 현재 코딩 블록의 공간적 이웃 블록 또는 상기 현재 코딩 블록의 시간적 이웃 블록의 MV에 기초하여 결정되는, 비디오 코딩 디바이스. - 제1항에 있어서,
상기 SMVD 표시가, SMVD가 상기 현재 코딩 블록에 대한 상기 모션 벡터 코딩을 위해 이용된다는 것을 표시하는 조건에서, 상기 프로세서는,
제1 참조 픽처 리스트와 연관된 제1 모션 벡터 코딩 정보를 수신하고;
상기 제1 참조 픽처 리스트와 연관된 상기 제1 모션 벡터 코딩 정보에 기초하여 제2 참조 픽처 리스트와 연관된 제2 모션 벡터 코딩 정보를 결정하도록
추가로 구성되고, 상기 제1 참조 픽처 리스트와 연관된 모션 벡터 차이(MVD)는 상기 제2 참조 픽처 리스트와 연관된 MVD와 대칭인, 비디오 코딩 디바이스. - 제1항에 있어서,
상기 SMVD 표시가, SMVD가 상기 현재 코딩 블록에 대한 상기 모션 벡터 코딩에 이용된다는 것을 표시하는 조건에서, 상기 프로세서는,
비트스트림에서 제1 참조 픽처 리스트와 연관된 제1 모션 벡터 차이(MVD)를 파싱하고;
상기 제1 MVD에 기초하여 제2 참조 픽처 리스트와 연관된 제2 MVD를 결정하도록
추가로 구성되고, 상기 제1 MVD와 상기 제2 MVD는 서로 대칭인, 비디오 코딩 디바이스. - 제1항에 있어서,
상기 현재 코딩 블록에 대한 BDOF를 바이패스하지 않기로 하는 결정에 기초하여, 상기 프로세서는,
상기 현재 코딩 블록에서의 위치와 연관된 그래디언트들에 적어도 부분적으로 기초하여 상기 현재 코딩 블록의 서브-블록과 연관된 모션 벡터를 정제하도록 추가로 구성되는, 비디오 코딩 디바이스. - 제1항에 있어서,
상기 프로세서는 SMVD가 픽처들의 시퀀스에 대해 인에이블되는지를 표시하는 시퀀스-레벨 SMVD 표시를 수신하도록 추가로 구성되고, 상기 현재 코딩 블록은 상기 시퀀스의 픽처에 포함되며, SMVD가 상기 시퀀스에 대해 인에이블되는 조건에서, 상기 프로세서는 상기 시퀀스-레벨 SMVD 표시에 기초하여 상기 현재 코딩 블록과 연관된 상기 SMVD 표시를 획득하도록 추가로 구성되는, 비디오 코딩 디바이스. - 제1항에 있어서,
상기 프로세서는 BDOF를 바이패스하는 상기 결정에 기초하여, BDOF를 수행하지 않고 상기 현재 코딩 블록을 재구성하도록 추가로 구성되는, 비디오 코딩 디바이스. - 방법으로서,
양방향 광학 흐름(BDOF)이 인에이블되는 것을 결정하는 단계;
현재 코딩 블록과 연관된 대칭 모션 벡터 차이(SMVD) 표시를 획득하는 단계 ― 상기 SMVD 표시는 SMVD가 상기 현재 코딩 블록에 대한 모션 벡터 코딩에 이용되는지를 표시함 ―;
상기 현재 코딩 블록과 연관된 상기 SMVD 표시에 적어도 부분적으로 기초하여 상기 현재 코딩 블록에 대한 BDOF를 바이패스할지를 결정하는 단계 ― SMVD가 상기 현재 코딩 블록에 대한 상기 모션 벡터 코딩에 이용되는 조건에서, 상기 방법은 상기 현재 코딩 블록에 대한 BDOF를 바이패스하는 단계를 포함함 ―; 및
BDOF를 바이패스할지의 상기 결정에 기초하여 상기 현재 코딩 블록을 재구성하는 단계
를 포함하는, 방법. - 제9항에 있어서,
상기 현재 코딩 블록에 대한 모션 벡터 차이(MVD)는 상기 현재 코딩 블록에 대한 모션 벡터 예측기(MVP)와 상기 현재 코딩 블록에 대한 모션 벡터(MV) 사이의 차이를 표시하는, 방법. - 제10항에 있어서,
상기 현재 코딩 블록에 대한 상기 MVP는 상기 현재 코딩 블록의 공간적 이웃 블록 또는 상기 현재 코딩 블록의 시간적 이웃 블록의 MV에 기초하여 결정되는, 방법. - 제9항에 있어서,
상기 SMVD 표시가 SMVD가 상기 현재 코딩 블록에 대한 상기 모션 벡터 코딩을 위해 이용된다는 것을 표시하는 조건에서, 상기 방법은,
제1 참조 픽처 리스트와 연관된 제1 모션 벡터 코딩 정보를 수신하는 단계; 및
상기 제1 참조 픽처 리스트와 연관된 상기 제1 모션 벡터 코딩 정보에 기초하여 제2 참조 픽처 리스트와 연관된 제2 모션 벡터 코딩 정보를 결정하는 단계 ― 상기 제1 참조 픽처 리스트와 연관된 모션 벡터 차이(MVD)는 상기 제2 참조 픽처 리스트와 연관된 MVD와 대칭임 ―
를 더 포함하는, 방법. - 제9항에 있어서,
상기 SMVD 표시가, SMVD가 상기 현재 코딩 블록에 대한 상기 모션 벡터 코딩에 이용된다는 것을 표시하는 조건에서, 상기 방법은,
비트스트림에서 제1 참조 픽처 리스트와 연관된 제1 모션 벡터 차이(MVD)를 파싱하는 단계; 및
상기 제1 MVD에 기초하여 제2 참조 픽처 리스트와 연관된 제2 MVD를 결정하는 단계 ― 상기 제1 MVD와 상기 제2 MVD는 서로 대칭임 ―
를 더 포함하는, 방법. - 제9항에 있어서,
상기 현재 코딩 블록에 대한 BDOF를 바이패스하지 않기로 하는 결정에 기초하여, 상기 방법은,
상기 현재 코딩 블록에서의 위치와 연관된 그래디언트들에 적어도 부분적으로 기초하여 상기 현재 코딩 블록의 서브-블록의 모션 벡터를 정제하는 단계를 더 포함하는, 방법. - 제9항에 있어서,
SMVD가 픽처들의 시퀀스에 대해 인에이블되는지를 표시하는 시퀀스-레벨 SMVD 표시를 수신하는 단계를 더 포함하고, 상기 현재 코딩 블록은 상기 시퀀스의 픽처에 포함되며, SMVD가 상기 시퀀스에 대해 인에이블되는 조건에서, 상기 방법은 상기 시퀀스-레벨 SMVD 표시에 기초하여 상기 현재 코딩 블록과 연관된 상기 SMVD 표시를 획득하는 단계를 더 포함하는, 방법. - 제9항에 있어서,
BDOF를 바이패스할지의 상기 결정에 기초하여 상기 현재 코딩 블록을 재구성하는 단계는, BDOF를 바이패스하는 상기 결정에 기초하여, BDOF를 수행하지 않고 상기 현재 코딩 블록을 재구성하는 단계를 더 포함하는, 방법.
Applications Claiming Priority (11)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862783437P | 2018-12-21 | 2018-12-21 | |
| US62/783,437 | 2018-12-21 | ||
| US201962787321P | 2019-01-01 | 2019-01-01 | |
| US62/787,321 | 2019-01-01 | ||
| US201962792710P | 2019-01-15 | 2019-01-15 | |
| US62/792,710 | 2019-01-15 | ||
| US201962798674P | 2019-01-30 | 2019-01-30 | |
| US62/798,674 | 2019-01-30 | ||
| US201962809308P | 2019-02-22 | 2019-02-22 | |
| US62/809,308 | 2019-02-22 | ||
| PCT/US2019/067527 WO2020132272A1 (en) | 2018-12-21 | 2019-12-19 | Symmetric motion vector difference coding |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210113187A true KR20210113187A (ko) | 2021-09-15 |
Family
ID=69191238
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217019140A KR20210113187A (ko) | 2018-12-21 | 2019-12-19 | 대칭 모션 벡터 차이 코딩 |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US11546604B2 (ko) |
| EP (1) | EP3900343A1 (ko) |
| JP (1) | JP2022516433A (ko) |
| KR (1) | KR20210113187A (ko) |
| CN (1) | CN113615186B (ko) |
| IL (2) | IL284179B1 (ko) |
| WO (1) | WO2020132272A1 (ko) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022517911A (ja) * | 2019-01-14 | 2022-03-11 | インターデジタル ヴイシー ホールディングス， インコーポレイテッド | 重み付け予測に適応された双方向オプティカルフローによる映像符号化及び復号の方法及び装置 |
| US11025936B2 (en) * | 2019-01-25 | 2021-06-01 | Tencent America LLC | Method and apparatus for video coding |
| WO2020156517A1 (en) * | 2019-01-31 | 2020-08-06 | Beijing Bytedance Network Technology Co., Ltd. | Fast algorithms for symmetric motion vector difference coding mode |
| WO2020156538A1 (en) * | 2019-02-03 | 2020-08-06 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between mv precisions and mv difference coding |
| US20220174286A1 (en) * | 2019-03-08 | 2022-06-02 | Electronics And Telecommunications Research Institute | Image encoding/decoding method and apparatus, and recording medium for storing bitstream |
| KR102662874B1 (ko) * | 2019-04-28 | 2024-05-07 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 대칭 모션 벡터 차이 코딩 |
| WO2020243709A1 (en) * | 2019-05-30 | 2020-12-03 | Beijing Dajia Internet Information Technology Co., Ltd. | Methods and apparatus for signaling symmetrical motion vector difference mode |
| JP7469335B2 (ja) * | 2019-06-13 | 2024-04-16 | エルジー エレクトロニクス インコーポレイティド | 動きベクトル予測基盤映像／ビデオコーディング方法及び装置 |
| WO2020251324A1 (ko) * | 2019-06-14 | 2020-12-17 | 엘지전자 주식회사 | 움직임 벡터 차분들을 이용한 영상 코딩 방법 및 장치 |
| JP7335365B2 (ja) * | 2019-06-24 | 2023-08-29 | エルジー エレクトロニクス インコーポレイティド | 動きベクトル差分を利用した映像コーディング方法及び装置 |
| WO2020262918A1 (ko) * | 2019-06-24 | 2020-12-30 | 엘지전자 주식회사 | 움직임 벡터를 이용한 영상 코딩 방법 및 장치 |
| WO2020262914A1 (ko) | 2019-06-24 | 2020-12-30 | 엘지전자 주식회사 | 인터 예측 기반 영상 코딩 방법 및 장치 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9503720B2 (en) * | 2012-03-16 | 2016-11-22 | Qualcomm Incorporated | Motion vector coding and bi-prediction in HEVC and its extensions |
| US9615090B2 (en) * | 2012-12-28 | 2017-04-04 | Qualcomm Incorporated | Parsing syntax elements in three-dimensional video coding |
| CN107431817B (zh) * | 2015-01-29 | 2020-03-24 | Vid拓展公司 | 用于调色板译码的方法及装置 |
| KR102216947B1 (ko) * | 2015-06-08 | 2021-02-18 | 브이아이디 스케일, 인크. | 화면 내용 코딩을위한 인트라 블록 복사 모드 |
| US10375413B2 (en) * | 2015-09-28 | 2019-08-06 | Qualcomm Incorporated | Bi-directional optical flow for video coding |
| GB2561507B (en) * | 2016-01-07 | 2021-12-22 | Mediatek Inc | Method and apparatus for affine merge mode prediction for video coding system |
| US11638027B2 (en) * | 2016-08-08 | 2023-04-25 | Hfi Innovation, Inc. | Pattern-based motion vector derivation for video coding |
| CN110024394B (zh) * | 2016-11-28 | 2023-09-01 | 韩国电子通信研究院 | 对图像编码/解码的方法和设备及存储比特流的记录介质 |
| US10931969B2 (en) * | 2017-01-04 | 2021-02-23 | Qualcomm Incorporated | Motion vector reconstructions for bi-directional optical flow (BIO) |
| US10595035B2 (en) * | 2017-03-22 | 2020-03-17 | Qualcomm Incorporated | Constraining motion vector information derived by decoder-side motion vector derivation |
| CN107123128B (zh) * | 2017-04-24 | 2019-07-16 | 南京邮电大学 | 一种保证准确性的车辆运动状态估计方法 |
| CN108256511B (zh) * | 2018-03-15 | 2022-03-29 | 太原理工大学 | 基于视频编码码流的人体运动检测方法 |
| MX2021007225A (es) * | 2018-12-17 | 2021-09-21 | Interdigital Vc Holdings Inc | Combinacion de herramientas de codificacion de diferencia de vector de movimiento con otros modos de movimiento. |
-
2019
- 2019-12-19 CN CN201980088741.0A patent/CN113615186B/zh active Active
- 2019-12-19 EP EP19842668.6A patent/EP3900343A1/en active Pending
- 2019-12-19 US US17/416,205 patent/US11546604B2/en active Active
- 2019-12-19 IL IL284179A patent/IL284179B1/en unknown
- 2019-12-19 KR KR1020217019140A patent/KR20210113187A/ko unknown
- 2019-12-19 JP JP2021535909A patent/JP2022516433A/ja active Pending
- 2019-12-19 WO PCT/US2019/067527 patent/WO2020132272A1/en unknown
- 2019-12-19 IL IL310462A patent/IL310462A/en unknown
-
2022
- 2022-12-15 US US18/082,525 patent/US20230125740A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| IL310462A (en) | 2024-03-01 |
| US20230125740A1 (en) | 2023-04-27 |
| IL284179B1 (en) | 2024-02-01 |
| IL284179A (en) | 2021-08-31 |
| US11546604B2 (en) | 2023-01-03 |
| EP3900343A1 (en) | 2021-10-27 |
| JP2022516433A (ja) | 2022-02-28 |
| CN113615186B (zh) | 2024-05-10 |
| WO2020132272A1 (en) | 2020-06-25 |
| US20220150505A1 (en) | 2022-05-12 |
| TW202038626A (zh) | 2020-10-16 |
| CN113615186A (zh) | 2021-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7398442B2 (ja) | ビデオコーディングのための双予測 | |
| JP7168593B2 (ja) | 双方向オプティカルフローに基づいた動き補償予測 | |
| US11546604B2 (en) | Symmetric motion vector difference coding | |
| US20230188748A1 (en) | Bi-directional optical flow method with simplified gradient derivation | |
| EP3704856A1 (en) | Sub-block motion derivation and decoder-side motion vector refinement for merge mode | |
| US11979595B2 (en) | Symmetric merge mode motion vector coding | |
| KR20210118070A (ko) | 인터 및 인트라 결합 예측 | |
| KR20210118068A (ko) | 히스토리 기반 모션 벡터 예측 | |
| US11943467B2 (en) | Affine motion estimation for affine model-based video coding | |
| TWI835958B (zh) | 對稱運動向量差寫碼的裝置及方法 |