KR20140062516A - 공간 예측을 위한 시스템들 및 방법들 - Google Patents

공간 예측을 위한 시스템들 및 방법들 Download PDF

Info

Publication number
KR20140062516A
KR20140062516A KR1020147009836A KR20147009836A KR20140062516A KR 20140062516 A KR20140062516 A KR 20140062516A KR 1020147009836 A KR1020147009836 A KR 1020147009836A KR 20147009836 A KR20147009836 A KR 20147009836A KR 20140062516 A KR20140062516 A KR 20140062516A
Authority
KR
South Korea
Prior art keywords
sub
block
reconstructed
blocks
transform
Prior art date
Application number
KR1020147009836A
Other languages
English (en)
Other versions
KR102173630B1 (ko
Inventor
얀 예
퀴안 첸
지에 덩
Original Assignee
브이아이디 스케일, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 브이아이디 스케일, 인크. filed Critical 브이아이디 스케일, 인크.
Publication of KR20140062516A publication Critical patent/KR20140062516A/ko
Application granted granted Critical
Publication of KR102173630B1 publication Critical patent/KR102173630B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

모드-의존 서브샘플링에 기초한 비디오 신호의 인트라 예측에 관련되는 시스템들, 방법들, 및 수단들이 개시된다. 비디오 블록의 제 1 서브 블록에 연관된 계수들의 블록, 비디오 블록의 하나 이상의 잔여 서브 블록들과 연관된 하나 이상의 계수들의 블록 및 비디오 블록에 대한 예측 모드의 표시가 수신될 수 있다. 하나 이상의 보간 기법들, 예측된 제 1 서브 블록 및 하나 이상의 잔여 서브 블록들의 예측된 서브 블록이 결정될 수 있다. 재구성된 제 1 서브 블록 및 하나 이상의 재구성된 잔여 서브 블록이 생성될 수 있다. 재구성된 비디오 블록은 예측 모드, 재구성된 제 1 서브 블록 및 하나 이상의 재구성된 잔여 서브 블록에 기초하여 형성될 수 있다.

Description

공간 예측을 위한 시스템들 및 방법들{SYSTEMS AND METHODS FOR SPATIAL PREDICTION}
관련 출원들에 대한 상호참조
본 출원은 2011년 9월 15일 출원된 미국 가특허 출원 번호 제61/535,043호를 우선권으로 주장하며, 상기 가특허의 내용들은 그에 의해 본 명세서에 인용에 의해 포함된다.
디지털 비디오 능력들은 디지털 텔레비전, 디지털 직접 브로트캐스트 시스템들, 무선 브로트캐스트 시스템들, 개인 휴대 정보 단말들(personal digital assistants; PDA들), 랩톱 또는 데스크톱 컴퓨터들, 디지털 카메라들, 디지털 레코딩 장치들, 비디오 게임 장치들, 비디오 게임 콘솔, 셀룰러 또는 위상 라디오 전화들 등을 포함(그러나 이들로 제한되지 않음)하는 광범위한 장치들 내로 통합될 수 있다. 디지털 비디오 장치들은 디지털 비디오 정보를 보다 효율적으로 전송 및 수신하기 위해 MPEG-2, MPEG-4, ITU-T H.263 또는 ITU-T H.264/MPEG-4, 부분 10, 어드밴스드 비디오 코딩(Advanced Video Coding; AVC)에 의해 정의된 표준들, 및 이러한 표준들의 확장들에서 설명된 것들과 같은 비디오 압축 기법들을 구현할 수 있다.
비디오 압축 기법들은 비디오 시퀀스들에 내재하는 리던던시(redundancy)를 감소 또는 제거하기 위해 공간 예측 및/또는 시간 예측을 수행할 수 있다. 블록-기반 비디오 코딩에 대해, 비디오 프레임 또는 슬라이스는 블록들로 분할될 수 있다. 각각의 블록은 추가로 분할될 수 있다. 다양한 코딩 기법들에 따라, 인트라-코딩된(I) 프레임 또는 슬라이스의 블록들은 이웃하는 블록들에 대해 공간 예측을 이용하여 인코딩될 수 있다. 인터-코딩된(P 또는 B) 프레임 또는 슬라이스의 블록들은 동일한 프레임 또는 슬라이스 내의 이웃하는 블록들에 대해 공간 예측 또는 다른 기준 프레임들 내의 블록들에 대해 시간 예측을 이용할 수 있다.
모드-의존 서브샘플링(mode-dependent subsampling)에 기초하여 비디오 신호의 인트라 예측에 관련된 시스템들, 방법들 및 방편들이 개시된다. 프로세서는 비디오 블록의 제 1 서브 블록과 연관되는 계수들의 블록, 비디오 블록의 하나 이상의 잔여 서브 블록들과 연관되는 하나 이상의 계수들의 블록들, 및 비디오 블록에 대한 예측 모드의 표시를 수신할 수 있다. 프로세서는 예측 모드에 기초하여 하나 이상의 보간 기법들 및 예측 모드에 기초한 인트라 예측(intra prediction)을 이용하여 예측된 제 1 서브 블록을 결정할 수 있다. 프로세서는 재구성된 제 1 서브 블록을 생성하도록 예측된 제 1 서브 블록을 부가할 수 있다. 프로세서는 비디오 블록에 대한 하나 이상의 보간 기법들에 기초하여 하나 이상의 잔여 서브 블록들의 예측된 서브 블록들을 결정할 수 있다. 프로세서는 하나 이상의 재구성된 잔여 서브 블록들을 생성하도록 하나 이상의 잔여 서브 블록들의 예측 서브 블록들을 부가할 수 있다. 프로세서는 예측 모드, 재구성된 제 1 서브 블록, 하나 이상의 재구성된 잔여 서브 블록들을 형성할 수 있다. 비디오 블록은 비디오 신호의 휘도 성분 또는 채도 성분일 수 있다.
재구성된 제 1 서브 블록은 역 양자화 및 역 변환 파라미터들의 제 1 세트를 이용하여 제 1 서브 블록과 연관된 계수들을 역 양자화 및 역 변환함으로써 생성될 수 있다. 역 변환 및 역 양자화 파라미터들의 제 1 세트는 형상-적응형 이산 코사인 변환과 연관될 수 있다. 예측된 제 1 서브 블록과 연관된 계수들을 역변환하는 것은 비-정사각형 형상 변환을 포함할 수 있다.
하나 이상의 재구성된 잔여 서브 블록들은 역 양자화 및 역 변환 파라미터들의 제 2 세트를 이용하여 하나 이상의 잔여 서브 블록들과 연관된 계수들을 역 양자화 및 역 변환함으로써 생성될 수 있다. 역 변환 및 역 양자화 파라미터들의 제 2 세트는 형상-적응형 이산 코사인 변환과 연관될 수 있다. 하나 이상의 잔여 서브 블록들과 연관된 계수들을 역변환하는 것은 비-정사각형 형상의 변환을 포함할 수 있다. 역 양자화 및 역 변환 파라미터들의 제 1 세트는 역 양자화 및 역 변환 파라미터들의 제 2 세트와 동일하거나 상이할 수 있다.
하나 이상의 재구성된 잔여 서브 블록들의 제 1 부분이 생성되고, 하나 이상의 재구성된 잔여 서브 블록들의 제 1 부분의 생성에 후속하여, 하나 이상의 재구성된 잔여 서브 블록들의 제 2 부분이 생성된 제 1 부분에 적어도 부분적으로 기초하여 생성될 수 있다.
비디오 블록 및 예측 모드가 수신될 수 있다. 비디오 블록은 제 1 서브 블록 및 누락 픽셀들을 포함하는 하나 이상의 서브 블록들을 생성하기 위해 예측 모드에 기초하여 서브샘플링될 수 있다. 예측된 제 1 서브 블록은 예측 모드에 기초한 인트라 예측을 이용하여 결정될 수 있다. 제 1 서브 블록은 재구성된 제 1 서브 블록을 생성하도록 재구성될 수 있다. 예측 모드 및 재구성된 제 1 서브 블록은 누락 픽셀들을 포함하는 예측된 하나 이상의 서브 블록들을 획득하도록 보간될 수 있다. 누락 픽셀들을 포함하는 하나 이상의 서브 블록들은 재구성된 하나 이상의 서브 블록들을 생성하도록 재구성될 수 있다. 재구성된 비디오 블록은 재구성된 제 1 서브 블록, 누락 픽셀들을 포함하는 재구성된 하나 이상의 서브 블록들 및 예측 모드에 기초하여 형성될 수 있다. 비디오 블록은 비디오 신호의 휘도 성분 또는 채도 성분일 수 있다.
제 1 서브 블록은 재구성된 제 1 서브 블록을 생성하기 위해 변환 및 양자화 파라미터들의 제 1 세트에 기초하여 재구성될 수 있고 누락 픽셀들을 포함하는 하나 이상의 서브 블록들은 재구성된 하나 이상의 서브 블록들을 생성하기 위해 변환 및 양자화 파라미터들의 제 2 세트에 기초하여 재구성될 수 있다. 변환 및 양자화 파라미터들의 제 1 세트는 변환 및 양자화 파라미터들의 제 2 세트와 동일하거나 상이할 수 있다.
누락 픽셀들을 포함하는 하나 이상의 서브 블록들의 제 1 부분은 변환 및 양자화 파라미터들의 제 2 세트에 기초하여 재구성될 수 있고, 누락 픽셀들을 포함하는 하나 이상의 서브 블록들의 제 1 부분의 재구성에 후속하여, 누락 픽셀들을 포함하는 하나 이상의 서브 블록들의 제 2 부분은 재구성된 제 1 부분에 적어도 부분적으로 기초하여 재구성될 수 있다. 누락 픽셀들을 포함하는 하나 이상의 서브 블록들의 제 2 부분의 재구성은 변환 및 양자화 파라미터들의 제 3 세트를 활용할 수 있고 변환 및 양자화 파라미터들의 제 3 세트는 변환 및 양자화 파라미터들의 제 1 세트 또는 변환 및 양자화 파라미터들의 제 2 세트와 동일할 수 있다.
도 1은 블록-기반 비디오 인코딩 시스템의 예를 예시하는 블록도이다.
도 2는 블록-기반 비디오 디코더 시스템의 예를 예시하는 블록도이다.
도 3은 지원될 수 있는 예측 모드들의 예를 예시하는 도면이다.
도 4는 4x4 블록에 대한 수평 예측의 예를 예시하는 도면이다.
도 5는 34개의 방향성 인트라 예측 모드들의 예를 예시하는 도면이다.
도 6은 비-방향성 인트라 예측 모드의 예를 예시하는 도면이다.
도 7은 32x32 블록 상에서 단거리 인트라 예측의 예를 예시하는 도면이다.
도 8은 모드-의존성 서브샘플링 인트라 예측(Mode-Dependent Subsampling Intra Prediction; MDS-IP)을 구현하는 인코더의 예를 예시하는 블록도이다.
도 9의 (A)는 수평 예측 모드의 예를 예시하는 도면이다.
도 9의 (B) 내지 도 9의 (D)는 수평 예측 모드 보간 및 예측 프로세스의 예들을 예시하는 도면들이다.
도 10의 (A) 내지 도 10의 (C)는 수직 예측 모드 보간 및 예측 프로세스들의 예들을 예시하는 도면들이다.
도 11의 (A)는 대각 예측 모드의 예를 예시하는 도면이다.
도 11의 (B) 내지 도 11의 (D)는 대각 예측 모드 보간 및 예측 프로세스의 예들을 예시하는 도면들이다.
도 12의 (A) 내지 도 12의 (D)는 대각 예측 모드 보간 및 예측 프로세스의 예들을 예시하는 도면들이다.
도 13의 (A) 내지 도 13의 (D)는 대각 예측 모드 보간 및 예측 프로세스의 예들을 예시하는 도면들이다.
도 14의 (A) 내지 도 14의 (D)는 대각 예측 모드 보간 및 예측 프로세스의 예들을 예시하는 도면들이다.
도 15의 (A) 내지 도 15의 (C)는 대각 예측 모드 보간 및 예측 프로세스의 예들을 예시하는 도면들이다.
도 16의 (A)는 비-방향성 예측 모드의 예를 예시하는 도면이다.
도 16의 (B) 내지 도 16의 (D)는 비-방향성 예측 모드 보간 및 예측 프로세스의 예들을 예시하는 도면들이다.
도 17의 (A) 내지 도 17의 (D)는 비-방향성 예측 모드 보간 및 예측 프로세스의 예들을 예시하는 도면들이다.
도 18은 통신 시스템의 예를 예시하는 도면이다.
도 19a는 하나 이상의 개시된 실시예들이 구현될 수 있는 예시적인 통신 시스템의 시스템도이다.
도 19b는 도 19a에서 예시된 통신 시스템 내에서 이용될 수 있는 예시적인 무선 송/수신 유닛(WTRU)의 시스템도이다.
도 19c, 19d 및 19e는 도 19a에서 예시되는 통신 시스템 내에서 이용될 수 있는 예시적인 라디오 액세스 네트워크 및 예시적인 코어 네트워크들의 시스템도들이다.
도 20은 모드-의존 서브샘플링 인트라 예측(Mode-Dependent Subsampling Intra Prediction; MDS-IP)을 구현하는 디코더의 예를 예시하는 블록도이다.
비디오 코딩 시스템들은 디지털 비디오 신호들의 저장 및/또는 전송 대역폭을 감소시키기 위해 이러한 신호들을 압축하는데 이용될 수 있다. 블록-기반, 웨이브렛-기반, 객체-기반 시스템들과 같은(그러나 이들로 제한되지 않음) 다양한 타입들의 비디오 코딩 시스템들이 전개될 수 있다. 블록-기반 비디오 코딩 시스템들의 예들은 MPEG1/2/4 부분 2, H.264/MPEG-4 부분 10 AVC 및 VC-1 표준들을 포함(그러나 이들로 제한되지 않음)한다.
도 1은 블록-기반 비디오 인코딩 시스템(100)의 예를 예시하는 블록도이다. 입력 비디오 신호(102)는 블록별로 프로세싱될 수 있다. 예를 들어, 비디오 블록 유닛은 16 픽셀들 x 16 픽셀들(예를 들어, 매크로블록(MB))일 수 있다. 고효율 비디오 코딩(High Efficiency Video Coding; HEVC)과 같은 비디오 코딩 표준이 이용될 수 있다. HEVC에서, 확장된 비디오 크기들(예를 들어, "코딩 유닛" 또는 CU로서 지칭될 수 있음)은 고해상도(예를 들어, 1080p 또는 그 초과)를 압축하는데 이용될 수 있다. 예를 들어, HEVC에서의 CU은 최대 64x64 픽셀들 내지 최소 4x4픽셀들일 수 있다. CU는 별개의 예측 구현들이 적용될 수 있는 예측 유닛들(PU)로 분할될 수 있다. 각각의 입력 비디오 블록(예를 들어, MB, CU, PU 등)은 공간 예측 유닛(160) 및/또는 시간 예측 유닛(162)을 이용함으로써 프로세싱될 수 있다.
공간 예측(또는 인트라 예측)은 현재 비디오 블록을 예측하기 위해 동일한 비디오 화상/슬라이스에서 코딩된 이웃하는 블록으로부터의 픽셀들을 이용할 수 있다. 공간 예측은 비디오 신호에 내재하는 공간 리던던시를 감소시킬 수 있다. 시간 예측(또는 인터 예측 또는 움직임 보상 예측)은 현재 비디오 블록을 예측하기 위해 이미 코딩된 비디오 화상들로부터의 픽셀들을 이용할 수 있다. 시간 예측은 비디오 신호에 내재하는 시간 리던던시를 감소시킬 수 있다. 정해진 비디오 블록에 대한 시간 예측은 현재 블록과 그의 기준 블록들 중 하나 이상 간의 움직임의 양 및/또는 방향을 표시할 수 있는 하나 이상의 움직임 벡터들(MV)에 의해 시그널링될 수 있다.
다수의 기준 화상들이 지원되는 경우(예를 들어, H.264/AVC 및 HEVC에 대한 경우에서 그러할 수 있는 바와 같이), 각각의 비디오 블록에 대해, 그의 기준 화상 인덱스가 송신될 수 있다. 기준 인덱스는 기준 화상 스토어(164) 내의 어느 기준 화상에서 시간 예측 신호가 발생하는지를 식별하는데 이용될 수 있다. 공간 및/또는 시간 예측 이후에, 인코더의 모드 판단 및 인코더 제어기(180)는 예측 모드를 선택할 수 있다. 예측 모드는 예를 들어, 레이트-왜곡 최적화 구현(rate-distortion optimization implementation)에 기초하여 선택될 수 있다. 예측 블록은 부가기(116)에서 현재 비디오 블록으로부터 차감될 수 있다. 예측 잔차는 변환 유닛(104)에 의해 변환되고 양자화 유닛(106)에 의해 양자화될 수 있다. 양자화된 잔차 계수들은 재구성된 잔차를 형성하기 위해 역 양자화 유닛(110)에서 역양자화되고 역 변환 유닛(112)에서 역 변환될 수 있다. 재구성된 블록은 재구성된 비디오 블록을 형성하기 위해 부가기(126)에서 예측 블록에 역으로(back) 부가될 수 있다. 또한, 디블록킹 필터(deblocking filter) 및/또는 적응형 루프 필터(166)와 같은(그러나 이들로 제한되지 않음) 인-루프 필터링(in loop filtering)은 그것이 기준 화상 스토어(164)에 넣어지기 이전에 재구성된 비디오 블록 상에 적용되고 및/또는 미래의 비디오 블록들을 코딩하는데 이용될 수 있다. 출력 비디오 비트스트림(120)을 형성하기 위해, 코딩 모드(예를 들어, 인터 또는 인트라) 정보, 예측 모드 정보, 움직임 정보 및/또는 양자화된 잔차 계수들은 비트스트림(120)을 형성하도록 압축 및 패킹(pack)되기 위해 엔트로피 코딩 유닛(108)에 송신될 수 있다. 예를 들어, 본 명세서에서 설명되는 구현들은 공간 예측 유닛(160) 내에서 적어도 부분적으로 구현될 수 있다.
도 2는 블록-기반 비디오 디코더(200)의 예를 예시하는 블록도이다. 비디오 비트스트림(202)은 엔트로피 디코딩 유닛(208)에서 언패킹되고 엔트로피 디코딩될 수 있다. 코딩 모드 및 예측 정보는 예측 블록을 형성하기 위해 공간 예측 유닛(260)(예를 들어, 인트라 코딩된 경우) 또는 시간 예측 유닛(262)(예를 들어, 인터 코딩된 경우)에 송신될 수 있다. 잔차 변환 계수들은 잔차 블록을 재구성하기 위해 역 양자화 유닛(210) 및 역 변환 유닛(212)에 송신될 수 있다. 예측 블록 및 잔차 블록은 226에서 함께 부가될 수 있다. 재구성된 블록은 그것이 기준 화상 스토어(264)에 저장되기 이전에 인-루프 필터링 유닛(266)을 거칠 수 있다. 예를 들어, 재구성된 비디오(220)는 디스플레이 장치를 구동하기 위해 송신되고 및/또는 미래의 비디오 블록들을 예측하는데 이용될 수 있다.
본 명세서에서 설명되는 구현들은 공간 예측 유닛들(160 및 260)에 응용 가능하게 될 수 있다. 본 명세서에서 설명되는 공간 예측 구현들(예를 들어, 유닛들)은 비디오 코딩 표준들(예를 들어, H.264/AVC, HEVC 등)과 함께 이용될 수 있다. 용어들 "공간 예측" 및 "인트라 예측"은 본 명세서에서 상호 교환 가능하게 이용될 수 있다.
공간 예측은 다양한 크기들 및 형상들의 비디오 블록들 또는 영역들 상에서 수행될 수 있다. 예를 들어, 비디오 신호의 휘도 성분의 공간 예측을 위해 4x4, 8x8 및 16x16 픽셀들의 블록 크기들이 활용될 수 있고(예를 들어, H.264/AVC에서와 같이), 비디오 신호의 채도 성분들을 위해 8x8 픽셀들의 블록 크기가 활용될 수 있다(예를 들어, H.264/AVC에서와 같이). 크기 4x4 또는 8x8의 휘도 블록에 대해, 총 9개의 예측 모드들(예를 들어, 8개의 방향성 예측 모드 및 DC 모드)이 지원될 수 있다. (예를 들어, H.264/AVC에서) 지원될 수 있는 8개의 예측 방향들은 도 3에서 예시된다. 도 3은 지원될 수 있는 예측 모드들의 예를 예시하는 도면이다. 크기 16x16의 휘도 블록에 대해, 총 4개의 예측 모드들(예를 들어, 수평 예측 모드, 수직 예측 모드, DC 예측 모드 및 평면 예측 모드)가 지원될 수 있다. 도 4는 4x4 블록에 대한 수평 예측의 예를 예시하는 도면이다. 도 4에서, 재구성된 픽셀들(402)(P0, P1, P2 및 P3)은 4x4 비디오 블록에서 픽셀들(404)을 예측하는데 이용될 수 있다. 예측은 수학식(1)에 따라 수행될 수 있다:
[수학식 1]
L(x, 0) = P0
L(x, 1) = P1
L(x, 2) = P2
L(x, 3) = P3
여기서 L(x,y)는 (x,y)에서 예측될 픽셀일 수 있으며, x,y = 0, ... ,3이다.
더 큰 블록 크기들을 이용한 공간 예측이 지원될 수 있다(예를 들어, HEVC 테스트 모델 HM3.0에서). 예를 들어, 공간 예측은 4x4, 8x8, 16x16, 32x32, 또는 64x64의 정사각형 블록 크기들 상에서 수행될 수 있다. 부가적인 인트라 예측 모드들이 지원될 수 있는데, 예를 들어, 33개까지의 방향성 인트라 예측 모드들은 DC 예측 모드 및 평면 예측 모드와 함께 지원될 수 있다. 도 5는 (예를 들어, HM3.0에서) 34개의 방향성 인트라 예측 모드들(DC 예측 모드 및 평면 예측 모드를 포함함)의 예를 예시하는 도면이다. 표 1은 (예를 들어, HM3.0에서) 각각의 블록 크기에 대해 지원될 수 있는 다수의 예측 방향들의 예를 예시한다. 방향성 인트라 예측은 (예를 들어, HEVC에서) 1/32-픽셀 정밀도로 수행될 수 있다.
인트라 블록 크기 예측 방향들
4x4 16
8x8 33
16x16 33
32x32 33
64x64 2
비-방향성 인트라 예측 모드들이 또한 지원될 수 있다(예를 들어, H.264/AVC 및 HEVC에서). 예를 들어, DC 예측 모드 및 평면 예측 모드가 지원될 수 있다. DC 모드에 대해, 예측 값은 이용 가능한 이웃하는 픽셀들을 평균화하고 전체 블록에 대해 평균값을 균일하게 적용함으로써 획득될 수 있다. 평면 모드에서, 16x16 휘도 블록들 및 채도 블록들이 (예를 들어, H.264/AVC에서) 활용될 수 있거나, 또는 복수의 블록 크기들이 (예를 들어, HEVC HM3.0에서) 활용될 수 있다. 평면 모드(예를 들어, HEVC HM3.0에서)는 느린 천이들(slow transitions)을 갖는 스무스(smooth)한 영역들을 예측하기 위해 선형 보간을 이용할 수 있다. 도 6은 비-방향성 인트라 예측 모드의 예를 예시하는 도면이다. 도 6에서 도시된 바와 같이, 평면 모드(예를 들어, HM 3.0에서)는 다음의 구현에 의해 수행될 수 있다:
1. 상부 행의 최우측 픽셀(602)(예를 들어, T에 의해 마킹됨)은 최우측 열의 픽셀들을 예측하기 위해 복제될 수 있다;
2. 좌측 열의 하부 픽셀(604)(예를 들어, L에 의해 마킹됨)은 하부 행의 픽셀들을 예측하기 위해 복제될 수 있다;
3. 수평 방향에서 이중 선형 보간(bilinear interpolation)(예를 들어, 블록(606))은 중심 픽셀들의 제 1 예측(H(x,y))을 생성하도록 수행될 수 있다;
4. 수직 방향의 이중 선형 보간(예를 들어, 블록(608))은 중심 픽셀들의 제 2 예측(V(x,y))을 생성하도록 수행될 수 있다;
5. 수평 예측과 수직 예측 간의 부가적인 평균화는 예를 들어, L(x,y) = ((H(x,y) + V(x,y)) >> 1) 를 이용하여 최종 예측(L(x,y))을 획득하도록 수행될 수 있다.
블록-기반 인트라 예측 구현들을 이용하여, 전체 블록은 현재 블록의 상부 및/또는 좌측에 대해 재구성된 이웃하는 픽셀들로부터 예측될 수 있다. 블록의 우측 및 하부 부분에 대해 위치되는 픽셀들에 대해, 예측을 위해 이용될 수 있는 픽셀들과 픽셀들 간의 거리는 증가할 수 있다. 예를 들어, 예측 픽셀들과 예측되고 있는 픽셀들 간에 거리가 증가하면, 이들 픽셀들 간의 상관(correlation)이 감소할 수 있고 예측 정확도가 감소할 수 있다. 정확도의 이러한 감소는 (예를 들어, 더 큰 블록 크기들(예를 들어, 16x16 및 그 초과)을 이용하여 인트라 예측을 지원하는 HEVC에 대해)에 대해 또한 악화될 수 있다.
구현들(예를 들어, 라인-기반 인트라 코딩)은 픽셀 거리가 증가할 때 감소된 예측 정확도에 관련된 이슈들을 처리할 수 있다. 상부 및 좌측 이웃들로부터 전체 블록에 예측을 적용하는 대신, 라인 기반 예측 구현들이 한 번에 하나의 라인 씩 블록을 예측할 수 있다. 각각의 라인이 예측되고 재구성되면, 그것은 다음 라인을 예측하는데 이용될 수 있다. 라인-기반 인트라 예측 구현은 행별로 또는 열별로 수행될 수 있다. 라인-기반 인트라 코딩 구현은 단거리 인트라 예측(Short Distance Intra Prediction 또는 SDIP)으로서 지칭되는 구현 내로 통합될 수 있다. SDIP 구현은 크기 NxN의 각각의 정사각형 블록(예를 들어, NxN은 4x4와 64x64 사이의 임의의 것일 수 있음)을 크기 M x K의 직사각형 블록들의 결합으로 분할할 수 있다. M 또는 K가 1과 동일할 때, SDIP는 라인-기반 인트라 예측과 등가가 될 수 있다. 픽셀들은 직사각형별로 예측되고 재구성될 수 있다. 도 7은 32x32 블록으로 SDIP의 예를 예시하는 도면이다. 32x32 블록은 4개의 16x16 블록들로 분할될 수 있다. 하부-좌측 16x16 블록을 보면, 예를 들어, 그것은 4개의 4x16 직사각형 블록들로 분할될 수 있다. 최좌측 4x16 블록은 또한 4개의 1x16 수직 라인들로 분할되고, 이어서 라인별로 예측 및 재구성될 수 있다. 잔여 3개의 4x16 직사각형 블록들은 직사각형 별로 예측되고 재구성될 수 있다. SDIP는 비디오 블록을 분할하기 위한 유연한 방식들을 제공할 수 있다. 비디오 인코더는 최적의 분할 모드를 찾기 위해 상이한 결합들을 통해 탐색할 수 있다.
라인-기반 인트라 예측 및 SDIP는 예측 픽셀들과 예측되는 픽셀들 간의 거리를 단축시킬 수 있다. 라인-기반 인트라 예측 및 SDIP는 예를 들어, 인코더 측에서 및/또는 디코더 측에서, 계산 복잡도 및 구현 복잡도를 증가시킬 수 있다. 다양한 직사각형 블록 크기들을 지원하기 위해, 변환, 양자화, 잔차 계수 스캐닝, 엔트로피 코딩이 변경될 수 있다. 인코더는 예를 들어, 본 명세서에서 설명되는 바와 같이 다수의 부가적인 모드들을 통해 탐색할 수 있다.
본 명세서에서 설명되는 구현들은 모드-의존 서브샘플링 인트라 예측(Mode-Dependent Subsampling Intra Prediction; MDS-IP)으로서 지칭될 수 있는 인트라 예측 기법들에 관련될 수 있다. MDS-IP는 픽셀 거리가 증가함에 따른 예측 정확도의 감소를 완화 또는 감소시킬 수 있다. 변환, 양자화, 계수 스캐닝, 엔트로피 코딩 프로세스들은 MDS-IP를 구현할 때 약간 수정될 수 있다. 인코더는 최적의 예측 모드를 선택할 때 어떠한 부가적인 모드들도 고려하지 않을 수 있고, 또는 인코더는 최적의 예측 모드를 선택할 때 하나 이상의 부가적인 모드들을 고려할 수 있다.
용어 "비디오 블록"은 광대한 일반 용어로서 본 명세서에서 이용될 수 있다. 본 명세서에서 설명되는 구현들은 휘도 성분의 블록들 및 채도 성분의 블록들과 같은(그러나 이들로 제한되지 않음) 다양한 비디오 블록들에 적용될 수 있다. 용어들 "샘플들" 및 "픽셀들"은 상호 교환 가능하게 이용될 수 있다. 용어들 "서브샘플링된 블록들" 및 "서브 블록들"은 상호 교환 가능하게 이용될 수 있다.
도 8은 MDS-IP를 구현하는 인코더(800)의 예를 예시하는 블록도이다. MDS-IP 인코더 블록도는 인코더, 예를 들어, (예를 들어, 공간 예측 블록(160)에서) 도 1에서 예시된 인코더(100)와 유사한 인코더 내로 통합될 수 있다. 인코더는 하나 이상의 비디오 블록들을 포함하는 비디오 스트림을 (예를 들어, 프로세서를 통해) 수신할 수 있다. 인코더는 제 1 서브샘플링된 블록(810) 및 하나 이상의 잔여 서브샘플링된 블록(826)으로 비디오 블록을 분할할 수 있는 서브샘플링을 비디오 블록 상에서 수행할 수 있다. 예를 들어, 예측 모드를 수신한 이후 그리고 예측 모드(예를 들어, 본 명세서에서 설명된 예측 모드들 중 하나)에 기초하여, 특정한 서브샘플링 구현이 모드-의존 서브샘플링 유닛(840)에 의해 수행될 수 있다. 예측 모드는 예를 들어, 모드 판단 및 인코더 제어기(예를 들어, 도 1의 모드 판단 및 인코더 제어기(180))에 의해 결정될 수 있다. 서브샘플링의 결과로서, 입력 비디오 블록의 부분(예를 들어, 1/2 또는 1/4)이 서브샘플링된 블록(810)으로서 보유될 수 있다. 서브샘플링된 블록(810)은 제 1 서브 블록으로서 지칭될 수 있다. 블록의 다른 부분(예를 들어, 서브샘플링 동안 "제거된" 블록의 부분)은 잔여 서브 블록들(826)(예를 들어, 도 8에서 예시되는 바와 같이)으로서 지칭될 수 있다. 잔여 서브 블록들(826)은 누락 픽셀들을 포함할 수 있다.
서브샘플링 구현은 데시메이션 프로세스(decimation process)일 수 있다. 서브샘플링 구현은 다운샘플링 필터들을 수반하는 비교적 더 복잡한 프로세스일 수 있다. 예측된 서브샘플링된 블록(812)은 예측 모드에 기초하여 인트라 예측 유닛(842)에 의해 결정(예를 들어, 생성)될 수 있다. 인트라 예측 유닛(842)은 예를 들어, 본 명세서에서 설명되는 것과 같이(예를 들어, 도 9 내지 도 17을 참조하여) 이웃하는 픽셀들을 수신할 수 있다. 예측 모드는 예를 들어, 본 명세서에서 설명되는 바와 같이, 방향성 또는 비-방향성 인트라 예측 모드들 중 임의의 것일 수 있다. 예를 들어, 방향성 예측 모드는 수직 예측 모드, 수평 예측 모드, 대각 예측 모드 및 비-대각 예측 모드일 수 있다. 예를 들어, 비-방향성 에측 모드는 DC 예측 모드 또는 평면 예측 모드일 수 있다. 예측된 서브샘플링된 블록(812)은 서브샘플링된 블록 잔차(822)를 얻기 위해 부가기(820)에 의해 서브샘플링된 블록(810)으로부터 차감될 수 있다. 서브샘플링된 블록 잔차(822)는 변환 및 양자화 블록(832)에서 변환 및 양자화될 수 있다. 변환 및 양자화 블록(832)은 서브샘플링된 블록(810)과 연관되는 계수들의 블록을 생성할 수 있다. 서브샘플링된 블록 잔차(822)(예를 들어, 서브샘플링된 블록(810)과 연관되는 계수들의 블록)는 재구성된 서브샘플링된 블록 잔차(824)를 획득하기 위해 역 양자화 및 역 변환 블록(834)에서 역 양자화 및 역 변환될 수 있다. 재구성된 서브샘플링된 블록 잔차(824)는 재구성된 서브샘플링된 블록(814)을 형성하기 위해 부가기(848)에서 예측된 서브샘플링된 블록(812)에 부가될 수 있다.
예를 들어, 변환 및 양자화 블록(832)은 변환 및 양자화 파라미터들의 세트(예를 들어, 제 1 세트)를 이용할 수 있다. 변환 및 양자화 블록(832)에 의해 이용되는 변환 및 양자화 파라미터들의 세트는 비-정사각형 형상 변환에 기초할 수 있다. 비-정사각형 형상 변환은 복수의 정사각형-형상 변환들을 포함할 수 있다. 변환 및 양자화 블록(832)에 의해 이용되는 변환 및 양자화 파라미터들의 세트는 형상-적응형 이산 코사인 변환과 연관될 수 있다.
예를 들어, 역 양자화 및 역 변환 블록(834)은 역 양자화 및 역 변환 파라미터들의 세트(예를 들어, 제 1 세트)를 이용할 수 있다. 역 양자화 및 역 변환 블록(834)에 의해 이용되는 역 양자화 및 역 변환 파라미터들의 세트는 비-정사각형 형상 변환에 기초할 수 있다. 비-정사각형 형상 변환은 복수의 정사각형-형상 변환들을 포함할 수 있다. 역 양자화 및 역 변환 블록(834)에 의해 이용되는 역 양자화 및 역 변환 파라미터들의 세트는 형상-적응형 이산 코사인 변환과 연관될 수 있다.
재구성된 서브샘플링된 블록(814)은 누락 샘플들을 포함하는 하나 이상의 서브샘플링된 블록들(816)에 대한 예측을 생성하기 위해 모드-의존 보간 유닛(844)에 의해 보간될 수 있으며, 이는 예측 모드에 기초할 수 있다. 모드-의존 보간 유닛(844)에 의해 수행되는 특정한 보간 프로세스는 모드-의존적일 수 있다. 예를 들어, 모드-의존 보간 유닛(844)에 의해 수행되는 특정한 보간 프로세스는 모드-의존 서브샘플링 유닛(840)에 의해 활용되는 모드 의존 서브샘플링 프로세스의 리버스 프로세스일 수 있다. 누락 샘플들을 포함하는 하나 이상의 서브샘플링된 블록들(816)의 예측 정확도는, 예측 픽셀들과 예측될 픽셀들 간의 거리가 감소될 수 있기 때문에(예를 들어, 상당히 감소될 수 있음) 비교적 증가될 수 있다.
여전히 도 8을 참조하면, 누락 샘플들을 포함하는 하나 이상의 서브샘플링된 블록들(816)에 대응하는 예측 잔차가 변환 및 양자화 블록(836)에서 변환 및 양자화될 수 있다. 변환 및 양자화 블록(836)은 잔여 서브 블록들(826)과 연관되는 계수들의 블록을 생성할 수 있다. 누락 샘플들을 포함하는 하나 이상의 서브샘플링된 블록들(816)에 대응하는 예측 잔차(예를 들어, 잔여 서브 블록들(826)과 연관되는 계수들의 블록)는 역 양자화 및 역 변환 블록(838)에서 역 양자화 및 역 변환될 수 있다. 재구성된 잔차는 누락 샘플들을 포함하는 재구성된 하나 이상의 서브샘플링된 블록들(818)을 형성하기 위해 누락 샘플들을 포함하는 예측된 하나 이상의 서브샘플링된 블록(들)(816)으로 역으로(back) 부가될 수 있다. 재구성된 서브샘플링된 블록(814) 및 누락 샘플들을 포함하는 재구성된 하나 이상의 서브샘플링된 블록들(818)은 입력 비디오 블록의 코딩된 표현(예를 들어, 재구성된 비디오 블록)을 형성할 수 있다. 입력 비디오 블록의 코딩된 표현의 형성은 예측 모드에 기초할 수 있다.
예를 들어, 변환 및 양자화 블록(836)은 변환 및 양자화 파라미터들의 세트(예를 들어, 제 2 세트)를 이용할 수 있다. 변환 및 양자화 블록(836)에 의해 이용되는 변환 및 양자화 파라미터들의 세트는 비-정사각형 형상 변환에 기초할 수 있다. 비-정사각형 형상 변환은 복수의 정사각형-형상 변환들을 포함할 수 있다. 변환 및 양자화 블록(836)에 의해 이용되는 변환 및 양자화 파라미터들의 세트는 형상-적응형 이산 코사인 변환과 연관될 수 있다.
예를 들어, 역 양자화 및 역 변환 블록(838)은 역 양자화 및 역 변환 파라미터들의 세트(예를 들어, 제 2 세트)를 이용할 수 있다. 역 양자화 및 역 변환 블록(838)에 의해 이용되는 역 양자화 및 역 변환 파라미터들의 세트는 비-정사각형 형상 변환에 기초할 수 있다. 비-정사각형 형상 변환은 복수의 정사각형-형상 변환들을 포함할 수 있다. 역 양자화 및 역 변환 블록(838)에 의해 이용되는 역 양자화 및 역 변환 파라미터들의 세트는 형상-적응형 이산 코사인 변환과 연관될 수 있다.
변환 및 양자화 블록(836)은 변환 및 양자화 블록(832)에 의해 이용된 파라미터들과 동일한 파라미터들을 이용하거나 이용하지 않을 수 있다(예를 들어, 변환 및 양자화 파라미터들의 제 2 세트는 변환 및 양자화 파라미터들의 제 1 세트와 동일하거나 상이할 수 있음). 역 양자화 및 역 변환 블록(838)은 역 양자화 및 역 변환 블록(834)에 의해 이용된 파라미터들과 동일한 파라미터들을 이용하거나 이용하지 않을 수 있다(예를 들어, 역 양자화 및 역 변환 파라미터들의 제 2 세트는 역 양자화 및 역 변환 파라미터들의 제 1 세트와 동일하거나 상이할 수 있음).
누락 샘플들을 포함하는 하나 이상의 서브샘플링된 블록들(816)을 예측하기 위해 서브샘플링된 블록(810)을 이용하는 것은 예측 픽셀들과 예측되는 픽셀들 간의 거리를 감소시킴으로써 예측 정확도를 개선할 수 있다. 다 양호한 예측 정확도는 예측 잔차 에너지가 감소되게 할 수 있으며, 이는 결국 이러한 잔차 신호들을 코딩하는데 이용되는 비트들의 수의 상당한 감소를 발생시킨다. 서브샘플링이 수평 차원에서 및/또는 수직 차원에서 1/2만큼 수행될 때, 결과적인 서브샘플링된 블록 크기들은 규칙적일 수 있다. 예를 들어, 입력 비디오 블록이 크기 2Nx2N로 이루어지는 경우, 서브샘플링된 블록 크기는 2NxN, Nx2N 또는 NxN일 수 있다. 크기 2NxN 또는 Nx2N의 서브샘플링된 블록들을 프로세싱하기 위해, 예를 들어, 정사각형 블록들에 대해 설계된 블록 변환 및 계수 스캐닝 순서들이 추가의 변경 없이 적용될 수 있다. 예를 들어, 크기 2NxN 또는 Nx2N의 서브샘플링된 블록에 대해, 서브샘플링된 블록은 둘(2)의 NxN 변환들을 적용하고 이어서 정사각형 블록들에 대해 설계된 계수 스캐닝 순서가 이어짐으로써 프로세싱될 수 있다. 2NxN 또는 Nx2N 블록 크기들을 지원하도록 블록 변환들 및 계수 스캐닝 순서에 대한 수정들은 개선된 코딩 효율을 위해 적용될 수 있다.
서브샘플링은 2개 이상의 방향들에서 수행될 수 있다. 서브샘플링 레이트들은 방향들 각각에 대해 동일하거나 상이할 수 있다. 예를 들어, 서브샘플링은 제 1 서브샘플링 레이트로 제 1 방향에서 그리고 제 2 서브샘플링 레이트로 제 2 차원에서 수행될 수 있다. 제 1 서브샘플링 레이트는 제 2 서브샘플링 레이트와 동일하거나 상이할 수 있다.
누락 샘플들(816)을 포함하는 하나 이상의 서브샘플링된 블록들에 대해, 예를 들어, 변환 및 양자화 유닛(836) 및 역 양자화 및 역 변환 유닛(838)은 스킵(skip)될 수 있는데(예를 들어, 예측 잔차는 코딩되지 않을 수 있음), 그 이유는 모드-의존 보간 유닛(844)을 이용하는 예측 프로세스가 충분히 정확하여 잔차 코딩이 우회될 수 있기 때문이다. 변환 및 양자화 유닛(836) 및 역 변환 및 역 양자화 유닛(838)은 2개 이상의 단계들로 분할될 수 있고 예를 들어, 본 명세서에서 설명된 바와 같이 캐스케이드 방식(cascaded manner)으로 수행될 수 있다.
MDS-IP 구현을 수행할지에 관한 판단은 인코딩 이전에 판단될 수 있다. 예를 들어, MDS-IP는 특정한 크기들의 블록들 및 특정한 예측 모드들에 대해 수행될 수 있다. 비트스트림에서 어떠한 부가적인 시그널링도 요구되지 않을 수 있다. 선택은 예를 들어, 레이트-왜곡 최적화 고려사항들과 같은(그러나 이것으로 제한되지 않음) 하나 이상의 파라미터들에 기초하여 인코더에 의해 "온-더-플라이(on-the-fly)"로 판단될 수 있다. 부가적인 신택스 엘리먼트는 어느 구현(예를 들어, MDS-IP)이 이용될 수 있는지 디코더에 전달하도록 비트스트림(예를 들어, 비트스트림(120))에서 시그널링될 수 있다. 판단은 예를 들어, 블록의 크기에 기초할 수 있다. 상이한 블록들이 그들의 크기들에 의존하여 거리 야기된 예측 정확도 이슈들에 더 또는 덜 당하기 쉽게 될 수 있다.
인코더가 도 8을 참조하여 설명되었지만, MDS-IP를 구현하는 디코더는 도 8을 참조하여 설명되는 엘리먼트들 중 하나 이상을 포함할 수 있고 및/또는 인코딩된 비디오 스트림을 디코딩하도록 유사한 구현들(예를 들어, 역 구현들)을 수행할 수 있다. MDS-IP 디코더 블록도는 디코더, 예를 들어, 도 2(예를 들어, 공간 예측 블록(260)에서)에서 예시된 디코더(200)와 유사한 디코더 내로 통합될 수 있다. 예를 들어, 변환 및 양자화 및 역 양자화 및 역 변환은 인코더에 의해 서브 블록(810) 및 잔여 서브 블록들(826) 상에서 수행될 수 있을지라도, 디코더는 제 1 서브 블록(810) 및 잔여 서브 블록(826)과 연관된 하나 이상의 계수들의 블록들로부터 비디오 블록을 재구성할 때 역 양자화 및 역 변환을 수행할 수 있지만, 변환 및 양자화를 수행하지 않을 수 있다.
도 20은 모드-의존 서브샘플링 인트라 예측(Mode-Dependent Subsampling Intra Prediction; MDS-IP)을 구현하는 디코더의 예를 예시하는 블록도이다. MDS-IP 디코더(2000)는 디코더, 예를 들어, 도 2(예를 들어, 공간 예측 블록(260)에서)에서 예시된 디코더(200)와 유사한 디코더 내로 통합될 수 있다. MDS-IP 디코더(2000)(예를 들어, 프로세서를 통해)는 인코딩된 비디오 스트림을 수신할 수 있다. 인코딩된 비디오 스트림은 하나 이상의 인코딩된 비디오 블록들을 표현하는 하나 이상의 계수들의 블록들을 포함할 수 있다. 인코딩된 비디오 블록들은 인코딩된 비디오 스트림의 휘도 성분 또는 채도 성분일 수 있다. 하나 이상의 인코딩된 비디오 블록들 각각은 제 1 서브 블록 및 하나 이상의 잔여 서브 블록들로 분할될 수 있다. 제 1 서브 블록과 연관된 계수들의 블록(2010)을 수신한 이후, 디코더는 제 1 서브 블록에 대응하는 재구성된 잔차(2024)를 생성하기 위해 계수들의 블록(2010) 상에서, 역 양자화 및 역 변환 유닛(2034)으로 역 양자화 및 역 변환을 수행할 수 있다. 하나 이상의 잔여 서브 블록들과 연관된 하나 이상의 계수들의 블록들(2026)을 수신한 이후, 디코더는 하나 이상의 잔여 서브 블록들(2028)에 대응하는 재구성된 잔차를 생성하기 위해 하나 이상의 계수들의 블록들(2026) 상에서, 역 양자화 및 역 변환 유닛(2038)으로 역 양자화 및 역 변환을 수행할 수 있다.
디코더는 비디오 블록에 대한 예측 모드의 표시를 수신하고 예측 모드에 기초하여 하나 이상의 보간 기법들을 결정할 수 있다. 예를 들어, 인트라 예측 유닛(2042)은 비디오 블록에 대한 예측 모드의 표시를 수신할 수 있다. 인트라 예측 유닛(2042)은 또한 예를 들어, (예를 들어, 도 9 내지 도 17을 참조하여) 본 명세서에서 설명된 것들과 같이 이웃하는 픽셀들을 수신할 수 있다. 디코더는 예측 모드에 기초하여 인트라 예측을 이용하여 예측된 제 1 서브 블록(2012)을 결정할 수 있다. 디코더는 재구성된 제 1 서브 블록(2014)을 생성하기 위해 제 1 서브 블록에 대응하는 재구성된 잔차(2024)에 예측된 제 1 서브 블록(2012)을 부가할 수 있다. 디코더는 비디오 블록에 대한 하나 이상의 보간 기법들에 기초하여 하나 이상의 잔여 서브 블록들(2016)의 예측된 서브 블록들을 결정할 수 있다. 하나 이상의 잔여 서브 블록들(2016)의 예측된 서브 블록들은 모드-의존 보간 유닛(2044)에 의해 결정될 수 있다. 하나 이상의 보간 기법들은 예측 모드에 기초할 수 있다. 디코더는 하나 이상의 재구성된 잔여 서브 블록들(2018)을 생성하기 위해 하나 이상의 잔여 서브 블록들(2028)에 대응하는 재구성된 잔차에 하나 이상의 잔여 서브 블록들(2016)의 예측된 서브 블록들을 부가할 수 있다. 디코더는 예측 모드, 재구성된 제 1 서브 블록(2014) 및 하나 이상의 재구성된 잔여 서브 블록들(2018)에 기초하여 재구성된 비디오 블록을 형성할 수 있다.
제 1 서브 블록에 대응하는 재구성된 잔차(2024)는 역 양자화 및 역 변환 파라미터들의 세트(예를 들어, 제 1 세트)를 이용하여 생성될 수 있다. 제 1 서브 블록에 대응하는 재구성된 잔차(2024)를 생성하는데 이용된 역 양자화 및 역 변환 파라미터들의 세트는 형상-적응형 이산 코사인 변환과 연관될 수 있다. 예측된 제 1 서브 블록과 연관된 계수들을 역변환하는 것은 비-정사각형 형상 변환을 포함할 수 있다. 비-정사각형 형상 변환은 복수의 정사각형-형상 변환들을 포함할 수 있다. 하나 이상의 잔여 서브 블록들(2028)에 대응하는 재구성된 잔차는 역 양자화 및 역 변환 파라미터들의 세트(예를 들어, 제 2 세트)를 이용하여 생성될 수 있다. 하나 이상의 잔여 서브 블록들(2028)에 대응하는 재구성된 잔차를 생성하는데 이용된 역 양자화 및 역 변환 파라미터들의 세트는 형상-적응형 이산 코사인 변환과 연관될 수 있다. 제 1 서브 블록(2024)에 대응하는 재구성된 잔차를 생성하는데 이용되는 역 양자화 및 역 변환 파라미터들의 세트는 하나 이상의 잔여 서브 블록들(2028)에 대응하는 재구성된 잔차를 생성하는데 이용되는 역 양자화 및 역 변환 파라미터들의 세트와 동일하거나 상이할 수 있다.
도 9의 (A)는 수평 모드를 이용하여 8x8 블록에 대한 예시적인 예측 프로세스를 예시하는 도면이다. 도 9의 (A)에서 화살표들에 의해 예시되는 바와 같이, 이미 코딩된 이웃들로부터의 예측 픽셀들(902)은 8x8 블록(904)을 예측하기 위해 수학식 1을 이용하여 열들(0 내지 7)을 통해 전파될 수 있다. 도 9의 (B) 내지 9의 (C)는 8x8 블록에 대한 예시적인 MDS-IP 프로세스를 예시하는 도면들이다. 8x8 블록이 도시되지만, MDS-IP는 다양한 크기들을 갖는 블록들에 대해 이용될 수 있다. MDS-IP 프로세스에서, 8x8 블록은 수평 방향으로 다운샘플링될 수 있다. 도 9의 (B) 및 도 9의 (C)는 각각 다운샘플링 이전 및 이후의 8x8 블록을 예시할 수 있다. 서브샘플링 이후에 서브 블록에 남아있는 픽셀들은 도 9의 (B)에서 음영질 수 있다. 서브샘플링의 결과로서, 서브샘플링된 블록(910)은 열들(1, 3, 5 및 7)(예를 들어, 도 9c)에서 도시된 바와 같이)을 포함할 수 있다. (예를 들어, 도 9의 (A) 내지 도 9의 (D)에서 도시된 바와 같이) 2:1 서브샘플링 레이트가 이용될 수 있다. 매우 다양한 서브샘플링 레이트들이 이용될 수 있다. 열들(1, 3, 5 및 7)은 예측된 서브샘플링된 블록(812)(예를 들어, 도 8)을 형성하기 위해 수평 방향으로 (예를 들어, 도 9의 (C)에서 화살표들에 의해 표시될 수 있는 바와 같이) 예측될 수 있다. 서브샘플링된 블록의 잔차는 재구성된 예측 잔차(824)를 형성하기 위해 변환, 양자화, 역 변환 및 역 양자화를 거칠 수 있다. 재구성된 예측 잔차(824)는 재구성된 서브샘플링된 블록(814)을 형성하기 위해 예측된 서브샘플링된 블록(812)에 부가될 수 있다. 정사각형 형상의 블록들에 대해 설계된 블록 변환 및 계수 스캐닝이 이용될 수 있다. 예를 들어, 2개의 4x4 블록 변환들은 유닛들(832 및 834)에 의해 변환 및 양자화 및 후속 역 양자화 및 역 변환을 완료하는데 이용될 수 있다. 직사각형 블록들(예를 들어, 도 9의 (C)에서 4x8 블록)을 지원하도록 블록 변환 및 계수 스캐닝 순서에 대한 수정들이 가해질 수 있다. 예를 들어, 4x8 블록 변환 및 적절한 계수 스캐닝은 유닛들(832 및 834)에 의해 이용될 수 있다.
누락 열들(0, 2, 4, 및 6)을 포함하는 4x8 픽셀들의 제 2 서브샘플링된 블록은 이미 코딩된 이웃하는 열 및 열들(1, 3, 5, 7)의 재구성된 픽셀들로부터 보간(예를 들어, 도 9의 (D)에서 예시되는 바와 같이)에 의해 예측될 수 있다. 다양한 보간 필터들이 적용될 수 있다. 예를 들어, 이중 선형 필터, 계수들 [1 -5 20 20 -5 1]/32를 갖는 6-탭 필터, 계수들 [1 3 3 l]/8를 갖는 4-탭 필터 및/또는 다른 탭 길이들을 갖는 다른 보간 필터들이 적용될 수 있다. 도 9의 (D)는 2개의 이웃하는 픽셀들을 이용한 수평 방향에서의 보간을 예시한다. (예를 들어, 더 긴 탭 길이들의 필터들이 이용될 때) 보다 많은 픽셀들이 보간 프로세스에 수반될 수 있다. 수평 예측 모드에 대해 수평 다운샘플링을 수행하는 것은 수평 예측 모드로부터 혜택을 받는 블록들이 수평 방향에서 강한 픽셀 상관을 가질 수 있다는 전제에 기초할 수 있다. 다른 예측 모드들이 다른 다운샘플링 프로세스들을 활용할 수 있다. 제 2 서브샘플링된 블록의 잔차는 예를 들어, 2개의 정사각형 블록 변환들 또는 하나의 직사각형 블록 변환 및 적절한 계수 스캐닝을 이용하여 단계들(836 및 838)(예를 들어, 도 8)에 따라 코딩될 수 있다. 모드 의존 보간이 적합한 결과들을 제공하는 경우, 제 2 서브샘플링된 블록의 잔차를 결정하는 것을 우회(예를 들어, 코딩되지 않음)될 수 있다.
MDS-IP 구현들은 수직 다운샘플링이 픽셀 행들의 절반을 보유하도록 수행될 수 있는 수직 모드(예를 들어, 도 9의 전치된 버전)에서 적용될 수 있으며, 픽셀 행들의 제 1 절반은 예측 및 코딩될 수 있고, 재구성된 행들에 기초한 수직 보간은 픽셀 행들의 제 2 절반을 예측하도록 수행될 수 있다. 도 10은 예시적인 수직 모드 다운샘플링 및 예측 프로세스를 예시하는 도면이다. 도 10의 (A)는 예시적인 8x8 블록(1002)을 예시하는 도면이다. 행들(3 및 7)의 픽셀들은 서브샘플링 이후에 남아있을 수 있는 픽셀들의 행들을 표시하도록 음영질 수 있다. 픽셀들의 상부 행(1004)은 예측 픽셀들의 행일 수 있다. 도 10의 (B)는 행들(3 및 7)을 포함하는 블록(1006)을 산출하는 다운샘플링 이후의 블록의 예를 예시하는 도면이다. 이 행들 내의 픽셀들은 예측되고 코딩될 수 있다. 도 10의 (C)는 행들(0, 1, 2, 4, 5, 및 6)에서 서브샘플링된 픽셀들의 보간의 예를 예시하는 도면이다. 이들 행들은 예측 픽셀들의 상부 행 및 재구성된 행들(3, 7)로부터 보간될 수 있다.
수평 및 수직 예측 모드들과 함께, MDS-IP는 다양한 비-대각 각도 예측 모드들(예를 들어, 0°내지 90°사이의 각도들을 갖는 예측 모드 및 90° 내지 180° 사이의 각도들을 갖는 예측 모드)에 적용될 수 있다. 예를 들어, 대각(예를 들어, 45° 또는 135° 방향을 따라) 예측 모드들은 대각 하향-좌측 모드 및 대각 하향-우측 모드(예를 들어, 도 3에서 모드 3 및 모드 4)를 포함할 수 있다. 대각 방향의 예측 모드들은 VER-8, VER+8 및 HOR-8(예를 들어, 도 5의 모드들 3, 6 및 9)을 포함할 수 있다. 도 11의 (A) 내지 도 11의 (D)는 대각 우하향 모드를 이용하여 예측되는 8x8 블록 상의 MDS-IP 프로세스의 예를 예시하는 도면들이다. MDS-IP는 더 큰 블록 크기들과 같이(그러나 이들로 제한되지 않음) 8x8 이외의 다른 크기들의 블록들에 대해 활용될 수 있다. 도 11에서, 좌측 열의 픽셀들 및 상부 행의 픽셀들은 이미 코딩된 이웃하는 블록들로부터의 예측 픽셀들일 수 있다. 잔여 픽셀들은 예측되는 픽셀들일 수 있다. 도 11의 (A)에서 대각 화살표들에 의해 도시되는 바와 같이, 음영진 예측 픽셀들은 대각 방향을 따라 전파될 수 있다.
각도 예측 모드들에서, 블록은 양 차원들에서 다운샘플링될 수 있다. 예를 들어, 도 11의 (B) 및 도 11의 (C)에서 예시되는 바와 같이, 8x8 블록(1102)은 각각의 차원에서 1/2만큼 그리고 도 11의 (C)에서의 다운샘플링된 블록(1104)을 형성하기 위해 (2n+l, 2m+l) (n, m = 0, ... ,3)에 위치된 픽셀들에 의해 다운샘플링될 수 있다. 이들 잔여 픽셀들은 예를 들어, 도 11의 (C)의 다운샘플링된 블록(1104)에서 화살표들에 의해 도시된 바와 같이, 대각 방향으로 예측될 수 있다. 도 8, 11의 (C) 및 11의 (D)를 참조하면, 서브샘플링된 블록의 예측 잔차는 유닛들(832 및 834)에 의한 프로세싱에 따라 코딩되고 재구성된 서브샘플링된 블록(814)을 획득하기 위해 예측된 서브샘플링된 블록(812)에 역으로 부가될 수 있다. 모드-의존 보간 유닛(844)을 통해, 잔여 3/4을 포함하는 픽셀들의 서브샘플링된 블록들은 이미 코딩된 이웃하는 픽셀들 및 위치들(2n+l, 2m+l), (n,m=0, ... ,3)에서 재구성된 픽셀들로부터의 보간에 의해 예측될 수 있다. 본 명세서에서 설명되는 바와 같이, 다양한 예측 모드들과 연관된 다양한 보간 기법들이 이용될 수 있다.
누락 픽셀들을 포함하는 서브샘플링된 블록들은 예를 들어, 도 11의 (D)에 의해 예시되는 바와 같이, 동일한 시간에 보간에 의해 예측될 수 있다. 예를 들어, 위치들(2n, 2m)(n,m=0, ... ,3)에서의 픽셀들을 포함하는 서브 블록은 예를 들어, 도 11의 (D)의 화살표(1140)에 의해 도시되는 바와 같이, 이미 재구성된 이웃하는 픽셀들 및 위치들(2n+1, 2m+1)(n,m=0, ... ,3)에서의 재구성된 픽셀들을 이용하여 대각 방향의 보간에 의해 예측될 수 있다. 화살표들의 부분(예를 들어, 단지 부분)의 도 11의 (D)에서 예시될 수 있다. 대각 방향을 따른 보간은 그 방향으로 존재하는 더 높은 픽셀 상관으로 인해 이용될 수 있다. 다른 예측 모드들은 상이한 보간 프로세스들을 이용할 수 있다. 위치들(2n, 2m+l)(n,m=0, ... ,3)에서의 픽셀들을 포함하는 서브 블록은 예를 들어, 도 11의 (D)에서 화살표들(1142)에 의해 도시된 바와 같이, 이미 재구성된 이웃하는 픽셀들 및 위치들(2n+1, 2m+1)(n,m=0, ... ,3)에서의 재구성된 픽셀들을 이용하여 수평 방향의 보간에 의해 예측될 수 있다. 위치들(2n+l, 2m)(n,m=0, ... ,3)에서의 픽셀들을 포함하는 서브 블록은 예를 들어, 도 11의 (D)에서 화살표들(1144)에 의해 도시되는 바와 같이, 이미 재구성된 이웃하는 픽셀들 및 위치들(2n+l, 2m+l)(n,m=0, ... ,3)에서의 재구성된 픽셀들을 이용하여 수직 방향에서의 보간에 의해 예측될 수 있다.
수평 방향 및/또는 수직 방향에서 상이한 필터 탭 길이들을 갖는 상이한 보간 필터들이 이용될 수 있는 것과 같이(그러나 이들로 제한되지 않음) 보간 프로세스에 대한 수정들이 가해질 수 있다. 예측 이후에, 각각 위치들(2n,2m), (2n,2m+l) 및 (2n+l, 2m)에서 누락 픽셀들을 포함하는 3개의 서브 블록들의 예측 잔차가 유닛들(836 및 838)(예를 들어, 도 8)에 의한 프로세싱에 따라 코딩되고 누락 픽셀들(818)을 포함하는 3개의 재구성된 서브 블록들을 획득하도록 예측 신호에 역으로 부가될 수 있다.
도 12의 (A) 내지 도 12의 (D)는 대각 예측 모드 보간 및 예측 프로세스의 예들을 예시하는 도면들이다. 도 12를 참조하면, 누락 픽셀들을 포함하는 서브 블록들은 케스케이드(예를 들어, 다중-스테이지) 방식으로 예측 및 재구성될 수 있다. 도 12의 (A) 및 도 12의 (B)를 참조하면, 입력 블록(1202)은 다운샘플링된 블록(1204)을 산출하기 위해 2차원으로 다운샘플링(예를 들어, 양 차원들에서 2:1 서브샘플링 레이트로)될 수 있다. 서브샘플링 이후에 블록에 남아있는 픽셀들은 도 12의 (A)에서 음영질 수 있다. 블록(1204)에서의 픽셀들은 예를 들어, 도 12의 (B)에서 화살표들에 의해 표시되는 바와 같이 임의의 적합한 인트라 예측 기법을 이용하여 인트라 예측될 수 있다. 도 12의 (C)에서 블록(1206)에 의해 예시되는 바와 같이, 위치들(2n, 2m)(n,m=0, ... ,3)에서의 픽셀들은 예를 들어, 이미 코딩된 이웃하는 픽셀들 및 위치들(2n+1, 2m +1)(n,m=0, ... ,3)에서의 재구성된 픽셀들을 이용하여 대각 방향(예를 들어, 화살표들(1220)에 의해 도시된 바와 같이)의 보간에 의해 예측될 수 있다. 위치들(2n, 2m)(n,m=0, ... ,3)에서의 샘플들을 포함하는 서브 블록의 예측 잔차는 단계들(836 및 838)(예를 들어, 도 8)에 따라 코딩될 수 있다. 재구성된 잔차는 위치들(2n, 2m)에서의 픽셀들을 포함하는 재구성된 서브 블록을 획득하기 위해 예측에 역으로 부가될 수 있다. 예를 들어, 도 12의 (D)에서 블록(1208)에 의해 도시되는 바와 같이, 위치들(2n, 2m+1)에서의 잔여 픽셀들을 포함하는 서브 블록 및 위치들(2n+1, 2m)에서의 잔여 픽셀들을 포함하는 서브 블록은 재구성되는 픽셀들을 이용하여 예를 들어, 각각 화살표들(1222)을 이용하여 그리고 화살표들(1224)을 이용한 보간에 의해 예측될 수 있다.
도 13은 보간 기법의 예를 예시하는 도면이다. 도 13의 (A)의 입력 블록(1302)은 도 13의 (B)에서 도시된 다운샘플링된 블록(1304)을 산출하도록 2개의 방향들로 다운샘플링될 수 있다. 다양한 픽셀들이 다운샘플링 이후에 남아있는 픽셀들을 도시하기 위해 도 13의 (A)에서 음영질 수 있다. 다운샘플링된 블록(1304)에서의 픽셀들은 도 13의 (B)에서 대각 화살표들에 의해 표시된 바와 같이 예측될 수 있다. 예측된 픽셀의 재구성에 후속하여, 위치들(2n, 2m)에서의 픽셀들 및 위치들(2n, 2m+1)에서의 픽셀들은 예를 들어, 도 13c에서 도시된 바와 같이, 각각 대각 방향(예를 들어, 화살표들(1320)) 그리고 수평 방향(예를 들어, 화살표들(1324))의 보간에 의해 예측될 수 있다. 위치들(2n, 2m)에서의 샘플들을 포함하는 서브 블록들 및 위치들(2n, 2m+1)에서의 샘플들을 포함하는 서브 블록의 예측 잔차들은 유닛들(836 및 838)에 의한 프로세싱에 따라 코딩될 수 있다. 재구성된 잔차는 각각 위치들(2n, 2m)에서의 픽셀들을 포함하는 재구성된 서브 블록 및 위치들(2n, 2m+1)에서의 픽셀들을 포함하는 재구성된 서브 블록을 획득하도록 역으로 부가될 수 있다. 예를 들어, 위치들(2n, 2m)에서의 픽셀들, 위치들(2n, 2m+1)에서의 픽셀들 및 위치들(2n+1, 2m+1)에서의 픽셀들이 재구성될 수 있는 도 13의 (D)에서 블록(1308)에 의해 도시되는 바와 같이, 위치들(2n+1, 2m)에서의 픽셀들을 포함하는 잔여 서브 블록은 대각 방향(예를 들어, 화살표(1326))으로 예측될 수 있고 및/또는 잔차는 유닛들(836 및 838)에 의한 프로세싱에 따라 코딩될 수 있다.
누락 픽셀들이 케스케이드 방식으로 예측되고 재구성되는 경우, 잔차 코딩 단계들(예를 들어, 유닛들(836 및 838)에 의해 수행되는 바와 같은) 중 하나 이상은, 예를 들어, 예측이 충분히 정확하거나 계산 복잡도가 충분히 높으면 우회될 수 있다. 이러한 단계들 중 하나 이상이 우회될지 여부는 인코더에 의해 판단되고 예를 들어, coded_block_flag를 0으로 세팅함으로써 비트스트림에서 디코더에 시그널링될 수 있다. 인코더 및 디코더는 사전에 (만약 있다면) 단계들이 우회될지에 동의할 수 있다. 본 명세서(예를 들어, 도 12의 (D))에서 설명되는 바와 같이, 화살표들(1222, 1224)을 이용하여 위치들(2n+1, 2m) 및 위치들(2n, 2m+1)에서의 픽셀들의 예측에 이어서, 인코더 및 디코더는 입력 블록에 대한 MDS-IP 프로세스를 마무리할 수 있고, 유닛들(836 및 838)에서의 동작들은 우회될 수 있다. 보간 프로세스들은 이중 선형 필터, 4-탭 또는 6-탭 1D 필터들 및/또는 4x4 또는 6x6 2D 비-분리 필터(non-separable filter)들과 같은(그러나 이들로 제한되지 않음) 상이한 특성들(예를 들어, 상이한 탭 길이들 및 계수들)의 보간 필터들을 이용할 수 있다.
MDS-IP 프로세싱이 본 명세서에서 설명되었지만, 다른 대각 예측 모드들에 대한 유사한 프로세싱 기법들이 수행될 수 있다. 예를 들어, H.264/AVC 및 HEVC 양자는 다른 방향성 예측 모드들을 지원할 수 있다. 이들 모드들은, 이러한 모드들의 예측 방향이 더 미세한 각도(finer angle)를 따르기 때문에, 서브-픽셀 정밀도가 예측을 위해 고려될 수 있다. 이들 예측 모드들에 대한 MDS-IP 프로세스는 비-직사각형 형상들을 갖는 픽셀들의 블록의 코딩을 활용할 수 있다. 이들 방향성 예측 모드들에 대한 MDS-IP 프로세스는 이들 모드들에 대한 방향성 인트라 예측을 이용하여 턴 오프될 수 있다. 비-직사각형 형상들(예를 들어, 형상-적응형 DCT)의 변환 및 적절한 계수 스캐닝은 이들 예측 모드들에 대한 MDS-IP 프로세싱에 적용될 수 있다.
도 14의 (A) 내지 도 14의 (D)는 비-대각 각도 예측 모드에 대한 보간 기법의 예를 예시하는 도면들이다. 도 14의 (A)에서 입력 블록(1402)은 도 14의 (B)에서 도시된 다운샘플링된 블록(1404)을 산출하기 위해 2개 이상의 방향(예를 들어, 2개의 방향들)에서 다운샘플링될 수 있다. 다양한 픽셀들이 다운샘플링 이후에 남아있는 픽셀들을 도시하기 위해 도 14의 (A)에서 음영질 수 있다. 다운샘플링된 블록(1404)에서의 픽셀들은 예를 들어, 도 14의 (B)에서 비-대각 각도 화살표들에 의해 표시된 바와 같이 예측될 수 있다. 비-대각 각도 화살표들은 비-45°도/비-135° 각도 대각 예측 모드에 대응할 수 있다. 4:1 서브샘플링 레이트(예를 들어, 2개의 방향들에서 2:1)가 도 14에서 예시될 수 있지만, 다른 샘플링 레이트가 이용될 수 있다. 예를 들어, 2:1 서브샘플링 레이트, 6:1 서브샘플링 레이트, 8:1 서브샘플링 레이트, 또는 다양한 다른 적합한 서브샘플링 레이트들이 이용될 수 있다. 도 14의 (C)에서 블록(1406)에 의해 예시되는 바와 같이, 위치들(2n, 2m)(n,m=0, ... ,3)에서의 픽셀들은 위치들(2n-1, 2m-3)에서의 이미 재구성된 이웃하는 픽셀들 및 위치들(2n+1, 2m+3)에서의 재구성된 픽셀들을 이용하여 각도 방향(예를 들어, 화살표들(1420)에 의해 도시된 바와 같이)의 보간에 의해 예측될 수 있다. 위치들(2n, 2m)(n,m=0, ... ,3)에서의 샘플들을 포함하는 서브 블록의 예측 잔차는 단계들(836 및 838)(예를 들어, 도 8)에 따라 코딩될 수 있다. 재구성된 잔차는 위치들(2n, 2m)에서의 픽셀들을 포함하는 재구성된 서브 블록을 획득하기 위해 예측에 역으로 부가될 수 있다. 도 14의 (D)에서 블록(1408)에 의해 도시된 바와 같이, 잔여 픽셀들을 포함하는 서브 블록은 재구성된 픽셀들(예를 들어, 화살표들(1426)에 의해 표시된 바와 같이, (2n-l, 2m-2) 및 (2n+l, 2m+2)에서의)을 이용한 보간에 의해 예측될 수 있다.
도 15의 (A) 내지 도 15의 (C)는 비-대각 각도 예측 모드(예를 들어, 비-45°/비-135°))를 이용하여 예측되는 8x8 블록 상의 MDS-IP 프로세스의 예를 예시하는 도면들이다. 픽셀 가중화 프로세스는 보간을 원조할 수 있다. 8x8 블록이 도 15의 (A) 내지 도 15의 (C)에서 도시될 수 있지만, MDS-IP는 다양한 크기들을 갖는 블록에 대해 활용될 수 있다. 도 15에서, 좌측 열의 픽셀들 및 상부 행의 픽셀들은 이미 코딩된 이웃하는 블록들로부터의 예측 픽셀들일 수 있다. 블록(1502)은 양자의 차원들에서 다운샘플링될 수 있다. 예를 들어, 도 15의 (A) 및 도 15의 (B)에서 예시된 바와 같이, 8x8 블록(1502)은 각각의 차원에서 1/2만큼 다운샘플링될 수 있고, 위치들(2n+1, 2m+1)(n,m=0, ... ,3)에 위치된 픽셀들은 도 15의 (B)에서 다운샘플링된 블록(1504)을 형성할 수 있다. 이들 잔여 픽셀들은 예를 들어, 도 15의 (B)의 다운샘플링된 블록(1504)에서 화살표들에 의해 도시된 바와 같이, 비-대각 각도 방향으로 예측될 수 있다. 도 8, 도 15의 (B) 및 도 15의 (C)을 참조하면, 서브샘플링된 블록의 예측 잔차는 유닛들(832 및 834)에 의한 프로세싱에 따라 코딩되고 재구성된 서브샘플링된 블록(814)을 획득하기 위해 예측된 서브샘플링된 블록(812)으로 역으로 부가된다. 모드-의존 보간 유닛(844)을 통해, 잔여 3/4을 포함하는 픽셀들의 서브샘플링된 블록들은 재구성된 서브샘플링된 블록(814)으로부터의 보간에 의해 예측될 수 있다. 누락 픽셀들을 포함하는 서브샘플링된 블록들은 예를 들어, 도 15의 (C)에 의해 예시되는 바와 같이 가중화 구현들을 이용하여 동일한 시간에 보간에 의해 예측될 수 있다. 예를 들어, 위치들(2n, 2m)(n,m=0, ... ,3)에서의 픽셀들을 포함하는 서브 블록은 예를 들어, 블록(1506) 및 화살표들(1540)에 의해 도시된 바와 같이, 이미 재구성된 이웃하는 픽셀들 및 위치들(2n+1, 2m+1)(n,m=0, ... ,3)에서의 재구성된 픽셀들을 이용하여 대각 방향의 보간에 의해 예측될 수 있다. 보간 프로세스는 픽셀들을 상이하게 가중화할 수 있다. 예를 들어, 보간 프로세스는 "하위 우측" 픽셀보다 "상위 좌측" 픽셀을 더 중하게 가중화할 수 있다. 특정한 가중화 구현은 활용되는 예측 모드에 의존할 수 있다. 예를 들어, "상위 좌측" 픽셀에는 70% 가중화 팩터가 주어질 수 있는 반면에, "하위 우측" 픽셀에는 30%의 가중화 팩터가 주어질 수 있다. 위치들(2n, 2m+1)(n,m=0, ... ,3)에서의 픽셀들을 포함하는 서브 블록은 예를 들어, 도 15의 (C)에서 화살표들(1542)에 의해 도시된 바와 같이 이미 재구성된 이웃하는 픽셀들 및 위치들(2n+1, 2m+1)(n,m=0, ... ,3)에서의 재구성된 픽셀들을 이용하여 수평 방향의 보간에 의해 예측될 수 있다. "좌측" 픽셀 및 "우측" 픽셀에는 동일하거나 상이한 가중화 팩터들이 주어질 수 있다. 예를 들어, "좌측" 픽셀에는 55%의 가중화가 주어질 수 있는 반면에, "우측" 픽셀에는 45%의 가중화가 주어질 수 있다. 위치들(2n+1, 2m)(n,m=0, ... ,3)에서의 픽셀들을 포함하는 서브 블록은 예를 들어, 도 15의 (C)에서 화살표들(1544)에 의해 도시된 바와 같이 이미 재구성된 이웃하는 픽셀들 및 위치들(2n+1, 2m+1)(n,m=0, ... ,3)에서의 재구성된 픽셀들을 이용하여 수직 방향의 보간에 의해 예측될 수 있다. "상부" 픽셀 및 "하부" 픽셀에는 동일하거나 상이한 가중화 팩터들이 주어질 수 있다. 예를 들어, "상부" 픽셀에는 60%의 가중화가 주어질 수 있고 "우측" 픽셀에는 40%의 가중화가 주어질 수 있다.
예측 모드에 기초한 상이한 가중화 팩터들과 같이(그러나 이들로 제한되지 않음) 보간 프로세스에 대한 수정들이 가해질 수 있다. 예측 이후에, 각각 위치들(2n, 2m), (2n, 2m+l) 및 (2n+l, 2m)에서의 누락 픽셀들을 포함하는 3개의 서브 블록들의 예측 잔차는 유닛들(836 및 838)에 의한 프로세싱에 따라 코딩될 수 있고 누락 픽셀들(838)을 포함하는 3개의 재구성된 서브 블록들을 획득하도록 예측 신호에 역으로 부가될 수 있다. 위치들 (2n, 2m), (2n, 2m+l) 및 (2n+l, 2m)에서의 누락 픽셀들에 대한 잔차 코딩 프로세스는 인코더 및/또는 디코더에 의해 우회될 수 있다.
예시적인 보간 기법들이 수평, 수직, 대각 및 비-대각 각도 예측 모드들에 대해 예시되었지만, 본 명세서에서 설명되는 MDS-IP 구현들은 다양한 비디오 인코딩 및 디코딩 예측 모드들에 이용될 수 있다. 동일한 보간 기법 또는 상이한 보간 기법들이 하나 이상의 서브 블록들에 적용될 수 있다. 보간 기법(들)은 예측 모드에 기초하여 선택될 수 있는 하나 이상의 필터들을 포함할 수 있다. 예를 들어, 보간 필터는 다른 것들 중에서도, 4-탭 1-차원 필터, 6-탭 1-차원 필터, 4x4 2-차원 필터, 6x6 2-차원 필터일 수 있다. 하나 이상의 보간 필터들은 예측 모드에 기초하여 선택될 수 있는 하나 이상의 보간 방향들에 따라 적용될 수 있다.
DC 모드 및 평면 예측 모드와 같은(그러나 이들로 제한되지 않음) 비-방향성 예측 모드들이 지원될 수 있다. DC 예측은 이미 재구성된 이웃하는 블록들(예를 들어, "A"로서 표시된 도 16의 (A)의 최좌측 열 및 상부 행)로부터 예측 픽셀들의 평균을 취하고 예측될 전체 블록(예를 들어, 도 16의 (A)에서 8x8 블록(1602))에 평균 값을 할당함으로써 수행될 수 있다. 평면 모드(예를 들어, HEVC HM3.0에서와 같이)는 예를 들어, 도 6을 참조하여 본 명세서에서 설명될 수 있다. 비-방향성 예측 모드들은 평평한 지역들 또는 느린/스무스한 그라디언트(smooth gradient)들을 갖는 지역들에 적합할 수 있다. 도 16의 (A) 내지 도 16의 (D) 및 도 17의 (A) 내지 도 17의 (D)는 DC 예측 모드를 이용하여 예측된 8x8 블록 상에 적용되는 MDS-IP 프로세싱의 예들을 예시하는 도면들이다. 8x8 블록이 도시될 수 있지만, MDS-IP는 더 큰 블록들을 프로세싱하는데 이용될 수 있다. 도 16의 (A)에서 블록(1602)은 DC 예측 구현의 예를 예시한다. 도 16의 (B) 내지 도 16의 (D)는 본 명세서에서 설명된 구현들에 따른 프로세싱 기법들의 예들을 예시한다.
예를 들어, 도 16의 (B) 내지 도 16의 (C)에서 도시된 바와 같이, 8x8 블록(1604)은 4x4 블록(1606)을 생성하기 위해 각각의 차원에서 1/2만큼 다운샘플링될 수 있다. 위치들(2n+1, 2m+1)(n,m=0, ... ,3)에 위치된 픽셀들은 이미 재구성된 이웃하는 블록들(예를 들어, 도 16의 (C)의 최좌측 열 및 상부 열)로부터의 예측 픽셀들의 평균을 취함으로써 예측될 수 있다. 서브샘플링된 블록(822)(예를 들어, 도 8)의 예측 잔차는 유닛들(832 및 834)에 의한 프로세싱에 따라 코딩될 수 있고 재구성된 서브샘플링 블록(814)을 획득하기 위해 예측된 서브샘플링된 블록(812)에 역으로 부가될 수 있다. 잔여 3/4을 포함하는 픽셀들의 서브 블록들은 이미 코딩된 이웃하는 픽셀들 및 위치들(2n+1, 2m+1)(n,m=0, ... ,3)에서의 재구성된 픽셀들로부터의 보간에 의해 예측될 수 있다.
도 16의 (D)를 참조하면, 누락 픽셀들은 동일한 시간에 보간에 의해 예측될 수 있다. 예를 들어, 위치들(2n, 2m)(n,m=0, ... ,3)에서의 픽셀들을 포함하는 서브 블록은 예를 들어, 화살표들(1620)에 의해 도시된 바와 같이, 이미 재구성된 이웃하는 픽셀들 및 위치들(2n+1, 2m+1)(n,m=0, ... ,3)(예를 들어, MDS-IP의 제 1 단계로부터)에서의 재구성된 픽셀들을 이용한 보간에 의해 예측될 수 있다. 화살표들(1620)의 부분은 도 16의 (C)에서 도시될 수 있다. 화살표들(1620)에 의해 표시되는 보간은 어떠한 방향성도 소유하지 않을 수 있다(예를 들어, 비-방향성 예측 모드로 인해). 4개의 픽셀들의 평균화가 충분할 수 있다. 위치들(2n, 2m+1)(n,m=0, ... ,3)에서의 픽셀들을 포함하는 서브 블록은 예를 들어, 도 16의 (C)의 화살표(1622)에 의해 도시된 바와 같이, 이미 재구성된 이웃하는 픽셀들 및 위치들(2n+1, 2m+1)(n,m=0, ... ,3)에서의 재구성된 픽셀들을 이용하여 수평 방향의 보간에 의해 예측될 수 있다. 위치들(2n+1, 2m)(n,m=0, ... ,3)에서의 픽셀들을 포함하는 서브 블록은 예를 들어, 도 16의 (C)의 화살표들(1624)에 의해 도시된 바와 같이, 이미 재구성된 이웃하는 픽셀들 및 위치들(2n+1, 2m+1)(n,m=0, ... ,3)에서의 재구성된 픽셀들을 이용하여 수직 방향의 보간에 의해 예측될 수 있다.
수평 방향에서 및/또는 수직 방향에서 상이한 필터 탭 길이들을 갖는 상이한 보간 필터들을 이용하는 것과 같이(그러나 이들로 제한되지 않음), 보간 프로세스에 대한 수정들이 가해질 수 있다. 예측 이후에, 누락 픽셀들을 포함하는 서브 블록의 예측 잔차는 유닛들(836 및 838)에 의한 프로세싱에 따라 코딩되고 누락 픽셀들(818)을 포함하는 재구성된 서브 블록들을 획득하기 위해 누락 픽셀들을 포함하는 서브 블록들의 예측에 역으로 부가될 수 있다.
도 17a 내지 도 17d는 보간 구현의 예를 예시하는 도면들이다. 입력 블록(1702)은 다운샘플링된 블록(1704)(예를 들어, 도 16의 (C)에서 블록(1606)과 유사할 수 있음)을 산출하기 위해 2개의 방향들에서 다운샘플링될 수 있다. 누락 픽셀들을 포함하는 서브 블록들은 케스케이드(예를 들어, 다중-스테이지) 방식으로 예측 및 재구성될 수 있다. 도 17의 (C)에서 화살표(1720)에 의해 표시되는 바와 같이, 위치들(2n, 2m)(n,m=0, ... ,3)에서의 픽셀들은 이미 재구성된 이웃하는 픽셀들 및 위치들(2n+1, 2m+1)(n,m=0, ... ,3)에서의 재구성된 픽셀들을 이용한 보간에 의해(예를 들어, 단순한 평균화를 이용하여) 예측될 수 있다. 위치들(2n, 2m)(n,m=0, ... ,3)에서의 샘플들을 포함하는 서브 블록의 예측 잔차는 유닛들(836 및 838)에 의한 프로세싱에 이어서 코딩될 수 있다. 재구성된 잔차는 위치들(2n, 2m)에서의 픽셀들을 포함하는 재구성된 서브 블록을 획득하기 위해 예측에 역으로 부가될 수 있다. 도 17의 (D)에서 도시된 바와 같이, 위치들(2n, 2m+1)에서의 잔여 픽셀들을 포함하는 서브 블록 및 위치들(2n+1, 2m)에서의 잔여 픽셀들을 포함하는 서브 블록은 예를 들어, 각각 화살표들(1722)을 이용하여 그리고 화살표들(1724)을 이용하여 재구성될 수 있는 픽셀들을 이용한 보간에 의해 예측될 수 있다.
도 16의 (C), 도 17의 (C) 및 도 17의 (D)에서의 보간 프로세스는 이중 선형 필터(예를 들어, 단순한 평균화), 4-탭 또는 6-탭 1D 필터들, 및/또는 4x4 또는 6x6 2D 비-분리 필터들과 같은(그러나 이들로 제한되지 않음) 상이한 특성들(예를 들어, 상이한 탭 길이들 및 계수들)의 보간 필터들을 이용할 수 있다. MDS-IP 구현들이 예로서 DC 예측 모드를 이용하여 본 명세서에서 설명될 수 있지만, 다른 비-방향성 예측 모드들(예를 들어, 평면 예측 모드)에 대한 MDS-IP 구현들은 실질적으로 유사할 수 있다.
MDS-IP는 매우 다양한 예측 모드들에 적용 가능하게 될 수 있다. 상이한 예측 모드들에 대한 특정한 MDS-IP 구현들은 변동될 수 있지만, 이들은 일반적으로 2-단계 프로시저를 포함할 수 있다. 예를 들어, 제 1 단계에서, 입력 비디오 블록의 픽셀들의 부분(예를 들어, 1/2 또는 1/4)을 포함하는 서브샘플링된 블록은 모드-의존 서브샘플링 프로세스를 적용함으로써 생성될 수 있다. 서브샘플링된 블록은 예측 모드에 기초하여 예측될 수 있고 서브샘플링된 블록의 예측 잔차는 재구성된 잔차를 획득하도록 컴퓨팅되고 코딩될 수 있다. 재구성된 서브샘플링된 블록은 이어서 생성될 수 있다. 예를 들어, 제 2 단계에서, 입력 비디오 블록의 잔여 픽셀들을 포함하는 하나 이상의 서브 블록들은 이미 코딩된 이웃하는 픽셀들 및 이전에 생성된 재구성된 서브샘플링된 블록으로부터의 보간에 의해 예측될 수 있다. 특정한 보간 프로세스(예를 들어, 보간 필터, 보간 방향 등)가 예측 모드에 의존할 수 있다. 입력 비디오 블록의 잔여 픽셀들을 포함하는 하나 이상의 서브 블록들의 예측 잔차는 코딩될 수 있다.
본 명세서에서 설명된 바와 같이, 누락 픽셀들을 포함하는 서브 블록들은 케스케이드(예를 들어, 다중-스테이지) 방식으로 예측되고 재구성될 수 있다. 예를 들어, 제 1 위치(예를 들어, 도 12를 참조하면 위치들(2n, 2m))에서의 픽셀들은 재구성된 서브 블록들의 제 1 부분으로서 지칭될 수 있다. 제 2 위치(도 12를 참조하면 위치들(2n, 2m+1) 및/또는 위치들(2n+1, 2m))에서의 픽셀들은 재구성된 서브 블록들의 제 2 부분으로서 지칭될 수 있다. 재구성된 서브 블록들의 제 2 부분은 재구성된 서브 블록들의 생성된 제 1 부분에 적어도 부분적으로 기초하여 (예를 들어, 도 12의 (D), 도 13의 (D), 도 14의 (D)의 (D)에서 도시된 바와 같이) 생성될 수 있다. 재구성된 서브 블록들의 제 2 부분을 생성하는데 이용되는 변환 및 양자화 파라미터들(예를 들어, 제 3 세트)은 서브 블록들의 재구성된 잔차를 생성하는데 이용되는 변환 및 양자화 파라미터들의 세트(예를 들어, 제 1 세트) 또는 재구성된 서브 블록들의 제 1 부분을 생성하는데 이용되는 변환 및 양자화 파라미터들의 세트(예를 들어, 제 2 세트)와 동일할 수 있다.
구현들은 원하는 결과들을 달성하기 위한 다양한 접근법들을 활용할 수 있다. 예를 들어, 서브샘플링된 블록들(예를 들어, MDS-IP의 제 1 및/또는 제 2 단계 동안 생성됨) 중 하나 이상은 정사각형 형상으로 이루어지지 않을 수 있다. 비-정사각형 형상의 서브샘플링된 블록들에 대해 설계된 2D 변환은 물론 적절한 계수 스캐닝 순서들이 설계되고 적용될 수 있다. 정사각형-형상의 2D 변환은 물론 스캐닝 순서는 비-정사각형의 직사각형 형상의 서브 블록들에 적용될 수 있다.
MDS-IP의 제 1 단계에서 잔차 코딩 프로세스(예를 들어, 유닛들(832 및 834)) 및 MDS-IP의 제 2 단계에서 잔차 코딩 프로세스(예를 들어, 유닛들(836 및 838))는 동일할 수 있거나 동일하지 않을 수 있다. 동일한 변환 및 양자화 파라미터들 또는 상이한 변환 및 양자화 파라미터들은 이들 단계들 동안 적용될 수 있다. 변환 유닛(104), 양자화 유닛(106), 역 양자화 유닛(110) 및 역 변환 유닛(112)(도 1에서 도시된 바와 같은) 중 하나 이상의 MDS-IP 프로세싱에 의해 이용될 수 있다.
모드-의존 보간 프로세스(예를 들어, 모드-의존 보간 유닛(844)에 의해 수행될 수 있는 바와 같은)는 누락 샘플들을 포함하는 하나 이상의 서브샘플링된 블록들에 대한 예측 신호에 이어서 재구성되는 누락 샘플들을 포함하는 하나 이상의 서브샘플링된 블록들에 대한 잔차를 생성할 수 있다. 예측 및 잔차 생성은 예를 들어, 누락 샘플들을 포함하는 하나 이상의 서브 블록들의 제 1 부분이 먼저 코딩될 수 있고, 이어서 누락 샘플들을 포함하는 하나 이상의 서브 블록들의 제 2 부분을 예측 및 코딩하는데 이용될 수 있는 케스케이드 방식으로 수행될 수 있다.
MDS-IP 프로세싱의 제 1 단계 및 MDS-IP 프로세싱의 제 2 단계 동안 생성된 예측 잔차들이 코딩될 수 있다. MDS-IP의 제 2 단계 동안 생성된 예측 잔차들 중 적어도 일부는 코딩되지 않을 수 있다.
도 18은 통신 시스템의 예를 예시하는 도면이다. 인코더(1802)는 연결(1808)을 통해 통신 네트워크(1804)와 통신할 수 있다. 인코더(1802)는 본 명세서에서 설명되는 바와 같은 MDS-IP 프로세싱을 활용할 수 있다. 연결(1808)은 유선 연결 또는 무선 연결일 수 있다. 디코더(1806)는 연결(1810)을 통해 통신 네트워크(1806)와 통신할 수 있다. 디코더(1806)는 본 명세서에서 설명되는 바와 같은 MDS-IP 프로세싱을 활용할 수 있다. 연결(1810)은 유선 연결 또는 무선 연결일 수 있다. 통신 네트워크(1806)는 예를 들어, 본 명세서에서 설명되는 바와 같이 적합한 타입의 통신 시스템일 수 있다. 인코더(1806)는 디지털 텔레비전, 무선 통신 장치, 무선 브로트캐스트 시스템들, 개인 휴대 정보 단말들(PDA들), 랩톱 또는 데스크톱 컴퓨터들, 태블릿 컴퓨터들, 디지털 카메라들, 디지털 레코딩 장치들, 비디오 게임 장치들, 비디오 게임 콘솔들, 셀룰러 또는 위성 라디오 전화들, 디지털 미디어 재생기들 등과 같은(그러나 이들로 제한되지 않음) 매우 다양한 단말들 중 임의의 것 내에 통합될 수 있다.
도 19a는 하나 이상의 개시된 실시예들이 구현될 수 있는 예시적인 통신 시스템(100)의 다이어그램이다. 통신 시스템(1900)은 음성, 데이터, 비디오, 메시징, 브로드캐스트 등과 같은 콘텐츠를 다수의 무선 사용자들에 제공하는 다중 액세스 시스템일 수 있다. 통신 시스템(1900)은 무선 대역폭을 포함하는 시스템 자원들의 공유를 통해 다수의 무선 사용자들이 이러한 콘텐츠에 액세스하는 것을 가능하게 할 수 있다. 예를 들어, 통신 시스템들(1900)은 코드 분할 다중 액세스(code division multiple access; CDMA), 시분할 다중 액세스(time division multiple access; TDMA), 주파수 분할 다중 액세스(frequency division multiple access; FDMA), 직교 FDMA(orthogonal FDMA; OFDMA), 단일-캐리어 FDMA(single-carrier FDMA; SC-FDMA) 등과 같은 하나 이상의 채널 액세스 방법들을 이용할 수 있다.
도 19a에서 도시되는 바와 같이, 통신 시스템(1900)은 무선 송수신 유닛들(wireless transmit/receive units; WTRU들)(1902a, 1902b, 1902c, 및/또는 1902d), 라디오 액세스 네트워크(radio access network; RAN)(1903/1904/1905), 코어 네트워크(1906/1907/1909), 공개 교환 전화 네트워크(public switched telephone network; PSTN)(1908), 인터넷(1910), 및 다른 네트워크들(1912)을 포함할 수 있지만, 개시된 실시예들이 임의의 수의 WTRU들, 기지국들, 네트워크들 및/또는 네트워크 엘리먼트들을 기도(contemplate)한다고 인지될 것이다. WTRU들(1902a, 1902b, 1902c, 1902d) 각각은 무선 환경에서 동작 및/또는 통신하도록 구성되는 임의의 타입의 장치일 수 있다. 예로서, WTRU들(1902a, 1902b, 1902c, 1902d)은 무선 신호들을 전송 및/또는 수신하도록 구성될 수 있고, 사용자 장비(user equipment; UE), 모바일국, 고정 또는 이동 가입자 유닛, 호출기, 셀룰러 전화, 개인 휴대 정보 단말(personal digital assistant; PDA), 스마트폰, 랩톱, 넷북, 개인용 컴퓨터, 무선 센서, 소비자 전자기기 또는 압축된 비디오 통신들을 수신 및 프로세싱할 수 있는 임의의 다른 단말을 포함할 수 있다.
통신 시스템들(1900)은 또한 기지국(1914a) 및 기지국(1914b)을 포함할 수 있다. 기지국들(1914a, 1914b) 각각은 코어 네트워크(1906/1907/1909), 인터넷(1910), 및/또는 네트워크들(1912)과 같은 하나 이상의 통신 네트워크들에 대한 액세스를 용이하게 하기 위해 WTRU들(1902a, 1902b, 1902c, 1902d) 중 적어도 하나와 무선으로 인터페이스하도록 구성되는 임의의 타입의 장치일 수 있다. 예로서, 기지국들(1914a, 1914b)은 베이스 트랜시버 스테이션(base transceiver station; BTS), 노드 B, e노드 B, 홈 노드 B, 홈 e노드 B, 사이트 제어기, 액세스 포인트(AP), 무선 라우터 등일 수 있다. 기지국들(1914a, 1914b)이 단일의 엘리먼트로서 각각 도시되었지만, 기지국들(1914a, 1914b)은 임의의 수의 상호연결된 기지국들 및/또는 네트워크 엘리먼트들을 포함할 수 있다는 것이 인지될 것이다.
기지국(1914a)은 기지국 제어기(base station controller; BSC), 라디오 네트워크 제어기(radio network controller; RNC), 중계 노드들 등과 같은 다른 기지국들 및/또는 네트워크 엘리먼트들(도시되지 않음)을 또한 포함할 수 있는 RAN(1903/1904/1905)의 일부일 수 있다. 기지국(1914a) 및/또는 기지국(1914b)은 셀(도시되지 않음)로서 지칭될 수 있는 특정한 지리적인 영역 내에서 무선 신호들을 전송 및/또는 수신하도록 구성될 수 있다. 셀은 또한 셀 섹터들로 분할될 수 있다. 예를 들어, 기지국(1914a)과 연관된 셀은 3개의 섹터들로 분할될 수 있다. 따라서 일 실시예에서, 기지국(1914a)은 3개의 트랜시버들, 즉 셀의 각 섹터마다 하나의 트랜시버를 포함할 수 있다. 다른 실시예에서, 기지국(1914a)은 다중-입력 다중 출력(multiple-input multiple output; MIMO) 기술을 이용할 수 있고, 그러므로 셀의 각 섹터에 대해 다수의 트랜시버들을 활용할 수 있다.
기지국들(1914a, 1914b)은 임의의 적합한 무선 통신 링크(예를 들어, 라디오 주파수(radio frequency; RF), 마이크로파, 적외선(infrared; IR), 자외선(ultraviolet; UV), 가시광 등)일 수 있는 공중 인터페이스(1915/1916/1917)를 통해 WTRU들(1902a, 1902b, 1902c, 1902d) 중 하나 이상의 WTRU와 통신할 수 있다. 공중 인터페이스(1915/1916/1917)는 임의의 적합한 라디오 액세스 기술(RAT)을 이용하여 설정될 수 있다.
보다 구체적으로, 상술한 바와 같이, 통신 시스템(1900)은 다수의 액세스 시스템일 수 있으며 CDMA, TDMA, FDMA, OFDMA, SC-FDMA 등과 같은 하나 이상의 채널 액세스 방식들을 이용할 수 있다. 예를 들어, RAN(1903/1904/1905)의 기지국(1914a) 및 WTRU(1902a, 1902b, 1902c)는 광대역 CDMA(WCDMA)를 이용하여 공중 인터페이스(1915/1916/1917)를 설정할 수 있는 유니버셜 모바일 원격통신 시스템(UMTS) 지상 라디오 액세스(Universal Mobile Telecommunications System Terrestrial Radio Access; UTRA)와 같은 라디오 기술을 구현할 수 있다. WCDMA는 고속 패킷 액세스(High-Speed Packet Access; HSPA) 및/또는 이볼브드 HSPA(HSPA+)와 같은 통신 프로토콜들을 포함할 수 있다. HSPA는 고속 다운링크 패킷 액세스(High-Speed Downlink Packet Access; HSDPA) 및/또는 고속 업링크 패킷 액세스(High-Speed Uplink Packet Access; HSUPA)를 포함할 수 있다.
다른 실시예에서, 기지국(1914a) 및 WTRU들(1902a, 1902b, 1902c)은 롱텀 에볼루션(Long Term Evolution; LTE) 및/또는 LTE-어드밴스드(LTE- Advanced; LTE-A)를 이용하여 공중 인터페이스(1915/1916/1917)를 설정할 수 있는 이볼브드 UMTS 지상 라디오 액세스(Evolved UMTS Terrestrial Radio Access; E-UTRA)와 같은 라디오 기술을 구현할 수 있다.
다른 실시예들에서, 기지국(1914a) 및 WTRU들(1902a, 1902b, 1902c)은 IEEE 802.16(즉, WiMAX(Worldwide Interoperability for Microwave Access)), CDMA2000, CDMA2000 1X, CDMA 2000 EV-DO, 잠정 표준 2000(IS-2000), 잠정 표준 95(IS-95), 잠정 표준 856(IS-856), 모바일 통신을 위한 글로벌 시스템(Global System for Mobile communications; GSM), GSM 에볼루션을 위한 강화된 데이터 레이트(Enhanced Data rates for GSM Evolution; EDGE), GERAN(GSM EDGE) 등과 같은 라디오 기술들을 구현할 수 있다.
도 19a의 기지국(1914b)은 예를 들어, 무선 라우터, 홈 노드 B, 홈 e노드 B, 또는 액세스 포인트일 수 있으며 비즈니스, 가정, 차량, 캠퍼스 등의 장소와 같이 로컬화된 영역에서 무선 연결을 용이하게 하는 임의의 적합한 RAT를 활용할 수 있다. 일 실시예에서, 기지국(1914b) 및 WTRU들(1902c, 1902d)은 무선 로컬 영역 네트워크(wireless local area network; WLAN)를 설정하기 위해 IEEE 802.191과 같은 라디오 기술을 구현할 수 있다. 다른 실시예에서, 기지국(1914b) 및 WTRU들(1902c, 1902d)은 무선 개인 영역 네트워크(wireless personal area network; WPAN)을 설정하기 위해 IEEE 802.15와 같은 라디오 기술을 구현할 수 있다. 또 다른 실시예에서, 기지국(1914b) 및 WTRU들(1902c, 1902d)은 피코셀 또는 펨토셀을 설정하기 위해 셀룰러-기반 RAT(예를 들어, WCDMA, CDMA2000, GSM, LTE, LTE-A 등)를 활용할 수 있다. 도 19a에서 도시되는 바와 같이, 기지국(1914b)은 인터넷(1910)에 직접 연결할 수 있다. 따라서 기지국(1914b)은 코어 네트워크(1906/1907/1909)를 통해 인터넷(1910)에 액세스하도록 요구되지 않을 수 있다.
RAN(1903/1904/1905)은 WTRU들(1902a, 1902b, 1902c, 1902d) 중 하나 이상의 WTRU에 음성, 데이터, 애플리케이션들, 및/또는 보이스 오버 인터넷 프로토콜(voice over internet protocol; VoIP) 서비스들을 제공하도록 구성되는 임의의 타입의 네트워크일 수 있는 코어 네트워크(1906)와 통신할 수 있다. 예를 들어, 코어 네트워크(1906/1907/1909)는 호 제어, 계산서발송 서비스들(billing services), 모바일 위치-기반 서비스들, 선불 호출(pre-paid calling), 인터넷 연결, 비디오 분배 등을 제공할 수 있고 및/또는 사용자 인증과 같은 고-레벨 보안 기능들을 수행할 수 있다. 도 19a에 도시되지 않았지만, RAN(1903/1904/1905) 및/또는 코어 네트워크(1906/1907/1909)는 RAN(1903/1904/1905)과 같은 동일한 RAT 또는 상이한 RAT를 이용하는 다른 RAN들과 직접적으로 또는 간접적으로 통신할 수 있다는 것이 인지될 것이다. 예를 들어, E-UTRA 라디오 기술을 활용할 수 있는 RAN(1903/1904/1905)에 연결되는 것 외에, 코어 네트워크(1906/1907/1909)는 또한 GSM 라디오 기술을 이용하는 다른 RAN(도시되지 않음)과 통신할 수 있다.
코어 네트워크(1906/1907/1909)는 또한 WTRU들(1902a, 1902b, 1902c, 1902d)이 PSTN(1908), 인터넷(1910) 및/또는 다른 네트워크(1912)에 액세스하기 위한 게이트웨이로서 역할할 수 있다. PSTN(1908)은 기존 전화 서비스(plain old telephone service; POTS)를 제공하는 회선-교환 전화 네트워크들을 포함할 수 있다. 인터넷(1910)은 전송 제어 프로토콜(transmission control protocol; TCP), 사용자 데이터그램 프로토콜(user datagram protocol; UDP) 및 TCP/IP 인터넷 프로토콜 스위트(suite)의 인터넷 프로토콜(internet protocol; IP)과 같이 공통 통신 프로토콜들을 이용하는 상호연결된 컴퓨터 네트워크들 및 장치들의 글로벌 시스템을 포함할 수 있다. 네트워크들(1912)은 다른 서비스 제공자들에 의해 소유되고 및/또는 동작되는 유선 또는 무선 통신 네트워크들을 포함할 수 있다. 예를 들어, 네트워크들(1912)은 RAN(1903/1904/1905)과 동일한 RAT 또는 상이한 RAT를 이용할 수 있는 하나 이상의 RAN들에 연결된 다른 코어 네트워크를 포함할 수 있다.
통신 시스템(1900)의 WTRU들(1902a, 1902b, 1902c, 1902d) 중 일부 또는 모두 다는 다중-모드 성능들을 포함할 수 있는데, 즉, WTRU들(1902a, 1902b, 1902c, 1902d)은 상이한 무선 링크들을 통해 상이한 무선 네트워크들과 통신하기 위해 다수의 트랜시버들을 포함할 수 있다. 예를 들어, 도 19a에 도시된 WTRU(1902c)는 셀룰러-기반 라디오 기술을 이용할 수 있는 기지국(1914a)과, 그리고 IEEE 802 라디오 기술을 이용할 수 있는 기지국(1914b)과 통신하도록 구성될 수 있다.
도 19b는 예시적인 WTRU(1902)의 시스템 다이어그램이다. 도 19b에서 도시되는 바와 같이, WTRU(1902)는 프로세서(1918), 트랜시버(1920), 송수신 엘리먼트(1922), 스피커/마이크로폰(1924), 키패드(1926), 디스플레이/터치패드(1928), 비-제거 가능한 메모리(1906), 제거 가능한 메모리(1932), 전원(1934), 글로벌 포지셔닝 시스템(global positioning system; GPS) 칩셋(1936), 및 다른 주변장치들(1938)을 포함할 수 있다. WTRU(1902)는 일 실시예와 일관됨을 유지하면서 상술한 엘리먼트들의 임의의 서브-조합을 포함할 수 있다는 것이 인지될 것이다. 또한, 실시예들은 기지국들(1914a, 및 1914b) 및/또는 다른 것들 중에서도, 트랜시버 스테이션(transceiver station; BTS), 노드-B, 사이트 제어기, 액세스 포인트(access point; AP), 홈 노드-B, 이볼브드 홈 노드-B(evolved home node-B; eNodeB), 홈 이볼브드 노드-B(home evolved node-B; HeNB), 홈 이볼브드 노드-B 게이트웨이 및 프록시 노드들과 같이(그러나 이들로 제한되지 않음) 기지국들(1914a 및 1914b)이 표현할 수 있는 노드들은 도 19b에서 도시되고 본 명세서에서 기술된 엘리먼트들 모두 또는 일부를 포함할 수 있다는 것이 기도된다.
프로세서(1918)는 범용 프로세서, 특수 용도 프로세서, 종래의 프로세서, 디지털 신호 프로세서(digital signal processor; DSP), 그래픽 프로세싱 유닛(graphics processing unit; GPU), 복수의 마이크로프로세서들, DSP 코어와 연관된 하나 이상의 마이크로프로세서들, 제어기, 마이크로제어기, 주문형 집적 회로들(Application Specific Integrated Circuits; ASIC들), 필드 프로그래밍 가능한 게이트 어레이(Field Programmable Gate Array; FPGA들) 회로들, 임의의 다른 타입의 집적 회로(integrated circuit; IC), 상태 머신 등일 수 있다. 프로세서(1918)는 신호 코딩, 데이터 프로세싱, 전력 제어, 입력/출력 프로세싱, 및/또는 WTRU(1902)가 무선 환경에서 동작하는 것을 가능하게 하는 임의의 다른 기능을 수행할 수 있다. 프로세서(1918)는 송수신 엘리먼트(1922)에 결합될 수 있는 트랜시버(1920)에 결합될 수 있다. 도 19b가 프로세서(1918) 및 트랜시버(1920)를 별개의 컴포넌트들로서 도시하지만, 프로세서(1918) 및 트랜시버(1920)는 전자 패키지 또는 칩에 함께 통합될 수 있다는 것이 인지될 것이다.
송수신 엘리먼트(1922)는 공중 인터페이스(1915/1916/1917)를 통해 기지국(예를 들어, 기지국(1914a))에 신호들을 전송하거나 기지국으로부터 신호들을 수신하도록 구성될 수 있다. 예를 들어, 일 실시예에서, 송수신 엘리먼트(1922)는 RF 신호들을 전송 및/또는 수신하도록 구성되는 안테나일 수 있다. 다른 실시예에서, 송수신 엘리먼트(1922)는 예를 들어, IR, UV, 또는 가시광 신호들을 전송 및/또는 수신하도록 구성되는 방출기/검출기일 수 있다. 또 다른 실시예에서, 송수신 엘리먼트(1922)는 RF 및 광 신호들 둘 다를 전송 및 수신하도록 구성될 수 있다. 송수신 엘리먼트(1922)는 무선 신호들의 임의의 조합을 전송 및/또는 수신하도록 구성될 수 있다는 것이 인지될 것이다.
또한, 송수신 엘리먼트(1922)가 도 19b에서 단일의 엘리먼트로서 도시되었지만, WTRU(1902)는 임의의 수의 송수신 엘리먼트들(1922)을 포함할 수 있다. 보다 구체적으로, WTRU(1902)은 MIMO 기술을 이용할 수 있다. 따라서 일 실시예에서, WTRU(1902)는 공중 인터페이스(1915/1916/1917)를 통해 무선 신호들을 전송하고 수신하기 위해 2개 이상의 송수신 엘리먼트들(1922)(예를 들어, 다수의 안테나들)을 포함할 수 있다.
트랜시버(1920)는 송수신 엘리먼트(1922)에 의해 전송될 신호들을 변조하고 송수신 엘리먼트(1922)에 의해 수신되는 신호들을 복조하도록 구성될 수 있다. 상술한 바와 같이, WTRU(1902)는 다중-모드 능력들을 가질 수 있다. 따라서 트랜시버(1920)는 WTRU(1902)가 예를 들어, UTRA 및 IEEE 802.191과 같이 다수의 RAT들을 통해 통신하는 것을 가능하게 하기 위해 다수의 트랜시버들을 포함할 수 있다.
WTRU(1902)의 프로세서(1918)는 스피커/마이크로폰(1924), 키패드(1926), 및/또는 디스플레이/터치패드(1928)(예를 들어, 액정 디스플레이(liquid crystal display; LCD) 디스플레이 유닛 또는 유기 발광 다이오드(organic light-emitting diode; OLED) 디스플레이 유닛)에 결합될 수 있고, 스피커/마이크로폰(1924), 키패드(1926), 및/또는 디스플레이/터치패드(1928)로부터 사용자 입력 데이터를 수신할 수 있다. 프로세서(1918)는 또한 스피커/마이크로폰(1924), 키패드(1926), 및/또는 디스플레이/터치패드(1928)에 사용자 데이터를 출력할 수 있다. 또한, 프로세서(1918)는 비-제거 가능한 메모리(1906) 및/또는 제거 가능한 메모리(1932)와 같은 임의의 타입의 적합한 메모리에 데이터를 저장하고, 이로부터 정보를 액세스할 수 있다. 비-제거 가능한 메모리(1906)는 랜덤-액세스 메모리(random-access memory; RAM), 판독-전용 메모리(read-only memory; ROM), 하드디스크 또는 임의의 다른 타입의 메모리 저장 장치를 포함할 수 있다. 제거 가능한 메모리(1932)는 가입자 아이덴티티 모듈(subscriber identity module; SIM) 카드, 메모리 스틱, 안전한 디지털(secure digital; SD) 메모리 카드 등을 포함할 수 있다. 다른 실시예들에서, 프로세서(1918)는 서버 또는 홈 컴퓨터(도시되지 않음) 상에서와 같이 WTRU(1902) 상에 물리적으로 위치되지 않는 메모리에 데이터를 저장하고, 이로부터 정보를 액세스할 수 있다.
프로세서(1918)는 전원(1934)으로부터 전력을 수신할 수 있고, WTRU(1902)의 다른 컴포넌트들에 전력을 분배 및/또는 제어하도록 구성될 수 있다. 전원(1934)은 WTRU(1902)에 전력을 공급하기 위한 임의의 적합한 장치일 수 있다. 예를 들어, 전원(1934)은 하나 이상의 건전지들(예를 들어, 니켈-카드뮴(nickel-cadmium; NiCd), 니켈-아연(nickel-zinc; NiZn), 니켈 금속 수소화물(nickel metal hydride; NiMH), 리튬-이온(lithium-ion; Li-ion) 등), 태양 전지들, 연료 전지들 등을 포함할 수 있다.
프로세서(1918)는 또한 WTRU(1902)의 현재 위치에 관한 위치 정보(예를 들어, 위도 및 경도)를 제공하도록 구성될 수 있는 GPS 칩셋(1936)에 결합될 수 있다. GPS 칩셋(1936)으로부터의 정보 외에 또는 그 대신에, WTRU(1902)는 기지국(예를 들어, 기지국들(1914a, 1914b))으로부터 공중 인터페이스(1915/1916/1917)를 통해 위치 정보를 수신할 수 있고 및/또는 둘 이상의 근처의 기지국들로부터 수신되는 신호들의 타이밍에 기초하여 그 위치를 결정할 수 있다. WTRU(1902)가 일 실시예와 일관됨을 유지하면서 임의의 적합한 위치-결정 방법에 의해 위치 정보를 획득할 수 있다는 것이 인지될 것이다.
프로세서(1918)는 또한 부가적인 특징들, 기능 및/또는 유선 또는 무선 연결을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈들을 포함할 수 있는 다른 주변장치들(1938)에 결합될 수 있다. 예를 들어, 주변장치들(1938)은 가속도계, e-나침반, 위성 트랜시버, 디지털 카메라(사진 또는 비디오 용), 유니버셜 직렬 버스(universal serial bus; USB) 포트, 진동 장치, 텔레비전 트랜시버, 핸즈 프리 헤드셋, 블루투쓰® 모듈, 주파수 변조(frequency modulated; FM) 라디오 유닛, 디지털 음악 재생기, 미디어 재생기, 비디오 게임 플레이어 모듈, 인터넷 브라우저 등을 포함할 수 있다.
도 19c는 일 실시예에 따라 RAN(1903)과 코어 네트워크(1906)의 시스템 다이어그램이다. 위에서 언급한 바와 같이, RAN(1903)은 공중 인터페이스(1915)를 통해 WTRU들(1902a, 1902b, 1902c)과 통신하기 위해 UTRA 라디오 기술을 이용할 수 있다. RAN(1904)은 또한 코어 네트워크(1906)와 통신하게 될 수 있다. 도 19c에서 도시되는 바와 같이, RAN(1903)은 공중 인터페이스(1915)를 통해 WTRU들(1902a, 1902b, 1902c)과 통신하기 위해 하나 이상의 트랜시버들을 각각 포함할 수 있는 노드-B들(1940a, 1940b, 1940c)을 포함할 수 있다. 노드-B들(1940a, 1940b, 1940c)은 RAN(1903)내의 특정한 셀(도시되지 않음)과 각각 연관될 수 있다. RAN(1903)은 또한 RNC들(1942a, 1942b)을 포함할 수 있다. RAN(1903)은 실시예들과 일관됨을 유지하면서 임의의 수의 노드-B들 및 RNC들을 포함할 수 있다는 것이 인지될 것이다.
도 19c에서 도시되는 바와 같이, 노드-B들(1940a, 1940b)은 RNC(1942a)와 통신할 수 있다. 또한, 노드-B(1940c)는 RNC(1942b)와 통신할 수 있다. 노드-B들(1940a, 1940b, 1940c)은 Iub 인터페이스를 통해 각각의 RNC들(1942a, 1942b)과 통신할 수 있다. RNC들(1942a, 1942b)은 Iur 인터페이스를 통해 서로 통신하게 될 수 있다. RNC들(1942a, 1942b) 각각은 자신이 연결된 각각의 노드-B들(1940a, 1940b, 1940c)을 제어하도록 구성될 수 있다. 또한, RNC들(1942a, 1942b) 각각은 외부 루프 전력 제어, 로드 제어, 승인 제어, 패킷 스케줄링, 핸드오버 제어, 매크로다이버시티(macrodiversity), 보안 기능들, 데이터 암호화 등과 같은 다른 기능을 수행하거나 지원하도록 구성될 수 있다.
도 19c에서 도시된 코어 네트워크(1906)는 미디어 게이트웨이(media gateway; MGW)(1944), 모바일 스위칭 센터(mobile switching center; MSC)(1946), 서빙 GPRS 지원 노드(serving GPRS support node; SGSN)(1948), 및/또는 게이트웨이 GPRS 지원 노드(gateway GPRS support node; GGSN)(1950)를 포함할 수 있다. 상술한 엘리먼트들 각각이 코어 네트워크(1906)의 부분으로서 도시되지만, 이들 엘리먼트들 중 임의의 엘리먼트는 코어 네트워크 운용자 이외의 다른 엔티티에 의해 소유되고 및/또는 운용될 수 있다는 것이 인지될 것이다.
RAN(1903)의 RNC(1942a)는 IuCS 인터페이스를 통해 코어 네트워크(1906)의 MSC(1946)에 연결될 수 있다. MSC(1946)는 MGW(1944)에 연결될 수 있다. MSC(1946) 및 MGW(1944)는 PSTN(1908)과 같은 회선 교환 네트워크들에 대한 액세스를 WTRU들(1902a, 1902b, 1902c)에 제공하여 WTRU들(1902a, 1902b, 1902c)과 기존의 지상-라인 통신 장치들 간의 통신을 용이하게 할 수 있다.
RAN(1903)의 RNC(1942a)는 또한 IuPS 인터페이스를 통해 코어 네트워크(1906)의 SGSN(1948)에 연결될 수 있다. SGSN(1948)은 GGSN(1950)에 연결될 수 있다. SGSN(1948) 및 GGSN(1950)은 인터넷(1910)과 같은 패킷-교환 네트워크들에 대한 액세스를 WTRU들(1902a, 1902b, 1902c)에 제공하여 WTRU들(1902a, 1902b, 1902c)과 IP-인에이블 장치들(IP-enabled devices) 간의 통신을 용이하게 할 수 있다.
위에서 언급한 바와 같이, 코어 네트워크(1906)는 또한 다른 유선 또는 무선 네트워크들을 포함할 수 있는 네트워크들(1912)에 연결될 수 있으며, 다른 유선 또는 무선 네트워크들은 다른 서비스 제공자들에 의해 소유되고 및/또는 운용된다.
도 19d는 다른 실시예에 따른 RAN(1904)과 코어 네트워크(1907)의 시스템 다이어그램이다. 위에서 언급된 바와 같이, RAN(1904)은 공중 인터페이스(1916)를 통해 WTRU들(1902a, 1902b, 1902c)과 통신하기 위해 E-UTRA 라디오 기술을 이용할 수 있다. RAN(1904)은 또한 코어 네트워크(1907)와 통신하게 될 수 있다.
RAN(1904)이 e노드-B들(1960a, 1960b, 1960c)을 포함할 수 있지만, RAN(1904)은 일 실시예와 일관됨을 유지하면서 임의의 수의 e노드-B들을 포함할 수 있다는 것이 인지될 것이다. e노드-B들(1960a, 1960b, 1960c)은 공중 인터페이스(1916)를 통해 WTRU들(1902a, 1902b, 1902c)과 통신하기 위해 하나 이상의 트랜시버들을 각각 포함할 수 있다. 일 실시예에서, e노드-B들(1960a, 1960b, 1960c)은 MIMO 기술을 구현할 수 있다. 따라서 e노드-B(1960a)는 예를 들어, 무선 신호들을 WTRU(1902a)에 전송하고 WTRU(1902a)로부터 무선 신호들을 수신하기 위해 다수의 안테나들을 이용할 수 있다.
e노드-B들(1960a, 1960b, 1960c) 각각은 특정한 셀(도시되지 않음)과 연관될 수 있고, 라디오 자원 관리 판단들, 핸드오버 판단들, 업링크 및/또는 다운링크에서 사용자들의 스케줄링 등을 핸들링하도록 구성될 수 있다. 도 19d에 도시되는 바와 같이, e노드-B들(1960a, 1960b, 1960c)은 X2 인터페이스를 통해 서로 통신할 수 있다.
도 19d에서 도시된 코어 네트워크(1907)는 이동성 관리 게이트웨이(mobility management gateway; MME)(1962), 서빙 게이트웨이(1964), 및 패킷 데이터 네트워크(packet data network; PDN) 게이트웨이(1966)를 포함할 수 있다. 앞선 엘리먼트들 각각이 코어 네트워크(1907)의 부분으로서 도시되지만, 이들 엘리먼트들 중 임의의 것은 코어 네트워크 운용자 이외의 다른 엔티티에 의해 소유되고 및/또는 운용될 수 있다는 것이 인지될 것이다.
MME(1962)는 S1 인터페이스를 통해 RAN(1904)의 e노드-B들(1960a, 1960b, 1960c) 각각에 연결될 수 있다. 예를 들어, MME(1962)는 WTRU들(1902a, 1902b, 1902c)의 사용자들의 인증, 베어러 활성화/탈활성화, WTRU들(1902a, 1902b, 1902c)의 초기 부착 동안 특정한 서빙 게이트웨이의 선택 등을 담당할 수 있다. MME(1962)는 또한 RAN(1904)과 GSM 또는 WCDMA와 같은 다른 라디오 기술들을 이용하는 다른 RAN들(도시되지 않음) 간의 스위칭을 위한 제어 평면 기능을 제공할 수 있다.
서빙 게이트웨이(1964)는 S1 인터페이스를 통해 RAN(1904)의 e노드-B들(1960a, 1960b, 1960c) 각각에 연결될 수 있다. 서빙 게이트웨이(1964)는 일반적으로 WTRU들(1902a, 1902b, 1902c)에/로부터 사용자 데이터 패킷들을 라우팅 및 포워딩할 수 있다. 서빙 게이트웨이(1964)는 또한 e노드-B간 핸드오버들 동안 사용자 평면들을 앵커(anchor)하고, 다운링크 데이터가 WTRU들(1902a, 1902b, 1902c)에 대해 이용 가능할 때 페이징을 트리거하고, WTRU들(1902a, 1902b, 1902c)의 콘택스트들을 관리 및 저장하는 등과 같은 다른 기능들을 수행할 수 있다.
서빙 게이트웨이(1964)는 또한 WTRU들(1902a, 1902b, 1902c)과 IP-인에이블 장치들 간의 통신들을 용이하게 하기 위해 인터넷(1910)과 같은 패킷-교환 네트워크들에 대한 액세스를 WTRU들(1902a, 1902b, 1902c)에 제공하는 PDN 게이트웨이(1966)에 연결될 수 있다.
코어 네트워크(1907)는 다른 네트워크들과의 통신들을 용이하게 할 수 있다. 예를 들어, 코어 네트워크(1907)는 WTRU들(1902a, 1902b, 1902c)과 종래의 육상-라인 통신 장치들 간의 통신들을 용이하게 하기 위해 PSTN(1908)과 같은 회선-교환 네트워크들에 대한 액세스를 WTRU들(1902a, 1902b, 1902c)에 제공할 수 있다. 예를 들어, 코어 네트워크(1907)는 코어 네트워크(1907)와 PSTN(1908) 간의 인터페이스로서 역할하는 IP 게이트웨이(예를 들어, IP 멀티미디어 서브시스템(multimedia subsystem; IMS)) 서버를 포함할 수 있거나, 또는 이와 통신할 수 있다. 또한, 코어 네트워크(1907)는 다른 서비스 제공자들에 의해 소유되고 및/또는 운용되는 다른 유선 또는 무선 네트워크들을 포함할 수 있는 네트워크들(112)에 대한 액세스를 WTRU들(1902a, 1902b, 1902c)에 제공할 수 있다.
도 19e는 다른 실시예에 따라 RAN(1905)과 코어 네트워크(1909)의 시스템 다이어그램이다. RAN(1905)은 공중 인터페이스(1917)를 통해 WTRU들(1902a, 1902b, 1902c)과 통신하기 위해 IEEE 802.16 라디오 기술을 이용하는 액세스 서비스 네트워크(access service network; ASN)일 수 있다. 아래에서 추가로 기술된 바와 같이, WTRU들(1902a, 1902b, 1902c), RAN(1905) 및 코어 네트워크(1909)의 상이한 기능적 엔티티들 간의 통신 링크들은 기준점들로서 정의될 수 있다.
도 19e에서 도시된 바와 같이, RAN(1905)은 기지국들(1980a, 1980b, 1980c) 및 ASN 게이트웨이(1982)를 포함할 수 있지만, RAN(1905)은 일 실시예와 일관됨을 유지하면서 임의의 수의 기지국들 및 ASN 게이트웨이들을 포함할 수 있다는 것이 인지될 것이다. 기지국들(1980a, 1980b, 1980c)은 RAN(1905)내의 특정한 셀(도시되지 않음)과 각각 연관될 수 있고, 공중 인터페이스(1917)를 통해 WTRU들(1902a, 1902b, 1902c)과 통신하기 위해 하나 이상의 트랜시버들을 각각 포함할 수 있다. 일 실시예에서, 기지국들(1980a, 1980b, 1980c)은 MIMO 기술을 구현할 수 있다. 따라서 기지국(1980a)은 예를 들어, WTRU들(1902a)에 무선 신호들을 전송하고 이로부터 무선 신호들을 수신하기 위해 다수의 안테나들을 이용할 수 있다. 기지국들(1980a, 1980b, 1980c)은 또한 핸드오프 트리거링, 터널 설정, 라디오 자원 관리, 트래픽 분류, 서비스 품질(quality of service; QoS) 정책 실시 등과 같은 이동성 관리 기능들을 제공할 수 있다. ASN 게이트웨이(1982)는 트래픽 어그리게이션 지점(traffic aggregation point)으로서 역할할 수 있고 페이징, 가입자 프로파일의 캐싱, 코어 네트워크(1909)로의 라우팅 등을 담당할 수 있다.
WTRU들(1902a, 1902b, 1902c)과 RAN(1905) 간의 공중 인터페이스(1917)는 IEEE 802.16 규격을 구현하는 R1 기준점으로서 정의될 수 있다. 또한, WTRU들(1902a, 1902b, 1902c) 각각은 코어 네트워크(1909)와의 논리적 인터페이스(도시되지 않음)를 설정할 수 있다. WTRU들(1902a, 1902b, 1902c)과 코어 네트워크(1909) 간의 논리적 인터페이스는 인증, 인가, IP 호스트 구성 관리 및/또는 이동성 관리를 위해 이용될 수 있는 R2 기준점으로서 정의될 수 있다.
기지국들(1980a, 1980b, 1980c) 각각 간의 통신 링크는 기지국 간의 데이터의 전달 및 WTRU 핸드오버들을 용이하게 하기 위한 프로토콜을 포함하는 R8 기준점으로서 정의될 수 있다. 기지국들(1980a, 1980b, 1980c)과 ASN 게이트웨이(1982) 간의 통신 링크는 R6 기준점으로서 정의될 수 있다. R6 기준점은 WTRU(1902a, 1902b, 1902c) 각각과 연관되는 이동성 이벤트들에 기초하여 이동성 관리를 용이하게 하기 위한 프로토콜들을 포함할 수 있다.
도 19e에서 도시된 바와 같이, RAN(1905)은 코어 네트워크(1909)에 연결될 수 있다. RAN(1905)과 코어 네트워크(1909) 간의 통신 링크는 예를 들어, 데이터 전달 및 이동성 관리 능력들을 용이하게 하기 위한 프로토콜들을 포함하는 R3 기준점으로서 정의될 수 있다. 코어 네트워크(1909)는 모바일 IP 홈 에이전트(mobile IP home agent; MIP-HA)(1984), 인증, 인가, 과금(authentication, authorization, accounting; AAA) 서버(1986) 및 게이트웨이(1988)를 포함할 수 있다. 위의 엘리먼트들 각각이 코어 네트워크(1909)의 부분으로서 도시되었지만, 이들 엘리먼트들 중 임의의 엘리먼트는 코어 네트워크 운용자 이외의 다른 엔티티에 의해 소유되고 및/또는 운용될 수 있다는 것이 인지될 것이다.
MIP-HA(1984)는 IP 어드레스 관리를 담당할 수 있고 WTRU들(1902a, 1902b, 1902c)이 상이한 ASN들 및/또는 상이한 코어 네트워크들 사이에서 로밍하는 것을 가능하게 할 수 있다. MIP-HA(1984)는 WTRU들(1902a, 1902b, 1902c)과 IP-인에이블 장치들 간의 통신을 용이하게 하기 위해 인터넷(1910)과 같은 패킷-교환 네트워크들에 대한 액세스를 WTRU들(1902a, 1902b, 1902c)에 제공할 수 있다. AAA 서버(1986)는 사용자 인증 및 사용자 서비스들의 지원을 담당할 수 있다. 게이트웨이(1988)는 다른 네트워크들과의 협력(interworking)을 용이하게 할 수 있다. 예를 들어, 게이트웨이(1988)는 WTRU들(1902a, 1902b, 1902c)과 종래의 육상-라인 통신 장치들 간의 통신을 용이하게 하기 위해 PSTN(1908)과 같은 회선-교환 네트워크들에 대한 액세스를 WTRU들(1902a, 1902b, 1902c)에 제공할 수 있다. 또한, 게이트웨이(1988)는 다른 서비스 제공자들에 의해 소유되고 및/또는 운용되는 다른 유선 또는 무선 네트워크들을 포함할 수 있는 네트워크들(1912)에 대한 액세스를 WTRU들(1902a, 1902b, 1902c)에 제공할 수 있다.
도 19e에서 도시되진 않았지만, RAN(1905)는 다른 ASN들에 연결될 수 있고, 코어 네트워크(1909)는 다른 코어 네트워크들에 연결될 수 있다는 것이 인지될 것이다. RAN(1905)과 다른 ASN들 간의 통신 링크는 RAN(1905)과 다른 ASN들 간의 WTRU들(1902a, 1902b, 1902c)의 이동성을 조절하기 위한 프로토콜들을 포함할 수 있는 R4 기준점으로서 정의될 수 있다. 코어 네트워크(1909)와 다른 코어 네트워크들 간의 통신 링크는 홈 코어 네트워크들과 방문 코어 네트워크들 간의 협력을 용이하게 하기 위한 프로토콜들을 포함할 수 있는 R5 기준점으로서 정의될 수 있다.
위에서 기술되는 프로세스들은 컴퓨터 및/또는 프로세서에 의한 실행을 위해 컴퓨터-판독 가능한 매체에 통합되는 컴퓨터 프로그램, 소프트웨어 및/또는 펌웨에서 구현될 수 있다. 컴퓨터-판독 가능한 매체들의 예들은 전자 신호들(무선 및/또는 유선 연결들을 통해 전송됨) 및/또는 컴퓨터-판독 가능한 저장 매체를 포함(그러나 이들로 제한되지 않음)할 수 있다. 컴퓨터 판독 가능한 저장 매체의 예들은 판독 전용 메모리(read only memory; ROM), 랜덤 액세스 메모리(random access memory; RAM)), 레지스터, 캐시 메모리, 반도체 메모리 장치들, 내부 하드 디스크 및 제거 가능한 디스크들과 같은(그러나 이들로 제한되지 않음) 자기 매체, 광-자기 매체, 및/또는 CD-ROM 디스크들 및/또는 디지털 다기능 디스크들(digital versatile disks; DVD들)과 같은 광학 매체를 포함(그러나 이들로 제한되지 않음)한다. 소프트웨어와 연관되는 프로세서는 WTRU, UT, 단말, 기지국, RNC, 및/또는 임의의 호스트 컴퓨터에서 이용하기 위한 라디오 주파수 트랜시버를 구현하는데 이용될 수 있다.
102 입력 비디오 104 변환 유닛
106 양자화 유닛 108 엔트로피 코딩 유닛
110 역양자화 유닛 112 역변환 유닛
120 비트스트림 160 공간 예측 유닛
162 움직임 예측 유닛 164 기준 화상 스토어
166 필터들 180 모드 결정 및 인코더 제어 유닛
202 비트스트림 208 엔트로피 디코딩 유닛
210 역양자화 유닛 212 역변환 유닛
220 재구성된 비디오 출력 260 공간 예측 유닛
262 움직임 보상된 예측 유닛 264 기준 화상 스토어
266 필터들 810 서브블록
812 예측된 서브블록 814 재구성된 서브블록
816 예측된 잔여 서브블록(들) 818 재구성된 잔여 서브블록(들)
822 서브블록 잔차 824 재구성된 서브블록 잔차
826 잔여 서브블록(들) 840 모드-의존 서브샘플링 유닛
842 인트라 예측 유닛 844 모드-의존 보간 유닛
1802 인코더 1804 통신 네트워크
1806 디코더

Claims (24)

  1. 비디오 디코딩 방법에 있어서,
    비디오 블록의 제 1 서브 블록과 연관되는 계수들의 블록을 수신하는 단계;
    상기 비디오 블록의 하나 이상의 잔여 서브 블록들과 연관되는 하나 이상의 계수들의 블록들을 수신하는 단계;
    상기 비디오 블록에 대한 예측 모드의 표시를 수신하는 단계;
    상기 예측 모드에 기초하여 하나 이상의 보간 기법들을 결정하는 단계;
    상기 예측 모드에 기초한 인트라 예측(intra prediction)을 이용하여 예측된 제 1 서브 블록을 결정하는 단계;
    재구성된 제 1 서브 블록을 생성하기 위해 상기 제 1 서브 블록에 대응하는 재구성된 잔차(reconstructed residual)에 상기 예측된 제 1 서브 블록을 부가하는 단계;
    상기 비디오 블록에 대한 하나 이상의 보간 기법들에 기초하여 상기 하나 이상의 잔여 서브 블록들의 예측된 서브 블록들을 결정하는 단계;
    상기 하나 이상의 잔여 서브 블록들에 대응하는 재구성된 잔차에 상기 하나 이상의 잔여 서브 블록의 예측된 서브 블록들을 부가하여 하나 이상의 재구성된 잔여 서브 블록들을 생성하는 단계; 및
    상기 예측 모드, 상기 재구성된 제 1 서브 블록, 및 상기 하나 이상의 재구성된 잔여 서브 블록에 기초하여 재구성된 비디오 블록을 형성하는 단계를
    포함하는 비디오 디코딩 방법.
  2. 제 1 항에 있어서,
    상기 제 1 서브 블록의 재구성된 잔차는 역 양자화 및 역 변환 파라미터들의 제 1세트를 이용하여 상기 제 1 서브 블록과 연관된 계수들을 역 양자화 및 역 변환함으로써 생성되는 것인 비디오 디코딩 방법.
  3. 제 2 항에 있어서,
    상기 역 양자화 및 역 변환 파라미터들의 제 1 세트는 형상-적응형 이산 코사인 변환(shape-adaptive discrete cosine transformation)과 연관되는 것인 비디오 디코딩 방법.
  4. 제 2 항에 있어서,
    상기 예측된 제 1 서브 블록과 연관되는 계수들을 역변환하는 단계는 비-정사각형 형상 변환을 포함하는 것인 비디오 디코딩 방법.
  5. 제 2 항에 있어서,
    상기 하나 이상의 재구성된 잔여 서브 블록들은 역 양자화 및 역 변환 파라미터들의 제 2 세트를 이용하여 상기 하나 이상의 잔여 서브 블록들과 연관된 계수들을 역 양자화 및 역 변환함으로써 생성되는 것인 비디오 디코딩 방법.
  6. 제 5 항에 있어서,
    상기 역 양자화 및 역 변환 파라미터들의 제 2 세트는 형상-적응형 이산 코사인 변환과 연관되는 것인 비디오 디코딩 방법.
  7. 제 5 항에 있어서,
    상기 역 양자화 및 역 변환 파라미터들의 제 1 세트는 역 양자화 및 역 변환 파라미터들의 제 2 세트와 동일한 것인 비디오 디코딩 방법.
  8. 제 5 항에 있어서,
    상기 역 양자화 및 역 변환 파라미터들의 제 1 세트는 상기 역 양자화 및 역 변환 파라미터들의 제 2 세트와 상이한 것인 비디오 디코딩 방법.
  9. 제 1 항에 있어서,
    상기 비디오 블록은 상기 비디오 블록의 휘도 성분 또는 채도 성분인 것인 비디오 디코딩 방법.
  10. 제 1 항에 있어서,
    상기 하나 이상의 재구성된 잔여 서브 블록들을 생성하는 단계는,
    상기 하나 이상의 재구성된 잔여 서브 블록들의 제 1 부분을 생성하는 단계; 및
    상기 하나 이상의 재구성된 잔여 서브 블록들의 제 1 부분의 생성에 후속하여, 생성된 제 1 부분에 적어도 부분적으로 기초하여 상기 하나 이상의 재구성된 잔여 서브 블록들의 제 2 부분을 생성하는 단계를 포함하는 것인 비디오 디코딩 방법.
  11. 제 10 항에 있어서,
    생성된 제 1 부분에 적어도 부분적으로 기초하여 누락 픽셀들을 포함하는 상기 하나 이상의 재구성된 잔여 서브 블록들의 제 2 부분을 생성하는 단계는 역 양자화 및 역 변환 파라미터들의 제 3 세트를 포함하는 것인 비디오 디코딩 방법.
  12. 제 11 항에 있어서,
    상기 역 양자화 및 역 변환 파라미터들의 제 3 세트는 상기 역 양자화 및 역 변환 파라미터들의 제 1 세트 또는 상기 역 양자화 및 역 변환 파라미터들의 제 2 세트와 동일한 것인 비디오 디코딩 방법.
  13. 방법에 있어서,
    비디오 블록을 수신하는 단계;
    예측 모드를 수신하는 단계;
    제 1 서브 블록 및 누락 픽셀을 포함하는 하나 이상의 서브 블록들을 생성하기 위해 상기 예측 모드에 기초하여 상기 비디오 블록을 서브샘플링(subsamplmg)하는 단계;
    상기 예측 모드에 기초한 인트라 예측을 이용하여 예측된 제 1 서브 블록을 결정하는 단계;
    재구성된 제 1 서브 블록을 생성하기 위해 상기 제 1 서브 블록을 재구성하는 단계;
    상기 예측 모드 및 상기 재구성된 제 1 서브 블록에 기초하여 누락 픽셀들을 포함하는 예측된 하나 이상의 서브 블록들을 획득하도록 보간하는 단계;
    누락 픽셀을 포함하는 재구성된 하나 이상의 서브 블록들을 생성하기 위해 누락 픽셀을 포함하는 하나 이상의 서브 블록들을 재구성하는 단계; 및
    상기 재구성된 제 1 서브 블록, 상기 누락 픽셀들을 포함하는 재구성된 하나 이상의 서브 블록들, 및 상기 예측 모드에 기초하여 재구성된 비디오 블록을 형성하는 단계를 포함하는 방법.
  14. 제 13 항에 있어서,
    상기 재구성된 제 1 서브 블록을 생성하기 위해 상기 제 1 서브 블록을 재구성하는 단계는 변환 및 양자화 파라미터들의 제 1 세트에 기초하고,
    재구성된 하나 이상의 서브 블록들을 생성하기 위해 누락 픽셀들을 포함하는 하나 이상의 서브 블록들을 재구성하는 단계는 변환 및 양자화 파라미터들의 제 2 세트에 기초하는 것인 방법.
  15. 제 14 항에 있어서,
    상기 변환 및 양자화 파라미터들의 제 1 세트는 상기 변환 및 양자화 파라미터들의 제 2 세트와 동일한 것인 방법.
  16. 제 14 항에 있어서,
    상기 변환 및 양자화 파라미터들의 제 1 세트는 상기 변환 및 양자화 파라미 터들의 제 2 세트와 상이한 것인 방법.
  17. 제 14 항에 있어서,
    상기 변환 및 양자화 파라미터들의 제 2 세트에 기초하여 재구성된 하나 이상의 서브 블록들을 생성하기 위해 누락 픽셀들을 포함하는 하나 이상의 서브 블록들을 재구성하는 단계는,
    상기 변환 및 양자화 파라미터들의 제 2 세트에 기초하여 누락 픽셀을 포함하는 하나 이상의 서브 블록들의 제 1 부분을 재구성하는 단계; 및
    누락 픽셀들을 포함하는 하나 이상의 서브 블록들의 제 1 부분을 재구성하는 단계에 후속하여, 재구성된 제 1 부분에 적어도 부분적으로 기초하여 누락 픽셀들을 포함하는 하나 이상의 서브 블록들의 제 2 부분을 재구성하는 단계를 포함하는 것인 방법.
  18. 제 17 항에 있어서,
    상기 재구성된 제 1 부분에 적어도 부분적으로 기초하여 누락 픽셀들을 포함하는 하나 이상의 서브 블록들의 제 2 부분을 재구성하는 것은 변환 및 양자화 파라미터들의 제 3 세트를 포함하는 것인 방법.
  19. 제 18 항에 있어서,
    상기 변환 및 양자화 파라미터들의 제 3 세트는 상기 변환 및 양자화 파라미터들의 제 1 세트 또는 상기 변환 및 양자화 파라미터들의 제 2 세트와 동일한 것인 방법.
  20. 제 13 항에 있어서,
    상기 비디오 블록은 비디오 신호의 휘도 성분 또는 채도 성분인 것인 방법.
  21. 비디오 디코딩 방법에 있어서,
    하나 이상의 인코딩된 비디오 블록들을 수신하는 단계;
    상기 하나 이상의 인코딩된 비디오 블록들을 제 1 서브 블록 및 하나 이상의 잔여 서브 블록들로 분할하는 단계;
    재구성된 제 1 서브 블록 및 하나 이상의 재구성된 잔여 서브 블록들을 생성하는 단계;
    상기 예측 모드, 상기 재구성된 제 1 서브 블록 및 상기 하나 이상의 재구성된 잔여 서브 블록들에 기초하여 재구성된 비디오 블록을 형성하는 단계를 포함하는, 비디오 디코딩 방법.
  22. 제 21 항에 있어서,
    상기 재구성된 제 1 서브 블록은 상기 제 1 서브 블록에 대응하는 재구성된 잔차에 예측된 제 1 서브 블록을 부가함으로써 생성되는 것인 비디오 디코딩 방법.
  23. 제 22 항에 있어서,
    상기 하나 이상의 재구성된 잔여 서브 블록들은 상기 하나 이상의 잔여 서브 블록들에 대응하는 재구성된 잔차에 상기 하나 이상의 잔여 서브 블록들의 예측된 서브 블록을 부가함으로써 생성되는 것인 비디오 디코딩 방법.
  24. 제 23 항에 있어서,
    상기 예측된 서브 블록은 예측 모드에 기초한 인트라 예측을 이용하여 결정되고, 상기 하나 이상의 잔여 서브 블록들의 예측된 서브 블록들은 상기 예측 모드에 기초한 하나 이상의 보간 기법들에 기초하여 결정되는 것인 비디오 디코딩 방법.
KR1020147009836A 2011-09-15 2012-09-14 공간 예측을 위한 시스템들 및 방법들 KR102173630B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161535043P 2011-09-15 2011-09-15
US61/535,043 2011-09-15
PCT/US2012/055280 WO2013040287A1 (en) 2011-09-15 2012-09-14 Systems and methods for spatial prediction

Publications (2)

Publication Number Publication Date
KR20140062516A true KR20140062516A (ko) 2014-05-23
KR102173630B1 KR102173630B1 (ko) 2020-11-03

Family

ID=47076363

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147009836A KR102173630B1 (ko) 2011-09-15 2012-09-14 공간 예측을 위한 시스템들 및 방법들

Country Status (7)

Country Link
US (4) US9699452B2 (ko)
EP (2) EP3232665B1 (ko)
JP (1) JP6242793B2 (ko)
KR (1) KR102173630B1 (ko)
CN (2) CN108462875B (ko)
TW (2) TWI568242B (ko)
WO (1) WO2013040287A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016137166A1 (ko) * 2015-02-23 2016-09-01 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2018079888A1 (ko) * 2016-10-28 2018-05-03 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2019194511A1 (ko) * 2018-04-01 2019-10-10 엘지전자 주식회사 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101292091B1 (ko) * 2010-10-26 2013-08-08 (주)휴맥스 적응적 화면내 예측 부호화 및 복호화 방법
US20120294365A1 (en) * 2011-05-17 2012-11-22 Dong Zheng Image and video encoding and decoding
US9332257B2 (en) 2012-10-01 2016-05-03 Qualcomm Incorporated Coded black flag coding for 4:2:2 sample format in video coding
US10602155B2 (en) * 2013-04-29 2020-03-24 Intellectual Discovery Co., Ltd. Intra prediction method and apparatus
WO2015005418A1 (ja) * 2013-07-10 2015-01-15 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム
CN104702962B (zh) 2015-03-03 2019-04-16 华为技术有限公司 帧内编解码方法、编码器和解码器
GB2557809B (en) * 2015-08-28 2021-12-01 Kt Corp Method and device for processing video signal
US9986189B2 (en) 2016-01-04 2018-05-29 Samsung Electronics Co., Ltd. Pixel sensors and imaging devices for providing multiple sub sample images within a single frame
CN117499646A (zh) * 2016-04-29 2024-02-02 英迪股份有限公司 图像解码方法、图像编码方法和用于发送比特流的方法
US10621731B1 (en) * 2016-05-31 2020-04-14 NGCodec Inc. Apparatus and method for efficient motion estimation for different block sizes
GB2554065B (en) * 2016-09-08 2022-02-23 V Nova Int Ltd Data processing apparatuses, methods, computer programs and computer-readable media
JP6669622B2 (ja) * 2016-09-21 2020-03-18 Kddi株式会社 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体
US20180131936A1 (en) * 2016-11-10 2018-05-10 Intel Corporation Conversion buffer to decouple normative and implementation data path interleaving of video coefficients
BR112020008896A2 (pt) * 2017-11-07 2020-10-20 Huawei Technologies Co., Ltd. filtro de interpolação para um aparelho e método de interpredição para codificação de vídeo
JP7269257B2 (ja) * 2018-04-13 2023-05-08 コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ フレームレベル超解像ベースビデオ符号化
KR20200028856A (ko) * 2018-09-07 2020-03-17 김기백 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
EP3984228A4 (en) * 2019-06-14 2023-03-29 Telefonaktiebolaget Lm Ericsson (Publ) SAMPLE VALUE CLIPPING ON MIP REDUCED PREDICTION
CN114009044A (zh) * 2019-06-14 2022-02-01 瑞典爱立信有限公司 用于基于矩阵的帧内预测的简化下采样
EP4022901A4 (en) * 2019-08-31 2022-11-23 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR ENCODING VIDEO AND STILL IMAGES USING ADAPTIVE RESIDUAL BLOCK SHAPE RESAMPLING
JP7500981B2 (ja) * 2020-02-05 2024-06-18 富士通株式会社 画像符号化装置、画像復号装置、及び画像処理システム
WO2024187048A1 (en) * 2023-03-07 2024-09-12 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices on intra template matching prediction

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009004985A1 (ja) * 2007-06-29 2009-01-08 Sharp Kabushiki Kaisha 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、プログラム、および記録媒体

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3356413B2 (ja) 1992-12-14 2002-12-16 ソニー株式会社 画像復号化方法及び装置
US6654503B1 (en) * 2000-04-28 2003-11-25 Sun Microsystems, Inc. Block-based, adaptive, lossless image coder
JP2003204555A (ja) * 2002-11-28 2003-07-18 Toshiba Corp 動画像符号化方法及び装置
JP4002878B2 (ja) 2003-01-17 2007-11-07 松下電器産業株式会社 画像符号化方法
JP2005130417A (ja) * 2003-10-01 2005-05-19 Matsushita Electric Ind Co Ltd 変換符号化方法および変換復号化方法
WO2006004331A1 (en) * 2004-07-07 2006-01-12 Samsung Electronics Co., Ltd. Video encoding and decoding methods and video encoder and decoder
JP2006237970A (ja) * 2005-02-24 2006-09-07 Mitsubishi Electric Corp 動画像符号化装置
KR100727969B1 (ko) 2005-08-27 2007-06-14 삼성전자주식회사 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
CN101375605A (zh) * 2006-01-31 2009-02-25 汤姆森许可贸易公司 用于实现降低分辨率更新模式的限制预测以及视频编码器和解码器中的复杂度可分级的方法和装置
US7756348B2 (en) * 2006-10-30 2010-07-13 Hewlett-Packard Development Company, L.P. Method for decomposing a video sequence frame
US8406299B2 (en) 2007-04-17 2013-03-26 Qualcomm Incorporated Directional transforms for intra-coding
US8619853B2 (en) * 2007-06-15 2013-12-31 Qualcomm Incorporated Separable directional transforms
CN101822058A (zh) * 2007-10-16 2010-09-01 Nxp股份有限公司 使用像素抽取的视频编码
JP2009290498A (ja) * 2008-05-29 2009-12-10 Renesas Technology Corp 画像符号化装置及び画像符号化方法
JP2010034802A (ja) * 2008-07-28 2010-02-12 Canon Inc 動画像符号化装置およびその制御方法
KR101432775B1 (ko) * 2008-09-08 2014-08-22 에스케이텔레콤 주식회사 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
TW201036447A (en) 2009-03-25 2010-10-01 Arcsoft shanghai technology co ltd Downscaling decoding method for an MPEG2 format video
JP5219089B2 (ja) 2009-04-30 2013-06-26 株式会社メガチップス 画像データの生成方法
JP5489557B2 (ja) 2009-07-01 2014-05-14 パナソニック株式会社 画像符号化装置及び画像符号化方法
CN101668205B (zh) 2009-09-25 2011-04-20 南京邮电大学 基于残差宏块自适应下采样立体视频压缩编码方法
WO2011108240A1 (ja) * 2010-03-01 2011-09-09 パナソニック株式会社 画像符号化方法および画像復号方法
KR20110138098A (ko) * 2010-06-18 2011-12-26 삼성전자주식회사 영상 인트라 예측 방법 및 장치 및 그를 적용한 영상 디코딩 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009004985A1 (ja) * 2007-06-29 2009-01-08 Sharp Kabushiki Kaisha 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、プログラム、および記録媒体

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
J-A. Choi, et al. H.264/AVC based near lossless intra codec using line-based prediction and modified CABAC. 2011 IEEE Int'l Conf. on Multimedia and Expo. Jul. 2011, pp.1-5 *
Y. H. Tan, et al. Intra-prediction with Adaptive Sub-sampling. JCT-VC of ITU-T and ISO/IEC. JCTVC-B025 Ver.1, Jul. 16, 2010, pp.1-4* *
Y. Piao, et al. An Adaptive Divide-and-Predict Coding for Intra-frame of H.264/AVC. 2009 16th IEEE Int'l Conf. on Image Processing. Nov. 2009, pp.3421-3424 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016137166A1 (ko) * 2015-02-23 2016-09-01 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US10554980B2 (en) 2015-02-23 2020-02-04 Lg Electronics Inc. Method for processing image on basis of intra prediction mode and device therefor
WO2018079888A1 (ko) * 2016-10-28 2018-05-03 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2019194511A1 (ko) * 2018-04-01 2019-10-10 엘지전자 주식회사 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
US20220408109A1 (en) 2022-12-22
US20240015321A1 (en) 2024-01-11
CN103797792B (zh) 2018-06-05
CN103797792A (zh) 2014-05-14
KR102173630B1 (ko) 2020-11-03
WO2013040287A1 (en) 2013-03-21
TW201722150A (zh) 2017-06-16
EP3232665B1 (en) 2024-07-03
CN108462875A (zh) 2018-08-28
JP2014531154A (ja) 2014-11-20
EP3232665A1 (en) 2017-10-18
TWI568242B (zh) 2017-01-21
TW201334541A (zh) 2013-08-16
US11785249B2 (en) 2023-10-10
EP2756678A1 (en) 2014-07-23
JP6242793B2 (ja) 2017-12-06
US9699452B2 (en) 2017-07-04
US11432001B2 (en) 2022-08-30
EP2756678B1 (en) 2017-04-19
US20130243091A1 (en) 2013-09-19
US20170251222A1 (en) 2017-08-31
CN108462875B (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
US11785249B2 (en) Systems and methods for spatial prediction
US20220329831A1 (en) Enhanced chroma coding using cross plane filtering
US20210274203A1 (en) Systems and methods for rgb video coding enhancement
JP6709823B2 (ja) ビデオ符号化のための成分間相関解除
US10484686B2 (en) Palette coding modes and palette flipping
US10405000B2 (en) One-dimensional transform modes and coefficient scan order
CN109982081B (zh) 用于多层视频编码的自适应上采样
US10972731B2 (en) Systems and methods for coding in super-block based video coding framework
US20170374384A1 (en) Palette coding for non-4:4:4 screen content video
US20160227231A1 (en) Escape color coding for palette coding mode
US20190014333A1 (en) Inter-layer prediction for scalable video coding

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant