KR102521870B1 - 혼합된 인터레이스 및 프로그레시브 콘텐트에 의한 스케일러블 비디오 코딩을 위한 방법들, 및 시스템들 - Google Patents

혼합된 인터레이스 및 프로그레시브 콘텐트에 의한 스케일러블 비디오 코딩을 위한 방법들, 및 시스템들 Download PDF

Info

Publication number
KR102521870B1
KR102521870B1 KR1020227002612A KR20227002612A KR102521870B1 KR 102521870 B1 KR102521870 B1 KR 102521870B1 KR 1020227002612 A KR1020227002612 A KR 1020227002612A KR 20227002612 A KR20227002612 A KR 20227002612A KR 102521870 B1 KR102521870 B1 KR 102521870B1
Authority
KR
South Korea
Prior art keywords
layer
video
picture
phase
sets
Prior art date
Application number
KR1020227002612A
Other languages
English (en)
Other versions
KR20220017517A (ko
Inventor
얀 예
용 헤
유웬 헤
랄프 네프
Original Assignee
브이아이디 스케일, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 브이아이디 스케일, 인크. filed Critical 브이아이디 스케일, 인크.
Publication of KR20220017517A publication Critical patent/KR20220017517A/ko
Application granted granted Critical
Publication of KR102521870B1 publication Critical patent/KR102521870B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 코딩/디코딩을 위한 방법들, 장치, 및 시스템들이 개시된다. 하나의 대표적인 방법은 디코더가 적어도 기본 계층(base layer; BL), 강화 계층(enhancement layer; EL), 및 위상 정보를 포함하는 비디오 콘텐트를 수신하는 것을 포함한다. 위상 정보는 위상 파라미터들의 복수의 세트들 중으로부터 위상 파라미터들의 하나 이상의 세트들을 표시하는 표시자를 포함한다. 방법은 비디오 콘텐트 및 수신된 위상 정보에 기초하여 BL을 인터-계층 참조(inter-layer reference; ILR) 픽처로 조립하는 단계, ILR 픽처 또는 EL 참조 픽처 중의 하나 또는 양자를 선택하는 단계, 및 위상 정보와, 선택된 ILR 픽처 또는 선택된 EL 참조 픽처 중의 하나 이상을 이용하여 현재의 EL 픽처를 예측하는 단계를 더 포함한다.

Description

혼합된 인터레이스 및 프로그레시브 콘텐트에 의한 스케일러블 비디오 코딩을 위한 방법들, 및 시스템들{METHODS AND SYSTEMS FOR SCALABLE VIDEO CODING WITH MIXED INTERLACE AND PROGRESSIVE CONTENT}
이 출원은 2014년 1월 2일자로 출원된 미국 특허 가출원 제61/923,110호, 및 2014년 2월 12일자로 출원된 미국 특허 가출원 제61/939,217호의 정규 출원이고, 그 내용들은 참조로 본원에 전체적으로 편입된다.
이 출원은 비디오 코딩에 관한 것으로, 특히, 혼합된 인터레이스(interlace) 및 프로그레시브(progressive) 콘텐트에 의한 스케일러블 비디오 코딩의 시스템들, 장치, 및 방법들에 관한 것이다.
과거 20년 동안, 효율적인 디지털 비디오 통신, 분배, 및 소비를 가능하게 하기 위하여, 다양한 디지털 비디오 압축 기술이 개발되고 표준화되었다. H.261, MPEG-1, MPEG-2, H.263, MPEG-4 파트(part) 2, 및 H.264/MPEG-4 파트 10 AVC와 같이, 상업적으로 널리 전개된 표준들의 대부분은 ISO/IEC 및 ITU-T에 의해 개발되고 있다. 최근, 고효율 비디오 코딩(High Efficiency Video Coding; HEVC) 또는 H.265로 칭해진 비디오 코딩 표준이 ITU-T 비디오 코딩 전문가 그룹(Video Coding Experts Group; VCEG) 및 ISO/IEC 동화상 전문가 그룹(Moving Picture Experts Group; MPEG)에 의해 공동으로 개발되었다.
상세한 설명에 첨부된 도면들과 함께 예로서 주어진, 이하의 상세한 설명으로부터 더욱 상세한 이해가 있을 수도 있다. 이러한 도면들에서의 도면들은 상세한 설명과 같이 예들이다. 이와 같이, 도면들 및 상세한 설명은 제한하는 것으로 간주되지 않아야 하고, 다른 동일하게 효과적인 예들이 가능하고 유망하다. 또한, 도면들에서의 유사한 참조 번호들은 유사한 구성요소들을 표시하고,
도 1a는 하나 이상의 실시형태들이 수행될 수도 있고 및/또는 구현될 수도 있는 일 예의 비디오 인코딩 및 디코딩 시스템을 예시하는 블록도이고;
도 1b는 도 1a의 비디오 인코딩 및/또는 디코딩 시스템과의 이용을 위한 일 예의 비디오 인코더 유닛을 예시하는 블록도이고;
도 2는 일반적인 블록-기반 하이브리드 비디오 인코딩 시스템의 블록도이고;
도 3은 블록-기반 비디오 디코더의 일반적인 블록도이고;
도 4는 픽처-레벨 인터 계층 프로세싱(inter layer processing; ILP)을 이용한 2-계층 스케일러블 코딩 시스템을 예시하는 블록도이고;
도 5는 픽처 레벨 ILP를 갖는 2-계층 스케일러블 디코딩 시스템을 예시하는 도면이고;
도 6은 하이브리드 코덱 스케일러빌러티(hybrid codec scalability) 지원을 갖는 SHVC 코덱을 이용한 대표적인 비디오 전달을 예시하는 도면이고;
도 7은, 대표적인 프로그레시브 프레임을 도시하고, 프로그레시브 프레임과 비교하여, 인터레이스 비디오(interlace video)에서 상부 필드 및 하부 필드에서의 픽셀들의 공간적 관계를 예시하는 도면이고;
도 8은, 대표적인 인터레이스 비디오를 도시하고, 그 프로그레시브 대응부에서의 프레임들과 비교하여, 인터레이스 비디오의 상부/하부 필드들 사이의 시간적 관계의 예를 예시하는 도면이고;
도 9는 프로그레시브 주사된 비디오 프레임을 위한 YUV4:2:0 비디오 포맷에서의 크로마 샘플(chroma sample)들 및 루마 샘플(luma sample)들의 디폴트 상대적 로케이션(location)들을 예시하는 도면이고;
도 10은 인터레이스 주사된 비디오 상부 필드 및 하부 필드를 위한 YUV4:2:0 비디오 포맷에서의 크로마 샘플들 및 루마 샘플들의 디폴트 상대적 로케이션들을 예시하는 도면이고;
도 11은 상부 필드 및 하부 필드가 하나의 픽처로 조합되는 예를 예시하는 픽처이고;
도 12는 영역 기반 적응적 프레임-필드 업샘플링의 예를 예시하는 도면이고;
도 13은 필드 조합을 이용한 인터-계층 예측을 위한 대표적인 절차를 예시하는 도면이고;
도 14a는 2를 초과하는 필드들과의 필드 조합을 이용한 인터-계층 예측을 위한 대표적인 절차를 예시하는 도면이고;
도 14b는 리샘플 위상 정보(resample phase information)의 5 개의 세트들(예컨대, 복수의 세트들)을 갖는 3-계층(예컨대, 멀티계층) 스케일러블 비트스트림의 예를 예시하는 도면이고;
도 15a는 하나 이상의 개시된 실시형태들이 구현될 수도 있는 일 예의 통신 시스템의 도면이고;
도 15b는 도 15a에서 예시된 통신 시스템 내에서 이용될 수도 있는 일 예의 무선 송수신 유닛(WTRU)의 도면이고; 그리고
도 15c, 도 15d, 및 도 15e는 도 15a에서 예시된 통신 시스템 내에서 이용될 수도 있는 일 예의 라디오 액세스 네트워크들 및 일 예의 코어 네트워크들의 도면들이다.
도 1a는 하나 이상의 실시형태들이 수행될 수도 있고 및/또는 구현될 수도 있는 일 예의 비디오 인코딩 및 디코딩 시스템(100)을 예시하는 블록도이다. 시스템(100)은 통신 채널(116)을 통해 인코딩된 비디오 정보를 목적지 디바이스(destination device)(114)로 송신할 수도 있는 출발지 디바이스(source device)(112)를 포함할 수도 있다.
출발지 디바이스(112) 및/또는 목적지 디바이스(114)는 광범위한 디바이스들 중의 임의의 것일 수도 있다. 일부의 대표적인 실시형태들에서, 출발지 디바이스(112) 및/또는 목적지 디바이스(114)는 통신 채널(116) 상에서 비디오 정보를 통신할 수 있는 무선 핸드셋들 또는 임의의 무선 디바이스들과 같은 무선 송신 및/또는 수신 유닛(wireless transmit and/or receive unit; WTRU)들을 포함할 수도 있고, 이 경우, 통신 채널(116)은 무선 링크를 포함한다. 그러나, 본원에서 설명되거나, 개시되거나, 또는 이와 다르게 명시적으로, 묵시적으로, 및/또는 본질적으로 제공(집합적으로 "제공")된 방법들, 장치들, 및 시스템들은 무선 애플리케이션들 또는 세팅(setting)들로 반드시 제한되지는 않는다. 예를 들어, 이 기법들은 오버-디-에어(over-the-air) 텔레비전 브로드캐스트들, 케이블 텔레비전 송신들, 위성 텔레비전 송신들, 인터넷 비디오 송신들, 저장 매체 상으로 인코딩되는 인코딩된 디지털 비디오, 및/또는 다른 시나리오들에 적용할 수도 있다. 통신 채널(116)은 인코딩된 비디오 데이터의 송신을 위하여 적당한 무선 또는 유선 매체들의 임의의 조합을 포함할 수 있고, 및/또는 이러한 임의의 조합일 수도 있다.
출발지 디바이스(112)는 비디오 인코더 유닛(118), 송신 및/또는 수신(Tx/Rx) 유닛(120), 및/또는 Tx/Rx 엘리먼트(element)(122)를 포함할 수도 있다. 도시된 바와 같이, 출발지 디바이스(112)는 비디오 소스(video source)(124)를 포함할 수도 있다. 목적지 디바이스(114)는 Tx/RX 엘리먼트(126), Tx/Rx 유닛(128), 및/또는 비디오 디코더 유닛(130)을 포함할 수도 있다. 도시된 바와 같이, 목적지 디바이스(114)는 디스플레이 디바이스(132)를 포함할 수도 있다. Tx/Rx 유닛들(120, 128)의 각각은 송신기, 수신기, 또는 송신기 및 수신기의 조합(예컨대, 트랜시버 또는 송신기-수신기)일 수도 있거나, 이를 포함할 수도 있다. Tx/Rx 엘리먼트들(122, 126)은 예를 들어, 안테나일 수도 있다. 이 개시내용에 따르면, 출발지 디바이스(112)의 비디오 인코더 유닛(118) 및/또는 목적지 디바이스(114)의 비디오 디코더 유닛(130)은 본원에서 제공된 코딩 기법들을 적용하도록 구성 및/또는 구비(집합적으로 "구비")될 수도 있다.
출발지 및 목적지 디바이스들(112, 114)은 다른 엘리먼트들/컴포넌트(component)들 또는 배열들을 포함할 수도 있다. 예를 들어, 출발지 디바이스(112)는 외부 비디오 소스로부터 비디오 데이터를 수신하도록 적응될 수도 있다. 목적지 디바이스(114)는 외부 디스플레이 디바이스(도시되지 않음)와 인터페이스할 수도 있고, 및/또는 (예컨대, 통합된) 디스플레이 디바이스(132)를 포함 및/또는 이용할 수도 있다. 일부의 실시형태들에서, 비디오 인코더 유닛(118)에 의해 생성된 데이터 스트림은 예컨대, 직접적인 디지털 전송에 의해, 데이터를 캐리어 신호(carrier signal) 상으로 변조하지 않으면서 다른 디바이스들로 전달될 수도 있고, 다른 디바이스들은 송신을 위하여 데이터를 변조할 수도 있거나, 변조하지 않을 수도 있다.
본원에서 제공된 기법들은 임의의 디지털 비디오 인코딩 및/또는 디코딩 디바이스에 의해 수행될 수도 있다. 일반적으로, 본원에서 제공된 기법들은 별도의 비디오 인코딩 및/또는 비디오 디코딩 디바이스들에 의해 수행되지만, 기법들은 또한, "CODEC"으로서 전형적으로 지칭된 조합된 비디오 인코더/디코더에 의해 수행될 수도 있다. 본원에서 제공된 기법들은 또한, 비디오 프리프로세서(preprocessor) 등에 의해 수행될 수도 있다. 출발지 디바이스(112) 및 목적지 디바이스(114)는, 출발지 디바이스(112)가 목적지 디바이스(114)로의 송신을 위한 인코딩된 비디오 정보를 생성할 수도 있는(및/또는 비디오 데이터를 수신할 수도 있고, 이와 같이 생성할 수도 있음) 이러한 코딩 디바이스들의 예들에 불과하다. 일부의 대표적인 실시형태들에서, 출발지 및 목적지 디바이스들(112, 114)은, 디바이스들(112, 114)의 각각이 비디오 인코딩 및 디코딩 컴포넌트들 및/또는 엘리먼트들(집합적으로 "엘리먼트들")의 양자를 포함할 수도 있도록, 실질적으로 대칭적인 방식으로 동작할 수도 있다. 이 때문에, 시스템(100)은 (예컨대, 그 중에서도, 비디오 스트리밍, 비디오 재생, 비디오 브로드캐스팅, 비디오 전화, 및/또는 비디오 화상회의 중의 임의의 것을 위하여) 출발지 및 목적지 디바이스들(112, 114) 사이에서 일방향(one-way) 및 양방향(two-way) 비디오 송신 중의 임의의 것을 지원할 수도 있다. 어떤 대표적인 실시형태들에서, 출발지 디바이스(112)는 하나 이상의 목적지 디바이스들을 위한 인코딩된 비디오 정보를 생성(및/또는 비디오 데이터를 수신하고, 이와 같이 생성함)하도록 구비된 예를 들어, 비디오 스트리밍 서버일 수도 있고, 여기서, 목적지 디바이스들은 유선 및/또는 무선 통신 시스템들 상에서 출발지 디바이스(112)와 통신할 수도 있다.
외부 비디오 소스 및/또는 비디오 소스(124)는 비디오 카메라와 같은 비디오 캡처 디바이스, 이전에 캡처된 비디오를 포함하는 비디오 아카이브(video archive), 및/또는 비디오 콘텐트 제공자로부터의 비디오 피드(video feed)일 수도 있고, 및/또는 이를 포함할 수도 있다. 어떤 대표적인 실시형태들에서, 외부 비디오 소스 및/또는 비디오 소스(124)는 소스 비디오로서, 또는 라이브 비디오(live video), 아카이빙된 비디오(archived video), 및/또는 컴퓨터-생성된 비디오의 조합으로서, 컴퓨터 그래픽-기반(computer graphics-based) 데이터를 생성할 수도 있다. 어떤 대표적인 실시형태들에서, 비디오 소스(124)가 비디오 카메라일 때, 출발지 디바이스(112) 및 목적지 디바이스(114)는 카메라 폰들 또는 비디오 폰들일 수도 있거나, 이를 구체화할 수도 있다.
캡처된, 프리-캡처된, 컴퓨터-생성된 비디오, 비디오 피드, 및/또는 다른 타입의 비디오 데이터(집합적으로 "비-인코딩된(un-encoded) 비디오")는 인코딩된 비디오 정보를 형성하기 위하여 비디오 인코더 유닛(118)에 의해 인코딩될 수도 있다. Tx/Rx 유닛(120)은 (예컨대, 통신 표준에 따라, 인코딩된 비디오 정보를 반송(carry)하는 하나 이상의 변조된 신호들을 형성하기 위하여) 인코딩된 비디오 정보를 변조할 수도 있다. Tx/Rx 유닛(120)은 변조된 신호들을, 송신을 위하여 그 송신기로 전달할 수도 있다. 송신기는 변조된 신호들을 Tx/Rx 엘리먼트(122)를 통해 목적지 디바이스(114)로 송신할 수도 있다.
목적지 디바이스(114)에서, Tx/Rx 유닛(128)은 Tx/Rx 엘리먼트(126)를 통해 채널(116) 상으로부터 변조된 신호들을 수신할 수도 있다. Tx/Rx 유닛(128)은 인코딩된 비디오 정보를 획득하기 위하여 변조된 신호들을 복조할 수도 있다. Tx/RX 유닛(128)은 인코딩된 비디오 정보를 비디오 디코더 유닛(130)으로 전달활 수도 있다.
비디오 디코더 유닛(130)은 디코딩된 비디오 데이터를 획득하기 위하여 인코딩된 비디오 정보를 디코딩할 수도 있다. 인코딩된 비디오 정보는 비디오 인코더 유닛(118)에 의해 정의된 신택스 정보(syntax information)를 포함할 수도 있다. 이 신택스 정보는 하나 이상의 엘리먼트들("신택스 엘리먼트(syntax element)들")을 포함할 수도 있고; 그 일부 또는 전부는 인코딩된 비디오 정보를 디코딩하기 위하여 유용할 수도 있다. 신택스 엘리먼트들은 예를 들어, 인코딩된 비디오 정보의 특성들을 포함할 수도 있다. 신택스 엘리먼트들은 또한, 인코딩된 비디오 정보를 형성하기 위하여 이용된 비-인코딩된 비디오의 특성들을 포함할 수도 있고, 및/또는 상기 비-인코딩된 비디오의 프로세싱을 설명할 수도 있다.
비디오 디코더 유닛(130)은 더 이후의 저장, 및/또는 외부 디스플레이(도시되지 않음) 상에서의 디스플레이를 위하여, 디코딩된 비디오 데이터를 출력할 수도 있다. 어떤 대표적인 실시형태들에서, 비디오 디코더 유닛(130)은 디코딩된 비디오 데이터를 디스플레이 디바이스(132)로 출력할 수도 있다. 디스플레이 디바이스(132)는디코딩된 비디오 데이터를 사용자에 게 디스플레이하도록 구비된 임의의 개별적인, 다수의, 조합의 다양한 디스플레이 디바이스들일 수도 있고, 및/또는 이를 포함할 수도 있다. 이러한 디스플레이 디바이스들의 예들은 그 중에서도, 액정 디스플레이(liquid crystal display; LCD), 플라즈마 디스플레이, 유기 발광 다이오드(organic light emitting diode; OLED) 디스플레이, 및/또는 음극선관(cathode ray tube; CRT)을 포함한다.
통신 채널(116)은 라디오 주파수 (radio frequency; RF) 스펙트럼 또는 하나 이상의 물리적 송신 라인들과 같은 임의의 무선 또는 유선 통신 매체, 또는 무선 및 유선 매체들의 임의의 조합일 수도 있다. 통신 채널(116)은 로컬 영역 네트워크, 광역 네트워크, 또는 인터넷과 같은 글로벌 네트워크(global network)와 같은 패킷-기반 네트워크의 일부를 형성할 수도 있다. 통신 채널 (116) 은 일반적으로, 유선 및/또는 무선 매체들의 임의의 적당한 조합을 포함하는, 출발지 디바이스(112)로부터 목적지 디바이스(114)로 비디오 데이터를 송신하기 위한 임의의 적당한 통신 매체, 또는 상이한 통신 매체들의 집합을 나타낸다. 통신 채널 (116) 은 출발지 디바이스(112)로부터 목적지 디바이스(114)로의 통신을 용이하게 하기에 유용할 수도 있는 라우터들, 스위치들, 기지국들, 및/또는 임의의 다른 장비를 포함할 수도 있다. 디바이스들(112, 114) 사이의 이러한 통신을 용이하게 할 수도 있는 일 예의 통신 시스템의 세부사항들은 도 15a 내지 도 15e를 참조하여 이하에서 제공된다. 출발지 및 목적지 디바이스들(112, 114)을 나타낼 수도 있는 디바이스들의 세부사항들이 마찬가지로 이하에서 제공된다.
비디오 인코더 유닛(118) 및 비디오 디코더 유닛(130)은 그 중에서도, 예를 들어, MPEG-2, H.261, H.263, H.264, H.264/AVC, 및/또는 SVC 확장들에 따라 확장된 바와 같은 H.264("H.264/SVC")와 같은 하나 이상의 표준들 및/또는 사양들에 따라 동작할 수도 있다. 당업자는 본원에서 기재된 방법들, 장치, 및/또는 시스템들이 다른 비디오 인코더들, 디코더들, 및/또는 상이한 표준들에 따라 구현된(및/또는 이와 호환가능한) CODEC들에 대해, 또는 미래의 비디오 인코더들, 디코더들, 및/또는 CODEC들을 포함하는 전용 비디오 인코더들, 디코더들, 및/또는 CODEC들에 대해 적용가능하다는 것을 이해한다. 본원에서 기재된 기법들은 임의의 특정한 코딩 표준으로 제한되지는 않는다.
위에서 언급된 H.264/AVC의 관련된 부분들은 ITU-T 추천안 H.264, 또는 더욱 구체적으로, 참조로 본원에 편입되고, H.264 표준, H.264 사양, H.264/AVC 표준 및/또는 사양으로서 본원에서 지칭될 수도 있는 "ITU-T Rec. H.264 및 ISO/IEC 14496-10 (MPEG4-AVC), 'Advanced Video Coding for Generic Audiovisual Services(일반적인 오디오비주얼 서비스들을 위한 진보된 비디오 코딩)', v5, March, 2010"으로서 국제 전기통신 연합(International Telecommunications Union)으로부터 입수가능하다. 본원에서 제공된 기법들은 H.264 표준을 준수하는(예컨대, 이를 준수하는) 디바이스들에 적용될 수도 있다.
도 1a에서 도시되지 않았지만, 비디오 인코더 및 비디오 디코더 유닛들(118, 130)의 각각은 (적절하게) 오디오 인코더 및/또는 오디오 디코더를 포함할 수도 있고, 및/또는 오디오 인코더 및/또는 오디오 디코더와 통합될 수도 있다. 비디오 인코더 및 비디오 디코더 유닛들(118, 130)은 공통의 데이터 스트림 및/또는 별도의 데이터 스트림들에서 오디오 및 비디오 양자의 인코딩을 처리하기 위한 적절한 MUX-DEMUX 유닛들, 또는 다른 하드웨어 및/또는 소프트웨어를 포함할 수도 있다. 적용가능한 경우, MUX-DEMUX 유닛들은 예를 들어, ITU-T 추천안 H.223 멀티플렉서 프로토콜 및/또는 사용자 데이터그램 프로토콜(user datagram protocol; UDP)과 같은 다른 프로토콜들을 준수할 수도 있다.
하나 이상의 비디오 인코더 및/또는 비디오 디코더 유닛들(118, 130)은 하나 이상의 인코더들 및/또는 디코더들 내에 포함될 수도 있고; 그 임의의 것은 CODEC의 일부로서 통합될 수도 있고, 그 중에서도, 개개의 카메라, 컴퓨터, 이동 디바이스, 가입자 디바이스, 브로드캐스트 디바이스, 셋톱(set-top) 박스, 및/또는 서버와 통합 및/또는 조합될 수도 있다. 비디오 인코더 유닛(118) 및/또는 비디오 디코더 유닛(130)은 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서(digital signal processor; DSP)들, 애플리케이션 특정 집적 회로(application specific integrated circuit; ASIC)들, 필드 프로그래밍가능 게이트 어레이(field programmable gate array; FPGA)들, 개별 로직, 소프트웨어, 하드웨어, 펌웨어, 또는 그 임의의 조합들과 같은, 다양한 적당한 인코더 및/또는 디코더 회로부들 중의 임의의 것으로서 각각 구현될 수도 있다. 비디오 인코더 및 비디오 디코더 유닛들(118, 130) 중의 어느 하나 또는 양자는 실질적으로 소프트웨어로 구현될 수도 있고, 비디오 인코더 유닛(118) 및/또는 비디오 디코더 유닛(130)의 엘리먼트들의 동작들은 하나 이상의 프로세서들(도시되지 않음)에 의해 실행된 적절한 소프트웨어 명령들에 의해 수행될 수도 있다. 이러한 실시형태는 프로세서에 추가하여, 오프-칩(off-chip) 컴포넌트들, 예를 들어, 그 중에서도, (예컨대, 비-휘발성 메모리의 형태인) 외부 저장장치 및/또는 입력/출력 인터페이스들을 포함할 수도 있다.
비디오 인코더 및/또는 비디오 디코더 유닛들(118, 130)의 엘리먼트들의 동작들이 하나 이상의 프로세서들에 의해 실행된 소프트웨어 명령들에 의해 수행될 수도 있는 임의의 실시형태에서, 소프트웨어 명령들은 예를 들어, 그 중에서도, 자기 디스크들, 광학 디스크들, 임의의 다른 휘발성(예컨대, 랜덤 액세스 메모리(Random Access Memory)("RAM")) 비-휘발성(예컨대, 판독-전용 메모리(Read-Only Memory)("ROM")), 및/또는 CPU에 의해 판독가능한 대용량 저장 시스템을 포함하는 컴퓨터 판독가능 매체 상에서 유지될 수도 있다. 컴퓨터 판독가능 매체는, 프로세싱 시스템 상에서 배타적으로 존재할 수도 있고, 및/또는 프로세싱 시스템에 대해 로컬 또는 원격일 수도 있는 다수의 상호접속된 프로세싱 시스템들 사이에서 분포되는, 협력하거나 상호접속된 컴퓨터 판독가능 매체를 포함할 수도 있다.
도 1b는 시스템(100)과 같은, 비디오 인코딩 및/또는 디코딩 시스템과의 이용을 위한 일 예의 비디오 인코더 유닛(118)을 예시하는 블록도이다. 비디오 인코더 유닛(118)은 비디오 인코더(133), 출력 버퍼(134), 및 시스템 제어기(136)를 포함할 수도 있다. 비디오 인코더(133)(또는 그 하나 이상의 엘리먼트들)는 예를 들어, 그 중에서도, H.261, H.263, H.264, H.264/AVC, H.264/AVC의 SVC 확장들(H.264/AVC 부록 G), HEVC, 및/또는 HEVC의 스케일러블 확장(scalable extension)들(SHVC)과 같은 하나 이상의 표준들 및/또는 사양들에 따라 구현될 수도 있다. 당업자는 본원에서 제공된 방법들, 장치, 및/또는 시스템들이 상이한 표준들, 및/또는 미래의 CODEC들을 포함하는 전용 CODEC들에 따라 구현될 다른 비디오 인코더들에 적용가능할 수도 있다는 것을 이해한다.
비디오 인코더(133)는 비디오 소스(124) 및/또는 외부 비디오 소스와 같은 비디오 소스로부터 제공된 비디오 신호를 수신할 수도 있다. 이 비디오 신호는 비-인코딩된 비디오를 포함할 수도 있다. 비디오 인코더(133)는 비-인코딩된 비디오를 인코딩할 수도 있고, 그 출력에서 인코딩된(즉, 압축된) 비디오 비트스트림(bitstream; BS)을 제공할 수도 있다.
인코딩된 비디오 비트스트림 BS는 출력 버퍼(134)에 제공될 수도 있다. 출력 버퍼(134)는 인코딩된 비디오 비트스트림 BS를 버퍼링할 수도 있고, 통신 채널(116)을 통한 송신을 위하여, 이러한 인코딩된 비디오 비트스트림 BS를 버퍼링된 비트스트림(buffered bitstream; BBS)으로서 제공할 수도 있다.
출력 버퍼(134)로부터 출력된 버퍼링된 비트스트림(BBS)은 더 이후의 시청 또는 송신을 위하여 저장 디바이스(도시되지 않음)로 전송될 수도 있다. 어떤 대표적인 실시형태들에서, 비디오 인코더 유닛(118)은, 버퍼링된 비트스트림 BBS가 (예컨대, 지연(예를 들어, 매우 낮거나 최소의 지연)을 갖는) 특정된 일정한 및/또는 가변적인 비트 레이트에서 통신 채널(116)을 통해 송신될 수도 있는 시각적 통신을 위하여 구성될 수도 있다.
인코딩된 비디오 비트스트림 BS, 및 궁극적으로, 버퍼링된 비트스트림 BBS는 인코딩된 비디오 정보의 비트들을 반송할 수도 있다. 버퍼링된 비트스트림 BBS의 비트들은 인코딩된 비디오 프레임들의 스트림으로서 배열될 수도 있다. 인코딩된 비디오 프레임들은 인트라-코딩된(intra-coded) 프레임들(예컨대, I-프레임들), 또는 인터-코딩된 프레임들(예컨대, B-프레임들 및/또는 P-프레임들)일 수도 있다. 인코딩된 비디오 프레임들의 스트림은 예를 들어, 일련의 픽처들의 그룹(Group of Pictures; GOP)들로서 배열될 수도 있고, 각각의 GOP의 인코딩된 비디오 프레임들은 특정된 순서로 배열된다. 일반적으로, 각각의 GOP는 인트라-코딩된 프레임(예컨대, I-프레임) 및 그 다음으로, 하나 이상의 인터-코딩된 프레임들(예컨대, P-프레임들 및/또는 B-프레임들)과 함께 시작할 수도 있다. 각각의 GOP는 단일 인트라-코딩된 프레임만을 포함할 수도 있지만; GOP들 중의 임의의 것은 다수의 것들을 포함할 수도 있다. 예를 들어, 양방향 예측은 단방향 예측(P-프레임들)과 비교하여 여분의 코딩 지연을 야기시킬 수도 있으므로, B-프레임들은 실시간의 낮은 지연 애플리케이션들을 위하여 이용되지 않을 수도 있는 것으로 고려된다. 추가적인 및/또는 다른 프레임 타입들이 이용될 수도 있고, 인코딩된 비디오 프레임들의 특정한 순서는 당업자에 의해 이해된 바와 같이 수정될 수도 있다.
각각의 GOP는 신택스 데이터("GOP 신택스 데이터")를 포함할 수도 있다. GOP 신택스 데이터는 GOP의 헤더 내에, GOP의 하나 이상의 프레임들의 헤더 내에, 및/또는 다른 곳에서 배치될 수도 있다. GOP 신택스 데이터는 순서, 수량, 또는 타입을 표시할 수도 있고, 및/또는 개개의 GOP의 인코딩된 비디오 프레임들을 설명할 수도 있다. 각각의 인코딩된 비디오 프레임은 신택스 데이터("인코딩된-프레임 신택스 데이터")를 포함할 수도 있다. 인코딩된-프레임 신택스 데이터는 개개의 인코딩된 비디오 프레임에 대한 인코딩 모드를 표시할 수도 있고 및/또는 설명할 수도 있다.
시스템 제어기(136)는 채널(116)과 연관된 다양한 파라미터들 및/또는 제약들, 비디오 인코더 유닛(118)의 연산 능력들, 사용자들에 의한 요구 등을 모니터링할 수도 있고, 채널(116)의 특정된 제약들 및/또는 조건들을 위하여 적당한 동반된 체감 품질(quality of experience; QoE)을 제공하기 위하여 타겟 파라미터들을 확립할 수도 있다. 타겟 파라미터들 중의 하나 이상은 특정된 제약들 및/또는 채널 조건들에 따라 때때로 또는 주기적으로 조절될 수도 있다. 일 예로서, QoE는 예를 들어, 인코딩된 비디오 시퀀스들의 상대적인 지각 품질(perceptive quality)로서 보편적으로 지칭된 메트릭(metric)을 포함하는, 비디오 품질을 평가하기 위한 하나 이상의 메트릭들을 이용하여 정량적으로 평가될 수도 있다. 예를 들어, 피크-신호-대-잡음 비율(peak-signal-to-noise ratio)("PSNR") 메트릭을 이용하여 측정된 인코딩된 비디오 시퀀스들의 상대적인 지각 품질은 인코딩된 비트스트림 BS의 비트 레이트(bit rate; BR)에 의해 제어될 수도 있다. (예를 들어, 양자화 파라미터(quantization parameter; QP)를 포함하는) 타겟 파라미터들 중의 하나 이상은 인코딩된 비트스트림 BS의 비트 레이트와 연관된 제약들 내에서 비디오의 상대적인 지각 품질을 최대화하도록 조정될 수도 있다.
도 2는 시스템(100)과 같은, 비디오 인코딩 및/또는 디코딩 시스템과의 이용을 위한 블록-기반 하이브리드 비디오 인코더(200)의 블록도이다.
도 2를 참조하면, 블록-기반 하이브리드 인코딩 시스템(200)은 그 중에서도, 변환 유닛(204), 양자화 유닛(206), 엔트로피 코딩 유닛(208), 역양자화 유닛(210), 역변환 유닛(212), 제 1 가산기(216), 제 2 가산기(226), 공간적 예측 유닛(260), 모션 예측(motion prediction) 유닛(262), 참조 픽처 저장소(264), 하나 이상의 필터들(266)(예컨대, 루프 필터들), 및/또는 모드 판단 및 인코더 제어기 유닛(280)을 포함할 수도 있다.
비디오 인코더(200)의 세부사항들은 예시적인 것으로 단지 의도되고, 실세계 구현예들은 상이할 수도 있다. 실세계 구현예는 예를 들어, 더 많거나, 더 적거나, 및/또는 상이한 엘리먼트들을 포함할 수도 있고, 및/또는 도 2에서 도시된 배열과는 상이하게 배열될 수도 있다. 예를 들어, 별도로 도시되지 않았지만, 변환 유닛(204) 및 양자화 유닛(206)의 양자의 일부 또는 모든 기능성은 예를 들어, H.264 표준의 핵심 변환을 이용하는 구현예들과 같은 실세계 변환들의 일부에서 고도로 통합될 수도 있다. 유사하게, 역양자화 유닛(210) 및 역변환 유닛(212)은 실세계 구현예들(예컨대, H.264 또는 HEVC-표준-호환 구현예들)의 일부에서 고도로 통합될 수도 있지만, 개념적인 목적들을 위하여 별도로 마찬가지로 예시된다.
위에서 설명된 바와 같이, 비디오 인코더(200)는 그 입력부(202)에서 비디오 신호를 수신할 수도 있다. 비디오 인코더(200)는 수신된 비-인코딩된 비디오로부터 인코딩된 비디오 정보를 생성할 수도 있고, 인코딩된 비디오 비트스트림 BS의 형태로 그 출력부(220)로부터 인코딩된 비디오 정보(예컨대, 인트라-프레임들 또는 인터-프레임들 중의 임의의 것)를 출력할 수도 있다. 비디오 인코더(200)는 예를 들어, 하이브리드 비디오 인코더로서 동작할 수도 있고, 비-인코딩된 비디오를 인코딩하기 위한 블록-기반 코딩 프로세스를 채용할 수도 있다. 이러한 인코딩 프로세스를 수행할 때, 비디오 인코더(200)는 비-인코딩된 비디오의 개별적인 프레임들, 픽처들, 및/또는 이미지들(집합적으로 "비-인코딩된 픽처들")에 대해 동작할 수도 있다.
블록-기반 인코딩 프로세스를 용이하게 하기 위하여, 비디오 인코더(200)는 그 입력부(202)에서 수신된 각각의 비-인코딩된 픽처를 다수의 비-인코딩된 비디오 블록들로 슬라이스화, 파티셔닝, 분할, 및/또는 세그먼트화(집합적으로, "세그먼트화")할 수도 있다. 예를 들어, 비디오 인코더(200)는 비-인코딩된 픽처를 다수의 비-인코딩된 비디오 세그먼트(segment)들(예컨대, 슬라이스(slice)들)로 세그먼트화할 수도 있고, (예컨대, 그 다음으로) 비-인코딩된 비디오 세그먼트들의 각각을 비-인코딩된 비디오 블록들로 세그먼트화할 수도 있다. 비디오 인코더(200)는 비-인코딩된 비디오 블록들을 공간적 예측 유닛(260), 모션 예측 유닛(262), 모드 판단 및 인코더 제어기 유닛(280), 및/또는 제 1 가산기(216)로 전달하거나, 공급하거나, 전송하거나, 또는 제공할 수도 있다. 이하에서 더욱 상세하게 설명된 바와 같이, 비-인코딩된 비디오 블록들은 블록-대-블록(block-by-block)에 기초하여 제공될 수도 있다.
공간적 예측 유닛(260)은 비-인코딩된 비디오 블록들을 수신할 수도 있고, 인트라-모드에서 이러한 비디오 블록들을 인코딩할 수도 있다. 인트라-모드는 공간-기반 압축의 몇몇 모드들 중의 임의의 것을 지칭하고, 인트라-모드에서의 인코딩은 비-인코딩된 픽처의 공간-기반 압축을 제공하기 위하여 노력한다. 만약에 있을 경우, 공간-기반 압축은 비-인코딩된 픽처 내의 비디오 정보의 공간적 중복성(spatial redundancy)을 감소시키거나 제거하는 것으로부터 기인할 수도 있다. 예측 블록들을 형성할 시에, 공간적 예측 유닛(260)은, 이미 인코딩되었고("인코딩된 비디오 블록들") 및/또는 재구성되었던("재구성된 비디오 블록들") 비-인코딩된 픽처의 하나 이상의 비디오 블록들에 대한 각각의 비-인코딩된 비디오 블록의 공간적 예측(spatial prediction)(또는 "인트라-예측")을 수행할 수도 있다. 인코딩된 및/또는 재구성된 비디오 블록들은 비-인코딩된 비디오 블록의 이웃들일 수도 있거나, 이러한 비디오 블록에 인접할 수도 있거나, 또는 근접할(예컨대, 밀접하게 근접) 수도 있다.
모션 예측 유닛(262)은 입력부(202)로부터 비-인코딩된 비디오 블록들을 수신할 수도 있고, 이들을 인터-모드에서 인코딩할 수도 있다. 인터-모드는 예를 들어, P-모드(단방향 예측) 및/또는 B-모드(양방향 예측)를 포함하는 시간-기반 압축의 몇몇 모드들 중의 임의의 것을 지칭할 수도 있다. 인터-모드에서의 인코딩은 비-인코딩된 픽처의 시간-기반 압축을 제공하기 위하여 노력한다. 만약에 있을 경우, 시간-기반 압축은 비-인코딩된 픽처 및 하나 이상의 참조(예컨대, 인접한) 픽처들 사이의 비디오 정보의 시간적 중복성을 감소시키거나 제거하는 것으로부터 기인할 수도 있다. 모션/시간적 예측 유닛(262)은 참조 픽처들의 하나 이상의 비디오 블록들("참조 비디오 블록들")에 대한 각각의 비-인코딩된 비디오 블록의 시간적 예측(temporal prediction)(또는 "인터-예측(inter-prediction)")을 수행할 수도 있다. 수행된 시간적 예측은 (예컨대, P-모드에 대한) 단방향 예측 및/또는 (예컨대, B-모드에 대한) 양방향 예측일 수도 있다.
단방향-예측(uni-prediction)을 위하여, 참조 비디오 블록들은 하나 이상의 이전에 인코딩된 및/또는 재구성된 픽처들로부터의 것일 수도 있다. 인코딩된 및/또는 재구성된 픽처 또는 픽처들은 비-인코딩된 픽처의 이웃들일 수도 있고, 비-인코딩된 픽처에 인접할 수도 있고, 및/또는 비-인코딩된 픽처에 근접할 수도 있다.
양방향-예측(bi-prediction)을 위하여, 참조 비디오 블록들은 하나 이상의 이전에 인코딩된 및/또는 재구성된 픽처들로부터의 것일 수도 있다. 인코딩된 및/또는 재구성된 픽처들은 비-인코딩된 픽처의 이웃들일 수도 있고, 비-인코딩된 픽처에 인접할 수도 있고, 및/또는 비-인코딩된 픽처에 근접할 수도 있다.
(H.264/AVC 및/또는 HEVC와 같은 최신 비디오 코딩 표준들에 대해 그러할 수도 있는 바와 같이) 다수의 참조 픽처들이 이용될 경우, 각각의 비디오 블록에 대하여, 그 참조 픽처 인덱스는 후속 출력 및/또는 송신을 위하여 엔트로피 코딩 유닛(208)으로 전송될 수도 있다. 참조 인덱스는 시간적 예측이 참조 픽처 저장소(264)에서의 어느 참조 픽처 또는 픽처들로부터 비롯되는지를 식별하기 위하여 이용될 수도 있다.
전형적으로 고도로 통합되지만, 모션 추정(motion estimation) 및 모션 보상(motion compensation)을 위한 모션/시간적 예측 유닛(262)의 기능들은 별도의 엔티티들 또는 유닛들(도시되지 않음)에 의해 수행될 수도 있다. 모션 추정은 참조-픽처 비디오 블록들에 대하여 각각의 비-인코딩된 비디오 블록에 대한 모션을 추정하기 위하여 수행될 수도 있고, 비-인코딩된 비디오 블록에 대한 모션 벡터를 생성하는 것을 수반할 수도 있다. 모션 벡터는 코딩되고 있는 비-인코딩된 비디오 블록에 대한 예측 블록의 변위(displacement)를 표시할 수도 있다. 이 예측 블록은 예를 들어, 코딩되고 있는 비-인코딩된 비디오 블록의 픽셀 차이의 측면에서 밀접하게 일치하는 것으로 구해지는 참조-픽처 비디오 블록이다. 일치는 절대 차이의 합(sum of absolute difference; SAD), 제곱 차이의 합(sum of square difference; SSD), 및/또는 다른 차이 메트릭들에 의해 결정될 수도 있다. 모션 보상은 모션 추정에 의해 결정된 모션 벡터에 기초하여 예측 블록을 페치(fetch)하는 것 및/또는 생성하는 것을 수반할 수도 있다.
모션 예측 유닛(262)은 비-인코딩된 비디오 블록을, 참조 픽처 저장소(264)에서 저장된 참조 픽처들로부터의 참조 비디오 블록들과 비교함으로써, 비-인코딩된 비디오 블록에 대한 모션 벡터를 계산할 수도 있다. 모션 예측 유닛(262)은 참조 픽처 저장소(264) 내에 포함된 참조 픽처의 분수 픽셀 위치(fractional pixel position)들에 대한 값들을 계산할 수도 있다. 일부의 사례들에서, 비디오 인코더(200)의 가산기(226) 또는 또 다른 유닛은 재구성된 비디오 블록들에 대한 분수 픽셀 위치 값들을 계산할 수도 있고, 재구성된 비디오 블록들을, 분수 픽셀 위치들에 대한 계산된 값들과 함께, 참조 픽처 저장소(264) 내에 저장할 수도 있다. 모션 예측 유닛(262)은 (예컨대, I-프레임 및/또는 P-프레임 및/또는 B-프레임의) 참조 픽처의 정수-미만(sub-pixel) 픽셀들을 보간(interpolate)할 수도 있다.
모션 예측 유닛(262)은 선택된 모션 예측자(motion predictor)에 대한 모션 벡터를 인코딩하도록 구성될 수도 있다. 모션/시간적 예측 유닛(262)에 의해 선택된 모션 예측자는 예를 들어, 이미 인코딩되었던 이웃하는 블록들의 모션 벡터들의 평균과 동등한 벡터일 수도 있다. 비-인코딩된 비디오 블록에 대한 모션 벡터를 인코딩하기 위하여, 모션/시간적 예측 유닛(262)은 모션 벡터 차이 값을 형성하기 위하여 모션 벡터와 모션 예측자 사이의 차이를 계산할 수도 있다.
H.264 및 HEVC는 잠재적인 참조 프레임들의 세트를 "리스트"로서 지칭한다. 참조 픽처 저장소(264) 내에 저장된 참조 픽처들의 세트는 참조 프레임들의 이러한 리스트에 대응할 수도 있다. 모션/시간적 예측 유닛(262)은 참조 픽처 저장소(264)로부터의 참조 픽처들의 참조 비디오 블록들을 (예컨대, P-프레임 또는 B-프레임의) 비-인코딩된 비디오 블록과 비교할 수도 있다. 참조 픽처 저장소(264)에서의 참조 픽처들이 정수-미만 픽셀들에 대한 값들을 포함할 때, 모션/시간적 예측 유닛(262)에 의해 계산된 모션 벡터는 참조 픽처의 정수-미만 픽셀 로케이션(pixel location)을 지칭할 수도 있다. 모션/시간적 예측 유닛(262)은 계산된 모션 벡터를 엔트로피 코딩 유닛(208)으로, 그리고 모션/시간적 예측 유닛(262)의 모션 보상 기능들로 전송할 수도 있다. 모션 예측 유닛(262)(또는 그 모션 보상 기능들)은 코딩되고 있는 비-인코딩된 비디오 블록에 대하여 예측 블록에 대한 오차(error) 값들을 계산할 수도 있다. 모션 예측 유닛(262)은 예측 블록에 기초하여 예측 데이터를 계산할 수도 있다.
모션 판단 및 인코더 제어기 유닛(280)은 코딩 모드들, 인트라-모드, 또는 인터-모드 중의 하나를 선택할 수도 있다. 모드 판단 및 인코더 제어기 유닛(280)은 예를 들어, 레이트-왜곡 최적화(rate-distortion optimization) 방법 및/또는 각각의 모드에서 생성된 오차 결과들에 기초하여 그렇게 행할 수도 있다.
비디오 인코더(200)는 코딩되고 있는 비-인코딩된 비디오 블록으로부터, 모션 예측 유닛(262)으로부터 제공된 예측 데이터를 감산(subtract)함으로써 잔차(residual)들의 블록("잔차 비디오 블록(residual video block)")을 형성할 수도 있다. 가산기(216)는 이 감산 동작을 수행할 수도 있는 엘리먼트 또는 다수의 엘리먼트들을 나타낸다.
변환 유닛(204)은 이러한 잔차 비디오 블록을 픽셀 값 도메인으로부터 주파수 도메인과 같은 변환 도메인으로 변환하기 위하여, 변환을 잔차 비디오 블록에 적용할 수도 있다. 변환은 예를 들어, 본원에서 제공된 변환들, 이산 코사인 변환(discrete cosine transform; DCT), 또는 개념적으로 유사한 변환 중의 임의의 것일 수도 있다. 변환의 다른 예들은 그 중에서도, H.264 및/또는 HEVC에서 정의된 것들, 웨이블렛 변환(wavelet transform)들, 정수 변환(integer transform)들, 및/또는 서브-대역 변환(sub-band transform)들을 포함한다. 변환 유닛(204)에 의한 잔차 비디오 블록으로의 변환의 적용은 잔차 비디오 블록의 변환 계수들("잔차-변환 계수(residual-transform coefficient)들")의 대응하는 블록을 생성한다. 이 잔차-변환 계수들은 잔차 비디오 블록의 주파수 컴포넌트들의 크기들을 나타낼 수도 있다. 변환 유닛(204)은 잔차-변환 계수들을 양자화 유닛(206)으로 포워딩(forward)할 수도 있다.
양자화 유닛(206)은 인코딩된 비트 레이트를 추가로 감소시키기 위하여 잔차-변환 계수들을 양자화할 수도 있다. 양자화 프로세스는 예를 들어, 잔차-변환 계수들의 일부 또는 전부와 연관된 비트 심도(bit depth)를 감소시킬 수도 있다. 어떤 사례들에서, 양자화 유닛(206)은 양자화된 변환 계수들의 블록을 형성하기 위하여, 잔차-변환 계수들의 값들을 QP에 대응하는 양자화 레벨에 의해 제산(divide)할 수도 있다. 양자화도(degree of quantization)는 QP 값을 조절함으로써 수정될 수도 있다. 양자화 유닛(206)은 희망하는 수의 양자화 단계들을 이용하여 잔차-변환 계수들을 나타내기 위하여 양자화를 적용할 수도 있고; 이용된 단계들의 수(또는 이에 대응하여 양자화 레벨의 값)는 잔차 비디오 블록을 나타내기 위하여 이용된 인코딩된 비디오 비트들의 수를 결정할 수도 있다. 양자화 유닛(206)은 레이트 제어기(도시되지 않음)로부터 QP 값을 획득할 수도 있다. 양자화에 후속하여, 양자화 유닛(206)은 양자화된 변환 계수들을 엔트로피 코딩 유닛(208)에, 그리고 역양자화 유닛(210)에 제공할 수도 있다.
엔트로피 코딩 유닛(208)은 엔트로피-코딩 계수들(즉, 비트스트림)을 형성하기 위하여 엔트로피 코딩을 양자화된 변환 계수들에 적용할 수도 있다. 엔트로피 코딩 유닛(208)은 엔트로피-코딩된 계수들을 형성하기 위하여, 적응적 가변 길이 코딩(adaptive variable length coding; CAVLC), 컨텍스트 적응적 2진 산술 코딩(context adaptive binary arithmetic coding; CABAC), 및/또는 또 다른 엔트로피 코딩 기법을 이용할 수도 있다. 당해 분야의 당업자들에 의해 이해된 바와 같이, CABAC는 컨텍스트 정보("컨텍스트(context)")의 입력을 요구할 수도 있다. 이 컨텍스트는 예를 들어, 이웃하는 비디오 블록들에 기초할 수도 있다.
엔트로피 코딩 유닛(208)은 엔트로피-코딩된 계수들을, 모션 벡터들 및 하나 이상의 참조 픽처 인덱스들과 함께, 원시 인코딩된 비디오 비트스트림(raw encoded video bitstream) 내지 내부 비트스트림 포맷(도시되지 않음)의 형태로 제공할 수도 있다. 이 비트스트림 포맷은 예를 들어, 비디오 디코더 유닛(300)(도 3)이 원시 인코딩된 비디오 비트스트림으로부터의 인코딩된 비디오 블록을 디코딩하는 것을 가능하게 하기 위한 헤더들 및/또는 다른 정보를 포함하는 추가적인 정보를 원시 인코딩된 비디오 비트스트림에 첨부함으로써, 출력 버퍼(134)(도 1b)에 제공된 인코딩된 비디오 비트스트림 BS를 형성할 수도 있다. 엔트로피 코딩에 후속하여, 엔트로피 코딩 유닛(208)으로부터 제공된 인코딩된 비디오 비트스트림 BS는 예를 들어, 출력 버퍼(134)에 출력될 수도 있고, 예를 들어, 채널(116)을 통해 목적지 디바이스(114)로 송신될 수도 있거나 더 이후의 송신 또는 취출(retrieval)을 위하여 아카이빙될 수도 있다.
어떤 대표적인 실시형태들에서, 비디오 인코더(133, 200)의 엔트로피 코딩 유닛(208) 또는 또 다른 유닛은 엔트로피 코딩에 추가하여, 다른 코딩 기능들을 수행하도록 구성될 수도 있다. 예를 들어, 엔트로피 코딩 유닛(208)은 비디오 블록들에 대한 코드 블록 패턴(Code Block Pattern; CBP) 값들을 결정하도록 구성될 수도 있다. 어떤 대표적인 실시형태들에서, 엔트로피 코딩 유닛(208)은 비디오 블록에서의 양자화된 변환 계수들의 실행 길이 코딩(run length codign)을 수행할 수도 있다. 일 예로서, 엔트로피 코딩 유닛(208)은 비디오 블록에서 양자화된 변환 계수들을 배열하고 추가의 압축을 위한 제로(zero)들의 실행들을 인코딩하기 위하여, 지그재그(zigzag) 주사 또는 다른 주사 패턴을 적용할 수도 있다. 엔트로피 코딩 유닛(208)은 인코딩된 비디오 비트스트림 BS에서의 송신을 위하여 적절한 신택스 엘리먼트들로 헤더 정보를 구성할 수도 있다.
역양자화 유닛(210) 및 역변환 유닛(212)은 (예컨대, 참조 픽처 리스트에서의 참조 픽처들 중의 하나 내에서) 예컨대, 참조 비디오 블록들 중의 하나로서의 더 이후의 이용을 위하여, 픽셀 도메인에서 잔차 비디오 블록을 재구성하기 위하여, 역양자화 및 역변환을 각각 적용할 수도 있다.
모드 판단 및 인코더 제어기 유닛(280)은 재구성된 잔차 비디오 블록을 참조 픽처 저장소(264) 내에 저장된 참조 픽처들 중의 하나의 참조 픽처의 예측 블록에 가산함으로써 참조 비디오 블록을 계산할 수도 있다. 모드 판단 및 인코더 제어기 유닛(280)은 모션 추정 시의 이용을 위하여 (예컨대, 1/2-픽셀(half-pixel) 위치들에 대한) 정수-미만 픽셀 값들을 계산하기 위하여 하나 이상의 보간 필터들을 재구성된 잔차 비디오 블록에 적용할 수도 있다.
가산기(226)는 참조 픽처 저장소(264)에서의 저장을 위한 재구성된 비디오 블록을 생성하기 위하여, 재구성된 잔차 비디오 블록을 모션 보상된 예측 비디오 블록에 가산할 수도 있다. 재구성된 (픽셀 값 도메인) 비디오 블록은 모션 예측 유닛(262)(또는 그 모션 추정 기능들 및/또는 그 모션 보상 기능들)에 의해, 후속하는 비-인코딩된 비디오에서의 비-인코딩된 비디오 블록을 인터-코딩하기 위한 참조 블록들 중의 하나로서 이용될 수도 있다.
필터들(266)(예컨대, 루프 필터(loop filter)들)은 디블록킹 필터(deblocking filter)를 포함할 수도 있다. 디블록킹 필터는 재구성된 매크로-블록들에서 존재할 수도 있는 시각적 아티팩트(visual artifact)들을 제거하도록 동작할 수도 있다. 이 아티팩트들은 예를 들어, I-타입, P-타입, 또는 B-타입과 같은 인코딩의 상이한 모드들의 이용으로 인해, 인코딩 프로세스에서 도입될 수도 있다. 아티팩트들은 예를 들어, 수신된 비디오 블록들의 경계들 및/또는 에지(edge)들에서 존재할 수도 있고, 디블록킹 필터는 시각적 품질을 개선시키기 위하여 비디오 블록들의 경계들 및/또는 에지들을 평탄화하도록 동작할 수도 있다. 디블록킹 필터는 가산기(226)의 출력을 필터링할 수도 있다. 필터들(266)은 HEVC 표준에 의해 지원된 샘플 적응적 오프셋(Sample Adaptive Offset; SAO) 필터와 같은 다른 인-루프 필터(in-loop filter)들을 포함할 수도 있다.
도 3은 도 1a의 비디오 디코더 유닛(130)과 같은 비디오 디코더 유닛과의 이용을 위한 비디오 디코더(300)의 예를 예시하는 블록도이다. 비디오 디코더(300)는 입력부(302), 엔트로피 디코딩 유닛(308), 모션 보상된 예측 유닛(362), 공간적 예측 유닛(360), 역양자화 유닛(310), 역변환 유닛(312), 참조 픽처 저장소(364), 필터들(366), 가산기(326), 및 출력부(320)를 포함할 수도 있다. 비디오 디코더(300)는 비디오 인코더(133, 200)에 대하여 제공된 인코딩 프로세스와 일반적으로 상반적인 디코딩 프로세스를 수행할 수도 있다. 이 디코딩 프로세스는 이하에서 기재된 바와 같이 수행될 수도 있다.
모션 보상된 예측 유닛(362)은 엔트로피 디코딩 유닛(308)으로부터 수신된 모션 벡터들에 기초하여 예측 데이터를 생성할 수도 있다. 모션 벡터들은 인코딩된 모션 벡터에 대응하는 비디오 블록에 대한 모션 예측자(motion predictor)에 대하여 인코딩될 수도 있다. 모션 보상된 예측 유닛(362)은 모션 예측자를 예를 들어, 디코딩되어야 할 비디오 블록과 이웃하는 블록들의 모션 벡터들의 중간값(median)으로서 결정될 수도 있다. 모션 예측자를 결정한 후, 모션 보상된 예측 유닛(362)은 인코딩된 비디오 비트스트림 BS로부터 모션 벡터 차이 값을 추출함으로써, 그리고 모션 벡터 차이 값을 모션 예측자에 가산함으로써, 인코딩된 모션 벡터를 디코딩할 수도 있다. 모션 보상된 예측 유닛(362)은 모션 예측자를 인코딩된 모션 벡터와 동일한 해상도로 양자화할 수도 있다. 어떤 대표적인 실시형태들에서, 모션 보상된 예측 유닛(362)은 일부 또는 전부의 인코딩된 모션 예측자들에 대한 동일한 정밀도를 이용할 수도 있다. 또 다른 예로서, 모션 보상된 예측 유닛(362)은 상기 방법들 중의 어느 하나를 이용하도록, 그리고 인코딩된 비디오 비트스트림 BS로부터 획득된 시퀀스 파라미터 세트(sequence parameter set), 슬라이스 파라미터 세트(slice parameter set), 또는 픽처 파라미터 세트(picture parameter set) 내에 포함된 데이터를 분석함으로써 어느 방법을 이용할 것인지를 결정하도록 구성될 수도 있다.
모션 벡터를 디코딩한 후, 모션 보상된 예측 유닛(362)은 참조 픽처 저장소(364)의 참조 픽처로부터, 모션 벡터에 의해 식별된 예측 비디오 블록을 추출할 수도 있다. 모션 벡터가 1/2-픽셀과 같은 분수 픽셀 위치를 지시할 경우, 모션 보상된 예측 유닛(362)은 분수 픽셀 위치들에 대한 값들을 보간할 수도 있다. 모션 보상된 예측 유닛(362)은 이 값들을 보간하기 위하여 적응적 보간 필터들 또는 고정된 보간 필터들을 이용할 수도 있다. 모션 보상된 예측 유닛(362)은 수신된 인코딩된 비디오 비트스트림 BS로부터, 필터들(366) 중의 어느 것을 이용할 것인지의 지표(indicia)와, 다양한 대표적인 실시형태들에서는, 필터들(366)에 대한 계수들을 획득할 수도 있다.
공간적 예측 유닛(360)은 공간적으로 인접한 블록들로부터의 예측 비디오 블록을 형성하기 위하여, 인코딩된 비디오 비트스트림 BS에서 수신된 인트라 예측 모드(intra prediction mode)들을 이용할 수도 있다. 역양자화 유닛(310)은 인코딩된 비디오 비트스트림 BS에서 제공되며 엔트로피 디코딩 유닛(308)에 의해 디코딩된 양자화된 블록 계수들을 역양자화(inverse quantize)(예컨대, 탈양자화(de-quantize))할 수도 있다. 역양자화 프로세스는 예컨대, H.264에 의해 정의된 바와 같이, 기존의 프로세스를 포함할 수도 있다. 역양자화 프로세스는 적용되어야 할 양자화도 및/또는 역양자화도를 결정하기 위하여, 각각의 비디오 블록에 대하여 비디오 인코더(133, 200)에 의해 계산된 양자화 파라미터 QP의 이용을 포함할 수도 있다.
역변환 유닛 (312) 은 픽셀 도메인에서 잔차 비디오 블록들을 생성하기 위하여, 역변환(예컨대, 본원에서 제공된 변환들의 역, 역 DCT, 역정수 변환, 또는 개념적으로 유사한 역변환 프로세스)을 변환 계수들에 적용할 수도 있다. 모션 보상된 예측 유닛(362)은 모션 보상된 블록들을 생성할 수도 있고, 보간 필터들에 기초하여 보간을 수행할 수도 있다. 서브-픽셀 정밀도를 갖는 모션 추정을 위하여 이용되어야 할 보간 필터들에 대한 식별자들은 비디오 블록의 신택스 엘리먼트들 내에 포함될 수도 있다. 모션 보상된 예측 유닛(362)은 참조 블록의 정수-미만 픽셀들에 대한 보간된 값들을 계산하기 위하여, 비디오 블록의 인코딩 동안에 비디오 인코더(133, 200)에 의해 이용된 바와 같이 보간 필터들을 이용할 수도 있다. 모션 보상된 예측 유닛(362)은 수신된 신택스 정보에 따라 비디오 인코더(133, 200)에 의해 이용된 보간 필터들을 결정할 수도 있고, 예측 블록들을 생성하기 위하여 보간 필터들을 이용할 수도 있다.
모션 보상된 예측 유닛(262)은: (1) 인코딩된 비디오 시퀀스의 하나 이상의 픽처들을 인코딩하기 위하여 이용된 비디오 블록들의 사이즈(size)들을 결정하기 위한 신택스 정보; (2) 인코딩된 비디오 시퀀스의 프레임의 각각의 비디오 블록이 어떻게 파티셔닝되는지를 설명하는 파티션 정보; (3) 각각의 파티션이 어떻게 인코딩되는지를 표시하는 모드들(또는 모드 정보); (4) 각각의 인터-인코딩된 비디오 블록에 대한 하나 이상의 참조 픽처들, 및/또는 (5) 인코딩된 비디오 시퀀스를 디코딩하기 위한 다른 정보를 이용할 수도 있다.
가산기(326)는 디코딩된 비디오 블록들을 형성하기 위하여, 잔차 블록들을, 모션 보상된 예측 유닛(362) 또는 공간적 예측 유닛(360)에 의해 생성된 대응하는 예측 블록들과 합산할 수도 있다. 루프 필터들(366)(예컨대, 디블록킹 필터들 또는 SAO 필터들)은 블록성 아티팩트(blockiness artifact)들을 제거하기 위하여, 및/또는 시각적 품질을 개선시키기 위하여, 디코딩된 비디오 블록들을 필터링하도록 적용될 수도 있다. 디코딩된 비디오 블록들은, 후속 모션 보상을 위한 참조 비디오 블록들을 제공할 수도 있으며 디스플레이 디바이스(도시되지 않음) 상에서의 제시를 위한 디코딩된 비디오를 생성할 수도 있는 참조 픽처 저장소(364) 내에 저장될 수도 있다.
각각의 비디오 블록이 인코딩 및/또는 디코딩 프로세스를 거치므로, 비디오 블록과 연관된 비디오 정보는 상이하게 표현될 수도 있다. 예를 들어, 비디오 블록은: (i) 픽셀 도메인에서의 픽셀 데이터; (ii) 비-인코딩된 비디오 블록들과 예측 블록 사이의 픽셀 차이들을 나타내는 잔차 데이터("잔차들"); (iii) (예컨대, 변환의 적용을 따르는) 변환 도메인에서의 변환 계수들; 및 (iv) 양자화된 변환 도메인에서의 양자화된 변환 계수들을 포함할 수도 있다.
각각의 비디오 블록은 소정의 차원(dimension)들, 또는 집합적으로 "사이즈(size)"를 가질 수도 있다. 비디오 블록 사이즈는 코딩 표준에 종속될 수도 있다. 일 예로서, H.264 표준은, 루마 컴포넌트(luma component)들에 대한 16x16, 8x 8, 또는 4x4, 및 크로마 컴포넌트들에 대한 8x8과 같은 다양한 비디오 블록 사이즈들에서의 인트라 예측을 지원하고, 루마 컴포넌트들에 대한 16x16, 16x8, 8x16, 8x8, 8x4, 4x8, 및 4x4와, 크로마 컴포넌트들에 대한 대응하는 스케일링된 사이즈들과 같은 다양한 블록 사이즈들에서의 인터 예측(inter prediction)을 지원한다. H.264 표준에서는, 차원들 16 픽셀들 대 16 픽셀들의 비디오 블록은 매크로블록(macroblock; MB)으로서 일반적으로 지칭되고, 16 픽셀들 대 16 픽셀들 미만인 비디오 블록은 MB의 파티션("MB 파티션")으로서 일반적으로 지칭된다. HEVC에서, "코딩 유닛(coding unit)" 또는 "CU"으로 칭해진 비디오 블록은 비디오 신호들을 더욱 효율적으로 고해상도(예컨대, 1080p 이상)로 압축하기 위하여 이용될 수도 있다. HEVC에서, CU 사이즈는 파라미터 시퀀스 세트에서 설정되고, 64x64 픽셀들만큼 크게, 또는 4x4 픽셀들만큼 작게 설정될 수도 있다. CU는, 별도의 예측 방법들이 적용될 수도 있는 예측 유닛(prediction unit; PU)들로 추가로 파티셔닝될 수 있다. 각각의 비디오 블록(그 중에서도, MB, CU, 및/또는 PU의 어느 것이든)은 공간적 예측 유닛(360) 및/또는 모션/시간적 예측 유닛(362)을 이용함으로써 프로세싱될 수도 있다.
본원에서 이용된 바와 같이, "NxN" 및 "N 대 N"은 수직 및 수평 차원들의 양자에서의 컴포넌트들(예컨대, 그 중에서도, 픽셀들, 잔차들, 변환 계수들, 및/또는 양자화된 변환 계수들)의 측면에서 블록의 사이즈를 지칭하기 위하여 상호 교환가능하게 이용될 수도 있다. 일반적으로, 16x16 비디오 블록은 수직 방향에서의 16 개의 엘리먼트들(y = 16) 및 수평 방향에서의 16 개의 엘리먼트들(x = 16)을 가진다. NxN 블록은 일반적으로, 수직 방향에서의 N 개의 엘리먼트들 및 수평 방향에서의 N 개의 엘리먼트들을 가지며, 여기서, N 은 음이 아닌 정수 (nonnegative integer) 값을 나타낸다. 비디오 블록에서의 엘리먼트들은 행(row)들 및 열(column)들로 배열될 수도 있다. 비디오 블록들은 수직 방향에서와 동일하거나 상이한 수의 픽셀들을 수평 방향에서 가질 수도 있다. 예를 들어, 비디오 블록들은 NxM 픽셀들을 포함할 수도 있으며, 여기서, M은 N이거나, N과 동일하지 않다.
HEVC는 H.264/AVC의 2배만큼 많은 압축, 또는 동등하게는, 동일한 비디오 품질에서 이용되거나 요구된 비트 레이트의 절반(half)들을 달성할 수도 있다. 비디오 채팅, 이동 비디오 레코딩 및 공유, 및 비디오 스트리밍과 같은 더욱 더 많은 새로운 비디오 애플리케이션들은 이종 환경(heterogeneous environment)들에서 비디오 송신을 이용할 수도 있거나, 비디오 송신을 요구할 수도 있다. 다양한 소비자 디바이스들(예컨대, PC들, 스마트폰들, 태블릿들, TV들)을 고려하는 3-스크린 및 N-스크린으로서 알려진 시나리오들은 그 중에서도, 컴퓨팅 파워, 메모리/저장장치 사이즈, 디스플레이 해상도, 및/또는 디스플레이 프레임 레이트의 측면에서 널리 변동되는 능력들을 갖는 디바이스들 상에서의 비디오 소비를 수용할 수도 있다. 네트워크 및 송신 채널들은 그 중에서도, 패킷 손실 레이트, 이용가능한 채널 대역폭, 및/또는 버스트 에러 레이트(burst error rate)의 측면에서 폭넓게 변동되는 특성들을 가질 수도 있다. 요즘의 비디오 데이터는, 기초적인 송신 채널 특성들을 복잡하게 할 수도 있는 유선 네트워크들 및 무선 네트워크들의 조합 상에서 송신될 수도 있다. 스케일러블 비디오 코딩(scalable video coding)은 이종 네트워크들 상에서 상이한 능력들을 갖는 디바이스들 상에서 실행되는 비디오 애플리케이션들에 대한 체험의 품질을 개선시킬 수도 있다. 스케일러블 비디오 코딩은 최상위 표현(예컨대, 그 중에서도, 시간적 해상도, 공간적 해상도, 및/또는 품질)에서 신호를 한 번 인코딩할 수도 있고, 조건들(예컨대, 특정 클라이언트 디바이스 상에서 실행되는 어떤 애플리케이션들에 의해 이용되거나 요구된 특정 레이트 및/또는 표현)에 따라 비디오 스트림들의 서브세트(subset)들로부터의 디코딩을 가능하게 할 수도 있다. 어떤 대표적인 실시형태들에서는, 스케일러블 비디오 코딩 절차들을 이용하는 것이 비-스케일러블(non-scalable) 비디오 코딩 절차들과 비교하여 대역폭 및/또는 저장장치 절감을 가능하게 할 수도 있다. 국제 비디오 표준들 MPEG-2 비디오(Video), H.263, MPEG4 비주얼(Visual), 및 H.264는 스케일러빌러티(scalability)의 일부의 모드들을 지원하는 툴(tool)들 및/또는 프로파일들을 가진다.
스케일러블 비디오 코딩(Scalable Video Coding; SVC)은, 더 낮은 시간적 또는 공간적 해상도들 또는 감소된 충실도(fidelity)를 비디오 서비스들에 제공하기 위하여 부분적인 비트 스트림들의 송신 및 디코딩을 가능하게 할 수도 있고, 부분적인 비트 스트림들의 레이트가 주어질 시에, 상대적인 높은 재구성 품질을 유지할 수도 있는 H.264의 확장이다. SVC에서의 단일 루프 디코딩(Single Loop Decoding; SLD)은 디코딩되고 있는 계층에서 하나의 모션 보상 루프를 설정하는(예컨대, 오직 설정할 필요가 있는) SVC 디코더를 지칭하고, 또 다른 더 낮은 계층 또는 계층들에서 모션 보상 루프 또는 루프들을 설정하지 않거나, 설정할 필요가 없을 수도 있다. 일 예로서, 비트스트림이 2 개의 계층들(예컨대, 기본 계층(base layer)으로서의 계층 1, 및 강화 계층(enhancement layer)으로서의 계층 2)을 가지거나 포함할 경우, 그리고 디코더가 계층 2 비디오를 재구성하기를 원할 경우, 디코딩된 픽처 버퍼 및 모션 보상된 예측이 계층 2에 대하여 (예컨대, 오직 계층 2에 대하여) 설정될 수도 있거나 설정될 필요가 있을 수도 있지만, 계층 1(예컨대, 계층 2가 종속되는 기본 계층)에 대해서는 그러하지 않을 수도 있다. SVC는 재구성되어야 할(예컨대, 완전히 재구성된) 더 낮은 계층들로부터의 참조 픽처를 이용하거나 요구하지 않아서, 디코더에서 연산 복잡도 및 메모리 요건을 감소시킨다. SLD는 제약된 인터-계층 텍스처 예측(inter-layer texture prediction)에 의해 달성되고, 여기서, 소정의 계층에서의 현재의 블록에 대하여, 더 낮은 계층으로부터의 공간적 텍스처 예측은 대응하는 더 낮은 계층 블록이 (한정된 인트라 예측으로서 지칭된) 인트라 모드에서 코딩될 경우에만 허용된다. 더 낮은 계층 블록이 인트라 모드에서 코딩될 때, 그것은 모션 보상 동작들 및 디코딩된 픽처 버퍼에 대한 필요성 없이 재구성될 수도 있다. 강화 계층에 대하여, SVC는 더 낮은 계층들로부터, 그 중에서도, 모션 벡터 예측, 잔차 예측, 및 모드 예측과 같은 추가적인 인터-계층 예측 기법들을 이용한다. SVC의 SLD가 디코더에서 연산 복잡도 및 메모리 요건들을 어느 정도까지 감소시키지만, 그것은 만족스러운 성능을 달성하기 위하여 블록-레벨 인터 계층 예측을 과도하게 의존함으로써 구현 복잡도를 증가시킨다. SLD 제약을 부과함으로써 초래된 성능 불이익을 보상하기 위하여, 그리고 희망하는 스케일러블 코딩 성능을 여전히 달성할 수 있기 위하여, 인코더 설계 및 연산 복잡도는 교차 계층 합동 레이트 왜곡 최적화(cross layer joint rate distortion optimization)의 이용으로 인해 실제적으로 증가한다. 인터레이싱된 콘텐트(interlaced content)의 코딩은 지원되지 않고(예컨대, SVC에 의해 양호하게 지원됨), 이것은 브로드캐스팅 산업에 의한 그 채택에 영향을 준다. SVC 인코더 및 디코더 설계 및 시스템 구현예에서의 복잡성들은 시장에서의 제한된 SVC 채택들에 대한 원인들일 수도 있다.
어떤 대표적인 실시형태들에서, 스케일러블 코딩 효율은 진보된 인터-계층 프로세싱을 통해(예컨대, 주로 이를 통해) 달성될 수도 있다.
표준들 스케일러빌러티는 기본 계층이 H.264/AVC, 또는 심지어 MPEG2와 같은 더 이전의 표준으로 인코딩될 때의 스케일러빌러티의 경우를 일반적으로 지칭하는 반면, 하나 이상의 강화 계층들은 HEVC 표준과 같은 더욱 최근의 표준을 이용하여 인코딩된다. 표준들 스케일러빌러티는 이전의 표준들을 이용하여 이미 인코딩된 레거시 콘텐트(legacy content)에 대한 역호환성을 가능하게 할 수도 있고, 더 양호한 코딩 효율을 제공하는 HEVC와 같은 새로운 표준들로 인코딩된 하나 이상의 강화 계층들을 갖는 레거시 콘텐트의 품질을 강화시킬 수도 있다. 표준들 스케일러빌러티는 또한, 하이브리드 코덱 스케일러빌러티로서 보편적으로 지칭된다. 이 2 개의 용어들은 이 개시내용에서 상호 교환가능하게 이용될 것이다. HEVC의 스케일러블 강화의 요건들은 공간적 스케일러빌러티, 시간적 스케일러빌러티, 품질 스케일러빌러티, 표준들 스케일러빌러티 등을 포함한다. 이하의 표 1은 이 스케일러빌러티들의 예들을 열거한다.
표 1 - 스케일러빌러티들의 상이한 타입들
[표 1]
Figure 112022008913098-pat00001
도 4는 효율적인 스케일러블 코딩을 달성하기 위하여, (예컨대, 픽처-레벨 인터 계층 프로세싱(ILP)을 이용하거나 이에 의존하는) 2-계층 스케일러블 코딩 시스템을 예시하는 블록도이다. 도 4에서의 BL 인코더(이 예에서의 HEVC 인코더)는 공간적 및 시간적 예측의 조합을 이용하여 BL 비디오 입력을 인코딩할 수도 있다. BL 비디오 입력은 H.264 및 HEVC를 포함하는 일부 또는 모든 비디오 코딩 표준들에 의해 지원된다. BL 인코더(45)는 시간적 모션 보상된 예측을 수행하기 위하여 이용되거나 필요한 참조 픽처들을 저장하기 위하여 기본 계층 DPB(Decoded Picture Buffer; 디코딩된 픽처 버퍼)(41)를 확립할 수도 있다. 강화 계층에서는, EL 인코더(47)가 BL 인코더(45)와 유사하게 동작할 수도 있다. EL 인코더에 의한 입력 EL 비디오의 예측을 위한 참조 픽처들을 제공할 수도 있는 강화 계층 DPB(49)는 현재의 강화 계층으로부터의 참조 픽처들뿐만 아니라, 그것이 종속되는 계층의 DPB(예컨대, 도 4에서의 BL DPB)로부터의 일부의 참조 픽처들을 가지거나 포함할 수도 있다. 도 4에서, 인터-계층 프로세싱 유닛(43)은 픽처들이 EL 비디오를 예측하기 위하여 이용될 수도 있기 전에 BL DPB(41)로부터의 픽처들을 프로세싱하기 위하여 이용될 수도 있다. BL 및 EL 비트스트림들이 생성된 후, 멀티플렉서(44)는 이 비트스트림들을 스케일러블 비트스트림(42)으로 조합하기 위하여 이용된다. 인터-계층 프로세싱 유닛(43)이 인터 계층 프로세싱(ILP) 파라미터들을 이용할 경우, ILP 정보는 스케일러블 비트스트림으로 함께 멀티플렉싱될 수도 있다. 도 5는 도 4에서의 스케일러블 인코딩 시스템에 대응할 수도 있는, 픽처 레벨 ILP를 갖는 2-계층 스케일러블 디코딩 시스템을 예시하는 도면이다. 도 5에서, 디멀티플렉서(501)는 스케일러블 비트스트림을 BL 비트스트림, EL 비트스트림, 및/또는 ILP 정보로 언팩(unpack)하기 위하여 이용된다. BL 비트스트림은 기본 계층 재구성된 픽처들을 생성하고 이들을 BL DPB(503)에서 배치하기 위하여 BL 디코더(509)에 의해 디코딩될 수도 있다. ILP 정보는 (예컨대, BL 재구성된 픽처들을 프로세싱하고 이들을 EL DPB(507)에서 저장함으로써) 인터-계층 참조 픽처들을 생성하기 위하여 인터-계층 프로세싱 유닛(505)에 의해 이용될 수도 있다. EL 비트스트림은 (EL에서의 시간적 참조 픽처들 및/또는 BL로부터의 인터-계층 참조 픽처들을 가지거나 포함할 수도 있는) EL DPB에서의 참조 픽처들을 이용하여 EL 디코더(511)에 의해 디코딩될 수도 있다.
BL 및 EL 인코더들(45, 47)이 (예컨대, HEVC 인코더의 일부들로서) HEVC 구현예를 위하여 도 4에서 도시되어 있지만, 그 중에서도, MPEG-2 비디오, H.263, MPEG4 비주얼 및/또는 H.264와 같은 다른 비디오 표준들을 따르는 것들을 포함하는 다른 구현들이 가능한 것으로 고려된다.
BL 및 EL 디코더들(509, 511)이 (예컨대, HEVC 디코더의 일부들로서) HEVC 구현예를 위하여 도 4에서 도시되어 있지만, 그 중에서도, MPEG-2 비디오, H.263, MPEG4 비주얼 및/또는 H.264와 같은 다른 비디오 표준들을 따르는 것들을 포함하는 다른 구현예들이 가능한 것으로 고려된다.
도 4 및 도 5에서 도시된 것과 같은 이러한 스케일러블 코딩 시스템이 스케일러블 코딩(예컨대, 효율적인 스케일러블 코딩)을 위한 픽처 레벨 인터-계층 예측에 의존할 수도 있으므로, 이러한 스케일러블 시스템은 예를 들어, BL 및/또는 EL 코딩에서의 기초적인 단일 계층 코덱으로서, 어느 코덱들이 이용될 수도 있는지에 관계 없이, 높은 코딩 효율을 유지할 수도 있다. 예를 들어, BL 코덱은 (예를 들어, 스케일러블 코딩 시스템의 전체적인 아키텍처 및 효율에 영향을 주지 않으면서) H.264/AVC 코덱으로 대체될 수도 있다.
도 2를 다시 참조하면, 블록-기반 하이브리드 비디오 인코더(200)는, 예를 들어, 도 4에서 BL 인코더 및 EL 인코더로서 이용될 수 있는 일반적인 블록-기반 단일 계층 비디오 인코더를 제공할 수도 있다. 도 2에서 도시된 바와 같이, 단일 계층 인코더는 예를 들어, 효율적인 압축을 달성하기 위하여, 입력 비디오 신호를 예측하기 위한 (인트라 예측으로서 또한 지칭된) 공간적 예측 및 (인터 예측 및/또는 모션 보상된 예측으로서 또한 지칭된) 시간적 예측과 같은 널리 공지된 기법들을 채용할 수도 있다. 인코더는 예컨대, 어떤 기준들, 예를 들어, 레이트 및/또는 왜곡 고려사항들 중의 하나 또는 조합에 통상적으로 기초하여, 예측의 가장 적당한 형태를 선택할 수도 있는 모드 판단 로직을 가질 수도 있다. 인코더는 예측 잔차(예컨대, 입력 신호와 예측 신호 사이의 차이 신호)를 변환할 수도 있고 양자화할 수도 있다. 양자화된 잔차는 모드 정보(예컨대, 인트라 또는 인터 예측) 및 예측 정보(그 중에서도, 모션 벡터들, 참조 픽처 인덱스들, 및/또는 인트라 예측 모드들)와 함께, 엔트로피 코더(entropy coder)에서 압축(예컨대, 추가로 압축됨)될 수도 있고 출력 비디오 비트스트림으로 팩킹(pack)될 수도 있다. 도 2에서 도시된 바와 같이, 인코더는 재구성된 잔차를 획득하기 위하여 역양자화 및 역변환을 양자화된 잔차에 적용함으로써, 그리고 그것을 다시 예측 신호에 가산함으로써, 재구성된 비디오 신호를 생성할 수도 있다. 재구성된 비디오 신호는 루프 필터 프로세스(예를 들어, 디블록킹 필터, 샘플 적응적 오프셋들, 및/또는 적응적 루프 필터들)를 거칠 수도 있고, 추가의 비디오 신호들을 예측하기 위하여 이용되도록 하기 위하여, 참조 픽처 저장소(또는 DPB)에서 저장될 수도 있다.
도 3을 다시 참조하면, 비디오 디코더(300)는 도 2에서의 단일 계층 인코더에 대응하는 일반적인 블록-기반 단일 계층 디코더를 제공할 수도 있다. 도 3에서의 디코더는 예를 들어, 도 5에서의 BL 및 EL 디코더로서 이용될 수도 있다. 도 5에서의 단일 계층 디코더는 도 2에서의 인코더에 의해 제공된 비디오 비트스트림을 수신할 수도 있고, 디스플레이되어야 할 비디오 신호를 재구성할 수도 있다. 비디오 디코더에서, 비트스트림은 엔트로피 디코더에 의해 파싱(parse)될 수도 있다. 잔차 계수들은 재구성된 잔차를 획득하기 위하여 역양자화될 수도 있고 역변환될 수도 있다. 코딩 모드 및 예측 정보는 공간적 예측 및/또는 시간적 예측을 이용하여 예측 신호를 획득하기 위하여 이용될 수도 있다. 예측 신호 및 재구성된 잔차는 재구성된 비디오를 얻기 위하여 함께 가산될 수도 있다. 재구성된 비디오는 디스플레이되도록 하기 위하여, 및/또는 추가의 비디오 신호들을 디코딩하기 위하여 이용되도록 하기 위하여, DPB에서 저장되기 전에 루프 필터링을 거칠 수도 있다. SHVC에 대하여 위에서 기재된 표 1에서의 표준들 스케일러빌러티 특징은 비디오 서비스 제공자들(예를 들어, 그 중에서도, 케이블 네트워크 운영자들, 및/또는 방송사들)이 H.264/AVC 능력들을 가지는(예컨대, 이것만을 가짐) 기존의 수신 디바이스들(예를 들어, 셋톱 박스(Set Top Box)들 또는 STB들)을 가지는 레거시 고객들을 서빙하는 것을 계속하도록 할 수도 있는 반면, 새로운/고급 고객들은 HEVC 디코딩 능력들을 갖는 더욱 새로운 수신 디바이스들(예컨대, STB들)로 이동할 수도 있고, 예를 들어, 고급 서비스에 가입함으로써 비디오 신호들의 더 높은 품질 표현(예컨대, 그 중에서도, 더 높은 공간적 해상도, 더 높은 시간적 해상도, 및/또는 더 높은 픽처 품질)을 즐길 수도 있다.
이러한 전달 시스템의 대표적인 예가 도 6에서 예시되어 있다. 도 6에서, 고품질 비디오(600)는 (예컨대, 대역폭 요건들을 감소시키기 위하여) 프리-프로세싱(pre-processing) 단계(601)에서 프리프로세싱된다. 예를 들어, 프리-프로세싱은 그 중에서도, 고품질 비디오의 공간적 다운샘플링(downsampling), 고품질 비디오의 시간적 다운샘플링(프레임 레이트 감소), 및/또는 프로그레시브 대 인터레이스 변환 프로세스일 수도 있다. 프리프로세싱한 후, 기본 품질 비디오(603)는 레거시 코덱, 예를 들어, H.264/AVC 인코더(605)를 이용하여 인코딩될 수도 있다. H.264/AVC 비트스트림(기본 계층 비트스트림)(606)은 적절한 전송 프로토콜들을 이용하여 패키징(package)될 수도 있고(단계(607)), 채널 A(609)를 통해, 기본 서비스들에 가입하는 고객들에게 전송될 수도 있고, 여기서, 그것은 언패키징(unpackage)되고(615), 레거시 디코더(예컨대, H.264/AVC 디코더(617))에 의해 디코딩된다. 원래의 고품질 비디오(600)는, 하이브리드 코덱 스케일러빌러티 지원, 예를 들어, H.264/AVC 대 HEVC 스케일러빌러티 지원을 가지는 스케일러블 코덱 SHVC(611)를 이용하여 코딩될 수도 있다. 강화 계층 스케일러블 비트스트림(613)은 적절한 전송 프로토콜들을 이용하여 패키징될 수도 있고(614), 채널 B(619)를 통해 고급 고객들에게 전달될 수도 있고, 여기서, 그것은 언패키징되고(621), 고급 디코더(예컨대, SHVC 디코더(623))에 의해 디코딩된다. 수신단에서, SHVC 디코더(615)를 갖는 고급 고객들은 고품질 비디오를 수신할 수도 있고 이를 소비할 수도 있다. 재구성된 기본 계층 비디오가 하이브리드 코덱 스케일러빌러티에서의 인터-계층 예측으로서 이용되므로, 도 4 및 도 5에서의 아키텍처에 따르면, 더 높은 품질의 비디오를 고급 고객들에게, 그리고 더 낮은 품질의 비디오를 레거시 고객들에게 양자 모두 전달하기 위하여 이용되거나 요구된 대역폭은 전통적인 더 낮은 품질의 비디오 스트림 및 전통적인 더 높은 품질의 비디오 스트림의 양자를 사이멀캐스팅(simulcasting)하는 것과 비교하여 감소될 수도 있다.
어떤 대표적인 실시형태들에서, 하이브리드 코덱 스케일러빌러티는 (예컨대, 비디오 전달 네트워크들을 과부하(over-burden)시키지 않으면서) 저장/송신되는 비디오 콘텐트를 인터레이싱된 포맷 대 프로그레시브 포맷으로 변환하기 위하여 채용될 수도 있다. 인터넷 비디오 콘텐트의 대부분(예컨대, 막대한 대부분)은 프로그레시브 주사된 포맷으로 서비스되지만, 방송사들 및/또는 케이블 네트워크들에 의해 전달된 비디오 콘텐트의 상당한 양은 인터레이스 주사된 포맷으로 서비스된다. 프로그레시브 주사된 포맷의 이용에 대한 가능한 이유들은: (1) 주로 인터레이싱된 콘텐트를 역사적으로 처리하는 기존의 비디오 전달 장비 및 기반구조를 업그레이딩하는 것과 연관된 상당한 비용, 및/또는 (2) 인터레이싱된 콘텐트는 대역폭 요건을 감소시키는 것을 도울 수도 있고, (예컨대, 스포츠 콘텐트 전달을 위하여 유용할 수도 있는) 높은 프레임 레이트를 여전히 유지할 수도 있다는 것을 포함할 수도 있다.
어떤 대표적인 실시형태들에서는, (예컨대, 높은 코딩 효율로) 인터레이스 대 프로그레시브 스케일러빌러티를 달성하기 위하여 픽처 레벨 인터-계층 프로세싱에 의존하는 스케일러블 코딩 시스템이 구현된다.
도 6에서 도시된 하이브리드 코덱 시스템이 대표적인 예로서 이용되지만, 본원에서 개시된 절차들, 프로세스들, 및/또는 기법들은 다른 스케일러블 시스템들, 예를 들어, BL 및 EL에서 동일한 단일 계층 코덱을 이용하는 스케일러블 시스템에 또한 적용가능하다.
예를 들어, 소스 비디오 콘텐트는 프로그레시브 카메라를 이용하여 프로그레시브 포맷으로 캡처될 수도 있고, 전달 전에 인터레이스 주사된 콘텐트로 변환될 수도 있다. 프로그레시브 비디오 포맷에서의 픽처는 보편적으로 "프레임(frame)"으로서 지칭되는 반면, 인터레이스 비디오에서의 픽처는 보편적으로 "필드(field)"로서 지칭된다. 프로그레시브 대 인터레이스 변환 동안, 프로그레시브 주사된 비디오 프레임은 2 개의 필드들(예컨대, 상부 필드 및 하부 필드)로 분할될 수도 있다. 도 7은, 대표적인 프로그레시브 프레임의 도면이고, 프로그레시브 프레임과 비교하여 또는 프로그레시브 프레임에 대하여, 인터레이스 비디오에서 상부 필드 및 하부 필드에서의 픽셀들의 공간적 관계를 예시한다. 도 7에서 밝은 회색의 음영처리된 픽셀들은 상부 필드(701)를 나타내고, 어두운 회색의 음영처리된 픽셀들은 하부 필드(703)를 나타낸다. 상부 필드 및 하부 필드는 원래의 프로그레시브 프레임의 공간적으로 다운샘플링된 버전들일 수도 있으므로, 어떤 저역 통과 필터링은 (예컨대, 다운샘플링된 신호에서 에일리어싱(aliasing)을 감소시키기 위하여) 프로그레시브 대 인터레이스 변환 동안에 적용될 수도 있다. 도 8은 그 프로그레시브 대응부(810)에서의 프레임들(811)과 비교하여, 인터레이스 비디오(803)의 상부 및 하부 필드들(805, 807) 사이의 시간적 관계의 예를 예시하는 대표적인 인터레이스 비디오(803)의 도면이다. 도시된 바와 같이, 인터레이스 비디오는 그 프로그레시브 대응부와 동일한 픽처 레이트에서 실행될 수도 있고, (예컨대, 프로그레시브 대 인터레이스 변환 동안의 공간적 다운샘플링 프로세스로 인해) 픽셀들의 수의 절반을 가질 수도 있다. 도 8은 예이다. 실제적으로, 인터레이스 비디오는 상부 필드 대신에 하부 필드로부터 시작될 수도 있고, 다른 시간적 픽처 레이트 변환이 콘텐트 생성 동안에 발생할 수도 있으므로, 1 개의 상부 필드와, 그 다음으로, 1 개의 하부 필드(또는 그 반대)의 규칙적인 패턴을 따르지 않을 수도 있다. 예를 들어, 3:2 풀다운(pulldown)으로서 보편적으로 지칭된 영화 대 TV(예컨대, NTSC) 변환은 콘텐트 생성 동안에 적용될 수도 있고, 2 개의 연속 하부 필드들이 1 개의 상부 필드를 따르게 할 수도 있다. 현재의 필드 픽처가 상부 필드 또는 하부 필들인지의 여부는 비디오 비트스트림에서 시그널링(singal) 된다(예컨대, 통상적으로 시그널링됨).
예를 들어, H.264/AVC 표준에서, 인터레이스 비디오 비트스트림의 슬라이스 헤더는, 1로 설정될 때, 현재의 슬라이스가 하부 필드를 코딩한다는 것을 표시하고, 0으로 설정될 때, 현재의 슬라이스가 상부 필드를 코딩한다는 것을 표시하는 "bottom_field_flag"로 칭해진 플래그(flag)를 가질 수도 있거나 포함할 수도 있다. 도 4 및 도 5에서 도시된 스케일러블 아키텍처에 따른 효율적인 인터-계층 예측을 위하여 기본 계층에서 코딩된 인터레이스 콘텐트를 이용하기 위하여, BL 인터레이스 콘텐트는 (예컨대, EL에서의 프로그레시브 비디오의 해상도와 일치시키기 위하여) 공간적으로 업샘플링될 수도 있다. SHVC 초안 표준은 2 개의 계층들 사이의 임의적인 공간적 비율들을 지원한다. SHVC 초안 표준은 상부/하부 필드들과, 도 7에서 도시된 바와 같은 프로그레시브 비디오 사이의 특정 픽셀 라인 관계를 참작하지 않는다. 폭넓게 전개된 YUV4:2:0 비디오 포맷에서의 크로마 서브샘플링(subsampling)의 이용은 상부/하부 필드들과 프로그레시브 프레임 사이에서 크로마 위상(chroma phase)을 정렬할 때에 다른 고려사항들을 추가할 수도 있다. 어떤 대표적인 실시형태들에서는, 프로세스들, 절차들, 및/또는 기법들이 프로그레시브 스케일러빌러티(예컨대, 효율적인 인터레이스 대 프로그레시브 스케일러빌러티)를 가능하게 하기 위하여 구현된다. 예를 들어, 비디오 파라미터 세트(Video Parameter Set; VPS) 및 슬라이스 헤더(slice header; SH)에서의 하이 레벨(high level) 신택스 시그널링은 인터레이스 대 프로그레시브 스케일러빌러티가 이용되는 것을 표시하기 위하여 제공될 수도 있다. 또 다른 예로서, 필드 패리티(field parity)에 기초할 수도 있는 수정된 루마 및 크로마 업샘플링 프로세스가 제공될 수도 있다. 제 3 예로서, 영역 기반 적응적 프레임/필드 업샘플링은 기본 계층 비디오가 블록 레벨 적응적 프레임 필드 코딩을 이용하여 코딩될 때에 (예컨대, 효율적인 스케일러블 코딩을 위하여) 제공될 수도 있다.
인터레이스 대 프로그레시브 스케일러빌러티 지원을 위하여 수정된 VPS 및 SH 시그널링
이하의 표 2는 기본 계층에서 인터레이스 비디오를 지원하기 위한 수정된 VPS 확장 신택스를 도시한다. 수정은 다음을 포함한다.
(1) 플래그(예컨대, 새로운 플래그) base_layer_frame_pic_only_flag는 기본 계층 코딩된 비디오 시퀀스가 인터레이스 콘텐트를 가질 수도 있거나 포함할 수도 있는지 아닌지의 여부를 표시하기 위하여 추가될 수도 있다. 표 2에서, 플래그는 avc_base_layer_flag를 조건으로 할 수도 있다(H.264/AVC 코덱을 이용하여 코딩되고 있는 기본 계층을 조건으로 함). 예를 들어, 인터레이스 비디오는 기본 계층이 H.264/AVC 코덱을 이용하여 코딩될 때에 기본 계층에서 허용된다(예컨대, 오직 허용됨). 어떤 대표적인 실시형태들에서, 플래그는 다른 조건들 없이, 및/또는 기본 계층이 다른 코덱들을 이용하여 코딩될 때에도 허용될 수도 있다.
(2) 플래그 cross_layer_phase_alignment_flag의 시그널링은 base_layer_field_pic_flag를 조건으로 할 수도 있다. 플래그 cross_layer_phase_alignment_flag는 2 개의 계층들 사이의 다운샘플링 필터 위상 정렬을 표시하기 위하여 이용될 수도 있고, 다운샘플링 필터는 상부-좌측 코너 정렬될 수도 있고, 및/또는 중심 정렬될 수도 있다. 이 플래그는 프로그레시브 대 인터레이스 변환 프로세스에 적용하지 않을 수도 있거나 적용하지 않고, 기본 계층이 인터레이싱된 비디오이고 강화 계층이 프로그레시브 비디오일 때에 시그널링되지 않을 수도 있거나 시그널링되지 않는다.
표 2 수정된 VPS 확장
[표 2]
Figure 112022008913098-pat00002
하나의 실시형태에서, 1과 동일한 base_layer_frame_pic_only_flag는 기본 계층 코딩된 비디오 시퀀스의 코딩된 픽처들이 코드 프레임들(예컨대, 오직 코딩된 프레임들)을 가지거나 포함한다는 것을 특정한다. 0과 동일한 base_layer_frame_pic_only_flag는 기본 계층 코딩된 비디오 시퀀스의 코딩된 픽처들이 코딩된 필드들 또는 코딩된 프레임들의 어느 하나일 수도 있다는 것을 특정한다. base_layer_frame_pic_only_flag가 존재하지 않을 때, 그것은 1과 동일한 것으로 추론될 수도 있다.
표 3은 기본 계층에서 인터레이스 비디오를 지원하기 위한 수정된 슬라이스 세그먼트 헤더를 도시한다. 수정은 다음을 포함한다.
(1) 새로운 플래그 base_layer_frame_pic_flag는 인터-계층 예측을 위하여 이용된 공동위치된(collocated) 기본 계층 코딩된 비디오 픽처가 프레임 픽처인지 여부를 표시하기 위하여 추가될 수도 있다.
(2) base_layer_frame_pic_flag의 값을 조건으로 하면, 플래그(예컨대, 새로운 플래그) base_layer_bottom_field_flag는 인터-계층 예측을 위하여 이용된 공동위치된 기본 계층 코딩된 비디오 픽처가 하부 필드 픽처 또는 상부 필드 픽처인지 여부를 표시하기 위하여 추가될 수도 있다.
표 3에서, 이 2 개의 새로운 플래그들의 존재는 3 개의 조건들 또는 동시에 참(true)인 3 개의 조건들 중의 임의의 것을 조건으로 할 수도 있다: (1) 현재의 계층은 강화 계층이다; (2) 현재의 계층은 인터-계층 샘플 예측을 위하여 기본 계층을 이용한다; 및/또는 (3) 기본 계층 코딩된 비디오 시퀀스는 코드 프레임들 및 적어도 일부의 코딩된 필드들(예컨대, 코딩된 프레임들뿐만 아니라, 적어도 일부의 코딩된 필드들)을 가지거나 포함한다.
표 3 - 수정된 슬라이스 세그먼트 헤더
[표 3]
Figure 112022008913098-pat00003
1과 동일한 base_layer_frame_pic_flag는 인터-계층 샘플 예측에서 이용된 기본 계층 픽처가 프레임 픽처인 것을 특정할 수도 있다. 0과 동일한 base_layer_frame_pic_flag는 인터 계층 샘플 예측에서 이용된 기본 계층 픽처가 상부 또는 하부 필드 픽처인 것을 특정할 수도 있다. base_layer_frame_pic_flag가 존재하지 않을 때, 그것은 1 인 것으로 추론될 수도 있다.
1과 동일한 base_layer_bottom_field_flag는 인터-계층 샘플 예측에서 이용된 기본 계층 픽처가 하부 필드 픽처인 것을 특정할 수도 있다. 0과 동일한 base_layer_bottom_field_flag는 인터-계층 샘플 예측에서 이용된 기본 계층 픽처가 상부 필드 픽처인 것을 특정할 수도 있다. base_layer_ bottom_field_flag가 존재하지 않을 때, 그것은 0인 것으로 추론될 수도 있다.
루마 샘플들의 필드 패리티 기반 업샘플링
도 7에서 도시된 바와 같이, 인터레이스 상부/하부 필드는 수직 방향에서 프로그레시브 프레임의 해상도의 절반을 가질 수도 있고, 수평 방향에서 동일한 해상도를 가질 수도 있다. 따라서, 수직 업샘플링(예컨대, 오직 수직 샘플링)은 EL에서의 프로그레시브 프레임의 코딩을 위한 인터-계층 참조 픽처를 생성하기 위하여 BL에서의 재구성된 필드에 적용되어야 하거나 적용될 필요가 있을 수도 있다.
이하의 표 5는 SHVC를 위한 루마 컴포넌트에 대한 16-위상 8-탭 업샘플링 필터들을 도시한다. 상부/하부 필드에 대한 업샘플링 프로세스는 SHVC 필터들과 동일한 업샘플링 필터들을 이용할 수도 있는 것으로 고려되지만, 설명된 프로세스는 다른 업샘플링 필터들이 SHVC 필터들 대신에 이용될 수도 있는 것을 고려한다.
다음의 의사 코드(pseudo code)는 필드 패리티에 기초한 루마 샘플들의 업샘플링 프로세스를 설명한다:
의사 코드 1:
Figure 112022008913098-pat00004
표 5: SHVC에서의 16-위상 루마 리샘플링 필터
[표 5]
Figure 112022008913098-pat00005
크로마 샘플들의 필드 패리티 기반 업샘플링
프레임과, 크로마 샘플들의 상부/하부 필드 사이의 공간적 정렬은 예를 들어, YUV4:2:0 비디오에서의 크로마 서브샘플링으로 인해 루마 샘플들보다 더욱 복잡할 수도 있다. 도 9는 프로그레시브 주사된 비디오 프레임을 위한 YUV4:2:0 포맷(예컨대, 보편적으로 이용된 YUV4:2:0 비디오 포맷)에서의 (도 9에서 원들로서 표현된) 크로마 샘플들 및 (도 9에서 정사각형들로 표현된) 루마 샘플들의 디폴트(default) 상대적 로케이션들을 예시하는 도면이다. 도 9에서 도시된 바와 같이, 매 2x2 루마 샘플들에 대하여, 크로마 채널(즉, Cb 및 Cr) 당 1 개의 크로마 샘플(예컨대, 오직 1 개의 크로마 샘플)이 이용가능할 수도 있다. 도 9에서 도시된 디폴트 크로마 샘플 로케이션에 따르면, 2x2 루마 이웃 샘플들에 대하여, 크로마 샘플은 수평 방향에서 짝수 루마 위치들로 정렬될 수도 있다. 어떤 대표적인 실시형태들에서, 크로마 샘플은 수직 방향에서 짝수 및 홀수 루마 위치들 사이의 1/2 픽셀에 의해 오프(off)일 수도 있다.
도 10은 인터레이스 주사된 (도 10에서 실선 픽셀들로서 표현된) 비디오 상부 필드 및 (도 10에서 음영처리된 픽셀들로서 표현된) 하부 필드를 위한 YUV4:2:0 비디오 포맷에서 (도 10에서 원들로서 표현된) 크로마 샘플들 및 (도 10에서 정사각형들로서 표현된) 루마 샘플들의 디폴트 상대적 로케이션들을 예시하는 도면이다. 프로그레시브 비디오 배열과 동일한 방법으로, 매 2x2 루마 샘플들에 대하여, 크로마 채널(즉, Cb 또는 Cr) 당 1 개의 크로마 샘플(예컨대, 오직 1 개의 크로마 샘플)이 이용가능할 수도 있다. 인터레이스 필드의 디폴트 크로마 샘플 로케이션에서, 2x2 루마 이웃 샘플들에 대하여, 크로마 샘플은 수평 방향에서 짝수 루마 위치들로 정렬될 수도 있다(이것은 프로그레시브 배열과 동일할 수도 있음). 어떤 대표적인 실시형태들에서, 크로마 샘플은 수직 방향에서 짝수 및 홀수 루마 위치들 사이의 1/4 픽셀에 의해 오프일 수도 있다(이것은 프로그레시브 배열과 동일하지 않을 수도 있음).
표 6: SHVC에서의 16-위상 크로마 리샘플링 필터
[표 6]
Figure 112022008913098-pat00006
(소비자 비디오 애플리케이션들을 포함할 수도 있는) YUV4:2:0을 이용하는 대부분의 비디오 애플리케이션들에서는, 디폴트 크로마 샘플 로케이션이 이용될 수도 있다. 예를 들어, 크로마 샘플들은 프로그레시브 비디오에 대하여 도 9에서 도시된 바와 같이, 그리고 인터레이스 비디오에 대하여 도 10에서 도시된 바와 같이 위치될 수도 있다. SHVC 초안 4에서 현재 특정된 프로그레시브 대 프로그레시브 공간적 스케일러빌러티와 비교하여, 인터레이스 대 프로그레시브 공간적 업샘플링을 위하여, 상이한 위상 필터들은 크로마 업샘플링을 정확하게 수행하기 위하여 이용될 수도 있거나 필요하게 될 수도 있다. 상기 표 6은 SHVC 초안 4에서 특정된 4-탭 16-위상 크로마 업샘플링 필터들을 도시한다. 수직 방향에서 2x 비율을 갖는 프로그레시브-대-프로그레시브 스케일러빌러티에 대하여, 위상-6 및 위상-14 필터들은 크로마를 업샘플링하기 위하여 이용될 수도 있다. 비교 시에, 수직 방향에서 2x 비율을 갖는 인터레이스 대 프로그레시브에 대하여, 위상-0 및 위상-8 필터들은 크로마 업샘플링을 위하여 선정하거나 선택하기 위한 정확한 필터들일 수도 있다. 예를 들어, 인터레이스 대 프로그레시브 스케일러빌러티에 대하여, 루마 및 크로마에 대한 업샘플링 필터 위상들이 동일할 수도 있다. 표 6에서의 SHVC 크로마 업샘플링 필터들이 이용될 경우, 다음의 의사 코드는 크로마 업샘플링 프로세스를 설명할 수도 있다. 본원에서 논의된 루마 업샘플링 프로세스와 유사하게, 다음의 의사 코드는 다른 크로마 업샘플링 필터들을 위하여 이용될 수도 있는 것으로 고려된다.
의사 코드 2:
Figure 112022008913098-pat00007
의사 코드 2에서의 크로마 업샘플링을 위한 프로세스는 디폴트 크로마 샘플 로케이션들이 BL에서의 인터레이스 비디오 및 EL에서의 프로그레시브 비디오의 양자를 위하여 이용될 때에 특정된다. (도 9 및 도 10에서 도시된 것들 이외의) 다른 비-디폴트 크로마 샘플 로케이션들이 허용될 수도 있고, H.264/AVC 표준 및/또는 버전1 HEVC 표준에서의 비디오 가용성 정보(Video Usability Information; VUI)를 이용하여 비디오 비트스트림의 일부로서 시그널링될 수도 있다. 예를 들어, "chroma_sample_loc_type"의 값은 그 루마 이웃들에 대한 크로마 샘플의 로케이션을 정의하거나 설정하기 위하여 이용될 수도 있다. 비-디폴트 크로마 샘플 로케이션들이 (인터레이스 비디오, 프로그레시브 비디오, 또는 양자에서) 이용될 경우, 명시적인 크로마 위상 시그널링(explicit chroma phase signaling)은 인터레이스 및/또는 프로그레시브 비디오 계층들의 크로마 로케이션들을 설명하기 위하여, 이용될 수도 있고 및/또는 스케일러블 비트스트림에 추가될 수도 있다. 이러한 명시적으로 시그널링된 크로마 위상 정보는 크로마 업샘플링을 위한 정확한 위상 필터들을 유도하기 위하여 이용될 수도 있다.
SHVC 초안 4에서, 보간에서 이용된 참조 픽셀들 및 위상 필터의 선택은 (예컨대, 하위조항 H.6.2에서) 다음을 이용하여 수행된다.
변수들 phaseX, phaseY, addX, 및 addY는 다음과 같이 유도된다:
phaseX = (　cIdx =　= 0　) (　cross_layer_phase_alignment_flag << 1　) :
cross_layer_phase_alignment_flag (H-5)
phaseY = (　cIdx =　= 0　) ? (　cross_layer_phase_alignment_flag << 1　) :
cross_layer_phase_alignment_flag　+　1 (H-6)
addX = (　ScaleFactorX　*　phaseX　+　2　)　>>　2 (H-7)
addY = (　ScaleFactorY　*　phaseY　+　2　)　>>　2 (H-8)
변수들 xRef16 및 yRef16은 다음과 같이 유도된다:
xRef16 = (　(　(　xP　-　offsetX　)　*　ScaleFactorX +　addX　+　(　1　<<　11　)　)　>>　12　)　-　(　phaseX　<<　2　) (H-9)
yRef16 = (　(　(　yP　-　offsetY　)　*　ScaleFactorY　+　addY　+　(　1　<<　11　)　)　>>　12　)　-　(　phaseY　<<　2　) (H-10)
SHVC 초안의 프레임워크(framework) 내에서, 의사 코드 1 및 의사 코드 2에서 설명된 바와 같이 인터레이스 대 프로그레시브 스케일러빌러티에 대한 필드 패리티 기반 루마 및 크로마 업샘플링을 구현하기 위한 하나의 실시형태에서, 조절들은 다음과 같이 수학식 (H-6)에 대해 행해질 수도 있다:
phaseY = (base_layer_frame_pic_flag = = 0) ? 4* base_layer_bottom_field_flag : (　cIdx =　= 0　) ? (　cross_layer_phase_alignment_flag << 1　) : cross_layer_phase_alignment_flag　+　1
영역-기반 적응적 프레임/필드 업샘플링
H.264/AVC 및 HEVC 양자는 인터레이싱된 비디오 시퀀스들에 대한 적응적 프레임 필드 코딩을 허용한다. 적응적 프레임 필드(adaptive frame field; AFF) 코딩의 3 개의 타입들이 이용될 수도 있다.
(1) 시퀀스 AFF(sequence AFF; SAFF)가 이용될 수도 있다. 예를 들어, 프레임 코딩 및/또는 필드 코딩은 시퀀스 레벨에서 적응될 수도 있다. 프레임 코딩은 하나의 비디오 시퀀스에서의 픽처들(예컨대, 모든 픽처들)에 대해 이용될 수도 있고, 필드 코딩은 또 다른 비디오 시퀀스에서의 픽처들(예컨대, 모든 픽처들)에 대해 이용될 수도 있다. 이 경우, 비디오 시퀀스는 예를 들어, 전체 길이에서의 완전한 비디오 신호가 아니라, 순간적 디코딩 리프레시(Instantaneous Decoding Refresh; IDR) 픽처들에 의해 표기된 2 개의 랜덤 액세스 포인트(random access point)들 사이의 픽처들의 세트로서 정의될 수도 있다.
(2) 픽처 AFF(picture AFF; PAFF)가 이용될 수도 있다. 예를 들어, 프레임 코딩 및/또는 필드 코딩은 픽처 레벨에서 적응될 수도 있다. 비디오 시퀀스 내에서, 프레임 코딩은 하나의 픽처에 대하여 이용될 수도 있고, 필드 코딩은 또 다른 픽처에 대하여 이용될 수도 있다.
(3) 블록 레벨 AFF(block level AFF; MBAFF)가 이용될 수도 있다. 예를 들어, 프레임 코딩 및/또는 필드 코딩은 블록 레벨에서 적응될 수도 있다. 예를 들어, H.264/AVC에서, 기본 블록 코딩 유닛은 매크로블록(macroblock) 또는 MB로 칭해지고, (루마 컴포넌트의 측면에서) 16x16 픽셀들의 차원을 가진다. MBAFF에서의 프레임 및/또는 필드 시그널링은 MB 쌍(16x32)에 기초할 수도 있다. 시그널링은 픽처에서의 하나의 매크로블록 쌍이 프레임 모드에서 코딩되도록, 그리고 예를 들어, 동일한 픽처에서의 또 다른 매크로블록 쌍이 필드 모드에서 코딩되도록 할 수도 있다. 필드 모드가 이용될 때, MB 쌍은 상부 필드 MB 및 하부 필드 MB로 분할될 수도 있고, 별도로 코딩될 수도 있다.
HEVC는 인터레이스 콘텐트에 대한 시퀀스 적응적 프레임 필드 코딩(sequence adaptive frame field coding; SAFF)만을 허용하고, H.264/AVC는 모든 3 개의 타입들의 AFF(예컨대, SAFF, PAFF, 및 MBAFF)를 허용한다. SAFF 및 PAFF와 비교하여, MBAFF는 비디오 시퀀스의 일부의 부분들이 정적(예를 들어, 정적 배경)으로 남아 있고 비디오 시퀀스의 다른 부분들은 움직이고 있을(예를 들어, 움직이는 전경) 때에 유용할 수도 있다. 도 11은 상부 필드 및 하부 필드가 하나의 픽처로 조합되는 예를 예시하는 픽처이다. 도 11에서, 사람의 손들 및 팔들은 움직이는 부분들인 반면(그리고 픽처의 대응하는 영역은 매우 현저한 "인터레이스 아티팩트들" 또는 "코밍 아티팩트(combing artifact)들"), 배경 벽 및 사람의 머리는 실질적으로 정적이다(픽처의 대응하는 영역은 정상적인 프로그레시브 프레임인 것처럼 보임). 도 11에서의 픽처는 MBAFF를 이용하여 하나의 복합 프레임(예컨대, 여기서, 상부 및 하부 필드들은 프로그레시브 프레임과 동일한 해상도를 갖는 하나의 프레임으로 조합될 수도 있음)으로서 코딩될 수도 있다(예컨대, 움직이는 손들을 커버하거나 손들에 대응하는 매크로블록들은 필드 매크로블록들로서 코딩(예컨대, 더욱 양호하게 코딩)될 수도 있고, 정적 벽 및 머리를 커버하거나 이에 대응하는 매크로블록들은 프레임 매크로블록들로서 코딩(예컨대, 더욱 양호하게 코딩)될 수도 있음). 이러한 배열은 H.264/AVC 표준을 이용하여 BL 인터레이스 비디오를 코딩하기 위하여 이용될 수도 있다. BL 비디오가 MBAFF와 같은 블록 레벨 적응적 프레임 필드 코딩을 이용하여 코딩될 때에 효율적인 인터-계층 예측을 달성하기 위하여, 영역 기반 적응적 프레임-필드 업샘플링 프로세스가 적용될 수도 있다.
도 12는 영역 기반 적응적 프레임-필드 업샘플링의 예를 예시하는 도면이다. 먼저, 도 12에서 가장 하부 행(row)을 보면, 코딩된 BL 프레임은 2 개의 필드들을 포함할 수도 있거나 2 개의 필드들로 구성될 수도 있다. BL 프레임(1200)의 제 1 부분(1210)은 음영처리된 구역들(1201) 및 크로스-해칭된(cross-hatched) 구역들(1203)에 의해 각각 도 12에서 나타내어 도시된 바와 같이, 2 개의 필드 MB들을 이용하여 코딩될 수도 있다. MB들이 필드 모드에서 코딩되는 부분(1210)에서의 상부 필드(1201)는 음영처리된 것으로서 표현되고, MB들이 필드 모드에서 코딩되는 부분(1210)에서의 하부 필드(1203)는 교차-해칭된 것으로 표현된다. BL 프레임(1200)의 다른 부분(1220)은 실선 백색 구역에 의해 표현된 바와 같이, 프레임 MB들을 이용하여 코딩된다. 시간 인스턴스(instance)들 T 및 T+1에서의 EL에서의 2 개의 프로그레시브 프레임들(1230 및 1240)은 BL에서의 상부 필드 및 하부 필드에 각각 대응한다.
다음의 단계들은 예를 들어, (BL에서의 상부 필드(1201)에 대응하는) 시간 인스턴스 T에서의 EL 프로그레시브 프레임을 효율적으로 예측하기 위하여 이용되어야 할 인터-계층 참조 픽처(1250)을 생성하기 위하여 적용될 수도 있다.
(1) 정적 영역(들)(1220)에서의 픽셀들이 복사된다;
(2) BL 픽처(1200)에서의 움직임 영역(moving region)(1210)으로부터의 상부 필드(1201) 픽셀들(예컨대, 상부 필드 픽셀들만) 복사된다;
(3) 필드 패리티 기반 2x 업샘플링은 시간 T 동안에 인터-계층 참조 픽처(1250)에서의 움직임 영역(1220)에서 인터리빙된(interleaved) 라인들을 채우기 위하여 본원에서의 개시내용에 따라 수직 방향에서 수행된다.
다음의 단계들은 (BL에서의 하부 필드(1203)에 대응하는) 시간 인스턴스 T+1에서의 EL 프로그레시브 프레임(1240)을 효율적으로 예측하기 위하여 이용되어야 하거나 이용될 수도 있는 인터-계층 참조 픽처(1240)를 생성하기 위하여 적용될 수도 있다.
(1) 정적 영역(들)(1220)에서의 픽셀들이 복사된다;
(2) BL 픽처(1200)에서의 움직임 영역(1210)으로부터의 하부 필드(1203) 픽셀들(예컨대, 하부 필드 픽셀들만) 복사된다;
(3) 필드 패리티 기반 2x 업샘플링은 시간 T+1 동안에 인터-계층 참조 픽처(1260)에서의 움직임 영역(1220)에서 인터리빙된 라인들을 채우기 위하여 본원에서의 개시내용에 따라 수직 방향에서 수행된다.
영역 기반 적응적 프레임-필드 업샘플링 절차는 인터-계층 예측을 위하여 EL에서의 정확한 시간 인스턴스들에 대응하는 코딩된 BL 프레임(1200)에서의 그러한 픽셀들을 효과적으로 이용할 수도 있다.
픽처에서의 어느 영역들이 필드 패리티 기반 업샘플링을 이용할 수도 있는지, 또는 이용해야 하는지를 특정하는 파라미터들은 인코더에 의해 판단될 수도 있고, 예를 들어, EL 슬라이스 헤더에서 비트스트림의 일부로서 시그널링될 수도 있다. BL 픽처는 2 개의 필드들이 아니라, 복합 프레임으로서 코딩될 수도 있으므로, 표 3에서의 플래그 base_layer_frame_pic_flag는 1로 설정될 수도 있다. 도 12는 BL에서의 MB들이 필드 모드에서 코딩되고 필드 패리티 기반 업샘플링이 적용될 수도 있는 하나의 영역(1220)(예컨대, 오직 하나의 영역)을 도시하지만, 하나를 초과하는 영역(예컨대, 임의의 수의 이러한 영역들)이 존재할 수도 있고 비트스트림에서 시그널링될 수도 있다. 하나 이상의 영역들은 로케이션(예컨대, 코너 좌표, 예를 들어, 상부 좌측 좌표들을 특정함으로써) 및 차원(예컨대, 폭 및 높이)을 특정함으로써, 및/또는 제 2 대각 코너 로케이션을 특정함으로써 시그널링될 수도 있다. 어떤 대표적인 실시형태들에서, 하나 이상의 영역들은 BL에서의 어느 매크로블록들이 필드 모드를 이용하여 코딩되는지를 표시함으로써 시그널링될 수도 있다(예컨대, 래스터 주사 순서(raster scan order)에서의 시작 MB 인덱스 및 종료 MB 인덱스).
다른 대표적인 실시형태들에서, 각각의 영역에 대한 업샘플링(프레임 및/또는 필드) 절차들은 묵시적으로 판단될 수도 있거나 결정될 수도 있다. 인코더 및 디코더는 예를 들어, 그 영역 내에서 상부 필드와 하부 필드 사이의 움직임의 양을 검출함으로써, 동일한 방법으로 각각의 영역에 적용되어야 할 적절한 업샘플링 절차를 결정할 수도 있다. 상부 및 하부 필드들 사이의 움직임의 양을 결정하기 위하여, 상부 필드와 하부 필드 사이의 절대 차이의 합(Sum of Absolute Difference; SAD) 또는 제곱 오차의 합(Sum of Square Error; SSE)과 같은 차이 메트릭(difference metric)들이 적용될 수도 있다. 인코더는 SAD 또는 SSE의 적절한 문턱 값을 결정할 수도 있고, 문턱을 디코더로 송신할 수도 있다. 상부 및 하부 필드들 사이의 SAD/SSE의 값이 문턱보다 더 클 경우, 특정한 영역은 움직임 영역으로서 간주될 수도 있고, 필드 패리티 기반 업샘플링이 적용될 수도 있다. 이와 다를 경우(예컨대, 상부 및 하부 필드들 사이의 SAD/SSE의 값이 문턱보다 더 크지 않을 경우), 특정한 영역은 정적 영역으로서 간주될 수도 있고, 픽셀 복사가 그 대신에 적용될 수도 있다.
본원에서 설명된 영역-기반 적응적 프레임/필드 업샘플링 프로세스에서, 픽셀 복사는 정적 영역에 적용될 수도 있다(여기서, MB는 프레임 모드에서 코딩될 수도 있음). 픽셀 복사는 단지 예이다. 디-노이징 필터링(de-noising filtering) 또는 디-아티팩팅 필터(de-artifacting filter)와 같은 더욱 복잡한 인터-계층 프로세싱 기술들은 또한, 프레임-모드 MB들에 속하는 이 픽셀들에 적용될 수도 있다. 또한, EL 코딩을 위한 인터 계층 참조 픽처들을 형성하기 위한 상기 설명된 방법들은 그 대신에, 디-인터레이싱(de-interlaced) 기법들로서 또한 이용될 수 있다. 예를 들어, 디스플레이는 (예컨대, MBAFF를 필드 블록들로서 이용하여 어느 블록들이 코딩되는지에 대한 비트스트림 정보로부터 추출함으로써) 고속 모션(fast motion)을 갖는 영역들을 검출할 수도 있고, 시간 T 및 시간 T+1에서 인터 계층 참조 픽처들을 생성하기 위하여 도 12와 관련하여 위에서 논의된 것과 동일한 단계들을 이용하여 프로그레시브 프레임들을 생성하기 위하여 디-인터레이싱을 수행할 수도 있다. 다른 실시형태들에서, 특수한 파라미터들은 디스플레이에서 디-인터레이싱을 개선시키기 위하여, 예를 들어, 보충 강화 정보(Supplemental Enhancement Information; SEI) 메시지의 일부로서, 인코더에 의해 전송될 수도 있다. 이러한 특수한 파라미터들은 고속 모션을 갖는 영역들의 차원 및 로케이션의 시그널링, 및/또는 디스플레이가 고속-모션 영역들을 결정하기 위한 미리 결정된 문턱 값들을 시그널링 및/또는 이용하는 것과 같은 위에서 논의된 것들을 포함할 수도 있다.
필드 조합에 기초한 참조 픽처
필드 조합 기법들 및 절차들은 (예컨대, 디스플레이를 위하여) 인터레이싱된 비디오를 프로그레시브 포맷으로 변환할 때에 이용될 수도 있다. 변환 프로세스는 "디-인터레이싱"으로서 지칭될 수도 있다. 예를 들어, 방송사는 인터레이싱된 콘텐트의 디-인터레이싱을 수행할 수도 있고, 그 다음으로, 이러한 콘텐트를 프로그레시브 디지털 포맷으로 송신할 수도 있다. 또 다른 예로서, 최신 디지털 텔레비전 세트는 본래 프로그레시브인 디스플레이를 가질 수도 있고, 이러한 세트는 콘텐트를 프로그레시브 포맷으로 디스플레이하기 전에 수신된 인터레이싱된 콘텐트를 디-인터레이싱할 필요가 있을 수도 있다. 이러한 디-인터레이싱 기법들 및 절차들은 (예컨대, 디스플레이를 위한 프로그레시브 프레임을 생성하기 위하여) 상이한 필드들로부터의 정보를 조합할 수도 있다. 어떤 대표적인 실시형태들에서, 절차들은 필드 조합 기법들을 인터-계층 예측의 태스크에 적응시키도록 구현될 수도 있다.
도 13은 하나의 대표적인 절차를 예시한다. 기본 계층은 인터레이싱된 필드들을 이용하여 코딩될 수도 있다. 이것들은 "필드 A"(1301) 및 "필드 B"(1302)로서 도면에서 예시된다. 필드 조합 기법은, 강화 계층에서 프로그레시브 프레임(1320)의 예측을 위한 인터-계층 참조 픽처로서 이용될 수도 있는 참조 픽처(1310)를 생성하기 위하여, 기본 계층 필드들을 조합하기 위해 이용될 수도 있다. 기본 계층으로부터의 필드들을 조합함으로써, 단일 필드(예컨대, 오직 단일의 필드)로부터 가능할 수도 있는 것보다 더욱 양호한 참조 픽처를 재구성하는 것이 가능할 수도 있다. 예를 들어, 필드 조합은 참조 픽처가 전체 수직 해상도의 세부사항들을 보존하도록 할 수도 있고, 여기서, 이러한 세부사항은 본원에서 논의된 바와 같이, 참조 픽처가 그 대신에 수직 방향에서 업샘플링된 단일 필드로부터 형성되었을 경우에 손실될 수도 있다.
필드 조합 기법은 다양한 형태들을 취할 수도 있다. 하나의 대표적인 실시형태에서, 제 1 필드(예컨대, "필드 A")로부터의 콘텐트는 인터-계층 참조 픽처의 짝수 라인들로 복사될 수도 있고, 제 2 필드(예컨대, "필드 B")로부터의 콘텐트는 인터-계층 참조 픽처의 홀수 라인들로 복사될 수도 있다. 이러한 방법으로, 참조 픽처를 생성하기 위하여, 하나의 필드로부터의 라인들은 또 다른 필드로부터의 라인들과 함께 짜여질 수도 있다.
또 다른 대표적인 실시형태에서, 참조 픽처의 라인들을 생성하기 위하여, 제 1 필드(예컨대, "필드 A")로부터의 콘텐트는 제 2 필드(예컨대, "필드 B")로부터의 콘텐트와 평균화될 수도 있다. 이러한 평균화는 예를 들어, 가중화된 평균 기법을 이용하여 수행될 수도 있다. 예를 들어, 참조 픽처의 짝수 라인은, 기본 계층의 상부 필드로부터의 라인과, 기본 계층으로부터의 하부 필드의 대응하는 라인을 조합하는 가중화된 평균에 의해 생성될 수도 있다. 상부 필드 라인에 대한 가중치는 하부 필드 라인에 대한 가중치보다 더 클 수도 있거나, 이와 동일할 수도 있거나, 이보다 더 작을 수도 있다(예컨대, 상부 필드 라인은 0.8의 가중치와 조합될 수도 있고, 하부 필드 라인은 0.2의 가중치와 조합될 수도 있음). 이러한 방법으로, 기본 계층 필드들은 합께 배합(blend)될 수도 있고, '코밍' 아티팩트들은 결과적인 참조 픽처에서 감소될 수도 있다.
또 다른 대표적인 실시형태에서, 제 1 필드(예컨대, "필드 A")로부터의 콘텐트는 모션 보상 기법을 이용하여 제 2 필드(예컨대, "필드 B")로부터의 콘텐트와 조합될 수도 있다. 이러한 방법으로, EL 프로그레시브 프레임에 대응하는 시간과, 기본 계층 필드들의 각각에 대응하는 시간 사이의 시간 차이 동안에 발생하였던 모션은 보상될 수도 있고, '코밍' 아티팩트들은 결과적인 참조 픽처에서 감소될 수도 있거나 실질적으로 제거될 수도 있다. 예를 들어, 도 13에 따르면, 기본 계층의 필드 A(1301)가 예측되어야 할 프로그레시브 강화 계층 프레임(1320)과 공동위치될(예컨대, 동일한 디스플레이 시간을 가짐) 경우, 기본 계층의 필드 B(1302)는 필드 A(1301)에 대하여, 그리고 프로그레시브 강화 계층 프레임(1320)에 대하여 상이한 디스플레이 시간을 가질 수도 있다. 예를 들어, 필드 B는 필드 A보다 1/30 초 더 이후에 있을 수도 있다. 이 경우, 참조 픽처는 필드 A의 라인들을 참조 픽처로(예컨대, 필드 A가 상부 필드일 경우에 참조 픽처의 짝수 라인들로) 복사함으로써, 그리고 필드 B의 라인들의 모션-보상된 버전들을 참조 픽처로(예컨대, 필드 B가 하부 필드일 경우에 참조 픽처의 홀수 라인들로) 복사함으로써 구성될 수도 있다. 필드 B의 모션 보상은, 참조 픽처(1310)를 구성할 때에 필드 B의 픽처 데이터를 필드 A의 것과 더욱 양호하게 정렬하기 위하여 필드 A에 대하여 수행될 수도 있다. 이러한 방법으로, 참조 픽처는 전체 수직 해상도의 세부사항들을 보존할 수도 있고, '코밍' 아티팩트들을 감소시킬 수도 있거나 실질적으로 제거할 수도 있다.
모션 보상은 또 다른 필드(예컨대, '필드 A')에 대하여 하나의 필드(예컨대, '필드 B') 상에서 수행될 수도 있고, 여기서, 양자의 필드들은 인코더 및 디코더 측들의 양자에서 이용가능하다. 예를 들어, 인코더 및 디코더는 필드들 사이에서 도일한 모션 추정 및 보상 절차를 각각 수행할 수도 있고, 따라서, 동일한 참조 픽처는 (예컨대, 모션 정보(예컨대, 모션 모드 정보) 및/또는 모션 벡터들을 인코더로부터 디코더로 (예컨대, 비트스트림으로) 송신할 필요 없이) 인코더 측 및 디코더 측의 양자에서 구성될 수도 있다. (임의의 모션 보상 프로세스 및/또는 절차를 포함하는) 전체적인 필드 조합 절차 및/또는 기법은 인코더 측과 디코더 측 사이에서 고정될 수도 있고 사정설정(예컨대, 미리 합의됨)될 수도 있다. 어떤 대표적인 실시형태들에서는, 프로세스/절차에 관한 변동이 가능할 수도 있고, 프로세스를 정의(예컨대, 설정 또는 확립)하기 위하여, 적절한 시그널링이 인코더로부터 디코더로 전송되는 것으로 고려된다. 예로서, 인코더는 참조 픽처를 구성하기 위하여 이용된 필드 조합이 필드 복사에 기초하든지(예컨대, 필드들은 본원에서 설명된 바와 같이 '함께 짜여질" 수도 있음), 또는 서로에 대한 하나의 필드의 모션 보상에 기초하든지, 참조 픽처마다 시그널링할 수도 있다. 또 다른 예로서, 인코더는, 참조 픽처의 일부의 블록들이 하나의 필드 조합 절차/기법을 이용하여 구성될 수도 있고, 참조 픽처의 다른 블록들이 상이한 필드 조합 절차/기법을 이용하여 구성될 수도 있도록, 참조 픽처의 상이한 영역들을 구성하기 위하여 이용되어야 할 상이한 필드 조합 절차들 및/또는 기법들을 시그널링할 수도 있다.
도 13은 기본 계층의 필드 A(1301)를, 예측되어야 할 EL 프로그레시브 프레임(1320)과 공동위치된 것으로서, 그리고 기본 계층의 필드 B(1302)를 시간적으로 더 이후의 필드로서 도시하지만, 다른 구성들이 가능하다. 예를 들어, 참조 픽처는 예측되어야 할 EL 프로그레시브 프레임과 공동위치된 제 1 기본 계층 필드와, 제 1 기본 계층 필드보다 시간적으로 더 이전의 제 2 기본 계층 필드의 조합으로서 구성될 수도 있다. 또 다른 예로서, 참조 픽처는 2 개의 기본 계층 필드들의 조합으로서 구성될 수도 있고, 여기서, 2 개의 기본 계층 필드들의 어느 것도 예측되어야 할 EL 프로그레시브 프레임과 공동위치되지는 않는다.
추가의 예로서, 참조 픽처는 2를 초과하는 기본 계층 필드들의 조합으로서(예컨대, 예측되어야 할 EL 프로그레시브 프레임(1420)과 공동위치된 제 1 기본 계층 필드(예컨대, "필드 A"), 제 1 기본 계층 필드보다 시간적으로 더 이후의 제 2 기본 계층 필드(예컨대, "필드 B"), 및 제 1 기본 계층 필드보다 시간적으로 더 이전의 제 3 기본 계층 필드(예컨대, "필드 C")의 조합으로서) 구성될 수도 있다. 대표적인 절차/프로세스는 도 14a에서 예시된다. 어떤 대표적인 실시형태들에서, 참조 픽처(1410)는 제 1(1401), 제 2(1402), 및/또는 제 3(1403) 기본 계층 필드들의 가중화된 조합으로서 구성될 수도 있다. 다른 대표적인 실시형태들에서, 참조 픽처(1410)는 제 1 기본 계층 필드(1401)에 대한 제 2 기본 계층 필드(1402) 및 제 3 기본 계층 필드(1403)의 모션 보상을 이용하여 구성될 수도 있고, 여기서, 참조 픽처의 각각의 로컬 구역(예컨대, 각각의 블록)에 대한 모션 보상된 데이터는 어느 것 또는 어느 것들이 제 1 기본 계층 필드에서의 데이터에 대해 더욱 양호한 일치(예컨대, 이와 더욱 양호한 정렬)를 제공하는지에 따라 제 2 및/또는 제 3 기본 계층 필드들로부터 선택될 수도 있다. 동일한 프로세스는 예를 들어, 인터-계층 참조 픽처의 구성을 위한 모션 보상 프로세스/절차를 설명하기 위한 모션 정보(예컨대, 모드 정보 및/또는 모션 벡터들)를 송신할 필요가 없을 수도 있도록, 인코더 측 및 디코더 측에서 동일하게 실행될 수도 있다.
도 13a 및 도 14a에서 도시된 각각의 인터레이싱된 필드는 필드로서 코딩된 완전한 픽처를 나타낼 수도 있거나, 픽처의 필드-코딩된 서브세트(예컨대, MBAFF를 이용하여 코딩된 하나 이상의 매크로블록 필드들)를 나타낼 수도 있다.
계층 적응적 및 픽처 적응적 리샘플링 위상 선택
적절한 위상 필터들은, 기본 계층 픽처가 예를 들어, 강화 계층 픽처를 예측하기 위한 리샘플링을 위하여 이용될 때에 코딩 효율을 개선시키기 위하여, 리샘플링(예컨대, 업샘플링) 시에 선택될 수도 있다. 하나의 비-제한적인 예에서, 대부분의 적절한 위상 필터들은, 이용되고 있는 기본 계층 데이터가 상부 인터레이싱된 필드 또는 하부 인터레이싱된 필드인지 여부에 종속될 수도 있다. 어떤 대표적인 실시형태들에서는, 다음 중의 하나 이상이 구현될 수도 있다:
(1) 픽처 레벨에서의 수직 위상 필터 조절이 하나 이상의 참조 계층들에 대해 가능하게 될 수도 있는지, 또는 가능하게 되지 않을 수도 있는지 여부를 표시하기 위하여, SPS 시그널링 vert_phase_position_present_flag를 추가하고;
(2) 수직 위상 필터 조절이 가능하게 되는 그러한 참조 계층들에 대하여, 수직 위상 위치를 표시하기 위하여, 슬라이스 헤더 시그널링 phase_position_flag를 추가하고;
(3) 적절하거나 필요하게 될 경우, 슬라이스 헤더에서의 phase_position_flag의 값에 따라, 리샘플링 동안에 수직 위상 필터 선택을 조절하고; 및/또는
(4) 픽처-기반 위상 필터 조절이 스케일러블 비트스트림에서의 적어도 하나의 픽처의 디코딩을 위하여 필요한지 여부를 표시하기 위하여, VPS VUI 표시 vps_vui_phase_adjustment_flag를 추가한다. 이 VPS VUI 표시 플래그는 규범적 디코딩 프로세스에 영향을 주지 않을 수도 있다. 픽처 기반 위상 필터 조절이 필요한지 여부를 디코더에 통지함으로써, 이 플래그는 픽처 기반 위상 필터 조절이 적절하거나 필요하게 되지 않을 경우, 일부의 디코더 구현예들이 비디오 시퀀스를 디코딩하는 초반(예컨대, 매우 초반)에 고정된 위상 필터들을 사전로딩(preload)하도록 할 수도 있다.
상기 언급된 슬라이스 레벨 시그널링이 특정 참조 계층에 대한 1-비트 플래그(예컨대, 오직 1-비트 플래그)일 경우, 그것은 (예컨대, 수직 방향에서만) 상부 필드와 하부 필드 사이의 토글(toggle)하는 것을 오직 허용할 것이지만, 픽처 레벨에서 수직 및 수평 위상 필터들을 변경하는 것을 허용하지 않을 수도 있다. 수평 및/또는 수직 업샘플링의 양자에 대한 픽처 기반 위상 필터 선택을 위한 추가적인 신축성은 (예를 들어, 다음의 이용 케이스(use case)들에 대해) 적절할 수도 있고 및/또는 구현될 수도 있다.
(1) 그 내용들이 본원에 참조로 편입되는, 미국 공개 특허 출원 제2014/0037015호에서 논의된 바와 같이, (예컨대, 상이한 위상 특성들 및/또는 상이한 샘플링 그리드(sampling grid) 정렬을 갖는) 상이한 다운샘플링 필터들은 상이한 계층들에서 비디오 픽처들을 다운샘플링하고 생성하기 위하여 이용될 수도 있다.
(2) 규칙적인 다운샘플링 필터들은 예를 들어, 4kx2k 프로그레시브 비디오를 1080i 인터레이싱된 비디오로 직접적으로 변환하기 위하여, 프로그레시브 대 인터레이스 변환 프로세스와 조합될 수도 있다.
(3) 크로마 서브샘플링(subsampling)을 위하여, 인터레이싱된 및/또는 프로그레시브 YUV 420 또는 YUV 422에서의 비-디폴트(non-default) 크로마 샘플 로케이션(예컨대, 루마 샘플들에 대한 크로마 샘플 위상들)이 이용될 수도 있다. YUV 420 프로그레시브 및 인터레이스 비디오에 대한 디폴트 크로마 샘플 로케이션들은 도 9 및 도 10에서 각각 도시되었다. 그러나, HEVC 및 H.264/AVC와 같은 비디오 표준들은 다른 크로마 샘플 로케이션들을 이용하는 것을 허용할 수도 있다. 크로마 위상 필터 선택은 루마 위상 필터 선택으로부터 분리될 수도 있거나 분리될 필요가 있을 수도 있다.
어떤 대표적인 실시형태에서는, 샘플링 그리드 파라미터들을 시그널링하기 위한 절차들이 구현될 수도 있고, 이 절차들은 업샘플링 위상 필터들을 선택하기 위하여 이용될 수도 있다. 샘플링 그리드가 시퀀스 레벨에서 시그널링될 때, 대표적인 절차들은 픽처-기반 위상 필터 적응을 허용하지 않을 수도 있다. 샘플링 그리드가 1/16번째 픽셀 정밀도에서 시그널링될 때, 대표적인 절차들은 표현을 위한 더 많은 비트들을 이용할 수도 있거나 요구할 수도 있다.
상기 언급된 미국 공개 특허 출원 제2014/0037015호에서 개시된 것들과 같은, 샘플링 그리드 파라미터들을 시그널링하기 위한 어떤 대표적인 절차들은 일반적일 수도 있는 위상 정보의 시그널링을 위하여 구현될 수도 있고, 더욱 효율적인 시그널링을 제공할 수도 있고, 픽처 레벨 위상 필터 적응의 능력을 가질 수도 있다.
예를 들어, 위상 필터들은 다음의 변수들에 기초하여 선택될 수도 있다:
phaseX = cross_layer_phase_alignment_flag << 1
phaseXC = cross_layer_phase_alignment_flag
phaseY = VertPhasePositionAdjustFlag ?( VertPhasePositionFlag << 2) : (cross_layer_phase_alignment_flag << 1)
phaseYC = VertPhasePositionAdjustFlag ? phaseY : (cross_layer_phase_alignment_flag + 1)
phaseX 및 phaseXC는 각각 루마 및 크로마 컴포넌트들의 리샘플링을 위한 수평 위상 필터들을 선택하기 위하여 이용될 수도 있는 것으로 고려된다. PhaseY 및 phaseYC는 각각 루마 및 크로마 컴포넌트들의 리샘플링을 위한 수직 위상 필터들을 선택하기 위하여 이용될 수도 있다.
표들 5 및 6에서 상기 도시된 바와 같이, 16-위상 필터들은 업샘플링을 수행하기 위하여 이용될 수도 있다. 리샘플링된 픽처에서의 각각의 샘플(예컨대, 각각의 루마 또는 크로마 샘플) 로케이션 (xP, yP)에 대하여, 표 5 및/또는 표 6으로부터의 위상 필터가 선택된다. 루마 컴포넌트를 예로서 이용하면, 다음은 리샘플링을 위하여 16 개의 위상 필터들(루마 또는 크로마)로부터 하나를 선택하기 위하여 이용될 수도 있다:
addX = (　ScaleFactorX　*　phaseX　+　2　)　>>　2
addY = (　ScaleFactorY　*　phaseY　+　2　)　>>　2
xRef16 = (　(　(　xP　-　offsetX　)　*　ScaleFactorX　+　addX　+　(　1　<<　11　)　)　>>　12　) -　(　phaseX　<<　2　)
yRef16 = (　(　(　yP　-　offsetY　)　*　ScaleFactorY　+　addY　+　(　1　<<　11　)　)　>>　12　) -　(　phaseY　<<　2　)
x_phase_filter_idx = xRef16 modular 16
y_phase_filter_idx = yRef16 modular 16
여기서, ScaleFactorX 및 ScaleFactorY는 16-비트 고정 소수점(fixed point) 정밀도로 표현된 스케일링 비율들이고, (xP, yP)는 리샘플링된 픽처에서의 샘플 로케이션이고, offsetX 및 offsetY는 리샘플링된 픽처의 상부-좌측 코너로부터의 크롭핑 오프셋(cropping offset)들이다.
상기 프로세스는 루마 필터 선택을 하나의 대표적인 예로서 이용하고, 프로세스는 크로마 필터 선택에 동일하게 적용가능하다.
phaseX, phaseY, phaseXC, 및 phaseYC의 값들은 샘플링 그리드의 감소된 정밀도 표현들일 수도 있다. 예를 들어, 1/16-픽셀 정밀도가 아니라, 이들은 위상 정보의 1/4-픽셀 정밀도의 근사화들과 동등할 수도 있다. 표 7은 본원에서 논의된 약간의 대표적인 이용 케이스들에 대한 phaseX, phaseY, phaseXC, 및 phaseYC의 값들을 열거한다. 좌측 열은 대표적인 이용 케이스들과, 신택스 엘리먼트들 및 변수들(예컨대, cross_layer_phase_alignment_flag, VertPhasePositionAdjustFlag, 및/또는 VertPhasePositionFlag)의 대표적인(예컨대, 대응하는) 값들을 도시한다. 우측 열들은 시그널링하기 위한 위상 파라미터들의 값들을 도시한다. 표 7의 최후 행은 현재의 시그널링 절차들(예컨대, 어떤 현재의 시그널링 절차들)을 이용하여 표현될 수 없는 이용 케이스를 제공한다. 이 이용 케이스에 있어서, 크로마 샘플 로케이션은 도 9에서 도시된 디폴트 프로마 샘플 로케이션이 아니다. 크로마 샘플 로케이션은 최신식 시그널링 절차들을 이용하여 유도될 수 없는 phaseX, phaseY, phaseXC, 및/또는 phaseYC의 값들의 새로운 세트일 필요가 있을 수도 있다.
표 7: 일 예의 이용 케이스들에서의 phaseX, phaseY, phaseXC, 및 phaseYC의 값들
[표 7]
Figure 112022008913098-pat00008
phaseX, phaseY, phaseXC, 및/또는 phaseYC의 가능한 값들의 서브세트(예컨대, 제한된 서브세트)를 유도하기 위하여 플래그들의 세트(cross_layer_phase_alignment_flag, VertPhasePositionAdjustFlag, 및/또는 VertPhasePositionFlag)를 이용하는 대신에, 이 변수들의 값들은 가능한 값들의 전체 범위가 시그널링되도록 하기 위하여 직접적으로 시그널링될 수도 있다. 각각의 위상 파라미터 세트는 phaseX, phaseY, phaseXC, 및/또는 phaseYC를 포함할 수도 있거나 이들로 구성될 수도 있고, 현재의 플래그-기반 시그널링을 대체할 수도 있다. 픽처 레벨 위상 필터 적응을 허용하기 위하여, 이 위상 파라미터 값들의 다수의 세트들이 시그널링될 수도 있다. 각각의 픽처는 현재의 픽처의 디코딩을 위한 리샘플링을 수행하기 위하여 위상 파라미터 값들의 세트들 중의 어느 하나가 이용되어야 하는지를 표시하기 위한 인덱스를 이용할 수도 있다. 이 값들은 더 낮은 정밀도(예컨대, 1/16-픽셀보다는 1/4-픽셀)를 가질 수도 있으므로, 값들은 표현을 위하여 더 적은 비트들을 이용할 수도 있거나 요구할 수도 있고; 값들은 픽처 레벨 적응적 리샘플링 위상 선택을 가능하게 하기 위한 이용을 위하여 적당할(예컨대, 더욱 적당함) 수도 있다.
표 8은 phaseX, phaseY, phaseXC, 및/또는 phaseYC 값들의 다수의 세트들을 전송하기 위하여 이용될 수도 있는 일 예의 신택스 테이블(syntax table)이다. 이 신택스 테이블은 비디오 파라미터 세트(VPS), 시퀀스 파라미터 세트(SPS), 및/또는 픽처 파라미터 세트(PPS)의 일부로서 포함될 수도 있다.
표 8: resample_phase_parameter_sets()에 대한 신택스 테이블의 예
[표 8]
Figure 112022008913098-pat00009
1 과 동일한 resample_phase_parameter_set_present_flag는, 리샘플링 위상 정보 신택스 엘리먼트들 num_resample_phase_parameter_set_minus1, resample_phase_x_luma[ i ], resample_phase_y_luma[ i ], resample_phase_x_chroma[ i ], 및 resample_phase_y_chroma[i]가 비트스트림에서 존재하는 것을 표시하기 위하여 이용될 수도 있다. 0과 동일한 resample_phase_parameter_set_present_flag는, 리샘플링 위상 정보 신택스 엘리먼트들 num_resample_phase_parameter_set_minus1, resample_phase_x_luma[ i ], resample_phase_y_luma[ i ], resample_phase_x_chroma[ i ], resample_phase_y_chroma[ i ]가 비트스트림에서 존재하지 않을 수도 있거나 존재하지 않고, 그 값들이 추론될 수도 있다는 것을 표시한다. resample_phase_parameter_set_present_flag가 존재하지 않을 때, 그것은 0과 동일한 것으로 추론될 수도 있다.
num_resample_phase_parameter_set_minus1 + 1은 시그널링되고 있는 리샘플 위상 파라미터 세트들의 수를 특정하기 위하여 이용될 수도 있고, 세트는 4 개의 신택스 엘리먼트들 resample_phase_x_luma[ i ], resample_phase_y_luma[ i ], resample_phase_x_chroma[ i ], 및 resample_phase_y_chroma[ i ]를 포함한다. num_resample_phase_parameter_set_minus1이 존재하지 않을 때, 그것은 0과 동일한 것으로 추론될 수도 있다.
resample_phase_x_luma [ i ]는 수평 방향에서 루마 리샘플링 필터를 선택하기 위하여 이용된 i번째 수평 리샘플링 위상 조절 값을 특정하기 위하여 이용될 수도 있다. resample_phase_x_luma [ i ]가 존재하지 않을 때, 그것은 0과 동일한 것으로 추론될 수도 있다.
resample_phase_y_luma [ i ]는 수직 방향에서 루마 리샘플링 필터를 선택하기 위하여 이용된 i번째 수직 리샘플링 위상 조절 값을 특정하기 위하여 이용될 수도 있다. resample_phase_y_luma [ i ]가 존재하지 않을 때, 그것은 0과 동일한 것으로 추론될 수도 있다.
resample_phase_x_chroma [ i ]는 수평 방향에서 크로마 리샘플링 필터를 선택하기 위하여 이용된 i번째 수평 리샘플링 위상 조절 값을 특정하기 위하여 이용될 수도 있다. resample_phase_x_chroma [ i ]가 존재하지 않을 때, 그것은 0과 동일하게 추론될 수도 있다.
resample_phase_y_chroma [ i ]는 수직 방향에서 크로마 리샘플링 필터를 선택하기 위하여 이용된 i번째 수직 리샘플링 위상 조절 값을 특정하기 위하여 이용될 수도 있다. resample_phase_x_chroma [ i ]가 존재하지 않을 때, 그것은 1과 동일한 것으로 추론될 수도 있다.
변수들 NumResamplePhaseParamSets, ResamplePhaseXLuma, ResamplePhaseYLuma, ResamplePhaseXChroma, 및/또는 ResamplePhaseYChroma는 다음과 같이 유도될 수도 있다:
Figure 112022008913098-pat00010
Figure 112022008913098-pat00011
위에서 언급된 바와 같이, 신택스 엘리먼트 resample_phase_parameter_set_present_flag는 리샘플링 위상 조절 값들이 비트스트림에서 명시적으로 시그널링되는지 아닌지 여부를 표시하기 위하여 이용될 수도 있다. 리샘플링 위상 조절 값들이 명시적으로 시그널링되지 않을 경우, 디폴트 세트가 이용될 수도 있다. 어떤 이용 케이스들(예컨대, 대부분의 전형적인 이용 케이스), 예를 들어, (예컨대, 도 4에서의 다운샘플링 유닛에서) 더 낮은 해상도의 비디오를 생성하기 위하여 이용된 다운샘플링 필터가 (예컨대, cross_layer_phase_alignment_flag = 0에 대하여) 상부-좌측 샘플에서 정렬되는 프로그레시브 대 프로그레시브 공간적 스케일러빌러티에서는, resample_phase_parameter_set_present_flag의 값이 0으로 설정될 수도 있고, ResamplePhaseXLuma[ 0 ], ResamplePhaseYLuma[ 0 ], ResamplePhaseXChroma[ 0 ], 및/또는 ResamplePhaseYChroma[ 0 ]을 포함하는 리샘플링 위상 파라미터들의 값들이 (예컨대, 표 7에서의 상부 행에서 열거된 값들에 따라) 추론될 수도 있다.
표 8의 예에서, 신택스 엘리먼트들 resample_phase_x_luma, resample_phase_y_luma, resample_phase_x_chroma, 및/또는 resample_phase_y_chroma는 (ue(v) 또는 Exp-Golomb 코딩과 같은 다른 엔트로피 코딩 절차들이 이용될 수도 있지만) 3-비트 고정된 길이 코딩을 이용하여 시그널링될 수도 있고, 그 값들은 0 내지 7까지의 범위 내에 있을 수도 있다. 실제적으로, 이 값들의 범위는 예를 들어, 또 다른 범위(예컨대, -3 내지 4까지의 범위) 내에 있도록 조절될 수도 있다. 이 경우, 상기 의사 코드는 다음과 같이 수정될 수도 있다:
ResamplePhaseXLuma [ i ] = resample_phase_x_luma [ i ] - 3
ResamplePhaseYLuma [ i ] = resample_phase_y_luma [ i ] - 3
ResamplePhaseXChroma [ i ] = resample_phase_x_chroma [ i ] - 3
ResamplePhaseYChroma [ i ] = resample_phase_y_chroma [ i ] - 3
리샘플링 위상 파라미터 세트의 하나를 초과하는 세트가 (예를 들어, VPS, SPS, 및/또는 PPS에서의) 시퀀스 레벨에서 시그널링되어, NumResamplePhaseParamSets의 값이 1보다 더 클 경우, 추가적인 신택스 엘리먼트는 이 세트들 중의 어느 하나가 현재의 픽처의 디코딩을 위한 하나 이상의 참조 계층 픽처들을 리샘플링하기 위하여 이용될 수도 있는지를 표시하기 위하여 이용될 수도 있다. resample_phase_parameter_set_idx로 칭해진, 이 슬라이스 헤더 신택스 엘리먼트의 예는 표 9에서 주어진다. 표 9에서의 예에서 도시된 바와 같이, 하나의 인덱스(예컨대, 오직 하나의 인덱스)는 (예컨대, 현재의 슬라이스가 하나를 초과하는 참조 계층 픽처를 가질 수도 있지만) 슬라이스 세그먼트 헤더에서 전송될 수도 있거나전송된다. 예를 들어, (예컨대, SHVC 초안 5에서 정의된) 스케일러블 메인(Scalable Main) 프로파일 및 스케일러블 메인 10(Scalable Main 10) 프로파일은 양자 모두, 준수하는 스케일러블 비트스트림 내의 임의의 계층에서의 임의의 픽처의 디코딩을 위하여, (또한, 인터 계층 참조 픽처로서 지칭된) 기껏해야 하나의 참조 계층 픽처가 현재의 픽처를 디코딩하기 위하여 이용되기 전에 리샘플링될 수도 있다는 제약을 받을 수도 있다. 현재의 픽처가 하나를 초과하는 인터 계층 참조 픽처를 이용하더라도, 이 인터 계층 참조 픽처들 중의 하나(예컨대, 오직 하나)는 리샘플링될 수도 있고, 다른(예컨대, 모든 다른) 인터 계층 참조 픽처들은 동일한 픽처 사이즈를 가지고(예컨대, 가질 수도 있거나 가져야 함) 리샘플링되지 않는다(예컨대, 리샘플링될 필요가 없음). 이 제약의 목적은 준수하는 디코더의 복잡도를 구속시키기 위한 것이다. (예컨대, SHVC 초안 5에서 정의된) 스케일러블 메인 및 스케일러블 메인 10 프로파일들에서의 이 제약으로 인해, 하나(예컨대, 오직 하나)의 리샘플링 위상 파라미터 세트 인덱스는 (표 9에서 도시된 바와 같이) 슬라이스마다 전송될 수도 있다. 프로파일이 이 제약을 완화시킬 경우, resample_phase_parameter_set_idx는 슬라이스마다 한 번을 초과하여 전송될 수도 있고, 상이한 참조 계층 픽처들은 상이한 리샘플 위상 파라미터들을 이용할 수도 있다. 다수의 다른 신택스 엘리먼트들과 유사하게, 픽처가 하나를 초과하는 슬라이스에서 코딩될 때, resample_phase_parameter_set_idx의 값은 동일한 픽처에서의 모든 슬라이스들에 대해 동일할 수도 있다.
표 9. 슬라이스 세그먼트 헤더에서 위상 파라미터 세트의 인덱스를 시그널링하는 예
[표 9]
Figure 112022008913098-pat00012
resample_phase_parameter_set_idx는 현재의 슬라이스의 디코딩을 위한 참조 계층 픽처를 리샘플링하기 위하여 이용된 리샘플링 위상 파라미터 세트의 인덱스를 특정할 수도 있다. resample_phase_parameter_set_idx가 존재하지 않을 때, 그것은 0과 동일한 것으로 추론될 수도 있다. resample_phase_parameter_set_idx의 값은 0 및 NumResamplePhaseParamSets - 1까지의 범위 내에 있을 수도 있다.
리샘플링 프로세스 동안, 다음의 수정들은 변수들 phaseX 및 phaseY를 유도하기 위하여 하위조항 H.6.2(예컨대, 리샘플링에서 이용된 참조 계층 샘플 로케이션에 대한 유도 프로세스)에 적용될 수도 있다.
phaseX = (　cIdx =　= 0　) ? ResamplePhaseXLuma[resample_phase_parameter_set_idx] : ResamplePhaseXChroma[resample_phase_parameter_set_idx] (H-5)
phaseY = (　cIdx =　= 0　) ? ResamplePhaseYLuma[resample_phase_parameter_set_idx] : ResamplePhaseYChroma[resample_phase_parameter_set_idx] (H-6)
표 8 및/또는 표 9에서의 시그널링 절차는 리샘플 위상 파라미터 세트 인덱스를 시그널링하기 위하여 슬라이스 헤더에서 필요한 것보다 더 많은 비트들을 이용할 수도 있고 및/또는 요구할 수도 있다. 위상 파라미터 세트 인덱스를 시그널링하기 위하여 이용된 비트들의 수는 리샘플링 프로세스에서 관여된 층들의 쌍을 인지함으로써 및/또는 고려함으로써 추가로 감소될 수도 있다. 도 14b는 대표적인 예로서, 3-계층 스케일러블 비트스트림을 예시하고, 여기서, 3-계층 스케일러블 비트스트림은 리샘플 위상 파라미터들의 통틀어 5 개의 세트들을 이용할 수도 있거나 필요로 할 수도 있다. 도 14b에서, 계층-1 픽처들의 디코딩을 위한 계층-0 픽처들의 리샘플링은 리샘플 위상 파라미터들의 2 개의 세트들을 이용할 수도 있고 및/또는 필요로 할 수도 있다(예를 들어, 픽처 레벨 적응적 리샘플링 위상 선택이 이용되거나 이 2 개의 층들 사이에서 필요하게 됨). 계층-2 픽처들의 디코딩을 위한 계층-0 픽처들의 리샘플링은 리샘플 위상 파라미터들의 2 개의 세트들을 이용할 수도 있거나 필요로 할 수도 있다(예를 들어, 픽처 레벨 적응적 리샘플링 위상 선택이 이용되고, 및/또는 이 2 개의 층들 사이에서 필요하게 됨). 계층-2 픽처들의 디코딩을 위한 계층-1 픽처들의 리샘플링은 리샘플 위상 파라미터들의 1 개의 세트를 이용할 수도 있거나 필요로 할 수도 있다(예컨대, 이용하기만 할 수도 있거나 필요로 하기만 할 수도 있음)(예를 들어, 픽처 레벨 적응이 이용될 수도 있거나 필요하게 될 수도 있고, 계층-1 픽처들(예컨대, 모든 계층-1 픽처들)이 계층-2 픽처들의 디코딩을 위한 리샘플링 위상들의 동일한 세트를 이용할 수도 있음). 상기 시그널링 절차를 이용하면, 시퀀스 레벨에서, NumResamplePhaseParameterSets가 5와 동일하고, 슬라이스 세그먼트 헤더에서의 각각의 신택스 엘리먼트 resample_phase_parameter_set_idx는 3 비트들을 이용할 수도 있거나 요구할 수도 있다(예컨대, 고정된 길이 코딩으로서의 ceil(log2(NumResamplePhaseParameterSets))가 resample_phase_parameter_set_idx에 적용될 수도 있음).
슬라이스 레벨에서, 리샘플링하기 전에, 리샘플링 위상을 결정하기 위하여 이용되는 2 개의 계층들(예컨대, 현재의 계층 및 참조 계층)이 알려질 수도 있다(예컨대, 이미 알려짐). 이 알려진 정보는 슬라이스 헤더에서 위상 파라미터 세트 시그널링 비용을 감소시키기 위하여 이용될 수도 있다. 예를 들어, 리샘플링 위상 파라미터 세트들의 총 수로부터, 직접적인 종속성이 있는 2 개의 계층들(예컨대, 샘플 예측이 허용되는 2 개의 계층들)의 각각의 쌍 사이에서 허용될 수도 있는 위상 파라미터 세트들은 시퀀스 레벨에서 특정(예컨대, 추가적으로 특정됨)될 수도 있다. 슬라이스 레벨에서, 리샘플 위상 파라미터 세트는 리샘플링 위상 파라미터 세트들의 전부가 아니라, 현재의 계층과, 리샘플링에서 이용된 그 참조 계층 사이에서 허용되는 리샘플링 위상 파라미터 세트들로부터 선택될 수도 있다. 도 14b의 예에서, 리샘플링이 계층-2 픽처의 디코딩을 위하여 계층-1 픽처에 적용될 경우, 4번째 위상 파라미터 세트(예컨대, 오직 4번째 위상 파라미터 세트)는 이 2 개의 계층들 사이에서 이용될 수도 있으므로, (예컨대, 위상 파라미터 세트 인덱스는 계층-2 픽처를 예측하기 위하여 리샘플링되고 있는 계층-1 픽처에 대한 것이므로, 4번째 파라미터 세트인 것으로 추론될 수 있기 때문에) 위상 파라미터 세트 인덱스를 시그널링할 필요성이 없을 수도 있다. 도 14b에 의해 예시된 또 다른 예에서는, 리샘플링이 계층-2 픽처의 디코딩을 위하여 계층-0 픽처에 적용될 경우, 이 예에서는, 2번째 또는 3번째 위상 파라미터 세트가 가능하므로, (3-비트 인덱스 시그널링이 아니라) 1-비트 인덱스 시그널링이 슬라이스 레벨에서 충분할 수도 있다. (예컨대, SHVC 초안 5에서 정의된) 현재의 스케일러블 메인 및 스케일러블 메인 10 프로파일들은 하나의 참조 계층 픽처(예컨대, 오직 그리고 기껏해야 하나의 참조 계층 픽처)가 현재의 픽처의 디코딩을 위하여 리샘플링되도록 한다.
이 하나의 참조 계층 픽처 리샘플링 제약을 갖는 절차들이 본원에서 설명되지만, 시그널링은 하나를 초과하는 참조 계층 픽처의 리샘플링을 지원하도록 확장될 수도 있는 것으로 고려된다.
현재의 픽처에 대하여, ResampleRefLayerId로서 나타낸, 리샘플링에서 이용된 참조 계층 픽처의 layer_id는 다음의 의사 코드를 이용하여 획득될 수도 있다:
변수 currLayerId는 현재의 픽처의 nuh_layer_id의 값과 동일하게 설정된다.
변수 NumActiveRefLayerPics는 현재의 픽처의 디코딩을 위한 활성 참조 계층(active reference layer)들의 수와 동일하게 설정된다.
어레이 RefPicLayerId는 현재의 픽처의 디코딩을 위한 활성 참조 계층들의 nuh_layer_id의 값들을 저장한다.
Figure 112022008913098-pat00013
Figure 112022008913098-pat00014
쌍별 위상 파라미터 세트 시그널링을 확립하는 일 예의 신택스 테이블이 표 10에서 도시되어 있고, 슬라이스 세그먼트 헤더에서의 대응하는 위상 파라미터 세트 인덱스 시그널링은 표 11에서 도시되어 있다.
표 10: 계층 쌍들에 대한 위상 파라미터 시그널링을 리샘플링하는 예
[표 10]
Figure 112022008913098-pat00015
num_resample_phase_param_set_layer_pair[ i ] [ j ]는 i번째 계층과 j번째 계층 사이의 리샘플 위상 파라미터 세트들의 수를 특정할 수도 있다. num_resample_phase_param_set_layer_pair[ i ] [ j ]가 존재하지 않을 때, 그것은 0과 동일한 것으로 추론될 수도 있다.
resample_phase_param_set_idx_layer_pair[ i ] [ j ] [ k ]는 i번째 계층 픽처와 j번째 계층 픽처 사이에서 리샘플링하기 위하여 이용된 리샘플링 위상 파라미터 세트의 k번째 인덱스를 특정할 수도 있다. resample_phase_param_set_idx_layer_pair[ i ] [ j ] [ k ]가 존재하지 않을 때, 그것은 0과 동일한 것으로 추론될 수도 있다. resample_phase_param_set_idx_layer_pair[ i ] [ j ] [ k ]의 값은 0 및 NumResamplePhaseParamSets - 1까지의 범위 내에 있을 수도 있다.
표 11: 슬라이스 세그먼트 헤더에서의 리샘플 위상 파라미터 세트 인덱스 시그널링의 예
[표 11]
Figure 112022008913098-pat00016
resample_phase_param_set_idx는 현재의 슬라이스의 디코딩을 위하여 ResampleRefLayerId와 동일한 layer_id를 갖는 참조 계층 픽처를 리샘플링하기 위하여 이용된 리샘플링 위상 파라미터 세트의 인덱스를 특정할 수도 있다. resample_phase_param_set_idx가 존재하지 않을 때, 그것은 0과 동일한 것으로 추론될 수도 있다. resample_phase_param_set_idx의 값은 0 및 num_resample_phase_param_set_layer_pair[LayerIdxInVps[nuh_layer_id]][LayerIdxInVps[ResampleRefLayerId]] - 1까지의 범위 내에 있을 수도 있고, 여기서, nuh_layer_id는 현재의 슬라이스의 layer_id이고, ResampleRefLayerId는 리샘플링이 적용되는 참조 계층 픽처의 layer_id이다.
표 9와 비교하면, 표 11에서의 resample_phase_parameter set_idx의 값은 감소된 동적 범위를 가지고, 표현하기 위한 더 적은 비트들을 이용할 수도 있거나 요구할 수도 있다. 리샘플링 프로세스 동안, 다음의 수정들은 변수들 phaseX 및 phaseY를 유도하기 위하여 (예컨대, H.6.2, 리샘플링에서 이용된 참조 계층 샘플 로케이션에 대한 유도 프로세스에) 적용될 수도 있다.
resamplePhaseParamSetIdx = resample_phase_param_set_idx_layer_pair[LayerIdxInVps[nuh_layer_id]][LayerIdxInVps[ResampleRefLayerId]][resample_phase_param_set_idx]
phaseX = (　cIdx =　= 0　) ? ResamplePhaseXLuma[resamplePhaseParamSetIdx] : ResamplePhaseXChroma[resamplePhaseParamSetIdx] (H-5)
phaseY = (　cIdx =　= 0　) ? ResamplePhaseYLuma[resamplePhaseParamSetIdx] : ResamplePhaseYChroma[resamplePhaseParamSetIdx] (H-6)
실시형태들
하나의 실시형태에서, 비디오 신호를 디코딩하기 위한 방법이 구현되고, 상기 방법은, 비디오 픽처를 리샘플링함에 있어서의 이용을 위한 위상 파라미터들의 하나 이상의 세트들을 저장하는 단계; 기본 계층 비디오 콘텐트 및 강화 계층 비디오 콘텐트를 포함하는 비디오 콘텐트를 수신하는 단계; 및 기본 계층에서의 픽처 및 저장된 위상 파라미터들의 세트들 중의 하나 이상에 기초하여 강화 계층에서의 적어도 하나의 픽처를 예측함에 있어서의 이용을 위한 하나 이상의 인터-계층 참조(inter-layer reference; ILR) 픽처들을 조립(assemble)하는 단계를 포함한다.
선행 실시형태는 ILR 참조 픽처를 이용하여 강화 계층 픽처를 예측하는 단계를 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 위상 파라미터들의 저장된 하나 이상의 세트들의 각각이, 하나 이상의 ILR 참조 픽처들의 루마 컴포넌트에 대한 수평 위상 필터들을 선택하기 위하여 이용되는 phaseX 정보; 하나 이상의 ILR 참조 픽처들의 크로마 컴포넌트들 중의 적어도 하나에 대한 수평 위상 필터들을 선택하기 위하여 이용되는 phaseXC 정보; 하나 이상의 ILR 참조 픽처들의 루마 컴포넌트에 대한 수직 위상 필터들을 선택하기 위하여 이용되는 phaseY 정보; 및/또는 하나 이상의 ILR 참조 픽처들의 크로마 컴포넌트들 중의 적어도 하나에 대한 수직 위상 필터들을 선택하기 위하여 이용되는 phaseYC 정보를 포함하는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 송신되고 있는 위상 값들의 세트들의 수를 표시하는 수 표시자를 수신하는 단계를 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 적어도 하나의 ILR 픽처를 조립함에 있어서 이용되어야 할 위상 파라미터들의 저장된 하나 이상의 세트들 중으로부터 위상 파라미터들의 적어도 하나의 세트를 표시하는 적어도 하나의 인덱스 표시자(index indicator)를 수신하는 단계를 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 적어도 하나의 인덱스 표시자가 슬라이스 세그먼트 헤더에서 수신되는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 하나 이상의 ILR 픽처들의 조립이 수신된 적어도 하나의 인덱스 표시자에 의해 표시된 위상 파라미터들의 적어도 하나의 세트에 기초하여 루마 및/또는 크로마 컴포넌트들 중의 적어도 하나의 리샘플링을 위한 위상 필터들을 선택하는 것을 포함하는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 적어도 하나의 인덱스 표시자가 비디오 콘텐트의 슬라이스와 연관되는 것을 더 포함할 수도 있고, 방법은 슬라이스와 연관된 인덱스 표시자에 따라 ILR 픽처를 조립함에 있어서의 이용을 위한 수신된 비디오 콘텐트의 기본 계층에서의 슬라이스에 대한 수평 위상 필터들 및 수직 위상 필터들 중의 적어도 하나를 조절하는 단계를 더 포함한다.
선행 실시형태들 중의 하나 이상은, 저장되어야 할 위상 파라미터들의 하나 이상의 세트들을 시그널링을 통해 수신하는 단계를 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 저장되어야 할 위상 파라미터들의 하나 이상의 세트들이 비디오 파라미터 세트(VPS)에서 수신되는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 저장되어야 할 위상 파라미터들의 하나 이상의 세트들이 픽처 파라미터 세트(PPS)에서 수신되는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 적어도 하나의 인덱스 표시자가 시그널링되고 있는지 여부를 표시하는 플래그 표시자를 시그널링을 통해 수신하는 단계를 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 위상 파라미터들의 하나 이상의 세트들이 시그널링되는지 여부를 표시하는 플래그 표시자를 수신하는 단계를 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 위상 파라미터들의 하나 이상의 세트들이 시그널링되는지 여부를 표시하는 플래그 표시자의 제 1 상태가 위상 파라미터들의 하나 이상의 세트가 시그널링되지 않는다는 것을 표시하고, 위상 파라미터들의 하나 이상의 세트들이 추론되어야 할 것이라는 것을 표시하는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 위상 파라미터들의 추론된 하나 이상의 세트들이, 하나 이상의 ILR 참조 픽처들의 루마 컴포넌트에 대한 수평 위상 필터들을 선택하기 위하여 이용되는 phaseX 정보가 0이고; 하나 이상의 ILR 참조 픽처들의 크로마 컴포넌트들 중의 적어도 하나에 대한 수평 위상 필터들을 선택하기 위하여 이용되는 phaseXC 정보가 0이고; 하나 이상의 ILR 참조 픽처들의 루마 컴포넌트에 대한 수직 위상 필터들을 선택하기 위하여 이용되는 phaseY 정보가 0이고; 그리고 하나 이상의 ILR 참조 픽처들의 크로마 컴포넌트들 중의 적어도 하나에 대한 수직 위상 필터들을 선택하기 위하여 이용되는 phaseYC 정보가 1인 것을 포함하는 세트인 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 기본 계층 픽처들이 인터레이스 주사되고 강화 계층 픽처들이 프로그레시브 주사되는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 기본 계층 픽처들이 인터레이싱된 필드들을 포함하고 강화 계층 픽처들이 프로그레시브 프레임들을 포함하는 것을 더 포함할 수도 있다.
또 다른 실시형태에서, 비디오 디코딩 시스템은, 비디오 픽처를 리샘플링함에 있어서의 이용을 위한 위상 파라미터들의 하나 이상의 세트들을 저장하고; 기본 계층 비디오 콘텐트 및 강화 계층 비디오 콘텐트를 포함하는 비디오 콘텐트를 수신하고; 그리고 기본 계층에서의 픽처 및 저장된 위상 파라미터들의 세트들 중의 하나 이상에 기초하여 강화 계층에서의 적어도 하나의 픽처를 예측함에 있어서의 이용을 위한 인터-계층 참조(ILR) 픽처를 조립하도록 구성된 프로세서를 포함할 수도 있다.
선행 실시형태는 프로세서가 또한, ILR 참조 픽처를 이용하여 강화 계층 픽처를 예측하도록 구성되는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 위상 파라미터들의 저장된 하나 이상의 세트들의 각각이, ILR 참조 픽처의 루마 컴포넌트에 대한 수평 위상 필터들을 선택하기 위하여 이용되는 phaseX 정보; ILR 참조 픽처의 크로마 컴포넌트들 중의 적어도 하나에 대한 수평 위상 필터들을 선택하기 위하여 이용되는 phaseXC 정보; ILR 참조 픽처의 루마 컴포넌트에 대한 수직 위상 필터들을 선택하기 위하여 이용되는 phaseY 정보; 및/또는 ILR 참조 픽처의 크로마 컴포넌트들 중의 적어도 하나에 대한 수직 위상 필터들을 선택하기 위하여 이용되는 phaseYC 정보를 포함하는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 프로세서가 또한, ILR 픽처를 조립함에 있어서 이용되어야 할 위상 파라미터들의 저장된 하나 이상의 세트들 중으로부터 위상 파라미터들의 적어도 하나의 세트를 표시하는 적어도 하나의 인덱스 표시자를 수신하도록 구성되는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은 적어도 하나의 인덱스 표시자가 슬라이스 세그먼트 헤더에서 수신되는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 프로세서가 또한, 수신된 적어도 하나의 인덱스 표시자에 의해 표시된 위상 파라미터들의 적어도 하나의 세트에 기초하여 루마 및/또는 크로마 컴포넌트들 중의 적어도 하나의 리샘플링을 위한 위상 필터들을 선택함으로써 하나 이상의 ILR 픽처들을 조립하도록 구성되는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 적어도 하나의 인덱스 표시자가 비디오 콘텐트의 슬라이스와 연관되고, 프로세서는 또한, 슬라이스와 연관된 인덱스 표시자에 따라 ILR 픽처를 조립함에 있어서의 이용을 위한 수신된 비디오 콘텐트의 기본 계층에서의 슬라이스에 대한 수평 위상 필터들 및 수직 위상 필터들 중의 적어도 하나를 조절하도록 구성되는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 프로세서가 또한, 저장되어야 할 위상 파라미터들의 하나 이상의 세트들을 시그널링을 통해 수신하도록 구성되는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 저장되어야 할 위상 파라미터들의 하나 이상의 세트들이 픽처 파라미터 세트(PPS)에서 수신되는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 프로세서가 또한, 적어도 하나의 인덱스 표시자가 시그널링되고 있는지 여부를 표시하는 플래그 표시자를 시그널링을 통해 수신하도록 구성되는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 위상 파라미터들의 하나 이상의 세트들이 시그널링되거나 추론되는지 여부를 표시하는 플래그 표시자를 수신하는 단계를 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 위상 파라미터들의 추론된 하나 이상의 세트들이, 하나 이상의 ILR 참조 픽처들의 루마 컴포넌트에 대한 수평 위상 필터들을 선택하기 위하여 이용되는 phaseX 정보가 0이고; 하나 이상의 ILR 참조 픽처들의 크로마 컴포넌트들 중의 적어도 하나에 대한 수평 위상 필터들을 선택하기 위하여 이용되는 phaseXC 정보가 0이고; 하나 이상의 ILR 참조 픽처들의 루마 컴포넌트에 대한 수직 위상 필터들을 선택하기 위하여 이용되는 phaseY 정보가 0이고; 그리고 하나 이상의 ILR 참조 픽처들의 크로마 컴포넌트들 중의 적어도 하나에 대한 수직 위상 필터들을 선택하기 위하여 이용되는 phaseYC 정보가 1인 것을 포함하는 세트인 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 기본 계층 픽처들이 인터레이스 주사되고 강화 계층 픽처들이 프로그레시브 주사되는 것을 더 포함할 수도 있다.
또 다른 실시형태에서, 비디오 인코딩 방법은 비디오 인코더에서 구현될 수도 있고, 상기 방법은, 기본 계층 비디오 콘텐트 및 강화 계층 비디오 콘텐트를 포함하는 비디오 콘텐트를 송신하는 단계; 및 기본 계층에서의 픽처 및 위상 파라미터들의 세트들 중의 하나 이상에 기초하여 강화 계층에서의 적어도 하나의 픽처를 예측하기 위한 하나 이상의 인터-계층 참조(ILR) 픽처들을 조립함에 있어서 비디오 디코더에 의한 이용을 위한 기본 계층에서의 비디오 픽처를 리샘플링함에 있어서의 이용을 위한 위상 파라미터들의 하나 이상의 세트들을 송신하는 단계를 포함한다.
선행 실시형태는, 위상 파라미터들의 하나 이상의 세트들의 각각이, ILR 참조 픽처의 루마 컴포넌트에 대한 수평 위상 필터들을 선택하기 위하여 이용되는 phaseX 정보; ILR 참조 픽처의 크로마 컴포넌트들 중의 적어도 하나에 대한 수평 위상 필터들을 선택하기 위하여 이용되는 phaseXC 정보; ILR 참조 픽처의 루마 컴포넌트에 대한 수직 위상 필터들을 선택하기 위하여 이용되는 phaseY 정보; 및/또는 ILR 참조 픽처의 크로마 컴포넌트들 중의 적어도 하나에 대한 수직 위상 필터들을 선택하기 위하여 이용되는 phaseYC 정보를 포함하는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 송신되고 있는 위상 값들의 세트들의 수를 표시하는 수 표시자를 송신하는 단계를 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, ILR 픽처를 조립함에 있어서 이용되어야 할 위상 파라미터들의 하나 이상의 세트들 중으로부터 위상 파라미터들의 적어도 하나의 세트를 표시하는 적어도 하나의 인덱스 표시자를 송신하는 단계를 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 적어도 하나의 인덱스 표시자가 슬라이스 세그먼트 헤더에서 송신되는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 위상 파라미터들의 복수의 세트들이 픽처 파라미터 세트(PPS)에서 송신되는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 적어도 하나의 인덱스 표시자가 시그널링되고 있는지 여부를 표시하는 플래그 표시자를 송신하는 단계를 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 기본 계층 픽처들이 인터레이스 주사되고 강화 계층 픽처들이 프로그레시브 주사되는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 위상 파라미터들의 하나 이상의 세트들이 시그널링되거나 추론되는지 여부를 표시하는 플래그 표시자를 송신하는 단계를 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 위상 파라미터들의 추론된 하나 이상의 세트들이, 하나 이상의 ILR 참조 픽처들의 루마 컴포넌트에 대한 수평 위상 필터들을 선택하기 위하여 이용되는 phaseX 정보가 0이고; 하나 이상의 ILR 참조 픽처들의 크로마 컴포넌트들 중의 적어도 하나에 대한 수평 위상 필터들을 선택하기 위하여 이용되는 phaseXC 정보가 0이고; 하나 이상의 ILR 참조 픽처들의 루마 컴포넌트에 대한 수직 위상 필터들을 선택하기 위하여 이용되는 phaseY 정보가 0이고; 그리고 하나 이상의 ILR 참조 픽처들의 크로마 컴포넌트들 중의 적어도 하나에 대한 수직 위상 필터들을 선택하기 위하여 이용되는 phaseYC 정보가 1인 것을 포함하는 세트인 것을 더 포함할 수도 있다.
또 다른 실시형태에서, 비디오 디코딩 시스템은, 비디오 디코더에서 비디오 픽처를 리샘플링함에 있어서의 이용을 위한 위상 파라미터들의 복수의 세트들을 송신하고; 기본 계층 및 강화 계층 - 각각의 계층은 복수의 픽처들을 포함함 - 을 포함하는 비디오 콘텐트를 송신하고; 그리고 기본 계층에서의 픽처 및 위상 파라미터들의 세트들 중의 하나 이상에 기초하여 강화 계층에서의 적어도 하나의 픽처를 예측하기 위한 하나 이상의 인터-계층 참조(ILR) 픽처들을 조립함에 있어서 비디오 디코더에 의한 이용을 위한 데이터를 송신하도록 구성된 프로세서를 포함할 수도 있다.
선행 실시형태들은, 위상 파라미터들의 하나 이상의 세트들의 각각이, ILR 참조 픽처의 루마 컴포넌트에 대한 수평 위상 필터들을 선택하기 위하여 이용되는 phaseX 정보; ILR 참조 픽처의 크로마 컴포넌트들 중의 적어도 하나에 대한 수평 위상 필터들을 선택하기 위하여 이용되는 phaseXC 정보; ILR 참조 픽처의 루마 컴포넌트에 대한 수직 위상 필터들을 선택하기 위하여 이용되는 phaseY 정보; 및/또는 ILR 참조 픽처의 크로마 컴포넌트들 중의 적어도 하나에 대한 수직 위상 필터들을 선택하기 위하여 이용되는 phaseYC 정보를 포함하는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 송신되고 있는 위상 값들의 세트들의 수를 표시하는 수 표시자를 송신하는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 프로세서가 또한, ILR 픽처를 조립함에 있어서 이용되어야 할 위상 파라미터들의 하나 이상의 세트들 중으로부터 위상 파라미터들의 적어도 하나의 세트를 표시하는 적어도 하나의 인덱스 표시자를 송신하도록 구성되는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 프로세서가 슬라이스 세그먼트 헤더에서 적어도 하나의 인덱스 표시자를 송신하도록 구성되는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 프로세서가 픽처 파라미터 세트(PPS)에서 위상 파라미터들의 복수의 세트들을 송신하도록 구성되는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 프로세서가 또한, 적어도 하나의 인덱스 표시자가 시그널링되고 있는지 여부를 표시하는 플래그 표시자를 송신하도록 구성되는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 기본 계층 픽처들이 인터레이스 주사되고 강화 계층 픽처들이 프로그레시브 주사되는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 프로세서가 또한, 위상 파라미터들의 하나 이상의 세트들이 시그널링되거나 추론되는지 여부를 표시하는 플래그 표시자를 송신하도록 구성되는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 위상 파라미터들의 추론된 하나 이상의 세트들이, 하나 이상의 ILR 참조 픽처들의 루마 컴포넌트에 대한 수평 위상 필터들을 선택하기 위하여 이용되는 phaseX 정보가 0이고; 하나 이상의 ILR 참조 픽처들의 크로마 컴포넌트들 중의 적어도 하나에 대한 수평 위상 필터들을 선택하기 위하여 이용되는 phaseXC 정보가 0이고; 하나 이상의 ILR 참조 픽처들의 루마 컴포넌트에 대한 수직 위상 필터들을 선택하기 위하여 이용되는 phaseY 정보가 0이고; 그리고 하나 이상의 ILR 참조 픽처들의 크로마 컴포넌트들 중의 적어도 하나에 대한 수직 위상 필터들을 선택하기 위하여 이용되는 phaseYC 정보가 1인 것을 포함하는 세트인 것을 더 포함할 수도 있다.
또 다른 실시형태에서, 비디오 디코딩 방법은, 디코더에 의해, 복수의 계층들 중의 제 1, 제 2, 제 3, 및 제 4 계층들을 포함하는 비디오 콘텐트를 수신하는 단계; 디코더에 의해, 복수의 위상 파라미터 세트들을 수신하는 단계; 디코더에 의해, 제 2 계층으로부터 제 1 계층을 예측하기 위하여 이용되어야 할 복수의 파라미터 세트들 중의 하나 이상의 허용가능한 위상 파라미터 세트들의 제 1 세트를 표시하는 제 1 위상 파라미터 선택 정보를 수신하는 단계; 디코더에 의해, 제 4 계층으로부터 제 3 계층을 예측하기 위하여 이용되어야 할 복수의 위상 파라미터 세트들 중의 하나 이상의 허용가능한 위상 파라미터 세트들의 제 2 세트를 표시하는 제 2 위상 파라미터 선택 정보를 수신하는 단계; 참조 계층 및 현재의 계층을 식별하는 단계 - 디코더는 참조 계층으로부터 픽처를 리샘플링함 -; 참조 계층 및 현재의 계층의 식별에 기초하여 허용가능한 위상 파라미터 세트들의 표시된 제 1 세트 또는 표시된 제 2 세트 중의 하나로부터 허용가능한 위상 파라미터 세트들의 세트를 선택하는 단계; 디코더에 의해, 인덱스 표시자를 수신하는 단계; 인덱스 표시자에 기초하여 허용가능한 위상 파라미터 세트들의 선택된 세트로부터 위상 파라미터 세트를 선택하는 단계; 선택된 위상 파라미터 세트에 기초하여 루마 및/또는 크로마 컴포넌트들 중의 임의의 것의 리샘플링을 위한 수평 위상 필터들 및 수직 위상 필터들 중의 적어도 하나를 선택하는 단계; 및 하나 이상의 인터-계층 참조(ILR) 픽처들을 조립하는 단계를 포함할 수도 있다.
선형 실시형태는, 제 1, 제 2, 제 3, 및/또는 제 4 계층들 중의 임의의 것이 동일한 계층 또는 상이한 계층들인 것을 더 포함할 수도 있다.
선행 방법들 중의 하나 이상은 열거된 액션들을 수행하도록 구성된 메모리 및/또는 프로세서를 포함하는 비디오 디코더에서 구현될 수도 있다.
또 다른 실시형태에서, 비디오 디코딩 방법은, 디코더에 의해, 비디오 콘텐트의 제 1 및 제 2 슬라이스들을 수신하는 단계 - 비디오 콘텐트의 제 1 슬라이스는 적어도 기본 계층(BL), 강화 계층(EL), 및 위상 파라미터들의 복수의 세트들 중으로부터 위상 파라미터들의 하나 이상의 세트들의 제 1 그룹을 표시하는 제 1 위상 정보를 포함하고, 비디오 콘텐트의 제 2 슬라이스는 적어도 기본 계층(BL), 강화 계층(EL), 및 위상 파라미터들의 복수의 세트들 중으로부터 위상 파라미터들의 하나 이상의 세트들의 제 2 그룹을 표시하는 제 2 위상 정보를 포함함 -; 제 1 및 제 2 슬라이스들의 각각의 개개의 슬라이스에 대하여, 비디오 콘텐트의 개개의 슬라이스 및 개개의 슬라이스와 연관된 수신된 위상 정보에 기초하여 BL을 인터-계층 참조(ILR) 픽처로 조립하는 단계; 조립된 ILR 픽처 또는 개개의 슬라이스와 연관된 EL 참조 픽처 중의 하나 또는 양자를 선택하는 단계; 및 개개의 슬라이스와 연관된 수신된 위상 정보와, 선택된 ILR 픽처 또는 개개의 슬라이스와 연관된 선택된 EL 참조 픽처 중의 하나 이상을 이용하여, 개개의 슬라이스와 연관된 EL 픽처를 예측하는 단계를 포함할 수도 있다.
선행 실시형태는, EL 픽처의 예측이, 수신된 위상 정보에 의해 표시된 phaseX 정보 및 phaseXC 정보에 기초하여 루마 및 크로마 컴포넌트들의 리샘플링을 위한 수평 위상 필터들을 선택하는 단계; 및 수신된 위상 정보에 의해 표시된 phaseY 정보 및 phaseYC 정보에 기초하여, 루마 및 크로마 컴포넌트들의 리샘플링을 위한 수직 위상 필터들을 선택하는 단계를 포함하는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, EL 픽처의 예측이, (1) 비디오 콘텐트의 제 1 슬라이스에 대한 제 1 위상 정보에 의해 표시된 phaseX 정보 및 phaseXC 정보에 기초하여 루마 및 크로마 컴포넌트들의 리샘플링을 위한 수평 위상 필터들의 제 1 세트와, (2) 비디오 콘텐트의 제 2 슬라이스에 대한 제 2 위상 정보에 의해 표시된 phaseX 정보 및 phaseXC 정보에 기초하여 루마 및 크로마 컴포넌트들의 리샘플링을 위한 수평 위상 필터들의 제 2 의 상이한 세트를 선택하는 단계; 및 (1) 비디오 콘텐트의 제 1 슬라이스에 대한 제 1 위상 정보에 의해 표시된 phaseY 정보 및 phaseYC 정보에 기초하여 루마 및 크로마 컴포넌트들의 리샘플링을 위한 수직 위상 필터들의 제 1 세트와, (2) 비디오 콘텐트의 제 2 슬라이스에 대한 제 2 위상 정보에 의해 표시된 phaseY 정보 및 phaseYC 정보에 기초하여 루마 및 크로마 컴포넌트들의 리샘플링을 위한 수직 위상 필터들의 제 2 의 상이한 세트를 선택하는 단계를 포함하는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 위상 정보가 각각의 세트에 대한 (1) phaseX 정보; (2) phaseXC 정보; (3) phaseY 정보; 및/또는 (4) phaseYC 정보 중의 임의의 것을 포함하는 위상 파라미터들의 세트들 중의 하나 이상을 포함하거나 표시하는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 위상 정보가 (1) 허용된 phaseX 정보; (2) 허용된 phaseXC 정보; (3) 허용된 phaseY 정보; 및/또는 (4) 허용된 phaseYC 정보 중의 임의의 것을 포함하는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 위상 정보가 각각이 위상 파라미터들의 인덱싱된 복수의 세트들의 위상 파라미터들의 특정한 세트를 표시하는 하나 이상의 값들을 포함하도록, 위상 파라미터들의 복수의 세트들을 인덱싱하는 단계를 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 개개의 슬라이스와 연관된 위상 정보에 따라 비디오 콘텐트의 각각의 슬라이스에 대한 수평 및 수직 위상 필터들 중의 적어도 하나를 동적으로 조절하는 단계를 더 포함할 수도 있다.
선행 방법들 중의 하나 이상은 열거된 액션들을 수행하도록 구성된 메모리 및/또는 프로세서를 포함하는 비디오 디코더에서 구현될 수도 있다.
또 다른 실시형태에서, 2 개 이상의 계층들을 이용하는 비디오 디코딩 방법은, 디코더에 의해, 비디오 콘텐트와, 위상 파라미터들의 하나 이상의 세트들을 표시하는 인덱스 정보, 및 비트스트림에서 포함되는 2 개 이상의 계층들 중의 적어도 2 개의 계층들을 표시하는 계층 정보를 수신하는 단계; 계층 정보 및 인덱스 정보를 이용하는 비디오 콘텐트에 기초하여 적어도 2 개의 계층들 중의 제 1 계층을 인터-계층 참조(ILR) 픽처로 조립하는 단계; 및 선택된 ILR 픽처, 적어도 2 개의 계층들 중의 제 2 계층, 및 계층 정보 및 인덱스 정보에 기초하여 선택된 위상 파라미터들의 하나 이상의 세트들을 이용하여 현재의 픽처를 예측하는 단계를 포함할 수도 있다.
선행 방법은 열거된 액션들을 수행하도록 구성된 메모리 및/또는 프로세서를 포함하는 비디오 디코더에서 구현될 수도 있다.
또 다른 실시형태에서, 비디오 디코딩 방법은, 디코더에 의해, 비디오 콘텐트와, 현재의 픽처를 예측하기 위하여 이용되어야 할 위상 파라미터들의 하나 이상의 허용가능한 세트들을 표시하는 위상 파라미터 선택 정보를 수신하는 단계; 위상 파라미터들의 허용된 세트들에 기초하여 하나 이상의 위상 필터들을 선택하는 단계; 및 현재의 픽처를 예측하기 위하여, 선택된 위상 필터들을 이용하여 수신된 비디오 콘텐트를 업샘플링하는 단계를 포함할 수도 있다.
선행 방법은, 수신된 정보가 위상 파라미터들의 복수의 세트들 중의 어느 것들이 업샘플링하기 위한 수평 및 수직 위상 필터들을 유도하기 위하여 허용되는지를 표시하는 쌍을 이룬 계층 정보를 포함하는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 위상 파라미터들의 허용가능한 세트들이 위상 파라미터들의 복수의 세트들의 서브세트이고; 위상 파라미터들의 허용가능한 세트들이 제 1 인덱스에 의해 표현되고; 위상 파라미터들의 복수의 세트들이 제 2 인덱스에 의해 표현되고; 그리고 파라미터 선택 정보는 제 1 인덱스를 통한 룩업(lookup)을 위한 값을 포함하고, 값은 제 2 인덱스를 통한 룩업을 위한 또 다른 값과 연관된 비트 세그먼트의 길이보다 더 작은 길이를 가지는 비트 세그먼트인 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 디코더가 테이블을 액세스하도록 구성되고, 테이블은 적어도 2 개의 인덱스들을 가지고, 테이블의 제 1 인덱스는 위상 파라미터들의 허용가능한 세트들과 연관되고, 테이블의 제 2 인덱스는 업샘플링을 위하여 이용된 계층들과 연관되고, 상기 방법은, 위상 파라미터들의 허용된 세트들로서, 제 1 및 제 2 인덱스들과 일치된 파라미터 선택 정보로부터 유도된 값들에 따라 테이블에서 저장된 위상 파라미터들의 하나 이상의 세트들을 선택하는 단계를 더 포함하고; 하나 이상의 위상 필터들의 선택은, 위상 파라미터들의 허용된 세트들에 기초하여 수신된 비디오 콘텐트의 업샘플링을 위한 수평 및/또는 수직 위상 필터들 중의 임의의 것을 선택하는 것을 포함하고; 그리고 수신된 비디오 콘텐트의 업샘플링은 선택된 수평 및/또는 수직 위상 필터들을 이용하여 수평 방향 및/또는 수직 방향 중의 임의의 것에서 수신된 비디오 콘텐트를 업샘플링하는 것을 포함하는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은 열거된 액션들을 수행하도록 구성된 메모리 및/또는 프로세서를 가지는 디코더에서 구체화될 수도 있다.
또 다른 실시형태에서, 비디오를 디코딩하는 방법은, 디코더에 의해, 현재의 계층을 포함하는 비디오 콘텐트, 현재의 계층의 하나 이상의 참조 계층들, 위상 파라미터들의 하나 이상의 세트들을 수신하는 단계; 및 하나 이상의 참조 계층들로부터의 비디오 콘텐트 및 수신된 위상 파라미터들의 하나 이상의 세트들에 기초하여 하나 이상의 인터-계층 참조(ILR) 픽처들을 조립하는 단계를 포함할 수도 있다.
선행 실시형태들은 ILR 픽처들 중의 하나 이상을 이용하여 현재의 계층 픽처를 예측하는 단계를 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 디코더에 의해, 위상 파라미터들의 하나 이상의 세트들 중으로부터 위상 파라미터들의 적어도 하나의 세트를 표시하는 인덱스 표시자를 수신하는 단계를 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 위상 파라미터들의 하나 이상의 세트들이 다음 중의 적어도 하나를 포함하는 것을 더 포함할 수도 있다: 루마 컴포넌트에 대한 수평 위상 필터들을 선택하기 위하여 이용되는 phaseX 정보; 크로마 컴포넌트들 중의 적어도 하나에 대한 수평 위상 필터들을 선택하기 위하여 이용되는 phaseXC 정보; 루마 컴포넌트에 대한 수직 위상 필터들을 선택하기 위하여 이용되는 phaseY 정보; 크로마 컴포넌트들 중의 적어도 하나에 대한 수직 위상 필터들을 선택하기 위하여 이용되는 phaseYC 정보.
선행 실시형태들 중의 하나 이상은, 인덱스 표시자가 슬라이스 세그먼트 헤더에서 시그널링되는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 하나 이상의 ILR 픽처들의 조립이 수신된 인덱스 표시자에 의해 표시된 위상 파라미터들의 적어도 하나의 세트에 기초하여 루마 및 크로마 컴포넌트들 중의 적어도 하나의 리샘플링을 위한 수평 위상 필터들 및 수직 위상 필터들 중의 적어도 하나를 선택하는 단계를 포함하는 것을 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 개개의 슬라이스와 연관된 인덱스 표시자에 따라 수신된 비디오 콘텐트에서의 적어도 하나의 슬라이스에 대한 수평 및 수직 위상 필터들 중의 적어도 하나를 조절하는 단계를 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 위상 파라미터들의 하나 이상의 세트들이 명시적으로 시그널링되는 것이 아니라, 추론되는 것이라는 것을 표시하는 플래그 표시자를 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은 열거된 액션들을 수행하도록 구성된 메모리 및/또는 프로세서를 가지는 비디오 디코더에서 구체화될 수도 있다.
또 다른 실시형태에서, 비디오 디코딩 방법은, 디코더에 의해, 현재의 계층 및 현재의 계층의 하나 이상의 참조 계층들을 포함하는 비디오 콘텐트를 수신하는 단계; 디코더에 의해, 복수의 위상 파라미터 세트들을 수신하는 단계; 디코더에 의해, 현재의 계층의 하나 이상의 참조 계층들 중의 제 1 참조 계층으로부터 현재의 계층을 예측하기 위하여 이용되어야 할, 복수 중의 하나 이상의 허용가능한 위상 파라미터 세트들을 표시하는 위상 파라미터 선택 정보를 수신하는 단계; 및 제 1 참조 계층 및 하나 이상의 허용가능한 수신된 위상 파라미터 세트들에 기초하여 하나 이상의 인터-계층 참조(ILR) 픽처들을 조립하는 단계를 포함할 수도 있다.
선행 실시형태는, 디코더에 의해, 제 1 참조 계층으로부터 현재의 계층을 예측하기 위하여 이용되어야 할 하나 이상의 허용가능한 위상 파라미터 세트들 중으로부터 적어도 하나의 위상 파라미터 세트를 표시하는 인덱스 표시자를 수신하는 단계를 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 인덱스 표시자가 현재의 계층의 슬라이스 세그먼트 헤더에서 시그널링되는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 참조 계층으로부터 현재의 계층을 예측하기 위하여 이용되어야 할 위상 파라미터들의 하나 이상의 허용가능한 세트들을 표시하는 위상 파라미터 선택 정보가, 리샘플링이 현재의 계층과 참조 계층 사이에서 필요할 경우에만 수신되는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은 열거된 액션들을 수행하도록 구성된 메모리 및/또는 프로세서를 가지는 디코더에서 구체화될 수도 있다.
또 추가의 실시형태에서, 비디오 디코딩 방법은, 디코더에 의해, 복수의 계층들을 포함하는 비디오 콘텐트를 수신하는 단계; 디코더에 의해, 복수의 위상 파라미터 세트들을 수신하는 단계; 디코더에 의해, 제 2 계층으로부터 제 1 계층을 예측하기 위하여 이용되어야 할 복수 중의 하나 이상의 허용가능한 위상 파라미터 세트들의 제 1 세트를 표시하는 제 1 위상 파라미터 선택 정보를 수신하는 단계; 디코더에 의해, 제 4 계층으로부터 제 3 계층을 예측하기 위하여 이용되어야 할 복수 중의 하나 이상의 허용가능한 위상 파라미터 세트들의 제 2 세트를 표시하는 제 2 위상 파라미터 선택 정보를 수신하는 단계; 참조 계층 및 현재의 계층을 식별하는 단계 - 디코더는 참조 계층으로부터 픽처를 리샘플링함 -; 참조 계층 및 현재의 계층의 식별에 기초하여 허용가능한 위상 파라미터 세트들의 제 1 또는 제 2 세트의 어느 하나로부터 허용가능한 위상 파라미터 세트들의 세트를 선택하는 단계; 디코더에 의해, 인덱스 표시자를 수신하는 단계; 인덱스 표시자에 기초하여 허용가능한 위상 파라미터 세트들의 세트로부터 위상 파라미터 세트를 선택하는 단계; 선택된 위상 파라미터 세트에 기초하여 루마 및 크로마 컴포넌트들 중의 적어도 하나의 리샘플링을 위한 수평 위상 필터들 및 수직 위상 필터들 중의 적어도 하나를 선택하는 단계; 및 하나 이상의 인터-계층 참조(ILR) 픽처들을 조립하는 단계를 포함할 수도 있다.
선행 실시형태는 열거된 액션들을 수행하도록 구성된 메모리 및/또는 프로세서를 가지는 디코더에서 구체화될 수도 있다.
또 하나의 추가의 실시형태에서, 열거된 액션들을 수행하도록 구성된 메모리 및 프로세서를 가지는 비디오 디코더에서 또한 구현될 수도 있는 비디오 디코딩 방법은, 디코더에 의해, 적어도 기본 계층(BL), 강화 계층(EL)과, 그리고 BL이 인터레이싱된 포맷인지 여부를 표시하는 시퀀스 표시자 및 BL과 EL 사이의 정렬을 표시하는 정렬 표시자를 포함하는 표시자 정보를 포함하는 비디오 콘텐트를 수신하는 단계; 수신된 표시자 정보에 기초하여 BL을 인터-계층 참조(ILR) 픽처로 조립하는 단계; 프로세싱된 ILR 픽처 또는 EL 참조 픽처 중의 하나 또는 양자를 선택하는 단계; 및 선택된 ILR 픽처 또는 EL 참조 픽처 중의 하나 이상을 이용하여 현재의 EL 픽처를 예측하는 단계를 포함할 수도 있다.
선행 실시형태는, ILR 픽처의 조립이 (1) 현재의 계층이 EL인 것; (2) EL이 인터-계층 샘플 예측을 위하여 BL을 이용하는 것; 및/또는 (3) BL이 적어도 하나의 코딩된 필드를 포함하는 것을 조건으로 한 표시자 정보에 기초하는 것을 더 포함할 수도 있다.
선행 실시형태는 열거된 액션들을 수행하도록 구성된 메모리 및/또는 프로세서를 가지는 디코더에서 구체화될 수도 있다.
열거된 액션들을 수행하도록 구성된 메모리 및/또는 프로세서를 가지는 비디오 코더에서 또한 구현될 수도 있는 또 다른 실시형태에서, 비디오 코딩 방법은, 비디오 신호를 수신하는 단계; 인코더에 의해 비디오 신호로부터, 기본 계층(BL) 및 강화 계층(EL)을 포함하는 적어도 2 개의 계층들을 생성하는 단계; 인코더에 의해, BL이 인터레이싱된 포맷에서 생성되는지 여부를 표시하는 시퀀스 표시자와, BL과 EL 사이의 정렬을 표시하는 정렬 표시자를, 표시자 정보로서 설정하는 단계; 및 인코더에 의해, 적어도 2 개의 계층들 및 설정된 표시자 정보를 포함하는 비디오 콘텐트를 전송하는 단계를 포함할 수도 있다.
선행 실시형태는, 표시자 정보의 설정 및 전송이 (1) 현재의 계층이 EL인 것; (2) EL이 인터-계층 샘플 예측을 위하여 BL을 이용하는 것; 및/또는 (3) BL이 적어도 하나의 코딩된 필드를 포함하는 것을 조건으로 하는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 시퀀스 표시자 정보가 비디오 파라미터 세트 내에 포함되고, 정렬 표시자가 슬라이스 세그먼트 헤더 내에 포함되는 것을 더 포함할 수도 있다.
열거된 액션들을 수행하도록 구성된 메모리 및/또는 프로세서를 가지는 비디오 디코더에서 또한 구현될 수도 있는 또 다른 실시형태에서, 비디오 디코딩 방법은, 디코더에 의해, 적어도 인터레이싱된 기본 계층(interlaced base layer; IBL), 강화 계층(EL), 및 IBL에 대한 적어도 필드 패리티 표시자를 포함하는 비디오 콘텐트를 수신하는 단계; IBL에 대한 수신된 필드 패리티 표시자에 기초하여 IBL을 업샘플링하는 단계; 업샘플링된 IBL을 이용하여 인터-계층 참조(ILR) 픽처를 생성하는 단계; 및 생성된 ILR 픽처를 이용하여 현재의 프로그레시브 EL 픽처를 예측하는 단계를 포함할 수도 있다.
선행 실시형태는, 루마 샘플들 및/또는 크로마 샘플들에 대한 ILR 픽처의 생성이, 수신된 필드 패리티가 제 1 값을 표시하는 것을 조건으로 하여, BL에서 상부 필드를 업샘플링하는 단계; 및 수신된 필드 패리티가 제 2 값을 표시하는 것을 조건으로 하여, BL에서 하부 필드를 업샘플링하는 단계를 포함하는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, BL에서의 상부 필드의 업샘플링이 수직 보간에 의해 업샘플링된 IBL의 짝수 라인들 또는 홀수 라인들의 나머지의 제 2 세트를 복사하고 유도함으로써 업샘플링된 IBL의 짝수 라인들 또는 홀수 라인들의 어느 한 라인들의 제 1 세트를 유도하는 단계를 포함하는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은 표 5 및 표 6에서의 값들에 따라 위상-8 필터를 이용하여 수직 보간을 수행하는 단계를 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, BL에서의 하부 필드의 업샘플링이 수직 보간에 의해 업샘플링된 IBL의 짝수 라인들 또는 홀수 라인들의 나머지의 제 2 세트를 복사하고 유도함으로써 업샘플링된 IBL의 짝수 라인들 또는 홀수 라인들의 어느 한 라인들의 제 1 세트를 유도하는 단계를 포함하는 것을 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은 표 5 및 표 6에서의 값들에 따라 위상-8 필터를 이용하여 수직 보간을 수행하는 단계를 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 비디오 신호의 수신이 크로마 샘플들의 로케이션들을 표시하는 크로마 로케이션 정보를 수신하는 단계를 더 포함하고; 방법은 크로마 로케이션 정보에 기초하여 크로마 업샘플링에 대한 위상 필터들을 유도하는 단계를 더 포함하는 것을 더 포함할 수도 있다.
열거된 액션들을 수행하도록 구성된 메모리 및/또는 프로세서를 가지는 비디오 디코더에서 또한 구현될 수도 있는 또 다른 실시형태에서, 비디오 디코딩 방법은, 디코더에 의해, 적어도 인터레이싱된 기본 계층(IBL) 및 강화 계층(EL)을 포함하는 비디오 콘텐트를 수신하는 단계 - IBL은 BL 프레임들을 포함하고, 각각의 BL 프레임은 상부 필드 및 대응하는 하부 필드의 세트에 의해 정의되고, 각각의 BL 프레임은 매크로 블록(MB)들이 필드 MB들로서 코딩되는 BL 프레임의 하나의 부분과, MB들이 프레임 MB들로서 코딩되는 BL 프레임의 나머지 부분을 포함함 -; 제 1 ILR 픽처의 제 1 부분을 생성하기 위하여 프레임 MB들과 연관된 BL 프레임의 픽셀들을 복사함으로써, 그리고 필드 MB들과 연관된 BL 프레임의 상부 필드의 픽셀들에 대하여, 제 1 ILR 픽처의 나머지 부분을 생성하기 위하여 수직 방향에서 2X 업샘플링을 수행함으로써, 인터레이싱된 BL을 제 1 인터-계층 참조(ILR) 픽처로 조립하는 단계; 및 제 1 ILR 픽처를 이용하여 제 1 EL 픽처를 예측하는 단계를 포함할 수도 있다.
선행 실시형태는, 제 2 ILR 픽처의 제 1 부분을 생성하기 위하여 프레임 MB들과 연관된 BL 프레임의 픽셀들을 복사함으로써, 그리고 필드 MB 들과 연관된 BL 프레임의 하부 필드의 픽셀들에 대하여, 제 2 ILR 픽처의 나머지 부분을 생성하기 위하여 수직 방향에서 2X 업샘플링을 수행함으로써, 인터레이싱된 BL을 일련의 ILR 픽처들에서의 제 2 의 연속 ILR 픽처로 추가로 조립하는 단계; 및 제 2 ILR 픽처를 이용하여 제 2 의 연속 EL 픽처를 예측하는 단계를 더 포함할 수도 있다.
열거된 액션들을 수행하도록 구성된 메모리 및/또는 프로세서를 가지는 비디오 디코더에서 또한 구현될 수도 있는 또 다른 실시형태에서, 비디오 디코딩 방법은, 디코더에 의해, 적어도 인터레이싱된 기본 계층(IBL) 및 강화 계층(EL)을 포함하는 비디오 콘텐트를 수신하는 단계 - IBL은 BL 프레임들을 포함하고, 각각의 BL 프레임은 상부 필드 및 대응하는 하부 필드의 세트를 정의하고, 각각의 BL 프레임은 모션(motion)에 기초하여 코딩된 부분들을 포함함 -; 제 1 ILR 픽처의 제 1 부분을 생성하기 위하여 모션 없는 것과 연관된 BL 프레임의 픽셀들을 복사함으로써, 그리고 모션과 연관된 BL 프레임의 상부 필드의 픽셀들에 대하여, 제 1 ILR 픽처의 나머지 부분을 생성하기 위하여 수직 방향에서 2X 업샘플링을 수행함으로써, 인터레이싱된 BL을 제 1 인터-계층 참조(ILR) 픽처로 조립하는 단계; 및 제 1 ILR 픽처를 이용하여 제 1 EL 픽처를 예측하는 단계를 포함할 수도 있다.
선행 실시형태는, 제 2 ILR 픽처의 제 1 부분을 생성하기 위하여 모션 없는 것과 연관된 BL 프레임의 픽셀들을 복사함으로써, 그리고 모션과 연관된 하부 필드의 픽셀들에 대하여, 제 2 ILR 픽처의 나머지 부분을 생성하기 위하여 수직 방향에서 2X 업샘플링을 수행함으로써, IBL을 일련의 ILR 픽처들에서의 제 2 의 연속 ILR 픽처로 추가로 조립하는 단계; 및 제 2 ILR 픽처를 이용하여 제 2 EL 픽처를 예측하는 단계를 더 포함할 수도 있다.
선행 실시형태는 인코더로부터, 모션과 연관된 BL 프레임의 픽셀들에 관한 정보를 획득하는 단계를 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 미리 결정된 기준들에 기초하여, 모션과 연관된 BL 프레임의 픽셀들에 관한 정보를 결정하는 단계를 더 포함할 수도 있다.
선행 실시형태들 중의 하나 이상은, 모션과 연관된 BL 프레임의 픽셀들에 관한 정보의 결정이, BL 프레임의 상부 필드 및 하부 필드 사이의 절대 차이의 합(Sum of Absolute Difference; SAD) 및/또는 제곱 오차의 합(Sum of Square Error; SSE) 중의 임의의 것과 문턱과의 비교를 이용하여 복수의 영역들 내의 BL 프레임의 상부 필드 및 대응하는 하부 필드 사이의 움직임의 양을 결정하는 단계를 포함하는 것을 더 포함할 수도 있다.
열거된 액션들을 수행하도록 구성된 메모리 및/또는 프로세서를 가지는 비디오 디코더에서 또한 구현될 수도 있는 또 다른 실시형태에서, 비디오 디코딩 방법은, 디코더에 의해, 적어도 인터레이싱된 기본 계층(IBL) 및 강화 계층(EL)을 포함하는 비디오 콘텐트를 수신하는 단계 - IBL은 하나 이상의 연속 상부 필드들 및 하나 이상의 연속 하부 필드들을 포함함 -; ILR 픽처를 생성하기 위하여 하나 이상의 상부 필드들 및 하나 이상의 하부 필드들을 조합함으로써, IBL을 인터-계층 참조(ILR) 픽처로 조립하는 단계; 및 생성된 ILR 픽처 및 강화 계층을 이용하여 현재의 프로그레시브 EL 픽처를 예측하는 단계를 포함할 수도 있다.
선행 실시형태는, ILR 픽처를 생성하기 위한 하나 이상의 상부 필드들 및 하나 이상의 하부 필드들의 조합이, (1) 콘텐트를 제 1 필드로부터 ILR 픽처의 짝수 라인들 또는 홀수 라인들 중의 하나로, 그리고 콘텐트를 제 2 필드로부터 ILR 픽처의 짝수 라인들 또는 홀수 라인들 중의 나머지 하나로 복사하는 것; (2) 제 1 필드로부터의 콘텐트가 평균화되거나 가중화되고, ILR 픽처의 라인들을 생성하기 위하여 제 2 필드로부터의 콘텐트와 평균화되는 것; (3) 제 1 필드로부터의 콘텐트가 모션 보상을 이용하여 제 2 필드로부터의 콘텐트와 조합되는 것; (4) 제 1 필드, 제 2 및 적어도 하나의 추가 필드로부터의 콘텐트가 ILR 픽처의 라인들을 생성하기 위하여 가중화되고 조합되는 것; 또는 (5) ILR 픽처의 라인들을 생성하기 위하여 제 1 필드에 대한 제 2 및 제 3 필드들의 모션 보상을 이용하는 것 - ILR 픽처의 각각의 구역에 대한 모션 보상된 데이터는 어느 하나 또는 하나들이 제 1 필드에서의 데이터와 더욱 양호한 정렬을 제공하는지에 따라 제 2 또는 제 3 필드들로부터 선택됨 - 중의 임의의 것을 포함하는 것을 더 포함할 수도 있다.
대표적인 네트워크 및 하드웨어 기반구조
본원에서 설명된 대표적인 시스템들 및 방법들은 유선 및 무선 네트워크들을 포함하는 모든 타입들의 통신을 수반하는 비디오 통신들을 위하여 양호하게 적합할 수도 있다. 다양한 타입들의 무선 디바이스들 및 기반구조의 개요는 도 15a 내지 도 15e에 대하여 제공되고, 여기서, 네트워크들의 다양한 엘리먼트들은 본원에서 설명된 시스템들 및 방법들을 사용할 수도 있다. 간결함을 위하여, 무선 네트워크들이 설명되지만, 당해 분야의 당업자들이 이해하는 바와 같이, 다양한 실시형태들은 그 중에서도, 유선 네트워크들, 혼합된 네트워크들(예컨대, 유선 및 무선), 및/또는 애드훅(ad hoc) 네트워크들에도 마찬가지로 동일하게 적용된다. 더욱 구체적으로, 무선 송수신 유닛(WTRU)들을 포함하는, 기지국 트랜시버(base transceiver station; BTS), 노드-B(Node-B), eNode B, 홈 노드 B(Home Node B), 홈 eNode B(Home eNode B), 사이트 제어기(site controller), 액세스 포인트(access point; AP), 무선 라우터, 미디어 인지 네트워크 엘리먼트(media aware network element; MANE)와 같은 기지국들은 코딩된 비디오 데이터를 하나의 엔티티로부터 또 다른 엔티티로 전달하기 위하여 본원에서 설명된 방법들을 사용할 수도 있다.
도 15a는 하나 이상의 개시된 실시형태들이 구현될 수도 있는 일 예의 통신 시스템(400)의 도면이다. 통신 시스템(400)은 음성, 데이터, 비디오, 메시징, 브로드캐스트 등과 같은 콘텐트를 다수의 무선 사용자들에게 제공하는 다중 액세스 시스템일 수도 있다. 통신 시스템(400)은 다수의 무선 사용자들이 무선 대역폭을 포함하는 시스템 자원들의 공유를 통해 이러한 콘텐트를 액세스하는 것을 가능하게 할 수도 있다. 예를 들어, 통신 시스템들(900)은 코드 분할 다중 액세스(code division multiple access)(CDMA), 시간 분할 다중 액세스(time division multiple access)(TDMA), 주파수 분할 다중 액세스(frequency division multiple access)(FDMA), 직교 FDMA(orthogonal FDMA)(OFDMA), 단일-캐리어 FDMA(single-carrier FDMA)(SC-FDMA) 등등과 같은 하나 이상의 채널 액세스 방법들을 채용할 수도 있다.
도 15a 에서 도시된 바와 같이, 개시된 실시형태들은 임의의 수의 WTRU들, 기지국(base station)들, 네트워크들, 및/또는 네트워크 엘리먼트들을 구상한다는 것이 인식될 것이지만, 통신 시스템(400)은 무선 송수신 유닛(WTRU)들(402a, 402b, 402c, 402d), 라디오 액세스 네트워크(a radio access network; RAN)(404), 코어 네트워크(core network; 406), 공중 교환 전화 네트워크(public switched telephone network; PSTN)(408), 인터넷(410), 및 다른 네트워크들(412)을 포함할 수도 있다. WTRU들(402a, 402b, 402c, 402d)의 각각은 무선 환경에서 동작하고 및/또는 통신하도록 구성된 임의의 타입의 디바이스일 수도 있다. 예로서, WTRU들(402a, 402b, 402c, 402d)은 무선 신호들을 송신 및/또는 수신하도록 구성될 수도 있고, 사용자 장비(user equipment; UE), 이동국(mobile station), 고정 또는 이동 가입자 유닛, 페이저(pager), 셀룰러 전화, 개인 정보 단말(personal digital assistant; PDA), 스마트폰, 랩톱, 넷북, 개인용 컴퓨터, 무선 센서, 소비자 가전, 또는 압축된 비디오 통신신호들을 수신하고 프로세싱할 수 있는 임의의 다른 단말을 포함할 수도 있다.
통신 시스템들(400)은 기지국(414a) 및 기지국(414b)을 또한 포함할 수도 있다. 기지국들(414a, 414b)의 각각은 코어 네트워크(406), 인터넷(410), 및/또는 네트워크들(412)과 같은 하나 이상의 통신 네트워크들에 대한 액세스를 용이하게 하기 위하여 WTRU들(402a, 402b, 402c, 402d) 중의 적어도 하나와 무선으로 인터페이싱하도록 구성된 임의의 타입의 디바이스일 수도 있다. 예로서, 기지국들(414a, 414b)은 기지국 트랜시버(base transceiver station; BTS), 노드-B, 이노드 B(eNode B), 홈 노드(Home Node) B, 홈 이노드 B, 사이트 제어기(site controller), 액세스 포인트(access point; AP), 무선 라우터(wireless router), 등일 수도 있다. 기지국들(414a, 414b)은 단일 엘리먼트로서 각각 도시되어 있지만, 기지국들(414a, 414b)은 임의의 수의 상호접속된 기지국들 및/또는 네트워크 엘리먼트들을 포함할 수도 있다는 것이 인식될 것이다.
기지국(414a)은 기지국 제어기(base station controller; BSC), 라디오 네트워크 제어기(radio network controller; RNC), 중계 노드(relay node)들 등과 같이, 다른 기지국들 및/또는 네트워크 엘리먼트들(도시되지 않음)을 또한 포함할 수도 있는 RAN(404)의 일부일 수도 있다. 기지국(414a) 및/또는 기지국(414b)은, 셀(도시되지 않음)로서 지칭될 수도 있는 특별한 지리적 영역 내에서 무선 신호들을 송신 및/또는 수신하도록 구성될 수도 있다. 셀은 셀 섹터(cell sector)들로 추가로 분할될 수도 있다. 예를 들어, 기지국(414a)과 연관된 셀은 3 개의 섹터들로 분할될 수도 있다. 따라서, 하나의 실시형태에서, 기지국(414a)은 3 개의 트랜시버들, 즉, 셀의 각각의 섹터에 대해 하나를 포함할 수도 있다. 또 다른 실시형태에서, 기지국(414a)은 다중 입력 다중 출력(multiple input multiple output; MIMO) 기술을 채용할 수도 있고, 그러므로, 셀의 각각의 섹터에 대해 다중 트랜시버들을 사용할 수도 있다.
기지국들(414a, 414b)은, 임의의 적당한 무선 통신 링크(예컨대, 라디오 주파수(radio frequency; RF), 마이크로파, 적외선(infrared; IR), 자외선(ultraviolet: UV), 가시광(visible light), 등)일 수도 있는 에어 인터페이스(416)를 통해 WTRU들(402a, 402b, 402c, 402d) 중의 하나 이상과 통신할 수도 있다. 에어 인터페이스(416)는 임의의 적당한 라디오 액세스 기술(radio access technology; RAT)을 이용하여 확립될 수도 있다.
더욱 구체적으로, 위에서 언급된 바와 같이, 통신 시스템(400)은 다중 액세스 시스템일 수도 있고, CDMA, TDMA, FDMA, OFDMA, SC-FDMA 등과 같은 하나 이상의 채널 액세스 방식들을 채용할 수도 있다. 예를 들어, RAN(404)에서의 기지국(414a) 및 WTRU들(402a, 402b, 402c)은, 광대역 CDMA(wideband CDMA; WCDMA)를 이용하여 에어 인터페이스(416)를 확립할 수도 있는, 유니버셜 이동 통신 시스템(Universal Mobile Telecommunications System; UMTS) 지상 라디오 액세스(UMTS Terrestrial Radio Access; UTRA)와 같은 라디오 기술을 구현할 수도 있다. WCDMA는 고속 패킷 액세스(High-Speed Packet Access; HSPA) 및/또는 진화형 HSPA(Evolved HSPA; HSPA+)와 같은 통신 프로토콜들을 포함할 수도 있다. HSPA는 고속 다운링크 패킷 액세스(High-Speed Downlink Packet Access; HSDPA) 및/또는 고속 업링크 패킷 액세스(High-Speed Uplink Packet Access; HSUPA)를 포함할 수도 있다.
또 다른 실시형태에서, 기지국(414a) 및 WTRU들(402a, 402b, 402c)은, 롱텀 에볼루션(Long Term Evolution; LTE) 및/또는 LTE-어드밴스드(LTE- Advanced; LTE-A)를 이용하여 에어 인터페이스(416)를 확립할 수도 있는, 진화형 UMTS 지상 라디오 액세스(E-UTRA)와 같은 라디오 기술을 구현할 수도 있다.
다른 실시형태들에서, 기지국(414a) 및 WTRU들(402a, 402b, 402c)은 IEEE 802.16(즉, WiMAX(Worldwide Interoperability for Microwave Access)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, 잠정 표준 2000(Interim Standard 2000; IS-2000), 잠정 표준 45(IS-95), 잠정 표준 856(IS-856), 이동 통신을 위한 글로벌 시스템(Global System for Mobile communications; GSM), GSM 진화를 위한 개량된 데이터 레이트들(Enhanced Data rates for GSM Evolution; EDGE), GSM EDGE(GERAN), 등과 같은 라디오 기술들을 구현할 수도 있다.
도 15a에서의 기지국(414b)은 예를 들어, 무선 라우터, 홈 노드 B, 홈 이노드 B, 또는 액세스 포인트일 수도 있고, 업무의 장소, 집, 차량, 캠퍼스, 등과 같은 국소화된 지역에서 무선 접속성(wireless connectivity)을 용이하게 하기 위한 임의의 적당한 RAT를 사용할 수도 있다. 하나의 실시형태에서, 기지국(414b) 및 WTRU들(402c, 402d)은 무선 로컬 영역 네트워크(wireless local area network; WLAN)를 확립하기 위하여 IEEE 802.11과 같은 라디오 기술을 구현할 수도 있다. 또 다른 실시형태에서, 기지국(414b) 및 WTRU들(402c, 402d)은 무선 개인 영역 네트워크(wireless personal area network; WPAN)를 확립하기 위하여 IEEE 802.15와 같은 라디오 기술을 구현할 수도 있다. 또 다른 실시형태에서, 기지국(414b) 및 WTRU들(402c, 402d)은 피코셀(picocell) 또는 펨토셀(femtocell)을 확립하기 위하여 셀룰러-기반 RAT(예컨대, WCDMA, CDMA2000, GSM, LTE, LTE-A 등)를 사용할 수도 있다. 도 15a에서 도시된 바와 같이, 기지국(414b)은 인터넷(410)에 대한 직접 접속을 가질 수도 있다. 따라서, 기지국(414b)은 코어 네트워크(406)를 통해 인터넷(410)을 액세스하도록 요구받지 않을 수도 있다.
RAN(404)은, 음성, 데이터, 애플리케이션들, 및/또는 보이스 오버 인터넷 프로토콜(VoIP) 서비스들을 WTRU들(402a, 402b, 402c, 402d) 중의 하나 이상에 제공하도록 구성된 임의의 타입의 네트워크일 수도 있는 코어 네트워크(406)와 통신하고 있을 수도 있다. 예를 들어, 코어 네트워크(406)는 호출 제어, 청구 서비스들, 이동 위치-기반 서비스들, 선불 통화(pre-paid calling), 인터넷 접속성, 비디오 분배, 등을 제공할 수도 있고, 및/또는 사용자 인증(user authentication)과 같은 하이-레벨 보안 기능들을 수행할 수도 있다. 도 15a 에서 도시되지 않았지만, RAN(404) 및/또는 코어 네트워크(406)는 RAN(404)과 동일한 RAT 또는 상이한 RAT를 채용하는 다른 RAN들과 직접 또는 간접 통신하고 있을 수도 있다는 것이 인식될 것이다. 예를 들어, E-UTRA 라디오 기술을 사용하고 있을 수도 있는 RAN(404)에 접속되는 것에 추가하여, 코어 네트워크(406)는 또한, GSM 라디오 기술을 채용하는 또 다른 RAN(도시되지 않음)과 통신하고 있을 수도 있다.
코어 네트워크(406)는 또한, PSTN(408), 인터넷(410), 및/또는 다른 네트워크들(412)을 액세스하기 위하여 WTRU들(402a, 402b, 402c, 402d)을 위한 게이트웨이로서 서빙할 수도 있다. PSTN(408)은 기존 전화 서비스(plain old telephone service; POTS)를 제공하는 회선-교환 전화 네트워크(circuit-switched telephone network)들을 포함할 수도 있다. 인터넷(410)은 송신 제어 프로토콜(transmission control protocol; TCP), 사용자 데이터그램 프로토콜(user datagram protocol; UDP) 및 TCP/IP 인터넷 프로토콜 묶음에서의 인터넷 프로토콜(internet protocol; IP)과 같은 공통적인 통신 프로토콜들을 이용하는 상호접속된 컴퓨터 네트워크 및 디바이스들의 글로벌 시스템을 포함할 수도 있다. 네트워크들(412)은 다른 서비스 제공자들에 의해 소유 및/또는 운영되는 유선 또는 무선 통신 네트워크들을 포함할 수도 있다. 예를 들어, 네트워크들(412)은, RAN(404)과 동일한 RAT 또는 상이한 RAT를 채용할 수도 있는, 하나 이상의 RAN들에 접속된 또 다른 코어 네트워크를 포함할 수도 있다.
통신 시스템(400)에서의 WTRU들(402a, 402b, 402c, 402d)의 일부 또는 전부는 멀티-모드 능력들을 포함할 수도 있으며, 즉, WTRU들(402a, 402b, 402c, 402d)은 상이한 무선 링크들을 통해 상이한 무선 네트워크들과 통신하기 위한 다중 트랜시버들을 포함할 수도 있다. 예를 들어, 도 15a에서 도시된 WTRU(402c)는, 셀룰러-기반 라디오 기술을 채용할 수도 있는 기지국(414a)과, 그리고 IEEE 802 라디오 기술을 채용할 수도 있는 기지국(414b)과 통신하도록 구성될 수도 있다.
도 15b는 일 예의 WTRU(402)의 시스템 도면이다. 도 15b 에서 도시된 바와 같이, WTRU(402)는 프로세서(418), 트랜시버(420), 송수신 엘리먼트(transmit/receive element; 422), 스피커/마이크로폰(424), 키패드(426), 디스플레이/터치패드(428), 비-분리가능 메모리(430), 분리가능 메모리(432), 전원(434), 글로벌 위치확인 시스템(global positioning system; GPS) 칩셋(436), 및 다른 주변기기들(438)을 포함할 수도 있다. WTRU(402)는 실시형태와의 일관성을 유지하면서 상기한 엘리먼트들의 임의의 하위-조합을 포함할 수도 있다는 것이 인식될 것이다.
프로세서(418)는 범용 프로세서, 특수 목적 프로세서, 기존의 프로세서, 디지털 신호 프로세서(digital signal processor)(DSP), 그래픽 프로세싱 유닛(graphics processing unit; GPU), 복수의 마이크로프로세서들, DSP 코어와 연관된 하나 이상의 마이크로프로세서들, 제어기, 마이크로제어기, 애플리케이션 특정 집적 회로(Application Specific Integrated Circuit)(ASIC)들, 필드 프로그래밍가능 게이트 어레이(Field Programmable Gate Array)(FPGA) 회로들, 임의의 다른 타입의 집적 회로(integrated circuit)(IC), 상태 머신(state machine) 등등일 수도 있다. 프로세서(418)는 신호 코딩, 데이터 프로세싱, 전력 제어, 입력/출력 프로세싱, 및/또는 WTRU(402)가 무선 환경에서 동작하는 것을 가능하게 하는 임의의 다른 기능성을 수행할 수도 있다. 프로세서(418)는 송수신 엘리먼트(422)에 결합될 수도 있는 트랜시버(420)에 결합될 수도 있다. 도 15b는 프로세서(418) 및 트랜시버(420)를 별도의 컴포넌트들로서 도시하고 있지만, 프로세서(418) 및 트랜시버(420)는 전자 패키지 또는 칩 내에 함께 집적될 수도 있다는 것이 인식될 것이다.
송수신 엘리먼트(422)는 에어 인터페이스(416)를 통해 신호들을 기지국(예컨대, 기지국(414a))으로 송신하거나 기지국으로부터 신호들을 수신하도록 구성될 수도 있다. 예를 들어, 하나의 실시형태에서, 송수신 엘리먼트(422)는 RF 신호들을 송신 및/또는 수신하도록 구성된 안테나일 수도 있다. 또 다른 실시형태에서, 송수신 엘리먼트(422)는 예를 들어, IR, UV, 또는 가시광 신호들을 송신 및/또는 수신하도록 구성된 에미터/검출기(emitter/detector)일 수도 있다. 또 다른 실시형태에서, 송신/수신 엘리먼트(422)는 RF 및 광 신호들 양자를 송신 및 수신하도록 구성될 수도 있다. 송신/수신 엘리먼트(422)는 무선 신호들의 임의의 조합을 송신 및/또는 수신하도록 구성될 수도 있다는 것이 인식될 것이다.
추가적으로, 송수신 엘리먼트(422)는 도 15b에서 단일 엘리먼트로서 도시되어 있지만, WTRU(402)는 임의의 수의 송수신 엘리먼트들(422)을 포함할 수도 있다. 더욱 구체적으로, WTRU(402)는 MIMO 기술을 채용할 수도 있다. 따라서, 하나의 실시형태에서, WTRU(402)는 에어 인터페이스(416)를 통해 무선 신호들을 송신 및 수신하기 위한 2 개 이상의 송수신 엘리먼트들(422)(예컨대, 다중 안테나들)을 포함할 수도 있다.
트랜시버(420)는 송수신 엘리먼트(422)에 의해 송신되어야 하는 신호들을 변조하도록, 그리고 송수신 엘리먼트(422)에 의해 수신되는 신호들을 복조하도록 구성될 수도 있다. 위에서 언급된 바와 같이, WTRU(402)는 멀티-모드 기능들을 가질 수도 있다. 따라서, 트랜시버(420)는 WTRU(402)가 예를 들어, UTRA 및 IEEE 802.11과 같은 다중 RAT들을 통해 통신하는 것을 가능하게 하기 위한 다중 트랜시버들을 포함할 수도 있다.
WTRU(402)의 프로세서(418)는 스피커/마이크로폰(424), 키패드(426), 및/또는 디스플레이/터치패드(428)(예를 들어, 액정 디스플레이(LCD) 디스플레이 유닛 또는 유기 발광 다이오드(organic light-emitting diode; OLED) 디스플레이 유닛)와 결합될 수도 있고 이로부터 사용자 입력 데이터를 수신할 수도 있다. 프로세서(418)는 또한, 사용자 데이터를 스피커/마이크로폰(424), 키패드(426), 및/또는 디스플레이/터치패드(428)로 출력할 수도 있다. 게다가, 프로세서(418)는 비-분리가능 메모리(430) 및/또는 분리가능 메모리(432)와 같은 임의의 타입의 적당한 메모리로부터 정보를 액세스할 수도 있고, 이 메모리에 데이터를 저장할 수도 있다. 비-분리가능 메모리(430)는 랜덤-액세스 메모리(random-access memory)(RAM), 판독전용 메모리(read-only memory)(ROM), 하드 디스크, 또는 임의의 다른 타입의 메모리 저장 디바이스를 포함할 수도 있다. 분리가능 메모리(432)는 가입자 식별 모듈(subscriber identity module)(SIM) 카드, 메모리 스틱, 보안 디지털(secure digital)(SD) 메모리 카드 등등을 포함할 수도 있다. 다른 실시형태들에서, 프로세서(418)는 서버 또는 홈 컴퓨터(도시되지 않음) 상에서와 같이, WTRU(402) 상에 물리적으로 위치되지 않은 메모리로부터 정보를 액세스할 수도 있고, 이 메모리에 데이터를 저장할 수도 있다.
프로세서(418)는 전원(434)으로부터 전력을 수신할 수도 있고, 전력을 WTRU(402)에서의 다른 컴포넌트들로 분배 및/또는 제어하도록 구성될 수도 있다. 전원(434)은 WTRU(402)에 급전하기 위한 임의의 적당한 디바이스일 수도 있다. 예를 들어, 전원(434)은 하나 이상의 건전지 배터리들(예컨대, 니켈-카드뮴(nickel-cadmium)(NiCd), 니켈-아연(nickel-zinc)(NiZn), 니켈 금속 수소화물(nickel metal hydride)(NiMH), 리튬-이온(lithium-ion)(Li-ion) 등), 태양 전지(solar cell)들, 연료 전지들 등등을 포함할 수도 있다.
프로세서(418)는 또한, WTRU(402)의 현재의 위치에 관한 위치 정보(예컨대, 경도 및 위도)를 제공하도록 구성될 수도 있는 GPS 칩셋(436)에 결합될 수도 있다. GPS 칩셋(436)으로부터의 정보에 추가적으로 또는 이에 대신하여, WTRU(402)는 에어 인터페이스(416)를 통해 기지국(예컨대, 기지국들(414a, 414b))으로부터 위치 정보를 수신할 수도 있고, 및/또는 2 개 이상의 근접 기지국들로부터 수신되고 있는 신호들의 타이밍에 기초하여 그 위치를 결정할 수도 있다. WTRU(402)는 실시형태와의 일관성을 유지하면서 임의의 적당한 위치-결정 방법을 통해 위치 정보를 취득할 수도 있다는 것이 인식될 것이다.
프로세서(418)는, 추가적인 특징들, 기능성 및/또는 유선 또는 무선 접속성을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈들을 포함할 수도 있는 다른 주변기기들(438)에 추가로 결합될 수도 있다. 예를 들어, 주변기기들(438)은 가속도계, 전자-나침판(e-compass), 위성 트랜시버, (사진들 또는 비디오를 위한) 디지털 카메라, 유니버셜 직렬 버스(universal serial bus)(USB) 포트, 진동 디바이스, 텔리비전 트랜시버, 핸즈 프리(hands free) 헤드셋, Bluetooth® 모듈, 주파수 변조된(FM) 라디오 유닛, 디지털 음악 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저(internet browser) 등등을 포함할 수도 있다.
도 15c는 실시형태에 따른 RAN(404) 및 코어 네트워크(406)의 시스템 도면이다. 위에서 언급된 바와 같이, RAN(404)은 에어 인터페이스(416)를 통해 WTRU들(402a, 402b, 402c)과 통신하기 위하여 UTRA 라디오 기술을 채용할 수도 있다. RAN(404)은 또한 코어 네트워크(406)와 통신하고 있을 수도 있다. 도 15c에서 도시된 바와 같이, RAN(404)은, 에어 인터페이스(416)를 통해 WTRU들(402a, 402b, 402c)과 통신하기 위한 하나 이상의 트랜시버들을 각각 포함할 수도 있는 노드-B들(440a, 440b, 440c)을 포함할 수도 있다. 노드-B들(440a, 440b, 440c)은 RAN(404) 내의 특별한 셀(도시되지 않음)과 각각 연관될 수도 있다. RAN(404)은 RNC들(442a, 442b)을 또한 포함할 수도 있다. RAN(404)은 실시형태와의 일관성을 유지하면서 임의의 수의 노드-B들 및 RNC들을 포함할 수도 있다는 것이 인식될 것이다.
도 15c에서 도시된 바와 같이, 노드-B들(440a, 440b)은 RNC(442a)와 통신하고 있을 수도 있다. 추가적으로, 노드-B(440c)는 RNC(442b)와 통신하고 있을 수도 있다. 노드-B들(440a, 440b, 440c)은 Iub 인터페이스를 통해 개개의 RNC들(442a, 442b)과 통신할 수도 있다. RNC들(442a, 442b)은 Iur 인터페이스를 통해 서로 통신하고 있을 수도 있다. RNC들(442a, 442b)의 각각은 그것이 접속되는 각각의 노드-B들(440a, 440b, 440c)을 제어하도록 구성될 수도 있다. 게다가, RNC들(442a, 442b)의 각각은 외부 루프 전력 제어, 부하 제어, 수락 제어(admission control), 패킷 스케줄링, 핸드오버 제어, 매크로다이버시티(macrodiversity), 보안 기능들, 데이터 암호화, 등과 같은 다른 기능성을 수행하거나 지원하도록 구성될 수도 있다.
도 15c에서 도시된 코어 네트워크(406)는 미디어 게이트웨이(media gateway; MGW)(444), 이동 스위칭 센터(mobile switching center; MSC)(446), 서빙 GPRS 지원 노드(serving GPRS support node; SGSN)(448), 및/또는 게이트웨이 GPRS 지원 노드(gateway GPRS support node; GGSN)(450)를 포함할 수도 있다. 상기한 엘리먼트들의 각각은 코어 네트워크(406)의 부분으로서 도시되어 있지만, 이 엘리먼트들 중의 임의의 하나는 코어 네트워크 운영자 이외의 엔티티에 의해 소유 및/또는 운영될 수도 있다는 것이 인식될 것이다.
RAN(404)에서의 RNC(442a)는 luCS 인터페이스를 통해 코어 네트워크(406)에서의 MSC(446)에 접속될 수도 있다. MSC(446)는 MGW(444)에 접속될 수도 있다. MSC(446) 및 MGW(444)는 WTRU들(402a, 402b, 402c) 및 전통적인 지상-라인(land-line) 통신 디바이스들 사이의 통신들을 용이하게 하기 위하여, PSTN(408)과 같은 회선-교환 네트워크들에 대한 액세스를 WTRU들(402a, 402b, 402c)에 제공할 수도 있다.
RAN(404)에서의 RNC(442a)는 또한, IuPS 인터페이스를 통해 코어 네트워크(406)에서의 SGSN(448)에 접속될 수도 있다. SGSN(448)은 GGSN(450)에 접속될 수도 있다. SGSN(448) 및 GGSN(450)은 WTRU들(402a, 402b, 402c) 및 IP-인에이블형 디바이스들 사이의 통신들을 용이하게 하기 위하여, 인터넷(410)과 같은 패킷-교환 네트워크들에 대한 액세스를 WTRU들(402a, 402b, 402c)에 제공할 수도 있다.
위에서 언급된 바와 같이, 코어 네트워크(406)는 또한, 다른 서비스 제공자들에 의해 소유 및/또는 운영되는 다른 유선 또는 무선 네트워크들을 포함할 수도 있는 네트워크들(412)에 접속될 수도 있다.
도 15d는 또 다른 실시형태에 따른 RAN(404) 및 코어 네트워크(406)의 시스템 도면이다. 위에서 언급된 바와 같이, RAN(404)은 에어 인터페이스(416)를 통해 WTRU들(402a, 402b, 402c)과 통신하기 위하여 E-UTRA 라디오 기술을 채용할 수도 있다. RAN(404)은 또한 코어 네트워크(406)와 통신하고 있을 수도 있다.
RAN(404)은 실시형태와의 일관성을 유지하면서 임의의 수의 eNode-B들을 포함할 수도 있다는 것이 인식될 것이지만, RAN(404)은 eNode-B들(460a, 460b, 460c)을 포함할 수도 있다. eNode-B들(460a, 460b, 460c)은 에어 인터페이스(416)를 통해 WTRU들(402a, 402b, 402c)과 통신하기 위한 하나 이상의 트랜시버들을 각각 포함할 수도 있다. 하나의 실시형태에서, eNode-B들(460a, 460b, 460c)은 MIMO 기술을 구현할 수도 있다. 따라서, eNode-B(460a)는 예를 들어, 무선 신호들을 WTRU(402a)로 송신하기 위하여, 그리고 WTRU(402a)로부터 무선 신호들을 수신하기 위하여 다중 안테나들을 이용할 수도 있다.
eNode-B들(460a, 460b, 460c)의 각각은 특별한 셀(도시되지 않음)과 연관될 수도 있고, 라디오 자원 관리 판정들, 핸드오버 판정들, 업링크 및/또는 다운링크에서의 사용자들의 스케줄링, 등을 처리하도록 구성될 수도 있다. 도 15d에서 도시된 바와 같이, eNode-B들(460a, 460b, 460c)은 X2 인터페이스를 통해 서로 통신할 수도 있다.
도 15d에서 도시된 코어 네트워크(406)는 이동성 관리 게이트웨이(mobility management gateway; MME)(462), 서빙 게이트웨이(serving gateway)(464), 및 패킷 데이터 네트워크(packet data network; PDN) 게이트웨이(466)를 포함할 수도 있다. 상기한 엘리먼트들의 각각은 코어 네트워크(406)의 부분으로서 도시되어 있지만, 이 엘리먼트들 중의 임의의 하나는 코어 네트워크 운영자 이외의 엔티티에 의해 소유 및/또는 운영될 수도 있다는 것이 인식될 것이다.
MME(462)는 S1 인터페이스를 통해 RAN(404)에서의 eNode-B들(460a, 460b, 460)의 각각에 접속될 수도 있고, 제어 노드로서 서빙할 수도 있다. 예를 들어, MME(462)는 WTRU들(402a, 402b, 402c)의 사용자들을 인증하는 것, 베어러 활성화/비활성화, WTRU들(402a, 402b, 402c)의 초기 연결 동안에 특별한 서빙 게이트웨이를 선택하는 것, 등을 담당할 수도 있다. MME(462)는 또한, RAN(404)과, GSM 또는 WCDMA와 같은 다른 라디오 기술들을 채용하는 다른 RAN들(도시되지 않음)과의 사이에서 스위칭하기 위한 제어 평면 기능을 제공할 수도 있다.
서빙 게이트웨이(464)는 S1 인터페이스를 통해 RAN(404)에서의 eNode-B들(460a, 460b, 460c)의 각각에 접속될 수도 있다. 서빙 게이트웨이(464)는 일반적으로 WTRU들(402a, 402b, 402c)로/로부터 사용자 데이터 패킷들을 라우팅 및 포워딩할 수도 있다. 서빙 게이트웨이(464)는 또한, 인터-이노드 B(inter-eNode B) 핸드오버들 동안에 사용자 평면들을 앵커링(anchoring) 하는 것, 다운링크 데이터가 WTRU들(402a, 402b, 402c)에 대해 이용가능할 때에 페이징을 트리거링하는 것, WTRU들(402a, 402b, 402c)의 컨텍스트(context)들을 관리 및 저장하는 것, 등과 같은 다른 기능들을 수행할 수도 있다.
서빙 게이트웨이(464)는 또한, WTRU들(402a, 402b, 402c) 및 IP-인에이블형 디바이스들 사이의 통신들을 용이하게 하기 위하여, 인터넷(410)과 같은 패킷-교환 네트워크들에 대한 액세스를 WTRU들(402a, 402b, 402c)에 제공할 수도 있는 PDN 게이트웨이(466)에 접속될 수도 있다.
코어 네트워크(406)는 다른 네트워크들과의 통신들을 용이하게 할 수도 있다. 예를 들어, 코어 네트워크(406)는 WTRU들(402a, 402b, 402c) 및 전통적인 지상-라인 통신 디바이스들 사이의 통신들을 용이하게 하기 위하여 PSTN(408)과 같은 회선-교환 네트워크들에 대한 액세스를 WTRU들(402a, 402b, 402c)에 제공할 수도 있다. 예를 들어, 코어 네트워크(406)는, 코어 네트워크(406) 및 PSTN(408) 사이의 인터페이스로서 서빙하는 IP 게이트웨이(예컨대, IP 멀티미디어 서브시스템(IP multimedia subsystem; IMS) 서버)를 포함할 수도 있거나, 이 IP 게이트웨이와 통신할 수도 있다. 게다가, 코어 네트워크(406)는, 다른 서비스 제공자들에 의해 소유 및/또는 운영되는 다른 유선 또는 무선 네트워크들을 포함할 수도 있는 네트워크들(412)에 대한 액세스를 WTRU들(402a, 402b, 402c)에 제공할 수도 있다.
도 15e는 또 다른 실시형태에 따른 RAN(404) 및 코어 네트워크(406)의 시스템 도면이다. RAN(404)은 에어 인터페이스(416)를 통해 WTRU들(402a, 402b, 및 402c)과 통신하기 위하여 IEEE 802.16 라디오 기술을 채용하는 액세스 서비스 네트워크(access service network; ASN)일 수도 있다. 이하에서 추가로 논의되는 바와 같이, WTRU들(402a, 402b, 402c), RAN(404), 및 코어 네트워크(406)의 상이한 기능적 엔티티들 사이의 통신 링크들은 참조 포인트(reference point)로서 정의될 수도 있다.
도 15e에서 도시된 바와 같이, RAN(404)은 실시형태와의 일관성을 유지하면서 임의의 수의 기지국들 및 ASN 게이트웨이들을 포함할 수도 있는 것이 인식될 것이지만, RAN(404)은 기지국들(470a, 470b, 470c) 및 ASN 게이트웨이(472)를 포함할 수도 있다. 기지국들(470a, 470b, 470c)은 RAN(404)에서 특정한 셀(도시되지 않음)과 각각 연관될 수도 있고, 에어 인터페이스(416)를 통해 WTRU들(402a, 402b, 402c)과 통신하기 위한 하나 이상의 트랜시버들을 각각 포함할 수도 있다. 하나의 실시형태에서, 기지국들(470a, 470b, 470c)은 MIMO 기술을 구현할 수도 있다. 따라서, 기지국(470a)은 예를 들어, 무선 신호들을 WTRU(402a)로 송신하기 위하여, 그리고 WTRU(402a)로부터 무선 신호들을 수신하기 위하여 다중 안테나들을 이용할 수도 있다. 기지국들(470a, 470b, 470c)은 또한, 핸드오프 트리거링, 터널 확립, 라디오 자원 관리, 트래픽 분류, 서비스 품질(quality of service; QoS) 정책 집행 등과 같은 이동성 관리 기능들을 제공할 수도 있다. ASN 게이트웨이(472)는 트래픽 집합 포인트(traffic aggregation point)로서 서빙할 수도 있고, 페이징, 가입자 프로파일들의 캐싱(caching), 코어 네트워크(406)로의 라우팅 등을 담당할 수도 있다.
WTRU들(402a, 402b, 402c)과 RAN(404) 사이의 에어 인터페이스(416)는 IEEE 802.16 사양을 구현하는 R1 참조 포인트로서 정의될 수도 있다. 게다가, WTRU들(402a, 402b, 402c)의 각각은 코어 네트워크(406)와의 논리적 인터페이스(도시되지 않음)를 확립할 수도 있다. WTRU들(402a, 402b, 402c)과 코어 네트워크(406) 사이의 논리적 인터페이스는, 인증, 허가, IP 호스트 구성 관리, 및/또는 이동성 관리를 위해 이용될 수도 있는 R2 참조 포인트로서 정의될 수도 있다.
기지국들(470a, 470b, 470c)의 각각 사이의 통신 링크는, 기지국들 사이의 WTRU 핸드오버들 및 데이터의 전송을 용이하게 하기 위한 프로토콜들을 포함하는 R8 참조 포인트로서 정의될 수도 있다. 기지국들(470a, 470b, 470c) 및 ASN 게이트웨이(472) 사이의 통신 링크는 R6 참조 포인트로서 정의될 수도 있다. R6 참조 포인트는 WTRU들(402a, 402b, 402c)의 각각과 연관된 이동성 이벤트들에 기초하여 이동성 관리를 용이하게 하기 위한 프로토콜들을 포함할 수도 있다.
도 15e에서 도시된 바와 같이, RAN(404)은 코어 네트워크(406)에 접속될 수도 있다. RAN(104)과 코어 네트워크(406) 사이의 통신 링크는 예를 들어, 데이터 전송 및 이동성 관리 기능들을 용이하게 하기 위한 프로토콜들을 포함하는 R3 참조 포인트로서 정의될 수도 있다. 코어 네트워크(406)는 이동 IP 홈 에이전트(mobile IP home agent; MIP-HA)(474), 인증, 허가, 과금(authentication, authorization, accounting; AAA) 서버(476), 및 게이트웨이(478)를 포함할 수도 있다. 상기한 엘리먼트들의 각각은 코어 네트워크(406)의 부분으로서 도시되어 있지만, 이 엘리먼트들 중의 임의의 하나는 코어 네트워크 운영자 이외의 엔티티에 의해 소유 및/또는 운영될 수도 있다는 것이 인식될 것이다.
MIP-HA(474)는 IP 어드레스 관리를 담당할 수도 있고, WTRU들(402a, 402b, 402c)이 상이한 ASN들 및/또는 상이한 코어 네트워크들 사이에서 로밍하는 것을 가능하게 할 수도 있다. MIP-HA(474)는 WTRU들(402a, 402b, 402c)과 IP-인에이블형 디바이스들 사이의 통신들을 용이하게 하기 위하여, 인터넷(410)과 같은 패킷-교환 네트워크들에 대한 액세스를 WTRU들(402a, 402b, 402c)에 제공할 수도 있다. AAA 서버(476)는 사용자 인증과, 사용자 서비스들을 지원하는 것을 담당할 수도 있다. 게이트웨이(478)는 다른 네트워크들과의 상호연동(interworking)을 용이하게 할 수도 있다. 예를 들어, 게이트웨이(478)는 WTRU들(402a, 402b, 402c)과 전통적인 지상-라인 통신 디바이스들 사이의 통신들을 용이하게 하기 위하여 PSTN(408)과 같은 회선-교환 네트워크들에 대한 액세스를 WTRU들(402a, 402b, 402c)에 제공할 수도 있다. 게다가, 게이트웨이(478)는, 다른 서비스 제공자들에 의해 소유 및/또는 운영되는 다른 유선 또는 무선 네트워크들을 포함할 수도 있는 네트워크들(412)에 대한 액세스를 WTRU들(402a, 402b, 402c)에 제공할 수도 있다.
도 15e에서 도시되지 않지만, RAN(404)은 다른 ASN들에 접속될 수도 있고 코어 네트워크(406)는 다른 코어 네트워크들에 접속될 수도 있는 것이 인식될 것이다. RAN(404)과 다른 ASN들 사이의 통신 링크는, RAN(404)과 다른 ASN들 사이에서 WTRU들(402a, 402b, 402c)의 이동성을 조정하기 위한 프로토콜들을 포함할 수도 있는 R4 참조 포인트로서 정의될 수도 있다. 코어 네트워크(406) 및 다른 코어 네트워크들 사이의 통신 링크는, 홈(home) 코어 네트워크들 및 방문(visited) 코어 네트워크들 사이의 상호연동을 용이하게 하기 위한 프로토콜들을 포함할 수도 있는 R5 참조로서 정의될 수도 있다.
기타사항
상기 설명된 방법들, 장치, 및 시스템들의 변동들은 발명의 범위로부터 이탈하지 않으면서 가능하다. 적용될 수 있는 광범위한 다양한 실시형태들을 고려하면, 예시된 실시형태들은 오직 예시적인 것으로 이해되어야 하고, 다음의 청구항들의 범위를 제한하는 것으로 취해지지 않아야 한다. 예를 들어, 본원에서 설명된 예시적인 실시형태들은 핸드헬드(handheld) 디바이스들을 포함한다.
개시내용의 전반에 걸쳐, 당업자는 어떤 대표적인 실시형태들이 대안적으로, 또는 다른 대표적인 실시형태들과 조합하여 이용될 수도 있다는 것을 이해한다.
적당한 프로세서들은 예로서, 범용 프로세서, 특수 목적 프로세서, 기존의 프로세서, 디지털 신호 프로세서(digital signal processor; DSP), 복수의 마이크로프로세서들, DSP 코어와 연관된 하나 이상의 마이크로프로세서들, 제어기, 마이크로제어기, 애플리케이션 특정 집적 회로(Application Specific Integrated Circuit)(ASIC)들, 애플리케이션 특정 표준 제품(Application Specific Standard Product; ASSP)들, 필드 프로그래밍가능 게이트 어레이(Field Programmable Gate Array)(FPGA) 회로들, 임의의 다른 타입의 집적 회로(integrated circuit; IC), 및/또는 상태 머신(state machine)을 포함한다.
소프트웨어와 연관된 프로세서는 무선 송수신 유닛(WTRU), 사용자 장비(user equipment; UE), 단말, 기지국, 이동성 관리 엔티티(Mobility Management Entity; MME) 또는 진화형 패킷 코어(Evolved Packet Core; EPC), 또는 임의의 호스트 컴퓨터에서의 이용을 위한 라디오 주파수 트랜시버를 구현하기 위하여 이용될 수도 있다. WTRU는 소프트웨어 정의 라디오(Software Defined Radio; SDR)를 포함하는 하드웨어 및/또는 소프트웨어로 구현된 모듈들과, 다른 컴포넌트들, 예컨대, 카메라, 비디오 카메라 모듈, 비디오전화, 스피커폰, 진동 디바이스, 스피커, 마이크로폰, 텔레비전 트랜시버, 핸즈 프리 헤드셋(hands free headset), 키보드, Bluetooth® 모듈, 주파수 변조식(frequency modulated; FM) 라디오 유닛, 근접장 통신(Near Field Communication; NFC) 모듈, 액정 디스플레이(LCD) 디스플레이 유닛, 유기 발광 다이오드(organic light-emitting diode; OLED) 디스플레이 유닛, 디지털 음악 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저, 및/또는 임의의 무선 로컬 영역 네트워크(Wireless Local Area Network; WLAN) 또는 울트라 광대역(Ultra Wide Band; UWB) 모듈과 함께 이용될 수도 있다. 발명은 비디오 인코딩 및 디코딩 방법들, 장치, 및 시스템들의 측면에서 설명되었지만, 이들은 마이크로프로세서들/범용 컴퓨터들(도시되지 않음) 상에서 소프트웨어로 구현될 수도 있는 것으로 고려된다. 어떤 실시형태들에서, 다양한 컴포넌트들의 기능들 중의 하나 이상은 범용 컴퓨터를 제어하는 소프트웨어로 구현될 수도 있다.
특징들 및 엘리먼트들이 특별한 조합들로 위에서 설명되지만, 당해 분야의 당업자는 각각의 특징 및 엘리먼트가 단독으로, 또는 다른 특징들 및 엘리먼트들과의 임의의 조합으로 이용될 수 있다는 것을 인식할 것이다. 게다가, 본원에서 설명된 방법들은 컴퓨터 또는 프로세서에 의한 실행을 위하여 컴퓨터-판독가능 매체 내에 통합된 컴퓨터 프로그램, 소프트웨어, 또는 펌웨어에서 구현될 수도 있다. 컴퓨터-판독가능 매체들의 예들은 컴퓨터-판독가능 저장 매체들을 포함한다. 컴퓨터-판독가능 저장 매체들의 예들은 판독전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 레지스터, 캐시 메모리, 반도체 메모리 디바이스들, 내부 하드 디스크들 및 분리가능 디스크들과 같은 자기 매체들, 자기-광 매체들, 및 CD-ROM 디스크들 및 디지털 다기능 디스크(DVD)들과 같은 광학 매체들을 포함하지만, 이것으로 제한되지 않는다. 소프트웨어와 연관된 프로세서는 WTRU, UE, 단말, 기지국, RNC, 또는 임의의 호스트 컴퓨터를 구현하기 위하여 이용될 수도 있다.
또한, 위에서 설명된 실시형태들에서는, 프로세싱 플랫폼들, 컴퓨팅 시스템들, 제어기들, 및 프로세서들을 포함하는 다른 디바이스들이 언급된다. 이 디바이스들은 적어도 하나의 중앙 프로세싱 유닛(Central Processing Unit)("CPU") 및 메모리를 포함할 수도 있다. 컴퓨터 프로그래밍의 분야에서의 당업자들의 실무들에 따르면, 동작들 또는 명령들의 액트(act)들 기호 표현들의 참조는 다양한 CPU들 및 메모리들에 의해 수행될 수도 있다. 이러한 액트들 및 동작들 또는 명령들은 "실행된", "컴퓨터 실행된", 또는 "CPU 실행된" 것으로 지칭될 수도 있다.
당해 분야의 당업자는 액트들 및 기호로 표현된 동작들 또는 명령들이 CPU에 의한 전기적 신호들의 조작을 포함한다는 것을 인식할 것이다. 전기적 시스템은, 전기적 신호들의 결과적인 변환 또는 감소와, 메모리 시스템의 메모리 로케이션들에서의 데이터 비트들의 유지를 야기시킬 수 있음으로써, CPU의 동작뿐만 아니라 신호들의 다른 프로세싱을 재구성하거나 또는 이와 다르게 변경할 수 있는 데이터 비트들을 나타낸다. 데이터 비트들이 유지되는 메모리 로케이션들은 데이터 비트들에 대응하거나 데이터 비트들을 나타내는 특정한, 전기적, 자기적, 광학적, 또는 유기적 속성들을 가지는 물리적 로케이션들이다. 예시적인 실시형태들은 상기 언급된 플랫폼들 또는 CPU들로 제한되지 않고 다른 플랫폼들 및 CPU들은 설명된 방법들을 지원할 수도 있다는 것이 이해되어야 한다.
데이터 비트들은 또한, 자기 디스크들, 광학 디스크들, 및 CPU에 의해 판독가능한 임의의 다른 휘발성(예컨대, 랜덤 액세스 메모리("RAM") 또는 비-휘발성(예컨대, 판독-전용 메모리("ROM")) 대용량 저장 시스템을 포함하는 컴퓨터 판독가능 매체 상에서 유지될 수도 있다. 컴퓨터 판독가능 매체는, 프로세싱 시스템 상에서 배타적으로 존재하거나 프로세싱 시스템에 대해 로컬 또는 원격일 수도 있는 다수의 상호접속된 프로세싱 시스템들 사이에서 분포되는, 협력하거나 상호접속된 컴퓨터 판독가능 매체를 포함할 수도 있다. 실시형태들은 상기 언급된 메모리들로 제한되지 않고 다른 플랫폼들 및 메모리들은 설명된 방법들을 지원할 수도 있다는 것이 이해되어야 한다.
본 출원의 설명에서 이용된 엘리먼트, 액트, 또는 명령은 이와 같이 명시적으로 설명되지 않으면, 발명에 중대하거나 필수적인 것으로 해석되지 않아야 한다. 또한, 본원에서 이용된 바와 같이, 관사들 "a" 및 "an"의 각각은 하나 이상의 항목들을 포함하도록 의도된다. 오직 하나의 항목이 의도될 경우, 용어들 "단일" 또는 유사한 언어가 이용된다. 또한, 용어들 "중의 임의의 것"과, 그 다음의 복수의 항목들의 리스트 및/또는 항목들의 복수의 카테고리들은 본원에서 이용된 바와 같이, 개별적으로 또는 다른 항목들 및/또는 항목들의 다른 카테고리들과 함께, 항목들 및/또는 항목들의 카테고리들의 "임의의 것", "임의의 조합", "임의의 배수", 및/또는 "배수들의 임의의 조합"을 포함하는 것으로 의도된다. 또한, 본원에서 이용된 바와 같이, 용어 "세트"는 제로를 포함하는 임의의 수의 항목들을 포함하도록 의도된다. 또한, 본원에서 이용된 바와 같이, 용어 "수"는 제로를 포함하는 임의의 수를 포함하도록 의도된다.
또한, 청구항들은 그 효과에 대해 기재되지 않으면, 설명된 순서 또는 엘리먼트들로 제한되는 것으로서 판독되지 않아야 한다. 게다가, 임의의 청구항에서의 용어 "수단"의 이용은 35 U.S.C. §112,¶6을 불러오도록 의도되고, 단어 "수단" 없는 임의의 청구항은 그렇게 의도되지 않는다.
다음의 참조문헌들의 각각의 내용들은 참조로 본원에 편입된다:
(1) ITU-T Rec H.261, "Video Codec for Audiovisual services at px384kbit/s", November 1988;
(2) ISO/IEC 11172-2:1993, "Information technology - Coding of moving pictures and associated audio for digital storage media at up to about 1,5 Mbit/s - part 2: Video", 1993;
(3) ISO/IEC 13818-2, "Information technology -- Generic coding of moving pictures and associated audio information: Video", December, 2000;
(4) ITU-T Rec H.263, "Video coding for low bit rate communication";
(5) ISO/IEC 14496-2, "Information technology - Coding of audio-visual objects - part 2: Visual", December 2001;
(6) ITU-T Rec H.264 and ISO/IEC/MPEG 4 part 10, "Advanced video coding for generic audiovisual services", November 2007;
(7) B. Bross, W-J. Han, J-R. Ohm, G. J. Sullivan, Y. K. Wang, T. Wiegand, "High Efficiency Video Coding (HEVC) Text Specification Draft 10", Document no JCTVC-L1003, January 2013;
(8) A. Luthra, "Joint Call for Proposals on the Scalable Video Coding Extensions of HEVC", ISO/IEC JTC-1/SC29/WG11 N12957, July 2012;
(9) A. Luthra, "Use cases for the scalable enhancement of HEVC", ISO/IEC JTC-1/SC29/WG11 N12955, July 2012;
(10) A. Luthra, "Requirements for the scalable enhancement of HEVC", ISO/IEC JTC-1/SC29/WG11 N12956, July 2012;
(11) Heiko Schwarz, Detlev Marpe and Thomas Wiegand, "Overview of the Scalable Video coding Extension of the H.264/AVC Standard", IEEE Transactions on Circuits and Systems for Video Technology, Vol.17, No.9, September 2007;
(12) A. Vetro, T. Wiegand, G. Sullivan, "Overview of the stereo and multiview video coding extensions of the H.264/MPEG-4 AVC standard", Proceedings of the IEEE. 2011;
(13) 미국 공개 특허 출원 제2014/0010294호, 명칭 "Codec Architecture for Multiple Layer Video Coding";
(14) 미국 공개 특허 출원 제2014/0064374호, 명칭 "Method and Apparatus of Motion Vector Prediction for Scalable Video Coding";
(15) InterDigital Communications, "Description of scalable video coding technology", JCTVC document no JCTVC-K0034. October 2012;
(16) J. Chen, J. Boyce, Y. Ye, and M. M. Hunnuksela, "SHVC Test Model 4 (SHM 4)", JCTVC document no JCTVC-O1007, Oct 2013;
(17) J. Chen, J. Boyce, Y. Ye, and M. M. Hunnuksela, Y. K. Wang, "SHVC Draft 4", JCTVC document no JCTVC-O1008, Oct 2013;
(18) J-R. Ohm, G. J. Sullivan, "Meeting report of the 13th meeting of the Joint Collaborative Team on Video Coding (JCT-VC)", Incheon, KR, 18-26 Apr. 2013.
(19) G.J. Sullivan and T. Wiegand, "Rate-distortion optimization for video compression", IEEE Signal Processing Magazine, vol. 15, issue 6, November 1998;
(20) "SCE4: Summary Report of SHVC Core Experiment on inter-layer filtering", JCTVC document no JCTVC-M0024, April 2013;
(21) "MV-HEVC/SHVC HLS: On inter-layer sample and syntax prediction indications", JCTVC document no JCTVC-M045, April 2013;
(22) "AHG15: Interlaced to progressive scalability for SHVC hybrid codec use case", JCTVC document no JCTVC-P0163, Jan 2014;
(23) "Interlaced to progressive scalability in SHVC",” JCTVC document no JCTVC-P0165, Jan 2014;
(24) "On field to frame scalability", JCTVC document no JCTVC-P0175, Jan 2014;
(25) "BoG report on phase adjustment in SHVC re-sampling process", JCTVC document no JCTVC-P0312, Jan 2014;
(26) J. Chen, J. Boyce, Y. Ye, and M. M. Hunnuksela, G. J. Sullivan, Y. K. Wang, "SHVC Draft 5", JCTVC document no JCTVC-P1008, Jan 2014; 및
(27) 미국 공개 특허 출원 제2014/0037015호, 명칭 "Upsampling based on sampling grid to align spatial layers in multi-layer video coding", April 2013.
게다가, 발명은 특정 실시형태들을 참조하여 본원에서 예시되고 설명되지만, 발명은 도시된 세부사항들로 제한되도록 의도된 것이 아니다. 오히려, 청구항들의 등가물들의 범위 및 거리 내에서, 그리고 발명으로부터 이탈하지 않으면서, 다양한 수정들이 세부사항들에서 행해질 수도 있다.

Claims (32)

  1. 비디오 데이터를 디코딩하는 방법에 있어서,
    인터레이싱된(interlaced) 필드 픽처들을 포함하는 기본 계층 비디오 콘텐트, 및 프로그레시브(progressive) 프레임 픽처들을 포함하는 강화 계층 비디오 콘텐트를 포함하는 비디오 신호를 수신하는 단계;
    비디오 픽처를 리샘플링하는데 이용하기 위한 교차 계층(cross-layer) 위상 정렬 파라미터들의 하나 이상의 세트를 저장하는 단계;
    기본 계층에서의 필드 픽처와 상기 저장된 교차 계층 위상 정렬 파라미터들의 세트 중 하나 이상에 기초하여, 강화 계층에서의 적어도 하나의 프로그레시브 프레임 픽처를 예측하는데 이용하기 위한 하나 이상의 프로그레시브 프레임(progressive frame; PF) 인터-계층 참조(inter-layer reference; ILR) 픽처를 조립하는(assembling) 단계; 및
    상기 ILR 픽처를 사용하여 강화 계층 픽처를 예측하는 단계
    를 포함하는, 방법.
  2. 비디오 데이터를 인코딩하는 방법으로서,
    복수의 인터레이싱된 필드 픽처들을 포함하는 기본 계층 비디오 콘텐트를 인코딩하는 단계;
    복수의 프로그레시브 프레임 픽처들을 포함하는 강화 계층 비디오 콘텐트를 인코딩하는 단계; 및
    교차 계층 위상 정렬 파라미터들의 하나 이상의 세트를 포함하는 픽처 파라미터 세트(Picture Parameter Set; PPS)를 인코딩하는 단계
    를 포함하는, 방법.
  3. 비디오 데이터를 송신하는 방법에 있어서,
    인터레이싱된 필드 픽처들을 포함하는 기본 계층 비디오 콘텐트, 및 프로그레시브 프레임 픽처들을 포함하는 강화 계층 비디오 콘텐트를 포함하는 비디오 신호를 송신하는 단계; 및
    기본 계층에서의 필드 픽처와 교차 계층 위상 정렬 파라미터들의 세트 중 하나 이상에 기초하여, 강화 계층에서의 적어도 하나의 프로그레시브 프레임 픽처를 예측하기 위한 하나 이상의 프로그레시브 프레임(progressive frame; PF) 인터-계층 참조(inter-layer reference; ILR) 픽처를 조립하기 위해 상기 기본 계층에서의 비디오 픽처를 리샘플링하는데 이용하기 위한 상기 교차 계층 위상 정렬 파라미터들의 하나 이상의 세트를 송신하는 단계
    를 포함하는, 방법.
  4. 제 1항 내지 제 3항 중 어느 한 항에 있어서, 상기 인터레이싱된 필드 픽처들은 상부 필드 픽처들 및 하부 필드 픽처들을 포함하는 것인, 방법.
  5. 제 1항 내지 제 3항 중 어느 한 항에 있어서,
    상기 교차 계층 위상 정렬 파라미터들의 하나 이상의 세트 각각은,
    상기 하나 이상의 PF ILR 참조 픽처의 루마 컴포넌트(luma component)에 대한 수평 위상 필터들을 선택하기 위하여 이용되는 phaseX 정보;
    상기 하나 이상의 PF ILR 참조 픽처의 크로마 컴포넌트(chroma component)들 중의 적어도 하나에 대한 수평 위상 필터들을 선택하기 위하여 이용되는 phaseXC 정보;
    상기 하나 이상의 PF ILR 참조 픽처의 상기 루마 컴포넌트에 대한 수직 위상 필터들을 선택하기 위하여 이용되는 phaseY 정보; 및/또는
    상기 하나 이상의 PF ILR 참조 픽처의 상기 크로마 컴포넌트들 중의 상기 적어도 하나에 대한 수직 위상 필터들을 선택하기 위하여 이용되는 phaseYC 정보
    를 포함하는 것인, 방법.
  6. 제 1항에 있어서, 송신될 교차 계층 위상 정렬 파라미터들의 세트들의 수를 표시하는 수 표시자(number indicator)를 수신하는 단계를 더 포함하는, 방법.
  7. 제 2항에 있어서, 상기 인코딩된 기본 계층 비디오 콘텐트, 상기 인코딩된 강화 계층 비디오 콘텐트 및 상기 인코딩된 PPS로부터 비트스트림을 생성하는 단계를 더 포함하고, 상기 비트스트림은 상기 비트스트림에 포함된 교차 계층 위상 정렬 파라미터들의 세트들의 수를 표시하는 수 표시자를 더 포함하는 것인, 방법.
  8. 제 3항에 있어서, 송신될 교차 계층 위상 정렬 파라미터들의 세트들의 수를 표시하는 수 표시자(number indicator)를 송신하는 단계를 더 포함하는, 방법.
  9. 제 5항에 있어서, 상기 교차 계층 위상 정렬 파라미터들의 저장된 하나 이상의 세트 중에서 상기 적어도 하나의 PF ILR 픽처를 조립하는데 이용되어야 할 교차 계층 위상 정렬 파라미터들의 적어도 하나의 세트를 표시하는 적어도 하나의 인덱스 표시자를 수신하는 단계를 더 포함하는, 방법.
  10. 제 7항에 있어서, 상기 비트스트림은, 상기 PPS에 포함된 상기 교차 계층 위상 정렬 파라미터들의 하나 이상의 세트 중에서 교차 계층 위상 정렬 파라미터들의 적어도 하나의 세트를 표시하는 적어도 하나의 인덱스 표시자를 더 포함하는 것인, 방법.
  11. 제 3항에 있어서, 상기 교차 계층 위상 정렬 파라미터들의 송신된 하나 이상의 세트 중에서 상기 적어도 하나의 PF ILR 픽처를 조립하는데 이용되어야 할 교차 계층 위상 정렬 파라미터들의 적어도 하나의 세트를 표시하는 적어도 하나의 인덱스 표시자를 송신하는 단계를 더 포함하는, 방법.
  12. 제 9항에 있어서, 상기 하나 이상의 PF ILR 픽처의 상기 조립은,
    상기 수신된 적어도 하나의 인덱스 표시자에 의해 표시된 상기 교차 계층 위상 정렬 파라미터들의 적어도 하나의 세트에 기초하여, 상기 하나 이상의 PF ILR 픽처의 상기 루마 및/또는 크로마 컴포넌트들 중의 적어도 하나의 리샘플링을 위한 위상 필터들을 선택하는 단계를 포함하는 것인, 방법.
  13. 제 9항에 있어서, 상기 적어도 하나의 인덱스 표시자는 상기 비디오 신호의 슬라이스와 연관되고, 상기 방법은, 상기 슬라이스와 연관된 상기 인덱스 표시자에 따라 상기 PF ILR 픽처를 조립하는데 이용하기 위한 상기 기본 계층 비디오 콘텐트에서의 상기 슬라이스에 대한 수평 위상 필터들 및 수직 위상 필터들 중의 적어도 하나를 조절하는(adjusting) 단계를 더 포함하는, 방법.
  14. 제 1항 내지 제 3항 중 어느 한 항에 있어서, 상기 교차 계층 위상 정렬 파라미터들의 하나 이상의 세트는 픽처 파라미터 세트(PPS)에 포함되는 것인, 방법.
  15. 제 9항에 있어서, 플래그 표시자를 수신하는 단계를 더 포함하고,
    상기 플래그 표시자는,
    (1) 상기 적어도 하나의 인덱스 표시자가 시그널링 되는지 여부 또는
    (2) 상기 교차 계층 위상 정렬 파라미터들의 하나 이상의 세트가 시그널링 되는지 여부
    중 임의의 것을 표시하는 것인, 방법.
  16. 제 10항에 있어서, 상기 비트스트림은 플래그 표시자를 더 포함하고,
    상기 플래그 표시자는,
    (1) 상기 적어도 하나의 인덱스 표시자가 시그널링 되는지 여부 또는
    (2) 상기 교차 계층 위상 정렬 파라미터들의 하나 이상의 세트가 시그널링 되는지 여부
    중 임의의 것을 표시하는 것인, 방법.
  17. 비디오 데이터 디코딩을 위한 비디오 디코더 장치에 있어서, 상기 비디오 디코더 장치는 프로세서를 포함하며, 상기 프로세서는,
    인터레이싱된(interlaced) 필드 픽처들을 포함하는 기본 계층 비디오 콘텐트, 및 프로그레시브(progressive) 프레임 픽처들을 포함하는 강화 계층 비디오 콘텐트를 포함하는 비디오 신호를 수신하고;
    비디오 픽처를 리샘플링하는데 이용하기 위한 교차 계층 위상 정렬 파라미터들의 하나 이상의 세트를 저장하고;
    기본 계층에서의 필드 픽처와 상기 저장된 교차 계층 위상 정렬 파라미터들의 세트 중 하나 이상에 기초하여 강화 계층에서의 적어도 하나의 프로그레시브 프레임 픽처를 예측하는데 이용하기 위한 하나 이상의 프로그레시브 프레임(progressive frame; PF) 인터-계층 참조(inter-layer reference; ILR) 픽처를 조립하고(assemble);
    상기 ILR 픽처를 사용하여 강화 계층 픽처를 예측하도록 구성되는 것인, 장치.
  18. 비디오 데이터 인코딩을 위한 비디오 인코더 장치에 있어서, 상기 비디오 인코더 장치는 프로세서를 포함하며, 상기 프로세서는,
    복수의 인터레이싱된 필드 픽처들을 포함하는 기본 계층 비디오 콘텐트를 인코딩하고;
    복수의 프로그레시브 프레임 픽처들을 포함하는 강화 계층 비디오 콘텐트를 인코딩하고;
    교차 계층 위상 정렬 파라미터들의 하나 이상의 세트를 포함하는 픽처 파라미터 세트(Picture Parameter Set; PPS)를 인코딩하도록 구성되는 것인, 장치.
  19. 비디오 데이터 인코딩을 위한 비디오 인코더 장치에 있어서, 상기 비디오 인코더 장치는 프로세서를 포함하며, 상기 프로세서는,
    인터레이싱된 필드 픽처들을 포함하는 기본 계층 비디오 콘텐트, 및 프로그레시브 프레임 픽처들을 포함하는 강화 계층 비디오 콘텐트를 포함하는 비디오 신호를 송신하고;
    기본 계층에서의 필드 픽처와 교차 계층 위상 정렬 파라미터들의 세트 중 하나 이상에 기초하여 강화 계층에서의 적어도 하나의 프로그레시브 프레임 픽처를 예측하기 위한 하나 이상의 프로그레시브 프레임(progressive frame; PF) 인터-계층 참조(inter-layer reference; ILR) 픽처를 조립하기 위해 상기 기본 계층에서의 비디오 픽처를 리샘플링하는데 이용하기 위한 상기 교차 계층 위상 정렬 파라미터들의 하나 이상의 세트를 송신하도록 구성되는 것인, 장치.
  20. 제 17항 내지 제 19항 중 어느 한 항에 있어서, 상기 인터레이싱된 필드 픽처들은 상부 필드 픽처들 및 하부 필드 픽처들을 포함하는 것인, 장치.
  21. 제 17항 내지 제 19항 중 어느 한 항에 있어서,
    상기 교차 계층 위상 정렬 파라미터들의 하나 이상의 세트 각각은,
    상기 하나 이상의 PF ILR 참조 픽처의 루마 컴포넌트(luma component)에 대한 수평 위상 필터들을 선택하기 위하여 이용되는 phaseX 정보;
    상기 하나 이상의 PF ILR 참조 픽처의 크로마 컴포넌트(chroma component)들 중의 적어도 하나에 대한 수평 위상 필터들을 선택하기 위하여 이용되는 phaseXC 정보;
    상기 하나 이상의 PF ILR 참조 픽처의 상기 루마 컴포넌트에 대한 수직 위상 필터들을 선택하기 위하여 이용되는 phaseY 정보; 및/또는
    상기 하나 이상의 PF ILR 참조 픽처의 상기 크로마 컴포넌트들 중의 상기 적어도 하나에 대한 수직 위상 필터들을 선택하기 위하여 이용되는 phaseYC 정보
    를 포함하는 것인, 장치.
  22. 제 17항에 있어서, 상기 프로세서는 또한, 송신될 교차 계층 위상 정렬 파라미터들의 세트들의 수를 표시하는 수 표시자(number indicator)를 수신하도록 구성되는 것인, 장치.
  23. 제 18항에 있어서, 상기 프로세서는, 상기 인코딩된 기본 계층 비디오 콘텐트, 상기 인코딩된 강화 계층 비디오 콘텐트 및 상기 인코딩된 PPS로부터 비트스트림을 생성하도록 구성되며, 상기 비트스트림은 상기 비트스트림에 포함된 교차 계층 위상 정렬 파라미터들의 세트들의 수를 표시하는 수 표시자를 더 포함하는 것인, 장치.
  24. 제 23항에 있어서, 상기 비트스트림은, 상기 PPS에 포함된 상기 교차 계층 위상 정렬 파라미터들의 하나 이상의 세트 중에서 교차 계층 위상 정렬 파라미터들의 적어도 하나의 세트를 표시하는 적어도 하나의 인덱스 표시자를 더 포함하는 것인, 장치.
  25. 제 19항에 있어서, 상기 프로세서는 또한, 상기 교차 계층 위상 정렬 파라미터들의 송신된 하나 이상의 세트 중에서 상기 적어도 하나의 PF ILR 픽처를 조립하는데 이용되어야 할 교차 계층 위상 정렬 파라미터들의 적어도 하나의 세트를 표시하는 적어도 하나의 인덱스 표시자를 송신하도록 구성되는 것인, 장치.
  26. 제 21항에 있어서, 상기 프로세서는 또한, 상기 교차 계층 위상 정렬 파라미터들의 저장된 하나 이상의 세트 중에서 상기 적어도 하나의 PF ILR 픽처를 조립하는데 이용되어야 할 교차 계층 위상 정렬 파라미터들의 적어도 하나의 세트를 표시하는 적어도 하나의 인덱스 표시자를 수신하도록 구성되는 것인, 장치.
  27. 제 26항에 있어서, 상기 하나 이상의 PF ILR 픽처의 상기 조립은,
    상기 수신된 적어도 하나의 인덱스 표시자에 의해 표시된 상기 저장된 교차 계층 위상 정렬 파라미터들의 적어도 하나의 세트에 기초하여 상기 하나 이상의 PF ILR 픽처의 상기 루마 및/또는 크로마 컴포넌트들 중의 적어도 하나의 리샘플링을 위한 위상 필터들을 선택하는 것을 포함하는 것인, 장치.
  28. 제 26항에 있어서, 상기 적어도 하나의 인덱스 표시자는 상기 비디오 신호의 슬라이스와 연관되고, 상기 프로세서는 또한, 상기 슬라이스와 연관된 상기 인덱스 표시자에 따라 상기 PF ILR 픽처를 조립하는데 이용하기 위한 상기 기본 계층 비디오 콘텐트에서의 상기 슬라이스에 대한 수평 위상 필터들 및 수직 위상 필터들 중의 적어도 하나를 조절하도록(adjust) 구성되는 것인, 장치.
  29. 제 17항 내지 제 19항 중 어느 한 항에 있어서, 상기 교차 계층 위상 정렬 파라미터들의 하나 이상의 세트는 픽처 파라미터 세트(PPS)에 포함되는 것인, 장치.
  30. 제 26항에 있어서, 상기 프로세서는 또한, 플래그 표시자를 수신하도록 구성되고,
    상기 플래그 표시자는,
    (1) 상기 적어도 하나의 인덱스 표시자가 시그널링 되는지 여부 또는
    (2) 상기 교차 계층 위상 정렬 파라미터들의 하나 이상의 세트가 시그널링 되는지 여부
    중 임의의 것을 표시하는 것인, 장치.
  31. 제 24항에 있어서, 상기 비트스트림은 플래그 표시자를 더 포함하고,
    상기 플래그 표시자는,
    (1) 상기 적어도 하나의 인덱스 표시자가 시그널링 되는지 여부 또는
    (2) 상기 교차 계층 위상 정렬 파라미터들의 하나 이상의 세트가 시그널링 되는지 여부
    중 임의의 것을 표시하는 것인, 장치.
  32. 삭제
KR1020227002612A 2014-01-02 2014-12-23 혼합된 인터레이스 및 프로그레시브 콘텐트에 의한 스케일러블 비디오 코딩을 위한 방법들, 및 시스템들 KR102521870B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201461923110P 2014-01-02 2014-01-02
US61/923,110 2014-01-02
US201461939217P 2014-02-12 2014-02-12
US61/939,217 2014-02-12
KR1020167021144A KR20160105861A (ko) 2014-01-02 2014-12-23 혼합된 인터레이스 및 프로그레시브 콘텐트에 의한 스케일러블 비디오 코딩을 위한 방법들, 및 시스템들
PCT/US2014/072105 WO2015103032A1 (en) 2014-01-02 2014-12-23 Methods and systems for scalable video coding with mixed interlace and progressive content

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020167021144A Division KR20160105861A (ko) 2014-01-02 2014-12-23 혼합된 인터레이스 및 프로그레시브 콘텐트에 의한 스케일러블 비디오 코딩을 위한 방법들, 및 시스템들

Publications (2)

Publication Number Publication Date
KR20220017517A KR20220017517A (ko) 2022-02-11
KR102521870B1 true KR102521870B1 (ko) 2023-04-13

Family

ID=52355255

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020167021144A KR20160105861A (ko) 2014-01-02 2014-12-23 혼합된 인터레이스 및 프로그레시브 콘텐트에 의한 스케일러블 비디오 코딩을 위한 방법들, 및 시스템들
KR1020227002612A KR102521870B1 (ko) 2014-01-02 2014-12-23 혼합된 인터레이스 및 프로그레시브 콘텐트에 의한 스케일러블 비디오 코딩을 위한 방법들, 및 시스템들

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020167021144A KR20160105861A (ko) 2014-01-02 2014-12-23 혼합된 인터레이스 및 프로그레시브 콘텐트에 의한 스케일러블 비디오 코딩을 위한 방법들, 및 시스템들

Country Status (9)

Country Link
US (2) US9819947B2 (ko)
EP (1) EP3090549A1 (ko)
JP (1) JP6560230B2 (ko)
KR (2) KR20160105861A (ko)
CN (2) CN111083493B (ko)
IL (1) IL246542B (ko)
MY (1) MY178217A (ko)
TW (2) TWI720348B (ko)
WO (1) WO2015103032A1 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180112099A (ko) * 2012-07-09 2018-10-11 브이아이디 스케일, 인크. 멀티 레이어 비디오 코딩용 코덱 아키텍처
US9510001B2 (en) 2013-07-09 2016-11-29 Electronics And Telecommunications Research Institute Video decoding method and apparatus using the same
BR122021021258A8 (pt) 2014-01-03 2023-02-07 Arris Entpr Llc Método para decodificar uma pluralidade de figuras, método para codificar uma pluralidade de figuras, e, fluxo de bits de dados de vídeo compactados
US9338464B2 (en) * 2014-02-04 2016-05-10 Cable Television Laboratories, Inc. Adaptive field and frame identification
CA2943121C (en) 2014-03-18 2020-09-08 Arris Enterprises Llc Scalable video coding using reference and scaled reference layer offsets
WO2015168581A1 (en) * 2014-05-01 2015-11-05 Arris Enterprises, Inc. Reference layer and scaled reference layer offsets for scalable video coding
WO2015184470A1 (en) 2014-05-30 2015-12-03 Arris Enterprises, Inc. Reference layer offset parameters for inter-layer prediction in scalable video coding
GB201500719D0 (en) * 2015-01-15 2015-03-04 Barco Nv Method for chromo reconstruction
US10455242B2 (en) * 2015-03-04 2019-10-22 Qualcomm Incorporated Signaling output indications in codec-hybrid multi-layer video coding
WO2017075804A1 (en) * 2015-11-06 2017-05-11 Microsoft Technology Licensing, Llc Flexible reference picture management for video encoding and decoding
KR102332006B1 (ko) 2016-02-09 2021-12-01 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
US10291923B2 (en) * 2016-05-24 2019-05-14 Qualcomm Incorporated Mapping of tile grouping and samples in HEVC and L-HEVC file formats
US10616583B2 (en) * 2016-06-30 2020-04-07 Sony Interactive Entertainment Inc. Encoding/decoding digital frames by down-sampling/up-sampling with enhancement information
JP7178907B2 (ja) * 2017-02-03 2022-11-28 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
US11310532B2 (en) 2017-02-24 2022-04-19 Interdigital Vc Holdings, Inc. Method and device for reconstructing image data from decoded image data
JP7086587B2 (ja) * 2017-02-24 2022-06-20 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 復号された画像データから画像データを再構成する方法および装置
EP3662664A4 (en) * 2017-08-03 2020-11-25 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR DIVIDING VIDEO BLOCKS INTO AN INTERPREDICTION SLICE OF VIDEO DATA
CN110868594B (zh) 2018-08-28 2023-04-07 北京字节跳动网络技术有限公司 分割方法的冗余移除
US20200186795A1 (en) * 2018-12-07 2020-06-11 Beijing Dajia Internet Information Technology Co., Ltd. Video coding using multi-resolution reference picture management
KR102600746B1 (ko) 2019-04-01 2023-11-09 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 히스토리 기반 움직임 벡터 예측을 위한 보간 필터 사용
US11109064B2 (en) * 2019-05-22 2021-08-31 Mediatek Inc. Signaling of motion vector difference derivation
KR20220024659A (ko) * 2019-06-24 2022-03-03 알리바바 그룹 홀딩 리미티드 비디오 처리에서의 적응적 해상도 변경
CN113766247B (zh) * 2019-06-25 2023-07-25 北京大学 环路滤波的方法与装置
BR112022002480A2 (pt) * 2019-08-20 2022-04-26 Beijing Bytedance Network Tech Co Ltd Método para processamento de vídeo, aparelho em um sistema de vídeo, e, produto de programa de computador armazenado em uma mídia legível por computador não transitória
WO2021066508A1 (ko) * 2019-09-30 2021-04-08 현대자동차주식회사 다른 해상도를 가지는 픽처들에 대한 인터 예측 방법 및 장치
US11539566B2 (en) * 2021-02-26 2022-12-27 Qualcomm Incorporated Generalization of encoding for uplink transmissions
WO2022183358A1 (zh) 2021-03-02 2022-09-09 京东方科技集团股份有限公司 视频图像去交错方法和视频图像去交错装置
CN114520914B (zh) * 2022-02-25 2023-02-07 重庆邮电大学 一种基于shvc质量可伸缩帧间视频编码方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007058328A1 (en) 2005-11-18 2007-05-24 Sharp Kabushiki Kaisha Methods and systems for picture resampling

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6993076B1 (en) * 1999-05-11 2006-01-31 Thomson Licensing S.A. Apparatus and method for deriving an enhanced decoded reduced-resolution video signal from a coded high-definition video signal
US7656950B2 (en) * 2002-05-29 2010-02-02 Diego Garrido Video interpolation coding
KR20060105409A (ko) * 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
EP1727091A1 (en) * 2004-02-27 2006-11-29 Tdvision Corporation S.A. DE C.V. Method and system for digital coding 3d stereoscopic video images
JP5017825B2 (ja) * 2005-09-15 2012-09-05 ソニー株式会社 復号装置および復号方法
US8023569B2 (en) * 2005-12-15 2011-09-20 Sharp Laboratories Of America, Inc. Methods and systems for block-based residual upsampling
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US7991236B2 (en) * 2006-10-16 2011-08-02 Nokia Corporation Discardable lower layer adaptations in scalable video coding
FR2917262A1 (fr) * 2007-06-05 2008-12-12 Thomson Licensing Sas Dispositif et procede de codage d'un contenu video sous la forme d'un flux scalable.
KR101366249B1 (ko) * 2007-06-28 2014-02-21 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
US8897359B2 (en) * 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
FR2932637B1 (fr) * 2008-06-17 2010-08-20 Canon Kk Procede et dispositif de codage d'une sequence d'images
JP4984183B2 (ja) * 2009-04-07 2012-07-25 ソニー株式会社 再生装置、再生方法、および記録方法
US8665968B2 (en) * 2009-09-30 2014-03-04 Broadcom Corporation Method and system for 3D video coding using SVC spatial scalability
US9014276B2 (en) * 2009-12-04 2015-04-21 Broadcom Corporation Method and system for 3D video coding using SVC temporal and spatial scalabilities
WO2012122425A1 (en) * 2011-03-10 2012-09-13 Dolby Laboratories Licensing Corporation Bitdepth and color scalable video coding
KR20120118781A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 다시점 비디오를 위한 단일화된 스케일러블 비디오 부호화 방법 및 그 장치, 다시점 비디오를 위한 단일화된 스케일러블 비디오 복호화 방법 및 그 장치
CN107241606B (zh) * 2011-12-17 2020-02-21 杜比实验室特许公司 解码系统、方法和设备以及计算机可读介质
WO2013103490A1 (en) * 2012-01-04 2013-07-11 Dolby Laboratories Licensing Corporation Dual-layer backwards-compatible progressive video delivery
KR101652928B1 (ko) * 2012-01-31 2016-09-01 브이아이디 스케일, 인크. 스케일러블 고효율 비디오 코딩(hevc)을 위한 참조 픽처 세트(rps) 시그널링
CN104255031B (zh) * 2012-02-29 2017-12-22 Lg 电子株式会社 层间预测方法和使用层间预测方法的装置
KR20180112099A (ko) 2012-07-09 2018-10-11 브이아이디 스케일, 인크. 멀티 레이어 비디오 코딩용 코덱 아키텍처
KR101721559B1 (ko) 2012-08-06 2017-03-30 브이아이디 스케일, 인크. 다중-레이어 비디오 코딩에서 공간적 레이어들에 대한 샘플링 그리드 정보
KR102062506B1 (ko) 2012-08-29 2020-01-03 브이아이디 스케일, 인크. 스케일러블 비디오 코딩을 위한 모션 벡터 예측 방법 및 장치
CA2884500C (en) * 2012-09-27 2017-09-05 Dolby Laboratories Licensing Corporation Inter-layer reference picture processing for coding-standard scalability
KR20140043037A (ko) * 2012-09-28 2014-04-08 삼성전자주식회사 인터 레이어 예측 오차를 부호화하기 위한 sao 오프셋 보상 방법 및 그 장치
WO2014139431A1 (en) * 2013-03-12 2014-09-18 Mediatek Inc. Inter-layer motion vector scaling for scalable video coding
WO2015053287A1 (ja) * 2013-10-08 2015-04-16 シャープ株式会社 画像復号装置、画像符号化装置、および、符号化データ変換装置
KR20150081236A (ko) * 2014-01-03 2015-07-13 삼성전자주식회사 효율적인 파라미터 전달을 사용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007058328A1 (en) 2005-11-18 2007-05-24 Sharp Kabushiki Kaisha Methods and systems for picture resampling

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jianle Chen, et al. High efficiency video coding (HEVC) scalable extension draft 4, JCT-VC of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, JCTVC-O1008_v1, 2013-11-14, pp. 1-71

Also Published As

Publication number Publication date
US20180020225A1 (en) 2018-01-18
TW201537953A (zh) 2015-10-01
IL246542A0 (en) 2016-08-31
CN105874792B (zh) 2020-03-03
KR20160105861A (ko) 2016-09-07
CN105874792A (zh) 2016-08-17
IL246542B (en) 2020-05-31
JP6560230B2 (ja) 2019-08-14
MY178217A (en) 2020-10-07
WO2015103032A1 (en) 2015-07-09
TWI720348B (zh) 2021-03-01
JP2017507548A (ja) 2017-03-16
CN111083493B (zh) 2023-08-18
US10154269B2 (en) 2018-12-11
US20150189298A1 (en) 2015-07-02
TWI660621B (zh) 2019-05-21
US9819947B2 (en) 2017-11-14
CN111083493A (zh) 2020-04-28
EP3090549A1 (en) 2016-11-09
KR20220017517A (ko) 2022-02-11
TW201924329A (zh) 2019-06-16

Similar Documents

Publication Publication Date Title
US10154269B2 (en) Methods, apparatus and systems for scalable video coding with mixed interlace and progressive content
US10798404B2 (en) Systems and methods of performing improved local illumination compensation
US11445172B2 (en) Reference picture set (RPS) signaling for scalable high efficiency video coding (HEVC)
US11272201B2 (en) Block size restriction for illumination compensation
KR20150140744A (ko) 다수의 레이어 비디오 코딩을 위한 레이어간 참조 화상 강화
JP2022537664A (ja) スケーラビリティサポートのための同じピクチャ順序カウント（ｐｏｃ）番号付け
JP2023521969A (ja) 色フォーマットサポートのための適応ループフィルタ処理
TW202203650A (zh) 解碼圖片緩衝器（ｄｐｂ）操作和存取單元定界符（ａｕｄ）
US11388394B2 (en) Local illumination compensation (LIC) for virtual pipeline data units (VPDUS)
KR20230150284A (ko) 효율적인 비디오 인코더 아키텍처
TW202226836A (zh) 重疊區塊運動補償
JPWO2014103774A1 (ja) 画像処理装置および方法
WO2014141899A1 (ja) 画像処理装置および方法
CN116601959A (zh) 重叠块运动补偿

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant