KR20080094041A - 미세 입도 공간 확장성을 가지는 비디오 코딩 - Google Patents

미세 입도 공간 확장성을 가지는 비디오 코딩 Download PDF

Info

Publication number
KR20080094041A
KR20080094041A KR1020087019669A KR20087019669A KR20080094041A KR 20080094041 A KR20080094041 A KR 20080094041A KR 1020087019669 A KR1020087019669 A KR 1020087019669A KR 20087019669 A KR20087019669 A KR 20087019669A KR 20080094041 A KR20080094041 A KR 20080094041A
Authority
KR
South Korea
Prior art keywords
video
fgs
base layer
block
coefficients
Prior art date
Application number
KR1020087019669A
Other languages
English (en)
Other versions
KR101005682B1 (ko
Inventor
일양 바오
얀 예
Original Assignee
콸콤 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 콸콤 인코포레이티드 filed Critical 콸콤 인코포레이티드
Publication of KR20080094041A publication Critical patent/KR20080094041A/ko
Application granted granted Critical
Publication of KR101005682B1 publication Critical patent/KR101005682B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 개시물은 일반화된 미세 입도 확장성(FGS) 접근 방식을 사용하여 공간 확장성을 지원하는 비디오 코딩 기술들에 관한 것이다. 다양한 등급의 공간 확장성은 공간적으로 확장가능한 확장 계층들을 일반화된 FGS 포맷으로 전송함으로써 달성될 수 있다. 공간적으로 확장가능한 확장 비트 스트림들은 네트워크 조건들, 채널 조건들 및/또는 디코더 성능들을 확인하기 위해 임의로 절단될 수 있다. 공간 확장성을 위한 코딩 계수들 및 구문 엘리먼트들은 일반화된 FGS 포맷 내에 삽입될 수 있다. 양호한 네트워크 또는 채널 조건들 및/또는 개선된 디코더 성능들을 위해, 하나 또는 그 이상의 확장 계층들을 통해 수신되는 추가의 비트들은 인코딩된 비디오가 증가된 공간 분해능 및 서로 다른 공간 분해능들에서 계속해서 개선되는 비디오 품질을 가지고 재구성되도록 허용한다. 상기 기술들은 공간 확장성 계층들이 불연속 계층들보다 임의의 확장성을 허용하는 FGS 계층들로 코딩되도록 허용한다. 상기 기술들은 공간 디코딩으로 인해 발생할 수 있는 에러 전파를 억제하는 특징들을 포함할 수 있다.

Description

미세 입도 공간 확장성을 가지는 비디오 코딩{VIDEO CODING WITH FINE GRANULARITY SPATIAL SCALABILITY}
본 출원은 2006년 1월 11일에 제출된 "일반적인 미세 입도 확장성을 가지는 비디오 코딩"이라는 명칭의 미국 임시 출원 번호 60/758,323에 우선권을 청구한다.
본 발명은 일반적으로 무선 원격 통신 분야에 관한 것이며, 특히 무선 데이터 통신을 위한 우선순위를 설정하는 것과 관련된다.
디지털 비디오 성능들은 디지털 텔레비전들, 디지털 직접 방송 시스템들, 무선 통신 디바이스들, 개인 디지털 보조장치들(PDAs), 랩탑 컴퓨터들, 데스크탑 컴퓨터들, 디지털 카메라들, 디지털 레코딩 디바이스들, 셀룰러 또는 위상 무선 전화기들 등등을 포함하는 광범위한 디바이스들에 통합될 수 있다. 디지털 비디오 디바이스들은 모션 비디오 시퀀스들을 효율적으로 생성, 변경, 전송, 저장, 기록 및 재생하는데 있어 종래의 아날로그 비디오 시스템들보다 상당한 개선점들을 제공한다.
미세 입도 확장성(FGS; fine granularity scalability)은 일반적으로 주어진 비트 레이트 범위 내에서 비디오 품질의 점진적 성능 저하를 달성하기 위해 비디오 스트림을 임의로 절단하는 능력을 지칭한다. FGS-인코딩된 비디오 스트림은 특정 품질의 기본 계층 및 상기 기본 계층에 링크된 하나 또는 그 이상의 확장 계층들을 포함한다. 확장 계층들은 기본 계층의 품질을 미세조정(refine)하기 위한 추가 데이터를 포함한다. 더 많은 FGS 비트 스트림이 수신되어 디코딩됨에 따라, 하나 또는 그 이상의 확장 계층들을 통해 디코딩된 비디오의 품질이 개선된다.
일반적으로, 본 개시물은 일반화된 미세 입도 확장성(FGS) 접근 방식을 사용하여 공간 확장성을 지원하는 비디오 코딩 기술들에 관한 것이다. 본 개시물에 따라, 공간적으로 확장가능한 확장 계층들을 일반화된 FGS 포맷으로 전송하여 다양한 등급의 공간 확장성이 달성될 수 있다. 공간 확장성 계층들은 이산 확장 계층보다 계속해서 개선되는 비디오 품질을 가지는 공간 확장성을 허용하는 FGS 확장 계층들로 코딩될 수 있다.
비디오 코딩 기술들은 부분적인 디코딩으로 인해 발생할 수 있는 에러 전파를 감소시키기 위해 하나 또는 그 이상의 특징들로 보충될 수 있다. 예를 들면, 비디오 코딩 기술들은 드리프트 에러를 감소시키기 프레임 내 예측을 위한 누설(leaky) 예측 방식, 공간 에러 전파를 감소시키기 위해 인트라 블럭들에 대한 특정 DC 모드 및 인트라 예측을 위해 기본 계층 내의 픽셀들만을 사용하는 제약을 적용할 수 있다.
공간 확장성 확장 계층을 재구성하는데 필요한 계수들 및 구문 엘리먼트들은 일반화된 FGS 포맷 내에 삽입될 수 있다. 확장 계층들을 통해 수신된 추가 비트들은 인코딩된 비디오가 증가된 공간 분해능으로 서로 다른 공간 분해능들에서 계속해서 개선되는 비디오 품질을 가지고 재구성되도록 한다. 공간적으로 확장가능한 확장 비트 스트림들은 네트워크 또는 채널 조건들을 확인하거나 디코더 성능들을 확인하기 위해 임의의 포인트에서 임의로 절단될 수 있다.
일 실시예에서, 본 개시물은 제 1 공간 분해능(resolution)에서 비디오를 정의하는 기본 계층 비디오 블럭을 재구성하기 위해 미세 입도 확장성(FGS; fine granularity scalability) 기본 계층을 디코딩하는 단계; 상기 제 1 공간 분해능보다 크거나 동일한 제 2 공간 분해능에서 비디오를 정의하는 확장 계층 비디오 블럭을 재구성하기 위해 하나 또는 그 이상의 FGS 확장 계층들을 적어도 부분적으로 디코딩하는 단계; 및 상기 기본 계층 비디오 블럭으로부터 형성된 제 1 예측 블럭 및 상기 확장 계층 비디오 블럭 내의 이웃 픽셀들로부터 형성된 제 2 예측 블럭의 가중된 합에 기초하여 인트라-코딩(intra-coded) 비디오 블럭을 예측하는 단계를 포함한다. 몇몇 실시예들에서, 제 2 공간 분해능은 상기 제 1 공간 분해능보다 크고, 상기 방법은 상기 기본 계층 비디오 블럭을 업샘플링하는 단계를 더 포함하며, 상기 제 1 예측 블럭은 상기 업샘플링된 기본 계층 비디오 블럭으로부터 형성된다.
또다른 실시예에서, 본 개시물은 제 1 공간 분해능에서 비디오를 정의하는 기본 계층 비디오 블럭을 재구성하기 위해 미세 입도 확장성(FGS) 기본 계층을 디코딩하고, 상기 제 1 공간 분해능보다 크거나 동일한 제 2 공간 분해능에서 비디오를 정의하는 확장 계층 비디오 블럭을 재구성하기 위해 하나 또는 그 이상의 FGS 확장 계층들을 적어도 부분적으로 디코딩하며, 상기 기본 계층 비디오 블럭으로부터 형성된 제 1 예측 블럭 및 상기 확장 계층 비디오 블럭 내의 이웃 픽셀들로부터 형성된 제 2 예측 블럭의 가중된 합에 기초하여 인트라-코딩 비디오 블럭을 예측하는 디코더를 포함하는 비디오 코딩 디바이스를 제공한다. 몇몇 실시예들에서, 제 2 공간 분해능은 상기 제 1 공간 분해능보다 크고, 상기 디코더는 상기 기본 계층 비디오 블럭을 업샘플링하며, 상기 제 1 예측 블럭은 상기 업샘플링된 기본 계층 비디오 블럭으로부터 형성된다.
추가 실시예에서 본 개시물은 제 1 공간 분해능에서 비디오 정보를 정의하는 기본 계층 비디오 블럭들을 포함하는 미세 입도 확장성(FGS) 기본 계층을 디코딩하는 단계; 상기 제 1 공간 분해능보다 큰 제 2 공간 분해능에서 비디오 정보를 정의하는 확장 계층 비디오 블럭들을 포함하는 하나 또는 그 이상의 FGS 확장 계층들을 적어도 부분적으로 디코딩하는 단계; 및 인트라-코딩 비디오 블럭들을 상기 개별 인트라-코딩 비디오 블럭들과 동일한 계층 내의 동일한 프레임으로부터 유도된 비디오 정보를 사용하지 않고 예측하는 단계를 포함하는 방법을 제공한다.
또다른 실시예에서, 본 개시물은 제 1 공간 분해능에서 비디오 정보를 정의하는 기본 계층 비디오 블럭들을 포함하는 미세 입도 확장성(FGS) 기본 계층을 디코딩하고, 상기 제 1 공간 분해능보다 큰 제 2 공간 분해능에서 비디오 정보를 정의하는 확장 계층 비디오 블럭들을 포함하는 하나 또는 그 이상의 FGS 확장 계층들을 적어도 부분적으로 디코딩하며, 그리고 인트라-코딩 비디오 블럭들을 상기 개별 인트라-코딩 비디오 블럭들과 동일한 계층 내의 동일한 프레임으로부터 유도된 비디오 정보를 사용하지 않고 예측하는 디코더를 포함하는 디바이스를 제공한다.
또다른 실시예에서, 본 개시물은 제 1 공간 분해능에서 비디오 정보를 정의하는 기본 계층 비디오 블럭들을 포함하는 미세 입도 확장성(FGS) 기본 계층을 디코딩하는 단계; 상기 제 1 공간 분해능보다 큰 제 2 공간 분해능에서 비디오 정보를 정의하는 확장 계층 비디오 블럭들을 포함하는 하나 또는 그 이상의 FGS 확장 계층들을 디코딩하는 단계; 및 DC 계수가 인코더 및 디코더 모두에 공지된 디폴트 값으로부터 예측되고, AC 계수들이 이웃 블럭들로부터 계산된 예측 없이 디코딩되는 특정 DC 모드를 사용하여 상기 FGS 확장 계층들 내의 블럭들 각각을 디코딩하는 단계를 포함하는 방법을 제공한다.
추가 실시예에서, 본 개시물은 제 1 공간 분해능에서 비디오 정보를 정의하는 기본 계층 비디오 블럭들을 포함하는 미세 입도 확장성(FGS) 기본 계층을 디코딩하고, 상기 제 1 공간 분해능보다 큰 제 2 공간 분해능에서 비디오 정보를 정의하는 확장 계층 비디오 블럭들을 포함하는 하나 또는 그 이상의 FGS 확장 계층들을 인코딩하며, 그리고 DC 계수가 인코더 및 디코더 모두에 공지된 디폴트 값으로부터 예측되고, AC 계수들이 이웃 블럭들로부터 계산된 예측 없이 디코딩되는 특정 DC 모드를 사용하여 상기 FGS 확장 계층들 내의 블럭들 각각을 디코딩하는 디코더를 포함하는 디바이스를 제공한다.
본 개시물에 개시된 기술들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합에서 구현될 수 있다. 소프트웨어에서 구현되는 경우에, 소프트웨어는 디지털 신호 프로세서(DSP)와 같은 프로세서에서 실행될 수 있다. 기술들을 실행하는 소프트웨어는 먼저 컴퓨터로 읽을 수 있는 매체 내에 저장되고 프로세서 내에 로딩되고 실행된다. 따라서, 본 개시물은 일반화된 FGS 접근 방식을 사용하여 공간 확장성을 달성하기 위한 기술들을 수행하기 위한 명령들을 포함하는 컴퓨터 판독가능한 매체를 고려한다.
본 개시물의 하나 또는 그 이상의 실시예들의 세부 사항은 하기의 도면을 참조하여 상세히 설명될 것이다.
도 1은 비디오 인코딩 및 디코딩 시스템을 설명하는 블럭 다이어그램이다.
도 2는 비디오 비트 스트림의 다중-계층 FGS 인코딩을 설명하는 다이어그램이다.
도 3은 기본 계층 및 확장 계층 인코더들 및 디코더들을 포함하여 도 1의 시스템을 더 상세히 설명하는 블럭 다이어그램이다.
도 4는 비디오 스트림의 FGS 코딩에서 사용되는 지그재그 스캔된 블럭들을 설명하는 다이어그램이다.
도 5는 지그재그 순서로 배열된 서로 다른 비디오 블럭들에 대하여 FGS 계층 내의 구문 엘리먼트들 및 계수들의 예시적인 코딩 순서를 설명하는 다이어그램이다.
도 6은 전송 순서로 배열된 서로 다른 비디오 블럭들에 대하여 FGS 계층 내의 구문 엘리먼트들 및 계수들의 예시적인 코딩 순서를 설명하는 다이어그램이다.
도 7A는 예시적인 다중-계층 공간 확장성 비트 스트림들을 설명하는 다이어그램이다.
도 7B는 도 7A의 공간 확장성 비트 스트림들에 대한 레이트-왜곡 성능을 설 명하는 다이어그램이다.
도 8A는 인코더 및 디코더에서 서로 다른 기준 신호들의 사용으로 인해 발생된 드리프트 에러 문제점들을 설명하는 다이어그램이다.
도 8B는 도 8A에 도시된 드리프트 에러 문제를 감소시키기 위한 기본 계층으로부터의 부분 예측을 설명하는 다이어그램이다.
도 9는 이웃 블럭들의 부분 디코딩에 의해 발생되는 드리프트 에러를 설명하는 다이어그램이다.
도 10은 인트라-코딩된 블럭들 내의 드리프트 에러를 감소시키기 위한 누설 예측 기술을 설명하는 다이어그램이다.
도 11은 도 10에 도시된 것과 같은 누설 예측 기술의 동작을 설명하는 흐름도이다.
도 12는 특정 DC 모드의 비디오 블럭으로의 적용을 설명하는 다이어그램이다.
도 13은 서로 다른 인트라 예측 모드들에 대하여 도 12의 특정 DC 모드의 사용을 설명하는 다이어그램이다.
도 14는 기본 계층 내의 프레임으로부터 인트라 예측을 설명하는 다이어그램이다.
도 15는 인트라 16x16 예측 모드를 가지는 마크로 블럭 내의 명도(luma) DC 블럭을 설명하는 다이어그램이다.
도 1은 비디오 인코딩 및 디코딩 시스템(10)을 설명하는 블럭 다이어그램이다. 시스템(10)은 일반화된 미세 입도 확장성(FGS) 접근방식을 사용하여 공간 확장성을 지원하는 비디오 코딩 기술들을 응용하도록 구성된다. 도 1에 도시된 것과 같이, 시스템(10)은 채널(16)을 통해 수신 디바이스(14)로 인코딩된 비디오를 전송하는 소스 디바이스(12)를 포함한다. 소스 디바이스(12)는 비디오 캡처 디바이스(18), 비디오 인코더(20) 및 송신기(22)를 포함할 수 있다. 수신 디바이스(14)는 수신기(24), 비디오 디코더(26) 및 비디오 디스플레이 디바이스(28)를 포함할 수 있다.
시스템(10) 내에서, 다양한 등급들의 공간 확장성은 불연속 확장 계층들의 디코딩에 의존하는 대신에 공간적으로 확장가능한 확장 계층들을 일반화된 FGS 포맷으로 전송함으로써 달성될 수 있다. 기본 계층은 최소 레벨의 품질을 가지는 비디오 시퀀스를 운반한다. 확장 계층은 더 높은 품질 레벨들을 지원하기 위해 추가 비트 스트림을 운반한다. 또한, 본 개시물에 따라, 하나 또는 그 이상의 확장 계층들에 의해 운반된 추가의 비트 스트림은 증가된 공간 확장성을 지원한다.
비디오 인코더(20) 및 비디오 디코더(26)는 임의로 절단될 수 있는 공간적으로 확장가능한 확장 비트 스트림들을 제공하도록 구성된다. 하나 또는 그 이상의 확장 계층들을 통해 수신된 추가 비트들은 인코딩된 비디오가 적용가능한 네트워크 조건들, 채널 조건들 및/또는 디코더 성능들에 의해 허용되는 것과 같이 증가되는 공간 분해능 및 서로 다른 공간 분해능들에서 계속해서 개선되는 비디오 품질을 가지고 재구성되도록 한다.
하기에서 설명되는 것과 같이, 시스템(10)은 확장 계층들의 부분 디코딩을 발생할 수 있는 드리프트 에러를 감소시키기 위해 다양한 방식들을 적용할 수 있다. 공간 확장성 확장 계층을 재구성하는데 필요한 계수들 및 구문 엘리먼트들은 일반화된 FGS 포맷 내에 삽입될 수 있다. 일반화된 FGS 포맷 및 적절한 드리프트 에러 제어 방식들을 사용하여, 공간 분해능은 시스템 조건들에 따라 계속되는 품질 개선 및 점진적인 품질 저하로 증가되거나 감소될 수 있다.
시스템(10)은 공간 확장성을 달성하기 위해 전체가 코딩되어야 하는 불연속 확장 계층들의 사용을 방지할 수 있다. 그러나 몇몇 실시예들에서 시스템(10)은 예컨대 선택적인 기준에 기초하여 일반화된 FGS 접근 방식 또는 불연속 확장 계층을 사용하여 공간 확장성을 지원하도록 구성될 수 있다.
도 1의 예에서, 통신 채널(16)은 무선 주파수(RF) 스펙트럼 또는 하나 또는 그 이상의 물리적인 전송 라인들과 같은 임의의 무선 또는 유선 통신 매체, 또는 무선 및 유선 매체의 임의의 결합을 포함할 수 있다. 채널(16)은 로컬 영역 네트워크, 광대역 네트워크 또는 인터넷과 같은 글로벌 네트워크 등의 패킷-기반 네트워크의 일부를 형성한다. 통신 채널(16)은 일반적으로 소스 디바이스(12)로부터의 비디오 데이터를 수신 디바이스(14)로 전송하기 위해 임의의 적절한 통신 매체 또는 서로 다른 통신 매체의 수집물을 나타낸다.
소스 디바이스(12)는 비디오 데이터를 인코딩하고 전송할 수 있는 임의의 디지털 비디오 디바이스가 될 수 있다. 비디오 캡처 디바이스(18)는 비디오 시퀀스들을 캡처하고, 비디오 인코더(20)에 의한 액세스를 위해 메모리(비도시) 내에 포 착된 시퀀스들을 저장한다. 비디오 포착 디바이스(18)는 텔레비전, 비디오 디스크 레코더, 비디오 카세트 레코더, 캠코더, 또는 임의의 비디오 디바이스로부터 아날로그 비디오 데이터를 디지털 비디오 데이터로 변환하는 비디오 컨버터, 비디오 카메라 또는 비디오 보관 장치가 될 수 있다. 각각의 경우에, 비디오 인코더(20)는 수신 디바이스(14)로의 효율적인 전송을 위해 캡처된 비디오를 인코딩한다.
소스 디바이스(12)는 통신 채널(16)을 통해 보관된 또는 실시간 비디오 시퀀스들을 전송하도록 구성될 수 있다. 실시간 비디오 시퀀스들에 대하여, 소스 디바이스(12) 및 수신 디바이스(14)는 실시간의 양방향 비디오 전화(VT) 및/또는 실시간의 단방향 비디오 스트리밍을 지원하도록 구성될 수 있다. 비-실시간 비디오 스트리밍에 대하여, 소스 디바이스(12) 및 수신 디바이스(13)는 비디오 클립 재생장치 또는 비디오 메일과 같은 애플리케이션들을 지원하고, 재생, 정지, 빨리감기, 역감기 버튼과 같은 적절한 제어 매체를 포함할 수 있다.
비디오 인코더(20) 및 디코더(26)는 비디오 캡처 디바이스(18)에 의해 획득된 비디오를 인코딩하기에 적절한 다양한 하드웨어, 소프트웨어 및/또는 펌웨어를 포함할 수 있다. 비디오 인코더(18)는 비디오 인코딩을 위해 프로그램 가능한 소프트웨어 모듈들을 실행하는 하나 또는 그 이상의 디지털 신호 처리기들(DSPs)을 포함할 수 있다. 연관된 메모리 및 로직 회로는 비디오 인코딩 프로세스를 제어할 때 DSP를 지원하도록 제공될 수 있다. 몇몇 실시예들에서, 비디오 인코더(18)는 결합된 비디오 인코더-디코더(CODEC)의 일부를 형성할 수 있다.
비디오 인코더(20) 및 비디오 디코더(26)는 일반적으로 MPEG-1, MPEG-2, MPEG-4, ITU-T H.263 또는 ITU-T H.264 표준들, 또는 다른 표준들을 따르는 기술들과 같은 하나 또는 그 이상의 인코딩 기술들을 응용하도록 구성될 수 있다. 특정 예로서, 비디오 인코더(20) 및 디코더(26)는 H.264/MPEG-4 Part 10, 즉. 개선된 비디오 코딩(AVC), 디지털 비디오 코덱 표준을 따를 수 있고, 상기 표준은 조인트 비디오 팀(JVT)으로 공지된 공동의 노력의 결과로서 ITU-T 비디오 코딩 전문가 그룹(VCEG)에 의해 ISO/IEC 동영상 전문가 그룹(MPEG)과 함께 형식화되었다. ITU-T H.264 표준 및 ISO/IEC MPEG-4 Part 10 표준은 기술적으로 동일하다.
현재, 조인트 비디오 팀(JVT)은 H.264/AVC로의 확장가능한 비디오 코딩(SVC) 확장판에 작용한다. H.264/AVC 및 발전하는 SVC 확장판의 명세는 조인 드래프트(JD)의 형식이다. JVT에 의해 생성된 조인트 스케일러블 비디오 모델(JSVM)은 확장가능한 비디오에서의 사용을 위한 도구들을 구현하고, 본 개시물에 개시된 다양한 코딩 작업들을 위한 시스템(10)과 함께 사용될 수 있다. JSVM은 다양한 확장성 특징들을 지원한다. 미세 입도 SNR 확장성(FGS)에 관한 상세한 설명은 조인 드래프트에서 발견될 수 있다. 그러나, FGS의 기본 개념들 및 고유한 속성들 중 일부는 설명을 위해 본 명세서에 개시될 것이다.
비디오 시퀀스는 비디오 프레임들의 시리즈를 포함한다. 비디오 인코더(20)는 비디오 데이터를 인코딩하기 위해 개별 비디오 프레임들 내의 픽셀들의 블럭들에 작용한다. 비디오 블럭들은 고정되거나 변화하는 크기들을 가지며, 특정 코딩 표준에 따라 크기가 서로 다를 수 있다. 일 예로서, ITU-T H.264 표준은 16x16, 8x8, 명도 성분을 위한 4x4 및 채도 성분을 위한 8x8과 같은 다양한 블럭 크기들에 서 인트라 예측뿐만 아니라 명도 성분을 위한 16x16, 16x8, 8x8. 8x4, 4x8, 4x4 및 채도 성분들을 위한 상응하는 스케일의 크기들과 같은 다양한 블럭 크기들에서의 인터 예측을 지원한다. 더 작은 비디오 블럭들은 더 우수한 분해능을 제공할 수 있고, 더 높은 세부 레벨을 포함하는 비디오 프레임의 위치들을 위해 사용될 수 있다. 예측 이후에, 8x8 잔여 블럭 또는 4x4 잔여 블럭에 변환이 수행될 수 있고, 인트라_16x16 예측 모드가 사용되는 경우에 채도 성분들 및 명도 성분에 대한 4x4 블럭들의 DC 계수에 추가로 변환이 적용될 수 있다.
도 1을 참조로 하여, 송신기(22)는 유선 또는 무선이 될 수 있거나 유선 또는 무선 매체의 조합을 포함할 수 있는 채널(16)을 통해 인코딩된 비디오를 전송하기 위해 적절한 모뎀 및 드라이버 회로를 포함할 수 있다. 무선 애플리케이션들을 위해, 송신기(22)는 인코딩된 비디오 데이터를 운반하는 무선 데이터를 전송하기 위해 RF 회로를 포함할 수 있다. 몇몇 실시예들에서, 소스 디바이스(12)는 하나 또는 그 이상의 서버들, 워크 스테이션들, 데스크탑 컴퓨터들, 이동 컴퓨터들, 개인 디지털 보조장치들(PDAs), 무선 전화기들, 위성 전화기들 또는 다른 유선 또는 무선 통신 디바이스들의 형태를 취할 수 있다.
수신 디바이스(14)에서, 비디오 디코더(26)는 소스 디바이스(12)의 비디오 인코더(20)와 같은 CODEC의 일부를 형성할 수 있다. 수신 디바이스(14)는 하나 또는 그 이상의 워크 스테이션들, 데스크탑 컴퓨터들, 이동 컴퓨터들, 개인 디지털 보조장치들(PDAs), 무선 전화기들, 위성 전화기들 또는 다른 유선 또는 무선 통신 디바이스들과 같이 비디오 데이터를 수신하여 디코딩할 수 있는 임의의 디지털 비 디오 디바이스 또는 디바이스들의 조합의 형태를 취할 수 있다.
송신기(22)와 유사하게, 수신기(24)는 채널(16)을 통해 인코딩된 비디오를 쉰하기 위한 적절한 모뎀 및 드라이버 회로를 포함할 수 있고, 무선 애플리케이션들에서 인코딩된 비디오 데이터를 운반하는 무선 데이터를 수신하기 위한 RF 회로를 포함할 수 있다. 몇몇 실시예들에서, 소스 디바이스(12) 및 수신 디바이스(14)는 각각 상호 송신 및 수신 회로를 포함할 수 있고, 따라서 각각의 회로는 채널(16)을 통해 전송되는 인코딩된 비디오 및 다른 정보에 대한 소스 디바이스 및 수신 디바이스 모두로서 서비스할 수 있다. 상기 경우에, 소스 디바이스(12)와 수신 디바이스(14) 모두는 비디오 시퀀스들을 인코딩, 전송, 수신 및 디코딩할 수 있다.
디스플레이 디바이스(28)는 LCD 또는 플라즈마 평판 디스플레이, 음극선관(CRT) 디스플레이 또는 임의의 다른 디스플레이와 같이 사용자에게 비디오를 나타내기에 적절한 디바이스가 될 수 있다. 또한, 디스플레이 디바이스(28)는 수신 디바이스(14)와 통합될 수 있거나 유선 또는 무선 접속을 통해 수신 디바이스(14)에 결합되는 별개의 디바이스로 제공될 수 있다. 디스플레이 디바이스(28)는 또한 서비스 디바이스(14)에 대한 사용자 인터페이스의 일부로서 서비스할 수 있다. 소스 디바이스(120는 수신된 비디오를 청취하고 소스 디바이스(12)와의 상호 작용을 허용하기 위한 디스플레이 디바이스를 포함할 수 있다.
인코더(20) 및 디코더(26)는 미세 입도 확장성(FGS)을 지원하도록 구성된다. FGS는 비트 스트림이 특정 비트 레이트 범위 내에서 거의 임의로 절단되도록 한다. FGS의 한가지 형태는 신호-대-잡음비(SNR) 확장가능성에 적용된다. 공통의 시나리오는 특정 레벨의 품질을 가지는 기본 계층 및 동일한 분해능에서 기본 계층에 정밀 조정을 제공하는 하나 또는 그 이상의 FGS 확장 계층들로 비디오 비트 스트림을 인코딩하는 것을 포함한다. 예를 들어, 공통 중간 포맷(CIF) 분해능에 대하여 코딩된 기본 계층에서, FGS 확장 계층들을 통한 추가의 비트 스트림의 전송은 CIF 분해능 비디오의 품질, 예컨대 SNR을 개선한다.
상기 개시물에 따라, FGS는 일반화된 FGS 접근방식에 따라 전송된 하나 또는 그 이상의 확장 계층을 통해 공간 확장성을 지원하도록 개발된다. 예를 들어, 1/4 공통 중간 포맷(QCIF) 분해능으로 코딩된 기본 계층은 QCIF 분해능으로부터 CIF 분해능으로와 같이 비디오의 공간 분해능을 확장하기 위한 추가 비트 스트림을 포함할 수 있다. 공간 확장성 FGS 확장 계층들은 또한 QCIF 및/또는 CIF 분해능에 대한 비디오의 품질을 개선하기에 충분한 추가의 비트 스트림을 포함할 수 있다. 따라서, 본 개시물에 설명된 일반화된 FGS 접근 방식은 공간 확장성을 지원할 수 있고, SNR 공간 확장성을 지원할 수 있다. 특히, 인코덤(20) 및 디코더(26)는 하나 또는 그 이상의 확장 계층들의 부분 디코딩으로부터 발생할 수 있는 드리프트 에러를 완화하도록 구성된다.
도 2는 비디오 스트림의 다중-계층 FGS 인코딩을 설명하는 다이어그램이다. 도 2에 도시된 것과 같이, 비디오 스트림의 FGS 인코딩은 기본 계층(30) 및 하나 또는 그 이상의 확장 계층들(32A-32N; 총체적으로 계층들 32)을 발생한다. 기본 계층(30)은 주어진 비트 레이트에 대하여 최소 레벨의 품질을 가지고 비디오 비트 스트림을 인코딩하는 일련의 프레임들(36A-36N)을 포함한다. 확장 계층들(32)의 각각은 기본 계층(30)에 의해 제공되는 초기 품질을 점진적으로 증가시키기 위해 디코더(26)에 의해 사용될 수 있는 추가의 비디오 비트 스트림 정보를 제공한다. 디코더(26)에 의해 처리되는 확장 계층들(32)의 개수는 주어진 채널 조건들 및 다른 제한들과 같이 소스 디바이스(14)에 의해 전송되는 확장 계층들 및 디코더(26)에 의해 처리되는 수신된 확장 계층들의 개수에 따라 결정된다.
일반적으로, 각각의 개별 확장 계층(32A-32N) 또는 디코더(26)에 의해 처리되는 그들의 일부는 본 개시물에 따라 SNR 및/또는 공간 분해능과 관련하여 기본 계층(30)으로부터 획득된 비디오의 품질을 점차적으로 증가시킨다. 각각의 확장 계층(32A-32N)을 전체적으로 불연속 확장 계층으로 처리하는 대신에, 본 개시물은 공간 확장성 확장 계층들이 일반화된 FGS 접근방식을 사용하여 코딩되고, 전송되고 처리되도록 하는 것을 허용하는 시스템(10)을 고려한다. 상기 방식에서, 공간 분해능은 미세 입도로 확장될 수 있고, 공간 확장 계층들의 부분적인 디코딩에서 연속적인 품질 개선을 제공한다. 하기에서 서술되는 것과 같이, 공간 디코딩은 본 개시물에 제시된 하나 또는 그 이상의 방식들을 사용하여 처리될 수 있는 에러 전파 결과들을 제공한다.
도 3은 기본 계층 및 확장 계층 인코더들 및 디코더들을 포함하여 도 1의 시스템(10)을 상세히 설명하는 블럭 다이어그램이다. 특히, 도 3의 예에서, 비디오 인코더(20)는 기본 계층 인코더(38) 및 확장 계층 인코더(40)를 포함한다. 비디오 디코더(26)는 기본 계층 디코더(42) 및 확장 계층 디코더(44)를 포함한다. 디바이 스들(12 및 14)는 일반적으로 도 1을 따른다. 다시, 소스 디바이스(12) 및 수신 디바이스(14)는 각각 상호의 전송/수신 및 인코딩/디코딩 컴포넌트들을 포함한다. 그러나 도 1과 유사하게, 도 3은 설명을 위해 하나의 디바이스(12)를 소스/인코딩 디바이스로 표시하고, 다른 디바이스(14)를 수신/디코딩 디바이스로서 표시한다.
기본 계층 인코더(38)는 주어진 비디오 레이트에 대한 최소 레벨의 품질 및/또는 최소 공간 크기를 제공하기 위해 비디오 카메라(18)로부터 획득된 비디오 비트 스트림의 적어도 일부분을 인코딩한다. 확장 계층 인코더(40)는 디코딩되는 경우에 증가된 품질을 제공하고 및/또는 하나 또는 그 이상의 더 큰 공간 포맷들을 허용하는 확장 계층들을 발생하기 위해 비디오 비트 스트림의 추가 부분들을 인코딩한다. 확장 계층들은 계층들이 그들이 디코딩됨에 따라 점차적으로 증가하는 품질을 제공하는 인지하여 계층적일 수 있다. 예를 들어 모든 확장 계층들의 디코딩은 최대 품질 및 최대 공간 크기를 발생할 수 있지만 단지 제 1 확장 계층의 디코딩은 단지 기본 계층의 디코딩과 관련하여 품질에서 점진적인 증가를 발생할 것이다.
확장 계층들은 이미지 프레임 품질을 증가시키면서 제 1 크기로부터 제 2 크기로의 공간 확장가능성을 허용할 수 있다. 선택적으로, 몇몇 실시예들에서, 확장 계층들은 제 1 크기로부터 제 2 크기로, 제 2 크기로부터 제 3 크기로 및 가능하면 제 3 크기로부터 하나 또는 그 이상의 더 큰 크기들로 공간 확장성을 허용할 수 있다. 예를 들어, 확장 계층들은 비디오 프레임 또는 시퀀스가 QCIF로부터 CIF로만 또는 CIF로부터 VGA(비디오 그래픽 어레이)로만, 또는 VGA로부터 SVGA(수퍼 VGA)로 만 스케일링되도록 할 수 있다. 선택적으로, 확장 계층들은 비디오가 QCIF로부터 CIF로, CIF로부터 VGA로 및 VGA로부터 SVGA로 스케일링되도록 할 수 있다. QCIF, CIF, VGA, SVGA가 설명을 위해 언급되지만, 다른 공간 크기들 및 포맷들이 대안 및 부가사항으로서 가능하다.
동작에서, 기본 계층 디코더(42)는 디스플레이 디바이스(28) 상에 표시하기 위해 비디오 카메라(18)에 의해 획득된 비디오 비트 스트림의 일부를 생성하기 위해 채널(16)을 통해 수신된 기본 계층을 디코딩한다. 확장 계층 디코더(44)는 사용가능한 경우에 하나 또는 그 이상의 확장 계층들을 디코딩함으로써 디코딩된 비디오의 품질을 증가시킨다. 다시, 수신 디바이스(14)에 의해 수신되는 확장 계층들의 수는 채널 조건들 및 다른 제한들에 따라 결정될 수 있다. 또한, 확장 계층 디코더(44)에 의해 처리된 수신된 확장 계층들의 수는 디코더 제한들에 따라 결정될 수 있다. 일반적으로, 기본 계층의 인코딩 및 디코딩은 선택된 확장 계층들의 수와 함께 디코딩된 비디오의 SNR 품질에서의 증가하는 개선을 허용한다.
SNR 확장성에 부가하여, 공간 확장성을 제공하는 것이 바람직하다. 본 개시물에 따라, 시스템(10)은 일반화된 FGS 코딩 접근방식을 통해 공간 확장성을 지원하도록 구성된다. 하기에서 설명되는 것과 같이, 시스템(10)은 다중-계층 FGS-인코딩된 비디오 내의 각각의 확장 계층이 기본 계층의 비디오 품질을 균일하게 개선하도록 보장하기 위해 서로 다른 비디오 블럭들에 대한 코딩된 계수들 및 구문 엘리먼트들을 사이클들 내에서 인터리빙함으로써 공간 확장성을 부분적으로 달성할 수 있다.
FGS를 통해 공간 확장성을 달성하기 위한 부분 디코딩은 에러들을 발생할 수있다. 상기 이유로, 시스템(10)은 드리프트를 감소시키기 위한 프레임 내 예측에서 누설 예측, 공간 에러 전파를 감소시키기 위한 인트라 블럭들에 대한 공간 DC 모드 및 인트라 예측을 위해 기본 계층 내의 픽셀들만을 사용하는 제약을 포함하여 에러 전파를 억제하기 위한 하나 또는 그 이상의 방법들을 적용할 수 있다. 시스템(10)은 확장 계층이 예측되는 방식, 예컨대 인트라 예측되는지 또는 인터 예측되는지의 여부 및 블럭이 분할되는 방식을 설명하는 구문 엘리먼트들을 전송할 수 있다. 시스템(10)은 또한 선택적인 기준에 따라 FGS 공간 확장성 또는 불연속 공간 확장성을 지원할 수 있다. 다시 말해서, 시스템(10)은 네트워크 조건들, 채널 조건들, 디코더 성능들 또는 다른 고려사항들에 기초하여 불연속 확장 계층들을 통해 FGS 공간 확장성 및 확장성을 지원하고 이들 사이에서 변화한다.
도 4는 비디오 프레임의 FGS 코딩에서 사용되는 지그재그 스캔된 블럭들을 설명하는 도면이다. 도 4의 예에서, 블럭들(46A, 46B, 46C)이 비디오 프레임의 확장 계층 내의 최초 3개 블럭들이라고 가정한다. 상기 예에서, 각각의 블럭(46A, 46B, 46C)은 계수들의 4x4 블럭이다. 블럭들(46A, 46B, 46C)은 변환 영역 내에 도시된다. 결과적으로, 블럭(46A, 46B, 46C) 내의 각각의 숫자 또는 변수는 무손실 엔트로피(entropy) 코딩 프로세스에 의해 코딩될 양자화된 계수이다. 예를 들어, 블럭(46A) 내의 참조 번호(41)에 의해 표시되는 것과 같이 대문자 "S"로 시작하는 라벨을 가지는 계수는 비제로(nonzero) 표시 계수이다. 상기 블럭(46A)는 FGS SNR 확장성 확장 계층 내에 있기 때문에, 블럭 내의 각각의 계수에 대하여, 기본 계층 내에 상응하는 계수가 존재한다.
비제로 표시 계수에 대하여, 각각의 값은 비제로이고, 그 상응하는 기본 계층 계수는 제로이다. 예를 들어, 계수 "S0,1"는 지그재그 스캔 인덱스 "1"에서 블럭 "0" 내의 비제로 표시 계수에 상응한다. "0"으로 표시된 계수는 제로 계수이고, 그 상응하는 기본 계층 계수 또한 제로이다. 블럭(46A) 내의 참조 번호(43)에 의해 표시되는 것과 같이 대문자 "R"로 시작하는 라벨을 가지는 계수는 비제로, 즉 중요한 상응하는 기본 계층 계수를 가지는 미세조정(refinement) 계수이다. 미세조정 계수의 값은 제로 또는 비제로가 될 수 있다. 예를 들어, 계수 "R2, 2"는 지그재그 스캔 인덱스 "2"에서 블럭 "2" 내의 미세조정 계수이다. 확장 계층 계수들을 분류할 때, 유의성 맵이 종종 사용된다. 상기 맵은 기본 계층 내에서 이미 중요한 계수들의 위치들을 표시한다. 확장 계층 내의 상기 위치들에서 계수들은 미세조정 계수들이다.
본 명세서에서 설명된 것과 같이, 확장 계층 인코더(40)는 ITU-T H.264에 의해 고려되는 엔트로피 코더와 같은, 기본 계층을 코딩할 때 사용되는 엔트로피 코더로의 확장으로 보여질 수 있다. 특히, 확장 계층에서 사용되는 블럭 분할, 변환 및 양자화는 기본 계층에서 사용되는 것들과 유사하다. 제로들을 더 효율적으로 코딩하기 위해, 코딩된 블럭 플래그(CBF) 및 블럭 종료(EOB)와 같은 구문 엘리먼트들이 사용될 수 있다. 유사한 구문 엘리먼트들이 또한 기본 계층 코딩에서 사용된다. CBF는 각각의 블럭에 대하여 한번식 전송되고, 블럭 내의 비제로 중요 계수의 존재를 표시한다. 만약 CBF가 0이면, 비제로 중요 계수는 존재하지 않고, 그렇지 않으면 적어도 하나의 비제로 중요 계수가 존재한다. EOB 플래그는 막 코딩된 비제로 중요 계수가 스캐닝 순서에서 최종 비제로 중요 계수인지를 표시하도록 사용된다.
기본 계층 인코더(38)와 확장 계층 인코더(40) 간의 한가지 차이는 미세조정 계수들의 FGS 계층 내의 다른 계수들과의 구분 및 코딩 순서에 있다. 기본 계층에서 블럭은 다음 블럭이 코딩되기 전에 완전히 코딩된다. 그러나 본 개시물의 일 실시예에 따라, 확장 계층 인코더(40)의 한가지 특징은 서로 다른 블럭들로부터의 계수들이 서로 인터리빙되는 것이다. 블럭들의 계수들은 사이클들 내에서 코딩된다. 각각의 사이클에서, 주어진 블럭으로부터 단지 몇몇 계수들만이 코딩된다. 상기 방식에서, 확장 계층 인코더(40)는 비트 스트림이 절단되면 비디오 품질에 대한 개선이 더 균일해지는 것을 보장한다.
도 5는 지그재그 순서로 배열된 서로 다른 비디오 블럭들(46A, 46B, 46C)에 대한 구문 엘리먼트들 및 계수들의 예시적인 코딩 순서를 설명하는 다이어그램이다. 도 6은 각각의 블럭으로부터의 계수들이 수평으로 지그재그 순서로 배열되는 구문 엘리먼트들의 전송을 위한 예시적인 코딩 순서를 도시한다. 각각의 계수는 도 5 및 도 6에서 블럭에 의해 표시된다. 도 5 및 도 6의 예에서, 거의 1개의 비제로 계수는 단일 사이클 내에 주어진 블럭에 대하여 코딩되고, 사이클 인덱스는 지그재그 스캔 인덱스와 동일하게 발생한다. 그러나, 설계 고려사항들에 따라 사이클 인덱스가 서로 다르게 정의될 수 있고 하나 이상의 비제로 계수가 코딩될 수 있다. 도 5의 각각의 사이클은 도 4의 지그재그 순서에서 하나의 계수로부터 또다 른 계수로 변화하는 주어진 화살표에 상응한다.
도 5에 도시된 것과 같이, 사이클 0에 대하여, CBF는 각각의 블럭(46A, 46B, 46C)에 대하여 한번 전송되고, 블럭 내에 비제로 중요 계수가 존재하는 것을 표시한다. 예를 들어, CBF0/1은 제 1 블럭 0에 상응하고, 블럭 내에 비제로 중요 계수가 존재하는 것을 표시한다. 또한, 블럭 0으로부터의 제로 계수 "0" 및 비제로 계수 "S0,1" 는 사이클 0 내에서 전송되며, 상기 비제로 계수 "S0,1"는 지그 재그 스캔 인덱스 "1"에서 블럭 "0" 내의 비제로 중요 계수에 상응한다. 그러나, CBF1/0는 제 2 블럭 1에 상응하고, 블럭 내에 비제로 중요 계수가 존재하지 않는 것을 표시한다. 따라서, 후속 사이클 내에서 블럭 1에 대하여 어떤 계수들도 전송되지 않는다. 사이클 0은 추가로 블럭 2가 비제로 중요 계수 S2,0 및 계수 S2,0 자체를 포함하는 것을 표시하는 CBF2/1을 포함한다.
사이클 1은 사이클 0 내에서 막 코딩된 비제로 중요 계수(S2,0)가 스캐닝 순서에서 최종 비제로 중요 계수가 아닌 것을 표시하는 블럭 2에 대한 EOB 플래그(EOB2/0)를 포함한다. 나머지 사이클들에서, 블럭들의 코딩은 계속해서 스캔 지그재그 순서를 따르며, 적절한 경우에 CBF 및 EOB와 같은 구문 엘리먼트들을 포함한다. 도 4, 5, 6의 예는 비디오 프레임의 확장 계층 내에서 최초 3개의 4x4 블럭들에 관한 것이다. 그러나, 도 4-6에 도시된 일반적인 방식은 더 큰 크기들을 가지는 블럭들 뿐만 아니라 더 많은 수의 블럭들에 적합할 수 있다.
도 6은 서로 다른 비디오 블럭들에 대하여 전송 순서로 배열된 구문 엘리먼트들 및 계수들의 코딩 순서를 설명하는 다이어그램이다. 도 6의 코딩 순서는 구 문 엘리먼트들 및 계수들이 재배열되어 주어진 사이클 내에 전송되는 구문 엘리먼트들 및 계수들이 수평으로 리스트된다는 점을 제외하고 도 5와 동일하다. 도 6의 다이어그램에서, 구문 엘리먼트들 및 계수들은 위에서 아래로 증가하는 사이클 인덱스 순서로 전송되고, 각각의 사이클에서 이들은 좌에서 우로 전송된다.
예를 들어, 사이클 0은 제 1 블럭에 대한 CBF0/1 다음에 제로 계수, 다음에 S0,1을 도시하며, 상기 S0,1은 지그재그 스캔 인덱스 "1"에서 블럭 "0" 내의 비제로 중요 계수에 상응한다. 사이클 0은 추가로 블럭 1 내에 비제로 중요 계수가 존재하지 않는 것을 표시하는 CBF1/0, 및 CBF2/1 및 S2,0을 포함하며, 상기 S2,0은 블럭 2에 대한 비제로 중요 계수를 표시하고 이를 제공한다. 프로세스는 지그재그 스캔 순서에서 사이클들 1-15 동안 계속되며, 상기 경우에 각각의 사이클은 도 4에서 하나의 화살표 변화에 상응한다.
공간 확장성은 비디오 디코더(26)가 확장가능한 비디오 비트 스트림으로부터 확장 계층 비트 스트림을 디코딩함으로써 1/4 공통 중간 포맷(QCIF) 대신에 CIF와 같은 더 높은 공간 분해능의 비디오 신호를 재구성하고 디스플레이하도록 한다. 도 4-6의 구문 엘리먼트들 및 계수들의 예시적인 순서는 공간 확장성 및 FGS SNR 확장성에 대한 일반화된 FGS 포맷의 사용을 지원한다. 기본 계층 비트 스트림을 디코디하는 것은 디코더(26)가 더 낮은 공간 분해능의 비디오를 획득하도록 하는 반면, 하나 또는 그 이상의 확장 계층들의 디코딩은 디코더가 기본 계층 공간 분해능에 대한 SNR을 개선하고 및/또는 공간 분해능을 더 큰 포맷으로 증가시키도록 한다.
도 7A는 공간 확장성 확장 계층 비트 스트림을 포함하는 다중-계층 비트 스트림들을 설명하는 다이어그램이다. 도 7B는 도 7A의 공간 확장성 비트 스트림들에 대한 레이트-왜곡(R-D) 성능을 설명하는 다이어그램이다. 도 7A 및 7B는 공간 학장성 및 FGS SNR 확장성 모두의 예를 제공한다. 기본 계층(45)을 디코딩하는 것은 도 7A의 비트 스트림 1을 생성하여 디코더(26)가 예컨대 30 초당 프레임(fps)으로 최소 품질(SNR) 레벨에서의 QCIF 공간 분해능과 같이 상대적으로 낮은 공간 분해능 비디오를 획득하도록 한다. 도 7A의 비트 스트림(2)은 예컨대 3dB와 같은 일부 양만큼 QCIF 비디오 품질(SNR)을 개선하는 제 1 FGS 확장 계층 비트 스트림(47) 내에 제공된다.
확장 계층(49)의 디코딩은 공간 확장성을 지원하는 추가 비트 스트림 3을 제공한다. 도 7A 내의 확장 계층(49) 내의 비트 스트림(3)을 디코딩하는 것은 디코더(26)가 30fps로 예컨대 CIF 공간 분해능과 같은 더 높은 공간 분해능의 비디오를 획득하도록 한다. 확장 계층(51)은 FGS SNR 확장성을 가지는 추가 비트 스트림 4을 제공한다. 확장 계층(51)의 디코딩은 CIF 비디오 품질을 추가로 개선하지만, 결과적인 비디오의 공간 분해능에 영향을 미치지 않는다. 도 7A에 도시된 것과 같이, 기본 계층(45), 확장 계층(47), 확장 계층(49) 및 확장 계층(51)은 전체 전송에 대한 채널 대역폭 중 각각 96 초당 킬로비트(kbps), 192kbps, 384kbps, 512kbps를 요구한다. 상기 예에서, 확장 계층의 비트 레이트는 모든 더 낮은 계층들의 비트 레이트를 포함한다. 예를 들어, 계층(47)의 192kbps의 비트 레이트는 계층(45)의 96kbps 비트 레이트를 포함한다. 유사하게, 계층(49)의 384 kbps 비트 레이트 는 계층(47)의 192kbps 비트 레이트 및 계층(45)의 96kbps 비트 레이트를 포함한다.
시스템(10)은 본 개시물에 따라 일반화된 미세 입도 확장성(FGS)을 지원하도록 구성된다. 상기 경우에, 시스템(10)은 공간 확장성이 개별 확장 계층들을 전송함으로써 실행되는 다른 시스템들에 개선점을 제공한다. FGS에서, 개별 확장 계층을 전체적으로 프로세싱하는 대신에, 공간 확장가능한 확장 계층 또는 계층들을 가상의 임의의 포인트에서 절단하는 것이 가능하다. 따라서, 도면들에서 디코더(6)는 전체 확장 계층 비트 스트림을 해석 및 디코딩하지 않고 비디오 프레임들의 공간 분해능을 증가시킬 수 있다. 그러나, 시스템(10)은 부분적인 디코딩으로 인한 에러 전파를 감소시키기 위해 하나 또는 그 이상의 방식들을 추가로 실행한다.
도 7B는 서로 다른 비트 레이트들 및 공간 분해능들에 대하여 피크 신호-대-잡음비(PSNR)를 데시벨(dB)로 도시한다. 특히, 도 7B는 CIF 및 QCIF 레이트-왜곡(RD) 곡선들을 도시한다. 도 7B의 예에서, CIF 및 QCIF 레이트-왜곡 곡선들은 비트 레이트 변화와 관련하여 해체된다. 도 7B의 참조 번호(53)는 QCIF SNR 확장성 경로를 식별하는 반면, 참조 번호(55)는 CIF SNR 확장성 경로를 식별한다. 참조 번호(57)는 점진적이고 실질적으로 연속하는 QCIF 및 CIF 사이의 FGS 공간 확정성 경로를 도시하는 반면, 참조 번호(59)는 급작스러운 불연속 확장 계층 공간 확장성 경로를 도시한다.
도 7B의 표시들은 도 7A에 도시된 계층들을 참조하여 하나의 포인트로부터 또다른 포인트로의 SNR 및/또는 공간 확장성을 증가시키기 위해 사용되는 기본 계 층 및 확장 계층들의 조합들을 표시한다. 예를 들어, "1만"은 도 7A의 기본 계층 비트 스트림만이 최소 SNR 품질의 QCIF 비디오 프레임을 생성하기 위해 디코딩되는 것을 표시한다. 표시 "1+부분적인 2"는 기본 계층 비트 스트림 및 제 1 확장 계층 비트 스트림의 일부분 모두가 개선된 SNR 품질을 가지는 QCIF 비디오 프레임을 생성하기 위해 디코딩되는 반면, "1+2"는 개선된 SNR 품질을 달성하기 위해 기본 계층 비트 스트림 및 제 1 확장 계층 비트 스트림 모두의 완전한 디코딩을 표시한다. 표시 "1+2+부분적인 3"은 본 실시예에 따라 일반화된 FGS 접근방식을 사용하는 확장 계층 3의 부분적인 디코딩에 의해 허용되는 QCIF로부터 CIF로의 공간 확장성 경로를 식별한다.
시스템(10)은 본 개시물에서 설명된 것과 같이, FGS 포맷으로 공간 확장가능한 확장 계층들을 전송함으로써 공간 분해능 확장을 위한 일반화된 FGS를 제공한다. 상기 접근 방식은 공간 확장가능한 확장 비트 스트림들이 특정 네트워크/채널 조건들 및/또는 디코더 성능들에 적합하도록 임의의 포인트에서 절단되는 것을 허용한다. 상기 방식에서, 더 양호한 네트워크/채널 조건들 및/또는 더 높은 성능들을 가지는 디코더들은 더 많은 비트들이 수신되고 디코딩되는 동안 더 높은 공간 분해능 및 계속해서 개선되는 비디오 품질을 가지는 비디오를 재구성할 수 있다. 공간 확장성을 위한 일반화된 FGS 접근 방식의 사용은 불연속 확장 계층들의 완전한 디코딩에 상당한 개선점을 제공한다.
공간 분해능 확장을 위한 일반화된 FGS에서, 서로 다른 공간 분해능을 가지는 비디오에 대한 R-D 곡선들은 비트 레이트 변화와 관련하여 함께 결합될 것이다. 상기 방식에서, 공간 분해능 확장을 위한 일반화된 FGS는 곡선 59와 같이 해체된 R-D 곡선들보다는 QCIF(53) 및 CIF(55)과 같은 서로 다른 공간 분해능 곡선 사이에서 실질적으로 연속하는 R-D 곡선(57)에 계속해서 개선되는 비디오 품질을 제공한다. 특히, 도 7A의 기본 계층 및 제 1 확장 계층의 전체 디코딩을 표시하는 QCIF SNR 곡선(53) 위의 포인트 1+2와 도 7A의 기본 계층 및 제 2 확장 계층의 전체 디코딩을 표시하는 불연속 공간 확장 계층의 포인트 1+3 사이에 차이(gap)가 존재하는 것에 유의하자.
일 예로서, 도 7A의 다이어그램 및 도 7B의 연관된 그래프를 참조하여, 기본 계층 1에 의해 제공된 QCIF 비디오보다 CIF 비디오를 생성하는 것이 바람직한 것으로 가정된다. 그러나, 채널 조건들은 불연속 확장 계층(49)의 전체 전송 및 디코딩을 위해 요구되는 384 초당 킬로비트(kbps)를 지원하지 않는 것으로 추가로 가정된다. 상기 경우에, FGS 확장 계층(47)은 384kbps 미만의 비트 레이트로 CIF 비디오를 획득하기 위해 허용가능한 레벨로 절단될 수 있다. 이는 288kbps(비트 스트림 2의 0%가 전송될 때) 및 384kbps(비트 스트림 2의 100%rk 전송될 때) 사이의 연속적인 품질 개선을 허용하지만, 상기 비트 스트림 절단의 R-D 성능은 도 7B의 곡선(59; 1+부분적인 2+3, "이전 절단 경로")에 의해 표시되는 것과 같이 부최적(sub-optimal)이 될 수 있다. 상기 경우에, 1+부분적인 2+3은 기본 계층 1의 전체 디코딩, FGS 확장 계층 2의 부분 디코딩 및 불연속 확장 계층 3의 전체 디코딩을 표시한다. 상기 R-D 성능은 바람직하지 않다. 일반화된 FGS를 허용할 때, 불연속 확장 계층 3의 전체 디코딩 대신에, 2개의 공간 분해능들을 연결하는 R-D 성 능 곡선은 곡선 59(1+부분적인 2+3)로부터 곡선 57(1+2+부분적인 3 "새로운 절단 경로")로 개선될 것이며, 이는 실질적으로 QCIF 곡선(53) 및 CIF 곡선 55 사이의 전체 공간 스케일을 차지한다.
따라서, 서로 다른 공간 분해능 비디오 사이의 해체된 R-D 곡선들을 방지하고 및/또는 덜 바람직한 코딩 성능을 방지하기 위해, 시스템(10)은 공간 분해능 확장을 위한 일반화된 FGS를 제공하도록 구성된다. 양호한 코딩 성능을 가지는 일반화된 FGS를 사용하여 공간 확장성을 성립하기 위해, 하나 또는 고유한 코딩 방식들이 에러 전파를 억제하기 위해 단독으로 또는 결합하여 적용된다. FGS 공간 확장성을 지원하기 위한 확장 계층들의 부분 디코딩은 상당한 에러 전파를 발생할 수 있다. 본 개시물에 개시된 추가의 방식들은 에러 전파를 억제하는데 유효할 수 있고, 그렇지 않으면 계속해서 개선되는 비디오 품질로 공간 확장성을 달성하기 위한 일반화된 FGS의 사용을 발생할 수 있다.
예를 들어, 일 실시예에서, 시스템(10)은 드리프트를 감소시키기 위한 인트라-프레임 예측에서 누설 예측 방식, 공간 에러 전파를 감소시키기 위한 인트라 블럭들에 대한 특정 DC 모드 및/또는 인트라 예측을 위한 기본 계층 내의 픽셀들만을 사용하는 제한조건을 적용한다. 부가적으로, 시스템(10)은 확장 계층이 예측되는 방식, 예컨대 확장 계층이 인트라-예측되는지 또는 인터-예측되는지의 여부 및 블럭이 분할되는 방식을 설명하는 구문 엘리먼트들을 전송할 수 있다. 몇몇 실시예들에서, 시스템(10)은 또한 선택적인 기준에 따라 FGS 공간 확장성 또는 불연속 공간 확장성을 지원할 수 있다. 상기 추가 에러 감소 방식들의 각각은 하기에서 상 세히 설명될 것이다.
FGS 계층 스트림들은 양자화된 잔여 변환 계수들만을 포함하고, 어떤 모드 및 모션 정보도 포함하지 않을 수 있다. FGS를 사용하여 공간 확장성을 달성하기 위해, 모드 및 모션 정보 또한 전송되어야 한다. 이는 불연속 확장 계층들에 대하여 정의된 것과 유사한 구문들을 사용하여 달성될 수 있다. 마크로 블럭 모드에 대하여, 인트라(I) 모드들(I_NxN, I_16x16), 인트라(I)_BL(기본 계층) 모드 및 인터(P 또는 B) 모드들이 지원될 수 있다. I_BL 모드는 인터 계층 문자 예측 모드이다. 상기 모드에서, 확장 계층 내의 픽셀들의 블럭은 기본 계층 내의 재구성된 픽셀들로부터 예측된다. 만약 확장 계층의 분해능이 기본 계층과 서로 다르면, 기본 계층 재구성 픽셀들은 확장 계층 분해능으로 적절히 업샘플링되어야 한다. 만약 확장 계층의 분해능이 기본 계층과 동일하면, 누설 예측 기술을 실시하기 위한 기본 계층 재구성 픽셀들의 업샘플링은 불필요하다. 대신에, 누설 예측은 업샘플링 없이 성립될 수 있다. 업샘플링이 필요한 경우에, 다양한 보간 기술들 중 임의의 보간 기술이 업샘플링을 위해 사용될 수 있다. 모션 벡터들 및 참조 화상 인덱스에 대하여, 이들은 확장 계층 비트 스트림에서 직접 전송되거나 기본 계층 비트 스트림으로부터 유도되거나 미세조정될 수 있다.
도 8A는 FGS 확장 계층의 부분 디코딩으로 인해 인코더 및 디코더에서 서로 다른 참조 프레임들의 사용에 의해 발생되는 드리프트 문제들을 설명하는 다이어그램이다. 도 8B는 도 8A에 도시된 드리프트 문제을 감쇠시키기 위해 기본 계층으로부터의 부분 예측, 즉 누설 예측을 설명하는 다이어그램이다. FGS 비트 스트림의 부분 디코딩, 즉 비트 스트림 절단은 드리프트 문제를 발생할 수 있다. 특히, 디코더(26)가 마크로 블럭들을 재구성하기 위해 부분적으로 수신된 확장 계층 비트 스트림을 사용하고, 이후에 인터-예측에서 동일한 마크로 블럭들을 사용할 때, 도 8A에 도시된 것과 같이 인코더와 디코더 사이에 미스 매치가 존재한다. 누설 예측 방식은 본 개시물에 따라 드리프트 문제를 적어도 부분적으로 감소시킬 수 있다. 누설 예측에서, 도 8B에 도시된 것과 같이, 예측 신호는 FGS 확장 계층으로부터 (예컨대 인자 a에 의해, 상기 0<=a<1) 부분적으로 형성되고, 기본 계층으로부터 (예컨대 1-a의 인자에 의해) 부분적으로 형성된다. 기본 계층 신호가 항상 완전히 수신되기 때문에, 확장 계층의 부분 디코딩으로 인한 임의의 에러들 E은 인자 "a" 민큼 감쇠될 것이고, 후속 프레임들에서 a*E, a2*E, a3*E 등이 된다.
도 9는 이웃 픽셀들의 부분 디코딩에 의해 발생된 드리프트 에러를 설명하는 다이어그램이다. 도 10은 드리프트 에러를 감쇠시키기 위해 누설 예측 방식을 사용하는 이웃 픽셀들의 구성을 설명하는 다이어그램이다. 시스템(10)은 인트라-마크로 블럭들 뿐만 아니라 인터-마크로 블럭들로 누설 예측을 확장하도록 구성될 수 있다. 도 9의 예에서, 참조 번호(50)는 현재 I_4x4 블럭을 표시하고, 참조 번호(52)는 인코더 측에서 예측시 사용되는 이웃 픽셀들을 표시하며, 참조 번호(54)는 부분 디코딩을 사용하는 디코더 측에서 예측시 사용되는 이웃 픽셀들을 표시한다. 인트라 예측에 대하여, 블럭의 픽셀들은 이웃의 이전에 디코딩된 블럭들의 에지 픽셀들로부터 예측된다. 확장 계층 블럭들의 부분 디코딩은 비디오 블럭의 인 트라 예측을 위해 디코더에 의해 사용되는 이웃 픽셀들이 인코더에 의해 사용되는 것과는 서로 다르도록 하며, 따라서 드리프트 에러를 발생한다.
도 9는 누설 예측 방식을 위한 인트라(I)_4x4 대각 모드의 일 예를 도시한다. 도 9의 예에서, 현재 블럭(50)에 대하여, 이웃 블럭들을 표시하는 확장 계층 비트들의 부분 디코딩은 디코더 측에서 I_4x4 대각 모드 내에서 사용되는 이웃 픽셀들(54)이 인코더 측에서 사용되는 이웃 픽셀들(52)과 서로 다르도록 한다. 다시 말해서, 주어진 블럭(50)을 예측하기 위해 사용되는 이웃 픽셀들은 디코더만이 확장 계층 비트들을 부분적으로 디코딩할 때 디코더와 인코더에서 서로 다를 수 있다. 따라서, 예측된 4x4 블럭은 변경되며, 재구성된 블럭 내에서 드리프트 에러들을 발생한다. 상기 드리프트 에러는 현재 블럭(50) 내의 픽셀들이 디코더 측에서 다음 블럭들의 예측시 사용될 때 이웃 4x4 블럭들에 다시 전파되며, 따라서 잠정적으로 심한 에러 전파를 발생한다.
누설 문제를 감쇠시키기 위해, 도 10은 4x4 예측 블럭(58)이 확장 계층 이웃 픽셀들로부터 구성된 예측 블럭(54)과 업샘플링된 기본 계층 예측 블럭(56)의 가중된 평균(가중 인자 a를 사용함)에 의해 형성되는 누설 예측 기술의 애플리케이션을 도시한다. 예측 블럭을 형성하기 위해 사용되는 업샘플링된 기본 계층 픽셀들은 실제 블럭에 상응하는 픽셀들이 예측되도록 한다. 확장 계층으로부터 구성된 예측 블럭을 형성하기 위해 사용되는 픽셀들은 예측될 실제 블럭의 에지를 따라 이전에 디코딩 블럭들로부터의 이웃 픽셀들이다. 디코더 측에서, 결과적인 예측 블럭(58)의 픽셀 값들은 인자 a가 곱해진 확장 계층 비디오 블럭의 이웃 픽셀들로부터 재구 성된 예측 블럭과 1-a의 인자가 곱해진 업샘플링된 기본 계층 예측 블럭(56)으로부터 재구성된 예측 블럭의 합이다.
각각의 경우에, 확장 계층 예측 블럭으로부터의 이웃 픽셀들은 인트라 블럭을 예측하기 위해 업샘플링된 기본 계층 예측 블럭과 결합하여 사용된다. 확장 계층에 대하여, 모든 블럭들이 수신될 수 있는 것은 아니며, 그 결과 부분 디코딩만을 발생한다. 확장 계층 예측 블럭과 업샘플링된 기본 계층 예측 블럭의 이웃 픽셀들의 가중된 평균은 재구성된 블럭(58)에서 드리프트 에러들을 감소시키도록 하고, 공간 FGS 코딩에서 확장 계층의 부분적인 디코딩에 의해 제공되는 잠정적인 문제들을 완화한다.
따라서, 누설 예측 방식에서, 확장 계층 이웃 픽셀들로부터 형성된 예측 블럭 및 업샘플링된 기본 계층 픽셀들로부터 형성된 예측 블럭은 확장 계층 예측 블럭과 동일한 분해능으로 기본 계층 예측 블럭을 제공한다. 그러나, 몇몇 실시예들에서 만약 기본 계층 및 확장 계층이 동일한 공간 분해능을 가지면, 기본 계층 픽셀은 업샘플링되어야할 필요가 없다. 대신에, 누설 예측은 업샘플링 없이 수행될 수 있다. 기본 계층 픽셀들의 업샘플링은 확장 계층에 의해 정의된 비디오가 기본 계층에 의해 정의된 비디오의 분해능보다 큰 분해능인 경우에 수행된다. 인트라_4x4 예측이 도 9 및 도 10에서 일 예로서 사용되지만, 누설 예측 방식은 명도 샘플들의 인트라_8x8 또는 인트라_16x16 예측 또는 채도 인트라 예측과 같은 다른 인트라 예측 타입들에 적용될 수 있다. 도 10이 예에서, 디코더(26)는 드리프트 에러를 감쇠시키는 예측 블럭을 생성하기 위해 확장 계층 이웃 픽셀들로부터 구성된 예측 블럭을 가중치 a로 가중하고, 업샘플링된 기본 계층 예측 블럭을 가중치 1-a로 가중하기 위해 누설 예측을 적용한다. 그러나, 더 많은 복소 가중 함수들을 포함하는 다른 인자들 또는 가중들은 예컨대 하기에서 설명되는 것과 같이 드리프트 에러를 감소시키기 위해 사용될 수 있다.
도 9 및 도 10에 도시된 것과 같은 인트라-코딩된 블럭들에 대한 누설 예측은 에러 전파를 억제하고 일반화된 FGS 기술에서 개선된 품질을 촉진한다. 비트 스트림이 부분적으로 디코딩되면, 다른 기술들이 사용될 수 있다. 만약 상당한 양의 확장 계층 비트 스트림이 몇몇 포인트에서 몇몇 블럭들에 대하여 수신되지 않으면, 이웃 예측은 기본 계층 예측보다 불량할 수 있다. 이웃 픽셀들 및 기본 계층 예측자들로부터 구성된 예측자들 사이의 가중된 평균인 예측자들을 계산할 때 사용되는 가중 인자는 동적으로 조절가능하게 형성될 수 있다. 가중 인자의 값은 디코딩된 비트 스트림의 양에 따라 결정될 수 있다. 만약 더 많은 비트 스트림이 디코딩되면, 이웃 픽셀들로부터 구성된 예측자들에 대한 가중 인자는 더 높아질 수 있다. 전체 확장 계층 비트 스트림이 디코딩될 때 사용된 가중 인자는 내용에 따라 결정될 수 있다. 예를 들어, 인트라-예측에 적용된 가중 인자 값은 기본 계층이 예측된 방식에 따라 결정될 수 있다.
도 11은 도 10에 도시된 것과 같은 누설 예측 기술의 동작을 설명하는 흐름도이다. 도 11에 도시된 것과 같이, 디코더(26)는 기본 계층 비디오 블럭들(57)을 재구성하기 위해 FGS 기본 계층을 디코딩하고, 확장 계층 비디오 블럭들(59)을 재구성하기 위해 하나 또는 그 이상의 FGS 확장 계층들을 적어도 부분적으로 디코딩 한다. FGS 확장 계층들이 오직 부분적으로 디코딩될 수 있기 때문에, 디코더(26)는 인트라-코딩된 블럭들의 디코딩을 위해 누설 예측 기술을 적용한다. 상기 이유에 대하여, 인트라-코딩된 예측 블럭을 재구성하기 위해 부분적으로 디코딩된 확장 계층으로부터의 이웃 픽셀들에 의존하는 것은 인코더 및 디코더 측에서 서로 다른 픽셀들의 사용 가능성으로 인해 상당한 드리프트 에러를 발생할 것이다.
누설 예측 기술을 실행하기 위해, 예시적인 실시예에서, 디코더(26)는 기본 계층 픽셀들(61)을 업샘플링하고, 업샘플링 기본 계층 픽셀들(63)로부터 제 1 예측 블럭을 형성한다. 기본 계층 픽셀들은 확장 계층 분해능이 기본 계층 분해능보다 큰 경우에 확장 계층의 분해능으로 업샘플링 될 수 있고, 따라서 예측될 인트라-코딩된 블럭의 분해능에 상응하는 예측 블럭을 발생한다. 만약 확장 계층 및 기본 계층의 분해능들이 동일하면, 기본 계층 픽셀들을 업샘플링하는 것은 불필요하다. 대신에, 누설 예측 기술은 업샘플링되지 않은 기본 계층 필셀들로부터 형성된 예측 블럭에 기초하여 진행할 수 있다. 따라서, 기본 계층 픽셀들이 업샘플링은 선택적이며, 확장 계층 분해능이 기본 계층 분해능보다 클때 적용된다. 도 1을 추가 참조하여, 디코더(26)는 또한 상응하는 확장 계층 비디오 블럭(65)의 이웃 픽셀들로부터 제 2 예측 블럭을 형성한다. 특히, 디코더(26)는 예측될 인트라-코딩된 블럭을 이수하는 디코딩된 확장 계층에서 픽셀들을 선택한다. 제 1 및 제 2 예측 블럭들을 사용할 때, 디코더(26)는 인트라-코딩된 블럭(67)을 예측한다.
특히, 도 11의 예에 도시된 것과 같이, 디코더(26)는 업샘플링된 기본 계층 픽셀들로부터 발생된 제 1 예측 블럭 및 확장 계층 블럭(67) 내의 이웃 픽셀들로부 터 발생된 제 2 예측 블럭의 가중된 합에 기초하여 인트라 블럭을 예측한다. 상기 방식에서, 기본 계층 및 확장 계층 픽셀들을 결합함으로써, 디코더(26)는 확장 계층의 부분 디코딩으로 인해 발생하는 드리프트 에러의 양을 감소시킨다. 누설 예측 기술은 비디오 슬라이스 내의 몇몇 또는 모든 인트라-코딩된 블럭들에 적용될 수 있다. 각각의 경우에, 확장 계층 이웃 픽셀들 및 기본 계층 픽셀들의 서로 다른 조합은 예측될 인트라-코딩된 블럭에 상응하도록 선택된다.
누설 예측에 부가하여, 공간 확장성을 위한 일반화된 FGS 접근 방식은 공간 에러 전파를 방지하기 위해 인트라 매크로 블럭들에 대한 특정 DC 모드를 제공할 수 있다. 기본 계층 정보를 사용하는 누설 예측에서, DC 계수는 블럭의 상부 좌측 코너 내의 계수를 지칭하며, 이웃 블럭들로부터 유도된 예측을 사용하여 인코딩된다.
공간 에러 전파를 완화시키기 위해, 시스템(10)은 일반화된 FGS에 대한 특정 DC 모드를 제공하도록 구성된다. 모든 인트라 매크로블럭 타입들(I_4x4. I_8x8, I_16x16을 포함함)은 상기 특정 DC 모드를 사용할 수 있다. 특정 DC 모드가 사용될 때, NxN 블럭(N=4, 8, 또는 16)의 DC 계수는 이웃 블럭들 내의 정보로부터 유도된 임의의 값 대신에 인코더 및 디코더 모두에 의해 공지된 디폴트 값으로부터 예측되며, AC 계수들은 임의의 예측 없이 코딩된다. 따라서, 특정 DC 모드는 이웃 블럭들로부터의값의 유도를 방지하며, 대신에 미리 결정된 디폴트 값에 의존한다. 상기 개시물에서, 특정 DC 모드는 에러 전파를 제어하기 위해 사용되며, 심지어 모든 필요한 이웃 블럭들이 인트라 예측에서 사용가능한 경우에 사용될 수 있다. DC 값을 코딩하는데 필요한 비트들이 개수는 양자화 파라미터에 기초하여 결정된다. 비트들의 개수가 결정되면, DC 값은 고정-길이 코딩을 사용하여 코딩될 수 있다. DC 값은 다른 가변 길이 코드들을 사용하여 코딩될 수 있다.
도 12는 비디오 블럭의 특정 DC 모드의 애플리케이션을 설명하는 다이어그램이다. 특히, 도 12는 4x4 블럭을 일 예로 사용하는 I_4x4 특정 DC 모드의 인코딩을 도시한다. 도 12의 예에 대하여, I_8x8 특정 DC 모드는 8x8 블럭 변환이 사용되고 DC 계수가 8x8 블럭으로부터 계산된다는 점을 제외하고 I_4x4 특정 DC 모드와 유사하다. I_16x16 특정 DC 모드에 대하여, ITU-T H.264 내에서 정의되는 변환 전략이 사용될 수 있고, DC 계수는 도 15에 도시된 것과 같은 하마다르 변환의 애플리케이션 이후인 블럭(94) 내의 DC 계수이다.
특정 DC 모드는 엑스트라(extra) 모드로서, 즉 다른 성립된 인트라 예측 모드들에 부가하여 인코딩되 비트 스트림과 함께 전송될 수 있다. 예를 들어, ITU-T H.264 표준에서, 당업자에게 공지된 9개의 성립된 I_4x4 예측 모드들이 이미 존재한다. 만약 특정 DC 모드가 엑스트라 모드이면, 이는 10번째 모드가 될 수 있다. I_16x16 마크로 블럭에 대하여, 특정 DC 모드는 15번째 모드가 될 수 있다. 선택적인 구현에 따라, 특정 DC 모드는 이미 성립된 모드를 대체할 수 있다. 추가의 대안으로서, 특정 DC 모드는 비트 스트림으로부터 유도될 수 있는 특정 조건들에서 원래의 DC 모드를 대체할 수 있다.
도 12에 도시된 것과 같이, 인코더(20)는 I_4x4 블럭(60)을 인코딩하기 위해 특정 DC 모드를 적용한다. 인코더(20)는 4x4 블럭 변환(61)을 블럭(60)에 적용하 고, DC 계수 예측(62)과 함께 예측자(70)를 적용하여 인코더 및 디코더 모두에 공지된 디폴트 DC 계수 값을 생성한다. 인코더(20)는 양자화(63)를 DC 예측 이후 변환된 블럭에 적용하며, 그 후에 엔트로피 코더(64)를 적용하여 전송될 인코딩된 블럭을 생성한다. 역 프로세스가 블럭을 재구성하기 위해 사용된다. 예를 들면, 디코더(26)는 엔트로피 디코딩(65) 및 역양자화(66)를 적용하고 이후에 디폴트 DC 계수 예측자에 의해 발생된 값을 사용하여 역 DC 계수 값 예측(67)을 적용한다. 따라서, 인코더(20) 및 디코더(26)는 각각 인코더 및 디코더 모두에게 공지된 디폴트 DC 계수 값을 생성하기 위해 디폴트 DC 계수 예측자(70)로서 기능하는 기능 유니트를 포함할 수 있다. 역 DC 예측(67) 이후에, 디코더는 예측된 블럭(69)을 생성하기 위해 4x4 블럭 역변환을 수행한다. DC 계수 예측은 또한 블럭 내의 픽셀들 전체로부터 예측자를 감산함으로써 픽셀 도메인 내에서 등가로 수행될 수 있다.
도 13은 서로 다른 인트라 예측 모드들에 대한 특정 DC 모드의 사용을 설명하는 다이어그램이다. 몇몇 시스템들은 단일 루프 디코딩 옵션을 갖는다. 예를 들어, 비트 스트림은 서로 다른 분해능들의 2개의 계층들을 가질 수 있다. 만약 사용자가 높은 분해능의 비디오에만 관심있고 비트 스트림은 단일 루프 디코딩을 지원하면, 높은 분해능의 계층에서만 모션 보상을 수행할 필요가 있다. 이는 특정 예측 제한들을 강제하여 달성된다. 예를 들어, 하나의 제한은 인트라 블럭이 이웃 인터 마크로 블럭들로부터 예측될 수 없고, 인트라_BL(기본 계층) 모드가 기본 계층 마크로 블럭이 정규 인트라 모드 또는 인트라_BL 모드 내에서 코딩되는 경우에만 확장 계층 내에서 사용될 것을 요구하며, 따라서 기본 계층 내의 상기 마크로 블럭은 임의의 모션 보상을 수행하지 않고 예측시 재구성되고 사용될 수 있다.
단일 루프 디코딩이 사용되고, 상응하는 기본 계층 마크로 블럭이 인트라-코딩되지 않을 때, 누설 예측은 사용가능한 기본 계층 픽셀들이 존재하지 않기 때문에 사용될 수 없다. 상기 경우에, 공간 이웃들로부터 에러 전파를 제한하기 위해, 확장 계층 마크로 블럭이 I_4x4가 되도록 시그널링될 때, 일 실시예에서, 7개의 경계 4x4 블럭들이 특정 DC 모드 내에 있는 것이 추론된다. 단일-루프 디코딩에서, 확장 계층 마크로 블럭이 인트라 블럭이면, 경계 블럭들(도 13의 어두운 블럭들(72))은 특정 DC 모드 내에 있는 것으로 추론된다. 비-경계 블럭들(74)은 전술된 적절한 에러 제어 방식들과 함께 임의의 인트라 예측 모드들을 여전히 사용할 수 있다.
유사하게, 확장 계층 마크로블럭이 I_8x8이 되도록 시그널링될 때, 3개의 경계 8x8 블럭들(76)은 특정 DC 모드 내에 있는 것으로 추론되는 반면, 블럭(78)은 전술된 적절한 에러 제어 방식들과 함께 임의의 인트라 예측 모드를 사용할 수 있다. 확장 계층 마크로 블럭이 참조 번호(80)에 의해 표시된 것과 같이 I_16x16 이면, 특정 DC 모드가 사용되는 것이 추론된다. 도 13에서, 개별 마크로 블럭 내의 다른 비-경계 4x4 또는 8x8 블럭들(74, 78)은 여전히 다른 인트라 예측 모드들을 사용할 수 있다. 또다른 실시예에서, 임의의 위치의 블럭들은 특정 DC 모드가 될 수 있고, 상기 모드는 명백하게 시그널링될 수 있다.
도 14는 기보 계층 내의 프레임(82)으로부터 인트라-예측을 도시하는 다이어그램이다. 도 14는 업샘플링된 블럭(86)을 생성하기 위해 기본 계층의 프레임(82) 내의 블럭(84)의 업샘플링을 도시한다. 업샘플링된 블럭(86)은 확장 계층의 프레임(90) 내에서 코딩될 블럭(88)의 예측을 위해 사용된다. 도 14에 도시된 것과 같이, 제한은 인트라-계층 인트라 예측을 사용하지 않도록 확장 계층 내에 적용될 수 있다. 일 실시예에서, 예를 들어 하나의 제한이 강제되어 예측은 설계를 간단하게 하기 위해 예측될 블럭들과 동일한 계층 내의 동일한 프레임으로부터, 픽셀들 또는 상기 픽셀들로부터 유도된 다른 정보를 사용하여 형성되지 않는다. 다시 말해서, 확장 계층 내의 블럭은 예측될 블럭과 동일한 프레임 및 동일한 계층으로부터 획득된 픽셀들 또는 다른 정보를 사용하여 예측되지 않는다. 상기 경우에, 예측은 기본 계층 내의 프레임 또는 이미 코딩된 다른 프레임들 또는 이들의 조합으로부터, 픽셀들 또는 픽셀들로부터 유도된 다른 정보를 사용하여 형성된다. 상기 방식에서, 디코더(26)는 인트라 예측을 위해 기본 계층 내의 픽셀들만을 사용하는 제한을 적용할 수 있다. 기본 계층 내의 프레임(82)은 동일한 분해능 또는 서로 다른 분해능을 가질 수 있다.
일반화된 FGS를 사용하는 공간 확장성을 지원하기 위해, 다양한 마크로 블럭 구문 엘리먼트들은 확장 계층 내의 각각이 마크로 블럭이 디코더에 의해 예측되어야 하는 방식을 시그널링하기 위해 인코딩도니 비트 스트림 내에서 전송될 수 있다. 구문 엘리먼트들은 마크로 블럭이 인터-예측되는지 또는 인트라-예측되는지의 여부와 같은 정보를 포함할 수 있다. 만약 마크로 블럭이 인터-예측되면, 마크로 블럭이 분할되는 방식과 같은 추가 정보 및 각각의 분할의 모션 벡터 및 기준 프레임 인덱스가 전송되어야 한다. 만약 마크로 블럭이 기본 계층 내의 동일한 시간 위치에서의 프레임으로부터 또는 동일한 계층 내의 동일한 프레임으로부터 인트라-예측되면, 인트라-예측 모드들과 같은 추가 정보가 전송될 수 있다.
구문 엘리먼트들의 전송은 서로 다른 방식들로 달성될 수 있다. 일 실시예에서, 예를 들어 프레임 또는 슬라이스의 모든 구문 엘리먼트들은 임의의 텍스처 정보가 전송되기 전에 전송되며, 상기 텍스처 정보는 변환 계수들과 관련된 정보이다. 또다른 실시예에서, 구문 엘리먼트들은 텍스처 정보와 인터리빙될 수 있다. 그러나, 인코딩된 비트 스트림은 여전히 FGS 포맷을 따르며, 인코eld기술의 포맷 및 구조를 실질적으로 재설계할 필요성을 방지한다.
H.264 구현에서, 마크로 블럭은 B 슬라이스, 즉 이전 슬라이스, 향후 슬라이스 또는 두 슬라이스 모두를 사용하는 양-방향성(bi-directional) 또는 양측-예측(bi-predictive) 코딩된 슬라이스 내의 직접 모드가 될 수 있다. B 슬라이스는 전체 비디오 프레임을 커버하나 비디오 프레임의 일부를 커버할 수 있다. 마크로 블럭이 B 슬라이스 내의 직접 모드 내에 있을 때, 모션 벡터들 및 상기 마크로 블럭의 기준 프레임 인덱스들은 이미 코딩된 정보로 부터 유도된다. 모션 벡터들 및 기준 프레임 인덱스들을 유도하기 위해 사용되는 정보는 동일한 프레임 및 때때로 기준 프레임으로부터의 정보이다. 만약 마크로 블럭(MMB)이 공간 직접 모드 내에 있다면, 각각이 분할의 모션 벡터는 이웃하는 MB들로부터의 모션 벡터들로부터 유도된다. 그러나, 각각의 유도된 모션 벡터는 기준 프레임 내에 함께 위치된 블럭의 모션 벡터에 의해 제한될 수 있다. 시간 직접 모드에서, 움직임 벡터는 현재 프레임 및 그 기준 프레임 사이의 시간 관계에 기초하여 기준 프레임 내에 함께 위 치된 블럭의 모션 벡터로부터 유도될 수 있다.
기준 프레임의 정보에 대한 유도된 모션 벡터의 의존성과 관련된 한가지 결과는 기준 프레임이 디코더(26) 내에서 절단될 수 있는 것이다. 결과적으로, 인코더(20)에서 사용가능한 정보는 디코더(26)에서 사용가능할 수 있다. 모션 벡터들의 부정확한 재구성은 일반적으로 큰 에러를 발생한다. 일 실시예에서, 확장 계층이 B 슬라이스 내에서 코딩되는 경우에 공간 직접 모드 만이 사용되고, 유도된 모션 벡터는 기준 프레임들로부터의 임의의 정보에 의해 제한되지 않는다. 다시 말해서, 만약 확장 계층이 양측-예측(B) 슬라이스 내에서 코딩되면, 디코더(26)는 기준 프레임으로부터 임의의 정보를 사용하지 않는 변형된 공간 직접 모드만을 적용한다.
확장 계층이 더 높은 공간 분해능을 표시하기 때문에, 일 실시예에서, 기본 계층으로부터의 유의성 맵은 FGS 계수 코딩 프로세스 내에서 사용되기 전에 업샘플링될 수 있다. 또다른 실시예에서, 유의성 맵은 공간 확장 계층에서 FGS 비트 스트림이 코딩되기 전에 소거될 수 있다. 상기 경우에, 어떤 계수들도 증가되는 공간 분해능을 가지는 FGS 확장 계층 내의 미세조정 계수들로 코딩되지 않는다. 따라서, 기본 계층으로부터의 유의성 맵은 리셋되고, 계수들은 하나 또는 그 이상의 확장 계층들 내에서 어떤 미세조정 계수들도 가지지 않는 제로 계수들 또는 비제로 중요 계수들로 디코딩된다.
몇몇 시스템들에서, FGS 공간 확장 계층들에 부가하여 선택적인 기준에 따라 불연속 공간 확장 계층들을 인코딩하는 능력을 유지하는 것이 바람직할 수 있다. 예를 들어, 복잡성의 고려 조건들은 몇몇 시스템들에서 불연속 공간 확장 계층들의 선택을 보장할 수 있다. 상기 경우에, 시스템(10)은 불연속 공간 확장 계층들과의 호환성을 지원하도록 구성될 수 있다. 확장 계층이 신뢰성있게 전달될 수 있는 경우에 불연속 공간 확장 계층 코딩의 사용은 더 높은 코딩 성능을 제공할 수 있다. 불연속 공간 확장 계층 코딩의 선택은 전송되는 비트 스트림 내에 시그널링될 수 있다. 예를 들어, 비트 스트림은 불연속 공간 확장 계층 코딩 또는 FGS 공간 확장 계층 코딩이 본 명세서와 같이 비트 스트림에 대하여 지원되는지의 여부를 표시하는 시그널링 정보를 포함할 수 있다. 한가지 예는 FGS 코딩이 슬라이스 내에서 사용되는지 표시하기 위해 확장가능한 슬라이스 헤더 내에 새로운 플래그를 제공하는 것이다.
도 15는 인트라 16x16 예측 모드를 가지는 마크로 블럭 내의 명도 DC 블럭을 설명하는 다이어그램이다. 인트라_16x16 마크로 블럭(92)에 대하여, 명도 DC 계수들은 하다마르 변환될 수 있다. 도 15에 도시된 것과 같이, 만약 마크로 블럭이 인트라 16x16 모드를 사용하여 예측되면, 명도 예측 잔나머지들은 먼저 16개의 4x4 블럭들로 변환되고, 16개 블럭들의 DC 계수들은 또다른 4x4 블럭(94)을 형성한다. 상기 추가의 4x4 블럭은 상기 논의에서 인트라 16x16 DC 블럭으로 지칭된다. ITU-T H.264에 따라, DC 블럭은 AC 블럭들과 구별하여 코딩된다. ITU-T H.264에 대하여, 상기 구별에 대한 추가의 구현 복잡성은 최소가 된다. 그러나, 구현 복잡성의 영향은 그 특정 설계로 인해 FGS 코더에서 구별하여 코딩되는 경우에 더 커질 수 있다.
따라서, FGS 코딩에서, 추가의 변환이 DC 계수들에 수행되는데 불구하고, DC 계수들은 구별하여 코딩되지 않는다. 이는 동일한 분해능의 비디오에 미세조정을 지원하는 종래의 FGS에 대하여 문제가 될 수 없다. 그러나, 이는 인트라_16x16 예측을 지지하는 몇몇 비디오 컨텐트에 대하여 일반화된 FGS를 통해 공간 확장성의 성능에 상당히 영향을 미칠 수 있다. 초과의 복잡성을 도입하지 않고 FGS 공간 확장성을 제공하는 한가지 방식은 인트라 16x16 DC 블럭을 상기 블럭이 ITU-T H.264 기본 계층에서 코딩되는 방식과 유사한 방식으로 코딩하는 것이다. 예를 들어, 인트라 16x16 DC 블럭의 제 1 계수가 충돌하면, 전체 블럭은 임의의 다른 계수들이 코딩되기 전에 코딩된다.
본 개시물은 일반화된 FGS 코딩을 사용하는 공간 확장성을 위한 기술들을 설명한다. 일반화된 FGS 포맷의 사용은 비디오 코더가 서로 다른 공간 분해능들을 통해 계속적인 품질 개선을 달성하도록 한다. 본 개시물에 개시된 것과 같이, 일반화된 FGS 코딩을 사용하는 공간 확장성을 위한 기술들은 허용가능한 성능 및 복잡성을 가지는 공간 확장성을 지원하도록 몇몇 서로 다른 방식들을 사용할 수 있다. 예를 들어, 상기 기술들은 분할 디코딩으로 인한 에러 전파를 감소시키기 위한 방식들, 확장 계층 이웃 픽셀들 및 업샘플링된 기본 계층 예측자들과 함께 형성된 예측자들의 가중된 평균을 사용하는 인트라-코딩된 마크로 블럭들에 대한 누설 예측, 부분 디코딩에서 예측 소스의 적응형 스위칭 및 나머지 드리프트 에러로 인한 공간 에러 전파를 중단하는 특정 DC 모드를 통합할 수 있다.
몇몇 실시예들에서, 제한들은 설계를 간단히 하기 위해 예측이 동일한 계층 내의 동일한 프레임으로부터의 픽셀들 또는 상기 픽셀로부터 유도된 다른 정보와 함께 형성되지 않도록 제약될 수 있다. 또한, 확장 계층이 B 슬라이스 내에서 코딩되는 경우에 공간 직접 모드 만이 사용될 수 있고, 유도된 모션 벡터는 기준 프레임으로부터의 임의의 정보에 의해 제한되지 않는다. 추가의 특징으로서, 기본 계층 화상으로부터의 유의성 맵은 코딩 성능을 개선하기 위해 향상 계층 나머지의 FGS 코딩에서 업샘플링되고 사용될 수 있다. 선택적으로, 공간 확장 계층 내의 계수들은 어떤 미세조정 계수들 없이도 코딩될 수 있다. 또한, 특정 1-비트 구문은 공간 확장성 계층이 FGS 코딩을 사용하는지 또는 불연속 공간 확장 계층들로 제공되는지의 여부를 디코더에 시그널링하기 위해 확장가능한 슬라이스 헤더에 부가될 수 있다.
본 명세서에 개시된 기술들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합에서 구현될 수 있다. 특히, 본 명세서에 개시된 것과 같은 인코더 또는 디코더는 다양한 하드웨어, 소프트웨어 및 펌웨어 구성요소들 중 임의의 구성요소에 의해 구현될 수 있다. 예를 들어, 상기 기술들의 다양한 양상들은 하나 또는 그 이상의 마이크로 프로세서들, 디지털 신호 처리기들(DSPs), 애플리케이션용 집적 회로들(ASICs), 현장 프로그램 가능한 로직 어레이들(FPGAs), 또는 다른 등가의 집적 또는 이산 로직 회로뿐만 아니라 상기 구성요소들의 임의의 조합에 의해 실행될 수 있다. 용어 "프로세서" 또는 "프로세싱 회로"는 단독으로 또는 다른 로직 회로와 결합하는 임의의 전술한 로직 회로 또는 임의의 다른 등가 회로를 지칭할 수 있다. 몇몇 실시예들에서, 본 명세서에 개시된 기능은 인코딩 및 디코딩을 위 해 형성된 지정된 소프트웨어 모듈들 또는 하드웨어 유니트들 내에서 제공되거나 결합된 비디오 인코더-디코더(CODEC)에 통합될 수 있다.
소프트웨어에서 구현되는 경우에, 기술들은 프로세서에 의해 실행될 때 전술된 하나 또는 그 이상의 방법들을 수행하는 명령들 또는 프로그램 코드를 포함하는 컴퓨터로 읽을 수 있는 매체에 의해 부분적으로 구현될 수 있다. 상기 프로그램 코드 또는 명령들을 저장하는 컴퓨터로 읽을 수 있는 매체는 동기식 동적 랜덤 액세스 메모리(SDRAM)와 같은 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 비휘발성 랜덤 액세스 메모리(NVRAM), 전기적으로 소거 가능한 프로그래밍 가능한 판독 전용 메모리(EEPROM), FLASH 메모리, 상기 메모리 또는 자기 또는 광학 데이터 저장 매체, 또는 상기 메모리 또는 저장 매체의 임의의 조합을 포함할 수 있다.
다양한 실시예들이 개시되었다. 상기 및 다른 실시예들은 하기의 청구항들의 사상 내에 있다.

Claims (57)

  1. 비디오 코딩 방법으로서,
    제 1 공간 분해능(resolution)에서 비디오를 정의하는 기본 계층 비디오 블럭을 재구성하기 위해 미세 입도 확장성(FGS; fine granularity scalability) 기본 계층을 디코딩하는 단계;
    상기 제 1 공간 분해능보다 크거나 동일한 제 2 공간 분해능에서 비디오를 정의하는 확장 계층 비디오 블럭을 재구성하기 위해 하나 또는 그 이상의 FGS 확장 계층들을 적어도 부분적으로 디코딩하는 단계; 및
    상기 기본 계층 비디오 블럭으로부터 형성된 제 1 예측 블럭 및 상기 확장 계층 비디오 블럭 내의 이웃 픽셀들로부터 형성된 제 2 예측 블럭의 가중된 합에 기초하여 인트라-코딩(intra-coded) 비디오 블럭을 예측하는 단계를 포함하는 방법.
  2. 제 1항에 있어서,
    상기 제 2 공간 분해능은 상기 제 1 공간 분해능보다 크고, 상기 방법은 상기 기본 계층 비디오 블럭을 업샘플링하는 단계를 더 포함하며, 상기 제 1 예측 블럭은 상기 업샘플링된 기본 계층 비디오 블럭으로부터 형성되는 것을 특징으로 하는 방법.
  3. 제 2항에 있어서,
    상기 디코딩된 FGS 기본 계층 및 상기 적어도 부분적으로 디코딩된 FGS 확장 계층들에 기초하여 상기 제 2 공간 분해능에서 비디오를 생성하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  4. 제 2항에 있어서,
    상기 FGS 기본 계층은 제 1 품질 레벨로 상기 비디오를 정의하고, 상기 FGS 확장 계층들 중 적어도 하나는 상기 제 1 품질 레벨보다 높은 제 2 품질 레벨로 상기 비디오를 정의하는 것을 특징으로 하는 방법.
  5. 제 4항에 있어서,
    상기 디코딩된 FGS 기본 계층 및 상기 적어도 부분적으로 디코딩된 FGS 확장 계층들에 기초하여 상기 제 2 품질 레벨에서 비디오를 생성하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  6. 제 4항에 있어서,
    상기 디코딩된 FGS 기본 계층 및 상기 적어도 부분적으로 디코딩된 FGS 확장 계층들에 기초하여 상기 제 2 공간 분해능에서 비디오를 생성하는 단계 및 상기 디코딩된 FGS 기본 계층 및 상기 적어도 부분적으로 디코딩된 FGS 확장 계층들에 기초하여 상기 제 2 품질 레벨에서 상기 비디오를 생성하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  7. 제 2항에 있어서,
    상기 인트라-코딩 비디오 블럭을 개별 인트라-코딩 비디오 블럭과 동일한 계층 내의 동일한 프레임으로부터 유도된 비디오 정보를 사용하지 않고 예측하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  8. 제 2항에 있어서,
    상기 기본 계층으로부터의 픽셀들만을 사용하여 상기 인트라-코딩 비디오 블럭을 예측하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  9. 제 2항에 있어서,
    DC 계수가 인코더 및 디코더 모두에 공지된 디폴트 값으로부터 예측되고, AC 계수들이 이웃 블럭들로부터 계산된 예측 없이 디코딩되는 특정 DC 모드를 사용하여 상기 FGS 확장 계층 내의 블럭을 디코딩하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  10. 제 2항에 있어서,
    상기 확장 계층이 양측-예측(bi-predictive; B) 슬라이스 내에서 코딩되는 경우에 기준 프레임으로부터의 정보를 사용하지 않고 변형된 공간 직접 모드 만을 상기 확장 계층에 적용하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  11. 제 2항에 있어서,
    상기 기본 계층으로부터 유의성 맵(significant map)을 업샘플링하는 단계 및 상기 하나 또는 그 이상의 확장 계층들을 디코딩하기 위해 상기 업샘플링된 유의성 맵을 사용하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  12. 제 1항에 있어서,
    상기 기본 계층으로부터 유의성 맵을 리셋하는 단계 및 상기 하나 또는 그 이상의 확장 계층들 내의 어떤 미세조정(refinement) 계수들도 사용하지 않고 계수들을 오직 제로 계수들 또는 비제로 중요 계수들로서 디코딩하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  13. 제 2항에 있어서,
    공간 확장성을 위한 FGS 코딩의 사용을 시그널링하기 위해 상기 확장 계층들 중 적어도 하나와 함께 1-비트 구문 엘리먼트를 수신하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  14. 비디오 코딩 디바이스로서,
    제 1 공간 분해능에서 비디오를 정의하는 기본 계층 비디오 블럭을 재구성하 기 위해 미세 입도 확장성(FGS) 기본 계층을 디코딩하고, 상기 제 1 공간 분해능보다 크거나 동일한 제 2 공간 분해능에서 비디오를 정의하는 확장 계층 비디오 블럭을 재구성하기 위해 하나 또는 그 이상의 FGS 확장 계층들을 적어도 부분적으로 디코딩하며, 상기 기본 계층 비디오 블럭으로부터 형성된 제 1 예측 블럭 및 상기 확장 계층 비디오 블럭 내의 이웃 픽셀들로부터 형성된 제 2 예측 블럭의 가중된 합에 기초하여 인트라-코딩 비디오 블럭을 예측하는 디코더를 포함하는 비디오 코딩 디바이스.
  15. 제 14항에 있어서,
    상기 제 2 공간 분해능은 상기 제 1 공간 분해능보다 크고, 상기 디코더는 상기 기본 계층 비디오 블럭을 업샘플링하며, 상기 제 1 예측 블럭은 상기 업샘플링된 기본 계층 비디오 블럭으로부터 형성되는 것을 특징으로 하는 비디오 코딩 디바이스.
  16. 제 15항에 있어서,
    상기 디코더는 상기 디코딩된 FGS 기본 계층 및 상기 적어도 부분적으로 디코딩된 FGS 확장 계층들에 기초하여 상기 제 2 공간 분해능에서 비디오를 생성하는 것을 특징으로 하는 비디오 코딩 디바이스.
  17. 제 15항에 있어서,
    상기 FGS 기본 계층은 제 1 품질 레벨로 상기 비디오를 정의하고, 상기 FGS 확장 계층들 중 적어도 하나는 상기 제 1 품질 레벨보다 높은 제 2 품질 레벨로 상기 비디오를 정의하는 것을 특징으로 하는 비디오 코딩 디바이스.
  18. 제 17항에 있어서,
    상기 디코더는 상기 디코딩된 FGS 기본 계층 및 상기 적어도 부분적으로 디코딩된 FGS 확장 계층들에 기초하여 상기 제 2 품질 레벨에서 비디오를 생성하는 것을 특징으로 하는 비디오 코딩 디바이스.
  19. 제 17항에 있어서,
    상기 디코더는 상기 디코딩된 FGS 기본 계층 및 상기 적어도 부분적으로 디코딩된 FGS 확장 계층들에 기초하여 상기 제 2 공간 분해능에서 비디오를 생성하고, 상기 디코딩된 FGS 기본 계층 및 상기 적어도 부분적으로 디코딩된 FGS 확장 계층들에 기초하여 상기 제 2 품질 레벨에서 상기 비디오를 생성하는 것을 특징으로 하는 비디오 코딩 디바이스.
  20. 제 17항에 있어서,
    상기 디코더는 상기 인트라-코딩 비디오 블럭을 개별 인트라-코딩 비디오 블럭과 동일한 계층 내의 동일한 프레임으로부터 유도된 비디오 정보를 사용하지 않고 예측하는 것을 특징으로 하는 비디오 코딩 디바이스.
  21. 제 15항에 있어서,
    상기 디코더는 상기 기본 계층으로부터의 픽셀들만을 사용하여 상기 인트라-코딩 비디오 블럭을 예측하는 것을 특징으로 하는 비디오 코딩 디바이스.
  22. 제 15항에 있어서,
    상기 디코더는 DC 계수가 인코더 및 디코더 모두에 공지된 디폴트 값으로부터 예측되고, AC 계수들이 이웃 블럭들로부터 계산된 예측 없이 디코딩되는 특정 DC 모드를 사용하여 상기 FGS 확장 계층 내의 블럭을 디코딩하는 것을 특징으로 하는 비디오 코딩 디바이스.
  23. 제 15항에 있어서,
    상기 디코더는 상기 확장 계층이 양측-예측(bi-predictive; B) 슬라이스 내에서 코딩되는 경우에 기준 프레임으로부터의 정보를 사용하지 않고 공간 직접 모드 만을 상기 확장 계층에 적용하는 것을 특징으로 하는 비디오 코딩 디바이스.
  24. 제 15항에 있어서,
    상기 디코더는 상기 기본 계층으로부터 유의성 맵(significant map)을 업샘플링하고, 상기 하나 또는 그 이상의 확장 계층들을 디코딩하기 위해 상기 업샘플링된 유의성 맵을 사용하는 것을 특징으로 하는 비디오 코딩 디바이스.
  25. 제 14항에 있어서,
    상기 디코더는 상기 기본 계층으로부터 유의성 맵을 리셋하고, 상기 하나 또는 그 이상의 확장 계층들 내의 어떤 미세조정(refinement) 계수들도 사용하지 않고 계수들을 오직 제로 계수들 또는 비제로 중요 계수들로서 디코딩하는 것을 특징으로 하는 비디오 코딩 디바이스.
  26. 제 15항에 있어서,
    상기 디코더는 공간 확장성을 위한 FGS 코딩의 사용을 시그널링하기 위해 상기 확장 계층들 중 적어도 하나와 함께 1-비트 구문 엘리먼트를 수신하는 것을 특징으로 하는 비디오 코딩 디바이스.
  27. 프로세서가 하기의 동작들을 실행하도록 하는 지시들을 포함하는 컴퓨터로 판독가능한 매체로서, 상기 동작들은,
    제 1 공간 분해능(resolution)에서 비디오를 정의하는 기본 계층 비디오 블럭을 재구성하기 위해 미세 입도 확장성(FGS; fine granularity scalability) 기본 계층을 디코딩하고;
    상기 제 1 공간 분해능보다 크거나 동일한 제 2 공간 분해능에서 비디오를 정의하는 확장 계층 비디오 블럭을 재구성하기 위해 하나 또는 그 이상의 FGS 확장 계층들을 적어도 부분적으로 디코딩하며; 그리고
    상기 기본 계층 비디오 블럭으로부터 형성된 제 1 예측 블럭 및 상기 확장 계층 비디오 블럭 내의 이웃 픽셀들로부터 형성된 제 2 예측 블럭의 가중된 합에 기초하여 인트라-코딩 비디오 블럭을 예측하는 동작을 포함하는 컴퓨터로 판독가능한 매체.
  28. 제 27항에 있어서,
    상기 제 2 공간 분해능은 상기 제 1 공간 분해능보다 크고, 상기 지시들은 추가로 상기 프로세서가 상기 기본 계층 비디오 블럭을 업샘플링하도록 하며, 상기 제 1 예측 블럭은 상기 업샘플링된 기본 계층 비디오 블럭으로부터 형성되는 것을 특징으로 하는 컴퓨터로 판독가능한 매체.
  29. 제 28항에 있어서,
    상기 지시들은 상기 프로세서가 상기 디코딩된 FGS 기본 계층 및 상기 적어도 부분적으로 디코딩된 FGS 확장 계층들에 기초하여 상기 제 2 공간 분해능에서 비디오를 생성하도록 하는 것을 특징으로 하는 컴퓨터로 판독가능한 매체.
  30. 제 29항에 있어서,
    상기 FGS 기본 계층은 제 1 품질 레벨로 상기 비디오를 정의하고, 상기 FGS 확장 계층들 중 적어도 하나는 상기 제 1 품질 레벨보다 높은 제 2 품질 레벨로 상기 비디오를 정의하는 것을 특징으로 하는 컴퓨터로 판독가능한 매체.
  31. 제 30항에 있어서,
    상기 지시들은 상기 프로세서가 상기 디코딩된 FGS 기본 계층 및 상기 적어도 부분적으로 디코딩된 FGS 확장 계층들에 기초하여 상기 제 2 품질 레벨에서 비디오를 생성하도록 하는 것을 특징으로 하는 컴퓨터로 판독가능한 매체.
  32. 제 30항에 있어서,
    상기 지시들은 상기 프로세서가 상기 디코딩된 FGS 기본 계층 및 상기 적어도 부분적으로 디코딩된 FGS 확장 계층들에 기초하여 상기 제 2 공간 분해능에서 비디오를 생성하고, 상기 디코딩된 FGS 기본 계층 및 상기 적어도 부분적으로 디코딩된 FGS 확장 계층들에 기초하여 상기 제 2 품질 레벨에서 상기 비디오를 생성하도록 하는 것을 특징으로 하는 컴퓨터로 판독가능한 매체.
  33. 제 28항에 있어서,
    상기 지시들은 상기 프로세서가 상기 인트라-코딩 비디오 블럭을 개별 인트라-코딩 비디오 블럭과 동일한 계층 내의 동일한 프레임으로부터 유도된 비디오 정보를 사용하지 않고 예측하도록 하는 것을 특징으로 하는 컴퓨터로 판독가능한 매체.
  34. 제 28항에 있어서,
    상기 지시들은 상기 프로세서가 상기 기본 계층으로부터의 픽셀들만을 사용하여 상기 인트라-코딩 비디오 블럭을 예측하도록 하는 것을 특징으로 하는 컴퓨터로 판독가능한 매체.
  35. 제 28항에 있어서,
    상기 지시들은 상기 프로세서가 DC 계수가 인코더 및 디코더 모두에 공지된 디폴트 값으로부터 예측되고, AC 계수들이 이웃 블럭들로부터 계산된 예측 없이 디코딩되는 특정 DC 모드를 사용하여 상기 FGS 확장 계층 내의 블럭을 디코딩하도록 하는 것을 특징으로 하는 컴퓨터로 판독가능한 매체.
  36. 제 28항에 있어서,
    상기 지시들은 상기 프로세서가 상기 확장 계층이 양측-예측(bi-predictive; B) 슬라이스 내에서 코딩되는 경우에 기준 프레임으로부터의 정보를 사용하지 않고 변형된 공간 직접 모드 만을 상기 확장 계층에 적용하도록 하는 것을 특징으로 하는 컴퓨터로 판독가능한 매체.
  37. 제 28항에 있어서,
    상기 지시들은 상기 프로세서가 상기 기본 계층으로부터 유의성 맵을 업샘플링하고, 상기 하나 또는 그 이상의 확장 계층들을 디코딩하기 위해 상기 업샘플링된 유의성 맵을 사용하도록 하는 것을 특징으로 하는 컴퓨터로 판독가능한 매체.
  38. 제 27항에 있어서,
    상기 지시들은 상기 프로세서가 상기 기본 계층으로부터 유의성 맵을 리셋하고, 상기 하나 또는 그 이상의 확장 계층들 내의 어떤 미세조정 계수들도 사용하지 않고 계수들을 오직 제로 계수들 또는 비제로 중요 계수들로서 디코딩하도록 하는 것을 특징으로 하는 컴퓨터로 판독가능한 매체.
  39. 제 28항에 있어서,
    상기 지시들은 상기 프로세서가 공간 확장성을 위한 FGS 코딩의 사용을 시그널링하기 위해 상기 확장 계층들 중 적어도 하나와 함께 1-비트 구문 엘리먼트를 수신하도록 하는 것을 특징으로 하는 컴퓨터로 판독가능한 매체.
  40. 제 1 공간 분해능에서 비디오 정보를 정의하는 기본 계층 비디오 블럭들을 포함하는 미세 입도 확장성(FGS) 기본 계층을 디코딩하는 단계;
    상기 제 1 공간 분해능보다 큰 제 2 공간 분해능에서 비디오 정보를 정의하는 확장 계층 비디오 블럭들을 포함하는 하나 또는 그 이상의 FGS 확장 계층들을 적어도 부분적으로 디코딩하는 단계; 및
    인트라-코딩 비디오 블럭들을 상기 개별 인트라-코딩 비디오 블럭들과 동일한 계층 내의 동일한 프레임으로부터 유도된 비디오 정보를 사용하지 않고 예측하는 단계를 포함하는 방법.
  41. 제 40항에 있어서,
    상기 기본 계층으로부터의 픽셀들만을 사용하여 상기 인트라-코딩 비디오 블럭을 예측하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  42. 제 40항에 있어서,
    DC 계수가 인코더 및 디코더 모두에 공지된 디폴트 값으로부터 예측되고, AC 계수들이 이웃 블럭들로부터 계산된 예측 없이 디코딩되는 특정 DC 모드를 사용하여 상기 FGS 확장 계층 내의 블럭을 디코딩하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  43. 제 40항에 있어서,
    상기 확장 계층이 양측-예측(bi-predictive; B) 슬라이스 내에서 코딩되는 경우에 기준 프레임으로부터의 정보를 사용하지 않고 공간 직접 모드 만을 상기 확장 계층에 적용하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  44. 제 40항에 있어서,
    상기 기본 계층으로부터 유의성 맵을 업샘플링하는 단계 및 상기 하나 또는 그 이상의 확장 계층들을 디코딩하기 위해 상기 업샘플링된 유의성 맵을 사용하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  45. 제 40항에 있어서,
    상기 기본 계층으로부터 유의성 맵을 리셋하는 단계 및 상기 하나 또는 그 이상의 확장 계층들 내의 어떤 미세조정(refinement) 계수들도 사용하지 않고 계수들을 오직 제로 계수들 또는 비제로 중요 계수들로서 디코딩하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  46. 제 1 공간 분해능에서 비디오 정보를 정의하는 기본 계층 비디오 블럭들을 포함하는 미세 입도 확장성(FGS) 기본 계층을 디코딩하고, 상기 제 1 공간 분해능보다 큰 제 2 공간 분해능에서 비디오 정보를 정의하는 확장 계층 비디오 블럭들을 포함하는 하나 또는 그 이상의 FGS 확장 계층들을 적어도 부분적으로 디코딩하며, 그리고 인트라-코딩 비디오 블럭들을 상기 개별 인트라-코딩 비디오 블럭들과 동일한 계층 내의 동일한 프레임으로부터 유도된 비디오 정보를 사용하지 않고 예측하는 디코더를 포함하는 디바이스.
  47. 제 46항에 있어서,
    상기 디코더는 상기 기본 계층으로부터의 픽셀들만을 사용하여 상기 인트라-코딩 비디오 블럭을 예측하는 것을 특징으로 하는 디바이스.
  48. 제 46항에 있어서,
    상기 디코더는 DC 계수가 인코더 및 디코더 모두에 공지된 디폴트 값으로부터 예측되는 특정 DC 모드를 사용하여 상기 FGS 확장 계층 내의 블럭을 디코딩하고, 이웃 블럭들로부터 계산된 예측 없이 AC 계수들을 디코딩하는 것을 특징으로 하는 디바이스.
  49. 제 46항에 있어서,
    상기 디코더는 상기 확장 계층이 양측-예측(B) 슬라이스 내에서 코딩되는 경우에 기준 프레임으로부터의 정보를 사용하지 않고 공간 직접 모드 만을 상기 확장 계층에 적용하는 것을 특징으로 하는 디바이스.
  50. 제 46항에 있어서,
    상기 디코더는 상기 기본 계층으로부터 유의성 맵을 업샘플링하고, 상기 하나 또는 그 이상의 확장 계층들을 디코딩하기 위해 상기 업샘플링된 유의성 맵을 사용하는 것을 특징으로 하는 디바이스.
  51. 제 46항에 있어서,
    상기 디코더는 상기 기본 계층으로부터 유의성 맵을 리셋하고, 상기 하나 또는 그 이상의 확장 계층들 내의 어떤 미세조정 계수들도 사용하지 않고 계수들을 오직 제로 계수들 또는 비제로 중요 계수들로서 디코딩하는 것을 특징으로 하는 디바이스.
  52. 제 1 공간 분해능에서 비디오 정보를 정의하는 기본 계층 비디오 블럭들을 포함하는 미세 입도 확장성(FGS) 기본 계층을 디코딩하는 단계;
    상기 제 1 공간 분해능보다 큰 제 2 공간 분해능에서 비디오 정보를 정의하는 확장 계층 비디오 블럭들을 포함하는 하나 또는 그 이상의 FGS 확장 계층들을 디코딩하는 단계; 및
    DC 계수가 인코더 및 디코더 모두에 공지된 디폴트 값으로부터 예측되고, AC 계수들이 이웃 블럭들로부터 계산된 예측 없이 디코딩되는 특정 DC 모드를 사용하여 상기 FGS 확장 계층들 내의 블럭들 각각을 디코딩하는 단계를 포함하는 방법.
  53. 제 52항에 있어서,
    상기 FGS 기본 계층은 제 1 품질 레벨로 상기 비디오 정보를 정의하고, 상기 FGS 확장 계층들 중 적어도 하나는 상기 제 1 레벨보다 큰 제 2 품질 레벨로 상기 비디오 정보를 정의하는 것을 특징으로 하는 방법.
  54. 제 52항에 있어서,
    공간 확장성을 위한 FGS 코딩의 사용을 시그널링하기 위해 상기 확장 계층들 중 적어도 하나와 함께 1-비트 구문 엘리먼트를 수신하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  55. 제 1 공간 분해능에서 비디오 정보를 정의하는 기본 계층 비디오 블럭들을 포함하는 미세 입도 확장성(FGS) 기본 계층을 디코딩하고, 상기 제 1 공간 분해능보다 큰 제 2 공간 분해능에서 비디오 정보를 정의하는 확장 계층 비디오 블럭들을 포함하는 하나 또는 그 이상의 FGS 확장 계층들을 인코딩하며, 그리고 DC 계수가 인코더 및 디코더 모두에 공지된 디폴트 값으로부터 예측되고, AC 계수들이 이웃 블럭들로부터 계산된 예측 없이 디코딩되는 특정 DC 모드를 사용하여 상기 FGS 확장 계층들 내의 블럭들 각각을 디코딩하는 디코더를 포함하는 디바이스.
  56. 제 55항에 있어서,
    상기 FGS 기본 계층은 제 1 품질 레벨로 상기 비디오 정보를 정의하고, 상기 FGS 확장 계층들 중 적어도 하나는 상기 제 1 레벨보다 큰 제 2 품질 레벨로 상기 비디오 정보를 정의하는 것을 특징으로 하는 디바이스.
  57. 제 55항에 있어서,
    상기 디코더는 공간 확장성을 위한 FGS 코딩의 사용을 시그널링하기 위해 상기 확장 계층들 중 적어도 하나와 함께 1-비트 구문 엘리먼트를 수신하는 것을 특징으로 하는 디바이스.
KR1020087019669A 2006-01-11 2007-01-11 미세 입도 공간 확장성을 가지는 비디오 코딩 KR101005682B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US75832306P 2006-01-11 2006-01-11
US60/758,323 2006-01-11
US11/506,348 2006-08-18
US11/506,348 US8315308B2 (en) 2006-01-11 2006-08-18 Video coding with fine granularity spatial scalability

Publications (2)

Publication Number Publication Date
KR20080094041A true KR20080094041A (ko) 2008-10-22
KR101005682B1 KR101005682B1 (ko) 2011-01-05

Family

ID=37907502

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087019669A KR101005682B1 (ko) 2006-01-11 2007-01-11 미세 입도 공간 확장성을 가지는 비디오 코딩

Country Status (6)

Country Link
US (2) US8315308B2 (ko)
EP (1) EP1972146A1 (ko)
JP (3) JP2009523395A (ko)
KR (1) KR101005682B1 (ko)
CN (1) CN101366283B (ko)
WO (1) WO2007082288A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013168952A1 (ko) * 2012-05-08 2013-11-14 엘지전자 주식회사 인터 레이어 예측 방법 및 이를 이용하는 장치
KR20150064163A (ko) * 2012-10-01 2015-06-10 지이 비디오 컴프레션, 엘엘씨 공간적 인트라 예측 파라미터들의 인터-레이어 예측을 이용한 스케일러블 비디오 코딩

Families Citing this family (122)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
US6931063B2 (en) 2001-03-26 2005-08-16 Sharp Laboratories Of America, Inc. Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
US7450641B2 (en) 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
KR20070083677A (ko) * 2004-09-14 2007-08-24 개리 데모스 고품질 광역 다중-레이어 이미지 압축 코딩 시스템
JP4839035B2 (ja) * 2005-07-22 2011-12-14 オリンパス株式会社 内視鏡用処置具および内視鏡システム
KR100891662B1 (ko) * 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
US20070160134A1 (en) * 2006-01-10 2007-07-12 Segall Christopher A Methods and Systems for Filter Characterization
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US8189686B2 (en) 2006-03-03 2012-05-29 David John Boyes Systems and methods for visualizing errors in video signals
US20070223826A1 (en) * 2006-03-21 2007-09-27 Nokia Corporation Fine grained scalability ordering for scalable video coding
US8194997B2 (en) * 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
EP1999960A4 (en) * 2006-03-24 2011-05-18 Korea Electronics Telecomm CODING METHOD FOR REDUCING REDUNDANCY BETWEEN LAYERS USING MITION DATA OF THE FGS LAYER AND ESTABLISHMENT THEREFOR
US8401082B2 (en) * 2006-03-27 2013-03-19 Qualcomm Incorporated Methods and systems for refinement coefficient coding in video compression
US20070283132A1 (en) * 2006-04-06 2007-12-06 Nokia Corporation End-of-block markers spanning multiple blocks for use in video coding
US7840078B2 (en) * 2006-07-10 2010-11-23 Sharp Laboratories Of America, Inc. Methods and systems for image processing control based on adjacent block characteristics
US7885471B2 (en) * 2006-07-10 2011-02-08 Sharp Laboratories Of America, Inc. Methods and systems for maintenance and use of coded block pattern information
US8130822B2 (en) * 2006-07-10 2012-03-06 Sharp Laboratories Of America, Inc. Methods and systems for conditional transform-domain residual accumulation
US8532176B2 (en) * 2006-07-10 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for combining layers in a multi-layer bitstream
US8059714B2 (en) * 2006-07-10 2011-11-15 Sharp Laboratories Of America, Inc. Methods and systems for residual layer scaling
US7535383B2 (en) * 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
US8422548B2 (en) * 2006-07-10 2013-04-16 Sharp Laboratories Of America, Inc. Methods and systems for transform selection and management
US8422555B2 (en) * 2006-07-11 2013-04-16 Nokia Corporation Scalable video coding
JP5484902B2 (ja) * 2006-07-13 2014-05-07 クゥアルコム・インコーポレイテッド サイクルを整列したフラグメントを使用する微細粒度スケーラビリティを備えた映像符号化
FR2904494B1 (fr) * 2006-07-26 2008-12-19 Canon Kk Procede et dispositif de compression d'image, systeme de telecommunication comportant un tel dispositif et programme mettant en oeuvre un tel procede
CN102158697B (zh) 2006-09-07 2013-10-09 Lg电子株式会社 用于解码/编码视频信号的方法及装置
US20080089411A1 (en) * 2006-10-16 2008-04-17 Nokia Corporation Multiple-hypothesis cross-layer prediction
US20080095238A1 (en) * 2006-10-18 2008-04-24 Apple Inc. Scalable video coding with filtering of lower layers
CN101578866B (zh) * 2006-10-20 2013-11-13 诺基亚公司 利用参考画面标记和参考画面列表对可缩放视频位流进行编解码的方法及装置
WO2008049446A1 (en) 2006-10-25 2008-05-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Quality scalable coding
KR100896290B1 (ko) * 2006-11-17 2009-05-07 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
US7876808B2 (en) * 2006-11-30 2011-01-25 Broadcom Corp. Method and apparatus for adaptive noise and/or signal filtering in an HSDPA channel quality indicator (CQI) selection
FR2909474B1 (fr) * 2006-12-04 2009-05-15 Canon Kk Procede et dispositif de codage d'images numeriques et procede et dispositif de decodage d'images numeriques codees
FR2910211A1 (fr) * 2006-12-19 2008-06-20 Canon Kk Procedes et dispositifs pour re-synchroniser un flux video endommage.
BRPI0720806B1 (pt) * 2007-01-18 2023-03-28 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Corrente de dados de vídeo de qualidade escalonável
US8665942B2 (en) 2007-01-23 2014-03-04 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction signaling
US7826673B2 (en) * 2007-01-23 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction with color-conversion
US8233536B2 (en) 2007-01-23 2012-07-31 Sharp Laboratories Of America, Inc. Methods and systems for multiplication-free inter-layer image prediction
US8503524B2 (en) * 2007-01-23 2013-08-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction
US7760949B2 (en) 2007-02-08 2010-07-20 Sharp Laboratories Of America, Inc. Methods and systems for coding multiple dynamic range images
US8767834B2 (en) 2007-03-09 2014-07-01 Sharp Laboratories Of America, Inc. Methods and systems for scalable-to-non-scalable bit-stream rewriting
US20100118942A1 (en) * 2007-06-28 2010-05-13 Thomson Licensing Methods and apparatus at an encoder and decoder for supporting single loop decoding of multi-view coded video
JP5295233B2 (ja) * 2007-06-29 2013-09-18 フラウンホファー・ゲゼルシャフト・ツール・フォルデルング・デル・アンゲバンテン・フォルシュング・アインゲトラーゲネル・フェライン ビデオエンコーダ、ビデオデコーダ、エンコードするための方法、デコードするための方法、コンピュータプログラム、およびスケーラブルなビットストリーム
DE102007049351A1 (de) * 2007-10-15 2009-04-16 Siemens Ag Verfahren und Vorrichtung zum Erstellen eines kodierten Ausgangsvideostroms aus mindestens zwei kodierten Eingangsvideoströmen, sowie Verwendung der Vorrichtung und kodierter Eingangsvideostrom
US20100220789A1 (en) * 2007-10-19 2010-09-02 Wu Yuwen Combined spatial and bit-depth scalability
KR100935528B1 (ko) * 2007-10-23 2010-01-06 한국전자통신연구원 주변 블록의 정보를 이용한 효율적인 영상 확대 방법 및이를 적용한 스케일러블 비디오 부호화/복호화 장치 및방법
JP5176175B2 (ja) * 2007-11-02 2013-04-03 エコール・ドゥ・テクノロジー・スュペリュール 品質制御パラメータの変更及びスケーリングによって変換される画像のファイルサイズを予想するシステム、方法及びプログラム
US8270739B2 (en) * 2007-12-03 2012-09-18 Ecole De Technologie Superieure System and method for quality-aware selection of parameters in transcoding of digital images
KR100938553B1 (ko) 2007-12-18 2010-01-22 한국전자통신연구원 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한바운더리 처리 방법 및 장치
HUE031487T2 (en) 2008-04-16 2017-07-28 Ge Video Compression Llc Bit depth scalability
US8379851B2 (en) 2008-05-12 2013-02-19 Microsoft Corporation Optimized client side rate control and indexed file layout for streaming media
US20130022114A1 (en) * 2008-06-23 2013-01-24 Mediatek Inc. Method and related apparatuses for decoding multimedia data
US8265140B2 (en) * 2008-09-30 2012-09-11 Microsoft Corporation Fine-grained client-side control of scalable media delivery
US8300961B2 (en) 2008-12-12 2012-10-30 Ecole De Technologie Superieure Method and system for low complexity transcoding of images with near optimal quality
US8774225B2 (en) * 2009-02-04 2014-07-08 Nokia Corporation Mapping service components in a broadcast environment
KR20100131365A (ko) * 2009-06-05 2010-12-15 한국전자통신연구원 채널 변경 지연을 줄이기 위한 스트리밍 서버, 이동 단말기 및 그 방법
JP2011109469A (ja) * 2009-11-18 2011-06-02 Canon Inc コンテンツ受信装置及びコンテンツ受信装置の制御方法
CA2782775A1 (en) * 2009-12-22 2011-07-21 Delta Vidyo, Inc. System and method for interactive synchronized video watching
RU2540846C2 (ru) * 2010-01-11 2015-02-10 Телефонактиеболагет Л М Эрикссон (Пабл) Технология для оценки качества видео
CN102771126A (zh) * 2010-02-24 2012-11-07 夏普株式会社 图像编码装置、图像解码装置及数据结构
HUE045579T2 (hu) 2010-04-13 2020-01-28 Ge Video Compression Llc Síkközi predikció
CN105120287B (zh) 2010-04-13 2019-05-17 Ge 视频压缩有限责任公司 解码器、编码器以及用于解码和编码的方法
CN106162171B (zh) 2010-04-13 2020-09-11 Ge视频压缩有限责任公司 解码器及方法、编码方法
BR112012026391B1 (pt) 2010-04-13 2020-12-15 Ge Video Compression, Llc Herança em amostra de arranjo em subdivisão multitree
EP2559238B1 (en) * 2010-04-13 2015-06-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Adaptive image filtering method and apparatus
CN105915919B (zh) * 2010-04-13 2019-12-06 Ge视频压缩有限责任公司 用于解码、生成及存储数据流的方法
US20120002726A1 (en) * 2010-06-30 2012-01-05 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus for scalable video coding
KR20130054408A (ko) * 2010-10-05 2013-05-24 제너럴 인스트루먼트 코포레이션 지그재그 스캔에 의한 적응적 컨텍스트 모델 선택을 이용하는 코딩 및 디코딩
US20120082235A1 (en) * 2010-10-05 2012-04-05 General Instrument Corporation Coding and decoding utilizing context model selection with adaptive scan pattern
KR101355975B1 (ko) * 2010-10-19 2014-01-29 한국전자통신연구원 스케일러블 위성방송의 적응적 재생장치 및 방법
JP2012095053A (ja) * 2010-10-26 2012-05-17 Toshiba Corp ストリーム伝送システム、送信装置、受信装置、ストリーム伝送方法及びプログラム
US9462272B2 (en) * 2010-12-13 2016-10-04 Electronics And Telecommunications Research Institute Intra prediction method and apparatus
WO2012081895A1 (ko) 2010-12-13 2012-06-21 한국전자통신연구원 인트라 예측 방법 및 그 장치
CN102572415B (zh) * 2010-12-17 2013-12-04 清华大学 在可重构处理器上映射和实现的运动补偿算法的方法
US8548057B2 (en) 2011-01-25 2013-10-01 Microsoft Corporation Video coding redundancy reduction
CN102088608B (zh) * 2011-02-28 2012-05-09 浙江大学 一种基于部分重建的可伸缩视频编码质量优化方法
JP6094973B2 (ja) * 2011-05-20 2017-03-15 サン パテント トラスト 色平面内予測を用いて映像を符号化および復号する方法および装置
US9686543B2 (en) 2011-06-15 2017-06-20 Electronics And Telecommunications Research Institute Method for coding and decoding scalable video and apparatus using same
US20130107962A1 (en) 2011-10-26 2013-05-02 Intellectual Discovery Co., Ltd. Scalable video coding method and apparatus using inter prediction mode
US8964849B2 (en) 2011-11-01 2015-02-24 Blackberry Limited Multi-level significance maps for encoding and decoding
CN108174203B (zh) * 2012-01-18 2021-12-21 Jvc 建伍株式会社 动图像解码装置以及动图像解码方法
JP2015507899A (ja) 2012-01-20 2015-03-12 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 並列処理を許容している符号化概念、トランスポートデマルチプレクサおよびビデオビットストリーム
US9222050B1 (en) 2012-02-29 2015-12-29 Rand Innovations, Llc Lubricant composition, method of preparing the same, and firearm cleaner including the same
US9392274B2 (en) * 2012-03-22 2016-07-12 Qualcomm Incorporated Inter layer texture prediction for video coding
US9894386B2 (en) * 2012-04-12 2018-02-13 Goldpeak Innovations Inc. Transform method based on block information, and apparatus using said method
US20130329806A1 (en) * 2012-06-08 2013-12-12 Qualcomm Incorporated Bi-layer texture prediction for video coding
US9219913B2 (en) 2012-06-13 2015-12-22 Qualcomm Incorporated Inferred base layer block for TEXTURE—BL mode in HEVC based single loop scalable video coding
US9749645B2 (en) 2012-06-22 2017-08-29 Microsoft Technology Licensing, Llc Coded-block-flag coding and derivation
WO2014000125A1 (en) * 2012-06-29 2014-01-03 Intel Corporation Systems, methods,and computer program products for scalable video coding based on coefficient sampling
WO2014009603A1 (en) * 2012-07-02 2014-01-16 Nokia Corporation Method and apparatus for video coding
US9179145B2 (en) * 2012-07-02 2015-11-03 Vidyo, Inc. Cross layer spatial intra prediction
US9467692B2 (en) * 2012-08-31 2016-10-11 Qualcomm Incorporated Intra prediction improvements for scalable video coding
CA2807404C (en) * 2012-09-04 2017-04-04 Research In Motion Limited Methods and devices for inter-layer prediction in scalable video compression
WO2014038330A1 (ja) * 2012-09-06 2014-03-13 ソニー株式会社 画像処理装置及び画像処理方法
US20140086328A1 (en) * 2012-09-25 2014-03-27 Qualcomm Incorporated Scalable video coding in hevc
CN104813662A (zh) * 2012-09-28 2015-07-29 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机程序
US9860558B2 (en) 2012-09-28 2018-01-02 Intel Corporation Inter-layer intra mode prediction
CN103716629B (zh) * 2012-09-29 2017-02-22 华为技术有限公司 用于图像处理的方法、装置、编码器和解码器
US20150312581A1 (en) * 2012-12-26 2015-10-29 Sony Corporation Image processing device and method
JP6210375B2 (ja) * 2012-12-28 2017-10-11 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置及び画像符号化復号装置
US9270991B2 (en) 2013-01-07 2016-02-23 Qualcomm Incorporated Inter-layer reference picture generation for HLS-only scalable video coding
EP2768227A1 (en) * 2013-01-23 2014-08-20 Siemens Aktiengesellschaft autogressive pixel prediction in the neighbourhood of image borders
US10609405B2 (en) 2013-03-18 2020-03-31 Ecole De Technologie Superieure Optimal signal encoding based on experimental data
US9338450B2 (en) 2013-03-18 2016-05-10 Ecole De Technologie Superieure Method and apparatus for signal encoding producing encoded signals of high fidelity at minimal sizes
US9661331B2 (en) 2013-03-18 2017-05-23 Vantrix Corporation Method and apparatus for signal encoding realizing optimal fidelity
US9998735B2 (en) * 2013-04-01 2018-06-12 Qualcomm Incorporated Inter-layer reference picture restriction for high level syntax-only scalable video coding
KR20140121315A (ko) * 2013-04-04 2014-10-15 한국전자통신연구원 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
CN103414893B (zh) * 2013-07-26 2016-06-29 香港应用科技研究院有限公司 一种用于可分级视频编码的编码装置和解码装置
US9219924B2 (en) 2013-07-26 2015-12-22 Hong Kong Applied Science and Technology Research Institute Company Limited Spatial scalable video coding using non-scalable video CODEC
US10516898B2 (en) 2013-10-10 2019-12-24 Intel Corporation Systems, methods, and computer program products for scalable video coding based on coefficient sampling
US20150326846A1 (en) * 2014-05-12 2015-11-12 DDD IP Ventures, Ltd. Systems and methods for processing video frames
JP2016015009A (ja) * 2014-07-02 2016-01-28 ソニー株式会社 情報処理システム、情報処理端末、および情報処理方法
US9813654B2 (en) * 2014-08-19 2017-11-07 Sony Corporation Method and system for transmitting data
GB2538997A (en) * 2015-06-03 2016-12-07 Nokia Technologies Oy A method, an apparatus, a computer program for video coding
KR20170006926A (ko) * 2015-07-10 2017-01-18 전자부품연구원 스케일러블 영상의 고속 부호화/복호화 방법 및 장치
JP6566864B2 (ja) * 2015-12-28 2019-08-28 Kddi株式会社 ビットストリーム変換装置、ビットストリーム変換方法、配信システム及びコンピュータ可読記録媒体
US11496747B2 (en) * 2017-03-22 2022-11-08 Qualcomm Incorporated Intra-prediction mode propagation
US10796464B2 (en) * 2017-08-25 2020-10-06 Siemens Healthcare Gmbh Selective image reconstruction
CN108470103B (zh) * 2018-03-22 2021-11-12 东南大学 一种基于空间句法的枢纽功能空间布局设计方法
US10992960B2 (en) 2019-02-06 2021-04-27 Jared Michael Cohn Accelerated video exportation to multiple destinations
IL291768A (en) * 2019-10-03 2022-06-01 Huawei Tech Co Ltd Encoding process for geometric division mode
US11595665B2 (en) * 2021-02-11 2023-02-28 Qualcomm Incorporated Upsampling reference pixels for intra-prediction in video coding
US20220279185A1 (en) * 2021-02-26 2022-09-01 Lemon Inc. Methods of coding images/videos with alpha channels

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3545000B2 (ja) * 1992-11-02 2004-07-21 ソニー株式会社 画像信号符号化装置、画像信号復号化装置
ES2194801T3 (es) * 1996-07-05 2003-12-01 Matsushita Electric Ind Co Ltd Procedimiento de presentacion de la fecha y sincronizacion de multiples planos objeto de videos.
US6731811B1 (en) * 1997-12-19 2004-05-04 Voicecraft, Inc. Scalable predictive coding method and apparatus
JP3413720B2 (ja) * 1998-06-26 2003-06-09 ソニー株式会社 画像符号化方法及び装置、並びに画像復号方法及び装置
US6614936B1 (en) 1999-12-03 2003-09-02 Microsoft Corporation System and method for robust video coding using progressive fine-granularity scalable (PFGS) coding
US7068717B2 (en) * 2000-07-12 2006-06-27 Koninklijke Philips Electronics N.V. Method and apparatus for dynamic allocation of scalable selective enhanced fine granular encoded images
US20020126759A1 (en) * 2001-01-10 2002-09-12 Wen-Hsiao Peng Method and apparatus for providing prediction mode fine granularity scalability
CN1253008C (zh) 2001-10-26 2006-04-19 皇家飞利浦电子股份有限公司 空间可分级压缩的方法和设备
JP4114859B2 (ja) * 2002-01-09 2008-07-09 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
GB2386275B (en) * 2002-03-05 2004-03-17 Motorola Inc Scalable video transmissions
US7480252B2 (en) * 2002-10-04 2009-01-20 Koniklijke Philips Electronics N.V. Method and system for improving transmission efficiency using multiple-description layered encoding
WO2004057866A2 (en) 2002-12-20 2004-07-08 Koninklijke Philips Electronics N.V. Elastic storage
NO319007B1 (no) * 2003-05-22 2005-06-06 Tandberg Telecom As Fremgangsmate og apparat for videokomprimering
JP4617644B2 (ja) * 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
US9071840B2 (en) * 2004-01-30 2015-06-30 Thomson Licensing Encoder with adaptive rate control for H.264
KR100626651B1 (ko) 2004-02-17 2006-09-21 한국전자통신연구원 선택적인 미세입자 스케일러블 코딩 장치 및 그 방법
JP4965429B2 (ja) 2004-04-02 2012-07-04 トムソン ライセンシング 複雑度スケーラブルなビデオエンコーダの方法及び装置
JP2006005438A (ja) 2004-06-15 2006-01-05 Sony Corp 画像処理装置およびその方法
KR100679025B1 (ko) * 2004-11-12 2007-02-05 삼성전자주식회사 다 계층 기반의 인트라 예측 방법, 및 그 방법을 이용한비디오 코딩 방법 및 장치
KR100679031B1 (ko) * 2004-12-03 2007-02-05 삼성전자주식회사 다 계층 기반의 비디오 인코딩 방법, 디코딩 방법 및 상기방법을 이용한 장치
KR20060063613A (ko) * 2004-12-06 2006-06-12 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100886191B1 (ko) * 2004-12-06 2009-02-27 엘지전자 주식회사 영상 블록을 디코딩 하는 방법
US7336837B2 (en) * 2005-01-11 2008-02-26 Nokia Corporation Method and system for coding/decoding of a video bit stream for fine granularity scalability
KR100703748B1 (ko) * 2005-01-25 2007-04-05 삼성전자주식회사 다 계층 기반의 비디오 프레임을 효율적으로 예측하는 방법및 그 방법을 이용한 비디오 코딩 방법 및 장치
US7876833B2 (en) 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
KR100891663B1 (ko) * 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
WO2007047736A2 (en) * 2005-10-19 2007-04-26 Thomson Licensing Multi-view video coding using scalable video coding
JP4565393B2 (ja) 2005-12-22 2010-10-20 日本ビクター株式会社 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013168952A1 (ko) * 2012-05-08 2013-11-14 엘지전자 주식회사 인터 레이어 예측 방법 및 이를 이용하는 장치
KR20150064163A (ko) * 2012-10-01 2015-06-10 지이 비디오 컴프레션, 엘엘씨 공간적 인트라 예측 파라미터들의 인터-레이어 예측을 이용한 스케일러블 비디오 코딩
KR20180005749A (ko) * 2012-10-01 2018-01-16 지이 비디오 컴프레션, 엘엘씨 베이스 레이어로부터 예측을 위한 서브블록 세부분할의 유도를 이용한 스케일러블 비디오 코딩
KR20180026796A (ko) * 2012-10-01 2018-03-13 지이 비디오 컴프레션, 엘엘씨 향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩
US10212419B2 (en) 2012-10-01 2019-02-19 Ge Video Compression, Llc Scalable video coding using derivation of subblock subdivision for prediction from base layer
US10212420B2 (en) 2012-10-01 2019-02-19 Ge Video Compression, Llc Scalable video coding using inter-layer prediction of spatial intra prediction parameters
US10218973B2 (en) 2012-10-01 2019-02-26 Ge Video Compression, Llc Scalable video coding using subblock-based coding of transform coefficient blocks in the enhancement layer
KR20190033657A (ko) * 2012-10-01 2019-03-29 지이 비디오 컴프레션, 엘엘씨 향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩
US10477210B2 (en) 2012-10-01 2019-11-12 Ge Video Compression, Llc Scalable video coding using inter-layer prediction contribution to enhancement layer prediction
KR20200035484A (ko) * 2012-10-01 2020-04-03 지이 비디오 컴프레션, 엘엘씨 향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩
US10694182B2 (en) 2012-10-01 2020-06-23 Ge Video Compression, Llc Scalable video coding using base-layer hints for enhancement layer motion parameters
KR20200138425A (ko) * 2012-10-01 2020-12-09 지이 비디오 컴프레션, 엘엘씨 향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩
KR20200144160A (ko) * 2012-10-01 2020-12-28 지이 비디오 컴프레션, 엘엘씨 공간적 인트라 예측 파라미터들의 인터-레이어 예측을 이용한 스케일러블 비디오 코딩
KR20210062738A (ko) * 2012-10-01 2021-05-31 지이 비디오 컴프레션, 엘엘씨 베이스 레이어로부터 예측을 위한 서브블록 세부분할의 유도를 이용한 스케일러블 비디오 코딩
US11134255B2 (en) 2012-10-01 2021-09-28 Ge Video Compression, Llc Scalable video coding using inter-layer prediction contribution to enhancement layer prediction
KR20220028160A (ko) * 2012-10-01 2022-03-08 지이 비디오 컴프레션, 엘엘씨 공간적 인트라 예측 파라미터들의 인터-레이어 예측을 이용한 스케일러블 비디오 코딩
US11477467B2 (en) 2012-10-01 2022-10-18 Ge Video Compression, Llc Scalable video coding using derivation of subblock subdivision for prediction from base layer
KR20220165285A (ko) * 2012-10-01 2022-12-14 지이 비디오 컴프레션, 엘엘씨 향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩
US11575921B2 (en) 2012-10-01 2023-02-07 Ge Video Compression, Llc Scalable video coding using inter-layer prediction of spatial intra prediction parameters
US11589062B2 (en) 2012-10-01 2023-02-21 Ge Video Compression, Llc Scalable video coding using subblock-based coding of transform coefficient blocks in the enhancement layer
KR20230074301A (ko) * 2012-10-01 2023-05-26 지이 비디오 컴프레션, 엘엘씨 공간적 인트라 예측 파라미터들의 인터-레이어 예측을 이용한 스케일러블 비디오 코딩
US12010334B2 (en) 2012-10-01 2024-06-11 Ge Video Compression, Llc Scalable video coding using base-layer hints for enhancement layer motion parameters

Also Published As

Publication number Publication date
JP5497101B2 (ja) 2014-05-21
US8315308B2 (en) 2012-11-20
JP2012213190A (ja) 2012-11-01
EP1972146A1 (en) 2008-09-24
JP2012114928A (ja) 2012-06-14
US20120201301A1 (en) 2012-08-09
CN101366283A (zh) 2009-02-11
US20070160133A1 (en) 2007-07-12
KR101005682B1 (ko) 2011-01-05
WO2007082288A1 (en) 2007-07-19
JP5296228B2 (ja) 2013-09-25
CN101366283B (zh) 2011-10-19
JP2009523395A (ja) 2009-06-18

Similar Documents

Publication Publication Date Title
KR101005682B1 (ko) 미세 입도 공간 확장성을 가지는 비디오 코딩
US11838524B2 (en) Method for coding and decoding scalable video and apparatus using same
JP2009523395A5 (ko)
JP2012114928A5 (ko)
Helle et al. A scalable video coding extension of HEVC
RU2409005C2 (ru) Способ масштабируемого кодирования и декодирования видеосигнала
CA2565645C (en) Method and apparatus to construct bi-directional predicted frames for temporal scalability
US10244255B2 (en) Rate-constrained fallback mode for display stream compression
WO2007080480A2 (en) Error resilient mode decision in scalable video coding
KR20140088014A (ko) 영상의 부호화/복호화 방법 및 이를 이용하는 장치
Van et al. HEVC backward compatible scalability: A low encoding complexity distributed video coding based approach
US20030118099A1 (en) Fine-grain scalable video encoder with conditional replacement
US20030118113A1 (en) Fine-grain scalable video decoder with conditional replacement
WO2008048038A1 (en) Scalable video coding encoder with adaptive reference fgs and fgs motion refinement mechanism and method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131129

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee