KR101068428B1 - Ｓｖｃ ｃｇｓ 향상 계층 코딩을 위한 ｃａｖｌｃ 향상 - Google Patents

Ｓｖｃ ｃｇｓ 향상 계층 코딩을 위한 ｃａｖｌｃ 향상 Download PDF

Info

Publication number
KR101068428B1
KR101068428B1 KR1020097014400A KR20097014400A KR101068428B1 KR 101068428 B1 KR101068428 B1 KR 101068428B1 KR 1020097014400 A KR1020097014400 A KR 1020097014400A KR 20097014400 A KR20097014400 A KR 20097014400A KR 101068428 B1 KR101068428 B1 KR 101068428B1
Authority
KR
South Korea
Prior art keywords
value
zeros
coefficients
coding
total
Prior art date
Application number
KR1020097014400A
Other languages
English (en)
Other versions
KR20090098875A (ko
Inventor
마르타 카르체비츠
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20090098875A publication Critical patent/KR20090098875A/ko
Application granted granted Critical
Publication of KR101068428B1 publication Critical patent/KR101068428B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

1보다 더 큰 계수들의 개수를 신택스 엘리먼트로서 이용하는 스케일러블 비디오 코딩 (SVC) 비정밀 입도 스케일러빌리티 (CGS) 향상 계층 코딩을 위한 콘텍스트-적응형 가변 길이 코딩 (CAVLC) 에 관한 것이다. coeff_token 의 코딩은 TotalCoeff 및 NLrg1 값들에 기초한다. Level 들은 NLrg1 신택스 엘리먼트에 기초하여 적절히 인코딩되고, total_zeros 는 인접하는 블록들의 total_zeros 의 추정된 개수에 기초하여 VLC 표들을 적절히 선택함에 의해 인코딩된다.
Figure R1020097014400
CAVLC, 코딩

Description

ＳＶＣ ＣＧＳ 향상 계층 코딩을 위한 ＣＡＶＬＣ 향상{CAVLC ENHANCEMENTS FOR SVC CGS ENHANCEMENT LAYER CODING}
관련 출원의 상호 참조
이 출원은 2007년 1월 8일자로 출원되어, 본 명세서에 참조로서 전부 포함되는, 미국 특허 출원 제 60/883,961 호에 대한 우선권을 주장한다.
배경
I. 기술분야
본 명세서에서의 대상물은 일반적으로 이미지 프로세싱에 관한 것이다.
II. 배경 기술
통신 기술들의 발전은 텍스트 및 음성 통신에 더하여 비디오 통신의 증가를 이끌었다. 비디오 데이터는 보통 대형이고, 전송 동안에 대량의 대역폭을 이용한다. 대역폭 소비를 감소시키기 위해, 압축 코딩 방식들은, 디지털 텔레비전들, 디지털 직접 방송 시스템들, 무선 통신 디바이스들, 개인 휴대 정보 단말기 (PDA) 들, 랩탑 컴퓨터들, 데스크탑 컴퓨터들, 비디오 게임 콘솔들, 디지털 카메라들, 디지털 레코딩 디바이스들, 셀룰러 또는 위성 무선 전화기들 등을 포함하는 넓은 범위의 디바이스들에 비디오 시퀀스들을 통신하는데 사용될 수도 있다.
상이한 비디오 인코딩 표준들이 디지털 비디오 시퀀스들을 인코딩하기 위해 확립되었다. 예를 들어, MPEG (Moving Picture Experts Group) 은 MPEG-1, MPEG-2 및 MPEG-4 를 포함하는 다수의 표준들을 개발하였다. 다른 예들은 ITU (International Telecommunication Union)-T H.263 표준, 및 ITU-T H.264 표준 및 그 등가 표준, ISO/IEC MPEG-4, 파트 10, 즉, 진보된 비디오 코딩 (Advanced Video Coding; AVC) 및 스케일러블 비디오 코딩 (Scalable Video Coding; SVC) 을 포함한다. 이 비디오 인코딩 표준들은 압축 방식으로 데이터를 인코딩함에 의해 비디오 시퀀스들의 향상된 전송 효율성을 지원한다.
콘텍스트-적응형 가변 길이 코딩 (CAVLC) 은 H.264/AVC 및 SVC 에 대해, 지그재그로 스캐닝된 4x4 및 2x2 잔여 블록들을 인코딩하는데 사용되는 방법일 수도 있다. SVC 비정밀 입도 스케일러빌리티 (coarse granular scalability; CGS) 에서, 모든 계층들은 H.264/AVC 에 대해 CAVLC 를 사용하고, 동일한 CAVLC 방법이 기본 및 향상 계층 코딩 둘 모두에 대해 적용된다. 하지만, 상이한 예측 구조들에 기인하여, 기본 계층의 통계들과 비교할 때, CGS 향상 계층 잔여물의 상이한 통계들이 발생하고, 이는 CGS 향상 계층 CAVLC 잔여 코딩에서 비효율성을 발생시킨다.
개요
스케일러블 비디오 코딩 (SVC) 비정밀 입도 스케일러빌리티 (CGS) 향상 계층 코딩을 위한 콘텍스트-적응형 가변 길이 코딩 (CAVLC) 은 1보다 더 큰 양자화된 입 력 이미지 데이터 계수들의 개수 (NLrg1) 를 신택스 (syntax) 엘리먼트로서 이용함에 의해 수행될 수도 있다. coeff_token 의 코딩은 TotalCoeff 및 NLrg1 에 기초할 수도 있다. 레벨 코딩은 나머지 계수들에서 1보다 더 큰 계수들의 개수에 기초하여 선택된 VLC 테이블을 사용하여 수행될 수도 있다. total_zeros 코딩은 상기 블록 내의 및 현재 블록의 좌측의 total_zeros 의 개수를 사용하여 결정된 total_zeros 추정치에 기초하여 VLC 테이블들을 적절히 선택함에 의해 수행될 수도 있다.
이 개요는 상세한 설명에서 이하 더 기술되는 개념들의 선택을 단순화된 형태로 소개하도록 제공된다. 이 개요는 청구된 대상물의 중요 특징들 또는 본질적인 특징들을 식별하도록 의도되지 않고, 청구된 대상물의 범위를 제한하는데 사용되는 것으로 의도되지도 않는다.
도면의 간단한 설명
도 1은 비디오 스케일러빌리티를 지원하는 디지털 멀티미디어 방송 시스템을 예시하는 블록 다이어그램이다.
도 2는 스케일러블 비디오 비트스트림 (bitstream) 의 기본 계층 및 향상 계층 내의 비디오 프레임들을 예시하는 다이어그램이다.
도 3은 도 1의 디지털 멀티미디어 방송 시스템의 방송 서버 및 가입자 디바이스의 예시적인 컴포넌트들을 예시하는 블록 다이어그램이다.
도 4A 및 4B 들은 스캐닝 순서를 예시하기 위한 도면들이다.
도 5는 H.264 인코딩 방식에 기초한 가변-길이 인코딩 장치의 블록 다이어그램이다.
도 6은 H.264 의 신택스 엘리먼트들의 순서를 도시하는 도면이다.
도 7은 변경된 H.264 인코딩 방식에 기초한 가변-길이 인코딩 장치의 구현이다.
도 8은 스케일러블 비디오 코딩 (SVC) 비정밀 입도 스케일러빌리티 (CGS) 향상 계층 코딩을 위한 CAVLC 프로세스의 스테이지들을 도시한다.
도 9는 신택스 엘리먼트들의 결정 및 인코딩된 스트림의 출력 프로세스의 스테이지들을 도시한다.
상세한 설명
스케일러블 비디오 코딩은 비디오 콘텐츠가 한번에 코딩될 수 있도록 비디오의 시간적 및 공간적 스케일러빌리티를 제공하는데 사용될 수도 있고, 다양한 품질들을 갖는 스트림들이 콘텐츠 제공자에 의해 제공될 수도 있다. 일 실시예로서, 인코딩된 비디오는 기본 계층 및 향상 계층을 포함할 수도 있다. 기본 계층은 비디오 디코딩을 위해 필요한 데이터의 최소량을 운반하고, 품질의 기본 레벨을 제공한다. 향상 계층은 디코딩된 비디오의 품질을 향상시킬 수 있는 추가적인 데이터를 운반한다.
일반적으로, 기본 계층은, 공간-시간-SNR (spatio-temporal-SNR) 스케일러빌리티의 제 1 레벨을 나타내는 인코딩된 비디오 데이터를 포함하는 비트스트림을 지 칭할 수도 있다. 향상 계층은, 공간-시간-SNR 스케일러빌리티의 제 2 레벨을 나타내는 인코딩된 비디오 데이터를 포함하는 비트스트림을 지칭할 수도 있다. 향상 계층 비트스트림은 기본 계층과 함께 디코딩 가능한데, 즉, 향상 계층 비트스트림은 최종 디코딩된 비디오 데이터를 생성하는데 사용되는 디코딩된 기본 계층 비디오 데이터에 대한 레퍼런스 (reference) 들을 포함한다.
물리적 계층에 대한 계층적 변조를 사용하여, 기본 계층 및 향상 계층은, 상이한 패킷 에러 레이트 (PER) 를 발생시키는 상이한 전송 특성들로 동일한 캐리어 (carrier) 또는 서브캐리어들로 전송될 수 있다. 기본 계층은 커버리지 (coverage) 영역에 걸쳐 더 신뢰성 있는 수신에 대해 더 낮은 PER 을 갖는다. 만약 향상 계층이 신뢰성 있게 수신되고/수신되거나 다른 기준을 조건으로 한다면, 디코더는 오직 기본 계층 또는 기본 계층 더하기 향상 계층을 디코딩할 수도 있다.
일부 구현들에서, 본 명세서에 개시된 기술들은 H.264 표준을 따를 수도 있는 디바이스들에 대한 저 (low) 복잡도 비디오 스케일러빌리티 확장들을 구현하도록 적용될 수도 있다. 예를 들어, 확장들은 H.264 표준의 추후 버전들 또는 확장들에 대한 잠재적인 변경들, 또는 다른 표준들을 나타낼 수도 있다. H.264 표준은, JVT (Joint Video Team) 로 알려진 파트너십의 결과로서의, ITU-T 비디오 코딩 전문가 그룹 및 ISO/IEC MPEG (Moving Picture Experts Group) 에 의해 개발되었다. 코딩된 비디오 데이터 및 스케일러블 확장들은 네트워크 추상화 계층 (network abstraction layer; NAL) 유닛들로 운반될 수도 있다. 각각의 NAL 유닛은 정수의 바이트들을 포함하는 패킷의 형태를 취할 수도 있는 네트워크 전송 유 닛이다. NAL 유닛들은, 기본 계층 데이터 또는 향상 계층 데이터 중 하나를 운반할 수도 있다. NAL 유닛의 기본 계층 비트스트림 신택스 및 시맨틱스 (semantics) 는, 가능하게는 일부 제약들 및/또는 변경들을 조건으로 한, H.264 표준과 같은, 적용가능한 표준을 일반적으로 따를 수도 있다.
이 개시물에 기술된 기술들은 MPEG-1, MPEG-2 또는 MPEG-4 표준들, ITU H.263 또는 H.264 표준들, 또는 ISO/IEC MPEG-4, 파트 10 표준, 즉 실질적으로 H.264 표준과 동일한 진보된 비디오 코딩 (AVC) 과 같은 임의의 다양한 예측 비디오 인코딩 표준들의 조합에서 사용될 수도 있다. H.264 표준과 관련된 비디오 스케일러빌리티에 대한 저 복잡도 확장들을 지원하는 그러한 기술들의 애플리케이션은 본 명세서에서 예시의 목적들로 기술될 것이다.
만약 디코딩이 이동 핸드셋 (handset), 또는 다른 소형의, 휴대용 디바이스와 같은 클라이언트 디바이스에서 수행된다면, 계산 복잡도 및 메모리 요건들에 기인한 제한들이 있을 수도 있다. 따라서, 스케일러블 인코딩은, 기본 계층 더하기 향상 계층의 디코딩이 단일 계층 디코딩에 비해 계산 복잡도 및 메모리 요건들을 상당히 증가시키지 않는 그러한 방식으로 설계될 수 있다. 적당한 신택스 엘리먼트들 및 관련된 시맨틱스는 기본 및 향상 계층 데이터의 효율적인 디코딩을 지원할 수도 있다.
도 1은 비디오 스케일러빌리티를 지원하는 디지털 멀티미디어 방송 시스템 (10) 을 예시하는 블록 다이어그램이다. 도 1의 실시예에서, 시스템 (10) 은 방송 서버 (12), 전송 타워 (14), 및 다중의 가입자 디바이스들 (16A, 16B) 를 포 함한다. 방송 서버 (12) 는 하나 이상의 소스들로부터 디지털 멀티미디어 콘텐츠를 획득하고, 그 멀티미디어 콘텐츠를, 예를 들어, H.264 또는 그 변경 표준과 같은 본 명세서에서 기술된 임의의 비디오 인코딩 표준들에 따라 인코딩한다. 방송 서버 (12) 에 의해 인코딩된 멀티미디어 콘텐츠는 가입자 디바이스 (16) 와 관련된 사용자에 의한 선택에 대한 상이한 채널들을 지원하도록 별개의 비트스트림들로 정렬될 수도 있다. 방송 서버 (12) 는 상이한 콘텐츠 제공자 피드 (feed) 들로부터, 라이브 또는 저장된 멀티미디어로서 디지털 멀티미디어 콘텐츠를 획득할 수도 있다.
방송 서버 (12) 는, 무선 채널을 통해 방송 서버 (12) 로부터 획득되는 인코딩된 멀티미디어를 전달하는 전송 타워 (14) 와 관련되는 하나 이상의 안테나들을 구동하기 위해 적당한 무선 주파수 (RF) 변조, 필터링, 및 증폭기 컴포넌트들을 포함하는 변조기/송신기를 포함하거나 그에 커플링 (couple) 될 수도 있다. 일부 양태들에서, 방송 서버 (12) 는 일반적으로, 코드 분할 다중 접속 (CDMA), 시분할 다중 접속 (TDMA), 주파수 분할 다중 접속 (FDMA), 직교 주파수 분할 다중화 (OFDM), 또는 그러한 기술들의 임의의 조합과 같은 임의의 다양한 무선 통신 기술들을 따라서 실시간 비디오 서비스들을 전달하도록 구성될 수도 있다.
각각의 가입자 디바이스 (16) 는 디지털 멀티미디어 데이터를 디코딩하고 나타낼 수 있는 임의의 디바이스, 디지털 직접 방송 시스템, 셀룰러 전화기 또는 위성 무선 전화기와 같은 무선 통신 디바이스, 개인 휴대 정보 단말기 (PDA), 랩탑 컴퓨터, 데스크탑 컴퓨터, 비디오 게임 콘솔 등 내에서 상주할 수도 있다. 가 입자 디바이스들 (16) 은 멀티미디어 데이터의 유선 및/또는 무선 수신을 지원할 수도 있다. 추가적으로, 일부 가입자 디바이스들 (16) 은 멀티미디어 데이터를 인코딩 및 전송하는 것 뿐만 아니라 영상 통화, 비디오 스트리밍 등을 포함하는 음성 및 데이터 애플리케이션들을 지원하도록 구비될 수도 있다.
일부 구현들에서, 스케일러블 비디오를 지원하기 위해, 방송 서버 (12) 는 비디오 데이터의 다중의 채널들에 대해 별개의 기본 계층 및 향상 계층 비트스트림들을 생성하도록 소스 비디오를 인코딩할 수도 있다. 채널들은, 가입자 디바이스 (16A, 16B) 가 임의의 시간에서 시청을 위해 상이한 채널을 선택할 수 있도록, 일반적으로 동시에 전송될 수도 있다. 그러므로, 가입자 디바이스 (16A, 16B) 는, 사용자 제어 하에서, 텔레비전 시청 경험과 매우 똑같이, 스포츠를 시청하기 위해 일 채널을 선택할 수도 있고, 그 후 뉴스 또는 기타 다른 스케줄링 (schedule) 된 프로그래밍 이벤트를 시청하기 위해 다른 채널을 선택할 수도 있다. 일반적으로, 각각의 채널은 상이한 PER 레벨들에서 전송되는 기본 계층 및 향상 계층을 포함한다.
도 1의 실시예에서, 2개의 가입자 디바이스들 (16A, 16B) 이 도시된다. 하지만, 시스템 (10) 은 소정의 커버리지 영역 내에서 임의의 수의 가입자 디바이스들 (16A, 16B) 을 포함할 수도 있다. 특히, 다중의 가입자 디아이스들 (16A, 16B) 은 동일한 콘텐츠를 동시에 시청하기 위해 동일한 채널들에 액세스 (access) 할 수도 있다. 도 1은, 일 가입자 디바이스 (16A) 가 전송 타워에 더 근접하고, 다른 가입자 디바이스 (16B) 가 전송 타워로부터 더 원거리가 되도록, 전송 타 워 (14) 에 상대적인 가입자 디바이스들 (16A 및 16B) 의 위치를 나타낸다. 기본 계층은 더 낮은 PER 에서 인코딩되기 때문에, 기본 계층은 적용가능한 커버리지 영역 내에서 임의의 가입자 디바이스 (16) 에 의해 신뢰성 있게 수신 및 디코딩될 것이다. 도 1에서 도시된 바와 같이, 가입자 디바이스들 (16A, 16B) 둘 모두는 기본 계층을 수신한다. 하지만, 가입자 (16B) 는 전송 타워 (14) 로부터 더 원거리에 위치되고, 향상 계층을 신뢰성 있게 수신하지 못할 수도 있다.
더 원거리의 가입자 디바이스 (16B) 가 기본 계층 데이터에 의해 제공되는 최소 품질 레벨만을 오직 나타낼 수 있는 반면에, 더 근접한 가입자 디바이스 (16A) 는, 기본 계층 및 향상 계층 둘 모두가 이용가능하기 때문에, 더 높은 품질의 비디오를 나타낼 수 있다. 그러므로, 가입자 디바이스들 (16) 에 의해 획득된 비디오는, 향상 계층이 디코딩될 수 있고 디코딩된 비디오의 신호 대 잡음비를 증가시키도록 기본 계층에 추가될 수 있다는 점에서 스케일러블하다.
도 2는 스케일러블 비디오 비트스트림의 기본 계층 (17) 및 향상 계층 (18) 내의 예시적인 비디오 프레임들을 예시하는 다이어그램이다. 기본 계층 (17) 은 공간-시간-SNR 스케일러빌리티의 제 1 레벨을 나타내는 인코딩된 비디오 데이터를 포함하는 비트스트림이다. 향상 계층 (18) 은 공간-시간-SNR 스케일러빌리티의 제 2 레벨을 나타내는 인코딩된 비디오 데이터를 포함하는 비트스트림이다. 일반적으로, 향상 계층 비트스트림은 오직 기본 계층과 함께 디코딩 가능하고, 독립적으로 디코딩 가능하지 않다. 향상 계층 (18) 은 기본 계층 (17) 의 디코딩된 비디오 데이터에 대한 레퍼런스들을 포함한다. 그러한 레퍼런스들은 변환 도메인 또는 픽셀 도메인 중 하나에서 최종 디코딩된 비디오 데이터를 생성하는데 사용될 수도 있다.
기본 계층 (17) 및 향상 계층 (18) 은 인트라 (intra; I), 인터 (inter; P), 및 양방향 (bidirectional; B) 프레임들을 포함할 수도 있다. 향상 계층 (18) 의 P 프레임들은 기본 계층 (17) 의 P 프레임들에 대한 레퍼런스들에 의존한다. 향상 계층 (18) 및 기본 계층 (17) 의 프레임들을 디코딩함에 의해, 비디오 디코더는 디코딩된 비디오의 비디오 품질을 증가시킬 수 있다. 예를 들어, 향상 계층 (18) 은 초당 30 프레임의 더 높은 프레임 레이트 (frame rate) 에서 인코딩된 비디오를 포함할 수도 있는 반면에, 기본 계층 (17) 은 초당 15 프레임의 최소 프레임 레이트에서 인코딩된 비디오를 포함할 수도 있다. 상이한 품질 레벨들에서의 인코딩을 지원하기 위해, 기본 계층 (17) 및 향상 계층 (18) 은 더 높은 양자화 파라미터 (QP) 및 더 낮은 QP 로 각각 인코딩될 수도 있다.
도 3은 도 1의 디지털 멀티미디어 방송 시스템 (10) 의 방송 서버 (12) 및 가입자 디바이스 (16) 의 예시적인 컴포넌트들을 예시하는 블록 다이어그램이다. 도 3에서 도시된 바와 같이, 방송 서버 (12) 는 하나 이상의 비디오 소스들 (20), 또는 다양한 비디오 소스들로의 인터페이스를 포함한다. 방송 서버 (12) 는 또한 비디오 인코더 (22), NAL 유닛 모듈 (23) 및 변조기/송신기 (24) 를 포함한다. 가입자 디바이스 (16) 는 수신기/복조기 (25), NAL 유닛 모듈 (27), 비디오 디코더 (28) 및 비디오 디스플레이 디바이스 (30) 를 포함한다. 수신기/복조기 (25) 는 변조기/송신기 (24) 로부터 통신 채널 (15) 을 통해 비디오 데이터 를 수신한다. 비디오 인코더 (22) 는 기본 계층 인코더 모듈 (32) 및 향상 계층 인코더 모듈 (34) 을 포함한다. 비디오 디코더 (28) 는 기본 계층/향상 계층 (base/enh) 결합기 모듈 (38) 및 기본 계층/향상 계층 엔트로피 (entropy) 디코더 (39) 를 포함한다.
기본 계층 인코더 (32) 및 향상 계층 인코더 (34) 는 공통의 비디오 데이터를 수신한다. 기본 계층 인코더 (32) 는 제 1 품질 레벨에서 비디오 데이터를 인코딩한다. 향상 계층 인코더 (34) 는, 기본 계층에 추가될 때, 비디오를 제 2 의 더 높은 품질 레벨로 향상시키는 개량물들을 인코딩한다. NAL 유닛 모듈 (23) 은 비디오 인코더 (22) 로부터의 인코딩된 비트스트림을 프로세싱하고, 기본 및 향상 계층들로부터의 인코딩된 비디오 데이터를 포함하는 NAL 유닛들을 생성한다. NAL 유닛 모듈 (23) 은 도 3에서 도시된 바와 같이 별개의 컴포넌트일 수도 있거나, 비디오 인코더 (22) 내에 임베디드 (embedded) 될 수도 있거나, 만약 그렇지 않으면 비디오 인코더 (22) 에 통합될 수도 있다. 다른 NAL 유닛들이 향상 계층 데이터를 운반하는 반면에, 일부 NAL 유닛들은 기본 계층 데이터를 운반한다.
일부 구현들에서, NAL 유닛들의 일부는 실질적인 추가된 복잡도 없이 비디오 디코더 (28) 가 기본 및 향상 계층을 디코딩하는 것을 보조하는 신택스 엘리먼트들 및 시맨틱스를 포함할 수도 있다. 예를 들어, NAL 유닛에 향상 계층 비디오 데이터의 존재를 표시하는 하나 이상의 신택스 엘리먼트들은 향상 계층 비디오 데이터를 포함하는 NAL 유닛, 기본 계층 비디오 데이터를 포함하는 NAL 유닛, 또는 둘 모두에서 제공될 수도 있다.
변조기/송신기 (24) 는 NAL 유닛 모듈 (23) 에 의해 생성되는 NAL 유닛들의 변조 및 무선 전송을 지원하기 위해 적합한 모뎀, 증폭기, 필터, 주파수 변환 컴포넌트들을 포함할 수도 있다. 수신기/복조기 (25) 는 방송 서버 (12) 에 의해 전송된 NAL 유닛들의 무선 수신을 지원하기 위해 적합한 모뎀, 증폭기, 필터 및 주파수 변환 컴포넌트들을 포함할 수도 있다. 일부 양태들에서, 방송 서버 (12) 및 가입자 디바이스 (16) 는, 방송 서버 (12), 가입자 디바이스 (16), 또는 둘 모두가 전송 및 수신 컴포넌트들 둘 모두를 포함하고, 비디오 인코딩 및 디코딩 둘 모두를 할 수 있도록, 양방향 통신을 위해 구비될 수도 있다. 다른 양태들에서, 방송 서버 (12) 는, 기본 계층 및 향상 계층 인코딩을 사용하여 비디오 데이터를 인코딩, 디코딩, 전송 및 수신하도록 구비되는 가입자 디바이스 (16) 일 수도 있다. 그러므로, 2 이상의 가입자 디바이스들 사이에 전송되는 비디오에 대한 스케일러블 비디오 프로세싱이 또한 고려된다.
NAL 유닛 모듈 (27) 은 수신된 NAL 유닛들로부터 신택스 엘리먼트들을 추출하고, 기본 계층 및 향상 계층 비디오 데이터를 디코딩하는데 사용하기 위해 관련된 정보를 비디오 디코더 (28) 에 제공한다. NAL 유닛 모듈 (27) 은 도 3에서 도시된 바와 같이 별개의 컴포넌트일 수도 있거나, 비디오 디코더 (28) 내에 임베디드될 수도 있거나, 만약 그렇지 않으면 비디오 디코더 (28) 에 통합될 수도 있다. 기본 계층/향상 계층 엔트로피 디코더 (39) 는 엔트로피 디코딩을 수신된 비디오 데이터에 적용한다. 만약 향상 계층 데이터가 이용가능하다면, 기본 계 층/향상 계층 결합기 모듈 (38) 은, 결합된 정보의 단일 계층 디코딩을 지원하기 위해 NAL 유닛 모듈 (27) 에 의해 제공된 표시들을 사용하여 기본 계층 및 향상 계층으로부터의 계수들을 결합한다. 비디오 디코더 (28) 는 구동 디스플레이 디바이스 (30) 에 출력 비디오를 생성하기 위해 결합된 비디오 데이터를 디코딩한다. 각각의 NAL 유닛에 존재하는 신택스 엘리먼트들 및 신택스 엘리먼트들의 시맨틱스는 수신된 기본 계층 및 향상 계층 비디오 데이터의 결합 및 디코딩을 비디오 디코더 (28) 에 지시한다.
방송 서버 (12) 및 가입자 디바이스 (16) 의 다양한 컴포넌트들은 하드웨어, 소프트웨어, 및 펌웨어의 임의의 적합한 조합에 의해 실현될 수도 있다. 예를 들어, 비디오 인코더 (22) 및 NAL 유닛 모듈 (23) 뿐만 아니라 NAL 유닛 모듈 (27) 및 비디오 디코더 (28) 는 하나 이상의 범용 마이크로프로세서들, 디지털 신호 프로세서 (DSP) 들, 하드웨어 코어들, 주문형 집적회로 (ASIC) 들, 필드 프로그래머블 게이트 어레이 (FPGA) 들, 또는 임의의 그들의 조합에 의해 실현될 수도 있다. 추가적으로, 다양한 컴포넌트들은 비디오 CODEC (encoder-decoder) 내에서 구현될 수도 있다. 일부 경우들에서, 개시된 기술들의 일부 양태들은 인코딩 프로세스를 가속하도록 하드웨어 코어의 다양한 하드웨어 컴포넌트들을 호출하는 DSP 에 의해 실행될 수도 있다.
프로세서 또는 DSP 에 의해 실행되는 기능성과 같은 소프트웨어에서 구현되는 기능성의 양태들에 대해, 본 개시물은 또한 컴퓨터 프로그램 제품 내의 코드들을 포함하는 컴퓨터-판독가능 매체를 고려한다. 머신 (machine) 에서 실행될 때, 코드들은, 머신이 이 개시물에 기술된 기술들의 하나 이상의 양태들을 수행하게 한다. 이 머신 판독가능 매체는 동기식 동적 랜덤 액세스 메모리 (SDRAM) 와 같은 랜덤 액세스 메모리 (RAM), 판독-전용 메모리 (ROM), 비-휘발성 랜덤 액세스 메모리 (NVRAM), 전기적 소거가능 프로그래머블 판독-전용 메모리 (EEPROM), 플레시 (FLASH) 메모리 등을 포함할 수도 있다.
도 4A 를 참조하면, H.264 를 따르는 엔트로피 인코딩에서, 변환 계수들은 직교 변환 이후에 4x4 블록 기초로 프로세싱된다. H.264 인코딩 방식에서, (이하에서 기술되는) 5개의 신택스 엘리먼트들이 생성되고, 4x4 블록에 관하여 도 4에서 도시된 지그재그 스캐닝 순서의 역순 (즉, 역 스캐닝 순서) 으로 프로세싱을 수행함에 의해 가변-길이-인코딩된다. 블록의 각각의 변환 계수는 Level[I] 로 표현되며, "I" 는 지그재그 스캐닝 개수를 나타낸다.
H.264 인코딩 방식에 기초한 콘텍스트-적응형 가변 길이 코딩 (CAVLC) 방식에 의한 도 4B 에 도시된 변환 계수들을 포함하는 4x4 블록의 엔트로피 인코딩 프로세싱이 다음에 기술될 것이다. 도 5는 H.264 인코딩 방식에 기초한 가변-길이 인코딩 장치 (즉, 비디오 인코더 (22)) 의 블록 다이어그램이다. 도 6은, 4x4 블록 기초로 5개의 신택스 엘리먼트들에 대응하는 가변-길이 코드들이 인코딩된 스트림을 형성하도록 결합되는 순서를 도시한다.
TotalCoeffs 결정 유닛 (44) 은 0인 값을 갖지 않는 4x4 블록의 변환 계수들의 개수를 계산한다. 예를 들어, 도 4B 를 참조하면, TotalCoeffs 는 6이다. total_zeros 결정 유닛 (46) 은 최종의 유효 계수들로서 Level [9] 와 Level [0] 사이에서 Level [I] 값이 0인 변환 계수들의 개수를 계산한다. 이 경우, total_zeros 는 4이다. trailing_ones 결정 유닛 (45) 은 최종의 유효 계수들로서 Level [9] 로부터 절대값이 1인, 최대 3개까지의, 변환 계수들의 개수를 계산한다. 이 경우, Level [9] 및 Level [7] 이 절대값 1에 대응하기 때문에, trailing_ones 는 2이다. coeff_token 가변-길이 코드 생성 유닛 (49) 은 TotalCoeffs 결정 유닛 (44) 에 의해 계산된 TotalCoeffs 의 값 및 trailing_ones 결정 유닛 (45) 에 의해 계산된 trailing_ones 의 값으로부터 2차원 이벤트의 신택스 엘리먼트로서 coeff_token 을 계산한다는 것을 주목한다.
신택스 엘리먼트로서 "Level" 의 값들이 역 스캐닝 순서로 순차적으로 생성되기 때문에, "Level" 의 값들은 최종 유효 계수로서 Level [9] 로부터 순차적으로 생성된다. 하지만, "Level" 의 값들은 trailing_ones 결정 유닛 (45) 에 의해 계산되는 trailing_ones 의 값에 따라서 수정될 필요가 있다. Level 선택 유닛 (41) 은 이 프로세스를 수행한다. Level 선택 유닛 (41) 은 Level [I] 의 값들이 0이 아닌 변환 계수들을 임계값 결정 유닛 (42) 및 Level 가변-길이 코드 생성 유닛 (43) 으로 순차적으로 출력한다. 만약 trailing_ones 의 값이 3보다 작으면, 절대값이 1이 아닌 제 1 Level [I] 의 절대값에서 1이 감산된다. 이 경우, trailing_ones 는 2이기 때문에, Level [6] 의 절대값 "6" 에서 1을 감산함에 의해 획득되는 값 "5" 가 출력된다. 추가적으로, 임계값 결정 유닛 (42) 은 suffixLength 를 결정하고, 그것을 Level 가변-길이 코드 생성 유닛 (43) 으로 출력한다.
SuffixLength 는 H.264 규격들에 따라서 미리 결정되는 임계값 표와 Levle [I] 의 입력 값을 비교함에 의해 결정된다. Level 가변-길이 코드 생성 유닛 (43) 은 SuffixLength 의 값에 따른 가변-길이 인코딩을 위해 사용되도록 (도시되지 않은) 가변-길이 표를 선택한다.
run_before 결정 유닛 (47) 은 역 스캐닝 순서로 제로 런 (zero run) 들을 순차적으로 계산한다. 예를 들어, Level [9] 와 Level [7] 사이에서 run_before 는 1이고, Level [7] 과 Level [6] 사이에서 run_before 는 0이다. zeros_left 관리 유닛은 total_zeros 의 값들에서 run_before 의 계산된 값들을 순차적으로 감산함에 의해 얻어진 값들을 zeros_left 로서 run_before 가변 길이 코드 생성 유닛 (51)으로 출력한다는 것을 주목한다. run_before 가변-길이 코드 생성 유닛 (51) 은 run_before 및 zeros_left 값들로부터 가변-길이 코드를 생성한다.
가변-길이 코드 결합 유닛 (52) 은 도 6에 도시된 순서에 따라서, coeff_token 가변-길이 코드 생성 유닛 (49) 로부터 입력된 가변-길이 코드, trailing_ones 결정 유닛 (45) 로부터 입력된 trailing_ones_sign, Level 가변-길이 코드 생성 유닛 (43) 으로부터 입력된 가변-길이 코드, total_zeros 가변-길이 코드 생성 유닛 (50) 으로부터 입력된 가변-길이 코드, 및 run_before 가변-길이 코드 생성 유닛 (51) 으로부터 입력된 가변-길이 코드를 순차적으로 결합한다.
향상 계층 코딩의 상이한 신 (scene) 특성들에 기인하여, SVC CGS 향상 계층 코딩을 위한 CAVLC 코딩은 비효율적일 수도 있다. 예를 들어, 다수의 예들에 서, CGS 향상 계층 코딩을 위해, 양자화 이후의 잔여 변환 계수들은 0들 또는 1들이다. 따라서, 1보다 더 큰 계수들의 확률은 극단적으로 낮다. 이에 기초하여, 일 구현에서, CAVLC 신택스 엘리먼트들은 변경된 H.264 인코딩 방식에 기초한 가변-길이 인코딩 장치 (40) 의 구현인 도 7에서 도시된 바와 같이 변경될 수도 있다. 도 7에서, 도 5의 인코딩 장치와 공통인 엘리먼트들은 도면 부호들을 갖는 것으로 도시되고, 본 명세서에서 이하에 다시 기술되지 않는다.
직교 변환된 4x4 이미지 데이터에서, 1보다 더 큰 절대값을 갖는 양자화된 변환 계수들의 개수는 NLrg1 결정 유닛 (53) 에 의해 결정된다. 도 5와 비교할 때, coeff_token 의 정의는, coeff_token 생성 유닛 (55) 이 TotalCoeff 결정 유닛 (44) 및 NLrg1 결정 유닛 (53) 의 출력을 인코딩하도록 변경된다. 일부 구현들에서, 이하에서 표 1 내지 3에서 도시되는 VLC 표들은 좌측 블록의 비-제로 계수들의 개수 (the number of non-zero coefficients; nnz) (nA) 및 상부-블록의 nnz (nB) 로부터 결정되는 nnz 의 추정치 또는 예측자 (nC) 에 기초하여 coeff_token 을 코딩하는데 사용될 수도 있다. 추정치 (nC) 는 ISO/IEC 14496-10 에서 정의되고, 다음과 같이 결정될 수도 있다.
만약 오직 상부 블록이 이용가능하면, nC = nB.
만약 오직 좌측 블록이 이용가능하면, nC = nA.
만약 둘다 이용가능하지 않으면, nC = 0.
만약 둘다 이용가능하면, nC = round((nA+nB)/2)
Figure 112009041988508-pct00001
Figure 112009041988508-pct00002
Figure 112009041988508-pct00003
만약 nC ＞ 8 이면, 고정된 길이 코드워드 (codeword) 는 다음과 같이 기입될 수도 있다.
만약 TotalCoeff = 0 이면, 코드 00
만약 그렇지 않으면, min(NLrg1+1,3) 의 2-비트들 및 TotalCoeff -1 의 4-비트들을 포함하는 6-비트 고정된 길이 코드가 사용될 수도 있다.
일부 구현들에서, NLrg1 결정 유닛 (53) 의 출력이 2 보다 더 큰 때, (NLrg1-2) 의 일진 코드가 거기에 첨부된다.
레벨 코딩 결정 유닛 (54) 은 코딩될 나머지 계수들에서 1보다 더 큰 계수들의 개수에 기초하여 레벨 코딩에 대한 VLC 표를 선택할 수도 있다. 일부 구현 들에서, 코딩될 모든 나머지 계수들의 크기가 1보다 작거나 같을 때, 부호 비트 (sign bit) 들이 코딩된다. 1보다 더 큰 절대값을 갖는 계수들의 개수가 1일때, VLC 표 0 이 사용되고, 만약 그렇지 않으면, VLC 표 1 이 레벨들을 코딩하는데 사용된다.
total_zeros 생성 유닛 (56) 은, nC 와 동일한 방식 (즉, 상기 블록에서 및 현재의 블록의 좌측의 total_zeros 의 개수를 사용하여) 으로 결정될 수도 있는 total_zeros 추정치에 기초하여 VLC 표들을 적응적으로 선택한다. VLC 표 인덱스는 이하 표 4에서 도시된 바와 같이 할당된다. 그러한 구현은, 기본 계층과 뿐만 아니라 계층마다 상이할 수도 있는 향상 계층에 대한 total_zeros 통계를 설명한다. total_zeros 할당에 대한 VLC 는 TotalCoeff 값들로 컨디셔닝 (condition) 될 수도 있다. 표 5 및 6은 total_zeros 에 대한 VLC 표이다.
Figure 112009041988508-pct00004
Figure 112009041988508-pct00005
Figure 112009041988508-pct00006
가변-길이 코드 결합 유닛 (52) 은 coeff_token 가변-길이 코드 생성 유닛 (55) 로부터 입력된 가변-길이 코드, Level 가변-길이 코드 생성 유닛 (54) 으로부터 입력된 가변-길이 코드, Total_zeros 가변-길이 코드 생성 유닛 (56) 으로부터 입력된 가변-길이 코드, 및 run_before 가변-길이 코드 생성 유닛 (51) 으로부터 입력된 가변-길이 코드를 순차적으로 결합 및 출력한다.
도 8은 스케일러블 비디오 코딩 (SVC) 비정밀 입도 스케일러빌리티 (CGS) 향상 계층 코딩을 위한 CAVLC 프로세스 (100) 의 스테이지들을 도시한다. 스테이지 (102) 에서, 이미지 데이터가 수신된다. 예를 들어, 직교 변환된 블록 이미지 데이터가 인코더 (22) 에 의해 수신될 수도 있다. 스테이지 (104) 에서, 신택스 엘리먼트들이 결정된다. 예를 들어, 신택스 엘리먼트들은 블록 이미지 데이터 내의 계수들에 따른 코딩을 특정할 수도 있다. 스테이지 (106) 에서, 코딩이 수행된다. 예를 들어, 코딩은 VLC 표들을 이미지 데이터를 코딩하는데 적응적으로 적용함에 의해 수행될 수도 있다. 스테이지 (108) 에서, 인코딩된 스트림이 출력된다. 예를 들어, 인코딩된 스트림은 비디오 인코더로부터 프로세싱 및 전송을 취해 출력될 수도 있다.
도 9는 신택스 엘리먼트들의 결정 및 인코딩된 스트림의 출력 프로세스 (120) 의 스테이지들을 도시한다. 스테이지 (122) 에서, 1보다 더 큰 절대값을 갖는 양자화된 변환 계수들의 개수가 결정된다 (NLrg1). 예를 들어, NLrg1 결정 유닛 (53) 은 입력 블록 이미지 데이터로부터 이 값을 결정한다. 스테이지 (124) 에서, TotalCoeffs 가 결정된다. 예를 들어, TotalCoeffs 결정 유닛 (44) 은 0인 값을 갖지 않는 이미지 데이터 블록의 변환 계수들의 개수를 계산할 수도 있다.
스테이지 (126) 에서, coeff_token 인코딩이 NLrg1 및 TotalCoeffs 에 따라서 수행된다. 예를 들어, coeff_token 가변-길이 코드 생성 유닛 (49) 은 TotalCoeffs 결정 유닛 (44) 에 의해 계산된 TotalCoeffs 의 값 및 NLrg1 결정 유닛 (53) 의 출력으로부터 신택스 엘리먼트로서 coeff_token 을 계산한다. 스테이지 (128) 에서, 나머지 계수들에서 1보다 더 큰 계수들의 개수에 기초하여 레벨 코딩이 수행된다. 예를 들어, 레벨 코드 생성 유닛 (54) 은 코딩될 나머지 계수들에서 1보다 더 큰 계수들의 개수에 기초하여 레벨 코딩에 대한 VLC 표를 선택할 수도 있다. 스테이지 (130) 에서 total_zeros 코딩이 추정치에 따라 수행된다. 예를 들어, total_zeros 생성 유닛 (56) 은 상기 블록 및 현재의 블록의 좌측의 total_zeros 의 개수를 사용하여 결정된 total_zeros 추정치에 기초하여 VLC표들을 적응적으로 선택할 수도 있다.
스테이지 (132) 에서, run_before 코딩이 수행된다. 예를 들어, run_before 결정 유닛 (47) 은 역 스캐닝 순서로 제로 런들을 순차적으로 계산할 수도 있다. 스테이지 (134) 에서, 스테이지 (126, 128, 130 및 132) 에서 결정된 가변 길이 코드들이 결합된다. 스테이지 (136) 에서, 결합된 코드들은 인코딩된 스트림으로서 출력된다. 예를 들어, 인코딩된 스트림은 인코더 (22) 로부터 출력될 수도 있다.
본 명세서에 기술된 실시형태들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드 (microcode), 또는 이들의 임의의 조합에 의해 구현될 수도 있다. 시스템들 및/또는 방법들이 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드, 프로그램 코드 또는 코드 세그먼트들에서 구현되는 때, 시스템 및/또는 방법들은 저장 컴포넌트와 같은 머신-판독가능 매체에 저장될 수도 있다. 코드 세그먼트는 프로시져 (procedure), 함수, 서브프로그램, 프로그램, 루틴 (routine), 서브루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 명령들, 데이터 구조들, 또는 프로그램 문 (statement) 들의 임의의 조합을 나타낼 수도 있다. 코드 세그먼트는 정보, 데이터, 인수들, 파라미터들, 또는 메모리 콘텐츠를 통과 및/또는 수신함에 의해 다른 코드 세그먼트 또는 하드웨어 회로에 커플링될 수도 있다. 정보, 인수들 파라미터들 데이터 등은 메모리 공유, 메시지 전달, 토큰 (token) 전달, 네트워크 전송 등을 포함하는 임의의 적합한 수단을 사용하여 전달, 포워딩 (forward), 또는 전송될 수도 있다.
소프트웨어 구현을 위해서, 본 명세서에 기술된 기술들은 본 명세서에 기술된 기능들을 수행하는 모듈들 (예를 들어, 프로시져들, 함수들 등) 로 구현될 수도 있다. 소프트웨어 코드들은 메모리 유닛들에 저장될 수도 있고, 프로세서들에 의해 실행될 수도 있다. 메모리 유닛은, 당해 기술분야에 알려진 다양한 수단을 통해 프로세서에 통신적으로 커플링될 수 있는 경우에, 프로세서 내 또는 프로세서 외부에서 구현될 수도 있다.
본 명세서에 개시된 실시형태들과 관련하여 기술된 방법 또는 알고리즘의 그테이지들은 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 조합으로 직접 구현될 수도 있다. 소프트웨어 모듈은 랜덤 액세스 메모리 ("RAM"), 플래시 메모리, 판독-전용 메모리 ("ROM"), 소거가능 프로그래머블 판독-전용 메모리 ("EPROM"), 전기적-소거가능 프로그래머블 판독-전용 메모리 ("EEPROM"), 레지스터들, 하드 디스크, 착탈형 디스크, CD-ROM, 또는 당해 기술분야에 알려진 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 커플링되어, 그 프로세서는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로 ("ASIC") 에 상주할 수도 있다. ASIC 은 사용자 단말기에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기에 별개의 컴포넌트들로서 상주할 수도 있다.
본 명세서에 기술된 방법들은 당업자에 의해 알려진 다양한 하드웨어, 프로세서들 및 시스템들에서 구현될 수도 있다는 것을 주목하여야 한다. 예를 들어 구현에서 사용되는 머신은 콘텐츠 및 정보를 디스플레이하는 디스플레이, 클라이언트의 동작을 제어하는 프로세서 및 머신의 동작에 관한 데이터 및 프로그램들을 저장하기 위한 메모리를 가질 수도 있다. 일부 구현들에서, 머신은 셀룰러 전화기이다. 일부 구현들에서, 머신은 통신 능력을 갖는 핸드헬드 컴퓨터 또는 핸드셋이다. 다른 구현에서, 머신은 통신 능력을 갖는 개인용 컴퓨터이다.
본 명세서에서 개시된 구현들과 관련하여 기술된 다양한 예시적인 로직 (logic) 들, 로직 블록들, 모듈들, 및 회로들은 범용 프로세서, DSP, ASIC, 필드 프로그래머블 게이트 어레이 (FPGA) 또는 기타 프로그래머블 로직 디바이스, 별개의 게이트 또는 트랜지스터 로직, 별개의 하드웨어 컴포넌트들, 또는 본 명세서에서 기술된 기능들을 수행하도록 설계되는 이들의 임의의 조합으로 구현 또는 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 다른 방법으로, 그 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로 제어기, 또는 상태 머신일 수도 있다. 또한, 프로세서는 컴퓨팅 디바이스들의 조합, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성으로서 구현될 수도 있다.
비록 대상물이 구조적 특징들 및/또는 방법론적 동작들을 특정하여 언어로 기술되었지만, 첨부된 청구항들에 정의된 대상물이 상기에 기술된 특정 특징들 또는 동작들에 반드시 제한되어야 하는 것은 아니라는 것을 이해하여야 한다. 오히려, 상기에 기술된 특정 특징들 및 동작들은 청구항들을 구현하는 예시적인 형태들로서 개시된다.

Claims (25)

  1. 변환된 블록 이미지 데이터를 수신하는 단계;
    블록 입력 데이터로부터 신택스 (syntax) 엘리먼트들을 결정하는 단계로서, 상기 신택스 엘리먼트들은 TotalCoeffs 값, 1보다 더 큰 절대값을 갖는 양자화된 변환 계수들의 개수 (NLrg1) 값, total_zeros 값, run_before 값, 및 level 값을 포함하는, 상기 결정하는 단계;
    상기 NLrg1 값 및 상기 TotalCoeffs 값에 따라서 coeff_token 을 인코딩하는 단계를 포함하는, 상기 신택스 엘리먼트들에 따라서 상기 변환된 블록 이미지 데이터를 코딩하는 단계; 및
    코딩될 나머지 계수들에서 1보다 더 큰 계수들의 개수에 따라서 레벨 코딩을 결정하는 단계를 포함하는, 콘텍스트 (context)-기반의 적응형 가변 길이 코딩 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    이전에 코딩된 좌측 블록의 비-제로 계수들의 개수 (nA) 및 이전에 코딩된 상부 블록의 비-제로 계수들의 개수 (nB) 에 기초하여 예측자 (nC) 를 결정하는 단계; 및
    상기 예측자 (nC) 에 기초하여 coeff_token 인코딩을 수행하도록 VLC 표를 선택하는 단계를 더 포함하는, 콘텍스트-기반의 적응형 가변 길이 코딩 방법.
  4. 제 3 항에 있어서,
    상기 nC 가 미리 결정된 정수 값보다 크면, 고정된 코드워드를 기입하는 단계; 및
    상기 nC 가 상기 미리 결정된 정수 값보다 작으면, min(NLrg1+1, 3) 및 TotalCoeff-1 을 포함하는 고정된 길이 코드를 기입하는 단계를 더 포함하는, 콘텍스트-기반의 적응형 가변 길이 코딩 방법.
  5. 제 3 항에 있어서,
    상기 NLrg1 이 2보다 크면, NLrg1-2 의 일진 코드를 첨부하는 단계를 더 포함하는, 콘텍스트-기반의 적응형 가변 길이 코딩 방법.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 코딩될 나머지 계수들의 크기가 1이하 이면, 부호 비트들을 코딩하는 단계를 더 포함하는, 콘텍스트-기반의 적응형 가변 길이 코딩 방법.
  8. 제 1 항에 있어서,
    상기 1보다 더 큰 계수들의 개수가 1이면, VLC 표 0 을 사용하여 레벨들을 코딩하는 단계; 및
    상기 1보다 더 큰 계수들의 개수가 1이 아니면, VLC 표 1 을 사용하여 레벨들을 코딩하는 단계를 더 포함하는, 콘텍스트-기반의 적응형 가변 길이 코딩 방법.
  9. 제 1 항에 있어서,
    인접하는 블록들의 total_zeros 로부터 결정되는, 추정된 total_zeros 값에 기초하여 total_zeros 인코딩을 결정하는 단계를 더 포함하는, 콘텍스트-기반의 적응형 가변 길이 코딩 방법.
  10. TotalCoeffs 값, 1보다 더 큰 절대값을 갖는 양자화된 변환 계수들의 개수 (NLrg1) 값, total_zeros 값, run_before 값, 및 level 값을 결정하는 신택스 엘리먼트 결정 유닛들;
    상기 NLrg1 값 및 상기 TotalCoeffs 값에 따라서 coeff_token 을 인코딩하는 coeff_token 생성 유닛;
    코딩될 나머지 계수들에서 1보다 더 큰 계수들의 개수에 따라서 레벨 코딩을 결정하는 레벨 코드 생성 유닛;
    인접하는 블록들의 total_zeros 로부터 결정되는, 추정된 total_zeros 값에 기초하여 total_zeros 인코딩을 결정하는 total_zeros 생성 유닛;
    상기 run_before 값 및 zeros_left 의 값으로부터 가변-길이 코드를 생성하는 run_before 생성 유닛; 및
    상기 coeff_token 생성 유닛, 상기 레벨 코드 생성 유닛, 상기 total_zeros 생성 유닛 및 상기 run_before 생성 유닛의 출력을 결합하는 가변 길이 결합 유닛을 포함하는, 콘텍스트-적응형 가변 길이 코딩 (VLC) 장치.
  11. 제 10 항에 있어서,
    상기 total_zeros 생성 유닛 및 상기 coeff_token 생성 유닛은, 이전에 코딩된 좌측 블록의 비-제로 계수들의 개수 (nA) 및 이전에 코딩된 상부 블록의 비-제로 계수들의 개수 (nB) 에 기초하여 예측자 (nC) 를 결정하고, 상기 예측자 (nC) 에 기초하여 coeff_token 인코딩을 수행하도록 VLC 표를 선택하는, 콘텍스트-적응형 가변 길이 코딩 장치.
  12. 제 11 항에 있어서,
    상기 nC 가 미리 결정된 정수 값보다 크면 고정된 코드워드가 기입되고, 또는 상기 nC 가 상기 미리 결정된 정수 값보다 작으면, min(NLrg1+1, 3) 및 TotalCoeff-1 을 포함하는 고정된 길이 코드가 기입되는, 콘텍스트-적응형 가변 길이 코딩 장치.
  13. 제 10 항에 있어서,
    상기 NLrg1 이 2보다 크면, NLrg1-2 의 일진 코드가 첨부되는, 콘텍스트-적응형 가변 길이 코딩 장치.
  14. 제 10 항에 있어서,
    상기 레벨 코드 생성 유닛은 상기 코딩될 나머지 계수들의 크기가 1이하면, 부호 비트들을 코딩하고,
    상기 레벨 코드 생성 유닛은, 상기 1보다 더 큰 계수들의 개수가 1이면 VLC 표 0 을 사용하여 레벨들을 코딩하고, 상기 1보다 더 큰 계수들의 개수가 1이 아니면 VLC 표 1 을 사용하여 레벨들을 코딩하는, 콘텍스트-적응형 가변 길이 코딩 장치.
  15. 변환된 블록 이미지 데이터를 수신하는 수단;
    블록 입력 데이터로부터 신택스 엘리먼트들을 결정하는 수단으로서, 상기 신택스 엘리먼트들은 TotalCoeffs 값, 1보다 더 큰 절대값을 갖는 양자화된 변환 계수들의 개수 (NLrg1) 값, total_zeros 값, run_before 값, 및 level 값을 포함하는, 상기 결정하는 수단;
    상기 NLrg1 값 및 상기 TotalCoeffs 값에 따라서 coeff_token 을 인코딩하는 수단을 포함하는, 상기 신택스 엘리먼트들에 따라서 상기 변환된 블록 이미지 데이터를 코딩하는 수단; 및
    코딩될 나머지 계수들에서 1보다 더 큰 계수들의 개수에 따라서 레벨 코딩을 결정하는 수단을 포함하는, 비디오 인코더.
  16. 삭제
  17. 제 15 항에 있어서,
    상기 coeff_token 을 인코딩하는 수단은, 이전에 코딩된 좌측 블록의 비-제로 계수들의 개수 (nA) 및 이전에 코딩된 상부 블록의 비-제로 계수들의 개수 (nB) 에 기초하여 예측자 (nC) 를 결정하고, 상기 예측자 (nC) 에 기초하여 coeff_token 인코딩을 수행하도록 VLC 표를 선택하는, 비디오 인코더.
  18. 삭제
  19. 제 15 항에 있어서,
    상기 코딩될 나머지 계수들의 크기가 1이하 이면, 부호 비트들을 코딩하는 수단; 및
    상기 1보다 더 큰 계수들의 개수가 1이면 VLC 표 0 을 사용하여 레벨들을 코딩하고, 상기 1보다 더 큰 계수들의 개수가 1이 아니면 VLC 표 1 을 사용하여 레벨들을 코딩하는 수단을 더 포함하는, 비디오 인코더.
  20. 제 15 항에 있어서,
    인접하는 블록들의 total_zeros 로부터 결정되는, 추정된 total_zeros 값에 기초하여 total_zeros 인코딩을 결정하는 수단을 더 포함하는, 비디오 인코더.
  21. 콘텍스트-기반의 적응형 가변 길이 코딩 방법을 수행하는 실행가능한 명령들을 포함하는 컴퓨터-판독가능 매체로서,
    상기 방법은,
    변환된 블록 이미지 데이터를 수신하는 단계;
    블록 입력 데이터로부터 신택스 엘리먼트들을 결정하는 단계로서, 상기 신택스 엘리먼트들은 TotalCoeffs 값, 1보다 더 큰 절대값을 갖는 양자화된 변환 계수들의 개수 (NLrg1) 값, total_zeros 값, run_before 값, 및 level 값을 포함하는, 상기 결정하는 단계;
    상기 NLrg1 값 및 상기 TotalCoeffs 값에 따라서 coeff_token 을 인코딩하는 단계를 포함하는, 상기 신택스 엘리먼트들에 따라서 상기 변환된 블록 이미지 데이터를 코딩하는 단계; 및
    코딩될 나머지 계수들에서 1보다 더 큰 계수들의 개수에 따라서 레벨 코딩을 결정하는 단계를 포함하는, 컴퓨터-판독가능 매체.
  22. 삭제
  23. 제 21 항에 있어서,
    이전에 코딩된 좌측 블록의 비-제로 계수들의 개수 (nA) 및 이전에 코딩된 상부 블록의 비-제로 계수들의 개수 (nB) 에 기초하여 예측자 (nC) 를 결정하는 단계; 및
    상기 예측자 (nC) 에 기초하여 coeff_token 인코딩을 수행하도록 VLC 표를 선택하는 단계를 수행하기 위한 명령들을 더 포함하는, 컴퓨터-판독가능 매체.
  24. 삭제
  25. 제 21 항에 있어서,
    인접하는 블록들의 total_zeros 로부터 결정되는, 추정된 total_zeros 값에 기초하여 total_zeros 인코딩을 결정하는 단계를 수행하기 위한 명령들을 더 포함하는, 컴퓨터-판독가능 매체.
KR1020097014400A 2007-01-08 2008-01-07 Ｓｖｃ ｃｇｓ 향상 계층 코딩을 위한 ｃａｖｌｃ 향상 KR101068428B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US88396107P 2007-01-08 2007-01-08
US60/883,961 2007-01-08
US11/962,559 2007-12-21
US11/962,559 US8467449B2 (en) 2007-01-08 2007-12-21 CAVLC enhancements for SVC CGS enhancement layer coding

Publications (2)

Publication Number Publication Date
KR20090098875A KR20090098875A (ko) 2009-09-17
KR101068428B1 true KR101068428B1 (ko) 2011-09-28

Family

ID=39594235

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097014400A KR101068428B1 (ko) 2007-01-08 2008-01-07 Ｓｖｃ ｃｇｓ 향상 계층 코딩을 위한 ｃａｖｌｃ 향상

Country Status (10)

Country Link
US (1) US8467449B2 (ko)
EP (1) EP2103138A1 (ko)
JP (1) JP4981927B2 (ko)
KR (1) KR101068428B1 (ko)
CN (1) CN101578871B (ko)
BR (1) BRPI0806524A2 (ko)
CA (1) CA2673883C (ko)
RU (1) RU2411687C1 (ko)
TW (1) TWI400953B (ko)
WO (1) WO2008086309A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2420023C1 (ru) * 2007-03-13 2011-05-27 Нокиа Корпорейшн Система и способ кодирования и декодирования видеосигналов
HUE037633T2 (hu) * 2007-07-09 2018-09-28 Genentech Inc Diszulfidkötés redukciójának megelõzése polipeptidek rekombináns elõállítása során
US9167246B2 (en) * 2008-03-06 2015-10-20 Arris Technology, Inc. Method and apparatus for decoding an enhanced video stream
US8369415B2 (en) * 2008-03-06 2013-02-05 General Instrument Corporation Method and apparatus for decoding an enhanced video stream
KR101233627B1 (ko) * 2008-12-23 2013-02-14 한국전자통신연구원 스케일러블 부호화 장치 및 방법
US8410959B2 (en) * 2010-04-09 2013-04-02 Qualcomm, Incorporated Variable length codes for coding of video data
US8705616B2 (en) 2010-06-11 2014-04-22 Microsoft Corporation Parallel multiple bitrate video encoding to reduce latency and dependences between groups of pictures
CN101895748B (zh) * 2010-06-21 2014-03-26 华为终端有限公司 一种编解码方法以及编解码装置
US9491491B2 (en) 2011-06-03 2016-11-08 Qualcomm Incorporated Run-mode based coefficient coding for video coding
US9591318B2 (en) 2011-09-16 2017-03-07 Microsoft Technology Licensing, Llc Multi-layer encoding and decoding
US11089343B2 (en) 2012-01-11 2021-08-10 Microsoft Technology Licensing, Llc Capability advertisement, configuration and control for video coding and decoding
US9860527B2 (en) 2012-01-19 2018-01-02 Huawei Technologies Co., Ltd. High throughput residual coding for a transform skipped block for CABAC in HEVC
US20130188736A1 (en) 2012-01-19 2013-07-25 Sharp Laboratories Of America, Inc. High throughput significance map processing for cabac in hevc
US9654139B2 (en) 2012-01-19 2017-05-16 Huawei Technologies Co., Ltd. High throughput binarization (HTB) method for CABAC in HEVC
US9743116B2 (en) 2012-01-19 2017-08-22 Huawei Technologies Co., Ltd. High throughput coding for CABAC in HEVC
US10616581B2 (en) 2012-01-19 2020-04-07 Huawei Technologies Co., Ltd. Modified coding for a transform skipped block for CABAC in HEVC
CN109479134A (zh) * 2016-08-10 2019-03-15 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法及解码方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050061777A (ko) * 2003-12-18 2005-06-23 엘지전자 주식회사 Ｃａｖｌｃ 복호 방법
WO2007115129A1 (en) 2006-03-29 2007-10-11 Qualcomm Incorporated Video processing with scalability

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4028731A (en) * 1975-09-29 1977-06-07 International Business Machines Corporation Apparatus for compression coding using cross-array correlation between two-dimensional matrices derived from two-valued digital images
EP0582122B1 (en) * 1992-07-21 1999-03-24 Matsushita Electric Industrial Co., Ltd. Scramble apparatus and descramble apparatus
DE19637522A1 (de) 1996-09-13 1998-03-19 Bosch Gmbh Robert Verfahren zur Reduzierung von Daten in Videosignalen
JP2000059234A (ja) * 1998-08-10 2000-02-25 Mitsubishi Electric Corp 可変長符号処理装置
WO2002045420A1 (en) * 2000-11-29 2002-06-06 Sony Corporation Stream processor
JP4510465B2 (ja) 2002-01-22 2010-07-21 ノキア コーポレイション イメージ／ビデオ符号器及び／又は復号器における変換係数の符号化
MXPA04009543A (es) 2002-04-02 2005-01-25 Nokia Corp Codificacion de coeficientes de transformada en codificadores y/o descodificadores de imagen/video.
US6795584B2 (en) 2002-10-03 2004-09-21 Nokia Corporation Context-based adaptive variable length coding for adaptive block transforms
KR100674941B1 (ko) 2005-01-13 2007-01-26 삼성전자주식회사 내용 적응 가변 길이 부호화 장치 및 방법
US20050201629A1 (en) 2004-03-09 2005-09-15 Nokia Corporation Method and system for scalable binarization of video data
US20060078049A1 (en) * 2004-10-13 2006-04-13 Nokia Corporation Method and system for entropy coding/decoding of a video bit stream for fine granularity scalability
CN1780398A (zh) * 2004-11-18 2006-05-31 上海乐金广电电子有限公司 Cavlc解码方法
KR100873636B1 (ko) * 2005-11-14 2008-12-12 삼성전자주식회사 단일 부호화 모드를 이용하는 영상 부호화/복호화 방법 및장치
US8005140B2 (en) * 2006-03-17 2011-08-23 Research In Motion Limited Soft decision and iterative video coding for MPEG and H.264
US8401082B2 (en) * 2006-03-27 2013-03-19 Qualcomm Incorporated Methods and systems for refinement coefficient coding in video compression
US8098735B2 (en) * 2006-12-21 2012-01-17 Lsi Corporation Efficient 8×8 CABAC residual block decode

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050061777A (ko) * 2003-12-18 2005-06-23 엘지전자 주식회사 Ｃａｖｌｃ 복호 방법
WO2007115129A1 (en) 2006-03-29 2007-10-11 Qualcomm Incorporated Video processing with scalability

Also Published As

Publication number Publication date
JP2010516193A (ja) 2010-05-13
CN101578871B (zh) 2012-01-11
CN101578871A (zh) 2009-11-11
CA2673883C (en) 2013-07-23
US8467449B2 (en) 2013-06-18
RU2411687C1 (ru) 2011-02-10
TW200840371A (en) 2008-10-01
EP2103138A1 (en) 2009-09-23
TWI400953B (zh) 2013-07-01
BRPI0806524A2 (pt) 2014-04-22
JP4981927B2 (ja) 2012-07-25
KR20090098875A (ko) 2009-09-17
WO2008086309A1 (en) 2008-07-17
US20080165844A1 (en) 2008-07-10
CA2673883A1 (en) 2008-07-17

Similar Documents

Publication Publication Date Title
KR101068428B1 (ko) Ｓｖｃ ｃｇｓ 향상 계층 코딩을 위한 ｃａｖｌｃ 향상
JP5307017B2 (ja) リファインメント係数符号化のためのビデオブロックに基づいた可変長符号化テーブル選択
CN101822057B (zh) 编码和解码视频数据的方法和装置
JP5795416B2 (ja) スケーラブルビット深度のためのスケーラブルビデオコーディング手法
US8848787B2 (en) Enhancement layer coding for scalable video coding
CN101622880B (zh) 一种视频译码方法及用于视频编码的装置
KR101067308B1 (ko) 정제 계수 코딩을 위한 블록 형식 통계치에 기초한 가변 길이 코딩 테이블 선택
US9319700B2 (en) Refinement coefficient coding based on history of corresponding transform coefficient values
KR101178085B1 (ko) 벡터화된 엔트로피 코딩에 기초한 가중 예측
KR101147943B1 (ko) 스케일러블 비디오 코딩을 위한 개선된 향상 계층 코딩
KR20080066709A (ko) 다중 계층 비디오 인코딩
WO2019185781A1 (en) Bidirectional intra prediction signalling
RU2409003C1 (ru) Выбор таблицы кодирования с переменной длиной на основании типа видеоблока для совершенствования кодирования коэффициентов

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140828

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160629

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee