KR20070117623A - 2계층 인코딩 및 단일 계층 디코딩을 이용한 스케일러블비디오 코딩 - Google Patents

2계층 인코딩 및 단일 계층 디코딩을 이용한 스케일러블비디오 코딩 Download PDF

Info

Publication number
KR20070117623A
KR20070117623A KR1020077022534A KR20077022534A KR20070117623A KR 20070117623 A KR20070117623 A KR 20070117623A KR 1020077022534 A KR1020077022534 A KR 1020077022534A KR 20077022534 A KR20077022534 A KR 20077022534A KR 20070117623 A KR20070117623 A KR 20070117623A
Authority
KR
South Korea
Prior art keywords
layer
data
constant
encoding
residual error
Prior art date
Application number
KR1020077022534A
Other languages
English (en)
Other versions
KR100950273B1 (ko
Inventor
페이송 첸
비자야락쉬미 알. 라벤드란
Original Assignee
콸콤 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=36693137&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20070117623(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 콸콤 인코포레이티드 filed Critical 콸콤 인코포레이티드
Publication of KR20070117623A publication Critical patent/KR20070117623A/ko
Application granted granted Critical
Publication of KR100950273B1 publication Critical patent/KR100950273B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

소정의 실시예는 비디오 비트스트림을 디코딩하는 방법을 포함하는데, 상기 방법은, 제1 계층 데이터 및 제2 계층 데이터를 수신하는 단계, 상기 수신된 제1 계층 데이터 및 제2 계층 데이터를 결합시키는 단계, 및 상기 결합된 데이터를 디코딩하는 단계를 포함한다. 또한, 소정의 실시예는 비디오 인코딩 방법을 포함하는데, 상기 방법은, 단일 결합 계층에서 데이터의 디코딩을 가능케하도록 제1 계층 및 제2 계층에서 인코딩을 위한 데이터를 선택하는 단계, 및 제1 계층에서 상수를 인코딩하고, 제2 계층에서 제1 계층 상수에 대한 미분치를 인코딩함으로써 제1 계층 및 제2 계층에서 선택된 데이터를 인코딩하는 단계를 포함한다. 역양자화 스텝의 수를 1로 감소하는 것은 하드웨어 코어에서 파이프라이닝된 역양자화를 지원하기 위해서 달성된다.

Description

2계층 인코딩 및 단일 계층 디코딩을 이용한 스케일러블 비디오 코딩{SCALABLE VIDEO CODING WITH TWO LAYER ENCODING AND SINGLE LAYER DECODING}
본 출원은 2005년 3월 10일 출원된 "TWO PARALLEL ENCODING AND SINGLE LAYER DECODING"이라는 명칭의 가출원 60/660,877, 및 2005년 9월 1일 출원된 "SCALABLE VIDEO CODING WITH TWO LAYER ENCODING AND SINGLE LAYER DECODING"이라는 명칭의 가출원 60/713, 208을 우선권으로 청구하며, 상기 두 출원은 본 명세서에 참조된다.
본 발명은 스케일러블 비디오 데이터를 인코딩 및 디코딩하는 방법 및 장치에 관한 것이다.
인터넷 및 무선 통신의 폭발적인 성장 및 대단한 성공은 물론 멀티미디어 서비스에 대한 증가하는 요구로 인해, 인터넷 및 모바일/무선 채널을 통해 미디어를 스트리밍하는 것이 대단한 주목을 받고 있다. 이종의 인터넷 프로토콜(IP) 네트워크에서, 비디오는 서버에 의해 제공되며 하나 이상의 클라이언트로 스트리밍된다. 유선 접속은 다이얼업 ,ISDN, 케이블, xDSL, 광섬유, LAN(근거리 네트워크), WAN(원거리 네트워크) 등을 포함한다. 송신 모드는 유니캐스트 또는 멀티 캐스트 중 하나일 수 있다. PDA(개인용 휴대 정보 단말기), 랩탑, 데스크탑, 셋탑 박스, TV, HDTV(고해상도 TV), 모바일폰 등을 포함하는 개별 클라이언트 장치의 다양성은 동일한 콘텐츠에 대해 동시에 상이한 대역폭들의 스트림들을 필요로 한다. 접속 대역폭은 시간에 따라 매우 신속하게 변화(9.6kbps 내지 100Mbps 이상)할 수 있으며, 서버의 반응보다 더 빠를 수 있다.
이종 IP 네트워크와 유사한 것은 모바일/무선 통신이다. 모바일/무선 채널을 통한 멀티미디어 콘텐츠의 전송은 매우 매력적인데, 그 이유는 이러한 채널들이 종종 다중 경로 페이딩, 섀도잉, 심볼간 간섭, 및 노이즈 방해로 인해 종종 심각하게 손상당하기 때문이다. 이동성 및 트래픽 경쟁과 같은 다른 이유도 대역폭 변화 및 손실을 유발한다. 채널 잡음 및 서비스되는 사용자들의 수는 채널 환경의 시변 속성을 결정한다. 환경적 요인 외에, 수신 네트워크는 그래픽 위치 및 모바일 로밍으로 인해 광대역 데이터 전용 네트워크에 대하여 2세대에서 3세대 셀룰러 네트워크로 변화할 수 있다. 모든 이러한 변화들은 심지어 플라이(fly)에 대해서도, 멀티미디어 콘텐츠에 대한 적절한 레이트 조절을 필요로 한다. 따라서, 이종 유선/무선 네트워크들을 통한 비디오의 성공적인 전송은, 손실에 대해 탄력성을 유지하면서, 충분한 코딩은 물론, 네트워크 조건, 장치 특성, 및 사용자 우선순위를 변화시키는 적응성을 필요로 한다.
다양한 사용자 설비를 충족시키고, 채널 변화에 적응하기 위해, 비트 스트림의 다수의 독립적인 버젼이 생성될 수 있어야 하며, 각각은 송신 대역폭, 사용자 디스플레이 및/또는 컴퓨터 성능에 기초하여 제한의 한 부류를 충족하지만, 이는 서버 저장 및 멀티캐스트 애플리케이션에 적합하지 않다. 고급 사용자들을 수용하 는 단일 매크로 비트스트림이 서버에서 구축되는 스케일러블 코딩에서, 저급 애플리케이션에 대한 비트 스트림은 매크로 비트스트림의 서브세트로서 내장된다. 이처럼, 단일 비트 스트림은 서브 비트스트림들을 선택적으로 전송함으로써 다양한 애플리케이션 환경에 적용될 수 있다. 스케일러블 코딩에 의한 다른 장점은 에러 발생이 쉬운 채널 상에서 강건한 비디오 전송과 관련된다. 에러 방지 및 에러 은폐는 용이하게 조절될 수 있다. 더욱 신뢰가능한 전송 채널 또는 우수한 에러 방지는 가장 중요한 정보를 포함하는 기저 계층 비트들에 적용될 수 있다.
MPEG-1, MPEG-2, MPEG-4(집합적으로 MPEG-x로 불림), H.261, H.262, H.263, 및 H.264(집합적으로 H.26x로 불림)과 같은 하이브리드 코더에는 공간, 시간 및 신호대 잡음비(SNR) 가변성이 존재한다. 하이브리드 코딩에서, 시간적 중복성(redundancy)은 모션 보상 예측(MCP)에 의해 제거된다. 비디오는 통상적으로 일련의 영상 그룹(GOP)으로 분할되는데, 여기서 각각의 GOP는 순방향(및/또는 역방향) 예측 프레임(P) 및 양방향 예측 프레임(B)에 앞서 I 프레임(intra-coded frame)으로 시작한다. P 및 B 프레임들은 MCP를 이용하는 예측 프레임(inter-predicted frames)이다. 기저 계층은 더 낮은 품질 레벨에서 I 프레임, P 프레임 또는 B 프레임의 가장 중요한 정보를 포함하며, 확장 계층은 동일한 프레임 또는 기저대역에 포함되지 않은 추가의 시간적 스케일링 프레임의 더 높은 품질 정보를 포함할 수 있다. SNR 가변성은 기저 계층 데이터를 디코딩하면서, 확장 계층에서 더 높은 품질 데이터의 디코딩을 선택적으로 생략함으로써 디코더에서 달성될 수 있다. 기저 계층과 확장 계층 사이에서 데이터가 어떻게 분석되는 지에 따라, 확 장 계층에 더하여 기저 계층의 디코딩은 증가된 복잡성 및 메모리 요구를 필요로 할 수 있다. 증가된 계산 복잡성 및 증가된 메모리 요구는 PDA, 모바일폰 등과 같이 전력 제한 및 계산적으로 제한된 장치의 성능에 유해할 수 있다. 필요한 것은 확장 계층에 더하여 기저 계층이 이러한 장치의 계산 복잡성 및 메모리 요구를 현저히 증가시키지 않는 것이다.
멀티미디어 비트스트림을 디코딩하기 위해, 인코딩된 데이터의 제1 계층 및 인코딩된 데이터의 제2 계층을 수신하고, 수신된 제1 계층 인코딩된 데이터 및 수신된 제2 계층 인코딩된 데이터를 결합하고, 결합된 데이터를 디코딩하는 방법 및 장치가 개시되는데, 여기서 제1 계층은 기저 계층을 포함하며, 제2 계층은 확장 계층을 포함한다.
다른 특징에서, 멀티미디어 비트스트림을 디코딩하는 장치는 인코딩된 데이터의 제1 계층 및 인코딩된 데이터의 제2 계층을 수신하는 수신기; 수신된 제1 계층 인코딩된 데이터 및 수신된 제2 계층 인코딩된 데이터를 결합하는 결합기; 및 결합된 데이터를 디코딩하는 디코더를 포함하며, 제1 계층은 기저 계층을 포함하고, 제2 계층을 확장층을 포함한다.
전술한 특징에서, 디코딩을 위한 방법 및 장치는 기저 계층 데이터에서 잔여 에러 상수를 수신하고, 확장 계층 데이터에서 기저 계층 잔여 에러 상수에 대한 미분치(differential refinement)를 수신하고, 잔여 에러 상수 및 미분치를 결합된 제1 계층 및 제2 계층 데이터와 결합하고, 결합된 제1 계층, 제2 계층 및 결합된 잔여 에러 상수 및 미분치를 디코딩하는 방법 또는 수단을 더 포함할 수 있다. 택일적으로, 방법 및 장치는 기저 대역 데이터에서 잔여 에러 상수를 수신하고 확장 계층 데이터에서 기저 대역 잔여 에러 상수에 대한 미분치를 수신하는 방법 및 단계를 더 포함하는데, 기저 대역 잔여 에러 상수는 원래의 기저 계층 잔여 에러 상수 및 원래의 확장 계층 잔여 에러 상수의 최소치 또는 제로 중 하나이며, 확장 계층 미분치는 잔여 에러 상수 및 원래의 확장 계층 잔여 에러 상수에 기초하여 결정된다. 디코딩을 위한 방법 및 장치는 기저 대역 데이터에서 잔여 에러 상수를 수신하고 확장 계층 데이터에서 기저 대역 잔여 에러 상수에 대한 미분치를 수신하는 방법 및 수단을 더 포함할 수 있으며, 기저 대역 잔여 에러 상수는 원래의 기저 계층 잔여 에러 상수 및 원래의 확장 계층 잔여 에러 상수 또는 제로 중 하나이며, 확장 계층 미분치는 기저 계층 잔여 에러 상수 및 원래의 확장 계층 잔여 에러 상수에 기초하여 결정된다. 디코딩을 위한 방법 및 장치는 제1 양자화 스텝 크기에서 제2 양자화 스텝 크기까지 제1 계층 데이터를 전환시키는 방법 또는 수단을 더 포함하며, 수신된 제2 계층 데이터는 제2 양자화 스텝 크기로 인코딩된다. 디코딩을 위한 방법 및 장치는 결합된 데이터에서 제1 계층과 관련된 인터코딩된 데이터를 식별하고, 결합된 데이터에서 제2 계층과 관련된 인터코딩된 데이터를 식별하고, 제1 계층과 관련된 식별된 인터코딩된 데이터 또는 제1 및 제2 계층과 관련된 식별된 인터코딩된 데이터 중 하나를 디코딩하는 방법 및 수단을 더 포함할 수 있다.
디코딩을 위한 방법 및 장치는 결합된 데이터에서 제1 계층과 관련한 인트라코딩된 데이터를 식별하고, 식별된 인트라코딩된 데이터를 디코딩하는 방법 및 수단을 더 포함할 수 있다. 디코딩을 위한 방법 및 장치는 제1 계층과 관련된 인트라코딩된 데이터를 결합된 데이터에서 식별하고, 제2 계층과 관련된 인트라코딩된 데이터를 결합된 데이터에서 식별하고, 식별된 인트라코딩된 데이터 또는 식별된 인트라코딩된 데이터 중 하나를 디코딩하는 방법 및 수단을 더 포함한다.
디코딩을 위한 방법 및 장치는 제1 계층 데이터를 제1 양자화 스텝 크기에서 제2 양자화 스텝 크기로 변환시키는 방법 및 수단을 포함하며, 수신된 제2 계층 데이터는 제2 양자화 스텝 크기로 인코딩된다. 디코딩을 위한 방법 및 장치는 제2 패스에서 식별된 제2 계층 인트라코딩된 데이터를 디코딩하기 위해 제1 패스에서 제1 계층 인트라 코딩된 데이터를 식별하고, 디코딩된 제1 계층 인트라 코딩된 데이터 및 디코딩된 제2 계층 인트라 코딩된 데이터를 결합하는 방법 또는 수단을 더 포함한다. 디코딩을 위한 방법 및 장치는 결합된 제1 계층 및 제2 계층 데이터를 양자화하고, 양자화된 데이터를 역변환하는 방법 또는 수단을 더 포함할 수 있다.
게다가, 전술한 특징은 컴퓨터 판독 가능 매체 및/또는 프로세서에 의해 구현될 수도 있다.
또 다른 특징에서, 멀티미디어 데이터를 인코딩하는 방법 및 장치는 단일 결합된 계층에서 데이터의 디코딩을 허용하도록 제1 계층 및 제2 계층에서 인코딩을 위해 데이터를 선택하고, 제1 계층 및 제2 계층에서 선택된 데이터를 인코딩하는 방법 또는 수단을 포함할 수 있다.
또 다른 특징에서, 인코딩을 위한 장치는, 단일 결합된 계층에서 데이터의 디코딩을 허용하기 위해 제1 계층 및 제2 계층을 인코딩하는 데이터를 선택하도록 구성된 수신기, 및 제1 계층 및 제2 계층에서 선택된 데이터를 인코딩하도록 구성된 인코더를 포함한다.
전술한 특징에서, 인코딩은 제1 계층에서 상수를 인코딩하고, 제2 계층에서 제1 계층 상수의 미분치를 인코딩하는 것을 포함할 수 있다. 제1 계층 인코딩된 데이터는 제1 상수를 포함하며, 제2 계층 인코딩된 데이터는 제2 상수를 포함할 수도 있으며, 제1 및 제2 상수는 디코딩을 위해 사용된다. 데이터는 인트라코딩된 데이터를 포함할 수 있다. 만일 그렇다면, 인코딩을 위한 방법 및 장치는 제1 계층에서 또는 제1 및 제 2 계층에서 인트라코딩된 데이터를 인코딩하는 방법 또는 수단을 더 포함할 수 있다.
데이터는 인터코딩된 데이터를 포함할 수 있다. 만일 그렇다면, 인코딩을 위한 방법 및 장치는 제2 계층에서 인터코딩된 데이터를 인코딩하는 방법 또는 수단을 더 포함한다.
인코딩을 위한 방법 및 장치는 제1 계층에서 인터코딩된 데이터로서 선택된 데이터의 일부 및 제2 계층에서 인터코딩된 데이터로서 선택된 데이터의 일부를 인코딩하는 방법 또는 수단을 더 포함할 수 있다.
만일 그렇다면, 인코딩을 위한 방법 및 장치는 제1 계층에서 인트라코딩 데이터로서 선택된 데이터를 인코딩하는 방법 또는 수단을 더 포함할 수 있다.
여기서 인코딩은 제1 계층에서 인트라코딩된 데이터로서 선택된 데이터의 일부 및 제2 계층에서 인터코딩된 데이터로서 선택된 데이터의 일부를 인코딩하는 것을 포함한다.
인코딩을 위한 방법 및 장치는 제1 및 제2 상수에 기초하여 제1 프라임 상수를 선택하고, 제1 및 제2 상수에 기초하여 제2 프라임 상수를 계산하는 방법 또는 수단을 더 포함하며, 여기서 인코딩은 제1 계층에서 인코딩을 위해 제1 프라임 상수를 이용하고, 제2 계층에서 인코딩을 위해 제2 프라임 상수를 이용하는 것을 포함한다. 제1 상수는 기저 계층 잔여 에러 상수이며, 제2 상수는 확장 계층 잔여 에러 상수일 수 있으며, 상기 방법 및 장치는 제1 상수의 최소치 및 제2 상수 또는 제로 중 하나로 제1 프라임 계수를 선택하는 방법 및 수단을 더 포함하며, 계산은 제2 상수와 동일한 제2 프라임 상수를 세팅하는 것을 더 포함한다.
인코딩을 위한 방법 및 장치는 블록 헤더 정보 및 모션 벡터 정보를 제1 계층과 관련시키는 것을 더 포함할 수 있으며, 상기 블록 헤더 정보 및 모션 벡터 정보는 수신된 데이터로부터 유도된다. 인코딩을 위한 방법 및 장치는 제1 스텝 크기에서 제1 계층 인코딩된 데이터를 양자화하고, 제2 스텝 크기에서 제2 계층 인코딩된 데이터를 양자화하는 것을 더 포함할 수 있으며, 제1 스텝 크기 및 제2 스텝 크기는 스케일 팩터에 의해 관련된다.
인코딩을 위한 방법 및 장치는 오버헤드 정보를 인코딩하는 것을 더 포함하며, 오버헤드 정보는 다수의 계층을 식별하는 데이터, 기저 계층으로서 계층을 식별하는 데이터, 확장 계층으로서 계층을 식별하는 데이터, 계층들 사이의 내부 관련성을 식별하는 데이터, 최종 확장 계층으로서 계층을 식별하는 데이터로 구성된 그룹의 구성요소이다.
더욱이, 전술한 특징은 컴퓨터 판독 가능 매체 및/또는 프로세서에 의해 구현될 수 있다.
도1은 스트리밍 비디오의 전달을 위한 통신 시스템의 예이다.
도2A는 SNR 스케일러블 스트리밍 비디오를 인코딩하는 흐름도의 예이다.
도2B는 SNR 스케일러블 스트리밍 비디오에서 단일 계층을 디코딩하는 흐름도의 예이다.
도3은 P 프레임 구성 프로세스의 예이다.
도4는 기저 계층 및 확장 계층 상수의 인코딩을 위한 인코더 프로세스의 예이다.
도5는 도4에 도시된 프로세스에서 사용하기 위한 기저 계층 및 확장 계층 상수 선택기 프로세서의 예이다.
도6은 도4에 도시된 프로세스에서 사용을 위해 기저 계층 및 확장 계층 상수 선택기 프로세스의 다른 예이다.
도7은 도4에 도시된 프로세스에서 사용을 위해 기저 계층 및 확장 계층 상수 선택기 프로세스의 예이다.
도8은 기저 계층 데이터를 인코딩하는 디코더 프로세스의 예이다.
도9는 확장 계층 데이터에 더하여 기저 계층을 디코딩하는 디코더 프로세스의 예이다.
도10은 확장 계층 데이터에 더하여 기저 계층 디코딩을 위한 디코더 프로세스의 다른 예이다.
기저 계층 및 하나 이상의 확장 계층을 포함하며, 감소된 디코더 오버헤드를 갖는 비디오의 다중 계층을 제공하는 방법 및 장치가 개시된다. 인코딩 알고리즘은 기저 계층 및 확장 계층 상수를 생성하는데, 이는 두 층이 디코딩을 위해 필요할 때 역양자화에 앞서 디코더에서 결합될 수도 있다. 소정의 실시예의 특징은, 확장 계층이 이용 불가능하거나 디코더가 예를 들어, 전력 절약과 같은 이유로 인해 확장 계층을 디코딩할 수 없을 때 허용가능한 기저 계층 비디오를 제공한다. 이하의 설명에서, 특정 세부 사항은 실시예의 전체적인 이해를 돕기 위해 제공된다. 그러나 실시예가 상기한 특정 사항 없이 실시될 수도 있음을 이해해야 한다. 예를 들어, 전기적 소자는 불필요한 세부 사항에서 실시예를 모호하게 하지 않기 위해 블록도로 도시될 수도 있다. 다른 예에서, 이러한 소자, 다른 구조 및 기술은 실시예를 추가로 설명하기 위해 상세하게 도시될 수도 있다.
실시예는 흐름도, 흐름 다이어그램, 구조다이어그램, 또는 블록도로서 표현되는 프로세스로 설명될 수도 있다. 비록 흐름도가 연속한 프로세스로서 동작을 설명할 수도 있지만, 대부분의 동작은 동시에 또는 병렬로 실시될 수 있으며, 프로세스는 반복될 수 있다. 게다가, 동작의 순서는 재정렬될 수도 있다. 프로세스는 그 동작이 완료된 때 종료된다. 프로세스는 방법, 기능, 절차, 서브루틴, 서브프로그램 등에 대응할 수도 있다. 프로세스가 기능에 대응하며, 그 완료는 호출 기 능에 대한 기능의 복귀 또는 메인 기능에 대응한다.
도1은 스트리밍 비디오의 전달을 위한 통신 시스템의 예를 도시한다. 시스템(100)은 인코더 장치(105) 및 디코더 장치(110)를 포함한다. 인코더 장치(105)는 변환 소자(115), 양자화 소자(120), SNR 스케일러블 인코더 소자(125), 메모리 소자(130), 프로세서 소자(135), 및 통신 소자(140)를 더 포함한다. 프로세서(135)는 다른 소자의 프로세스를 실행하기 위한 계산 플랫폼을 제공한다. 변환 소자(115)는 비디오 데이터를 공간 도메인에서, DCT(이산 코사인 변환)의 경우 주파수 도메인과 같은 다른 도메인으로 변환시킨다. 변환되는 데이터는 실제 비디오 데이터가 변환되는 인트라코딩된 데이터이거나, 공간 예측 잔여분이 변환되는 인트라코딩된 데이트이거나, 잔여 에러가 변환되는 인트라코딩된 데이터일 수 있다. 다른 디지털 변환은 하다마드 변환, DWT(이산 웨이블릿 변환), 및 H.264에 사용되는 것과 같은 정수 변환을 포함한다.
양자화 소자(120)는 변환된 상수 각각의 표현하기 위해 비트의 수를 할당한다. 변환된 상수의 양자화는 모든 블록, 또는 모든 매크로블록에 대해 변화될 수도 있다. 매크로블록은 16×16 픽셀(16×16 루마 블록, 및 2개의 8×8 크로마 블록으로 구성됨)의 블록일 수 있다. 양자화 파라미터(QP)SMS 실행되는 양자화의 레벨을 결정한다. 더 많은 디지털 압축이 SNR 스케일러블 비디오 스트림의 기저 계층에서 인코딩될 수 있는 상수의 더 낮은 품질의 디지털 표현을 제공하는 QP를 증가시킴으로써 실현된다. QP를 감소시키는 것은 SNR 스케일러블 비디오 스트림의 확장 계층에서 인코딩될 수 있는 상수의 더 높은 디지털 표현을 허용한다. SNR 스 케일러블 인코더 소자(125)는 예를 들어, 동시에 상수를 기저 계층 상수 및 확장 계층 상호로 분석하는 상수의 상호작용 선택을 실행한다. 기저 계층 및 확장 계층 상수의 상호 작용 선택은 단일 계층에서 디코더 장치가 두 계층, 확장 계층 외에 기저 계층을 디코딩하게 하도록 하는 방식으로 행해질 수 있으며, 이하에서 더욱 상세히 논의될 것이다. 메모리 소자(130)는 인코딩될 미가공 비디오 데이터와 같은 정보, 전송될 인코딩된 비디오 데이터, 또는 다양한 인코더 소자에 의해 동작될 중간 데이터를 저장하도록 사용된다.
변환 소자(115) 및 양자화 소자(120)는 또한 역변환 및 역양자화를 각각 실행한다. 이러한 역동작은 인코더에서 실행되어, 디코더 장치와 같은 동일한 방식으로 상수의 재구성을 허용함으로써, 잔여 에러 계산 및 확장 계층 상수 계산이 최대한 정밀하다.
통신 소자(140)는 외부 소스(145)로부터 인코딩될 데이터를 수신하는데 사용되는 로직, 예를 들어, 수신기를 포함한다. 외부 소스(145)는 예를 들어, 외부 메모리, 인터넷, 라이브 비디오 및/또는 오디오 피드일 수 있으며, 데이터의 수신은 유선 및/또는 무선 통신을 포함할 수 있다. 통신 소자(140)는 또한 네트워크(150)를 통해 인코딩된 데이터를 전송(Tx)하도록 로직을 포함한다. 인코딩된 데이터는 변환된 데이터, 양자화된 데이터, 가변 길이 코딩된 데이터 또는 이들 소정의 조합을 포함할 수도 있다. 네트워크(150)는 전화, 케이블 및 광섬유, 또는 무선 시스템과 같은 유선 시스템의 일부일 수 있다. 무선 통신 시스템의 경우, 네트워크(150)는 예를 들어, 코드 분할 다중 액세스(CDMA 또는 CDMA2000) 통신 시스템의 일부를 포함할 수 있거나, 선택적으로 시스템은 주파수 분할 다중 액세스(FDMA) 시스템, GSM/GPRS(범용 패킷 무선 서비스)/EDGE(확장 데이터 GSM 환경) 또는 서비스 산업에 대한 TETRA(테트라)모바일 전화 기술과 같은 시분할 다중 액세스(TDMA) 시스템 일 수 있으며, 광대역 코드 분할 다중 액세스(WCDMA), 고데이터율(1xEV-DO 또는 1xEV-DO 골드 멀티캐스트) 시스템, 또는 일반적으로 기술의 결합을 이용한 소정의 무선 통신 시스템을 포함할 수 있다. 인코더 장치(105)의 하나 이상의 소자는 재배열 및/또는 결합될 수도 있다. 예를 들어, 프로세서 소자(135)는 인코더 장치(105)의 외부에 있을 수도 있다.
디코더 장치(110)는 역변환 소자(155), 역양자화 소자(160), 단일층 디코더 소자(165), 메모리 소자(170), 통신 소자(175) 및 프로세서 소자(180)를 포함하는 인코더 장치(105)와 유사한 소자를 포함한다. 디코더 장치(110)는 네트워크(150)를 통해 또는 외부 저장 장치(185)로부터 송신된 인코딩된 데이터를 수신한다. 인코딩된 데이터는 변환된 데이터, 양자화된 데이터, 가변 길이 코딩된 데이터 또는 이들의 소정의 조합을 포함할 수도 있다. 통신 소자(175)는 네트워크와 관련하여 인코딩된 데이터를 수신(Rx)하는데 사용되는 로직, 및 외부 저장 장치(185)로부터 인코딩된 데이터를 수신하는 로직을 포함한다. 예를 들어, 외부 저장 장치(185)는 외부 RAM 또는 ROM, 또는 원격 서버일 수 있다. 단일 계층 디코더 소자(165)는 기저 계층 및 확장 계층 데이터를 디코딩하기 위해 사용되는 로직을 포함한다. 기저 계층 데이터는 예를 들어, 확장 계층이 수신되지 않거나 훼손된 상태로 수신되거나, 배터리 전력 또는 프로세싱 전력을 보존하기 위해, 그 자체로 디코딩될 수 있 다. 단일 계층 디코더 소자(165)는 또한 단일 계층에서 결합된 데이터를 디코딩하기 위해 기저 계층 및 확장 계층 데이터를 결합하기 위한 로직을 포함한다. 인트라코딩된 데이터는 역양자화 소자(160)에 이어 역변환 소자(155)에 의해 프로세싱되어, 디스플레이 소자(190) 상에 디스플레이될 수 있는 디코딩된 픽쳐를 제공한다.
인터코딩된 데이터는 예상되었던 기준 프레임이 디코딩된 후 디코딩될 수 있다. 잔여 에러 상수는 단일층 디코더 소자(165), 양자화 소자(160), 및 디코딩된 잔여 에러를 초래하는 역변환 소자(155)에 의해 프로세싱된다. 이어 잔여 에러는 기준 프레임(들)으로부터의 최적 매칭 매크로블록(들)과 결합된다. 디코딩된 프레임은 디스플레이 소자(190)로 디스플레이될 수 있으며, 외부 저장소(185)에 저장되거나 프로세서 소자(180)의 내부 메모리에 저장된다. 디스플레이 소자(190)는 디스플레이 스크린을 포함하는 비디오 디스플레이 하드웨어 및 로직과 같은 소정 부분을 포함하는 디코딩 장치의 통합된 일부일 수 있거나, 외부 주변 장치일 수 있다. 통신 소자(175)는 또한 디코딩된 프레임을 외부 저장소 소자(185) 또는 디스플레이 소자(190)로 통신하는데 사용되는 로직을 포함한다. SNR 스케일러블 인코더 소자(125) 및 단일 계층 디코더 소자(165) 각각에 의해 형성된 두 계층 인코딩 및 단일 계층 디코딩은 이하에서 더욱 상세히 논의된다. 디코더 장치(110)의 하나 이상의 소자가 배열되거나 조합될 수 있다. 예를 들어, 프로세서 소자(180)는 디코더 장치(110)의 외부에 있을 수도 있다.
비디오 디코딩에서, 예를 들어, 하드웨어 비디오 코어는 계산 집약적 비디오 프로세스, 특히 역양자화 및 역변환을 가속화하는데 사용될 수도 있다. 하드웨어 비디오 코어는 특성화된 회로 및/또는 몇몇 기능을 동시 수행(파이프라이닝)할 수 있는 프로세서(들)를 포함할 수 있다. 파이프라이닝은 디코딩 시간의 감소를 가능하게 한다. 추가 역변환, 추가 역양자화 동작 또는 심지어 추가적인 부가와 같은 표준 파이프라이닝 플로우에 대한 소정의 방해는 전체 프로세스를 느리게 할 수 있다. 비디오 코어의 하나 이상의 실시예가 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드 또는 소정의 이들의 조합에 의해 구현될 수 있음은 당업자에게 명백할 것이다. 통상의 단일 계층 디코더에서, I 프레임, P 프레임 및 B 프레임의 디코딩은 모두 유사한 경로를 갖는다. 인트라코딩 비디오를 나타내든지 또는 잔여 에러를 나타내든지, 상수들은 양자화되고, 역변환되고, 이어 공간 예측 상수 또는 최적 부합 매크로블록 상수 중 하나와 각각 결합된다. 후술된 인코딩 및 디코딩 프로세스는 디코더 하드웨어 비디오 코어에 대해 투명한 기저 계층 및/또는 확장 계층의 스케일러블 디코딩을 행한다. 이를 달성하는 한가지 방법은 각각의 계층을, 자기 고유의 패스에서 각각 개별적으로 디코딩하고, 디코딩된 계층을 결합하는 것이다. 이러한 두 패스 접근은 효율적으로 동일한 하드웨어 회로를 재사용할 수 있다. 디코더에 대한 투명성은, 결합된 데이터가 더 많은 효율을 제공하는 단일 패스에서, 하드웨어 비디오 코어에서 디코딩되기 전에, 기저 계층 데이터 및 기저 계층 데이터에 대한 확장 계층 변경을 결합함으로써 달성될 수 있다. 예를 들어, DSP(디지털 신호 프로세서)와 같은 프로세서는 결합 동작을 실행할 수 있다.
도2A는 SNR 스케일러블 스트리밍 비디오를 인코딩하는 흐름도의 예이다. 프 로세스(200)는 다수의 P 및/또는 B 프레임 이전에, 초기 I 프레임으로 구성된 GOP를 인코딩하는 흐름도를 도시한다. 각각의 프레임은 기저 계층 데이터 및/또는 확장 계층 데이터를 포함할 수 있다. 당업자는 데이터의 부가 계층을 제공하도록 선택할 수 있다.
I 프레임은 전체적으로 인트라코딩된 매크로블록(인트라 MB)으로 인코딩(205)된다. H.264에서, I 프레임의 인트라 MB는 충분히 활용된 공간 예측으로 인코딩되는데, 이는 현저한 양의 코딩 게인을 제공한다. 두 개의 서브 모드가 존재한다: 인트라 4×4 및 인트라 16×16. 만일 인코딩될 기저 계층 및 확장 계층이 공간 예측에 의해 제공된 코딩 이득을 이용하면, 기저 계층은 확장 계층을 인코딩 및 재구성하기 전에 인코딩 및 재구성된다. I 프레임의 2 패스 인코딩 및 재구성이 사용된다. 기저 계층에서, 기저 계층 양자화 파라미터(QPb)는 변환 상수에 개략적인 양자화 스텝 크기를 제공한다. 원래 프레임과 재구성된 기저 계층 프레임 사이의 픽셀별 차이는 확장 계층에서 인코딩될 수도 있다. 확장 계층은 정밀한 양자화 스텝 크기를 제공하는 양자화 파라미터(QPe)를 이용한다. 도1의 SNR 스케일러블 인코더(125)와 같은 인코딩 수단은 인코딩 동작(205)을 실행할 수 있다.
단계(210)에서, 인코더는 GOP에서 P 및/또는 B 프레임에 대해 기저 계층 및 확장 계층을 인코딩한다. 도1의 SNR 스케일러블 인코더(125)와 같은 인코딩 수단은 인코딩 동작(210)을 실행할 수 있다. 인코딩할 여분의 P 또는 B 프레임이 있는 지가 결정(215)된다. 도1의 SNR 스케일러블 인코더(125)와 같은 인코딩 수단은 결 정(215)을 실행할 수 있다. 만일 여분의 P 또는 B 프레임들이 존재하면, 단계(210)는 GOP의 모든 프레임들의 인코딩이 종료할 때까지 반복된다. P 및 B 프레임들은, 비록 이하에서 논의될 P 및 B 프레임들에 인트라 MB가 있을 수 있지만, 인터코딩된 매크로블록들(인터 MB)로 구성된다.
디코더가 기저 계층과 확장 계층 데이터를 구별할 수 있도록 하기 위해, 인코더는 오버헤드 정보를 인코딩(단계 217)한다. 오버헤드 정보의 타입은 예를 들어, 계층의 수를 식별하는 데이터, 기저 계층과 같은 계층을 식별하는 데이터, 확장 계층과 같은 계층을 식별하는 데이터, 계층들 사이의 관계(예를 들어, 제2 계층이 제1 또는 기저 계층에 대한 확장 계층이거나, 제3 계층이 제2 계층에 대한 확장 계층임)를 식별하는 데이터, 또는 확장 계층의 스트링에서 최종 확장 계층으로서의 계층을 식별하는 데이터를 포함한다. 오버헤드 정보는 개별 데이터 메시지를 포함하거나 이에 포함된 기저 및/또는 확장 계층 데이터와 연결된 헤더에 포함될 수 있다. 도1의 SNR 스케일러블 인코더(125)와 같은 인코딩 수단은 동작(217)을 실행할 수 있다. 프로세스(200)의 하나 이상의 소자는 생략, 재배치 및/또는 결합될 수도 있다.
도2B는 단일 계층에서 프로세스(200)에 의해 인코딩된 SNR 스케일러블 스트리밍 비디오를 디코딩하는 흐름도의 예이다. 프로세스(220)는 다수의 P 및 B 프레임 이전에 초기 I 프레임으로 구성된 GOP의 디코딩의 흐름도를 도시한다.
디코더는 수신하는 비트스트림에 포함된 다양한 계층, 및 계층간 관계를 식별하기 위해 예를 들어, 식별자를 이용하여 오버헤드 정보를 추출(222)한다. 이러 한 오버헤드 정보는 디코더가 기저 계층 정보를 식별하고 단독으로 이를 디코딩하도록 선택하게 한다. 단계(225)에서, 기저 계층만 디코딩하거나, 결합된 기저 및 확장 계층을 디코딩하기 위한 결정이 행해진다. 단일 계층 디코더 소자(165)와 같은 디코딩 수단은 단계(225)를 실행할 수 있다. 기저 계층이 디코딩되기만 하면, 디코더는 인트라 MB 및 인터 MB의 통상의 단일 계층 디코딩을 실행(단계260)한다. 도1의 단일 계층 디코더 소자(165)와 같은 디코딩 수단은 동작(260)을 실행할 수 있다. 이러한 예에서, 만일 확장 계층이 또한 디코딩되면, 인트라 MB가 2 패스 방식 또는 1 패스 방식으로 디코딩되는 반면, 인터 MB의 계층은 단일 패스로 디코딩되는데, 이는 이하에서 상세히 설명된다. 디코더는, 자신이 프로세싱하는 현재 섹션에 대한 비트스트림에 이용가능한 모든 계층들이 수신될 때를 알기 위해, 계층의 수를 식별하는 오버헤드 데이터, 또는 계층 사이의 관계를 식별하는 데이터와 함께 최종 계층으로서의 계층을 식별하는 오버헤드 데이터를 이용할 수 있다. 도1의 단일 계층 디코더(165)와 같은 추출 수단은 동작(222)을 실행할 수 있다.
이러한 예에서, 2 패스 디코딩 프로세스가 각각의 I 프레임에 대해 사용된다. 단계(230)에서, 기저 계층 I 프레임은 제1 패스에서 디코딩되며, 단계(235)에서, 기저 계층에 대해 미분치를 포함하는 확장 계층이 디코딩되고 확장 계층 I 프레임을 형성하기 위해 (제로 모션 벡터를 갖는 P 프레임과 같은) 기저 계층과 결합된다. 도1의 단일 계층 디코더(165)와 같은 디코딩 수단은 동작(230 및 235)을 실행할 수 있다. 만일 디코더 장치가 디코딩된 기저 계층 I 프레임(Ib)에 대해 소용 이 없다면, Ib를 포함하는 메모리 버퍼는 덮어쓰기 되며, 디코딩된 확장 계층 I 프레임(Ie)은 연속한 예상 프레임들에 대한 기준으로서 사용될 수 있다. 이러한 메모리 덮어쓰기, 또는 메모리 셔플링은 단계(240)에서 실행된다. 도1의 메모리 소자(170)와 같은 또는 메모리 셔플링 수단은 동작(240)을 실행할 수 있다. 만일 디코더가 소정의 연속한 모션 보상 예측에 대해 Ib를 사용하지 않으면, 디코더 장치는 Ib를 덮어쓰기할 수도 있다.
단일 패스 디코딩은 P 및 B 프레임들에 대해 사용된다. 후술된 바와 같이, P 및 B 프레임 기저 및 확장 계층 상수는 단일 패스 디코딩을 허용하는 방식으로 디코딩된다. 기저 계층 및 확장 계층 상수를 수신한 후, 디코더는 이들을 결합(단계(245))시키고, 통상적으로 인코딩된 P 또는 B 프레임과 같이 단일 계층에서 이들을 디코딩(단계(250))한다. 도1의 통신 소자(175)와 같은, 예를 들어, 수신기와 같은 수신 수단은 수신 단계(도2B에 도시되지 않음)를 실행할 수 있다. 결합 단계(245) 및 디코딩 단계(250)의 상세한 설명은 이하에서 설명된다. 예를 들어, 결합기인 결합 수단 및 도1의 단일 계층 디코더 소자(165)와 같은 디코딩 수단은 단계(245 및 250)를 실행할 수 있다. 결정 단계(255)는 디코딩되고 있는 GOP가 완료되었는지를 식별하기 위해 비트스트림을 체크한다. 만일 GOP가 완료되면, 프로세스는 종료하고, 이어 다음 GOP에서 다시 시작한다. GOP에 잔여하는 P 및/또는 B 프레임이 존재하면, 단계(245 및 250)는 GOP가 완전하게 디코딩될 때까지 반복된다. 도1의 단일 계층 디코더 소자(165)와 같은 디코딩 수단은 동작(255)을 실행할 수 있다.
단일 계층 디코딩을 갖기 위해, 두 계층의 상수는 역양자화 이전에 결합된다. 따라서, 두 계층의 상수는 상호작용하게 생성될 수 있으며; 그렇지 않으면, 이는 현저한 양의 오버헤드를 초래할 수 있다. 증가된 오버헤드의 한가지 이유는 기저 계층 인코딩 및 확장 계층 인코딩이 상이한 시간적 기준을 이용할 수 있다는 것이다. 알고리즘은 기저 계층 및 확장 계층 계수를 생성할 필요가 있으며, 이는 두 계층이 이용가능할 때 양자화 이전에 디코더에서 결합될 수 있다. 동시에 알고리즘은 확장 계층이 이용가능하지 않거나 디코더가 예를 들어, 전력 절감과 같은 이유로 확장 계층을 디코딩하지 않을 것을 결정할 때 수용가능한 기저 계층 비디오를 제공할 수 있다. 알고리즘의 세부 사항을 논의하기에 앞서, 표준 예측 코딩의 논의가 유용할 것이다. 프로세스(220)의 하나 이상의 엘리먼트가 생략되고, 재배치되고 및/또는 결합된다.
P 프레임(또는 소정의 인터코딩된 섹션)은 현재 픽쳐의 영역과 기준 픽쳐의 최적 매칭 예측 영역 사이의 시간적 리던던시를 활용한다. 기준 프레임에서 최적 매칭 예측 영역의 위치가 모션 벡터의 세트에서 인코딩될 수 있다. 현재 영역과 최적 매칭 기준 예측 영역 사이의 차이는 잔여 에러(또는 예측 에러)로서 알려져 있다. 도3은 예를 들어, MPEG-4에서 P 프레임 구성 프로세스의 예를 도시한다. 프로세스(300)는 도2A의 단계(210)에서 발생할 수 있는 프로세스의 예의 더욱 상세한 설명이다. 프로세스(300)는 5×5 매크로블록으로 구성된 현재 픽쳐(325)를 포함하며, 이러한 예의 매크로블록의 수는 임의적이다. 매크로블록은 16×16 픽셀로 구성된다. 픽셀은 8비트 휘도값 및 두 8비트 휘도값(Cr 및 Cb)으로 한정될 수 있다. MPEG에서, Y, Cr 및 Cb 컴포넌트는 4:2:0 포맷으로 저장될 수 있으며, Cr 및 Cb 컴포넌트는 X 및 Y 방향에서 2로 다운샘플링된다. 따라서, 각각의 매크로블록은 256 Y 컴포넌트, 64 Cr 컴포넌트 및 64 Cb 컴포넌트로 구성된다. 현재 픽쳐(325)의 매크로블록(335)은 기준 픽쳐(330)로부터 예측된다. 현재 픽쳐(325) 및 기준 픽쳐(330) 모두는 연속한 픽쳐에 위치된다. 인코딩되는 현재 매크로블록(335)에 대한 Y, Cr 및 Cb 값들의 관점에서, 가장 인접한 최적 매칭 매크로블록을 위치시키기 위해, 기준 픽쳐(330)에서 탐색이 행해진다. 기준 픽쳐(330)의 최적 매칭 매크로블록(340)의 위치는 모션 벡터에서 디코딩된다. 기준 픽쳐(330)는 디코더가 현재 픽쳐(325)의 구성에 앞서 디코더가 재구성될 수도 있는 I 프레임 또는 P 프레임일 수 있다. 최적 매칭 매크로블록(340)은 잔여 에러(350)를 초래하는 현재 매크로블록으로부터 감산(Y, Cr 및 Cb 컴포넌트 각각에 대한 차가 계산됨)된다. 잔여 에러(350)는 2D 이산 코사인 변환(DCT)(355)으로 인코딩되고 이어 양자화(360)된다. 양자화(360)는 예를 들어, 낮은 주파수 상수에 더 많은 비트를 할당하면서, 높은 주파수 상수에 더 낮은 비트를 할당함으로써, 공간 압축을 제공하도록 실행될 수 있다. 모션 벡터(345) 및 정보를 식별하는 기준 픽쳐(330)와 함께 잔여 에러(350)의 양자화된 상수는 현재 매크로블록(335)을 나타내는 인코딩된 정보이다. 인코딩된 정보는 장래의 사용을 위해 메모리에 저장되거나, 예를 들어, 에러 보정 또는 이미지 강화의 목적으로 동작되거나, 또는 네트워크(365)를 통해 전송될 수 있다.
인코딩된 모션 벡터(345)와 함께, 잔여 에러(350)의 인코딩된 양자화된 상수는 연속한 모션 추정 및 보상을 위해 기준 프레임의 일부로서 사용을 위해 인코더에서 현재 매크로블록(335)을 재구성하기 위해 사용될 수 있다. 인코더는 이러한 P 프레임재구성에 대해 디코더의 절차를 모방할 수 있다. 디코더 모방은 동일한 기준 픽쳐로 동작하는 인코더 및 디코더를 초래할 수도 있다. 인코더에서 실행되든지, 또는 추가의 인터코딩을 위해 디코더에서 실행되든지, 재구성 프로세스가 여기서 제공된다. P 프레임의 재구성은 기준 프레임(또는 픽쳐의 일부 또는 참조된 프레임)이 재구성된 후 시작될 수 있다. 인코딩된 양자화된 상수가 역양자화(370)되고, 이어 2D 역 DCT, 또는 IDCT(375)가 실행되어 디코딩 또는 재구성된 잔여 에러(380)를 초래한다. 인코딩된 모션 벡터(345)가 디코딩되고 이미 재구성된 기준 픽쳐(330)에의 이미 재구성된 최적 매칭 매크로블록(385)을 위치시키기 위해 사용된다. 이어 재구성된 잔여 에러(380)가 재구성된 매크로블록(390)을 형성하기 위해 재구성된 최적 매칭 매크로블록(385)에 부가된다. 재구성된 매크로블록(390)은 메모리에 저장되고, 독립적으로 또는 다른 재구성된 매크로블록을 갖는 픽쳐에서 디스플레이되거나, 또는 이미지 확장을 위해 추가로 프로세싱된다.
B 프레임(또는 양방향 예측으로 코딩된 소정의 섹션)은 현재 픽쳐의 영역과 이전 픽쳐의 최적 매칭 예측 영역 그리고 연속한 픽쳐의 최적 매칭 예측 영역 사이의 시간적 중복성을 활용할 수 있다. 연속한 최적 매칭 예측 영역 및 이전의 최적 매칭 예측 영역이 결합된 양방향 예측된 영역을 형성하기 위해 결합된다. 현재 픽쳐 영역과 최적 매칭 결합된 양방향 예측 영역 사이의 차가 잔여 에러(또는 예측 에러)이다. 연속한 기준 픽쳐에서 최적 매칭 예측 영역 및 이전의 기준 픽쳐의 최적 매칭 예측 영역의 위치는 두 모션 벡터에서 인코딩될 수 있다.
도4는 기적 계층 및 확장 계층 상수의 인코딩을 위한 인코더 프로세스의 예를 도시한다. 기저 및 확장 계층은 SNR 스케일러블 비트스트림을 제공하기 위해 인코딩된다. 프로세스(400)는 도2A의 단계(210)에서 행해지는 바와 같은 인터 MB 잔여 에러 상수를 인코딩하는 예를 설명한다. 그러나, 유사한 방법이 또한 인트라 MB 상수를 인코딩하기 위해 사용될 수 있다. 도1의 SNR 스케일러블 인코더 소자(125)와 같은 인코딩 수단은 프로세스(400) 및 도2A의 단계(210)를 실행할 수 있다. 인코딩 수단 (인코딩될) 미가공 비디오 데이터(406)(비디오 데이터는 이러한 예에서 루마 및 크로마 정보를 포함함)는 기저 계층 최적 매칭 매크로블록 루프(402) 및 확장 계층 최적 매칭 매크로블록 루프(404)에 입력된다. 두 루프(402 및 404)는 가산기(422 및 438) 각각에서 계산되는 잔여 에러를 최소화하기 위해 노력한다. 루프(402 및 404)는 도시된 바와 같이 동시에 또는 연속하여 실행될 수 있다. 루프(402 및 404)는 각각 버퍼(420 및 436)(버퍼(420 및 436)는 동일한 버퍼일 수 있음)를 탐색하기 위한 로직을 포함하는데, 이는 최적 매칭 매크로블록과 미가공 데이터(406) 사이의 잔여 에러를 최소화하는 최적 매칭 매크로블록을 식별하기 위해 기준 프레임을 포함한다. 루프(402) 및 루프(404)의 잔여 에러는 기저 계층(402)이 일반적으로 확장 계층 루프(404)보다는 (더 높은 QP 값) 더 개략적인 양자화 스텝 크기를 이용하기 때문에 상이할 수도 있다. 변환 블록(408 및 424)은 각각의 루프의 잔여 에러를 변환시킨다. 일예에서, 인코더는 최적 매칭 매크로블 록(또는 픽셀들의 소정 크기의 블록) 헤더 정보 및 대응하는 모션 벡터 정보를 기저 계층과 관련시키며, 상기 블록 헤더 정보 및 모션 벡터 정보는 수신된 미가공 데이터로부터 유도된다.
이어 변환된 상수가 선택기(410)의 기저 계층 및 확장 계층 상수로 분석된다. 선택기(410)의 분석은 이하에 논의되는 바와 같이 몇몇 형태를 가질 수 있다. 분석 기술의 하나의 공통 특징은 확장 계층 프라임 상수(C'enh)가 기저 계층 프라임 상수(C'base)에 대한 미분차가 되도록 계산되는 것이다. 기저 계층에 대한 정련이 될 확장 계층을 계산하는 것은 디코더가 단독으로 기저 계층 상수를 디코딩하게 하고 이미지의 타당한 표현을 갖게 하거나, 기저 및 확장 계층 상수를 결합하고 이미지의 정련된 표현을 갖게 한다. 선택기(410)에 의해 선택되고 계산된 프라임 상수는 양자화기(412 및 426)에 의해 양자화된다. 양자화된 프라임 상수(C'base 및 C'enh)(각각 양자화기(412 및 426)로 계산됨)는 도1의 메모리 소자(130)와 같은 메모리 수단에 저장되고 네트워크를 통해 디코더로 전송될 수 있다.
디코더에서 매크로블록의 재구성을 매칭시키기 위해, 양자화기(414)는 기저 계층 잔여 에러 상수를 역양자화한다. 역양자화된 잔여 에러 상수는 역변환(416)되고 버퍼(420)에서 발견된 최적 매크로블록에 부가(418)되어, 디코더에서 재구성될 수도 있는 것을 매칭시키는 재구성된 매크로블록을 초래한다. 양자화기(426), 역양자화기(428), 역변환(432), 가산기(434) 및 버퍼(436)는 기저 계층 루프(402)에서 행해지는 바와 같이 확장 루프(404)에서 유사한 계산을 실행한다. 게다가, 가산기(430)는 역양자화된 확장 계층 및 확장 계층의 재구성에 사용된 기저 계층 상수를 결합하기 위해 사용된다. 확장 계층 양자화기 및 역양자화기는 통상적으로 기저 계층보다 더욱 세밀한 양자화 스텝 크기(더 낮은 QP)를 이용할 수도 있다. 프로세스(400)의 하나 이상의 엘리먼트는 생략되고, 재배열되고, 및/또는 결합될 수도 있다.
도5, 6 및 7은 도4의 선택기(410)에서 사용될 수 있는 기저 계층 및 확장 계층 상수 선택기 프로세스의 예를 도시한다. 도1의 SNR 스케일러블 인코더 소자(125)와 같은 선택 수단은 도5, 6 및 7에 도시된 프로세스를 실행할 수 있다. 예로써, 도5를 이용하면, 변환된 상수는 이하와 같이 기저 및 확장 계층 프라임 상수로 분석된다.
Figure 112007071016950-PCT00001
Figure 112007071016950-PCT00002
여기서, "mim"은 두 인수의 수학적 최소값이며,
Figure 112007071016950-PCT00003
이다. 도5에서 식[1]은 블록(505)으로서 표시되며, 식[2]는 가산기(510)로 표시된다. 식[2]에서, Qb는 기저 계층 양자화기(412)를 나타내며, Qb - 1는 기저 계층의 양자화기(414)를 나타낸다. 식[2]는 확장 계층 상수를 식[1]로 계산된 기저 계층 상수의 미분치로 전환시킨다.
도6은 기저 계층 및 확장 계층 상수 선택기(410)의 다른 예를 도시한다. 이러한 예에서, 블록(605)에 포함된 식 (·)는 이하에 따른 기저 계층 프라임 상수를 나타낸다.
Figure 112007071016950-PCT00004
가산기(610)는 이하와 같이 확장 계층 프라임 상수를 계산한다:
Figure 112007071016950-PCT00005
여기서 C'base는 식[3]으로 주어진다.
도7은 기저 계층 및 확장 계층 선택기(410)의 다른 예를 도시한다. 이러한 예에서, 기저 계층 상수는 원래의 기저 계층 상수로부터 변경되지 않으며, 확정 계층 프라임 상수는 양자화된/역양자화된 기저 계층 상수와 원래의 확장 계층 상수 사이의 차와 동일하다. 프로세스에 따라, 선택기(410)는 인터코딩된 또는 인트라코딩된 상수인 원래의 기저 계층 및 원래의 확장 계층 상수로 사용될 수 있다.
도5, 6 또는 7에 도시된 프로세스의 예 중 어떤 선택기(410)가 사용되든지, 디코더는 이하에서 논의될 바와 같이, 디코딩에서 동일한 동작을 실행한다. 루프(402 및 404)는 동일한 매칭 매크로블록을 참조하는 두 계층과 동기적으로 동작하거나, 상이한 기준 매크로블록(기저 계층 기준 정보 및 확장 계층 기준 정보가 후술되는 바와 같이 오버헤드 정보에 인코딩될 수 있음)에 대한 각각의 포인트로 동기적으로 동작할 수 있다. 만일 루프(402 및 404)가 상이한 기준 매크로블록을 가리키면, 디코더는 기저 계층만을 디코딩하기 위해 인코딩된 기저 계층 기준 정보를 사용하거나, 확장 계층에 더하여 결합된 기저 계층을 디코딩하기 위한 인코딩된 확장 계층 기준 정보를 이용할 수도 있다.
기저 및 확장 계층 잔여 에러 상수 외에, 디코더는 어떻게 MB가 인코딩되는지를 식별하는 정보를 필요로 한다. 도1의 SNR 스케일러블 인코더 소자(125)와 같은 인코딩 수단은, 도2A의 단계(210)를 실행하면서, 예를 들어, MB 맵과 같은 인트라코딩된 및 인터코딩된 부분의 맵을 포함할 수 있는 오버헤드 정보를 인코딩하며, 여기서 매크로블록(또는 서브 매크로블록)은 예를 들어, 식별자로 인트라코딩된 또는 인터코딩된 것으로 식별되며(또한 예를 들어, 순방향, 역방향 또는 양방향을 포함하는 어떤 타입의 인터 코딩을 포함하는 지를 식별), 인터코딩된 부분이 어떤 프레임에 대해 참조되는지가 식별된다. 예로든 실시예에서, MB 맵 및 기저 계층 상수는 기저 계층에서 인코딩되며, 확장 계층 상수는 확장 계층에서 인코딩된다.
도8은 도2B의 단계(260)에서 실시되는 바와 같이, 이러한 예의 기저 계층 데이터인 비디오 데이터의 단일 계층을 디코딩하는 디코더 프로세서의 예를 도시한다. 프로세스(800)에서, 양자화된 상수(
Figure 112007071016950-PCT00006
)는 인트라코딩된 데이터 또는 인터코딩된 잔여 에러 데이터 중 하나를 나타낸다. 상수는 양자화(805), 역변환(810) 및 버퍼(820)에 저장된 공간 또는 시간적 예측 데이터에 부가(815)된다. 역양자화 단계(805)는 기저 계층 양자화 파라미터(QPb)를 이용한다. 최종 디코딩된 기저 계 층 비디오 출력(825)은 도1의 메모리 소자(170)와 같은 메모리 수단에 저장되거나, 도1의 디스플레이 소자(190)와 같은 디스플레이 수단에 디스플레이될 수 있다.
프로세스(800)는 단계(805)에서, 기저 계층 상수(
Figure 112007071016950-PCT00007
)를 대체하는 확장 계층 상수(), 및 기저 계층 파라미터(QPb)FMF 대체하는 확장 계층 양자화 파라미터(QPe)를 이용하여 제2 패스에서 반복될 수 있다. 최종 출력(825)은 디코딩된 확장 계층 비디오 출력일 수도 있다. 이어 기저 계층 비디오 출력(825)이 픽셀 도메인에서, 확장 계층 비디오 출력을 이용하여 결합될 수 있다. 이러한 2 패스 프로세스는 효율을 위해 동일한 디코더 하드웨어 회로를 재사용할 수 있다. 이러한 디코딩 프로세스는 도5, 6 또는 7에 도시된 것들 중 어떤 인코딩 프로세스가 사용되었는지에 무관하게 사용될 수 있다.
도9는 도2B의 단계(245 및 250)에서 실행되는 바와 같은, 확장 계층 데이터에 더하여 기저 계층을 디코딩하기 위한 디코더 프로세스의 예를 도시한다. 프로세스(900)에서는, 단계(905 및 910)에서 각각, 양자화된 상수(
Figure 112007071016950-PCT00009
및
Figure 112007071016950-PCT00010
)가 양자화되며, 부가 단계(915)에서, 변환된(예를 들어, 주파수) 도메인으로 결합된다. 역양자화 동작(905)은 역양자화 동작(910)이 더 작은 확장 계층 양자화 파라미터(QPe)를 이용한다. 이어 결합된 상수는 역변환(920)되며, 단계(925)에서 버퍼(930)에 저장된 공간적 또는 일시적 예측 데이터로 부가된다. 이러한 디코딩 프로세스는 도5, 6 또는 7에 도시된 것들 중, 어떤 인코딩 프로세스가 사용되었는지 에 무관하게 사용될 수 있다. 최종 확장 계층 비디오 출력(935)은 메모리에 저장될 수 있거나 디스플레이될 수 있다.
프로세스(900)는 하나의 주요한 방식에서 프로세스(800)와 상이하다. 프로세스(900)는 프로세스(800)에서 하나의 역양자화 동작(805) 대신 두 역양자화 동작(905 및 910)을 사용한다. 만일 역양자화가 하드웨어 코어에서 파이프라이닝되면, 기저 계층 디코딩 프로세스(800)와 같이 확장 계층 디코딩을 위해 단지 하나의 역양자화 단계를 갖는 것이 매우 바람직하다. 역양자화 단계의 수를 1로 감소시키는 일례는 수학적 특성에 의해 관련된 양자화 파라미터를 이용하는 것을 포함한다. 양자화 스텝 크기는 H.264의 경우 Qp에서 증분 마다 두 배가 된다. 만일 QPb=QPe+6이면, 기저 계층 상수는 확장 계층 스케일로 변환되고 이하의 식으로 결합될 수 있다.
Figure 112007071016950-PCT00011
도10은 확장 계층 데이터에 더하여 기저 계층을 디코딩하는 디코더 프로세스의 다른 예를 도시한다. 프로세스(1000)는 기저 계층 및 확장 계층 양자화를 이용하는데, QPb=QPe+6이다. 식[5]에 도시된 바와 같이, 기저 계층 상수는 단계(1005)에서 상수 1비트를 좌측으로 시프팅(스케일링의 형태)함으로써 확장 계층 스케일로 변환된다. 따라서, 단계(1015)에서 역양자화의 단지 하나의 동작 및 단계(1020)에서 하나의 역변환의 동작이 요구된다. 만일 기저 계층 상수가 제로와 같으면, 어 떠한 시프트도 필요치 않다. 따라서 이러한 특성을 이용하기 위해,
Figure 112007071016950-PCT00012
및
Figure 112007071016950-PCT00013
가 제로가 아니면, QPb 및 QPe 사이의 차는 6의 배수일 것이다. 예를 들어, 스케일러를 이용하는, 스케일러 팩터에 의한 곱과 같이, 비트 시프팅 외의 다른 방법이 사용될 수 있다.
P 프레임 및 B 프레임은 인트라 MB 및 인터 MB를 포함할 수 있다. P 또는 B 프레임의 소정의 매크로블록을 인트라 MB로서 인코딩하는 것을 결정하기 위해 하이브리드 비디오 인코더가 레이트 왜곡(RD) 최적화를 이용하는 것은 통상적이다. 인트라 MB가 기저 계층 및/또는 확장 계층 인터 MB에 의존하지 않는 단일 계층 디코딩을 갖기 위해, 소정의 이웃한 인터 MB는 기저 계층 인트라 MB의 공간 예측을 위해 사용되지 않는다. 기저 계층 P 또는 B 프레임의 인트라 MB의 경우, 확장 계층 디코딩을 위해 변경되지 않는 계산상의 복잡성을 유지하기 위해, 확장 계층에서의 정련은 생략될 수 있다.
P 또는 B 프레임에서 인트라 MB는 인터 MB보다 더 많은 비트를 필요로 한다. 이러한 이유로, P 또는 B 프레임의 인트라 MB는 더 높은 QP에서 기저 계층 품질에서만 인코딩될 수 있다. 이는 비디오 품질에서 소정의 황폐를 초래하지만, 이러한 황폐는 전술한 바와 같이 기저 및 확장 계층에서 인터 MB 상수로 정련될 경우 눈에 띄지 않을 것이다. 두 가지 이유가 이러한 황폐를 눈에 띄지 않게 한다. 첫 번째는 인간의 시각 특성(HVS)이며, 다른 하나는 인터 MB가 인트라 MB를 정련한다는 것이다. 제1 프레임으로부터 제2 프레임으로 위치를 변경하기 위해, 제1 프레임의 소정의 픽셀들은 제2 프레임(변환될 정보)에서 가시적이며, 제2 프레임에서 소정의 픽셀은 제1 시간에 대해 가시적(커버링되지 않은 정보)이다. 인간의 눈은 커버링되지 않은 정보 및 커버링될 시각적 정보에 민감하지 않다. 따라서, 커버링되지 않은 정보의 경우, 심지어 더 낮은 품질로 인코딩되어도, 눈은 차이를 알지 못한다. 만일 동일한 정보가 이후의 P 프레임에 잔여하지 않으면, 확장 계층이 낮은 QP를 갖기 때문에, 확장 계층의 이후의 P 프레임은 이를 정련할 수 있는 가능성이 클 수도 있다.
P 또는 B 프레임에서 인트라 MB를 유도하는 다른 통상의 기술은 인트라 리프레시로 알려져 있다. 이러한 경우, 심지어 표준 R-D 최적화가 MB가 인터 코딩된 MB일 수 있음을 나타낼지라도, 소정의 MB는 인트라 MB로 코딩된다. 기저 계층에 포함된 이러한 인트라코딩된 MB는 QPb 또는 QPe로 인코딩될 수 있다. 만일 QPe가 기저 계층에 대해 사용되면, 어떠한 정련도 확장 계층에서 요구되지 않는다. 만일 QPb가 기저 계층에 대해 사용되면, 정련이 적합할 수도 있으며, 그렇지 않으면 확장 계층에서 품질의 저하가 눈에 띌 수도 있다. 인터 코딩이 코딩 효율의 관점에서 인트라-코딩에 비해 더욱 효율적이므로, 확장 계층에서 이러한 정련은 인터-코딩될 수도 있다. 이러한 방식으로, 기저 계층 상수는 확장 계층에 대해 사용되지 않을 수도 있다. 따라서, 품질은 새로운 동작을 도입하지 않고 확장 계층에서 개선된다.
B 프레임은 통상적으로 확장 계층에 사용되는데, 그 이유는 B 프레임이 높은 압축 품질을 제공하기 때문이다. 그러나 B 프레임은 P 프레임의 기준 인트라 MB를 참조해야 할 수도 있다. 만일 B 프레임의 픽셀이 확장 계층 품질에서 인코딩되면, 전술된 바와 같이, 픽셀은 P 프레임 인트라 MB의 더 낮은 품질로 인해 너무 많은 비트를 필요로 할 수 있다. 전술한 바와 같이, HVS의 품질을 이용함으로써, B 프레임 MB는 P 프레임의 더 낮은 품질 인트라 MB를 참조할 때 더 낮은 품질로 인코딩될 수 있다.
P 또는 B 프레임의 인트라 MB의 극단적인 예는 P 또는 B 프레임의 모든 MB가 인코딩될 비디오에서 장면 변화의 존재로 인해 인트라 모드에서 인코딩될 때이다. 이러한 경우 전체 프레임은 기저 계층 품질로 인코딩되며 확장 계층에서 어떠한 정련도 없다. 만일 장면 변화가 B 프레임에서 발생하고, B 프레임이 확장 계층에서 인코딩만 된다면, B 프레임은 기저 계층 품질로 인코딩되거나 간단히 드롭될 수 있다. 만일 장면 변화가 P 프레임에서 발생하면, 어떠한 변화도 필수적이지 않지만, P 프레임은 기저 계층 품질로 드롭핑 또는 인코딩될 수 있다.
미가공 데이터가 변환된 후, 코딩 예는 기저 계층 및 확장 계층 상수를 선택하는 전술한 방법을 프로세싱한다. 유사한 분석 기술이 상수의 변환 이전에 사용될 수 있다.
당업자는 정보 및 신호들이 임의의 다수의 상이한 기술들 및 테크닉들을 사용하여 표현될 수 있음을 인식할 것이다. 예를 들어, 상기 설명을 통해 참조될 수 있는 데이터, 지시들, 명령들, 정보, 신호들, 비트들, 심볼들 및 칩들은 전압들, 전류들, 전자기파들, 전자기장들, 또는 전자기 입자들, 광학계들 또는 광학 입자 들, 또는 그들의 임의의 조합에 의해 표시될 수 있다.
당업자는 상기 설명을 통해 참조될 수 있는 데이터, 지시들, 명령들, 정보, 신호들, 비트들, 심볼들 및 칩들은 전압들, 전류들, 전자기파들, 전자기장들, 또는 전자기 입자들, 광학계들 또는 광학 입자들, 또는 그들의 임의의 조합에 의해 표시될 수 있음을 이해할 것이다. 당업자는 또한 본 명세서에 개시된 실시예들과 관련하여 설명된 논리적인 블럭들, 모듈들, 회로들, 및 알고리즘 단계들이 전자하드웨어, 컴퓨터 소프트웨어, 또는 그들의 조합으로서 실행될 수 있음을 인식할 것이다. 다양한 요소들, 블럭들, 모듈들, 회로들, 및 단계들이 그들의 기능성에 관련하여 전술되었다. 당업자는 이러한 조건에서 하드웨어 및 소프트웨어의 상호호환성을 이해할 것이며, 어떻게 각각의 특정 응용에 따라 설명된 기능을 최상으로 구현하는 지를 이해할 것이다.
본 명세서에서 개시된 실시예와 관련하여 다양하게 설명되는 논리들, 논리 블럭들, 모듈들, 및 회로들은 범용 프로세서, 디지털 신호 처리기(DSP), 응용 집적 회로(ASIC), 현장 프로그램가능한 게이트 어레이(FPGA), 또는 다른 프로그램가능한 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 요소들, 또는 본 명세서에 개시된 기능을 수행하도록 설계된 그들의 임의의 조합을 사용하여 실행되거나 수행될 수 있다. 범용 프로세서는 마이크로프로세서가 될 수 있지만, 선택적으로 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 기계가 될 수 있다. 프로세서는 또한 예를 들어, DSP 및 마이크로프로세서의 조합, 복수의 마이크로프로세서, DSP 코어와 결합된 하나 또는 그이상의 마이크로프 로세서, 또는 임의의 다른 구성과 같은 컴퓨팅 장치들의 조합으로서 실행될 수 있다.
본 명세서에 개시된 실시예와 관련하여 설명되는 방법 또는 알고리즘의 단계는 하드웨어에서, 프로세서에 의해 실행되는 소프트웨어 모듈에서, 또는 그들의 조합에서 즉시 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드디스크, 제거가능한 디스크, CD-ROM 또는 임의의 다른 저장 매체 형태로 당업자에게 공지된다. 예시적인 저장 매체는 저장매체로부터 정보를 판독하고 정보를 기록할 수 있는 프로세서에 접속된다. 프로세서 및 저장 매체는 ASIC 내에 상주할 수 있다. ASIC은 사용자 터미널 내에 상주할 수 있다. 선택적으로, 프로세서 및 저장 매체는 사용자 디바이스내에서 이산요소들로서 상주할 수 있다.
개시된 실시예의 전술된 설명은 당업자가 본 발명을 구현하고 이용하기에 용이하도록 하기 위하여 제공되었다. 이들 실시예에 대한 여러 가지 변형은 당업자에게 자명하며, 여기서 한정된 포괄적인 원리는 본 발명의 사용 없이도 다른 실시예에 적용될 수 있다.
따라서, 최소의 디코더 오버헤드로, 확장 계층에서 기저 계층 및 더 높은 품질의 비디오로 수용가능한 품질의 비디오를 제공하는 방법 및 장치가 개시되었다.

Claims (81)

  1. 멀티미디어 비트스트림을 디코딩하는 방법으로서,
    제1 계층의 인코딩된 데이터 및 제2 계층의 인코딩된 데이터를 수신하는 단계;
    상기 수신된 제1 계층의 인코딩된 데이터와 상기 수신된 제2 계층의 인코딩된 데이터를 결합하는 단계;
    상기 결합된 데이터를 디코딩하는 단계를 포함하며, 상기 제1 계층은 기저 계층을 포함하고, 상기 제2 계층은 확장 계층을 포함하는,
    멀티미디어 비트스트림을 디코딩하는 방법.
  2. 제1항에 있어서,
    상기 기저 계층 데이터에서 잔여 에러 상수를 수신하고 상기 확장 계층 데이터에서 상기 기저 계층 잔여 에러 상수에 대한 미분치를 수신하는 단계;
    상기 잔여 에러 상수 및 상기 미분치를 상기 결합된 제1 계층 및 제2 계층 데이터와 결합시키는 단계; 및
    상기 결합된 제1 계층, 제2 계층, 및 상기 결합된 잔여 에러 상수 및 미분치를 디코딩하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 비트스트림을 디코딩하는 방법.
  3. 제1항에 있어서,
    상기 기저 계층 데이터에서 잔여 에러 상수를 수신하고 상기 확장 계층 데이터에서 상기 기저 계층 잔여 에러 상수에 대한 미분치를 수신하는 단계를 더 포함하며, 상기 기저 계층 잔여 에러 상수는 원래의 기저 계층 잔여 에러 상수와 원래의 확장 계층 잔여 에러 상수 중 최소값 또는 제로 중 하나이며, 상기 확장 계층 미분치는 상기 잔여 에러 상수와 상기 원래의 확장 계층 잔여 에러 상수에 기초하여 결정되는 것을 특징으로 하는 멀티미디어 비트스트림을 디코딩하는 방법.
  4. 제1항에 있어서,
    제1 양자화 스텝 크기로부터 제2 양자화 스텝 크기로 상기 제1 계층 데이터를 변환시키는 단계를 더 포함하며, 상기 수신된 제2 계층 데이터는 상기 제2 양자화 스텝 크기에서 인코딩되는 것을 특징으로 하는 멀티미디어 비트스트림을 디코딩하는 방법.
  5. 제1항에 있어서,
    상기 수신된 제1 계층 데이터에서 인트라-코딩된 데이터를 식별하고, 상기 수신된 제2 계층 데이터에서 상기 수신된 제1 계층 인트라-코딩된 데이터에 대한 미분치를 식별하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 비트스트림을 디코딩하는 방법.
  6. 제5항에 있어서,
    제1 패스에서 상기 식별된 제1 계층 인트라-코딩된 데이터를 디코딩하는 단계;
    제2 패스에서 상기 식별된 제2 계층 인트라-코딩된 데이터를 디코딩하는 단계; 및
    상기 디코딩된 제1 계층 인트라-코딩된 데이터와 상기 디코딩된 제2 계층 인트라-코딩된 데이터를 결합시키는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 비트스트림을 디코딩하는 방법.
  7. 제1항에 있어서,
    상기 결합된 제1 계층 및 제2 계층 데이터를 역양자화하는 단계; 및
    상기 역양자화된 데이터를 역변환시키는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 비트스트림을 디코딩하는 방법.
  8. 제1항에 있어서,
    상기 결합된 데이터에서 상기 제1 계층과 관련된 인터-코딩된 데이터를 식별하는 단계;
    상기 결합된 데이터에서 상기 제2 계층과 관련된 인터-코딩된 데이터를 식별하는 단계; 및
    상기 제1 계층과 관련된 상기 식별된 인터-코딩된 데이터 또는 상기 제1 및 제2 계층들과 관련된 상기 식별된 인터-코딩된 데이터 중 하나를 디코딩하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 비트스트림을 디코딩하는 방법.
  9. 제1항에 있어서,
    상기 결합된 데이터에서 상기 제1 계층과 관련된 인트라-코딩된 데이터를 식별하는 단계; 및
    상기 식별된 인트라-코딩된 데이터를 디코딩하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 비트스트림을 디코딩하는 방법.
  10. 제1항에 있어서,
    상기 결합된 데이터에서 상기 제1 계층과 관련된 인트라-코딩된 데이터를 식별하는 단계;
    상기 결합된 데이터에서 상기 제2 계층과 관련된 인터-코딩된 데이터를 식별하는 단계; 및
    상기 식별된 인트라-코딩된 데이터 또는 상기 식별된 인터-코딩된 데이터 중 하나를 디코딩하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 비트스트림을 디코딩하는 방법.
  11. 멀티미디어 비트스트림을 디코딩하는 장치로서,
    제1 계층의 인코딩된 데이터 및 제2 계층의 인코딩된 데이터를 수신하는 수 단;
    상기 수신된 제1 계층 인코딩된 데이터와 상기 수신된 제2 계층 인코딩된 데이터를 결합하는 수단;
    상기 결합된 데이터를 디코딩하는 수단을 포함하며, 상기 제1 계층은 기저 계층을 포함하고, 상기 제2 계층은 확장 계층을 포함하는,
    멀티미디어 비트스트림을 디코딩하는 장치.
  12. 제11항에 있어서,
    상기 수신하는 수단은, 상기 기저 계층 데이터에서 잔여 에러 상수를 수신하고 상기 확장 계층 데이터에서 상기 기저 계층 잔여 에러 상수에 대한 미분치를 수신하는 수단;
    상기 잔여 에러 상수 및 상기 미분치를 상기 결합된 제1 계층 및 제2 계층 데이터와 결합시키는 수단; 및
    상기 결합된 데이터를 디코딩하는 수단을 더 포함하며, 상기 디코딩은 상기 결합된 제1 계층, 제2 계층, 및 상기 결합된 잔여 에러 상수 및 미분치의 디코딩을 포함하는 것을 특징으로 하는 멀티미디어 비트스트림을 디코딩하는 장치.
  13. 제11항에 있어서,
    상기 수신 수단은, 상기 기저 계층 데이터에서 잔여 에러 상수를 수신하고 상기 확장 계층 데이터에서 상기 기저 계층 잔여 에러 상수에 대한 미분치를 수신 하는 수단을 더 포함하며, 상기 기저 계층 잔여 에러 상수는 원래의 기저 계층 잔여 에러 상수와 원래의 확장 계층 잔여 에러 상수 중 최소값 또는 제로 중 하나이며, 상기 확장 계층 미분치는 상기 잔여 에러 상수와 상기 원래의 확장 계층 잔여 에러 상수에 기초하여 결정되는 것을 특징으로 하는 멀티미디어 비트스트림을 디코딩하는 장치.
  14. 제11항에 있어서,
    제1 양자화 스텝 크기로부터 제2 양자화 스텝 크기로 상기 제1 계층 데이터를 변환시키는 수단을 더 포함하며, 상기 수신된 제2 계층 데이터는 상기 제2 양자화 스텝 크기에서 인코딩되는 것을 특징으로 하는 멀티미디어 비트스트림을 디코딩하는 장치.
  15. 제14항에 있어서,
    상기 스케일링 수단은 상기 제1 계층 데이터를 시프팅하는 수단을 더 포함하는 것을 특징으로 하는 멀티미디어 비트스트림을 디코딩하는 장치.
  16. 제11항에 있어서,
    상기 수신하는 수단은 상기 수신된 제1 계층 데이터에서 인트라-코딩된 데이터를 식별하고, 상기 수신된 제2 계층 데이터에서 상기 수신된 제1 계층 인트라-코딩된 데이터에 대한 미분치를 식별하는 수단을 더 포함하는 것을 특징으로 하는 멀 티미디어 비트스트림을 디코딩하는 장치.
  17. 제16항에 있어서,
    제1 패스에서 상기 식별된 제1 계층 인트라-코딩된 데이터를 디코딩하는 수단;
    제2 패스에서 상기 식별된 제2 계층 인트라-코딩된 데이터를 디코딩하는 수단; 및
    상기 디코딩된 제1 계층 인트라-코딩된 데이터와 상기 디코딩된 제2 계층 인트라-코딩된 데이터를 결합시키는 수단을 더 포함하는 것을 특징으로 하는 멀티미디어 비트스트림을 디코딩하는 장치.
  18. 제11항에 있어서, 상기 디코딩하는 수단은,
    상기 결합된 제1 계층 및 제2 계층 데이터를 역양자화하는 수단; 및
    상기 역양자화된 데이터를 역변환시키는 수단을 더 포함하는 것을 특징으로 하는 멀티미디어 비트스트림을 디코딩하는 장치.
  19. 멀티미디어 비트스트림을 디코딩하는 장치로서,
    제1 계층의 인코딩된 데이터 및 제2 계층의 인코딩된 데이터를 수신하는 수신기;
    상기 수신된 제1 계층의 인코딩된 데이터와 상기 수신된 제2 계층의 인코딩 된 데이터를 결합하는 결합기; 및
    상기 결합된 데이터를 디코딩하는 디코더를 포함하며, 상기 제1 계층은 기저 계층을 포함하고, 상기 제2 계층은 확장 계층을 포함하는,
    멀티미디어 비트스트림을 디코딩하는 장치.
  20. 제19항에 있어서,
    상기 수신기는 상기 기저 계층 데이터에서 잔여 에러 상수를 수신하고 상기 확장 계층 데이터에서 상기 기저 계층 잔여 에러 상수에 대한 미분치를 수신하도록 추가로 구성되며,
    상기 결합기는 상기 잔여 에러 상수 및 상기 미분치를 상기 결합된 제1 계층 및 제2 계층 데이터와 결합시키도록 추가로 구성되며, 및
    상기 디코더는 상기 결합된 제1 계층, 제2 계층, 및 상기 결합된 잔여 에러 상수 및 미분치를 디코딩하도록 추가로 구성된 것을 특징으로 하는 멀티미디어 비트스트림을 디코딩하는 장치.
  21. 제19항에 있어서,
    상기 수신기는 상기 기저 계층 데이터에서 잔여 에러 상수를 수신하고 상기 확장 계층 데이터에서 상기 기저 계층 잔여 에러 상수에 대한 미분치를 수신하도록 추가로 구성되며, 상기 기저 계층 잔여 에러 상수는 원래의 기저 계층 잔여 에러 상수와 원래의 확장 계층 잔여 에러 상수 중 최소값 또는 제로 중 하나이며, 상기 확장 계층 미분치는 상기 잔여 에러 상수와 상기 원래의 확장 계층 잔여 에러 상수에 기초하여 결정되는 것을 특징으로 하는 멀티미디어 비트스트림을 디코딩하는 장치.
  22. 제19항에 있어서,
    상기 제1 계층 데이터를 제1 양자화 스텝 크기로부터 제2 양자화 스텝 크기로 변환시키도록 구성된 스케일러를 더 포함하며, 상기 수신된 제2 계층 데이터는 상기 제2 양자화 스텝 크기에서 인코딩되는 것을 특징으로 하는 멀티미디어 비트스트림을 디코딩하는 장치.
  23. 제19항에 있어서,
    상기 수신된 제1 계층 데이터에서 인트라-코딩된 데이터를 식별하고, 상기 수신된 제2 계층 데이터에서 상기 수신된 제1 계층 인트라-코딩된 데이터에 대한 미분치를 식별하도록 구성된 식별자를 더 포함하는 것을 특징으로 하는 멀티미디어 비트스트림을 디코딩하는 장치.
  24. 제19항에 있어서,
    상기 디코더는, 제1 패스에서 상기 식별된 제1 계층 인트라-코딩된 데이터를 디코딩하고, 제2 패스에서 상기 식별된 제2 계층 인트라-코딩된 데이터를 디코딩하도록 추가로 구성되며, 및
    상기 결합기는, 상기 디코딩된 제1 계층 인트라-코딩된 데이터와 상기 디코딩된 제2 계층 인트라-코딩된 데이터를 결합시키도록 추가로 구성되는 것을 특징으로 하는 멀티미디어 비트스트림을 디코딩하는 장치.
  25. 제19항에 있어서,
    상기 결합된 제1 계층 및 제2 계층 데이터를 역양자화하도록 구성된 역양자화기, 및 상기 역양자화된 데이터를 역변환시키도록 구성된 변환기를 더 포함하는 것을 특징으로 하는 멀티미디어 비트스트림을 디코딩하는 장치.
  26. 멀티미디어 비트스트림을 디코딩하는 방법을 포함하는 컴퓨터 판독가능 매체로서, 상기 방법은,
    제1 계층의 인코딩된 데이터 및 제2 계층의 인코딩된 데이터를 수신하는 단계;
    상기 수신된 제1 계층의 인코딩된 데이터와 상기 수신된 제2 계층의 인코딩된 데이터를 결합하는 단계;
    상기 결합된 데이터를 디코딩하는 단계를 포함하며, 상기 제1 계층은 기저 계층을 포함하고, 상기 제2 계층은 확장 계층을 포함하는,
    컴퓨터 판독가능 매체.
  27. 제26항에 있어서, 상기 방법은,
    상기 기저 계층 데이터에서 잔여 에러 상수를 수신하고 상기 확장 계층 데이터에서 상기 기저 계층 잔여 에러 상수에 대한 미분치를 수신하는 단계;
    상기 잔여 에러 상수 및 상기 미분치를 상기 결합된 제1 계층 및 제2 계층 데이터와 결합시키는 단계; 및
    상기 결합된 제1 계층, 제2 계층, 및 상기 결합된 잔여 에러 상수 및 미분치를 디코딩하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
  28. 제26항에 있어서, 상기 방법은,
    상기 기저 계층 데이터에서 잔여 에러 상수를 수신하고 상기 확장 계층 데이터에서 상기 기저 계층 잔여 에러 상수에 대한 미분치를 수신하는 단계를 더 포함하며, 상기 기저 계층 잔여 에러 상수는 원래의 기저 계층 잔여 에러 상수와 원래의 확장 계층 잔여 에러 상수 중 최소값 또는 제로 중 하나이며, 상기 확장 계층 미분치는 상기 잔여 에러 상수와 상기 원래의 확장 계층 잔여 에러 상수에 기초하여 결정되는 것을 특징으로 하는 컴퓨터 판독가능 매체.
  29. 제26항에 있어서, 상기 방법은,
    제1 양자화 스텝 크기로부터 제2 양자화 스텝 크기로 상기 제1 계층 데이터를 변환시키는 단계를 더 포함하며, 상기 수신된 제2 계층 데이터는 상기 제2 양자화 스텝 크기에서 인코딩되는 것을 특징으로 하는 컴퓨터 판독가능 매체.
  30. 제26항에 있어서, 상기 방법은,
    상기 수신된 제1 계층 데이터에서 인트라-코딩된 데이터를 식별하고, 상기 수신된 제2 계층 데이터에서 상기 수신된 제1 계층 인트라-코딩된 데이터에 대한 미분치를 식별하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
  31. 제30항에 있어서, 상기 방법은,
    제1 패스에서 상기 식별된 제1 계층 인트라-코딩된 데이터를 디코딩하는 단계;
    제2 패스에서 상기 식별된 제2 계층 인트라-코딩된 데이터를 디코딩하는 단계; 및
    상기 디코딩된 제1 계층 인트라-코딩된 데이터와 상기 디코딩된 제2 계층 인트라-코딩된 데이터를 결합시키는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
  32. 제26항에 있어서, 상기 방법은,
    상기 결합된 제1 계층 및 제2 계층 데이터를 역양자화하는 단계; 및
    상기 역양자화된 데이터를 역변환시키는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
  33. 멀티미디어 비트스트림을 디코딩하는 프로세서로서,
    상기 프로세서는,
    제1 계층의 인코딩된 데이터 및 제2 계층의 인코딩된 데이터를 수신하고;
    상기 수신된 제1 계층의 인코딩된 데이터와 상기 수신된 제2 계층의 인코딩된 데이터를 결합하고;
    상기 결합된 데이터를 디코딩하도록 구성되며, 상기 제1 계층은 기저 계층을 포함하고, 상기 제2 계층은 확장 계층을 포함하는,
    프로세서.
  34. 제33항에 있어서,
    상기 기저 계층 데이터에서 잔여 에러 상수를 수신하고 상기 확장 계층 데이터에서 상기 기저 계층 잔여 에러 상수에 대한 미분치를 수신하고, 상기 잔여 에러 상수 및 상기 미분치를 상기 결합된 제1 계층 및 제2 계층 데이터와 결합시키고, 및 상기 결합된 제1 계층, 제2 계층, 및 상기 결합된 잔여 에러 상수 및 미분치를 디코딩하도록 추가로 구성된 것을 특징으로 하는 프로세서.
  35. 제33항에 있어서,
    상기 기저 계층 데이터에서 잔여 에러 상수를 수신하고 상기 확장 계층 데이터에서 상기 기저 계층 잔여 에러 상수에 대한 미분치를 수신하도록 추가로 구성되며, 상기 기저 계층 잔여 에러 상수는 원래의 기저 계층 잔여 에러 상수와 원래의 확장 계층 잔여 에러 상수 중 최소값 또는 제로 중 하나이며, 상기 확장 계층 미분 치는 상기 잔여 에러 상수와 상기 원래의 확장 계층 잔여 에러 상수 사이의 차인 것을 특징으로 하는 프로세서.
  36. 제33항에 있어서,
    제1 양자화 스텝 크기로부터 제2 양자화 스텝 크기로 상기 제1 계층 데이터를 변환시키도록 추가로 구성되며, 상기 수신된 제2 계층 데이터는 상기 제2 양자화 스텝 크기에서 인코딩되는 것을 특징으로 하는 프로세서.
  37. 제33항에 있어서,
    상기 수신된 제1 계층 데이터에서 인트라-코딩된 데이터를 식별하고, 상기 수신된 제2 계층 데이터에서 상기 수신된 제1 계층 인트라-코딩된 데이터에 대한 미분치를 식별하도록 구성된 것을 특징으로 하는 프로세서.
  38. 제37항에 있어서,
    제1 패스에서 상기 식별된 제1 계층 인트라-코딩된 데이터를 디코딩하고,
    제2 패스에서 상기 식별된 제2 계층 인트라-코딩된 데이터를 디코딩하고, 및
    상기 디코딩된 제1 계층 인트라-코딩된 데이터와 상기 디코딩된 제2 계층 인트라-코딩된 데이터를 결합시키도록 추가로 구성된 것을 특징으로 하는 프로세서.
  39. 제33항에 있어서,
    상기 결합된 제1 계층 및 제2 계층 데이터를 역양자화하고, 및
    상기 역양자화된 데이터를 역변환시키도록 추가로 구성된 것을 특징으로 하는 프로세서.
  40. 멀티미디어 데이터를 인코딩하는 방법으로서,
    단일 결합된 계층에서 데이터의 디코딩을 가능케하도록 제1 계층 및 제2 계층에서 인코딩을 위해 데이터를 선택하는 단계; 및
    상기 제1 계층 및 상기 제2 계층에서 상기 선택된 데이터를 인코딩하는 단계를 포함하는,
    멀티미디어 데이터를 인코딩하는 방법.
  41. 제40항에 있어서,
    상기 제1 계층에서 상수를 인코딩하는 단계; 및
    상기 제2 계층에서 상기 제1 계층 상수의 미분치를 인코딩하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 데이터를 인코딩하는 방법.
  42. 제40항에 있어서,
    상기 제1 계층 인코딩된 데이터는 제1 상수를 포함하며, 상기 제2 계층 인코딩된 데이터는 제2 상수를 포함하며, 상기 제1 및 제2 계층 상수들은 디코딩을 위해 사용되는 것을 특징으로 하는 멀티미디어 데이터를 인코딩하는 방법.
  43. 제42항에 있어서,
    상기 제1 및 제2 상수들에 기초하여 제1 프라임 상수를 선택하는 단계; 및
    상기 제1 및 제2 상수들에 기초하여 제2 프라임 상수를 계산하는 단계를 더 포함하며, 인코딩하는 단계는 상기 제1 계층에서 인코딩을 위해 상기 제1 프라임 상수를 이용하는 단계, 및 상기 제2 계층에서 인코딩을 위해 상기 제2 프라임 상수를 이용하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 데이터를 인코딩하는 방법.
  44. 제43항에 있어서,
    상기 제1 상수는 기저 계층 잔여 에러 상수이며, 상기 제2 상수는 확장 계층 잔여 에러 상수이며, 선택하는 단계는 상기 제1 상수 및 상기 제2 상수 중 최소값 또는 제로 중 하나인 상기 제1 프라임 상수를 선택하는 단계를 더 포함하며, 계산하는 단계는 상기 제2 상수와 동일하게 상기 제2 프라임 상수를 설정하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 데이터를 인코딩하는 방법.
  45. 제40항에 있어서,
    블록 헤더 정보 및 모션 벡터 정보를 상기 제1 계층과 관련시키는 단계를 더 포함하며, 상기 블록 헤더 정보 및 모션 벡터 정보는 상기 수신된 데이터로부터 유도된 것을 특징으로 하는 멀티미디어 데이터를 인코딩하는 방법.
  46. 제40항에 있어서,
    상기 제1 계층 인코딩된 데이터를 제1 스텝 크기에서 양자화하는 단계, 및 상기 제2 계층 인코딩된 데이터를 제2 스텝 크기에서 양자화하는 단계를 더 포함하며, 상기 제1 스텝 크기 및 상기 제2 스텝 크기는 스케일 팩터에 의해 관련되는 것을 특징으로 하는 멀티미디어 데이터를 인코딩하는 방법.
  47. 제40항에 있어서,
    상기 데이터는 인트라-코딩된 데이터를 포함하며, 인코딩하는 단계는 상기 제1 계층에서 또는 상기 제1 및 제2 계층들에서 상기 인트라-코딩된 데이터를 인코딩하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 데이터를 인코딩하는 방법.
  48. 제40항에 있어서,
    상기 데이터는 인터-코딩된 데이터를 포함하며, 인코딩하는 단계는 상기 제2 계층에서 상기 인터-코딩된 데이터를 인코딩하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 데이터를 인코딩하는 방법.
  49. 제40항에 있어서,
    인코딩하는 단계는 상기 제1 계층에서 인터-코딩된 데이터로서 상기 선택된 데이터의 일부 및 상기 제2 계층에서 인터-코딩된 데이터로서 상기 선택된 데이터의 일부를 인코딩하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 데이터를 인코딩하는 방법.
  50. 제40항에 있어서,
    인코딩하는 단계는 상기 제1 계층에서 인트라-코딩된 데이터로서 상기 선택된 데이터를 인코딩하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 데이터를 인코딩하는 방법.
  51. 제40항에 있어서,
    인코딩하는 단계는 상기 제1 계층에서 인트라-코딩된 데이터로서 상기 선택된 데이터의 일부 및 상기 제2 계층에서 인터-코딩된 데이터로서 상기 선택된 데이터의 일부를 인코딩하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 데이터를 인코딩하는 방법.
  52. 제40항에 있어서,
    오버헤드 정보를 인코딩하는 단계를 더 포함하며, 상기 오버헤드 정보는 다수의 계층을 식별하는 데이터, 기저 계층으로서의 계층을 식별하는 데이터, 확장 계층으로서의 계층을 식별하는 데이터, 계층들 사이에서 상호 관련을 식별하는 데이터, 및 최종 확장 계층으로서의 계층을 식별하는 데이터로 구성된 그룹의 멤버인 것을 특징으로 하는 멀티미디어 데이터를 인코딩하는 방법.
  53. 멀티미디어 데이터를 인코딩하는 장치로서,
    단일 결합된 계층에서 데이터의 디코딩을 가능케하도록 제1 계층 및 제2 계층에서 인코딩을 위해 데이터를 선택하는 수단; 및
    상기 제1 계층 및 상기 제2 계층에서 상기 선택된 데이터를 인코딩하는 수단을 포함하는,
    멀티미디어 데이터를 인코딩하는 장치.
  54. 제53항에 있어서, 상기 인코딩하는 수단은,
    상기 제1 계층에서 상수를 인코딩하는 수단; 및
    상기 제2 계층에서 상기 제1 계층 상수의 미분치를 인코딩하는 수단을 포함하는 것을 특징으로 하는 멀티미디어 데이터를 인코딩하는 장치.
  55. 제53항에 있어서,
    상기 제1 계층 인코딩된 데이터는 제1 상수를 포함하며, 상기 제2 계층 인코딩된 데이터는 제2 상수를 포함하며, 상기 제1 및 제2 계층 상수들은 디코딩을 위해 사용되는 것을 특징으로 하는 멀티미디어 데이터를 인코딩하는 장치.
  56. 제55항에 있어서,
    상기 제1 및 제2 상수들에 기초하여 제1 프라임 상수를 선택하는 수단; 및
    상기 제1 및 제2 상수들에 기초하여 제2 프라임 상수를 계산하는 수단을 더 포함하며, 인코딩은 상기 제1 계층에서 인코딩을 위해 상기 제1 프라임 상수를 이용하고, 및 상기 제2 계층에서 인코딩을 위해 상기 제2 프라임 상수를 이용하는 것을 특징으로 하는 멀티미디어 데이터를 인코딩하는 장치.
  57. 제56항에 있어서,
    상기 제1 상수는 기저 계층 잔여 에러 상수이며, 상기 제2 상수는 확장 계층 잔여 에러 상수이며, 선택하는 수단은 상기 제1 상수 및 상기 제2 상수 중 최소값 또는 제로 중 하나인 상기 제1 프라임 상수를 선택하는 수단을 더 포함하며, 계산하는 수단은 상기 제2 상수와 동일하게 상기 제2 프라임 상수를 설정하는 수단을 더 포함하는 것을 특징으로 하는 멀티미디어 데이터를 인코딩하는 장치.
  58. 제53항에 있어서,
    블록 헤더 정보 및 모션 벡터 정보를 상기 제1 계층과 관련시키는 수단을 더 포함하며, 상기 블록 헤더 정보 및 모션 벡터 정보는 상기 수신된 데이터로부터 유도된 것을 특징으로 하는 멀티미디어 데이터를 인코딩하는 장치.
  59. 제53항에 있어서,
    상기 제1 계층 인코딩된 데이터를 제1 스텝 크기에서 양자화하는 수단; 및
    상기 제2 계층 인코딩된 데이터를 제2 스텝 크기에서 양자화하는 수단을 더 포함하며, 상기 제1 스텝 크기 및 상기 제2 스텝 크기는 스케일 팩터에 의해 관련되는 것을 특징으로 하는 멀티미디어 데이터를 인코딩하는 장치.
  60. 제53항에 있어서,
    상기 데이터는 인트라-코딩된 데이터이며, 인코딩하는 수단은 상기 제1 계층에서 또는 상기 제1 및 제2 계층들에서 상기 인트라-코딩된 데이터를 인코딩하는 것을 특징으로 하는 멀티미디어 데이터를 인코딩하는 장치.
  61. 제53항에 있어서,
    상기 데이터는 인터-코딩된 데이터이며, 인코딩하는 수단은 상기 제2 계층에서 상기 인터-코딩된 데이터를 인코딩하는 것을 특징으로 하는 멀티미디어 데이터를 인코딩하는 장치.
  62. 제53항에 있어서,
    오버헤드 정보를 인코딩하는 수단을 더 포함하며, 상기 오버헤드 정보는 다수의 계층을 식별하는 데이터, 기저 계층으로서의 계층을 식별하는 데이터, 확장 계층으로서의 계층을 식별하는 데이터, 계층들 사이에서 상호 관련을 식별하는 데이터, 및 최종 확장 계층으로서의 계층을 식별하는 데이터로 구성된 그룹의 멤버인 것을 특징으로 하는 멀티미디어 데이터를 인코딩하는 장치.
  63. 멀티미디어 데이터를 인코딩하는 방법을 포함한 컴퓨터 판독가능 매체로서, 상기 방법은,
    단일 결합된 계층에서 데이터의 디코딩을 가능케하도록 제1 계층 및 제2 계층에서 인코딩을 위해 데이터를 선택하는 단계; 및
    상기 제1 계층 및 상기 제2 계층에서 상기 선택된 데이터를 인코딩하는 단계를 포함하는,
    컴퓨터 판독가능 매체.
  64. 제63항에 있어서, 인코딩하는 단계는,
    상기 제1 계층에서 상수를 인코딩하는 단계; 및
    상기 제2 계층에서 상기 제1 계층 상수의 미분치를 인코딩하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
  65. 제63항에 있어서,
    상기 제1 계층 인코딩된 데이터는 제1 상수를 포함하며, 상기 제2 계층 인코딩된 데이터는 제2 상수를 포함하며, 상기 제1 및 제2 계층 상수들은 디코딩을 위해 사용되는 것을 특징으로 하는 컴퓨터 판독가능 매체.
  66. 제65항에 있어서, 상기 방법은,
    상기 제1 및 제2 상수들에 기초하여 제1 프라임 상수를 선택하는 단계; 및
    상기 제1 및 제2 상수들에 기초하여 제2 프라임 상수를 계산하는 단계를 더 포함하며, 인코딩하는 단계는 상기 제1 계층에서 인코딩을 위해 상기 제1 프라임 상수를 이용하는 단계, 및 상기 제2 계층에서 인코딩을 위해 상기 제2 프라임 상수를 이용하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
  67. 제66항에 있어서,
    상기 제1 상수는 기저 계층 잔여 에러 상수이며, 상기 제2 상수는 확장 계층 잔여 에러 상수이며, 선택하는 단계는 상기 제1 상수 및 상기 제2 상수 중 최소값 또는 제로 중 하나인 상기 제1 프라임 상수를 선택하는 단계를 더 포함하며, 계산하는 단계는 상기 제2 상수와 동일하게 상기 제2 프라임 상수를 설정하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
  68. 제63항에 있어서, 상기 방법은,
    블록 헤더 정보 및 모션 벡터 정보를 상기 제1 계층과 관련시키는 단계를 더 포함하며, 상기 블록 헤더 정보 및 모션 벡터 정보는 상기 수신된 데이터로부터 유도된 것을 특징으로 하는 컴퓨터 판독가능 매체.
  69. 제63항에 있어서, 상기 방법은,
    상기 제1 계층 인코딩된 데이터를 제1 스텝 크기에서 양자화하는 단계, 및 상기 제2 계층 인코딩된 데이터를 제2 스텝 크기에서 양자화하는 단계를 더 포함하며, 상기 제1 스텝 크기 및 상기 제2 스텝 크기는 스케일 팩터에 의해 관련되는 것을 특징으로 하는 컴퓨터 판독가능 매체.
  70. 제63항에 있어서,
    상기 방법은 오버헤드 정보를 인코딩하는 단계를 더 포함하며, 상기 오버헤드 정보는 다수의 계층을 식별하는 데이터, 기저 계층으로서의 계층을 식별하는 데이터, 확장 계층으로서의 계층을 식별하는 데이터, 계층들 사이에서 상호 관련을 식별하는 데이터, 및 최종 확장 계층으로서의 계층을 식별하는 데이터로 구성된 그룹의 멤버인 것을 특징으로 하는 컴퓨터 판독가능 매체.
  71. 멀티미디어 데이터를 인코딩하는 프로세서로서, 상기 프로세서는
    단일 결합된 계층에서 데이터의 디코딩을 가능케하도록 제1 계층 및 제2 계층에서 인코딩을 위해 데이터를 선택하는 단계; 및
    상기 제1 계층 및 상기 제2 계층에서 상기 선택된 데이터를 인코딩하는 단계를 포함하는 방법을 제어하도록 구성된,
    프로세서.
  72. 제71항에 있어서, 인코딩하는 단계는,
    상기 제1 계층에서 상수를 인코딩하는 단계; 및
    상기 제2 계층에서 상기 제1 계층 상수의 미분치를 인코딩하는 단계를 포함하는 것을 특징으로 하는 프로세서.
  73. 제71항에 있어서,
    상기 제1 계층 인코딩된 데이터는 제1 상수를 포함하며, 상기 제2 계층 인코딩된 데이터는 제2 상수를 포함하며, 상기 제1 및 제2 계층 상수들은 디코딩을 위해 사용되는 것을 특징으로 하는 프로세서.
  74. 제73항에 있어서, 상기 방법은,
    상기 제1 및 제2 상수들에 기초하여 제1 프라임 상수를 선택하는 단계; 및
    상기 제1 및 제2 상수들에 기초하여 제2 프라임 상수를 계산하는 단계를 더 포함하며, 인코딩하는 단계는 상기 제1 계층에서 인코딩을 위해 상기 제1 프라임 상수를 이용하는 단계, 및 상기 제2 계층에서 인코딩을 위해 상기 제2 프라임 상수를 이용하는 단계를 더 포함하는 것을 특징으로 하는 프로세서.
  75. 제74항에 있어서,
    상기 제1 상수는 기저 계층 잔여 에러 상수이며, 상기 제2 상수는 확장 계층 잔여 에러 상수이며, 선택하는 단계는 상기 제1 상수 및 상기 제2 상수 중 최소값 또는 제로 중 하나인 상기 제1 프라임 상수를 선택하는 단계를 더 포함하며, 계산하는 단계는 상기 제2 상수와 동일하게 상기 제2 프라임 상수를 설정하는 단계를 더 포함하는 것을 특징으로 하는 프로세서.
  76. 제71항에 있어서, 상기 방법은,
    블록 헤더 정보 및 모션 벡터 정보를 상기 제1 계층과 관련시키는 단계를 더 포함하며, 상기 블록 헤더 정보 및 모션 벡터 정보는 상기 수신된 데이터로부터 유도된 것을 특징으로 하는 프로세서.
  77. 제71항에 있어서,
    상기 제1 계층 인코딩된 데이터를 제1 스텝 크기에서 양자화하는 단계, 및 상기 제2 계층 인코딩된 데이터를 제2 스텝 크기에서 양자화하는 단계를 더 포함하며, 상기 제1 스텝 크기 및 상기 제2 스텝 크기는 스케일 팩터에 의해 관련되는 것을 특징으로 하는 프로세서.
  78. 제71항에 있어서,
    상기 방법은 오버헤드 정보를 인코딩하는 단계를 더 포함하며, 상기 오버헤드 정보는 다수의 계층을 식별하는 데이터, 기저 계층으로서의 계층을 식별하는 데이터, 확장 계층으로서의 계층을 식별하는 데이터, 계층들 사이에서 상호 관련을 식별하는 데이터, 및 최종 확장 계층으로서의 계층을 식별하는 데이터로 구성된 그룹의 멤버인 것을 특징으로 하는 프로세서.
  79. 멀티미디어 데이터를 인코딩하는 장치로서,
    단일 결합된 계층에서 데이터의 디코딩을 가능케하도록 제1 계층 및 제2 계층에서 인코딩을 위해 상기 데이터를 선택하도록 구성된 수신기;
    상기 제1 계층 및 상기 제2 계층에서 상기 선택된 데이터를 인코딩하도록 구성된 인코더를 포함하는,
    멀티미디어 데이터를 인코딩하는 장치.
  80. 제79항에 있어서, 상기 인코더는,
    상기 제1 계층에서 상수를 인코딩하고, 및
    상기 제2 계층에서 상기 제1 계층 상수의 미분치를 인코딩하는 것을 더 포함하는 것을 특징으로 하는 멀티미디어 데이터를 인코딩하는 장치.
  81. 제79항에 있어서,
    상기 제1 계층 인코딩된 데이터는 제1 상수를 포함하며, 상기 제2 계층 인코딩된 데이터는 제2 상수를 포함하며, 상기 제1 및 제2 계층 상수들은 디코딩을 위해 사용되는 것을 특징으로 하는 멀티미디어 데이터를 인코딩하는 장치.
KR1020077022534A 2005-03-10 2006-03-10 2계층 인코딩 및 단일 계층 디코딩을 이용한 스케일러블비디오 코딩 KR100950273B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US66087705P 2005-03-10 2005-03-10
US60/660,877 2005-03-10
US71320805P 2005-08-30 2005-08-30
US60/713,208 2005-08-30

Publications (2)

Publication Number Publication Date
KR20070117623A true KR20070117623A (ko) 2007-12-12
KR100950273B1 KR100950273B1 (ko) 2010-03-31

Family

ID=36693137

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077022534A KR100950273B1 (ko) 2005-03-10 2006-03-10 2계층 인코딩 및 단일 계층 디코딩을 이용한 스케일러블비디오 코딩

Country Status (24)

Country Link
US (1) US7995656B2 (ko)
EP (1) EP1856917B1 (ko)
JP (3) JP2008533850A (ko)
KR (1) KR100950273B1 (ko)
CN (1) CN101167364B (ko)
AR (1) AR056939A1 (ko)
AU (1) AU2006223285C1 (ko)
BR (1) BRPI0608284A2 (ko)
CA (1) CA2600450C (ko)
DK (1) DK1856917T3 (ko)
ES (1) ES2674351T3 (ko)
HU (1) HUE038079T2 (ko)
IL (1) IL185827A (ko)
MX (1) MX2007011087A (ko)
NO (1) NO20075125L (ko)
NZ (1) NZ561351A (ko)
PL (1) PL1856917T3 (ko)
PT (1) PT1856917T (ko)
RU (1) RU2372743C2 (ko)
SI (1) SI1856917T1 (ko)
TR (1) TR201808894T4 (ko)
TW (1) TWI457001B (ko)
UA (1) UA90889C2 (ko)
WO (1) WO2006099221A2 (ko)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7916952B2 (en) * 2004-09-14 2011-03-29 Gary Demos High quality wide-range multi-layer image compression coding system
US8780957B2 (en) 2005-01-14 2014-07-15 Qualcomm Incorporated Optimal weights for MMSE space-time equalizer of multicode CDMA system
US8693540B2 (en) * 2005-03-10 2014-04-08 Qualcomm Incorporated Method and apparatus of temporal error concealment for P-frame
MX2007011084A (es) 2005-03-10 2007-11-15 Qualcomm Inc Clasificacion de contenido para procesamiento multimedia.
EP2019554A3 (en) * 2005-03-10 2009-03-11 Qualcomm Incorporated A decoder architecture for optimized error management in streaming multimedia
US7925955B2 (en) * 2005-03-10 2011-04-12 Qualcomm Incorporated Transmit driver in communication system
US8879857B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
US8705617B2 (en) * 2005-09-27 2014-04-22 Qualcomm Incorporated Multiple layer video encoding
US8654848B2 (en) 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
US8948260B2 (en) 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
DE102005060968B4 (de) * 2005-12-20 2008-05-08 Infineon Technologies Ag Verfahren und Ablaufsteuerung zur Übertragung von Daten verschiedener Verkehrstypen durch ein xDSL-Modem
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US8320450B2 (en) * 2006-03-29 2012-11-27 Vidyo, Inc. System and method for transcoding between scalable and non-scalable video codecs
US9131164B2 (en) 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
EP1944978A1 (en) * 2007-01-12 2008-07-16 Koninklijke Philips Electronics N.V. Method and system for encoding a video signal. encoded video signal, method and system for decoding a video signal
DE602007010835D1 (de) * 2007-01-18 2011-01-05 Fraunhofer Ges Forschung Qualitätsskalierbarer videodatenstrom
US8767834B2 (en) * 2007-03-09 2014-07-01 Sharp Laboratories Of America, Inc. Methods and systems for scalable-to-non-scalable bit-stream rewriting
KR100937030B1 (ko) * 2007-05-31 2010-01-15 한국전자통신연구원 디지털 방송 신호의 전송 방법, 전송 장치, 수신 방법 및수신 장치
CN101690229A (zh) * 2007-06-26 2010-03-31 诺基亚公司 用于指示时间层切换点的系统和方法
KR101366249B1 (ko) * 2007-06-28 2014-02-21 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
US9648325B2 (en) 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
US20090060035A1 (en) * 2007-08-28 2009-03-05 Freescale Semiconductor, Inc. Temporal scalability for low delay scalable video coding
US8161166B2 (en) * 2008-01-15 2012-04-17 Adobe Systems Incorporated Information communication using numerical residuals
TWI386063B (zh) 2008-02-19 2013-02-11 Ind Tech Res Inst 可調性視訊編碼標準的位元流分配系統與方法
US8711948B2 (en) * 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US8503460B2 (en) 2008-03-24 2013-08-06 Qualcomm Incorporated Dynamic home network assignment
US8082320B1 (en) 2008-04-09 2011-12-20 Adobe Systems Incorporated Communicating supplemental information over a block erasure channel
KR101204134B1 (ko) * 2008-04-25 2012-11-23 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 트랜스포트 데이터 스트림내에서 참조하는 유연성 있는 서브스트림
FR2932637B1 (fr) * 2008-06-17 2010-08-20 Canon Kk Procede et dispositif de codage d'une sequence d'images
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
JP5815408B2 (ja) * 2008-09-16 2015-11-17 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ スケーラブルビデオコーディングを利用したリニアなデジタルｔｖ番組の伝送方法
US20100135379A1 (en) * 2008-12-02 2010-06-03 Sensio Technologies Inc. Method and system for encoding and decoding frames of a digital image stream
US9185159B2 (en) * 2008-12-31 2015-11-10 Cy-Play Communication between a server and a terminal
CN102461165A (zh) * 2009-06-24 2012-05-16 德耳塔维德约股份有限公司 用于动态视频电子节目指南的系统和方法
CN101938659A (zh) * 2009-06-30 2011-01-05 中兴通讯股份有限公司 移动多媒体广播系统中业务扩展方法与装置
US8345749B2 (en) * 2009-08-31 2013-01-01 IAD Gesellschaft für Informatik, Automatisierung und Datenverarbeitung mbH Method and system for transcoding regions of interests in video surveillance
US8908774B2 (en) 2010-02-11 2014-12-09 Mediatek Inc. Method and video receiving system for adaptively decoding embedded video bitstream
WO2011153194A1 (en) * 2010-06-02 2011-12-08 Onmobile Global Limited Method and apparatus for adapting media
US10033485B2 (en) 2010-08-25 2018-07-24 Qualcomm Incorporated Managing acknowledgement messages from multiple destinations for multi user MIMO transmissions
US20120075436A1 (en) * 2010-09-24 2012-03-29 Qualcomm Incorporated Coding stereo video data
US9706214B2 (en) 2010-12-24 2017-07-11 Microsoft Technology Licensing, Llc Image and video decoding implementations
RU2448370C1 (ru) * 2011-03-22 2012-04-20 Открытое акционерное общество "Концерн радиостроения "Вега" Способ обнаружения модификации электронного изображения
BR112013031215B8 (pt) * 2011-06-10 2022-07-19 Mediatek Inc Método e aparelho de codificação escalável de vídeo
JP5956571B2 (ja) * 2011-06-30 2016-07-27 ヴィディオ・インコーポレーテッド スケーラブルビデオ符号化における動き予測
RU2477891C1 (ru) * 2011-09-02 2013-03-20 Открытое акционерное общество "Концерн радиостроения "Вега" Способ обнаружения модификации электронного изображения (варианты)
JP5698644B2 (ja) * 2011-10-18 2015-04-08 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
US9819949B2 (en) * 2011-12-16 2017-11-14 Microsoft Technology Licensing, Llc Hardware-accelerated decoding of scalable video bitstreams
US9591303B2 (en) * 2012-06-28 2017-03-07 Qualcomm Incorporated Random access and signaling of long-term reference pictures in video coding
US9602827B2 (en) * 2012-07-02 2017-03-21 Qualcomm Incorporated Video parameter set including an offset syntax element
CA2894637A1 (en) * 2012-12-18 2014-06-26 Sony Corporation Image processing device and image processing method
EP2941873A1 (en) * 2013-01-07 2015-11-11 VID SCALE, Inc. Motion information signaling for scalable video coding
US9743097B2 (en) * 2013-03-01 2017-08-22 Qualcomm Incorporated Spatial motion vector scaling for scalable video coding
KR101754527B1 (ko) * 2015-03-09 2017-07-06 한국항공우주연구원 패킷 부호화 장치 및 방법
US11636100B2 (en) * 2020-11-27 2023-04-25 Verizon Patent And Licensing Inc. Systems and methods for compression-based search engine

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3576660B2 (ja) 1995-09-29 2004-10-13 株式会社東芝 画像符号化装置および画像復号化装置
JP3788823B2 (ja) 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置
US6173013B1 (en) 1996-11-08 2001-01-09 Sony Corporation Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal
RU2201654C2 (ru) 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
US6275531B1 (en) 1998-07-23 2001-08-14 Optivision, Inc. Scalable video coding method and apparatus
US6263022B1 (en) * 1999-07-06 2001-07-17 Philips Electronics North America Corp. System and method for fine granular scalable video with selective quality enhancement
US6600836B1 (en) 2000-01-28 2003-07-29 Qualcomm, Incorporated Quality based image compression
US6700933B1 (en) * 2000-02-15 2004-03-02 Microsoft Corporation System and method with advance predicted bit-plane coding for progressive fine-granularity scalable (PFGS) video coding
GB2364842A (en) * 2000-07-11 2002-02-06 Motorola Inc Method and system for improving video quality
GB2384638B (en) 2002-01-24 2004-04-28 Motorola Inc Scalable video communication
WO2004049722A1 (en) * 2002-11-22 2004-06-10 Koninklijke Philips Electronics N.V. Transcoder for a variable length coded data stream
US8315307B2 (en) 2004-04-07 2012-11-20 Qualcomm Incorporated Method and apparatus for frame prediction in hybrid video compression to enable temporal scalability
US7991053B2 (en) 2004-05-04 2011-08-02 Qualcomm Incorporated Method and apparatus to enable acquisition of media in streaming applications
US7430336B2 (en) 2004-05-06 2008-09-30 Qualcomm Incorporated Method and apparatus for image enhancement for low bit rate video compression
US8553776B2 (en) 2004-07-21 2013-10-08 QUALCOMM Inorporated Method and apparatus for motion vector assignment

Also Published As

Publication number Publication date
PT1856917T (pt) 2018-06-28
MX2007011087A (es) 2007-11-14
AU2006223285C1 (en) 2010-10-28
ES2674351T3 (es) 2018-06-29
NO20075125L (no) 2007-10-24
UA90889C2 (uk) 2010-06-10
AR056939A1 (es) 2007-11-07
JP5619688B2 (ja) 2014-11-05
AU2006223285A1 (en) 2006-09-21
EP1856917A2 (en) 2007-11-21
CA2600450C (en) 2013-02-12
DK1856917T3 (en) 2018-06-25
KR100950273B1 (ko) 2010-03-31
EP1856917B1 (en) 2018-04-18
NZ561351A (en) 2010-11-26
WO2006099221A3 (en) 2007-01-04
WO2006099221A2 (en) 2006-09-21
TR201808894T4 (tr) 2018-07-23
SI1856917T1 (en) 2018-06-29
CN101167364B (zh) 2011-05-25
TWI457001B (zh) 2014-10-11
HUE038079T2 (hu) 2018-09-28
TW200706006A (en) 2007-02-01
CA2600450A1 (en) 2006-09-21
RU2372743C2 (ru) 2009-11-10
CN101167364A (zh) 2008-04-23
JP5619790B2 (ja) 2014-11-05
BRPI0608284A2 (pt) 2009-12-22
JP2011254500A (ja) 2011-12-15
AU2006223285B2 (en) 2010-04-22
JP2012120211A (ja) 2012-06-21
IL185827A (en) 2012-06-28
JP2008533850A (ja) 2008-08-21
US20060230162A1 (en) 2006-10-12
RU2007137490A (ru) 2009-04-20
US7995656B2 (en) 2011-08-09
PL1856917T3 (pl) 2018-09-28
IL185827A0 (en) 2008-01-06

Similar Documents

Publication Publication Date Title
KR100950273B1 (ko) 2계층 인코딩 및 단일 계층 디코딩을 이용한 스케일러블비디오 코딩
US8320464B2 (en) Method and apparatus to construct bi-directional predicted frames for temporal scalability
US8249159B2 (en) Scalable video coding with grid motion estimation and compensation
JP2008533850A5 (ko)
US20080144723A1 (en) Rate control for multi-layer video design
WO2001026381A1 (en) System and method for encoding and decoding enhancement layer data using base layer quantization data
AU2006223416A1 (en) Content adaptive multimedia processing
KR100964778B1 (ko) 다중 계층 비디오 인코딩
US11528508B2 (en) System and method for video coding
KR100626651B1 (ko) 선택적인 미세입자 스케일러블 코딩 장치 및 그 방법
Zdepski et al. Overview of the Grand Alliance HDTV video compression system
Nakachi et al. A study on multiresolution lossless video coding using inter/intra frame adaptive prediction
Ying et al. Rate control in heterogeneous transcoder

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130227

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140227

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150227

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20151230

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20161229

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee