KR101032243B1 - 스케일링가능한 비트스트림 추출을 위한 방법 및 시스템 - Google Patents

스케일링가능한 비트스트림 추출을 위한 방법 및 시스템 Download PDF

Info

Publication number
KR101032243B1
KR101032243B1 KR1020097010837A KR20097010837A KR101032243B1 KR 101032243 B1 KR101032243 B1 KR 101032243B1 KR 1020097010837 A KR1020097010837 A KR 1020097010837A KR 20097010837 A KR20097010837 A KR 20097010837A KR 101032243 B1 KR101032243 B1 KR 101032243B1
Authority
KR
South Korea
Prior art keywords
layer
spatial
refinement
bits
bit
Prior art date
Application number
KR1020097010837A
Other languages
English (en)
Other versions
KR20090085636A (ko
Inventor
마크 알. 트란델
아겔로스 케이. 카트사겔로스
세브켓 디. 바바칸
시타 시앙
파이살 이쉬티아크
Original Assignee
모토로라 모빌리티, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모토로라 모빌리티, 인크. filed Critical 모토로라 모빌리티, 인크.
Publication of KR20090085636A publication Critical patent/KR20090085636A/ko
Application granted granted Critical
Publication of KR101032243B1 publication Critical patent/KR101032243B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]

Abstract

상이한 비디오 해상도, 프레임레이트, 및 비디오 품질 레벨들에서 스케일링가능한 내장된 비트스트림(130)을 효율적으로 인코딩하고 디코딩하기 위해 인코더(120), 비트 추출기(140) 및 디코더(160)를 구비하는 스케일링가능한 비디오 압축 시스템(100)이 제공된다. 비트들은 리파인먼트 레이어(136), 시간 레벨(132) 및 공간 레이어(134)의 순서로 추출될 수 있고, 여기에서 추출된 각 비트는 비디오 디코딩 품질에서 증분형 개선을 제공한다. 비트 추출은 최대 리파인먼트 레이어, 최대 시간 레벨 및 최대 공간 레이어에 대응하는 내장된 비트스트림의 위치에서 트런케이팅될 수 있다. 주어진 리파인먼트 레이어에 대해, 비트들은 비디오 디코딩 품질을 증가시키도록 코딩 이득을 우선순위화하기 위해, 최고 시간 레벨의 공간 레이어들로부터 비트들을 추출하기에 앞서서, 그리고 다음 리파인먼트 레이어로 이동하기 앞서서, 최저 시간 레벨의 모든 공간 레이어들로부터 추출된다.
비트스트림 추출, 인코더, 디코더, 비디오 압축, 스케일링가능

Description

스케일링가능한 비트스트림 추출을 위한 방법 및 시스템{METHOD AND SYSTEM FOR SCALABLE BITSTREAM EXTRACTION}
본 발명은 비디오 코딩에 관한 것으로, 특히 스케일링가능한 비디오 압축에 관한 것이다.
최근, 휴대용 전자 디바이스들 및 모바일 통신 디바이스들의 이용이 크게 증가하였다. 더구나, 비디오 지원 모바일 디바이스들에 대한 요구가 급격하게 증가하고 있다. 비디오 처리는 상당량의 신호 처리를 필요로 하고 제한된 계산 능력 및 배터리 전력을 가지는 모바일 디바이스에 대해 높은 처리 요구를 두고 있다. 따라서, 비디오는 일반적으로 압축된 포맷으로 수신되어 이미지들을 표현하는데 요구되는 데이터 량을 줄인다. 압축된 데이터는 송신될 데이터 량이 감소되므로 실시간 데이터 전달을 용이하게 한다. 비디오 코딩은 비디오를 압축된 포맷으로 인코딩하는 프로세스이다.
전통적인 비디오 압축에서, 비디오 시퀀스는 압축된 비트스트림으로 인코딩되고, 이는 나중에 디코딩되어 원래 비디오 시퀀스의 재구성을 얻을 수 있다. 이러한 시스템은 하나의 인코더 및 하나의 디코더로 구성된다. 비디오 압축은 스케일리빌리티(scalability)를 제공하도록 확장될 수 있다. 스케일리빌리티는 가용한 하드웨어 또는 소프트웨어 리소스들에 기초한 비디오 품질의 조정을 허용한다. 스케일리빌리티는 무결절성 모빌리티(seamless mobility)를 위한 플랫폼을 제공하고 사용자들이 상이한 비디오 디바이스들 및 송신 채널들에 걸쳐 비디오 컨텐트들을 효율적으로 소비할 수 있도록 하는 플랫폼을 제공한다. 예를 들면, 특정 하드웨어는 프레임레이트들의 범위 또는 비트레이트들의 범위만을 지원할 수 있다. 스케일링가능한 비디오 압축 시스템은 하드웨어 리소스들로 스케일링하는 다양한 디코딩 옵션들을 하드웨어가 지원하도록 허용한다.
스케일링가능한 비디오 압축(SVC)은 해상도, 프레임레이트 및 품질과 같은 상이한 원하는 파라미터들을 가지는 재구성된 비디오들을 생성하도록 상이한 세그먼테이션 포인트들(즉, 내장된 비트스트림 내의 로케이션들)에서 트런케이팅될(truncated) 수 있는 내장된 비트스트림을 생성한다. 하나의 예로서, 도 1을 참조하면, 스케일링가능한 비디오 압축(SVC) 시스템은 인코더(120), 비트스트림 추출기(140), 및 디코더(160)로 구성될 수 있다. 인코더(120)는 비디오 입력을 압축하여 비디오 입력을 표현하는 비트들을 가지는 내장된 비트스트림(130)을 생성할 수 있다. SVC 시스템(100)은 비디오 디코딩 품질을 설정하기 위한 사용자 입력 파라미터들(145)을 수신할 수 있다. SVC 시스템(100)은 비디오 디코딩 품질이 파라미터들(145)에 따라 스케일링될 수 있다는 의미에서 스케일링가능하다.
도 2를 참조하면, 예로 든 스케일링가능한 비트스트림 표현이 도시된다. 유의할 점은, 비트스트림 세그먼트들(B0-B35)은 다양한 순서로 저장될 수 있다는 점이다. 도 2의 예시에서, 비트들은 로우(예를 들면, 시간 레이어들) 및 칼럼(예를 들면, 공간 레벨들) 포맷으로 도시되어 있다. 실제로, 비트스트림의 각 비트(131)는 인코딩 순서에 의해 지시되는 순차적인 방식으로 수신된다. 스케일링가능한 비트스트림의 리파인먼트(refinement) 레이어들의 PR(Progressive Refinement) 슬라이스들은 관련된 비트스트림 세그먼트들의 임의의 로케이션에서 트런케이팅될 수 있고, 추가적인 각 비트는 재구성된 비디오 품질에 개선을 제공한다. 예를 들면, 스케일링가능한 비트스트림은 비트스트림 세그먼트 B14의 끝에서 트런케이팅될 수 있고, 그럼으로써 낮은 품질 이미지에 충분할 수 있는 디코딩을 위한 비트 세그먼트들 B0 내지 B14만을 제공한다. 다시 도 1을 참조하면, 비트스트림 추출기(140)는 제공된 사용자 입력 파라미터들(145)에 기초한 SNR 품질과 함께, 원하는 공간 해상도 및 시간 프레임 레이트에서 디코딩할 더 낮은 비트 레이트에서 스트림을 얻도록 인코딩된 비트스트림을 트런케이팅할 수 있다. 비트레이트들의 범위는 각 해상도 및 프레임레이트에서 허용되고, 더 높은 레이트는 더 낮은 SNR 품질을 발생시킨다. 일정한 비트레이트 비디오 코딩 어플리케이션들에 대해, 비트스트림 추출기는 타겟 비트 버짓(budget)이 도달될 때까지 설계된 비트스트림 추출 경로를 따르는 주어진 스케일링가능한 비트스트림으로부터 관련된 비트 세그먼트들을 순차적으로 수집할 것이다. 이론적으로 최적인 추출 순서화가 명백하지는 않지만, 매우 다양한 비디오 시퀀스들에 대해 다양한 비트 추출 스킴들이 상이하게 수행될 수 있다.
3가지 주요 스케일리빌리티 타입들, 즉 공간, 시간 및 SNR(품질)이 있다. 공간 스케일리빌리티는 다수의 상이한 해상도들에서 비트스트림을 디코딩하는 능력 이다. 시간 스케일리빌리티는 다수의 상이한 프레임레이트들에서 비트스트림을 디코딩하는 능력이다. SNR 스케일리빌리티는 원하는 품질을 달성하도록 상이한 비트 레이트들에서 비트스트림을 디코딩하는 능력이다. 예를 들면, 사용자는 공간, 시간 및 SNR 스케일리빌리티를 설정하기 위해, 해상도, 프레임레이트 및 품질과 같은 파라미터들(145)을 조정할 수 있다. 공간 및 시간 스케일리빌리티는 일반적으로 레이어링된(layered) 방식으로 제공되고, 여기에서 가능한 해상도들 및 프레임 레이트들의 작은 세트가 있다. 즉, 정보는 각 레이어가 비디오 디코딩 품질에서 증분형 개선을 제공하도록 레이어들에서 제공된다. 내장된 비트스트림과 유사한 방식 또는 더 연속적인 방식으로 SNR 스케일리빌리티를 제공할 수 있다.
ITU-T 및 MPEG 표준 기구들의 JVT(Joint Video Team)은 MPEG-4 AVC/H.264 표준의 스케일링가능한 비디오 코딩 확장에 대한 새로운 수정안으로서, 새로운 국제 스케일링가능한 비디오 코딩 표준들을 개발하고 있는 중이다. 새로운 표준은 JSVM(Joint Scalable Video Model)을 통해 발전되었다. 채택된 새로운 코딩 툴을 포함하는 기준 소프트웨어는 표준화 활동들 동안에 수행(conduction) 코딩 실험들을 위해 개발된다. JSVM 기준 소프트웨어는 비트 추출을 위한 2가지 방법들, 여기에서는 포인트 추출, 및 LLR(Layer, Level, and Refinement Extraction) 추출로 명명된 방법들을 제공한다.
포인트 추출 방법에 대해, 사용자는 내장된 비트스트림(130)내에서 디코딩을 위한 포인트(예를 들면, 비트 로케이션)를 지정한다. 포인트는 비디오 디코딩 품질에 대한 해상도, 프레임레이트, 및 비트레이트와 연관된다. 포인트 추출은 비트 추출을 위한 직관적인 방법이고, 원하는 비트레이트가 이미 제공되므로 사용자 친화적인 방법이다. 포인트 추출(200)의 방법은 도 3에 그래픽적으로 표현된다. 비트들은 비트 추출 순서(141)에 의해 도시된 바와 같이 내장된 비트 스트림(130)으로부터 추출된다. 유의할 점은, 포인트 추출(200)은 비트들이 인코딩되었던 동일한 경로를 따른다. 이것은 '드리프트'를 회피하기 위해 필요할 수 있다. 포인트 추출(200) 방법은 이하와 같이 비트 추출 순서(141)에 따라 동작한다. 이것은 최저 공간 레이어 및 최저 시간 레벨에서 시작한다. 이것은 이러한 레이어 및 레벨에서 최저로부터 최고까지 FGS(Fine Grain Scalable) 리파인먼트들을 순서대로 포함한다. 이 레이어에서 더 많은 레벨들이 있는 동안에는, 코덱은 다음 레벨로 이동하고 이 레벨에서 모든 리파인먼트들을 추출한다. 예를 들면, 시간 레벨 0, 공간 레벨 0에서 2개의 리파인먼트들(A 그리고나서 B)이 있다. 또한 시간 레벨 1, 공간 레이어 1에서 2개의 리파인먼트들(G 및 H)이 있다. 리파인먼트들의 개수는 리파인먼트 레이어들의 개수와 동일하다. 최저 레이어에서의 모든 레벨들에 대한 모든 리파인먼트들이 추출된 후, 코덱은 다음 더 높은 공간 레이어로 이동하고 프로세스를 반복한다. 타겟 데이터 레이트가 충족되는 경우, 코덱은 현재 리파인먼트에서 데이터를 적절하게 트런케이팅하고, 종료한다. 최고 공간 레이어에서, 코덱은 모든 레벨들이 리파인먼트 레이어들의 동일 부분을 이용할 것을 보장한다. FGS 포인트 추출 방법의 또 하나의 표현은 도 4에 도시되어 있다.
LLR 추출에 대해, 사용자는 비트스트림에 포함될 다수의 공간 레이어들, 다수의 시간 레벨들, 및 다수의 FGS 리파인먼트들을 지정한다. 사용자는 일반적으로 공간 레이어들 및 시간 레벨들에 대해 정수값들로 제한되지만, FGS 리파인먼트들 또는 소위 JSVM에서의 점진적 리파인먼트 슬라이스들에 대해서는 십진값들을 선택할 수 있다. LLR 추출에서, 추출된 스트림의 비트레이트는 지정되지 않는다. 주어진 최대 공간 레이어보다 작거나 같은 모든 공간 레이어 및 주어진 최대 시간 레벨보다 작거나 같은 모든 시간 레벨에 대해, 주어진 리파인먼트 트런케이션 포인트까지 리파인먼트들이 추가 포함된다. 이러한 모드에 대해 어떠한 비트레이트 제한도 없고 추출된 비트스트림 세그먼트들은 완전히 입력 파라미터들에 의해 결정되기 때문에, 비트스트림 추출의 순서는 최종 디코딩 품질에 전혀 영향을 미치지 않는다.
JSVM은 포인트 추출(200) 및 LLR 추출(250)을 상이한 방식들로 구현한다. 특정 비트레이트에서 포인트 추출된 비트스트림의 재구성은 동일한 비트레이트에서 LLR 추출된 비트스트림의 재구성과는 상당히 상이한 PSNR 값을 가질 수 있다. 어느 방법도 다른 하나보다 PSNR의 측면에서 항상 우수하지는 않는다. 최상의 방법을 선택하는 것은 추출 포인트에 좌우된다. JSVM 코덱은 시간, 공간 및 FGS 차원들에서 스케일리빌리티를 유연하게 조합하는 제1 국제 비디오 코딩 표준이므로, 최적 비트스트림 추출 순서화의 문제는 현재의 진행중인 표준화 활동들 외부에서 과거에는 관련되지도 않았고 다루어지지도 않았다.
넓게 말하면, 본 발명의 실시예들은 상이한 비디오 해상도, 프레임레이트, 및 비디오 품질 레벨들에서 스케일링가능한 내장된 비트스트림을 효율적으로 디코딩하기 위한 비트 추출기 및 그 방법에 관한 것이다. 본 발명의 실시예들은 단일 압축된 스케일링가능한 비트스트림이 상이한 비디오 해상도, 프레임 레이트 및 품질 레벨들에서 더 효율적으로 결정될 수 있게 한다. 특히, 비트 추출기는 리파인먼트 레이어(refinement layer), 시간 레벨, 공간 레이어의 순서로 비트들을 추출하고, 여기에서 추출된 각 비트는 비디오 디코딩 품질에 리파인먼트를 제공한다. 하나의 배열에서, 비트 추출기는 최대 리파인먼트 레이어, 최대 시간 레벨 및 최대 공간 레이어를 수신하여 내장된 비트스트림에 대한 비디오 디코딩 품질을 설정할 수 있다. 비트 추출기는 비디오 디코딩 품질을 달성하기 위한 최대 리파인먼트 레이어, 최대 시간 레벨 및 최대 공간 레이어에 대응하는 내장된 비트스트림에서의 위치에서 비트 추출을 트런케이팅할 수 있다. 비트 추출기는 최대 리파인먼트 레이어가 주어지는 신호 대 잡음비(SNR) 스케일리빌리티에 대한 범위, 최대 시간 레벨이 주어지는 시간 스케일리빌리티에 대한 범위, 최대 공간 레이어가 주어지는 공간 스케일리빌리티에 대한 범위를 제공한다. 주어진 리파인먼트 레이어에 대해, 비트들은 비디오 디코딩 품질을 증가시키는 코딩 이득을 우선순위화하기 위해, 리파인먼트 레이어의 더 높은 시간 레벨의 공간 레이어들로부터 비트들을 추출하기에 앞서서 리파인먼트 레이어의 더 낮은 시간 레벨의 모든 공간 레이어들로부터 추출된다. 하나의 양태에서, 비트 추출기는 신호 대 잡음(SNR) 스케일리빌리티를 제공하는데 가용한 비트 레이트들의 범위를 지정할 수 있다. 또 하나의 양태에서, 비트 추출기는 각 해상도 및 프레임 레이트에 대해 허용되는 비트 레이트들의 범위를 지정할 수 있다.
비트 추출기는 최저 리파인먼트 레이어의 최저 시간 레벨의 최저 공간 레이어에서 시작할 수 있다. 최저 리파인먼트 레이어에서, 각 리파인먼트에 대해, 비트들은 최저 내지 최고 공간 레이어의 순서로 최저 공간 레이어의 최저 시간 레벨로부터 최고 공간 레이어의 최고 시간 레벨까지 추출될 수 있다. 비트 추출기는 더 높은 리파인먼트 레이어로 이동할 수 있고, 각 리파인먼트에 대해, 최저 내지 최고 공간 레이어의 순서로 최저 공간 레이어의 최저 시간 레벨로부터 최고 공간 레이어의 최고 시간 레벨까지 비트들을 추출한다. 비트 추출기는 최고 리파인머트 레이어를 포함한 레이어까지 다음 리파인먼트 레이어로 상위 이동하는 단계를 반복할 수 있다. 각 리파인먼트 레이어에 대해, 비트들은 각 시간 레벨 레이어, 그리고나서 각 공간 레이어에 대한 리파인먼트의 순서로 내장된 비트스트림으로부터 추출된다. 비트 추출기는 코딩 이득 우선순위화의 순서로 디코더에 대한 내장된 비트스트림의 비트들을 수집할 수 있고, 따라서 각 추가적인 추출된 비트는 비디오 디코딩 품질에 리파인먼트를 제공한다. 비트 추출기는 리파인먼트 레이어, 시간 레벨 및 공간 레이어에 대한 리파인먼트의 순서로 코딩 이득에 대해 내장된 비트스트림의 비트들을 우선순위화할 수 있다. 공간 레이어로부터의 비트들은 비디오 품질에 최고의 기여를 제공하고, 이어서 시간 레벨로부터의 비트들에 의해서 제공되고, 그 다음에는 리파인먼트 레이어로부터의 비트들에 의해 제공된다.
본 발명의 실시예들은 또한 비디오 인코딩을 위한 방법에 관한 것이다. 방법은 내장된 비트스트림의 적어도 하나의 리파인먼트 레이어를 생성하도록 제1 비트들의 그룹을 인코딩하는 단계, 내장된 비트스트림의 적어도 하나의 시간 레벨을 생성하도록 제2의 비트들의 그룹을 인코딩하는 단계, 및 내장된 비트스트림에서 적어도 하나의 공간 레이어를 생성하도록 제3 비트들의 그룹을 인코딩하는 단계를 포함할 수 있고, 여기에서 각 공간 레이어는 예측을 위한 이전 공간 레이어를 이용하여 인코딩된다. 내장된 비트 스트림의 비트들은 리파인먼트 레이어, 시간 레벨, 공간 레이어에 대한 리파인먼트의 순서로 코딩 이득에 대해 우선순위화될 수 있다. 최저 시간 레벨 및 리파인먼트에서의 모든 공간 레이어들로부터의 비트들은 최저 공간 레이어로부터 최고 공간 레이어까지 우선순위화되어 비디오 품질에 최고 기여를 제공한다. 이것에 이어서 최저 리파인먼트에 대한 다음 시간 레벨에서 최저 공간 레이어로부터 최고 공간 레이어까지의 비트들에 의해 계속된다. 이것은 최저 리파인먼트에 대해 모든 시간 레벨들에 대한 모든 공간 레이어들이 포함될 때까지 계속될 것이다. 그리고나서, 다음 리파인먼트로부터의 비트들이 동일한 순서로 포함될 것이다.
신규성이 있는 것으로 사료되는 본 시스템의 특징들은 첨부된 청구항들에서 특별히 제시된다. 본 실시예들은 유사한 참조부호들은 유사한 구성요소들을 식별하는 수개의 그림들에서, 첨부된 도면들과 조합한 이하의 설명을 참조함으로써 이해될 수 있다.
도 1은 스케일링가능한 비디오 압축 시스템의 블록도이다.
도 2는 내장된 비트스트림의 테이블 표현이다.
도 3은 종래기술의 포인트 추출의 도이다.
도 4는 종래기술의 포인트 추출의 또 하나의 도이다.
도 5는 본 발명의 실시예들에 따른 내장된 비트스트림의 시간 레벨, 공간 레이어 및 리파인먼트 레이어의 예시이다.
도 6은 본 발명의 실시예들에 따른 내장된 비트스트림의 시간 레벨, 공간 레이어 및 리파인먼트 레이어를 조정하는 예시이다.
도 7은 본 발명의 실시예들에 따른 리파인먼트 레이어, 시간 레벨 및 공간 레이어(FTS)의 방법이다.
도 8은 본 발명의 실시예들에 따른 FTS에 대한 비트 추출 순서의 제1 패스이다.
도 9는 본 발명의 실시예들에 따른 FTS에 대한 비트 추출 순서의 제2 패스이다.
도 10은 본 발명의 실시예에 따른 FTS의 방법에 대한 의사 코드이다.
명세서가 신규성이 있는 것으로 간주되는 본 발명의 실시예들의 특징을 정의하는 청구항들로 결론지어지지만, 방법, 시스템 및 다른 실시예들은 유사한 참조부호들이 이월되는 도면 그림들과 조합한 이하의 상세한 설명의 고려로부터 더 잘 이해될 것으로 사료된다.
요구되는 바와 같이, 본 방법 및 시스템의 상세한 실시예들이 여기에 개시된다. 그러나, 개시된 실시예들은 단지 예에 불과하고, 다양한 형태로 실시될 수 있다는 것은 자명하다. 그러므로, 여기에 개시된 특정 구조적 및 기능적 세부사항들 은 제한적인 것으로 해석되는 것이 아니라, 단지 청구항들에 대한 토대 및 실제적으로 임의의 적절하게 상세화된 구조로 본 발명의 실시예들을 다양하게 채용하도록 본 기술분야의 숙련자들을 가르치기 위한 대표적인 토대로서 해석되어야 한다. 또한, 여기에 이용된 용어들 및 구문들은 제한적이라기보다는 본 실시예의 이해가능한 설명을 제공하도록 하기 위한 것이다.
용어 "하나(a, an)"는 여기에 이용되는 바와 같이, 하나 또는 하나 이상으로서 정의된다. 용어 "복수(plurality)"는 여기에 이용되는 바와 같이, 2 또는 2 이상으로 정의된다. 용어 "또 하나(another)"는 여기에 이용되는 바와 같이, 적어도 제2 이상으로서 정의된다. 용어 "포함하는(including)" 및/또는 "구비하는(having)"은 여기에 이용되는 바와 같이, 포함하는(comprising, 즉 개방 언어)으로 정의된다. 용어 "결합된(coupled)"은 여기에 이용되는 바와 같이, 반드시 직접적으로는 아니더라도, 그리고 반드시 기계적으로는 아니더라도 접속된 것으로 정의된다. 용어 "리파인먼트 레이어"는 FGS 품질 향상 및 더 낮은 비디오를 디코더에 제공하는 전체 프로세스 양쪽에 이용되는 코딩 레벨로서 정의될 수 있다. 용어 "내장된 비트 스트림"은 메모리 또는 통신 채널에 교차-분산된 비트들의 집합으로 정의될 수 있다. 용어 "시간 레벨"은 시간에 기초하여 순서화되는 비트들의 집합으로 정의될 수 있다. 용어 "공간 레이어"는 연관에 기초하여 순서화되는 비트들의 집합으로 정의될 수 있다. 용어 "비트 버짓 제한(bit budgey constraint)"은 인코딩에 이용되는 비트들의 개수에 대한 제한으로서 정의될 수 있다. 용어 "품질 향상"은 시간 해상도, 공간 해상도 또는 그 조합에서의 증가로서 정의될 수 있다. 용어 "비디오 디코딩 품질"은 시간 해상도에서의 신호 대 잡음비, 공간 해상도에서의 신호 대 잡음비 또는 그 조합에서의 증가로서 정의될 수 있다.
도 1은 효율적인 비디오 코딩을 위한 스케일링가능한 비디오 압축(SVC) 시스템(100)을 도시하고 있다. SVC 시스템(100)은 본 기술분야에 주지된 마이크로프로세서 또는 디지털 신호 프로세서(DSP) 또는 임의의 다른 적합한 전자 디바이스에 의해 소프트웨어로 구현될 수 있다. SVC 시스템(100)의 기능들은 본 기술분야에 주지된 ASIC 또는 FPGA, 또는 임의의 다른 적합한 하드웨어에 의해 하드웨어로 구현될 수도 있다. 이전에 언급된 바와 같이, SVC 시스템(100)은 인코더(120), 비트스트림 추출기(140) 및 디코더(160)를 포함할 수 있다. 인코더(120)는 시간에 걸친 복수의 이미지들을 표현하는 비디오 입력 스트림을 수신할 수 있다. 인코더(120)는 비디오 입력을 압축하여, 비디오 입력을 표현하는 내장된 비트스트림(130)을 생성할 수 있다. 내장된 비트스트림(130)은 도 2에 도시되어 있다. SVC 시스템(100)은 비디오 디코드 품질을 설정하기 위한 입력 파라미터들(145)을 수신할 수도 있다. SVC 시스템(100)은 비디오 디코드 품질이 파라미터들(145)에 따라 스케일링될 수 있다는 의미에서 스케일링가능하다. SVC 시스템(100)은 단일 내장된 비트스트림으로부터 공간, 시간 및 품질과 같은 매우 다양한 단일 또는 조합된 스케일링가능한 디코딩 옵션들을 제공할 수 있다. 이것은 SVC 시스템(100)이 하이-엔드 비디오 비트-스트림 데이터에 내장된 로우-엔드 비디오를 제공할 수 있게 한다.
인코더(120) 및 디코더(160)의 동작들이 분리되어 효율적인 저장, 송신, 매 체 관리, 및 에러 복원성(resiliency)을 제공한다. 인코더(120)는 입력 비디오를 인코딩하고, 상이한 디코딩 리소스 제한들을 서브하기 위한 관련 비트스트림 세그먼트들을 추출할 수 있다. 인코더(120)는 비디오 디코더(160)의 공간-시간 해상도 및 비트레이트 제한들을 충족하도록 상이한 방식들로 유연하게 추출될 수 있는 스케일링가능한 비트 스트림을 생성할 수 있다. 비트 추출기(140)는 내장된 비트스트림(130)으로부터 지정된 순서대로 비트들을 추출할 수 있다. 비트 추출은 공간 레이어들, 시간 레벨들 및 리파인먼트 레이어들의 개수 및 디코딩에 바람직한 비트레이트에 좌우될 수 있다. 비트 추출기는 코딩 이득 우선순위화의 순서로 디코더에 대해 내장된 비트스트림의 비트들을 추출할 수 있으므로, 각각의 추가적인 추출된 비트는 비디오 디코딩 품질에 효율적인 리파인먼트를 제공한다.
도 5를 참조하면, 시간 레벨, 공간 레이어 및 리파인먼트 레벨에 의해 배열되는 내장된 비트스트림(130)에 대한 예시가 도시되어 있다. 특히, 내장된 비트스트림(130)은 다수의 시간 레벨들(132), 다수의 공간 레이어들(134) 및 다수의 리파인먼드 레이어들(136)에 의해 표현될 수 있다. 시간 레벨들(132)의 개수는 시간 스케일리빌리티를 확립하는 입력으로서 제공될 수 있고, 공간 레이어들(134)의 개수는 공간 스케일리빌리티를 확립하는 입력으로서 제공될 수 있으며, 리파인먼트 레이어들(136)의 개수는 SNR 스케일리빌리티를 확립하는 입력으로서 제공될 수 있다. 내장된 비트스트림 표현(130)은 시간 스케일리빌리티, 공간 스케일리빌리티, 및 SNR 스케일리빌리티간의 시각적 관계를 나타낸다.
도 6을 참조하면, 내장된 비트스트림(130)의 다양한 표현들이 도시되어 있 다. 하나의 예로서, 내장된 비트스트림(142)을 참조하면, 시간 레벨들의 개수를 증가시키면, 시간 품질을 개선할 수 있다. 또 하나의 예로서, 내장된 비트스트림(144)을 참조하면, 공간 레이어들의 개수를 증가시키면, 공간 품질을 개선시킬 수 있다. 또 하나의 예로서, 내장된 비트스트림(146)을 참조하면, 리파인먼트 레이어들의 개수를 증가시키면 SNR 품질을 개선시킬 수 있다. 유의할 점은, 시간 레벨들, 공간 레벨들, 및 리파인먼트 레벨들의 개수는 도 1의 사용자 파라미터들(145)에 의해 설정될 수 있다. 시간 레벨들, 공간 레벨들 또는 리파인먼트 레벨들의 개수를 변경하는 것은 비디오 디코딩 품질을 변경시킬 수 있다.
다시 도 1을 참조하면, 비트 추출기(140)는 리파인먼트 레이어(136), 시간 레벨(132), 및 공간 레이어(134)의 순서로 내장된 비트스트림(130)으로부터 비트들을 추출할 수 있다. 디코더(160)는 비트 추출기에 의해 추출된 비트들로부터 비디오를 생성할 수 있다. 비트 추출기(140)는 해상도, 프레임레이트 및 비트 레이트를 포함하는 파라미터들을 수신하여, 스케일링가능한 비디오 디코딩을 제공할 수 있고, 파라미터들을 해상도, 프레임 레이트 및 비트 레이트를 달성하기 위한 대응하는 주어진 리파인먼트 레이어, 주어진 시간 레벨 및 주어진 공간 레이어로 변환한다. 비디오는 리파인먼트 레이어들(136)의 주어진 개수, 시간 레벨들(132)의 주어진 개수 및 공간 레이어들(134)의 주어진 개수에 종속된 비디오 디코딩 품질을 가질 수 있다. 비트 추출기(140)는 각 해상도 및 프레임 레이트에 대해 허용된 비트 레이트들의 범위, 및 신호 대 잡음(SNR) 스케일리빌리티를 제공하도록 가용한 비트 레이트들의 범위를 지정할 수 있다. 예를 들면, 비트 추출 모듈(140)은 비디 오 디코딩 품질을 설정하기 위한 주어진 리파인먼트 레이어, 주어진 시간 레이어, 및 주어진 공간 레이어를 수신하고, 비디오 디코딩 품질을 달성하기 위한 주어진 리파인먼트 레이어(136), 주어진 시간 레벨(132) 및 주어진 공간 레이어(134)에 대응하는 내장된 비트스트림(130)의 위치에서 비트 추출을 트런케이팅할 수 있다.
다시 도 1을 참조하면, 비트 추출기(140)는 상이한 순서들대로 비트들을 추출할 수 있다. 종래 기술에서 이전에 인용된 바와 같이, 하나의 그러한 비트 추출 순서는 도 3에 도시된 바와 같은 포인트 추출(200) 방법이다. 종래 기술에서 이전에 인용된 바와 같이, 또 하나의 비트 추출 순서는 도 4에 도시된 바와 같은 레이어, 레벨 및 리파인먼트(LLR)(250)의 방법이다. 포인트 추출(200) 및 LLR 추출(250) 방법들의 하나의 단점은 모든 시간 레벨들 사이에서 비트들을 분리하는 것이 효율적이지 않다는 점이다.
본 발명자들은 더 낮은 시간 레벨들로부터의 비트들이 더 높은 시간 레벨들로부터의 비트들보다 더 많은 이득을 제공한다는 것을 증명하였다. 따라서, 비트들은 코딩 이득을 위한 비트들의 우선권에 기초하여, 비트 추출에 대해 재순서화될 수 있다. 시뮬레이션에서의 레이트-왜곡 커브들에 따르면, 단-대-단(end-to-end) 비디오 디코딩 품질 이득에 있어서 본 발명의 실시예들에 따라 비트들을 재순서화함으로써 2dB까지 이득이 얻어질 수 있다는 것을 보여주고 있다. 실제로, 더 낮은 시간 레벨들로부터의 비트들은 더 높은 시간 레벨들로부터의 비트들 이전에 추출된다. 구체적으로는, 비트들은 리파인먼트, 시간 레벨, 공간 레이어의 순서로 추출된다. 비트 추출 스킴의 우선순위화-기반 재순서화를 통한 그러한 비트 추출 순서화는 더 높은 단-대-단 품질을 산출한다. 리파인먼트, 이어서 시간, 이에 이어지는 공간이 FTS로 지칭되고 본 발명의 새로운 양태이다. 비트 추출 순서는 LLR 및 포인트 추출 방법들의 비트 추출 순서화들과는 구별된다.
도 7을 참조하면, FTS 방법의 비트 추출 순서(137)가 도시되어 있다. FTS 방법은 이하와 같이 비트 추출 순서(137)에 따라 동작한다. 리파인먼트 레이어(136)의 각 리파인먼트에 대해, 최저 공간 레이어의 최저 시간 레벨로부터의 비트들이 처음으로 추출된다. 그리고나서, 이러한 시간 레벨 및 리파인먼트 레이어에서의 모든 공간 레이어들로부터의 비트들이 순서대로 추출된다. 그리고나서, 비트 추출기(140)는 다음 시간 레벨(132)로 이동하고, 공간 레이어들(134)로부터 최저로부터 최고까지 순서대로 비트들을 추출한다. 일단 최저 리파인먼트에서 모든 시간 레벨들 및 공간 레이어들이 추출되면, 인코더는 다음 리파인먼트로 이동하여 프로세스를 반복한다.
예를 들어, 도 8을 참조하면, 내장된 비트스트림(130)으로부터 비트 추출 순서(137)에 따라 비트들을 추출하기 위한 제1 패스가 도시되어 있다. 비트 추출 순서는 내장된 비트스트림(130)의 비트들에 대해 별개의 추출 순서를 명시적으로 지정한다. 특히, 제1 패스는 최저 리파인먼트 레이어인 리파인먼트 레이어 0과 연관된다. 즉, 비트들은 리파인먼트 레이어 1로부터의 비트들이 추출되기에 앞서서 모든 공간 레이어들(134) 및 모든 시간 레벨들(132)로부터 처음으로 추출된다. 모든 비트들은 비트 추출 순서(137)에 의해 도시된 바와 같이 리파인먼트, 시간 레벨 및 공간 레이어의 순서로 추출된다. 유의할 점은, 모든 비트들은 코딩 이득을 우선순 위화하기 위해, 더 높은 시간 레벨의 공간 레이어들로부터 비트들을 추출하기에 앞서서 더 낮은 시간 레벨에서의 모든 공간 레이어들로부터 추출된다는 점이다.
도 9를 참조하면, 내장된 비트스트림(130)으로부터 비트 추출 순서(137)에 따라 비트들을 추출하기 위한 제2 패스가 도시되어 있다. 특히, 제2 패스는 다음 최고 리파인먼트 레이어인 리파인먼트 레이어 1과 연관된다. 비트들은 리파인먼트 레이어 1에서 모든 공간 레이어들(134) 및 모든 시간 레벨들(132)로부터 추출된다. 리파인먼트 레이어가 단지 2개의 리파인먼트들만을 포함하므로, 비트 추출은 제2 패스의 완료시에 종료한다. 유의할 점은, 비트 추출 순서(137)에 의해 예로 든 비트 추출 방법은 추가적인 리파인먼트들에 대해 반복될 것이다.
FTS 방법은 도 10에 도시된 바와 같은 이하의 의사 코드로 구현될 수 있다.
Figure 112009031894749-pct00001
Figure 112009031894749-pct00002
실제로, 주어진 리파인먼트 레이어에 대한 (310), 주어진 시간 레벨(132)에 대한 (312), 및 주어진 공간 레이어(134)에 대한 (314)에 대해, (316) 비트들은 주어진 시간 레벨 및 주어진 리파인먼트 레이어에 대해 최저 공간 레이어로부터 최고 공간 레이어까지 추출된다. FTS 방법(300)은 최대 공간 레이어까지 최저 공간 레 이어에 대해 (314)를 반복하고, 최대 시간 레벨까지 최저 시간 레벨에 대해 (312)를 반복하며, 최대 리파인먼트 레이어까지 최저 리파인먼트 레이어에 대해 (310)을 반복한다.
다시 도 5를 참조하면, 유의할 점은, 비트 추출기(140)가 내장된 비트스트림(130)으로부터 비트들을 추출하기 위한 방법을 수행한다는 점이다. 비트 추출기(140)는 코딩 이득 우선권의 순서대로 내장된 비트 스트림으로부터 비트들을 추출한다. 즉, 비트들은 코딩 왜곡을 가장 효율적으로 줄일 수 있는 순서로 추출된다. 예를 들면, 도 5를 참조하면, 레벨 0에서의 것들과 같이 더 낮은 시간 레벨들에서의 비트들은 레벨 3에서의 것들과 같이 더 높은 시간 레벨들에서의 비트들보다 더 많은 이득을 제공한다. 따라서, 비트들은 코딩 이득을 활용하도록 더 높은 시간 레벨들로부터의 비트들 이전에 추출된다. 또 하나의 배열에서, 비트들은 도 1의 SVC 시스템(100)에 통신가능하게 결합되는 호스트 프로세서(도시되지 않음)에 의해 추출될 수 있다.
유의할 점은, FTS의 비트 추출 방법은 포인트 추출(200) 및 LLR의 종래 기술 방법들에 의해 수행되는 비트 추출과는 크게 다르다. 포인트 추출(200)에서, 비트들은 공간 레이어(134), 시간 레벨(132) 및 리파인먼트 레이어(136)의 순서로 추출된다. FTS(300)에서, 비트들은 리파인먼트 레이어, 시간 레벨(132), 공간 레이어(134)의 순서로 추출된다. LLR은 일정한 비트-레이트 코딩에 직접 적용되지 않는다.
본 발명의 실시예들은 스케일링가능한 비디오 인코딩에 이용하기 적합한 내 장된 비트스트림을 생성하기 위한 방법에 관한 것이다. 방법은 리파인먼트 레이어, 시간 레벨, 공간 레이어에 대한 리파인먼트의 순서로, 코딩 이득에 대해 내장된 비트스트림의 비트들을 우선순위화하는 것을 포함한다.
적용가능한 경우, 본 발명의 본 실시예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합으로 실현될 수 있다. 여기에 기재된 방법들을 수행하도록 적응된 임의의 종류의 컴퓨터 시스템 또는 다른 장치들이 적합하다. 하드웨어 및 소프트웨어의 전형적인 조합은, 로딩되어 실행되는 경우에, 여기에 기재된 방법들을 수행하도록 모바일 통신 디바이스를 제어할 수 있는 컴퓨터 프로그램을 구비한 모바일 통신 디바이스일 수 있다. 본 방법 및 시스템의 부분들은 여기에 기재된 방법들의 구현을 가능하게 하는 모든 특징들을 포함하고 컴퓨터 시스템에 로딩된 경우에 이들 방법들을 수행할 수 있는 컴퓨터 프로그램 제품에 내장될 수도 있다.
본 발명의 양호한 실시예들이 예시되고 설명되었지만, 본 발명의 실시예들은 그렇게 제한되지 않는다는 것은 명백하다. 첨부된 청구항들에 의해 정의된 본 발명의 본 실시예들의 사상 및 범주에서 벗어나지 않고서도, 다수의 변형들, 변경들, 변동들, 대체들 및 등가물들이 본 기술분야의 숙련자들에게 생각이 날 것이다.

Claims (10)

  1. 비디오 처리에 이용하는데 적합한 스케일링가능한 비트스트림 추출을 위한 방법에 있어서,
    적어도 하나의 리파인먼트 레이어(refinement layer), 적어도 하나의 시간 레벨, 및 적어도 공간 레이어를 구비하는 내장된(embedded) 비트스트림을 수신하는 단계; 및
    비디오 디코딩 품질 향상을 제공하기 위해 비트 버짓(budget) 제한이 주어진 비트들을 상기 리파인먼트 레이어, 상기 시간 레벨 및 상기 공간 레이어의 순서로 추출하는 단계
    를 포함하는 스케일링가능한 비트스트림 추출 방법.
  2. 제1항에 있어서,
    비디오 디코딩 품질을 설정하기 위한 최대 리파인먼트 레이어, 최대 시간 레벨 및 최대 공간 레이어를 수신하는 단계; 및
    상기 비디오 디코딩 품질을 달성하기 위해 상기 최대 리파인먼트 레이어, 상기 최대 시간 레벨 및 상기 최대 공간 레이어에 대응하는 상기 내장된 비트스트림에서의 위치에서 비트들을 추출하는 단계를 트런케이팅(truncating)하는 단계
    를 더 포함하는 스케일링가능한 비트스트림 추출 방법.
  3. 제2항에 있어서,
    상기 최대 리파인먼트 레이어의 측면에서 신호 대 잡음비(SNR) 스케일리빌리티(scalability)에 대한 범위를 제공하는 단계;
    상기 최대 시간 레벨의 측면에서 시간 스케일리빌리티에 대한 범위를 제공하는 단계; 및
    상기 최대 공간 레이어의 측면에서 공간 스케일리빌리티에 대한 범위를 제공하는 단계
    를 더 포함하는 스케일링가능한 비트스트림 추출 방법.
  4. 제1항에 있어서,
    주어진 리파인먼트 레이어에 대해, 비디오 디코딩 품질을 증가시키도록 코딩 이득을 우선순위화하기 위해, 더 높은 시간 레벨에서의 공간 레이어들로부터 비트들을 추출하기에 앞서서 더 낮은 시간 레벨에서의 모든 공간 레이어들로부터 비트들을 추출하는 단계를 더 포함하는 스케일링가능한 비트스트림 추출 방법.
  5. 제1항에 있어서, 상기 비트들을 추출하는 단계는,
    최저 리파인먼트 레이어 내지 최고 리파인먼트 레이어에 대해:
    최저 시간 레벨 내지 최고 시간 레벨에 대해;
    최저 공간 레이어 내지 최고 공간 레이어에 대해;
    현재 리파인먼트, 공간 레이어 및 시간 레벨로부터 데이터를 추출하고,
    상기 할당된 비트 버짓이 도달된 경우, 데이터를 추출하는 것을 중지하는
    것을 포함하는 추출 순서를 갖는 스케일링가능한 비트스트림 추출 방법.
  6. 비디오 처리에 이용하기 적합한 스케일링가능한 비디오 압축 시스템에 있어서,
    비디오 입력을 압축하고 적어도 리파인먼트 레이어, 적어도 하나의 시간 레벨 및 적어도 하나의 공간 레이어를 구비하는 내장된 비트스트림을 생성하는 인코더;
    비트 버짓 제한이 주어지는 경우에, 리파인먼트 레이어, 시간 레벨, 및 공간 레이어의 순서로 내장된 비트스트림으로부터 비트들을 추출하는 비트 추출기; 및
    주어진 리파인먼트 레이어, 주어진 시간 레벨, 및 주어진 공간 레이어에 종속된 비디오 디코딩 품질을 갖는 이미지를 상기 추출된 비트들로부터 생성하는 디코더
    를 포함하는 스케일링가능한 비디오 압축 시스템.
  7. 제6항에 있어서, 상기 비트 추출기는 스케일링가능한 비디오 디코딩을 제공하는 해상도, 프레임 레이트, 및 비트 레이트를 포함하는 파라미터들을 수신하고, 상기 파라미터들을 상기 해상도, 상기 프레임 레이트 및 상기 비트 레이트를 달성하기 위한 대응하는 주어진 리파인먼트 레이어, 주어진 시간 레벨, 및 주어진 공간 레이어로 변환하는 스케일링가능한 비디오 압축 시스템.
  8. 제7항에 있어서, 상기 비트 추출기는 각각의 해상도 및 프레임 레이트에 대해 허용되는 비트 레이트들의 범위를 지정하는 스케일링가능한 비디오 압축 시스템.
  9. 제7항에 있어서, 상기 비트 추출기는 신호 대 잡음(SNR) 스케일리빌리티를 제공하도록 가용한 비트 레이트들의 범위를 지정하는 스케일링가능한 비디오 압축 시스템.
  10. 제6항에 있어서, 상기 비트 추출기는 비디오 디코딩 품질을 증가하도록 코딩 이득을 우선순위화하기 위해, 더 높은 시간 레벨의 공간 레이어들로부터 비트들을 추출하기에 앞서서, 더 낮은 시간 레벨에서의 모든 공간 레이어들로부터 비트들을 추출하는 스케일링가능한 비디오 압축 시스템.
KR1020097010837A 2006-11-30 2007-10-23 스케일링가능한 비트스트림 추출을 위한 방법 및 시스템 KR101032243B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US86806706P 2006-11-30 2006-11-30
US60/868,067 2006-11-30
US11/752,567 2007-05-23
US11/752,567 US8170094B2 (en) 2006-11-30 2007-05-23 Method and system for scalable bitstream extraction

Publications (2)

Publication Number Publication Date
KR20090085636A KR20090085636A (ko) 2009-08-07
KR101032243B1 true KR101032243B1 (ko) 2011-05-02

Family

ID=39431237

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097010837A KR101032243B1 (ko) 2006-11-30 2007-10-23 스케일링가능한 비트스트림 추출을 위한 방법 및 시스템

Country Status (7)

Country Link
US (1) US8170094B2 (ko)
EP (1) EP2084907B1 (ko)
KR (1) KR101032243B1 (ko)
CN (1) CN101569195B (ko)
BR (1) BRPI0721178B1 (ko)
MX (1) MX2009005590A (ko)
WO (1) WO2008067081A2 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101322392B1 (ko) * 2006-06-16 2013-10-29 삼성전자주식회사 스케일러블 코덱의 부호화 및 복호화 방법 및 장치
KR100937590B1 (ko) * 2007-10-23 2010-01-20 한국전자통신연구원 다중 품질 서비스 영상 콘텐츠 제공 시스템 및 그것의업그레이드 방법
CN101686383B (zh) * 2008-09-23 2013-05-01 Utc消防和保安美国有限公司 通过网络传输媒体的方法及系统
KR100970388B1 (ko) * 2008-10-31 2010-07-15 한국전자통신연구원 네트워크 흐름기반 스케일러블 비디오 코딩 적응 장치 및 그 방법
US20100135395A1 (en) * 2008-12-03 2010-06-03 Marc Paul Servais Efficient spatio-temporal video up-scaling
US8878855B2 (en) * 2009-08-13 2014-11-04 Liveclicker, Inc. Video in e-mail
US20150138300A1 (en) * 2011-09-02 2015-05-21 Microsoft Technology Licensing, Llc Mobile Video Calls
KR20140092198A (ko) 2013-01-07 2014-07-23 한국전자통신연구원 계층적 비디오 부호화에서의 스케일러빌리티 정보 표현방식
US10284858B2 (en) * 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6961383B1 (en) * 2000-11-22 2005-11-01 At&T Corp. Scalable video encoder/decoder with drift control
US6925501B2 (en) * 2001-04-17 2005-08-02 General Instrument Corporation Multi-rate transcoder for digital streams
US6925120B2 (en) * 2001-09-24 2005-08-02 Mitsubishi Electric Research Labs, Inc. Transcoder for scalable multi-layer constant quality video bitstreams
US7042942B2 (en) 2001-12-21 2006-05-09 Intel Corporation Zigzag in-order for image/video encoder and decoder
CN1843035A (zh) * 2003-08-26 2006-10-04 三星电子株式会社 使用预解码器的可伸缩视频编码方法和设备
US20050097168A1 (en) 2003-10-31 2005-05-05 Debargha Mukherjee Communications methods, communications session organizers, communications session participants, articles of manufacture, and communications systems
KR100834749B1 (ko) * 2004-01-28 2008-06-05 삼성전자주식회사 스케일러블 비디오 스트림 재생장치 및 그 방법
KR100736086B1 (ko) * 2005-09-06 2007-07-06 삼성전자주식회사 엔트로피 코딩의 성능 향상 방법 및 장치, 상기 방법을이용한 비디오 코딩 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
QoS 기반 스트리밍 서비스를 위한 실시간 SVC 비트스트림 추출기에 대한 연구, 김덕연 외 5, 대한전자공학회 2005년도 추계종합학술대회, pp.513-516, 2005.11.

Also Published As

Publication number Publication date
US8170094B2 (en) 2012-05-01
MX2009005590A (es) 2009-06-08
KR20090085636A (ko) 2009-08-07
WO2008067081A2 (en) 2008-06-05
BRPI0721178B1 (pt) 2020-02-04
US20080130757A1 (en) 2008-06-05
WO2008067081A3 (en) 2008-08-14
BRPI0721178A8 (pt) 2019-01-22
EP2084907B1 (en) 2020-12-02
CN101569195A (zh) 2009-10-28
BRPI0721178A2 (pt) 2014-03-18
EP2084907A2 (en) 2009-08-05
CN101569195B (zh) 2011-06-22

Similar Documents

Publication Publication Date Title
KR101032243B1 (ko) 스케일링가능한 비트스트림 추출을 위한 방법 및 시스템
US7262721B2 (en) Methods of and apparatuses for adaptive entropy encoding and adaptive entropy decoding for scalable video encoding
US8406294B2 (en) Method of assigning priority for controlling bit rate of bitstream, method of controlling bit rate of bitstream, video decoding method, and apparatus using the same
US7773672B2 (en) Scalable rate control system for a video encoder
US8532187B2 (en) Method and apparatus for scalably encoding/decoding video signal
US20070121723A1 (en) Scalable video coding method and apparatus based on multiple layers
JP4981927B2 (ja) Ｓｖｃｃｇｓ拡張層コーディングに関するｃａｖｌｃ拡張
US20080025399A1 (en) Method and device for image compression, telecommunications system comprising such a device and program implementing such a method
KR101147943B1 (ko) 스케일러블 비디오 코딩을 위한 개선된 향상 계층 코딩
KR20040091686A (ko) 더 높은 질의 참조 프레임을 사용하는 ｆｇｓｔ 코딩 방법
CN101077011A (zh) 运用精细粒度可伸缩性技术进行数字视频实时代码转换的系统和方法
KR20130135659A (ko) 다계층 비디오 코딩을 위한 레이트 제어 방법, 이를 이용한 비디오 인코딩 장치 및 비디오 신호 처리 시스템
KR20090094327A (ko) 정제 계수 코딩을 위한 블록 형식 통계치에 기초한 가변 길이 코딩 테이블 선택
KR20060063605A (ko) 영상신호의 엔코딩과 그 전송, 그리고 디코딩을 위한 방법및 장치
CN104539948A (zh) 视频处理系统和视频处理方法
CN1860791A (zh) 结合高级数据分割和精确粒度可分级以用于有效时空信噪比的可分级视频编码和流式传输的系统和方法
JP5768180B2 (ja) 画像復号方法及び画像復号装置
CN101888553B (zh) 用于可伸缩视频编码的方法和装置
US20070223573A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
KR100880639B1 (ko) 영상신호의 엔코딩과 그 전송, 그리고 디코딩을 위한 방법및 장치
Auli-Llinas et al. Enhanced JPEG2000 quality scalability through block-wise layer truncation
KR100802180B1 (ko) 엠펙-4 비디오 신호의 비트율을 동적인 통신 용량 변화에따라 제어하는 방법
CN1843035A (zh) 使用预解码器的可伸缩视频编码方法和设备
Zhang Robust scalable video compression using multiple description coding
Auli-Llinas et al. Research Article Enhanced JPEG2000 Quality Scalability through Block-Wise Layer Truncation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160408

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170412

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180405

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190410

Year of fee payment: 9