KR20060131769A - Ｍｐｅｇ-2 시스템에서 향상된 범위성 지원을 위한 시스템및 방법 - Google Patents

Ｍｐｅｇ-2 시스템에서 향상된 범위성 지원을 위한 시스템및 방법 Download PDF

Info

Publication number
KR20060131769A
KR20060131769A KR1020067010877A KR20067010877A KR20060131769A KR 20060131769 A KR20060131769 A KR 20060131769A KR 1020067010877 A KR1020067010877 A KR 1020067010877A KR 20067010877 A KR20067010877 A KR 20067010877A KR 20060131769 A KR20060131769 A KR 20060131769A
Authority
KR
South Korea
Prior art keywords
layer
decoder
signaling information
stream
mpeg
Prior art date
Application number
KR1020067010877A
Other languages
English (en)
Other versions
KR101117586B1 (ko
Inventor
잔 반 데르 미어
윌헬머스 에이치.에이. 브럴스
레나투스 제이. 반 데르 블루텐
이호르 키렌코
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20060131769A publication Critical patent/KR20060131769A/ko
Application granted granted Critical
Publication of KR101117586B1 publication Critical patent/KR101117586B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets

Abstract

가변 시스템들용으로 특정하게 설계된 디코더들 대신에 각 층에서 일반적인 디코더들(예를 들어, MPEG-2/4/AVC)을 사용하여 유연하고 비용 효율적인 범위성을 제공하는, 이종 계층화된 비디오 디코딩 시스템 및 연관된 방법이 개시된다. 일 실시예에서, 파라미터 리스트로서 구현된 추가의 시그널링 정보(220)는 전송 스트림(250)과 함께 전송된다. 파라미터 리스트는 각 층(BS, ES)에 대해, 특정 층이 어떻게 디코딩될 것인지를 독립적으로 정의한다. 따라서, 복잡도와 효율간의 절충이 달성된다. 예를 들면, 기본층(BS)은 정교한 기본층 AVC 코덱을 채용할 수 있고, 하나 이상의 확장층들(ES)은 완전 AVC 코덱의 복잡도의 반이지만 효율은 약간만 덜한 MPEG-2 코덱을 사용할 수 있다.
이종 계층화, 기본층, 확장층

Description

ＭＰＥＧ-2 시스템에서 향상된 범위성 지원을 위한 시스템 및 방법{System and method for improved scalability support in MPEG-2 systems}
본 발명은 일반적으로 가변(scalable) 비디오 코딩 시스템에 관한 것으로, 특히 비디오 엔코딩/디코딩 포맷이 층마다 독립적으로 선택될 수 있게 하는 유연하고 비용 효율적인 이종 계층화된 비디오 디코딩 기술에 관한 것이다.
최근에, 하드디스크들 및 광학 디스크들(예를 들면, DVD+RW)과 같은 다양한 매체들에 디지털 비디오 저장장치가 도입되었다. 소비자 관점에서 기록 시간량은 고정되거나 최소한 보장되어야 한다. 현재의 압축 방법들에 있어서 이것은 양자화 파라미터를 제어함으로써 달성된다. 그러나, 한가지 결점은 아티팩트가 없는 화상에 요구되는 비트 레이트가 입력 시퀀스에 크게 의존한다는 것이다. 예를 들면, 입력 시퀀스에 대해 선택된 (평균) 비트레이트가 너무 낮다면, 적합한 메트릭을 사용하여 나타낼 수 있는 블록킹과 같은 코딩 아티팩트들을 초래할 것이다. 이들 아티팩트들은 시퀀스가 낮은 해상도로 압축되었다면 없을 수도 있었을 것이다. 이것이 MPEG와 같은 현재의 표준들로 가능할지라도, 정적 시퀀스들에만 그리고 급격한 이산 스텝들(SDTV, 1/2D1, CIF)로 한정된다. 해상도에서 이러한 급격한 변화들은 뷰어에겐 매우 성가실 수 있다.
저장 애플리케이션들은 별도로 하고, 아티팩트들을 일으키는 문제는 예를 들면 IEEE802.11b를 사용하는 무선 비디오 접속들에서, 사용 가능한 비트 레이트가 최대 SDTV 해상도를 전달하기에 항시 충분하지 않았다면 나타날 수도 있다.
그러므로, 필요한 것은 블록들을 구축하는 것으로서 MPEG와 같은 현존 압축 표준들을 이용할 수 있는 동적으로 적응되는 비디오 해상도 압축을 허용하는 방법이다.
본 발명은 MPEG-2/4/AVC 호환 스트림을 디코딩하기 위해 일반적인 MPEG-2/4/AVC 디코더들만을 사용하는 이종 계층화된 비디오 디코딩 시스템 및 연관된 방법을 제공함으로써 전술한 필요성을 해결한다. 일 실시예에서, 이것은 각 층에 대해 특정 층이 어떻게 디코딩될 것인지를 독립적으로 정의하는, MPEG-2/4/AVC 호환 스트림과 함께 전송되는 파라미터 리스트를 이용함으로써 달성된다. 파라미터 리스트는 각 층에 대해, (1) 특정 층을 스케일 업할 것인지, 스케일 다운할 것인지 아니면 전혀 행하지 않을 것인지 여부와, (2) DC 압축을 층에 적용할 것인지 여부와, (3) 층을 정의하는 스트림의 유형(예를 들면, MPEG-2/4), (4) FIR 계수들, 및 (5) 서브대역에서 일정한 이득들을 결정하기 위해 값들을 정의할 수 있다. 파라미터 값들은 디코더가 파라미터 값들을 해석하여 이에 따라 디코딩할 수 있도록, 엔코딩된 신호와 함께 멀티플렉싱되는 것이 바람직하다.
일 양상에서, 2개이상의 확장층들이 있는 경우에, 넓은 범위의 품질 레벨들이 정의될 수 있다. 각각의 품질 레벨에 대해서, 엔코더는 별도의 파라미터 리스트를 전송할 수 있다. 예를 들면, 기본층 및 3개의 확장층들을 포함하는 4층 비디오 스트림에 대해서, 제1 파라미터 리스트는 기본층(BS)과 두 확장층들(ES1, ES2)의 결합을 정의하게 구성될 수도 있을 것이다. 제2 파라미터 리스트는 기본층(BS)과 제2 및 제4 확장층들의 결합(BS+ES2+ES4)을 정의하게 구성될 수도 있을 것이다. 그 외 다른 결합들이 당업자에게 명백할 것이다. 사용자에게 관심이 있는 모든 결합들은 파라미터 리스트의 요소들로서 동시에 전송될 수도 있다.
본 발명의 전술한 특징들은 첨부한 도면과 함께 취한, 본 발명의 예시적인 실시예의 다음의 상세한 설명을 참조함으로써 이에 의해 쉽게 명백하게 될 것이고 이해될 것이다.
도 1은 가변 코딩(공간 범위성)의 원리를 예시한 개략적인 블록도.
도 2는 본 발명의 일 실시예에 따른 공간 가변 비디오 엔코더의 개략적인 블록도.
도 3은 도 2의 계층화된 엔코더에 의해 처리된 엔코딩된 신호들을 디코딩하기 위한 공간 가변 비디오 디코더의 개략적인 블록도.
도 4는 단일 디코딩된 비디오 스트림을 출력하기 위해 여러 스트림들(예를 들면, Lay1, Lay2)을 결합하는 방식에 관해 디코더에 알려주기 위해서 보충 정보로서 통신 채널을 통해 방송하게 될 파라미터 리스트의 일 예를 도시하는 도면.
도 5는 단일 디코딩된 비디오 스트림을 출력하기 위해 전송 스트림의 여러 스트림들(예를 들면, Lay1, Lay2)을 결합하는 방식에 관해 디코더에 알려주기 위해 서 보충 정보로서 통신 채널을 통해 방송하게 될 파라미터 리스트의 다른 예를 도시하는 도면.
도 6은 단일 디코딩된 비디오 스트림을 출력하기 위해 전송 스트림의 여러 스트림들(예를 들면, Lay1, Lay2)을 결합하는 방식에 관해 디코더에 알려주기 위해서 보충 정보로서 통신 채널을 통해 방송하게 될 파라미터 리스트의 또 다른 예를 도시하는 도면.
도 7은 도 6의 파라미터 리스트에 따라, 엔코딩된 신호들을 디코딩하기 위한 공간 가변 비디오 디코더의 개략적인 블록도.
도 8은 단일 디코딩된 비디오 스트림을 출력하기 위해 전송 스트림의 여러 스트림들(예를 들면, Lay1, Lay2)을 결합하는 방식에 관해 디코더에 알려주기 위해서 보충 정보로서 통신 채널을 통해 방송하게 될 파라미터 리스트의 또 다른 예를 도시하는 도면.
도 9는 도 8의 파라미터 리스트에 따라, 엔코딩된 신호들을 디코딩하기 위한 공간 가변 비디오 디코더의 개략적인 블록도.
다음의 상세한 설명이 예시 목적으로 많은 상세한 것들을 내포할지라도, 당업자는 다음 설명에 많은 변경 및 변형이 본 발명의 범위 내 임을 알 것이다. 따라서, 본 발명의 다음의 바람직한 실시예는 청구된 발명에 일반성을 잃지 않고 그리고 제한을 가함이 없이 개시된다.
본 발명은 종래 기술의 시스템들에 비해 많은 특정의 잇점들을 제공한다. 구 체적으로, 본 발명의 시스템 및 방법은 가변 시스템들용으로 특정하게 설계된 디코더들 대신에 각 층에서 일반적인 MPEG-2/4/AVC 디코더들을 사용하여 유통성있고 비용 효율적인 범위성을 제공한다. 본 발명의 또 다른 잇점은 복잡도와 효율간에 절충을 할 수 있게 한다는 것이다. 예를 들면, 기본층은 정교한 기본층 AVC 코덱을 채용할 수 있고, 반면 하나 이상의 확장층들은 완전 AVC 코덱의 복잡도에 반이지만 효율은 약간만 덜한 MPEG-2 코덱을 사용할 수도 있다. 또 다른 잇점은 본 발명의 시스템 및 방법이 표준들간을 원활히 옮길 수 있게 한다는 것이다. 즉, 현재 대다수의 방송국들은 MPEG 압축표준을 사용하여 방송한다. 새로운 압축표준들이 나왔을 때, 동일한 신호 질이 낮은 비트레이트로 달성될 수 있다. 본 발명은 MPEG 압축표준을 사용하여 기본층이 전송될 수 있게 하며 장비 업그레이드가 실현될 때, 확장층들이 새로운 압축표준들을 사용하여 전송될 수 있다. 사용자에 의해 정의된 어떤 QOS 구성들에 본 발명의 시스템을 맞출 수 있기 때문에 이전은 점차적으로 행해질 수 있다.
사용자가 처음으로 예를 들면 셋탑 박스에서 기본층의 비디오 스트림만을 디코딩하는 경우에 이종 계층화된 비디오 지원을 제공하는 또 다른 잇점이 있다. 시간적으로 나중 시점에서 사용자가 인터넷을 오버레이로서 사용하기를 원한다고 가정한다. 즉, 기본층에서 비디오 코딩을 지원하는 것 외에도, 기본층에서 비디오 스트림의 디코딩은 확장층(들)에서 낮은 QOS를 단순히 이용함으로써 완전히 지원된다. 또 다른 잇점은 최대 품질 진보된(복잡한) 코덱들에 비해서 일반적인 MPEG-2/4/ACV 디코더들을 이용할 때 실현될 수 있는 비용절감이다. 또 다른 잇점은 밧데 리로 동작되는 휴대 또는 이동성 장비, 비트들의 전송에 관한 QOS, 및 DSP의 사이클 사용에 관한 QOS에 있어서 낮은 파워(기본층만의) 디코딩이다.
일반적인 가변 코딩(공간 범위성)을 간략히 리뷰한다. 많은 애플리케이션들은 다양한 해상도들 및/또는 질들로 비디오를 송신 및 수신하는 능력을 요망한다. 이것을 달성하는 한 방법은 가변 또는 계층화된 코딩에 의한 것으로, 이는 비디오를 독립적인 기본층 및 하나 이상의 의존성 확장층들로 엔코딩하는 프로세스이다. 이것은 기본 비디오를 수신하게 일부 디코더들이 기본층을 디코딩하게 하고 다른 디코드들에 대해선 기본층 외에 더 높은 시간적 해상도, 공간적 해상도 및/또는 비디오 질을 달성하게 확장층들을 디코딩하게 한다.
2개의 층들을 구비한 코덱에 있어 범위성의 일반적인 개념을 도 1에 도시하였다. 추가의 층들이 사용될 수 있는 것에 유의한다. 가변 엔코더(100)는 2개의 입력 시퀀스들을 취하고 mux(140)에서 다중화를 위해 2개의 비트스트림들을 생성한다. 구체적으로, 입력된 기본 비디오 스트림 또는 층이 기본층 엔코더(110)에서 처리되고, 확장층 엔코더(130)에서 입력 강조된 비디오 스트림 또는 층의 예측 코딩을 위한 참조 이미지를 제공하기 위해서 미드프로세서(120)에서 업-샘플링된다.
기본층의 코딩 및 디코딩은 단일의 비-가변 층 경우와 정확하게 동일하게 동작하는 것에 유의한다. 입력된 강조된 비디오 외에도, 확장층 엔코더는 확장층을 효율적으로 코딩하기 위해서 미드프로세서에 의해 제공된 기본층에 관한 정보를 사용한다. 예를 들면 인터넷과 같은 컴퓨터 네트워크일 수 있는 채널, 또는 케이블 텔레비전 네트워크와 같은 광대역 통신 채널을 통한 통신 후에, 총 비트스트림은 demux(150)에서 역다중화되고 가변 디코더(160)는 기본층 디코더(170), 프로세서(180), 및 확장층 디코더(190)를 사용하여 가변 엔코더(100)의 동작들을 단순히 역으로 행한다.
MPEG 표준은 "범위성"에 관하여 계층적 순서의 비트스트림 층들의 처리를 말한다. "공간 범위성"이라고 하는 MPEG 범위성의 한 형태는 서로 다른 층들 내의 데이터가 서로 다른 프레임 크기들, 프레임 레이트들 및 크로민넌스 코딩을 갖게 한다. "시간적 범위성"이라고 하는 MPEG 범위성의 또 다른 형태는 서로 다른 층들 내 데이터가 서로 다른 프레임 레이트들을 갖게 하나, 동일한 프레임 크기 및 크로미넌스 코딩을 필요로 한다. 또한, "시간적 범위성"은 확장층이 움직임 의존성 예측들에 의해 형성된 데이터를 내포할 수 있게 하나, "공간적 범위성"은 그렇지 않다. 이들 유형들의 범위성, 및 "SRN 범위성"이라는 또 다른 유형(SNR은 신호 대 잡음 비)은 MPEG 표준의 섹션 3에 정의되어 있다.
도 2는 본 발명의 일 실시예에 따른 공간 가변 비디오 엔코더(200)를 도시한 것이다. 도시된 엔코딩 시스템(200)은 층 압축을 달성하며, 이에 의해서 채널의 일부는 저해상 기본층(BS)을 제공하는데 사용되고 나머지 부분은 에지 강조 정보(ES)를 전송하는데 사용되고, 이에 의해서 2개의 신호들이 재결합됨으로써 시스템을 고해상까지 가져갈 수 있다. 고해상(Hi-Res) 비디오 입력신호는 스플리터(202)에 의해 분할되고 이에 의해 데이터는 한 방향으로는 저역통과 필터(LPF)& 다운스케일러(204)에 보내지고, 다른 방향으로는 감산회로(206)에 보내진다. 저역통과 필터 & 다운스케일러(204)는 비디오 데이터의 해상도를 감소시키고, 이어서 이는 기본 엔 코더(208)에 공급된다. 일반적으로, 저역통과 필터들 및 엔코더들은 공지되어 있고 여기서는 상세히 기술하지 않는다. 기본 엔코더(208)는 멀티플렉서(240)의 한 입력인 저해상 기본스트림(BS)을 생성한다.
기본 엔코더(208)의 출력은 시스템(200) 내의 디코더(212)에도 공급된다. 이로부터, 디코딩된 신호는 보간 및 업샘플 회로(214)에 공급된다. 일반적으로, 보간 및 업샘플 회로(214)는 필터링된 해상도를 디코딩된 비디오 스트림으로부터 재구성하여, 고해상 입력과 동일 해상도의 비디오 데이터 스트림을 제공한다. 그러나, 엔코딩 및 디코딩에 기인한 필터링 및 유실들 때문에, 재구성된 스트림 내 정보의 유실이 있다. 유실은 재구성된 고해상 스트림을 원래의 수정되지 않은 고해상 스트림에서 감함으로써 감산회로(206)에 의해 판정된다. 감산회로(206)의 출력은 수정 유닛(207)에 공급된다. 수정 유닛(207)은 잔류 신호를, 비디오 압축에 사용된 정규 입력 비디오 신호와 동일 신호 레벨 범위를 갖는 신호로 변환한다. 수정 유닛(207)은 DC-오프셋 값(209)을 잔류 신호에 더한다. 수정 유닛((207)은 수정 유닛의 출력이 미리 결정된 값 미만으로 그리고 또 다른 미리 결정된 값 이상으로 가지 못하게 하는 클립 기능을 또한 포함한다. 이 DC-오프셋 및 클리핑 동작은 화소값들이 미리 결정된 범위 예를 들면 0...255에 있는 강조 엔코더에 대해서 현존 표준들, 예를 들면 MPEG를 사용할 수 있게 한다. 잔류 신호는 통상적으로는 제로 주위에 집중된다. DC-오프셋 값(209)을 더함으로써, 샘플들의 집중은 범위의 중간, 예를 들면 8비트에 대해 128의 비디오 샘플들로 옮겨질 수 있다. 가변 시스템들용으로 특정하게 설계된 디코더들 대신에 일반적인 MPEG-2/4/AVC 디코더들을 사용할 수 있게 하 기 위해서, 엔코딩 전에 그리고 디코딩에 이어 DC-오프셋 값이 적용되는 것에 유의한다.
도 2를 참조하여, 수정 유닛(207)으로부터 변환된 잔류 신호는 멀티플렉서(240)의 또 다른 입력을 나타내는 적절한 질의 강조 스트림(ES)을 출력하는 강조 엔코더(216)에 공급된다.
본 발명의 주요 특징은 멀티플렉서(240)에 공급된 제3 입력에 의해 나타난다. 제3 입력은 MPEG-2/4/AVC 호환 스트림(250)과 함께 전송되는 파라미터 리스트로서 실현되는 시그널링 정보(220)를 포함한다. 파라미터 리스트는 각 층에 대해 특정 층이 어떤 방식으로 디코딩될 것인지를 독립적으로 정의한다.
일 실시예에서, 파라미터 리스트(220)는 디코더에서 여러 층들(예를 들면, BS, ES)을 단일 디코딩된 비트스트림으로 적합하게 결합할 방법에 관하여 디코더에 지시하는 파라미터 값들로서 구현되는 추가의 시그널링 정보를 포함한다.
파라미터 값들은 예를 들면 다음을 정의한다.
(1) 각 층에 적용될 수평 및 수직 스케일링 인자(예를 들면, 스케일-업, 스케일-다운, 스케일링하지 않음)
(2) 각 층에 적용될(있다면) DC 압축.
(3) 스트림 유형(예를 들면, MPEG-2, MPEG-4, AVC, 등).
(4) 스케일링에 연관된 FIR 계수들, (제작되는 FIR 필터가 복잡할수록, 스케일링은 더욱 완전해진다). 디코더가 어떤 계수들이 엔코더에서 사용되었는지를 안다면 더 나은 결과들이 달성됨에 유의한다.
(5) 서브-대역에서 일정의 이득들
(6) 현재 층에 결합될 참조층에 대한 식별자,
(7) 현재 층이 참조층과 결합할 방식,
(8) 대응하는 층이 인터레이스 또는 프로그레시브 비디오 스트림 중 하나를 내포하는지 여부.
도시된 바와 같이, 파라미터 리스트(220)(즉, 시그널링 정보)는 디코더가 파라미터 값들을 해석하여 MPEG-2/4/AVC 스트림(250)을 그에 따라 디코딩하게 하도록 각 층(BS, ES)마다 엔코딩된 신호와 함께 멀티플렉스된다.
도 2의 엔코더(200)가 2층 스트림을 예시하였으나, 본 발명은 상위 차(추가)의 확장층들에 넓게 적용될 수 있음을 알 것이다.
층으로 형성하는 간단하고 수월한 개념의 목적을 달성하기 위해서, 다수의 제약조건이 적용되는 것이 유의한다.
. 각 층은 동일 시간적 해상도를 갖는다.
. 각 층은 동일 화상 영역을 코딩하나 각 층의 해상도는 다를 수 있다.
이종 계층화된 비디오 지원을 제공하는 본 발명의 방법에 따라서, 적어도 2개의 층들(BS, ES)이 일 실시예에서 각 층에 대한 전송 세션에서 실시간 전송 프로토콜(RTP)를 사용한 인터넷 프로토콜을 통해 전송될 수 있음에 또한 유의한다. 반면, 시그널링 정보(220)는 전송 세션 내에서 대역내 또는 대역외의 전송 세션의 맥락 내에서 전송된다. 시그널링 정보는 예를 들면 세션 디스크립션 프로토콜(SDP)을 사용하여 전송될 수도 있을 것이다.
또 다른 실시예에 따라서, 적어도 2 층들(BS, ES)은 MPEG-2 전송 스트림, MPEG-2 프로그램 스트림 및 인터넷 프로토콜(IP) 스트림 중 적어도 하나를 통해 디코더에 전송될 수 있고, 시그널링 정보는 유사하게, MPEG-2 전송 스트림, MPEG-2 프로그램 스트림 및 인터넷 프로토콜(IP) 스트림 중 적어도 하나를 통해 디코더에 전송될 수 있을 것이다.
여기 기술된 기능을 구현하기 위해서, MPEG-2 표준에 대한 수정이 필요함을 제안한다. 다음은 제안된 수정의 상세를 기술한다. 제안된 수정의 상세들은 (I) MPEG-2 표준의 스트림 유형의 할당에 대한 수정, (II) MPEG-2 표준의 프로그램 및 프로그램 디스크립터들에 대한 수정으로서 개시된다.
I. 추가: 차분 비디오 스트림 디스크립터
차분 비디오 스트림 디스크립터는 적용된 DC 오프셋뿐만 아니라 연관된 스트림의 코딩 포맷을 특정한다. ITU-T Rec.H.220.0 ISO/IEC 13818-1 스트림으로 전달된(즉, MPEG-2 시스템 표준의 문서 번호) 각각의 차분적으로 코딩된 비디오 스트림에 대해서, 차분 비디오 스트림 디스크립터는 PMT(프로그램 맵 테이블)에 또는 PSM(프로그램 스트림 맵)에-PSM이 프로그램 스트림 내 있다면-포함될 것이다.
표 1. 차분 비디오 스트림 디스크립터의 필드들
Figure 112006039244169-PCT00001
표 1의 필드들의 의미상의 정의
(a) stream_type - 연관된 차분 비디오 스트림의 엔코딩된 포맷을 명시하는 8비트 부호없는 정수, ITU-T Rec.H.222.0 ISO/IEC 13818-1의 표 2-29에 명시된 바대로 엔코딩됨. 비디오 스트림들 이외 다른 것을 나타내는 Stream_type 값들은 금지된다. 0x1C의 스트림 유형 값도 금지된다.
(b) DC_offset - 비디오 출력을 재구성할 때 디코딩된 신호에 적용하게 될 DC 오프셋을 명시하는 16비트 부호없는 정수.
II. 추가: 공간적 계층화된 비디오 스트림 디스크립터
공간적 계층화된 비디오 스트림 디스크립터는 2-15에 명시된 바와 같이, 계층화된 비디오 스트림 내 비디오 스트림, 층, 정확한 수평 및 수직 재 샘플링 인자들, 수평 및 수직 재 샘플링에 대한 권고된 필터계수들에 대해 명시한다. 공간적 계층화된 비디오 스트림 디스크립터는 계층화된 비디오 시스템에서, 각각의 비디오 스트림에, 따라서 각각의 기본 및 각각의 강조 스트림에 연관될 것이다. ITU-T Rec. H.222.0|ISO/IEC 13818-1 스트림으로 전달된 각각의 이러한 스트림에 대해서, 공간적 계층화된 비디오 스트림 디스크립터는 PTM에, 또는 프로그램 스트림에 PSM이 있다면 PSM에 포함될 것이다.
표 II. 공간적 계층화된 비디오 스트림 디스크립터의 필드들
Figure 112006039244169-PCT00002
표 II의 필드들의 의미상의 정의:
(a) layer - 연관된 비디오 스트림의 층의 인덱스 번호를 명시하는 4비트 부호없는 정수.
(b) reference_layer - 비디오 스트림의 층의 인덱스 번호를 공간 해상도-이 해상도로 상기 비디오 스트림이 재 샘플링됨-로 확인하는 4비트 부호없는 정수. 예를 들면, 0의 참조층 값은 이 비디오 스트림이 재 샘플되지 않음을 나타낸다.
(c) referenced_flag - '1'로 셋 된 경우, 이 비디오 스트림은 하나 이상의 다른 스트림들이 재 샘플링되는 공간 해상도를 가짐을 나타내는 1비트 플래그.
referenced_flag가 '0'으로 셋 되면, 이 디스크립터는 reference_layer 필드에 의해 참조된 비디오 스트림의 해상도로 재 샘플링하기 위한 필터 정보를 포함한다.
referenced_flag가 '0'으로 셋 되면, 선행 referenced_layer 필드는 0보다 큰 값으로 코딩될 것이다.
referenced_flag가 '1'로 셋되고, 선행 reference_layer 필드가 0보다 큰 값으로 코딩되면, 이 디스크립터는 reference_layer 필드에 의해 참조된 비디오 스트림의 해상도로 이 스트림의 공간 해상도의 중간 재-샘플 결과의 차후 단계의 재 샘플링을 위한 필터정보를 포함한다.
(d) up_horizontal, down_horizontal - 수평 재 샘플링 인자가 (up_horizontal)/(down_horizontal)과 같게 될 것임을 명시하는 2개의 4비트 부호없는 정수들. 1보다 큰 재 샘플링 인자(예를 들면 8/3)는 업-샘플링을 나타내며, 1보다 작은 인자는 다운-샘플링을 나타낸다. 두 필드들에 있어서 제로 값은 금지된다.
(e) up_vertical, down_vertical - 수직 재 샘플링인자가 (up_vertical)/(down_vertical)과 같게 될 것임을 명시하는 2개의 4비트 부호없는 정수들. 1보다 큰 재 샘플링 인자(예를 들면 8/3)는 업-샘플링을 나타내며, 1보다 작은 인자는 다운-샘플링을 나타낸다. 두 필드들에 있어서 제로 값은 금지된다.
(f) number_of_horizontal_coefficients - 이 디스크립터에서 수평 필터계수들의 수를 명시하는 4비트 부호없는 정수.
(g) number_of_vertical coefficients - 이 디스크립터에서 수직 필터계수들의 수를 명시하는 4비트 부호없는 정수.
(h) hor_fir(i) - 인덱스 i를 가진 수평 FIR 필터계수를 명시하는 16비트 부호없는 정수. 중심 계수는 0의 값을 갖는다.
층마다 위와 같은 시그널링 파라미터를 정의함으로써, 고도의 유연함이 달성된다. 특히, 종래 기술에서 기본층은 가장 낮은 해상도로 존재해야 한다. 본 방식에서, 이러한 제한은 전혀 존재하지 않는다. 위에 언급된 파라미터들은 어떤 다른 층과는 무관하게, 각 층에 대해 독립적으로 정의될 수도 있다.
본 발명의 또 다른 특징은 복수의 확장층들이 정의되는 경우이다. 이 경우, 복수의 품질 레벨들을 정의하기 위해서 별도의 파라미터 리스트가 구성될 수도 있을 것이다. 예를 들면, 기본과 4개의 확장층들을 포함하는 4층 비디오 스트림에 있어서, 제1 파라미터 리스트는 기본층(BS)과 2개의 확장층들(ES1, ES2)과의 조합을 정의하게 구성될 수도 있을 것이다. 제2 파라미터 리스트는 기본층(BS)과 제2 및 제4 확장층들과의 조합(BS+ES2+ES4)을 정의하게 구성될 수도 있을 것이다. 그 외의 조합들이 당업자에 명백할 것이다. 사용자에 관심을 끄는 모든 조합들이 파라미터 리스트(220)의 요소들로서 동시에 전송될 수도 있다.
도 3은 본 발명의 일 실시예에 따른 디코더(300)를 도시한 것이다. 도 3은 도 2의 계층화된 엔코더(200)에 의해 처리된 엔코딩된 신호들을 디코딩하기 위한 디코더를 도시한 것이다. 기본 스트림(BS)은 기본층(BS)에 연관된 파라미터 리스트(200)로부터 이들 파라미터들에 따라 기본 디코더(302)에서 디코딩된다. 디코더로부터(302)의 디코딩된 출력은 업-변환기(306)에 의해 업-변환되어 가산 유닛(310)에 공급된다. 강조 스트림(ES)은 강조 스트림(ES)에 연관된 파라미터 리스트(200)로부터 이들 파라미터들에 따라 디코더(304)에서 디코딩된다. 수정 유닛(308)은 엔코더(200)에서 수정 유닛(207)의 역동작을 수행한다. 수정 유닛(308)은 디코딩된 강조 스트림을 정규 비디오 신호 범위에서 원 잔류 신호의 신호 범위로 변환한다. 수정 유닛(208)의 출력은 가산 유닛(310)에 공급되고, 여기서 업-변환기(306)의 출력과 결합되어 디코더(300)의 출력을 형성한다.
예:
예 1 - 기본층에서 AVC 디코더를 이용하고 확장층에서 MPEG-2 디코더를 이용하는 2중층 구성:
도 4를 참조하면, 표 I 및 표 II는 단일 디코딩된 비디오 스트림을 출력하기 위해 디코더에 여러 스트림들(예를 들면, Lay1, Lay2)을 결합하는 방식에 관해 알려주기 위해서 보충 정보로서 통신 채널을 통해 방송하게 될 파라미터 리스트(220)를 정의한다.
첫 번째 행의 파라미터 리스트를 참조하면(즉, 이 행은 기본층(Lay1)에 특정한 파라미터들을 기술하고 있다), 엔코더측 파리미터 리스트는 기본층(Lay1)에서 AVC 디코더를 사용할 것을 디코더에 지시한다. 다음에, 파라미터 리스트는 DC 오프셋 파라미터가 제로임을 디코더에 지시한다. 이것은 기본층을 확장층(Lay2)과 결합 하기 전에 기본층에서 DC 오프셋을 감하지 말 것을 디코더(300)에 지시한다. 제1 행의 다음 4개의 열들을 upH, dwH, upV, dwV로 각각 표기하였으며, 이들은 수평으로 업스케일링 인자(upH), 수평으로 다운스케일링 인자(dwH), 수직으로 업스케일링 인자(upV) 및 수직으로 다운스케일링 인자(dwV)를 지칭한다. 디코더(300)는 이들 파라미터들을 쌍들로 사용한다. 즉, 디코더(300)는 제1 2개의 파라미터들의 비(upH/dwH)를 취하여 수평이 업스케일될 것인지 다운스케일될 것인지 아니면 전혀 스케일링하지 않을 것인지를 판정한다. 이 예에서, 수평 스케일링비는 다음과 같다.
Hor.Scaling ratio = upH/dwH = 2/1 = 2 (1)
유사하게, 수직 방향에 대해서, 디코더(300)는 수직이 업스케일링될 것이지, 다운스케일될 것인지 아니면 전혀 스케일링하지 않을 것인지를 판정하기 위해서 upV/dwV의 비를 취한다. 본 예에서, 수직 스케일링비는 다음과 같다.
Ver.Scaling ratio = upV/dwV = 2/1 = 2 (2)
어떤 DC 오프셋들을 수행하고 적합한 수평 및 수직 오프셋들에 대해 조정한 후에, 다음 열은 이전 층을 어떤 층에 더할 것인지를 참조한다. 기본층(Lay1)에 대해 기술된 동작들을 수행한 후에, 결과는 단일 확장층(Lay2)과 결합된다.
표 I는 확장층(Lay2)에 특정한 다수의 파라미터들을 제공한다. 구체적으로, 파라미터 리스트는 단일 확장층(Lay2)에 대해 디코더에게 MPEG-2 디코더를 사용할 것을 지시한다. 파라미터 리스트는 128의 DC 오프셋을 수행할 것을 디코더에게 또한 지시한다. 이 오프셋을 수행하기 위해 (권고된) 필터계수들은 표 II에 정의되어 있다. 구체적으로, 수평 및 수직 방향에서 7개의 필터계수들이 정의되어 있다.
예 2 - 기본층(Lay1) 및 2개의 확장층들(Lay2, Lay3)에서 AVC 디코더를 사용하는 3층 구성.
도 5를 참조하면, 표 I 및 표 II는 단일 디코딩된 비디오 스트림을 출력하기 위해 디코더에 여러 스트림들을 결합하는 방식에 관해 알려주기 위해서 보충 정보로서 통신 채널을 통해 방송하게 될 파라미터 리스트(220)를 정의한다.
파라미터 리스트의 표 I의 첫 번째 행을 참조하면, 파리미터 리스트는 기본층(Lay1)에서 AVC 디코더를 사용할 것을 디코더에 지시한다. 파라미터 리스트는 DC 오프셋 파라미터가 제로임을 디코더에 지시한다. 이것은 기본층을 제1 확장층(Lay2)과 결합하기 전에 기본층에서 DC 오프셋을 감하지 말 것을 디코더(300)에 지시한다. 본 예에서, 수평 스케일링비는 2이고 수직 스케일링비 역시 2이다. 다음 열은 기본층(Lay1)을 어떤 층에 더할 것인지를 참조한다. 이 경우, Lay1은 Lay2인 제1 확장층에 더해질 것이다. 두 확장층들, 즉 Lay2 및 Lay3은 128의 DC 오프셋들을 정의하는 유사한 파라미터 값들을 가지며 수평 및 수직 방향들로 스케일링은 없다.
예 3 - 기본층 및 2개의 확장층들에서 AVC 디코더를 사용하는 3층 구성. 각 층은 병렬 구성으로 추가된다.
도 6 및 도 7을 참조하면, 도 6의 표 I 및 표 II는 단일 디코딩된 비디오 스트림을 출력하기 위해 디코더에 여러 스트림들(즉, Lay1, Lay2, Lay3)을 결합하는 방식에 관해 알려주기 위해서 보충 정보로서 통신 채널을 통해 방송하게 될 파라미 터 리스트(220)를 정의한다.
도 6의 파라미터 리스트의 표 I의 첫 번째 행을 참조하면, 파라미터 리스트는 기본층(Lay1)에서 AVC 디코더를 사용할 것을 디코더에 지시한다. 파라미터 리스트는 DC 오프셋 파라미터가 제로임을 디코더에 지시한다. 이것은 기본층을 제1 확장층(Lay2)과 결합하기 전에 기본층에서 DC 오프셋을 감하지 말 것을 디코더(300)에 지시한다. 본 예에서, 수평 스케일링비는 2로서 계산되고 수직 스케일링비 역시 2로서 계산된다. 다음 열에 "참조층(스케일링)"은 기본층(Lay1)을 다음에 어떤 층에 더할 것인지를 참조한다. 이 경우, Lay1은 Lay2인 확장층에 더해질 것이다. 다음 열의 "참조 플래그"는 현재 층(Lay1)을 참조 플래그 파라미터에 의해 정의된 층에 합하기에 앞서 이 현재 층에 대해 어떤 필요한 DC 보상 및 스케일링을 수행해야 할 지시에 대해 디코더에 지시하는 파라미터값을 정의한다. 본 예에서, Lay1은 DC 보상을 필요하지 않으나 1인 "참조 플래그" 파라미터 값은 도 7의 합산 블록(72)을 통해 Lay1을 Lay2에 합하기 전에, 이 경우 4/1인 어떤 필요한 스케일링을 수행할 것을 디코더에 지시한다.
본 예를 계속하여, Lay2인 제1 확장층을 참조하면, 전처럼 0인 "참조 플래그" 파라미터 값은 Lay2를 Lay3에 합하기 전에, 어떤 필요한 DC 보상 및 스케일링을 Lay2에 적용할 것을 디코더에 지시한다.
예 4 - 기본층 및 2개의 확장층들에서 AVC 디코더를 사용하는 3층 구성.
도 8 및 도 9를 참조하면, 도 8의 표 I 및 표 II는 단일 디코딩된 비디오 스트림을 출력하기 위해 디코더에 여러 스트림들(즉, Lay1, Lay2, Lay3)을 결합하는 방식에 관해 알려주기 위해서 보충 정보로서 통신 채널을 통해 방송하게 될 파라미터 리스트(220)를 정의한다.
파라미터 리스트의 표 I의 첫 번째 행을 참조하면, 엔코더 측 파라미터 리스트는 기본층(Lay1)에서 AVC 디코더를 사용할 것을 디코더에 지시한다. 파라미터 리스트는 DC 오프셋 파라미터가 제로임을 디코더에 지시한다. 이것은 기본층을 제1 확장층(Lay2)과 결합하기 전에 기본층에서 DC 오프셋을 감하지 말 것을 디코더(300)에 지시한다. 본 예에서, 수평 스케일링비는 2로서 계산되고 수직 스케일링비 역시 2로서 계산된다. 다음 열에 "참조층(스케일링)"은 기본층(Lay1)을 다음에 어떤 층에 더할 것인지를 참조한다. 이 경우, Lay1은 Lay2인 확장층에 더해질 것이다. 다음 열의 "참조 플래그"는 현재 층(Lay1)을 참조 플래그 파라미터에 의해 정의된 층에 합하기에 앞서 이 현재 층에 대해 어떤 필요한 DC 보상 및 스케일링을 수행할 것을 디코더에 지시하는 파라미터값을 정의한다. 본 예에서, Lay1은 DC 보상을 필요하지 않으나 Lay1을 제1 확장층(Lay2)에 합하기 전에 4/1 스케일링을 요한다.
본 예를 계속하여, Lay2를 참조하면, 1인 "참조 플래그" 파라미터 값은 전처럼 현재 층에 어떤 필요한 DC 보상을 적용할 것을 디코더에 지시한다. 그러나, 이 경우, 1의 값은 현재 층이 이전 층에 합해진 후에 스케일링을 적용할 것을 디코더에 지시한다. 본 예에서, 128의 DC 보상은 Lay2에 대해 수행되고 이어서 도 9의 합산 블록(92)을 통해 Lay1에 합해지고 이어서 도9의 합산 블록(92)의 출력을 2/1 스케일링한다.
본 예를 계속하여, Lay3인 제2 확장층을 참조하면, 1의 "참조 플래그' 파라미터 값은 다시 한번, 이전 층에 적용된 것과 동일하게 현재 층에 대해서 128 크기의 DC 보상인 전처럼 현재 층에 어떤 필요한 DC 보상을 적용할 것을 디코더에 지시한다. 현재 층에 대한 스케일링 인자가 1이기 때문에, 도 9의 합산 블록(94)의 우측에 도시한 스케일링 블록은 없다.
이 발명을 특정의 실시예들을 참조하여 기술하였으나, 첨부한 청구항들에 개시된 이 발명의 정신 및 범위 내에서 많은 변형들이 행해질 수 있음을 알 것이다. 따라서, 본 명세서 및 도면들은 예시적인 것으로 간주하고 첨부한 청구항들의 범위를 제한하는 것은 아니다.

Claims (25)

  1. 이종 계층화된 비디오 지원(heterogeneous layered video support)을 제공하는 방법에 있어서,
    적어도 2개의 층들(BS, ES)이 디코더(200)에서 어떻게 결합될 것인지를 정의하는 시그널링 정보(220)를 구성하는 단계; 및
    상기 적어도 2개의 층들(BS, ES)과 함께 상기 시그널링 정보를 전송 스트림(250)으로 상기 디코더(200)에 전송하는 단계를 포함하는 이종 계층화된 비디오 지원 제공 방법.
  2. 제1항에 있어서, 상기 전송 스트림(250)은 MPEG-2 전송 스트림인, 이종 계층화된 비디오 지원 제공 방법.
  3. 제1항에 있어서, 상기 시그널링 정보(220)는 복수의 파라미터 리스트들로서 구성되는, 이종 계층화된 비디오 지원 제공 방법.
  4. 제3항에 있어서, 상기 복수의 파라미터 리스트들 각각은 상기 전송 스트림(250)의 고유 QOS(quality of service)를 정의하는, 이종 계층화된 비디오 지원 제공 방법.
  5. 제1항에 있어서, 상기 시그널링 정보(220)는 파라미터 리스트로서 구성되는, 이종 계층화된 비디오 지원 제공 방법.
  6. 제5항에 있어서, 상기 파라미터 리스트는 복수의 파라미터 값들로 이루어진, 이종 계층화된 비디오 지원 제공 방법.
  7. 제6항에 있어서, 상기 파라미터 값들은 상기 적어도 2개의 층들(BS, ES) 각각에 대한 시그널링 정보를 정의하는, 이종 계층화된 비디오 지원 제공 방법.
  8. 제6항에 있어서, 상기 파라미터 값들 중 하나는 대응하는 층에 대해 DC 보상을 정의하는, 이종 계층화된 비디오 지원 제공 방법.
  9. 제8항에 있어서, 상기 파라미터 값들 중 적어도 2개는 대응하는 층에 대해, 참조층과 상기 대응하는 층을 결합하는데 필요한 필터링 동작을 위해 수평 FIR 계수들을 정의하는, 이종 계층화된 비디오 지원 제공 방법.
  10. 제8항에 있어서, 상기 파라미터 값들 중 적어도 2개는 대응하는 층에 대해, 참조층과 상기 대응하는 층을 결합하는데 필요한 필터링 동작을 위해 수직 FIR 계수들을 정의하는, 이종 계층화된 비디오 지원 제공 방법.
  11. 제6항에 있어서, 상기 파라미터 값들 중 하나는 대응하는 층에 대해, 비디오 스트림 엔코딩 유형을 정의하는, 이종 계층화된 비디오 지원 제공 방법.
  12. 제6항에 있어서, 상기 파라미터값들 중 2개의 비는 대응하는 층에 대해, 수평 스케일링 인자를 정의하는, 이종 계층화된 비디오 지원 제공 방법.
  13. 제6항에 있어서, 상기 파라미터값들 중 2개의 비는 대응하는 층에 대해, 수직 스케일링 인자를 정의하는, 이종 계층화된 비디오 지원 제공 방법.
  14. 제6항에 있어서, 상기 파라미터들 중 하나는 현재 층과 결합될 상기 참조층의 식별자를 정의하는, 이종 계층화된 비디오 지원 제공 방법.
  15. 제6항에 있어서, 상기 파라미터들 중 하나는 상기 현재 층이 상기 참조층과 어떻게 결합되는지를 결정하는, 이종 계층화된 비디오 지원 제공 방법.
  16. 제15항에 있어서, 상기 현재 층은 병렬 및 순차식 중 하나로 상기 참조층과 결합되는, 이종 계층화된 비디오 지원 제공 방법.
  17. 제6항에 있어서, 상기 파라미터들 중 하나는 대응하는 층이 인터레이스 또는 프로그레시브 비디오 스트림 중 하나를 포함하는지를 정의하는, 이종 계층화된 비 디오 지원 제공 방법.
  18. 제1항에 있어서, 상기 시그널링 정보는 MPEG 시스템 디스크립터들에 의해 임베딩되는, 이종 계층화된 비디오 지원 제공 방법.
  19. 이종 계층화된 비디오 지원을 제공하는 방법에 있어서,
    적어도 2개의 층들(BS, ES)이 디코더(200)에서 어떻게 결합될 것인지를 정의하는 시그널링 정보(220)를 구성하는 단계; 및
    상기 적어도 2개의 층들(BS, ES)과 함께 상기 시그널링 정보(220)를 프로그램 스트림으로 상기 디코더(200)에 전송하는 단계를 포함하는 이종 계층화된 비디오 지원 제공 방법.
  20. 제19항에 있어서, 상기 프로그램 스트림은 MPEG-2 프로그램 스트림인, 이종 계층화된 비디오 지원 제공 방법.
  21. 이종 계층화된 비디오 지원을 제공하는 방법에 있어서,
    적어도 2개의 층들(BS, ES)이 디코더(200)에서 어떻게 결합될 것인지를 정의하는 시그널링 정보(220)를 구성하는 단계; 및
    상기 적어도 2개의 층들(BS, ES)을, MPEG-2 전송 스트림, MPEG-2 프로그램 스트림 및 인터넷 프로토콜(IP) 스트림 중 적어도 하나를 통해 상기 디코더에 전송 하는 단계; 및
    상기 시그널링 정보를, MPEG-2 전송 스트림, MPEG-2 프로그램 스트림 및 인터넷 프로토콜(IP) 스트림 중 적어도 하나를 통해 상기 디코더(200)에 전송하는 단계를 포함하는 이종 계층화된 비디오 지원 제공 방법.
  22. 이종 계층화된 비디오 지원을 제공하는 방법에 있어서,
    적어도 2개의 층들(BS, ES)이 디코더(200)에서 어떻게 결합될 것인지를 정의하는 시그널링 정보(220)를 구성하는 단계; 및
    상기 적어도 2개의 층들(BS, ES)을, 각 층에 대한 전송 세션에서 실시간 전송 프로토콜(RTP)을 사용하는 인터넷 프로토콜을 통해 전송하는 단계; 및
    상기 전송 세션의 정황(context) 내에서 상기 시그널링 정보(220)를 전송하는 단계를 포함하는 이종 계층화된 비디오 지원 제공 방법.
  23. 제22항에 있어서, 상기 시그널링 정보(220)는 상기 세션 내에서 대역내로 전송되는, 이종 계층화된 비디오 지원 제공 방법.
  24. 제22항에 있어서, 상기 시그널링 정보(220)는 상기 세션 내에서 대역외로 전송되는, 이종 계층화된 비디오 지원 제공 방법.
  25. 제22항에 있어서, 상기 시그널링 정보(220)는 세션 디스크립션 프로토 콜(SDP)을 사용하여 전송되는, 이종 계층화된 비디오 지원 제공 방법.
KR1020067010877A 2003-12-03 2004-12-02 Ｍｐｅｇ-2 시스템에서 향상된 범위성 지원을 위한 시스템및 방법 KR101117586B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US52649903P 2003-12-03 2003-12-03
US60/526,499 2003-12-03
US56646204P 2004-04-29 2004-04-29
US60/566,462 2004-04-29
PCT/IB2004/052647 WO2005055605A1 (en) 2003-12-03 2004-12-02 System and method for improved scalability support in mpeg-2 systems

Publications (2)

Publication Number Publication Date
KR20060131769A true KR20060131769A (ko) 2006-12-20
KR101117586B1 KR101117586B1 (ko) 2012-02-27

Family

ID=34657219

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067010877A KR101117586B1 (ko) 2003-12-03 2004-12-02 Ｍｐｅｇ-2 시스템에서 향상된 범위성 지원을 위한 시스템및 방법

Country Status (6)

Country Link
US (1) US20070160126A1 (ko)
EP (1) EP1692872A1 (ko)
JP (1) JP2007513565A (ko)
KR (1) KR101117586B1 (ko)
CN (1) CN1890974B (ko)
WO (1) WO2005055605A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101131374B1 (ko) * 2006-03-16 2012-04-04 애플 인크. 비확장성 디코더와 호환성 있는 확장성 비디오 코딩/멀티플렉싱
KR101353655B1 (ko) * 2012-06-22 2014-01-21 한국방송공사 이종 코덱을 이용한 스케일러블 비디오 부호화 및 복호화 방법 및 그 장치

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050254575A1 (en) * 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
JP4849479B2 (ja) * 2004-06-07 2012-01-11 エージェンシー フォー サイエンス，テクノロジー アンド リサーチ スケーラブルにデータを符号化及び復号化するシステム及び方法
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8374238B2 (en) 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
KR20080006609A (ko) * 2005-04-13 2008-01-16 노키아 코포레이션 스케일링가능성 정보의 코딩, 저장, 및 시그널링
US20060271990A1 (en) * 2005-05-18 2006-11-30 Rodriguez Arturo A Higher picture rate HD encoding and transmission with legacy HD backward compatibility
JP4565392B2 (ja) * 2005-12-22 2010-10-20 日本ビクター株式会社 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム
US8989528B2 (en) 2006-02-22 2015-03-24 Hansen Medical, Inc. Optical fiber grating sensors and methods of manufacture
WO2007116207A1 (en) * 2006-04-07 2007-10-18 Beamups Limited Encoding and decoding a signal
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
US8565314B2 (en) * 2006-10-12 2013-10-22 Qualcomm Incorporated Variable length coding table selection based on block type statistics for refinement coefficient coding
US9319700B2 (en) * 2006-10-12 2016-04-19 Qualcomm Incorporated Refinement coefficient coding based on history of corresponding transform coefficient values
US8599926B2 (en) * 2006-10-12 2013-12-03 Qualcomm Incorporated Combined run-length coding of refinement and significant coefficients in scalable video coding enhancement layers
US8238424B2 (en) 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US8457214B2 (en) 2007-09-10 2013-06-04 Cisco Technology, Inc. Video compositing of an arbitrary number of source streams using flexible macroblock ordering
KR100937590B1 (ko) * 2007-10-23 2010-01-20 한국전자통신연구원 다중 품질 서비스 영상 콘텐츠 제공 시스템 및 그것의업그레이드 방법
US8750390B2 (en) * 2008-01-10 2014-06-10 Microsoft Corporation Filtering and dithering as pre-processing before encoding
US8160132B2 (en) 2008-02-15 2012-04-17 Microsoft Corporation Reducing key picture popping effects in video
US8953673B2 (en) * 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8711948B2 (en) * 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8213503B2 (en) * 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
US8958485B2 (en) * 2010-06-04 2015-02-17 Broadcom Corporation Method and system for providing selected layered video service via a broadband gateway
US20100262708A1 (en) * 2009-04-08 2010-10-14 Nokia Corporation Method and apparatus for delivery of scalable media data
DE102010010736A1 (de) * 2010-03-09 2011-09-15 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Verfahren zur Kompression von Bilddaten
JP5594002B2 (ja) * 2010-04-06 2014-09-24 ソニー株式会社 画像データ送信装置、画像データ送信方法および画像データ受信装置
US8971417B2 (en) * 2010-08-19 2015-03-03 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multilayer videos
US20120071752A1 (en) 2010-09-17 2012-03-22 Sewell Christopher M User interface and method for operating a robotic medical system
US20120191079A1 (en) 2011-01-20 2012-07-26 Hansen Medical, Inc. System and method for endoluminal and translumenal therapy
US20130030363A1 (en) 2011-07-29 2013-01-31 Hansen Medical, Inc. Systems and methods utilizing shape sensing fibers
JP6313211B2 (ja) 2011-10-25 2018-04-18 デイライト ソリューションズ、インコーポレイテッド 赤外撮像顕微鏡
WO2014034463A1 (ja) * 2012-08-27 2014-03-06 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
MY201898A (en) * 2012-09-27 2024-03-22 Dolby Laboratories Licensing Corp Inter-layer reference picture processing for coding-standard scalability
US20140092971A1 (en) * 2012-09-28 2014-04-03 Kiran Mukesh Misra Picture processing in scalable video systems
US20150373354A1 (en) * 2013-01-07 2015-12-24 Samsung Electronics Co., Ltd. Method and device for encoding/decoding image so that image is compatible with multiple codecs
CN105580369B (zh) 2013-03-11 2019-04-26 杜比实验室特许公司 使用分层编码对多格式高动态范围视频进行编解码的方法、装置及系统
MX349993B (es) 2013-04-08 2017-08-22 Arris Entpr Llc Gestion de memoria intermedia individual en codificacion de video.
WO2015034306A1 (ko) * 2013-09-09 2015-03-12 엘지전자 주식회사 디지털 방송 시스템에서 고화질 uhd 방송 컨텐츠 송수신 방법 및 장치
JP5947269B2 (ja) * 2013-09-24 2016-07-06 ソニー株式会社 符号化装置、符号化方法、送信装置および受信装置
US20150195549A1 (en) * 2014-01-08 2015-07-09 Qualcomm Incorporated Support of non-hevc base layer in hevc multi-layer extensions
CA2949823C (en) 2014-05-21 2020-12-08 Arris Enterprises Llc Individual buffer management in transport of scalable video
US10205949B2 (en) 2014-05-21 2019-02-12 Arris Enterprises Llc Signaling for addition or removal of layers in scalable video
US10140066B2 (en) * 2016-02-01 2018-11-27 International Business Machines Corporation Smart partitioning of storage access paths in shared storage services
US10567703B2 (en) 2017-06-05 2020-02-18 Cisco Technology, Inc. High frame rate video compatible with existing receivers and amenable to video decoder implementation
KR20220003511A (ko) * 2019-03-20 2022-01-10 브이-노바 인터내셔널 리미티드 낮은 복잡도 향상 비디오 코딩
US11328387B1 (en) * 2020-12-17 2022-05-10 Wipro Limited System and method for image scaling while maintaining aspect ratio of objects within image

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
US5515377A (en) * 1993-09-02 1996-05-07 At&T Corp. Adaptive video encoder for two-layer encoding of video signals on ATM (asynchronous transfer mode) networks
JP4330040B2 (ja) * 1995-06-29 2009-09-09 トムソン マルチメデイア ソシエテ アノニム 階層化圧縮ビデオ・データを符号化し復号化するためのシステム
US5987181A (en) * 1995-10-12 1999-11-16 Sharp Kabushiki Kaisha Coding and decoding apparatus which transmits and receives tool information for constructing decoding scheme
US6731811B1 (en) * 1997-12-19 2004-05-04 Voicecraft, Inc. Scalable predictive coding method and apparatus
JPH11331613A (ja) * 1998-05-20 1999-11-30 Matsushita Electric Ind Co Ltd 階層型映像信号符号化装置と階層型映像信号復号化装置
JP2000209580A (ja) * 1999-01-13 2000-07-28 Canon Inc 画像処理装置およびその方法
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
CA2395605C (en) * 1999-12-22 2011-04-05 General Instrument Corporation Video compression for multicast environments using spatial scalability and simulcast coding
JP3561485B2 (ja) * 2000-08-18 2004-09-02 株式会社メディアグルー 符号化信号分離・合成装置、差分符号化信号生成装置、符号化信号分離・合成方法、差分符号化信号生成方法、符号化信号分離・合成プログラムを記録した媒体および差分符号化信号生成プログラムを記録した媒体
JP2002142227A (ja) * 2000-11-02 2002-05-17 Matsushita Electric Ind Co Ltd 映像信号の階層型符号化装置および階層型復号化装置
US7274661B2 (en) * 2001-09-17 2007-09-25 Altera Corporation Flow control method for quality streaming of audio/video/media over packet networks
WO2003036984A1 (en) * 2001-10-26 2003-05-01 Koninklijke Philips Electronics N.V. Spatial scalable compression
KR20040054746A (ko) * 2001-10-26 2004-06-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 공간 스케일가능 압축 방법 및 장치
US7899059B2 (en) * 2003-11-12 2011-03-01 Agere Systems Inc. Media delivery using quality of service differentiation within a media stream

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101131374B1 (ko) * 2006-03-16 2012-04-04 애플 인크. 비확장성 디코더와 호환성 있는 확장성 비디오 코딩/멀티플렉싱
KR101353655B1 (ko) * 2012-06-22 2014-01-21 한국방송공사 이종 코덱을 이용한 스케일러블 비디오 부호화 및 복호화 방법 및 그 장치

Also Published As

Publication number Publication date
US20070160126A1 (en) 2007-07-12
JP2007513565A (ja) 2007-05-24
KR101117586B1 (ko) 2012-02-27
CN1890974A (zh) 2007-01-03
CN1890974B (zh) 2012-05-16
WO2005055605A1 (en) 2005-06-16
EP1692872A1 (en) 2006-08-23

Similar Documents

Publication Publication Date Title
KR101117586B1 (ko) Ｍｐｅｇ-2 시스템에서 향상된 범위성 지원을 위한 시스템및 방법
EP2316224B1 (en) Conversion operations in scalable video encoding and decoding
US7787540B2 (en) Method for scalably encoding and decoding video signal
US8761252B2 (en) Method and apparatus for scalably encoding and decoding video signal
US7362906B2 (en) Computational graceful degradation method using priority information in multiple objects case
US8660180B2 (en) Method and apparatus for scalably encoding and decoding video signal
US8755434B2 (en) Method and apparatus for scalably encoding and decoding video signal
WO2009054596A1 (en) Method, medium, and apparatus for encoding and/or decoding video
US20080212682A1 (en) Reduced resolution video transcoding with greatly reduced complexity
KR100880640B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
KR100878824B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
KR100883604B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
US20080008241A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
US20070242747A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
US20070223573A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
KR100878825B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee