KR20120018281A - 다계층 영상 부호화 및 복호화 방법 및 장치 - Google Patents

다계층 영상 부호화 및 복호화 방법 및 장치 Download PDF

Info

Publication number
KR20120018281A
KR20120018281A KR20110083015A KR20110083015A KR20120018281A KR 20120018281 A KR20120018281 A KR 20120018281A KR 20110083015 A KR20110083015 A KR 20110083015A KR 20110083015 A KR20110083015 A KR 20110083015A KR 20120018281 A KR20120018281 A KR 20120018281A
Authority
KR
South Korea
Prior art keywords
layer
stream
codec
lower layer
upper layer
Prior art date
Application number
KR20110083015A
Other languages
English (en)
Other versions
KR101977689B1 (ko
Inventor
김대희
조대성
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20120018281A publication Critical patent/KR20120018281A/ko
Application granted granted Critical
Publication of KR101977689B1 publication Critical patent/KR101977689B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 하위 계층과 상위 계층이 서로 다른 코덱을 사용하는 다계층 영상 복호화 시스템의 비트 스트림을 복호하는 방법에 있어서, 상기 상위 계층 스트림을 위한 코덱을 식별하기 위한 식별자와 상기 상위 계층 스트림의 특성을 나타내는 정보와 상기 상위 계층 스트림과 하위 계층 스트림 간의 관계를 나타내는 정보 중 적어도 하나를 포함하는 상위 계층 스트림과, 하위 계층 스트림을 포함하는 비트 스트림을 수신하는 과정과, 상기 비트 스트림에서 상기 상위 계층 스트림과 상기 하위 계층 스트림을 역다중화하는 과정과, 상기 하위 계층 스트림을 복호하는 과정과, 상기 식별자와, 상기 상위 계층 스트림의 특성을 나타내는 정보를 이용하여 상기 상위 계층 스트림을 복호하는 과정을 포함한다.

Description

다계층 영상 부호화 및 복호화 방법 및 장치{APPARATUS AND METHOD FOR ENCODING/DECODING MULTI-LAYER VIDEOS}
본 발명은 다계층 영상 부호화 및 복호화 방법 및 장치에 관한 것이다. 특히, 다계층 영상 부호화 및 복호화 시스템에서 기본 계층과 상위 계층에서 서로 다른 코덱을 사용할 경우 상기 기본 계층의 비트열과 상위 계층의 비트열을 MPEG-2 TS 또는 MPEG-2 PS 패킷에 인캡슐레이션(Encapsulation)하여 부호화 및 복호화하는 방법 및 장치에 관한 것이다.
다계층 영상 부호화/복호화는 네트워크의 다양한 대역폭과 디바이스의 다양한 디코딩 능력 및 사용자의 제어에 따른 QoS(Quality of Service)를 만족시키기 위한 것이다. 즉, 부호화기에서 한 번의 부호화로 계층화된 다계층 영상 비트열들을 발생시키고, 복호화기에서는 복호 능력에 맞게 다계층 영상 비트열들을 복호화한다. 이러한 다계층 영상 부호화/복호화를 통하여 시간적, 공간적, SNR(Signal-to-noise ratio) 계층 부호화를 할 수 있으며, 어플리케이션 시나리오에 따라 두 개 이상의 계층에 따른 부호화/복호화도 가능하다. 예를 들어, 기본 계층에서는 기본 해상도의 영상을 부호화하고, 다음 상위 계층에서는 보다 높은 해상도의 영상을 얻기 위하여 추가적인 부호화를 수행하고, 다음 상위 계층에서도 마찬가지로 추가적인 부호화를 수행하는 것이다. 참고로 상기 다계층 영상 부호화 기술은 처음 H.262/MPEG-2 시스템 규격에서 도입되었다.
이하에서는 이해를 위하여 MPEG-2 시스템 규격의 다중화 방식 및 MPEG-2 스트림에 대하여 간략히 설명한다.
MPEG-2 시스템 규격에서의 다중화는 MPEG-2 영상, 음성, 데이터 등의 각각의 기본 스트림(ES)을 다중화하여 하나의 전송 스트림(TS : Transport Stream)을 만들거나, 하나 이상의 전송 스트림(TS)를 다시 하나의 전송 스트림(TS)으로 다중화하는 과정이다.
도 1은 MPEG-2 시스템 규격에서의 다중화 방식을 설명하는 도면이다.
도 1을 참조하면, 영상, 음성, 데이터 각각은 영상 부호화기(101), 음성 부호화기(103), 데이터 부호화기(105)로 각각 입력되어 부호화되어 기본 스트림들(ES: Elementary streams)로 출력된다. 상기 ES들은 패킷 생성기들(111, 113, 115)들을 통하여 패킷으로 출력된다. 상기 패킷들은 프로그램 다중화기(120)를 통하여 패킷화된 기본 스트림(PES: Packetized Elementary Stream)들로 출력된다. 한편, 복수의 PES들은 전송 다중화기(130)를 통하여 다중화되어 전송 스트림(TS : Transport Stream)이 된다.
한편, MPEG-2 스트림은 크게 프로그램 스트림(PS : Program Stream)과 전송 스트림(TS : Transport Stream)으로 분류된다. 상기 PS는 단일한 프로그램을 오류가 없는 채널 환경에서 다중화되는 것으로, 예를 들어, CD-ROM과 같은 저장매체에 저장하기 위한 스트림이다. 상기 TS는 상기 도 1에서 설명된 바와 같이 복수의 프로그램을 하나의 비트열로 구성할 수 있으며, 네트워크 상의 전송 또는 방송을 위한 스트림이다. 참고로 상기 프로그램이란 음성/영상 비트열을 포함하는 기본 단위를 말한다.
상기 TS는 패킷 식별자(PID: Packet Idendifier)로 식별되고, 프로그램 맵 테이블(PMT:Program Map Table)과 적어도 하나 이상의 PES를 포함한다. 상기 PMT는 하나의 프로그램을 구성하는 프로그램 요소(element)들의 형식 및 패킷 식별자(PID: Packet Idendifier)를 설명하는 기능을 한다. 한편, 상기 PES는 상기 도 1에서 설명된 바와 같이 PE가 패킷화된 것이다.
상기 PS는 스트림 ID로 식별되고, 프로그램 스트림 맵(Program stream map)과, PES를 포함한다. 상기 프로그램 스트림 맵은 상기 PMT와 유사한 기능을 한다.
한편, 기존의 다계층 영상 부호화기에서 각 계층별로 생성된 비트열은 기본 계층과 동일한 포맷의 영상 코덱을 사용하기 때문에 하나의 기본 스트림(ES)으로 간주되어 처리된다. 즉, 상위 계층에서 부호화되는 데이터와 하위 계층에서 부호화되는 데이터가 동일한 구조의 영상 코덱을 사용함에 따라 상위 계층 데이터와 하위 계층 데이터는 모두 동일한 스트림 ID(stream ID)를 갖는다. 참고로 상기 PES의 헤더에는 스트림의 ID를 나타낼 수 있는 "스트림 ID(stream ID)"필드를 포함한다. 즉, 다계층 영상 부호화기에서 생성된 상위 계층 데이터와 하위 계층 데이터가 하나의 기본 스트림(ES)로 처리되며, 수신측에서도 하나의 기본 스트림으로 판단하여 하나의 복호기에서 복호된다. 이하에서 상기 기본 계층은 0계층으로 표기될 수 있으며, 양자는 동일한 의미로 혼용될 수 있다. 또한, 상위 계층은 기본 계층보다 상위의 계층들을 모두 포함한다. 다만, 상위 계층 들 간에서 서로 상대적인 의미로 사용되어 제2 계층이 제1 계층보다 상위 계층이 될 것이다. 따라서 0, 1, 2계층으로 구성되는 경우 0계층이 기본 계층이 되고 1, 2 계층은 상위 계층이 된다. 다만, 1, 2, 계층 간에는 2계층이 상위 계층이 된다.
한편, 다계층 영상 부호화 시에 하위 계층과 상위 계층에서 서로 다른 코덱을 사용하는 부호화기를 사용하여 계층적 데이터를 생성한다면, MPEG-2 전송 시스템에서는 상기 계층 별로 서로 다른 코덱을 사용하는 영상 데이터를 전송할 수 없다. 특히, 상위 계층에서 MPEG-2 시스템과 호환하는 H.264, H. 262, MPEG-2, MPEG-4, VC-4 등의 표준 코덱이 아닌 다른 코덱, 예를 들어, VC-4 코덱을 사용할 경우 상위 계층 스트림을 전송할 수 없다. 이는 기존의 MPEG-2 시스템은 계층별로 동일한 코덱을 사용하여 부호화할 것을 전제로 하기 때문이다. 따라서 다계층 영상 부호화를 구현하는 데 있어 계층 별로 다른 코덱을 사용하여 부호화할 경우 MPEG-2 시스템의 계층을 통하여 부호화된 데이터를 전송할 수 있는 방안이 필요하다.
본 발명은 다계층 영상 부호화 및 복호화 시 계층 별로 서로 다른 코덱을 사용할 경우, 기본 계층과 상위 계층의 패킷을 생성하고, 상기 패킷을 복호하기 위한 방법 및 장치를 제공합니다.
본 발명은 다계층 영상 부호화 및 복호화 시 계층 별로 서로 다른 코덱을 사용할 경우, 상위 계층의 패킷을 MPEG-2 시스템과 호환하여 송수신하기 위한 방법 및 장치를 제공한다.
본 발명은 하위 계층과 상위 계층이 서로 다른 코덱을 사용하는 다계층 영상 부호화 시스템에서 상위 계층 스트림을 생성하는 방법에 있어서, 상기 상위 계층 스트림에 상기 상위 계층 스트림을 위한 코덱을 식별하기 위한 식별자를 포함하는 과정과, 상기 상위 계층 스트림에 상기 상위 계층 스트림의 특성을 나타내는 정보와, 상기 상위 계층 스트림과 하위 계층 스트림 간의 관계를 나타내는 정보 중 적어도 하나를 포함하는 과정을 포함한다.
본 발명은 하위 계층과 상위 계층이 서로 다른 코덱을 사용하는 다계층 영상 부호화 시스템에서 상위 계층 스트림을 생성하는 장치에 있어서, 상기 상위 계층 스트림에, 상기 상위 계층 스트림의 특성을 나타내는 정보와, 상기 상위 계층 스트림과 하위 계층 스트림 간의 관계를 나타내는 정보 중 적어도 하나를 포함시키는 상위 계층 패킷 생성부를 포함한다.
본 발명은 하위 계층과 상위 계층이 서로 다른 코덱을 사용하는 다계층 영상 복호화 시스템의 비트 스트림을 복호하는 방법에 있어서, 상기 상위 계층 스트림을 위한 코덱을 식별하기 위한 식별자와 상기 상위 계층 스트림의 특성을 나타내는 정보와 상기 상위 계층 스트림과 하위 계층 스트림 간의 관계를 나타내는 정보 중 적어도 하나를 포함하는 상위 계층 스트림과, 하위 계층 스트림을 포함하는 비트 스트림을 수신하는 과정과, 상기 비트 스트림에서 상기 상위 계층 스트림과 상기 하위 계층 스트림을 역다중화하는 과정과, 상기 하위 계층 스트림을 복호하는 과정과, 상기 식별자와, 상기 상위 계층 스트림의 특성을 나타내는 정보를 이용하여 상기 상위 계층 스트림을 복호하는 과정을 포함한다.
본 발명은 하위 계층과 상위 계층이 서로 다른 코덱을 사용하는 다계층 영상 복호화 시스템의 비트 스트림을 복호하는 장치에 있어서, 상기 상위 계층 스트림을 위한 코덱을 식별하기 위한 식별자와 상기 상위 계층 스트림의 특성을 나타내는 정보와 상기 상위 계층 스트림과 하위 계층 스트림 간의 관계를 나타내는 정보 중 적어도 하나를 포함하는 상위 계층 스트림과, 하위 계층 스트림을 포함하는 비트 스트림을 수신하고, 상기 비트 스트림에서 상기 상위 계층 스트림과 상기 하위 계층 스트림을 역다중화하여 출력하는 역다중화부와, 상기 하위 계층 스트림을 복호하는 하위 계층 복호부와, 상기 식별자와, 상기 상위 계층 스트림의 특성을 나타내는 정보를 이용하여 상기 상위 계층 스트림을 복호하는 상위 계층 복호부를 포함한다.
도 1은 MPEG-2 시스템의 다중화 방식을 설명하는 도면,
도 2는 본 발명의 실시예에 따른 다계층 영상 부호화 장치의 구성을 나타낸 도면,
도 3은 본 발명의 실시예에 따른 다계층 영상 복호화 장치의 구성을 나타낸 도면,
도 4는 본 발명의 실시예에 따른 MPEG-2 PES(Packetized Elementary Stream) 패킷의 포맷을 설명하는 도면,
도 5 및 도 6은 본 발명의 실시예에 따른 MPEG-2 시스템의 프로그램 맵 테이블(PMT:Program Map Table)을 설명하는 도면,
도 7은 본 발명의 실시예에 따른 TS 시스템 타겟 복호기를 설명하는 도면,
도 8 및 도 9는 본 발명의 실시예에 따른 PS(Progrma Stream) 맵을 설명하는 도면,
도 10은 본 발명의 실시예에 따른 PS 시스템 타겟 복호기를 설명하는 도면.
이하에서 본 발명의 바람직한 실시 예들을 첨부한 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성 요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명을 생략한다.
본 발명은 다계층 영상 부호화 시 기본 계층에서 MPEG-2, H.262, MPEG-4, H.264, VC-1과 같은 코덱을 사용하여 기본 계층의 스트림을 생성하고, 상위 계층에서는 상기 기본 계층의 코덱과는 다른, 예를 들면, VC-4와 같은 코덱을 사용하여 상위 계층 스트림을 생성할 시 기본 계층의 스트림과 상기 상위 계층의 스트림을 MPEG-2 시스템 프로토콜을 통하여 송신하기 위한 방법을 제안한다. 이하에서 기본 계층에서 사용되는 코덱을 "기본 계층 코덱"이라 하고, 상위 계층에서 사용되는 코덱을 "상위 계층 코덱"이라고 정의한다. 상기 기본 계층 코덱은 MPEG-2 시스템에서 기본 계층에 사용될 수 있도록 허용된 코덱으로서 대표적인 예는 MPEG-2, H.262, MPEG-4, H.264, VC-1 가 있다. 상기 상위 계층 코덱은 MPEG-2 시스템에서 기본 계층 코덱으로 사용될 수 있도록 허용되지 않은 코덱으로서 대표적으로 VC-4 코덱이 있으나, 이는 일 예일 뿐, VC-4 이외의 코덱도 될 수 있다.
즉, 본 발명은 기본 계층 코덱과 상위 계층 코덱이 서로 다른 경우, 각 계층에서 생성된 비트열을 처리할 때, 각 계층의 비트열을 MPEG-2 시스템 규격과 호환성을 유지하면서 전송 또는 저장하는 방법을 제안한다.
이를 위하여 본 발명에서는 상위 계층의 TS 스트림을 생성 시 TS 스트림에 상위 계층 코덱의 정보를 표시하기 위하여 MPEG-2 시스템의 PES 패킷의 옵셔널 헤더(Optional Header)에 확장 스트림 ID를 표시하기 위한 "stream_id extension" 필드를 추가하고, TS 프로그램 맵에 상기 상위 계층 비트열의 특징을 나타내기 위한 필드들을 추가한다.
또한, 본 발명에서는 상위 계층의 PS 스트림을 생성 시 확장 스트림 ID를 PES 패킷에 포함하고, 프로그램 스트림 맵에 상위 계층 비트열의 특징을 표시하기 위한 필드들을 추가한다.
도 2는 본 발명의 실시예에 따른 다계층 영상 부호화 장치의 구성을 나타낸 도면이다.
도 2의 실시 예에서 2개의 계층 부호화를 위해서는 원래 입력 영상을 하향 변환한다. 상기 하향 변환된(down-converted) 영상은 기본 계층 영상(제0 계층)이고, 원래 입력 영상은 상위 계층(제1 계층) 영상임을 가정한다. 본 발명에서 상기 기본 계층 영상은 MPEG-2, H.262, MPEG-4, H.264, VC-1과 같은 기본 계층 코덱을 사용하여 부호화되어 기본 계층 비트열(base layer bit stream)이 생성되고, 상기 제2 계층 영상은 VC-4와 같은 상위 계층 코덱을 사용하여 생성된다.
도 2의 부호화 장치는 기본 계층 비트열을 복원하고, 포맷 상향 변환 과정을 거친 기본 계층 영상과 제1 계층 영상과의 차이인 잔차(residual) 영상을 부호화하여 제1 계층 비트열을 생성한다. 도 2를 참조하여 구체적으로 설명하면 아래와 같다.
도 2에서 부호화 장치는 입력 영상(원 영상)을 포맷 하향 변환부(201)를 통해 하향 변환한다. 상기 입력 영상으로부터 하향 변환된 영상, 즉, 포맷 하향 변환부(201)를 통해 출력되는 영상은 기본 계층 영상이고, 원래의 입력 영상은 상위 계층(제1 계층) 영상이다.
기본 계층 부호화부(203)는 기본 계층 영상을 부호화하여 기본 계층 비트열을 생성한다. 기본 계층 부호화부(203)는 MPEG-2, H.262, MPEG-4, H.264, VC-1 코덱을 사용한다. 기본 계층 패킷 생성부(204)는 상기 기본 계층 비트열을 이용하여 기본 계층의 패킷을 생성한다.
기본 계층 복원부(205)는 기본 계층 비트열을 복원하고, 이렇게 복원된 기본 계층 비트열은 포맷 상향 변환부(207)에서 포맷 상향 변환 과정을 거치게 된다. 잔차 검출부(209)는 상기 포맷 상향 변환 과정을 거쳐 얻어진 영상 즉, 상향 변환(up-converted) 기본 계층 영상과 제1계층 영상간의 차이를 구하여 잔차를 출력한다.
잔차 부호화부(211)는 잔차 영상을 부호화하여 상위 계층(제1 계층) 비트열을 생성한다. 본 발명에서 잔차 부호화부(211)는 VC-4 코덱처럼 잔차를 부호화할 수 있는 코덱을 사용한다. 참고로, 상기 잔차 영상은 기본 계층 비트열을 복원하고 포맷 상향 변환 과정을 거친 영상과 제1 계층 영상간의 차이를 의미한다.
제1 계층 패킷 생성부(212)는 본 발명에서 제안하는 제1 계층 패킷을 생성한다. 즉, TS를 위한 제1 계층의 패킷을 생성할 때, 제1 계층의 확장 스트림 ID에 해당되는 정보는 PES 패킷에 포함되고, 제1 계층 스트림의 특징을 나타내는 정보들은 PMT의 형태로 TS에 포함된다. 상세한 설명은 도 4 내지 도 6에 설명한다. 또한, PS를 위한 제1 계층의 패킷을 생성할 때 확장 스트림 ID에 해당되는 정보는 PES 패킷에 포함되고, 제1 계층 스트림의 특징을 나타내는 정보들은 상기 프로그램 스트림 맵에 포함된다.
도 2에서는 기본 계층 영상, 제1 계층 영상을 포함하는 다계층 영상을 부호화하여 출력하는 부호화 장치의 구성을 예시하였으나, 이와 같은 방법으로 3 개 계층 이상의 다계층 비트열을 생성할 수도 있다.
도 3은 본 발명의 실시예에 따른 다계층 영상 복호화 장치의 구성을 나타낸 도면이다.
도 3의 다계층 영상 복호화 장치는 MPEG-2, H.262, MPEG-4, H.264, VC-1과 같은 기본 계층 코덱을 사용하여 기본 계층 영상(제0 계층 영상)을 복원하고, VC-4와 같은 상위 계층 코덱을 사용하여 제1 계층 영상을 복원한다. 구체적으로 도 3의 복호화 장치는 제1 계층 비트열을 잔차 복호부(305)를 통해 제1 계층의 잔차 영상을 복호화하고, 이렇게 복호화된 제1 계층의 잔차 영상과, 상기 복호화된 기본 계층 영상을 포맷 상향 변환 과정을 거친 영상과 합하여 제1 계층 영상을 복원한다.
도 3을 참조하면, 전송 스트림(TS) 또는 프로그램 스트림(PS)이 역다중화부(300)로 입력되면, 상기 역다중화부(300)는 상기 전송 스트림 또는 프로그램 스트림을 각 계층별로 역다중화하고, 각 계층별 기본 스트림을 출력하여 기본 계층의 스트림은 기본 계층 복호부(301)로 전달하고, 상위 계층의 스트림들은 잔차 복호부(305)로 전달한다. 도 3은 상위 계층이 하나인 경우를 가정하였기 때문에 제1 계층 영상이 잔차 복호부(305)로 전달되는 것으로 도시되었다.
기본 계층 복호화부(301)는 기본 계층 비트열을 복호화하여 기본 계층 영상을 복원한다. 기본 계층 복호화부(301)는 MPEG-2, H.262, MPEG-4, H.264. VC-1과 같은 기본 계층 코덱을 사용한다.
잔차 복호화부(305)는 상위 계층(제1 계층) 비트열을 복호화하여 잔차 영상을 출력한다. 상기 잔차 복호화부(305)는 VC-4와 같은 상위 계층 코덱을 사용한다. 여기서 제1 계층 비트열을 복호화하여 잔차 영상을 출력하는 것에 대해서는 전술한 도 2에 나타낸 부호화 과정을 참조하여 이해할 수 있다. 즉, 도 2에 따르면, 잔차 부호화부(211)에서 생성되는 제1 계층 비트열은 잔차 검출부(209)에서 검출한 잔차 영상을 부호화한 것이다. 그러므로 이를 복호화하면 잔차 영상을 얻게 되는 것이다.
앞서 도 2에서 설명한 것처럼 기본 계층과 상위 계층이 서로 다른 코덱을 사용하여 부호화하는 다계층 영상 부호화기에서 MPEG-2 TS 스트림으로 생성하기 위하여, 본 발명에서는 기본 계층의 비트열에 대하여 기존의 MPEG-2 TS 규격을 통하여 MPEG-2 TS 스트림을 생성하고, 상위 계층의 비트열에 대하여 하기 도 4 내지 도 6에서 제안하는 PES 포맷을 이용하여 MPEG-2 TS 스트림을 생성한다.
도 4는 본 발명의 실시예에 따른 MPEG-2 PES(Packetized Elementary Stream) 패킷의 포맷을 설명하는 도면이다.
도 4에서 참조 번호 410은 패킷 헤더를 나타내고, 참조 번호 420은 페이로드를 나타낸다. 상기 헤더(410)는 "stream ID" 필드(411)를 포함하며, 상기 "stream ID" 필드(411)는 MPEG-2 PES 패킷에 규정된 코덱의 정보를 포함하여, 해당 패킷에 대한 코덱의 식별자 정보를 포함한다.
상기 "stream ID(413)" 필드의 값은 특정 코덱 각각을 나타내는 식별자를 나타내는 값이 될 수 있다. 현재 MPEG-2 시스템 규격에서는 H.262, MPEG-4, H.264, MPEG-4와 사용자 스트림(user private stream)을 위한 코덱에 식별자를 할당하고 있다. 참고로 상기 사용자 스트림을 위한 코덱에는 VC-1과 VC-4 등이 있다. 그런데 상기 VC-1 코덱은 MPEG-2 비디오 표준에서 기본 계층에서 사용될 수 있지만, 상기 VC-4는 기본 계층에 사용될 수 없다.
상기 특정 코덱을 나타내는 식별자로서, H.262에 1, MPEG-4에 2, H.264에 3, MPEG-4에 4가 할당되었다고 가정하고, 사용자 스트림을 위한 코덱에 5가 할당되었다고 가정하자. 실제 MPEG-2 시스템 규격에서는 특정 범위의 값을 사용자 스트림을 위한 코덱의 식별값으로 할당하지만, 상기 예에서는 편의상 하나의 값(5)으로 할당된 것으로 가정하였다.
그런데 사용자 스트림 코덱에는 여러 종류가 있을 수 있기 때문에 "stream ID=5"로만 표시되면 실제 어떤 사용자 코덱이 사용되었는지 알 수 없다. 따라서 본 발명에서는 실제 사용자 코덱을 식별하기 위하여 "stream ID extention(413)" 필드를 추가하였다.
즉, 상기 헤더(410)는 "옵셔널 PES 헤더(optional PES header)"필드를 포함하고 있는데, 본 발명에서는 상기 "옵셔널 PES 헤더(optional PES header)"필드가 "확장 스트림 ID(stream ID extention)(413)" 필드를 포함하도록 한다. 상기 "확장 스트림 ID" 필드는 상위 계층에 사용되는 코덱을 나타내는 정보를 포함한다. 즉, 상기 "stream ID extention(413)"는 "stream ID(411)"필드만으로 해당 코덱이 식별이 되지 않을 경우를 위하여 추가로 식별을 위한 값을 포함한다. 예를 들어, 제1 계층에서 사용자 스트림 코덱을 사용할 경우 "stream ID(413)=5"가 되고, 상기 사용자 스트림 코덱이 VC-4 코덱이라면, "stream ID extention(413)"는 VC-4 코덱을 지시하는 사전에 약속된 값을 갖게 된다.
도 5 및 도 6은 본 발명의 실시예에 따른 MPEG-2 시스템 규격의 프로그램 맵 테이블(PMT:Program Map Table)을 설명하는 도면이다. 도 5 및 도 6은 원래 하나의 도면이나 도면의 크기 때문에 분리하여 도시한 것이다.
참고로 MPEG-2 시스템 규격에서는 TS(Transport Stream)의 역다중화 및 프로그램 재현에 필요한 정보를 테이블(table) 형식의 메타데이터로서 프로그램 상세 정보(PSI: Program Specific Information)를 운용한다. 수신기는 방송국을 선택하거나 및 ES(기본 스트림)를 전환하기 위한 경우 등에 필요한 TS 패킷의 식별을 위하여 상기 PSI 정보를 참조한다. PMT는 상기 PSI에 포함된 테이블 중 하나로서 하나의 프로그램을 구성하는 프로그램 요소(element)들의 형식 및 패킷 식별자(PID: Packet Idendifier)를 설명하는 기능을 한다. 상기 PMT는 상기 PES 패킷의 페이로드에 포함되어 전송되는 것이 일반적이나, 별도로 전송될 수도 있다.
도 5 및 도 6을 참조하면, 본 발명에서는 상위 계층 코덱의 종류를 명시하기 위하여, "스트림 타입(stream_type)" 필드(510)에 MPEG-2 시스템 규격에서 정의한 사용자 데이터 값 중에 하나의 값을 사용하여 이후에 "레지스트레이션 디스크립터(registration_descriptor)"(520)가 올 수 있음을 나타낸다. 상기 도 4에서 설명된 예에서 제1 계층에서 VC-4 코덱을 사용하는 것으로 가정하였기 때문에 도 5의 예에서는 "VC-4" 레지스트레이션 디스크립터(registration_descriptor)(520)로 도시되었다. 따라서 VC-4가 아닌 다른 종류의 상위 계층 코덱이 사용될 경우 해당 코덱의 레지스트레이션 디스크립터가 포함될 것이다.
상기 "레지스트레이션 디스크립터(registration_descriptor)"(520)는 상위 계층의 비트열의 특성을 명시하기 위한 복수 개의 "서브 디스크립터(sub-descriptor)"(530)들을 포함한다. 도 5에서는 상기 "서브 디스크립터(sub-descriptor)"(530)는 "프로파일 레벨 서브 디스크립터(profile_level sub-descriptor)"(531), "얼라인먼트 서브디스크립터(alignment_subdescriptor)"(533), "버퍼 사이즈 서브 디스크립터(buffer size sub-descriptor)", "스케일러빌러티 확장 서브 디스크립터(scalability extension sub-descriptor)"(537)를 포함한다.
상기 프로파일 레벨 서브 디스크립터(profile_level sub-descriptor)(531)는 상위 계층의 프로파일(Profile)과 레벨(Level)을 나타낸다. 상기 얼라인먼트 서브디스크립터(alignment_subdescriptor)(533)는 상위 계층 기본(elementary) 스트림의 얼라인먼트 타입(alignment type)을 나타낸다. 상기 버퍼 사이즈 서브 디스크립터(buffer size sub-descriptor)(535)는 HRD 버퍼 파라미터(HRD(Hypothetical Reference Decoder) buffer parameter)를 나타낸다.
"스케일러빌러티 확장 서브 디스크립터(scalability extension sub-descriptor)"(537)는 본 발명에 따라 상위 계층의 비트열의 특징을 나타내기 위한 필드이다.
상기 "스케일러빌러티 확장 서브 디스크립터(scalability extension sub-descriptor)"(537) 내의 "레이어 ID(Layer_id)"(538)는 상위 계층이 복수의 계층으로 구성되었을 경우 해당 계층의 레이어(Layer ID)를 ID를 나타낸다. 예를 들어, VC-4가 제1 계층에서 사용되는 경우 "Layer_id=1"가 된다. 만일 VC-4가 제2 계층에서 사용되는 경우 "Layer_id=2"가 된다.
"프레임 필드 코딩 모드(frame_field_coding_mode)"(539)는 상위 계층이 프레임 코딩 모드(frame coding mode)와 필드 코딩 모드(Field coding mode) 중에서 어떻게 조합되어 부호화 되는지를 나타낸다. "서브 레이어 ID 최소값(sub_layer_id_min)"(540), "서브 레이어 ID 최대값(sub_layer_id_max)"(541)은 해당 계층에서 가능한 서브 레이어의 구성을 나타낸다.
"계층적 임베디드 레이어 ID(hierarchy_embedded_layer_id)"(542)는 현재 계층이 참조하고 있는 계층을 나타낸다. 상기 예에서, 제1 계층이 참조하고 있는 계층은 기본 계층, 즉, 0계층이므로 "hierarchy_embedded_layer_id=0"가 된다. 만일 현재 계층이 제2 계층이고, 상기 제2 계층이 참조하고 있는 계층이 기본 계층이면, "hierarchy_embedded_layer_id=0"가 되고, 상기 제2 계층이 참조하고 있는 계층이 제1 계층이라면 "hierarchy_embedded_layer_id=1"가 된다.
"기본 계층 스트림 타입(base_layer_stream_type)"(543)은 기본 계층의 스트림 타입을 나타내고, "기본 계층 포맷 식별자(base_layer_format_identifier)"(544)는 기본 계층의 스트림 타입이 MPEG-2 시스템 규약에서 정의된 사용자 스트림(User Private Stream)을 위한 코덱에 포함되는 코덱으로 생성된 스트림일 경우 해당 코덱의 포맷 식별자(format_identifier)를 나타낸다. 따라서 상기 "기본 계층 스트림 타입(base_layer_stream_type)"(543)과 "기본 계층 포맷 식별자(base_layer_format_identifier)"(544)는 현재의 상위 계층과 기본 계층과의 관계를 나타내어 상위 계층의 스트림 복호시에 이용될 수 있다. 즉, 현재의 상위 계층 스트림의 복호에 필요한 기본 계층 스트림이 어떠한 코덱을 사용하여 생성된 스트림인지를 알 수 있다.
예를 들어, 제1 계층이 VC-4를 사용하고 기본 계층이 H.264 코덱을 사용할 경우 상술한것처럼 상기 "Layer_id=1"이 되고, "hierarchy_embedded_layer_id=0"가 되며, 이때, "기본 계층 스트림 타입(base_layer_stream_type)"(543)는 상기 H.264 코덱을 식별하는 값(도 4의 예에서는 "3")을 가진다. 이 경우 "기본 계층 포맷 식별자(base_layer_format_identifier)"(544) 필드가 PMT에 포함되지 않는다. MPEG-2 시스템 규격에서 정의된 사용자 스트림을 위한 코덱에는 H.264가 포함되지 않기 때문이다
한편, 제1 계층이 VC-4를 사용하고 기본 계층이 VC-1 코덱을 사용할 경우 상기 "Layer_id=1"이되고, "hierarchy_embedded_layer_id=0"가 되며, 이때, "기본 계층 스트림 타입(base_layer_stream_type)"(543)은 상기 사용자 스트림을 위한 코덱을 식별하는 값(도 4의 예에서는 "5") 가지고, "기본 계층 포맷 식별자(base_layer_format_identifier)"(544)는 VC-1을 나타내는 값을 가질 것이다.
다른 예로서, 제2 계층이 VC-4를 사용하고 제2 계층이 참조하는 계층이 기본 계층이고, 상기 기본 계층이 H.264 코덱을 사용할 경우, 상기 "Layer_id=2"가 되고, "hierarchy_embedded_layer_id=0"가 된다. 이때, "기본 계층 스트림 타입(base_layer_stream_type)"(543)는 상기 H.264 코덱을 식별하는 값(도 4의 예에서는 "3")을 가진다. 이 경우 "기본 계층 포맷 식별자(base_layer_format_identifier)"(544) 필드는 PMT에 포함되지 않는다. MPEG-2 시스템 규격에서 정의된 사용자 스트림을 위한 코덱에는 H.264가 포함되지 않기 때문이다
한편, 제2 계층이 VC-4를 사용하고 상기 제2 계층이 참조하고 있는 계층이 제1 계층이라면, 상기 "Layer_id=2"가 되고, "hierarchy_embedded_layer_id=1"가 된다. 이 경우에는 "기본 계층 스트림 타입(base_layer_stream_type)"(543)과 "기본 계층 포맷 식별자(base_layer_format_identifier)"(544)는 PMT에 포함되지 않는다. 왜냐하면, 상기 제2 계층이 참조하고 있는 계층이 제1 계층이므로, 복호기는 제1 계층 스트림의 PMT를 참조하여 제1 계층 스트림을 복호하면 되기 때문이다.
상기 설명되어진 필드 이외의 필드들은 기존의 MPEG-2 시스템에서 사용되어진 값으로 본 발명에서 상위 계층의 비트열을 위해 추가한 구문(Syntax)이다.
상기 도 4의 PES 패킷과 도 5 및 도 6의 PMT에 따라 구성된 비트열은 도 7의 TS 시스템 타겟 복호기에서 복호된다.
도 7은 본 발명의 실시예에 따른 TS 시스템 타겟 복호기를 설명하는 도면이다.
도 7에서 역다중화부(600)는 도 3에서 설명된 역다중화부(300)에 해당한다. 상기 역다중화부(600)는 패킷 식별자(PID: Packet Identifier) 기반 전송 스트림 역다중화부(630)와 버퍼부(640)와 액세스 유닛 재결합부(650)를 포함한다. 상기 PID 기반 전송 스트림 역다중화부(630)는 전송 스트림에서 PID를 근거로 하여 계층별로 스트림을 역다중화하여 버퍼부(640)를 통하여 기본 계층 복호부(610) 및 상위 계층 복호부(620)로 전달한다. 상기 버퍼부(640)는 각 계층별로 전송 버퍼(TB: Transport Buffer), 다중화 버퍼(MB: Multiplexing Buffer), ES 버퍼(Elementary Stream buffer)를 포함한다. 상기 각 버퍼들을 통과할 때마다 오버헤드 정보들이 제거되고 ES 버퍼를 통과하면, 각 계층들의 기본 스트림(ES)이 생성된다. 한편, 액세스 유닛 재결합부(650)는 상위 계층들의 ES들을 모두 상위 계층 복호기(620)로 입력한다.
기본 계층 복호기 Dn(610)은 도 3에 설명된 기본 계층 복호부(301)에 해당하며, 도 7의 상위 계층 복호기 DT(620)는 도 3의 잔차 복호부(305), 포맷 상향 변환부(303) 및 가산기(307)에 해당한다. 참고로 도 3 및 도 7에서는 하나의 상위 계층을 가정하였지만, 복수의 상위 계층으로 구성된다면, 상위 계층들 각각에 대응하는 잔차 복호부, 상향 계층 변환부, 가산기는 상기 도 3의 잔차 복호부(305), 포맷 상향 변환부(303) 및 가산기(307)와 동일한 구조로 되어 상기 상위 계층 복호기 DT(620)에 모두 포함될 것이다. 도 7의 파라미터들은 하기 <표 1>의 설명에 포함되어 있다.
Figure pat00001
Figure pat00002
상기 도 4 내지 도 7에서는 본 발명의 실시예에 따라 TS 스트림 생성 및 복호에 대하여 설명하였다. 이하에서는 본 발명의 실시예에 따라 PS 스트림 생성 및 복호에 대하여 설명한다.
도 8 및 도 9는 본 발명의 실시예에 따른 PS(Progrma Stream) 맵을 설명하는 도면이다. 도 8 및 도 9는 원래 하나의 도면이지만 편의상 두 개의 도면으로 분리한 것이다.
도 8의 PS 맵에서 상위 계층을 위해 확장된 신텍스(syntax)들은 앞서 설명한 도 5의 TS 프로그램 맵 섹션(Section)의 신텍스들과 동일한 의미를 갖는다.
즉, "스트림 타입(stream_type)" 필드(710)에 MPEG-2 시스템 규격에서 정의한 사용자 데이터 값 중에 하나의 값을 사용하여 이후에 "레지스트레이션 디스크립터(registration_descriptor)"(720)가 올 수 있음을 나타낸다. 상기 도 4에서 설명된 예에서 제1 계층에서 VC-4 코덱을 사용하는 것으로 가정하였기 때문에 도 5의 예에서는 "VC-4" 레지스트레이션 디스크립터(registration_descriptor)(720)로 도시되었다. 따라서 VC-4가 아닌 다른 종류의 상위 계층 코덱이 사용될 경우 해당 코덱의 레지스트레이션 디스크립터가 포함될 것이다.
상기 "레지스트레이션 디스크립터(registration_descriptor)"(720)는 상위 계층의 비트열의 특성을 명시하기 위한 복수 개의 "서브 디스크립터(sub-descriptor)"(730)들을 포함한다. 도 5에서는 상기 "서브 디스크립터(sub-descriptor)"(730)는 "프로파일 레벨 서브 디스크립터(profile_level sub-descriptor)"(731), "얼라인먼트 서브디스크립터(alignment_subdescriptor)"(733), "버퍼 사이즈 서브 디스크립터(buffer size sub-descriptor)" "스케일러빌러티 확장 서브 디스크립터(scalability extension sub-descriptor)"(737)를 포함한다.
상기 프로파일 레벨 서브 디스크립터(profile_level sub-descriptor)(731)는 상위 계층의 프로파일(Profile)과 레벨(Level)을 나타낸다. 상기 얼라인먼트 서브디스크립터(alignment_subdescriptor)(733)는 상위 계층 기본(elementary) 스트림의 얼라인먼트 타입(alignment type)을 나타낸다. 상기 버퍼 사이즈 서브 디스크립터(buffer size sub-descriptor)(735)는 HRD 버퍼 파라미터(HRD(Hypothetical Reference Decoder) buffer parameter)를 나타낸다.
"스케일러빌러티 확장 서브 디스크립터(scalability extension sub-descriptor)"(737)는 본 발명에 따라 상위 계층의 비트열의 특징을 나타내기 위한 필드이다.
상기 "스케일러빌러티 확장 서브 디스크립터(scalability extension sub-descriptor)"(737) 내의 "레이어 ID(Layer_id)"(738)는 상위 계층이 복수의 계층으로 구성되었을 경우 해당 계층의 레이어(Layer ID)를 ID를 나타낸다. 예를 들어, VC-4가 제1 계층에서 사용되는 경우 "Layer_id=1"가 된다. 만일 VC-4가 제2 계층에서 사용되는 경우 "Layer_id=2"가 된다.
"프레임 필드 코딩 모드(frame_field_coding_mode)"(739)는 상위 계층이 프레임 코딩 모드(frame coding mode)와 필드 코딩 모드(Field coding mode) 중에서 어떻게 조합되어 부호화 되는지를 나타낸다. "서브 레이어 ID 최소값(sub_layer_id_min)"(740), "서브 레이어 ID 최대값(sub_layer_id_max)"(741)은 해당 계층에서 가능한 서브 레이어의 구성을 나타낸다.
"계층적 임베디드 레이어 ID(hierarchy_embedded_layer_id)"(742)는 현재 계층이 참조하고 있는 계층을 나타낸다. 상기 예에서, 제1 계층이 참조하고 있는 계층은 기본 계층, 즉, 0계층이므로 "hierarchy_embedded_layer_id=0"가 된다. 만일 현재 계층이 제2 계층이고, 상기 제2 계층이 참조하고 있는 계층이 기본 계층이면, "hierarchy_embedded_layer_id=0"가 되고, 상기 제2 계층이 참조하고 있는 계층이 제1 계층이라면 "hierarchy_embedded_layer_id=1"가 된다.
"기본 계층 스트림 타입(base_layer_stream_type)"(743)은 기본 계층의 스트림 타입을 나타내고, "기본 계층 포맷 식별자(base_layer_format_identifier)"(744)는 기본 계층의 스트림 타입이 MPEG-2 시스템 규약에서 정의된 사용자 스트림(User Private Stream)을 위한 코덱에 포함되는 코덱으로 생성된 스트림일 경우 해당 코덱의 포맷 식별자(format_identifier)를 나타낸다. 따라서 상기 "기본 계층 스트림 타입(base_layer_stream_type)"(743)과 "기본 계층 포맷 식별자(base_layer_format_identifier)"(744)은 현재의 상위 계층과 기본 계층과의 관계를 나타내어 상위 계층의 스트림 복호시에 이용될 수 있다. 즉, 현재의 상위 계층 스트림의 복호에 필요한 기본 계층 스트림이 어떠한 코덱을 사용하여 생성된 스트림인지를 알 수 있다.
예를 들어, 제1 계층이 VC-4를 사용하고 기본 계층이 H.264 코덱을 사용할 경우 상술한것처럼 상기 "Layer_id=1"이되고, "hierarchy_embedded_layer_id=0"가 되며, 이때, "기본 계층 스트림 타입(base_layer_stream_type)"(743)는 상기 H.264 코덱을 식별하는 값(도 4의 예에서는 "3")을 가진다. 이 경우 "기본 계층 포맷 식별자(base_layer_format_identifier)"(544) 필드는 PS 맵에 포함되지 않는다. MPEG-2 시스템 규격에서 정의된 사용자 스트림을 위한 코덱에는 H.264가 포함되지 않기 때문이다
한편, 제1 계층이 VC-4를 사용하고 기본 계층이 VC-1 코덱을 사용할 경우 상기 "Layer_id=1"이되고, "hierarchy_embedded_layer_id=0"가 되며, 이때, "기본 계층 스트림 타입(base_layer_stream_type)"(743)은 상기 사용자 스트림을 위한 코덱을 식별하는 값(도 4의 예에서는 "5") 가지고, "기본 계층 포맷 식별자(base_layer_format_identifier)"(744)는 VC-1을 나타내는 값을 가질 것이다.
다른 예로서, 제2 계층이 VC-4를 사용하고 제2 계층이 참조하는 계층이 기본 계층이고, 상기 기본 계층이 H.264 코덱을 사용할 경우, 상기 "Layer_id=2"가 되고, "hierarchy_embedded_layer_id=0"가 된다. 이때, "기본 계층 스트림 타입(base_layer_stream_type)"(543)는 상기 H.264 코덱을 식별하는 값(도 4의 예에서는 "3")을 가진다., 이 경우 "기본 계층 포맷 식별자(base_layer_format_identifier)"(544) 필드는 PS 맵에 포함되지 않는다. MPEG-2 시스템 규격에서 정의된 사용자 스트림을 위한 코덱에는 H.264가 포함되지 않기 때문이다
한편, 제2 계층이 VC-4를 사용하고 상기 제2 계층이 참조하고 있는 계층이 제1 계층이라면, 상기 "Layer_id=2"가 되고, "hierarchy_embedded_layer_id=1"가 된다. 이 경우에는 "기본 계층 스트림 타입(base_layer_stream_type)"(543)과 "기본 계층 포맷 식별자(base_layer_format_identifier)"(544)는 PS맵에 포함되지 않는다. 왜냐하면, 상기 제2 계층이 참조하고 있는 계층이 제1 계층이므로 복호기는 제1 계층 스트림의 PS 맵을 참조하여 제1 계층 스트림을 복호하면 되기 때문이다.
상기 설명되어진 필드 이외의 필드들은 기존의 MPEG-2 시스템에서 사용되어진 값으로 본 발명에서 상위 계층의 비트열을 위해 추가한 구문(Syntax)이다.
도 10은 본 발명의 실시예에 따른 PS 시스템 타겟 복호기를 설명하는 도면이다.
상기 PS 맵에 따라 생성되는 PS 스트림은 도 10의 PS 시스템 타겟 복호기에 전달되어 복호된다. 도 7과 마찬가지로 도 10의 역다중화부(800)는 도 3에서 설명된 역다중화부(300)에 해당한다. 상기 역다중화부(800)는 스트림 식별자(SID: Stream Identifier) 기반 전송 스트림 역다중화부(830)와 버퍼부(840)와 액세스 유닛 재결합부(850)를 포함한다. 상기 SID 기반 전송 스트림 역다중화부(830)는 프로그램 스트림에서 스트림 ID를 근거로 하여 계층별로 스트림을 역다중화하여 버퍼부(840)를 통하여 기본 계층 복호부(810) 및 상위 계층 복호부(820)로 전달한다. 상기 버퍼부(840)는 각 계층별로 입력 버퍼(B: Buffer)를 포함한다. 상기 버퍼를 통과하면 오버 헤드 정보가 제거되고 각 계층들의 기본 스트림(ES)이 생성된다. 한편, 액세스 유닛 재결합부(850)는 상위 계층들의 ES들을 모두 상위 계층 복호기(820)로 입력한다.
기본 계층 복호기 Dn(810)은 도 3에 설명된 기본 계층 복호부(301)에 해당하며, 상위 계층 복호기 DT(820)는 도 3의 잔차 복호부(305), 포맷 상향 변환부(303) 및 가산기(307)에 해당한다. 참고로 도 3 및 도 10에서는 하나의 상위 계층을 가정하였지만, 복수의 상위 계층으로 구성된다면, 상위 계층들 각각에 대응하는 잔차 복호부, 상향 계층 변환부, 가산기는 상기 도 3의 잔차 복호부(305), 포맷 상향 변환부(303) 및 가산기(307)와 동일한 구조로 되어 상기 상위 계층 복호기 DT(820)에 모두 포함될 것이다. 도 10의 파라미터들은 하기 <표 2>의 설명에 포함되어 있다.
Figure pat00003

Claims (24)

  1. 하위 계층과 상위 계층이 서로 다른 코덱을 사용하는 다계층 영상 부호화 시스템에서 상위 계층 스트림을 생성하는 방법에 있어서,
    상기 상위 계층 스트림에 상기 상위 계층 스트림을 위한 코덱을 식별하기 위한 식별자를 포함하는 과정과,
    상기 상위 계층 스트림에 상기 상위 계층 스트림의 특성을 나타내는 정보와, 상기 상위 계층 스트림과 하위 계층 스트림 간의 관계를 나타내는 정보 중 적어도 하나를 포함하는 과정을 포함하는 상위 계층 스트림을 생성하는 방법.
  2. 제1항에 있어서, 상기 상위 계층 스트림의 특성을 나타내는 정보는,
    상기 상위 계층의 계층을 식별하는 레이어 ID 정보를 포함하는 상위 계층 스트림을 생성하는 방법.
  3. 제 1항에 있어서, 상기 상위 계층 스트림과 하위 계층 스트림 간의 관계를 나타내는 정보는,
    상기 하위 계층의 스트림 타입을 나타내는 하위 계층 스트림 타입 정보와, 상기 하위 계층의 스트림 타입이 사용자 스트림을 위한 코덱인 경우 상기 사용자 스트림을 위한 코덱의 포맷 식별자를 나타내는 하위 계층 포맷 식별자 정보를 포함하는 상위 계층 스트림을 생성하는 방법.
  4. 제1항에 있어서, 상기 하위 계층에서 사용되는 코덱은,
    MPEG-2, H.262, MPEG-4, H.264, VC-1 코덱 중 하나임을 특징으로 하는 상위 계층 스트림을 생성하는 방법.
  5. 제1항에 있어서, 상기 상위 계층 스트림을 위한 코덱은,
    VC-4 코덱임을 특징으로 하는 상위 계층 스트림을 생성하는 방법.
  6. 제1항에 있어서, 상기 하위 계층은 기본 계층이고, 상기 하위 계층 스트림은 기본 계층 스트림임을 특징으로 하는 상위 계층 스트림을 생성하는 방법.
  7. 하위 계층과 상위 계층이 서로 다른 코덱을 사용하는 다계층 영상 부호화 시스템에서 상위 계층 스트림을 생성하는 장치에 있어서,
    상기 상위 계층 스트림에, 상기 상위 계층 스트림의 특성을 나타내는 정보와, 상기 상위 계층 스트림과 하위 계층 스트림 간의 관계를 나타내는 정보 중 적어도 하나를 포함시키는 상위 계층 패킷 생성부를 포함하는 상위 계층 스트림을 생성하는 장치.
  8. 제7항에 있어서, 상기 상위 계층 스트림의 특성을 나타내는 정보는,
    상기 상위 계층의 계층을 식별하는 레이어 ID 정보를 포함하는 상위 계층 스트림을 생성하는 장치.
  9. 제 7항에 있어서, 상기 상위 계층 스트림과 하위 계층 스트림 간의 관계를 나타내는 정보는,
    상기 하위 계층의 스트림 타입을 나타내는 하위 계층 스트림 타입 정보와, 상기 하위 계층의 스트림 타입이 사용자 스트림을 위한 코덱인 경우 상기 사용자 스트림을 위한 코덱의 포맷 식별자를 나타내는 하위 계층 포맷 식별자 정보를 포함하는 상위 계층 스트림을 생성하는 장치.
  10. 제7항에 있어서, 상기 하위 계층에서 사용되는 코덱은,
    MPEG-2, H.262, MPEG-4, H.264, VC-1 코덱 중 하나임을 특징으로 하는 상위 계층 스트림을 생성하는 장치.
  11. 제7항에 있어서, 상기 상위 계층 스트림을 위한 코덱은,
    VC-4 코덱임을 특징으로 하는 상위 계층 스트림을 생성하는 장치.
  12. 제7항에 있어서, 상기 하위 계층은 기본 계층이고, 상기 하위 계층 스트림은 기본 계층 스트림임을 특징으로 하는 상위 계층 스트림을 생성하는 장치.
  13. 하위 계층과 상위 계층이 서로 다른 코덱을 사용하는 다계층 영상 복호화 시스템의 비트 스트림을 복호하는 방법에 있어서,
    상기 상위 계층 스트림을 위한 코덱을 식별하기 위한 식별자와 상기 상위 계층 스트림의 특성을 나타내는 정보와 상기 상위 계층 스트림과 하위 계층 스트림 간의 관계를 나타내는 정보 중 적어도 하나를 포함하는 상위 계층 스트림과, 하위 계층 스트림을 포함하는 비트 스트림을 수신하는 과정과,
    상기 비트 스트림에서 상기 상위 계층 스트림과 상기 하위 계층 스트림을 역다중화하는 과정과,
    상기 하위 계층 스트림을 복호하는 과정과,
    상기 식별자와, 상기 상위 계층 스트림의 특성을 나타내는 정보를 이용하여 상기 상위 계층 스트림을 복호하는 과정을 포함하는 비트 스트림을 복호하는 방법.
  14. 제13항에 있어서, 상기 상위 계층 스트림의 특성을 나타내는 정보는,
    상기 상위 계층의 계층을 식별하는 레이어 ID 정보를 포함하는 비트 스트림을 복호하는 방법.
  15. 제 13항에 있어서, 상기 상위 계층 스트림과 하위 계층 스트림 간의 관계를 나타내는 정보는,
    상기 하위 계층의 스트림 타입을 나타내는 하위 계층 스트림 타입 정보와, 상기 하위 계층의 스트림 타입이 사용자 스트림을 위한 코덱인 경우 상기 사용자 스트림을 위한 코덱의 포맷 식별자를 나타내는 하위 계층 포맷 식별자 정보를 포함하는 비트 스트림을 복호하는 방법.
  16. 제13항에 있어서, 상기 하위 계층에서 사용되는 코덱은,
    MPEG-2, H.262, MPEG-4, H.264, VC-1 코덱 중 하나임을 특징으로 하는 비트 스트림을 복호하는 방법.
  17. 제13항에 있어서, 상기 상위 계층 스트림을 위한 코덱은,
    VC-4 코덱임을 특징으로 하는 비트 스트림을 복호하는 방법.
  18. 제13항에 있어서, 상기 하위 계층은 기본 계층이고, 상기 하위 계층 스트림은 기본 계층 스트림임을 특징으로 하는 비트 스트림을 복호하는 방법.
  19. 하위 계층과 상위 계층이 서로 다른 코덱을 사용하는 다계층 영상 복호화 시스템의 비트 스트림을 복호하는 장치에 있어서,
    상기 상위 계층 스트림을 위한 코덱을 식별하기 위한 식별자와 상기 상위 계층 스트림의 특성을 나타내는 정보와 상기 상위 계층 스트림과 하위 계층 스트림 간의 관계를 나타내는 정보 중 적어도 하나를 포함하는 상위 계층 스트림과, 하위 계층 스트림을 포함하는 비트 스트림을 수신하고, 상기 비트 스트림에서 상기 상위 계층 스트림과 상기 하위 계층 스트림을 역다중화하여 출력하는 역다중화부와,
    상기 하위 계층 스트림을 복호하는 하위 계층 복호부와,
    상기 식별자와, 상기 상위 계층 스트림의 특성을 나타내는 정보를 이용하여 상기 상위 계층 스트림을 복호하는 상위 계층 복호부를 포함하는 비트 스트림을 복호하는 장치.
  20. 제19항에 있어서, 상기 상위 계층 스트림의 특성을 나타내는 정보는,
    상기 상위 계층의 계층을 식별하는 레이어 ID 정보를 포함하는 비트 스트림을 복호하는 장치.
  21. 제 19항에 있어서, 상기 상위 계층 스트림과 하위 계층 스트림 간의 관계를 나타내는 정보는,
    상기 하위 계층의 스트림 타입을 나타내는 하위 계층 스트림 타입 정보와, 상기 하위 계층의 스트림 타입이 사용자 스트림을 위한 코덱인 경우 상기 사용자 스트림을 위한 코덱의 포맷 식별자를 나타내는 하위 계층 포맷 식별자 정보를 포함하는 비트 스트림을 복호하는 장치.
  22. 제19항에 있어서, 상기 하위 계층에서 사용되는 코덱은,
    MPEG-2, H.262, MPEG-4, H.264, VC-1 코덱 중 하나임을 특징으로 하는 비트 스트림을 복호하는 장치.
  23. 제19항에 있어서, 상위 계층 스트림을 위한 코덱은,
    VC-4 코덱임을 특징으로 하는 비트 스트림을 복호하는 장치.
  24. 제19항에 있어서, 상기 하위 계층은 기본 계층이고, 상기 하위 계층 스트림은 기본 계층 스트림임을 특징으로 하는 비트 스트림을 복호하는 장치.
KR1020110083015A 2010-08-19 2011-08-19 다계층 영상 부호화 및 복호화 방법 및 장치 KR101977689B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US37516010P 2010-08-19 2010-08-19
US61/375,160 2010-08-19

Publications (2)

Publication Number Publication Date
KR20120018281A true KR20120018281A (ko) 2012-03-02
KR101977689B1 KR101977689B1 (ko) 2019-05-14

Family

ID=45594070

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110083015A KR101977689B1 (ko) 2010-08-19 2011-08-19 다계층 영상 부호화 및 복호화 방법 및 장치

Country Status (4)

Country Link
US (1) US8971417B2 (ko)
EP (1) EP2606649A4 (ko)
KR (1) KR101977689B1 (ko)
WO (1) WO2012023837A2 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101353655B1 (ko) * 2012-06-22 2014-01-21 한국방송공사 이종 코덱을 이용한 스케일러블 비디오 부호화 및 복호화 방법 및 그 장치
KR101356890B1 (ko) * 2012-06-22 2014-02-03 한국방송공사 다시점 비디오에 대한 이종 코덱에서의 비디오 시점간 부호화 및 복호화 방법 및 그 장치
US10742781B2 (en) 2013-08-05 2020-08-11 Samsung Electronics Co., Ltd. Transmitting apparatus, receiving apparatus, and controlling methods, thereof
WO2024049151A1 (ko) * 2022-08-29 2024-03-07 주식회사 딥엑스 인공신경망의 분산 연산 시스템 및 방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9591318B2 (en) * 2011-09-16 2017-03-07 Microsoft Technology Licensing, Llc Multi-layer encoding and decoding
US11089343B2 (en) 2012-01-11 2021-08-10 Microsoft Technology Licensing, Llc Capability advertisement, configuration and control for video coding and decoding
JP5774652B2 (ja) * 2013-08-27 2015-09-09 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
BR112016024301A2 (pt) * 2014-04-25 2022-07-19 Sony Corp aparelhos e métodos de transmissão e de recepção
BR112020026618A2 (pt) 2018-06-26 2021-03-30 Huawei Technologies Co., Ltd. Projetos de sintaxe de alto nível para codificação de nuvem de pontos
GB2613015A (en) * 2021-11-22 2023-05-24 V Nova Int Ltd Decoding a multi-layer video stream using a joint packet stream
WO2023089340A1 (en) * 2021-11-22 2023-05-25 V-Nova International Ltd Processing a multi-layer video stream

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070263987A1 (en) * 2003-04-10 2007-11-15 Hiroshi Yahata Information recording medium, and apparatus and method for recording information to information recording medium
KR20090041763A (ko) * 2007-10-24 2009-04-29 삼성전자주식회사 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101117586B1 (ko) * 2003-12-03 2012-02-27 코닌클리케 필립스 일렉트로닉스 엔.브이. Ｍｐｅｇ-2 시스템에서 향상된 범위성 지원을 위한 시스템및 방법
KR20080098328A (ko) 2007-05-04 2008-11-07 한국전자통신연구원 디지털 멀티미디어 방송 전송 시스템에서 고품질멀티미디어 서비스를 제공하는 장치 및 방법
KR101292893B1 (ko) 2007-05-08 2013-09-02 한국전자통신연구원 계층적 부호화 장치 및 방법, 계층적 복호화 장치 및 방법
KR101099784B1 (ko) * 2008-12-05 2011-12-28 한국전자통신연구원 Ｈ.264 ｓｖｃ 데이터의 계층적 부호화를 이용한 ｍｐｅｇ-2 ｔｓ 파일 포맷 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070263987A1 (en) * 2003-04-10 2007-11-15 Hiroshi Yahata Information recording medium, and apparatus and method for recording information to information recording medium
KR20090041763A (ko) * 2007-10-24 2009-04-29 삼성전자주식회사 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101353655B1 (ko) * 2012-06-22 2014-01-21 한국방송공사 이종 코덱을 이용한 스케일러블 비디오 부호화 및 복호화 방법 및 그 장치
KR101356890B1 (ko) * 2012-06-22 2014-02-03 한국방송공사 다시점 비디오에 대한 이종 코덱에서의 비디오 시점간 부호화 및 복호화 방법 및 그 장치
US10742781B2 (en) 2013-08-05 2020-08-11 Samsung Electronics Co., Ltd. Transmitting apparatus, receiving apparatus, and controlling methods, thereof
US11418634B2 (en) 2013-08-05 2022-08-16 Samsung Electronics Co., Ltd. Transmitting apparatus, receiving apparatus, and controlling methods thereof
WO2024049151A1 (ko) * 2022-08-29 2024-03-07 주식회사 딥엑스 인공신경망의 분산 연산 시스템 및 방법

Also Published As

Publication number Publication date
EP2606649A4 (en) 2016-05-04
US20120044999A1 (en) 2012-02-23
WO2012023837A3 (en) 2012-05-10
WO2012023837A2 (en) 2012-02-23
US8971417B2 (en) 2015-03-03
KR101977689B1 (ko) 2019-05-14
EP2606649A2 (en) 2013-06-26

Similar Documents

Publication Publication Date Title
KR20120018281A (ko) 다계층 영상 부호화 및 복호화 방법 및 장치
TWI692242B (zh) 用於高效率視訊寫碼延伸之承載之資料串流之假想參考解碼器描述符及緩衝器模型之設計
KR101564461B1 (ko) 비디오 데이터 신호, 인코딩된 비디오 데이터 신호를 인코딩하는 방법 및 시스템, 및 비디오 데이터 신호 디코딩 방법 및 시스템
US20120320168A1 (en) Method and apparatus for transmission and reception in the provision of a plurality of transport interactive 3dtv broadcasting services
US11153571B2 (en) Individual temporal layer buffer management in HEVC transport
KR20090079838A (ko) Ｉｐｔｖ 수신 시스템 및 그 데이터 처리 방법
JP2010525661A (ja) 符号化システム
KR20100132985A (ko) 트랜스포트 데이터 스트림내에서 참조하는 유연성 있는 서브스트림
US20090040372A1 (en) Digital broadcasting transmitting/receiving apparatus and method
EP3038365B1 (en) Encoding device, encoding method, transmission device, decoding device, decoding method, and reception device
US20140002598A1 (en) Transport system and client system for hybrid 3d content service
JP2022000943A (ja) ３ｄｔｖ放送送受信装置
WO2008066257A1 (en) Apparatus and method for hierarchical modulation transmission and reception of scalable video bitstream
US9271017B2 (en) Apparatus and method for transmitting and receiving broadcasting
KR101697385B1 (ko) 채널 적응형 계층적 방송 장치 및 방법
KR20140002471A (ko) 하이브리드 3d 콘텐츠 서비스용 전송 시스템 및 클라이언트 시스템
KR20150057149A (ko) 재전송망에 기초한 3ｄ 방송 서비스 제공 시스템 및 방법
JP6442067B2 (ja) Ｈｅｖｃ拡張の搬送のための動作点のシグナリング
KR20110068821A (ko) 송, 수신 장치 및 송, 수신 방법
KR101277267B1 (ko) 3차원 방송을 위한 데이터 코덱 방법 및 장치
KR20130119888A (ko) 상호 의존관계를 가지는 비디오 데이터를 처리하는 장치
KR20150093103A (ko) 초고화질 방송 서비스 제공 장치 및 방법
KR20140053938A (ko) 신호 송신 방법
KR20120139643A (ko) 3차원 방송을 위한 데이터 코덱 방법 및 장치
KR20120087869A (ko) 3차원 방송을 위한 데이터 코덱 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant