KR20120065943A - 스테레오스코픽 비디오 서비스 위한 시그널링 방법 및 이러한 방법을 사용하는 장치 - Google Patents

스테레오스코픽 비디오 서비스 위한 시그널링 방법 및 이러한 방법을 사용하는 장치 Download PDF

Info

Publication number
KR20120065943A
KR20120065943A KR1020110132688A KR20110132688A KR20120065943A KR 20120065943 A KR20120065943 A KR 20120065943A KR 1020110132688 A KR1020110132688 A KR 1020110132688A KR 20110132688 A KR20110132688 A KR 20110132688A KR 20120065943 A KR20120065943 A KR 20120065943A
Authority
KR
South Korea
Prior art keywords
video
stream
descriptor
decoding
information
Prior art date
Application number
KR1020110132688A
Other languages
English (en)
Inventor
이봉호
윤국진
정원식
이응돈
정세윤
안상우
임영권
허남호
이수인
최진수
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US13/885,983 priority Critical patent/US20130250051A1/en
Priority to CN201180053079.9A priority patent/CN103190153B/zh
Priority to EP11849201.6A priority patent/EP2654305A2/en
Priority to JP2013533784A priority patent/JP2013545361A/ja
Priority to PCT/KR2011/009546 priority patent/WO2012081874A2/ko
Publication of KR20120065943A publication Critical patent/KR20120065943A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

스테레오스코픽 비디오 서비스 위한 시그널링 방법 및 이러한 방법을 사용하는 장치가 개시되어 있다. 영상 복호화 방법은 프로그램 레벨 서술자를 복호하는데 있어 방송 서비스 타입 및 디스플레이 모드에 따른 필드값을 판단하는 단계와 기초 스트림 레벨 서술자를 복호하는데 있어 부호화된 스트림 타입, 기초 스트림이 기준스트림인지 여부, 기초 스트림이 좌영상 또는 우영상인지 여부, 부가 영상의 업샘플링 정보, 서브샘플링된 라인의 정보를 판단하는 단계를 포함할 수 있다. 따라서, 스테레오스코픽 비디오 컨텐츠를 부가 영상을 부복호화하는 효율이 증가될 수 있다.

Description

스테레오스코픽 비디오 서비스 위한 시그널링 방법 및 이러한 방법을 사용하는 장치{METHODS OF SIGNALING FOR STEREOSCOPIC VIDEO SERVICE AND APPARATUSES FOR USING THE SAME}
본 발명은 스테레오스코픽 비디오 서비스 위한 시그널링 방법 및 이러한 방법을 사용하는 장치에 관한 것으로 더욱 상세하게는 복호화 방법 및 장치에 관한 것이다.
인간은 정보의 80%이상을 눈을 통해 받아들인다. 그만큼 인간에게 있어서 시각에 의한 정보전달은 매우 중요한 비중을 차지한다. 3차원 입체 영상이란 인간이 현실에서 느끼는 것과 같은 현장감을 제공하는 영상으로서 일반 2차원 영상에 추가로 깊이감과 임장감을 함께 제공하며, 이와 같은 정보를 제공하는 방법으로 깊이지도 정보(depth-map) 및 스테레오스코픽 영상과 같은 3차원 입체기술이 발전했다. 깊이지도 정보는 2차원 영상에서 깊이 정보를 사용하여 입체효과를 나타내지만 영상의 정확한 깊이 정보를 획득하는데 어려움이 있어 아직 널리 쓰이지 못하고 있다.
스테레오스코픽 영상은 스테레오스코픽 카메라를 통해 획득한 좌, 우 2차원 영상을 사용하여 좌, 우 눈의 위치 차이에 의해 서로 다른 영상이 들어오고, 뇌는 그것을 입체로 받아들여 거리감을 갖게 되는 과정에서 사용자가 입체감을 느낄 수 있도록 한다. 스테레오스코픽 영상의 좌, 우 영상의 구성 방법은 매우 다양하나, 현재 시장에서 많이 활용되는 방법으로는 크게 하나의 기초스트림 (elementary stream : ES) 또는 두 개의 기초스트림을 기반으로 한 방법들이 있다. 하나의 기초스트림을 기반으로 한 영상 구성 방법은 화면분할(side-by-side), 격렬 주사(line interleaved) 및 순차 프레임(frame sequential)등을 통해 좌, 우 영상을 하나의 합성된 영상 (compound Image)으로 구성하는 방법이고, 두 개의 기초스트림을 기반으로 한 구성방법은 좌, 우 영상을 각각 독립된 스트림으로 구성하는 방법이다.
현재 스테레오스코픽 영상은 모바일 단말기, 텔레비전 등과 같이 다양한 장치에서 적용되고 있다. 그러나, 이러한 스테레오스코픽 영상을 저장하기 위한 공통의 파일포맷 및 전송하기 위한 전송규격이 정의되어 있지 않아 해당 스테레오스코픽 영상의 활용도 확산에 문제점으로 작용되었다.
이러한 문제점을 해결하기 위해 국제 표준화 기관인 MPEG에서는 “Auxiliary data over MPEG-2 Transport Stream”이라는 규격 제정을 통해 스테레오스코픽 영상의 깊이지도 정보 이미지를 영상이 아닌 하나의 부가 데이터로 처리하여 전송하도록 하였으며, 또한, 스테레오 스코픽 콘텐츠의 저장을 목적으로 하는 공통의 저장 포맷 표준인 “Stereoscopic Video Application Format”을 제정함으로서 콘텐츠간의 호환성을 확보하여 보다 다양한 스테레오스코픽 콘텐츠의 시장 확산이 가능하게 하였다. 그러나, 상기의 표준은 각각 스테레오스코픽 콘텐츠를 저장하기 위한 파일 포맷과 깊이지도 정보 영상 구별을 위한 규격으로, 하나 또는 두 개의 기초스트림을 통해 구성된 스테레오스코픽 콘텐츠를 전송하기 위한, 특히, 디지털 방송 전송 환경인 MPEG-2 전송스트림(TS)에 적용하는 데는 그 한계가 있다.
기존의 MPEG-2 전송스트림은 2D 영상을 기반으로 한 한 개의 기초 스트림으로 구성된 2차원 영상의 전송을 위해 고안되었다. 그러므로 좌, 우 영상을 각각 독립적인 두 개의 기초 스트림으로 구성하는 스테레오스코픽 영상 구성 방법인 경우, 기존의 MPEG-2 전송스트림으로 전송하기에는 제약이 있다. 또한, 스테레오스코픽 영상이 하나의 기초 스트림으로 구성되는 경우, 좌, 우 영상이 합성되어 하나의 영상으로 구성되어지기에, 기존의 MPEG-2 전송스트림으로 전송은 가능하지만, 전송된 합성 영상의 구성 정보를 파악할 수 없기에 스테레오스코픽 영상이 아닌 2D 영상으로 인식하여 처리하는 한계가 있다.
본 발명의 목적은 스테레오 스코픽 비디오 컨텐츠의 복호화 방법을 제공하는 것이다.
또한, 본 발명의 또 다른 목적은 스테레오 스코픽 비디오 컨텐츠의 복호화 방법을 수행하는 장치를 제공하는 것이다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 복호 방법은 프로그램 레벨 서술자를 복호하는데 있어 방송 서비스 타입 및 디스플레이 모드에 따른 필드값을 판단하는 단계와 기초 스트림 레벨 서술자를 복호하는데 있어 부호화된 스트림 타입, 기초 스트림이 기준스트림인지 여부, 기초 스트림이 좌영상 또는 우영상인지 여부, 부가 영상의 업샘플링 정보, 서브샘플링된 라인의 정보를 판단하는 단계를 포함할 수 있다. 상기 영상 복호 방법은 프로그램 레벨 서술자를 복호하는데 있어 2D 방송 서비스와 3D 방송 서비스가 섞여져 있는지 여부를 판단하는 단계와 기초 스트림 레벨 서술자를 복호하는데 있어서 PID 정보를 기초로 기준 영상 스트림과 부가 영상 스트림을 연관시키는 단계를 더 포함할 수 있다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 다른 측면에 따른 영상 복호 방법은 기초 스트림 레벨에서 기준 영상 서술자를 복호함에 있어 좌영상 또는 우영상인지 여부를 판단하는 단계와 상기 기초 스트렘 레벨에서 부가 영상 서술자를 복호함에 있어 부가 영상의 업샘플링 정보를 판단, 부가 영상의 서브샘플링 라인 정보를 판단하는 단계를 포함할 수 있다. 상기 영상 복호 방법은 상기 기초 스트림 레벨에서 상기 부가 영상 서술자를 복호하는데 있어 좌영상 또는 우영상인지 여부를 판단하는 단계를 더 포함할 수 있다. 상기 영상 복호 방법은 상기 기초 스트림 레벨에서 상기 부가 영상 서술자를 복호하는데 있어 부호화된 스트림의 타입을 판단하는 단계를 더 포함할 수 있다. 상기 영상 복호 방법은 상기 기초 스트림이 기준 영상 스트림인지 부가 영상 스트림인지 여부를 판단하는 단계를 더 포함할 수 있다. 상기 영상 복호 방법은 상기 기초 스트림 레벨에서 상기 부가 영상 서술자를 복호하는데 있어 PID 정보를 기초로 기준 영상 스트림과 부가 영상 스트림을 연관시키는 단계를 더 포함할 수 있다. 상기 영상 복호 방법은 상기 기초 스트림 레벨에서 상기 기준 영상 서술자를 복호하는데 있어 PID 정보를 기초로 기준 영상 스트림과 부가 영상 스트림을 연관시키는 단계를 더 포함할 수 있다. 상기 영상 복호 방법은 상기 기초 스트림 레벨에서 상기 부가 영상 서술자를 복호하는데 있어 2D 방송 서비스와 3D 방송 서비스가 섞여져 있는지 여부를 판단하는 단계를 더 포함할 수 있다. 상기 영상 복호 방법은 레벨 서술자를 복호하는데 있어 두 개의 기초 스트림 중 적어도 하나의 기초 스트림이 별도의 채널로 전송되는지 여부를 판단하는 단계, 상기 별도의 채널로 전송되는 기초 스트림을 포함하고 있는 전송 스트림의 아이디값을 복호하는 단계와 상기 별도의 채널로 전송되는 기초 스트림을 포함하고 있는 프로그램을 규정하는 필드값을 복호하는 단계를 더 포함할 수 있다. 상기 영상 복호 방법은 현재 채널에 기준 영상 스트림이 포함되어 있는지 여부를 판단하는 단계를 더 포함할 수 있다.
복호화 장치는 프로그램 레벨 서술자와 기초 스트림 레벨 서술자를 각각 복호하여 좌영상 비디오 PES(Packetized elementary stream) 패킷, 우영상 PES 패킷, 오디오 PES 패킷를 역 다중화하는 역다중화기와 상기 역다중화된 좌영상 비디오 PES 패킷, 우영상 PES 패킷, 오디오 PES 패킷을 역 패킷화하여 좌영상 비디오 기초 스트림, 우영상 비디오 기초 스트림, 오디오 기초 스트림을 생성하는 PES 역패킷화기를 포함할 수 있다. 상기 역다중화기는 프로그램 레벨 서술자에서 방송 서비스 타입 및 디스플레이 모드에 따른 필드값 정보를 제공받고 기초 스트림 레벨 서술자에서 부호화된 스트림 타입, 기초 스트림이 기준스트림인지 여부, 기초 스트림이 좌영상 또는 우영상인지 여부, 부가 영상의 업샘플링 정보, 서브샘플링된 라인의 정보를 제공받아 역다중화를 수행하는 역다중화기일 수 있다. 상기 역다중화기는 프로그램 레벨 서술자에서 2D 방송 서비스와 3D 방송 서비스가 섞여져 있는지 여부를 판단하고 기초 스트림 레벨 서술자를 복호하는데 있어서 PID 정보를 기초로 기준 영상 스트림과 부가 영상 스트림을 연관시키는 역다중화기일 수 있다. 상기 역다중화기는 기초 스트림 레벨에서 기준 영상 서술자를 복호함에 있어 좌영상 또는 우영상인지 여부를 판단하고 상기 기초 스트렘 레벨에서 부가 영상 서술자를 복호함에 있어 부가 영상의 업샘플링 정보를 판단, 부가 영상의 서브샘플링 라인 정보를 판단하는 역다중화기일 수 있다. 상기 역다중화기는 상기 기초 스트림 레벨에서 상기 부가 영상 서술자를 복호하는데 있어 좌영상 또는 우영상인지 여부를 판단하는 역다중화기일 수 있다. 상기 역다중화기는 상기 기초 스트림이 기준 영상 스트림인지 부가 영상 스트림인지 여부를 판단하는 역다중화기일 수 있다. 상기 역다중화기는 상기 기초 스트림 레벨에서 상기 기준 영상 서술자를 복호하는데 있어 PID 정보를 기초로 기준 영상 스트림과 부가 영상 스트림을 연관시키는 단계를 더 포함하는 역다중화기일 수 있다. 상기 역다중화기는 상기 기초 스트림 레벨에서 상기 부가 영상 서술자를 복호하는데 있어 2D 방송 서비스와 3D 방송 서비스가 섞여져 있는지 여부를 판단하는 역다중화기일 수 있다. 상기 역다중화기는 프로그램 레벨 서술자를 복호하는데 있어 두 개의 기초 스트림 중 적어도 하나의 기초 스트림이 별도의 채널로 전송되는지 여부를 판단하고 상기 별도의 채널로 전송되는 기초 스트림을 포함하고 있는 전송 스트림의 아이디값을 복호하고 상기 별도의 채널로 전송되는 기초 스트림을 포함하고 있는 프로그램을 규정하는 필드값을 복호하는 역다중화기일 수 있다.
상술한 바와 같이 본 발명의 실시예에 따른 스테레오스코픽 비디오 서비스 위한 시그널링 방법 및 이러한 방법을 사용하는 장치에 따르면, 기존의 시그널링 방법에 부가적인 서술자 정보를 사용하여 스테레오스코픽 서비스를 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 프로그램 레벨 서술자를 부복호화하는 방법을 나타낸 순서도이다.
도 2는 본 발명의 실시예에 따른 ES 레벨 서술자를 부복호화하는 방법을 나타낸 순서도이다.
도 3은 본 발명의 실시예에 따른 프로그램 레벨 서술자를 부복호화하는 방법을 나타낸 순서도이다.
도 4는 본 발명의 실시예에 따른 ES 레벨 서술자를 부복호화하는 방법을 나타낸 순서도이다.
도 5는 본 발명의 실시예에 따른 기초 스트림 레벨 서술자를 나타낸 순서도이다.
도 6은 본 발명의 실시예에 따른 기초 스트림 레벨 서술자를 나타낸 순서도이다.
도 7은 본 발명의 또 다른 실시예에 따른 서술자를 추가하여 스테레오스코픽 영상을 부호화하는 장치를 나타낸 블록도이다.
도 8은 본 발명의 또 다른 실시예에 따른 서술자를 추가하여 스테레오스코픽 영상을 복호화하는 장치를 나타낸 블록도이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
아래의 표 1은 디지털방송에서 프로그램의 식별 및 포함되는 부호화 스트림의 특성을 제공하는 PMT(Program Map Table)의 구조를 나타낸다.
<표 1>
Figure pat00001
표 1을 참조하면, 전송 스트림의 Program level과 ES level에서 기술자 정보(descriptor)를 사용하여 스테레오스코픽 서비스를 제공하기 위하 추가적인 정보들을 제공할 수 있다.
추가적인 기술자를 사용하는 스테레오스코픽 서비스를 제공하기 위하 추가적인 정보는 아래와 같다.
Stereo_mono_servive_type: 방송 프로그램의 2D/3D 서비스 타입을 구분하는 필드로 서비스 타입에 따른 의미는 아래의 표 2와 같다.
<표 2>
Figure pat00002
표 2를 참조하면 Stereo_mono_service_type이 001인 경우, 방송 프로그램이 2D 서비스를 제공하는 것을 나타내고, 010인 경우, Frame-compatible 3D service가 제공되고 011인 경우, Service-compatible 3D service인 경우를 나타낸다.
Frame-compatible-3D service는 하나의 프레임 내 좌우영상이 포함되는 스테레오스코픽 비디오 (Example: side by side, top/down, check board 등) 서비스. 기존 매체, 방송 장비 및 단말을 사용하여 송/수신이 가능한 서비스이지만, 기존의 2D 단말이 수신하여 재생하는 경우에는 한 화면에 좌우영상이 반씩 보이게 되어 기존의 2D 방송과 동일한 모양의 2D 비디오를 볼 수 없다.
Service-compatible 서비스는 스테레오스코픽 비디오 서비스를 제공하는 데 있어서, 기존의 2D 단말이 기존의 2D 방송과 동일한 모양의 2D 비디오를 시청할 수 있도록 제공 한다. 이의 예로는 기존 2D 매체 또는 2D방송과 호환성을 유지하면서 기준영상 및 부가영상이 별도의 스트림으로 구분되어 제공되는 서비스가 있다(Example: 기준 영상 MPEG-2 video로 부호화하여 전송, 부가 영상-AVC 등으로 부호화 하여 전송).
is_mixed_service는 동일 프로그램 내에 2D 서비스와 3D 서비스가 혼재하고 있는지를 나타내는 필드로 ‘1’인 경우 2D 서비스와 3D 서비스가 혼재하는 것을 나타내며, ‘0’인 경우 2D 서비스와 3D 서비스가 혼재하지 않는 것을 나타낼 수 있다. 스테레오스코픽 영상 서비스는 서비스되는 시간 동안 스테레오스코픽 영상만을 제공하는 서비스인 스테레오스코픽 전용 서비스 (예: 극장에서는 스테레오스코픽 영상 기반 영화 상영)와 스테레오스코픽 영상과 2D 영상을 혼용하여 제공하는 스테레오스코픽/2D 영상 혼용 서비스로 구분될 수 있다.
2D_view_flag는 3DTV 수신기에서 3D 프로그램을 수신하여 2D 디스플레이 모드로 시청 시 적합한 영상을 식별하기 위한 필드로 ‘1’인 경우 기준영상을 디스플레이하고 ‘0’인 경우 부가영상을 디스플레이 할 수 있다.
coded_stream_type는 부가영상에 대한 부호화 방법을 나타내는 필드로 ISO/IEC 13818-1 MPEG-2 Systems:2007의 Table 2-29에 나타나 있는 stream_type 값을 가질 수 있다.
base_video_flag는 해당 ES가 기준영상 스트림인지 여부를 나타낸다. ‘1’인 경우 해당 스트림은 기준 영상임을 나타내며 ‘0’인 경우 해당 스트림은 부가영상임을 나타낼 수 있다.
view_flag는 해당 ES가 좌영상 스트림인지 우영상 스트림인지 구분하는 필드로 ‘1’이면 해당 ES가 좌영상을 나타내고 ‘0’이면 해당 스트림이 우영상을 나타낼 수 있다.
upsampling_factor는 부가영상에 대한 upsampling을 위한 정보를 나타내는 필드로서 아래의 표 3과 같이 정의될 수 있다.
<표 3>
Figure pat00003
horizontal_subsampling_type은 부가영상의 해상도를 수평 방향으로 1/2 크기로 서브샘플링할 때, 아래 표 4와 같이 서브 샘플링되는 라인을 나타낼 수 있다. stereoscopic_composition_type 필드의 값이 ‘010’ 또는 ‘100’일 때 의미가 있으며 그 외의 경우에는 ‘00’으로 설정될 수 있다.
<표 4>
Figure pat00004
vertical_subsampling_type은 부가영상의 해상도를 수직 방향으로 1/2 크기로 서브샘플링할 때, 아래 표 5와 같이 서브 샘플링되는 라인을 나타낼 수 있다. stereoscopic_composition_type 필드의 값이 ‘011’ 또는 ‘100’일 때 의미가 있으며 그 외의 경우에는 ‘00’으로 설정한다.
<표 5>
Figure pat00005
linked_elemenatry_stream_PID는 부가영상 스트림에 상응하는 기준영상 스트림의 PID 또는 기준영상 스트림에 상응하는 부가영상 스트림의 PID를 나타낼 수 있다.
본 발명의 실시예에 따르면, 전술한 구문 요소 정보를 이용하여 program level descriptor 와 ES level descriptor를 아래의 표 7 및 표 8과 같이 각각 구성하여 시그널링할 수 있다.
아래의 표 6은 program level descriptor를 나타내는 표이다.
<표 7>
Figure pat00006
표 6을 참조하면, 전술한 Stereo_mono_service_type이 10인 경우 또는 11인 경우 즉, 프레임 타입이 Frame-compatible 3D service이거나, Service-compatible 3D service이라서 3D 서비스를 제공하는 프레임인 경우, 2D_view_flag를 통해서 수신된 3D 영상을 2D 서비스로 디스플레이시 기준 영상을 디스플레이할지 아니면 부가 영상을 디스플레이할지 여부를 정할 수 있다.
아래의 표 7은 ES level descriptor를 나타내는 표이다. 표 7의 ES level descriptor는 기준 영상 및 부가 영상 모두에 적용하거나 부가 영상에만 적용할 수 있다.
<표 7>
Figure pat00007
표 7을 참조하면, coded-stream-type을 이용하여 부가 영상에 대한 부복호화 방법을 나타낼 수 있고 base_video_flag를 통해 해당 ES가 기준 영상 스트림인지 부가 영상 스트림인지 여부를 나타내고, view_flag는 ES가 좌영상 스트림인지 아니면 우영상 스트림인지 여부를 나타낸다.
upsampling_factor는 전술한 바와 같이 부가 영상에 대한 업샘플링을 위한 정보를 나타내는 필드이고, horizontal_subsampling_type은 부가 영상의 해상도를 수평 방향으로 1/2 서브샘플링시 샘플링 라인을 나타내고, vertical_subsampling_type은 부가 영상의 해상도를 수직 방향으로 1/2 서브샘플링시 샘플링 라인을 나타낸다.
즉, 표 8과 같이 ES level descriptor를 사용하여 스트림을 구분하여 부가 영상의 샘플링의 샘플링 방법에 대한 정보를 부복호화할 수 있다.
도 1은 본 발명의 실시예에 따른 프로그램 레벨 서술자를 부복호화하는 방법을 나타낸 순서도이다.
이하, 본 발명의 순서도에서 수행되는 단계들의 순서는 임의적인 것으로써 본 발명의 본질에서 벋어나지 않는 한 단계간의 순서는 변할 수 있다.
도 1을 참조하면, 방송 서비스 타입을 판단한다(단계 S100).
구문 요소인 Stereo_mono_service_type을 판단하여 방송 서비스 타입이 2D 서비스인지 아니면 Frame-compatible 3D service, Service-compatible 3D service인지 여부를 판단한다.
디스플레이 모드에 따른 필드값을 판단한다(단계 S110).
수신된 3D 방송 서비스 컨텐츠를 기초로 2D 모드의 디스플레이를 수행할 경우, 기준 영상을 디스플레이 할 것인지 아니면 부가영상을 디스플레이할 것인지를 결정하는 필드값을 판단하여 해당 영상을 출력할 수 있다.
도 2는 본 발명의 실시예에 따른 ES 레벨 서술자를 부복호화하는 방법을 나타낸 순서도이다.
도 2를 참조하면, 부호화된 스트림 타입을 판단한다(단계 S200).
부가 영상이 부호화된 방법을 판단한다. 부가영상의 부호화 방법은 ISO/IEC 13818-1 MPEG-2 Systems:2007에서 개시된 부호화 방법을 사용할 수 있다.
기초 스트림이 기준 영상 스트림인지 여부를 판단한다(단계 S210).
기초 스트림이 기준 영상 스트림인지 아니면 부가 영상 스트림인지 여부를 나타낸다.
기초 스트림이 좌영상 스트림인지 우영상 스트림인지 여부를 판단한다(단계 S220).
스테레오스코픽 영상의 경우, 좌영상과 우영상 스트림이 존재할 수 있고 이러한 영상 정보를 판단할 수 있다.
부가 영상의 업샘플링 정보를 판단한다(단계 S230).
다운 샘플링되어 전송된 부가 영상 정보를 기초로 업샘플링을 수행하기 위해서 어떠한 업샘플링 방법을 사용할 것인지에 대한 정보를 판단할 수 있다.
서브샘플링된 라인의 정보를 판단한다(단계 S240).
부가영상에 대한 서브샘플링은 수평 또는 수직 방향으로 서브샘플링될 수 있고 서브샘플링될 경우, 짝수 또는 홀수 라인이 서브샘플링되었는지 여부를 판단할 수 있다.
본 발명의 또 다른 실시예에 따르면, 전술한 구문 요소 정보를 이용하여 program level descriptor 와 ES level descriptor를 아래의 표 9 및 표 10과 같이 각각 구성하여 시그널링할 수 있다.
아래의 표 8은 2D 서비스와 3D 서비스가 혼재한 경우를 program_level_descriptor를 나타낸 표이다.
<표 8>
Figure pat00008
표 8을 참조하면, 도 7과 달리 구문 요소 is_mixed_service를 추가하여 동일 프로그램 내에 2D 서비스와 3D 서비스가 혼재되어 있는지 여부를 추가적으로 알려줄 수 있다.
<표 9>
Figure pat00009
표 9는 표 8과 동일하고 위와 같은 ES level descriptor를 기준 영상 및 부가 영상 모두에 적용하거나 부가 영상에만 적용하여 사용할 수 있다.
도 3은 본 발명의 실시예에 따른 프로그램 레벨 서술자를 부복호화하는 방법을 나타낸 순서도이다.
도 3을 참조하면, 방송 서비스 타입을 판단한다(단계 S300).
구문 요소인 Stereo_mono_service_type을 판단하여 방송 서비스 타입이 2D 서비스인지 아니면 Frame-compatible 3D service, Service-compatible 3D service인지 여부를 판단한다.
2D 방송 서비스와 3D 방송 서비스가 섞여져 있는지 여부를 판단한다(단계 S310).
방송 서비스를 제공시 2D 방송 컨텐츠와 3D 방송 컨텐츠가 섞여서 부호화되거나 3D 방송 컨텐츠만으로 부호화될 수 있으며, 방송 컨텐츠가 섞인 방식에 대한 정보를 판단할 수 있다.
디스플레이 모드에 따른 필드값을 판단한다(단계 S320).
수신된 3D 방송 서비스 컨텐츠를 기초로 2D 모드의 디스플레이를 수행할 경우, 기준 영상을 디스플레이 할 것인지 아니면 부가영상을 디스플레이할 것인지를 결정하는 필드값을 판단하여 해당 영상을 출력할 수 있다.
본 발명의 또 다른 실시예에 따르면, 전술한 구문 요소 정보를 이용하여 program level descriptor 와 ES level descriptor를 아래의 표 11 및 표 12과 같이 각각 구성하여 시그널링할 수 있다.
표 10과 표 11에서는 Service_compatible의 경우, 기준 영상과 부가 영상에 대하여 서로 대응되는 영상 스트림의 Elementary_PID를 명시하기 위한 것으로 표 12의 ES level descriptor에 linked_elementary_PID를 더 포함할 수 있다.
표 10은 Program_level_descriptor를 나타낸 것이다.
<표 10>
Figure pat00010
<표 11>
Figure pat00011
표 11을 참조하면, linked_elementary_stream_PID를 포함하며, 부가 영상 스트림에 상응하는 기준 영상 스트림의 PID 또는 기준 영상 스트림에 상응하는 부가영상 스트림의 PID를 나타낸다.
즉, Service Compatible의 경우, 3D 서비스가 기준 영상 스트림과 부가 영상 스트림을 포함하여 이루어질 수 있으므로 PID 값을 링크시켜 부복호화를 수행할 수 있다.
도 4는 본 발명의 실시예에 따른 ES 레벨 서술자를 부복호화하는 방법을 나타낸 순서도이다.
도 4를 참조하면, 부호화된 스트림 타입을 판단한다(단계 S400).
부가 영상이 부호화된 방법을 판단한다. 부가영상의 부호화 방법은 ISO/IEC 13818-1 MPEG-2 Systems:2007에서 개시된 부호화 방법을 사용할 수 있다.
기초 스트림이 기준 영상 스트림인지 여부를 판단한다(단계 S410).
기초 스트림이 기준 영상 스트림인지 아니면 부가 영상 스트림인지 여부를 나타낸다.
기초 스트림이 좌영상 스트림인지 우영상 스트림인지 여부를 판단한다(단계 S420).
스테레오스코픽 영상의 경우, 좌영상과 우영상 스트림이 존재할 수 있고 이러한 영상 정보를 판단할 수 있다.
부가 영상의 업샘플링 정보를 판단한다(단계 S430).
다운 샘플링되어 전송된 부가 영상 정보를 기초로 업샘플링을 수행하기 위해서 어떠한 업샘플링 방법을 사용할 것인지에 대한 정보를 판단할 수 있다.
서브샘플링된 라인의 정보를 판단한다(단계 S440).
부가영상에 대한 서브샘플링은 수평 또는 수직 방향으로 서브샘플링될 수 있고 서브샘플링될 경우, 짝수 또는 홀수 라인이 서브샘플링되었는지 여부를 판단할 수 있다.
PID 정보를 기초로 기준 영상 스트림과 부가 영상 스트림을 연관시킨다(단계 S450).
복호화된 기준 영상 스트림과 부가 영상 스트림 사이에 동기화를 수행하기 위해 PID 정보를 연관시킨다.
본 발명의 또 다른 실시예에 따르면, 전술한 구문 요소 정보를 이용하여 ES level descriptor를 아래의 표 13 및 표 14과 같이 각각 구성하여 시그널링할 수 있다.
Program level descriptor의 경우는 표 7 및 표 9와 같이 2D 서비스와 3D 서비스가 혼재하는지 여부를 나타내는 구문 요소인 is_mixed_service의 포함 여부를 선택적으로 적용하여 사용할 수 있다.
ES level descriptor의 경우, 서술자로 아래의 표 13에서와 같이Stereoscopic_base_video_information_descriptor() 또는 아래의 표 14에서와 같이 Stereo_supplimentary_video_information_descriptor()로 구분하여 하나는 기준 영상에 하나는 부가 영상에 사용할 수 있다.
<표 12>
Figure pat00012
<표 13>
Figure pat00013
표 12에서는 기초 영상에 사용되는 구문 요소 정보인 base_video_flag가 포함되어 있고 표 13에서는 부가 영상에 사용되는 구문 요소 정보인 upsampling_factor, horizontal_subsampling_type 및 vertical_subsampling_type이 포함되어 기초 영상에 사용되는 구문 요소와 부가 영상에 사용되는 구문 요소를 분리할 수 있다.
도 5는 본 발명의 실시예에 따른 기초 스트림 레벨 서술자를 나타낸 순서도이다.
도 5를 참조하면, 기준 영상 서술자와 부가 영상 서술자를 구분한다(단계 S500).
기초 스트림 레벨 서술자는 기준 영상 서술자와 부가 영상 서술자로 구분될 수 있고, 각각에서 필요한 구문 요소 정보를 복호화할 수 있다.
좌영상 정보인지 우영상 정보인지 여부를 판단한다(단계 S510).
기준 영상 서술자인 경우, 해당 비트스트림이 우영상에 해당하는 정보인지 아니면 좌영상에 해당하는 정보인지 여부를 판단한다.
부가 영상 서술자인 경우 단계 S520 이하 단계의 절차들이 수행될 수 있다.
부호화된 스트림의 타입을 판단한 후 부가 영상의 업샘플링 정보를 판단한다(단계 S520).
부호화된 스트림 타입을 판단 후 다운 샘플링되어 전송된 부가 영상 정보를 기초로 업샘플링을 수행하기 위해서 어떠한 업샘플링 방법을 사용할 것인지에 대한 정보를 판단할 수 있다.
서브샘플링된 라인의 정보를 판단한다(단계 S530).
부가영상에 대한 서브샘플링은 수평 또는 수직 방향으로 서브샘플링될 수 있고 서브샘플링될 경우, 짝수 또는 홀수 라인이 서브샘플링되었는지 여부를 판단할 수 있다.
해당 ES가 좌영상 스트림인지 우영상 스트림인지 구분하는 필드로 ‘1’이면 해당 ES가 좌영상을 나타내고 ‘0’이면 해당 스트림이 우영상을 나타낸다.
본 발명의 또 다른 실시예에 따르면, 전술한 구문 요소 정보를 이용하여 ES level descriptor를 아래의 표 14 및 표 15과 같이 각각 구성하여 시그널링할 수 있다.
ES level descriptor의 경우, 서술자로 아래의 표 15에서와 같이Stereoscopic_base_video_information_descriptor() 또는 아래의 표 16에서와 같이 Stereo_supplimentary_video_information_descriptor()로 구분하여 하나는 기준 영상에 하나는 부가 영상에 사용할 수 있다.
<표 14>
Figure pat00014
<표 15>
Figure pat00015

도 6은 본 발명의 실시예에 따른 기초 스트림 레벨 서술자를 나타낸 순서도이다.
도 6을 참조하면, 기준 영상 서술자와 부가 영상 서술자를 구분하여 서술자를 부복호화할 수 있다. 스트림 레벨 서술자는 기준 영상 서술자와 부가 영상 서술자로 구분되어 복호화될 수 있고, 각각에서 필요한 구문 요소 정보를 복호화할 수 있다.
현재 기초 스트림이 기준 영상 스트림인지 아니면 부가 스트림인지 여부를 판단한다(단계 S600).
기준 영상 서술자는 기준 영상 스트림인 경우 적용될 수 있다.
기준 영상 스트림이 좌영상 정보인지 우영상 정보인지 여부를 판단한다(단계 S610). 기준 영상 스트림의 경우 기준 영상 서술자를 사용하여 기준 영상 스트림이 우영상에 해당하는 정보인지 아니면 좌영상에 해당하는 정보인지 여부를 판단한다.
부가 영상 서술자에서는 부호화된 스트림 타입을 판단하고 현재 기초 스트림이 기준 영상 스트림인지 아니면 부가 스트림인지 여부를 판단한다(단계 S615).
부가 영상 스트림이 좌영상인지 우영상인지 여부를 판단한다(단계 S620).
부가 영상 스트림 정보를 기초로 부가 영상이 좌영상인지 우영상인지 여부를 판단한다.
부가 영상의 업샘플링 정보를 판단한다(단계 S630).
다운 샘플링되어 전송된 부가 영상 정보를 기초로 업샘플링을 수행하기 위해서 어떠한 업샘플링 방법을 사용할 것인지에 대한 정보를 판단할 수 있다.
서브샘플링된 라인의 정보를 판단한다(단계 S640).
부가영상에 대한 서브샘플링은 수평 또는 수직 방향으로 서브샘플링될 수 있고 서브샘플링될 경우, 짝수 또는 홀수 라인이 서브샘플링되었는지 여부를 판단할 수 있다.
해당 ES가 좌영상 스트림인지 우영상 스트림인지 구분하는 필드로 ‘1’이면 해당 ES가 좌영상을 나타내고 ‘0’이면 해당 스트림이 우영상을 나타낸다.
본 발명의 또 다른 실시예에 따르면, 전술한 구문 요소 정보를 이용하여 ES level descriptor를 아래의 표 16 및 표 17과 같이 각각 구성하여 시그널링할 수 있다.
ES level descriptor의 경우, 서술자로 아래의 표 17에서와 같이Stereoscopic_base_video_information_descriptor() 또는 아래의 표 18에서와 같이 Stereo_supplimentary_video_information_descriptor()로 구분하여 하나는 기준 영상에 하나는 부가 영상에 사용할 수 있다.
<표 16>
Figure pat00016
<표 17>
Figure pat00017
표 16과 표 17은 도 6과 달리 기준 영상 서술자에 기준 영상인지 여부를 판단하는 단계가 수행되지 않을 수 있고 부가 영상 서술자에서는 부가 영상 스트림이 좌영상 인지 우영상인지 여부를 판단하는 단계가 수행되지 않을 수 있다.
본 발명의 또 다른 실시예에 따르면, 전술한 구문 요소 정보를 이용하여 ES level descriptor를 아래의 표 19 및 표 20과 같이 각각 구성하여 시그널링할 수 있다.
ES level descriptor의 경우, 서술자로 아래의 표 19에서와 같이Stereoscopic_base_video_information_descriptor() 또는 아래의 표 20에서와 같이 Stereo_supplimentary_video_information_descriptor()로 구분하여 하나는 기준 영상에 하나는 부가 영상에 사용할 수 있다.
<표 18>
Figure pat00018
<표 19>
Figure pat00019
표 18와 표 19을 참조하면, 표 16 및 표 17과 비교하여 기준 영상 서술자에는 view_flag 대신에 based_video_flag를 사용할 수 있고, 부가 영상 서술자에서는 ㅠbased_video_flag 대신 view_flag를 사용할 수 있다.
또 다른 실시예로 위의 표 12 및 표 13, 표 14 및 표 15, 표 16 및 표 17, 표 18 및 표 19에서 Service_compatible의 경우, 기준 영상과 부가 영상에 대하여 서로 대응되는 영상 스트림의 Elementary_PID를 명시하기 위하여 Stereoscopic_supplimentary_video_information_descriptor()에 linked_elementary_stream_PID를 더 포함할 수 있으며, Stereoscopic_base_video_information_descriptor()에도 linked_elementary_stream_PID를 더 포함할 수 있다.
또한, 위의 표 12 및 표 13, 표 14 및 표 15, 표 16 및 표 17, 표 18 및 표 19에서 Service_compatible의 경우, Stereoscopic_supplimentary_video_information_descriptor()에 상기 표 6, 표 8 및 표 10에 명시된 Stereoscopic_program_information_descriptor() 내 2D_view_flag가 포함될 수 있고 이러한 경우, Stereoscopic_program_information_descriptor() 내 2D_view_flag은 빠질 수 있다.
또 다른 실시예로 ES level descriptor에서 coded_stream_type은 descriptor 외부에서 정의하는 stream_type과의 관계를 고려하여 사용되지 않을 수 있으며, coded_stream_type이 사용되지 않는 경우에는 상기 실시 예들에서 정의된 ES level descriptor에서 coded_stream_type은 제외한다. 이는 상기 실시예들 중 coded_stream_type을 포함하는 있는 경우 모두에 적용될 수 있다.
스테레오스코픽 비디오 서비스가 두 개의 채널을 통하여 제공되는 경우를 위한 추가적인 시그널링을 수행할 수 있다.
스테레오스코픽 비디오 서비스를 위하여 제공되는 두 개의 비디오 스트림 즉, 기준영상 스트림과 부가영상 스트림은 각각이 별도의 채널을 통하여 전송 될 수 있으며, 이 경우에는 두 개의 채널 및 영상스트림의 관계를 나타내기 위한 다음과 같은 정보들이 필요하다. 이 정보들은 필요에 따라 선택적으로 사용될 수 있다.
linked_transport_stream_present_flag은 스테레오스코픽 비디오 스트림을 구성하는 두 개의 ES 중 한 개의 ES는 별도의 채널로 전송되는지 여부를 나타내는 필드로, ‘1’이면 별도의 채널이 사용된다는 것을 나타내며 ‘0’이면 별도의 채널이 사용되지 않음을 나타낼 수 있다. 즉, 현 채널에 두 개의 ES가 모두 전송되고 있음을 나타낼 수 있다.. 부가채널의 경우, 응용에 따라 기준영상이 별도의 채널로 전송되고 있더라도 ‘0’으로 설정할 수 있다.
reference_view_present_flag은 현재의 채널에 기준영상 스트림이 포함되어 있는지를 구별하는 필드로, ‘1’이면 현재 채널에 기준영상 스트림이 포함되어 있음을 나타내고 ‘0’이면 기준영상 스트림이 포함되어 있지 않음을 나타낼 수 있다.
transport_stream_id는 별도의 채널로 전송되는 ES를 포함하고 있는 TS의 ID를 나타낸다. program_number는 별도의 채널로 전송되는 ES가 포함된 program을 규정하는 필드를 나타낸다.
이 정보들은 PMT에 포함되어 시그널링 되거나, NIT를 통하여 시그널링 될 수 있으며, 서비스 규격, 예를 들어 ATSC 규격(VCT 또는 EIT)을 통하여 제공 될 수도 있다.
상기 정보들이 모두 PMT에 포함되는 경우는 아래의 표 21과 같다.
<표 20>
Figure pat00020

표 20은 본 발명의 실시예에 따른 program level descriptor의 한 예로서, 구문 요소 linked_transport_stream_present_flag, reference_view_present_flag, transport_stream_id, program_number는 선택적으로 사용될 수 있으며, 전술한 표에서 정의된 program level descriptor의 정의와 함께 사용될 수 있다.
본 발명의 실시예에 따른 서술자 복호화 방법에서는 스테레오스코픽 비디오 서비스가 두 개의 채널을 통하여 제공되는 경우를 위한 추가적인 시그널링을 수행할 수 있다. 스테레오스코픽 비디오 서비스를 위하여 제공되는 두 개의 비디오 스트림 즉, 기준 영상 스트림과 부가영상 스트림은 각각이 별도의 채널을 통하여 전송될 수 있으며, 이 경우에는 두 개의 채널 및 영상 스트림의 관계를 나타내기 위한 아래와 같은 추가적인 정보들이 사용될 수 있다. 아래의 정보들은 필요에 따라 선택적으로 사용될 수 있다.
linked_transport_stream_present_flag은 스테레오스코픽 비디오 스트림을 구성하는 두 개의 기초 스트림(ES) 중 한 개의 ES는 별도의 채널로 전송되는지 여부를 나타내는 필드로, ‘1’이면 별도의 채널이 사용된다는 것을 나타내며 ‘0’이면 별도의 채널이 사용되지 않음을 나타낸다. 즉, 현 채널에 두 개의 ES가 모두 전송되고 있음을 나타낼 수 있다. 부가채널의 경우, 응용에 따라 기준영상이 별도의 채널로 전송되고 있더라도 ‘0’으로 설정할 수 있다.
reference_view_present_flag는 현재의 채널에 기준 영상 스트림이 포함되어 있는지를 구별하는 필드로, ‘1’이면 현재 채널에 기준 영상 스트림이 포함되어 있음을 나타내고 ‘0’이면 기준영상 스트림이 포함되어 있지 않음을 나타낼 수 있다.
transport_stream_id는 별도의 채널로 전송되는 ES를 포함하고 있는 TS의 ID를 나타낸다.
program_number는 별도의 채널로 전송되는 ES가 포함된 program을 규정하는 필드를 나타낸다.
상기 정보들은 PMT에 포함되어 시그널링 되거나, NIT를 통하여 시그널링 될 수 있으며, 서비스 규격, 예를 들어 ATSC 규격(VCT 또는 EIT)을 통하여 제공 될 수도 있다.
상기 정보들이 모두 PMT에 포함되는 경우의 실시 예는 아래의 표 22와 같다.
<표 22>
Figure pat00021
본 실시 예에서의 descriptor는 program level descriptor의 한 예로서, linked_transport_stream_present_flag, reference_view_present_flag, transport_stream_id, program_number는 선택적으로 사용될 수 있으며, 상기 실시예 1~3에서 정의된 program level descriptor의 정의와 함께 사용될 수 있다.
도 7은 본 발명의 또 다른 실시예에 따른 서술자를 추가하여 스테레오스코픽 영상을 부호화하는 장치를 나타낸 블록도이다.
이하, 스테레오스코픽 부복호화 장치는 좌영상과 우영상이 두 개의 프레임으로 따로 부호화되는 경우만을 나타내나, 스테레오스코픽 부복호화 장치는 좌영상과 우영상이 하나의 프레임으로 구성될 수 있고 이러한 경우도 본 발명의 권리 범위에 포함된다.
도 7을 참조하면, 스테레오스코픽 부호화 장치는 좌영상 비디오 부호화기(700), 우영상 비디오 부호화기(705), 오디오 부호화기(710), PES(Packetized elementary stream) 패킷화기(715), 다중화기(720), 섹션 발생기(725)를 포함할 수 있다.
좌영상 비디오 부호화기(700)는 좌측 영상을 부호화하고 산출된 좌영상 ES를 PES 패킷화기(715)에 전송할 수 있다.
우영상 비디오 부호화기(705)는 우측 영상을 부호화하고 산출된 우영상 ES를 PES 패킷화기(715)에 전송할 수 있다.
오디오 부호화기(710)는 오디오를 부호화하고 산출된 오디오 ES를 PES 패킷화기(715)에 전송할 수 있다.
PES 패킷화기(715)는 좌영상 ES, 영상 ES, 오디오 ES를 PES 패킷화하여 다중화기(720)에 전송할 수 있다.
섹션 발생기(725)에서는 프로그램 사양 정보, 즉 복수의 프로그램 중에서 어느 프로그램을 골라 어느 패킷을 취하여 어떻게 복호해야 하는 지에 대한 정보인 PSI 섹션을 다중화기에 전송한다.
다중화기(720)에서는 전송된 좌영상 비디오 PES 패킷, 우영상 비디오 PES 패킷, 오디오 PES 패킷을 다중화할 수 있다. 이때 전술한 본 발명의 실시예에 따른 program_level_descriptor와 ES level descriptor와 같은 서술자를 추가하여 전술한 다양한 구문 요소 정보를 기초로 다중화하여 비트스트림을 생성할 수 있다.
도 8은 본 발명의 또 다른 실시예에 따른 서술자를 추가하여 스테레오스코픽 영상을 복호화하는 장치를 나타낸 블록도이다.
역다중화기(800)에서는 전송된 비트스트림 정보를 기초로 역다중화를 수행하여 PSI 섹션, 좌영상 비디오 PES 패킷, 우영상 비디오 PES 패킷, 오디오 PES 패킷으로 각각의 PES 패킷과 섹션 정보를 산출할 수 있다. 역다중화를 수행시 전술한 본 발명의 실시예에 따른 program_level_descriptor와 ES level descriptor와 같은 서술자를 추가하여 전술한 다양한 구문 요소 정보를 기초로 역다중화하여 비트스트림을 생성할 수 있다.
PES 역패킷화기(810)는 역다중화기(800)에서 역다중화된 좌영상 비디오 PES 패킷, 우영상 비디오 PES 패킷, 오디오 PES 패킷을 역패킷화하여 좌영상 비디오 ES, 우영상 비디오 ES, 오디오 ES를 생성할 수 있다.
좌측 영상 비디오 복호화기(820)는 PES 역패킷화기(810)에서 산출된 좌영상 비디오 PES 패킷을 복호화하여 좌영상 비디오를 출력할 수 있다.
우측 영상 비디오 복호화기(830)는 PES 역패킷화기(810)에서 산출된 우영상 비디오 PES 패킷을 복호화하여 우영상 비디오를 출력할 수 있다.
오디오 복호화기(840)는 PES 역패킷화기(810)에서 산출된 오디오 PES 패킷을 복호화하여 오디오를 출력할 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (20)

  1. 프로그램 레벨 서술자를 복호하는데 있어 방송 서비스 타입 및 2D 디스플레이 모드를 사용시 디스플레이되는 스트림 정보를 판단하는 단계; 및
    기초 스트림 레벨 서술자를 복호하는데 있어 부호화된 스트림 타입, 기초 스트림이 기준스트림인지 여부, 기초 스트림이 좌영상 또는 우영상인지 여부, 부가 영상의 업샘플링 정보, 서브샘플링된 라인의 정보를 판단하는 단계를 포함하는 영상 복호 방법.
  2. 제1항에 있어서,
    프로그램 레벨 서술자를 복호하는데 있어 2D 방송 서비스와 3D 방송 서비스가 섞여져 있는지 여부를 판단하는 단계; 및
    기초 스트림 레벨 서술자를 복호하는데 있어서 PID 정보를 기초로 기준 영상 스트림과 부가 영상 스트림을 연관시키는 단계를 더 포함하는 영상 복호 방법.
  3. 제1항에 있어서, 프로그램 레벨 서술자를 복호하는데 있어 두 개의 기초 스트림 중 적어도 하나의 기초 스트림이 별도의 채널로 전송되는지 여부를 판단하는 단계;
    상기 별도의 채널로 전송되는 기초 스트림을 포함하고 있는 전송 스트림의 아이디값을 복호하는 단계;
    상기 별도의 채널로 전송되는 기초 스트림을 포함하고 있는 프로그램을 규정하는 필드값을 복호하는 단계; 및
    현재 채널에 기준 영상 스트림이 포함되어 있는지 여부를 판단하는 단계 중 적어도 하나의 단계를 더 포함하는 영상 복호 방법.
  4. 제1항에 있어서,
    3D 영상 컨텐츠를 2D 디스플레이 모드로 시청시 적합한 영상을 식별하기 위한 필드 정보를 판단하는 단계를 더 포함하는 영상 복호 방법.
  5. 기초 스트림 레벨에서 기준 영상 서술자를 복호함에 있어 좌영상 또는 우영상인지 여부를 판단하는 단계;
    상기 기초 스트렘 레벨에서 부가 영상 서술자를 복호함에 있어 부가 영상의 업샘플링 정보를 판단, 부가 영상의 서브샘플링 라인 정보를 판단하는 단계를 포함하는 영상 복호 방법.
  6. 제5항에 있어서,
    상기 기초 스트림 레벨에서 상기 부가 영상 서술자를 복호하는데 있어 좌영상 또는 우영상인지 여부를 판단하는 단계를 더 포함하는 영상 복호 방법.
  7. 제5항에 있어서,
    상기 기초 스트림 레벨에서 상기 부가 영상 서술자를 복호하는데 있어 부호화된 스트림의 타입을 판단하는 단계를 더 포함하는 영상 복호 방법.
  8. 제5항에 있어서,
    상기 기초 스트림이 기준 영상 스트림인지 부가 영상 스트림인지 여부를 판단하는 단계를 더 포함하는 영상 복호 방법.
  9. 제5항에 있어서,
    상기 기초 스트림 레벨에서 상기 부가 영상 서술자를 복호하는데 있어 PID 정보를 기초로 기준 영상 스트림과 부가 영상 스트림을 연관시키는 단계를 더 포함하는 영상 복호 방법.
  10. 제5항에 있어서,
    상기 기초 스트림 레벨에서 상기 기준 영상 서술자를 복호하는데 있어 PID 정보를 기초로 기준 영상 스트림과 부가 영상 스트림을 연관시키는 단계를 더 포함하는 영상 복호 방법.
  11. 제5항에 있어서,
    상기 기초 스트림 레벨에서 상기 부가 영상 서술자를 복호하는데 있어 2D 방송 서비스와 3D 방송 서비스가 섞여져 있는지 여부를 판단하는 단계를 더 포함하는 영상 복호 방법.
  12. 프로그램 레벨 서술자와 기초 스트림 레벨 서술자를 각각 복호하여 좌영상 비디오 PES(Packetized elementary stream) 패킷, 우영상 PES 패킷, 오디오 PES 패킷를 역 다중화하는 역다중화기; 및
    상기 역다중화된 좌영상 비디오 PES 패킷, 우영상 PES 패킷, 오디오 PES 패킷을 역 패킷화하여 좌영상 비디오 기초 스트림, 우영상 비디오 기초 스트림, 오디오 기초 스트림을 생성하는 PES 역패킷화기를 포함하는 복호화 장치.
  13. 제12항에 있어서, 상기 역다중화기는,
    프로그램 레벨 서술자에서 방송 서비스 타입 및 2D 디스플레이 모드를 사용시 디스플레이되는 스트림 정보에 따른 필드값 정보를 제공받고 기초 스트림 레벨 서술자에서 부호화된 스트림 타입, 기초 스트림이 기준스트림인지 여부, 기초 스트림이 좌영상 또는 우영상인지 여부, 부가 영상의 업샘플링 정보, 서브샘플링된 라인의 정보를 제공받아 역다중화를 수행하는 역다중화기인 복호화 장치.
  14. 제13항에 있어서, 상기 역다중화기는,
    프로그램 레벨 서술자에서 2D 방송 서비스와 3D 방송 서비스가 섞여져 있는지 여부를 판단하고 기초 스트림 레벨 서술자를 복호하는데 있어서 PID 정보를 기초로 기준 영상 스트림과 부가 영상 스트림을 연관시키는 역다중화기인 복호화 장치.
  15. 제12항에 있어서, 상기 역다중화기는,
    기초 스트림 레벨에서 기준 영상 서술자를 복호함에 있어 좌영상 또는 우영상인지 여부를 판단하고 상기 기초 스트렘 레벨에서 부가 영상 서술자를 복호함에 있어 부가 영상의 업샘플링 정보를 판단, 부가 영상의 서브샘플링 라인 정보를 판단하는 역다중화기인 복호화 장치.
  16. 제15항에 있어서, 상기 역다중화기는,
    상기 기초 스트림 레벨에서 상기 부가 영상 서술자를 복호하는데 있어 좌영상 또는 우영상인지 여부를 판단하는 역다중화기인 복호화 장치.
  17. 제15항에 있어서, 상기 역다중화기는,
    상기 기초 스트림이 기준 영상 스트림인지 부가 영상 스트림인지 여부를 판단하는 역다중화기인 복호화 장치.
  18. 제15항에 있어서, 상기 역다중화기는,
    상기 기초 스트림 레벨에서 상기 기준 영상 서술자를 복호하는데 있어 PID 정보를 기초로 기준 영상 스트림과 부가 영상 스트림을 연관시키는 단계를 더 포함하는 역다중화기인 복호화 장치.
  19. 제15항에 있어서, 상기 역다중화기는,
    상기 기초 스트림 레벨에서 상기 부가 영상 서술자를 복호하는데 있어 2D 방송 서비스와 3D 방송 서비스가 섞여져 있는지 여부를 판단하는 역다중화기인 복호화 장치.
  20. 제12항에 있어서, 상기 역다중화기는,
    프로그램 레벨 서술자를 복호하는데 있어 두 개의 기초 스트림 중 적어도 하나의 기초 스트림이 별도의 채널로 전송되는지 여부를 판단하고 상기 별도의 채널로 전송되는 기초 스트림을 포함하고 있는 전송 스트림의 아이디값을 복호하고 상기 별도의 채널로 전송되는 기초 스트림을 포함하고 있는 프로그램을 규정하는 필드값을 복호하는 역다중화기인 복호화 장치.
KR1020110132688A 2010-12-13 2011-12-12 스테레오스코픽 비디오 서비스 위한 시그널링 방법 및 이러한 방법을 사용하는 장치 KR20120065943A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US13/885,983 US20130250051A1 (en) 2010-12-13 2011-12-12 Signaling method for a stereoscopic video service and apparatus using the method
CN201180053079.9A CN103190153B (zh) 2010-12-13 2011-12-12 用于立体感视频服务的信号传送方法和使用该方法的设备
EP11849201.6A EP2654305A2 (en) 2010-12-13 2011-12-12 Signaling method for a stereoscopic video service and apparatus using the method
JP2013533784A JP2013545361A (ja) 2010-12-13 2011-12-12 ステレオスコピックビデオサービスのためのシグナリング方法及びその方法を使用する装置
PCT/KR2011/009546 WO2012081874A2 (ko) 2010-12-13 2011-12-12 스테레오스코픽 비디오 서비스 위한 시그널링 방법 및 이러한 방법을 사용하는 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100127220 2010-12-13
KR20100127220 2010-12-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020130030678A Division KR20130044266A (ko) 2010-12-13 2013-03-22 스테레오스코픽 비디오 서비스 위한 시그널링 방법 및 이러한 방법을 사용하는 장치

Publications (1)

Publication Number Publication Date
KR20120065943A true KR20120065943A (ko) 2012-06-21

Family

ID=46685498

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020110132688A KR20120065943A (ko) 2010-12-13 2011-12-12 스테레오스코픽 비디오 서비스 위한 시그널링 방법 및 이러한 방법을 사용하는 장치
KR1020130030678A KR20130044266A (ko) 2010-12-13 2013-03-22 스테레오스코픽 비디오 서비스 위한 시그널링 방법 및 이러한 방법을 사용하는 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020130030678A KR20130044266A (ko) 2010-12-13 2013-03-22 스테레오스코픽 비디오 서비스 위한 시그널링 방법 및 이러한 방법을 사용하는 장치

Country Status (6)

Country Link
US (1) US20130250051A1 (ko)
EP (1) EP2654305A2 (ko)
JP (1) JP2013545361A (ko)
KR (2) KR20120065943A (ko)
CN (1) CN103190153B (ko)
WO (1) WO2012081874A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016204502A1 (ko) * 2015-06-17 2016-12-22 한국전자통신연구원 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법
US9930382B2 (en) 2014-02-10 2018-03-27 Lg Electronics Inc. Method and apparatus for transmitting/receiving broadcast signal for 3-dimensional (3D) broadcast service
US10412364B2 (en) 2015-06-17 2019-09-10 Electronics And Telecommunications Research Institute MMT apparatus and MMT method for processing stereoscopic video data

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102189520B1 (ko) 2013-10-30 2020-12-11 한국전자통신연구원 방송 송수신 장치 및 방법
JP5886341B2 (ja) 2014-03-07 2016-03-16 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2016047985A1 (ko) * 2014-09-25 2016-03-31 엘지전자 주식회사 3d 방송 신호를 처리하는 방법 및 장치
US10469856B2 (en) 2014-11-25 2019-11-05 Electronics And Telelcommunications Research Institute Apparatus and method for transmitting and receiving 3DTV broadcasting
US9930378B2 (en) * 2015-02-11 2018-03-27 Qualcomm Incorporated Signaling of operation points for carriage of HEVC extensions
US9780891B2 (en) * 2016-03-03 2017-10-03 Electronics And Telecommunications Research Institute Method and device for calibrating IQ imbalance and DC offset of RF tranceiver
CN107786880A (zh) * 2016-08-25 2018-03-09 晨星半导体股份有限公司 多媒体处理系统与其控制方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
US6360022B1 (en) * 1997-04-04 2002-03-19 Sarnoff Corporation Method and apparatus for assessing the visibility of differences between two signal sequences
JP4190357B2 (ja) * 2003-06-12 2008-12-03 シャープ株式会社 放送データ送信装置、放送データ送信方法および放送データ受信装置
KR100585966B1 (ko) * 2004-05-21 2006-06-01 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
US20060153295A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
KR100813961B1 (ko) * 2005-06-14 2008-03-14 삼성전자주식회사 영상 수신장치
WO2007020621A2 (en) * 2005-08-15 2007-02-22 Nds Limited Video trick mode system
JP5213064B2 (ja) * 2006-03-29 2013-06-19 トムソン ライセンシング マルチビュービデオ符号化方法及びその装置
US8422555B2 (en) * 2006-07-11 2013-04-16 Nokia Corporation Scalable video coding
KR100959534B1 (ko) * 2007-10-08 2010-05-27 엘지전자 주식회사 Ｍａｆ 파일 포맷을 구성하는 방법 및 이를 이용한 비디오 신호의 디코딩 장치
KR100993428B1 (ko) * 2007-12-12 2010-11-09 한국전자통신연구원 Ｄｍｂ 연동형 스테레오스코픽 데이터 처리방법 및스테레오스코픽 데이터 처리장치
KR20100095464A (ko) * 2007-12-18 2010-08-30 코닌클리케 필립스 일렉트로닉스 엔.브이. 디스플레이 인터페이스를 통한 입체 이미지 데이터의 전송
KR20100040640A (ko) * 2008-10-10 2010-04-20 엘지전자 주식회사 수신 시스템 및 데이터 처리 방법
KR100972792B1 (ko) * 2008-11-04 2010-07-29 한국전자통신연구원 스테레오스코픽 영상을 동기화하는 장치 및 방법과 이를 이용한 스테레오스코픽 영상 제공 장치 및 방법
KR101154051B1 (ko) * 2008-11-28 2012-06-08 한국전자통신연구원 다시점 영상 송수신 장치 및 그 방법
EP2197217A1 (en) * 2008-12-15 2010-06-16 Koninklijke Philips Electronics N.V. Image based 3D video format
JP5238528B2 (ja) * 2009-01-20 2013-07-17 株式会社東芝 符号化装置および方法、ならびに、復号装置および方法
KR101305789B1 (ko) * 2009-01-22 2013-09-06 서울시립대학교 산학협력단 지상파 디지털멀티미디어방송에서 비실시간 스테레오스코픽 서비스 수행 방법 및 지상파 디지털멀티미디어방송 수신 장치
EP2211556A1 (en) * 2009-01-22 2010-07-28 Electronics and Telecommunications Research Institute Method for processing non-real time stereoscopic services in terrestrial digital multimedia broadcasting and apparatus for receiving terrestrial digital multimedia broadcasting
US9036700B2 (en) * 2009-07-15 2015-05-19 Google Technology Holdings LLC Simulcast of stereoviews for 3D TV

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9930382B2 (en) 2014-02-10 2018-03-27 Lg Electronics Inc. Method and apparatus for transmitting/receiving broadcast signal for 3-dimensional (3D) broadcast service
WO2016204502A1 (ko) * 2015-06-17 2016-12-22 한국전자통신연구원 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법
US10412364B2 (en) 2015-06-17 2019-09-10 Electronics And Telecommunications Research Institute MMT apparatus and MMT method for processing stereoscopic video data
US10911736B2 (en) 2015-06-17 2021-02-02 Electronics And Telecommunications Research Institute MMT apparatus and MMT method for processing stereoscopic video data
US11405599B2 (en) 2015-06-17 2022-08-02 Electronics And Telecommunications Research Institute MMT apparatus and MMT method for processing stereoscopic video data

Also Published As

Publication number Publication date
EP2654305A2 (en) 2013-10-23
WO2012081874A2 (ko) 2012-06-21
JP2013545361A (ja) 2013-12-19
US20130250051A1 (en) 2013-09-26
WO2012081874A3 (ko) 2012-09-20
KR20130044266A (ko) 2013-05-02
CN103190153B (zh) 2015-11-25
CN103190153A (zh) 2013-07-03

Similar Documents

Publication Publication Date Title
WO2012081874A2 (ko) 스테레오스코픽 비디오 서비스 위한 시그널링 방법 및 이러한 방법을 사용하는 장치
US9712803B2 (en) Receiving system and method of processing data
JP5575949B2 (ja) 放送データ送信方法およびその装置
RU2633385C2 (ru) Передающее устройство, способ передачи, приемное устройство, способ приема и способ отображения приема
US9288467B2 (en) Method for providing and recognizing transmission mode in digital broadcasting
US9635344B2 (en) Method for service compatibility-type transmitting in digital broadcast
KR20150004318A (ko) 3ｄ 서비스를 위한 신호 처리 장치 및 방법
US9270972B2 (en) Method for 3DTV multiplexing and apparatus thereof
KR101651232B1 (ko) 스테레오스코픽 영상 정보의 전송 방법 및 장치
KR20140000136A (ko) 화상 데이터 송신 장치, 화상 데이터 송신 방법, 화상 데이터 수신 장치 및 화상 데이터 수신 방법
US9866814B2 (en) Method of synchronizing reference image with additional image of real-time broadcasting program, and transceiver system for performing same
KR101818141B1 (ko) 디지털 방송에서 서비스 호환 방식 전송 방법
KR20130046404A (ko) 디지털 단말에서의 ２ｄ 모드 재생을 위한 송신 장치, 디지털 단말에서의 ２ｄ 모드 재생 장치 및 그 방법들
KR20120060771A (ko) 스테레오스코픽 영상 정보의 전송 방법 및 장치
KR20120121831A (ko) 스테레오스코픽 비디오 송수신 방법 및 그 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20140911

Effective date: 20150729