KR20120026026A - 방송 수신기 및 3ｄ 비디오 데이터 처리 방법 - Google Patents

방송 수신기 및 3ｄ 비디오 데이터 처리 방법 Download PDF

Info

Publication number
KR20120026026A
KR20120026026A KR1020117022360A KR20117022360A KR20120026026A KR 20120026026 A KR20120026026 A KR 20120026026A KR 1020117022360 A KR1020117022360 A KR 1020117022360A KR 20117022360 A KR20117022360 A KR 20117022360A KR 20120026026 A KR20120026026 A KR 20120026026A
Authority
KR
South Korea
Prior art keywords
video data
information
image
additional video
additional
Prior art date
Application number
KR1020117022360A
Other languages
English (en)
Other versions
KR101676310B1 (ko
Inventor
나가라지 난다쿠마르
서종열
최승종
임진석
양정휴
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20120026026A publication Critical patent/KR20120026026A/ko
Application granted granted Critical
Publication of KR101676310B1 publication Critical patent/KR101676310B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42607—Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • H04N21/42615—Internal components of the client ; Characteristics thereof for processing the incoming bitstream involving specific demultiplexing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

방송 송신기 및 방송 수신기의 3D 비디오 데이터 처리 방법이 개시된다. 본 발명의 일 실시예에 따른 방송 송신기의 3D 비디오 데이터 처리 방법은, 3D 비디오 데이터 및 3D 부가 비디오 정보를 포함하는 방송 신호 수신하는 단계로서, 상기 3D 비디오 데이터는 하프 레졸루션의 베이스 비디오 데이터, 및 풀 레졸루션의 이미지를 구성하기 위한 부가 비디오 데이터를 포함하는 수신 단계; 3D 부가 비디오 정보를 파싱하는 단계; 하프 레졸루션의 베이스 비디오 데이터를 디코딩하는 단계; 풀 레졸루션의 이미지을 구성하기 위한 부가 비디오 데이터를 디코딩하는 단계; 및 상기 3D 부가 비디오 정보를 사용하여 베이스 비디오 데이터 및 부가 비디오 데이터를 결합 및 포매팅하여 풀 레졸루션의 3D 이미지를 출력하는 단계를 포함한다.

Description

방송 수신기 및 3Ｄ 비디오 데이터 처리 방법 {Broadcast receiver and 3D video data processing method thereof}
본 발명은 방송 신호를 처리하기 위한 장치 및 방법에 관한 것으로, 더욱 자세하게는 3D 방송 시스템에서 풀레졸루션(full-resolutiono)의 비디오 데이터를 처리하는 방송 수신기 및 3D 비디오 데이터 처리 방법에 관한 것이다.
일반적으로 3D(3 dimensions) 이미지(또는 입체 이미지)는 두 눈의 스테레오(stereo) 시각 원리를 이용하여 입체감을 제공한다. 인간은 두 눈의 시차, 다시 말해 약 65mm 정도 떨어진 두 눈 사이의 간격에 의한 양안 시차(binocular parallax)를 통해 원근감을 느끼므로, 3D 이미지는 좌안과 우안 각각이 연관된 평면 이미지를 보도록 이미지를 제공하여 입체감과 원근감을 제공할 수 있다.
이러한 3D 이미지를 디스플레이 방법에는 스테레오스코픽(stereoscopic) 방식, 부피표현(volumetric) 방식, 홀로그래픽(holographic) 방식 등이 있다. 스테레오스코픽 방식의 경우, 좌안에서 시청되기 위한 left view image와 우안에서 시청되기 위한 right view image를 제공하여, 편광 안경 또는 디스플레이 장비 자체를 통해 좌안과 우안이 각각 left view image와 right view image를 시청함으로써 3D 효과를 인지할 수 있도록 한다.
본 발명이 이루고자 하는 기술적 과제는, 3D 방송 시스템에서 스테레오스코픽 디스플레이를 위해 비디오 스트림을 전송하는 경우 3D 비디오 데이터에 대한 정보를 송신 및 수신하고 이를 이용하여 3D 비디오 데이터를 처리함으로써 사용자에게 더욱 편리하고 효율적인 방송 환경을 제공하는데 있다.
전술한 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 방송 송신기의 3D 비디오 데이터 처리 방법은, 3D 비디오 데이터 및 3D 부가 비디오 정보를 포함하는 방송 신호 수신하는 단계로서, 상기 3D 비디오 데이터는 하프 레졸루션의 베이스 비디오 데이터, 및 풀 레졸루션의 이미지를 구성하기 위한 부가 비디오 데이터를 포함하는 수신 단계(수신 유닛); 3D 부가 비디오 정보를 파싱하는 단계(3D 비디오 정보 처리 유닛); 하프 레졸루션의 베이스 비디오 데이터를 디코딩하는 단계(베이스 비디오 디코더); 풀 레졸루션의 이미지을 구성하기 위한 부가 비디오 데이터를 디코딩하는 단계(부가 비디오 디코더); 및 상기 3D 부가 비디오 정보를 사용하여 베이스 비디오 데이터 및 부가 비디오 데이터를 결합 및 포매팅하여 풀 레졸루션의 3D 이미지를 출력하는 단계(아웃풋 포매터)를 포함한다.
또한, 본 발명의 일 실시예에 따른 방송 수신기는, 3D 비디오 데이터 및 3D 부가 비디오 정보를 포함하는 방송 신호 수신하는 수신 유닛으로서, 상기 3D 비디오 데이터는 하프 레졸루션의 베이스 비디오 데이터, 및 풀 레졸루션의 이미지를 구성하기 위한 부가 비디오 데이터를 포함하는, 상기 수신 수신 유닛; 3D 부가 비디오 정보를 파싱하는 3D 비디오 정보 처리 유닛; 하프 레졸루션의 베이스 비디오 데이터를 디코딩하는 베이스 비디오 디코더; 풀 레졸루션의 이미지을 구성하기 위한 부가 비디오 데이터를 디코딩하는 부가 비디오 디코더; 및 상기 3D 부가 비디오 정보를 사용하여 베이스 비디오 데이터 및 부가 비디오 데이터를 결합 및 포매팅하여 풀 레졸루션의 3D 이미지를 출력하는 아웃풋 포매터를 포함한다.
본 발명에 따르면 3D 방송 서비스를 제공하는 경우 수신기에서 3D 방송 서비스 제작시 의도된 3D 효과를 반영하도록 수신한 3D 비디오 데이터를 처리할 수 있다.
또한 본 발명에 따르면 기존의 2D 방송 서비스 및 하프 레졸루션의 3D 방송 서비스에 주는 영향을 최소화하면서 효율적으로 풀 레졸루션의 3D 방송 서비스를 제공할 수 있다.
도 1은 다양한 이미지 포맷의 스테레오스코픽 이미지 멀티플렉싱 포맷을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 3D 방송 서비스를 도시한 개념도이다.
도 3은 풀레졸루션의 3D 방송 서비스 제공 방법을 도시한 개념적인 블록도이다.
도 4는 본 발명의 일 실시예에 따른 3D 방송 서비스 제공 방법을 나타낸 도면이다.
도 5는 본 발명의 다른 일 실시예에 따른 3D 방송 서비스 제공 방법을 나타낸 도면이다.
도 6은 본 발명의 다른 일 실시예에 따른 3D 방송 서비스 제공 방법을 나타낸 도면이다.
도 7은 본 발명의 다른 일 실시예에 따른 3D 방송 서비스 제공 방법을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 3D 부가 비디오 정보를 포함하는 TVCT의 신택스 구조(structure)를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 TVCT에 포함되는 3D 부가 비디오 디스크립터의 신택스 구조를 나타낸 도면이다.
도 10은 본 발명의 일실시예에 따른 3D 부가 비디오 정보에 포함된 complementary_type 필드의 필드 값에 따른 이미지 구성 방법을 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 3D 비디오 부가 정보를 포함하는 PMT의 신택스 구조(structure)를 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 PMT에 포함되는 3D 부가 비디오 정보의 신택스 구조를 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 3D 부가 비디오 정보를 포함하는 비디오 ES의 Picture Extension and User Data의 신택스 구조를 나타낸 도면이다.
도 14는 본 발명의 일 실시예에 따른 3D 부가 비디오 정보를 비디오 ES의 SEI(Supplemental Enhancement Information) message에 포함시켜 전송하는 경우의 신택스 구조를 도시한 도면이다.
도 15는 본 발명의 일 실시예에 따른 부가 비디오 ES에 포함되어 전송되는 3D 부가 비디오 정보의 신택스 구조를 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따른 3D 비디오 서비스 스펙 B에서 수신된 베이스 비디오 데이터, 부가 비디오 데이터 및 3D 부가 비디오 정보를 사용하여 풀 레졸루션의 이미지를 제공하는 방법을 나타낸 개념도이다.
도 17은 본 발명의 다른 일 실시예에 따른 3D 비디오 서비스 스펙 B에서 수신된 베이스 비디오 데이터, 부가 비디오 데이터 및 3D 부가 비디오 정보를 사용하여 풀 레졸루션의 이미지를 제공하는 방법을 나타낸 개념도이다.
도 18은 본 발명의 또 다른 일 실시예에 따른 3D 비디오 서비스 스펙 B에서 수신된 베이스 비디오 데이터, 부가 비디오 데이터 및 3D 부가 비디오 정보를 사용하여 풀 레졸루션의 이미지를 제공하는 방법을 나타낸 개념도이다.
도 19는 본 발명의 또 다른 일 실시예에 따른 3D 비디오 서비스 스펙 B에서 수신된 베이스 비디오 데이터, 부가 비디오 데이터 및 3D 부가 비디오 정보를 사용하여 풀 레졸루션의 이미지를 제공하는 방법을 나타낸 개념도이다.
도 20은 본 발명의 일 실시예에 따른 방송 수신기를 도시한 도면이다.
도 21은 본 발명의 일 실시예에 따른 방송 수신기의 3D 비디오 데이터 처리 방법을 도시한 흐름도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
3D 이미지 표현 방법은 2 개의 시점을 고려하는 스테레오스코픽 image 방식과 3 개 이상의 시점을 고려하는 multiple view image 방식을 포함한다. 이에 비해 종래의 single view image 방식은 모노스코픽 방식이라고 지칭할 수 있다.
스테레오스코픽 방식은 일정한 거리로 이격되어 있는 좌측 카메라와 우측 카메라로 동일한 피사체를 촬영하여 획득한 좌우 한 쌍의 이미지를 사용한다. 다시점 영상은 일정한 거리나 각도를 갖는 3 개 이상의 카메라에서 촬영하여 획득한 3 개 이상의 이미지를 사용한다. 이하에서 스테레오스코픽 방식을 일 실시예로 본 발명을 설명하나 본 발명의 사상은 다시점 방식에도 적용될 수 있다. 또한 이하에서 용어 스테레오스코픽은 스테레오로 약칭할 수 있다.
스테레오스코픽 이미지 또는 다시점 이미지는 MPEG(Moving Picture Experts Group)을 포함하는 여러가지 방법으로 압축 부호화되어 전송될 수 있다.
예를 들어, 스테레오스코픽 이미지 또는 다시점 이미지는 H.264/AVC(Advanced Video Coding) 방식으로 압축 부호화되어 전송될 수 있다. 이때 수신 시스템은 H.264/AVC 코딩 방식의 역으로 수신 이미지를 복호하여 3D 이미지를 얻을 수 있다.
또한 스테레오스코픽 이미지의 left view image와 right view image 중 하나 또는 다시점 영상 중 하나의 영상을 기본 계층(base layer) 영상으로, 나머지 영상은 확장 계층(enhancement layer) 영상으로 할당하고, 기본 계층의 영상은 모노스코픽 영상과 동일한 방식으로 부호화하고, 확장 계층의 영상은 기본 계층과 확장 계층의 영상간의 관계 정보에 대해서만 부호화하여 전송할 수 있다. 기본 계층 영상에 대한 압축 부화화 방식의 예로 JPEG, MPEG-2, MPEG-4, H.264/AVC 방식 등이 사용될 수 있으며, 본 발명은 H.264/AVC 방식을 사용하는 것을 일 실시예로 한다. 상위 계층의 영상에 대한 압축 부호화 방식은 H.264/SVC(Scalable Video Coding) 또는 MVC(Multi-view Video Coding) 방식을 사용하는 것을 일 실시예로 한다.
기존의 지상파 DTV 송수신 표준은 2D 비디오 컨텐트를 기준으로 하고 있다. 따라서 3D TV 방송 컨텐트가 서비스되기 위해서는 3D 비디오 컨텐츠에 대한 송수신 표준이 추가로 정의되어야 한다. 수신기는 추가된 송수신 표준에 따라 방송 신호를 수신하고, 적절하게 처리하여 3D 방송 서비스를 지원할 수 있다.
본 발명에서 기존의 DTV 송수신 표준은 ATSC(Advanced Television Systems Committee) 표준을 일 실시예로서 설명하도록 한다.
ATSC 시스템의 경우 방송 컨텐트를 처리하기 위한 정보가 시스템 정보에 포함되어 전송될 수 있다. 시스템 정보는 예컨대, 서비스 정보라고도 불리운다. 시스템 정보는, 예를 들어 채널 정보, 프로그램 정보, 이벤트 정보 등을 포함한다. ATSC 표준 방식의 경우 상기 시스템 정보를 PSI/PSIP (Program Specific Information/Program and System Information Protocol)에 포함하여 송수신할 수 있다. 다만, 본 발명은 이에 한정되는 것은 아니며, 시스템 정보를 테이블 포맷으로 전송하는 프로토콜이라면, 그 명칭에 상관없이 본 발명이 적용될 수가 있다.
PSI는 일실시예로서, PAT(Program Assoication Table), PMT(Program Map Table), 등을 포함할 수가 있다.
PAT는 PID(Packet ID)가 ‘0’인 패킷에 의해 전송되는 특수 정보로서, 각 프로그램 마다 해당 PMT의 PID 정보를 전송할 수 있다. PMT 는 프로그램 식별 번호와 프로그램을 구성하는 비디오, 오디오 등의 개별 비트 스트림이 전송되는 트랜스포트 스트림 패킷의 PID 정보 및 PCR이 전달되는 PID 정보를 전송할 수 있다. 그리고, PAT로부터 획득한 PMT를 파싱하면, 프로그램을 구성하는 구성 요소들간의 상관관계에 대한 정보를 획득할 수 있다.
PSIP은 일실시예로서, VCT(Virtual Channel Table), STT(System Time Table), RRT(Rating Region Table), ETT(Extended Text Table), DCCT(Direct Channel Table), DDCSCT(Direct Channel Change Selection Code Table), EIT(Event Information Table), MGT(Master Guide Table) 등을 포함할 수가 있다.
VCT는 가상 채널에 대한 정보, 예를 들어 채널 선택을 위한 채널 정보와 오디오 및/또는 비디오의 수신을 위한 PID(Packet Identifier) 등의 정보를 전송할 수 있다. 즉, VCT를 파싱하면, 채널 이름, 채널 번호 등과 함께 채널 내에 실려 오는 방송 프로그램의 오디오와 비디오의 PID를 획득할 수 있다. STT는 현재의 날짜와 시간 정보를 전송하고, RRT 는 프로그램 등급을 위한 지역 및 심의 기관 등에 대한 정보를 전송할 수 있다. ETT는 채널 및 방송 프로그램에 대한 부가 설명을 전송하고, EIT는 가상 채널의 이벤트에 대한 정보를 전송할 수 있다. DCCT/DCCSCT는 자동 채널 변경과 관련된 정보를 전송하고, MGT는 PSIP 내 각 테이블의 버전 및 PID 정보를 전송할 수 있다.
스테레오스코픽 영상의 전송 포맷에는 싱글 비디오 스트림 포맷과 멀티 비디오 스트림 포맷이 있다. 싱글 비디오 스트림 포맷은 2 시점의 비디오 데이터를 하나의 비디오 스트림에 멀티플렉싱하여 전송하는 방식으로, 하나의 비디오 스트림에 비디오 데이터를 전송하므로 3D 방송 서비스를 제공함에 있어서 추가적으로 요구되는 대역폭이 크지 않은 이점이 있다. 멀티 비디오 스트림 포맷은 복수의 비디오 데이터를 복수의 비디오 스트림으로 전송하는 방식으로, 대역폭의 사용은 늘어나나 고용량의 데이터 전송이 가능하므로 고화질의 비디오 데이터를 디스플레이할 수 있는 이점이 있다.
도 1은 다양한 이미지 포맷의 스테레오스코픽 이미지 멀티플렉싱 포맷을 도시한 도면이다.
3D 방송 서비스의 이미지 포맷에는 (a)의 사이드바이사이드(side-by-side) 포맷, (b)의 탑바텀(top-bottom) 포맷, (c)의 인터레이스드(interlaced) 포맷, (d)의 프레임 시퀀셜(frame sequential) 포맷, (e)의 체커보드(checker board) 포맷, (f)의 애너글리프(anaglyph) 포맷 등이 있다.
(a)의 사이드바이사이드 포맷은 좌 영상과 우 영상을 각각 수평방향으로 1/2 다운샘플링하고, 샘플링한 하나의 영상을 좌측에, 샘플링한 나머지 하나의 영상을 우측에 위치시켜 하나의 스테레오스코픽 영상을 구성하는 포맷이다. (b)의 탑바텀 방식은 좌 영상과 우 영상을 각각 수직방향으로 1/2 다운샘플링하고, 샘플링한 하나의 영상을 상부에, 샘플링한 나머지 하나의 영상을 하부에 위치시켜 하나의 스테레오스코픽 영상을 구성하는 포맷이다. (c) 의 인터레이스드 방식은 좌 영상과 우 영상을 각각 수평방향으로 라인마다 교차하도록 1/2 다운샘플링하여 두 영상을 하나의 영상으로 구성하거나, 좌 영상과 우 영상을 각각 수직방향으로 라인마다 교차하도록 1/2 다운샘플링하여 두 영상을 하나의 영상으로 구성하는 포맷이다. (d)의 프레임 시퀀셜 방식은 하나의 비디오 스트림에 좌영상과 우영상을 시간적으로 교차하여 구성하는 포맷이다. (e)의 체커보드 포맷은 좌 영상과 우 영상을 각각 수직 및 수평방향으로 교차하도록 1/2 다운샘플링하여 두 영상을 하나의 영상으로 구성하는 포맷이다. (f)의 애너글리프 포맷은 보색 대비를 이용하여 입체 효과를 내도록 영상을 구성하는 포맷이다.
현재의 디지털 방송은 제한된 시스템 리소스(resource)를 사용하여 방송 서비스를 제공하고 있다. 디지털 방송 환경의 시스템 리소스는 전송 대역폭, 프로세싱 캐퍼빌러티 등을 포함한다. 특히, 주파수의 할당 면에서 사용할 수 있는 대역폭이 제한된다. 이러한 디지털 방송 환경에서 3D 방송 서비스를 제공하는 경우, 3D 방송 서비스 또한 디지털 방송 환경에서 사용중인 제한된 리소스를 사용하게 된다.
일 실시예로서, 스테레오스코픽 이미지 스킴을 사용하는 3D 방송 서비스의 경우, 레프트 뷰의 이미지와 라이트 뷰의 이미지를 전송해야 하므로, 기존의 디지털 방송의 대역폭으로는 높은 해상도의 두 이미지들을 전송하기가 어렵다. 예를 들어, 디지털 방송의 대역폭으로 풀-레졸루션의 비디오 데이터를 전송하는 경우, 3D 방송 서비스는 동일 대역폭에서 풀 레졸루션의 2개의 비디오 데이터를 전송하기 어려우므로, 하프-레졸루션의 2개의 비디오 데이터를 전송하는 방식이 제안되고 있다.
그러나 고화질에 대한 사용자의 욕구를 충족시킬 수 있도록 풀 레졸루션의 3D 방송 서비스가 제공될 필요가 있다. 다만 풀 레졸루션의 3D 방송 서비스가 제공되어도, 종전의 하프 레졸루션의 3D 방송 서비스와 호환되어야 한다.
도 2는 본 발명의 일 실시예에 따른 3D 방송 서비스를 도시한 개념도이다.
도 2의 실시예에서, 풀 레졸루션의 이미지를 제공하는 3D 방송 서비스(2010)는 이하에서 3D 서비스 2.0 또는 3D 서비스 스펙 B 로 지칭될 수 있다. 하프 레졸루션의 이미지를 제공하는 3D 방송 서비스(2020)는 이하에서 3D 서비스 1.0 또는 3D 서비스 스펙 A로 지칭될 수 있다.
3D 서비스 1.0(2020)은 하프 레졸루션의 레프트 이미지와 하프 레졸루션의 라이트 이미지로 서비스될 수 있다. 풀 레졸루션의 이미지들을 제공하는 3D 서비스 2.0(2010)는 3D 서비스 1.0(2020)과 호환되어야 하므로, 풀 레졸루션의 이미지들을 새로이 전송하는 방식보다 3D 서비스 1.0(2020)의 이미지의 전송을 유지하며, 풀 레졸루션의 이미지들을 제공하기 위한 차분 데이터 내지는 추가 데이터를 제공하는 방식을 사용할 수 있다. 즉, 도 2에서와 같이 3D 서비스 1.0(2010)의 하프 레졸루션의 비디오 엘러먼트에 3D 서비스 2.0의 부가 비디오 엘러먼트(2030)를 추가하여 풀-레졸루션의 3D 방송 서비스(2010)를 제공할 수 있다. 결과적으로, 3D 서비스 1.0을 지원할 수 있는 방송 수신기는 3D 서비스 1.0(2020)의 데이터를 수신 및 프로세싱하여 하프 레졸루션의 이미지를 제공하고, 3D 서비스 2.0을 지원할 수 있는 방송 수신기는 3D 서비스 1.0(2020)의 데이터와 3D 서비스 2.0의 부가 데이터를 수신 및 프로세싱하여 풀 레졸루션의 이미지를 제공할 수 있다.
도 3은 풀레졸루션의 3D 방송 서비스 제공 방법을 도시한 개념적인 블록도이다.
본 발명에서, 풀 레졸루션의 3D 이미지를 제공할 수 있는 디지털 방송 수신기(3030) 및 하프 레졸루션의 3D 이미지를 지원할 수 있는 디지털 방송 수신기(3040)가 각각 제공될 수 있다.
3D 방송 서비스를 제공하는 방송 시스템은, 하프 레졸루션의 3D 비디오 데이터를 베이스 레이어(3020)로, 풀 레졸루션의 3D 이미지를 위한 하프 레졸루션의 부가 비디오 데이터를 인핸스먼트 레이어(3010)로 전송할 수 있다.
하프 레졸루션의 3D 이미지를 지원할 수 있는 디지털 방송 수신기(3040)는, 베이스 레이어(3020)의 비디오 데이터를 수신 및 처리하여 하프 레줄루션의 3D 이미지를 제공할 수 있다. 그리고 풀 레졸루션의 3D 이미지를 제공할 수 있는 디지털 방송 수신기(3030)는, 베이스 레이어(3020)의 비디오 데이터 및 인핸스먼트 레이어(3010)의 비디오 데이터를 수신 및 처리하여 풀 레졸루션의 3D 이미지를 제공할 수 있다.
이하에서, 설명의 편의에 따라 베이스 레이어의 비디오 데이터 또는 비디오 컴포넌트를 각각 베이스 비디오 데이터 또는 베이스 비디오 컴포넌트로, 인핸스먼트 레이어의 비디오 데이터 또는 비디오 컴포넌트를 각각 부가(complementary) 비디오 데이터 또는 부가 비디오 컴포넌트로 지칭할 수도 있다.
도 4는 본 발명의 일 실시예에 따른 3D 방송 서비스 제공 방법을 나타낸 도면이다.
도 4에서, 3D 서비스 스펙 A(4010)는 베이스 레이어에서 전송되는 3D 비디오 데이터를 나타내며, 도 3의 실시예에서 3D 비디오 데이터는 하프 레졸루션의 탑-바텀 이미지 포맷으로 제공된다.
3D 서비스 스펙 B(4020)는 양 시점의 이미지에 대한 부가 데이터를 인핸스먼트 레이어를 통해 전송한다. 수신 시스템은 전송되는 부가 데이터를 수신하고, 3D 서비스 스펙 A(4010)에서 전송된 3D 비디오 데이터에 부가적으로 처리되어 풀 레졸루션의 스테레오스코픽 이미지를 제공할 수 있다.
도 5는 본 발명의 다른 일 실시예에 따른 3D 방송 서비스 제공 방법을 나타낸 도면이다.
일 실시예로서, 3D 서비스 스펙 A(5010)는 탑-바텀 이미지 포맷으로, 공간적으로(spatially) 하프 레졸루션 및 시간적으로(temporally) 풀 레졸루션의 3D 비디오 데이터를 포함할 수 있다. 다른 실시예로서, 3D 서비스 스펙 A(5010)의 비디오 데이터는 수신 시스템에서 인터폴레이팅되어 공간적으로 풀 레졸루션, 시간적으로 하프 레졸루션으로 제공될 수 있다. 3D 서비스 스펙 B(5020)의 수신 시스템에서는, 부가 정보를 추가적으로 프로세싱하여, 공간적으로 및 시간적으로 모두 풀 레졸루션의 이미지를 제공할 수 있다.
시간적으로 하프 레졸루션 및 풀 레졸루션의 의미를 설명하면, 시스템 리소스의 제한으로 인해 전송할 수 있는 비디오 데이터의 양은 한정될 수 있다. 비디오 데이터는 프레임 단위의 이미지들을 포함할 수 있는데, 전송 가능한 비디오 데이터의 양에 따라 이미지들의 레졸루션과 함께 시간상에서 배치 가능한 프레임 단위의 이미지의 간격 또한 제한될 수 있다. 예를 들면, 일정 대역폭 제한으로 인해 전송 가능한 비디오 데이터가 공간적으로 하프 레졸루션에 시간적으로 풀 레졸루션인 경우, 동일한 대역폭 제한하에서 공간적으로 풀 레졸루션의 비디오 데이터를 전송하는 경우에는 시간적으로 하프 레졸루션(예를 들면, 시간적으로 풀 레졸루션인 경우의 프레임 간격의 2배 간격)의 비디오 데이터만을 전송할 수 있다.
수신 시스템의 레졸루션에 따른 비디오 데이터의 처리 방법은 다양한 실시예가 가능하다.
3D 서비스 스펙 A(5010)의 수신 시스템은, 수신된 이미지(Lb 또는 Rb)에 인터폴레이팅을 수행하여 풀 레졸루션에 가까운 이미지(Lb’ or Rb’)를 제공할 수 있다(도 5의 좌측 하단의 도면).
3D 서비스 스펙 B(5020)의 수신 시스템은, 베이스 레이어로 수신된 비디오 데이터 및 인핸스먼트 레이어로 수신된 비디오 데이터를 사용할 수 있다. 수신 시스템은, 베이스 레이어의 수신 이미지(Lb or Rb) 및 인핸스 먼트의 수신 이미지(Le or Re)의 호리젠틀(horizontal) 라인들을 인터리빙하고 결합하여 풀 레졸루션의 이미지(Lf or Rf)를 제공할 수 있다. 또한, 수신 시스템은 베이스 레이어의 수신 이미지(Lb or Rb)에 로우패스 필터링을 수행하고, 인핸스먼트 레이어의 수신 이미지(Le or Re)에 하이패스 필터링을 수행한 후, 두 이미지를 결합하여 풀 레졸루션의 이미지(Lf or Rf)를 재구성(reconstruct)할 수 있다. 또한, 수신 시스템은 베이스 레이어의 수신 이미지(Lb or Rb)에 인터폴레이팅을 수행하고, 풀 레졸루션의 인터폴레이팅된 이미지(Lb’ or Rb’)를 부가 정보 이미지(Le or Re)로 보강하여 풀 레졸루션의 이미지(Lf or Rf)를 제공할 수 있다(도 5의 우측 하단의 도면).
도 6은 본 발명의 다른 일 실시예에 따른 3D 방송 서비스 제공 방법을 나타낸 도면이다.
일 실시예로서, 3D 서비스 스펙 A(6010)는 사이드-바이-사이드의 이미지 포맷으로, 공간적으로 하프 레졸루션 및 시간적으로 풀 레졸루션의 3D 비디오 데이터를 포함할 수 있다. 다른 실시예로서, 3D 서비스 스펙 A(6010)의 비디오 데이터는 수신 시스템에서 인터폴레이팅되어 공간적으로 풀 레졸루션, 시간적으로 하프 레졸루션으로 제공될 수 있다. 3D 서비스 스펙 B(6020)의 수신 시스템에서는, 부가 정보를 추가적으로 프로세싱하여, 공간적으로 및 시간적으로 모두 풀 레졸루션의 이미지를 제공할 수 있다.
도 6의 경우, 이미지 포맷이 사이드-바이-사이드인 점 외에 도면에 대한 설명은 도 5와 동일하므로, 중복되는 설명은 생략하도록 한다. 다만 도 6에서 3D 서비스 스펙 B(6020)의 수신 시스템은, 베이스 레이어의 수신 이미지(Lb or Rb) 및 인핸스 먼트의 수신 이미지(Le or Re)를 인터리빙하는 경우 버티컬(vertical) 라인들을 인터리빙하고 결합하여 풀 레졸루션의 이미지(Lf or Rf)를 제공할 수 있다.
도 7은 본 발명의 다른 일 실시예에 따른 3D 방송 서비스 제공 방법을 나타낸 도면이다.
일 실시예로서, 3D 서비스 스펙 A(7010)는 프레임 시퀀셜 이미지 포맷으로, 공간적으로 풀 레졸루션 및 시간적으로 하프 레졸루션의 3D 비디오 데이터를 포함할 수 있다. 다른 실시예로서, 3D 서비스 스펙 A(7010)의 비디오 데이터는 수신 시스템에서 포맷 전환(converting)되어 공간적으로 하프 레졸루션, 시간적으로 풀 레졸루션으로 제공될 수 있다. 3D 서비스 스펙 B(7020)의 수신 시스템에서는, 부가 정보를 추가적으로 프로세싱하여, 공간적으로 및 시간적으로 모두 풀 레졸루션의 이미지를 제공할 수 있다.
일 실시예로서 3D 서비스 스펙 A(7010)의 수신 시스템은, 수신된 이미지(Lb or Rb) 대해 데시메이션(decimation)을 수행하여 탑-바텀 또는 사이드-바이-사이드의 하프 레졸루션 이미지(Lb’ or Rb’)들을 생성할 수 있다. 이때 수신 시스템은 데시메이션을 수행하면서 프레임 레이트 컨버젼을 통해 시간적으로 확장(예를 들면, 더블링)된 하프 레졸루션의 이미지 쌍(pair)를 획득하여, 상술한 바와 같은 공간적으로 하프 레졸루션 및 시간적으로 풀 레졸루션의 이미지를 제공할 수 있다.
다른 일 실시예로서 3D 스비스 스펙 B(7020)의 수신 시스템은, 베이스 레이어를 통해 수신된 연속되는 이미지들(Lb or Rb) 각각의 사이에 인핸스먼트 레이어를 통해 수신된 이미지들(Le or Le)를 삽입하여, 공간적으로 및 시간적으로 풀 레졸루션의 이미지를 제공할 수 있다.
상술한 바와 같이 더 높은 레졸루션의 3D 방송 서비스를 제공하기 위해서는, 현재 제공중인 레졸루션의 3D 방송 서비스에 대하여 부가적인 비디오 데이터를 전송해야 하며, 이와 수반하여 부가적인 비디오 데이터에 대한 시그널링 정보를 송/수신 및 프로세싱할 필요가 있다.
이하에서는 이러한 부가적인 비디오 데이터 및 부가적인 비디오 데이터에 대한 정보를 시그널링하는 방법에 대하여 설명하도록 한다. 본 발명의 일 실시예로서, 부가(complementary) 비디오 데이터는 계층(layer)화된 이미지 압축 부호화 방식으로 H.264/SVC(Scalable Video Coding) 또는 MVC(Multi-view Video Coding) 방식을 사용할 수 있으며, 이때 부가 비디오 데이터는 인핸스먼트 레이어를 통해 전송될 수 있다.
전송되는 부가적인 비디오 데이터에 대한 시그널링 정보를 3D 부가 비디오 정보(3D complementary video information)로 지칭할 수 있다. 3D 부가 비디오 정보는, 본 발명의 실시예에 따라 descriptor 또는 table형태로 제공될 수 있으며, 이 경우 3D complementary video descriptior 또는 3D complementary video table로 지칭될 수도 있다.
3D 부가 비디오 정보는 본 발명의 실시예에 따라, ATSC 방송 시스템에서 전송되는 PSIP에 포함될 수 있으며, 특히 PISP의 TVCT(또는 VCT)에 포함되어 전송될 수 있다. 또한, 3D 부가 비디오 정보는 ATSC 방송 시스템에서 전송되는 PSI에 포함될 수 있으며, 특히 PSI의 PMT에 포함될 수 있다. 또한, 3D 부가 비디오 정보는 부가 비디오 데이터에 포함될 수 있으며, 특히 부가 비디오 ES(Elementary Stream)의 헤더 정보에 포함되어 전송될 수 있다.
이하에서는, 3D 부가 비디오 정보의 시그널링 방법에 대해 상세히 설명하도록 한다.
먼저, TVCT를 사용하여 3D 부가 비디오 정보를 시그널링하는 방법에 대해 설명하도록 한다.
도 8은 본 발명의 일 실시예에 따른 3D 부가 비디오 정보를 포함하는 TVCT의 신택스 구조(structure)를 나타낸 도면이다.
도 8의 TVCT에 포함된 필드들에 대한 설명은 이하와 같다.
"table_id" 필드의 값은 여기서 정의된 테이블 섹션의 타입을 가리킨다. terrestrial_virtual_channel_table_section() 을 위하여는, "table_id" 는 0xC8 이 될 것이다.
"section_syntax_indicator" 필드는 1 비트로서, terrestrial_virtual_channel_table_section()을 위하여 1 로 셋팅될 수 있다.
"private_indicator" 는 1 로 셋팅될 수 있다.
"section_length" 필드는 12 비트의 필드로서, 처음 두 비트는 '00' 으로 셋팅 될 수 있다. 그것은 "section_length" 를 따라 시작되는 섹션의 바이트 넘버와 CRC 를 포함한다. 이 필드에서의 값은 1021를 넘지 않을 것이다.
"transport_stream_id" 필드는 이 멀티플레서를 위한 제로의 PID 값에 의하여 식별되는 Program Association Table (PAT) 내에서 나타나는 16 비트의 MPEG-2 트랜스포트 스트림 ID 이다. "transport_stream_id" 는 이 Terrestrial Virtual Channel Table을 다른 PTC 들에서 브로드캐스트 될 수 있는 다른 것들과 구분한다.
"version_number" 필드는 Virtual Channel Table의 버전 넘버이다.
"current_next_indicator" 는 1 비트 인디케이터로서, 1 로 셋팅된 경우, 현재 보내진 VCT가 적용 가능함을 가리킨다. 이 비트가 0 으로 셋팅된 경우, 보내진 테이블은 아직 적용 가능하지 않고, 다음 테이블이 유효함을 가리킨다.
현재 적용 가능한 테이블에 대한 업데이트는 version_number 필드의 증가로 시그널링 될 수 있다.
"section_number" 는 이 섹션의 넘버를 준다. Terrestrial Virtual Channel Table의 처음 섹션의 "section_number" 는 0x00 일 것이다. 그것은 Terrestrial Virtual Channel Table에서의 각각의 추가적인 섹션과 함께 하나씩 증가할 것이다.
"last_section_number" 는 완전한 Terrestrial Virtual Channel Table 의 마지막 섹션 (가장 높은 section_number를 가지는 섹션) 의 넘버를 특정한다.
"protocol_version" 의 기능은, 미래에, 현재 프로토콜에서 정의된 것과 달리 구성된 파라미터를 운반하는 테이블 타입을 허용하는 것이다. 현재는, protocol_version을 위하여 유효한 값은 0 이다. protocol_version가 0이 아닌 경우에는 구조적으로 다른 테이블을 가리키기 위하여 미래에 사용될 것이다.
"num_channels_in_section" 필드는 이 VCT 섹션의 버추어 채널의 수를 특정한다. 이 수는 섹션 길이에 의하여 제한될 수 있다.
"short_name" 필드는 버추어 채널의 이름을 특정한다.
"major_channel_number" 필드는 "for" 루프의 반복에서 정의된 버추어 채널과 연관된 메이저 채널 넘버를 나타내는 10 비트의 넘버이다. 각각의 버추어 채널은 메이저 및 마이너 채널 넘버와 연관되어 있다. 마이너 채널 넘버와 함께 있는 메이저 채널 넘버는 버추어 채널을 위한 사용자의 참조 넘버와 같은 역할을 한다. "major_channel_number" 는 1 부터 99 까지가 될 수 있다. "major_channel_number"는 TVCT 내에서 메이저 채널 넘버/마이너 채널 넘버의 조합이 중복되지 않을 수 있도록 세팅될 것이다.
"minor_channel_number" 필드는 마이너 또는 서브 채널 넘버를 나타내는 0부터 999까지의 10 비트 넘버이다. 이 필드는 메이저 채널 넘버와 함께 two-part 채널 넘버를 수행한다.마이너 채널 넘버는 채널 넘버의 두 번째 혹은 오른쪽 편 넘버를 나타낸다. "service_type" 이 아날로그 텔레비전인 경우, 마이너 채널 넘버는 0으로 셋팅 될 것이다. "service_type" 이 ATSC_digital_television 혹은 ATSC_audio_only 인 서비스들의 경우, 마이너 넘버를 1부터 99까지 사용할 것이다. "minor_channel_number"의 값은 메이저 채널 넘버/마이너 채널 넘버의 조합이 TVCT 안에서 중복되지 않도록 셋팅될 것이다. 데이터 방송과 같은 다른 타입의 서비스들을 위하여, 유효한 마이너 버추어 채널 넘버는 1부터 999까지 이다.
"modulation_mode" 필드는 이 버추어 채널과 연관된 전송된 캐리어를 위한 변조 모드를 가리킨다.
"carrier_frequency" 필드의 값은 0 이다. 이 필드는 캐리어 주파수를 식별하기 위하여 사용될 수도 있다.
"channel_TSID" 필드는 이 버추어 채널에 의하여 참조되는 MPEG-2 프로그램을 운반하는 트랜스포트 스트림과 연관된 MPEG-2 트랜스포트 스트림 ID를 나타내는 0x0000부터 0xFFFF 까지의 값을 가진다. 비활성화된 채널을 위하여, "channel_TSID" 는 그것이 활성화되면 서비스를 운반할 트랜스포트 스트림의 ID를 나타낸다. 수신기는 수신한 트랜스포트 스트림이 실질적으로 원하던 멀티플렉스인지 판단하기 위하여 "channel_TSID"를 사용할 수 있다. 아날로스 채널 (service_type 0x01) 을 위하여, "channel_TSID"는 NTSC 신호의 VBI에 포함된 아날로그 TSID의 값을 가리킬 것이다.
"program_number" 필드는 여기서 정의된 버추어 채널을 MPEG-2 PROGRAM ASSOCIATION 과 TS PROGRAM MAP 테이블과 연관시킨다. 아날로그 서비스를 대표하는 버추어 채널을 위하여, 0xFFFF의 값이 "program_number" 로 특정될 수 있다.
"ETM_location" 필드는 Extended Text Message (ETM)의 위치와 존재를 특정한다.
"access_controlled" 필드는, 1 비트의 불 플래그 (Boolean flag) 로서, 설정된 경우, 버추어 채널과 연관된 이벤트가 접근 제어되고 있음을 가리킨다. 위 플래그가 0 으로 셋팅된 경우, 이벤트 접근은 제한되지 않는다.
"hidden field" 는 1 비트의 불 플래그로서, 설정된 경우, 버추어 채널이 버추어 채널 넘버의 직접 엔트리에 의하여 접근되지 않았음을 가리킨다. 숨겨진 버추어 채널은 사용자가 채널 서핑을 할 때, 스킵 (skip) 되고, 만약 직접 채널 엔트리에 의하여 접근되는 경우, 정의되지 않은 것처럼 나타난다. 숨겨진 채널을 위한 일반적인 어플리케이션은 테스트 신호와 NVOD 서비스이다. 숨겨진 채널과 그것의 이벤트가 EPG 화면에서 나타나는지 여부는 "hide_guide" 비트의 상태에 의존한다.
"hide_guide" 필드는 불 플래그로서, 그것이 히든 채널을 위하여 0 으로 셋팅된 경우, 버추어 채널과 이벤트는 EPG 화면에 나타남을 가리킨다. 이 비트는 숨겨진 비트가 설정되지 않은 채널을 위하여는 무시될 것이다. 그래서, 숨겨지지 않은 채널과 그것의 이벤트는 "hide_guide" 비트의 상태와 관계없이 항상 EPG 화면에 포함되어질 것이다. "hide_guide" 비트가 1로 셋팅된 숨겨진 채널을 위한 일반적인 어플리케이션은 테스트 신호와 어플리케이션 레벨 포인터를 통하여 접속가능한 서비스이다.
"service_type" 필드는 이 버추어 채널에서 운반되는 서비스의 타입을 식별한다. 특히, 도 3에 도시된 바와 같이, 도 2의 service type 필드의 값이 예를 들어 0x10 인 경우, 가상 채널이 3D television programming 을 전송(carry) 하는 경우를 의미할 수 있다. 물론, 상기 수치는 일예에 불과하며, 상기 수치로 본 발명의 권리범위가 한정되는 것은 아니다.
"source_id" 필드는 버추어 채널과 연관된 프로그래밍 소스를 식별한다. 이 상황에서, 소스는 비디오, 텍스트, 데이터 또는 오디오 프로그래밍의 하나의 특정 소스이다. "Source ID" 의 값이 0 인 것은 예약이 되어있다. "Source ID" 값은 0x0001부터 0x0FFF 까지의 값을 가지고, VCT를 운반하는 트랜스포트 스트림 내에서 고유한 것이고, 0x1000부터 0xFFFF까지의 값은 지역의 레벨에서 고유한 것일 것이다. "source_id" 의 값이 0x1000 과 그 이상인 것이 ATSC 에 의하여 지정된 Registration Authority에 의하여 배포되고 관리될 수 있다.
"descriptors_length" 필드는 버추어 채널을 위한 디스크립터들의 총 길이 (바이트) 를 가리킨다.
"descriptor()" 필드는 ‘descriptor()’ 필드를 위하여 적절한 0 또는 수 개의 디스크립터들을 포함한다.
"additional_descriptors_length" 필드는 VCT 디스크립터 리스트의 총 길이 (바이트) 를 가리킨다.
"CRC_32" 필드는 디코더 내의 레지스터로 부터 제로 출력이 나올수 있도록 하는 값을 가지고 있다.
service_type 필드(8010)는 해당 채널에서 제공하는 방송 서비스가 3D 서비스 2.0인 경우 이를 나타내는 필드이다. 일 실시예로서, service_type 필드(8010)의 필드값이 0x13인 경우, 해당 virtual channel에서 3D 방송 프로그램(오디오, 비디오, 및 3D 스테레오스코픽 이미지를 디스플레이하기 위한 부가 비디오 데이터를 포함하는)을 제공하고 있음을 나타낼 수 있다.
디스크립터 필드(8020)는 3D 부가 비디오 정보를 포함하며, 이하의 도면을 참조하여 설명하도록 한다.
도 9는 본 발명의 일 실시예에 따른 TVCT에 포함되는 3D 부가 비디오 디스크립터의 신택스 구조를 나타낸 도면이다.
도 9의 3D 부가 비디오 디스크립터에 포함된 필드들에 대한 설명은 이하와 같다.
number_elements 필드는 해당 virtual channel을 구성하는 비디오 엘러먼트들의 수를 나타낸다. 방송 수신기는 3DTV 서비스 로케이션 디스크립터를 수신하여 해당 virtual channel을 구성하는 비디오 엘러먼트들의 수만큼 이하의 필드들에 포함된 정보를 파싱할 수 있다.
complementary_type 필드는 부가 비디오 데이터 또는 부가 비디오 스트림의 구성 방법을 나타낸다. 수신 시스템은 풀 레졸루션의 이미지를 출력하는 경우 이 필드의 정보를 사용하여 베이스 비디오 데이터와 부가 비디오 데이터로 풀 레졸루션 이미지의 재구성할 수 있다.
naive_subsampling_flag 필드는 베이스 비디오 컴포넌트와 부가 비디오 컴포넌트를 구성할 때 서브샘플링을 수행하는지 또는 로우패스 필터링 및 하이패스 필터링을 수행하는지 여부를 나타낸다. 일 실시예로서, naive_subsampling_flag 필드의 필드값이 1이면 서브샘플링을, 0이면 로우패스 필터링 및 하이패스 필터링을 수행함을 나타낼 수 있다.
codec_type 필드는 부가 비디오 컴포넌트를 인코딩 또는 압축하는데 사용한 비디오 코덱의 종류를 나타낸다. 일 실시예로서, codec_type 필드의 필드값에 따라 MPEG-2, AVC/H.264, SVC extension 등의 코딩 스킴을 나타낼 수 있다.
horizontal_size 필드, vertical_size 필드 및 frame_rate 필드는, 각각 부가 비디오 컴포넌트의 가로 크기, 세로 크기 및 프레임 레이트를 나타낸다. 가로 크기 및 세로 크기는 공간적인 레졸루션을 나타낼 수 있으며, 프레임 레이트는 시간적인(temporal) 레졸루션을 나타낼 수 있다. 일 실시예로서, complementary_type 필드의 필드값이 0x0004인 경우 부가 비디오 컴포넌트의 공간적/시간적 레졸루션은 모두 풀 레졸루션이 될 수 있다.
interpolation_filter_available_flag 필드는 베이스 비디오 컴포넌트에 대해 인터폴레이션을 수행하는 경우 별도로 customize된 필터가 사용되는지 여부를 나타낸다. 이때, 필터 구현을 위한 필터 계수(coefficient) 등의 정보는, 일 실시예로서 TVCT 또는 PMT 등에서 부가 비디오 컴포넌트에 대한 descriptor loop 내에 포함되어 descriptor 형태로 제공될 수 있으며, 다른 일 실시예로서 비디오 엘러먼트 내부에서 헤더 정보 또는 메시지 정보에 포함되어 제공될 수 있다.
left_image_first_flag 필드는 부가 비디오 정보를 구성하는 레프트 뷰에 대한 비디오 데이터 및 라이트 뷰에 대한 비디오 데이터 중 어느 시점의 비디오 데이터가 먼저 발생하는지를 나타낸다. 일 실시예로서, 레프트 뷰에 해당하는 비디오 데이터가 먼저 수신되는 경우 left_image_first_flag 필드의 필드값은 1로 설정될 수 있다.
complementary_first_flag 필드는 풀 레졸루션의 이미지를 구성하는 과정에서 베이스 비디오 컴포넌트와 부가 비디오 컴포넌트를 조합하는 순서를 나타낸다. 일 실시예로서, 베이스 비디오 컴포넌트에 해당하는 비디오 데이터가 부가 비디오 컴포넌트에 해당하는 비디오 데이터보다 선행하는 경우 complementary_first_flag 필드의 필드값은 1로 설정될 수 있다.
도 10은 본 발명의 일실시예에 따른 3D 부가 비디오 정보에 포함된 complementary_type 필드의 필드 값에 따른 이미지 구성 방법을 나타낸 도면이다.
도 9에 포함된 complementary_type 필드는 부가 비디오 데이터 또는 부가 비디오 스트림의 구성 방법을 나타내며, 수신 시스템은 이 필드의 정보를 사용하여 베이스 비디오 데이터와 부가 비디오 데이터로 풀 레졸루션 이미지의 재구성할 수 있다. 이때, 일 실시예로서 complementary_type 필드의 필드 값에 따른 풀 레졸루션의 이미지 재구성은 도 10에 나타낸 바와 같이 다양하게 수행될 수 있다.
1) complementary_type 필드의 필드 값이 0인 경우:
complementary_type 필드는 부가 비디오 데이터가 라인 인터리빙되어, 부가 라인에 대한 비디오 데이터를 carry함을 나타낸다.
부가 비디오 데이터는 베이스 비디오 데이터에 추가되어 풀 레졸루션의 이미지를 구성하기 위한 even lines or odd lines에 대한 비디오 데이터를 포함할 수 있다. even lines or odd lines에 대한 비디오 데이터는, 베이스 비디오 데이터의 멀티플렉싱 포맷에 따라 horozintally or vertically 라인 인터리빙되어 생성될 수 있다. 일 실시예로서, 베이스 비디오 데이터가 사이드-바이-사이드 포맷인 경우에는 버티컬 라인 인터리빙이, 베이스 비디오 데이터가 탑-바텀 포맷인 경우에는 호리젠털 라인 인터리빙이 수행될 수 있다.
2) complementary_type 필드의 필드 값이 1인 경우:
complementary_type 필드는 부가 비디오 데이터가 픽셀 인터리빙되어, 풀 레졸루션의 이미지를 재구성하기 위한 픽셀들에 대한 정보로서 라인별로 교차되는 이미지의 시점에 대한 순서 정보를 carry함을 나타낸다.
부가 비디오 데이터는 픽셀 단위로 인터리빙 되어 체커보드와 같은 포맷으로 전송될 수 있다. 이 경우 하나의 라인에서도 픽셀단위로 레프트 이미지의 픽셀과 라이트 이미지의 픽셀이 교차할 수 있으며, 수신 시스템에서 풀 레졸루션의 이미지를 정상적으로 복귀하기 위해서는 이와 같은 교차 순서에 대한 정보를 전송해줄 필요가 있다. 이러한 경우, complementary_first_flag 필드를 통해 재구성되는 풀 레졸루션 이미지의 첫번째 픽셀에 어느 시점 또는 어느 레이어의 비디오 데이터가 포함되는지를 나타낼 수 있다.
3) complementary_type 필드의 필드 값이 2인 경우:
complementary_type 필드는 부가 비디오 데이터가 프레임 인터리빙되어, 풀 레졸루션의 이미지를 재구성하기 위한 부가적인 프레임들을 포함하는 것을 나타낼 수 있다.
이 실시예에서, 풀 레졸루션의 의미는 시간적인 레졸루션을 의미한다. 이 경우 부가 비디오 데이터는 프레임 단위로 인터리빙된 이미지 데이터를 포함하며, 프레임-바이-프레임(또는 프레임 시퀀셜) 단위의 비디오 데이터를 포함할 수 있다. 수신 시스템은 complementary_first_flag 필드를 통해 부가 비디오 컴포넌트를 통해 수신된 비디오 프레임이 베이스 비디오 컴포넌트를 통해 수신된 비디오 프레임의 앞에 위치되는지 또는 뒤에 위치되는지를 알 수 있다.
4) complementary_type 필드의 필드 값이 3인 경우:
complementary_type 필드는 부가 비디오 데이터가 필드 인터리빙되어, 풀 레졸루션의 이미지를 재구성하기 위한 부가적인 필드들을 포함하는 것을 나타낼 수 있다.
이 실시예에서, 풀 레졸루션의 의미는 시간적인 레졸루션을 의미한다. 이 경우 부가 비디오 데이터는 필드 단위로 인터리빙된 이미지 데이터를 포함하며, 필드-바이-필드 단위의 비디오 데이터를 포함할 수 있다. 수신 시스템은 complementary_first_flag 필드를 통해 부가 비디오 컴포넌트를 통해 수신된 비디오 필드가 풀 레졸루션의 이미지에 대한 짝수 필드인지 또는 홀수 필드인지 여부를 알 수 있다.
5) complementary_type 필드의 필드 값이 4인 경우:
complementary_type 필드는 부가 비디오 데이터가 풀 레졸루션의 이미지를 재구성하기 위한 residual or incremental data를 포함하는 것을 나타낼 수 있다.
이 실시예에서, 베이스 비디오 컴포넌트의 스테레오-멀티플렉싱 포맷과 상관 없이, 부가 비디오 컴포넌트는 풀 레졸루션의 이미지를 재구성하기 위한 residual or incremental data를 포함한다. 이 경우 수신 시스템은 부가 비디오 데이터와 베이스 비디오 데이터를 결합하기 전에, 베이스 비디오 데이터에 대해 인터폴레이팅 또는 더블링을 수행할 수 있다.
다음으로, PMT를 사용하여 3D 비디오 부가 정보를 시그널링하는 방법에 대해 설명하도록 한다.
도 11은 본 발명의 일 실시예에 따른 3D 비디오 부가 정보를 포함하는 PMT의 신택스 구조(structure)를 나타낸 도면이다.
도 11의 PMT에 포함된 필드들에 대한 설명은 이하와 같다.
"table_id"는 8 비트의 필드로서, TS_program_map_section 인 경우, 0x02로 셋팅될 수 있다.
"section_syntax_indicator"는 1 비트의 필드로서, 1로 셋팅될 수 있다.
"section_length"는 12 비트의 필드로서, 처음 2 비트는 '00'으로 셋팅될 수 있다. 남은 10 비트는 "section_length"를 이어 시작되고, CRC를 포함하는 섹션의 바이트의 넘버를 특정한다. 이 필드의 값은 1021 (0x3FD)을 넘지 않을 것이다.
"program_number"는 16 비트의 필드이다. 이것은 "program_map_PID" 가 적용 가능한 프로그램을 식별한다. 하나의 프로그램 정의는 하나의 TS_program_map_section 내에서 운반될 수 있다.이것은 프로그램 정의가 1016 (0x3F8) 보다 길지 않다는 것을 내포한다. "program_number"은 예를 들면, 방송 채널을 위한 지칭으로 사용될 수 있다. 프로그램에 속하는 다른 프로그램 엘레먼트들을 묘사함으로서, 다른 소스로부터의 데이터 (예를 들면, 시퀀셜 이벤트)는 program_number을 사용하는 스트림들의 연속적인 세트를 형성하기 위하여 함께 결합될 수 있다.
"version_number" 는 TS_program_map_section 의 버전 넘버이다. 버전 넘버는 섹션 내에서 운반되는 정보의 변화가 발생한 경우 1 (modulo 32) 만큼 증가한다. 버전 넘버는 하나의 프로그램의 정의를 참조하고, 그래서 하나의 섹션을 참조한다. "current_next_indicator" 가 1 로 셋팅된 경우, "version_number" 는 TS_program_map_section에 현재에 적용가능한 것일 수 있다. "current_next_indicator" 가 0 으로 셋팅된 경우, "version_number" 는 TS_program_map_section에 다음에 적용가능한 것일 수 있다.
"current_next_indicator" 필드가 1 로 셋팅된 경우, 보내지는 TS_program_map_section 이 현재 적용 가능함을 가리킨다. 위 비트가 0 으로 셋팅된 경우, 보내지는 TS_program_map_section 이 현재에 적용 가능하지는 않고, 다음 TS_program_map_section 이 유효함을 가리킨다.
"section_number" 필드의 값은 0x00 일 것이다.
"last_section_number" 필드의 값은 0x00 일 것이다.
"PCR_PID" 필드는 13 비트의 필드로서, "program_number" 에 의하여 특정되는 프로그램을 위하여 유효한 PCR 필드를 포함할 수 있는 트랜스포트 스트림 패킷들의 PID를 가리킨다. 프라이빗 스트림을 위한 프로그램 정의와 연관된 PCR이 없는 경우, 이 필드는 0x1FFF 값을 가질 것이다.
"program_info_length" 는 12 비트의 필드로서, 처음 두 비트는 '00'으로 셋팅될 수 있다.남은 10 비트는 "program_info_length 필드를 따르는 디스크립터들의 바이트 넘버를 특정한다.
"stream_type" 는 8 비트의 필드로서, "elementary_PID" 에 의하여 특정되는 값을 가지는 PID를 가진 패킷들에 의하여 운반되는 프로그램 엘레먼트의 타입을 식별한다.
"elementary_PID" 는 13 비트의 필드로서, 프로그램 엘레먼트와 연관된 트랜스포트 스트림 패킷들의 PID 를 특정한다.
"ES_info_length" 는 12 비트의 필드로서, 처음 두 비트는 '00' 일 것이다. 남은 10 비트는 "ES_info_length" 필드를 따르는 연관된 프로그램 엘레먼트의 디스크립터 들의 바이트 넘버를 특정한다.
"CRC_32" 는 32 비트의 필드로서, 디코더 내의 레지스터의 제로 출력을 주는 CRC 값을 포함한다.
디스크립터 필드(11010)는 3D 부가 비디오 정보를 포함하며, 이하의 도면을 참조하여 설명하도록 한다.
도 12는 본 발명의 일 실시예에 따른 PMT에 포함되는 3D 부가 비디오 정보의 신택스 구조를 나타낸 도면이다.
도 12의 3D 부가 비디오 정보는 도 9의 3D 부가 비디오 정보와 유사하며, 동일한 필드에 대한 설명은 생략하기로 한다. 다만, PMT의 경우 비디오 엘러먼트에 대한 elementary_PID 등의 정보는 도 9의 경우와 달리 PMT에 포함되며, 이 필드에 대한 설명은 도 9와 관련하여 설명한 바와 같다. 또한 codec_type 필드는 PMT에 포함된 stream_type 필드에 의해 대체될 수 있으며, 이 경우 도 12의 3D 부가 비디오 디스크립터에서는 생략될 수 있다.
다음으로, 부가 비디오 데이터에 포함된 부가 비디오 ES을 통해 3D 부가 비디오 정보를 시그널링하는 방법에 대해 설명한다.
도 13은 본 발명의 일 실시예에 따른 3D 부가 비디오 정보를 포함하는 비디오 ES의 Picture Extension and User Data의 신택스 구조를 나타낸 도면이다.
일 실시예로서, ATSC 통신 시스템에서 PSIP layer가 아닌 비디오 ES의 헤더 정보에 3D 부가 비디오 정보를 포함시켜 시그널링할 수 있다. 즉, 3D 부가 비디오 정보(complementary_video_info(); 13030)를 부가 비디오 ES에 포함시켜 전송하며, 수신 시스템은 비디오 디코더에서 해당 정보를 파싱하여 디스플레이 출력 제어에 필요한 정보를 획득할 수 있다.
일 실시예로서, 부가 비디오 데이터가 MPEG-2 비디오 코딩 스킴을 이용하여 인코딩된 경우, 3D 부가 비디오 정보는 Picture Extension and User Data에서 user_data()(13010)에 포함되어 전송될 수 있다. Picture Extension and User Data는 Picture Header와 Picture Coding Extension 후에 수신되어 디코딩될 수 있다.
도 13의 실시예에서, user_data_start_code 필드의 필드값은 0x0000 01B2로 고정된다.
user_data_identifier(또는 ATSC_identifier) 필드의 필드값은 0x4741 3934 값이 부여된 32bit 코드이다.
user_data_type_code 필드는 ATSC user data(13020)의 데이터 타입을 나타내며, 8비트의 필드값을 가질 수 있다. 일 실시예로서, 0x10 값을 사용하여 3D 부가 비디오 정보(13030)가 포함되었음을 나타낼 수 있다.
도 14는 본 발명의 일 실시예에 따른 3D 부가 비디오 정보를 비디오 ES의 SEI(Supplemental Enhancement Information) message에 포함시켜 전송하는 경우의 신택스 구조를 도시한 도면이다.
도 14의 실시예에서, H.264 (또는 AVC) video data 및 MVC extension video data의 경우 SEI(Supplemental Enhancement Information) 영역에 부가 정보를 전송할 수 있으며, user_data_registered_itu_t_t35()를 사용하여 user_identifier 및 user_structure()를 통해 3D 부가 비디오 정보 를 전송할 수 있다.
도 14의 실시예에서, 부가 비디오 데이터를 AVC/H.264로 인코딩한 경우에 해당 비디오 스트림에서 3D 부가 비디오 정보를 전송하기 위한 SEI syntax(user_identifier = 0x4741 3934)의 user_structure()에 도 13에서 나타낸 ATSC_user_data()가 위치할 수 있다.
도 15는 본 발명의 일 실시예에 따른 부가 비디오 ES에 포함되어 전송되는 3D 부가 비디오 정보의 신택스 구조를 나타낸 도면이다.
도 15의 3D 부가 비디오 정보(Complementary_video_info())는 도 9의 3D 부가 비디오 정보와 유사하며, 동일한 필드에 대한 설명은 생략하기로 한다.
이하에서는, 3D 비디오 서비스 스펙 B에서 수신된 베이스 비디오 데이터, 부가 비디오 데이터 및 3D 부가 비디오 정보를 사용하여 풀 레졸루션의 이미지를 제공하는 방법에 대해 설명한다.
도 16은 본 발명의 일 실시예에 따른 3D 비디오 서비스 스펙 B에서 수신된 베이스 비디오 데이터, 부가 비디오 데이터 및 3D 부가 비디오 정보를 사용하여 풀 레졸루션의 이미지를 제공하는 방법을 나타낸 개념도이다.
도 16의 실시예에서, 베이스 비디오 데이터의 이미지는 탑-바텀 포맷으로 수신되었으며, 레프트 이미지가 탑에, 라이트 이미지가 바텀에 위치한다. 3D 부가 비디오 정보의 경우 complementary_type 필드의 필드값은 ‘0x0000’, naive_subsampling_flag 필드의 필드값은 ‘1’, left_image_first_flag 필드의 필드값은 ‘1’, 그리고 complementary_first_flag 필드의 필드값은 ‘0’을 나타낸다. 즉, 3D 부가 비디오 정보는, 부가 비디오 데이터는 라인 인터리빙이 수행되었으며, 서브샘플링시 로우패스 필터링과 하이패스 필터링을 수행하지 않으며, 레프트 뷰에 해당하는 비디오 데이터가 먼저 나타나고, 베이스 비디오에 해당하는 비디오 데이터가 부가 비디오에 해당하는 비디오 데이터보다 선행함을 나타낸다.
수신 시스템은, 3D 부가 비디오 정보에 따라 탑-바텀의 베이스 비디오 프레임(16010)에서 레프트 이미지 부분(Lb1~Lb5)을 추출하고, 부가 비디오 프레임(16020)에서 레프트 이미지 부분(Lc1~Lc5)을 추출하고, 추출된 비디오 데이터를 라인 바이 라인으로 재구성하여 풀 레졸루션의 레프트 이미지(16030)를 획득할 수 있다. 마찬가지로, 3D 부가 비디오 정보에 따라 탑-바텀의 베이스 비디오 프레임(16010)에서 라이트 이미지 부분(Rb1~Rb5)을 추출하고, 부가 비디오 프레임(16020)에서 라이트 이미지 부분(Rc1~Rc5)을 추출하고, 추출된 비디오 데이터를 라인 바이 라인으로 재구성하여 풀 레졸루션의 라이트 이미지(16040)를 획득할 수 있다.
수신 시스템은 획득된 풀 레졸루션의 레프트 이미지(16030) 및 라이트 이미지(16040)를 프레임 시퀀셜 스킴으로 디스플레이할 수 있다. 이 경우 프레임 단위로 하나의 프레임(16010)에서 두개의 프레임(16030, 16040)이 생성되므로, 시간적으로 풀 레졸루션의 디스플레이가 가능하게 된다.
도 17은 본 발명의 다른 일 실시예에 따른 3D 비디오 서비스 스펙 B에서 수신된 베이스 비디오 데이터, 부가 비디오 데이터 및 3D 부가 비디오 정보를 사용하여 풀 레졸루션의 이미지를 제공하는 방법을 나타낸 개념도이다.
도 17의 실시예에서, 베이스 비디오 데이터의 이미지는 탑-바텀 포맷으로 수신되었으며, 레프트 이미지가 탑에, 라이트 이미지가 바텀에 위치한다. 3D 부가 비디오 정보의 경우 complementary_type 필드의 필드값은 ‘0x0000’, naive_subsampling_flag 필드의 필드값은 ‘0’, left_image_first_flag 필드의 필드값은 ‘1’, 그리고 complementary_first_flag 필드의 필드값은 ‘0’을 나타낸다. 즉, 3D 부가 비디오 정보는, 부가 비디오 데이터는 라인 인터리빙이 수행되었으며, 서브샘플링시 로우패스 필터링과 하이패스 필터링을 수행하여야 하며, 레프트 뷰에 해당하는 비디오 데이터가 먼저 나타나고, 베이스 비디오에 해당하는 비디오 데이터가 부가 비디오에 해당하는 비디오 데이터보다 선행함을 나타낸다.
먼저 수신 시스템은 3D 부가 비디오 정보에 따라 베이스 비디오 프레임에 대해 로우패스 필터링을 수행하여 필터링된 베이스 비디오 프레임(Lb1’~Lb5’ 및 Rb1’~Rb5’)을 획득하고, 부가 비디오 프레임에 대해 하이패스 필터링을 수행하여 필터링된 부가 비디오 프레임(Lc1’~Lc5’ 및 Rc1’~Rc5’)을 획득한다.
수신 시스템은, 3D 부가 비디오 정보에 따라 로우패스 필터링된 탑-바텀의 베이스 비디오 프레임에서 레프트 이미지 부분(Lb1’~Lb5’)을 추출하고, 하이패스 필터링된 부가 비디오 프레임에서 레프트 이미지 부분(Lc1’~Lc5’)을 추출한다. 그 후 추출된 비디오 데이터를 라인 바이 라인으로 재구성하여 풀 레졸루션의 레프트 이미지(17030)를 획득할 수 있다. 마찬가지로, 3D 부가 비디오 정보에 따라 로우패스 필터링된 탑-바텀의 베이스 비디오 프레임에서 라이트 이미지 부분(Rb1’~Rb5’)을 추출하고, 하이패스 필터링된 부가 비디오 프레임에서 라이트 이미지 부분(Rc1’~Rc5’)을 추출한다. 그 후 추출된 비디오 데이터를 라인 바이 라인으로 재구성하여 풀 레졸루션의 라이트 이미지(17040)를 획득할 수 있다.
수신 시스템은 획득된 풀 레졸루션의 레프트 이미지(17030) 및 라이트 이미지(17040)를 프레임 시퀀셜 스킴으로 디스플레이할 수 있다. 이 경우 프레임 단위로 하나의 프레임(17010)에서 두개의 프레임(17030, 17040)이 생성되므로, 시간적으로 풀 레졸루션의 디스플레이가 가능하게 된다.
도 18은 본 발명의 또 다른 일 실시예에 따른 3D 비디오 서비스 스펙 B에서 수신된 베이스 비디오 데이터, 부가 비디오 데이터 및 3D 부가 비디오 정보를 사용하여 풀 레졸루션의 이미지를 제공하는 방법을 나타낸 개념도이다.
도 18의 실시예에서, 베이스 비디오 데이터의 이미지는 탑-바텀 포맷으로 수신되었으며, 레프트 이미지가 탑에, 라이트 이미지가 바텀에 위치한다. 3D 부가 비디오 정보의 경우 complementary_type 필드의 필드값은 ‘0x0100’, naive_subsampling_flag 필드의 필드값은 ‘1’, left_image_first_flag 필드의 필드값은 ‘1’, 그리고 complementary_first_flag 필드의 필드값은 ‘0’을 나타낸다. 즉, 3D 부가 비디오 정보는, 부가 비디오 데이터는 베이스 비디오 데이터에 대한 잉여(residual) 비디오 데이터를 포함하고(0x0100; 십진값으로 4), 서브샘플링시 로우패스 필터링과 하이패스 필터링을 수행하지 않으며, 레프트 뷰에 해당하는 비디오 데이터가 먼저 나타나고, 베이스 비디오에 해당하는 비디오 데이터가 부가 비디오에 해당하는 비디오 데이터보다 선행함을 나타낸다.
수신 시스템은, 먼저 수신된 베이스 비디오 프레임(18010)에 대해 라인 바이 라인으로 인터폴레이팅을 수생하여 공간적으로 더블링된 비디오 프레임(18040)을 획득한다. 그 후 수신 시스템은 인터폴레이팅된 라인들(Li1, Li2, … , Ri5)을 부가 비디오 프레임(18020)의 잉여 데이터 라인들(Lc1~Lc10 및 Rc1~Rc10)과 결합하고, 베이스 비디오 프레임의 라인들과 라인 바이 라인으로 배치하여 풀 레졸루션의 레프트 이미지(18050)와 라이트 이미지(18060)를 획득한다. 일 실시예로서 레프트 이미지의 경우, 인터폴레이팅된 베이스 비디오 프레임(18040)의 라인 Li1에 부가 비디오 프레임(18020)의 라인 Lc1 및 Lc2의 데이터를 결합하여 풀 레졸루션 이미지(18050)의 라인 이미지 Lc1을 획득하고, 이 라인 이미지 Lc1을 라인 이미지 Lb1 및 Lb2의 사이에 배치하는 방식으로, 풀 레졸루션의 레프트 이미지(18050)를 획득할 수 있다.
수신 시스템은 획득된 풀 레졸루션의 레프트 이미지(18050) 및 라이트 이미지(18060)를 프레임 시퀀셜 스킴으로 디스플레이할 수 있다. 이 경우 프레임 단위로 하나의 프레임(18010)에서 두개의 프레임(17050, 17060)이 생성되므로, 시간적으로 풀 레졸루션의 디스플레이가 가능하게 된다.
도 19는 본 발명의 또 다른 일 실시예에 따른 3D 비디오 서비스 스펙 B에서 수신된 베이스 비디오 데이터, 부가 비디오 데이터 및 3D 부가 비디오 정보를 사용하여 풀 레졸루션의 이미지를 제공하는 방법을 나타낸 개념도이다.
도 19의 실시예에서, 베이스 비디오 데이터의 이미지는 체커보드 포맷으로 수신되었으며, 레프트 이미지가 좌측 최상단 픽셀에 위치한다. 3D 부가 비디오 정보의 경우 complementary_type 필드의 필드값은 ‘0x0001’, naive_subsampling_flag 필드의 필드값은 ‘1’, left_image_first_flag 필드의 필드값은 ‘1’, 그리고 complementary_first_flag 필드의 필드값은 ‘0’을 나타낸다. 즉, 3D 부가 비디오 정보는, 부가 비디오 데이터는 베이스 비디오 이미지에 대한 부가 비디오 이미지의 라인 교차(alternating) 순서를 포함하고(0x0001; 십진값으로 1), 서브샘플링시 로우패스 필터링과 하이패스 필터링을 수행하지 않으며, 레프트 뷰에 해당하는 비디오 데이터가 먼저 나타나고, 베이스 비디오에 해당하는 비디오 데이터가 부가 비디오에 해당하는 비디오 데이터보다 선행함을 나타낸다.
수신 시스템은, 수신된 베이스 비디오 프레임(19010)에 포함된 레프트 뷰의 픽셀들을 라이트 뷰의 픽셀들을 수신된 부가 비디오 프레임(19020)에 포함된 레프트 뷰의 픽셀들 및 라이트 뷰의 픽셀들을 3D 부가 비디오 정보를 사용하여 라인별로 순서에 따라 배치하여, 풀 레졸루션의 레프트 이미지(19030) 및 라이트 이미지(19040)를 획득할 수 있다. 또한 일 실시예로서, 수신 시스템은 수신된 베이스 비디오 프레임(19010) 및 부가 비디오 프레임(19020)을 사이드-바이-사이드 포맷 또는 탑-바텀 포맷으로 재구성하고, 재구성된 비디오 프레임들을 3D 부가 비디오 정보에 따라 배치하여 풀 레졸루션의 레프트 이미지(19030) 및 라이트 이미지(19040)를 획득할 수도 있다.
수신 시스템은 획득된 풀 레졸루션의 레프트 이미지(19030) 및 라이트 이미지(19040)를 프레임 시퀀셜 스킴으로 디스플레이할 수 있다. 이 경우 프레임 단위로 하나의 프레임(19010)에서 두개의 프레임(19030, 19040)이 생성되므로, 시간적으로 풀 레졸루션의 디스플레이가 가능하게 된다.
수신 시스템에서 베이스 비디오 컴포넌트와 부가 비디오 컴포넌트를 결합하여 풀 레졸루션의 비디오 컴포넌트를 획득하는 동작은 상술한 실시예와 더불어 다양한 실시예에 따라 수행될 수 있다.
일 실시예로서, 베이스 비디오 컴포넌트를 B라 하고, 부가 비디오 컴포넌트를 C라고 하고, 풀 레졸루션의 비디오 컴포넌트를 F라고 나타내면 이하와 같은 동작 시나리오가 가능하다.
case 1: F = B + C
case 2: F = B’ + C
case 3: F = B’ + C’
여기에서, B’ 및 C’는 각각 B 및 C에 대해 인터폴레이션/필터링을 수행한 영상에 해당한다.
case 1의 경우는, naive_subsampling_flag의 필드값이 ‘1’인 경우로 서브샘플링된 두 개의 비디오 컴포넌트를 인터리빙하여 배열하는 실시예에 해당한다.
case 2의 경우는, B를 인터폴레이션/필터링한 후 C를 결합하여 F를 얻는 경우로, C는 residual/incremental data의 형태가 될 수 있다(특히, SVC 코딩 스킴을 사용하는 경우 이러한 형태의 결합이 수행될 수 있다).
case 3의 경우는, naive_subsampling_flag의 필드값이 ‘0’인 경우로 B, C 모두에 대해 인터폴레이션/필터링이 수행되어고, B’ 와 C’를 결합하여 F를 획득하는 실시예에 해당한다.
도 20은 본 발명의 일 실시예에 따른 방송 수신기를 도시한 도면이다.
방송 수신기는, 방송 신호를 수신하는 수신 유닛(20010), 수신된 방송 신호로부터 PID에 따라 데이터를 분류 및 추출하는 TP 디멀티플렉서(20020), 시스템 정보를 파싱 및 프로세싱하는 SI 프로세서(20030), 비디오 데이터를 디코딩하는 비디오 디코더(20040) 및 디코딩된 비디오 데이터를 포매팅하는 아웃풋 포매터(20050)를 포함한다. 수신 유닛(20010)은, 실시예에 따라 튜너 및 복조부(20060) 및 VSB 디코더(20070)를 더 포함할 수도 있다. 비디오 디코더(20040)는, 베이스 비디오 ES를 디코딩하는 베이스 비디오 디코더(20080) 및 부가 비디오 ES를 디코딩하는 부가 비디오 디코더(20090)를 더 포함할 수도 있다.
본 발명의 일 실시예에서, 3D 부가 비디오 정보는 PMT 또는 VCT에 포함되는 경우 수신기의 SI 프로세서(20030)에서 처리되고, 비디오 ES에 포함되는 경우 비디오 디코더(20040)에서 처리될 수 있다. 3D 부가 비디오 정보의 처리 관점에서, SI 프로세서(20030) 및 비디오 디코더(20040)를 3D 부가 비디오 정보 처리 유닛(processing unit)라 지칭할 수도 있다.
방송 수신기의 각 구성 요소의 동작은, 이하의 도면을 참조하여 더욱 상세히 설명하도록 한다.
도 21은 본 발명의 일 실시예에 따른 방송 수신기의 3D 비디오 데이터 처리 방법을 도시한 흐름도이다.
방송 수신기는 수신 유닛을 사용하여 3D 비디오 데이터를 포함하는 방송 신호를 수신한다(S21010). 일 실시예로서 3D 비디오 데이터는 하프 레졸루션의 이미지를 지원하는 베이스 비디오 데이터, 베이스 비디오 데이터에 추가되어 풀 레졸루션의 이미지를 구성하기 위한 부가 비디오 데이터, 및 베이스 비디오 데이터와 부가 비디오 데이터를 추출하여 디코딩하고, 결합 및 포매팅하는데 사용되는 3D 부가 비디오 정보를 포함할 수 있다.
방송 수신기는 3D 부가 비디오 처리 유닛을 사용하여, 3D 비디오 데이터에 포함된 3D 부가 비디오 정보를 파싱한다.(S21020).
3D 부가 비디오 정보는 도 8 내지 도 15에 설명한 바와 같이, 시스템 정보의 TVCT 또는 PMT에 포함되거나, 부가 비디오 데이터에 포함된 부가 비디오 ES의 헤더 정보에 포함될 수 있다. 3D 부가 비디오 정보는 부가 비디오 데이터의 구성 타입을 나타내는 타입 정보(complementary_type), 서브샘플링시 필터링 수행 여부를 나타내는 서브샘플링 정보(naive_subsampling_flag), 부가 비디오 데이터의 인코딩에 사용된 비디오 코덱의 종류를 나타내는 코덱 타입 정보(codec_type), 호리젠탈 사이즈 정보(horizontal_size), 버티컬 사이즈 정보(vertical_size), 프레임 레이트 정보(frame_rate), 인터폴레이션 수행시 사용되는 필터 구현을 위한 필터 정보(interpolation_filter_available_flag), 어느 시점의 이미지가 먼저 나타나는지에 대한 시점 정보(left_image_flag_flag), 베이스 비디오 데이터와 부가 비디오 데이터의 조합 순서를 나타내는 순서 정보(complementary_first_flag) 중 적어도 하나를 포함할 수 있다.
방송 수신기는 디코더를 사용하여 하프 레졸루션의 베이스 비디오 데이터를 디코딩한다(S21030). 베이스 비디오 데이터는 디코더에 포함된 베이스 비디오 디코더에서 디코딩될 수 있다.
일 실시예로서, 베이스 비디오 데이터 및 부가 비디오 데이터는 TP 디멀티플렉서에서 PID에 따라 분류되어 디코더로 출력될 수 있다. 또한, 베이스 비디오 데이터 및 부가 비디오 데이터는 3D 비디오 데이터로서 디코더로 출력되고, 디코더에서 비디오 ES의 헤더 정보에 따라 베이스 비디오 데이터와 부가 비디오 데이터를 분류하여 디코딩할 수도 있다.
방송 수신기는 디코더를 사용하여 풀 레졸루션 이미지를 구성하기 위한 부가 비디오 데이터를 디코딩한다(S21040). 부가 비디오 데이터는 디코더에 포함된 부가 비디오 디코더에서 디코딩될 수 있다.
방송 수신기는 아웃풋 포매터에서, 3D 부가 비디오 정보를 사용하여 베이스 비디오 데이터 및 부가 비디오 데이터를 결합 및 포매팅하여, 풀 레졸루션의 3D 이미지를 출력한다(S21050).
방송 수신기의 풀 레졸루션의 3D 이미지의 결합 및 포매팅은, 베이스 비디오 데이터의 멀티플렉싱 포맷 및 부가 비디오 데이터의 타입에 따라 다양한 방식으로 수행될 수 있으며, 이러한 결합 및 포매팅 동작은 도 4 내지 도 7 및 도 16 내지 도 19와 관련하여 설명한 바와 같이 수행될 수도 있다. 풀 레졸루션의 3D 이미지는, 프레임 시퀀셜 방식으로 공간적으로 풀 레졸루션일 뿐 아니라 시간상으로도 하프 레졸루션의 이미지에 비해 2배의 프레임 속도로 구현되어 풀 레졸루션으로 출력될 수 있다.
이하에서는, 3D 부가 비디오 정보가 TVCT에 포함되는 경우, PMT에 포함되는 경우 및 비디오 ES의 헤더 정보에 포함되는 경우 방송 수신기의 동작에 대해 더욱 상세히 설명하기로 한다.
이하의 설명과 관련하여, 하프 레졸루션의 3DTV 방송 서비스가 제공되는 경우, 하브 레졸루션의 3D 방송 서비스 및 그의 비디오 데이터(베이스 비디오 데이터)에 대한 정보는 TVCT, PMT 및 비디오 ES 중 적어도 하나를 통해 시그널링되는 것을 가정한다. 따라서 방송 수신기는 베이스 비디오 데이터에 대한 정보를 베이스 비디오 데이터와 관련된 stream_type 정보 또는 별도의 디스크립터를 통해 파악할 수 있으며 이러한 정보를 3D 베이스 비디오 정보라고 지칭할 수 있다.
(1) TVCT로 3D 부가 비디오 정보를 수신하는 경우
방송 수신기는 TVCT의 service_type 필드를 사용하여 해당 virtual channel에서 풀 레졸루션의 3DTV 방송 서비스를 제공하는지 여부를 파악한다.
풀 레졸루션의 3DTV 방송 서비스가 제공되는 경우, 방송 수신기는 먼저 3D 베이스 비디오 정보를 사용하여 베이스 비디오 데이터 또는 베이스 비디오 컴포넌트에 해당하는 elementary_PID 정보(PID_B)를 획득한다. 그리고 방송 수신기는 3D 부가 비디오 정보를 사용하여 부가 비디오 데이터 또는 부가 비디오 컴포넌트에 대한 elementary_PID 정보(PID_C)를 획득한다.
방송 수신기는, PID_B에 해당하는 베이스 비디오 컴포넌트를 디코딩하고, PID_C에 해당하는 부가 비디오 컴포넌트를 디코딩한다.
방송 수신기는 3D 부가 비디오 정보(3D complementary video descriptor)에 포함된 complementary_type 필드, naive_subsampling_flag필드, codec_type 필드, horizontal_size 필드, vertical_size 필드, frame_rate 필드, interpolation_filter_available_flag 필드, left_image_flag_flag 필드 및 complementary_first_flag 필드 중 적어도 하나를 사용하여 베이스 비디오 데이터와 부가 비디오 데이터를 결합하여 풀 레졸루션의 레프트 이미지 및 라이트 이미지를 획득한다.
방송 수신기는 획득된 레프트 이미지 및 라이트 이미지를 디스플레이 출력하여 사용자에게 풀 레졸루션의 3D 이미지를 제공한다.
(2) PMT로 3D 부가 비디오 정보를 수신하는 경우
방송 수신기는 PMT에서 시그널링하는 ES 중에서 하프 레졸루션의 비디오 데이터에 해당하는 데이터 스트림의 존재를 파악한다. 방송 수신기는 3D 베이스 비디오 정보를 사용하여 해당 ES(PID_B)가 하프 레졸루션을 갖는 레프트 이미지 및 라이트 이미지가 멀티플렉싱된 비디오 데이터를 포함하는 것을 알 수 있다.
방송 수신기는 PMT에서 시그널링하는 ES 중에서 부가 비디오 데이터에 해당하는 스트림의 데이터 스트림의 존재를 파악한다. 방송 수신기는 3D 부가 비디오 정보를 사용하여 파악하거나, 또는 stream_type 필드를 사용하여 해당 ES(PID_C)가 풀 레졸루션의 이미지를 구성하기 위한 부가 비디오 데이터를 포함하는 것을 알 수 있다.
방송 수신기는 program_number 필드를 사용하여 TVCT를 통해 제공되는 정보와의 mapping을 수행하고, 이 프로그램이 어느 virtual channel을 통해 제공되는 지를 파악한다.
방송 수신기는, PID_B에 해당하는 베이스 비디오 컴포넌트를 디코딩하고, PID_C에 해당하는 부가 비디오 컴포넌트를 디코딩한다.
방송 수신기는 3D 부가 비디오 정보(3D complementary video descriptor)에 포함된 complementary_type 필드, naive_subsampling_flag필드, codec_type 필드, horizontal_size 필드, vertical_size 필드, frame_rate 필드, interpolation_filter_available_flag 필드, left_image_flag_flag 필드 및 complementary_first_flag 필드 중 적어도 하나를 사용하여 베이스 비디오 데이터와 부가 비디오 데이터를 결합하여 풀 레졸루션의 레프트 이미지 및 라이트 이미지를 획득한다.
방송 수신기는 획득된 레프트 이미지 및 라이트 이미지를 디스플레이 출력하여 사용자에게 풀 레졸루션의 3D 이미지를 제공한다.
(3) 비디오 ES의 헤더 정보 (또는 SEI message)
방송 수신기는 PMT에서 시그널링하는 ES 중에서 하프 레졸루션의 비디오 데이터에 해당하는 데이터 스트림의 존재를 파악한다. 방송 수신기는 3D 베이스 비디오 정보를 사용하여 해당 ES(PID_B)가 하프 레졸루션을 갖는 레프트 이미지 및 라이트 이미지가 멀티플렉싱된 비디오 데이터를 포함하는 것을 알 수 있다.
방송 수신기는 PMT에서 시그널링하는 ES 중에서 부가 비디오 데이터에 해당하는 스트림의 데이터 스트림의 존재를 파악한다. 방송 수신기는 3D 부가 비디오 정보의 존재를 통해 파악하거나, 또는 stream_type 필드를 사용하여 해당 ES(PID_C)가 풀 레졸루션의 이미지를 구성하기 위한 부가 비디오 데이터를 포함하는 것을 알 수 있다.
방송 수신기는, PID_B에 해당하는 베이스 비디오 컴포넌트를 디코딩한다. 그리고 방송 수신기는, PID_C에 해당하는 부가 비디오 컴포넌트를 디코딩한다. 이때 부가 비디오 컴포넌트의 ES에서 Picture extention and user data 또는 Picture/Sequence에 대한 SEI message에 포함된 3D 부가 비디오 정보(complementary_video_info)를 검출하여 파싱한다.
방송 수신기는 3D 부가 비디오 정보(3D complementary video descriptor)에 포함된 complementary_type 필드, codec_type 필드, naive_subsampling_flag필드, horizontal_size 필드, vertical_size 필드, frame_rate 필드, interpolation_filter_available_flag 필드, left_image_flag_flag 필드 및 complementary_first_flag 필드 중 적어도 하나를 사용하여 베이스 비디오 데이터와 부가 비디오 데이터를 결합하여 풀 레졸루션의 레프트 이미지 및 라이트 이미지를 획득한다.
방송 수신기는 획득된 레프트 이미지 및 라이트 이미지를 디스플레이 출력하여 사용자에게 풀 레졸루션의 3D 이미지를 제공한다.
본 발명에 따른 방법 발명은 모두 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (10)

  1. 3D 비디오 데이터 및 3D 부가 비디오 정보를 포함하는 방송 신호 수신하는 단계로서, 상기 3D 비디오 데이터는 하프 레졸루션의 베이스 비디오 데이터, 및 풀 레졸루션의 이미지를 구성하기 위한 부가 비디오 데이터를 포함하는 수신 단계;
    3D 부가 비디오 정보를 파싱하는 단계;
    하프 레졸루션의 베이스 비디오 데이터를 디코딩하는 단계;
    풀 레졸루션의 이미지을 구성하기 위한 부가 비디오 데이터를 디코딩하는 단계; 및
    상기 3D 부가 비디오 정보를 사용하여 베이스 비디오 데이터 및 부가 비디오 데이터를 결합 및 포매팅하여 풀 레졸루션의 3D 이미지를 출력하는 단계;
    를 포함하는, 방송 수신기의 3D 비디오 데이터 처리 방법.
  2. 제 1 항에 있어서,
    3D 부가 비디오 정보는 PMT 또는 TVCT에 포함되는, 방송 수신기의 3D 비디오 데이터 처리 방법.
  3. 제 1 항에 있어서,
    3D 부가 비디오 정보는 부가 비디오 데이터의 비디오 ES의 헤더 정보에 포함되는, 방송 수신기의 3D 비디오 데이터 처리 방법.
  4. 제 1 항에 있어서,
    상기 3D 부가 비디오 정보는, 부가 비디오 데이터의 구성 타입을 나타내는 타입 정보, 서브샘플링시 필터링 수행 여부를 나타내는 서브샘플링 정보, 부가 비디오 데이터의 인코딩에 사용된 비디오 코덱의 종류를 나타내는 코덱 타입 정보, 호리젠탈 사이즈 정보, 버티컬 사이즈 정보, 프레임 레이트 정보, 인터폴레이션 수행시 사용되는 필터 구현을 위한 필터 정보, 어느 시점의 이미지가 먼저 나타나는지에 대한 시점 정보, 베이스 비디오 데이터와 부가 비디오 데이터의 조합 순서를 나타내는 순서 정보 중 적어도 하나를 포함하는, 방송 수신기의 3D 비디오 데이터 처리 방법.
  5. 제 1 항에 있어서,
    상기 풀 레졸루션의 이미지는, 시간적으로 및 공간적으로 풀 레졸루션인 것을 특징으로 하는, 방송 수신기의 3D 비디오 데이터 처리 방법.
  6. 3D 비디오 데이터 및 3D 부가 비디오 정보를 포함하는 방송 신호 수신하는 수신 유닛으로서, 상기 3D 비디오 데이터는 하프 레졸루션의 베이스 비디오 데이터, 및 풀 레졸루션의 이미지를 구성하기 위한 부가 비디오 데이터를 포함하는, 상기 수신 수신 유닛;
    3D 부가 비디오 정보를 파싱하는 3D 비디오 정보 처리 유닛;
    하프 레졸루션의 베이스 비디오 데이터를 디코딩하는 베이스 비디오 디코더;
    풀 레졸루션의 이미지을 구성하기 위한 부가 비디오 데이터를 디코딩하는 부가 비디오 디코더; 및
    상기 3D 부가 비디오 정보를 사용하여 베이스 비디오 데이터 및 부가 비디오 데이터를 결합 및 포매팅하여 풀 레졸루션의 3D 이미지를 출력하는 아웃풋 포매터;
    를 포함하는, 방송 수신기.
  7. 제 6 항에 있어서,
    3D 부가 비디오 정보는 PMT 또는 TVCT에 포함되는, 방송 수신기.
  8. 제 6 항에 있어서,
    3D 부가 비디오 정보는 부가 비디오 데이터의 비디오 ES의 헤더 정보에 포함되는, 방송 수신기.
  9. 제 6 항에 있어서,
    상기 3D 부가 비디오 정보는, 부가 비디오 데이터의 구성 타입을 나타내는 타입 정보, 서브샘플링시 필터링 수행 여부를 나타내는 서브샘플링 정보, 부가 비디오 데이터의 인코딩에 사용된 비디오 코덱의 종류를 나타내는 코덱 타입 정보, 호리젠탈 사이즈 정보, 버티컬 사이즈 정보, 프레임 레이트 정보, 인터폴레이션 수행시 사용되는 필터 구현을 위한 필터 정보, 어느 시점의 이미지가 먼저 나타나는지에 대한 시점 정보, 베이스 비디오 데이터와 부가 비디오 데이터의 조합 순서를 나타내는 순서 정보 중 적어도 하나를 포함하는, 방송 수신기.
  10. 제 6 항에 있어서,
    상기 풀 레졸루션의 이미지는, 시간적으로 및 공간적으로 풀 레졸루션인 것을 특징으로 하는, 방송 수신기.
KR1020117022360A 2009-04-27 2010-03-19 방송 수신기 및 3ｄ 비디오 데이터 처리 방법 KR101676310B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US17319609P 2009-04-27 2009-04-27
US61/173,196 2009-04-27
US17358809P 2009-04-28 2009-04-28
US61/173,588 2009-04-28
US17971009P 2009-05-19 2009-05-19
US61/179,710 2009-05-19
PCT/KR2010/001710 WO2010126227A2 (en) 2009-04-27 2010-03-19 Broadcast receiver and 3d video data processing method thereof

Publications (2)

Publication Number Publication Date
KR20120026026A true KR20120026026A (ko) 2012-03-16
KR101676310B1 KR101676310B1 (ko) 2016-11-16

Family

ID=43032643

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117022360A KR101676310B1 (ko) 2009-04-27 2010-03-19 방송 수신기 및 3ｄ 비디오 데이터 처리 방법

Country Status (7)

Country Link
US (2) US8773505B2 (ko)
EP (2) EP2425631B1 (ko)
KR (1) KR101676310B1 (ko)
CN (2) CN104486612B (ko)
BR (1) BRPI1007613A2 (ko)
CA (1) CA2758903C (ko)
WO (1) WO2010126227A2 (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5482254B2 (ja) * 2009-11-05 2014-05-07 ソニー株式会社 受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造
JP2011248323A (ja) * 2010-04-30 2011-12-08 Canon Inc 画像処理装置及びその制御方法
US9049426B2 (en) * 2010-07-07 2015-06-02 At&T Intellectual Property I, Lp Apparatus and method for distributing three dimensional media content
CN103026706B (zh) * 2010-07-21 2016-04-20 杜比实验室特许公司 用于多层帧兼容视频传输的系统及方法
FR2965444B1 (fr) 2010-09-24 2012-10-05 St Microelectronics Grenoble 2 Transmission de video 3d sur une infrastructure de transport historique
KR101910192B1 (ko) * 2010-11-12 2018-10-22 한국전자통신연구원 3ｄｔｖ 서비스에서의 영상 압축 규격 결정 방법 및 장치
KR20120072256A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 Ｍｂｍｓ 방송 서비스 수신 시스템 및 그 방법
WO2012121543A2 (ko) * 2011-03-07 2012-09-13 엘지전자 주식회사 디지털 방송 신호 송/수신 방법 및 장치
KR101770262B1 (ko) * 2011-03-16 2017-08-22 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
WO2012157999A2 (ko) * 2011-05-19 2012-11-22 엘지전자 주식회사 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9113020B2 (en) 2011-07-26 2015-08-18 Lg Electronics Inc. Apparatus for transmitting video stream, apparatus for receiving video stream, method for transmitting video stream, and method for receiving video stream
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
WO2013040170A1 (en) 2011-09-16 2013-03-21 Dolby Laboratories Licensing Corporation Frame-compatible full resolution stereoscopic 3d compression and decompression
US20130070051A1 (en) * 2011-09-20 2013-03-21 Cheng-Tsai Ho Video encoding method and apparatus for encoding video data inputs including at least one three-dimensional anaglyph video, and related video decoding method and apparatus
TWI595770B (zh) 2011-09-29 2017-08-11 杜比實驗室特許公司 具有對稱圖像解析度與品質之圖框相容全解析度立體三維視訊傳達技術
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
CN102595164A (zh) * 2012-02-27 2012-07-18 中兴通讯股份有限公司 一种视频图像发送方法、装置及系统
MX341101B (es) * 2012-08-10 2016-08-08 Lg Electronics Inc Aparato transceptor de señales y metodo para transmitir y recibr señales.
CN104683790A (zh) * 2012-09-25 2015-06-03 青岛海信电器股份有限公司 一种图像处理方法及显示装置
US9860515B2 (en) * 2012-12-11 2018-01-02 Electronics And Telecommunications Research Institute Apparatus and method for 3D content broadcasting with boundary information
CN102984483B (zh) * 2012-12-18 2016-08-03 上海晨思电子科技有限公司 一种三维用户界面显示系统及方法
US9537779B2 (en) * 2013-10-11 2017-01-03 Huawei Technologies Co., Ltd. System and method for real-time traffic delivery
CN104157007B (zh) * 2014-03-03 2018-02-27 腾讯科技（北京）有限公司 视频处理的方法及装置
CN113613009B (zh) * 2015-02-27 2024-06-25 索尼公司 发送装置、发送方法、接收装置和接收方法
WO2017022358A1 (ja) * 2015-08-06 2017-02-09 ソニー・オリンパスメディカルソリューションズ株式会社 医療用信号処理装置、医療用表示装置、及び医療用観察システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070041745A (ko) * 2004-07-13 2007-04-19 노키아 코포레이션 비디오 정보를 전송하기 위한 시스템 및 방법
KR20070058302A (ko) * 2005-12-02 2007-06-08 한국전자통신연구원 디지털방송 기반 ３차원 컨텐츠 서비스 제공 방법
KR20080039797A (ko) * 2006-11-01 2008-05-07 한국전자통신연구원 스테레오스코픽 콘텐츠 재생에 이용되는 메타 데이터의복호화 방법 및 장치
KR20090034695A (ko) * 2007-10-04 2009-04-08 삼성전자주식회사 로컬 3차원 영상을 재생하기 위한 파라미터를 포함하는영상 데이터스트림을 수신하는 방법 및 장치, 그리고 로컬3차원 영상을 재생하기 위한 파라미터를 포함하는 영상데이터스트림을 생성하는 방법 및 장치

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1326082C (en) * 1989-09-06 1994-01-11 Peter D. Macdonald Full resolution stereoscopic display
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
US6057884A (en) * 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
GB9916819D0 (en) * 1999-07-20 1999-09-22 Telemedia Systems Ltd Method of and apparatus for digital data storage
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
AU2003237279A1 (en) * 2002-05-29 2003-12-19 Pixonics, Inc. Classifying image areas of a video signal
KR100556826B1 (ko) * 2003-04-17 2006-03-10 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법
KR101187550B1 (ko) 2004-02-27 2012-10-04 티디비전 코포레이션 에스.에이. 데 씨.브이. 입체적 3ｄ-비디오 이미지 디지털 코딩 시스템 및 방법
KR100585966B1 (ko) * 2004-05-21 2006-06-01 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
JP2008516556A (ja) * 2004-10-13 2008-05-15 トムソン ライセンシング コンプレクシティスケーラブル映像符号化復号化方法及び装置
KR100679020B1 (ko) * 2004-10-21 2007-02-06 삼성전자주식회사 디지털 케이블 방송에서의 서비스 정보 선처리 방법 및 장치
US20060212902A1 (en) * 2004-12-14 2006-09-21 Samsung Electronics Co., Ltd. Device and method for displaying broadcasting information in digital broadcasting receiver
KR100732961B1 (ko) * 2005-04-01 2007-06-27 경희대학교 산학협력단 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치
US7929560B2 (en) * 2005-07-15 2011-04-19 Panasonic Corporation Packet transmitting apparatus
CN101292538B (zh) * 2005-10-19 2012-11-28 汤姆森特许公司 使用可缩放的视频编码的多视图视频编码
KR100747598B1 (ko) * 2005-12-09 2007-08-08 한국전자통신연구원 디지털방송 기반의 3차원 입체영상 송수신 시스템 및 그방법
US8693538B2 (en) * 2006-03-03 2014-04-08 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
KR101101965B1 (ko) * 2006-10-16 2012-01-02 노키아 코포레이션 멀티뷰 비디오 코딩에 대한 병렬 디코딩가능 슬라이스들을 이용하기 위한 시스템 및 방법
WO2008054100A1 (en) * 2006-11-01 2008-05-08 Electronics And Telecommunications Research Institute Method and apparatus for decoding metadata used for playing stereoscopic contents
KR100958653B1 (ko) * 2007-08-07 2010-05-20 한국전자통신연구원 디지털 방송 송수신 장치 및 방법
US20100026783A1 (en) * 2008-08-01 2010-02-04 Real D Method and apparatus to encode and decode stereoscopic video data
US9124870B2 (en) * 2008-08-20 2015-09-01 Samsung Electronics Co., Ltd. Three-dimensional video apparatus and method providing on screen display applied thereto
US20100177162A1 (en) * 2009-01-15 2010-07-15 Charles Macfarlane Method and system for enabling 3d video and image processing using one full resolution video stream and one lower resolution video stream
US8289998B2 (en) * 2009-02-13 2012-10-16 Samsung Electronics Co., Ltd. Method and apparatus for generating three (3)-dimensional image data stream, and method and apparatus for receiving three (3)-dimensional image data stream
CN102484729B (zh) 2009-04-07 2016-08-24 Lg电子株式会社 广播发送器、广播接收器及其3d视频数据处理方法
JP2012523804A (ja) * 2009-04-13 2012-10-04 リアルディー インコーポレイテッド 向上した解像度の立体ビデオのエンコード、デコード、および配信

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070041745A (ko) * 2004-07-13 2007-04-19 노키아 코포레이션 비디오 정보를 전송하기 위한 시스템 및 방법
KR20070058302A (ko) * 2005-12-02 2007-06-08 한국전자통신연구원 디지털방송 기반 ３차원 컨텐츠 서비스 제공 방법
KR20080039797A (ko) * 2006-11-01 2008-05-07 한국전자통신연구원 스테레오스코픽 콘텐츠 재생에 이용되는 메타 데이터의복호화 방법 및 장치
KR20090034695A (ko) * 2007-10-04 2009-04-08 삼성전자주식회사 로컬 3차원 영상을 재생하기 위한 파라미터를 포함하는영상 데이터스트림을 수신하는 방법 및 장치, 그리고 로컬3차원 영상을 재생하기 위한 파라미터를 포함하는 영상데이터스트림을 생성하는 방법 및 장치

Also Published As

Publication number Publication date
CN104486612B (zh) 2016-11-30
BRPI1007613A2 (pt) 2016-02-16
US8773505B2 (en) 2014-07-08
US20120033041A1 (en) 2012-02-09
CN102415100A (zh) 2012-04-11
CA2758903C (en) 2016-10-11
WO2010126227A2 (en) 2010-11-04
KR101676310B1 (ko) 2016-11-16
WO2010126227A3 (en) 2010-12-23
EP2930927A1 (en) 2015-10-14
CA2758903A1 (en) 2010-11-04
EP2425631A2 (en) 2012-03-07
CN104486612A (zh) 2015-04-01
US20140285622A1 (en) 2014-09-25
EP2425631A4 (en) 2013-05-01
CN102415100B (zh) 2015-02-04
EP2425631B1 (en) 2015-05-20

Similar Documents

Publication Publication Date Title
KR101676310B1 (ko) 방송 수신기 및 3ｄ 비디오 데이터 처리 방법
US10129525B2 (en) Broadcast transmitter, broadcast receiver and 3D video data processing method thereof
KR101648454B1 (ko) 방송 송신기, 방송 수신기 및 3ｄ 비디오 데이터 처리 방법
US9756380B2 (en) Broadcast receiver and 3D video data processing method thereof
KR101342294B1 (ko) 3ｄ ｔｖ를 위한 스테레오뷰들의 사이멀캐스트
CA2808395C (en) Method for providing 3d video data in a 3dtv
EP3110150A1 (en) Method and apparatus for processing 3d broadcast signals
KR20120036848A (ko) 방송 송신기, 방송 수신기 및 3ｄ 비디오 데이터 처리 방법
US9948952B2 (en) Broadcast signal transmitting device and broadcast signal receiving device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191014

Year of fee payment: 4