KR20140018254A - 디지털 방송 신호 송/수신 방법 및 장치 - Google Patents

디지털 방송 신호 송/수신 방법 및 장치 Download PDF

Info

Publication number
KR20140018254A
KR20140018254A KR1020137022595A KR20137022595A KR20140018254A KR 20140018254 A KR20140018254 A KR 20140018254A KR 1020137022595 A KR1020137022595 A KR 1020137022595A KR 20137022595 A KR20137022595 A KR 20137022595A KR 20140018254 A KR20140018254 A KR 20140018254A
Authority
KR
South Korea
Prior art keywords
video
mode
information
broadcast signal
digital broadcast
Prior art date
Application number
KR1020137022595A
Other languages
English (en)
Inventor
서종열
김진필
최지현
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20140018254A publication Critical patent/KR20140018254A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Abstract

본 발명은 3차원 영상을 포함하는 디지털 방송 신호를 송/수신하는 장치 및 방법에 관한 것이다.
본 발명의 일 실시예에 따른 디지털 방송 신호 수신 장치는 3차원 영상을 구현하는 비디오 스트림 및 시그널링 데이터를 포함하는 트랜스포트 패킷의 디지털 방송 신호를 수신하는 튜너, 상기 수신된 디지털 방송 신호를 복조하는 복조부, 상기 복조된 디지털 방송 신호로부터 모드 전환 정보를 추출하는 디코딩 모듈 및 상기 모드 전환 정보에 근거하여 디코딩된 영상 신호를 출력하는 출력 포맷터를 포함할 수 있다.

Description

디지털 방송 신호 송/수신 방법 및 장치{METHOD AND DEVICE FOR TRANSMITTING/RECEIVING DIGITAL BROADCAST SIGNAL}
본 발명은 3차원 영상을 포함하는 디지털 방송 신호를 송/수신하는 장치 및 방법에 관한 것이다. 더욱 상세하게는, 3차원 영상을 포함하는 디지털 방송 신호를 디스플레이함에 있어서, 2차원 영상과 3차원 영상 사이에서 화면 전환이 일어나는 경우 이를 시그널링하기 위한 디지털 방송 신호 송/수신 장치 및 방법과 Frame-compatible compatible 서비스와 2D service compatible 서비스 간의 전환 발생 시 이를 시그널링하기 위한 디지털 방송 신호 송/수신 장치 및 방법에 관한 것이다.
3차원 텔레비젼(3-Dimensional Television, 3DTV)의 보급이 본격화됨에 따라 저장 매체에 의한 3차원(3D) 영상 컨텐츠 보급뿐만 아니라 디지털 방송에 의한 3차원 영상 컨텐츠의 전송이 활성화되고 있다.
일반적으로 3차원 영상은 두 눈의 스테레오(stereo) 시각 원리를 이용하여 입체감을 제공한다. 인간은 두 눈의 시차, 다시 말해 약 65mm 정도 떨어진 두 눈 사이의 간격에 의한 양안 시차(binocular parallax)를 통해 원근감을 느끼므로, 3D 영상은 좌안과 우안 각각이 연관된 평면 영상을 보도록 영상을 제공하여 입체감과 원근감을 제공할 수 있다.
이러한 3차원 영상 디스플레이 방법에는 스테레오스코픽(stereoscopic) 방식, 부피표현(volumetric) 방식, 홀로그래픽(holographic) 방식 등이 있다. 스테레오스코픽 방식의 경우, 좌안(left eye)에서 시청되기 위한 좌영상(left view image)과 우안(right eye)에서 시청되기 우영상(right view image)을 제공하여, 편광 안경 또는 디스플레이 장비 자체를 통해 좌안과 우안이 각각 좌영상과 우영상을 시청함으로써 3차원 영상 효과를 인지할 수 있도록 한다.
스테레오스코픽 3차원 영상 컨텐츠의 경우, 서로 다른 시점의 유사한 두 개의 영상을 송신하면 수신기가 두 개의 영상을 이용하여 3차원 영상으로 디스플레이하는 방식을 사용한다. 수신기에 의해 3차원 영상이 디스플레이되는 경우, 좌영상과 우영상 간의 disparity에 의해 양안시차가 발생하여 입체적인 영상이 제공된다.
디지털 방송은 2차원 영상 프로그램 또는 3차원 영상 프로그램을 포함하는 것이 가능하다. 예를 들면 3차원 영상으로 제작된 영화가 방송된 후 이어지는 광고 영상은 2차원 영상이 될 수 있다. 이 때 방송 수신기는 3차원 영상에서 2차원 영상으로 전환되는 시점을 정확히 파악해야 하며 만약 그 시점이 불확실 한 경우 사용자에게 정상적인 영상 프로그램을 제공하는 것이 불가능하다. 즉, 수신기가 여전히 3차원 영상 프로그램을 디스플레이하도록 동작하고 있는데 수신 프로그램은 2차원인 경우 좌영상 또는 우영상 중 하나의 영상이 존재하지 않게 되어 비정상적인 화면이 디스플레이 되는 문제점이 발생한다.
또한 수신기가 Full resolution을 지원하는 경우, 수신기는 방송국에서 송출되는 방송 신호에 따라 Frame-compatible compatible 모드 또는 2D service compatible 모드로 동작하는 것이 가능하다. 이 경우에도 수신기는 모드 간 전환 시점을 정확히 파악해야 하며 그렇지 않을 경우, 수신되는 신호와 수신기의 모드가 부합하지 않아 정상적인 화면을 사용자에게 제공할 수 없는 문제점이 발생한다.
본 발명은 위와 같은 문제점을 해결하기 위한 것으로써, 본 발명이 이루고자 하는 기술적 과제는 디지털 방송 신호를 수신하는 장치 및 방법에서, 전술한 문제점을 겪지 않으면서, 3차원 영상을 디스플레이하기 위한 시그널링 정보를 포함하는 디지털 방송 신호를 수신하여 2차원 또는 3차원 영상으로 디스플레이 가능하도록 하는 것이다.
전술한 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 장치는 3차원 영상을 구현하는 비디오 스트림 및 시그널링 데이터를 포함하는 트랜스포트 패킷의 디지털 방송 신호를 수신하는 튜너, 상기 수신된 디지털 방송 신호를 복조하는 복조부, 상기 복조된 디지털 방송 신호로부터 모드 전환 정보를 추출하는 디코딩 모듈 및 상기 모드 전환 정보에 근거하여 디코딩된 영상 신호를 출력하는 출력 포맷터를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 장치의 모드 전환 정보는 2차원 영상신호와 3차원 영상신호 간의 전환 시점에 대한 정보를 포함하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 장치의 상기 모드 전환 정보는 트랜스포트 패킷 레벨에서 adaptation_field()에 포함되거나 또는 비디오 레벨에서 비디오 헤더에 포함되는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 장치의 상기 디코딩 모듈은 상기 모드 전환 정보에 따라 동작 여부가 제어되는 제1 디코더 및 제2 디코더를 포함하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 장치의 상기 모드 전환 정보는 Frame-compatible compatible 모드와 2D service compatible 모드 간의 전환에 대한 정보를 포함하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 장치의 상기 모드 전환 정보는 트랜스포트 패킷 레벨에서 adaptation_field()에 포함되거나 시스템 레벨에서 SI 정보에 포함되거나 또는 비디오 레벨에서 비디오 헤더에 포함되어 수신되는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 장치의 상기 디코딩 모듈은 상기 모드 전환 정보에 따라 Frame-compatible compatible 모드인 경우 입력 영상 신호를 분리 및 병합하고, 2D service compatible 모드인 경우 입력 영상을 바이패스하거나 스위칭하는 L/R splitter를 포함하는 것을 특징으로 한다.
전술한 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 방법은 3차원 영상을 구현하는 비디오 스트림 및 시그널링 데이터를 포함하는 트랜스포트 패킷의 디지털 방송 신호를 수신하는 단계, 상기 수신된 디지털 방송 신호를 복조하는 단계, 상기 복조된 디지털 방송 신호로부터 모드 전환 정보를 추출하는 단계 및 상기 모드 전환 정보에 근거하여 디코딩된 영상 신호를 출력하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 방법의 상기 모드 전환 정보는 2차원 영상신호와 3차원 영상신호 간의 전환 시점에 대한 정보를 포함하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 방법의 상기 모드 전환 정보는 트랜스포트 패킷 레벨에서 adaptation_field()에 포함되거나 또는 비디오 레벨에서 비디오 헤더에 포함되는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 방법은 상기 모드 전환 정보를 추출하는 단계 후에, 상기 모드 전환 정보에 따라 제1 디코더 및 제2 디코더의 동작 여부를 제어하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 방법의 상기 모드 전환 정보는 Frame-compatible compatible 모드와 2D service compatible 모드 간의 전환에 대한 정보를 포함하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 방법의 상기 모드 전환 정보는 트랜스포트 패킷 레벨에서 adaptation_field()에 포함되거나 시스템 레벨에서 SI 정보에 포함되거나 또는 비디오 레벨에서 비디오 헤더에 포함되어 수신되는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 방법은 상기 모드 전환 정보를 추출하는 단계 후에, 상기 모드 전환 정보에 따라 Frame-compatible compatible 모드인 경우 입력 영상 신호를 분리 및 병합하고, 2D service compatible 모드인 경우 입력 영상을 바이패스하거나 스위칭하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명에 따른 디지털 방송 신호 수신 장치 및 방법는 다음과 같은 효과를 가지고 있다.
본 발명의 일 실시예에 따르면, 디지털 방송 신호를 수신하여 2차원/3차원 전환시점을 정확하게 파악할 수 있는 효과가 있다.
본 발명의 일 실시예에 따르면, 디지털 방송 신호를 수신하여 Frame-compatible compatible 모드/2D service compatible 모드 전환 시점을 정확하게 파악할 수 할 수 있는 효과가 있다.
본 발명의 일 실시예에 따르면, 수신되는 디지털 방송 신호에 적합하게 실시간으로 수신기 동작을 제어할 수 있는 효과가 있다.
도 1은 기존 발명에 따른 dual codec에 기반한 stereoscopic 3DTV service 구성 방법의 실시 예를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 Dual stream에 기반한 스테레오스코픽 3DTV 시스템에서 2D/3D 모드 전환에 대한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 MPEG-2 트랜스포트 패킷의 신택스 구조를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 MPEG-2 트랜스포트 패킷의 adaptation_field의 신택스 구조를 나타낸 도면이다.
도 5(a)는 본 발명의 일 실시예에 따른 2D_3D_transition_info_data_byte의 신택스 구조를 나타낸 도면이다.
도 5(b)는 본 발명의 일 실시예에 따른 data_type 필드의 값에 대한 해석을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 2D_3D_transition_info_data_byte를 MPEG-2 video 내에서 transport하기 위한 방법을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 2D_3D_transition_info_data_byte를 AVC/H.264 video 내에서 transport하기 위한 방법을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 dual stream case에서 3D Stereoscopic 방송 수신 및 출력을 위한 수신기 구조를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 2D/3D 화면 전환에 따른 방송 신호 수신 방법을 나타낸 순서도이다.
도 10은 본 발명의 일 실시예에 따른 MVC 디코더를 갖는 3차원 영상신호 수신기의 기본 구조를 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 L/R Splitter의 기본 구조를 나타내는 도면이다.
도 12는 본 발명의 일 실시예에 따른 MVC 코덱에 기반한 2가지 full resolution 3차원 영상 신호(HD 스테레오 모드) 지원 방법을 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 비디오 레벨에서 시그널링하기 위한 신택스 구조를 나타낸 도면이다.
도 14는 본 발명의 일 실시예에 따른 stereo_3D_info_data()의 신택스 구조를 나타낸 도면이다.
도 15는 본 발명의 일 실시예에 따른 SEI message를 설정하여 3D service mode를 시그널링하는 방법을 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따른 stream_content 및 component_type을 정의한 도면이다.
도 17은 본 발명의 일 실시예에 따른 서비스 타입의 종류를 나타낸 도면이다.
도 18은 본 발명의 일 실시예에 따른 transport_packet()의 신택스 구조를 나타낸 도면이다.
도 19는 본 발명의 일 실시예에 따른 Adaptation_field()의 신택스 구조를 나타낸 도면이다.
도 20은 본 발명의 일 실시예에 따른 3D Stereoscopic 방송 수신 및 출력을 위한 수신기 구조를 나타낸 도면이다.
도 21은 본 발명의 일 실시예에 따른 Frame-compatible compatible 3DTV 서비스를 위한 송신기 구조를 나타낸 도면이다.
도 22는 본 발명의 일 실시예에 따른 full resolution을 위한 3D mode에 따른 방송 신호 수신 방법을 나타낸 순서도이다.
발명의 실시를 위한 최선의 형태
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시 예를 상세하게 설명하지만, 본 발명이 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
3차원 영상 표현 방법은 2개의 시점을 고려하는 스테레오스코픽 방식과 3개 이상의 시점을 고려하는 멀티플 뷰 이미지(multiple view image) 방식(또는 다시점 방식)을 포함할 수 있다. 이에 비해 종래의 싱글 뷰 이미지(single view image) 방식은 모노스코픽 영상 방식이라고 지칭할 수 있다.
스테레오스코픽 방식은 일정한 거리로 이격되어 있는 좌측 카메라와 우측 카메라로 동일한 피사체를 촬영하여 획득한 레프트 뷰 이미지(이하 좌 영상)와 라이브 뷰 이미지(이하 우 영상)의 한 쌍의 이미지를 사용한다. 또는 기준 영상과 부가 영상의 한 쌍의 이미지를 사용한다. 다시점 방식은 일정한 거리나 각도를 갖는 3개 이상의 카메라에서 촬영하여 획득한 3개 이상의 이미지를 사용한다. 이하에서 스테레오스코픽 방식을 일 실시예로 본 발명을 설명하나 본 발명의 사상은 다시점 방식에도 적용될 수 있을 것이다.
본 발명에 따른 스테레오스코픽 방식은 Side-by-Side 방식, Top-Bottom 방식, checker board 방식 등이 있다. Side-by-Side 방식은 좌 영상과 우 영상을 각각 수평방향으로 1/2 다운샘플링하고, 샘플링한 하나의 영상을 left 영역에, 샘플링한 나머지 하나의 영상을 right 영역에 위치시켜 하나의 스테레오스코픽 영상을 구성하는 방식이며, Top-Bottom 방식은 좌 영상과 우 영상을 각각 수직방향으로 1/2 다운샘플링하고, 샘플링한 하나의 영상을 Top 영역에, 샘플링한 나머지 하나의 영상을 bottom 영역에 위치시켜 하나의 스테레오스코픽 영상을 구성하는 방식이다. 체커보드 방식은 좌 영상과 우 영상을 각각 수직 및 수평방향으로 교차하도록 1/2 다운샘플링하여 두 영상을 하나의 영상으로 구성하는 방식이다.
하지만 본 발명에 따른 스테레오스코픽 방식은 위의 예에 한정되거나 제한되는 것은 아니다. 일 예로 위에서 언급한 다운샘플링 작업을 거치지 아니하고 온전한 해상도를 갖는 두 개의 영상을 송수신하여 이를 3차원 영상 서비스로 제공하는 것도 가능하다. 온전한 해상도를 갖는 두 개의 영상을 송수신하는 경우를 full resolution 3차원 영상 서비스라고 칭할 수 있다. Full resolution 3차원 영상 서비스는 두 가지 방법으로 사용자에게 송신할 수 있다. 용어 정리를 위해 full resolution 3차원 영상 서비스를 제공하기 위한 수신기 모드를 간단히 설명한다.
먼저 Frame-compatible compatible 모드는 위에서 설명한 다운 샘플링을 거친 스테레오스코픽 방식의 3차원 영상 두 개를 송수신하는 방법이다. 수신기가 1/2로 다운 샘플링된 영상 두 개를 병합하여 좌영상과 우영상을 모두 full resolution으로 표현하고, 이들을 양안시차를 이용하여 full resolution 3차원 영상으로 제공하는 것이다.
2D service compatible 모드는 full resolution의 좌영상과 full resolution의 우영상을 각각 송신하는 것을 의미한다. 수신기는 위의 좌영상 및 우영상을 수신하여 양안시차를 통해 full resolution 3차원 영상으로 표현할 수 있다. 자세한 설명은 뒤에서 각 모드 간 전환을 위한 시그널링 신호와 함께 설명한다.
먼저 본 발명의 제1실시예로, 수신 방송 신호가 2차원 영상과 3차원 영상 사이에서 전환 발생 시 디코더 동작에 대한 준비 작업 및 이를 원활하게 수행하기 위해 그 시점을 시그널링하기 위한 장치 및 방법에 대해 설명한다.
Single 또는 Dual stream에 기반한 stereoscopic 3DTV system에서 2D/3D 전환 발생시 실제 frame 단위의 2D/3D 전환과 시그널링 데이터의 불일치 또는 synchronization 오류가 발생하는 경우에 다음과 같은 문제가 존재한다.
3D 모드에서 2D 모드로 전환하는 구간에는 a)실제 프로그램은 3D이나 수신된 시그널링 데이터에 의해 2D로 판단해 수신기가 2D 동작을 하는 경우, b) 실제 프로그램은 2D이나 시그널링 데이터에 의해 3D로 판단해 수신기가 3D 동작을 하는 경우가 있을 수 있다.
2D에서 3D 전환하는 구간에는 c) 실제 프로그램은 2D이나 수신된 시그널링 데이터는 3D로 정보를 줌으로써 수신기가 3D 동작을 하는 경우, d) 실제 프로그램은 3D이나 시그널링 데이터는 2D로 정보를 줌으로써 수신기가 2D로 동작하는 경우가 발생할 수 있다. 따라서 2D/3D 전환을 frame 단위로 정확하게 시그널링 할 수 있는 방법이 필요하다.
아래에서는 dual codec에 기반한 stereoscopic 3DTV 시스템에서 2D/3D 전환을 시그널링하기 위한 방법으로 1) 2D/3D 전환 정보를 MPEG-2 transport packet level에서 시그널링 하는 방법, 2) 2D/3D 전환 정보를 video level에서 시그널링 하는 방법을 설명한다. 이와 같은 방법은 single codec 기반 스테레오스코픽 3DTV 시스템에도 동일하게 적용될 수 있다.
도 1은 기존 발명에 따른 dual codec에 기반한 stereoscopic 3DTV service 구성 방법의 실시 예를 나타낸 도면이다.
듀얼 코덱에 기반한 스테레오스코픽 3DTV 서비스는 두 개의 비디오를 포함한다. 비디오1은 base view 비디오 스트림으로 이는 3DTV 서비스에서는 스테레오스코픽 시점들 중 하나로 사용되며, 기존의 TV 서비스에서는 2차원 영상으로 사용될 수 있다. 비디오2는 additional view 비디오 스트림으로 스테레오스코픽 3DTV 서비스를 제공하기 위해 비디오1의 enhancement로 사용된다.
3차원 영상 프로그램은 상기 비디오1과 비디오2를 모두 포함하며 싱글 코덱 기반인 경우 비디오1과 비디오2는 동일한 코덱을 이용하여 인코딩될 수 있고, 듀얼 코덱 기반인 경우 비디오1과 비디오2는 각기 독립적인 방법으로 압축되어 전송될 수 있다.
도 2는 본 발명의 일 실시예에 따른 Dual stream에 기반한 스테레오스코픽 3DTV 시스템에서 2D/3D 모드 전환에 대한 개념도이다.
도 2에서 3D 방송이 시작되면 비디오1과 비디오2가 함께 수신되고 따라서 3D 방송이 시작되는 시점에서 비디오 2에대한 디코더가 정확한 시간에 동작하기 시작해야 한다. 3D 방송이 종료되고 다시 2D 방송으로 전환되는 경우에는 비디오1만이 수신되므로 비디오2에 대한 디코더가 제 시간에 동작을 멈춰야하는 상황이다. 도면 하단부에서는 이러한 2D 또는 3D 방송 프로그램의 수신 시점과 디코더의 실제 동작 시점에 관련된 케이스를 시간에 따라 구분해 놓고 있다.
Case A는 수신 프로그램이 2D로 전환되는 경우, 시그널링 데이터가 가리키는 전환 시점이 실제로 전환이 발생하는 시점보다 빠른 경우이다. 즉, 실제 3D 프로그램이 종료되지 않은 시점에서 수신기가 3D 프로그램의 마지막 부분을 2D 모드로 출력하는 경우가 발생한다. 이 부분은 의도된 동작은 아니지만 출력되는 영상만 고려한다면 입체영상은 아니지만 2D 상태에서 정상적인 영상이 나온다는 점에서 상대적으로 덜 critical 한 케이스로 볼 수 있다.
Case B는 수신 프로그램이 2D로 전환되는 경우, 실제로 전환되는 시점보다 시그널링 신호가 가리키는 전환시간이 늦는 경우 Video 2에 대한 디코더가 늦게 꺼지게 되며 이러한 디코더가 잘못 켜져 있는 구간에서 오동작이 발생할 수 있다. 즉, 실제 수신되는 신호는 2D 신호인데 수신기가 이를 3D 신호로 간주하여 처리하는 과정에서 잘못된 동작을 할 수 있다. 예를 들어 부가영상 화면으로는 마지막에 받은 3D 영상의 정지 영상이 유지되고 (underflow), 기준 영상에는 수신 중인 2D 전용 영상을 디스플레이하여 비정상적인 조합의 3D 화면으로 출력하는 상황이 발생할 수 있다.
Case C는 수신 프로그램이 3D로 전환되는 경우, 실제로 전환되는 시점보다 시그널링 신호가 먼저 와서 디코더가 먼저 동작을 시작하면 디코더가 잘못 켜져 있는 구간에서 오동작이 발생할 수 있다. 즉, 앞서 2D 전환시의 오동작하는 경우와 마찬가지로, 실제 수신되는 신호는 2D 신호인데 수신기가 이를 3D 신호로 간주하여 처리하는 과정에서 잘못된 동작을 할 수 있다. 예를 들어 부가영상 스트림이 없는 상태에서 디코더만 헛도는 (underflow) 현상이 발생할 수 있다. 이 경우에는 부가영상이 검은 색 화면만으로 표시되는 상황에서 3D가 동작하는 현상 발생할 수 있다.
Case D는 수신 프로그램이 3D로 전환되는 경우 시그널링 데이터가 가리키는 전환 시점이 실제 전환 발생 시점보다 늦는 경우이다. 이는 실제 3D 프로그램이 시작되었지만 2D 모드가 일시적으로 유지되는 경우이다. Case A와 마찬가지로 의도된 동작은 아니지만 디스플레이 관점에서 보면 정상적인 2D 영상이 출력된다는 점에서 상대적으로 덜 critical 한 문제점이다.
이와 같은 문제점을 해결하기 위한 방법1로 기존 signaling 방식은 유지하면서 수신기 구현을 통해 critical error를 회피하고, 전환 시점을 조절하여 안전하게 2D/3D 모드를 전환하는 것이 가능하다.
정확한 시점에 2D/3D 모드 전환이 가능하기 위해서는 가급적이면 2D/3D 모드 전환을 frame accurate하게 수행하는 것이 원칙이나, 이에 대한 signaling 방식이 부재한 상황에서 정확한 전환을 기대하기는 어렵다. 따라서 차선책으로 2D에서 3D로 전환하는 경우, critical error를 피하기 위해 실제 시그널링 데이터에 의해 파악된 전환시점보다 기설정된 시간만큼 지연시켜(실시예 : 1∼2초 정도) 전환을 수행한다. 이를 통해 상기 case C에 해당하는 critical한 error case를 피할 수 있다.
2D에서 3D로 전환하는 경우, SI level 시그널링을 통해 additional video에 대한 signaling 정보가 포함되었다 하더라도 모드 전환을 바로 수행하지 않고, additional video에 해당되는 PID 스트림이 detect 될 때 3D 모드로 전환한다. 즉, demux에서 additional video (예 : AVC/H.264 video)에 해당되는 PID가 검출되면 3D 모드로 전환한다.
3D에서 2D로 전환하는 경우, critical error를 피하기 위해 실제 시그널링 데이터에 의해 파악된 전환시점보다 빨리 (실시예 : 1∼2초 정도) 전환을 수행한다. 이러한 방법을 통해 case B에 해당하는 critical한 error 상황을 피할 수 있다.
또한 다른 방법2로는 Transport packet의 adaptation layer를 이용한 2D/3D 전환 signaling 방법이 있다.
도 3은 본 발명의 일 실시예에 따른 MPEG-2 트랜스포트 패킷의 신택스 구조를 나타낸 도면이다. 여기서 트랜스포트 패킷 레벨 시그널링 방법은 트랜스포트 패킷의 adaptation_field를 이용하여 2D/3D 전환 신호를 시그널링하는 것이 가능하다.
도 4는 본 발명의 일 실시예에 따른 MPEG-2 트랜스포트 패킷의 adaptation_field의 신택스 구조를 나타낸 도면이다. 동기화를 위해 adaptation_field()의 transport_private_data_flag를 1로 설정하고, transport_private_data_length를 이용해 private_data_byte가 몇 byte인지를 시그널링한다. 본 발명의 실시예에서는 아래에서 설명할 시그널링 되는 전환 신호의 비트 수가 40이므로 transport_private_data_length는 5의 값을 갖는다. 8비트의 크기를 갖는 private_data_byte가 transport_private_data_length 만큼 5번 반복되어 40비트의 전환 신호를 표현하는 것이 가능하기 때문이다. private_data_byte는 도 5에서 설명할 2D_3D_transition_info_data_byte를 포함하며, 수신기는 이를 분석하여 전환시점에 대한 정보를 파악한다. 수신기는 이를 통해 additional view video stream에 대한 video decoder 및 관련 display module의 출력을 제어한다.
도 5(a)는 본 발명의 일 실시예에 따른 2D_3D_transition_info_data_byte의 신택스 구조를 나타낸 도면이다.
2D_3D_transition_info_data_byte는 MPEG-2 transport packet의 adaptation field 영역에서 private_data_byte 부분에 위치할 수 있으며 2D/3D 전환 시점을 알려주기 위한 정보를 포함한다. transition_type은 수신 방송 신호의 전환이 2D로의 전환인지 3D로의 전환인지를 나타낼 수 있다. 이 필드가 ‘0’이면 2D에서 3D로의 전환을 의미하고 ‘1’이면 3D에서 2D로의 전환을 의미한다. data_type은 transition_count가 어떤 단위인지를 나타낼 수 있다. 이에 대한 자세한 의미는 5(b)와 같다. transition_count는 실제 전환이 일어나는 시간을 의미한다.
도 5(b)는 본 발명의 일 실시예에 따른 data_type 필드의 값에 대한 해석을 나타낸 도면이다. 예를 들어 data_type=‘0x00’인 경우 transition_count 값에 의해 명시된 숫자만큼의 packet 이후에 2D (또는 3D) transition이 발생한다. 남은 시간을 count하는 과정에서 2D_3D_transition_info_data_byte가 포함된 packet은 포함하지 않으며 아울러 같은 해당 packet과 동일한 PID 값을 갖는 packet만을 count 한다.
Data_type=‘0x01’인 경우는 transition_count에서 명시한 개수만큼의 picture frame 이후에 transition이 발생함을 의미한다.
Data_type=‘0x02’인 경우에 transition_count는 실제 transition이 발생하는 시점에 해당하는 PTS 값을 명확하게 알려준다. 이 때, 사용하는 PCR 값은 최근에 수신한 PCR을 기준으로 한다. PCR이 update되는 경우 필요에 따라 이 값도 다시 전송해야 한다.
방법3으로는 2D/3D 전환 정보를 video level에서 시그널링 하는 방법을 사용할 수 있다.
도 6은 본 발명의 일 실시예에 따른 2D_3D_transition_info_data_byte를 MPEG-2 video 내에서 transport하기 위한 방법을 나타낸 도면이다.
2D_3D_transition_info_data_byte는 기준영상(base view video stream)에서 전환시점을 시그널링 할 수 있다. 수신기는 기준 영상 MPEG-2 비디오의 user_data()에 포함된 user_structure()를 참조한다. 이 때 user_data_start_code는 0x0000 01B2이고 user_data_identifier는 0x4741 3934의 값을 갖는 ATSC_user_data()를 참조한다. 최종적으로 user_data_type_structure() 내의 user_data_type_code 0x11을 갖는 2d_3d_transition_info_data_byte()로부터 전환시점에 대한 정보를 획득하는 것이 가능하다.
MPEG-2 비디오가 부가 영상인 경우에 2D_3D_transition_info_data를 통해 signaling 할 수 있는 정보는 3D에서 2D로의 전환이다.
2d_3d_transition_info_data ( )는 Picture Extension and User Data 영역의 user_data ( )에 포함되어 전송된다. 수신기는 user_data_start_code 값이 0x0000 01B2이며 user_data_identifier 값이 0x4741 3934인 user_data( )를 추출한다. User_structure ( ) 데이터를 읽어서 user_data_type_code가 0x11인 data를 추출한다. 2D_3D_transition_info_data ( )를 통해 2D/3D 전환 종류 및 2D/3D 전환 시점을 파악한다.
도 7은 본 발명의 일 실시예에 따른 2D_3D_transition_info_data_byte를 AVC/H.264 video 내에서 transport하기 위한 방법을 나타낸 도면이다.
2D_3D_transition_info_data_byte는 부가영상(additional view video stream)에서 전환시점을 시그널링 할 수 있다. H.264 (또는 AVC) Video의 경우에는 SEI (Supplemental Enhancement Information) 영역에 해당 정보를 전송하며 user_data_registered_itu_t_135 ( )에 user_identifier와 user_structure를 포함하도록 전송한다. 즉, user_data ( ) 대신 SEI payloads에 해당 정보를 transport 한다. SEI는 MPEG-2의 picture extension and user data의 역할을 수행하며 위치 또한 비슷하게 constraint 할 수 있다.
AVC 비디오가 부가 영상인 경우에 2D_3D_transition_info_data를 통해 signaling 할 수 있는 정보는 3D에서 2D로의 전환이다.
2D_3D_transition_info_data ( )는 SEI RBSP (raw byte sequence payload)를 통해 수신된다. AVC NAL unit을 parsing 하여 nal_unit_type 값이 6이면 SEI 데이터이며 payloadType이 4인 user_data_registered_itu_t_t35 SEI message를 읽어 user_identifier 값을 확인한다. user_identifier 값이 0x4741 3934에 해당하는 user_structure ( )를 읽어서 user_data_type_code가 0x11인 data를 추출한다. 2D_3D_transition_info_data ( )를 파싱해 3D에서 2D로의 전환 시점을 파악할 수 있다.
도 8은 본 발명의 일 실시예에 따른 dual stream case에서 3D Stereoscopic 방송 수신 및 출력을 위한 수신기 구조를 나타낸 도면이다.
수신기는 튜너(1), 복조부(2), TP 디먹스(3), SI 프로세서(4), 제 1,2 비디오 디코더(5a, 5b), 화상 엔진(Picture engine 6a, 6b), L/R 동기부(L/R synchronizer, 7) 및 출력포맷터(8)를 포함할 수 있다. 여기서 TP 디먹스(3), SI 프로세서(4) 및 제 1,2 비디오 디코더(5a, 5b)는 하나의 모듈로 구현될 수 있으며 이를 디코딩 모듈로 칭할 수 있다.
수신기는 튜너(1) 및 복조부(2)를 통해 방송 신호를 수신, 복조한다. 복조된 방송 신호는 디먹스(3)에 의해 역다중화된다. 위에서 설명한 방법2의 트랜스포트 패킷에 전환 시점 정보를 포함시켜 송수신하는 경우는 TP 디먹스(3)에 의해 전환 시점 정보가 추출되어 SI 프로세서(4)로 전달 된 후 처리된다. 수신기는 전환 시점 정보를 이용하여 비디오2에 대한 디코딩 및 화상 처리 여부를 결정하여 제2 비디오 디코더(5b) 및 화상엔진(6b)의 동작 여부를 결정하는 것이 가능하다.
역다중화된 비디오1과 비디오2는 각각 제1 비디오 디코더(5a), 제2 비디오 디코더(5b)로 입력되어 디코딩된다. 위에서 설명한 방법3의 MPEG-2 또는 AVC/H.264 비디오 내에 전환 시점 정보를 포함시켜 송수신하는 경우에, 전환 시점 정보는 비디오 디코더에서 디코딩시 추출된다. 이 경우에도 수신기는 전환 시점 정보를 이용하여 비디오2에 대한 디코딩 및 화상 처리 여부를 결정하여 제2 비디오 디코더(5b) 및 화상엔진(6b)의 동작 여부를 결정하는 것이 가능하다.
디코딩된 비디오 1,2는 각각 화상 엔진(6a, 6b)을 거쳐 L/R 동기부(7)로 입력되어 좌영상과 우영상의 동기를 맞춘다. 동기화된 좌영상 및 우영상은 출력 포맷터(8)로 입력되어 사용자에게 3차원 영상으로 제공된다.
도 9는 본 발명의 일 실시예에 따른 2D/3D 화면 전환에 따른 방송 신호 수신 방법을 나타낸 순서도이다.
수신기는 비디오 스트림 및 시그널링 데이터를 포함하는 디지털 방송 신호를 수신한다(S10). 수신기는 트랜스포트 패킷 레벨의 adaptation_field() 또는 비디오 레벨에서 2D/3D 전환에 대한 시그널링 정보를 획득한다(S12). 이 때 비디오 레벨에서의 시그널링 정보 획득은, MPEG 비디오인 경우에 user_data_type_structure()로부터 이루어지고, AVC/H.264 비디오인 경우에 SEI 영역에서 이루어진다.
수신기는 획득된 2D/3D 전환 정보에 따라 제1, 제2 비디오 디코더의 동작을 제어한다(S14). 2D에서 3D로의 전환인 경우 제1, 제2 비디오 디코더를 모두 동작 시키며, 3D에서 2D로의 전환인 경우에는 제2 비디오 디코더의 동작을 일시적으로 정지 시킨다.
수신기는 비디오 디코더로부터 출력되는 영상신호를 출력하여(S16) 사용자에게 제공한다.
다음으로 본 발명의 제2실시예로, full resolution을 지원하는 방송 신호가 수신되는 경우, 해당 방송 신호가 Frame-compatible compatible 신호 또는 2D service compatible 신호 중 어느 것인지를 시그널링하여 각 신호 종류에 적합하게 수신기의 L/R 스플리터가 동작하도록 하는 장치 및 방법에 대해 설명한다. 본 발명의 제2실시예는 multi-layer codec에 기반한 3DTV가 서로 다른 두가지 스테레오 3D 방송 모드에 대응하기 위한 방안을 제시한다. 특히 적절한 시그널링 방법 및 해당 시그널링을 기반으로 그에 맞는 3D 디스플레이 출력을 제어하기 위한 방법 등을 제안한다.
도 10은 본 발명의 일 실시예에 따른 MVC 디코더를 갖는 3차원 영상신호 수신기의 기본 구조를 나타낸 도면이다.
Stereo 3D 방송을 지원하는 수신기의 3D video decoder 모듈(10) 부터 3D Formatter(18)까지의 기본 구조는 도 10와 같다. Multi-layer video decoder(10)로 부터 나온 비디오 스트림들은 L/R Splitter 모듈(14)을 거쳐 좌영상 및 우영상으로 분리된다. 본 실시 예에서는 편의상 MVC 디코더를 예로 들어 설명한다.
MVC 디코더는 기준 영상을 AVC 디코더(11)로 복호하고 그 결과를 바탕으로 Inter-layer prediction(12)을 수행하여 Enhancement 디코더(13)에 입력한다. Enhancement 디코더(13)는 Inter-layer prediction(12)의 결과와 입력되는 부가 영상 데이터를 조합하여 부가 영상을 디코딩한다. AVC 디코더(11) 및 Enhancement 디코더(13)에서 복호된 영상은 L/R splitter(14)에 입력되어 좌영상과 우영상으로 분리된다. 분리된 좌영상과 우영상은 각각 deinterlacer(16a, 16b) 및 Frame rate controller(FRC, 17a, 17b)를 거쳐 3D 포맷터(18)를 통해 사용자에게 3차원 영상으로 제공된다. 이 때 SI 프로세서(15)는 3D video decoder 모듈(10) 및 L/R splitter(14)에 시그널링 정보를 전달하여 디코더와 스플릿터가 3D 방송 서비스의 종류에 적합하게 동작하도록 할 수 있다.
기존의 수신기에서는 (2D) Service-compatible 3D 방송 서비스 또는 Frame-compatible compatible (FCC) 3D 방송 서비스 중 어느 하나에만 국한된 동작이 가능하였다. 본 발명에서는 모든 경우에 대해 3D 출력 및 2D 출력을 가능케 하는 시나리오를 포함한다. 이를 위해서는 새로운 L/R Splitter module(14)에서의 수신기 동작 메커니즘 및 SI를 통한 system layer에서의 시그널링이 필요하다.
도 11은 본 발명의 일 실시예에 따른 L/R Splitter의 기본 구조를 나타내는 도면이다.
L/R Splitter 모듈(23)의 입력 값으로 들어오는 Base stream(20) 및 Enhancement stream(21)은 어떤 스테레오 방송 모드인지 여부에 따라 다르게 처리된다.
Frame-compatible compatible 3D 방송의 경우, base layer로 전송되는 비디오 스트림(20)은 Frame-compatible 3D 형태의 영상이다. Enhancement layer로 전송되는 비디오 스트림(21) 역시 Frame-compatible 3D 형태의 영상일 수도 있고 경우에 따라 다른 형태의 data가 될 수도 있다.
Service-compatible 3D 방송의 경우, base layer로 전송되는 비디오 스트림(20)은 기존의 Full HD 2D 방송과 호환되는 2D 형태의 영상이다. Enhancement layer로 전송되는 비디오 스트림(21)은 2D 형태의 영상일 수도 있고, 경우에 따라 depth map과 같은 다른 형태의 data가 될 수도 있다
L/R splitter(23)는 SI 프로세서(15) 또는 SEI messages(22)로부터 전달되는 3D 방송의 종류에 부합하도록 두 개의 비디오 스트림(20,21)을 조합하며, 그 결과로 full resolution의 우영상(24) 및 좌영상(25)을 출력할 수 있다.
각 모드 별로 스트림을 조합하는 방법은 상이하며 아래의 도 12에 설명된 바와 같다.
도 12는 본 발명의 일 실시예에 따른 MVC 코덱에 기반한 2가지 full resolution 3차원 영상 신호(HD 스테레오 모드) 지원 방법을 나타낸 도면이다.
도 12(a)는 수신 신호가 Frame-compatible compatible mode인 경우 L/R splitter(23)의 동작을 도시하였다.
Frame-compatible compatible mode 서비스는 기존의 frame-compatible(Phase 1) 서비스와 호환되는 구조로, 영상 신호는 Phase 1 3DTV 서비스에 해당하는 Base layer (Lb/Rb, 31)과 Enhancement layer (Le/Re, 32)로 구성된다. 먼저 Base layer를 통해 수신된 video 신호(Lb/Rb)는 디코딩 후 L/R splitter(23) 내의 local splitter를 통해 half-resolution Left 및 Right 영상으로 분리된다. 또한 Enhancement layer를 통해 수신된 video 신호(Le/Re) 역시 디코딩 후 local splitter를 통해 half-resolution Left 및 Right 영상으로 분리된다. 디코딩 후 split된 video 신호는 동일한 eye-view 단위로 merge를 함으로써 full-resolution 영상을 생성한다.
즉, Lb와 Le를 합쳐 full resolution Left 영상 Lf(34)를 생성하며 Rb와 Re를 합쳐 full resolution Right 영상 Rf(33)를 생성한다. 이렇게 생성된 full resolution 영상 pair (Lf 및 Rf)는 결과적으로 3D formatter를 거쳐 최종적으로 3D Display를 통해 출력된다.
도 12(b)는 수신 신호가 2D compatible mode인 경우 L/R splitter(23)의 동작을 도시하였다.
2D compatible mode 서비스는 기존의 2차원 HD 서비스와 호환되는 구조로 영상 신호는 HD(2D) 서비스에 해당하는 base layer와 Enhancement layer로 구성된다. 이 때, Base layer를 통해 좌우 중 하나의 eye-view를 선택해서 전송하고 Enhancement layer를 통해 나머지 하나의 eye-view를 전송한다. 본 실시 예에서는 Base layer를 통해 좌영상(Lb, 35), 그리고 Enhancement layer를 통해 우영상(Re, 36)을 전송한다. 이는 실시예에 따라 Base layer를 통해 우영상(Rb), Enhancement layer를 통해 좌영상(Le)을 전송하는 것도 가능하다.
수신된 Base와 Enhancement layer는 각각 대응되는 eye-view에 따라 스위칭(1, 2로 표시한 블록)을 거쳐 대응되는 view position에 출력된다. 즉, Base layer의 left/right 여부에 따라 Lf(34) 또는 Rf(33)로의 매칭 여부가 결정되며 reconstruct 된 full resolution video Lf 및 Rf는 각각 3D formatter를 거쳐 최종적으로 3D Display를 통해 출력된다.
Frame-compatible compatible mode, 2D compatible mode의 두가지 경우 모두, base layer를 통해 받은 스트림과 enhancement layer로 받은 스트림을 조합하여 Full resolution 3D 방송을 출력할 수 있다. 수신되는 스트림은 다르지만, L/R Splitter 모듈 밖으로 출력되는 것은 Full HD Left 영상 및 Full HD Right 영상으로 동일하므로 하나의 L/R Splitter 모듈에서 도 12(a)와 12(b)의 처리 방식을 모두 지원하게 되면, 수신기는 어떠한 모드를 수신하더라도 Full resolution 3D 방송을 제공하는 것이 가능하다. 아래에서는 full resolution 3D 방송 신호가 위의 두 가지 모드 중 어느 모드로 송수신되는지를 시그널링하는 방법에 대해 설명한다.
시그널링 해 주어야 하는 주요 부분은 어떠한 3D 모드인지 여부이며, 각 모드 별 출력을 위해 필요한 정보는 다음과 같다.
Frame-compatible compatible mode의 경우, 방송 신호의 Format type을 시그널링해야 하며 예를 들어 Side by side type, Top and bottom type 또는 Checkerboard type등이 될 수 있다. 또한 좌영상과 우영상의 위치 및 샘플링 모드(even, odd) 정보도 함께 시그널링 되어야 한다.
2D service compatible mode의 경우, base layer stream이 좌영상인지 또는 enhancement layer stream이 좌영상인지 여부를 나타내는 좌영상과 우영상의 위치 정보를 시그널링해야 한다.
모드 정보 및 각 모드 별 세부 정보는 video level에서의 시그널링, system level에서의 시그널링 또는 트랜스포트 패킷 레벨에서의 시그널링을 통해 전달될 수 있다.
비디오 레벨에서 3D 모드를 시그널링 하는 경우 기존의 SEI message 확장 또는 새로운 SEI message 지정의 두가지 방법이 있다.
시스템 레벨에서 3D 모드를 시그널링할 경우 Component type, 새로운 descriptor 또는 Service type의 세가지 항목을 이용할 수 있다.
트랜스포트 패킷 레벨에서의 3D 모드를 시그널링할 경우 Adaptation layer를 이용한 방법에서 count 정보 및/또는 3D 모드 정보 항목을 이용할 수 있다.
위의 세 가지 방법을 사용함에 있어, 시청 도중에 3D 모드 간 전환이 일어날 경우 시스템 레벨의 시그널링만으로는 전환 시점에 정확하게 대응하기 어렵다. 그러므로 비디오 레벨에서 3D 모드간 전환 정보를 알려줄 필요가 있다. 따라서 transport packet 또는 video level에서 시그널링해주는 방안이 필요하다. 즉, 시스템 레벨의 시그널링은 위 video level 또는 Transport packet level signaling 방법이 수반되어야 한다.
도 13은 본 발명의 일 실시예에 따른 비디오 레벨에서 시그널링하기 위한 신택스 구조를 나타낸 도면이다.
H.264 (또는 AVC) Video의 경우에는 SEI (Supplemental Enhancement Information) 영역을 활용한 시그널링이 가능하다.
도 13(a)는 본 발명의 일 실시예에 따른 stereo_3D_info_data()를 전송하기 위한 SEI 신택스 구조를 나타낸다. user_data_registered_itu_t_135()에 user_identifier와 user_structure를 포함하도록 전송한다. 정보가 포함되는 비디오 스트림은 base layer와 enhancement layer가 모두 가능하며 시그널링 방법은 기존의 SEI message를 확장하는 것과 새로운 SEI message 를 정하는 방법의 두가지를 이용하는 것이 가능하다.
먼저 기존의 SEI message 확장하는 방법은 비디오 elementary stream에 보조 데이터를 보내기 위해 도 13에 제시된 신택스 구조를 확장하여 이용할 수 있다. 도 13(a)의 SEI syntax에서 user_identifier 및 user_structure 에는 도 13(b)와 같이 0x47413934(‘GA94’) 및 DVB1_data() 값을 사용한다. 이때, 도 13(c)와 같이 DVB1_data 내의 user_data_type_code 및 user_data_type_struecture()에 3D 스테레오 관련 정보를 전송하기 위한 확장된 값을 할당하여 사용한다. 이 때 할당되는 값은 도 13(d)와 같으며 본 발명의 일 실시예에 따른 User_data_type_code 값은 0x04이고 그에 따른 user_data_type_structure()의 내용은 stereo_3D_info_data()가 될 수 있다.
도 14는 본 발명의 일 실시예에 따른 stereo_3D_info_data()의 신택스 구조를 나타낸 도면이다.
stereo_3D_mode 필드는 현재의 스트림이 어떤 종류의 stereo 3D service에 속하는지를 알려주는 필드로서, 가능한 3D 모드는 frame-compatible compatible 3D service나 2D service compatible 3D service 등이 있다.
LR_first 필드는 현재 layer (또는 stream)에 대해 Frame-compatible 3D 서비스를 구성하는 화면에서 가장 왼쪽 위에 위치하는 픽셀이 left인지 right인지 여부를 알려주는 필드이다.
stereo_format 필드는 현재 layer (또는 stream) 의 stereo_format 종류를 알려주는 필드이다. Stereo Format의 종류에는 Side-by-Side, Top ＆ Bottom, Checkerboard 등이 있다.
left_view_sampling_mode 필드는 현재 layer (또는 stream) 에 대한 좌영상 sampling mode를 의미한다. Stereo_format이 Side-by-side인 경우, vertical 방향의 sampling이 even line을 추출한 것인지 odd line을 추출한 것인지 여부를 나타낸다. stereo_format이 Top-and-bottom인 경우, horizontal 방향의 sampling이 even인지 odd인지 여부를 나타낸다. Checker board 포맷인 경우에도 sampling 시 가능한 두가지 방식 중 어느 mode를 사용했는지 여부를 나타낸다.
right_view_sampling_mode 필드는 현재 layer (또는 stream) 에 대한 우영상의 sampling mode를 의미하며 세부 사항은 left_view_sampling_mode 필드와 동일하다.
LR_flag 필드는 2D Service compatible 3D 서비스를 구성하는 스트림 중 base layer에 해당하는 스트림이 left인지 right인지 여부를 알려주는 필드이다. 이는 이 data가 전달되는 스트림의 L/R 여부를 알려주는 식으로 시그널링 될 수도 있다.
다음으로 새로운 SEI message 를 설정하는 방법에 대해 설명한다. 이는 앞서 설명된 user_data_registered_itu_t_135( )를 사용하지 않고 3D service mode를 나타내기 위해 별도로 새로운 SEI message를 정의하는 경우이며 다음과 같은 방법을 사용한다.
도 15는 본 발명의 일 실시예에 따른 SEI message를 설정하여 3D service mode를 시그널링하는 방법을 나타낸 도면이다.
도 15(a)의 sei_message는 payloadType 필드를 포함하고 있다. payloadType 필드는 각 sei_payload의 타입을 정의할 수 있다. 이에 따라 도 15(b)의 sei_payload 신택스 구조에서 payloadType이 36의 값을 갖는 경우 도 15(c)의 stereo_3D_info를 이용하여 3D service mode를 시그널링할 수 있다.
stereo_3D_info에 포함된 필드는 stereo_3D_mode, LR_first, stereo_format, left_view_sampling_mode, right_view_sampling_mode, LR_flag이고 각 필드에 대한 설명은 위에서 설명한 바와 같다.
시스템 레벨에서 3D 모드를 시그널링할 경우 DVB SI의 Component type, 3D Stereo descriptor 또는 Service type의 세가지 항목을 이용할 수 있다.
시스템 레벨에서 Component type을 이용한 시그널링은 각 스트림의 종류를 stream_content 및 component_type 값을 통해 알려주므로, 이때 스트림의 컴포넌트 값을 보고 어느 3D 모드에 속하는지 여부 및 L/R 구성 방식을 판단 가능하다.
도 16은 본 발명의 일 실시예에 따른 stream_content 및 component_type을 정의한 도면이다. 시스템 레벨에서 3D 모드를 시그널링함에 있어 stream_content는 0x05로 설정된다. component_type은 0x84부터 0x8B의 값을 가지며, 각 값에 따라 full resolution 3D 방송 신호의 모드, Frame-compatible compatible mode의 경우, Side by side type 또는 Top and bottom type 여부, 2D service compatible mode의 경우 좌영상 또는 우영상인지 여부 등이 결정된다. 수신기는 component type (stream_content 및 component_type) 값에 따라 3D 모드 및 3D 화면 구성을 파악한다. 파악된 정보는 L/R splitter 모듈로 전달되어, Full HD 인 좌영상과 우영상을 추출하는 데 사용된다.
이와 유사하게 시스템 레벨에서의 3D 모드 시그널링은 ATSC 방식의 경우 ATSC PSIP에 기반하여 수행하는 것이 가능하다. PSIP의 TVCT, EIT를 이용할 수 있다. TVCT에서는 virtual level의 descriptor를 이용해 stereo_3D_info_data의 필드들을 전송하는 방법을 사용한다. 아울러 EIT에서는 event level의 descriptor를 이용해 stereo_3D_info_data의 필드 정보를 전송함으로써 향후 event에 대한 3D 서비스 모드를 시그널링 할 수 있다.
시스템 레벨에서 descriptor를 이용하여 시그널링하는 방법은 3D_stereo_info_descriptor를 이용할 수 있다. 이는 DVB의 SDT 섹션 내의 각 elementary stream에 붙는 descriptor에 위치한다. 즉, base layer stream 또는 enhancement layer stream에 위치하며, 세부 내용은 앞서 도 14에서 제시된 내용과 동일한 필드를 포함한다. 수신기는 base layer 또는 enhancement layer 에 포함된 stereo_3D_info_descriptor() 를 파싱하여 3D 모드 정보 및 3D 화면 구성 정보를 파악한다.
시스템 레벨에서 Service_type을 이용하여 3D 모드를 시그널링 할 수도 있으며, 서비스 구성은 다음의 두가지 경우가 있을 수 있다. Base layer를 통해 전달되는 스트림과 enhancement layer를 통해 전달되는 스트림이 동일한 서비스에 속하는 경우와, 혹은 별도의 서비스에 속하는 경우가 있을 수 있다.
도 17은 본 발명의 일 실시예에 따른 서비스 타입의 종류를 나타낸 도면이다. 먼저 Base layer를 통해 전달되는 스트림과 enhancement layer를 통해 전달되는 스트림이 동일한 서비스에 속할 경우, 2D service compatible 3D 서비스의 service_type은 0x22이고, Frame compatible 3D 서비스의 service_type은 0x1F이다. 이를 통해 Phase 2(2D service compatible) 3DTV service임을 시그널링 가능하다.
다음으로 Base layer를 통해 전달되는 스트림과 enhancement layer를 통해 전달되는 스트림이 서로 다른 서비스에 속하는 경우, base layer에 해당하는 스트림을 포함하는 서비스는 0x19 또는 0x1C이며, enhancement layer에 해당하는 스트림을 포함하는 서비스는 0x25 및 0x28 과 같은 형태의 새로운 service_type 으로 지정하여 시그널링 가능하다. 각각 다른 서비스로 전송되는 경우에는, 두개의 서비스 중 하나만 확인해도 어느 3D 모드인지를 알 수 있다.
위와 같은 시그널링 신호를 통해 수신기는 service_type 값을 보고 3D 모드 정보를 파악한다. 세부 정보는 각 element를 파싱한 후에 component type 값이나 포함된 stereo_3D_info_descriptor() 내용을 토대로 파악한다. 파악된 정보는 L/R splitter 모듈로 전달되어, Full HD 인 좌영상과 우영상을 추출하는 데 사용된다.
트랜스포트 패킷 레벨에서의 시그널링은 Adaptation layer를 이용하여 시그널링하는 것이 가능하다.
도 18은 본 발명의 일 실시예에 따른 transport_packet()의 신택스 구조를 나타낸 도면이다. 트랜스포트 패킷 레벨에서의 시그널링을 위해 transport_packet()에서 adaptation_field()를 이용할 수 있으며, 세부적으로는 Adaptation_field() 내의 private_data_byte() 필드를 이용하여 시그널링 가능하다. Adaptation_field()의 세부 내용은 도 19에서 설명한다.
도 19는 본 발명의 일 실시예에 따른 Adaptation_field()의 신택스 구조를 나타낸 도면이다. 이때 들어가는 private_data_byte는 앞서 video level signaling 에서 제시된 stereo_3D_info_data()와 동일한 내용을 포함한다.
Adaptation_field()에서 transport_private_data_flag는 private_data byte가 존재하는지 여부를 가리킨다. transport_private_data_length는 private_data_byte가 몇 바이트인지를 시그널링하고 private_data_byte는 stereo_3D_info_data()의 내용을 포함한다.
수신기의 동작 순서는 다음과 같다. 수신기는 Adaptation_field()의 transport_private_data_flag = '1'임을 확인한다. transport_private_data_flag가 1임이 확인되면 transport_private_data_length를 이용해 private_data_byte가 몇 byte인지를 확인한다. private_data_byte를 통해 stereo_3D_info_data() 가 시그널링 된 경우, 이 정보를 읽어 3D 모드 및 스테레오 방송 구성에 대한 정보를 파악한다. 수신기는 파악된 정보를 이용해 base stream 및 enhancement stream를 입력값으로 받는 L/R splitter 모듈의 출력을 제어한다.
이상 설명한 바와 같이 수신기의 동작은 3차원 영상 신호를 수신하는 경우 각 모드에 따라 동작 방법이 상이하나, 2D view 시청 시에도 어떠한 3D 모드인지 여부에 따라 수신기의 동작이 달라질 수 있다.
2D service compatible 3D 서비스인 경우, 수신기는 base layer stream 또는 enhancement layer stream 중 하나를 선택하여 2D 화면을 보여주는 것이 가능하다. 즉, 이 경우에는 L/R splitter 모듈을 거치지 않아도 된다.
Frame-compatible compatible 3D 서비스의 경우에는 2D 화면을 구성하는 절반씩의 화면이 각각 base layer 와 enhancement layer 로 전달되므로 L/R splitter 모듈을 거쳐 나온 L/R 영상 중 하나를 선택하여 2D로 출력이 가능하다..
도 20은 본 발명의 일 실시예에 따른 3D Stereoscopic 방송 수신 및 출력을 위한 수신기 구조를 나타낸 도면이다.
수신기는 튜너(40), 복조부(41), TP 디먹스(42), SI 프로세서(43), AVC layer 디코더(44), MVC extension layer 디코더(45), L/R splitter(46) 및 출력포맷터(47)를 포함할 수 있다. 여기서 TP 디먹스(42), SI 프로세서(43) 및 AVC layer 디코더(44) 및 MVC extension layer 디코더(45)는 하나의 모듈로 구현될 수 있으며 이를 디코딩 모듈로 칭할 수 있다.
수신기는 튜너(40) 및 복조부(41)를 통해 방송 신호를 수신, 복조한다. 복조된 방송 신호는 TP 디먹스(42)에 의해 역다중화된다. 위에서 설명한 트랜스포트 패킷에 3D 모드 정보를 포함시켜 송수신하는 경우는 TP 디먹스(42)에 의해 전환 시점 정보가 추출되어 SI 프로세서(43)로 전달 된 후 처리된다.
역다중화된 base layer 비디오와 enhancement layer 비디오는 각각 AVC layer 디코더(44), MVC extension layer 디코더(45)로 입력되어 디코딩된다. 3D 모드 정보가 비디오 레벨로 시그널링된 경우, 수신기는 이 디코딩 과정에서 3D 모드 정보를 획득하는 것이 가능하다.
디코딩된 base layer 비디오와 enhancement layer 비디오는 L/R splitter(46)로 입력되어 시그널링된 3D 모드에 따라 병합, 스위칭 또는 바이패스되어 full resolution의 좌영상 및 우영상으로 출력된다. 출력된 좌영상 및 우영상은 출력 포맷터(47)로 입력되어 사용자에게 full resolution의 3차원 영상으로 제공된다.
도 21은 본 발명의 일 실시예에 따른 Frame-compatible compatible 3DTV 서비스를 위한 송신기 구조를 나타낸 도면이다. 송신기 구조는 Left / Right 영상 획득(image capture, 50), 획득한 영상에 대한 L/R 분리 및 서비스 모드에 따른 layer 분리(layer separation, 51), 각 layer에 대한 video encoding(encoding, 52), 다중화 및 전송(mux ＆ transport, 53)의 단계로 동작한다. 여기서 본 발명은 full resolution을 위한 layer separation 단계를 설명한다.
송신기는 subtractor(54a, 54b), 다운 샘플링부(55a, 55b), residual부(56a, 56b), mixer(57a, 57b), base layer video encoder(58), inter-layer prediction(59), enhancement layer video encoder(60)를 포함할 수 있다.
frame-compatible compatible 서비스 모드의 경우, 송신기는 frame compatible (Side-by-Side, Top-and-Bottom) 비디오 신호를 생성하기 위해 좌우 영상에 대해 down-sampling(55a, 55b)을 한다. 그 다음 full resolution 좌우 영상과 down-sampling된 좌우 영상의 차이 신호를 분리하기 위해 Subtractor(54a, 54b)를 거친다. Subtractor(54a, 54b)를 거친 신호는 residual(56a, 56b)로 입력되며 이는 full resolution 좌우 영상에서 down-sampling된 좌우 영상을 제외한 나머지 신호로 구성된다.
좌우 영상에 대한 down-sampling(55a, 55b) 결과는 mixer(57b)를 통해 병합되어 base layer video encoder(58)로 입력되어 인코딩된다. 또한 좌우 영상에 대한 residual(56a, 56b)의 출력값은 mixer(57a)를 통해 병합되어 enhancement layer video encoder(60)로 입력된다. enhancement layer video encoder(60)는 base layer video encoder(58)로부터 inter-layer prediction(MVC 코덱을 사용하는 경우 inter-view prediction, 59) 정보를 받아 base layer를 기준으로 enhancement layer를 인코딩 한다.
즉, frame-compatible compatible 서비스의 방송 신호 송신기는 입력된 원본 좌우 영상 신호를 다운 샘플링하는 두개의 다운 샘플링부, 원본 좌우 영상 신호와 다운 샘플링된 좌우 영상 신호의 차를 출력하는 두개의 subtractor, 다운 샘플링된 좌우 영상 신호를 병합하는 제1믹서, 두 subtractor의 출력인 좌우 residual 영상신호를 병합하는 제2믹서, 제1믹서의 출력을 base layer로 인코딩하는 제1 비디오인코더, 제2믹서의 출력과 제1 비디오 인코더로부터 inter-layer prediction한 결과를 함께 고려하여 인코딩하는 제2 비디오 인코더를 포함할 수 있다.
또한, 2D service compatible 모드의 경우에는 좌/우 영상이 직접 base layer video encoder(58) 또는 enhancement layer video encoder(60)로 입력되므로 layer 분리 모듈의 구조가 비교적 간단하다.
도 22는 본 발명의 일 실시예에 따른 full resolution을 위한 3D mode에 따른 방송 신호 수신 방법을 나타낸 순서도이다.
수신기는 비디오 스트림 및 시그널링 데이터를 포함하는 디지털 방송 신호를 수신한다(S20). 수신기는 트랜스포트 패킷 레벨의 adaptation_field(), 시스템 레벨의 SI 정보, 또는 비디오 레벨에서 3D 서비스 모드에 대한 시그널링 정보를 획득한다(S22). 이 때 비디오 레벨에서의 시그널링 정보 획득은, MPEG 비디오인 경우에 user_data_type_structure()로부터 이루어지고, AVC/H.264 비디오인 경우에 SEI 영역에서 이루어진다.
수신기는 획득된 3D 서비스 모드 정보에 따라 L/R Splitter의 동작을 제어한다(S24). frame-compatible compatible 서비스 모드에서는 입력된 영상을 local splitter로 분리하고 각 시점에 따라 merge하여 출력하고, 2D service compatible 모드에서는 좌우 영상에 따라 입력 영상을 그대로 출력하거나 스위칭하여 출력한다. 자세한 설명은 도 12에서 설명한 바와 같다.
수신기는 L/R Splitter로부터 출력되는 영상신호를 출력하여(S26) 사용자에게 제공한다.
지금까지 설명한 제1실시예의 2D/3D 모드 전환에 대한 시그널링 정보 및 제2실시예의 2D service compatible/frame-compatible compatible 모드 전환에 대한 시그널링 정보는 각기 다른 시스템에서 전송되어 사용되는 것 뿐만 아니라 하나의 시스템에서 함께 전송되는 것이 가능하다. 수신기에서는 상기 두 개의 시그널링 신호 중 어느 하나 이상을 수신하여 처리하고, 해당 정보에 따라 디코딩 모듈의 동작을 제어하는 것이 가능하다.
이상과 같이 본 발명은 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
발명의 실시를 위한 형태
전술한 바와 같이, 상기 발명의 실시를 위한 최선의 형태에서, 관련된 사항을 기술하였다.
산업상 이용가능성
전술한 바와 같이, 본 발명은 디지털 방송 시스템에 전체적으로 또는 부분적으로 적용될 수 있다.

Claims (14)

  1. 디지털 방송 신호 수신 장치에 있어서,
    3차원 영상을 구현하는 비디오 스트림 및 시그널링 데이터를 포함하는 트랜스포트 패킷의 디지털 방송 신호를 수신하는 튜너;
    상기 수신된 디지털 방송 신호를 복조하는 복조부;
    상기 복조된 디지털 방송 신호로부터 모드 전환 정보를 추출하는 디코딩 모듈; 및
    상기 모드 전환 정보에 근거하여 디코딩된 영상 신호를 출력하는 출력 포맷터;를 포함하는 디지털 방송 신호 수신 장치.
  2. 제 1항에 있어서,
    상기 모드 전환 정보는 2차원 영상신호와 3차원 영상신호 간의 전환 시점에 대한 정보를 포함하는 디지털 방송 신호 수신 장치.
  3. 제 2항에 있어서,
    상기 모드 전환 정보는 트랜스포트 패킷 레벨에서 adaptation_field()에 포함되거나 또는 비디오 레벨에서 비디오 헤더에 포함되어 수신되는 디지털 방송 신호 수신 장치.
  4. 제 2항에 있어서,
    상기 디코딩 모듈은 상기 모드 전환 정보에 따라 동작 여부가 제어되는 제1 디코더 및 제2 디코더를 포함하는 디지털 방송 신호 수신 장치.
  5. 제 1항에 있어서,
    상기 모드 전환 정보는 Frame-compatible compatible 모드와 2D service compatible 모드 간의 전환에 대한 정보를 포함하는 디지털 방송 신호 수신 장치.
  6. 제 5항에 있어서,
    상기 모드 전환 정보는 트랜스포트 패킷 레벨에서 adaptation_field()에 포함되거나 시스템 레벨에서 SI 정보에 포함되거나 또는 비디오 레벨에서 비디오 헤더에 포함되어 수신되는 디지털 방송 신호 수신 장치.
  7. 제 5항에 있어서,
    상기 디코딩 모듈은 상기 모드 전환 정보에 따라 Frame-compatible compatible 모드인 경우 입력 영상 신호를 분리 및 병합하고, 2D service compatible 모드인 경우 입력 영상을 바이패스하거나 스위칭하는 L/R splitter를 포함하는 디지털 방송 신호 수신 장치.
  8. 디지털 방송 신호 수신 방법에 있어서,
    3차원 영상을 구현하는 비디오 스트림 및 시그널링 데이터를 포함하는 트랜스포트 패킷의 디지털 방송 신호를 수신하는 단계;
    상기 수신된 디지털 방송 신호를 복조하는 단계;
    상기 복조된 디지털 방송 신호로부터 모드 전환 정보를 추출하는 단계; 및
    상기 모드 전환 정보에 근거하여 디코딩된 영상 신호를 출력하는 단계;를 포함하는 디지털 방송 신호 수신 방법.
  9. 제 8항에 있어서,
    상기 모드 전환 정보는 2차원 영상신호와 3차원 영상신호 간의 전환 시점에 대한 정보를 포함하는 디지털 방송 신호 수신 방법.
  10. 제 9항에 있어서,
    상기 모드 전환 정보는 트랜스포트 패킷 레벨에서 adaptation_field()에 포함되거나 또는 비디오 레벨에서 비디오 헤더에 포함되어 수신되는 디지털 방송 신호 수신 방법.
  11. 제 9항에 있어서,
    상기 디지털 방송 신호 수신 방법은
    상기 모드 전환 정보를 추출하는 단계 후에, 상기 모드 전환 정보에 따라 제1 디코더 및 제2 디코더의 동작 여부를 제어하는 단계를 더 포함하는 디지털 방송 신호 수신 방법.
  12. 제 8항에 있어서,
    상기 모드 전환 정보는 Frame-compatible compatible 모드와 2D service compatible 모드 간의 전환에 대한 정보를 포함하는 디지털 방송 신호 수신 방법.
  13. 제 5항에 있어서,
    상기 모드 전환 정보는 트랜스포트 패킷 레벨에서 adaptation_field()에 포함되거나 시스템 레벨에서 SI 정보에 포함되거나 또는 비디오 레벨에서 비디오 헤더에 포함되어 수신되는 디지털 방송 신호 수신 방법.
  14. 제 5항에 있어서,
    상기 디지털 방송 신호 수신 방법은
    상기 모드 전환 정보를 추출하는 단계 후에, 상기 모드 전환 정보에 따라 Frame-compatible compatible 모드인 경우 입력 영상 신호를 분리 및 병합하고, 2D service compatible 모드인 경우 입력 영상을 바이패스하거나 스위칭하는 단계를 더 포함하는 디지털 방송 신호 수신 방법.
KR1020137022595A 2011-03-07 2012-03-07 디지털 방송 신호 송/수신 방법 및 장치 KR20140018254A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161449718P 2011-03-07 2011-03-07
US61/449,718 2011-03-07
US201161476318P 2011-04-17 2011-04-17
US61/476,318 2011-04-17
PCT/KR2012/001655 WO2012121543A2 (ko) 2011-03-07 2012-03-07 디지털 방송 신호 송/수신 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20140018254A true KR20140018254A (ko) 2014-02-12

Family

ID=46798650

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137022595A KR20140018254A (ko) 2011-03-07 2012-03-07 디지털 방송 신호 송/수신 방법 및 장치

Country Status (6)

Country Link
US (2) US9357196B2 (ko)
EP (1) EP2685727A4 (ko)
KR (1) KR20140018254A (ko)
CN (1) CN103416070B (ko)
CA (1) CA2829112C (ko)
WO (1) WO2012121543A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016047985A1 (ko) * 2014-09-25 2016-03-31 엘지전자 주식회사 3d 방송 신호를 처리하는 방법 및 장치

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103096049A (zh) * 2011-11-02 2013-05-08 华为技术有限公司 一种视频处理方法及系统、相关设备
KR102146081B1 (ko) * 2012-12-11 2020-08-20 한국전자통신연구원 경계 정보 제공 장치 및 방법, 영상 수신 장치 및 방법
US9860515B2 (en) * 2012-12-11 2018-01-02 Electronics And Telecommunications Research Institute Apparatus and method for 3D content broadcasting with boundary information
TWI602144B (zh) 2013-10-02 2017-10-11 國立成功大學 包裝彩色圖框及原始景深圖框之方法、裝置及系統
CN103747360A (zh) * 2013-12-26 2014-04-23 乐视网信息技术（北京）股份有限公司 一种智能电视视频播放方法和设备
US9948952B2 (en) 2014-02-21 2018-04-17 Lg Electronics Inc. Broadcast signal transmitting device and broadcast signal receiving device
GB2534136A (en) * 2015-01-12 2016-07-20 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US10424082B2 (en) 2017-04-24 2019-09-24 Intel Corporation Mixed reality coding with overlays

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4190357B2 (ja) * 2003-06-12 2008-12-03 シャープ株式会社 放送データ送信装置、放送データ送信方法および放送データ受信装置
KR100828358B1 (ko) 2005-06-14 2008-05-08 삼성전자주식회사 영상 디스플레이 모드 전환 방법, 장치, 및 그 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
KR100657322B1 (ko) * 2005-07-02 2006-12-14 삼성전자주식회사 로컬 3차원 비디오를 구현하기 위한 인코딩/디코딩 방법 및장치
EP2618582A1 (en) * 2005-09-16 2013-07-24 Real Inc. Stereoscopic format converter
KR20080108882A (ko) * 2007-06-11 2008-12-16 삼성전자주식회사 2차원/3차원 재생 모드 전환이 가능한 입체 영상비트스트림 생성 방법 및 이를 구현하기 위한 입체 영상비트스트림 재생 방법 및 장치
EP2425631B1 (en) * 2009-04-27 2015-05-20 LG Electronics Inc. Broadcast receiver and 3d video data processing method thereof
JP5463747B2 (ja) * 2009-06-15 2014-04-09 ソニー株式会社 受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造
JP2011066871A (ja) * 2009-08-21 2011-03-31 Sony Corp コンテンツ伝送方法及び表示装置
JP5604827B2 (ja) * 2009-08-21 2014-10-15 ソニー株式会社 送信装置、受信装置、プログラム、及び通信システム
JP4875127B2 (ja) * 2009-09-28 2012-02-15 パナソニック株式会社 三次元画像処理装置
JP4763822B2 (ja) * 2009-09-30 2011-08-31 パナソニック株式会社 映像信号処理装置及び映像信号処理方法
US9258541B2 (en) * 2010-08-17 2016-02-09 Lg Electronics Inc. Apparatus and method for receiving digital broadcasting signal
US8982040B2 (en) * 2010-09-08 2015-03-17 Japan Display Inc. Liquid crystal display device and method of displaying the same
US20120127288A1 (en) * 2010-11-24 2012-05-24 Himax Media Solutions, Inc. 2D-to-3D DELAY COMPENSATION SYSTEM AND METHOD THEREOF

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016047985A1 (ko) * 2014-09-25 2016-03-31 엘지전자 주식회사 3d 방송 신호를 처리하는 방법 및 장치

Also Published As

Publication number Publication date
US20130342646A1 (en) 2013-12-26
CN103416070A (zh) 2013-11-27
CA2829112A1 (en) 2012-09-13
CN103416070B (zh) 2016-10-12
US20160286246A1 (en) 2016-09-29
US9357196B2 (en) 2016-05-31
WO2012121543A3 (ko) 2012-12-20
EP2685727A4 (en) 2014-09-10
WO2012121543A2 (ko) 2012-09-13
CA2829112C (en) 2016-10-04
US9693082B2 (en) 2017-06-27
EP2685727A2 (en) 2014-01-15

Similar Documents

Publication Publication Date Title
US9756380B2 (en) Broadcast receiver and 3D video data processing method thereof
US10341636B2 (en) Broadcast receiver and video data processing method thereof
US9693082B2 (en) Method and device for transmitting/receiving digital broadcast signal
JP6181848B2 (ja) ３ｄ放送信号を処理する方法及び装置
US9485490B2 (en) Broadcast receiver and 3D video data processing method thereof
US20140375767A1 (en) Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional subtitle
US20140071232A1 (en) Image data transmission device, image data transmission method, and image data reception device
KR101977260B1 (ko) 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치
KR20150079577A (ko) 다시점 3dtv 서비스에서 에지 방해 현상을 처리하는 방법 및 장치

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid