KR20110053159A - 비디오 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법과 그 장치, 및 수신 방법과 그 장치 - Google Patents
비디오 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법과 그 장치, 및 수신 방법과 그 장치 Download PDFInfo
- Publication number
- KR20110053159A KR20110053159A KR1020100056756A KR20100056756A KR20110053159A KR 20110053159 A KR20110053159 A KR 20110053159A KR 1020100056756 A KR1020100056756 A KR 1020100056756A KR 20100056756 A KR20100056756 A KR 20100056756A KR 20110053159 A KR20110053159 A KR 20110053159A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- stream
- reproduction
- additional
- video
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/24—Systems for the transmission of television signals using pulse code modulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Abstract
2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오 데이터, 디스플레이 화면 상에 비디오와 함께 재생될 부가 재생 정보의 데이터 및 부가 재생 정보의 3차원 재생을 위한 정보를 포함하도록 비디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림을 생성하고, 비디오 ES스트림, 및 부가 데이터 스트림을 패킷화하여 비디오 PES패킷, 데이터 PES패킷 및 보조 정보 패킷을 생성하고, 비디오 PES패킷, 부가 데이터 PES패킷 및 보조 정보 패킷을 다중화하여 TS스트림을 생성하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법이 개시된다.
Description
본 발명은, 입체 비디오를 포함하는 멀티미디어의 부복호화에 관한 것이다.
현실감과 입체감을 수반한 3차원 컨텐츠에 대한 요구가 증가하고 있다. 3차원으로 재생되도록 제작된 방송용 컨텐츠 또는 프로그램도 등장하고 있다.
프로그램은 상호 연관되는 비디오 및 오디오 정보를 제공하며, 프로그램 또는 채널에 대한 부가 설명 또는 일시 및 장소와 같은 부가 정보를 제공하기 위해, 비디오와 함께 화면 상에 재생될 수 있는 시각 자료가 부가될 수도 있다.
예를 들어, 디지털 TV(DTV)의 클로즈드 캡션(Closed Caption)은, TV 프로그램 스트림 내의 일정 영역에 존재하는 자막 데이터로서, 일반적으로 TV 화면 상에 표시되지는 않으나, 사용자의 선택에 의해 TV 화면 상에 표시될 수 있다. 클로즈드 캡션은 청각 장애인을 위해 제공되거나, 어학용 등의 부가적인 용도로 널리 사용되고 있다.
디지털 TV(DTV)의 서브타이틀(Subtitle)은, 캐릭터, 비트맵 등의 이미지, 프레임, 아웃라인 또는 쉐도우 등을 이용하여, 텍스트에 비해 시각적 효과가 강화된 시각 자료로, 비디오와 함께 화면 상에 표시될 수 있다.
디지털 TV(DTV)의 EPG(Electronic Program Guide) 정보는, TV 화면 상에 표시되어 채널 또는 프로그램 정보를 제공하므로, 시청자가 채널을 전환하거나 현 채널 프로그램의 부가 정보를 확인하기 위해 EPG 정보를 이용할 수 있다.
3차원 비디오가 재생되는 경우, 화면 상에 비디오와 함께 재생될 부가적인 시각 자료들의 처리 방식이 연구되고 있다.
본 발명의 일 실시예에 따른 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법은, 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오 데이터, 관련 오디오 데이터, 디스플레이 화면 상에 상기 비디오 데이터와 함께 재생될 부가 재생 정보의 데이터 및 상기 부가 재생 정보의 3차원 재생을 위한 정보를 포함하도록, 비디오 ES스트림(Elementary Stream), 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림을 생성하는 단계; 상기 비디오 ES스트림, 상기 오디오 ES스트림 및 상기 부가 데이터 스트림을 패킷화하여 비디오 PES패킷(Packetized Elementary Stream), 오디오 PES패킷, 데이터 PES패킷 및 보조 정보 패킷을 생성하는 단계; 및 상기 비디오 PES패킷, 상기 오디오 PES패킷, 상기 부가 데이터 PES패킷 및 상기 보조 정보 패킷을 다중화하여, TS스트림을 생성하는 단계를 포함한다.
일 실시예에 따른 상기 부가 재생 정보의 3차원 재생을 위한 정보는, 상기 비디오 데이터의 3차원 재생 중 상기 부가 재생 정보의 깊이감을 조절하기 위한 부가 재생 정보의 오프셋(offset)에 관한 정보를 포함한다. 일 실시예에 따른 상기 텍스트의 오프셋은, 3차원 부가 재생 정보의 제 1 시점 부가 재생 정보 및 제 2 시점 부가 재생 정보 간의 뎁스(depth) 차이, 변이(disparity) 및 양안시차(parallax) 중 한 단위로 표현된 상기 3차원 부가 재생 정보의 이동량을 나타내는 시차, 상기 3차원 부가 재생 정보의 좌표 및 뎁스 중 적어도 하나를 나타낼 수 있다.
일 실시예에 따른 상기 부가 재생 정보의 3차원 재생을 위한 정보는, 상기 비디오 데이터의 3차원 재생 중 상기 텍스트의 오프셋 방향에 관한 정보를 더 포함할 수 있다. 일 실시예에 따른 상기 부가 재생 정보의 3차원 재생을 위한 정보는, 상기 부가 재생 정보의 오프셋이, 뎁스가 원점인 기본 평면(zero plane)에 대비한 제 1 이동량, 및 상기 부가 재생 정보와 함께 재생될 비디오의 뎁스, 변이 및 양안시차 중 적어도 하나에 대비한 제 2 이동량 중 어느 하나로 표현되었는지를 나타내는 오프셋 타입 정보를 더 포함할 수 있다. 일 실시예에 따른 제 2 항에 있어서, 상기 부가 재생 정보의 3차원 재생을 위한 정보는, 상기 텍스트 데이터의 2차원 또는 3차원 식별 정보, 상기 텍스트 데이터의 재생시 비디오를 2차원으로 재생할지 여부를 나타내는 비디오 2차원 재생 정보, 상기 텍스트 데이터가 표시될 영역의 식별 정보, 상기 텍스트 데이터가 표시될 시간 관련 정보 및 상기 부가 재생 정보의 3차원 재생 안정성 정보 중 적어도 하나를 더 포함할 수 있다.
일 실시예에 따른 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 생성 단계는, 상기 비디오 ES스트림에 상기 비디오 데이터와 함께 상기 디스플레이 화면상에 재생되기 위한 클로즈드 캡션(Closed Caption) 데이터를 삽입하는 단계를 포함할 수 있다. 일 실시예에 따른 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 생성 단계는, 상기 클로즈드 캡션의 3차원 재생을 위한 정보를 상기 비디오 ES스트림, 상기 비디오 ES스트림의 헤더, 상기 부가 데이터 중 적어도 하나에 삽입하는 단계를 포함할 수 있다. 일 실시예에 따른 상기 클로즈드 캡션의 3차원 재생을 위한 정보는, 상기 클로즈드 캡션 데이터를 대체하여 3차원 클로즈드 캡션 강조용 데이터를 이용할지 여부를 나타내는 3차원 캡션 강조 정보를 포함할 수 있다.
일 실시예에 따른 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 생성 단계는, 상기 부가 데이터 스트림으로서, 상기 비디오 데이터와 함께 상기 디스플레이 화면 상에 재생될 서브타이틀(Subtitle) 데이터에 대한 데이터 스트림을 생성하는 단계를 포함할 수 있다. 일 실시예에 따른 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 생성 단계는, 상기 서브타이틀의 3차원 재생을 위한 정보를 상기 부가 데이터 PES패킷 및 상기 부가 데이터 PES패킷의 헤더 중 적어도 하나에 삽입하는 단계를 더 포함할 수 있다.
상기 멀티미디어 스트림이 ANSI/SCTE (American National Strandard Institue/Society of Cable Telecommunications Engineers) 기반의 케이블 통신 시스템에 의해 생성되는 경우, 일 실시예에 따른 상기 서브타이틀의 3차원 재생을 위한 정보는, 3차원 서브타이틀의 비트맵 및 프레임 중 적어도 하나의 이동량을 나타내는 시차 정보, 상기 3차원 서브타이틀의 뎁스 정보 및 좌표 정보 중 적어도 하나를 나타내는 시차 정보를 포함할 수 있다.
일 실시예에 따른 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 생성 단계는, 상기 멀티미디어 스트림이 DVB 기반의 통신 시스템에 의해 생성되는 경우, 상기 데이터 스트림의 페이지 구성 세그먼트(Page Composition Segment)의 보류 필드에, 현재 페이지 내의 영역별 오프셋 정보를 삽입할 수 있다.
일 실시예에 따른 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 생성 단계는, 상기 비디오 데이터와 함께 상기 디스플레이 화면 상에 재생될 EPG(Electronic Program Guide) 정보 및 상기 EPG 정보의 3차원 재생을 위한 정보를 상기 보조 정보 스트림에 삽입하는 단계를 포함할 수 있다. 일 실시예에 따른 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 생성 단계는, 상기 멀티미디어 스트림이 ATSC 기반의 통신 시스템에 의해 생성되는 경우, 상기 EPG 정보의 3차원 재생을 위한 정보는, ATSC의 PSIP(Program Specific Information Protocol) 테이블 내의 서술자(Descriptor) 필드에 삽입될 수 있다. 일 실시예에 따른 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 생성 단계는, 상기 멀티미디어 스트림이 DVB 기반의 통신 시스템에 의해 생성되는 경우, DVB의 SI(Service Information) 테이블 내의 서술자 필드에 상기 EPG 정보의 3차원 재생을 위한 정보를 삽입할 수도 있다.
본 발명의 일 실시예에 따른 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법은, 멀티미디어 스트림에 대한 TS스트림을 수신하고 역다중화하여, 비디오 PES패킷, 오디오 PES패킷, 부가 데이터 PES패킷 및 보조 정보 패킷을 추출하는 단계; 상기 비디오 PES패킷, 상기 오디오 PES패킷, 상기 데이터 PES패킷 및 상기 보조 정보 패킷으로부터, 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오 데이터에 대해 재생되기 위한 부가 재생 정보의 데이터 및 상기 부가 재생 정보의 3차원 재생을 위한 정보를 포함하는, 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림을 추출하는 단계; 상기 비디오 ES스트림, 상기 오디오 ES스트림, 상기 부가 데이터 스트림 및 상기 보조 정보 스트림로부터 비디오 데이터, 오디오 데이터, 부가 데이터 및 상기 부가 재생 데이터를 복원하고, 상기 부가 재생 정보의 3차원 재생을 위한 정보를 추출하는 단계; 및 상기 복원된 비디오의 재생과 함께, 상기 복원된 부가 재생 정보의 3차원 재생을 위한 정보에 기초하여 상기 부가 재생 정보를 3차원으로 재생하는 단계를 포함한다.
일 실시예에 따른 상기 부가 재생 정보의 3차원 재생 단계는, 상기 부가 재생 정보의 3차원 재생을 위한 정보 중, 상기 부가 재생 정보의 오프셋 및 오프셋 방향에 기초하여, 상기 부가 재생 정보를 상기 오프셋만큼 양 또는 음의 방향으로 이동시키는 단계를 포함하고, 상기 오프셋은, 상기 비디오 데이터의 뎁스, 변이 및 양안시차 중 하나로 표현된 상기 부가 재생 정보의 이동량을 나타낼 수 있다.
일 실시예에 따른 상기 부가 재생 정보의 3차원 재생 단계는, 상기 비디오 2차원 재생 정보에 기초하여, 상기 부가 재생 정보를 3차원으로 재생할 때 해당 비디오는 2차원으로 재생하는 단계를 포함할 수 있다. 일 실시예에 따른 상기 부가 재생 정보의 3차원 재생 단계는, 상기 부가 재생 정보가 표시될 시간 관련 정보에 기초하여, 상기 부가 재생 정보 및 해당 비디오를 동기화하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 부가 재생 정보의 3차원 재생 단계는, 상기 부가 재생 정보의 3차원 재생 안정성 정보에 기초하여, 상기 부가 재생 정보의 3차원 재생의 안정성을 결정하는 단계를 포함할 수 있다. 일 실시예에 따른 상기 부가 재생 정보의 3차원 재생 단계는, 상기 부가 재생 정보의 3차원 재생 안정성이 있다고 결정되면, 상기 부가 재생 정보를 3차원으로 재생하는 단계를 더 포함할 수 있다.
일 실시예에 따른 상기 부가 재생 정보의 3차원 재생 단계는, 상기 부가 재생 정보의 3차원 재생 안정성이 없다고 결정되면, 해당 비디오의 변이와 상기 부가 재생 정보의 오프셋을 비교하는 단계를 더 포함할 수 있다.일 실시예에 따른, 상기 부가 재생 정보의 3차원 재생 단계는, 상기 해당 비디오 데이터의 변이와 상기 부가 재생 정보의 오프셋의 비교 결과, 상기 부가 재생 정보의 오프셋이 상기 해당 비디오 데이터의 변이의 안전 구간에 속하는지 여부에 따라, 상기 텍스트 데이터의 3차원 재생을 결정하는 단계를 더 포함할 수 있다. 일 실시예에 따른 상기 부가 재생 정보의 3차원 재생 단계는, 상기 해당 비디오의 변이와 상기 부가 재생 정보의 오프셋의 비교 결과, 상기 부가 재생 정보의 오프셋이 상기 해당 비디오의 변이의 안전 구간에 속하지 않는 경우, 상기 부가 재생 정보를 후처리 작업 후 재생하는 단계를 더 포함할 수 있다.
일 실시예에 따른 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 추출 단계는, 상기 비디오 ES스트림으로부터, 상기 비디오와 함께 상기 디스플레이 화면 상에 재생될 클로즈드 캡션 데이터를 추출하는 단계를 포함할 수 있다. 일 실시예에 따른 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 추출 단계는, 상기 클로즈드 캡션의 3차원 재생을 위한 정보를 상기 비디오 ES스트림, 상기 비디오 ES스트림의 헤더, 상기 보조 정보 스트림 중 적어도 하나로부터 추출하는 단계를 포함할 수 있다. 일 실시예에 따른 상기 클로즈드 캡션의 3차원 재생을 위한 정보는, 상기 클로즈드 캡션 데이터를 대체하여 3차원 클로즈드 캡션 강조용 데이터를 이용할지 여부를 나타내는 3차원 캡션 강조 정보를 포함할 수 있다. 일 실시예에 따른 상기 부가 재생 정보의 3차원 재생 단계는, 상기 클로즈드 캡션의 3차원 재생을 위한 정보에 기초하여, 상기 클로즈드 캡션 데이터를 3차원으로 재생할 수 있다.
일 실시예에 따른 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 추출 단계는, 상기 부가 데이터 스트림으로서, 상기 비디오 데이터와 동시에 재생되기 위한 서브타이틀 데이터에 대한 서브타이틀 데이터 스트림을 추출하는 단계를 포함할 수 있다. 일 실시예에 따른 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 추출 단계는, 상기 서브타이틀의 3차원 재생을 위한 정보를 상기 부가 데이터 PES패킷 및 상기 부가 데이터 PES패킷의 헤더 중 적어도 하나로부터 추출하는 단계를 더 포함할 수 있다.
상기 멀티미디어 스트림이 ANSI/SCTE 기반의 케이블 통신 시스템을 통해 수신된 경우, 일 실시예에 따른 상기 서브타이틀의 3차원 재생을 위한 정보는, 3차원 서브타이틀의 비트맵 및 프레임 중 적어도 하나의 이동량을 나타내는 시차 정보, 상기 3차원 서브타이틀의 뎁스 정보 및 좌표 정보 중 적어도 하나를 나타내는 오프셋 정보를 포함할 수 있다. 일 실시예에 따른 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 추출 단계는, 상기 멀티미디어 스트림이 DVB 기반의 통신 시스템을 통해 수신된 경우, 상기 데이터 스트림의 페이지 구성 세그먼트의 보류 필드로부터, 현재 페이지 내의 영역별 오프셋 정보를 추출할 수 있다. 일 실시예에 따른 상기 부가 재생 정보의 3차원 재생 단계는, 상기 서브타이틀의 3차원 재생을 위한 정보에 기초하여, 상기 서브타이틀 데이터를 3차원으로 재생할 수 있다.
일 실시예에 따른 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 추출 단계는, 상기 비디오와 동시에 재생되기 위한 EPG(Electronic Program Guide) 데이터 및 상기 EPG 정보의 3차원 재생을 위한 정보를 상기 보조 정보 스트림으로부터 추출하는 단계를 포함할 수 있다. 일 실시예에 따른 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 추출 단계는, 상기 EPG 정보의 3차원 재생을 위한 정보를, ATSC- PSIP 테이블 내의 서술자 필드, 또는 DVB-SI 테이블 내의 서술자 필드로부터 추출할 수 있다. 일 실시예에 따른 상기 부가 재생 정보의 3차원 재생 단계는, 상기 EPG 정보의 3차원 재생을 위한 정보에 기초하여, 상기 EPG 정보를 3차원으로 재생할 수 있다.
본 발명의 일 실시예에 따른 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 장치는, 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오 데이터, 관련 오디오 데이터, 디스플레이 화면 상에 상기 비디오와 함께 재생될 부가 재생 정보의 데이터 및 상기 부가 재생 정보의 3차원 재생을 위한 정보를 포함하는, 비디오 ES스트림(Elementary Stream), 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림을 생성하고, 상기 비디오 ES스트림, 상기 오디오 ES스트림 및 상기 부가 데이터 스트림을 패킷화하여 비디오 PES패킷(Packetized Elementary Stream), 오디오 PES패킷, 부가 데이터 PES패킷 및 보조 정보 패킷을 생성하는 프로그램 부호화부; 및 상기 비디오 PES패킷, 상기 오디오 PES패킷, 상기 부가 데이터 PES패킷 및 상기 보조 정보 패킷을 다중화하여, TS스트림을 생성하는 TS스트림 생성부를 포함한다.
일 실시예에 따른 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 장치는, 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오 데이터를 포함하는 멀티미디어 스트림에 대한 TS스트림을 수신하는 수신부; 상기 수신된 TS스트림을 역다중화하여, 비디오 PES패킷, 오디오 PES패킷, 부가 데이터 PES패킷 및 보조 정보 패킷을 추출하고, 상기 비디오 PES패킷, 상기 오디오 PES패킷, 상기 부가 데이터 PES패킷 및 상기 보조 정보 패킷으로부터, 디스플레이 화면 상에 상기 비디오와 함께 재생될 부가 재생 정보의 데이터 및 상기 부가 재생 정보의 3차원 재생을 위한 정보를 포함하는, 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림를 추출하는 역다중화부; 상기 비디오 ES스트림, 상기 오디오 ES스트림, 상기 부가 데이터 스트림 및 상기 보조 정보 스트림으로부터 비디오 데이터, 오디오 데이터, 부가 데이터 및 상기 부가 재생 데이터를 복원하고, 상기 부가 재생 정보의 3차원 재생을 위한 정보를 추출하는 복호화부; 및 상기 복원된 비디오의 재생과 함께, 상기 부가 재생 정보의 3차원 재생을 위한 정보에 기초하여 상기 복원된 부가 재생 정보를 3차원으로 재생하는 재생부를 포함한다.
본 발명의, 일 실시예에 따른 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 포함한다. 또한 본 발명은, 일 실시예에 따른 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 포함한다.
도 1 은 일 실시예에 따른 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 장치의 블록도를 도시한다.
도 2 는 일 실시예에 따른 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 장치의 블록도를 도시한다.
도 3 은 3차원 비디오 및 3차원 부가 재생 정보가 동시에 재생되는 장면을 도시한다.
도 4 은 3차원 비디오 및 3차원 부가 재생 정보가 역전되어 재생되는 현상을 도시한다.
도 5 는 각종 부가 재생 데이터가 포함되는 MPEG TS스트림 구조를 도시한다.
도 6 는 제 1 실시예에 따른 클로즈드 캡션 재생부의 세부 블록도를 도시한다.
도 7 는 제 1 실시예에 따라, 클로즈드 캡션의 깊이감을 조절하는 화면의 투시도를 도시한다.
도 8 은 제 1 실시예에 따라, 클로즈드 캡션의 깊이감을 조절하는 화면의 평면도를 도시한다.
도 9 은 제 1 실시예에 따른 멀티미디어 스트림 수신 장치가 3차원 캡션 강조 정보 및 클로즈드 데이터의 오프셋 정보를 이용하는 방법의 흐름도를 도시한다.
도 10 는 제 1 실시예에 따른 멀티미디어 스트림 수신 장치가 클로즈드 캡션의 3차원 재생 안정성 정보를 이용하는 방법의 흐름도를 도시한다.
도 11 는 제 1 실시예에 따른 클로즈드 캡션의 3차원 재생 안정성 정보에 기초하여, 안정성이 보장되지 않는 경우에 수행하는 후처리 방법의 일례를 도시한다.
도 12 및 13 는 제 1 실시예에 따른 클로즈드 캡션의 3차원 재생 안정성 정보에 기초하여, 안정성이 보장되지 않는 경우에 수행하는 후처리 방법의 다른 예를 도시한다.
도 14 및 15 는 제 1 실시예에 따른 클로즈드 캡션의 3차원 재생 안정성 정보에 기초하여, 안정성이 보장되지 않는 경우에 수행하는 후처리 방법의 또 다른 예를 도시한다.
도 16 는 제 2 실시예 및 제 3 실시예에 따라, 서브타이틀의 3차원 재생을 위한 데이터스트림 생성 장치의 블록도를 도시한다.
도 17 은 DVB 통신 방식에 따르는 서브타이틀 데이터의 계층적 구조를 도시한다.
도 18 및 19는 DVB 통신 방식에 따라, 서브타이틀 PES패킷을 가리키는 PMT테이블(Program Map Table) 내의 서브타이틀 서술자의 두 가지 표현 방식을 도시한다.
도 20 는 DVB 통신 방식에 따르는 서브타이틀 데이터를 포함하는 데이터스트림 구조의 일례를 도시한다.
도 21 는 DVB 통신 방식에 따르는 컴포지션 페이지의 구조의 일례를 도시한다.
도 22 은 DVB 통신 방식에 따르는 서브타이틀 복호화 모델의 흐름도를 도시한다.
도 23, 24 및 25 는 부호화 데이터 버퍼(Coded Data Buffer), 구성 버퍼(Composition Buffer), 픽셀 버퍼(Pixel Buffer)에 저장된 서브타이틀 관련 데이터를 도시한다.
도 26 는 제 2 실시예에 따른 서브타이틀의 영역별 깊이감 조절 방식을 도시한다.
도 27 는 제 2 실시예에 따른 서브타이틀의 페이지별 깊이감 조절 방식을 도시한다.
도 28 은 케이블 방송 방식에 따르는 서브타이틀의 비트맵 포맷의 구성요소들을 도시한다.
도 29 은 케이블 방송 방식에 따르는 서브타이틀의 3차원 재생을 위한 서브타이틀 처리 모델의 흐름도를 도시한다.
도 30 은 케이블 방송 방식에 따르는 서브타이틀 처리 모델을 통해, 서브타이틀이 디스플레이 큐로부터 그래픽 평면으로 출력되는 과정을 도시한다.
도 31 는 제 3 실시예에 따른 케이블 방송 방식에 따르는 서브타이틀의 3차원 재생을 위한 서브타이틀 처리 모델의 흐름도를 도시한다.
도 32 은 제 3 실시예에 따라 케이블 방송 방식에 따르는 서브타이틀의 깊이감을 조절하는 일 실시예를 도시한다.
도 33 은 제 3 실시예에 따라 케이블 방송 방식에 따르는 서브타이틀의 깊이감을 조절하는 다른 실시예를 도시한다.
도 34 은 제 3 실시예에 따라 케이블 방송 방식에 따르는 서브타이틀의 깊이감을 조절하는 또 다른 실시예를 도시한다.
도 35 는 EPG 정보를 전송하는 디지털 통신 시스템의 블록도를 도시한다.
도 36 은 ATSC 통신 방식에 따라, EPG 정보가 수록되는 PSIP 테이블들을 도시한다.
도 37 는 DVB 통신 방식에 따라, EPG 정보가 수록되는 SI 테이블들을 도시한다.
도 38 는 EPG 정보가 도시된 화면 및 각각의 정보의 소스를 도시한다.
도 39 은 제 4 실시예에 따른 TS스트림 복호화 시스템의 블록도를 도시한다.
도 40 은 제 4 실시예에 따른 TS스트림 복호화 시스템 중 디스플레이 처리부의 블록도를 도시한다.
도 41 은 일 실시예에 따른 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법의 흐름도를 도시한다.
도 42 는 일 실시예에 따른 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법의 흐름도를 도시한다.
도 2 는 일 실시예에 따른 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 장치의 블록도를 도시한다.
도 3 은 3차원 비디오 및 3차원 부가 재생 정보가 동시에 재생되는 장면을 도시한다.
도 4 은 3차원 비디오 및 3차원 부가 재생 정보가 역전되어 재생되는 현상을 도시한다.
도 5 는 각종 부가 재생 데이터가 포함되는 MPEG TS스트림 구조를 도시한다.
도 6 는 제 1 실시예에 따른 클로즈드 캡션 재생부의 세부 블록도를 도시한다.
도 7 는 제 1 실시예에 따라, 클로즈드 캡션의 깊이감을 조절하는 화면의 투시도를 도시한다.
도 8 은 제 1 실시예에 따라, 클로즈드 캡션의 깊이감을 조절하는 화면의 평면도를 도시한다.
도 9 은 제 1 실시예에 따른 멀티미디어 스트림 수신 장치가 3차원 캡션 강조 정보 및 클로즈드 데이터의 오프셋 정보를 이용하는 방법의 흐름도를 도시한다.
도 10 는 제 1 실시예에 따른 멀티미디어 스트림 수신 장치가 클로즈드 캡션의 3차원 재생 안정성 정보를 이용하는 방법의 흐름도를 도시한다.
도 11 는 제 1 실시예에 따른 클로즈드 캡션의 3차원 재생 안정성 정보에 기초하여, 안정성이 보장되지 않는 경우에 수행하는 후처리 방법의 일례를 도시한다.
도 12 및 13 는 제 1 실시예에 따른 클로즈드 캡션의 3차원 재생 안정성 정보에 기초하여, 안정성이 보장되지 않는 경우에 수행하는 후처리 방법의 다른 예를 도시한다.
도 14 및 15 는 제 1 실시예에 따른 클로즈드 캡션의 3차원 재생 안정성 정보에 기초하여, 안정성이 보장되지 않는 경우에 수행하는 후처리 방법의 또 다른 예를 도시한다.
도 16 는 제 2 실시예 및 제 3 실시예에 따라, 서브타이틀의 3차원 재생을 위한 데이터스트림 생성 장치의 블록도를 도시한다.
도 17 은 DVB 통신 방식에 따르는 서브타이틀 데이터의 계층적 구조를 도시한다.
도 18 및 19는 DVB 통신 방식에 따라, 서브타이틀 PES패킷을 가리키는 PMT테이블(Program Map Table) 내의 서브타이틀 서술자의 두 가지 표현 방식을 도시한다.
도 20 는 DVB 통신 방식에 따르는 서브타이틀 데이터를 포함하는 데이터스트림 구조의 일례를 도시한다.
도 21 는 DVB 통신 방식에 따르는 컴포지션 페이지의 구조의 일례를 도시한다.
도 22 은 DVB 통신 방식에 따르는 서브타이틀 복호화 모델의 흐름도를 도시한다.
도 23, 24 및 25 는 부호화 데이터 버퍼(Coded Data Buffer), 구성 버퍼(Composition Buffer), 픽셀 버퍼(Pixel Buffer)에 저장된 서브타이틀 관련 데이터를 도시한다.
도 26 는 제 2 실시예에 따른 서브타이틀의 영역별 깊이감 조절 방식을 도시한다.
도 27 는 제 2 실시예에 따른 서브타이틀의 페이지별 깊이감 조절 방식을 도시한다.
도 28 은 케이블 방송 방식에 따르는 서브타이틀의 비트맵 포맷의 구성요소들을 도시한다.
도 29 은 케이블 방송 방식에 따르는 서브타이틀의 3차원 재생을 위한 서브타이틀 처리 모델의 흐름도를 도시한다.
도 30 은 케이블 방송 방식에 따르는 서브타이틀 처리 모델을 통해, 서브타이틀이 디스플레이 큐로부터 그래픽 평면으로 출력되는 과정을 도시한다.
도 31 는 제 3 실시예에 따른 케이블 방송 방식에 따르는 서브타이틀의 3차원 재생을 위한 서브타이틀 처리 모델의 흐름도를 도시한다.
도 32 은 제 3 실시예에 따라 케이블 방송 방식에 따르는 서브타이틀의 깊이감을 조절하는 일 실시예를 도시한다.
도 33 은 제 3 실시예에 따라 케이블 방송 방식에 따르는 서브타이틀의 깊이감을 조절하는 다른 실시예를 도시한다.
도 34 은 제 3 실시예에 따라 케이블 방송 방식에 따르는 서브타이틀의 깊이감을 조절하는 또 다른 실시예를 도시한다.
도 35 는 EPG 정보를 전송하는 디지털 통신 시스템의 블록도를 도시한다.
도 36 은 ATSC 통신 방식에 따라, EPG 정보가 수록되는 PSIP 테이블들을 도시한다.
도 37 는 DVB 통신 방식에 따라, EPG 정보가 수록되는 SI 테이블들을 도시한다.
도 38 는 EPG 정보가 도시된 화면 및 각각의 정보의 소스를 도시한다.
도 39 은 제 4 실시예에 따른 TS스트림 복호화 시스템의 블록도를 도시한다.
도 40 은 제 4 실시예에 따른 TS스트림 복호화 시스템 중 디스플레이 처리부의 블록도를 도시한다.
도 41 은 일 실시예에 따른 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법의 흐름도를 도시한다.
도 42 는 일 실시예에 따른 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법의 흐름도를 도시한다.
이하, 도 1 내지 도 42를 참조하여, 본 발명의 일 실시예에 따른 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 장치 및 멀티미디어 스트림 수신 장치와, 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법 및 멀티미디어 스트림 수신 방법이 상술된다.
본 명세서에서 부가 재생 정보는, 프로그램과 관련하여 화면 상에 비디오와 함께 디스플레이될 정보로서, 클로즈드 캡션, 서브타이틀 및 EPG 정보를 포함할 수 있다. 본 발명은, 클로즈드 캡션, 서브타이틀 및 EPG 정보가 3차원으로 재생되기 위한 다양한 실시예들을 개시한다. 구체적으로, 도 6 내지 도 15를 참조하여 CEA 방식에 따른 클로즈드 캡션에 관한 실시예들, 도 16 내지 도 34를 참조하여 서브타이틀에 관한 실시예들, 및 도 35 내지 도 40을 참조하여 EPG 정보에 관한 실시예들이 상술된다.
도 1 은 일 실시예에 따른 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 장치의 블록도를 도시한다.
일 실시예에 따른 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 장치(100, 이하 '멀티미디어 스트림 생성 장치'라고 지칭한다.)는 프로그램 부호화부(110), TS스트림 생성부(120) 및 전송부(130)를 포함한다.
일 실시예에 따른 프로그램 부호화부(110)는, 부호화된 비디오 데이터, 부호화된 오디오 데이터와 함께 부가 재생 정보의 데이터를 입력받는다. 이하 설명의 편의를 위해, 화면 상에 비디오와 함께 디스플레이될 클로즈드 캡션, 서브타이틀 및 EPG 정보과 같은 부가 재생 정보의 데이터로서, 스트림상에 삽입되는 데이터를 '부가 재생 데이터'로 지칭한다.
일 실시예에 따른 프로그램 부호화부(110)에 의해 생성되는 프로그램의 비디오 데이터는 2차원 비디오 데이터 및 3차원 비디오 데이터 중 적어도 하나를 포함한다. 일 실시예에 따른 프로그램과 관련된 부가 재생 데이터는, 프로그램에 대한 클로즈드 캡션(Closed Caption) 데이터, 서브타이틀(Subtitle) 데이터 및 EPG (Electronic Program Guide) 데이터를 포함할 수 있다.
또한, 일 실시예에 따른 부가 재생 데이터는 3차원 비디오 데이터와 함께 3차원으로 재생될 수 있도록, 부가 재생 정보의 깊이감이 조절될 수 있다. 이를 위해 일 실시예에 따른 프로그램 부호화부(110)는, 부호화된 비디오 데이터, 부호화된 오디오 데이터, 부가 재생 데이터와 함께 부가 재생 정보의 3차원 재생을 위한 정보를 포함하는 비디오 ES스트림(Elementary Stream), 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림을 생성한다.
부가 데이터는, 비디오 데이터 및 오디오 데이터 이외의 컨트롤 데이터 등의 각종 데이터를 포함할 수 있다. 보조 정보 스트림은, PMT테이블(Program Map Table), PAT테이블(Program Assoication Table) 등의 PSI정보(Program Specific Information), ATSC PSIP정보(Advanced Television Standards Committee Program Specific Information Protocol) 또는 DVB SI정보(Digital Video Broadcasting Service Information) 등의 섹션 정보를 포함할 수 있다.
일 실시예에 따른 프로그램 부호화부(110)는, 비디오 ES스트림, 오디오 ES스트림 및 부가 데이터 스트림을 패킷화하여 비디오 PES패킷(Packetized Elementary Stream), 오디오 PES패킷, 부가 데이터 PES패킷을 생성하고, 보조 정보 패킷을 생성한다.
일 실시예에 따른 TS스트림 생성부(120)는, 프로그램 부호화부(110)로부터 출력된 비디오 PES패킷, 오디오 PES패킷, 부가 데이터 PES패킷 및 보조 정보 패킷을 다중화하여, TS스트림을 생성한다. 일 실시예에 따른 전송부(130)는, TS스트림 생성부(120)로부터 출력된 TS스트림을 소정 채널을 통해 전송한다.
일 실시예에 따른 프로그램 부호화부(110)에 의해 프로그램과 함께 멀티미디어 스트림에 삽입되어 전송되는 부가 재생 정보의 3차원 재생을 위한 정보는, 3차원 비디오의 재생시 3차원으로 재생되는 부가 재생 정보의 깊이감을 조절하기 위한 정보를 포함한다.
부가 재생 정보의 깊이감을 조절하기 위한 정보의 일례로, 좌시점 영상을 위한 좌시점 부가 재생 정보 및 우시점 영상을 위한 우시점 부가 재생 정보 간의 뎁스(depth) 차이, 변이(disparity), 양안시차(parallax) 등의 시차 정보, 각 시점별 부가 재생 정보의 좌표 정보 또는 뎁스 정보 등을 포함하는 부가 재생 정보의 오프셋 정보 중 적어도 하나를 포함할 수 있다. 이하 다양한 실시예에서, 오프셋 정보 중 변이, 좌표 등 어느 하나만이 예시된다 하더라도, 각 시점별로 다른 오프셋 정보에 대해서도 동일한 방식의 실시예가 구현될 수 있다.
일 실시예에 따른 부가 재생 정보의 오프셋은, 3차원 비디오 중 제 1 시점 부가 재생 정보 및 제 2 시점 부가 재생 정보 중, 한 시점의 부가 재생 정보의 위치에 대비하여 나머지 시점 비디오에 대한 부가 재생 정보의 이동량을 나타낼 수 있다. 또한 부가 재생 정보의 오프셋은, 현재 비디오의 뎁스, 변이 및 양안시차 중 하나에 대비하여, 시점별 부가 재생 정보의 이동량을 나타낼 수도 있다.
또한 일 실시예에 따른 부가 재생 정보의 오프셋은, 부가 재생 정보의 상대적인 뎁스, 변이 또는 양안시차가 아니라, 기본 평면(zero parallax, zero plane)에 대한 부가 재생 정보의 절대적 위치를 포함할 수도 있다.
일 실시예에 따른 부가 재생 정보의 3차원 재생을 위한 정보는, 상기 부가 재생 정보의 오프셋 방향에 관한 정보를 더 포함한다. 일 실시예에 따른 부가 재생 정보의 오프셋 방향은, 3차원 비디오의 제 1 시점 부가 재생 정보에 대해 양의 방향으로 설정되고, 제 2 시점 부가 재생 정보에 대해 음의 방향으로 설정될 수 있다.
일 실시예에 따른 부가 재생 정보의 3차원 재생을 위한 정보는, 부가 재생 정보의 오프셋이, 기본 평면에 대비한 절대적인 위치를 나타내는 제 1 오프셋 타입 및 비디오 데이터에 대비한 상대적 이동량으로 나타내는 제 2 오프셋 타입 중 어느 하나인지 여부를 나타내는 오프셋 타입 정보를 더 포함할 수 있다.
또한, 일 실시예에 따른 부가 재생 정보의 3차원 재생을 위한 정보는, 부가 재생 정보의 2차원/3차원 식별 정보, 부가 재생 정보의 재생시 비디오 데이터를 2차원으로 재생할지 여부를 나타내는 비디오 2차원 재생 정보, 부가 재생 정보가 표시될 영역의 식별 정보, 부가 재생 정보가 표시될 시간 관련 정보 및 부가 재생 정보의 3차원 재생 안정성 정보 중 적어도 하나를 더 포함할 수 있다.
멀티미디어 스트림이 MPEG-2 (Moving Picture Expert Group-2) 기반의 데이터 통신 시스템에 의해 부호화되는 경우, 일 실시예에 따른 프로그램 부호화부(110)는 3차원 비디오에 대한 양안시차 정보, 변이 정보 및 뎁스 정보 중 적어도 하나를, 비디오 ES스트림 중 패럴럭스 인포 익스텐션(parallax info extension) 필드, 뎁스 맵(depth map) 및 클로즈드 캡션 데이터 필드의 보류(reserved) 필드 중 적어도 하나에 삽입할 수 있다.
또한 멀티미디어 스트림이 ISO (International Organization for Standardization) 기반의 미디어 파일 포맷으로 생성되는 경우, 일 실시예에 따른 프로그램 부호화부(110)는, 3차원 비디오에 대한 양안시차 정보, 변이 정보 및 뎁스 정보 중 적어도 하나를, 미디어 파일 포맷 내의 스테레오스코픽 카메라 및 디스플레이 관련 정보가 포함되는 scdi (Stereoscopic Camera And Display Information) 영역에 삽입할 수도 있다.
부가 재생 정보가, 클로즈드 캡션, 서브타이틀 또는 EPG 정보인지에 따라 일 실시예에 따른 프로그램 부호화부(110)의 동작이 다를 수 있다.
제 1 실시예에 따른 프로그램 부호화부(110)는, CEA 표준에 따른 클로즈드 캡션 데이터를 비디오 ES스트림에 삽입한다. 제 1 실시예에 따른 프로그램 부호화부(110)는 클로즈드 캡션의 3차원 재생을 위한 정보(이하, '클로즈드 캡션 3차원 재생 정보'라 축약한다.)를 비디오 ES스트림, 비디오 ES스트림의 헤더, 또는 섹션에 삽입할 수 있다. 제 1 실시예에 따른 클로즈드 캡션 3차원 재생 정보는, 전술된 부가 재생 정보의 3차원 재생을 위한 정보 뿐만 아니라, 클로즈드 캡션 데이터를 대체하여 3차원 클로즈드 캡션 강조용 데이터를 이용할지 여부를 나타내는 3차원 캡션 강조 정보를 더 포함할 수 있다.
제 2 실시예에 따른 멀티미디어 스트림 생성 장치(100)가 ANSI/SCTE (American National Strandard Institue/Society of Cable Telecommunications Engineers) 방식을 따르는 경우, 제 2 실시예에 따른 프로그램 부호화부(110)는, 비디오 ES스트림, 오디오 ES스트림 뿐만 아니라 서브타이틀 데이터를 포함하는 데이터 스트림을 생성하여, 서브타이틀 PES패킷을 생성할 수 있다. 제 2 실시예에 따른 프로그램 부호화부(110)는, 서브타이틀의 3차원 재생을 위한 정보(이하, '서브타이틀 3차원 재생 정보'라 축약한다.)를, 서브타이틀 PES패킷 및 서브타이틀 PES패킷의 헤더 중 적어도 하나에 삽입할 수 있다. 제 2 실시예에 따른 서브타이틀 3차원 재생 정보 중 서브타이틀 오프셋 정보는, 서브타이틀의 비트맵 및 프레임 중 적어도 하나의 이동량에 대한 정보일 수 있다.
제 2 실시예에 따른 프로그램 부호화부(110)는, 제 2 실시예에 따른 서브타이틀 데이터 내의 서브타이틀 메시지 필드의 보류 필드에, 서브타이틀의 캐릭터 요소 및 프레임 요소에 모두 적용되는 오프셋 정보를 삽입할 수 있다. 또는 제 2 실시예에 따른 프로그램 부호화부(110)는, 서브타이틀 데이터에, 서브타이틀의 캐릭터 요소에 대한 오프셋 정보 및 프레임 요소에 대한 오프셋 정보를 별도로 추가적으로 삽입할 수도 있다.
제 2 실시예에 따른 프로그램 부호화부(110)는, 서브타이틀 타입 정보로, 3차원 서브타이틀 중 부가시점 서브타이틀에 대한 서브타이틀 타입 정보를 추가할 수 있다. 이에 따라 제 2 실시예에 따른 프로그램 부호화부(110)는, 서브타이틀 데이터에, 부가 시점 비디오 데이터에 대한 부가시점 서브타이틀의 좌표 정보를 추가적으로 삽입할 수 있다.
제 2 실시예에 따른 프로그램 부호화부(110)는, 서브타이틀 타입 정보로, 서브타이틀 변이 타입을 추가하고, 서브타이틀 데이터에, 3차원 비디오 중 기본 시점 비디오의 서브타이틀에 대비한 부가 시점 비디오의 서브타이틀의 변이 정보를 추가적으로 삽입할 수 있다.
제 3 실시예에 따른 멀티미디어 스트림 생성 장치(100)가 DVB 방식을 따르는 경우, 제 3 실시예에 따른 프로그램 부호화부(110)는, 비디오 ES스트림, 오디오 ES스트림 뿐만 아니라 서브타이틀 데이터를 포함하는 부가 데이터 스트림을 생성하여, 서브타이틀 PES패킷을 생성할 수 있다. 이 경우 제 3 실시예에 따른 프로그램 부호화부(110)는, 서브타이틀 데이터를 상기 데이터 스트림 내의 서브타이틀 세그먼트의 형태로 삽입할 수 있다.
또한 제 3 실시예에 따른 프로그램 부호화부(110)는, 서브타이틀을 3차원으로 재생하기 위한 정보는 페이지 구성 세그먼트(page composition segment) 내의 보류(reserved) 필드에 삽입할 수 있다. 제 3 실시예에 따른 프로그램 부호화부(110)는, 페이지 구성 세그먼트에, 서브타이틀의 페이지별 오프셋 정보 및 서브타이틀의 현재 페이지 내의 영역별 오프셋 정보 중 적어도 하나를 추가적으로 삽입할 수 있다.
제 4 실시예에 따른 프로그램 부호화부(110)는, 비디오 데이터와 동시에 재생되기 위한 EPG(Electronic Program Guide) 정보와 EPG 정보의 3차원 재생을 위한 정보(이하, 'EPG 3차원 재생 정보'라 축약한다.)를, 섹션에 삽입할 수 있다.
제 4 실시예에 따른 멀티미디오 스트림 생성 장치(100)가 ATSC 방식을 따르는 경우, 제 4 실시예에 따른 프로그램 부호화부(110)는, EPG 정보의 3차원 재생을 위한 정보를, ATSC의 PSIP(Program Specific Information Protocol) 테이블 내의 서술자(Descriptor) 필드에 삽입할 수 있다. 구체적으로, ATSC의 PSIP 테이블 중 TVCT (Terrestrial Virtual Channel Table) 섹션, EIT (Event Information Table) 섹션, ETT (Extended Text Table) 섹션, RRT (Rating Region Table) 섹션 및 STT (System Time Table) 섹션 중 적어도 한 섹션 내의 서술자 필드에, EPG 정보의 3차원 재생을 위한 정보가 삽입될 수 있다.
제 4 실시예에 따른 멀티미디오 스트림 생성 장치(100)가 DVB 방식을 따르는 경우, 제 4 실시예에 따른 프로그램 부호화부(110)는, DVB의 SI(Service Information) 테이블 내의 서술자 필드에 EPG 정보의 3차원 재생을 위한 정보를 삽입할 수 있다. 구체적으로, SI 테이블 중 NIT (Network Information Table) 섹션, SDT (Servuce Description Table) 섹션 및 EIT (Event Information Table) 섹션 중 적어도 한 섹션 내의 서술자 필드에, EPG 정보의 3차원 재생을 위한 정보가 삽입될 수 있다.
따라서, 일 실시예에 따른 멀티미디어 스트림 생성 장치(100)는, CEA 방식에 따른 클로즈드 캡션, DVB 방식 또는 케이블 방송 방식에 따른 서브타이틀, ATSC 방식 또는 DVB 방식에 따른 EPG 정보 등의 다양한 통신 방식의 부가 재생 정보를 3차원으로 재생하기 위해, 부가 재생 데이터 및 부가 재생 정보의 3차원 재생을 위한 정보를, 비디오 ES데이터, 데이터 스트림, 또는 보조 스트림에 삽입하여 멀티미디어 데이터와 함께 전송할 수 있다. 부가 재생 정보의 3차원 재생을 위한 정보는 수신단에서, 비디오 데이터의 3차원 재생과 함께 부가 재생 정보의 안정적인 3차원 재생을 위해 이용될 수 있다.
일 실시예에 따른 멀티미디어 스트림 생성 장치(100)에 따르면, 기존 MPEG TS스트림 방식에 기초하는 DVB 방식, ATSC 방식, 케이블 방식 등의 다양한 통신 방식과의 호환성을 유지하며, 3차원 비디오의 재생과 함께 안정적으로 3차원 부가 재생 정보를 구현하기 위한 멀티미디어 스트림이 시청자들에게 제공될 수 있다.
도 2 는 일 실시예에 따른 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 장치의 블록도를 도시한다.
일 실시예에 따른 텍스트의 3차원 재생을 위한 멀티미디어 스트림 수신 장치(200)는, 수신부(210), 역다중화부(220), 복호화부(230) 및 재생부(240)를 포함한다.
일 실시예에 따른 수신부(210)는, 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오 데이터를 포함하는 멀티미디어 스트림에 대한 TS스트림을 수신한다. 멀티미디어 스트림은, 화면 상의 2차원 또는 3차원으로 재생되는 비디오와 함께 재생되기 위한 클로즈드 캡션, 서브타이틀, EPG 정보 등의 부가 재생 정보를 위한 부가 재생 데이터 및 부가 재생 정보의 3차원 재생을 위한 정보를 포함한다.
일 실시예에 따른 역다중화부(220)는, 수신부(210)에 의해 수신된 TS스트림을 입력받아 역다중화하여, 비디오 PES패킷, 오디오 PES패킷, 부가 데이터 PES패킷 및 보조 정보 데이터를 추출한다. 일 실시예에 따른 역다중화부(220)는, 비디오 PES패킷, 오디오 PES패킷, 부가 데이터 PES패킷 및 보조 정보 패킷으로부터, 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 프로그램 관련 정보를 추출한다. 추출된 비디오 ES스트림, 오디오 ES스트림, 데이터 스트림 및 프로그램 관련 정보 중에는 부가 재생 데이터 및 부가 재생 정보의 3차원 재생을 위한 정보를 포함되어 있다.
일 실시예에 따른 복호화부(230)는, 역다중화부(220)로부터 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 프로그램 관련 정보를 입력받아, 입력받은 스트림들로부터 비디오, 오디오, 부가 데이터 및 부가 재생 정보를 복원하고, 부가 재생 정보의 3차원 재생을 위한 정보를 추출한다.
일 실시예에 따른 재생부(240)는, 복호화부(230)에 의해 복원된 비디오, 오디오, 부가 데이터 및 부가 재생 정보를 재생한다. 또한 일 실시예에 따른 재생부(240)는, 부가 재생 정보의 3차원 재생을 위한 정보에 기초하여 3차원 부가 재생 정보를 구성할 수 있다. 일 실시예에 따른 재생부(240)는, 비디오 데이터의 재생과 함께 3차원 부가 재생 정보를 3차원으로 재생할 수 있다. 또한, 일 실시예에 따른 재생부(240)는, 부가 재생 정보의 3차원 재생을 위한 정보에 기초하여 3차원 부가 재생 정보를 보다 정확하게 3차원으로 재생할 수 있다.
일 실시예에 따른 멀티미디어 스트림 수신 장치(200)가 추출하여 이용하는 부가 재생 데이터 및 부가 재생 정보의 3차원 재생을 위한 정보는, 일 실시예에 따른 멀티미디어 스트림 전송 장치(100)를 참고하여 전술된 부가 재생 데이터 및 부가 재생 정보의 3차원 재생을 위한 정보에 상응한다.
일 실시예에 따른 재생부(240)는, 부가 재생 정보의 3차원 재생을 위하여, 부가 재생 정보의 3차원 재생을 위한 정보 중 부가 재생 정보의 오프셋 정보에 기초하여, 부가 재생 정보를 기준 위치로부터 오프셋만큼 양 또는 음의 방향으로 이동시킨 위치에서 재생할 수 있다. 이하 설명의 편의를 위해, 시차 정보, 뎁스 정보 및 좌표 정보 중 어느 하나로만 예시된다 하더라도, 일 실시예에 따른 부가 재생 정보의 3차원 재생을 위한 정보 중 오프셋 정보는 이에 한정되는 것은 아님은, 전술한 바와 같다.
일 실시예에 따른 재생부(240)는, 부가 재생 정보의 오프셋에 관한 정보 및 오프셋 방향에 관한 정보에 기초하여, 부가 재생 정보가 기본 평면에 대비하여 오프셋만큼 양 또는 음의 방향으로 이동된 위치에서 표시되도록 부가 재생 정보를 재생할 수 있다. 또한 일 실시예에 따른 재생부(240)는, 부가 재생 정보와 함께 재생될 비디오의 뎁스, 변이 및 양안시차 중 하나에 대비하여 오프셋만큼 양 또는 음의 방향으로 이동된 위치에서 부가 재생 정보가 표시되도록 재생할 수 있다.
일 실시예에 따른 재생부(240)는, 부가 재생 정보의 오프셋 정보 및 오프셋 방향 정보에 기초하여, 3차원 부가 재생 정보 중 제 1 시점 부가 재생 정보 및 제 2 시점 부가 재생 정보 중 한 시점 부가 재생 정보가 원래 위치에 대비하여 오프셋만큼 양의 방향으로 이동된 위치에 표시되고, 나머지 시점 부가 재생 정보가 원래 위치에 대비하여 오프셋만큼 음의 방향으로 이동된 위치에 표시되도록 3차원 부가 재생 정보를 구성하고, 3차원 부가 재생 정보를 3차원으로 재생할 수 있다.
일 실시예에 따른 재생부(240)는, 부가 재생 정보의 오프셋 정보 및 오프셋 방향 정보에 기초하여, 한 시점 부가 재생 정보가, 나머지 시점 부가 재생 정보의 위치에 대비하여 오프셋만큼 이동된 위치에서 표시되도록 3차원 부가 재생 정보를 구성하고, 3차원 부가 재생 정보를 3차원으로 재생할 수 있다.
일 실시예에 따른 재생부(240)는, 부가 재생 정보의 오프셋 정보 및 오프셋 방향 정보에 기초하여, 현재 비디오에 대한 부가 재생 정보가 현재 비디오의 뎁스, 변이 및 양안시차 중 하나에 대비하여 오프셋만큼 이동된 위치에 표시되도록 3차원 부가 재생 정보를 구성하고, 3차원 부가 재생 정보를 3차원으로 재생할 수 있다.
일 실시예에 따른 재생부(240)는, 시점별로 독립적으로 설정된 부가 재생 정보의 위치 정보에 기초하여, 부가 재생 정보에 대한 오프셋 정보 중 제 1 시점 부가 재생 정보의 위치 정보에 기초하여 제 1 시점 부가 재생 정보가 표시되고, 제 2 시점 부가 재생 정보의 위치 정보에 기초하여 제 2 시점 부가 재생 정보가 표시되도록 3차원 부가 재생 정보를 구성하고, 3차원 부가 재생 정보를 3차원으로 재생할 수 있다.
일 실시예에 따른 복호화부(230)에 의해 복원된 비디오 데이터 중 3차원 비디오가 사이드 바이 사이드 포맷의 3차원 합성 포맷일 수 있다. 이 경우, 일 실시예에 따른 재생부(240)는, 3차원 합성 포맷을 구성하는 좌시점 비디오 및 우시점 비디오에 대한 좌시점 부가 재생 정보 및 우시점 부가 재생 정보가 각각 오프셋의 절반값만큼 이동된 위치에 표시되도록 3차원 부가 재생 정보를 구성하고, 3차원 부가 재생 정보를 3차원으로 재생할 수 있다.
일 실시예에 따른 재생부(240)는, 부가 재생 정보의 3차원 재생을 위한 정보 중 비디오 2차원 재생 정보에 기초하여,부가 재생 정보를 3차원으로 재생할 때 해당 비디오 데이터는 2차원으로 재생할 수 있다.
일 실시예에 따른 재생부(240)는, 부가 재생 정보의 3차원 재생을 위한 정보 중 부가 재생 정보가 표시될 시간 관련 정보에 기초하여, 부가 재생 정보 및 해당 비디오를 동기화시켜, 비디오 및 부가 재생 정보를 3차원으로 재생할 수 있다.
일 실시예에 따른 재생부(240)는, 부가 재생 정보의 3차원 재생을 위한 정보 중 부가 재생 정보의 3차원 재생 안정성 정보에 기초하여, 부가 재생 정보의 3차원 재생의 안정성을 판단한 후 부가 재생 정보의 재생 방법을 결정할 수 있다. 일 실시예에 따른 재생부(240)는, 부가 재생 정보의 3차원 재생 안정성 정보에 기초하여 안정성이 있다고 판단되면, 부가 재생 정보를 3차원으로 재생할 수 있다. 반면 일 실시예에 따른 재생부(240)는, 부가 재생 정보의 3차원 재생 안정성 정보에 기초하여 안정성이 없다고 판단되면, 부가 재생 정보를 재생하지 않거나 소정 영상 후처리 기법을 수행한 후 부가 재생 정보를 재생할 수 있다.
예를 들어 일 실시예에 따른 재생부(240)는, 부가 재생 정보의 3차원 재생 안정성 정보에 기초하여 안정성이 없다고 판단되면, 해당 비디오의 변이와 부가 재생 정보의 오프셋을 비교할 수 있다. 해당 비디오의 변이와 부가 재생 정보의 오프셋의 비교 결과, 부가 재생 정보의 오프셋이 해당 비디오의 변이의 안전 구간에 속하는 경우, 부가 재생 정보를 3차원으로 재생할 수 있다. 반면 부가 재생 정보의 오프셋이 해당 비디오의 변이의 안전 구간에 속하지 않는 경우, 일 실시예에 따른 재생부(240)는 부가 재생 정보를 재생하지 않고 건너뛸 수 있다.
또는 부가 재생 정보의 오프셋이 해당 비디오의 변이의 안전 구간에 속하지 않는 경우, 일 실시예에 따른 재생부(240)는 소정 영상 후처리 기법을 수행한 후 부가 재생 정보를 재생할 수 있다. 소정 영상 후처리 기법에 따른 일례로, 일 실시예에 따른 재생부(240)는 부가 재생 정보를 해당 비디오의 소정 영역에 2차원으로 재생할 수 있다. 소정 영상 후처리 기법에 따른 또 다른 예로, 일 실시예에 따른 재생부(240)는 부가 재생 정보가 해당 비디오의 객체보다 시청자쪽으로 더 돌출되어 위치하도록 이동시켜, 부가 재생 정보를 3차원으로 재생할 수 있다. 소정 영상 후처리 기법에 따른 또 다른 예로, 일 실시예에 따른 재생부(240)는 해당 비디오를 2차원으로 재생하고, 부가 재생 정보를 3차원으로 재생할 수도 있다.
일 실시예에 따른 재생부(240)는, 해당 비디오의 변이와 부가 재생 정보의 오프셋을 비교하기 위해, 비디오의 변이를 추출하거나 새롭게 측정할 수 있다. 예를 들어 멀티미디어 스트림이 MPEG-2 TS스트림 기반인 경우, 일 실시예에 따른 재생부(240)는, 비디오 ES스트림 중 패럴럭스 인포 익스텐션(parallax_info_extension) 필드, 뎁스 맵 및 클로즈드 캡션 데이터 필드의 보류(reserved) 필드 중 적어도 하나로부터, 3차원 비디오에 대한 양안시차 정보, 변이 정보 및 뎁스 정보 중 적어도 하나를 추출하여, 부가 재생 정보의 오프셋과 비교할 수 있다. 예를 들어 멀티미디어 스트림이 ISO 기반의 미디어 파일 포맷인 경우, 일 실시예에 따른 재생부(240)는, 미디어 파일 포맷 내의 스테레오스코픽 카메라 및 디스플레이 관련 정보가 포함되는 scdi 영역으로부터 3차원 비디오에 대한 양안시차 정보, 변이 정보 및 뎁스 정보 중 적어도 하나를 추출하여, 부가 재생 정보의 오프셋과 비교할 수 있다.
부가 재생 정보가, 클로즈드 캡션, 서브타이틀 또는 EPG 정보인지에 따라 일 실시예에 따른 멀티미디어 스트림 수신 장치(200)의 동작이 다를 수 있다.
제 1 실시예에 따른 역다중화부(220)는, TS스트림으로부터 CEA 표준에 따른 클로즈드 캡션 데이터가 삽입되어 있는 비디오 ES스트림을 추출할 수 있다. 제 1 실시예에 따른 복호화부(230)는, 비디오 ES스트림으로부터 비디오 데이터를 복원하고 이로부터 클로즈드 캡션 데이터를 추출할 수 있다. 제 1 실시예에 따른 복호화부(230)는, 클로즈드 캡션 3차원 재생 정보를 비디오 ES스트림, 비디오 ES스트림의 헤더, 또는 섹션으로부터 추출할 수 있다.
제 1 실시예에 따른 재생부(240)는, 클로즈드 캡션 3차원 재생 정보에 기초하여, 좌시점 클로즈드 캡션 및 우시점 클로즈드 캡션으로 구성된 3차원 클로즈드 캡션을 구성하고, 3차원 클로즈드 캡션을 3차원으로 재생할 수 있다. 제 1 실시예에 따른 클로즈드 캡션 데이터 및 클로즈드 캡션 3차원 재생 정보의 특성은, 제 1 실시예에 멀티미디어 스트림 생성 장치(100)를 참고하여 전술된 바에 상응한다.
제 2 실시예에 따른 멀티미디어 스트림 수신 장치(200)가 ANSI/SCTE 방식을 따르는 경우, 제 2 실시예에 따른 역다중화부(220)는, TS스트림으로부터 비디오 ES스트림, 오디오 ES스트림 뿐만 아니라 서브타이틀 데이터가 포함된 부가 데이터 스트림을 추출할 수 있다. 이에 따라 제 2 실시예에 따른 복호화부(230)는, 부가 데이터 스트림으로부터 서브타이틀 데이터를 추출할 수 있다. 또한 제 2 실시예에 따른 역다중화부(220) 또는 복호화부(230)는, 서브타이틀 3차원 재생 정보를, 서브타이틀 PES패킷 및 서브타이틀 PES패킷의 헤더 중 적어도 하나로부터 추출할 수 있다.
제 2 실시예에 따른 서브타이틀 데이터 및 서브타이틀 3차원 재생 정보의 특성은, 제 2 실시예에 멀티미디어 스트림 생성 장치(100)를 참고하여 전술된 바에 상응한다. 제 2 실시예에 따른 복호화부(230)는, 제 2 실시예에 따른 서브타이틀 내의 서브타이틀 메시지 필드의 보류 필드로부터, 서브타이틀의 캐릭터 요소 및 프레임 요소에 모두 적용되는 오프셋 정보를 추출할 수 있다. 제 2 실시예에 따른 복호화부(230)는, 서브타이틀 데이터 내의, 서브타이틀의 캐릭터 요소에 대한 오프셋 정보 및 프레임 요소에 대한 오프셋 정보를 별도로 추가적으로 추출할 수도 있다.
제 2 실시예에 따른 복호화부(230)는, 서브타이틀 타입 정보로서, 3차원 비디오 데이터 중 제 2 시점 비디오 데이터에 대한 서브타이틀 타입을 확인할 수 있다. 이에 따라 제 2 실시예에 따른 복호화부(230)는, 서브타이틀 데이터로부터, 제 2 시점 비디오 데이터에 대한 서브타이틀의 좌표 정보, 뎁스 정보, 시차 정보 등의 오프셋 정보를 추가적으로 추출할 수도 있다.
제 2 실시예에 따른 복호화부(230)는, 제 2 실시예에 따른 서브타이틀 타입 정보에 기초하여, 현재 서브타이틀 타입이 서브타이틀 변이 타입인 경우, 서브타이틀 데이터로부터, 3차원 비디오 중 제 1 시점 서브타이틀에 대비한 제 2 시점 서브타이틀의 변이 정보를 추가적으로 추출할 수 있다.
제 2 실시예에 따른 재생부(240)는, 서브타이틀 3차원 재생 정보에 기초하여, 좌시점 서브타이틀 및 우시점 서브타이틀로 구성된 3차원 서브타이틀을 구성하고, 3차원 서브타이틀을 3차원으로 재생할 수 있다.
제 3 실시예에 따른 멀티미디어 스트림 수신 장치(200)가 DVB 방식을 따르는 경우, 제 3 실시예에 따른 역다중화부(220)는, TS스트림으로부터 비디오 ES스트림, 오디오 ES스트림 뿐만 아니라 서브타이틀 데이터를 포함하는 부가 데이터 스트림을 추출할 수 있다. 이에 따라 제 2 실시예에 따른 복호화부(230)는, 부가 데이터 스트림으로부터 서브타이틀 세그먼트 형태의 서브타이틀 데이터를 추출할 수 있다.
또한 제 3 실시예에 따른 복호화부(230)는, 서브타이틀을 3차원으로 재생하기 위한 정보를 페이지 구성 세그먼트 내의 보류(reserved) 필드로부터 추출할 수 있다. 제 3 실시예에 따른 복호화부(230)는, 페이지 구성 세그먼트로부터, 서브타이틀의 페이지별 오프셋 정보 및 서브타이틀의 현재 페이지 내의 영역별 오프셋 정보 중 적어도 하나를 추가적으로 추출할 수 있다.
제 3 실시예에 따른 재생부(240)는, 서브타이틀 데이터의 3차원 재생을 위한 정보에 기초하여, 좌시점 서브타이틀 및 우시점 서브타이틀로 구성된 3차원 서브타일을 구성하고, 3차원 서브타이틀을 3차원으로 재생할 수 있다.
제 4 실시예에 따른 멀티미디오 스트림 수신 장치(200)가 ATSC 방식을 따르는 경우, 제 4 실시예에 따른 복호화부(230)는, EPG 정보의 3차원 재생을 위한 정보를, ATSC의 PSIP(Program Specific Information Protocol) 테이블 내의 서술자(Descriptor) 필드로부터 추출할 수 있다. 구체적으로, ATSC의 PSIP 테이블 중 TVCT (Terrestrial Virtual Channel Table) 섹션, EIT (Event Information Table) 섹션, ETT (Extended Text Table) 섹션, RRT (Rating Region Table) 섹션 및 STT (System Time Table) 섹션 중 적어도 한 섹션 내의 서술자 필드로부터, EPG 정보의 3차원 재생을 위한 정보가 추출될 수 있다.
제 4 실시예에 따른 멀티미디오 스트림 수신 장치(200)가 DVB 방식을 따르는 경우, 제 4 실시예에 따른 복호화부(230)는, DVB의 SI(Service Information) 테이블 내의 서술자 필드로부터 EPG 정보의 3차원 재생을 위한 정보를 추출할 수 있다. 구체적으로, SI 테이블 중 NIT (Network Information Table) 섹션, SDT (Servuce Description Table) 섹션 및 EIT (Event Information Table) 섹션 중 적어도 한 섹션 내의 서술자 필드로부터, EPG 정보의 3차원 재생을 위한 정보가 추출될 수 있다.
제 4 실시예에 따른 재생부(240)는, EPG 정보의 3차원 재생을 위한 정보에 기초하여, 좌시점 EPG 정보 및 우시점 EPG 정보로 구성된 3차원 EPG 정보를 구성하고, 3차원 EPG 정보를 3차원으로 재생할 수 있다.
따라서, 일 실시예에 따른 멀티미디어 스트림 수신 장치(200)는, CEA 방식에 따른 클로즈드 캡션, DVB 방식 또는 케이블 방송 방식에 따른 서브타이틀, ATSC 방식 또는 DVB 방식에 따른 EPG 정보 등의 다양한 통신 방식의 부가 재생 정보에 있어서, 수신된 멀티미디어 스트림으로부터 부가 재생 데이터 및 부가 재생 정보의 3차원 재생을 위한 정보를 추출할 수 있다. 일 실시예에 따른 멀티미디어 스트림 수신 장치(200)는, 부가 재생 정보의 3차원 재생을 위한 정보를 이용하여, 비디오의 3차원 재생과 함께 부가 재생 정보를 안정적인 3차원 재생할 수 있다.
일 실시예에 따른 멀티미디어 스트림 수신 장치(200)에 따르면, 기존 MPEG TS스트림 방식에 기초하는 DVB 방식, ATSC 방식, 케이블 방식 등의 다양한 통신 방식과의 호환성을 유지하며, 3차원 비디오의 재생과 함께 안정적으로 3차원 부가 재생 정보를 구현하기 위한 멀티미디어 스트림이 시청자들에게 제공될 수 있다.
도 3 은 3차원 비디오 및 3차원 부가 재생 정보가 동시에 재생되는 장면을 도시한다.
3차원 디스플레이 장치의 3차원 비디오 재생에 의하면, 객체 영상(310)이 기본 평면(300)으로부터 시청자 쪽으로 돌출되도록 재생될 수 있다. 이 경우, 클로즈드 캡션, 서브타이틀, EPG정보 등의 부가 재생 정보가 표시되는 텍스트 화면(320)은, 비디오의 모든 객체들보다 시청자 쪽으로 더 돌출되도록 재생되어야, 시청자가 3차원 비디오 감상으로 인한 피로감 또는 위화감 없이, 3차원 비디오를 안정적으로 감상할 수 있다.
도 4 은 3차원 비디오 및 3차원 텍스트가 역전되어 재생되는 현상을 도시한다.
부가 재생 정보의 뎁스, 변이 또는 양안시차 정보에 오류가 있는 경우, 비디오의 객체 영상(310)보다 부가 재생 정보 화면(320)이 시청자로부터 멀리 위치하도록 재생되는 역전 현상이 발생할 수 있다. 이러한 객체 영상(320) 및 부가 재생 정보 화면(330)의 역전 현상에 의해, 객체 영상(310)이 부가 재생 정보 화면(320)을 가리게 된다. 이 경우, 시청자는 3차원 비디오 감상으로 인한 피로감 또는 위화감을 느낄 수 있다.
도 5 는 각종 부가 재생 정보가 포함되는 MPEG TS스트림 구조를 도시한다.
MPEG TS스트림(500)은 프로그램을 구성하는 컨텐츠의 스트림들로 구성되며, 구체적으로 오디오 ES스트림(510), 비디오 ES스트림(520), 컨트롤 데이터(530) 및 프로그램 관련 정보인 PSIP(Program Specific Information Protocol)(540)로 구성된다.
일 실시예에 따른 멀티미디어 스트림 생성 장치(100) 및 일 실시예에 따른 멀티미디어 스트림 수신 장치(200)가 처리하는 부가 재생 데이터 중 제 1 실시예에 따른 클로즈드 캡션 데이터는, 비디오 ES스트림(520)내의 픽처 유저 데이터(Picture User Data) 영역에 'cc_data'의 형태로 삽입될 수 있다. 구체적인 실시예로, 비디오 ES스트림(520)가 다중화되어 구성되는 비디오 PES패킷 내의 'user_data' 필드 내의 'cc_data' 필드에 클로즈드 캡션 데이터가 삽입될 수 있다.
제 2 실시예 및 제 3 실시예에 따른 서브타이틀 데이터는, 오디오 ES스트림(510) 또는 비디오 ES스트림(520)와는 별도의 부가 데이터 스트림에 삽입되어, TS스트림(500)에 포함될 수 있다. 특히, 서브타이틀 데이터는 텍스트 데이터 뿐만 아니라 그래픽 데이터도 포함할 수 있다.
제 4 실시예에 따른 EPG 정보는 PSIP(540) 중 소정 테이블들에 삽입될 수 있다.
이하 표 1 내지 표 12 및 도 6 내지 도 15를 참조하여, 제 1 실시예에 따라 클로즈드 캡션의 3차원 재생을 위한 멀티미디어 스트림의 생성 및 수신에 대해 상술된다.
제 1 실시예에 따른 멀티미디어 스트림 생성 장치(100)는, 비디오 스트림에 비디오 데이터와 함께 클로즈드 캡션을 삽입할 수 있다. 제 1 실시예에 따른 프로그램 부호화부(110)는, 클로즈드 캡션 데이터를 비디오 PES 패킷 내의 'user_data' 필드 내의 'cc_data' 필드에 삽입할 수 있다. 아래 표 1 은 ATSC 방식에 따른 'cc_data' 필드의 신택스를 도시하고, 표 2 는 DVB 방식에 따른 'cc_data' 필드의 신택스를 도시한다. for 루프(loop) 내의 'cc_data_1' 필드 및 'cc_data_2' 필드에 클로즈드 캡션 데이터가 삽입될 수 있다.
| Syntax |
| cc_data(){ reserved process_cc_data_flag additional_data_flag cc_count reserved for (i=0; i<cc_count; i++){ marker_bits cc_valid cc_type cc_data_1 cc_data_2 } marker_bits if (addtional_data_flag){ while (nextbits() != '0000 0000 0000 0000 0000 0001'){ additional_cc_data } } } |
| Syntax |
| cc_data(){ reserved process_cc_data_flag zero_bit cc_count reserved for (i=0; i<cc_count; i++){ one_bit reserved cc_valid cc_type cc_data_1 cc_data_2 } marker_bits = "11111111" } |
제 1 실시예에 따른 프로그램 부호화부(110)는, 클로즈드 캡션의 3차원 재생을 위한 정보를, 표 1 및 표 2의 'cc_data' 필드 내의 'reserved' 필드에 삽입할 수 있다.
제 1 실시예에 따른 프로그램 부호화부(110)는, 클로즈드 캡션의 2차원/3차원 식별 정보, 클로즈드 캡션의 오프셋 정보 및 3차원 캡션 강조 정보를, 'cc_data' 필드 내의 'reserved' 필드에 삽입할 수 있다.
구체적으로 예를 들면, 제 1 실시예에 따른 프로그램 부호화부(110)는, 표 1 및 표 2 의 첫번째 'reserved' 필드에, 아래 표 3과 같은 클로즈드 캡션의 2차원/3차원 식별 정보 '2d_CC'를 삽입할 수 있다.
| Syntax |
| 2d_CC |
제 1 실시예에 따른 2차원/3차원 식별 정보 '2d_CC'는, '2d_CC' 필드 다음에 삽입되는 클로즈드 캡션 데이터가 2차원 또는 3차원 재생용인지 나타낼 수 있다.
또한, 제 1 실시예에 따른 프로그램 부호화부(110)는, 표 1 및 표 2 의 두번째 'reserved' 필드에, 아래 표 4과 같이 3차원 캡션 강조 정보 'enhanced_CC' 및클로즈드 캡션의 오프셋 정보 'cc_offset'을 삽입할 수 있다.
| Syntax |
| enhance_CC cc_offset reserved |
제 1 실시예에 따른 3차원 캡션 강조 정보 'enhanced_CC'는, DTV CC 데이터의 클로즈드 캡션 데이터를 대체하여, 3차원 클로즈드 캡션 강조용 데이터를 이용할지 나타낼 수 있다. 제 1 실시예에 따른 클로즈드 캡션의 오프셋 정보 'cc_offset'는, DTV CC 데이터의 클로즈드 캡션에 깊이감을 부여하기 위해 좌우로 이동할 변이 오프셋을 나타낼 수 있다.
제 1 실시예에 따른 멀티미디어 스트림 생성 장치(100)는, ATSC 디지털 TV 스트림의 클로즈드 캡션을 위한 규격인 CEA-708에서 규정된 코드셋(code set)에 따라, 명령어 코드(command character) 및 클로즈드 캡션의 텍스트를 부호화할 수 있다. 아래 표 5 는 CEA-708에서 규정된 코드셋 매핑 테이블(Code Set Mapping Table)을 도시한다.
| code sub - groups | bits | descripition |
| C0 | 0x00-0x1F | Subset of ASCII Control Codes |
| C1 | 0x80-0x9F | Caption Control Codes |
| C2 | 0x1000-0x101F | Extended Miscellaneous Control Codes |
| C3 | 0x1080-0x109F | Extended Control Code Set 2 |
| G0 | 0x20-0x7F | Modified version of ANSI X3.4 Printable Character Set (ASCII) |
| G1 | 0xA0-0xFF | ISO 8859-1 Latin 1 Characters |
| G2 | 0x1020-0x107F | Extended Control Code Set 1 |
| G3 | 0x10A0-0x10FF | Future characters and icons |
코드셋 매핑 테이블 중 C0 그룹의 코드셋을 이용하여 아스키 제어 코드가 표현될 수 있으며, G0 그룹의 코드셋을 이용하여 클로즈드 캡션 데이터가 표현될 수 있다. CEA-708에서 규정된 코드셋 매핑 테이블 중 C2 그룹의 코드셋은, 확장 제어 코드로서, 사용자가 임의로 정의 가능한 코드셋이다. 제 1 실시예에 따른 멀티미디어 스트림 생성 장치(100)는, C2 그룹의 코드셋을 이용하여 제 1 실시예에 따른 클로즈드 캡션의 3차원 재생을 위한 정보를 설정하기 위한 명령어 서술자(Command Descriptor)를 표현할 수 있다. 아래 표 6 은 C2 그룹의 코드셋 테이블을 도시한다.
| C2 table | |
| 0x00-0x07 | +0 bytes - 1 byte code section |
| 0x08-0x0f | +1 byte - 2 byte code section |
| 0x10-0x17 | +2 bytes - 3 byte code section |
| 0x18-0x1f | +3 bytes - 4 byte code section |
구체적인 실시예로, 제 1 실시예에 따른 멀티미디어 스트림 생성 장치(100)는, C2 그룹 코드셋 중 비트열 '0x08~0x0f'의 2 바이트 코드 섹션(2 byte code section)을 이용하여, 클로즈드 캡션의 3차원 재생을 위한 정보를 명령어 코드를 표현할 수 있다.
예를 들어, 제 1 실시예에 따른 멀티미디어 스트림 생성 장치(100)는 클로즈드 캡션의 3차원 재생을 위한 정보를 설정하기 위한 명령어 서술자 'Define3DInfo'를 정의할 수 있다. 아래 표 7 은 명령어 서술자 'Define3DInfo()'의 명령어 코드의 일례를 나타낸다.
| b7 | b6 | b5 | b4 | b3 | b2 | b1 | b0 | |
| 0 | 0 | 0 | 0 | 1 | 1 | 0 | 0 | Command |
| id2 | id1 | id0 | sc | x | x | x | x | Parameter1 |
제 1 실시예에 따른 명령어 서술자 'Define3DInfo()'의 포맷이 'Define3DInfo(window_ID, is_safety_check)'일 때, 표 7의 명령어 코드 중 '00001100'(또는 '0x0C')은 명령어 'Define3DInfo', 명령어 코드 중 'id2 id1 id0 sc'는 입력 파라미터 'id' 및 'sc'를 나타낸다. 파라미터 'id'는 클로즈드 캡션이 표시되는 캡션 영역 식별자 'window_ID'로, 3비트이므로 0부터 7 중 하나의 고유 식별자로 설정될 수 있다. 파라미터 'sc'는 클로즈드 캡션의 3차원 재생 안정성 정보 'is_safety_check'를 나타낸다. 아래 표 8과 같이, 파라미터 'is_safety_check'는, 컨텐츠에 삽입된 클로즈드 캡션의 오프셋 정보의 안정성 여부를 나타낼 수 있다.
| is _ safety _ check | Contents |
| 0 | 컨텐츠에 삽입된 오프셋 정보의 안정성이 보장되지 않음 |
| 1 | 컨텐츠에 삽입된 오프셋 정보의 안정성이 보장됨 |
또 다른 예로, 제 1 실시예에 따른 멀티미디어 스트림 생성 장치(100)는 클로즈드 캡션의 3차원 재생을 위한 오프셋 정보를 설정하기 위한 명령어 서술자 'SetDisparityType'를 정의할 수 있다. 아래 표 9 은 명령어 서술자 'SetDisparityType'의 명령어 코드의 일례를 나타낸다.
| b7 | b6 | b5 | b4 | b3 | b2 | b1 | b0 | |
| 0 | 0 | 0 | 0 | 1 | 1 | 0 | 0 | Command |
| id2 | id1 | id0 | dt | x | x | x | x | Parameter1 |
제 1 실시예에 따른 명령어 서술자 'SetDisparityType'의 포맷이 'SetDisparityType(window_ID, disparity_type)'일 때, 표 9의 명령어 코드 중 '00001100'(또는 '0x0C')은 명령어 'SetDisparityType', 명령어 코드 중 'id2 id1 id0 dt'는 입력 파라미터 'id' 및 'dt'를 나타낸다.
파라미터 'id'는 캡션 영역 식별자 'window_ID'를 나타낸다. 파라미터 'dt'는 클로즈드 캡션의 오프셋 타입 정보 'disparity_type'를 나타낸다. 아래 표 10과 같이, 파라미터 'disparity_type'는, 클로즈드 캡션의 오프셋 값이 스크린 평면 또는 기본 평면을 기준으로 설정된 제 1 오프셋 타입인지, 아니면 비디오의 변이를 기준으로 설정된 제 2 오프셋 타입인지 여부를 나타낼 수 있다.
| disparity _ type | Contents |
| 0 | "offset" 파라미터 값은 스크린 평면을 기준으로 주어진 값 |
| 1 | "offset" 파라미터 값은 비디오 ES스트림 내에 정의된 비디오의 변이값을 기준으로 주어진 값 |
종래 CEA-708 규격에 따르면, DTVCC 코딩 레이어(Dignal-TV Closed Caption Coding Layer)에서 캡션 영역의 생성, 삭제, 수정 및 표시 여부 등을 제어하기 위한 명령어 서술자 'SetWindowDepth'가 이용되고 있다.
제 1 실시예에 따른 멀티미디어 스트림 생성 장치(100)는, 명령어 서술자 'SetWindowDepth'를 변형하여 이용할 수 있다. 제 1 실시예에 따른 멀티미디어 스트림 생성 장치(100)는, 클로즈드 캡션 복호화 수단을 구비하고 있는 수신 장치와 하위 호환성을 유지하기 위하여, CEA 708 규격의 코드셋 매핑 테이블 중 확장 제어 코드셋 영역을 이용하여 명령어 서술자 'SetWindowDepth'를 표현할 수 있다.
예를 들어, C2 그룹 코드셋 중 비트열 '0x08~0x0f'의 2 바이트 코드 섹션을 이용하여 제 1 실시예에 따른 클로즈드 캡션의 3차원 재생 안정성 정보 'is_safety_check' 및 오프셋 타입 정보 'disparity type'가 표현되고, 비트열 '0x10~0x17'의 3 바이트 코드 섹션(3 byte code section)을 이용하여, 오프셋 값에 대한 정보가 추가적으로 표현될 수 있다. 아래 표 11 은 제 1 실시예에 따른 멀티미디어 스트림 생성 장치(100)에 의해 변형된 명령어 서술자 'SetWindowDepth'의 명령어 코드의 일례를 나타낸다.
| b7 | b6 | b5 | b4 | b3 | b2 | b1 | b0 | |
| 0 | 0 | 0 | 1 | 0 | 0 | 0 | 0 | Command |
| dt | vf | id2 | id1 | id0 | 0 | sc | os | Parameter1 |
| off7 | off6 | off5 | off4 | off3 | off2 | off1 | off0 | Parameter2 |
제 1 실시예에 따른 명령어 서술자 'SetWindowDepth'의 포맷이 'SetWindowDepth(disparity_type, video_flat, window_ID, is_safety_check, offset_sign, offset)'일 때, 표 11의 명령어 코드 중 '00010000'은 명령어 'SetWindowDepth', 명령어 코드 중 'dt vf id2 id1 id0 0 sc os'는 입력 파라미터 'dt', 'vf', 'id', 'sc', 'os'를, 명령어 코드 중 'off7 off6 off5 off4 off3 off2 off1 off0'는 입력 파라미터 'off'를 나타낸다.
파라미터 'dt'는 클로즈드 캡션의 오프셋 타입 정보 'disparity_type'를 나타낸다. 파라미터 'vf'는 비디오 2차원 재생 정보 'video_flat'를 나타낸다. 파라미터 'id2 id1 id0'의 'id'는 클로즈드 캡션이 표시되는 캡션 영역 식별자 'window_ID'를 나타낸다. 파라미터 'sc'는 클로즈드 캡션의 3차원 재생 안정성 정보 'is_safety_check'를 나타낸다. 파라미터 'os'는 클로즈드 캡션의 오프셋 방향 정보 'offset_sign'를 나타낸다.
제 1 실시예에 따른 멀티미디어 스트림 수신 장치(200)는, 표 11의 명령어 서술자 'SetWindowDepth'를 실행하는 경우, 파라미터 'disparity_type'에 기초하여, 파라미터 'offset' 값이 비디오 ES스트림 내에서 정의된 비디오의 변이값을 기준으로 설정된 값이라고 확인된다면, 파라미터 'video_flat' 및 'is_safety_check'는 이용되지 않을 수 있다.
아래 표 12과 같이, 비디오 2차원 재생 정보 'video_flat'는, 클로즈드 캡션의 3차원 재생시, 3차원 비디오의 재생 상태를 3차원 재생 모드로 유지할지 또는 2차원 재생 모드로 전환할지 여부를 나타낼 수 있다.
| video _ flat | Contents |
| 0 | 3D 비디오의 재생 상태를 3차원 재생 모드로 유지 (L/R time sequential) |
| 1 | 3D 비디오의 재생 상태를 2차원 재생 모드로 전환 (L/L or R/R time sequential) |
예를 들어, 제 1 실시예에 따른 멀티미디어 스트림 수신 장치(200)는, 파라미터 'video_flat'에 기초하여 3차원 비디오의 재생 상태가 3차원 재생 모드로 유지되도록 결정된다면, 디스플레이 장치가 좌시점 영상 및 우시점 영상이 시연속적으로(time-sequentially) 재생하도록 제어할 수 있다. 또한, 제 1 실시예에 따른 멀티미디어 스트림 수신 장치(200)는, 파라미터 'video_flat'에 기초하여 3차원 비디오의 재생 상태가 2차원 재생 모드로 전환되는 것으로 된다면, 3차원 디스플레이 장치가 좌시점 영상끼리 시연속적으로 재생되거나, 우시점 영상끼리 시연속적으로 재생하도록 제어할 수 있다.
파라미터 'video_flat'에 따라 3차원 비디오의 재생 상태가 3차원 재생 모드로 유지되거나, 3차원 재생 모드에서 2차원 재생 모드로 전환되더라도, 캡션 영역에서는 파라미터 'offset_sign' 및 파라미터 'offset'을 이용하여 클로즈드 캡션의 오프셋이 적용되어 클로즈드 캡션이 3차원으로 재생될 수 있다. 다만, 3차원 비디오의 재생 상태가 3차원 재생 모드에서 2차원 재생 모드로 전환된다면, 파라미터 'is_safety_check'는 이용하지 않고 무시될 수 있다. 또한 이 경우에, 파라미터 'offset_sign'은 클로즈드 캡션이 시청자 쪽으로 돌출되도록 음의 방향의 오프셋을 나타내도록 설정되는 것이 바람직하다.
파라미터 'sc'는 클로즈드 캡션의 3차원 재생 안정성 정보 'is_safety_check'를 나타낸다. 아래 표 13과 같이, 파라미터 'is_safety_check'는, 클로즈드 캡션의 오프셋 방향(offset sign) 및 오프셋의 안정성 여부를 나타낼 수 있다.
| is _ safety _ check | Contents |
| 0 | "offset sign"과 "offset" 파라미터에 주어진 오프셋의 안정성 여부를 보장 못함 |
| 1 | "offset sign"과 "offset" 파라미터에 주어진 오프셋의 안정성이 보장됨 |
예를 들어, 실시간 통신과 같이 클로즈드 캡션의 오프셋이 컨텐츠 제공자에 의해 안정성이 확인되지 못한 채 클로즈드 캡션이 컨텐츠와 함께 제공되는 경우, 3차원 비디오 및 클로즈드 캡션의 뎁스 간의 역전 현상이 발생하거나, 불안정한 뎁스로 인해 시청자에게 피로감이 유발될 가능성이 높다. 따라서, 컨텐츠 제공자에 의해 클로즈드 캡션의 3차원 재생 안정성이 확보되었는지 여부가 확인되기 위해, 파라미터 'is_safety_check'가 이용될 수 있다.
따라서 제 1 실시예에 따른 멀티미디어 스트림 수신 장치(200)에서는, 파라미터 'is_safety_check'에 기초하여, 파라미터 'offset_sign' 및 'offset'에 의하여 조절될 클로즈드 캡션의 오프셋( 또는 변이값)이 컨텐츠 제공자에 의해 안정성이 보장되지 않는 경우, 수신단 고유의 클로즈드 캡션 표시 방식에 따라, 캡션 영역에 클로즈드 캡션에 대한 오프셋이 적용될 수도 있다.
파라미터 'is_safety_check'에 클로즈드 캡션의 오프셋이 컨텐츠 제공자에 의해 안정성이 보장되는 경우, 수신단은 파라미터 'offset_sign' 및 'offset'를 이용하여 클로즈드 캡션의 오프셋을 조절하며 클로즈드 캡션을 재생할 수 있다.
파라미터 'os'는, 파라미터 'offset'에 의해 주어진 클로즈드 캡션의 오프셋 값이 음 또는 양의 방향의 양안시차인지 여부를 결정하는 방향 정보 'offset_sign'를 나타낸다. 파라미터 'off'는, 클로즈드 캡션의 오프셋 정보로, 파라미터 'id'에 의해 선택된 캡션 영역에 오프셋을 적용하기 위하여, 2차원 형태로 생성된 캡션 영역의 앵커 포인트의 위치를 좌우로 이동하기 위한 픽셀의 좌우 이동량을 나타낼 수 있다.
이상 표 1 내지 표 13을 참조하여 상술된 클로즈드 캡션의 3차원 재생을 위한 정보는, 제 1 실시예에 따른 멀티미디어 스트림 생성 장치(100)에 의해 비디오 스트림에 삽입되어 전송될 수 있다. 제 1 실시예에 따른 멀티미디어 스트림 수신 장치(200)는 비디오 스트림으로부터 이상 표 1 내지 표 13을 참조하여 상술된 클로즈드 캡션의 3차원 재생을 위한 정보를 추출하여, 클로즈드 캡션의 3차원 재생에 이용할 수 있다.
이하 도 6 내지 도 15를 참조하여, 제 1 실시예에 따른 멀티미디어 스트림 수신 장치(200)가 클로즈드 캡션의 3차원 재생을 위한 정보를 이용하는 실시예들이 상술된다.
도 6 는 일 실시예에 따른 클로즈드 캡션의 3차원 재생을 위한 멀티미디어 스트림 수신 장치 중 클로즈드 캡션 재생부의 세부 블록도를 도시한다.
일 실시예에 따른 클로즈드 캡션의 3차원 재생을 위한 멀티미디어 스트림 수신 장치 중 클로즈드 캡션 재생부(600)는 제 1 실시예에 따른 멀티미디어 스트림 수신 장치(200)의 재생부(240)의 다른 실시예일 수 있다. 일 실시예에 따른 클로즈드 캡션 재생부(600)는 비디오 복호화기(Video decoder, 620), 클로즈드 캡션 복호화기(CC decoder, 630), 비디오 평면 저장부(Video plane, 640), 클로즈드 캡션 평면 저장부(Closed Caption Plane, 650), 3차원 클로즈드 캡션 강조용 데이터 저장부(Enhanced CC Memory, 660) 및 스위치(switch, 670)를 포함한다.
역다중화기(610)에 의해 분리된 클로즈드 캡션 데이터 및 비디오 데이터가 일 실시예에 따른 재생부(600)로 입력된다. 클로즈드 캡션 복호화기(630)는 역다중화기(610)로부터 입력된 클로즈드 캡션 데이터를 복호화하여 복원한다. 비디오 복호화기(620)는 역다중화기(610)로부터 입력된 비디오 데이터를 복호화하여 복원한다. 비디오 복호화기(620) 및 클로즈드 캡션 복호화기(630)로부터 출력된 비디오 데이터 및 클로즈드 캡션 데이터는 각각 비디오 평면 저장부(640) 및 클로즈드 캡션 평면 저장부(650)에 저장될 수 있다. 비디오 평면 저장부(640) 및 클로즈드 캡션 평면 저장부(650)의 비디오 데이터 및 클로즈드 캡션 데이터가 출력되어 합성되면 클로즈드 캡션 데이터가 표시된 비디오 화면이 출력될 수 있다.
클로즈드 캡션 복호화기(630)는 표 1, 2, 3을 참조하여 전술한 제 1 실시예에 따른 클로즈드 캡션 필드 'cc_data' 내의 파라미터 '2d_CC'에 기초하여, 클로즈드 캡션 데이터 'cc_data_1' 및 'cc_data_2'를 2차원 또는 3차원으로 재생할지 결정할 수 있다.
파라미터 '2d_CC'의 설정값이 0인 경우, 클로즈드 캡션 복호화기(630)는, 클로즈드 캡션 데이터 'cc_data_1' 및 'cc_data_2'를 3차원으로 재생할 수 있다. 이 경우 클로즈드 캡션 복호화기(630)는, 제 1 실시예에 따른 클로즈드 캡션 필드 'cc_data' 내의 파라미터 'enhance_CC'에 기초하여, 입력된 클로즈드 캡션 데이터 'cc_data_1' 및 'cc_data_2'를 그대로 재생할지, 또는 3차원 클로즈드 캡션 강조용 데이터 저장부(Enhanced CC Memory, 660)에 저장된 3차원 클로즈드 캡션 강조용 데이터를 재생할지를 결정할 수 있다.
예를 들어, 3차원 클로즈드 캡션 강조용 데이터는 이미지 등의 그래픽 데이터일 수 있다. 또한 3차원 클로즈드 캡션 강조용 데이터 저장부(660)에 좌시점 영상 및 우시점 영상을 위한 3차원 클로즈드 캡션 강조용 데이터(662, 664)가 별도로 저장되어 있을 수 있다. 3차원 클로즈드 캡션 강조용 데이터의 이용 여부에 따라 스위치(670)가 클로즈드 캡션 평면 저장부(650)로 3차원 클로즈드 캡션 강조용 데이터(662, 664)가 출력되는 동작을 제어할 수 있다.
또한, 클로즈드 캡션 복호화기(630)는, 제 1 실시예에 따른 클로즈드 캡션 필드 'cc_data' 내의 파라미터 'cc_offset'에 기초하여, 클로즈드 캡션 데이터를 좌시점 영상 및 우시점 영상으로 화면 상에 디스플레이할 때, 클로즈드 캡션 데이터를 가로축 방향으로 오프셋 값만큼 이동시킨 위치에서 재생할 수 있다. 즉, 3차원 합성 포맷인 3차원 비디오(680) 중 좌시점 영상 영역(682) 및 우시점 영상 영역(684)에서, 좌시점 클로즈드 캡션(686) 및 우시점 클로즈드 캡션(688)이 각각 오프셋1(offset1) 및 오프셋2(offset2)만큼 이동될 수 있다.
도 7 는 제 1 실시예에 따라, 클로즈드 캡션의 깊이감을 조절하는 화면의 투시도를 도시한다.
제 1 실시예에 따라, 클로즈드 캡션의 오프셋 값이 뎁스 5이고, 클로즈드 캡션의 3차원 캡션 강조 정보에 기초하여, 비디오 평면(710)으로부터 뎁스 5만큼 돌출되어 이동된 위치에 3차원 클로즈드 캡션 강조용 캡션 평면(720)이 표시되는 실시예가 도시된다
도 8 은 제 1 실시예에 따라, 클로즈드 캡션의 깊이감을 조절하는 화면의 평면도를 도시한다.
제 1 실시예에 따른 멀티미디어 스트림 수신 장치(200)의 재생부(240)는, 좌시점 영상(810)의 캡션 영역(815) 및 우시점 영상(820)의 캡션 영역(825)을 3차원으로 재생하기 위해, 우시점 캡션 영역(825)의 위치를 좌시점 캡션 영역(815)으로부터 오프셋(830)만큼 조절할 수 있다. 이 경우 오프셋(830)은, 실제 클로즈드 캡션의 변이값을 나타내며, 전술된 제 1 오프셋 타입의 제 1 이동량에 상응할 수 있다.
또한, 제 1 실시예에 따른 멀티미디어 스트림 수신 장치(200)의 재생부(240)는, 우시점 캡션 영역(845)의 위치를 비디오의 변이값(855)으로부터 클로즈드 캡션의 오프셋(860)만큼 조절할 수 있다. 이 경우 클로즈드 캡션의 오프셋(860) 및 영상의 변이값(855)의 총합이 실제 클로즈드 캡션의 변이값(850)이 되며, 클로즈드 캡션의 오프셋(860)이 전술된 제 2 오프셋 타입의 제 2 이동량에 상응할 수 있다.
도 9 은 제 1 실시예에 따른 멀티미디어 스트림 수신 장치가 3차원 캡션 강조 정보 및 클로즈드 데이터의 오프셋 정보를 이용하는 방법의 흐름도를 도시한다.
제 1 실시예에 따른 멀티미디어 스트림 수신 장치(200)의 재생부(240)에 DTV CC 데이터가 입력된다(단계 910). 제 1 실시예에 따른 재생부(240)는 클로즈드 캡션의 2차원/3차원 식별 정보 '2d_CC'의 값을 확인한다(단계 920). 클로즈드 캡션의 2차원/3차원 식별 정보 '2d_CC'에 기초하여, 클로즈드 캡션이 2차원 재생용이라면, DTV CC 데이터를 2차원으로 재생할 수 있다(단계 930).
클로즈드 캡션의 2차원/3차원 식별 정보 '2d_CC'에 기초하여, 클로즈드 캡션이 3차원 재생용이라면, 제 1 실시예에 따른 재생부(240)는 3차원 캡션 강조 정보 'enhance_CC' 및 클로즈드 데이터의 오프셋 정보 'cc_offset'를 확인한다(단계 940). 제 1 실시예에 따른 재생부(240)는 DTV CC 데이터 중 클로즈드 캡션 데이터 'cc_data_1' 및 'cc_data_2'를 복호화한다(단계 950). 단계 960에서 3차원 캡션 강조 정보 'enhance_CC'에 기초한 판단 결과, 3차원 클로즈드 캡션을 강조하기 위한 3차원 클로즈드 캡션 강조용 데이터를 이용하지 않는 것으로 결정된다면, 제 1 실시예에 따른 재생부(240)는 DTV CC 데이터를 3차원으로 재생할 수 있다(단계 980).
단계 960에서 3차원 캡션 강조 정보 'enhance_CC'에 기초한 판단 결과, 3차원 클로즈드 캡션 강조용 데이터를 이용하는 것으로 결정된다면, 제 1 실시예에 따른 재생부(240)는 3차원 클로즈드 캡션 강조용 데이터를 추출하고(단계 970), 3차원 클로즈드 캡션 강조용 데이터를 3차원으로 재생할 수 있다(단계 980).
도 10 는 제 1 실시예에 따른 멀티미디어 스트림 수신 장치가 클로즈드 캡션의 3차원 재생 안정성 정보를 이용하는 방법의 흐름도를 도시한다.
제 1 실시예에 따른 멀티미디어 스트림 수신 장치(200)의 재생부(240)에 DTV CC 데이터가 입력되어 파싱된다(단계 1010). 제 1 실시예에 따른 재생부(240)는 DTV CC 데이터 내에 클로즈드 캡션의 변이 정보 'cc_offset'을 검색한다(단계 1015). 클로즈드 캡션의 변이 정보가 없다면, 제 1 실시예에 따른 재생부(240)는 클로즈드 캡션을 2차원으로 재생한다(단계 1020).
DTV CC 데이터 내에 클로즈드 캡션의 변이 정보가 존재한다면, 제 1 실시예에 따른 재생부(240)는 DTV CC 데이터 내에 3차원 재생 안정성 정보('is_safety_chenck')를 확인한다(단계 1025). 3차원 재생 안정성 정보에 기초하여, 클로즈드 캡션의 변이 정보의 안정성이 확보된다면, 제 1 실시예에 따른 재생부(240)는 클로즈드 캡션의 변이 정보를 이용하여 클로즈드 캡션을 3차원으로 재생한다(단계 1030).
3차원 재생 안정성 정보에 기초하여, 클로즈드 캡션의 변이 정보의 안정성이 확보되지 않는다면, 제 1 실시예에 따른 재생부(240)는 비디오 스트림 내에 영상에 대한 변이 정보를 검색한다(단계 1040). 예를 들어, 멀티미디어 스트림이 MPEG-2 TS 방식에 의해 부호화된 경우, 비디오 ES스트림 중 패럴럭스 인포 익스텐션 필드, 뎁스 맵 및 클로즈드 캡션 데이터 필드의 보류 필드 중 적어도 하나로부터 영상에 대한 변이 정보가 검출될 수 있다. 또한 멀티미디어 스트림이 ISO 미디어 파일 포맷으로 부호화된 경우, 미디어 파일 포맷 내의 scdi 영역으로부터 영상에 대한 변이 정보가 검출될 수 있다.
비디오 스트림 내에 영상에 대한 변이 정보가 있다면, 제 1 실시예에 따른 재생부(240)는 클로즈드 캡션의 변이 정보와 영상의 변이 정보를 비교하여, 클로즈드 캡션의 변이 정보가 3차원 재생 안전 구간에 속하는지 여부를 판단한다(단계 1045).
클로즈드 캡션의 변이 정보가 3차원 재생 안전 구간에 속한다면, 제 1 실시예에 따른 재생부(240)는 클로즈드 캡션의 변이 정보를 이용하여 클로즈드 캡션을 3차원으로 재생한다(단계 1030). 클로즈드 캡션의 변이 정보가 3차원 재생 안전 구간에 속하지 않는다면, 제 1 실시예에 따른 재생부(240)는 클로즈드 캡션을 재생하지 않거나, 영상 후처리 작업을 수행하여 안정성 확보 후 클로즈드 캡션을 3차원으로 재생할 수 있다(단계 1070). 여기서 영상 후처리 작업의 다양한 실시예들은 이하 도 11, 12, 13, 14 및 15를 참조하여 후술한다.
단계 1040에서 비디오 스트림 내에 영상에 대한 변이 정보를 검색한 결과 비디오 스트림 내에 영상에 대한 변이 정보가 존재하지 않는다면, 제 1 실시예에 따른 멀티미디어 스트림 수신 장치(200)에서 직접 비디오의 변이 측정이 가능한지 판단된다(단계 1050). 제 1 실시예에 따른 멀티미디어 스트림 수신 장치(200)에 영상의 변이 측정 수단이 존재한다면, 3차원 비디오의 스테레오 영상에 대한 변이 측정 작업이 수행된다(단계 1055). 단계 1055에서 측정된 영상 변이 정보를 이용하여 제 1 실시예에 따른 재생부(240)는 클로즈드 캡션의 변이 정보와 영상의 변이 정보를 비교하여, 클로즈드 캡션의 변이 정보가 3차원 재생 안전 구간에 속하는지 여부를 판단한다(단계 1045). 단계 1045의 판단 결과에 따라, 단계 1030 또는 1070이 수행될 수 있다.
제 1 실시예에 따른 멀티미디어 스트림 수신 장치(200)에 영상의 변이 측정 수단이 존재하지 않는다면, 사용자 설정에 따른 클로즈드 캡션 강제 출력 모드인지 판단될 수 있다(단계 1060). 클로즈드 캡션 강제 출력 모드라면, 제 1 실시예에 따른 재생부(240)는 클로즈드 캡션의 변이 정보를 이용하여 클로즈드 캡션을 3차원으로 재생한다(단계 1030). 강제 클로즈드 캡션 출력 모드가 아니라면, 제 1 실시예에 따른 재생부(240)는 클로즈드 캡션을 재생하지 않거나, 영상 후처리 작업을 수행하여 안정성 확보 후 클로즈드 캡션을 3차원으로 재생할 수 있다(단계 1070).
도 11 는 제 1 실시예에 따른 클로즈드 캡션의 3차원 재생 안정성 정보에 기초하여, 안정성이 보장되지 않는 경우에 수행하는 후처리 방법의 일례를 도시한다.
제 1 실시예에 따른 재생부(240)는 클로즈드 캡션의 3차원 재생 안정성 정보 'is_safety_check'에 기초하여 안정성이 확보되지 않는다고 판단되면, 3차원 영상(1110)의 소정 영역에 변이 정보를 갖는 클로즈드 캡션 데이터(1120)를 강제로 배치하도록 출력할 수 있다.
예를 들어, 제 1 실시예에 따른 재생부(240)는 3차원 영상(1110)을 세로 방향으로 축소하고(1130), 축소된 3차원 영상과 클로즈드 캡션 데이터(1120)를 합성한다(1140). 이에 따른 결과 영상(1150)은 세로 방향으로 축소된 3차원 영상 영역(1152) 및 클로즈드 캡션 영역(1154)로 구분될 수 있다. 3차원 영상 영역(1152) 및 클로즈드 캡션 영역(1154)이 서로 중첩되지 않도로 각각 3차원으로 재생될 수 있다.
도 12 및 13 는 제 1 실시예에 따른 클로즈드 캡션의 3차원 재생 안정성 정보에 기초하여, 안정성이 보장되지 않는 경우에 수행하는 후처리 방법의 다른 예를 도시한다.
도 12에서는, 3차원 디스플레이 평면(1210)에서 3차원 비디오가 재생됨에 따라 비디오 객체 영역(1220)이 고유의 뎁스만큼 돌출되어 표시된다. 이 경우 클로즈드 캡션의 텍스트 영역(1230)이 3차원 디스플레이 평면(1210)과 비디오 객체 영역(1220) 사이에 표시되면, 시청자(1200)는 비디오 객체와 텍스트의 깊이감이 혼동되면서 어지러움 또는 피로감을 느낄 있다.
도 13에서는, 비디오 객체 영역(1230)의 변이 정보가 획득될 수 있는 경우, 제 1 실시예에 따른 재생부(240)는 텍스트 영역(1230)을 비디오 객체 영역(1220)보다 시청자(1200) 쪽으로 돌출되도록 텍스트 영역(1230)의 변이 정보를 조정할 수 있다. 또한, 모든 영상 픽셀의 변이 정보를 알 수 있는 경우, 제 1 실시예에 따른 재생부(240)는, 텍스트 영역(1230)의 캡션 영역의 픽셀 위치를, 비디오 객체 영역(1220)과 뎁스 순서 상 겹치지 않는 영역으로 이동시킬 수 있다.
도 14 및 15 는 제 1 실시예에 따른 클로즈드 캡션의 3차원 재생 안정성 정보에 기초하여, 안정성이 보장되지 않는 경우에 수행하는 후처리 방법의 또 다른 예를 도시한다.
도 14에서는, 3차원 디스플레이 평면(1400)에서 3차원 비디오가 재생됨에 따라 비디오 객체 영역(1410)이 고유의 뎁스만큼 돌출되어 표시되지만, 클로즈드 캡션의 텍스트 영역(1420)이 3차원 디스플레이 평면(1400)과 비디오 객체 영역(1410) 사이에 존재하는 깊이감 역전 현상이 발생하고 있다.
도 15에서, 제 1 실시예에 따른 재생부(240)는 3차원 비디오를 2차원 재생 모드로 변환하여 재생한다. 즉, 제 1 실시예에 따른 재생부(240)는 비디오 객체 영역(1410)이 3차원 디스플레이 평면(1400)에서 표시되도록 2차원으로 재생하고, 텍스트 영역(1420)은 고유의 변이 정보에 기초하여 3차원으로 재생할 수 있다. 이에 따라 비디오 객체 영역(1410)의 뎁스가 0이 되므로, 텍스트 영역(1420)과 비디오 객체 영역(1410) 간의 깊이감 역전 현상이 해소될 수 있다.
제 1 실시예에 따른 멀티미디어 스트림 생성 장치(100)는, 클로즈드 캡션에 3차원 깊이감을 부여하기 위한 클로즈드 캡션 3차원 재생 정보를 데이터스트림에 삽입하여 비디오, 오디오와 함께 전송할 수 있다. 제 1 실시예에 따른 멀티미디어 스트림 생성 장치(200)는, 수신된 멀티미디어 스트림으로부터 클로즈드 캡션 데이터 및 클로즈드 캡션 3차원 재생 정보를 추출할 수 있다. 제 1 실시예에 따른 멀티미디어 스트림 생성 장치(200)는, 클로즈드 캡션 3차원 재생 정보에 기초하여, 클로즈드 캡션의 안정성을 확인하여 클로즈드 캡션의 재생 방법을 채택할 수 있으며, 클로즈드 캡션의 깊이감을 조절할 수 있고, 클로즈드 캡션의 3차원 재생 효과를 강조하기 위한 강조용 클로즈드 캡션도 이용할 수 있다. 이로 인해, 3차원 비디오와 클로즈드 캡션이 자연스럽게 재생될 수 있다.
이하 표 14 내지 표 48 및 도 16 내지 도 34를 참조하여, 일 실시예에 따른 서브타이틀의 3차원 재생을 위한 멀티미디어 스트림의 생성 및 수신에 대해 상술된다.
도 16 는 서브타이틀 데이터의 멀티미디어 스트림의 생성 및 수신 방식을 도시한다.
싱글프로그램 부호화부(1600)는, 비디오 데이터 및 오디오 데이터를 입력받아 각각 비디오 부호화부(Video Encoder, 1610) 및 오디오 부호화부(Audio Encoder, 1620)에 의해 부호화되고, 부호화된 비디오 데이터 및 오디오 데이터는 각각 패킷화기(Packetizer, 1630, 1640)를 거쳐 비디오 PES패킷들 및 오디오 PES패킷들로 분해된다. 또한 일 실시예에 따른 싱글프로그램 부호화부(1600)는, 서브타이틀 생성부(Subtitle Generator Station, 1650)로부터 서브타이틀 데이터를 입력받는다. PSI 생성부(1660)는, PAT테이블(Program Association Table) 및 PMT테이블(Program Map Table) 등의 각종 프로그램 관련 정보를 생성한다.
싱글프로그램 부호화부(1600)의 다중화부(MUX(Multiplexer), 1670)는 패킷화기(1630, 1640)로부터 비디오 PES패킷들 및 오디오 PES패킷들 뿐만 아니라 PES패킷 형태의 서브타이틀 데이터 패킷 및 PSI 생성부(1660)로부터 입력된 각종 프로그램 관련 정보들을 섹션 형태로 입력받아, 다중화하여 하나의 프로그램에 대한 TS스트림을 생성하여 출력한다.
일 실시예에 따른 싱글프로그램 부호화부(1600)가 DVB 통신 방식 또는 케이블 통신 방식에 따라 TS스트림을 생성하여 전송했는지 여부에 따라, DVB 셋탑 박스(DVB Set-top box, 1680) 또는 케이블 셋탑 박스(Cable Set-Top Box, 1685)가 TS스트림을 수신하고 파싱하여 비디오, 오디오 및 서브타이틀을 복원한다. TV(1690)는 비디오 및 오디오를 재생하고, 서브타이틀을 비디오 화면 상에 동기화하여 재생한다.
제 2 실시예 또는 제 3 실시예에 따른 멀티미디어 스트림 생성 장치(100)는, 싱글프로그램 부호화부(1600)의 동작에, 3차원 비디오 및 서브타이틀의 3차원 재생을 위한 정보를 추가적으로 삽입하여 전송할 수 있다. 또한 제 2 실시예 또는 제 3 실시예에 따른 멀티미디어 스트림 수신 장치(200)는, DVB 셋탑 박스(1670) 또는 케이블 셋탑 박스(1680) 및 TV(1690)의 동작에 추가적으로, 3차원 비디오 및 서브타이틀을 3차원으로 재생할 수 있다.
먼저 표 14 내지 표 34 및 도 17 내지 도 27을 참조하여, 제 2 실시예에 따른 DVB 통신 방식에 따른 서브타이틀의 3차원 재생을 위한 멀티미디어 스트림의 생성 및 수신에 대해 상술된다.
도 17 은 DVB 통신 방식에 따르는 서브타이틀 데이터의 계층적 구조를 도시한다.
DVB 통신 방식의 디스플레이 데이터구조는 프로그램 레벨(1700), 에포크 레벨(1710), 디스플레이 시퀀스 레벨(1720), 영역 레벨(1730), 객체 레벨(1740)의 계층적 구조로 구성된다.
구체적으로 보면, 하나의 프로그램 단위(1705)는 하나 이상의 에포크 단위(1712, 1714, 1716)로 구성된다.
에포크 단위는 복호화기가 메모리 레이아웃이 변하지 않은 채로 유지되는 시간 단위이다. 즉, 하나의 에포크 단위(1712)는 다음 에포크 단위(1714)가 전송되기 전까지 서브타이틀 복호화기의 메모리에 저장된다. 메모리 레이아웃은, 페이지 상태가 '모드 변경'인 페이지 구성 세그먼트를 수신하여 복호화기 상태가 리셋됨으로써 변경될 수 있다. 따라서 두 개의 연속적인 에포트 단위들(1712, 1714) 사이에는, 복호화기에 페이지 상태가 '모드 변경'인 페이지 구성 세그먼트가 수신되었음을 의미한다. 하나의 에포크 단위(1714)는 하나 이상의 디스플레이 시퀀스 단위(1722, 1724, 1726)로 구성된다.
각각의 디스플레이 시퀀스 단위(1722, 1724, 1726)는, 완전한 그래픽 장면을 나타내며, 수초간 화면 상에서 유지될 수 있다. 일례로 하나의 디스플레이 시퀀스 단위(1724)는, 지정된 표시 위치를 갖는 하나 이상의 영역 단위(1732, 1734, 1736)로 구성된다.
각각의 영역 단위(1732, 1734, 1736)는, 모든 픽셀 코드에 적용될 색상 및 투명도를 정의하는 CLUT테이블(Color Look-Up Table)과 한 쌍이 된다. 픽셀 뎁스는 각각의 영역 단위(1732, 1734, 1736)에 적용될 색상의 엔트리를 나타내며, 2, 4, 8 비트의 픽셀 뎁스는 각각 4, 16, 256 가지 색상의 픽셀 코드를 지원한다. 일례로 하나의 영역 단위(1734)는 배경 색상을 정의할 수 있으며, 해당 영역 내에 표시될 하나 이상의 그래픽 객체 단위(1742, 1744, 1746)로 구성된다.
도 18 및 19는 DVB 통신 방식에 따라, 서브타이틀의 PES패킷을 가리키는 PMT테이블(Program Map Table) 내의 서브타이틀 서술자의 두 가지 표현 방식을 도시한다.
하나의 서브타이틀 스트림은 하나 이상의 서브타이틀 서비스를 전송할 수 있다. 하나 이상의 서브타이틀 서비스가 하나의 패킷으로 다중화되고 하나의 PID정보(Packet Identifier)를 할당받아 전송되거나, 각각의 서브타이틀 서비스가 별개의 패킷으로 구성되어 별개의 PID정보를 할당받아 각각 전송될 수 있다. 프로그램의 서브타이틀 서비스들에 대한 PID정보, 언어 및 페이지 식별자가, 관련 PMT테이블에 정의되어 있어야 한다.
도 18는 하나 이상의 서브타이틀 서비스가 하나의 패킷으로 다중화된 경우의 서브타이틀 서술자 및 서브타이틀 PES패킷을 도시한다. 하나 이상의 서브타이틀 서비스가 하나의 PES패킷(1840)으로 다중화되어 하나의 PID정보 X를 할당받고, 이에 따라 서브타이틀 서비스를 위한 복수 개의 페이지들(1842, 1844, 1846)도 동일한 PID정보 X에 종속된다.
보조 페이지(Ancillary page, 1846)의 서브타이틀 데이터는, 서로 다른 서브타이틀 데이터에 대해 공유되는 부속 데이터(1842, 1844)이다.
PMT테이블(1800)은 서브타이틀 데이터에 대한 서브타이틀 서술자(1810)를 포함할 수 있다. 서브타이틀 서술자(1810)는, 서브타이틀 데이터에 대한 정보를 패킷별로 정의하며, 동일한 패킷 내에서는 서브타이틀 서비스에 대한 정보가 페이지별로 분류될 수 있다. 즉 서브타이틀 서술자(1810)는, PID정보 X인 PES패킷(1840) 내의 서브타이틀 데이터(1842, 8144, 1846)에 대한 정보를 포함하고, PES패킷(1840) 내의 서브타이틀 데이터의 페이지(1842, 1844) 별로 정의된 서브타이틀 데이터 정보(1820, 1830)는 각각의 언어 정보 'language', 구성 페이지 식별자 'composition-page_id' 및 공유 페이지 식별자 'ancillary-page_id'를 포함할 수 있다.
도 19는 각각의 서브타이틀 서비스가 별개의 패킷으로 구성된 경우의 서브타이틀 서술자 및 서브타이틀 PES패킷을 도시한다. 제 1 서브타이틀 서비스를 위한 제 1 페이지(1950)는 제 1 PES패킷(1940)으로 구성되고, 제 2 서브타이틀 서비스를 위한 제 2 페이지(1970)는 제 2 PES패킷(1960)으로 구성된다. 제 1 PES패킷(1940) 및 제 2 PES패킷(1960)에는 PID정보 X 및 Y가 각각 할당된다.
PMT테이블(1900)의 서브타이틀 서술자(1910)는 복수 개의 서브타이틀 PES패킷의 PID정보 값을 포함할 수 있으며, 복수 개의 PES패킷의 서브타이틀 데이터를 위한 정보를 PES패킷 별로 정의할 수 있다. 즉, 서브타이틀 서술자(1910)는, PID정보 X인 제 1 PES패킷(1940) 내의 서브타이틀 데이터의 페이지(1950)를 위한 서브타이틀 서비스 정보(1920) 및, PID 정보 Y인 제 2 PES패킷(1960) 내의 서브타이틀 데이터의 페이지(1970)를 위한 서브타이틀 서비스 정보(1930)를 포함한다.
도 20 는 DVB 통신 방식에 따르는 서브타이틀 데이터를 포함하는 데이터스트림 구조의 일례를 도시한다.
DVB 통신 방식에 따르는 서브타이틀을 포함하는 DVB TS스트림(2000)으로부터, 동일한 PID정보가 할당된 서브타이틀 TS패킷들(2002, 2004, 2006)가 게더링(gathering)되고, 서브타이틀 PES패킷들(2012, 2014)이 구성된다. 각각의 PES패킷(2012, 2014)의 시작 부분을 구성하는 서브타이틀 데이터(2002, 2006)는 해당 PES패킷(2012, 2014)의 헤더를 구성한다.
각각의 서브타이틀 PES패킷(2012, 2014)은 디스플레이 셋(2022, 2024)을 구성한다. 하나의 디스플레이 셋(2022)은 복수 개의 구성 페이지(composition page, 2042, 2044) 및 보조 페이지(2046)를 포함한다. 하나의 구성 페이지(2042)는, 페이지 구성 세그먼트(page composition segment, 2052), 영역 구성 세그먼트(region composition segment, 2054), CLUT 정의 세그먼트(CLUT definition segment, 2056) 및 객체 데이터 세그먼트(object data segment, 2058)를 포함한다. 하나의 보조 페이지(2046)는 CLUT 정의 세그먼트(2062) 및 객체 데이터 세그먼트(2064)를 포함한다.
도 21 는 DVB 통신 방식에 따르는 구성 페이지의 구조의 일례를 도시한다.
구성 페이지(2100)는 하나의 디스플레이 정의 세그먼트(2110), 하나의 페이지 구성 세그먼트(2120), 하나 이상의 영역 구성 세그먼트(2130, 2140), 하나 이상의 CLUT 정의 세그먼트(2150, 2160), 하나 이상의 객체 데이터 세그먼트(2170, 2180) 및 하나의 디스플레이 셋 세그먼트 종료 영역(End of display set segment, 2190)을 포함한다. 구성 페이지(2100)는, 영역 구성 세그먼트, CLUT 정의 세그먼트, 객체 데이터 세그먼트를 복수 개씩 포함할 수 있다.
페이지 식별자가 '1'인 구성 페이지(2100)을 구성하는 세그먼트들(2110, 2120, 2130, 2140, 2150, 2160, 2170, 2180, 2190)에 대한 페이지 식별자 'page id'는 모두 '1'로 정의된다. 각각의 영역 구성 세그먼트(2130, 2140)에 대한 영역 식별자 'region id'는 영역별 인덱스로 설정되며, 각각의 CLUT 정의 세그먼트(2150, 2160)에 대한 CLUT테이블 식별자 'CLUT id'는 CLUT테이블 별 인덱스로 설정될 수 있다. 또한 각각의 객체 데이터 세그먼트(2170, 2180)에 대한 객체 식별자 'object id'는 객체 데이터별 인덱스로 설정될 수 있다.
이상 디스플레이 정의 세그먼트, 페이지 구성 세그먼트, 영역 구성 세그먼트, CLUT 정의 세그먼트, 객체 데이터 세그먼트 및 디스플레이 셋 세그먼트 종료의 신택스는, 서브타이틀 세그먼트의 형태로 부호화되어, 서브타이틀 PES패킷의 페이로드 영역에 삽입될 수 있다.
표 14는 DVB 서브타이틀 PES패킷 내의 'PES_packet_data_bytes' 필드에 저장되는 'PES_data_field' 필드의 신택스를 나타낸다. 서브타이틀 PES패킷에 저장되는 서브타이틀 데이터는, 'PES_data_field' 필드의 형태로 부호화된다.
| Syntax |
| PES_data_field(){ data_identifier subtitle_stream_id while nextbits() == '0000 1111'{ subtitling_segment() } end_of_PES_data_field_marker } |
'data_identifier' 필드는 현재 PES패킷 데이터가 DVB 서브타이틀 데이터임을 나타내도록 '0x20' 값으로 고정된다. 'subtitle_stream_id' 필드는 현재 서브타이틀 스트림의 식별자를 포함하며, '0x00' 값으로 고정된다. 'end_of_PES_data_field_marker' 필드는 현재 데이터 필드가 PES 데이터 필드 종료 필드인지 여부를 나타내는 정보를 포함하며, 값 '1111 1111'로 고정된다. 서브타이틀 세그먼트 'subtitling_segment' 필드의 신택스는 표 15와 같다.
| Syntax |
| subtitling_segment() { sync_byte segment_type page_id segment_length segment_data_field() } |
'sync_byte' 필드는, '0000 1111' 값으로 암호화된다. 'segment_length' 필드값을 기초로 세그먼트가 복호화될 때, 동기화 여부를 확인하여 전송 패킷의 유실 여부를 판단하기 위해 'sync_byte' 필드가 이용된다.
'segment_type' 필드는, 세그먼트 데이터 필드에 포함된 데이터 종류에 대한정보를 포함한다. 표 16 은 'segment_type' 필드에 의해 정의되는 세그먼트 타입을 나타낸다.
| Value | segment type |
| 0x10 | 페이지 구성 세그먼트(page composition segment) |
| 0x11 | 영역 구성 세그먼트(region composition segment) |
| 0x12 | CLUT 정의 세그먼트(CLUT definition segment) |
| 0x13 | 객체 데이터 세그먼트(object data segment) |
| 0x14 | 디스플레이 정의 세그먼트(display definition segment) |
| 0x40 - 0x7F | 보류 영역(reserved for future use) |
| 0x80 | 디스플레이 셋 세그먼트 종료(end of display set segment) |
| 0x81 - 0xEF | 프라이빗 데이터(private data) |
| 0xFF | 스터핑(stuffing) |
| All other values | 보류 영역(reserved for future use) |
'page_id' 필드는 'subtitling_segment' 필드에 포함된 데이터의 서브타이틀 서비스의 식별자를 포함한다. 서브타이틀 서술자에서 구성 페이지 식별자로 설정된 'page_id' 값이 할당된 서브타이틀 세그먼트에는, 하나의 서브타이틀 서비스에 대한 서브타이틀 데이터가 포함된다. 또한, 서브타이틀 서술자에서 보조 페이지 식별자로 설정된 'page_id' 값이 할당된 서브타이틀 세그먼트에는, 복수 개의 서브타이틀 서비스들이 공유할 수 있는 데이터를 포함한다.
'segment_length' 필드는, 뒤따르는 'segment_data_field' 필드에 포함된 바이트 수 정보를 포함한다. 'segment_data_field' 필드는 세그먼트의 페이로드 영역으로, 페이로드 영역의 신택스는 세그먼트 타입에 따라 달라질 수 있다. 세그먼트 타입별 페이드로 영역의 신택스는 이하 표 17, 18, 20, 25, 26 및 28에서 예시된다.
표 17은 디스플레이 정의 세그먼트 'display_definition_segment'의 신택스를 도시한다.
| Syntax |
| display_definition_segment(){ sync_byte segment_type page_id segment_length dds_version_number display_window_flag reserved display_width display_height if (display_window_flag == 1) { display_window_horizontal_position_minimum display_window_horizontal_position_maximum display_window_vertical_position_minimum display_window_vertical_position_maximum } } |
디스플레이 정의 세그먼트는 서브타이틀 서비스의 해상도를 정의할 수 있다.
'dds_version_number' 필드는, 디스플레이 정의 세그먼트의 버전 정보를 포함한다. 'dds_version_number' 필드 값인 버전 번호는, 디스플레이 정의 세그먼트의 내용이 변경될 때마다 모듈로(modulo) 16 단위로 증가한다.
'display_window_flag' 필드 값이 '1'로 설정될 경우, 디스플레이 정의 세그먼트와 관련된 DVB 서브타이틀 디스플레이 세트는, 'display_width' 필드 및 'display_height' 필드에서 정의된 디스플레이 크기 내에서, 서브타이틀이 표시될 윈도우 영역을 정의한다. 이 경우, 디스플레이 정의 세그먼트에서 'display_window_horizontal_position_minimum' 필드, 'display_window_horizontal_position_maximum' 필드, 'display_window_vertical_position_minimum' 필드 및 'display_window_vertical_position_maximum' 필드 값에 따라 디스플레이 내의 현재 윈도우 영역의 크기와 위치가 정의된다.
'display_window_flag' 필드 값이 '0'로 설정될 경우, 현재 DVB 서브타이틀 디스플레이 세트는, 'display_width' 필드 및 'display_height' 필드에서 정의된 디스플레이 크기 내에서, 윈도우 영역 없이 직접 표현된다.
'display_width' 필드 및 'display_height' 필드는, 각각 디스플레이 크기의 최대 수평 너비 정보 및 최대 수직 높이 정보를 포함하며, 각각 필드 값이 0~4095의 범위에서 설정될 수 있다.
'display_window_horizontal_position_minimum' 필드는 디스플레이 내에서 현재 윈도우 영역의 수평 최소 위치 정보를 포함한다. 즉, 디스플레이의 왼쪽 끝 픽셀을 기준으로 DVB 서브타이틀 디스플레이 윈도우의 왼쪽 끝 픽셀값이 정의된다.
'display_window_horizontal_position_maximum' 필드는, 디스플레이 내에서 현재 윈도우 영역의 수평 최대 위치 정보를 포함한다. 즉, 디스플레이의 왼쪽 끝 픽셀을 기준으로 DVB 서브타이틀 디스플레이 윈도우의 오른쪽 끝 픽셀값이 정의된다.
'display_window_vertical_position_minimum' 필드는, 디스플레이 내에서 현재 윈도우 영역의 수직 최소 픽셀 위치를 포함한다. 즉, 디스플레이의 상단 라인을 기준으로 DVB 서브타이틀 디스플레이 윈도우의 최상단 라인값이 정의된다.
'display_window_vertical_position_maximum' 필드는, 디스플레이 내에서 현재 윈도우 영역의 수직 최대 픽셀 위치 정보를 포함한다. 즉, 디스플레이의 상단 라인을 기준으로 DVB 서브타이틀 디스플레이 윈도우의 최하단 라인값이 정의된다.
표 18은 페이지 구성 세그먼트 'page_composition_segment'의 신택스를 도시한다.
| Syntax |
| page_composition_segment(){ sync_byte segment_type page_id segment_length page_time_out page_version_number page_state reserved while (processed_length < segment_length){ region_id reserved region_horizontal_address region_vertical_address } ) |
'page_time_out' 필드는, 페이지가 유효하지 않아 스크린 상에서 사라질때까지의 기간에 대한 정보를 포함하며, 초(second) 단위로 설정된다. 'page_version_number' 필드 값은 페이지 구성 세그먼트의 버전 번호를 나타내며, 페이지 구성 세그먼트의 내용이 변경될 때마다 모듈로 16 단위로 증가한다.
'page_state' 필드는, 페이지 구성 세그먼트에서 기술된 서버타이틀 페이지 인스턴스의 상태(page state)에 대한 정보를 포함한다. 'page_state' 필드값은, 페이지 구성 세그먼트에 의한 서브타이틀 페이지를 표시하기 위한 디코더의 동작 상태(status)를 나타낼 수도 있다. 표 19는 'page_state' 필드값의 내용을 나타낸다.
| Value | Page state | Effect on page | Comments |
| 00 | 정상 케이스 (normal case) | 페이지 업데이트 (page update) | 디스플레이 세트가 이전 페이지 인스턴스에서 변경된 서브타이틀 요소들만 포함하고 있음(The display set contains only the subtitle elements that are changed from the previous page instance.) |
| 01 | 획득 지점 (acquisition point) | 페이지 리프레시 (page refresh) | 디스플레이 세트가 다음 페이지 인스턴스를 정의하는데 필요한 모든 서브타이틀 요소들을 포함하고 있음(The display set contains all subtitle elements needed to display the next page instance.) |
| 10 | 모드 변경 (mode change) | 새로운 페이지 (new page) | 디스플레이 세트가 새로운 페이지를 디스플레이하는데 필요한 모든 서브타이틀 요소들을 포함함(The display set contains all subtitle elements needed to display the new page.) |
| 11 | 보류 (reserved) | 향후 사용을 위해 보류됨 (Reserved for future use.) |
'processed_length' 필드는, 디코더에 의해 처리될 'while' 루프(loop) 내에 포함된 바이트 수 정보를 포함한다. 'region_id' 필드는, 페이지 내의 영역에 대한 고유 식별자를 포함한낸다. 식별된 각각의 영역은 페이지 구성에서 정의된 페이지 인스턴스에 디스플레이될 수 있다. 각각의 영역은 'region_vertical_address' 필드 값의 오름차순에 따라 페이지 구성 세그먼트에 수록된다.
'region_horizontal_address' 필드는, 페이지 내의 해당 영역의 상단 좌측 픽셀이 표시될 수평 픽셀의 위치 정보를 포함한다. 'region_vertical_address' 필드는, 페이지 내의 해당 영역의 상단 좌즉 픽셀이 표시될 수직 라인의 위치 정보를 정의한다.
표 20은 영역 구성 세그먼트 'region_composition_segment'의 신택스를 도시한다.
| Syntax |
| region_composition_segment(){ sync_byte segment_type page_id segment_length region_id region_version_number region_fill_flag reserved region_width region_height region_level_of_compatibility region_depth reserved CLUT_id region_8-bit_pixel_code region_4-bit_pixel-code region_2-bit_pixel-code reserved while (processed_length < segment_length) { object_id object_type object_provider_flag object_horizontal_position reserved object_vertical_position if (object_type ==0x01 or object_type == 0x02){ foreground_pixel_code background_pixel_code } } } |
'region_id' 필드는, 현재 영역의 고유 식별자를 포함한다.
'region_version_number' 필드는, 현재 영역의 버전 정보를 포함한다. (i) 'region_fill_flag' 필드 값이 '1'로 설정된 경우, (ii) 현재 영역의 CLUT테이블이 변경된 경우, (iii) 현재 영역이 길이가 0이 아닌 객체 목록(object list)을 구비하는 경우 중 한 가지 조건이 참인 경우, 현재 영역의 버전이 증가한다.
'region_fill_flag' 필드 값이 '1'로 설정될 경우, 'region_n-bit_pixel_code' 필드에서 정의된 색상으로 현재 영역의 배경이 채워진다.
'region_width' 필드 및 'region_height' 필드는, 각각 현재 영역의 수평 너비 정보 및 수직 높이 정보를 포함하며, 픽셀 단위로 설정된다.
'region_level_of_compatibility' 필드는, 현재 영역을 복호화하기 위해 디코더가 구비해야 할 최소한의 CLUT 타입 정보를 포함하며, 표 21에 따라 정의된다.
| Value | region _ level _ of _ compatibility |
| 0x00 | 보류(reserved) |
| 0x01 | 2비트/엔트리 CLUT 요망 (2-bit/entry CLUT required) |
| 0x02 | 4비트/엔트리 CLUT 요망 (4-bit/entry CLUT required) |
| 0x03 | 8비트/엔트리 CLUT 요망 (8-bit/entry CLUT required) |
| 0x04...0x07 | 보류(reserved) |
디코더가 지정된 최소한의 CLUT 타입을 지원하지 못하는 경우, 더 낮은 레벨의 CLUT 타입을 요구하는 다른 영역들은 표시될 수 있지만 현재 영역은 표시될 수 없다.
'region_depth' 필드는, 영역의 픽셀 깊이 정보를 포함하며, 표 22 는 정의된다.
| Value | region _ depth |
| 0x00 | 보류(reserved) |
| 0x01 | 2 비트 |
| 0x02 | 4 비트 |
| 0x03 | 8 비트 |
| 0x04...0x07 | 보류(reserved) |
'CLUT_id' 필드는, 현재 영역에 적용될 CLUT 테이블의 식별자를 포함한다. 'region_8-bit_pixel-code' 필드 값은, 'region_fill_flag' 필드가 설정된 경우에 현재 영역의 배경 색으로 적용될 8비트 CLUT테이블의 색상 엔트리를 정의한다. 유사한 방식으로, 'region_4-bit_pixel-code' 필드 값 및 'region_2-bit_pixel-code' 필드 값은, 각각 'region_fill_flag' 필드가 설정된 경우에 현재 영역의 배경 색으로 적용될 4비트 CLUT테이블의 색상 엔트리 및 2비트 CLUT테이블의 색상 엔트리를 정의한다.
'object_id' 필드는 현재 영역에서 보여질 객체의 식별자를 포함하며, 'object_type' 필드는 표 23에서 정의된 객체 타입 정보를 포함한다. 객체 타입은, 기저 객체 또는 구성 객체, 비트맵, 문자 또는 문자열로 분류될 수 있다.
| Value | object _ type |
| 0x00 | 기저 객체, 비트맵 (basic_object, bitmap) |
| 0x01 | 기저 객체, 문자 (basic_object, character) |
| 0x02 | 구성 객체, 문자열 (composite_object, string of characters) |
| 0x03 | 보류(reserved) |
'object_provider_flag' 필드는, 표 24에 따라 객체를 제공하는 방식을 보여준다.
| Value | object _ provider _ flag |
| 0x00 | 서브타이틀 스트림 내에 포함됨(Provided in the subtitling stream) |
| 0x01 | IRD에서 ROM에 의해 제공됨 (provided by a POM in the IRD) |
| 0x02 | 보류(reserved) |
| 0x03 | 보류(reserved) |
'object_horizontal_position' 필드는, 현재 영역 내의 객체 데이터가 표시될 상대적 위치로, 현재 객체의 상단 왼쪽 픽셀이 표시될 수평 픽셀의 위치 정보를 포함한다. 즉, 현재 영역의 왼쪽 끝을 기준으로 현재 객체의 좌측 상단 픽셀까지의 픽셀수가 정의된다.
'object_vertical_position' 필드는, 현재 영역 내의 객체 데이터가 표시될 상대적 위치로, 현재 객체의 상단 왼쪽 픽셀이 표시될 수직 라인의 위치 정보를 포함한다. 즉, 현재 영역의 상단을 기준으로 현재 객체까지의 상단 라인까지의 라인의 개수가 정의된다.
'foreground_pixel_code' 필드는, 문자의 전경 색상으로 선택된 8비트 CLUT 테이블의 색상 엔트리 정보를 포함한다. 'background_pixel_code' 필드는, 문자의 배경 색상으로 선택된 8비트 CLUT테이블의 색상 엔트리 정보를 포함한다.
표 25 는 CLUT 정의 세그먼트 'CLUT_definition_segment'의 신택스를 도시한다.
| Syntax |
| CLUT_definition_segment(){ sync_byte segment_type page_id segment length CLUT-id CLUT_version_number reserved while (processed_length < segment length) { CLUT_entry_id 2-bit/entry_CLUT_flag 4-bit/entry_CLUT_flag 8-bit/entry_CLUT_flag reserved full_range_flag if full_range_flag == '1'{ Y-value Cr-value Cb-value T-value } else { Y-value Cr-value Cb-value T-value } } } |
'CLUT-id' 필드는, 페이지 내에서 CLUT 정의 세그먼트에 포함된 CLUT테이블의 식별자를 포함한다. 'CLUT_version_number' 필드는, CLUT 정의 세그먼트의 버전 번호를 나타내며, 현재 세그먼트의 내용이 변경될 경우 버전 번호가 모듈로 16 단위로 증가한다.
'CLUT_entry_id' 필드는, CLUT 엔트리의 고유 식별자를 포함하며, 최초 식별자 값는 0이다. '2-bit/entry_CLUT_flag' 필드 값이 '1'로 설정될 경우 현재 CLUT테이블은 2비트 엔트리로 구성됨이 설정되며, 유사한 방식으로 '4-bit/entry_CLUT_flag' 필드값 또는 '8-bit/entry_CLUT_flag' 필드값이 '1'로 설정될 경우 현재 CLUT테이블은 4비트 엔트리 또는 8비트 엔트로 구성됨이 설정된다.
'full_range_flag' 필드값이 '1'로 설정될 경우 'Y_value' 필드, 'Cr_value' 필드, 'Cb_value' 필드 및 'T_value' 필드에 대해 풀 8비트 해상도가 적용된다.
'Y_value' 필드, 'Cr_value' 필드 및 'Cb_value' 필드는, 각각 입력에 대한 CLUT테이블의 Y 출력 정보, Cr 출력 정보 및 Cb 출력 정보를 포함한다.
'T_value' 필드는, 입력에 대한 CLUT테이블의 투명도 정보를 포함한다. 'T_value' 필드값이 '0'인 경우 투명도가 없음을 의미한다.
표 26은 객체 데이터 세그먼트 'object_data_segment'의 신택스를 도시한다.
| Syntax |
| object_data_segment() { sync_byte segment_type page_id segment_length object_id object_version_number object_coding_method non_modifying_colour_flag reserved if (object coding method == '00') { top_field_data_block_length bottom_field_data_block_length while(processed_Iength < top_field_data_block_length) pixel-data_sub-block() while (processed_length< bottom_field_data_block_Iength) pixel-data_sub-block() if (!wordaligned()) 8_stuff_bits } if (object_coding_method == '01') { number_of_codes for (i== 1; i<= number_of_codes; i++) character_code } } |
'object_id' 필드는, 페이지 내의 현재 객체에 대한 식별자를 포함한다. 'object_version_number' 필드는, 현재 객체 데이터 세그먼트의 버전 정보를 포함하며, 세그먼트의 내용이 변경될 때마다 버전 번호가 '모듈로 16' 단위로 증가한다.
'object_coding_method' 필드는, 객체의 부호화 방법 정보를 포함한다. 표 27에 따라, 객체는 픽셀 또는 문자열로 부호화될 수 있다.
| Value | object _ coding _ method |
| 0x00 | 픽셀 부호화(coding of pixels) |
| 0x01 | 문자열 부호화(coded as a string of characters) |
| 0x02 | reserved |
| 0x03 | reserved |
'non_modifying_colour_flag' 필드값이 '1'로 지정된 경우, CLUT테이블의 입력값 '1'이 수정되지 않은 '비수정 색상'임을 나타낸다. 객체 픽셀에 비수정 색상이 할당되면, 기저 영역의 배경 또는 객체의 픽셀은 수정되지 않는다.
'top_field_data_block_length' 필드는, 최상단 필드에 대한 'pixel-data_sub-blocks' 필드에 포함된 바이트 수 정보를 포함한다. 'bottom_field_data_block_length' 필드는, 최하단 필드에 대한 'data_sub-block' 필드에 포함된 바이트 수 정보를 포함한다. 각각의 객체에서, 최상단 필드의 픽셀 데이터 서브 블록과 최하단 필드의 픽셀 데이터 서브 블록은 동일한 객체 데이터 세그먼트를 통해 정의된다.
'8_stuff_bits' 필드는, '0000 0000'으로 고정된다. 'number_of_codes' 필드는, 문자열 내의 문자 코드 수 정보를 포함한다. 'character_code' 필드 값은, 서브타이틀 서술자에서 식별되는 문자 코드 내의 인덱스를 이용해 문자를 설정한다.
표 28 은 디스플레이 셋 세그먼트 종료 영역(end_of_display_set_segment)의 신택스를 도시한다.
| Syntax |
| end_of_display_set_segment() { sync_byte segment_type page_id segment_length } |
'end_of_display_set_segment' 필드는, 디코더에게 디스플레이 세트의 전송이 완료되었음을 명백히 알려주기 위해 이용된다. 'end_of_display_set_segment' 필드는 각각의 디스플레이 세트에 대해 마지막 객체 데이터 세그먼트 'object_data_segment' 필드 다음에 삽입될 수 있다. 또한 'end_of_display_set_segment' 필드는, 하나의 서브타이틀 스트림 내에서 각각의 서브타이틀 서비스를 구분하기 위해서도 이용될 수 있다.
도 22 은 DVB 통신 방식에 따르는 서브타이틀 처리 모델의 흐름도를 도시한다.
DVB 통신 방식에 따르는 서브타이틀 처리 모델(2200)에 따르면, 서브타이틀 데이터가 포함된 TS스트림(2210)이 입력되고 MPEG-2 TS패킷(Transport Stream Packet)들로 분해되어, PID 필터(PID filter)를 통해 MPEG-2 TS패킷들 중에서 서브타이틀에 대응하는 PID정보가 할당된 서브타이틀용 TS패킷들(2212, 2214, 2216)만 추출되어(단계 2220), 트랜스포트 버퍼(Transport buffer)로 출력된다. 단계 2230에서, 트랜스포트 버퍼는 서브타이틀용 TS패킷들(2212, 2214, 2216)로부터 서브타이틀 PES패킷들을 구성하여 추출한다. 각각의 서브타이틀 PES패킷은, 서브타이틀 데이터가 포함된 PES 페이로드 및 PES 헤더로 구성된다. 단계 2240에서, 서브타이틀 복호화부(Subtitle Decoder)가 트랜스포트 버퍼로부터 출력된 서브타이틀 PES패킷들을 입력받아, 화면 상에 표시될 서브타이틀을 구성한다.
서브타이틀 복호화 단계 2240는, 전처리 및 필터링(Pre-processor and filters) 단계(2250), 부호화 데이터 버퍼링(Coded data buffer) 단계(2260), 서브타이틀 처리(Sutitle Processing) 단계(2270) 및 구성 버퍼링(Composition buffer) 단계(2280)로 세분화된다.
예를 들어, 사용자에 의해 PMT테이블 내의 페이지 ID정보 'page_id'가 '1'인 페이지가 선택된 경우를 가정한다. 전처리 및 필터링 단계(2250)는 PES 페이로드(PES payload) 내의 'page_id'가 '1'인 구성 페이지(Composition page)들을, 디스플레이 정의 세그먼트, 페이지 구성 세그먼트, 영역 구성 세그먼트, CLUT정의 세그먼트 및 객체 데이터 세그먼트로 분해한다. 분해된 세그먼트들 중 하나 이상의 객체 데이터 세그먼트 내의 하나 이상의 객체 데이터는 부호화 데이터 버퍼에 저장되고(단계 2260), 디스플레이 정의 세그먼트, 페이지 구성 세그먼트, 하나 이상의 영역 구성 세그먼트 및 하나 이상의 CLUT 정의 세그먼트는 구성 버퍼에 저장된다(단계 2280).
서브타이틀 처리 단계(2270)는 부호화 데이터 버퍼로부터 하나 이상의 객체 데이터를 입력받아, 구성 버퍼에 저장된 디스플레이 정보, 페이지 구성 정보, 영역 구성 정보 및 CLUT 정보에 기초하여 하나 이상의 객체들로 구성된 서브타이틀을 생성한다.
서브타이틀 복호화 단계(2240)에서 구성된 서브타이틀은 픽셀 버퍼(Pixel buffer)에 저장된다(단계 2290).
도 23, 24 및 25 는 부호화 데이터 버퍼(Coded Data Buffer), 구성 버퍼(Composition Buffer), 픽셀 버퍼(Pixel Buffer)에 저장된 데이터를 도시한다.
부호화 데이터 버퍼(2300)에, 객체 식별자(object id)가 1인 객체 데이터(2310) 및 객체 식별자가 2인 객체 데이터(2320)가 저장된다.
구성 버퍼(2400)에, 영역 식별자(region id)가 1인 제 1 영역(2410)에 대한 정보, 영역 식별자가 '2'인 제 2 영역(2420)에 대한 정보 및, 제 1 영역(2410) 및 제 2 영역(2420)로 구성된 페이지 구성에 대한 정보(2430)가 저장된다.
서브타이틀 처리 단계(2270)를 통해, 부호화 데이터 버퍼(2300)에 저장된 객체 데이터(2310, 2320) 및 구성 버퍼(2400)에 저장된 제 1 영역(2410), 제 2 영역(2420) 및 페이지(2430)에 대한 정보에 기초하여, 영역별 서브타이틀 객체(2510, 2520)가 배치된 서브타이틀 페이지(2500)가 픽셀 버퍼에 저장된다.
이하, 표 14 내지 표 28 및 도 16 내지 도 25를 참조하여 전술한 DVB 통신 방식에 따른 서브타이틀을 기초로, 서브타이틀의 3차원 재생을 위한 제 2 실시예에 따른 멀티미디어 스트림 생성 장치(100) 및 제 2 실시예에 따른 멀티미디어 스트림 수신 장치(200)의 동작들에 대해, 이하 표 29 내지 34 및 도 26 내지 29를 참조하여 상술된다.
제 2 실시예에 따른 멀티미디어 스트림 생성 장치(100)는, DVB 서브타이틀의 3차원 재생을 위한 정보를 서브타이틀 PES패킷에 삽입할 수 있다. 제 2 실시예에 따른 DVB 서브타이틀의 3차원 재생을 위한 정보는, 서브타이틀 뎁스에 관한 정보로서, 뎁스, 시차, 좌표 등의 오프셋 정보를 다양한 형태로 이용될 수 있다.
구체적인 실시예로, 제 2 실시예에 따른 멀티미디어 스트림 생성 장치(100)의 프로그램 부호화부(110)는, 서브타이틀 PES패킷 내의 구성 페이지 내의 페이지 구성 세그먼트에 DVB 서브타이틀의 3차원 재생을 위한 정보를 삽입할 수 있다. 또한, 제 2 실시예에 따른 프로그램 부호화부(110)는, 서브타이틀의 뎁스를 정의하기 위한 세그먼트를 새롭게 정의하여 PES패킷에 삽입할 수 있다.
표 29 및 30은 각각, 제 2 실시예에 따른 프로그램 부호화부(110)에 의해 DVB 서브타이틀의 뎁스 정보가 포함되도록 변형된, 페이지 구성 세그먼트의 신택스의 예시한다.
| Syntax |
| page_composition_segment(){ sync_byte segment_type page_id segment_length page_time_out page_version_number page_state reserved while (processed_length < segment_length){ region_id region _ offset _ direction region _ offset region_horizontal_address region_vertical_address } } |
제 2 실시예에 따른 프로그램 부호화부(110)는, 표 18의 기본 'page_composition_segment()' 내의 while 루프 내의 'reserved' 필드에, 표 29와 같이 'region_offset_direction' 필드 및 'region_offset' 필드를 추가적으로 삽입할 수 있다. 예를 들어, 제 2 실시예에 따른 프로그램 부호화부(110)는, 'reserved' 필드의 8비트를 대체하여, 'region_offset_direction' 필드에 1비트를 할당하고, 'region_offset' 필드에 7비트를 할당할 수 있다.
'region_offset_direction' 필드는, 현재 영역의 오프셋의 방향성 정보를 포함할 수 있다. 'region_offset_direction' 필드 값이 '0'인 경우 현재 영역의 오프셋이 양의 방향임이 설정되며, '1'인 경우 음의 방향임이 설정될 수 있다.
'region_offset' 필드는, 현재 영역의 오프셋 정보를 포함할 수 있다. 2차원용 서브타이틀을 이용하여 좌시점 서브타이틀 또는 우시점 서브타이틀을 생성하기 위해, 'regrion_horizontal_address' 필드 값에 의해 서브타이틀 영역이라고 정의된 현재 영역의 x좌표 값이 픽셀이동량이 'region_offset' 필드값으로 설정될 수 있다.
| Syntax |
| page_composition_segment(){ sync_byte segment_type page_id segment_length page_time_out page_version_number page_state reserved while (processed_length < segment_length){ region_id region _ offset _ based _ position region _ offset _ direction region _ offset region_horizontal_address region_vertical_address } } |
제 2 실시예에 따른 프로그램 부호화부(110)는, 표 29의 변형된 페이지 구성 세그먼트에 'region_offset_based_position' 필드를 추가할 수 있다. 표 18의 기본적인 페이지 구성 세그먼트 내의 8비트의 'reserved' 필드를 대체하여, 1비트의 'region_offset_direction' 필드, 6비트의 'region_offset' 필드 및 1 비트의 'region_offset_based_position' 필드가 할당될 수 있다.
'region_offset_based_position' 필드는 'region_offset' 필드의 오프셋 값이 기본 평면을 기준으로 적용되는지, 또는 비디오의 뎁스를 기준으로 적용되는지 여부를 나타내기 위한 플래그 정보를 포함할 수 있다.
표 31, 32, 33 및 34는, 제 2 실시예에 따른 프로그램 부호화부(110)가 서브타이틀의 뎁스를 정의하기 위해 새롭게 정의한 뎁스 정의 세그먼트인 'Depth_Definitioin_Segment' 필드의 신택스를 도시한다.
제 2 실시예에 따른 프로그램 부호화부(110)는, 표 15의 'subtitling_segment' 필드 내의 'segment_data_field' 필드에 'Depth_Definition_Segment' 필드 등의 서브타이틀의 오프셋과 관련된 정보들을 추가적인 세그먼트 형태로 삽입할 수 있다. 이에 따라 제 2 실시예에 따른 프로그램 부호화부(110)는, 서브타이틀 타입의 하나로 뎁스 정의 세그먼트를 추가할 수도 있다. 예를 들어, 제 2 실시예에 따른 멀티미디어 스트림 생성 장치(100)가, 표 16의 'subtitle_type' 필드 값이 '0x40'~'0x7F'인, 서브타이틀 타입 필드의 보류 영역(reserved) 중 한 값을 이용하여, 뎁스 정의 세그먼트를 추가적으로 정의함으로써, DVB 서브타이틀 시스템과의 하위 호환성이 보장될 수 있다.
제 2 실시예에 따른 멀티미디어 스트림 생성 장치(100)는, 페이지 단위로 서브타이틀의 오프셋 정보를 정의하는 뎁스 정의 세그먼트를 새롭게 생성할 수 있다. 뎁스 정의 세그먼트 'Depth_Definition_Segment' 필드의 신택스가 표 31 및 32에서 통해 각각 예시한다.
| Syntax |
| Depth_Definition_Segment() { sync_byte segment_type page_id segment_length page _ offset _ direction page _ offset …… |
| Syntax |
| Depth_Definition_Segment() { sync_byte segment_type page_id segment_length page _ offset _ based _ position page _ offset _ direction page _ offset …… |
'page_offset_direction' 필드는, 현재 페이지에 대한 오프셋 방향성 정보를 포함할 수 있다. 'page_offset' 필드는, 현재 페이지에 대한 오프셋 정보를 포함할 수 있다. 즉, 'page_offset' 필드 값은, 현재 페이지의 x좌표값의 픽셀 이동량을 나타낼 수 있다.
또한, 제 2 실시예에 따른 프로그램 부호화부(110)는, 뎁스 정의 세그먼트에 'page_offset_based_position' 필드를 추가할 수 있다. 'page_offset_based_position' 필드는 'page_offset' 필드의 오프셋 값이 기본 평면을 기준으로 적용되는지, 또는 비디오의 뎁스를 기준으로 적용되는지 여부를 나타내기 위한 플래그 정보를 포함할 수 있다.
표 31 및 32의 뎁스 정의 세그먼트에 따르면, 현재 페이지에 대해 동일한 오프셋이 적용될 수 있다.
또한 제 2 실시예에 따른 멀티미디어 스트림 생성 장치(100)는 영역 단위로 서브타이틀의 오프셋 정보를 정의하는 뎁스 정의 세그먼트를 새롭게 생성할 수 있다. 이 경우, 'Depth_Definition_Segment' 필드의 신택스가 표 33 및 34에서 각각 예시된다.
| Syntax |
| Depth_Definition_Segment() { sync_byte segment_type page_id segment_length for (i=0; i<N; i++){ region _ id region _ offset _ direction region _ offset } …… |
| Syntax |
| Depth_Definition_Segment() { sync_byte segment_type page_id segment_length for (i=0; i<N; i++){ region _ id region _ offset _ based _ position region _ offset _ direction region _ offset } …… |
표 33 및 34의 뎁스 정의 세그먼트 내의 'page_id' 필드 및 'region_id' 필드는 페이지 구성 세그먼트의 동일 필드를 참조할 수 있다. 제 2 실시예에 따른 멀티미디어 스트림 생성 장치(100)는, 새로이 정의한 뎁스 정의 세그먼트 내에서 for 루프를 통해 현재 페이지 내의 영역별로 서브타이틀의 오프셋 정보를 설정할 수 있다. 즉, 'region_id' 필드는 현재 영역의 식별정보를 포함하며, 'region_id' 필드값에 따라 'region_offset_direction' 필드, 'region_offset' 필드 및 'region_offset_based_position' 필드가 별도로 설정될 수 있다. 따라서, 서브타이틀의 영역별로 x좌표의 픽셀 이동량이 별도로 설정될 수 있다.
제 2 실시예에 따른 멀티미디오 스트림 수신 장치(200)는 수신된 TS스트림을 파싱하여 구성 페이지들을 추출하고, 구성 페이지 내의 페이지 구성 세그먼트, 영역 정의 세그먼트, CLUT 정의 세그먼트, 객체 데이터 세그먼트 등의 신택스를 판독하여 이를 기초로 서브타이틀을 구성할 수 있다. 또한, 제 2 실시예에 따른 멀티미디오 스트림 수신 장치(200)는 표 26 내지 34를 참조하여 개시된 서브타이틀의 3차원 재생을 위한 정보를 이용하여, 서브타이틀의 페이지 또는 영역의 깊이감을 조절할 수 있다. 이하 도 26 및 27을 참조하여 서브타이틀의 페이지 및 영역의 깊이감을 조절하는 방법이 상술된다.
도 26 는 제 2 실시예에 따른 서브타이틀의 영역별 깊이감 조절 방식을 도시한다.
일 실시예에 따른 서브타이틀 복호화부(2600)는, 도 22를 참조하여 전술된 DVB 통신 방식에 따르는 서브타이틀 처리 모델 중 서브타이틀 복호화 단계(2240)를 변형하여 구현한 모델이다. 또한 일 실시예에 따른 서브타이틀 복호화부(2600)는, 제 2 실시예에 따른 멀티미디어 스트림 수신 장치(200)의 복호화부(230) 및 재생부(240)가 서브타이틀을 복원하고 3차원 서브타이틀을 구성하는 동작을 수행하는 세부 구성요소로 이해될 수도 있다.
일 실시예에 따른 서브타이틀 처리부(2600)는, 전처리 및 필터링부(2610), 부호화 데이터 버퍼(2620), 고급 서브타이틀 처리부(Enhanced Subtitle Processing, 2630) 및 구성 버퍼(2640)를 포함한다. 전처리 및 필터링부(2610)를 통해, 서브타이틀 PES 페이로드 중 객체 데이터는 부호화 데이터 버퍼(2630)로 출력되고, 영역 정의 세그먼트, CLUT 정의 세그먼트, 페이지 구성 세그먼트 및 객체 데이터 세그먼트 등의 서브타이틀 구성 정보는 구성 버퍼(2640)로 출력될 수 있다. 일 실시예에 따르면, 페이지 구성 세그먼트에 표 29 및 30에서 예시된 영역별 뎁스 정보가 수록될 수 있다.
예를 들어 구성 버퍼(2640)에, 영역 식별자가 1인 제 1 영역(2642)에 대한 정보, 영역 식별자가 2인 제 2 영역(2644)에 대한 정보가 저장되고, 영역별 오프셋 정보(offset value per region)가 포함된 페이지 구성(2646)에 대한 정보가 저장될 수 있다.
고급 서브타이틀 처리부(2630)는, 부호화 데이터 버퍼(2620)의 객체 데이터 및 구성 버퍼(2640)의 구성 정보를 이용하여 서브타이틀 페이지를 구성하며, 영역마다 오프셋 정보에 따라 이동시킴으로써 서브타이틀의 깊이감을 조절할 수 있다. 예를 들어, 2차원 서브타이틀 페이지(2650)에는 제 1 영역(2652) 및 제 2 영역(2654)에 각각 제 1 객체 및 제 2 객체가 표시된다. 일 실시예에 따른 구성 버퍼(2640)에 저장된 페이지 구성(2646) 내의 영역별 오프셋 정보에 기초하여 제 1 영역(2652) 및 제 2 영역(2654)이 해당 오프셋만큼 이동될 수 있다.
즉, 좌시점 영상을 위한 서브타이틀 페이지(2660)에서, 제 1 영역(2652) 및 제 2 영역(2654)이 각각 제 1 영역 오프셋(offset for region 1) 및 제 2 영역 오프셋(offset for region 2)만큼 양의 방향으로 이동되어, 제 1 좌시점 영역(2662) 및 제 2 좌시점 영역(2664)에 각각 제 1 객체 및 제 2 객체가 표시될 수 있다. 유사한 방식으로, 우시점 영상을 위한 서브타이틀 페이지(2670)에서, 제 1 영역(2672) 및 제 2 영역(2674)이 각각 제 1 영역 오프셋 및 제 2 영역 오프셋만큼 음의 방향으로 이동되어, 제 1 우시점 영역(2672) 및 제 2 우시점 영역(2674)에 각각 제 1 객체 및 제 2 객체가 표시될 수 있다.
깊이감이 조절되도록 오프셋이 적용된 3차원 서브타이틀 페이지들(2660, 2670)은 픽셀 버퍼에 저장될 수 있다.
도 27 는 제 2 실시예에 따른 서브타이틀의 페이지별 깊이감 조절 방식을 도시한다.
일 실시예에 따른 서브타이틀 처리부(2700)는, 전처리 및 필터링부(2710), 부호화 데이터 버퍼(2720), 고급 서브타이틀 처리부(2730) 및 구성 버퍼(2740)를 포함한다. 전처리 및 필터링부(2710)를 통해, 서브타이틀 PES 페이로드 중 객체 데이터는 부호화 데이터 버퍼(2730)로 출력되고, 영역 정의 세그먼트, CLUT 정의 세그먼트, 페이지 구성 세그먼트 및 객체 데이터 세그먼트 등의 서브타이틀 구성 정보는 구성 버퍼(2740)로 출력될 수 있다. 일 실시예에 따르면, 전처리 및 필터링부(2710)를 의해 표 31 내지 34에서 예시된 뎁스 정의 세그먼트의 페이지별 뎁스 또는 영역별 뎁스 정보가 구성 버퍼(2740)로 전달되어 저장될 수 있다.
예를 들어 구성 버퍼(2740)에, 영역 식별자가 1인 제 1 영역(2742)에 대한 정보, 영역 식별자가 2인 제 2 영역(2744)에 대한 정보가 저장되고, 표 31 및 32에서 예시된 뎁스 정의 세그먼트의 페이지별 오프셋 정보(offset value per page)가 포함된 페이지 구성(2746)에 대한 정보가 저장될 수 있다.
일 실시예에 따른 고급 서브타이틀 처리부(2730)는, 부호화 데이터 버퍼(2720)의 객체 데이터 및 구성 버퍼(2740)의 구성 정보를 이용하여, 서브타이틀 페이지를 구성하며 페이지별 오프셋에 따라 페이지를 이동시킴으로써 서브타이틀의 깊이감을 조절할 수 있다. 예를 들어, 2차원 서브타이틀 페이지(2750)에는 제 1 영역(2752) 및 제 2 영역(2754)에 각각 제 1 객체 및 제 2 객체가 표시된다. 일 실시예에 따른 구성 버퍼(2740)에 저장된 페이지 구성(2746) 내의 페이지별 오프셋 정보에 기초하여 제 1 영역(2652) 및 제 2 영역(2654)이 해당 오프셋만큼 이동될 수 있다.
즉, 좌시점 영상을 위한 서브타이틀 페이지(2760)는, 2차원 서브타이틀 페이지(2750)의 위치로부터 양의 x축 방향으로 현재 페이지 오프셋(offset for page)만큼 이동된다. 이에 따라, 제 1 영역(2752) 및 제 2 영역(2754)도 양의 x축 방향으로 현재 페이지 오프셋(offset for page)만큼 이동되어, 제 1 좌시점 영역(2762) 및 제 2 좌시점 영역(2764)에 각각 제 1 객체 및 제 2 객체가 표시될 수 있다.
유사한 방식으로, 우시점 영상을 위한 서브타이틀 페이지(2770)는, 2차원 서브타이틀 페이지(2750)의 위치로부터 음의 x축 방향으로 현재 페이지 오프셋(offset for page)만큼 이동된다. 이에 따라, 제 1 영역(2752) 및 제 2 영역(2754)도 음의 x축 방향으로 현재 페이지 오프셋(offset for page)만큼 이동되어, 제 1 우시점 영역(2772) 및 제 2 우시점 영역(2774)에 각각 제 1 객체 및 제 2 객체가 표시될 수 있다.
또한, 표 33 및 34에서 예시된 일 실시예에 따른 뎁스 정의 세그먼트의 영역별 오프셋 정보가 구성 버퍼(2740)에 저장되면, 일 실시예에 따른 고급 서브타이틀 처리부(2730)는, 영역별로 오프셋이 적용된 서브타이틀 페이지를 생성하여, 도 26을 참조하여 전술된 좌시점 영상을 위한 서브타이틀 페이지(2660) 및 우시점 영상을 위한 서브타이틀 페이지(2670)과 유사한 결과물을 생성할 수 있다.
제 2 실시예에 따른 멀티미디어 스트림 생성 장치(100)는, DVB 서브타이틀 PES패킷에 서브타이틀 데이터 및 서브타이틀 3차원 재생 정보를 삽입하여 전송할 수 있다. 서브타이틀 3차원 재생 정보는 3차원 서브타이틀의 안정적인 재생을 위해 컨텐츠 제공자에 의해 설정될 수 있다. 이에 따라, 제 2 실시예에 따른 멀티미디어 스트림 수신 장치(200)는, DVB 방식에 따라 수신된 멀티미디어의 데이터스트림을 수신하여 DVB 서브타이틀 데이터 및 DVB 서브타이틀 3차원 재생 정보를 추출하여, 3차원 DVB 서브타이틀을 구성할 수 있다. 또한 제 2 실시예에 따른 멀티미디어 스트림 수신 장치(200)는, DVB 서브타이틀 3차원 재생 정보에 기초하여, 3차원 비디오와 3차원 서브타이틀 간의 뎁스를 조절함으로써, 3차원 비디오 및 서브타이틀 간의 뎁스 역전 현상을 포함하여 시청자에게 피로감을 유발하는 문제점을 방지할 수 있으므로, 이에 따라 시청자가 안정적인 환경에서 3차원 비디오를 감상할 수 있다.
이하 표 35 내지 표 48 및 도 28 내지 도 34을 참조하여, 제 3 실시예에 따른 케이블 통신 방식에 따른 서브타이틀의 3차원 재생을 위한 멀티미디어 스트림의 생성 및 수신에 대해 상술된다.
표 35는 케이블 통신 방식에 따른 서브타이틀 메시지 테이블 'subtitle message'의 신택스를 도시한다.
| Syntax |
| subtitle_message(){ table_ID zero ISO reserved section_length zero segmentation_overlay_included protocol_version if (segmentation_overlay_included) { table_extension last_segment_number segment_number } ISO_639_language_code pre_clear_display immediate reserved display_standard display_in_PTS subtitle_type reserved display_duration block_length if (subtitle_type==simple_bitmap) { simple_bitmap() } else { reserved() } for (i=0; i<N; i++) { descriptor() } CRC_32 } |
'table_ID' 필드는, 현재 'subtitle_message' 테이블의 테이블 식별자를 포함한다.
'section_length' 필드는, 'section_length' 필드로부터 'CRC_32' 필드까지의 바이트 수 정보를 포함한다. 'table_ID' 필드로부터 'CRC_32' 필드까지의 'subtitle_message' 테이블의 최대 길이는 1키로바이트, 즉 1024 바이트에 해당한다. 'simple_bitmap()' 필드의 크기로 인해 'subtitle_message' 테이블의 크기가 1키로바이트를 초과하는 경우, 'subtitle_message' 테이블은 세그먼트 구조로 분할된다. 분할된 각각의 'subtitle_message' 테이블의 크기는 1키로바이트로 고정되며, 1키로바이트가 되지 않는 마지막 'subtitle_message' 테이블은 스터핑 서술자(stuffing descriptor)를 이용하여 잔여부분이 보충된다. 표 36은 스터핑 서술자 'stuffing_descriptor()' 필드의 신택스를 도시한다.
| Syntax |
| stuffing_descriptor() { descriptor_tag stuffing_string_length stuffing_string } |
'stuffing_string_lenght' 필드는 스터핑 스트링의 길이 정보를 포함한다. 'suffing_string' 필드는 스터핑 스트링을 포함하며, 디코더에 의해 복호화되지는 않는다.
표 35의 'subtitle message' 테이블 중, 'ISO_639_language_code' 필드로부터 'simple_bitmap()' 필드가 'message_body()' 세그먼트로 구성될 수 있다. 선택적으로 'subtitle_message' 테이블에 'descriptor()' 필드가 존재하는 경우, 'message_body()' 세그먼트는 'ISO_639_language_code' 필드로부터 'descriptor()' 필드까지 포함한다. 세그먼트들 총합의 최대 길이는 4메가바이트이다.
표 35의 'subtitle message()' 테이블의 'segmentation_overlay_included' 필드는, 현재 'subtitle_message()' 테이블이 세그먼트들로 구성되었는지 여부에 대한 정보를 포함한다. 'table_extension' 필드는, 디코더가 'message_body()' 세그먼트들을 식별할 수 있도록 할당되는 고유 정보를 포함한다. 'last_segment_number' 필드는, 서브타이틀의 전체 메시지 영상을 완성하기 위한 마지막 세그먼트의 식별 정보를 포함한다. 'segment_number' 필드는, 현재 세그먼트의 식별 번호를 포함한다. 세그먼트의 식별 정보는 0~4095의 범위에서 할당될 수 있다.
표 35의 'subtitle_message()' 테이블의 'protocol_version' 필드는, 기존 프로토콜 버전과 근본적으로 구조가 변경되는 경우 신규 프로토콜 버전 정보를 포함한다. 'ISO_639_language_code' 필드는 소정 규격에 따른 언어 코드 정보를 포함한다. 'pre_clear_disply' 필드는, 현재 서브타이틀 텍스트를 재생하기 전에 전체 스크린을 투명하게 처리하는지 여부에 대한 정보를 포함한다. 'immediate' 필드는, 현재 서브타이틀 텍스트를 'display_in_PTS' 필드값에 따른 재생 시점이 아닌, 수신 즉시 화면상에 재생하는지 여부에 대한 정보를 포함한다.
'display_standard' 필드는, 서브타이틀이 재생될 디스플레이 규격 정보를 포함한다. 표 37은 'display_standard' 필드의 내용을 도시한다.
| display _ standard | Meaning | |
| 0 | _720_480_30 | Indicates the display standard has 720 active display samples horizontally per line, 480 active raster lines vertically, and runs at 29.97 or 30 frames per second. |
| 1 | _720_576_25 | Indicates the display standard has 720 active display samples horizontally per line, 576 active raster lines vertically, and runs at 25 frames per second. |
| 2 | _1280_720_60 | Indicates the display standard has 1280 active display samples horizontally per line. 720 active raster lines vertically, and runs at 59.94 or 60 frames per second. |
| 3 | _1920_1080_60 | Indicates the display standard has 1920 active display samples horizontally per line, 1080 active raster lines vertically, and runs at 59.94 or 60 frames per second. |
| Other values | reserved | |
즉, 'display_standard' 필드에 따라, 디스플레이 규격이 '해상도 720x480 및 초당 30프레임', '해상도 720x576 및 초당 25프레임', '해상도 1280x720 및 초당 60프레임' 및 '해상도 1920x1080 및 초당 60프레임' 중 어느 디스플레이 규격이 현재 서브타이틀에 적합한지 여부가 설정될 수 있다.
표 35의 'subtitle_message()' 테이블의 'display_in_PTS' 필드는, 서브타이틀이 재생되어야 할 프로그램 참조 시간 정보를 포함한다. 이러한 절대적 표현 방식에 따른 시간 정보를 인큐 타임(In-Cue Time)이라 지칭한다. 'immediate' 필드에 기초하여 서브타이틀이 즉시 화면에 재생되어야 하는 경우, 즉 'immediate' 필드값이 '1'로 설정된 경우, 디코더는 'display_in_PTS' 필드값을 이용하지 않는다.
현재 'subtitle_message()' 테이블 이후에 재생될 인큐타임 정보를 가진 'subtitle_message()' 테이블이 디코더에 수신되면, 디코더는 재생 대기 중인 서브타이틀 메시지를 폐기할 수 있다. 'immediate' 필드값이 '1'로 설정된 경우 재생 대기 중인 모든 서브타이틀 메시지들이 폐기된다. 만일 디코더에 의해 서비스를 위한 PCR정보에 불연속 현상이 발생하면, 재생 대기 중인 모든 서브타이틀 메시지들이 폐기된다.
'display_duration' 필드는, 서브타이틀 메시지가 표시되어야 할 지속시간을 TV의 프레임 번호로 표시한 정보를 포함한다. 따라서, 'display_duration' 필드값은 'display_standard' 필드에서 정의된 프레임 레이트와 관련된다. 'display_duration' 필드값의 지속시간에 따라, 인큐 타임에 지속시간이 더해진 시간을 의미하는 아웃큐 타임(Out-Cue Time)이 결정될 수 있다. 아웃큐 프레임 타임에 도달하면, 인큐 타임에 화면에 표시된 서브타이틀 비트맵은 지워진다.
'subtitle_type' 필드는, 현재 서브타이틀 데이터의 포맷 정보를 포함한다. 표 38에 따르면, 'subtitle_type' 필드값이 1인 경우, 현재 서브타이틀 데이터는 심플 비트맵 포맷임을 의미한다.
| subtitle _ type | Meaning |
| 0 | reserved |
| 1 | simple _ bitmap - Indicates the subtitle data block contains data formatted in the simple bitmap style. |
| 2-15 | reserved |
'block_length' 필드는, 'simple_bitmap()' 필드 또는 'reserved()' 필드의 길이 정보를 포함한다.
'simple_bitmap()' 필드는 서브타이틀의 비트맵 포맷 정보를 포함한다. 먼저 도 28을 참조하여 비트맵 포맷의 구조를 살펴본다.
도 28 은 케이블 방송 방식에 따르는 서브타이틀의 비트맵 포맷의 구성요소들을 도시한다.
비트맵 포맷의 서브타이틀은 하나 이상의 압축 비트맵 이미지들로 구성된다. 각각의 비트맵 이미지들은 선택적으로 사각형의 배경 프레임을 가질 수 있다. 예를 들어, 제 1 비트맵(2810)은 배경 프레임(2800)을 가진다. 좌표계의 기준점 (0, 0)이 좌측 상단에 설정되는 경우, 제 1 비트맵(2810)의 좌표 및 배경 프레임(2800)의 좌표 간에, 아래 네가지 관계식이 성립될 수 있다.
1. 배경 프레임(2800)의 상단 수평 좌표값(FTH)은, 제 1 비트맵(2810)의 상단 수평 좌표값(BTH)보다 작거나 같다. (FTH ≤ BTH)
2. 배경 프레임(2800)의 상단 수직 좌표값(FTV)은, 제 1 비트맵(2810)의 상단 수직 좌표값(BTV)보다 작거나 같다. (FTV ≤ BTV)
3. 배경 프레임(2800)의 하단 수평 좌표값(FBH)은, 제 1 비트맵(2810)의 하단 수평 좌표값(BBH)보다 크거나 같다. (FBH ≥ BBH)
4. 배경 프레임(2800)의 하단 수직 좌표값(FBV)은, 제 1 비트맵(2810)의 하단 수직 좌표값(BBV)보다 크거나 같다. (FBV ≥ BBV)
비트맵 포맷의 서브타이틀은 아웃라인(2820)과 드롭 쉐도우(2830)를 가질 수 있다. 아웃라인(2820)은 0~15의 범위에서 다양한 두께로 정의될 수 있다. 드롭 쉐도우(2830)는 우측 쉐도우(Shadow right; Sr) 및 하단 쉐도우(Shadow bottom; Sb)로 정의되며, 우측 쉐도우(Sr) 및 하단 쉐도우(Sb)가 각각 0~15의 범위에서 다양한 두께로 정의될 수 있다.
표 39는, 비트맵 포맷 정보 'simple_bitmap()' 필드의 신택스를 도시한다.
| Syntax |
| simple_bitmap(){ reserved background_style outline_style character_color() bitmap_top_H_coordinate bitmap_top_V_Coordinate bitmap_bottom_H_coordinate bitmap_bottom_V_coordinate if (background_style ==framed ){ frame_top_H_coordinate frame_top_V_coordinate frame_bottom_H_coordinate frame_bottom_V_coordinate frame_color() } if (outline_style==outlined){ reserved outline_thickness outline_color() } else if (outline_style==drop_shadow){ shadow_right shadow_bottom shadow_color() } else if (outline_style==reserved){ reserved } bitmap_length compressed_bitmap() } |
'simple_bitmap()' 필드에서는, 비트맵의 좌표값들(bitmap_top_H_coordinate, bitmap_top_V_coordinate, bitmap_bottom_H_coordinate, bitmap_bottom_V_coordinate)가 설정된다.
또한 'simple_bitmap()' 필드에서는, 'background_style' 필드에 기초하여 배경 프레임이 존재한다면, 배경 프레임의 좌표값들(frame_top_H_coordinate, frame_top_V_coordinate, frame_bottom_H_coordinate, frame_bottom_V_coordinate)이 설정될 수 있다.
또한 'simple_bitmap()' 필드에서는, 'outline_style' 필드에 기초하여 아웃라인이 존재한다면, 아웃라인의 두께값(outline_thickness)이 설정될 수 있다. 또한, 'outline_style' 필드에 기초하여 드롭 쉐도우가 존재한다면, 드롭 쉐도우의 우측 쉐도우 및 하단 쉐도우의 두께값(shadow_right, shadow_bottom)이 설정될 수 있다.
'simple_bitmap()' 필드는, 서브타이틀 문자의 색상 정보를 포함하는 'character_color()' 필드, 서브타이틀 배경 프레임의 색상 정보를 포함하는 'frame_color()' 필드, 서브타이틀 아웃라인의 색상 정보를 포함하는 'outline_color()' 필드 및 서브타이틀 드롭 쉐도우의 색상 정보를 포함하는 'shadow_color()' 필드를 포함할 수 있다.
표 40은 각종 'color()' 필드의 신택스를 도시한다.
| Syntax |
| color(){ Y_component opaque_enable Cr_component Cb_component } |
하나 스크린 상에 서브타이틀 재생을 위해 표현 가능한 색상은 최대 16가지이다. 색상 정보는, Y, Cr, Cb 색상요소별로 설정되며, 색상 코드는 각각 0~31의 범위에서 결정된다.
'opaque_enable' 필드는, 서브타이틀 색상의 투명도 정보를 포함한다. 'opaque_enable' 비트에 기초하여, 서브타이틀 색상이 불투명하거나, 비디오 색상과 50대 50으로 블렌딩되도록 표현될 수 있다.
도 29 은 케이블 방송 방식에 따르는 서브타이틀의 3차원 재생을 위한 서브타이틀 처리 모델의 흐름도를 도시한다.
케이블 방송 방식에 따르는 서브타이틀의 3차원 재생을 위한 서브타이틀 처리 모델(2900)에 따르면, PID 필터링(PID filtering) 단계(2910)는, 서브타이틀 메시지가 포함된 TS스트림(MPEG-2 TS carrying Subtitle Messages)이 입력되면, 서브타이틀 메시지가 포함된 TS패킷들을 게더링하여 트랜스포트 버퍼로 출력한다. 트랜스포트 버퍼링(Transport buffer) 단계(2920)는 서브타이틀 세그먼트가 포함된 TS패킷들을 저장한다.
역패킷화 및 역세그먼트화(Depacketization and Desegmeatation) 단계(2930)는, TS패킷들로부터 서브타이틀 세그먼트를 추출하고, 입력 버퍼링(Input buffer) 단계(2940)는 서브타이틀 세그먼트를 저장하고, 서브타이틀 세그먼트들을 게더링한다. 압축복원 및 렌더링(Decompression and Rendering) 단계(2950)는 서브타이틀 세그먼트로부터 서브타이틀 데이터를 복원하여 렌더링하고, 디스플레이 큐잉(Display Queueing) 단계(2960)는 렌더링된 서브타이틀 데이터 및 서브타이틀의 재생 관련 정보를 디스플레이 큐에 저장한다.
디스플레이 큐에 저장된 서브타이틀 데이터는, 서브타이틀의 재생 관련 정보에 기초하여 화면 상의 소정 영역에 배치되어 서브타이틀로 구성되고, 서브타이틀은 소정 시점에 TV 등의 디스플레이 기기의 그래픽 플레인(Graphic Plane, 2970)으로 이동된다. 이에 따라, 디스플레이 기기는 비디오 영상과 함께 서브타이틀을 재생할 수 있다.
도 30 은 케이블 방송 방식에 따르는 서브타이틀 처리 모델을 통해, 서브타이틀이 디스플레이 큐로부터 그래픽 평면으로 출력되는 과정을 도시한다.
디스플레이 큐(3000)에 서브데이터 메시지별로 제 1 비트맵 데이터 및 재생 관련 정보(3010) 및 제 2 비트맵 데이터 및 재생 관련 정보(3020)가 저장된다. 재생 정보는 비트맵이 스크린 상에 표시되기 시작하는 시작 시간 정보(display_in_PTS), 지속 시간 정보(display_duration), 비트맵 좌표 정보를 포함한다. 비트맵 좌표 정보는 비트맵의 좌측 상단 픽셀의 좌표값 및 우측 하단 픽셀의 좌표값을 포함한다.
디스플레이 큐(3000)에 저장된 정보에 기초하여 구성된 서브타이틀은, 재생 정보에 기초한 시간 정보에 따라 픽셀 버퍼(그래픽 플레인)(3070)에 저장된다. 예를 들어, 제 1 비트맵 데이터 및 재생 관련 정보(3010) 및 제 2 비트맵 데이터 및 재생 관련 정보(3020)에 기초하여, PTS 단위 시간 4일 때 제 1 비트맵 데이터가 해당 좌표의 위치(3040)에 표시된 서브타이틀(3030)이 픽셀 버퍼(3070)에 저장된다. 또한 PTS 단위 시간 5일 때 제 1 비트맵 데이터가 해당 좌표 위치(3040)에 표시되고, 제 2 비트맵 데이터가 해당 좌표 위치(3060)에 표시된 서브타이틀(3050)이 픽셀 버퍼(3070)에 저장된다.
표 35 내지 표 40 및 도 28 내지 도 30를 참조하여 전술한 케이블 통신 방식에 따른 서브타이틀을 기초로, 서브타이틀의 3차원 재생을 위해 변경된 제 3 실시예에 따른 멀티미디어 스트림 생성 장치(100) 및 제 3 실시예에 따른 멀티미디어 스트림 수신 장치(200)의 동작들에 대해, 이하 표 41 내지 48 및 도 31 내지 34를 참조하여 상술된다.
제 3 실시예에 따른 멀티미디어 스트림 생성 장치(100)는, 케이블 서브타이틀의 3차원 재생을 위한 정보를 서브타이틀 PES패킷에 삽입할 수 있다. 제 3 실시예에 따른 케이블 서브타이틀의 3차원 재생을 위한 정보는, 서브타이틀에 관한 뎁스, 변이 또는 오프셋에 관한 정보를 포함할 수 있다.
또한, 제 3 실시예에 따른 멀티미디어 스트림 수신 장치(200)는, 케이블 통신 방식을 통해 수신된 TS스트림으로부터 PID정보가 동일한 서브타이틀 PES패킷들을 게더링하여, 케이블 서브타이틀의 3차원 재생을 위한 정보를 추출하고, 케이블 서브타이틀의 3차원 재생을 위한 정보를 이용하여 2차원 서브타이틀을 3차원 서브타이틀로 변경하여 재생할 수 있다.
도 31 는 제 3 실시예에 따른 케이블 방송 방식에 따르는 서브타이틀의 3차원 재생을 위한 서브타이틀 처리 모델의 흐름도를 도시한다.
제 3 실시예에 따른 서브타이틀 처리 모델(3100)의, PID 필터링 단계(3110), 트랜스포트 버퍼링 단계(3120), 역패킷화 및 역세그먼트화 단계(3130), 입력 버퍼링 단계(3140), 압축복원 및 렌더링 단계(3150) 및 디스플레이 큐잉 단계(3160)를 통해 케이블 방송 방식에 따르는 서브타이틀 데이터 및 서브타이틀 재생 관련 정보가 복원되는 과정은, 도 29을 참조하여 전술된 서브타이틀 처리 모델(2900)의 단계 2910 부터 단계 2960까지의 동작과 유사하다. 다만, 디스플레이 큐잉 단계(3160)에서 서브타이틀의 3차원 재생을 위한 정보가 추가적으로 디스플레이 큐에 저장될 수 있다.
제 3 실시예에 따른 3차원 서브타이틀 변환 단계(3D subtitle converting)(3180)는, 디스플레이 큐잉 단계(3160)에서 저장된 서브타이틀 데이터 및 서브타이틀의 3차원 재생을 위한 정보를 포함하는 서브타이틀 재생 관련 정보에 기초하여, 3차원으로 재생될 수 있는 3차원 서브타이틀을 구성할 수 있다. 3차원 서브타이틀은 디스플레이 기기의 그래픽 평면(3170)으로 출력될 수 있다.
제 3 실시예에 따른 서브타이틀 처리 모델(3100)은, 제 3 실시예에 따른 멀티미디어 스트림 수신 장치(200)의 서브타이틀 처리 동작을 구현하기 위하여 적용될 수 있다. 특히, 3차원 서브타이틀 전환(3D subtitle converter) 단계(3180)는 제 3 실시예에 따르는 재생부(240)의 3차원 서브타이틀 처리 동작에 상응할 수 있다.
이하, 제 3 실시예에 따른 멀티미디어 스트림 생성 장치(100)가 서브타이틀의 3차원 재생을 위한 정보를 전송하기 위한 구체적인 실시예들, 및 제 3 실시예에 따른 멀티미디어 스트림 수신 장치(200)가 서브타이틀의 3차원 재생을 위한 정보를 이용하여 3차원 서브타이틀을 재생하는 구체적인 실시예들이 상술된다.
제 3 실시예에 따른 멀티미디어 스트림 생성 장치(100)의 프로그램 부호화부(110)는, 서브타이틀 PES패킷 내의 서브타이틀 메시지 'subtitle_message()' 필드를 이용하여 서브타이틀의 3차원 재생을 위한 정보를 삽입할 수 있다. 또한, 제 2 실시예에 따른 프로그램 부호화부(110)는, 서브타이틀의 뎁스를 정의하기 위한 서술자 또는 서브타이틀 타입을 새롭게 정의하여 PES패킷에 삽입할 수 있다.
표 41 및 42는 각각, 제 3 실시예에 따른 프로그램 부호화부(110)에 의해 케이블 서브타이틀의 뎁스 정보가 포함되도록 변형된, 'simple_bitmap()' 필드 및 'subtitle_message()' 필드의 신택스를 예시한다.
| Syntax |
| simple_bitmap(){ 3d_ subtitle _ offset background_style outline_style character_color() bitmap_top_H_coordinate bitmap_top_V_Coordinate bitmap_bottom_H_coordinate bitmap_bottom_V_coordinate if (background_style ==framed ){ frame_top_H_coordinate frame_top_V_coordinate frame_bottom_H_coordinate frame_bottom_V_coordinate frame_color() } if (outline_style==outlined){ reserved outline_thickness outline_color() } else if (outline_style==drop_shadow){ shadow_right shadow_bottom shadow_color() } else if (outline_style==reserved){ reserved } bitmap_length compressed_bitmap() } |
제 3 실시예에 따른 프로그램 부호화부(110)는, 표 39의 'simple_bitmap()' 필드 내의 'reserved()' 필드 위치에, 표 41에 따라 '3d_subtitle_offset' 필드를 삽입할 수 있다. '3d_subtitle_offset' 필드는, 서브타이틀의 3차원 재생을 위한 좌시점 영상을 위한 비트맵 및 우시점 영상을 위한 비트맵을 생성하기 위하여, 수평 좌표축을 기준으로 비트맵을 이동시키는 이동량을 나타내는 오프셋 정보를 포함할 수 있다. '3d_subtitle_offset' 필드의 오프셋 값은, 서브타이틀 문자와 배경 프레임에 모두 동일하게 적용될 수 있다.
| Syntax |
| subtitle_message(){ table_ID zero ISO reserved section_length zero segmentation_overlay_included protocol_version if (segmentation_overlay_included) { table_extension last_segment_number segment_number } ISO_639_Ianguage_code pre_clear_display immediate reserved display_standard display_in_PTS subtitle_type 3d_ subtitle _ direction display_duration block_length if (subtitle_type==simple_bitmap) { simple_bitmap() } else { reserved() } for (i=0; i<N; i++) { descriptor() } CRC_32 } |
제 3 실시예에 따른 프로그램 부호화부(110)는, 표 35의 'subtitle_message()' 필드 내의 'reserved()' 필드를 대체하여, '3d_subtitle_direction' 필드를 삽입할 수 있다. '3d_subtitle_direction' 필드는, 서브타이틀의 3차원 재생을 위한 좌시점 영상을 위한 비트맵 및 우시점 영상을 생성하기 위한 오프셋의 방향 정보를 포함할 수 있다. 음의 방향의 오프셋이 서브타이틀에 적용되면 서브타이틀을 TV 화면보다 앞으로 돌출되어 보이게 하며, 양의 방향의 오프셋에 의하면 서브타이틀이 TV 화면보다 뒤로 함몰되어 보이는 현상이 발생한다.
오프셋의 방향성에 따른 특징을 이용하여 제 3 실시예에 따른 재생부(240)는, 좌시점 서브타이틀을 기준으로 오프셋을 적용하여 우시점 서브타이틀을 생성할 수 있다. 즉 '3d_subtitle_direction' 필드 값이 음의 방향을 나타내는 경우, 제 3 실시예에 따른 재생부(240)는, 좌시점 서브타이틀의 x좌표값에서 오프셋 값만큼 뺀 값을 우시점 서브타이틀의 x좌표값으로 결정할 수 있다. 유사한 방식으로 3d_subtitle_direction' 필드 값이 양의 방향을 나타내는 경우, 제 3 실시예에 따른 재생부(240)는, 좌시점 서브타이틀의 x좌표값에서 오프셋 값만큼 더한 값을 우시점 서브타이틀의 x좌표값으로 결정할 수 있다.
도 32 은 제 3 실시예에 따라 케이블 방송 방식에 따르는 서브타이틀의 깊이감을 조절하는 일 실시예를 도시한다.
제 3 실시예에 따른 멀티미디어 스트림 수신 장치(200)가 제 3 실시예에 따른 서브타이틀 메시지가 포함된 TS스트림을 수신하고, TS스트림을 역다중화하여 서브타이틀 PES패킷으로부터 서브타이틀 데이터 및 서브타이틀 재생 관련 정보를 추출한다.
제 3 실시예에 따른 멀티미디어 스트림 수신 장치(200)는, 표 41의 비트맵 필드로부터 서브타이틀의 비트맵 좌표 관련 정보, 프레임 좌표 관련 정보 및 비트맵 데이터를 추출할 수 있다. 또한 제 3 실시예에 따른 멀티미디어 스트림 수신 장치(200)는, 표 41의 비트맵 필드의 하위 필드 '3d_subtitle_offset'로부터 3차원 서브타이틀 오프셋 정보를 추출할 수 있다.
제 3 실시예에 따른 멀티미디어 스트림 수신 장치(200)는, 표 42의 서브타이틀 메시지 테이블로부터 서브타이틀 재생 시간 관련 정보를 추출할 수 있고, 또한 서브타이틀 메시지 테이블의 하위 필드 '3d_subtitle_offset_direction'로부터 3차원 서브타이틀 오프셋 방향 정보를 추출할 수 있다.
이에 따라 디스플레이 큐(3200)에, 서브타이틀 재생 시간 관련 정보(display_in_PTS, display_duration), 3차원 서브타이틀 오프셋 정보(3d_subtitle_offset), 오프셋 방향 정보(3d_subtitle_direction) 및 서브타이틀의 비트맵 좌표 정보(BTH, BTV, BBH, BBV) 및 서브타이틀의 배경 프레임 좌표 정보(FTH, FTV, FBH, FBV)를 포함하는 서브타이틀 재생 관련 정보 및 서브타이틀 데이터로 구성된 서브타이틀 정보 세트(3210)가 저장될 수 있다.
3차원 서브타이틀 전환 단계(3180)를 통해, 제 3 실시예에 따른 재생부(240)는, 디스플레이 큐(3200)에 저장된 서브타이틀 재생 관련 정보에 기초하여 서브타이틀이 배치된 서브타이틀 구성 화면이 구성되고, 그래픽 평면(3270) 상에 서브타이틀의 구성 화면이 저장된다.
픽셀 버퍼 또는 그래픽 평면(3270)에 3차원 합성 포맷인 사이드 바이 사이드 포맷의 3차원 서브타이틀 평면(3220)이 저장될 수 있다. 사이드 바이 사이드 포맷은 x축을 따라 해상도가 절반으로 감소하므로, 3차원 서브타이틀(3220)을 생성하기 위해서 디스플레이 큐(3200)에 저장된 서브타이틀 재생 관련 정보 중 기준시점 서브타이틀을 위한 x축 좌표값 및 서브타이틀의 오프셋값을 반분하여 이용하는 것이 바람직하다. 좌시점 서브타이틀(3250) 및 우시점 서브타이틀(3260)의 y좌표값들은, 디스플레이 큐(3200)에 저장된 서브타이틀 재생 관련 정보 중 서브타이틀의 y좌표값들과 동일하다.
예를 들어, 디스플레이 큐(3200)에 서브타이틀 재생 관련 정보 중, 서브타이틀 재생 시간 관련 정보로서 'display_in_PTS = 4' 및 'display_duration=600', 3차원 서브타이틀 오프셋 정보로서 '3d_subtitle_offset = 10', 3차원 서브타이틀 오프셋 방향 정보로서 '3d_subtitle_direction = 1', 서브타이틀의 비트맵 좌표 정보로서 '(BTH, BTV) = (30, 30)'과 '(BBH, BBV) = (60, 40)', 서브타이틀의 배경 프레임 좌표 정보로서 '(FTH, FTV) = (20, 20)'과 '(FBH, FBV) = (70, 50)'가 저장되어 있다.
픽셀 버퍼(3270)에 저장되는 사이드 바이 사이드 포맷의 3차원 서브타이틀 평면(3220)은, 좌시점 서브타이틀 평면(3230) 및 우시점 서브타이틀 평면(3240)으로 구성된다. 좌시점 서브타이틀 평면(3230) 및 우시점 서브타이틀 평면(3240)의 가로 해상도는 원본 해상도에 비해 절반으로 감소하며, 좌시점 서브타이틀 평면(3230)의 원점 좌표가 '(OHL, OVL)=(0, 0)'라면, 우시점 서브타이틀 평면(3240)의 원점 좌표는 '(OHR, OVR)=(100, 0)'이다.
이 때, 좌시점 서브타이틀(3250)의 비트맵의 및 배경 프레임의 x좌표값도 절반으로 축소된다. 즉, 좌시점 서브타이틀(3250)의 비트맵의 좌측 상단 지점의 x좌표값 BTHL 및 우측 하단 지점의 x좌표값 BBHL, 프레임의 좌측 상단 지점의 x좌표값 FTHL 및 우측 하단 지점의 x좌표값 FBHL은 각각 아래 관계식 (1), (2), (3) 및 (4)에 따라 결정된다.
(1) BTHL = BTH / 2; (2) BBHL = BBH / 2;
(3) FTHL = FTH / 2; (4) FBHL = FBH / 2.
따라서, 좌시점 서브타이틀(3250)의 비트맵의 x좌표값들 BTHL, BBHL, FTHL 및 FBHL는, 각각 (1) BTHL = BTH / 2 = 30/2 = 15; (2) BBHL = BBH / 2 = 60/2 = 30; (3) FTHL = FTH / 2 = 20/2 = 10; (4) FBHL = FBH / 2 = 70/2 = 35으로 결정된다.
또한, 우시점 서브타이틀(3260)의 비트맵의 및 배경 프레임의 가로축 해상도도 절반으로 축소된다. 우시점 서브타이틀(3260)의 비트맵 및 배경 프레임의 x좌표값들은, 우시점 서브타이틀 평면(3240)의 원점 (OHR, OVR)을 기준으로 설정된다. 이에 따라, 우시점 서브타이틀(3260)의 비트맵의 좌측 상단 지점의 x좌표값 BTHR 및 우측 하단 지점의 x좌표값 BBHR, 프레임의 좌측 상단 지점의 x좌표값 FTHR 및 우측 하단 지점의 x좌표값 FBHR은 각각 아래 관계식 (5), (6), (7) 및 (8)에 따라 결정된다.
(5) BTHR = OHR + BTHL ± (3d_subtitle_offset / 2);
(6) BBHR = OHR + BBHL ± (3d_subtitle_offset / 2);
(7) FTHR = OHR + FTHL ± (3d_subtitle_offset / 2);
(8) FBHR = OHR + FBHL ± (3d_subtitle_offset / 2).
즉, 우시점 서브타이틀(3260)의 비트맵 및 배경 프레임의 x좌표값들은, 우시점 서브타이틀 평면(3240)의 원점 (OHR, OVR)을 기준으로, 대응하는 좌시점 서브타이틀(3250)의 x좌표값만큼 양의 방향으로 이동한 위치에서, 3차원 서브타이틀 오프셋만큼 음의 방향 또는 양의 방향으로 이동한 위치로 설정될 수 있다. 이 경우 3차원 서브타이틀 오프셋 방향 정보로서 '3d_subtitle_direction = 1'이므로, 3차원 서브타이틀 오프셋 방향은 음의 방향이다.
따라서, 우시점 서브타이틀(3260)의 비트맵 및 배경 프레임의 x좌표값들 BTHL, BBHL, FTHL 및 FBHL는, 각각 (5) BTHR = OHR + BTHL - (3d_subtitle_offset / 2) = 100 + 15 - 5 = 110; (6) BBHR = OHR + BBHL - (3d_subtitle_offset / 2) = 100 + 30 - 5 = 125; (7) FTHR = OHR + FTHL - (3d_subtitle_offset / 2) = 100 + 10 - 5 = 105; (8) FBHR = OHR + FBHL - (3d_subtitle_offset / 2) = 100 + 35 - 5 = 130 으로 결정될 수 있다.
이에 따라, 좌시점 서브타이틀(3250) 및 우시점 서브타이틀(3260)이 각각 서브타이틀 평면(3230, 3240) 상에 x축 방향으로 오프셋만큼 이동된 위치에 표시된 3차원 서브타이틀을 이용하여, 디스플레이 기기는 3차원 서브타이틀을 3차원으로 재생될 수 있다.
또한, 제 2 실시예에 따른 프로그램 부호화부(110)는, 서브타이틀의 뎁스를 정의하기 위한 서술자 및 서브타이틀 타입을 새롭게 정의하여 PES패킷에 삽입할 수 있다.
표 43 는, 제 3 실시예에 따른 프로그램 부호화부(110)에 의해 새롭게 정의된 서브타이틀 뎁스 서술자 'subtitle_depth_descriptor()' 필드의 신택스를 예시한다.
| Syntax |
| Subtitling_depth_descriptor(){ descriptor_tag descriptor_length reserved (or offset_based) character_offset_direction character_offset reserved frame_offset_direction frame_offset } |
일 실시예에 따른 서브타이틀 뎁스 서술자('subtitle_depth_descriptor())는, 서브타이틀 중 문자의 오프셋 방향 정보('character_offset_directoin'), 문자의 오프셋 정보('character_offset'), 서브타이틀 중 배경 프레임의 오프셋 방향 정보('frame_offset_direction') 및 배경 프레임의 오프셋 정보('frame_offset')를 포함할 수 있다.
또한, 일 실시예에 따른 서브타이틀 뎁스 서술자('subtitle_depth_descriptor()')는, 서브타이틀의 문자 또는 배경 프레임의 오프셋이 기본 평면을 기준으로 설정되었는지 또는 비디오 객체의 변이를 기준으로 설정되었는지 여부를 나타내는 정보('offset_based')를 선택적으로 포함할 수 있다.
도 33 은 제 3 실시예에 따라 케이블 방송 방식에 따르는 서브타이틀의 깊이감을 조절하는 다른 실시예를 도시한다.
제 3 실시예에 따른 멀티미디어 스트림 수신 장치(200)는, 표 41의 비트맵 필드로부터, 서브타이틀의 비트맵 좌표 관련 정보, 프레임 좌표 관련 정보 및 비트맵 데이터를 추출하고, 표 42의 서브타이틀 메시지 테이블로부터 서브타이틀 재생 시간 관련 정보를 추출할 수 있다. 또한 제 3 실시예에 따른 멀티미디어 스트림 수신 장치(200)는, 표 43의 서브타이틀 뎁스 서술자 필드로부터 서브타이틀 중 문자의 오프셋 방향 정보('character_offset_direction'), 문자의 오프셋 정보('character_offset'), 서브타이틀 중 배경 프레임의 오프셋 방향 정보('frame_offset_direction') 및 배경 프레임의 오프셋 정보('frame_offset')를를 추출할 수 있다.
이에 따라 디스플레이 큐(3300)에, 서브타이틀 재생 시간 관련 정보(display_in_PTS, display_duration), 서브타이틀 중 문자의 오프셋 방향 정보(character_offset_direction), 문자의 오프셋 정보(character_offset), 서브타이틀 중 배경 프레임의 오프셋 방향 정보(frame_offset_direction) 및 배경 프레임의 오프셋 정보(frame_offset)를 포함하는 서브타이틀 재생 관련 정보 및 서브타이틀 데이터로 구성된 서브타이틀 정보 세트(3310)가 저장될 수 있다.
예를 들어, 디스플레이 큐(3300)에 서브타이틀 재생 관련 정보 중, 서브타이틀 재생 시간 관련 정보로서 'display_in_PTS = 4' 및 'display_duration = 600', 서브타이틀 중 문자의 오프셋 방향 정보 'character_offset_directoin = 1', 문자의 오프셋 정보로서 'character_offset = 10', 서브타이틀 중 배경 프레임의 오프셋 방향 정보로서 'frame_offset_direction = 1' 및 배경 프레임의 오프셋 정보 'frame_offset = 4', 서브타이틀의 비트맵 좌표 정보로서 '(BTH, BTV) = (30, 30)'과 '(BBH, BBV) = (60, 40)', 서브타이틀의 배경 프레임 좌표 정보로서 '(FTH, FTV) = (20, 20)'과 '(FBH, FBV) = (70, 50)'가 저장되어 있다.
3차원 서브타이틀 전환 단계(3180)를 통해, 픽셀 버퍼 또는 그래픽 평면(3370)에 3차원 합성 포맷인 사이드 바이 사이드 포맷의 3차원 서브타이틀 평면(3320)이 저장될 수 있다.
도 32를 통해 전술된 바와 유사한 방식으로, 픽셀 버퍼에 저장되는 사이드 바이 사이드 포맷의 3차원 서브타이틀 평면(3320) 중 좌시점 서브타이틀 평면(3330) 상의 좌시점 서브타이틀(3350)의 비트맵의 좌측 상단 지점의 x좌표값 BTHL 및 하단 지점의 x좌표값 BBHL, 프레임의 좌측 상단 지점의 x좌표값 FTHL 및 우측 하단 지점의 x좌표값 FBHL은, 각각 (9) BTHL = BTH / 2 = 30/2 = 15; (10) BBHL = BBH / 2 = 60/2 = 30; (11) FTHL = FTH / 2 = 20/2 = 10; (12) FBHL = FBH / 2 = 70/2 = 35으로 결정된다.
또한, 3차원 서브타이틀 평면(3320) 중 우시점 서브타이틀 평면(3340) 상의 우시점 서브타이틀(3360)의 비트맵의 좌측 상단 지점의 x좌표값 BTHR 및 우측 하단 지점의 x좌표값 BBHR, 프레임의 좌측 상단 지점의 x좌표값 FTHR 및 우측 하단 지점의 x좌표값 FBHR은 각각 아래 관계식 (13), (14), (15) 및 (16)에 따라 결정된다.
(13) BTHR = OHR + BTHL ± (character_offset / 2);
(14) BBHR = OHR + BBHL ± (character_offset / 2);
(15) FTHR = OHR + FTHL ± (frame_offset / 2);
(16) FBHR = OHR + FBHL ± (frame_offset / 2).
이 경우 3차원 서브타이틀 오프셋 방향 정보로서 'character_offset_direction = 1'과 'frame_offset_direction = 1'이므로, 3차원 서브타이틀 오프셋 방향은 음의 방향이다.
따라서, 우시점 서브타이틀(3360)의 비트맵 및 배경 프레임의 x좌표값들 BTHL, BBHL, FTHL 및 FBHL는, 각각 (13) BTHR = OHR + BTHL - (character_offset / 2) = 100 + 15 - 5 = 110; (14) BBHR = OHR + BBHL - (character_offset / 2) = 100 + 30 - 5 = 125; (15) FTHR = OHR + FTHL - (frame_offset / 2) = 100 + 10 - 2 = 108; (16) FBHR = OHR + FBHL - (frame_offset / 2) = 100 + 35 - 2 = 133 으로 결정될 수 있다.
이에 따라, 좌시점 서브타이틀(3350) 및 우시점 서브타이틀(3360)이 각각 서브타이틀 평면(3330, 3340) 상에 x축 방향으로 오프셋만큼 이동된 위치에 배치한 3차원 서브타이틀(3320)을 이용하여, 3차원 디스플레이 기기는 서브타이틀을 3차원으로 재생될 수 있다.
제 3 실시예에 따른 멀티미디어 스트림 생성 장치(100)는 케이블 서브타이틀 타입으로, 서브타이틀의 3차원 재생을 위하여 부가시점을 위한 서브타이틀 타입을 추가적으로 설정할 수 있다. 표 44 는, 제 3 실시예에 따른 멀티미디어 스트림 생성 장치(100)에 의해 변형된 서브타이틀 타입의 테이블을 예시한다.
| subtitle _ type | Meaning |
| 0 | reserved |
| 1 | simple_bitmap - Indicates the subtitle data block contains data formatted in the simple bitmap style. |
| 2 | subtitle _ another _ view - 3D를 위한 다른 시점의 비트맵과 배경 프레임 좌표 |
| 3-15 | reserved |
표 44의 서브타이틀 타입의 변형례에 따르면, 제 3 실시예에 따른 멀티미디어 스트림 생성 장치(100)는, 표 38의 서브타이틀 타입의 기본 테이블 중 서브타이틀 타입 필드값이 '2~15' 범위인 보류 영역(reserved)을 이용하여, 서브타이틀 타입 필드값 '2'에 서브타이틀의 3차원 재생을 위한 부가 시점 서브타이틀 타입 'subtitle_another_view'을 추가적으로 할당할 수 있다.
제 3 실시예에 따른 멀티미디어 스트림 생성 장치(100)는, 표 44의 서브타이틀 타입의 변형례에 기초하여 표 35의 기본 서브타이틀 메시지 테이블을 변형할 수 있다. 표 45는, 서브타이틀 메시지 테이블 'subititle_message()'의 변형례의 신택스를 나타낸다.
| Syntax |
| subtitle_message(){ table_ID zero ISO reserved section_length zero segmentation_overlay_included protocol_version if (segmentation_overlay_included) { table_extension last_segment_number segment_number } ISO_639_Ianguage_code pre_clear_display immediate reserved display_standard display_in_PTS subtitle_type reserved display_duration block_length if (subtitle_type==simple_bitmap) { simple_bitmap() } else if ( subtitle _ type == subtitle _ another _ view ) { subtitle _ another _ view () } else { reserved() } for (i=0; i<N; i++) { descriptor() } CRC_32 } |
즉, 서브타이틀 메시지 테이블의 변형례는, 서브타이틀 타입이 'subtitle_another_view'인 경우, 부가시점 서브타이틀 정보를 설정하기 위한 'subtitle_another_view()' 필드를 추가적으로 포함할 수 있다. 표 46는 일 실시예에 따른 'subtitle_another_view()' 필드의 신택스를 나타낸다.
| Syntax |
| subtitle _ another _ view (){ reserved background_style outline_style character_color() bitmap _ top _H_ coordinate bitmap _ top _V_ Coordinate bitmap _ bottom _H_ coordinate bitmap _ bottom _V_ coordinate if (background_style==framed){ frame _ top _H_ coordinate frame _ top _V_ coordinate frame _ bottom _H_ coordinate frame _ bottom _V_ coordinate frame_color() } if (outline_style==outlined){ reserved outline_thickness outline_color() } else if (outline_style==drop_shadow){ shadow_right shadow_bottom shadow_color() } else if (outline_style==reserved){ reserved } bitmap_length compressed_bitmap() } |
일 실시예에 따른 'subtitle_another_view()' 필드는, 부가시점을 위한 서브타이틀의 비트맵의 좌표 정보(bitmap_top_H_coordinate, bitmap_top_V_coordinate, bitmap_bottom_H_coordinate, bitmap_bottom_V_coordinate)를 포함할 수 있다. 또한 일 실시예에 따른 'subtitle_another_view()' 필드는, 'background_style' 필드에 기초하여 부가시점을 위한 서브타이틀의 배경 프레임이 존재한다면, 부가시점을 위한 서브타이틀의 배경 프레임의 좌표 정보(frame_top_H_coordinate, frame_top_V_coordinate, frame_bottom_H_coordinate, frame_bottom_V_coordinate)를 포함할 수 있다.
또한 제 3 실시예에 따른 멀티미디어 스트림 생성 장치(100)는, 부가시점을 위한 서브타이틀의 비트맵 관련 좌표 정보 및 배경 프레임 관련 정보 뿐만 아니라, 아웃라인이 존재한다면 아웃라인의 두께 정보(outline_thickness), 드롭 쉐도우가 존재한다면 드롭 쉐도우의 우측 쉐도우 및 좌측 쉐도우의 두께 정보(shadow_right, shadow_bottom)를 일 실시예에 따른 'subtitle_another_view()' 필드에 포함시킬 수 있다.
제 3 실시예에 따른 멀티미디어 스트림 수신 장치(200)는, 'subtitle_another_view()' 필드 중 서브타이틀의 비트맵의 좌표 정보 및 배경 프레임의 좌표 정보만을 추출하여 이용함으로써 데이터 처리량을 줄일 수도 있다.
도 34 은 제 3 실시예에 따라 케이블 방송 방식에 따르는 서브타이틀의 깊이감을 조절하는 또 다른 실시예를 도시한다.
제 3 실시예에 따른 멀티미디어 스트림 수신 장치(200)는, 서브타이틀 타입 'subtitle_another_view()'을 고려하도록 변형된 표 45의 서브타이틀 메시지 테이블로부터 서브타이틀 재생 시간 관련 정보를 추출하고, 표 46의 'subtitle_another_view()' 필드로부터, 부가시점 서브타이틀의 비트맵 좌표 정보, 프레임 좌표 정보 및 비트맵 데이터를 추출할 수 있다.
이에 따라 디스플레이 큐(3400)에, 서브타이틀 재생 시간 관련 정보(display_in_PTS, display_duration), 부가시점을 위한 서브타이틀의 비트맵의 좌표 정보(bitmap_top_H_coordinate, bitmap_top_V_coordinate, bitmap_bottom_H_coordinate, bitmap_bottom_V_coordinate) 및 부가시점을 위한 서브타이틀의 배경 프레임의 좌표 정보(frame_top_H_coordinate, frame_top_V_coordinate, frame_bottom_H_coordinate, frame_bottom_V_coordinate)를 포함하는 서브타이틀 재생 관련 정보 및 서브타이틀 데이터로 구성된 서브타이틀 정보 세트(3410)가 저장될 수 있다.
예를 들어, 디스플레이 큐(3400)에 서브타이틀 재생 관련 정보 중, 서브타이틀 재생 시간 관련 정보로서 'display_in_PTS = 4' 및 'display_duration = 600', 부가시점 서브타이틀의 비트맵 좌표 정보로서 'bitmap_top_H_coordinate = 20', 'bitmap_top_V_coordinate = 30',' bitmap_bottom_H_coordinate = 50', 'bitmap_bottom_V_coordinate = 40' 및, 부가시점 서브타이틀의 배경 프레임 좌표 정보로서 'frame_top_H_coordinate = 10', 'frame_top_V_coordinate = 20', 'frame_bottom_H_coordinate = 60', 'frame_bottom_V_coordinate = 50'를 포함하는 서브타이틀 재생 관련 정보, 서브타이틀의 비트맵 좌표 정보로서 '(BTH, BTV) = (30, 30)'과 '(BBH, BBV) = (60, 40)', 서브타이틀의 배경 프레임 좌표 정보로서 '(FTH, FTV) = (20, 20)'과 '(FBH, FBV) = (70, 50)'가 저장되어 있다.
3차원 서브타이틀 전환 단계(3180)를 통해, 픽셀 버퍼 또는 그래픽 평면(3470)에 3차원 합성 포맷인 사이드 바이 사이드 포맷의 3차원 서브타이틀 평면(3420)이 저장될 수 있다. 도 32를 통해 전술된 바와 유사한 방식으로, 픽셀 버퍼에 저장되는 사이드 바이 사이드 포맷의 3차원 서브타이틀 평면(3420) 중 좌시점 서브타이틀 평면(3430) 상의 좌시점 서브타이틀(3450)의 비트맵의 좌측 상단 지점의 x좌표값 BTHL 및 우측 하단 지점의 x좌표값 BBHL, 배경 프레임의 좌측 상단 지점의 x좌표값 FTHL 및 우측 하단 지점의 x좌표값 FBHL은, 각각 (17) BTHL = BTH / 2 = 30/2 = 15; (18) BBHL = BBH / 2 = 60/2 = 30; (19) FTHL = FTH / 2 = 20/2 = 10; (20) FBHL = FBH / 2 = 70/2 = 35으로 결정된다.
또한, 3차원 서브타이틀 평면(3420) 중 우시점 서브타이틀 평면(3440) 상의 우시점 서브타이틀(3460)의 비트맵의 좌측 상단 지점의 x좌표값 BTHR 및 우측 하단 지점의 x좌표값 BBHR, 프레임의 좌측 상단 지점의 x좌표값 FTHR 및 우측 하단 지점의 x좌표값 FBHR은 각각 아래 관계식 (21), (22), (23) 및 (24)에 따라 결정된다.
(21) BTHR = OHR + bitmap_top_H_coordinate / 2;
(22) BBHR = OHR + bitmap_bottom_H_coordinate / 2;
(23) FTHR = OHR + frame_top_H_coordinate / 2;
(24) FBHR = OHR + frame_bottom_H_coordinate / 2.
따라서, 우시점 서브타이틀(3460)의 비트맵의 x좌표값들 BTHL, BBHL, FTHL 및 FBHL는, 각각 (21) BTHR = OHR + bitmap_top_H_coordinate / 2 = 100 + 10 = 110; (22) BBHR = OHR + bitmap_bottom_H_coordinate / 2 = 100 + 25 = 125; (23) FTHR = OHR + frame_top_H_coordinate / 2 = 100 + 5 = 105; (24) FBHR = OHR + frame_bottom_H_coordinate / 2 = 100 + 30 = 130 으로 결정될 수 있다.
이에 따라, 좌시점 서브타이틀(3450) 및 우시점 서브타이틀(3460)이 각각 서브타이틀 평면(3430, 3440) 상에 x축 방향으로 오프셋만큼 이동된 위치에 배치한 3차원 서브타이틀(3420)을 이용하여, 3차원 디스플레이 기기는 서브타이틀을 3차원으로 재생할 수 있다.
제 3 실시예에 따른 멀티미디어 스트림 생성 장치(100)는 케이블 서브타이틀 타입으로, 서브타이틀의 3차원 효과를 위한 서브타이틀 변이 타입을 추가적으로 설정할 수 있다. 표 47 는, 제 3 실시예에 따른 멀티미디어 스트림 생성 장치(100)에 의해 서브타이틀 변이 타입이 추가되도록 변형된 서브타이틀 타입의 테이블을 예시한다.
| subtitle _ type | Meaning |
| 0 | reserved |
| 1 | simple_bitmap - Indicates the subtitle data block contains data formatted in the simple bitmap style. |
| 2 | subtitle _ disparity - 3차원 효과를 위한 변이 정보 |
| 3-15 | reserved |
표 47의 서브타이틀 타입의 변형례에 따르면, 제 3 실시예에 따른 멀티미디어 스트림 생성 장치(100)는, 표 38의 서브타이틀 타입의 기본 테이블 중 보류 영역을 이용하여, 서브타이틀 타입 필드값 '2'에 서브타이틀 변이 타입 'subtitle_disparity'을 추가적으로 할당할 수 있다.
제 3 실시예에 따른 멀티미디어 스트림 생성 장치(100)는, 표 47의 서브타이틀 타입의 변형례에 기초하여 서브타이틀 변이 필드를 새로이 설정할 수 있다. 표 48은, 일 실시예에 따른 서브타이틀 변이 필드 'subtitle_disparity()'의 신택스를 나타낸다.
| Syntax |
| subtitle_disparity(){ disparity } |
표 48에 따르면 일 실시예에 따른 서브타이틀 변이 필드는, 좌시점 서브타이틀 및 우시점 서브타이틀 간의 변이 정보를 포함하는 'disparity' 필드를 포함한다.
제 3 실시예에 따른 멀티미디어 스트림 수신 장치(200)는, 새로이 설정된 서브타이틀 타입 'subtitle_disparity'을 고려하도록 변형된 서브타이틀 메시지 테이블로부터 서브타이틀 재생 시간 관련 정보를 추출하고, 표 48의 'subtitle_disparity' 필드로부터, 3차원 서브타이틀의 변이 정보 및 비트맵 데이터를 추출할 수 있다. 이에 따라, 제 3 실시예에 따른 재생부(240)에 의해 우시점 서브타이틀이 좌시점 서브타이틀(3450)의 위치로부터 변이만큼 이동된 위치에 표시함으로써 구성된 서브타이틀은, 3차원 디스플레이 기기에 의해 3차원으로 재생될 수 있다.
이하 표 49 내지 59 및 도 35 내지 도 40를 참조하여, 제 4 실시예에 따른 EPG 정보의 3차원 재생을 위한 멀티미디어 스트림의 생성 및 수신에 대해 상술한다.
도 35 는 EPG 정보를 전송하는 디지털 통신 시스템의 블록도를 도시한다.
디지털 통신 시스템(3500)에 비디오 신호, 오디오 신호 및 관련 보조 데이터가 입력된다. 비디오 데이터는 비디오 부호화부(Video Encoder, 3510)에 의해 부호화되고, 오디오 데이터는 오디오 부호화부(Audio Encoder, 3520)에 의해 부호화된다. 부호화된 비디오 데이터 및 오디오 데이터는 각각 패킷화기(Packetizer, 3530, 3540)를 거쳐 비디오 PES패킷들 및 오디오 PES패킷들로 분할(segmentation)된다.
PSIP/PSI 생성부(PSIP/SI Generator, 3550)는, PAT테이블(Program Association Table) 및 PMT테이블(Program Map Table)를 생성하여, 각종 PSIP정보 또는 SI정보를 생성한다. 이때, 디지털 통신 시스템(3500)은, 각종 EPG 정보를 PSIP 테이블 또는 SI 테이블에 삽입할 수 있다.
디지털 통신 시스템(3500)이 ATSC 통신 방식을 따르는 경우 PSIP/PSI 생성부(PSIP/SI Generator, 3550)는 PSIP 테이블을 생성하고, 디지털 통신 시스템(3500)이 DVB 통신 방식을 따르는 경우 PSIP/PSI 생성부(PSIP/SI Generator, 3550)는 SI 테이블을 생성한다.
디지털 통신 시스템(3500)의 다중화부(MUX, 3560)는 패킷화기(3530, 3540)로부터 비디오 PES패킷들, 오디오 PES패킷들, 부가 데이터 및 PSI 생성부(1660)로부터 입력된 PSI테이블 및 ATSC-PSIP테이블 또는 DVB-SI테이블들을 섹션 형태로 입력받아, 다중화하여 하나의 프로그램에 대한 TS스트림을 생성하여 출력한다.
도 36 은 ATSC 통신 방식에 따라, EPG 정보가 수록되는 PSIP 테이블들을 도시한다.
ATSC 통신 방식에 따르면, PSIP 테이블에 EPG 정보가 수록된다. PSIP 테이블은, 현재 시간과 날짜에 대한 정보가 수록되는 STT테이블(System Time Table, 3610), 방송 프로그램의 지역별 방송 시청 등급에 대한 정보가 수록되는 RRT테이블(Rating Region Table, 3620), STT테이블(3610)을 제외한 모든 테이블의 PID정보와 버전 정보가 수록되는 MGT테이블(Master Guide Table, 3630), 전송할 채널 번호 등의 채널 정보가 수록된 위성 VCT테이블(Virtual Channel Table, 3460), 방송 프로그램 등의 이벤트의 제목 및 시작 시간 등의 이벤트 정보가 수록되는 EIT테이블(Event Information Table, 3650, 3652, 3653) 및 방송 프로그램에 대한 배경, 줄거리, 등장 인물과 같은 상세한 설명 등의 부가 텍스트 정보가 수록되는 ETT테이블(Extended Text Table, 3660, 3662, 3664, 3666)로 구성된다. 즉, PSIP 테이블에 방송 프로그램 등의 이벤트에 대한 각종 정보가 수록된다.
특히 위성 VCT테이블(3460)은 채널별로 가상채널 식별자(source_id)를 포함하여, 가상채널 식별자에 따라 EIT테이블(3650, 3652, 3653) 중 채널별 이벤트 정보가 검색될 수 있다. 또한, 각각의 ETT테이블(3660, 3662, 3664, 3666)은 대응하는 VCT테이블(3460) 또는 EIT테이블(3650, 3652, 3653)의 텍스트 메시지를 포함할 수 있다.
도 37 는 DVB 통신 방식에 따라, EPG 정보가 수록되는 SI 테이블들을 도시한다.
SI 테이블은 지상파, 케이블 또는 위성 네트워크 등의 현재 방송의 네트워크 종류 정보가 수록되는 NIT테이블(Network Information Table, 3710), 서비스명, 서비스 제공업자 등의 서비스 정보가 수록되는 SDT테이블(Service Description Table, 3720), 방송 프로그램의 제목 또는 시간 등의 이벤트 관련 정보가 수록되는 EIT테이블(Event Information Table, 3730) 및 현재 날짜와 시간 정보가 수록되는 TDT테이블(Time and Data Table, 3740)로 구성된다. 따라서, SI 테이블에 방송 프로그램 등의 이벤트에 대한 각종 정보가 수록된다.
이하, ATSC-PSIP테이블 중, VCT테이블의 신택스가 표 49에, RRT테이블의 신택스가 표 50에, STT테이블의 신택스가 표 51에, EIT테이블의 신택스가 표 52에, ETT테이블의 신택스가 표 53에 도시된다.
| Syntax |
| terrestrial_virtual_channel_table_section() { table_Id section_syntax_indicator private_indicator reserved section_length transport_stream_id reserved version_number current_next_indicator section_number last_section_number protocol_version num_channels_in_section for (i=0; i< num_channels_in_section; i++) { short _ name reserved major _ channel _ number minor _ channel _ number modulation_mode carrier_frequency channel_TSID program_number ETM_locatlon access_controlled hidden reserved hide_guide reserved service_type source_id reserved descriptors_length for (i=0; i<N; i++) { descriptor () } } reserved additional_descriptors_length for (j=0; j<N; j++) additional_descriptor() } CRC_32 } |
| Syntax |
| rating_regon_table_section() { table_id section_syntax_indicator private_indicator reserved section_length table_id_extension { reserved rating_region } reserved version_number current_next_indicator section_number last_section_number protocol_version rating_region_name_length rating _ region _ name _ text () dimensions_defined for (i=0; i< dimensions_defined; i++) { dimension_name_length dimension_name_text() reserved graduated_scale values_defined for (j=0; j< values_defined; j ++) { abbrev_rating_value_length abbrev _ rating _ value _ text () rating_value_length rating _ value _ text () } } reserved descriptors_length for (i=0; i<N; i++) { descriptor () } CRC_32 } |
| Syntax |
| system_time_table_section() { table_id section_syntax_indicator private_indicator reserved section_length table_id_extension reserved version_number current_next_indicator section_number last_section_number protocol_version system _ time GPS _ UTC _ offset daylight_savings for (i=0; i<N; i++) { descriptor () } CRC_32 } |
| Syntax |
| event_information_table_section() { table_id section_syntax_indicator private_indicator reserved section_length source_id reserved version_number current_next_indicator section_number last_section_number protocol_version num_events_in_section for (j=o; j< num_events_in_section; j++) { reserved event_id start_time reserved ETM_location length_in_seconds title_length title _ text () reserved descriptors_length for (i=0; i<N; i++) { descriptor () } } CRC_32 } |
| Syntax |
| extended_text_table_section() { table_id section_syntax_Indicator private_Indicator reserved section_length ETT_table_id_extension Reserved version_number current_next_indicator section_number last_section_number protocol_version ETM_id extended _ text _ message () CRC_32 } |
도 38 는 EPG 정보가 도시된 화면 및 각각의 정보의 소스를 도시한다.
화면(3800) 상에 ATSC 통신 방식에 따른 PSIP 테이블을 이용하여 구성된 EPG 화면(3810)이 표시된다. EPG 화면(3810)은, 디지털TV 시스템이 설정한 화면 상의 소정 영역에, PSIP 테이블에 수록된 텍스트 데이터가 표시됨으로써 구성된다. 이경우, 디지털TV 시스템은, 디지털TV 시스템이 구비하고 있는 이미지 및 폰트들을 이용하여 PSIP 테이블에 수록된 텍스트 데이터를 표시함으로써 EPG 화면(3810)을 구성할 수 있다.
구체적으로, EPG화면(3810) 상에, 채널명(3820), 채널 번호(3830), 지역별 등급(3840), 방송 프로그램명 및 재생 시간(3850), 방송 프로그램에 대한 설명 텍스트(3860) 및 현재 시간 및 일자(3870)가 표시된다.
채널명(3820)은, 표 49의 VCT테이블 중 'short_name' 필드의 축약된 채널명 정보에 기초하여 결정된다. 채널 번호(3830)는, VCT테이블 중 'major_channel_number' 필드의 주요 채널 번호 정보 및 'minor_channel_number' 필드의 부수 채널 번호 정보가 조합된 채널 정보에 기초하여 결정된다.
지역별 등급(3840)은, 표 50의 RRT테이블 내의 'rating_region_name_text()' 필드의 지역명 정보와 'abbrev_rating_value_text()' 필드 또는 'rating_value_text()' 필드의 등급 정보에 기초하여 결정된다.
방송 프로그램명 및 재생 시간(3850)은, 표 52의 EIT테이블 중 'title_text()' 필드의 방송 프로그램명 정보에 기초하여 결정된다.
방송 프로그램에 대한 설명 텍스트(3860)는, 표 53의 ETT테이블 중 'extended_text_message()' 필드의 이벤트 설명 텍스트 정보에 기초하여 결정된다.
현재 시간 및 일자(3870)는, 표 51의 STT테이블 중 'system_time' 필드의 시스템 시간 정보 및 'GPS_UTC_offset' 필드의 GPS-UTC 시각차 정보에 기초하여 결정된다.
표 54는, 표 52의 ETT테이블의 하위 필드 'ETM_id'의 구조이다.
| ETM _ id | ||||
| MSB | LSB | |||
| Bit | 31 ... 16 | 15 ... 2 | '10' | |
| Channel ETM _ id | source_id | 0 ... 0 | '00' | |
| event ETM _ id | source_id | event_id | '10' | |
ETT테이블 중 'ETM_id' 필드에 기초하여, 'Channel ETM_id'인 경우 현재 ETT테이블이 어느 VCT테이블에 대응되는지 확인되며, 'event ETM_id'인 경우 현재 ETT테이블이 어느 EIT테이블에 대응되는 것인지 확인된다. 대응되는 채널 또는 이벤트에 대한 설명으로, 현재 ETT테이블의 'extended_text_message()' 필드의 텍스트 메시지(3860)가 EPG 화면(3810) 상에 표시된다.
따라서, 하나의 EPG 화면(3810)은 복수 개의 PSIP테이블에 포함된 EPG데이터들을 이용하여 구성된다.
표 49 내지 표 54 및 도 35 내지 도 38를 참조하여 전술한 EPG를 기초로, EPG의 3차원 재생을 위해 변경된 제 4 실시예에 따른 멀티미디어 스트림 생성 장치(100) 및 제 4 실시예에 따른 멀티미디어 스트림 수신 장치(200)의 동작들에 대해, 이하 표 55 내지 59 및 도 39 및 40를 참조하여 상술된다.
제 4 실시예에 따른 멀티미디어 스트림 생성 장치(100)는, 3차원 EPG 정보를 3차원으로 재생하기 위한 EPG 3차원 재생 정보를 PSIP테이블 또는 SI테이블에 삽입할 수 있다. 제 4 실시예에 따른 EPG 3차원 재생 정보는, 3차원 EPG 정보의 뎁스에 관한 정보로서, 뎁스, 변이, 양안시차 또는 오프셋 등의 다양한 형태로 이용될 수 있다.
또한, 제 4 실시예에 따른 멀티미디어 스트림 수신 장치(200)는, ATSC 통신 방식을 통해 수신된 TS스트림으로부터 섹션들을 게더링하여, EPG 정보 및 EPG 3차원 재생 정보를 추출하고, 3차원 EPG 재생 정보를 이용하여 2차원 EPG 정보를 3차원 EPG 정보로 변경하여 재생할 수 있다.
제 4 실시예에 따른 멀티미디어 스트림 생성 장치(100)는, 3차원 EPG 재생 정보를 서술자 형태로 설정할 수 있다. PSIP테이블 중 ETT테이블을 제외하고, 표 49의 VCT테이블, 표 50의 RRT테이블, 표 51의 STT테이블, 표 52의 EIT테이블은 모두 서술자 필드 'descriptor()'를 포함한다. 제 4 실시예에 따른 멀티미디어 스트림 생성 장치(100)는, PSIP테이블의 서술자 필드에 제 4 실시예에 따른 3차원 EPG 재생 정보를 포함하는 3차원 EPG 서술자를 삽입할 수 있다. ETT테이블은 서술자 필드가 없지만, 'ETM_id' 필드를 통하여 VCT테이블 또는 EIT테이블과 연계되고, 연계된 테이블의 3차원 EPG 서술자를 상속받을 수 있다.
표 55는, 제 4 실시예에 따른 3차원 EPG 서술자의 신택스이다.
| Syntax |
| 3D_EPG_descriptor() { descriptor_tag descriptor_length 3D_ EPG _ offset Video _ Flat reserved additional_data() } |
'descriptor_tag' 필드는, 3차원 EPG 서술자 '3D_EPG_descriptor' 필드의 식별자를 포함한다. 'descriptor_length' 필드는, 'descriptor_length' 필드에 뒤따르는 데이터의 총 바이트 수 정보를 포함한다.
'3D_EPG_offset' 필드는, '3D_EPG_descriptor' 필드를 포함하는 PSIP테이블에 의해 EPG 화면 상에 표시될 EPG 정보의 오프셋 정보를 포함한다.
'Video_Flat' 필드는, EPG 정보를 3차원으로 재생할 때, 현재 방송되는 프로그램의 비디오를 2차원 재생 모드로 전환하여 재생할지 여부를 나타내는 비디오 2차원 재생 정보를 포함한다. 표 56은 비디오 2차원 재생 정보 'Video_Flat'의 일례이다.
| Video _ Flat bit | Meaning |
| 0 | 방송 영상을 3D로 유지 |
| 1 | 방송 영상을 2D로 전환 |
'reserved' 필드 및 'addtional_data()' 필드는, 향후 사용되기 위해 보류된 영역이다.
이하, DVB-SI테이블 중 NIT테이블의 신택스는 표 57에, SDS테이블의 신택스는 표 58에, EIT테이블의 신택스는 표 59에 도시된다.
| Syntax |
| Network_information_section() { table_id section_syntax_indicator reserve_future_use reserved section_length network_id reserved version_number current_next_indicator section_number last_section_number reserved_future_use network_descriptors_length for(i=0; i<N; i++) { descriptor () } reserved_future_use transport_Stream_loop_length for(i=0; i<N; i++ { transport_stream_id original_network_id reserved_future_use transport_descriptors_length for(j=0; j<N; j++) { descriptors() } } CRC_32 } |
| Syntax |
| service_description_section() { table_id section_syntax_indicator reserved_future_use reserved section_length transport_stream_id reserved version_number current_next_indicator section_number last_section_number original_network_id reserved_future_use for (i=0; i<N; i++) { service_id reserved_future_use EIT_schedule_flag EIT_present_following_flag running_status free_CA_mode descriptors_loop_length for (j=0; j<N; j++) { descriptor () } } CRC_32 } |
| Syntax |
| event_information_section() { table_id section_syntax_indicator reserved_future_use reserved section_length service_id reserved version_number current_next_indicator section_number last_section_number transport_stream_id original_network_id segment_last_section_number last_table_id for (i=0; i<N; i++) { event_id start _ time duration running_status free_CA_mode descriptors_loop_length for(j=0; j<N; j++){ descriptor () } } CRC_32 } |
DVB 통신 방식에 따르면, SI테이블 중 NIT테이블, SDS테이블, EIT테이블의 서술자 필드 'descriptor()'에 EPG 텍스트 정보가 포함된다. 표 55는, 제 4 실시예에 따른 멀티미디어 스트림 생성 장치(100)가 SI테이블의 서술자 필드에 제 4 실시예에 따른 3차원 EPG 재생 정보를 포함하는 3차원 EPG 서술자를 추가적으로 삽입한 일례를 도시한다.
제 4 실시예에 따른 멀티미디어 스트림 수신 장치(200)는, DVB 통신 방식을 통해 수신된 TS스트림으로부터 섹션들을 게더링하여, EPG 정보 및 3차원 EPG 재생 정보를 추출할 수 있다. EPG가 3차원으로 재생되어야 하는 경우, 제 4 실시예에 따른 멀티미디어 스트림 수신 장치(200)는, 3차원 EPG 서술자를 검색하고, 3차원 EPG 서술자가 존재한다면 3차원 EPG 재생 정보를 이용하여 2차원 EPG 정보를 3차원 EPG 정보로 변환하여 재생할 수 있다.
도 39 은 제 4 실시예에 따른 TS스트림 복호화 시스템의 블록도를 도시한다.
제 4 실시예에 따른 TS스트림 복호화 시스템(3900)이 TS스트림을 수신하면, 트랜스포트 역다중화부(Transport Demuxer, 3910)를 통해 비디오 비트스트림, 오디 오디오 비트스트림 및 PSIP테이블 또는 SI테이블이 분리된다. 비디오 비트스트림 및 오디오 비트스트림은 프로그램 복호화부(3920)로 출력되고, PSIP테이블 또는 SI테이블은 프로그램 가이드 처리부(Program Guide Processor, 3960)로 출력된다.
또한 비디오 비트스트림은 비디오 복호화부(3930)로 입력되어, 복원된 비디오는 디스플레이 처리부(3940)로 출력될 수 있다. 오디오 비트스트림은 오디오 복호화부(3950)를 통해 복원될 수 있다.
이 때 제 4 실시예에 따른 PSIP테이블 또는 SI테이블은 3차원 EPG 재생 정보를 포함하고 있다. 예를 들어, 제 4 실시예에 따른 PSIP테이블 또는 SI테이블은 표 55의 '3D_EPG_descriptor' 서술자를 포함할 수 있다. 이러한 PSIP테이블 또는 SI테이블을 이용하여 3차원 EPG를 재생하기 위한 프로그램 가이드 처리부(3960) 및 디스플레이 처리부(3940)의 세부 동작은 도 40을 통해 상술된다.
도 40 은 제 4 실시예에 따른 TS스트림 복호화 시스템 중 디스플레이 처리부의 블록도를 도시한다.
프로그램 가이드 처리부(3960)에 입력된 PSIP테이블 또는 SI테이블은, PSIP 또는 SI 파싱부(PSIP or SI Parser, 4070)에 의해 분석되어, EPG 구성에 필요한 EPG 정보 및 3차원 EPG 재생 정보와 비디오 2차원 재생 정보가 PSIP테이블 또는 SI테이블로부터 추출된다. EPG 정보, 3차원 EPG 재생 정보 및 비디오 2차원 재생 정보는 디스플레이 처리부(3940)의 디스플레이 프로세서(Display Processor, 4050)로 출력될 수 있다.
복원된 비디오는 좌시점 영상 및 우시점 영상으로 분리되어, 각각 좌시점 비디오 버퍼(Decoded Video L Buffer, 4010) 및 우시점 비디오 버퍼(Decoded Video R Buffer, 4020)에 저장될 수 있다.
디스플레이 프로세서(4050)는, 3차원 EPG 재생 정보에 기초하여 3차원 EPG의 좌시점 EPG 정보 및 우시점 EPG 정보를 생성하고, 좌시점 EPG 정보 및 우시점 EPG 정보를 각각 좌시점 디스플레이 평면(L Display Plane, 4030) 및 우시점 디스플레이 평면(R Display Plane, 4040) 상에 표시한다. 좌시점 EPG가 표시된 좌시점 디스플레이 평면(4030)은 좌시점 비디오와 블렌딩(blending)되고, 우시점 EPG가 표시된 우시점 디스플레이 평면(4040)은 우시점 비디오와 블렌딩되고, 스위치(4060)에 의해 번갈아 재생됨으로써 3차원 EPG 정보가 표시된 3차원 비디오가 재생될 수 있다.
또한, 비디오 2차원 재생 정보가 비디오를 2차원 재생 모드로 전환하여 재생하도록 설정되어 있는 경우, 비디오는 2차원으로 재생되어야 한다. 예를 들어 좌시점 EPG 정보가 표시된 좌시점 디스플레이 평면(4030) 및 우시점 EPG 정보가 표시된 우시점 디스플레이 평면(4040) 모두에 동일시점 비디오가 블렌딩되면, EPG 정보는 3차원으로 재생되고 비디오는 2차원으로 재생될 수 있다.
디스플레이 프로세서(4050)가 3차원 EPG 재생 정보에 기초하여 3차원 EPG 정보의 좌시점 EPG 정보 및 우시점 EPG 정보를 생성하기 위해, 3차원 EPG 오프셋을 2차원 EPG 정보에 시점별로 다르게 적용할 수 있다. 예를 들어, 3차원 EPG 오프셋이 픽셀의 좌우 이동거리인 경우, 디스플레이 프로세서(4050)는 2차원 EPG 정보를 x축을 따라 음의 방향으로 오프셋만큼 이동시킴으로써 좌시점 EPG 정보를 생성하고, 양의 방향으로 오프셋만큼 이동시킴으로써 우시점 EPG 정보를 생성할 수 있다. 또는 3차원 EPG 오프셋이 좌우시점 간의 변이인 경우, 디스플레이 프로세서(4050)는 2차원 EPG 정보를 좌시점 EPG 정보로 고정하고, 2차원 EPG 정보를 x축을 따라 음 또는 양의 방향으로 오프셋만큼 이동시킴으로써 우시점 EPG 정보를 생성할 수 있다. 3차원 EPG 오프셋의 성격에 따라 디스플레이 프로세서(4050)가 3차원 EPG 정보를 생성하는 방법은 달라질 수 있다.
제 4 실시예에 따른 멀티미디어 스트림 생성 장치(100)는, EPG를 3차원으로 재생하기 위해 필요한 EPG 데이터 및 EPG 3차원 재생 정보를 포함하는 3차원 EPG 데이터구조를 전송하기 위해, ATSC-PSIP테이블 또는 DVB-SI테이블에 제 4 실시예에 따른 3차원 EPG 데이터구조를 삽입하여, 비디오 스트림, 오디오 스트림과 함께 전송할 수 있다.
제 4 실시예에 따른 멀티미디어 스트림 생성 장치(200)는, 제 4 실시예에 따른 멀티미디어 스트림을 수신하여 파싱하고, 추출된 ATSC-PSIP테이블 또는 DVB-SI테이블로부터 제 4 실시예에 따른 3차원 EPG 데이터구조를 추출할 수 있다. 제 4 실시예에 따른 멀티미디어 스트림 생성 장치(200)는 EPG 3차원 재생 정보에 기초하여 3차원 EPG 정보를 구성하여, EPG 정보를 3차원으로 재생할 수 있다. 또한, 제 4 실시예에 따른 멀티미디어 스트림 생성 장치(200)는 EPG 3차원 재생 정보에 기초하여 3차원 EPG 정보를 정확하게 재생함으로써, 시청자가 느낄 수 있는 시각적 어색함 등의 불편을 방지할 수 있다.
도 41 은 일 실시예에 따른 텍스트의 3차원 재생을 위한 멀티미디어 스트림 생성 방법의 흐름도를 도시한다.
단계 4110에서, 부호화된 비디오 데이터, 부호화된 오디오 데이터, 부가 재생 데이터와 함께 부가 재생 정보의 3차원 재생을 위한 정보를 포함하는 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림이 생성된다. 일 실시예에 따른 부가 재생 데이터는, 프로그램에 대한 클로즈드 캡션 데이터, 서브타이틀 데이터 및 EPG 데이터를 포함할 수 있다.
일 실시예에 따른 부가 재생 정보의 3차원 재생을 위한 정보는, 부가 재생 정보의 깊이감을 조절하기 위한 좌우시점 간의 변이, 뎁스 차이 등의 시차 정보, 좌표 정보 및 뎁스 정보 중 적어도 하나를 나타내는 오프셋 정보를 포함할 수 있다. 일 실시예에 따른 부가 재생 정보의 3차원 재생을 위한 정보는, 부가 재생 정보의 3차원 재생 안정성 정보, 비디오 2차원 재생 정보 및 3차원 재생 강조 정보 등을 포함할 수 있다.
단계 4120에서, 비디오 ES스트림, 오디오 ES스트림 및 부가 데이터 스트림을 패킷화하여 비디오 PES패킷, 오디오 PES패킷, 부가 데이터 PES패킷이 생성되고, 보조 정보 패킷이 생성된다. 일 실시예에 따른 부가 재생 정보의 3차원 재생을 위한 정보 및 부가 재생 데이터는 PES패킷 레벨에서 스트림에 삽입될 수도 있다.
제 1 실시예에 따른 클로즈드 캡션 데이터 및 클로즈드 캡션 3차원 재생 정보는 비디오 ES스트림, 비디오 ES스트림의 헤더, 또는 섹션에 삽입할 수 있다. 제 2, 3 실시예에 따른 서브타이틀 데이터 및 서브타이틀 3차원 재생 정보는, 서브타이틀 PES패킷 및 서브타이틀 PES패킷의 헤더 중 적어도 하나에 삽입할 수 있다. 제 4 실시예에 따른 EPG 데이터 및 EPG 3차원 재생 정보는, ATSC-PSIP 테이블 또는 DVB_SI 테이블 내의 서술자(Descriptor) 필드에 삽입될 수 있다.
단계 4130에서, 비디오 PES패킷, 오디오 PES패킷, 부가 데이터 PES패킷 및 보조 정보 패킷을 다중화하여, TS스트림을 생성한다. 생성된 TS스트림은 소정 채널을 통해 전송될 수 있다.
도 42 는 일 실시예에 따른 텍스트의 3차원 재생을 위한 멀티미디어 스트림 수신 방법의 흐름도를 도시한다.
단계 4210에서, 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오 데이터를 포함하는 멀티미디어 스트림에 대한 TS스트림이 수신되고, 역다중화된 TS스트림으로부터, 비디오 PES패킷, 오디오 PES패킷, 부가 데이터 PES패킷 및 보조 정보 패킷이 추출된다.
단계 4230에서, 비디오 PES패킷, 오디오 PES패킷, 부가 데이터 PES패킷 및 보조 정보 패킷으로부터, 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림이 추출된다. 보조 정보 스트림은 PSI정보, ATSC-PSIP 정보, DVB-SI 정보 등 프로그램 관련 정보를 포함할 수 있다. 추출된 PES패킷 단계에서 부가 재생 데이터 및 부가 재생 정보의 3차원 재생을 위한 정보가 추출될 수 있다.
단계 4230에서, 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 프로그램 관련 정보로부터 비디오, 오디오, 부가 데이터 및 부가 재생 정보가 복원되고, 부가 재생 정보의 3차원 재생을 위한 정보가 추출된다. 추출된 ES스트림 단계에서 부가 재생 데이터 및 부가 재생 정보의 3차원 재생을 위한 정보가 추출될 수도 있다.
제 1 실시예에 따른 클로즈드 캡션 데이터 및 클로즈드 캡션 3차원 재생 정보는 비디오 ES스트림, 비디오 ES스트림의 헤더, 또는 섹션로부터 추출될 수 있다. 제 2, 3 실시예에 따른 서브타이틀 데이터 및 서브타이틀 3차원 재생 정보는, 서브타이틀 PES패킷 및 서브타이틀 PES패킷의 헤더 중 적어도 하나로부터 추출될 수 있다. 제 4 실시예에 따른 EPG 데이터 및 EPG 3차원 재생 정보는, ATSC-PSIP 테이블 또는 DVB_SI 테이블 내의 서술자(Descriptor) 필드로부터 추출될 수 있다.
단계 4240에서, 복원된 비디오, 오디오, 부가 데이터 및 부가 재생 정보를 재생한다. 일 실시예에 따른 부가 재생 정보의 3차원 재생을 위한 정보에 기초하여 3차원 부가 재생 정보가 구성될 수 있다. 비디오 데이터의 재생과 함께 3차원 부가 재생 정보가 3차원으로 재생될 수 있다.
또한, 부가 재생 정보의 3차원 재생을 위한 정보에 기초하여 부가 재생 정보가 깊이감이 조절되어 3차원으로 재생되거나, 부가 재생 정보의 오프셋 정보의 안정성을 확인 후 3차원으로 재생되므로, 시청자가 비디오 및 부가 재생 정보 간의 부적절한 깊이감 때문에 느낄 수 있는 불편함이 해소될 수 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
Claims (61)
- 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오 데이터, 관련 오디오 데이터, 디스플레이 화면 상에 상기 비디오 데이터와 함께 재생될 부가 재생 정보의 데이터 및 상기 부가 재생 정보의 3차원 재생을 위한 정보를 포함하도록, 비디오 ES스트림(Elementary Stream), 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림을 생성하는 단계;
상기 비디오 ES스트림, 상기 오디오 ES스트림 및 상기 부가 데이터 스트림을 패킷화하여 비디오 PES패킷(Packetized Elementary Stream), 오디오 PES패킷, 데이터 PES패킷 및 보조 정보 패킷을 생성하는 단계; 및
상기 비디오 PES패킷, 상기 오디오 PES패킷, 상기 부가 데이터 PES패킷 및 상기 보조 정보 패킷을 다중화하여, TS스트림을 생성하는 단계를 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법. - 제 1 항에 있어서,
상기 부가 재생 정보의 3차원 재생을 위한 정보는, 상기 비디오 데이터의 3차원 재생 중 상기 부가 재생 정보의 깊이감을 조절하기 위한 부가 재생 정보의 오프셋(offset)에 관한 정보를 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법. - 제 2 항에 있어서,
상기 텍스트의 오프셋은, 3차원 부가 재생 정보의 제 1 시점 부가 재생 정보 및 제 2 시점 부가 재생 정보 간의 뎁스(depth) 차이, 변이(disparity) 및 양안시차(parallax) 중 한 단위로 표현된 상기 3차원 부가 재생 정보의 이동량을 나타내는 시차, 상기 3차원 부가 재생 정보의 좌표 및 뎁스 중 적어도 하나를 나타내는 것을 특징으로 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법. - 제 2 항에 있어서,
상기 부가 재생 정보의 3차원 재생을 위한 정보는, 상기 비디오 데이터의 3차원 재생 중 상기 텍스트의 오프셋 방향에 관한 정보를 더 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법. - 제 2 항에 있어서,
상기 부가 재생 정보의 3차원 재생을 위한 정보는, 상기 부가 재생 정보의 오프셋이, 뎁스가 원점인 기본 평면(zero plane)에 대비한 제 1 이동량, 및 상기 부가 재생 정보와 함께 재생될 비디오의 뎁스, 변이 및 양안시차 중 적어도 하나에 대비한 제 2 이동량 중 어느 하나로 표현되었는지를 나타내는 오프셋 타입 정보를 더 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법. - 제 2 항에 있어서, 상기 부가 재생 정보의 3차원 재생을 위한 정보는,
상기 텍스트 데이터의 2차원 또는 3차원 식별 정보, 상기 텍스트 데이터의 재생시 비디오를 2차원으로 재생할지 여부를 나타내는 비디오 2차원 재생 정보, 상기 텍스트 데이터가 표시될 영역의 식별 정보, 상기 텍스트 데이터가 표시될 시간 관련 정보 및 상기 부가 재생 정보의 3차원 재생 안정성 정보 중 적어도 하나를 더 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법. - 제 1 항에 있어서, 상기 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법은,
상기 TS스트림을 채널을 통해 전송하는 단계를 더 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법. - 제 1 항에 있어서, 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 생성 단계는,
상기 비디오 ES스트림에 상기 비디오 데이터와 함께 상기 디스플레이 화면상에 재생되기 위한 클로즈드 캡션(Closed Caption) 데이터를 삽입하는 단계를 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법. - 제 8 항에 있어서, 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 생성 단계는,
상기 클로즈드 캡션의 3차원 재생을 위한 정보를 상기 비디오 ES스트림, 상기 비디오 ES스트림의 헤더, 상기 부가 데이터 중 적어도 하나에 삽입하는 단계를 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법. - 제 9 항에 있어서, 상기 클로즈드 캡션의 3차원 재생을 위한 정보는,
상기 클로즈드 캡션 데이터를 대체하여 3차원 클로즈드 캡션 강조용 데이터를 이용할지 여부를 나타내는 3차원 캡션 강조 정보를 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법. - 제 9 항에 있어서, 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 생성 단계는,
상기 멀티미디어 스트림이 ATSC (Advanced Television Systems Committee) 또는 DVB (Digital Video Broadcasting) 기반의 통신 시스템을 통해 전송되는 경우, 상기 비디오 ES스트림 중 클로즈드 캡션 데이터 영역 중 보류 영역(reserved)에 상기 클로즈드 캡션의 3차원 재생을 위한 정보를 삽입하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법. - 제 1 항에 있어서, 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 생성 단계는,
상기 부가 데이터 스트림으로서, 상기 비디오 데이터와 함께 상기 디스플레이 화면 상에 재생될 서브타이틀(Subtitle) 데이터에 대한 데이터 스트림을 생성하는 단계를 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법. - 제 12 항에 있어서, 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 생성 단계는,
상기 서브타이틀의 3차원 재생을 위한 정보를 상기 부가 데이터 PES패킷 및 상기 부가 데이터 PES패킷의 헤더 중 적어도 하나에 삽입하는 단계를 더 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법. - 제 13 항에 있어서,
상기 멀티미디어 스트림이 ANSI/SCTE (American National Strandard Institue/Society of Cable Telecommunications Engineers) 기반의 케이블 통신 시스템에 의해 생성되는 경우, 상기 서브타이틀의 3차원 재생을 위한 정보는, 3차원 서브타이틀의 비트맵 및 프레임 중 적어도 하나의 이동량을 나타내는 시차 정보, 상기 3차원 서브타이틀의 뎁스 정보 및 좌표 정보 중 적어도 하나를 나타내는 시차 정보를 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법. - 제 13 항에 있어서, 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 생성 단계는,
상기 멀티미디어 스트림이 DVB 기반의 통신 시스템에 의해 생성되는 경우, 상기 데이터 스트림의 페이지 구성 세그먼트(Page Composition Segment)의 보류 필드에, 현재 페이지 내의 영역별 오프셋 정보를 삽입하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법. - 제 1 항에 있어서, 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 생성 단계는,
상기 비디오 데이터와 함께 상기 디스플레이 화면 상에 재생될 EPG(Electronic Program Guide) 정보 및 상기 EPG 정보의 3차원 재생을 위한 정보를 상기 보조 정보 스트림에 삽입하는 단계를 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법. - 제 16 항에 있어서, 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 생성 단계는,
상기 멀티미디어 스트림이 ATSC 기반의 통신 시스템에 의해 생성되는 경우, 상기 EPG 정보의 3차원 재생을 위한 정보는, ATSC의 PSIP(Program Specific Information Protocol) 테이블 내의 서술자(Descriptor) 필드에 삽입되는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법. - 제 17 항에 있어서, 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 생성 단계는,
상기 PSIP 테이블 중 TVCT 테이블(Terrestrial Virtual Channel Table), EIT 테이블(Event Information Table), ETT 테이블(Extended Text Table), RRT 테이블(Rating Region Table) 및 STT 테이블(System Time Table) 중 적어도 한 테이블 내의 서술자 필드에 상기 EPG 정보의 3차원 재생을 위한 정보를 삽입하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법. - 제 16 항에 있어서, 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 생성 단계는,
상기 멀티미디어 스트림이 DVB 기반의 통신 시스템에 의해 생성되는 경우, DVB의 SI(Service Information) 테이블 내의 서술자 필드에 상기 EPG 정보의 3차원 재생을 위한 정보를 삽입하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법. - 제 19 항에 있어서, 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 생성 단계는,
상기 SI 테이블 중 NIT 테이블(Network Information Table), SDT 테이블(Servuce Description Table) 및 EIT 테이블(Event Information Table) 중 적어도 한 테이블 내의 서술자 필드에 상기 EPG 정보의 3차원 재생을 위한 정보를 삽입하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법. - 멀티미디어 스트림에 대한 TS스트림을 수신하고 역다중화하여, 비디오 PES패킷, 오디오 PES패킷, 부가 데이터 PES패킷 및 보조 정보 패킷을 추출하는 단계;
상기 비디오 PES패킷, 상기 오디오 PES패킷, 상기 데이터 PES패킷 및 상기 보조 정보 패킷으로부터, 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오 데이터에 대해 재생되기 위한 부가 재생 정보의 데이터 및 상기 부가 재생 정보의 3차원 재생을 위한 정보를 포함하는, 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림을 추출하는 단계;
상기 비디오 ES스트림, 상기 오디오 ES스트림, 상기 부가 데이터 스트림 및 상기 보조 정보 스트림로부터 비디오 데이터, 오디오 데이터, 부가 데이터 및 상기 부가 재생 데이터를 복원하고, 상기 부가 재생 정보의 3차원 재생을 위한 정보를 추출하는 단계; 및
상기 복원된 비디오의 재생과 함께, 상기 복원된 부가 재생 정보의 3차원 재생을 위한 정보에 기초하여 상기 부가 재생 정보를 3차원으로 재생하는 단계를 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 21 항에 있어서, 상기 부가 재생 정보의 3차원 재생을 위한 정보는,
상기 비디오의 3차원 재생 중 상기 부가 재생 정보의 깊이감을 조절하기 위한 부가 재생 정보의 오프셋에 관한 정보를 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 22 항에 있어서,
상기 부가 재생 정보의 오프셋은, 3차원 부가 재생 정보의 제 1 시점 부가 재생 정보 및 제 2 시점 부가 재생 정보 간의 뎁스 차이, 변이 및 양안시차 중 한 단위로 표현된 상기 3차원 부가 재생 정보의 이동량을 나타내는 시차, 상기 3차원 부가 재생 정보의 좌표 및 뎁스 중 적어도 하나를 나타내는 것을 특징으로 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 22 항에 있어서,
상기 부가 재생 정보의 3차원 재생을 위한 정보는, 상기 비디오의 3차원 재생 중 상기 부가 재생 정보의 오프셋 방향에 관한 정보를 더 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 22 항에 있어서,
상기 부가 재생 정보의 3차원 재생을 위한 정보는, 상기 부가 재생 정보의 오프셋이, 뎁스가 원점인 기본 평면에 대비한 제 1 이동량, 및 상기 부가 재생 정보와 함께 상기 디스플레이 화면 상에 재생될 비디오의 뎁스, 변이 및 양안시차 중 적어도 하나에 대비한 제 2 이동량 중 어느 하나로 표현되었는지를 나타내는 오프셋 타입 정보를 더 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 22 항에 있어서, 상기 부가 재생 정보의 3차원 재생을 위한 정보는,
상기 부가 재생 정보의 2차원 또는 3차원 식별 정보, 상기 부가 재생 정보의 재생시 비디오 데이터를 2차원으로 재생할지 여부를 나타내는 비디오 2차원 재생 정보, 상기 부가 재생 정보가 표시될 영역의 식별 정보, 상기 부가 재생 정보가 표시될 시간 관련 정보 및 상기 부가 재생 정보의 3차원 재생 안정성 정보 중 적어도 하나를 더 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 24 항에 있어서, 상기 부가 재생 정보의 3차원 재생 단계는,
상기 부가 재생 정보의 3차원 재생을 위한 정보 중, 상기 부가 재생 정보의 오프셋 및 오프셋 방향에 기초하여, 상기 부가 재생 정보를 상기 오프셋만큼 양 또는 음의 방향으로 이동시키는 단계를 포함하고,
상기 오프셋은, 상기 비디오 데이터의 뎁스, 변이 및 양안시차 중 하나로 표현된 상기 부가 재생 정보의 이동량을 나타내는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 26 항에 있어서, 상기 부가 재생 정보의 3차원 재생 단계는,
상기 비디오 2차원 재생 정보에 기초하여, 상기 부가 재생 정보를 3차원으로 재생할 때 해당 비디오는 2차원으로 재생하는 단계를 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 26 항에 있어서, 상기 부가 재생 정보의 3차원 재생 단계는,
상기 부가 재생 정보가 표시될 시간 관련 정보에 기초하여, 상기 부가 재생 정보 및 해당 비디오를 동기화하는 단계를 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 26 항에 있어서, 상기 부가 재생 정보의 3차원 재생 단계는,
상기 부가 재생 정보의 3차원 재생 안정성 정보에 기초하여, 상기 부가 재생 정보의 3차원 재생의 안정성을 결정하는 단계를 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 30 항에 있어서, 상기 부가 재생 정보의 3차원 재생 단계는,
상기 부가 재생 정보의 3차원 재생 안정성이 있다고 결정되면, 상기 부가 재생 정보를 3차원으로 재생하는 단계를 더 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 30 항에 있어서, 상기 부가 재생 정보의 3차원 재생 단계는,
상기 부가 재생 정보의 3차원 재생 안정성이 없다고 결정되면, 해당 비디오의 변이와 상기 부가 재생 정보의 오프셋을 비교하는 단계를 더 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 32 항에 있어서, 상기 비디오의 변이와 부가 재생 정보의 오프셋 비교 단계는,
상기 해당 비디오의 변이 정보가 없다면, 상기 해당 비디오의 변이를 추정하는 단계를 더 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 32 항에 있어서, 상기 부가 재생 정보의 3차원 재생 단계는,
상기 해당 비디오 데이터의 변이와 상기 부가 재생 정보의 오프셋의 비교 결과, 상기 부가 재생 정보의 오프셋이 상기 해당 비디오 데이터의 변이의 안전 구간에 속한다는 경우, 상기 텍스트 데이터를 3차원으로 재생하는 단계를 더 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 32 항에 있어서, 상기 부가 재생 정보의 3차원 재생 단계는,
상기 해당 비디오의 변이와 상기 부가 재생 정보의 오프셋의 비교 결과, 상기 부가 재생 정보의 오프셋이 상기 해당 비디오의 변이의 안전 구간에 속하지 않는 경우, 상기 텍스트를 재생하지 않도록 결정하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 32 항에 있어서, 상기 부가 재생 정보의 3차원 재생 단계는,
상기 해당 비디오의 변이와 상기 부가 재생 정보의 오프셋의 비교 결과, 상기 부가 재생 정보의 오프셋이 상기 해당 비디오의 변이의 안전 구간에 속하지 않는 경우, 상기 부가 재생 정보를 상기 해당 비디오의 소정 영역에 2차원으로 재생하는 단계를 더 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 32 항에 있어서, 상기 부가 재생 정보의 3차원 재생 단계는,
상기 해당 비디오의 변이와 상기 부가 재생 정보의 오프셋의 비교 결과, 상기 부가 재생 정보의 오프셋이 상기 해당 비디오의 변이의 안전 구간에 속하지 않는 경우, 상기 텍스트가 상기 해당 비디오의 오브젝트보다 더 시청자 쪽으로 위치하도록 이동시켜 3차원으로 재생하는 단계를 더 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 32 항에 있어서, 상기 부가 재생 정보의 3차원 재생 단계는,
상기 해당 비디오의 변이와 상기 부가 재생 정보의 오프셋의 비교 결과, 상기 부가 재생 정보의 오프셋이 상기 해당 비디오의 변이의 안전 구간에 속하지 않는 경우, 상기 해당 비디오를 2차원으로 재생하고, 상기 부가 재생 정보를 3차원으로 재생하는 단계를 더 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 32 항에 있어서, 상기 부가 재생 정보의 3차원 재생 단계는,
상기 멀티미디어 스트림이 MPEG-2(Moving Picture Expert Group-2) 기반의 데이터 통신 시스템에 의해 부호화된 경우, 상기 비디오 ES스트림 중 패럴럭스 인포 익스텐션(parallax info extension) 필드, 뎁스 맵(depth map) 및 클로즈드 캡션 데이터(cc_data) 필드의 보류(reserved) 필드 중 적어도 하나로부터, 상기 3차원 비디오에 대한 양안시차 정보, 변이 정보 및 뎁스 정보 중 적어도 하나를 추출하여 상기 부가 재생 정보의 오프셋과 비교하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 32 항에 있어서, 상기 부가 재생 정보의 3차원 재생 단계는,
상기 멀티미디어 스트림이 ISO(International Organization for Standardization) 기반의 미디어 파일 포맷인 경우, 상기 3차원 비디오에 대한 양안시차 정보, 변이 정보 및 뎁스 정보 중 적어도 하나를, 상기 미디어 파일 포맷 내의 스테레오스코픽 카메라 및 디스플레이 관련 정보가 포함되는 scdi (Stereoscopic Camera and Display Information)영역으로부터 추출하여 상기 부가 재생 정보의 오프셋과 비교하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 21 항에 있어서, 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 추출 단계는,
상기 비디오 ES스트림으로부터, 상기 비디오와 함께 상기 디스플레이 화면 상에 재생될 클로즈드 캡션 데이터를 추출하는 단계를 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 39 항에 있어서, 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 추출 단계는,
상기 클로즈드 캡션의 3차원 재생을 위한 정보를 상기 비디오 ES스트림, 상기 비디오 ES스트림의 헤더, 상기 보조 정보 스트림 중 적어도 하나로부터 추출하는 단계를 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 40 항에 있어서, 상기 클로즈드 캡션의 3차원 재생을 위한 정보는,
상기 클로즈드 캡션 데이터를 대체하여 3차원 클로즈드 캡션 강조용 데이터를 이용할지 여부를 나타내는 3차원 캡션 강조 정보를 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 40 항에 있어서, 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 추출 단계는,
상기 멀티미디어 스트림이 ATSC 또는 DVB 기반의 통신 시스템을 통해 수신된 경우, 상기 비디오 ES스트림 중 클로즈드 캡션 데이터 영역 중 보류 영역으로부터 상기 클로즈드 캡션의 3차원 재생을 위한 정보를 추출하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 40 항에 있어서, 상기 부가 재생 정보의 3차원 재생 단계는,
상기 클로즈드 캡션의 3차원 재생을 위한 정보에 기초하여, 상기 클로즈드 캡션 데이터를 3차원으로 재생하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 43 항에 있어서, 상기 부가 재생 정보의 3차원 재생 단계는,
상기 3차원 캡션 강조 정보에 기초하여, 상기 3차원 클로즈드 캡션 강조용 데이터를 이용하여 클로즈드 캡션을 3차원으로 재생하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 21 항에 있어서, 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 추출 단계는,
상기 부가 데이터 스트림으로서, 상기 비디오 데이터와 동시에 재생되기 위한 서브타이틀 데이터에 대한 서브타이틀 데이터 스트림을 추출하는 단계를 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 47 항에 있어서, 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 추출 단계는,
상기 서브타이틀의 3차원 재생을 위한 정보를 상기 부가 데이터 PES패킷 및 상기 부가 데이터 PES패킷의 헤더 중 적어도 하나로부터 추출하는 단계를 더 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 48 항에 있어서,
상기 멀티미디어 스트림이 ANSI/SCTE 기반의 케이블 통신 시스템을 통해 수신된 경우, 상기 서브타이틀의 3차원 재생을 위한 정보는, 3차원 서브타이틀의 비트맵 및 프레임 중 적어도 하나의 이동량을 나타내는 시차 정보, 상기 3차원 서브타이틀의 뎁스 정보 및 좌표 정보 중 적어도 하나를 나타내는 오프셋 정보를 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 48 항에 있어서, 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 추출 단계는,
상기 멀티미디어 스트림이 DVB 기반의 통신 시스템을 통해 수신된 경우, 상기 데이터 스트림의 페이지 구성 세그먼트의 보류 필드로부터, 현재 페이지 내의 영역별 오프셋 정보를 추출하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 48 항에 있어서, 상기 부가 재생 정보의 3차원 재생 단계는,
상기 서브타이틀의 3차원 재생을 위한 정보에 기초하여, 상기 서브타이틀 데이터를 3차원으로 재생하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 21 항에 있어서, 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 추출 단계는,
상기 비디오와 동시에 재생되기 위한 EPG 데이터 및 상기 EPG 정보의 3차원 재생을 위한 정보를 상기 보조 정보 스트림으로부터 추출하는 단계를 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 52 항에 있어서, 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 추출 단계는,
상기 멀티미디어 스트림이 ATSC 기반의 통신 시스템을 통해 수신된 경우, 상기 EPG 정보의 3차원 재생을 위한 정보를, ATSC의 PSIP 테이블 내의 서술자 필드로부터 추출하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 53 항에 있어서, 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 추출 단계는,
상기 PSIP 테이블 중 TVCT 테이블, EIT 테이블, ETT 테이블, RRT 테이블 및 STT 테이블 중 적어도 한 섹션 내의 서술자 필드로부터 상기 EPG 정보의 3차원 재생을 위한 정보를 추출하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 53 항에 있어서, 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 추출 단계는,
상기 멀티미디어 스트림이 DVB 기반의 통신 시스템을 통해 수신된 경우, 상기 EPG 정보의 3차원 재생을 위한 정보를, DVB의 SI 테이블 내의 서술자 필드로부터 추출하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 55 항에 있어서, 상기 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림 추출 단계는,
상기 SI 테이블 중 NIT 테이블, SDT 테이블 및 EIT 테이블 중 적어도 한 섹션 내의 서술자 필드로부터 상기 EPG 정보의 3차원 재생을 위한 정보를 추출하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 제 52 항에 있어서, 상기 부가 재생 정보의 3차원 재생 단계는,
상기 EPG 정보의 3차원 재생을 위한 정보에 기초하여, 상기 EPG 정보를 3차원으로 재생하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법. - 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오 데이터, 관련 오디오 데이터, 디스플레이 화면 상에 상기 비디오와 함께 재생될 부가 재생 정보의 데이터 및 상기 부가 재생 정보의 3차원 재생을 위한 정보를 포함하는, 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림을 생성하고, 상기 비디오 ES스트림, 상기 오디오 ES스트림 및 상기 부가 데이터 스트림을 패킷화하여 비디오 PES패킷, 오디오 PES패킷, 부가 데이터 PES패킷 및 보조 정보 패킷을 생성하는 프로그램 부호화부; 및
상기 비디오 PES패킷, 상기 오디오 PES패킷, 상기 부가 데이터 PES패킷 및 상기 보조 정보 패킷을 다중화하여, TS스트림을 생성하는 TS스트림 생성부를 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 장치. - 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오 데이터를 포함하는 멀티미디어 스트림에 대한 TS스트림을 수신하는 수신부;
상기 수신된 TS스트림을 역다중화하여, 비디오 PES패킷, 오디오 PES패킷, 부가 데이터 PES패킷 및 보조 정보 패킷을 추출하고, 상기 비디오 PES패킷, 상기 오디오 PES패킷, 상기 부가 데이터 PES패킷 및 상기 보조 정보 패킷으로부터, 디스플레이 화면 상에 상기 비디오와 함께 재생될 부가 재생 정보의 데이터 및 상기 부가 재생 정보의 3차원 재생을 위한 정보를 포함하는, 비디오 ES스트림, 오디오 ES스트림, 부가 데이터 스트림 및 보조 정보 스트림를 추출하는 역다중화부;
상기 비디오 ES스트림, 상기 오디오 ES스트림, 상기 부가 데이터 스트림 및 상기 보조 정보 스트림으로부터 비디오 데이터, 오디오 데이터, 부가 데이터 및 상기 부가 재생 데이터를 복원하고, 상기 부가 재생 정보의 3차원 재생을 위한 정보를 추출하는 복호화부; 및
상기 복원된 비디오의 재생과 함께, 상기 부가 재생 정보의 3차원 재생을 위한 정보에 기초하여 상기 복원된 부가 재생 정보를 3차원으로 재생하는 재생부를 포함하는 것을 특징으로 하는 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 장치. - 제 1 항 내지 제 20 항 중 어느 한 항의 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
- 제 21 항 내지 제 57 항 중 어느 한 항의 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 수신 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
Priority Applications (13)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US12/944,486 US20110119708A1 (en) | 2009-11-13 | 2010-11-11 | Method and apparatus for generating multimedia stream for 3-dimensional reproduction of additional video reproduction information, and method and apparatus for receiving multimedia stream for 3-dimensional reproduction of additional video reproduction information |
| US12/945,022 US20110119709A1 (en) | 2009-11-13 | 2010-11-12 | Method and apparatus for generating multimedia stream for 3-dimensional reproduction of additional video reproduction information, and method and apparatus for receiving multimedia stream for 3-dimensional reproduction of additional video reproduction information |
| EP10830222.5A EP2471263A4 (en) | 2009-11-13 | 2010-11-15 | METHOD AND DEVICE FOR GENERATING A MULTIMEDIA STREAM FOR DEPTHING ADDITIONAL INFORMATION FOR REPRODUCING VIDEO CONTENT, AND METHOD AND DEVICE FOR RECEIVING A MULTIMEDIA STREAM FOR DEPTHING ADDITIONAL INFORMATION FOR REPRODUCING VIDEO CONTENT |
| CN2010800515351A CN102640504A (zh) | 2009-11-13 | 2010-11-15 | 产生用于调整3维附加视频再现信息的深度的多媒体流的方法和设备，以及接收用于调整3维附加视频再现信息的多媒体流的深度的方法和设备 |
| PCT/KR2010/008066 WO2011059289A2 (en) | 2009-11-13 | 2010-11-15 | Method and apparatus for generating multimedia stream for 3-dimensional reproduction of additional video reproduction information, and method and apparatus for receiving multimedia stream for 3-dimensional reproduction of additional video reproduction information |
| MX2012004849A MX2012004849A (es) | 2009-11-13 | 2010-11-15 | Metodo y aparato para generar caudal multimedia para ajustar la prodfundidad de la informacion de reproduccion de video adicional tridimencional, y metodo y aparato para recibir caudal multimedia para ajustar la profundidad de informacion de reproduccion de video adicional tridimencional. |
| MX2012004678A MX2012004678A (es) | 2009-11-13 | 2010-11-15 | Metodo y aparato para generar caudal multimedia para reproduccion de tercera dimension de informacion de reproduccion de video adicional, y metodo y aparato para recibir caudal multimedia para reproduccion en tercera dimension de informacion de reproduccion de video adicional. |
| JP2012538770A JP5721733B2 (ja) | 2009-11-13 | 2010-11-15 | ビデオ付加再生情報の三次元再生のためのマルチメディア・ストリーム生成方法及びその装置、並びに受信方法及びその装置 |
| JP2012538769A JP5721732B2 (ja) | 2009-11-13 | 2010-11-15 | ビデオ付加再生情報の三次元再生のためのマルチメディア・ストリーム生成方法及びその装置、並びに受信方法及びその装置 |
| EP10830221.7A EP2499828A4 (en) | 2009-11-13 | 2010-11-15 | METHOD AND DEVICE FOR PRODUCING A MULTIMEDIA STREAM FOR THREE-DIMENSIONAL PLAYBACK OF ADDITIONAL INFORMATION FOR REPRODUCING VIDEO CONTENT AND METHOD AND APPARATUS AND APPARATUS FOR RECEIVING A MULTIMEDIA STREAM FOR THREE-DIMENSIONAL PLAYBACK OF ADDITIONAL INFORMATION FOR REPRODUCING VIDEO CONTENT |
| PCT/KR2010/008067 WO2011059290A2 (en) | 2009-11-13 | 2010-11-15 | Method and apparatus for generating multimedia stream for adjusitng depth of 3-dimensional additional video reproduction information, and method and apparatus for receiving multimedia stream for adjusitng depth of 3-dimensional additional video reproduction information |
| CN2010800515366A CN102640505A (zh) | 2009-11-13 | 2010-11-15 | 产生用于附加视频再现信息的3维再现的多媒体流的方法和设备，以及接收用于附加视频再现信息的3维再现的多媒体流的方法和设备 |
| BR112012010636A BR112012010636A2 (pt) | 2009-11-13 | 2010-11-15 | método de recepção de fluxo de multimídia para reprodução tridimensional (3d) de informação de reprodução adicional, método de geração de fluxo de multimídia para reprodução tridimensional (3d) de informação de reprodução adicional, aparelho de recepção de fluxo de multimídia para reprodução tridimensional (3d) de informação de reprodução adicional, aparelho de geração de fluxo de multimidia para reprodução tridimensional (3d) de informação de reprodução adicional, e meio de gravação legível por computador. |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US26089309P | 2009-11-13 | 2009-11-13 | |
| US61/260,893 | 2009-11-13 | ||
| US26663109P | 2009-12-04 | 2009-12-04 | |
| US61/266,631 | 2009-12-04 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20110053159A true KR20110053159A (ko) | 2011-05-19 |
Family
ID=44362910
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100056756A KR20110053159A (ko) | 2009-11-13 | 2010-06-15 | 비디오 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법과 그 장치, 및 수신 방법과 그 장치 |
| KR1020100056757A KR20110053160A (ko) | 2009-11-13 | 2010-06-15 | 비디오 부가 재생 정보의 3차원 깊이감 조절을 위한 멀티미디어 스트림 생성 방법과 그 장치, 및 수신 방법과 그 장치 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100056757A KR20110053160A (ko) | 2009-11-13 | 2010-06-15 | 비디오 부가 재생 정보의 3차원 깊이감 조절을 위한 멀티미디어 스트림 생성 방법과 그 장치, 및 수신 방법과 그 장치 |
Country Status (8)
| Country | Link |
|---|---|
| US (2) | US20110119708A1 (ko) |
| EP (2) | EP2499828A4 (ko) |
| JP (2) | JP5721733B2 (ko) |
| KR (2) | KR20110053159A (ko) |
| CN (2) | CN102640505A (ko) |
| BR (2) | BR112012011171A2 (ko) |
| MX (2) | MX2012004678A (ko) |
| WO (2) | WO2011059289A2 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102883172A (zh) * | 2011-07-15 | 2013-01-16 | 日立民用电子株式会社 | 接收装置、接收方法和发送接收方法 |
Families Citing this family (78)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2371140B1 (en) * | 2009-02-12 | 2017-03-01 | LG Electronics Inc. | Broadcast receiver and 3d subtitle data processing method thereof |
| US8970669B2 (en) * | 2009-09-30 | 2015-03-03 | Rovi Guides, Inc. | Systems and methods for generating a three-dimensional media guidance application |
| KR20110057629A (ko) * | 2009-11-24 | 2011-06-01 | 엘지전자 주식회사 | Ｕｉ 제공 방법 및 디지털 방송 수신기 |
| WO2011105993A1 (en) * | 2010-02-25 | 2011-09-01 | Thomson Licensing | Stereoscopic subtitling with disparity estimation and limitation on the temporal variation of disparity |
| KR20110111335A (ko) * | 2010-04-02 | 2011-10-11 | 삼성전자주식회사 | 2차원 컨텐트와 3차원 컨텐트를 제공하기 위한 디지털 방송 컨텐트 전송 방법 및 그 장치, 디지털 방송 컨텐트 수신 방법 및 그 장치 |
| US9013547B2 (en) | 2010-04-30 | 2015-04-21 | Lg Electronics Inc. | Apparatus of processing an image and a method of processing thereof |
| JP2011239169A (ja) * | 2010-05-10 | 2011-11-24 | Sony Corp | 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法 |
| US9030536B2 (en) | 2010-06-04 | 2015-05-12 | At&T Intellectual Property I, Lp | Apparatus and method for presenting media content |
| US9258544B2 (en) * | 2010-06-27 | 2016-02-09 | Lg Electronics Inc. | Digital receiver and method for processing caption data in the digital receiver |
| US10326978B2 (en) | 2010-06-30 | 2019-06-18 | Warner Bros. Entertainment Inc. | Method and apparatus for generating virtual or augmented reality presentations with 3D audio positioning |
| US8755432B2 (en) | 2010-06-30 | 2014-06-17 | Warner Bros. Entertainment Inc. | Method and apparatus for generating 3D audio positioning using dynamically optimized audio 3D space perception cues |
| US8593574B2 (en) * | 2010-06-30 | 2013-11-26 | At&T Intellectual Property I, L.P. | Apparatus and method for providing dimensional media content based on detected display capability |
| US8640182B2 (en) | 2010-06-30 | 2014-01-28 | At&T Intellectual Property I, L.P. | Method for detecting a viewing apparatus |
| US9787974B2 (en) | 2010-06-30 | 2017-10-10 | At&T Intellectual Property I, L.P. | Method and apparatus for delivering media content |
| US8917774B2 (en) | 2010-06-30 | 2014-12-23 | Warner Bros. Entertainment Inc. | Method and apparatus for generating encoded content using dynamically optimized conversion |
| US9591374B2 (en) | 2010-06-30 | 2017-03-07 | Warner Bros. Entertainment Inc. | Method and apparatus for generating encoded content using dynamically optimized conversion for 3D movies |
| US8918831B2 (en) | 2010-07-06 | 2014-12-23 | At&T Intellectual Property I, Lp | Method and apparatus for managing a presentation of media content |
| US9049426B2 (en) | 2010-07-07 | 2015-06-02 | At&T Intellectual Property I, Lp | Apparatus and method for distributing three dimensional media content |
| US9560406B2 (en) | 2010-07-20 | 2017-01-31 | At&T Intellectual Property I, L.P. | Method and apparatus for adapting a presentation of media content |
| US9232274B2 (en) | 2010-07-20 | 2016-01-05 | At&T Intellectual Property I, L.P. | Apparatus for adapting a presentation of media content to a requesting device |
| US9032470B2 (en) | 2010-07-20 | 2015-05-12 | At&T Intellectual Property I, Lp | Apparatus for adapting a presentation of media content according to a position of a viewing apparatus |
| US9654810B2 (en) | 2010-07-23 | 2017-05-16 | Lattice Semiconductor Corporation | Mechanism for partial encryption of data streams |
| US8994716B2 (en) | 2010-08-02 | 2015-03-31 | At&T Intellectual Property I, Lp | Apparatus and method for providing media content |
| US8438502B2 (en) | 2010-08-25 | 2013-05-07 | At&T Intellectual Property I, L.P. | Apparatus for controlling three-dimensional images |
| CN102137264B (zh) * | 2010-08-25 | 2013-03-13 | 华为技术有限公司 | 一种三维电视中图形文本显示的控制方法及设备、系统 |
| JP5483357B2 (ja) * | 2010-08-27 | 2014-05-07 | アルパイン株式会社 | デジタルテレビ受信装置及びデジタルテレビ受信装置を設けた車載装置 |
| CA2809143C (en) * | 2010-09-01 | 2017-07-04 | Lg Electronics Inc. | Digital receiver and method for processing 3d content in the digital receiver |
| US8947511B2 (en) | 2010-10-01 | 2015-02-03 | At&T Intellectual Property I, L.P. | Apparatus and method for presenting three-dimensional media content |
| US20120102527A1 (en) * | 2010-10-24 | 2012-04-26 | Hsuan-Ching Liu | TV system generating three-dimensional parameters according to a classification of a three-dimensional TV program and method thereof |
| GB2485140A (en) * | 2010-10-26 | 2012-05-09 | Sony Corp | A Method and Apparatus For Inserting Object Data into a Stereoscopic Image |
| JP2012120142A (ja) * | 2010-11-08 | 2012-06-21 | Sony Corp | 立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置 |
| US9172943B2 (en) * | 2010-12-07 | 2015-10-27 | At&T Intellectual Property I, L.P. | Dynamic modification of video content at a set-top box device |
| JP4908624B1 (ja) * | 2010-12-14 | 2012-04-04 | 株式会社東芝 | 立体映像信号処理装置及び方法 |
| JP2012205285A (ja) * | 2011-03-28 | 2012-10-22 | Sony Corp | 映像信号処理装置及び映像信号処理方法 |
| US9357200B2 (en) * | 2011-04-28 | 2016-05-31 | Panasonic Intelectual Property Management Co., Ltd. | Video processing device and video processing method |
| WO2012160812A1 (ja) * | 2011-05-25 | 2012-11-29 | パナソニック株式会社 | 映像処理装置、送信装置、立体映像視聴システム、映像処理方法、映像処理プログラム及び集積回路 |
| US9445046B2 (en) | 2011-06-24 | 2016-09-13 | At&T Intellectual Property I, L.P. | Apparatus and method for presenting media content with telepresence |
| US9030522B2 (en) | 2011-06-24 | 2015-05-12 | At&T Intellectual Property I, Lp | Apparatus and method for providing media content |
| US8947497B2 (en) | 2011-06-24 | 2015-02-03 | At&T Intellectual Property I, Lp | Apparatus and method for managing telepresence sessions |
| US9602766B2 (en) | 2011-06-24 | 2017-03-21 | At&T Intellectual Property I, L.P. | Apparatus and method for presenting three dimensional objects with telepresence |
| BR112013033819A2 (pt) * | 2011-07-01 | 2017-02-14 | Panasonic Corp | dispositivo de transmissão, dispositivo de recepção e de reprodução, método de transmissão, e método de recepção e reprodução |
| US8587635B2 (en) | 2011-07-15 | 2013-11-19 | At&T Intellectual Property I, L.P. | Apparatus and method for providing media services with telepresence |
| MX2013003573A (es) * | 2011-08-04 | 2013-08-29 | Sony Corp | Aparato de transmision, metodo de transmision, y aparato de recepcion. |
| JP5956441B2 (ja) * | 2011-08-05 | 2016-07-27 | パナソニック株式会社 | 受信再生装置、送信装置、受信再生方法及び送信方法 |
| CN103037236A (zh) * | 2011-08-22 | 2013-04-10 | 联发科技股份有限公司 | 图像处理方法以及装置 |
| US20130050420A1 (en) * | 2011-08-22 | 2013-02-28 | Ding-Yun Chen | Method and apparatus for performing image processing according to disparity information |
| JP2013066075A (ja) * | 2011-09-01 | 2013-04-11 | Sony Corp | 送信装置、送信方法および受信装置 |
| US8970666B2 (en) * | 2011-09-16 | 2015-03-03 | Disney Enterprises, Inc. | Low scale production system and method |
| US20130077690A1 (en) * | 2011-09-23 | 2013-03-28 | Qualcomm Incorporated | Firmware-Based Multi-Threaded Video Decoding |
| US8964979B2 (en) * | 2011-10-07 | 2015-02-24 | Silicon Image, Inc. | Identification and handling of data streams using coded preambles |
| CN103959768B (zh) * | 2011-12-04 | 2017-09-22 | Lg电子株式会社 | 能够显示立体图像的数字广播接收方法和装置 |
| US9626798B2 (en) | 2011-12-05 | 2017-04-18 | At&T Intellectual Property I, L.P. | System and method to digitally replace objects in images or video |
| EP2806644A1 (en) * | 2012-01-18 | 2014-11-26 | Panasonic Corporation | Transmission device, video display device, transmission method, video processing method, video processing program, and integrated circuit |
| US9071842B2 (en) * | 2012-04-19 | 2015-06-30 | Vixs Systems Inc. | Detection of video feature based on variance metric |
| US20130300823A1 (en) * | 2012-05-10 | 2013-11-14 | Jiun-Sian Chu | Stereo effect enhancement systems and methods |
| CN103891236B (zh) * | 2012-06-30 | 2017-01-25 | 华为技术有限公司 | 恢复会话内容的传输的方法，终端和服务器 |
| CZ308335B6 (cs) * | 2012-08-29 | 2020-05-27 | Awe Spol. S R.O. | Způsob popisu bodů předmětů předmětového prostoru a zapojení k jeho provádění |
| TWI475898B (zh) * | 2012-09-05 | 2015-03-01 | Acer Inc | 多媒體處理系統及音訊信號調整方法 |
| US9413985B2 (en) | 2012-09-12 | 2016-08-09 | Lattice Semiconductor Corporation | Combining video and audio streams utilizing pixel repetition bandwidth |
| US11237695B2 (en) * | 2012-10-12 | 2022-02-01 | Sling Media L.L.C. | EPG menu with a projected 3D image |
| KR102181994B1 (ko) | 2012-11-26 | 2020-11-24 | 소니 주식회사 | 송신 장치, 송신 방법, 수신 장치, 수신 방법 및 수신 표시 방법 |
| WO2014100959A1 (en) | 2012-12-24 | 2014-07-03 | Thomson Licensing | Apparatus and method for displaying stereoscopic images |
| KR102143472B1 (ko) * | 2013-07-26 | 2020-08-12 | 삼성전자주식회사 | 다시점 영상 처리 장치 및 그 영상 처리 방법 |
| KR101840203B1 (ko) * | 2013-09-03 | 2018-03-20 | 엘지전자 주식회사 | 방송 신호 전송 장치, 방송 신호 수신 장치, 방송 신호 전송 방법, 및 방송 신호 수신 방법 |
| KR101944834B1 (ko) * | 2014-04-27 | 2019-02-01 | 엘지전자 주식회사 | 멀티미디어 수신기 및 멀티미디어 신호 처리 방법 |
| US9729927B2 (en) * | 2014-10-30 | 2017-08-08 | Rovi Guides, Inc. | Systems and methods for generating shadows for a media guidance application based on content |
| WO2016086075A1 (en) * | 2014-11-24 | 2016-06-02 | The Nielsen Company (Us), Llc | Methods and apparatus to predict time-shifted exposure to media |
| RU2701172C2 (ru) * | 2014-12-19 | 2019-09-25 | Сони Корпорейшн | Передающее устройство, способ передачи, приемное устройство и способ приема |
| WO2016163603A1 (ko) * | 2015-04-05 | 2016-10-13 | 엘지전자 주식회사 | Xml 자막에 기반한 방송 서비스를 위한 방송 신호 송수신 방법 및 장치 |
| US10638179B2 (en) * | 2015-08-06 | 2020-04-28 | At&T Intellectual Property I, L.P. | Content insertion in streaming media content |
| EP3378235A4 (en) | 2015-11-20 | 2019-05-01 | Genetec Inc. | MEDIA STREAMING |
| US10230812B1 (en) * | 2016-01-29 | 2019-03-12 | Amazon Technologies, Inc. | Dynamic allocation of subtitle packaging |
| TWI728061B (zh) * | 2016-03-15 | 2021-05-21 | 日商新力股份有限公司 | 送訊裝置及收訊裝置 |
| WO2018123801A1 (ja) * | 2016-12-28 | 2018-07-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置 |
| JP7035401B2 (ja) * | 2017-09-15 | 2022-03-15 | ソニーグループ株式会社 | 画像処理装置およびファイル生成装置 |
| CN110730277B (zh) * | 2018-07-17 | 2022-04-05 | 阿里巴巴集团控股有限公司 | 一种信息编码及获取编码信息的方法和装置 |
| CN110647657B (zh) * | 2019-09-19 | 2022-05-24 | 四川东方网力科技有限公司 | 资源结构化数据自动纠错的方法、装置、设备及存储介质 |
| US20230237731A1 (en) * | 2022-01-27 | 2023-07-27 | Meta Platforms Technologies, Llc | Scalable parallax system for rendering distant avatars, environments, and dynamic objects |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11113028A (ja) * | 1997-09-30 | 1999-04-23 | Toshiba Corp | ３次元映像表示装置 |
| JPH11289555A (ja) * | 1998-04-02 | 1999-10-19 | Toshiba Corp | 立体映像表示装置 |
| US7877769B2 (en) * | 2000-04-17 | 2011-01-25 | Lg Electronics Inc. | Information descriptor and extended information descriptor data structures for digital television signals |
| US20030169369A1 (en) * | 2002-03-05 | 2003-09-11 | Michael Kahn | Consumer video captioning system |
| JP2004274125A (ja) * | 2003-03-05 | 2004-09-30 | Sony Corp | 画像処理装置および方法 |
| US20070182730A1 (en) * | 2003-05-28 | 2007-08-09 | Ken Mashitani | Stereoscopic image display apparatus and program |
| JP4222875B2 (ja) * | 2003-05-28 | 2009-02-12 | 三洋電機株式会社 | 立体映像表示装置及びプログラム |
| JP4576131B2 (ja) * | 2004-02-19 | 2010-11-04 | パイオニア株式会社 | 立体的二次元画像表示装置及び立体的二次元画像表示方法 |
| KR100585966B1 (ko) * | 2004-05-21 | 2006-06-01 | 한국전자통신연구원 | 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법 |
| KR100818933B1 (ko) * | 2005-12-02 | 2008-04-04 | 한국전자통신연구원 | 디지털방송 기반 ３차원 컨텐츠 서비스 제공 방법 |
| WO2007067020A1 (en) * | 2005-12-09 | 2007-06-14 | Electronics And Telecommunications Research Institute | System and method for transmitting/receiving three dimensional video based on digital broadcasting |
| KR100747598B1 (ko) * | 2005-12-09 | 2007-08-08 | 한국전자통신연구원 | 디지털방송 기반의 3차원 입체영상 송수신 시스템 및 그방법 |
| JP2010510558A (ja) * | 2006-10-11 | 2010-04-02 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 三次元グラフィックスのデータの作成 |
| DE602007007369D1 (de) * | 2007-03-16 | 2010-08-05 | Thomson Licensing | System und verfahren zum kombinieren von text mit dreidimensionalem inhalt |
| KR101556123B1 (ko) * | 2007-07-25 | 2015-09-30 | 엘지전자 주식회사 | 디지털 방송 시스템 및 데이터 처리 방법 |
| US8400497B2 (en) * | 2007-09-07 | 2013-03-19 | Samsung Electronics Co., Ltd | Method and apparatus for generating stereoscopic file |
| US8898686B2 (en) * | 2007-09-27 | 2014-11-25 | Verizon Patent And Licensing Inc. | Video on demand sneak peek and “snippet” billing |
| JP2009135686A (ja) * | 2007-11-29 | 2009-06-18 | Mitsubishi Electric Corp | 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置 |
| GB0806183D0 (en) * | 2008-04-04 | 2008-05-14 | Picsel Res Ltd | Presentation of objects in 3D displays |
| KR101472332B1 (ko) * | 2008-04-15 | 2014-12-15 | 삼성전자주식회사 | 3차원 디지털 컨텐츠의 제공 방법, 수신 방법 및 그 장치 |
| EP3454549B1 (en) * | 2008-07-25 | 2022-07-13 | Koninklijke Philips N.V. | 3d display handling of subtitles |
| JP5567578B2 (ja) * | 2008-10-21 | 2014-08-06 | コーニンクレッカ フィリップス エヌ ヴェ | 入力された三次元ビデオ信号を処理するための方法及びシステム |
| CA2749064C (en) * | 2009-01-08 | 2015-02-17 | Lg Electronics Inc. | 3d caption signal transmission method and 3d caption display method |
| US8269821B2 (en) * | 2009-01-27 | 2012-09-18 | EchoStar Technologies, L.L.C. | Systems and methods for providing closed captioning in three-dimensional imagery |
| JP5627860B2 (ja) * | 2009-04-27 | 2014-11-19 | 三菱電機株式会社 | 立体映像配信システム、立体映像配信方法、立体映像配信装置、立体映像視聴システム、立体映像視聴方法、立体映像視聴装置 |
| US8970669B2 (en) * | 2009-09-30 | 2015-03-03 | Rovi Guides, Inc. | Systems and methods for generating a three-dimensional media guidance application |
-
2010
- 2010-06-15 KR KR1020100056756A patent/KR20110053159A/ko not_active Application Discontinuation
- 2010-06-15 KR KR1020100056757A patent/KR20110053160A/ko not_active Application Discontinuation
- 2010-11-11 US US12/944,486 patent/US20110119708A1/en not_active Abandoned
- 2010-11-12 US US12/945,022 patent/US20110119709A1/en not_active Abandoned
- 2010-11-15 BR BR112012011171A patent/BR112012011171A2/pt not_active IP Right Cessation
- 2010-11-15 BR BR112012010636A patent/BR112012010636A2/pt not_active IP Right Cessation
- 2010-11-15 JP JP2012538770A patent/JP5721733B2/ja active Active
- 2010-11-15 WO PCT/KR2010/008066 patent/WO2011059289A2/en active Application Filing
- 2010-11-15 CN CN2010800515366A patent/CN102640505A/zh active Pending
- 2010-11-15 JP JP2012538769A patent/JP5721732B2/ja active Active
- 2010-11-15 EP EP10830221.7A patent/EP2499828A4/en not_active Ceased
- 2010-11-15 MX MX2012004678A patent/MX2012004678A/es active IP Right Grant
- 2010-11-15 WO PCT/KR2010/008067 patent/WO2011059290A2/en active Application Filing
- 2010-11-15 CN CN2010800515351A patent/CN102640504A/zh active Pending
- 2010-11-15 EP EP10830222.5A patent/EP2471263A4/en not_active Withdrawn
- 2010-11-15 MX MX2012004849A patent/MX2012004849A/es active IP Right Grant
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102883172A (zh) * | 2011-07-15 | 2013-01-16 | 日立民用电子株式会社 | 接收装置、接收方法和发送接收方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2011059290A2 (en) | 2011-05-19 |
| EP2499828A2 (en) | 2012-09-19 |
| WO2011059289A2 (en) | 2011-05-19 |
| EP2471263A4 (en) | 2014-03-05 |
| JP2013511200A (ja) | 2013-03-28 |
| EP2471263A2 (en) | 2012-07-04 |
| BR112012011171A2 (pt) | 2017-09-12 |
| CN102640504A (zh) | 2012-08-15 |
| JP2013511199A (ja) | 2013-03-28 |
| EP2499828A4 (en) | 2014-03-05 |
| MX2012004849A (es) | 2012-06-12 |
| WO2011059289A3 (en) | 2011-10-13 |
| KR20110053160A (ko) | 2011-05-19 |
| US20110119708A1 (en) | 2011-05-19 |
| MX2012004678A (es) | 2012-06-14 |
| CN102640505A (zh) | 2012-08-15 |
| JP5721733B2 (ja) | 2015-05-20 |
| JP5721732B2 (ja) | 2015-05-20 |
| BR112012010636A2 (pt) | 2017-12-19 |
| US20110119709A1 (en) | 2011-05-19 |
| WO2011059290A3 (en) | 2011-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5721733B2 (ja) | ビデオ付加再生情報の三次元再生のためのマルチメディア・ストリーム生成方法及びその装置、並びに受信方法及びその装置 | |
| JP5675810B2 (ja) | 付加データの三次元再生のための信号処理方法及びその装置 | |
| JP6034420B2 (ja) | ３次元映像の再生のための付加情報が挿入された３次元映像データストリーム生成方法及びその装置、３次元映像の再生のための付加情報が挿入された３次元映像データストリーム受信方法及びその装置 | |
| KR101622688B1 (ko) | 3차원 캡션 디스플레이 방법 및 이를 구현하기 위한 3차원 디스플레이 장치 | |
| US9253469B2 (en) | Method for displaying 3D caption and 3D display apparatus for implementing the same | |
| US9699439B2 (en) | 3D caption signal transmission method and 3D caption display method | |
| KR20090102116A (ko) | 3차원 영상 컨텐츠 제공 방법, 재생 방법, 그 장치 및 그기록매체 | |
| MX2012008816A (es) | Metodo y aparato para generar flujo de datos para proporcionar servicio multimedia tridimensional, y metodo y aparato para recibir el flujo de datos. | |
| WO2013054775A1 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
| KR20100092851A (ko) | 3차원 영상 데이터스트림 생성 방법 및 그 장치와 3차원 영상 데이터스트림 수신 방법 및 그 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |