KR20110115103A - 디지털 자막 방송을 위한 방송 비트스트림을 생성하는 방법 및 그 장치, 디지털 자막 방송을 위한 방송 비트스트림을 수신하는 방법 및 그 장치 - Google Patents

디지털 자막 방송을 위한 방송 비트스트림을 생성하는 방법 및 그 장치, 디지털 자막 방송을 위한 방송 비트스트림을 수신하는 방법 및 그 장치 Download PDF

Info

Publication number
KR20110115103A
KR20110115103A KR1020110034758A KR20110034758A KR20110115103A KR 20110115103 A KR20110115103 A KR 20110115103A KR 1020110034758 A KR1020110034758 A KR 1020110034758A KR 20110034758 A KR20110034758 A KR 20110034758A KR 20110115103 A KR20110115103 A KR 20110115103A
Authority
KR
South Korea
Prior art keywords
subtitle
caption
offset
information
bitstream
Prior art date
Application number
KR1020110034758A
Other languages
English (en)
Inventor
조봉제
김용태
장용석
이대종
김재승
서주희
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20110115103A publication Critical patent/KR20110115103A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6433—Digital Storage Media - Command and Control Protocol [DSM-CC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame

Abstract

2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오가 부호화된 비디오 데이터를 입력하고, 비디오와 함께 재생하기 위한 자막 데이터와, 자막 데이터를 3차원 자막으로 재생하기 위한 오프셋의 변환 속도에 대한 정보를 포함하는 3차원 자막 변환 정보를 결정하여, 부호화된 비디오 데이터, 자막 데이터 및 3차원 자막 변환 정보를 다중화하여 디지털 방송을 위한 비트스트림을 출력하는 디지털 자막 방송 비트스트림 생성 방법이 개시된다.

Description

디지털 자막 방송을 위한 방송 비트스트림을 생성하는 방법 및 그 장치, 디지털 자막 방송을 위한 방송 비트스트림을 수신하는 방법 및 그 장치{Method and apparatus for generating broadcasting bitstream for digital TV captioning, method and apparatus for receiving broadcasting bitstream for digital TV captioning}
본 발명은, 2차원 컨텐트 또는 3차원 컨텐트를 제공하기 위한 디지털 방송 컨텐트의 송수신 방법에 관한 것이다.
디지털 방송 전송 시스템은, 방송 프로그램을 통해 비디오 컨텐츠와 오디오 컨텐츠를 제공하면서, 비디오 화면 상에 표시되기 위한 자막 서비스를 제공하기도 한다. 디지털 방송 수신 시스템은, 전송되어온 비디오 데이터를 복호화하여 비디오컨텐트를 복원하고, 자막 서비스를 통해 수신된 자막 데이터를 이용하여 생성한 자막을 합성함으로써, 자막이 표시된 비디오 화면을 재생할 수 있다.
현실감과 입체감을 수반한 3차원 컨텐트에 대한 요구가 증가하고 있다. 3차원으로 재생되도록 제작된 방송용 컨텐트 또는 프로그램도 등장하고 있다. 3차원 비디오를 지원하는 디지털 방송 수신 시스템은, 3차원 방송용 컨텐트를 수신하여 3차원 비디오를 재생할 수 있다. 3차원 비디오 방송 컨텐트의 보급으로 인해, 방송 컨텐트의 재생 방식이 변화함에 따라, 방송 수신 시스템의 부가적인 기능의 변화도 요구되고 있다.
본 발명은, 디지털 방송 스트림을 통해, 2차원 자막 데이터를 이용하여 3차원 자막을 구현하기 위한 3차원 자막 정보를 제공하고, 3차원 자막 정보를 이용하여 3차원 자막을 구현하는 방법을 개시한다.
본 발명의 일 실시예에 따라 디지털 자막 방송을 위한 방송 비트스트림을 생성하는 방법은, 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오가 부호화된 비디오 데이터를 입력받는 단계; 상기 비디오와 함께 재생하기 위한 자막 데이터와, 상기 자막 데이터를 3차원 자막으로 재생하기 위한 오프셋의 변환 속도에 대한 정보를 포함하는 3차원 자막 변환 정보를 결정하는 단계; 및 상기 부호화된 비디오 데이터, 상기 자막 데이터 및 상기 3차원 자막 변환 정보를 다중화하여 디지털 방송을 위한 비트스트림을 출력하는 단계를 포함한다.
일 실시예에 따른 상기 비트스트림 출력 단계는, 상기 자막 데이터를 상기 디지털 방송 비트스트림의 픽처 사용자 데이터 영역, 자막 서비스 데이터 영역 및 섹션 테이블 영역 중 적어도 하나에 삽입하는 단계; 및 상기 3차원 자막 변환 정보를 상기 비트스트림의 자막 서비스 블록, 자막 윈도우 명령어 및 상기 섹션 테이블 영역 중 적어도 하나에 삽입하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따라 디지털 자막 방송을 위한 방송 비트스트림을 수신하는 방법은, 2차원 비디오 및 3차원 비디오 중 적어도 하나의 부호화된 비디오 데이터를 포함하는 비트스트림을 수신하는 단계; 상기 수신된 비트스트림을 역다중화하고 파싱하여, 상기 비트스트림으로부터 상기 부호화된 비디오 데이터, 상기 비디오와 함께 재생하기 위한 자막 데이터와, 상기 자막 데이터를 3차원 자막으로 재생하기 위한 오프셋의 변환 속도에 대한 정보를 포함하는 3차원 자막 변환 정보를 추출하는 단계; 및 상기 3차원 자막 변환 정보에 기초하여, 비디오 화면 상에서 상기 자막 데이터의 재생 형태를 결정하는 단계를 포함한다.
일 실시예에 따른 상기 디지털 자막 방송 비트스트림 수신 방법은, 상기 부호화된 비디오 데이터를 복호화하여 상기 2차원 비디오 및 3차원 비디오 중 적어도 하나의 비디오를 복원하는 단계; 및 상기 3차원 자막 변환 정보에 기초하여 결정된 상기 자막 데이터의 재생 형태에 따라, 상기 비디오 화면 상에서 상기 자막 데이터를 3차원 자막으로 재생하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 디지털 자막 방송을 위한 방송 비트스트림 생성 장치는, 비디오 인코딩 프로세서에 의해, 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오가 부호화된 비디오 데이터를 입력받는 비디오 데이터 입력부; 상기 비디오와 함께 재생하기 위한 자막 데이터와 상기 자막 데이터를 3차원 자막으로 재생하기 위한 오프셋의 변환 속도에 대한 정보를 포함하는 3차원 자막 변환 정보를 결정하는 3차원 자막 변환 정보 결정부; 및 상기 부호화된 비디오 데이터, 상기 자막 데이터 및 상기 3차원 자막 변환 정보를 다중화하여 비트스트림을 출력하는 비트스트림 출력부를 포함한다.
본 발명의 일 실시예에 따른 디지털 자막 방송을 위한 방송 비트스트림 수신 장치는, 2차원 비디오 및 3차원 비디오 중 적어도 하나의 부호화된 비디오 데이터를 포함하는 비트스트림을 수신하는 비트스트림 수신부; 상기 수신된 비트스트림을 역다중화하고 파싱하여, 상기 비트스트림으로부터 상기 부호화된 비디오 데이터, 상기 비디오와 함께 재생하기 위한 자막 데이터와, 상기 자막 데이터를 3차원 자막으로 재생하기 위한 오프셋의 변환 속도에 대한 정보를 포함하는 3차원 자막 변환 정보를 추출하는 추출부; 및 상기 3차원 자막 변환 정보에 기초하여, 비디오 화면 상에서 상기 자막 데이터의 재생 형태를 결정하는 자막 결정부를 포함한다.
일 실시예에 따른 상기 디지털 자막 방송 비트스트림 수신 장치는, 비디오 디코딩 프로세서와 연동하여, 상기 부호화된 비디오 데이터를 복호화하여 상기 2차원 비디오 및 3차원 비디오 중 적어도 하나의 비디오를 복원하는 비디오 복원부; 및 상기 3차원 자막 변환 정보에 기초하여 결정된 상기 자막 데이터의 재생 형태에 따라, 상기 비디오 화면 상에서 상기 자막 데이터를 3차원 자막으로 재생하는 재생부를 더 포함할 수 있다.
본 발명은, 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 방법을 연산 프로세서로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 포함한다. 본 발명은, 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 방법을 연산 프로세서로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 포함한다.
도 1 은 일 실시예에 따라 디지털 자막 방송을 위한 디지털 자막 방송 비트스트림 생성 장치의 블록도를 도시한다.
도 2a 및 2b 는 각각 일 실시예에 따라 디지털 자막 방송을 위한 디지털 자막 방송 비트스트림 수신 장치의 블록도를 도시한다.
도 3 은 DTV(Digital TV) 비트스트림의 DTV-CC(Digital TV Closed Caption) 자막 데이터의 구조를 도시한다.
도 4 는 DTV-CC 자막 데이터의 프로토콜 모델을 도시한다.
도 5 는 CEA-708에 따른 DTV CC 코드셋 테이블(Code Set Table)을 도시한다.
도 6 은 PMT(Program Map Table) 영역 또는 EIT(Event Information Table) 영역의 캡션 서비스 서술자(Caption Service Descriptor)의 신택스를 도시한다.
도 7 은 비디오 오프셋과 자막 윈도우 오프셋의 그래프들을 도시한다.
도 8 은 3차원 자막에서 객체와 자막 윈도우 간에 뎁스가 역전되는 현상을 도시한다.
도 9 은 일 실시예에 따른 3차원 자막 오프셋 정보를 전송하기 위한 서비스 블록을 도시한다.
도 10 은 일 실시예에 따른 3차원 자막 오프셋 명령어를 도시한다.
도 11 및 12 는 각각 일 실시예에 따른 3차원 자막 서비스 블록 및 일 실시예에 따른 3차원 자막 오프셋 명령어를 이용하여 3차원 자막 윈도우를 결정하는 실시예를 도시한다.
도 13 은 일 실시예에 따른 3차원 자막 오프셋 정보를 이용하여 자막 데이터를 3차원 자막으로 재생하기 위한 비디오 디코딩 시스템의 블록도를 도시한다.
도 14 는 일 실시예에 따른 3차원 자막 오프셋 정보를 이용하여 자막을 재생하는 방법의 흐름도를 도시한다.
도 15 는 일 실시예에 따른 자막 오프셋 변환 속도 명령어를 도시한다.
도 16 는 일 실시예에 따른 자막 오프셋 변환 속도 정보를 이용한 3차원 자막의 오프셋 변화 그래프를 도시한다.
도 17 은 일 실시예에 따른 자막 오프셋 변환 속도 정보를 이용한 3차원 자막 처리 화면을 도시한다.
도 18 은 다른 실시예에 따른 자막 오프셋 변환 속도 정보를 이용한 3차원 자막의 오프셋 변화 그래프를 도시한다.
도 19 은 자막의 뎁스 변화에 따른 자막의 크기 변화를 도시한다.
도 20 은 일 실시예에 따른 3차원 자막 크기 변환 명령어를 도시한다.
도 21 은 일 실시예에 따른 3차원 자막 크기 변환 정보를 추가적으로 설정하기 위한 자막 오프셋 변환 속도 명령어를 도시한다.
도 22 는 일 실시예에 따라 두 개의 기본스트림을 전송하는 시스템에서, 각각의 기본스트림에 2차원 DTV 클로즈드 캡션 정보와 3차원 DTV 클로즈드 캡션 정보가 포함된 경우를 도시한다.
도 23 및 24은 일 실시예에 따라 구성된 둘 이상의 자막 윈도우들이 충돌하는 경우, 자막 윈도우를 재생하는 방법을 도시한다.
도 25 은 일 실시예에 따라 디지털 자막 방송을 위한 디지털 자막 방송 비트스트림 생성 방법의 흐름도를 도시한다.
도 26 는 일 실시예에 따라 디지털 자막 방송을 위한 디지털 자막 방송 비트스트림 수신 방법의 흐름도를 도시한다.
이하, 도 1 내지 26을 참조하여, 2차원 비디오 또는 3차원 비디오를 제공하는 디지털 방송을 위하여 본 발명의 일 실시예에 따라 3차원 자막을 재생하기 위한 자막 정보를 포함하는 디지털 자막 방송 비트스트림 생성 방법 및 그 장치, 그리고 디지털 방송 비트스트림의 수신 방법과 그 장치를 상술한다. 또한, 일 실시예에 따른 자막 정보를 이용하여 3차원 자막을 재생하는 방법과 그 장치를 상술한다.
도 1 은 일 실시예에 따른 디지털 자막 방송을 위한 디지털 자막 방송 비트스트림 생성 장치(100)의 블록도를 도시한다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 비디오 데이터 입력부(110), 3차원 자막 변환 정보 결정부(120) 및 비트스트림 출력부(130)를 포함한다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 비디오 데이터, 자막 데이터 및 자막 데이터를 3차원 자막으로 원활히 재생하기 위하여 필요한 각종 정보를 수록한 일 실시예에 따른 3차원 자막 변환 정보를 포함하는 비트스트림을 생성한다. 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, ATSC(Advanced Television Systems Committee) 방식에 따른 지상파 DTV 방송시스템을 위한 비트스트림을 생성할 수도 있다.
일 실시예에 따른 비디오 데이터 입력부(110)는, 비디오 인코딩 프로세서로부터 비디오가 부호화된 비디오 데이터를 입력받는다. 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 2차원 비디오 방송 서비스 또는 3차원 비디오 방송 서비스를 제공하기 위하여, 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오가 부호화된 비디오 데이터를 입력받는다.
일 실시예에 따른 3차원 자막 변환 정보 결정부(120)는, 비디오 데이터와 함께 재생하기 위한 자막 데이터와, 자막 데이터를 3차원 자막으로 재생하기 위한 정보를 포함하는 3차원 자막 변환 정보를 결정한다. 일 실시예에 따른 3차원 자막 변환 정보는, 자막 데이터를 3차원 자막으로 재생하기 위한 오프셋의 변환 속도에 대한 정보를 포함할 수 있다.
일 실시예에 따른 3차원 자막 변환 정보 결정부(120)는, CEA-608 또는 CEA-708에 따른 DTV-CC 자막 데이터를 결정할 수도 있다.
일 실시예에 따른 비트스트림 출력부(130)는, 비디오 데이터 입력부(110)으로부터 출력된 부호화된 비디오 데이터와, 3차원 자막 변환 정보 결정부(120)로부터 출력된 자막 데이터 및 3차원 자막 변환 정보를 입력받고, 다중화하여 비트스트림을 출력한다.
일 실시예에 따른 비트스트림 출력부(130)는, MPEG-2 TS 시스템에 기초하여, 부호화된 비디오 데이터와, 자막 데이터 및 3차원 자막 변환 정보를 포함하는 비트스트림을 구성할 수 있다.
부호화된 비디오 데이터는 디지털 방송 비트스트림의 비디오스트림의 픽처 데이터 영역에 삽입되어 전송될 수 있다. 자막 데이터는 비디오스트림의 픽처 사용자 데이터 영역, 자막 서비스 데이터 영역 및 섹션 테이블 영역 중 적어도 하나에 포함되어 전송될 수 있다.
일 실시예에 따른 비트스트림 출력부(130)는, 비트스트림의 자막 서비스 블록, 자막 윈도우 명령어 및 섹션 테이블 영역 중 적어도 하나에 3차원 자막 변환 정보를 삽입할 수 있다.
일 실시예에 따른 비트스트림 출력부(130)는, 비트스트림을 다중화하여 전송스트림(Transport Stream)의 형태로 전송할 수 있다.
이하, 3차원 자막 변환 정보 결정부(120)가 일 실시예에 따른 3차원 자막 변환 정보를 결정하고, 비트스트림 출력부(130)가 일 실시예에 따른 3차원 자막 변환 정보를 전송하는 방법을 상술한다.
일 실시예에 따른 3차원 자막 변환 정보 결정부(120)는, 3차원 자막 변환 정보로서, 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보, 그리고 3차원 자막 변환 정보가 전송됨을 알리는 3차원 자막 전송 정보 중 적어도 하나를 결정할 수 있다.
일 실시예에 따른 3차원 자막 오프셋 정보는, 자막 데이터를 3차원 자막으로 재생하기 위하여 필요한 자막 오프셋을 나타내며, 자막 오프셋은 주시점 자막 윈도우와 부가시점 자막 윈도우의 오프셋을 나타낼 수 있다. 일 실시예에 따른 주시점 자막 윈도우와 부가시점 자막 윈도우의 오프셋은, 주시점 자막 윈도우와 부가시점 자막 윈도우 간의 뎁스, 변이 및 양안 시차 중 적어도 하나를 포함할 수 있다. 또한 일 실시예에 따른 주시점 자막 윈도우와 부가시점 자막 윈도우의 오프셋은, 제로 평면으로부터 주시점 자막 또는 부가시점 자막까지의 뎁스, 변이 및 양안 시차 중 적어도 하나를 포함할 수도 있다.
일 실시예에 따른 비트스트림 출력부(130)는, 3차원 자막 오프셋 정보를 포함하는 3차원 자막 서비스 블록을 생성하고, 디지털 방송 비트스트림의 비디오스트림의 사용자 데이터 영역에 삽입할 수 있다. 일 실시예에 따른 비트스트림 출력부(130)가 자막 서비스 블록과 3차원 자막 서비스 블록을 포함하는 비트스트림을 전송함으로써, 현재 자막 서비스 블록에 포함된 자막 데이터와 함께 3차원 자막 오프셋 정보를 전송할 수 있다.
일 실시예에 따른 비트스트림 출력부(130)는, 자막 윈도우 명령어 형식에 기초하여, 3차원 자막 오프셋 정보를 설정하기 위한 3차원 자막 오프셋 명령어를 결정할 수 있다. 일 실시예에 따른 3차원 자막 오프셋 명령어는, 자막 서비스별로 3차원 자막 오프셋 정보를 지정하도록 할 수 있다.
일 실시예에 따른 비트스트림 출력부(130)는, CEA-708에 기초한 자막 윈도우 명령어를, 비트스트림의 자막 서비스 데이터 영역에 삽입할 수 있다. 자막 서비스 데이터 영역은 자막 서비스 블록에 포함될 수 있다. 전술한 바와 같이 자막 서비스 데이터 영역은 디지털 방송 비트스트림의 비디오스트림의 사용자 데이터 영역의 구성요소이므로, 일 실시예에 따른 일 실시예에 따른 3차원 자막 오프셋 명령어를, 디지털 방송 비트스트림의 비디오스트림의 자막 서비스 데이터 영역에 삽입할 수 있다. 따라서, 일 실시예에 따른 3차원 자막 오프셋 명령어는 자막 서비스 블록의 자막 데이터와 함께 전송될 수 있다.
일 실시예에 따른 비트스트림 출력부(130)는, 섹션 테이블 영역의 PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 캡션 서비스 서술자의 예비 영역에 3차원 자막 오프셋 정보를 삽입할 수 있다. 또는 일 실시예에 따른 비트스트림 출력부(130)는, 3차원 자막 오프셋 정보를 포함하는 서술자를 생성하여, 섹션 테이블 영역의 PMT 영역 및 EIT 영역 중 적어도 하나의 서술자 영역에 삽입할 수도 있다. 일 실시예에 따른 비트스트림 출력부(130)는, 섹션 테이블과 비디오스트림과 다중화하여 비트스트림을 생성하고 전송함으로써, 비디오스트림의 비디오 데이터, 섹션 테이블 또는 비디오스트림에 포함된 자막 데이터와 함께 3차원 자막 오프셋 정보가 전송될 수 있다.
일 실시예에 따른 자막 오프셋 변환 속도 정보는, 3차원 자막의 자막 오프셋의 급격한 변환을 방지하기 위하여, 3차원 자막 윈도우의 목표 오프셋을 나타내는 목표 오프셋 정보와, 자막 오프셋의 변환이 발생하는 구간을 나타내는 자막 변환 구간 정보를 포함할 수 있다.
일 실시예에 따른 비트스트림 출력부(130)는, 자막 윈도우 명령어 형식에 기초하여, 자막 오프셋 변환 속도 정보를 설정하기 위한 자막 오프셋 변환 속도 명령어를 결정할 수 있다. 일 실시예에 따른 자막 오프셋 변환 속도 명령어는 현재 자막 서비스의 자막 윈도우별로 자막 오프셋 변환 속도 정보를 설정할 수 있다.
일 실시예에 따른 비트스트림 출력부(130)는, 디지털 방송 비트스트림의 비디오스트림의 자막 서비스 데이터 영역에 자막 오프셋 변환 속도 명령어를 삽입하여 비트스트림을 전송함으로써, 현재 자막 서비스 블록의 자막 데이터와 함께 자막 오프셋 변환 속도 정보를 전송할 수 있다.
일 실시예에 따른 자막 오프셋 변환 속도 정보는, 현재 프레임 및 다음 프레임의 자막 윈도우들 간의 오프셋 변화량을 나타내는 정보, 오프셋 변화량의 방향을 나타내는 정보, 목표 오프셋 정보 및 자막 변환이 발생하는 자막 윈도우를 나타내는 자막 변환 윈도우 식별 정보 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 3차원 자막을 위한 오프셋 변화량 정보는, 현재 프레임의 오프셋과 다음 프레임의 오프셋 간의 차이를 나타낼 수 있다. 일 실시예에 따른 3차원 자막을 위한 자막 변환 구간 정보는, 자막 변환이 시작하는 프레임으로부터 완료하는 프레임까지의 프레임 개수를 나타낼 수 있다.
일 실시예에 따른 3차원 자막 변환 정보 결정부(120)는, 자막 데이터를 자막 오프셋을 변환하여 재생하기 위하여, 자막의 크기를 조절하기 위한 정보를 포함하는 3차원 자막 크기 변환 정보를 결정할 수 있다. 일 실시예에 따른 3차원 자막 크기 변환 정보는, 자막 크기가 변하는 비율을 나타낼 수 있다. 일 실시예에 따른 자막의 크기는 자막 윈도우의 크기 및 자막 폰트의 사이즈 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 비트스트림 출력부(130)는, 자막 윈도우 명령어 형식에 기초하여, 3차원 자막 크기 변환 정보를 설정하기 위한 3차원 자막 크기 변환 명령어를 결정할 수 있다. 일 실시예에 따른 3차원 자막 크기 변환 명령어는 현재 자막 서비스의 자막 윈도우별로 3차원 자막 크기 변환 정보를 설정할 수 있다.
일 실시예에 따른 비트스트림 출력부(130)는, 디지털 방송 비트스트림의 비디오스트림의 자막 서비스 데이터 영역에 3차원 자막 크기 변환 명령어를 삽입하여 비트스트림을 전송함으로써, 현재 자막 서비스 블록의 자막 데이터와 함께 3차원 자막 크기 변환 정보를 전송할 수 있다.
일 실시예에 따른 비트스트림 출력부(130)는, 일 실시예에 따른 자막 오프셋 변환 속도 명령어가 3차원 자막 크기 변환 정보를 더 설정하도록, 자막 오프셋 변환 속도 명령어를 변형할 수도 있다.
일 실시예에 따른 비트스트림 출력부(130)는, 비트스트림을 통해 3차원 자막 변환 정보가 전송됨을 나타내는 3차원 자막 전송 정보를, 섹션 테이블 영역의 PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 캡션 서비스 서술자에 삽입할 수 있다.
즉, 일 실시예에 따른 3차원 자막 전송 정보는, 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보와, 3차원 자막 크기 변환 정보 중 적어도 하나가 비트스트림을 통해 전송되는지 여부를 나타낼 수 있다.
일 실시예에 따른 비트스트림 출력부(130)는, 3차원 자막 변환 정보, 3차원자막 데이터 등이 전송됨을 나타내는 3차원 자막 전송 정보를 포함하는 3차원 자막 전송 서술자를 생성하고, PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 서술자 영역에 3차원 자막 전송 서술자를 삽입할 수도 있다.
또한, 일 실시예에 따른 비트스트림 출력부(130)는, 3차원 자막 서비스 블록이 전송됨을 나타내는 3차원 자막 서비스 블록 전송 정보와, 3차원 자막 윈도우 명령어가 전송됨을 나타내는 3차원 자막 윈도우 명령어 전송 정보 중 적어도 하나를, PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 캡션 서비스 서술자에 삽입하여 전송할 수도 있다.
일 실시예에 따른 비트스트림 출력부(130)는, 2개의 비디오 기본스트림을 전송하는 경우에, 3차원 비디오의 주시점 비디오 데이터 및 부가시점 비디오 데이터를, 메인 비디오 기본스트림과 서브 비디오 기본스트림에 삽입할 수 있다. 일 실시예에 따른 비트스트림 출력부(130)는, 일 실시예에 따른 3차원 자막 변환 정보 및 3차원 자막 전송 정보를, 메인 비디오 기본스트림 및 서브 비디오 기본스트림 중 적어도 하나에 삽입할 수 있다.
또한 3차원 비디오의 주시점 비디오 데이터 및 부가시점 비디오 데이터가, 각각 메인 기본스트림과 서브 기본스트림에 삽입되는 경우, 일 실시예에 따른 비트스트림 출력부(130)는, 3차원 자막을 지원하지 못하는 2차원 자막 시스템을 위해, 3차원 자막 변환 정보 및 3차원 자막 전송 정보를 서브 기본스트림에 삽입할 수 있다.
도 2a 및 2b 는 각각 일 실시예에 따라 디지털 자막 방송을 위한 디지털 자막 방송 비트스트림 수신 장치(200, 270)의 블록도를 도시한다.
일 실시에에 따라 디지털 방송의 자막 정보를 포함하는 디지털 자막 방송 비트스트림 수신 장치(200, 270)는 비트스트림 수신부(210), 추출부(220) 및 자막 결정부(230)를 포함한다.
일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 비디오 데이터, 자막 데이터 및 자막 데이터를 3차원 자막으로 원활히 재생하기 위하여 필요한 각종 정보를 수록한 일 실시예에 따른 3차원 자막 변환 정보를 포함하는 비트스트림을 수신한다. 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, ATSC 방식에 따른 지상파 DTV 방송시스템을 위한 비트스트림을 수신할 수도 있다.
일 실시예에 따른 비트스트림 수신부(210)는, 2차원 비디오 및 3차원 비디오 중 적어도 하나의 부호화된 비디오 데이터를 포함하는 비트스트림을 수신한다. 일 실시예에 따른 비트스트림 수신부(210)는, 전송스트림 형태의 비트스트림을 수신할 수 있다.
일 실시예에 따른 추출부(220)는, 수신된 비트스트림을 역다중화하고 파싱하여, 비트스트림으로부터 부호화된 비디오 데이터, 비디오와 함께 재생하기 위한 자막 데이터와 3차원 자막 변환 정보를 추출한다. 일 실시예에 따른 3차원 자막 변환 정보는 도 1을 참조하여 전술한 디지털 자막 방송 비트스트림 생성 장치(100)에 의해 결정된 3차원 자막 변환 정보에 상응할 수 있다.
일 실시예에 따른 추출부(220)는, 자막 데이터를 디지털 방송 비트스트림의 픽처 사용자 데이터 영역, 자막 서비스 데이터 영역 및 섹션 테이블 영역 중 적어도 하나로부터 추출할 수 있다.
일 실시예에 따른 추출부(220)는, 3차원 자막 변환 정보를 비트스트림의 자막 서비스 블록, 자막 윈도우 명령어 및 섹션 테이블 영역 중 적어도 하나로부터 추출할 수 있다. 일 실시예에 따른 추출부(220)는, 3차원 자막 변환 정보로서, 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보, 그리고 3차원 자막 변환 정보가 전송됨을 알리는 3차원 자막 전송 정보 중 적어도 하나가 추출될 수 있다.
일 실시예에 따른 자막 결정부(230)는, 추출부(220)에 의해 추출된 3차원 자막 변환 정보에 기초하여, 비디오 화면 상에서 자막의 재생 형태를 결정한다. 일 실시예에 따른 자막 결정부(230)는, 비트스트림으로부터 추출된 자막 데이터를 이용하여 캐릭터, 아이콘 등을 복원하여 자막을 결정할 수 있다.
또한, 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(270)는, 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(270)의 비트스트림 수신부(210), 추출부(220) 및 자막 결정부(230)와 함께, 비디오 복원부(240) 및 재생부(250)를 더 포함할 수 있다. 디지털 방송 스트림 수신 장치(270)는, 디지털 방송 스트림 수신 장치(200)의 구성요소를 모두 포함하므로, 디지털 방송 스트림 수신 장치(200)의 동작들을 모두 수행할 수 있다.
일 실시예에 따른 비디오 복원부(240)는, 추출부(220)에 의해 추출된 비디오 데이터를 입력받으며, 비디오 디코딩 프로세서와 연동하여, 부호화된 비디오 데이터를 복호화하고, 2차원 비디오 및 3차원 비디오 중 적어도 하나의 비디오를 복원할 수 있다. 3차원 비디오의 경우, 주시점 비디오 및 하나 이상의 부가시점 비디오가 복원될 수 있다.
일 실시예에 따른 재생부(250)는, 비디오 복원부(240)에 의해 복원된 비디오와 추출부(120)에 의해 추출된 자막 데이터를 입력받고, 자막 결정부(130)에 의해 결정된 자막의 재생 형태에 따라, 복원된 비디오와 자막 데이터를 합성하여, 비디오 화면 상에서 3차원 자막을 재생할 수 있다.
일 실시예에 따른 자막의 재생 형태는 자막 윈도우의 위치 및 크기, 자막 폰트의 크기 및 자막의 3차원 자막 우선권 등을 포함할 수 있다. 자막 윈도우의 위치 또는 크기를 결정하는 동작은, 주시점 자막 윈도우 및 부가시점 자막 윈도우의 위치 및 크기를 결정하는 동작을 포함할 수 있다.
일 실시예에 따른 자막 결정부(230)는, 3차원 자막 변환 정보에 기초하여, 자막 윈도우의 위치 및 크기, 자막 폰트의 크기를 결정할 수 있다.
일 실시예에 따른 재생부(250)는, 복원된 비디오의 주시점 비디오 및 부가시점 비디오에 각각 주시점 자막 및 부가시점 자막을 합성하여, 주시점 자막과 주시점 비디오가 합성된 주시점 화면과, 부가시점 자막과 부가시점 비디오가 합성된 부가시점 화면을 재생할 수 있다.
일 실시예에 따른 추출부(220)는, 디지털 방송 비트스트림의 비디오스트림의 사용자 데이터 영역으로부터 3차원 자막 서비스 블록을 추출할 수 있다. 일 실시예에 따른 추출부(220)는, 3차원 자막 서비스 블록으로부터 3차원 자막 오프셋 정보를 추출할 수 있다.
일 실시예에 따른 추출부(220)는, 비트스트림의 자막 서비스 데이터 영역으로부터 3차원 자막 오프셋 명령어를 추출할 수 있다. 일 실시예에 따른 3차원 자막 결정부(230)는, 3차원 자막 오프셋 명령어에 기초하여, 자막 서비스별로 3차원 자막 오프셋 정보를 판독할 수 있다.
또한, 일 실시예에 따른 추출부(220)는, 섹션 테이블 영역의 PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 캡션 서비스 서술자의 예비 영역으로부터, 3차원 자막 오프셋 정보를 추출할 수 있다. 또는 일 실시예에 따른 추출부(220)는, 섹션 테이블 영역의 PMT 영역 및 EIT 영역 중 적어도 하나의 서술자 영역으로부터, 3차원 자막 오프셋 정보를 포함하는 서술자를 추출하고, 서술자로부터 3차원 자막 오프셋 정보를 추출할 수 있다.
일 실시예에 따른 3차원 자막 결정부(230)는, 추출부(220)에 의해 추출된 일 실시예에 따른 3차원 자막 오프셋 정보에 기초하여, 3차원 자막 윈도우의 오프셋을 판독하고, 주시점 자막 윈도우 및 부가시점 자막 윈도우의 위치를 결정할 수 있다. 일 실시예에 따른 3차원 자막 결정부(230)는, 3차원 자막 윈도우의 오프셋으로서, 주시점 자막 윈도우 및 부가시점 자막 윈도우 간의 뎁스, 변이 및 양안 시차 중 적어도 하나, 또는 제로 평면으로부터 주시점 자막 또는 부가시점 자막까지의 뎁스, 변이 및 양안 시차 중 적어도 하나를 판독할 수 있다.
일 실시예에 따른 추출부(220)는, 비트스트림의 자막 서비스 데이터 영역으로부터, 목표 오프셋 정보 및 자막 변환 구간 정보를 포함하는 자막 오프셋 변환 속도 정보를 추출할 수 있다.
일 실시예에 따른 자막 결정부(230)는, 자막 오프셋 변환 속도 정보에 기초하여, 프레임별로 자막 윈도우의 오프셋을 결정하고, 주시점 자막 윈도우 및 부가시점 자막 윈도우의 위치를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 추출부(220)는, 디지털 방송 비트스트림의 비디오스트림의 자막 서비스 데이터 영역으로부터 자막 오프셋 변환 속도 명령어를 추출할 수 있다. 일 실시예에 따른 자막 결정부(230)는, 자막 오프셋 변환 속도 명령어에 기초하여 자막 오프셋 변환 속도 정보를 판독할 수 있다.
일 실시예에 따른 추출부(220)는, 자막 오프셋 변환 속도 정보로부터, 현재 프레임 및 다음 프레임의 자막 윈도우들 간의 오프셋 변화량을 나타내는 정보, 오프셋 변화량의 방향을 나타내는 정보, 목표 오프셋 정보 및 자막 변환이 발생하는 자막 윈도우를 나타내는 자막 변환 윈도우 식별 정보 중 적어도 하나를 추출할 수 있다.
일 실시예에 따른 자막 데이터 재생 형태 결정부(230)는, 오프셋 변화량 정보에 기초하여, 현재 프레임의 오프셋과 다음 프레임의 오프셋 간의 차이를 결정하여, 프레임별 오프셋을 결정할 수 있다. 또한, 일 실시예에 따른 자막 결정부(240)는 자막 변환 구간 정보에 기초하여, 자막 변환이 시작하는 프레임으로부터 완료하는 프레임까지의 프레임 개수를 결정할 수 있다. 일 실시예에 따른 자막 결정부(230)는, 목표 오프셋과 자막 변환이 발생하는 프레임 개수에 기초하여, 프레임별 자막 윈도우의 오프셋을 결정할 수 있다. 또한, 일 실시예에 따른 자막 결정부(230)는, 결정된 프레임별 자막 윈도우의 오프셋에 기초하여, 주시점 자막 윈도우 및 부가시점 자막 윈도우의 위치를 결정할 수 있다.
일 실시예에 따른 추출부(220)는, 비트스트림의 자막 서비스 데이터 영역으로부터 3차원 자막 크기 변환 정보를 추출할 수 있다.
일 실시예에 따른 자막 결정부(230)는 3차원 자막 크기 변환 정보에 기초하여, 자막의 크기를 결정할 수 있다. 자막 크기의 결정 동작은, 자막 윈도우의 크기의 결정 동작 및 자막 폰트 사이즈의 결정 동작 중 적어도 하나를 포함할 수 있다. 이 때 일 실시예에 따른 자막 결정부(240)는, 3차원 자막 크기 변환 정보에 기초하여, 자막 데이터 크기가 변하는 비율을 판독하고, 판독된 비율에 기초하여 자막의 크기를 결정할 수 있다.
일 실시예에 따른 추출부(220)는, 디지털 방송 비트스트림의 비디오스트림의 자막 서비스 데이터 영역으로부터 3차원 자막 크기 변환 명령어를 추출할 수 있다. 이 경우 일 실시예에 따른 자막 결정부(240)는, 3차원 자막 크기 변환 명령어에 기초하여 3차원 자막 크기 변환 정보를 판독하고, 3차원 자막 크기 변환 정보에 기초하여, 자막의 크기를 결정할 수 있다.
일 실시예에 따른 추출부(220)는, 일 실시예에 따른 자막 오프셋 변환 속도 명령어로부터 3차원 자막 크기 변환 정보를 판독하고, 3차원 자막 크기 변환 정보에 기초하여, 자막의 크기를 결정할 수도 있다.
일 실시예에 따른 추출부(220)는, 섹션 테이블 영역의 PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 캡션 서비스 서술자로부터, 비트스트림을 통해 3차원 자막 변환 정보가 전송됨을 나타내는 3차원 자막 전송 정보를 추출할 수 있다.
일 실시예에 따른 추출부(220)는, 3차원 자막 전송 정보에 기초하여, 수신된 비트스트림에, 3차원 자막 전송 정보가 삽입되어 있음을 파악할 수 있다. 따라서 일 실시예에 따른 추출부(220)는, 3차원 자막 전송 정보에 기초하여, 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 및 3차원 자막 크기 변환 정보 등이 비트스트림에 삽입되어 있음을 확인하고, 해당 정보를 추출할 수 있다.
일 실시예에 따른 추출부(220)는, 섹션 테이블 영역의 PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 서술자 영역으로부터, 3차원 자막 정보가 전송됨을 나타내는 3차원 자막 전송 정보를 추출할 수 있다.
일 실시예에 따른 추출부(220)는, 섹션 테이블 영역의 PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역으로부터, 3차원 자막 서비스 블록이 전송됨을 나타내는 3차원 자막 서비스 전송 정보를 추출할 수 있다.
또한, 일 실시예에 따른 추출부(220)는, 섹션 테이블 영역의 PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역으로부터, 3차원 자막 윈도우 명령어가 전송됨을 나타내는 3차원 자막 윈도우 명령어 전송 정보를 추출할 수 있다.
일 실시예에 따른 추출부(220)는, 3차원 자막 전송 정보에 기초하여, 비트스트림에 3차원 자막 변환 정보가 포함되어 있음이 확인되면, 자막 서비스 블록, 자막 윈도우 명령어 및 섹션 테이블 영역 중 적어도 하나로부터 3차원 자막 변환 정보를 추출할 수 있다.
일 실시예에 따른 추출부(220)는, 3차원 비디오 중에서 주시점 비디오 데이터 및 부가시점 비디오 데이터를, 각각 비트스트림의 메인 기본스트림과 서브 기본스트림으로부터 추출할 수 있다.
일 실시예에 따른 추출부(220)는, 메인 기본스트림 및 서브 기본스트림 중 적어도 하나로부터 3차원 자막 전송 정보를 추출하고, 3차원 자막 전송 정보에 기초하여, 3차원 자막 변환 정보가 포함된 기본스트림을 결정하여 그로부터 3차원 자막 변환 정보를 추출할 수 있다.
또한, 일 실시예에 따른 추출부(220)는, 서브 기본스트림만으로부터 3차원 자막 전송 정보를 추출할 수 있다. 일 실시예에 따른 3차원 자막 전송 정보에 기초하여, 서브 기본스트림에 3차원 자막 변환 정보가 포함된 것으로 판독되면 서브 기본스트림으로부터 3차원 자막 변환 정보가 추출될 수 있다. 이 경우에는, 일 실시예에 따른 3차원 자막 전송 정보에 기초하여, 서브 기본스트림에 3차원 자막 변환 정보가 포함되지 않은 것으로 판독되면, 메인 기본스트림에 대해서는 3차원 자막 변환 정보를 검출하지 않으며, 3차원 자막을 재생하는 동작을 수행하지 않는다.
일 실시예에 따른 추출부(220)는, 메인 기본스트림 및 서브 기본스트림 중 모두로부터 3차원 자막 전송 정보가 추출된다면, 주시점 비디오 데이터 및 부가시점 비디오 데이터의 재생 우선권에 기초하여, 3차원 자막 변환 정보가 포함된 기본스트림을 결정하고, 해당 기본스트림으로부터 3차원 자막 변환 정보를 추출할 수 있다.
비디오 화면 상에서, 일 실시예에 따른 자막은 자막 윈도우 내에 표시될 수 있다. 디지털 자막 방송 비트스트림 수신 장치(270)가 자막을 표시하기 위한 복수 개의 자막 윈도우들을 재생하는 경우, 자막 윈도우들 간의 충돌이 발생할 수 있다.
이를 방지하기 위해 일 실시예에 따른 자막 결정부(230)는, 자막 윈도우들의 오프셋들에 기초하여 자막 윈도우들의 3차원 자막 우선권을 결정하고 재생 위치를 결정할 수 있다. 다른 실시예에 따른 자막 결정부(230)는, 2차원 자막 우선권이 앞서는 자막 윈도우에게 높은 3차원 자막 우선권을 부여하고 오프셋을 부가하여 자막 윈도우들의 재생 위치를 결정할 수 있다.
일 실시예에 따른 재생부(250)가, 자막 데이터에 기초하여 자막을 결정하고, 자막 윈도우의 오프셋 또는 3차원 자막 우선권에 기초하여 재생 위치가 결정된 복수 개의 자막 윈도우들 내에 자막을 표시할 수 있다.
일 실시예에 따른 추출부(220)는, CEA-608 자막 데이터가 추출된 경우, 3차원 자막 서비스 블록, 및 PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 캡션 서비스 서술자의 예비 영역 중 하나로부터, 서비스 블록별로 3차원 자막 오프셋 정보를 추출할 수 있다. 또한, 일 실시예에 따른 추출부(220)는, CEA-708 자막 데이터가 추출된 경우, 3차원 자막 서비스 블록, 3차원 자막 오프셋 명령어, 및 PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 캡션 서비스 서술자의 예비 영역 중 하나로부터, 3차원 자막 오프셋 정보를 추출할 수도 있다.
도 3 은 비트스트림(300)의 DTV-CC 자막 데이터의 구조를 도시한다.
DTV 시스템 시그널인 DTV 비트스트림(300)은, 비디오스트림(310), 오디오스트림(320), PMT 영역(380) 및 EIT 영역(390)을 포함한 컨트롤 시그널(380) 등이 다중화되어 형성된다.
비디오 비트스트림(310)의 사용자 데이터 영역(340)을 통해 자막 전송 채널(350)이 전송된다. 자막 전송 채널(350)을 통해, CEA-608에 따른 NTSC 자막 데이터(360)와, CEA-708에 따른 자막 서비스 데이터(371, 373)로 구성되는 자막 채널(370)이 전송된다.
자막 관련 데이터는, 비디오스트림(310)의 사용자 데이터 영역(340), PMT 영역(380) 및 EIT 영역(390)에 포함될 수 있다. 예를 들어, 자막 서비스 데이터(371, 373)는 CEA-708에 따른 자막 텍스트 데이터 및 자막 윈도우 명령어를 포함한다. 예를 들어, PMT 영역(380) 및 EIT 영역(390)를 통해 각각 자막 채널 서비스 디렉토리 정보(385, 395)가 전송될 수 있다. 자막 채널 서비스 디렉토리 정보(385, 395)는 자막 서비스의 유형과 속성을 기술한다.
도 4 는 자막 채널의 프로토콜 모델(400)을 도시한다.
자막 채널의 프로토콜 모델(400)에 기초하여 자막 데이터 채널이 구성되며, 자막 전송의 계층 구조가 기술될 수 있다.
자막 채널 데이터는 전송 계층(Transport Layer, 410), 패킷 계층(Packet Layer, 420), 서비스 계층(Service Layer, 420), 코딩 계층(Coding Layer, 440)과 해석 계층(Interpretation Layer, 450)의 5개의 계층 구조로 구성된다.
전송 계층(Transport Layer, 410)의 DTV 시그널 데이터(415)는 도 3의 DTV 비트스트림의 전송스트림 형태에 상응하며, 비디오스트림(310), 오디오스트림(320), PMT 정보(380) 또는 EIT 정보(390) 등이 다중화되어 DTV 시그널 데이터(415)을 통해 전송된다.
패킷 계층(420)의 DTV CC 데이터 패킷(425)을 통해, 자막 채널 데이터가 패캣의 형태로 전송된다.
서비스 계층(430)의 DTV CC 자막 서비스 블록들(431, 433, 435)은, 자막 서비스 헤더와 자막 서비스 데이터(441, 443, 445)로 구성된다. 자막 서비스 헤더는 자막 데이터 채널 서비스의 개수, 서비스 유형 및 서비스 속성 등에 대한 정보를 포함한다.
코딩 계층(440)에서, DTV CC 자막 서비스 데이터들(441, 443, 445)은, 자막 데이터의 표현 방식을 기술한다. 코드셋 영역 컨트롤, 자막 윈도우 명령어, 자막 문자 및 기호들에 대해 코드 값이 할당된다. 코딩 계층(440)에서 할당된 코드 값은 도 5의 DTV CC 코드셋 테이블에 의해 정의된다.
해석 계층(450)은 DTV CC의 그래픽 사용자 인터페이스를 기술한다. 자막 데이터 및 자막 윈도우 명령어(451, 452, 453, 454, 455, 456)를 이용하여 자막 데이터를 처리하는 방식이 기술된다. 예를 들어 해석 계층(450)에서, 자막이 표시되기 위한 자막 윈도우를 생성하는 방법, 자막이 기울임체로 표시되어야 할 때 문자가 겹치지 않도록 빈자(space)를 전송하는 방법 등이 기술된다.
도 5 는 CEA-708에 따른 DTV CC 코드셋 테이블을 도시한다.
DTV CC의 코드셋 테이블은, 4개의 코드 그룹, 즉 CL, CR, GL, GR 그룹으로 분류된다. CL 그룹은 C0 그룹(510)과 C2 그룹(530)을 포함하고, GL 그룹은 G0 그룹(550)과 G2(570)을 포함하며, CR 그룹은 C1 그룹(520)과 C3 그룹(540)을 포함하고, 그리고 GR 그룹은 G1 그룹(560)과 G3 그룹(580)을 포함한다.
CL 그룹과 CR 그룹은 컨트롤 코드를 할당하기 위한 영역이며, GL 그룹과 GR 그룹은 문자 및 아이콘을 할당하기 위한 영역이다.
CL 그룹과 CR 그룹 중에서, C0 그룹(510)에 아스키(ASCII) 컨트롤 코드의 서브셋 코드들이 할당되며, C1 그룹(520)에 자막 컨트롤 코드가 할당된다. C2 그룹(530)은 각종 컨트롤 코드가 할당되기 위한 예비 영역이며, C3 그룹(540)도 컨트롤 코드 셋을 위한 예비 영역이다.
도 6 은 PMT 영역 또는 EIT 영역의 캡션 서비스 서술자의 신택스를 도시한다.
디지털 방송을 통해 자막 서비스가 제공되는 경우, 자막 전송 채널을 통해 자막 데이터가 전송되고, PMT 영역 또는 EIT 영역을 통해 자막 서비스 서술자(Caption Service Descriptor)가 전송된다.
자막 서비스 서술자는, 각각의 자막 서비스마다, 자막 타입(Caption Type) 'cc_type'(620), 언어 코드 'language'(610)와 같은 자막 정보를 기술한다.
예를 들어 'cc_type'(620) 값이 '1'이면 CEA-708에 따른 디지털 텔레비전 폐쇄 자막 서비스가 제공됨을 나타내며, '0'이면 NTSC CC 자막 서비스가 제공됨을 나타낸다.
도 7 은 비디오 오프셋과 자막 윈도우 오프셋의 그래프들을 도시한다.
시간 흐름에 따라 비디오 뎁스(710)가 변하는 경우, 비디오 뎁스(710)에 기초하여 자막 윈도우의 뎁스(750, 760, 770)도 변동될 수 있다. 하지만, 비디오 뎁스(710)의 증감에 기초하여, 시간 t1에 자막 윈도우의 뎁스가 제 1 뎁스(750)로부터 제 2 뎁스(760)로 급격하게 증가하고, 시간 t2에 다시 제 3 뎁스(770)로 급격하게 감소하여, 자막 윈도우의 뎁스가 급격히 변동하는 경우 , 자막 윈도우의 뎁스의 급격한 변화가 발생하는 변동하는 시간 t1 또는 t2로부터 소정 시간 동안은, TV 사용자는 시각적으로 어색함을 느끼고 심한 경우 피로감을 느껴 TV 시청에 불편을 겪을 수 있다.
도 8 은 3차원 자막에서 객체와 자막 윈도우 간에 뎁스가 역전되는 현상을 도시한다.
또한, 디지털 TV의 화면(800)에서 3차원 비디오가 재생될 때, 객체(820)와 자막 윈도우(810)가 동시에 재생되는 경우, 자막 윈도우(810)가 객체(820)보다 TV 사용자(850) 쪽으로 돌출되어야 한다. 하지만, 디지털 TV의 화면(800)의 제로 평면(805)으로부터 객체(820)까지의 뎁스(825)가 자막 윈도우(810)까지의 뎁스(815)보다 큰 경우, TV 사용자(850)에게 객체(820)와 자막 윈도우(810)가 겹쳐보이는 구간(830)에서 뎁스 역전 현상이 발생하여, TV 사용자(850)는 시각적으로 어색함을 느낄 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 3차원 자막 변환 정보로서, 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보, 3차원 자막 전송 정보 등을 결정하여, 자막 데이터와 3차원 자막 변환 정보를 포함하는 비트스트림을 생성할 수 있다.
일 실시예에 따른 디지털 방송 스트림 수신 장치(200, 270)는, 수신된 비트스트림으로부터 자막 데이터와 함께 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보, 3차원 자막 전송 정보 등을 포함하는 3차원 자막 변환 정보를 추출할 수 있다. 일 실시예에 따른 디지털 방송 스트림 수신 장치(200, 270)는, 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보를 이용하여, 3차원 자막을 위한 자막 윈도우의 위치, 크기 등을 결정할 수 있다.
디지털 방송 스트림 수신 장치(270)는, 결정된 자막 윈도우의 위치, 크기 등에 기초하여, 자막 데이터를 3차원 자막으로 재생할 수 있다.
이하, 도 9 내지 24를 참조하여, 자막 서비스를 제공하는 디지털 방송 서비스를 제공하기 위해, 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)가 3차원 자막 변환 정보를 결정하여 자막 데이터와 함께 전송하는 동작과, 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)가 자막 데이터와 함께 3차원 자막 변환 정보를 수신하는 동작, 그리고 디지털 자막 방송 비트스트림 수신 장치(270)가 자막 데이터와 3차원 자막 변환 정보를 이용하여 3차원 자막을 재생하는 동작에 대해 상술한다.
특히, 도 9 내지 도 14를 참조하여 3차원 자막 오프셋 정보를, 도 15 내지 18을 참조하여 3차원 자막 크기 변환 정보를, 도 19 내지 도 21을 참조하여 3차원 자막 크기 변환 정보를 이용하는 실시예들이 상술된다.
설명의 편의를 위해 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)와 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)가 자막 포맷으로 클로즈드 캡션을 이용하는 실시예를 위주로 상술된다. 하지만 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)와 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)가 3차원 자막 변환 정보의 사용례 및 동작 원리가 클로즈드 캡션에 한정되는 것은 아니다.
일 실시예에 따른 3차원 자막 오프셋 정보의 자막 오프셋은, 자막 데이터를 3차원 자막으로 재생하기 위하여 필요한 주시점 자막 및 부가시점 자막 간의 뎁스, 변이 및 양안 시차 중 적어도 하나를 포함할 수 있다. 또는 자막 오프셋은 제로 평면으로부터의 주시점 자막 또는 부가시점 자막까지의 뎁스, 변이 및 양안 시차 중 적어도 하나를 포함할 수도 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는 3차원 자막 오프셋 정보를 서비스 블록, 자막 윈도우 명령어 및 캡션 서비스 서술자 중 적어도 하나의 형태로 결정할 수 있다.
도 9 은 일 실시예에 따른 3차원 자막 오프셋 정보를 전송하기 위한 서비스 블록을 도시한다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 3차원 자막 오프셋 정보를 포함하는 3차원 자막 서비스 블록(937)을 생성할 수 있다. 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 3차원 자막 서비스 블록(937)을 DTV 시그널 데이터(915)의 픽처 사용자 데이터 영역에 삽입할 수 있다.
DTV-CC 자막 데이터의 프로토콜 모델(900)은, 도 4의 DTV-CC 자막 데이터의 프로토콜 모델(400)에 추가적으로, 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)가 생성한 3차원 자막 서비스 블록(937)을 포함한다. DTV CC 데이터 패킷(925) 및 DTV 시그널 데이터(915)를 통해, 2차원 자막 데이터를 포함하는 DTV CC 자막 서비스 블록들(431, 433, 435)과 함께 3차원 자막 서비스 블록(937)이 전송될 수 있다.
표 1 은, 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)에 의해 생성될 수 있는 DTV CC 자막 서비스의 일례를 도시한다.
Services
CEA-608 CC1 (default)
CC2
CC3
CC4
CEA-708 Service1 (default)
...
Service5
Service6
3D 3D_service
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, DTV CC 자막 데이터를 복수 개의 자막 서비스 블록 형태로 생성할 수 있다. CEA-608에 따르는 2차원 자막 데이터 'CC1', 'CC2', 'CC3', 'CC4'를 포함하는 자막 서비스 블록들, CEA-708에 따른 자막 서비스 'Service1', ..., 'Service5', 'Service6'를 포함하는 자막 서비스 블록들을 전송할 수 있다.
또한 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 일 실시예에 따른 3차원 자막 변환 정보를 포함하는 3차원 자막 서비스 블록(937)을 서비스 블록 '3D_service'의 형태로 전송할 수 있다. 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 자막 서비스 블록들 중에서, 확장된 서비스 번호가 7 내지 63인 예비 자막 서비스 블록들 중 하나에, 3차원 자막 서비스 블록(937)을 할당할 수 있다.
디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 수신된 DTV 시그널 데이터(915)를 역다중화하여, 픽처 사용자 데이터 영역으로부터 DTV CC 자막 서비스 블록들(431, 433, 435)과 3차원 자막 서비스 블록(937)을 추출할 수 있다. 디지털 자막 방송 비트스트림 수신 장치(270)는, DTV CC 서비스 블록들(431, 433, 435) 중 하나를 선택하여 자막 데이터를 추출하고 자막을 재생할 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 3차원 자막 서비스 블록(937)의 3차원 자막 오프셋 정보에 기초하여 자막의 뎁스, 변이 또는 양안시차 등의 오프셋을 판독하여, DTV CC 자막 서비스 블록들(431, 433, 435) 중 재생하기로 선택한 자막 서비스 블록의 2차원 자막 데이터에 오프셋을 부가하여 주시점 자막 윈도우 및 부가시점 자막 윈도우의 위치를 결정할 수 있다.
기존 2차원 방송 수신기는, 일 실시예에 따른 3차원 자막 서비스 블록을 인식할 수 없으므로, 일 실시예에 따른 3차원 자막 변환 정보를 판독할 수 없다. 따라서 기존 2차원 방송 수신기는, 일 실시예에 따른 3차원 자막 서비스 블록을 무시하고, 다른 자막 서비스 블록의 2차원 자막 데이터를 이용하여 2차원 자막을 재생할 수 있다. 따라서 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100) 및 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)가, 방송 비트스트림을 통해 일 실시예에 따른 3차원 자막 변환 정보를 송수신하더라도, 기존 2차원 비디오 수신기의 2차원 자막 재생 기능이 보장되므로, 기존 2차원 자막 시스템에 대한 하위 호환성이 보장될 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 비트스트림의 자막 서비스 데이터를 통해 CEA-708에 기초한 자막 윈도우 명령어를 전송할 수 있다. 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 자막 윈도우 명령어 형식에 기초하여, 3차원 자막 오프셋 정보를 설정하기 위한 3차원 자막 오프셋 명령어를 결정할 수 있다. 일 실시예에 따른 3차원 자막 오프셋 명령어는, 자막 서비스별로 3차원 자막 오프셋 정보를 지정하도록 할 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 도 5를 참조하여 전술한 DTV CC 코드셋 테이블 중 C0 그룹(510)의 EXT1 코드를 이용하여, 3차원 자막 오프셋 명령어를 결정할 수 있다.
도 10 은 일 실시예에 따른 3차원 자막 오프셋 명령어를 도시한다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 일 실시예에 따른 3차원 자막 오프셋 명령어 'SetBaseDepth'를 정의할 수 있다. 3차원 자막 오프셋 명령어 'SetBaseDepth'의 커맨드 코드(Command Code)는, "EXT1 + 0x08 + <data>"의 형식으로 2바이트 코드로 정의될 수 있다.
3차원 자막 오프셋 명령어 'SetBaseDepth'의 명령어 포맷은 'SetBaseDepth(Base Offset Sign, Base Offset)'일 수 있다. 3차원 자막 오프셋 명령어 'SetBaseDepth'의 파라미터는, 기본 오프셋 방향(base offset sign)을 나타내는 파라미터 'bos'과 기본 오프셋(base offset)을 나타내는 파라미터 'bof'를 포함할 수 있다.
파라미터 'bos'는, 주시점 자막 윈도우와 부가시점 자막 윈도우 간의 오프셋이 음(-) 방향 또는 양(+) 방향의 양안 시차인지여부를 나타낼 수 있다.
파라미터 'bof'는, 주시점 자막 윈도우와 부가시점 자막 윈도우 간의 오프셋 또는 간격을 나타낼 수 있다.
따라서, 일 실시예에 따른 3차원 자막 오프셋 명령어 'SetBaseDepth'에 의해 자막 데이터의 종류와 상관없이 주시점 자막 윈도우와 부가시점 자막 윈도우 간의 오프셋이 제공될 수 있다. 일 실시예에 따른 3차원 자막 오프셋 명령어 'SetBaseDepth'의 전송 주기를 프레임 레이트를 기준으로 설정할 수 있다. 예를 들어, 한 주기의 프레임 레이트에서 소정 개수의 연속 프레임들이 포함되는 프레임 구간마다 3차원 자막 오프셋 명령어가 전송될 수 있다면, 프레임 구간의 모든 프레임들에 대해 동일한 오프셋이 적용될 수 있다. 3차원 자막 오프셋 명령어 'SetBaseDepth'의 전송 주기를, 한 주기의 프레임 레이트 내에서 가능한 최장 프레임 구간으로 설정할 수도 있다.
디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 비트스트림의 자막 서비스 데이터 영역으로부터 3차원 자막 오프셋 명령어를 추출할 수 있다. 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 3차원 자막 오프셋 명령어에 기초하여, 현재 자막 서비스의 3차원 자막 오프셋 정보를 판독할 수 있다. 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 3차원 자막 오프셋 명령어를 이용하여, 주시점 자막 윈도우와 부가시점 자막 윈도우 간의 오프셋 방향 및 오프셋을 판독하고, 3차원 자막을 위한 주시점 자막 윈도우 및 우시점 자막 윈도우의 위치를 결정할 수 있다.
또한 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 3차원 자막 전송 정보를 결정하여, PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 캡션 서비스 서술자에 삽입하여 전송할 수도 있다.
일 실시예에 따른 3차원 자막 전송 정보는, 3차원 자막 서비스 블록이 전송됨을 나타내는 3차원 자막 서비스 블록 전송 정보, 3차원 자막 윈도우 명령어가 전송됨을 나타내는 3차원 자막 윈도우 명령어 전송 정보를 포함할 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 3차원 자막 서비스 블록 전송 정보 및 3차원 자막 윈도우 명령어 전송 정보 중 적어도 하나를 결정하여, 도 6을 참조하여 전술한 캡션 서비스 서술자의 예비 영역(650, 660, 670)에 삽입할 수 있다.
예를 들어, 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 캡션 서비스 서술자의 제 1 예비 영역(650)에 3차원 자막 서비스 블록 전송 정보 'flag_3D'를 삽입할 수 있다. 현재 비트스트림이 2차원 자막 데이터만 포함하면 'flag_3D' 값은 0으로 설정되고, 현재 비트스트림이 3차원 자막 데이터를 포함하거나 3차원 자막 서비스 블록을 포함한다면 'flag_3D' 값은 1로 설정될 수 있다.
예를 들어, 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 캡션 서비스 서술자의 제 3 예비 영역(670)에 3차원 자막 윈도우 명령어 전송 정보 '3D_708_CC'를 삽입할 수 있다. 현재 CEA-708 자막 스트림이 3차원 자막 윈도우 명령어를 포함하면 '3D_708_CC' 값은 0으로 설정되고, 현재 CEA-708 자막 스트림이 3차원 자막 윈도우 명령어를 포함하지 않는다면 '3D_708_CC' 값은 1로 설정될 수 있다.
따라서, 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, PMT 영역 또는 EIT 영역의 캡션 서비스 서술자의 예비 영역(650)으로부터 3차원 자막 서비스 블록 전송 정보를 추출하여, 현재 비트스트림이 3차원 자막 서비스 블록을 포함하고 있는지 판독하고, 판독 결과에 기초하여 3차원 자막 서비스 블록을 추출하여 해석할지 여부가 결정될 수 있다.
또한, 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 캡션 서비스 서술자의 예비 영역(670)으로부터 3차원 자막 윈도우 명령어 전송 정보를 추출하여, 현재 CEA-708 자막 스트림이 3차원 자막 윈도우 명령어를 포함하고 있는지 판독하고, 판독 결과에 기초하여 3차원 자막 윈도우 명령어를 추출하여 해석할지 여부가 결정될 수 있다.
따라서, 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 디지털 방송 스트림의 비디오 스트림이 아닌, PMT 영역 레벨에서 3차원 자막 전송 정보를 추출하여 3차원 자막 정보의 존재를 미리 확인하고 3차원 자막을 재생하여야 하는지 확인할 수 있다.
도 11 및 12 는 각각 일 실시예에 따른 3차원 자막 서비스 블록 및 일 실시예에 따른 3차원 자막 오프셋 명령어를 이용하여 3차원 자막 윈도우를 결정하는 실시예를 도시한다.
일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)가 현재 비트스트림으로부터 3차원 자막 서비스 블록 '3D_service'(1130)을 추출한 경우, 3차원 자막 서비스 블록(1130)으로부터 기본 오프셋 정보(1150)를 판독할 수 있다.
일 실시예에 따른 3차원 자막 서비스 블록 '3D_service'(1130)의 전송 주기는 임의로 설정될 수 있다. 예를 들어, 프레임 레이트 내에서 소정 개수의 연속 프레임들을 포함하는 프레임 구간을 주기로, 3차원 자막 서비스 블록 '3D_service'(1130)가 수신될 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, CEA-608 자막 데이터(1110) 또는 CEA-708 자막 데이터(1120)의 자막 데이터 종류와 상관없이 자막 윈도우(1140)를 생성할 수 있다. 또한 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 자막 윈도우(1140)에 기본 오프셋 정보(1150)를 적용하여, 주시점 자막 윈도우 및 부가시점 자막 윈도우의 위치를 결정함으로써 3차원 자막 윈도우(1160)를 결정할 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)가 CEA-708 자막 데이터(1210)를 수신한 경우, CEA-708 자막 데이터(1210)의 자막 윈도우(1220)를 생성하고, 3차원 자막 윈도우 명령어(1230)를 분석하여, 현재 자막 서비스의 자막 윈도우별로 오프셋 정보를 판독할 수 있다. 즉, 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 3차원 자막 윈도우 명령어(1230)로부터 현재 자막 서비스의 현재 자막 윈도우(1220)를 위한 오프셋 정보를 판독할 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 현재 자막 서비스의 현재 자막 윈도우(1220)를 위한 오프셋 정보에 기초하여, 현재 3차원 자막 윈도우(1240)의 주시점 자막 윈도우 및 부가시점 자막 윈도우의 위치를 결정할 수 있다.
도 13 은 일 실시예에 따른 3차원 자막 오프셋 정보를 이용하여 자막 데이터를 3차원 자막으로 재생하기 위한 비디오 디코딩 시스템(1300)의 블록도를 도시한다.
일 실시예에 따른 비디오 디코딩 시스템(1300)은 디지털 자막 방송 비트스트림 수신 장치(270)에 상응할 수 있다. 일 실시예에 따른 비디오 디코딩 시스템(1300)은 MPEG-2 전송스트림을 수신하여 비디오를 복원하고 재생할 수 있다.
입력된 MPEG-2 전송스트림은, MPEG 역다중화기(MPEG Demux, 1310)를 통하여 비디오 스트림, PMT 정보, EIT 정보로 역다중화된다.
비디오 스트림은 비디오 파서(Video Parser, 1320)로 전달되어, 비디오 파서(Video Parser, 1320)는 비디오 스트림을 파싱하여, MPEG-2 기반으로 부호화된 비디오 데이터와 사용자 데이터를 추출할 수 있다. 비디오 파서(Video Parser, 1320)로부터 파싱된 사용자 데이터가 DTV CC 디코더(1360)로 전달될 수 있다.
MPEG-2 전송스트림으로부터 추출된 PMT 정보와 EIT 정보는, 각각 PMT 버퍼(1330)와 EIT 버퍼(1335)에 저장된다. 사용자 프로세서(1340)는, PMT 정보와 EIT 정보로부터 3차원 자막 서비스 블록 전송 정보 'flag_3D'와 3차원 자막 윈도우 명령어 전송 정보 '3D_708_CC'를 판독하여 현재 비트스트림에 3차원 자막 서비스 블록 또는 3차원 자막 윈도우 명령어가 포함되어 있는지 확인할 수 있다. DTV CC 디코더(1360)는 비디오 파서(1320)로부터 파싱된 사용자 데이터로부터 CEA 608 자막 데이터(1362), CEA 708 자막 데이터(1364) 및 3차원 자막 정보 서비스 블록 '3D_service'(1366)을 추출할 수 있다.
MPEG-2 비디오 디코더(1350)는, MPEG-2 기반으로 부호화된 비디오 데이터를 복호화하여 프로그램 비디오를 복원하고, 비디오 합성부(Video Combiner, 1370)에게 출력할 수 있다. 특히, 3차원 비디오의 주시점 비디오 및 부가시점 비디오가 ㅂ복원될 수 있다.
또한 사용자 프로세서(1340)는, 각종 섹션 테이블로부터 각종 부가 정보를 추출하고, 사용자 그래픽 처리부(1380)는 섹션 테이블의 부가 정보를 이용하여 GUI 스크린을 생성하여 비디오 합성부(1370)에게로 출력할 수 있다.
비디오 합성부(Video Combiner, 1370)는, 자막 데이터(1362 또는 1364)와 3차원 자막 서비스 블록을 이용하여, 비디오 화면 상에 자막이 표시되기 위한 자막 윈도우의 위치를 결정하고, 자막 데이터(1362 또는 1364)를 이용하여 자막을 생성하고 자막 윈도우 내에 자막을 표시할 수 있다.
특히 3차원 자막 서비스 블록(1366)의 3차원 자막 변환 정보에 기초하여 자막 데이터(1362 또는 1364)의 3차원 재생 형태가 결정될 수 있다. 따라서 3차원 자막 변환 정보에 기초하여, 자막이 표시되는 주시점 자막 윈도우와 부가시점 자막 윈도우의 위치, 자막의 폰트 크기 등이 결정될 수 있다. 비디오 합성부(1370)는, 주시점 자막 윈도우와 부가시점 자막 윈도우를 각각 주시점 비디오와 부가시점 비디오와 합성할 수 있다. 또한, 비디오 합성부(1370)는, GUI 스크린을 비디오와 합성할 수도 있다.
비디오 복원부(1390)는 비디오 합성부(1370)에 의해 출력된, 자막, 비디오, GUI 스크린이 합성된 비디오 픽처들을 수신하여 비디오 시퀀스를 복원하고 출력할 수 있다. 3차원 비디오 시퀀스가 3차원 자막과 함께 복원된 경우, 3차원 비디오의 재생과 함께 3차원 자막이 재생될 수 있다.
도 14 는 일 실시예에 따른 3차원 자막 오프셋 정보를 이용하여 자막을 재생하는 방법의 흐름도(1400)를 도시한다.
단계 1410에서, 디지털 자막 방송 비트스트림 수신 장치(200, 270)는 캡션 서비스 서술자 'caption_service_descriptor'로부터 3차원 자막 정보를 추출할 수 있다. 예를 들어, 캡션 서비스 서술자로부터 일 실시예에 따른 3차원 자막 서비스 블록 전송 정보 'flag_3D'와 3차원 자막 윈도우 명령어 전송 정보 '3D_708_CC'가 추출될 수 있다.
먼저 단계 1420에서, 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 3차원 자막 서비스 블록 전송 정보 'flag_3D'에 기초하여 현재 비트스트림에 3차원 자막 서비스 블록 '3D_service'가 포함되어 있는지 결정할 수 있다. 현재 비트스트림에 3차원 자막 서비스 블록 '3D_service'가 포함되어 있지 않는 것으로 판단되면, 단계 1430으로 진행하여 자막 데이터를 이용하여 2차원 자막을 생성할 수 있다.
단계 1420에서, 현재 비트스트림에 3차원 자막 서비스 블록 '3D_service'가 포함되어 있는 것으로 판단되면, 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 3차원 자막 윈도우 명령어 전송 정보 '3D_708_CC'에 기초하여, 현재 자막 서비스 데이터에 차원 자막 윈도우 명령어가 포함되어 있는지 결정할 수 있다. 현재 자막 서비스 데이터에 차원 자막 윈도우 명령어가 포함되어 있지 않은 것으로 판단되면, 단계 1430으로 분기한다.
단계 1430에서, 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 3차원 자막 서비스 블록 '3D_service'의 3차원 자막 오프셋 정보를 판독하여, 자막을 표시할 주시점 자막 윈도우와 부가시점 자막 윈도우의 위치를 결정하여 3차원 자막을 생성할 수 있다.
단계 1420에서 현재 자막 서비스 데이터에 차원 자막 윈도우 명령어가 포함된 것으로 판단되면, 단계 1460으로 진행하여 자막 데이터 중 CEA-608 자막 데이터가 활성화되어 있는지 여부가 확인될 수 있다.
CEA-608 자막 데이터가 활성화된 것으로 판단되면, 단계 1470에서 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 3차원 자막 서비스 블록 '3D_service'의 3차원 자막 오프셋 정보를 판독하여, 3차원 자막을 표시할 주시점 자막 윈도우와 부가시점 자막 윈도우의 위치를 결정할 수 있다.
CEA-608 자막 데이터가 활성화되지 않은 것으로 판단되면, 단계 1480에서, CEA-708 자막 윈도우 명령어를 분석하여 CEA-708 자막 데이터에 적용할 수 있다. 즉 CEA-708 자막 서비스 데이터로부터, 3차원 자막 오프셋 명령어와 CEA-708 자막 데이터를 추출하여, CEA-708 자막 데이터에 3차원 자막 오프셋을 적용하여 3차원 자막을 생성할 수 있다.
또한, 자막 서비스 블록 또는 자막 윈도우 명령어를 통해 3차원 자막 오프셋 정보를 전송하는 실시예 뿐만 아니라, 일 실시예에 따른 디지털 자막 방송 스트림 생성 장치(100)는, 섹션 테이블 영역의 PMT 영역, 또는 EIT 영역의 캡션 서비스 서술자의 예비 영역을 통해 3차원 자막 오프셋 정보를 전송할 수도 있다. 표 2 는 캡션 서비스 서술자의 예비 영역(670)에 삽입 가능한 3차원 자막 오프셋 정보를 포함한 구문을 예시한다.
Syntax
If(caption_service_number == 3D_service){
base_offset_sign
base_offset
}
reserved
즉, 3차원 자막 오프셋 정보로서, 기본 오프셋 방향 정보 'base_offset_sign' 및 기본 오프셋 값 'base_offset'이 설정될 수 있다.
또한, 일 실시예에 따른 디지털 자막 방송 스트림 생성 장치(100)는, 표 2의 3차원 자막 오프셋 정보를 포함하는 별도의 서술자를 생성하여, 섹션 테이블 영역의 PMT 영역, EIT 영역의 서술자 영역을 통해 3차원 자막 오프셋 정보를 전송할 수도 있다.
따라서, 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, PMT 영역 또는 EIT 영역의 캡션 서비스 서술자의 예비 영역(650)으로부터 3차원 자막 서비스 블록 전송 정보를 추출하거나, PMT 영역 또는 EIT 영역의 서술자 영역으로부터 3차원 자막 오프셋 정보를 포함하는 서술자를 추출하여, 현재 비트스트림이 3차원 자막 서비스 블록을 포함하고 있는지 판독하고, 3차원 자막 서비스 블록을 추출하여 해석할지 여부를 결정할 수 있다.
또한, 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 캡션 서비스 서술자의 예비 영역(650)으로부터 추출된 3차원 자막 서비스 블록 전송 정보에 기초하여, 현재 비트스트림이 3차원 자막 서비스 블록을 포함하고 있다고 판독되면, 자막 서비스 식별 번호 'caption_service_number'가 '3D_service'인 자막 서비스를 위한 예비 영역(670)으로부터 기본 오프셋 방향 정보 'base_offset_sign' 및 기본 오프셋 값 'base_offset'을 추출하여, 3차원 자막을 위한 자막 윈도우의 오프셋 방향 및 오프셋 값을 판독할 수 있다.
따라서 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 디지털 방송 스트림의 비디오 스트림이 아닌, PMT 영역 레벨에서 3차원 자막 정보를 추출하여 3차원 자막의 존재를 확인하고 3차원 자막의 오프셋 정보를 판독할 수 있다.
일 실시예에 따른 자막 오프셋 변환 속도 정보는, 현재 프레임 및 다음 프레임의 자막 윈도우들 간의 오프셋 변화량을 나타내는 정보, 오프셋 변화량의 방향을 나타내는 정보, 목표 오프셋 정보 및 자막 변환이 발생하는 자막 윈도우를 나타내는 자막 변환 윈도우 식별 정보 중 적어도 하나를 포함할 수 있다. 일 실시예에 따른 3차원 자막을 위한 오프셋 변화량 정보는, 현재 프레임의 자막 오프셋과 다음 프레임의 자막 오프셋 간의 차이를 나타낼 수 있다. 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는 자막 오프셋 변환 속도 정보를 자막 윈도우 명령어 형태로 결정할 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 자막 오프셋 변환 속도 정보를 설정하기 위한 자막 오프셋 변환 속도 명령어를 결정할 수 있다.
예를 들어, 도 5를 참조하여 전술한 DTV CC 코드셋 테이블 중 컨트롤 코드의 예비 영역인 C2 그룹(530)의 3 바이트 코드 영역에, 자막 오프셋 변환 속도 명령어가 할당될 수 있다. 일 실시예에 따른 자막 오프셋 변환 속도 명령어는, 현재 자막 서비스의 자막 윈도우별로 자막 오프셋 변환 속도 정보를 설정할 수 있다.
도 15 는 일 실시예에 따른 자막 오프셋 변환 속도 명령어를 도시한다.
일 실시예에 따른 자막 오프셋 변환 속도 명령어 'DisparityStep'의 명령어 포맷은 'DisparityStep( Window_id, Target disparity sign, Step size, Target disparity)'일 수 있다. 일 실시예에 따른 자막 오프셋 변환 속도 명령어 'DisparityStep'의 파라미터는, 자막 윈도우를 식별하기 위한 파라미터 'Window_id', 자막 윈도우의 목표 오프셋 방향을 나타내는 파라미터 'Target disparity sign', 현재 프레임과 다음 프레임의 자막 윈도우들의 오프셋들 간의 변화량을 나타내는 파라미터 'Step size', 자막 윈도우의 목표 오프셋을 나타내는 파라미터 'Target disparity'를 포함할 수 있다.
일 실시예에 따른 자막 오프셋 변환 속도 명령어 'DisparityStep'의 커맨드 코드는 DTV CC 코드셋 테이블의 확장 코드 영역 중 코드 0x12로 할당될 수 있다.
파라미터 'Window_id'는, 자막 윈도우의 고유 식별자를 나타내며, 3비트(id0, id1, id2)로 할당될 수 있다.
파라미터 'Target disparity sign'는, 목표 오프셋의 방향이 음(-) 또는 양(+) 방향인지 여부를 나타내므로, 1비트(Traget disparity sign)로 할당될 수 있다.
파라미터 'Target disparity'는 자막 윈도우의 목표 오프셋으로서, 자막의 오프셋이 증가하거나 감소하여 목표 오프셋에 도달하면 더 이상 오프셋이 변동하지 않는다. 파라미터 'Target disparity'는 8비트(dis0, dis1, dis2, dis3, dis4, dis5, dis6, dis7)로 할당될 수 있다.
파라미터 'Step size'는 현재 프레임과 다음 프레임의 자막 윈도우들 간의 오프셋 변화량으로서, 다음 프레임의 자막 윈도우의 오프셋을 결정하기 위해 현재 프레임의 자막 윈도우의 오프셋에 부가되는 변화량을 나타낼 수 있다. 파라미터 'Step size'는 4비트(st0, st1, st2, st3)로 할당될 수 있다.
도 16 는 일 실시예에 따른 자막 오프셋 변환 속도 정보를 이용한 3차원 자막의 오프셋 변화 그래프를 도시한다.
도 15를 참조하여 전술된 자막 오프셋 변환 속도 명령어 'DisparityStep'는 현재 프레임의 자막 윈도우와 다음 프레임의 자막 윈도우 간의 오프셋의 변화량과 목표 오프셋을 설정할 수 있다.
예를 들어, 시간 1610에서, 첫번째 자막 오프셋 변환 속도 명령어 'DisparityStep'가, 목표 오프셋 방향을 '+'로, 오프셋 변화량을 '1'로, 목표 오프셋을 '10'으로 지정할 수 있다. 첫번째 자막 오프셋 변환 속도 명령어 'DisparityStep'에 따라, 프레임마다 자막 윈도우의 오프셋이 '1'씩 증가하고, '10'에 도달할 때까지 오프셋이 증가할 수 있다.
시간 1620에서, 오프셋이 '10'에 도달하면 첫번째 자막 오프셋 변환 속도 명령어 'DisparityStep'에 따른 자막 오프셋의 변화는 더 이상 발생하지 않는다. 이에 따라 두번째 자막 오프셋 변환 속도 명령어 'DisparityStep'가 발생할 수 있다. 두번째 자막 오프셋 변환 속도 명령어 'DisparityStep'는, 목표 오프셋 방향을 '+', 오프셋 변화량을 '2'로, 목표 오프셋을 '30'으로 설정할 수 있다. 두번째 자막 오프셋 변환 속도 명령어 'DisparityStep'에 따라, 프레임마다 자막 윈도우의 오프셋이 '2'씩 증가하고, '30'에 도달할 때까지 오프셋이 증가할 수 있다.
시간 1630에서, 오프셋이 '30'에 도달하면 두번째 자막 오프셋 변환 속도 명령어 'DisparityStep'에 의한 자막 오프셋 변환이 중단되고, 세번째 자막 오프셋 변환 속도 명령어 'DisparityStep'가 발생한다. 세번째 자막 오프셋 변환 속도 명령어 'DisparityStep'는 목표 오프셋 방향을 '-'으로, 오프셋 변화량을 '2'로, 목표 오프셋을 '10'으로 설정할 수 있다. 세번째 자막 오프셋 변환 속도 명령어 'DisparityStep'에 따라, 프레임마다 자막 윈도우의 오프셋이 '2'씩 감소하고, '10'에 도달할 때까지 오프셋이 감소할 수 있다.
시간 1640에서, 오프셋이 '10'에 도달하면 세번째 자막 오프셋 변환 속도 명령어 'DisparityStep'에 의한 자막 오프셋 변환은 중단되고, 네번째 자막 오프셋 변환 속도 명령어 'DisparityStep'가 발생한다. 네번째 자막 오프셋 변환 속도 명령어 'DisparityStep'는 목표 오프셋 방향을 '-'으로, 오프셋 변화량을 '1'로, 목표 오프셋을 '0'으로 설정할 수 있다.
네번째 자막 오프셋 변환 속도 명령어 'DisparityStep'에 따라, 프레임마다 자막 윈도우의 오프셋이 '1'씩 감소하여, 시간 1650에서 오프셋이 '0'에 도달하면 네번째 자막 오프셋 변환 속도 명령어 'DisparityStep'에 의한 자막 오프셋 변환이 중단될 수 있다.
따라서 일 실시예에 따른 자막 오프셋 변환 속도 명령어 'DisparityStep'에 기초하여, 프레임 순서 또는 시간 흐름에 따른 자막 오프셋이 곡선(1600)에 따라 완만하게 변경되므로, 2차원 자막과 3차원 자막 간의 변환이 자연스럽게 발생될 수 있다.
일 실시예에 따른 자막 오프셋 변환 속도 명령어 'DisparityStep'에 기초한 자막 윈도우의 오프셋의 변동 프로세스를 아래 신택스에 따를 수 있다.
DisparityStep 자막 윈도우 명령어에 따른 process
For( j=0; j < window count; j++){
While( disparity[j][i] < target disparity[j]){
disparity[j][i+1] = disparity[j][i] + step;
i++;
}
}
자막 오프셋 변환 속도 명령어 'DisparityStep'는 자막 윈도우별로 오프셋을 설정할 수 있다. j는 자막 윈도우의 식별 번호이며, i는 시간 순서에 따른 프레임의 식별 번호를 나타낸다. 현재 i번째 프레임의 자막 윈도우 오프셋 'disparity[j][i]'에 오프셋 변화량 'step'이 더해짐으로써, 다음 (i+1)번째 프레임의 자막 윈도우 오프셋 'disparity[j][i+1]'이 결정될 수 있다. j번째 자막 윈도우에 대해, 목표 오프셋 'target disparity[j]'가 설정되고, 현재 i번째 프레임의 자막 윈도우 오프셋 'disparity[j][i]'가 목표 오프셋 'target disparity[j]'에 도달할 때까지 i가 증가하면서, 연속적인 프레임들의 오프셋들이 변화할 수 있다. 일 실시예에 따른 자막 오프셋 변환 속도 명령어 'DisparityStep'에 기초한 자막 윈도우의 오프셋의 변동 프로세스를 도 17에서 도식화하고 있다.
도 17 은 일 실시예에 따른 자막 오프셋 변환 속도 정보를 이용한 3차원 자막 처리 화면을 도시한다.
i번째 좌시점 프레임(1701), (i+1)번째 좌시점 프레임(1703), (i+2)번째 좌시점 프레임(1705), (i+3)번째 좌시점 프레임(1707) 상에 좌시점 자막 윈도우(1710, 1730, 1750, 1770)가 표시될 수 있다.
일 실시예에 따른 자막 오프셋 변환 속도 명령어 'DisparityStep'의 오프셋 변화량 'Step'에 기초하여, 2차원 자막 윈도우의 중앙으로부터 좌시점 자막 윈도우의 오프셋 및 우시점 자막 윈도우의 오프셋에 각각 오프셋 변화량 'Step'의 절반값인 'Step/2'이 부가될 수 있다.
i번째 좌시점 프레임(1701)로부터 (i+1)번째 좌시점 프레임(1703), (i+2)번째 좌시점 프레임(1705), (i+3)번째 좌시점 프레임(1707)의 프레임 순서에 따라, 오프셋이 0인 자막 윈도우(1710)으로부터 좌시점 자막 윈도우(1730, 1750, 1770)의 오프셋(1735, 1755, 1775)은 'Step/2'씩 증가시킬 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 자막 오프셋 변환 속도 정보를 설정하기 위한 자막 오프셋 변환 속도 명령어 'DisparityStep'를 결정하여, 디지털 방송 비트스트림의 비디오스트림의 자막 서비스 데이터 영역에 삽입하여 전송할 수 있다.
디지털 자막 방송 비트스트림 수신 장치(200, 270)은, 수신된 디지털 방송 비트스트림을 파싱하여, 비디오스트림의 자막 서비스 데이터 영역으로부터 자막 오프셋 변환 속도 명령어 'DisparityStep'를 판독하고, 자막 오프셋 변환 속도 명령어 'DisparityStep'에 기초하여, 오프셋 변환이 발생할 자막 윈도우를 결정하고, 자막 윈도우의 목표 오프셋 방향과 오프셋 변화량을 판독하여, 자막 윈도우의 오프셋이 목표 오프셋에 도달할 때까지 자막 윈도우의 오프셋을 변경할 수 있다.
또한, 일 실시예에 따른 디지털 자막 방송 비트스트림 전송 장치(100)는, 3차원 자막 윈도우의 목표 오프셋을 나타내는 목표 오프셋 정보와, 자막 뎁스의 변환이 발생하는 구간을 나타내는 자막 변환 구간 정보를 설정하기 위한 자막 오프셋 변환 속도 명령어를 결정할 수 있다. 일 실시예에 따른 3차원 자막을 위한 자막 변환 구간 정보는, 자막 변환이 시작하는 프레임으로부터 완료하는 프레임까지의 프레임 개수를 나타낼 수 있다.
다른 실시예에 따른 자막 오프셋 변환 속도 명령어 'SmoothTransition'의 명령어 포맷은 'SmoothTransition( Target disparity, Applied Frame Number)'일 수 있다. 일 실시예에 따른 자막 오프셋 변환 속도 명령어 'SmoothTransition'의 파라미터는, 자막 윈도우의 목표 오프셋을 나타내는 파라미터 'Target disparity', 자막 변환이 시작하는 프레임으로부터 완료하는 프레임까지의 프레임 개수를 나타내는 파라미터 'Applied Frame Number'를 포함할 수 있다.
디지털 자막 방송 비트스트림 수신 장치(200, 270)은, 비디오스트림의 자막 서비스 데이터 영역으로부터 자막 오프셋 변환 속도 명령어 'SmoothTransition'를 판독하여, 자막 오프셋 변환 속도 명령어 'SmoothTransition'으로부터, 목표 오프셋 파라미터 'Target disparity'과 자막 변환 구간 파라미터 'Applied Frame Number'를 판독할 수 있다.
디지털 자막 방송 비트스트림 수신 장치(200, 270)은, 목표 오프셋 파라미터 'Target disparity'를 기초로 현재 자막 윈도우로부터 변화할 목표 오프셋을 결정하고, 자막 변환 구간 파라미터 'Applied Frame Number'을 기초로 자막 윈도우의 오프셋 변환이 발생하는 연속 프레임의 총 개수를 결정할 수 있다. 따라서, 자막 윈도우의 오프셋 변환이 발생하는 연속 프레임들 동안에 현재 프레임의 자막 윈도우의 오프셋이 목표 오프셋까지 자연스럽게 변화할 수 있도록, 디지털 자막 방송 비트스트림 수신 장치(200, 270)은, 목표 오프셋과 자막 오프셋 변환이 발생하는 연속 프레임의 총 개수에 기초하여, 프레임 간 오프셋 변화량을 결정할 수 있다.
도 18 은 다른 실시예에 따른 자막 오프셋 변환 속도 정보를 이용한 3차원 자막의 오프셋 변화 그래프를 도시한다.
그래프 1810 및 1820은 각각 비디오의 오프셋과 자막 윈도우의 오프셋을 나타낸다. 구간 T1, T2, T3, T4, T5는 각각 제 1 프레임, 제 2 프레임, 제 3 프레임, 제 4 프레임, 제 5 프레임이 재생되는 구간이다. 그래프 1810와 1820은, 프레임 순서에 따라 비디오 오프셋이 변동하면서, 자막 윈도우의 오프셋도 증가하고 있음을 보여준다.
예를 들어, 디지털 자막 방송 비트스트림 수신 장치(200, 270)가 프레임 구간 T1에서, 자막 오프셋 변환 속도 명령어 'SmoothTransition(10, 4)'에 기초하여, 자막 변환을 수행할 수 있다.
프레임 구간 T1에서 최초 자막 윈도우의 오프셋이 2인 경우, 목표 오프셋 '10'까지 '4'개의 프레임동안 자막 윈도우의 오프셋이 증가할 수 있다. 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 프레임 간 오프셋 변화량을 아래 관계식에 따라 결정할 수 있다.
[관계식 1]
프레임 간 오프셋 변화량 = (목표 오프셋 - 최초 오프셋)/ 변환 프레임 개수
따라서, 디지털 자막 방송 비트스트림 수신 장치(200, 270)는 프레임 간 오프셋 변화량을 2(=(10-2)/4)로 결정하고, 제 1 프레임으로부터 제 2 프레임으로 오프셋이 변동하여 제 5 프레임에 이르기까지, 매 프레임마다 자막 윈도우의 오프셋을 2씩 증가시킬 수 있다. 제 5 프레임에서 자막 윈도우의 오프셋이 10에 도달한 후에는, 디지털 자막 방송 비트스트림 수신 장치(200, 270)는 자막 윈도우의 오프셋을 더 이상 변경하지 않고 유지할 수 있다.
따라서, 제 1 프레임, 제 2 프레임, 제 3 프레임, 제 4 프레임, 제 5 프레임의 자막 윈도우의 오프셋 변화 그래프(1830)에 따라, 자막 윈도우의 오프셋이 완만하게 변환될 수 있다.
관계식 1에 따라, 자막 변환이 발생하는 프레임들에 대한 프레임간 오프셋 변화량이 선형 함수에 기초하여 결정되어, 프레임 구간마다 레임간 오프셋 변화량이 동일하게 결정되는 프레임간 오프셋 변화량 결정식은, 일 실시예에 따른 자막 오프셋 변환 속도 명령어 'SmoothTransition'의 일 실시예일 뿐이다. 따라서, 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 일 실시예에 따른 자막 오프셋 변환 속도 명령어 'SmoothTransition'에 기초하여, 프레임간 오프셋 변화량이 균등하지 않도록 결정할 수도 있다.
자막 오프셋 변환 속도 명령어 'SmoothTransition(10, 4)'에 따라, 프레임 간 오프셋 변화량의 크기가 실수 형태로도 설정될 수 있으며, 보다 적은 파라미터로도 자막 윈도우의 오프셋 변환을 설정할 수 있으며, 자막 변환이 발생하는 프레임 구간이 명확히 지정될 수 있다.
도 19 은 자막의 뎁스 변화에 따른 자막의 크기 변화를 도시한다.
제 1 자막(1900)의 뎁스가 제 2 자막(1910)의 뎁스로 증가한다면, 제 1 자막(1900)에 비해 제 2 자막(1910)이 사용자에게 더 가까워지므로 더 크게 보이는 것이 자연스럽다.
예를 들어 현재 2차원 비디오(1920) 상에 현재 2차원 자막 윈도우(1925)가 표시되어 있을 때, 자막의 뎁스가 증가한다면, 2차원 자막만을 지원하는 방송스트림 수신 시스템에서는, 변화 없이 2차원 비디오(1930)와 2차원 자막 윈도우(1935)를 재생한다.
하지만, 3차원 자막을 지원하는 방송스트림 수신 시스템에서, 3차원 비디오(1940) 상에 좌시점 자막 윈도우(1945)과 우시점 자막 윈도우(1943)를 크기 조절 없이 원본 자막 윈도우(1925)와 동일한 크기로 재생한다면, TV 사용자는 시각적으로 어색함을 느낄 수 있다. 따라서, 디지털 자막 방송 비트스트림 수신 장치(200, 270)는 자막의 뎁스가 증가한다면, 원본 자막 윈도우(1925)에 비해 좌시점 자막 윈도우(1955)과 우시점 자막 윈도우(1953)의 크기 및 자막의 폰트 사이즈가 증가하는 것이 바람직하다.
따라서, 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 자막 윈도위의 크기 및 자막 폰트 사이즈의 크기를 조절하기 위한 정보를 포함하는 3차원 자막 크기 변환 정보를 결정할 수 있다. 일 실시예에 따른 3차원 자막 크기 변환 정보는, 자막 데이터 크기가 변하는 비율을 나타낼 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 3차원 자막 크기 변환 정보를 설정하기 위한 3차원 자막 크기 변환 명령어를 결정할 수 있다. 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 수신된 비트스트림의 자막 서비스 데이터 영역으로부터 3차원 자막 크기 변환 명령어를 추출하여, 자막의 뎁스 변화에 비례하여 자막 윈도우의 크기 및 자막의 폰트 크기를 증감시킬 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 3차원 자막 크기 변환 명령어를 결정하여, 디지털 방송 비트스트림의 자막 서비스 데이터 영역에 삽입함으로써, DTV 비트스트림을 통해, 자막 데이터와 함께 3차원 자막 크기 변환 정보를 전송할 수 있다. 일 실시예에 따른 3차원 자막 크기 변환 명령어는 현재 자막 서비스의 자막 윈도우별로 3차원 자막 크기 변환 정보를 설정할 수 있다.
도 20 은 일 실시예에 따른 3차원 자막 크기 변환 명령어를 도시한다.
일 실시예에 따른 3차원 자막 크기 변환 명령어 'SetFontSize'의 명령어 포맷은 'SetFontSize( Window_id, Font Scale Factor)'일 수 있다. 일 실시예에 따른 자막 오프셋 변환 속도 명령어 'SetFontSize'의 파라미터는, 자막 윈도우를 식별하기 위한 파라미터 'Window_id', 자막 데이터 크기가 변하는 비율을 나타내는 파라미터 'Font Scale Factor'를 포함할 수 있다.
일 실시예에 따른 3차원 자막 크기 변환 명령어 'SetFontSize'의 커맨드 코드는 DTV CC 코드셋 테이블의 확장 코드 영역 중 코드 0x11로 할당될 수 있다.
파라미터 'Window_id'는, 자막 윈도우의 고유 식별자를 나타내며, 3비트(id0, id1, id2)로 할당될 수 있다.
파라미터 'Font Scale Factor'는, 비디오의 오프셋 변화량에 대비한 자막 윈도우 및 폰트의 사이즈 증감 비율을 나타낼 수 있다. 파라미터 'Font Scale Factor'는, 13비트(sf0, sf1, sf2, sf3, sf4, sf5, sf6, sf7, sf8, sf9, sf10, sf11, sf12)로 할당될 수 있다.
디지털 자막 방송 비트스트림 수신 장치(200, 270)은, 수신된 디지털 방송 비트스트림을 파싱하여, 비디오스트림의 자막 서비스 데이터 영역으로부터 3차원 자막 크기 변환 명령어 'SetFontSize'를 추출할 수 있다. 디지털 자막 방송 비트스트림 수신 장치(200, 270)은, 3차원 자막 크기 변환 명령어 'SetFontSize'에 기초하여, 오프셋 변환이 발생할 자막 윈도우를 결정하고, 비디오의 오프셋 변화량에 대비한 자막 윈도우 및 폰트의 사이즈 증감 비율을 판독하여, 자막 윈도우 및 폰트 사이즈의 크기를 조절할 수 있다. 예를 들어, 자막의 폰트 사이즈는 관계식 2에 따라 결정될 수 있다.
[관계식 2]
폰트 사이즈 = 앵커 폰트 사이즈 - 비디오 오프셋 변화량 * 앵커 폰트 사이즈 * (폰트 사이즈 증감 비율/100)
여기서 비디오의 뎁스가 증가하여 TV 사용자쪽으로 가까워진다면, 비디오 오프셋 변화량이 음(-)의 값이므로, 폰트 사이즈는 앵커 폰트 사이즈에 비해 증가하게 된다. 따라서, 비디오 뎁스가 증가함에 따라 자막의 폰트 사이즈가 증가할 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 일 실시예에 따른 자막 오프셋 변환 속도 명령어에, 3차원 자막 크기 변환 정보를 설정하기 위한 파라미터를 포함하도록 설정할 수도 있다.
도 21 은 일 실시예에 따른 3차원 자막 크기 변환 정보를 추가로 설정하기 위한 자막 오프셋 변환 속도 명령어를 도시한다.
도 21 에 도시된 자막 오프셋 변환 속도 명령어 'DisparityStep'는, 도 15를 참조하여 전술한 일 실시예에 따른 자막 오프셋 변환 속도 명령어 'DisparityStep'의 명령어 포맷 'DisparityStep( Window_id, Target disparity sign, Step size, Target disparity)'에, 8비트의 파라미터 'Font Scale Factor'가 추가적으로 포함되어 있다. 8비트의 파라미터 'Font Scale Factor'는 이전 폰트 사이즈에 대비한 현재 폰트 사이즈의 증감 비율을 나타낼 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 도 21의 자막 오프셋 변환 속도 명령어 'DisparityStep'를 기초로, 오프셋 변화가 발생할 자막 윈도우, 3차원 자막의 오프셋 변화 방향 및 변화량, 목표 오프셋을 판독하면서, 자막 윈도우 및 폰트의 사이즈 증감 비율을 판독할 수도 있다. 따라서, 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 소정 자막 윈도우의 오프셋을 변환하면서, 자막 윈도우 및 폰트 사이즈를 오프셋 변화방향에 따라 자막 오프셋 변화량에 비례하도록 증감시킬 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 3차원 자막 전송 정보를 섹션 테이블 영역의 PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 캡션 서비스 서술자 'caption_service_descriptor'에 삽입할 수 있다. 일 실시예에 따른 3차원 자막 전송 정보는, 3차원 자막 데이터, 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보와, 3차원 자막 크기 변환 정보 중 적어도 하나가 DTV 비트스트림을 통해 전송되는지 여부를 나타낼 수 있다. 일 실시예에 따른 3차원 자막 전송 정보는 플래그의 형태로, 도 6을 참조하여 전술한 캡션 서비스 서술자의 예비 영역(650, 660, 670)에 삽입되어, 자막 데이터와 함께 전송될 수 있다. 표 4 는 일 실시예에 따른 3차원 자막 전송 정보가 삽입된 캡션 서비스 서술자 'caption_service_descriptor'를 예시한다.
Syntax
caption_service_descriptor () {
descriptor_tag
descriptor_length
reserved
number_of_services
for (i=0;i<number_of_services;i++) {
language
cc_type
reserved
if (cc_type==line21) {
reserved
line21_field
}
else
caption_service_number
easy_reader
wide_aspect_ratio
korean_code
3d_cc_enable
reserved
}
}
파라미터 '3d_cc_enable'는 일 실시예에 따른 3차원 자막 전송 정보의 일례이다. '3d_cc_enable' 값이 0이면 3차원 자막 정보가 현재 비디오스트림에 포함되어 있음을 나타내고, '3d_cc_enable' 값이 1이면 3차원 자막 정보가 현재 비디오스트림에 포함되어 있지 않음을 나타낼 수 있다.
일 실시예에 따른 3차원 자막 전송 정보가 삽입되는 위치에 대한 정보는, 5비트 예비 영역에 삽입될 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는 일 실시예에 따른 3차원 자막 전송 정보 '3d_cc_enable'를 추출하여, 현재 비트스트림에 대한 자막 재생 모드를 결정할 수 있다. 일 실시예에 따른 자막 재생 모드는 4가지 모드로 결정될 수 있다.
제 1 자막 재생 모드는, 현재 비트스트림에 3차원 자막 정보가 포함되어 있고, 3차원 비디오가 재생되는 경우 3차원 자막가 재생되는 경우를 나타낸다.
제 2 자막 재생 모드는, 현재 비트스트림에 3차원 자막 정보가 포함되어 있지 않지만 3차원 비디오가 재생되는 경우 자막 데이터에 강제로 오프셋을 부가하여 자막이 3차원으로 재생되거나, 3차원 자막을 지원할 수 없음을 표시하는 문구가 재생되는 경우를 나타낸다.
제 3 자막 재생 모드는, 현재 비트스트림에 3차원 자막 정보가 포함되어 있지만 2차원 비디오가 재생되는 경우, 사용자 선택 또는 미리 결정된 설정에 기초하여 자막 데이터가 3차원 자막 또는 2차원 자막으로 재생될 경우를 나타낸다.
또한, 제 4 자막 재생 모드는, 현재 비트스트림에 3차원 자막 정보가 포함되어 있지만 2차원 비디오가 재생되는 경우, 자막 데이터가 2차원으로 재생되는 경우를 나타낸다.
따라서, 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는 일 실시예에 따른 3차원 자막 전송 정보 '3d_cc_enable'를 추출하여, 현재 비트스트림에 대한 자막 재생 모드를 제 1, 2, 3, 4 자막 재생 모드 중 하나로 결정하고, 결정된 자막 재생 모드에 기초하여 자막 재생 상태를 준비할 수 있다.
또한, 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 3차원 자막 전송 정보를 포함하는 3차원 자막 전송 서술자를 생성하고, PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 서술자 영역에 3차원 자막 전송 서술자를 삽입할 수도 있다. 표 5 는 일 실시예에 따른 3차원 자막 전송 서술자 '3d_cc_descriptor'를 예시한다.
syntax
3d_cc_descriptor() {
descriptor_tag
descriptor_length
3d_cc_enable
reserved
}
파라미터 '3d_cc_enable'는 현재 비트스트림에 3차원 자막 데이터, 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보와, 3차원 자막 크기 변환 정보 중 적어도 하나가 포함되어 있는지 여부를 나타내는 플래그일 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, PMT 영역 및 EIT 영역 중 적어도 하나의 캡션 서비스 서술자로부터, 현재 비트스트림을 통해 3차원 자막 변환 정보가 전송됨을 나타내는 3차원 자막 전송 정보를 추출할 수 있다. 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 3차원 자막 전송 정보에 기초하여, 현재 비트스트림에 3차원 자막 정보가 포함되어 있음이 확인되면, 자막 서비스 블록, 자막 윈도우 명령어 및 섹션 테이블 영역 중 적어도 하나로부터, 3차원 자막 정보를 추출할 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 3차원 자막 전송 정보에 기초하여, 수신된 DTV 비트스트림에, 3차원 자막 전송 정보가 삽입되어 있음을 파악할 수 있다. 따라서 일 실시예에 따른 추출부(220)는, 3차원 자막 전송 정보에 기초하여, 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 및 3차원 자막 크기 변환 정보 중에서 DTV 비트스트림에 삽입되어 있음이 확인된 정보를 추출할 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, PMT 영역 및 EIT 영역 중 캡션 서비스 서술자로부터, 3차원 자막 정보가 전송됨을 나타내는 3차원 자막 전송 정보를 추출할 수 있다. 또한, 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, PMT 영역 및 EIT 영역 중 서술자 영역으로부터, 3차원 자막 정보가 전송됨을 나타내는 3차원 자막 전송 정보를 추출할 수 있다.
도 22 는 일 실시예에 따라 두 개의 기본스트림을 전송하는 시스템에서, 각각의 기본스트림에 2차원 DTV 클로즈드 캡션 정보와 3차원 DTV 클로즈드 캡션 정보가 포함된 경우를 도시한다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 3차원 비디오 데이터를 전송하기 위해, 주시점 비디오 스트림(2220)와 부가시점 비디오 스트림(2260)를 각각 포함하는 2개의 비디오 기본스트림(2210, 2250)을 다중화하여 하나의 디지털 방송 스트림(2200)으로 전송할 수 있다. 이 경우, 비디오 기본스트림(2210, 2250)마다 3차원 자막 정보가 전송될 필요는 없지만, 비디오 기본스트림(2210, 2250)마다 현재 스트림에 3차원 자막 정보가 포함되어 있는지 여부를 나타내는 3차원 자막 전송 정보(2240, 2280)가 삽입될 수 있다.
예를 들어, 3차원 자막 정보(2270)가 포함된 비디오 기본스트림(2250)은, 현재 스트림(2250)에 3차원 자막 정보(2270)가 포함되어 있음을 나타내기 위하여 3차원 자막 전송 정보 '3d_cc_enable'(2280)를 'ON'으로 설정할 수 있다. 나머지 비디오 기본스트림(2210)에는 3차원 자막 정보가 포함되지 않고 2차원 자막 데이터(2230)를 포함하고 있으므로, 현재 비트스트림(2210)에 3차원 자막 정보가 포함되어 있지 않음을 나타내기 위하여 3차원 자막 전송 정보 '3d_cc_enable'(2240)를 'OFF'으로 설정할 수 있다. 이 경우, 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 비디오 기본스트림(2210, 2250)으로부터 3차원 자막 전송 정보 '3d_cc_enable'(2240, 2280)를 추출하여, '3d_cc_enable'(2280)가 'ON'으로 설정된 비디오 기본스트림(2250)으로부터 3차원 자막 정보를 추출할 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 2개의 비디오 기본스트림들에 모두 3차원 자막 정보가 포함된 디지털 방송 비트스트림을 수신할 수 있다. 이 경우, 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는 2개의 비디오 기본스트림들 간에 메인 기본스트림 및 서브 기본스트림의 관계가 있는 경우, 메인 기본스트림으로부터 3차원 자막 정보를 추출하여 3차원 자막을 결정할 수 있다.
다만 2개의 비디오 기본스트림들 간에 메인 기본스트림 및 서브 기본스트림의 관계가 없는 경우에는, 임의로 선택된 비디오 기본스트림으로부터 3차원 자막 정보를 추출하여 3차원 자막을 결정할 수 있다.
2차원 비디오 및 2차원 자막만을 지원하는 2차원 방송 스트림 수신 시스템은, 3차원 비디오 및 3차원 자막 정보가 포함된 방송 스트림을 수신하더라도 3차원 비디오 및 3차원 자막 정보를 판독할 수 없다. 이러한 2차원 방송 스트림 수신 시스템과의 하위 호환성을 위해, 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 2개의 비디오 기본스트림들 중에서 메인 기본스트림에 주시점 비디오 데이터와 2차원 자막 데이터를 수록하고, 서브 기본스트림에 부가시점 비디오 데이터와 3차원 자막 정보를 수록하여, 2개의 비디오 기본스트림들을 전송할 수 있다.
이 경우 기존의 2차원 방송 스트림 수신 시스템은, 2개의 비디오 기본스트림들 중 서브 기본스트림에 접근하지 못하고, 메인 기본스트림만을 파싱하여 복호화할 수 있으므로, 주시점 비디오 데이터와 2차원 자막 데이터를 판독하여 재생할 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 2개의 비디오 기본스트림들 중에서, 메인 기본스트림을 파싱하여 주시점 비디오 데이터와 자막 데이터를 판독하고, 서브 기본스트림을 파싱하여 부가시점 비디오 데이터와 3차원 자막 정보를 판독할 수 있다.
따라서, 주시점 비디오와 부가시점 비디오가 복원되어 3차원 비디오로 재생될 수 있다. 또한, 메인 기본스트림으로부터 추출된 자막 데이터를 이용하여 자막 컨텐트가 결정되고, 서브 기본스트림으로부터 추출된 3차원 자막 정보를 이용하여 주시점 자막 윈도우와 부가시점 자막 윈도우의 위치 및 크기, 폰트 사이즈 등이 결정된다. 따라서, 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(270)는 주시점 비디오와 주시점 자막 윈도우를 합성되고, 부가시점 비디오와 부가시점 자막 윈도우를 합성하여 3차원 비디오 시퀀스를 구성함으로써, 3차원 비디오와 함께 3차원 자막을 재생할 수 있다.
도 23 및 24은 일 실시예에 따라 구성된 둘 이상의 자막 윈도우들이 충돌하는 경우, 자막 윈도우를 재생하는 방법을 도시한다.
2차원 자막 윈도우들이 서로 겹쳐지는 경우, 보일 수 있는 자막 윈도우를 지정하기 위해, 2차원 자막 윈도우에 대해 2차원 자막 우선권이 부여된다.
일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(270)는, 복수 개의 자막 윈도우들을 생성할 수 있으며, 또한 3차원 자막 재생을 위해 하나의 자막 윈도우에 대해 서로 다른 오프셋이 적용된 주시점 자막 윈도우와 부가시점 자막 윈도우를 생성할 수도 있다. 따라서, 2차원 자막 우선권과는 별개로, 복수 개의 3차원 자막 윈도우들 간에 서로 차폐 영역이 발생할 수 있다.
이에 따라, 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(270)는, 2차원 자막 윈도우에 대한 2차원 자막 우선권과는 별개로, 3차원 자막 재생을 위해 자막 윈도우에 부여되는 오프셋에 기초하여, 서로 중복되는 자막 윈도우들 간의 3차원 자막 우선권을 결정할 수 있다.
즉 예를 들어, 제 1 자막 윈도우(2320)의 2차원 자막 우선권(2323)이 제 2 자막 윈도우(2330)의 2차원 자막 우선권(2333)보다 낮지만, 비디오 제로 평면(2310)으로부터 제 1 자막 윈도우(2320)까지의 제 1 오프셋(2325)이, 비디오 제로 평면(2310)으로부터 제 2 자막 윈도우(2330)까지의 제 2 오프셋(2335)보다 크기 때문에, 제 1 자막 윈도우(2320)가 제 2 자막 윈도우(2330)를 차폐하는 현상이 발생한다.
일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(270)는 3차원 자막 윈도우의 차폐 현상을 극복하기 위하여, 자막 윈도우의 3차원 자막 우선권을 결정할 수 있다.
제 1 3차원 자막 우선권 결정 방식에 따르면, 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(270)는, 제 1 자막 윈도우(2320)와 제 2 자막 윈도우(2330)의 2차원 자막 우선권들(2323, 2333)을 무시하고, 제 1 자막 윈도우(2320)와 제 2 자막 윈도우(2330)까지의 오프셋들(2325, 2335)을 기초로, 서로 중복되는 자막 윈도우들 간의 3차원 자막 우선권을 결정할 수 있다. 즉, 제 2 자막 윈도우(2330)에 비해 제 1 자막 윈도우(2320)에게 높은 3차원 자막 우선권(2327)이 결정될 수 있다.
제 2 3차원 자막 우선권 결정 방식에 따르면, 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(270)는, 제 1 자막 윈도우(2320)와 제 2 자막 윈도우(2330)의 2차원 자막 우선권들(2323, 2333)을 기초로, 제 1 자막 윈도우(2320)와 제 2 자막 윈도우(2330)의 3차원 자막 우선권을 결정할 수 있다. 즉, 제 1 자막 윈도우(2320)의 제 1 오프셋(2325)이 제 2 자막 윈도우(2330)의 제 2 오프셋(2335)보다 커서, 제 1 자막 윈도우(2320)가 제 2 자막 윈도우(2330)를 차폐하더라도, 제 2 자막 윈도우(2330)의 2차원 자막 우선권들(2333)이 제 1 자막 윈도우(2320)에 비해 앞서므로, 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(270)는, 제 2 자막 윈도우(2330)에게 제 1 자막 윈도우(2320)보다 높은 3차원 자막 우선권(2443)을 부여할 수 있다.
또한, 더 높은 3차원 자막 우선권(2443)이 부여된 제 2 자막 윈도우(2330)가 상대적으로 3차원 자막 우선권이 낮은 제 1 자막 윈도우(2320)에 의해 차폐되는 현상을 극복하기 위해, 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(270)는, 제 2 자막 윈도우(2330)에게 제 1 자막 윈도우(2320)의 제 1 오프셋(2325)보다 더 큰 오프셋(2445)을 새로이 부여하여, 제 2 자막 윈도우(2440)의 새로운 위치가 결정될 수 있다.
제 2 3차원 자막 우선권 결정 방식에 따르면, 원본 자막 윈도우에 부여된 2차원 자막 우선권을 따를 수 있지만, 본래 의도한 3차원 자막의 오프셋이 변경되는 경우가 발생할 수 있다. 반대로, 제 1 3차원 자막 우선권 결정 방식에 따르면, 본래 의도한 3차원 자막의 오프셋이 유지되지만, 원본 자막 윈도우의 2차원 자막 우선권이 무시되는 경우가 발생할 수 있다.
이상 클로즈드 캡션과 일 실시예에 따라 클로즈드 캡션의 3차원 재생을 위한 3차원 자막 변환 정보를 송수신하는 실시예를 위주로, 디지털 자막 방송 비트스트림 생성 장치(100)과 디지털 자막 방송 비트스트림 수신 장치(200)의 동작 원리가 상술되었다. 하지만, 이는 디지털 자막 방송 비트스트림 생성 장치(100)과 디지털 자막 방송 비트스트림 수신 장치(200)의 적용례의 일 방면일 뿐이며, 본 발명의 원리가 적용될 수 있는 디지털 방송의 자막 시스템이 클로즈드 캡션 시스템에 한정되어 해석되어서는 안된다.
도 25 은 일 실시예에 따라 디지털 자막 방송을 위한 디지털 자막 방송 비트스트림 생성 방법의 흐름도를 도시한다.
단계 2510에서, 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오가 부호화된 비디오 데이터가 입력된다.
단계 2520에서, 자막 데이터와 오프셋의 변환 속도에 대한 정보를 포함하는 3차원 자막 변환 정보가 결정된다. 일 실시예에 따른 3차원 자막 변환 정보는 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보, 3차원 자막 전송 정보 등을 포함할 수 있다.
일 실시예에 따른 3차원 자막 오프셋 정보는, 주시점 자막 윈도우 및 부가시점 자막 윈도우의 뎁스, 변이, 양안 시차 등의 오프셋을 나타낼 수 있다.
일 실시예에 따른 자막 오프셋 변환 속도 정보는, 현재 프레임 및 다음 프레임의 자막 윈도우들 간의 오프셋 변화량 값 및 방향, 목표 오프셋 등에 대한 정보를 포함할 수 있다. 또한 일 실시예에 따른 자막 오프셋 변환 속도 정보는, 목표 오프셋 및 자막 변환이 발생하는 프레임 개수에 대한 정보를 포함할 수 있다.
일 실시예에 따른 3차원 자막 크기 변환 정보는, 자막 윈도우 및 자막 폰트의 크기가 변하는 비율에 대한 정보를 포함할 수 있다.
일 실시예에 따른 3차원 자막 전송 정보는, 현재 비트스트림을 통해 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보가 전송되는지 여부를 나타낼 수 있다.
단계 2530에서, 부호화된 비디오 데이터, 자막 데이터 및 3차원 자막 변환 정보가 다중화되어 디지털 방송을 위한 비트스트림이 출력된다. 자막 데이터는 디지털 방송 비트스트림의 픽처 사용자 데이터 영역의 자막 서비스 데이터 영역 및 섹션 테이블 영역 중 적어도 하나에 삽입될 수 있으며, 3차원 자막 변환 정보는, 비트스트림의 자막 서비스 블록, 자막 윈도우 명령어 및 섹션 테이블 영역 중 적어도 하나에 삽입될 수 있다.
일 실시예에 따른 3차원 자막 오프셋 정보를 포함하는 3차원 자막 서비스 블록이 생성되어 서비스 계층의 자막 데이터와 함께 전송될 수 있다. 일 실시예에 따른 자막 데이터는 CEA-608 클로즈드 캡션 데이터 및 CEA-708 클로즈드 캡션 데이터 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보를 설정하기 위한 3차원 자막 윈도우 명령어가 결정될 수 있으며, 3차원 자막 윈도우 명령어는 비디오스트림의 자막 서비스 데이터 영역에 삽입되어 디지털 방송스트림을 통해 전송될 수 있다. 3차원 자막 윈도우 명령어는 현재 자막 서비스의 자막 윈도우별로 3차원 자막을 위한 각종 정보를 설정할 수 있다.
일 실시예에 따른 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보, 3차원 자막 전송 정보 등의 3차원 자막 변환 정보는, 섹션 테이블 영역의 PMT 영역 또는 EIT 영역의 서술자 영역 또는 캡션 서비스 서술자의 예비 영역에 삽입되어 전송될 수 있다.
도 26 는 일 실시예에 따라 디지털 자막 방송을 위한 디지털 자막 방송 비트스트림 수신 방법의 흐름도를 도시한다.
단계 2610에서, 2차원 비디오 및 3차원 비디오 중 적어도 하나의 부호화된 비디오 데이터를 포함하는 비트스트림이 수신된다.
단계 2620에서, 수신된 비트스트림이 역다중화되어 파싱되고, 비트스트림으로부터 부호화된 비디오 데이터, 자막 데이터와, 자막 오프셋의 변환 속도에 대한 정보를 포함하는 3차원 자막 변환 정보가 추출될 수 있다.
자막 데이터는, 디지털 방송 비트스트림의 픽처 사용자 데이터 영역의 자막 서비스 데이터 영역 및 섹션 테이블 영역 중 적어도 하나로부터 추출되고, 3차원 자막 변환 정보는, 비트스트림의 자막 서비스 블록, 자막 윈도우 명령어 및 섹션 테이블 영역 중 적어도 하나로부터 추출될 수 있다.
일 실시예에 따른 3차원 자막 서비스 블록을 통해 3차원 자막 오프셋 정보가 수신되어, 다른 서비스 블록의 자막 데이터와 함께 수신될 수 있다. CEA-608 클로즈드 캡션 데이터 및 CEA-708 클로즈드 캡션 데이터 중 적어도 하나를 포함하는 자막 데이터가 수신될 수 있다.
비디오스트림의 자막 서비스 데이터 영역으로부터, 일 실시예에 따른 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보를 설정하기 위한 3차원 자막 윈도우 명령어가 추출될 수 있다. 3차원 자막 윈도우 명령어는 현재 자막 서비스의 자막 윈도우별로 3차원 자막을 위한 각종 정보를 제공하므로, 3차원 자막 윈도우 명령어에 따라, 3차원 자막 윈도우의 위치, 크기, 폰트 사이즈 등이 결정될 수 있다.
섹션 테이블 영역의 PMT 영역 또는 EIT 영역의 서술자 영역 또는 캡션 서비스 서술자의 예비 영역으로부터, 일 실시예에 따른 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보, 3차원 자막 전송 정보 등의 3차원 자막 변환 정보가 추출될 수도 있다.
일 실시예에 따른 3차원 자막 전송 정보에 기초하여, 현재 비트스트림에 3차원 자막 데이터, 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보 등이 포함되어 있는지 판단한 후, 포함되어 있다면 현재 3차원 자막 정보가 추출될 수 있다.
단계 2630에서, 3차원 자막 변환 정보에 기초하여, 비디오 화면 상에서 자막의 재생 형태가 결정될 수 있다.
일 실시예에 따라 추출된 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보 등에 기초하여, 3차원 자막 변환이 발생할 자막 윈도우, 자막 윈도우의 크기 및 위치, 자막 폰트 사이즈 등이 결정될 수 있다.
일 실시예에 따른 자막 오프셋 변환 속도 정보에 기초하여, 프레임별로 현재 프레임과 다음 프레임의 자막 윈도우들 간의 오프셋 변화량이 결정되어, 프레임별로 자막 윈도우의 위치가 결정될 수 있다.
일 실시예에 따른 3차원 자막 크기 변환 정보에 기초하여, 뎁스 변화율에 비례한 자막의 크기 증감 비율이 결정되어, 자막 윈도우 및 폰트 크기가 결정될 수 있다.
비디오 데이터가 복호화되어 2차원 비디오 또는 3차원 비디오로 복원되고, 3차원 자막 변환 정보에 기초하여 결정된 자막의 재생 형태에 따라, 비디오 화면 상에서 자막 데이터가 3차원 자막으로 재생될 수 있다. 일 실시예에 따른 자막의 재생 형태는, 주시점 자막 윈도우 및 부가시점 자막 윈도우의 위치 및 크기, 자막 폰트의 크기, 자막 윈도우의 3차원 자막 우선권 등을 포함할 수 있다.
복원된 비디오의 주시점 비디오 및 부가시점 비디오에 각각 주시점 자막 및 부가시점 자막이 합성되고, 주시점 자막과 주시점 비디오가 합성된 주시점 화면과, 부가시점 자막과 부가시점 비디오가 합성된 부가시점 화면이 재생됨으로써, 3차원 비디오와 함께 3차원 자막이 재생될 수 있다.
복수 개의 자막 윈도우들의 생성된 경우, 자막 윈도우의 원본 2차원 자막 우선권에 기초하여 3차원 자막 우선권이 결정되어, 자막 윈도우들의 재생 위치가 결정될 수 있다. 또 다른 예로, 자막 윈도우의 오프셋에 기초하여 3차원 자막 우선권이 결정되어, 자막 윈도우들의 재생 위치가 결정될 수도 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100) 및 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 종래 통신 표준에 따른 서비스 블록, 자막 윈도우 명령어 또는 섹션 테이블 영역의 여유 공간을 이용하여, 일 실시예에 따른 3차원 자막 변환 정보, 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보, 3차원 자막 전송 정보를 송수신할 수 있다.
따라서, 종래 방송 수신 시스템이, 일 실시예에 따라 새롭게 할당되거나 정의된 3차원 자막 변환 정보, 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보, 3차원 자막 전송 정보를 해석하지 못하더라도, 종래 통신 표준에 따른 서비스 블록, 자막 윈도우 명령어 또는 섹션 테이블 영역만을 해석하여 디지털 방송을 수신할 수 있으므로, 종래 방송 시스템들에 대한 하위 호환성이 보장될 수 있다.
또한, 일 실시예에 따른 3차원 자막 변환 정보에 기초하여, 2차원 자막 재생 상태와 3차원 자막 재생 상태가 급격한 변경되는 것을 방지하고, 자막 뎁스의 변화에 비례하여 자막 크기가 조절될 수 있으며, 서로 겹쳐지는 복수 개의 자막 윈도우들 간에 3차원 자막 우선권을 부여하여 재생 순위를 설정할 수 있으므로, TV 시청자에게 시각적으로 자연스러운 3차원 방송 프로그램이 제공될 수 있다.
이상, 도 1 내지 26과, 표 1 내지 5를 참조하여, 일 실시예에 따른 3차원 자막 변환 정보, 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보, 3차원 자막 전송 정보 등의 다양한 사용례들이 개시되었다. 하지만 전술된 사용례들은 본 발명의 원리를 설명하기 위한 일 실시예일 뿐이므로, 일 실시예에 따른 3차원 자막 변환 정보, 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보, 3차원 자막 전송 정보가 도 1 내지 26과 표 1 내지 5에서 개시된 형태에만 제한되는 것은 아니다.
본 발명에서 개시된 블록도들은 본 발명의 원리들을 구현하기 위한 회로를 개념적으로 표현한 형태라고 당업자에게 해석될 수 있을 것이다. 유사하게, 임의의 흐름 차트, 흐름도, 상태 전이도, 의사코드 등은 컴퓨터 판독가능 매체에서 실질적으로 표현되어, 컴퓨터 또는 프로세서가 명시적으로 도시되든지 아니든지 간에 이러한 컴퓨터 또는 프로세서에 의해 실행될 수 있는 다양한 프로세스를 나타낸다는 것이 당업자에게 인식될 것이다. 따라서, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
도면들에 도시된 다양한 요소들의 기능들은 적절한 소프트웨어와 관련되어 소프트웨어를 실행할 수 있는 하드웨어뿐만 아니라 전용 하드웨어의 이용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 이런 기능은 단일 전용 프로세서, 단일 공유 프로세서, 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 또한, 용어 "프로세서" 또는 "제어부"의 명시적 이용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 지칭하는 것으로 해석되지 말아야 하며, 제한 없이, 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 및 비휘발성 저장장치를 묵시적으로 포함할 수 있다.
본 명세서의 청구항들에서, 특정 기능을 수행하기 위한 수단으로서 표현된 요소는 특정 기능을 수행하는 임의의 방식을 포괄하고, 이러한 요소는 특정 기능을 수행하는 회로 요소들의 조합, 또는 특정 기능을 수행하기 위한 소프트웨어를 수행하기 위해 적합한 회로와 결합된, 펌웨어, 마이크로코드 등을 포함하는 임의의 형태의 소프트웨어를 포함할 수 있다.
본 명세서에서 본 발명의 원리들의 '일 실시예'와 이런 표현의 다양한 변형들의 지칭은 이 실시예와 관련되어 특정 특징, 구조, 특성 등이 본 발명의 원리의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 표현 '일 실시예에서'와, 본 명세서 전체를 통해 개시된 임의의 다른 변형례들은 반드시 모두 동일한 실시예를 지칭하는 것은 아니다.
본 명세서에서, 'A와 B 중 적어도 하나'의 경우에서 '~중 적어도 하나'의 표현은, 첫 번째 옵션 (A)의 선택만, 또는 두 번째 열거된 옵션 (B)의 선택만, 또는 양쪽 옵션들 (A와 B)의 선택을 포괄하기 위해 사용된다. 추가적인 예로 'A, B, 및 C 중 적어도 하나'의 경우는, 첫 번째 열거된 옵션 (A)의 선택만, 또는 두 번째 열거된 옵션 (B)의 선택만, 또는 세 번째 열거된 옵션 (C)의 선택만, 또는 첫 번째와 두 번째 열거된 옵션들 (A와 B)의 선택만, 또는 두 번째와 세 번째 열거된 옵션 (B와 C)의 선택만, 또는 모든 3개의 옵션들의 선택(A와 B와 C)이 포괄할 수 있다. 더 많은 항목들이 열거되는 경우에도 당업자에게 명백하게 확장 해석될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.
본 명세서를 통해 개시된 모든 실시예들과 조건부 예시들은, 본 발명의 기술 분야에서 통상의 지식을 가진 당업자가 독자가 본 발명의 원리와 개념을 이해하도록 돕기 위한 의도로 기술된 것으로, 당업자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (50)

  1. 디지털 자막 방송을 위한 방송 비트스트림을 생성하는 방법에 있어서,
    2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오가 부호화된 비디오 데이터를 입력받는 단계;
    상기 비디오와 함께 재생하기 위한 자막 데이터와, 상기 자막 데이터를 3차원 자막으로 재생하기 위한 오프셋의 변환 속도에 대한 정보를 포함하는 3차원 자막 변환 정보를 결정하는 단계; 및
    상기 부호화된 비디오 데이터, 상기 자막 데이터 및 상기 3차원 자막 변환 정보를 다중화하여 디지털 방송을 위한 비트스트림을 출력하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 생성 방법.
  2. 제 1 항에 있어서, 상기 비트스트림 출력 단계는,
    상기 자막 데이터를 상기 디지털 방송 비트스트림의 픽처 사용자 데이터 영역, 자막 서비스 데이터 영역 및 섹션 테이블 영역 중 적어도 하나에 삽입하는 단계; 및
    상기 3차원 자막 변환 정보를 상기 비트스트림의 자막 서비스 블록, 자막 윈도우 명령어 및 상기 섹션 테이블 영역 중 적어도 하나에 삽입하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 생성 방법.
  3. 제 2 항에 있어서, 상기 3차원 자막 변환 정보 결정 단계는,
    상기 자막 데이터를 3차원 자막으로 재생하기 위하여 필요한 주시점 자막 및 부가시점 자막의 뎁스, 변이 및 양안 시차 중 적어도 하나를 포함하는 3차원 자막 오프셋 정보를 결정하는 단계를 포함하고,
    상기 비트스트림 출력 단계는,
    상기 3차원 자막 오프셋 정보를 포함하는 3차원 자막 서비스 블록을 생성하는 단계; 및
    상기 비트스트림의 비디오스트림의 사용자 데이터 영역에 상기 3차원 자막 서비스 블록을 삽입하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 생성 방법.
  4. 제 2 항에 있어서, 상기 3차원 자막 변환 정보 결정 단계는,
    상기 자막 데이터를 3차원 자막으로 재생하기 위하여 필요한 주시점 자막 및 부가시점 자막의 뎁스, 변이 및 양안 시차 중 적어도 하나를 포함하는 3차원 자막 오프셋 정보를 결정하는 단계를 포함하고,
    상기 비트스트림 출력 단계는,
    상기 자막 윈도우 명령어 형식에 기초하여, 상기 자막 서비스 블록별로 상기 3차원 자막 오프셋 정보를 설정하기 위한 3차원 자막 오프셋 명령어를 결정하는 단계; 및
    상기 비트스트림의 비디오스트림의 자막 서비스 데이터 영역에 상기 3차원 자막 오프셋 명령어를 삽입하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 생성 방법.
  5. 제 2 항에 있어서, 상기 3차원 자막 변환 정보 결정 단계는,
    상기 자막 데이터를 3차원 자막으로 재생하기 위하여 필요한 주시점 자막 및 부가시점 자막의 뎁스, 변이 및 양안 시차 중 적어도 하나를 포함하는 3차원 자막 오프셋 정보를 결정하는 단계를 포함하고,
    상기 비트스트림 출력 단계는,
    상기 섹션 테이블 영역의 PMT(Program Map Table) 영역 및 EIT(Event Information Table) 영역 중 적어도 하나의 테이블 영역의 캡션 서비스 서술자의 예비 영역에 상기 3차원 자막 오프셋 정보를 삽입하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 생성 방법.
  6. 제 2 항에 있어서, 상기 3차원 자막 변환 정보 결정 단계는,
    상기 자막 오프셋의 급격한 변환을 방지하기 위하여, 자막 윈도우의 목표 오프셋을 나타내는 목표 오프셋 정보 및 상기 자막 오프셋의 변환이 발생하는 구간을 나타내는 자막 변환 구간 정보를 포함하는 자막 오프셋 변환 속도 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 생성 방법.
  7. 제 6 항에 있어서, 상기 비트스트림 출력 단계는,
    상가 자막 윈도우 명령어 형식에 기초하여, 상기 자막 오프셋 변환 속도 정보를 설정하기 위한 자막 오프셋 변환 속도 명령어를 결정하는 단계; 및
    비디오스트림의 자막 서비스 데이터 영역에 상기 자막 오프셋 변환 속도 명령어를 삽입하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 생성 방법.
  8. 제 6 항에 있어서, 상기 3차원 자막 변환 정보 결정 단계는,
    현재 프레임 및 다음 프레임의 자막 윈도우들 간의 오프셋 변화량을 나타내는 정보, 상기 오프셋 변화량의 방향을 나타내는 정보, 상기 목표 오프셋 정보 및 상기 자막 변환이 발생하는 자막 윈도우를 나타내는 자막 변환 윈도우 식별 정보 중 적어도 하나를 포함하는 자막 오프셋 변환 속도 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 생성 방법.
  9. 제 6 항에 있어서,
    상기 오프셋 변화량 정보는, 현재 프레임과 다음 프레임의 자막 윈도우들의 오프셋 간의 차이를 나타내고,
    상기 자막 변환 구간 정보는, 자막 변환이 시작하는 프레임으로부터 완료하는 프레임까지의 프레임 개수를 나타내는 것을 특징으로 하는 디지털 자막 방송 비트스트림 생성 방법.
  10. 제 2 항에 있어서, 상기 3차원 자막 변환 정보 결정 단계는,
    상기 자막 데이터의 자막 오프셋을 변환하여 재생하기 위하여, 상기 자막의 크기를 조절하기 위한 3차원 자막 크기 변환 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 생성 방법.
  11. 제 10 항에 있어서,
    상기 3차원 자막 크기 변환 정보는, 상기 자막의 크기가 변하는 비율을 나타내는 것을 특징으로 하는 디지털 자막 방송 비트스트림 생성 방법.
  12. 제 10 항에 있어서, 상기 비트스트림 출력 단계는,
    상가 자막 윈도우 명령어 형식에 기초하여, 상기 3차원 자막 크기 변환 정보를 설정하기 위한 3차원 자막 크기 변환 명령어를 결정하는 단계; 및
    비디오스트림의 자막 서비스 데이터 영역에 상기 3차원 자막 크기 변환 명령어를 삽입하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 생성 방법.
  13. 제 7 항에 있어서, 상기 자막 오프셋 변환 속도 명령어 결정 단계는,
    상기 자막 오프셋 변환 속도 명령어가, 상기 자막 데이터의 자막 오프셋을 변환하여 재생하기 위하여, 상기 자막의 크기를 조절하기 위한 3차원 자막 크기 변환 정보를 포함하도록 결정하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 생성 방법.
  14. 제 2 항에 있어서, 상기 비트스트림 출력 단계는,
    상기 비트스트림을 통해 3차원 자막 변환 정보가 전송됨을 나타내는 3차원 자막 전송 정보를, 상기 섹션 테이블 영역의 PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 캡션 서비스 서술자에 삽입하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 생성 방법.
  15. 제 14 항에 있어서,
    상기 3차원 자막 전송 정보는, 상기 자막 데이터가 3차원 자막으로 변환하여 재생되기 위하여 필요한 주시점 자막 및 부가시점 자막의 오프셋에 대한 정보, 자막 변환 속도에 대한 정보, 및 자막 크기 변환에 대한 정보 중 적어도 하나가 상기 비트스트림을 통해 전송되는지 여부를 나타내는 정보를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 생성 방법.
  16. 제 2 항에 있어서, 상기 비트스트림 출력 단계는,
    상기 3차원 자막 서비스 블록이 전송됨을 나타내는 3차원 자막 서비스 전송 정보를 포함하는 3차원 자막 전송 서술자를 생성하는 단계; 및
    상기 섹션 테이블 영역의 PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 서술자 영역에 상기 3차원 자막 전송 서술자를 삽입하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 생성 방법.
  17. 제 14 항에 있어서, 상기 비트스트림 출력 단계는,
    상기 3차원 비디오의 주시점 비디오 데이터 및 부가시점 비디오 데이터가, 각각 메인 기본스트림과 서브 기본스트림에 삽입되는 경우, 상기 3차원 자막 전송 정보는 상기 메인 기본스트림 및 상기 서브 기본스트림 중 적어도 하나에 삽입하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 생성 방법.
  18. 제 14 항에 있어서, 상기 비트스트림 출력 단계는,
    상기 3차원 비디오의 주시점 비디오 데이터 및 부가시점 비디오 데이터가, 각각 메인 기본스트림과 서브 기본스트림에 삽입되는 경우, 상기 3차원 자막 전송 정보는 상기 서브 기본스트림에 삽입하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 생성 방법.
  19. 제 1 항에 있어서,
    상기 자막 데이터는 CEA-608 클로즈드 캡션(Closed Caption) 데이터 및 CEA-708 클로즈드 캡션 데이터 중 적어도 하나를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 생성 방법.
  20. 디지털 자막 방송을 위한 방송 비트스트림을 수신하는 방법에 있어서,
    2차원 비디오 및 3차원 비디오 중 적어도 하나의 부호화된 비디오 데이터를 포함하는 비트스트림을 수신하는 단계;
    상기 수신된 비트스트림을 역다중화하고 파싱하여, 상기 비트스트림으로부터 상기 부호화된 비디오 데이터, 상기 비디오와 함께 재생하기 위한 자막 데이터와, 상기 자막 데이터를 3차원 자막으로 재생하기 위한 오프셋의 변환 속도에 대한 정보를 포함하는 3차원 자막 변환 정보를 추출하는 단계; 및
    상기 3차원 자막 변환 정보에 기초하여, 비디오 화면 상에서 상기 자막 데이터의 자막 재생 형태를 결정하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 방법.
  21. 제 20 항에 있어서, 상기 디지털 자막 방송 비트스트림 수신 방법은,
    상기 부호화된 비디오 데이터를 복호화하여 상기 2차원 비디오 및 3차원 비디오 중 적어도 하나의 비디오를 복원하는 단계; 및
    상기 3차원 자막 변환 정보에 기초하여 결정된 상기 자막 데이터의 재생 형태에 따라, 상기 비디오 화면 상에서 상기 자막 데이터를 3차원 자막으로 재생하는 단계를 더 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 방법.
  22. 제 20 항에 있어서, 상기 추출 단계는,
    상기 자막 데이터를 상기 디지털 방송 비트스트림의 픽처 사용자 데이터 영역, 자막 서비스 데이터 영역 및 섹션 테이블 영역 중 적어도 하나로부터 추출하는 단계; 및
    상기 3차원 자막 변환 정보를 상기 비트스트림의 자막 서비스 블록, 자막 윈도우 명령어 및 상기 섹션 테이블 영역 중 적어도 하나로부터 추출하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 방법.
  23. 제 21 항에 있어서, 상기 자막 데이터 재생 형태 결정 단계는,
    상기 3차원 자막 변환 정보에 기초하여, 주시점 자막 윈도우 및 부가시점 자막 윈도우 중 적어도 하나를 포함하는 자막 윈도우의 위치와, 상기 자막 윈도우 및 자막 폰트 중 적어도 하나의 크기를 결정하는 단계를 포함하고,
    상기 재생 단계는,
    상기 복원된 비디오의 주시점 비디오 및 부가시점 비디오에 각각 상기 주시점 자막 및 상기 부가시점 자막을 합성하는 단계; 및
    상기 주시점 자막과 상기 주시점 비디오가 합성된 주시점 화면과 상기 부가시점 자막과 상기 부가시점 비디오가 합성된 부가시점 화면을 재생하는 단계를 포함하는 것을 특징으로 하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 방법.
  24. 제 22 항에 있어서, 상기 추출 단계는,
    상기 비트스트림의 비디오스트림의 사용자 데이터 영역으로부터 3차원 자막 서비스 블록을 추출하는 단계; 및
    상기 3차원 자막 서비스 블록으로부터, 상기 비트스트림의 상기 자막 데이터를 3차원 자막으로 재생하기 위하여 필요한 주시점 자막 및 부가시점 자막의 뎁스, 변이 및 양안 시차 중 적어도 하나를 포함하는 3차원 자막 오프셋 정보를 추출하는 단계를 포함하고,
    상기 자막 데이터 재생 형태 결정 단계는,
    상기 3차원 자막 오프셋 정보에 기초하여, 주시점 자막 윈도우 및 부가시점 자막 윈도우의 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 방법.
  25. 제 22 항에 있어서, 상기 추출 단계는,
    상기 비트스트림의 자막 서비스 데이터 영역으로부터 상기 3차원 자막 오프셋 명령어를 추출하는 단계를 포함하고,
    상기 자막 데이터 재생 형태 결정 단계는,
    상기 3차원 자막 오프셋 명령어에 기초하여, 상기 자막 서비스 블록별로 상기 자막 데이터를 3차원 자막으로 재생하기 위하여 필요한 주시점 자막 및 부가시점 자막의 뎁스, 변이 및 양안 시차 중 적어도 하나를 포함하는 3차원 자막 오프셋 정보를 판독하는 단계; 및
    상기 3차원 자막 오프셋 정보에 기초하여, 상기 자막 서비스 블록별로 주시점 자막 윈도우 및 부가시점 자막 윈도우의 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 방법.
  26. 제 22 항에 있어서, 상기 추출 단계는,
    상기 섹션 테이블 영역의 PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 캡션 서비스 서술자의 예비 영역으로부터 상기 비트스트림의 상기 자막 데이터를 3차원 자막으로 재생하기 위하여 필요한 주시점 자막 및 부가시점 자막의 뎁스, 변이 및 양안 시차 중 적어도 하나를 포함하는 3차원 자막 오프셋 정보를 추출하는 단계를 포함하고,
    상기 자막 데이터 재생 형태 결정 단계는,
    상기 3차원 자막 오프셋 정보에 기초하여, 주시점 자막 윈도우 및 부가시점 자막 윈도우의 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 방법.
  27. 제 22 항에 있어서, 상기 추출 단계는,
    상기 비트스트림의 자막 서비스 데이터 영역으로부터, 3차원 자막 윈도우의 목표 오프셋을 나타내는 목표 오프셋 정보 및 상기 자막의 오프셋 변환이 발생하는 구간을 나타내는 자막 오프셋 변환 구간 정보를 포함하는 자막 오프셋 변환 속도 정보를 추출하는 단계를 포함하고,
    상기 자막 데이터 재생 형태 결정 단계는,
    상기 자막 오프셋 변환 속도 정보에 기초하여, 프레임별로 주시점 자막 윈도우 및 부가시점 자막 윈도우의 오프셋을 결정하고 상기 주시점 자막 윈도우 및 부가시점 자막 윈도우의 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 방법.
  28. 제 27 항에 있어서, 상기 자막 오프셋 변환 속도 정보 추출 단계는,
    상기 비트스트림의 비디오스트림의 자막 서비스 데이터 영역으로부터 자막 오프셋 변환 속도 명령어를 추출하는 단계를 포함하고,
    상기 자막 데이터 재생 형태 결정 단계는,
    상기 자막 오프셋 변환 속도 명령어에 기초하여, 상기 자막 오프셋 변환 속도 정보를 판독하는 단계; 및
    상기 자막 오프셋 변환 속도 정보에 기초하여, 프레임별로 주시점 자막 윈도우 및 부가시점 자막 윈도우의 오프셋을 결정하고 상기 주시점 자막 윈도우 및 부가시점 자막 윈도우의 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 방법.
  29. 제 27 항에 있어서, 상기 자막 오프셋 변환 속도 정보 추출 단계는,
    상기 자막 오프셋 변환 속도 정보로부터, 현재 프레임 및 다음 프레임의 자막 윈도우들 간의 오프셋 변화량을 나타내는 정보, 상기 오프셋 변화량의 방향을 나타내는 정보, 상기 목표 오프셋 정보 및 상기 자막 변환이 발생하는 자막 윈도우를 나타내는 자막 변환 윈도우 식별 정보 중 적어도 하나를 추출하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 방법.
  30. 제 27 항에 있어서, 상기 자막 데이터 재생 형태 결정 단계는,
    상기 오프셋 변화량 정보에 기초하여, 현재 프레임 및 다음 프레임의 자막 윈도우들의 오프셋 간의 차이를 결정하여, 프레임별 오프셋을 결정하는 단계;
    상기 자막 변환 구간 정보에 기초하여, 자막 변환이 시작하는 프레임으로부터 완료하는 프레임까지의 프레임 개수를 결정하는 단계; 및
    상기 결정된 프레임별 오프셋과 상기 자막 변환이 발생하는 프레임 개수에 기초하여, 상기 주시점 자막 및 상기 부가시점 자막 윈도우의 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 방법.
  31. 제 22 항에 있어서, 상기 추출 단계는,
    상기 비트스트림의 자막 서비스 데이터 영역으로부터, 상기 자막 데이터의 자막 오프셋을 변환하여 재생하기 위하여, 상기 자막의 크기를 조절하기 위한 3차원 자막 크기 변환 정보를 추출하는 단계를 포함하고,
    상기 자막 데이터 재생 형태 결정 단계는,
    상기 3차원 자막 크기 변환 정보에 기초하여, 자막 윈도우의 크기 및 자막 폰트의 크기 중 적어도 하나를 결정하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 방법.
  32. 제 31 항에 있어서, 상기 자막 데이터 재생 형태 결정 단계는,
    상기 3차원 자막 크기 변환 정보에 기초하여, 상기 자막 데이터 크기가 변하는 비율을 결정하는 단계; 및
    상기 판독된 비율에 기초하여, 상기 자막 윈도우 및 상기 자막 폰트 중 적어도 하나의 크기를 결정하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 방법.
  33. 제 31 항에 있어서, 상기 3차원 자막 크기 변환 정보 추출 단계는,
    상기 비트스트림의 비디오스트림의 자막 서비스 데이터 영역으로부터 3차원 자막 크기 변환 명령어를 추출하는 단계를 포함하고,
    상기 자막 데이터 재생 형태 결정 단계는, 상기 3차원 자막 크기 변환 명령어에 기초하여, 상기 3차원 자막 크기 변환 정보를 판독하는 단계; 및
    상기 3차원 자막 크기 변환 정보에 기초하여, 상기 자막 윈도우 및 상기 자막 폰트 중 적어도 하나의 크기를 결정하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 방법.
  34. 제 25 항에 있어서, 상기 자막 데이터 재생 형태 결정 단계는,
    상기 자막 오프셋 변환 속도 명령어로부터, 상기 자막 데이터의 자막 오프셋을 변환하여 재생하기 위하여, 상기 자막의 크기를 조절하기 위한 3차원 자막 크기 변환 정보를 판독하는 단계; 및
    상기 3차원 자막 크기 변환 정보에 기초하여, 상기 자막 윈도우 및 상기 자막 폰트 중 적어도 하나의 크기를 결정하는 단계를 더 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 방법.
  35. 제 22 항에 있어서, 상기 추출 단계는,
    상기 섹션 테이블 영역의 PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 캡션 서비스 서술자로부터, 상기 비트스트림을 통해 3차원 자막 변환 정보가 전송됨을 나타내는 3차원 자막 전송 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 방법.
  36. 제 35 항에 있어서, 상기 추출 단계는,
    상기 3차원 자막 전송 정보에 기초하여, 상기 비트스트림에 3차원 자막 변환 정보가 포함되어 있음이 확인되면, 상기 자막 서비스 블록, 상기 자막 윈도우 명령어 및 상기 섹션 테이블 영역 중 적어도 하나로부터, 상기 3차원 자막 변환 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 방법.
  37. 제 35 항에 있어서,
    상기 3차원 자막 전송 정보는, 상기 자막 데이터가 3차원 자막으로 변환하여 재생되기 위하여 필요한 주시점 자막 및 부가시점 자막의 오프셋에 대한 정보, 자막 변환 속도에 대한 정보, 및 자막 크기 변환에 대한 정보 중 적어도 하나가 상기 비트스트림을 통해 전송되는지 여부를 나타내는 정보를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 방법.
  38. 제 22 항에 있어서, 상기 추출 단계는,
    상기 섹션 테이블 영역의 PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 서술자 영역으로부터, 상기 3차원 자막 서비스 블록이 전송됨을 나타내는 3차원 자막 서비스 전송 정보를 포함하는 3차원 자막 전송 서술자를 추출하는 단계; 및
    상기 3차원 자막 전송 정보에 기초하여, 상기 비트스트림에 3차원 자막 변환 정보가 포함되어 있음이 확인되면, 상기 자막 서비스 블록, 상기 자막 윈도우 명령어 및 상기 섹션 테이블 영역 중 적어도 하나로부터, 상기 3차원 자막 변환 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 방법.
  39. 제 35 항에 있어서, 상기 추출 단계는,
    상기 3차원 비디오의 주시점 비디오 데이터 및 부가시점 비디오 데이터를 각각 상기 비트스트림의 메인 기본스트림과 서브 기본스트림으로부터 추출하는 단계;
    상기 메인 기본스트림 및 상기 서브 기본스트림 중 적어도 하나로부터 상기 3차원 자막 전송 정보를 추출하는 단계; 및
    상기 3차원 자막 전송 정보에 기초하여, 상기 3차원 자막 변환 정보가 포함된 기본스트림을 결정하여 추출하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 방법.
  40. 제 39 항에 있어서, 상기 추출 단계는,
    상기 3차원 비디오의 주시점 비디오 데이터 및 부가시점 비디오 데이터를 각각 상기 비트스트림의 메인 기본스트림과 서브 기본스트림으로부터 추출하는 단계;
    상기 서브 기본스트림으로부터 상기 3차원 자막 전송 정보를 추출하는 단계; 및
    상기 3차원 자막 전송 정보에 기초하여, 상기 서브 기본스트림에 상기 3차원 자막 변환 정보가 포함된 것으로 판독되면 상기 서브 기본스트림으로부터 상기 3차원 자막 변환 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 방법.
  41. 제 39 항에 있어서, 상기 추출 단계는
    상기 메인 기본스트림 및 상기 서브 기본스트림 중 모두로부터 상기 3차원 자막 전송 정보가 추출된다면, 상기 주시점 비디오 데이터 및 상기 부가시점 비디오 데이터의 2차원 자막 우선권에 기초하여, 상기 3차원 자막 변환 정보가 포함된 기본스트림을 결정하고 추출하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 방법.
  42. 제 23 항에 있어서,
    상기 자막 데이터 재생 형태 결정 단계는, 상기 자막 데이터를 위한 복수 개의 자막 윈도우들의 오프셋들에 기초하여 상기 자막 윈도우들의 재생 위치를 결정하는 단계를 포함하고,
    상기 재생 단계는, 상기 자막 데이터를 복원하여 자막을 생성하는 단계; 및
    상기 재생 위치가 결정된 자막 윈도우들 내에 상기 자막을 표시하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 방법.
  43. 제 23 항에 있어서, 상기 자막 데이터 재생 형태 결정 단계는,
    상기 자막 데이터를 위한 복수 개의 자막 윈도우들의 2차원 자막 우선권에 기초하여, 상기 2차원 자막 우선권이 앞서는 자막 윈도우에게 오프셋을 부가하고 상기 자막 윈도우들의 재생 위치를 결정하는 단계를 포함하고,
    상기 재생 단계는,
    상기 자막 데이터를 복원하여 상기 자막을 생성하는 단계; 및
    상기 결정된 재생 위치가 결정된 자막 윈도우들 내에 상기 자막을 표시하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 방법.
  44. 제 22 항에 있어서, 상기 추출 단계는,
    상기 자막 데이터가 CEA-608 자막 데이터인 경우, 상기 비트스트림의 비디오스트림의 사용자 데이터 영역의 서비스 블록들 중 3차원 자막 서비스 블록, 및 상기 섹션 테이블 영역의 PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 캡션 서비스 서술자의 예비 영역 중 하나로부터,
    상기 비트스트림의 상기 자막 데이터를 3차원 자막으로 재생하기 위하여 필요한 주시점 자막 및 부가시점 자막의 뎁스, 변이 및 양안 시차 중 적어도 하나를 포함하는 3차원 자막 오프셋 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 방법.
  45. 제 22 항에 있어서, 상기 추출 단계는,
    상기 자막 데이터가 CEA-708 자막 데이터인 경우, 상기 비트스트림의 비디오스트림의 사용자 데이터 영역의 서비스 블록들 중 3차원 자막 서비스 블록, 상기 비트스트림의 자막 서비스 데이터 영역의 자막 윈도우 명령어들 중 3차원 자막 오프셋 명령어, 및 상기 섹션 테이블 영역의 PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 캡션 서비스 서술자의 예비 영역 중 하나로부터,
    상기 비트스트림의 상기 자막 데이터를 3차원 자막으로 재생하기 위하여 필요한 주시점 자막 및 부가시점 자막의 뎁스, 변이 및 양안 시차 중 적어도 하나를 포함하는 3차원 자막 오프셋 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 방법.
  46. 디지털 자막 방송을 위한 방송 비트스트림 생성 장치에 있어서,
    비디오 인코딩 프로세서에 의해, 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오가 부호화된 비디오 데이터를 입력받는 비디오 데이터 입력부;
    상기 비디오와 함께 재생하기 위한 자막 데이터와 상기 자막 데이터를 3차원 자막으로 재생하기 위한 오프셋의 변환 속도에 대한 정보를 포함하는 3차원 자막 변환 정보를 결정하는 3차원 자막 변환 정보 결정부; 및
    상기 부호화된 비디오 데이터, 상기 자막 데이터 및 상기 3차원 자막 변환 정보를 다중화하여 비트스트림을 출력하는 비트스트림 출력부를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 생성 장치.
  47. 디지털 자막 방송을 위한 방송 비트스트림 수신 장치에 있어서,
    2차원 비디오 및 3차원 비디오 중 적어도 하나의 부호화된 비디오 데이터를 포함하는 비트스트림을 수신하는 비트스트림 수신부;
    상기 수신된 비트스트림을 역다중화하고 파싱하여, 상기 비트스트림으로부터 상기 부호화된 비디오 데이터, 상기 비디오와 함께 재생하기 위한 자막 데이터와, 상기 자막 데이터를 3차원 자막으로 재생하기 위한 오프셋의 변환 속도에 대한 정보를 포함하는 3차원 자막 변환 정보를 추출하는 추출부; 및
    상기 3차원 자막 변환 정보에 기초하여, 비디오 화면 상에서 상기 자막 데이터의 자막 재생 형태를 결정하는 자막 결정부를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 장치.
  48. 제 47 항에 있어서, 상기 디지털 자막 방송 비트스트림 수신 장치는,
    비디오 디코딩 프로세서와 연동하여, 상기 부호화된 비디오 데이터를 복호화하여 상기 2차원 비디오 및 3차원 비디오 중 적어도 하나의 비디오를 복원하는 비디오 복원부; 및
    상기 3차원 자막 변환 정보에 기초하여 결정된 상기 자막 재생 형태에 따라, 상기 비디오 화면 상에서 상기 자막 데이터를 3차원 자막으로 재생하는 재생부를 더 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 장치.
  49. 제 1 항 내지 제 18 항 중 어느 한 항의 디지털 자막 방송 비트스트림 생성 방법을 연산 프로세서로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  50. 제 20 항 내지 제 45 항 중 어느 한 항의 디지털 자막 방송 비트스트림 수신 방법을 연산 프로세서로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020110034758A 2010-04-14 2011-04-14 디지털 자막 방송을 위한 방송 비트스트림을 생성하는 방법 및 그 장치, 디지털 자막 방송을 위한 방송 비트스트림을 수신하는 방법 및 그 장치 KR20110115103A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US32401110P 2010-04-14 2010-04-14
US61/324,011 2010-04-14
US35372510P 2010-06-11 2010-06-11
US61/353,725 2010-06-11

Publications (1)

Publication Number Publication Date
KR20110115103A true KR20110115103A (ko) 2011-10-20

Family

ID=44799188

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110034758A KR20110115103A (ko) 2010-04-14 2011-04-14 디지털 자막 방송을 위한 방송 비트스트림을 생성하는 방법 및 그 장치, 디지털 자막 방송을 위한 방송 비트스트림을 수신하는 방법 및 그 장치

Country Status (7)

Country Link
US (1) US9313442B2 (ko)
EP (1) EP2547101A4 (ko)
JP (1) JP5960679B2 (ko)
KR (1) KR20110115103A (ko)
CN (1) CN102939748B (ko)
BR (1) BR112012026194A2 (ko)
WO (1) WO2011129631A2 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140008455A (ko) * 2011-06-15 2014-01-21 에코스타 테크놀로지스 엘엘씨 비디오 프로그래밍에서 타임드 텍스트를 처리하는 시스템 및 방법
WO2015126117A1 (ko) * 2014-02-23 2015-08-27 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
WO2016159636A1 (ko) * 2015-03-30 2016-10-06 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
WO2017043836A1 (ko) * 2015-09-09 2017-03-16 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2019112398A1 (ko) * 2017-12-08 2019-06-13 주식회사 에어코드 컴패니언 스크린 서비스를 이용한 수화 방송 서비스 제공 방법 및 그 시스템

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8839338B2 (en) 2012-03-28 2014-09-16 Sony Corporation Service usage reporting data transport
EP2579583B1 (en) * 2010-06-02 2017-09-27 Hitachi Maxell, Ltd. Reception device, display control method, transmission device, and transmission method
US8234411B2 (en) * 2010-09-02 2012-07-31 Comcast Cable Communications, Llc Providing enhanced content
JP4908624B1 (ja) * 2010-12-14 2012-04-04 株式会社東芝 立体映像信号処理装置及び方法
JP5664356B2 (ja) * 2011-03-09 2015-02-04 富士通株式会社 生成装置および生成方法
US9860515B2 (en) * 2012-12-11 2018-01-02 Electronics And Telecommunications Research Institute Apparatus and method for 3D content broadcasting with boundary information
JP6331670B2 (ja) * 2014-05-12 2018-05-30 ソニー株式会社 受信装置、および送信装置、並びにデータ処理方法
KR101978222B1 (ko) 2014-07-11 2019-05-14 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
KR20170007333A (ko) 2014-07-11 2017-01-18 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
US10368144B2 (en) 2014-07-29 2019-07-30 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal
WO2016036012A1 (ko) * 2014-09-04 2016-03-10 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
RU2701172C2 (ru) * 2014-12-19 2019-09-25 Сони Корпорейшн Передающее устройство, способ передачи, приемное устройство и способ приема
EP3285492B1 (en) * 2015-04-13 2021-06-02 Sony Corporation Reproduction device and reproduction method
CN105657395A (zh) * 2015-08-17 2016-06-08 乐视致新电子科技（天津）有限公司 一种3d视频的字幕播放方法及装置
CN108028949B (zh) * 2015-09-16 2021-05-11 索尼公司 传输装置、传输方法、再现装置和再现方法
CN108965983A (zh) * 2018-09-03 2018-12-07 深圳Tcl数字技术有限公司 可隐藏字幕数据解析方法、智能电视、存储介质及装置
US11778280B1 (en) 2022-05-17 2023-10-03 Microsoft Technology Licensing, Llc Geolocation-specific subtitle generation

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004201004A (ja) 2002-12-18 2004-07-15 Nippon Telegr & Teleph Corp <Ntt> ３次元映像表示装置、プログラム、及び記録媒体
KR100585966B1 (ko) * 2004-05-21 2006-06-01 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
KR100796278B1 (ko) 2006-07-06 2008-01-21 주식회사 한국스테노 멀티형 수화 자막 수신장치 및 방법
JP5132690B2 (ja) 2007-03-16 2013-01-30 トムソン ライセンシング テキストを３次元コンテンツと合成するシステム及び方法
KR20090004722A (ko) 2007-07-06 2009-01-12 엘지전자 주식회사 방송 수신기 및 데이터 처리 방법
JP2009135686A (ja) 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
JP4695664B2 (ja) * 2008-03-26 2011-06-08 富士フイルム株式会社 立体動画像処理装置および方法並びにプログラム
KR20100002032A (ko) 2008-06-24 2010-01-06 삼성전자주식회사 영상 생성 방법, 영상 처리 방법, 및 그 장치
CN102067591B (zh) 2008-06-26 2014-03-19 松下电器产业株式会社 再现装置、记录装置、再现方法及记录方法
CN102100076B (zh) * 2008-07-24 2013-06-12 松下电器产业株式会社 能够进行立体视觉再生的再生装置、再生方法
EP3454549B1 (en) * 2008-07-25 2022-07-13 Koninklijke Philips N.V. 3d display handling of subtitles
EP2356820B1 (en) * 2008-12-02 2017-07-19 LG Electronics Inc. 3d caption display method and 3d display apparatus for implementing the same
JP2010250562A (ja) * 2009-04-15 2010-11-04 Sony Corp データ構造、記録媒体、再生装置および再生方法、並びにプログラム
JP5521486B2 (ja) 2009-06-29 2014-06-11 ソニー株式会社 立体画像データ送信装置および立体画像データ送信方法
JP5407957B2 (ja) 2009-06-29 2014-02-05 ソニー株式会社 立体画像データ送信装置および立体画像データ受信装置
JP2011029849A (ja) 2009-07-23 2011-02-10 Sony Corp 受信装置、通信システム、立体画像への字幕合成方法、プログラム、及びデータ構造
EP2484120B1 (en) * 2009-11-06 2018-04-11 Sony Corporation Of America Stereoscopic overlay offset creation and editing
CN101954606B (zh) 2010-08-13 2012-05-23 扬州华宇管件有限公司 一种大口径弯头机械加工夹具

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140008455A (ko) * 2011-06-15 2014-01-21 에코스타 테크놀로지스 엘엘씨 비디오 프로그래밍에서 타임드 텍스트를 처리하는 시스템 및 방법
WO2015126117A1 (ko) * 2014-02-23 2015-08-27 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
US9860574B2 (en) 2014-02-23 2018-01-02 Lg Electronics Inc. Method and apparatus for transceiving broadcast signal
WO2016159636A1 (ko) * 2015-03-30 2016-10-06 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
WO2017043836A1 (ko) * 2015-09-09 2017-03-16 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
US10237591B2 (en) 2015-09-09 2019-03-19 Lg Electronics Inc. Broadcast signal transmission device, broadcast signal reception device, broadcast signal transmission method, and broadcast signal reception method
WO2019112398A1 (ko) * 2017-12-08 2019-06-13 주식회사 에어코드 컴패니언 스크린 서비스를 이용한 수화 방송 서비스 제공 방법 및 그 시스템

Also Published As

Publication number Publication date
WO2011129631A3 (ko) 2011-12-15
CN102939748B (zh) 2015-12-16
JP5960679B2 (ja) 2016-08-02
CN102939748A (zh) 2013-02-20
BR112012026194A2 (pt) 2017-07-18
EP2547101A4 (en) 2013-12-18
US9313442B2 (en) 2016-04-12
US20130027514A1 (en) 2013-01-31
WO2011129631A2 (ko) 2011-10-20
JP2013527678A (ja) 2013-06-27
EP2547101A2 (en) 2013-01-16

Similar Documents

Publication Publication Date Title
JP5960679B2 (ja) ビットストリームの生成方法、生成装置、受信方法及び受信装置
US9083953B2 (en) 3D caption display method and 3D display apparatus for implementing the same
JP5675810B2 (ja) 付加データの三次元再生のための信号処理方法及びその装置
JP5721732B2 (ja) ビデオ付加再生情報の三次元再生のためのマルチメディア・ストリーム生成方法及びその装置、並びに受信方法及びその装置
US9253469B2 (en) Method for displaying 3D caption and 3D display apparatus for implementing the same
KR101622691B1 (ko) 3차원 캡션 신호 전송 방법 및 3차원 캡션 디스플레이 방법
JP2013026643A (ja) 受信装置、受信方法および送受信方法
KR20130046404A (ko) 디지털 단말에서의 ２ｄ 모드 재생을 위한 송신 장치, 디지털 단말에서의 ２ｄ 모드 재생 장치 및 그 방법들
JP2013026644A (ja) 受信装置、受信方法および送受信方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right