WO2011129631A2 - 디지털 자막 방송을 위한 방송 비트스트림을 생성하는 방법 및 그 장치, 디지털 자막 방송을 위한 방송 비트스트림을 수신하는 방법 및 그 장치 - Google Patents

디지털 자막 방송을 위한 방송 비트스트림을 생성하는 방법 및 그 장치, 디지털 자막 방송을 위한 방송 비트스트림을 수신하는 방법 및 그 장치 Download PDF

Info

Publication number
WO2011129631A2
WO2011129631A2 PCT/KR2011/002668 KR2011002668W WO2011129631A2 WO 2011129631 A2 WO2011129631 A2 WO 2011129631A2 KR 2011002668 W KR2011002668 W KR 2011002668W WO 2011129631 A2 WO2011129631 A2 WO 2011129631A2
Authority
WO
WIPO (PCT)
Prior art keywords
subtitle
caption
offset
information
bitstream
Prior art date
Application number
PCT/KR2011/002668
Other languages
English (en)
French (fr)
Other versions
WO2011129631A3 (ko
Inventor
조봉제
김용태
장용석
이대종
김재승
서주희
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US13/641,327 priority Critical patent/US9313442B2/en
Priority to CN201180029524.8A priority patent/CN102939748B/zh
Priority to EP11769097.4A priority patent/EP2547101A4/en
Priority to JP2013504834A priority patent/JP5960679B2/ja
Priority to BR112012026194A priority patent/BR112012026194A2/pt
Publication of WO2011129631A2 publication Critical patent/WO2011129631A2/ko
Publication of WO2011129631A3 publication Critical patent/WO2011129631A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6433—Digital Storage Media - Command and Control Protocol [DSM-CC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame

Definitions

  • the present invention relates to a method of transmitting and receiving digital broadcast content for providing two-dimensional content or three-dimensional content.
  • the digital broadcast transmission system may provide a caption service for display on a video screen while providing video content and audio content through a broadcast program.
  • the digital broadcast reception system may reproduce video content on which subtitles are displayed by decoding the transmitted video data to restore the video content, and synthesizing the subtitles generated using the subtitle data received through the subtitle service.
  • a digital broadcast reception system supporting 3D video may receive 3D broadcast content and reproduce 3D video. Due to the spread of 3D video broadcast content, as the reproduction method of broadcast content changes, additional functions of the broadcast receiving system are also required to be changed.
  • the present invention discloses a method of providing three-dimensional caption information for implementing three-dimensional captions using two-dimensional caption data through a digital broadcast stream, and implementing three-dimensional captions using three-dimensional caption information.
  • a method of generating a broadcast bitstream for digital caption broadcasting may include receiving video data encoded with a video including at least one of two-dimensional video and three-dimensional video; Determining 3D subtitle conversion information including subtitle data for reproducing with the video and information on a conversion speed of an offset for reproducing the subtitle data as 3D subtitles; And outputting a bitstream for digital broadcasting by multiplexing the encoded video data, the caption data, and the 3D caption conversion information.
  • the 3D subtitle conversion information, the 3D subtitle offset information, and the like, using the free space of the service block, the subtitle window command, or the section table area of the bitstream are generated by the digital broadcast bitstream.
  • Subtitle offset conversion rate information, 3D subtitle size conversion information, and 3D subtitle transmission information may be transmitted and received.
  • the two-dimensional subtitle playback state and the three-dimensional subtitle playback state can be prevented from being changed suddenly, the subtitle size can be adjusted in proportion to the change of the subtitle depth, Since the reproduction order may be set by giving priority to 3D subtitles among a plurality of subtitle windows overlapping each other, a visually natural 3D broadcast program may be provided to a TV viewer.
  • FIG. 1 is a block diagram of an apparatus for generating a digital caption broadcasting bitstream for digital caption broadcasting according to an embodiment.
  • FIGS. 2A and 2B illustrate block diagrams of an apparatus for receiving digital caption broadcasting bitstreams for digital caption broadcasting, respectively, according to an exemplary embodiment.
  • FIG. 3 illustrates a structure of DTV-CC (Digital TV Closed Caption) subtitle data of a DTV (Digital TV) bitstream.
  • DTV-CC Digital TV Closed Caption
  • FIG. 5 illustrates a DTV CC Code Set Table in accordance with CEA-708.
  • FIG. 6 illustrates syntax of a caption service descriptor (PMT) area or an event information table (EIT) area.
  • PMT caption service descriptor
  • EIT event information table
  • FIG. 8 illustrates a phenomenon in which a depth is reversed between an object and a subtitle window in a 3D subtitle.
  • FIG 9 illustrates a service block for transmitting 3D caption offset information according to an embodiment.
  • FIG. 10 illustrates a 3D subtitle offset command according to an embodiment.
  • 11 and 12 illustrate embodiments of determining a 3D caption window using a 3D caption service block and a 3D caption offset command according to an embodiment, respectively.
  • FIG. 13 is a block diagram of a video decoding system for reproducing caption data as 3D captions using 3D caption offset information according to an embodiment.
  • FIG. 14 is a flowchart of a method of reproducing captions using 3D caption offset information according to an exemplary embodiment.
  • 15 illustrates a subtitle offset conversion speed command according to an embodiment.
  • 16 illustrates a graph of offset changes of 3D subtitles using subtitle offset conversion rate information, according to an exemplary embodiment.
  • FIG. 17 illustrates a 3D caption processing screen using caption offset conversion speed information according to an embodiment.
  • 18 is a graph of offset change of 3D subtitles using subtitle offset conversion rate information according to another exemplary embodiment.
  • 19 illustrates a change in the size of a subtitle according to the change in the depth of the subtitle.
  • FIG. 20 illustrates a 3D subtitle size conversion command according to an embodiment.
  • 21 illustrates a caption offset conversion speed command for additionally setting 3D caption size conversion information according to an embodiment.
  • FIG. 22 illustrates a case in which two elementary streams include two-dimensional DTV closed caption information and three-dimensional DTV closed caption information in a system for transmitting two elementary streams according to an embodiment.
  • 23 and 24 illustrate a method of playing a subtitle window when two or more subtitle windows configured according to an embodiment collide with each other.
  • 25 is a flowchart of a method of generating a digital caption broadcasting bitstream for digital caption broadcasting according to an embodiment.
  • FIG. 26 is a flowchart of a method of receiving a digital caption broadcasting bitstream for digital caption broadcasting according to an embodiment.
  • a method of generating a broadcast bitstream for digital caption broadcasting may include receiving video data encoded with a video including at least one of two-dimensional video and three-dimensional video; Determining 3D subtitle conversion information including subtitle data for reproducing with the video and information on a conversion speed of an offset for reproducing the subtitle data as 3D subtitles; And outputting a bitstream for digital broadcasting by multiplexing the encoded video data, the caption data, and the 3D caption conversion information.
  • the bitstream outputting step may include inserting the caption data into at least one of a picture user data area, a caption service data area, and a section table area of the digital broadcast bitstream; And inserting the 3D subtitle conversion information into at least one of a subtitle service block, a subtitle window command, and the section table area of the bitstream.
  • a method for receiving a broadcast bitstream for digital caption broadcasting includes: receiving a bitstream including at least one encoded video data of two-dimensional video and three-dimensional video; Demultiplexing and parsing the received bitstream to convert the encoded video data from the bitstream, subtitle data for playing with the video, and offset for reproducing the subtitle data into three-dimensional subtitles. Extracting 3D subtitle conversion information including the information; And determining a reproduction type of the caption data on the video screen based on the 3D caption conversion information.
  • the method for receiving a digital caption broadcasting bitstream may include: reconstructing at least one of the two-dimensional video and the three-dimensional video by decoding the encoded video data; And reproducing the caption data as 3D captions on the video screen according to a reproduction type of the caption data determined based on the 3D caption conversion information.
  • the video data processor receives video data encoded with video including at least one of two-dimensional video and three-dimensional video by a video encoding processor.
  • An input unit A 3D subtitle conversion information determining unit for determining 3D subtitle conversion information including information about the subtitle data for reproducing with the video and an offset rate for reproducing the subtitle data as 3D subtitles;
  • a bitstream output unit configured to multiplex the encoded video data, the caption data, and the 3D caption conversion information to output a bitstream.
  • An apparatus for receiving a broadcast bitstream for digital caption broadcasting includes: a bitstream receiver configured to receive a bitstream including at least one encoded video data of 2D video and 3D video; Demultiplexing and parsing the received bitstream to convert the encoded video data from the bitstream, subtitle data for playing with the video, and offset for reproducing the subtitle data into three-dimensional subtitles.
  • a caption determination unit that determines a reproduction type of the caption data on the video screen based on the 3D caption conversion information.
  • the digital caption broadcasting bitstream receiving apparatus may include: a video reconstructing unit configured to reconstruct at least one of the two-dimensional video and the three-dimensional video by decoding the encoded video data in association with a video decoding processor; And a playback unit for reproducing the caption data as 3D captions on the video screen according to the reproduction type of the caption data determined based on the 3D caption conversion information.
  • the present invention includes a computer-readable recording medium having recorded thereon a program for implementing a method for generating a digital caption broadcasting bitstream according to an embodiment.
  • the present invention includes a computer-readable recording medium having recorded thereon a program for implementing a method for receiving a digital caption broadcasting bitstream according to an embodiment.
  • a digital subtitle broadcasting bitstream including subtitle information for reproducing a 3D subtitle according to an embodiment of the present invention for digital broadcasting providing 2D video or 3D video is provided.
  • a method and apparatus therefor, and a method and apparatus for receiving a digital broadcast bitstream will be described in detail.
  • a method and apparatus for reproducing a 3D subtitle using subtitle information according to an embodiment are described in detail.
  • FIG. 1 is a block diagram of an apparatus 100 for generating a digital caption broadcasting bitstream for digital caption broadcasting according to an embodiment.
  • the digital caption broadcasting bitstream generating apparatus 100 includes a video data input unit 110, a 3D caption conversion information determiner 120, and a bitstream output unit 130.
  • the digital caption broadcasting bitstream generating apparatus 100 may include three-dimensional caption conversion information according to an exemplary embodiment, which may include various pieces of information necessary for smoothly reproducing video data, caption data, and caption data into three-dimensional captions. Create a bitstream comprising a.
  • the digital caption broadcasting bitstream generating apparatus 100 may generate a bitstream for a terrestrial DTV broadcasting system according to an Advanced Television Systems Committee (ATSC) scheme.
  • ATSC Advanced Television Systems Committee
  • the video data input unit 110 receives video data encoded with video from a video encoding processor.
  • the digital caption broadcasting bitstream generating apparatus 100 may include a video encoding at least one of two-dimensional video and three-dimensional video in order to provide a two-dimensional video broadcasting service or a three-dimensional video broadcasting service. Receive video data.
  • the 3D subtitle conversion information determiner 120 determines 3D subtitle conversion information including subtitle data for reproducing together with video data and information for reproducing the subtitle data into 3D subtitles.
  • the 3D subtitle conversion information may include information about a conversion speed of an offset for reproducing the subtitle data as a 3D subtitle.
  • the 3D subtitle conversion information determiner 120 may determine DTV-CC subtitle data according to CEA-608 or CEA-708.
  • the bitstream output unit 130 may include encoded video data output from the video data input unit 110, subtitle data and 3D caption conversion information output from the 3D caption conversion information determiner 120. Is inputted and multiplexed to output a bitstream.
  • the bitstream output unit 130 may configure a bitstream including encoded video data, caption data, and 3D caption conversion information based on the MPEG-2 TS system.
  • the encoded video data may be inserted into a picture data area of a video stream of a digital broadcast bitstream and transmitted.
  • the caption data may be included in at least one of a picture user data area, a caption service data area, and a section table area of the video stream and transmitted.
  • the bitstream output unit 130 may insert 3D subtitle conversion information into at least one of a subtitle service block, a subtitle window command, and a section table area of the bitstream.
  • the bitstream output unit 130 may multiplex the bitstreams and transmit the multiplexed bitstreams in the form of a transport stream.
  • the 3D subtitle conversion information determiner 120 determines the 3D subtitle conversion information according to an embodiment
  • the bitstream output unit 130 transmits the 3D subtitle conversion information according to an embodiment. It is detailed.
  • the 3D subtitle conversion information determiner 120 may include 3D subtitle offset information, subtitle offset conversion speed information, 3D subtitle size conversion information, and 3D subtitle conversion information as 3D subtitle conversion information. At least one of 3D subtitle transmission information indicating that transmission is determined may be determined.
  • the 3D subtitle offset information may indicate a subtitle offset required for reproducing the subtitle data as a 3D subtitle, and the subtitle offset may indicate an offset between a gaze-point subtitle window and an additional view subtitle window.
  • the offset of the gaze-point caption window and the additional-view caption window may include at least one of a depth, a transition, and a binocular disparity between the gaze-point caption window and the additional-view caption window.
  • the offset of the gaze subtitle window and the additional view subtitle window may include at least one of a depth, transition, and binocular disparity from the zero plane to the viewpoint subtitle or the additional view subtitle.
  • the bitstream output unit 130 may generate a 3D subtitle service block including 3D subtitle offset information and insert the 3D subtitle service block into a user data area of a video stream of the digital broadcast bitstream.
  • the bitstream output unit 130 may transmit 3D subtitle offset information together with the subtitle data included in the current subtitle service block. have.
  • the bitstream output unit 130 may determine a 3D caption offset command for setting 3D caption offset information based on the caption window command format.
  • the 3D subtitle offset command according to an embodiment may designate 3D subtitle offset information for each subtitle service.
  • the bitstream output unit 130 may insert a caption window command based on the CEA-708 into the caption service data area of the bitstream.
  • the caption service data area may be included in the caption service block.
  • the 3D subtitle offset command according to an embodiment of the present invention may include a 3D subtitle offset command. Can be inserted into the subtitle service data area. Therefore, the 3D caption offset command according to an embodiment may be transmitted together with the caption data of the caption service block.
  • the bitstream output unit 130 may insert 3D caption offset information into a spare area of a caption service descriptor of at least one table area of the PMT area and the EIT area of the section table area.
  • the bitstream output unit 130 may generate a descriptor including the 3D subtitle offset information and insert the descriptor into at least one descriptor region of the PMT region and the EIT region of the section table region.
  • the bitstream output unit 130 according to an embodiment generates and transmits a bitstream by multiplexing the section table and the video stream, thereby performing a three-dimensional operation together with the video data of the video stream, the section table or the caption data included in the video stream. Subtitle offset information may be transmitted.
  • Subtitle offset conversion speed information may include target offset information indicating a target offset of a 3D subtitle window and a section in which subtitle offset conversion occurs in order to prevent abrupt conversion of a subtitle offset of a 3D subtitle.
  • Subtitle conversion section information may be included.
  • the bitstream output unit 130 may determine a caption offset conversion speed command for setting caption offset conversion speed information based on the caption window command format.
  • the subtitle offset conversion rate command may set subtitle offset conversion rate information for each subtitle window of the current subtitle service.
  • the bitstream output unit 130 inserts a subtitle offset conversion rate command into a subtitle service data area of a video stream of a digital broadcast bitstream and transmits the bitstream, thereby together with the subtitle data of the current subtitle service block.
  • Subtitle offset conversion rate information may be transmitted.
  • the subtitle offset conversion rate information may include information indicating an offset change amount between subtitle windows of a current frame and a next frame, information indicating a direction of the offset change amount, target offset information, and a subtitle indicating a subtitle window in which subtitle conversion occurs. It may include at least one of the conversion window identification information.
  • the offset change amount information for the 3D caption may indicate a difference between the offset of the current frame and the offset of the next frame.
  • Subtitle conversion interval information for 3D subtitles may indicate the number of frames from a frame at which subtitle conversion starts to a frame at which it is completed.
  • the 3D subtitle conversion information determiner 120 may determine 3D subtitle size conversion information including information for adjusting the size of the subtitle in order to convert the subtitle data by converting the subtitle offset. .
  • the 3D subtitle size conversion information according to an embodiment may indicate a rate at which the subtitle size changes.
  • the size of the subtitle according to an embodiment may include at least one of the size of the subtitle window and the size of the subtitle font.
  • the bitstream output unit 130 may determine a 3D subtitle size conversion command for setting 3D subtitle size conversion information based on the subtitle window command format.
  • the 3D subtitle size conversion command according to an embodiment may set 3D subtitle size conversion information for each subtitle window of the current subtitle service.
  • the bitstream output unit 130 transmits a bitstream by inserting a 3D subtitle size conversion command into the subtitle service data area of the video stream of the digital broadcast bitstream, thereby transmitting the subtitle data of the current subtitle service block.
  • 3D subtitle size conversion information can be transmitted together.
  • the bitstream output unit 130 may modify the subtitle offset conversion rate command such that the subtitle offset conversion rate command further sets three-dimensional subtitle size conversion information.
  • the bitstream output unit 130 may include 3D caption transmission information indicating that 3D caption conversion information is transmitted through a bitstream, and may include at least one table area of the PMT region and the EIT region of the section table region. Can be inserted into the caption service descriptor.
  • the 3D subtitle transmission information may indicate whether at least one of the 3D subtitle offset information, the subtitle offset conversion speed information, and the 3D subtitle size conversion information is transmitted through the bitstream.
  • the bitstream output unit 130 generates a 3D subtitle transmission descriptor including 3D subtitle transmission information indicating that 3D subtitle conversion information, 3D subtitle data, etc. are transmitted, and generates a PMT region and an EIT.
  • the 3D subtitle transmission descriptor may be inserted into the descriptor area of at least one table area of the area.
  • the bitstream output unit 130 may include 3D caption service block transmission information indicating that the 3D caption service block is transmitted and 3D caption window command transmission information indicating that the 3D caption window command is transmitted. At least one may be inserted into a caption service descriptor of at least one table area of the PMT area and the EIT area and transmitted.
  • the bitstream output unit 130 when transmitting two video elementary streams, the watch video data and the additional view video data of the 3D video are included in the main video elementary stream and the sub video elementary stream. Can be inserted.
  • the bitstream output unit 130 according to an embodiment may insert 3D subtitle conversion information and 3D subtitle transmission information according to an embodiment into at least one of a main video elementary stream and a sub video elementary stream.
  • the bitstream output unit 130 may not support 3D subtitles.
  • 3D subtitle conversion information and 3D subtitle transmission information may be inserted into the sub elementary stream.
  • FIGS. 2A and 2B illustrate block diagrams of the digital caption broadcasting bitstream receivers 200 and 270 for digital caption broadcasting, respectively, according to an exemplary embodiment.
  • the digital caption broadcasting bitstream receivers 200 and 270 including caption information of digital broadcasting include a bitstream receiver 210, an extractor 220, and a caption determiner 230.
  • the apparatus for receiving digital caption broadcasting bitstreams 200 and 270 may include various types of information necessary to smoothly reproduce video data, caption data, and caption data as three-dimensional captions. Receive a bitstream containing conversion information.
  • the apparatus for receiving digital caption broadcasting bitstreams 200 and 270 according to an embodiment may receive a bitstream for a terrestrial DTV broadcasting system according to the ATSC scheme.
  • the bitstream receiver 210 receives a bitstream including encoded video data of at least one of 2D video and 3D video.
  • the bitstream receiver 210 may receive a bitstream in the form of a transport stream.
  • the extractor 220 demultiplexes and parses the received bitstream to extract encoded video data, subtitle data for reproduction with video, and 3D subtitle conversion information from the bitstream.
  • the 3D subtitle conversion information may correspond to the 3D subtitle conversion information determined by the digital caption broadcasting bitstream generation apparatus 100 described above with reference to FIG. 1.
  • the extractor 220 may extract caption data from at least one of a picture user data area, a caption service data area, and a section table area of a digital broadcast bitstream.
  • the extractor 220 may extract 3D subtitle conversion information from at least one of a subtitle service block, a subtitle window command, and a section table area of the bitstream.
  • the extractor 220 may include 3D subtitle conversion information, 3D subtitle offset information, subtitle offset conversion speed information, 3D subtitle size conversion information, and 3D subtitle conversion information. At least one of the subtitle transmission information may be extracted.
  • the caption determiner 230 determines the reproduction form of the caption on the video screen based on the 3D caption conversion information extracted by the extractor 220.
  • the caption determination unit 230 may determine a caption by restoring a character, an icon, or the like using caption data extracted from the bitstream.
  • the digital caption broadcasting bitstream receiving apparatus 270 may determine a bitstream receiving unit 210, an extracting unit 220, and a caption of the digital caption broadcasting bitstream receiving apparatus 270, according to an exemplary embodiment.
  • the video restoration unit 240 and the playback unit 250 may be further included. Since the digital broadcast stream receiving apparatus 270 includes all the components of the digital broadcast stream receiving apparatus 200, all of the operations of the digital broadcast stream receiving apparatus 200 may be performed.
  • the video reconstructor 240 receives the video data extracted by the extractor 220, and interworks with a video decoding processor to decode the encoded video data, and to perform 2D and 3D video. At least one of the video may be restored. In the case of three-dimensional video, the watch-point video and one or more additional view video may be restored.
  • the playback unit 250 receives the video restored by the video restoring unit 240 and the caption data extracted by the extraction unit 120, and determines the caption determined by the caption determination unit 130. According to the reproduction type, the restored video and the caption data can be synthesized to reproduce the 3D caption on the video screen.
  • the reproduction form of the subtitle may include a position and size of the subtitle window, a size of the subtitle font, and a 3D subtitle priority of the subtitle.
  • the determining of the position or size of the caption window may include determining the position and size of the gaze point caption window and the additional view caption window.
  • the caption determination unit 230 may determine the position and size of the caption window and the size of the caption font based on the 3D caption conversion information.
  • the playback unit 250 synthesizes the watchpoint subtitles and the additional-view subtitles into the watch-point video and the additional-view video of the reconstructed video, respectively.
  • the view of the view of the additional view caption and the additional view video can be reproduced.
  • the extractor 220 may extract the 3D subtitle service block from the user data area of the video stream of the digital broadcast bitstream.
  • the extractor 220 may extract 3D caption offset information from the 3D caption service block.
  • the extractor 220 may extract a 3D caption offset command from the caption service data area of the bitstream.
  • the 3D caption determination unit 230 may read 3D caption offset information for each caption service based on the 3D caption offset command.
  • the extractor 220 may extract 3D caption offset information from a spare area of a caption service descriptor of at least one table area among the PMT area and the EIT area of the section table area.
  • the extractor 220 extracts a descriptor including 3D caption offset information from at least one descriptor area of the PMT region and the EIT region of the section table region, and extracts the 3D caption offset information from the descriptor. Can be extracted.
  • the 3D caption determination unit 230 reads the offset of the 3D caption window based on the 3D caption offset information according to the embodiment extracted by the extractor 220, and then looks at the gaze point. The position of the subtitle window and the additional view subtitle window may be determined. According to an exemplary embodiment, the 3D caption determination unit 230 may include, as an offset of the 3D caption window, at least one of a depth, transition, and binocular disparity between the viewpoint caption window and the additional view caption window, or the zero point caption from the zero plane. Alternatively, at least one of depth, variation, and binocular disparity up to the additional view subtitle may be read.
  • the extractor 220 may extract caption offset conversion speed information including target offset information and caption conversion interval information from the caption service data area of the bitstream.
  • the caption determination unit 230 may include determining an offset of a caption window for each frame based on the caption offset conversion speed information and determining positions of a gaze point caption window and an additional view caption window. Can be.
  • the extractor 220 may extract a caption offset conversion rate command from a caption service data area of a video stream of a digital broadcast bitstream.
  • the caption determination unit 230 may read caption offset conversion speed information based on the caption offset conversion speed command.
  • the extractor 220 may include information indicating an offset change amount between subtitle windows of a current frame and a next frame, information indicating a direction of the offset change amount, target offset information, and subtitle conversion from the subtitle offset conversion rate information. At least one of subtitle conversion window identification information indicating a generated subtitle window may be extracted.
  • the caption data reproduction form determiner 230 may determine the offset for each frame by determining a difference between the offset of the current frame and the offset of the next frame based on the offset change amount information. Also, the caption determination unit 240 according to an exemplary embodiment may determine the number of frames from the frame at which the caption conversion starts to the frame to be completed based on the caption conversion interval information. The caption determination unit 230 according to an embodiment may determine the offset of the caption window for each frame based on the target offset and the number of frames in which the caption conversion occurs. Also, the caption determination unit 230 according to an exemplary embodiment may determine positions of the gaze-point caption window and the additional-view caption window based on the determined offset of the caption window for each frame.
  • the extractor 220 may extract 3D caption size conversion information from the caption service data area of the bitstream.
  • the caption determination unit 230 may determine the size of the caption based on the 3D caption size conversion information.
  • the determining of the subtitle size may include at least one of determining the size of the subtitle window and determining the subtitle font size.
  • the caption determination unit 240 may read a ratio of changing the caption data size based on the 3D caption size conversion information, and determine the size of the caption based on the read ratio.
  • the extractor 220 may extract a 3D caption size conversion command from the caption service data area of the video stream of the digital broadcast bitstream.
  • the subtitle determiner 240 may read the 3D subtitle size conversion information based on the 3D subtitle size conversion command, and determine the size of the subtitle based on the 3D subtitle size conversion information. have.
  • the extractor 220 may read the 3D subtitle size conversion information from the subtitle offset conversion speed command and determine the size of the subtitle based on the 3D subtitle size conversion information. .
  • the extractor 220 transmits 3D captions indicating that 3D caption conversion information is transmitted through a bitstream from a caption service descriptor of at least one table region among a PMT region and an EIT region of a section table region. Information can be extracted.
  • the extractor 220 may recognize that the 3D subtitle transmission information is inserted in the received bitstream based on the 3D subtitle transmission information. Accordingly, the extractor 220 according to an embodiment may include inserting 3D caption offset information, caption offset conversion rate information, and 3D caption size conversion information into the bitstream based on the 3D caption transmission information. You can check and extract the information.
  • the extractor 220 may extract 3D caption transmission information indicating that 3D caption information is transmitted from a descriptor region of at least one table region among a PMT region and an EIT region of a section table region. .
  • the extractor 220 may extract 3D caption service transmission information indicating that the 3D caption service block is transmitted from at least one table area of the PMT region and the EIT region of the section table region.
  • the extractor 220 may extract 3D caption window command transmission information indicating that the 3D caption window command is transmitted from at least one table area of the PMT area and the EIT area of the section table area. Can be.
  • the extractor 220 may include at least one of a subtitle service block, a subtitle window command, and a section table area. Three-dimensional subtitle conversion information can be extracted from one.
  • the extractor 220 may extract gaze point video data and additional view video data from the 3D video from the main base stream and the sub base stream of the bitstream, respectively.
  • the extractor 220 extracts 3D subtitle transmission information from at least one of the main elementary stream and the sub elementary stream, and based on the 3D subtitle transmission information, a basic including 3D subtitle conversion information.
  • the stream can be determined and three-dimensional subtitle conversion information can be extracted therefrom.
  • the extractor 220 may extract 3D subtitle transmission information from only the sub elementary stream. Based on the 3D subtitle transmission information according to an embodiment, when the 3D subtitle conversion information is read in the sub elementary stream, the 3D subtitle conversion information may be extracted from the sub elementary stream. In this case, if it is read that the sub elementary stream does not include the 3D subtitle conversion information based on the 3D subtitle transmission information according to an embodiment, the 3D subtitle conversion information is not detected for the main elementary stream. Do not play the 3D subtitle.
  • the extractor 220 if the 3D subtitle transmission information is extracted from both the main elementary stream and the sub elementary stream, the extractor 220 according to the reproduction priority of the watch video data and the additional view video data, the 3D caption A base stream including the conversion information may be determined, and 3D subtitle conversion information may be extracted from the base stream.
  • the subtitle according to an embodiment may be displayed in the subtitle window.
  • the digital caption broadcasting bitstream receiving apparatus 270 plays a plurality of caption windows for displaying captions, collisions between caption windows may occur.
  • the subtitle determiner 230 may determine the 3D subtitle priority of the subtitle windows and determine the playback position based on the offsets of the subtitle windows.
  • the caption determination unit 230 may determine a playback position of the caption windows by giving a high caption priority and adding an offset to the caption window prior to the 2D caption priority.
  • the playback unit 250 may determine a caption based on the caption data, and display the caption in a plurality of caption windows in which a playback position is determined based on an offset of the caption window or a 3D caption priority. .
  • the extractor 220 may include a three-dimensional caption service block and one of a spare area of a caption service descriptor of at least one table area among a PMT area and an EIT area. 3D subtitle offset information may be extracted for each service block.
  • the extractor 220 may include captions of a 3D caption service block, a 3D caption offset command, and a table area of at least one of the PMT area and the EIT area. Three-dimensional caption offset information may be extracted from one of the reserved areas of the service descriptor.
  • FIG. 3 shows a structure of DTV-CC subtitle data of the bitstream 300.
  • the DTV bitstream 300 which is a DTV system signal, is formed by multiplexing a control signal 380 including a video stream 310, an audio stream 320, a PMT region 380, and an EIT region 390.
  • the subtitle transmission channel 350 is transmitted through the user data area 340 of the video bitstream 310.
  • the caption transmission channel 350 transmits a caption channel 370 including NTSC caption data 360 according to CEA-608 and caption service data 371 and 373 according to CEA-708.
  • the caption-related data may be included in the user data area 340, the PMT area 380, and the EIT area 390 of the video stream 310.
  • the caption service data 371 and 373 include caption text data and caption window commands in accordance with CEA-708.
  • subtitle channel service directory information 385 and 395 may be transmitted through the PMT area 380 and the EIT area 390, respectively.
  • Subtitle channel service directory information 385, 395 describes the type and attributes of the subtitle service.
  • FIG. 4 shows a protocol model 400 of a closed caption channel.
  • a caption data channel is configured based on the protocol model 400 of the caption channel, and a hierarchical structure of caption transmission can be described.
  • the caption channel data is divided into five layers: a transport layer (410), a packet layer (420), a service layer (420), a coding layer (440), and an interpretation layer (450). It consists of two hierarchies.
  • the DTV signal data 415 of the transport layer 410 corresponds to the transport stream form of the DTV bitstream of FIG. 3 and includes a video stream 310, an audio stream 320, PMT information 380, or EIT information. 390 and the like are multiplexed and transmitted over the DTV signal data 415.
  • subtitle channel data is transmitted in the form of a packet.
  • the DTV CC subtitle service blocks 431, 433, 435 of the service layer 430 are composed of a subtitle service header and subtitle service data 441, 443, 445.
  • the caption service header includes information on the number of caption data channel services, the service type and the service attribute.
  • the DTV CC subtitle service data 441, 443, and 445 describe a representation manner of the subtitle data. Code values are assigned to codeset area controls, subtitle window commands, subtitle characters and symbols.
  • the code value assigned in the coding layer 440 is defined by the DTV CC codeset table of FIG. 5.
  • the interpretation layer 450 describes the graphical user interface of the DTV CC.
  • a method of processing caption data using caption data and caption window commands 451, 452, 453, 454, 455, and 456 is described.
  • a method of generating a subtitle window for displaying a subtitle a method of transmitting a space so that characters do not overlap when the subtitle is to be displayed in italics, and the like are described.
  • FIG. 5 illustrates a DTV CC codeset table in accordance with CEA-708.
  • the codeset table of the DTV CC is classified into four code groups, namely CL, CR, GL, and GR groups.
  • the CL group includes the C0 group 510 and the C2 group 530
  • the GL group includes the G0 group 550 and the G2 570
  • the CR group includes the C1 group 520 and the C3 group 540.
  • the GR group includes a G1 group 560 and a G3 group 580.
  • the CL group and CR group are areas for assigning control codes
  • the GL group and GR group are areas for assigning letters and icons.
  • subset codes of the ASCII control codes are assigned to the C0 group 510 and subtitle control codes are assigned to the C1 group 520.
  • the C2 group 530 is a spare area for allocating various control codes, and the C3 group 540 is also a spare area for the control code set.
  • FIG. 6 shows the syntax of a caption service descriptor of a PMT area or an EIT area.
  • caption data is transmitted through a caption transmission channel, and a caption service descriptor is transmitted through a PMT area or an EIT area.
  • the caption service descriptor describes caption information such as caption type 'cc_type' 620 and language code 'language' 610 for each caption service.
  • 'cc_type' 620 indicates that digital television closed captioning service according to CEA-708 is provided, and if it is '0', it indicates that NTSC CC captioning service is provided.
  • the depths 750, 760, and 770 of the caption window may also change based on the video depth 710.
  • the depth of the subtitle window increases rapidly from the first depth 750 to the second depth 760 at time t1, and again at the time t2.
  • the depth of the subtitle window changes abruptly and the depth of the subtitle window changes abruptly, for a predetermined time from the fluctuating time t1 or t2 when a sudden change in the depth of the subtitle window occurs, the TV user visually feels awkward and, in severe cases, fatigue You may feel uncomfortable watching TV.
  • FIG. 8 illustrates a phenomenon in which a depth is reversed between an object and a subtitle window in a 3D subtitle.
  • the caption window 810 is more than the object 820. It should protrude to the side.
  • the depth 825 from the zero plane 805 of the screen 800 of the digital TV to the object 820 is larger than the depth 815 up to the subtitle window 810, the TV user 850 receives an object ( The depth reversal phenomenon occurs in a section 830 where the subtitle window 810 overlaps the 820, and the TV user 850 may visually feel awkward.
  • the digital caption broadcasting bitstream generating apparatus 100 may include 3D caption offset information, caption offset conversion speed information, 3D caption size conversion information, 3D caption transmission information, and the like as 3D caption conversion information.
  • 3D caption conversion information may include 3D caption offset information, caption offset conversion speed information, 3D caption size conversion information, 3D caption transmission information, and the like as 3D caption conversion information.
  • a bitstream including caption data and 3D caption conversion information may be generated.
  • the digital broadcast stream receiving apparatuses 200 and 270 may include 3D caption offset information, caption offset conversion rate information, 3D caption size conversion information, and 3D caption transmission information together with caption data from the received bitstream. 3D subtitle conversion information including the like can be extracted.
  • the digital broadcast stream receiving apparatuses 200 and 270 according to an exemplary embodiment may use the position and size of the caption window for the 3D caption using the 3D caption offset information, the caption offset conversion speed information, and the 3D caption size conversion information. And so on.
  • the digital broadcast stream receiving apparatus 270 may reproduce the caption data as 3D captions based on the determined position and size of the caption window.
  • the digital caption broadcasting bitstream generating apparatus 100 may determine 3D caption conversion information and display caption data. Transmitting the information together, receiving the 3D caption conversion information together with the caption data by the digital caption broadcasting bitstream receiving apparatuses 200 and 270, and the digital caption broadcasting bitstream receiving apparatus 270. An operation of reproducing a three-dimensional subtitle using subtitle data and three-dimensional subtitle conversion information will be described in detail.
  • the digital caption broadcasting bitstream generating apparatus 100 and the digital caption broadcasting bitstream receiving apparatus 200 and 270 according to the embodiment use closed captions in a caption format. It is detailed above. However, the digital caption broadcasting bitstream generating apparatus 100 and the digital caption broadcasting bitstream receiving apparatus 200 and 270 according to the exemplary embodiment use the 3D caption conversion information and the operation principle of the closed caption. It doesn't happen.
  • the caption offset of the 3D caption offset information may include at least one of a depth, a transition, and a binocular disparity between the main view caption and the additional view caption required to reproduce the caption data as the 3D caption.
  • the subtitle offset may include at least one of depth, transition, and binocular disparity from the zero plane to the viewpoint subtitle or the additional view subtitle.
  • the digital caption broadcasting bitstream generating apparatus 100 may determine the 3D caption offset information as at least one of a service block, a caption window command, and a caption service descriptor.
  • FIG 9 illustrates a service block for transmitting 3D caption offset information according to an embodiment.
  • the digital caption broadcasting bitstream generating apparatus 100 may generate a 3D caption service block 937 including 3D caption offset information.
  • the digital caption broadcasting bitstream generation apparatus 100 may insert the 3D caption service block 937 into the picture user data area of the DTV signal data 915.
  • the protocol model 900 of the DTV-CC subtitle data is a 3D generated by the digital caption broadcasting bitstream generation apparatus 100 according to an embodiment in addition to the protocol model 400 of the DTV-CC subtitle data of FIG. 4.
  • a subtitle service block 937 Through the DTV CC data packet 925 and the DTV signal data 915, the 3D caption service block 937 is transmitted along with the DTV CC caption service blocks 431, 433, and 435 including the 2D caption data. Can be.
  • Table 1 illustrates an example of a DTV CC caption service that may be generated by the digital caption broadcasting bitstream generation apparatus 100 according to an embodiment.
  • the digital caption broadcasting bitstream generating apparatus 100 may generate DTV CC caption data in the form of a plurality of caption service blocks.
  • Subtitle service blocks including two-dimensional subtitle data 'CC1', 'CC2', 'CC3' and 'CC4' according to CEA-608, subtitle services 'Service1', ..., 'Service5' according to CEA-708 , Subtitle service blocks including 'Service6' may be transmitted.
  • the digital caption broadcasting bitstream generation apparatus 100 may transmit the 3D caption service block 937 including the 3D caption conversion information according to an embodiment in the form of a service block '3D_service'. have.
  • the digital caption broadcasting bitstream generation apparatus 100 may include a 3D caption service block 937 in one of the caption service blocks having an extended service number of 7 to 63 among caption service blocks. Can be assigned.
  • the apparatus for receiving digital caption broadcasting bitstreams 200 and 270 demultiplexes the received DTV signal data 915, and the three-dimensional caption service and the DTV CC caption service blocks 431, 433 and 435 from the picture user data area. Block 937 may be extracted.
  • the digital caption broadcasting bitstream receiving apparatus 270 may select one of the DTV CC service blocks 431, 433, and 435 to extract caption data and reproduce the caption.
  • the digital caption broadcasting bitstream receiving apparatus 200 or 270 may read an offset such as depth, variation, or binocular disparity of the caption based on the 3D caption offset information of the 3D caption service block 937.
  • an offset may be added to the two-dimensional caption data of the caption service block selected to play among the DTV CC caption service blocks 431, 433, and 435 to determine positions of the gaze point caption window and the additional view caption window.
  • the existing 2D broadcast receiver cannot recognize the 3D subtitle service block according to an embodiment, the 3D subtitle conversion information according to an embodiment cannot be read. Accordingly, the existing 2D broadcast receiver may ignore the 3D caption service block according to an embodiment and reproduce 2D caption using 2D caption data of another caption service block. Therefore, the digital caption broadcasting bitstream generating apparatus 100 and the digital caption broadcasting bitstream receiving apparatus 200 and 270 according to the embodiment convert the 3D caption through the broadcasting bitstream according to the embodiment. Even if information is transmitted and received, since the 2D subtitle reproduction function of the existing 2D video receiver is guaranteed, backward compatibility with the existing 2D subtitle system can be guaranteed.
  • the digital caption broadcasting bitstream generating apparatus 100 may transmit a caption window command based on CEA-708 through caption service data of the bitstream.
  • the apparatus for generating a digital caption broadcasting bitstream 100 may determine a 3D caption offset command for setting 3D caption offset information based on a caption window command format.
  • the 3D subtitle offset command according to an embodiment may designate 3D subtitle offset information for each subtitle service.
  • the digital caption broadcasting bitstream generation apparatus 100 may determine a 3D caption offset command using the EXT1 code of the C0 group 510 in the DTV CC codeset table described above with reference to FIG. 5. have.
  • FIG. 10 illustrates a 3D subtitle offset command according to an embodiment.
  • the digital caption broadcasting bitstream generating apparatus 100 may define a 3D caption offset command 'SetBaseDepth' according to an embodiment.
  • the command code of the 3D subtitle offset command 'SetBaseDepth' may be defined as a 2-byte code in the form of "EXT1 + 0x08 + ⁇ data>".
  • the command format of the 3D subtitle offset command 'SetBaseDepth' may be 'SetBaseDepth (Base Offset Sign, Base Offset)'.
  • the parameter of the 3D caption offset command 'SetBaseDepth' may include a parameter 'bos' indicating a base offset sign and a parameter 'bof' indicating a base offset.
  • the parameter 'bos' may indicate whether the offset between the gaze-point caption window and the additional-view caption window is binocular parallax in a negative direction or a positive direction.
  • the parameter 'bof' may indicate an offset or an interval between the watch point caption window and the additional view caption window.
  • the offset between the gaze point caption window and the additional view caption window may be provided regardless of the type of caption data by the 3D caption offset command 'SetBaseDepth' according to an embodiment.
  • a transmission period of the 3D caption offset command 'SetBaseDepth' according to an embodiment may be set based on the frame rate. For example, if a 3D subtitle offset command can be transmitted for each frame section including a predetermined number of consecutive frames at one frame rate, the same offset may be applied to all the frames of the frame section.
  • the transmission period of the 3D subtitle offset command 'SetBaseDepth' may be set to the longest possible frame period within one frame rate.
  • the digital caption broadcasting bitstream receiving apparatuses 200 and 270 may extract a 3D caption offset command from the caption service data area of the bitstream.
  • the digital caption broadcasting bitstream receiving apparatuses 200 and 270 may read 3D caption offset information of the current caption service based on the 3D caption offset command.
  • the digital caption broadcasting bitstream receiving apparatuses 200 and 270 read an offset direction and an offset between the viewpoint caption window and the additional view caption window by using a three-dimensional caption offset command, and the viewpoint caption window for the three-dimensional caption. And a position of the right view subtitle window.
  • the apparatus for generating digital caption broadcasting bitstream 100 may determine 3D caption transmission information, insert the caption service descriptor of at least one table area among the PMT area and the EIT area, and transmit the same.
  • the 3D subtitle transmission information may include 3D subtitle service block transmission information indicating that the 3D subtitle service block is transmitted, and 3D subtitle window command transmission information indicating that the 3D subtitle window command is transmitted. .
  • the digital caption broadcasting bitstream generating apparatus 100 may determine at least one of the 3D caption service block transmission information and the 3D caption window command transmission information, and the caption service descriptor described above with reference to FIG. 6. Can be inserted into the spare areas (650, 660, 670).
  • the apparatus 100 for generating a digital caption broadcasting bitstream may insert 3D caption service block transmission information 'flag_3D' into the first preliminary region 650 of the caption service descriptor. If the current bitstream contains only two-dimensional subtitle data, the 'flag_3D' value can be set to zero. If the current bitstream contains three-dimensional subtitle data or a three-dimensional subtitle service block, the 'flag_3D' value can be set to one. have.
  • the digital caption broadcasting bitstream generation apparatus 100 may insert the 3D caption window command transmission information '3D_708_CC' into the third preliminary area 670 of the caption service descriptor. If the current CEA-708 subtitle stream contains a 3D subtitle window command, the value '3D_708_CC' is set to 0. If the current CEA-708 subtitle stream does not contain a 3D subtitle window command, the value '3D_708_CC' is set to 1 Can be.
  • the digital caption broadcasting bitstream receiving apparatuses 200 and 270 extract three-dimensional caption service block transmission information from the spare area 650 of the caption service descriptor of the PMT region or the EIT region, so that the current bitstream is three-dimensional caption. It may be determined whether the service block is included, and whether or not the 3D subtitle service block is extracted and interpreted based on the read result.
  • the digital caption broadcasting bitstream receiving apparatuses 200 and 270 extract 3D caption window command transmission information from the reserved area 670 of the caption service descriptor, so that the current CEA-708 caption stream receives the 3D caption window command. It may be determined whether or not to include the information, and whether or not to extract and interpret the 3D subtitle window command based on the read result.
  • the digital caption broadcasting bitstream receiving apparatuses 200 and 270 extract the 3D caption transmission information at the PMT region level, not the video stream of the digital broadcasting stream, and confirm the existence of the 3D caption information in advance, You can check whether you need to play the game.
  • 11 and 12 illustrate embodiments of determining a 3D caption window using a 3D caption service block and a 3D caption offset command according to an embodiment, respectively.
  • the digital caption broadcasting bitstream receiving apparatuses 200 and 270 extract the 3D caption service block '3D_service' 1130 from the current bitstream, the basic offset information may be obtained from the 3D caption service block 1130. 1150 can be read.
  • the transmission period of the 3D subtitle service block '3D_service' 1130 may be arbitrarily set.
  • the 3D subtitle service block '3D_service' 1130 may be received at a frame interval including a predetermined number of consecutive frames within the frame rate.
  • the digital caption broadcasting bitstream receiving apparatus 200 or 270 generates the caption window 1140 regardless of the caption data type of the CEA-608 caption data 1110 or the CEA-708 caption data 1120. can do.
  • the digital caption broadcasting bitstream receiving apparatus 200 or 270 may apply the basic offset information 1150 to the caption window 1140 to determine positions of the gaze point caption window and the additional view caption window.
  • the 3D subtitle window 1160 may be determined.
  • the caption window 1220 of the CEA-708 caption data 1210 is generated.
  • the dimension subtitle window command 1230 may be analyzed to read offset information for each subtitle window of the current subtitle service. That is, the digital caption broadcasting bitstream receiving apparatuses 200 and 270 according to an exemplary embodiment may read the offset information for the current caption window 1220 of the current caption service from the 3D caption window command 1230.
  • the digital caption broadcasting bitstream receiving apparatus 200 or 270 may be based on the offset information for the current caption window 1220 of the current caption service. And a position of the additional view subtitle window.
  • FIG. 13 is a block diagram of a video decoding system 1300 for reproducing caption data as 3D captions using 3D caption offset information according to an embodiment.
  • the video decoding system 1300 may correspond to the digital caption broadcasting bitstream receiving apparatus 270.
  • the video decoding system 1300 may receive an MPEG-2 transport stream to restore and play video.
  • the input MPEG-2 transport stream is demultiplexed into a video stream, PMT information, and EIT information through an MPEG demux 1310.
  • the video stream is delivered to a video parser 1320, and the video parser 1320 may parse the video stream to extract video data and user data encoded based on MPEG-2.
  • User data parsed from the video parser 1320 may be delivered to the DTV CC decoder 1360.
  • the PMT information and EIT information extracted from the MPEG-2 transport stream are stored in the PMT buffer 1330 and the EIT buffer 1335, respectively.
  • the user processor 1340 reads the 3D caption service block transmission information 'flag_3D' and the 3D caption window command transmission information '3D_708_CC' from the PMT information and the EIT information to read the 3D caption service block or the 3D caption in the current bitstream. You can check whether the Windows command is included.
  • the DTV CC decoder 1360 may extract the CEA 608 subtitle data 1362, the CEA 708 subtitle data 1264, and the 3D subtitle information service block '3D_service' 1366 from the user data parsed from the video parser 1320. have.
  • the MPEG-2 video decoder 1350 may decode video data encoded on the basis of MPEG-2, reconstruct a program video, and output the video to a video combiner 1370. In particular, the viewpoint video and the additional view video of the 3D video may be restored.
  • the user processor 1340 may extract various additional information from various section tables, and the user graphic processor 1380 may generate a GUI screen using the additional information of the section table and output the generated GUI screen to the video synthesis unit 1370. have.
  • the video combiner 1370 determines the position of the caption window for displaying the caption on the video screen by using the caption data 1362 or 1364 and the 3D caption service block. 1364 to generate a subtitle and display the subtitle in the subtitle window.
  • the 3D reproduction type of the subtitle data 1136 or 1364 may be determined based on the 3D subtitle conversion information of the 3D subtitle service block 1366. Therefore, based on the 3D subtitle conversion information, the position of the gaze-point subtitle window in which the subtitle is displayed, the additional view subtitle window, and the font size of the subtitle may be determined.
  • the video synthesizing unit 1370 may synthesize the watch-point caption window and the additional-view caption window with the watch-point video and the additional-view video, respectively. In addition, the video synthesizing unit 1370 may synthesize the GUI screen with the video.
  • the video reconstructor 1390 may receive video pictures synthesized by the subtitle, video, and GUI screen output by the video synthesizer 1370 to reconstruct and output a video sequence.
  • the 3D subtitle may be reproduced together with the reproduction of the 3D video.
  • FIG. 14 illustrates a flowchart 1400 of a method of reproducing captions using 3D caption offset information according to an embodiment.
  • the digital caption broadcasting bitstream receiving apparatus 200 or 270 may extract 3D caption information from a caption service descriptor 'caption_service_descriptor'.
  • 3D caption service block transmission information 'flag_3D' and 3D caption window command transmission information '3D_708_CC' may be extracted from the caption service descriptor.
  • the digital caption broadcasting bitstream receiving apparatus 200 or 270 may determine whether the 3D caption service block '3D_service' is included in the current bitstream based on the 3D caption service block transmission information 'flag_3D'. have. If it is determined that the 3D subtitle service block '3D_service' is not included in the current bitstream, the process proceeds to step 1430 to generate 2D subtitles using the subtitle data.
  • the digital caption broadcasting bitstream receiving apparatuses 200 and 270 may based on the 3D caption window command transmission information '3D_708_CC'. Thus, it may be determined whether the current subtitle service data includes the dimensional subtitle window command. If it is determined that the dimensional caption window command is not included in the current caption service data, the flow branches to step 1430.
  • the digital caption broadcasting bitstream receiving apparatus 200 or 270 reads the 3D caption offset information of the 3D caption service block '3D_service' and displays the caption window and the additional view caption window to display the caption.
  • the position can be determined to generate a three-dimensional subtitle.
  • step 1420 If it is determined in step 1420 that the dimensional caption window command is included in the current caption service data, the process proceeds to step 1460 and it may be determined whether the CEA-608 caption data of the caption data is activated.
  • the digital caption broadcasting bitstream receiving apparatuses 200 and 270 read the 3D caption offset information of the 3D caption service block '3D_service' in step 1470, and the 3D caption is read. It is possible to determine positions of the gaze subtitle window and the additional view subtitle window to be displayed.
  • the CEA-708 subtitle window command may be analyzed and applied to the CEA-708 subtitle data. That is, the 3D caption offset command and the CEA-708 caption data may be extracted from the CEA-708 caption service data, and the 3D caption may be generated by applying the 3D caption offset to the CEA-708 caption data.
  • the apparatus for generating digital caption broadcast stream 100 may include a PMT area or an EIT area of a section table area.
  • 3D caption offset information may be transmitted through a reserved area of a caption service descriptor of.
  • Table 2 illustrates a syntax including three-dimensional subtitle offset information that can be inserted into the reserved area 670 of the caption service descriptor.
  • the base offset direction information 'base_offset_sign' and the base offset value 'base_offset' may be set as the 3D caption offset information.
  • the apparatus 100 for generating a digital caption broadcasting stream generates a separate descriptor including the 3D caption offset information of Table 2, and generates the descriptor through the PMT region of the section table region and the descriptor region of the EIT region. Three-dimensional caption offset information may be transmitted.
  • the digital caption broadcasting bitstream receiving apparatuses 200 and 270 extract 3D caption service block transmission information from the spare area 650 of the caption service descriptor of the PMT area or the EIT area, or the descriptor of the PMT area or the EIT area.
  • the descriptor including the 3D caption offset information may be extracted from the region to read whether the current bitstream includes the 3D caption service block, and to determine whether to extract and interpret the 3D caption service block.
  • the digital caption broadcasting bitstream receiving apparatuses 200 and 270 may include the 3D caption service block in the current bitstream based on the 3D caption service block transmission information extracted from the reserved area 650 of the caption service descriptor. If it is read, the base offset direction information 'base_offset_sign' and the base offset value 'base_offset' are extracted from the spare area 670 for the subtitle service in which the subtitle service identification number 'caption_service_number' is '3D_service'. The offset direction and offset value of the subtitle window can be read.
  • the digital caption broadcasting bitstream receiving apparatuses 200 and 270 extract the 3D caption information at the PMT region level, not the video stream of the digital broadcast stream, to confirm the existence of the 3D caption and provide the offset information of the 3D caption. Can be read.
  • the subtitle offset conversion rate information may include information indicating an offset change amount between subtitle windows of a current frame and a next frame, information indicating a direction of the offset change amount, target offset information, and a subtitle indicating a subtitle window in which subtitle conversion occurs. It may include at least one of the conversion window identification information.
  • the offset change amount information for the 3D caption may indicate a difference between the caption offset of the current frame and the caption offset of the next frame.
  • the digital caption broadcasting bitstream generating apparatus 100 may determine caption offset conversion rate information in the form of a caption window command.
  • the digital caption broadcasting bitstream generation apparatus 100 may determine a caption offset conversion speed command for setting caption offset conversion speed information.
  • a caption offset conversion rate command may be allocated to a 3-byte code area of the C2 group 530 which is a spare area of a control code in the DTV CC codeset table described above with reference to FIG. 5.
  • the subtitle offset conversion rate command may set subtitle offset conversion rate information for each subtitle window of the current subtitle service.
  • 15 illustrates a subtitle offset conversion speed command according to an embodiment.
  • the command format of the subtitle offset conversion speed command 'DisparityStep' may be 'DisparityStep (Window_id, Target disparity sign, Step size, Target disparity)'.
  • the parameter of the subtitle offset conversion speed command 'DisparityStep' may include a parameter 'Window_id' for identifying a subtitle window, a parameter 'Target disparity sign' indicating a target offset direction of the subtitle window, and a subtitle of the current frame and the next frame.
  • the parameter 'Step size' indicating the amount of change between the offsets of the windows may be included, and the parameter 'Target disparity' indicating the target offset of the subtitle window.
  • the command code of the subtitle offset conversion speed command 'DisparityStep' may be allocated to code 0x12 in the extended code area of the DTV CC code set table.
  • the parameter 'Window_id' indicates a unique identifier of the caption window and may be allocated with 3 bits (id0, id1, id2).
  • the parameter 'Target disparity sign' indicates whether the direction of the target offset is a negative (-) or a positive (+) direction, and thus may be assigned as a bit distress sign.
  • the parameter 'Target disparity' is a target offset of the subtitle window. When the offset of the subtitle increases or decreases to reach the target offset, the offset no longer changes.
  • the parameter 'Target disparity' may be allocated to 8 bits (dis0, dis1, dis2, dis3, dis4, dis5, dis6, dis7).
  • the parameter 'Step size' is an offset change amount between the current frame and the subtitle windows of the next frame and may indicate a change amount added to the offset of the subtitle window of the current frame to determine the offset of the subtitle window of the next frame.
  • the parameter 'Step size' may be allocated with 4 bits (st0, st1, st2, st3).
  • 16 illustrates a graph of offset changes of 3D subtitles using subtitle offset conversion rate information, according to an exemplary embodiment.
  • the caption offset conversion speed command 'DisparityStep' described above with reference to FIG. 15 may set a change amount and a target offset of the offset between the caption window of the current frame and the caption window of the next frame.
  • the first subtitle offset conversion speed command 'DisparityStep' may designate a target offset direction as '+', an offset change amount as '1', and a target offset as '10'.
  • the offset of the subtitle window may increase by '1' for each frame, and the offset may increase until it reaches '10'.
  • a second subtitle offset conversion speed command 'DisparityStep' may occur.
  • the second subtitle offset conversion speed command 'DisparityStep' may set a target offset direction as '+', an offset change amount as '2', and a target offset as '30'.
  • the offset of the subtitle window may increase by '2' for each frame, and the offset may increase until reaching '30'.
  • the subtitle offset conversion by the second subtitle offset conversion speed command 'DisparityStep' is stopped, and the third subtitle offset conversion speed command 'DisparityStep' is generated.
  • the third subtitle offset conversion speed command 'DisparityStep' may set the target offset direction as '-', the offset change amount as '2', and the target offset as '10'.
  • the offset of the subtitle window may decrease by '2' for each frame, and the offset may decrease until it reaches '10'.
  • the subtitle offset conversion by the third subtitle offset conversion speed command 'DisparityStep' is stopped, and the fourth subtitle offset conversion speed command 'DisparityStep' is generated.
  • the fourth subtitle offset conversion speed command 'DisparityStep' may set the target offset direction as '-', the offset change amount as '1', and the target offset as '0'.
  • the conversion can be aborted.
  • the subtitle offset conversion speed command 'DisparityStep' since the subtitle offset according to the frame order or the time flow is gently changed according to the curve 1600, the conversion between the 2D and 3D subtitles is naturally performed. Can be generated.
  • the process of changing the offset of the subtitle window based on the subtitle offset conversion speed command 'DisparityStep' may be performed according to the following syntax.
  • Subtitle Offset Conversion Speed Command 'DisparityStep' may set an offset for each subtitle window.
  • j is an identification number of the caption window, and i is an identification number of the frame in chronological order.
  • the subtitle window offset 'disparity [j] [i]' of the current i'th frame is added to the offset change amount 'step', so the subtitle window offset 'disparity [j] [i + 1]' of the next (i + 1) th frame is added. This can be determined.
  • the target offset 'target disparity [j]' is set, and the subtitle window offset 'disparity [j] [i]' of the current i'th frame reaches the target offset 'target disparity [j]'.
  • FIG. 17 illustrates a process of changing an offset of a subtitle window based on a subtitle offset conversion speed command 'DisparityStep' according to an exemplary embodiment.
  • FIG. 17 illustrates a 3D caption processing screen using caption offset conversion speed information according to an embodiment.
  • the viewpoint caption windows 1710, 1730, 1750, and 1770 may be displayed.
  • the offset change amount 'Step' is respectively offset from the center of the two-dimensional subtitle window to the offset of the left view subtitle window and the offset of the right view subtitle window.
  • the half value of 'Step / 2' may be added.
  • offsets 1735, 1755, and 1775 of the left view subtitle windows 1730, 1750, and 1770 from the subtitle window 1710 having an offset of 0 may increase by 'Step / 2'.
  • the apparatus for generating digital caption broadcasting bitstream 100 determines a caption offset conversion speed command 'DisparityStep' for setting caption offset conversion speed information, and thus, the caption service data area of the video stream of the digital broadcasting bitstream. Can be inserted into and sent.
  • the apparatus for receiving digital caption broadcasting bitstreams 200 and 270 parses the received digital broadcasting bitstream, reads the caption offset conversion speed command 'DisparityStep' from the caption service data area of the video stream, and the caption offset conversion speed command ' Based on DisparityStep ', the subtitle window in which the offset conversion is to be generated may be determined, and the target offset direction and the offset change amount of the subtitle window may be read to change the offset of the subtitle window until the offset of the subtitle window reaches the target offset.
  • the digital caption broadcasting bitstream transmission apparatus 100 may set target offset information indicating a target offset of a 3D caption window and caption conversion interval information indicating a section in which a subtitle depth conversion occurs. Can determine the subtitle offset conversion rate command.
  • Subtitle conversion interval information for 3D subtitles may indicate the number of frames from a frame at which subtitle conversion starts to a frame at which it is completed.
  • the command format of the subtitle offset conversion speed command 'SmoothTransition' may be 'SmoothTransition (Target disparity, Applied Frame Number)'.
  • the parameter of the subtitle offset conversion speed command 'SmoothTransition' may include a parameter 'Target disparity' indicating a target offset of the subtitle window, and a parameter 'Applied Frame indicating the number of frames from the frame at which the subtitle conversion starts to the completed frame. Number 'may be included.
  • the digital caption broadcasting bitstream receiving apparatuses 200 and 270 read the caption offset conversion rate command 'SmoothTransition' from the caption service data area of the video stream, and output the target offset parameter 'Target disparity' from the caption offset conversion rate command 'SmoothTransition'. 'And the caption conversion interval parameter' Applied Frame Number 'can be read.
  • the digital caption broadcasting bitstream receivers 200 and 270 determine a target offset to be changed from the current caption window based on the target offset parameter 'Target disparity', and the caption window based on the caption conversion interval parameter 'Applied Frame Number'. It is possible to determine the total number of consecutive frames in which the offset transformation of. Accordingly, the digital caption broadcasting bitstream receiving apparatus 200 or 270 may output the target offset and the caption offset so that the offset of the caption window of the current frame may naturally change to the target offset during successive frames in which offset conversion of the caption window occurs. Based on the total number of continuous frames in which the transformation occurs, the amount of change in the offset between frames may be determined.
  • 18 is a graph of offset change of 3D subtitles using subtitle offset conversion rate information according to another exemplary embodiment.
  • Graphs 1810 and 1820 represent the offset of the video and the offset of the subtitle window, respectively.
  • the sections T1, T2, T3, T4, and T5 are sections in which the first frame, the second frame, the third frame, the fourth frame, and the fifth frame are respectively reproduced.
  • Graphs 1810 and 1820 show that the offset of the subtitle window increases as the video offset changes according to the frame order.
  • the digital caption broadcasting bitstream receiving apparatuses 200 and 270 may perform caption transformation based on the caption offset conversion rate command 'SmoothTransition (10, 4)' in the frame period T1.
  • the offset of the first subtitle window may increase during '4' frames up to the target offset '10'.
  • the digital caption broadcasting bitstream receiving apparatuses 200 and 270 may determine an offset change amount between frames according to the following relational expression.
  • Offset variation between frames (target offset-initial offset) / number of converted frames
  • the offset change graph 1830 of the caption window of the first frame, the second frame, the third frame, the fourth frame, and the fifth frame the offset of the caption window may be smoothly converted.
  • the interframe offset change amount determination formula for the frames where subtitle conversion occurs is determined based on a linear function, and the interframe offset change amount determination formula for determining the same interframe offset change amount for each frame section is shown in one embodiment. Only one embodiment of the subtitle offset conversion speed command 'SmoothTransition'. Accordingly, the apparatus for receiving digital caption broadcasting bitstreams 200 and 270 may determine that the amount of offset variation between frames is not equal based on the subtitle offset conversion rate command 'SmoothTransition' according to an embodiment.
  • the amount of offset variation between frames can be set as a real number, and the offset conversion of the subtitle window can be set with fewer parameters.
  • the frame period that occurs can be specified explicitly.
  • 19 illustrates a change in the size of a subtitle according to the change in the depth of the subtitle.
  • the second subtitle 1910 is closer to the user than the first subtitle 1900, and thus it is natural to look larger.
  • the depth of the subtitle increases when the current 2D subtitle window 1925 is displayed on the current 2D video 1920, in a broadcast stream receiving system supporting only 2D subtitles, the 2D video without change is present. 1930 and the two-dimensional subtitle window 1935 are played back.
  • the left view subtitle window 1945 and the right view subtitle window 1943 on the 3D video 1940 are the same size as the original subtitle window 1925 without resizing. If you play with, TV users may feel awkward visually. Accordingly, the digital caption broadcasting bitstream receiving apparatuses 200 and 270 may increase the size and size of the left view caption window 1955 and the right view caption window 1953 compared to the original caption window 1925 if the depth of the caption increases. It is desirable to increase the font size.
  • the digital caption broadcasting bitstream generating apparatus 100 may determine 3D caption size conversion information including information for adjusting the size of the caption window and the size of the caption font size.
  • the 3D caption size conversion information may indicate a rate at which the caption data size changes.
  • the apparatus for generating a digital caption broadcasting bitstream 100 may determine a 3D caption size conversion command for setting 3D caption size conversion information.
  • the digital caption broadcasting bitstream receiving apparatus 200 or 270 extracts a 3D caption size conversion command from the caption service data area of the received bitstream, and the size of the caption window and the font size of the caption are proportional to the depth change of the caption. Can be increased or decreased.
  • the digital caption broadcasting bitstream generating apparatus 100 determines a 3D caption size conversion command and inserts the caption data into a caption service data area of the digital broadcast bitstream, thereby, together with the caption data through the DTV bitstream.
  • 3D subtitle size conversion information may be transmitted.
  • the 3D subtitle size conversion command according to an embodiment may set 3D subtitle size conversion information for each subtitle window of the current subtitle service.
  • FIG. 20 illustrates a 3D subtitle size conversion command according to an embodiment.
  • the command format of the 3D subtitle size conversion command “SetFontSize” may be “SetFontSize (Window_id, Font Scale Factor)”.
  • the parameter of the subtitle offset conversion speed command “SetFontSize” may include a parameter “Window_id” for identifying a subtitle window and a parameter “Font Scale Factor” indicating a rate at which the subtitle data size changes.
  • the command code of the 3D subtitle size conversion command 'SetFontSize' may be allocated to code 0x11 in the extension code area of the DTV CC code set table.
  • the parameter 'Window_id' indicates a unique identifier of the caption window and may be allocated with 3 bits (id0, id1, id2).
  • the parameter 'Font Scale Factor' may indicate a size increase / decrease ratio of the subtitle window and the font in relation to the offset change amount of the video.
  • the parameter 'Font Scale Factor' may be allocated to 13 bits (sf0, sf1, sf2, sf3, sf4, sf5, sf6, sf7, sf8, sf9, sf10, sf11, and sf12).
  • the apparatus for receiving digital caption broadcasting bitstreams 200 and 270 may parse the received digital broadcasting bitstream and extract a 3D caption size conversion command 'SetFontSize' from the caption service data area of the video stream.
  • the digital caption broadcasting bitstream receiving apparatuses 200 and 270 determine a caption window in which offset conversion will occur based on the 3D caption size converting command 'SetFontSize', and the caption window and font size in preparation for the offset change amount of the video.
  • the size of the subtitle window and font size can be adjusted.
  • the font size of the subtitle may be determined according to relation (2).
  • Font Size Anchor Font Size-Video Offset Variation * Anchor Font Size * (Font Size Change Ratio / 100)
  • the font offset is increased compared to the anchor font size since the video offset change amount is negative. Therefore, as the video depth increases, the font size of the subtitle may increase.
  • the apparatus for generating digital caption broadcasting bitstream 100 may set the caption offset conversion speed command according to an embodiment to include a parameter for setting 3D caption size conversion information.
  • FIG. 21 illustrates a subtitle offset conversion speed command for further setting 3D subtitle size conversion information according to an embodiment.
  • the subtitle offset conversion rate command 'DisparityStep' illustrated in FIG. 21 is a command format 'DisparityStep (Window_id, Target disparity sign, Step size, Target disparity) 'further includes an 8-bit parameter' Font Scale Factor '.
  • An 8-bit parameter 'Font Scale Factor' may indicate a rate of increase or decrease of the current font size compared to the previous font size.
  • the digital caption broadcasting bitstream receivers 200 and 270 may include a caption window in which an offset change occurs, an offset change direction and a change amount of a 3D caption, based on the caption offset conversion speed command 'DisparityStep' of FIG. 21. While reading the target offset, the size increase / decrease ratio of the subtitle window and the font may be read. Therefore, the digital caption broadcasting bitstream receiving apparatuses 200 and 270 according to an exemplary embodiment may increase or decrease the caption window and font size in proportion to the caption offset variation amount according to the offset change direction while converting the offset of the predetermined caption window. have.
  • the apparatus for generating digital caption broadcasting bitstream 100 may insert 3D caption transmission information into a caption service descriptor 'caption_service_descriptor' of at least one table region of a PMT region and an EIT region of a section table region. .
  • the 3D subtitle transmission information may indicate whether at least one of 3D subtitle data, 3D subtitle offset information, subtitle offset conversion rate information, and 3D subtitle size conversion information is transmitted through the DTV bitstream. Can be.
  • the 3D caption transmission information according to an embodiment may be inserted in the spare areas 650, 660, and 670 of the caption service descriptor described above with reference to FIG. 6 in the form of a flag and transmitted along with the caption data.
  • Table 4 illustrates a caption service descriptor 'caption_service_descriptor' in which 3D caption transmission information is inserted according to an embodiment.
  • the parameter '3d_cc_enable' is an example of 3D subtitle transmission information according to an embodiment. If the value of '3d_cc_enable' is 0, it may indicate that 3D caption information is included in the current video stream. If the value of '3d_cc_enable' is 1, it may indicate that 3D caption information is not included in the current video stream.
  • Information about a position at which 3D subtitle transmission information is inserted may be inserted in a 5-bit spare area.
  • the apparatus for receiving digital caption broadcasting bitstreams 200 and 270 may extract 3D caption transmission information '3d_cc_enable' according to an embodiment and determine a caption reproduction mode for the current bitstream.
  • the subtitle reproduction mode according to an embodiment may be determined in four modes.
  • the first subtitle reproduction mode indicates a case where three-dimensional subtitle information is included in the current bitstream, and when the three-dimensional video is reproduced.
  • the subtitle when the 3D video is played, the subtitle may be reproduced in 3D by forcibly adding an offset to the subtitle data, or the 3D subtitle may be supported. Indicates that the phrase indicating no is played back.
  • the third subtitle reproduction mode when the 3D subtitle information is included in the current bitstream but the 2D video is reproduced, when the subtitle data is reproduced as the 3D subtitle or the 2D subtitle based on a user selection or a predetermined setting. Indicates.
  • the fourth subtitle reproduction mode indicates a case where the subtitle data is reproduced in two dimensions when the two-dimensional video is reproduced, although the three-dimensional subtitle information is included in the current bitstream.
  • the apparatus for receiving digital caption broadcasting bitstreams 200 and 270 extracts 3D caption transmission information '3d_cc_enable' according to an embodiment and sets the first and second caption reproduction modes for the current bitstream. And 3, 4 subtitle reproduction modes, and prepare a subtitle reproduction state based on the determined subtitle reproduction mode.
  • the digital caption broadcasting bitstream generation apparatus 100 may generate a three-dimensional caption transmission descriptor including three-dimensional caption transmission information, and may include a descriptor region of at least one table region among a PMT region and an EIT region. You can also insert a 3D subtitle delivery descriptor into the.
  • Table 5 illustrates a 3D subtitle transmission descriptor '3d_cc_descriptor' according to an embodiment.
  • the parameter '3d_cc_enable' may be a flag indicating whether at least one of 3D caption data, 3D caption offset information, caption offset conversion speed information, and 3D caption size conversion information is included in the current bitstream.
  • the apparatus for receiving digital caption broadcasting bitstreams 200 and 270 may include three-dimensional caption indicating that three-dimensional caption conversion information is transmitted from a caption service descriptor of at least one of a PMT region and an EIT region through a current bitstream. Transmission information can be extracted.
  • the digital caption broadcasting bitstream receiving apparatus 200 or 270 determines that the 3D caption information is included in the current bitstream based on the 3D caption transmission information, the caption service block and the caption window Three-dimensional caption information may be extracted from at least one of the command and the section table area.
  • the digital caption broadcasting bitstream receiving apparatuses 200 and 270 may recognize that the 3D caption transmission information is inserted into the received DTV bitstream based on the 3D caption transmission information. Therefore, the extractor 220 according to an embodiment is inserted into the DTV bitstream from among 3D subtitle offset information, subtitle offset conversion speed information, and 3D subtitle size conversion information based on the 3D subtitle transmission information. Identified information can be extracted.
  • the digital caption broadcasting bitstream receiving apparatuses 200 and 270 may extract 3D caption transmission information indicating that 3D caption information is transmitted from a caption service descriptor among a PMT region and an EIT region. Also, the digital caption broadcasting bitstream receiving apparatuses 200 and 270 according to an exemplary embodiment may extract 3D caption transmission information indicating that 3D caption information is transmitted from a descriptor region among a PMT region and an EIT region.
  • FIG. 22 illustrates a case in which two elementary streams include two-dimensional DTV closed caption information and three-dimensional DTV closed caption information in a system for transmitting two elementary streams according to an embodiment.
  • the digital caption broadcasting bitstream generation apparatus 100 may include two video elementary streams each including a gaze point video stream 2220 and an additional view point video stream 2260 to transmit 3D video data. Multiplexes 2210 and 2250 may be transmitted to one digital broadcast stream 2200. In this case, three-dimensional caption information does not need to be transmitted for each video elementary stream 2210 and 2250, but three-dimensional caption transmission indicating whether or not the current stream includes three-dimensional caption information for each video elementary stream 2210 and 2250 is performed. Information 2240 and 2280 may be inserted.
  • the video elementary stream 2250 including the 3D subtitle information 2270 may include the 3D subtitle transmission information '3d_cc_enable' to indicate that the current stream 2250 includes the 3D subtitle information 2270.
  • '(2280) may be set to' ON '. Since the remaining video elementary stream 2210 does not include three-dimensional caption information and includes two-dimensional caption data 2230, the three-dimensional caption information is not included in the current bitstream 2210 to indicate that the three-dimensional caption information is not included.
  • Subtitle transmission information '3d_cc_enable' 2240 may be set to 'OFF'.
  • the apparatus for receiving digital caption broadcasting bitstreams 200 and 270 extracts 3D caption transmission information '3d_cc_enable' 2240 and 2280 from the video elementary streams 2210 and 2250, and then displays '3d_cc_enable'.
  • 3D caption information may be extracted from the video elementary stream 2250 in which '2280 is set to' ON '.
  • the apparatus for receiving digital caption broadcasting bitstreams 200 and 270 may receive a digital broadcasting bitstream including three-dimensional caption information in both video elementary streams.
  • the apparatus for receiving digital caption broadcasting bitstreams 200 and 270 may obtain 3D caption information from the main base stream when there is a relationship between the main base stream and the sub base stream between the two video base streams.
  • the three-dimensional subtitle can be determined by extracting.
  • the 3D subtitle information may be determined by extracting 3D subtitle information from a randomly selected video base stream.
  • a 2D broadcast stream reception system supporting only 2D video and 2D subtitles cannot read 3D video and 3D subtitle information even when receiving a broadcast stream including 3D video and 3D subtitle information.
  • the digital caption broadcasting bitstream generating apparatus 100 may include gaze point video data and 2D subtitles in a main elementary stream among two video elementary streams. Two video elementary streams may be transmitted by recording data, and additional view video data and 3D subtitle information in the sub elementary stream.
  • the conventional two-dimensional broadcast stream receiving system does not have access to the sub-basestream of the two video elementary streams, and can parse and decode only the main elementary stream, thereby reading gaze point video data and two-dimensional subtitle data. Can play.
  • the apparatus for receiving digital caption broadcasting bitstreams 200 and 270 may parse a main base stream from two video base streams, read gaze point video data and subtitle data, and parse the sub base stream. Additional view video data and three-dimensional caption information can be read.
  • the viewpoint video and the additional view video can be reconstructed and reproduced as a 3D video.
  • the caption content is determined using the caption data extracted from the main elementary stream, and the position, size, font size, etc. of the gaze point caption window and the additional view caption window are determined using the 3D caption information extracted from the sub elementary stream. Is determined.
  • the apparatus for receiving a digital caption broadcasting bitstream 270 synthesizes a gaze point video and a gaze point caption window, and composes a 3D video sequence by synthesizing an additional view video and an additional view subtitle window. You can play 3D subtitles with 3D video.
  • 23 and 24 illustrate a method of playing a subtitle window when two or more subtitle windows configured according to an embodiment collide with each other.
  • two-dimensional subtitle priority is given to the two-dimensional subtitle window to designate a subtitle window that can be viewed.
  • the digital caption broadcasting bitstream receiving apparatus 270 may generate a plurality of caption windows, and may further include a gaze point caption window having different offsets applied to one caption window for 3D caption reproduction.
  • An additional view subtitle window may be generated.
  • shielding areas may occur between the plurality of 3D caption windows.
  • the digital caption broadcasting bitstream receiving apparatus 270 may be based on an offset given to the caption window for 3D caption reproduction, separately from the 2D caption priority for the 2D caption window.
  • the 3D subtitle priority between the subtitle windows overlapping each other may be determined.
  • the first subtitle window 2320 is the second.
  • the phenomenon of shielding the subtitle window 2330 occurs.
  • the digital caption broadcasting bitstream receiving apparatus 270 may determine the 3D caption priority of the caption window in order to overcome the shielding phenomenon of the 3D caption window.
  • the digital caption broadcasting bitstream receiving apparatus 270 may include 2D caption priorities of the first caption window 2320 and the second caption window 2330. Ignoring 2323 and 2333, and based on offsets 2325 and 2335 to the first subtitle window 2320 and the second subtitle window 2330, the 3D subtitle priority between the subtitle windows overlapping each other may be determined. have. That is, the 3D subtitle priority 2327 that is higher than the second subtitle window 2330 may be determined in the first subtitle window 2320.
  • the digital caption broadcasting bitstream receiving apparatus 270 may include 2D caption priorities of the first caption window 2320 and the second caption window 2330. Based on 2323 and 2333, the 3D subtitle priority of the first subtitle window 2320 and the second subtitle window 2330 may be determined. That is, the first offset 2325 of the first subtitle window 2320 is larger than the second offset 2335 of the second subtitle window 2330, so that the first subtitle window 2320 may open the second subtitle window 2330.
  • the digital caption broadcasting bitstream receiving apparatus 270 since the two-dimensional caption priorities 2333 of the second caption window 2330 are ahead of the first caption window 2320, the digital caption broadcasting bitstream receiving apparatus 270 according to an embodiment of the present invention may be configured to include the second subtitle window 2330.
  • the two subtitle window 2330 may be given a 3D subtitle priority 2443 higher than the first subtitle window 2320.
  • an embodiment The digital caption broadcasting bitstream receiving apparatus 270 gives the second caption window 2330 a new offset 2445 that is larger than the first offset 2325 of the first caption window 2320. A new location of the subtitle window 2440 can be determined.
  • the 2D subtitle priority given to the original subtitle window may be followed, but the offset of the originally intended 3D subtitle may be changed.
  • the 2D subtitle priority of the original subtitle window may be ignored.
  • the digital caption broadcasting bitstream generating apparatus 100 and the digital caption broadcasting bitstream receiving apparatus 200 are mainly focused on an embodiment of transmitting and receiving the closed caption and three-dimensional caption conversion information for three-dimensional reproduction of the closed caption, according to an exemplary embodiment.
  • the principle of operation) is described above. However, this is only one aspect of an application example of the digital caption broadcasting bitstream generating apparatus 100 and the digital caption broadcasting bitstream receiving apparatus 200, and the caption system of the digital broadcasting to which the principles of the present invention can be applied is applied to the closed caption system. It should not be construed as limited.
  • 25 is a flowchart of a method of generating a digital caption broadcasting bitstream for digital caption broadcasting according to an embodiment.
  • video data encoded with a video including at least one of two-dimensional video and three-dimensional video is input.
  • 3D subtitle conversion information including information on the conversion speed of the subtitle data and the offset is determined.
  • the 3D subtitle conversion information may include 3D subtitle offset information, subtitle offset conversion speed information, 3D subtitle size conversion information, 3D subtitle transmission information, and the like.
  • the 3D caption offset information may indicate an offset such as depth, variation, binocular disparity, etc. of the gaze-point caption window and the additional-view caption window.
  • the subtitle offset conversion speed information may include information on an offset change amount value and a direction, a target offset, and the like between subtitle windows of a current frame and a next frame.
  • the subtitle offset conversion rate information may include information about a target offset and the number of frames in which subtitle conversion occurs.
  • the 3D subtitle size conversion information may include information about a ratio of changing the size of the subtitle window and the subtitle font.
  • the 3D subtitle transmission information may indicate whether 3D subtitle offset information, subtitle offset conversion rate information, and 3D subtitle size conversion information are transmitted through the current bitstream.
  • the encoded video data, the caption data, and the 3D caption conversion information are multiplexed, and a bitstream for digital broadcasting is output.
  • Subtitle data may be inserted into at least one of a subtitle service data area and a section table area of a picture user data area of a digital broadcast bitstream, and the 3D subtitle conversion information may be included in a subtitle service block, a subtitle window command, and a section table of a bitstream. It can be inserted into at least one of the regions.
  • a 3D caption service block including 3D caption offset information may be generated and transmitted together with caption data of a service layer.
  • the caption data may include at least one of CEA-608 closed caption data and CEA-708 closed caption data.
  • a 3D subtitle window command for setting 3D subtitle offset information, subtitle offset conversion speed information, and 3D subtitle size conversion information may be determined.
  • the 3D subtitle window command may be a subtitle service data area of a video stream. It can be inserted into and transmitted through a digital broadcast stream.
  • the 3D subtitle window command may set various information for 3D subtitles for each subtitle window of the current subtitle service.
  • 3D subtitle conversion information such as 3D subtitle offset information, subtitle offset conversion speed information, 3D subtitle size conversion information, and 3D subtitle transmission information according to an embodiment may be a descriptor area of a PMT area or an EIT area of a section table area. Or it may be inserted into the reserved area of the caption service descriptor and transmitted.
  • FIG. 26 is a flowchart of a method of receiving a digital caption broadcasting bitstream for digital caption broadcasting according to an embodiment.
  • step 2610 a bitstream including encoded video data of at least one of two-dimensional video and three-dimensional video is received.
  • the received bitstream may be demultiplexed and parsed, and three-dimensional caption conversion information including information about encoded video data, caption data, and information about the conversion speed of the caption offset may be extracted from the bitstream.
  • Subtitle data is extracted from at least one of a subtitle service data area and a section table area of a picture user data area of a digital broadcast bitstream, and the 3D subtitle conversion information is a subtitle service block, a subtitle window command, and a section table area of a bitstream. It can be extracted from at least one of.
  • 3D caption offset information may be received through a 3D caption service block according to an embodiment, and may be received together with caption data of another service block.
  • Subtitle data including at least one of CEA-608 closed caption data and CEA-708 closed caption data may be received.
  • a 3D subtitle window command for setting 3D subtitle offset information, subtitle offset conversion speed information, and 3D subtitle size conversion information may be extracted from the subtitle service data area of the video stream. Since the 3D subtitle window command provides various information for 3D subtitles for each subtitle window of the current subtitle service, the position, size, font size, etc. of the 3D subtitle window may be determined according to the 3D subtitle window command.
  • 3D caption offset information From the PMT area of the section table area or the descriptor area of the EIT area or the spare area of the caption service descriptor, 3D caption offset information, caption offset conversion rate information, 3D caption size conversion information, and 3D caption transmission information according to an embodiment.
  • 3D subtitle conversion information such as may be extracted.
  • 3D subtitle transmission information After determining whether the current bitstream includes 3D subtitle data, 3D subtitle offset information, subtitle offset conversion speed information, 3D subtitle size conversion information, and the like. If present, 3D subtitle information can be extracted.
  • the reproduction type of the subtitle on the video screen may be determined based on the 3D subtitle conversion information.
  • a subtitle window for generating 3D subtitle conversion based on the extracted 3D subtitle offset information, subtitle offset conversion speed information, 3D subtitle size conversion information, and the like, a subtitle window for generating 3D subtitle conversion, a size and position of the subtitle window, a subtitle font size, etc. Can be determined.
  • the offset change amount between the subtitle windows of the current frame and the next frame may be determined for each frame, and the position of the subtitle window may be determined for each frame.
  • the size increase / decrease ratio of the caption in proportion to the depth change rate may be determined to determine the caption window and the font size.
  • the video data may be decoded and reconstructed into two-dimensional or three-dimensional video, and the caption data may be reproduced as three-dimensional captions on the video screen according to the reproduction type of the caption determined based on the three-dimensional caption conversion information.
  • the reproduction form of the subtitle according to an embodiment may include positions and sizes of the gaze-point subtitle window and the additional-view subtitle window, the size of the subtitle font, the 3D subtitle priority of the subtitle window, and the like.
  • Watchpoint subtitles and watchpoint subtitles are synthesized into the watchpoint video and the additional viewpoint video of the reconstructed video, respectively, a watchpoint screen composed of the watchpoint subtitles and the watchpoint video, and an additional view caption and the additional view video.
  • the 3D subtitle may be reproduced together with the 3D video.
  • the 3D subtitle priority may be determined based on the original 2D subtitle priority of the subtitle window, so that the reproduction position of the subtitle windows may be determined.
  • the 3D subtitle priority may be determined based on the offset of the subtitle window to determine the reproduction position of the subtitle windows.
  • the digital caption broadcasting bitstream generating apparatus 100 and the digital caption broadcasting bitstream receiving apparatus 200 and 270 according to the exemplary embodiment may include a service block, a caption window command, or a section table area according to a conventional communication standard.
  • the 3D subtitle conversion information, the 3D subtitle offset information, the subtitle offset conversion speed information, the 3D subtitle size conversion information, and the 3D subtitle transmission information may be transmitted and received according to an embodiment.
  • the conventional broadcast reception system interprets newly assigned or defined 3D subtitle conversion information, 3D subtitle offset information, subtitle offset conversion speed information, 3D subtitle size conversion information, and 3D subtitle transmission information according to an embodiment. If not, the digital broadcasting can be received by interpreting only a service block, a subtitle window command, or a section table area according to a conventional communication standard, thereby ensuring backward compatibility with conventional broadcast systems.
  • the two-dimensional subtitle playback state and the three-dimensional subtitle playback state can be prevented from being changed suddenly, the subtitle size can be adjusted in proportion to the change of the subtitle depth, Since the reproduction order may be set by giving priority to 3D subtitles among a plurality of subtitle windows overlapping each other, a visually natural 3D broadcast program may be provided to a TV viewer.
  • 3D subtitle conversion information 3D subtitle offset information, subtitle offset conversion rate information, 3D subtitle size conversion information, and 3D subtitle transmission according to an embodiment
  • 3D subtitle conversion information 3D subtitle offset information, subtitle offset conversion rate information, 3D subtitle size conversion information, 3D subtitle transmission according to an embodiment
  • 3D subtitle conversion information, 3D subtitle offset information, subtitle offset conversion rate information, 3D subtitle size conversion information, 3 Dimensional caption transmission information is not limited only to the forms disclosed in FIGS. 1 to 26 and Tables 1 to 5.
  • any flow chart, flow chart, state diagram, pseudocode, etc. may be substantially represented on a computer readable medium, such that the computer or processor may be executed by such a computer or processor whether or not it is explicitly shown. It will be appreciated by those skilled in the art to represent the process. Therefore, the above-described embodiments of the present invention can be written as a program that can be executed in a computer, and can be implemented in a general-purpose digital computer which operates the program using a computer-readable recording medium.
  • the computer-readable recording medium may include a storage medium such as a magnetic storage medium (eg, a ROM, a floppy disk, a hard disk, etc.) and an optical reading medium (eg, a CD-ROM, a DVD, etc.).
  • a storage medium such as a magnetic storage medium (eg, a ROM, a floppy disk, a hard disk, etc.) and an optical reading medium (eg, a CD-ROM, a DVD, etc.).
  • processor or “control unit” should not be construed as exclusively referring to hardware capable of executing software, and without limitation, digital signal processor (DSP) hardware, read-only for storing software. Memory (ROM), random access memory (RAM), and non-volatile storage.
  • DSP digital signal processor
  • an element represented as a means for performing a specific function encompasses any way of performing a specific function, and the element may be a combination of circuit elements performing a specific function, or performing a specific function. It may include any form of software, including firmware, microcode, etc., coupled with suitable circuitry to carry out the software for.
  • the expression 'at least one of' means only the selection of the first option (A), or only the selection of the second listed option (B), or both. It is used to cover the selection of options (A and B).
  • the expression 'at least one of' means only the selection of the first option (A), or only the selection of the second listed option (B), or both. It is used to cover the selection of options (A and B).
  • only the selection of the first listed option (A), or the selection of the second listed option (B), or the third listed option (C ) Only the selection of the first and second listed options (A and B), only the selection of the second and third listed options (B and C), or the selection of all three options ( A, B, and C) may be encompassed. Even if more items are enumerated, it may be obviously extended to those skilled in the art.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)

Abstract

2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오가 부호화된 비디오 데이터를 입력하고, 비디오와 함께 재생하기 위한 자막 데이터와, 자막 데이터를 3차원 자막으로 재생하기 위한 오프셋의 변환 속도에 대한 정보를 포함하는 3차원 자막 변환 정보를 결정하여, 부호화된 비디오 데이터, 자막 데이터 및 3차원 자막 변환 정보를 다중화하여 디지털 방송을 위한 비트스트림을 출력하는 디지털 자막 방송 비트스트림 생성 방법이 개시된다.

Description

디지털 자막 방송을 위한 방송 비트스트림을 생성하는 방법 및 그 장치, 디지털 자막 방송을 위한 방송 비트스트림을 수신하는 방법 및 그 장치
본 발명은, 2차원 컨텐트 또는 3차원 컨텐트를 제공하기 위한 디지털 방송 컨텐트의 송수신 방법에 관한 것이다.
디지털 방송 전송 시스템은, 방송 프로그램을 통해 비디오 컨텐츠와 오디오 컨텐츠를 제공하면서, 비디오 화면 상에 표시되기 위한 자막 서비스를 제공하기도 한다. 디지털 방송 수신 시스템은, 전송되어온 비디오 데이터를 복호화하여 비디오컨텐트를 복원하고, 자막 서비스를 통해 수신된 자막 데이터를 이용하여 생성한 자막을 합성함으로써, 자막이 표시된 비디오 화면을 재생할 수 있다.
현실감과 입체감을 수반한 3차원 컨텐트에 대한 요구가 증가하고 있다. 3차원으로 재생되도록 제작된 방송용 컨텐트 또는 프로그램도 등장하고 있다. 3차원 비디오를 지원하는 디지털 방송 수신 시스템은, 3차원 방송용 컨텐트를 수신하여 3차원 비디오를 재생할 수 있다. 3차원 비디오 방송 컨텐트의 보급으로 인해, 방송 컨텐트의 재생 방식이 변화함에 따라, 방송 수신 시스템의 부가적인 기능의 변화도 요구되고 있다.
본 발명은, 디지털 방송 스트림을 통해, 2차원 자막 데이터를 이용하여 3차원 자막을 구현하기 위한 3차원 자막 정보를 제공하고, 3차원 자막 정보를 이용하여 3차원 자막을 구현하는 방법을 개시한다.
본 발명의 일 실시예에 따라 디지털 자막 방송을 위한 방송 비트스트림을 생성하는 방법은, 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오가 부호화된 비디오 데이터를 입력받는 단계; 상기 비디오와 함께 재생하기 위한 자막 데이터와, 상기 자막 데이터를 3차원 자막으로 재생하기 위한 오프셋의 변환 속도에 대한 정보를 포함하는 3차원 자막 변환 정보를 결정하는 단계; 및 상기 부호화된 비디오 데이터, 상기 자막 데이터 및 상기 3차원 자막 변환 정보를 다중화하여 디지털 방송을 위한 비트스트림을 출력하는 단계를 포함한다.
본 발명의 따라 생성된 디지털 방송 비트스트림에 의해, 비트스트림의 서비스 블록, 자막 윈도우 명령어 또는 섹션 테이블 영역의 여유 공간을 이용하여, 일 실시예에 따른 3차원 자막 변환 정보, 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보, 3차원 자막 전송 정보가 송수신될 수 있다.
또한, 일 실시예에 따른 3차원 자막 변환 정보에 기초하여, 2차원 자막 재생 상태와 3차원 자막 재생 상태가 급격한 변경되는 것을 방지하고, 자막 뎁스의 변화에 비례하여 자막 크기가 조절될 수 있으며, 서로 겹쳐지는 복수 개의 자막 윈도우들 간에 3차원 자막 우선권을 부여하여 재생 순위를 설정할 수 있으므로, TV 시청자에게 시각적으로 자연스러운 3차원 방송 프로그램이 제공될 수 있다.
도 1 은 일 실시예에 따라 디지털 자막 방송을 위한 디지털 자막 방송 비트스트림 생성 장치의 블록도를 도시한다.
도 2a 및 2b 는 각각 일 실시예에 따라 디지털 자막 방송을 위한 디지털 자막 방송 비트스트림 수신 장치의 블록도를 도시한다.
도 3 은 DTV(Digital TV) 비트스트림의 DTV-CC(Digital TV Closed Caption) 자막 데이터의 구조를 도시한다.
도 4 는 DTV-CC 자막 데이터의 프로토콜 모델을 도시한다.
도 5 는 CEA-708에 따른 DTV CC 코드셋 테이블(Code Set Table)을 도시한다.
도 6 은 PMT(Program Map Table) 영역 또는 EIT(Event Information Table) 영역의 캡션 서비스 서술자(Caption Service Descriptor)의 신택스를 도시한다.
도 7 은 비디오 오프셋과 자막 윈도우 오프셋의 그래프들을 도시한다.
도 8 은 3차원 자막에서 객체와 자막 윈도우 간에 뎁스가 역전되는 현상을 도시한다.
도 9 은 일 실시예에 따른 3차원 자막 오프셋 정보를 전송하기 위한 서비스 블록을 도시한다.
도 10 은 일 실시예에 따른 3차원 자막 오프셋 명령어를 도시한다.
도 11 및 12 는 각각 일 실시예에 따른 3차원 자막 서비스 블록 및 일 실시예에 따른 3차원 자막 오프셋 명령어를 이용하여 3차원 자막 윈도우를 결정하는 실시예를 도시한다.
도 13 은 일 실시예에 따른 3차원 자막 오프셋 정보를 이용하여 자막 데이터를 3차원 자막으로 재생하기 위한 비디오 디코딩 시스템의 블록도를 도시한다.
도 14 는 일 실시예에 따른 3차원 자막 오프셋 정보를 이용하여 자막을 재생하는 방법의 흐름도를 도시한다.
도 15 는 일 실시예에 따른 자막 오프셋 변환 속도 명령어를 도시한다.
도 16 는 일 실시예에 따른 자막 오프셋 변환 속도 정보를 이용한 3차원 자막의 오프셋 변화 그래프를 도시한다.
도 17 은 일 실시예에 따른 자막 오프셋 변환 속도 정보를 이용한 3차원 자막 처리 화면을 도시한다.
도 18 은 다른 실시예에 따른 자막 오프셋 변환 속도 정보를 이용한 3차원 자막의 오프셋 변화 그래프를 도시한다.
도 19 은 자막의 뎁스 변화에 따른 자막의 크기 변화를 도시한다.
도 20 은 일 실시예에 따른 3차원 자막 크기 변환 명령어를 도시한다.
도 21 은 일 실시예에 따른 3차원 자막 크기 변환 정보를 추가적으로 설정하기 위한 자막 오프셋 변환 속도 명령어를 도시한다.
도 22 는 일 실시예에 따라 두 개의 기본스트림을 전송하는 시스템에서, 각각의 기본스트림에 2차원 DTV 클로즈드 캡션 정보와 3차원 DTV 클로즈드 캡션 정보가 포함된 경우를 도시한다.
도 23 및 24은 일 실시예에 따라 구성된 둘 이상의 자막 윈도우들이 충돌하는 경우, 자막 윈도우를 재생하는 방법을 도시한다.
도 25 은 일 실시예에 따라 디지털 자막 방송을 위한 디지털 자막 방송 비트스트림 생성 방법의 흐름도를 도시한다.
도 26 는 일 실시예에 따라 디지털 자막 방송을 위한 디지털 자막 방송 비트스트림 수신 방법의 흐름도를 도시한다.
본 발명의 일 실시예에 따라 디지털 자막 방송을 위한 방송 비트스트림을 생성하는 방법은, 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오가 부호화된 비디오 데이터를 입력받는 단계; 상기 비디오와 함께 재생하기 위한 자막 데이터와, 상기 자막 데이터를 3차원 자막으로 재생하기 위한 오프셋의 변환 속도에 대한 정보를 포함하는 3차원 자막 변환 정보를 결정하는 단계; 및 상기 부호화된 비디오 데이터, 상기 자막 데이터 및 상기 3차원 자막 변환 정보를 다중화하여 디지털 방송을 위한 비트스트림을 출력하는 단계를 포함한다.
일 실시예에 따른 상기 비트스트림 출력 단계는, 상기 자막 데이터를 상기 디지털 방송 비트스트림의 픽처 사용자 데이터 영역, 자막 서비스 데이터 영역 및 섹션 테이블 영역 중 적어도 하나에 삽입하는 단계; 및 상기 3차원 자막 변환 정보를 상기 비트스트림의 자막 서비스 블록, 자막 윈도우 명령어 및 상기 섹션 테이블 영역 중 적어도 하나에 삽입하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따라 디지털 자막 방송을 위한 방송 비트스트림을 수신하는 방법은, 2차원 비디오 및 3차원 비디오 중 적어도 하나의 부호화된 비디오 데이터를 포함하는 비트스트림을 수신하는 단계; 상기 수신된 비트스트림을 역다중화하고 파싱하여, 상기 비트스트림으로부터 상기 부호화된 비디오 데이터, 상기 비디오와 함께 재생하기 위한 자막 데이터와, 상기 자막 데이터를 3차원 자막으로 재생하기 위한 오프셋의 변환 속도에 대한 정보를 포함하는 3차원 자막 변환 정보를 추출하는 단계; 및 상기 3차원 자막 변환 정보에 기초하여, 비디오 화면 상에서 상기 자막 데이터의 재생 형태를 결정하는 단계를 포함한다.
일 실시예에 따른 상기 디지털 자막 방송 비트스트림 수신 방법은, 상기 부호화된 비디오 데이터를 복호화하여 상기 2차원 비디오 및 3차원 비디오 중 적어도 하나의 비디오를 복원하는 단계; 및 상기 3차원 자막 변환 정보에 기초하여 결정된 상기 자막 데이터의 재생 형태에 따라, 상기 비디오 화면 상에서 상기 자막 데이터를 3차원 자막으로 재생하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 디지털 자막 방송을 위한 방송 비트스트림 생성 장치는, 비디오 인코딩 프로세서에 의해, 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오가 부호화된 비디오 데이터를 입력받는 비디오 데이터 입력부; 상기 비디오와 함께 재생하기 위한 자막 데이터와 상기 자막 데이터를 3차원 자막으로 재생하기 위한 오프셋의 변환 속도에 대한 정보를 포함하는 3차원 자막 변환 정보를 결정하는 3차원 자막 변환 정보 결정부; 및 상기 부호화된 비디오 데이터, 상기 자막 데이터 및 상기 3차원 자막 변환 정보를 다중화하여 비트스트림을 출력하는 비트스트림 출력부를 포함한다.
본 발명의 일 실시예에 따른 디지털 자막 방송을 위한 방송 비트스트림 수신 장치는, 2차원 비디오 및 3차원 비디오 중 적어도 하나의 부호화된 비디오 데이터를 포함하는 비트스트림을 수신하는 비트스트림 수신부; 상기 수신된 비트스트림을 역다중화하고 파싱하여, 상기 비트스트림으로부터 상기 부호화된 비디오 데이터, 상기 비디오와 함께 재생하기 위한 자막 데이터와, 상기 자막 데이터를 3차원 자막으로 재생하기 위한 오프셋의 변환 속도에 대한 정보를 포함하는 3차원 자막 변환 정보를 추출하는 추출부; 및 상기 3차원 자막 변환 정보에 기초하여, 비디오 화면 상에서 상기 자막 데이터의 재생 형태를 결정하는 자막 결정부를 포함한다.
일 실시예에 따른 상기 디지털 자막 방송 비트스트림 수신 장치는, 비디오 디코딩 프로세서와 연동하여, 상기 부호화된 비디오 데이터를 복호화하여 상기 2차원 비디오 및 3차원 비디오 중 적어도 하나의 비디오를 복원하는 비디오 복원부; 및 상기 3차원 자막 변환 정보에 기초하여 결정된 상기 자막 데이터의 재생 형태에 따라, 상기 비디오 화면 상에서 상기 자막 데이터를 3차원 자막으로 재생하는 재생부를 더 포함할 수 있다.
본 발명은, 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 방법을 연산 프로세서로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 포함한다. 본 발명은, 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 방법을 연산 프로세서로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 포함한다.
이하, 도 1 내지 26을 참조하여, 2차원 비디오 또는 3차원 비디오를 제공하는 디지털 방송을 위하여 본 발명의 일 실시예에 따라 3차원 자막을 재생하기 위한 자막 정보를 포함하는 디지털 자막 방송 비트스트림 생성 방법 및 그 장치, 그리고 디지털 방송 비트스트림의 수신 방법과 그 장치를 상술한다. 또한, 일 실시예에 따른 자막 정보를 이용하여 3차원 자막을 재생하는 방법과 그 장치를 상술한다.
도 1 은 일 실시예에 따른 디지털 자막 방송을 위한 디지털 자막 방송 비트스트림 생성 장치(100)의 블록도를 도시한다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 비디오 데이터 입력부(110), 3차원 자막 변환 정보 결정부(120) 및 비트스트림 출력부(130)를 포함한다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 비디오 데이터, 자막 데이터 및 자막 데이터를 3차원 자막으로 원활히 재생하기 위하여 필요한 각종 정보를 수록한 일 실시예에 따른 3차원 자막 변환 정보를 포함하는 비트스트림을 생성한다. 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, ATSC(Advanced Television Systems Committee) 방식에 따른 지상파 DTV 방송시스템을 위한 비트스트림을 생성할 수도 있다.
일 실시예에 따른 비디오 데이터 입력부(110)는, 비디오 인코딩 프로세서로부터 비디오가 부호화된 비디오 데이터를 입력받는다. 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 2차원 비디오 방송 서비스 또는 3차원 비디오 방송 서비스를 제공하기 위하여, 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오가 부호화된 비디오 데이터를 입력받는다.
일 실시예에 따른 3차원 자막 변환 정보 결정부(120)는, 비디오 데이터와 함께 재생하기 위한 자막 데이터와, 자막 데이터를 3차원 자막으로 재생하기 위한 정보를 포함하는 3차원 자막 변환 정보를 결정한다. 일 실시예에 따른 3차원 자막 변환 정보는, 자막 데이터를 3차원 자막으로 재생하기 위한 오프셋의 변환 속도에 대한 정보를 포함할 수 있다.
일 실시예에 따른 3차원 자막 변환 정보 결정부(120)는, CEA-608 또는 CEA-708에 따른 DTV-CC 자막 데이터를 결정할 수도 있다.
일 실시예에 따른 비트스트림 출력부(130)는, 비디오 데이터 입력부(110)으로부터 출력된 부호화된 비디오 데이터와, 3차원 자막 변환 정보 결정부(120)로부터 출력된 자막 데이터 및 3차원 자막 변환 정보를 입력받고, 다중화하여 비트스트림을 출력한다.
일 실시예에 따른 비트스트림 출력부(130)는, MPEG-2 TS 시스템에 기초하여, 부호화된 비디오 데이터와, 자막 데이터 및 3차원 자막 변환 정보를 포함하는 비트스트림을 구성할 수 있다.
부호화된 비디오 데이터는 디지털 방송 비트스트림의 비디오스트림의 픽처 데이터 영역에 삽입되어 전송될 수 있다. 자막 데이터는 비디오스트림의 픽처 사용자 데이터 영역, 자막 서비스 데이터 영역 및 섹션 테이블 영역 중 적어도 하나에 포함되어 전송될 수 있다.
일 실시예에 따른 비트스트림 출력부(130)는, 비트스트림의 자막 서비스 블록, 자막 윈도우 명령어 및 섹션 테이블 영역 중 적어도 하나에 3차원 자막 변환 정보를 삽입할 수 있다.
일 실시예에 따른 비트스트림 출력부(130)는, 비트스트림을 다중화하여 전송스트림(Transport Stream)의 형태로 전송할 수 있다.
이하, 3차원 자막 변환 정보 결정부(120)가 일 실시예에 따른 3차원 자막 변환 정보를 결정하고, 비트스트림 출력부(130)가 일 실시예에 따른 3차원 자막 변환 정보를 전송하는 방법을 상술한다.
일 실시예에 따른 3차원 자막 변환 정보 결정부(120)는, 3차원 자막 변환 정보로서, 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보, 그리고 3차원 자막 변환 정보가 전송됨을 알리는 3차원 자막 전송 정보 중 적어도 하나를 결정할 수 있다.
일 실시예에 따른 3차원 자막 오프셋 정보는, 자막 데이터를 3차원 자막으로 재생하기 위하여 필요한 자막 오프셋을 나타내며, 자막 오프셋은 주시점 자막 윈도우와 부가시점 자막 윈도우의 오프셋을 나타낼 수 있다. 일 실시예에 따른 주시점 자막 윈도우와 부가시점 자막 윈도우의 오프셋은, 주시점 자막 윈도우와 부가시점 자막 윈도우 간의 뎁스, 변이 및 양안 시차 중 적어도 하나를 포함할 수 있다. 또한 일 실시예에 따른 주시점 자막 윈도우와 부가시점 자막 윈도우의 오프셋은, 제로 평면으로부터 주시점 자막 또는 부가시점 자막까지의 뎁스, 변이 및 양안 시차 중 적어도 하나를 포함할 수도 있다.
일 실시예에 따른 비트스트림 출력부(130)는, 3차원 자막 오프셋 정보를 포함하는 3차원 자막 서비스 블록을 생성하고, 디지털 방송 비트스트림의 비디오스트림의 사용자 데이터 영역에 삽입할 수 있다. 일 실시예에 따른 비트스트림 출력부(130)가 자막 서비스 블록과 3차원 자막 서비스 블록을 포함하는 비트스트림을 전송함으로써, 현재 자막 서비스 블록에 포함된 자막 데이터와 함께 3차원 자막 오프셋 정보를 전송할 수 있다.
일 실시예에 따른 비트스트림 출력부(130)는, 자막 윈도우 명령어 형식에 기초하여, 3차원 자막 오프셋 정보를 설정하기 위한 3차원 자막 오프셋 명령어를 결정할 수 있다. 일 실시예에 따른 3차원 자막 오프셋 명령어는, 자막 서비스별로 3차원 자막 오프셋 정보를 지정하도록 할 수 있다.
일 실시예에 따른 비트스트림 출력부(130)는, CEA-708에 기초한 자막 윈도우 명령어를, 비트스트림의 자막 서비스 데이터 영역에 삽입할 수 있다. 자막 서비스 데이터 영역은 자막 서비스 블록에 포함될 수 있다. 전술한 바와 같이 자막 서비스 데이터 영역은 디지털 방송 비트스트림의 비디오스트림의 사용자 데이터 영역의 구성요소이므로, 일 실시예에 따른 일 실시예에 따른 3차원 자막 오프셋 명령어를, 디지털 방송 비트스트림의 비디오스트림의 자막 서비스 데이터 영역에 삽입할 수 있다. 따라서, 일 실시예에 따른 3차원 자막 오프셋 명령어는 자막 서비스 블록의 자막 데이터와 함께 전송될 수 있다.
일 실시예에 따른 비트스트림 출력부(130)는, 섹션 테이블 영역의 PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 캡션 서비스 서술자의 예비 영역에 3차원 자막 오프셋 정보를 삽입할 수 있다. 또는 일 실시예에 따른 비트스트림 출력부(130)는, 3차원 자막 오프셋 정보를 포함하는 서술자를 생성하여, 섹션 테이블 영역의 PMT 영역 및 EIT 영역 중 적어도 하나의 서술자 영역에 삽입할 수도 있다. 일 실시예에 따른 비트스트림 출력부(130)는, 섹션 테이블과 비디오스트림과 다중화하여 비트스트림을 생성하고 전송함으로써, 비디오스트림의 비디오 데이터, 섹션 테이블 또는 비디오스트림에 포함된 자막 데이터와 함께 3차원 자막 오프셋 정보가 전송될 수 있다.
일 실시예에 따른 자막 오프셋 변환 속도 정보는, 3차원 자막의 자막 오프셋의 급격한 변환을 방지하기 위하여, 3차원 자막 윈도우의 목표 오프셋을 나타내는 목표 오프셋 정보와, 자막 오프셋의 변환이 발생하는 구간을 나타내는 자막 변환 구간 정보를 포함할 수 있다.
일 실시예에 따른 비트스트림 출력부(130)는, 자막 윈도우 명령어 형식에 기초하여, 자막 오프셋 변환 속도 정보를 설정하기 위한 자막 오프셋 변환 속도 명령어를 결정할 수 있다. 일 실시예에 따른 자막 오프셋 변환 속도 명령어는 현재 자막 서비스의 자막 윈도우별로 자막 오프셋 변환 속도 정보를 설정할 수 있다.
일 실시예에 따른 비트스트림 출력부(130)는, 디지털 방송 비트스트림의 비디오스트림의 자막 서비스 데이터 영역에 자막 오프셋 변환 속도 명령어를 삽입하여 비트스트림을 전송함으로써, 현재 자막 서비스 블록의 자막 데이터와 함께 자막 오프셋 변환 속도 정보를 전송할 수 있다.
일 실시예에 따른 자막 오프셋 변환 속도 정보는, 현재 프레임 및 다음 프레임의 자막 윈도우들 간의 오프셋 변화량을 나타내는 정보, 오프셋 변화량의 방향을 나타내는 정보, 목표 오프셋 정보 및 자막 변환이 발생하는 자막 윈도우를 나타내는 자막 변환 윈도우 식별 정보 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 3차원 자막을 위한 오프셋 변화량 정보는, 현재 프레임의 오프셋과 다음 프레임의 오프셋 간의 차이를 나타낼 수 있다. 일 실시예에 따른 3차원 자막을 위한 자막 변환 구간 정보는, 자막 변환이 시작하는 프레임으로부터 완료하는 프레임까지의 프레임 개수를 나타낼 수 있다.
일 실시예에 따른 3차원 자막 변환 정보 결정부(120)는, 자막 데이터를 자막 오프셋을 변환하여 재생하기 위하여, 자막의 크기를 조절하기 위한 정보를 포함하는 3차원 자막 크기 변환 정보를 결정할 수 있다. 일 실시예에 따른 3차원 자막 크기 변환 정보는, 자막 크기가 변하는 비율을 나타낼 수 있다. 일 실시예에 따른 자막의 크기는 자막 윈도우의 크기 및 자막 폰트의 사이즈 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 비트스트림 출력부(130)는, 자막 윈도우 명령어 형식에 기초하여, 3차원 자막 크기 변환 정보를 설정하기 위한 3차원 자막 크기 변환 명령어를 결정할 수 있다. 일 실시예에 따른 3차원 자막 크기 변환 명령어는 현재 자막 서비스의 자막 윈도우별로 3차원 자막 크기 변환 정보를 설정할 수 있다.
일 실시예에 따른 비트스트림 출력부(130)는, 디지털 방송 비트스트림의 비디오스트림의 자막 서비스 데이터 영역에 3차원 자막 크기 변환 명령어를 삽입하여 비트스트림을 전송함으로써, 현재 자막 서비스 블록의 자막 데이터와 함께 3차원 자막 크기 변환 정보를 전송할 수 있다.
일 실시예에 따른 비트스트림 출력부(130)는, 일 실시예에 따른 자막 오프셋 변환 속도 명령어가 3차원 자막 크기 변환 정보를 더 설정하도록, 자막 오프셋 변환 속도 명령어를 변형할 수도 있다.
일 실시예에 따른 비트스트림 출력부(130)는, 비트스트림을 통해 3차원 자막 변환 정보가 전송됨을 나타내는 3차원 자막 전송 정보를, 섹션 테이블 영역의 PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 캡션 서비스 서술자에 삽입할 수 있다.
즉, 일 실시예에 따른 3차원 자막 전송 정보는, 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보와, 3차원 자막 크기 변환 정보 중 적어도 하나가 비트스트림을 통해 전송되는지 여부를 나타낼 수 있다.
일 실시예에 따른 비트스트림 출력부(130)는, 3차원 자막 변환 정보, 3차원자막 데이터 등이 전송됨을 나타내는 3차원 자막 전송 정보를 포함하는 3차원 자막 전송 서술자를 생성하고, PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 서술자 영역에 3차원 자막 전송 서술자를 삽입할 수도 있다.
또한, 일 실시예에 따른 비트스트림 출력부(130)는, 3차원 자막 서비스 블록이 전송됨을 나타내는 3차원 자막 서비스 블록 전송 정보와, 3차원 자막 윈도우 명령어가 전송됨을 나타내는 3차원 자막 윈도우 명령어 전송 정보 중 적어도 하나를, PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 캡션 서비스 서술자에 삽입하여 전송할 수도 있다.
일 실시예에 따른 비트스트림 출력부(130)는, 2개의 비디오 기본스트림을 전송하는 경우에, 3차원 비디오의 주시점 비디오 데이터 및 부가시점 비디오 데이터를, 메인 비디오 기본스트림과 서브 비디오 기본스트림에 삽입할 수 있다. 일 실시예에 따른 비트스트림 출력부(130)는, 일 실시예에 따른 3차원 자막 변환 정보 및 3차원 자막 전송 정보를, 메인 비디오 기본스트림 및 서브 비디오 기본스트림 중 적어도 하나에 삽입할 수 있다.
또한 3차원 비디오의 주시점 비디오 데이터 및 부가시점 비디오 데이터가, 각각 메인 기본스트림과 서브 기본스트림에 삽입되는 경우, 일 실시예에 따른 비트스트림 출력부(130)는, 3차원 자막을 지원하지 못하는 2차원 자막 시스템을 위해, 3차원 자막 변환 정보 및 3차원 자막 전송 정보를 서브 기본스트림에 삽입할 수 있다.
도 2a 및 2b 는 각각 일 실시예에 따라 디지털 자막 방송을 위한 디지털 자막 방송 비트스트림 수신 장치(200, 270)의 블록도를 도시한다.
일 실시에에 따라 디지털 방송의 자막 정보를 포함하는 디지털 자막 방송 비트스트림 수신 장치(200, 270)는 비트스트림 수신부(210), 추출부(220) 및 자막 결정부(230)를 포함한다.
일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 비디오 데이터, 자막 데이터 및 자막 데이터를 3차원 자막으로 원활히 재생하기 위하여 필요한 각종 정보를 수록한 일 실시예에 따른 3차원 자막 변환 정보를 포함하는 비트스트림을 수신한다. 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, ATSC 방식에 따른 지상파 DTV 방송시스템을 위한 비트스트림을 수신할 수도 있다.
일 실시예에 따른 비트스트림 수신부(210)는, 2차원 비디오 및 3차원 비디오 중 적어도 하나의 부호화된 비디오 데이터를 포함하는 비트스트림을 수신한다. 일 실시예에 따른 비트스트림 수신부(210)는, 전송스트림 형태의 비트스트림을 수신할 수 있다.
일 실시예에 따른 추출부(220)는, 수신된 비트스트림을 역다중화하고 파싱하여, 비트스트림으로부터 부호화된 비디오 데이터, 비디오와 함께 재생하기 위한 자막 데이터와 3차원 자막 변환 정보를 추출한다. 일 실시예에 따른 3차원 자막 변환 정보는 도 1을 참조하여 전술한 디지털 자막 방송 비트스트림 생성 장치(100)에 의해 결정된 3차원 자막 변환 정보에 상응할 수 있다.
일 실시예에 따른 추출부(220)는, 자막 데이터를 디지털 방송 비트스트림의 픽처 사용자 데이터 영역, 자막 서비스 데이터 영역 및 섹션 테이블 영역 중 적어도 하나로부터 추출할 수 있다.
일 실시예에 따른 추출부(220)는, 3차원 자막 변환 정보를 비트스트림의 자막 서비스 블록, 자막 윈도우 명령어 및 섹션 테이블 영역 중 적어도 하나로부터 추출할 수 있다. 일 실시예에 따른 추출부(220)는, 3차원 자막 변환 정보로서, 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보, 그리고 3차원 자막 변환 정보가 전송됨을 알리는 3차원 자막 전송 정보 중 적어도 하나가 추출될 수 있다.
일 실시예에 따른 자막 결정부(230)는, 추출부(220)에 의해 추출된 3차원 자막 변환 정보에 기초하여, 비디오 화면 상에서 자막의 재생 형태를 결정한다. 일 실시예에 따른 자막 결정부(230)는, 비트스트림으로부터 추출된 자막 데이터를 이용하여 캐릭터, 아이콘 등을 복원하여 자막을 결정할 수 있다.
또한, 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(270)는, 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(270)의 비트스트림 수신부(210), 추출부(220) 및 자막 결정부(230)와 함께, 비디오 복원부(240) 및 재생부(250)를 더 포함할 수 있다. 디지털 방송 스트림 수신 장치(270)는, 디지털 방송 스트림 수신 장치(200)의 구성요소를 모두 포함하므로, 디지털 방송 스트림 수신 장치(200)의 동작들을 모두 수행할 수 있다.
일 실시예에 따른 비디오 복원부(240)는, 추출부(220)에 의해 추출된 비디오 데이터를 입력받으며, 비디오 디코딩 프로세서와 연동하여, 부호화된 비디오 데이터를 복호화하고, 2차원 비디오 및 3차원 비디오 중 적어도 하나의 비디오를 복원할 수 있다. 3차원 비디오의 경우, 주시점 비디오 및 하나 이상의 부가시점 비디오가 복원될 수 있다.
일 실시예에 따른 재생부(250)는, 비디오 복원부(240)에 의해 복원된 비디오와 추출부(120)에 의해 추출된 자막 데이터를 입력받고, 자막 결정부(130)에 의해 결정된 자막의 재생 형태에 따라, 복원된 비디오와 자막 데이터를 합성하여, 비디오 화면 상에서 3차원 자막을 재생할 수 있다.
일 실시예에 따른 자막의 재생 형태는 자막 윈도우의 위치 및 크기, 자막 폰트의 크기 및 자막의 3차원 자막 우선권 등을 포함할 수 있다. 자막 윈도우의 위치 또는 크기를 결정하는 동작은, 주시점 자막 윈도우 및 부가시점 자막 윈도우의 위치 및 크기를 결정하는 동작을 포함할 수 있다.
일 실시예에 따른 자막 결정부(230)는, 3차원 자막 변환 정보에 기초하여, 자막 윈도우의 위치 및 크기, 자막 폰트의 크기를 결정할 수 있다.
일 실시예에 따른 재생부(250)는, 복원된 비디오의 주시점 비디오 및 부가시점 비디오에 각각 주시점 자막 및 부가시점 자막을 합성하여, 주시점 자막과 주시점 비디오가 합성된 주시점 화면과, 부가시점 자막과 부가시점 비디오가 합성된 부가시점 화면을 재생할 수 있다.
일 실시예에 따른 추출부(220)는, 디지털 방송 비트스트림의 비디오스트림의 사용자 데이터 영역으로부터 3차원 자막 서비스 블록을 추출할 수 있다. 일 실시예에 따른 추출부(220)는, 3차원 자막 서비스 블록으로부터 3차원 자막 오프셋 정보를 추출할 수 있다.
일 실시예에 따른 추출부(220)는, 비트스트림의 자막 서비스 데이터 영역으로부터 3차원 자막 오프셋 명령어를 추출할 수 있다. 일 실시예에 따른 3차원 자막 결정부(230)는, 3차원 자막 오프셋 명령어에 기초하여, 자막 서비스별로 3차원 자막 오프셋 정보를 판독할 수 있다.
또한, 일 실시예에 따른 추출부(220)는, 섹션 테이블 영역의 PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 캡션 서비스 서술자의 예비 영역으로부터, 3차원 자막 오프셋 정보를 추출할 수 있다. 또는 일 실시예에 따른 추출부(220)는, 섹션 테이블 영역의 PMT 영역 및 EIT 영역 중 적어도 하나의 서술자 영역으로부터, 3차원 자막 오프셋 정보를 포함하는 서술자를 추출하고, 서술자로부터 3차원 자막 오프셋 정보를 추출할 수 있다.
일 실시예에 따른 3차원 자막 결정부(230)는, 추출부(220)에 의해 추출된 일 실시예에 따른 3차원 자막 오프셋 정보에 기초하여, 3차원 자막 윈도우의 오프셋을 판독하고, 주시점 자막 윈도우 및 부가시점 자막 윈도우의 위치를 결정할 수 있다. 일 실시예에 따른 3차원 자막 결정부(230)는, 3차원 자막 윈도우의 오프셋으로서, 주시점 자막 윈도우 및 부가시점 자막 윈도우 간의 뎁스, 변이 및 양안 시차 중 적어도 하나, 또는 제로 평면으로부터 주시점 자막 또는 부가시점 자막까지의 뎁스, 변이 및 양안 시차 중 적어도 하나를 판독할 수 있다.
일 실시예에 따른 추출부(220)는, 비트스트림의 자막 서비스 데이터 영역으로부터, 목표 오프셋 정보 및 자막 변환 구간 정보를 포함하는 자막 오프셋 변환 속도 정보를 추출할 수 있다.
일 실시예에 따른 자막 결정부(230)는, 자막 오프셋 변환 속도 정보에 기초하여, 프레임별로 자막 윈도우의 오프셋을 결정하고, 주시점 자막 윈도우 및 부가시점 자막 윈도우의 위치를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 추출부(220)는, 디지털 방송 비트스트림의 비디오스트림의 자막 서비스 데이터 영역으로부터 자막 오프셋 변환 속도 명령어를 추출할 수 있다. 일 실시예에 따른 자막 결정부(230)는, 자막 오프셋 변환 속도 명령어에 기초하여 자막 오프셋 변환 속도 정보를 판독할 수 있다.
일 실시예에 따른 추출부(220)는, 자막 오프셋 변환 속도 정보로부터, 현재 프레임 및 다음 프레임의 자막 윈도우들 간의 오프셋 변화량을 나타내는 정보, 오프셋 변화량의 방향을 나타내는 정보, 목표 오프셋 정보 및 자막 변환이 발생하는 자막 윈도우를 나타내는 자막 변환 윈도우 식별 정보 중 적어도 하나를 추출할 수 있다.
일 실시예에 따른 자막 데이터 재생 형태 결정부(230)는, 오프셋 변화량 정보에 기초하여, 현재 프레임의 오프셋과 다음 프레임의 오프셋 간의 차이를 결정하여, 프레임별 오프셋을 결정할 수 있다. 또한, 일 실시예에 따른 자막 결정부(240)는 자막 변환 구간 정보에 기초하여, 자막 변환이 시작하는 프레임으로부터 완료하는 프레임까지의 프레임 개수를 결정할 수 있다. 일 실시예에 따른 자막 결정부(230)는, 목표 오프셋과 자막 변환이 발생하는 프레임 개수에 기초하여, 프레임별 자막 윈도우의 오프셋을 결정할 수 있다. 또한, 일 실시예에 따른 자막 결정부(230)는, 결정된 프레임별 자막 윈도우의 오프셋에 기초하여, 주시점 자막 윈도우 및 부가시점 자막 윈도우의 위치를 결정할 수 있다.
일 실시예에 따른 추출부(220)는, 비트스트림의 자막 서비스 데이터 영역으로부터 3차원 자막 크기 변환 정보를 추출할 수 있다.
일 실시예에 따른 자막 결정부(230)는 3차원 자막 크기 변환 정보에 기초하여, 자막의 크기를 결정할 수 있다. 자막 크기의 결정 동작은, 자막 윈도우의 크기의 결정 동작 및 자막 폰트 사이즈의 결정 동작 중 적어도 하나를 포함할 수 있다. 이 때 일 실시예에 따른 자막 결정부(240)는, 3차원 자막 크기 변환 정보에 기초하여, 자막 데이터 크기가 변하는 비율을 판독하고, 판독된 비율에 기초하여 자막의 크기를 결정할 수 있다.
일 실시예에 따른 추출부(220)는, 디지털 방송 비트스트림의 비디오스트림의 자막 서비스 데이터 영역으로부터 3차원 자막 크기 변환 명령어를 추출할 수 있다. 이 경우 일 실시예에 따른 자막 결정부(240)는, 3차원 자막 크기 변환 명령어에 기초하여 3차원 자막 크기 변환 정보를 판독하고, 3차원 자막 크기 변환 정보에 기초하여, 자막의 크기를 결정할 수 있다.
일 실시예에 따른 추출부(220)는, 일 실시예에 따른 자막 오프셋 변환 속도 명령어로부터 3차원 자막 크기 변환 정보를 판독하고, 3차원 자막 크기 변환 정보에 기초하여, 자막의 크기를 결정할 수도 있다.
일 실시예에 따른 추출부(220)는, 섹션 테이블 영역의 PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 캡션 서비스 서술자로부터, 비트스트림을 통해 3차원 자막 변환 정보가 전송됨을 나타내는 3차원 자막 전송 정보를 추출할 수 있다.
일 실시예에 따른 추출부(220)는, 3차원 자막 전송 정보에 기초하여, 수신된 비트스트림에, 3차원 자막 전송 정보가 삽입되어 있음을 파악할 수 있다. 따라서 일 실시예에 따른 추출부(220)는, 3차원 자막 전송 정보에 기초하여, 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 및 3차원 자막 크기 변환 정보 등이 비트스트림에 삽입되어 있음을 확인하고, 해당 정보를 추출할 수 있다.
일 실시예에 따른 추출부(220)는, 섹션 테이블 영역의 PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 서술자 영역으로부터, 3차원 자막 정보가 전송됨을 나타내는 3차원 자막 전송 정보를 추출할 수 있다.
일 실시예에 따른 추출부(220)는, 섹션 테이블 영역의 PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역으로부터, 3차원 자막 서비스 블록이 전송됨을 나타내는 3차원 자막 서비스 전송 정보를 추출할 수 있다.
또한, 일 실시예에 따른 추출부(220)는, 섹션 테이블 영역의 PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역으로부터, 3차원 자막 윈도우 명령어가 전송됨을 나타내는 3차원 자막 윈도우 명령어 전송 정보를 추출할 수 있다.
일 실시예에 따른 추출부(220)는, 3차원 자막 전송 정보에 기초하여, 비트스트림에 3차원 자막 변환 정보가 포함되어 있음이 확인되면, 자막 서비스 블록, 자막 윈도우 명령어 및 섹션 테이블 영역 중 적어도 하나로부터 3차원 자막 변환 정보를 추출할 수 있다.
일 실시예에 따른 추출부(220)는, 3차원 비디오 중에서 주시점 비디오 데이터 및 부가시점 비디오 데이터를, 각각 비트스트림의 메인 기본스트림과 서브 기본스트림으로부터 추출할 수 있다.
일 실시예에 따른 추출부(220)는, 메인 기본스트림 및 서브 기본스트림 중 적어도 하나로부터 3차원 자막 전송 정보를 추출하고, 3차원 자막 전송 정보에 기초하여, 3차원 자막 변환 정보가 포함된 기본스트림을 결정하여 그로부터 3차원 자막 변환 정보를 추출할 수 있다.
또한, 일 실시예에 따른 추출부(220)는, 서브 기본스트림만으로부터 3차원 자막 전송 정보를 추출할 수 있다. 일 실시예에 따른 3차원 자막 전송 정보에 기초하여, 서브 기본스트림에 3차원 자막 변환 정보가 포함된 것으로 판독되면 서브 기본스트림으로부터 3차원 자막 변환 정보가 추출될 수 있다. 이 경우에는, 일 실시예에 따른 3차원 자막 전송 정보에 기초하여, 서브 기본스트림에 3차원 자막 변환 정보가 포함되지 않은 것으로 판독되면, 메인 기본스트림에 대해서는 3차원 자막 변환 정보를 검출하지 않으며, 3차원 자막을 재생하는 동작을 수행하지 않는다.
일 실시예에 따른 추출부(220)는, 메인 기본스트림 및 서브 기본스트림 중 모두로부터 3차원 자막 전송 정보가 추출된다면, 주시점 비디오 데이터 및 부가시점 비디오 데이터의 재생 우선권에 기초하여, 3차원 자막 변환 정보가 포함된 기본스트림을 결정하고, 해당 기본스트림으로부터 3차원 자막 변환 정보를 추출할 수 있다.
비디오 화면 상에서, 일 실시예에 따른 자막은 자막 윈도우 내에 표시될 수 있다. 디지털 자막 방송 비트스트림 수신 장치(270)가 자막을 표시하기 위한 복수 개의 자막 윈도우들을 재생하는 경우, 자막 윈도우들 간의 충돌이 발생할 수 있다.
이를 방지하기 위해 일 실시예에 따른 자막 결정부(230)는, 자막 윈도우들의 오프셋들에 기초하여 자막 윈도우들의 3차원 자막 우선권을 결정하고 재생 위치를 결정할 수 있다. 다른 실시예에 따른 자막 결정부(230)는, 2차원 자막 우선권이 앞서는 자막 윈도우에게 높은 3차원 자막 우선권을 부여하고 오프셋을 부가하여 자막 윈도우들의 재생 위치를 결정할 수 있다.
일 실시예에 따른 재생부(250)가, 자막 데이터에 기초하여 자막을 결정하고, 자막 윈도우의 오프셋 또는 3차원 자막 우선권에 기초하여 재생 위치가 결정된 복수 개의 자막 윈도우들 내에 자막을 표시할 수 있다.
일 실시예에 따른 추출부(220)는, CEA-608 자막 데이터가 추출된 경우, 3차원 자막 서비스 블록, 및 PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 캡션 서비스 서술자의 예비 영역 중 하나로부터, 서비스 블록별로 3차원 자막 오프셋 정보를 추출할 수 있다. 또한, 일 실시예에 따른 추출부(220)는, CEA-708 자막 데이터가 추출된 경우, 3차원 자막 서비스 블록, 3차원 자막 오프셋 명령어, 및 PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 캡션 서비스 서술자의 예비 영역 중 하나로부터, 3차원 자막 오프셋 정보를 추출할 수도 있다.
도 3 은 비트스트림(300)의 DTV-CC 자막 데이터의 구조를 도시한다.
DTV 시스템 시그널인 DTV 비트스트림(300)은, 비디오스트림(310), 오디오스트림(320), PMT 영역(380) 및 EIT 영역(390)을 포함한 컨트롤 시그널(380) 등이 다중화되어 형성된다.
비디오 비트스트림(310)의 사용자 데이터 영역(340)을 통해 자막 전송 채널(350)이 전송된다. 자막 전송 채널(350)을 통해, CEA-608에 따른 NTSC 자막 데이터(360)와, CEA-708에 따른 자막 서비스 데이터(371, 373)로 구성되는 자막 채널(370)이 전송된다.
자막 관련 데이터는, 비디오스트림(310)의 사용자 데이터 영역(340), PMT 영역(380) 및 EIT 영역(390)에 포함될 수 있다. 예를 들어, 자막 서비스 데이터(371, 373)는 CEA-708에 따른 자막 텍스트 데이터 및 자막 윈도우 명령어를 포함한다. 예를 들어, PMT 영역(380) 및 EIT 영역(390)를 통해 각각 자막 채널 서비스 디렉토리 정보(385, 395)가 전송될 수 있다. 자막 채널 서비스 디렉토리 정보(385, 395)는 자막 서비스의 유형과 속성을 기술한다.
도 4 는 자막 채널의 프로토콜 모델(400)을 도시한다.
자막 채널의 프로토콜 모델(400)에 기초하여 자막 데이터 채널이 구성되며, 자막 전송의 계층 구조가 기술될 수 있다.
자막 채널 데이터는 전송 계층(Transport Layer, 410), 패킷 계층(Packet Layer, 420), 서비스 계층(Service Layer, 420), 코딩 계층(Coding Layer, 440)과 해석 계층(Interpretation Layer, 450)의 5개의 계층 구조로 구성된다.
전송 계층(Transport Layer, 410)의 DTV 시그널 데이터(415)는 도 3의 DTV 비트스트림의 전송스트림 형태에 상응하며, 비디오스트림(310), 오디오스트림(320), PMT 정보(380) 또는 EIT 정보(390) 등이 다중화되어 DTV 시그널 데이터(415)을 통해 전송된다.
패킷 계층(420)의 DTV CC 데이터 패킷(425)을 통해, 자막 채널 데이터가 패캣의 형태로 전송된다.
서비스 계층(430)의 DTV CC 자막 서비스 블록들(431, 433, 435)은, 자막 서비스 헤더와 자막 서비스 데이터(441, 443, 445)로 구성된다. 자막 서비스 헤더는 자막 데이터 채널 서비스의 개수, 서비스 유형 및 서비스 속성 등에 대한 정보를 포함한다.
코딩 계층(440)에서, DTV CC 자막 서비스 데이터들(441, 443, 445)은, 자막 데이터의 표현 방식을 기술한다. 코드셋 영역 컨트롤, 자막 윈도우 명령어, 자막 문자 및 기호들에 대해 코드 값이 할당된다. 코딩 계층(440)에서 할당된 코드 값은 도 5의 DTV CC 코드셋 테이블에 의해 정의된다.
해석 계층(450)은 DTV CC의 그래픽 사용자 인터페이스를 기술한다. 자막 데이터 및 자막 윈도우 명령어(451, 452, 453, 454, 455, 456)를 이용하여 자막 데이터를 처리하는 방식이 기술된다. 예를 들어 해석 계층(450)에서, 자막이 표시되기 위한 자막 윈도우를 생성하는 방법, 자막이 기울임체로 표시되어야 할 때 문자가 겹치지 않도록 빈자(space)를 전송하는 방법 등이 기술된다.
도 5 는 CEA-708에 따른 DTV CC 코드셋 테이블을 도시한다.
DTV CC의 코드셋 테이블은, 4개의 코드 그룹, 즉 CL, CR, GL, GR 그룹으로 분류된다. CL 그룹은 C0 그룹(510)과 C2 그룹(530)을 포함하고, GL 그룹은 G0 그룹(550)과 G2(570)을 포함하며, CR 그룹은 C1 그룹(520)과 C3 그룹(540)을 포함하고, 그리고 GR 그룹은 G1 그룹(560)과 G3 그룹(580)을 포함한다.
CL 그룹과 CR 그룹은 컨트롤 코드를 할당하기 위한 영역이며, GL 그룹과 GR 그룹은 문자 및 아이콘을 할당하기 위한 영역이다.
CL 그룹과 CR 그룹 중에서, C0 그룹(510)에 아스키(ASCII) 컨트롤 코드의 서브셋 코드들이 할당되며, C1 그룹(520)에 자막 컨트롤 코드가 할당된다. C2 그룹(530)은 각종 컨트롤 코드가 할당되기 위한 예비 영역이며, C3 그룹(540)도 컨트롤 코드 셋을 위한 예비 영역이다.
도 6 은 PMT 영역 또는 EIT 영역의 캡션 서비스 서술자의 신택스를 도시한다.
디지털 방송을 통해 자막 서비스가 제공되는 경우, 자막 전송 채널을 통해 자막 데이터가 전송되고, PMT 영역 또는 EIT 영역을 통해 자막 서비스 서술자(Caption Service Descriptor)가 전송된다.
자막 서비스 서술자는, 각각의 자막 서비스마다, 자막 타입(Caption Type) 'cc_type'(620), 언어 코드 'language'(610)와 같은 자막 정보를 기술한다.
예를 들어 'cc_type'(620) 값이 '1'이면 CEA-708에 따른 디지털 텔레비전 폐쇄 자막 서비스가 제공됨을 나타내며, '0'이면 NTSC CC 자막 서비스가 제공됨을 나타낸다.
도 7 은 비디오 오프셋과 자막 윈도우 오프셋의 그래프들을 도시한다.
시간 흐름에 따라 비디오 뎁스(710)가 변하는 경우, 비디오 뎁스(710)에 기초하여 자막 윈도우의 뎁스(750, 760, 770)도 변동될 수 있다. 하지만, 비디오 뎁스(710)의 증감에 기초하여, 시간 t1에 자막 윈도우의 뎁스가 제 1 뎁스(750)로부터 제 2 뎁스(760)로 급격하게 증가하고, 시간 t2에 다시 제 3 뎁스(770)로 급격하게 감소하여, 자막 윈도우의 뎁스가 급격히 변동하는 경우 , 자막 윈도우의 뎁스의 급격한 변화가 발생하는 변동하는 시간 t1 또는 t2로부터 소정 시간 동안은, TV 사용자는 시각적으로 어색함을 느끼고 심한 경우 피로감을 느껴 TV 시청에 불편을 겪을 수 있다.
도 8 은 3차원 자막에서 객체와 자막 윈도우 간에 뎁스가 역전되는 현상을 도시한다.
또한, 디지털 TV의 화면(800)에서 3차원 비디오가 재생될 때, 객체(820)와 자막 윈도우(810)가 동시에 재생되는 경우, 자막 윈도우(810)가 객체(820)보다 TV 사용자(850) 쪽으로 돌출되어야 한다. 하지만, 디지털 TV의 화면(800)의 제로 평면(805)으로부터 객체(820)까지의 뎁스(825)가 자막 윈도우(810)까지의 뎁스(815)보다 큰 경우, TV 사용자(850)에게 객체(820)와 자막 윈도우(810)가 겹쳐보이는 구간(830)에서 뎁스 역전 현상이 발생하여, TV 사용자(850)는 시각적으로 어색함을 느낄 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 3차원 자막 변환 정보로서, 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보, 3차원 자막 전송 정보 등을 결정하여, 자막 데이터와 3차원 자막 변환 정보를 포함하는 비트스트림을 생성할 수 있다.
일 실시예에 따른 디지털 방송 스트림 수신 장치(200, 270)는, 수신된 비트스트림으로부터 자막 데이터와 함께 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보, 3차원 자막 전송 정보 등을 포함하는 3차원 자막 변환 정보를 추출할 수 있다. 일 실시예에 따른 디지털 방송 스트림 수신 장치(200, 270)는, 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보를 이용하여, 3차원 자막을 위한 자막 윈도우의 위치, 크기 등을 결정할 수 있다.
디지털 방송 스트림 수신 장치(270)는, 결정된 자막 윈도우의 위치, 크기 등에 기초하여, 자막 데이터를 3차원 자막으로 재생할 수 있다.
이하, 도 9 내지 24를 참조하여, 자막 서비스를 제공하는 디지털 방송 서비스를 제공하기 위해, 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)가 3차원 자막 변환 정보를 결정하여 자막 데이터와 함께 전송하는 동작과, 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)가 자막 데이터와 함께 3차원 자막 변환 정보를 수신하는 동작, 그리고 디지털 자막 방송 비트스트림 수신 장치(270)가 자막 데이터와 3차원 자막 변환 정보를 이용하여 3차원 자막을 재생하는 동작에 대해 상술한다.
특히, 도 9 내지 도 14를 참조하여 3차원 자막 오프셋 정보를, 도 15 내지 18을 참조하여 3차원 자막 크기 변환 정보를, 도 19 내지 도 21을 참조하여 3차원 자막 크기 변환 정보를 이용하는 실시예들이 상술된다.
설명의 편의를 위해 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)와 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)가 자막 포맷으로 클로즈드 캡션을 이용하는 실시예를 위주로 상술된다. 하지만 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)와 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)가 3차원 자막 변환 정보의 사용례 및 동작 원리가 클로즈드 캡션에 한정되는 것은 아니다.
일 실시예에 따른 3차원 자막 오프셋 정보의 자막 오프셋은, 자막 데이터를 3차원 자막으로 재생하기 위하여 필요한 주시점 자막 및 부가시점 자막 간의 뎁스, 변이 및 양안 시차 중 적어도 하나를 포함할 수 있다. 또는 자막 오프셋은 제로 평면으로부터의 주시점 자막 또는 부가시점 자막까지의 뎁스, 변이 및 양안 시차 중 적어도 하나를 포함할 수도 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는 3차원 자막 오프셋 정보를 서비스 블록, 자막 윈도우 명령어 및 캡션 서비스 서술자 중 적어도 하나의 형태로 결정할 수 있다.
도 9 은 일 실시예에 따른 3차원 자막 오프셋 정보를 전송하기 위한 서비스 블록을 도시한다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 3차원 자막 오프셋 정보를 포함하는 3차원 자막 서비스 블록(937)을 생성할 수 있다. 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 3차원 자막 서비스 블록(937)을 DTV 시그널 데이터(915)의 픽처 사용자 데이터 영역에 삽입할 수 있다.
DTV-CC 자막 데이터의 프로토콜 모델(900)은, 도 4의 DTV-CC 자막 데이터의 프로토콜 모델(400)에 추가적으로, 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)가 생성한 3차원 자막 서비스 블록(937)을 포함한다. DTV CC 데이터 패킷(925) 및 DTV 시그널 데이터(915)를 통해, 2차원 자막 데이터를 포함하는 DTV CC 자막 서비스 블록들(431, 433, 435)과 함께 3차원 자막 서비스 블록(937)이 전송될 수 있다.
표 1 은, 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)에 의해 생성될 수 있는 DTV CC 자막 서비스의 일례를 도시한다.
표 1
Services
CEA-608 CC1 (default)
CC2
CC3
CC4
CEA-708 Service1 (default)
...
Service5
Service6
3D 3D_service
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, DTV CC 자막 데이터를 복수 개의 자막 서비스 블록 형태로 생성할 수 있다. CEA-608에 따르는 2차원 자막 데이터 'CC1', 'CC2', 'CC3', 'CC4'를 포함하는 자막 서비스 블록들, CEA-708에 따른 자막 서비스 'Service1', ..., 'Service5', 'Service6'를 포함하는 자막 서비스 블록들을 전송할 수 있다.
또한 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 일 실시예에 따른 3차원 자막 변환 정보를 포함하는 3차원 자막 서비스 블록(937)을 서비스 블록 '3D_service'의 형태로 전송할 수 있다. 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 자막 서비스 블록들 중에서, 확장된 서비스 번호가 7 내지 63인 예비 자막 서비스 블록들 중 하나에, 3차원 자막 서비스 블록(937)을 할당할 수 있다.
디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 수신된 DTV 시그널 데이터(915)를 역다중화하여, 픽처 사용자 데이터 영역으로부터 DTV CC 자막 서비스 블록들(431, 433, 435)과 3차원 자막 서비스 블록(937)을 추출할 수 있다. 디지털 자막 방송 비트스트림 수신 장치(270)는, DTV CC 서비스 블록들(431, 433, 435) 중 하나를 선택하여 자막 데이터를 추출하고 자막을 재생할 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 3차원 자막 서비스 블록(937)의 3차원 자막 오프셋 정보에 기초하여 자막의 뎁스, 변이 또는 양안시차 등의 오프셋을 판독하여, DTV CC 자막 서비스 블록들(431, 433, 435) 중 재생하기로 선택한 자막 서비스 블록의 2차원 자막 데이터에 오프셋을 부가하여 주시점 자막 윈도우 및 부가시점 자막 윈도우의 위치를 결정할 수 있다.
기존 2차원 방송 수신기는, 일 실시예에 따른 3차원 자막 서비스 블록을 인식할 수 없으므로, 일 실시예에 따른 3차원 자막 변환 정보를 판독할 수 없다. 따라서 기존 2차원 방송 수신기는, 일 실시예에 따른 3차원 자막 서비스 블록을 무시하고, 다른 자막 서비스 블록의 2차원 자막 데이터를 이용하여 2차원 자막을 재생할 수 있다. 따라서 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100) 및 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)가, 방송 비트스트림을 통해 일 실시예에 따른 3차원 자막 변환 정보를 송수신하더라도, 기존 2차원 비디오 수신기의 2차원 자막 재생 기능이 보장되므로, 기존 2차원 자막 시스템에 대한 하위 호환성이 보장될 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 비트스트림의 자막 서비스 데이터를 통해 CEA-708에 기초한 자막 윈도우 명령어를 전송할 수 있다. 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 자막 윈도우 명령어 형식에 기초하여, 3차원 자막 오프셋 정보를 설정하기 위한 3차원 자막 오프셋 명령어를 결정할 수 있다. 일 실시예에 따른 3차원 자막 오프셋 명령어는, 자막 서비스별로 3차원 자막 오프셋 정보를 지정하도록 할 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 도 5를 참조하여 전술한 DTV CC 코드셋 테이블 중 C0 그룹(510)의 EXT1 코드를 이용하여, 3차원 자막 오프셋 명령어를 결정할 수 있다.
도 10 은 일 실시예에 따른 3차원 자막 오프셋 명령어를 도시한다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 일 실시예에 따른 3차원 자막 오프셋 명령어 'SetBaseDepth'를 정의할 수 있다. 3차원 자막 오프셋 명령어 'SetBaseDepth'의 커맨드 코드(Command Code)는, "EXT1 + 0x08 + <data>"의 형식으로 2바이트 코드로 정의될 수 있다.
3차원 자막 오프셋 명령어 'SetBaseDepth'의 명령어 포맷은 'SetBaseDepth(Base Offset Sign, Base Offset)'일 수 있다. 3차원 자막 오프셋 명령어 'SetBaseDepth'의 파라미터는, 기본 오프셋 방향(base offset sign)을 나타내는 파라미터 'bos'과 기본 오프셋(base offset)을 나타내는 파라미터 'bof'를 포함할 수 있다.
파라미터 'bos'는, 주시점 자막 윈도우와 부가시점 자막 윈도우 간의 오프셋이 음(-) 방향 또는 양(+) 방향의 양안 시차인지여부를 나타낼 수 있다.
파라미터 'bof'는, 주시점 자막 윈도우와 부가시점 자막 윈도우 간의 오프셋 또는 간격을 나타낼 수 있다.
따라서, 일 실시예에 따른 3차원 자막 오프셋 명령어 'SetBaseDepth'에 의해 자막 데이터의 종류와 상관없이 주시점 자막 윈도우와 부가시점 자막 윈도우 간의 오프셋이 제공될 수 있다. 일 실시예에 따른 3차원 자막 오프셋 명령어 'SetBaseDepth'의 전송 주기를 프레임 레이트를 기준으로 설정할 수 있다. 예를 들어, 한 주기의 프레임 레이트에서 소정 개수의 연속 프레임들이 포함되는 프레임 구간마다 3차원 자막 오프셋 명령어가 전송될 수 있다면, 프레임 구간의 모든 프레임들에 대해 동일한 오프셋이 적용될 수 있다. 3차원 자막 오프셋 명령어 'SetBaseDepth'의 전송 주기를, 한 주기의 프레임 레이트 내에서 가능한 최장 프레임 구간으로 설정할 수도 있다.
디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 비트스트림의 자막 서비스 데이터 영역으로부터 3차원 자막 오프셋 명령어를 추출할 수 있다. 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 3차원 자막 오프셋 명령어에 기초하여, 현재 자막 서비스의 3차원 자막 오프셋 정보를 판독할 수 있다. 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 3차원 자막 오프셋 명령어를 이용하여, 주시점 자막 윈도우와 부가시점 자막 윈도우 간의 오프셋 방향 및 오프셋을 판독하고, 3차원 자막을 위한 주시점 자막 윈도우 및 우시점 자막 윈도우의 위치를 결정할 수 있다.
또한 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 3차원 자막 전송 정보를 결정하여, PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 캡션 서비스 서술자에 삽입하여 전송할 수도 있다.
일 실시예에 따른 3차원 자막 전송 정보는, 3차원 자막 서비스 블록이 전송됨을 나타내는 3차원 자막 서비스 블록 전송 정보, 3차원 자막 윈도우 명령어가 전송됨을 나타내는 3차원 자막 윈도우 명령어 전송 정보를 포함할 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 3차원 자막 서비스 블록 전송 정보 및 3차원 자막 윈도우 명령어 전송 정보 중 적어도 하나를 결정하여, 도 6을 참조하여 전술한 캡션 서비스 서술자의 예비 영역(650, 660, 670)에 삽입할 수 있다.
예를 들어, 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 캡션 서비스 서술자의 제 1 예비 영역(650)에 3차원 자막 서비스 블록 전송 정보 'flag_3D'를 삽입할 수 있다. 현재 비트스트림이 2차원 자막 데이터만 포함하면 'flag_3D' 값은 0으로 설정되고, 현재 비트스트림이 3차원 자막 데이터를 포함하거나 3차원 자막 서비스 블록을 포함한다면 'flag_3D' 값은 1로 설정될 수 있다.
예를 들어, 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 캡션 서비스 서술자의 제 3 예비 영역(670)에 3차원 자막 윈도우 명령어 전송 정보 '3D_708_CC'를 삽입할 수 있다. 현재 CEA-708 자막 스트림이 3차원 자막 윈도우 명령어를 포함하면 '3D_708_CC' 값은 0으로 설정되고, 현재 CEA-708 자막 스트림이 3차원 자막 윈도우 명령어를 포함하지 않는다면 '3D_708_CC' 값은 1로 설정될 수 있다.
따라서, 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, PMT 영역 또는 EIT 영역의 캡션 서비스 서술자의 예비 영역(650)으로부터 3차원 자막 서비스 블록 전송 정보를 추출하여, 현재 비트스트림이 3차원 자막 서비스 블록을 포함하고 있는지 판독하고, 판독 결과에 기초하여 3차원 자막 서비스 블록을 추출하여 해석할지 여부가 결정될 수 있다.
또한, 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 캡션 서비스 서술자의 예비 영역(670)으로부터 3차원 자막 윈도우 명령어 전송 정보를 추출하여, 현재 CEA-708 자막 스트림이 3차원 자막 윈도우 명령어를 포함하고 있는지 판독하고, 판독 결과에 기초하여 3차원 자막 윈도우 명령어를 추출하여 해석할지 여부가 결정될 수 있다.
따라서, 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 디지털 방송 스트림의 비디오 스트림이 아닌, PMT 영역 레벨에서 3차원 자막 전송 정보를 추출하여 3차원 자막 정보의 존재를 미리 확인하고 3차원 자막을 재생하여야 하는지 확인할 수 있다.
도 11 및 12 는 각각 일 실시예에 따른 3차원 자막 서비스 블록 및 일 실시예에 따른 3차원 자막 오프셋 명령어를 이용하여 3차원 자막 윈도우를 결정하는 실시예를 도시한다.
일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)가 현재 비트스트림으로부터 3차원 자막 서비스 블록 '3D_service'(1130)을 추출한 경우, 3차원 자막 서비스 블록(1130)으로부터 기본 오프셋 정보(1150)를 판독할 수 있다.
일 실시예에 따른 3차원 자막 서비스 블록 '3D_service'(1130)의 전송 주기는 임의로 설정될 수 있다. 예를 들어, 프레임 레이트 내에서 소정 개수의 연속 프레임들을 포함하는 프레임 구간을 주기로, 3차원 자막 서비스 블록 '3D_service'(1130)가 수신될 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, CEA-608 자막 데이터(1110) 또는 CEA-708 자막 데이터(1120)의 자막 데이터 종류와 상관없이 자막 윈도우(1140)를 생성할 수 있다. 또한 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 자막 윈도우(1140)에 기본 오프셋 정보(1150)를 적용하여, 주시점 자막 윈도우 및 부가시점 자막 윈도우의 위치를 결정함으로써 3차원 자막 윈도우(1160)를 결정할 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)가 CEA-708 자막 데이터(1210)를 수신한 경우, CEA-708 자막 데이터(1210)의 자막 윈도우(1220)를 생성하고, 3차원 자막 윈도우 명령어(1230)를 분석하여, 현재 자막 서비스의 자막 윈도우별로 오프셋 정보를 판독할 수 있다. 즉, 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 3차원 자막 윈도우 명령어(1230)로부터 현재 자막 서비스의 현재 자막 윈도우(1220)를 위한 오프셋 정보를 판독할 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 현재 자막 서비스의 현재 자막 윈도우(1220)를 위한 오프셋 정보에 기초하여, 현재 3차원 자막 윈도우(1240)의 주시점 자막 윈도우 및 부가시점 자막 윈도우의 위치를 결정할 수 있다.
도 13 은 일 실시예에 따른 3차원 자막 오프셋 정보를 이용하여 자막 데이터를 3차원 자막으로 재생하기 위한 비디오 디코딩 시스템(1300)의 블록도를 도시한다.
일 실시예에 따른 비디오 디코딩 시스템(1300)은 디지털 자막 방송 비트스트림 수신 장치(270)에 상응할 수 있다. 일 실시예에 따른 비디오 디코딩 시스템(1300)은 MPEG-2 전송스트림을 수신하여 비디오를 복원하고 재생할 수 있다.
입력된 MPEG-2 전송스트림은, MPEG 역다중화기(MPEG Demux, 1310)를 통하여 비디오 스트림, PMT 정보, EIT 정보로 역다중화된다.
비디오 스트림은 비디오 파서(Video Parser, 1320)로 전달되어, 비디오 파서(Video Parser, 1320)는 비디오 스트림을 파싱하여, MPEG-2 기반으로 부호화된 비디오 데이터와 사용자 데이터를 추출할 수 있다. 비디오 파서(Video Parser, 1320)로부터 파싱된 사용자 데이터가 DTV CC 디코더(1360)로 전달될 수 있다.
MPEG-2 전송스트림으로부터 추출된 PMT 정보와 EIT 정보는, 각각 PMT 버퍼(1330)와 EIT 버퍼(1335)에 저장된다. 사용자 프로세서(1340)는, PMT 정보와 EIT 정보로부터 3차원 자막 서비스 블록 전송 정보 'flag_3D'와 3차원 자막 윈도우 명령어 전송 정보 '3D_708_CC'를 판독하여 현재 비트스트림에 3차원 자막 서비스 블록 또는 3차원 자막 윈도우 명령어가 포함되어 있는지 확인할 수 있다. DTV CC 디코더(1360)는 비디오 파서(1320)로부터 파싱된 사용자 데이터로부터 CEA 608 자막 데이터(1362), CEA 708 자막 데이터(1364) 및 3차원 자막 정보 서비스 블록 '3D_service'(1366)을 추출할 수 있다.
MPEG-2 비디오 디코더(1350)는, MPEG-2 기반으로 부호화된 비디오 데이터를 복호화하여 프로그램 비디오를 복원하고, 비디오 합성부(Video Combiner, 1370)에게 출력할 수 있다. 특히, 3차원 비디오의 주시점 비디오 및 부가시점 비디오가 ㅂ복원될 수 있다.
또한 사용자 프로세서(1340)는, 각종 섹션 테이블로부터 각종 부가 정보를 추출하고, 사용자 그래픽 처리부(1380)는 섹션 테이블의 부가 정보를 이용하여 GUI 스크린을 생성하여 비디오 합성부(1370)에게로 출력할 수 있다.
비디오 합성부(Video Combiner, 1370)는, 자막 데이터(1362 또는 1364)와 3차원 자막 서비스 블록을 이용하여, 비디오 화면 상에 자막이 표시되기 위한 자막 윈도우의 위치를 결정하고, 자막 데이터(1362 또는 1364)를 이용하여 자막을 생성하고 자막 윈도우 내에 자막을 표시할 수 있다.
특히 3차원 자막 서비스 블록(1366)의 3차원 자막 변환 정보에 기초하여 자막 데이터(1362 또는 1364)의 3차원 재생 형태가 결정될 수 있다. 따라서 3차원 자막 변환 정보에 기초하여, 자막이 표시되는 주시점 자막 윈도우와 부가시점 자막 윈도우의 위치, 자막의 폰트 크기 등이 결정될 수 있다. 비디오 합성부(1370)는, 주시점 자막 윈도우와 부가시점 자막 윈도우를 각각 주시점 비디오와 부가시점 비디오와 합성할 수 있다. 또한, 비디오 합성부(1370)는, GUI 스크린을 비디오와 합성할 수도 있다.
비디오 복원부(1390)는 비디오 합성부(1370)에 의해 출력된, 자막, 비디오, GUI 스크린이 합성된 비디오 픽처들을 수신하여 비디오 시퀀스를 복원하고 출력할 수 있다. 3차원 비디오 시퀀스가 3차원 자막과 함께 복원된 경우, 3차원 비디오의 재생과 함께 3차원 자막이 재생될 수 있다.
도 14 는 일 실시예에 따른 3차원 자막 오프셋 정보를 이용하여 자막을 재생하는 방법의 흐름도(1400)를 도시한다.
단계 1410에서, 디지털 자막 방송 비트스트림 수신 장치(200, 270)는 캡션 서비스 서술자 'caption_service_descriptor'로부터 3차원 자막 정보를 추출할 수 있다. 예를 들어, 캡션 서비스 서술자로부터 일 실시예에 따른 3차원 자막 서비스 블록 전송 정보 'flag_3D'와 3차원 자막 윈도우 명령어 전송 정보 '3D_708_CC'가 추출될 수 있다.
먼저 단계 1420에서, 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 3차원 자막 서비스 블록 전송 정보 'flag_3D'에 기초하여 현재 비트스트림에 3차원 자막 서비스 블록 '3D_service'가 포함되어 있는지 결정할 수 있다. 현재 비트스트림에 3차원 자막 서비스 블록 '3D_service'가 포함되어 있지 않는 것으로 판단되면, 단계 1430으로 진행하여 자막 데이터를 이용하여 2차원 자막을 생성할 수 있다.
단계 1420에서, 현재 비트스트림에 3차원 자막 서비스 블록 '3D_service'가 포함되어 있는 것으로 판단되면, 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 3차원 자막 윈도우 명령어 전송 정보 '3D_708_CC'에 기초하여, 현재 자막 서비스 데이터에 차원 자막 윈도우 명령어가 포함되어 있는지 결정할 수 있다. 현재 자막 서비스 데이터에 차원 자막 윈도우 명령어가 포함되어 있지 않은 것으로 판단되면, 단계 1430으로 분기한다.
단계 1430에서, 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 3차원 자막 서비스 블록 '3D_service'의 3차원 자막 오프셋 정보를 판독하여, 자막을 표시할 주시점 자막 윈도우와 부가시점 자막 윈도우의 위치를 결정하여 3차원 자막을 생성할 수 있다.
단계 1420에서 현재 자막 서비스 데이터에 차원 자막 윈도우 명령어가 포함된 것으로 판단되면, 단계 1460으로 진행하여 자막 데이터 중 CEA-608 자막 데이터가 활성화되어 있는지 여부가 확인될 수 있다.
CEA-608 자막 데이터가 활성화된 것으로 판단되면, 단계 1470에서 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 3차원 자막 서비스 블록 '3D_service'의 3차원 자막 오프셋 정보를 판독하여, 3차원 자막을 표시할 주시점 자막 윈도우와 부가시점 자막 윈도우의 위치를 결정할 수 있다.
CEA-608 자막 데이터가 활성화되지 않은 것으로 판단되면, 단계 1480에서, CEA-708 자막 윈도우 명령어를 분석하여 CEA-708 자막 데이터에 적용할 수 있다. 즉 CEA-708 자막 서비스 데이터로부터, 3차원 자막 오프셋 명령어와 CEA-708 자막 데이터를 추출하여, CEA-708 자막 데이터에 3차원 자막 오프셋을 적용하여 3차원 자막을 생성할 수 있다.
또한, 자막 서비스 블록 또는 자막 윈도우 명령어를 통해 3차원 자막 오프셋 정보를 전송하는 실시예 뿐만 아니라, 일 실시예에 따른 디지털 자막 방송 스트림 생성 장치(100)는, 섹션 테이블 영역의 PMT 영역, 또는 EIT 영역의 캡션 서비스 서술자의 예비 영역을 통해 3차원 자막 오프셋 정보를 전송할 수도 있다. 표 2 는 캡션 서비스 서술자의 예비 영역(670)에 삽입 가능한 3차원 자막 오프셋 정보를 포함한 구문을 예시한다.
표 2
Syntax
If(caption_service_number == 3D_service){
base_offset_sign
base_offset
}
reserved
즉, 3차원 자막 오프셋 정보로서, 기본 오프셋 방향 정보 'base_offset_sign' 및 기본 오프셋 값 'base_offset'이 설정될 수 있다.
또한, 일 실시예에 따른 디지털 자막 방송 스트림 생성 장치(100)는, 표 2의 3차원 자막 오프셋 정보를 포함하는 별도의 서술자를 생성하여, 섹션 테이블 영역의 PMT 영역, EIT 영역의 서술자 영역을 통해 3차원 자막 오프셋 정보를 전송할 수도 있다.
따라서, 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, PMT 영역 또는 EIT 영역의 캡션 서비스 서술자의 예비 영역(650)으로부터 3차원 자막 서비스 블록 전송 정보를 추출하거나, PMT 영역 또는 EIT 영역의 서술자 영역으로부터 3차원 자막 오프셋 정보를 포함하는 서술자를 추출하여, 현재 비트스트림이 3차원 자막 서비스 블록을 포함하고 있는지 판독하고, 3차원 자막 서비스 블록을 추출하여 해석할지 여부를 결정할 수 있다.
또한, 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 캡션 서비스 서술자의 예비 영역(650)으로부터 추출된 3차원 자막 서비스 블록 전송 정보에 기초하여, 현재 비트스트림이 3차원 자막 서비스 블록을 포함하고 있다고 판독되면, 자막 서비스 식별 번호 'caption_service_number'가 '3D_service'인 자막 서비스를 위한 예비 영역(670)으로부터 기본 오프셋 방향 정보 'base_offset_sign' 및 기본 오프셋 값 'base_offset'을 추출하여, 3차원 자막을 위한 자막 윈도우의 오프셋 방향 및 오프셋 값을 판독할 수 있다.
따라서 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 디지털 방송 스트림의 비디오 스트림이 아닌, PMT 영역 레벨에서 3차원 자막 정보를 추출하여 3차원 자막의 존재를 확인하고 3차원 자막의 오프셋 정보를 판독할 수 있다.
일 실시예에 따른 자막 오프셋 변환 속도 정보는, 현재 프레임 및 다음 프레임의 자막 윈도우들 간의 오프셋 변화량을 나타내는 정보, 오프셋 변화량의 방향을 나타내는 정보, 목표 오프셋 정보 및 자막 변환이 발생하는 자막 윈도우를 나타내는 자막 변환 윈도우 식별 정보 중 적어도 하나를 포함할 수 있다. 일 실시예에 따른 3차원 자막을 위한 오프셋 변화량 정보는, 현재 프레임의 자막 오프셋과 다음 프레임의 자막 오프셋 간의 차이를 나타낼 수 있다. 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는 자막 오프셋 변환 속도 정보를 자막 윈도우 명령어 형태로 결정할 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 자막 오프셋 변환 속도 정보를 설정하기 위한 자막 오프셋 변환 속도 명령어를 결정할 수 있다.
예를 들어, 도 5를 참조하여 전술한 DTV CC 코드셋 테이블 중 컨트롤 코드의 예비 영역인 C2 그룹(530)의 3 바이트 코드 영역에, 자막 오프셋 변환 속도 명령어가 할당될 수 있다. 일 실시예에 따른 자막 오프셋 변환 속도 명령어는, 현재 자막 서비스의 자막 윈도우별로 자막 오프셋 변환 속도 정보를 설정할 수 있다.
도 15 는 일 실시예에 따른 자막 오프셋 변환 속도 명령어를 도시한다.
일 실시예에 따른 자막 오프셋 변환 속도 명령어 'DisparityStep'의 명령어 포맷은 'DisparityStep( Window_id, Target disparity sign, Step size, Target disparity)'일 수 있다. 일 실시예에 따른 자막 오프셋 변환 속도 명령어 'DisparityStep'의 파라미터는, 자막 윈도우를 식별하기 위한 파라미터 'Window_id', 자막 윈도우의 목표 오프셋 방향을 나타내는 파라미터 'Target disparity sign', 현재 프레임과 다음 프레임의 자막 윈도우들의 오프셋들 간의 변화량을 나타내는 파라미터 'Step size', 자막 윈도우의 목표 오프셋을 나타내는 파라미터 'Target disparity'를 포함할 수 있다.
일 실시예에 따른 자막 오프셋 변환 속도 명령어 'DisparityStep'의 커맨드 코드는 DTV CC 코드셋 테이블의 확장 코드 영역 중 코드 0x12로 할당될 수 있다.
파라미터 'Window_id'는, 자막 윈도우의 고유 식별자를 나타내며, 3비트(id0, id1, id2)로 할당될 수 있다.
파라미터 'Target disparity sign'는, 목표 오프셋의 방향이 음(-) 또는 양(+) 방향인지 여부를 나타내므로, 1비트(Traget disparity sign)로 할당될 수 있다.
파라미터 'Target disparity'는 자막 윈도우의 목표 오프셋으로서, 자막의 오프셋이 증가하거나 감소하여 목표 오프셋에 도달하면 더 이상 오프셋이 변동하지 않는다. 파라미터 'Target disparity'는 8비트(dis0, dis1, dis2, dis3, dis4, dis5, dis6, dis7)로 할당될 수 있다.
파라미터 'Step size'는 현재 프레임과 다음 프레임의 자막 윈도우들 간의 오프셋 변화량으로서, 다음 프레임의 자막 윈도우의 오프셋을 결정하기 위해 현재 프레임의 자막 윈도우의 오프셋에 부가되는 변화량을 나타낼 수 있다. 파라미터 'Step size'는 4비트(st0, st1, st2, st3)로 할당될 수 있다.
도 16 는 일 실시예에 따른 자막 오프셋 변환 속도 정보를 이용한 3차원 자막의 오프셋 변화 그래프를 도시한다.
도 15를 참조하여 전술된 자막 오프셋 변환 속도 명령어 'DisparityStep'는 현재 프레임의 자막 윈도우와 다음 프레임의 자막 윈도우 간의 오프셋의 변화량과 목표 오프셋을 설정할 수 있다.
예를 들어, 시간 1610에서, 첫번째 자막 오프셋 변환 속도 명령어 'DisparityStep'가, 목표 오프셋 방향을 '+'로, 오프셋 변화량을 '1'로, 목표 오프셋을 '10'으로 지정할 수 있다. 첫번째 자막 오프셋 변환 속도 명령어 'DisparityStep'에 따라, 프레임마다 자막 윈도우의 오프셋이 '1'씩 증가하고, '10'에 도달할 때까지 오프셋이 증가할 수 있다.
시간 1620에서, 오프셋이 '10'에 도달하면 첫번째 자막 오프셋 변환 속도 명령어 'DisparityStep'에 따른 자막 오프셋의 변화는 더 이상 발생하지 않는다. 이에 따라 두번째 자막 오프셋 변환 속도 명령어 'DisparityStep'가 발생할 수 있다. 두번째 자막 오프셋 변환 속도 명령어 'DisparityStep'는, 목표 오프셋 방향을 '+', 오프셋 변화량을 '2'로, 목표 오프셋을 '30'으로 설정할 수 있다. 두번째 자막 오프셋 변환 속도 명령어 'DisparityStep'에 따라, 프레임마다 자막 윈도우의 오프셋이 '2'씩 증가하고, '30'에 도달할 때까지 오프셋이 증가할 수 있다.
시간 1630에서, 오프셋이 '30'에 도달하면 두번째 자막 오프셋 변환 속도 명령어 'DisparityStep'에 의한 자막 오프셋 변환이 중단되고, 세번째 자막 오프셋 변환 속도 명령어 'DisparityStep'가 발생한다. 세번째 자막 오프셋 변환 속도 명령어 'DisparityStep'는 목표 오프셋 방향을 '-'으로, 오프셋 변화량을 '2'로, 목표 오프셋을 '10'으로 설정할 수 있다. 세번째 자막 오프셋 변환 속도 명령어 'DisparityStep'에 따라, 프레임마다 자막 윈도우의 오프셋이 '2'씩 감소하고, '10'에 도달할 때까지 오프셋이 감소할 수 있다.
시간 1640에서, 오프셋이 '10'에 도달하면 세번째 자막 오프셋 변환 속도 명령어 'DisparityStep'에 의한 자막 오프셋 변환은 중단되고, 네번째 자막 오프셋 변환 속도 명령어 'DisparityStep'가 발생한다. 네번째 자막 오프셋 변환 속도 명령어 'DisparityStep'는 목표 오프셋 방향을 '-'으로, 오프셋 변화량을 '1'로, 목표 오프셋을 '0'으로 설정할 수 있다.
네번째 자막 오프셋 변환 속도 명령어 'DisparityStep'에 따라, 프레임마다 자막 윈도우의 오프셋이 '1'씩 감소하여, 시간 1650에서 오프셋이 '0'에 도달하면 네번째 자막 오프셋 변환 속도 명령어 'DisparityStep'에 의한 자막 오프셋 변환이 중단될 수 있다.
따라서 일 실시예에 따른 자막 오프셋 변환 속도 명령어 'DisparityStep'에 기초하여, 프레임 순서 또는 시간 흐름에 따른 자막 오프셋이 곡선(1600)에 따라 완만하게 변경되므로, 2차원 자막과 3차원 자막 간의 변환이 자연스럽게 발생될 수 있다.
일 실시예에 따른 자막 오프셋 변환 속도 명령어 'DisparityStep'에 기초한 자막 윈도우의 오프셋의 변동 프로세스를 아래 신택스에 따를 수 있다.
표 3
DisparityStep 자막 윈도우 명령어에 따른 process
For( j=0; j < window count; j++){
While( disparity[j][i] < target disparity[j]){
disparity[j][i+1] = disparity[j][i] + step;
i++;
}
}
자막 오프셋 변환 속도 명령어 'DisparityStep'는 자막 윈도우별로 오프셋을 설정할 수 있다. j는 자막 윈도우의 식별 번호이며, i는 시간 순서에 따른 프레임의 식별 번호를 나타낸다. 현재 i번째 프레임의 자막 윈도우 오프셋 'disparity[j][i]'에 오프셋 변화량 'step'이 더해짐으로써, 다음 (i+1)번째 프레임의 자막 윈도우 오프셋 'disparity[j][i+1]'이 결정될 수 있다. j번째 자막 윈도우에 대해, 목표 오프셋 'target disparity[j]'가 설정되고, 현재 i번째 프레임의 자막 윈도우 오프셋 'disparity[j][i]'가 목표 오프셋 'target disparity[j]'에 도달할 때까지 i가 증가하면서, 연속적인 프레임들의 오프셋들이 변화할 수 있다. 일 실시예에 따른 자막 오프셋 변환 속도 명령어 'DisparityStep'에 기초한 자막 윈도우의 오프셋의 변동 프로세스를 도 17에서 도식화하고 있다.
도 17 은 일 실시예에 따른 자막 오프셋 변환 속도 정보를 이용한 3차원 자막 처리 화면을 도시한다.
i번째 좌시점 프레임(1701), (i+1)번째 좌시점 프레임(1703), (i+2)번째 좌시점 프레임(1705), (i+3)번째 좌시점 프레임(1707) 상에 좌시점 자막 윈도우(1710, 1730, 1750, 1770)가 표시될 수 있다.
일 실시예에 따른 자막 오프셋 변환 속도 명령어 'DisparityStep'의 오프셋 변화량 'Step'에 기초하여, 2차원 자막 윈도우의 중앙으로부터 좌시점 자막 윈도우의 오프셋 및 우시점 자막 윈도우의 오프셋에 각각 오프셋 변화량 'Step'의 절반값인 'Step/2'이 부가될 수 있다.
i번째 좌시점 프레임(1701)로부터 (i+1)번째 좌시점 프레임(1703), (i+2)번째 좌시점 프레임(1705), (i+3)번째 좌시점 프레임(1707)의 프레임 순서에 따라, 오프셋이 0인 자막 윈도우(1710)으로부터 좌시점 자막 윈도우(1730, 1750, 1770)의 오프셋(1735, 1755, 1775)은 'Step/2'씩 증가시킬 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 자막 오프셋 변환 속도 정보를 설정하기 위한 자막 오프셋 변환 속도 명령어 'DisparityStep'를 결정하여, 디지털 방송 비트스트림의 비디오스트림의 자막 서비스 데이터 영역에 삽입하여 전송할 수 있다.
디지털 자막 방송 비트스트림 수신 장치(200, 270)은, 수신된 디지털 방송 비트스트림을 파싱하여, 비디오스트림의 자막 서비스 데이터 영역으로부터 자막 오프셋 변환 속도 명령어 'DisparityStep'를 판독하고, 자막 오프셋 변환 속도 명령어 'DisparityStep'에 기초하여, 오프셋 변환이 발생할 자막 윈도우를 결정하고, 자막 윈도우의 목표 오프셋 방향과 오프셋 변화량을 판독하여, 자막 윈도우의 오프셋이 목표 오프셋에 도달할 때까지 자막 윈도우의 오프셋을 변경할 수 있다.
또한, 일 실시예에 따른 디지털 자막 방송 비트스트림 전송 장치(100)는, 3차원 자막 윈도우의 목표 오프셋을 나타내는 목표 오프셋 정보와, 자막 뎁스의 변환이 발생하는 구간을 나타내는 자막 변환 구간 정보를 설정하기 위한 자막 오프셋 변환 속도 명령어를 결정할 수 있다. 일 실시예에 따른 3차원 자막을 위한 자막 변환 구간 정보는, 자막 변환이 시작하는 프레임으로부터 완료하는 프레임까지의 프레임 개수를 나타낼 수 있다.
다른 실시예에 따른 자막 오프셋 변환 속도 명령어 'SmoothTransition'의 명령어 포맷은 'SmoothTransition( Target disparity, Applied Frame Number)'일 수 있다. 일 실시예에 따른 자막 오프셋 변환 속도 명령어 'SmoothTransition'의 파라미터는, 자막 윈도우의 목표 오프셋을 나타내는 파라미터 'Target disparity', 자막 변환이 시작하는 프레임으로부터 완료하는 프레임까지의 프레임 개수를 나타내는 파라미터 'Applied Frame Number'를 포함할 수 있다.
디지털 자막 방송 비트스트림 수신 장치(200, 270)은, 비디오스트림의 자막 서비스 데이터 영역으로부터 자막 오프셋 변환 속도 명령어 'SmoothTransition'를 판독하여, 자막 오프셋 변환 속도 명령어 'SmoothTransition'으로부터, 목표 오프셋 파라미터 'Target disparity'과 자막 변환 구간 파라미터 'Applied Frame Number'를 판독할 수 있다.
디지털 자막 방송 비트스트림 수신 장치(200, 270)은, 목표 오프셋 파라미터 'Target disparity'를 기초로 현재 자막 윈도우로부터 변화할 목표 오프셋을 결정하고, 자막 변환 구간 파라미터 'Applied Frame Number'을 기초로 자막 윈도우의 오프셋 변환이 발생하는 연속 프레임의 총 개수를 결정할 수 있다. 따라서, 자막 윈도우의 오프셋 변환이 발생하는 연속 프레임들 동안에 현재 프레임의 자막 윈도우의 오프셋이 목표 오프셋까지 자연스럽게 변화할 수 있도록, 디지털 자막 방송 비트스트림 수신 장치(200, 270)은, 목표 오프셋과 자막 오프셋 변환이 발생하는 연속 프레임의 총 개수에 기초하여, 프레임 간 오프셋 변화량을 결정할 수 있다.
도 18 은 다른 실시예에 따른 자막 오프셋 변환 속도 정보를 이용한 3차원 자막의 오프셋 변화 그래프를 도시한다.
그래프 1810 및 1820은 각각 비디오의 오프셋과 자막 윈도우의 오프셋을 나타낸다. 구간 T1, T2, T3, T4, T5는 각각 제 1 프레임, 제 2 프레임, 제 3 프레임, 제 4 프레임, 제 5 프레임이 재생되는 구간이다. 그래프 1810와 1820은, 프레임 순서에 따라 비디오 오프셋이 변동하면서, 자막 윈도우의 오프셋도 증가하고 있음을 보여준다.
예를 들어, 디지털 자막 방송 비트스트림 수신 장치(200, 270)가 프레임 구간 T1에서, 자막 오프셋 변환 속도 명령어 'SmoothTransition(10, 4)'에 기초하여, 자막 변환을 수행할 수 있다.
프레임 구간 T1에서 최초 자막 윈도우의 오프셋이 2인 경우, 목표 오프셋 '10'까지 '4'개의 프레임동안 자막 윈도우의 오프셋이 증가할 수 있다. 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 프레임 간 오프셋 변화량을 아래 관계식에 따라 결정할 수 있다.
[관계식 1]
프레임 간 오프셋 변화량 = (목표 오프셋 - 최초 오프셋)/ 변환 프레임 개수
따라서, 디지털 자막 방송 비트스트림 수신 장치(200, 270)는 프레임 간 오프셋 변화량을 2(=(10-2)/4)로 결정하고, 제 1 프레임으로부터 제 2 프레임으로 오프셋이 변동하여 제 5 프레임에 이르기까지, 매 프레임마다 자막 윈도우의 오프셋을 2씩 증가시킬 수 있다. 제 5 프레임에서 자막 윈도우의 오프셋이 10에 도달한 후에는, 디지털 자막 방송 비트스트림 수신 장치(200, 270)는 자막 윈도우의 오프셋을 더 이상 변경하지 않고 유지할 수 있다.
따라서, 제 1 프레임, 제 2 프레임, 제 3 프레임, 제 4 프레임, 제 5 프레임의 자막 윈도우의 오프셋 변화 그래프(1830)에 따라, 자막 윈도우의 오프셋이 완만하게 변환될 수 있다.
관계식 1에 따라, 자막 변환이 발생하는 프레임들에 대한 프레임간 오프셋 변화량이 선형 함수에 기초하여 결정되어, 프레임 구간마다 레임간 오프셋 변화량이 동일하게 결정되는 프레임간 오프셋 변화량 결정식은, 일 실시예에 따른 자막 오프셋 변환 속도 명령어 'SmoothTransition'의 일 실시예일 뿐이다. 따라서, 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 일 실시예에 따른 자막 오프셋 변환 속도 명령어 'SmoothTransition'에 기초하여, 프레임간 오프셋 변화량이 균등하지 않도록 결정할 수도 있다.
자막 오프셋 변환 속도 명령어 'SmoothTransition(10, 4)'에 따라, 프레임 간 오프셋 변화량의 크기가 실수 형태로도 설정될 수 있으며, 보다 적은 파라미터로도 자막 윈도우의 오프셋 변환을 설정할 수 있으며, 자막 변환이 발생하는 프레임 구간이 명확히 지정될 수 있다.
도 19 은 자막의 뎁스 변화에 따른 자막의 크기 변화를 도시한다.
제 1 자막(1900)의 뎁스가 제 2 자막(1910)의 뎁스로 증가한다면, 제 1 자막(1900)에 비해 제 2 자막(1910)이 사용자에게 더 가까워지므로 더 크게 보이는 것이 자연스럽다.
예를 들어 현재 2차원 비디오(1920) 상에 현재 2차원 자막 윈도우(1925)가 표시되어 있을 때, 자막의 뎁스가 증가한다면, 2차원 자막만을 지원하는 방송스트림 수신 시스템에서는, 변화 없이 2차원 비디오(1930)와 2차원 자막 윈도우(1935)를 재생한다.
하지만, 3차원 자막을 지원하는 방송스트림 수신 시스템에서, 3차원 비디오(1940) 상에 좌시점 자막 윈도우(1945)과 우시점 자막 윈도우(1943)를 크기 조절 없이 원본 자막 윈도우(1925)와 동일한 크기로 재생한다면, TV 사용자는 시각적으로 어색함을 느낄 수 있다. 따라서, 디지털 자막 방송 비트스트림 수신 장치(200, 270)는 자막의 뎁스가 증가한다면, 원본 자막 윈도우(1925)에 비해 좌시점 자막 윈도우(1955)과 우시점 자막 윈도우(1953)의 크기 및 자막의 폰트 사이즈가 증가하는 것이 바람직하다.
따라서, 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 자막 윈도위의 크기 및 자막 폰트 사이즈의 크기를 조절하기 위한 정보를 포함하는 3차원 자막 크기 변환 정보를 결정할 수 있다. 일 실시예에 따른 3차원 자막 크기 변환 정보는, 자막 데이터 크기가 변하는 비율을 나타낼 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 3차원 자막 크기 변환 정보를 설정하기 위한 3차원 자막 크기 변환 명령어를 결정할 수 있다. 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 수신된 비트스트림의 자막 서비스 데이터 영역으로부터 3차원 자막 크기 변환 명령어를 추출하여, 자막의 뎁스 변화에 비례하여 자막 윈도우의 크기 및 자막의 폰트 크기를 증감시킬 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 3차원 자막 크기 변환 명령어를 결정하여, 디지털 방송 비트스트림의 자막 서비스 데이터 영역에 삽입함으로써, DTV 비트스트림을 통해, 자막 데이터와 함께 3차원 자막 크기 변환 정보를 전송할 수 있다. 일 실시예에 따른 3차원 자막 크기 변환 명령어는 현재 자막 서비스의 자막 윈도우별로 3차원 자막 크기 변환 정보를 설정할 수 있다.
도 20 은 일 실시예에 따른 3차원 자막 크기 변환 명령어를 도시한다.
일 실시예에 따른 3차원 자막 크기 변환 명령어 'SetFontSize'의 명령어 포맷은 'SetFontSize( Window_id, Font Scale Factor)'일 수 있다. 일 실시예에 따른 자막 오프셋 변환 속도 명령어 'SetFontSize'의 파라미터는, 자막 윈도우를 식별하기 위한 파라미터 'Window_id', 자막 데이터 크기가 변하는 비율을 나타내는 파라미터 'Font Scale Factor'를 포함할 수 있다.
일 실시예에 따른 3차원 자막 크기 변환 명령어 'SetFontSize'의 커맨드 코드는 DTV CC 코드셋 테이블의 확장 코드 영역 중 코드 0x11로 할당될 수 있다.
파라미터 'Window_id'는, 자막 윈도우의 고유 식별자를 나타내며, 3비트(id0, id1, id2)로 할당될 수 있다.
파라미터 'Font Scale Factor'는, 비디오의 오프셋 변화량에 대비한 자막 윈도우 및 폰트의 사이즈 증감 비율을 나타낼 수 있다. 파라미터 'Font Scale Factor'는, 13비트(sf0, sf1, sf2, sf3, sf4, sf5, sf6, sf7, sf8, sf9, sf10, sf11, sf12)로 할당될 수 있다.
디지털 자막 방송 비트스트림 수신 장치(200, 270)은, 수신된 디지털 방송 비트스트림을 파싱하여, 비디오스트림의 자막 서비스 데이터 영역으로부터 3차원 자막 크기 변환 명령어 'SetFontSize'를 추출할 수 있다. 디지털 자막 방송 비트스트림 수신 장치(200, 270)은, 3차원 자막 크기 변환 명령어 'SetFontSize'에 기초하여, 오프셋 변환이 발생할 자막 윈도우를 결정하고, 비디오의 오프셋 변화량에 대비한 자막 윈도우 및 폰트의 사이즈 증감 비율을 판독하여, 자막 윈도우 및 폰트 사이즈의 크기를 조절할 수 있다. 예를 들어, 자막의 폰트 사이즈는 관계식 2에 따라 결정될 수 있다.
[관계식 2]
폰트 사이즈 = 앵커 폰트 사이즈 - 비디오 오프셋 변화량 * 앵커 폰트 사이즈 * (폰트 사이즈 증감 비율/100)
여기서 비디오의 뎁스가 증가하여 TV 사용자쪽으로 가까워진다면, 비디오 오프셋 변화량이 음(-)의 값이므로, 폰트 사이즈는 앵커 폰트 사이즈에 비해 증가하게 된다. 따라서, 비디오 뎁스가 증가함에 따라 자막의 폰트 사이즈가 증가할 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 일 실시예에 따른 자막 오프셋 변환 속도 명령어에, 3차원 자막 크기 변환 정보를 설정하기 위한 파라미터를 포함하도록 설정할 수도 있다.
도 21 은 일 실시예에 따른 3차원 자막 크기 변환 정보를 추가로 설정하기 위한 자막 오프셋 변환 속도 명령어를 도시한다.
도 21 에 도시된 자막 오프셋 변환 속도 명령어 'DisparityStep'는, 도 15를 참조하여 전술한 일 실시예에 따른 자막 오프셋 변환 속도 명령어 'DisparityStep'의 명령어 포맷 'DisparityStep( Window_id, Target disparity sign, Step size, Target disparity)'에, 8비트의 파라미터 'Font Scale Factor'가 추가적으로 포함되어 있다. 8비트의 파라미터 'Font Scale Factor'는 이전 폰트 사이즈에 대비한 현재 폰트 사이즈의 증감 비율을 나타낼 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 도 21의 자막 오프셋 변환 속도 명령어 'DisparityStep'를 기초로, 오프셋 변화가 발생할 자막 윈도우, 3차원 자막의 오프셋 변화 방향 및 변화량, 목표 오프셋을 판독하면서, 자막 윈도우 및 폰트의 사이즈 증감 비율을 판독할 수도 있다. 따라서, 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 소정 자막 윈도우의 오프셋을 변환하면서, 자막 윈도우 및 폰트 사이즈를 오프셋 변화방향에 따라 자막 오프셋 변화량에 비례하도록 증감시킬 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 3차원 자막 전송 정보를 섹션 테이블 영역의 PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 캡션 서비스 서술자 'caption_service_descriptor'에 삽입할 수 있다. 일 실시예에 따른 3차원 자막 전송 정보는, 3차원 자막 데이터, 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보와, 3차원 자막 크기 변환 정보 중 적어도 하나가 DTV 비트스트림을 통해 전송되는지 여부를 나타낼 수 있다. 일 실시예에 따른 3차원 자막 전송 정보는 플래그의 형태로, 도 6을 참조하여 전술한 캡션 서비스 서술자의 예비 영역(650, 660, 670)에 삽입되어, 자막 데이터와 함께 전송될 수 있다. 표 4 는 일 실시예에 따른 3차원 자막 전송 정보가 삽입된 캡션 서비스 서술자 'caption_service_descriptor'를 예시한다.
표 4
Syntax
caption_service_descriptor () {
descriptor_tag
descriptor_length
reserved
number_of_services
for (i=0;i<number_of_services;i++) {
language
cc_type
reserved
if (cc_type==line21) {
reserved
line21_field
}
else
caption_service_number
easy_reader
wide_aspect_ratio
korean_code
3d_cc_enable
reserved
}
}
파라미터 '3d_cc_enable'는 일 실시예에 따른 3차원 자막 전송 정보의 일례이다. '3d_cc_enable' 값이 0이면 3차원 자막 정보가 현재 비디오스트림에 포함되어 있음을 나타내고, '3d_cc_enable' 값이 1이면 3차원 자막 정보가 현재 비디오스트림에 포함되어 있지 않음을 나타낼 수 있다.
일 실시예에 따른 3차원 자막 전송 정보가 삽입되는 위치에 대한 정보는, 5비트 예비 영역에 삽입될 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는 일 실시예에 따른 3차원 자막 전송 정보 '3d_cc_enable'를 추출하여, 현재 비트스트림에 대한 자막 재생 모드를 결정할 수 있다. 일 실시예에 따른 자막 재생 모드는 4가지 모드로 결정될 수 있다.
제 1 자막 재생 모드는, 현재 비트스트림에 3차원 자막 정보가 포함되어 있고, 3차원 비디오가 재생되는 경우 3차원 자막가 재생되는 경우를 나타낸다.
제 2 자막 재생 모드는, 현재 비트스트림에 3차원 자막 정보가 포함되어 있지 않지만 3차원 비디오가 재생되는 경우 자막 데이터에 강제로 오프셋을 부가하여 자막이 3차원으로 재생되거나, 3차원 자막을 지원할 수 없음을 표시하는 문구가 재생되는 경우를 나타낸다.
제 3 자막 재생 모드는, 현재 비트스트림에 3차원 자막 정보가 포함되어 있지만 2차원 비디오가 재생되는 경우, 사용자 선택 또는 미리 결정된 설정에 기초하여 자막 데이터가 3차원 자막 또는 2차원 자막으로 재생될 경우를 나타낸다.
또한, 제 4 자막 재생 모드는, 현재 비트스트림에 3차원 자막 정보가 포함되어 있지만 2차원 비디오가 재생되는 경우, 자막 데이터가 2차원으로 재생되는 경우를 나타낸다.
따라서, 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는 일 실시예에 따른 3차원 자막 전송 정보 '3d_cc_enable'를 추출하여, 현재 비트스트림에 대한 자막 재생 모드를 제 1, 2, 3, 4 자막 재생 모드 중 하나로 결정하고, 결정된 자막 재생 모드에 기초하여 자막 재생 상태를 준비할 수 있다.
또한, 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 3차원 자막 전송 정보를 포함하는 3차원 자막 전송 서술자를 생성하고, PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 서술자 영역에 3차원 자막 전송 서술자를 삽입할 수도 있다. 표 5 는 일 실시예에 따른 3차원 자막 전송 서술자 '3d_cc_descriptor'를 예시한다.
표 5
syntax
3d_cc_descriptor() {
descriptor_tag
descriptor_length
3d_cc_enable
reserved
}
파라미터 '3d_cc_enable'는 현재 비트스트림에 3차원 자막 데이터, 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보와, 3차원 자막 크기 변환 정보 중 적어도 하나가 포함되어 있는지 여부를 나타내는 플래그일 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, PMT 영역 및 EIT 영역 중 적어도 하나의 캡션 서비스 서술자로부터, 현재 비트스트림을 통해 3차원 자막 변환 정보가 전송됨을 나타내는 3차원 자막 전송 정보를 추출할 수 있다. 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 3차원 자막 전송 정보에 기초하여, 현재 비트스트림에 3차원 자막 정보가 포함되어 있음이 확인되면, 자막 서비스 블록, 자막 윈도우 명령어 및 섹션 테이블 영역 중 적어도 하나로부터, 3차원 자막 정보를 추출할 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 3차원 자막 전송 정보에 기초하여, 수신된 DTV 비트스트림에, 3차원 자막 전송 정보가 삽입되어 있음을 파악할 수 있다. 따라서 일 실시예에 따른 추출부(220)는, 3차원 자막 전송 정보에 기초하여, 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 및 3차원 자막 크기 변환 정보 중에서 DTV 비트스트림에 삽입되어 있음이 확인된 정보를 추출할 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, PMT 영역 및 EIT 영역 중 캡션 서비스 서술자로부터, 3차원 자막 정보가 전송됨을 나타내는 3차원 자막 전송 정보를 추출할 수 있다. 또한, 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, PMT 영역 및 EIT 영역 중 서술자 영역으로부터, 3차원 자막 정보가 전송됨을 나타내는 3차원 자막 전송 정보를 추출할 수 있다.
도 22 는 일 실시예에 따라 두 개의 기본스트림을 전송하는 시스템에서, 각각의 기본스트림에 2차원 DTV 클로즈드 캡션 정보와 3차원 DTV 클로즈드 캡션 정보가 포함된 경우를 도시한다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 3차원 비디오 데이터를 전송하기 위해, 주시점 비디오 스트림(2220)와 부가시점 비디오 스트림(2260)를 각각 포함하는 2개의 비디오 기본스트림(2210, 2250)을 다중화하여 하나의 디지털 방송 스트림(2200)으로 전송할 수 있다. 이 경우, 비디오 기본스트림(2210, 2250)마다 3차원 자막 정보가 전송될 필요는 없지만, 비디오 기본스트림(2210, 2250)마다 현재 스트림에 3차원 자막 정보가 포함되어 있는지 여부를 나타내는 3차원 자막 전송 정보(2240, 2280)가 삽입될 수 있다.
예를 들어, 3차원 자막 정보(2270)가 포함된 비디오 기본스트림(2250)은, 현재 스트림(2250)에 3차원 자막 정보(2270)가 포함되어 있음을 나타내기 위하여 3차원 자막 전송 정보 '3d_cc_enable'(2280)를 'ON'으로 설정할 수 있다. 나머지 비디오 기본스트림(2210)에는 3차원 자막 정보가 포함되지 않고 2차원 자막 데이터(2230)를 포함하고 있으므로, 현재 비트스트림(2210)에 3차원 자막 정보가 포함되어 있지 않음을 나타내기 위하여 3차원 자막 전송 정보 '3d_cc_enable'(2240)를 'OFF'으로 설정할 수 있다. 이 경우, 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 비디오 기본스트림(2210, 2250)으로부터 3차원 자막 전송 정보 '3d_cc_enable'(2240, 2280)를 추출하여, '3d_cc_enable'(2280)가 'ON'으로 설정된 비디오 기본스트림(2250)으로부터 3차원 자막 정보를 추출할 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 2개의 비디오 기본스트림들에 모두 3차원 자막 정보가 포함된 디지털 방송 비트스트림을 수신할 수 있다. 이 경우, 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는 2개의 비디오 기본스트림들 간에 메인 기본스트림 및 서브 기본스트림의 관계가 있는 경우, 메인 기본스트림으로부터 3차원 자막 정보를 추출하여 3차원 자막을 결정할 수 있다.
다만 2개의 비디오 기본스트림들 간에 메인 기본스트림 및 서브 기본스트림의 관계가 없는 경우에는, 임의로 선택된 비디오 기본스트림으로부터 3차원 자막 정보를 추출하여 3차원 자막을 결정할 수 있다.
2차원 비디오 및 2차원 자막만을 지원하는 2차원 방송 스트림 수신 시스템은, 3차원 비디오 및 3차원 자막 정보가 포함된 방송 스트림을 수신하더라도 3차원 비디오 및 3차원 자막 정보를 판독할 수 없다. 이러한 2차원 방송 스트림 수신 시스템과의 하위 호환성을 위해, 일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100)는, 2개의 비디오 기본스트림들 중에서 메인 기본스트림에 주시점 비디오 데이터와 2차원 자막 데이터를 수록하고, 서브 기본스트림에 부가시점 비디오 데이터와 3차원 자막 정보를 수록하여, 2개의 비디오 기본스트림들을 전송할 수 있다.
이 경우 기존의 2차원 방송 스트림 수신 시스템은, 2개의 비디오 기본스트림들 중 서브 기본스트림에 접근하지 못하고, 메인 기본스트림만을 파싱하여 복호화할 수 있으므로, 주시점 비디오 데이터와 2차원 자막 데이터를 판독하여 재생할 수 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 2개의 비디오 기본스트림들 중에서, 메인 기본스트림을 파싱하여 주시점 비디오 데이터와 자막 데이터를 판독하고, 서브 기본스트림을 파싱하여 부가시점 비디오 데이터와 3차원 자막 정보를 판독할 수 있다.
따라서, 주시점 비디오와 부가시점 비디오가 복원되어 3차원 비디오로 재생될 수 있다. 또한, 메인 기본스트림으로부터 추출된 자막 데이터를 이용하여 자막 컨텐트가 결정되고, 서브 기본스트림으로부터 추출된 3차원 자막 정보를 이용하여 주시점 자막 윈도우와 부가시점 자막 윈도우의 위치 및 크기, 폰트 사이즈 등이 결정된다. 따라서, 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(270)는 주시점 비디오와 주시점 자막 윈도우를 합성되고, 부가시점 비디오와 부가시점 자막 윈도우를 합성하여 3차원 비디오 시퀀스를 구성함으로써, 3차원 비디오와 함께 3차원 자막을 재생할 수 있다.
도 23 및 24은 일 실시예에 따라 구성된 둘 이상의 자막 윈도우들이 충돌하는 경우, 자막 윈도우를 재생하는 방법을 도시한다.
2차원 자막 윈도우들이 서로 겹쳐지는 경우, 보일 수 있는 자막 윈도우를 지정하기 위해, 2차원 자막 윈도우에 대해 2차원 자막 우선권이 부여된다.
일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(270)는, 복수 개의 자막 윈도우들을 생성할 수 있으며, 또한 3차원 자막 재생을 위해 하나의 자막 윈도우에 대해 서로 다른 오프셋이 적용된 주시점 자막 윈도우와 부가시점 자막 윈도우를 생성할 수도 있다. 따라서, 2차원 자막 우선권과는 별개로, 복수 개의 3차원 자막 윈도우들 간에 서로 차폐 영역이 발생할 수 있다.
이에 따라, 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(270)는, 2차원 자막 윈도우에 대한 2차원 자막 우선권과는 별개로, 3차원 자막 재생을 위해 자막 윈도우에 부여되는 오프셋에 기초하여, 서로 중복되는 자막 윈도우들 간의 3차원 자막 우선권을 결정할 수 있다.
즉 예를 들어, 제 1 자막 윈도우(2320)의 2차원 자막 우선권(2323)이 제 2 자막 윈도우(2330)의 2차원 자막 우선권(2333)보다 낮지만, 비디오 제로 평면(2310)으로부터 제 1 자막 윈도우(2320)까지의 제 1 오프셋(2325)이, 비디오 제로 평면(2310)으로부터 제 2 자막 윈도우(2330)까지의 제 2 오프셋(2335)보다 크기 때문에, 제 1 자막 윈도우(2320)가 제 2 자막 윈도우(2330)를 차폐하는 현상이 발생한다.
일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(270)는 3차원 자막 윈도우의 차폐 현상을 극복하기 위하여, 자막 윈도우의 3차원 자막 우선권을 결정할 수 있다.
제 1 3차원 자막 우선권 결정 방식에 따르면, 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(270)는, 제 1 자막 윈도우(2320)와 제 2 자막 윈도우(2330)의 2차원 자막 우선권들(2323, 2333)을 무시하고, 제 1 자막 윈도우(2320)와 제 2 자막 윈도우(2330)까지의 오프셋들(2325, 2335)을 기초로, 서로 중복되는 자막 윈도우들 간의 3차원 자막 우선권을 결정할 수 있다. 즉, 제 2 자막 윈도우(2330)에 비해 제 1 자막 윈도우(2320)에게 높은 3차원 자막 우선권(2327)이 결정될 수 있다.
제 2 3차원 자막 우선권 결정 방식에 따르면, 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(270)는, 제 1 자막 윈도우(2320)와 제 2 자막 윈도우(2330)의 2차원 자막 우선권들(2323, 2333)을 기초로, 제 1 자막 윈도우(2320)와 제 2 자막 윈도우(2330)의 3차원 자막 우선권을 결정할 수 있다. 즉, 제 1 자막 윈도우(2320)의 제 1 오프셋(2325)이 제 2 자막 윈도우(2330)의 제 2 오프셋(2335)보다 커서, 제 1 자막 윈도우(2320)가 제 2 자막 윈도우(2330)를 차폐하더라도, 제 2 자막 윈도우(2330)의 2차원 자막 우선권들(2333)이 제 1 자막 윈도우(2320)에 비해 앞서므로, 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(270)는, 제 2 자막 윈도우(2330)에게 제 1 자막 윈도우(2320)보다 높은 3차원 자막 우선권(2443)을 부여할 수 있다.
또한, 더 높은 3차원 자막 우선권(2443)이 부여된 제 2 자막 윈도우(2330)가 상대적으로 3차원 자막 우선권이 낮은 제 1 자막 윈도우(2320)에 의해 차폐되는 현상을 극복하기 위해, 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(270)는, 제 2 자막 윈도우(2330)에게 제 1 자막 윈도우(2320)의 제 1 오프셋(2325)보다 더 큰 오프셋(2445)을 새로이 부여하여, 제 2 자막 윈도우(2440)의 새로운 위치가 결정될 수 있다.
제 2 3차원 자막 우선권 결정 방식에 따르면, 원본 자막 윈도우에 부여된 2차원 자막 우선권을 따를 수 있지만, 본래 의도한 3차원 자막의 오프셋이 변경되는 경우가 발생할 수 있다. 반대로, 제 1 3차원 자막 우선권 결정 방식에 따르면, 본래 의도한 3차원 자막의 오프셋이 유지되지만, 원본 자막 윈도우의 2차원 자막 우선권이 무시되는 경우가 발생할 수 있다.
이상 클로즈드 캡션과 일 실시예에 따라 클로즈드 캡션의 3차원 재생을 위한 3차원 자막 변환 정보를 송수신하는 실시예를 위주로, 디지털 자막 방송 비트스트림 생성 장치(100)과 디지털 자막 방송 비트스트림 수신 장치(200)의 동작 원리가 상술되었다. 하지만, 이는 디지털 자막 방송 비트스트림 생성 장치(100)과 디지털 자막 방송 비트스트림 수신 장치(200)의 적용례의 일 방면일 뿐이며, 본 발명의 원리가 적용될 수 있는 디지털 방송의 자막 시스템이 클로즈드 캡션 시스템에 한정되어 해석되어서는 안된다.
도 25 은 일 실시예에 따라 디지털 자막 방송을 위한 디지털 자막 방송 비트스트림 생성 방법의 흐름도를 도시한다.
단계 2510에서, 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오가 부호화된 비디오 데이터가 입력된다.
단계 2520에서, 자막 데이터와 오프셋의 변환 속도에 대한 정보를 포함하는 3차원 자막 변환 정보가 결정된다. 일 실시예에 따른 3차원 자막 변환 정보는 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보, 3차원 자막 전송 정보 등을 포함할 수 있다.
일 실시예에 따른 3차원 자막 오프셋 정보는, 주시점 자막 윈도우 및 부가시점 자막 윈도우의 뎁스, 변이, 양안 시차 등의 오프셋을 나타낼 수 있다.
일 실시예에 따른 자막 오프셋 변환 속도 정보는, 현재 프레임 및 다음 프레임의 자막 윈도우들 간의 오프셋 변화량 값 및 방향, 목표 오프셋 등에 대한 정보를 포함할 수 있다. 또한 일 실시예에 따른 자막 오프셋 변환 속도 정보는, 목표 오프셋 및 자막 변환이 발생하는 프레임 개수에 대한 정보를 포함할 수 있다.
일 실시예에 따른 3차원 자막 크기 변환 정보는, 자막 윈도우 및 자막 폰트의 크기가 변하는 비율에 대한 정보를 포함할 수 있다.
일 실시예에 따른 3차원 자막 전송 정보는, 현재 비트스트림을 통해 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보가 전송되는지 여부를 나타낼 수 있다.
단계 2530에서, 부호화된 비디오 데이터, 자막 데이터 및 3차원 자막 변환 정보가 다중화되어 디지털 방송을 위한 비트스트림이 출력된다. 자막 데이터는 디지털 방송 비트스트림의 픽처 사용자 데이터 영역의 자막 서비스 데이터 영역 및 섹션 테이블 영역 중 적어도 하나에 삽입될 수 있으며, 3차원 자막 변환 정보는, 비트스트림의 자막 서비스 블록, 자막 윈도우 명령어 및 섹션 테이블 영역 중 적어도 하나에 삽입될 수 있다.
일 실시예에 따른 3차원 자막 오프셋 정보를 포함하는 3차원 자막 서비스 블록이 생성되어 서비스 계층의 자막 데이터와 함께 전송될 수 있다. 일 실시예에 따른 자막 데이터는 CEA-608 클로즈드 캡션 데이터 및 CEA-708 클로즈드 캡션 데이터 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보를 설정하기 위한 3차원 자막 윈도우 명령어가 결정될 수 있으며, 3차원 자막 윈도우 명령어는 비디오스트림의 자막 서비스 데이터 영역에 삽입되어 디지털 방송스트림을 통해 전송될 수 있다. 3차원 자막 윈도우 명령어는 현재 자막 서비스의 자막 윈도우별로 3차원 자막을 위한 각종 정보를 설정할 수 있다.
일 실시예에 따른 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보, 3차원 자막 전송 정보 등의 3차원 자막 변환 정보는, 섹션 테이블 영역의 PMT 영역 또는 EIT 영역의 서술자 영역 또는 캡션 서비스 서술자의 예비 영역에 삽입되어 전송될 수 있다.
도 26 는 일 실시예에 따라 디지털 자막 방송을 위한 디지털 자막 방송 비트스트림 수신 방법의 흐름도를 도시한다.
단계 2610에서, 2차원 비디오 및 3차원 비디오 중 적어도 하나의 부호화된 비디오 데이터를 포함하는 비트스트림이 수신된다.
단계 2620에서, 수신된 비트스트림이 역다중화되어 파싱되고, 비트스트림으로부터 부호화된 비디오 데이터, 자막 데이터와, 자막 오프셋의 변환 속도에 대한 정보를 포함하는 3차원 자막 변환 정보가 추출될 수 있다.
자막 데이터는, 디지털 방송 비트스트림의 픽처 사용자 데이터 영역의 자막 서비스 데이터 영역 및 섹션 테이블 영역 중 적어도 하나로부터 추출되고, 3차원 자막 변환 정보는, 비트스트림의 자막 서비스 블록, 자막 윈도우 명령어 및 섹션 테이블 영역 중 적어도 하나로부터 추출될 수 있다.
일 실시예에 따른 3차원 자막 서비스 블록을 통해 3차원 자막 오프셋 정보가 수신되어, 다른 서비스 블록의 자막 데이터와 함께 수신될 수 있다. CEA-608 클로즈드 캡션 데이터 및 CEA-708 클로즈드 캡션 데이터 중 적어도 하나를 포함하는 자막 데이터가 수신될 수 있다.
비디오스트림의 자막 서비스 데이터 영역으로부터, 일 실시예에 따른 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보를 설정하기 위한 3차원 자막 윈도우 명령어가 추출될 수 있다. 3차원 자막 윈도우 명령어는 현재 자막 서비스의 자막 윈도우별로 3차원 자막을 위한 각종 정보를 제공하므로, 3차원 자막 윈도우 명령어에 따라, 3차원 자막 윈도우의 위치, 크기, 폰트 사이즈 등이 결정될 수 있다.
섹션 테이블 영역의 PMT 영역 또는 EIT 영역의 서술자 영역 또는 캡션 서비스 서술자의 예비 영역으로부터, 일 실시예에 따른 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보, 3차원 자막 전송 정보 등의 3차원 자막 변환 정보가 추출될 수도 있다.
일 실시예에 따른 3차원 자막 전송 정보에 기초하여, 현재 비트스트림에 3차원 자막 데이터, 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보 등이 포함되어 있는지 판단한 후, 포함되어 있다면 현재 3차원 자막 정보가 추출될 수 있다.
단계 2630에서, 3차원 자막 변환 정보에 기초하여, 비디오 화면 상에서 자막의 재생 형태가 결정될 수 있다.
일 실시예에 따라 추출된 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보 등에 기초하여, 3차원 자막 변환이 발생할 자막 윈도우, 자막 윈도우의 크기 및 위치, 자막 폰트 사이즈 등이 결정될 수 있다.
일 실시예에 따른 자막 오프셋 변환 속도 정보에 기초하여, 프레임별로 현재 프레임과 다음 프레임의 자막 윈도우들 간의 오프셋 변화량이 결정되어, 프레임별로 자막 윈도우의 위치가 결정될 수 있다.
일 실시예에 따른 3차원 자막 크기 변환 정보에 기초하여, 뎁스 변화율에 비례한 자막의 크기 증감 비율이 결정되어, 자막 윈도우 및 폰트 크기가 결정될 수 있다.
비디오 데이터가 복호화되어 2차원 비디오 또는 3차원 비디오로 복원되고, 3차원 자막 변환 정보에 기초하여 결정된 자막의 재생 형태에 따라, 비디오 화면 상에서 자막 데이터가 3차원 자막으로 재생될 수 있다. 일 실시예에 따른 자막의 재생 형태는, 주시점 자막 윈도우 및 부가시점 자막 윈도우의 위치 및 크기, 자막 폰트의 크기, 자막 윈도우의 3차원 자막 우선권 등을 포함할 수 있다.
복원된 비디오의 주시점 비디오 및 부가시점 비디오에 각각 주시점 자막 및 부가시점 자막이 합성되고, 주시점 자막과 주시점 비디오가 합성된 주시점 화면과, 부가시점 자막과 부가시점 비디오가 합성된 부가시점 화면이 재생됨으로써, 3차원 비디오와 함께 3차원 자막이 재생될 수 있다.
복수 개의 자막 윈도우들의 생성된 경우, 자막 윈도우의 원본 2차원 자막 우선권에 기초하여 3차원 자막 우선권이 결정되어, 자막 윈도우들의 재생 위치가 결정될 수 있다. 또 다른 예로, 자막 윈도우의 오프셋에 기초하여 3차원 자막 우선권이 결정되어, 자막 윈도우들의 재생 위치가 결정될 수도 있다.
일 실시예에 따른 디지털 자막 방송 비트스트림 생성 장치(100) 및 일 실시예에 따른 디지털 자막 방송 비트스트림 수신 장치(200, 270)는, 종래 통신 표준에 따른 서비스 블록, 자막 윈도우 명령어 또는 섹션 테이블 영역의 여유 공간을 이용하여, 일 실시예에 따른 3차원 자막 변환 정보, 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보, 3차원 자막 전송 정보를 송수신할 수 있다.
따라서, 종래 방송 수신 시스템이, 일 실시예에 따라 새롭게 할당되거나 정의된 3차원 자막 변환 정보, 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보, 3차원 자막 전송 정보를 해석하지 못하더라도, 종래 통신 표준에 따른 서비스 블록, 자막 윈도우 명령어 또는 섹션 테이블 영역만을 해석하여 디지털 방송을 수신할 수 있으므로, 종래 방송 시스템들에 대한 하위 호환성이 보장될 수 있다.
또한, 일 실시예에 따른 3차원 자막 변환 정보에 기초하여, 2차원 자막 재생 상태와 3차원 자막 재생 상태가 급격한 변경되는 것을 방지하고, 자막 뎁스의 변화에 비례하여 자막 크기가 조절될 수 있으며, 서로 겹쳐지는 복수 개의 자막 윈도우들 간에 3차원 자막 우선권을 부여하여 재생 순위를 설정할 수 있으므로, TV 시청자에게 시각적으로 자연스러운 3차원 방송 프로그램이 제공될 수 있다.
이상, 도 1 내지 26과, 표 1 내지 5를 참조하여, 일 실시예에 따른 3차원 자막 변환 정보, 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보, 3차원 자막 전송 정보 등의 다양한 사용례들이 개시되었다. 하지만 전술된 사용례들은 본 발명의 원리를 설명하기 위한 일 실시예일 뿐이므로, 일 실시예에 따른 3차원 자막 변환 정보, 3차원 자막 오프셋 정보, 자막 오프셋 변환 속도 정보, 3차원 자막 크기 변환 정보, 3차원 자막 전송 정보가 도 1 내지 26과 표 1 내지 5에서 개시된 형태에만 제한되는 것은 아니다.
본 발명에서 개시된 블록도들은 본 발명의 원리들을 구현하기 위한 회로를 개념적으로 표현한 형태라고 당업자에게 해석될 수 있을 것이다. 유사하게, 임의의 흐름 차트, 흐름도, 상태 전이도, 의사코드 등은 컴퓨터 판독가능 매체에서 실질적으로 표현되어, 컴퓨터 또는 프로세서가 명시적으로 도시되든지 아니든지 간에 이러한 컴퓨터 또는 프로세서에 의해 실행될 수 있는 다양한 프로세스를 나타낸다는 것이 당업자에게 인식될 것이다. 따라서, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
도면들에 도시된 다양한 요소들의 기능들은 적절한 소프트웨어와 관련되어 소프트웨어를 실행할 수 있는 하드웨어뿐만 아니라 전용 하드웨어의 이용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 이런 기능은 단일 전용 프로세서, 단일 공유 프로세서, 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 또한, 용어 "프로세서" 또는 "제어부"의 명시적 이용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 지칭하는 것으로 해석되지 말아야 하며, 제한 없이, 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 및 비휘발성 저장장치를 묵시적으로 포함할 수 있다.
본 명세서의 청구항들에서, 특정 기능을 수행하기 위한 수단으로서 표현된 요소는 특정 기능을 수행하는 임의의 방식을 포괄하고, 이러한 요소는 특정 기능을 수행하는 회로 요소들의 조합, 또는 특정 기능을 수행하기 위한 소프트웨어를 수행하기 위해 적합한 회로와 결합된, 펌웨어, 마이크로코드 등을 포함하는 임의의 형태의 소프트웨어를 포함할 수 있다.
본 명세서에서 본 발명의 원리들의 '일 실시예'와 이런 표현의 다양한 변형들의 지칭은 이 실시예와 관련되어 특정 특징, 구조, 특성 등이 본 발명의 원리의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 표현 '일 실시예에서'와, 본 명세서 전체를 통해 개시된 임의의 다른 변형례들은 반드시 모두 동일한 실시예를 지칭하는 것은 아니다.
본 명세서에서, 'A와 B 중 적어도 하나'의 경우에서 '~중 적어도 하나'의 표현은, 첫 번째 옵션 (A)의 선택만, 또는 두 번째 열거된 옵션 (B)의 선택만, 또는 양쪽 옵션들 (A와 B)의 선택을 포괄하기 위해 사용된다. 추가적인 예로 'A, B, 및 C 중 적어도 하나'의 경우는, 첫 번째 열거된 옵션 (A)의 선택만, 또는 두 번째 열거된 옵션 (B)의 선택만, 또는 세 번째 열거된 옵션 (C)의 선택만, 또는 첫 번째와 두 번째 열거된 옵션들 (A와 B)의 선택만, 또는 두 번째와 세 번째 열거된 옵션 (B와 C)의 선택만, 또는 모든 3개의 옵션들의 선택(A와 B와 C)이 포괄할 수 있다. 더 많은 항목들이 열거되는 경우에도 당업자에게 명백하게 확장 해석될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.
본 명세서를 통해 개시된 모든 실시예들과 조건부 예시들은, 본 발명의 기술 분야에서 통상의 지식을 가진 당업자가 독자가 본 발명의 원리와 개념을 이해하도록 돕기 위한 의도로 기술된 것으로, 당업자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (15)

  1. 디지털 자막 방송을 위한 방송 비트스트림을 생성하는 방법에 있어서,
    2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오가 부호화된 비디오 데이터를 입력받는 단계;
    상기 비디오와 함께 재생하기 위한 자막 데이터와, 상기 자막 데이터를 3차원 자막으로 재생하기 위한 오프셋의 변환 속도에 대한 정보를 포함하는 3차원 자막 변환 정보를 결정하는 단계; 및
    상기 부호화된 비디오 데이터, 상기 자막 데이터 및 상기 3차원 자막 변환 정보를 다중화하여 디지털 방송을 위한 비트스트림을 출력하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 생성 방법.
  2. 제 1 항에 있어서, 상기 3차원 자막 변환 정보 결정 단계는,
    상기 자막 데이터를 3차원 자막으로 재생하기 위하여 필요한 주시점 자막 및 부가시점 자막의 뎁스, 변이 및 양안 시차 중 적어도 하나를 포함하는 3차원 자막 오프셋 정보를 결정하는 단계를 포함하고,
    상기 비트스트림 출력 단계는,
    상기 3차원 자막 오프셋 정보를 포함하는 3차원 자막 서비스 블록을 생성하는 단계; 및
    상기 비트스트림의 비디오스트림의 사용자 데이터 영역에 상기 3차원 자막 서비스 블록을 삽입하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 생성 방법.
  3. 제 1 항에 있어서, 상기 3차원 자막 변환 정보 결정 단계는,
    상기 자막 오프셋의 급격한 변환을 방지하기 위하여, 자막 윈도우의 목표 오프셋을 나타내는 목표 오프셋 정보 및 상기 자막 오프셋의 변환이 발생하는 구간을 나타내는 자막 변환 구간 정보를 포함하는 자막 오프셋 변환 속도 정보를 결정하는 단계를 포함하고,
    상기 비트스트림 출력 단계는,
    상가 자막 윈도우 명령어 형식에 기초하여, 상기 자막 오프셋 변환 속도 정보를 설정하기 위한 자막 오프셋 변환 속도 명령어를 결정하는 단계; 및
    비디오스트림의 자막 서비스 데이터 영역에 상기 자막 오프셋 변환 속도 명령어를 삽입하는 단계를 포함하고,
    상기 자막 변환 구간 정보는, 자막 변환이 시작하는 프레임으로부터 완료하는 프레임까지의 프레임 개수를 나타내는 것을 특징으로 하는 디지털 자막 방송 비트스트림 생성 방법.
  4. 제 1 항에 있어서, 상기 3차원 자막 변환 정보 결정 단계는,
    상기 자막 데이터의 자막 오프셋을 변환하여 재생하기 위하여, 상기 자막의 크기를 조절하기 위한 3차원 자막 크기 변환 정보를 결정하는 단계를 포함하고,
    상기 비트스트림 출력 단계는,
    상가 자막 윈도우 명령어 형식에 기초하여, 상기 3차원 자막 크기 변환 정보를 설정하기 위한 3차원 자막 크기 변환 명령어를 결정하는 단계; 및
    비디오스트림의 자막 서비스 데이터 영역에 상기 3차원 자막 크기 변환 명령어를 삽입하는 단계를 포함하고,
    상기 3차원 자막 크기 변환 정보는, 상기 자막의 크기가 변하는 비율을 나타내는 것을 특징으로 하는 디지털 자막 방송 비트스트림 생성 방법.
  5. 제 1 항에 있어서, 상기 비트스트림 출력 단계는,
    상기 비트스트림을 통해 3차원 자막 변환 정보가 전송됨을 나타내는 3차원 자막 전송 정보를, 상기 섹션 테이블 영역의 PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 캡션 서비스 서술자에 삽입하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 생성 방법.
  6. 디지털 자막 방송을 위한 방송 비트스트림을 수신하는 방법에 있어서,
    2차원 비디오 및 3차원 비디오 중 적어도 하나의 부호화된 비디오 데이터를 포함하는 비트스트림을 수신하는 단계;
    상기 수신된 비트스트림을 역다중화하고 파싱하여, 상기 비트스트림으로부터 상기 부호화된 비디오 데이터, 상기 비디오와 함께 재생하기 위한 자막 데이터와, 상기 자막 데이터를 3차원 자막으로 재생하기 위한 오프셋의 변환 속도에 대한 정보를 포함하는 3차원 자막 변환 정보를 추출하는 단계; 및
    상기 3차원 자막 변환 정보에 기초하여, 비디오 화면 상에서 상기 자막 데이터의 자막 재생 형태를 결정하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 방법.
  7. 제 6 항에 있어서, 상기 디지털 자막 방송 비트스트림 수신 방법은,
    상기 부호화된 비디오 데이터를 복호화하여 상기 2차원 비디오 및 3차원 비디오 중 적어도 하나의 비디오를 복원하는 단계; 및
    상기 3차원 자막 변환 정보에 기초하여 결정된 상기 자막 데이터의 재생 형태에 따라, 상기 비디오 화면 상에서 상기 자막 데이터를 3차원 자막으로 재생하는 단계를 더 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 방법.
  8. 제 6 항에 있어서, 상기 추출 단계는,
    상기 비트스트림의 비디오스트림의 사용자 데이터 영역으로부터 3차원 자막 서비스 블록을 추출하는 단계; 및
    상기 3차원 자막 서비스 블록으로부터, 상기 비트스트림의 상기 자막 데이터를 3차원 자막으로 재생하기 위하여 필요한 주시점 자막 및 부가시점 자막의 뎁스, 변이 및 양안 시차 중 적어도 하나를 포함하는 3차원 자막 오프셋 정보를 추출하는 단계를 포함하고,
    상기 자막 데이터 재생 형태 결정 단계는,
    상기 3차원 자막 오프셋 정보에 기초하여, 주시점 자막 윈도우 및 부가시점 자막 윈도우의 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 방법.
  9. 제 6 항에 있어서, 상기 추출 단계는,
    상기 비트스트림의 비디오스트림의 자막 서비스 데이터 영역으로부터 자막 오프셋 변환 속도 명령어를 추출하는 단계를 포함하고,
    상기 자막 데이터 재생 형태 결정 단계는,
    상기 자막 오프셋 변환 속도 명령어에 기초하여, 상기 비트스트림의 자막 서비스 데이터 영역으로부터, 3차원 자막 윈도우의 목표 오프셋을 나타내는 목표 오프셋 정보 및 상기 자막의 오프셋 변환이 발생하는 구간을 나타내는 자막 오프셋 변환 구간 정보를 포함하는 자막 오프셋 변환 속도 정보를 판독하는 단계;
    상기 자막 오프셋 변환 속도 정보에 기초하여, 프레임별로 주시점 자막 윈도우 및 부가시점 자막 윈도우의 오프셋을 결정하는 단계;
    상기 자막 변환 구간 정보에 기초하여, 자막 변환이 시작하는 프레임으로부터 완료하는 프레임까지의 프레임 개수를 결정하는 단계; 및
    상기 결정된 프레임별 오프셋과 상기 자막 변환이 발생하는 프레임 개수에 기초하여, 상기 주시점 자막 및 상기 부가시점 자막 윈도우의 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 방법.
  10. 제 6 항에 있어서, 상기 추출 단계는,
    상기 비트스트림의 비디오스트림의 자막 서비스 데이터 영역으로부터 3차원 자막 크기 변환 명령어를 추출하는 단계를 추출하는 단계를 포함하고,
    상기 자막 데이터 재생 형태 결정 단계는,
    상기 3차원 자막 크기 변환 명령어에 기초하여, 상기 자막의 크기를 조절하기 위한 3차원 자막 크기 변환 정보를 판독하는 단계;
    상기 3차원 자막 크기 변환 정보에 기초하여, 상기 자막 데이터 크기가 변하는 비율을 결정하는 단계; 및
    상기 판독된 비율에 기초하여, 상기 자막 윈도우 및 상기 자막 폰트 중 적어도 하나의 크기를 결정하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 방법.
  11. 제 6 항에 있어서, 상기 추출 단계는,
    상기 섹션 테이블 영역의 PMT 영역 및 EIT 영역 중 적어도 하나의 테이블 영역의 캡션 서비스 서술자로부터, 상기 비트스트림을 통해 3차원 자막 변환 정보가 전송됨을 나타내는 3차원 자막 전송 정보를 추출하는 단계; 및
    상기 3차원 자막 전송 정보에 기초하여, 상기 비트스트림에 3차원 자막 변환 정보가 포함되어 있음이 확인되면, 상기 자막 서비스 블록, 상기 자막 윈도우 명령어 및 상기 섹션 테이블 영역 중 적어도 하나로부터, 상기 3차원 자막 변환 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 방법.
  12. 디지털 자막 방송을 위한 방송 비트스트림 생성 장치에 있어서,
    비디오 인코딩 프로세서에 의해, 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오가 부호화된 비디오 데이터를 입력받는 비디오 데이터 입력부;
    상기 비디오와 함께 재생하기 위한 자막 데이터와 상기 자막 데이터를 3차원 자막으로 재생하기 위한 오프셋의 변환 속도에 대한 정보를 포함하는 3차원 자막 변환 정보를 결정하는 3차원 자막 변환 정보 결정부; 및
    상기 부호화된 비디오 데이터, 상기 자막 데이터 및 상기 3차원 자막 변환 정보를 다중화하여 비트스트림을 출력하는 비트스트림 출력부를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 생성 장치.
  13. 디지털 자막 방송을 위한 방송 비트스트림 수신 장치에 있어서,
    2차원 비디오 및 3차원 비디오 중 적어도 하나의 부호화된 비디오 데이터를 포함하는 비트스트림을 수신하는 비트스트림 수신부;
    상기 수신된 비트스트림을 역다중화하고 파싱하여, 상기 비트스트림으로부터 상기 부호화된 비디오 데이터, 상기 비디오와 함께 재생하기 위한 자막 데이터와, 상기 자막 데이터를 3차원 자막으로 재생하기 위한 오프셋의 변환 속도에 대한 정보를 포함하는 3차원 자막 변환 정보를 추출하는 추출부; 및
    상기 3차원 자막 변환 정보에 기초하여, 비디오 화면 상에서 상기 자막 데이터의 자막 재생 형태를 결정하는 자막 결정부를 포함하는 것을 특징으로 하는 디지털 자막 방송 비트스트림 수신 장치.
  14. 제 1 항의 디지털 자막 방송 비트스트림 생성 방법을 연산 프로세서로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  15. 제 6 항의 디지털 자막 방송 비트스트림 수신 방법을 연산 프로세서로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
PCT/KR2011/002668 2010-04-14 2011-04-14 디지털 자막 방송을 위한 방송 비트스트림을 생성하는 방법 및 그 장치, 디지털 자막 방송을 위한 방송 비트스트림을 수신하는 방법 및 그 장치 WO2011129631A2 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US13/641,327 US9313442B2 (en) 2010-04-14 2011-04-14 Method and apparatus for generating a broadcast bit stream for digital broadcasting with captions, and method and apparatus for receiving a broadcast bit stream for digital broadcasting with captions
CN201180029524.8A CN102939748B (zh) 2010-04-14 2011-04-14 用于产生用于具有字幕的数字广播的广播比特流的方法和设备以及用于接收用于具有字幕的数字广播的广播比特流的方法和设备
EP11769097.4A EP2547101A4 (en) 2010-04-14 2011-04-14 METHOD AND DEVICE FOR PRODUCING A BROADCASTING BITSTREAM FOR DIGITAL BROADCASTING WITH SUBTITLES AND METHOD AND DEVICE FOR RECEIVING A BROADBAND RADIO BITSTREAM FOR DIGITAL BROADCASTING WITH SUBTITLES
JP2013504834A JP5960679B2 (ja) 2010-04-14 2011-04-14 ビットストリームの生成方法、生成装置、受信方法及び受信装置
BR112012026194A BR112012026194A2 (pt) 2010-04-14 2011-04-14 método para gerar um fluxo de bits de radiodifusão para uma radiodifusão digital de legenda, método para receber um fluxo de bits de radiodifusão para uma radiodifusão digital de legenda, aparelho para gerar um fluxo de bits de radiodifusão para uma radiodifusão digital de legenda, aparelho para receber um fluxo de bits de radiodifusão para uma radiodifusão digital de legenda, e mídia de gravação legível por computador

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US32401110P 2010-04-14 2010-04-14
US61/324,011 2010-04-14
US35372510P 2010-06-11 2010-06-11
US61/353,725 2010-06-11

Publications (2)

Publication Number Publication Date
WO2011129631A2 true WO2011129631A2 (ko) 2011-10-20
WO2011129631A3 WO2011129631A3 (ko) 2011-12-15

Family

ID=44799188

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/002668 WO2011129631A2 (ko) 2010-04-14 2011-04-14 디지털 자막 방송을 위한 방송 비트스트림을 생성하는 방법 및 그 장치, 디지털 자막 방송을 위한 방송 비트스트림을 수신하는 방법 및 그 장치

Country Status (7)

Country Link
US (1) US9313442B2 (ko)
EP (1) EP2547101A4 (ko)
JP (1) JP5960679B2 (ko)
KR (1) KR20110115103A (ko)
CN (1) CN102939748B (ko)
BR (1) BR112012026194A2 (ko)
WO (1) WO2011129631A2 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016006970A1 (ko) * 2014-07-11 2016-01-14 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
WO2016036012A1 (ko) * 2014-09-04 2016-03-10 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
WO2016159636A1 (ko) * 2015-03-30 2016-10-06 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
US10368144B2 (en) 2014-07-29 2019-07-30 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal
US10582269B2 (en) 2014-07-11 2020-03-03 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8839338B2 (en) 2012-03-28 2014-09-16 Sony Corporation Service usage reporting data transport
CN102907111A (zh) * 2010-06-02 2013-01-30 日立民用电子株式会社 接收装置、显示控制方法、发送装置和发送方法
US8234411B2 (en) * 2010-09-02 2012-07-31 Comcast Cable Communications, Llc Providing enhanced content
JP4908624B1 (ja) * 2010-12-14 2012-04-04 株式会社東芝 立体映像信号処理装置及び方法
JP5664356B2 (ja) * 2011-03-09 2015-02-04 富士通株式会社 生成装置および生成方法
US9571872B2 (en) * 2011-06-15 2017-02-14 Echostar Technologies L.L.C. Systems and methods for processing timed text in video programming
US9860515B2 (en) * 2012-12-11 2018-01-02 Electronics And Telecommunications Research Institute Apparatus and method for 3D content broadcasting with boundary information
KR101781887B1 (ko) 2014-02-23 2017-09-26 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
JP6331670B2 (ja) * 2014-05-12 2018-05-30 ソニー株式会社 受信装置、および送信装置、並びにデータ処理方法
JP6724791B2 (ja) * 2014-12-19 2020-07-15 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP6825558B2 (ja) * 2015-04-13 2021-02-03 ソニー株式会社 送信装置、送信方法、再生装置および再生方法
CN105657395A (zh) * 2015-08-17 2016-06-08 乐视致新电子科技（天津）有限公司 一种3d视频的字幕播放方法及装置
EP3349470A4 (en) 2015-09-09 2019-01-16 LG Electronics Inc. BROADCAST SIGNAL TRANSMITTING DEVICE, BROADCAST SIGNAL RECEIVING DEVICE, BROADCASTING SIGNAL TRANSMITTING METHOD, AND BROADCAST SIGNAL RECEIVING METHOD
EP3352461A4 (en) * 2015-09-16 2019-03-06 Sony Corporation TRANSMISSION DEVICE, TRANSMISSION METHOD, REPRODUCTION DEVICE, AND REPRODUCTION METHOD
WO2019112398A1 (ko) * 2017-12-08 2019-06-13 주식회사 에어코드 컴패니언 스크린 서비스를 이용한 수화 방송 서비스 제공 방법 및 그 시스템
CN108965983A (zh) * 2018-09-03 2018-12-07 深圳Tcl数字技术有限公司 可隐藏字幕数据解析方法、智能电视、存储介质及装置
US11778280B1 (en) 2022-05-17 2023-10-03 Microsoft Technology Licensing, Llc Geolocation-specific subtitle generation

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004201004A (ja) * 2002-12-18 2004-07-15 Nippon Telegr & Teleph Corp <Ntt> ３次元映像表示装置、プログラム、及び記録媒体
KR100585966B1 (ko) * 2004-05-21 2006-06-01 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
KR100796278B1 (ko) 2006-07-06 2008-01-21 주식회사 한국스테노 멀티형 수화 자막 수신장치 및 방법
CN105263012A (zh) 2007-03-16 2016-01-20 汤姆森许可贸易公司 用于将文本与三维内容相结合的系统和方法
KR20090004722A (ko) 2007-07-06 2009-01-12 엘지전자 주식회사 방송 수신기 및 데이터 처리 방법
JP2009135686A (ja) 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
JP4695664B2 (ja) * 2008-03-26 2011-06-08 富士フイルム株式会社 立体動画像処理装置および方法並びにプログラム
KR20100002032A (ko) * 2008-06-24 2010-01-06 삼성전자주식회사 영상 생성 방법, 영상 처리 방법, 및 그 장치
JP5065488B2 (ja) * 2008-06-26 2012-10-31 パナソニック株式会社 再生装置、再生方法、再生プログラム
JP4792127B2 (ja) * 2008-07-24 2011-10-12 パナソニック株式会社 立体視再生が可能な再生装置、再生方法、プログラム
PL2362671T3 (pl) 2008-07-25 2014-05-30 Koninklijke Philips Nv Obsługa napisów przez wyświetlacz 3D
KR101622688B1 (ko) * 2008-12-02 2016-05-19 엘지전자 주식회사 3차원 캡션 디스플레이 방법 및 이를 구현하기 위한 3차원 디스플레이 장치
JP2010250562A (ja) * 2009-04-15 2010-11-04 Sony Corp データ構造、記録媒体、再生装置および再生方法、並びにプログラム
JP5521486B2 (ja) 2009-06-29 2014-06-11 ソニー株式会社 立体画像データ送信装置および立体画像データ送信方法
JP5407957B2 (ja) 2009-06-29 2014-02-05 ソニー株式会社 立体画像データ送信装置および立体画像データ受信装置
JP2011029849A (ja) * 2009-07-23 2011-02-10 Sony Corp 受信装置、通信システム、立体画像への字幕合成方法、プログラム、及びデータ構造
JP5564117B2 (ja) * 2009-11-06 2014-07-30 ソニー コーポレイション オブ アメリカ 立体オーバーレイオフセットの作成及び編集
CN101954606B (zh) 2010-08-13 2012-05-23 扬州华宇管件有限公司 一种大口径弯头机械加工夹具

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None
See also references of EP2547101A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016006970A1 (ko) * 2014-07-11 2016-01-14 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
US10419718B2 (en) 2014-07-11 2019-09-17 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal
US10582269B2 (en) 2014-07-11 2020-03-03 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal
US10368144B2 (en) 2014-07-29 2019-07-30 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal
WO2016036012A1 (ko) * 2014-09-04 2016-03-10 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
WO2016159636A1 (ko) * 2015-03-30 2016-10-06 엘지전자 주식회사 방송 신호 송수신 방법 및 장치

Also Published As

Publication number Publication date
CN102939748B (zh) 2015-12-16
WO2011129631A3 (ko) 2011-12-15
JP5960679B2 (ja) 2016-08-02
CN102939748A (zh) 2013-02-20
US9313442B2 (en) 2016-04-12
EP2547101A4 (en) 2013-12-18
EP2547101A2 (en) 2013-01-16
KR20110115103A (ko) 2011-10-20
JP2013527678A (ja) 2013-06-27
US20130027514A1 (en) 2013-01-31
BR112012026194A2 (pt) 2017-07-18

Similar Documents

Publication Publication Date Title
WO2011129631A2 (ko) 디지털 자막 방송을 위한 방송 비트스트림을 생성하는 방법 및 그 장치, 디지털 자막 방송을 위한 방송 비트스트림을 수신하는 방법 및 그 장치
WO2011021822A2 (en) Method and apparatus for processing signal for three-dimensional reproduction of additional data
WO2011093676A2 (en) Method and apparatus for generating data stream for providing 3-dimensional multimedia service, and method and apparatus for receiving the data stream
WO2011093677A2 (en) Method and apparatus for transmitting digital broadcasting stream using linking information about multi-view video stream, and method and apparatus for receiving the same
WO2015034188A1 (ko) 디지털 방송 시스템에서 광역 밝기 표현을 위한 초고화질 방송 신호 송수신 방법 및 장치
WO2009125961A1 (en) Method of transmitting and receiving broadcasting signal and apparatus for receiving broadcasting signal
WO2015072754A1 (ko) Hdr 방송 서비스 제공을 위한 방송 신호 송수신 방법 및 장치
WO2015126117A1 (ko) 방송 신호 송수신 방법 및 장치
WO2011059290A2 (en) Method and apparatus for generating multimedia stream for adjusitng depth of 3-dimensional additional video reproduction information, and method and apparatus for receiving multimedia stream for adjusitng depth of 3-dimensional additional video reproduction information
WO2014204227A1 (ko) 신호 송수신 장치 및 신호 송수신 장치의 제어 방법
WO2011122914A2 (ko) 2차원 컨텐트와 3차원 컨텐트를 제공하기 위한 디지털 방송 컨텐트 전송 방법 및 그 장치, 디지털 방송 컨텐트 수신 방법 및 그 장치
WO2015102449A1 (ko) 컬러 개멋 리샘플링을 기반으로 하는 방송 신호 송수신 방법 및 장치
WO2011062385A2 (ko) 방송 신호 송수신 방법 및 그를 이용한 방송 수신 장치
WO2010064853A2 (en) 3d caption display method and 3d display apparatus for implementing the same
WO2010033006A2 (ko) 실감 효과 표현 방법 및 장치
WO2014007571A1 (en) Method and apparatus for processing digital service signals
WO2012050405A2 (ko) 디지털 수신기 및 디지털 수신기에서의 3d 컨텐트 처리방법
WO2014171718A1 (ko) 방송 전송 장치, 방송 수신 장치, 방송 전송 장치의 동작 방법 및 방송 수신 장치의 동작 방법
WO2010071283A1 (ko) 입체영상 디스플레이가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치
WO2016175467A1 (en) Source device and control method thereof, and sink device and image quality improvement processing method thereof
WO2015065037A1 (ko) Hevc 기반의 ip 방송 서비스 제공을 위한 방송 신호 송수신 방법 및 장치
WO2015152635A9 (ko) 신호 송수신 장치 및 신호 송수신 방법
WO2011132883A2 (ko) 인터넷 기반 컨텐츠 송수신 방법 및 그를 이용한 송수신 장치
WO2011132879A2 (ko) 인터넷 기반 컨텐츠 송수신 방법 및 그를 이용한 송수신 장치
WO2013032221A1 (ko) 디지털 방송 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180029524.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11769097

Country of ref document: EP

Kind code of ref document: A2

ENP Entry into the national phase

Ref document number: 2013504834

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2011769097

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13641327

Country of ref document: US

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112012026194

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112012026194

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20121011