WO2014025221A1 - 증강방송 메타데이터 전송 장치, 사용자 단말, 증강방송 메타데이터 전송 방법과 재생 방법 - Google Patents

증강방송 메타데이터 전송 장치, 사용자 단말, 증강방송 메타데이터 전송 방법과 재생 방법 Download PDF

Info

Publication number
WO2014025221A1
WO2014025221A1 PCT/KR2013/007186 KR2013007186W WO2014025221A1 WO 2014025221 A1 WO2014025221 A1 WO 2014025221A1 KR 2013007186 W KR2013007186 W KR 2013007186W WO 2014025221 A1 WO2014025221 A1 WO 2014025221A1
Authority
WO
WIPO (PCT)
Prior art keywords
augmented
data
metadata
broadcast
content
Prior art date
Application number
PCT/KR2013/007186
Other languages
English (en)
French (fr)
Inventor
최범석
김순철
김승철
김정학
하정락
정영호
홍진우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US14/418,795 priority Critical patent/US20150156560A1/en
Publication of WO2014025221A1 publication Critical patent/WO2014025221A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/68—Systems specially adapted for using specific information, e.g. geographical or meteorological information
    • H04H60/73—Systems specially adapted for using specific information, e.g. geographical or meteorological information using meta-information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Definitions

  • the present invention is based on an augmented reality service, which refers to a technology for synthesizing a virtual object or information in a real environment to make it look like an object existing in an original environment.
  • the present invention relates to an apparatus for transmitting augmented broadcast metadata and a user terminal for receiving augmented broadcast metadata, and more particularly, to augmented broadcast metadata related to augmented content and to transmit augmented broadcast metadata to a user terminal using the same.
  • the structure of the server and the structure of the user terminal for analyzing and displaying the received augmented broadcast metadata.
  • augmented broadcasting refers to a broadcast service that deviates from a method of unilaterally watching broadcast content from a conventional broadcaster, and naturally integrates the augmented content with the broadcast content to increase user's reality and liveliness and provide selective service reception. .
  • Korean Patent Laid-Open No. 2011-0088774 discloses augmented reality that enables a user to provide surrounding information data in a direction viewed from a current location based on a current location and a viewing direction of a terminal user. Proposed system and method are proposed.
  • the augmented reality providing server manages the database of information data to be provided to the user in units of zones, and when the current location information and the bearing information of the terminal are received from the augmented reality providing terminal, Based on the information data in the direction in which the terminal is headed within the zone in which the terminal is currently located. After that, the retrieved information data is transmitted to the augmented reality providing terminal, and the augmented reality providing terminal proposes a configuration for displaying the information data received from the connected augmented reality providing server by synthesizing it with a real-time image screen obtained through a camera. .
  • the present invention provides an apparatus for transmitting augmented broadcast metadata capable of providing augmented broadcast service to a user terminal by transmitting structured augmented broadcast metadata to a user terminal.
  • the present invention provides an apparatus for transmitting augmented broadcast metadata capable of providing augmented broadcasting with a small amount of data by generating only the contents changed from the previous instruction unit data as the next instruction unit data.
  • the present invention provides a user terminal capable of reproducing augmented content and broadcast content by analyzing augmented broadcast metadata received from an apparatus for transmitting augmented broadcast metadata.
  • the present invention provides a user terminal capable of analyzing separated augmented broadcast metadata by separating broadcast content and augmented broadcast metadata transmitted through one broadcast stream.
  • An apparatus for transmitting augmented broadcast metadata includes a metadata generator for generating augmented broadcast metadata associated with augmented content to overlap broadcast content; And a metadata transmitter for transmitting the generated augmented broadcast metadata to a user terminal.
  • a user terminal includes a metadata receiving unit for receiving augmented broadcast metadata from the augmented broadcast metadata transmission device; A metadata analyzer configured to analyze instruction unit data in the received augmented broadcast metadata; And an augmented content reproducing unit configured to synchronize and reproduce broadcast content come augmented broadcast content based on the analyzed instruction unit data.
  • structured augmented broadcast metadata may be transmitted to a user terminal to provide an augmented broadcast service to the user terminal.
  • a user may know abundant information related to broadcast content by combining augmented reality technology and broadcast technology, and may provide desired information according to a user's needs.
  • only the contents changed from the previous instruction unit data may be generated as the next instruction unit data to provide augmented broadcasting with a small data amount.
  • the augmented broadcast metadata received from the augmented broadcast metadata transmission apparatus may be analyzed to reproduce the augmented content in synchronization with the broadcast content.
  • the broadcast content transmitted in one broadcast stream and the augmented broadcast metadata may be separated to analyze the separated augmented broadcast metadata.
  • FIG. 1 is a diagram showing the overall configuration of a system for providing augmented broadcasting according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a detailed configuration of an apparatus for transmitting augmented broadcast metadata and a user terminal according to an embodiment of the present invention.
  • FIG. 3 is a view for explaining the structure of the instruction unit data according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example of displaying augmented content according to instruction unit data analyzed by a user terminal according to an exemplary embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an embodiment in which an apparatus for transmitting augmented broadcast metadata according to an embodiment of the present invention transmits augmented broadcast metadata to a user terminal.
  • FIG. 6 is a diagram illustrating an example of displaying augmented content according to a series of augmented broadcast metadata received from a user terminal according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating an operation of transmitting augmented broadcast metadata to a user terminal by an apparatus for transmitting augmented broadcast metadata according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating an operation of reproducing augmented content by a user terminal according to an exemplary embodiment of the present invention.
  • the method for transmitting augmented broadcast metadata according to an embodiment of the present invention may be performed by an apparatus for transmitting augmented broadcast metadata.
  • the augmented broadcast metadata reproduction method according to an embodiment of the present invention may be performed by a user terminal.
  • FIG. 1 is a diagram showing the overall configuration of a system for providing augmented broadcasting according to an embodiment of the present invention.
  • a system for providing augmented broadcasting to a user terminal 120 includes an apparatus for transmitting augmented broadcast metadata 110, a broadcast content providing server 130, an augmented content providing server 140, and a user terminal ( 120).
  • Augmented Broadcasting Metadata refers to XML-based metadata including information necessary for overlapping and displaying augmented content in broadcast content.
  • the augmented broadcast metadata may include an area or a location in which augmented content is to be expressed, a method of expression, a type of augmented content, an attribute of the augmented content, information of a camera or various sensors used to produce broadcast content, a broadcast content and an augmented content Represents XML-based metadata including time information for synchronization.
  • the augmented broadcast metadata is first generated by a user's authoring action based on the broadcast content in the authoring server, and the broadcast server multiplexes the broadcast content and the augmented broadcast metadata to the broadcast terminal.
  • the broadcast terminal extracts the augmented broadcast metadata from the broadcast stream, analyzes it, and expresses the augmented content by overlapping the broadcast content through the synchronization process with the broadcast content.
  • the broadcast content providing server 130 provides broadcast content to the user terminal 120 or the augmented broadcast metadata transmitting apparatus 110, and the augmented content providing server 140 is the user terminal 120 or augmenting broadcasting metadata transmitting apparatus. Augmented content in the form of virtual objects or information may be provided to the 110.
  • the broadcast content providing server 130 and the augmented content providing server 140 may be in a form included in the augmented broadcast metadata transmission apparatus 110, which is located outside the augmented broadcast metadata transmission apparatus 110. It may also be in the form.
  • the apparatus 110 for transmitting augmented broadcast metadata may optionally transmit augmented content or broadcast content together with augmented broadcast metadata, or may transmit only augmented broadcast metadata.
  • the augmented broadcast metadata transmitting apparatus 110 may multiplex the augmented broadcast metadata and the broadcast content and transmit it as one broadcast stream.
  • the apparatus for transmitting augmented broadcast metadata 110 may transmit the augmented broadcast metadata not only through a broadcast channel but also through a hybrid broadcast channel capable of data transmission and a separate network such as the Internet.
  • the augmented broadcast metadata transmission device 110 may generate augmented broadcast metadata.
  • the augmented broadcasting metadata refers to metadata including a setting data for displaying an augmented content on the augmented content and data related to a method of expressing the augmented content by designating a specific area of the broadcast content as an augmented area in which the augmented content is to be expressed. do.
  • the apparatus for transmitting augmented broadcast metadata 110 may transmit the augmented broadcast metadata generated as described above to the user terminal 120. In this way, the augmented broadcast metadata transmission apparatus 110 may provide an augmented broadcast service to the user terminal 120.
  • the user terminal 120 may receive the augmented broadcast metadata from the augmented broadcast metadata transmitting apparatus 110 and analyze it.
  • the user terminal 120 may display the augmented content by overlapping the broadcast content based on the analyzed augmented broadcast metadata.
  • the user terminal 120 may be in the form of an IPTV, a smart TV, a hybrid TV, an Internet TV, a connected TV, a CATV, a smart phone or a smart pad capable of data communication.
  • the user terminal 120 When the user terminal 120 receives the augmented broadcast metadata and the broadcast content as one broadcast stream, the user terminal 120 separates the broadcast content and the augmented broadcast metadata from the broadcast stream, and the broadcast content is played through the decoder. Meanwhile, the augmented content may be displayed with the broadcast content by analyzing the separated augmented broadcast metadata.
  • the augmented content may be included in the augmented broadcast metadata and transmitted together with the user terminal 120 or separately from the augmented content providing server 140.
  • the user terminal 120 may connect to the augmented content providing server 140 using URL data in the augmented broadcast metadata.
  • FIG. 2 is a diagram illustrating a detailed configuration of an apparatus for transmitting augmented broadcast metadata and a user terminal according to an embodiment of the present invention.
  • the apparatus for transmitting augmented broadcast metadata 210 may include a metadata generator 220 and a metadata transmitter 230.
  • the metadata generator 220 may generate augmented broadcast metadata related to augmented content to overlap the broadcast content.
  • the metadata generator 220 may generate instruction unit data, which is data obtained by dividing the augmented broadcast metadata into units of time.
  • the apparatus for transmitting augmented broadcast metadata 110 may provide augmented broadcast metadata to a user terminal based on a time unit through instruction unit data. By doing so, the user terminal 240 may synchronize and display broadcast content and augmented content based on time. That is, the user terminal 240 may analyze the augmented content having the same time data on the broadcast content and display the same together with the broadcast content.
  • the metadata generator 220 may generate only the data changed from the key instruction unit data including all data necessary for the new augmented area as the next instruction unit data. In another embodiment, the metadata generator 220 may generate only the data changed from the previous instruction unit data as the next instruction unit data. As a result, the augmented broadcast metadata transmission device 210 may provide augmented broadcast with a small amount of data.
  • the metadata transmitter 230 may transmit the generated augmented broadcast metadata to the user terminal 240.
  • the metadata transmitter 230 may multiplex broadcast content and augmented broadcast metadata and transmit the same as one broadcast stream.
  • the metadata transmitter 230 may include augmented content and transmit the same to the user terminal 240.
  • the user terminal 240 may include a metadata receiver 250, a metadata analyzer 260, and an augmented content player 270.
  • the metadata receiver 250 may receive augmented broadcast metadata from the augmented broadcast metadata transmitting device 210.
  • the metadata receiver 250 may receive broadcast content from the broadcast content providing server 130 or augmented content from the augmented content providing server 140.
  • the metadata analyzer 260 may analyze the instruction unit data in the received augmented broadcast metadata.
  • the metadata analyzer 260 may analyze the instruction unit data on a time basis to analyze a display method of the augmented region and the augmented content. That is, the metadata analyzer 260 classifies the instruction unit data based on the time unit, and analyzes the data included in the instruction unit data, thereby reproducing the augmented content reproduction method 270 and reproducing the augmented content. You can pass related data.
  • the metadata analyzer 260 may analyze the augmented broadcast metadata by separating the augmented broadcast metadata and the broadcast content from the broadcast stream when the augmented broadcast metadata is transmitted as the broadcast content and one broadcast stream. In other words, the metadata analyzer 260 may separate the broadcast content and the augmented broadcast metadata from the broadcast stream, and analyze the region and time at which the augmented content should be expressed through parsing the augmented broadcast metadata. .
  • the augmented content player 270 may synchronize and play the augmented broadcast content on the broadcast content based on the analyzed instruction unit data.
  • the augmented content player 270 plays the broadcast content through an existing decoder, and broadcasts the augmented content according to the setting data of the augmented content included in the augmented broadcast metadata based on the augmented region and time at which the augmented content is to be expressed.
  • the content can overlap and play back.
  • FIG. 3 is a view for explaining the structure of the instruction unit data according to an embodiment of the present invention.
  • the instruction unit data 310 refers to a data transmission unit in which the augmented broadcast metadata transmitting apparatus 110 divides augmented broadcast metadata to be transmitted to a user terminal in units of time.
  • the instruction unit data 310 includes the augmented region data 320 which is data related to the augmented region to be displayed by overlapping the augmented contents, reference region data 330 related to the position of the augmented region, and attributes of the augmented contents.
  • And instruction setting data 380 for setting the instruction unit data 310.
  • the augmented area data 320 includes augmented area shape data indicating the shape of the augmented area, mask image data that is binary image data for expressing the augmented area, and GPS (Global Positioning System) data of the augmented area. It may include at least one of.
  • the GPS data of the augmented area may be used to express the necessary augmented content according to the GPS data.
  • the reference region data 330 may include at least one of coordinate data of the enhancement region and displacement data of the enhancement region.
  • the reference region data 330 may include boundary data indicating a boundary of a mask image included in the enhancement region.
  • the reference area data 330 may store data in three-dimensional coordinate values, including coordinate values for the X, Y, and Z axes, scale values for the axes, rotation values for the axes, and transverses for the axes. It can include a translation value.
  • the augmented object data 340 includes augmented content data embedded in augmented broadcast metadata, uniform resource resource (URL) data in which augmented content is located when the augmented content exists outside the augmented broadcast metadata transmission device, and augmented object. It may include at least one of the service type of the data, the emotion data of the augmented object, and clear data associated with the deletion of the previous augmented object.
  • URL uniform resource resource
  • the service type data of the augmented object defines the service type of the augmented object, and may include, for example, service type data such as entertainment, education, and character.
  • the emotion data of the augmented object defines the emotion of the augmented object and may include, for example, emotion data such as happiness, sadness and anger.
  • Clear data defines whether to clear the previous augmented object before overlapping the augmented object. For example, when the augmented object clear data value is '1', the previous object may be cleared.
  • the environment data 350 may include at least one of illumination data for image registration of the augmented object, field of view data related to the augmented object, and GPS setting data.
  • the illumination data may include at least one of position data of illumination, direction data of illumination, type data of illumination, color data of illumination, and intensity data of illumination.
  • the angle of view data refers to data including position data of an angle or gaze at the augmented object.
  • the GPS setting data may include at least one of address data, data indicating longitude coordinates, and data indicating latitude coordinates.
  • the interaction data 360 of the user may include interaction type data indicating the type of user interaction and interaction event data indicating an event according to the type of the user interaction.
  • the interaction data 360 may be used by the user and the augmented broadcast metadata transmission device 110 to transmit and receive a variety of data related to broadcast content or augmented content when the augmented broadcast service is provided. Through this, the augmented broadcast metadata transmission apparatus 110 may provide an active augmented broadcast service to a user.
  • the instruction time data 370 may include overlap time data representing a time when the augmented content is to be displayed on the broadcast content, life cycle time data of the unit augmented region, and instruction unit data that may appear during the life cycle time of the unit augmented region. At least one of the number data of 310, scale data of overlap time data, and scale data of life cycle time data may be included.
  • the instruction setting data 380 is flag data indicating the first instruction unit data 310 of the new augmented region, identification data distinguishing the unit augmented region, and priority of the instruction unit data 310 appearing at the same time. It may include at least one of the instruction priority data indicating.
  • FIG. 4 is a diagram illustrating an example of displaying augmented content according to instruction unit data analyzed by a user terminal according to an exemplary embodiment of the present invention.
  • the broadcast content 420, the augmented region 430, and the augmented content 440 may appear on the display screen 410 of the user terminal.
  • the user terminal may analyze the augmented broadcast metadata and extract augmented region data, reference region data, augmented object data, environment data, and the like from the instruction unit data having the same synchronization time as the broadcast content 420.
  • the user terminal Based on the extracted data, the user terminal displays the broadcast content 420 on the display screen 410, designates an augmented region through the reference region data, and augments the content according to the augmented object data in the augmented region 430. 440).
  • the user terminal may derive a natural overlap effect between the broadcast content 420 and the augmented content 440 based on the extracted environmental data. For example, the user terminal darkens or brightens the augmented content 440 according to the illumination data included in the environment data, and adjusts the position of the shadow by changing the position of illuminating or illuminating the blue or red light.
  • the augmented content 440 may naturally blend with the broadcast content 420.
  • FIG. 5 is a diagram illustrating an embodiment in which an apparatus for transmitting augmented broadcast metadata according to an embodiment of the present invention transmits augmented broadcast metadata to a user terminal.
  • augmented broadcasting is basically a transmission service type, it is necessary to define a structure to facilitate metadata transmission in defining the structure of augmented broadcast metadata.
  • time information for expressing augmented content is very important. Therefore, the information to be the basis of fragmentation in transmitting augmented broadcast metadata is a time stamp, and instructions including update information of the augmented region or augmented content including the time stamp are included.
  • the first Instruction includes all information about augmented region, augmented object (content), environment information, etc., but subsequent Instruction related to this includes only the changed information.
  • the augmented broadcast metadata may be divided into instruction unit data 510, 520, and 530.
  • the instruction unit data 510, 520, and 530 may be classified based on the overlap time data 540.
  • the overlap time data 540 refers to time data in which the augmented content is to be displayed on the broadcast content, and may be a reference for synchronizing the broadcast content and the augmented content.
  • the overlap time data 540 may correspond to the time stamp.
  • the key instruction unit data 510 refers to the instruction unit data 510 including all data necessary for a newly generated augmentation event when a new augmentation region is generated.
  • the key instruction unit data 510 may include, for example, instruction ID data 550, augmented region data, reference region data, augmented object data, environment data, instruction setting data, and the like 560.
  • the augmented broadcast metadata transmission apparatus 110 compares only the changed data 580 and 590 with the next instruction unit data in comparison with the contents 560 of the key instruction unit data 510. 520 and 530 may be generated and transmitted to the user terminal. In this way, the augmented broadcast metadata transmission apparatus 110 may reduce the amount of data to be transmitted to the user terminal.
  • the instruction unit data 520 and 530 transmitted after the key instruction unit data 510 may designate the key instruction unit data 510 through the reference instruction ID 570 data. For example, if the instruction ID 550 of the key instruction unit data 510 is 'INST1', and the instruction ID 570 of the instruction unit data 520 and 530 transmitted thereafter is the same as 'INST1', the user The terminal may display the augmented content by reflecting the changed data 580 and 590 of the instruction unit data 520 and 530 transmitted after maintaining the data of the key instruction unit data 510.
  • FIG. 6 is a diagram illustrating an example of displaying augmented content according to a series of augmented broadcast metadata received from a user terminal according to an embodiment of the present invention.
  • the user terminal 120 may display the augmented content on the screen 610. Thereafter, when the user terminal 120 receives the instruction unit data in which the instruction ID and the reference instruction ID of the key instruction unit data are the same, the user terminal maintains the contents of the key instruction unit data. Displays 620 and 630 may be performed.
  • the user terminal 120 changes the augmented area data and the reference area while maintaining the lighting setting or the content of the augmented content on the screen. Only data can be processed. Accordingly, the augmentation region may move 640.
  • the user terminal 120 processes the changed augmented area data and reference area data as described above to generate an augmented area.
  • the augmented content may be darkened according to the changed environment data (660), or the position of the gaze facing the augmented object may be changed.
  • FIG. 7 is a flowchart illustrating an operation of transmitting augmented broadcast metadata to a user terminal by an apparatus for transmitting augmented broadcast metadata according to an embodiment of the present invention.
  • the apparatus for transmitting augmented broadcast metadata may generate augmented broadcast metadata related to the augmented content to overlap the broadcast content.
  • the apparatus for transmitting augmented broadcast metadata may generate the augmented broadcast metadata as instruction unit data, which is data obtained by dividing the augmented broadcast metadata into units of time.
  • the apparatus for transmitting augmented broadcast metadata may generate only data changed from key instruction unit data including all data necessary for the new augmented region as the next instruction unit data.
  • the apparatus for transmitting augmented broadcast metadata may transmit the generated augmented broadcast metadata to a user terminal.
  • the apparatus for transmitting augmented broadcast metadata transmits broadcast content and augmented broadcast metadata together, the broadcast content and augmented broadcast metadata may be multiplexed and transmitted as one broadcast stream.
  • the apparatus for transmitting augmented broadcast metadata may also transmit augmented content to the user terminal.
  • FIG. 8 is a flowchart illustrating an operation of reproducing augmented content by a user terminal according to an exemplary embodiment of the present invention.
  • the user terminal may receive augmented broadcast metadata from the augmented broadcast metadata transmission device.
  • the user terminal may receive broadcast content from the broadcast content providing server 130 or augmented content from the augmented content providing server 140 in some cases.
  • the user terminal may analyze the instruction unit data in the received augmented broadcast metadata.
  • the user terminal may classify the instruction unit data based on the time unit, and analyze the data included in the instruction unit data.
  • the augmented broadcast metadata is transmitted in the broadcast content and one broadcast stream, the user terminal separates the broadcast content and the augmented broadcast metadata from the broadcast stream, and the augmented broadcast metadata should be expressed through parsing. Analyze areas and times to do
  • the user terminal may synchronize and reproduce the broadcast content and the augmented broadcast content based on the analyzed instruction unit data.
  • the user terminal reproduces the broadcast content through an existing decoder and displays the augmented content by overlapping the broadcast content according to the setting data of the augmented content included in the augmented broadcast metadata based on the augmented region and time at which the augmented content is to be expressed. can do.
  • Prefix and namespace used in augmented broadcast metadata may be as shown in Table 1 below.
  • target namespace and namespace prefix can be defined as shown in Table 2 below.
  • import namespace can be defined to use the type defined in the existing schema.
  • AugmentingRegion Augmented Region Data
  • AugmentingObject Augmented Object Data
  • GlobalPosition GPS data of augmented area
  • the following shows an embodiment using augmented broadcast metadata.
  • the above syntax indicates an embodiment of an embodiment of designating a rectangular augmented region and overlapping an avatar image in a remote server based on three-dimensional coordinates of four coordinates of the augmented region.
  • the syntax includes white lighting environment information from the left for lighting effects.
  • the above syntax shows an embodiment in which a square-shaped augmented region overlaps with an augmented object and then appears to be moved after 250 ticks, and a movement matrix is used to move the augmented region.
  • Methods according to an embodiment of the present invention can be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

증강 콘텐츠가 방송 콘텐츠 상에서 오버랩(Overlap)되기 위해 필요한 데이터인 증강방송 메타데이터를 생성하는 메타데이터 생성부; 및 상기 생성된 증강방송 메타데이터를 사용자 단말에 송신하는 메타데이터 송신부를 포함하는 증강방송 메타데이터 전송 장치가 개시된다.

Description

증강방송 메타데이터 전송 장치, 사용자 단말, 증강방송 메타데이터 전송 방법과 재생 방법
본 발명은 증강 현실(Augmented Reality) 서비스를 기초로 하는데, 이는 실제 환경에 가상의 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 기술을 의미한다.
본 발명은 증강방송 메타데이터 전송 장치 및 증강방송 메타데이터를 수신하는 사용자 단말에 관한 것으로, 보다 구체적으로는 증강 콘텐츠에 관련된 증강방송 메타데이터의 구조와 이를 이용하여 사용자 단말에 증강방송 메타데이터를 전송하는 서버의 구조 및 수신한 증강방송 메타데이터를 분석하여 디스플레이 하는 사용자 단말의 구조에 관한 것이다.
여기서 증강방송이란, 종래의 방송사에서 내보내는 방송 콘텐츠를 일방적으로 시청하는 방식을 탈피하여, 증강 콘텐츠를 자연스럽게 방송 콘텐츠와 융합시켜 사용자의 현실감 및 생동감을 높이고 선택적 서비스 수신을 제공하기 위한 방송 서비스를 의미한다.
종래의 증강 현실 서비스와 관련하여, 한국공개특허 제2011-0088774호는 단말기 사용자의 현재 위치와 바라보는 방향에 기초하여 사용자가 현재 위치에서 바라보는 방향의 주변 정보 데이터를 제공할 수 있도록 하는 증강 현실 제공 시스템 및 방법을 제안하고 있다.
구체적으로 증강 현실 제공 서버에서 사용자에게 제공할 정보 데이터를 구역 단위로 데이터베이스화하여 관리하고 있다가 증강 현실 제공 단말기로부터 단말기의 현재 위치 정보와 방위 정보를 수신하게 되면, 수신한 위치 정보와 방위 정보에 기초하여 데이터베이스에서 단말기가 현재 위치해 있는 구역 내에서 단말기가 향하고 있는 방향의 정보 데이터를 검색한다. 그 후 검색된 정보 데이터를 증강현실 제공 단말기로 전송하고, 증강 현실 제공 단말기는 접속된 증강 현실 제공 서버로부터 수신한 정보 데이터를 카메라를 통해 획득한 실시간 영상 화면과 합성하여 디스플레이하도록 하는 구성을 제안하고 있다.
본 발명은 구조화된 증강방송 메타데이터를 사용자 단말에 송신하여 사용자 단말에 증강방송 서비스를 제공할 수 있는 증강방송 메타데이터 전송 장치를 제공한다.
본 발명은 이전 인스트럭션(Instruction) 단위 데이터에서 변경된 내용만을 다음 인스트럭션 단위 데이터로 생성하여 적은 데이터량으로 증강방송을 제공할 수 있는 증강방송 메타데이터 전송 장치를 제공한다.
본 발명은 증강방송 메타데이터 전송 장치로부터 수신한 증강방송 메타데이터를 분석하여 증강 콘텐츠를 방송 콘텐츠와 재생할 수 있는 사용자 단말을 제공한다.
본 발명은 하나의 방송 스트림(Stream)으로 전송되는 방송 콘텐츠와 증강방송 메타데이터를 분리하여 분리된 증강방송 메타데이터를 분석할 수 있는 사용자 단말을 제공한다.
본 발명의 일실시예에 따른 증강방송 메타데이터 전송 장치는 방송 콘텐츠에 오버랩될 증강 콘텐츠와 관련된 증강방송 메타데이터를 생성하는 메타데이터 생성부; 및 상기 생성된 증강방송 메타데이터를 사용자 단말에 송신하는 메타데이터 송신부를 포함할 수 있다.
본 발명의 일실시예에 따른 사용자 단말은 증강방송 메타데이터 전송 장치로부터 증강방송 메타데이터를 수신하는 메타데이터 수신부; 상기 수신한 증강방송 메타데이터에서 인스트럭션 단위 데이터를 분석하는 메타데이터 분석부; 및 상기 분석한 인스트럭션 단위 데이터에 기초하여 방송 콘텐츠 와서 증강방송 콘텐츠를 동기화하여 재생하는 증강 콘텐츠 재생부를 포함할 수 있다.
본 발명의 일실시예에 따르면, 구조화된 증강방송 메타데이터를 사용자 단말에 송신하여 사용자 단말에 증강방송 서비스를 제공할 수 있다.
본 발명의 일실시예에 따르면, 증강 현실 기술과 방송 기술을 결합하여 방송 콘텐츠에 관련된 풍부한 정보를 사용자가 알 수 있으며, 사용자의 필요에 따라 원하는 정보를 제공할 수 있다.
본 발명의 일실시예에 따르면, 이전 인스트럭션 단위 데이터에서 변경된 내용만을 다음 인스트럭션 단위 데이터로 생성하여 적은 데이터량으로 증강방송을 제공할 수 있다.
본 발명의 일실시예에 따르면, 증강방송 메타데이터 전송 장치로부터 수신한 증강방송 메타데이터를 분석하여 증강 콘텐츠를 방송 콘텐츠와 동기화하여 재생할 수 있다.
본 발명의 일실시예에 따르면, 하나의 방송 스트림(Stream)으로 전송되는 방송 콘텐츠와 증강방송 메타데이터를 분리하여 분리된 증강방송 메타데이터를 분석할 수 있다.
도 1은 본 발명의 일실시예에 따른 증강방송 제공 시스템의 전반적인 구성을 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 증강방송 메타데이터 전송 장치와 사용자 단말의 세부 구성을 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 인스트럭션 단위 데이터의 구조를 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 사용자 단말이 분석한 인스트럭션 단위 데이터에 따라 증강 콘텐츠를 디스플레이하는 일례를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 증강방송 메타데이터 전송 장치가 증강방송 메타데이터를 사용자 단말에 송신하는 한실시예를 설명하기 위한 도면이다
도 6은 본 발명의 일실시예에 따른 사용자 단말에서 수신한 일련의 증강방송 메타데이터에 따라 증강 콘텐츠를 디스플레이하는 일례를 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른 증강방송 메타데이터 전송 장치가 증강방송 메타데이터를 사용자 단말에 전송하는 동작을 도시한 흐름도이다.
도 8을 본 발명의 일실시예에 따른 사용자 단말이 증강 콘텐츠를 재생하는 동작을 도시한 흐름도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
본 발명의 일실시예에 따른 증강방송 메타데이터 전송 방법은 증강방송 메타데이터 전송 장치에 의해 수행될 수 있다. 그리고, 본 발명의 일실시예에 따른 증강방송 메타데이터 재생 방법은 사용자 단말에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 증강방송 제공 시스템의 전반적인 구성을 도시한 도면이다.
도 1을 참고하면, 사용자 단말(120)에 증강방송을 제공하기 위한 시스템은 증강방송 메타데이터 전송 장치(110), 방송 콘텐츠 제공 서버(130), 증강 콘텐츠 제공 서버(140), 및 사용자 단말(120)을 포함할 수 있다.
증강방송 메타데이터(Augmenting Broadcasting Metadata, ABM)는 방송 콘텐츠에 증강 콘텐츠를 오버랩하여 디스플레이 하기 위해 필요한 정보를 포함하는 XML 기반의 메타데이터를 의미한다. 예를 들어, 증강방송 메타데이터는 증강 콘텐츠가 표현되어야 할 영역이나 위치, 표현방법, 증강 콘텐츠의 타입, 증강 콘텐츠의 속성, 방송 콘텐츠 제작에 사용된 카메라나 각종 센서 정보, 방송 콘텐츠와 증강 콘텐츠의 동기화를 위한 시간 정보 등을 포함하는 XML 기반의 메타데이터를 나타낸다. 증강방송 메타데이터는 먼저 저작 서버에서 방송 콘텐츠를 기반으로 사용자의 저작 행위를 통하여 생성이 되며, 전송 서버에서 방송 콘텐츠와 증강방송 메타데이터를 다중화하여 방송단말에 전달하게 된다. 방송 단말은 증강방송 메타데이터를 방송 스트림에서 추출하고 이를 분석하고 방송 콘텐츠와 동기화 처리를 통하여 방송 콘텐츠에 증강 콘텐츠를 오버랩하여 표현한다.
방송 콘텐츠 제공 서버(130)는 사용자 단말(120) 또는 증강방송 메타데이터 전송 장치(110)에 방송 콘텐츠를 제공하며, 증강 콘텐츠 제공 서버(140)는 사용자 단말(120) 또는 증강방송 메타데이터 전송 장치(110)에 가상의 사물이나 정보의 형태인 증강 콘텐츠를 제공할 수 있다.
여기에서, 방송 콘텐츠 제공 서버(130)와 증강 콘텐츠 제공 서버(140)는 증강방송 메타데이터 전송 장치(110)에 포함된 형태일 수 있으며, 증강방송 메타데이터 전송 장치(110)의 외부에 존재하는 형태일 수도 있다.
따라서, 증강방송 메타데이터 전송 장치(110)는 경우에 따라 증강 콘텐츠 또는 방송 콘텐츠를 증강방송 메타데이터와 함께 전송할 수도 있고, 증강방송 메타데이터만 전송할 수도 있다.
증강방송 메타데이터와 방송 콘텐츠를 함께 전송하는 경우, 증강방송 메타데이터 전송 장치(110)는 증강방송 메타데이터와 방송 콘텐츠를 다중화하여 하나의 방송 스트림으로 전송할 수 있다. 그러나 증강방송 메타데이터 전송 장치(110)는 증강방송 메타데이터를 방송 채널뿐만 아니라 데이터 전송도 가능한 하이브리드 방송 채널, 인터넷과 같은 별도의 네트워크 등을 통해서도 전송할 수 있다.
증강방송 메타데이터 전송 장치(110)는 증강방송 메타데이터를 생성할 수 있다. 증강방송 메타데이터는 방송 콘텐츠의 특정영역을 증강 콘텐츠가 표현될 증강영역으로 지정하고, 그 증강영역 위에 증강 콘텐츠를 디스플레이 하기 위한 설정 데이터와 증강 콘텐츠의 표현 방법에 관련된 데이터가 포함된 메타데이터를 의미한다. 또한, 증강방송 메타데이터 전송 장치(110)는 위와 같이 생성된 증강방송 메타데이터를 사용자 단말(120)에 전송할 수 있다. 이렇게 함으로써, 증강방송 메타데이터 전송 장치(110)는 사용자 단말(120)에 증강방송 서비스를 제공할 수 있다.
사용자 단말(120)은 증강방송 메타데이터 전송 장치(110)로부터 증강방송 메타데이터를 수신하여 이를 분석할 수 있다. 사용자 단말(120)은 분석한 증강방송 메타데이터를 기초로 하여, 증강 콘텐츠를 방송 콘텐츠에 오버랩하여 디스플레이 할 수 있다. 사용자 단말(120)은 데이터 통신이 가능한 IPTV, 스마트 TV, 하이브리드 TV, 인터넷TV, 커넥티드TV, CATV, 스마트 폰이나 스마트 패드 등의 형태가 될 수 있다.
사용자 단말(120)이 증강방송 메타데이터와 방송 콘텐츠를 하나의 방송 스트림으로 수신하는 경우, 사용자 단말(120)은 방송 스트림에서 방송 콘텐츠와 증강방송 메타데이터를 분리하고, 방송 콘텐츠는 디코더를 통하여 재생하는 한편, 분리된 증강방송 메타데이터를 분석하여 증강 콘텐츠를 방송 콘텐츠와 디스플레이 할 수 있다.
증강 콘텐츠는 증강방송 메타데이터 안에 포함되어 사용자 단말(120)에 함께 전송될 수도 있으며, 증강 콘텐츠 제공 서버(140)로부터 따로 전송될 수도 있다. 사용자 단말(120)이 증강 콘텐츠 제공 서버(140)로부터 증강 콘텐츠를 수신하는 경우, 증강방송 메타데이터 안의 URL 데이터를 이용하여 증강 콘텐츠 제공 서버(140)에 연결할 수 있다.
도 2는 본 발명의 일실시예에 따른 증강방송 메타데이터 전송 장치와 사용자 단말의 세부 구성을 도시한 도면이다.
도 2를 참고하면, 증강방송 메타데이터 전송 장치(210)는 메타데이터 생성부(220)와 메타데이터 송신부(230)를 포함할 수 있다.
메타데이터 생성부(220)는 방송 콘텐츠에 오버랩될 증강 콘텐트와 관련된 증강방송 메타데이터를 생성할 수 있다. 이 때, 메타데이터 생성부(220)는 증강방송 메타데이터를 시간 단위로 분할한 데이터인 인스트럭션 단위 데이터로를 생성할 수 있다.
증강방송 메타데이터 전송 장치(110)는 인스트럭션 단위 데이터를 통해 시간단위를 기준으로 사용자 단말에 증강방송 메타데이터를 제공할 수 있다. 이렇게 함으로써, 사용자 단말(240)은 시간을 기준으로 방송 콘텐츠와 증강 콘텐츠를 동기화하여 디스플레이 할 수 있다. 즉, 사용자 단말(240)은 방송 콘텐츠 상에 동일한 시간 데이터를 가지고 있는 증강 콘텐츠를 분석하여 이를 방송 콘텐츠와 함께 디스플레이 할 수 있다.
메타데이터 생성부(220)는 새로운 증강영역과 관련하여 필요한 모든 데이터를 포함하고 있는 키(Key) 인스트럭션 단위 데이터에서 변경된 데이터만을 다음 인스트럭션 단위 데이터로 생성할 수 있다. 다른 실시예로, 메타데이터 생성부(220)는 이전 인스트럭션 단위 데이터에서 변경된 데이터만을 다음 인스트럭션 단위 데이터로 생성할 수 있다. 이로 인해, 증강방송 메타데이터 전송 장치(210)는 적은 데이터 양으로 증강방송을 제공할 수 있다.
메타데이터 송신부(230)는 생성된 증강방송 메타데이터를 사용자 단말(240)에 송신할 수 있다.
메타데이터 송신부(230)는 증강방송 메타데이터 전송 장치(210)가 방송 콘텐츠와 증강방송 메타데이터를 함께 전송하는 경우, 방송 콘텐츠와 증강방송 메타데이터를 다중화하여 하나의 방송 스트림으로 송신할 수 있다. 또한, 메타데이터 송신부(230)는 증강 콘텐츠까지 포함하여 사용자 단말(240)에 전송할 수도 있다.
도 2를 참고하면, 사용자 단말(240)은 메타데이터 수신부(250), 메타데이터 분석부(260), 및 증강 콘텐츠 재생부(270)를 포함할 수 있다.
메타데이터 수신부(250)는 증강방송 메타데이터 전송 장치(210)로부터 증강방송 메타데이터를 수신할 수 있다. 또한, 메타데이터 수신부(250)는 경우에 따라 방송 콘텐츠 제공 서버(130)에서 방송 콘텐츠를 수신하거나 증강 콘텐츠 제공 서버(140)로부터 증강 콘텐츠를 수신할 수도 있다.
메타데이터 분석부(260)는 수신한 증강방송 메타데이터에서 인스트럭션 단위 데이터를 분석할 수 있다. 메타데이터 분석부(260)는 시간 단위로 인스트럭션 단위 데이터를 분석하여 증강영역과 증강 콘텐츠의 디스플레이 방법을 분석할 수 있다. 즉, 메타데이터 분석부(260)는 시간 단위를 기초로 인스트럭션 단위 데이터를 분류하여, 인스트럭션 단위 데이터에 포함된 데이터들을 분석함으로써, 증강 콘텐츠 재생부(270)에 증강 콘텐츠의 재생 방법, 재생 설정과 관련된 데이터를 전달할 수 있다.
메타데이터 분석부(260)는 증강방송 메타데이터가 방송 콘텐츠와 하나의 방송 스트림으로 전송되는 경우, 방송 스트림에서 증강방송 메타데이터와 방송 콘텐츠를 분리하여 증강방송 메타데이터를 분석할 수 있다. 다시 말해, 메타데이터 분석부(260)는 방송 스트림에서 방송 콘텐츠와 증강방송 메타데이터를 분리하고, 증강방송 메타데이터는 파싱(Parsing)을 통하여 증강 콘텐츠가 표현되어야 할 영역과 시간을 분석할 수 있다.
증강 콘텐츠 재생부(270)는 분석한 인스트럭션 단위 데이터에 기초하여 방송 콘텐츠 상에서 증강방송 콘텐츠를 동기화하여 재생할 수 있다. 증강 콘텐츠 재생부(270)는 방송 콘텐츠를 기존의 디코더를 통하여 재생하고, 증강 콘텐츠가 표현될 증강영역과 시간에 기초하여 증강방송 메타데이터에 포함되어 있는 증강 콘텐츠의 설정 데이터에 따라 증강 콘텐츠를 방송 콘텐츠에 오버랩하여 재생할 수 있다.
도 3은 본 발명의 일실시예에 따른 인스트럭션 단위 데이터의 구조를 설명하기 위한 도면이다.
인스트럭션 단위 데이터(310)는 증가방송 메타데이터 전송 장치(110)가 사용자 단말에 전송할 증강방송 메타데이터를 시간 단위로 분할한 데이터 전송 단위를 의미한다.
도 3을 참고하면, 인스트럭션 단위 데이터(310)는 증강 콘텐츠가 오버랩되어 디스플레이 될 증강영역과 관련된 데이터인 증강영역 데이터(320), 증강영역의 위치와 관련된 참조영역 데이터(330), 증강 콘텐츠의 속성과 관련된 증강객체 데이터(340), 방송 콘텐츠와 증강 콘텐츠 간의 오버랩에 필요한 환경 데이터(350), 증강 콘텐츠와 관련된 사용자의 인터액션 데이터(360), 방송 콘텐츠와 증강 콘텐츠 간의 동기화에 필요한 인스트럭션 시간 데이터(370), 및 인스트럭션 단위 데이터(310)를 설정하기 위한 인스트럭션 설정 데이터(380) 중 적어도 어느 하나를 포함할 수 있다.
증강영역 데이터(320)는 증강영역의 모양을 나타내는 증강영역 모양 데이터, 증강영역을 표현하기 위한 바이너리 이미지(Binary Image) 데이터인 마스크이미지(MaskImage) 데이터, 및 증강영역의 GPS(Global Positioning System) 데이터 중 적어도 어느 하나를 포함할 수 있다. 증강영역의 GPS 데이터는 GPS 데이터에 따라 필요한 증강 콘텐츠를 표현하기 위해 사용될 수 있다.
참조영역 데이터(330)는 증강영역의 좌표 데이터와 증강영역의 변위 데이터 중 적어도 어느 하나를 포함할 수 있다. 또한 참조영역 데이터(330)는 증강영역에 포함된 마스크이미지의 경계를 나타내는 경계 데이터를 포함할 수도 있다. 참조영역 데이터(330)는 3차원 좌표 값으로 데이터를 저장할 수 있으며, 이에는 X, Y, Z 축에 대한 좌표 값, 축에 대한 스케일 값, 축에 대한 로테이션(Rotation) 값, 축에 대한 트랜스레이션(Translation) 값 등을 포함할 수 있다.
증강객체 데이터(340)는 증강방송 메타데이터에 임베드(Embed)된 증강 콘텐츠 데이터, 증강 콘텐츠가 증강방송 메타데이터 전송 장치 외부에 존재하는 경우 증강 콘텐츠가 위치하는 URL(Uniform Resource Locator) 데이터, 증강객체의 서비스 타입 데이터, 증강객체의 감정 데이터, 및 이전 증강객체의 삭제와 관련된 클리어(Clear) 데이터 중 적어도 어느 하나를 포함할 수 있다.
증강객체의 서비스 타입 데이터는 증각객체의 서비스 타입을 정의하며, 예를 들어, 엔터테인먼트, 교육, 캐릭터 등의 서비스 타입 데이터를 포함할 수 있다. 증강객체의 감정 데이터는 증각객체의 감정을 정의하며, 예를 들어 행복, 슬픔, 화남 등의 감정 데이터를 포함할 수 있다. 클리어 데이터는 증강객체를 오버랩 시키기 전에 이전 증강객체를 클리어 할 것인지를 정의하며, 예를 들어 증강객체 클리어 데이터 값이 '1'일 경우 이전 객체를 클리어 할 수 있다.
환경 데이터(350)는 증강객체의 영상 정합을 위한 조명 데이터, 증강객체와 관련된 화각(Field of View) 데이터, 및 GPS 설정 데이터 중 적어도 어느 하나를 포함할 수 있다.
조명 데이터는 조명의 위치 데이터, 조명의 방향 데이터, 조명의 종류 데이터, 조명의 색깔 데이터, 및 조명의 세기 데이터 중 적어도 어느 하나를 포함할 수 있다.
화각 데이터는 증강객체를 바라보는 각도나 시선의 위치 데이터를 포함하는 데이터를 의미한다.
GPS 설정 데이터는 주소 데이터, 경도 좌표를 나타내는 데이터, 및 위도 좌표를 나타내는 데이터 중 적어도 어느 하나를 포함할 수 있다.
사용자의 인터액션 데이터(360)는 사용자 인터액션의 종류를 나타내는 인터액션 종류 데이터와 사용자 인터액션의 종류에 따른 이벤트를 나타내는 인터액션 이벤트 데이터를 포함할 수 있다. 인터액션 데이터(360)는 증강 방송 서비스 제공시, 사용자와 증강방송 메타데이터 전송 장치(110)가 방송 콘텐츠 또는 증강 콘텐츠에 관련된 다양한 데이터를 주고 받는데 이용될 수 있다. 이를 통해, 증강방송 메타데이터 전송 장치(110)는 사용자에게 능동적인 증강방송 서비스를 제공할 수 있다.
인스트럭션 시간 데이터(370)는 증강 콘텐츠가 방송 콘텐츠 상에서 디스플레이 될 시간을 나타내는 오버랩 시간 데이터, 단위 증강영역의 라이프 사이클(Life Cycle) 시간 데이터, 단위 증강영역의 라이프 사이클 시간 동안 나타날 수 있는 인스트럭션 단위 데이터(310)의 개수 데이터, 오버랩 시간 데이터의 스케일 데이터, 및 라이프 사이클 시간 데이터의 스케일 데이터 중 적어도 어느 하나를 포함할 수 있다.
인스트럭션 설정 데이터(380)는 새로운 증강영역의 첫 번째 인스트럭션 단위 데이터(310)를 나타내는 플래그(Flag) 데이터, 단위 증강영역을 구분시키는 식별 데이터, 및 동일 시간에 나타나는 인스트럭션 단위 데이터(310)의 우선 순위를 나타내는 인스터럭션 우선 순위 데이터 중 적어도 어느 하나를 포함할 수 있다.
도 4는 본 발명의 일실시예에 따른 사용자 단말이 분석한 인스트럭션 단위 데이터에 따라 증강 콘텐츠를 디스플레이하는 일례를 도시한 도면이다.
도 4를 참고하면, 사용자 단말의 디스플레이 화면(410)에는 방송 콘텐츠(420), 증강 영역(430), 증강 콘텐츠(440)가 나타날 수 있다.
사용자 단말은 증강방송 메타데이터를 분석하여 방송 콘텐츠(420)와 동기화 시간이 동일한 인스트럭션 단위 데이터에서 증강영역 데이터, 참조영역 데이터, 증강객체 데이터, 환경 데이터 등을 추출할 수 있다.
사용자 단말은 이렇게 추출한 데이터들을 기초로 하여, 디스플레이 화면(410)에 방송 콘텐츠(420)를 나타내고, 참조영역 데이터를 통해 증강 영역을 지정하고, 증강 영역(430)에 증강객체 데이터에 따라 증강 콘텐츠(440)를 나타낼 수 있다. 사용자 단말은 이 때, 추출한 환경 데이터를 기초로 하여 방송 콘텐츠(420)와 증강 콘텐츠(440)의 자연스러운 오버랩 효과를 이끌어낼 수 있다. 예를 들어, 사용자 단말은 환경 데이터에 포함된 조명 데이터에 따라 증강 콘텐츠(440)를 어둡게 하거나 밝게 하고, 푸른색 또는 붉은색 조명을 비춘 것처럼 하거나, 조명을 비추는 위치를 바꾸어 그림자의 위치를 조절함으로써 증강 콘텐츠(440)가 방송 콘텐츠(420)와 자연스럽게 어울리게 할 수 있다.
도 5는 본 발명의 일실시예에 따른 증강방송 메타데이터 전송 장치가 증강방송 메타데이터를 사용자 단말에 송신하는 한실시예를 설명하기 위한 도면이다.
증강방송은 기본적으로 전송 서비스 형태이므로 증강방송 메타데이터의 구조를 정의함에 있어서 메타데이터 전송에 용이하도록 구조를 정의할 필요가 있다. 방송 단말에서 방송 콘텐츠와 증강 콘텐츠가 적절히 동기화되어 재현되기 위해서는 증강 콘텐츠가 표현되어야 할 타임 정보가 매우 중요하다. 따라서, 증강방송 메타데이터를 전송하는데 있어서 프레그먼테이션의 기준이 되어야 할 정보가 타임 스탬프(Time stamp)이며, 이러한 Time stamp를 포함하여 증강영역 또는 증강 콘텐츠의 업데이트 정보를 함께 인스터럭션(Instruction) 단위로 묶어 전송한다. 최초의 Instruction에는 증강 영역, 증강 객체(콘텐츠), 환경 정보 등에 대한 모든 정보가 포함되지만, 이와 관련된 후속 Instruction에는 변화된 정보에 대한 내용만 포함시켜 전송하게 된다.
도 5를 참고하면, 증강방송 메타데이터는 인스트럭션 단위 데이터(510, 520, 530) 단위로 구분될 수 있다. 이러한 인스트럭션 단위 데이터(510, 520, 530)들은 오버랩 시간 데이터(540)를 기준으로 하여 구분될 수 있다. 오버랩 시간 데이터(540)는 증강 콘텐츠가 방송 콘텐츠 상에서 디스플레이 될 시간 데이터를 의미하며, 방송 콘텐츠와 증강 콘텐츠가 동기화 되기 위한 기준이 될 수 있다. 오버랩 시간 데이터(540)는 위 타임 스탬프에 대응될 수 있다.
키(Key) 인스트럭션 단위 데이터(510)는 새로운 증강영역 생성시, 새로 생성되는 증강 이벤트를 위해 필요한 모든 데이터를 포함한 인스트럭션 단위 데이터(510)를 의미한다. 키 인스트럭션 단위 데이터(510)는 예를 들어, 인스트럭션 아이디 데이터(550), 증강영역 데이터, 참조영역 데이터, 증강객체 데이터, 환경 데이터, 인스트럭션 설정 데이터 등(560)을 포함할 수 있다.
키 인스트럭션 단위 데이터(510)가 전송된 다음에는, 증강방송 메타데이터 전송 장치(110)는 키 인스트럭션 단위 데이터(510)의 내용(560)과 비교하여 변경된 데이터(580, 590)만을 다음 인스트럭션 단위 데이터(520, 530)로 생성하여 사용자 단말에 전송할 수 있다. 이렇게 함으로써, 증강방송 메타데이터 전송 장치(110)는 사용자 단말에 전송해야 할 데이터량을 줄일 수 있다.
키 인스트럭션 단위 데이터(510) 뒤에 전송되는 인스트럭션 단위 데이터(520, 530)는 참조 인스트럭션 아이디(570) 데이터를 통해 키 인스트럭션 단위 데이터(510)를 지정할 수 있다. 예를 들어, 키 인스트럭션 단위 데이터(510)의 인스트럭션 아이디(550)가 'INST1'이고, 그 뒤에 전송되는 인스트럭션 단위 데이터(520, 530)의 인스트럭션 아이디(570)가 'INST1'로 동일하다면, 사용자 단말은 키 인스트럭션 단위 데이터(510)의 데이터들을 유지한 채 뒤에 전송된 인스트럭션 단위 데이터(520, 530)의 변경된 데이터(580, 590)들을 반영하여 증강 콘텐츠를 디스플레이 할 수 있다.
도 6은 본 발명의 일실시예에 따른 사용자 단말에서 수신한 일련의 증강방송 메타데이터에 따라 증강 콘텐츠를 디스플레이하는 일례를 도시한 도면이다.
도 6을 참고하면, 사용자 단말(120)은 키 인스트럭션 단위 데이터를 수신한 경우 화면에 증강 콘텐츠를 디스플레이(610) 할 수 있다. 그 후, 사용자 단말(120)이 키 인스트럭션 단위 데이터의 인스트럭션 아이디와 참조 인스트럭션 아이디가 동일한 인스트럭션 단위 데이터를 받은 경우, 사용자 단말은 키 인스트럭션 단위 데이터의 내용을 유지한 채, 뒤의 인스트럭션 단위 데이터 내용을 디스플레이(620, 630) 할 수 있다.
예를 들어 인스트럭션 단위 데이터에 변경된 증강영역 데이터와 참조영역 데이터만 포함된 경우(620), 사용자 단말(120)은 화면에 조명 설정이나 증강 콘텐츠의 내용은 유지한 채, 변경된 증강영역 데이터와 참조영역 데이터만을 처리할 수 있다. 이에 따라, 증강영역이 이동(640)할 수 있다.
그 뒤 수신한 인스트럭션 단위 데이터가 증강영역 데이터, 참조영역 데이터, 및 환경 데이터를 포함하고 있는 경우(630), 사용자 단말(120)은 위와 같이 변경된 증강영역 데이터와 참조영역 데이터를 처리하여 증강영역을 이동(650)하고, 변경된 환경 데이터에 따라 증강 콘텐츠를 어둡게 하거나(660) 증강객체를 바라보는 시선의 위치 등을 바꿀 수 있다.
도 7은 본 발명의 일실시예에 따른 증강방송 메타데이터 전송 장치가 증강방송 메타데이터를 사용자 단말에 전송하는 동작을 도시한 흐름도이다.
단계(710)에서, 증강방송 메타데이터 전송 장치는 방송 콘텐츠에 오버랩될 증강 콘텐츠와 관련된 증강방송 메타데이터를 생성할 수 있다. 또한, 증강방송 메타데이터 전송 장치는 증강방송 메타데이터를 시간 단위로 분할한 데이터인 인스트럭션 단위 데이터로 생성할 수 있다. 이와 관련하여, 증강방송 메타데이터 전송 장치는 새로운 증강영역과 관련하여 필요한 모든 데이터를 포함하고 있는 키 인스트럭션 단위 데이터에서 변경된 데이터만을 다음 인스트럭션 단위 데이터로 생성할 수 있다.
단계(720)에서, 증강방송 메타데이터 전송 장치는 생성된 증강방송 메타데이터를 사용자 단말에 송신할 수 있다. 증강방송 메타데이터 전송 장치가 방송 콘텐츠와 증강방송 메타데이터를 함께 전송하는 경우, 방송 콘텐츠와 증강방송 메타데이터를 다중화하여 하나의 방송 스트림으로 송신할 수 있다. 또한, 증강방송 메타데이터 전송 장치는 증강 콘텐츠까지 함께 사용자 단말에 전송할 수도 있다.
도 8을 본 발명의 일실시예에 따른 사용자 단말이 증강 콘텐츠를 재생하는 동작을 도시한 흐름도이다.
단계(810)에서, 사용자 단말은 증강방송 메타데이터 전송 장치로부터 증강방송 메타데이터를 수신할 수 있다. 또한, 사용자 단말은 경우에 따라 방송 콘텐츠 제공 서버(130)에서 방송 콘텐츠를 수신하거나 증강 콘텐츠 제공 서버(140)로부터 증강 콘텐츠를 수신할 수도 있다.
단계(820)에서, 사용자 단말은 수신한 증강방송 메타데이터에서 인스트럭션 단위 데이터를 분석할 수 있다. 사용자 단말은 시간 단위를 기초로 인스트럭션 단위 데이터를 분류하여, 인스트럭션 단위 데이터에 포함된 데이터들을 분석할 수 있다. 사용자 단말은 증강방송 메타데이터가 방송 콘텐츠와 하나의 방송 스트림으로 전송되는 경우, 방송 스트림에서 방송 콘텐츠와 증강방송 메타데이터를 분리하고, 증강방송 메타데이터는 파싱(Parsing)을 통하여 증강 콘텐츠가 표현되어야 할 영역과 시간을 분석할 수 있다.
단계(830)에서, 사용자 단말은 분석한 인스트럭션 단위 데이터에 기초하여 상기 방송 콘텐츠와 증강방송 콘텐츠를 동기화하여 재생할 수 있다. 사용자 단말은 방송 콘텐츠를 기존의 디코더를 통하여 재생하고, 증강 콘텐츠가 표현될 증강영역과 시간에 기초하여 증강방송 메타데이터에 포함되어 있는 증강 콘텐츠의 설정 데이터에 따라 증강 콘텐츠를 방송 콘텐츠에 오버랩하여 디스플레이 할 수 있다.
아래에서는 위와 같은 증강방송 메타데이터와 인스트럭션 단위 데이터의 구체적인 구조를 프로그래밍하기 위한 문법을 예시하고, 해당 파라미터의 의미를 정의한다. 또한, 파라미터와 대응하는 데이터를 기재한다.
증강방송 메타데이터에서 사용되는 Prefix와 네임스페이스는 아래의 표 1과 같을 수 있다.
Figure PCTKR2013007186-appb-I000001
증강방송 메타데이터의 validation checking을 위하여 아래 표 2와 같이 target namespace와 namespace prefix를 정의할 수 있다. 또한 본 스키마에서 사용되는 타입들 중 기존 스키마에서 정의된 타입을 사용하기 위한 import namespace를 정의할 수 있다.
<?xml version="1.0"?>
<?xml version="1.0" encoding="UTF-8"?>
<schema xmlns:abm="urn:etri:ver1:represent:augmentedbroadcastedmetadata:2012:09" xmlns:mpeg7="urn:mpeg:mpeg7:schema:2004" xmlns="http://www.w3.org/2001/XMLSchema" targetNamespace="urn:etri:ver1:represent:augmentedbroadcastedmetadata:2012:09" elementFormDefault="qualified" attributeFormDefault="unqualified">
<import namespace="urn:mpeg:mpeg7:schema:2004" schemaLocation="mpeg7-v2.xsd"/>
</schema>
1. 루트 엘리먼트
증강방송 메타데이터의 최상위 엘리먼트이다.
1.1 문법
<!-- Root element -->
<element name="ABM" type="abm:ABMType"/>
<complexType name="ABMType">
<sequence>
<element name="DescriptionMetadata" type="mpeg7:DescriptionMetadataType" minOccurs="0"/>
<element name="InitialInstruction" type="abm:InitialInstructionType" minOccurs="0" maxOccurs="unbounded"/>
<element name="Instruction" type="abm:InstructionType" minOccurs="0" maxOccurs="unbounded"/>
</sequence>
</complexType>
1.2 의미 및 정의
Figure PCTKR2013007186-appb-I000002
Instruction : 인스트럭션 단위 데이터
2. INITIAL INSTRUCTION
2.1 문법
<!-- ################################################ -->
<!-- Inital Instruction type -->
<!-- ################################################ -->
<element name="InitInstruction" type="abm:InitialInstructionType"/>
<complexType name="InitialInstructionType">
<sequence>
<element name="AugmentedObject" type="abm:AugmentedObjectType" maxOccurs="unbounded"/>
</sequence>
<attribute name="id" type="ID" use="optional"/>
<attribute name="contentsNum" type="unsignedInt" use="optional"/>
</complexType>
2.2 의미 및 정의
Figure PCTKR2013007186-appb-I000003
3. INSTRUCTION
3.1 문법
<!-- ################################################ -->
<!-- Instruction Base type -->
<!-- ################################################ -->
<complexType name="InstructionBaseType" abstract="true">
<complexContent>
<restriction base="anyType">
<attribute name="id" type="ID" use="optional"/>
</restriction>
</complexContent>
</complexType>
<!-- ################################################ -->
<!-- Instruction type -->
<!-- ################################################ -->
<complexType name="InstructionType">
<complexContent>
<extension base="ABM:InstructionBaseType">
<sequence>
<element name="ReferenceResources" type="abm:ReferenceResourcesType" minOccurs="0"/>
<element name="AugmentationRegion" type="abm:AugmentationRegionType" minOccurs="0"/>
<element name="AugmentedObject" type="abm:AugmentedObjectType" minOccurs="0"/>
<element name="EnvironmentInfo" type="abm:EnvironmentInfoType" minOccurs="0" maxOccurs="unbounded"/>
<element name="UserInteraction" type="abm:UserInteractionType" minOccurs="0" maxOccurs="unbounded"/>
</sequence>
<attribute name="firstInstFlag" type="boolean" use="optional"/>
<attribute name="augRegionNum" type="unsignedInt" use="optional"/>
<attribute name="pts" type="unsignedInt" use="required"/>
<attribute name="duration" type="unsignedInt" use="optional"/>
<attribute name="timeScale" type="unsignedInt" use="optional"/>
<attribute name="numInstruction" type="unsignedInt" use="optional"/>
<attribute name="priority" type="unsignedInt" use="optional"/>
</extension>
</complexContent>
</complexType>
3.2 의미 및 정의
Figure PCTKR2013007186-appb-I000004
Figure PCTKR2013007186-appb-I000005
ReferenceRegion : 참조영역 데이터
AugmentingRegion : 증강영역 데이터
AugmentingObject : 증강객체 데이터
EnvironmentInfo : 환경 데이터
UserInteraction : 사용자의 인터액션 데이터
GlobalPosition : 증강영역의 GPS 데이터
firstInstFlag : 플래그 데이터
augRegionNum : 식별 데이터
pts : 오버랩 시간 데이터
duration : 라이프 사이클 시간 데이터
timeScale : 오버랩 시간 데이터와 라이플 사이클 시간 데이터의 스케일 데이터
numInstruction : 인스트럭션 단위 데이터의 개수 데이터
priority : 인스트럭션 우선 순위 데이터
4. REFERENCR REGION
4.1 문법
<!-- ########################################## -->
<!-- Definition of Reference Region Type -->
<!-- ########################################## -->
<complexType name="ReferenceResourcesType">
<sequence>
<element name="Resources" type="string" minOccurs="0" maxOccurs="unbounded"/>
</sequence>
</complexType>
4.2 의미 및 정의
Figure PCTKR2013007186-appb-I000006
5. AUGMENTING REGION
5.1 문법
<!-- ########################################## -->
<!-- Definition of Augmentation Region Type -->
<!-- ########################################## -->
<complexType name="AugmentationRegionType">
<sequence>
<element name="TransformMatrix" type="ABM:FloatMatrixType" minOccurs="0"/>
<element name="Coordinates" type="ABM:CoordinateType" minOccurs="0"/>
<element name="SRT" type="ABM:SRTType" minOccurs="0"/>
</sequence>
</complexType>
<complexType name="CoordinateType">
<attribute name="x1" type="ABM:zeroToOneType" use="optional"/>
<attribute name="y1" type="ABM:zeroToOneType" use="optional"/>
<attribute name="z1" type="ABM:minusOneToOneType" use="optional"/>
<attribute name="x2" type="ABM:zeroToOneType" use="optional"/>
<attribute name="y2" type="ABM:zeroToOneType" use="optional"/>
<attribute name="z2" type="ABM:minusOneToOneType" use="optional"/>
<attribute name="x3" type="ABM:zeroToOneType" use="optional"/>
<attribute name="y3" type="ABM:zeroToOneType" use="optional"/>
<attribute name="z3" type="ABM:minusOneToOneType" use="optional"/>
<attribute name="x4" type="ABM:zeroToOneType" use="optional"/>
<attribute name="y4" type="ABM:zeroToOneType" use="optional"/>
<attribute name="z4" type="ABM:minusOneToOneType" use="optional"/>
</complexType>
<complexType name="SRTType">
<attribute name="sx" type="float" use="optional"/>
<attribute name="sy" type="float" use="optional"/>
<attribute name="sz" type="float" use="optional"/>
<attribute name="rx" type="float" use="optional"/>
<attribute name="ry" type="float" use="optional"/>
<attribute name="rz" type="float" use="optional"/>
<attribute name="tx" type="float" use="optional"/>
<attribute name="ty" type="float" use="optional"/>
<attribute name="tz" type="float" use="optional"/>
</complexType>
<!-- FloatMatrixType -->
<complexType name="FloatMatrixType">
<simpleContent>
<extension base="ABM:FloatVector">
<attribute ref="mpeg7:dim" use="required"/>
</extension>
</simpleContent>
</complexType>
<simpleType name="FloatVector">
<list itemType="float"/>
</simpleType>
<simpleType name="zeroToOneType">
<restriction base="float">
<minInclusive value="0.0"/>
<maxInclusive value="+1.0"/>
</restriction>
</simpleType>
<simpleType name="minusOneToOneType">
<restriction base="float">
<minInclusive value="-1.0"/>
<maxInclusive value="+1.0"/>
</restriction>
</simpleType>
5.2 의미 및 정의
Figure PCTKR2013007186-appb-I000007
* TransformMatrix, Coordinate, SRT 방식 중 한가지를 사용할 수 있다.
6. AUGMENTING OBJECT
6.1 문법
<!-- ########################################## -->
<!-- Definition of Augmented Object Type -->
<!-- ########################################## -->
<complexType name="AugmentedObjectType">
<choice>
<element name="Inline" type="mpeg7:InlineMediaType" minOccurs="0"/>
<element name="Remote" type="anyURI" minOccurs="0"/>
<element name="Tactile" type="abm:TactileType" minOccurs="0"/>
</choice>
<attribute name="clearFlag" type="boolean" use="optional"/>
<attribute name="service" use="optional">
<simpleType>
<restriction base="string">
<enumeration value="entertain"/>
<enumeration value="education"/>
<enumeration value="character"/>
</restriction>
</simpleType>
</attribute>
<attribute name="emotion" use="optional">
<simpleType>
<restriction base="string">
<enumeration value="happy"/>
<enumeration value="sad"/>
<enumeration value="angry"/>
<enumeration value="sick"/>
</restriction>
</simpleType>
</attribute>
</complexType>
<!-- ########################################## -->
<!-- Definition of Tactile Type -->
<!-- ########################################## -->
<complexType name="TactileType">
<sequence>
<element name="ArrayIntensity" type="mpeg7:FloatMatrixType"/>
</sequence>
<attribute name="tactileEffect" type="abm:tactileEffectType" use="required"/>
<attribute name="timeSamples" type="positiveInteger" use="optional"/>
</complexType>
<simpleType name="tactileEffectType">
<restriction base="string">
<enumeration value="pressure"/>
<enumeration value="vibration"/>
<enumeration value="electric"/>
</restriction>
</simpleType>
6.2 의미 및 정의
Figure PCTKR2013007186-appb-I000008
Figure PCTKR2013007186-appb-I000009
Inline : 증강 콘텐츠 데이터
remote : URL 데이터
service : 증강객체의 서비스 타입 데이터
emotion : 증강객체의 감정 데이터
clearFlag : 클리어 데이터
7. ENVIRONMENT INFO
7.1 문법
<!-- ########################################## -->
<!-- Definition of Environment Info Type -->
<!-- ########################################## -->
<complexType name="EnvironmentInfoType">
<sequence>
<element name="GlobalPosition" type="ABM:GlobalPositionType" minOccurs="0" maxOccurs="unbounded"/>
<element name="Light" type="ABM:LightType" minOccurs="0" maxOccurs="unbound"/>
<element name="Camera" type="ABM:CameraType" minOccurs="0" maxOccurs="unbounded"/>
</sequence>
</complexType>
<!--#################################### -->
<!--Definition of Global Position type -->
<!--#################################### -->
<complexType name="GlobalPositionType">
<sequence>
<element name="Address" type="mpeg7:PlaceType" minOccurs="0"/>
</sequence>
<attribute name="longitude" use="required">
<simpleType>
<restriction base="double">
<minInclusive value="-180.0"/>
<maxInclusive value="180.0"/>
</restriction>
</simpleType>
</attribute>
<attribute name="latitude" use="required">
<simpleType>
<restriction base="double">
<minInclusive value="-90.0"/>
<maxInclusive value="90.0"/>
</restriction>
</simpleType>
</attribute>
</complexType>
<!--#################################### -->
<!--Definition of Light type -->
<!--#################################### -->
<complexType name="LightType">
<sequence>
<element name="Position" type="ABM:DirectionType" minOccurs="0"/>
<element name="Rotation" type="ABM:RotationType" minOccurs="0"/>
</sequence>
<attribute name="type" type="unsignedInt" use="optional"/>
<attribute name="color" type="ABM:ColorType" use="optional"/>
<attribute name="intensity" type="ABM:zeroToOneType"/>
</complexType>
<complexType name="PositionType">
<attribute name="px" type="float" use="optional"/>
<attribute name="py" type="float" use="optional"/>
<attribute name="pz" type="float" use="optional"/>
</complexType>
<complexType name="RotationType">
<attribute name="vx" type="float" use="optional"/>
<attribute name="vy" type="float" use="optional"/>
<attribute name="vz" type="float" use="optional"/>
</complexType>
<!--#################################### -->
<!--Definition of Color type -->
<!--#################################### -->
<simpleType name="ColorType">
<restriction base="NMTOKEN">
<whiteSpace value="collapse"/>
<pattern value="#[0-9A-Fa-f]{6}"/>
</restriction>
</simpleType>
<!--#################################### -->
<!--Definition of Camera type -->
<!--#################################### -->
<complexType name="CameraType">
<attribute name="fov" type="float" use="optional"/>
</complexType>
7.2 의미 및 정의
Figure PCTKR2013007186-appb-I000010
Figure PCTKR2013007186-appb-I000011
Camera, fov : 화각 데이터
GlobalPosition, Address, longitude, latitude : GPS 설정 데이터
Position: 조명의 위치 데이터
Rotation : 조명의 방향 데이터
Type : 조명의 종류 데이터
Color : 조명의 색깔 데이터
Intensity : 조명의 세기 데이터
8. USER INTERACTION
8.1 문법
<!-- ########################################## -->
<!-- Definition of User Interaction Type -->
<!-- ########################################## -->
<complexType name="UserInteractionType">
<choice>
<element name="ReplaceResource" type="anyURI" minOccurs="0"/>
<element name="ChangeRotation" type="boolena" minOccurs="0"/>
<element name="ChangeScale" type="boolean" minOccurs="0"/>
</choice>
<attribute name="event" type="abm:eventType" use="optional"/>
</complexType>
<simpleType name="eventType">
<restriction base="string">
<enumeration value="touch"/>
<enumeration value="drag"/>
<enumeration value="zoom"/>
</restriction>
</simpleType>
8.2 의미 및 정의
Figure PCTKR2013007186-appb-I000012
Interaction : 인터액션 종류 데이터
Event : 인터액션 이벤트 데이터
아래는 증강방송 메타데이터를 이용한 실시예를 나타낸다.
<제1 실시예-문법>
<ABM>
<Instruction id="ID_1" firstInstFlag="true" augRegionNum="1" pts="100" duration="200" timescale="100" numInstruction="1" priority="1">
<AugmentationRegion>
<Coordinates x1="179" y1="104" z1="-68" x2="123" y2="104" z2="-68" x3="123" y3="47" z3="-78" x4="179" y4="47" z4="-78" />
</AugmentationRegion>
<AugmentedObject>
<Remote>hppt://augmenting.server.com/avatar.jpg</Remote>
</AugmentedObject>
<EnvironmentInfo>
<Light type= 1 color="#008000" intensity="10">
<Position px="0" py="0" pz="0" />
<Rotation vx="0" vy="0" vz="0" />
</EnvironmentInfo>
</Instruction>
</ABM>
위 구문은 사각형 모양의 증강영역을 지정하고, 증강영역의 4 좌표에 대한 3차원 좌표를 기반으로 리모트 서버에 있는 아바타 이미지를 오버랩하는 실시예에 대한 실시예를 나타낸다. 구문에는 조명효과를 위하여 좌측에서 백색의 조명 환경정보가 포함되어 있다.
<제2 실시예-문법>
<ABM>
<Instruction id="ID_1" firstInsFlag="true" augRegionNum="3" pts= 200 duration="200" timescale="100" numInstruction="2" priority="1">
<AugmentationRegion>
<Coordinates x1="179" y1="104" z1="-68" x2="123" y2="104" z2="-68" x3="123" y3="47" z3="-78" x4="179" y4="47" z4="-78" />
</AugmentationRegion>
<AugmentedObject>
<Remote>hppt://augmenting.server.com/avatar.jpg</Remote>
</AugmentedObject>
</Instruction>
<Instruction id="ID_2" firstInsFlag="false" augRegionNum="3" pts="250">
<AugmentationRegion>
<SRT sx="1" sy="1" sz="1" rx="20" ry="10" rz="20" tx="0" ty="0" tz="0" />
</AugmentationRegion>
</Instruction>
</ABM>
위 구문은 최초에 사각형 모양의 증강영역이 증강객체에 오버랩되어 나타났다가 250틱 이후에 증강영역이 이동하여 나타나는 실시예를 나타내고, 증강영역의 이동을 위하여 이동 메트릭스를 사용되었다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (22)

  1. 방송 콘텐츠에 오버랩(Overlap)될 증강 콘텐츠와 관련된 증강방송 메타데이터를 생성하는 메타데이터 생성부; 및
    상기 생성된 증강방송 메타데이터를 사용자 단말에 송신하는 메타데이터 송신부
    를 포함하는 증강방송 메타데이터 전송 장치.
  2. 제1항에 있어서,
    상기 메타데이터 생성부는,
    상기 증강방송 메타데이터를 시간 단위로 분할한 인스트럭션(Instruction) 단위 데이터를 생성하는 것을 특징으로 하는 증강방송 메타데이터 전송 장치.
  3. 제2항에 있어서,
    상기 인스트럭션 단위 데이터는,
    증강 콘텐츠가 오버랩되어 디스플레이될 증강영역과 관련된 증강영역 데이터, 증강영역의 위치와 관련된 참조영역 데이터, 상기 증강 콘텐츠의 속성과 관련된 증강객체 데이터, 상기 방송 콘텐츠와 상기 증강 콘텐츠 간의 오버랩에 필요한 환경 데이터, 증강 콘텐츠와 관련된 사용자의 인터액션(Interaction) 데이터, 상기 방송 콘텐츠와 상기 증강 콘텐츠 간의 동기화에 필요한 인스트럭션 시간 데이터, 및 상기 인스트럭션 단위 데이터를 설정하기 위한 인스트럭션 설정 데이터 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 증강방송 메타데이터 전송 장치.
  4. 제3항에 있어서,
    상기 증강영역 데이터는,
    증강영역의 모양을 나타내는 증강영역 모양 데이터, 증강영역을 표현하기 위한 마스크이미지(MaskImage) 데이터, 및 증강영역의 GPS(Global Positioning System) 데이터 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 증강방송 메타데이터 전송 장치.
  5. 제3항에 있어서,
    상기 참조영역 데이터는,
    증강영역의 좌표 데이터, 증강영역의 변위 데이터, 및 증강영역에 포함된 마스크이미지의 경계를 나타내는 경계 데이터 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 증강방송 메타데이터 전송 장치.
  6. 제3항에 있어서,
    상기 증강객체 데이터는,
    상기 증강방송 메타데이터에 임베드(Embed)된 증강 콘텐츠 데이터, 상기 증강 콘텐츠가 위치하는 URL(Uniform Resource Locator) 데이터, 증강객체의 서비스 타입 데이터, 증강객체의 감정 데이터, 및 증강객체의 삭제와 관련된 클리어(Clear) 데이터 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 증강방송 메타데이터 전송 장치.
  7. 제3항에 있어서,
    상기 환경 데이터는,
    증강객체의 영상 정합을 위한 조명 데이터, 증강객체와 관련된 화각(Field of View) 데이터, 및 GPS 설정 데이터 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 증강방송 메타데이터 전송 장치.
  8. 제7항에 있어서,
    상기 조명 데이터는,
    조명의 위치 데이터, 조명의 방향 데이터, 조명의 종류 데이터, 조명의 색깔 데이터, 및 조명의 세기 데이터 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 증강방송 메타데이터 전송 장치.
  9. 제3항에 있어서,
    상기 인터액션 데이터는,
    사용자 인터액션의 종류를 나타내는 인터액션 종류 데이터와 상기 사용자 인터액션의 종류에 따른 이벤트를 나타내는 인터액션 이벤트 데이터를 포함하는 것을 특징으로 하는 증강방송 메타데이터 전송 장치.
  10. 제3항에 있어서,
    상기 인스트럭션 시간 데이터는,
    상기 증강 콘텐츠가 상기 방송 콘텐츠 상에서 디스플레이 될 시간을 나타내는 오버랩 시간 데이터, 단위 증강영역의 라이프 사이클(Life Cycle) 시간 데이터, 단위 증강영역의 라이프 사이클 시간 동안 나타날 수 있는 인스트럭션 단위 데이터의 개수 데이터, 상기 오버랩 시간 데이터의 스케일 데이터, 및 상기 라이프 사이클 시간 데이터의 스케일 데이터 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 증강방송 메타데이터 전송 장치.
  11. 제3항에 있어서,
    상기 인스트럭션 설정 데이터는,
    새로운 증강영역의 첫 번째 인스트럭션 단위 데이터를 나타내는 플래그(Flag) 데이터, 단위 증강영역을 구분시키는 식별 데이터, 및 동일 시간에 나타나는 인스트럭션 단위 데이터의 우선 순위를 나타내는 인스터럭션 우선 순위 데이터 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 증강방송 메타데이터 전송 장치.
  12. 제2항에 있어서,
    상기 메타데이터 생성부는,
    이전 인스트럭션 단위 데이터에서 변경된 데이터를 다음 인스트럭션 단위 데이터로 생성하는 것을 특징으로 하는 증강방송 메타데이터 전송 장치.
  13. 제2항에 있어서,
    상기 메타데이터 생성부는,
    새로운 증강영역과 관련하여 필요한 모든 데이터를 포함하고 있는 키 인스트럭션 단위 데이터에서 변경된 데이터를 다음 인스트럭션 단위 데이터로 생성하는 것을 특징으로 하는 증강방송 메타데이터 전송 장치.
  14. 제1항에 있어서,
    상기 메타데이터 송신부는,
    방송 콘텐츠와 상기 증강방송 메타데이터를 다중화하여 하나의 방송 스트림(Stream)으로 송신하는 것을 특징으로 하는 증강방송 메타데이터 전송 장치.
  15. 증강방송 메타데이터 전송 장치로부터 증강방송 메타데이터를 수신하는 메타데이터 수신부;
    상기 수신한 증강방송 메타데이터에서 인스트럭션 단위 데이터를 분석하는 메타데이터 분석부; 및
    상기 분석한 인스트럭션 단위 데이터에 기초하여 방송 콘텐츠와 증강방송 콘텐츠를 동기화하여 재생하는 증강 콘텐츠 재생부
    를 포함하는 사용자 단말.
  16. 제15항에 있어서,
    상기 인스트럭션 단위 데이터는,
    상기 증강방송 메타데이터를 시간 단위로 분할한 데이터인 것을 특징으로 하는 사용자 단말.
  17. 제15항에 있어서,
    상기 인스트럭션 단위 데이터는,
    증강 콘텐츠가 오버랩되어 디스플레이될 증강영역과 관련된 증강영역 데이터, 증강영역의 위치와 관련된 참조영역 데이터, 상기 증강 콘텐츠의 속성과 관련된 증강객체 데이터, 상기 방송 콘텐츠와 상기 증강 콘텐츠 간의 오버랩에 필요한 환경 데이터, 증강 콘텐츠와 관련된 사용자의 인터액션(Interaction) 데이터, 상기 방송 콘텐츠와 상기 증강 콘텐츠 간의 동기화에 필요한 인스트럭션 시간 데이터, 및 상기 인스트럭션 단위 데이터를 설정하기 위한 인스트럭션 설정 데이터 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 사용자 단말.
  18. 제15항에 있어서,
    상기 메타데이터 분석부는,
    시간 단위로 인스트럭션 단위 데이터를 분석하여 증강영역과 증강 콘텐츠의 디스플레이 방법을 분석하는 것을 특징으로 하는 사용자 단말.
  19. 제15항에 있어서,
    상기 메타데이터 분석부는,
    상기 증강방송 메타데이터가 방송 콘텐츠와 하나의 방송 스트림으로 전송되는 경우,
    상기 방송 스트림에서 상기 증강방송 메타데이터와 상기 방송 콘텐츠를 분리하여 상기 증강방송 메타데이터를 분석하는 것을 특징으로 하는 사용자 단말.
  20. 방송 콘텐츠에 오버랩(Overlap)될 증강 콘텐츠와 관련된 증강방송 메타데이터를 생성하는 단계; 및
    상기 생성된 증강방송 메타데이터를 사용자 단말에 송신하는 단계
    를 포함하는 증강방송 메타데이터 전송 방법.
  21. 증강방송 메타데이터 전송 장치로부터 증강방송 메타데이터를 수신하는 단계;
    상기 수신한 증강방송 메타데이터에서 인스트럭션 단위 데이터를 분석하는 단계; 및
    상기 분석한 인스트럭션 단위 데이터에 기초하여 상기 방송 콘텐츠와 증강방송 콘텐츠를 동기화하여 재생하는 단계
    를 포함하는 증강방송 메타데이터 재생 방법.
  22. 제20항 및 제21항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
PCT/KR2013/007186 2012-08-09 2013-08-09 증강방송 메타데이터 전송 장치, 사용자 단말, 증강방송 메타데이터 전송 방법과 재생 방법 WO2014025221A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/418,795 US20150156560A1 (en) 2012-08-09 2013-08-09 Apparatus for transmitting augmented broadcast metadata, user terminal, method for transmitting augmented broadcast metadata, and reproducing augmented broadcast metadata

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120087316A KR20140021231A (ko) 2012-08-09 2012-08-09 증강방송 메타데이터 전송 장치, 사용자 단말, 증강방송 메타데이터 전송 방법과 재생 방법
KR10-2012-0087316 2012-08-09

Publications (1)

Publication Number Publication Date
WO2014025221A1 true WO2014025221A1 (ko) 2014-02-13

Family

ID=50068380

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/007186 WO2014025221A1 (ko) 2012-08-09 2013-08-09 증강방송 메타데이터 전송 장치, 사용자 단말, 증강방송 메타데이터 전송 방법과 재생 방법

Country Status (3)

Country Link
US (1) US20150156560A1 (ko)
KR (1) KR20140021231A (ko)
WO (1) WO2014025221A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10353978B2 (en) * 2016-07-06 2019-07-16 Facebook, Inc. URL normalization
US11354815B2 (en) 2018-05-23 2022-06-07 Samsung Electronics Co., Ltd. Marker-based augmented reality system and method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100747561B1 (ko) * 2001-04-06 2007-08-08 엘지전자 주식회사 디지털 티브이의 부가 서비스 제공 장치
US20070277092A1 (en) * 2006-05-24 2007-11-29 Basson Sara H Systems and methods for augmenting audio/visual broadcasts with annotations to assist with perception and interpretation of broadcast content
KR20110088774A (ko) * 2010-01-29 2011-08-04 주식회사 팬택 증강 현실 제공 시스템 및 방법
KR20120071592A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 방송 기반 증강 현실 콘텐츠 제공 시스템 및 그 제공 방법

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5565909A (en) * 1992-08-31 1996-10-15 Television Computer, Inc. Method of identifying set-top receivers
US5818441A (en) * 1995-06-15 1998-10-06 Intel Corporation System and method for simulating two-way connectivity for one way data streams
US5929849A (en) * 1996-05-02 1999-07-27 Phoenix Technologies, Ltd. Integration of dynamic universal resource locators with television presentations
US5848441A (en) * 1997-02-25 1998-12-15 Smith; Wade W. Pressure assist toilet
JP2003303091A (ja) * 2002-04-11 2003-10-24 Canon Inc 画像通信装置及び画像通信方法
AU2003223169A1 (en) * 2002-09-09 2004-03-29 Metav, Inc. System and method to transcode and playback digital versatile disc (dvd) content and other related applications
US20040100489A1 (en) * 2002-11-26 2004-05-27 Canon Kabushiki Kaisha Automatic 3-D web content generation
JP5059301B2 (ja) * 2005-06-02 2012-10-24 ルネサスエレクトロニクス株式会社 同期再生装置および同期再生方法
US8130235B2 (en) * 2005-12-19 2012-03-06 Sony Ericsson Mobile Communications Ab Apparatus and method of automatically adjusting a display experiencing varying lighting conditions
US8087044B2 (en) * 2006-09-18 2011-12-27 Rgb Networks, Inc. Methods, apparatus, and systems for managing the insertion of overlay content into a video signal
US9734257B2 (en) * 2006-12-22 2017-08-15 Excalibur Ip, Llc Exported overlays
US20080319852A1 (en) * 2007-06-25 2008-12-25 Microsoft Corporation Interactive advertisement overlays on full-screen content
US8239896B2 (en) * 2008-05-28 2012-08-07 Sony Computer Entertainment America Inc. Integration of control data into digital broadcast content for access to ancillary information
JP5585047B2 (ja) * 2009-10-28 2014-09-10 ソニー株式会社 ストリーム受信装置、ストリーム受信方法、ストリーム送信装置、ストリーム送信方法及びコンピュータプログラム
CN102137264B (zh) * 2010-08-25 2013-03-13 华为技术有限公司 一种三维电视中图形文本显示的控制方法及设备、系统
US9549228B2 (en) * 2010-09-01 2017-01-17 Lg Electronics Inc. Broadcast signal processing method and device for 3-dimensional (3D) broadcasting service
US9172943B2 (en) * 2010-12-07 2015-10-27 At&T Intellectual Property I, L.P. Dynamic modification of video content at a set-top box device
US20120185905A1 (en) * 2011-01-13 2012-07-19 Christopher Lee Kelley Content Overlay System
WO2012115593A1 (en) * 2011-02-21 2012-08-30 National University Of Singapore Apparatus, system, and method for annotation of media files with sensor data
CN105554551A (zh) * 2011-03-02 2016-05-04 华为技术有限公司 3d格式描述信息的获取方法和装置
US9472018B2 (en) * 2011-05-19 2016-10-18 Arm Limited Graphics processing systems
US20130263182A1 (en) * 2012-03-30 2013-10-03 Hulu Llc Customizing additional content provided with video advertisements
US20130326018A1 (en) * 2012-05-31 2013-12-05 Jung Hee Ryu Method for Providing Augmented Reality Service, Server and Computer-Readable Recording Medium
US8910201B1 (en) * 2013-03-11 2014-12-09 Amazon Technologies, Inc. Product placement in digital content

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100747561B1 (ko) * 2001-04-06 2007-08-08 엘지전자 주식회사 디지털 티브이의 부가 서비스 제공 장치
US20070277092A1 (en) * 2006-05-24 2007-11-29 Basson Sara H Systems and methods for augmenting audio/visual broadcasts with annotations to assist with perception and interpretation of broadcast content
KR20110088774A (ko) * 2010-01-29 2011-08-04 주식회사 팬택 증강 현실 제공 시스템 및 방법
KR20120071592A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 방송 기반 증강 현실 콘텐츠 제공 시스템 및 그 제공 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHOI, BUM SUK ET AL.: "Use Cases and Metadata Design for Integration of Broadcasting Service with Augmented Reality", 2012 KOREAN SOCIETY OF BROADCAST ENGINEERS SUMMER CONFERENCE, 7 July 2012 (2012-07-07), pages 434 - 437 *

Also Published As

Publication number Publication date
KR20140021231A (ko) 2014-02-20
US20150156560A1 (en) 2015-06-04

Similar Documents

Publication Publication Date Title
WO2010008235A2 (ko) 실감 효과 표현 방법 및 그 장치 및 실감 기기 제어 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2010120137A2 (ko) 감각 효과를 위한 메타데이터 제공 방법 및 장치, 감각 효과를 위한 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체, 감각 재생 방법 및 장치
WO2013119082A1 (ko) 영상 표시 장치 및 그 동작 방법
WO2014003394A1 (en) Apparatus and method for processing an interactive service
WO2010008234A2 (ko) 실감 효과 표현 방법 및 그 장치 및 실감 기기 성능 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2010008232A2 (ko) 실감 효과 표현 방법 및 그 장치 및 실감 효과 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2010008233A2 (ko) 실감 효과 표현 방법 및 그 장치 및 사용자 환경 정보 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2014014252A1 (en) Method and apparatus for processing digital service signals
WO2011122914A2 (ko) 2차원 컨텐트와 3차원 컨텐트를 제공하기 위한 디지털 방송 컨텐트 전송 방법 및 그 장치, 디지털 방송 컨텐트 수신 방법 및 그 장치
WO2015126144A1 (ko) 파노라마 서비스를 위한 방송 신호 송수신 방법 및 장치
WO2013133601A1 (en) Video display apparatus and operating method thereof
WO2019117409A1 (ko) 중앙 서버 및 이를 포함하는 공연 시스템
WO2013103273A1 (en) Video display apparatus and operating method thereof
WO2014129803A1 (en) Video display apparatus and operating method thereof
WO2010021525A2 (en) A method for processing a web service in an nrt service and a broadcast receiver
WO2011062385A2 (ko) 방송 신호 송수신 방법 및 그를 이용한 방송 수신 장치
WO2011065654A1 (en) Method of processing epg metadata in network device and network device for controlling the same
WO2013100350A1 (en) Image processing apparatus, upgrade apparatus, display system including the same, and control method thereof
WO2016182133A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2012077987A2 (ko) 디지털 방송 신호 수신 장치 및 방법
WO2017010651A1 (ko) 디스플레이 시스템
WO2018088667A1 (en) Display device
WO2016171518A2 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2017200322A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2023163322A1 (ko) 영상표시장치, 및 서버

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13827537

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14418795

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13827537

Country of ref document: EP

Kind code of ref document: A1