WO2013015585A1 - 송신 장치, 수신 장치 및 그 송수신 방법 - Google Patents

송신 장치, 수신 장치 및 그 송수신 방법 Download PDF

Info

Publication number
WO2013015585A1
WO2013015585A1 PCT/KR2012/005859 KR2012005859W WO2013015585A1 WO 2013015585 A1 WO2013015585 A1 WO 2013015585A1 KR 2012005859 W KR2012005859 W KR 2012005859W WO 2013015585 A1 WO2013015585 A1 WO 2013015585A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
eye image
content
multimedia
image data
Prior art date
Application number
PCT/KR2012/005859
Other languages
English (en)
French (fr)
Inventor
박홍석
김용제
김희진
주성신
이대종
이재준
장용석
주유성
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to MX2014000852A priority Critical patent/MX2014000852A/es
Priority to JP2014521571A priority patent/JP6095659B2/ja
Priority to US14/234,289 priority patent/US20140226710A1/en
Priority to EP12817699.7A priority patent/EP2736251A4/en
Priority to BR112014001549A priority patent/BR112014001549A2/pt
Priority to CN201280036418.7A priority patent/CN103703765B/zh
Publication of WO2013015585A1 publication Critical patent/WO2013015585A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/02—Manufacture or treatment of semiconductor devices or of parts thereof
    • H01L21/02104—Forming layers
    • H01L21/02365—Forming inorganic semiconducting materials on a substrate

Definitions

  • the present invention relates to a transmitter, a receiver, and a method thereof, and more particularly, to a transmitter for providing a plurality of streams, a receiver for receiving and processing a plurality of streams, and a method for transmitting and receiving the same.
  • the present invention is in accordance with the above-described needs, and an object of the present invention is to provide a transmitter for providing a plurality of streams through different paths, a receiver for receiving and processing a plurality of streams, and a method for transmitting and receiving the same.
  • a transmission apparatus includes a down scaler for downscaling multimedia data, a first encoder for encoding the downscaled multimedia data, and a first transmission for transmitting the encoded multimedia data through a first transmission network.
  • a transmission unit a decoder for decoding the encoded multimedia data, an upscaler for upscaling the decoded multimedia data, a reconstruction data generator for generating reconstruction data using the upscaled multimedia data, and encoding the reconstruction data
  • a second transmitter for transmitting a second encoder and the encoded reconstruction data through a second transmission network.
  • the multimedia data is 2D content data
  • the reconstruction data generation unit may compare the 2D content data and the upscaled 2D content data and generate a comparison result as the reconstruction data.
  • the multimedia data may be one of left eye image data and right eye image data included in 3D content
  • the reconstructed data generator may compare the upscaled multimedia data with another one of the left eye image data and the right eye image data.
  • the comparison result can be generated as the restoration data.
  • the first transmission network may be an RF network
  • the second transmission network may be an IP (Internet) network.
  • the receiving apparatus for receiving the multimedia data transmitted through a first transmission network, a first decoder for decoding the received multimedia data, up the decoded multimedia data Reconstructing the content by applying the reconstruction data to the upscaler to scale, a second receiver to receive reconstruction data transmitted through a second transmission network, a second decoder to decode the reconstruction data, and the upscaled multimedia data. It includes a data recovery unit.
  • the multimedia data is 2D content data
  • the reconstruction data is data extracted by sequentially performing downscaling, encoding, decoding, and upscaling on the 2D content data, and then subtracting the result data from the 2D content data.
  • the data restoration unit may restore original 2D content data by adding the restoration data to the upscaled 2D content data.
  • the multimedia data is one of left eye image data and right eye image data included in 3D content
  • the reconstruction data is down-scaled, encoded, decoded, and upscaled with respect to one of left eye image data and right eye image data of the 3D content. And sequentially extract the result data from the other of the left eye image data and the right eye image data, and extract the result data.
  • the data reconstruction unit includes one of the left eye image data and the right eye image data of the upscaled 3D content.
  • the restored data may be added to restore another one of the left eye image data and the right eye image data.
  • the first transmission network may be an RF network
  • the second transmission network may be an IP (Internet) network.
  • the transmission method the step of down-scaling the multimedia data, encoding the down-scaled multimedia data, transmitting the encoded multimedia data through a first transmission network, Decoding encoded multimedia data, upscaling the decoded multimedia data, generating reconstruction data using the upscaled multimedia data, encoding the reconstruction data and encoding the encoded reconstruction data. Transmitting through the second transmission network.
  • the multimedia data is 2D content data
  • the generating of the reconstructed data may compare the 2D content data and the upscaled 2D content data and generate a comparison result as the reconstructed data.
  • the multimedia data may be one of left eye image data and right eye image data included in 3D content
  • the generating of the reconstructed data may include the other of the left eye image data and the right eye image data and the upscaled multimedia data. Can be compared and the comparison result can be generated as the restoration data.
  • the receiving method receiving the multimedia data transmitted through a first transmission network, decoding the received multimedia data, upscaling the decoded multimedia data, Receiving restoration data transmitted through a second transmission network, decoding the restoration data, and applying the restoration data to the upscaled multimedia data to restore contents.
  • the multimedia data is 2D content data
  • the reconstruction data is data extracted by sequentially performing downscaling, encoding, decoding, and upscaling on the 2D content data, and then subtracting the result data from the 2D content data.
  • the restoring of the content may include restoring the 2D content data by adding the restoration data to the upscaled 2D content data.
  • the multimedia data may be one of left eye image data and right eye image data included in 3D content
  • the reconstructed data may perform downscaling, encoding, decoding, and upscaling on one of the left eye image data and the right eye image data of the 3D content.
  • the result data is extracted by subtracting the result data from the other one of the left eye image data and the right eye image data, and the restoring of the content includes the left eye image data and the right eye image data of the upscaled 3D content.
  • the restoration data may be added to one to restore the other of the left eye image data and the right eye image data.
  • a content processing apparatus may include a downscaler for downscaling multimedia data, a first encoder for encoding the downscaled multimedia data, a decoder for decoding the encoded multimedia data, and the decoded data.
  • An upscaler for upscaling multimedia data a reconstruction data generator for generating reconstruction data using the upscaled multimedia data, and a second encoder for encoding the reconstruction data.
  • new content may be provided to a user by overcoming transmission bandwidth limitation by transmitting and receiving different data through different paths using an existing facility.
  • new content may be provided to the user even when data is not received through the second transmission network or when the reception environment of the second transmission network is poor.
  • FIG. 1 is a diagram illustrating a multimedia data transmission and reception system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing the configuration of a multimedia data transmission and reception system according to an embodiment of the present invention.
  • FIG. 3 is a block diagram illustrating a configuration of a transmitting apparatus according to an embodiment of the present invention.
  • FIG. 4 is a block diagram illustrating a configuration of a receiving apparatus according to an embodiment of the present invention.
  • FIG. 5 is a block diagram illustrating a configuration of a transmitting apparatus according to another embodiment of the present invention.
  • FIG. 6 is a block diagram illustrating a configuration of a receiving apparatus according to another embodiment of the present invention.
  • FIG. 7 is a block diagram showing the configuration of a transmitting apparatus according to another embodiment of the present invention.
  • FIG. 8 is a diagram for explaining data transmitted through a first transmission network and a second transmission network.
  • FIG. 9 is a block diagram showing the configuration of a receiving apparatus according to another embodiment of the present invention.
  • FIG. 10 is a diagram illustrating a multimedia data transmission and reception system according to another embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating a transmission method according to an embodiment of the present invention.
  • FIG. 12 is a flowchart illustrating a receiving method according to an embodiment of the present invention.
  • the multimedia data transmission / reception system includes a transmitter 100 and a receiver 200.
  • the transmitting device 100 processes multimedia data and transmits different signals through different transmission networks. For example, as shown in FIG. 1, the transmitting device 100 may transmit a first signal through a first transmission network and a second signal through a second transmission network.
  • the first signal and the second signal may be different multimedia data constituting one multimedia data or reconstruction data for reconstructing the multimedia data and the multimedia data.
  • the multimedia data is 3D content
  • a left eye image or a right eye image may be transmitted through a first transmission network
  • reconstruction data for restoring another image may be transmitted through a second transmission network.
  • the first transmission network may be an RF network
  • the second transmission network may be an IP (Internet) network.
  • the first transmission network may be an IP network
  • the second transmission network may be an RF network
  • the first transmission network and the second transmission network may be the same type of network.
  • the receiving device 200 may receive the first signal and the second signal transmitted from the transmitting device 100 and perform data processing to reproduce multimedia data.
  • the apparatus 100 for transmitting and receiving a multimedia data includes a data processor 110, a first transmitter 120, and a second transmitter 130.
  • the data processor 110 processes the multimedia data to transmit the signal-processed multimedia data and the reconstructed data to the first transmitter 120 and the second transmitter 130.
  • the first transmitter 120 transmits the signal-processed multimedia data to the receiver 200 through the first transmission network.
  • the first transmitter may convert the signal-processed multimedia data into a form suitable for the transmission standard of the first transmission network.
  • the second transmitter 130 transmits the signal-processed multimedia data or the decompression data to the receiving apparatus 200 through the second transmission network.
  • the second transmitter may convert the signal-processed multimedia data or the reconstructed data into a form suitable for the transmission standard of the second transmission network.
  • the left eye image or the right eye image may be transmitted through the first transmission network, and reconstruction data for restoring another image may be transmitted through the second transmission network.
  • the left eye image or the right eye image may be transmitted through the first transmission network, and another image may be transmitted through the second transmission network.
  • the multimedia data is 2D content
  • downscaled 2D content may be transmitted through a first transmission network, and reconstruction data for restoring original 2D content may be transmitted through a second transmission network.
  • a portion of data to be transmitted through the second transmission network may be transmitted through the first transmission network.
  • some image frames of the right eye image transmitted to the second transmission network may be transmitted together through the first transmission network. Accordingly, even if a delay or loss occurs in the data transmitted to the second transmission network, the 3D content may be reproduced using the data transmitted through the first transmission network.
  • the reception apparatus 200 of the multimedia data transmission / reception system includes a first receiver 210, a second receiver 220, and a data processor 230.
  • the first receiver 210 receives the multimedia data from the transmission apparatus 100 through the first transmission network.
  • the second receiver 210 receives multimedia data or reconstructed data from the transmission apparatus 100 through the second transmission network.
  • the data processor 230 processes the multimedia data or the reconstructed data received through the first receiver 210 and the second receiver 220 so that the original content can be output through the output unit (not shown).
  • the 2D content may be a 2D image or a multi-angle image having UHD quality.
  • the transmitter 100 may include a down scaler 111, a first encoder 112, a decoder 113, an upscaler 114, a reconstruction data generator 115, a second encoder 116, The first transmitter 120 and the second transmitter 130 are included.
  • the down scaler 111 down scales the input data when the original 2D content data is input.
  • original data may not be transmitted through one transmission channel, and in this case, data size may be reduced through downscaling.
  • the first encoder 112 encodes the down scaled 2D content data.
  • the first encoder 112 may perform MPEG-2 encoding on the down-scaled 2D content data for compatibility with an existing receiver.
  • the video format that can be encoded by the first encoder 112 is not limited thereto and may be encoded according to currently available video formats such as H.264 and HEVC, and various video formats that may be developed later and applied to the present invention. Can be.
  • the first transmitter 120 transmits the 2D content data encoded by the first encoder to the receiver 200.
  • the first transmitter 120 may perform additional processing on the encoded 2D content data to be suitable for the transmission network and transmit the encoded 2D content data to the reception apparatus 200.
  • the first transmission unit 120 may include a modulator (not shown) and an up-converter (not shown), and perform modulation, upconversion, etc. to transmit an RF signal. can do.
  • the decoder 113 decodes the 2D content data encoded by the first encoder.
  • the decoder 113 may decode the 2D content data by performing an inverse process of the first encoder 112.
  • Up scaler 114 performs up scaling on the decoded 2D content data. As a result, the upscaler 114 may return to the original 2D content data size.
  • the reconstruction data generator 115 receives the original 2D content data and the 2D content data upscaled by the upscaler 114 and generates the reconstruction data.
  • the original 2D content data undergoes downscaling and encoding in the downscaler 111 and the first encoder 112 to be transmitted through the first transmission network, and an error may occur even when the data is restored by performing decoding and upscaling.
  • the reconstruction data generator 115 may compare the original 2D content data and the 2D content data input by being upscaled by the upscaler 114 and generate the comparison result as reconstruction data. That is, the reconstructed data may be error data generated by performing down scaling, encoding, decoding, and up scaling on the original 2D content data.
  • the reconstructed data generator 115 may include a subtractor to generate the reconstructed data. That is, the restored data may be generated by subtracting the 2D content data input from the upscaler 114 to the original 2D content data.
  • the second encoder 116 encodes the reconstruction data generated by the reconstruction data generator 115.
  • the second encoder may perform HEVC encoding on the reconstruction data.
  • the image format that can be encoded by the second encoder 116 is not limited thereto, and encoding may be performed according to currently available image formats such as MPEG-2 and H.264 and various image formats developed later and applicable to the present invention. Can be done.
  • the second transmitter 130 transmits the reconstructed data encoded by the second encoder 115 to the receiving device 200.
  • the first transmission unit 120 may transmit encoded data to the receiving device 200 through the internet network.
  • the reception apparatus 200 includes a first receiver 210, a second receiver 220, a first decoder 231, an upscaler 232, a second decoder 233, and a data restorer 234. It includes.
  • the first receiver 210 receives 2D content data through the first transmission network.
  • the first transmission network is an RF network
  • the first receiver 210 may be implemented in a form including an antenna, a tuner, a demodulator, an equalizer, and the like. Structures and operations of the antenna, tuner, demodulator, and equalizer have been described in various known broadcast standards, and thus detailed descriptions thereof will be omitted.
  • the first decoder 231 decodes the 2D content data received by the first receiver 210.
  • the first decoder 231 may decode the 2D content data by performing an inverse process of the first encoder 112 of the transmitting apparatus 100 according to the compressed image format. For example, when 2D content data is MPEG-2 encoded, MPEG-2 decoding may be performed.
  • Up scaler 232 upscales the decoded 2D content data.
  • the upscaler 232 may return the downscaled 2D content data to the original data size in the transmission apparatus 100.
  • the second receiver 220 receives the restored data through the second transmission network.
  • the second receiver may receive the restoration data in the form of an IP stream.
  • the second decoder 233 decodes the reconstruction data received by the second receiver.
  • the second decoder 233 may decode the reconstructed data by performing an inverse process of the second encoder 116 of the transmitting apparatus 100 according to the compressed video format. For example, when 2D content data is HEVC encoded, HEVC decoding may be performed.
  • the data restoration unit 234 restores original 2D content data.
  • the data recovery unit 234 applies the reconstruction data decoded by the second decoder 233 to the 2D content data upscaled by the upscaler 232, thereby transmitting and receiving the device 100 and the reception device 200.
  • the original 2D content data is restored by correcting the error generated during the data processing.
  • the data recovery unit 234 may include an adder. That is, the data restoration unit 234 may restore the original 2D content data by adding the restoration data to the upscaled 2D content data.
  • the transmitting apparatus 100 and the receiving apparatus 200 may be upscaled.
  • the data may further include a de-blocking filter (not shown) for Block Artifact Filtering. That is, data output from the upscaler 114 of the transmitter 100 is Block Artifact Filtered by a deblocking filter (not shown) and then input to the reconstruction data generator 115, and the upscaler of the receiver 200.
  • the data output from 232 may be input to the data recovery unit 234 after Block Artifact Filtering by a deblocking filter (not shown). Accordingly, the error due to the block noise of MPEG-2 can be reduced and the data size of the reconstructed data can be reduced.
  • the downscaler 111 and the upscaler 114 and 232 may be configured in the transmitter 100 and the receiver 200. Can be omitted.
  • the embodiment of transmitting and receiving 3D content and reconstructed data has the same configuration as the embodiment of transmitting and receiving 2D content and reconstructed data, but duplicate description is omitted since only the data to be transmitted and received is different.
  • the transmitter 100 may include a down scaler 111, a first encoder 112, a decoder 113, an upscaler 114, a reconstruction data generator 115, a second encoder 116, The first transmitter 120 and the second transmitter 130 are included.
  • the down scaler 111 downscales the input data when one of the left eye image and the right eye image data constituting the 3D content data is input.
  • the first encoder 112 encodes down scaled left eye image or right eye image data.
  • the first encoder 112 may perform MPEG-2 encoding on the down-scaled 2D content data for compatibility with an existing receiver.
  • the first transmitter 120 transmits the left eye image or the right eye image data encoded by the first encoder to the receiving apparatus 200.
  • the decoder 113 decodes left eye image or right eye image data encoded by the first encoder.
  • the upscaler 114 may perform upscaling on the decoded left eye image or right eye image data to return the original data size.
  • the reconstruction data generator 115 receives the other of the left eye image or the right eye image data and the right eye image constituting the 3D content data upscaled by the up scaler 114 and generates reconstruction data.
  • the reconstruction data generator 115 may compare the data of the other of the left eye image and the right eye image constituting the upscaled left eye image or the right eye image data and the 3D content data, and generate the comparison result as reconstruction data.
  • the reconstructed data generator 115 may include a subtractor. That is, the reconstructed data may be generated by subtracting one of the left eye image and the right eye image input from the upscaler 114 to any one of the original left eye image and the right eye image data constituting the 3D content data.
  • the reconstructed data generator 115 uses the upscaled left eye image or the right eye image to generate the reconstructed data.
  • the reconstructed data generator 115 displays the original left eye image and the right eye image. Restoration data can also be generated.
  • the decoder 113 and the upscaler 114 of the data processor 110 may be omitted.
  • the second encoder 116 encodes the reconstruction data generated by the reconstruction data generator 115.
  • the second transmitter 130 transmits the reconstructed data encoded by the second encoder 115 to the receiving device 200.
  • the reception apparatus 200 includes a first receiver 210, a second receiver 220, a first decoder 231, an upscaler 232, a second decoder 233, and a data restorer 234. It includes.
  • the first receiver 210 receives any one of left eye image and right eye image data constituting 3D content through the first transmission network.
  • the first decoder 231 decodes the data received by the first receiver 210.
  • the first decoder 231 may decode the left eye image or the right eye image data by performing an inverse process of the first encoder 112 of the transmitting apparatus 100 according to the compressed image format.
  • the upscaler 232 may upscale the decoded left eye image or right eye image data to return the down scaled left eye image or right eye image data to the original data size.
  • the second receiver 220 receives the restored data through the second transmission network.
  • the second receiver may receive the restoration data in the form of an IP stream.
  • the second decoder 233 decodes the reconstruction data received by the second receiver.
  • the second decoder 233 may decode the reconstructed data by performing an inverse process of the second encoder 116 of the transmitting apparatus 100 according to the compressed video format.
  • the data reconstructor 234 reconstructs one of the left eye image and the right eye image data of the 3D content.
  • the data reconstructor 234 applies the reconstructed data decoded by the second decoder 233 to the left-eye image or the right-eye image data upscaled by the upscaler 232, and thus the other of the left-eye image and the right-eye image data. You can restore one.
  • the data recovery unit 234 may include an adder. That is, the data reconstructor 234 may reconstruct the other one of the left eye image and the right eye image data by adding reconstruction data to the upscaled left eye image or right eye image data.
  • the left eye image and the right eye image of the 3D content output from the upscaler 232 and the data restoration unit 234 may be output through an output unit (not shown).
  • the transmitting apparatus 100 and the receiving apparatus 200 may be upscaled.
  • the data may further include a de-blocking filter (not shown) for Block Artifact Filtering. That is, data output from the upscaler 114 of the transmitter 100 is Block Artifact Filtered by a deblocking filter (not shown) and then input to the reconstruction data generator 115, and the upscaler of the receiver 200.
  • the data output from 232 may be input to the data recovery unit 234 after Block Artifact Filtering by a deblocking filter (not shown). Accordingly, the error due to the block noise of MPEG-2 can be reduced and the data size of the reconstructed data can be reduced.
  • the downscaler 111 and the upscaler 114 and 232 may be configured in the transmitter 100 and the receiver 200. Can be omitted.
  • the transmitter 100 includes a down scaler 111, a first encoder 112, a second encoder 116, a first transmitter 120, and a second transmitter 130.
  • the down scaler 111 down scales the input data when one of the left eye image and the right eye image data of the 3D content is input. For large content data such as UHD image quality, original data may not be transmitted through one transmission channel, and in this case, data size may be reduced through downscaling.
  • the first encoder 112 encodes down scaled left eye image or right eye image data.
  • the first encoder 112 may perform MPEG-2 encoding on the down-scaled 2D content data for compatibility with an existing receiver.
  • the video format that can be encoded by the first encoder 112 is not limited thereto and may be encoded according to currently available video formats such as H.264 and HEVC, and various video formats that may be developed later and applied to the present invention. Can be.
  • the first transmitter 120 transmits the left eye image or the right eye image data encoded by the first encoder to the receiving apparatus 200.
  • the first transmitter 120 may transmit the encoded left eye image or the right eye image data to the receiving apparatus 200 by performing an additional process to be suitable for the transmission network.
  • the first transmission network is an RF network
  • the first transmitter 120 may include a modulator (not shown) and an up-converter (not shown), and may perform modulation upconversion to transmit an RF signal. Can be.
  • the second encoder 116 receives and encodes another one of a left eye image and a right eye image data of 3D content.
  • the second encoder may perform HEVC encoding on the other of the left eye image and the right eye image data of the 3D content.
  • the image format that can be encoded by the second encoder 116 is not limited thereto, and encoding may be performed according to currently available image formats such as MPEG-2 and H.264 and various image formats developed later and applicable to the present invention. Can be done.
  • the second transmitter 130 transmits the other of the left eye image and the right eye image data of the 3D content encoded by the second encoder 119 to the receiving apparatus 200.
  • the second transmission unit 130 may transmit the encoded data to the receiving device 200 through the Internet network.
  • the receiving device 200 includes a first receiving unit 210, a second receiving unit 220, a first decoder 231, an upscaler 232, and a second decoder 233.
  • the first receiver 210 receives any one of left eye image and right eye image data constituting 3D content through the first transmission network.
  • the first decoder 231 decodes the data received by the first receiver 210.
  • the first decoder 231 may decode the left eye image or the right eye image data by performing an inverse process of the first encoder 112 of the transmitting apparatus 100 according to the compressed image format.
  • the upscaler 232 may upscale the decoded 2D content data to return the down-scaled left eye image or right eye image data to the original data size in the transmission apparatus 100.
  • the second receiver 220 receives the other one of the left eye image and the right eye image data of the 3D content through the second transmission network.
  • the second transmission network is an IP network
  • the second receiver may receive another of the left eye image and the right eye image data in the form of an IP stream.
  • the second decoder 233 decodes the other of the left eye image and the right eye image data received by the second receiver.
  • the second decoder 233 may decode by performing an inverse process of the second encoder 116 of the transmitting apparatus 100 according to the compressed video format.
  • the left eye image and the right eye image data of the 3D content output from the upscaler 232 and the second decoder 233 may be output through an output unit (not shown).
  • the down scaler 111 and the up scaler 232 configuration may be omitted in the transmitting apparatus 100 and the receiving apparatus 200. Can be.
  • first data and second data constituting a content are simultaneously transmitted to the first transmission network and second data is transmitted to the second transmission network
  • first data and the second data may be left eye images and right eye images of 3D content, a plurality of images constituting multi-angle content, 2D data, and depth image data.
  • the transmitting device 100 includes a first encoder 112, a second encoder 116, a multiplexer 117, a first transmitter 120, and a second transmitter 130.
  • the first encoder 112 encodes first data among a plurality of multimedia data constituting one content.
  • the first encoder 112 may perform MPEG-2 encoding on the first data for compatibility with an existing receiver.
  • the video format that can be encoded by the first encoder 112 is not limited thereto and may be encoded according to currently available video formats such as H.264 and HEVC, and various video formats that may be developed later and applied to the present invention. Can be.
  • the second encoder 116 encodes second data among a plurality of multimedia data constituting one content.
  • the second encoder 116 may perform HEVC encoding on the second data.
  • the image format that can be encoded by the second encoder 116 is not limited thereto, and may be encoded according to currently available image formats such as H.264 having a scalable property and various image formats developed later and applicable to the present invention. Can be performed.
  • the multiplexer 117 multiplexes the first data encoded by the first encoder 112 and the second data encoded by the second encoder 116 to form one data.
  • the first transmitter 120 transmits the data multiplexed by the multiplexer 117 to the receiver 200.
  • the first transmitter 120 may transmit the multiplexed data to the receiver 200 by performing an additional process to be suitable for the transmission network.
  • the first transmitter 120 may include a modulator (not shown) and an up-converter (not shown), and may perform modulation upconversion or the like to transmit an RF signal. Can be.
  • the second transmitter 130 transmits the second data encoded by the second encoder 116 to the receiver 200.
  • the second transmission unit 130 may transmit the encoded data to the receiving device 200 through the Internet network.
  • the receiving device receives the first data and the first data transmitted through the first transmission network. 2 may receive the data and provide the content with the plurality of data to the user.
  • FIG. 8 is a diagram for explaining data transmitted through a first transmission network and a second transmission network.
  • the existing RF broadcast channel may transmit data at a transmission rate of 19.83 Mbps.
  • H.264 has twice the compression efficiency as compared to the MPEG-2 format, and thus the multiplexed data
  • the first data may be transmitted at a rate of about 12 Mbps
  • the second data may be transmitted at a rate of about 6 Mbps.
  • the second data may be transmitted through the second transmission network at a speed of 6 Mbps.
  • the reception device 200 includes a first receiver 210, a second receiver 220, a demultiplexer 235, a first decoder 231, and a second decoder 233.
  • the first receiver 210 receives data in which the first data and the second data are multiplexed through the first transmission network.
  • the second receiver 220 receives the second data through the second transmission network.
  • the second transmission network is an IP network
  • the second data may be received in the form of an IP stream.
  • the demultiplexer 235 demultiplexes the data received by the first receiver 210 to separate the first data and the second data, divides the first data into the first decoder 231, and the second data into the second decoder ( 232).
  • the first decoder 231 decodes first data input from the multiplexer 235.
  • the first decoder 231 may decode the first data by performing an inverse process of the first encoder 112 of the transmitting apparatus 100 according to the compressed video format.
  • the second decoder 233 decodes second data input from the multiplexer 235.
  • the second decoder 233 may decode by performing an inverse process of the second encoder 116 of the transmitting apparatus 100 according to the compressed video format.
  • the second data transmitted through the first transmission network and the second data transmitted through the second transmission network are described as the same data.
  • the size of data that can be transmitted through the first transmission network is limited (for example, when the first transmission network is an RF network, it can be transmitted at a transmission rate of up to 19.38 Mbps). As the amount increases, the amount of first data that can be transmitted through the first transmission network decreases.
  • the second data transmitted through the first transmission network may transmit a relatively small amount of data compared to the second data transmitted through the second transmission network.
  • the first transmission network may transmit the first data at a transmission rate of about 16 Mbps and the second data at a transmission rate of 2 Mbps.
  • the second encoder 116 receives relatively low quality data (hereinafter referred to as base data) for receiving and transmitting the second data to the first transmission network and relatively high image quality for transmission to the second transmission network.
  • Data hereinafter, referred to as enhancement data
  • enhancement data may be generated and encoded, and then output to the multiplexer 117 and the second transmitter 130, respectively.
  • the second encoder 116 may generate, encode, and output data including base data and additional information, and the multiplexer 117 may selectively multiplex only the first data and the base data, and the second transmitter ( 130 may also transmit a data including base data and additional information.
  • a method for reducing the amount of second data transmitted through the first transmission network to transmit only some of the video frame of the plurality of video frames constituting the second data for example, content having a frame rate of 30 fps Is transmitted at a frame rate of 15 fps
  • a method of reducing the resolution of a video frame e.g., converting HD quality to SD quality or SD quality to CIF quality
  • reducing the bit rate of the video frame e.g., For example, 2 Mbps to 512 kbps.
  • the receiving device 200 may further include an output unit (not shown) for outputting multimedia data signal-processed by the data processing unit 230.
  • the output unit may include an image output unit (not shown) for outputting image data and an audio output unit (not shown) for outputting audio data.
  • the image processor of the data processor 230 has been described mainly, but the data processor 230 may include an audio processor (not shown) and an additional data processor (not shown) for processing audio data and additional data included in the received multimedia data. Not shown).
  • the audio processor (not shown) may process the audio data and output the audio data through the audio output unit.
  • the additional data processor may process additional data such as subtitles and render the image data and render the screen, and then configure the screen. It can be output through the display.
  • the transmission / reception system 20 has the same operation as the transmission / reception system 10 of FIGS. 1 and 2, but the transmission device 100 of the transmission / reception system 10 of FIGS. 1 and 2 is a transmission system including a plurality of devices. The difference is that it is implemented.
  • the transmission / reception system 20 includes a content processing device 300, a first transmission device 400, a second transmission device 500, and a reception device 200.
  • the content processing device 300 is connected to the data processing unit 110 of the transmission device 100, the first transmission device 400 is connected to the first transmission unit 120 of the transmission device 100, and the second transmission device 500 is provided.
  • the multimedia data is scaled down (S1110).
  • the multimedia data may be one of 2D content data, left eye image, and right eye image data of 3D content.
  • the downscaled multimedia data is encoded.
  • MPEG-2 encoding may be performed on the downscaled multimedia data for compatibility with an existing receiver.
  • the encoded multimedia data is transmitted through the first transmission network (S1130).
  • the first transmission network may be an RF network.
  • the decoded multimedia data is upscaled (S1150).
  • reconstruction data is generated using the upscaled multimedia data.
  • the multimedia data is 2D content data
  • the 2D content data and the upscaled 2D content data may be compared and the comparison result may be generated as reconstructed data.
  • the multimedia data is one of the left eye image and the right eye image data included in the 3D content
  • the upscaled multimedia data of the other of the left eye image data and the right eye image data may be compared, and the comparison result may be generated as reconstructed data. .
  • the restoration data is encoded (S1170), it is transmitted through the second transmission network (S1180).
  • the second transmission network may be an IP (Internet) network.
  • FIG. 12 is a flowchart illustrating a receiving method according to an embodiment of the present invention.
  • multimedia data is received through a first transmission network in operation S1210.
  • the first transmission network may be an RF network.
  • the received multimedia data is decoded.
  • the multimedia data may be one of 2D content data, left eye image, and right eye image data of 3D content. Thereafter, the decoded multimedia data is upscaled (S1230).
  • the restoration data is received through the second transmission network (S1250).
  • the second transmission network may be an IP network.
  • the reconstructed data may be data extracted by sequentially performing down scaling, encoding, decoding, and up scaling on the 2D content data, and then subtracting the result data from the 2D content data.
  • the reconstructed data is sequentially down-scaled, encoded, decoded, and upscaled with respect to one of the left eye image data and the right eye image data of the 3D content, and then the result data is obtained from the other of the left eye image data and the right eye image data.
  • the data may be subtracted and extracted.
  • the received restored data is decoded (S1250), and the restored content is applied to the upscaled multimedia data to restore the content (S1260).
  • the 2D content data may be restored by adding the restoration data to the upscaled 2D content data. If the multimedia data is one of the left eye image and the right eye image data included in the 3D content, the reconstruction data is added to one of the left eye image data and the right eye image data of the upscaled 3D content and the other of the left eye image data and the right eye image data. Can be restored.
  • the program for performing the method according to various embodiments of the present disclosure described above may be stored and used in various types of recording media.
  • the code for performing the above-described methods may include a flash memory, a read only memory (ROM), an erasable programmable ROM (EPROM), an electronically erasable and programmable ROM (EEPROM), a hard disk, a removable disk, a memory card, It may be stored in various types of nonvolatile recording media, such as USB memory, CD-ROM, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

송신 장치가 개시된다. 본 송신 장치는, 멀티미디어 데이터를 다운 스케일링하는 다운 스케일러, 다운 스케일링된 멀티미디어 데이터를 인코딩하는 제1 인코더, 인코딩된 멀티미디어 데이터를 제1 전송 망을 통해 전송하는 제1 전송부, 인코딩된 멀티미디어 데이터를 디코딩하는 디코더, 디코딩된 멀티미디어 데이터를 업스케일링하는 업 스케일러, 업스케일링된 멀티미디어 데이터를 이용하여 복원 데이터를 생성하는 복원 데이터 생성부, 복원 데이터를 인코딩하는 제2 인코더 및 인코딩된 복원 데이터를 제2 전송 망을 통해 전송하는 제2 전송부를 포함한다.

Description

송신 장치, 수신 장치 및 그 송수신 방법
본 발명은 송신 장치, 수신 장치 및 그 방법에 관한 것으로 더욱 상세하게는 복수의 스트림을 제공하는 송신 장치, 복수의 스트림을 수신하여 처리하는 수신 장치 및 그 송수신 방법에 관한 것이다.
최근 전자 기술의 발달에 힘입어, 다양한 유형의 전자 장치가 개발 및 보급되고 있다. 특히 TV의 경우 3D 컨텐츠나 보다 높은 해상도의 컨텐츠를 제공할 수 있게 되었으며, 이에 따라, 방송 기술에 있어서도 3D 컨텐츠,멀티 앵글 컨텐츠, Depth 영상을 포함하는 컨텐츠 등과 같이 다수의 영상을 포함하는 컨텐츠나 UHD급 화질의 컨텐츠를 제공하기 위한 기술이 개발되고 있다.
기존의 방송망에서 사용되는 채널 대역폭은 제한적임에 반해 멀티 앵글 컨텐츠, 3D 컨텐츠, UHD급 화질의 컨텐츠 등은 기존의 컨텐츠보다 큰 데이터 사이즈를 가지므로 기존의 방송망에서 데이터 사이즈가 큰 컨텐츠를 그대로 전송하기에는 무리가 있다.
한편, 새로운 컨텐츠를 제공하기 위해 새로운 설비를 투자하는 것은 비용적으로 무리가 있으며, 기존 방송 설비 및 수신 장치를 이용하여 새로운 컨텐츠를 제공하기 위한 방안이 요청된다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은, 서로 다른 경로를 통해 복수의 스트림을 제공하는 송신 장치, 복수의 스트림을 수신하여 처리하는 수신 장치 및 그 송수신 방법을 제공함에 있다.
본 발명의 일 실시 예에 따른 송신 장치는, 멀티미디어 데이터를 다운 스케일링하는 다운 스케일러, 상기 다운 스케일링된 멀티미디어 데이터를 인코딩하는 제1 인코더, 상기 인코딩된 멀티미디어 데이터를 제1 전송 망을 통해 전송하는 제1 전송부, 상기 인코딩된 멀티미디어 데이터를 디코딩하는 디코더, 상기 디코딩된 멀티미디어 데이터를 업스케일링하는 업 스케일러, 상기 업스케일링된 멀티미디어 데이터를 이용하여 복원 데이터를 생성하는 복원 데이터 생성부, 상기 복원 데이터를 인코딩하는 제2 인코더 및 상기 인코딩된 복원 데이터를 제2 전송 망을 통해 전송하는 제2 전송부를 포함한다.
여기서, 상기 멀티미디어 데이터는 2D 컨텐츠 데이터이며, 상기 복원 데이터 생성부는, 상기 2D 컨텐츠 데이터 및 상기 업스케일링된 2D 컨텐츠 데이터를 비교하여 그 비교 결과를 상기 복원 데이터로서 생성할 수 있다.
또는, 상기 멀티미디어 데이터는 3D 컨텐츠에 포함된 좌안 영상 데이터 및 우안 영상 데이터 중 하나이며, 상기 복원 데이터 생성부는, 상기 좌안 영상 데이터 및 상기 우안 영상 데이터 중 다른 하나와 상기 업스케일링된 멀티미디어 데이터를 비교하여, 그 비교 결과를 상기 복원 데이터로서 생성할 수 있다.
그리고, 상기 제1 전송 망은 RF 망이며, 상기 제2 전송 망은 IP(인터넷) 망일 수 있다.
한편, 본 발명의 일 실시 예에 따른 수신 장치는, 제1 전송 망을 통해 전송되는 멀티미디어 데이터를 수신하는 제1 수신부, 상기 수신된 멀티미디어 데이터를 디코딩하는 제1 디코더, 상기 디코딩된 멀티미디어 데이터를 업스케일링하는 업스케일러, 제2 전송 망을 통해 전송되는 복원 데이터를 수신하는 제2 수신부, 상기 복원 데이터를 디코딩하는 제2 디코더 및 상기 업스케일링된 멀티미디어 데이터에 상기 복원 데이터를 적용하여, 컨텐츠를 복원하는 데이터 복원부를 포함한다.
여기서, 상기 멀티미디어 데이터는 2D 컨텐츠 데이터이며, 상기 복원 데이터는 상기 2D 컨텐츠 데이터에 대해 다운 스케일링, 인코딩, 디코딩, 업스케일링을 순차적으로 수행한 후, 결과 데이터를 상기 2D 컨텐츠 데이터로부터 감산하여 추출한 데이터이며, 상기 데이터 복원부는, 상기 업스케일링된 2D 컨텐츠 데이터에 상기 복원 데이터를 가산하여 원본 2D 컨텐츠 데이터를 복원할 수 있다.
또는, 상기 멀티미디어 데이터는 3D 컨텐츠에 포함된 좌안 영상 데이터 및 우안 영상 데이터 중 하나이며, 상기 복원 데이터는 상기 3D 컨텐츠의 좌안 영상 데이터 및 우안 영상 데이터 중 하나에 대해 다운 스케일링, 인코딩, 디코딩, 업스케일링을 순차적으로 수행한 후, 결과 데이터를 상기 좌안 영상 데이터 및 우안 영상 데이터 중 다른 하나로부터 감산하여 추출한 데이터이며, 상기 데이터 복원부는, 상기 업스케일링된 3D 컨텐츠의 좌안 영상 데이터 및 우안 영상 데이터 중 하나에 상기 복원 데이터를 가산하여 상기 좌안 영상 데이터 및 우안 영상 데이터 중 다른 하나를 복원할 수 있다.
그리고, 상기 제1 전송 망은 RF 망이며, 상기 제2 전송 망은 IP(인터넷) 망일 수 있다.
한편, 본 발명의 일 실시 예에 따른 송신 방법은, 멀티미디어 데이터를 다운 스케일링하는 단계, 상기 다운 스케일링된 멀티미디어 데이터를 인코딩하는 단계, 상기 인코딩된 멀티미디어 데이터를 제1 전송 망을 통해 전송하는 단계, 상기 인코딩된 멀티미디어 데이터를 디코딩하는 단계, 상기 디코딩된 멀티미디어 데이터를 업스케일링하는 단계, 상기 업스케일링된 멀티미디어 데이터를 이용하여 복원 데이터를 생성하는 단계, 상기 복원 데이터를 인코딩하는 단계 및 상기 인코딩된 복원 데이터를 제2 전송 망을 통해 전송하는 단계를 포함한다.
여기서, 상기 멀티미디어 데이터는 2D 컨텐츠 데이터이며, 상기 복원 데이터를 생성하는 단계는, 상기 2D 컨텐츠 데이터 및 상기 업스케일링된 2D 컨텐츠 데이터를 비교하여 그 비교 결과를 상기 복원 데이터로서 생성할 수 있다.
또는, 상기 멀티미디어 데이터는 3D 컨텐츠에 포함된 좌안 영상 데이터 및 우안 영상 데이터 중 하나이며, 상기 복원 데이터를 생성하는 단계는, 상기 좌안 영상 데이터 및 상기 우안 영상 데이터 중 다른 하나와 상기 업스케일링된 멀티미디어 데이터를 비교하여, 그 비교 결과를 상기 복원 데이터로서 생성할 수 있다.
한편, 본 발명의 일 실시 예에 따른 수신 방법은, 제1 전송 망을 통해 전송되는 멀티미디어 데이터를 수신하는 단계, 상기 수신된 멀티미디어 데이터를 디코딩하는 단계, 상기 디코딩된 멀티미디어 데이터를 업스케일링하는 단계, 제2 전송 망을 통해 전송되는 복원 데이터를 수신하는 단계, 상기 복원 데이터를 디코딩하는 단계 및 상기 업스케일링된 멀티미디어 데이터에 상기 복원 데이터를 적용하여, 컨텐츠를 복원하는 단계를 포함한다.
여기서, 상기 멀티미디어 데이터는 2D 컨텐츠 데이터이며, 상기 복원 데이터는 상기 2D 컨텐츠 데이터에 대해 다운 스케일링, 인코딩, 디코딩, 업스케일링을 순차적으로 수행한 후, 결과 데이터를 상기 2D 컨텐츠 데이터로부터 감산하여 추출한 데이터이며, 상기 컨텐츠를 복원하는 단계는, 상기 업스케일링된 2D 컨텐츠 데이터에 상기 복원 데이터를 가산하여 상기 2D 컨텐츠 데이터를 복원할 수 있다.
또는 상기 멀티미디어 데이터는 3D 컨텐츠에 포함된 좌안 영상 데이터 및 우안 영상 데이터 중 하나이며, 상기 복원 데이터는 상기 3D 컨텐츠의 좌안 영상 데이터 및 우안 영상 데이터 중 하나에 대해 다운 스케일링, 인코딩, 디코딩, 업스케일링을 순차적으로 수행한 후, 결과 데이터를 상기 좌안 영상 데이터 및 우안 영상 데이터 중 다른 하나로부터 감산하여 추출한 데이터이며, 상기 컨텐츠를 복원하는 단계는, 상기 업스케일링된 3D 컨텐츠의 좌안 영상 데이터 및 우안 영상 데이터 중 하나에 상기 복원 데이터를 가산하여 상기 좌안 영상 데이터 및 우안 영상 데이터 중 다른 하나를 복원할 수 있다.
한편, 본 발명의 일 실시 예에 따른 컨텐츠 처리 장치는, 멀티미디어 데이터를 다운 스케일링하는 다운 스케일러, 상기 다운 스케일링된 멀티미디어 데이터를 인코딩하는 제1 인코더, 상기 인코딩된 멀티미디어 데이터를 디코딩하는 디코더, 상기 디코딩된 멀티미디어 데이터를 업스케일링하는 업 스케일러, 상기 업스케일링된 멀티미디어 데이터를 이용하여 복원 데이터를 생성하는 복원 데이터 생성부 및 상기 복원 데이터를 인코딩하는 제2 인코더를 포함한다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 기존 설비를 이용하여 서로 다른 경로를 통해 다른 데이터를 송수신하여 전송 대역 폭 제한을 극복하여 사용자에게 새로운 컨텐츠를 제공할 수 있다.
또한, 제2 전송망을 통해 데이터를 수신하지 못하는 경우나, 제2 전송망의 수신환경이 열악한 경우에도 사용자에게 새로운 컨텐츠를 제공할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 멀티미디어 데이터 송수신 시스템을 나타내는 도면이다.
도 2는 본 발명이 일 실시 예에 따른 멀티미디어 데이터 송수신 시스템의 구성을 나타내는 블럭도이다.
도 3은 본 발명의 일 실시 예에 따른 송신 장치의 구성을 나타내는 블럭도이다.
도 4는 본 발명의 일 실시 예에 따른 수신 장치의 구성을 나타내는 블럭도이다.
도 5는 본 발명의 다른 실시 예에 따른 송신 장치의 구성을 나타내는 블럭도이다.
도 6은 본 발명의 다른 실시 예에 따른 수신 장치의 구성을 나타내는 블럭도이다.
도 7은 본 발명의 또 다른 실시 예에 따른 송신 장치의 구성을 나타내는 블럭도이다.
도 8은 제1 전송망 및 제2 전송망을 통해 전송되는 데이터를 설명하기 위한 도면이다.
도 9는 본 발명의 또 다른 실시 예에 따른 수신 장치의 구성을 나타내는 블럭도이다.
도 10은 본 발명의 다른 실시 예에 따른 멀티미디어 데이터 송수신 시스템을 나타내는 도면이다.
도 11은 본 발명의 일 실시 예에 따른 송신 방법을 설명하기 위한 흐름도이다.
도 12는 본 발명의 일 실시 예에 따른 수신 방법을 설명하기 위한 흐름도이다.
이하에서, 첨부된 도면을 참조하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 멀티미디어 데이터 송수신 시스템을 나타내는 도면이다. 도 1에 따르면 멀티미디어 데이터 송수신 시스템은 송신 장치(100) 및 수신 장치(200)를 포함한다.
송신 장치(100)는 멀티미디어 데이터를 처리하여 서로 다른 신호를 서로 다른 전송 망을 통해 전송한다. 예를 들어, 도 1과 같이 송신 장치(100)는 제1 전송 망을 통해 제1 신호를 전송하고, 제2 전송 망을 통해 제2 신호를 전송할 수 있다.
제1 신호 및 제2 신호는 하나의 멀티미디어 데이터를 구성하는 서로 다른 멀티미디어 데이터 또는 멀티미디어 데이터 및 멀티미디어 데이터를 복원하기 위한 복원 데이터일 수 있다. 예를 들어, 멀티미디어 데이터가 3D 컨텐츠인 경우에는 좌안 영상 또는 우안 영상이 제1 전송 망을 통해 전송되고, 다른 영상을 복원하기 위한 복원 데이터가 제2 전송 망을 통해 전송될 수 있다.
여기서, 제1 전송 망은 RF 망이 될 수 있으며, 제2 전송 망은 IP(인터넷) 망이 될 수 있다. 다만, 이는 일 실시 예에 불과하며 제1 전송망이 IP 망이고 제2 전송망이 RF 망이거나, 제1 전송망과 제2 전송망이 동일한 형태의 망이 될 수도 있다.
수신 장치(200)는 송신 장치(100)에서 전송되는 제1 신호 및 제2 신호를 각각 수신하여 데이터 처리를 수행하여 멀티미디어 데이터를 재생할 수 있다.
도 2는 본 발명이 일 실시 예에 따른 멀티미디어 데이터 송수신 시스템의 구성을 나타내는 블럭도이다. 도 2에 따르면 멀티미디어 데이터 송수신 시스템의 송신 장치(100)는 데이터 처리부(110), 제1 전송부(120) 및 제2 전송부(130)를 포함한다.
데이터 처리부(110)는 멀티미디어 데이터를 신호 처리하여 신호처리된 멀티미디어 데이터 및 복원 데이터를 제1 전송부(120) 및 제2 전송부(130)로 전송한다. 제1 전송부(120)는 신호 처리된 멀티미디어 데이터를 제1 전송 망을 통해 수신 장치(200)로 전송한다. 이를 위해, 제1 전송부는 신호 처리된 멀티미디어 데이터를 제1 전송망의 전송 규격 적합한 형태로 변환할 수 있다.
제2 전송부(130)는 신호 처리된 멀티미디어 데이터 또는 복원 데이터를 제2 전송 망을 통해 수신 장치(200)로 전송한다. 이를 위해 제2 전송부는 신호 처리된 멀티미디어 데이터 또는 복원 데이터를 제2 전송망의 전송 규격에 적합한 형태로 변환할 수 있다.
여기서, 멀티미디어 컨텐츠가 3D 컨텐츠인 경우 좌안 영상 또는 우안 영상이 제1 전송 망을 통해 전송되고, 다른 영상을 복원하기 위한 복원 데이터가 제2 전송 망을 통해 전송될 수 있다. 또는, 좌안 영상 또는 우안 영상이 제1 전송 망을 통해 전송되고, 다른 영상이 제2 전송 망을 통해 전송될 수 있다. 멀티미디어 데이터가 2D 컨텐츠인 경우에는 다운스케일링된 2D 컨텐츠가 제1 전송망을 통해 전송되고, 원본 2D 컨텐츠를 복원하기 위한 복원 데이터가 제2 전송망을 통해 전송될 수 있다.
그리고, 제2 전송망을 통해 전송될 데이터의 일부가 제1 전송망을 통해 전송될 수도 있다. 예를 들어, 3D 컨텐츠의 좌안 영상 및 우안 영상이 각각 제1 전송망 및 제2 전송망을 통해 전송되는 경우, 제2 전송망으로 전송되는 우안 영상의 일부 영상 프레임을 제1 전송망을 통해 함께 전송할 수 있다. 이에 따라, 제2 전송망으로 전송되는 데이터에 지연, 손실 등이 발생하더라도 제1 전송망을 통해 전송된 데이터를 이용하여 3D 컨텐츠를 재생하게 할 수 있다.
한편, 멀티미디어 데이터 송수신 시스템의 수신 장치(200)는 제1 수신부(210), 제2 수신부(220) 및 데이터 처리부(230)를 포함한다.
제1 수신부(210)는 송신 장치(100)로부터 제1 전송망을 통해 멀티미디어 데이터를 수신한다. 제2 수신부(210)는 송신 장치(100)로부터 제2 전송망을 통해 멀티미디어 데이터 또는 복원 데이터를 수신한다. 데이터 처리부(230)는 원본 컨텐츠를 출력부(미도시)를 통해 출력할 수 있도록 제1 수신부(210) 및 제2 수신부(220)를 통해 수신된 멀티미디어 데이터 또는 복원 데이터를 신호 처리한다.
이하에서는 실시예 별로 송신 장치(100) 및 수신 장치(200)의 동작을 보다 구체적으로 설명하기로 한다.
<2D 컨텐츠 및 복원 데이터를 전송하는 실시예>
도 3 및 도 4를 참조하여 2D 컨텐츠 및 복원 데이터를 송수신하는 실시예에 대해 구체적으로 설명한다. 여기서, 2D 컨텐츠는 UHD 화질의 2D 영상, 멀티 앵글 영상 등이 될 수 있다.
도 3은 본 발명의 일 실시 예에 따른 송신 장치의 구성을 나타내는 블럭도이다. 도 3을 참조하면 송신 장치(100)는 다운 스케일러(111), 제1 인코더(112), 디코더(113), 업스케일러(114), 복원 데이터 생성부(115), 제2 인코더(116), 제1 전송부(120) 및 제2 전송부(130)를 포함한다.
다운 스케일러(111)는 원본 2D 컨텐츠 데이터가 입력되면 입력된 데이터를 다운 스케일링한다. UHD 화질과 같은 대용량 컨텐츠 데이터는 원본 데이터를 하나의 전송 채널을 통해 전송할 수 없는 경우가 있으며, 이러한 경우 다운 스케일링을 통해 데이터 사이즈를 줄일 수 있다.
제1 인코더(112)는 다운 스케일링된 2D 컨텐츠 데이터를 인코딩한다. 구체적으로, 제1 인코더(112)는 다운 스케일링된 2D 컨텐츠 데이터에 대해 기존 수신 장치와의 호환성을 위해 MPEG-2 인코딩을 수행할 수 있다. 다만, 제1 인코더(112)에서 인코딩할 수 있는 영상 포맷은 이에 한정되지 않으며 H.264, HEVC 등 현재 이용가능한 영상 포맷 및 추후 개발되어 본 발명에 적용될 수 있는 다양한 영상 포맷에 따라 인코딩을 수행할 수 있다.
제1 전송부(120)는 제1 인코더에 의해 인코딩된 2D 컨텐츠 데이터를 수신 장치(200)로 전송한다. 제1 전송부(120)는 인코딩된 2D 컨텐츠 데이터를 전송망에 적합하도록 추가적인 처리를 수행하여 수신 장치(200)로 전송할 수 있다. 예를 들어, 제1 전송망이 RF 망인 경우 제1 전송부(120)는 변조기(미도시) 및 업컨버터(미도시) 등을 포함할 수 있으며 RF 신호를 전송하기 위해 변조, 업컨버팅 등을 수행할 수 있다.
디코더(113)는 제1 인코더에 의해 인코딩된 2D 컨텐츠 데이터를 디코딩한다. 구체적으로, 디코더(113)는 제1 인코더(112)의 역과정을 수행하여 2D 컨텐츠 데이터를 디코딩할 수 있다.
업 스케일러(114)는 디코딩된 2D 컨텐츠 데이터에 대해 업 스케일링을 수행한다. 이에 따라, 업 스케일러(114)는 원래의 2D 컨텐츠 데이터 사이즈로 되돌릴 수 있다.
복원 데이터 생성부(115)는 원본 2D 컨텐츠 데이터 및 업 스케일러(114)에 의해 업 스케일링된 2D 컨텐츠 데이터를 입력받아 복원 데이터를 생성한다. 원본 2D 컨텐츠 데이터는 제1 전송망을 통해 전송하기 위해 다운 스케일러(111) 및 제1 인코더(112)에서 다운 스케일링 및 인코딩과정을 거치며, 디코딩 및 업 스케일링을 수행하여 데이터를 복원하더라도 오차가 발생할 수 있다. 복원 데이터 생성부(115)는 원본 2D 컨텐츠 데이터 및 업 스케일러(114)에서 업 스케일링되어 입력된 2D 컨텐츠 데이터를 비교하여 그 비교 결과를 복원 데이터로 생성할 수 있다. 즉, 복원 데이터는 원본 2D 컨텐츠 데이터에 대해 다운 스케일링, 인코딩, 디코딩 및 업 스케일링 과정을 수행하여 발생한 오차 데이터가 될 수 있다.
복원 데이터 생성부(115)는 복원 데이터를 생성하기 위하여 감산기를 포함할 수 있다. 즉, 원본 2D 컨텐츠 데이터에 업 스케일러(114)에서 입력된 2D 컨텐츠 데이터를 감산하여 복원 데이터를 생성할 수 있다.
제2 인코더(116)는 복원 데이터 생성부(115)에서 생성된 복원 데이터를 인코딩한다. 구체적으로, 제2 인코더는 복원 데이터를 HEVC 인코딩을 수행할 수 있다. 다만, 제2 인코더(116)에서 인코딩할 수 있는 영상 포맷은 이에 한정되지 않으며 MPEG-2, H.264 등 현재 이용가능한 영상 포맷 및 추후 개발되어 본 발명에 적용될 수 있는 다양한 영상 포맷에 따라 인코딩을 수행할 수 있다.
제2 전송부(130)는 제2 인코더(115)에 의해 인코딩된 복원 데이터를 수신 장치(200)로 전송한다. 예를 들어, 제2 전송망이 IP 망인 경우 제1 전송부(120)는 인터넷 네트워크를 통해 인코딩된 복원 데이터를 수신 장치(200)로 전송할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 수신 장치의 구성을 나타내는 블럭도이다. 도 4에 따르면 수신 장치(200)는 제1 수신부(210), 제2 수신부(220), 제1 디코더(231), 업스케일러(232), 제2 디코더(233) 및 데이터 복원부(234)를 포함한다.
제1 수신부(210)는 제1 전송망을 통해 2D 컨텐츠 데이터를 수신한다. 제1 전송망이 RF 망인 경우 제1 수신부(210)는 안테나, 튜너부, 복조부, 등화부 등을 포함하는 형태로 구현될 수 있다. 안테나, 튜너부, 복조부, 등화부 등의 구조 및 동작에 대해서는 공지된 여러 방송 규격에서 기재된 바 있으므로, 구체적인 설명은 생략한다.
제1 디코더(231)는 제1 수신부(210)에서 수신된 2D 컨텐츠 데이터를 디코딩한다. 구체적으로, 제1 디코더(231)는 압축 영상 포맷에 따라 송신 장치(100)의 제1 인코더(112)의 역과정을 수행하여 2D 컨텐츠 데이터를 디코딩할 수 있다. 예를 들어, 2D 컨텐츠 데이터가 MPEG-2 인코딩된 경우 MPEG-2 디코딩을 수행할 수 있다.
업 스케일러(232)는 디코딩된 2D 컨텐츠 데이터를 업 스케일링한다. 업 스케일러(232)는 송신 장치(100)에서 다운 스케일링된 2D 컨텐츠 데이터를 원래의 데이터 사이즈로 되돌릴 수 있다.
제2 수신부(220)는 제2 전송망을 통해 복원 데이터를 수신한다. 제2 전송망이 IP 망인 경우 제2 수신부는 복원 데이터를 IP 스트림 형태로 수신할 수 있다.
제2 디코더(233)는 제2 수신부에서 수신된 복원 데이터를 디코딩한다. 구체적으로, 제2 디코더(233)는 압축 영상 포맷에 따라 송신 장치(100)의 제2 인코더(116)의 역과정을 수행하여 복원 데이터를 디코딩할 수 있다. 예를 들어, 2D 컨텐츠 데이터가 HEVC 인코딩된 경우 HEVC 디코딩을 수행할 수 있다.
데이터 복원부(234)는 원본 2D 컨텐츠 데이터를 복원한다. 구체적으로, 데이터 복원부(234)는 업 스케일러(232)에 의해 업스케일링된 2D 컨텐츠 데이터에 제2 디코더(233)에 의해 디코딩된 복원 데이터를 적용하여 송신 장치(100) 및 수신 장치(200)의 데이터 처리 과정에서 발생한 오차를 수정하여 원본 2D 컨텐츠 데이터를 복원한다. 이를 위해, 데이터 복원부(234)는 가산기를 포함할 수 있다. 즉, 데이터 복원부(234)는 업 스케일링된 2D 컨텐츠 데이터에 복원 데이터를 가산하여 원본 2D 컨텐츠 데이터를 복원할 수 있다.
한편, 추가적인 실시 예로서 제1 인코더(112)가 MPEG-2 코덱과 같이 In-loop de-blocking filter가 적용되지 않는 코덱을 사용하는 경우 송신 장치(100) 및 수신 장치(200)는 업 스케일링된 데이터에 Block Artifact Filtering을 위한 디블록킹 필터(De-blocking filter)(미도시)를 더 포함할 수 있다. 즉, 송신 장치(100)의 업 스케일러(114)에서 출력되는 데이터는 디블록킹 필터(미도시)에서 Block Artifact Filtering 된 후 복원 데이터 생성부(115)로 입력되며, 수신 장치(200)의 업 스케일러(232)에서 출력되는 데이터는 디블록킹 필터(미도시)에서 Block Artifact Filtering 된 후 데이터 복원부(234)로 입력될 수 있다. 이에 따라, MPEG-2의 블록 노이즈로 인한 오차를 줄일 수 있으며 복원 데이터의 데이터 사이즈를 감소시킬 수 있다.
또한, 멀티미디어 데이터가 다운 스케일링 없이도 기존 전송 채널의 대역폭만으로 전송이 가능한 데이터 사이즈를 가지는 경우에는 송신 장치(100) 및 수신 장치(200)에서 다운 스케일러(111) 및 업 스케일러(114, 232) 구성을 생략할 수 있다.
<3D 컨텐츠의 좌안 영상 및 우안 영상 중 어느 하나 및 복원 데이터를 전송하는 실시예>
도 3 및 도 4를 참조하여 3D 컨텐츠 및 복원 데이터를 송수신하는 실시예에 대해 구체적으로 설명한다. 3D 컨텐츠 및 복원 데이터를 송수신하는 실시예는 2D 컨텐츠 및 복원 데이터를 송수신하는 실시예와 그 구성이 동일하나 송수신하는 데이터에만 차이가 있으므로 중복되는 설명은 생략한다.
도 3은 본 발명의 일 실시 예에 따른 송신 장치의 구성을 나타내는 블럭도이다. 도 3을 참조하면 송신 장치(100)는 다운 스케일러(111), 제1 인코더(112), 디코더(113), 업스케일러(114), 복원 데이터 생성부(115), 제2 인코더(116), 제1 전송부(120) 및 제2 전송부(130)를 포함한다.
다운 스케일러(111)는 3D 컨텐츠 데이터를 구성하는 좌안 영상 및 우안 영상 데이터 중 하나가 입력되면 입력된 데이터를 다운 스케일링한다.
제1 인코더(112)는 다운 스케일링된 좌안 영상 또는 우안 영상 데이터를 인코딩한다. 구체적으로, 제1 인코더(112)는 다운 스케일링된 2D 컨텐츠 데이터에 대해 기존 수신 장치와의 호환성을 위해 MPEG-2 인코딩을 수행할 수 있다.
제1 전송부(120)는 제1 인코더에 의해 인코딩된 좌안 영상 또는 우안 영상 데이터를 수신 장치(200)로 전송한다.
디코더(113)는 제1 인코더에 의해 인코딩된 좌안 영상 또는 우안 영상 데이터를 디코딩한다.
업 스케일러(114)는 디코딩된 좌안 영상 또는 우안 영상 데이터에 대해 업 스케일링을 수행하여 원래의 데이터 사이즈로 되돌릴 수 있다.
복원 데이터 생성부(115)는 업 스케일러(114)에 의해 업 스케일링된 좌안 영상 또는 우안 영상 데이터 및 3D 컨텐츠 데이터를 구성하는 좌안 영상 및 우안 영상 중 다른 하나를 입력받아 복원 데이터를 생성한다.
구체적으로, 복원 데이터 생성부(115)는 업 스케일링된 좌안 영상 또는 우안 영상 데이터 및 3D 컨텐츠 데이터를 구성하는 좌안 영상 및 우안 영상 중 다른 하나의 데이터를 비교하여 그 비교 결과를 복원 데이터로 생성할 수 있다. 이를 위해, 복원 데이터 생성부(115)는 감산기를 포함할 수 있다. 즉, 3D 컨텐츠 데이터를 구성하는 원본 좌안 영상 및 우안 영상 데이터 중 어느 하나에 업 스케일러(114)로부터 입력된 좌안 영상 및 우안 영상 중 다른 하나를 감산하여 복원 데이터를 생성할 수 있다.
한편, 상술한 실시 예에서 복원 데이터 생성부(115)는 복원 데이터를 생성하기 위하여 업 스케일링된 좌안 영상 또는 우안 영상을 이용하는 것으로 설명하였으나, 복원 데이터 생성부(115)는 원본 좌안 영상 및 우안 영상을 이용하여 복원 데이터를 생성할 수도 있다. 이 경우 데이터 처리부(110)의 디코더(113) 및 업 스케일러(114)는 생략할 수 있다.
제2 인코더(116)는 복원 데이터 생성부(115)에서 생성된 복원 데이터를 인코딩한다.
제2 전송부(130)는 제2 인코더(115)에 의해 인코딩된 복원 데이터를 수신 장치(200)로 전송한다.
도 4는 본 발명의 일 실시 예에 따른 수신 장치의 구성을 나타내는 블럭도이다. 도 4에 따르면 수신 장치(200)는 제1 수신부(210), 제2 수신부(220), 제1 디코더(231), 업스케일러(232), 제2 디코더(233) 및 데이터 복원부(234)를 포함한다.
제1 수신부(210)는 제1 전송망을 통해 3D 컨텐츠를 구성하는 좌안 영상 및 우안 영상 데이터 중 어느 하나를 수신한다.
제1 디코더(231)는 제1 수신부(210)에서 수신된 데이터를 디코딩한다. 구체적으로, 제1 디코더(231)는 압축 영상 포맷에 따라 송신 장치(100)의 제1 인코더(112)의 역과정을 수행하여 좌안 영상 또는 우안 영상 데이터를 디코딩할 수 있다.
업 스케일러(232)는 디코딩된 좌안 영상 또는 우안 영상 데이터를 업 스케일링하여 송신 장치(100)에서 다운 스케일링된 좌안 영상 또는 우안 영상 데이터를 원래의 데이터 사이즈로 되돌릴 수 있다.
제2 수신부(220)는 제2 전송망을 통해 복원 데이터를 수신한다. 제2 전송망이 IP 망인 경우 제2 수신부는 복원 데이터를 IP 스트림 형태로 수신할 수 있다.
제2 디코더(233)는 제2 수신부에서 수신된 복원 데이터를 디코딩한다. 구체적으로, 제2 디코더(233)는 압축 영상 포맷에 따라 송신 장치(100)의 제2 인코더(116)의 역과정을 수행하여 복원 데이터를 디코딩할 수 있다.
데이터 복원부(234)는 3D 컨텐츠의 좌안 영상 및 우안 영상 데이터 중 하나의 데이터를 복원한다. 구체적으로, 데이터 복원부(234)는 업 스케일러(232)에 의해 업스케일링된 좌안 영상 또는 우안 영상 데이터에 제2 디코더(233)에 의해 디코딩된 복원 데이터를 적용하여 좌안 영상 및 우안 영상 데이터 중 다른 하나를 복원할 수 있다. 이를 위해, 데이터 복원부(234)는 가산기를 포함할 수 있다. 즉, 데이터 복원부(234)는 업 스케일링된 좌안 영상 또는 우안 영상 데이터에 복원 데이터를 가산하여 좌안 영상 및 우안 영상 데이터 중 다른 하나를 복원할 수 있다.
여기서, 업 스케일러(232) 및 데이터 복원부(234)에서 출력되는 3D 컨텐츠의 좌안 영상 및 우안 영상은 출력부(미도시)를 통해 출력될 수 있다.
한편, 추가적인 실시 예로서 제1 인코더(112)가 MPEG-2 코덱과 같이 In-loop de-blocking filter가 적용되지 않는 코덱을 사용하는 경우 송신 장치(100) 및 수신 장치(200)는 업 스케일링된 데이터에 Block Artifact Filtering을 위한 디블록킹 필터(De-blocking filter)(미도시)를 더 포함할 수 있다. 즉, 송신 장치(100)의 업 스케일러(114)에서 출력되는 데이터는 디블록킹 필터(미도시)에서 Block Artifact Filtering 된 후 복원 데이터 생성부(115)로 입력되며, 수신 장치(200)의 업 스케일러(232)에서 출력되는 데이터는 디블록킹 필터(미도시)에서 Block Artifact Filtering 된 후 데이터 복원부(234)로 입력될 수 있다. 이에 따라, MPEG-2의 블록 노이즈로 인한 오차를 줄일 수 있으며 복원 데이터의 데이터 사이즈를 감소시킬 수 있다.
또한, 멀티미디어 데이터가 다운 스케일링 없이도 기존 전송 채널의 대역폭만으로 전송이 가능한 데이터 사이즈를 가지는 경우에는 송신 장치(100) 및 수신 장치(200)에서 다운 스케일러(111) 및 업 스케일러(114, 232) 구성을 생략할 수 있다.
<3D 컨텐츠의 좌안 영상 및 우안 영상 데이터를 전송하는 실시예>
도 5 및 도 6을 참조하여 3D 컨텐츠의 좌안 영상 및 우안 영상 데이터를 송수신하는 실시예에 대해 구체적으로 설명한다.
도 5는 본 발명의 다른 실시 예에 따른 송신 장치의 구성을 나타내는 블럭도이다. 도 5에 따르면 송신 장치(100)는 다운 스케일러(111), 제1 인코더(112), 제2 인코더(116), 제1 전송부(120) 및 제2 전송부(130)를 포함한다.
다운 스케일러(111)는 3D 컨텐츠의 좌안 영상 및 우안 영상 데이터 중 하나가 입력되면 입력된 데이터를 다운 스케일링한다. UHD 화질과 같은 대용량 컨텐츠 데이터는 원본 데이터를 하나의 전송 채널을 통해 전송할 수 없는 경우가 있으며, 이러한 경우 다운 스케일링을 통해 데이터 사이즈를 줄일 수 있다.
제1 인코더(112)는 다운 스케일링된 좌안 영상 또는 우안 영상 데이터를 인코딩한다. 구체적으로, 제1 인코더(112)는 다운 스케일링된 2D 컨텐츠 데이터에 대해 기존 수신 장치와의 호환성을 위해 MPEG-2 인코딩을 수행할 수 있다. 다만, 제1 인코더(112)에서 인코딩할 수 있는 영상 포맷은 이에 한정되지 않으며 H.264, HEVC 등 현재 이용가능한 영상 포맷 및 추후 개발되어 본 발명에 적용될 수 있는 다양한 영상 포맷에 따라 인코딩을 수행할 수 있다.
제1 전송부(120)는 제1 인코더에 의해 인코딩된 좌안 영상 또는 우안 영상 데이터를 수신 장치(200)로 전송한다. 제1 전송부(120)는 인코딩된 좌안 영상 또는 우안 영상 데이터를 전송망에 적합하도록 추가적인 처리를 수행하여 수신 장치(200)로 전송할 수 있다. 예를 들어, 제1 전송망이 RF 망인 경우 제1 전송부(120)는 변조기(미도시) 및 업컨버터(미도시) 등을 포함할 수 있으며 RF 신호를 전송하기 위해 변조 업컨버팅 등을 수행할 수 있다.
제2 인코더(116)는 3D 컨텐츠의 좌안 영상 및 우안 영상 데이터 중 다른 하나를 입력받아 인코딩한다. 구체적으로, 제2 인코더는 3D 컨텐츠의 좌안 영상 및 우안 영상 데이터 중 다른 하나를 HEVC 인코딩을 수행할 수 있다. 다만, 제2 인코더(116)에서 인코딩할 수 있는 영상 포맷은 이에 한정되지 않으며 MPEG-2, H.264 등 현재 이용가능한 영상 포맷 및 추후 개발되어 본 발명에 적용될 수 있는 다양한 영상 포맷에 따라 인코딩을 수행할 수 있다.
제2 전송부(130)는 제2 인코더(119)에 의해 인코딩된 3D 컨텐츠의 좌안 영상 및 우안 영상 데이터 중 다른 하나를 수신 장치(200)로 전송한다. 예를 들어, 제2 전송망이 IP 망인 경우 제2 전송부(130)는 인터넷 네트워크를 통해 인코딩된 데이터를 수신 장치(200)로 전송할 수 있다.
도 6은 본 발명의 다른 실시 예에 따른 수신 장치의 구성을 나타내는 블럭도이다. 도 6의 수신 장치는 도 4의 수신 장치와 데이터 복원부(234) 유무에만 차이가 있으므로 중복되는 설명은 생략한다. 도 6에 따르면 수신 장치(200)는 제1 수신부(210), 제2 수신부(220) 제1 디코더(231), 업 스케일러(232) 및 제2 디코더(233)를 포함한다.
제1 수신부(210)는 제1 전송망을 통해 3D 컨텐츠를 구성하는 좌안 영상 및 우안 영상 데이터 중 어느 하나를 수신한다.
제1 디코더(231)는 제1 수신부(210)에서 수신된 데이터를 디코딩한다. 구체적으로, 제1 디코더(231)는 압축 영상 포맷에 따라 송신 장치(100)의 제1 인코더(112)의 역과정을 수행하여 좌안 영상 또는 우안 영상 데이터를 디코딩할 수 있다.
업 스케일러(232)는 디코딩된 2D 컨텐츠 데이터를 업 스케일링하여 송신 장치(100)에서 다운 스케일링된 좌안 영상 또는 우안 영상 데이터를 원래의 데이터 사이즈로 되돌릴 수 있다.
제2 수신부(220)는 제2 전송망을 통해 3D 컨텐츠의 좌안 영상 및 우안 영상 데이터 중 다른 하나를 수신한다. 제2 전송망이 IP 망인 경우 제2 수신부는 좌안 영상 및 우안 영상 데이터 중 다른 하나를 IP 스트림 형태로 수신할 수 있다.
제2 디코더(233)는 제2 수신부에서 수신된 좌안 영상 및 우안 영상 데이터 중 다른 하나를 디코딩한다. 구체적으로, 제2 디코더(233)는 압축 영상 포맷에 따라 송신 장치(100)의 제2 인코더(116)의 역과정을 수행하여 디코딩할 수 있다.
여기서, 업 스케일러(232) 및 제2 디코더(233)에서 출력되는 3D 컨텐츠의 좌안 영상 및 우안 영상 데이터는 출력부(미도시)를 통해 출력될 수 있다.
한편, 멀티미디어 데이터가 다운 스케일링 없이도 기존 전송 채널의 대역폭만으로 전송이 가능한 데이터 사이즈를 가지는 경우에는 송신 장치(100) 및 수신 장치(200)에서 다운 스케일러(111) 및 업 스케일러(232) 구성을 생략할 수 있다.
<제1 전송망으로 제1 데이터 및 제2 데이터를 전송하고 제2 전송망으로 제2 데이터를 전송하는 실시예>
도 7 및 도 9를 참조하여 제1 전송망으로 하나의 컨텐츠를 구성하는 제1 데이터 및 제2 데이터를 함께 전송하고, 제2 전송망으로 제2 데이터를 전송하는 실시예에 대해 구체적으로 설명한다. 여기서, 제1 데이터 및 제2 데이터는 3D 컨텐츠의 좌안 영상 및 우안 영상, 멀티 앵글 컨텐츠를 구성하는 복수의 영상, 2D 데이터 및 Depth 영상 데이터 등이 될 수 있다.
도 7은 본 발명의 또 다른 실시 예에 따른 송신 장치의 구성을 나타내는 블럭도이다. 도 7에 따르면 송신 장치(100)는 제1 인코더(112), 제2 인코더(116), 멀티플렉서(117), 제1 전송부(120) 및 제2 전송부(130)를 포함한다.
제1 인코더(112)는 하나의 컨텐츠를 구성하는 복수의 멀티미디어 데이터 중 제1 데이터를 인코딩한다. 구체적으로, 제1 인코더(112)는 제1 데이터에 대해 기존 수신 장치와의 호환성을 위해 MPEG-2 인코딩을 수행할 수 있다. 다만, 제1 인코더(112)에서 인코딩할 수 있는 영상 포맷은 이에 한정되지 않으며 H.264, HEVC 등 현재 이용가능한 영상 포맷 및 추후 개발되어 본 발명에 적용될 수 있는 다양한 영상 포맷에 따라 인코딩을 수행할 수 있다.
제2 인코더(116)는 하나의 컨텐츠를 구성하는 복수의 멀티미디어 데이터 중 제2 데이터를 인코딩한다. 구체적으로, 제2 인코더(116)는 제2 데이터에 대해 HEVC 인코딩을 수행할 수 있다. 다만, 제2 인코더(116)에서 인코딩할 수 있는 영상 포맷은 이에 한정되지 않으며 스케일러블 속성을 가지는 H.264 등 현재 이용가능한 영상 포맷 및 추후 개발되어 본 발명에 적용될 수 있는 다양한 영상 포맷에 따라 인코딩을 수행할 수 있다.
멀티플렉서(117)는 제1 인코더(112)에서 인코딩된 제1 데이터 및 제2 인코더(116)에서 인코딩된 제2 데이터를 멀티플렉싱하여 하나의 데이터를 구성한다.
제1 전송부(120)는 멀티플렉서(117)에 의해 멀티플렉싱된 데이터를 수신 장치(200)로 전송한다. 제1 전송부(120)는 멀티플렉싱된 데이터를 전송망에 적합하도록 추가적인 처리를 수행하여 수신 장치(200)로 전송할 수 있다. 예를 들어, 제1 전송망이 RF 망인 경우 제1 전송부(120)는 변조기(미도시) 및 업컨버터(미도시) 등을 포함할 수 있으며 RF 신호를 전송하기 위해 변조 업컨버팅 등을 수행할 수 있다.
제2 전송부(130)는 제2 인코더(116)에 의해 인코딩된 제2 데이터를 수신 장치(200)로 전송한다. 예를 들어, 제2 전송망이 IP 망인 경우 제2 전송부(130)는 인터넷 네트워크를 통해 인코딩된 데이터를 수신 장치(200)로 전송할 수 있다.
이에 따라, 기존의 수신 장치가 제2 전송망을 통한 데이터 수신이 지원되지 않는 경우 또는 제2 전송망을 통한 데이터 수신이 원할하지 않은 경우에도, 수신 장치는 제1 전송망을 통해 전송되는 제1 데이터 및 제2 데이터를 수신하여 복수의 데이터를 포함하는 컨텐츠를 사용자에게 제공할 수 있다.
도 8은 제1 전송망 및 제2 전송망을 통해 전송되는 데이터를 설명하기 위한 도면이다.
제1 전송망이 RF 망이고 제2 전송망이 IP 망인 경우를 예로 들면, 기존 RF 방송 채널은 19.83 Mbps의 전송 속도로 데이터를 전송할 수 있다. 예를 들어, 제1 데이터가 MPEG-2 포맷으로, 제2 데이터가 H.264 포맷으로 압축된 경우 H.264는 MPEG-2 포맷에 비해 2배의 압축 효율을 가지며, 이에 따라 멀티플렉싱된 데이터는 약 12 Mbps의 속도로 제1 데이터를 전송하고, 약 6 Mbps의 속도로 제2 데이터를 전송할 수 있을 것이다. 제2 데이터가 H.264 포맷으로 인코딩된 경우 6 Mbps의 속도로 제2 전송망을 통해 전송될 수 있다.
도 9는 본 발명의 또 다른 실시 예에 따른 수신 장치의 구성을 나타내는 블럭도이다. 도 9에 따르면 수신 장치(200)는 제1 수신부(210), 제2 수신부(220), 디멀티플렉서(235), 제1 디코더(231) 및 제2 디코더(233)를 포함한다.
제1 수신부(210)는 제1 전송망을 통해 제1 데이터 및 제2 데이터가 멀티플렉싱된 데이터를 수신한다.
제2 수신부(220)는 제2 전송망을 통해 제2 데이터를 수신한다. 제2 전송망이 IP 망인 경우 제2 데이터를 IP 스트림 형태로 수신할 수 있다.
디멀티플렉서(235)는 제1 수신부(210)에서 수신된 데이터를 디멀티플렉싱하여 제1 데이터 및 제2 데이터로 분리하여, 제1 데이터를 제1 디코더(231)로, 제2 데이터를 제2 디코더(232)로 출력한다.
제1 디코더(231)는 멀티플렉서(235)에서 입력되는 제1 데이터를 디코딩한다. 구체적으로, 제1 디코더(231)는 압축 영상 포맷에 따라 송신 장치(100)의 제1 인코더(112)의 역과정을 수행하여 제1 데이터를 디코딩할 수 있다.
제2 디코더(233)는 멀티플렉서(235)에서 입력되는 제2 데이터를 디코딩한다. 구체적으로, 제2 디코더(233)는 압축 영상 포맷에 따라 송신 장치(100)의 제2 인코더(116)의 역과정을 수행하여 디코딩할 수 있다.
한편, 상술한 실시 예에서는 제1 전송망을 통해 전송되는 제2 데이터와 제2 전송망을 통해 전송되는 제2 데이터를 동일한 데이터로 설명하였다. 그러나, 제1 전송망을 통해 전송할 수 있는 데이터 사이즈는 한정적이며(예를 들어, 제1 전송망이 RF 망인 경우 최대 19.38 Mbps의 전송 속도로 전송할 수 있다.) 제1 전송망을 통해 전송되는 제2 데이터의 양이 많아질수록 제1 전송망을 통해 전송할 수 있는 제1 데이터의 양이 적어지게 된다.
이에 따라, 제1 전송망을 통해 전송되는 제2 데이터는 제2 전송망을 통해 전송되는 제2 데이터에 비해 상대적으로 적은 양의 데이터를 전송할 수 있다. 예를 들어, 제1 전송망은 제1 데이터를 약 16 Mbps의 전송 속도로, 제2 데이터를 2 Mbps의 전송 속도로 전송할 수 있다.
이를 위해, 제2 인코더(116)는 제2 데이터를 입력받아 제1 전송망으로 전송하기 위한 상대적으로 저화질의 데이터(이하, 베이스 데이터라고 한다.) 및 제2 전송망으로 전송하기 위한 상대적으로 고 화질의 데이터(이하, 인헨스먼트 데이터)를 생성하여 인코딩한 후 멀티플렉서(117) 및 제2 전송부(130)로 각각 출력할 수 있다.
또는, 제2 인코더(116)는 베이스 데이터와 추가적인 정보를 포함하는 데이터를 생성하여 인코딩하여 출력할 수 있으며, 멀티플렉서(117)는 제1 데이터와 베이스 데이터만을 선택적으로 멀티플렉싱하고, 제2 전송부(130)는 베이스 데이터 및 추가적인 정보를 포함하는 데이터를 함께 전송하는 방법도 가능하다.
한편, 제1 전송망을 통해 전송되는 제2 데이터의 양을 줄이기 위한 방법으로 제2 데이터를 구성하는 복수의 영상 프레임 중 일부 영상 프레임만을 전송하는 방법(예를 들어, 30 fps의 프레임 레이트를 가지는 컨텐츠를 15 fps의 프레임 레이트로 전송), 영상 프레임의 해상도를 줄이는 방법(예를 들어, HD 화질을 SD 화질로,또는 SD 화질을 CIF 화질로 변환), 영상 프레임의 비트레이트를 감소시키는 방법(예를 들어, 2 Mbps를 512 kbps로 변환) 등이 있다.
상술한 실시 예들에 따른 수신 장치(200)는 데이터 처리부(230)에 의해 신호 처리된 멀티미디어 데이터를 출력하는 출력부(미도시)를 더 포함할 수 있다. 출력부(미도시)는 영상 데이터를 출력하는 영상 출력부(미도시) 및 오디오 데이터를 출력하는 오디오 출력부(미도시)를 포함할 수 있다. 상술한 실시 예에서 데이터 처리부(230)의 영상 처리부를 위주로 설명하였으나, 데이터 처리부(230)는 수신된 멀티미디어 데이터에 포함된 오디오 데이터 및 부가 데이터를 처리하는 오디오 처리부(미도시) 및 부가 데이터 처리부(미도시)를 포함할 수 있다. 오디오 처리부(미도시)는 오디오 데이터를 처리하여 오디오 출력부를 통해 출력할 수 있으며, 부가 데이터 처리부(미도시)는 자막 등과 같은 부가 데이터를 처리하여 영상 데이터와 렌더링하여 화면을 구성한 후, 구성된 화면을 디스플레이부를 통해 출력할 수 있다.
도 10은 본 발명의 다른 실시 예에 따른 멀티미디어 데이터 송수신 시스템을 나타내는 도면이다. 송수신 시스템(20)은 도 1 및 도 2의 송수신 시스템(10)과 동작이 동일하나, 도 1 및 도 2의 송수신 시스템(10)의 송신 장치(100)가 복수의 장치를 포함하는 송신 시스템으로 구현된다는 점에서 차이가 있다. 도 10에 따르면 송수신 시스템(20)은 컨텐츠 처리 장치(300), 제1 송신 장치(400), 제2 송신 장치(500) 및 수신 장치(200)를 포함한다.
컨텐츠 처리 장치(300)는 송신 장치(100)의 데이터 처리부(110)에, 제1 송신 장치(400)는 송신 장치(100)의 제1 전송부(120)에, 제2 송신 장치(500)는 송신 장치(100)의 제2 전송부(130)에 대응하는 구성이며, 구체적인 설명은 생략하기로 한다.
도 11은 본 발명의 일 실시 예에 따른 송신 방법을 설명하기 위한 흐름도이다. 도 11에 따르면 멀티미디어 데이터를 다운 스케일링한다(S1110). 여기서, 멀티미디어 데이터는 2D 컨텐츠 데이터, 3D 컨텐츠의 좌안 영상 및 우안 영상 데이터 중 하나일 수 있다. 그리고, 다운 스케일링된 멀티미디어 데이터를 인코딩한다(S1120). 구체적으로, 다운 스케일링된 멀티미디어 데이터에 대해 기존 수신 장치와의 호환성을 위해 MPEG-2 인코딩을 수행할 수 있다. 이후, 인코딩된 멀티미디어 데이터를 제1 전송망을 통해 전송한다(S1130). 여기서, 제1 전송망은 RF 망일 수 있다.
또한, 인코딩된 멀티미디어 데이터를 디코딩한 후(S1140), 디코딩된 멀티미디어 데이터를 업 스케일링한다(S1150). 그리고, 업 스케일링된 멀티미디어 데이터를 이용하여 복원 데이터를 생성한다(S1160). 여기서, 멀티미디어 데이터가 2D 컨텐츠 데이터인 경우 2D 컨텐츠 데이터 및 업 스케일링된 2D 컨텐츠 데이터를 비교하여 그 비교 결과를 복원 데이터로 생성할 수 있다. 멀티미디어 데이터가 3D 컨텐츠에 포함된 좌안 영상 및 우안 영상 데이터 중 하나인 경우에는 좌안 영상 데이터 및 우안 영상 데이터 중 다른 하나의 업 스케일링된 멀티미디어 데이터를 비교하여, 그 비교 결과를 복원 데이터로 생성할 수 있다.
그리고, 복원 데이터를 인코딩한 후(S1170), 제2 전송망을 통해 전송한다(S1180). 제2 전송망은 IP(인터넷) 망일 수 있다.
도 12는 본 발명의 일 실시 예에 따른 수신 방법을 설명하기 위한 흐름도이다. 도 12에 따르면 제1 전송망을 통해 멀티미디어 데이터를 수신한다(S1210). 제1 전송망은 RF 망일 수 있다. 그리고, 수신된 멀티미디어 데이터를 디코딩한다(S1220). 여기서, 멀티미디어 데이터는 2D 컨텐츠 데이터, 3D 컨텐츠의 좌안 영상 및 우안 영상 데이터 중 하나일 수 있다. 이후 디코딩된 멀티미디어 데이터를 업 스케일링한다(S1230).
그리고, 제2 전송망을 통해 복원 데이터를 수신한다(S1250). 제2 전송망은 IP 망일 수 있다. 여기서, 복원 데이터는 2D 컨텐츠 데이터에 대해 다운 스케일링, 인코딩, 디코딩, 업 스케일링을 순차적으로 수행한 후 결과 데이터를 2D 컨텐츠 데이터로부터 감산하여 추출한 데이터일 수 있다. 또는, 복원 데이터는 3D 컨텐츠의 좌안 영상 데이터 및 우안 영상 데이터 중 하나에 대해 다운 스케일링, 인코딩, 디코딩, 업스케일링을 순차적으로 수행한 후, 결과 데이터를 상기 좌안 영상 데이터 및 우안 영상 데이터 중 다른 하나로부터 감산하여 추출한 데이터일 수 있다.
이후, 수신된 복원 데이터를 디코딩하고(S1250), 업 스케일링된 멀티미디어 데이터에 복원 데이터를 적용하여 컨텐츠를 복원한다(S1260). 여기서, 멀티미디어 데이터가 2D 컨텐츠 데이터인 경우 업 스케일링된 2D 컨텐츠 데이터에 복원 데이터를 가산하여 2D 컨텐츠 데이터를 복원할 수 있다. 멀티미디어 데이터가 3D 컨텐츠에 포함된 좌안 영상 및 우안 영상 데이터 중 하나인 경우, 업 스케일링된 3D 컨텐츠의 좌안 영상 데이터 및 우안 영상 데이터 중 하나에 복원 데이터를 가산하여 좌안 영상 데이터 및 우안 영상 데이터 중 다른 하나를 복원할 수 있다.
상술한 본 발명의 다양한 실시 예들에 따른 방법을 수행하기 위한 프로그램은 다양한 유형의 기록 매체에 저장되어 사용될 수 있다.
구체적으로는, 상술한 방법들을 수행하기 위한 코드는, 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 다양한 유형의 비휘발성 기록 매체에 저장되어 있을 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 멀티미디어 데이터를 다운 스케일링하는 다운 스케일러;
    상기 다운 스케일링된 멀티미디어 데이터를 인코딩하는 제1 인코더;
    상기 인코딩된 멀티미디어 데이터를 제1 전송 망을 통해 전송하는 제1 전송부;
    상기 인코딩된 멀티미디어 데이터를 디코딩하는 디코더;
    상기 디코딩된 멀티미디어 데이터를 업스케일링하는 업 스케일러;
    상기 업스케일링된 멀티미디어 데이터를 이용하여 복원 데이터를 생성하는 복원 데이터 생성부;
    상기 복원 데이터를 인코딩하는 제2 인코더; 및
    상기 인코딩된 복원 데이터를 제2 전송 망을 통해 전송하는 제2 전송부;를 포함하는 송신 장치.
  2. 제1항에 있어서,
    상기 멀티미디어 데이터는 2D 컨텐츠 데이터이며,
    상기 복원 데이터 생성부는,
    상기 2D 컨텐츠 데이터 및 상기 업스케일링된 2D 컨텐츠 데이터를 비교하여 그 비교 결과를 상기 복원 데이터로서 생성하는 것을 특징으로 하는 송신 장치.
  3. 제1항에 있어서,
    상기 멀티미디어 데이터는 3D 컨텐츠에 포함된 좌안 영상 데이터 및 우안 영상 데이터 중 하나이며,
    상기 복원 데이터 생성부는,
    상기 좌안 영상 데이터 및 상기 우안 영상 데이터 중 다른 하나와 상기 업스케일링된 멀티미디어 데이터를 비교하여, 그 비교 결과를 상기 복원 데이터로서 생성하는 것을 특징으로 하는 송신 장치.
  4. 제1항에 있어서,
    상기 제1 전송 망은 RF 망이며,
    상기 제2 전송 망은 IP(인터넷) 망인 것을 특징으로 하는 송신 장치.
  5. 제1 전송 망을 통해 전송되는 멀티미디어 데이터를 수신하는 제1 수신부;
    상기 수신된 멀티미디어 데이터를 디코딩하는 제1 디코더;
    상기 디코딩된 멀티미디어 데이터를 업스케일링하는 업스케일러;
    제2 전송 망을 통해 전송되는 복원 데이터를 수신하는 제2 수신부;
    상기 복원 데이터를 디코딩하는 제2 디코더; 및
    상기 업스케일링된 멀티미디어 데이터에 상기 복원 데이터를 적용하여, 컨텐츠를 복원하는 데이터 복원부;를 포함하는 수신 장치.
  6. 제5항에 있어서,
    상기 멀티미디어 데이터는 2D 컨텐츠 데이터이며,
    상기 복원 데이터는 상기 2D 컨텐츠 데이터에 대해 다운 스케일링, 인코딩, 디코딩, 업스케일링을 순차적으로 수행한 후, 결과 데이터를 상기 2D 컨텐츠 데이터로부터 감산하여 추출한 데이터이며,
    상기 데이터 복원부는,
    상기 업스케일링된 2D 컨텐츠 데이터에 상기 복원 데이터를 가산하여 원본 2D 컨텐츠 데이터를 복원하는 것을 특징으로 하는 수신 장치.
  7. 제5항에 있어서,
    상기 멀티미디어 데이터는 3D 컨텐츠에 포함된 좌안 영상 데이터 및 우안 영상 데이터 중 하나이며,
    상기 복원 데이터는 상기 3D 컨텐츠의 좌안 영상 데이터 및 우안 영상 데이터 중 하나에 대해 다운 스케일링, 인코딩, 디코딩, 업스케일링을 순차적으로 수행한 후, 결과 데이터를 상기 좌안 영상 데이터 및 우안 영상 데이터 중 다른 하나로부터 감산하여 추출한 데이터이며,
    상기 데이터 복원부는,
    상기 업스케일링된 3D 컨텐츠의 좌안 영상 데이터 및 우안 영상 데이터 중 하나에 상기 복원 데이터를 가산하여 상기 좌안 영상 데이터 및 우안 영상 데이터 중 다른 하나를 복원하는 것을 특징으로 하는 수신 장치.
  8. 제1항에 있어서,
    상기 제1 전송 망은 RF 망이며,
    상기 제2 전송 망은 IP(인터넷) 망인 것을 특징으로 하는 수신 장치.
  9. 송신 장치의 송신 방법에 있어서,
    멀티미디어 데이터를 다운 스케일링하는 단계;
    상기 다운 스케일링된 멀티미디어 데이터를 인코딩하는 단계;
    상기 인코딩된 멀티미디어 데이터를 제1 전송 망을 통해 전송하는 단계;
    상기 인코딩된 멀티미디어 데이터를 디코딩하는 단계;
    상기 디코딩된 멀티미디어 데이터를 업스케일링하는 단계;
    상기 업스케일링된 멀티미디어 데이터를 이용하여 복원 데이터를 생성하는 단계;
    상기 복원 데이터를 인코딩하는 단계; 및
    상기 인코딩된 복원 데이터를 제2 전송 망을 통해 전송하는 단계;를 포함하는 송신 방법.
  10. 제9항에 있어서,
    상기 멀티미디어 데이터는 2D 컨텐츠 데이터이며,
    상기 복원 데이터를 생성하는 단계는,
    상기 2D 컨텐츠 데이터 및 상기 업스케일링된 2D 컨텐츠 데이터를 비교하여 그 비교 결과를 상기 복원 데이터로서 생성하는 것을 특징으로 하는 송신 방법.
  11. 제9항에 있어서,
    상기 멀티미디어 데이터는 3D 컨텐츠에 포함된 좌안 영상 데이터 및 우안 영상 데이터 중 하나이며,
    상기 복원 데이터를 생성하는 단계는,
    상기 좌안 영상 데이터 및 상기 우안 영상 데이터 중 다른 하나와 상기 업스케일링된 멀티미디어 데이터를 비교하여, 그 비교 결과를 상기 복원 데이터로서 생성하는 것을 특징으로 하는 송신 방법.
  12. 수신 장치의 수신 방법에 있어서,
    제1 전송 망을 통해 전송되는 멀티미디어 데이터를 수신하는 단계;
    상기 수신된 멀티미디어 데이터를 디코딩하는 단계;
    상기 디코딩된 멀티미디어 데이터를 업스케일링하는 단계;
    제2 전송 망을 통해 전송되는 복원 데이터를 수신하는 단계;
    상기 복원 데이터를 디코딩하는 단계; 및
    상기 업스케일링된 멀티미디어 데이터에 상기 복원 데이터를 적용하여, 컨텐츠를 복원하는 단계;를 포함하는 수신 방법.
  13. 제12항에 있어서,
    상기 멀티미디어 데이터는 2D 컨텐츠 데이터이며,
    상기 복원 데이터는 상기 2D 컨텐츠 데이터에 대해 다운 스케일링, 인코딩, 디코딩, 업스케일링을 순차적으로 수행한 후, 결과 데이터를 상기 2D 컨텐츠 데이터로부터 감산하여 추출한 데이터이며,
    상기 컨텐츠를 복원하는 단계는,
    상기 업스케일링된 2D 컨텐츠 데이터에 상기 복원 데이터를 가산하여 상기 2D 컨텐츠 데이터를 복원하는 것을 특징으로 하는 수신 방법.
  14. 제12항에 있어서,
    상기 멀티미디어 데이터는 3D 컨텐츠에 포함된 좌안 영상 데이터 및 우안 영상 데이터 중 하나이며,
    상기 복원 데이터는 상기 3D 컨텐츠의 좌안 영상 데이터 및 우안 영상 데이터 중 하나에 대해 다운 스케일링, 인코딩, 디코딩, 업스케일링을 순차적으로 수행한 후, 결과 데이터를 상기 좌안 영상 데이터 및 우안 영상 데이터 중 다른 하나로부터 감산하여 추출한 데이터이며,
    상기 컨텐츠를 복원하는 단계는,
    상기 업스케일링된 3D 컨텐츠의 좌안 영상 데이터 및 우안 영상 데이터 중 하나에 상기 복원 데이터를 가산하여 상기 좌안 영상 데이터 및 우안 영상 데이터 중 다른 하나를 복원하는 것을 특징으로 하는 수신 방법.
  15. 멀티미디어 데이터를 다운 스케일링하는 다운 스케일러;
    상기 다운 스케일링된 멀티미디어 데이터를 인코딩하는 제1 인코더;
    상기 인코딩된 멀티미디어 데이터를 디코딩하는 디코더;
    상기 디코딩된 멀티미디어 데이터를 업스케일링하는 업 스케일러;
    상기 업스케일링된 멀티미디어 데이터를 이용하여 복원 데이터를 생성하는 복원 데이터 생성부; 및
    상기 복원 데이터를 인코딩하는 제2 인코더;를 포함하는 컨텐츠 처리 장치.
PCT/KR2012/005859 2011-07-22 2012-07-23 송신 장치, 수신 장치 및 그 송수신 방법 WO2013015585A1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
MX2014000852A MX2014000852A (es) 2011-07-22 2012-07-23 Aparato transmisor, aparato receptor, y metodo transceptor para los mismos.
JP2014521571A JP6095659B2 (ja) 2011-07-22 2012-07-23 送信装置、受信装置およびその送受信方法
US14/234,289 US20140226710A1 (en) 2011-07-22 2012-07-23 Transmitting apparatus, receiving apparatus, and transceiving method therefor
EP12817699.7A EP2736251A4 (en) 2011-07-22 2012-07-23 TRANSMITTING APPARATUS, RECEIVING APPARATUS, AND TRANSMITTING-RECEIVING METHOD THEREOF
BR112014001549A BR112014001549A2 (pt) 2011-07-22 2012-07-23 aparelho de transmissão, aparelho de recepção e método de transmissão associado
CN201280036418.7A CN103703765B (zh) 2011-07-22 2012-07-23 发送装置、接收装置及收发方法

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201161510658P 2011-07-22 2011-07-22
US61/510,658 2011-07-22
US201161513044P 2011-07-29 2011-07-29
US61/513,044 2011-07-29
KR10-2012-0079562 2012-07-20
KR1020120079562A KR20130011994A (ko) 2011-07-22 2012-07-20 송신 장치, 수신 장치 및 그 송수신 방법

Publications (1)

Publication Number Publication Date
WO2013015585A1 true WO2013015585A1 (ko) 2013-01-31

Family

ID=47840796

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/005859 WO2013015585A1 (ko) 2011-07-22 2012-07-23 송신 장치, 수신 장치 및 그 송수신 방법

Country Status (8)

Country Link
US (1) US20140226710A1 (ko)
EP (1) EP2736251A4 (ko)
JP (1) JP6095659B2 (ko)
KR (1) KR20130011994A (ko)
CN (1) CN103703765B (ko)
BR (1) BR112014001549A2 (ko)
MX (1) MX2014000852A (ko)
WO (1) WO2013015585A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102139532B1 (ko) * 2013-09-30 2020-07-30 엘지전자 주식회사 비디오 스트림 송/수신 장치 및 비디오 스트림 송/수신 방법
KR101699337B1 (ko) 2014-08-20 2017-01-24 전자부품연구원 Shvc 기반의 uhd 영상데이터 송수신 시스템
KR102189647B1 (ko) 2014-09-02 2020-12-11 삼성전자주식회사 디스플레이 장치, 시스템 및 그 제어 방법
CN108141639B (zh) * 2015-10-06 2021-07-27 索尼互动娱乐股份有限公司 通信系统、发送装置、接收装置和通信系统控制方法
WO2017074057A1 (ko) * 2015-10-27 2017-05-04 주식회사 엘지화학 가소제 조성물, 수지 조성물 및 이들의 제조 방법
JP6868783B2 (ja) * 2016-02-22 2021-05-12 ソニーグループ株式会社 ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
KR102520957B1 (ko) * 2016-04-15 2023-04-12 삼성전자주식회사 인코딩 장치, 디코딩 장치 및 이의 제어 방법
GB2574575A (en) * 2018-04-27 2019-12-18 V Nova Int Ltd Video decoder chipset

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007038701A1 (en) * 2005-09-27 2007-04-05 Qualcomm Incorporated Scalability techniques based on content information
KR20090030126A (ko) * 2007-09-19 2009-03-24 주식회사 엘앤피아너스 스케일러블 비디오 트랜스코딩 및 멀티채널 송신장치 및 그방법
KR20110020694A (ko) * 2009-08-24 2011-03-03 삼성전자주식회사 네트워크를 통한 기능 공유 방법 및 장치

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5148272A (en) * 1991-02-27 1992-09-15 Rca Thomson Licensing Corporation Apparatus for recombining prioritized video data
JPH07226022A (ja) * 1994-02-15 1995-08-22 Sony Corp ディジタル記録再生装置
EP1802135A3 (en) * 1995-03-15 2008-11-12 Kabushiki Kaisha Toshiba Moving picture coding and/or decoding systems
JP2000308089A (ja) * 1999-04-16 2000-11-02 Nippon Hoso Kyokai <Nhk> 立体画像符号化装置および復号化装置
JP2002010251A (ja) * 2000-06-19 2002-01-11 Matsushita Electric Ind Co Ltd 映像信号符号化装置および映像信号復号化装置
CN1509081A (zh) * 2002-12-20 2004-06-30 �ʼҷ����ֵ��ӹɷ����޹�˾ 通过广播和网络流传送双层hdtv信号的方法和系统
EP1661405B1 (en) * 2003-08-29 2009-07-01 Koninklijke Philips Electronics N.V. System and method for encoding and decoding enhancement layer data using descriptive model parameters
KR100658222B1 (ko) * 2004-08-09 2006-12-15 한국전자통신연구원 3차원 디지털 멀티미디어 방송 시스템
JP2007174634A (ja) * 2005-11-28 2007-07-05 Victor Co Of Japan Ltd 階層符号化装置、階層復号化装置、階層符号化方法、階層復号方法、階層符号化プログラム及び階層復号プログラム
US20070133899A1 (en) * 2005-12-09 2007-06-14 Rai Barinder S Triggering an image processing function
JP4565392B2 (ja) * 2005-12-22 2010-10-20 日本ビクター株式会社 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム
US7864219B2 (en) * 2006-06-15 2011-01-04 Victor Company Of Japan, Ltd. Video-signal layered coding and decoding methods, apparatuses, and programs with spatial-resolution enhancement
US8250618B2 (en) * 2006-09-18 2012-08-21 Elemental Technologies, Inc. Real-time network adaptive digital video encoding/decoding
KR100800653B1 (ko) * 2006-12-01 2008-02-01 삼성전자주식회사 3차원 입체 영상을 압축하기 위한 장치 및 방법
US8243798B2 (en) * 2006-12-20 2012-08-14 Intel Corporation Methods and apparatus for scalable video bitstreams
US8804845B2 (en) * 2007-07-31 2014-08-12 Cisco Technology, Inc. Non-enhancing media redundancy coding for mitigating transmission impairments
MY162861A (en) * 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
KR101385884B1 (ko) * 2008-01-30 2014-04-16 고려대학교 산학협력단 다시점 동영상의 부호화 및 복호화 방법 및 장치
KR101500440B1 (ko) * 2008-10-17 2015-03-09 삼성전자 주식회사 영상처리장치 및 영상처리방법
KR101537709B1 (ko) * 2008-12-30 2015-07-20 엘지전자 주식회사 이차원 영상과 3ｄ 영상의 통합 서비스가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치
US9088817B2 (en) * 2009-06-16 2015-07-21 Lg Electronics Inc. Broadcast transmitter, broadcast receiver and 3D video processing method thereof
US9076267B2 (en) * 2011-07-19 2015-07-07 Panasonic Intellectual Property Corporation Of America Image coding device, integrated circuit thereof, and image coding method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007038701A1 (en) * 2005-09-27 2007-04-05 Qualcomm Incorporated Scalability techniques based on content information
KR20090030126A (ko) * 2007-09-19 2009-03-24 주식회사 엘앤피아너스 스케일러블 비디오 트랜스코딩 및 멀티채널 송신장치 및 그방법
KR20110020694A (ko) * 2009-08-24 2011-03-03 삼성전자주식회사 네트워크를 통한 기능 공유 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2736251A4 *

Also Published As

Publication number Publication date
BR112014001549A2 (pt) 2017-06-13
EP2736251A4 (en) 2015-03-11
JP2014523721A (ja) 2014-09-11
EP2736251A1 (en) 2014-05-28
MX2014000852A (es) 2014-04-30
KR20130011994A (ko) 2013-01-30
CN103703765B (zh) 2017-05-17
CN103703765A (zh) 2014-04-02
JP6095659B2 (ja) 2017-03-15
US20140226710A1 (en) 2014-08-14

Similar Documents

Publication Publication Date Title
WO2013015585A1 (ko) 송신 장치, 수신 장치 및 그 송수신 방법
US20040252767A1 (en) Coding
JP6513301B2 (ja) 映像監視システム
WO2012064123A4 (ko) 3dtv 서비스에서의 영상 압축 규격 결정 방법 및 장치
KR20090125236A (ko) 정보 처리 장치 및 방법
JP2007306539A (ja) オーディオビジュアル・コンテンツを供給する方法及び装置
US20090052528A1 (en) Method and Apparatus for Encoding/Decoding Video Signal Using Block Prediction Information
US11895352B2 (en) System and method for operating a transmission network
WO2016129981A1 (ko) 미디어 데이터를 송수신하는 방법 및 장치
WO2015009098A1 (ko) 비디오 신호 처리 방법 및 장치
WO2015009091A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014054896A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014054897A1 (ko) 비디오 신호 처리 방법 및 장치
JP2606074B2 (ja) 画像暗号化伝送方式
CN113273218A (zh) 发送装置、发送方法、编码装置、编码方法、接收装置和接收方法
WO2014109563A1 (ko) 비디오 신호 처리 방법 및 장치
WO2015102329A1 (en) Method and apparatus for processing video signal for reducing visibility of blocking artifacts
WO2014168411A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018016879A1 (ko) 360도 가상현실 방송 서비스 제공 방법 및 장치
JP6512700B2 (ja) 映像信号伝送システム及び映像信号伝送方法
WO2010027142A2 (ko) 다시점 비디오의 송수신 시스템 및 방법
WO2013022315A2 (ko) 영상 제공 장치 및 방법, 그리고 영상 재생 장치 및 방법
US20170180741A1 (en) Video chrominance information coding and video processing
JP2012239123A (ja) 映像データ送信装置及び受信装置
JP2004228720A (ja) テレビ通信によるデータ提供方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12817699

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012817699

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2014521571

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: MX/A/2014/000852

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14234289

Country of ref document: US

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112014001549

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112014001549

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20140122

ENP Entry into the national phase

Ref document number: 112014001549

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20140122