WO2012064123A4 - 3dtv 서비스에서의 영상 압축 규격 결정 방법 및 장치 - Google Patents

3dtv 서비스에서의 영상 압축 규격 결정 방법 및 장치 Download PDF

Info

Publication number
WO2012064123A4
WO2012064123A4 PCT/KR2011/008557 KR2011008557W WO2012064123A4 WO 2012064123 A4 WO2012064123 A4 WO 2012064123A4 KR 2011008557 W KR2011008557 W KR 2011008557W WO 2012064123 A4 WO2012064123 A4 WO 2012064123A4
Authority
WO
WIPO (PCT)
Prior art keywords
image
quality image
low
quality
encoded
Prior art date
Application number
PCT/KR2011/008557
Other languages
English (en)
French (fr)
Other versions
WO2012064123A3 (ko
WO2012064123A2 (ko
Inventor
김성훈
조숙희
문경애
최진수
김진웅
강동욱
정경훈
Original Assignee
한국전자통신연구원
국민대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 국민대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to EP11839222.4A priority Critical patent/EP2640073B1/en
Priority to US13/885,143 priority patent/US9288466B2/en
Priority to CN201180054612.3A priority patent/CN103339933B/zh
Publication of WO2012064123A2 publication Critical patent/WO2012064123A2/ko
Publication of WO2012064123A3 publication Critical patent/WO2012064123A3/ko
Publication of WO2012064123A4 publication Critical patent/WO2012064123A4/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams

Definitions

  • Table 1 there are two methods of providing 3DTV service in real-time broadcasting in an in-band transmission broadcasting environment: 1) a method of transmitting left / right video information through an 8-VSB channel, 2) A method of transmitting video information through an M / H channel, and 3) a method of transmitting left / right video information using both 8-VSB and M / H channels.
  • the broadcast signal includes a low-quality image encoded based on at least one of a resolution of the encoded low-quality image and an average power of the quantized noise ratio of the encoded low-quality image.
  • the channel 1 may include an 8-VSB channel, which is one of fixed broadcast channels
  • the channel 2 may include an M / H channel, which is one of the mobile broadcast channels.
  • the high-definition image may be a high-definition image that supports a fixed broadcast service or a satellite broadcast service, and one of a high-quality image and a low-quality image constituting the three-dimensional image may be used as a high-quality image.
  • the low-quality image is an image supporting the mobile broadcast service, and the other of the high-quality image and the low-quality image can be used as the low-quality image.
  • the quality of the synthesized stereoscopic image may deteriorate as the stereo image is synthesized in the image receiving system.
  • the image quality of the stereoscopic image is enhanced by the binocular suppression effect, Image and low-quality image.
  • the temporal resolution can be recognized as the average noise level as there is a difference between the quantization noise of the high-quality image and the quantization noise of the low-quality image.
  • the level of the average noise refers to the noise level corresponding to the middle of the quantization noise of the high-quality image and the quantization noise of the low-quality image.
  • the spatial resolution of the encoded low-quality image is 416 ⁇ 240.
  • the spatial resolution of the encoded low-quality image is 624 ⁇ 360 or 832 ⁇ 348.
  • the apparatus determines the AVC codec corresponding to 1/2 of the spatial resolution of the encoded low-quality image with the spatial resolution of the encoded low- . Then, the image compression standard determination apparatus can encode the low-quality image using the AVC codec.
  • the apparatus determines the SVC codec corresponding to 1/2 of the spatial resolution of the encoded low-quality image with the spatial resolution of the encoded low- . Then, the image compression standard determination apparatus can encode the low-quality image using the SVC codec.
  • the apparatus for determining the video compression standard can transmit a stream for the encoded low-quality image through channel 2.
  • the image compression standard determination apparatus can transmit the stream for the low-quality image encoded through the ATSC M / H channel.
  • the video compression standard determination apparatus can packetize stream and encoded additional information for a coded high-quality image in units of PES (Packetized Elementary Stream). Then, the video compression standard determination apparatus can insert the synchronization information into the PTS field of the PES header.
  • the synchronization information may include PTS (Presentation Time Stamp) information.
  • the video compression standard determination apparatus may packetize a stream for the encoded low-quality image in an AU (Access Unit) unit. Then, the video compression standard determination apparatus can insert the synchronization information into the time stamp field of RTP and RTCP. In other words, the video compression standard determination apparatus can adjust the time stamp field of RTP and RTCP based on the PTS value. At this time, it is assumed that the 3D stereoscopic image synthesizer estimates the PTS using the time stamp field of RTP and RTCP according to the standard proposed by A / 153.
  • step 270 the video compression standard determination apparatus can transmit the encoded additional information through the channel 1 for the following three reasons.
  • FEC Forward error correction
  • 3DTV service is a service provided in a fixed reception environment, FEC with high error correction performance is not required. Accordingly, it is preferable to transmit the additional information encoded through channel 1, which is a fixed broadcast channel, rather than channel 2, which is a mobile broadcast channel using FEC with high error correction performance.
  • the video compression standard determination apparatus transmits the additional information packet in the time slot of channel 1 and transmits it. At this time, the video compression standard determination apparatus can assign a PID corresponding to a null packet of the MPEG-2 TS to the additional information packet. Then, the existing ATSC 1.0 receiving apparatus can ignore the additional information packet and decode the received transport stream. Also, as the 3DTV receiver transmits the additional information packets to the low-quality image decoding unit, it is possible to restore a low-quality image having a frame rate twice as high as that of the compressed image transmitted through the M / H channel.
  • the additional information is transmitted in a null packet of the MPEG-2 TS.
  • the additional information is not limited to the null packet of the MPEG-2 TS, It can be passed on.
  • the additional information may be carried in a digital stream having a Packet ID (PID) of which an arbitrary service is not defined.
  • PID Packet ID
  • the image compression standard determination apparatus 300 includes a high image quality image encoding unit 310, a compression standard determination unit 320, a low image quality image encoding unit 330, a packetizer 340, a monthly clock 350, A multiplexing unit 360, and a modulator 370.
  • the image compression standard determination apparatus 300 can load a three-dimensional stereoscopic image composed of a high-quality image and a low-quality image from a database.
  • the high-quality image encoding unit 310 can encode the high-quality image using the MPEG-2 encoder.
  • the high-quality image encoding unit 310 can transmit the encoded high-quality image through the channel 1 by allocating the widest bandwidth among the preset allowable bandwidths.
  • the channel 1 is a fixed broadcast channel for transmitting video to a fixed terminal.
  • the channel 1 is an 8-VSB (Vestigial Side Band) channel, a DVB-T (Digital Video Broadcasting-Terrestrial) Service Digital Broadcasting-Terrestrial) channel, DVB-S2 channel, and ISDB-Tmm.
  • the compression specification determining unit 320 may determine the codec corresponding to the first reference value or more as the image compression standard.
  • the first reference value may be preset to 1/3.
  • the image compression standard determination unit 320 determines the average power of the encoded low- The average power of the noise ratio can be calculated.
  • the image compression standard determination unit 320 may determine whether the average power of the quantization noise of the encoded low-quality image based on the calculated average power is greater than or equal to a reference multiple of the average power of the quantization noise of the encoded high-quality image.
  • the reference multiple may be preset to two times.
  • the low-quality image encoding unit 330 can encode the low-quality image according to the determined image compression standard. If the average power of the quantized noise of the encoded low-quality image is higher than the reference power of the quantized noise of the encoded high-quality image, the low-quality image encoding unit 330 lowers the frame rate of the low- Can be encoded.
  • the reference frame rate may be set to 1/2. That is, the low-quality image encoding unit 330 can reduce the frame rate of the low-quality image by 1/2 and encode it.
  • the low-quality image encoding unit 330 may encode the removed frame in the B-slice mode to generate additional information of the low-quality image. Then, the low-quality image encoding unit 330 can transmit the generated additional information through the channel 1.
  • the low-quality image encoding unit 330 encodes the removed frame in I-slice mode to generate additional information of the low-quality image, and transmits the generated additional information through the channel 1 .
  • the low-quality image encoding unit 330 encodes the removed frame in the P-slice mode to generate additional information of the low-quality image, Lt; / RTI >
  • the packetization unit 340 may include a high quality image packetization unit 341, a low quality image packetization unit 342, and a supplementary information packetization unit 343.
  • the high quality image packetizer 341 may generate a high quality image packet by packetizing the stream of the encoded high image quality in the first packet unit.
  • the high quality image packetization unit 341 may insert the synchronization information generated in the month clock 350 into the header of the stream for the high quality image.
  • the high image quality packetizer 341 can packetize the stream of the encoded high image quality in units of PES (Packetized Elementary Stream). Then, TS-M packets can be generated as high-quality video packets through packetization.
  • the high quality image packetizer 341 may insert the synchronization information generated in the month clock 350 into the PTS field of the PES header.
  • the synchronization information may include PTS (Presentation Time Stamp) information.
  • the low-quality image packetizer 342 may packetize the stream for the encoded low-quality image in units of AUs (Access Units). Then, an M / H packet can be generated as a low-quality video packet through packetization.
  • the low quality image packetizer 342 may insert the synchronization information generated in the month clock 350 into the time stamp field of the RTP and the RTCP. That is, the low-quality image packetizer 342 can adjust the timestamp field of RTP and RTCP based on the PTS value.
  • the 3D stereoscopic image synthesizer estimates the PTS using the time stamp field of RTP and RTCP according to the standard proposed by A / 153.
  • the additional information is packetized in the first packet unit and transmitted through the channel 1, which is a fixed broadcast channel, with reference to FIGs. 2 and 3.
  • the video compression standard determination apparatus may transmit the additional information to the second packet unit And transmits the packetized data through channel 2, which is a mobile broadcast channel.
  • the video compression standard apparatus may packetize the additional information in AU units. Then, the time stamp field of the RTP generated through the packetization of the additional information can be adjusted according to the PTS value.
  • step 420 the three-dimensional stereoscopic image synthesizing apparatus demultiplexes the transport stream
  • step 430 the three-dimensional stereoscopic image synthesizing apparatus synthesizes the transport stream as a high-quality image packet, A low quality image packet, and an additional information packet.
  • the 3D stereoscopic image synthesizing apparatus searches all of the high-quality image packet, the low-quality image packet, and the additional information packet, and extracts a high- Video packets, and additional information packets.
  • the low-quality video packet is a packet transmitted through channel 2 in the video compression standard determination apparatus.
  • the channel 2 is a mobile broadcasting channel for transmitting an image to a portable or portable terminal.
  • the channel 2 is an ATSC M / H channel, a Digital Video Broadcasting-Handheld (DVB-H) mobile, NGH channels, ISDB-T onseg, ISDB-Tmm channels, and the like.
  • the low-quality video packet can be an M / H packet.
  • the 3D stereoscopic image synthesizer recognizes and receives only the high-quality image packet as a broadcast signal using the PID included in the transport stream, and discards the low-quality image packet and the additional information packet have.
  • the three-dimensional stereoscopic image synthesizing apparatus can extract the synchronization information from the transport stream.
  • the synchronization information may include PTS information.
  • the synchronization information is inserted into the header of the high image quality video packet and the additional information packet, respectively, and may be inserted into the time stamp field of the low quality image packet.
  • the 3D stereoscopic image synthesizer can decode the high-quality image packet using the high-quality image decoder to restore the high-quality image.
  • the high-quality image decoder For example, various types of decoders such as an MPEG-2 decoder may be used as the high-definition image decoder.
  • the 3D stereoscopic image synthesizer can store the restored high-quality image and the restored low-quality image in the frame buffer.
  • the 3D stereoscopic image synthesizer can reconstruct the 3D stereoscopic image by synthesizing the reconstructed high-quality image and the reconstructed low-quality image based on the extracted synchronization information. For example, when a high-quality image is used as a left image and a low-quality image is used as a right image, a three-dimensional image synthesizer can reconstruct a three-dimensional image by synthesizing a left image and a right image.
  • step 480 the 3D stereoscopic image synthesizer can display the reconstructed 3D stereoscopic image.
  • FIG. 5 is a block diagram illustrating a configuration of a 3D stereoscopic image synthesizing apparatus according to an embodiment of the present invention.
  • the three-dimensional image synthesizer 500 includes a demodulator 510, a demultiplexer 520, a buffer 530, a high image quality image decoder 540, a low image quality image decoder 550, Unit 560, and a 3D A / V display 570.
  • the demodulator 510 may receive the ATSC broadcast signal transmitted from the video compression standard determination apparatus and demodulate the received ATSC broadcast signal to acquire the transport stream.
  • the ATSC broadcast signal may include the low-quality image encoded by the image compression standard determination apparatus based on at least one of the resolution of the encoded low-quality image and the average power of the quantization noise of the encoded low-quality image.
  • the transport stream 590 may be composed of high-quality video packets 591, additional information packets 592, and low-quality video packets 593.
  • an 8-VSB demodulator can be used as the demodulator 510.
  • the demodulator 510 may be an 8-VSB & MDTV demodulator, a DVB (Digital Video Broadcasting) demodulator, or an ISDB (Integrated Service Digital Broadcasting) demodulator.
  • the demultiplexer 520 demultiplexes the obtained transport stream to separate an additional information packet, a high-quality image packet, and a low-quality image packet from the transport stream.
  • the demultiplexer 520 can extract the synchronization information from the transport stream.
  • the synchronization information is inserted into the header of the high-quality video packet and the additional information packet, respectively, and can be inserted into the time stamp field of the low-quality video packet.
  • the synchronization information may include PTS information.
  • the demultiplexer 520 can separate the sub information packet, the high image quality image packet, and the low image quality image packet from the transport stream using the PID included in the transport stream.
  • the 3DTV receiving demultiplexing unit is different from the existing 2DTV receiving demultiplexing unit in that the 3DTV receiving demultiplexing unit can separate the 3DTV service additional information packets without ignoring the PID of the additional information packet (MPEG-TS null packet).
  • the separated packets may be stored in the corresponding buffer 530, respectively.
  • the high-quality image packet may be stored in the high-quality image packet buffer 531
  • the low-quality image packet may be stored in the low-quality image packet buffer 533
  • the side information packet may be stored in the side information packet buffer 532.
  • the low-quality image decoding unit 540 may decode the low-quality image packets stored in the low-quality image packet buffer 533 and the supplementary information packets stored in the supplementary information packet buffer 532 to reconstruct the low-quality image. For example, the low-quality image decoding unit 540 may decode the low-quality image packets and the additional information packets using the H.264 decoder. At this time, the high-definition image decoding unit 540 may decode the high-quality image packets using various decoders in addition to the H.264 decoder.
  • the image combining unit 560 may reconstruct the three-dimensional image by synthesizing the restored low-quality image and the restored high-quality image based on the synchronization information. Then, the 3D A / V display 570 can display the restored three-dimensional stereoscopic image.
  • the high-quality image may be one of the high-quality image and the low-quality image
  • the low-quality image may be one image excluding the high-quality image among the high-quality image and the low-
  • a low-quality image when a high-quality image is used as a left image, a low-quality image may be used as a right image.
  • a high-quality image can be used as a right image.
  • the image synthesizing unit 560 synthesizes the reconstructed left image and the reconstructed right image to reconstruct the three-dimensional image.
  • the high-quality image encoding unit and the high-quality image encoding unit have been described using the MPEG-2 codec and the low-quality image encoding unit and the low-quality image decoding unit using the H.264 codec
  • a hierarchical video codec for encoding and decoding a high-quality image can be used.
  • the low-quality image encoding unit and the low-quality image decoding unit a hierarchical video codec for encoding and decoding a low-quality image can be used.
  • the hierarchical video codec may include HEVC, SVC codec, H.264, and the like.
  • a high-quality image is used as a left image and a low-quality image is used as a right image.
  • a low-quality image may be used as a left image
  • a high-quality image may be used as a right image.
  • the stream for the high-quality image and the stream for the low-quality image described above have a digital stream form, and the additional information can be transmitted to the 3D stereoscopic image synthesizing apparatus in a digital stream.
  • the apparatus for determining image compression standards according to an embodiment of the present invention may transmit additional information to a three-dimensional stereoscopic image synthesizing apparatus by storing the additional information in a stream for a high-quality image, Dimensional stereoscopic image synthesizer.
  • the high-quality image packet generated by the high-quality image packetizer 641 may be transmitted to the three-dimensional image synthesizer together with the additional information packet generated by the supplementary information packetizer 643 .
  • the low-quality image packet generated by the low-quality image packetizer 741 and the additional information packet generated by the additional information packetizer 743 may be transmitted together to the three-dimensional image synthesizer.
  • efficiency may be improved as compared with a case in which the additional information is transmitted in a low-quality video stream.
  • the additional information includes enhancement layer information of the SVC (Scalable Video Codec), 3D depth information of the 3D image, disparity map information of the 3D image, depth information of the 3D multi-view image, And image information of a multi-view 3D image.
  • SVC Scalable Video Codec
  • the channel 1 is a fixed broadcast channel.
  • the high-definition image may include an image supporting a satellite broadcast service in addition to the fixed broadcast service.
  • channel 1 may use a satellite broadcast channel.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

3DTV 서비스에서의 영상 압축 규격 결정 방법 및 장치가 제공된다. 영상 압축규격 결정 방법은 고화질 영상을 부호화하여 채널 1을 통해 전송하고, 부호화된 저화질 영상의 해상도가 부호화된 고화질 영상 대비 기준값 이상에 해당하는 영상 압축 규격을 결정하고, 결정된 영상 압축 규격에 따라 저화질 영상을 부호화하여 채널 2를 통해 전송할 수 있다. 3DTV 서비스에서의 영상 압축 규격 결정 방법 및 장치가 제공된다. 영상 압축규격 결정 방법은 고화질 영상을 부호화하여 채널 1을 통해 전송하고, 부호화된 저화질 영상의 해상도가 부호화된 고화질 영상 대비 기준값 이상에 해당하는 영상 압축 규격을 결정하고, 결정된 영상 압축 규격에 따라 저화질 영상을 부호화하여 채널 2를 통해 전송할 수 있다.

Description

3DTV 서비스에서의 영상 압축 규격 결정 방법 및 장치
본 발명은 3DTV 서비스에서의 영상 압축 규격 결정 방법 및 장치에 관한 것으로, 보다 상세하게는 고정 방송과 이동 방송을 동시에 이용하는 3DTV에서의 영상압축 규격을 결정하고, 영상을 합성하여 3D 입체 영상을 합성하는 기술에 관한 것이다.
ATSC M/H(Advanced Television Systems Committee Mobile/Handheld) 서비스는 하나의 물리적 채널을 8-VSB(Vestigial Side Band) 등의 표준 ATSC 방송과 논리적으로 공유한다. 이때, ATSC M/H 서비스는 총 약 19.39Mbps 대역폭의 일부를 사용하고, IP 트랜스포트를 통한 전송 기술을 이용하여 이동 또는 휴대용 TV 시청자들에게 지상파 방송서비스를 제공한다. 즉, 8-VSB 패킷과 M/H 패킷으로 구성된 약 19.39Mbps에 해당하는 M/H 프레임을 시분할하여 전송함에 따라 두 서비스의 독립적인 동시 제공이 가능하다. 이때, 8-VSB 패킷은 고정수신환경에서 수신 및 처리되어 표준 ATSC 방송 서비스를 제공하기 위해 이용된다. 그리고, M/H 패킷은 이동/휴대 수신기에서 수신 및 처리되어 8-VSB와는 별도로 독자적인 오디오/비디오(A/V) 서비스를 제공하기 위해 이용된다.
이처럼, in-band transmission 방송 환경에서 실시간 방송을 전체로 3DTV 서비스를 제공하는 방법으로는 표 1과 같이, 1)좌/우 영상 정보를 8-VSB 채널을 통해 전송하는 방법, 2)좌/우 영상 정보를 M/H 채널을 통해 전송하는 방법, 및 3) 좌/우 영상 정보를 8-VSB 및 M/H 채널 모두를 이용하여 전송하는 방법이 존재한다.
Figure PCTKR2011008557-appb-I000001
1)좌/우 영상으로 구성된 스테레오 영상을 M/H 채널만을 이용하여 전송하는 경우, 모바일 3DTV 서비스를 제공할 수는 있으나, M/H 채널은 대역폭이 협소하므로 HD 급의 화질을 제공하는데 어려움이 존재한다.
또한, 2) 8-VSB 채널만을 이용하여 스테레오 영상을 전송하는 경우, 8-VSB 채널은 M/H 채널보다 대역폭이 넓으므로 HD급의 서비스를 제공할 수 있다. 이때, 기존 ATSC 방식과의 역방향 호환성을 유지하기 위해 MPEG-2를 이용하여 좌영상을 압축할 수 있다. 그러나, 좌영상을 MPEG-2를 이용하여 압축하는 경우, 기존의 ATSC 방식에 비해서 62.5% 또는 52.6 %의 대역폭만을 사용하여 좌영상을 부호화하기 때문에 HDTV의 화질 열화가 많이 발생한다. 일례로, 위의 표 1에서 시나리오 5번에 따라 M/H 서비스를 사용하지 않고, 좌영상을 MPEG-2로 압축 시에 62.5%의 대역폭을 사용하고, 시나리오 6번에 따라 M/H 서비스를 사용하지 않고, 좌영상을 MPEG-2로 압축 시에 52.6%의 대역폭만을 사용하여 좌영상을 압축한다.
또한, 3) 스테레오 영상을 8-VSB 채널 및 M/H 채널에 나누어 전송하는 경우, 8-VSB 채널 또는 M/H 채널만을 이용할 때 보다 우수한 영상 화질을 제공할 수 있다. 그러나, M/H 채널과 8-VSB 채널의 대역폭 차이가 크기 때문에 우영상을 HD급으로 부호화하는 것이 불가능하다. 이에 따라, HD급의 스테레오 영상을 압축하여 전송하는 경우, 영상 수신기에서 복원된 우영상의 해상도와 화질이 좌영상에 비해 떨어진다. 결국, 복원된 우영상의 화질 저하로 인해 복원된 좌영상과 우영상을 합성하여 생성된 3D 입체 영상의 주관적 화질이 저하된다.
따라서, 하나의 물리적 채널에서 논리적으로 구분된 8-VSB 채널과 M/H 채널을 이용하여 스테레오 영상을 전송하는 경우, 기존의 ATSC 8-VSB 및 ATSC M/H 시스템과 역방향 호환성을 유지하면서, 채널 대역폭의 차이에 따른 좌우 영상의 시공간 해상도, 화질의 불균형, 및 합성된 3D 입체 영상의 화질 열화를 최소화할 수 있는 기술이 필요하다.
본 발명은 고정 방송 채널과 이동 방송 채널을 이용하여 스테레오 영상을 전송하는 경우, 채널 대역폭의 차이로 인한 해상도 및 화질의 불균형을 감소시킬 수 있는 영상 압축 규격을 결정하는 방법 및 장치를 제공한다.
또한, 결정된 영상 압축 규격에 따라 부호화된 저화질 영상을 복원함으로써, 합성된 3D 입체 영상의 화질 열화를 감소시킬 수 있는 3차원 입체 영상 합성 방법 및 장치를 제공한다.
본 발명의 일실시예에 따른 영상 압축 규격 결정 방법은, 고화질 영상 및 저화질 영상으로 구성된 3차원 입체영상을 대상으로, 상기 고화질 영상을 부호화하는 단계, 부호화된 저화질 영상의 해상도가 상기 부호화된 고화질 영상 대비 기준값 이상에 해당하는 영상 압축 규격을 결정하는 단계, 상기 결정된 영상 압축 규격에 따라 상기 저화질 영상을 부호화하는 단계, 상기 부호화된 고화질 영상을 채널 1을 통해 전송하는 단계, 및 상기 부호화된 저화질 영상을 채널 2를 통해 전송하는 단계를 포함할 수 있다.
또한, 상기 영상 압축 규격을 결정하는 단계는, 상기 부호화된 저화질 영상의 양자화 잡음비의 평균 전력을 계산하는 단계, 상기 부호화된 고화질 영상의 양자화 잡음비의 평균 전력을 계산하는 단계, 상기 계산된 저화질 영상의 평균 전력이 상기 고화질 영상의 평균 전력보다 기준 배수 이상인지 결정하는 단계를 포함할 수 있다.
또한, 상기 저화질 영상을 부호화하는 단계는, 상기 저화질 영상을 부호화하면서 상기 저화질 영상의 부가 정보를 생성하는 단계, 및 상기 생성된 부가 정보를 B-Slice 모드로 부호화하는 단계를 포함할 수 있다.
또한, 상기 부호화된 부가 정보를 상기 채널 1을 통해 전송하는 단계를 더 포함할 수 있다. 여기서, 상기 부가 정보는, SVC(Scalable Video Codec)의 향상 계층 정보, 3차원 영상의 깊이 정보(3D Depth Information), 양안 시차(disparity map) 정보, 다시점 3차원 영상의 깊이 정보, 및 다시점 3차원 영상의 영상 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 채널 1을 통해 전송된 고화질 영상 및 상기 채널 2를 통해 전송된 저화질 영상을 합성하여 3차원 입체 영상을 복원하기 위해 이용하는 동기 정보를 전송하는 단계를 더 포함할 수 있다.
또한, 상기 고화질 영상은, 좌영상 및 우영상 중 어느 하나의 영상이고, 상기 저화질 영상은, 상기 좌영상 및 우영상 중 고화질 영상에 해당하는 영상을 제외한 나머지 하나의 영상일 수 있다.
또한, 상기 채널 1은, 상기 고화질 영상을 전송하기 위해 이용되는 고정 방송 채널 또는 위성 방송 채널을 포함하고, 상기 채널 2는, 상기 저화질 영상을 전송하기 위해 이용되는 이동 방송 채널을 포함할 수 있다. 예를 들어, 채널 1은, 8-VSB(Vestigial Side Band) 채널, DVB-T(Digital Video Broadcasting-Terrestrial), DVB-T2((Digital Video Broadcasting-Terrestrial 2) 채널, ISDB-T(Integrated Service Digital Broadcasting-Terrestrial) 채널, DVB-S2(Digital Video Broadcasting-Satellite 2) 채널, 및 ISDB-Tmm((Integrated Service Digital Broadcasting-Terrestrial Mobile Multimedia) 채널을 포함하고, 채널 2는, ATSC M/H(Advanced Television Systems Committee Mobile/Handheld) 채널, DVB-H(Digital Video Broadcasting-Handheld), DVB-T2 mobile, DVB-NGH((Digital Video Broadcasting-Next Generation Handheld) 채널 및 ISDB-T oneseg, ISDB-Tmm((Integrated Service Digital Broadcasting-Terrestrial Mobile Multimedia) 채널, DVB-SH(Digital Video Broadcasting-Satellite services to Handheld) 채널을 포함할 수 있다.
한편, 본 발명의 일실시예에 따른 영상 압축 규격 결정 장치는, 고화질 영상 및 저화질 영상으로 구성된 3차원 입체영상을 대상으로, 상기 고화질 영상을 부호화하고, 상기 부호화된 고화질 영상을 고정방송 채널을 통해 전송하는 고화질 영상 부호화부, 부호화된 저화질 영상의 해상도가 상기 부호화된 고화질 영상 대비 기준값 이상에 해당하는 영상 압축 규격을 결정하는 압축 규격 결정부, 및 상기 결정된 영상 압축 규격에 따라 상기 저화질 영상을 부호화하고, 상기 부호화된 저화질 영상을 이동방송 채널을 통해 전송하는 저화질 영상 부호화부를 포함할 수 있다.
다른 한편, 본 발명의 일실시예에 따른 3차원 입체 영상 합성 방법은, 방송 신호를 복조하여 전송스트림을 획득하는 단계, 상기 획득된 전송스트림을 역다중화하여 상기 전송스트림으로부터 고화질 영상 패킷, 저화질 영상 패킷, 및 부가정보 패킷을 분리하는 단계, 상기 분리된 고화질 영상 패킷, 저화질 영상 패킷, 및 부가정보 패킷을 프레임 버퍼에 저장하는 단계, 상기 고화질 영상 패킷을 복호화하여 고화질 영상을 복원하는 단계, 상기 저화질 영상 패킷 및 상기 부가정보를 복호화하여 저화질 영상을 복원하는 단계, 상기 복원된 고화질 영상 및 상기 복원된 저화질 영상을 동기 정보에 기초하여 합성하는 단계, 및 상기 합성을 통해 복원된 3차원 입체 영상을 디스플레이하는 단계를 포함할 수 있다.
여기서, 상기 방송신호는, 부호화된 저화질 영상의 해상도 및 부호화된 저화질 영상의 양자화 잡음비의 평균 전력 중 적어도 하나에 기초하여 부호화된 저화질 영상을 포함하는 것을 특징으로 하는 3차원 입체 영상 합성 방법.
또한, 상기 동기정보는, PTS(Presentation Time Stamp) 정보를 포함하고, 상기 고화질 영상 패킷의 헤더에 상기 동기정보가 삽입되고, 상기 저화질 영상 패킷의 타임스탬프 필드에 상기 동기정보가 삽입되고, 상기 부가정보 패킷의 헤더에 상기 동기정보가 삽입될 수 있다.
또 다른 한편, 본 발명의 일실시예에 따른 3차원 입체 영상 합성 장치는 방송 신호를 복조하여 전송스트림을 획득하는 복조기, 상기 획득된 전송스트림을 역다중화하여 상기 전송스트림으로부터 고화질 영상 패킷, 저화질 영상 패킷, 및 부가정보 패킷을 분리하는 역다중화부, 상기 고화질 영상 패킷을 복호화하여 고화질 영상을 복원하는 고화질 영상 복호화부, 상기 저화질 영상 패킷 및 상기 부가정보를 복호화하여 저화질 영상을 복원하는 저화질 영상 복호화부, 상기 복원된 고화질 영상 및 상기 복원된 저화질 영상을 동기 정보에 기초하여 합성하는 영상 합성부, 및 상기 합성을 통해 생성된 3차원 입체 영상을 디스플레이하는 3차원 A/V 디스플레이를 포함할 수 있다.
본 발명에 따르면, 부호화된 저화질 영상의 해상도에 기초하여 영상 압축 규격을 결정하고, 결정된 영상 압축 규격으로 저화질 영상을 부호화하여 전송함에 따라 채널 대역폭의 차이로 인한 해상도 및 화질의 불균형을 감소시킬 수 있다.
또한, 결정된 영상 압축 규격에 따라 부호화된 저화질 영상을 복원함으로써, 합성된 3D 입체 영상의 화질 열화를 감소시킬 수 있는 3차원 입체 영상 합성 방법 및 장치를 제공한다.
도 1은 본 발명의 일실시예에 따른 스테레오 영상을 송수신하는 시스템의 전반적인 구성을 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 영상 압축 규격을 결정하는 방법을 설명하기 위해 제공되는 흐름도이다.
도 3은 본 발명의 제1 실시예에 따른 영상 압축 규격 결정 장치의 구성을 도시한 블록도이다.
도 4는 본 발명의 일실시예에 따른 3차원 입체 영상을 복원 및 디스플레이하는 방법을 설명하기 위해 제공되는 흐름도이다.
도 5는 본 발명의 일실시예에 따른 3차원 입체 영상 합성 장치의 구성을 도시한 블럭도이다.
도 6은 본 발명의 제2 실시예에 따른 영상 압축 규격 결정 장치의 구성을 도시한 블록도이다.
도 7은 본 발명의 제3 실시예에 따른 영상 압축 규격 결정 장치의 구성을 도시한 블록도이다.
이하에서, 첨부된 도면을 참조하여 본 발명에 따른 실시예들을 상세히 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
본 발명의 일실시예에 따라 스테레오 영상을 송수신하는 시스템은 하나의 물리적 채널에서 논리적으로 다중화 되어 있는 채널 1과 채널 2를 모두 이용하여 고화질의 3DTV 서비스를 제공할 수 있다. 여기서, 채널 1은, 고정된 단말로 영상을 전송하는 고정 방송 채널 또는 위성 방송 채널로서, 8-VSB(Vestigial Side Band) 채널, DVB-T(Digital Video Broadcasting-Terrestrial) 채널, DVB-T2((Digital Video Broadcasting-Terrestrial 2) 채널, DVB-S2(Digital Video Broadcasting-Satellite 2) 채널, ISDB-Tmm((Integrated Service Digital Broadcasting-Terrestrial Mobile Multimedia) 채널, 및 ISDB-T(Integrated Service Digital Broadcasting-Terrestrial) 채널 등과 같이 다양한 채널이 이용될 수 있다. 그리고, 채널 2는, 이동 또는 휴대 가능한 단말로 영상을 전송하는 이동 방송 채널로서, ATSC M/H(Advanced Television Systems Committee Mobile/Handheld) 채널, DVB-H(Digital Video Broadcasting-Handheld) 채널, DVB-T2 mobile, DVB-NGH((Digital Video Broadcasting-Next Generation Handheld) 채널, ISDB-T oneseg, ISDB-Tmm((Integrated Service Digital Broadcasting-Terrestrial Mobile Multimedia) 채널, 및 DVB-SH(Digital Video Broadcasting-Satellite services to Handheld) 채널 등과 같이 다양한 방송 채널이 이용될 수 있다.
이하에서는, 채널 1로는 고정 방송 채널 중 하나인 8-VSB 채널을 이용하고, 채널 2로는 이동 방송 채널 중 하나인 ATSC M/H 채널을 이용하는 경우를 가정하여 설명하지만, 이는 이해를 돕기위한 가정일 뿐, 채널 1 및 채널 2는 8-VSB 채널 및 ATSC M/H 채널로 한정되지 않으며, 채널 1 및 채널 2로는 다양한 방송 채널들이 이용될 수 있다.
도 1은 본 발명의 일실시예에 따른 스테레오 영상을 송수신하는 시스템의 전반적인 구성을 도시한 도면이다. 도 1에서 설명하는 영상 송수신 시스템은 ATSC A/153 표준에 위배되지 않는다. 이에 따라, 도 1의 영상 송수신 시스템은 ATSC A/153에서 정의하고 있는 고정 방송 서비스와 이동 방송 서비스를 기존과 같이 제공할 수 있다.
다시 말해, 도 1의 영상 송수신 시스템은 최대 16Mbps 데이터율로 압축된 HD급의 고화질 영상을 채널 1을 이용하여 전송할 수 있다. 그리고, 영상 송수신 시스템은 상기 압축된 고화질 영상보다 상대적으로 매우 낮은 데이터율로 압축된 저화질 영상을 채널 2를 이용하여 전송할 수 있다. 예를 들어, 고정 방송 서비스는 8-VSB 서비스를 포함하고, 이동 방송 서비스는 M/H 서비스를 포함할 수 있다.
그리고, 채널 1은, 고정 방송 채널 중 하나인 8-VSB 채널을 포함하고, 채널 2는 이동 방송 채널 중 하나인 M/H 채널을 포함할 수 있다. 여기서, 고화질 영상은, 고정 방송 서비스 또는 위성 방송 서비스를 지원하는 HD 급 이상의 영상으로서, 3차원 입체 영상을 구성하는 고화질 영상 및 저화질 영상 중 어느 하나가 고화질 영상으로 이용될 수 있다. 그러면, 저화질 영상은 이동 방송 서비스를 지원하는 영상으로서, 고화질 영상 및 저화질 영상 중 다른 하나가 저화질 영상으로 이용될 수 있다.
그리고, 도 1의 스테레오 영상을 송수신하는 시스템은 고화질의 3DTV 서비스를 제공하기 위해 스테레오 영상의 압축 규격을 결정하는 장치 및 3차원 입체 영상 합성 장치를 포함할 수 있다. 이때, 영상 압축 규격 결정 장치 및 3차원 입체 영상 합성장치에 대한 자세한 설명은 도 3 및 도 5를 참조하여 후술하기로 한다.
도 1에 따르면, 영상 송신 시스템은 3D 콘텐츠를 저장하는 데이터베이스(10), 고화질 영상 부호화부(20), 저화질 영상 부호화부(30), 패킷화부(40), 다중화부(MUX: 60)를 포함할 수 있다. 일례로, 고화질 영상 부호화부(20) 및 저화질 영상 부호화부(30)로는 MPEG-2 인코더, H.264, HEVC 등의 다양한 인코더가 이용될 수 있다. 예를 들어, 3D 콘텐츠는, 고화질 영상인 좌영상과 저화질 영상인 우영상으로 구성된 3차원 입체 영상을 포함할 수 있다. 이때, 패킷화부(40)는 고화질 영상 패킷화부(41), 저화질 영상 패킷화부(42), 및 부가 정보 패킷화부(43)를 포함할 수 있다. 그리고, 영상 수신 시스템은 역다중화부(70), 영상 수신부(80), 및 영상을 재생하는 단말(90)을 포함할 수 있다. 여기서, 단말(90)로는 2D HDTV(91), 모바일 2DTV(92), 및 3DTV(93)가 이용될 수 있다.
도 1에서, 영상 송신 시스템은, 영상 수신 시스템에서 획득한 좌우 영상의 시공간적 해상도가 동일하더라도, 저화질 영상은 고화질 영상에 비해 훨씬 더 높은 압축율로 압축할 수 있다. 여기서, 영상 송신 시스템은 압축된 저화질 영상을 채널 2를 통해 전송할 수 있다. 예를 들어, 채널 2는 이동 방송 채널로서, 채널 2은 ATSC M/H(Advanced Television Systems Committee Mobile/Handheld) 채널, DVB-H(Digital Video Broadcasting-Handheld), DVB-T2 mobile 채널, DVB-NGH 채널 ISDB-T oneseg 채널, ISDB-Tmm 채널, DVB-SH 채널, 및 ISDB-Tmm 채널 등을 포함할 수 있다.
이때, 저화질 영상의 압축율을 높이기 위해, 영상 송신 시스템은, 고화질 영상을 특정 인코더를 이용하여 부호화하고, 저화질 영상을 고화질 영상을 부호화한 인코더보다 2배 이상의 우수한 압축 성능을 가진 인코더를 이용하여 부호화할 수 있다. 이때, 영상 송신 시스템은, 고화질 영상 대비 저화질 영상의 공간 해상도, 시간 해상도, 또는 양자화 잡음 레벨을 고려하여 저화질 영상을 압축할 수 있다. 일례로, 영상 송신 시스템은 저화질 영상의 공간 해상도 또는 시간 해상도를 낮추거나 저화질 영상의 양자화 잡음 레벨을 높여서 압축할 수 있다.
이때, 저화질 영상의 해상도 또는 화질이 고화질 영상과 차이를 갖는 경우, 영상 수신 시스템에서 스테레오 영상을 합성함에 따라 합성된 입체 영상의 화질이 저하될 수 있다. 보다 상세하게는, 공간 해상도를 고려하는 경우, 고화질 영상과 저화질 영상의 공간 해상도의 차이가 존재하더라도, 사람의 입체 영상 인식 시 발생하는 양안 억제(the binocular suppression) 효과에 의해 입체 영상의 화질은 고화질 영상 및 저화질 영상 중 우수한 화질을 따라가게 된다. 그리고, 시간 해상도를 고려하는 경우, 고화질 영상의 양자화 잡음 및 저화질 영상의 양자화 잡음 간에 차이가 존재함에 따라, 시간 해상도는 평균 잡음의 레벨로 인식될 수 있다. 여기서, 평균 잡음의 레벨은, 고화질 영상의 양자화 잡음 및 저화질 영상의 양자화 잡음의 중간에 해당하는 잡음 레벨을 의미한다.
이하에서는, 고화질 영상 및 저화질 영상의 양자화 잡음, 시간 해상도, 및 공간 해상도를 고려하여 영상 압축 규격을 결정하는 구성에 대해 구체적으로 설명하기로 한다.
도 2는 본 발명의 일실시예에 따른 영상 압축 규격을 결정하는 방법을 설명하기 위해 제공되는 흐름도이다.
먼저, 210 단계에서, 영상 압축 규격 결정 장치는 3차원 입체 영상을 구성하는 저화질 영상 및 고화질 영상 중 고화질 영상을 부호화할 수 있다. 그리고, 영상 압축 규격 결정 장치는 부호화된 고화질 영상을 채널 1을 통해 전송할 수 있다. 예를 들어, 채널 1은, 고정 방송 채널 또는 위성 방송 채널로서, 채널 1은 8-VSB(Vestigial Side Band) 채널, DVB-T(Digital Video Broadcasting-Terrestrial) 채널, ISDB-T(Integrated Service Digital Broadcasting-Terrestrial), ISDB-Tmm 채널, DVB-S2, 및 DVB-T2 등을 포함할 수 있다.
이때, 영상 압축 규격 결정 장치는 기설정된 허용 범위 내에서 가장 높은 해상도와 화질로 고화질 영상을 부호화할 수 있다. 일례로, 채널 1로 8-VSB 채널이 이용되는 경우, 영상 압축 규격 결정 장치는 기설정된 가용 대역폭 중 가장 넓은 대역폭을 할당하여 부호화된 고화질 영상을 8-VSB 채널을 통해 전송할 수 있다.
이어, 220 단계에서, 영상 압축 규격 결정 장치는 부호화된 저화질 영상의 해상도가 기설정된 기준값 이상을 만족하는 영상 압축 규격을 결정할 수 있다.
보다 상세하게는, 영상 압축 규격 결정 장치는 부호화된 저화질 영상의 수평해상도와 부호화된 고화질 영상의 수평해상도를 비교할 수 있다. 이때, 부호화된 저화질 영상의 수평해상도가 부호화된 고화질 영상의 수평해상도 대비 제1 기준값 이상인 경우, 영상 압축 규격 결정 장치는 제1 기준값 이상에 해당하는 코덱을 영상 압축 규격으로 결정할 수 있다. 다시 말해, 부호화된 저화질 영상의 수평해상도를 이용함에 따라, 저화질 영상을 부호화하기 위해 이용된 코덱을 영상 압축 규격으로 결정할 수 있다. 여기서, 제1 기준값은 1/3으로 기설정될 수 있다.
그리고, 영상 압축 규격 결정 장치는 부호화된 저화질 영상의 수직해상도와 부호화된 고화질 영상의 수직해상도를 비교할 수 있다. 이때, 부호화된 저화질 영상의 수직해상도가 부호화된 고화질 영상의 수직해상도 대비 제2 기준값 이상인 경우, 영상 압축 규격 결정 장치는 제2 기준값 이상에 해당하는 코덱을 영상 압축 규격으로 결정할 수 있다. 여기서, 제2 기준값은 1/3으로 기설정될 수 있다.
일례로, ATSC A/153 표준에 따라 AVC(Advanced Video Codec) 코덱을 이용하여 저화질 영상을 부호화하는 경우, 부호화된 저화질 영상의 공간 해상도는 416×240이다. 다른 예로, SVC(Scalable Video Codec) 코덱을 이용하여 저화질 영상을 부호화하는 경우, 부호화된 저화질 영상의 공간해상도는 624×360 또는 832×348이다. 이때, 부호화된 고화질 영상의 공간 해상도가 720p 이하인 경우, 영상 압축 규격 결정 장치는 부호화된 저화질 영상의 공간 해상도가 부호화된 저화질 영상의 공간 해상도 대비 1/2에 해당하는 AVC 코덱을 영상 압축 규격으로 결정할 수 있다. 그러면, 영상 압축 규격 결정 장치는 AVC 코덱을 이용하여 저화질 영상을 부호화할 수 있다.
이때, 부호화된 고화질 영상의 공간 해상도가 720p을 초과하는 경우, 영상 압축 규격 결정 장치는 부호화된 저화질 영상의 공간 해상도가 부호화된 저화질 영상의 공간 해상도 대비 1/2에 해당하는 SVC 코덱을 영상 압축 규격으로 결정할 수 있다. 그러면, 영상 압축 규격 결정 장치는 SVC 코덱을 이용하여 저화질 영상을 부호화할 수 있다.
그리고, 230 단계에서, 영상 압축 규격 결정 장치는 부호화된 저화질 영상의 시간 해상도 및 양자화 잡음의 평균 전력에 기초하여 저화질 영상을 부호화할 수 있다. 여기서, 시간 해상도로는 프레임율이 이용될 수 있다.
일례로, 저화질 영상의 프레임율과 고화질 영상의 프레임율을 동일하게 적용하여 부호화한 경우, 영상 압축 규격 결정 장치는 부호화된 저화질 영상의 양자화 잡음의 평균 전력과 부호화된 고화질 영상의 양자화 잡음의 평균 전력을 각각 계산할 수 있다. 그리고, 영상 압축 규격 결정 장치는 부호화된 저화질 영상의 양자화 잡음의 평균 전력이 부호화된 고화질 영상의 양자화 잡음의 평균 전력보다 기준배수 이상인지를 결정할 수 있다. 여기서, 기준배수는 2배로 기설정될 수 있다.
이때, 부호화된 저화질 영상의 양자화 잡음의 평균 전력이 부호화된 고화질 영상의 양자화 잡음의 평균 전력보다 기준배수 미만인 경우(230:NO), 240 단계에서, 영상 압축 규격 결정 장치는 결정된 영상 압축 규격에 따라 저화질 영상을 부호화할 수 있다. 즉, 저화질 영상은 220 단계에서 결정된 영상 압축 규격에 따라 부호화될 수 있다.
그리고, 부호화된 저화질 영상의 양자화 잡음의 평균 전력이 부호화된 고화질 영상의 양자화 잡음의 평균 전력보다 기준배수 이상인 경우(230:YES), 250 단계에서, 영상 압축 규격 결정 장치는 기준 프레임율에 기초하여 저화질 영상의 프레임율을 낮추어 부호화할 수 있다. 일례로, 기준 프레임율은 1/2로 기설정될 수 있다. 그러면, 영상 압축 규격 결정 장치는 저화질 영상의 프레임율을 1/2 낮추어 부호화할 수 있다. 이때, 저화질 영상은 220 단계에서 결정된 영상 압축 규격에 따라 저화질 영상의 프레임율을 1/2 낮추어 부호화될 수 있다.
이어, 260 단계에서, 영상 압축 규격 결정 장치는 부호화된 저화질 영상에 대한 스트림을 채널 2를 통해 전송할 수 있다. 일례로, 채널 2로 ATSC M/H 채널을 이용하는 경우, 영상 압축 규격 결정 장치는 ATSC M/H 채널을 통해 부호화된 저화질 영상에 대한 스트림을 전송할 수 있다.
그리고, 270 단계에서, 영상 압축 규격 결정 장치는 저화질 영상을 구성하는 프레임을 긴축하는 과정에서 제거된 프레임을 부호화하여 저화질 영상의 부가 정보를 생성할 수 있다.
일례로, 제거된 프레임을 B-slice 모드로 부호화하는 경우, 영상 압축 규격 결정 장치는 제거된 프레임을 B-slice 모드로 부호화하여 저화질 영상의 부가정보를 생성할 수 있다. 그리고, 영상 압축 규격 결정 장치는 생성된 부가정보를 채널 1을 통해 전송할 수 있다. 여기서, B-Slice가 I-Slice 또는 P-Slice 보다 적은 비트를 사용하여 영상을 표현하기 때문에, 영상 압축 규격 결정 장치는 제거된 프레임을 B-Slice 모드로 부호화할 수 있다. 이에 따라, B-Slice가 I-Slice 또는 P-Slice 보다 적은 비트를 사용하여 영상을 표현하지 않는 경우, 영상 압축 규격 결정 장치는 제거된 프레임을 I-Slice 또는 P-Slice 모드를 이용하여 부호화할 수 있다.
이어, 280 단계에서, 영상 압축 규격 결정 장치는 부호화된 고화질 영상에 대한 스트림, 부호화된 저화질 영상에 대한 스트림, 및 부호화된 부가정보를 각각 패킷화할 수 있다. 예를 들어, 고화질 영상으로 좌영상이 이용되고, 저화질 영상으로 우영상이 이용되는 경우, 고화질 영상에 대한 스트림은 좌영상 스트림으로 표현되고, 저화질 영상에 대한 스트림은 우영상 스트림으로 표현될 수 있다.
이때, 영상 압축 규격 결정 장치는 월 클럭(wall clock)을 이용하여 생성된 동기 정보를 패킷의 헤더 또는 타임스탬프 필드에 삽입할 수 있다. 그리고, 영상 압축 규격 결정 장치는 패킷화를 통해 생성된 부가정보 패킷을 PID(Packet ID)로 지정할 수 있다.
일례로, 영상 압축 규격 결정 장치는 부호화된 고화질 영상에 대한 스트림 및 부호화된 부가 정보를 PES(Packetized Elementary Stream) 단위로 각각 패킷화할 수 있다. 그러면, 영상 압축 규격 결정 장치는 PES 헤더의 PTS 필드에 동기 정보를 삽입할 수 있다. 여기서, 동기 정보는 PTS(Presentation Time Stamp) 정보를 포함할 수 있다.
다른 예로, 영상 압축 규격 결정 장치는 부호화된 저화질 영상에 대한 스트림을 AU(Access Unit) 단위로 패킷화할 수 있다. 그러면, 영상 압축 규격 결정 장치는 RTP와 RTCP의 타임스탬프필드에 동기 정보를 삽입할 수 있다. 다시 말해, 영상 압축 규격 결정 장치는 RTP와 RTCP의 타임스탬프필드를 PTS 값에 기초하여 조정할 수 있다. 이때, 3차원 입체 영상 합성 장치는 A/153에서 제시하는 표준에 따라 RTP와 RTCP의 타임스탬프필드를 이용한 PTS를 추정함을 가정한다.
그리고, 290 단계에서, 영상 압축 규격 결정 장치는 부가정보 패킷, 고화질 영상 패킷, 및 저화질 영상 패킷을 다중화할 수 있다. 이때, 영상 압축 규격 결정 장치는 다중화된 전송스트림을 변조하여 ATSC 방송신호를 3차원 입체영상 합성 장치로 전송할 수 있다.
한편, 270단계에서, 영상 압축 규격 결정 장치는 아래의 3가지 이유로 인해 부호화된 부가정보를 채널 1을 통해 전송할 수 있다.
1) 채널 2로 ATSC M/H 채널, 채널 1로 8-VSB 채널을 이용하고, ATSC M/H 채널을 통해 부호화된 부가정보를 전송하는 경우를 가정하면, 8-VSB 채널을 통해 부호화된 부가 정보를 전송할 때 보다 오류정정 성능이 높은 채널부호(FEC: Forward Error Correction)가 수행된다. 이때, 오류정정 성능이 높은 FEC를 이용하는 경우, 채널 부호화 과정에서 많은 패리티 체크 비트가 추가될 수 있다. 이에 따라, M/H 채널을 이용하는 경우, 8-VSB 채널을 이용할 때 보다 동일한 양의 정보 비트를 전송하기 위해서 전송스트림의 길이가 상당히 증가할 수 있다.
2) 더욱이, 3DTV 서비스는 고정 수신 환경에서 제공되는 서비스이므로 높은 오류정정 성능을 갖는 FEC가 요구되지 않는다. 이에 따라, 높은 오류정정 성능을 갖는 FEC를 사용하는 이동 방송 채널인 채널 2보다는 고정 방송 채널인 채널 1을 통해 부호화된 부가정보를 전송하는 것이 바람직하다.
3) 또한, 영상 압축 규격 결정 장치는 부가정보 패킷을 채널 1의 시간 슬롯에 위치하여 전송한다. 이때, 영상 압축 규격 결정 장치는 MPEG-2 TS의 널 패킷(null packet)에 해당되는 PID를 부가정보 패킷에 부여할 수 있다. 그러면, 기존의 ATSC 1.0 수신장치는 부가정보 패킷을 무시하고, 수신된 전송스트림을 복호화할 수 있다. 또한, 3DTV 수신기는 부가정보 패킷들을 저화질 영상 복호화부에 전달함에 따라, M/H 채널을 통해 전달된 압축 영상보다 프레임율이 2배 높은 저화질 영상을 복원할 수 있다. 여기서, 부가 정보를 MPEG-2 TS의 널 패킷(null packet)에 실어서 전달하는 것으로 설명하였으나, 이에 한정되지 않으며, 부가 정보는 MPEG-2 TS의 널 패킷 이외에 영상 압축에서 이용되는 다양한 패킷에 실어서 전달될 수 있다. 예를 들어, 부가 정보는 임의의 서비스가 정의되지 않은 패킷 식별자(Packet ID: PID)를 가진 디지털 스트림에 실어서 전달될 수 있다.
도 3은 본 발명의 제1 실시예에 따른 영상 압축 규격 결정 장치의 구성을 도시한 블록도이다. 도 3에서, 고화질 영상 부호화부로는 MPEG-2 인코더가 이용되고, 저화질 영상 부호화부로는 H.264 인코더가 이용되는 경우를 가정하여 설명하지만, 반드시 이에 한정되지 아니하며, 고화질 영상 부호화부 및 저화질 영상 부호화부로는 MPEG-2 인코더, H.264. HEVC 등의 다양한 인코더가 이용될 수 있다.
도 3에 따르면, 영상 압축 규격 결정 장치(300)는 고화질 영상 부호화부(310), 압축 규격 결정부(320), 저화질 영상 부호화부(330), 패킷화부(340), 월 클럭(350), 다중화부(360), 및 변조기(370)를 포함할 수 있다. 영상 압축 규격 결정 장치(300)는 고화질 영상 및 저화질 영상으로 구성된 3차원 입체영상을 데이터베이스로부터 로딩할 수 있다.
그러면, 고화질 영상 부호화부(310)는 고화질 영상을 기설정된 허용범위 내에서 가장 높은 해상도와 화질로 부호화할 수 있다.
일례로, 고화질 영상 부호화부(310)로 MPEG-2 인코더를 이용하는 경우, 고화질 영상 부호화부(310)는 고화질 영상을 MPEG-2 인코더를 이용하여 부호화할 수 있다. 그리고, 고화질 영상 부호화부(310)는 기설정된 허용 대역폭 중 가장 넓은 대역폭을 할당하여 부호화된 고화질 영상을 채널 1을 통해 전송할 수 있다. 여기서, 채널 1은, 고정된 단말로 영상을 전송하는 고정 방송 채널로서, 8-VSB(Vestigial Side Band) 채널, DVB-T(Digital Video Broadcasting-Terrestrial), DVB-T2 채널, ISDB-T(Integrated Service Digital Broadcasting-Terrestrial) 채널, DVB-S2 채널 및 ISDB-Tmm 등과 같이 다양한 채널이 이용될 수 있다.
압축 규격 결정부(320)는 부호화된 저화질 영상의 해상도가 부호화된 고화질 영상 대비 기준값 이상에 해당하는 영상 압축 규격을 결정할 수 있다.
일례로, 부호화된 저화질 영상의 수평해상도가 부호화된 고화질 영상의 수평해상도 대비 제1 기준값 이상인 경우, 압축 규격 결정부(320)는 제1 기준값 이상에 해당하는 코덱을 영상 압축 규격으로 결정할 수 있다. 여기서, 제1 기준값은 1/3으로 기설정될 수 있다.
다른 예로, 부호화된 저화질 영상의 수직해상도가 부호화된 고화질 영상의 수직해상도 대비 제2 기준값 이상인 경우, 압축 규격 결정부(320)는 제2 기준값 이상에 해당하는 코덱을 영상 압축 규격으로 결정할 수 있다. 여기서, 제2 기준값은 1/3으로 기설정될 수 있다.
또 다른 예로, 저화질 영상의 프레임율과 고화질 영상의 프레임율을 동일하게 적용하여 부호화한 경우, 영상 압축 규격 결정부(320)는 부호화된 저화질 영상의 양자화 잡음비의 평균 전력 및 부호화된 고화질 영상의 양자화 잡음비의 평균 전력을 각각 계산할 수 있다. 그리고, 영상 압축 규격 결정부(320)는 계산된 평균 전력에 기초하여 부호화된 저화질 영상의 양자화 잡음의 평균 전력이 부호화된 고화질 영상의 양자화 잡음의 평균 전력보다 기준배수 이상인지를 결정할 수 있다. 여기서, 기준배수는 2배로 기설정될 수 있다.
이때, 부호화된 저화질 영상의 양자화 잡음의 평균 전력이 부호화된 고화질
영상의 양자화 잡음의 평균 전력보다 기준배수 미만인 경우, 저화질 영상 부호화부(330)는 결정된 영상 압축 규격에 따라 저화질 영상을 부호화할 수 있다. 그리고, 부호화된 저화질 영상의 양자화 잡음의 평균 전력이 부호화된 고화질 영상의 양자화 잡음의 평균 전력보다 기준배수 이상인 경우, 저화질 영상 부호화부(330)는 기준 프레임율에 기초하여 저화질 영상의 프레임율을 낮추어 부호화할 수 있다. 여기서, 기준 프레임율은 1/2로 기설정될 수 있다. 즉, 저화질 영상 부호화부(330) 저화질 영상의 프레임율을 1/2 낮추어 부호화할 수 있다.
그리고, 저화질 영상 부호화부(330)는 저화질 영상을 구성하는 프레임을 긴축하는 과정에서 제거된 프레임을 부호화하여 저화질 영상의 부가 정보를 생성할 수 있다.
일례로, B-slice 모드 부호화를 이용하는 경우, 저화질 영상 부호화부(330)는 제거된 프레임을 B-slice 모드로 부호화하여 저화질 영상의 부가정보를 생성할 수 있다. 그리고, 저화질 영상 부호화부(330)는 생성된 부가정보를 채널 1을 통해 전송할 수 있다.
다른 예로, I-slice 모드 부호화를 이용하는 경우, 저화질 영상 부호화부(330)는 제거된 프레임을 I-slice 모드로 부호화하여 저화질 영상의 부가정보를 생성하고, 생성된 부가 정보를 채널 1을 통해 전송할 수 있다.
또 다른 예로, P-slice 모드 부호화를 이용하는 경우, 저화질 영상 부호화부(330)는 제거된 프레임을 P-slice 모드로 부호화하여 저화질 영상의 부가정보를 생성하고, 생성된 부가 정보를 채널 1을 통해 전송할 수 있다.
패킷화부(340)는 고화질 영상 패킷화부(341), 저화질 영상 패킷화부(342), 및 부가정보 패킷화부(343)를 포함할 수 있다.
고화질 영상 패킷화부(341)는 부호화된 고화질 영상에 대한 스트림을 제1 패킷 단위로 패킷화하여 고화질 영상 패킷을 생성할 수 있다. 그리고, 고화질 영상 패킷화부(341)는 월 클럭(350)에서 생성된 동기 정보를 고화질 영상에 대한 스트림의 헤더에 삽입할 수 있다.
일례로, 제1 패킷 단위로 PES(Packetized Elementary Stream) 단위가 이용되는 경우, 고화질 영상 패킷화부(341)는 부호화된 고화질 영상에 대한 스트림을 PES(Packetized Elementary Stream) 단위로 패킷화할 수 있다. 그러면, 패킷화를 통해 TS-M 패킷이 고화질 영상 패킷으로 생성될 수 있다. 그리고, 고화질 영상 패킷화부(341)는 월 클럭(350)에서 생성된 동기 정보를 PES 헤더의 PTS 필드에 삽입할 수 있다. 여기서, 동기 정보는 PTS(Presentation Time Stamp) 정보를 포함할 수 있다.
저화질 영상 패킷화부(342)는 부호화된 저화질 영상에 대한 스트림을 제2 패킷 단위로 패킷화할 수 있다. 그리고, 저화질 영상 패킷화부(342)는 월 클럭(350)에서 생성된 동기 정보를 타임스탬프필드에 삽입할 수 있다.
일례로, 제2 패킷 단위로 AU(Access Unit)가 이용되는 경우, 저화질 영상 패킷화부(342)는 부호화된 저화질 영상에 대한 스트림을 AU(Access Unit) 단위로 패킷화할 수 있다. 그러면, 패킷화를 통해 M/H 패킷이 저화질 영상 패킷으로 생성될 수 있다. 그리고, 저화질 영상 패킷화부(342)는 RTP와 RTCP의 타임스탬프필드에 월 클럭(350)에서 생성된 동기 정보를 동기 정보를 삽입할 수 있다. 즉, 저화질 영상 패킷화부(342)는 RTP와 RTCP의 타임스탬프필드를 PTS 값에 기초하여 조정할 수 있다. 이때, 3차원 입체 영상 합성 장치는 A/153에서 제시하는 표준에 따라 RTP와 RTCP의 타임스탬프필드를 이용한 PTS를 추정함을 가정한다.
부가정보 패킷화부(343)는 부호화된 부가정보를 제1 패킷 단위로 패킷화할 수 있다. 일례로, 제1 패킷 단위로 PES 단위가 이용되는 경우, 부가정보 패킷화부(343)는 부호화된 부가정보를 PES 단위로 패킷화할 수 있다. 그리고, 고화질 영상 패킷과 마찬가지로, 부가정보 패킷화부(343)는 월 클럭(350)에서 생성된 동기 정보를 PES 헤더의 PTS 필드에 삽입할 수 있다. 이때, 부가정보 패킷화부(343)는 패킷화를 통해 생성된 부가정보 패킷을 PID(Packet ID)로 지정할 수 있다.
다중화부(360)는 고화질 영상 패킷, 저화질 영상 패킷, 및 부가 정보 패킷을 다중화할 수 있다. 그러면, 변조기(370)는 다중화된 전송스트림을 변조하여 ATSC 방송신호를 3차원 입체영상 합성 장치(500)로 전송할 수 있다. 일례로, 변조기(370)로는 8-VSB 변조기, 8-VSB & MDTV(Mobile Digital Television Vision) 변조기, DVB(Digital Video Broadcasting) 변조기, 및 ISDB(Integrated Service Digital Broadcasting) 변조기 등의 다양한 변조기가 이용될 수 있다.
이상에서는, 도2 및 도 3을 참조하여 부가정보를 제1 패킷 단위로 패킷화하여 고정 방송 채널인 채널 1을 통해 전송하는 것에 대해 설명하였으나, 영상 압축 규격 결정 장치는 부가 정보를 제2 패킷 단위로 패킷화하여 이동 방송 채널인 채널 2를 통해 전송할 수도 있다. 일례로, 제2 패킷 단위로 AU가 이용되는 경우, 영상 압축 규격 장치는 부가 정보를 AU 단위로 패킷화할 수도 있다. 그러면, 부가정보의 패킷화를 통해 생성된 RTP의 타임스탬프필드는 PTS 값에 따라 조절될 수 있다.
이하에서는 도 4 및 도 5를 참조하여 ATSC 방송신호를 수신하여 고화질 영상 및 저화질 영상을 복원하고, 복원된 고화질 영상 및 저화질 영상을 합성하여 3차원 입체영상을 디스플레이하는 과정에 대해 설명하기로 한다.
도 4는 본 발명의 일실시예에 따른 3차원 입체 영상을 복원 및 디스플레이하는 방법을 설명하기 위해 제공되는 흐름도이다.
먼저, 410 단계에서, 3차원 입체영상 합성 장치는 ATSC 방송 신호를 복조하여 전송스트림(590)을 획득할 수 있다. 이때, 획득된 전송스트림(590)은 고화질 영상 패킷들(591), 부가정보 패킷들(592), 및 저화질 영상 패킷들(593)로 구성될 수 있다. 그리고, 여기서, ATSC 방송 신호는 부호화된 저화질 영상의 해상도 및 부호화된 저화질 영상의 양자화 잡음의 평균 전력 중 적어도 하나에 기초하여 영상 압축 규격 결정 장치에서 부호화된 저화질 영상을 포함할 수 있다.
이어, 420 단계에서, 3차원 입체영상 합성 장치는 전송스트림을 역다중화하여, 430 단계에서, 3차원 입체영상 합성 장치는 전송스트림을 구성하는 각 패킷의 PID를 이용하여 전송스트림을 고화질 영상 패킷, 저화질 영상 패킷, 및 부가정보 패킷으로 분리할 수 있다. 다시 말해, 3DTV 수신 모드인 경우, 3차원 입체영상 합성 장치는 고화질 영상 패킷, 저화질 영상 패킷, 및 부가정보 패킷을 모두 검색하고, 전송스트림에 포함된 PID를 이용하여 전송스트림으로부터 고화질 영상 패킷, 저화질 영상 패킷, 및 부가정보 패킷을 분리할 수 있다.
여기서, 고화질 영상 패킷은 영상 압축 규격 결정 장치에서 채널 1을 통해 전송된 패킷이다. 이때, 채널 1은, 고정된 단말로 영상을 전송하는 고정 방송 채널로서, 8-VSB(Vestigial Side Band) 채널, DVB-T(Digital Video Broadcasting-Terrestrial), DVB-T2 채널, ISDB-Tmm 채널 및 ISDB-T(Integrated Service Digital Broadcasting-Terrestrial) 채널 등과 같이 다양한 채널이 이용될 수 있다. 예를 들어,, 채널 1로 8-VSB 채널이 이용된 경우, 고화질 영상 패킷은 8-VSB 패킷이 될 수 있다.
그리고, 저화질 영상 패킷은 영상 압축 규격 결정 장치에서 채널 2를 통해 전송된 패킷이다. 여기서, 채널 2는, 이동 또는 휴대 가능한 단말로 영상을 전송하는 이동 방송 채널로서, ATSC M/H(Advanced Television Systems Committee Mobile/Handheld) 채널, DVB-H(Digital Video Broadcasting-Handheld), DVB-T2 mobile, NGH 채널 및 ISDB-T onseg, ISDB-Tmm 채널 등과 같이 다양한 방송 채널이 이용될 수 있다. 예를 들어, 채널 2로 ATSC M/H 채널이 이용된 경우, 저화질 영상 패킷은 M/H 패킷이 될 수 있다.
반면, 2D 모드로 방송을 시청하는 경우, 3차원 입체영상 합성 장치는 전송스트림에 포함된 PID를 이용하여 고화질 영상 패킷만 방송 신호로 인식하여 수신하고, 저화질 영상 패킷 및 부가정보 패킷은 폐기할 수 있다.
이때, 역다중화 과정에서, 3차원 입체영상 합성 장치는 전송스트림으로부터 동기 정보를 추출할 수 있다. 일례로, 동기 정보는 PTS 정보를 포함할 수 있다. 이때, 동기 정보는 고화질 영상 패킷 및 부가정보 패킷의 헤더에 각각 삽입되고, 저화질 영상 패킷의 타임스탬프 필드에 삽입될 수 있다.
그리고, 440 단계에서, 3차원 입체영상 합성 장치는 고화질 영상 복호기를 이용하여 고화질 영상 패킷을 복호화하여 고화질 영상을 복원할 수 있다. 일례로, 고화질 영상 복호기로는 MPEG-2 디코더 등의 다양한 디코더가 이용될 수 있다.
이어, 450 단계에서, 3차원 입체영상 합성 장치는 저화질 영상 복호기를 이용하여 저화질 영상 패킷 및 부가정보 패킷을 복호화하여 저화질 영상을 복원할 수 있다. 일례로, 저화질 영상 복호기로는 H.264 디코더 등의 다양한 디코더가 이용될 수 있다.
그러면, 460 단계에서, 3차원 입체영상 합성 장치는 복원된 고화질 영상 및 복원된 저화질 영상을 프레임 버퍼에 저장할 수 있다.
그리고, 470 단계에서, 3차원 입체영상 합성 장치는 추출된 동기정보를 기초로 복원된 고화질 영상 및 복원된 저화질 영상을 합성하여 3차원 입체영상을 복원할 수 있다. 예를 들어, 좌영상으로 고화질 영상이 이용되고, 우영상으로 저화질 영상이 이용된 경우, 3차원 입체영상 합성 장치는 좌영상과 우영상을 합성하여 3차원 입체 영상을 복원할 수 있다.
이어, 480 단계에서, 3차원 입체영상 합성 장치는 복원된 3차원 입체영상을 디스플레이할 수 있다.
이처럼, 도 3에 따르면, 전송스트림에 포함된 PID를 이용하여 역다중화함에 따라, 8-VSB 등의 고정 방송 채널을 통해 메인 서비스 패킷인 고화질 영상 패킷과 부가정보 패킷이 섞여서 수신되더라도 기존의 ATSC 수신기는 추가적인 기능의 개입 없이도 전송스트림에서 부가정보 패킷을 분리해 낼 수 있다.
도 5는 본 발명의 일실시예에 따른 3차원 입체 영상 합성 장치의 구성을 도시한 블럭도이다.
도 5에 따르면, 3차원 입체 영상 합성 장치(500)는 복조기(510), 역다중화부(520), 버퍼(530), 고화질 영상 복호화부(540), 저화질 영상 복호화부(550), 영상 합성부(560), 및 3D A/V 디스플레이(570)를 포함할 수 있다.
복조기(510)는 영상 압축 규격 결정 장치로부터 전송된 ATSC 방송 신호를 수신하고, 수신된 ATSC 방송 신호를 복조하여 전송스트림을 획득할 수 있다. 여기서, ATSC 방송 신호는 부호화된 저화질 영상의 해상도 및 부호화된 저화질 영상의 양자화 잡음의 평균 전력 중 적어도 하나에 기초하여 영상 압축 규격 결정 장치에서 부호화된 저화질 영상을 포함할 수 있다. 그리고, 전송스트림(590)은 고화질 영상 패킷들(591), 부가정보 패킷들(592), 및 저화질 영상 패킷들(593)로 구성될 수 있다. 이때, 복조기(510)로는 8-VSB 복조기가 이용될 수 있다. 이외에, 복조기(510)로는 8-VSB & MDTV(Mobile Digital Television Vision) 복조기, DVB(Digital Video Broadcasting) 복조기, ISDB(Integrated Service Digital Broadcasting) 복조기 등이 이용될 수도 있다.
역다중화부(520)는 획득된 전송스트림을 역다중화하여 전송스트림으로부터 부가정보 패킷, 고화질 영상 패킷, 및 저화질 영상 패킷을 분리할 수 있다. 이때, 역다중화부(520)는 전송스트림으로부터 동기 정보를 추출할 수 있다. 여기, 동기 정보는 고화질 영상 패킷 및 부가정보 패킷의 헤더에 각각 삽입되고, 저화질 영상 패킷의 타임스탬프 필드에 삽입될 수 있다. 일례로, 동기 정보는 PTS 정보를 포함할 수 있다.
이때, 역다중화부(520)는 전송스트림에 포함된 PID를 이용하여 전송스트림으로부터 부가정보 패킷, 고화질 영상 패킷, 및 저화질 영상 패킷을 분리할 수 있다. 이처럼, 3DTV 수신용 역다중화부는 부가정보 패킷(MPEG-TS null packet)의 PID를 무시하지 않고 3DTV 서비스용 부가정보 패킷으로 분리할 수 있다는 점에서, 기존의 2DTV 수신용 역다중화부와 상이하다.
그리고, 분리된 패킷들은 각각 해당 버퍼(530)에 저장될 수 있다. 일례로, 고화질 영상 패킷은 고화질 영상 패킷 버퍼(531)에 저장되고, 저화질 영상 패킷은 저화질 영상 패킷 버퍼(533)에 저장되고, 부가정보 패킷은 부가정보 패킷 버퍼(532)에 저장될 수 있다.
고화질 영상 복호화부(540)는 고화질 영상 패킷 버퍼(531)에 저장된 고화질 영상 패킷들을 복호화하여 고화질 영상을 복원할 수 있다. 일례로, 고화질 영상 복호화부(540)는 MPEG-2 디코더를 이용하여 고화질 영상 패킷들을 복호화할 수 있다. 이때, 고화질 영상 복호화부(540)는 MPEG-2 디코더 이외에 다양한 디코더를 이용하여 고화질 영상 패킷들을 복호화할 수도 있다.
그리고, 저화질 영상 복호화부(540)는 저화질 영상 패킷 버퍼(533)에 저장된 저화질 영상 패킷들 및 부가정보 패킷 버퍼(532)에 저장된 부가정보 패킷들을 복호화하여 저화질 영상을 복원할 수 있다. 일례로, 저화질 영상 복호화부(540)는 H.264 디코더를 이용하여 저화질 영상 패킷들 및 부가정보 패킷들을 복호화할 수 있다. 이때, 고화질 영상 복호화부(540)는 H.264 디코더 이외에 다양한 디코더를 이용하여 고화질 영상 패킷들을 복호화할 수도 있다.
그러면, 영상 합성부(560)는 동기정보에 기초하여 복원된 저화질 영상 및 복원된 고화질 영상을 합성함에 따라 3차원 입체영상을 복원할 수 있다. 그리고, 3D A/V 디스플레이(570)는 복원된 3차원 입체영상을 디스플레이할 수 있다.
이때, 고화질 영상은, 고화질 영상 및 저화질 영상 중 어느 하나의 영상이고, 저화질 영상은, 상기 고화질 영상 및 저화질 영상 중 고화질 영상에 해당하는 영상을 제외한 나머지 하나의 영상일 수 있다.
예를 들어, 좌영상으로 고화질 영상이 이용되는 경우, 우영상으로 저화질 영상이 이용될 수 있다. 그리고, 좌영상으로 저화질 영상이 이용되는 경우, 우영상으로 고화질 영상이 이용될 수 있다. 그러면, 영상 합성부(560)는 복원된 좌영상과 복원된 우영상을 합성하여 3차원 입체영상을 복원할 수 있다.
지금까지, 고화질 영상 부호화부 및 고화질 영상 복화화부에서 MPEG-2 코덱을 이용하고, 저화질 영상 부호화부 및 저화질 영상 복호화부에서 H.264 코덱을 이용하는 구성에 대해 설명하였으나, 고화질 영상 부호화부 및 고화질 영상 복호화부로는 고화질 영상을 부호화 및 복호화하기 위한 계층적 비디오 코덱이 이용될 수 있다. 그리고, 저화질 영상 부호화부 및 저화질 영상 복호화부로는 저화질 영상을 부호화 및 복호화하기 위한 계층적 비디오 코덱이 이용될 수 있다. 예를 들어, 계층적 비디오 코덱은, HEVC, SVC 코덱, H.264 등을 포함할 수 있다.
또한, 이상에서는, 좌영상으로 고화질 영상이 이용되고, 우영상으로 저화질 영상이 이용되는 것에 대해 설명하였으나, 좌영상으로 저화질 영상이 이용되고, 우영상으로 고화질 영상이 이용될 수도 있다.
또한, 이상에서 설명한 고화질 영상에 대한 스트림 및 저화질 영상에 대한 스트림은 디지털 스트림 형태를 가지며, 부가 정보는 디지털 스트림에 실어서 3차원 입체 영상 합성 장치로 전송될 수 있다. 다시 말해, 본 발명의 일실시예에 따른 영상 압축 규격 결정 장치는, 부가 정보를 고화질 영상에 대한 스트림에 실어서 3차원 입체 영상 합성 장치로 전송할 수도 있고, 부가 정보를 저화질 영상에 대한 스트림에 실어서 3차원 입체 영상 합성 장치로 전송할 수도 있다.
예를 들어, 도 6을 참고하면, 고화질 영상 패킷화부(641)에서 생성된 고화질 영상 패킷은 부가 정보 패킷화부(643)에서 생성된 부가 정보 패킷과 함께 3차원 입체 영상 합성 장치로 전송될 수 있다. 마찬가지로, 도 7을 참고하면, 저화질 영상 패킷화부(741)에서 생성된 저화질 영상 패킷과 부가 정보 패킷화부(743)에서 생성된 부가 정보 패킷은 함께 3차원 입체 영상 합성 장치로 전송될 수 있다. 이때, 부가 정보를 고화질 영상에 대한 스트림에 실어서 전송하는 경우, 저화질 영상 스트림에 실어서 전송하는 경우보다 효율이 향상될 수 있다.
그리고, 부가 정보는, SVC(Scalable Video Codec)의 향상 계층(enhancement layer) 정보, 3차원 영상의 깊이 정보 (3D Depth information), 양안 시차(disparity map) 정보, 다시점 3차원 영상의 깊이 정보, 및 다시점 3차원 영상의 영상 정보 등을 포함할 수 있다.
또한, 이상에서는, 채널 1로는 고정 방송 채널을 이용하는 것에 대해 설명하였으나, 고화질 영상은 고정 방송 서비스 이외에 위성 방송 서비스를 지원하는 영상을 포함할 수도 있다. 이처럼, 위성 방송 서비스가 이용되는 경우, 채널 1은 위성 방송 채널을 이용할 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (25)

  1. 고화질 영상 및 저화질 영상으로 구성된 3차원 입체영상을 대상으로, 상기 고화질 영상을 부호화하는 단계;
    부호화된 저화질 영상의 해상도가 상기 부호화된 고화질 영상 대비 기준값 이상에 해당하는 영상 압축 규격을 결정하는 단계;
    상기 결정된 영상 압축 규격에 따라 상기 저화질 영상을 부호화하는 단계;
    상기 부호화된 고화질 영상을 채널 1을 통해 전송하는 단계; 및
    상기 부호화된 저화질 영상을 채널 2를 통해 전송하는 단계
    를 포함하는 영상 압축 규격 결정 방법.
  2. 제1항에 있어서,
    상기 영상 압축 규격을 결정하는 단계는,
    상기 부호화된 저화질 영상의 수평해상도가 상기 부호화된 고화질 영상의 수평해상도 대비 제1 기준값 이상에 해당하는 영상 압축 규격을 결정하는 것을 특징으로 하는 영상 압축 규격 결정 방법.
  3. 제1항에 있어서,
    상기 영상 압축 규격을 결정하는 단계는,
    상기 부호화된 저화질 영상의 수직해상도가 상기 부호화된 고화질 영상의 수직해상도 대비 제2 기준값 이상에 해당하는 영상 압축 규격을 결정하는 것을 특징으로 하는 영상 압축 규격 결정 방법.
  4. 제1항에 있어서,
    상기 영상 압축 규격을 결정하는 단계는,
    상기 부호화된 저화질 영상의 양자화 잡음비의 평균 전력을 계산하는 단계;
    상기 부호화된 고화질 영상의 양자화 잡음비의 평균 전력을 계산하는 단계;
    상기 계산된 저화질 영상의 평균 전력이 상기 고화질 영상의 평균 전력보다 기준 배수 이상인지 결정하는 단계
    를 포함하는 영상 압축 규격 결정 방법.
  5. 제4항에 있어서,
    상기 저화질 영상을 부호화하는 단계는,
    상기 저화질 영상의 평균 전력이 상기 고화질 영상의 평균 전력보다 기준 배수 이상으로 결정됨에 따라, 기준 프레임율에 기초하여 상기 저화질 영상의 프레임율을 낮추어 부호화하는 것을 특징으로 하는 영상 압축 규격 결정 방법.
  6. 제4항에 있어서,
    상기 저화질 영상을 부호화하는 단계는,
    상기 저화질 영상의 평균 전력이 상기 고화질 영상의 평균 전력보다 기준 배수 미만으로 결정됨에 따라, 상기 저화질 영상을 상기 결정된 영상 압축 규격에 따라 부호화하는 것을 특징으로 하는 영상 압축 규격 결정 방법.
  7. 제1항에 있어서,
    상기 저화질 영상을 부호화하는 단계는,
    상기 저화질 영상을 부호화하면서 제거된 프레임에 기초하여 상기 저화질 영상의 부가 정보를 생성하는 단계; 및
    상기 생성된 부가 정보를 부호화하는 단계
    를 포함하는 영상 압축 규격 결정 방법.
  8. 제7항에 있어서,
    상기 부호화된 부가 정보를 상기 채널 1 및 상기 채널 2 중 어느 하나를 통해 전송하는 단계
    를 더 포함하는 영상 압축 규격 결정 방법.
  9. 제7항에 있어서,
    상기 부가 정보는, SVC(Scalable Video Codec)의 향상 계층 정보, 3차원 영상의 깊이 정보(3D Depth Information), 양안 시차 (disparity map) 정보, 다시점 3차원 영상의 깊이 정보, 및 다시점 3차원 영상의 영상 정보 중 적어도 하나를 포함하는 영상 압축 규격 결정 방법.
  10. 제1항에 있어서,
    상기 고화질 영상을 부호화하는 단계는,
    상기 고화질 영상을 기설정된 허용범위 내에서 가장 높은 해상도와 화질로 부호화하는 것을 특징으로 하는 영상 압축 규격 결정 방법.
  11. 제1항에 있어서,
    상기 채널 1을 통해 전송된 고화질 영상 및 상기 채널 2를 통해 전송된 저화질 영상을 합성하여 3차원 입체 영상을 복원하기 위해 이용하는 동기 정보를 전송하는 단계
    를 더 포함하는 것을 특징으로 하는 영상 압축 규격 결정 방법.
  12. 제1항에 있어서,
    상기 고화질 영상은, 고화질 영상 및 저화질 영상 중 어느 하나의 영상이고,
    상기 저화질 영상은, 상기 고화질 영상 및 저화질 영상 중 고화질 영상에 해당하는 영상을 제외한 나머지 하나의 영상인 것을 특징으로 하는 영상 압축 규격 결정 방법.
  13. 제1항에 있어서,
    상기 채널 1은, 상기 고화질 영상을 전송하기 위해 이용되는 고정 방송 채널을 포함하고,
    상기 채널 2는, 상기 저화질 영상을 전송하기 위해 이용되는 이동 방송 채널을 포함하는 것을 특징으로 하는 영상 압축 규격 결정 방법.
  14. 제13항에 있어서,
    상기 영상 압축 규격 결정부는,
    상기 부호화된 저화질 영상의 수평해상도가 상기 부호화된 고화질 영상의 수평해상도 대비 제1 기준값 이상에 해당하는 영상 압축 규격을 결정하는 것을 특징으로 하는 영상 압축 규격 결정 장치.
  15. 제13항에 있어서,
    상기 영상 압축 규격 결정부는,
    상기 부호화된 저화질 영상의 수직해상도가 상기 부호화된 고화질 영상의 수직해상도 대비 제2 기준값 이상에 해당하는 영상 압축 규격을 결정하는 것을 특징으로 하는 영상 압축 규격 결정 장치.
  16. 제13항에 있어서,
    상기 영상 압축 규격 결정부는,
    상기 부호화된 저화질 영상의 양자화 잡음비의 평균 전력 및 상기 부호화된 고화질 영상의 양자화 잡음비의 평균 전력을 계산하고, 상기 계산된 저화질 영상의 평균 전력이 상기 고화질 영상의 평균 전력보다 기준 배수 이상인지 결정하는 것을 특징으로 하는 영상 압축 규격 결정 장치.
  17. 제16항에 있어서,
    상기 저화질 영상 부호화부는,
    상기 저화질 영상의 평균 전력이 상기 고화질 영상의 평균 전력보다 기준 배수 이상으로 결정됨에 따라, 기준 프레임율에 기초하여 상기 저화질 영상의 프레임율을 낮추어 부호화하고,
    상기 저화질 영상의 평균 전력이 상기 고화질 영상의 평균 전력보다 기준 배수 미만으로 결정됨에 따라, 상기 저화질 영상을 상기 결정된 영상 압축 규격에 따라 부호화하는 것을 특징으로 하는 영상 압축 규격 결정 장치.
  18. 제13항에 있어서,
    상기 저화질 영상 부호화부는,
    상기 저화질 영상을 부호화하면서 제거된 프레임에 기초하여 저화질 영상의 부가 정보를 생성하고, 상기 생성된 부가 정보를 부호화하여 상기 채널 1을 통해 전송하는 것을 특징으로 하는 영상 압축 규격 결정 장치.
  19. 제18항에 있어서,
    상기 부가 정보는, SVC(Scalable Video Codec)의 향상 계층 정보, 3차원 영상의 깊이 정보(3D Depth Information) 다시점 3차원 영상의 깊이 정보, 양안 시차 (disparity map) 정보, 및 다시점 3차원 영상의 영상 정보 중 적어도 하나를 포함하는 영상 압축 규격 결정 장치.
  20. 제13항에 있어서,
    상기 고화질 영상은, 고화질 영상 및 저화질 영상 중 어느 하나의 영상이고,
    상기 저화질 영상은, 상기 고화질 영상 및 저화질 영상 중 고화질 영상에 해당하는 영상을 제외한 나머지 하나의 영상이고,
    상기 채널 1은, 상기 고화질 영상을 전송하기 위해 이용되는 고정 방송 채널 또는 위성 방송 채널을 포함하고,
    상기 채널 2는, 상기 저화질 영상을 전송하기 위해 이용되는 이동 방송 채널을 포함하는 것을 특징으로 하는 영상 압축 규격 결정 장치.
  21. 방송 신호를 복조하여 전송스트림을 획득하는 단계;
    상기 전송스트림을 역다중화하여 상기 전송스트림으로부터 고화질 영상 패킷, 저화질 영상 패킷, 및 부가정보 패킷을 분리하는 단계;
    상기 분리된 고화질 영상 패킷, 저화질 영상 패킷, 및 부가정보 패킷을 프레임 버퍼에 저장하는 단계;
    상기 고화질 영상 패킷을 복호화하여 고화질 영상을 복원하는 단계;
    상기 저화질 영상 패킷 및 상기 부가정보를 복호화하여 저화질 영상을 복원하는 단계;
    상기 복원된 고화질 영상 및 상기 복원된 저화질 영상을 동기 정보에 기초하여 합성하는 단계; 및
    상기 합성을 통해 복원된 3차원 입체 영상을 디스플레이하는 단계
    를 포함하는 3차원 입체 영상 합성 방법.
  22. 제21항에 있어서,
    상기 방송신호는, 부호화된 저화질 영상의 해상도 및 부호화된 저화질 영상의 양자화 잡음비의 평균 전력 중 적어도 하나에 기초하여 부호화된 저화질 영상을 포함하는 것을 특징으로 하는 3차원 입체 영상 합성 방법.
  23. 제21항에 있어서,
    상기 동기정보는, PTS(Presentation Time Stamp) 정보를 포함하고,
    상기 고화질 영상 패킷의 헤더에 상기 동기정보가 삽입되고,
    상기 저화질 영상 패킷의 타임스탬프 필드에 상기 동기정보가 삽입되고,
    상기 부가정보 패킷의 헤더에 상기 동기정보가 삽입되는 것을 특징으로 하는 3차원 입체 영상 합성 방법.
  24. 제21항에 있어서,
    상기 부가 정보는, SVC(Scalable Video Codec)의 향상 계층 정보, 3차원 영상의 깊이 정보(3D Depth Information), 양안 시차 (disparity map) 정보 다시점 3차원 영상의 깊이 정보, 및 다시점 3차원 영상의 영상 정보 중 적어도 하나를 포함하는 3차원 입체 영상 합성 방법.
  25. 방송 신호를 복조하여 전송스트림을 획득하는 복조기;
    상기 획득된 전송스트림을 역다중화하여 상기 전송스트림으로부터 고화질 영상 패킷, 저화질 영상 패킷, 및 부가정보 패킷을 분리하는 역다중화부;
    상기 고화질 영상 패킷을 복호화하여 고화질 영상을 복원하는 고화질 영상 복호화부;
    상기 저화질 영상 패킷 및 상기 부가정보를 복호화하여 저화질 영상을 복원하는 저화질 영상 복호화부;
    상기 복원된 고화질 영상 및 상기 복원된 저화질 영상을 동기 정보에 기초하여 합성하는 영상 합성부; 및
    상기 합성을 통해 생성된 3차원 입체 영상을 디스플레이하는 3차원 A/V 디스플레이
    를 포함하는 3차원 입체 영상 합성 장치.
PCT/KR2011/008557 2010-11-12 2011-11-10 3dtv 서비스에서의 영상 압축 규격 결정 방법 및 장치 WO2012064123A2 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP11839222.4A EP2640073B1 (en) 2010-11-12 2011-11-10 Method and apparatus for determining a video compression standard in a 3dtv service
US13/885,143 US9288466B2 (en) 2010-11-12 2011-11-10 Method and apparatus for determining a video compression standard in a 3DTV service
CN201180054612.3A CN103339933B (zh) 2010-11-12 2011-11-10 3dtv服务中的图像压缩规格确定方法及装置

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2010-0112753 2010-11-12
KR20100112753 2010-11-12
KR10-2011-0043134 2011-05-06
KR20110043134 2011-05-06
KR1020110102500A KR101910192B1 (ko) 2010-11-12 2011-10-07 3ｄｔｖ 서비스에서의 영상 압축 규격 결정 방법 및 장치
KR10-2011-0102500 2011-10-07

Publications (3)

Publication Number Publication Date
WO2012064123A2 WO2012064123A2 (ko) 2012-05-18
WO2012064123A3 WO2012064123A3 (ko) 2012-07-19
WO2012064123A4 true WO2012064123A4 (ko) 2012-10-26

Family

ID=46268632

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/008557 WO2012064123A2 (ko) 2010-11-12 2011-11-10 3dtv 서비스에서의 영상 압축 규격 결정 방법 및 장치

Country Status (5)

Country Link
US (1) US9288466B2 (ko)
EP (1) EP2640073B1 (ko)
KR (1) KR101910192B1 (ko)
CN (1) CN103339933B (ko)
WO (1) WO2012064123A2 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101645465B1 (ko) * 2010-07-23 2016-08-04 삼성전자주식회사 휴대용 단말기에서 입체 영상 데이터를 생성하기 위한 장치 및 방법
JP2013243626A (ja) * 2012-05-23 2013-12-05 Sony Corp 信号処理装置、信号処理方法、およびプログラム
KR101664758B1 (ko) * 2012-09-21 2016-10-10 노키아 테크놀로지스 오와이 비디오 코딩 방법 및 장치
KR102121947B1 (ko) 2013-09-27 2020-06-11 삼성전자주식회사 신호 처리 장치 및 그의 신호 처리 방법
KR20150128151A (ko) * 2014-05-08 2015-11-18 삼성전자주식회사 비디오 스트리밍 방법 및 이를 지원하는 전자 장치
US10469856B2 (en) 2014-11-25 2019-11-05 Electronics And Telelcommunications Research Institute Apparatus and method for transmitting and receiving 3DTV broadcasting
KR102517570B1 (ko) 2015-02-11 2023-04-05 한국전자통신연구원 3dtv 방송 송수신 장치
MX2018002265A (es) * 2015-08-25 2018-03-23 Sony Corp Aparato de transmision, metodo de transmision, aparato de recepcion, y metodo de recepcion.
KR102525216B1 (ko) 2016-03-21 2023-04-25 한국전자통신연구원 영상 압축률 및 프레임 제어를 통한 네트워크 대역폭 관리 방법 및 이를 반영한 영상 전송 시스템
KR102361314B1 (ko) 2016-07-19 2022-02-10 한국전자통신연구원 360도 가상현실 방송 서비스 제공 방법 및 장치
JP7065300B2 (ja) * 2016-09-29 2022-05-12 パナソニックＩｐマネジメント株式会社 再生方法、及び再生装置
KR102546152B1 (ko) 2017-02-15 2023-06-22 한국전자통신연구원 고정/이동방송 융합형 3DTV에서 화질 개선을 위한 부가 데이터(Video Enhancement Information, VEI) 시그널링 방법 및 장치
CN109600619A (zh) * 2018-12-11 2019-04-09 晶晨半导体(上海)股份有限公司 一种解码硬件的分时复用方法
KR102260653B1 (ko) * 2019-04-02 2021-06-04 국민대학교산학협력단 3d 영상 제공을 위한 영상 생성 시스템
KR102029140B1 (ko) * 2019-04-30 2019-10-07 배경 감시영상 생성장치
CN112383816A (zh) * 2020-11-03 2021-02-19 广州长嘉电子有限公司 基于安卓系统介入的atsc制式信号解析方法及系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100751422B1 (ko) * 2002-12-27 2007-08-23 한국전자통신연구원 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치
CN101248675B (zh) * 2004-02-09 2010-12-15 松下电器产业株式会社 播放接收装置、播放接收方法和播放接收电路
CN101292538B (zh) * 2005-10-19 2012-11-28 汤姆森特许公司 使用可缩放的视频编码的多视图视频编码
KR100747550B1 (ko) * 2005-12-09 2007-08-08 한국전자통신연구원 Ｄｍｂ 기반의 3차원 입체영상 서비스 제공 방법과, ｄｍｂ기반의 3차원 입체영상 서비스를 위한 복호화 장치 및 그방법
KR100905723B1 (ko) * 2006-12-08 2009-07-01 한국전자통신연구원 비실시간 기반의 디지털 실감방송 송수신 시스템 및 그방법
US8594180B2 (en) * 2007-02-21 2013-11-26 Qualcomm Incorporated 3D video encoding
MY162861A (en) * 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
KR20100050426A (ko) 2008-11-04 2010-05-13 한국전자통신연구원 3차원 방송 서비스 송수신 방법 및 시스템
KR100972792B1 (ko) 2008-11-04 2010-07-29 한국전자통신연구원 스테레오스코픽 영상을 동기화하는 장치 및 방법과 이를 이용한 스테레오스코픽 영상 제공 장치 및 방법
KR101204112B1 (ko) * 2008-12-22 2012-11-22 한국전자통신연구원 디지털 멀티미디어 방송 시스템의 송수신 장치 및 그 방법
US20100177162A1 (en) * 2009-01-15 2010-07-15 Charles Macfarlane Method and system for enabling 3d video and image processing using one full resolution video stream and one lower resolution video stream
CN102415100B (zh) * 2009-04-27 2015-02-04 Lg电子株式会社 广播接收机及其3d视频数据处理方法
JP5448558B2 (ja) * 2009-05-01 2014-03-19 ソニー株式会社 送信装置、立体画像データの送信方法、受信装置、立体画像データの受信方法、中継装置および立体画像データの中継方法
KR20110011000A (ko) * 2009-07-27 2011-02-08 삼성전자주식회사 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 생성 방법 및 그 장치, 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 수신 방법 및 그 장치
RU2011120192A (ru) * 2009-09-22 2013-10-27 Панасоник Корпорэйшн Устройство кодирования изображения, устройство декодирования изображения, способ кодирования изображения и способ декодирования изображения
CN101668205B (zh) * 2009-09-25 2011-04-20 南京邮电大学 基于残差宏块自适应下采样立体视频压缩编码方法
US8953019B2 (en) * 2009-10-20 2015-02-10 Samsung Electronics Co., Ltd. Method and apparatus for generating stream and method and apparatus for processing stream
KR101694821B1 (ko) * 2010-01-28 2017-01-11 삼성전자주식회사 다시점 비디오스트림에 대한 링크 정보를 이용하는 디지털 데이터스트림 전송 방법와 그 장치, 및 링크 정보를 이용하는 디지털 데이터스트림 전송 방법과 그 장치
CN101795411B (zh) * 2010-03-10 2011-09-07 宁波大学 一种立体图像的人眼最小可辨变化分析方法
CN101867816A (zh) * 2010-05-10 2010-10-20 南京邮电大学 一种基于人眼视觉特性的立体视频非对称压缩编码方法
KR20120012301A (ko) * 2010-07-30 2012-02-09 삼성전자주식회사 디지털 방송에서의 확장 방송 서비스 송수신 방법 및 장치
EP2605514B1 (en) * 2010-08-09 2017-07-12 Panasonic Corporation Image encoding method, image decoding method, image encoding device, and image decoding device

Also Published As

Publication number Publication date
EP2640073A2 (en) 2013-09-18
US9288466B2 (en) 2016-03-15
WO2012064123A3 (ko) 2012-07-19
WO2012064123A2 (ko) 2012-05-18
CN103339933A (zh) 2013-10-02
KR20120051574A (ko) 2012-05-22
US20130235159A1 (en) 2013-09-12
KR101910192B1 (ko) 2018-10-22
EP2640073A4 (en) 2017-05-31
EP2640073B1 (en) 2018-09-19
CN103339933B (zh) 2016-04-27

Similar Documents

Publication Publication Date Title
WO2012064123A4 (ko) 3dtv 서비스에서의 영상 압축 규격 결정 방법 및 장치
WO2011108903A2 (ko) 복수 전송 계층 연동형 3ｄｔｖ 방송 서비스 제공을 위한 송신 및 수신 방법, 송신 및 수신 장치
KR100950867B1 (ko) 패킷화된 비디오 데이터 처리 방법, 이미지 데이터를 디코딩하는 방법, 및 비디오 방송 방법
KR101856093B1 (ko) 고정 및 이동 융합형 ３ｄｔｖ에서 좌／우 스트림을 동기화하는 컨텐츠 제공 장치 및 방법, 그리고, 컨텐츠 재생 장치 및 방법
US20130070859A1 (en) Multi-layer encoding and decoding
WO2016129981A1 (ko) 미디어 데이터를 송수신하는 방법 및 장치
US9030527B2 (en) Method for providing and recognizing transmission mode in digital broadcasting
WO2013015585A1 (ko) 송신 장치, 수신 장치 및 그 송수신 방법
KR101965385B1 (ko) 융합형 ３ｄｔｖ에서 컨텐츠 스트림에 접근하는 컨텐츠 제공 장치 및 방법, 그리고 컨텐츠 재생 장치 및 방법
US20130250057A1 (en) Method for service compatibility-type transmitting in digital broadcast
KR101853504B1 (ko) 비디오 신호의 보조 데이터 공간에 동기 정보를 추가하여 영상을 동기화하는 장치 및 방법
WO2012015288A2 (en) Method and apparatus for transmitting and receiving extended broadcast service in digital broadcasting
EP1421796A1 (en) System and method for broadcast of independently encoded signals on atsc channels
US20040190629A1 (en) System and method for broadcast of independently encoded signals on atsc channels
WO2012057564A2 (ko) 모바일 환경에서 3차원 방송 신호를 수신하기 위한 수신 장치 및 방법
Cho et al. Carriage of 3D audio-visual services by T-DMB
KR101096802B1 (ko) 비디오 스트림 혼합장치 및 그 방법
KR20150057149A (ko) 재전송망에 기초한 3ｄ 방송 서비스 제공 시스템 및 방법
WO2018016879A1 (ko) 360도 가상현실 방송 서비스 제공 방법 및 장치
KR102139532B1 (ko) 비디오 스트림 송/수신 장치 및 비디오 스트림 송/수신 방법
WO2013055032A1 (ko) 융합형 ３ｄｔｖ에서 컨텐츠 스트림에 접근하는 컨텐츠 제공 장치 및 방법, 그리고 컨텐츠 재생 장치 및 방법
WO2010027142A2 (ko) 다시점 비디오의 송수신 시스템 및 방법
Lee et al. Delivery system and receiver for service-compatible 3DTV broadcasting
KR101277267B1 (ko) 3차원 방송을 위한 데이터 코덱 방법 및 장치
WO2013022315A2 (ko) 영상 제공 장치 및 방법, 그리고 영상 재생 장치 및 방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180054612.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11839222

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13885143

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2011839222

Country of ref document: EP