WO2013034073A1 - 3d立体视频编码传输方法及装置 - Google Patents

3d立体视频编码传输方法及装置 Download PDF

Info

Publication number
WO2013034073A1
WO2013034073A1 PCT/CN2012/081005 CN2012081005W WO2013034073A1 WO 2013034073 A1 WO2013034073 A1 WO 2013034073A1 CN 2012081005 W CN2012081005 W CN 2012081005W WO 2013034073 A1 WO2013034073 A1 WO 2013034073A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
frame
stream
encoded
original
Prior art date
Application number
PCT/CN2012/081005
Other languages
English (en)
French (fr)
Inventor
田康
郭晓岩
Original Assignee
中国移动通信集团公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国移动通信集团公司 filed Critical 中国移动通信集团公司
Publication of WO2013034073A1 publication Critical patent/WO2013034073A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Definitions

  • the present invention relates to the field of 3D stereoscopic video technology, and in particular, to a 3D stereoscopic video encoding transmission method and apparatus, and a 3D stereoscopic video decoding playback apparatus.
  • 3D video content has been widely watched with the popularity of 3D movies, and various 3D terminal products have also been introduced.
  • mobile terminal products supporting 3D display have appeared on the market. How to provide new business services through these end products and enhance the user experience will be an urgent problem for operators.
  • 3D stereoscopic video In contrast to general 2D video, 3D stereoscopic video typically contains two video streams, corresponding to the visual results of the human left and right eyes, respectively. When the two video streams are decoded, the 3D stereoscopic video effect is exhibited by stereoscopic display devices and schemes, such as a polarization-based 3D movie scheme, a raster-based tree-eye 3D display scheme, and the like.
  • the coding schemes for 3D stereoscopic video mainly include: 1) independent coding, two video streams are independently coded; 2) double-pellet coding, symmetrical images in two channels are each taken in half, and double-spelling becomes one-way video for encoding; Joint coding, one channel of video performs motion estimation operation on the other path, and then re-encodes the residual frame; 4) depth coding, which is coded by one video frame and its corresponding stereo depth information.
  • These coding schemes are finally multiplexed into standard video streams, such as the Moving Picture Experts Group (MPEG), and the H.264 multi-view video coding (MSC) system stream format, based on Broadcasting such as: digital video broadcasting (DVB, Digital Video Broadcasting) or IP technology solutions for transmission.
  • MPEG Moving Picture Experts Group
  • MSC multi-view video coding
  • Broadcasting such as: digital video broadcasting (DVB, Digital Video Broadcasting) or IP technology solutions for transmission.
  • the present invention provides a 3D stereoscopic video encoding and transmission method and apparatus, and a 3D stereoscopic video decoding and playing method to provide a 3D stereoscopic video service through multimedia broadcasting.
  • a 3D stereoscopic video encoding transmission method comprising:
  • the first frame For each frame group of the first video stream collected by the stereo video source, the first frame is intra-coded, and for each subsequent frame, the previous frame of the video stream is used as a reference frame for P frame encoding, The first video encoded stream;
  • the image residual of the first frame is encoded by the corresponding coded I frame of the first video stream as a reference frame, and the image residual of each subsequent frame is matched with the corresponding code p frame and the second of the first video stream.
  • the previous encoded frame of the video stream is B-frame encoded for the reference frame, and the motion vector of the frame is saved in each frame after the encoding to obtain a second video encoded stream;
  • the extended information retaining bit of the video encoded stream stores the video stream number of the second video encoded stream, and broadcasts the channel frame.
  • the method further includes:
  • the multiplex subframe includes a 3D stereoscopic video program service indication, and the video stream number of the second video encoded stream is read on the extended information reserved bit of the first video encoded stream of the multiplexed subframe, and the first And a second video encoding stream, using a decoding parameter set of each video encoding stream, decoding the video encoding stream, and respectively obtaining image residuals of the original first video stream and the original second video stream;
  • the motion vector of each frame saved in the video coding stream is combined with the original first video stream to perform motion compensation on the image residual of the original second video stream, to obtain the original second video stream, and the original first and second The video stream is displayed in 3D stereo video.
  • the encapsulating the first video encoding stream and the second video encoding stream into the same multiplex subframe of the multimedia broadcast channel frame for the same program further includes: when encapsulating the second video encoded stream, not encapsulating the decoding parameter set .
  • the method further includes:
  • the terminal When the terminal receives the channel frame, for any multiplex subframe, if it is detected that the multiplex subframe is set to include the 3D stereoscopic video program service indication in the channel frame, the first video encoded stream in the multiplex subframe
  • the extended information retaining bit reads the video stream number of the second video encoded stream, reads the first and second video encoded streams at the same time, and uses the decoding parameter set of the first video encoded stream, and simultaneously the two video
  • the encoded stream is decoded to obtain image residuals of the original first video stream and the original second video stream respectively; according to the motion vector of each frame saved in the second video encoded stream, combined with the original first video stream pair
  • the image residual of the original second video stream is motion compensated, and the original second video stream is obtained, and the original first and second video streams are displayed in a 3D stereoscopic video manner.
  • the terminal After receiving the channel frame, the terminal further includes:
  • the terminal determines whether it supports the 3D stereoscopic video program, and if not, decodes only the video stream containing the decoding parameter set in the multiplex subframe for any multiplex subframe, and the decoded video stream is 2D video mode display.
  • the terminal After receiving the channel frame, the terminal further includes:
  • any multiplex subframe if it is detected that the multiplex subframe does not include the 3D stereoscopic video program service indication in the channel frame, only the video stream including the decoding parameter set in the multiplex subframe is decoded, and The decoded video stream is displayed in 2D video.
  • the multimedia broadcast channel frame is a China Mobile Multimedia Broadcast CMMB frame.
  • a 3D stereoscopic video encoding transmission device includes:
  • Encoding module for each frame group of the first video stream collected by the stereo video source, intra coding the first frame, and for each subsequent frame, using the previous coding frame of the video stream as a reference frame for P frame Encoding, obtaining a first video encoding stream; for each frame group of the second video stream collected by the stereo video source, performing motion estimation on each frame and a corresponding frame of the first video stream to obtain a motion vector of the frame, At the same time, the image residual of the frame is obtained. For the image residual of the first frame, the corresponding encoded I frame of the first video stream is used as the reference frame for P frame encoding, and the residual image of each subsequent frame is first.
  • the corresponding encoded P frame of the video stream and the previous encoded frame of the second video stream are B-frame encoded for the reference frame, and the motion vector of the frame is saved in each frame after the encoding to obtain a second video encoded stream; Outputting the first and second video encoded streams to the package module;
  • Encapsulating module encapsulating the first and second video encoded streams into the same multiplex sub-frame of the same program for the multimedia broadcast channel frame, and setting the multiplex sub-frame to include the 3D stereoscopic video program service indication in the channel frame, and simultaneously
  • the extended information retaining bit of one video encoded stream stores the video stream number of the second video encoded stream, and broadcasts the CMMB channel frame.
  • the encapsulating module is further configured to not encapsulate the decoding parameter set when encapsulating the second video encoded stream.
  • a 3D stereoscopic video decoding and playing device includes:
  • Decoding module when receiving the multimedia broadcast channel frame, if any of the multiplexed subframes is set, if the multiplex subframe is set to include the 3D stereoscopic video program service indication, the first of the multiplexed subframes
  • the video stream number of the second video encoded stream is read on the extended information reserved bit of the video encoded stream, and the first and second video encoded streams are read at the same time, and the decoding parameter set of each video encoded stream is used.
  • the video encoded stream is decoded to obtain image residuals of the original first video stream and the original second video stream respectively; according to the motion vector of each frame saved in the second video encoded stream, combined with the original first video stream Performing motion compensation on the image residual of the original second video stream to obtain an original second video stream;
  • 3D video playback module The original first and second video streams output by the decoding module are displayed in 3D stereo video mode.
  • a 3D stereoscopic video decoding and playing device includes:
  • Decoding module when receiving the multimedia broadcast channel frame, if any of the multiplexed subframes is set, if the multiplex subframe is set to include the 3D stereoscopic video program service indication, the first of the multiplexed subframes
  • the video stream number of the second video encoded stream is read on the extended information reserved bit of the video encoded stream, and the first and second video encoded streams are read at the same time, and the decoding parameter set of the first video encoded stream is used, Decoding the two video encoded streams to obtain image residuals of the original first video stream and the original second video stream respectively; according to the motion vector of each frame saved in the second video encoded stream, combined with the original first
  • the video stream performs motion compensation on the image residual of the original second video stream to obtain the original second video stream;
  • 3D video playback module The original first and second video streams output by the decoding module are displayed in 3D stereoscopic video mode.
  • the decoding module is further configured to: when receiving the multimedia broadcast channel frame, determine whether the terminal supports the 3D stereoscopic video program, and if not, for any multiplexed subframe, only the decoding parameter is included in the multiplexed subframe The set video stream is decoded, and the decoded video stream is sent to the 2D video playing module.
  • the decoding module is further configured to: if it is detected that the multiplex subframe does not include the 3D stereoscopic video program service indication in the channel frame, the decoding parameter set is only included in the multiplex subframe The video stream is decoded, and the decoded video stream is sent to the 2D video playback module.
  • the present invention provides a 3D stereoscopic video service through multimedia broadcasting, and improves 3D stereoscopic video coding efficiency, and the coding method can be widely compatible with the video coding scheme of the existing terminal, and the decoding of the terminal is reduced. Claim.
  • FIG. 1 is a flowchart of a CMMB-based 3D stereoscopic video encoding method according to an embodiment of the present invention
  • FIG. 2 is a schematic diagram of an encoding method provided by the embodiment shown in FIG.
  • FIG. 3 is a flowchart of a CMMB-based 3D stereoscopic video transmission method according to an embodiment of the present invention
  • FIG. 4 is a schematic diagram showing a composition of a CMMB broadcast channel frame
  • FIG. 5 is a flowchart of a CMMB-based 3D stereoscopic video decoding and playing method according to an embodiment of the present invention
  • FIG. 6 is a structural diagram of a CMMB-based 3D stereoscopic video encoding transmission apparatus according to an embodiment of the present invention.
  • FIG. 7 is a structural diagram of a CMMB-based 3D stereoscopic video decoding and playback device according to an embodiment of the present invention.
  • FIG. 1 is a flowchart of a CMMB-based 3D stereoscopic video encoding method according to an embodiment of the present invention. As shown in Figure 1, the specific steps are as follows:
  • Step 101 The stereo video source collects the left and right video streams corresponding to the left and right eyes, respectively.
  • Step 102 Perform intra coding on the first frame for each image frame group of the left video stream, and obtain an I frame. For each subsequent frame, perform P frame coding by using the previous encoded frame of the video stream as a reference frame. , respectively get P frames.
  • the code stream obtained by encoding the left video stream is an H.264 base line profile stream.
  • This code stream does not require special processing at the terminal and can be normally decoded and played according to the decoding specification.
  • Step 103 For each image frame group of the right video stream, for each frame, a preset motion estimation algorithm is first used to perform motion estimation on the frame and the corresponding frame in the left video stream, to obtain motion vectors of the two frames. Calculating an image residual of the corresponding frame in the frame and the left video stream according to the motion vector, and performing P frame encoding on the corresponding frame I frame of the left video stream as a reference frame to obtain a P.
  • the corresponding frame in this step means that the nth frame of the mth frame group of the left channel video stream corresponds to the nth frame of the mth frame group of the right channel video stream.
  • the basic process of motion estimation is: dividing the corresponding left video frame and right video frame into the same number of macroblocks respectively, and for each macroblock of the right video frame, searching for the macroblock in the left video frame.
  • the best matching macroblock calculates the motion vector between the two macroblocks, and calculates the residual between the two macroblocks for the two most matching macroblocks in the corresponding left and right video frames.
  • multiple residuals are obtained, and all residuals of a right video frame are encoded, that is, P frame or B in this step is obtained. frame.
  • FIG. 2 is a schematic diagram showing the encoding method provided by the embodiment shown in FIG. 1.
  • the encoded 3D stereo video encoded stream can be encapsulated and transmitted.
  • the 3D stereoscopic video encoded stream is encapsulated by using a multiplexing frame in the CMMB system.
  • FIG. 3 is a flowchart of a CMMB-based 3D stereoscopic video transmission method according to an embodiment of the present invention. As shown in FIG. 3, the specific steps are as follows:
  • Step 301 Determine a multiplex subframe number of the encapsulated 3D stereoscopic video encoded stream, and set the multiplex subframe to include a 3D stereoscopic video program in the control information of the multiplex frame with the multiplex frame identifier (MF_ID, multiplex frame Identifier) being 0. Service instructions.
  • MF_ID multiplex frame identifier
  • a multiplex frame is used as a basic information organization unit in a broadcast channel, and a plurality of multiplex frames are included in a broadcast channel frame by time division.
  • FIG. 4 shows the composition of the broadcast channel frame.
  • each multiplex frame contains a multiplexed frame header, a multiplexed frame payload, and a padding.
  • the multiplexing frame header includes: a start code, a frame header length, a protocol version number, a multiplex frame identifier, a number of multiplexed subframes, a length of each subframe, and a subframe parameter.
  • Each multiplex frame is uniquely identified by MF_ID, where a multiplex frame with MF_ID 0 is used to carry control information, and other multiplex frames are used to carry services, that is, service information such as video, audio, and data.
  • the control information indicates different control types through various control information tables.
  • the control information table contains: 1) Network Information Table (NIT); 2) Continuous Service Multiplexing Configuration Table (CMCT); 3) Continuous Service Configuration Table (CSCT); 4) Short Time Service Multiplexing Configuration Table (SMCT) 5) Short-term service configuration table (SSCT); 6) ESG basic description table; 7) Emergency broadcast.
  • NIT Network Information Table
  • CMCT Continuous Service Multiplexing Configuration Table
  • CSCT Continuous Service Configuration Table
  • SMCT Short Time Service Multiplexing Configuration Table
  • SSCT Short-term service configuration table
  • ESG basic description table ESG basic description table
  • Emergency broadcast ESG basic description table
  • the multiplexed frame payload of one multiplex frame contains one or more multiplexed subframes, and the video stream, audio stream, and data stream of the same service are encapsulated in the same multiplex subframe.
  • the left and right video encoded streams are multiplexed in one multiplex subframe because they belong to the same service.
  • the multiplex subframe also includes the audio stream and the data stream of the service.
  • Step 302 Encapsulate the left video encoded stream and the right video encoded stream into the multiplexed subframe, and store the video stream number of the right video encoded stream on the extended information reserved bit of the left video encoded stream.
  • Each multiplex subframe consists of a sub-frame header, a video segment, an audio segment, and a data segment.
  • the sub-frame header includes: header length, start play time, video segment length, audio segment length, data segment length, and extent parameters.
  • the video segment includes a video segment header and a plurality of video units, wherein the video segment header describes parameters of each video unit, such as video unit length, image frame type, video stream number, and the like.
  • Multiple video streams can be included in a video segment.
  • the multiplex subframe of this step includes two video streams: a left video encoded stream and a right video encoded stream, each having its own video stream number.
  • the left video coding stream is encapsulated by using an existing video stream multiplexing mode, and the video stream extension information reserved bit is expanded, and the video stream number of the right video coding stream is stored, so that the left video coding stream and the right channel are used.
  • the road video coding stream is associated.
  • the video decoding parameter table is not encapsulated, and other encapsulation methods are the same as the existing video stream multiplexing and encapsulating manner.
  • Step 303 Send the encapsulated broadcast channel frame to the terminal by using a broadcast transmitting device.
  • FIG. 5 is a flow chart of a 3D stereoscopic video decoding and playing method based on CMMB according to an embodiment of the present invention. The process diagram, as shown in Figure 5, the specific steps are as follows:
  • Step 501 The terminal receives a broadcast channel frame sent by the broadcast transmitting device.
  • Step 502 The terminal determines whether it supports the 3D stereoscopic video program, and if yes, performs step 503; otherwise, performs step 506.
  • Step 503 For each multiplex subframe, the terminal detects whether the multiplex subframe includes the 3D stereoscopic video program service indication in the control information of the multiplex frame with the MF_ID being 0, and if yes, performing the step
  • step 506 is performed.
  • Step 504 When the terminal detects that the video stream extension information retaining bit of the first video stream of the multiplex subframe stores the associated video stream number, the terminal simultaneously reads the second video corresponding to the video stream number.
  • Motion compensation is the inverse of motion estimation.
  • Step 505 The terminal displays the original left channel video stream and the original right channel video stream in a 3D stereoscopic video manner, and the process ends.
  • Step 506 The terminal decodes the video stream with the decoding parameter set to obtain an original video stream, and displays the original video stream in a 2D video manner.
  • FIG. 6 is a schematic diagram of a 3D stereoscopic video encoding and transmitting apparatus according to an embodiment of the present invention. As shown in FIG. 6, the method mainly includes: an encoding module 61 and a packaging module 62, where:
  • the encoding module 61 receives the first and second video streams sent by the stereo video source, and performs intra coding on the first frame for each frame group of the first video stream collected by the stereo video source, for each subsequent frame. Inter-frame coding is performed to obtain a first video coding stream; for each frame group of the second video stream collected by the stereo video source, motion estimation is performed for each frame and the corresponding frame of the first video stream, and the frame is obtained.
  • the motion vector obtains the image residual of the frame at the same time, performs intra-frame coding on the image residual of the first frame, inter-codes the image residual of each subsequent frame, and saves the frame in each frame after encoding.
  • the motion vector is obtained to obtain a second video encoded stream; and the first and second video encoded streams are output to the encapsulating module 62.
  • the encapsulating module 62 encapsulates the first video encoded stream and the second video encoded stream output by the encoding module 61 into the same multiplex subframe of the CMMB broadcast channel frame, and sets the multiplex subframe included in the multiplex frame 0.
  • the 3D stereoscopic video program service indicates that the video stream number of the second video encoded stream is stored on the extended information reserved bit of the first video encoded stream, and the broadcast channel frame is broadcasted.
  • the encapsulating module 62 is further configured to not encapsulate the decoding parameter set when encapsulating the second video encoded stream.
  • FIG. 7 is a schematic diagram of a 3D stereoscopic video decoding and playing device according to an embodiment of the present invention. As shown in FIG. 7, the method mainly includes: a decoding module 71 and a 3D video playing module 72, where:
  • the decoding module 71 when receiving the broadcast channel frame from the broadcast channel, for any multiplex subframe, if it is detected that the multiplex subframe is set in the multiplex frame 0, the 3D stereoscopic video program service indication is included, The video stream number of the second video encoded stream is read by the extended information of the first video encoded stream of the subframe, and the first and second video encoded streams are read, and the first video encoded stream is used.
  • the 3D video playing module 72 displays the original first and second video streams output by the decoding module 71 in a 3D stereoscopic video manner.
  • the decoding module 71 is further configured to: when receiving the broadcast channel frame, determine whether the terminal supports the 3D stereoscopic video program, and if not, for any of the multiplexed subframes, only the decoding parameter set is included in the multiplexed subframe.
  • the video stream is decoded and the decoded video stream is sent to the 2D video playback module.
  • the decoding module 71 is further configured to: if it is detected that the multiplex subframe does not include the 3D stereoscopic video program service indication in the multiplex frame 0, the decoding parameter is included in the multiplex subframe only The set video stream is decoded, and the decoded video stream is sent to the 2D video playing module.
  • composition of a 3D stereoscopic video decoding and playback device which mainly includes: a decoding module and a 3D video playback module, where:
  • Decoding module when receiving a broadcast channel frame from a broadcast channel, if any multiplex subframe is detected, if the multiplex subframe is set to include a 3D stereoscopic video program service indication, in the multiplexing
  • the video stream number of the second video encoded stream is read on the extended information reserved bit of the first video encoded stream of the subframe, and the first and second video encoded streams are read at the same time, and the decoding parameters of each video encoded stream are used.
  • the video encoded stream is decoded, and the image residuals of the original first video stream and the original second video stream are respectively obtained; according to the motion vector of each frame saved in the second video encoded stream, combined with the original
  • the first video stream performs motion compensation on the image residual of the original second video stream to obtain the original second video stream; and outputs the original first and second video streams to the 3D video playing module.
  • 3D video playback module The original first and second video streams output by the decoding module are displayed in 3D stereoscopic video mode.
  • the multimedia broadcast standard for the embodiment of the present invention is CMMB.
  • the present invention can also be applied to other multimedia broadcast standards.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了3D立体视频编码传输方法及装置。方法包括：对立体视频源采集的第一路视频流的各帧组，对第一帧进行帧内编码，对后续帧进行P帧编码，得到第一路视频编码流；对立体视频源采集的第二路视频流的各帧组，对对应的第一、二路视频流帧进行运动估计，得到该帧的运动矢量和图像残差，对第一帧的图像残差进行P帧编码，对后续每帧的图像残差进行B帧编码，在编码后的每帧中保存该帧的所述运动矢量，得到第二路视频编码流；将第一、二路视频编码流封装入多媒体广播信道帧的同一复用子帧中，在第一路视频编码流的扩展信息保留位上存储第二路视频编码流的视频流编号，将信道帧广播出去。本发明实现了通过多媒体广播信道提供3D立体视频业务。

Description

3D立体视频编码传输方法及装置 技术领域
本发明涉及 3D立体视频技术领域， 具体涉及 3D立体视频编码传输方法 及装置、 3D立体视频解码播放装置。
背景技术
3D视频内容随着 3D电影的热播受到了人们的广泛关注，各种 3D终端产 品也随之推出， 目前市场上已经出现了支持 3D显示的移动终端产品。 如何通 过这些终端产品提供新型业务服务， 提升用户体验将是运营商亟待解决的课 题。
对比一般 2D视频， 3D立体视频通常包含两路视频流， 分别对应于人类 的左眼和右眼的视像结果。当两路视频流被解码后，通过立体显示装置和方案， 如基于偏振的 3D电影的方案、 基于光栅的棵眼 3D显示屏方案等为人们展示 3D立体视频效果。
目前对于 3D立体视频的编码方案主要有： 1 )独立编码， 两路视频流被 独立编码； 2 )双拼编码， 两路视频中的对称图像各取一半， 双拼成为一路视 频进行编码； 3 )联合编码， 一路视频对于另外一路进行运动估计运算， 然后 对残差帧重新编码； 4 )深度编码， 由一路视频帧与其对应的立体深度信息进 行编码。 这些编码方案最终被复用组织成为标准视频流， 如动态图像专家组 ( MPEG, Moving Pictures Experts Group ) 2、 H.264 多视频编码 ( MVC , multi-view video coding )系统码流格式，通过基于广播如：数字视频广播（ DVB , Digital Video Broadcasting )或者 IP技术方案进行传输。 如何通过多媒体广播技术提供 3D立体视频业务， 尚属一个创新领域， 并 无现成的相关标准技术方案。
发明内容 本发明提供 3D立体视频编码传输方法及装置， 以及 3D立体视频解码播 放方法， 以实现通过多媒体广播提供 3D立体视频业务。
本发明的技术方案是这样实现的：
一种 3D立体视频编码传输方法， 该方法包括：
对于立体视频源采集的第一路视频流的每个帧组， 对第一帧进行帧内编 码， 对后续每帧， 以该路视频流的前一编码帧为参考帧进行 P帧编码， 得到第 一路视频编码流；
对于立体视频源采集的第二路视频流的每个帧组，对每帧与第一路视频流 的对应帧进行运动估计， 得到该帧的运动矢量， 同时得到该帧的图像残差， 对 第一帧的图像残差， 以第一路视频流的对应编码 I帧为参考帧进行 P帧编码， 对后续每帧的图像残差，以第一路视频流的对应编码 p帧和第二路视频流的前 一编码帧为参考帧进行 B 帧编码， 在编码后的每帧中保存该帧的所述运动矢 量， 得到第二路视频编码流；
将第一、二路视频编码流封装入多媒体广播信道帧针对同一节目的同一复 用子帧中， 并在该信道帧中设置该复用子帧包含 3D立体视频节目服务指示， 同时在第一路视频编码流的扩展信息保留位上存储第二路视频编码流的视频 流编号， 将信道帧广播出去。
所述方法进一步包括：
当终端接收到信道帧时，对于任一复用子帧， 若检测到信道帧中设置了该 复用子帧包含 3D立体视频节目服务指示， 在该复用子帧的第一路视频编码流 的扩展信息保留位上读取到第二路视频编码流的视频流编号， 同时读取第一、 二路视频编码流， 采用每一路视频编码流的解码参数集，对该路视频编码流进 行解码， 分别得到原始第一路视频流和原始第二路视频流的图像残差； 根据第 二路视频编码流中保存的各帧的运动矢量，并结合原始第一路视频流对原始第 二路视频流的图像残差进行运动补偿， 得到原始第二路视频流， 将原始第一、 二路视频流以 3D立体视频方式显示。
所述将第一路视频编码流和第二路视频编码流封装入多媒体广播信道帧 针对同一节目的同一复用子帧中进一步包括： 在封装第二路视频编码流时， 不 封装解码参数集。
所述方法进一步包括：
当终端接收到信道帧时，对于任一复用子帧， 若检测到信道帧中设置了该 复用子帧包含 3D立体视频节目服务指示， 在该复用子帧的第一路视频编码流 的扩展信息保留位上读取到第二路视频编码流的视频流编号， 同时读取第一、 二路视频编码流， 并采用第一路视频编码流的解码参数集， 同时对该两视频编 码流进行解码， 分别得到原始第一路视频流和原始第二路视频流的图像残差； 根据第二路视频编码流中保存的各帧的运动矢量，并结合原始第一路视频流对 原始第二路视频流的图像残差进行运动补偿，得到原始第二路视频流，将原始 第一、 二路视频流以 3D立体视频方式显示。
所述终端接收到信道帧之后进一步包括：
终端判断自身是否支持 3D立体视频节目， 若否， 则对任一复用子帧， 只 对该复用子帧中包含解码参数集的视频流进行解码， 并将解码后的视频流以 2D视频方式显示。
所述终端接收到信道帧之后进一步包括：
对于任一复用子帧， 若检测到信道帧中未设置该复用子帧包含 3D立体视 频节目服务指示， 则只对该复用子帧中包含解码参数集的视频流进行解码， 并 将解码后的视频流以 2D视频方式显示。
所述多媒体广播信道帧为中国移动多媒体广播 CMMB帧。
一种 3D立体视频编码传输装置， 包括：
编码模块： 对于立体视频源采集的第一路视频流的每个帧组，对第一帧进 行帧内编码，对后续每帧，以该路视频流的前一编码帧为参考帧进行 P帧编码， 得到第一路视频编码流； 对于立体视频源采集的第二路视频流的每个帧组， 对 每帧与第一路视频流的对应帧进行运动估计，得到该帧的运动矢量， 同时得到 该帧的图像残差， 对第一帧的图像残差， 以第一路视频流的对应编码 I帧为参 考帧进行 P 帧编码， 对后续每帧的图像残差， 以第一路视频流的对应编码 P 帧和第二路视频流的前一编码帧为参考帧进行 B 帧编码， 在编码后的每帧中 保存该帧的所述运动矢量， 得到第二路视频编码流； 将第一、 二路视频编码流 输出到封装模块；
封装模块： 将第一、二路视频编码流封装入多媒体广播信道帧针对同一节 目的同一复用子帧中， 在信道帧中设置该复用子帧包含 3D立体视频节目服务 指示，同时在第一路视频编码流的扩展信息保留位上存储第二路视频编码流的 视频流编号， 将 CMMB信道帧广播出去。
所述封装模块进一步用于，在封装第二路视频编码流时， 不封装解码参数 集。 一种 3D立体视频解码播放装置， 包括：
解码模块： 当接收到多媒体广播信道帧时， 对于任一复用子帧， 若检测到 信道帧中设置了该复用子帧包含 3D立体视频节目服务指示， 在该复用子帧的 第一路视频编码流的扩展信息保留位上读取到第二路视频编码流的视频流编 号， 同时读取第一、 二路视频编码流， 采用每一路视频编码流的解码参数集， 对该路视频编码流进行解码，分别得到原始第一路视频流和原始第二路视频流 的图像残差； 根据第二路视频编码流中保存的各帧的运动矢量， 并结合原始第 一路视频流对原始第二路视频流的图像残差进行运动补偿，得到原始第二路视 频流；
3D视频播放模块： 将解码模块输出的原始第一、 二路视频流以 3D立体 视频方式显示。
一种 3D立体视频解码播放装置， 包括：
解码模块： 当接收到多媒体广播信道帧时， 对于任一复用子帧， 若检测到 信道帧中设置了该复用子帧包含 3D立体视频节目服务指示， 在该复用子帧的 第一路视频编码流的扩展信息保留位上读取到第二路视频编码流的视频流编 号， 同时读取第一、二路视频编码流，并采用第一路视频编码流的解码参数集， 同时对该两视频编码流进行解码，分别得到原始第一路视频流和原始第二路视 频流的图像残差； 根据第二路视频编码流中保存的各帧的运动矢量， 并结合原 始第一路视频流对原始第二路视频流的图像残差进行运动补偿，得到原始第二 路视频流；
3D视频播放模块： 将解码模块输出的原始第一、 二路视频流以 3D立体 视频方式显示。 所述解码模块进一步用于， 当接收到多媒体广播信道帧时， 判断本终端是 否支持 3D立体视频节目， 若否， 则对任一复用子帧， 只对该复用子帧中包含 解码参数集的视频流进行解码，并将解码后的视频流发送给 2D视频播放模块。
所述解码模块进一步用于， 对于任一复用子帧， 若检测到信道帧中未设 置该复用子帧包含 3D立体视频节目服务指示， 则只对该复用子帧中包含解码 参数集的视频流进行解码， 并将解码后的视频流发送给 2D视频播放模块。
与现有技术相比， 本发明实现了通过多媒体广播提供 3D立体视频业务， 且提高了 3D立体视频编码效率， 且该编码方法能广泛兼容现有终端的视频编 码方案， 降低了对终端的解码要求。
附图说明
图 1为本发明实施例提供的基于 CMMB的 3D立体视频编码方法流程图； 图 2给出了图 1所示实施例提供的编码方法的示意图；
图 3为本发明实施例提供的基于 CMMB的 3D立体视频传输方法流程图； 图 4给出了 CMMB广播信道帧的组成示意图；
图 5为本发明实施例提供的基于 CMMB的 3D立体视频解码播放方法流 程图；
图 6为本发明实施例提供的基于 CMMB的 3D立体视频编码传输装置的 组成图；
图 7为本发明实施例提供的基于 CMMB的 3D立体视频解码播放装置的 组成图。
具体实施方式
下面结合附图及具体实施例对本发明再作进一步详细的说明。
图 1为本发明实施例提供的基于 CMMB的 3D立体视频编码方法流程图， 如图 1所示， 其具体步骤如下：
步骤 101： 立体视频源采集分别对应于左眼和右眼的左路和右路视频流。 步骤 102: 对于左路视频流的每个图像帧组， 对第一帧进行帧内编码， 得 到 I帧， 对后续每帧， 以该路视频流的前一编码帧为参考帧进行 P帧编码， 分 别得到 P帧。
对于目前 CMMB 系统， 本步骤中， 对左路视频流编码后得到的码流为 H.264 base line profile码流。 这种码流在终端无需特殊处理， 可以按照解码规 范被正常解码播放。
步骤 103: 对于右路视频流的每个图像帧组， 对于每一帧， 首先采用预设 运动估计算法，对该帧与左路视频流中对应帧进行运动估计，得到该两帧的运 动向量，根据该运动向量计算该帧与左路视频流中对应帧的图像残差，对第一 帧的图像残差， 以左路视频流的对应编码 I帧为参考帧进行 P帧编码， 得到 P 帧， 并在该 P帧中保存该第一帧的运动向量； 对后续每帧的图像残差， 以左路 视频流的对应编码 P帧和右路视频流的前一编码帧为参考帧， 进行 B帧编码， 分别得到 B帧， 并在每个 B帧中保存该帧的运动向量。
本步骤中的对应帧指的是， 左路视频流的第 m个帧组的第 n帧与右路视 频流的第 m个帧组的第 n帧对应。
运动估计的基本过程为：将对应的左路视频帧和右路视频帧分别划分为相 同数目的宏块，对于右路视频帧的每个宏块，在左路视频帧中查找与该宏块最 匹配的宏块， 计算该两宏块间的运动矢量， 对于对应的左、 右路视频帧中最匹 配的两宏块， 计算该两宏块间的残差。 这样， 对于每个右路视频帧都会得到多 个残差， 对一右路视频帧的所有残差进行编码， 即得到本步骤中的 P 帧或 B 帧。
图 2给出了图 1所示实施例提供的编码方法的示意图。 对 3D立体视频原始码流编码后， 就可对编码后得到的 3D立体视频编码 流进行封装、 传输了。 本发明实施例中， 对 3D立体视频编码流采用 CMMB 系统中的复用帧进行封装。
图 3为本发明实施例提供的基于 CMMB的 3D立体视频传输方法流程图， 如图 3所示， 其具体步骤如下：
步骤 301 : 确定封装 3D 立体视频编码流的复用子帧号， 在复用帧标识 ( MF_ID, Multiplex Frame Identifier )为 0的复用帧的控制信息中设置该复用 子帧包含 3D立体视频节目服务指示。
在 CMMB系统中以复用帧作为广播信道中基础的信息组织单元， 广播信 道帧中通过时分包含了多个复用帧。
图 4给出了广播信道帧的组成， 如图 4所示， 每个复用帧包含复用帧头、 复用帧净荷和填充三个部分。 其中复用帧头包括： 起始码、 帧头长度、 协议版 本号、 复用帧标示、 复用子帧数、 每个子帧长度以及子帧参数等信息。 每个复 用帧由 MF_ID唯一标示， 其中 MF_ID为 0的复用帧用于承载控制信息， 其它 复用帧用于承载业务， 即视频、 音频和数据等业务信息。 控制信息通过各种控 制信息表来指示不同控制类型。 控制信息表中包含了： 1 )网络信息表（NIT ); 2 )持续业务复用配置表（ CMCT ); 3 )持续业务配置表（ CSCT ); 4 )短时间 业务复用配置表（ SMCT ); 5 )短时间业务配置表（SSCT ); 6 ) ESG基本描 述表； 7 ) 紧急广播等。 其中， 3 )持续业务配置表（CSCT ) 的扩展字段用于 设置各个复用子帧包含的视频节目服务类型， 例如： 若要将 3D立体视频编码 流放入复用子帧 2, 则在 CSCT中设置复用子帧 2包含 3D立体视频节目服务 指示。
1 个复用帧的复用帧净荷中包含一个或多个复用子帧， 同一业务的视频 流、 音频流和数据流封装在同一复用子帧中。
本实施例中， 左路和右路视频编码流由于属于同一业务， 因此同时复用在 一个复用子帧中， 当然该复用子帧中也包含了该业务的音频流和数据流。
步骤 302: 将左路视频编码流和右路视频编码流封装入该复用子帧中， 且 在左路视频编码流的扩展信息保留位上存储右路视频编码流的视频流编号。
每个复用子帧由子帧头、视频段、 音频段和数据段等部分组成。 子帧头包 括： 头长度、 起始播放时间、 视频段长度、 音频段长度、 数据段长度、 扩展区 参数等信息。视频段包含视频段头和多个视频单元， 其中视频段头描述了每个 视频单元的参数， 如视频单元长度、 图像帧类型、 视频流编号等。 视频段中可 以包含多个视频流。本步骤的复用子帧中包含两个视频流： 左路视频编码流和 右路视频编码流， 它们分别具有各自的视频流编号。
对于左路视频编码流采用现有的视频流复用方式进行封装，并扩展其视频 流扩展信息保留位， 用于存储右路视频编码流的视频流编号， 以便将左路视频 编码流和右路视频编码流关联起来。对于右路视频编码流在封装时， 不封装视 频解码参数表， 其它封装方式与现有的视频流复用封装方式相同。
步骤 303: 将封装好的广播信道帧通过广播发射设备发送给终端。 图 5为本发明实施例提供的基于 CMMB的 3D立体视频解码播放方法流 程图， 如图 5所示， 其具体步骤如下：
步骤 501： 终端接收广播发射设备发来的广播信道帧。
步骤 502:终端判断自身是否支持 3D立体视频节目，若是，执行步骤 503; 否则， 执行步骤 506。
步骤 503: 对于每个复用子帧， 终端检测 MF_ID为 0的复用帧的控制信 息中是否设置了该复用子帧包含 3D立体视频节目服务指示， 若是， 执行步骤
504; 否则， 执行步骤 506。
步骤 504: 终端检测到该复用子帧的第一视频流的视频流扩展信息保留位 存储了关联的视频流编号时，则同时读取第一视频流与该视频流编号对应的第 二视频流，并采用第一视频流的解码参数集，同时对该两视频流分别进行解码， 分别得到原始左路视频流和原始右路视频流的图像残差；且对于该原始右路视 频流的各帧的图像残差， 根据右路视频编码流中的 P帧或 B帧中的运动向量 以及该帧对应的原始左路视频帧，采用预设运动补偿算法对该帧的图像残差进 行运动补偿， 得到原始右路视频流。
运动补偿为运动估计的逆过程。
步骤 505: 终端将原始左路视频流和原始右路视频流以 3D立体视频方式 显示， 本流程结束。
步骤 506: 终端对具有解码参数集的视频流进行解码， 得到原始视频流， 以 2D视频方式显示原始视频流。
由于复用子帧中的右路视频编码流没有解码参数集， 因此， 对于不支持
3D立体视频节目的终端来说， 会由于读取不到该视频流的解码参数集， 而放 弃对该视频流的解码， 从而自然可以进行正常的 2D视频解码播放。 图 6为本发明实施例提供的 3D立体视频编码传输装置， 如图 6所示， 其 主要包括： 编码模块 61和封装模块 62, 其中：
编码模块 61 : 接收立体视频源发来的第一和第二路视频流， 对于立体视 频源采集的第一路视频流的每个帧组， 对第一帧进行帧内编码，对后续每帧进 行帧间编码，得到第一路视频编码流； 对于立体视频源采集的第二路视频流的 每个帧组，对每帧与第一路视频流的对应帧进行运动估计，得到该帧的运动矢 量， 同时得到该帧的图像残差， 对第一帧的图像残差进行帧内编码， 对后续每 帧的图像残差进行帧间编码，在编码后的每帧中保存该帧的所述运动矢量，得 到第二路视频编码流； 将第一、 二路视频编码流输出到封装模块 62。
封装模块 62: 将编码模块 61输出的第一路视频编码流和第二路视频编码 流封装入 CMMB广播信道帧的同一复用子帧中， 在复用帧 0中设置该复用子 帧包含 3D立体视频节目服务指示， 同时在第一路视频编码流的扩展信息保留 位上存储第二路视频编码流的视频流编号， 将广播信道帧广播出去。
封装模块 62进一步用于， 在封装第二路视频编码流时， 不封装解码参数 集。
图 7为本发明实施例提供的 3D立体视频解码播放装置的组成图， 如图 7 所示， 其主要包括： 解码模块 71和 3D视频播放模块 72, 其中：
解码模块 71: 当从广播信道上接收到广播信道帧时， 对于任一复用子帧， 若检测到复用帧 0中设置了该复用子帧包含 3D立体视频节目服务指示， 在该 复用子帧的第一路视频编码流的扩展信息保留位上读取到第二路视频编码流 的视频流编号， 同时读取第一、 二路视频编码流， 并采用第一路视频编码流的 解码参数集， 同时对该两视频编码流进行解码， 分别得到原始第一路视频流和 原始第二路视频流的图像残差；根据第二路视频编码流中保存的各帧的运动矢 量， 并结合原始第一路视频流对原始第二路视频流的图像残差进行运动补偿， 得到原始第二路视频流；将原始第一、二路视频流输出到 3D视频播放模块 72。
3D视频播放模块 72: 将解码模块 71输出的原始第一、 二路视频流以 3D 立体视频方式显示。
解码模块 71进一步用于， 当接收到广播信道帧时， 判断本终端是否支持 3D立体视频节目， 若否， 则对任一复用子帧， 只对该复用子帧中包含解码参 数集的视频流进行解码， 并将解码后的视频流发送给 2D视频播放模块。
解码模块 71进一步用于， 对于任一复用子帧， 若检测到复用帧 0中未设 置该复用子帧包含 3D立体视频节目服务指示， 则只对该复用子帧中包含解码 参数集的视频流进行解码， 并将解码后的视频流发送给 2D视频播放模块。
以下给出本发明另一实施例提供的 3D立体视频解码播放装置的组成， 其 主要包括： 解码模块和 3D视频播放模块， 其中：
解码模块： 当从广播信道上接收到广播信道帧时， 对于任一复用子帧， 若 检测到复用帧 0中设置了该复用子帧包含 3D立体视频节目服务指示， 在该复 用子帧的第一路视频编码流的扩展信息保留位上读取到第二路视频编码流的 视频流编号， 同时读取第一、 二路视频编码流， 采用每一路视频编码流的解码 参数集，对该路视频编码流进行解码， 分别得到原始第一路视频流和原始第二 路视频流的图像残差； 根据第二路视频编码流中保存的各帧的运动矢量， 并结 合原始第一路视频流对原始第二路视频流的图像残差进行运动补偿，得到原始 第二路视频流； 将原始第一、 二路视频流输出到 3D视频播放模块。 3D视频播放模块： 将解码模块输出的原始第一、 二路视频流以 3D立体 视频方式显示。
本发明实施例针对的多媒体广播标准为 CMMB, 在实际应用中， 本发明 也可以应用到其它多媒体广播标准中。
以上所述仅为本发明的较佳实施例而已， 并不用以限制本发明， 凡在本发 明的精神和原则之内， 所做的任何修改、 等同替换、 改进等， 均应包含在本发 明保护的范围之内。

Claims

权 利 要 求
1. 一种 3D立体视频编码传输方法， 其特征在于， 该方法包括： 对于立体视频源采集的第一路视频流的每个帧组， 对第一帧进行帧内编 码， 对后续每帧， 以该路视频流的前一编码帧为参考帧进行 P帧编码， 得到第 一路视频编码流；
对于立体视频源采集的第二路视频流的每个帧组，对每帧与第一路视频流 的对应帧进行运动估计， 得到该帧的运动矢量， 同时得到该帧的图像残差， 对 第一帧的图像残差， 以第一路视频流的对应编码 I帧为参考帧进行 P帧编码， 对后续每帧的图像残差，以第一路视频流的对应编码 P帧和第二路视频流的前 一编码帧为参考帧进行 B 帧编码， 在编码后的每帧中保存该帧的所述运动矢 量， 得到第二路视频编码流；
将第一、二路视频编码流封装入多媒体广播信道帧针对同一节目的同一复 用子帧中， 并在该信道帧中设置该复用子帧包含 3D立体视频节目服务指示， 同时在第一路视频编码流的扩展信息保留位上存储第二路视频编码流的视频 流编号， 将信道帧广播出去。
2、 根据权利要求 1所述的方法， 其特征在于， 所述方法进一步包括： 当终端接收到信道帧时，对于任一复用子帧， 若检测到信道帧中设置了该 复用子帧包含 3D立体视频节目服务指示， 在该复用子帧的第一路视频编码流 的扩展信息保留位上读取到第二路视频编码流的视频流编号， 同时读取第一、 二路视频编码流， 采用每一路视频编码流的解码参数集，对该路视频编码流进 行解码， 分别得到原始第一路视频流和原始第二路视频流的图像残差； 根据第 二路视频编码流中保存的各帧的运动矢量，并结合原始第一路视频流对原始第 二路视频流的图像残差进行运动补偿， 得到原始第二路视频流， 将原始第一、 二路视频流以 3D立体视频方式显示。
3、 根据权利要求 1所述的方法， 其特征在于， 所述将第一路视频编码流 和第二路视频编码流封装入多媒体广播信道帧针对同一节目的同一复用子帧 中进一步包括： 在封装第二路视频编码流时， 不封装解码参数集。
4、 根据权利要求 3所述的方法， 其特征在于， 所述方法进一步包括： 当终端接收到信道帧时，对于任一复用子帧， 若检测到信道帧中设置了该 复用子帧包含 3D立体视频节目服务指示， 在该复用子帧的第一路视频编码流 的扩展信息保留位上读取到第二路视频编码流的视频流编号， 同时读取第一、 二路视频编码流， 并采用第一路视频编码流的解码参数集， 同时对该两视频编 码流进行解码， 分别得到原始第一路视频流和原始第二路视频流的图像残差； 根据第二路视频编码流中保存的各帧的运动矢量，并结合原始第一路视频流对 原始第二路视频流的图像残差进行运动补偿，得到原始第二路视频流，将原始 第一、 二路视频流以 3D立体视频方式显示。
5、 根据权利要求 3所述的方法， 其特征在于， 所述终端接收到信道帧之 后进一步包括：
终端判断自身是否支持 3D立体视频节目， 若否， 则对任一复用子帧， 只 对该复用子帧中包含解码参数集的视频流进行解码， 并将解码后的视频流以 2D视频方式显示。
6、 根据权利要求 3所述的方法， 其特征在于， 所述终端接收到信道帧之 后进一步包括： 对于任一复用子帧， 若检测到信道帧中未设置该复用子帧包含 3D立体视 频节目服务指示， 则只对该复用子帧中包含解码参数集的视频流进行解码， 并 将解码后的视频流以 2D视频方式显示。
7、 根据权利要求 1至 6任一所述的方法， 其特征在于， 所述多媒体广播 信道帧为中国移动多媒体广播 CMMB帧。
8、 一种 3D立体视频编码传输装置， 其特征在于， 包括：
编码模块： 对于立体视频源采集的第一路视频流的每个帧组，对第一帧进 行帧内编码，对后续每帧，以该路视频流的前一编码帧为参考帧进行 P帧编码， 得到第一路视频编码流； 对于立体视频源采集的第二路视频流的每个帧组， 对 每帧与第一路视频流的对应帧进行运动估计，得到该帧的运动矢量， 同时得到 该帧的图像残差， 对第一帧的图像残差， 以第一路视频流的对应编码 I帧为参 考帧进行 P 帧编码， 对后续每帧的图像残差， 以第一路视频流的对应编码 P 帧和第二路视频流的前一编码帧为参考帧进行 B 帧编码， 在编码后的每帧中 保存该帧的所述运动矢量， 得到第二路视频编码流； 将第一、 二路视频编码流 输出到封装模块；
封装模块： 将第一、二路视频编码流封装入多媒体广播信道帧针对同一节 目的同一复用子帧中， 在信道帧中设置该复用子帧包含 3D立体视频节目服务 指示，同时在第一路视频编码流的扩展信息保留位上存储第二路视频编码流的 视频流编号， 将 CMMB信道帧广播出去。
9、根据权利要求 8所述的装置， 其特征在于， 所述封装模块进一步用于， 在封装第二路视频编码流时， 不封装解码参数集。
10、 一种 3D立体视频解码播放装置， 其特征在于， 包括： 解码模块： 当接收到多媒体广播信道帧时， 对于任一复用子帧， 若检测到 信道帧中设置了该复用子帧包含 3D立体视频节目服务指示， 在该复用子帧的 第一路视频编码流的扩展信息保留位上读取到第二路视频编码流的视频流编 号， 同时读取第一、 二路视频编码流， 采用每一路视频编码流的解码参数集， 对该路视频编码流进行解码，分别得到原始第一路视频流和原始第二路视频流 的图像残差； 根据第二路视频编码流中保存的各帧的运动矢量， 并结合原始第 一路视频流对原始第二路视频流的图像残差进行运动补偿，得到原始第二路视 频流；
3D视频播放模块： 将解码模块输出的原始第一、 二路视频流以 3D立体 视频方式显示。
11、 一种 3D立体视频解码播放装置， 其特征在于， 包括：
解码模块： 当接收到多媒体广播信道帧时， 对于任一复用子帧， 若检测到 信道帧中设置了该复用子帧包含 3D立体视频节目服务指示， 在该复用子帧的 第一路视频编码流的扩展信息保留位上读取到第二路视频编码流的视频流编 号， 同时读取第一、二路视频编码流，并采用第一路视频编码流的解码参数集， 同时对该两视频编码流进行解码，分别得到原始第一路视频流和原始第二路视 频流的图像残差； 根据第二路视频编码流中保存的各帧的运动矢量， 并结合原 始第一路视频流对原始第二路视频流的图像残差进行运动补偿，得到原始第二 路视频流；
3D视频播放模块： 将解码模块输出的原始第一、 二路视频流以 3D立体 视频方式显示。
12、 根据权利要求 11所述的装置， 其特征在于， 所述解码模块进一步用 于， 当接收到多媒体广播信道帧时， 判断本终端是否支持 3D立体视频节目， 若否， 则对任一复用子帧， 只对该复用子帧中包含解码参数集的视频流进行解 码， 并将解码后的视频流发送给 2D视频播放模块。
13、 根据权利要求 11所述的装置， 其特征在于， 所述解码模块进一步用 于， 对于任一复用子帧， 若检测到信道帧中未设置该复用子帧包含 3D立体 视频节目服务指示， 则只对该复用子帧中包含解码参数集的视频流进行解码， 并将解码后的视频流发送给 2D视频播放模块。
PCT/CN2012/081005 2011-09-05 2012-09-05 3d立体视频编码传输方法及装置 WO2013034073A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201110260850.1A CN102984548B (zh) 2011-09-05 2011-09-05 3d立体视频编码传输方法及装置
CN201110260850.1 2011-09-05

Publications (1)

Publication Number Publication Date
WO2013034073A1 true WO2013034073A1 (zh) 2013-03-14

Family

ID=47831527

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2012/081005 WO2013034073A1 (zh) 2011-09-05 2012-09-05 3d立体视频编码传输方法及装置

Country Status (2)

Country Link
CN (1) CN102984548B (zh)
WO (1) WO2013034073A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104284191B (zh) * 2013-07-03 2018-12-18 乐金电子(中国)研究开发中心有限公司 视频编解码方法及视频编解码器
US9537779B2 (en) * 2013-10-11 2017-01-03 Huawei Technologies Co., Ltd. System and method for real-time traffic delivery
CN106358033B (zh) * 2016-08-25 2018-06-19 北京字节跳动科技有限公司 一种全景视频关键帧编码方法和装置
CN113141494A (zh) * 2020-01-20 2021-07-20 北京芯海视界三维科技有限公司 3d图像处理方法、装置和3d显示终端
CN115550688A (zh) * 2021-06-30 2022-12-30 华为技术有限公司 视频码流的处理方法、介质、程序产品和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1226786A (zh) * 1997-11-07 1999-08-25 通用仪器公司 用于立体视频编码的视图偏移估算
CN101110960A (zh) * 2007-08-02 2008-01-23 北京创毅视讯科技有限公司 一种多媒体广播数据传输方法、装置及系统
CN101729892A (zh) * 2009-11-27 2010-06-09 宁波大学 一种非对称立体视频编码方法
US20110010739A1 (en) * 2009-07-07 2011-01-13 Electronics And Telecommunications Research Institute Method and apparatus for transmitting/receiving stereoscopic video in digital broadcasting system
CN102098542A (zh) * 2010-12-15 2011-06-15 中兴通讯股份有限公司 一种多媒体数据传输的方法、系统和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1226786A (zh) * 1997-11-07 1999-08-25 通用仪器公司 用于立体视频编码的视图偏移估算
CN101110960A (zh) * 2007-08-02 2008-01-23 北京创毅视讯科技有限公司 一种多媒体广播数据传输方法、装置及系统
US20110010739A1 (en) * 2009-07-07 2011-01-13 Electronics And Telecommunications Research Institute Method and apparatus for transmitting/receiving stereoscopic video in digital broadcasting system
CN101729892A (zh) * 2009-11-27 2010-06-09 宁波大学 一种非对称立体视频编码方法
CN102098542A (zh) * 2010-12-15 2011-06-15 中兴通讯股份有限公司 一种多媒体数据传输的方法、系统和装置

Also Published As

Publication number Publication date
CN102984548A (zh) 2013-03-20
CN102984548B (zh) 2014-12-31

Similar Documents

Publication Publication Date Title
KR101671021B1 (ko) 스테레오스코픽 영상 데이터 전송 장치 및 방법
US8665968B2 (en) Method and system for 3D video coding using SVC spatial scalability
US10063938B2 (en) Decoder and method at the decoder for synchronizing the rendering of contents received through different networks
US9030526B2 (en) Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
US9288466B2 (en) Method and apparatus for determining a video compression standard in a 3DTV service
US9609339B2 (en) Individual buffer management in video coding
JP2010505327A (ja) デジタル放送基盤の三次元静止映像サービス方法及び装置
US20110134214A1 (en) Method and system for 3d video coding using svc temporal and spatial scalabilities
WO2011000253A1 (zh) 一种媒体流处理方法及通讯系统以及相关设备
CN101453639A (zh) 支持roi区域的多路视频流的编码、解码方法和系统
KR20120107882A (ko) 이종망 기반 연동형 방송콘텐츠 송수신 장치 및 방법
WO2011003302A1 (zh) 移动多媒体广播系统中分级传送、接收方法与装置
WO2013034073A1 (zh) 3d立体视频编码传输方法及装置
US20180324440A1 (en) Individual temporal layer buffer management in hevc transport
JP7070639B2 (ja) 送信方法および送信装置
US8483271B2 (en) Method and system for 3D video pre-processing and post-processing
JP5313399B2 (ja) ハードウェア・タイムスタンプなしでビデオ・フレームを同期すること
CN104093089B (zh) 一种影院直播节目的系统及方法
KR101433168B1 (ko) 하이브리드 다시점 및 계층화 비디오 코딩 방법과 장치
KR20080081407A (ko) 하이브리드 다시점 및 계층화 비디오 코딩 방법과 장치
CN103843330A (zh) 发送设备、发送方法、接收设备以及接收方法
JP2012004645A (ja) ３ｄコンテンツ配信システム、３ｄコンテンツ配信方法および３ｄコンテンツ配信プログラム
US9143757B2 (en) Method and apparatus for transmitting and receiving stereoscopic video
Lee et al. A backward-compatible, mobile, personalized 3DTV broadcasting system based on T-DMB
CN115484476A (zh) Vr直播视频的传输方法、装置以及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12830333

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12830333

Country of ref document: EP

Kind code of ref document: A1