WO2018046004A1 - 多入多出信道传输视频的方法及装置 - Google Patents

多入多出信道传输视频的方法及装置 Download PDF

Info

Publication number
WO2018046004A1
WO2018046004A1 PCT/CN2017/101185 CN2017101185W WO2018046004A1 WO 2018046004 A1 WO2018046004 A1 WO 2018046004A1 CN 2017101185 W CN2017101185 W CN 2017101185W WO 2018046004 A1 WO2018046004 A1 WO 2018046004A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
transform
modulation
transmitting
multiple input
Prior art date
Application number
PCT/CN2017/101185
Other languages
English (en)
French (fr)
Inventor
陈仕东
Original Assignee
陈仕东
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 陈仕东 filed Critical 陈仕东
Priority to CN201780054926.0A priority Critical patent/CN109792438B/zh
Priority to ES17848177T priority patent/ES2812178T3/es
Priority to EP17848177.6A priority patent/EP3512173B1/en
Priority to JP2019535433A priority patent/JP6854495B2/ja
Priority to US16/332,306 priority patent/US10630936B2/en
Publication of WO2018046004A1 publication Critical patent/WO2018046004A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/04—Colour television systems using pulse code modulation
    • H04N11/042—Codec means
    • H04N11/044—Codec means involving transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/24—High-definition television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop

Abstract

本发明提出通过多入多出(MIMO)信道以准连续调制传输视频的方法，包括以下步骤：通过视频预测编码和多维变换，将源视频去相关，产生变换域视频残差系数；通过子载波或子信道优化排序，将变换域视频残差系数并行映射成一至多个传输流；通过线性归一化和准连续调制，将传输流并行调制成多个发射输出信号；通过多个天线或线缆驱动器，将发射输出信号并行发射到多入多出信道上。

Description

多入多出信道传输视频的方法及装置
本申请引用2016年9月12日向美国专利局递交的临时专利申请62393124。
技术领域
本发明涉及视频监控系统、电视广播系统、机器视觉系统、虚拟现实系统、增强现实系统及其他基于视频的系统的视频传输。
背景技术
视频传输是很多系统和应用的基础组成部分和功能。在一个典型的高清监控系统中，多个高清摄像头通过线缆与一个录像机相连。每个摄像头通过连接线缆至少传输一路高清视频到录像机。录像机通常立即显示来自摄像头的现场视频，以监视摄像头现场视野中的现场实景，同时也将现场视频录像，并播放录像。在机器视觉应用中，如基于机器视觉的自主驾驶汽车，安装有一个、一对或多个摄像头，每个摄像头传输一路实时视频到机器视觉处理器，其融合实时视频，对现场产生2维、3维或环绕机器视觉。
历史上，视频传输是从无压缩的模拟传输开始的。闭路电视监控系统采用在同轴电缆上传输CVBS(复合视频基带与同步)信号，成为一个全世界部署的有线模拟视频传输系统。模拟传输采用模拟调制传输源视频。该源视频是一个时间上和垂直上离散取样、水平上连续、幅度上连续的3维信号。通过电视光栅扫描方式，该源视频信号被转换成时间上连续、幅度上连续的一维模拟传输信号，如CVBS信号，用于多种多样的传输。
随着数字技术的巨大进步，数字压缩和无压缩视频传输在许多应用中已经取代了或正在取代无压缩的模拟传输。在一个典型的高清IP(互联网协议)压缩视频监控系统中，百万像素级的高清IP摄像头采用如H.264那样的重度视频压缩技术，把数字高清源视频一般压缩成大约10Mb/s或更低比特率的数字式数据。压缩高清视频的数据包装到IP包中，通过以太网电缆以多电平调制传输到网络视频录像机。通过以太网电缆以IP包传输高清视频具有众所周知的缺点。首先，传输距离受限于100米。第二，重 度压缩导致图像质量损失。第三，以IP包传输的视频帧产生长延迟和可变延迟，导致视频损失及时性和平滑流动性。第四，IP技术的复杂性导致安装、运营和维护成本升高。
很多高端应用因要求高画质和零延迟或近零延迟，采用无压缩数字视频传输方法。在高清闭路监控系统中，高清串行数字接口(HD-SDI)摄像头通过同轴电缆以比特串行化两电平调制传输专业级高质量的无压缩数字高清视频。然而，鉴于其极高比特率和非优化调制，HD-SDI的典型传输距离也限制在100米同轴电缆左右。
一般地，数字视频传输先把数字源视频，即时间上、水平上和垂直上离散、幅度上离散的3维信号，表达成压缩的或无压缩的数字式数据，再采用多种数字调制方法，以时间上离散、幅度离散的数字传输信号传输数字式数据。采用100base-TX模式的快速以太网接口的IP摄像头，以3个离散电平的脉冲信号来传输数字式数据。其他采用1000base-TX模式的千兆以太网接口的IP摄像头，以5个离散电平的脉冲信号来传输数字式数据。这些传输数字式数据的离散信号值，如离散电平值，称为星座。数字接收机需要根据含有噪声和干扰的接收信号判决发送的离散信号值。通常，随着传输距离加大到一定长度，判决出错和数字比特误码迅速增加，变成不可使用。这称为数字悬崖效应。数字视频传输从内在本质上受到数字悬崖效应的损伤。相反地，模拟视频传输采用模拟调制，产生时间上连续和幅度上连续的信号，没有无星座，接收端无需判决，因而没有数字悬崖效应，能平滑渐变降低质量。这个特性称为优异渐变降质。
为了寻找长距离、低成本的传输高清视频方法，业内又将无压缩的模拟传输复活，用于高清传输。专利【1】【2】中最近公开的方法采用高清模拟复合视频传输，称为HD-CVI。与CVBS信号相似，亮度图像经光栅扫描方式转换成亮度信号，在基带传输；两个色度图像经光栅扫描方式转换成两个色度信号，再经过正交幅度调制(QAM)后，在高频通带传输。与CVBS不同的是，高频通带的色度信号频谱位于基带亮度信号频谱之上，与基带亮度频谱不重叠。HD-CVI能在300到500米的同轴电缆上传输高清模拟复合视频。基于模拟视频传输的本性，HD-CVI能以渐变下降的质量穿过电缆。
然而，无压缩的模拟视频传输方法没有采用数字处理技术的优势，其性能大为受限。首先，源视频具有很强的空间和时间相关性和冗余，这已获公认。当HD-CVI方法通过光栅扫描方式直接将二维空间图像信号转化为一维时间信号，没有利用相关性 和冗余来提高传输的视频质量。与之相对，现有的各种数字图像压缩技术，包括JPEG，JPEG 200，H.264帧内编码等，都利用空间相关性和冗余，只使用无压缩图像的一小部分比特率，就获得较高质量的重建图像。其次，现代通信已发展出高效调制技术，如OFDM(正交频分复用调制)，能更好地对抗信道对传输信号的损伤，也未被模拟传输方法采用。
当今，随着超高清视频系统、沉浸式视觉或机器视觉系统的采用，高端视频应用从每秒30帧转向60帧，从传统的2维视频转向180°或360°的3维或环绕沉浸式视频。这些新视频的无压缩数据率成倍增加。由于没有利用源视频的冗余，现有无压缩视频传输方法或不能传输这些挑战性的新视频，或传输距离太限制而受禁止。
进一步，任务关键型机器视觉系统在极端工况下可不容忍数字悬崖效应引起的突然性视频丢失；相反地，该系统可要求平滑渐变降质所提供的高可靠性。例如，采用机器视觉的自主驾驶车辆要求在极端工况下具有可靠的视频传输。采用数字视频传输的自动驾驶车辆，当其视频传输在极端工况下因内在数字悬崖效应而崩溃时，受制于其机器视觉的突然和完全丢失，即失明，可发生致命性故障。相反地，具有优异渐变降质的视频传输方法可继续提供平滑渐变退化的机器视觉，这使自动驾驶车辆可继续保持在一种紧急条件下的工作状态，比如安全地从交通流中自动驶出。
因此，需要新的方法来传输高端系统和应用的视频，提供优异渐变降质的特性，并能够利用源视频的相关性和冗余以及高效率的调制技术，能高质量、长距离、优异渐变降质地传输视频。
发明内容
本发明提出通过多入多出(MIMO)信道在变换域以准连续调制传输视频的方法及装置，包括以下步骤：通过视频预测编码和多维变换，将源视频去相关，产生变换域视频残差系数(称为去相关步骤)；通过子载波或子信道优化排序，将变换域视频残差系数并行映射成一至多个传输流(称为映射步骤)；通过线性归一化和准连续调制，将传输流并行调制成多个发射输出信号(称为调制步骤)；通过多个天线或线缆驱动器，将发射输出信号并行发射到多入多出信道上(称为发射步骤)。
本发明包括视频预测编码，以作为利用视频冗余的有效方法。对每个视频像素，确定一至多个高度相关的参考像素，然后从参考像素的加权组合产生一个像素预测， 并从该源像素中减去该像素预测，产生一个像素残差。视频预测方法很多。帧内预测是从同一视频帧中的参考像素产生像素预测，而帧间预测则是从过去和未来视频帧中的参考像素产生像素预测。给定传统光栅扫描(其以一帧接一帧、一行接一行、从左至右的扫描过程将3维空时域的视频信号转换为1维时域信号)的像素顺序，因果视频预测是从光栅扫描顺序上更早的参考像素产生像素预测；而非因果视频预测则是从光栅扫描顺序上更早和更晚的参考像素产生像素预测。一个3维视频至少包括一个左眼视频和一个右眼视频，彼此相互强相关。眼间预测是从一眼视频对另一眼视频产生预测。本发明的视频预测编码包括但不限于帧内预测、帧间预测、因果预测、非因果预测和眼间预测。如果像素预测被置零，则像素残差与源像素相同，等效于没有视频预测编码。尽管这样，但是为简洁起见，仍将这种情况包括到有视频预测编码的实施例中。
本发明的多维变换包括但不限于2维余弦变换(2D-DCT),3维余弦变换(3D-DCT),2维离散傅立叶变换(2D-DFT),3维离散傅立叶变换(3D-DFT),2维离散沃尔什变换(2D-DWHT),3维沃尔什变换(3D-DWHT),2维离散小波变换(2D-DWT)和3维离散小波变换(3D-DWT).
在去相关步骤中，视频预测编码和多维变换可以交换顺序。在本发明的一个实施例中，视频预测编码应用于多维变换之前，在时空域中应用于源视频，在时空域中生成视频残差。然后通过多维变换，将时空域中的视频残差转换为变换域中的视频残差系数。在本发明的另一实施例中，多维变换应用于视频预测编码之前。相应地，多维变换应用于源视频，并将源视频转换为变换域中的视频系数。然后，应用视频预测编码方法，在变换域中将视频系数转换为视频残差系数。
本发明的准连续调制，采用准连续数字信号作为待调制信号，包括但不限于准连续正交频分多址复用(OFDMA)和准连续码分多址复用(CDMA)。
在本发明的一个实施例中，采用2D-DCT作为多维变换，并采用OFDMA调制。在视频发端，对源视频的每个视频帧图像采用2D-DCT变换，将得到的视频残差系数映射到OFDM符号的子载波上。通常通过快速傅立叶反变换(IFFT)，将OFDM符号变换到时域，以循环前缀(CP)或循环后缀(CS)或两者循环延伸。所获得的时域OFDM符号通过多输出发射机发射到MIMO信道。这种方法被称为DCT-OFDMA传输方法。
从理论上讲，在DCT-OFDMA传输方法的视频残差系数的值可以根据图像信号而 连续变化。当DCT-OFDMA传输方法用于传输时间和空间上离散采样、但连续取值的3维源视频(称为抽样视频)时，DCT-OFDMA方法产生连续取值的视频残差系数。因此，当这些连续取值的视频残差系数被映射到OFDM符号的子频率上时，与常规的数字OFDM调制相反，DCT-OFDMA传输方法中这种子载波的待调信号是可以连续取值的，没有任何方式的星座。这种OFDM子载波称为连续OFDM子载波。在DCT-OFDMA传输的方法中的这种OFDM调制方法称为连续OFDM调制。在时域，连续OFDM调制产生时间上离散但连续取值的发射输出信号。当抽样视频满足Nyquist采样定理的要求时，可以用采样视频无失真地重建原始模拟视频。因此，如不采用任何压缩，无压缩DCT-OFDMA方法在连续调制时，等效为一种新的模拟视频传输方法，可被视为相应的新的模拟传输方法的离散实现。
实际上，DCT-OFDMA方法通常用于传输数字源视频。当抽样视频被转换为数字视频时，由于连续取值的像素通常被高精度量化，数字像素值是连续像素值的数字近似，虽然数学上数字像素值是离散取值的，但在一定的工程意义上是近似于连续取值的。例如，当量化噪声低于人类视觉阈值时，高精度的数字视频可以在视觉上与原始模拟源视频不能区分。再例如，当原始模拟视频的量化噪声接近或低于接收机本底噪声时，经过传输后，数字视频达到或接近与模拟视频几乎等同的性能。近似连续取值的数字信号是连续取值信号的数字近似，被称为准连续取值的数字信号，或准连续数字信号。此外，一个准连续值也可由涉及一个或多个准连续值的运算而产生。因此，当数字像素是准连续值时，DCT-OFDMA方法产生准连续值的视频残差系数，并进一步在OFDM符号中产生准连续待调信号谱。这种OFDM调制被称为准连续OFDM调制。在时域，准连续OFDM调制产生时间上离散但准连续取值的传输信号。如不采用任何压缩，无压缩准连续调制的DCT-OFDMA方法等效于一个具有量化噪声的新的模拟视频传输方法，并可视为相应的新的模拟传输方法在有限比特精度下的数字近似实现。不过，为简洁起见，下文中不严格区分连续调制和准连续调制，并可以准连续调制为例说明本发明的方法。
准连续OFDM调制不同于传统的数字OFDM调制。数字OFDM调制中，子载波的待调信号具有星座的离散值，用以携带数字比特。与准连续OFDM子载波相反，数字OFDM子载波的待调信号是准确的离散值，没有任何近似。这些准确的离散值是选 自离散的数字星座集合。在实际系统中，准连续调制往往采用高精度和巨大的离散值集，以更好地近似连续调制，而数字调制往往限于小的离散值集，以保持判决出错率低或几乎为零。例如，当视频残差系数由12比特近似，且一对视频残差系数被映射成一个复数取值的OFDM子载波的待调信号值时，用于调制OFDM子载波的准连续复数待调信号值取自于具有约1600万个离散值的大集合。与之相对，采用正交相移键控(QPSK)调制的数字OFDM调制的子载波待调信号则取自于只有4个离散值的小集合。
相似地，在本发明的另一实施例中，在视频发端，每个视频帧图像经过空间域2D-DCT变换。根据CDMA，将得到的视频残差系数映射到不同的扩频码(也称扩频序列)上，分别与扩频序列算数相乘，调制扩频序列。所有已调制序列都叠加在一起，在时域发送到MIMO信道。这种方法被称为DCT-CDMA传输方法。同样地，取决于视频信号，在理论上DCT-CDMA传输方法的视频残差系数可以连续取值。当DCT-CDMA方法传输抽样视频时，该方法产生连续取值的视频残差系数。分配到扩频序列后，与通常的CDMA数字调制相反，与扩频序列相乘的基带信号(称为待扩频信号，或被扩频信号)和相乘后得到的已调制序列的幅度都是可以连续变化的，没有任何方式的星座。这种扩频序列被称为连续CDMA扩频序列。这种CDMA调制方法称为连续CDMA调制。实际上，当DCT-CDMA传输方法传输数字源视频时，产生准连续的视频残差系数，以及离散时间、准连续取值的发射输出信号。这种采用准连续取值的基带信号或待扩频信号的CDMA调制被称为准连续CDMA调制。
为了简洁起见，下文中以准连续OFDM调制为例说明本发明。采用准连续CDMA调制或其它调制方法的变形例可在本发明的范围内派生得到。
本发明的MIMO信道包括但不限于多天线无线信道和多对有线信道。多天线无线信道具有ntx发射机天线和nrx接收机天线，表示为ntx×nrx MIMO信道，其中ntx和nrx是正整数。当ntx和nrx为1时，实际上是传统的单入单出通道，称为SISO通道。当ntx为1且nrx大于1时，实际上是单入多出通道，称为SIMO通道。然而，应当注意，在下面的描述中，本发明中的SISO和SIMO都包括在MIMO信道中。多对电缆信道包括但不限于Cat5e以太网电缆，Cat6以太网电缆和聚合同轴电缆。Cat5e/6以太网电缆有4对非屏蔽双绞线(UTP)。当所有4对UTP电线被有效驱动和接收时，该电缆 变成有线4×4MIMO信道。
在发端，本发明的映射步骤将残差变换系数映射为mtx个不同的传输流，其中mtx是正整数，并且等于或小于ntx。当mtx小于ntx时，例如2个传输流和4个发射输出信号，调制步骤还包括空域编码或空时编码，将2个传输流编码为4个发射输出信号，发送到4个无线天线或线路驱动器。
本发明的归一化用根据某些准则选择的常数将每个发射输出信号的每个段缩放。在DCT-OFDMA方法的实施例中，发射输出信号的一个段包括一个或多个OFDM符号。在DCT-CDMA方法的实施例中，发射输出信号的一个段包括一个或多个CDMA已扩频字。缩放是线性的，缩放倍数称为缩放因子。在每个发射输出信号的不同段之间，缩放因子可以并且经常改变。在相同时段中的不同空域发射输出信号的段之间，缩放因子可相同或可以不同。在本发明的一个实施例中，不同发射输出信号的每个段被分别归一化。例如，当调制步骤生成4个发射输出信号，以驱动4×4MIMO信道时，每个OFDM符号时段，并行地生成4个OFDM符号(段)，每个符号通过其自己的缩放因子分别归一化。在本发明的另一实施例中，相同时段中的所有发射输出信号的信号段被共同归一化。例如，当调制步骤生成4个发射输出信号，以驱动4×4MIMO信道时，每个符号时段并行生成4个OFDM符号，但是这4个OFDM符号通过相同的缩放因子共同归一化。进一步，由于归一化是线性缩放，在本发明的一个实施例中，归一化被应用于调制之前的待调传输信号段，例如在准连续OFDM调制中，用于在IFFT之前的频域。在本发明的另一个实施例中，其被应用于调制后的已调制发射段，例如在准连续OFDM调制中，用于在IFFT之后的时域。缩放因子被包括在除开视频系数之外的辅助数据中，并且通过准连续调制或常规数字调制发送。
本发明的映射步骤采用多种值映射方法，将变换域残差变换系数转换为传输流中的复数值，包括但不限于一对一映射和多对一映射。在本发明的采用DCT-OFDMA的实施例中，一对一映射取出一对准连续视频残差系数a和b，产生复数值a+jb，并将其分配给一个OFDM子载波，其中j是-1的平方根。每个视频残差系数被映射到一个复数OFDM子载波待调信号的实部或虚部。在本发明的采用DCT-OFDMA的另一个实施例中，多对一映射取出多对准连续视频残差系数，例如2对，a和b，c和d，并产生复数OFDM子载波的待调信号(a+bM)+j(c+dM)，其中j是-1的平方根，M 是在特定准则下选择的一定常数。在本发明的接收机中，a和b可以通过来自实部的模M操作分离，来自虚部的c和d也是如此。
本发明的映射步骤采用多种映射顺序将变换域中的变换块的视频残差系数映射到传输流的待调制信号段。在本发明的采用DCT-OFDMA的一个实施例中，每个变换块中的视频残差系数被之字形扫描，并排列成一维块系数数组。每个变换块被扫描到其自己的块系数数组中。在一个实施例中，假设每2*mtx个变换块被映射到mtx个传输流，即一对变换块被映射到1个传输流中，其中mtx是传输流的个数，并且是正整数。在一对一值映射下，从最低索引开始，从一对块系数数组(每个都是从变换块扫描得到)的相同索引处获取一对视频残差系数，形成一个复数值，并将其分配给在未分配的OFDM子载波中时间频率最低的传输流。这被称为从最低到最低的映射。该实施例要求将整数个变换块映射到一个OFDM符号。在另一个实施例中，所有块系数数组交织在一起，形成一个区域系数数组，其被映射到mtx个传输流的段，即并行的mtx个OFDM符号。在一对一值映射下，从最小索引处的区域系数数组中取出一对系数，形成一个复数，并将其分配给具有最低时间频率的传输流的未分配的OFDM子载波。然后，最小索引移动到区域系数数组中的下一对系数，直到映射完所有系数。这也被称为从最低到最低的映射。然而，该实施例不要求将整数个变换块映射到OFDM符号。
从最低到最低的映射普遍适用于电缆信道。一般来说，视频信号具有很强的相关性。在视频预测编码之后，视频残差信号仍然具有相关性，只是减弱了。因此，变换块中的视频残差系数不是“白色”的。直流(DC)系数通常比交流(AC)强，而低频AC系数通常比高频强。之字形扫描通常首先扫描DC系数，然后是低空间频率AC系数和高空间频率AC系数。因此，1维视频残差系数数组在统计上大约具有递减的幅度。在通过单个有线信道传输视频时，例如，同轴电缆或具有串扰弱的MIMO电缆信道，例如4×4Cat5e/6电缆，低频衰减小于高频。从最低到最低的映射倾向于通过在有线信道的最佳子载波上携带最强的视频残差系数。这通常能提供高性能。
在本发明的采用DCT-OFDMA的另一个实施例中，每个变换块中的视频残差系数仍然进行之字形扫描，排列成一维视频残差系数数组，并且多个块系数数组交错在一起，形成一个区域系数数组。然而，发端从收端显式或隐式地获得每个子载波处的频域MIMO信道矩阵，对每个子载波的频域MIMO信道矩阵进行奇异值分解(SVD)， 获得其奇异值。每个奇异值代表一个独立的子信道，称为奇异子信道。所有奇异子信道以这样的方式排列，使得它们各自的奇异值形成一个单调递减的1维数组，即最低索引处的奇异子信道的奇异值最大。在一对一映射下，从最低索引开始，从区域系数数组的最低索引处中取出一对视频残差系数，形成一个复数值，并将其分配给具有最低索引的未分配的奇异子信道。然后，区域系数数组中的最低索引移动到下一对系数，直到映射完所有系数。这被称为最低到最大的映射。
在无线MIMO信道的视频传输中，信道衰减可以随频率任意起伏(尽管在某些物理限制之下)，可能不会象电缆信道那样单调增加。最低到最大的映射趋向于在最佳奇异子信道上传输最强视频残差系数。这通常能提供高性能。
从最低到最低和最低到最大的映射有各种变化。在一个DCT-OFDMA的实施例中，采用多个之字形扫描顺序。基于变换块的幅度模式和某些准则，选择特定的之字形扫描顺序将视频残差系数块扫描成1维数组。可以为不同的视频残差系数块选择不同的之字形扫描顺序。选择的扫描顺序的信息作为辅助数据包含在传输中，并且通常通过数字调制来传输。
本发明的方法还可以包括通过使幅度低于特定阈值的视频残差系数置零来压缩频谱。这些置零的视频残差系数在映射步骤中被跳过，并且不包括在传输之中。因此，只需传输较少的视频残差系数，使发射输出信号具有较窄的频谱。当置零的视频残差系数的索引不固定时，置零系数的索引信息也被包括在辅助数据中，并且通常通过传统的数字调制传输。
本发明的方法还可以包括扩展频谱。这可能会提高视频性能。在DCT-OFDMA的实施例中，通过映射步骤生成的子载波待调信号进行频域CDMA调制。频域扩展序列占用的子载波的数量大于通过映射生成的子载波的数量。因此，扩频后的频谱变宽。然后将CDMA已调制字传递到调制步骤，并发射。
前发明(US2007098063A1)，Apparatus and Method for Uncompressed，Wireless Transmission of Video[3]，公开了使用OFDM调制在DCT变换域中传输视频的方法。然而，本发明的DCT-OFDMA方法与前发明US2007098063A1的根本区别在于：本发明通过子载波或子信道优化排序和发射波束成形等，提供在MIMO信道传输视频的方法，而前发明则不提供。此外，其他区别还有：
a)是否同时使用数字和准连续调制来携带相同的变换域系数。前发明同时使用数字和准连续调制来传输相同的视频系数。每个块的视频系数分为两区。第一区包括DC和低空间频率系数，这通常决定主要的视频质量。第二区包括其余的高空间频率系数，其确定视频细节。第一区被数字量化，分解成数字比特，并由传统的数字OFDM调制传输。第二区等价于量化为0，而不在数字调制中传输。这是有损数字视频传输。同时，将量化误差值分配给准连续的OFDM子载波，对数字传输打补丁，使得组合传输变成无损。要注意的是，第一区中的所有视频系数同时在数字调制和准连续调制中传输。由于前发明采用数字调制发送视频信号的数字量化视频残差系数，所以它以与其它数字传输方式相同，具有数字悬崖效应，不提供所需的优异渐变降质，而且同时其使用数字和准连续调制来携带相同的视频残差系数，又占用更宽的频带。相反地，本发明的方法并不同时使用数字和准连续调制来传输相同的视频残差系数。在未压缩的无损视频传输的实施例中，所有视频残差系数的整个值都由准连续OFDM子载波传输，既不参与任何数字量化，也不由数字OFDM子载波传输，不采用数字调制。这完全消除了数字悬崖效应，从而提供了所需的、与模拟传输相当的、优异渐变降质和高可靠性；
b)是否包括预测编码。前发明不采用视频预测编码来利用视频冗余，而是传送包含冗余的原始源视频，大量发射能量耗费于传输视频冗余上。它仍是现有无视频预测编码的无压缩视频传输方法之一。本发明的方法包括视频预测编码，大大消除或减少视频信号的冗余，传输视频残差，大幅提供传输能量效率，从而提高视频性能。本发明提供了新型的有预测编码的无压缩视频传输方法；
c)压括法还是归一化。前发明采用压扩法(与a律和u律算法相同的原理)，以将每个视频系数的值非线性地映射成另一个值。本发明的调制步骤的归一化使用相同的缩放因子对整个OFDM符号的所有视频子载波做线性缩放，使得缩放的OFDM符号的某些参数(例如，平均功率，峰值功率等)趋于相等或接近，即归一化。一般地，经前发明压扩后的OFDM符号仍是未归一化的。这两个操作是根本不同的。
附图说明
图1示出了一个示例高清720p60采用YUV4:2:0彩色格式的视频帧定时。
图2示出了如何将示例高清图像划分成本发明的条和区的一个实施例。
图3示出了如何将本发明中的区划分成宏块的一个实施例。
图4示出了如何将本发明的宏块划分成变换块的一个实施例。
图5示出了所提出的高清视频传输方法的一个实施例。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
现在，本发明的原理和实施例将参考附图详细说明。附图提供实施示例，以便使本领域的技术人员能够实施本发明。值得注意的是，附图和以下实施例并不意味着将本发明的范围限制到单个实施例中。交换部分或全部所描述的或示出的部分，可以产生其它实施例。如方便可及，在附图中相同的附图标记指代相同或相似的部分。其中，这些实施例的某些部分可以利用公知的组件，本说明书将描述如何使用公知的组件，以便于理解本发明，但是公知部件内部则不详细描述，或完全省略，以免混淆本发明。另外，除非明确说明，本说明书中示出单数组件实施例不应该被认为是限定为单数；相反，本发明旨在涵盖包括多个相同组件的其他实施例，反之亦然。此外，除非明确阐述，申请人不为说明书或权利要求书中的任何术语赋予一种罕见的或特殊的含义。另外，本发明说明书中图示的步骤或部件还包含目前和未来知道的等效物。
在下面的说明中，假定以图1所示的YUV4:2:0彩色格式的高清视频720p60为原始源视频，作为示例来说明本发明的原理和一个实施例。高清720p60每秒有60逐行扫描视频帧。每个视频帧周期为1/60秒，如图1中的最外层的矩形表示。每个视频帧有750行扫描线。前30行扫描线是垂直消隐，其持续时间被称为垂直消隐期111。其余720行扫描线是有效视频行，其持续时间被称为垂直正程期112。在74.25MHz频率采样时，每行扫描线有1650个时钟取样。每个扫描线的最后370个取样是水平消隐，其持续时间称为水平消隐期122。每个有效视频行的前1280个取样代表有效的1280个亮度像素，其持续时间称为水平正程期，标记为121。所有垂直正程且水平正程中的亮度像素代表了一个高清视频帧的1280×720像素的高清亮度图像Y。由于色度图像在水平和垂直方向上有2倍下抽样，两个色度图像U和V分别为640×360像素。
在本发明的采用2维变换的某实施例中，在视频发端，源视频的每个图像被分成小的2维像素块，例如8×8像素块，其中8×8像素表示8像素宽、8像素高的2维 块。视频预测编码为每个源像素块生成一个预测像素块，然后将预测像素块从源像素块中减去，产生像素残差块，并且通过2D-DCT将每个像素残差块转换为相同大小的视频残差系数块。
在本发明的采用3维变换的某实施例中，在视频发端，源视频的帧序列被划分成视频段，每个视频段包括多个视频帧。然后每个视频段被分成小的三维像素块，例如8帧长视频段的8×8×8像素块，其中8×8×8表示8像素宽、8像素高和8视频帧长的像素块。视频预测编码为每个源像素块生成一个预测像素块，将预测像素块从源像素块中减去，产生残留像素块，并且通过3D-DCT将每个像素残差块转换为相同大小的视频残差系数块。
在图示的本发明的实施例中，每一个1280×720像素的视频帧图像被划分成变换像素块，归一化区和传输区，如图2至4所示，以备在下述的本发明的传输方法的处理步骤中使用。首先，高清1280×720图像被划分成45个水平条，从上到下分别标记为201，202…，245，如图2所示。每个水平条为16×1280像素。第二，每个水平条划分为16个区，从左到右，第一水平条201中的区标记为20101，20102，…，20116，直至最后一个水平条245中的区24501，24502，…，24516。每个区是80×16像素。在图示的传输方法的实施例中，这些区被同时用作归一化区和传输区。第三、每个区被分为5个宏块，从左到右标记为301、302、……，305，如图3所示。每个宏块为16×16像素。最后，每个宏块包括一个16×16像素的亮度图像和两个8×8像素的色度图像。16×16像素的亮度图像分成4个亮度块。每一个亮度块是8x8像素，在图4中分别标记为401，402，403和404。两个8×8像素的色度图像分别标记为405和406。在图示的本发明的实施例中，采用了这些8×8像素块作为像素块。
图5示出了本发明的视频传输方法的一个实施例。假定源视频通过4个传输流在4x4MIMO信道上传输。其它采用DCT-CDMA的方法可以相应类推。此外，假定采用2D-DCT变换，因此按上述步骤划分之后，所提出的传输方法在源视频的每个视频帧图像上进行。其它包括3D-DCT在内的方法可以类推得到，例如源视频被分成8帧长的视频段，并且图5中所示实施例中的方法被应用于每个视频段而不是每个视频帧。图5所示实施例中的方法包括以下步骤：
步骤1.去相关，如510所示。该步骤对源视频去相关，通过视频预测编码和多维 变换产生变换域视频残差系数，包括以下详细步骤：
步骤1a.视频预测编码，如511所示。在本发明的图示实施例中，对于每个8x8源像素块，视频预测编码511从同一帧图像或在过去/未来或眼间帧图像的像素中产生一个8×8像素的预测块。从源像素块中减去预测块，产生像素残差块。生成预测块的方法有多种。这些方法超出了本发明的范围，不予详述。
步骤1b.每个像素块做2D-DCT变换，如512所示。在本发明的图示实施例中，该步骤将每个8×8像素残差块转换到变换域，产生相同大小的视频残差系数块。做DCT变换的块的顺序是可以改变的。在本发明的一个特定实施例中，为了尽量减少处理延迟，第一区20101中的所有块首先被变换，然后下一个区20102被变换，直至最后一个区24516。
在本发明的一个实施例中，去相关步骤510的步骤1a和1b可交换顺序，即视频预测编码511在2D-DCT 512之后被应用，因此在变换域中应用。
步骤2.映射，如520所示。在本发明的所示实施例中，该步骤将变换域视频残差系数并行地映射为4个传输流，包括以下详细步骤：
步骤2a.将每个视频残差系数块之字形扫描成1维块系数数组，如521所示。在本发明的所示实施例中，区域中的每个8×8视频残差系数块被之字形扫描成64个元素长的一维块系数数组。
步骤2b.将区域中的所有块系数数组合并成一个一维区域系数数组，如522所示。。在本发明的图示实施例中，该区域共有30个块系数数组。所有的块系数数组交织排列，产生一个1920个元素长的一维区域系数数组。第一个块系数数组的第一个元素成为区域系数数组的第一个元素。第一个块系数数组的第二个元素成为区域系数数组的第三十一个元素等。交织顺序由下述公式给出
区域系数数组的元素序号＝(块系数数组的元素序号-1)×30+变换系数块的序号
其中区域系数数组的元素序号是一个整数，范围从1到1920，块系数数组的元素序号是一个整数，范围从1到64，变换系数块的序号是一个整数，范围从1到30。
步骤2c.获得每个子载波的频域信道矩阵，如523所示。在所示实施例的4×4无线MIMO信道中，假定采用具有256个子载波的OFDM符号，这256个子载波中的 240个用于以准连续调制传输视频残差系数，称为视频子载波。在发端获得所有视频子载波的240个频域信道矩阵。在一个实施例中，在收端估计240个频域信道矩阵，并且显式地发送回发端。在另一个实施例中，发端通过反向训练(从接收机到发射机)隐式估计信道矩阵(从发射机到接收机)。这些方法是已知的[4]，不再详述。
步骤2d.通过其奇异值对所有奇异子信道进行排序，如524所示。在所示实施例中，所有240个频域信道矩阵都是4×4矩阵。每个4×4信道矩阵通过奇异值分解(SVD)得到其4个奇异值。令Hk表示子载波k处的频域信道矩阵，则SVD分解中，4×4正交矩阵Uk,Vk,和对角矩阵Diag{sk1，sk2，sk3，sk4}满足
Figure PCTCN2017101185-appb-000001
其中sk1,…sk4是非负实数，被称为子载波k的奇异值，
Figure PCTCN2017101185-appb-000002
表示矩阵Vk的共轭转置[4]。每个奇异值代表一个奇异子信道。在所示实施例中，存在960个奇异值和子通道。所有奇异子信道如此排序，使其奇异值单调递减，即：较低索引处的奇异子信道的奇异值大于或等于较高索引值处的奇异子信道的奇异值。这样排序的奇异子信道被称为奇异子信道数组。
步骤2e.将系数分配到奇异子信道，如525所示。在所示实施例中，从最低索引开始，从区域系数数组中取出一对视频残差系数，通过一对一值映射形成一个复数。该复数被分配给具有最低索引的未分配的奇异子信道。然后映射移动到下一对视频残差系数，直到分配完所有系数。
步骤2f.发射波束成形，如526所示。在分配完所有奇异子信道之后，令xkm表示步骤2e分配给子载波k处第m个奇异子信道的复数，其中k＝1,...,240和m＝1,2,3,4.令给子载波k的4个待调信号值所分配的复数值由4行列向量Yk表示，则其由下式给出
Figure PCTCN2017101185-appb-000003
其中，Vk是对子载波频域信道矩阵Hk做SVD分解而获得的[4].
在发射波束成形之后，4个传输流的所有4个OFDM符号的240个视频子载波都被得到发射波束长形所产生的待调信号值ykm，其中k＝1,...,240和m＝1,2,3,4。
步骤3.调制，如530所示。在所示实施例中，该步骤通过线性归一化和准连续OFDM调制并行地将4个传输流调制为4个发射输出信号，包括以下详细步骤：
步骤3a.归一化，如531所示。在本发明的所示实施例中，归一化步骤将4个OFDM符号的所有视频子载波上的待调信号值乘以一个缩放因子，使某一特征值相等或接近。在本发明的一个实施例中，计算4个OFDM符号的平均功率，并将其与确定值(人为设定值)进行比较以确定缩放因子。在所有视频子载波被缩放后，视频子载波的平均功率等于或接近确定值。在本发明的另一实施例中，找到所有OFDM符号的峰值，并且选择缩放因子使得4个OFDM符号的峰值等于或接近确定值。缩放因子作为辅助数据、采用准连续调制或数字调制传输。
步骤3b.准连续OFDM调制，如532所示。在所示实施例中，256点IFFT将4个传输流的所有4个OFDM符号从频域转换为时域。然后，使用循环前缀(CP)或循环后缀(CS)或两者循环地扩展4个OFDM符号。
在本发明的另一个实施例中，调制步骤530中的归一化步骤531和OFDM调制步骤532可交换顺序，即归一化步骤531在OFDM调制步骤532之后被应用，因此其在时域应用。
步骤4.发射，如540所示。在所示实施例中，4个循环扩展的OFDM符号被上变频到相同的RF频道，并行地生成4个RF发射输出信号，然后这4个RF发射输出信号通过4个发射天线并行发射出去。
值得注意的是，当所有的视频残差系数采用准连续调制时，实施例中给出的传输方法不发生可变的处理延迟，而是只发生固定的处理延迟。假设输入是光栅扫描的高清视频信号，在图示的本发明的实施例中，高清视频发端理论上的最小延迟是16扫描行行周期。假设收端输出也是光栅扫描的高清视频信号，其理论上的最小延迟也是16扫描行周期。理论上最小的端到端的总延迟是32个扫描行周期。
本发明是根据附图和实施例来说明的。但是应当理解，本发明并不局限于这些实施例。在本发明的方法的变型中，一些步骤的顺序是可以改变的，一些步骤可以组合在一起，有些可以分成多步，有些可以修改。本领域技术人员可以在不脱离所附权利要求限定的本发明的原理和范围内进行修改和变化。
参考文献
[1]Jun Yin et al.,Method and device for transmitting high-definition video signal,Pub.No.CN102724518A,CN1027245188,W02013170763A1,May 6,2012
[2]Jun Yin et al., Method and device for high-definition digital video signal transmission, and camera and acquisition equipment, Pub. No. CN1027245 19A, CN 102724519 B, W02013170766A1. May 6, 2012
[3]Zvi Reznic et al., Apparatus and method for uncompressed, wireless transmission of video,Pub. No. US2007/0098063 A1, May 3, 2007
[4]Thomas Paul and Tokunbo Ogunfunmi, Understanding the IEEE 802.11n Amendment,IEEE Circuits and Systems magazine, 1st quarter 2008。

Claims (29)

  1. 一种多入多出信道传输视频的方法，其特征在于包括：
    去相关步骤：通过视频预测编码和多维变换，将源视频去相关，产生变换域视频残差系数；
    映射步骤：通过子载波或子信道优化排序，将变换域视频残差系数并行映射成一至多个传输流；
    调制步骤：通过线性归一化和准连续调制，将传输流并行调制成多个发射输出信号；
    发射步骤：通过多个天线或线缆驱动器，将发射输出信号并行发射到多入多出信道上。
  2. 根据权利要求1所述的多入多出信道传输视频的方法，其特征在于所述视频预测编码包括帧内预测编码、帧间预测编码、因果预测编码、非因果预测编码、眼间预测编码、像素残差被置零的无视频预测编码。
  3. 根据权利要求1所述的多入多出信道传输视频的方法，其特征在于所述多维变换包括2维余弦变换、3维余弦变换、2维离散傅立叶变换、3维离散傅立叶变换、2维离散沃尔什变换、3维沃尔什变换、2维离散小波变换或3维离散小波变换。
  4. 根据权利要求1所述的多入多出信道传输视频的方法，其特征在于所述调制步骤中的准连续调制包括准连续OFDMA调制和准连续CDMA调制。
  5. 根据权利要求1所述的多入多出信道传输视频的方法，其特征在于所述视频预测编码在多维变换之前应用，或视频预测编码在多维变换之后应用。
  6. 根据权利要求5所述的多入多出信道传输视频的方法，其特征在于所述视频预测编码应用于多维变换之前，则去相关步骤包括：
    在时空域中应用视频预测编码于源视频，在时空域中生成源视频所有像素的像素残差；
    然后通过多维变换，将时空域中的源视频所有像素的像素残差转换为变换域中的视频残差系数。
  7. 根据权利要求5所述的多入多出信道传输视频的方法，其特征在于所述多维变换应用于视频预测编码之前，则去相关步骤包括：
    应用多维变换于源视频，将源视频转换为变换域中的视频系数；
    然后在变换域中应用视频预测编码，将视频系数转换为视频残差系数。
  8. 根据权利要求4所述的多入多出信道传输视频的方法，其特征在于采用准连续OFDMA调制时，所述映射步骤包括从最低到最低的映射和从最低到最大的映射。
  9. 根据权利要求8所述的多入多出信道传输视频的方法，其特征在于所述最低到最低的映射包括：
    将区域中各块的残差系数通过扫描转化为各块的一维块系数数组；
    从块系数数组最低索引开始，从一对块系数数组的相同索引处获取一对视频残差系数，形成一个复数值，并将其分配给在未分配的OFDM子载波中时间频率最低的传输流，进一步分配给该传输流中那个时间频率最低的未分配的OFDM子载波，成为该OFDM子载波的待调信号值；
    索引向高移动一个单元，指向下一对变换域视频残差系数，继续分配，直至映射完区域中所有的一维块系数数组。
  10. 根据权利要求8所述的多入多出信道传输视频的方法，其特征在于所述最低到最低的映射包括：
    将区域中的所有块的变换域视频残差系数通过扫描转化为各块的一维块系数数组；
    将区域中的所有块系数数组合并成一个一维区域系数数组；
    从区域系数数组最低索引开始，从区域系数数组获取一对视频残差系数，形成一个复数值，并将其分配给在未分配的OFDM子载波中时间频率最低的传输流，进一步分配给该传输流中那个时间频率最低的未分配的OFDM子载波，成为该OFDM子载波的待调信号值；
    索引向高移动两个单元，指向下一对变换域视频残差系数，继续分配，直至映射完区域系数数组。
  11. 根据权利要求8所述的多入多出信道传输视频的方法，其特征在于所述从最低到最大的映射步骤包括：
    将区域中的所有块的系数通过扫描转化为各块的一维块系数数组；
    将区域中的所有块系数数组合并成一个一维区域系数数组；
    获得每个子载波的频域信道矩阵；
    每个子载波的频域信道矩阵通过奇异值分解得到奇异值，每个奇异值代表一个奇异子信道；
    通过其奇异值对所有奇异子信道进行排序；
    将区域系数数组中的变换域视频残差系数分配到奇异子信道；
    通过发射波束成形，从奇异子信道被分配的由变换域视频残差系数所形成的复数值产生各传输流的OFDM子载波的待调信号值。
  12. 根据权利要求11所述的多入多出信道传输视频的方法，其特征在于所述奇异子信道进行排序是按照较低索引处的奇异子信道的奇异值大于或等于较高索引值处的奇异子信道的奇异值进行奇异子信道排序。
  13. 根据权利要求11所述的多入多出信道传输视频的方法，其特征在于所述变换域视频残差系数分配到奇异子信道包括：
    从最低索引开始，从区域系数数组中取出一对视频残差系数，通过一对一值映射形成一个复数；
    该复数被分配给具有最低索引的未分配的奇异子信道；
    然后索引向高移动两个单元，指向下一对视频残差系数，直到分配完所有系数。
  14. 根据权利要求11所述的多入多出信道传输视频的方法，其特征在于所述发射波束成形具体过程是：令xkm表示分配给子载波k处第m个奇异子信道的复数，其中k为表示OFDM符号子载波的序号，m为传输流个数，也是该子载波k处的待调信号值个数；
    令给子载波k的m个待调信号值所生成的复数值由m行列向量Yk表示，则其由下式给出
    Figure PCTCN2017101185-appb-100001
    其中，Vk是对子载波频域信道矩阵Hk做SVD分解而获得的。
  15. 根据权利要求4所述的多入多出信道传输视频的方法，其特征在于当映射步骤将变换域视频残差系数映射到各传输流中不同的扩频码而产生准连续的待扩 频信号值后，调制步骤中的准连续CDMA调制包括：
    各传输流的待扩频信号值分别与扩频码算数相乘，调制扩频码；
    各传输流的所有已调制扩频码叠加在一起，形成多个发射输出信号。
  16. 根据权利要求4所述的多入多出信道传输视频的方法，其特征在于当映射步骤将变换域视频残差系数映射到各传输流中不同的子载波而产生准连续的待调信号值后，调制步骤中的准连续OFDMA调制包括：
    IFFT将各传输流的各OFDM符号从频域转换到时域；
    使用循环前缀或循环后缀或两者循环地扩展各OFDM符号，形成多个发射输出信号。
  17. 根据权利要求1所述的多入多出信道传输视频的方法，其特征在于所述线性归一化指的是所有OFDM符号中的视频子载波上或所有CDMA扩频字中视频扩频序列上的待调信号值乘以一个缩放因子，使某一特征值相等或接近。
  18. 根据权利要求17所述的多入多出信道传输视频的方法，其特征在于所述缩放因子指的是计算发射输出信号的每个段的平均功率，并将其与某确定值进行比较以确定的缩放因子。
  19. 根据权利要求17所述的多入多出信道传输视频的方法，其特征在于所述缩放因子是找到发射输出信号的每个段的峰值，并将其与某确定值进行比较以确定的缩放因子。
  20. 根据权利要求17所述的多入多出信道传输视频的方法，其特征在于所述归一化选择不同的缩放因子将各发射输出信号的各段分别缩放；
  21. 根据权利要求17所述的多入多出信道传输视频的方法，其特征在于所述归一化选择相同的缩放因子将相同时段的所有发射输出信号的段共同归一化；选择不同的缩放因子将不同时段的各发射输出信号的段分别归一化。
  22. 根据权利要求1所述的多入多出信道传输视频的方法，其特征在于所述调制步骤中归一化在准连续调制之前应用，被应用于准连续调制之前的待调制的传输流的段。
  23. 根据权利要求1所述的多入多出信道传输视频的方法，其特征在于所述调制步骤中归一化在准连续调制之后应用，被应用于准连续调制之后的已调制的发射 输出信号的段。
  24. 根据权利要求9，10或13所述的多入多出信道传输视频的方法，其特征在于映射步骤中将视频残差系数转换为复数的值映射方法包括：
    一对一值映射，其取一对视频残差系数a和b，形成一个复数值a+jb，j是-1的平方根；或，
    二对一值映射，其取两对视频残差系数a和b，c和d，形成一个复数值(a+bM)+j(c+dM)，j是-1的平方根，M是一个设定的实常数。
  25. 根据权利要求1至23之一所述的多入多出信道传输视频的方法，其特征在于还可以包括通过使幅度低于特定阈值的变换域视频残差系数置零来压缩频谱。
  26. 根据权利要求1至23之一所述的多入多出信道传输视频的方法，其特征在于还可以包括扩展频谱。
  27. 基于权利要求24所述多入多出信道传输视频的方法的装置，其特征在于包括：
    去相关模块：用于通过视频预测编码和多维变换，将源视频去相关，产生变换域视频残差系数；
    映射模块：用于通过子载波或子信道优化排序，将变换域视频残差系数并行映射成一至多个传输流；
    调制模块：用于通过线性归一化和准连续调制，将传输流并行调制成多个发射输出信号；
    发射模块：用于通过多个天线或线缆驱动器，将发射输出信号并行发射到多入多出信道上。
  28. 基于权利要求25所述多入多出信道传输视频的方法的装置，其特征在于包括：
    去相关模块：用于通过视频预测编码和多维变换，将源视频去相关，产生变换域视频残差系数；
    映射模块：用于通过子载波或子信道优化排序，将变换域视频残差系数并行映射成一至多个传输流；
    调制模块：用于通过线性归一化和准连续调制，将传输流并行调制成多个发射 输出信号；
    发射模块：用于通过多个天线或线缆驱动器，将发射输出信号并行发射到多入多出信道上。
  29. 基于权利要求26所述多入多出信道传输视频的方法的装置，其特征在于包括：
    去相关模块：用于通过视频预测编码和多维变换，将源视频去相关，产生变换域视频残差系数；
    映射模块：用于通过子载波或子信道优化排序，将变换域视频残差系数并行映射成一至多个传输流；
    调制模块：用于通过线性归一化和准连续调制，将传输流并行调制成多个发射输出信号；
    发射模块：用于通过多个天线或线缆驱动器，将发射输出信号并行发射到多入多出信道上。
PCT/CN2017/101185 2016-09-12 2017-09-11 多入多出信道传输视频的方法及装置 WO2018046004A1 (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201780054926.0A CN109792438B (zh) 2016-09-12 2017-09-11 多入多出信道传输视频的方法及装置
ES17848177T ES2812178T3 (es) 2016-09-12 2017-09-11 Método y aparato para transmitir vídeo por medio de canal de múltiple entrada múltiple salida
EP17848177.6A EP3512173B1 (en) 2016-09-12 2017-09-11 Method and apparatus for transmitting video by means of multi-input multi-output channel
JP2019535433A JP6854495B2 (ja) 2016-09-12 2017-09-11 多入力多出力チャネルを用いた動画像伝送の方法
US16/332,306 US10630936B2 (en) 2016-09-12 2017-09-11 Methods to transmit video over MIMO channel

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662393124P 2016-09-12 2016-09-12
US62393124 2016-09-12

Publications (1)

Publication Number Publication Date
WO2018046004A1 true WO2018046004A1 (zh) 2018-03-15

Family

ID=61561351

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/101185 WO2018046004A1 (zh) 2016-09-12 2017-09-11 多入多出信道传输视频的方法及装置

Country Status (6)

Country Link
US (1) US10630936B2 (zh)
EP (1) EP3512173B1 (zh)
JP (1) JP6854495B2 (zh)
CN (1) CN109792438B (zh)
ES (1) ES2812178T3 (zh)
WO (1) WO2018046004A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109067442A (zh) * 2018-09-03 2018-12-21 珠海格力电器股份有限公司 一种mimo系统通道确定的方法及装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018109603A1 (en) * 2016-12-13 2018-06-21 Amimon Ltd. Analog signal transmission with multiple antennas
US10938503B2 (en) 2017-12-22 2021-03-02 Advanced Micro Devices, Inc. Video codec data recovery techniques for lossy wireless links
CN114915773B (zh) * 2022-04-08 2023-03-07 中国科学技术大学 一种实现360°vr视频视场重叠失真最小化的稳健传输方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0912021A2 (de) * 1997-08-01 1999-04-28 Siemens Aktiengesellschaft Verfahren und Einrichtung zur Datenübertragung
CN1518812A (zh) * 2001-06-21 2004-08-04 �ʼҷ����ֵ������޹�˾ 无线电通信网络中的mimo发射系统
CN1701556A (zh) * 2003-12-02 2005-11-23 株式会社东芝 改进的通信设备和方法
CN1909525A (zh) * 2005-08-05 2007-02-07 松下电器产业株式会社 多输入多输出系统的信道估计和检测方法
EP2525538A2 (en) * 2011-05-16 2012-11-21 LG Electronics Inc. MIMO Precoding in a QAM system
CN103997474A (zh) * 2014-06-12 2014-08-20 安徽工业大学 一种基于次佳检测的mimo-ofdm的通信装置及其通信方法和实验装置
CN104104690A (zh) * 2014-08-01 2014-10-15 河南大学 基于mimo信道通信的图像信息隐藏方法及系统
CN104994055A (zh) * 2015-03-24 2015-10-21 北京大学 对多媒体数据进行全线性无纠错保护传输的方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1753493A (zh) * 2004-09-24 2006-03-29 松下电器产业株式会社 无线多媒体通信系统的跨层联合方法
US7747271B2 (en) * 2005-03-02 2010-06-29 Qualcomm Incorporated Radiated power control for a multi-antenna transmission
CN1838653A (zh) * 2005-03-24 2006-09-27 松下电器产业株式会社 低功耗通信装置、低功耗多天线通信系统及其操作方法
US8559525B2 (en) * 2005-10-21 2013-10-15 Amimon Ltd. Apparatus and method for uncompressed, wireless transmission of video
US7860180B2 (en) * 2005-10-21 2010-12-28 Amimon Ltd OFDM modem for transmission of continuous complex numbers
JP2009513064A (ja) * 2005-10-21 2009-03-26 アミモン リミテッド 圧縮されていない映像のワイヤレス送信の装置および方法
US8543070B2 (en) * 2006-04-24 2013-09-24 Qualcomm Incorporated Reduced complexity beam-steered MIMO OFDM system
KR101464977B1 (ko) * 2007-10-01 2014-11-25 삼성전자주식회사 메모리 관리 방법, 및 멀티 채널 데이터의 복호화 방법 및장치
US8068608B2 (en) * 2007-12-17 2011-11-29 Broadcom Corporation Video processing system for scrambling video streams with dependent portions and methods for use therewith
US8416848B2 (en) * 2007-12-21 2013-04-09 Broadcom Corporation Device adaptive video transmission system for use with layered video coding and methods for use therewith
US9143731B2 (en) * 2008-01-02 2015-09-22 Broadcom Corporation Mobile video device for use with layered video coding and methods for use therewith
CN101494774A (zh) * 2008-01-23 2009-07-29 厦门华侨电子股份有限公司 一种基于小波变换特性的非压缩高清视频信号无线传输方法
WO2010147276A1 (en) * 2009-06-16 2010-12-23 Lg Electronics Inc. Method of controlling devices and tuner device
WO2010147264A1 (en) * 2009-06-16 2010-12-23 Lg Electronics Inc. Method of exchanging messages and transmitting and receiving devices
WO2010147263A1 (en) * 2009-06-16 2010-12-23 Lg Electronics Inc. Method of exchanging messages, sink device and source device
CN102035787B (zh) * 2010-11-23 2013-08-07 山东大学 一种MIMO-OFDM无线通信接收机的带排序Turbo增强方法
CN102724519B (zh) 2012-05-16 2014-03-12 浙江大华技术股份有限公司 高清数字视频信号的传输方法及装置、摄像机、采集设备
CN102724518B (zh) 2012-05-16 2014-03-12 浙江大华技术股份有限公司 一种高清视频信号传输方法与装置
CN103945246B (zh) * 2013-01-18 2017-04-05 北京大学 视频传输方法和装置
US10432270B2 (en) * 2013-11-11 2019-10-01 Microsoft Technology Licensing, Llc Spatial scalable video multicast for heterogeneous MIMO systems
CN103986932B (zh) * 2014-04-25 2017-09-22 广州市香港科大霍英东研究院 一种视频数据流的信源信道联合编解码方法
CN106688229B (zh) * 2014-05-30 2019-09-03 陈仕东 基于变换域传输高清视频的方法
CN104092643B (zh) * 2014-07-29 2017-04-05 重庆邮电大学 2x2MIMO系统中基于HQAM的H.264/SVC视频传输方法
WO2016123262A1 (en) * 2015-01-29 2016-08-04 Vid Scale, Inc. Escape color coding for palette coding mode
CN105846880B (zh) * 2016-03-18 2018-09-21 潍坊学院 基于星座分割与双天线激活的空间调制传输系统的传输方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0912021A2 (de) * 1997-08-01 1999-04-28 Siemens Aktiengesellschaft Verfahren und Einrichtung zur Datenübertragung
CN1518812A (zh) * 2001-06-21 2004-08-04 �ʼҷ����ֵ������޹�˾ 无线电通信网络中的mimo发射系统
CN1701556A (zh) * 2003-12-02 2005-11-23 株式会社东芝 改进的通信设备和方法
CN1909525A (zh) * 2005-08-05 2007-02-07 松下电器产业株式会社 多输入多输出系统的信道估计和检测方法
EP2525538A2 (en) * 2011-05-16 2012-11-21 LG Electronics Inc. MIMO Precoding in a QAM system
CN103997474A (zh) * 2014-06-12 2014-08-20 安徽工业大学 一种基于次佳检测的mimo-ofdm的通信装置及其通信方法和实验装置
CN104104690A (zh) * 2014-08-01 2014-10-15 河南大学 基于mimo信道通信的图像信息隐藏方法及系统
CN104994055A (zh) * 2015-03-24 2015-10-21 北京大学 对多媒体数据进行全线性无纠错保护传输的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIU, JIUBO: "The Application of an Improved Adaptive Loading Algorithms in MIMO/OFDM", MASTER THESIS, 15 October 2005 (2005-10-15), pages 1 - 82, XP009515750 *
LIU, QIANLEI: "Signal Detection Algorithms for MIMO Communication Systems", SOUTHEAST UNIVERSITY PHD THESIS, 15 July 2007 (2007-07-15), pages 1 - 117, XP009515761 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109067442A (zh) * 2018-09-03 2018-12-21 珠海格力电器股份有限公司 一种mimo系统通道确定的方法及装置
CN109067442B (zh) * 2018-09-03 2020-11-03 珠海格力电器股份有限公司 Mimo系统通道确定的方法、装置、终端及存储介质

Also Published As

Publication number Publication date
CN109792438B (zh) 2022-01-11
US10630936B2 (en) 2020-04-21
JP6854495B2 (ja) 2021-04-07
EP3512173B1 (en) 2020-05-20
CN109792438A (zh) 2019-05-21
EP3512173A1 (en) 2019-07-17
EP3512173A4 (en) 2019-07-17
US20190208164A1 (en) 2019-07-04
JP2019537393A (ja) 2019-12-19
ES2812178T3 (es) 2021-03-16

Similar Documents

Publication Publication Date Title
WO2018046004A1 (zh) 多入多出信道传输视频的方法及装置
US7860180B2 (en) OFDM modem for transmission of continuous complex numbers
US9369709B2 (en) Apparatus and method for uncompressed, wireless transmission of video
CN106688229B (zh) 基于变换域传输高清视频的方法
KR0181032B1 (ko) 인터리빙을 이용한 물체 기반 부호화방법 및 장치
KR20220145405A (ko) 피쳐 양자화/역양자화를 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
WO2008016219A1 (en) Method and apparatus for encoding/decoding color image
KR20200002035A (ko) 듀얼 디블로킹 필터 임계값들
Kim et al. A lossless color image compression method based on a new reversible color transform
JP2009513064A (ja) 圧縮されていない映像のワイヤレス送信の装置および方法
Nakachi et al. Lightweight scrambled JPEG XS coding for privacy protection
CN103067708A (zh) 基于w-z结构的贝尔模板数字图像编解码方法
US20120269260A1 (en) Method for coding a sequence of images
CN108599901B (zh) 一种基于多相似空时编码的无线传输方法
Jamali et al. A new approach for distributed image coding in wireless sensor networks
EP3754983B1 (en) Early intra coding decision
Mahajan et al. Hierarchical DWT based optimal diversity power allocation for video transmission in 4G OFDMA wireless systems
Li et al. Unequal block for low bandwidth adaption in wireless video broadcast
Reitmeier et al. Video Compression and Its Role in the History of Television
Netravali et al. A codec for HDTV
Kowale et al. Enhancing Image and Video Transmission by Applying Unequal Power Allocation, over MIMO OFDM System,"
KR0169676B1 (ko) 데이타 세그먼트 동기 신호 및 수평 동기 신호 검출 장치
Petajan Digital video coding techniques for US high-definition TV
Shin et al. An Adaptive Modulation Technique for Wireless Image Sequence Transmission
Gharavi Low Bit Rate Television on ISDN

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17848177

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019535433

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017848177

Country of ref document: EP