WO2017177622A1 - 一种全景视频的播放方法、装置和电子设备 - Google Patents

一种全景视频的播放方法、装置和电子设备 Download PDF

Info

Publication number
WO2017177622A1
WO2017177622A1 PCT/CN2016/099947 CN2016099947W WO2017177622A1 WO 2017177622 A1 WO2017177622 A1 WO 2017177622A1 CN 2016099947 W CN2016099947 W CN 2016099947W WO 2017177622 A1 WO2017177622 A1 WO 2017177622A1
Authority
WO
WIPO (PCT)
Prior art keywords
faces
image frames
panoramic video
cube
segments
Prior art date
Application number
PCT/CN2016/099947
Other languages
English (en)
French (fr)
Inventor
王英杰
Original Assignee
乐视控股（北京）有限公司
乐视网信息技术（北京）股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 乐视控股（北京）有限公司, 乐视网信息技术（北京）股份有限公司 filed Critical 乐视控股（北京）有限公司
Publication of WO2017177622A1 publication Critical patent/WO2017177622A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers

Definitions

  • each image frame of the plurality of image frames is divided into two by decoding a plurality of image frames from the received first panoramic video.
  • Six blocks, six blocks of each image frame are respectively disposed on six faces of the cube model to form an image frame modeled by a cube, and the image frames of the cube model are in a predetermined order Combining the second panoramic video and playing the second panoramic video, so that each pixel in the received video can be converted into an effective pixel during playback, and in the case of receiving the video of the same pixel, a clearer Playback effect.
  • FIG. 8 is a schematic structural diagram of hardware of an electronic device for performing a method for playing panoramic video according to an embodiment of the present disclosure.
  • Step S3 combining the image frames of the cube model into a second panoramic video in a predetermined order.
  • a pixel located in any column of a rectangular image frame (with a pixel value of N), and a corresponding pixel and a spherical center form a vector in the spherical model, and the angle between the vector and the Z axis is ⁇ .
  • the memory 620 may include a storage program area and a storage data area, wherein the storage program area may store an operating system, an application required for at least one function; the storage data area may be stored Data, etc.
  • memory 620 can include high speed random access memory, and can also include non-transitory memory, such as at least one magnetic disk storage device, flash memory device, or other non-transitory solid state storage device.
  • memory 620 can optionally include memory remotely located relative to processor 610, which can be connected to the processing device over a network. Examples of such networks include, but are not limited to, the Internet, intranets, local area networks, mobile communication networks, and combinations thereof.
  • the one or more modules are stored in the memory 620, and when executed by the one or more processors 610, performing: decoding a plurality of image frames from the received first panoramic video, Each of the plurality of image frames is divided into six segments; six segments of each of the image frames are respectively disposed on six faces of the cube model to form an image frame modeled by the cube; The cube-based image frames are combined into a second panoramic video in a predetermined order; the second panoramic video is played.
  • the device embodiments described above are merely illustrative, wherein the units described as separate components may or may not be physically separate, and the components displayed as units may or may not be physical units, ie may be located A place, or it can be distributed to multiple network units. Some or all of the modules may be selected according to actual needs to achieve the purpose of the solution of the embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

本申请涉及一种全景视频的播放方法、装置和电子设备，通过从接收到的第一全景视频中解码出多个图像帧，将所述多个图像帧中的每一个图像帧划分为六个分块，将所述每一个图像帧的六个分块分别设置在立方体模型的六个面上，形成以立方体为模型的图像帧，将所述以立方体为模型的图像帧按预定顺序组合成第二全景视频并播放所述第二全景视频。根据本申请提供的一种全景视频的播放方法、装置和电子设备，使接收到的视频中的每个像素均能够转换为播放时的有效像素，在接收同样像素的视频的情况下能够获得更加清晰的播放效果。

Description

一种全景视频的播放方法、装置和电子设备
交叉引用
本申请要求在2016年4月12日提交中国专利局、申请号为201610224930.4的中国专利申请的优先权，该申请的全部内容通过引用结合在本申请中。
技术领域
本申请涉及全景视频技术领域，尤其涉及一种全景视频的播放方法、装置和电子设备。
背景技术
目前，全景视频指的是超过一般视野的广角视频内容，即通常我们所说的环形/柱形360度视频提供了水平方向360度的视野。全景视频具有立体感和真实感，能够很好地提供视觉体验。
全景视频录制有多种方法，通常分为单镜头和多镜头两种方式。采用多个镜头/摄像机可以获得高视频质量，但生成的视频文件通常会是普通视频文件大小的三到四倍，甚至更多。这对存储和网络传输都带来巨大挑战，尤其在网络传输过程中过高的带宽需求往往无法达到。若要想降低视频文件的大小，节省带宽，通常需要降低视频质量，这样就使得采集到的视频不清楚。
现有方案中，通过建立球模型，把全景视频帧图像贴合到一张平面图上，参见图1所示。该方案形成的视频文件过大，传输时需要较大的带宽，且编码效率不高，分辨率较低。
公开于该背景技术部分的信息仅仅旨在增加对本申请的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一 般技术人员所公知的现有技术。
发明内容
有鉴于此，本申请要解决的技术问题是，如何提供一种全景视频的播放方法、装置和电子设备，能够在接收同样像素视频的情况下，提高播放视频的清晰度。
为解决以上技术问题，本申请在第一方面提供一种全景视频的播放方法，包括：从接收到的第一全景视频中解码出多个图像帧，将所述多个图像帧中的每一个图像帧划分为六个分块；将所述每一个图像帧的六个分块分别设置在立方体模型的六个面上，形成以立方体为模型的图像帧；将所述以立方体为模型的图像帧按预定顺序组合成第二全景视频；播放所述第二全景视频。
在一种可能的实现方式中，将所述每一个图像帧的六个分块分别设置在立方体模型的六个面上，包括：分别建立所述六个分块与所述立方体模型的六个面之间的位置对应关系；根据所述位置对应关系，将所述六个分块分别设置在所述立方体模型的六个面上。
在一种可能的实现方式中，分别建立所述六个分块与所述立方体模型的六个面之间的位置对应关系，包括：根据用户所在位置，确定所述立方体模型的六个面之中的前表面；根据所述前表面，确定所述立方体模型的六个面之中的后表面、上表面、下表面、左表面以及右表面；分别建立所述六个分块与所述前表面、后表面、上表面、下表面、左表面以及右表面之间的位置对应关系。
在一种可能的实现方式中，将所述多个图像帧中的每一个图像帧划分为六个分块，包括：根据所述立方体模型的形状划分所述六个分块。
在一种可能的实现方式中，在将所述以立方体为模型的图像帧按预定顺序组合成第二全景视频之前，还包括：根据从接收到的第一全景视 频中解码出多个图像帧的时间顺序，确定所述预定顺序。
为解决以上技术问题，本申请在第二方面提供一种全景视频的播放装置，包括：划分模块，用于从接收到的第一全景视频中解码出多个图像帧，将所述多个图像帧中的每一个图像帧划分为六个分块；处理模块，用于将所述每一个图像帧的所述六个分块分别设置在立方体模型的六个面上，形成以立方体为模型的图像帧；组合模块，用于将所述以立方体为模型的图像帧按预定顺序组合成第二全景视频；播放模块，用于播放所述第二全景视频。
在一种可能的实现方式中，所述处理模块，还用于建立所述六个分块与立方体模型的六个面之间的位置对应关系，并根据所述位置对应关系，将所述六个分块分别设置在立方体模型的六个面上。
在一种可能的实现方式中，所述处理模块，还用于：根据用户所在位置，确定所述立方体模型的六个面之中的前表面；根据所述前表面，确定所述立方体模型的六个面之中的后表面、上表面、下表面、左表面以及右表面；以及分别建立所述六个分块与所述前表面、后表面、上表面、下表面、左表面以及右表面之间的位置对应关系。
在一种可能的实现方式中，所述处理模块还用于：根据所述立方体模型的形状划分所述六个分块。
在一种可能的实现方式中，所述组合模块，还用于：根据从接收到的第一全景视频中解码出多个图像帧的时间顺序，确定所述预定顺序。
为解决以上技术问题，本申请在第三方面提供一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：从接收到的第一全景视频中解码出多个图像帧，将所述多个图像帧中的每一个图像帧 划分为六个分块；将所述每一个图像帧的六个分块分别设置在立方体模型的六个面上，形成以立方体为模型的图像帧；将所述以立方体为模型的图像帧按预定顺序组合成第二全景视频；播放所述第二全景视频。
为解决以上技术问题，本申请在第四方面提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于：从接收到的第一全景视频中解码出多个图像帧，将所述多个图像帧中的每一个图像帧划分为六个分块；将所述每一个图像帧的六个分块分别设置在立方体模型的六个面上，形成以立方体为模型的图像帧；将所述以立方体为模型的图像帧按预定顺序组合成第二全景视频；播放所述第二全景视频。
为解决以上技术问题，本申请在第五方面提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行以上各个方面所述的方法。
根据本申请实施例提供的全景视频的播放方法、装置和电子设备，通过从接收到的第一全景视频中解码出多个图像帧，将所述多个图像帧中的每一个图像帧划分为六个分块，将所述每一个图像帧的六个分块分别设置在立方体模型的六个面上，形成以立方体为模型的图像帧，将所述以立方体为模型的图像帧按预定顺序组合成第二全景视频并播放所述第二全景视频，使接收到的视频中的每个像素均能够转换为播放时的有效像素，在接收同样像素的视频的情况下，能够获得更加清晰的播放效果。
根据下面参考附图对示例性实施例的详细说明，本申请的其它特征及方面将变得清楚。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性 说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1示出现有技术中图像帧的示意图；
图2示出本申请实施例提供的一种全景视频的播放方法的流程图；
图3示出本申请另一实施例提供的一种全景视频的播放方法的流程图；
图4示出本实施例中从视频中解码出的图像帧的示意图；
图5示出本实施例中将图像帧划分为六个分块的示意图；
图6示出本实施例将每一个图像帧的六个分块分别设置在立方体模型的六个面上的示意图；
图7示出本申请实施例提供的一种全景视频的播放装置的示意图；
图8为本申请实施例提供的执行全景视频的播放方法的电子设备的硬件结构示意图。
具体实施方式
以下结合附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请。
以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件未作详细描述，以便于凸显本申请的主旨。
实施例1
图2示出本申请实施例提供的一种全景视频的播放方法的流程图，如该图所示，该方法包括步骤S1-步骤S4。其中，该方法由电子设备执行，电子设备可以为服务器或终端。
步骤S1、从接收到的第一全景视频中解码出多个图像帧，将所述多个图像帧中的每一个图像帧划分为六个分块。
步骤S2、将所述每一个图像帧的六个分块分别设置在立方体模型的六个面上，形成以立方体为模型的图像帧。
步骤S3、将所述以立方体为模型的图像帧按预定顺序组合成第二全景视频。
步骤S4、播放所述第二全景视频。
现有全景视频技术，一般采用球形建模对视频进行处理，终端接收视频后基于球模型进行播放。在球模型中存在极大的像素损失，以球模型的北极点为例进行说明，由于传输过程中的图像帧为矩形图像帧，终端接收该矩形图像帧后将其转换为球形图像帧，在该过程中，矩形图像帧最上方一行的多个像素点被转换为位于球模型北极点上的一个像素点，由此导致了像素值的极大浪费。
具体地，结合图1所示，位于矩形图像帧任一列的像素点(设像素值为N)，在球模型中对应的像素点与球心构成向量，该向量与Z轴夹角为α，那么该列的N个像素点在转换为球模型时，实际有效的像素值n＝Nsinα。由此导致像素损失。
根据本申请实施例提供的全景视频的播放方法，通过从接收 到的第一全景视频中解码出多个图像帧，将所述多个图像帧中的每一个图像帧划分为六个分块，将所述每一个图像帧的六个分块分别设置在立方体模型的六个面上，形成以立方体为模型的图像帧，将所述以立方体为模型的图像帧按预定顺序组合成第二全景视频并播放所述第二全景视频，有效避免了以上球模型播放的像素损失，换言之，接收到的视频中的每个像素均能够转换为播放时的有效像素。由此，通过本申请实施例，在接收同样像素的视频的情况下，能够获得更加清晰的播放效果。
实施例2
图3示出本申请实施例提供的全景视频的播放方法的流程图，在图3中与图2采用相同附图标记的步骤，均与图2适用于相同的文字说明，在此不再赘述。如该图所示，该方法还包括以下步骤。
在步骤S1之前，服务器可以先将球模型转化为正方形全景模型，例如可以模拟使立方体模型外切于球模型，以将球模型图像帧映射于立方体模型的六个面上，由此得到正方形全景模型。再例如，也可以模拟使立方体模型内接于球模型，以将球模型图像帧映射于立方体模型的六个面上，由此得到基于正方形全景模型的视频，并将该视频发送给终端。
图4示出本实施例中步骤S1从视频中解码出的图像帧的示意图，如该图所示，图像帧的展开图其左端与右端可以互相拼接，并可以基于图像内容的位置关系区分前后左右上下。
在一种可能的实现方式中，可以步骤S1中可以根据立方体模型的形状划分该六个分块。
图5示出本实施例中步骤S1将该图像帧划分为六个分块的示意图，如该图所示，以正立方体模型为例，步骤S1可以具体包括根据原图像帧中图像内容的位置关系，将图像帧划分为前分块、后分块、左分块、右分块、上分块和下分块。其中，每个分块均为边长相等的正方形。
在一种可能的实现方式中，步骤S2中关于立方体模型的前 表面的确定可以是任意的，并且当确定了前表面之后，其他五个表面也随之而确定。
在另一种可能的实现方式中，步骤S2可以包括步骤S21-S21。
步骤S21、根据用户所在位置，确定所述立方体模型的六个面之中的前表面。
由于模拟的用户的视角位于该立方体模型的中心位置，可以以用户头部的初始位置来确定该立方体模型的前表面，即位于用户头部的初始位置正前方的表面为前表面。
步骤S22、根据所述前表面，确定所述立方体模型的六个面之中的后表面、上表面、下表面、左表面以及右表面。
当确定了前表面之后，其他五个表面也随之而确定。
步骤S23、分别建立所述六个分块与所述前表面、后表面、上表面、下表面、左表面以及右表面之间的位置对应关系。
本步骤可以包括建立正立方体模型的前表面与图像帧的前分块的位置对应关系；建立正立方体模型的后表面与图像帧的后分块的位置对应关系；建立正立方体模型的左表面与图像帧的左分块的位置对应关系；建立正立方体模型的右表面与图像帧的右分块的位置对应关系；建立正立方体模型的上表面与图像帧的上分块的位置对应关系；建立正立方体模型的下表面与图像帧的下分块的位置对应关系。
步骤S24、根据所述位置对应关系，将所述六个分块分别设置在所述立方体模型的六个面上。
图6示出本实施例步骤S2将所述每一个图像帧的六个分块分别设置在立方体模型的六个面上的示意图，可以将图像帧的前分块设置在正立方体模型的前表面，所述前表面为位于用户头部正前方的表面；将图像帧的后分块设置在正立方体模型的后表面，所述后表面为位于用户头部正后方的表面；将图像帧的左分块设置在正立方体模型的左表面，所述 左表面为位于用户头部正左方的表面；将图像帧的右分块设置在正立方体模型的右表面，所述右表面为位于用户头部正右方的表面；将图像帧的上分块设置在正立方体模型的上表面，所述上表面为位于用户头部正上方的表面；将图像帧的下分块设置在正立方体模型的下表面，所述下表面为位于用户头部正下方的表面。
由此，可以根据图像内容，将主要的图像内容设置在模型的前表面，以使播放时主要的图像内容可以处于用户的主视野内。
对每一个图像帧的六个分块均进行本步骤的处理，即将全部图像帧处理为正立方体图像帧。
在一种可能的实现方式中，在步骤S3之前，还可以包括步骤S5。
步骤S5、根据从接收到的第一全景视频中解码出多个图像帧的时间顺序，确定所述预定顺序。
实施例3
图7示出本申请实施例提供的一种全景视频的播放装置的示意图，如图7所示，该装置1包括：划分模块11、处理模块12、组合模块13和播放模块14。
划分模块11，用于从接收到的第一全景视频中解码出多个图像帧，将所述多个图像帧中的每一个图像帧划分为六个分块。处理模块12，用于将所述每一个图像帧的所述六个分块分别设置在立方体模型的六个面上，形成以立方体为模型的图像帧。组合模块13，用于将所述以立方体为模型的图像帧按预定顺序组合成第二全景视频。播放模块14，用于播放所述第二全景视频。
在一种可能的实现方式中，处理模块12，还用于建立所述六个分块与立方体模型的六个面之间的位置对应关系，并根据所述位置对应关系，将所述六个分块分别设置在立方体模型的六个面上。
在一种可能的实现方式中，处理模块12，还用于根据用户所在位置，确定所述立方体模型的六个面之中的前表面；根据所述前表面，确定所述立方体模型的六个面之中的后表面、上表面、下表面、左表面以及右表面；以及分别建立所述六个分块与所述前表面、后表面、上表面、下表面、左表面以及右表面之间的位置对应关系。
在一种可能的实现方式中，处理模块12还用于：根据所述立方体模型的形状划分所述六个分块。
在一种可能的实现方式中，组合模块13，还用于根据从接收到的第一全景视频中解码出多个图像帧的时间顺序，确定所述预定顺序。
实施例4
本申请实施例提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的播放方法。
实施例5
图5是本申请实施例提供的执行全景视频的播放方法的电子设备的硬件结构示意图，如图5所示，该设备包括一个或多个处理器610以及存储器620。图5中以一个处理器610为例。该设备还可以包括：输入装置630和输出装置640。
处理器610、存储器620、输入装置630和输出装置640可以通过总线或者其他方式连接，图5中以通过总线连接为例。
存储器620作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块。处理器610通过运行存储在存储器620中的非暂态软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例的处理方法。
存储器620可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储 数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器620可选包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至处理装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置630可接收输入的数字或字符信息，以及产生信号输入。输出装置640可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器620中，当被所述一个或者多个处理器610执行时，执行：从接收到的第一全景视频中解码出多个图像帧，将所述多个图像帧中的每一个图像帧划分为六个分块；将所述每一个图像帧的六个分块分别设置在立方体模型的六个面上，形成以立方体为模型的图像帧；将所述以立方体为模型的图像帧按预定顺序组合成第二全景视频；播放所述第二全景视频。
在一种可能的实现方式中，将所述每一个图像帧的六个分块分别设置在立方体模型的六个面上，包括：分别建立所述六个分块与所述立方体模型的六个面之间的位置对应关系；根据所述位置对应关系，将所述六个分块分别设置在所述立方体模型的六个面上。
在一种可能的实现方式中，分别建立所述六个分块与所述立方体模型的六个面之间的位置对应关系，包括：根据用户所在位置，确定所述立方体模型的六个面之中的前表面；根据所述前表面，确定所述立方体模型的六个面之中的后表面、上表面、下表面、左表面以及右表面；分别建立所述六个分块与所述前表面、后表面、上表面、下表面、左表面以及右表面之间的位置对应关系。
在一种可能的实现方式中，将所述多个图像帧中的每一个图像帧划分为六个分块，包括：根据所述立方体模型的形状划分所述六个分块。
在一种可能的实现方式中，在将所述以立方体为模型的图像帧 按预定顺序组合成第二全景视频之前，还包括：根据从接收到的第一全景视频中解码出多个图像帧的时间顺序，确定所述预定顺序。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本申请实施例的电子设备以多种形式存在，包括但不限于以下几种。
移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
其他具有数据交互功能的电子装置。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
工业实用性
本申请实施例提供的全景视频的播放方法、装置和电子设备，通过从接收到的第一全景视频中解码出多个图像帧，将所述多个图像帧中的每一个图像帧划分为六个分块，将所述每一个图像帧的六个分块分别设置在立方体模型的六个面上，形成以立方体为模型的图像帧，将所述以立方体为模型的图像帧按预定顺序组合成第二全景视频并播放所述第二全景视频，使接收到的视频中的每个像素均能够转换为播放时的有效像素，在接收同样像素的视频的情况下，能够获得更加清晰的播放效果。

Claims (21)

  1. 一种全景视频的播放方法，由电子设备执行，所述方法包括：
    从接收到的第一全景视频中解码出多个图像帧，将所述多个图像帧中的每一个图像帧划分为六个分块；
    将所述每一个图像帧的六个分块分别设置在立方体模型的六个面上，形成以立方体为模型的图像帧；
    将所述以立方体为模型的图像帧按预定顺序组合成第二全景视频；
    播放所述第二全景视频。
  2. 根据权利要求1所述的播放方法，其特征在于，将所述每一个图像帧的六个分块分别设置在立方体模型的六个面上，包括：
    分别建立所述六个分块与所述立方体模型的六个面之间的位置对应关系；
    根据所述位置对应关系，将所述六个分块分别设置在所述立方体模型的六个面上。
  3. 根据权利要求2所述的播放方法，其特征在于，分别建立所述六个分块与所述立方体模型的六个面之间的位置对应关系，包括：
    根据用户所在位置，确定所述立方体模型的六个面之中的前表面；根据所述前表面，确定所述立方体模型的六个面之中的后表面、上表面、下表面、左表面以及右表面；
    分别建立所述六个分块与所述前表面、后表面、上表面、下表面、左表面以及右表面之间的位置对应关系。
  4. 根据权利要求1至3中任一项所述的播放方法，其特征在于，将所述多个图像帧中的每一个图像帧划分为六个分块，包括：
    根据所述立方体模型的形状划分所述六个分块。
  5. 根据权利要求1至4中任一项所述的播放方法，其特征在于，在将所述以立方体为模型的图像帧按预定顺序组合成第二全景视频之前，还包括：
    根据从接收到的第一全景视频中解码出多个图像帧的时间顺序，确定所述预定顺序。
  6. 一种全景视频的播放装置，其特征在于，包括：
    划分模块，用于从接收到的第一全景视频中解码出多个图像帧，将所述多个图像帧中的每一个图像帧划分为六个分块；
    处理模块，用于将所述每一个图像帧的所述六个分块分别设置在立方体模型的六个面上，形成以立方体为模型的图像帧；
    组合模块，用于将所述以立方体为模型的图像帧按预定顺序组合成第二全景视频；
    播放模块，用于播放所述第二全景视频。
  7. 根据权利要求6所述的播放装置，其特征在于，所述处理模块，还用于建立所述六个分块与立方体模型的六个面之间的位置对应关系，并根据所述位置对应关系，将所述六个分块分别设置在立方体模型的六个面上。
  8. 根据权利要求7所述的播放装置，其特征在于，所述处理模块，还用于：根据用户所在位置，确定所述立方体模型的六个面之中的前表面；根据所述前表面，确定所述立方体模型的六个面之中的后表面、上表面、下表面、左表面以及右表面；以及分别建立所述六个分块与所述前表面、后表面、上表面、下表面、左表面以及右表面之间的位置对应关系。
  9. 根据权利要求6至8中任一项所述的播放装置，其特征在于，所述处理模块还用于：根据所述立方体模型的形状划分所述六个分块。
  10. 根据权利要求6至9中任一项所述的播放装置，其特征在于，所述 组合模块，还用于：根据从接收到的第一全景视频中解码出多个图像帧的时间顺序，确定所述预定顺序。
  11. 一种电子设备，包括：
    至少一个处理器；以及，
    与所述至少一个处理器通信连接的存储器；其中，
    所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
    从接收到的第一全景视频中解码出多个图像帧，将所述多个图像帧中的每一个图像帧划分为六个分块；
    将所述每一个图像帧的六个分块分别设置在立方体模型的六个面上，形成以立方体为模型的图像帧；
    将所述以立方体为模型的图像帧按预定顺序组合成第二全景视频；
    播放所述第二全景视频。
  12. 根据权利要求11所述的电子设备，其特征在于，将所述每一个图像帧的六个分块分别设置在立方体模型的六个面上，包括：
    分别建立所述六个分块与所述立方体模型的六个面之间的位置对应关系；
    根据所述位置对应关系，将所述六个分块分别设置在所述立方体模型的六个面上。
  13. 根据权利要求12所述的电子设备，其特征在于，分别建立所述六个分块与所述立方体模型的六个面之间的位置对应关系，包括：
    根据用户所在位置，确定所述立方体模型的六个面之中的前表面；根据所述前表面，确定所述立方体模型的六个面之中的后表面、上表面、下表面、左表面以及右表面；
    分别建立所述六个分块与所述前表面、后表面、上表面、下表面、左表 面以及右表面之间的位置对应关系。
  14. 根据权利要求11至13中任一项所述的电子设备，其特征在于，将所述多个图像帧中的每一个图像帧划分为六个分块，包括：
    根据所述立方体模型的形状划分所述六个分块。
  15. 根据权利要求11至14中任一项所述的电子设备，其特征在于，在将所述以立方体为模型的图像帧按预定顺序组合成第二全景视频之前，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
    根据从接收到的第一全景视频中解码出多个图像帧的时间顺序，确定所述预定顺序。
  16. 一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于：
    从接收到的第一全景视频中解码出多个图像帧，将所述多个图像帧中的每一个图像帧划分为六个分块；
    将所述每一个图像帧的六个分块分别设置在立方体模型的六个面上，形成以立方体为模型的图像帧；
    将所述以立方体为模型的图像帧按预定顺序组合成第二全景视频；
    播放所述第二全景视频。
  17. 根据权利要求16所述的非暂态计算机可读存储介质，其特征在于，将所述每一个图像帧的六个分块分别设置在立方体模型的六个面上，包括：
    分别建立所述六个分块与所述立方体模型的六个面之间的位置对应关系；
    根据所述位置对应关系，将所述六个分块分别设置在所述立方体模型的六个面上。
  18. 根据权利要求17所述的非暂态计算机可读存储介质，其特征在于，分别建立所述六个分块与所述立方体模型的六个面之间的位置对应关系，包括：
    根据用户所在位置，确定所述立方体模型的六个面之中的前表面；根据所述前表面，确定所述立方体模型的六个面之中的后表面、上表面、下表面、左表面以及右表面；
    分别建立所述六个分块与所述前表面、后表面、上表面、下表面、左表面以及右表面之间的位置对应关系。
  19. 根据权利要求16至18中任一项所述的非暂态计算机可读存储介质，其特征在于，将所述多个图像帧中的每一个图像帧划分为六个分块，包括：
    根据所述立方体模型的形状划分所述六个分块。
  20. 根据权利要求16至19中任一项所述的非暂态计算机可读存储介质，其特征在于，在将所述以立方体为模型的图像帧按预定顺序组合成第二全景视频之前，所述计算机可执行指令还用于：
    根据从接收到的第一全景视频中解码出多个图像帧的时间顺序，确定所述预定顺序。
  21. 一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被电子设备执行时，使所述电子设备执行权利要求1-5任一项所述的方法。
PCT/CN2016/099947 2016-04-12 2016-09-23 一种全景视频的播放方法、装置和电子设备 WO2017177622A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610224930.4A CN105898344A (zh) 2016-04-12 2016-04-12 一种全景视频的播放方法和装置
CN201610224930.4 2016-04-12

Publications (1)

Publication Number Publication Date
WO2017177622A1 true WO2017177622A1 (zh) 2017-10-19

Family

ID=57013074

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/099947 WO2017177622A1 (zh) 2016-04-12 2016-09-23 一种全景视频的播放方法、装置和电子设备

Country Status (2)

Country Link
CN (1) CN105898344A (zh)
WO (1) WO2017177622A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114691068A (zh) * 2022-03-23 2022-07-01 北京优酷科技有限公司 基于投屏技术的信息显示方法及装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105898344A (zh) * 2016-04-12 2016-08-24 乐视控股（北京）有限公司 一种全景视频的播放方法和装置
CN106358033B (zh) * 2016-08-25 2018-06-19 北京字节跳动科技有限公司 一种全景视频关键帧编码方法和装置
CN107801039B (zh) 2016-08-30 2020-04-14 华为技术有限公司 运动补偿预测方法和装置
WO2018041005A1 (zh) * 2016-08-30 2018-03-08 华为技术有限公司 运动补偿预测方法和设备
CN106162140B (zh) * 2016-08-30 2019-03-15 北京奇艺世纪科技有限公司 一种全景视频的压缩方法及装置
CN106331764A (zh) * 2016-09-14 2017-01-11 乐视控股（北京）有限公司 一种全景视频分享方法及其分享装置
CN106454364A (zh) * 2016-10-09 2017-02-22 传线网络科技（上海）有限公司 全景视频播放方法及装置
CN107959855B (zh) * 2016-10-16 2020-02-14 华为技术有限公司 运动补偿预测方法和设备
CN106454314A (zh) * 2016-10-24 2017-02-22 传线网络科技（上海）有限公司 全景视频解码方法及装置
CN106713891B (zh) * 2016-12-16 2018-08-10 暴风集团股份有限公司 基于d3d接口播放立方体全景视频的方法及系统
CN106534974B (zh) * 2016-12-16 2019-04-26 暴风集团股份有限公司 自动识别立方体全景视频的方法及系统
CN106899840B (zh) * 2017-03-01 2018-06-05 北京大学深圳研究生院 全景图像映射方法
US10957044B2 (en) 2017-03-22 2021-03-23 Qualcomm Incorporated Sphere pole projections for efficient compression of 360-degree video
CN108154469A (zh) * 2018-01-26 2018-06-12 张秀娟 一种球形全景到立方体转换的映射算法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6021229A (en) * 1995-11-14 2000-02-01 Sony Corporation Imaging processing method for mapping video source information onto a displayed object
CN101072369A (zh) * 2007-03-13 2007-11-14 腾讯科技（深圳）有限公司 一种在即时通信系统中视频显示的系统及方法
CN102917237A (zh) * 2012-06-21 2013-02-06 深圳市茁壮网络股份有限公司 一种3d视频播放方法、装置和系统
CN102945563A (zh) * 2012-09-26 2013-02-27 天津游奕科技有限公司 一种全景视频的展示与交互系统及方法
CN105163158A (zh) * 2015-08-05 2015-12-16 北京奇艺世纪科技有限公司 一种图像处理方法和装置
CN105898339A (zh) * 2016-04-12 2016-08-24 乐视控股（北京）有限公司 一种全景视频转码的方法及装置
CN105898344A (zh) * 2016-04-12 2016-08-24 乐视控股（北京）有限公司 一种全景视频的播放方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141562A (ja) * 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
CN101814181B (zh) * 2010-03-17 2012-05-23 天津理工大学 一种鱼眼图像复原的展开方法
JP2015173424A (ja) * 2014-03-12 2015-10-01 株式会社セック 映像配信システムおよび映像表示装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6021229A (en) * 1995-11-14 2000-02-01 Sony Corporation Imaging processing method for mapping video source information onto a displayed object
CN101072369A (zh) * 2007-03-13 2007-11-14 腾讯科技（深圳）有限公司 一种在即时通信系统中视频显示的系统及方法
CN102917237A (zh) * 2012-06-21 2013-02-06 深圳市茁壮网络股份有限公司 一种3d视频播放方法、装置和系统
CN102945563A (zh) * 2012-09-26 2013-02-27 天津游奕科技有限公司 一种全景视频的展示与交互系统及方法
CN105163158A (zh) * 2015-08-05 2015-12-16 北京奇艺世纪科技有限公司 一种图像处理方法和装置
CN105898339A (zh) * 2016-04-12 2016-08-24 乐视控股（北京）有限公司 一种全景视频转码的方法及装置
CN105898344A (zh) * 2016-04-12 2016-08-24 乐视控股（北京）有限公司 一种全景视频的播放方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114691068A (zh) * 2022-03-23 2022-07-01 北京优酷科技有限公司 基于投屏技术的信息显示方法及装置

Also Published As

Publication number Publication date
CN105898344A (zh) 2016-08-24

Similar Documents

Publication Publication Date Title
WO2017177622A1 (zh) 一种全景视频的播放方法、装置和电子设备
US10499035B2 (en) Method and system of displaying a popping-screen
CN106375748B (zh) 立体虚拟现实全景视图拼接方法、装置及电子设备
US11151359B2 (en) Face swap method, face swap device, host terminal and audience terminal
US20170154468A1 (en) Method and electronic apparatus for constructing virtual reality scene model
US20170186243A1 (en) Video Image Processing Method and Electronic Device Based on the Virtual Reality
WO2018000619A1 (zh) 一种数据展示方法、装置、电子设备与虚拟现实设备
CN110898427B (zh) 一种游戏回放方法、装置、电子设备及存储介质
CN113457160B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
US20170163992A1 (en) Video compressing and playing method and device
WO2017088491A1 (zh) 一种视频的播放方法和装置
US20170164026A1 (en) Method and device for detecting video data
US20170195617A1 (en) Image processing method and electronic device
TWI528794B (zh) 透過網路傳送媒體的系統及方法
CN108668108B (zh) 一种视频监控的方法、装置及电子设备
US20170154469A1 (en) Method and Device for Model Rendering
US9233308B2 (en) System and method for delivering media over network
WO2018000608A1 (zh) 一种虚拟现实系统中分享全景影像的方法和电子设备
CN109788212A (zh) 一种分段视频的处理方法、装置、终端和存储介质
CN112492231B (zh) 远程交互方法、装置、电子设备和计算机可读存储介质
WO2017092432A1 (zh) 一种虚拟现实交互方法、装置和系统
CN115002359B (zh) 视频处理方法、装置、电子设备及存储介质
WO2018000620A1 (zh) 一种数据展示方法及装置、虚拟现实设备与播放控制器
CN106408623A (zh) 一种文字展现方法、装置及终端
US20170161928A1 (en) Method and Electronic Device for Displaying Virtual Device Image

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16898436

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16898436

Country of ref document: EP

Kind code of ref document: A1