WO2022141781A1 - 一种播放全景视频的方法、系统、存储介质及播放设备 - Google Patents

一种播放全景视频的方法、系统、存储介质及播放设备 Download PDF

Info

Publication number
WO2022141781A1
WO2022141781A1 PCT/CN2021/078363 CN2021078363W WO2022141781A1 WO 2022141781 A1 WO2022141781 A1 WO 2022141781A1 CN 2021078363 W CN2021078363 W CN 2021078363W WO 2022141781 A1 WO2022141781 A1 WO 2022141781A1
Authority
WO
WIPO (PCT)
Prior art keywords
panoramic video
model
playing
projection
playback device
Prior art date
Application number
PCT/CN2021/078363
Other languages
English (en)
French (fr)
Inventor
洪旭杰
Original Assignee
惠州Tcl移动通信有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 惠州Tcl移动通信有限公司 filed Critical 惠州Tcl移动通信有限公司
Publication of WO2022141781A1 publication Critical patent/WO2022141781A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Definitions

  • the present disclosure relates to the technical field of video playback, and in particular, to a method, system, storage medium and playback device for playing panoramic video.
  • VR Virtual Reality
  • AR Augmented Reality
  • existing AR glasses generally have a smaller field of view (for example, Magic Leap One has a 50° field of view, HoloLens2 has a 52° field of view, Nreal Light has a 52° field of view, etc.), while A small field of view will affect the image content contained in the field of view of the AR glasses, thereby affecting the viewing effect.
  • the technical problem to be solved by the present disclosure is to provide a method, system, storage medium and playback device for playing panoramic video in view of the deficiencies of the prior art.
  • a first aspect of the embodiments of the present disclosure provides a method for playing a panoramic video, the method comprising:
  • a visual image corresponding to the playback device is determined based on the orthogonal projection and the projection model, and the visual image is rendered and played.
  • the panoramic video to be played is obtained by shooting a panoramic shooting device, and the panoramic shooting device includes a plurality of shooting devices configured with different shooting angles, and shooting simultaneously by the multiple shooting devices to obtain a panoramic video in the panoramic video frame.
  • the pixels in each panoramic video frame in the panoramic video to be played are stored in the form of spherical rectangular projection.
  • the step of fitting the panorama video to be played to a preset sphere model to obtain the projection model specifically includes:
  • the texture map is a spherical rectangle texture, and each pixel in the texture map corresponds to a spherical rectangle.
  • the acquiring the spatial position of the playback device that plays the panoramic video, and converting the model coordinate system corresponding to the projection model to the device coordinate system corresponding to the playback device based on the spatial position specifically includes:
  • the coordinate origin of the model coordinate system is located at the coordinate origin of the world coordinate system.
  • the spatial position includes a camera orientation of the playback device and position information
  • the camera orientation is used to reflect the rotation information of the playback device relative to the world coordinate system
  • the position information is used to reflect the playback device relative to the world Translation information for the coordinate system.
  • the orientation of the camera of the playback device is the same as the -Z axis direction in the device coordinate system.
  • the determining a visual image corresponding to the playback device based on the orthogonal projection and the projection model, and rendering and playing the visual image specifically includes:
  • the correction formula for radial distortion correction may be:
  • x 0 x(1+k 1 r 2 +k 2 r 4 +k 3 r 6 )
  • y 0 y(1+k 1 r 2 +k 2 r 4 +k 3 r 6 )
  • x, y represent the pixel coordinates after pixel point correction
  • x 0 , y 0 represent the pixel coordinates before pixel point correction
  • r represents the distance between the pixel point (x, y) in the corrected image and the coordinate origin
  • k 1 , k 2 and k 3 are weight coefficients.
  • the determining of the visual image corresponding to the playback device based on the orthogonal projection and the projection model specifically includes:
  • a visual image is selected in the projected image based on the image projection area.
  • the selecting a visual image in the projection image based on the image projection area is specifically:
  • the image projection area and the overlapping area of the projected image are selected, and the overlapping area is selected as a visual image.
  • the shape of the visual image is a rectangular arc.
  • the image width of the visual image in the horizontal direction is equal to the image width of the projected image in the horizontal direction.
  • a second aspect of the embodiments of the present disclosure provides a playback system for playing a panoramic video, where the playback system includes:
  • the fitting module is used to fit the panoramic video to be played to the preset sphere model to obtain the projection model
  • a change module configured to acquire the spatial position of the playback device that plays the panoramic video, and convert the model coordinate system corresponding to the projection model to the device coordinate system corresponding to the playback device based on the spatial position;
  • the playing module is configured to determine the visual image corresponding to the playing device based on the orthogonal projection and the projection model, and render and play the visual image.
  • a third aspect of the embodiments of the present disclosure provides a computer-readable storage medium, where the computer-readable storage medium stores one or more programs, and the one or more programs can be executed by one or more processors to Steps in the method for playing a panoramic video as described above are implemented.
  • a fourth aspect of the embodiments of the present disclosure provides a playback device, which includes: a processor, a memory, and a communication bus; the memory stores a computer-readable program executable by the processor;
  • the communication bus implements connection communication between the processor and the memory
  • the present disclosure provides a method, system, storage medium and playback device for playing a panoramic video.
  • the method includes fitting the panoramic video to be played to a preset sphere model, so as to obtaining a projection model; obtaining the spatial position of the playback device that plays the panoramic video, and converting the model coordinate system corresponding to the projection model to the device coordinate system corresponding to the playback device based on the spatial position; based on the orthogonal projection and the
  • the projection model determines the visual image corresponding to the playback device, and renders and plays the visual image.
  • the present disclosure establishes a sphere model by default, numbers the playback device and the sphere model to the origin of the world coordinate system, and then projects the projection model through orthogonal projection to select the visual image corresponding to the playback device. Selecting a visual image on the projection model can avoid the limitation of the field of view of the playback device on the selected image content, so that the image content contained in the visual image can be increased to improve the viewing effect.
  • FIG. 1 is a flowchart of a method for playing a panoramic video provided by the present disclosure.
  • FIG. 3 is a schematic flowchart of fitting a panoramic video onto a sphere model in the method for playing a panoramic video provided by the present disclosure.
  • FIG. 4 is an example diagram of selecting a visual image in a panoramic video by using the existing method.
  • FIG. 5 is an example diagram of a visual image selected in the method for playing a panoramic video provided by the present disclosure.
  • FIG. 6 is an example diagram of deformity correction in the method for playing a panoramic video provided by the present disclosure.
  • FIG. 7 is a schematic structural diagram of a system for playing panoramic video provided by the present disclosure.
  • FIG. 8 is a schematic structural diagram of a playback device provided by the present disclosure.
  • the present disclosure provides a method, system, storage medium, and playback device for playing panoramic video.
  • the present disclosure will be further described in detail below with reference to the accompanying drawings and embodiments. It should be understood that the specific embodiments described herein are only used to explain the present disclosure, but not to limit the present disclosure.
  • VR Virtual Reality
  • AR Augmented Reality
  • existing AR glasses generally have a smaller field of view (for example, Magic Leap One has a 50° field of view, HoloLens2 has a 52° field of view, Nreal Light has a 52° field of view, etc.), while A small field of view will affect the image content contained in the field of view of the AR glasses, thereby affecting the viewing effect.
  • the panoramic video to be played is attached to a preset spherical model to obtain a projection model; the spatial position of the playback device that plays the panoramic video is obtained, and based on the spatial position, the The model coordinate system corresponding to the projection model is converted to the device coordinate system corresponding to the playback device; the visual image corresponding to the playback device is determined based on the orthogonal projection and the projection model, and the visual image is rendered and played.
  • the present disclosure establishes a sphere model by default, numbers the playback device and the sphere model to the origin of the world coordinate system, and then projects the projection model through orthogonal projection to select the visual image corresponding to the playback device. Selecting a visual image on the projection model can avoid the limitation of the field of view of the playback device on the selected image content, thereby increasing the image content included in the visual image, thereby improving the viewing effect.
  • This implementation provides a method for playing a panoramic video, as shown in FIG. 1 , the method includes:
  • the panoramic video to be played may be obtained through a panoramic camera, an online video obtained through a network (eg, Baidu, etc.), or an external device (eg, a mobile terminal, etc.) obtained, wherein, the panoramic video to be played in the external device is stored in file formats such as avi, mp4, and wmv.
  • the panorama video to be played is obtained by shooting a panoramic shooting device, and the panoramic shooting device includes a plurality of shooting devices with different shooting angles, and shooting simultaneously by a plurality of shooting devices to obtain a panorama in the panoramic video
  • a video frame for example, a panoramic image as shown in Figure 2.
  • the positions of the panoramic image and the three-dimensional space are in one-to-one correspondence, and after the panoramic image is captured, the panoramic image and the three-dimensional space are mapped one-to-one by default to save the panoramic image and the space.
  • the three-dimensional mapping relationship can accurately determine the image position of the panoramic image when playing the panoramic image.
  • each panorama video frame in the panorama video to be played are stored in the form of spherical rectangular projection, so that after the panorama video to be played is acquired, the panorama video is fitted on the spherical surface of the spherical model.
  • the sphere model is used to fit the panoramic video frame in the panoramic video
  • the projection model is a sphere model whose surface is attached to the panoramic video.
  • the method of fitting the panorama video to be played to a preset sphere model to obtain a projection model specifically includes:
  • the panoramic video to be played decode the panoramic video to be played to obtain a texture map corresponding to the panoramic video frame, wherein the texture map is a spherical rectangular texture, and each pixel in the texture map corresponds to a Spherical rectangle.
  • the texture map is attached to the sphere model, and the outer surface of the sphere model is covered to obtain the projection model.
  • the sphere model can be determined based on the panoramic video to be played, wherein each panoramic video frame in the panoramic video with playback can fit on the surface of the sphere and cover the sphere model.
  • the playback device that plays the panoramic video may be an AR virtual device, for example, AR glasses.
  • the panoramic video played in the AR virtual device can only be watched when the user wears the playback device for playing the panoramic video on the head. Therefore, the playback device for playing the panoramic video changes the space of the playback device following the movement of the user's head. Therefore, the spatial position of the playback device can reflect the user’s viewing angle of the panoramic video, and the projection model can be determined based on the user’s viewing angle of the panoramic video. so that the coordinate system of the projected model can be transformed to the device coordinate system.
  • the playback device that plays the panoramic video uses OpenGL rendering to render the panoramic video, so that the spatial position of the playback device that plays the panoramic video is acquired, and based on the spatial position, the The conversion of the model coordinate system corresponding to the projection model to the device coordinate system corresponding to the playback device specifically includes:
  • the OpenGL model matrix is used to convert the model coordinate system to the world coordinate system.
  • the coordinate origin of the model coordinate system is located at the coordinate origin of the world coordinate system.
  • an OpenGL model matrix for converting the model coordinate system to the world coordinate system can be determined, and the model coordinate system is converted to the world coordinate system based on the OpenGL model matrix.
  • the spatial position of the playback device that plays the panoramic video includes the camera orientation and position information of the playback device, where the camera orientation is used to reflect the rotation information of the playback device relative to the world coordinate system, and the position information is used to reflect the playback device relative to the world coordinate system.
  • Pan information is used to reflect the playback device relative to the world coordinate system.
  • the camera transformation of the device coordinate system relative to the world coordinate system can be determined based on the spatial position, and then, after determining the inverse transformation corresponding to the camera transformation, an OpenGL view matrix can be determined, wherein the OpenGL view A matrix is used to transform the world coordinate system to the device coordinate system.
  • the model coordinate system is converted to the world coordinate system through the OpenGL model matrix, and then the world coordinate system is converted to the device coordinate system through the OpenGL view matrix, so as to convert the model coordinate system Convert to device coordinate system.
  • the orientation of the camera of the playback device is the same as the -Z axis direction in the device coordinate system.
  • the orthogonal projection is used to perform the orthogonal projection on the projection model, and the orthogonal projection is the orthogonal projection of the projection model in the camera facing direction.
  • the visual image is the projection image obtained by orthogonal projection of the projection model, wherein the visual image is a rectangular arc surface.
  • the field of view in the horizontal direction and the field of view in the vertical direction of the playback device are different, and the field of view in the horizontal direction is larger than the field of view in the vertical direction, so in this implementation
  • the field of view in the horizontal direction of the projection field of view used in the orthogonal projection is smaller than the field of view in the horizontal direction of the playback device, so that the normal field of view determined based on the projection field of view is smaller than that of the playback device.
  • the width of the cross-projection body (where the projection model is included in the orthogonal projection body) in the horizontal direction is smaller than the field of view angle of the playback device in the horizontal direction.
  • the influence of the field of view angle for example, the visual image as shown in the lower rectangular area in Fig. 4; the use of orthogonal projection in this embodiment can improve the image content included in the visual image in the horizontal direction, for example, as shown in Fig. 6 in the rectangular area shown in the visual image.
  • the determining of the visual image corresponding to the playback device based on the orthogonal projection and the projection model specifically includes:
  • a visual image is selected in the projected image based on the image projection area.
  • a projection field of view angle of the orthogonal projection may be determined, and an orthogonal projection volume may be determined based on the projection field of view angle, wherein the projection model contained in the orthographic projection volume.
  • the viewing angle field of the projection field of view in the horizontal direction is less than or equal to the viewing angle field in the horizontal direction in the field of view of the playback device, so that the width of the image projection area in the horizontal direction is greater than or equal to the corresponding orthogonal projection body.
  • the width of the projected area in the horizontal direction For example, as shown in FIG. 5 , the rectangular frame in FIG.
  • the overlapping area of the rectangular frame and the circular area is a rectangular arc surface.
  • determining the visual image corresponding to the playback device based on the orthogonal projection and the projection model, and rendering and playing the visual image specifically includes:
  • the distortion in the visual image is corrected by radial distortion correction, wherein the radial distortion correction is adopted because the radial distortion of the visual image is similar to that of the camera lens, so the radial distortion correction can improve the distortion of the visual image , so that the image effect of the visual image can be visualized.
  • the rectangular arc area in FIG. 6 is the visual image before radial distortion correction
  • the rectangular area is the visual image after radial distortion correction.
  • the visual image in this embodiment is similar to the radial distortion of the camera lens, so the radial distortion correction is directly adopted without taking up a lot of computing power.
  • the correction formula for radial distortion correction may be:
  • x 0 x(1+k 1 r 2 +k 2 r 4 +k 3 r 6 )
  • y 0 y(1+k 1 r 2 +k 2 r 4 +k 3 r 6 )
  • x, y represent the pixel coordinates after pixel point correction
  • x 0 , y 0 represent the pixel coordinates before pixel point correction
  • r represents the distance between the pixel point (x, y) in the corrected image and the coordinate origin
  • k 1 , k 2 and k 3 are weight coefficients.
  • this embodiment provides a method for playing a panoramic video.
  • the method includes fitting the panoramic video to be played to a preset sphere model to obtain a projection model; space position, and convert the model coordinate system corresponding to the projection model to the device coordinate system corresponding to the playback device based on the spatial position; determine the visual image corresponding to the playback device based on the orthogonal projection and the projection model, And render and play the visual image.
  • the present disclosure establishes a sphere model by default, numbers the playback device and the sphere model to the origin of the world coordinate system, and then projects the projection model through orthogonal projection to select the visual image corresponding to the playback device. Selecting a visual image on the projection model can avoid the limitation of the viewing angle of the playback device on the selected image content, thereby increasing the image content included in the visual image, thereby improving the viewing effect.
  • the present embodiment provides a playback system for playing a panoramic video.
  • the playback system includes:
  • the fitting module 100 is used for fitting the panoramic video to be played to a preset spherical model to obtain a projection model
  • a change module 200 configured to acquire the spatial position of the playback device that plays the panoramic video, and convert the model coordinate system corresponding to the projection model to the device coordinate system corresponding to the playback device based on the spatial position;
  • the playing module 300 is configured to determine the visual image corresponding to the playing device based on the orthogonal projection and the projection model, and render and play the visual image.
  • each functional module included in the playback system for playing panoramic video is the same as the working process of the above-mentioned playback method for playing panoramic video.
  • the working process of step S10 in the method is the same
  • the working process of the change module is the same as the working process of step S20 in the playback method for playing panoramic video
  • the working process of the playing module is the same as that of step S30 in the playback method for playing panoramic video.
  • the process is the same, which will not be repeated here.
  • this embodiment provides a computer-readable storage medium, where the computer-readable storage medium stores one or more programs, and the one or more programs can be processed by one or more to implement the steps in the method for playing a panoramic video according to the above embodiments.
  • the present disclosure also provides a playing device, as shown in FIG. 8 , which includes at least one processor 20 ; a display screen 21 ; and a memory 22 , which may also include communication Interface (Communications Interface) 23 and bus 24.
  • the processor 20 , the display screen 21 , the memory 22 and the communication interface 23 can communicate with each other through the bus 24 .
  • the display screen 21 is set to display the user guide interface preset in the initial setting mode.
  • the communication interface 23 can transmit information.
  • the processor 20 may invoke logic instructions in the memory 22 to perform the methods in the above-described embodiments.
  • logic instructions in the memory 22 can be implemented in the form of software functional units and can be stored in a computer-readable storage medium when sold or used as an independent product.
  • the memory 22 may be configured to store software programs and computer-executable programs, such as program instructions or modules corresponding to the methods in the embodiments of the present disclosure.
  • the processor 20 executes functional applications and data processing by running the software programs, instructions or modules stored in the memory 22, ie, implements the methods in the above embodiments.
  • the memory 22 may include a storage program area and a storage data area, wherein the storage program area may store an operating system, an application program required for at least one function; the storage data area may store data created according to the use of the playback device, and the like. Additionally, memory 22 may include high-speed random access memory, and may also include non-volatile memory. For example, U disk, mobile hard disk, read-only memory (Read-Only Memory, ROM), random access memory (Random Access Memory, RAM), magnetic disk or optical disk and other media that can store program codes, or temporary state storage medium.
  • U disk U disk, mobile hard disk, read-only memory (Read-Only Memory, ROM), random access memory (Random Access Memory, RAM), magnetic disk or optical disk and other media that can store program codes, or temporary state storage medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种播放全景视频的方法、系统、存储介质及播放设备，所述方法包括将待播放的全景视频贴合至球体模型以得到投影模型（S10）；获取播放全景视频的播放设备的空间位置，基于空间位置将投影模型对应的模型坐标系转换到播放设备对应的设备坐标系（S20）；基于正交投影及投影模型确定所述播放设备对应的视觉图像，并渲染播放所述视觉图像（S30）。通过预设建立球体模型，将播放设备与球体模型编号至世界坐标系的原点，然后通过正交投影对投影模型进行投影以选取播放设备对应的视觉图像，这样通过正交投影的方式在投影模型上选取视觉图像，可以避免播放设备的视场角对选取到的图像内容的限制，从而可以增加视觉图像包含的图像内容，以提高观影效果。

Description

一种播放全景视频的方法、系统、存储介质及播放设备
优先权
本公开要求于申请日为2020年12月30日提交中国专利局、申请号为“2020116276286”、申请名称为“一种播放全景视频的方法、系统、存储介质及播放设备”的中国专利申请的优先权，其全部内容通过引用结合在本公开中。
技术领域
本公开涉及视频播放技术领域，特别涉及一种播放全景视频的方法、系统、存储介质及播放设备。
背景技术
随着近年来科学技术的高速发展，无线网络、智能平板电视已经成为广大消费者家庭的标准配置，而VR(Virtual Reality)、AR(Augmented Reality)等虚拟现实显示技术也愈发成熟，拥有越来越多的使用者，VR、AR等技术可以立体地展示产品的情况以及用户所需求的信息。
然而，现有AR眼镜普遍具有较小的视场角(例如，Magic Leap One的视场角为50°，HoloLens2的视场角为52°，Nreal Light的视场角为52°等)，而小的视场角会影响AR眼镜视野范围内所包含的影像内容，从而影响观影效果。
公开内容
本公开要解决的技术问题在于，针对现有技术的不足，提供一种播放全景视频的方法、系统、存储介质及播放设备。
为了解决上述技术问题，本公开实施例第一方面提供了一种播放全景视频的方法，所述方法包括：
将待播放的全景视频贴合至预设的球体模型，以得到投影模型；
获取播放全景视频的播放设备的空间位置，并基于所述空间位置将所述投影模型对应的模型坐标系转换到所述播放设备对应的设备坐标系；
基于正交投影及所述投影模型确定所述播放设备对应的视觉图像，并渲染播放所述视觉图像。
在一个实施例中，所述待播放的全景视频为通过全景拍摄装置拍摄得到的，全景拍摄装置包括若干配置有不同拍摄角度拍摄设备，通过若干拍摄设备同时拍摄以得到全景视频中的一全景视频帧。
在一个实施例中，所述待播放的全景视频中的每个全景视频帧中的像素点均是以球面矩形投影的方式存储。
在一个实施例中，所述将待播放的全景视频贴合至预设的球体模型，以得到投影模型具体包括：
解码待播放的全景视频，以得到纹理图像；
将所述纹理图像贴合到预设的球体模型上，以得到投影模型。
在一个实施例中，所述纹理图为球面矩形纹理，并且所述纹理图中的每个像素点均对应一个球面矩形。
在一个实施例中，所述获取播放全景视频的播放设备的空间位置，并基于所述空间位置将所述投影模型对应的模型坐标系转换到所述播放设备对应的设备坐标系具体包括：
确定播放全景视频的播放设备的空间位置以及OpenGL模型矩阵，并基于所述空间位置确定OpenGL视图矩阵；
通过所述OpenGL模型矩阵将所述模型坐标系转换到世界坐标系；
通过所述OpenGL视图矩阵将所述世界坐标系转换到设备坐标系。
在一个实施例中，在通过所述OpenGL模型矩阵将所述模型坐标系转换到世界坐标系后，所述模型坐标系的坐标原点位于所述世界坐标系的坐标原点。
在一个实施例中，所述空间位置包括播放设备的相机朝向以及位置信息，所述相机朝向用于反映播放设备相对于世界坐标系的旋转信息，所述位置信息用于反映播放设备相对于世界坐标系的平移信息。
在一个实施例中，所述播放设备的相机朝向与设备坐标系中的-Z轴方向相同。
在一个实施例中，所述基于正交投影及所述投影模型确定所述播放设备对应的视觉图像，并渲染播放所述视觉图像具体包括：
基于正交投影及所述投影模型，确定所述播放设备对应的视觉图像；
对所述视觉图像进行径向畸变校正以得到校正后的视觉图像，并渲染播放校正后的视觉图像。
在一个实施例中，所述径向畸变校正的修正公式可以为：
x 0＝x(1+k 1r 2+k 2r 4+k 3r 6)
y 0＝y(1+k 1r 2+k 2r 4+k 3r 6)
其中，x，y表示像素点校正后的像素坐标，x 0，y 0表示像素点校正前的像素坐标，r表示矫正后图像中的像素点(x,y)与坐标原点之间的距离，k 1，k 2和k 3为权重系数。
在一个实施例中，所述基于正交投影及所述投影模型，确定所述播放设备对应的视觉图像具体包括：
基于播放设备的视场角确定图像投影区域；
将所述投影模型进行正交投影以得到投影图像；
基于所述图像投影区域在所述投影图像中选取视觉图像。
在一个实施例中，所述基于所述图像投影区域在所述投影图像中选取视觉图像具体为：
选取所述图像投影区域和所述投影图像的重叠区域，并将选取到重叠区域作为视觉图像。
在一个实施例中，所述视觉图像的形状为矩形弧面。
在一个实施例中，所述视觉图像沿水平方向的图像宽度等于投影图像沿水平方向的图像宽度。
本公开实施例第二方面提供了一种播放全景视频的播放系统，所述播放系统包括：
贴合模块，用于将待播放的全景视频贴合至预设的球体模型，以得到投影模型；
变化模块，用于获取播放全景视频的播放设备的空间位置，并基于所述空间位置将所述投影模型对应的模型坐标系转换到所述播放设备对应的设备坐标系；
播放模块，用于基于正交投影及所述投影模型确定所述播放设备对应的视觉图像，并渲染播放所述视觉图像。
本公开实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的播放全景视频的方法中的步骤。
本公开实施例第四方面提供了一种播放设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的播放全景视频的方法中的步骤。
有益效果：与现有技术相比，本公开提供了一种播放全景视频的方法、系统、存储介质及播放设备，所述方法包括将待播放的全景视频贴合至预设的球体模型，以得到投影模型；获取播放全景视频的播放设备的空间位置，并基于所述空间位置将所述投影模型对应的模型坐标系转换到所述播放设备对应的设备坐标系；基于正交投影及所述投影模型确定所述播放设备对应的视觉图像，并渲染播放所述视觉图像。本公开通过预设建立球体模型，将播放设备与球体模型编号至世界坐标系的原点，然后通过正交投影对投影模型进行投影以选取播放设备对应的视觉图像，这样通过正交投影的方式在投影模型上选取视觉图像，可以避免播放设备的视场角对选取到的图像内容的限制，从而可以增加视觉图像包含的图像内容，以提高观影效果。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开提供的播放全景视频的方法的流程图。
图2为本公开提供的播放全景视频的方法中的全景视频的示例图。
图3为本公开提供的播放全景视频的方法中将全景视频贴合到球体模型上的流程示意图。
图4为采用现有方法在全景视频选取视觉图像的示例图。
图5为本公开提供的播放全景视频的方法中选取到的视觉图像的示例图。
图6为本公开提供的播放全景视频的方法中的畸形修正的示例图。
图7为本公开提供的播放全景视频的系统的结构原理图。
图8为本公开提供的播放设备的结构原理图。
具体实施方式
本公开提供一种播放全景视频的方法、系统、存储介质及播放设备，为使本公开的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本公开进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本公开，并不用于限定本公开。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、 “所述”和“该”也可包括复数形式。应该进一步理解的是，本公开的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本公开所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。此外应理解，本实施例中各步骤的序号和大小并不意味着执行顺序的先后，各过程的执行顺序以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。
公开人经过研究发现，随着近年来科学技术的高速发展，无线网络、智能平板电视已经成为广大消费者家庭的标准配置，而VR(Virtual Reality)、AR(Augmented Reality)等虚拟现实显示技术也愈发成熟，拥有越来越多的使用者，VR、AR等技术可以立体地展示产品的情况以及用户所需求的信息。然而，现有AR眼镜普遍具有较小的视场角(例如，Magic Leap One的视场角为50°，HoloLens2的视场角为52°，Nreal Light的视场角为52°等)，而小的视场角会影响AR眼镜视野范围内所包含的影像内容，从而影响观影效果。
为了解决上述问题，在本公开实施例中，将待播放的全景视频贴合至预设的球体模型，以得到投影模型；获取播放全景视频的播放设备的空间位置，并基于所述空间位置将所述投影模型对应的模型坐标系转换到所述播放设备对应的设备坐标系；基于正交投影及所述投影模型确定所述播放设备对应的视觉图像，并渲染播放所述视觉图像。本公开通过预设建立球体模型，将播放设备与球体模型编号至世界坐标系的原点，然后通过正交投影对投影模型进行投影以选取播放设备对应的视觉图像，这样通过正交投影的方式在投影模型上选取视觉图像，可以避免播放设备的视场角对选取到的图像内容的限制，从而可以增加视觉图像包含的图像内容，从而提高观影效果。
下面结合附图，通过对实施例的描述，对公开内容作进一步说明。
本实施提供了一种播放全景视频的方法，如图1所示，所述方法包括：
S10、将待播放的全景视频贴合至预设的球体模型，以得到投影模型。
具体地，所述待播放的全景视频可以为通过全景拍摄装置获取得到的，也可以是通过网络(例如，百度等)获取到的在线视频，也可以是通过外部设备(例如，移动终端等)获取到的，其中，外部设备中的待播放的全景视频采用avi，mp4，wmv等文件格式存储。在本实施例的一个实现方式中，待播放的全景视频为通过全景拍摄装置拍摄得到，全景拍摄装置包括若干配置有不同拍摄角度拍摄设备，通过若干拍摄设备同时拍摄以得到全景视频中的一全景视频帧，例如，如图2所示的全景图像。此外，在拍摄全景图像时，全景图像与空间三维的位置是一一对应的，并且在拍摄得到全景图像后，会预设将全景图像与空间三维进行一一映射，以保存该全景图像与空间三维的映射关系，以便于播放全景图像时可以准确地确定全景图像的图像位置。
待播放的全景视频中的每个全景视频帧中的像素点均是以球面矩形投影的方式存储，从而在获取到待播放的全景视频后，将全景视频贴合到球体模型的球体表面上。可以理解的是，所述球体模型用于贴合全景视频中的全景视频帧，投影模型为球体表面贴合有全景视频的球体模型。
基于此，在本实施例的一个实现方式中，所述将待播放的全景视频贴合至预设的球体模型，以得到投影模型具体包括：
解码待播放的全景视频，以得到纹理图像；
将所述纹理图像贴合到预设的球体模型上，以得到投影模型。
具体地，在获取到待播放的全景视频后，解码待播放的全景视频以得到全景视频帧对应的纹理图，其中，纹理图为球面矩形纹理，并且纹理图中的每个像素点均对应一个球面矩形。如图3所示，在获取到纹理图之后，将纹理图贴合到球体模型上，覆盖该球体模型的外表面以得到所述投影模型。此外，球体模型可以基于待播放的全景视频确定，其中，带播放的全景视频中的每一全景视频帧均可以贴合于该球体表面并且覆盖该球体模型。
S20、获取播放全景视频的播放设备的空间位置，并基于所述空间位置将所述投影模型对应的模型坐标系转换到所述播放设备对应的设备坐标系。
具体地，播放全景视频的播放设备可以为AR虚拟设备，例如，AR眼镜等。当用户通过头部佩戴播放全景视频的播放设备时，才能观看该AR虚拟设备中播放的全景视频，由此，该播放全景视频的播放设备会跟随着用户头部的活动而改变播放设备的空间 位置，且播放设备的空间位置改变也反映出了用户的全景视角变化范围，因此通过播放设备的空间位置可以反应出用户观看全景视频的视角，并且基于该用户观看全景视频的视角可以确定投影模型的模型朝向，从而可以将所述投影模型的坐标系转换到设备坐标系。
在本实施例的一个实现方式中，所述播放全景视频的播放设备采用OpenGL渲染方式来渲染全景视频，从而所述获取播放全景视频的播放设备的空间位置，并基于所述空间位置将所述投影模型对应的模型坐标系转换到所述播放设备对应的设备坐标系具体包括：
确定播放全景视频的播放设备的空间位置以及OpenGL模型矩阵，并基于所述空间位置确定OpenGL视图矩阵；
通过所述OpenGL模型矩阵将所述模型坐标系转换到世界坐标系；
通过所述OpenGL视图矩阵将所述世界坐标系转换到设备坐标系。
具体地，所述OpenGL模型矩阵用于将模型坐标系转换到世界坐标系，在将所述将模型坐标系转换到世界坐标系时，模型坐标系的坐标原点位于世界坐标系的坐标原点。由此，在确定模型坐标系和世界坐标系后，可以确定所述模型坐标系转换到世界坐标系的OpenGL模型矩阵，并基于OpenGL模型矩阵将所述模型坐标系转换到世界坐标系。
播放全景视频的播放设备的空间位置包括播放设备的相机朝向以及位置信息，其中，相机朝向用于反映播放设备相对于世界坐标系的旋转信息，位置信息用于反映播放设备相对于世界坐标系的平移信息。在确定到播放设备的空间位置后，可以基于空间位置确定设备坐标系相对于世界坐标系的相机变换，然后，在确定该相机变换对应的逆变换可以确定OpenGL视图矩阵，其中，所述OpenGL视图矩阵用于将所述世界坐标系转换到设备坐标系。
在获取到OpenGL模型矩阵和OpenGL视图矩阵后，通过OpenGL模型矩阵将模型坐标系转换到世界坐标系，然后通过所述OpenGL视图矩阵将所述世界坐标系转换到设备坐标系，以将模型坐标系转换到设备坐标系。其中，在设备坐标系中，所述播放设备的相机朝向与设备坐标系中的-Z轴方向相同。
S30、基于正交投影及所述投影模型确定所述播放设备对应的视觉图像，并渲染播放所述视觉图像。
具体地，所述正交投影用于将投影模型投影进行正交投影，并且该正交投影为将投影模型在相机朝向方向上的进行的正交投影。视觉图像为通过对投影模型进行正交投影 所得到的投影图像，其中，视觉图像为矩形弧面。这是由于播放设备(例如，AR眼镜等)的水平方向的视场角和竖直方向的视场角不相同，并且水平方向的视场角大于竖直方向的视场角，从而在本实施例中，在确定进行正交投影时，正交投影所采用的投影视场角中的水平方向的视场角小于播放设备的水平方向的视场角，以使得基于投影视场角确定的正交投影体(其中，投影模型包含于正交投影体内)在水平方向的宽度小于播放设备的水平方向的视场角，这样相对于目前采用的基于视场角进行的透视投影得到的视觉图像会视场角的影响，例如，如图4中的位于下方的矩形区域所示的视觉图像；本实施例中采用正交投影可以提高视觉图像在水平方向上所包括的图像内容，例如，如图6中的矩形区域所示的视觉图像。
基于此，在本实施例的一个实现方式中，所述基于正交投影及所述投影模型，确定所述播放设备对应的视觉图像具体包括：
基于播放设备的视场角确定图像投影区域；
将所述投影模型进行正交投影以得到投影图像；
基于所述图像投影区域在所述投影图像中选取视觉图像。
具体地，在将所述投影模型沿播放设备的相机朝向进行正交投影之前，可以确定正交投影的投影视场角，并基于该投影视场角可以确定正交投影体，其中，投影模型包含于所述正交投影体。所述投影视场角在水平方向上的视角场小于或者等于播放设备的视场角中的水平方向的视角场，以使得图像投影区域在水平方向上的宽度大于或者等于正交投影体对应的投影区域在在水平方向上的宽度。例如，如图5所示，图5中的矩形框为根据播放设备的视角场确定的图像投影区域，其中，矩形框的长度为基于水平方向的视场角确定，矩形框的高度为基于竖直方向的视场角确定，图中圆形区域为投影模型进行正交投影得到的投影图像。此外，在获取到图像投影区域和投影图像，选取图像投影区域和投影图像的重叠区域，并将选取到重叠区域作为视觉图像。例如，如图5所示，矩形框和圆形区域的重叠区域为矩形弧面。
在本实施例的一个实现方式，所述基于正交投影及所述投影模型确定所述播放设备对应的视觉图像，并渲染播放所述视觉图像具体包括：
基于正交投影及所述投影模型，确定所述播放设备对应的视觉图像；
对所述视觉图像进行径向畸变校正以得到校正后的视觉图像，并渲染播放校正后的视觉图像。
具体地，通过径向畸变校正来修正所述视觉图像中的畸变，其中，采用径向畸变校 正是由于视觉图像与相机镜头的径向畸变相似，从而采用径向畸变校正可以改善视觉图像的畸变，这样可以视觉图像的图像效果，例如，如图6所示，图6中的矩形弧面区域为径向畸变校正前的视觉图像，矩形区域为径向畸变校正后的视觉图像。此外，本实施例中的视觉图像与相机镜头的径向畸变相似，从而直接采用径向畸变校正，不会占用大量的计算力。然而，若直接增播放设备的视场角，基于广角透视的关系可以知道视口内显示的画面将会产生严重的畸变，并且这种畸变有别于光学镜头的径向畸变，这种畸变会存在多个灭点，从而会消耗大量的计算力来进行畸变校正，这样一方面会需要增加播放设备的硬件成本，另一方面会造成全景视频播放出现延迟以及卡顿等问题。
在本实施例中，所述径向畸变校正的修正公式可以为：
x 0＝x(1+k 1r 2+k 2r 4+k 3r 6)
y 0＝y(1+k 1r 2+k 2r 4+k 3r 6)
其中，x，y表示像素点校正后的像素坐标，x 0，y 0表示像素点校正前的像素坐标，r表示矫正后图像中的像素点(x,y)与坐标原点之间的距离，k 1，k 2和k 3为权重系数。
综上所述，本实施例提供了一种播放全景视频的方法，所述方法包括将待播放的全景视频贴合至预设的球体模型，以得到投影模型；获取播放全景视频的播放设备的空间位置，并基于所述空间位置将所述投影模型对应的模型坐标系转换到所述播放设备对应的设备坐标系；基于正交投影及所述投影模型确定所述播放设备对应的视觉图像，并渲染播放所述视觉图像。本公开通过预设建立球体模型，将播放设备与球体模型编号至世界坐标系的原点，然后通过正交投影对投影模型进行投影以选取播放设备对应的视觉图像，这样通过正交投影的方式在投影模型上选取视觉图像，可以避免播放设备的视场角对选取到的图像内容的限制，从而可以增加视觉图像包含的图像内容，从而提高观影效果。
基于上述播放全景视频的方法，本实施例提供了一种播放全景视频的播放系统，如图7所示，所述播放系统包括：
贴合模块100，用于将待播放的全景视频贴合至预设的球体模型，以得到投影模型；
变化模块200，用于获取播放全景视频的播放设备的空间位置，并基于所述空间位置将所述投影模型对应的模型坐标系转换到所述播放设备对应的设备坐标系；
播放模块300，用于基于正交投影及所述投影模型，确定所述播放设备对应的视觉图像，并渲染播放所述视觉图像。
此外，值得说明的，所述播播放全景视频的播放系统包括的各功能模块的工作过程 与上述播放全景视频的播放方法的工作过程相同，例如，贴合模块的工作过程与播放全景视频的播放方法中的步骤S10的工作过程相同，变化模块的的工作过程与播放全景视频的播放方法中的步骤S20的工作过程相同，播放模块的工作过程与播放全景视频的播放方法中的步骤S30的工作过程相同，这里就不在赘述，具体可以参照上述播放全景视频的播放方法的说明。
基于上述播放全景视频的方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的播放全景视频的方法中的步骤。
基于上述播放全景视频的方法，本公开还提供了一种播放设备，如图8所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据播放设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及播放设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然 可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围。

Claims (18)

  1. 一种播放全景视频的方法，其中，所述方法包括：
    将待播放的全景视频贴合至预设的球体模型，以得到投影模型；
    获取播放全景视频的播放设备的空间位置，并基于所述空间位置将所述投影模型对应的模型坐标系转换到所述播放设备对应的设备坐标系；
    基于正交投影及所述投影模型确定所述播放设备对应的视觉图像，并渲染播放所述视觉图像。
  2. 根据权利要求1所述的播放全景视频的方法，其中，所述待播放的全景视频为通过全景拍摄装置拍摄得到的，全景拍摄装置包括若干配置有不同拍摄角度拍摄设备，通过若干拍摄设备同时拍摄以得到全景视频中的一全景视频帧。
  3. 根据权利要求1所述的播放全景视频的方法，其中，所述待播放的全景视频中的每个全景视频帧中的像素点均是以球面矩形投影的方式存储。
  4. 根据权利要求1所述的播放全景视频的方法，其中，所述将待播放的全景视频贴合至预设的球体模型，以得到投影模型具体包括：
    解码待播放的全景视频，以得到纹理图像；
    将所述纹理图像贴合到预设的球体模型上，以得到投影模型。
  5. 根据权利要求4所述的播放全景视频的方法，其中，所述纹理图为球面矩形纹理，并且所述纹理图中的每个像素点均对应一个球面矩形。
  6. 根据权利要求1所述的播放全景视频的方法，其中，所述获取播放全景视频的播放设备的空间位置，并基于所述空间位置将所述投影模型对应的模型坐标系转换到所述播放设备对应的设备坐标系具体包括：
    确定播放全景视频的播放设备的空间位置以及OpenGL模型矩阵，并基于所述空间位置确定OpenGL视图矩阵；
    通过所述OpenGL模型矩阵将所述模型坐标系转换到世界坐标系；
    通过所述OpenGL视图矩阵将所述世界坐标系转换到所述设备坐标系。
  7. 根据权利要求6所述的播放全景视频的方法，其中，在通过所述OpenGL模型矩阵将所述模型坐标系转换到世界坐标系后，所述模型坐标系的坐标原点位于所述世界坐标系的坐标原点。
  8. 根据权利要求6所述的播放全景视频的方法，其中，所述空间位置包括播放设备的相机朝向以及位置信息，所述相机朝向用于反映播放设备相对于世界坐标系的旋转信息，所述位置信息用于反映播放设备相对于世界坐标系的平移信息。
  9. 根据权利要求6所述播放全景视频的方法，其中，所述播放设备的相机朝向与设备坐标系中的-Z轴方向相同。
  10. 根据权利要求1所述的播放全景视频的方法，其中，所述基于正交投影及所述投影模型确定所述播放设备对应的视觉图像，并渲染播放所述视觉图像具体包括：
    基于正交投影及所述投影模型，确定所述播放设备对应的视觉图像；
    对所述视觉图像进行径向畸变校正以得到校正后的视觉图像，并渲染播放所述校正后的视觉图像。
  11. 根据权利要求10所述的播放全景视频的方法，其中，所述径向畸变校正的修正公式可以为：
    x 0＝x(1+k 1r 2+k 2r 4+k 3r 6)
    y 0＝y(1+k 1r 2+k 2r 4+k 3r 6)
    其中，x，y表示像素点校正后的像素坐标，x 0，y 0表示像素点校正前的像素坐标，r表示矫正后图像中的像素点(x,y)与坐标原点之间的距离，k 1，k 2和k 3为权重系数。
  12. 根据权利要求1或10所述的播放全景视频的方法，其中，所述基于正交投影及所述投影模型，确定所述播放设备对应的视觉图像具体包括：
    基于所述播放设备的视场角确定图像投影区域；
    将所述投影模型进行正交投影以得到投影图像；
    基于所述图像投影区域在所述投影图像中选取视觉图像。
  13. 根据权利要求12所述的播放全景视频的方法，其中，所述基于所述图像投影区域在所述投影图像中选取视觉图像具体为：
    选取所述图像投影区域和所述投影图像的重叠区域，并将选取到重叠区域作为视觉图像。
  14. 根据权利要求1所述的播放全景视频的方法，其中，所述视觉图像的形状为矩形弧面。
  15. 根据权利要求1所述的播放全景视频的方法，其中，所述视觉图像沿水平方向的图像宽度等于所述投影图像沿水平方向的图像宽度。
  16. 一种播放全景视频的播放系统，其中，所述播放系统包括：
    贴合模块，用于将待播放的全景视频贴合至预设的球体模型，以得到投影模型；
    变化模块，用于获取播放全景视频的播放设备的空间位置，并基于所述空间位置将 所述投影模型对应的模型坐标系转换到所述播放设备对应的设备坐标系；
    播放模块，用于基于正交投影及所述投影模型确定所述播放设备对应的视觉图像，并渲染播放所述视觉图像。
  17. 一种计算机可读存储介质，其中，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-16任意一项所述的播放全景视频的方法中的步骤。
  18. 一种播放设备，其中，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
    所述通信总线实现处理器和存储器之间的连接通信；
    所述处理器执行所述计算机可读程序时实现如权利要求1-16任意一项所述的播放全景视频的方法中的步骤。
PCT/CN2021/078363 2020-12-30 2021-03-01 一种播放全景视频的方法、系统、存储介质及播放设备 WO2022141781A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011627628.6 2020-12-30
CN202011627628.6A CN112788317A (zh) 2020-12-30 2020-12-30 一种播放全景视频的方法、系统、存储介质及播放设备

Publications (1)

Publication Number Publication Date
WO2022141781A1 true WO2022141781A1 (zh) 2022-07-07

Family

ID=75754592

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/078363 WO2022141781A1 (zh) 2020-12-30 2021-03-01 一种播放全景视频的方法、系统、存储介质及播放设备

Country Status (2)

Country Link
CN (1) CN112788317A (zh)
WO (1) WO2022141781A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116527856A (zh) * 2023-07-04 2023-08-01 深圳市极致创意显示有限公司 球幕影院的播放控制方法、装置、设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926371B (zh) * 2022-06-27 2023-04-07 北京五八信息技术有限公司 一种全景图的垂直校正、灭点检测方法、设备及存储介质
CN118488151A (zh) * 2024-07-11 2024-08-13 广州卓远虚拟现实科技股份有限公司 Led异形屏的视频播放方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101852980A (zh) * 2010-06-09 2010-10-06 长春理工大学 一种在cave投影系统上交互式播放全景视频流的方法
CN105872353A (zh) * 2015-12-15 2016-08-17 乐视网信息技术（北京）股份有限公司 一种在移动设备上实现播放全景视频的系统和方法
CN109565610A (zh) * 2016-05-25 2019-04-02 皇家Kpn公司 空间平铺的全向视频流播
US20200177916A1 (en) * 2017-05-09 2020-06-04 Koninklijke Kpn N.V. Coding Spherical Video Data

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296819A (zh) * 2016-08-12 2017-01-04 北京航空航天大学 一种基于智能机顶盒的全景视频播放器
KR101912396B1 (ko) * 2017-06-13 2018-10-26 주식회사 아이닉스 가상 카메라 기반의 임의 시점 영상 생성 장치 및 방법
CN109255832A (zh) * 2018-09-21 2019-01-22 四川长虹电器股份有限公司 一种基于OpenGL的目标光场创建方法
CN111200750B (zh) * 2018-11-16 2021-09-14 北京字节跳动网络技术有限公司 全景视频的多窗口播放方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101852980A (zh) * 2010-06-09 2010-10-06 长春理工大学 一种在cave投影系统上交互式播放全景视频流的方法
CN105872353A (zh) * 2015-12-15 2016-08-17 乐视网信息技术（北京）股份有限公司 一种在移动设备上实现播放全景视频的系统和方法
CN109565610A (zh) * 2016-05-25 2019-04-02 皇家Kpn公司 空间平铺的全向视频流播
US20200177916A1 (en) * 2017-05-09 2020-06-04 Koninklijke Kpn N.V. Coding Spherical Video Data

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116527856A (zh) * 2023-07-04 2023-08-01 深圳市极致创意显示有限公司 球幕影院的播放控制方法、装置、设备及存储介质
CN116527856B (zh) * 2023-07-04 2023-09-01 深圳市极致创意显示有限公司 球幕影院的播放控制方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112788317A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
WO2022141781A1 (zh) 一种播放全景视频的方法、系统、存储介质及播放设备
US11321906B2 (en) Asynchronous time and space warp with determination of region of interest
US11257283B2 (en) Image reconstruction method, system, device and computer-readable storage medium
US7123777B2 (en) System and method for panoramic imaging
US10235795B2 (en) Methods of compressing a texture image and image data processing system and methods of generating a 360 degree panoramic video thereof
WO2021238454A1 (zh) 直播视频的展示方法、装置、终端和可读存储介质
TW202028928A (zh) 用於分裂延展實境之交叉層流量優化
CN110956583B (zh) 球面图像处理方法、装置及服务器
CN108282694B (zh) 全景视频渲染方法、装置及电子设备
CN106534827B (zh) 基于用户视角播放全景视频的方法及系统
WO2017128887A1 (zh) 全景图像的校正3d显示方法和系统及装置
US20030095131A1 (en) Method and apparatus for processing photographic images
US11892637B2 (en) Image generation apparatus, head-mounted display, content processing system, and image display method
JP2019534500A (ja) 没入型ビデオフォーマットのための方法、機器、及びシステム
TWI635461B (zh) 投影圖構建方法及裝置
JP2017091483A (ja) 画像処理装置、情報処理装置、および画像処理方法
WO2023172195A2 (zh) 线条特效处理方法、装置、电子设备、存储介质及产品
WO2022042111A1 (zh) 视频图像显示方法、装置、多媒体设备以及存储介质
CN108765582B (zh) 一种全景图片显示方法及设备
CN108022204A (zh) 一种柱面全景视频转换为球面全景视频的方法
US11143874B2 (en) Image processing apparatus, head-mounted display, and image displaying method
JP7365183B2 (ja) 画像生成装置、ヘッドマウントディスプレイ、コンテンツ処理システム、および画像表示方法
CN117173378B (zh) 基于CAVE环境的WebVR全景数据展现方法、装置、设备及介质
CN112465696B (zh) 一种全景呈现方法及其装置
CN117880481A (zh) 一种扩大vr影片视野角的渲染方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21912551

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21912551

Country of ref document: EP

Kind code of ref document: A1