WO2017185765A1 - 一种室内全景视频生成方法及装置 - Google Patents

一种室内全景视频生成方法及装置 Download PDF

Info

Publication number
WO2017185765A1
WO2017185765A1 PCT/CN2016/109600 CN2016109600W WO2017185765A1 WO 2017185765 A1 WO2017185765 A1 WO 2017185765A1 CN 2016109600 W CN2016109600 W CN 2016109600W WO 2017185765 A1 WO2017185765 A1 WO 2017185765A1
Authority
WO
WIPO (PCT)
Prior art keywords
fisheye
view
map
hemisphere
parameter
Prior art date
Application number
PCT/CN2016/109600
Other languages
English (en)
French (fr)
Inventor
林耀冬
王全占
陈杰
郭斌
Original Assignee
杭州海康威视数字技术股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 杭州海康威视数字技术股份有限公司 filed Critical 杭州海康威视数字技术股份有限公司
Priority to US16/096,931 priority Critical patent/US10827117B2/en
Priority to EP16900270.6A priority patent/EP3451649B1/en
Publication of WO2017185765A1 publication Critical patent/WO2017185765A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation

Definitions

  • the same scene is taken from different angles, and the obtained video images are stitched into spheres by image stitching algorithm.
  • image stitching algorithm multiple cameras or aerial cameras are required, the cost of the shooting device is high, and the image stitching algorithm is complicated, and the real-time performance of the panoramic video is poor.
  • the embodiment of the present invention provides an indoor panoramic video generation method and device, so as to improve the real-time performance of generating a panoramic video, and present a stereoscopic effect.
  • the coordinates of the image coordinate system of each pixel of the fisheye video image are converted into the coordinates of the spherical coordinate system, and the fisheye based on the spherical coordinate system is obtained.
  • Hemisphere map For each frame of the fisheye video image, according to the first preset rule, the coordinates of the image coordinate system of each pixel of the fisheye video image are converted into the coordinates of the spherical coordinate system, and the fisheye based on the spherical coordinate system is obtained.
  • the obtaining the fisheye video may include:
  • Obtaining a module configured to obtain N perspective texture maps corresponding to the fisheye hemisphere map according to the view body parameters of each view texture map in the N view texture maps;
  • R is the radius of the hemisphere in the fisheye hemisphere diagram
  • ⁇ is the angle between the point in the fisheye hemisphere diagram and the Y axis
  • ⁇ is the angle between the point in the fisheye hemisphere diagram and the X axis .
  • the determining module may include:
  • a sub-module configured to construct an inscribed rectangular parallelepiped of the sphere corresponding to the fisheye hemisphere map when the predetermined living room is a rectangular parallelepiped living room, the length, width, and height ratio of the inscribed rectangular parallelepiped The ratio of length, width and height of the rectangular shape of the living room is the same;
  • FIG. 10 is a schematic structural diagram of an image pickup apparatus according to an embodiment of the present application.
  • the step may include: receiving a fisheye video sent by a fisheye camera disposed at a center of the ceiling of the living room.
  • the view body parameter may include an angle parameter and a viewport parameter of the view body; and determining, according to the inscribed cuboid, the N view texture maps corresponding to the fisheye hemisphere map
  • the view body parameters of each view texture map may include:
  • a viewport parameter of a view body of each view texture map is determined according to an edge length of the inscribed cuboid, wherein the viewport parameters include left, right, bottom, up, front, and back boundary parameters.
  • the living room is a rectangular parallelepiped supermarket, it receives a fisheye video sent by a fisheye camera located at the center of the ceiling of the living room. Assume that one frame of the fisheye video is shown in Figure 2.
  • the fisheye video image of each frame of the obtained fisheye video is processed by the above method, and then the indoor panoramic video corresponding to the fisheye video is obtained.
  • N is 7.
  • N is 7.
  • For each frame of the fisheye video image converting the coordinates of each pixel of the fisheye video image in the coordinate system of the image to the coordinates of the spherical coordinate system, obtaining a fisheye hemisphere map based on the spherical coordinate system; determining the fish
  • the eyeball hemisphere map corresponds to the view body parameters of the seven perspective texture maps, and obtains seven perspective texture maps corresponding to the fisheye hemisphere map.
  • the seven view texture maps are rendered onto the seven faces of the preset interior, and a panoramic video image of the cornered room is generated as shown in FIG. 7.
  • the conversion module 902 is configured to convert the coordinates of each pixel of the fisheye video image in the image coordinate system to the coordinates of the spherical coordinate system according to a first preset rule for each frame of the fisheye video image, Fisheye hemisphere diagram of the spherical coordinate system;
  • the view body parameter includes an angle parameter and a viewport parameter of the view body;
  • the determining sub-module may include: an angle parameter determining sub-module and a viewport parameter determining sub-module (not shown), among them,
  • Obtaining module 904 configured to obtain N perspective texture maps corresponding to the fisheye hemisphere map according to the view body parameters of each view texture map in the N view texture maps;
  • the embodiment of the present application can render the fisheye video of each frame to the N faces of the preset indoor room, and generate a panoramic video image that presents a stereoscopic effect. Since the embodiment of the present application does not use a complicated image stitching algorithm, the real-time performance of generating a panoramic video is improved. In addition, the embodiment of the present application does not need to splicing a plurality of video images captured by a plurality of cameras, and does not need to use an aerial camera to perform shooting, and the shooting device has low cost.
  • the coordinates of the image coordinate system of each pixel of the fisheye video image are converted into the coordinates of the spherical coordinate system, and the fisheye based on the spherical coordinate system is obtained.
  • Hemisphere map For each frame of the fisheye video image, according to the first preset rule, the coordinates of the image coordinate system of each pixel of the fisheye video image are converted into the coordinates of the spherical coordinate system, and the fisheye based on the spherical coordinate system is obtained.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例公开了一种室内全景视频生成方法及装置，针对每一帧鱼眼视频图像，将该鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标，获得基于球坐标系的鱼眼半球图；根据预设的居室的形状，确定该鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数，根据该N个视角纹理图中每个视角纹理图的视景体参数，获得该鱼眼半球图对应的N个视角纹理图，将该N个视角纹理图渲染到所述预设的居室内部的N个面上，生成该鱼眼视频图像对应的全景视频图像。由此可见，本方案能够生成呈现出立体效果的全景视频图像；不使用复杂的图像拼接算法，提高了生成全景视频的实时性；不需要多个摄像头或航拍器，拍摄设备成本低。

Description

一种室内全景视频生成方法及装置
本申请要求于2016年4月28日提交中国专利局、申请号为201610280032.0发明名称为“一种室内全景视频生成方法及装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及视频监控技术领域，特别涉及一种室内全景视频生成方法及装置。
背景技术
随着科技的不断发展，全景视频已在诸多领域发挥出巨大价值和优势。例如：在视频监控系统中，对室内场景进行监控时，比如对超市进行监控时，通过摄像头采集视频图像生成全景视频，以达到更好的监控效果。
目前，全景视频的生成方法有以下几种：
一、对同一场景从不同角度进行拍摄，将得到的视频图像采用图像拼接算法拼接成球体。采用这种方法，需要多个摄像头或使用航拍器，拍摄设备成本高，且图像拼接算法复杂，得到全景视频的实时性差。
二、利用鱼眼摄像头的超大视场角，对场景进行拍摄，将得到的画面通过PTZ(Pan/Tilt/Zoom，云台全方位(左右/上下)移动及镜头变倍、变焦控制矫正)展开，获得全景展开图。采用这种方法，通过PTZ展开的仍旧是一张二维图像，与传统视频观看效果区别不大，用户体验较差。
发明内容
本申请实施例提供一种室内全景视频生成方法及装置，以提高生成全景视频的实时性，并呈现出立体效果。
本申请实施例公开了一种室内全景视频生成方法，应用于视频处理设备，包括：
获取鱼眼视频；
针对每一帧鱼眼视频图像，按照第一预设规则，将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标，获得基于球坐标系的鱼眼半球图；
根据预设的居室的形状，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数，其中，所述预设的居室的形状根据所述鱼眼视频图像对应的场景设定；
根据所述N个视角纹理图中每个视角纹理图的视景体参数，获得所述鱼眼半球图对应的N个视角纹理图，将所述N个视角纹理图渲染到所述预设的居室内部的N个面上，生成所述鱼眼视频图像对应的全景视频图像。
可选的，所述按照第一预设规则，将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标，获得基于球坐标系的鱼眼半球图，可以包括：
按照下式，将所述鱼眼视频图像的每个像素点在图像坐标系的坐标(u，v)转换为球坐标系的坐标(x，y，z)，获得基于球坐标系的鱼眼半球图：
u-0.5＝x＝R*cos(α)*cos(θ)
v-0.5＝y＝R*cos(α)*sin(θ)
z＝R*sin(α)
其中，R为所述鱼眼半球图中半球的半径，α为所述鱼眼半球图中的点与Y轴的夹角，θ为所述鱼眼半球图中的点与X轴的夹角。
可选的，当所述预设的居室为长方体形状居室时，所述根据预设的居室的形状，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数，可以包括：
构建所述鱼眼半球图对应的球体的内接长方体，所述内接长方体的长、宽、高之比与所述长方体形状居室的长、宽、高之比相同；
根据所述内接长方体，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数。
可选的，所述视景体参数可以包括视景体的角度参数和视口参数；
所述根据所述内接长方体，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数，可以包括：
根据所述内接长方体的平面之间的角度确定每个视角纹理图的视景体的角度参数，其中，所述角度参数包括方位角参数和仰角参数；
根据所述内接长方体的棱长确定每个视角纹理图的视景体的视口参数，其中，其中，所述视口参数包括左、右、下、上、前和后边界参数。
可选的，当所述预设的居室为长方体形状居室时，所述获得所述鱼眼半球图对应的N个视角纹理图，可以包括：
获得所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图。
可选的，所述将所述N个视角纹理图渲染到所述预设的居室内部的N个面上，可以包括：
绘制所述预设的居室内部的四个墙壁所在的面和地板所在的面，并确定每个面对应的坐标；
根据所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图的视景体参数，将所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图的坐标调整到与所述四个墙壁所在的面和地板所在的面对应的坐标相对应的位置。
可选的，所述获取鱼眼视频，可以包括：
接收设置在居室顶棚中心位置的一个鱼眼摄像头发送的鱼眼视频。
为达到上述目的，本申请实施例还公开了一种室内全景视频生成装置，应用于视频处理设备，包括：
获取模块，用于获取鱼眼视频；
转换模块，用于针对每一帧鱼眼视频图像，按照第一预设规则，将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标，获得基于球坐标系的鱼眼半球图；
确定模块，用于根据预设的居室的形状，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数，其中，所述预设的居室的形状根据所述鱼眼视频图像对应的场景设定；
获得模块，用于根据所述N个视角纹理图中每个视角纹理图的视景体参数，获得所述鱼眼半球图对应的N个视角纹理图；
生成模块，用于将所述N个视角纹理图渲染到所述预设的居室内部的N个面上，生成所述鱼眼视频图像对应的全景视频图像。
可选的，所述转换模块，具体可以用于：
按照下式，将所述鱼眼视频图像的每个像素点在图像坐标系的坐标(u，v)转换为球坐标系的坐标(x，y，z)，获得基于球坐标系的鱼眼半球图：
u-0.5＝x＝R*cos(α)*cos(θ)
v-0.5＝y＝R*cos(α)*sin(θ)
z＝R*sin(α)
其中，R为所述鱼眼半球图中半球的半径，α为所述鱼眼半球图中的点与Y轴的夹角，θ为所述鱼眼半球图中的点与X轴的夹角。
可选的，所述确定模块，可以包括：
构建子模块，用于当所述预设的居室为长方体形状居室时，构建所述鱼眼半球图对应的球体的内接长方体，所述内接长方体的长、宽、高之比与所述长方体形状居室的长、宽、高之比相同；
确定子模块，用于根据所述内接长方体，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数。
可选的，所述视景体参数包括视景体的角度参数和视口参数；所述确定子模块，可以包括：
角度参数确定子模块，用于根据所述内接长方体的平面之间的角度确定每个视角纹理图的视景体的角度参数，其中，所述角度参数包括方位角参数和仰角参数；
视口参数确定子模块，用于根据所述内接长方体的棱长确定每个视角纹理图的视景体的视口参数，其中，所述视口参数包括左、右、下、上、前和后边界参数。
可选的，所述获得模块，具体可以用于：
当所述预设的居室为长方体形状居室时，根据所述N个视角纹理图中每个视角纹理图的视景体参数，获得所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图。
可选的，所述生成模块，可以包括：
居室绘制子模块，用于绘制所述预设的居室内部的四个墙壁所在的面和地板所在的面，并确定每个面对应的坐标；
全景视频图像生成子模块，用于根据所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图的视景体参数，将所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图的坐标调整到与所述四个墙壁所在的面和地板所在的面对应的坐标相对应的位置，生成所述鱼眼视频图像对应的全景视频图像。
可选的，所述获取模块，具体可以用于：
接收设置在居室顶棚中心位置的一个鱼眼摄像头发送的鱼眼视频。
为达到上述目的，本申请实施例还公开了一种摄像装置，包括鱼眼摄像头和处理器，所述鱼眼摄像头用于拍摄预设的居室的鱼眼视频，并将所述鱼眼视频发送给处理器，所述处理器用于执行上述室内全景视频生成方法。
为达到上述目的，本申请实施例还公开了一种可执行程序代码，所述可执行程序代码用于被运行以执行上述室内全景视频生成方法。
为达到上述目的，本申请实施例还公开了一种存储介质，所述存储介质用于存储可执行程序代码，所述可执行程序代码用于被运行以执行上述室内全景视频生成方法。
由上述技术方案可见，应用本申请所示实施例，针对每一帧鱼眼视频图像，将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标，获得基于球坐标系的鱼眼半球图；根据预设的居室的形状，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数，根据所述N个视角纹理图中每个视角纹理图的视景体参数，获得所述鱼眼半球图对应的N个视角纹理图，将所述N个视角纹理图渲染到所述预设的居室内部 的N个面上，生成所述鱼眼视频图像对应的全景视频图像。由此可见，本申请实施例能够将对每一帧鱼眼视频渲染到预设居室内部的N个面上，生成了呈现出立体效果的全景视频图像。由于本申请实施例不使用复杂的图像拼接算法，因此提高了生成全景视频的实时性。另外，本申请实施例不需要将多个摄像头拍摄的多个视频图像进行拼接，也不需用航拍器进行拍摄，拍摄设备成本低。
当然，实施本申请的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例和现有技术的技术方案，下面对实施例和现有技术中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种室内全景视频生成方法的流程示意图；
图2为图1所述的室内全景视频生成方法中获取的一帧鱼眼视频图像；
图3为图1所述的室内全景视频生成方法中获得的基于球坐标系的鱼眼半球图；
图4为本申请实施例提供的确定视角纹理图的视景体的方法示意图；
图5为图3所示的鱼眼半球图对应的5个视角纹理图；
图6为图2所示的鱼眼视频图像对应的全景视频图像；
图7为本申请另一个实施例中生成的带拐角的居室的全景视频图像；
图8为本申请另一个实施例中生成的包括多个长方体形状的居室的楼层的全景视频图像；
图9为本申请实施例提供的一种室内全景视频生成装置的结构示意图；
图10为本申请实施例所提供的一种摄像装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案、及优点更加清楚明白，以下参照附图并举实施例，对本申请进一步详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了解决现有技术问题，本申请实施例提供了一种室内全景视频生成方法及装置，应用于视频处理设备。下面首先对本申请实施例提供的一种室内全景视频生成方法进行详细说明。
图1为本申请实施例提供的一种室内全景视频生成方法的流程示意图，包括：
S101：获取鱼眼视频。
具体的，本步骤中可以包括：接收设置在居室顶棚中心位置的一个鱼眼摄像头发送的鱼眼视频。
S102：针对每一帧鱼眼视频图像，按照第一预设规则，将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标，获得基于球坐标系的鱼眼半球图。
具体的，本步骤中可以包括：按照下式，将所述鱼眼视频图像的每个像素点在图像坐标系的坐标(u，v)转换为球坐标系的坐标(x，y，z)，获得基于球坐标系的鱼眼半球图：
u-0.5＝x＝R*cos(α)*cos(θ)
v-0.5＝y＝R*cos(α)*sin(θ)
z＝R*sin(α)
其中，R为所述鱼眼半球图中半球的半径，α为所述鱼眼半球图中的点与Y轴的夹角，θ为所述鱼眼半球图中的点与X轴的夹角。
S103：根据预设的居室的形状，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数。其中，所述预设的居室的形状根据所 述鱼眼视频图像对应的场景设定。本申请实施例中N为正整数。
具体的，当所述预设的居室为长方体形状居室时，本步骤中可以包括：
构建所述鱼眼半球图对应的球体的内接长方体，所述内接长方体的长、宽、高之比与所述长方体形状居室的长、宽、高之比相同；
根据所述内接长方体，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数。
在本申请所示实施例中，视景体参数可以包括视景体的角度参数和视口参数；所述根据所述内接长方体，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数，可以包括：
根据所述内接长方体的平面之间的角度确定每个视角纹理图的视景体的角度参数，其中，所述角度参数包括方位角参数和仰角参数；
根据所述内接长方体的棱长确定每个视角纹理图的视景体的视口参数，其中，所述视口参数包括左、右、下、上、前和后边界参数。
S104：根据所述N个视角纹理图中每个视角纹理图的视景体参数，获得所述鱼眼半球图对应的N个视角纹理图。
在本申请所示实施例中，当所述预设的居室为长方体形状居室时，所述获得所述鱼眼半球图对应的N个视角纹理图，可以包括：获得所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图。
S105：将所述N个视角纹理图渲染到所述预设的居室内部的N个面上，生成所述鱼眼视频图像对应的全景视频图像。
在本申请所示实施例中，本步骤中可以包括：：
绘制所述预设的居室内部的四个墙壁所在的面和地板所在的面，并确定每个面对应的坐标；
根据所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图的视景体参数，将所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图的坐标调整到与所述四个墙壁所在的面和地板所在的面对应的坐标 相对应的位置。
假设居室为长方体形状的超市，接收设置在居室顶棚中心位置的一个鱼眼摄像头发送的鱼眼视频。假设该鱼眼视频中的一帧图像如图2所示。
针对该帧鱼眼视频图像，按照下式，将该帧鱼眼视频图像的每个像素点在图像坐标系的坐标(u，v)转换为球坐标系的坐标(x，y，z)，获得基于球坐标系的鱼眼半球图：
u-0.5＝x＝R*cos(α)*cos(θ)
v-0.5＝y＝R*cos(α)*sin(θ)
z＝R*sin(α)
其中，R为所述鱼眼半球图中半球的半径，α为所述鱼眼半球图中的点与Y轴的夹角，θ为所述鱼眼半球图中的点与X轴的夹角。
获得的基于球坐标系的鱼眼半球图如图3所示。
假设该长方体形状的超市的长、宽、高之比为5：4：3，构建所述鱼眼半球图对应的球体的内接长方体，该内接长方体的长、宽、高之比为5：4：3。可以理解的是，当球的半径固定且内接长方体的长、宽、高之比固定时，可以根据球的半径和长、宽、高之比确定该内接长方体的长、宽、高，假设Length，Width，Height分别为该内接长方体的长宽高。
根据该内接长方体，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数。视景体参数可以包括视景体的角度参数和视口参数，其中，所述角度参数可以包括方位角参数和仰角参数，所述视口参数可以包括左、右、下、上、前和后边界参数。
在本申请所示实施例中，所述鱼眼半球图对应的N个视角纹理图可以为所述鱼眼半球图对应的四个墙壁方向Left wall、Back wall、Right wall、Front wall和一个地板方向Floor的视角纹理图。如图4所示，构建鱼眼半球图对应的球体的内接长方体，根据该内接长方体，确定该鱼眼半球图对应的5个视角纹理图中每个视角纹理图的视景体，进而得到视景体参数。具体的，可以根据表1确定鱼眼半球图对应的5个视角纹理图中每个视角纹理图的视景体 参数。
表1
Figure PCTCN2016109600-appb-000001
根据上述5个视角纹理图中每个视角纹理图的视景体参数，获得所述鱼眼半球图对应的5个视角纹理图。本领域技术人员可以理解的是，根据视景体参数获得鱼眼半球图对应的视角纹理图为现有技术，在此不作赘述。获得所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图，如图5所示。
在实际应用中，该视频处理设备可以展示一个输入界面以使用户输入该长方体形状的超市的实际的长、宽、高的数值。该视频处理设备将该实际的长、宽、高的数值等比例缩小至与该5个视角纹理图相匹配，具体的，假设所述鱼眼半球图的R为0.1m，该长方体形状的超市的实际的长、宽、高的数值分别为5m，4m，3m，则将该实际的长、宽、高的数值除以长、宽、高中最大的数值5，再乘以鱼眼半球图的R 0.1，得到等比例缩小后的长、宽、高对应的数值分别为0.1m、0.08m、0.06m。
按照上述确定的数值，绘制所述预设的居室内部的四个墙壁所在的面和地板所在的面，并确定每个面对应的坐标。根据所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图的视景体参数，确定每个视角纹理图对应的绘制出的面，将每个视角纹理图的坐标调整到与该视角纹理图对应的面的坐标相对应的位置。本领域技术人员可以理解的是，将一张视角纹理图渲染到一个面上为现有技术，在此不作赘述。生成的该鱼眼视频图像对应的全景视频图像如图6所示，与该长方体超市的实际效果一致。
将获取的鱼眼视频的每一帧鱼眼视频图像，都应用上述方法进行处理，进而得到了该鱼眼视频对应的室内全景视频。
应用本申请图1所示实施例，针对每一帧鱼眼视频图像，将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标，获得基于球坐标系的鱼眼半球图；根据预设的居室的形状，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数，根据所述N个视角纹理图中每个视角纹理图的视景体参数，获得所述鱼眼半球图对应的N个视角纹理图，将所述N个视角纹理图渲染到所述预设的居室内部的N个面上，生成所述鱼眼视频图像对应的全景视频图像。由此可见，本申请实施例能够将对每一帧鱼眼视频渲染到预设居室内部的N个面上，生成了呈现出立体效果的全景视频图像。由于本申请实施例不使用复杂的图像拼接算法，因此提高了生成全景视频的实时性。另外，本申请实施例不需要将多个摄像头拍摄的多个视频图像进行拼接，也不需用航拍器进行拍摄，拍摄设备成本低。
在实际应用中，当预设的居室为带拐角的居室时，也可以利用上述方法，生成针对该带拐角的居室的室内全景视频。
假设预设的居室带一个拐角，则N为7。针对每一帧鱼眼视频图像，将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标，获得基于球坐标系的鱼眼半球图；确定所述鱼眼半球图对应的7个视角纹理图的视景体参数，并获得所述鱼眼半球图对应的7个视角纹理图。将所述7个视角纹理图渲染到所述预设的居室内部的7个面上，生成该带拐角的居室的全景视频图像如图7所示。
在实际应用中，当一个楼层中包括多个长方体形状的居室时，可以利用上述方法，生成针对每个长方体形状的居室的室内全景视频图像。将生成的多个室内全景视频图像按照长方体形状的居室的实际位置进行展现，效果如图8所示。
与上述的方法实施例相对应，本申请实施例还提供一种室内全景视频生成装置。
图9为本申请实施例提供的一种室内全景视频生成装置的结构示意图，包括：
获取模块901，用于获取鱼眼视频；
在实际应用中，获取模块901，具体可以用于接收设置在居室顶棚中心位置的一个鱼眼摄像头发送的鱼眼视频。
转换模块902，用于针对每一帧鱼眼视频图像，按照第一预设规则，将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标，获得基于球坐标系的鱼眼半球图；
在实际应用中，转换模块902，具体可以用于按照下式，将所述鱼眼视频图像的每个像素点在图像坐标系的坐标(u，v)转换为球坐标系的坐标(x，y，z)，获得基于球坐标系的鱼眼半球图：
u-0.5＝x＝R*cos(α)*cos(θ)
v-0.5＝y＝R*cos(α)*sin(θ)
z＝R*sin(α)
其中，R为所述鱼眼半球图中半球的半径，α为所述鱼眼半球图中的点与Y轴的夹角，θ为所述鱼眼半球图中的点与X轴的夹角。
确定模块903，用于根据预设的居室的形状，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数，其中，所述预设的居室的形状根据所述鱼眼视频图像对应的场景设定；
在实际应用中，确定模块903，可以包括：构建子模块和确定子模块(图中未示出)，其中，
构建子模块，用于当所述预设的居室为长方体形状居室时，构建所述鱼眼半球图对应的球体的内接长方体，所述内接长方体的长、宽、高之比与所述长方体形状居室的长、宽、高之比相同；
确定子模块，用于根据所述内接长方体，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数。本申请实施例中N为正整数。
具体的，所述视景体参数包括视景体的角度参数和视口参数；所述确定子模块，可以包括：角度参数确定子模块和视口参数确定子模块(图中未示出)，其中，
角度参数确定子模块，用于根据所述内接长方体的平面之间的角度确定每个视角纹理图的视景体的角度参数，其中，所述角度参数包括方位角参数和仰角参数；
视口参数确定子模块，用于根据所述内接长方体的棱长确定每个视角纹理图的视景体的视口参数，其中，所述视口参数包括左、右、下、上、前和后边界参数。
获得模块904，用于根据所述N个视角纹理图中每个视角纹理图的视景体参数，获得所述鱼眼半球图对应的N个视角纹理图；
在实际应用中，获得模块904，具体可以用于：
当所述预设的居室为长方体形状居室时，根据所述N个视角纹理图中每个视角纹理图的视景体参数，获得所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图。
生成模块905，用于将所述N个视角纹理图渲染到所述预设的居室内部的N个面上，生成所述鱼眼视频图像对应的全景视频图像。
在实际应用中，生成模块905，可以包括：居室绘制子模块和全景视频图像生成子模块(图中未示出)，其中，
居室绘制子模块，用于绘制所述预设的居室内部的四个墙壁所在的面和地板所在的面，并确定每个面对应的坐标；
全景视频图像生成子模块，用于根据所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图的视景体参数，将所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图的坐标调整到与所述四个墙壁所在的面和地板所在的面对应的坐标相对应的位置，生成所述鱼眼视频图像对应的全景视频图像。
应用本申请图9所示实施例，针对每一帧鱼眼视频图像，将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标，获得基于球坐标系的鱼眼半球图；根据预设的居室的形状，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数，根据所述N个视角纹理 图中每个视角纹理图的视景体参数，获得所述鱼眼半球图对应的N个视角纹理图，将所述N个视角纹理图渲染到所述预设的居室内部的N个面上，生成所述鱼眼视频图像对应的全景视频图像。由此可见，本申请实施例能够将对每一帧鱼眼视频渲染到预设居室内部的N个面上，生成了呈现出立体效果的全景视频图像。由于本申请实施例不使用复杂的图像拼接算法，因此提高了生成全景视频的实时性。另外，本申请实施例不需要将多个摄像头拍摄的多个视频图像进行拼接，也不需用航拍器进行拍摄，拍摄设备成本低。
基于与上述方法相同的设计思路，本申请实施例还提供了一种摄像装置，如图10所示，包括鱼眼摄像头1001和处理器1002，鱼眼摄像头1001用于拍摄预设的居室的鱼眼视频，并将所述鱼眼视频发送给处理器1002，处理器1002用于执行所述室内全景视频生成方法，方法包括：
获取鱼眼视频；
针对每一帧鱼眼视频图像，按照第一预设规则，将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标，获得基于球坐标系的鱼眼半球图；
根据预设的居室的形状，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数，其中，所述预设的居室的形状根据所述鱼眼视频图像对应的场景设定；
根据所述N个视角纹理图中每个视角纹理图的视景体参数，获得所述鱼眼半球图对应的N个视角纹理图，将所述N个视角纹理图渲染到所述预设的居室内部的N个面上，生成所述鱼眼视频图像对应的全景视频图像。
应用本申请图10所示实施例，能够将对每一帧鱼眼视频渲染到预设居室内部的N个面上，生成了呈现出立体效果的全景视频图像。由于本申请实施例不使用复杂的图像拼接算法，因此提高了生成全景视频的实时性。另外，本申请实施例不需要将多个摄像头拍摄的多个视频图像进行拼接，也不需用航拍器进行拍摄，拍摄设备成本低。
基于与上述方法相同的设计思路，本申请实施例还提供了一种可执行程序代码，所述可执行程序代码用于被运行以执行所述室内全景视频生成方法， 方法包括：
获取鱼眼视频；
针对每一帧鱼眼视频图像，按照第一预设规则，将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标，获得基于球坐标系的鱼眼半球图；
根据预设的居室的形状，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数，其中，所述预设的居室的形状根据所述鱼眼视频图像对应的场景设定；
根据所述N个视角纹理图中每个视角纹理图的视景体参数，获得所述鱼眼半球图对应的N个视角纹理图，将所述N个视角纹理图渲染到所述预设的居室内部的N个面上，生成所述鱼眼视频图像对应的全景视频图像。
应用本申请所示实施例，能够将对每一帧鱼眼视频渲染到预设居室内部的N个面上，生成了呈现出立体效果的全景视频图像。由于本申请实施例不使用复杂的图像拼接算法，因此提高了生成全景视频的实时性。另外，本申请实施例不需要将多个摄像头拍摄的多个视频图像进行拼接，也不需用航拍器进行拍摄，拍摄设备成本低。
基于与上述方法相同的设计思路，本申请实施例还提供了一种存储介质，所述存储介质用于存储可执行程序代码，所述可执行程序代码用于被运行以执行所述室内全景视频生成方法，方法包括：
获取鱼眼视频；针对每一帧鱼眼视频图像，按照第一预设规则，将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标，获得基于球坐标系的鱼眼半球图；
根据预设的居室的形状，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数，其中，所述预设的居室的形状根据所述鱼眼视频图像对应的场景设定；
根据所述N个视角纹理图中每个视角纹理图的视景体参数，获得所述鱼眼半球图对应的N个视角纹理图，将所述N个视角纹理图渲染到所述预设的 居室内部的N个面上，生成所述鱼眼视频图像对应的全景视频图像。
上述存储介质可以但不限于是DVR(硬盘录像机，Digital Video Record)，NVR(网络硬盘录像机，Network Video Recorder)，摄像机的存储器等等。
应用本申请所示实施例，能够将对每一帧鱼眼视频渲染到预设居室内部的N个面上，生成了呈现出立体效果的全景视频图像。由于本申请实施例不使用复杂的图像拼接算法，因此提高了生成全景视频的实时性。另外，本申请实施例不需要将多个摄像头拍摄的多个视频图像进行拼接，也不需用航拍器进行拍摄，拍摄设备成本低。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (17)

  1. 一种室内全景视频生成方法，其特征在于，应用于视频处理设备，包括：
    获取鱼眼视频；
    针对每一帧鱼眼视频图像，按照第一预设规则，将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标，获得基于球坐标系的鱼眼半球图；
    根据预设的居室的形状，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数，其中，所述预设的居室的形状根据所述鱼眼视频图像对应的场景设定；
    根据所述N个视角纹理图中每个视角纹理图的视景体参数，获得所述鱼眼半球图对应的N个视角纹理图，将所述N个视角纹理图渲染到所述预设的居室内部的N个面上，生成所述鱼眼视频图像对应的全景视频图像。
  2. 根据权利要求1所述的方法，其特征在于，所述按照第一预设规则，将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标，获得基于球坐标系的鱼眼半球图，包括：
    按照下式，将所述鱼眼视频图像的每个像素点在图像坐标系的坐标(u，v)转换为球坐标系的坐标(x，y，z)，获得基于球坐标系的鱼眼半球图：
    u-0.5＝x＝R*cos(α)*cos(θ)
    v-0.5＝y＝R*cos(α)*sin(θ)
    z＝R*sin(α)
    其中，R为所述鱼眼半球图中半球的半径，α为所述鱼眼半球图中的点与Y轴的夹角，θ为所述鱼眼半球图中的点与X轴的夹角。
  3. 根据权利要求1所述的方法，其特征在于，当所述预设的居室为长方体形状居室时，所述根据预设的居室的形状，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数，包括：
    构建所述鱼眼半球图对应的球体的内接长方体，所述内接长方体的长、宽、高之比与所述长方体形状居室的长、宽、高之比相同；
    根据所述内接长方体，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数。
  4. 根据权利要求3所述的方法，其特征在于，所述视景体参数包括视景体的角度参数和视口参数；
    所述根据所述内接长方体，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数，包括：
    根据所述内接长方体的平面之间的角度确定每个视角纹理图的视景体的角度参数，其中，所述角度参数包括方位角参数和仰角参数；
    根据所述内接长方体的棱长确定每个视角纹理图的视景体的视口参数，其中，其中，所述视口参数包括左、右、下、上、前和后边界参数。
  5. 根据权利要求1所述的方法，其特征在于，当所述预设的居室为长方体形状居室时，所述获得所述鱼眼半球图对应的N个视角纹理图，包括：
    获得所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图。
  6. 根据权利要求5所述的方法，其特征在于，所述将所述N个视角纹理图渲染到所述预设的居室内部的N个面上，包括：
    绘制所述预设的居室内部的四个墙壁所在的面和地板所在的面，并确定每个面对应的坐标；
    根据所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图的视景体参数，将所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图的坐标调整到与所述四个墙壁所在的面和地板所在的面对应的坐标相对应的位置。
  7. 根据权利要求1-6任意一项所述的方法，其特征在于，所述获取鱼眼视频，包括：
    接收设置在居室顶棚中心位置的一个鱼眼摄像头发送的鱼眼视频。
  8. 一种室内全景视频生成装置，其特征在于，应用于视频处理设备，包括：
    获取模块，用于获取鱼眼视频；
    转换模块，用于针对每一帧鱼眼视频图像，按照第一预设规则，将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标，获得基于球坐标系的鱼眼半球图；
    确定模块，用于根据预设的居室的形状，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数，其中，所述预设的居室的形状根据所述鱼眼视频图像对应的场景设定；
    获得模块，用于根据所述N个视角纹理图中每个视角纹理图的视景体参数，获得所述鱼眼半球图对应的N个视角纹理图；
    生成模块，用于将所述N个视角纹理图渲染到所述预设的居室内部的N个面上，生成所述鱼眼视频图像对应的全景视频图像。
  9. 根据权利要求8所述的装置，其特征在于，所述转换模块，具体用于：
    按照下式，将所述鱼眼视频图像的每个像素点在图像坐标系的坐标(u，v)转换为球坐标系的坐标(x，y，z)，获得基于球坐标系的鱼眼半球图：
    u-0.5＝x＝R*cos(α)*cos(θ)
    v-0.5＝y＝R*cos(α)*sin(θ)
    z＝R*sin(α)
    其中，R为所述鱼眼半球图中半球的半径，α为所述鱼眼半球图中的点与Y轴的夹角，θ为所述鱼眼半球图中的点与X轴的夹角。
  10. 根据权利要求8所述的装置，其特征在于，所述确定模块，包括：
    构建子模块，用于当所述预设的居室为长方体形状居室时，构建所述鱼眼半球图对应的球体的内接长方体，所述内接长方体的长、宽、高之比与所述长方体形状居室的长、宽、高之比相同；
    确定子模块，用于根据所述内接长方体，确定所述鱼眼半球图对应的N个 视角纹理图中每个视角纹理图的视景体参数。
  11. 根据权利要求10所述的装置，其特征在于，所述视景体参数包括视景体的角度参数和视口参数；所述确定子模块，包括：
    角度参数确定子模块，用于根据所述内接长方体的平面之间的角度确定每个视角纹理图的视景体的角度参数，其中，所述角度参数包括方位角参数和仰角参数；
    视口参数确定子模块，用于根据所述内接长方体的棱长确定每个视角纹理图的视景体的视口参数，其中，所述视口参数包括左、右、下、上、前和后边界参数。
  12. 根据权利要求8所述的装置，其特征在于，所述获得模块，具体用于：
    当所述预设的居室为长方体形状居室时，根据所述N个视角纹理图中每个视角纹理图的视景体参数，获得所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图。
  13. 根据权利要求12所述的装置，其特征在于，所述生成模块，包括：
    居室绘制子模块，用于绘制所述预设的居室内部的四个墙壁所在的面和地板所在的面，并确定每个面对应的坐标；
    全景视频图像生成子模块，用于根据所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图的视景体参数，将所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图的坐标调整到与所述四个墙壁所在的面和地板所在的面对应的坐标相对应的位置，生成所述鱼眼视频图像对应的全景视频图像。
  14. 根据权利要求8-13任意一项所述的装置，其特征在于，所述获取模块，具体用于：
    接收设置在居室顶棚中心位置的一个鱼眼摄像头发送的鱼眼视频。
  15. 一种摄像装置，其特征在于，包括鱼眼摄像头和处理器，所述鱼眼摄像头用于拍摄预设的居室的鱼眼视频，并将所述鱼眼视频发送给处理器，所述处理器用于执行权利要求1-6任一项所述的室内全景视频生成方法。
  16. 一种可执行程序代码，其特征在于，所述可执行程序代码用于被运行以执行权利要求1-7任一项所述的室内全景视频生成方法。
  17. 一种存储介质，其特征在于，所述存储介质用于存储可执行程序代码，所述可执行程序代码用于被运行以执行权利要求1-7任一项所述的室内全景视频生成方法。
PCT/CN2016/109600 2016-04-28 2016-12-13 一种室内全景视频生成方法及装置 WO2017185765A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/096,931 US10827117B2 (en) 2016-04-28 2016-12-13 Method and apparatus for generating indoor panoramic video
EP16900270.6A EP3451649B1 (en) 2016-04-28 2016-12-13 Method and apparatus for generating indoor panoramic video

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610280032.0A CN107333051B (zh) 2016-04-28 2016-04-28 一种室内全景视频生成方法及装置
CN201610280032.0 2016-04-28

Publications (1)

Publication Number Publication Date
WO2017185765A1 true WO2017185765A1 (zh) 2017-11-02

Family

ID=60160645

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/109600 WO2017185765A1 (zh) 2016-04-28 2016-12-13 一种室内全景视频生成方法及装置

Country Status (4)

Country Link
US (1) US10827117B2 (zh)
EP (1) EP3451649B1 (zh)
CN (1) CN107333051B (zh)
WO (1) WO2017185765A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110874817B (zh) * 2018-08-29 2022-02-01 上海商汤智能科技有限公司 图像拼接方法和装置、车载图像处理装置、设备、介质
WO2020071632A1 (ko) * 2018-10-02 2020-04-09 엘지전자 주식회사 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
CN111105485B (zh) * 2018-10-09 2024-02-27 杭州海康威视数字技术股份有限公司 一种线条渲染方法、装置
CN109714556A (zh) * 2018-12-10 2019-05-03 珠海研果科技有限公司 一种单目全景缩时录像方法及装置
CN112862895B (zh) * 2019-11-27 2023-10-10 杭州海康威视数字技术股份有限公司 一种鱼眼摄像头标定方法、装置及系统
US11899124B2 (en) * 2020-04-17 2024-02-13 Raytheon Company Interface for realtime, 3D radar activity visualization
CN116883231B (zh) * 2023-09-07 2024-02-02 深圳魔视智能科技有限公司 鱼眼相机的图像数据生成方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090041379A1 (en) * 2007-08-06 2009-02-12 Kuang-Yen Shih Method for providing output image in either cylindrical mode or perspective mode
CN101938599A (zh) * 2009-06-30 2011-01-05 爱国者全景(北京)网络科技发展有限公司 生成互动的动态全景影像的方法
CN102222337A (zh) * 2011-06-14 2011-10-19 重庆大学 用于图像拼接的鱼眼图像校正方法
CN103065318A (zh) * 2012-12-30 2013-04-24 深圳普捷利科技有限公司 多摄像机全景系统的曲面投影方法及装置
CN103617606A (zh) * 2013-11-26 2014-03-05 中科院微电子研究所昆山分所 用于辅助驾驶的车辆多视角全景生成方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7176960B1 (en) * 1999-09-20 2007-02-13 The Trustees Of Columbia University In The City Of New York System and methods for generating spherical mosaic images
US20040196282A1 (en) * 2003-02-14 2004-10-07 Oh Byong Mok Modeling and editing image panoramas
US9317108B2 (en) * 2004-11-02 2016-04-19 Pierre A. Touma Hand-held wireless electronic device with accelerometer for interacting with a display
US8525871B2 (en) * 2008-08-08 2013-09-03 Adobe Systems Incorporated Content-aware wide-angle images
JP5464955B2 (ja) * 2009-09-29 2014-04-09 株式会社ソニー・コンピュータエンタテインメント パノラマ画像表示装置
US8675013B1 (en) * 2011-06-16 2014-03-18 Google Inc. Rendering spherical space primitives in a cartesian coordinate system
CN104363421B (zh) * 2014-11-04 2017-11-14 福建星网视易信息系统有限公司 实现多角度摄像头监控效果的方法和装置
US10044932B2 (en) * 2015-03-13 2018-08-07 Sensormatic Electronics, LLC Wide angle fisheye security camera having offset lens and image sensor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090041379A1 (en) * 2007-08-06 2009-02-12 Kuang-Yen Shih Method for providing output image in either cylindrical mode or perspective mode
CN101938599A (zh) * 2009-06-30 2011-01-05 爱国者全景(北京)网络科技发展有限公司 生成互动的动态全景影像的方法
CN102222337A (zh) * 2011-06-14 2011-10-19 重庆大学 用于图像拼接的鱼眼图像校正方法
CN103065318A (zh) * 2012-12-30 2013-04-24 深圳普捷利科技有限公司 多摄像机全景系统的曲面投影方法及装置
CN103617606A (zh) * 2013-11-26 2014-03-05 中科院微电子研究所昆山分所 用于辅助驾驶的车辆多视角全景生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3451649A4 *

Also Published As

Publication number Publication date
US20190124260A1 (en) 2019-04-25
CN107333051A (zh) 2017-11-07
EP3451649A4 (en) 2019-07-31
EP3451649A1 (en) 2019-03-06
CN107333051B (zh) 2019-06-21
US10827117B2 (en) 2020-11-03
EP3451649B1 (en) 2022-06-29

Similar Documents

Publication Publication Date Title
WO2017185765A1 (zh) 一种室内全景视频生成方法及装置
CN103905792B (zh) 一种基于ptz监控摄像机的3d定位方法及装置
CN107113376B (zh) 一种图像处理方法、装置及摄像机
US20120242782A1 (en) Image capture device and image processing method
KR101521008B1 (ko) 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템
EP2993894B1 (en) Image capturing method and electronic apparatus
CN112399033B (zh) 摄像机组件和监控摄像机
WO2018103233A1 (zh) 基于虚拟现实技术的观景方法、装置及系统
TWI587241B (zh) Method, device and system for generating two - dimensional floor plan
CN103824303A (zh) 基于被摄物的位置、方向调整图像透视畸变的方法和装置
CN105809729A (zh) 一种虚拟场景的球形全景渲染方法
KR101916419B1 (ko) 광각 카메라용 다중 뷰 영상 생성 장치 및 영상 생성 방법
TWI696147B (zh) 全景圖形成方法及系統
CN104539893B (zh) 实现虚拟云台监控效果的方法、装置及系统
TW201824178A (zh) 全景即時影像處理方法
CN108450031A (zh) 图像捕获装置
CN104363421B (zh) 实现多角度摄像头监控效果的方法和装置
JP2018033107A (ja) 動画の配信装置及び配信方法
JP6677980B2 (ja) パノラマビデオデータの処理装置、処理方法及び処理プログラム
US10089726B2 (en) Image processing apparatus, image processing method, and storage medium, relating to generating an image corresponding to a predetermined three-dimensional shape by transforming a captured image
WO2017092261A1 (zh) 一种摄像头模组、移动终端及其拍摄图像的方法和装置
JP2010067172A (ja) 撮像画像の変換方法
TWI683280B (zh) 立體環景影片產生方法及裝置
CN113674356B (zh) 相机筛选方法及相关装置
KR101237975B1 (ko) 영상 처리 장치

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016900270

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016900270

Country of ref document: EP

Effective date: 20181128

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16900270

Country of ref document: EP

Kind code of ref document: A1