WO2017206198A1 - 一种全景摄像装置以及全景图片生成方法 - Google Patents

一种全景摄像装置以及全景图片生成方法 Download PDF

Info

Publication number
WO2017206198A1
WO2017206198A1 PCT/CN2016/085379 CN2016085379W WO2017206198A1 WO 2017206198 A1 WO2017206198 A1 WO 2017206198A1 CN 2016085379 W CN2016085379 W CN 2016085379W WO 2017206198 A1 WO2017206198 A1 WO 2017206198A1
Authority
WO
WIPO (PCT)
Prior art keywords
panoramic
picture data
spherical
generate
plane
Prior art date
Application number
PCT/CN2016/085379
Other languages
English (en)
French (fr)
Inventor
石伟琨
Original Assignee
深圳易贝创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳易贝创新科技有限公司 filed Critical 深圳易贝创新科技有限公司
Publication of WO2017206198A1 publication Critical patent/WO2017206198A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Definitions

  • the present invention relates to the field of panoramic picture processing, and in particular, to a panoramic imaging apparatus and a panoramic picture generating method.
  • the specific video call can only be limited to a single picture, can not achieve real-time panoramic video call, that is, can not make the user can observe the other side in real time during the video call Environment in all directions.
  • the present invention provides a panoramic camera device and a panoramic picture generating method, which solves the problems in the prior art, ensures the processing of the panoramic picture, and satisfies the needs of the user's panoramic imaging.
  • the present invention proposes the following specific embodiments:
  • the embodiment of the invention provides a panoramic imaging device, comprising: a plurality of imaging devices and a processor; wherein
  • Each of the image capturing apparatuses is configured to perform shooting of a panoramic image, and generate original image data of each of the image capturing modules;
  • the processor acquires original picture data of each camera module, performs deduplication processing on the original picture data to generate corresponding deduplication picture data, and performs splicing processing on the de-duplication picture data to generate a spherical surface.
  • a panoramic picture which converts a spherical panoramic picture to generate a panoramic view of the plane.
  • the processor performs de-duplication processing on the original picture data to generate corresponding de-duplication picture data, which specifically includes:
  • the overlapping spatial coverage is determined by comparing the spatial coverage information corresponding to each of the original picture data;
  • the processor is further configured to transmit the generated panorama of the plane to the client for display.
  • the processor performs a conversion process on the spherical panoramic image to generate a panoramic view of the plane, which specifically includes:
  • Spherical coordinates are converted by spherical plane coordinate conversion method to generate plane coordinates
  • a panoramic view of the plane is generated based on the plane coordinates of each pixel after the conversion.
  • the spherical plane coordinate conversion method specifically includes:
  • the warp and weft mapping method, and/or the spherical coordinate positioning method, and/or the Mercator projection method, and/or the Gaussian projection algorithm are used.
  • the embodiment of the invention further provides a method for generating a panoramic picture, comprising:
  • each original picture data corresponds to a part of the panorama
  • the panoramic picture of the spherical surface is converted to generate a panoramic panoramic picture.
  • the performing de-duplication processing on the original picture data to generate corresponding de-duplication picture data includes:
  • the overlapping spatial coverage is determined by comparing the spatial coverage information corresponding to each of the original picture data;
  • the method further includes:
  • the generated panorama of the plane is transmitted to the client for display.
  • the converting the panoramic image of the spherical surface to generate a panoramic image of the plane includes:
  • Spherical coordinates are converted by spherical plane coordinate conversion method to generate plane coordinates
  • a panoramic view of the plane is generated based on the plane coordinates of each pixel after the conversion.
  • the spherical plane coordinate conversion method specifically includes:
  • the warp and weft mapping method, and/or the spherical coordinate positioning method, and/or the Mercator projection method, and/or the Gaussian projection algorithm are used.
  • the embodiment of the present invention provides a panoramic camera and a panoramic image generating method, wherein the panoramic camera includes a plurality of imaging devices and a processor; and each of the imaging devices is configured to perform panoramic photography.
  • Generating original picture data; the processor performs deduplication processing on the original picture data to generate deduplication picture data, and performs splicing processing on the deduplication picture data to generate a spherical panoramic picture.
  • original image data covering various ranges in the full range is acquired by a plurality of imaging devices, and the original image data acquired by each camera device is subjected to deduplication processing by the processor, and panoramic stitching processing is performed to generate a spherical panoramic view.
  • the spherical panoramic picture in order to display to the user, and in order to successfully complete the data transmission and subsequent possible encoding and decoding, the spherical panoramic picture is also converted into a flat panoramic picture; the processing of the panoramic picture is ensured, and the user's panoramic imaging is satisfied. .
  • FIG. 1 is a schematic structural diagram of a panoramic imaging device according to an embodiment of the present invention.
  • FIGS. 2a and 2b are respectively a plan view and an internal structure diagram of a panoramic imaging device in a specific application scenario according to an embodiment of the present invention
  • FIG. 3 is a schematic flowchart diagram of a method for generating a panoramic picture according to an embodiment of the present invention.
  • the embodiment of the present invention discloses a panoramic camera and a method for generating a panoramic image, which solves the problems in the prior art, ensures the processing of the panoramic image, and satisfies the needs of the panoramic imaging of the user.
  • the present invention proposes the following specific embodiments:
  • Embodiment 1 of the present invention discloses a panoramic imaging device, as shown in FIG. 1 , including: a plurality of imaging devices 1 and a processor 2;
  • Each of the image capturing apparatuses 1 is configured to perform shooting of a panoramic image, and generate original image data of each of the image capturing modules;
  • the processor 2 acquires original picture data of each camera module, performs deduplication processing on the original picture data to generate corresponding deduplication picture data, and performs splicing processing on the de-duplication picture data to generate a spherical surface.
  • the panoramic picture transforms the spherical panoramic picture to generate a panoramic view of the plane.
  • the panoramic camera may be as shown in FIG. 2a and 2b.
  • a fixing component 3 for fixing and supporting.
  • the imaging device 1 and the processor 2, and specifically, the fixing component 3 specifically includes a camera lens 31 for protecting the imaging device 1 and the imaging device 1 normal work.
  • the camera lens can be selected from a transparent material having a certain strength.
  • a resin that is, a main material of the current spectacle lens
  • a transparent tempered glass can be selected, and the specific one can be flexibly based on actual conditions and needs. Select.
  • the fixing member 3 further includes a battery 32, a battery cover 33, and a camera holder 34, wherein the battery 32 is used to supply power to other components or modules, and the battery cover 33 is used to fix the battery 32 inside the fixed member 3, and the camera
  • the bracket 34 is used to fix and support the image pickup apparatus 1 to ensure the stability of the image pickup apparatus 1 during use.
  • the camera device 1 may specifically be a wide-angle camera.
  • the utility model can effectively reduce the number of cameras required, reduce the complexity of the panoramic camera, and make maintenance simple, so that the workload of subsequent processing is effectively reduced, so that the panoramic video image data can be quickly obtained to meet the real-time panoramic photography needs of the user. To improve the user experience.
  • the number of the image pickup apparatuses 1 is specifically five. Specifically, one of the image pickup apparatuses 1 is fixed to the top end of the fixing portion 3, and the other image pickup apparatuses 1 are uniformly fixed to the side surface of the fixing member 3 at an angle of 10° with respect to the horizontal direction.
  • the specific angle can be flexibly selected based on actual conditions. For example, the angle can be set to 15°, 12°, and the like as needed.
  • the processor 2 performs de-duplication processing on the original picture data to generate corresponding de-duplication picture data, and specifically includes:
  • the overlapping spatial coverage is determined by comparing the spatial coverage information corresponding to each of the original picture data;
  • the first original image data includes the range A and the range B
  • the second original image data includes With range C and range A
  • the range A is repeated, and de-duplication processing is required, that is, in all the original picture data, a range A is included. Yes, to facilitate subsequent panoramic stitching processing, while reducing the amount of extra data.
  • the de-duplication processing is still described by the above example, and the range A in the original picture data 1 and the range A in the original picture data 2 may be deleted one by one; or they may be combined to achieve Better picture effect in range A.
  • the spherical coordinate data After the spherical panoramic image is generated, in order to smoothly perform data transmission and encoding and decoding, the spherical coordinate data must be converted into planar coordinate data, so the processor 2 also needs to convert and convert the generated spherical panoramic image.
  • the processor 2 performs a conversion process on the spherical panoramic image to generate a panoramic view of the plane, which specifically includes:
  • Spherical coordinates are converted by spherical plane coordinate conversion method to generate plane coordinates
  • a panoramic view of the plane is generated based on the plane coordinates of each pixel after the conversion.
  • the spherical plane coordinate conversion method specifically includes:
  • the warp and weft mapping method, and/or the spherical coordinate positioning method, and/or the Mercator projection method, and/or the Gaussian projection algorithm are used.
  • the conversion of the spherical surface and the plane coordinate can be realized by any combination of one or more of the warp and weft mapping method, the spherical coordinate positioning method, the Mercator projection method, and the Gaussian projection algorithm according to actual conditions and needs.
  • the processor 2 is further configured to transmit the generated panorama of the plane to the client for display.
  • Embodiment 1 of the present invention discloses a panoramic imaging device, wherein the panoramic camera includes a plurality of imaging devices and a processor; each of the imaging devices is configured to perform coverage of a panoramic image to generate original image data.
  • the processor performs deduplication processing on the original picture data to generate deduplication picture data, and performs splicing processing on the deduplication picture data to generate a spherical panoramic picture.
  • original image data covering various ranges in the full range is acquired by a plurality of imaging devices, and the original image data acquired by each camera device is subjected to deduplication processing by the processor, and panoramic stitching processing is performed to generate a spherical surface.
  • Panoramic picture in order to display to the user, and in order to successfully complete the data transmission and subsequent possible encoding and decoding, the spherical panoramic picture is also converted into a flat panoramic picture; the processing of the panoramic picture is ensured, and the panoramic imaging of the user is satisfied. need.
  • Embodiment 2 of the present invention discloses a method for generating a panoramic picture, as shown in FIG. 3, including the following steps:
  • Step 101 Acquire a plurality of original picture data; wherein each original picture data respectively corresponds to a part of the panorama;
  • the original picture data may be directly obtained from each camera, or may be obtained from image data stored in a database, where each original picture data corresponds to a part of the panorama, that is, a picture corresponding to each original picture data. It can be integrated into a complete panorama, with overlapping ranges, but there are no missing parts.
  • Step 102 Perform deduplication processing on each original picture data to generate corresponding deduplication picture data.
  • de-duplication processing is performed on the original picture data to generate de-duplication picture data, which specifically includes:
  • the overlapping spatial coverage is determined by comparing the spatial coverage information corresponding to each of the original picture data;
  • Deduplication processing is performed on the corresponding overlapping spatial coverage portion of each of the original picture data to generate deduplicated picture data.
  • step 103 is performed to perform panoramic stitching on the de-duplicated picture.
  • Step 103 Perform splicing processing on each of the deduplicated picture data to generate a spherical panoramic picture.
  • step 103 the panoramic stitching is performed, and a spherical panoramic picture is generated, which is convenient for the user to view later (the general user's screen is flat), and for data transmission.
  • Step 104 Perform a conversion process on the spherical panoramic image to generate a panoramic view of the plane.
  • the process of converting the spherical panoramic image to generate a planar panoramic image includes:
  • Spherical coordinates are converted by spherical plane coordinate conversion method to generate plane coordinates
  • a panoramic view of the plane is generated based on the plane coordinates of each pixel after the conversion.
  • the warp and weft mapping method, and/or the spherical coordinate positioning method, and/or the Mercator projection method, and/or the Gaussian projection algorithm are used.
  • the method may further include: transmitting the generated panorama of the plane to the client for display.
  • the embodiment of the present invention provides a panoramic camera and a panoramic image generating method, wherein the panoramic camera includes a plurality of imaging devices and a processor; and each of the imaging devices is configured to perform panoramic photography.
  • Generating original picture data; the processor performs deduplication processing on the original picture data to generate deduplication picture data, and performs splicing processing on the deduplication picture data to generate a spherical panoramic picture.
  • original image data covering various ranges in the full range is acquired by a plurality of imaging devices, and the original image data acquired by each camera device is subjected to deduplication processing by the processor, and panoramic stitching processing is performed to generate a spherical panoramic view.
  • the spherical panoramic picture is also converted into a planar panoramic picture; the processing of the panoramic picture is ensured, and the user's panoramic imaging is satisfied. .
  • modules in the apparatus in the implementation scenario may be distributed in the apparatus for implementing the scenario according to the implementation scenario description, or may be correspondingly changed in one or more devices different from the implementation scenario.
  • the modules of the above implementation scenarios may be combined into one module, or may be further split into multiple sub-modules.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

一种全景摄像装置以及全景图片生成方法，其中，该全景摄像装置包括多个摄像装置（1）以及处理器（2）；各所述摄像装置（1）用于进行覆盖全景的拍摄，生成原始图片数据；所述处理器（2）对所述原始图片数据进行去重处理生成去重图片数据，以及对所述去重图片数据进行拼接处理，生成球面的全景图片。以此通过多个摄像装置（1）获取到覆盖全范围内的各个范围的原始图片数据，并由处理器（2）对各摄像装置（1）获取到的原始图片数据进行去重处理，以及进行全景拼接处理，生成球面的全景图片；而为了展示给用户，且为了顺利完成数据传输以及后续可能的编码与解码，还将球面的全景图片转换为平面的全景图片；保证了全景图片的处理，满足了用户的全景摄像的需要。

Description

一种全景摄像装置以及全景图片生成方法 技术领域
本发明涉及全景图片处理领域，特别涉及一种全景摄像装置以及全景图片生成方法。
背景技术
目前，随着社会的进步，以及摄影技术的发展，在日常生活中摄影的应用也越来越广泛，而随着人们生活品质的提高，对于摄影的要求也越来越高。
具体的，比如，当人们在进行极限运动时，迫切需求能拍摄下全景画面，以分享给自己的亲朋好友，或留作纪念。又比如，目前的应用很广泛的视频通话，其具体的视频通话也只能局限于单一的画面，无法实现实时全景的视频通话，也即无法使得用户在进行视频通话时能够实时观察到对方周围各个方向的环境。
但目前来看，并没有一种设备能很好地满足人们的全景摄像的需要，也没有相关的技术来保证全景图片的处理。因此现在亟待一种能实现全景图片处理的方法与设备。
发明内容
针对现有技术中的缺陷，本发明提出了一种全景摄像装置以及全景图片生成方法，解决了现有技术中的问题，保证了全景图片的处理，满足了用户的全景摄像的需要。
具体的，本发明提出了以下具体的实施例：
本发明实施例提出了一种全景摄像装置，包括：多个摄像装置以及处理器；其中，
各所述摄像装置用于进行覆盖全景的拍摄，生成各所述摄像模块的原始图片数据；
所述处理器获取各所述摄像模块的原始图片数据，对所述各原始图片数据进行去重处理生成相应的去重图片数据，以及对所述各去重图片数据进行拼接处理，生成球面的全景图片，对球面的全景图片进行转换处理生成平面的全景图。
优选的，所述处理器对所述各原始图片数据进行去重处理生成相应的去重图片数据，具体包括：
确定各所述原始图片数据的时间信息以及对应的空间覆盖范围信息；
针对同一时间信息的各原始图片数据，通过比对各所述原始图片数据对应的空间覆盖范围信息，确定重叠的空间覆盖范围；
对各所述原始图片数据中的对应重叠的空间覆盖范围部分进行去重处理，生成相应的去重图片数据。
优选的，所述处理器还用于将所生成的平面的全景图传输给客户端进行显示。
优选的，所述处理器对球面的全景图片进行转换处理，生成平面的全景图，具体包括：
获取球面的全景图；
确定球面的全景图中各个像素点的球面坐标；
采用球面平面坐标转换法对球面坐标进行转换，生成平面坐标；
基于转换后的各像素点的平面坐标生成平面的全景图。
优选的，所述球面平面坐标转换法，具体包括：
经纬映射法，和/或球面坐标定位法，和/或墨卡托投影法，和/或高斯投影算法。
本发明实施例还提出了一种全景图片生成方法，包括：
获取多张原始图片数据；其中，各原始图片数据分别对应于全景的一部分；
对所述各原始图片数据进行去重处理，生成相应的去重图片数据；
对所述各去重图片数据进行拼接处理，生成球面的全景图片；
对所述球面的全景图片进行转换处理，生成平面的全景图片。
优选的，所述对所述各原始图片数据进行去重处理，生成相应的去重图片数据，具体包括：
确定各所述原始图片数据的时间信息以及对应的空间覆盖范围信息；
针对同一时间信息的原始图片数据，通过比对各所述原始图片数据对应的空间覆盖范围信息，确定重叠的空间覆盖范围；
对所述各原始图片数据中的对应重叠的空间覆盖范围部分进行去重处理，生成相应的去重图片数据。
优选的，该方法还包括：
将所生成的平面的全景图传输给客户端进行显示。
优选的，所述对球面的全景图片进行转换处理，生成平面的全景图，具体包括：
获取球面的全景图；
确定球面的全景图中各个像素点的球面坐标；
采用球面平面坐标转换法对球面坐标进行转换，生成平面坐标；
基于转换后的各像素点的平面坐标生成平面的全景图。
优选的，所述球面平面坐标转换法，具体包括：
经纬映射法，和/或球面坐标定位法，和/或墨卡托投影法，和/或高斯投影算法。
与现有技术相比，本发明实施例提出了一种全景摄像头以及全景图片生成方法，其中，该全景摄像头包括多个摄像装置以及处理器；各所述摄像装置用于进行覆盖全景的拍摄，生成原始图片数据；所述处理器对所述原始图片数据进行去重处理生成去重图片数据，以及对所述去重图片数据进行拼接处理，生成球面的全景图片。以此通过多个摄像装置获取到覆盖全范围内的各个范围的原始图片数据，并由处理器对各摄像装置获取到的原始图片数据进行去重处理，以及进行全景拼接处理，生成球面的全景图片；而为了展示给用户，且为了顺利完成数据传输以及后续可能的编码与解码，还将球面的全景图片转换为平面的全景图片；保证了全景图片的处理，满足了用户的全景摄像的需要。
附图说明
图1为本发明实施例公开的一种全景摄像装置的结构示意图；
图2a和2b分别为本发明实施例公开的一种具体应用场景下的全景摄像装置的平面图和内部结构示意图；
图3为本发明实施例公开的一种全景图片生成方法的流程示意图。
图例说明
1：摄像装置
2：处理器
3：固定部件
31：摄像头镜片  32：电池  33：电池盖  34：摄像支架
具体实施方式
针对现有技术中的缺陷，本发明实施例公开了一种全景摄像头以及全景图片生成方法，用以解决现有技术中的问题，保证了全景图片的处理，满足了用户的全景摄像的需要。
具体的，本发明提出了以下具体的实施例：
实施例1
本发明实施例1公开了一种全景摄像装置，如图1所示，包括：多个摄像装置1以及处理器2；其中，
各所述摄像装置1用于进行覆盖全景的拍摄，生成各所述摄像模块的原始图片数据；
所述处理器2获取各所述摄像模块的原始图片数据，对所述各原始图片数据进行去重处理生成相应的去重图片数据，以及对所述各去重图片数据进行拼接处理，生成球面的全景图片，对球面的全景图片进行转换处理生成平面的全景图。
具体的，在一个具体的应用场景中，该全景摄像头可以如图2a和2b所示，除了包括有多个摄像装置1以及一个处理器2以外，还可以有固定部件3，用于固定以及支撑摄像装置1以及处理器2，而具体的，固定部件3具体包括有摄像头镜片31，用以保护摄像装置1以及保障摄像装置1的 正常工作。该摄像头镜片可以选取透明的且具有一定强度的材料，例如可以选取树脂(也即目前眼镜镜片的主要材料)，还可以选取透明的钢化玻璃等等，具体的可以基于实际情况与需要进行灵活地选取。
此外，固定部件3还包括电池32，电池盖33以及摄像支架34，其中，电池32用于给其他部件或者模块进行供电，电池盖33用于使得电池32固定在固定部件3的内部，而摄像支架34用于固定以及支撑摄像装置1，保障在使用过程中，摄像装置1的稳定性。
在一个具体的实施例中，所述摄像装置1具体可以为广角摄像头。具体的，摄像头的覆盖角度越大，需要的数量会减少，对应的也可以降低处理器的工作量；具体的，广角摄像头的定义为覆盖范围为是90-180度的摄像头，选取广角摄像头，可以有效减少所需要的摄像头数量，减轻全景摄像头的复杂度，使得维护简单，使得后续处理其的工作量有效地减少，从而使得可以快速获取到全景的视频图像数据，满足用户的实时全景摄影需要，提高用户的体验。
在一个具体应用场景下的实施例中，如图2a和2b所示，所述摄像装置1的数量具体为5个。具体的，其中一个摄像装置1固定在所述固定部3的顶端，其他摄像装置1均匀固定在所述固定部件3的侧面，并与水平方向成10°的夹角。当然，具体的夹角可以基于实际情况进行灵活地选取，例如还可以根据需要设置夹角为15°、12°等等。
而具体的，所述处理器2对所述各原始图片数据进行去重处理生成相应的去重图片数据，具体包括：
确定各所述原始图片数据的时间信息以及对应的空间覆盖范围信息；
针对同一时间信息的各原始图片数据，通过比对各所述原始图片数据对应的空间覆盖范围信息，确定重叠的空间覆盖范围；
对各所述原始图片数据中的对应重叠的空间覆盖范围部分进行去重处理，生成相应的去重图片数据。
具体的，由于摄像装置1拍摄时，可能产生的原始图片数据中会存在有互相之间的重叠部分，例如第一原始图片数据中包含有范围A和范围B，而第二原始图片数据中包含有范围C和范围A，则在第一原始图片数据和第二原始图片数据中，范围A是重复的，需要进行去重处理，也即在所有的原始图片数据中，包含一份范围A即可，从而便于后续的全景拼接处理，也同时减少多余的数据量。
而具体的，去重处理，仍以上述例子来进行说明，可以对原始图片数据1中的范围A和原始图片数据2中的范围A，任选一个删除；也可以对其进行合并，从而达到更好地范围A内的图片效果。
而在生成了球面的全景图片之后，为了后续能顺利的进行数据传输以及编码解码，必须将球面坐标数据转换为平面坐标数据，因此处理器2还需要对生成的球面的全景图片进行转换，转换为平面的全景图片。
具体的，所述处理器2对球面的全景图片进行转换处理，生成平面的全景图，具体包括：
获取球面的全景图；
确定球面的全景图中各个像素点的球面坐标；
采用球面平面坐标转换法对球面坐标进行转换，生成平面坐标；
基于转换后的各像素点的平面坐标生成平面的全景图。
具体的，所述球面平面坐标转换法，具体包括：
经纬映射法，和/或球面坐标定位法，和/或墨卡托投影法，和/或高斯投影算法。
具体的，可以根据实际的情况与需要，通过经纬映射法、球面坐标定位法、墨卡托投影法、高斯投影算法中的一个或多个的任意组合来实现球面与平面坐标的转换。
具体的，所述处理器2还用于将所生成的平面的全景图传输给客户端进行显示。
与现有技术相比，本发明实施例1公开了一种全景摄像装置，其中该全景摄像头包括多个摄像装置以及处理器；各所述摄像装置用于进行覆盖全景的拍摄，生成原始图片数据；所述处理器对所述原始图片数据进行去重处理生成去重图片数据，以及对所述去重图片数据进行拼接处理，生成球面的全景图片。以此，通过多个摄像装置获取到覆盖全范围内的各个范围的原始图片数据，并由处理器对各摄像装置获取到的原始图片数据进行去重处理，以及进行全景拼接处理，生成球面的全景图片；而为了展示给用户，且为了顺利完成数据传输以及后续可能的编码与解码，还将球面的全景图片转换为平面的全景图片；保证了全景图片的处理，满足了用户的全景摄像的需要。
实施例2
本发明实施例2公开了一种全景图片生成方法，如图3所示，包括以下步骤：
步骤101、获取多个原始图片数据；其中，各原始图片数据分别对应于全景的一部分；
具体的，原始图片数据可以是直接从各个摄像头获取，也可从数据库中所存储的图片数据中进行获取，其中，各原始图片数据分别对应于全景的一部分，也即各原始图片数据对应的图片是可以整合成一个完整的全景的，可以有重叠的范围，但不会存在有缺失的部分。
步骤102、对所述各原始图片数据进行去重处理，生成相应的去重图片数据。
由于原始图片数据可能会存在有重叠的部分，因此需要执行取去重的处理，具体的所述对所述原始图片数据进行去重处理，生成去重图片数据，具体包括：
确定各所述原始图片数据的时间信息以及对应的空间覆盖范围信息；
针对同一时间信息的原始图片数据，通过比对各所述原始图片数据对应的空间覆盖范围信息，确定重叠的空间覆盖范围；
对各所述原始图片数据中的对应重叠的空间覆盖范围部分进行去重处理，生成去重图片数据。
而在执行完步骤102之后，接下来执行步骤103，对去重后的图片进行全景拼接。
步骤103、对所述各去重图片数据进行拼接处理，生成球面的全景图片。
而在步骤103之后，也即进行了全景拼接，生成了球面的全景图片，而为了后续便于用户查看(一般用户的屏幕是平面的)，以及为了数据传 输以及编码与解码，因此还需要进行后续的处理，该后续的处理过程具体包括：
步骤104、对球面的全景图片进行转换处理，生成平面的全景图。
而具体的，所述对球面的全景图片进行转换，生成平面的全景图的过程，具体包括：
获取球面的全景图；
确定球面的全景图中各个像素点的球面坐标；
采用球面平面坐标转换法对球面坐标进行转换，生成平面坐标；
基于转换后的各像素点的平面坐标生成平面的全景图。
至于所述球面平面坐标转换法，具体包括：
经纬映射法，和/或球面坐标定位法，和/或墨卡托投影法，和/或高斯投影算法。
而在步骤104之后，该方法还可以包括：将所生成的平面的全景图传输给客户端进行显示。
与现有技术相比，本发明实施例提出了一种全景摄像头以及全景图片生成方法，其中，该全景摄像头包括多个摄像装置以及处理器；各所述摄像装置用于进行覆盖全景的拍摄，生成原始图片数据；所述处理器对所述原始图片数据进行去重处理生成去重图片数据，以及对所述去重图片数据进行拼接处理，生成球面的全景图片。以此通过多个摄像装置获取到覆盖全范围内的各个范围的原始图片数据，并由处理器对各摄像装置获取到的原始图片数据进行去重处理，以及进行全景拼接处理，生成球面的全景图 片；而为了展示给用户，且为了顺利完成数据传输以及后续可能的编码与解码，还将球面的全景图片转换为平面的全景图片；保证了全景图片的处理，满足了用户的全景摄像的需要。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本发明序号仅仅为了描述，不代表实施场景的优劣。
以上公开的仅为本发明的几个具体实施场景，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (10)

  1. 一种全景摄像装置，其特征在于，包括：多个摄像模块以及处理器；其中，
    各所述摄像装置用于进行覆盖全景的拍摄，生成各所述摄像模块的原始图片数据；
    所述处理器获取各所述摄像模块的原始图片数据，对所述各原始图片数据进行去重处理生成相应的去重图片数据，以及对所述各去重图片数据进行拼接处理，生成球面的全景图片，对球面的全景图片进行转换处理生成平面的全景图。
  2. 如权利要求1所述的全景摄像装置，其特征在于，所述处理器对所述原始图片数据进行去重处理生成相应的去重图片数据，具体包括：
    确定各所述原始图片数据的时间信息以及对应的空间覆盖范围信息；
    针对同一时间信息的各原始图片数据，通过比对各所述原始图片数据对应的空间覆盖范围信息，确定重叠的空间覆盖范围；
    对各所述原始图片数据中的对应重叠的空间覆盖范围部分进行去重处理，生成相应的去重图片数据。
  3. 如权利要求1所述的全景摄像装置，其特征在于，所述处理器还用于将所生成的平面的全景图传输给客户端进行显示。
  4. 如权利要求1所述的全景摄像装置，其特征在于，所述处理器对球面的全景图片进行转换处理，生成平面的全景图，具体包括：
    获取球面的全景图；
    确定球面的全景图中各个像素点的球面坐标；
    采用球面平面坐标转换法对球面坐标进行转换，生成平面坐标；
    基于转换后的各像素点的平面坐标生成平面的全景图。
  5. 如权利要求4所述的全景摄像装置，其特征在于，所述球面平面坐标转换法，具体包括：
    经纬映射法，和/或球面坐标定位法，和/或墨卡托投影法，和/或高斯投影算法。
  6. 一种全景图片生成方法，其特征在于，包括：
    获取多个原始图片数据；其中，各原始图片数据分别对应于全景的一部分；
    对所述各原始图片数据进行去重处理，生成相应的去重图片数据；
    对所述各去重图片数据进行拼接处理，生成球面的全景图片；
    对所述球面的全景图片进行转换处理，生成平面的全景图片。
  7. 如权利要求6所述的方法，其特征在于，所述对所述各原始图片数据进行去重处理，生成相应的去重图片数据，具体包括：
    确定各所述原始图片数据的时间信息以及对应的空间覆盖范围信息；
    针对同一时间信息的原始图片数据，通过比对各所述原始图片数据对应的空间覆盖范围信息，确定重叠的空间覆盖范围；
    对所述各原始图片数据中的对应重叠的空间覆盖范围部分进行去重处理，生成相应的去重图片数据。
  8. 如权利要求7所述的方法，其特征在于，还包括：
    将所生成的平面的全景图传输给客户端进行显示。
  9. 如权利要求6所述的方法，其特征在于，所述对球面的全景图片进行转换处理，生成平面的全景图，具体包括：
    获取球面的全景图；
    确定球面的全景图中各个像素点的球面坐标；
    采用球面平面坐标转换法对球面坐标进行转换，生成平面坐标；
    基于转换后的各像素点的平面坐标生成平面的全景图。
  10. 如权利要求9所述的方法，其特征在于，所述球面平面坐标转换法，具体包括：
    经纬映射法，和/或球面坐标定位法，和/或墨卡托投影法，和/或高斯投影算法。
PCT/CN2016/085379 2016-05-31 2016-06-08 一种全景摄像装置以及全景图片生成方法 WO2017206198A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610377178.7A CN105872386A (zh) 2016-05-31 2016-05-31 一种全景摄像装置以及全景图片生成方法
CN201610377178.7 2016-05-31

Publications (1)

Publication Number Publication Date
WO2017206198A1 true WO2017206198A1 (zh) 2017-12-07

Family

ID=56641739

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/085379 WO2017206198A1 (zh) 2016-05-31 2016-06-08 一种全景摄像装置以及全景图片生成方法

Country Status (2)

Country Link
CN (1) CN105872386A (zh)
WO (1) WO2017206198A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191578A (zh) * 2018-11-09 2019-01-11 上海宝冶集团有限公司 工程现场会议交底生成方法、系统、装置及可读存储介质
CN109934765A (zh) * 2019-03-05 2019-06-25 北京环境特性研究所 高速相机全景图像拼接方法
CN113781373A (zh) * 2021-08-26 2021-12-10 云从科技集团股份有限公司 图像融合方法、设备及计算机存储介质
CN115103207A (zh) * 2022-06-20 2022-09-23 广州合正智能科技有限公司 一种全景图片与视频的拼接方法及系统

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106162207B (zh) * 2016-08-25 2019-02-12 北京字节跳动科技有限公司 一种全景视频并行编码方法和装置
CN109691094B (zh) * 2016-08-25 2021-10-22 Lg电子株式会社 发送全向视频的方法、接收全向视频的方法、发送全向视频的装置和接收全向视频的装置
CN106548446B (zh) * 2016-09-29 2019-08-09 北京奇艺世纪科技有限公司 一种在球面全景图像上贴图的方法及装置
US10560678B2 (en) 2016-11-09 2020-02-11 Mediatek Inc. Method and apparatus having video encoding function with syntax element signaling of rotation information of content-oriented rotation applied to 360-degree image content or 360-degree video content represented in projection format and associated method and apparatus having video decoding function
CN106358035A (zh) * 2016-11-09 2017-01-25 北京七维视觉科技有限公司 一种图像处理方法及装置
US20180262774A1 (en) * 2017-03-09 2018-09-13 Mediatek Inc. Video processing apparatus using one or both of reference frame re-rotation and content-oriented rotation selection and associated video processing method
CN107948547B (zh) * 2017-12-29 2020-11-24 北京奇艺世纪科技有限公司 全景视频拼接的处理方法、装置及电子设备
CN108805813A (zh) * 2018-06-06 2018-11-13 沈文策 一种图片拼接方法及装置
CN109978726A (zh) * 2019-03-18 2019-07-05 河南快客金融服务有限公司 房产信息核验方法及系统
CN110569927A (zh) * 2019-09-19 2019-12-13 浙江大搜车软件技术有限公司 移动端全景图像扫描提取的方法、终端和计算机设备
CN111833241A (zh) * 2020-07-14 2020-10-27 深圳移动互联研究院有限公司 一种基于全景图像生成平面示意图的方法
CN115802039B (zh) * 2023-02-10 2023-06-23 天翼云科技有限公司 一种帧间编码方法、装置、电子设备及计算机可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1491403A (zh) * 2001-10-29 2004-04-21 ���ṫ˾ 非平面图像的图像处理装置、图像处理方法、存储介质及计算机程序
CN101825840A (zh) * 2010-05-06 2010-09-08 浙江大学 一种多镜头实时全景成像系统
CN101938605A (zh) * 2009-06-30 2011-01-05 爱国者全景(北京)网络科技发展有限公司 生成全景视频的方法
CN103973944A (zh) * 2013-02-06 2014-08-06 深圳市振华微电子有限公司 半球型全景成像装置及方法
US20150138311A1 (en) * 2013-11-21 2015-05-21 Panavision International, L.P. 360-degree panoramic camera systems

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463778B (zh) * 2014-11-06 2017-08-29 北京控制工程研究所 一种全景图生成方法
CN105554478A (zh) * 2016-02-24 2016-05-04 深圳市车米云图科技有限公司 视频监控系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1491403A (zh) * 2001-10-29 2004-04-21 ���ṫ˾ 非平面图像的图像处理装置、图像处理方法、存储介质及计算机程序
CN101938605A (zh) * 2009-06-30 2011-01-05 爱国者全景(北京)网络科技发展有限公司 生成全景视频的方法
CN101825840A (zh) * 2010-05-06 2010-09-08 浙江大学 一种多镜头实时全景成像系统
CN103973944A (zh) * 2013-02-06 2014-08-06 深圳市振华微电子有限公司 半球型全景成像装置及方法
US20150138311A1 (en) * 2013-11-21 2015-05-21 Panavision International, L.P. 360-degree panoramic camera systems

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191578A (zh) * 2018-11-09 2019-01-11 上海宝冶集团有限公司 工程现场会议交底生成方法、系统、装置及可读存储介质
CN109934765A (zh) * 2019-03-05 2019-06-25 北京环境特性研究所 高速相机全景图像拼接方法
CN113781373A (zh) * 2021-08-26 2021-12-10 云从科技集团股份有限公司 图像融合方法、设备及计算机存储介质
CN115103207A (zh) * 2022-06-20 2022-09-23 广州合正智能科技有限公司 一种全景图片与视频的拼接方法及系统

Also Published As

Publication number Publication date
CN105872386A (zh) 2016-08-17

Similar Documents

Publication Publication Date Title
WO2017206198A1 (zh) 一种全景摄像装置以及全景图片生成方法
US11189055B2 (en) Information processing apparatus and method and program
CN109167924B (zh) 基于混合相机的视频成像方法、系统、设备及存储介质
JP6496093B1 (ja) ３次元３６０度バーチャルリアリティカメラの露出制御
JP6263623B2 (ja) 画像生成方法及びデュアルレンズ装置
JP6090786B2 (ja) 背景差分抽出装置及び背景差分抽出方法
JP2020191650A (ja) 撮像システム、方法、プログラム、動画表示装置および画像処理装置。
JP6398472B2 (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム
JP2016149733A (ja) 撮像システム、撮像装置、プログラムおよびシステム
CN101938605A (zh) 生成全景视频的方法
WO2019096016A1 (zh) 一种实现子弹时间拍摄效果的方法及全景相机
JP2013027021A (ja) 全方位撮像装置及び全方位撮像方法
WO2017113533A1 (zh) 一种全景拍摄处理方法及装置
CN107967665B (zh) 图像处理方法和图像处理装置
CN104113747A (zh) 一种基于双目视觉的图像采集与伪3d显示系统
CN113454980A (zh) 全景拍摄方法、电子设备及存储介质
CN110047039A (zh) 一种面向虚拟现实交互的冗余视场全景影像构建方法
TWI615808B (zh) 全景即時影像處理方法
CN107610045B (zh) 鱼眼图片拼接中的亮度补偿方法、装置、设备及存储介质
CN110933297A (zh) 智能摄影系统的摄影控制方法、装置、存储介质及系统
CN111083368A (zh) 一种基于云端的模拟物理云台全景视频展示系统
CN109961395B (zh) 深度图像的生成及显示方法、装置、系统、可读介质
JP2014179863A (ja) 撮像装置、その制御方法、および制御プログラム
JP2018128804A (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
CN108270951B (zh) 智能电子设备生成全景照片的方法及相应的智能电子设备

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16903583

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205N DATED 15/04/2019)

122 Ep: pct application non-entry in european phase

Ref document number: 16903583

Country of ref document: EP

Kind code of ref document: A1