WO2017113534A1 - 一种全景拍摄处理方法、装置及系统 - Google Patents

一种全景拍摄处理方法、装置及系统 Download PDF

Info

Publication number
WO2017113534A1
WO2017113534A1 PCT/CN2016/078907 CN2016078907W WO2017113534A1 WO 2017113534 A1 WO2017113534 A1 WO 2017113534A1 CN 2016078907 W CN2016078907 W CN 2016078907W WO 2017113534 A1 WO2017113534 A1 WO 2017113534A1
Authority
WO
WIPO (PCT)
Prior art keywords
panoramic
picture
cameras
processing
sets
Prior art date
Application number
PCT/CN2016/078907
Other languages
English (en)
French (fr)
Inventor
赵博
Original Assignee
完美幻境(北京)科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 完美幻境(北京)科技有限公司 filed Critical 完美幻境(北京)科技有限公司
Publication of WO2017113534A1 publication Critical patent/WO2017113534A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Definitions

  • the present invention relates to the field of image processing, and in particular, to a panoramic photographing processing method, apparatus, and system.
  • Panoramic shooting usually refers to shooting with a horizontal 360 degree and vertical 180 degrees centering on a certain point, and stitching a plurality of pictures taken into a single panoramic picture and a picture stitching method.
  • panoramic shooting may include at least a panoramic image and a panoramic video.
  • the processing process of the panoramic image is: mounting a single camera on the rotatable support, and the camera separately captures multiple images at multiple angles, and then splicing the multiple images by computer software. , finally get a panoramic image.
  • the processing process of the panoramic video is: obtaining a plurality of video files by using a plurality of cameras to capture multiple angles, and splicing the plurality of video files by using computer software, and finally synthesizing the panoramic video files. .
  • panoramic shooting generally requires computer participation, and the computer takes pictures or video files obtained offline for offline processing. Due to the difference in imaging parameters between cameras, not only the computational complexity of the computer is increased, but also the processing resources of the computer are consumed in large quantities, which may affect the image quality of the panoramic image or the panoramic video file.
  • the redundant circuit can be understood as a circuit for generating a panoramic image or a panoramic video.
  • Embodiments of the present invention provide a method, an apparatus, and a system for processing a panoramic image, which are useful for reducing resources consumed by a process and realizing online processing of a panoramic image or a panoramic video.
  • a panoramic photographing processing method comprising:
  • each picture set includes at least one picture, the field of view of the at least two cameras can be panoramicly covered, and imaging parameter synchronization is implemented between the at least two cameras;
  • performing pixel mapping on the pictures in the at least two picture sets, and performing splicing processing according to the merging area to obtain a panoramic picture including:
  • the GPU controls the pixel point mapping and the splicing process to obtain the panoramic picture.
  • the encoding and compressing the panoramic picture includes:
  • the panoramic shooting is used to capture a panoramic video, and the method further includes:
  • the encoding and compressing the audio data to obtain an audio file includes: [0021] saving the audio data to a second memory, and controlling an encoder to obtain the second memory Operation right; [0022] The encoder performs encoding processing on the audio data to obtain the audio file.
  • a panoramic photographing processing apparatus wherein the apparatus comprises:
  • a picture set obtaining unit configured to acquire at least two picture sets, where the at least two picture sets are respectively generated by corresponding at least two cameras, each picture set includes at least one picture, the at least two cameras
  • the field of view can be panoramicly covered, and the imaging parameters are synchronized between the at least two cameras
  • a panoramic picture obtaining unit configured to perform pixel point mapping on the pictures in the at least two picture sets, and perform splicing processing according to the overlapping area to obtain a panoramic picture
  • an encoding compression processing unit configured to perform encoding compression processing on the panoramic picture.
  • the panoramic picture obtaining unit is specifically configured to write the at least two picture sets into the first And controlling the graphics processor GPU to obtain the operation right of the first memory; the GPU controls the pixel point mapping and the splicing processing to obtain the panoramic picture.
  • the encoding compression processing unit is specifically configured to control an encoder to obtain an operation right of the first memory, and perform encoding processing on the panoramic image by the encoder.
  • the panoramic shooting is used to capture a panoramic video
  • the device further includes:
  • an audio file obtaining unit configured to acquire audio data, and perform encoding and compression processing on the audio data
  • a mixing processing unit configured to perform a mixing process on the panoramic picture and the audio file according to the inter-post stamp information to obtain a panoramic video file.
  • the audio file obtaining unit is specifically configured to save the audio data to a second memory, and control an encoder to obtain an operation right of the second memory; the encoder pairs the audio The data is encoded to obtain the audio file.
  • a panoramic photographing processing system wherein the system includes: the above-described panoramic photographing processing device
  • the controller is configured to perform imaging parameter synchronization on the panoramic shooting platform
  • the panoramic shooting platform is configured to generate at least two pictures according to the imaging parameters synchronized by the controller.
  • the panoramic shooting platform comprises at least two sensor boards and at least two cameras, the field of view of the at least two cameras can be panoramicly covered, and each camera is mounted on a sensor board, the control The imaging parameters of the camera are synchronized by the sensor board.
  • the panoramic shooting platform comprises three sensor boards and three 185 degree fisheye cameras.
  • the three sensor boards are connected by an angle of 60 degrees, and the three 185 degree fisheye cameras are respectively mounted on the three sensor boards to achieve a horizontal 360 degree and a vertical 180 degree panorama. cover.
  • the controller is further configured to control the panoramic shooting platform to switch to a sleep state after no panoramic shooting is performed.
  • the panoramic shooting processing method, device and system provided by the embodiments of the present invention, panoramic The shooting platform is controlled, the imaging parameters are synchronized between the cameras, and the difference between the images taken by each camera is minimized, which provides a technical basis for reducing the amount of calculation and saving processing resources, and also generates a high-quality panorama.
  • the picture provides technical support.
  • the processing procedure of the embodiment of the present invention is separated from the computer and implemented by the dedicated panoramic image processing device, and also helps solve the problem that the overall power consumption of the panoramic shooting system caused by the redundant circuit is high.
  • the processing solution provided by the embodiment of the present invention helps to realize the real-time online processing of the panoramic image or the panoramic video, and has strong practicability.
  • Embodiment 1 is a flowchart of Embodiment 1 of a panoramic photographing processing method according to an embodiment of the present invention
  • Embodiment 2 is a flowchart of Embodiment 2 of a panoramic photographing processing method according to an embodiment of the present invention
  • FIG. 3 is a schematic structural diagram of a panoramic photographing processing apparatus according to an embodiment of the present invention.
  • FIG. 4 is a top plan view of a panoramic shooting platform in an embodiment of the present invention.
  • Embodiment 1 of a panoramic photographing processing method may include the following steps:
  • S101 Acquire at least two picture sets, where the at least two picture sets are respectively generated by corresponding at least two cameras, each picture set includes at least one picture, and the at least two cameras have a field of view capable of panoramic view. Covering, and imaging parameter synchronization is achieved between the at least two cameras.
  • the embodiments of the present invention are in various cameras.
  • the imaging parameters are synchronized, that is, each camera takes the same imaging parameters to take photos or record video, which provides a certain technical basis for effectively reducing the amount of panoramic image calculation.
  • the imaging parameters in the embodiment of the present invention may be exposure, white balance, wide dynamics, and the like, and may be specifically determined according to actual shooting requirements, which may not be specifically limited in the embodiment of the present invention.
  • the panoramic coverage of the viewing area can be realized by at least two cameras by reasonably arranging the position of the camera and the shooting field of view, that is, the horizontal 360 degree and the vertical 180 degree coverage can be achieved.
  • a photograph is taken by a panoramic photographing platform or a video is recorded.
  • FIG. 4 is a view showing an example of the structure of the panoramic photographing platform in the embodiment of the present invention.
  • the embodiment of the present invention may perform imaging parameter synchronization between respective cameras by: manually setting the same imaging parameters for each camera; or inputting the same imaging parameters to each camera by a third-party device. , such as the controller described below.
  • the imaging parameters input by the third-party device to the camera may be manually set, or may be automatically generated by the third-party platform according to the requirements, which may not be specifically limited in this embodiment of the present invention.
  • the solution of the embodiment of the present invention is applicable to both the panoramic image generation process and the panoramic video generation process. If panorama shooting is used to capture a panoramic image, the picture in the picture collection is the picture taken by the camera; if panoramic shooting is used to capture the panoramic video, the picture in the picture collection is the image frame extracted from the video recorded in the camera.
  • pictures may be transmitted in a Bayer format RAW data stream, and thus, pictures in the picture collection may be pre-processed and processed into color images.
  • the preprocessing in the embodiment of the present invention may be: controlling image brightness by exposure and gain, controlling color component specific gravity by white balance, controlling contrast of different brightness areas by gamma, etc., the present invention The embodiment does not specifically limit this.
  • S102 Perform pixel point mapping on the pictures in the at least two picture sets, and perform splicing processing according to the overlapping areas to obtain a panoramic picture.
  • This step is mainly used to generate a panoramic picture by mapping processing and splicing processing.
  • a panoramic picture can be generated by a graphics processing unit (English: Graphics Processing Unit, GPU for short).
  • the GPU may perform mapping and splicing processing on the image set by assigning an operation right to the GPU. For example, by marking the first memory as GP
  • the U control mode achieves the purpose of assigning operation rights to the GPU.
  • the mapping process in the embodiment of the present invention may be implemented by mapping pixel points of each picture in the picture set to corresponding positions of the panoramic picture, and the splicing process may be embodied as a fusion transition process of the overlapping area.
  • the panoramic picture can also be encoded and compressed, specifically by an encoder (Encoder), such as a high-definition H.264/H.265 encoder.
  • Encoder can encode and compress the panoramic picture by assigning an operation right to the Encoder.
  • the operation rights can be assigned to Encod er by marking the first memory as Encoder control.
  • the panoramic photographing processing process of the embodiment of the present invention is completed.
  • the image to be processed since the imaging parameters are synchronized between the cameras, there is no excessive difference between the images.
  • the technical basis is provided to reduce the amount of calculation, and the technical guarantee for generating high-quality panoramic pictures is provided.
  • the processing of the embodiment of the present invention is separated from the computer and implemented by the dedicated panoramic shooting processing device, which also helps to solve the redundancy.
  • the remaining circuit causes a problem of high overall power consumption of the panoramic shooting system.
  • Embodiment 2 of a panoramic photographing processing method is shown. This embodiment is mainly applicable to shooting a panoramic video, and may include the following steps:
  • S101 Acquire at least two picture sets, where the at least two picture sets are respectively generated by corresponding at least two cameras, each picture set includes at least one picture, and the at least two cameras have a field of view capable of panoramic Covering, and imaging parameter synchronization is achieved between the at least two cameras.
  • S102 Perform pixel point mapping on the pictures in the at least two picture sets, and perform splicing processing according to the overlapping areas to obtain a panoramic picture.
  • S201 acquiring audio data, and performing encoding and compression processing on the audio data to obtain an audio file
  • S202 performing mixing processing on the panoramic picture and the audio file according to the inter-post stamp information, Panoramic video file.
  • the pair of pairs can be synchronously collected. Audio data should appear, and the obtained audio data is written into the second memory by the panoramic image processing device, and then the audio data is encoded and compressed by the encoder to obtain an audio file, and then the panoramic image and the audio file are mixed. , generate a panoramic video file. It should be noted that the operation right of the Encoder can also be realized by marking the second memory as the Encoder control.
  • the audio information may be acquired by the panoramic image processing device, or may be acquired by the panoramic shooting platform, or may be acquired by other third-party devices. limited.
  • FIG. 3 a schematic structural diagram of a panoramic photographing processing apparatus is illustrated, which may include:
  • the picture set obtaining unit 301 is configured to acquire at least two picture sets, where the at least two picture sets are respectively generated by corresponding at least two cameras, each picture set includes at least one picture, and the at least two pictures
  • the camera's field of view is capable of panoramic coverage, and the imaging parameter synchronization is implemented between the at least two cameras;
  • the panoramic picture obtaining unit 302 is configured to perform pixel point mapping on the pictures in the at least two picture sets, and Perform splicing processing according to the coincident area to obtain a panoramic picture;
  • the encoding compression processing unit 303 is configured to perform encoding and compression processing on the panoramic picture.
  • the panoramic picture obtaining unit is specifically configured to write the at least two picture sets into the first memory, and control a graphics processor GPU to obtain an operation right of the first memory; Controlling the pixel point mapping and the splicing process to obtain the panoramic picture.
  • the encoding compression processing unit is specifically configured to control an encoder to obtain an operation right of the first memory, and perform encoding processing on the panoramic image by the encoder.
  • the panoramic shooting is used to capture a panoramic video
  • the device further includes:
  • an audio file obtaining unit configured to acquire audio data, and perform encoding and compression processing on the audio data
  • a mixing processing unit configured to perform a mixing process on the panoramic picture and the audio file according to the inter-post stamp information to obtain a panoramic video file.
  • the audio file obtaining unit is specifically configured to save the audio data to a second memory, and control an encoder to obtain an operation right of the second memory; the encoder pairs the audio The data is encoded to obtain the audio file.
  • the embodiment of the present invention further provides a panoramic photographing processing system, and the system includes: the panoramic photographing processing device, the panoramic photographing platform and the controller described above.
  • the controller is configured to perform imaging parameter synchronization on the panoramic shooting platform.
  • the panoramic shooting platform is configured to generate at least two image sets according to the imaging parameters synchronized by the controller.
  • the panoramic shooting platform includes at least two sensor boards (Sensor Boards) and at least two cameras, and the at least two cameras cooperate to achieve panoramic coverage of the viewing area, and each camera is installed on the camera.
  • the controller synchronizes the imaging parameters of the camera through the sensor board.
  • the panoramic shooting platform may include two sensor boards and two 185 degree cameras, wherein the two sensor boards are arranged back to back, and each 185 degree camera is mounted on a sensor board to achieve a horizontal level 360. Panoramic coverage of degrees and vertical 180 degrees.
  • the panoramic shooting platform may include three sensor boards and three 185 degree fisheye cameras, wherein the three sensor boards are connected by an angle of 60 degrees, and each 185 degree fisheye camera Mounted on a sensor board for panoramic coverage of 360 degrees horizontally and 180 degrees vertically. For details, see the top view of the panoramic shooting platform shown in Figure 4.
  • the panoramic shooting platform may include four sensor boards and four 150 degree to 160 degree fisheye cameras, wherein the four sensor boards are connected by a 90 degree inner angle, each fisheye The camera is mounted on a sensor board for panoramic coverage of 360 degrees horizontally and 180 degrees vertically.
  • panoramic shooting platform may be set according to the actual shooting needs.
  • the embodiments of the present invention are only briefly described in the above examples, but the specific structure of the panoramic shooting platform is not specifically limited.
  • the panoramic shooting platform may also switch between the panoramic image mode and the panoramic video mode according to external control, and is used to generate a panoramic image or a panoramic video, respectively.
  • the controller is further configured to control the panoramic shooting platform to switch to a sleep state after no panoramic shooting is performed.
  • the panoramic shooting platform can switch between the working state and the sleep state according to the control of the controller, which also helps to further reduce the overall power consumption of the panoramic shooting system.
  • the controller may be used only for the synchronization of the imaging parameters, and the state of the panoramic imaging platform is switched.
  • the interaction mode of the panoramic imaging processing system of the embodiment of the present invention may be: The panoramic photographing processing device communicates, and the set of pictures generated by the panoramic photographing platform is directly transmitted to the panoramic photographing processing device.
  • a part of the processing of the image collection may be implemented by a controller, such as a controller (FPGA) (Field-Programmable Gate Array, Chinese: field programmable Gate array) implementation, the FPGA may first process the picture in the picture set and then transfer it to the panoramic shooting processing device for subsequent processing, such as horizontal alignment, pre-processing, etc. by the FPGA, this embodiment of the present invention Can not be specifically limited.
  • FPGA Field-Programmable Gate Array, Chinese: field programmable Gate array
  • the interaction mode of the panoramic photographing processing system of the embodiment of the present invention may be: the controller communicates with the panoramic photographing processing device and the panoramic photographing platform respectively, that is, the image set generated by the panoramic photographing platform is sent to the panoramic photographing processing device through the controller.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例提供一种全景拍摄处理方法、装置及系统，所述方法包括：获取至少两个图片集合，所述至少两个图片集合分别由对应的至少两台相机生成，每个图片集合包括至少一张图片，所述至少两台相机的视域能够全景覆盖，且所述至少两台相机之间实现成像参数同步；对所述至少两个图片集合中的图片进行像素点映射，并根据重合区域进行拼接处理，获得全景图片；对所述全景图片进行编码压缩处理。如此方案，有助于降低处理过程消耗的资源，实现全景图像或全景视频的实时在线处理。

Description

一种全景拍摄处理方法、 装置及系统 技术领域
[0001] 本发明涉及图像处理领域， 特别涉及一种全景拍摄处理方法、 装置及系统。
背景技术
[0002] 全景拍摄， 通常是指以某个点为中心进行水平 360度和垂直 180度拍摄， 将所拍 摄的多张图片拼接成一张全景图片的拍摄及图片拼接方法。
[0003] 一般来说， 全景拍摄至少可包括全景图像和全景视频两种形式。
[0004] 具体地， 全景图像的处理过程为： 将单个相机安装在可转动支架上， 由该相机 在多个角度分别拍摄获得多张图片， 再通过计算机软件对所述多张图片进行拼 接处理， 最终获得全景图像。
[0005] 具体地， 全景视频的处理过程为： 使用多个相机同吋拍摄多个角度获得多个视 频文件， 并通过计算机软件对所述多个视频文件进行拼接处理， 最后再合成全 景视频文件。
[0006] 也就是， 全景拍摄一般都需要计算机参与， 由计算机对拍摄获得的图片或视频 文件做离线处理。 由于各个相机之间的成像参数存在一定的差异， 不仅加大了 计算机的计算量， 造成计算机处理资源的大量消耗， 还可能会影响全景图像或 全景视频文件的图像质量。 此外， 考虑到计算机本身冗余电路的功耗， 还导致 整个全景拍摄系统存在功耗高的缺点。 需要说明的是， 冗余电路可以理解为用 于生成全景图像或全景视频之外的电路。
技术问题
[0007] 本发明实施例提供一种全景拍摄处理方法、 装置及系统， 有助于降低处理过程 消耗的资源， 实现全景图像或全景视频的实吋在线处理。
问题的解决方案
技术解决方案
[0008] 一种全景拍摄处理方法， 所述方法包括：
[0009] 获取至少两个图片集合， 所述至少两个图片集合分别由对应的至少两台相机生 成， 每个图片集合包括至少一张图片， 所述至少两台相机的视域能够全景覆盖 ， 且所述至少两台相机之间实现成像参数同步；
[0010] 对所述至少两个图片集合中的图片进行像素点映射， 并根据重合区域进行拼接 处理， 获得全景图片；
[0011] 对所述全景图片进行编码压缩处理。
[0012] 可选地， 所述对所述至少两个图片集合中的图片进行像素点映射， 并根据重合 区域进行拼接处理， 获得全景图片， 包括：
[0013] 将所述至少两个图片集合写入第一内存， 并控制图形处理器 GPU获得所述第一 内存的操作权；
[0014] 所述 GPU控制进行所述像素点映射和所述拼接处理， 获得所述全景图片。
[0015] 可选地， 所述对所述全景图片进行编码压缩处理， 包括：
[0016] 控制编码器获得所述第一内存的操作权， 并由所述编码器对所述全景图片进行 编码处理。
[0017] 可选地， 所述全景拍摄用于拍摄全景视频， 所述方法还包括：
[0018] 获取音频数据， 并对所述音频数据进行编码压缩处理， 获得音频文件；
[0019] 根据吋间戳信息， 对所述全景图片和所述音频文件进行混合处理， 获得全景视 频文件。
[0020] 可选地， 所述对所述音频数据进行编码压缩处理， 获得音频文件， 包括： [0021] 将所述音频数据保存至第二内存， 并控制编码器获得所述第二内存的操作权； [0022] 所述编码器对所述音频数据进行编码处理， 获得所述音频文件。
[0023] 一种全景拍摄处理装置， 其特征在于， 所述装置包括：
[0024] 图片集合获取单元， 用于获取至少两个图片集合， 所述至少两个图片集合分别 由对应的至少两台相机生成， 每个图片集合包括至少一张图片， 所述至少两台 相机的视域能够全景覆盖， 且所述至少两台相机之间实现成像参数同步；
[0025] 全景图片获得单元， 用于对所述至少两个图片集合中的图片进行像素点映射， 并根据重合区域进行拼接处理， 获得全景图片；
[0026] 编码压缩处理单元， 用于对所述全景图片进行编码压缩处理。
[0027] 可选地， 所述全景图片获得单元， 具体用于将所述至少两个图片集合写入第一 内存， 并控制图形处理器 GPU获得所述第一内存的操作权； 所述 GPU控制进行 所述像素点映射和所述拼接处理， 获得所述全景图片。
[0028] 可选地， 所述编码压缩处理单元， 具体用于控制编码器获得所述第一内存的操 作权， 并由所述编码器对所述全景图片进行编码处理。
[0029] 可选地， 所述全景拍摄用于拍摄全景视频， 所述装置还包括：
[0030] 音频文件获得单元， 用于获取音频数据， 并对所述音频数据进行编码压缩处理
， 获得音频文件；
[0031] 混合处理单元， 用于根据吋间戳信息， 对所述全景图片和所述音频文件进行混 合处理， 获得全景视频文件。
[0032] 可选地， 所述音频文件获得单元， 具体用于将所述音频数据保存至第二内存， 并控制编码器获得所述第二内存的操作权； 所述编码器对所述音频数据进行编 码处理， 获得所述音频文件。
[0033] 一种全景拍摄处理系统， 其特征在于， 所述系统包括： 上述全景拍摄处理装置
、 全景拍摄平台和控制器；
[0034] 所述控制器， 用于对所述全景拍摄平台进行成像参数同步；
[0035] 所述全景拍摄平台， 用于根据所述控制器同步的成像参数， 生成至少两个图片 隹 A
采 n
[0036] 可选地， 所述全景拍摄平台包括至少两个传感器板和至少两台相机， 所述至少 两台相机的视域能够全景覆盖， 每台相机安装于一个传感器板上， 所述控制器 通过所述传感器板对所述相机进行成像参数同步。
[0037] 可选地， 所述全景拍摄平台包括三个传感器板和三台 185度鱼眼相机，
[0038] 所述三个传感器板之间采用 60度内夹角方式连接， 所述三台 185度鱼眼相机分 别安装于所述三个传感器板上， 实现水平 360度和垂直 180度的全景覆盖。
[0039] 可选地， 所述控制器， 还用于在不进行全景拍摄吋， 控制所述全景拍摄平台切 换为休眠状态。
发明的有益效果
有益效果
[0040] 与现有技术相比， 本发明实施例提供的全景拍摄处理方法、 装置及系统， 全景 拍摄平台接受控制， 在各个相机之间进行成像参数同步， 尽量减小各个相机所 拍图像之间的差异， 为降低计算量、 节省处理资源提供了技术基础， 同吋还为 生成高质量的全景图片提供了技术保障。 另外， 本发明实施例的处理过程脱离 了计算机， 由专用全景拍摄处理装置实现， 还有助于解决冗余电路造成的全景 拍摄系统的整体功耗高的问题。 综上， 本发明实施例提供的处理方案， 有助于 实现全景图像或全景视频的实吋在线处理， 实用性较强。
对附图的简要说明
附图说明
[0041] 为了更清楚地说明本发明实施例中的技术方案， 下面将对实施例描述中所需要 使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本发明的一 些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动性的前提下， 还可以根据这些附图获得其他的附图。
[0042] 图 1是本发明实施例全景拍摄处理方法实施例 1的流程图；
[0043] 图 2是本发明实施例全景拍摄处理方法实施例 2的流程图；
[0044] 图 3是本发明实施例全景拍摄处理装置的结构示意图；
[0045] 图 4是本发明实施例中全景拍摄平台的俯视示意图。
本发明的实施方式
[0046] 下面将结合本发明实施例中的附图， 对本发明实施例中的技术方案进行清楚、 完整地描述， 显然， 所描述的实施例仅仅是本发明一部分实施例， 而不是全部 的实施例。 基于本发明中的实施例， 本领域普通技术人员在没有做出创造性劳 动前提下所获得的所有其他实施例， 都属于本发明保护的范围。
[0047] 参考图 1， 示出了本发明实施例全景拍摄处理方法实施例 1的流程图， 可以包括 以下步骤：
[0048] S101 , 获取至少两个图片集合， 所述至少两个图片集合分别由对应的至少两台 相机生成， 每个图片集合包括至少一张图片， 所述至少两台相机的视域能够全 景覆盖， 且所述至少两台相机之间实现成像参数同步。
[0049] 在介绍本发明实施例处理方法之前， 需要说明的是， 本发明实施例在各个相机 之间进行了成像参数同步， 也就是说， 各个相机采用相同的成像参数拍摄照片 或者录制视频， 这就为有效降低全景图片计算量提供了一定的技术基础。 举例 来说， 本发明实施例中的成像参数可以为曝光、 白平衡、 宽动态等等， 具体可 根据实际拍摄需求而定， 本发明实施例对此可不做具体限定。
[0050] 另外， 本发明实施例中， 可以通过合理布置相机的位置以及拍摄视域， 由至少 两台相机实现视域的全景覆盖， 也就是说可实现水平 360度和垂直 180度的覆盖 。 本发明实施例中， 通过全景拍摄平台来拍摄照片或录制视频， 具体可参照下 文所做介绍， 其中图 4示出了本发明实施例中全景拍摄平台的一种结构示例图。
[0051] 举例来说， 本发明实施例可通过以下方式在各个相机之间进行成像参数同步： 手动为各个相机设定相同的成像参数； 或者， 由第三方设备向各个相机输入相 同的成像参数， 例如下文中介绍的控制器。 需要说明的是， 第三方设备向相机 输入的成像参数， 可以是人为手动设置， 也可以是第三方平台根据需要自动生 成， 本发明实施例对此可不做具体限定。
[0052] 需要说明的是， 本发明实施例方案既可适用于全景图像生成过程， 又可适用于 全景视频生成过程。 如果全景拍摄用于拍摄全景图像， 则图片集合中的图片为 相机拍摄的照片； 如果全景拍摄用于拍摄全景视频， 则图片集合中的图片为相 机录制视频中提取的图像帧。
[0053] 举例来说， 为了节省数据传输带宽， 图片可以 Bayer格式 RAW数据流方式传输 ， 如此， 针对图片集合中的图片还可先进行预处理， 将其处理成彩色图像。 作 为一种示例， 本发明实施例中的预处理可以为： 通过曝光和增益来控制图像亮 度、 通过白平衡来控制色彩分量比重、 通过伽马来控制不同亮度区域的对比度 ， 等等， 本发明实施例对此可不做具体限定。
[0054] S102, 对所述至少两个图片集合中的图片进行像素点映射， 并根据重合区域进 行拼接处理， 获得全景图片。
[0055] 本步骤主要用于通过映射处理和拼接处理生成全景图片。 作为一种示例， 可通 过图形处理器 （英文： Graphics Processing Unit, 简称： GPU) 生成全景图片。
[0056] 具体地， 将获得的图片集合写入第一内存后， 可通过向 GPU赋操作权的方式， 由 GPU对图片集合做映射和拼接处理。 举例来说， 可通过将第一内存标记为 GP U控制的方式， 实现向 GPU赋操作权的目的。 举例来说， 本发明实施例中的映射 处理可以体现为将图片集合中的每张图片的像素点映射到全景图片的对应位置 ， 拼接处理则可体现为对重叠区域的融合过渡处理。
[0057] S103 , 对所述全景图片进行编码压缩处理。
[0058] 为了方便全景图片的存储与传输， 还可对全景图片做编码压缩处理， 具体可通 过编码器 （Encoder) 实现， 如高清 H.264/H.265编码器。 具体地， 在 GPU生成全 景图片后， 可通过向 Encoder赋操作权的方式， 由 Encoder对全景图片进行编码压 缩处理。 举例来说， 可通过将第一内存标记为 Encoder控制的方式， 实现向 Encod er赋操作权的目的。
[0059] 综上就完成了本发明实施例的全景拍摄处理过程， 首先， 作为处理对象的图片 ， 因为各相机之间进行了成像参数同步， 所以图片之间不会存在过多的差异， 为降低计算量提供了技术基础， 同吋还为生成高质量的全景图片提供了技术保 障； 其次， 本发明实施例的处理过程脱离了计算机， 由专用全景拍摄处理装置 实现， 还有助于解决冗余电路造成的全景拍摄系统的整体功耗高的问题。
[0060] 参考图 2， 示出了本发明实施例全景拍摄处理方法实施例 2的流程图。 本实施例 主要适用于拍摄全景视频， 可以包括以下步骤：
[0061] S101 , 获取至少两个图片集合， 所述至少两个图片集合分别由对应的至少两台 相机生成， 每个图片集合包括至少一张图片， 所述至少两台相机的视域能够全 景覆盖， 且所述至少两台相机之间实现成像参数同步。
[0062] S102, 对所述至少两个图片集合中的图片进行像素点映射， 并根据重合区域进 行拼接处理， 获得全景图片。
[0063] S103 , 对所述全景图片进行编码压缩处理。
[0064] 步骤 S101~S103的实现过程可参照上文图 1处所做介绍， 此处不再赘述。
[0065] S201 , 获取音频数据， 并对所述音频数据进行编码压缩处理， 获得音频文件； [0066] S202, 根据吋间戳信息， 对所述全景图片和所述音频文件进行混合处理， 获得 全景视频文件。
[0067] 也就是说， 在拍摄全景视频吋， 除了全景图片之外， 还需要获得全景图片对应 的音频文件。 具体地， 在全景拍摄平台生成图片集合吋， 还可同步采集此吋对 应出现的音频数据， 并由全景拍摄处理装置将获得的音频数据写入第二内存， 然后由编码器对音频数据进行编码压缩处理， 获得音频文件， 进而再对全景图 片和音频文件做混合处理， 生成全景视频文件。 需要说明的是， 同样可通过将 第二内存标记为 Encoder控制的方式， 实现向 Encoder赋操作权的目的。
[0068] 另外， 需要说明的是， 音频信息可以由全景拍摄处理装置采集获得， 也可以由 全景拍摄平台采集获得， 或者还可以由其他第三方设备采集获得， 本发明实施 例对此可不做具体限定。
[0069] 与上文所述方法相对应地， 本发明实施例还提供一种全景拍摄处理装置， 参见 图 3， 示出了全景拍摄处理装置的结构示意图， 可包括：
[0070] 图片集合获取单元 301， 用于获取至少两个图片集合， 所述至少两个图片集合 分别由对应的至少两台相机生成， 每个图片集合包括至少一张图片， 所述至少 两台相机的视域能够全景覆盖， 且所述至少两台相机之间实现成像参数同步； [0071] 全景图片获得单元 302， 用于对所述至少两个图片集合中的图片进行像素点映 射， 并根据重合区域进行拼接处理， 获得全景图片；
[0072] 编码压缩处理单元 303， 用于对所述全景图片进行编码压缩处理。
[0073] 可选地， 所述全景图片获得单元， 具体用于将所述至少两个图片集合写入第一 内存， 并控制图形处理器 GPU获得所述第一内存的操作权； 所述 GPU控制进行 所述像素点映射和所述拼接处理， 获得所述全景图片。
[0074] 可选地， 所述编码压缩处理单元， 具体用于控制编码器获得所述第一内存的操 作权， 并由所述编码器对所述全景图片进行编码处理。
[0075] 可选地， 所述全景拍摄用于拍摄全景视频， 所述装置还包括：
[0076] 音频文件获得单元， 用于获取音频数据， 并对所述音频数据进行编码压缩处理
， 获得音频文件；
[0077] 混合处理单元， 用于根据吋间戳信息， 对所述全景图片和所述音频文件进行混 合处理， 获得全景视频文件。
[0078] 可选地， 所述音频文件获得单元， 具体用于将所述音频数据保存至第二内存， 并控制编码器获得所述第二内存的操作权； 所述编码器对所述音频数据进行编 码处理， 获得所述音频文件。 [0079] 与上文所述方法相对应地， 本发明实施例还提供一种全景拍摄处理系统， 所述 系统包括： 上文所述的全景拍摄处理装置、 全景拍摄平台和控制器。 其中， 所 述控制器， 用于对所述全景拍摄平台进行成像参数同步； 所述全景拍摄平台， 用于根据所述控制器同步的成像参数， 生成至少两个图片集合。
[0080] 可选地， 所述全景拍摄平台包括至少两个传感器板 （Sensor Board) 和至少两 台相机， 所述至少两台相机相互配合， 共同实现视域的全景覆盖， 每台相机安 装于各自对应的一个传感器板上， 所述控制器通过所述传感器板对所述相机进 行成像参数同步。
[0081] 作为一种示例， 全景拍摄平台可以包括两个传感器板和两台 185度相机， 其中 ， 两个传感器板呈背靠背方式设置， 每台 185度相机安装于一块传感器板上， 实 现水平 360度和垂直 180度的全景覆盖。
[0082] 作为一种示例， 全景拍摄平台可以包括三个传感器板和三台 185度鱼眼相机， 其中， 三个传感器板之间采用 60度内夹角方式连接， 每台 185度鱼眼相机安装于 一个传感器板上， 实现水平 360度和垂直 180度的全景覆盖。 具体可参见图 4所示 全景拍摄平台的俯视示意图。
[0083] 作为一种示例， 全景拍摄平台可以包括四个传感器板和四台 150度〜 160度鱼眼 相机， 其中， 四个传感器板之间采用 90度内夹角方式连接， 每台鱼眼相机安装 于一个传感器板上， 实现水平 360度和垂直 180度的全景覆盖。
[0084] 当然， 可以根据实际拍摄需要， 设置全景拍摄平台的多种实现方式， 本发明实 施例仅以上文所举示例做简单说明， 但并不对全景拍摄平台的具体结构做具体 限定。 另外， 还需要说明的是， 全景拍摄平台除了可实现视域的全景覆盖之外 ， 相邻相机之间还可存在一定的重叠 （overlap) 区域， 如此可更好的保证全景 拍摄平台的全景覆盖。
[0085] 可选地， 全景拍摄平台还可根据外部控制， 在全景图像模式和全景视频模式之 间切换， 分别用于生成全景图像或者全景视频。
[0086] 可选地， 所述控制器， 还用于在不进行全景拍摄吋， 控制所述全景拍摄平台切 换为休眠状态。 也就是说， 全景拍摄平台可根据控制器的控制， 在工作状态和 休眠状态之间切换， 如此还有助于进一步降低全景拍摄系统的整体功耗。 [0087] 需要说明的是， 控制器可仅用于同步成像参数、 切换全景拍摄平台状态， 对应 于此， 本发明实施例全景拍摄处理系统的交互方式可以为： 全景拍摄平台分别 与控制器和全景拍摄处理装置通信， 全景拍摄平台生成的图片集合直接发送至 全景拍摄处理装置。
[0088] 或者， 除同步成像参数、 切换全景拍摄平台状态等功能外， 还可将部分对图片 集合的处理移植控制器实现， 如控制器通过 FPGA (Field -Programmable Gate Array, 中文： 现场可编程门阵列） 实现， FPGA可先对图片集合中的图片稍作处 理， 然后再传输至全景拍摄处理装置进行后续处理， 如由 FPGA对图片做水平对 齐、 预处理等等， 本发明实施例对此可不做具体限定。 对应于此， 本发明实施 例全景拍摄处理系统的交互方式可以为： 控制器分别与全景拍摄处理装置和全 景拍摄平台通信， 即全景拍摄平台生成的图片集合通过控制器发送至全景拍摄 处理装置。
[0089] 综上， 上文仅是对本发明实施例系统所含部件的划分方式做的举例说明， 但本 发明实施例对此并不做具体限定。
[0090] 需要说明的是， 本说明书中的各个实施例均采用递进的方式描述， 每个实施例 重点说明的都是与其他实施例的不同之处， 各个实施例之间相同相似的部分互 相参见即可。 对于装置类和系统类实施例而言， 由于其与方法实施例基本相似 ， 所以描述的比较简单， 相关之处参见方法实施例的部分说明即可。
[0091] 最后， 还需要说明的是， 在本文中， 术语"包括"、 "包含"或者其任何其他变体 意在涵盖非排他性的包含， 从而使得包括一系列要素的过程、 方法、 物品或者 设备不仅包括那些要素， 而且还包括没有明确列出的其他要素， 或者是还包括 为这种过程、 方法、 物品或者设备所固有的要素。 在没有更多限制的情况下， 由语句 "包括一个 ...... "限定的要素， 并不排除在包括所述要素的过程、 方法、 物 品或者设备中还存在另外的相同要素。
[0092] 以上对本发明所提供的方案进行了详细介绍， 本文中应用了具体个例对本发明 的原理及实施方式进行了阐述， 以上实施例的说明只是用于帮助理解本发明的 方法及其核心思想； 同吋， 对于本领域的一般技术人员， 依据本发明的思想， 在具体实施方式及应用范围上均会有改变之处， 综上所述， 本说明书内容不应 理解为对本发明的限制。

Claims

权利要求书
一种全景拍摄处理方法， 其特征在于， 所述方法包括：
获取至少两个图片集合， 所述至少两个图片集合分别由对应的至少两 台相机生成， 每个图片集合包括至少一张图片， 所述至少两台相机的 视域能够全景覆盖， 且所述至少两台相机之间实现成像参数同步； 对所述至少两个图片集合中的图片进行像素点映射， 并根据重合区域 进行拼接处理， 获得全景图片；
对所述全景图片进行编码压缩处理。
根据权利要求 1所述的方法， 其特征在于， 所述对所述至少两个图片 集合中的图片进行像素点映射， 并根据重合区域进行拼接处理， 获得 全景图片， 包括：
将所述至少两个图片集合写入第一内存， 并控制图形处理器 GPU获得 所述第一内存的操作权；
所述 GPU控制进行所述像素点映射和所述拼接处理， 获得所述全景图 片。
根据权利要求 1所述的方法， 其特征在于， 所述对所述全景图片进行 编码压缩处理， 包括：
控制编码器获得所述第一内存的操作权， 并由所述编码器对所述全景 图片进行编码处理。
根据权利要求 1至 3任一项所述的方法， 其特征在于， 所述全景拍摄用 于拍摄全景视频， 所述方法还包括：
获取音频数据， 并对所述音频数据进行编码压缩处理， 获得音频文件 根据吋间戳信息， 对所述全景图片和所述音频文件进行混合处理， 获 得全景视频文件。
[权利要求 5] 根据权利要求 4所述的方法， 其特征在于， 所述对所述音频数据进行 编码压缩处理， 获得音频文件， 包括：
将所述音频数据保存至第二内存， 并控制编码器获得所述第二内存的 操作权；
所述编码器对所述音频数据进行编码处理， 获得所述音频文件。 一种全景拍摄处理装置， 其特征在于， 所述装置包括：
图片集合获取单元， 用于获取至少两个图片集合， 所述至少两个图片 集合分别由对应的至少两台相机生成， 每个图片集合包括至少一张图 片， 所述至少两台相机的视域能够全景覆盖， 且所述至少两台相机之 间实现成像参数同步；
全景图片获得单元， 用于对所述至少两个图片集合中的图片进行像素 点映射， 并根据重合区域进行拼接处理， 获得全景图片；
编码压缩处理单元， 用于对所述全景图片进行编码压缩处理。
一种全景拍摄处理系统， 其特征在于， 所述系统包括： 如权利要求 6 所述的全景拍摄处理装置、 全景拍摄平台和控制器；
所述控制器， 用于对所述全景拍摄平台进行成像参数同步； 所述全景拍摄平台， 用于根据所述控制器同步的成像参数， 生成至少 两个图片集合。
根据权利要求 7所述的系统， 其特征在于， 所述全景拍摄平台包括至 少两个传感器板和至少两台相机， 所述至少两台相机的视域能够全景 覆盖， 每台相机安装于一个传感器板上， 所述控制器通过所述传感器 板对所述相机进行成像参数同步。
根据权利要求 8所述的系统， 其特征在于， 所述全景拍摄平台包括三 个传感器板和三台 185度鱼眼相机，
所述三个传感器板之间采用 60度内夹角方式连接， 所述三台 185度鱼 眼相机分别安装于所述三个传感器板上， 实现水平 360度和垂直 180度 的全景覆盖。
根据权利要求 7至 9任一项所述的系统， 其特征在于，
所述控制器， 还用于在不进行全景拍摄吋， 控制所述全景拍摄平台切 换为休眠状态。
PCT/CN2016/078907 2015-12-30 2016-04-08 一种全景拍摄处理方法、装置及系统 WO2017113534A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201511015633.0 2015-12-30
CN201511015633.0A CN105516596A (zh) 2015-12-30 2015-12-30 一种全景拍摄处理方法、装置及系统

Publications (1)

Publication Number Publication Date
WO2017113534A1 true WO2017113534A1 (zh) 2017-07-06

Family

ID=55724196

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/078907 WO2017113534A1 (zh) 2015-12-30 2016-04-08 一种全景拍摄处理方法、装置及系统

Country Status (2)

Country Link
CN (1) CN105516596A (zh)
WO (1) WO2017113534A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105959562A (zh) * 2016-06-14 2016-09-21 完美幻境(北京)科技有限公司 获取全景拍摄数据的方法、装置以及便携式全景拍摄设备
CN105979246A (zh) * 2016-06-17 2016-09-28 北京疯景科技有限公司 一种拍摄全景内容的方法及装置
CN106101627A (zh) * 2016-06-30 2016-11-09 乐视控股（北京）有限公司 一种虚拟现实系统中的视频处理方法和装置
CN106412669B (zh) * 2016-09-13 2019-11-15 微鲸科技有限公司 一种全景视频渲染的方法和设备
US10778910B2 (en) * 2017-03-22 2020-09-15 Humaneyes Technologies Ltd. System and methods for correcting overlapping digital images of a panorama
CN107566757A (zh) * 2017-08-25 2018-01-09 包谦 一种全景视频的制作方法
CN112422808B (zh) * 2019-08-23 2023-05-19 阿里巴巴集团控股有限公司 照片的获取、媒体对象的处理方法及装置、电子设备
CN112218099A (zh) * 2020-08-28 2021-01-12 新奥特（北京）视频技术有限公司 全景视频生成、播放方法及装置、全景视频生成系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060215930A1 (en) * 2005-03-25 2006-09-28 Fujitsu Limited Panorama image generation program, panorama image generation apparatus, and panorama image generation method
CN201903752U (zh) * 2010-12-04 2011-07-20 徐进 全景摄像机
CN103197498A (zh) * 2013-03-11 2013-07-10 哈尔滨工程大学 一种具备同步镜头参数调节功能的全景视觉系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1207927B (it) * 1979-12-05 1989-06-01 Ivo Rosset Dispositivo per eseguire fotografie panoramiche.
JP2578526B2 (ja) * 1990-11-20 1997-02-05 キヤノン株式会社 カメラ
CN101630117A (zh) * 2008-07-15 2010-01-20 上海虚拟谷数码科技有限公司 多摄像机同步获取360°高清全景系统及其应用
CN101404725B (zh) * 2008-11-24 2010-07-21 华为终端有限公司 摄像机、摄像机组、摄像机组的控制方法、装置及系统
CN101877767A (zh) * 2009-04-30 2010-11-03 爱国者全景(北京)网络科技发展有限公司 一种六通道视频源生成三维全景连续视频的方法和系统
CN201754214U (zh) * 2010-07-20 2011-03-02 北京四维图新科技股份有限公司 全景拍摄装置
CN103123439A (zh) * 2011-11-18 2013-05-29 北京今日赛博艺术科技有限公司 360全景视频拍摄设备
CN102857739B (zh) * 2012-08-20 2015-09-09 上海光亮光电科技有限公司 分布式全景监控系统及其方法
CN102945563B (zh) * 2012-09-26 2017-05-24 天津游奕科技有限公司 一种全景视频的展示与交互系统及方法
CN104184961A (zh) * 2013-05-22 2014-12-03 辉达公司 用于生成全景视频的移动设备和系统
CN104539931A (zh) * 2014-12-05 2015-04-22 北京格灵深瞳信息技术有限公司 一种多目相机系统、装置及同步方法
CN104954692B (zh) * 2015-06-30 2019-05-07 百度在线网络技术（北京）有限公司 通过终端设备控制相机拍摄的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060215930A1 (en) * 2005-03-25 2006-09-28 Fujitsu Limited Panorama image generation program, panorama image generation apparatus, and panorama image generation method
CN201903752U (zh) * 2010-12-04 2011-07-20 徐进 全景摄像机
CN103197498A (zh) * 2013-03-11 2013-07-10 哈尔滨工程大学 一种具备同步镜头参数调节功能的全景视觉系统

Also Published As

Publication number Publication date
CN105516596A (zh) 2016-04-20

Similar Documents

Publication Publication Date Title
WO2017113534A1 (zh) 一种全景拍摄处理方法、装置及系统
CN108650542B (zh) 生成竖屏视频流、图像处理的方法、电子设备和视频系统
WO2018014495A1 (zh) 实时全景直播网络摄像机和系统及方法
US10148875B1 (en) Method and system for interfacing multiple channels of panoramic videos with a high-definition port of a processor
US9258516B2 (en) News production system with display controller
WO2018094866A1 (zh) 一种基于无人机的全景直播方法及终端
CA3018600C (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
WO2015051612A1 (zh) 数字电影放映系统及方法
JP2010212811A (ja) 動画像符号化装置及び動画像復号化装置
CN101227568B (zh) 视频图像的特效变换方法
CN105959562A (zh) 获取全景拍摄数据的方法、装置以及便携式全景拍摄设备
WO2020135604A1 (zh) 一种图像处理方法、装置和无人机
CN107580228B (zh) 一种监控视频处理方法、装置及设备
WO2015089944A1 (zh) 一种处理视频会议画面的方法、装置及会议终端
JP2008109364A (ja) カメラサーバシステム、データの処理方法、およびカメラサーバ
GB2526618A (en) Method for generating a screenshot of an image to be displayed by a multi-display system
JP6300651B2 (ja) 動画記録再生装置
WO2017049597A1 (en) System and method for video broadcasting
US20240015264A1 (en) System for broadcasting volumetric videoconferences in 3d animated virtual environment with audio information, and procedure for operating said device
CN112887653B (zh) 一种信息处理方法和信息处理装置
US11284094B2 (en) Image capturing device, distribution system, distribution method, and recording medium
JP2021078114A (ja) 撮影装置、配信システム、配信方法および記録媒体
KR101130210B1 (ko) 초고화질 영상을 위한 크로마키 시스템
KR20180092469A (ko) 3d카메라와 웹 실시간 통신을 이용한 실시간 프레젠테이션 방송 방법
KR102637147B1 (ko) 세로 모드 스트리밍 방법, 및 이동형 세로 모드 스트리밍 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16880342

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 19.11.2018)

122 Ep: pct application non-entry in european phase

Ref document number: 16880342

Country of ref document: EP

Kind code of ref document: A1