WO2015180686A1 - 一种图像获取装置、图像获取方法及终端 - Google Patents

一种图像获取装置、图像获取方法及终端 Download PDF

Info

Publication number
WO2015180686A1
WO2015180686A1 PCT/CN2015/080281 CN2015080281W WO2015180686A1 WO 2015180686 A1 WO2015180686 A1 WO 2015180686A1 CN 2015080281 W CN2015080281 W CN 2015080281W WO 2015180686 A1 WO2015180686 A1 WO 2015180686A1
Authority
WO
WIPO (PCT)
Prior art keywords
cameras
image
brightness
shooting
same scene
Prior art date
Application number
PCT/CN2015/080281
Other languages
English (en)
French (fr)
Inventor
吴炽强
Original Assignee
宇龙计算机通信科技(深圳)有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宇龙计算机通信科技(深圳)有限公司 filed Critical 宇龙计算机通信科技(深圳)有限公司
Priority to US15/314,456 priority Critical patent/US10063789B2/en
Priority to EP15800509.0A priority patent/EP3151539B1/en
Publication of WO2015180686A1 publication Critical patent/WO2015180686A1/zh

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种图像获取装置，其包括：摄像模块，所述摄像模块包括至少两个摄像头；控制模块，用于控制所述摄像模块的至少两个摄像头对同一场景进行拍摄；以及处理模块，用于对所述摄像模块对同一场景拍摄的图像进行处理，以得到亮度增强的图像。本发明还对应提供一种图像获取方法及终端。本发明能够实现在暗光环境下获取较高亮度且清晰图像。

Description

一种图像获取装置、图像获取方法及终端
本申请要求于2014年05月29日提交中国专利局，申请号为CN 201410234555.2、发明名称为“一种图像获取装置、图像获取方法及终端”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本发明涉及终端拍摄领域，尤其涉及一种在暗光条件下能够增强图像亮度的图像获取装置、图像获取方法及终端。
背景技术
环境照度：反映目标所处环境明暗的物理量，数值上等于垂直通过单位面积的光通量。照度的单位为Lux(勒克司)，1Lux等于1流明(lumen)的光通量均匀照在1平方米表面上所产生的照度。当环境照度较小时，如小于10Lux，则认为是暗光环境。
在暗光环境下进行拍摄时，会由于环境照度不足而导致拍摄得到的图像亮度降低，图像整体较黑，不清晰。现有技术中，为了改变在暗光条件下拍摄图像的亮度，通常采用增长曝光时间的方法。由于手持终端在拍摄过程中通常是人手握持的，由于曝光的过程中并不进行图像对准，很容易导致在长时间的曝光过程中而导致图像模糊。
因此，如何提供一种在暗光条件下能够亮度满足要求的图像获取装置、图像获取方法及终端，是本领域技术人员亟待解决的技术问题。
发明内容
本发明提供了一种图像获取装置、图像获取方法及终端，以解决现有技术存在的暗光条件下拍摄的图像亮度不足的问题。
为了实现上述目的，本发明提供图像获取装置及图像获取方法。
一种图像获取装置，其包括:
摄像模块，所述摄像模块包括至少两个摄像头；
控制模块，用于控制所述摄像模块的至少两个摄像头对同一场景进行拍摄；以及
处理模块，用于对所述摄像模块对同一场景拍摄的图像进行处理，以得到亮度增强的图像。
其中，所述处理模块包括校正单元、去噪单元以及亮度叠加单元，所述正单元用于根据所述至少两个摄像头之间的距离及位置关系对得到的至少两个摄像头同时拍摄的图像进行校正，所述去噪单元用于去除校正后至少两个摄像头同时拍摄的两个图像中的噪点；所述亮度叠加模块用于将两个摄像头同时拍摄的图像的对应的像素点进行亮度叠加，从而合成得到一个亮度增强的图像。
其中，所述控制模块包括暗光判断单元及控制单元，所述暗光判断单元用于检测拍摄时环境照度，环境照度小于设定的阈值，则判定拍摄环境为暗光环境，所述控制单元用于基于所述暗光判断单元判断拍摄环境为暗光环境，控制至少两个摄像头同时对同一场景进行拍摄。
其中，所述控制单元还用于基于接收到连拍指令，控制至少两个摄像头对同一场景进行连拍。
其中，所述处理模块包括校正单元、去噪单元以及亮度叠加单元，所述校正单元对每次至少两个摄像头同时拍摄的图像进行校正，所述去噪单元用于去除校正后每次至少两个摄像头同时拍摄的至少两个图像中的噪点，所述亮度叠加模块用于将当前次至少两个摄像头拍摄的图像以及前一次拍摄获得的图像亮度叠加后得到的图像的对应的像素点进行亮度叠加，从而合成得到一个多次拍摄后亮度增强的图像。
其中，所述图像获取装置还包括显示模块，所述显示模块用于显示每次拍摄后获得的亮度增强的图像。
一种图像获取方法，包括步骤：
控制至少两个摄像头对同一场景进行拍摄；以及
对两个摄像头对同一场景拍摄获得的两个图像进行处理，得到一个亮度增强的图像。
其中，所述图像获取方法还包括判断拍摄环境是否为暗光环境，若拍摄环境为暗光环境，则控制至少两个摄像头对同一场景进行拍摄。
一种图像获取方法，包括步骤：
控制至少两个摄像头对同一场景进行第一次拍摄；
对至少两个摄像头对同一场景拍摄获得的图像进行处理，得到一个亮度增强的图像；
判断是否接收到需要进行连拍的指令，若是，控制至少两个摄像头进行连拍，获取连拍所得的多帧图像，处理得到一张亮度增强的图像，并进行显示。
一种图像获取终端，包括处理器、存储器和摄像头模块，其中，所述摄像头模块包括至少两个摄像头，所述存储器中存储一组程序代码，且所述处理器用于调用所述存储器中存储的程序代码，用于执行以下操作：
控制至少两个摄像头对同一场景进行拍摄；以及
对至少两个摄像头对同一场景拍摄获得的两个图像进行处理，得到一个亮度增强的图像。
其中，所述处理器对至少两个摄像头对同一场景拍摄获得的两个图像进行处理，得到一个亮度增强的图像包括：
根据所述至少两个摄像头之间的距离及位置关系对得到的至少两个摄像头同时拍摄的图像进行校正；
将两个摄像头同时拍摄的图像的对应的像素点进行亮度叠加，从而合成得到一个亮度增强的图像。
其中，所述处理器控制至少两个摄像头对同一场景进行拍摄包括：
判断拍摄环境是否为暗光环境，若拍摄环境为暗光环境，则控制至少两个摄像头对同一场景进行拍摄。
其中，所述处理器还执行以下操作：
基于接收到的连拍指令，控制至少两个摄像头对同一场景进行连拍。
其中，所述处理器对至少两个摄像头对同一场景拍摄获得的两个图像进行处理，得到一个亮度增强的图像包括：
对每次至少两个摄像头同时拍摄的图像进行校正；
去除校正后每次至少两个摄像头同时拍摄的至少两个图像中的噪点；
将当前次至少两个摄像头拍摄的图像以及前一次拍摄获得的图像亮度叠加后得到的图像的对应的像素点进行亮度叠加，从而合成得到一个多次拍摄后 亮度增强的图像。
其中，所述处理器对至少两个摄像头对同一场景拍摄获得的两个图像进行处理，得到一个亮度增强的图像之后，还执行以下操作：
显示每次拍摄后获得的亮度增强的图像。
本技术方案提供的图像获取方法、装置及终端，其采用至少两个摄像头，在拍摄环境为暗光环境时，可以控制至少两个摄像头同时对同一场景拍摄，并对拍摄后得到的图像进行处理，以得到亮度叠加的图像。从而，本技术方案提供的图像获取方法、装置及终端，能够在暗光的环境下获得亮度增强的图像。由于本技术方案的至少两个摄像头可以控制同时对同一场景进行拍摄，可以解决现有技术中采用增加曝光时间而导致获得的图像模糊不清的问题。
附图说明
图1为本技术方案实施方式提供的图像获取装置的结构框图；
图2为本技术方案一个实施方式提供的图像获取方法的流程图；
图3为本技术方案的另一实施方式提供的图像获取方法的流程图；
图4为本技术方案的一个实施方式提供的图像获取终端的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
请参阅图1，本发明的第一实施方式提供一种图像获取装置100。所述图像获取装置100可以应用于手机、平板电脑等智能设备，本发明所涉及的拍摄不局限于拍照、视频等等，下文以拍照为例进行说明，视频等则是将多张照片按照时间顺序进行合成，也即是本发明同样适用于视频拍摄。
所述图像获取装置100包括摄像模块110、控制模块120、处理模块130及显示模块140。
所述摄像模块110可以是手机等终端内的摄像头模组部分，其用于对外部 场景进行图像采样(如拍照、录视频等)。摄像模块110包括至少两个摄像头。
本实施方式中，所述摄像模块110包括两个摄像头，优选的，两个摄像头分辨率相同。两个摄像头相邻设置。优选地，在制作过程允许的情况下，两个摄像头的距离尽可能的小，以使得两个摄像头对同一场景进行拍摄时，以使得两个摄像头拍摄到的图像能够尽可能多的匹配。
所述控制模块120用于控制所述摄像模块对场景进行拍摄。具体的，所述控制模块120判断拍摄环境是否为暗光环境，控制摄像模块110进行拍摄。具体的，若是，则控制摄像模块110的两个摄像头同时对同一场景进行拍摄，若否，则控制摄像模块110的一个摄像头进行拍摄。所述控制模块120还用于在暗光环境时，根据拍摄者的连拍指令，控制两个摄像头同时对同一场景进行连拍，即控制两个摄像头均进行多次拍摄，在进行多次拍摄时，可以控制每一次拍摄两个摄像头均同时进行。
所述控制模块120具体可以包括暗光判断单元121及控制单元122。所述暗光判断单元121用于检测拍摄时环境照度，当环境照度小于设定的阈值时，则判定拍摄环境为暗光环境。当环境照度大于设定的阈值时，则判定拍摄环境为普通环境。所述控制单元122用于在所述暗光判断单元121判断拍摄环境为暗光环境时，启动暗光拍摄模式，即控制两个摄像头同时对同一场景进行拍摄。在所述环境暗光判断单元121判断拍摄环境为正常环境时，启动正常拍摄模式，即控制摄像模块110的两个摄像头中的一个进行拍摄。
所述处理模块130用于对所述摄像模块110对同一场景拍摄的图像进行处理，以得到亮度增强的图像。
所述处理模块130具体可以包括校正单元131、去噪单元132及亮度叠加单元133。
由于摄像模块110的两个摄像头之间具有距离，两个摄像头对同一时间的同一场景的进行拍摄得到的图像可能会存在偏移。所述校正单元131用于根据所述两个摄像头之间的距离及位置关系对得到的两个摄像头同时拍摄的图像进行校正，从而使得两个图像能够重合。即通过校正后，相同的拍摄物在两个图像中位于相同的位置。
具体的，本实施方式中，校正单元131采用如下方法来图像校正：首先， 在距离两个摄像头的距离均为H1且垂直于光轴的平面内确定A、B、C三个点，采用两个摄像头同时进行拍摄获取图像，在第一个摄像头拍摄后得到的图像中，成像对应分别为A0、B0、C0，在第二个摄像头拍摄后得到的图像中，成像对应分别为A1、B1、C1。设定A0、B0、C0分别对应的像素点的坐标分别为(Xa0，Ya0)(Xb0，Yb0)(Xc0，Yc0)，设定A1、B1、C1分别对应的像素点的坐标分别为(Xa1，Ya1)(Xb1，Yb1)(Xc1，Yc1)，则存在如下关系式：
Xa1＝m+k1Xa0+k2Ya0
Ya1＝n+k3Ya0+k4Xa0
Xb1＝m+k1Xb0+k2Yb0
Yb1＝n+k3Yb0+k4Xb0
Xc1＝m+k1Xc0+k2Yc0
Yc1＝n+k3Yc0+k4Xc0
成像后，上述6个像素点的坐标(即点在图像中的位置)已知，则可以计算出校正参数m、n、k1、k2、k3、k4的值。
按照上述的方法，可以计算出与摄像头不同距离的平面内的校正参数。将与摄像头不同距离的平面对应的校正参数进行存储。从而，当采用两个摄像头同时进行拍摄时，可以根据校正参数，从而可以得出一个摄像头拍摄后图像中的某一像素点在另一摄像头拍摄得到的图像中对应的像素点，可以通过对其中一个图像进行移动，从而可以使得两个图像对应的像素点进行对应，完成两个图像的校正。
所述去噪单元132用于去除校正后两个摄像头同时拍摄的两个图像中的噪点。所述去噪单元132可以采用现有技术中的去噪算法进行噪点的去除。本实施方式中，所述去噪单元132采用如下方法去除噪点：首先，获取校正后的对两个摄像头同时拍摄的两个图像的各个像素点的亮度值。然后，将两个图像中相同对应像素点的亮度值或颜色值之差大于预定阈值的像素点取定为噪点。最后，分别将两个图像中的噪点去除，并根据噪点周围的像素点的亮度信息和颜色值生成噪点处像素点的亮度和颜色。
所述亮度叠加模块133用于将两个摄像头同时拍摄的图像的对应的像素点进行亮度叠加，从而合成得到一个亮度增强的图像。
可以理解的是，当两个摄像头被控制进行多次连拍时，所述校正单元131对每次两个摄像头同时拍摄的两个图像进行校正。所述去噪单元132用于去除校正后每次两个摄像头同时拍摄的两个图像中的噪点。所述亮度叠加模块133用于将当前次两个摄像头拍摄的图像以及前一次两个摄像头拍摄的图像亮度叠加后得到的图像的对应的像素点进行亮度叠加，从而合成得到一个亮度增强的图像。即在第一次拍摄后，仅将第一次两个摄像头拍摄的图像对应的像素点进行亮度叠加，得到第一次拍摄后的亮度增强的图像。在第二次拍摄后，将第二次两个摄像头拍摄的图像与第一次拍摄后亮度叠加的图像对应的像素点进行亮度叠加，从而得到第二次拍摄后亮度增强的图像。按照这样的方式，随着连拍次数的增加，最后获得的图像亮度增强显著。所述显示模块140用于显示经过处理模块130处理后亮度增强的图像。可以理解的是，当进行多次连拍时，所述显示模块140用于显示每次拍摄后得到的亮度增强的图像。从而可以使得拍摄者能够直观的观察进行多次拍摄及处理后得到的亮度增强的图像，当拍摄者观察到当前观察到的图像的亮度可以满足要求时，可以控制停止连拍。可以理解的是，在进行正常拍摄模式是，所述显示模块140还用于显示所述摄像模块110的其中一个摄像头拍摄的图像。
本技术方案提供的图像获取装置100，其包括两个摄像头，在拍摄环境为暗光环境时，可以控制两个摄像头同时对同一场景拍摄，并对拍摄后得到的图像进行处理，以得到亮度叠加的图像。从而，本技术方案提供的图像获取装置100能够在暗光的环境下获得亮度增强的图像。由于本技术方案的两个摄像头可以控制同时对同一场景进行拍摄，可以解决现有技术中采用增加曝光时间而导致获得的图像模糊不清的问题。
本技术方案还对应提供一种图像获取方法，所述图像获取方法可以采用本技术方案实施方式提供的图像获取装置100来实现，所述图像处理方法包括步骤：
S101，判断拍摄环境是否为暗光环境。
在本步骤中，可以检测拍摄时环境照度，当环境照度小于设定的阈值时，则判定拍摄环境为暗光环境。当环境照度大于设定的阈值时，则判定拍摄环境为普通环境。
S102，若是，则控制两个摄像头同时对同一场景进行拍摄。
在判断拍摄环境为暗光环境时，启动暗光拍摄模式，即控制两个摄像头同时对同一场景进行拍摄。在判断拍摄环境为正常环境时，启动正常拍摄模式，即可以控制两个摄像头中的一个进行拍摄，获取图像后可以结束拍摄。
S103，对两个摄像头对同一场景拍摄获得的两个图像进行处理，得到一个亮度增强的图像。
本步骤具体可以为：
首先，对两个摄像头对同一场景拍摄获得的两个图像进行校正。由于摄像模块的两个摄像头之间具有距离，两个摄像头对同一时间的同一场景的进行拍摄得到的图像可能会存在偏移。根据所述两个摄像头之间的距离及位置关系对得到的两个摄像头同时拍摄的图像进行校正，从而使得两个图像的中心能够重合。即通过校正后，相同的拍摄物在两个图像中位于相同的位置。
然后，去除校正后两个摄像头对同一场景拍摄获得的两个图像的噪点。
可以采用现有技术中的去噪算法进行噪点的去除。本实施方式中，可以采用如下方法去除噪点：先获取校正后的对两个摄像头同时拍摄的两个图像的各个像素点的亮度值。再将两个图像中相同对应像素点的量度亮度值之差大于预定阈值的像素点取定为噪点。最后，分别将两个图像中的噪点去除，并根据噪点周围的像素点的亮度信息和颜色值生成噪点处像素点的亮度和颜色。
最后，将去除噪点之后的两个摄像头同时拍摄的图像的对应的像素点进行亮度叠加，从而合成得到一个亮度增强的图像。即将两个图像中对应的像素点的量度进行叠加后得到亮度增强的图像的像素点的量度，从而得到的亮度增强的图像的亮度大致为原来摄像头拍摄的图像的亮度的两倍。
S104，显示获得的亮度增强的图像。
在此之后，还可以包括对亮度增强的图像进行存储的操作。
可以理解的是，当拍摄者能够确认拍摄环境为暗光环境或者默认拍摄环境为暗光环境时，本实施方式提供的图像获取方法也可以不包括对拍摄环境是否为暗光环境进行判断的步骤。
可以理解的是，本实施方式中，以两个摄像头为例来进行说明，当采用两个以上摄像头时，可以同时控制两个以上摄像头同时拍摄，并对两个以上摄像 头拍摄的图像进行处理及合成，从而得到亮度增强的图像。
本技术方案提供的图像获取方法，其采用至少两个摄像头，在拍摄环境为暗光环境时，可以控制至少两个摄像头同时对同一场景拍摄，并对拍摄后得到的图像进行处理，以得到亮度叠加的图像。从而，本技术方案提供的图像获取方法能够在暗光的环境下获得亮度增强的图像。由于本技术方案的至少两个摄像头可以控制同时对同一场景进行拍摄，可以解决现有技术中采用增加曝光时间而导致获得的图像模糊不清的问题。
本技术方案另一实施方式也提供一种图像获取方法，所述图像获取方法可以采用本技术方案实施方式提供的图像获取装置100来实现，所述图像处理方法包括步骤：
S201，判断拍摄环境是否为暗光环境。
在本步骤中，可以检测拍摄时环境照度，当环境照度小于设定的阈值时，则判定拍摄环境为暗光环境。当环境照度大于设定的阈值时，则判定拍摄环境为普通环境。
S202，若是，则控制两个摄像头同时对同一场景进行第一次拍摄。
在判断拍摄环境为暗光环境时，启动暗光拍摄模式，即控制两个摄像头同时对同一场景进行第一次拍摄。在判断拍摄环境为正常环境时，启动正常拍摄模式，即可以控制两个摄像头中的一个进行拍摄。
S203，对两个摄像头对同一场景第一次拍摄获得的两个图像进行处理，得到一个亮度增强的图像。
本步骤具体可以为：
首先，对两个摄像头对同一场景第一次拍摄获得的两个图像进行校正。由于摄像模块的两个摄像头之间具有距离，两个摄像头对同一时间的同一场景的进行拍摄得到的图像可能会存在偏移。根据所述两个摄像头之间的距离及位置关系对得到的两个摄像头同时拍摄的图像进行校正，从而使得两个图像的中心能够重合。即通过校正后，相同的拍摄物在两个图像中位于相同的像素点的位置。
然后，去除校正后两个摄像头对同一场景第一次拍摄获得的两个图像的噪点。
可以采用现有技术中的去噪算法进行噪点的去除。本实施方式中，可以采用如下方法去除噪点：先获取校正后的对两个摄像头同时拍摄的两个图像的各个像素点的亮度值。再将两个图像中相同对应像素点的量度亮度值之差大于预定阈值的像素点取定为噪点。最后，分别将两个图像中的噪点去除，并根据噪点周围的像素点的亮度信息生成噪点处像素点的亮度。
最后，将去除噪点之后的两个摄像头同时第一次拍摄的图像的对应的像素点进行亮度叠加，从而合成得到一个亮度增强的图像。即将两个图像中对应的像素点的量度进行叠加后得到亮度增强的图像的像素点的量度，从而得到的亮度增强的图像的亮度大致为原来摄像头拍摄的图像的亮度的两倍。
在本步骤中，还可以对第一次拍摄后得到的亮度增强的图像进行显示。
S204，判断是否接收到需要进行连拍的指令，若是，则进行连拍，获取连拍所得的多帧图像，处理得到一张亮度增强的图像，并进行显示。
在进行连拍过程中，在每次拍摄后，对每次拍摄后的两个图像进行处理，并与前一次拍摄获得的亮度增强的图像进行合成，并显示每次拍摄后合成的亮度增强的图像，连拍结束获取多次连拍后亮度增强的图像。
当拍摄者对第一次拍摄后获得的亮度增强的图像的亮度仍不能满足要求时，使用者可以持续按压拍摄按键的方式作为需要进行连拍的指令，当停止按压拍摄按键时，则可以作为结束连拍的指令。在进行连拍的过程中，具体可以采用如下方法：
首先，控制两个摄像头同时对第一次拍摄相同的场景进行第二次拍摄；然后，对第二次拍摄后的图像进行校正并去除噪点处理；接着，将处理之后的第二次拍摄的两个图像与第一次拍摄后获得的亮度增强的图像的像素点进行亮度叠加，合成第二次拍摄后量度增强的图像，并显示第二次拍摄后量度增强的图像；最后，按照第二次拍摄相同的方式进行多次拍摄及图像的合成，直到接收到停止连拍的指令后停止拍摄，获取多次连拍后亮度增强的图像。
若在第一次拍摄后获取亮度增强图像后没有接收到进行连拍的指令，则停止拍摄。
可以理解的是，本实施方式中，以两个摄像头为例来进行说明，当采用两个以上摄像头时，可以同时控制两个以上摄像头同时拍摄，并对两个以上摄像 头拍摄的图像进行处理及合成，从而得到亮度增强的图像。
本技术方案提供的图像获取方法，其采用两个摄像头，在拍摄环境为暗光环境时，可以控制两个摄像头同时对同一场景连续拍摄，并对拍摄后得到的图像进行处理，以得到亮度叠加的图像。从而，本技术方案提供的图像获取方法能够在暗光的环境下获得亮度显著增强的图像。由于本技术方案的两个摄像头可以控制同时对同一场景进行连续拍摄，可以解决现有技术中采用增加曝光时间而导致获得的图像模糊不清的问题。
进一步的，在进行连续拍摄过程中，在每次拍摄后获取的亮度增强的图像均进行显示，拍摄者可以根据显示的图像是否满足要求而控制停止连拍。因此，本技术方案提供的图像获取方法，在拍摄过程中能够根据观察的获取的合成图像来控制拍摄是否继续进行，从而可以对拍摄获取的图像具有可控性，提升拍摄者的使用体验。
本技术方案还对应提供一种图像获取终端，所述图像获取终端可以为手机、平板电脑等电子设备，如图4所示，所述图像获取终端可以包括：至少一个处理器41，例如CPU，至少一个通信总线42、存储器43以及摄像头模块44；通信总线62用于实现这些组件之间的连接通信；摄像头模块44包括至少两个摄像头；存储器43可以是高速RAM存储器，也可以是非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器43中存储一组程序代码，且处理器41用于调用存储器43中存储的程序代码，执行以下操作：
控制至少两个摄像头对同一场景进行拍摄；以及
对至少两个摄像头对同一场景拍摄获得的两个图像进行处理，得到一个亮度增强的图像。
其中，所述处理器41对至少两个摄像头对同一场景拍摄获得的两个图像进行处理，得到一个亮度增强的图像具体可以为：
根据所述至少两个摄像头之间的距离及位置关系对得到的至少两个摄像头同时拍摄的图像进行校正；
将两个摄像头同时拍摄的图像的对应的像素点进行亮度叠加，从而合成得到一个亮度增强的图像。
其中，所述处理器41控制至少两个摄像头对同一场景进行拍摄具体可以 为：
判断拍摄环境是否为暗光环境，若拍摄环境为暗光环境，则控制至少两个摄像头对同一场景进行拍摄。
其中，所述处理器41还可以执行以下操作：
基于接收到的连拍指令，控制至少两个摄像头对同一场景进行连拍。
其中，所述处理器41对至少两个摄像头对同一场景拍摄获得的两个图像进行处理，得到一个亮度增强的图像具体可以为：
对每次至少两个摄像头同时拍摄的图像进行校正；
去除校正后每次至少两个摄像头同时拍摄的至少两个图像中的噪点；
将当前次至少两个摄像头拍摄的图像以及前一次拍摄获得的图像亮度叠加后得到的图像的对应的像素点进行亮度叠加，从而合成得到一个多次拍摄后亮度增强的图像。
其中，所述处理器41对至少两个摄像头对同一场景拍摄获得的两个图像进行处理，得到一个亮度增强的图像之后，还可以执行以下操作：
显示每次拍摄后获得的亮度增强的图像。
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (15)

  1. 一种图像获取装置，其包括：
    摄像模块，所述摄像模块包括至少两个摄像头；
    控制模块，用于控制所述摄像模块的至少两个摄像头对同一场景进行拍摄；以及
    处理模块，用于对所述摄像模块对同一场景拍摄的图像进行处理，以得到亮度增强的图像。
  2. 如权利要求1所述的图像获取装置，其特征在于，所述处理模块包括校正单元以及亮度叠加单元，所述校正单元用于根据所述至少两个摄像头之间的距离及位置关系对得到的至少两个摄像头同时拍摄的图像进行校正，所述亮度叠加模块用于将两个摄像头同时拍摄的图像的对应的像素点进行亮度叠加，从而合成得到一个亮度增强的图像。
  3. 如权利要求1所述的图像获取装置，其特征在于，所述控制模块包括暗光判断单元及控制单元，所述暗光判断单元用于检测拍摄时环境照度，环境照度小于设定的阈值，则判定拍摄环境为暗光环境，所述控制单元用于基于所述暗光判断单元判断拍摄环境为暗光环境，控制至少两个摄像头同时对同一场景进行拍摄。
  4. 如权利要求3所述的图像获取装置，其特征在于，所述控制单元还用于基于接收到连拍指令，控制至少两个摄像头对同一场景进行连拍。
  5. 如权利要求4所述的图像获取装置，其特征在于，所述处理模块包括校正单元、去噪单元以及亮度叠加单元，所述校正单元对每次至少两个摄像头同时拍摄的图像进行校正，所述去噪单元用于去除校正后每次至少两个摄像头同时拍摄的至少两个图像中的噪点，所述亮度叠加模块用于将当前次至少两个摄像头拍摄的图像以及前一次拍摄获得的图像亮度叠加后得到的图像的对应的像素点进行亮度叠加，从而合成得到一个多次拍摄后亮度增强的图像。
  6. 如权利要求5所述的图像获取装置，其特征在于，所述图像获取装置还包括显示模块，所述显示模块用于显示每次拍摄后获得的亮度增强的图像。
  7. 一种图像获取方法，包括步骤：
    控制至少两个摄像头对同一场景进行拍摄；以及
    对至少两个摄像头对同一场景拍摄获得的两个图像进行处理，得到一个亮度增强的图像。
  8. 如权利要求7所述的图像获取方法，其特征在于，所述图像获取方法还包括判断拍摄环境是否为暗光环境，若拍摄环境为暗光环境，则控制至少两个摄像头对同一场景进行拍摄。
  9. 一种图像获取方法，包括步骤：
    控制至少两个摄像头对同一场景进行第一次拍摄；
    对至少两个摄像头对同一场景拍摄获得的图像进行处理，得到一个亮度增强的图像；
    判断是否接收到需要进行连拍的指令，若是，控制至少两个摄像头进行连拍，获取连拍所得的多帧图像，处理得到一张亮度增强的图像，并进行显示。
  10. 一种图像获取终端，其特征在于，包括处理器、存储器和摄像头模块，其中，所述摄像头模块包括至少两个摄像头，所述存储器中存储一组程序代码，且所述处理器用于调用所述存储器中存储的程序代码，用于执行以下操作：
    控制至少两个摄像头对同一场景进行拍摄；以及
    对至少两个摄像头对同一场景拍摄获得的两个图像进行处理，得到一个亮度增强的图像。
  11. 如权利要求10所述的终端，其特征在于，所述处理器对至少两个摄像头对同一场景拍摄获得的两个图像进行处理，得到一个亮度增强的图像包括：
    根据所述至少两个摄像头之间的距离及位置关系对得到的至少两个摄像头同时拍摄的图像进行校正；
    将两个摄像头同时拍摄的图像的对应的像素点进行亮度叠加，从而合成得到一个亮度增强的图像。
  12. 如权利要求10所述的终端，其特征在于，所述处理器控制至少两个摄像头对同一场景进行拍摄包括：
    判断拍摄环境是否为暗光环境，若拍摄环境为暗光环境，则控制至少两个摄像头对同一场景进行拍摄。
  13. 如权利要求12所述的终端，其特征在于，所述处理器还执行以下操作：
    基于接收到的连拍指令，控制至少两个摄像头对同一场景进行连拍。
  14. 如权利要求13所述的终端，其特征在于，所述处理器对至少两个摄像头对同一场景拍摄获得的两个图像进行处理，得到一个亮度增强的图像包括：
    对每次至少两个摄像头同时拍摄的图像进行校正；
    去除校正后每次至少两个摄像头同时拍摄的至少两个图像中的噪点；
    将当前次至少两个摄像头拍摄的图像以及前一次拍摄获得的图像亮度叠加后得到的图像的对应的像素点进行亮度叠加，从而合成得到一个多次拍摄后亮度增强的图像。
  15. 如权利要求14所述的终端，其特征在于，所述处理器对至少两个摄像头对同一场景拍摄获得的两个图像进行处理，得到一个亮度增强的图像之后，还执行以下操作：
    显示每次拍摄后获得的亮度增强的图像。
PCT/CN2015/080281 2014-05-29 2015-05-29 一种图像获取装置、图像获取方法及终端 WO2015180686A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/314,456 US10063789B2 (en) 2014-05-29 2015-05-29 Enhanced brightness image acquisition devices and methods
EP15800509.0A EP3151539B1 (en) 2014-05-29 2015-05-29 Image acquisition device, image acquisition method and terminal

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410234555.2 2014-05-29
CN201410234555.2A CN103986874A (zh) 2014-05-29 2014-05-29 一种图像获取装置、图像获取方法及终端

Publications (1)

Publication Number Publication Date
WO2015180686A1 true WO2015180686A1 (zh) 2015-12-03

Family

ID=51278688

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2015/080281 WO2015180686A1 (zh) 2014-05-29 2015-05-29 一种图像获取装置、图像获取方法及终端

Country Status (4)

Country Link
US (1) US10063789B2 (zh)
EP (1) EP3151539B1 (zh)
CN (1) CN103986874A (zh)
WO (1) WO2015180686A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103986874A (zh) 2014-05-29 2014-08-13 宇龙计算机通信科技(深圳)有限公司 一种图像获取装置、图像获取方法及终端
CN104284130A (zh) * 2014-10-29 2015-01-14 四川智诚天逸科技有限公司 一种视频通信设备
CN104363375B (zh) * 2014-11-28 2018-03-27 广东欧珀移动通信有限公司 一种照片降噪的方法、装置及终端
CN104469191B (zh) * 2014-12-03 2018-07-27 东莞宇龙通信科技有限公司 图像降噪的方法及其装置
CN104869309A (zh) * 2015-05-15 2015-08-26 广东欧珀移动通信有限公司 一种拍照方法及装置
CN104883511A (zh) * 2015-06-12 2015-09-02 联想(北京)有限公司 图像处理方法以及电子设备
CN105554483B (zh) * 2015-07-16 2018-05-15 宇龙计算机通信科技(深圳)有限公司 一种图像处理方法及终端
CN105657286A (zh) * 2015-07-29 2016-06-08 宇龙计算机通信科技(深圳)有限公司 一种基于双摄像头的拍照方法及装置
CN105141835A (zh) * 2015-08-04 2015-12-09 上海霆善信息科技有限公司 基于刷卡触发的图像采集系统
CN106878605B (zh) * 2015-12-10 2021-01-29 北京奇虎科技有限公司 一种基于电子设备的图像生成的方法和电子设备
CN106878604B (zh) * 2015-12-10 2021-06-18 北京奇虎科技有限公司 一种基于电子设备的图像生成的方法和电子设备
CN105635568B (zh) * 2015-12-25 2019-09-17 青岛海信移动通信技术股份有限公司 一种移动终端中的图像处理方法和移动终端
CN111784615A (zh) 2016-03-25 2020-10-16 北京三星通信技术研究有限公司 多媒体信息处理的方法和装置
CN105812677B (zh) * 2016-04-29 2019-07-30 宇龙计算机通信科技(深圳)有限公司 一种图像生成方法及系统
CN107438165A (zh) * 2016-05-25 2017-12-05 鸿富锦精密电子(郑州)有限公司 具有自拍辅助功能的电子装置及自拍辅助方法
CN106161933B (zh) * 2016-06-30 2019-05-17 维沃移动通信有限公司 一种图像处理方法及移动终端
CN106060404A (zh) * 2016-07-15 2016-10-26 深圳市金立通信设备有限公司 一种拍摄模式选择方法及终端
CN106210584A (zh) * 2016-08-02 2016-12-07 乐视控股（北京）有限公司 一种视频录制方法和装置
CN106572246B (zh) * 2016-10-31 2020-11-17 太仓市昊博技术服务有限公司 一种摄像头开启装置、终端及摄像头开启方法
CN106506963A (zh) * 2016-11-30 2017-03-15 努比亚技术有限公司 一种基于双摄像头的拍照方法及终端
US10965878B2 (en) * 2016-12-15 2021-03-30 Koito Manufacturing Co., Ltd. Vehicle illumination system and vehicle
US11953593B2 (en) * 2017-02-10 2024-04-09 Covidien Lp Systems, methods, and computer readable media for processing and compounding ultrasound images in the presence of motion
CN107087112B (zh) * 2017-05-31 2020-01-10 Oppo广东移动通信有限公司 双摄像头的控制方法和控制装置
CN109391751B (zh) * 2017-08-11 2020-12-08 深圳富泰宏精密工业有限公司 电子装置及摄像控制方法
CN107948511B (zh) * 2017-11-28 2019-10-25 Oppo广东移动通信有限公司 图像亮度处理方法、装置、存储介质和图像亮度处理设备
CN109951629A (zh) * 2017-12-21 2019-06-28 姜鹏飞 一种降噪处理方法及装置
CN111147739A (zh) 2018-03-27 2020-05-12 华为技术有限公司 拍照方法、拍照装置和移动终端
US10742892B1 (en) 2019-02-18 2020-08-11 Samsung Electronics Co., Ltd. Apparatus and method for capturing and blending multiple images for high-quality flash photography using mobile electronic device
US11062436B2 (en) 2019-05-10 2021-07-13 Samsung Electronics Co., Ltd. Techniques for combining image frames captured using different exposure settings into blended images
US11095829B2 (en) 2019-06-11 2021-08-17 Samsung Electronics Co., Ltd. Apparatus and method for high dynamic range (HDR) image creation of dynamic scenes using graph cut-based labeling
CN110661972B (zh) 2019-09-27 2021-02-23 维沃移动通信有限公司 图像处理方法、装置、电子设备和介质
CN110769151B (zh) * 2019-09-27 2021-10-15 维沃移动通信有限公司 图像处理方法、装置、电子设备和介质
CN110732426A (zh) * 2019-10-24 2020-01-31 张柯 水雾喷射功率调节系统
US10911691B1 (en) 2019-11-19 2021-02-02 Samsung Electronics Co., Ltd. System and method for dynamic selection of reference image frame
US11430094B2 (en) 2020-07-20 2022-08-30 Samsung Electronics Co., Ltd. Guided multi-exposure image fusion

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070153086A1 (en) * 2005-12-16 2007-07-05 Hitachi, Ltd. Photographing apparatus
CN200944633Y (zh) * 2006-08-15 2007-09-05 沈洪 多场景摄像装置
CN103546730A (zh) * 2012-07-11 2014-01-29 北京博雅华录视听技术研究院有限公司 基于多摄像头的图像感光度增强方法
CN103986874A (zh) * 2014-05-29 2014-08-13 宇龙计算机通信科技(深圳)有限公司 一种图像获取装置、图像获取方法及终端

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1035467A (zh) 1988-03-04 1989-09-13 蔡军荣 双风窗小轿车车厢
US8698924B2 (en) 2007-03-05 2014-04-15 DigitalOptics Corporation Europe Limited Tone mapping for low-light video frame enhancement
US7463296B2 (en) * 2004-04-01 2008-12-09 Microsoft Corporation Digital cameras with luminance correction
US7292257B2 (en) * 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
WO2006079963A2 (en) * 2005-01-28 2006-08-03 Koninklijke Philips Electronics N.V. Device for registering images
US8456515B2 (en) * 2006-07-25 2013-06-04 Qualcomm Incorporated Stereo image and video directional mapping of offset
JP2009017078A (ja) 2007-07-03 2009-01-22 Fujifilm Corp ディジタル・スチル・カメラおよびその動作制御方法
CN101631202A (zh) * 2008-07-16 2010-01-20 肖长诗 一种超宽动态范围图像的采集方法
CN101510007B (zh) * 2009-03-20 2011-01-05 北京科技大学 一种红外光图像与可见光图像实时摄取与自适应融合装置
US9073138B2 (en) * 2011-05-16 2015-07-07 Lincoln Global, Inc. Dual-spectrum digital imaging welding helmet
CN103780840B (zh) * 2014-01-21 2016-06-08 上海果壳电子有限公司 一种高品质成像的双摄像成像装置及其方法
WO2015157058A1 (en) * 2014-04-07 2015-10-15 Bae Systems Information & Electronic Systems Integration Inc. Contrast based image fusion
KR102195311B1 (ko) * 2014-09-15 2020-12-24 삼성전자주식회사 이미지의 잡음 특성 개선 방법 및 그 전자 장치
US9716876B2 (en) * 2015-04-01 2017-07-25 Sony Corporation Power efficient multiple camera system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070153086A1 (en) * 2005-12-16 2007-07-05 Hitachi, Ltd. Photographing apparatus
CN200944633Y (zh) * 2006-08-15 2007-09-05 沈洪 多场景摄像装置
CN103546730A (zh) * 2012-07-11 2014-01-29 北京博雅华录视听技术研究院有限公司 基于多摄像头的图像感光度增强方法
CN103986874A (zh) * 2014-05-29 2014-08-13 宇龙计算机通信科技(深圳)有限公司 一种图像获取装置、图像获取方法及终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3151539A4 *

Also Published As

Publication number Publication date
CN103986874A (zh) 2014-08-13
EP3151539A1 (en) 2017-04-05
US20170201692A1 (en) 2017-07-13
EP3151539A4 (en) 2018-01-24
EP3151539B1 (en) 2019-07-24
US10063789B2 (en) 2018-08-28

Similar Documents

Publication Publication Date Title
WO2015180686A1 (zh) 一种图像获取装置、图像获取方法及终端
US10306165B2 (en) Image generating method and dual-lens device
US8957945B2 (en) Image capturing apparatus capable of capturing panoramic image
CN106878605B (zh) 一种基于电子设备的图像生成的方法和电子设备
CN107911621B (zh) 一种全景图像的拍摄方法、终端设备以及存储介质
US8619120B2 (en) Imaging apparatus, imaging method and recording medium with program recorded therein
JP5843454B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2013257686A5 (zh)
WO2016019770A1 (zh) 图片的合成方法、装置及存储介质
US10623656B2 (en) Imaging device and flicker detection method
JP4193812B2 (ja) 撮像装置、撮像方法及びそのプログラム
JP5536010B2 (ja) 電子カメラ、撮像制御プログラム及び撮像制御方法
CN108307098B (zh) 鱼眼相机阴影校正参数确定方法、校正方法及装置、鱼眼相机
KR20200031169A (ko) 이미지 처리 방법 및 장치
US9654668B2 (en) Image composition apparatus and image composition method
CN105472263B (zh) 影像撷取方法及使用此方法的影像撷取设备
JP7009142B2 (ja) 撮像装置および画像処理方法
TWI536829B (zh) 應用影像處理之電子裝置
WO2014205775A1 (en) Automatic image color correction using an extended imager
WO2016011861A1 (zh) 物体运动轨迹的拍摄方法及拍摄终端
JP2008187750A (ja) 撮像装置及びそのプログラム
KR20110088884A (ko) 촬영 방법 및 장치와 그 기록 매체
JP2010187409A (ja) 欠陥補正装置および欠陥補正方法、ならびに撮像装置
JP2021097347A5 (ja) 画像処理装置およびその制御方法、プログラム
CN109218602A (zh) 影像撷取装置、影像处理方法及电子装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15800509

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2015800509

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015800509

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15314456

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE