WO2017088127A1 - 一种拍照方法、拍照装置和终端 - Google Patents

一种拍照方法、拍照装置和终端 Download PDF

Info

Publication number
WO2017088127A1
WO2017088127A1 PCT/CN2015/095557 CN2015095557W WO2017088127A1 WO 2017088127 A1 WO2017088127 A1 WO 2017088127A1 CN 2015095557 W CN2015095557 W CN 2015095557W WO 2017088127 A1 WO2017088127 A1 WO 2017088127A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
preview
image
mode
pixel
Prior art date
Application number
PCT/CN2015/095557
Other languages
English (en)
French (fr)
Inventor
栗琳
罗巍
宋磊
矫林涛
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to US15/736,613 priority Critical patent/US10742889B2/en
Priority to KR1020177027468A priority patent/KR101946436B1/ko
Priority to JP2017552873A priority patent/JP6461372B2/ja
Priority to PCT/CN2015/095557 priority patent/WO2017088127A1/zh
Priority to CN201580048879.XA priority patent/CN107079083B/zh
Priority to EP15909039.8A priority patent/EP3358819B1/en
Publication of WO2017088127A1 publication Critical patent/WO2017088127A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels

Definitions

  • the shooting unit is specifically configured to capture the preview image as at least one of a picture and a video.
  • the processor is further configured to perform at least one of whitening, denoising, brightening, and thinning on the captured image.
  • a treatment. Denoising and skin treatment of the captured images can be used to obtain images that meet user expectations.
  • FIG. 6 is a schematic structural diagram of a terminal according to an embodiment of the present invention.
  • the average value is: [R(0,0)+R(0,2)+R(2,0)+R(2,2)]/4.
  • the correspondence of these pixels is indicated by circles and arrows.
  • the green pixels marked with squares on the left, the green pixels labeled with triangles, and the blue pixels without the graphical labels, their mean values will be the same labeled pixel values in the binned image on the right.
  • the 4 ⁇ 4 area in the original image is subjected to the binning operation to obtain a 2 ⁇ 2 area.
  • Figure 4 shows a schematic diagram of only the horizontal 1/2 binning operation, where each pixel on the right is the sum of two pixels horizontally adjacent to the original image on the left, that is, the value of the first red pixel after binning [R(0,0)+R(2,0)].
  • the image after binning has a size in the horizontal direction of 1/2 of the original image, and remains unchanged in the vertical direction.
  • the value of a new pixel is represented by the sum value of a plurality of pixels, the brightness of the captured image is increased, and the shooting effect in the low illumination scene can be improved.
  • the value of a new pixel is the sum of the original 4 pixels, which increases the signal value by nearly 4 times, so that the problem that the image cannot be captured under dark light can be greatly improved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

本发明实施例公开了一种拍照方法、拍照装置和终端，所述方法包括接收打开摄像头指令；基于所述接收的打开摄像头指令，预览所述摄像头采集的预览画面，其中在预览状态下，所述摄像头的图像传感器的工作模式为平均像素合并模式；检测到所述预览画面中至少一个像素点的亮度小于预设条件，拍摄所述预览画面，其中在拍摄所述预览画面时，所述摄像头的图像传感器的工作模式为求和像素合并模式，能够提升拍摄到的影像的亮度，改善暗光下无法拍摄影像的问题。

Description

一种拍照方法、拍照装置和终端 技术领域
本发明实施例涉及拍照技术领域，尤其涉及一种在低光环境下拍照的方法、拍照装置和终端。
背景技术
手机拍照的需求日益增长，但是在拍摄环境为低照度场景下，比如环境的亮度低于30lux(勒克斯)，比如电影院、酒吧、KTV等，若没有其他辅助设备，由于环境光线太暗，摄像头的进光亮小，则拍摄出的影像黑暗，无法拍摄出清晰可辨的影像。
为解决这个问题，有些厂商为手机的后置指摄像头增加闪光灯，以改善暗光环境下的拍摄效果。但是拍摄时，闪光灯往往闪的人眼睛发花，用户的眼睛会出现短暂的看不清事物的情况。还有一些手机为前置摄像头增加了柔光灯功能，在拍照时候同时开启前置柔光灯以增加环境亮度，但开灯后较为晃眼，同样存在用户体验不理想的情况。还有厂商采用LED补光方案，在拍照的一瞬间，提高屏幕的亮度。此种方式的问题在于预览上没有效果，而且随着用户和手机的距离发生远近改变，拍摄时会造成脸部不均匀、提亮不起作用或者过曝等问题。
发明内容
本发明实施例提供了一种拍照方法、拍照装置和终端，能够提升拍摄到的影像的亮度，改善暗光下无法拍摄影像的问题。
第一方面，提供了一种拍照方法，所述方法包括：接收打开摄像头指令；基于所述接收的打开摄像头指令，预览所述摄像头采集的预览画面，其中在预览状态下，所述摄像头的图像传感器的工作模式为平均像素合并模式；检测到所述预览画面中至少一个像素点的亮度小于预设条件，拍摄所述预览画面，其中在拍摄所述预览画面时，所述摄像头的图像传感器的工作模式为求和像素合并模式。采用平均像素合并模式预览摄像头捕捉的预览画面，能够减小画面噪 点。
结合第一方面，在第一方面第一种可能的实现方式中，拍摄所述预览画面具体为：将所述预览画面拍摄为图片和视频中的至少一种。拍摄到的图像可以是混合视频，即既有图片又有视频的影像。
结合第一方面第一种可能的实现方式，在第一方面第二种可能的实现方式中，拍摄所述预览画面之后，所述方法还包括：对拍摄到的画面进行美白、去噪、亮眼和瘦脸中的至少一种处理。对拍摄得到的影像进行去噪和美肤处理，可以得到符合用户预期的图像。
结合第一方面至第一方面第二种可能的实现方式中任一种可能的实现方式，在第一方面第三种可能的实现方式中，拍摄所述预览画面之后，所述方法还包括：所述摄像头的图像传感器的工作模式切换为平均像素合并模式。方便用户下次拍摄时，图像传感器采用平均像素合并模式，得到较少噪点的预览画面。
第二方面，提供了一种拍照装置，所述装置包括：接收单元，用于接收打开摄像头指令。预览单元，用于基于所述接收单元接收的打开摄像头指令，预览所述摄像头采集的预览画面，其中在预览状态下，所述摄像头的图像传感器的工作模式为平均像素合并模式；拍摄单元，用于检测到所述预览画面中至少一个像素点的亮度小于预设条件，拍摄所述预览画面，其中在拍摄所述预览画面时，所述摄像头的图像传感器的工作模式为求和像素合并模式。采用平均像素合并模式预览摄像头捕捉的预览画面，能够减小画面噪点。
结合第二方面，在第二方面第一种可能的实现方式中，所述拍摄单元具体用于将所述预览画面拍摄为图片和视频中的至少一种。
结合第二方面第一种可能的实现方式，在第二方面第二种可能的实现方式中，所述装置还包括处理单元，所述处理单元用于对拍摄到的画面进行美白、去噪、亮眼和瘦脸中的至少一种处理。对拍摄得到的影像进行去噪和美肤处理，可以得到符合用户预期的图像。
结合第二方面至第二方面第二种可能的实现方式中任一种可能的实现方式，在第二方面第三种可能的实现方式中，所述装置还包括切换单元，所述切换单元用于将所述摄像头的图像传感器的工作模式切换为平均像素合并模式。方便用户下次拍摄时，图像传感器采用平均像素合并模式，得到较少噪点的预览画 面。
第三方面，提供了一种终端，所述终端包括处理器、显示器和摄像头，所述摄像头的图像传感器的工作模式包括平均像素合并模式和求和像素合并模式；基于接收的打开摄像头指令，所述显示器用于预览所述摄像头采集的预览画面，其中在预览状态下，所述摄像头的图像传感器的工作模式为所述平均像素合并模式；所述处理器用于分析在所述预览状态下所述预览画面中至少一个像素点的亮度；所述摄像头用于，在所述处理器判断所述预览画面中至少一个像素点的亮度小于预设条件时，拍摄所述预览画面，其中在拍摄所述预览画面时，所述摄像头的图像传感器的工作模式为所述求和像素合并模式。采用平均像素合并模式预览摄像头捕捉的预览画面，能够减小画面噪点。
结合第三方面，在第三方面第一种可能的实现方式中，所述摄像头用于拍摄所述预览画面具体为：所述摄像头用于将所述预览画面拍摄为图片和视频中的至少一种。拍摄到的图像可以是混合视频，即既有图片又有视频的影像。
结合第三方面第一种可能的实现方式，在第三方面第二种可能的实现方式中，所述处理器还用于对拍摄到的画面进行美白、去噪、亮眼和瘦脸中的至少一种处理。对拍摄得到的影像进行去噪和美肤处理，可以得到符合用户预期的图像。
第四方面，提供了一种拍照方法，所述方法包括：接收打开摄像头指令；基于所述接收的打开摄像头指令，预览所述摄像头采集的预览画面，其中在预览状态下，所述摄像头的图像传感器的工作模式为平均像素合并模式；检测到所述图像传感器的感光度ISO大于预设值时，拍摄所述预览画面，其中在拍摄所述预览画面时，所述摄像头的图像传感器的工作模式为求和像素合并模式。
第五方面，提供了一种终端，所述终端包括处理器、显示器和摄像头，所述摄像头的图像传感器的工作模式包括平均像素合并模式和求和像素合并模式；基于接收的打开摄像头指令，所述显示器用于预览所述摄像头采集的预览画面，其中在预览状态下，所述摄像头的图像传感器的工作模式为所述平均像素合并模式；所述处理器用于检测在所述预览状态下所述图像传感器的感光度ISO；所述摄像头用于，在所述处理器判断所述图像传感器的感光度ISO大于预设值时，拍摄所述预览画面，其中在拍摄所述预览画面时，所述摄像头的图像传感器的 工作模式为所述求和像素合并模式。
第六方面，提供了一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当被包括显示器和多个应用程序的便携式电子设备执行时使所述便携式电子设备执行根据第一方面至第一方面第三种可能的实现方式和第四方面任一种可能的实现方式所述的方法。
在一种可能的实现方式中，通过对预览画面中至少一个像素点的亮度分析，检测到拍摄环境为低照度场景具体为：若所述预览画面中至少一个像素点的平均亮度小于预设门限，则所述拍摄环境为低照度场景。
在另一种可能的实现方式中，在所述终端的UI界面提醒用户像素合并模式发生切换。
在另一种可能的实现方式中，在所述终端的UI界面提醒用户打开低照度拍摄模式。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是摄像头一般结构的示意图；
图2是bayer格式的图像像素的排列模式示意图；
图3是binning原理的示意图；
图4是水平方向l/2binning操作的示意图；
图5是竖直方向l/2binning操作的示意图；
图6是本发明实施例提供的一种终端的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实 施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
当本发明实施例提及“第一”、“第二”等序数词时，除非根据上下文其确实表达顺序之意，应当理解为仅仅是起区分之用。
本发明实施例提及的终端包括手机、平板电脑、笔记本、可穿戴设备、车载设备等配置有摄像头的电子设备。
图1是摄像头一般结构的示意图。摄像头一般包括镜筒101、镜头102(lens)、滤色片103(Color Filter)、图像传感器104和电路板105。其中，图像传感器是摄像头的核心器件，图像传感器也可以叫做感光元件，它是一种用来接收通过镜头的光线，并且将这些光信号转换成为电信号的装置。常见的摄像头图像传感器主要有两种，CCD(Charge-Coupled Device，电荷耦合器件)传感器和CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)传感器。
滤色片也即“分色滤色片”，目前主要有两种分色方式，一种是RGB原色分色法，另一种是CMYK补色分色法。滤色片103可以是红外滤波片。电路板105可以是印刷电路板(Printed Circuit Board，简称PCB)，PCB一般可以分为硬板、软板、软硬结合板三种。不同的图像传感器，采用的PCB的种类会有不同，比如，CMOS传感器可以使用三种中的任一种，CCD传感器多采用软硬结合板。
摄像头一般的工作原理为：拍摄景物通过镜头，将生成的光学图像投射到图像传感器上，然后光学图像被转换成电信号，电信号再经过模数转换变为数字信号，数字信号经过数字信号处理器(Digital Signal Processor，简称DSP)加工处理，再被送到手机处理器中进行处理，最终转换成手机屏幕上能够看到的图像。其中，DSP又可以叫数字信号处理芯片，它的功能是通过一系列复杂的数学算法运算，对数字图像信号进行优化处理，最后把处理后的信号传到显示器上。一般而言，在CMOS传感器的摄像头中，其DSP芯片已经集成到CMOS中，从外观上来看，它们就是一个整体。而采用CCD传感器的摄像头则分为CCD和DSP两个独立部分。
目前，大多数的CCD、CMOS图像传感器(或者叫感光元件)中用一种称作bayer的滤光片排列格式记录图像的三基色(红绿蓝，RGB)信息，这种图案是一种红绿滤光片间隔行和蓝绿滤光片间隔行循环交替的排列方式，因此bayer格式是最常见的CCD、CMOS图像传感器的数据输出格式。
bayer格式的图像像素一般有四种排列模式，如图2所示，以其中的左上图为例：奇数扫描行输出RGRG......偶数扫描行输出GBGB......。根据人眼对彩色的响应带宽不高的大面积着色特点，每个像素没有必要同时输出3种颜色。因此，数据采样时，可以采用如下方式，奇数扫描行的第1,2,3,4,...像素分别采样和输出R,G,R,G,...数据；偶数扫描行的第1,2,3,4,...像素分别采样和输出G,B,G,B,...数据。在实际处理时，每个像素的R,G,B信号由像素本身输出的某一种颜色信号和相邻像素输出的其他颜色信号构成。
尽管bayer格式比全彩色格式能节省图像传输带宽和存储空间，但是在某些情况下依然要对bayer格式的图像进行处理，进一步缩小图像尺寸，目前binning(像素合并)处理是直接针对bayer格式的图像的其中一种像素合并的处理方法。
Binning是一种图像读取方法，它把相邻的像素相加，或者相加后求平均，将该加和值或均值作为一个新的像素输出。其中，将相邻的像素相加，将加和值作为一个新的像素输出的方式，叫做sum binning或add binning或求和像素合并；将相邻的像素相加后求平均，将该均值作为一个新的像素输出的方式，叫做average binning或平均像素合并。Binning可以在水平方向上进行，也可以在竖直方向上进行，还可以在两个方向上同时进行。这样可以减小图像尺寸，减少图像数据量。此外，由于采用多个像素的平均值来表示一个新像素的值，对图像噪声也有一定的抑制效果。若采用多个像素的和值来表示一个新像素的值，不仅可以缩小图像尺寸，而且可以提高图像的亮度。
常用的binning方法如图3所示，以l/2binning为例，展示了binning的原理，其中R、G和B分别代表bayer格式图像中的红色、绿色和蓝色像素。图中上边和左边的数字分别代表横坐标和纵坐标，以方便对像素的引用。图3的左边部分是图像传感器输出的原始bayer图像，右边是做了水平和竖直方向l/2binning的bayer图像。Binning后的坐标为(0,0)的红色像素，其值等于原图中坐标为(0,0)，(0,2),(2,0)和(2,2)的四个像素的平均值，即：[R(0,0)+R(0,2)+R(2,0)+R(2,2)]/4。这几个像素的对应关系用圆圈和箭头标出。类似的，左边用正方形标注的绿色像素，用三角形标注的绿色像素，以及没有图形标注的蓝色像素，他们的均值将分别是右边binning后图像中具有相同标注的像素值。这样，原图中4×4的区域经过binning操作后得到了2×2的区域。
同样的原理，Binning后的坐标为(0,0)的红色像素，其值等于原图中坐标为(0,0)，(0,2),(2,0)和(2,2)的四个像素的和值，即：[R(0,0)+R(0,2)+R(2,0)+R(2,2)]。Binning后的绿色像素和蓝色像素也可以采用类似的处理方式。
下面以求和像素合并模式为例，说明在水平方向和竖直方向的binning原理。平均像素合并模式的原理，与求和像素合并模式的原理类似。
图4给出了只进行水平方向l/2binning操作的示意图，其中右边的每个像素是左边原始图像上水平相邻的两个像素的和值，即binning后的第一个红色像素的值为[R(0,0)+R(2,0)]。binning之后的图像在水平方向上的尺寸为原图的1/2,竖直方向上保持不变。
图5给出了只进行竖直方向l/2binning操作的示意图，其中右边的每个像素是左边原始图像上竖直相邻的两个像素的和值，即binning后的第一个红色像素的值为[R(0,0)+R(0,2)]。binning之后的图像在竖直方向上的尺寸为原图的1/2,水平方向上保持不变。
其他比例的binning和l/2binning原理相同，只是参与和值或平均值计算的像素更多。具体的，1/n某方向上的binning，将会有n个像素参与和值或平均值计算，binning后的图像在该方向的尺寸变为原来的l/n。
当然，摄像头也可以不采用像素合并模式拍摄图片或视频，可以称这种不采用binning的拍摄模式为正常拍摄模式。
实施例一
本发明实施例提供了一种拍照方法，下面以具有摄像头的智能手机为例，对该拍照方法进行说明。该方法包括以下步骤：
S201：接收打开摄像头指令。
该摄像头可以是智能手机的前置摄像头，也可以后置摄像头，本发明对此不做限定。打开摄像头的方式，可以是用户通过触摸屏点击相机图标打开，还可以是通过双击手机的home键打开，也可以是双击手机的音量键打开。
S202：基于所述接收的打开摄像头指令，预览所述摄像头采集的预览画面，其中在预览状态下，所述摄像头的图像传感器的工作模式为平均像素合并模式。
所述摄像头的图像传感器至少支持两种工作模式，平均像素合并模式和求和像素合并模式。对图像传感器的binning(像素合并)的方式，本发明不做限定，可以是1/n binning，n为大于等于2的正整数。在进行像素合并时，每个像 素所占的权重，本发明也不做限定。
采用平均像素合并模式预览摄像头捕捉的预览画面，预览画面的图像数据量减小，不仅能够提升画面预览速度，还可以减少画面噪点。
S302：检测到所述预览画面中至少一个像素点的亮度小于预设条件，拍摄所述预览画面，其中在拍摄所述预览画面时，所述摄像头的图像传感器的工作模式为求和像素合并模式。
预览画面中每个象素都有相应的亮度，这个亮度和色相是没有关系的，同样的亮度既可以是红色也可以是绿色。像素的亮度值在0至255之间，靠近255的像素亮度较高，靠近0的亮度较低。
通过对所述预览画面中至少一个像素点的亮度进行分析，检测到拍摄环境为低照度场景，则所述摄像头的图像传感器采用求和像素合并模式，拍摄所述预览画面。可以认为拍摄环境的亮度小于30勒克斯(lux)的场景为低照度场景。比如，电影院、酒吧、KTV等拍摄场景，可以认为是低照度场景。若没有其他辅助设备，在这些场景下拍照，由于光线太暗，摄像头的进光亮小，则无法拍摄出清晰的人像照片。而采用求和像素合并模式拍照，由于采用多个像素的和值来表示一个新像素的值，拍摄出的画面亮度增加，能够提升在低照度场景的拍摄效果。以1/2binning模式为例，一个新的像素的值为原4个像素的和值，提升了近4倍的信号值，因此能够大幅度改善暗光下无法拍摄影像的问题。
可选的，通过对所述预览画面中至少一个像素点的亮度进行分析，检测到拍摄环境为低照度场景，可以通过如下方式实现：若所述预览画面中像素点的平均亮度小于给定门限，则认为拍摄环境为低照度场景。所述预设条件可以是一个门限值，也可以是一个范围。
可选的，拍摄所述预览画面具体为：将所述预览画面拍摄为图片和视频中的至少一种。所述摄像头可以拍摄静态图像，也可以拍摄动态图像，还可以拍摄静态和动态混合的图像。
可选的，终端对拍摄到的图像进行美白、去噪、亮眼和瘦脸处理中的至少一种处理，使得拍摄到的图像符合用户的期望。比如，用户采用前置摄像头自拍，在光纤比较暗的情况下，采用求和像素合并模式拍摄，可以得到较亮的人脸图像，对图像进行美肤处理，即进行美白、亮眼和瘦脸等操作，能够得到用户期望的自拍照。
可选的，暗光下，采用求和像素合并模式拍摄也可以称为夜景拍摄模式。在图像传感器的工作模式由平均像素合并模式切换为求和像素合并模式时，可以提醒用户拍摄模式发生切换。也可以在检测到拍摄环境为暗光环境时，提醒用户手动切换拍摄模式，由平均像素合并模式切换为求和像素合并模式。
本发明实施例提供的拍照方法，通过在检测到拍照环境为暗光线环境下，采用求和像素合并模式拍摄，能够提升拍摄到的影像的亮度，改善暗光下无法拍摄影像的问题。
本发明实施例提供的另一拍照方法，在判断拍摄环境是否为低照度场景时，通过检测图像传感器的ISO来实现，其他拍照步骤与上述实施例中描述的拍照方法类似。当检测到图像传感器的感光度ISO大于预设值时，拍摄摄像头捕捉的预览画面，其中在拍摄所述预览画面时，所述摄像头的图像传感器的工作模式为求和像素合并模式。
ISO感光度的高低代表了在相同曝光值时，选择更高的ISO感光度，在光圈不变的情况下，能够使用更快的快门速度获得同样的曝光量。反之，在快门不变的情况下，能够使用更小的光圈而保持获得正确的曝光量。因此，在光线比较暗淡的情况下进行拍摄，往往可以选择较高的ISO感光度。一般来说，手机的ISO值在200到1600之前。所述ISO的预设值可以设置为800，也可以设置为1000。
实施例二
图6是本发明实施例提供的一种终端301的结构示意图。该终端301包括处理器304、显示器303和摄像头302。该终端301可以执行实施例一所述的方法。下面以终端301为智能手机为例，对发明实施例进行说明。
摄像头302的图像传感器至少支持两种工作模式，平均像素合并模式和求和像素合并模式。对图像传感器的binning(像素合并)的方式，本发明不做限定，可以是1/n binning，n为大于等于2的正整数。在进行像素合并时，每个像素所占的权重，本发明也不做限定。
用户可以通过触摸屏点击相机图标打开摄像头，还可以是通过双击手机的home键，或双击手机的音量键打开摄像头。
摄像头打开后，所述显示器用于预览所述摄像头采集的预览画面，其中在预览状态下，所述摄像头的图像传感器的工作模式为所述平均像素合并模式。
手机的显示器也可以叫做显示屏。显示屏主要有On-Cell、in-Cell和OGS(One Glass Solution)/TOL(Touch on Lens)类型。In-Cell是将触摸功能嵌入到液晶屏幕的液晶像素中；On-Cell是指将触摸屏嵌入到显示屏的彩色滤光片基板和偏光片之间的方法，即在液晶面板上配触摸传感器。OGS/TOL技术就是将触控屏与盖板玻璃集成在一起，在盖板玻璃内侧镀上ITO(Indium Tin Oxide，氧化铟锡)膜导电层，直接在盖板玻璃上进行镀膜和光刻。
所述处理器用于分析在所述预览状态下所述预览画面中至少一个像素点的亮度。处理器可以是单核心处理器，也可以是多核心处理器。
在所述处理器判断所述预览画面中至少一个像素点的亮度小于预设条件时，所述摄像头用于拍摄所述预览画面，其中在拍摄所述预览画面时，所述摄像头的图像传感器的工作模式为所述求和像素合并模式。
分析所述预览状态下所述预览画面中至少一个像素点的亮度和判断预设条件的方法，与实施例一的方案类似。
可选的，所述摄像头用于拍摄所述预览画面具体为：所述摄像头用于将所述预览画面拍摄为图片和视频中的至少一种。所述摄像头可以用于拍摄静态图像，也可以用于拍摄动态图像，还可以用于拍摄静态和动态混合的图像。
可选的，所述处理器还用于对拍摄到的画面进行美白、去噪、亮眼和瘦脸中的至少一种处理。终端对拍摄到的图像进行美白、去噪、亮眼和瘦脸处理中的至少一种处理，使得拍摄到的图像符合用户的期望。美白、去噪、亮眼和瘦脸是可以是现有技术中常用的美肤算法，在此不再赘述。
可选的，暗光下，采用求和像素合并模式拍摄也可以称为夜景拍摄模式。在图像传感器的工作模式由平均像素合并模式切换为求和像素合并模式时，可以提醒用户拍摄模式发生切换。提醒用户的方式可以是在显示器上以用户界面(User Interface，简称UI)的方式提醒用户。也可以在检测到拍摄环境为暗光环境时，提醒用户手动切换拍摄模式，由平均像素合并模式切换为求和像素合并模式。用户界面有时也直接称作UI或UI界面。
本发明实施例提供的终端，在处理器判断预览画面中至少一个像素点的亮度小于预设条件时，图像传感器的工作模式切换为求和像素合并模式，在这种模式下拍摄影像，能够提升拍摄到的影像的亮度，改善暗光下无法拍摄影像的问题。
在本发明实施例提供的另一终端中，终端的处理器用于检测在预览状态下所述图像传感器的感光度ISO。在所述处理器判断所述图像传感器的感光度ISO大于预设值时，终端的摄像头用于拍摄所述预览画面，其中在拍摄所述预览画面时，所述摄像头的图像传感器的工作模式为所述求和像素合并模式。该终端执行实施例一中采用感光度ISO判断拍摄环境进行拍照的拍照方法。
所述感光度ISO预设值的选取，与实施例一的描述类似。
实施例三
本发明实施例还提供了一种拍照装置，该拍照装置可以执行如实施例一中描述的拍照方法。
该装置包括：接收单元，用于接收打开摄像头指令。预览单元，用于基于所述接收单元接收的打开摄像头指令，预览所述摄像头采集的预览画面，其中在预览状态下，所述摄像头的图像传感器的工作模式为平均像素合并模式；拍摄单元，用于检测到所述预览画面中至少一个像素点的亮度小于预设条件，拍摄所述预览画面，其中在拍摄所述预览画面时，所述摄像头的图像传感器的工作模式为求和像素合并模式。
本发明实施例还提供给了一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当被包括显示器和多个应用程序的便携式电子设备执行时使所述便携式电子设备执行如实施例一中描述的拍照方法。
最后应说明的是：以上实施例仅用以示例性说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明及本发明带来的有益效果进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求的范围。

Claims (14)

  1. 一种拍照方法，其特征在于，所述方法包括：
    接收打开摄像头指令；
    基于所述接收的打开摄像头指令，预览所述摄像头采集的预览画面，其中在预览状态下，所述摄像头的图像传感器的工作模式为平均像素合并模式；
    检测到所述预览画面中至少一个像素点的亮度小于预设条件，拍摄所述预览画面，其中在拍摄所述预览画面时，所述摄像头的图像传感器的工作模式为求和像素合并模式。
  2. 根据权利要求1所述的方法，其特征在于，拍摄所述预览画面具体为：将所述预览画面拍摄为图片和视频中的至少一种。
  3. 根据权利要求2所述的方法，其特征在于，拍摄所述预览画面之后，所述方法还包括：对拍摄到的画面进行美白、去噪、亮眼和瘦脸中的至少一种处理。
  4. 根据权利要求1-3任一项所述的方法，其特征在于，拍摄所述预览画面之后，所述方法还包括：所述摄像头的图像传感器的工作模式切换为平均像素合并模式。
  5. 一种终端，其特征在于，所述终端包括处理器、显示器和摄像头，所述摄像头的图像传感器的工作模式包括平均像素合并模式和求和像素合并模式；
    基于接收的打开摄像头指令，所述显示器用于预览所述摄像头采集的预览画面，其中在预览状态下，所述摄像头的图像传感器的工作模式为所述平均像素合并模式；
    所述处理器用于分析在所述预览状态下所述预览画面中至少一个像素点的亮度；
    所述摄像头用于，在所述处理器判断所述预览画面中至少一个像素点的亮度小于预设条件时，拍摄所述预览画面，其中在拍摄所述预览画面时，所述摄像头的图像传感器的工作模式为所述求和像素合并模式。
  6. 根据权利要求5所述的终端，其特征在于，所述摄像头用于拍摄所述预览画面具体为：所述摄像头用于将所述预览画面拍摄为图片和视频中的至少一 种。
  7. 根据权利要求6所述的终端，其特征在于，所述处理器还用于对拍摄到的画面进行美白、去噪、亮眼和瘦脸中的至少一种处理。
  8. 一种拍照装置，其特征在于，所述装置包括：
    接收单元，用于接收打开摄像头指令。
    预览单元，用于基于所述接收单元接收的打开摄像头指令，预览所述摄像头采集的预览画面，其中在预览状态下，所述摄像头的图像传感器的工作模式为平均像素合并模式；
    拍摄单元，用于检测到所述预览画面中至少一个像素点的亮度小于预设条件，拍摄所述预览画面，其中在拍摄所述预览画面时，所述摄像头的图像传感器的工作模式为求和像素合并模式。
  9. 根据权利要求8所述的装置，其特征在于，所述拍摄单元具体用于将所述预览画面拍摄为图片和视频中的至少一种。
  10. 根据权利要求9所述的装置，其特征在于，所述装置还包括处理单元，所述处理单元用于对拍摄到的画面进行美白、去噪、亮眼和瘦脸中的至少一种处理。
  11. 根据权利要求8-10任一项所述的装置，其特征在于，所述装置还包括切换单元，所述切换单元用于将所述摄像头的图像传感器的工作模式切换为平均像素合并模式。
  12. 一种拍照方法，其特征在于，所述方法包括：
    接收打开摄像头指令；
    基于所述接收的打开摄像头指令，预览所述摄像头采集的预览画面，其中在预览状态下，所述摄像头的图像传感器的工作模式为平均像素合并模式；
    检测到所述图像传感器的感光度ISO大于预设值时，拍摄所述预览画面，其中在拍摄所述预览画面时，所述摄像头的图像传感器的工作模式为求和像素合并模式。
  13. 一种终端，其特征在于，所述终端包括处理器、显示器和摄像头，所 述摄像头的图像传感器的工作模式包括平均像素合并模式和求和像素合并模式；
    基于接收的打开摄像头指令，所述显示器用于预览所述摄像头采集的预览画面，其中在预览状态下，所述摄像头的图像传感器的工作模式为所述平均像素合并模式；
    所述处理器用于检测在所述预览状态下所述图像传感器的感光度ISO；
    所述摄像头用于，在所述处理器判断所述图像传感器的感光度ISO大于预设值时，拍摄所述预览画面，其中在拍摄所述预览画面时，所述摄像头的图像传感器的工作模式为所述求和像素合并模式。
  14. 一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当被包括显示器和多个应用程序的便携式电子设备执行时使所述便携式电子设备执行根据权利要求1-4和权利要求12任一项所述方法。
PCT/CN2015/095557 2015-11-25 2015-11-25 一种拍照方法、拍照装置和终端 WO2017088127A1 (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US15/736,613 US10742889B2 (en) 2015-11-25 2015-11-25 Image photographing method, image photographing apparatus, and terminal
KR1020177027468A KR101946436B1 (ko) 2015-11-25 2015-11-25 촬영 방법, 촬영 장치, 및 단말
JP2017552873A JP6461372B2 (ja) 2015-11-25 2015-11-25 撮影方法、撮影装置、及び端末
PCT/CN2015/095557 WO2017088127A1 (zh) 2015-11-25 2015-11-25 一种拍照方法、拍照装置和终端
CN201580048879.XA CN107079083B (zh) 2015-11-25 2015-11-25 一种拍照方法、拍照装置和终端
EP15909039.8A EP3358819B1 (en) 2015-11-25 2015-11-25 Photographing method, photographing device and terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/095557 WO2017088127A1 (zh) 2015-11-25 2015-11-25 一种拍照方法、拍照装置和终端

Publications (1)

Publication Number Publication Date
WO2017088127A1 true WO2017088127A1 (zh) 2017-06-01

Family

ID=58762857

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2015/095557 WO2017088127A1 (zh) 2015-11-25 2015-11-25 一种拍照方法、拍照装置和终端

Country Status (6)

Country Link
US (1) US10742889B2 (zh)
EP (1) EP3358819B1 (zh)
JP (1) JP6461372B2 (zh)
KR (1) KR101946436B1 (zh)
CN (1) CN107079083B (zh)
WO (1) WO2017088127A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9979890B2 (en) 2015-04-23 2018-05-22 Apple Inc. Digital viewfinder user interface for multiple cameras
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US10594958B2 (en) * 2017-10-20 2020-03-17 GM Global Technology Operations LLC Camera imager binning technique
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
CN109048862A (zh) * 2018-09-03 2018-12-21 天津永兴泰科技股份有限公司 一种基于机器视觉的零部件分拣机器人
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
CN111246128B (zh) * 2018-11-29 2022-09-13 北京图森智途科技有限公司 一种像素合并方法、成像设备、图像传感器及汽车
KR102669938B1 (ko) * 2019-01-09 2024-05-27 삼성전자주식회사 이미지 처리 프로세서, 이미지 처리 시스템 및 이미지 처리 프로세서의 동작 방법
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
CN110661972B (zh) 2019-09-27 2021-02-23 维沃移动通信有限公司 图像处理方法、装置、电子设备和介质
KR20210090476A (ko) * 2020-01-10 2021-07-20 삼성전자주식회사 단일 카메라로 줌 시나리오에서 화질 향상 방법과 이를 포함하는 전자장치
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
KR20220014150A (ko) * 2020-07-28 2022-02-04 삼성전자주식회사 이미지 센서와 이미지 시그널 프로세서를 포함하는 전자 장치 및 그의 방법
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
CN112198703B (zh) * 2020-10-16 2022-06-10 武汉华星光电技术有限公司 显示面板以及目标物色彩判断方法
CN112437237B (zh) * 2020-12-16 2023-02-03 维沃移动通信有限公司 拍摄方法及装置
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
CN113556519A (zh) * 2021-07-01 2021-10-26 Oppo广东移动通信有限公司 图像处理方法、电子设备和非易失性计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101778220A (zh) * 2010-03-01 2010-07-14 华为终端有限公司 一种自动切换夜景模式的方法和摄像设备
CN102843513A (zh) * 2011-06-21 2012-12-26 三星电子株式会社 通过使用照相机识别目标的照相机装置以及方法
TW201404143A (zh) * 2012-06-08 2014-01-16 Apple Inc 動態攝像機模式切換
CN104427254A (zh) * 2013-09-10 2015-03-18 联想(北京)有限公司 感光控制方法及感光控制装置
CN104793742A (zh) * 2015-04-09 2015-07-22 广东欧珀移动通信有限公司 拍摄预览方法及装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MXPA06004097A (es) * 2003-10-14 2006-06-27 Thomson Licensing Tecnica para la adicion de ruido reconfortante de bit exacto.
JP2006041862A (ja) 2004-07-27 2006-02-09 Kyocera Corp 撮像装置およびその画像読出方法
KR101110009B1 (ko) * 2004-02-27 2012-02-06 교세라 가부시키가이샤 촬상 장치 및 화상 생성 방법
US7697049B1 (en) 2005-05-04 2010-04-13 Samsung Electrics Co., Ltd. Better SNR ratio for downsized images using interlaced mode
CN101146234B (zh) 2006-09-12 2010-12-01 中兴通讯股份有限公司 流媒体图像处理的方法
JP4402710B2 (ja) * 2007-09-18 2010-01-20 オリンパス株式会社 撮像装置
US7989745B2 (en) * 2007-10-01 2011-08-02 Nikon Corporation Solid-state imaging device with focus detection and electronic camera with focus adjustment
JP5256725B2 (ja) * 2007-12-25 2013-08-07 株式会社ニコン 撮像装置
JP2011015205A (ja) 2009-07-02 2011-01-20 Fujifilm Corp デジタルカメラ及び固体撮像素子の駆動方法
JP5321348B2 (ja) 2009-08-21 2013-10-23 日本電気株式会社 撮影装置、撮影方法及び撮影プログラム
US8558915B2 (en) * 2009-12-22 2013-10-15 Samsung Electronics Co., Ltd. Photographing apparatus and method
US20110267495A1 (en) 2010-04-29 2011-11-03 Lee Warren Atkinson Automatic Pixel Binning
KR101900097B1 (ko) * 2012-07-30 2018-09-20 삼성전자주식회사 이미지 캡처 방법 및 이미지 캡처 장치
WO2014175234A1 (ja) * 2013-04-26 2014-10-30 富士フイルム株式会社 撮像装置及び画像表示方法
JP6201938B2 (ja) * 2014-09-09 2017-09-27 カシオ計算機株式会社 画像補正装置、画像補正方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101778220A (zh) * 2010-03-01 2010-07-14 华为终端有限公司 一种自动切换夜景模式的方法和摄像设备
CN102843513A (zh) * 2011-06-21 2012-12-26 三星电子株式会社 通过使用照相机识别目标的照相机装置以及方法
TW201404143A (zh) * 2012-06-08 2014-01-16 Apple Inc 動態攝像機模式切換
CN104427254A (zh) * 2013-09-10 2015-03-18 联想(北京)有限公司 感光控制方法及感光控制装置
CN104793742A (zh) * 2015-04-09 2015-07-22 广东欧珀移动通信有限公司 拍摄预览方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3358819A4 *

Also Published As

Publication number Publication date
KR101946436B1 (ko) 2019-02-11
EP3358819A1 (en) 2018-08-08
US20180152611A1 (en) 2018-05-31
JP6461372B2 (ja) 2019-01-30
JP2018523323A (ja) 2018-08-16
CN107079083A (zh) 2017-08-18
US10742889B2 (en) 2020-08-11
EP3358819B1 (en) 2021-09-15
EP3358819A4 (en) 2018-10-10
KR20170123661A (ko) 2017-11-08
CN107079083B (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
WO2017088127A1 (zh) 一种拍照方法、拍照装置和终端
CN111418201B (zh) 一种拍摄方法及设备
CN111028189B (zh) 图像处理方法、装置、存储介质及电子设备
TWI454139B (zh) 高動態範圍轉換
CA3046139C (en) Camera assembly and mobile electronic device
US9154697B2 (en) Camera selection based on occlusion of field of view
CN110505411B (zh) 图像拍摄方法、装置、存储介质及电子设备
JP6445219B2 (ja) デジタルカメラ及びデジタルカメラの表示方法
TWI511558B (zh) 具有高動態範圍攝取能力之影像感測器
WO2017215501A1 (zh) 图像降噪处理方法、装置及计算机存储介质
WO2020034737A1 (zh) 成像控制方法、装置、电子设备以及计算机可读存储介质
CN105122794B (zh) 相机遮挡检测
CN101610363B (zh) 在数字图像处理装置中对图像背景进行模糊的设备和方法
JP2019500761A (ja) 欠陥イメージセンサ素子の較正
US8681245B2 (en) Digital photographing apparatus, and method for providing bokeh effects
US8456551B2 (en) Photographing apparatus and smear correction method thereof
JPWO2019155757A1 (ja) 画像処理装置、画像処理方法及び画像処理システム
CN110266965B (zh) 图像处理方法、装置、存储介质及电子设备
GB2470614A (en) Image processing method featuring facial blurring
KR20120004092A (ko) 카메라 모듈 및 그의 노출 제어 방법
KR100595525B1 (ko) 모바일 카메라의 미리보기 영상 개선 장치 및 방법
CN114630016B (zh) 图像处理方法、图像处理器及电子设备
Koskiranta Improving automatic imaging algorithms with dual camera system
KR101385963B1 (ko) 칼라 보정 기능을 갖는 이미지 처리 장치 및 칼라 보정방법
CN117956296A (zh) 视频拍摄方法及其装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15909039

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20177027468

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2017552873

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15736613

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE