WO2018018959A1 - 镜头变焦方法和装置及移动终端 - Google Patents

镜头变焦方法和装置及移动终端 Download PDF

Info

Publication number
WO2018018959A1
WO2018018959A1 PCT/CN2017/081475 CN2017081475W WO2018018959A1 WO 2018018959 A1 WO2018018959 A1 WO 2018018959A1 CN 2017081475 W CN2017081475 W CN 2017081475W WO 2018018959 A1 WO2018018959 A1 WO 2018018959A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
imaging sensor
mems
move
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2017/081475
Other languages
English (en)
French (fr)
Inventor
苏豫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of WO2018018959A1 publication Critical patent/WO2018018959A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Definitions

  • the present application relates to the field of image processing technologies, and in particular, to a lens zoom implementation method and apparatus, and a mobile terminal.
  • zoom is an important capability of the lens.
  • the zoom includes both optical zoom and digital zoom.
  • Optical zoom is to change the focal length of the lens by changing the relative position of each lens in the zoom lens, making the object farther clearer.
  • Digital zoom is an electronic zoom that magnifies part of the image to the entire frame, but at the expense of image quality. Therefore, optical zoom has better sharpness after zooming in relative to digital zoom.
  • the focal length of the lens is usually changed, and the distance between the lens and the imaging sensor is changed according to the focal length.
  • the lens movement range is limited due to the size limitation of the mobile terminal, and it is difficult to achieve optical zoom by lens movement.
  • the present application aims to solve at least one of the technical problems in the related art to some extent.
  • Another object of the present application is to provide a lens zoom implementation device.
  • the lens zoom implementation method of the first aspect of the present application includes: imaging an object at a current position to obtain an image before the position is moved; controlling the MEMS to drive the imaging sensor to move; The object is imaged again to obtain an image after the position is moved; the image before the position is moved and the image after the position is superimposed; and the superimposed image is enlarged.
  • the lens zoom implementation method proposed by the first aspect of the present application can control the movement of the imaging sensor by the MEMS, and superimpose the images obtained at different positions, so that the superimposed image contains more pixels and has higher Resolution, which allows for an optical zoom-like effect.
  • a lens zoom implementation device includes: first imaging a module for imaging an object at a current position to obtain an image before the position is moved; a moving module for controlling movement of the imaging sensor by the MEMS; and a second imaging module for re-imaging the object at the position after the movement And obtaining an image after the position is moved; a superimposing module, configured to superimpose the image before the positional movement and the image after the positional movement; and an amplifying module, configured to enlarge the superimposed image.
  • the lens zoom implementation device proposed by the second embodiment of the present application can control the MEMS to drive the imaging sensor to move and superimpose the images obtained at different positions, so that the superimposed image includes more pixels and has higher Resolution, which allows for an optical zoom-like effect.
  • the mobile terminal provided by the embodiment of the third aspect of the present invention includes: a housing and an imaging module disposed in the housing, the imaging module comprising: a lens, a MEMS, an imaging sensor, and a processor.
  • the imaging sensor is disposed on the MEMS; the imaging sensor is configured to image an object at a current position to obtain an image before the position is moved; the MEMS is used to drive the imaging sensor to move; the imaging sensor is further used And re-imaging the object at the position after the movement to obtain an image after the position is moved; the processor is configured to superimpose the image before the positional movement and the image after the positional movement, and after superimposing The image is enlarged.
  • the mobile terminal proposed by the embodiment of the third aspect of the present invention can control the MEMS to drive the imaging sensor to move and superimpose the images obtained at different positions, so that the superimposed image contains more pixels and has higher resolution.
  • an effect similar to optical zoom can be achieved.
  • the fourth aspect of the present application provides a computer program product, when the instruction processor in the computer program product executes, performing a lens zoom implementation method, the method comprising:
  • Imaging the object at the current position to obtain an image before the position is moved
  • the fifth aspect of the present application proposes a storage medium that enables a mobile device to perform a lens zoom implementation method when instructions in the storage medium are executed by a processor of the mobile terminal.
  • the methods include:
  • Imaging the object at the current position to obtain an image before the position is moved
  • FIG. 1 is a schematic flow chart of a lens zoom implementation method according to an embodiment of the present application.
  • FIG. 2 is a schematic flow chart of a lens zoom implementation method according to another embodiment of the present application.
  • FIG. 3 is a schematic structural diagram of a lens zoom implementation device according to an embodiment of the present application.
  • FIG. 4 is a schematic structural diagram of a lens zoom implementation device according to another embodiment of the present application.
  • FIG. 5 is a schematic structural diagram of a mobile terminal according to an embodiment of the present application.
  • MEMS micro electro mechanical system
  • the imaging module includes a lens, a MEMS, an imaging sensor (Sensor), etc., and the MEMS can drive the imaging sensor to move.
  • MEMS is a high-tech electromechanical device based on microelectronics (semiconductor manufacturing technology) that combines lithography, etching, thin film, LIGA, silicon micromachining, non-silicon micromachining and precision machining. Compared to existing voice coil motors, they have a smaller size.
  • the MEMS consists of a comb structure, which is actuated by electrostatic force (depending on the attraction between the static charges), and can be accurately controlled or shifted by the driving voltage, and the precision can reach 150um, so that the imaging sensor can be driven to realize the pixel. Level of movement.
  • FIG. 1 is a schematic flow chart of a lens zoom implementation method according to an embodiment of the present application.
  • the method in this embodiment includes:
  • S11 The object is imaged at the current position to obtain an image before the position is moved.
  • the distance between the imaging sensor and the lens can be adjusted to the focal length of the lens.
  • the distance to reach the focus state After the focus state is reached, the imaging sensor can image the object after the user presses the shutter.
  • S12 Control the MEMS to drive the imaging sensor to move.
  • the imaging sensor may be moved by the MEMS.
  • the MEMS can achieve high-precision movement, such as pixel-level movement, thereby achieving more precise movement of the imaging sensor.
  • the MEMS when the MEMS drives the imaging sensor to move, it may be a distance smaller than a single pixel size each time.
  • the size of each pixel can be determined according to the size of the imaging sensor and the number of photosensitive elements included.
  • the distance smaller than a single pixel size may specifically include: a distance of a half pixel size, a distance of a one-third pixel size, a distance of a quarter pixel size, and the like.
  • the imaging sensor moves in the same plane when moving under the MEMS (can move in different directions of the same plane), and the same plane refers to the plane of the imaging sensor after focusing, so that the imaging sensor When moving under the MEMS, the change of the focal length is hardly affected, or the distance between the lens optical center and the imaging sensor is not affected when moving, so that the image obtained by the imaging sensor at different positions is basically a clear image obtained after focusing.
  • multiple images can be combined into one image after being superimposed.
  • the image before the positional movement is referred to as the first image
  • the MEMS drives the imaging sensor to move a distance of half a pixel size
  • the image obtained after moving the distance of the half pixel size is referred to as a second image
  • the generated superimposed image has a size of 2*(N*M)
  • the superimposed image includes The total number of pixels has doubled, which is twice the image before the overlay.
  • the pixel value of each pixel of the superimposed image is the pixel value of the corresponding pixel in the corresponding first image or second image.
  • the above movement is not limited to moving once, and can be moved multiple times, for example, the distance of half a pixel size is moved for the first time, and the distance of half a pixel size is moved by the second time after the first movement, according to In this way, you can get the corresponding image after moving multiple times.
  • the plurality of images can be superimposed. It can be understood that if there are overlapping portions at the time of superimposition, the pixel values of the overlapping portions in the superimposed image can be selected as the average of the pixel values of the corresponding portions of the plurality of images. For example, each time you move a distance of half a pixel size, after the second move The obtained image is moved by a distance of 1 pixel size with respect to the image when it is not moved, and it is also assumed that the image before the superimposition is N*M (N rows and M columns), and it is assumed that the movement is along the column from left to right.
  • the number of pixels in the overlapping portion is N*(M-1), that is, the portion of the N*(M-1) size on the right side of the image when not moving and the left side of the image after the second movement
  • N*(M-1) size of the side overlaps, so the size of the image after superimposing the two images is N*(M+1), where the pixel value of the leftmost column is not moved.
  • the pixel value of the leftmost column of the image, the pixel value of the rightmost column is the pixel value of the rightmost column of the image after the second movement, and the portion of the N*(M-1) size in the middle
  • the pixel value of each pixel is the mean of the corresponding pixel values of the two image portions that are overlapped as described above.
  • the number of movements mentioned above may be set in advance, and the maximum number of movements may be determined according to the maximum distance that the MEMS can move. For example, each time you move a distance of half a pixel size, the maximum number of moves can be rounded down (X/0.5), where X is the maximum distance the MEMS can move, in pixels, in terms of hardware parameters. determine. Rounding down (X/0.5) means not exceeding the maximum integer value of X/0.5.
  • the desired portion of the superimposed image may be selected for enlargement, and the specific magnification is related to the number of pixels added by the superimposed image. For example, moving only once, and moving the distance of half a pixel size, since the number of pixels added is doubled, it can be doubled.
  • the superimposed image can have more pixels and higher resolution, so that similar optical zoom can be realized. Effect.
  • FIG. 2 is a schematic flow chart of a lens zoom implementation method according to another embodiment of the present application.
  • the process of this embodiment includes:
  • the distance between the imaging sensor and the lens can be adjusted to the focal length of the lens to achieve the focus state.
  • the imaging sensor can image the object after the user presses the shutter.
  • S22 Control the MEMS to drive the imaging sensor to move the distance of half a pixel size each time, and image the object again after the moving position to obtain an image after the position is moved.
  • the imaging sensor may be moved by the MEMS.
  • the MEMS can achieve high-precision movement, such as pixel-level movement, thereby achieving more precise movement of the imaging sensor.
  • the MEMS when the MEMS drives the imaging sensor to move, it may be half a pixel size each time. distance.
  • the imaging sensor moves in the same plane when moving under the MEMS (can move in different directions of the same plane), and the same plane refers to the plane of the imaging sensor after focusing, so that the imaging sensor When moving under the MEMS, the change of the focal length is hardly affected, or the distance between the lens optical center and the imaging sensor is not affected when moving, so that the image obtained by the imaging sensor at different positions is basically a clear image obtained after focusing.
  • S23 Determine whether the preset number of movements is reached. If yes, execute S24, otherwise repeat S22 and subsequent steps.
  • the MEMS drives the imaging sensor to move one or more times when moving, and the specific number of times can be preset.
  • multiple images can be combined into one image after being superimposed.
  • the image before the positional movement is referred to as the first image
  • the MEMS drives the imaging sensor to move a distance of half a pixel size
  • the image obtained after moving the distance of the half pixel size is referred to as a second image
  • the generated superimposed image has a size of 2*(N*M)
  • the superimposed image includes The total number of pixels has doubled, which is twice the image before the overlay.
  • the pixel value of each pixel of the superimposed image is the pixel value of the corresponding pixel in the corresponding first image or second image.
  • the above movement is not limited to moving once, and can be moved multiple times, for example, the distance of half a pixel size is moved for the first time, and the distance of half a pixel size is moved by the second time after the first movement, according to In this way, you can get the corresponding image after moving multiple times.
  • the plurality of images can be superimposed. It can be understood that if there are overlapping portions at the time of superimposition, the pixel values of the overlapping portions in the superimposed image can be selected as the average of the pixel values of the corresponding portions of the plurality of images. For example, each time the distance of half a pixel size is moved, the image obtained after the second movement is moved by a distance of 1 pixel size with respect to the image when the image is not moved, and it is also assumed that the image before the superimposition is N*M (N lines).
  • the number of pixels in the overlapping portion is N*(M-1), that is, N* on the right side of the image when not moving
  • N*(M-1) size overlaps with the portion of the N*(M-1) size on the left side of the image after the second movement, so the size of the image after superimposing the two images is N*(M+ 1), wherein the pixel value of the leftmost column is the pixel value of the leftmost column of the image when the image is not moved, and the pixel value of the rightmost column is the rightmost of the image after the second movement
  • the pixel value of one column, and the pixel value of each pixel of the portion of the intermediate N*(M-1) size is the average of the corresponding pixel values of the two image portions in which the above overlap exists.
  • the number of movements mentioned above may be set in advance, and the maximum number of movements may be determined according to the maximum distance that the MEMS can move. For example, each time you move a distance of half a pixel size, the maximum number of moves can be rounded down (X/0.5), where X is the maximum distance the MEMS can move, in pixels, in terms of hardware parameters. determine. Rounding down (X/0.5) means not exceeding the maximum integer value of X/0.5.
  • S25 Select a portion to be enlarged in the superimposed image, and use a digital zoom to enlarge the portion to be enlarged.
  • the portion to be amplified may be determined according to the user's selection in the superimposed image, and the portion to be enlarged may be digital zoomed, for example, by interpolation. Since the superimposed image is a high-resolution image, it still has better sharpness after being enlarged.
  • the required portion of the superimposed image may be selected for enlargement, and the specific magnification is related to the number of pixels added by the superimposed image. For example, moving only once, and moving the distance of half a pixel, since the number of pixels added is doubled, it can be doubled.
  • the superimposed image can have more pixels and higher resolution, so that similar optical zoom can be realized. Effect. Further, by magnifying the portion to be enlarged by digital amplification, the image can be enlarged, and since the portion to be enlarged has a higher resolution, it can have better definition after zooming, and realizes similar optical zoom. effect.
  • FIG. 3 is a schematic structural diagram of a lens zoom implementation apparatus according to an embodiment of the present application.
  • the apparatus 30 of this embodiment includes a first imaging module 31, a moving module 32, a second imaging module 33, a superimposing module 34, and an amplifying module 35.
  • the first imaging module 31 is configured to image an object at a current position to obtain an image before the position is moved;
  • a moving module 32 configured to control MEMS to drive the imaging sensor to move
  • a second imaging module 33 configured to image the object again after the movement to obtain an image after the position is moved;
  • the superimposing module 34 is configured to superimpose the image before the positional movement and the image after the positional movement.
  • the amplifying module 35 is configured to enlarge the superimposed image.
  • the mobile module 32 is specifically configured to:
  • Controlling the MEMS drives the imaging sensor a distance of half a pixel size at a time.
  • the mobile module 32 is specifically configured to:
  • the amplification module 35 includes:
  • the submodule 351 and the amplifying submodule 352 are selected.
  • the amplifying sub-module 352 is configured to use a digital zoom to enlarge the portion to be enlarged.
  • the superimposed image can have more pixels and higher resolution, so that similar optical zoom can be realized. Effect.
  • FIG. 5 is a schematic structural diagram of a mobile terminal according to an embodiment of the present application.
  • the terminal 50 of this embodiment includes a housing 51 and an imaging module 52 disposed in the housing.
  • the imaging module 52 includes a lens 521, a MEMS 522, an imaging sensor 523, and a processor. 524, the imaging sensor 523 is disposed on the MEMS 522;
  • the imaging sensor 523 is configured to image an object at a current position to obtain an image before the position is moved;
  • the MEMS 522 is configured to drive the imaging sensor to move
  • the imaging sensor 523 is further configured to image the object again after the movement to obtain an image after the position is moved;
  • the processor 524 is configured to superimpose the image before the positional movement and the image after the positional movement, and enlarge the superimposed image.
  • the MEMS 522 drives the imaging sensor to move a distance less than a single pixel size each time.
  • control MEMS 522 moves the imaging sensor a predetermined number of times as it moves.
  • the processor 524 is specifically configured to: select a portion to be enlarged in the superimposed image, and use a digital zoom to enlarge the portion to be enlarged.
  • the superimposed image can have more pixels and higher resolution, so that similar optical zoom can be realized. Effect.
  • portions of the application can be implemented in hardware, software, firmware, or a combination thereof.
  • multiple steps or methods may be implemented in software or firmware stored in a memory and executed by a suitable instruction execution system.
  • a suitable instruction execution system For example, if implemented in hardware, as in another embodiment, it can be implemented by any one or combination of the following techniques well known in the art: having logic gates for implementing logic functions on data signals. Discrete logic circuits, application specific integrated circuits with suitable combinational logic gates, programmable gate arrays (PGAs), field programmable gate arrays (FPGAs), etc.
  • each functional unit in each embodiment of the present application may be integrated into one processing module, or each unit may exist physically separately, or two or more units may be integrated into one module.
  • the above integrated modules can be implemented in the form of hardware or in the form of software functional modules.
  • the integrated modules, if implemented in the form of software functional modules and sold or used as stand-alone products, may also be stored in a computer readable storage medium.
  • the above mentioned storage medium may be a read only memory, a magnetic disk or an optical disk or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请提出一种镜头变焦实现方法和装置及移动终端，该镜头变焦实现方法包括：在当前位置对物体进行成像，得到位置移动前的图像；控制MEMS带动成像传感器移动；在移动后的位置对所述物体再次进行成像，得到位置移动后的图像；对所述位置移动前的图像及所述位置移动后的图像进行叠加；以及，对叠加后的图像进行放大。该方法能够在不改变镜头焦距的基础上实现类似光学变焦的效果。

Description

镜头变焦方法和装置及移动终端
相关申请的交叉引用
本申请要求广东欧珀移动通信有限公司于2016年7月29日提交的、申请名称为“镜头变焦方法和装置及移动终端”的、中国专利申请号“201610616168.4”的优先权。
技术领域
本申请涉及图像处理技术领域，尤其涉及一种镜头变焦实现方法和装置及移动终端。
背景技术
变焦是镜头的一个重要能力。变焦包括光学变焦(optical zoom)和数码变焦(digital zoom)两种。光学变焦是通过改变变焦镜头中各镜片的相对位置来改变镜头的焦距，使得更远的物体变得更清晰。数码变焦是电子放大，将部分影像放大到整个画面，但是会损失影像的品质。因此，光学变焦相对于数码变焦在放大后具有更好的清晰度。
相关技术中，为了实现光学变焦通常是改变镜头的焦距，再根据焦距改变镜头与成像传感器之间的距离。但是，当用于手机等移动终端的成像时，由于移动终端的尺寸限制，镜头移动范围受限，难以通过镜头移动实现光学变焦。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的一个目的在于提出一种镜头变焦实现方法，该方法可以在不改变镜头焦距的基础上实现类似光学变焦的效果。
本申请的另一个目的在于提出一种镜头变焦实现装置。
为达到上述目的，本申请第一方面实施例提出的镜头变焦实现方法，包括：在当前位置对物体进行成像，得到位置移动前的图像；控制MEMS带动成像传感器移动；在移动后的位置对所述物体再次进行成像，得到位置移动后的图像；对所述位置移动前的图像及所述位置移动后的图像进行叠加；以及，对叠加后的图像进行放大。
本申请第一方面实施例提出的镜头变焦实现方法，通过控制MEMS带动成像传感器移动，并将不同位置得到的图像进行叠加，可以实现叠加后的图像包含的像素个数较多，具有更高的分辨率，从而可以实现类似光学变焦的效果。
为达到上述目的，本申请第二方面实施例提出的镜头变焦实现装置，包括：第一成像 模块，用于在当前位置对物体进行成像，得到位置移动前的图像；移动模块，用于控制MEMS带动成像传感器移动；第二成像模块，用于在移动后的位置对所述物体再次进行成像，得到位置移动后的图像；叠加模块，用于对所述位置移动前的图像及所述位置移动后的图像进行叠加；放大模块，用于对叠加后的图像进行放大。
本申请第二方面实施例提出的镜头变焦实现装置，通过控制MEMS带动成像传感器移动，并将不同位置得到的图像进行叠加，可以实现叠加后的图像包含的像素个数较多，具有更高的分辨率，从而可以实现类似光学变焦的效果。
为达到上述目的，本申请第三方面实施例提出的移动终端，包括：壳体和设置在所述壳体内的成像模组，所述成像模组包括：镜头、MEMS、成像传感器和处理器，所述成像传感器设置在所述MEMS上；所述成像传感器用于在当前位置对物体进行成像，得到位置移动前的图像；所述MEMS用于带动所述成像传感器移动；所述成像传感器还用于在移动后的位置对所述物体再次进行成像，得到位置移动后的图像；所述处理器用于对所述位置移动前的图像及所述位置移动后的图像进行叠加，以及，对叠加后的图像进行放大。
本申请第三方面实施例提出的移动终端，通过控制MEMS带动成像传感器移动，并将不同位置得到的图像进行叠加，可以实现叠加后的图像包含的像素个数较多，具有更高的分辨率，从而可以实现类似光学变焦的效果。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
为达上述目的，本申请第四方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行一种镜头变焦实现方法，所述方法包括：
在当前位置对物体进行成像，得到位置移动前的图像；
控制MEMS带动成像传感器移动；在移动后的位置对所述物体再次进行成像，得到位置移动后的图像；
对所述位置移动前的图像及所述位置移动后的图像进行叠加；以及，对叠加后的图像进行放大。
为达上述目的，本申请第五方面实施例提出了一种存储介质，当所述存储介质中的指令由移动终端的处理器被执行时，使得移动设备能够执行一种镜头变焦实现方法，所述方法包括：
在当前位置对物体进行成像，得到位置移动前的图像；
控制MEMS带动成像传感器移动；在移动后的位置对所述物体再次进行成像，得到位置移动后的图像；
对所述位置移动前的图像及所述位置移动后的图像进行叠加；以及，对叠加后的图像 进行放大。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本申请一个实施例提出的镜头变焦实现方法的流程示意图；
图2是本申请另一个实施例提出的镜头变焦实现方法的流程示意图；
图3是本申请一个实施例提出的镜头变焦实现装置的结构示意图；
图4是本申请另一个实施例提出的镜头变焦实现装置的结构示意图；
图5是本申请一个实施例提出的移动终端的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的模块或具有相同或类似功能的模块。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。相反，本申请的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
随着移动终端的发展，移动终端内的硬件也在不断升级，比如，在移动终端内采用了微机电系统(Micro Electro Mechanical System，MEMS)。具体的，MEMS可以应用在多种模组中，比如应用在成像模组中。成像模组包括镜头、MEMS、成像传感器(Sensor)等，MEMS能够带动成像传感器移动。
MEMS是在微电子技术(半导体制造技术)基础上发展起来的，融合了光刻、腐蚀、薄膜、LIGA、硅微加工、非硅微加工和精密机械加工等技术制造的高科技电子机械器件，相较于现有的音圈马达具有较小的尺寸。
另外，MEMS由梳状构造组成，借助静电力致动(依靠静电荷之间的吸引力致动)，能够通过驱动电压实现精准控制或移位，精度可以达到150um，从而可以带动成像传感器实现像素级的移动。
图1是本申请一个实施例提出的镜头变焦实现方法的流程示意图。
如图1所示，本实施例的方法包括：
S11：在当前位置对物体进行成像，得到位置移动前的图像。
例如，需要对物体进行成像时，可以先调整成像传感器与镜头之间的距离为镜头焦距 的距离，达到对焦状态。在达到对焦状态后，用户按下快门后，成像传感器可以对物体进行成像。
S12：控制MEMS带动成像传感器移动。
S13：在移动后的位置对所述物体再次进行成像，得到位置移动后的图像。
与通常成像一次的方式不同的是，本实施例中为了实现类似光学变焦的效果，还需要控制成像传感器进行位置移动，并在移动后的位置对物体再次进行成像。
具体的，成像传感器可以是在MEMS的带动下进行的移动。与音圈马达等带动装置不同的是，MEMS可以实现高精度的移动，比如可以实现像素级别的移动，从而实现成像传感器更精准的移动。
进一步的，本实施例中MEMS带动成像传感器移动时，可以是每次移动小于单个像素尺寸的距离。具体的，每个像素的尺寸可以根据成像传感器的尺寸及包括的感光元件的个数确定。
小于单个像素尺寸的距离可以具体包括：半个像素尺寸的距离、三分之一像素尺寸的距离、四分之一像素尺寸的距离等。
另外，需要说明的是，成像传感器在MEMS带动下进行移动时是在同一平面内移动(可以在同一平面的不同方向移动)，上述的同一平面是指对焦后的成像传感器所在平面，从而成像传感器在MEMS带动下移动时几乎不会影响焦距的变化，或者说移动时不会影响镜头光心与成像传感器的距离，以保证成像传感器在不同位置得到的图像基本上是对焦后获取的清晰图像。
S14：对所述位置移动前的图像及所述位置移动后的图像进行叠加。
其中，多个图像进行叠加后可以组合成一张图像。
例如，位置移动前的图像称为第一图像，假设MEMS带动成像传感器移动了半个像素尺寸的距离，并在移动半个像素尺寸的距离后得到的图像称为第二图像，并假设第一图像和第二图像均为N*M大小的，则对第一图像与第二图像进行叠加后，生成的叠加后的图像的大小为2*(N*M)，即叠加后的图像包含的像素的总数增加了一倍，是叠加前的图像的2倍。叠加后的图像的每个像素的像素值是相应的第一图像或第二图像中相应像素的像素值。
另外，上述的移动不限于移动一次，可以移动多次，比如第一次移动了半个像素尺寸的距离，第二次在第一次移动后的基础上再移动半个像素尺寸的距离，依此类推，可以得到移动多次后对应的图像。
当位置移动后的图像为多个时，可以将这多个图像进行叠加。可以理解的是，如果在叠加时存在相互重叠的部分，叠加后的图像中存在相互重叠的部分的像素值可以选为多个图像中相应部分的像素值的均值。比如，每次移动半个像素尺寸的距离时，第二次移动后 得到的图像相对于未移动时的图像移动了1个像素尺寸的距离，同样假设叠加前的图像是N*M(N行M列)大小的，并且假设移动是沿着从左到右的列方向移动的，则重叠部分的像素个数是N*(M-1)，即未移动时的图像的右侧的N*(M-1)大小的部分与第二次移动后的图像的左侧的N*(M-1)大小的部分存在重叠，因此这两个图像叠加后的图像的大小是N*(M+1)，其中，最左侧的一列的像素值是未移动时的图像的最左侧的一列的像素值，最右侧的一列的像素值是第二次移动后的图像的最右侧的一列的像素值，而中间的N*(M-1)大小的部分的每个像素的像素值是上述的存在重叠的两个图像部分的相应像素值的均值。
进一步的，上述的移动次数可以预先设置，且最大移动次数可以根据MEMS能够移动的最大距离确定。比如，每次移动半个像素尺寸的距离，则能够移动的最大次数＝向下取整(X/0.5)，其中，X是MEMS能够移动的最大距离，以像素尺寸为单位，可以根据硬件参数确定。向下取整(X/0.5)表示不超过X/0.5的最大整数值。
S15：对叠加后的图像进行放大。
在得到叠加后的图像后，可以选择叠加后的图像中需要的部分进行放大，具体的放大倍数与叠加后的图像增加的像素个数有关。比如，仅移动了一次，且移动了半个像素尺寸的距离，由于增加的像素的个数是增加了一倍，因此可以实现放大2倍。
本实施例中，通过控制MEMS带动成像传感器移动，并将不同位置得到的图像进行叠加，可以实现叠加后的图像包含的像素个数较多，具有更高的分辨率，从而可以实现类似光学变焦的效果。
图2是本申请另一个实施例提出的镜头变焦实现方法的流程示意图。
如图2所示，本实施例的流程包括：
S21：在当前位置对物体进行成像，得到位置移动前的图像。
例如，需要对物体进行成像时，可以先调整成像传感器与镜头之间的距离为镜头焦距的距离，达到对焦状态。在达到对焦状态后，用户按下快门后，成像传感器可以对物体进行成像。
S22：控制MEMS带动成像传感器每次移动半个像素尺寸的距离，在移动后的位置对所述物体再次进行成像，得到位置移动后的图像。
与通常成像一次的方式不同的是，本实施例中为了实现类似光学变焦的效果，还需要控制成像传感器进行位置移动，并在移动后的位置对物体再次进行成像。
具体的，成像传感器可以是在MEMS的带动下进行的移动。与音圈马达等带动装置不同的是，MEMS可以实现高精度的移动，比如可以实现像素级别的移动，从而实现成像传感器更精准的移动。
进一步的，本实施例中MEMS带动成像传感器移动时，可以是每次移动半个像素尺寸的 距离。
另外，需要说明的是，成像传感器在MEMS带动下进行移动时是在同一平面内移动(可以在同一平面的不同方向移动)，上述的同一平面是指对焦后的成像传感器所在平面，从而成像传感器在MEMS带动下移动时几乎不会影响焦距的变化，或者说移动时不会影响镜头光心与成像传感器的距离，以保证成像传感器在不同位置得到的图像基本上是对焦后获取的清晰图像。
S23：判断是否达到预设的移动次数，若是，执行S24，否则重复执行S22及其后续步骤。
其中，MEMS带动成像传感器进行移动时可以移动一次或多次，具体次数可以预先设置。
S24：对所述位置移动前的图像及所述位置移动后的图像进行叠加，得到叠加后的图像。
其中，多个图像进行叠加后可以组合成一张图像。
例如，位置移动前的图像称为第一图像，假设MEMS带动成像传感器移动了半个像素尺寸的距离，并在移动半个像素尺寸的距离后得到的图像称为第二图像，并假设第一图像和第二图像均为N*M大小的，则对第一图像与第二图像进行叠加后，生成的叠加后的图像的大小为2*(N*M)，即叠加后的图像包含的像素的总数增加了一倍，是叠加前的图像的2倍。叠加后的图像的每个像素的像素值是相应的第一图像或第二图像中相应像素的像素值。
另外，上述的移动不限于移动一次，可以移动多次，比如第一次移动了半个像素尺寸的距离，第二次在第一次移动后的基础上再移动半个像素尺寸的距离，依此类推，可以得到移动多次后对应的图像。
当位置移动后的图像为多个时，可以将这多个图像进行叠加。可以理解的是，如果在叠加时存在相互重叠的部分，叠加后的图像中存在相互重叠的部分的像素值可以选为多个图像中相应部分的像素值的均值。比如，每次移动半个像素尺寸的距离时，第二次移动后得到的图像相对于未移动时的图像移动了1个像素尺寸的距离，同样假设叠加前的图像是N*M(N行M列)大小的，并且假设移动是沿着从左到右的列方向移动的，则重叠部分的像素个数是N*(M-1)，即未移动时的图像的右侧的N*(M-1)大小的部分与第二次移动后的图像的左侧的N*(M-1)大小的部分存在重叠，因此这两个图像叠加后的图像的大小是N*(M+1)，其中，最左侧的一列的像素值是未移动时的图像的最左侧的一列的像素值，最右侧的一列的像素值是第二次移动后的图像的最右侧的一列的像素值，而中间的N*(M-1)大小的部分的每个像素的像素值是上述的存在重叠的两个图像部分的相应像素值的均值。
进一步的，上述的移动次数可以预先设置，且最大移动次数可以根据MEMS能够移动的最大距离确定。比如，每次移动半个像素尺寸的距离，则能够移动的最大次数＝向下取整(X/0.5)，其中，X是MEMS能够移动的最大距离，以像素尺寸为单位，可以根据硬件参数 确定。向下取整(X/0.5)表示不超过X/0.5的最大整数值。
S25：在叠加后的图像中选取待放大的部分，并对所述待放大的部分采用数码变焦进行放大。
其中，可以在叠加后的图像中根据用户的选择确定待放大部分，对应该待放大部分可以采用数码变焦方式进行方式，例如，采用插值方式进行放大。由于叠加后的图像是高分辨率的图像，因此在放大后依然可以具有较好的清晰度。
进一步的，在得到叠加后的图像后，可以选择叠加后的图像中需要的部分进行放大，具体的放大倍数与叠加后的图像增加的像素个数有关。比如，仅移动了一次，且移动了半个像素的距离，由于增加的像素的个数是增加了一倍，因此可以实现放大2倍。
本实施例中，通过控制MEMS带动成像传感器移动，并将不同位置得到的图像进行叠加，可以实现叠加后的图像包含的像素个数较多，具有更高的分辨率，从而可以实现类似光学变焦的效果。进一步的，通过对待放大部分采用数码放大方式进行放大，可以实现对图像的放大，并且由于待放大部分具有较高的分辨率，因此在放大后可以具有较好的清晰度，实现类似光学变焦的效果。
图3是本申请一个实施例提出的镜头变焦实现装置的结构示意图。
如图3所示，本实施例的装置30包括：第一成像模块31、移动模块32、第二成像模块33和叠加模块34及放大模块35。
第一成像模块31，用于在当前位置对物体进行成像，得到位置移动前的图像；
移动模块32，用于控制MEMS带动成像传感器移动；
第二成像模块33，用于在移动后的位置对所述物体再次进行成像，得到位置移动后的图像；
叠加模块34，用于对所述位置移动前的图像及所述位置移动后的图像进行叠加。
放大模块35，用于对叠加后的图像进行放大。
一些实施例中，所述移动模块32具体用于：
控制MEMS带动成像传感器每次移动半个像素尺寸的距离。
一些实施例中，所述移动模块32具体用于：
控制MEMS带动成像传感器移动预设次数。
一些实施例中，参见图4，放大模块35包括：
选取子模块351和放大子模块352。
选取子模块351，用于在叠加后的图像中选取待放大的部分；
放大子模块352，用于对所述待放大的部分采用数码变焦进行放大。
可以理解的是，本实施例的装置与上述方法实施例对应，具体内容可以参见方法实施 例的相关描述，在此不再详细说明。
本实施例中，通过控制MEMS带动成像传感器移动，并将不同位置得到的图像进行叠加，可以实现叠加后的图像包含的像素个数较多，具有更高的分辨率，从而可以实现类似光学变焦的效果。
图5是本申请一个实施例提出的移动终端的结构示意图。
如图5所示，本实施例的终端50包括：壳体51和设置在所述壳体内的成像模组52，所述成像模组52包括：镜头521、MEMS 522、成像传感器523和处理器524，所述成像传感器523设置在所述MEMS 522上；
所述成像传感器523用于在当前位置对物体进行成像，得到位置移动前的图像；
所述MEMS 522用于带动所述成像传感器移动；
所述成像传感器523还用于在移动后的位置对所述物体再次进行成像，得到位置移动后的图像；
所述处理器524用于对所述位置移动前的图像及所述位置移动后的图像进行叠加，以及，对叠加后的图像进行放大。
一些实施例中，所述MEMS 522带动成像传感器移动时，每次移动小于单个像素尺寸的距离。
一些实施例中，所述控制MEMS 522带动成像传感器移动时，移动预设次数。
一些实施例中，处理器524具体用于：在叠加后的图像中选取待放大的部分，并对所述待放大的部分采用数码变焦进行放大。
可以理解的是，本实施例的装置与上述方法实施例对应，具体内容可以参见方法实施例的相关描述，在此不再详细说明。
本实施例中，通过控制MEMS带动成像传感器移动，并将不同位置得到的图像进行叠加，可以实现叠加后的图像包含的像素个数较多，具有更高的分辨率，从而可以实现类似光学变焦的效果。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序， 包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

  1. 一种镜头变焦实现方法，其特征在于，包括：
    在当前位置对物体进行成像，得到位置移动前的图像；
    控制MEMS带动成像传感器移动；
    在移动后的位置对所述物体再次进行成像，得到位置移动后的图像；
    对所述位置移动前的图像及所述位置移动后的图像进行叠加；以及，
    对叠加后的图像进行放大。
  2. 根据权利要求1所述的方法，其特征在于，所述控制MEMS带动成像传感器移动，包括：
    控制MEMS带动成像传感器每次移动小于单个像素尺寸的距离。
  3. 根据权利要求2所述的方法，其特征在于，根据所述成像传感器的尺寸、感光元件的个数确定所述单个像素的尺寸。
  4. 根据权利要求1-3任一项所述的方法，其特征在于，所述控制MEMS带动成像传感器移动，包括：
    控制MEMS带动成像传感器移动预设次数。
  5. 根据权利要求1-4任一项所述的方法，其特征在于，所述对叠加后的图像进行放大，包括：
    在叠加后的图像中选取待放大的部分，并对所述待放大的部分采用数码变焦进行放大。
  6. 一种移动终端，包括：壳体和设置在所述壳体内的成像模组，所述成像模组包括：镜头、MEMS、成像传感器和处理器，所述成像传感器设置在所述MEMS上；
    所述成像传感器用于在当前位置对物体进行成像，得到位置移动前的图像；
    所述MEMS用于带动所述成像传感器移动；
    所述成像传感器还用于在移动后的位置对所述物体再次进行成像，得到位置移动后的图像；
    所述处理器用于控制所述MEMS带动所述成像传感器移动，对所述位置移动前的图像及所述位置移动后的图像进行叠加；以及，对叠加后的图像进行放大。
  7. 根据权利要求6所述的移动终端，其特征在于，所述处理器用于控制所述MEMS带动成像传感器移动时，每次移动小于单个像素尺寸的距离。
  8. 根据权利要求7所述的移动终端，其特征在于，所述处理器用于根据所述成像传感器的尺寸、感光元件的个数确定所述单个像素的尺寸。
  9. 根据权利要求6-8任一所述的移动终端，其特征在于，所述处理器用于控制MEMS 带动成像传感器移动预设次数。
  10. 根据权利要求6-9任一所述的移动终端，其特征在于，所述处理器用于在叠加后的图像中选取待放大的部分，并对所述待放大的部分采用数码变焦进行放大。
  11. 一种计算机可读存储介质，具有存储于其中的指令，当所述指令被移动终端的处理器执行时，所述移动终端执行如权利要求1-5任一项所述的镜头变焦实现方法。
  12. 一种计算机程序，当其在处理器执行时，执行如权利要求1-5任一项所述的镜头变焦实现方法。
PCT/CN2017/081475 2016-07-29 2017-04-21 镜头变焦方法和装置及移动终端 Ceased WO2018018959A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610616168.4A CN106101557B (zh) 2016-07-29 2016-07-29 镜头变焦方法和装置及移动终端
CN201610616168.4 2016-07-29

Publications (1)

Publication Number Publication Date
WO2018018959A1 true WO2018018959A1 (zh) 2018-02-01

Family

ID=57478477

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/081475 Ceased WO2018018959A1 (zh) 2016-07-29 2017-04-21 镜头变焦方法和装置及移动终端

Country Status (2)

Country Link
CN (2) CN108322654B (zh)
WO (1) WO2018018959A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108322654B (zh) * 2016-07-29 2020-05-15 Oppo广东移动通信有限公司 镜头变焦方法和装置及移动终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1570689A (zh) * 2003-07-15 2005-01-26 葛大庆 一体化变焦镜头
CN101191977A (zh) * 2006-11-20 2008-06-04 田小丰 利用图像传感器自动对焦摄像头模块和系统
CN105022204A (zh) * 2015-08-07 2015-11-04 深圳市世尊科技有限公司 一种移动终端用摄像头模组和移动终端
CN105812679A (zh) * 2015-01-16 2016-07-27 Mems驱动公司 用于超分辨率成像的三轴ois
CN106101557A (zh) * 2016-07-29 2016-11-09 广东欧珀移动通信有限公司 镜头变焦方法和装置及移动终端

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4767838B2 (ja) * 2006-12-28 2011-09-07 三星電子株式会社 撮像装置および撮像方法
CN102972035A (zh) * 2010-06-30 2013-03-13 富士胶片株式会社 立体全景图像合成装置、多眼成像装置和立体全景图像合成方法
JP5652649B2 (ja) * 2010-10-07 2015-01-14 株式会社リコー 画像処理装置、画像処理方法および画像処理プログラム
CN103268599B (zh) * 2013-04-19 2016-01-13 中国科学院长春光学精密机械与物理研究所 多线阵ccd亚像元错位成像超分辨率重构方法
CN103258321A (zh) * 2013-05-14 2013-08-21 杭州海康希牧智能科技有限公司 一种图像拼接方法
CN103763471A (zh) * 2014-01-16 2014-04-30 宇龙计算机通信科技(深圳)有限公司 数码变焦方法及装置
CN104050629A (zh) * 2014-06-19 2014-09-17 樊晓东 一种隧道图像无标识拼接的方法
CN105488759B (zh) * 2015-12-09 2019-06-04 南京邮电大学 一种基于局部回归模型的图像超分辨率重建方法
CN105812670B (zh) * 2016-05-12 2019-07-12 珠海市魅族科技有限公司 一种拍照的方法及终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1570689A (zh) * 2003-07-15 2005-01-26 葛大庆 一体化变焦镜头
CN101191977A (zh) * 2006-11-20 2008-06-04 田小丰 利用图像传感器自动对焦摄像头模块和系统
CN105812679A (zh) * 2015-01-16 2016-07-27 Mems驱动公司 用于超分辨率成像的三轴ois
CN105022204A (zh) * 2015-08-07 2015-11-04 深圳市世尊科技有限公司 一种移动终端用摄像头模组和移动终端
CN106101557A (zh) * 2016-07-29 2016-11-09 广东欧珀移动通信有限公司 镜头变焦方法和装置及移动终端

Also Published As

Publication number Publication date
CN106101557B (zh) 2018-03-30
CN108322654A (zh) 2018-07-24
CN106101557A (zh) 2016-11-09
CN108322654B (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
EP3158723B1 (en) Autofocus for folded optic array cameras
CN107404619B (zh) 图像变焦处理方法、装置及终端设备
CN105812679B (zh) 用于超分辨率成像的三轴ois方法及系统
WO2018228479A1 (zh) 自动对焦方法、装置、存储介质及电子设备
CN107076959B (zh) 控制聚焦透镜组装件
JP6487192B2 (ja) 光学機器およびレンズ制御方法
US10495843B2 (en) Imaging apparatus with adjustable lens and method for operating the same
CN106210677A (zh) 图像色彩处理方法、装置及终端设备
JP5874027B2 (ja) 撮像装置及び交換レンズ
WO2018019012A1 (zh) 全景拍照时的处理方法、装置和移动终端
WO2018018959A1 (zh) 镜头变焦方法和装置及移动终端
CN106162112A (zh) 图像色彩处理方法、装置及终端设备
JP6584637B2 (ja) 変倍光学システムおよびその制御方法
US10027945B2 (en) 3-dimensional camera module and method for auto focusing the same
JP4810452B2 (ja) 撮像装置及びその制御方法
JP5523013B2 (ja) 撮像装置
JP2011176460A (ja) 撮像装置
CN106162110B (zh) 图像色彩处理方法、装置及终端设备
CN107024753B (zh) 透镜单元、成像装置和控制方法
JP5574729B2 (ja) レンズ制御装置、その制御方法及びプログラム
JP2011133700A (ja) 焦点調節方法、焦点調節装置、及び撮像装置
JP5914563B2 (ja) レンズ制御装置、及び撮像画像の画角を制御する制御装置
JP6500618B2 (ja) 撮影装置及び撮影方法
US20230280565A1 (en) Control apparatus, lens apparatus, optical apparatus, and storage medium
JP2011254345A (ja) 回転台付きカメラ装置及び擬似エンドレス映像の提供方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17833265

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17833265

Country of ref document: EP

Kind code of ref document: A1