WO2018019012A1 - 全景拍照时的处理方法、装置和移动终端 - Google Patents

全景拍照时的处理方法、装置和移动终端 Download PDF

Info

Publication number
WO2018019012A1
WO2018019012A1 PCT/CN2017/085205 CN2017085205W WO2018019012A1 WO 2018019012 A1 WO2018019012 A1 WO 2018019012A1 CN 2017085205 W CN2017085205 W CN 2017085205W WO 2018019012 A1 WO2018019012 A1 WO 2018019012A1
Authority
WO
WIPO (PCT)
Prior art keywords
offset
mobile terminal
panoramic
photosensitive sensor
image data
Prior art date
Application number
PCT/CN2017/085205
Other languages
English (en)
French (fr)
Inventor
嵇晓声
张正荣
Original Assignee
广东欧珀移动通信有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 广东欧珀移动通信有限公司 filed Critical 广东欧珀移动通信有限公司
Publication of WO2018019012A1 publication Critical patent/WO2018019012A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position

Definitions

  • the present application relates to the field of mobile terminal technologies, and in particular, to a method, an apparatus, and a mobile terminal for processing a panoramic camera.
  • the present application aims to solve at least one of the technical problems in the related art to some extent.
  • an object of the present application is to provide a processing method for panoramic photographing, which can obtain a panoramic image with better stitching effect even when there is a certain jitter in the panoramic photographing, thereby improving the user experience.
  • Another object of the present application is to provide a processing apparatus for panoramic photographing.
  • Another object of the present application is to propose a mobile terminal.
  • Another object of the present invention is to provide a non-volatile computer storage medium.
  • the processing method for panoramic photographing proposed by the first aspect of the present application includes: acquiring a shift condition of the mobile terminal during the panoramic photographing movement; and controlling the MEMS to drive the photosensitive sensor according to the offset condition Performing positional movement in the reverse direction; acquiring image data obtained by the photosensitive sensor after the position is moved, and splicing with the existing image data to obtain a panoramic image.
  • the processing method for panoramic photographing proposed by the embodiment of the first aspect of the present invention can control the MEMS to drive the photosensitive sensor to move in the opposite direction according to the offset condition of the mobile terminal, thereby compensating for the jitter generated by the mobile terminal, so that when the panoramic photograph is taken, Even if there is a certain amount of jitter, a panoramic image with better stitching effect can be obtained, which improves the user experience.
  • the processing device for panoramic photographing proposed by the second aspect of the present application includes: obtaining a module, configured to acquire an offset of the mobile terminal during the panoramic camera movement; and a control module, configured to control the MEMS to drive the photosensitive sensor to move in a reverse direction according to the offset condition; and the splicing module is configured to acquire the position movement
  • the image data obtained by the rear photosensitive sensor is spliced with the existing image data to obtain a panoramic image.
  • the processing device for panoramic photographing proposed by the second embodiment of the present application can control the MEMS to drive the photosensitive sensor to move in the opposite direction according to the offset condition of the mobile terminal, thereby compensating for the jitter generated by the mobile terminal, so that when the panoramic photograph is taken, Even if there is a certain amount of jitter, a panoramic image with better stitching effect can be obtained, which improves the user experience.
  • the mobile terminal provided by the embodiment of the third aspect of the present invention includes: a casing, a processor, a memory, a circuit board, a power supply circuit, and a camera module, wherein the circuit board is disposed inside the space enclosed by the casing, and is processed.
  • the device, the memory and the camera module are disposed on the circuit board; the power circuit is configured to supply power to each circuit or device of the mobile terminal; the memory is configured to store executable program code; the camera module comprises: MEMS, a photosensitive sensor and an image mosaic a module; wherein the processor runs a program corresponding to the executable program code by reading executable program code stored in the memory for performing the following steps: acquiring a shift of the mobile terminal during the panoramic photographing movement And controlling the MEMS movement according to the offset condition; the MEMS is configured to drive the photosensitive sensor to move in a reverse direction under the control of the processor; the photosensitive sensor is configured to collect an optical signal, and Converting the optical signal into image data; the image splicing module is configured to receive the number of the images sent by the photosensitive sensor , And spliced with the existing image data, in order to obtain a panoramic image.
  • the mobile terminal proposed by the embodiment of the third aspect of the present invention can control the MEMS to drive the photosensitive sensor to move in the opposite direction according to the offset condition of the mobile terminal, thereby compensating for the jitter generated by the mobile terminal, so that even if there is a certain Dithering can also obtain a panoramic image with better stitching effect to enhance the user experience.
  • a non-volatile computer storage medium is provided by the embodiment of the fourth aspect of the present invention, the computer storage medium storing one or more programs, when the one or more programs are executed by one device, The device performs the following steps:
  • FIG. 1 is a schematic flowchart of a processing method in a panoramic photographing according to an embodiment of the present application
  • FIG. 2 is a schematic flow chart of a processing method for panoramic photographing proposed by another embodiment of the present application.
  • FIG. 3 is a schematic structural diagram of a processing apparatus for panoramic photographing according to an embodiment of the present application.
  • FIG. 4 is a schematic structural diagram of a processing apparatus for panoramic photographing according to another embodiment of the present application.
  • FIG. 5 is a schematic structural diagram of a mobile terminal according to an embodiment of the present application.
  • MEMS micro electro mechanical system
  • the camera module includes a lens, a MEMS, a sensor, and the like, and the MEMS can carry a photosensitive sensor to move.
  • MEMS is a high-tech electromechanical device based on microelectronics (semiconductor manufacturing technology) that combines lithography, etching, thin film, LIGA, silicon micromachining, non-silicon micromachining and precision machining. Compared to existing voice coil motors, they have a smaller size.
  • the MEMS consists of a comb structure, which is actuated by electrostatic force (depending on the attraction between the electrostatic charges), and can be precisely controlled or shifted by the driving voltage, and the precision can reach 150um, so that the photosensitive sensor can be driven to realize the pixel. Level of movement.
  • FIG. 1 is a schematic flowchart of a processing method in a panoramic photographing proposed by an embodiment of the present application.
  • This embodiment takes the execution of the mobile terminal as an example.
  • the method of this embodiment includes:
  • the mobile terminal when the user performs panoramic photography, the mobile terminal can be moved in the horizontal direction.
  • the mobile terminal In the process of moving, in some cases, the mobile terminal may be shaken, such as tilting or panning.
  • the offset of the mobile terminal may be obtained first.
  • the movement in the left-right direction may be considered normal, and the above-mentioned offset is mainly Point to the up or down offset.
  • the position of the gyroscope built in the mobile terminal can be monitored by the operating system of the mobile terminal in real time, and when the position of the gyroscope is shifted upward or downward, the offset direction is determined (upward or Down), And obtaining the number of pixels of the offset, and recording the acquired offset direction and the number of offset pixels as the offset of the mobile terminal.
  • a reference horizontal line may be preset or the initial position may be used as a reference horizontal line, and during the monitoring process, the position of the gyroscope and the position of the reference horizontal line are compared, thereby determining the offset direction and the number of offset pixels. .
  • the gyroscope described above is built in the mobile terminal instead of the gyroscope built in the camera module, so that the offset of the mobile terminal can be detected more accurately.
  • one component of the camera module of the mobile terminal is a photosensitive sensor, and the photosensitive sensor is used for photosensitive imaging, including a charge-coupled device (CCD) sensor and a complementary metal oxide semiconductor (Complementary Metal Oxide Semiconductor). , CMOS) sensor.
  • CCD charge-coupled device
  • CMOS complementary metal oxide semiconductor
  • an Optical Image Stabilization (OIS) module can be set in the camera module. Further, the OIS module can be implemented based on a Micro Electro Mechanical System (MEMS). The group may be referred to as a MEMS OIS module.
  • MEMS Micro Electro Mechanical System
  • the offset condition can be sent to the MEMS OIS module, and the MEMS OIS module controls the MEMS to drive the photosensitive sensor to perform positional movement according to the offset condition.
  • the photosensitive sensor is controlled to move in the opposite direction of the offset direction, and the moving distance is the number of pixels of the offset. For example, if the mobile terminal is shifted upward by N pixels, the photosensitive sensor is controlled to move down by N pixels.
  • S13 Acquire image data obtained by the position sensor after the position is moved, and splicing with the existing image data to obtain a panoramic image.
  • the optical signal can be collected in the usual manner and converted into corresponding image data.
  • the image splicing module in the camera module can obtain the currently obtained image data from the sensitized sensor, and splicing with the existing image data in a usual manner.
  • the current image data is the first image data
  • the existing image data can be considered to be empty, and the current image data is obtained after the splicing.
  • the splicing may be performed in a stepwise manner to obtain a panoramic image of a predetermined range.
  • the jitter generated by the mobile terminal can be compensated, so that even if there is a certain jitter in the panoramic photographing, the stitching effect can be obtained. Better panoramic images for a better user experience.
  • FIG. 2 is a schematic flow chart of a processing method for panoramic photographing proposed by another embodiment of the present application.
  • the process of this embodiment includes:
  • S201 The user selects a panoramic photographing mode and performs a moving operation on the mobile terminal.
  • the camera function on the mobile terminal includes a plurality of optional photographing modes, including, for example, photos, videos, panoramas, and the like, and the user can select the panoramic photographing mode when the panoramic photographing is required.
  • the operating system of the mobile terminal monitors the position of the gyroscope built in the mobile terminal, and records the offset when the position offset occurs, and the offset includes: offset direction and offset The number of pixels.
  • the above positional offset may specifically be an upward or downward offset, that is, the number of pixels in which the offset direction and the offset are recorded when the upward or downward offset is detected.
  • S203 The operating system sends the offset condition to the MEMS OIS module.
  • the MEMS OIS controls the MEMS to drive the photosensitive sensor to move in the opposite direction of the offset direction according to the received offset condition, and the moving distance is the number of the offset pixels.
  • the photosensitive sensor performs positional movement according to an instruction of controlling the movement of the position, and acquires image data after the position is moved.
  • the photosensitive sensor sends the image data to the image splicing module.
  • the image splicing module splices the received image data with the existing image data.
  • the image splicing module sends the spliced image to a processing module in the camera module.
  • S209 The processing module determines whether to end the panoramic photographing, and if yes, execute S210, otherwise repeat S202 and its subsequent steps.
  • the range of photographing reaches the preset maximum range; or,
  • panoramic shooting has a certain range of photographing, and when the maximum range is reached, the panoramic photographing can be automatically ended. or,
  • S210 The processing module saves the panoramic image obtained after the splicing.
  • the jitter generated by the mobile terminal can be compensated, so that even if there is a certain jitter in the panoramic photographing, the stitching effect can be obtained.
  • the accuracy can be improved by obtaining an offset according to the gyroscope built in the mobile terminal instead of the gyroscope in the camera module.
  • the offset direction to be up or down, it is applicable to a scene of panoramic photographing.
  • FIG. 3 is a schematic structural diagram of a processing apparatus for panoramic photographing according to an embodiment of the present application.
  • the device can be located within the mobile terminal.
  • the device 30 includes an acquisition module 31, a control module 32, and a splicing module 33.
  • the obtaining module 31 is configured to acquire an offset condition of the mobile terminal during the panoramic photo moving process
  • the control module 32 is configured to control the MEMS to drive the photosensitive sensor to move in a reverse direction according to the offset condition
  • the splicing module 33 is configured to acquire image data obtained by the position sensor after the position is moved, and splicing with the existing image data to obtain a panoramic image.
  • the obtaining module 31 is specifically configured to:
  • control module 32 is specifically configured to:
  • the photosensitive sensor is controlled to move in the opposite direction of the offset direction, and the moving distance is the number of pixels of the offset.
  • the offset direction comprises:
  • the apparatus 30 further includes:
  • the saving module 34 is configured to save the stitched panoramic image after ending the panoramic photographing.
  • the jitter generated by the mobile terminal can be compensated, so that even if there is a certain jitter in the panoramic photographing, the stitching effect can be obtained.
  • the accuracy can be improved by obtaining an offset according to the gyroscope built in the mobile terminal instead of the gyroscope in the camera module.
  • the offset direction to be up or down, it is applicable to a scene of panoramic photographing.
  • FIG. 5 is a schematic structural diagram of a mobile terminal according to an embodiment of the present application.
  • the mobile terminal can be a mobile phone, a tablet, or the like.
  • the mobile terminal 50 of the present embodiment includes a housing 51, a processor 52, a memory 53, a circuit board 54, a power supply circuit 55, and a camera module 56.
  • the circuit board 54 is disposed inside the space surrounded by the housing 51.
  • the processor 52, the memory 53 and the camera module 56 are disposed on the circuit board 54;
  • the power supply circuit 55 is configured to supply power to each circuit or device of the mobile terminal;
  • the memory 53 is configured to store executable program code;
  • the camera module 56 Including: MEMS 561, photosensitive sensor 562 and image splicing module 563;
  • the processor 52 runs a program corresponding to the executable program code by reading the executable program code stored in the memory for performing the following steps: acquiring the offset of the mobile terminal during the panoramic photographing movement, And controlling the MEMS movement according to the offset condition;
  • the MEMS 561 is configured to drive the photosensitive sensor 562 to move in a reverse direction under the control of the processor;
  • the photosensitive sensor 562 is configured to collect an optical signal and convert the optical signal into image data
  • the image splicing module 563 is configured to receive the image data sent by the photosensitive sensor and splicing with the existing image data to obtain a panoramic image.
  • the acquiring the offset of the mobile terminal includes:
  • controlling the photosensitive sensor to perform the reverse position position movement according to the offset condition comprises:
  • the photosensitive sensor is controlled to move in the opposite direction of the offset direction, and the moving distance is the number of pixels of the offset.
  • the offset direction includes:
  • the method further includes:
  • the stitched panoramic image is saved.
  • the jitter generated by the mobile terminal can be compensated, so that even if there is a certain jitter in the panoramic photographing, the stitching effect can be better.
  • the accuracy can be improved by obtaining an offset according to the gyroscope built in the mobile terminal instead of the gyroscope in the camera module.
  • selecting the offset direction to be up or down it is applicable to a scene of panoramic photographing.
  • portions of the application can be implemented in hardware, software, firmware, or a combination thereof.
  • a plurality of steps or methods may be implemented by software stored in a memory and executed by a suitable instruction execution system or Firmware to achieve.
  • a suitable instruction execution system or Firmware to achieve.
  • it can be implemented by any one or combination of the following techniques well known in the art: having logic gates for implementing logic functions on data signals.
  • each functional unit in each embodiment of the present application may be integrated into one processing module, or each unit may exist physically separately, or two or more units may be integrated into one module.
  • the above integrated modules can be implemented in the form of hardware or in the form of software functional modules.
  • the integrated modules, if implemented in the form of software functional modules and sold or used as stand-alone products, may also be stored in a computer readable storage medium.
  • the above mentioned storage medium may be a read only memory, a magnetic disk or an optical disk or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)

Abstract

本申请提出一种全景拍照时的处理方法、装置和移动终端，该全景拍照时的处理方法包括：在全景拍照移动过程中，获取移动终端的偏移情况；根据所述偏移情况，控制MEMS带动感光传感器进行反方向位置移动；获取位置移动后的感光传感器得到的图像数据，并与已有图像数据进行拼接，以得到全景图像。该方法能够在全景拍照时，即使存在一定的抖动，也能够得到拼接效果较好的全景图像，从而提升用户体验。

Description

全景拍照时的处理方法、装置和移动终端
相关申请的交叉引用
本申请要求广东欧珀移动通信有限公司于2016年07月09日提交的、发明名称为“全景拍照时的处理方法、装置和移动终端”的、中国专利申请号“201610615929.4”的优先权。
技术领域
本申请涉及移动终端技术领域，尤其涉及一种全景拍照时的处理方法、装置和移动终端。
背景技术
随着移动终端的发展，用户会经常用到移动终端进行全景拍照。而在使用移动终端进行全景拍照时，如果在拍摄过程中移动终端存在抖动，会导致拍摄出来的全景照不能很好的拼接到一起，从而影响用户使用全景拍照的用户体验。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的一个目的在于提出一种全景拍照时的处理方法，该方法可以在全景拍照时，即使存在一定的抖动，也能够得到拼接效果较好的全景图片，从而提升用户体验。
本申请的另一个目的在于提出一种全景拍照时的处理装置。
本申请的另一个目的在于提出一种移动终端。
本发明的另一个目的在于提出一种非易失性计算机存储介质。
为达到上述目的，本申请第一方面实施例提出的全景拍照时的处理方法，包括：在全景拍照移动过程中，获取移动终端的偏移情况；根据所述偏移情况，控制MEMS带动感光传感器进行反方向位置移动；获取位置移动后的感光传感器得到的图像数据，并与已有图像数据进行拼接，以得到全景图像。
本申请第一方面实施例提出的全景拍照时的处理方法，通过根据移动终端的偏移情况，控制MEMS带动感光传感器进行反方向位置移动，可以补偿移动终端发生的抖动，从而在全景拍照时，即使存在一定的抖动，也能够得到拼接效果较好的全景图像，提升用户体验。
为达到上述目的，本申请第二方面实施例提出的全景拍照时的处理装置，包括：获取 模块，用于在全景拍照移动过程中，获取移动终端的偏移情况；控制模块，用于根据所述偏移情况，控制MEMS带动感光传感器进行反方向位置移动；拼接模块，用于获取位置移动后的感光传感器得到的图像数据，并与已有图像数据进行拼接，以得到全景图像。
本申请第二方面实施例提出的全景拍照时的处理装置，通过根据移动终端的偏移情况，控制MEMS带动感光传感器进行反方向位置移动，可以补偿移动终端发生的抖动，从而在全景拍照时，即使存在一定的抖动，也能够得到拼接效果较好的全景图像，提升用户体验。
为达到上述目的，本申请第三方面实施例提出的移动终端，包括：壳体、处理器、存储器、电路板、电源电路和相机模组，电路板安置在壳体围成的空间内部，处理器、存储器和相机模组设置在电路板上；电源电路，用于为移动终端各个电路或器件供电；存储器用于存储可执行程序代码；所述相机模组包括：MEMS、感光传感器和图像拼接模块；其中，所述处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序以用于执行以下步骤：在全景拍照移动过程中，获取移动终端的偏移情况，并根据所述偏移情况控制所述MEMS移动；所述MEMS用于在所述处理器的控制下带动所述感光传感器进行反方向位置移动；所述感光传感器用于采集光信号，并将光信号转换为图像数据；所述图像拼接模块用于接收所述感光传感器发送的所述图像数据，并与已有图像数据进行拼接，以得到全景图像。
本申请第三方面实施例提出的移动终端，通过根据移动终端的偏移情况，控制MEMS带动感光传感器进行反方向位置移动，可以补偿移动终端发生的抖动，从而在全景拍照时，即使存在一定的抖动，也能够得到拼接效果较好的全景图像，提升用户体验。
本发明第四方面实施例提出的供了一种非易失性计算机存储介质，所述计算机存储介质存储有一个或者多个程序，当所述一个或者多个程序被一个设备执行时，使得所述设备执行以下步骤：
在全景拍照移动过程中，获取移动终端的偏移情况；根据所述偏移情况，控制MEMS带动感光传感器进行反方向位置移动；获取位置移动后的感光传感器得到的图像数据，并与已有图像数据进行拼接，以得到全景图像。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本申请一个实施例提出的全景拍照时的处理方法的流程示意图；
图2是本申请另一个实施例提出的全景拍照时的处理方法的流程示意图；
图3是本申请一个实施例提出的全景拍照时的处理装置的结构示意图；
图4是本申请另一个实施例提出的全景拍照时的处理装置的结构示意图；
图5是本申请一个实施例提出的移动终端的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的模块或具有相同或类似功能的模块。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。相反，本申请的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
随着移动终端的发展，移动终端内的硬件也在不断升级，比如，在移动终端内采用了微机电系统(Micro Electro Mechanical System，MEMS)。具体的，MEMS可以应用在多种模组中，比如应用在相机模组中。相机模组包括镜头、MEMS、感光传感器(Sensor)等，MEMS能够搭载感光传感器移动。
MEMS是在微电子技术(半导体制造技术)基础上发展起来的，融合了光刻、腐蚀、薄膜、LIGA、硅微加工、非硅微加工和精密机械加工等技术制造的高科技电子机械器件，相较于现有的音圈马达具有较小的尺寸。
另外，MEMS由梳状构造组成，借助静电力致动(依靠静电荷之间的吸引力致动)，能够通过驱动电压实现精准控制或移位，精度可以达到150um，从而可以带动感光传感器实现像素级的移动。
图1是本申请一个实施例提出的全景拍照时的处理方法的流程示意图。
本实施例以移动终端的执行为例。
参见图1，本实施例的方法包括：
S11：在全景拍照移动过程中，获取移动终端的偏移情况。
其中，当用户进行全景拍照时，可以将移动终端在水平方向上移动。而在移动过程中，在一些情况下，移动终端会发生抖动，如发生倾斜或平移等。
为了补偿移动终端发生的抖动情况，可以先获取移动终端的偏移情况。
本实施例针对全景拍照的情况，在全景拍照的情况下会存在左右方向(或称为水平方向)的移动，因此，左右方向的移动可认为是正常的，为此上述的偏移情况主要是指向上或向下的偏移情况。
具体的，在全景拍照的移动过程中，可以由移动终端的操作系统实时监测移动终端内置的陀螺仪的位置，当陀螺仪的位置发生向上或向下偏移后，确定偏移方向(向上或向下)， 以及获取偏移的像素个数，并将获取的偏移方向和偏移的像素个数作为移动终端的偏移情况进行记录。
进一步的，在全景拍照时，可以预设一条基准水平线或者将初始位置作为基准水平线，在监测过程中，比较陀螺仪的位置与基准水平线的位置，从而确定偏移方向及偏移的像素个数。
进一步的，上述的陀螺仪是内置在移动终端内的，而不是内置在相机模组内的陀螺仪，从而可以更准确的检测到移动终端的偏移情况。
S12：根据所述偏移情况，控制MEMS带动感光传感器进行反方向位置移动。
其中，移动终端的相机模组中的一个部件是感光传感器(sensor)，感光传感器用于感光成像，包括电荷耦合元件(Charge-coupled Device，CCD)传感器和互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)传感器。
为了实现防抖功能，可以在相机模组中设置光学图像稳定(Optical Image Stabilization，OIS)模块，进一步的，OIS模块可以基于微机电系统(Micro Electro Mechanical System，MEMS)实现，此时的相机模组具体可以称为MEMS OIS模块。
移动终端的操作系统获取到移动终端的偏移情况后，可以将偏移情况发送给MEMS OIS模块，由MEMS OIS模块根据偏移情况控制MEMS带动感光传感器进行位置移动。
具体的，控制感光传感器向所述偏移方向的反方向移动，且移动距离为所述偏移的像素个数。例如，如果移动终端向上偏移了N个像素，则控制感光传感器向下移动N个像素。
S13：获取位置移动后的感光传感器得到的图像数据，并与已有图像数据进行拼接，以得到全景图像。
感光传感器位置移动后，可以采用通常的方式采集光信号并转换为相应的图像数据。
相机模组中的图像拼接模块可以从感光传感器获取当前得到的图像数据，并采用通常的方式与已有图像数据进行拼接。当然，可以理解的是，如果当前的图像数据是第一张图像数据，可以将已有图像数据认为是空，则拼接后得到的就是当前的图像数据。
对应当前的图像数据进行拼接后，在之后的全景拍照的移动过程中，可以依此类推，逐步进行拼接，得到预定范围的全景图像。
本实施例中，通过根据移动终端的偏移情况，控制MEMS带动感光传感器进行反方向位置移动，可以补偿移动终端发生的抖动，从而在全景拍照时，即使存在一定的抖动，也能够得到拼接效果较好的全景图像，提升用户体验。
图2是本申请另一个实施例提出的全景拍照时的处理方法的流程示意图。
参见图2，本实施例的流程包括：
S201：用户选择全景拍照模式，并对移动终端进行移动操作。
例如，移动终端上的相机功能中包括多种供选择的拍照模式，例如包括：照片、视频、全景等，用户在需要进行全景拍摄时，可以选择全景拍照模式。
S202：在用户移动移动终端的过程中，移动终端的操作系统监测移动终端内置的陀螺仪的位置，并在发生位置偏移时，记录偏移情况，偏移情况包括：偏移方向和偏移的像素个数。
上述的位置偏移可以具体是指向上或向下的偏移，即，在监测到发生向上或向下偏移时，记录偏移方向和偏移的像素个数。
S203：操作系统将偏移情况发送给MEMS OIS模块。
S204：MEMS OIS根据接收的偏移情况，控制MEMS带动感光传感器向上述的偏移方向的反方向移动，且移动的距离为上述的偏移的像素个数。
S205：感光传感器根据控制位置移动的指令进行位置移动，并在位置移动后，获取图像数据。
S206：感光传感器将图像数据发送给图像拼接模块。
S207：图像拼接模块将接收的图像数据与已有图像数据进行拼接。
S208：图像拼接模块将拼接后的图像发送给相机模组中的处理模块。
S209：处理模块判断是否结束全景拍照，若是，执行S210，否则重复执行S202及其后续步骤。
其中，当出现下述情况时，可以确定结束全景拍照，否则，确定继续全景拍照：
拍照范围达到预设的最大范围；或者，
接收到结束全景拍照的指令。
例如，通常来讲，全景拍摄存在一定的拍照范围，当达到最大范围时，可以自动结束全景拍照。或者，
用户可以根据自己的实际需求，在没有达到最大范围时，可以点击结束按钮结束全景拍照。
S210：处理模块保存拼接后得到的全景图像。
例如，将全景图像自动保存到相册中。
本实施例中，通过根据移动终端的偏移情况，控制MEMS带动感光传感器进行反方向位置移动，可以补偿移动终端发生的抖动，从而在全景拍照时，即使存在一定的抖动，也能够得到拼接效果较好的全景图像，提升用户体验。进一步的，通过根据移动终端内置的陀螺仪而不是相机模组中的陀螺仪得到偏移情况，可以提高准确度。进一步的，通过将偏移方向选为向上或向下，可以适用于全景拍照的场景。
图3是本申请一个实施例提出的全景拍照时的处理装置的结构示意图。
该装置可以位于移动终端内。
参见图3，该装置30包括：获取模块31、控制模块32和拼接模块33。
获取模块31，用于在全景拍照移动过程中，获取移动终端的偏移情况；
控制模块32，用于根据所述偏移情况，控制MEMS带动感光传感器进行反方向位置移动；
拼接模块33，用于获取位置移动后的感光传感器得到的图像数据，并与已有图像数据进行拼接，以得到全景图像。
一些实施例中，所述获取模块31具体用于：
获取移动终端内置的陀螺仪的偏移方向和偏移的像素个数。
一些实施例中，所述控制模块32具体用于：
控制感光传感器向所述偏移方向的反方向移动，且移动距离为所述偏移的像素个数。
一些实施例中，所述偏移方向包括：
向上偏移，或者，向下偏移。
一些实施例中，参见图4，该装置30还包括：
保存模块34，用于在结束全景拍照后，保存拼接得到的全景图像。
可以理解的是，本实施例的装置与上述方法实施例对应，具体内容可以参见方法实施例的相关描述，在此不再详细说明。
本实施例中，通过根据移动终端的偏移情况，控制MEMS带动感光传感器进行反方向位置移动，可以补偿移动终端发生的抖动，从而在全景拍照时，即使存在一定的抖动，也能够得到拼接效果较好的全景图像，提升用户体验。进一步的，通过根据移动终端内置的陀螺仪而不是相机模组中的陀螺仪得到偏移情况，可以提高准确度。进一步的，通过将偏移方向选为向上或向下，可以适用于全景拍照的场景。
图5是本申请一个实施例提出的移动终端的结构示意图。该移动终端可以是手机、平板电脑等。
参见图5，本实施例的移动终端50包括：壳体51、处理器52、存储器53、电路板54、电源电路55和相机模组56，电路板54安置在壳体51围成的空间内部，处理器52、存储器53和相机模组56设置在电路板54上；电源电路55，用于为移动终端各个电路或器件供电；存储器53用于存储可执行程序代码；所述相机模组56包括：MEMS 561、感光传感器562和图像拼接模块563；
其中，所述处理器52通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序以用于执行以下步骤：在全景拍照移动过程中，获取移动终端的偏移情况，并根据所述偏移情况控制所述MEMS移动；
所述MEMS 561用于在所述处理器的控制下带动所述感光传感器562进行反方向位置移动；
所述感光传感器562用于采集光信号，并将光信号转换为图像数据；
所述图像拼接模块563用于接收所述感光传感器发送的所述图像数据，并与已有图像数据进行拼接，以得到全景图像。
可选的，所述获取移动终端的偏移情况，包括：
获取移动终端内置的陀螺仪的偏移方向和偏移的像素个数。
可选的，所述根据所述偏移情况，控制感光传感器进行反方向位置移动，包括：
控制感光传感器向所述偏移方向的反方向移动，且移动距离为所述偏移的像素个数。
可选的，所述偏移方向包括：
向上偏移，或者，向下偏移。
可选的，在与已有图像数据进行拼接之后，所述方法还包括：
在结束全景拍照后，保存拼接得到的全景图像。
可以理解的是，本实施例的移动终端与上述方法实施例对应，具体内容可以参见方法实施例的相关描述，在此不再详细说明。
本实施例中，通过根据移动终端的偏移情况，控制感光传感器进行反方向位置移动，可以补偿移动终端发生的抖动，从而在全景拍照时，即使存在一定的抖动，也能够得到拼接效果较好的全景图像，提升用户体验。进一步的，通过根据移动终端内置的陀螺仪而不是相机模组中的陀螺仪得到偏移情况，可以提高准确度。进一步的，通过将偏移方向选为向上或向下，可以适用于全景拍照的场景。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或 固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (19)

  1. 一种全景拍照时的处理方法，其特征在于，包括：
    在全景拍照移动过程中，获取移动终端的偏移情况；
    根据所述偏移情况，控制MEMS带动感光传感器进行反方向位置移动；
    获取位置移动后的感光传感器得到的图像数据，并与已有图像数据进行拼接，以得到全景图像。
  2. 根据权利要求1所述的方法，其特征在于，所述获取移动终端的偏移情况，包括：
    获取移动终端内置的陀螺仪的偏移方向和偏移的像素个数。
  3. 根据权利要求1或2所述的方法，其特征在于，所述根据所述偏移情况，控制感光传感器进行反方向位置移动，包括：
    控制感光传感器向所述偏移方向的反方向移动，且移动距离为所述偏移的像素个数。
  4. 根据权利要求1-3任一所述的方法，其特征在于，所述偏移方向包括：
    向上偏移，或者，向下偏移。
  5. 根据权利要求1-4任一所述的方法，其特征在于，在与已有图像数据进行拼接之后，所述方法还包括：
    在结束全景拍照后，保存拼接得到的全景图像。
  6. 一种全景拍照时的处理装置，其特征在于，包括：
    获取模块，用于在全景拍照移动过程中，获取移动终端的偏移情况；
    控制模块，用于根据所述偏移情况，控制MEMS带动感光传感器进行反方向位置移动；
    拼接模块，用于获取位置移动后的感光传感器得到的图像数据，并与已有图像数据进行拼接，以得到全景图像。
  7. 根据权利要求6所述的装置，其特征在于，所述获取模块具体用于：
    获取移动终端内置的陀螺仪的偏移方向和偏移的像素个数。
  8. 根据权利要求6或7所述的装置，其特征在于，所述控制模块具体用于：
    控制感光传感器向所述偏移方向的反方向移动，且移动距离为所述偏移的像素个数。
  9. 根据权利要求6-8任一所述的装置，其特征在于，所述偏移方向包括：
    向上偏移，或者，向下偏移。
  10. 根据权利要求6-9任一所述的装置，其特征在于，还包括：
    保存模块，用于在结束全景拍照后，保存拼接得到的全景图像。
  11. 一种移动终端，其特征在于，包括：壳体、处理器、存储器、电路板、电源电路和相机模组，电路板安置在壳体围成的空间内部，处理器、存储器和相机模组设置在电路 板上；电源电路，用于为移动终端各个电路或器件供电；存储器用于存储可执行程序代码；所述相机模组包括：MEMS、感光传感器和图像拼接模块；
    其中，所述处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序以用于执行以下步骤：在全景拍照移动过程中，获取移动终端的偏移情况，并根据所述偏移情况控制所述MEMS移动；
    所述MEMS用于在所述处理器的控制下带动所述感光传感器进行反方向位置移动；
    所述感光传感器用于采集光信号，并将光信号转换为图像数据；
    所述图像拼接模块用于接收所述感光传感器发送的所述图像数据，并与已有图像数据进行拼接，以得到全景图像。
  12. 如权利要求11所述的移动终端，其特征在于，所述处理器获取移动终端的偏移情况，包括：
    获取移动终端内置的陀螺仪的偏移方向和偏移的像素个数。
  13. 如权利要求12所述的移动终端，其特征在于，所述处理器根据所述偏移情况，控制感光传感器进行反方向位置移动，包括：
    控制感光传感器向所述偏移方向的反方向移动，且移动距离为所述偏移的像素个数。
  14. 如权利要求11-13任一所述的移动终端，其特征在于，所述偏移方向包括：
    向上偏移，或者，向下偏移。
  15. 如权利要求11-14任一所述的移动终端，其特征在于，所述处理器还用于：
    在结束全景拍照后，保存拼接得到的全景图像。
  16. 一种非易失性计算机存储介质，其特征在于，所述计算机存储介质存储有一个或者多个程序，当所述一个或者多个程序被一个设备执行时，使得所述设备执行以下步骤：
    在全景拍照移动过程中，获取移动终端的偏移情况；
    根据所述偏移情况，控制MEMS带动感光传感器进行反方向位置移动；
    获取位置移动后的感光传感器得到的图像数据，并与已有图像数据进行拼接，以得到全景图像。
  17. 如权利要求16所述的非易失性计算机存储介质，其特征在于，所述设备还用于：
    获取移动终端内置的陀螺仪的偏移方向和偏移的像素个数。
  18. 如权利要求16或17所述的非易失性计算机存储介质，其特征在于，所述设备还用于：
    控制感光传感器向所述偏移方向的反方向移动，且移动距离为所述偏移的像素个 数。
  19. 如权利要求16-18任一所述的非易失性计算机存储介质，其特征在于，所述设备还用于：
    在结束全景拍照后，保存拼接得到的全景图像。
PCT/CN2017/085205 2016-07-29 2017-05-19 全景拍照时的处理方法、装置和移动终端 WO2018019012A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610615929.4 2016-07-29
CN201610615929.4A CN106231180B (zh) 2016-07-29 2016-07-29 全景拍照时的处理方法、装置和移动终端

Publications (1)

Publication Number Publication Date
WO2018019012A1 true WO2018019012A1 (zh) 2018-02-01

Family

ID=57535710

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/085205 WO2018019012A1 (zh) 2016-07-29 2017-05-19 全景拍照时的处理方法、装置和移动终端

Country Status (2)

Country Link
CN (2) CN106231180B (zh)
WO (1) WO2018019012A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106231180B (zh) * 2016-07-29 2018-05-29 广东欧珀移动通信有限公司 全景拍照时的处理方法、装置和移动终端
CN110839120A (zh) * 2018-08-15 2020-02-25 宁波舜宇光电信息有限公司 防抖摄像模组和防抖感光组件及其制造方法以及电子设备
CN110166695B (zh) * 2019-06-26 2021-10-01 Oppo广东移动通信有限公司 摄像头防抖方法、装置、电子设备和计算机可读存储介质
CN110177223B (zh) * 2019-06-28 2021-10-22 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN113114819B (zh) * 2021-04-20 2023-09-01 Oppo广东移动通信有限公司 全景拍摄方法、电子装置和可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012078495A (ja) * 2010-09-30 2012-04-19 Fujifilm Corp 撮像装置、ブレ補正装置及びブレ補正方法
CN103795924A (zh) * 2014-02-07 2014-05-14 宇龙计算机通信科技(深圳)有限公司 全景拍照装置及方法
CN105791669A (zh) * 2014-12-26 2016-07-20 联想(北京)有限公司 电子设备及其控制方法
CN106231180A (zh) * 2016-07-29 2016-12-14 广东欧珀移动通信有限公司 全景拍照时的处理方法、装置和移动终端

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070081081A1 (en) * 2005-10-07 2007-04-12 Cheng Brett A Automated multi-frame image capture for panorama stitching using motion sensor
KR100758632B1 (ko) * 2006-03-29 2007-09-14 삼성전자주식회사 파노라마 사진촬영 장치 및 방법
JP4962460B2 (ja) * 2008-10-03 2012-06-27 ソニー株式会社 撮像装置、撮像方法、およびプログラム
CN103206946B (zh) * 2013-03-25 2015-09-02 成都西可科技有限公司 一种修正智能终端位置偏角的系统
CN103581436B (zh) * 2013-08-31 2015-12-09 成都西可科技有限公司 利用手机控制单反全景照相的方法
CN103763483A (zh) * 2014-01-23 2014-04-30 贝壳网际（北京）安全技术有限公司 一种移动终端拍照防抖方法、装置以及移动终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012078495A (ja) * 2010-09-30 2012-04-19 Fujifilm Corp 撮像装置、ブレ補正装置及びブレ補正方法
CN103795924A (zh) * 2014-02-07 2014-05-14 宇龙计算机通信科技(深圳)有限公司 全景拍照装置及方法
CN105791669A (zh) * 2014-12-26 2016-07-20 联想(北京)有限公司 电子设备及其控制方法
CN106231180A (zh) * 2016-07-29 2016-12-14 广东欧珀移动通信有限公司 全景拍照时的处理方法、装置和移动终端

Also Published As

Publication number Publication date
CN108322661A (zh) 2018-07-24
CN106231180B (zh) 2018-05-29
CN106231180A (zh) 2016-12-14

Similar Documents

Publication Publication Date Title
WO2018019012A1 (zh) 全景拍照时的处理方法、装置和移动终端
US8462215B2 (en) Photographing control method and apparatus according to motion of digital photographing apparatus
JP5931619B2 (ja) 撮像装置
WO2007097287A1 (ja) 撮像装置及びレンズ鏡筒
JP2008206020A (ja) 撮像装置及びレンズ鏡筒
JP4890370B2 (ja) 撮像装置
JP4767838B2 (ja) 撮像装置および撮像方法
JP2011040902A (ja) 撮像装置及び撮像装置用制御装置
JP2019029998A (ja) 撮像装置、撮像装置の制御方法、および制御プログラム
JP2007043584A (ja) 撮像装置およびその制御方法
JP6198600B2 (ja) 画像処理装置、撮像装置、その制御方法及びプログラム
JP6643036B2 (ja) ズーム制御装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラム及び記憶媒体
JP2007206382A (ja) ぶれ検出装置、その制御方法、撮影装置、制御プログラム及び記録媒体
JP6312460B2 (ja) 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体
WO2018019016A1 (zh) 拍摄处理方法、装置及终端设备
JP2015031726A (ja) 撮像装置、撮像装置の制御方法、撮像装置の制御プログラムおよび記憶媒体
JP6429060B2 (ja) 撮像装置
JP6300569B2 (ja) 撮像装置及びその制御方法
JP2008206021A (ja) 撮像装置及びレンズ鏡筒
JP6257186B2 (ja) 撮像装置、撮像方法およびプログラム
JP6312519B2 (ja) 撮像装置、その制御方法、及びプログラム
CN112639606B (zh) 成像装置、成像控制方法、可互换镜头和光圈驱动方法
JP2019016914A (ja) 撮像装置及びその制御方法、プログラム、並びに、記憶媒体
JP2011035719A (ja) 撮像装置およびその制御方法
JP2010130434A (ja) 撮像装置および撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17833317

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17833317

Country of ref document: EP

Kind code of ref document: A1