WO2018072657A1 - 图像处理的方法、处理图像的装置、多目摄像装置以及飞行器 - Google Patents

图像处理的方法、处理图像的装置、多目摄像装置以及飞行器 Download PDF

Info

Publication number
WO2018072657A1
WO2018072657A1 PCT/CN2017/106143 CN2017106143W WO2018072657A1 WO 2018072657 A1 WO2018072657 A1 WO 2018072657A1 CN 2017106143 W CN2017106143 W CN 2017106143W WO 2018072657 A1 WO2018072657 A1 WO 2018072657A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
lens module
target object
module
focal length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2017/106143
Other languages
English (en)
French (fr)
Inventor
刘洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Autel Robotics Co Ltd
Original Assignee
Autel Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Autel Robotics Co Ltd filed Critical Autel Robotics Co Ltd
Publication of WO2018072657A1 publication Critical patent/WO2018072657A1/zh
Priority to US16/388,292 priority Critical patent/US10904430B2/en
Anticipated expiration legal-status Critical
Priority to US17/122,672 priority patent/US20210105403A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography

Definitions

  • FIG. 3 is a schematic structural view of another embodiment of a multi-view camera device in the aircraft shown in FIG. 1;
  • the image processing chip 17 performs image processing on the first image and the second image based on the registration parameters acquired by the controller 16, and generates an output image.
  • the image generation module 47 is configured to determine an output image according to the first image and the second image.
  • the embodiment of the present application provides an apparatus for image processing, which acquires a first image captured by the first lens module by using a first acquiring module, where the first image includes a target object, and then acquires the second acquiring module.
  • the second image captured by the second lens module generates an output image according to the first image and the second image, and can simultaneously take into consideration the range of the large-angle scene and the accuracy of the target object in the small-view scene.
  • the second acquiring module 55 is configured to acquire a second image captured by the second lens module, where the second image includes the target object, and the second image includes the target object, and the second image includes The number of pixels of the target object is greater than the number of pixels of the target object in the first image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种图像处理的方法、处理图像的装置、多目摄像装置及飞行器，通过获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象，再通过获取所述第二镜头模组拍摄的第二图像，对所述第一图像和所述第二图像进行图像处理，生成输出图像，能够同时兼顾大视角场景的范围和小视角场景中目标对象的精度。

Description

图像处理的方法、处理图像的装置、多目摄像装置以及飞行器 技术领域
本申请实施方式涉及图像处理技术领域，特别是涉及一种图像处理的方法、处理图像的装置、多目摄像装置以及飞行器。
背景技术
现有技术的飞行器一般配备标准镜头进行航拍，标准镜头的焦点通常定义在无穷远处，再加上图像传感器的分辨率非常有限，因此，对于地面场景中的一些小目标无法拍摄清楚。同时，一般用作航拍的镜头视角比较狭小，拍摄到的场景范围比较有限。现有技术中，部分飞行器则配备变焦镜头进行航拍，视角在10°～90°之间进行调整，为了清楚地拍摄地面场景中的小目标，需要将镜头往长焦方向进行变焦，为了拍摄较广的场景，需要将镜头往广角方向切换。而变焦镜头的重量比较大，增加了飞行器的负载，降低了飞行器的飞行性能，且变焦镜头的图像传感器比较单一，不能变化。
现有技术中，通过镜头的伸缩来调整场景视角的大小，无法同时兼顾大视角场景和小视角场景的需求。
发明内容
本申请实施方式主要解决的技术问题是提供一种图像处理的方法、处理图像的装置、多目摄像装置以及飞行器，能够同时兼顾大视角场景和小视角场景的需求。
第一方面，本申请实施例提供了一种图像处理的方法，所述图像由多目摄像装置拍摄，所述多目摄像装置包括第一镜头模组和第二镜头模组，所述方法包括：
获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象；
获取所述第二镜头模组拍摄的第二图像，所述第二图像包含所述目标对象，所述第二图像中包含的所述目标对象的像素点的个数大于所述 第一图像中所述目标对象的像素点的个数；
对所述第一图像和所述第二图像进行图像处理，并输出图像。
在本申请的一实施例中，所述方法还包括：
获取所述目标对象的位置信息；
根据所述目标对象的位置信息，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象。
在本申请的一实施例中，所述对所述第一图像和所述第二图像进行图像处理，并输出图像，包括：
将所述第一图像中包含所述目标对象的区域替换为所述第二图像，将替换后的第一图像确定为所述输出图像。
在本申请的一实施例中，所述对所述第一图像和所述第二图像进行图像处理，并输出图像，包括：
将所述第二图像叠加于所述第一图像，确定叠加后的所述第一图像和所述第二图像为所述输出图像。
在本申请的一实施例中，所述方法还包括：
对所述第一镜头模组和所述第二镜头模组的光轴进行光轴校正。
在本申请的一实施例中，所述方法还包括：
对所述第一镜头模组和所述第二镜头模组进行配准分析，并生成相应的配准参数。
在本申请的一实施例中，所述对所述第一图像和所述第二图像进行图像处理，并输出图像包括：
根据所述配准参数，对所述第一图像和所述第二图像进行图像处理，并输出图像。
在本申请的一实施例中，所述第一镜头模组的焦距和所述第二镜头模组的焦距均为固定焦距。
在本申请的一实施例中，所述第一镜头模组包括标准镜头模组和/或广角镜头模组，所述第二镜头模组包括长焦镜头模组。
在本申请的一实施例中，所述第一镜头模组包括标准镜头模组和广角镜头模组，所述标准镜头模组的等效焦距为35mm，所述广角镜头模 组的等效焦距为18mm至24mm，所述长焦镜头模组的等效焦距为所述广角镜头模组的等效焦距的3倍至20倍。
第二方面，本申请的实施例提供了一种多目摄像装置，所述多目摄像装置包括本体、设于所述本体上的第一镜头模组和第二镜头模组，所述第一镜头模组和所述第二镜头模组在所述本体上呈阵列排列。
在本申请的一实施例中，所述第一镜头模组包括至少两个镜头模组。
在本申请的一实施例中，所述第一镜头模组和所述第二镜头模组呈等腰三角形排列。
在本申请的一实施例中，所述第一镜头模组和所述第二镜头模组呈线性排列。
在本申请的一实施例中，所述第一镜头模组的焦距和所述第二镜头模组的焦距均为固定焦距。
在本申请的一实施例中，所述第一镜头模组包括标准镜头模组和/或广角镜头模组，所述第二镜头模组包括长焦镜头模组。
在本申请的一实施例中，所述第一镜头模组包括标准镜头模组和广角镜头模组，所述标准镜头模组的等效焦距为35mm，所述广角镜头模组的等效焦距为18mm至24mm，所述长焦镜头模组的等效焦距为所述广角镜头模组的等效焦距的3倍至20倍。
第三方面，本申请实施例提供了一种处理图像的装置，所述图像由多目摄像装置拍摄，所述多目摄像装置包括第一镜头模组和第二镜头模组，所述装置包括：
第一获取模块，用于获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象；
第二获取模块，用于获取所述第二镜头模组拍摄的第二图像，所述第二图像包含所述目标对象，所述第二图像中包含的所述目标对象的像素点的个数大于所述第一图像中所述目标对象的像素点的个数；
图像生成模块，用于对所述第一图像和所述第二图像进行图像处理，生成输出图像。
在本申请的一实施例中，所述装置还包括位置获取模块和调整模块，所述位置获取模块用于获取所述目标对象的位置信息，所述调整模块用于根据所述目标对象的位置信息，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象。
在本申请的一实施例中，所述图像生成模块用于将所述第一图像中包含所述目标对象的区域替换为所述第二图像，将替换后的第一图像输出为所述输出图像。
在本申请的一实施例中，所述图像生成模块用于将所述第二图像叠加于所述第一图像，输出叠加后的所述第一图像和所述第二图像为所述输出图像。
在本申请的一实施例中，所述装置还包括：
校正模块，对所述第一镜头模组和所述第二镜头模组的光轴进行光轴校正。
在本申请的一实施例中，所述装置还包括：
分析模块，用于对所述第一镜头模组和所述第二镜头模组进行配准分析，并生成相应的配准参数。
在本申请的一实施例中，所述图像生成模块还用于根据所述配准参数，对所述第一图像和所述第二图像进行图像处理，生成输出图像。
在本申请的一实施例中，所述第一镜头模组的焦距和所述第二镜头模组的焦距均为固定焦距。
在本申请的一实施例中，所述第一镜头模组包括标准镜头模组和/或广角镜头模组，所述第二镜头模组包括长焦镜头模组。
在本申请的一实施例中，所述第一镜头模组包括标准镜头模组和广角镜头模组，所述标准镜头模组的等效焦距为35mm，所述广角镜头模组的等效焦距为18mm至24mm，所述长焦镜头模组的等效焦距为所述广角镜头模组的等效焦距的3倍至20倍。
第四方面，本申请实施例提供了一种飞行器，包括所述飞行器包括机身、与所述机身相连的机臂、设于所述机臂上的动力装置、与所述机身相连的多目摄像装置以及图像处理芯片，所述多目摄像装置包括第一 镜头模组和第二镜头模组，所述图像处理芯片用于：
获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象；
获取所述第二镜头模组拍摄的第二图像，所述第二图像包含所述目标对象，所述第二图像中包含的所述目标对象的像素点的个数大于所述第一图像中所述目标对象的像素点的个数；
对所述第一图像和所述第二图像进行图像处理，并生成输出图像。
在本申请的一实施例中，所述图像处理芯片具体用于：
将所述第一图像中包含所述目标对象的区域替换为所述第二图像，将替换后的第一图像确定为所述输出图像。
在本申请的一实施例中，所述图像处理芯片具体用于：
将所述第二图像叠加于所述第一图像，确定叠加后的所述第一图像和所述第二图像为所述输出图像。
在本申请的一实施例中，该飞行器还包括与所述机身相连的控制器和云台，所述控制器用于控制所述云台以对所述第一镜头模组和所述第二镜头模组的光轴进行光轴校正。
在本申请的一实施例中，所述控制器还用于获取所述目标对象的位置信息，并根据所述目标对象的位置信息，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象。
在本申请的一实施例中，所述控制器还用于对所述第一镜头模组和所述第二镜头模组进行配准分析，并生成相应的配准参数。
在本申请的一实施例中，该飞行器还包括控制器，所述控制器用于对所述第一镜头模组和所述第二镜头模组进行配准分析，并生成相应的配准参数。
在本申请的一实施例中，所述图像处理芯片还用于根据所述配准参数，对所述第一图像和所述第二图像进行图像处理，生成输出图像。
在本申请的一实施例中，所述多目摄像装置包括本体、设于所述本体上的第一镜头模组和第二镜头模组，所述第一镜头模组和所述第二镜头模组在所述本体上呈阵列排列。
在本申请的一实施例中，所述第一镜头模组包括至少两个摄像模组。
在本申请的一实施例中，所述第一镜头模组和所述第二镜头模组呈等腰三角形排列。
在本申请的一实施例中，所述第一镜头模组和所述第二镜头模组呈线性排列。
在本申请的一实施例中，所述第一镜头模组的焦距和所述第二镜头模组的焦距均为固定焦距。
在本申请的一实施例中，所述第一镜头模组包括标准镜头模组和/或广角镜头模组，所述第二镜头模组包括长焦镜头模组。
在本申请的一实施例中，所述第一镜头模组包括标准镜头模组和广角镜头模组，所述标准镜头模组的等效焦距为35mm，所述广角镜头模组的等效焦距为18mm至24mm，所述长焦镜头模组的等效焦距为所述广角镜头模组的等效焦距的3倍至20倍。
第五方面，本申请实施例提供了一种飞行器，包括：本体、设于所述本体的云台、设于所述云台的多目摄像装置，所述多目摄像装置包括第一镜头模组和第二镜头模组，所述飞行器还包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的图像处理方法。
本申请实施例提供的一种图像处理的方法、处理图像的装置、多目摄像装置及飞行器，通过获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象，再通过获取所述第二镜头模组拍摄的第二图像，对所述第一图像和所述第二图像进行图像处理，生成输出图像，能够同时兼顾大视角场景的范围和小视角场景中目标对象的精度。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种飞行器的结构示意图；
图2是图1所示飞行器中多目摄像装置一种实施例的结构示意图；
图3是图1所示飞行器中多目摄像装置另一实施例的结构示意图；
图4是第一图像和第二图像的示意图；
图5是本申请实施例提供的图像合成得到的输出图像的示意图；
图6是本申请实施例提供的图像叠加得到的输出图像的示意图；
图7是本申请实施例提供的一种图像处理的方法的流程图；
图8是本申请又一实施例提供的一种图像处理的方法的流程图；
图9是本申请实施例提供的一种处理图像的装置的功能框图；
图10是本申请又一实施例提供的一种处理图像的装置的功能框图；
图11是本申请实施例提供的执行图像处理的方法的飞行器的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
此外，下面所描述的本申请各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
下面结合具体附图对本申请实施例作具体阐述。
如图1所示，飞行器10包括壳体11、与壳体11相连的机臂12、设置在机臂12一端的动力装置13、与壳体11相连的云台15、与云台13相连的多目摄像装置14以及设置在壳体11内的控制器16和图像处理芯片17。
在本实施例中，机臂12的数量为4，即该飞行器为四旋翼飞行器， 在其他可能的实施例中，机臂12的数量也可以为3、6、8、10等。飞行器10还可以是其他可移动物体，例如载人飞行器、航模、无人飞艇、固定翼无人机和无人热气球等。
动力装置13包括设置在机臂12一端的电机132以及与电机132的转轴相连的螺旋桨131。电机132的转轴转动以带动螺旋桨131旋转从而给飞行器10提供升力。
云台15用于减轻甚至消除动力装置13传递给多目摄像装置14的振动，以保证多目摄像装置14能够拍摄出稳定清晰的图像或视频。多目摄像装置14通过如本实施例所示的云台15搭载在飞行器10上。
如图2所示，多目摄像装置14包括本体141，设置在本体141上的第一镜头模组145和第二镜头模组144，其中，第一镜头模组145和第二镜头模组144均为固定焦距的镜头模组，由于都是定焦镜头，在设计中可以采用更轻的材料而且少了变焦镜头的机械装置。
在本申请的一实施例中，第一镜头模组145包括两个镜头模组，两个摄像镜头分别为标准镜头模组142和广角镜头模组143。第二镜头模组144为长焦镜头。在本申请的一实施例中，标准镜头模组142的等效焦距为35mm，广角镜头模组143的等效焦距为18mm至24mm，长焦镜头模组144的等效焦距为广角镜头模组143的等效焦距的3倍至20倍。在本申请的实施例中，广角镜头模组143和长焦镜头模组144可以灵活配置相应分辨率的图像传感器。
在本申请的一实施例中，在第一镜头模组145包括至少两个镜头模组的前提下，第一镜头模组145和第二镜头模组144呈阵列排布，具体来说，如图2所示，标准镜头模组142、广角镜头模组143以及长焦镜头模组144呈等腰三角形排布。在其他可能的实施例中，第一镜头模组145’和第二镜头模组144’也可以呈线性排列，具体地，如图3所示，标准镜头模组142’、广角镜头模组143’以及长焦镜头模组144’等间距排布并呈直线。其中，长焦镜头模组144’和广角镜头模组143’分别位于标准镜头模组142’的两侧。
在多目摄像装置14启动之前，控制器16首先控制云台15对第一镜头模组145和第二镜头模组144的光轴进行校正，并记录下第一镜头模组145和第二镜头模组144的光轴校正参数。可以理解的是，第一镜头模组145和第二镜头模组144的光轴校正也可以利用现有的镜头模组光轴校正技术在出厂时就完成。
考虑到相机之间的差异，在多目摄像装置14启动时，控制器16需要对第一移镜头模组145和第二镜头模组144进行配准分析，并生成相应的配准参数。
以第一镜头模组145包括标准镜头模组142和广角镜头模组143，当场景中出现感兴趣的目标对象时，广角镜头模组143拍摄图像数据，控制器16依据广角镜头模组143获取的图像数据获取目标对象的位置信息，调整第二镜头模组144的光轴，使得第二镜头模组144的光轴朝向感兴趣的目标对象。
此时，图像处理芯片17获取所述第一镜头模组145拍摄的第一图像，该第一图像中包含目标对象。在本申请实施例中，目标对象可以包括但不限于人、动物、植物、汽车、建筑等物体。第一图像可以是第一镜头模组捕捉到的单帧图像。该飞行器还可以包括：图像识别芯片，用于获取目标对象的特征参数，其中，所述特征参数用于跟踪所述目标对象，可以用来表征目标对象的整体轮廓。例如，所述多目摄像装置安装于飞行器，通过获取汽车的车牌和/或车身轮廓和/或车身颜色等特征参数，飞行器能够锁定所述汽车，进而跟踪所述汽车。
接着，图像处理芯片17获取所述第二镜头模组144拍摄的第二图像，该第二图像亦包含所述目标对象，且第二图像中包含的所述目标对象的像素点的个数大于所述第一图像中所述目标对象的像素点的个数。在本申请的一实施例中，第二镜头模组144为长焦镜头模组。
最后，图像处理芯片17根据控制器16获取的配准参数，对第一图像和第二图像进行图像处理，并生成输出图像。
作为一种可选的实施方式，第一图像和第二图像的处理方式可以是图像合成。具体的，如图4所示，图像处理芯片17将第一图像210中 包含所述目标对象的区域211替换为第二图像220，如图5所示，确定包含第二图像220的第一图像210为输出图像。即，利用拍摄到的小视角清晰图像取代大视角中对应区域的图像，从而可以在大视角图像中看到目标对象的清晰图像。
作为一种可选的实施方式，第一图像和第二图像的结合方式也可以是图像叠加。具体的，如图6所示，图像处理芯片17将第二图像230叠加于第一图像240，确定叠加后的第一图像240和所述第二图像230为输出图像，可以将第二图像230叠加于第一图像240右上角、左上角、右下角、左下角等位置，可以根据用户操作，放大或者缩小第二图像230，例如，通过双击操作放大第二图像230，以便覆盖第一图像240。
本申请的飞行器在场景中出现感兴趣的目标时，能够同时兼顾大视角场景的范围和小视角场景的精度，能得到精度较高的输出图像。
如图7所示，本申请实施例提供了一种图像处理的方法，所述图像由多目摄像装置拍摄，所述多目摄像装置包括第一镜头模组和第二镜头模组，所述方法可以包括：
S101、对第一镜头模组和第二镜头模组进行光轴校正。
第一镜头模组和第二镜头模组光轴的校正可以利用位于飞行器内部的控制器具有的光轴校正算法来完成，也可以利用现有的镜头模组光轴校正技术在出厂时就完成。
S102、对第一镜头模组和第二镜头模组进行配准分析并生成相应的配准参数。
考虑到相机之间的差异，在多目摄像装置14启动时，控制器16需要对第一移镜头模组145和第二镜头模组144进行配准分析，并生成相应的配准参数。配准参数可以作为后续对图像进行处理的基础。
获取目标对象的位置信息属于现有公知技术，在此不再赘述。
S103、获取第一镜头模组拍摄的第一图像，第一图像包含目标对象。
在本申请实施例中，目标对象可以包括但不限于人、动物、植物、 汽车、建筑等物体。第一图像可以是第一镜头模组捕捉到的单帧图像。在本申请的一实施例中，在步骤S103之前，所述方法还可以包括：获取目标对象的特征参数，其中，所述特征参数用于跟踪所述目标对象，可以用来表征目标对象的整体轮廓。例如，所述多目摄像装置安装于飞行器，通过获取汽车的车牌和/或车身轮廓和/或车身颜色等特征参数，飞行器能够锁定所述汽车，进而跟踪所述汽车。又如，通过获取人的脸部和/或躯干轮廓和/或衣着颜色等特征参数，能够实现对人物的跟踪。可以通过第一镜头模组拍摄目标对象，进而获得目标对象的特征参数；也可以通过服务器或其他智能终端等设备将目标对象的特征参数通过无线传输的方式发送过来而获得的，本申请实施例不作限定。
S104、获取目标对象的位置信息。
可以利用目前已知的技术获取目标对象的位置信息，在此不再赘述。
S105、根据目标对象的位置信息，调整第二镜头模组的光轴，使其朝向目标对象方向。
S106、获取第二镜头模组拍摄的第二图像，第二图像包含目标对象，且第二图像中包含的目标对象的像素点的个数大于第一图像中目标对象的像素点的个数。
第二图像中包含的目标对象与第一图像中包含的目标对象是同一个目标对象，第二图像中的目标对象的像素点更多，因此更加清晰。
S107、对第一图像和第二图像进行图像处理，并生成输出图像。
作为一种可选的实施方式，第一图像和第二图像的结合方式可以是图像合成。具体的，如图4所示，将第一图像210中包含所述目标对象的区域211替换为第二图像220，如图5所示，确定包含第二图像220的第一图像210为输出图像。即，利用拍摄到的小视角清晰图像取代大视角中对应区域的图像，从而可以在大视角图像中看到目标对象的清晰图像。
作为一种可选的实施方式，第一图像和第二图像的结合方式也可以是图像叠加。具体的，如图6所示，将第二图像230叠加于第一图像240， 确定叠加后的第一图像240和所述第二图像230为输出图像。可以将第二图像230叠加于第一图像240右上角、左上角、右下角、左下角等位置，可以根据用户操作，放大或者缩小第二图像230，例如，通过双击操作放大第二图像230，使第二图像230全屏显示，并缩小第一图像240，可以使第一图像240位于原先第二图像230所处位置。
如图8所示，本申请实施例提供了一种图像处理的方法，所述图像由多目摄像装置拍摄，所述多目摄像装置包括第一镜头模组和第二镜头模组，所述方法可以包括：
步骤S11、获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象。
在本申请实施例中，目标对象可以包括但不限于人、动物、植物、汽车、建筑等物体。第一图像可以是第一镜头模组捕捉到的单帧图像。在本申请的一实施例中，在步骤S11之前，所述方法还可以包括：获取目标对象的特征参数，其中，所述特征参数用于跟踪所述目标对象，可以用来表征目标对象的整体轮廓。例如，所述多目摄像装置安装于飞行器，通过获取汽车的车牌和/或车身轮廓和/或车身颜色等特征参数，飞行器能够锁定所述汽车，进而跟踪所述汽车。又如，通过获取人的脸部和/或躯干轮廓和/或衣着颜色等特征参数，能够实现对人物的跟踪。可以通过第一镜头模组拍摄目标对象，进而获得目标对象的特征参数；也可以通过服务器或其他智能终端等设备将目标对象的特征参数通过无线传输的方式发送过来而获得的，本申请实施例不作限定。
步骤S12、获取所述第二镜头模组拍摄的第二图像，第二图像包含所述目标对象，且第二图像中包含的目标对象的像素点的个数大于第一图像中目标对象的像素点的个数。
在本申请实施例中，第二镜头模组的光轴朝向目标对象后，第二镜头模组拍摄第二图像，该第二图像中包含目标对象。
作为一种可选的实施方式，所述第一镜头模组的焦距和所述第二镜头模组的焦距均为固定焦距。由于变焦镜头所配置的图像传感器是单一 的，且不能变化，而采用定焦的第一镜头模组和第二镜头模组可以灵活配置相应分辨率的图像传感器。此外，变焦镜头普遍要比定焦镜头重，第一镜头模组和第二镜头模组均为定焦镜头，在设计中可以采用更轻的材料而且少了变焦镜头的机械装置，从而可以减轻飞行器的负担。
在本申请实施例中，第一镜头模组的焦距与第二镜头模组的焦距不同。较佳的，第一镜头模组的焦距小于第二镜头模组的焦距。所述第一镜头模组可以包括标准镜头模组和/或广角镜头模组，所述第二镜头模组可以包括长焦镜头模组。第一镜头模组拍摄的第一图像属于大视角场景，第二镜头模组拍摄的第二图像属于小视角场景。
在所述第一镜头模组包括标准镜头模组和广角镜头模组的情况下，标准镜头模组、广角镜头模组以及长焦镜头模组可以呈三角形排列，也可以呈直线排列。可选的，标准镜头模组的等效焦距可以为35mm，广角镜头模组的等效焦距可以为18mm至24mm，长焦镜头模组的等效焦距可以为广角镜头模组的等效焦距的3倍至20倍。
步骤S13、对所述第一图像和所述第二图像进行图像处理，生成输出图像。
作为一种可选的实施方式，第一图像和第二图像的结合方式可以是图像合成。具体的，如图4所示，将第一图像210中包含所述目标对象的区域211替换为第二图像220，如图5所示，确定包含第二图像220的第一图像210为输出图像。即，利用拍摄到的小视角清晰图像取代大视角中对应区域的图像，从而可以在大视角图像中看到目标对象的清晰图像。
作为一种可选的实施方式，第一图像和第二图像的结合方式也可以是图像叠加。具体的，如图6所示，将第二图像230叠加于第一图像240，确定叠加后的第一图像240和所述第二图像230为输出图像。可以将第二图像230叠加于第一图像240右上角、左上角、右下角、左下角等位置，可以根据用户操作，放大或者缩小第二图像230，例如，通过双击操作放大第二图像230，使第二图像230全屏显示，并缩小第一图像240，可以使第一图像240位于原先第二图像230所处位置。
如图9所示，本申请实施例提供了一种图像处理的装置40，可以用于执行本申请实施例公开的图像处理的方法。所述图像由多目摄像装置拍摄，所述多目摄像装置包括第一镜头模组和第二镜头模组。其中，多目摄像装置可以安装于图像处理的装置40中，也可以安装于其他设备中，并通过该设备将拍摄到的图像传输至图像处理的装置40。所述装置40可以包括：第一获取模块41、第二获取模块45以及图像生成模块47。
第一获取模块41用于获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象。
在本申请实施例中，目标对象可以包括但不限于人、动物、植物、汽车、建筑等物体。第一图像可以是第一镜头模组捕捉到的单帧图像。所述装置还可以包括：特征参数获取模块，用于在所述第一获取模块41获取所述第一镜头模组拍摄的第一图像之前，获取目标对象的特征参数，其中，所述特征参数用于跟踪所述目标对象，可以用来表征目标对象的整体轮廓。例如，所述多目摄像装置安装于飞行器，通过获取汽车的车牌和/或车身轮廓和/或车身颜色等特征参数，飞行器能够锁定所述汽车，进而跟踪所述汽车。
第二获取模块45用于获取所述第二镜头模组拍摄的第二图像，第二图像包含所述目标对象，且第二图像中包含的所述目标对象的像素点的个数大于所述第一图像中所述目标对象的像素点的个数。
在本申请实施例中，第二镜头模组的光轴朝向目标对象后，第二镜头模组拍摄第二图像，该第二图像中包含目标对象。
作为一种可选的实施方式，所述第一镜头模组的焦距和所述第二镜头模组的焦距均为固定焦距。较佳的，第一镜头模组的焦距小于第二镜头模组的焦距。所述第一镜头模组可以包括标准镜头模组和/或广角镜头模组，所述第二镜头模组可以包括长焦镜头模组。第一镜头模组拍摄的第一图像属于大视角场景，第二镜头模组拍摄的第二图像属于小视角场景。
在所述第一镜头模组包括标准镜头模组和广角镜头模组的情况下， 标准镜头模组、广角镜头模组以及长焦镜头模组可以呈三角形排列，也可以呈直线排列。可选的，标准镜头模组的等效焦距可以为35mm，广角镜头模组的等效焦距可以为18mm至24mm，长焦镜头模组的等效焦距可以为广角镜头模组的等效焦距的3倍至20倍。
图像生成模块47用于根据所述第一图像和所述第二图像，确定输出图像。
作为一种可选的实施方式，第一图像和第二图像的结合方式可以是图像合成。具体的，如图4所示，将第一图像210中包含所述第二图像的区域211替换为第二图像220，如图5所示，确定包含第二图像220的第一图像210为输出图像。
作为一种可选的实施方式，第一图像和第二图像的结合方式也可以是图像叠加。具体的，如图6所示，将第二图像230叠加于第一图像240，确定叠加后的第一图像240和所述第二图像230为输出图像，可以将第二图像230叠加于第一图像240右上角、左上角、右下角、左下角等位置，可以根据用户操作，放大或者缩小第二图像230，例如，通过双击操作放大第二图像230，以便覆盖第一图像240。
第一获取模块41、第二获取模块45可以是飞行器中的飞控芯片或者视觉芯片，图像生成模块47可以是单独的图像处理芯片或者是集成在飞控芯片或者视觉芯片内的图像处理单元。
本申请实施例提供了一种图像处理的装置，通过第一获取模块获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象，再通过第二获取模块获取所述第二镜头模组拍摄的第二图像，图像生成模块根据所述第一图像和所述第二图像，生成输出图像，能够同时兼顾大视角场景的范围和小视角场景中目标对象的精度。
如图10所示，本申请实施例提供了一种图像处理的装置50，可以用于执行本申请实施例公开的图像处理的方法。所述图像由多目摄像装置拍摄，所述多目摄像装置包括第一镜头模组和第二镜头模组。其中，多目摄像装置可以安装于图像处理的装置50中，也可以安装于其他设 备中，并通过该设备将拍摄到的图像传输至图像处理的装置50。所述装置50可以包括：第一获取模块51、位置获取模块52、调整模块53、第二获取模块55、校正模块56、图像生成模块57以及分析模块54。
第一获取模块51用于获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象。
位置获取模块52用于获取所述目标对象的位置信息；
调整模块53用于根据所述目标对象的位置信息，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象。
第二获取模块55用于获取所述第二镜头模组拍摄的第二图像，第二图像包含所述目标对象，且所述第二图像包含所述目标对象，所述第二图像中包含的所述目标对象的像素点的个数大于所述第一图像中所述目标对象的像素点的个数。
在本申请实施例中，对第一获取模块51、第二获取模块55的解释说明请参考对上述第一获取模块41、第二获取模块45的解释说明，在此不再赘述。
校正模块56用于对第一镜头模组和第二镜头模组的光轴进行校正，或根据所述多目摄像装置的光轴偏移量，校正所述第一图像和所述第二图像。
在本申请实施例中，可以根据多目摄像装置的光轴偏移量，矫正所述第一图像和所述第二图像。例如，对所述第一图像和所述第二图像的畸变进行矫正。
分析模块54用于对第一镜头模组和第二镜头模组进行配准分析并生成相应的配准参数。
图像生成模块57用于根据配准参数，将第一图像中包含所述目标对象的区域替换为第二图像，生成包含第二图像的第一图像的输出图像。
在本申请实施例中，对图像生成模块57的解释说明可以参考对上述图像生成模块47中第一图像和第二图像的结合方式是图像合成的解释说明。
在本申请的其他实施例中，图像生成模块57还可以用于将所述第二图像叠加于所述第一图像，确定叠加后的所述第一图像和所述第二图像为所述输出图像。
本申请实施例提供了一种图像处理的装置，通过第一获取模块获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象，位置获取模块获取目标对象的位置信息，进而调整模块根据所述目标对象的位置信息，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象，再通过第二获取模块获取所述第二镜头模组拍摄的第二图像，校正模块根据所述多目摄像装置的光轴偏移量，校正所述第一图像和所述第二图像，图像确定模块将校正后的第一图像中包含所述第二图像的区域替换为校正后的第二图像，确定包含校正后的第二图像的第一图像为所述输出图像，能够同时兼顾大视角场景的范围和小视角场景中目标对象的精度，得到结合效果较好的输出图像。
第一获取模块51、位置获取模块52、调整模块53、第二获取模块55、校正模块56、图像生成模块57以及分析模块54
第一获取模块51、位置获取模块52、校正模块56、分析模块54以及第二获取模块55可以是飞行器中的飞控芯片或者视觉芯片，调整模块53可以是飞控芯片或者控制云台转动的控制芯片，图像生成模块57可以是单独的图像处理芯片或者是集成在飞控芯片或者视觉芯片内的图像处理单元。
图11是本申请实施例提供的执行图像处理的方法的飞行器60的硬件结构示意图，该飞行器60可以包括：本体61、设于所述本体61的云台62、设于所述云台62的多目摄像装置63，所述多目摄像装置63包括第一镜头模组631和第二镜头模组632，所述飞行器60还可以包括：至少一个处理器64；以及与所述至少一个处理器64通信连接的存储器65；其中，所述存储器存储65有可被所述至少一个处理器64执行的指令，所述指令被所述至少一个处理器64执行，以使所述至少一个处理器64能够执行上述图像处理的方法，图6中以一个处理器64为例。处 理器64和存储器65可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储器65作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的用于执行图像处理的方法对应的程序指令/模块(例如，附图4所示的第一获取模块41、调整模块43、第二获取模块45以及图像确定模块47，附图5中的第一获取模块51、调整模块53、第二获取模块55、校正模块56以及图像确定模块57)。处理器64通过运行存储在存储器65中的非易失性软件程序、指令以及模块，从而执行飞行器60的各种功能应用以及数据处理，即实现上述方法实施例的图像处理的方法。
存储器65可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据飞行器60的使用所创建的数据等。此外，存储器65可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器65可选包括相对于处理器64远程设置的存储器，这些远程存储器可以通过网络连接至飞行器60。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器65中，当被所述一个或者多个处理器64执行时，执行上述任意方法实施例中的图像处理的方法，例如，执行以上描述的图8中的方法步骤S11、步骤S13、步骤S15、步骤S17，实现附图9所示的第一获取模块41、调整模块43、第二获取模块45以及图像确定模块47，附图10中的第一获取模块51、调整模块53、第二获取模块55、校正模块56以及图像确定模块57的功能。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人 员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (43)

  1. 一种图像处理的方法，其特征在于，所述图像由多目摄像装置拍摄，所述多目摄像装置包括第一镜头模组和第二镜头模组，所述方法包括：
    获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象；
    获取所述第二镜头模组拍摄的第二图像，所述第二图像包含所述目标对象，所述第二图像中包含的所述目标对象的像素点的个数大于所述第一图像中所述目标对象的像素点的个数；
    对所述第一图像和所述第二图像进行图像处理，并输出图像。
  2. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
    获取所述目标对象的位置信息；
    根据所述目标对象的位置信息，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象。
  3. 根据权利要求1或2所述的方法，其特征在于，所述对所述第一图像和所述第二图像进行图像处理，并输出图像，包括：
    将所述第一图像中包含所述目标对象的区域替换为所述第二图像，将替换后的第一图像确定为所述输出图像。
  4. 根据权利要求1或2所述的方法，其特征在于，所述对所述第一图像和所述第二图像进行图像处理，并输出图像，包括：
    将所述第二图像叠加于所述第一图像，确定叠加后的所述第一图像和所述第二图像为所述输出图像。
  5. 根据权利要求1-4所述的方法，其特征在于，所述方法还包括：
    对所述第一镜头模组和所述第二镜头模组的光轴进行光轴校正。
  6. 根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
    对所述第一镜头模组和所述第二镜头模组进行配准分析，并生成相应的配准参数。
  7. 根据权利要求6所述的方法，其特征在于，所述对所述第一图像和所述第二图像进行图像处理，并输出图像包括：
    根据所述配准参数，对所述第一图像和所述第二图像进行图像处理，并输出图像。
  8. 根据权利要求1-7中任一所述的方法，其特征在于，所述第一镜头模组的焦距和所述第二镜头模组的焦距均为固定焦距。
  9. 根据权利要求1-8中任一所述的方法，其特征在于，所述第一镜头模组包括标准镜头模组和/或广角镜头模组，所述第二镜头模组包括长焦镜头模组。
  10. 根据权利要求9所述的方法，其特征在于，所述第一镜头模组包括标准镜头模组和广角镜头模组，所述标准镜头模组的等效焦距为35mm，所述广角镜头模组的等效焦距为18mm至24mm，所述长焦镜头模组的等效焦距为所述广角镜头模组的等效焦距的3倍至20倍。
  11. 一种多目摄像装置，其特征在于，所述多目摄像装置包括本体、设于所述本体上的第一镜头模组和第二镜头模组，所述第一镜头模组和所述第二镜头模组在所述本体上呈阵列排列。
  12. 根据权利要求11所述的多目摄像装置，其特征在于，所述第一镜头模组包括至少两个镜头模组。
  13. 根据权利要求12所述的多目摄像装置，其特征在于，所述第一镜头模组和所述第二镜头模组呈等腰三角形排列。
  14. 根据权利要求12所述的多目摄像装置，其特征在于，所述第一镜头模组和所述第二镜头模组呈线性排列。
  15. 根据权利要求11-14任一项所述的多目摄像装置，其特征在于，所述第一镜头模组的焦距和所述第二镜头模组的焦距均为固定焦距。
  16. 根据权利要求11-15所述的多目摄像装置，其特征在于，所述第一镜头模组包括标准镜头模组和/或广角镜头模组，所述第二镜头模组包括长焦镜头模组。
  17. 根据权利要求16所述的多目摄像装置，其特征在于，所述第一镜头模组包括标准镜头模组和广角镜头模组，所述标准镜头模组的等 效焦距为35mm，所述广角镜头模组的等效焦距为18mm至24mm，所述长焦镜头模组的等效焦距为所述广角镜头模组的等效焦距的3倍至20倍。
  18. 一种处理图像的装置，其特征在于，所述图像由多目摄像装置拍摄，所述多目摄像装置包括第一镜头模组和第二镜头模组，所述装置包括：
    第一获取模块，用于获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象；
    第二获取模块，用于获取所述第二镜头模组拍摄的第二图像，所述第二图像包含所述目标对象，所述第二图像中包含的所述目标对象的像素点的个数大于所述第一图像中所述目标对象的像素点的个数；
    图像生成模块，用于对所述第一图像和所述第二图像进行图像处理，生成输出图像。
  19. 根据权利要求18所述的装置，其特征在于，所述装置还包括位置获取模块和调整模块，所述位置获取模块用于获取所述目标对象的位置信息，所述调整模块用于根据所述目标对象的位置信息，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象。
  20. 根据权利要求18或19所述的装置，其特征在于，所述图像生成模块用于将所述第一图像中包含所述目标对象的区域替换为所述第二图像，将替换后的第一图像输出为所述输出图像。
  21. 根据权利要求18或19所述的装置，其特征在于，所述图像生成模块用于将所述第二图像叠加于所述第一图像，输出叠加后的所述第一图像和所述第二图像为所述输出图像。
  22. 根据权利要求18-21任一项所述的装置，其特征在于，所述装置还包括：
    校正模块，对所述第一镜头模组和所述第二镜头模组的光轴进行光轴校正。
  23. 根据权利要求18-22任一项所述的装置，其特征在于，所述装 置还包括：
    分析模块，用于对所述第一镜头模组和所述第二镜头模组进行配准分析，并生成相应的配准参数。
  24. 根据权利要求23所述的装置，其特征在于，所述图像生成模块还用于根据所述配准参数，对所述第一图像和所述第二图像进行图像处理，生成输出图像。
  25. 根据权利要求18-24中任一所述的装置，其特征在于，所述第一镜头模组的焦距和所述第二镜头模组的焦距均为固定焦距。
  26. 根据权利要求18-25中任一所述的装置，其特征在于，所述第一镜头模组包括标准镜头模组和/或广角镜头模组，所述第二镜头模组包括长焦镜头模组。
  27. 根据权利要求26所述的装置，其特征在于，所述第一镜头模组包括标准镜头模组和广角镜头模组，所述标准镜头模组的等效焦距为35mm，所述广角镜头模组的等效焦距为18mm至24mm，所述长焦镜头模组的等效焦距为所述广角镜头模组的等效焦距的3倍至20倍。
  28. 一种飞行器，其特征在于，包括所述飞行器包括机身、与所述机身相连的机臂、设于所述机臂上的动力装置、与所述机身相连的多目摄像装置以及图像处理芯片，所述多目摄像装置包括第一镜头模组和第二镜头模组，所述图像处理芯片用于：
    获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象；
    获取所述第二镜头模组拍摄的第二图像，所述第二图像包含所述目标对象，所述第二图像中包含的所述目标对象的像素点的个数大于所述第一图像中所述目标对象的像素点的个数；
    对所述第一图像和所述第二图像进行图像处理，并生成输出图像。
  29. 根据权利要求28所述的飞行器，其特征在于，所述图像处理芯片具体用于：
    将所述第一图像中包含所述目标对象的区域替换为所述第二图像，将替换后的第一图像确定为所述输出图像。
  30. 根据权利要求28所述的飞行器，其特征在于，所述图像处理芯片具体用于：
    将所述第二图像叠加于所述第一图像，确定叠加后的所述第一图像和所述第二图像为所述输出图像。
  31. 根据权利要求28-30任一项所述的飞行器，其特征在于，该飞行器还包括与所述机身相连的控制器和云台，所述控制器用于控制所述云台以对所述第一镜头模组和所述第二镜头模组的光轴进行光轴校正。
  32. 根据权利要求30所述的飞行器，其特征在于，所述控制器还用于获取所述目标对象的位置信息，并根据所述目标对象的位置信息，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象。
  33. 根据权利要求31或32所述的飞行器，其特征在于，所述控制器还用于对所述第一镜头模组和所述第二镜头模组进行配准分析，并生成相应的配准参数。
  34. 根据权利要求28-30任一项所述的飞行器，其特征在于，该飞行器还包括控制器，所述控制器用于对所述第一镜头模组和所述第二镜头模组进行配准分析，并生成相应的配准参数。
  35. 根据权利要求33或34所述的飞行器，其特征在于，所述图像处理芯片还用于根据所述配准参数，对所述第一图像和所述第二图像进行图像处理，生成输出图像。
  36. 根据权利要求28-35任一项所述的飞行器，其特征在于，所述多目摄像装置包括本体、设于所述本体上的第一镜头模组和第二镜头模组，所述第一镜头模组和所述第二镜头模组在所述本体上呈阵列排列。
  37. 根据权利要求36所述的飞行器，其特征在于，所述第一镜头模组包括至少两个摄像模组。
  38. 根据权利要求37所述的飞行器，其特征在于，所述第一镜头模组和所述第二镜头模组呈等腰三角形排列。
  39. 根据权利要求37所述的飞行器，其特征在于，所述第一镜头模组和所述第二镜头模组呈线性排列。
  40. 根据权利要求36-39任一项所述的飞行器，其特征在于，所述第一镜头模组的焦距和所述第二镜头模组的焦距均为固定焦距。
  41. 根据权利要求36-40所述的飞行器，其特征在于，所述第一镜头模组包括标准镜头模组和/或广角镜头模组，所述第二镜头模组包括长焦镜头模组。
  42. 根据权利要求41所述的飞行器，其特征在于，所述第一镜头模组包括标准镜头模组和广角镜头模组，所述标准镜头模组的等效焦距为35mm，所述广角镜头模组的等效焦距为18mm至24mm，所述长焦镜头模组的等效焦距为所述广角镜头模组的等效焦距的3倍至20倍。
  43. 一种飞行器，其特征在于，包括：本体、设于所述本体的云台、设于所述云台的多目摄像装置，所述多目摄像装置包括第一镜头模组和第二镜头模组，所述飞行器还包括：
    至少一个处理器；以及
    与所述至少一个处理器通信连接的存储器；其中，
    所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-10任一项所述的方法。
PCT/CN2017/106143 2016-10-20 2017-10-13 图像处理的方法、处理图像的装置、多目摄像装置以及飞行器 Ceased WO2018072657A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/388,292 US10904430B2 (en) 2016-10-20 2019-04-18 Method for processing image, image processing apparatus, multi-camera photographing apparatus, and aerial vehicle
US17/122,672 US20210105403A1 (en) 2016-10-20 2020-12-15 Method for processing image, image processing apparatus, multi-camera photographing apparatus, and aerial vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610914681.1A CN106506941A (zh) 2016-10-20 2016-10-20 图像处理的方法及装置、飞行器
CN201610914681.1 2016-10-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/388,292 Continuation US10904430B2 (en) 2016-10-20 2019-04-18 Method for processing image, image processing apparatus, multi-camera photographing apparatus, and aerial vehicle

Publications (1)

Publication Number Publication Date
WO2018072657A1 true WO2018072657A1 (zh) 2018-04-26

Family

ID=58319274

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/106143 Ceased WO2018072657A1 (zh) 2016-10-20 2017-10-13 图像处理的方法、处理图像的装置、多目摄像装置以及飞行器

Country Status (3)

Country Link
US (2) US10904430B2 (zh)
CN (1) CN106506941A (zh)
WO (1) WO2018072657A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111818304A (zh) * 2020-07-08 2020-10-23 杭州萤石软件有限公司 图像融合方法及装置

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106506941A (zh) 2016-10-20 2017-03-15 深圳市道通智能航空技术有限公司 图像处理的方法及装置、飞行器
CN106791377B (zh) 2016-11-29 2019-09-27 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN109215055A (zh) 2017-06-30 2019-01-15 杭州海康威视数字技术股份有限公司 一种目标特征提取方法、装置及应用系统
CN109218572A (zh) * 2017-07-05 2019-01-15 北京臻迪科技股份有限公司 一种图像采集方法、系统和无人机
CN107577246B (zh) * 2017-09-29 2020-08-07 深圳市富斯科技有限公司 一种图像拍摄方法、系统以及电子云台和飞行器
CN108622428B (zh) * 2018-05-08 2021-08-03 重庆邮电大学 多摄像机无人机
CN108377342B (zh) * 2018-05-22 2021-04-20 Oppo广东移动通信有限公司 双摄像头拍照方法、装置、存储介质及终端
CN108900763B (zh) * 2018-05-30 2022-03-22 Oppo（重庆）智能科技有限公司 拍摄装置、电子设备及图像获取方法
CN111917941B (zh) * 2019-05-08 2021-10-01 杭州海康威视数字技术股份有限公司 摄像机画面处理方法及摄像机
US11425307B2 (en) 2018-07-19 2022-08-23 Hangzhou Hikvision Digital Technology Co., Ltd. Image capture device in which the focal length of the image capture device can be expanded without increasing the size of lenses
CN111614951B (zh) * 2019-02-25 2022-05-13 浙江宇视科技有限公司 一种一体化云台摄像机的光轴校准设备及方法
CN109905604B (zh) * 2019-03-29 2021-09-21 深圳市道通智能航空技术股份有限公司 对焦方法、装置、拍摄设备及飞行器
CN111345029B (zh) 2019-05-30 2022-07-08 深圳市大疆创新科技有限公司 一种目标追踪方法、装置、可移动平台及存储介质
CN110493514B (zh) * 2019-08-07 2021-07-16 Oppo广东移动通信有限公司 图像处理方法、存储介质及电子设备
CN110519540A (zh) * 2019-08-29 2019-11-29 深圳市道通智能航空技术有限公司 一种图像处理方法、装置、设备及存储介质
CN110430372B (zh) * 2019-09-02 2021-11-26 深圳市道通智能航空技术股份有限公司 图像曝光方法、装置、拍摄设备及无人机
CN112702564B (zh) * 2019-10-23 2023-04-18 成都鼎桥通信技术有限公司 图像监控方法及设备
JP6880380B2 (ja) * 2019-11-01 2021-06-02 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 画像処理装置、画像処理方法、及びプログラム
CN112173149A (zh) * 2020-10-30 2021-01-05 南方电网数字电网研究院有限公司 一种具有边缘计算能力的增稳云台、无人机及目标识别方法
JP7717489B2 (ja) * 2021-05-07 2025-08-04 シャープ株式会社 撮像装置
CN120641954A (zh) * 2023-09-05 2025-09-12 深圳市大疆创新科技有限公司 辅助影像的处理方法、装置及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1587910A (zh) * 2004-09-21 2005-03-02 中国科学院上海技术物理研究所 无人机载用于监测的轻小型多光谱成像仪
US20150215516A1 (en) * 2014-01-27 2015-07-30 Ratheon Company Imaging system and methods with variable lateral magnification
CN105409212A (zh) * 2013-02-28 2016-03-16 谷歌技术控股有限责任公司 具有多视图图像捕捉和深度感测的电子设备
CN105890590A (zh) * 2016-04-12 2016-08-24 西北工业大学 基于红外激光灯与多相机阵列无人机远距离光学导引着陆系统
CN106506941A (zh) * 2016-10-20 2017-03-15 深圳市道通智能航空技术有限公司 图像处理的方法及装置、飞行器

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6738073B2 (en) * 1999-05-12 2004-05-18 Imove, Inc. Camera system with both a wide angle view and a high resolution view
CN104301669A (zh) * 2014-09-12 2015-01-21 重庆大学 基于双摄像头协同的可疑目标检测跟踪与识别方法
CN104867155A (zh) * 2015-06-02 2015-08-26 阔地教育科技有限公司 一种基于联合标定的目标跟踪方法及装置
US9952485B1 (en) * 2015-06-10 2018-04-24 Innotech Security, Inc. Video surveillance camera having a separable and removable gimbal
CN105407283B (zh) * 2015-11-20 2018-12-18 成都因纳伟盛科技股份有限公司 一种多目标主动识别跟踪监控方法
CN105893510A (zh) * 2016-03-30 2016-08-24 北京格灵深瞳信息技术有限公司 一种视频结构化系统及其目标搜索方法
US10074183B1 (en) * 2016-06-03 2018-09-11 Amazon Technologies, Inc. Image alignment correction for imaging processing during operation of an unmanned aerial vehicle
CN107770433B (zh) * 2016-08-15 2020-08-04 广州立景创新科技有限公司 影像获取装置及其影像平顺缩放方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1587910A (zh) * 2004-09-21 2005-03-02 中国科学院上海技术物理研究所 无人机载用于监测的轻小型多光谱成像仪
CN105409212A (zh) * 2013-02-28 2016-03-16 谷歌技术控股有限责任公司 具有多视图图像捕捉和深度感测的电子设备
US20150215516A1 (en) * 2014-01-27 2015-07-30 Ratheon Company Imaging system and methods with variable lateral magnification
CN105890590A (zh) * 2016-04-12 2016-08-24 西北工业大学 基于红外激光灯与多相机阵列无人机远距离光学导引着陆系统
CN106506941A (zh) * 2016-10-20 2017-03-15 深圳市道通智能航空技术有限公司 图像处理的方法及装置、飞行器

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111818304A (zh) * 2020-07-08 2020-10-23 杭州萤石软件有限公司 图像融合方法及装置
US12223622B2 (en) 2020-07-08 2025-02-11 Hangzhou Ezviz Software Co., Ltd. Image fusion method and device

Also Published As

Publication number Publication date
US20210105403A1 (en) 2021-04-08
US20190253620A1 (en) 2019-08-15
CN106506941A (zh) 2017-03-15
US10904430B2 (en) 2021-01-26

Similar Documents

Publication Publication Date Title
WO2018072657A1 (zh) 图像处理的方法、处理图像的装置、多目摄像装置以及飞行器
CN108323190B (zh) 一种避障方法、装置和无人机
CN113794840B (zh) 一种视频处理方法、设备、无人机及系统
WO2020014909A1 (zh) 拍摄方法、装置和无人机
JP6785412B2 (ja) 無人航空機システム
WO2020172800A1 (zh) 可移动平台的巡检控制方法和可移动平台
WO2021031159A1 (zh) 比赛拍摄方法、电子设备、无人机与存储介质
WO2019061064A1 (zh) 图像处理方法和设备
JP7136079B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2019104641A1 (zh) 无人机、其控制方法以及记录介质
CN105208247A (zh) 一种基于四元数的全景稳像方法
WO2019227441A1 (zh) 可移动平台的拍摄控制方法和设备
WO2020019106A1 (zh) 云台和无人机控制方法、云台及无人机
WO2021217371A1 (zh) 可移动平台的控制方法和装置
CN110139038B (zh) 一种自主环绕拍摄方法、装置以及无人机
WO2020239094A1 (zh) 一种对焦方法、装置、航拍相机以及无人飞行器
CN110720210B (zh) 照明设备控制方法、设备、飞行器及系统
WO2020227998A1 (zh) 图像增稳控制方法、拍摄设备和可移动平台
WO2019023914A1 (zh) 一种图像处理方法、无人机、地面控制台及其图像处理系统
JP2021096865A (ja) 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
CN113906362A (zh) 测绘相机的控制方法、测绘相机、无人机以及测绘系统
WO2019205087A1 (zh) 图像增稳方法和装置
WO2017181930A1 (zh) 一种飞行方向显示方法、装置及其无人机
WO2019062173A1 (zh) 视频处理方法、设备、无人机及系统
WO2021207943A1 (zh) 基于多个摄像装置的投影显示方法、系统、终端及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17863198

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17863198

Country of ref document: EP

Kind code of ref document: A1