WO2023060569A1 - 一种拍摄控制方法、拍摄控制装置及可移动平台 - Google Patents

一种拍摄控制方法、拍摄控制装置及可移动平台 Download PDF

Info

Publication number
WO2023060569A1
WO2023060569A1 PCT/CN2021/124140 CN2021124140W WO2023060569A1 WO 2023060569 A1 WO2023060569 A1 WO 2023060569A1 CN 2021124140 W CN2021124140 W CN 2021124140W WO 2023060569 A1 WO2023060569 A1 WO 2023060569A1
Authority
WO
WIPO (PCT)
Prior art keywords
optical imaging
imaging device
depth
prominent
image
Prior art date
Application number
PCT/CN2021/124140
Other languages
English (en)
French (fr)
Inventor
熊策
徐彬
周游
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to PCT/CN2021/124140 priority Critical patent/WO2023060569A1/zh
Priority to CN202180100303.9A priority patent/CN117837153A/zh
Publication of WO2023060569A1 publication Critical patent/WO2023060569A1/zh

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

公开了一种拍摄控制方法、装置以及可移动平台,该方法包括:获取深度传感器在光学成像装置的拍摄区域采集的深度;根据深度在所述拍摄区域内确定突出物体,其中,所述周围的物体是所述光学成像装置拍摄的图像中位于突出物体的图像区域周围的图像区域对应的物体,或者所述周围的物体是所述深度图中位于突出物体的深度图区域周围的深度图区域对应的物体;从突出物体中确定第一目标物体;根据第一目标物体的深度控制光学成像装置进行对焦。通过这种方式,在拍摄区域内确定可能会关注的突出物体,并在突出物体中迅速确定用于对焦的第一目标物体,使用户可快速地对感兴趣的物体进行快捷的对焦,丰富了对焦方式。

Description

一种拍摄控制方法、拍摄控制装置及可移动平台 技术领域
本申请实施例涉及控制领域,尤其涉及一种拍摄控制方法、拍摄控制装置及可移动平台。
背景技术
目前,在利用光学成像装置进行拍摄时,为了方便用户选择拍摄画面中的需要对焦的目标,会对光学成像装置采集到的图像进行图像识别,识别出图像中特定类型的目标(例如人)。在某些模式中,在光学成像装置的预览画面上显示识别出的目标的对焦框,用户可以通过选择对焦框来选中拍摄画面中需要对焦的目标。在某些模式中,光学拍摄装置会自动对焦到识别到的特定类型的目标。以上的对焦方式默认用户会对特定类型的目标(例如人)感兴趣,然而,这种设想在某些情况中可能并不符合用户的拍摄意愿,用户感兴趣的目标可能不是特定类型的目标,这种对焦方式可能不能帮助用户快速地选中需要对焦的目标。
发明内容
针对现有技术中的上述缺陷,本申请实施例提供一种拍摄控制方法、拍摄控制装置及可移动平台以丰富光学拍摄装置的对焦方式。
本申请实施例第一方面提供一种拍摄控制方法,包括以下步骤:
获取深度传感器在光学成像装置的拍摄区域采集的深度图;
根据所述深度图在所述拍摄区域内确定突出物体,其中,所述突出物体相对于其周围的物体靠近光学成像装置,所述周围的物体是所述光学成像装置拍摄的图像中位于突出物体的图像区域周围的图像区域对应的物体,或者所述周围的物体是所述深度图中位于突出物体的深度图区域周围的深度图区域对应的物体。
从所述突出物体中确定第一目标物体;
根据所述第一目标物体的深度控制所述光学成像装置进行对焦。
本申请实施例第二方面提供一种拍摄控制装置,所述拍摄控制装置包括:存储器和处理器,
所述存储器,用于存储程序指令;
所述处理器,用于调用并执行所述程序指令,以执行以下步骤:
获取深度传感器在光学成像装置的拍摄区域采集的深度图;
根据所述深度图在所述拍摄区域内确定突出物体,其中,所述突出物体相对于其周围的物体靠近光学成像装置,所述周围的物体是所述光学成像装置拍摄的图像中位于突出物体的图像区域周围的图像区域对应的物体;
从所述突出物体中确定第一目标物体;
根据所述第一目标物体的深度控制所述光学成像装置进行对焦。
本申请实施例第三方面提供一种可移动平台,包括光学成像装置、深度传感器和如第二方面所述的拍摄控制装置。
本申请实施例第四方面提供一种拍摄控制方法,所述方法包括:
获取深度传感器在光学成像装置的拍摄区域采集的深度图;
根据所述深度图从所述拍摄区域中确定第一目标物体,其中,所述第一目标物体是所述拍摄区域内的突出物体中在所述光学成像装置拍摄的图像中尺寸最大的物体,和/或所述第一目标物体是所述突出物体中在所述图像中的位置与所述图像中的第一预设位置之间的距离最小的物体,所述突出物体相对于其周围的物体靠近光学成像装置,所述周围的物体是所述光学成像装置拍摄的图像中位于突出物体的图像区域周围的图像区域对应的物体,或者,所述周围的物体是所述深度图中位于突出物体的深度图区域周围的深度图区域对应的物体;
根据所述第一目标物体的深度控制所述光学成像装置进行对焦。
本申请实施例第五方面提供一种拍摄控制装置,所述拍摄控制装置包括:存储器和处理器,
所述存储器,用于存储程序指令;
所述处理器,用于调用并执行所述程序指令,以执行以下步骤:
获取深度传感器在光学成像装置的拍摄区域采集的深度图;
根据所述深度图从所述拍摄区域中确定第一目标物体,其中,所述第一目标物体是所述拍摄区域内的突出物体中在所述光学成像装置拍摄的图像中尺寸最大的物体;和/或所述第一目标物体是所述突出物体中在所述图像中的位置与所述图像中的第一预设位置之间的距离最小的物体,所述周围的物体是所述光学成像装置拍摄的图像中位于突出物体的图像区域周围的图像区域对应的物体,或者,所述周围的物体是所述深度图中位于突出物体的深度图区域周围的深度图区域对应的物体;
根据所述第一目标物体的深度控制所述光学成像装置进行对焦。
本申请实施例第六方面提供一种可移动平台,包括光学成像装置、深度传感器和如第五方面所述的拍摄控制装置。
本申请提供的一种拍摄控制方法、拍摄控制装置及可移动平台,通过深度传感器在光学 成像装置的拍摄区域采集的深度图确定出在拍摄区域中的突出物体,其中并在突出物体中选择第一目标物体,并根据选择的第一目标物体的深度控制光学成像装置进行对焦。在某些拍摄场景中,用户可能比较感兴趣的是拍摄区域中的突出物体,通过这种方式可以将拍摄区域中的突出物体确定出来,并可以从突出物体中选中第一目标物体用于对焦,这样提供了一种新的对焦方式,从而丰富了光学拍摄装置的对焦方式。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请拍摄控制方法一实施例的流程图
图2a-2d是本申请一实施例的光学成像装置拍摄的图像在显示装置显示效果图
图3是本申请拍摄控制装置一实施例的结构示意图
图4是本申请拍摄控制方法一实施例的流程图
图5a-5d是本申请一实施例的光学成像装置拍摄的图像在显示装置显示效果图拍摄控制方法另一实施例的流程图
图6是本申请拍摄控制装置一实施例的结构示意图
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
目前,在利用光学成像装置进行拍摄时,为了方便用户选择拍摄画面中的需要对焦的目标,会对光学成像装置采集到的图像进行图像识别,识别出图像中特定类型的目标(例如人)。在某些模式中,在光学成像装置的预览画面上显示识别出的目标的对焦框,用户可以通过选择对焦框来选中拍摄画面中需要对焦的目标。在某些模式中,光学拍摄装置会自动对焦到识 别到的特定类型的目标。以上的对焦方式默认用户会对特定类型的目标(例如人)感兴趣,然而,这种设想在某些情况中可能并不符合用户的拍摄意愿,用户感兴趣的目标可能不是特定类型的目标。例如,在某些情况中,用户感兴趣的是光学拍摄装置的拍摄区域中的一些突出物体,这些突出物体相对于其周围的物体更加靠近光学拍摄装置,例如,在一面建筑墙的面前有一辆车、一个人和一个盆栽,在这种情况中,用户感兴趣的可能是建筑墙面前的车、人和盆栽。但是按照现有的对焦方式,可能只会认为用户对特定类型的对象感兴趣,例如人感兴趣。由此可见,当前的对焦方式不能满足用户这种对突出物体感兴趣的对焦需求。
本申请实施例为解决上述特定技术问题,提供一种拍摄控制方法、拍摄控制装置及可移动平台,能够帮助用户快速地对光学拍摄装置的拍摄区域中感兴趣的突出物体进行对焦,丰富了光学拍摄装置的对焦方式。
参见图1,图1是本申请拍摄控制方法一实施例的流程图,该方法包括以下步骤:
S101:获取深度传感器在光学成像装置的拍摄区域采集的深度图。
具体地,所述方法的执行主体可以是一种拍摄控制装置。在某些情况中,所述拍摄控制装置可以是独立于所述深度传感器和所述成像装置的一个装置。在某些情况中,所述拍摄控制装置可以是光学成像装置中的装置,即所述光学成像装置包括所述拍摄控制装置。
光学成像装置可以是任何能够采集其拍摄区域的光学图像(静态图像和/或者视频)的装置,例如,所述光学成像装置可以是各种类型的相机装置。在某些实施例中,所述光学成像装置可以承载在可移动平台上,在某些实施例中,所述可移动平台可以包括所述光学成像装置。所述可移动平台可以是通过自身配置的动力系统或者通过外力能够移动的装置。所述拍摄控制装置可以是可移动平台中的装置,即所述可移动平台包括所述拍摄控制装置,这样所述方法可以由可移动平台来执行。在某些情况中,所述可移动平台包括云台,所述光学成像装置可以通过所述云台承载到所述可移动平台上。在某些情况中,所述可移动平台可以包括无人机、无人车等无人机控制平台。在某些情况中,所述可移动平台可以为手持式设备或者为穿戴式设备(例如智能眼镜、智能手环等)或者手持式设备(例如智能手机等智能手持终端、云台等)。
深度传感器可以对其观测区域进行深度测量并获取观测区域的深度,所述深度传感器可以包括3D-TOF传感器、双目传感器和雷达(例如毫米波雷达或激光雷达等)等其中的一种或多种。所述深度传感器可以输出深度图,所述深度图中包括所述观测区域的深度,即包括所述观测区域中物体的空间位置点的深度。在某些实施例中,所述深度传感器可以承载在可移动平台上,在某些实施例中,所述可移动平台可以包括所述光学成像装置。在某些情况中,所述深度传感器可以与所述光学成像装置可以相对固定安装。例如,所述深度传感器可以固 定安装在所述光学成像装置上,进一步地,所述深度传感器可以安装到所述光学成像装置的热靴上。在某些情况中,所述深度传感器与光学拍摄装置可以收容在同一个壳体中。在某些情况中,所述光学成像装置承载在云台的承载座上,所述深度传感器可以安装在所述承载座上。在某些情况中,所述深度传感器可以与所述光学成像装置活动安装。
所述深度传感器的观测区域与所述光学成像装置的拍摄区域至少部分地重合,在某些实施例中,所述观测区域包括全部的拍摄区域,在某些实施例中,所述观测区域包括部分的拍摄区域,则所述深度传感器采集到的深度图至少包括深度传感器在部分的拍摄区域中采集的深度图。在某些情况中,所述深度传感器采集到的深度图包括全部的拍摄区域的深度图,所述深度传感器采集到的深度图包括部分的拍摄区域的深度图。可以理解的是,所述观测区域与所述拍摄区域之间的关系与所述深度传感器与所述成像装置之间的安装关系相关。在某些情况中,可以根据所述安装关系从所述深度传感器采集到的深度图中获取光学成像装置的拍摄区域的深度图。所述深度传感器可以采集拍摄区域的深度图,即所述深度传感器可以采集所述全部的或者部分的拍摄区域的深度图,通过所述深度图可以得到全部的或者部分的拍摄区域中每一个物体的深度。所述拍摄控制装置可以与所述深度传感器通信连接。所述拍摄控制装置可以获取所述深度传感器在光学成像装置的拍摄区域采集的深度图。
S103:根据深度图在所述拍摄区域内确定突出物体,其中,突出物体相对于其周围的物体靠近光学成像装置,所述周围的物体是所述光学成像装置拍摄的图像中位于突出物体的图像区域周围的图像区域对应的物体,或者,所述周围的物体是所述深度图中位于突出物体的深度图区域周围的深度图区域对应的物体。
通常情况下,在拍摄场景中,用户往往关注或者对一些突出物体感兴趣,可能希望光学成像装置对焦在突出物体中的目标物体,所述突出物体相对于该突出物体周围的物体更加靠近光学成像装置。例如,参见图2a,光学成像装置的拍摄区域200内有一个建筑物201和位于建筑物201前且在不同位置的人203、车205和盆栽207,用户往往关心的是人203、车205和盆栽207,人203、车205和盆栽207可以被认为是突出物体,建筑物可以被认为是人203、车205和盆栽207周围的物体,人203、车205和盆栽207相对于建筑物201更加靠近光学成像装置。以光学成像装置拍摄的图像为例来对突出物体来进行说明,在光学成像装置拍摄的图像中,位于人203、车205和盆栽207的图像区域周围的图像区域是人203、车205和盆栽207背后的建筑物201的图像区域,所述建筑物201的图像区域对应的建筑物201即为所述人203、车205和盆栽207周围的物体,所述人203、车205和盆栽207相对于所述建筑物201更加靠近所述光学成像装置。以深度传感器在光学成像装置的拍摄区域采集的深度图来对突出物体来进行说明,,拍摄区域内的一个建筑物和位于建筑物前且在不同位置的深度传感 器在光学成像装置的拍摄区域采集的深度图也位于深度传感器的观测区域,在深度传感器在所述拍摄区域采集的深度图中,位于人的深度图区域周围的深度图区域是深度传感器在光学成像装置的拍摄区域采集的深度图背后的建筑物的深度图区域,所述建筑物的深度图区域对应的建筑物即为所述人周围的物体。所述拍摄区域的深度可以反映拍摄区域中物体的轮廓信息和空间点的深度,所述拍摄控制装置可以根据所述拍摄区域的深度确定所述拍摄区域内的突出物体,其中,所述突出物体的数量可以为一个或者多个。
S105:从突出物体中确定第一目标物体。
具体地,在确定出所述拍摄区域中的突出物体之后,可以从突出物体中确定一个需要光学成像装置对焦的第一目标物体。其中,所述拍摄控制装置可以按照预设的规则自动地或者响应用户的选择操作从所述突出物体中确定第一目标物体。在某些实施例中,所述预设的规则可以是由用户指定的。所述预设的规则与所述突出物体与光学成像装置之间的距离、所述突出物体在光学成像装置拍摄的图像中的尺寸、所述突出物体在所述图像中的位置与所述图像中的第一预设位置之间的距离中的一个或多个相关联。例如,用户可以指定所述预设的规则为第一目标对象为突出物体中在光学成像装置拍摄的图像中的尺寸最大的物体。例如,如图2a所示,在拍摄区域200中的突出物体人203、车205、盆栽207中,车205的尺寸最大,因此车205可被确定为第一目标对象。其中,所述突出物体中在光学成像装置拍摄的图像中的尺寸可以以突出物体对应的图像区域的像素个数来计算。在某些实施例中,所述拍摄控制装置可以响应用户的目标物体选择操作从所述突出物体中确定第一目标物体。
S107:根据第一目标物体的深度控制光学成像装置进行对焦。
具体地,在确定所述第一目标物体之后,可以根据所述第一目标物体的深度来控制所述光学成像装置,这样,所述光学成像装置即可以对焦到所述第一目标物体上。进一步地,所述根据第一目标物体的深度控制光学成像装置进行对焦,包括:根据第一目标物体的深度确定所述第一目标物体与所述光学成像装置之间的距离,根据所述距离控制光学成像装置对焦。可以理解的是,所述第一目标物体的深度是从所述深度传感器采集到的深度图中获取的。在某些实施例中,例如,在深度传感器安装在光学成像装置的热靴上时,可以将所述第一目标物体的深度确定为所述第一目标物体与所述光学成像装置之间的距离。由于第一目标物体的深度表征的是第一目标物体与所述深度传感器之间的距离,为了准确地计算所述第一目标物体与所述光学成像装置之间的距离,在某些实施例中,可以根据所述第一目标物体的深度和所述深度传感器与所述光学成像装置之间的安装位置关系确定所述第一目标物体与所述光学成像装置之间的距离。
在某些拍摄场景中,用户可能比较感兴趣的是拍摄区域中的突出物体,通过这种方式可 以将拍摄区域中的突出物体确定出来,并可以从突出物体中选中第一目标物体用于对焦,这样提供了一种新的对焦方式,从而丰富了光学拍摄装置的对焦方式。
在一些实施例中,获取深度传感器在光学成像装置的拍摄区域采集的深度图包括:获取深度传感器在其感测区域采集到的深度图;根据所述深度传感器和所述光学成像装置之间的安装关系从所述深度图中确定所述深度传感器在光学成像装置的拍摄区域采集的深度图。
具体地,如前所述感测区域至少包括部分的拍摄区域,则所述深度传感器在感测区域采集到的深度图包括在拍摄区域采集到的深度图。由于所述深度传感器的感测区域和所述光学成像装置的拍摄区域之间的重合关系是由所述深度传感器和所述光学成像装置之间的安装关系相相关联的,因此,可以根据所述安装关系从所述深度传感器在所述感测区域采集的深度图中确定所述深度传感器在光学成像装置的拍摄区域采集的深度图。进一步地,可以获取所述深度传感器和所述光学成像装置的FOV,根据所述安装关系和所述深度传感器和所述光学成像装置的FOV从所述深度传感器在所述感测区域采集的深度图中确定所述深度传感器在光学成像装置的拍摄区域采集的深度图。其中,所述安装关系包括所述深度传感器与所述光学成像装置之间的相对平移位置和安装角度中的至少一种。在某些情况中,如前所述,所述深度传感器与所述光学成像装置可以是固定安装的,则深度传感器和光学成像装置之间的安装关系是固定不变的,所述安装关系可以是预先标定好的。在某些情况中,所述深度传感器和所述光学成像装置是活动安装的,例如,所述光学成像装置承载在云台上,所述光学成像装置与所述深度传感器之间的安装关系可以根据姿态传感器采集到的所述云台的姿态实时地确定。
在一些实施例中,所述根据所述深度图在所述拍摄区域内确定突出物体,包括:根据所述深度图确定所述拍摄区域中物体与所述光学成像装置之间的距离;根据所述物体与所述光学成像装置之间的距离确定突出物体。
具体地,所述深度传感器在所述拍摄区域采集到的深度图中的深度表征的是拍摄区域内的物体与所述深度传感器之间的距离,拍摄控制装置可以根据所述深度传感器与所述光学成像装置之间的安装关系和深度图确定所述拍摄区域中物体与所述光学成像装置之间的距离,即可以得到光学成像装置对应的深度图,所述光学成像装置对应的深度图中的深度表征所述拍摄区域中物体与所述光学成像装置之间的距离。进一步地,所述拍摄控制装置对所述光学成像装置对应的深度图进行分割处理以获取所述深度图中的联通区域,针对每一个连通区域,将该联通区域的深度(即联通区域对应的物体与光学成像装置之间的距离)和其周围的联通区域的深度(即其周围的联通区域对应的物体与光学成像装置之间的距离)进行比较,若该连通区域对应的物体与光学成像装置之间的距离小于其周围的连通区域对应的物体与光学成 像装置之间的距离,则可以确定该联通区域对应的物体是突出物体,该联通区域周围的联通区域对应的物体即是所述光学成像装置拍摄的图像中位于突出物体的图像区域周围的图像区域对应的物体,即是所述突出物体周围的物体。进一步地,该联通区域的周围的连通区域对应的物体与光学成像装置之间的距离与该连通区域对应的物体与光学成像装置之间的距离之差大于或等于预设距离阈值(可以为第一预设距离阈值)时,确定该联通区域对应的物体是突出物体,该联通区域周围的联通区域对应的物体即是所述光学成像装置拍摄的图像中位于突出物体的图像区域周围的图像区域对应的物体,即是所述突出物体周围的物体。这样,所述突出物体周围的物体与所述光学成像装置之间的距离和所述突出物体与所述光学成像装置之间的距离之差大于或等于预设距离阈值。
在一些实施例中,所述突出物体周围的物体的深度与所述突出物体的深度之差大于或等于预设深度阈值。
具体地,如前所述,所述深度传感器在所述拍摄区域采集到的深度图中的深度表征的是拍摄区域内的物体与所述深度传感器之间的距离。在某些情况中,所述拍摄区域内的物体与光学成像装置之间的距离与所述拍摄区域内的物体与光学成像装置之间的距离大致相同,或者所述拍摄区域内的物体与光学成像装置之间的距离与所述拍摄区域内的物体与光学成像装置之间的距离变化关系是相同的,即所述深度可以表征物体与光学成像装置之间的距离。在这些情况中,所述拍摄控制装置对所述深度传感器在所述拍摄区域采集到的深度图进行分割处理以获取所述深度图中的联通区域,针对每一个连通区域,将该联通区域的深度(即联通区域对应的物体与深度传感器之间的距离)和其周围的联通区域的深度(即其周围的联通区域对应的物体与深度传感器之间的距离)进行比较,若该连通区域的深度小于其周围的连通区域的深度,则可以确定该联通区域应的物体是突出物体,则该联通区域为突出物体的深度图区域,该联通区域周围的联通区域对应的物体即是所述深度图中位于突出物体的深度图区域周围的图像区域对应的物体,即是所述突出物体周围的物体。
进一步地,所述周围的联通区域深度与该连通区域的深度之差大于或等于预设深度阈值时,确定该联通区域对应的物体是突出物体,该联通区域周围的联通区域对应的物体即是所述深度图中位于突出物体的深度图区域周围的深度图区域对应的物体,即是所述突出物体周围的物体。这样,所述突出物体周围的物体的深度与所述突出物体的深度之差大于或等于预设深度阈值。
在某些实施例中,根据所述深度图在所述拍摄区域内确定突出物体,包括:根据所述深度图在所述拍摄区域内确定候选物体,所述候选物体相对于其周围的物体靠近所述光学成像装置,所述周围的物体是所述光学成像装置拍摄的图像中位于候选物体的图像区域周围的图 像区域对应的物体,或者所述周围的物体是所述深度图中位于突出物体的深度图区域周围的深度图区域对应的物体;确定每一个候选物体在所述光学成像装置拍摄的图像中的尺寸,将所述尺寸大于或等于第一尺寸阈值的候选物体确定为突出物体;或者确定每一个候选物体在所述深度传感器采集的深度图中的尺寸,将所述尺寸大于或等于第二尺寸阈值的候选物体确定为突出物体。
具体地,由于深度传感器在拍摄区域中采集到的深度图中可能会存在一些噪点,这些噪点可能会被误认为是存在有物体,而这些被误认为存在的物体如果只按照如前所述的方法可能会被确定为突出物体,这些被误认为存在的物体一般尺寸是比较小的。或者,在某些情况中,拍摄区域中可能存在一些尺寸很小的突出物体,但是这一类物体可能不是用户关心的物体。在实际拍摄过程中,用户一般关心光学成像装置拍摄的图像中尺寸比较大的图像区域对应的物体,这些图像中尺寸比较大的图像区域对应的物体在深度传感器在拍摄区域中采集到的深度图中的深度图区域的尺寸比较大,可以理解的是,在光学成像装置拍摄的图像中尺寸比较大的图像区域对应的物体在深度图中尺寸也比较大。因此,拍摄控制装置可以根据所述深度图在所述拍摄区域内确定候选物体,所述候选物体相对于其周围的物体靠近所述光学成像装置,所述周围的物体是所述光学成像装置拍摄的图像中位于突出物体的图像区域周围的图像区域对应的物体,或者所述周围的物体是所述深度图中位于突出物体的深度图区域周围的深度图区域对应的物体。进一步地,拍摄控制装置可以确定每一个候选物体在所述光学成像装置拍摄的图像中的尺寸,将所述尺寸大于或等于第一尺寸阈值的候选物体确定为突出物体;或者确定每一个候选物体在所述深度传感器采集的深度图中的尺寸,将所述尺寸大于或等于第二尺寸阈值的候选物体确定为突出物体。这样可以更加准确地确定用户可能感兴趣的突出物体。如图2a所示,在拍摄区域200中,人203、车205、盆栽207、鸟209及鸟211相对于其周围的物体靠近所述光学成像装置而被确定为候选物体,但是鸟209及鸟211在图像200中的尺寸小于一个预设尺寸而不能被确定为突出物体,因而候选物体中只有人203、车205及盆栽207被确定为突出物体。
在一些实施例中,从所述物体中确定第一目标物体,包括:确定每一个突出物体的优先级;将优先级最高的突出物体确定为第一目标物体。
进一步地,在拍摄过程中可能会有多个突出物体,而光学成像装置可以选中一个突出物体的深度进行对焦。例如:在确定突出物体后,拍摄控制装置获取突出物体的特征信息),再根据突出物体的特征信息确定突出物体的优先级,然后将优先级最高的突出物体确定为第一目标物体,最后控制光学成像装置根据第一目标物体的深度进行对焦拍摄。其中,所述特征信息可以包括所述突出物体在所述图像中的尺寸、所述突出物体在所述深度图中的尺寸、所 述突出物体的深度、所述突出物体在所述图像中的位置与所述图像中的第一预设位置(例如所述图像的中心)之间的距离和所述突出物体与所述光学成像装置之间的距离等中的一个或多个。在某些情况中,所述特征信息是由用户指定的,例如特征信息可以是由用户指定的所述突出物体在所述图像中的尺寸和所述突出物体在所述图像中的位置与所述图像中的第一预设位置(例如所述图像的中心)之间的距离。可以理解的是,所述突出物体在所述图像中的尺寸与所述突出物体的优先级正相关,所述突出物体在所述深度图中的尺寸与所述突出物体的优先级正相关,所述突出物体的深度与所述突出物体的优先级负相关,所述突出物体在所述图像中的位置与所述图像中的第一预设位置(例如所述图像的中心)之间的距离与所述突出物体的优先级负相关,所述突出物体与所述光学成像装置之间的距离与所述突出物体的优先级负相关。其中,所述突出物体中在深度图中的尺寸可以以突出物体对应的深度图区域的像素个数来计算,所述突出物体中在图像中的尺寸可以以突出物体对应的图像区域的像素个数来计算。
在一些实施例中,所述拍摄控制方法还包括:控制显示装置显示光学成像装置拍摄的图像;控制显示装置显示第一目标物体的标识,其中,标识用于指示第一目标物体在图像中的位置。具体地,所述拍摄控制装置可以控制显示装置显示光学成像装置拍摄的图像,另外,可以控制显示装置显示用于指示第一目标物体在图像中的位置的标识(例如对焦框),这样,用户即可以通过显示装置知道光学成像装置当前对焦的是拍摄区域中的哪个物体。其中,第一目标物体是突出物体中的物体,每一个突出物体在所述图像中的位置确定具体解释清参见后述部分,在此先不赘述。
在一些实施例中,确定每一个突出物体的优先级,可包括:根据突出物体在光学成像装置拍摄的图像中的尺寸确定每一个突出物体的优先级。例如:拍摄控制装置可控制显示设备显示所述拍摄的图像,在所述拍摄的图像中确定每一个突出物体在拍摄的图像中的尺寸,其中,尺寸与优先级正相关,即尺寸越大、优先级越高,如图2a所示,图像200中,汽车205在突出物体中的尺寸最大,因而可在突出物体中具有最高的优先级,而被确定为第一目标物体(被框出)。
在一些实施例中,可根据每个突出物体在图像中的位置与图像中的第一预设位置(例如:图像的中心)之间的距离确定每一个突出物体的优先级。例如:拍摄控制装置可控制显示设备显示拍摄的图像,在拍摄的图像中确定每一个突出物体与图像中第一预设位置之间的距离,其中所述距离与优先级负相关,即,距离越小,优先级越高如图2b所示,在图像200中,人203相对于其他突出物体与图像中心之间的距离最短,因而人213可在突出物体中具有最高的优先级,而被确定为第一目标物体(被框出)。
在一些实施例中,确定每一个突出物体的优先级,可包括:根据突出物体在光学成像装置拍摄的图像中的尺寸及每个突出物体在图像中的位置与图像中的第一预设位置之间的距离确定每一个突出物体的优先级。例如:拍摄控制装置可以控制显示设备显示拍摄的图像,在拍摄的图像中确定每一个突出物体与图像中第一预设位置之间的距离和每一个突出物体在拍摄的图像中的尺寸确定每一个突出物体的优先级,所述突出物体在所述图像中的尺寸与所述突出物体的优先级正相关,所述突出物体在所述深度图中的尺寸与所述突出物体的优先级正相关,所述突出物体在所述图像中的位置与所述图像中的第一预设位置之间的距离与所述突出物体的优先级负相关。例如可以对所述距离及尺寸进行加权计算以获取得分,例如:得分=突出物体在拍摄的图像中的面积*α+突出物体在图像中的位置与图像中的第一预设位置之间的距离*(1-α),其中,α为常数;并通过得分来确定优先级,可以是得分与优先级正相关,即得分越高,优先级越高。在确定完最高优先级的突出物体后,将该优先级最高的突出物体确定为第一目标物体。
在一些实施例中,若第一目标物体离开光学成像装置的拍摄区域时,则根据深度传感器在光学成像装置的拍摄区域采集的深度图在拍摄区域内确定突出物体;确定每一个突出物体的优先级;将优先级最高的突出物体确定为第二目标物体;根据第二目标物体的深度控制光学成像装置进行对焦。
具体地,由于第一目标物体的移动和/或光学成像装置的移动,第一目标物体可能离开当前光学拍摄装置的拍摄区域,这样,第一目标物体会离开光学成像装置的拍摄的图像,拍摄控制装置可以确定所述拍摄区域中的下一个需要对焦的物体。深度传感器可以持续地在拍摄区域内采集深度图,所述拍摄控制装置可以根据采集到的深度图确定当前光学成像装置的拍摄区域中优先级最高的突出物体作为新的目标物体,即需要对焦的第二目标物体。所述拍摄控制装置可以获取深度传感器在当前光学成像装置的拍摄区域的深度图,并根据深度图在所述当前的拍摄区域内确定突出物体;确定每一个突出物体的优先级,将优先级最高的突出物体确定为第二目标物体。其中,根据深度图确定第二目标物体的方案可以与前述部分中的根据所述深度图确定第一目标物体相同。这样做可以在第一目标物体离开光学成像装置的拍摄区域的情况下,可以再次地为用户选中一个目标物体作为光学成像装置的对焦目标。例如:参见图2b-2c,如图2b所示,在图像200中,人203在突出物体中距离图像中心最近而被确定为第一目标物体;如图2c所示,当人203走出拍摄画面的范围时,为使拍摄继续,需要在拍摄画面中再确定一个目标物体进行对焦,以维持拍摄。在图像200中,根据前述确定突出物体的方式重新确定突出物体:车205、盆栽207,在重新确定的突出物体中盆栽207在图像200距离图像中心最近,具有最高的优先级,从而被确定为第二目标物体(被框出)。
在一些实施例中,拍摄控制方法还包括:控制显示装置显示光学成像装置拍摄的图像;控制显示装置显示突出物体的标识,其中,标识用于指示突出物体在图像中的位置。
具体地,标识用于在光学成像装置拍摄的图像中标记出突出物体的位置,进一步地,所述拍摄装装置确定突出物体后,控制显示装置显示的在拍摄区域拍摄的图像和指示突出物体在所述图像中的位置的标识(如文字、符号、图形等),例如,在图像中采用对焦框(例如:可以是圆形、矩形等形状)框出突出物体,这样用户就可以通过观察显示装置知道当前光学成像装置的拍摄区域内的有哪些突出物体。
进一步地,从所述突出物体中确定第一目标物体,包括:检测用户的目标物体选择操作;根据所检测到的操作从所述突出物体中确定第一目标物体。例如:显示装置可以是触摸显示屏,用户可在触摸显示屏上进行选择操作,以选择需要对焦的突出物体,拍摄控制装置根据检测到用户的在显示装置上的选择操作,将用户所选择的突出物体确定为第一目标物体,并根据第一目标物体的深度,控制光学成像装置进行对焦,例如,如图2d所示,当确定人203、车205、盆栽221为突出物体时,上述突出物体分别被对焦框217、219、221标识出;用户可通过点击对焦框219内的图像区域,对焦框219内的突出物体盆栽207则会被选为第一目标物体,使光学成像装置根据第一目标物体盆栽207的深度进行对焦;通过点击对焦框217内的图像区域,对焦框217内的突出物体车205则会被选为第一目标物体,使光学成像装置根据第一目标物体车205的深度进行对焦;通过点击对焦框215内的图像区域,对焦框215内的突出物体人203则会被选为第一目标物体,使光学成像装置根据第一目标物体人203的深度进行对焦。
在一些实施例中,在控制显示装置显示突出物体的标识之前,还包括:根据突出物体在所述深度图中的位置和光学成像装置与深度传感器之间的安装关系确定突出物体在图像中的位置。
具体地,由于所述突出物体是根据深度传感器采集到的深度图确定的,突出物体在深度图中的位置是可以获取得到的。为了方便用户在显示装置上观测当前拍摄的图像中哪些物体是突出物体确定所述突出物体在拍摄的图像中的位置。拍摄控制装置可以获取所述突出物体在所述深度图中的位置和深度传感器与所述光学成像装置之间的所述安装关系,并根据所述突出物体在所述深度图中的位置和所述安装关系将所述突出物体投影到所述光学成像装置的成像区域以确定突出物体在图像中的位置。这样可以根据所述确定的突出物体在所述图像中的位置控制所述显示装置显示所述突出物体的标识。
在一些实施例中,拍摄控制方法还包括:若第一目标物体离开光学成像装置拍摄区域时,则根据深度在拍摄区域内重新确定突出物体,控制所述显示装置显示所述重新确定的突出物 体的标识,发送提示信息,以提示用户再次进行目标物体选择操作,其中,所述标识用于指示所述突出物体在所述图像中的位置;根据检测到的目标物体选择操作,从重新确定的突出物体中确定第二目标物体;控制光学成像装置对第二目标物体进行对焦。
具体地,如前所述,第一目标物体可能离开当前光学拍摄装置的拍摄区域导致第一目标物体不在光学成像装置的拍摄的图像中,用户可以通过拍摄控制装置来确定当前可见光成像装置的拍摄区域中的下一个需要对焦的物体。当拍摄控制装置确定所述第一目标物体离开拍摄区域时,拍摄控制装置可以获取深度传感器在拍摄区域内重新采集物体的深度图,并根据所述深度图在拍摄区域内重新确定突出物体,并控制显示装置用于指示重新确定的突出物体在当前拍摄的图像中的位置,进一步地,拍摄控制装置可以发送提示信息,以提示用户再次进行目标物体选择操作;根据检测到的目标物体选择操作,从重新确定的突出物体中确定第二目标物体;控制光学成像装置对第二目标物体进行对焦。可以理解的是,发送提示信息可以通过多种方式来实现,例如,所述拍摄控制装置可以控制语音组件发出声音信号或者在显示装置上显示提示信息,以告知用户第一目标物体已离开拍摄的图像,并提示用户选择当前图像中的另一个突出物体根据拍摄区域内物体的深度,在拍摄区域内再次确定突出物体;根据检测到的用户目标物体选择操作(例如:用户点击某个突出物体对应的对焦框以内的部分),将用户选择的突出物体确定为第二目标物体;根据第二目标物体的深度,控制光学成像装置进行对焦。在某些实施例中,根据所述深度图在所述拍摄区域内确定突出物体,包括:根据所述深度图在所述拍摄区域内确定候选物体,所述候选物体相对于其周围的物体靠近所述光学成像装置,所述周围的物体是所述光学成像装置拍摄的图像中位于候选物体的图像区域周围的图像区域对应的物体,或者,所述周围的物体是所述深度图中位于候选物体的深度图区域周围的深度图区域对应的物体;确定每一个候选物体的优先级,将预设数量的优先级最高的候选物体确定为突出物体。
在一些实施例中,可以根据如前所述的方式确定每一个候选物体的优先级,并将预设数量的优先级最高的候选物体确定为突出物体,例如将3个的优先级最高的候选物体确定为突出物体。
在一些实施例中,所述拍摄控制装置可以确定所述第一目标物体是否离开所述光学成像装置的拍摄区域。具体地,确定所述第一目标物体是否离开所述光学成像装置的拍摄区域的方式可以有多种实现方式:
一种可能的实现方式:根据所述第一目标物体在深度传感器采集到的深度图中的位置和所述深度传感器与光学成像装置之间的安装关系确定所述第一目标物体是否离开所述光学成像装置的拍摄区域。根据所述第一目标物体在深度传感器采集到的深度图中的位置和所述深 度传感器与光学成像装置之间的安装关系将所述第一目标物体投影至光学成像装置的成像平面,若所述投影至所述成像平面的第一目标物体的位置在所述光学成像装置的成像区域之外时,确定所述第一目标物体离开所述光学成像装置的拍摄区域,否则,确定所述第一目标物体位于所述光学成像装置的拍摄区域中。
另一种可能的实现方式:针对所述拍摄的图像执行图像跟踪算法以确定所述图像中是否存在所述第一目标物体的图像区域,若不存在所述第一目标物体的图像区域,则确定所述第一目标物体离开所述光学成像装置的拍摄区域,否则,确定所述第一目标物体位于所述光学成像装置的拍摄区域中。在历史时刻中,第一目标物体在光学成像装置拍摄的图像中,拍摄控制装置在获取到光学成像装置当前拍摄的图像,可以针对所述当前的图像运行图像跟踪算法以当前的图像中寻找与历史时刻的图像中第一目标物体的图像区域匹配的图像区域,若不存在匹配的第一目标物体的图像区域,则确定所述第一目标物体离开所述光学成像装置的拍摄区域,否则,确定所述第一目标物体位于所述光学成像装置的拍摄区域中。
在一些实施例中,拍摄控制方法还包括:控制光学成像装置的镜头朝向,以将第一目标物体在光学成像装置拍摄的图像中的位置调整至图像中的第二预设位置。
具体地,为实现构图,往往需要将目标物体置于拍摄的图像中的某些特定位置,以达到更好的拍摄效果。在确定第一目标物体在光学成像装置拍摄的图像中的位置后,可以根据所述位置来控制光学成像装置所在的可移动平台(例如:云台)可通过改变可移动平台的姿态从而改变光学成像装置的镜头朝向,将第一目标物体在拍摄图像中的位置从初始位置调整至第二预设位置(例如:拍摄的图像的中心等)。第二预设位置与前述第一预设位置可以是相同的位置,也可以是不同的位置。具体地,可移动平台可以通过调整可移动平台机身的姿态,或者调整可移动平台(例如如前所述的云台)上与光学成像装置连接的活动部件的姿态,来调整光学成像装置进行上下左右转动和/或上下左右前后平移或者转动,从而来改变光学成像装置的拍摄姿态来控制光学成像装置的镜头朝向,以将第一目标物体在光学成像装置拍摄的图像中的位置调整至图像中的第二预设位置。
一种可能的实现方式,所述可移动平台可以为云台,所述拍摄控制装置根据第一目标物体与光学成像装置之间的距离,以及所述光学成像装置的当前姿态得到所述第一目标物体在图像中的第二预设位置时所述光学成像装置的目标姿态,然后根据所述光学成像装置的当前姿态及目标姿态,得到所述可移动平台的目标姿态,再根据所述可移动平台的目标姿态向可移动平台发送控制指令,以控制所述可移动平台上各轴的电机转动至可移动平台的目标姿态,从而将所述光学成像装置的姿态调整至光学成像装置的目标姿态。
另一种可能的实现方式,所述可移动平台可以通过自身配置的动力系统运动(例如:无 人飞行器、无人汽车、无人船等),所述拍摄控制装置根据第一目标物体与光学成像装置之间的距离,以及所述光学成像装置的当前姿态得到所述第一目标物体在图像中的第二预设位置时所述光学成像装置的目标姿态,然后根据所述光学成像装置的当前姿态及目标姿态,得到所述可移动平台的目标姿态,再根据所述可移动平台的目标姿态向可移动平台发送控制指令,以控制所述可移动平台平移和/或转动至目标姿态,从而将所述光学成像装置的姿态调整至光学成像装置的目标姿态。或者,可以根据所述可移动平台的目标姿态向所述可移动平台发送控制指令,以控制所述可移动平台上用于搭载光学成像装置的云台的各轴电机转动,以使所述云台调整至目标姿态,从而将所述光学成像装置的姿态调整至光学成像装置的目标姿态。
在一些实施例中,所述拍摄控制方法还包括:控制所述显示装置显示所述深度图及深度标识,所述深度标识用于指示所述深度图中的深度;检测用户的深度选择操作;根据用户所选的深度控制所述光学成像装置进行对焦。
在某些情况下,用户希望将对第一目标物体进行拍摄,但是又不希望将第一目标物体进行对焦拍摄(例如:希望将第一目标物体虚化),而对第一目标物体的前方或者后方进行对焦,以达到特定的拍摄效果。这时用户可通过对深度标识对深度进行选择操作,拍摄控制装置根据用户所选的控制所述光学成像装置进行对焦。
在一些实施例中,可以在所述光学成像装置拍摄的图像的表面显示深度图,所述深度图可通过点击深度图图标或者特定按键的方式呈现于所述图像的表面层;所述深度图与所述图像可部分或全部重叠;所述深度图可以是半透明或者非透明的方式展现在所述图像表面。在一些实施例中,深度标识可以是在所述深度图上设置的标尺,用户可通过选择(例如:点击)标尺上的刻度以在深度图中选择与该刻度对应的深度,或者用户可通过滑动所述标尺上的移动图标,当移动图标滑动至一个刻度,则与该刻度对应的深度被用户选择。最后根据用户选择的深度,控制所述光学成像装置进行对焦。
结合图1及图3,图3是本申请拍摄控制装置一实施例的结构示意图,拍摄控制装置300包括:存储器301以及处理器303。所述存储器301,用于存储程序指令;所述处理器303用于调用并执行所述程序指令,以执行以下步骤(参加图1):
S101:获取深度传感器在光学成像装置的拍摄区域采集的深度图;
S103:根据深度图在所述拍摄区域内确定突出物体;其中,所述突出物体相对于其周围的物体靠近光学成像装置,所述周围的物体是所述光学成像装置拍摄的图像中位于突出物体的图像区域周围的图像区域对应的物体;
S105:从突出物体中确定第一目标物体;
S107:根据第一目标物体的深度控制光学成像装置进行对焦。
在一些实施例中,在根据深度在拍摄区域内确定突出物体时,所述处理器203具体用于:根据所述深度图确定所述拍摄区域中物体与所述光学成像装置之间的距离获取所述拍摄区域内的物体的深度;根据所述物体与所述光学成像装置之间的距离确定突出物体。在一些实施例中,突出物体周围的物体与光学成像装置间的距离和突出物体与光学成像装置间的距离之差大于或等于预设距离阈值。在一些实施例中,突出物体周围的物体的深度与突出物体的深度之差大于或等于预设深度阈值。
在一些实施例中,所述处理器303在从突出物体中确定第一目标物体时,具体用于:确定每一个突出物体的优先级;将优先级最高的突出物体确定为第一目标物体。具体地,所述处理器303在确定每一个突出物体的优先级时,具体用于:根据突出物体在光学成像装置拍摄的图像中的尺寸,和/或每个突出物体在图像中的位置与图像中的第一预设位置之间的距离确定每一个突出物体的优先级。在一些实施例中,突出物体在图像中的尺寸和突出物体的优先级正相关。在一些实施例中,突出物体在图像中的位置与图像中的第一预设位置之间的距离和优先级负相关。
在一些实施例中,处理器303还用于执行以下步骤:若第一目标物体离开所述光学成像装置的拍摄区域时,则根据所述深度传感器在光学成像装置的拍摄区域采集的深度在拍摄区域内确定突出物体;确定每一个突出物体的优先级;将优先级最高的突出物体确定为第二目标物体;根据第二目标物体的深度控制光学成像装置进行对焦。在一些实施例中,处理器303还用于执行以下步骤:控制显示装置显示光学成像装置拍摄的图像;控制显示装置显示突出物体的标识,其中,标识用于指示突出物体在图像中的位置;从突出物体中确定第一目标物体,包括:检测用户的目标物体选择操作;根据所检测到的操作从所述突出物体中确定第一目标物体。
在一些实施例中,处理器303在控制显示装置显示突出物体的标识之前,还用于执行以下步骤:根据所述突出物体在所述深度图中的位置和光学成像装置与深度传感器之间的安装关系确定所述突出物体在所述图像中的位置。
在一些实施例中,所述处理器303还用于执行以下步骤:若所述第一目标物体离开所述光学成像装置的拍摄区域时,则根据所述深度传感器在光学成像装置的拍摄区域内采集的深度图在所述拍摄区域内重新确定突出物体,控制所述显示装置显示所述重新确定的突出物体的标识,发送提示信息,以提示用户再次进行目标物体选择操作,其中,所述标识用于指示所述突出物体在所述图像中的位置;检测用户的目标物体选择操作;根据检测到的目标物体选择操作,从重新确定的突出物体中确定第二目标物体;根据所述第二目标物体的深度控制所述光学成像装置进行对焦。
在一些实施例中,所述处理器303还用于执行以下步骤:控制光学成像装置的镜头朝向,以将所述第一目标物体在光学成像装置拍摄的图像中的位置调整至所述图像中的第二预设位置。在一些实施例中,所述第二预设位置为所述图像的中心。
在一些实施例中,所述处理器303在根据深度图在拍摄区域内确定突出物体时,具体用于:根据深度图在拍摄区域内确定候选物体,所述候选物体相对于其周围的物体靠近光学成像装置,所述周围的物体是所述光学成像装置拍摄的图像中位于候选物体的图像区域周围的图像区域对应的物体;确定每一个候选物体在光学成像装置拍摄的图像中的尺寸,将尺寸大于第一尺寸阈值的候选物体确定为突出物体;或者,确定每一个候选物体在深度传感器采集的深度图中的尺寸,将尺寸大于第二尺寸阈值的候选物体确定为突出物体;或者,确定每一个候选物体的实际尺寸,将实际尺寸大于或等于第三尺寸阈值的候选物体确定为突出物体。在一些实施例中,所述处理器203还用于执行以下步骤:控制所述显示装置显示所述深度图及深度标识;所述深度标识用于指示所述深度图中的深度;检测用户的深度选择操作;根据用户所选的深度控制所述光学成像装置进行对焦。
参见图4,图4是本申请拍摄控制方法另一实施例的流程图,该方法包括以下步骤:
S401:获取深度传感器在光学成像装置的拍摄区域采集的深度图。
具体地,所述方法的执行主体可以是一种拍摄控制装置。在某些情况中,所述拍摄控制装置可以是独立于所述深度传感器和所述成像装置的一个装置。在某些情况中,所述拍摄控制装置可以是光学承载装置中的装置,即所述光学成像装置包括所述拍摄控制装置。
光学成像装置可以是任何能够采集其拍摄区域的光学图像(静态图像和/或者视频)的装置,例如,所述光学成像装置可以是各种类型的相机装置。在一些实施例中,所述光学成像装置可以承载在可移动平台上,在某些实施例中,所述可移动平台可以包括所述光学成像装置。所述可移动平台可以是通过自身配置的动力系统或者通过外力能够移动的装置。所述拍摄控制装置可以是可移动平台中的装置,即所述可移动平台包括所述拍摄控制装置。在某些情况中,所述可移动平台包括云台,所述光学成像装置可以通过所述云台承载到所述可移动平台上。所述可移动平台可以包括无人机、无人车等无人机控制平台。在某些情况中,所述可移动平台可以为手持式设备或者为穿戴式设备(例如智能眼镜、智能手环等)或者手持式设备(例如智能手机等智能手持终端、云台等)。
深度传感器可以对其观测区域进行深度测量并获取周围环境的深度,所述深度传感器可以包括3D-TOF传感器、双目传感器和雷达(例如毫米波雷达或激光雷达等)等其中的一种或多种。所述深度传感器可以输出深度图,所述深度图中包括所述环境的深度,即包括所述环境中空间位置点的深度。在某些实施例中,所述深度传感器可以承载在可移动平台上,在 某些实施例中,所述可移动平台可以包括所述光学成像装置。在某些情况中,所述深度传感器可以与所述光学成像装置可以相对固定安装。例如,所述深度传感器可以固定安装在所述光学成像装置上,进一步地,所述深度传感器可以安装到所述光学成像装置的热靴上。在某些情况中,所述光学成像装置承载在云台的承载座上,所述深度传感器可以安装在所述承载座上。在某些情况中,所述深度传感器可以与所述光学成像装置活动安装。
所述深度传感器的观测区域与所述光学成像装置的拍摄区域至少部分地重合,在某些实施例中,所述观测区域包括全部的拍摄区域,在某些实施例中,所述观测区域包括部分的拍摄区域。则所述深度传感器采集到的深度至少包括部分的拍摄区域的深度,在某些情况中,所述深度传感器采集到的深度包括全部的拍摄区域的深度,所述深度传感器采集到的深度包括部分的拍摄区域的深度。可以理解的是,所述观测区域与所述拍摄区域之间的关系与所述深度传感器与所述成像装置之间的安装关系相关。所述深度传感器可以采集拍摄区域的深度,即所述深度传感器可以采集所述全部的或者部分的拍摄区域的深度。所述拍摄控制装置可以与所述深度传感器通信连接。所述拍摄控制装置可以获取所述深度传感器在光学成像装置的拍摄区域采集的深度
S403:根据所述深度图从拍摄区域中确定第一目标物体;其中,第一目标物体是拍摄区域内的突出物体中在光学成像装置拍摄的图像中尺寸最大的物体;和/或第一目标物体是突出物体中在图像中的位置与图像中的第一预设位置之间的距离最小的物体;突出物体相对于其周围的物体靠近光学成像装置。
通常情况下,在拍摄场景中,用户往往关注一些突出物体,所述突出物体相对于该突出物体周围的物体更加靠近光学成像装置,所述周围的物体是所述光学成像装置拍摄的图像中位于突出物体的图像区域周围的图像区域对应的物体。例如,光学成像装置的拍摄区域内有一个建筑物和位于建筑物前且在不同位置的两个人,用户往往关心的是两个人,这两个是是突出物体,在光学成像装置拍摄的图像中,位于人的图像区域周围的图像区域是人背后的建筑物的图像区域,所述建筑物的图像区域对应的建筑物即为所述人周围的物体,所述人相对于所述建筑物更加靠近所述光学成像装置。所述拍摄区域的深度可以反映拍摄区域中物体的轮廓信息,所述拍摄控制装置可以根据所述拍摄区域的深度确定所述拍摄区域的突出物体,其中,所述突出物体的数量可以为一个或者多个。而在实际应用中,光学成像装置只能对一个突出物体进行对焦,因此,还需要在突出物体中快速确定一个第一目标物体,并对该物体进行拍摄,在这种情况下用户更倾向于选择在拍摄的图像中尺寸更大或者更接近与拍摄的图像中第一预设位置的突出物体作为第一目标对焦物体。进一步地,根据所述深度图从拍摄区域中第一目标物体可包括:根据深度从目标区域确定所有物体与所述光学成像装置之间的距 离,在所述所有物体中,将与周围物体相比,所述距离最短的物体确定为突出物体;获取突出物体在拍摄的图像中的尺寸(例如:像素尺寸等);将尺寸最大的突出物体确定为第一目标物体;或者,获取突出物体在拍摄的图像中的位置,根据突出物体在拍摄的图像中的位置确定该位置与所述图像中第一预设位置之间(例如:拍摄的图像中心等)的距离,将所述距离最短的突出物体确定为第一目标物体。
S405:根据第一目标物体的深度控制光学成像装置进行对焦。
具体地,在确定所述第一目标物体之后,可以根据所述第一目标物体的深度来控制所述光学成像装置,这样,所述光学成像装置即可以对焦到所述第一目标物体上。进一步地,所述根据第一目标物体的深度控制光学成像装置进行对焦,包括:根据第一目标物体的深度确定所述第一目标物体与所述光学成像装置之间的距离,根据所述距离控制光学成像装置对焦。可以理解的是,所述第一目标物体的深度是从所述深度传感器采集到的深度获取的。在某些实施例中,可以将所述第一目标物体的深度确定为所述第一目标物体与所述光学成像装置之间的距离。由于第一目标物体的深度表征的是第一目标物体与所述深度传感器之间的距离,为了准确地计算所述第一目标物体与所述光学成像装置之间的距离,在某些实施例中,可以根据所述第一目标物体的深度和所述深度传感器与所述光学成像装置之间的安装位置关系确定所述第一目标物体与所述光学成像装置之间的距离。在一些实施例中,所述突出物体周围的物体与所述光学成像装置之间的距离和所述突出物体与所述光学成像装置之间的距离之差大于或等于预设距离阈值。为更方便地对本实施例进行说明,图5a-5d示出了本方案拍摄设备拍摄的图像在显示装置显示的效果图。参见图5a-5b,在拍摄设备拍摄的图像500中,包括建筑物501、人503、车505、盆栽507、鸟509及鸟511,其中人503、车505、盆栽507、鸟509及鸟511与周围其他物体相比更靠近光学成像装置,并且其与镜头装置之间的距离大于一定的值。但鸟509及鸟511在图像中的尺寸较小,因此仅有人503、车505、盆栽507被确定为突出物体。
在一些实施例中,若所述第一目标物体离开所述光学成像装置拍摄的区域时,则根据所述深度图从所述拍摄区域中确定第二目标物体,其中,所述第二目标物体是所述拍摄区域内的突出物体中在所述光学成像装置拍摄的图像中尺寸最大的物体,如附图5a所示,突出物体为人503、车505、盆栽507中,在图像500中,因车505在突出物体中的尺寸最大,而被确定为第一目标物体(被框出);和/或所述第二目标物体是所述突出物体中在所述图像中的位置与所述图像中的第一预设位置之间的距离最小的物体;根据所述第二目标物体的深度控制所述光学成像装置进行对焦,如附图5b所示,突出物体为人503、车505、盆栽507,在图像500中,人503因在突出物体中距离图像中心的距离最小,而被确定为第一目标物体(被 框出)。
具体地,由于第一目标物体的移动和/或光学成像装置的移动,第一目标物体可能离开当前光学拍摄装置的拍摄区域,这样,第一目标物体会离开光学成像装置的拍摄的图像,拍摄控制装置可以确定所述拍摄区域中的下一个需要对焦的物体。深度传感器可以持续地在拍摄区域内采集深度图,所述拍摄控制装置可以根据采集到的深度图确定当前光学成像装置的拍摄区域中尺寸最大的突出物体,和/或在所述图像中的位置与所述图像中的第一预设位置之间的距离最小的突出物体作为新的目标物体,即需要对焦的第二目标物体。所述拍摄控制装置可以获取深度传感器在当前光学成像装置的拍摄区域的深度图,并根据深度图在所述当前的拍摄区域内确定突出物体;确定每一个突出物体在所述光学成像装置拍摄的图像中尺寸,将所述尺寸最大的突出物体确定为第二目标物体,和或确定每一个突出物体在所述图像中的位置与所述图像中的第一预设位置之间的距离,将所述距离最小的突出物体确定为第二目标物体。其中,根据深度图确定第二目标物体的方案可以与前述部分中的根据所述深度图确定第一目标物体相同。参见图5b-5c,如图5b所示,人503被确定为第一目标物体,拍摄设备根据人503的深度进行对焦并拍摄,如图5c所示,第一目标物体人503离开了光学成像装置拍摄的图像,为使拍摄继续,拍摄控制装置需重新根据物体与光学成像装置的距离重新确定出突出物体车505、盆栽507,选定了突出物体车505及盆栽507后再从突出物体车505、盆栽507中选定一个第二目标物体,用以进行对焦。这样做可以在第一目标物体离开光学成像装置的拍摄区域的情况下,再次地为用户选中一个目标物体作为光学成像装置的对焦目标。例如:如图5b所示,盆栽507因在重新确定的突出物体中距离图像中心最近被确定为第二目标物体(被框出)。
在一些实施例中,拍摄控制方法还包括:控制所述显示装置显示所述突出物体的标识,其中,所述标识用于指示所述突出物体在所述图像中的位置;根据检测用户的目标物体标识选择操作;根据所检测到的操作,从所述突出物体中确定第三目标物体将用户选择的标识所指示的突出物体确定为第三目标物体;根据所述第三目标物体的深度控制所述光学成像装置进行对焦。
具体地,标识用于在光学成像装置拍摄的图像中标记出处突出物体的位置,进一步地,所述拍摄装装置确定突出物体后,控制显示装置显示的在拍摄区域拍摄的图像,在图像中采用对焦框(例如:可以是圆形、矩形等形状)框出突出物体。进一步地,从所述突出物体中确定第三目标物体,包括:检测用户的目标物体选择操作;根据所检测到的操作从所述突出物体中确定第三目标物体。例如:显示装置可以是触摸显示屏,用户可在触摸显示屏上选择(例如:点击对焦框内的部分等)标记出的突出物体,拍摄设备根据检测到的用户的选择操 作,将用户所选择的突出物体确定为第三目标物体,并根据第三目标物体的深度,控制光学成像装置进行对焦。参见图5d,突出物体人503、车505、盆栽507分别被对焦框515、517、519框出。这样做使得所述拍摄控制装置可自动为用户选择第一目标物体的同时,用户也可对对焦框进行自主选择(例如:在显示装置的触摸屏上进行点选),以选出目标物体进行对焦,并且这样做还可有效避免点选物体不准确的问题。例如,如图2d所示,当确定人503、车505、盆栽507为突出物体时,上述突出物体分别被对焦框517、519、221标识出;用户可通过点击对焦框519内的图像区域,对焦框519内的突出物体盆栽507则会被选为第一目标物体,使光学成像装置根据第一目标物体盆栽507的深度进行对焦;通过点击对焦框517内的图像区域,对焦框517内的突出物体车505则会被选为第一目标物体,使光学成像装置根据第一目标物体车505的深度进行对焦;通过点击对焦框515内的图像区域,对焦框515内的突出物体人503则会被选为第一目标物体,使光学成像装置根据第一目标物体人503的深度进行对焦。
在一些实施例中,拍摄控制方法还包括:控制光学成像装置的镜头朝向,以将第一目标物体在光学成像装置拍摄的图像中的位置调整至图像的中心。
在一些实施例中,所述拍摄控制方法还包括:控制所述显示装置显示所述深度图及深度标识,所述深度标识用于指示所述深度图中的深度;检测用户的深度选择操作;根据用户所选的深度控制所述光学成像装置进行对焦。
在某些情况下,用户希望将对第一目标物体进行拍摄,但是又不希望将第一目标物体进行对焦拍摄(例如:希望将第一目标物体虚化),而对第一目标物体前方或者后方进行对焦,以达到特定的拍摄效果。这时用户可通过对深度标识对深度进行选择操作,拍摄控制装置根据用户所选的控制所述光学成像装置进行对焦。
在一些实施例中,可以在所述光学成像装置拍摄的图像的表面显示深度图,所述深度图可通过点击深度图图标或者特定按键的方式呈现于所述图像的表面层;所述深度图与所述图像可部分或全部重叠;所述深度图可以是半透明或者非透明的方式展现在所述图像表面。在一些实施例中,深度标识可以是在所述深度图上设置的标尺,用户可通过选择(例如:点击)标尺上的刻度以在深度图中选择与该刻度对应的深度,或者用户可通过滑动所述标尺上的移动图标,当移动图标滑动至一个刻度,则与该刻度对应的深度被用户选择。最后根据用户选择的深度,控制所述光学成像装置进行对焦。
结合图3及图6,本申请另一方面提供一种拍摄控制装置600,包括:存储器601处理器603。
光学成像装置可以是任何能够采集其拍摄区域的光学图像(静态图像和/或者视频)的装 置,例如,所述光学成像装置可以是各种类型的相机装置。在某些实施例中,所述光学成像装置可以承载在可移动平台上,在某些实施例中,所述可移动平台可以包括所述光学成像装置。所述可移动平台可以是通过自身配置的动力系统或者通过外力能够移动的装置。所述拍摄控制装置600可以是可移动平台中的装置,即所述可移动平台包括所述拍摄控制装置600。在某些情况中,所述可移动平台包括云台,所述光学成像装置可以通过所述云台承载到所述可移动平台上。所述可移动平台可以包括无人机、无人车等无人机控制平台。在某些情况中,所述可移动平台可以为手持式设备或者为穿戴式设备(例如智能眼镜、智能手环等)或者手持式设备(例如智能手机等智能手持终端、云台等)。
深度传感器可以对其观测区域进行深度测量并获取周围环境的深度,所述深度传感器可以包括3D-TOF传感器、双目传感器和雷达(例如毫米波雷达或激光雷达等)等其中的一种或多种。所述深度传感器可以输出深度图,所述深度图中包括所述环境的深度,即包括所述环境中空间位置点的深度。在某些实施例中,所述深度传感器可以承载在可移动平台上,在某些实施例中,所述可移动平台可以包括所述光学成像装置。在某些情况中,所述深度传感器可以与所述光学成像装置可以相对固定安装。例如,所述深度传感器可以固定安装在所述光学成像装置上,进一步地,所述深度传感器可以安装到所述光学成像装置的热靴上。在某些情况中,所述光学成像装置承载在云台的承载座上,所述深度传感器可以安装在所述承载座上。在某些情况中,所述深度传感器可以与所述光学成像装置活动安装。
所述存储器601,用于存储程序指令;所述处理器603用于调用并执行所述程序指令,以执行以下步骤:
S301:获取深度传感器在光学成像装置的拍摄区域采集的深度图;
S303:根据深度图从拍摄区域中确定第一目标物体;其中,第一目标物体是所述拍摄区域内的突出物体中在光学成像装置拍摄的图像中尺寸最大的物体;和/或第一目标物体是所述突出物体中在图像中的位置与图像中的第一预设位置之间的距离最小的物体;其中,所述突出物体相对于其周围的物体靠近光学成像装置,所述周围的物体是所述光学成像装置拍摄的图像中位于突出物体的图像区域周围的图像区域对应的物体;
S305:根据第一目标物体的深度控制光学成像装置进行对焦。
在一些实施例中,突出物体周围的物体与光学成像装置间的距离和突出物体与光学成像装置间的距离之差大于或等于预设距离阈值。
在一些实施例中,处理器603还用于执行以下步骤:若第一目标物体离开光学成像装置拍摄区域时,则根据所述深度图从拍摄区域中确定第二目标物体,其中,所述第二目标物体是拍摄区域内的突出物体中在光学成像装置拍摄的图像中尺寸最大的物体;和/或第二目标物 体是突出物体中在所述图像中的位置与图像中的第一预设位置之间的距离最小的物体,突出物体相对于其周围的物体靠近光学成像装置;根据第二目标物体的深度控制所述光学成像装置进行对焦。其中,根据深度图确定第二目标物体的方案可以与前述部分中的根据所述深度图确定第一目标物体相同。
在一些实施例中,所述处理器603还用于执行以下步骤:控制所述显示装置显示所述突出物体的标识,其中,所述标识用于指示所述突出物体在所述图像中的位置;根据检测用户的目标物体标识选择操作;根据所检测到的操作,从所述突出物体中确定第三目标物体将用户选择的标识所指示的突出物体确定为第三目标物体;根据所述第三目标物体的深度控制所述光学成像装置进行对焦。
在一些实施例中,处理器603还用于执行以下步骤:控制光学成像装置的镜头朝向,以将第一目标物体在光学成像装置拍摄的图像中的位置调整至图像的中心。
在一些实施例中,所述处理器603还用于执行以下步骤:控制所述显示装置显示所述深度图及深度标识,所述深度标识用于指示所述深度图中的深度;检测用户的深度选择操作;根据用户所选的深度控制所述光学成像装置进行对焦。应当理解,在本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。
以上所述,仅为本申请的具体实施例,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (42)

  1. 一种拍摄控制方法,其特征在于,所述方法包括:
    获取深度传感器在光学成像装置的拍摄区域采集的深度图;
    根据所述深度图在所述拍摄区域内确定突出物体,其中,所述突出物体相对于其周围的物体靠近光学成像装置,所述周围的物体是所述光学成像装置拍摄的图像中位于突出物体的图像区域周围的图像区域对应的物体,或者所述周围的物体是所述深度图中位于突出物体的深度图区域周围的深度图区域对应的物体;
    从所述突出物体中确定第一目标物体;
    根据所述第一目标物体的深度控制所述光学成像装置进行对焦。
  2. 根据权利要求1所述的拍摄控制方法,其特征在于,
    所述根据所述深度图在所述拍摄区域内确定突出物体,包括:
    根据所述深度图确定所述拍摄区域中物体与所述光学成像装置之间的距离;
    根据所述物体与所述光学成像装置之间的距离确定突出物体。
  3. 根据权利要求2所述的拍摄控制方法,其特征在于,
    所述突出物体周围的物体与所述光学成像装置之间的距离和所述突出物体与所述光学成像装置之间的距离之差大于或等于预设距离阈值。
  4. 根据权利要求1所述的拍摄控制方法,其特征在于,
    所述突出物体周围的物体的深度与所述突出物体的深度之差大于或等于预设深度阈值。
  5. 根据权利要求1-4任一项所述的拍摄控制方法,其特征在于,
    所述从所述突出物体中确定第一目标物体,包括:
    确定每一个突出物体的优先级;
    将优先级最高的突出物体确定为第一目标物体。
  6. 根据权利要求5所述的拍摄控制方法,其特征在于,
    所述确定每一个突出物体的优先级,包括:
    根据所述突出物体在所述光学成像装置拍摄的图像中的尺寸和/或每个所述突出物体在所述图像中的位置与所述图像中的第一预设位置之间的距离确定每一个突出物体的优先级。
  7. 根据权利要求6所述的拍摄控制方法,其特征在于,
    所述突出物体在所述图像中的尺寸和所述突出物体的优先级正相关。
  8. 根据权利要求6或7所述的拍摄控制方法,其特征在于,
    所述突出物体在所述图像中的位置与所述第一预设位置之间的距离和优先级负相关。
  9. 根据权利要求5-8任一项所述的拍摄控制方法,其特征在于,所述方法还包括:
    若所述第一目标物体离开所述光学成像装置的拍摄区域时,则根据所述深度传感器在光学成像装置的拍摄区域采集的深度图在所述拍摄区域内确定突出物体;
    确定每一个突出物体的优先级;
    将优先级最高的突出物体确定为第二目标物体;
    根据所述第二目标物体的深度控制所述光学成像装置进行对焦。
  10. 根据权利要求1-9任一项所述的拍摄控制方法,其特征在于,所述方法还包括:
    控制显示装置显示所述光学成像装置拍摄的图像;
    控制所述显示装置显示所述突出物体的标识,其中,所述标识用于指示所述突出物体在所述图像中的位置;
    所述从所述突出物体中确定第一目标物体,包括:
    检测用户的目标物体选择操作;
    根据所检测到的操作从所述突出物体中确定第一目标物体。
  11. 根据权利要求10所述的拍摄控制方法,其特征在于,在所述控制显示装置显示所述突出物体的标识之前,所述方法还包括:
    根据所述突出物体在所述深度图中的位置和光学成像装置与深度传感器之间的安装关系确定所述突出物体在所述图像中的位置。
  12. 根据权利要求10或11所述的拍摄控制方法,其特征在于,所述方法还包括:
    若所述第一目标物体离开所述光学成像装置的拍摄区域时,则根据所述深度传感器在光学成像装置的拍摄区域内采集的深度图在所述拍摄区域内重新确定突出物体,控制所述显示装置显示所述重新确定的突出物体的标识,发送提示信息,以提示用户再次进行目标物体选择操作,其中,所述标识用于指示所述突出物体在所述图像中的位置;
    检测用户的目标物体选择操作;根据检测到的目标物体选择操作,从重新确定的突出物体中确定第二目标物体;
    根据所述第二目标物体的深度控制所述光学成像装置进行对焦。
  13. 根据权利要求1-12任一项所述的拍摄控制方法,其特征在于,所述方法还包括:
    控制所述光学成像装置的镜头朝向,以将所述第一目标物体在所述光学成像装置拍摄的图像中的位置调整至所述图像中的第二预设位置。
  14. 根据权利要求13所述的拍摄控制方法,其特征在于,
    所述第二预设位置为所述图像的中心。
  15. 根据权利要求1所述的拍摄控制方法,其特征在于,
    根据所述深度图在所述拍摄区域内确定突出物体,包括:
    根据所述深度图在所述拍摄区域内确定候选物体,所述候选物体相对于其周围的物体靠近所述光学成像装置,所述周围的物体是所述光学成像装置拍摄的图像中位于候选物体的图像区域周围的图像区域对应的物体,或者所述周围的物体是所述深度图中位于突出物体的深度图区域周围的深度图区域对应的物体;
    确定每一个候选物体在所述光学成像装置拍摄的图像中的尺寸,将所述尺寸大于或等于第一尺寸阈值的候选物体确定为突出物体;或者
    确定每一个候选物体在所述深度传感器采集的深度图中的尺寸,将所述尺寸大于或等于第二尺寸阈值的候选物体确定为突出物体。
  16. 一种拍摄控制装置,其特征在于,包括:存储器和处理器,
    所述存储器,用于存储程序指令;
    所述处理器,用于调用并执行所述程序指令,以执行以下步骤:
    获取深度传感器在光学成像装置的拍摄区域采集的深度图;
    根据所述深度图在所述拍摄区域内确定突出物体,其中,所述突出物体相对于其周围的物体靠近光学成像装置,所述周围的物体是所述光学成像装置拍摄的图像中位于突出物体的图像区域周围的图像区域对应的物体,或者所述周围的物体是所述深度图中位于突出物体的深度图区域周围的深度图区域对应的物体;
    从所述突出物体中确定第一目标物体;
    根据所述第一目标物体的深度控制所述光学成像装置进行对焦。
  17. 根据权利要求16所述的拍摄控制装置,其特征在于,
    所述处理器在根据所述深度图在所述拍摄区域内确定突出物体时,具体用于:
    根据所述深度图确定所述拍摄区域中物体与所述光学成像装置之间的距离;
    根据所述物体与所述光学成像装置之间的距离确定突出物体。
  18. 根据权利要求17所述的拍摄控制装置,其特征在于,
    所述突出物体周围的物体与所述光学成像装置之间的距离和所述突出物体与所述光学成像装置之间的距离之差大于或等于预设距离阈值。
  19. 根据权利要求16所述的拍摄控制装置,其特征在于,
    所述突出物体周围的物体的深度与所述突出物体的深度之差大于或等于阈值。
  20. 根据权利要求16-19任一项所述的拍摄控制装置,其特征在于,
    所述处理器在从所述突出物体中确定第一目标物体时,具体用于:
    确定每一个突出物体的优先级;
    将优先级最高的突出物体确定为第一目标物体。
  21. 根据权利要求20所述的拍摄控制装置,其特征在于,
    所述处理器在确定每一个突出物体的优先级时,具体用于:
    根据所述突出物体在所述光学成像装置拍摄的图像中的尺寸和/或每个所述突出物体在所述图像中的位置与所述图像中的第一预设位置之间的距离确定每一个突出物体的优先级。
  22. 根据权利要求21所述的拍摄控制装置,其特征在于,
    所述突出物体在所述图像中的尺寸和所述突出物体的优先级正相关。
  23. 根据权利要求21或22所述的拍摄控制装置,其特征在于,
    所述突出物体在所述图像中的位置与所述第一预设位置之间的距离和优先级负相关。
  24. 根据权利要求20-23任一项所述的拍摄控制装置,其特征在于,所述处理器还用于执行以下步骤:
    若所述第一目标物体离开所述光学成像装置的拍摄区域时,则根据所述深度传感器在光学成像装置的拍摄区域采集的深度图在所述拍摄区域内确定突出物体;
    确定每一个突出物体的优先级;
    将优先级最高的突出物体确定为第二目标物体;
    根据所述第二目标物体的深度控制所述光学成像装置进行对焦。
  25. 根据权利要求16-24任一项所述的拍摄控制装置,其特征在于,所述处理器还用于执行以下步骤:
    控制显示装置显示所述光学成像装置拍摄的图像;
    控制所述显示装置显示所述突出物体的标识,其中,所述标识用于指示所述突出物体在所述图像中的位置;
    所述从所述突出物体中确定第一目标物体,包括:
    检测用户的目标物体选择操作;
    根据所检测到的操作从所述突出物体中确定第一目标物体。
  26. 根据权利要求25所述的拍摄控制装置,其特征在于,在所述控制显示装置显示所述突出物体的标识之前,所述处理器还用于执行以下步骤:
    根据所述突出物体在所述深度图中的位置和光学成像装置与深度传感器之间的安装关系确定所述突出物体在所述图像中的位置。
  27. 根据权利要求25或26所述的拍摄控制装置,其特征在于,所述处理器还用于执行以下步骤:
    若所述第一目标物体离开所述光学成像装置的拍摄区域时,则根据所述深度传感器在光 学成像装置的拍摄区域内采集的深度图在所述拍摄区域内重新确定突出物体,控制所述显示装置显示所述重新确定的突出物体的标识,发送提示信息,以提示用户再次进行目标物体选择操作,其中,所述标识用于指示所述突出物体在所述图像中的位置;
    检测用户的目标物体选择操作;
    根据检测到的目标物体选择操作,从重新确定的突出物体中确定第二目标物体;
    根据所述第二目标物体的深度,控制所述光学成像装置进行对焦。
  28. 根据权利要求16-27任一项所述的拍摄控制装置,其特征在于,所述处理器还用于执行以下步骤:
    控制所述光学成像装置的镜头朝向,以将所述第一目标物体在所述光学成像装置拍摄的图像中的位置调整至所述图像中的第二预设位置。
  29. 根据权利要求28所述的拍摄控制装置,其特征在于,
    所述第二预设位置为所述图像的中心。
  30. 根据权利要求16所述的拍摄控制装置,其特征在于,
    在根据所述深度图在所述拍摄区域内确定突出物体时,所述处理器具体用于:
    根据所述深度图在所述拍摄区域内确定候选物体,所述候选物体相对于其周围的物体靠近所述光学成像装置,所述周围的物体是所述光学成像装置拍摄的图像中位于候选物体的图像区域周围的图像区域对应的物体;
    确定每一个候选物体在所述光学成像装置拍摄的图像中的尺寸,将所述尺寸大于或等于第一尺寸阈值的候选物体确定为突出物体;或者
    确定每一个候选物体在所述深度传感器采集的深度图中的尺寸,将所述尺寸大于或等于第二尺寸阈值的候选物体确定为突出物体。
  31. 一种可移动平台,包括:光学成像装置、深度传感器和如权利要求16-30任一项所述的拍摄控制装置。
  32. 一种拍摄控制方法,其特征在于,所述方法包括:
    获取深度传感器在光学成像装置的拍摄区域采集的深度图;
    根据所述深度图从所述拍摄区域中确定第一目标物体,其中,所述第一目标物体是所述拍摄区域内的突出物体中在所述光学成像装置拍摄的图像中尺寸最大的物体,和/或,所述第一目标物体是所述突出物体中在所述图像中的位置与所述图像中的第一预设位置之间的距离最小的物体,所述突出物体相对于其周围的物体靠近光学成像装置,所述周围的物体是所述光学成像装置拍摄的图像中位于突出物体的图像区域周围的图像区域对应的物体,或者,所述周围的物体是所述深度图中位于突出物体的深度图区域周围的深度图区域对应的物体;
    根据所述第一目标物体的深度控制所述光学成像装置进行对焦。
  33. 根据权利要求32所述的拍摄控制方法,其特征在于,所述方法还包括:
    根据所述深度图确定所述拍摄区域中物体与所述光学成像装置之间的距离;
    根据所述物体与所述光学成像装置之间的距离确定突出物体。
  34. 根据权利要求33所述的拍摄控制方法,其特征在于,
    所述突出物体周围的物体与所述光学成像装置之间的距离和所述突出物体与所述光学成像装置之间的距离之差大于或等于预设距离阈值。
  35. 根据权利要求32所述的拍摄控制方法,其特征在于,
    所述突出物体周围的物体的深度与所述突出物体的深度之差大于或等于预设深度阈值。
  36. 根据权利要求32所述的拍摄控制方法,其特征在于,所述方法还包括:
    控制所述光学成像装置的镜头朝向,以将所述第一目标物体在所述光学成像装置拍摄的图像中的位置调整至所述图像的中心。
  37. 一种拍摄控制装置,其特征在于,包括:存储器和处理器;
    所述存储器,用于存储程序指令;
    处理器,用于调用并执行所述程序指令,以执行以下步骤:
    获取深度传感器在光学成像装置的拍摄区域采集的深度图;
    根据所述深度图从所述拍摄区域中确定第一目标物体,其中,所述第一目标物体是所述拍摄区域内的突出物体中在所述光学成像装置拍摄的图像中尺寸最大的物体;和/或所述第一目标物体是所述突出物体中在所述图像中的位置与所述图像中的第一预设位置之间的距离最小的物体,所述周围的物体是所述光学成像装置拍摄的图像中位于突出物体的图像区域周围的图像区域对应的物体,或者,所述周围的物体是所述深度图中位于突出物体的深度图区域周围的深度图区域对应的物体;
    根据所述第一目标物体的深度控制所述光学成像装置进行对焦。
  38. 根据权利要求37所述的拍摄控制装置,其特征在于,所述处理器还用于执行以下步骤:
    根据所述深度图确定所述拍摄区域中物体与所述光学成像装置之间的距离;
    根据所述物体与所述光学成像装置之间的距离确定突出物体。
  39. 根据权利要求38所述的拍摄控制装置,其特征在于,
    所述突出物体周围的物体与所述光学成像装置之间的距离和所述突出物体与所述光学成像装置之间的距离之差大于或等于预设距离阈值。
  40. 根据权利要求37所述的拍摄控制装置,其特征在于,
    所述突出物体周围的物体的深度与所述突出物体的深度之差大于或等于预设深度阈值。
  41. 根据权利要求37所述的拍摄控制装置,其特征在于,所述处理器还用于执行以下步骤:
    控制所述光学成像装置的镜头朝向,以将所述第一目标物体在所述光学成像装置拍摄的图像中的位置调整至所述图像的中心。
  42. 一种可移动平台,包括:光学成像装置、深度传感器和如权利要求37-41任一项所述的拍摄控制装置。
PCT/CN2021/124140 2021-10-15 2021-10-15 一种拍摄控制方法、拍摄控制装置及可移动平台 WO2023060569A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2021/124140 WO2023060569A1 (zh) 2021-10-15 2021-10-15 一种拍摄控制方法、拍摄控制装置及可移动平台
CN202180100303.9A CN117837153A (zh) 2021-10-15 2021-10-15 一种拍摄控制方法、拍摄控制装置及可移动平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/124140 WO2023060569A1 (zh) 2021-10-15 2021-10-15 一种拍摄控制方法、拍摄控制装置及可移动平台

Publications (1)

Publication Number Publication Date
WO2023060569A1 true WO2023060569A1 (zh) 2023-04-20

Family

ID=85987974

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/124140 WO2023060569A1 (zh) 2021-10-15 2021-10-15 一种拍摄控制方法、拍摄控制装置及可移动平台

Country Status (2)

Country Link
CN (1) CN117837153A (zh)
WO (1) WO2023060569A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116170693A (zh) * 2023-04-25 2023-05-26 山西乐宸科技有限公司 一种安防监控系统控制方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140211045A1 (en) * 2013-01-31 2014-07-31 Canon Kabushiki Kaisha Image processing apparatus and image pickup apparatus
US20160180514A1 (en) * 2014-12-17 2016-06-23 Lite-On Electronics (Guangzhou) Limited Image processing method and electronic device thereof
CN108449589A (zh) * 2018-03-26 2018-08-24 德淮半导体有限公司 处理图像的方法、装置及电子设备
US20190304122A1 (en) * 2018-03-27 2019-10-03 Olympus Corporation Image processing device, image processing method, recording medium storing image processing program and image pickup apparatus
US20200074657A1 (en) * 2017-05-24 2020-03-05 SZ DJI Technology Co., Ltd. Methods and systems for processing an image
CN112771576A (zh) * 2020-05-06 2021-05-07 深圳市大疆创新科技有限公司 位置信息获取方法、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140211045A1 (en) * 2013-01-31 2014-07-31 Canon Kabushiki Kaisha Image processing apparatus and image pickup apparatus
US20160180514A1 (en) * 2014-12-17 2016-06-23 Lite-On Electronics (Guangzhou) Limited Image processing method and electronic device thereof
US20200074657A1 (en) * 2017-05-24 2020-03-05 SZ DJI Technology Co., Ltd. Methods and systems for processing an image
CN108449589A (zh) * 2018-03-26 2018-08-24 德淮半导体有限公司 处理图像的方法、装置及电子设备
US20190304122A1 (en) * 2018-03-27 2019-10-03 Olympus Corporation Image processing device, image processing method, recording medium storing image processing program and image pickup apparatus
CN112771576A (zh) * 2020-05-06 2021-05-07 深圳市大疆创新科技有限公司 位置信息获取方法、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116170693A (zh) * 2023-04-25 2023-05-26 山西乐宸科技有限公司 一种安防监控系统控制方法、装置、电子设备及存储介质
CN116170693B (zh) * 2023-04-25 2023-07-21 山西乐宸科技有限公司 一种安防监控系统控制方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN117837153A (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
JP5443134B2 (ja) シースルー・ディスプレイに現実世界の対象物の位置をマークする方法及び装置
US9456141B2 (en) Light-field based autofocus
JP5740884B2 (ja) 繰り返し撮影用arナビゲーション及び差異抽出のシステム、方法及びプログラム
US10654422B2 (en) View friendly monitor systems
WO2016030878A1 (en) Self-image augmentation
WO2015144741A1 (en) Camera with radar system
JP2015522959A (ja) 画像において対話式再合焦を提供するためのシステム、方法、及び媒体
JP2006211139A (ja) 撮像装置
WO2019104569A1 (zh) 一种对焦方法、设备及可读存储介质
EP3352453B1 (en) Photographing method for intelligent flight device and intelligent flight device
US9485407B2 (en) Method of capturing images and obtaining information of the images
KR20180016534A (ko) 사용자가 이미지 또는 비디오를 포착하는 것을 보조하는 방법 및 시스템
WO2023060569A1 (zh) 一种拍摄控制方法、拍摄控制装置及可移动平台
JP2017169170A (ja) 撮像装置、移動装置、撮像システム、撮像方法およびプログラム
WO2021184341A1 (en) Autofocus method and camera system thereof
US11463617B2 (en) Information processing apparatus, information processing system, image capturing apparatus, information processing method, and memory
CN110602376B (zh) 抓拍方法及装置、摄像机
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
JP2008288797A (ja) 撮像装置
JP2022129747A (ja) 電子装置およびその制御方法
CN116095473A (zh) 镜头自动对焦方法、装置、电子设备和计算机存储介质
CN112673621A (zh) 自动对焦方法、装置、云台、设备和存储介质
WO2018161322A1 (zh) 基于深度的图像处理方法、处理装置和电子装置
US20230308613A1 (en) Display device and method for controlling display device
RU2809064C1 (ru) Устройство и способ автоматического переключения режимов работы камеры