WO2020011230A1 - 控制装置、移动体、控制方法以及程序 - Google Patents

控制装置、移动体、控制方法以及程序 Download PDF

Info

Publication number
WO2020011230A1
WO2020011230A1 PCT/CN2019/095590 CN2019095590W WO2020011230A1 WO 2020011230 A1 WO2020011230 A1 WO 2020011230A1 CN 2019095590 W CN2019095590 W CN 2019095590W WO 2020011230 A1 WO2020011230 A1 WO 2020011230A1
Authority
WO
WIPO (PCT)
Prior art keywords
focus
distance
zoom
lens system
imaging device
Prior art date
Application number
PCT/CN2019/095590
Other languages
English (en)
French (fr)
Inventor
本庄谦一
安田知长
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to CN201980005718.0A priority Critical patent/CN111356954B/zh
Publication of WO2020011230A1 publication Critical patent/WO2020011230A1/zh
Priority to US17/024,666 priority patent/US20210109312A1/en

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/282Autofocusing of zoom lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/08Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted to co-operate with a remote control mechanism
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/001Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/009Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras having zoom function
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/006Apparatus mounted on flying objects
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/56Accessories
    • G03B17/561Support related camera accessories
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00Focusing arrangements of general interest for cameras, projectors or printers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • G02B27/648Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake for automatically maintaining a reference alignment, e.g. in self-levelling surveying instruments
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/10Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
    • G02B7/102Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens controlled by a microcomputer

Definitions

  • the determination unit may further be based on the first information indicating the relationship between the position of the zoom lens system and the position of the focus lens system at the distance a, and the position information of the position of the zoom lens system at the distance n ⁇ a and the position of the focus lens system.
  • the second information of the relationship is to determine the focus of the imaging device for changing the focal distance f of the lens system L to n ⁇ f, and the distance b from the focal point on the image side of the lens system L to the image plane to n ⁇ b.
  • FIG. 7 is a diagram illustrating an example of a relationship between a position of a focus lens and a position of a zoom lens.
  • FIG. 8 is a diagram showing an example of a relationship between a zoom tracking curve and a movement tracking curve.
  • FIG. 12C is a diagram for explaining a manner in which the imaging device performs imaging by combining an optical zoom and an electronic zoom.
  • FIG. 15 is a flowchart showing an example of an imaging process of the imaging device.
  • Reconfigurable hardware circuits can include logical AND, logical OR, logical XOR, logical NAND, logical NOR, and other logical operations, as well as flip-flops, registers, field programmable gate arrays (FPGAs), programmable logic arrays (PLAs), and the like Storage elements, etc.
  • FIG. 2 shows an example of the functional blocks of the UAV 10.
  • UAV 10 includes UAV control unit 30, memory 37, communication interface 36, propulsion unit 40, GPS receiver 41, inertial measurement device 42, magnetic compass 43, barometric altimeter 44, temperature sensor 45, humidity sensor 46, universal joint 50, The imaging device 60 and the imaging device 100.
  • the lens driving unit 213 moves at least a part or all of the zoom lens 211 along an optical axis via a mechanism member such as a cam ring and a guide shaft.
  • the lens control section 220 drives at least one of the lens driving section 212 and the lens driving section 213 in accordance with a lens control instruction from the imaging section 102, and causes at least one of the focusing lens 210 and the zoom lens 211 to follow the optical axis direction through a mechanism member. Move to perform at least one of a zoom action and a focus action.
  • the lens control instruction is, for example, a zoom control instruction and a focus control instruction.
  • the zoom magnification may be an optical zoom magnification, an electronic zoom magnification, or a combination of an optical zoom magnification and an electronic zoom magnification.
  • Optical zoom magnification refers to the magnification from the wide-angle end.
  • the electronic zoom magnification refers to a magnification of an image output from the image sensor 120.
  • the first zoom magnification is 2 times
  • the second zoom magnification is 1 times.
  • the zoom magnification of the imaging device 100 at the first time point is 2 times
  • the distance (first focusing distance) from the imaging device 100 to the subject 500 is L1.
  • the UAV 10 is moved in the imaging direction so that the size of the subject 500 on the image surface at 2 times is the same as the size of the subject 500 on the image surface at 1 time.
  • the determination section 32 may acquire data of a zoom tracking curve of each focus distance stored in the memory 222 of the lens section 200, and determine a movement tracking curve based on the acquired data, the movement tracking curve representing The focus setting value of the imaging device 100 and the zoom setting value of the imaging device 100 at each time point of two time points.
  • the UAV 10 can fly in the imaging direction of the imaging device 100 from a first time point to a second time point.
  • the imaging control unit 110 may control the zoom lens 211 and the focusing lens 210 from the first time point to the second time point, so that the imaging device 100 maintains the subject on the image plane at the first point in the focusing state at the first time point. And the state of focusing on the subject located at the first place.
  • the determination section 32 may determine the focus setting value of the imaging device 100 at each time point from the first time point to the second time point.
  • the UAV control unit 30 can control the zoom lens 211 to change the focal distance of the lens system L to n ⁇ f, and control the focusing lens 210 to change the distance from the image side focal point to the image plane of the lens system L to n ⁇ b. .
  • the size of the subject on the image plane and the state of focusing on the subject at the first point while maintaining the size of the subject at the first point in focus at the first time point can capture the subject .
  • the determination unit 32 may further be based on the first information indicating the relationship between the position of the zoom lens 211 and the position of the focus lens 210 in the distance a, and the position of the zoom lens 211 and the position of the focus lens 210 in the distance n ⁇ a.
  • the second information of the relationship is to determine the focus setting value for changing the focal distance f of the lens system L to n ⁇ f, and the distance b from the focal point on the image side of the lens system L to the image plane to n ⁇ b.
  • zoom settings are to determine the focus setting value for changing the focal distance f of the lens system L to n ⁇ f, and the distance b from the focal point on the image side of the lens system L to the image plane to n ⁇ b.
  • the imaging apparatus 100 changes the zoom magnification of the lens system from the first zoom magnification to the second zoom magnification.
  • the first zoom magnification is set to Z 1
  • the second zoom magnification is set to Z 2
  • the focus setting value of the focus lens 210 at the first zoom magnification Z 1 is set to S 1
  • the focus setting value of the focus lens 210 at the second zoom magnification Z 2 is set to S 2 .
  • the determination section 32 may determine S 2 based on n, r 1 , r 2, and S 1 .
  • the focus distance at the first time point is set to d 1
  • the inverse of the focus distance d 1 is set to P 1
  • the focus distance at the second time point is set to d 2
  • the inverse number of the focus distance d 2 is set to P2, set the closest focusing distance to d n and the constant to div.
  • n, r 1 , r 2 , S 1 , S 2 , d 1 , d 2 , P 1 , P 2 , d n and div are real numbers.
  • equation (8) is substituted into equation (7), it becomes:
  • the UAV control section 30 may instruct the imaging apparatus 100 to control the focus lens 210 in accordance with S 2 .
  • the UAV control section 30 may control the focus lens 210 via the lens control section 220 so that the relationship between n, r 1 , r 2 , S 1, and S 2 satisfies a predetermined condition.
  • the determination section 32 may determine the focus setting value of the imaging device 100 and the zoom setting of the imaging device 100 at each time point from the first time point to the second time point. Value and the moving speed of UAV 10, so that the size of the subject on the image plane at the position corresponding to the second in-focus position captured by the imaging device 100 at the first time point and by the imaging device 100 at the second time point The size of the subject on the image plane at the captured second focus position satisfies a predetermined condition.
  • the predetermined condition in this case may be the size of the subject on the image plane at the position corresponding to the second in-focus position captured by the imaging device 100 at the first time point and the imaging by the imaging device 100 at the second time point
  • the condition that the size of the subject at the second focus position on the image plane is the same.
  • the moving image taken from the first point in time to the second point in time includes a change in the size of the background on the image plane while maintaining the subject of interest existing at the second focus position on the image plane.
  • the moving image includes the subject of interest existing at a position corresponding to the second focus position at the first time point, and the subject of interest existing at the second focus position at the second time point The body comes into focus.
  • the determination section 32 may determine from the second time point to the third time point Focus setting values of the focus lens 210 at various time points.
  • the determination unit 32 may determine the focus setting value of the focus lens 210 at each time point from the second time point to the third time point based on the focus distance at the second time point and the speed of the UAV 10.
  • the UAV 10 flies along the imaging direction of the imaging device 100 to change the distance from the subject 500 from 1.0 m to 2.0 m.
  • the imaging device 100 performs optical zoom by controlling the focus lens 210 and the zoom lens 211, so that the zoom magnification is changed from 1 ⁇ to 2 ⁇ , and the focus distance is changed from 1.0m to 2.0m.
  • the UAV 10 flies along the imaging direction of the imaging device 100 to change the distance from the subject from 2.0 m to 3.0 m.
  • the imaging device 100 performs electronic zoom to change the zoom magnification from 2 ⁇ to 3 ⁇ , and controls the focus lens 210 to change the focus distance from 2.0m to 3.0m.
  • the UAV control unit 30 may cause the imaging device 100 to perform the optical zoom after the imaging device 100 performs the electronic zoom.
  • the UAV control section 30 may change the zoom magnification of the image pickup device from the first zoom magnification to the first zoom magnification n by performing electronic zoom while the image pickup device 100 is moving from the first time point to the second time point.
  • the second zoom magnification, and the focus lens 210 is moved via the lens control unit 220, so that the focus distance of the imaging device 100 is changed from the first focus distance to a second focus distance n times the first focus distance.
  • the UAV 10 flies along the imaging direction of the imaging device 100 to change the distance from the subject 500 from 1.0 m to 2.0 m.
  • the imaging device 100 performs electronic zoom to change the zoom magnification from 1 ⁇ to 2 ⁇ , and controls the focus lens 210 to change the focus distance from 1.0m to 2.0m.
  • the UAV 10 flies along the imaging direction of the imaging device 100 to change the distance from the subject from 2.0 m to 3.0 m.
  • the imaging apparatus 100 performs optical zoom by controlling the focus lens 210 and the zoom lens 211, so that the zoom magnification is changed from 2 times to 3 times, and the focus distance is changed from 2.0 m to 3.0 m.
  • UAV 10 the maximum speed that UAV 10 can move is limited. Therefore, depending on the length of time T or the moving distance of UAV 10 from the first time point to the second time point, UAV 10 may not be able to move the moving distance during time T.
  • the maximum speed at which the zoom lens 211 can move is limited. Depending on the length of time T, the zoom lens 211 may not be able to move from the first zoom magnification to the second zoom magnification during the time T.
  • the determination unit 33 can determine whether the imaging device 100 can capture a moving image with a sliding zoom effect based on the time T, the first zoom magnification, the second zoom magnification, the first focus distance, and the second focus distance.
  • the UAV 10 can be moved across the subject, and the orientation of the imaging device 100 is controlled by the universal joint 50 so that the imaging direction of the imaging device 100 is toward the subject side.
  • the UAV 10 may be moved across the subject while controlling the orientation of the UAV 10 so that the imaging direction of the imaging device 100 is toward the subject side.
  • the UAV 10 may also move across the subject while controlling the orientation of the UAV 10 and control the posture of the imaging device 100 via the universal joint 50 so that the imaging direction of the imaging device 100 is toward the subject side.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Lens Barrels (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

一种控制装置,包括控制部,其控制摄像装置(100)的镜头系统(L)。由于摄像装置(100)移动而使从镜头系统(L)的物体侧焦点(F1)到被摄体(500)的距离a变为距离n×a的情况下,控制部可以将镜头系统(L)的焦点距离f变成焦点距离n×f,将从镜头系统(L)的像侧焦点(F2)到像面(121)的距离b变成距离n×b。镜头系统(L)可以具有变焦镜头系统(211)和聚焦镜头系统(210)。控制部可以通过控制变焦镜头系统(211),将镜头系统(L)的焦点距离f变成n×f,并通过控制聚焦镜头系统(210),将从镜头系统(L)的像侧焦点(F2)到像面(121)的距离b变成n×b。控制装置可以使摄像装置(100)更简单地拍摄出具有滑动变焦等效果的图像。

Description

控制装置、移动体、控制方法以及程序 技术领域
本发明涉及一种控制装置、移动体、控制方法以及程序。
背景技术
专利文献1描述了为了提供滑动变焦效果,而与相机的运动一致地使用图像分析来自动调节变焦功能。
专利文献1:日本特表2016-517639号公报
发明内容
【发明所要解决的技术问题】
期望可以使摄像装置更简单地拍摄出具有滑动变焦等效果的图像。
【用于解决课题的手段】
本发明的一个方面所涉及的控制装置可以包括控制部,其控制摄像装置的镜头系统。在由于摄像装置移动而使从镜头系统的物体侧焦点到被摄体的距离a变为n×a的情况下,控制部可以将镜头系统的焦点距离f变成n×f,将从镜头系统的像侧焦点到像面的距离b变成n×b。
镜头系统可以具有变焦镜头系统和聚焦镜头系统。控制部可以通过控制变焦镜头系统,将镜头系统的焦点距离变成n×f,并通过控制聚焦镜头系统,将从镜头系统的像侧焦点到像面的距离变成n×b。
控制部可以根据与对应于镜头系统的焦点距离的信息和对应于从镜头系统的物体侧焦点到被摄体的距离的信息相关联地表示聚焦镜头系统的聚焦设置值的设置信息,确定用于将从镜头系统的像侧焦点到像面的距离变成n×b的聚焦镜头系统的变焦设置值。
在使镜头系统的变焦倍率从第一变焦倍率改变为第二变焦倍率的情况下,在将第一变焦倍率设成Z 1、将第二变焦倍率设成Z 2、将第一变焦倍率与第二变焦倍率之比设成n=Z 2/Z 1、将第一变焦倍率时的聚焦镜头系统的聚焦设置值设成S 1、将第二变焦倍率时的聚焦镜头系统的聚焦设置值设成S 2、在根据设置信息 而确定的第一变焦倍率时将使聚焦镜头系统从无限远侧移动到最近侧的情况下的聚焦镜头系统的移动量设成r 1、在根据设置信息而确定的第二变焦倍率时将使聚焦镜头系统从无限远侧移动到最近侧的情况下的聚焦镜头系统的移动量设成r 2的情况下,控制部可以基于n、r 1、r 2以及S 1来确定S 2,并基于S 2来控制聚焦镜头系统。
控制部可以控制聚焦镜头系统,以满足S 2=(1/n)×(r 2/r 1)×S 1
控制装置可以包括确定部,其基于使摄像装置的变焦倍率从与焦点距离f对应的第一变焦倍率改变为与焦点距离n×f对应的第二变焦倍率所需的时间、第一变焦倍率、第二变焦倍率、表示距离a的信息以及表示距离n×a的信息,确定用于将镜头系统的焦点距离f变成n×f,将从镜头系统的像侧焦点到像面的距离b变成n×b的摄像装置的聚焦设置值以及摄像装置的变焦设置值。
确定部可以进一步基于表示距离a中的变焦镜头系统的位置与聚焦镜头系统的位置之间的关系的第一信息、以及表示距离n×a中的变焦镜头系统的位置与聚焦镜头系统的位置之间的关系的第二信息,确定用于将镜头系统L的焦点距离f变成n×f,将从镜头系统L的像侧焦点到像面的距离b变成n×b的摄像装置的聚焦设置值和摄像装置的变焦设置值。
距离a可以对应于从摄像装置到应在第一时间点对焦的第一对焦位置的距离。距离n×a可以对应于从摄像装置到应在第二时间点对焦的第二对焦位置的距离。确定部可以确定摄像装置的聚焦设置值和摄像装置的变焦设置值,以使由摄像装置在第一时间点拍摄的第一对焦位置处的被摄体在像面上的大小和由摄像装置在第二时间点拍摄的第二对焦位置处的被摄体在像面上的大小满足预定条件。
预定条件可以是由摄像装置在第一时间点拍摄的第一对焦位置处的被摄体在像面上的大小与由摄像装置在第二时间点拍摄的第二对焦位置处的被摄体在像面上的大小一致这一条件。
本发明的一个方面所涉及的移动体可以是搭载上述控制装置和摄像装置并进行移动的移动体。
控制部可以使移动体以预定速度移动,使得从镜头系统的物体侧焦点到被摄体的距离a变为n×a。
本发明的一个方面所涉及的控制方法,是一种控制摄像装置的镜头系统的控制方法,可以包括以下工序:在由于摄像装置移动而使从镜头系统的物体侧焦点到被摄体的距离a变为n×a的情况下,将镜头系统的焦点距离f变成n×f,将从镜头系统的像侧焦点到像面的距离b变成n×b。
本发明的一个方面所涉及的程序可以是一种用于使计算机作为上述控制装置发挥作用的程序。
根据本发明的一个方面,能够使摄像装置更简单地拍摄具有滑动变焦等效果的图像。
此外,上述发明内容未列举本发明的必要的全部特征。此外,这些特征组的子组合也可以构成发明。
附图说明
图1是示出无人驾驶航空器和远程操作装置的外观的一个示例的图。
图2是示出无人驾驶航空器的功能块的一个示例的图。
图3是示出无人驾驶航空器与被摄体的位置关系的一个示例的图。
图4是示出聚焦镜头的位置与变焦镜头的位置的关系的一个示例的图。
图5是用于说明镜头系统的焦点距离、从物体侧焦点到被摄体的距离、从像侧焦点到像面的距离的图。
图6是示出与焦点距离和对焦距离相关联地表示聚焦设置值的设置信息的一个示例的图。
图7是示出聚焦镜头的位置与变焦镜头的位置之间的关系的一个示例的图。
图8是示出变焦跟踪曲线与移动跟踪曲线的关系的一个示例的图。
图9A是示出由摄像装置在远摄侧拍摄的图像的一个示例的图。
图9B是示出由摄像装置在广角侧拍摄的图像的一个示例的图。
图10A是示出由摄像装置在远摄侧拍摄的图像的一个示例的图。
图10B是示出由摄像装置在广角侧拍摄的图像的一个示例的图。
图11A是示出由摄像装置在远摄侧拍摄的图像的一个示例的图。
图11B是示出由摄像装置在广角侧拍摄的图像的一个示例的图。
图12A是用于说明摄像装置组合光学变焦和电子变焦来进行摄像的方式的图。
图12B是用于说明摄像装置组合光学变焦和电子变焦来进行摄像的方式的图。
图12C是用于说明摄像装置组合光学变焦和电子变焦来进行摄像的方式的图。
图13是示出组合了光学变焦和电子变焦的情况下的聚焦镜头的位置与变焦镜头的位置之间的关系的一个示例的图。
图14是示出在光学变焦之后执行电子变焦的情况下的聚焦镜头的位置的变化的一个示例的图。
图15是示出摄像装置的摄像过程的一个示例的流程图。
图16是示出硬件构成的一个示例的图。
【符号说明】
10 UAV
20 UAV主体
30 UAV控制部
31 获取部
32 确定部
33 判断部
36 通信接口
37 存储器
40 推进部
41 GPS接收器
42 惯性测量装置
43 磁罗盘
44 气压高度计
45 温度传感器
46 湿度传感器
50 万向节
60 摄像装置
100 摄像装置
102 摄像部
110 摄像控制部
120 图像传感器
130 存储器
200 镜头部
210 聚焦镜头
211 变焦镜头
212,213 镜头驱动部
214,215 位置传感器
220 镜头控制部
222 存储器
300 远程操作装置
1200 计算机
1210 主机控制器
1212 CPU
1214 RAM
1220 输入/输出控制器
1222 通信接口
1230 ROM
具体实施方式
以下,通过发明的实施方式来说明本发明,但是以下的实施方式并不限定权利要求书所涉及的发明。此外,实施方式中所说明的特征组合的全部对于发明的解决方案未必是必须的。对本领域普通技术人员来说,显然可以对以下实施方式加以各种变更或改良。从权利要求书的描述显而易见的是,加以了这样的变更或改良的方式都可包含在本发明的技术范围之内。
权利要求书、说明书、说明书附图以及说明书摘要中包含作为著作权所保护对象的事项。任何人只要如专利局的文档或者记录所表示的那样进行这些文 件的复制,著作权人则不会提出异议。但是,在除此以外的情况下,保留一切的著作权。
本发明的各种实施方式可参照流程图及框图来描述,这里,方框可表示(1)执行操作的过程的阶段或者(2)具有执行操作的作用的装置的“部”。特定的阶段和“部”可以通过可编程电路和/或处理器来实现。专用电路可以包括数字和/或模拟硬件电路。可以包括集成电路(IC)和/或分立电路。可编程电路可以包括可重构硬件电路。可重构硬件电路可以包括逻辑AND、逻辑OR、逻辑XOR、逻辑NAND、逻辑NOR和其他逻辑操作,以及触发器、寄存器、现场可编程门阵列(FPGA),可编程逻辑阵列(PLA)之类的存储元件等。
计算机可读介质可以包括可以对由适宜的设备执行的指令进行存储的任意有形设备。其结果是,其上存储有指令的计算机可读介质包括一种包括指令的产品,该指令可被执行以创建用于执行流程图或框图所指定的操作的手段。作为计算机可读介质的示例,可以包括电子存储介质、磁存储介质、光学存储介质、电磁存储介质、半导体存储介质等。计算机可读介质的更具体示例可以包括软盘floppy(注册商标)disk、软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、电可擦除可编程只读存储器(EEPROM)、静态随机存取存储器(SRAM)、光盘只读存储器(CD-ROM)、数字通用光盘(DVD)、蓝光(RTM)盘、记忆棒、集成电路卡等。
计算机可读指令可以包括由一种或多种编程语言的任意组合描述的源代码或者目标代码中的任意一个。源代码或者目标代码包括传统的程序式编程语言。传统的程序式编程语言可以为汇编指令、指令集架构(ISA)指令、机器指令、与机器相关的指令、微代码、固件指令、状态设置数据、或者Smalltalk、JAVA(注册商标)、C++等面向对象编程语言以及“C”编程语言或者类似的编程语言。计算机可读指令可以在本地或者经由局域网(LAN)、互联网等广域网(WAN)提供给通用计算机、专用计算机或者其它可编程数据处理装置的处理器或可编程电路。处理器或可编程电路可以执行计算机可读指令,以创建用于执行流程图或框图所指定操作的手段。处理器的示例包括计算机处理器、处理单元、微处理器、数字信号处理器、控制器、微控制器等。
图1示出无人驾驶航空器(UAV)10及远程操作装置300的外观的一个示例。UAV 10包括UAV主体20、万向节50、多个摄像装置60、以及摄像装置100。万向节50及摄像装置100为摄像系统的一个示例。UAV 10,即移动体,是指包括在空中移动的飞行体、在地面上移动的车辆、在水上移动的船舶等的概念。在空中移动的飞行体是指不仅包括UAV、还包括在空中移动的其它的飞行器、飞艇、直升机等的概念。
UAV主体20包括多个旋翼。多个旋翼为推进部的一个示例。UAV主体20通过控制多个旋翼的旋转而使UAV 10飞行。UAV主体20使用例如四个旋翼来使UAV 10飞行。旋翼的数量不限于四个。另外,UAV 10也可以是没有旋翼的固定翼机。
摄像装置100为对包含在期望的摄像范围内的被摄体进行拍摄的摄像用相机。万向节50可旋转地支撑摄像装置100。万向节50为支撑机构的一个示例。例如,万向节50支撑摄像装置100,使其能够使用致动器而以俯仰轴旋转。万向节50支撑摄像装置100,使其还能够使用致动器而分别以滚转轴和偏航轴为中心旋转。万向节50可通过使摄像装置100以偏航轴、俯仰轴以及滚转轴中的至少一个为中心旋转,来改变摄像装置100的姿势。
多个摄像装置60是为了控制UAV 10的飞行而对UAV 10的周围进行拍摄的传感用相机。两个摄像装置60可以设置于UAV 10的机头、即正面。并且,其它两个摄像装置60可以设置于UAV 10的底面。正面侧的两个摄像装置60可以成对,起到所谓的立体相机的作用。底面侧的两个摄像装置60也可以成对,起到立体相机的作用。可以基于由多个摄像装置60拍摄的图像来生成UAV 10周围的三维空间数据。UAV 10所包括的摄像装置60的数量不限于四个。UAV 10包括至少一个摄像装置60即可。UAV 10也可以在UAV 10的机头、机尾、侧面、底面及顶面分别包括至少1个摄像装置60。摄像装置60中可设定的视角可大于摄像装置100中可设定的视角。摄像装置60也可以具有单焦点镜头或鱼眼镜头。
远程操作装置300与UAV 10通信,以远程操作UAV 10。远程操作装置300可以与UAV 10进行无线通信。远程操作装置300向UAV 10发送表示上升、下降、加速、减速、前进、后退、旋转等与UAV 10的移动有关的各种指令的指示信息。指示信息包括例如使UAV 10的高度上升的指示信息。指示信息可以 示出UAV 10应该位于的高度。UAV 10进行移动,以位于从远程操作装置300接收的指示信息所表示的高度。指示信息可以包括使UAV 10上升的上升指令。UAV 10在接受上升指令的期间上升。在UAV 10的高度已达到上限高度时,即使接受到上升指令,也可以限制UAV 10上升。
图2示出UAV 10的功能块的一个示例。UAV 10包括UAV控制部30、存储器37、通信接口36、推进部40、GPS接收器41、惯性测量装置42、磁罗盘43、气压高度计44、温度传感器45、湿度传感器46、万向节50、摄像装置60及摄像装置100。
通信接口36与远程操作装置300等其它装置通信。通信接口36可以从远程操作装置300接收包括对UAV控制部30的各种指令的指示信息。存储器37存储UAV控制部30对推进部40、GPS接收器41、惯性测量装置(IMU)42、磁罗盘43、气压高度计44、温度传感器45、湿度传感器46、万向节50、摄像装置60及摄像装置100进行控制所需的程序等。存储器37可以为计算机可读记录介质,可以包括SRAM、DRAM、EPROM、EEPROM、USB存储器及固态硬盘(SSD)等闪存中的至少一个。存储器37可以设置于UAV主体20的内部。其可以可拆卸地设置在UAV主体20上。
UAV控制部30按照储存在存储器37中的程序来控制UAV 10的飞行及拍摄。UAV控制部30可以由CPU或MPU等微处理器、以及MCU等微控制器等构成。UAV控制部30按照经由通信接口36从远程操作装置300接收到的指令来控制UAV 10的飞行及拍摄。推进部40推进UAV 10。推进部40具有多个旋翼以及使多个旋翼旋转的多个驱动电机。推进部40按照来自UAV控制部30的指令,经由多个驱动电机使多个旋翼旋转,以使UAV 10飞行。
GPS接收器41接收表示从多个GPS卫星发送的时间的多个信号。GPS接收器41根据所接收的多个信号来计算出GPS接收器41的位置(纬度及经度)、即UAV 10的位置(纬度及经度)。IMU 42检测UAV 10的姿势。IMU 42检测UAV 10的前后、左右以及上下的三轴方向的加速度和俯仰轴、滚转轴以及偏航轴的3轴方向的角速度,作为UAV 10的姿势。磁罗盘43检测UAV 10的机头的方位。气压高度计44检测UAV 10的飞行高度。气压高度计44检测UAV 10周围的气压,并将检测到的气压换算为高度,以检测高度。温度传感器45检测UAV 10周围的温度。湿度传感器46检测UAV 10周围的湿度。
摄像装置100包括摄像部102及镜头部200。除了光学变焦之外,摄像装置100还可以具有电子变焦功能。摄像装置100可以具有光学变焦功能和电子变焦功能中的至少一个。镜头部200为镜头装置的一个示例。摄像部102具有图像传感器120、摄像控制部110及存储器130。图像传感器120可以由CCD或CMOS构成。图像传感器120拍摄经由镜头部200成像的光学图像,并将所拍摄的图像输出至摄像控制部110。摄像控制部110可以由CPU或MPU等微处理器、MCU等微控制器等构成。摄像控制部110可以根据来自UAV控制部30的摄像装置100的动作指令来控制摄像装置100。摄像控制部110可以放大从图像传感器120输出的图像并剪切出图像的一部分,从而实现电子变焦。
存储器130可以为计算机可读记录介质,可以包括SRAM、DRAM、EPROM、EEPROM、USB存储器及固态硬盘(SSD)等闪存中的至少一个。存储器130储存摄像控制部110对图像传感器120等进行控制所需的程序等。存储器130可以设置在摄像装置100的壳体内部。存储器130可以可拆卸地设置在摄像装置100壳体上。
镜头部200具有聚焦镜头210、变焦镜头211、镜头驱动部212、镜头驱动部213和镜头控制部220。聚焦镜头210是聚焦镜头系统的一个示例。变焦镜头211是变焦镜头系统的一个示例。聚焦镜头210以及变焦镜头211可以包括至少一个镜头。聚焦镜头210和变焦镜头211的至少一部分或全部被配置为能够沿着光轴移动。镜头部200可以是被设置成能够相对摄像部102拆装的可更换镜头。镜头驱动部212经由凸轮环、引导轴等机构构件使聚焦镜头210的至少一部分或全部沿着光轴移动。镜头驱动部213经由凸轮环、引导轴等机构构件使变焦镜头211中的至少一部分或全部沿着光轴移动。镜头控制部220按照来自摄像部102的镜头控制指令来驱动镜头驱动部212和镜头驱动部213中的至少一个,并通过机构构件使聚焦镜头210和变焦镜头211中的至少一个沿着光轴方向移动,以执行变焦动作和聚焦动作中的至少一个。镜头控制指令例如是变焦控制指令和聚焦控制指令。
镜头部200还具有存储器222、位置传感器214以及位置传感器215。存储器222对经由镜头驱动部212和镜头驱动部213而移动的聚焦镜头210和变焦镜头211的控制值进行存储。存储器222可以包括SRAM、DRAM、EPROM、EEPROM及USB存储器等闪存中的至少一个。位置传感器214检测聚焦镜头 210的镜头位置。位置传感器214可以检测当前的聚焦位置。位置传感器215检测变焦镜头211的镜头位置。位置传感器215可以检测变焦镜头211的当前的变焦位置。
在如上所述的搭载在UAV 10上的摄像装置100中,在UAV 10移动期间,使用摄像装置100的变焦功能,对动态图像提供例如在改变背景在像面上的大小的同时保持受关注被摄体在像面上的大小那样的滑动变焦效果。
UAV控制部30包括获取部31、确定部32和判断部33。获取部31获取使摄像装置100的变焦倍率从第一变焦倍率改变为第二变焦倍率所需的时间T、第一变焦倍率和第二变焦倍率。获取部31可以获取预先存储在存储器130或存储器37等中的时间、第一变焦倍率和第二变焦倍率。获取部31可以经由远程操作装置300获取用户指定的时间T、第一变焦倍率和第二变焦倍率。
变焦倍率可以是光学变焦倍率、电子变焦倍率、或组合了光学变焦倍率与电子变焦倍率的倍率。光学变焦倍率是指从广角端开始的倍率。电子变焦倍率是指从图像传感器120输出的图像的放大率。
确定部32基于时间T、第一变焦倍率和第二变焦倍率,来确定从第一时间点到第二时间点的每个时间点的摄像装置100的聚焦设置值、摄像装置100的变焦设置值和UAV 10的移动速度。确定部32可以进一步基于表示摄像装置100在第一时间点的第一对焦距离的信息和表示其在第二时间点的第二对焦距离的信息,来确定从第一时间点到第二时间点的每个时间点的摄像装置100的聚焦设置值、摄像装置的变焦设置值和UAV 10的移动速度。在此,表示第一对焦距离的信息包括摄像装置100中到在第一时间点进入对焦状态的被摄体的距离、和在第一时间点使该被摄体进入对焦状态的聚焦镜头210的位置中的至少一个。表示第二对焦距离的信息包括摄像装置100到在第二时间点进入对焦状态的被摄体的距离、和在第二时间点使该被摄体进入对焦状态的聚焦镜头210的位置中的至少一个。对焦状态例如是指图像中的被摄体的对比度的评估值大于等于预定值的状态。
例如,第一变焦倍率为2倍,第二变焦倍率为1倍。如图3所示,设摄像装置100在第一时间点的变焦倍率为2倍,从摄像装置100到被摄体500的距离(第一对焦距离)为L1。而且,使UAV 10沿着摄像方向移动,以使2倍时的被摄体500在像面上的大小与1倍时的被摄体500在像面上的大小一致。这 种情况下,由于摄像装置100在第二时间点的变焦倍率为1倍,故在第二时间点从摄像装置100到被摄体500的距离(第二对焦距离)为L2(=L1/2)。也就是说,UAV 10沿着摄像方向移动第一对焦距离与第二对焦距离的差(L1-L2=L1)即可。
摄像装置100使变焦镜头211从第一时间点移动到第二时间点,来将变焦倍率从2倍改变为1倍。另外,摄像装置100从第一时间点到第二时间点使聚焦镜头210的对焦距离从第一对焦距离改变为第二对焦距离。第一对焦距离对应于从摄像装置100到应在第一时间点对焦的第一对焦位置的距离。第二对焦距离对应于从摄像装置100到应在第二时间点对焦的第二对焦位置的距离。另外,也可以代替摄像装置100以接近被摄体500的方式的移动,而以远离被摄体500的方式移动。这种情况下,例如第一变焦倍率为1倍,第二变焦倍率为2倍。
摄像装置100可以以从第一时间点到第二时间点维持静止的单个被摄体的对焦状态的方式进行拍摄。这种情况下,第一对焦位置与第二对焦位置相同。摄像装置100可以以在第一时间点对焦于第一被摄体、并在第二时间点对焦于距摄像装置100的距离与第一被摄体不同的第二被摄体的方式进行拍摄。这种情况下,第一对焦位置与第二对焦位置不同。
确定部32确定使UAV 10在时间T期间内移动第二对焦距离与第一对焦距离的差值所需的UAV 10的移动速度。
确定部32可以基于表示第一对焦距离中变焦镜头的位置与聚焦镜头的位置的关系的第一信息和表示第二对焦距离中变焦镜头的位置与聚焦镜头的位置的关系的第二信息,来确定从第一时间点到第二时间点的每个时间点的摄像装置100的聚焦设置值和摄像装置100的变焦设置值。
确定部32可以基于所谓的变焦跟踪曲线,来确定从第一时间点到第二时间点的每个时间点的摄像装置100的聚焦设置值和摄像装置100的变焦设置值。例如,如图4所示,确定部32可以基于对应于第一对焦距离的无限远侧对焦距离的变焦跟踪曲线602和对应于第二对焦距离的最近侧对焦距离的变焦跟踪曲线601,来确定移动跟踪曲线603,该移动跟踪曲线603表示从第一时间点到第二时间点的每个时间点的摄像装置100的聚焦设置值和摄像装置100的变焦设置值。摄像控制部110向镜头控制部220输出变焦动作指令和聚焦动作指令, 以从第一时间点到第二时间点,按照如图4所示的移动跟踪曲线603来控制变焦镜头的位置和聚焦镜头的位置。
确定部32可以获取存储在镜头部200的存储器222中的每个对焦距离的变焦跟踪曲线的数据,并基于所获取的数据来确定移动跟踪曲线,该移动跟踪曲线表示从第一时间点到第二时间点的每个时间点的摄像装置100的聚焦设置值和摄像装置100的变焦设置值。
在摄像装置100对产生所谓的滑动变焦效果的动态图像进行拍摄的情况下,UAV 10可以从第一时间点到第二时间点沿着摄像装置100的摄像方向飞行。摄像控制部110可以从第一时间点到第二时间点控制变焦镜头211和聚焦镜头210,以使摄像装置100维持在第一时间点处于对焦状态的第一地点的被摄体在像面上的大小和向位于第一地点的被摄体对焦的状态。确定部32可以确定从第一时间点到第二时间点的各个时间点的摄像装置100的聚焦设置值。
图5是用一个镜头系统L表现聚焦镜头210和变焦镜头211的图。H表示镜头系统L的主点。F1表示镜头系统L的物体侧焦点。F2表示镜头系统L的像侧焦点。f表示从主点H到物体侧焦点F1或像侧焦点F2的距离、即焦点距离。a表示从物体侧焦点F1到被摄体500的距离。b表示从像侧焦点F2到像面121的距离。在此情况下,根据牛顿成像公式,a、b和f满足以下关系。a、b和f分别为实数。
b=f 2×(1/a)
将第一时间点的第一变焦倍率设成Z 1,将接着第一变焦倍率的下一时间点的第二变焦倍率设成Z 2,将第一变焦倍率Z 1与第二变焦倍率Z 2之比设成n=Z 1/Z 2。在摄像装置100使变焦倍率从第一变焦倍率Z 1改变为第二变焦倍率Z 2的情况下,UAV控制部30控制UAV 10以使距离a变为距离n×a。摄像控制部110经由镜头控制部220控制变焦镜头211以使焦点距离f变为焦点距离n×f。
第二变焦倍率Z 2时的距离b’按照牛顿成像公式表示如下:
b’=(n×f) 2×(1/(n×a))=n×f 2×(1/a)=n×b
即,在摄像装置100使变焦倍率从第一变焦倍率Z 1改变为第二变焦倍率Z 2的情况下,摄像控制部110控制聚焦镜头210以使从镜头系统L的像侧焦点到像面的距离变为n×b即可。在从镜头系统L的物体侧焦点到被摄体的距离a变为n×a的情况下,UAV控制部30可以经由镜头控制部220控制变焦镜头211 和聚焦镜头210,以使镜头系统L的焦点距离f为n×f,并使从镜头系统L的像侧焦点到像面的距离b为n×b。UAV控制部30可以通过控制变焦镜头211,将镜头系统L的焦点距离变成n×f,并通过控制聚焦镜头210,将从镜头系统L的像侧焦点到像面的距离变成n×b。由此,在维持在第一时间点处于对焦状态的第一地点的被摄体在像面上的大小和对位于第一地点的被摄体对焦的状态下,摄像装置100能够拍摄被摄体。
确定部32可以基于使摄像装置100的变焦倍率从与焦点距离f对应的第一变焦倍率改变为与焦点距离n×f对应的第二变焦倍率所需的时间T、第一变焦倍率、第二变焦倍率、表示距离a的信息以及表示距离n×a的信息,确定用于将镜头系统L的焦点距离f变成n×f,将从镜头系统L的像侧焦点到像面的距离b变成n×b的聚焦设置值以及变焦设置值。
确定部32可以进一步基于表示距离a中的变焦镜头211的位置与聚焦镜头210的位置之间的关系的第一信息、和表示距离n×a中的变焦镜头的位置与聚焦镜头的位置之间的关系的第二信息,将镜头系统L的焦点距离f变成n×f,并确定用于将从镜头系统L的像侧焦点到像面的距离b变成n×b的聚焦设置值和变焦设置值。
确定部32可以进一步基于表示距离a中的变焦镜头211的位置与聚焦镜头210的位置之间的关系的第一信息、和表示距离n×a中的变焦镜头211的位置与聚焦镜头210的位置之间的关系的第二信息,确定用于将镜头系统L的焦点距离f变成n×f,将从镜头系统L的像侧焦点到像面的距离b变成n×b的聚焦设置值和变焦设置值。
距离a可以对应于从摄像装置100到应在第一时间点对焦的第一对焦位置的距离。距离n×a可以对应于从摄像装置100到应在第二时间点对焦的第二对焦位置的距离。在此情况下,确定部32可以确定用于将镜头系统L的焦点距离f变成n×f,并将从镜头系统L的像侧焦点到像面的距离b变成n×b的聚焦设置值和变焦设置值,以使由摄像装置100在第一时间点拍摄的第一对焦位置处的被摄体在像面上的大小和由摄像装置100在第二时间点拍摄的第二对焦位置处的被摄体在像面上的大小满足预定条件。预定条件可以是由摄像装置100在第一时间点拍摄的第一对焦位置处的被摄体在像面上的大小与由摄像装置 100在第二时间点拍摄的第二对焦位置处的被摄体在像面上的大小一致这一条件。
镜头系统L实际上由作为变焦镜头211或聚焦镜头210而发挥功能的多个镜头组构成。当变焦镜头211的位置变化时,会有从镜头系统L的像侧焦点到像面的距离b也发生变化的情况。根据变焦镜头211的位置的变化,摄像装置100可以根据变焦镜头211的位置的变化,使聚焦镜头210的位置变化,以使对焦距离不发生偏移。即,摄像装置100可以进行所谓的变焦跟踪控制。
确定部32可以根据与对应于镜头系统L的焦点距离的信息和对应于从镜头系统L的物体侧焦点到被摄体的距离a(对焦距离)的信息相关联地表示聚焦镜头210的聚焦设置值的设置信息,来确定用于将从镜头系统L的像侧焦点到像面的距离变成n×b的聚焦镜头210的聚焦设置值。设置信息可以是在摄像控制部110进行变焦跟踪控制的情况下所参照的信息。
图6示出了设置信息的一个示例。对焦距离d0例如表示无限远端。对焦距离d8表示最近端。设置信息可以与焦点距离和距离a相关联地示出用于驱动聚焦镜头210的步进电机的脉冲数作为聚焦镜头210的设置值S。距离Range表示在特定的焦点距离(变焦倍率)下,使聚焦镜头210从无限远侧移动到最近侧的情况下的聚焦镜头210的移动量r。根据焦点距离(变焦倍率)的大小,使聚焦镜头210从无限远侧移动到最近侧的情况下的聚焦镜头210的移动量发生变化。存储器130也可以存储如图6所示的设置信息。存储器130可以存储与特定的对焦距离对应的每个焦点距离的聚焦镜头210的聚焦设置值作为设置信息。在此情况下,确定部32也可以根据此设置信息,一一导出其他对焦距离中的特定的焦点距离(变焦倍率)的聚焦镜头210的聚焦设置值。存储器130例如可以将与无限远端对应的每个焦点距离的聚焦设置值、即与无限远端的变焦跟踪曲线对应的信息作为设置信息进行存储。决定部32可以根据与无限远端的变焦跟踪曲线对应的设置信息,一一导出其他对焦距离中的特定的焦点距离(变焦倍率)的聚焦镜头210的聚焦设置值。
图7表示以二维方式表示设置信息的所谓的变焦跟踪曲线的集合。以符号610表示的下限的边界与表示对焦距离为无限远端的情况下的变焦镜头211的位置(变焦设置值)与聚焦镜头210的位置(聚焦设置值)之间的关系的变焦跟踪曲线对应,以符号611表示的上限的边界与表示对焦距离为最近端的情况 下的变焦镜头211的位置(变焦设置值)与聚焦镜头210的位置(聚焦设置值)之间的关系的变焦跟踪曲线对应。变焦跟踪曲线610和变焦跟踪曲线611之间的宽度620与使聚焦镜头210以各自的变焦倍率从无限远侧移动到最近侧时的聚焦镜头210的移动量r对应。
从第一时间点到第二时间点,摄像装置100使镜头系统的变焦倍率从第一变焦倍率改变为第二变焦倍率。在此情况下,将第一变焦倍率设成Z 1,将第二变焦倍率设成Z 2,将第一变焦倍率与第二变焦倍率之比设成n=Z 2/Z 1。将第一变焦倍率Z 1时的聚焦镜头210的聚焦设置值设为S 1,将第二变焦倍率Z 2时的聚焦镜头210的聚焦设置值设为S 2。进而,将基于在变焦跟踪控制中参照的如图7所示的设置信息确定的、在第一变焦倍率Z 1时使聚焦镜头210从无限远侧移动到最近侧的情况下的聚焦镜头210的移动量(范围)设为r 1。此外,将基于此设置信息确定的、在第二变焦倍率Z 2时使聚焦镜头210从无限远侧移动到最近侧的情况下的聚焦镜头210的移动量设为r 2
在此情况下,确定部32可以基于n、r 1、r 2和S 1来确定S 2。在此,将第一时间点的对焦距离设为d 1,将对焦距离d 1的倒数设为P 1,将第二时间点的对焦距离设为d 2,将对焦距离d 2的倒数设为P2,将最近端的对焦距离设为d n,将常数设为div。在此,n、r 1、r 2、S 1、S 2、d 1、d 2、P 1、P 2、d n和div是实数。
在此情况下,能够定义下式:
P 1=div(S 1/r 1)……(1)
P 1=div(d n/d 1)……(2)
P 2=div(S 2/r 2)……(3)
P 2=div(d n/d 2)……(4)
若对式(3)进行变形,则变为:
S 2=(r 2×P 2)/div……(5)
若将式(4)代入式(5)中,则变为:
S 2=r 2×div(d n/d 2)/div=(d n/d 2)×r 2……(6)
由于d 2=n×d 1,所以式(6)变为:
S 2=d n/(n×d 1)×r 2……(7)
并且,d n/d 1通过式(1)及式(2)变为:
d n/d 1=S 1/r 1……(8)
若将式(8)代入式(7)中,则变为:
S 2=(1/n)×(r 2/r 1)×S 1……(9)
因此,确定部32可以按照S 2=(1/n)×(r 2/r 1)×S 1来确定S 2。UAV控制部30可以指示摄像装置100按照S 2控制聚焦镜头210。UAV控制部30可以经由镜头控制部220控制聚焦镜头210,以使n、r 1、r 2、S 1和S 2之间的关系满足预定条件。UAV控制部30可以开启镜头控制部220来控制聚焦镜头210,以满足S 2=(1/n)×(r 2/r 1)×S 1
图8示出了每个对焦距离的变焦跟踪曲线、将对焦距离从1.0m改变为2.0m的情况下的移动跟踪曲线630和将对焦距离从2.0m改变为4.0m的情况下的移动跟踪曲线631的一个示例。在摄像装置100移动期间,镜头控制部220可以根据例如移动跟踪曲线630或移动跟踪曲线631来控制聚焦镜头210和变焦镜头211。
确定部32可以确定从第一时间点到第二时间点的每个时间点的摄像装置100的聚焦设置值、摄像装置100的变焦设置值和UAV 10的移动速度,以使由摄像装置100在第一时间点拍摄的第一对焦位置处的被摄体在像面上的大小和由摄像装置100在第二时间点拍摄的第二对焦位置处的被摄体在像面上的大小满足预定条件。预定条件可以是由摄像装置100在第一时间点拍摄的第一对焦位置处的被摄体在像面上的大小与由摄像装置100在第二时间点拍摄的第二对焦位置处的被摄体在像面上的大小一致这一条件。
摄像装置100可以以从第一时间点到第二时间点接近被摄体的方式进行拍摄。在第一对焦位置与第二对焦位置相同的情况下,摄像装置100可以在相对于被摄体移动的同时进行拍摄,以使第一对焦距离比第二对焦距离更长。在此情况下,摄像装置100例如在第一时间点以第一对焦距离和第一变焦倍率拍摄如图9A所示的图像700,并在第二时间点以第二对焦距离和小于第一变焦倍率的第二变焦倍率拍摄如图9B所示的图像701。由此,从第一时间点到第二时间点拍摄的动态图像包括背景在像面上的大小发生改变的同时维持所关注的被摄体500在像面上的大小这样的表现。
在第一对焦位置不同于第二对焦位置的情况下,确定部32可以确定从第一时间点到第二时间点的每个时间点的摄像装置100的聚焦设置值、摄像装置100的变焦设置值和UAV 10的移动速度,以使由摄像装置100在第一时间点拍摄 的第一对焦位置处的被摄体在像面上的大小和由摄像装置100在第二时间点拍摄的第二对焦位置处的被摄体在像面上的大小满足预定条件。在这种条件下,从第一个时间点到第二个时间拍摄的动态图像包括背景在像面上的大小发生改变的同时从在第一时间点对焦到存在于第一对焦位置处的第一受关注被摄体的状态变为在第二时间点对焦到存在于第二对焦位置处的第二受关注被摄体的状态的表现。
第一受关注被摄体也可以与第二受关注被摄体相同。也就是说,在第一时间点存在于第一对焦位置处的受关注被摄体也可以在第二时间点移动到第二对焦位置。例如,摄像装置100在第一时间点以第一对焦距离和第一变焦倍率拍摄包括如图10A所示的处于对焦状态的被摄体500的图像710。在第二时间点以第二对焦距离和小于第一变焦倍率的第二变焦倍率拍摄包括如图10B所示的处于对焦状态的被摄体500的图像711。由此,从第一时间点到第二时间点拍摄的动态图像包括背景在像面上的大小发生改变的同时维持在第一时间点到第二时间点的期间内移动的被摄体500在像面上的大小这样的表现。
在第一对焦位置不同于第二对焦位置的情况下,确定部32可以确定从第一时间点到第二时间点的每个时间点的摄像装置100的聚焦设置值、摄像装置100的变焦设置值和UAV 10的移动速度,以使由摄像装置100在第一时间点拍摄的第一对焦位置处的被摄体在像面上的大小和由摄像装置100在第二时间点拍摄的与第一对焦位置对应的位置处的被摄体在像面上的大小满足预定条件。
这种情况下的预定条件可以是由摄像装置100在第一时间点拍摄的第一对焦位置处的被摄体在像面上的大小与由摄像装置100在第二时间点拍摄的与第一对焦位置对应的位置处的被摄体在像面上的大小一致这一条件。在这种条件下,从第一时间点到第二时间点拍摄的动态图像包括背景在像面上的大小发生改变的同时维持存在于第一对焦位置处的受关注被摄体在像面上的大小这样的表现。该动态图像包括在第一时间点,第一对焦位置处的受关注被摄体进入对焦状态,而在第二时间点,存在于第二对焦位置处的另一受关注被摄体进入对焦状态的表现。例如,摄像装置100在第一时间点以第一对焦距离和第一变焦倍率拍摄包括如图11A所示的进入对焦状态的被摄体500和处于对焦状态的被摄体501的图像720。进一步地,在第二时间点以第二对焦距离和小于第一变 焦倍率的第二变焦倍率拍摄包括如图11B所示的处于对焦状态的被摄体500和未处于对焦状态的被摄体501的图像721。
在第一对焦位置不同于第二对焦位置的情况下,确定部32可以确定从第一时间点到第二时间点的每个时间点的摄像装置100的聚焦设置值、摄像装置100的变焦设置值和UAV 10的移动速度,以使由摄像装置100在第一时间点拍摄的与第二对焦位置对应的位置处的被摄体在像面上的大小和由摄像装置100在第二时间点拍摄的第二对焦位置处的被摄体在像面上的大小满足预定条件。
这种情况下的预定条件可以是由摄像装置100在第一时间点拍摄的与第二对焦位置对应的位置处的被摄体在像面上的大小与由摄像装置100在第二时间点拍摄的第二对焦位置处的被摄体在像面上的大小一致这一条件。在这种条件下,从第一时间点到第二时间点拍摄的动态图像包括背景在像面上的大小发生改变的同时维持存在于第二对焦位置处的受关注被摄体在像面上的大小这样的表现。该动态图像包括在第一时间点,存在于与第二对焦位置对应的位置处的受关注被摄体未处于对焦状态,而在第二时间点存在于第二对焦位置处的受关注被摄体进入对焦状态这样的表现。
与向广角侧变焦的情况相比,向远摄侧变焦的情况更难获得对焦状态。其中一个原因是,在向远摄侧变焦的情况下,开始滑动变焦时,难以找到待对焦的被摄体。因此,优选地,第一时间点的第一对焦距离比第二时间点的第二对焦距离更长。也就是说,优选地,从第一时间点到第二时间点,UAV 10以接近受关注被摄体的方式进行移动,并由摄像装置100进行拍摄。由此,从第一时间点到第二时间点,易于维持受关注被摄体的对焦状态。
例如,使摄像装置100实际上相对于被摄体移动,由获取部31获取从第一时间点到第二时间点的对焦距离。随后,还可以使摄像装置100再次相对于被摄体移动,使摄像装置100拍摄产生滑动变焦效果的动态图像。在这种情况下,当摄像装置100以接近被摄体的方式进行移动的期间,从远摄侧到广角侧改变变焦倍率,获取部31可以获取对焦距离。由此,摄像装置100更容易获取用于从第一时间点到第二时间点对焦于被摄体的对焦距离。另外,在摄像装置100拍摄获得滑动变焦效果的动态图像的情况下,在摄像装置100以远离被摄体的方式进行移动的期间,可以根据预先获取的对焦距离,控制聚焦镜头和变焦镜头,并从广角侧到远摄侧改变变焦倍率来进行拍摄。
确定部32可以基于时间T、第一变焦倍率和第二变焦倍率,确定光学变焦和电子变焦的各个控制值,作为从第一时间点到第二时间点的每个时间点的摄像装置100的变焦设置值。确定部32可以确定光学变焦和电子变焦的各个控制值,作为摄像装置100的变焦设置值,以从光学变焦切换到电子变焦。确定部32可以确定光学变焦和电子变焦的各个控制值,作为摄像装置100的变焦设置值,以便从电子变焦切换到光学变焦。
确定部32可以基于时间T、第一变焦倍率和第二变焦倍率,来确定从第一时间点到第二时间点的各个时间点的聚焦镜头210的聚焦设置值和变焦镜头211的变焦设置值。确定部32可以根据聚焦镜头210的位置和变焦镜头211的位置之间的预定关系,来确定从第一时间点到第二时间点的各个时间点的聚焦镜头210的聚焦设置值和变焦镜头211的变焦设置值。
确定部32可以确定从第一时间点到第二时间点的各个时间点的聚焦设置值和变焦设置值,以使由摄像装置在第一时间点拍摄的第一对焦位置处的被摄体在像面上的大小和由摄像装置在第二时间点拍摄的第二对焦位置处的被摄体在像面上的大小满足预定条件。预定条件可以是由摄像装置100在第一时间点拍摄的第一对焦位置处的被摄体在像面上的大小与由摄像装置100在第二时间点拍摄的第二对焦位置处的被摄体在像面上的大小一致这一条件。
在摄像装置100从第二时间点到第三时间点通过电子变焦使变焦倍率从第二变焦倍率改变为第三变焦倍率的情况下,确定部32可以确定从第二时间点到第三时间点的各个时间点的聚焦镜头210的聚焦设置值。确定部32可以基于第二时间点的对焦距离以及UAV 10的速度,确定从第二时间点到第三时间点的各个时间点的聚焦镜头210的聚焦设置值。
UAV控制部30可以在摄像装置100从第一时间点到第二时间点移动期间,根据聚焦镜头210的位置和变焦镜头211的位置之间的预定关系(例如变焦跟踪曲线),经由镜头控制部220使聚焦镜头210和变焦镜头211移动,从而使摄像装置100的变焦倍率从第一变焦倍率改变为第一变焦倍率n倍的第二变焦倍率,并且使摄像装置100的对焦距离从第一对焦距离改变为第一对焦距离n倍的第二对焦距离。
进而,UAV控制部30可以在摄像装置100从第二时间点到第三时间点移动期间,通过执行电子变焦,使摄像装置100的变焦倍率从第二变焦倍率变化 至第一变焦倍率m倍的第三变焦倍率,并且通过使聚焦镜头210移动,使摄像装置100的对焦距离从第二对焦距离改变为第一对焦距离m倍的第三对焦距离。在此,电子变焦可以通过改变从图像传感器120输出的图像中剪切的大小来实现。摄像装置100在执行电子变焦期间,可以移动聚焦镜头210,以根据距被摄体的距离来改变对焦距离,而不执行光学变焦。由此,摄像装置100可以利用电子变焦对产生滑动变焦效果的动态图像进行摄像。
例如,如图12A所示,UAV 10沿着摄像装置100的摄像方向飞行,以使距被摄体500的距离从1.0m改变为2.0m。在此期间,摄像装置100通过控制聚焦镜头210和变焦镜头211,执行光学变焦,使变焦倍率从1倍改变为2倍,使对焦距离从1.0m改变为2.0m。进而,UAV 10沿着摄像装置100的摄像方向飞行以使距被摄体的距离从2.0m改变为3.0m。在此期间,摄像装置100执行电子变焦,使变焦倍率从2倍改变为3倍,通过控制聚焦镜头210,使对焦距离从2.0m改变为3.0m。
UAV控制部30也可以在使摄像装置100执行电子变焦后,使摄像装置100执行光学变焦。在此情况下,UAV控制部30可以在摄像装置100从第一时间点到第二时间点移动期间,通过执行电子变焦,使摄像装置的变焦倍率从第一变焦倍率变化至第一变焦倍率n倍的第二变焦倍率,并且经由镜头控制部220使聚焦镜头210移动,从而使摄像装置100的对焦距离从第一对焦距离改变为第一对焦距离n倍的第二对焦距离。
进而,UAV控制部30可以在摄像装置100从第二时间点到第三时间点移动期间,根据聚焦镜头210的位置和变焦镜头211的位置之间的预定关系使聚焦镜头210和变焦镜头211移动,从而使摄像装置100的变焦倍率从第二变焦倍率改变为第一变焦倍率m倍的第三变焦倍率,并且使摄像装置100的对焦距离从第二对焦距离改变为第一对焦距离m倍的第三对焦距离。
确定部32可以基于使摄像装置100的变焦倍率从第一变焦倍率改变为第二变焦倍率所需的时间T、第一变焦倍率、第二变焦倍率、表示第一对焦距离的信息以及表示第二对焦距离的信息,来确定从第一时间点到第二时间点的各个时间点的摄像装置100的聚焦设置值。确定部32可以基于使摄像装置100的变焦倍率从第二变焦倍率改变为第三变焦倍率所需的时间、第二变焦倍率、第三变焦倍率、表示第二对焦距离的信息以及表示第三对焦距离的信息,来确定从 第二时间点到第三时间点的各个时间点的聚焦设置值和变焦设置值。确定部32可以进一步基于表示第二对焦距离中变焦镜头211的位置与聚焦镜头210的位置之间的关系的第一信息,和表示第三对焦距离中变焦镜头211的位置与聚焦镜头210的位置之间的关系的第二信息,来确定从第二时间点到第三时间点的各个时间点的聚焦设置值和变焦设置值。
例如,如图12B所示,UAV 10沿着摄像装置100的摄像方向飞行,以使距被摄体500的距离从1.0m改变为2.0m。在此期间,摄像装置100执行电子变焦,使变焦倍率从1倍改变为2倍,通过控制聚焦镜头210,使对焦距离从1.0m改变为2.0m。进而,UAV 10沿着摄像装置100的摄像方向飞行以使距被摄体的距离从2.0m改变为3.0m。在此期间,摄像装置100通过控制聚焦镜头210和变焦镜头211来执行光学变焦,使变焦倍率从2倍改变为3倍,使对焦距离从2.0m改变为3.0m。
UAV控制部30可以使摄像装置100在至少一部分期间同时执行光学变焦和电子变焦。UAV控制部30可以在摄像装置100从第一时间点到第二时间点移动期间,通过执行摄像装置100的电子变焦,并且根据聚焦镜头210的位置和变焦镜头211的位置之间的预定关系(变焦跟踪曲线),经由镜头控制部220使聚焦镜头210和变焦镜头211移动,从而使摄像装置100的变焦倍率从第一变焦倍率改变为第一变焦倍率n倍的第二变焦倍率,并且使摄像装置100的对焦距离从第一对焦距离改变为第一对焦距离n倍的第二对焦距离。
确定部32可以基于使摄像装置100的变焦倍率从第一变焦倍率改变为第二变焦倍率所需的时间T、第一变焦倍率、第二变焦倍率、表示第一对焦距离的信息以及表示第二对焦距离的信息,来确定从第一时间点到第二时间点的各个时间点的聚焦设置值和变焦设置值。确定部32可以进一步基于表示第一对焦距离中变焦镜头211的位置与聚焦镜头210的位置之间的关系的第一信息,和表示第二对焦距离中变焦镜头211的位置与聚焦镜头210的位置之间的关系的第二信息,来确定从第一时间点到第二时间点的各个时间点的聚焦设置值和变焦设置值。
例如,如图12C所示,UAV 10沿着摄像装置100的摄像方向飞行,以使距被摄体500的距离从1.0m改变为3.0m。在此期间,摄像装置100执行电子 变焦和光学变焦,使变焦倍率从1倍改变为3倍,使对焦距离从1.0m改变为3.0m。
图13是示出聚焦镜头210位置与变焦镜头211位置之间的关系的一个示例的图。图13示出了对焦距离为1.0m时的变焦跟踪曲线640、对焦距离为2.0m时的变焦跟踪曲线641和对焦距离为3.0m时的移动跟踪曲线643。
如图12A所示,在使UAV 10到被摄体500的距离从1.0m改变为2.0,变焦倍率从1倍改变为2倍的情况下,确定部32例如可以基于对焦距离为1.0m时的变焦跟踪曲线640和对焦距离为2.0m时的变焦跟踪曲线641,来导出表示使变焦倍率从1倍改变为2倍的情况下的变焦镜头211的位置与聚焦镜头210的位置之间的关系的移动跟踪曲线643。确定部32还可以通过电子变焦来确定使变焦倍率从2倍改变为3倍的情况下的聚焦镜头210的聚焦设置值。由于变焦镜头211不移动,因此确定部32可以确定聚焦镜头210的聚焦设置值,以使聚焦镜头210的位置如符号644所示的直线那样变化。
图14示出在摄像装置100执行光学变焦后执行电子变焦的情况下的聚焦镜头210的位置的变化的情况。如图14所示,UAV控制部30可以在摄像装置100的对焦距离从1.0m改变为2.0m期间,经由镜头控制部220使聚焦镜头210沿着基于变焦跟踪曲线确定的曲线650移动。进而,UAV控制部30可以在摄像装置100的对焦距离从2.0m改变为3.0m的期间,经由镜头控制部220使聚焦镜头210沿着基于摄像装置100(UAV 10)的移动速度确定的曲线651移动。
在此,UAV 10可以移动的最大速度是有限制的。因此,根据时间T的长度、或从第一时间点到第二时间点的UAV 10的移动距离,UAV 10在时间T的期间内可能无法移动该移动距离。
变焦镜头211可以移动的最大速度是有限制的。根据时间T的长度,变焦镜头211在时间T期间内可能无法从第一变焦倍率移动到第二变焦倍率。
变焦镜头211可以移动的最小速度也是有限制的。变焦镜头211在时间T内可能无法从第一变焦倍率移动到第二变焦倍率。也就是说,为了在时间T内使变焦镜头211移动,变焦镜头211的速度可能会极慢。
在使UAV 10从第一时间点到第二时间点移动的路线上存在障碍物的情况下,UAV 10可能无法在路线上移动。
这样,根据时间T、第一变焦倍率、第二变焦倍率、第一对焦距离和第二对焦距离,摄像装置100可能无法拍摄获得滑动变焦效果的动态图像。
因此,判断部33可以基于时间T、第一变焦倍率、第二变焦倍率、第一对焦距离和第二对焦距离,来判断摄像装置100是否能够拍摄获得滑动变焦效果的动态图像。
判断部33可以基于时间T、第一变焦倍率、第二变焦倍率、变焦镜头211的最小速度和最大速度中的至少一个,判断是否可以在时间T内使摄像装置100的变焦倍率从第一变焦倍率改变为第二变焦倍率。在判断部33判断为能够在时间T内使摄像装置100的变焦倍率从第一变焦倍率改变为第二变焦倍率的情况下,确定部32可以确定从第一时间点到第二时间点的每个时间点的摄像装置100的聚焦设置值、摄像装置100的变焦设置值和UAV 10的移动速度。
判断部33可以基于时间T、第一对焦距离与第二对焦距离的差和UAV 10的最大速度,判断UAV 10是否能够在时间T内移动第一对焦距离与第二对焦距离的差。在判断部33判断为UAV 10能够在时间T内移动第一对焦距离与第二对焦距离的差值的情况下,确定部32可以确定从第一时间点到第二时间点的每个时间点的摄像装置100的聚焦设置值、摄像装置100的变焦设置值和UAV 10的移动速度。
判断部33可以判断在使UAV 10移动第一对焦距离与第二对焦距离的差值的路径上是否存在障碍物。在判断部33判断为路径上没有障碍物的情况下,可以确定从第一时间点到第二时间点的每个时间点的摄像装置100的聚焦设置值、摄像装置的变焦设置值和UAV 10的移动速度。判断部33可以基于存储在存储器37中的三维地图和UAV 10的位置信息,来判断使UAV 10移动第一对焦距离与第二对焦距离的差值的路径上是否存在障碍物。判断部33可以基于摄像装置100或由作为立体相机的摄像装置60拍摄的图像,来判断使UAV 10移动第一对焦距离与第二对焦距离的差值的路径上是否存在障碍物。
图15是示出搭载在UAV 10上的摄像装置100的摄像过程的一个示例的流程图。
UAV 10开始飞行(S100)。UAV控制部30接收来自远程操作装置300的模式设置指令,将摄像装置100的摄像模式设置为滑动变焦模式(S102)。UAV控制部30经由在远程操作装置300的显示部上显示的摄像装置100的实时取景 来接受对受关注被摄体的选择(S104)。UAV控制部30可以具有接受部,其从由摄像装置100拍摄的图像中接受受关注被摄体。接受部也可以从图像中接受多个受关注被摄体的选择。接收部可以接受滑动变焦开始时间点的受关注被摄体、和滑动变焦结束时间点的受关注被摄体的选择。接收部可以接受从滑动变焦开始时间点到滑动变焦结束时间点的各个时间点的受关注被摄体的选择。
UAV控制部30经由远程操作装置300,接受第一时间点(滑动变焦开始时间点)的第一变焦倍率、第二时间点(滑动变焦结束时间点)的第二变焦倍率、和作为滑动变焦摄像时间的时间T并进行设置(S106)。UAV控制部30可以按照预先存储在存储器37等中的设置信息,来设置第一变焦倍率、第二变焦倍率和时间T。UAV控制部30可以仅接受是从远摄侧改变为广角侧还是从广角侧改变为远摄侧。UAV控制部30可以基于是从远摄侧改变为广角侧,还是从广角侧改变为远摄侧,来将预定的远摄侧的变焦倍率和广角侧的变焦倍率设置为第一时间点和第二时间点的变焦倍率。UAV控制部30可以从预定的多个候选时间中接受时间T。UAV控制部30例如可以通过从长时间模式、中等时间模式和短时间模式中接受期望的时间模式,来设置时间T。
获取部31获取表示对焦距离的信息,该对焦距离为从摄像装置100到受关注被摄体的距离(108)。获取部31可以获取表示距第一时间点的受关注被摄体的第一对焦距离的信息。获取部31可以基于第一变焦倍率、第二变焦倍率和第一对焦距离,来导出第二对焦距离。获取部31可以通过将第一对焦距离乘以第一变焦倍率和第二变焦倍率的比,来导出第二对焦距离。
判断部33基于时间T、第一变焦倍率、第二变焦倍率、第一对焦距离和第二对焦距离,来判断摄像装置100是否能够拍摄获得滑动变焦效果的动态图像(S110)。判断部33可以基于时间T、第一变焦倍率、第二变焦倍率、第一对焦距离和第二对焦距离,来判断摄像装置100是否能够拍摄获得滑动变焦效果的动态图像。
判断部33可以基于时间T、第一变焦倍率、第二变焦倍率、变焦镜头211的最小速度和最大速度中的至少一个,判断是否可以在时间T内使摄像装置100的变焦倍率从第一变焦倍率改变为第二变焦倍率。判断部33可以基于时间T、第一对焦距离与第二对焦距离的差和UAV 10的最大速度,判断UAV 10是否能 够在时间T内移动第一对焦距离与第二对焦距离的差。判断部33可以判断在使UAV 10移动第一对焦距离与第二对焦距离的差值的路径上是否存在障碍物。
在判断部33判断为摄像装置100不能拍摄获得滑动变焦效果的动态图像的情况下,经由远程操作装置300向用户通知设置变更请求。判断部33可以向用户通知能够拍摄滑动变焦的时间T、第一对焦距离或变焦倍率。在判断部33接受来自用户的设置变更请求(S118)的情况下,UAV控制部30按照设置变更请求,重新设置变焦倍率和时间(S106)。UAV控制部30在接受到来自用户的UAV 10的移动指令时,使UAV 10相对于被摄体移动,以调整距被摄体的距离。
在没有设置变更请求的情况下,判断部33经由远程操作装置300,向用户通知表示不能拍摄滑动变焦的错误(S120)。
在能够拍摄滑动变焦的情况下,确定部32确定从第一时间点到第二时间点的每个时间点的摄像装置100的聚焦设置值、摄像装置100的变焦设置值和UAV 10的移动速度(S112)。确定部32可以基于第一时间点的第一焦点距离下的移动跟踪曲线和第二时间点的第二焦点距离下的移动跟踪曲线,来确定从第一时间点到第二时间点的每个时间点的摄像装置100的聚焦设置值、摄像装置100的变焦设置值和UAV 10的移动速度。
UAV控制部30基于从第一时间点到第二时间点的每个时间点的摄像装置100的聚焦设置值、摄像装置100的变焦设置值和UAV 10的移动速度,来控制变焦镜头211的位置、聚焦镜头210的位置和UAV 10的移动(S114)。由此,摄像装置100在从第一时间点到第二时间点变更距被摄体的距离的期间,变更变焦倍率和焦点距离。例如,摄像装置100以从第一时间点第二时间点移动的同时维持受关注被摄体在像面上的大小的方式进行拍摄。由此,摄像装置100能够在改变背景大小或模糊量的同时拍摄维持了受关注被摄体在像面上的大小和对焦状态的动态图像。
需要说明的是,在上述示例中,已经描述了UAV 10沿着摄像装置100的摄像方向移动的示例。然而,UAV 10可以以横穿被摄体的方式进行移动,并由万向节50控制摄像装置100的姿势以使摄像装置100的摄像方向朝向被摄体侧。UAV 10也可以在以横穿被摄体的方式进行移动的同时,控制UAV 10的朝向以使摄像装置100的摄像方向朝向被摄体侧。UAV 10也可以在以横穿被摄体的方式进行移动的同时,控制UAV 10的朝向并经由万向节50控制摄像装置100 的姿势以使摄像装置100的摄像方向朝向被摄体侧。UAV 10可以在上升或下降的同时,控制经由万向节50调节的摄像装置100的姿势和UAV 10的朝向中的至少一个以使摄像装置100的摄像方向朝向被摄体侧。从图4可以理解,可移动跟踪的范围例如在变焦跟踪曲线601与变焦跟踪曲线602之间。由此,可设置为UAV 10能够在可移动跟踪的范围内移动。可将该可移动范围设置为三维空间区域。也就是说,通过使用移动跟踪模式,可以控制UAV 10的可移动区域。可以将UAV 10的可移动区域设置为以被摄体为中心的三维空间上的空心球体或三维空间上的空心半球。可以基于时间T、第一变焦倍率、第二变焦倍率、变焦镜头211的最低速度、变焦镜头211的最大速度和UAV 10的最大速度中的至少一个来设置UAV 10的可移动区域。
摄像装置100也可以从第一时间点到第二时间点调整光圈。确定部32可以基于时间T、第一变焦倍率、第二变焦倍率、第一对焦距离和第二对焦距离,来确定从第一时间点到第二时间点的各个时间点的摄像装置100的光圈值。确定部32可以确定从第一时间点到第二时间点的每个时间点的摄像装置100的光圈的控制值,以使从第一时间点到第二时间点的背景的模糊程度不会发生改变。确定部32可以在第一时间点的第一变焦倍率(远摄侧)时,将光圈确定为第一控制值,在第二时间点的小于第一变焦倍率的第二倍率(广角侧)时,将光圈确定为小于第一控制值的第二控制值。
摄像装置100也可以从第一时间点到第二时间点调整F值。确定部32可以基于时间T、第一变焦倍率、第二变焦倍率、第一对焦距离和第二对焦距离,来确定从第一时间点到第二时间点的各个时间点的摄像装置100的F值。确定部32可以确定从第一时间点到第二时间点的每个时间点的摄像装置100的F值,以使从第一时间点到第二时间点的受关注被摄体的图像中的亮度(亮度值)不会发生改变。确定部32可以在第一时间点的第一变焦倍率(远摄侧)时,将F值确定为第一控制值,在第二时间点的小于第一变焦倍率的第二倍率(广角侧)时,将F值确定为大于第一控制值的第二控制值。
摄像装置100可以从第一时间点到第二时间点调整ISO灵敏度(增益)。确定部32可以基于时间T、第一变焦倍率、第二变焦倍率、第一对焦距离和第二对焦距离,来确定从第一时间点到第二时间点的各个时间点的摄像装置100的ISO灵敏度。确定部32可以基于时间T、第一变焦倍率、第二变焦倍率、第 一对焦距离和第二对焦距离,来确定从第一时间点到第二时间点的各个时间点的摄像装置100的ISO灵敏度和快门速度。确定部32可以基于时间T、第一变焦倍率、第二变焦倍率、第一对焦距离和第二对焦距离,来确定从第一时间点到第二时间点的各个时间点的摄像装置100的ISO灵敏度和快门速度,以保持曝光不变。
为减少图像的闪烁,摄像装置100可以在以滑动变焦模式动作的情况下禁用自动曝光功能和自动白平衡功能。
UAV 10可以以使所选择的受关注被摄体包括在由摄像装置100拍摄的图像的中心区域中的方式进行移动。或者,UAV 10可以以使由摄像装置100在第一时间点拍摄的图像中的除关注被摄体之外的任意点包括在图像的中央区域中的方式进行移动。在进行滑动变焦的情况下,能够在光学变焦之后进行电子变焦。在进行滑动变焦的情况下,能够在电子变焦之后进行光学变焦。这样,能够延长UAV 10的可移动距离。由此,能够更好的变现滑动变焦效果。
图16示出了可全部或部分地体现本发明的多个方式的计算机1200的一个示例。安装在计算机1200上的程序能够使计算机1200作为与本发明的实施方式所涉及的装置相关联的操作或者该装置的一个或多个“部”而起作用。或者,该程序能够使计算机1200执行该操作或者该一个或多个“部”。该程序能够使计算机1200执行本发明的实施方式所涉及的过程或者该过程的阶段。这种程序可以由CPU 1212执行,以使计算机1200执行与本说明书所述的流程图及框图中的一些或者全部方框相关联的指定操作。
本实施方式的计算机1200包括CPU 1212和RAM 1214,它们通过主机控制器1210相互连接。计算机1200还包括通信接口1222、输入/输出单元,它们通过输入/输出控制器1220与主机控制器1210连接。计算机1200还包括ROM 1230。CPU 1212按照ROM 1230及RAM 1214内存储的程序而工作,从而控制各单元。
通信接口1222通过网络与其他电子装置通信。硬盘驱动器可以储存计算机1200内的CPU 1212所使用的程序及数据。ROM 1230在其中储存运行时由计算机1200执行的引导程序等、和/或依赖于计算机1200的硬件的程序。程序通过CR-ROM、USB存储器或IC卡之类的计算机可读记录介质或者网络来提供。程序安装在也作为计算机可读记录介质的示例的RAM 1214或ROM 1230中, 并通过CPU 1212执行。这些程序中记述的信息处理由计算机1200读取,并引起程序与上述各种类型的硬件资源之间的协作。可以通过根据计算机1200的使用而实现信息的操作或者处理来构成装置或方法。
例如,当在计算机1200和外部装置之间执行通信时,CPU 1212可执行加载在RAM 1214中的通信程序,并且基于通信程序中描述的处理,命令通信接口1222进行通信处理。通信接口1222在CPU 1212的控制下,读取存储在RAM 1214或USB存储器之类的记录介质内提供的发送缓冲区中的发送数据,并将读取的发送数据发送到网络,或者将从网络接收的接收数据写入记录介质内提供的接收缓冲区等中。
此外,CPU 1212可以使RAM 1214读取USB存储器等外部记录介质所存储的文件或数据库的全部或者需要的部分,并对RAM 1214上的数据执行各种类型的处理。接着,CPU 1212可以将处理过的数据写回到外部记录介质中。
可以将各种类型的程序、数据、表格及数据库之类的各种类型的信息存储在记录介质中,并接受信息处理。对于从RAM 1214读取的数据,CPU 1212可执行在本公开的各处描述的、包括由程序的指令序列指定的各种类型的操作、信息处理、条件判断、条件转移、无条件转移、信息的检索/替换等各种类型的处理,并将结果写回到RAM 1214中。此外,CPU 1212可以检索记录介质内的文件、数据库等中的信息。例如,在记录介质中储存具有分别与第二属性的属性值相关联的第一属性的属性值的多个条目时,CPU 1212可以从该多个条目中检索出与指定第一属性的属性值的条件相匹配的条目,并读取该条目内储存的第二属性的属性值,从而获取与满足预定条件的第一属性相关联的第二属性的属性值。
以上描述的程序或者软件模块可以存储在计算机1200上或者计算机1200附近的计算机可读存储介质上。另外,连接到专用通信网络或因特网的服务器系统中提供的诸如硬盘或RAM之类的记录介质可以用作计算机可读存储介质,从而可以经由网络将程序提供给计算机1200。
应该注意的是,权利要求书、说明书以及附图中所示的装置、系统、程序以及方法中的动作、顺序、步骤以及阶段等各项处理的执行顺序,只要没有特别明示“在...之前”、“事先”等,且只要前面处理的输出并不用在后面的处理中,则可以任意顺序实现。关于权利要求书、说明书以及附图中的动作流程,为方 便起见而使用“首先”、“接着”等进行了说明,但并不意味着必须按照这样的顺序实施。
以上使用实施方式对本发明进行了说明,但是本发明的技术范围并不限于上述实施方式所描述的范围。对本领域普通技术人员来说,显然可对上述实施方式加以各种变更或改良。从权利要求书的描述显而易见的是,加以了这样的变更或改良的方式都可包含在本发明的技术范围之内。

Claims (13)

  1. 一种控制装置,其特征在于,包括控制摄像装置的镜头系统的控制部,
    在由于所述摄像装置移动而从所述镜头系统的物体侧焦点到被摄体的距离a变为距离n×a的情况下,所述控制部将所述镜头系统的焦点距离f变成焦点距离n×f,将从所述镜头系统的像侧焦点到像面的距离b变成距离n×b。
  2. 根据权利要求1所述的控制装置,其特征在于,所述镜头系统具有变焦镜头系统和聚焦镜头系统;
    所述控制部通过控制所述变焦镜头系统,将所述镜头系统的焦点距离变成n×f,并通过控制所述聚焦镜头系统,将从所述镜头系统的像侧焦点到像面的距离变成n×b。
  3. 根据权利要求2所述的控制装置,其特征在于,所述控制部根据与对应于所述镜头系统的焦点距离的信息和对应于从所述镜头系统的物体侧焦点到被摄体的距离的信息相关联地表示所述聚焦镜头系统的聚焦设置值的设置信息,确定用于将从所述镜头系统的像侧焦点到像面的距离变成n×b的所述聚焦镜头系统的变焦设置值。
  4. 根据权利要求3所述的控制装置,其特征在于,在使所述镜头系统的变焦倍率从与焦点距离f对应的第一变焦倍率改变为与焦点距离n×f对应的第二变焦倍率的情况下,当将所述第一变焦倍率设为Z 1、将所述第二变焦倍率设为Z 2、将所述第一变焦倍率与所述第二变焦倍率之比设为n=Z 2/Z 1、将所述第一变焦倍率时的所述聚焦镜头系统的聚焦设置值设为S 1、将所述第二变焦倍率时的所述聚焦镜头系统的聚焦设置值设为S 2、在根据所述设置信息而确定的所述第一变焦倍率时将使所述聚焦镜头系统从无限远侧移动到最近侧的情况下的所述聚焦镜头系统的移动量设为r 1、在根据所述设置信息而确定的所述第二变焦倍率时将使所述聚焦镜头系统从无限远侧移动到最近侧的情况下的所述聚焦镜头系统的移动量设为r 2时,
    所述控制部控制所述聚焦镜头系统,以使n、r 1、r 2、S 1和S 2之间的关系满足预定条件。
  5. 根据权利要求4所述的控制装置,其特征在于:所述控制部控制所述聚焦镜头系统,以满足S 2=(1/n)×(r 2/r 1)×S 1
  6. 根据权利要求2所述的控制装置,其特征在于,还包括确定部,其基于使所述摄像装置的变焦倍率从与所述焦点距离f对应的第一变焦倍率改变为与所述焦点距离n×f对应的第二变焦倍率所需的时间、所述第一变焦倍率、所述第二变焦倍率、表示所述距离a的信息以及表示距离n×a的信息,确定用于将所述镜头系统的焦点距离f变成n×f,将从所述镜头系统的像侧焦点到像面的距离b变成n×b的所述摄像装置的聚焦设置值以及所述摄像装置的变焦设置值。
  7. 根据权利要求6所述的控制装置,其特征在于:所述确定部进一步基于表示所述距离a中的所述变焦镜头系统的位置与所述聚焦镜头系统的位置之间的关系的第一信息、和表示所述距离n×a中的所述变焦镜头系统的位置与所述聚焦镜头系统的位置之间的关系的第二信息,确定用于将镜头系统L的焦点距离f变成n×f,将从镜头系统L的像侧焦点到像面的距离b变成n×b的所述摄像装置的聚焦设置值和所述摄像装置的变焦设置值。
  8. 根据权利要求7所述的控制装置,其特征在于:所述距离a对应于从所述摄像装置到应在第一时间点对焦的第一对焦位置的距离;
    所述距离n×a对应于从所述摄像装置到应在第二时间点对焦的第二对焦位置的距离;
    所述确定部确定所述摄像装置的聚焦设置值和所述摄像装置的变焦设置值,以使由所述摄像装置在所述第一时间点拍摄的所述第一对焦位置处的被摄体在像面上的大小和由所述摄像装置在所述第二时间点拍摄的所述第二对焦位置处的被摄体在像面上的大小满足预定条件。
  9. 根据权利要求8所述的控制装置,其特征在于:所述预定条件是由所述摄像装置在所述第一时间点拍摄的所述第一对焦位置处的被摄体在像面上的大小与由所述摄像装置在所述第二时间点拍摄的所述第二对焦位置处的被摄体在像面上的大小一致的条件。
  10. 一种移动体,其特征在于:其搭载根据权利要求1至9中任一项所述的控制装置和所述摄像装置,并进行移动。
  11. 根据权利要求10所述的移动体,其特征在于:所述控制部使所述移动体以预定速度移动,使得从所述镜头系统的物体侧焦点到被摄体的距离a变为n×a。
  12. 一种控制方法,用于控制摄像装置的镜头系统,其特征在于,包括以下阶段:
    在由于所述摄像装置移动而使从所述镜头系统的物体侧焦点到被摄体的距离a变为n×a的情况下,将所述镜头系统的焦点距离f变成n×f,将从所述镜头系统的像侧焦点到像面的距离b变成n×b。
  13. 一种程序,其特征在于,其用于使计算机作为根据权利要求1至9中任意一项所述的控制装置而发挥功能。
PCT/CN2019/095590 2018-07-13 2019-07-11 控制装置、移动体、控制方法以及程序 WO2020011230A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980005718.0A CN111356954B (zh) 2018-07-13 2019-07-11 控制装置、移动体、控制方法以及程序
US17/024,666 US20210109312A1 (en) 2018-07-13 2020-09-17 Control apparatuses, mobile bodies, control methods, and programs

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-133302 2018-07-13
JP2018133302A JP6878736B2 (ja) 2018-07-13 2018-07-13 制御装置、移動体、制御方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/024,666 Continuation US20210109312A1 (en) 2018-07-13 2020-09-17 Control apparatuses, mobile bodies, control methods, and programs

Publications (1)

Publication Number Publication Date
WO2020011230A1 true WO2020011230A1 (zh) 2020-01-16

Family

ID=69143156

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/095590 WO2020011230A1 (zh) 2018-07-13 2019-07-11 控制装置、移动体、控制方法以及程序

Country Status (4)

Country Link
US (1) US20210109312A1 (zh)
JP (1) JP6878736B2 (zh)
CN (1) CN111356954B (zh)
WO (1) WO2020011230A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11453513B2 (en) * 2018-04-26 2022-09-27 Skydio, Inc. Autonomous aerial vehicle hardware configuration
US11804038B1 (en) * 2021-06-22 2023-10-31 Amazon Technologies, Inc. Aerial array surveying of surfaces and subsurfaces
CN114415329A (zh) * 2021-12-23 2022-04-29 山东神戎电子股份有限公司 一种改善长焦镜头聚焦清晰点位置偏移的方法
US20230347766A1 (en) * 2022-04-27 2023-11-02 Skydio, Inc. Base Stations For Unmanned Aerial Vehicles (UAVs)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104980651A (zh) * 2014-04-04 2015-10-14 佳能株式会社 图像处理设备及控制方法
CN105027167A (zh) * 2013-02-28 2015-11-04 诺基亚技术有限公司 用于自动渲染滑动变焦效果的方法和设备
JP2015220662A (ja) * 2014-05-20 2015-12-07 キヤノン株式会社 画像処理装置及びその制御方法、並びにプログラム
JP2016213574A (ja) * 2015-04-30 2016-12-15 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法
US20170195549A1 (en) * 2015-10-20 2017-07-06 SZ DJI Technology Co., Ltd. Systems, methods, and devices for setting camera parameters
CN108234879A (zh) * 2018-02-02 2018-06-29 成都西纬科技有限公司 一种获取滑动变焦视频的方法和装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS53113527A (en) * 1977-03-15 1978-10-04 Minolta Camera Co Ltd Camera for definite multiplication image in the variable multiplicaton lens system
US5122825A (en) * 1987-08-12 1992-06-16 Minolta Camera Kabushiki Kaisha Zoom camera
JP2605293B2 (ja) * 1987-08-12 1997-04-30 ミノルタ株式会社 ズームカメラ
JPH0823616B2 (ja) * 1989-01-11 1996-03-06 キヤノン株式会社 レンズ位置制御装置
KR0147572B1 (ko) * 1992-10-09 1998-09-15 김광호 자동 줌잉을 위한 피사체 추적방법 및 그 장치
JP2884042B2 (ja) * 1995-01-11 1999-04-19 株式会社リコー バリフォーカルレンズの被写体距離表示装置
JPH08234087A (ja) * 1996-01-29 1996-09-13 Asahi Optical Co Ltd カメラの像倍率制御装置
JPH09233385A (ja) * 1996-02-28 1997-09-05 Nikon Corp ズームレンズの制御装置及び制御方法
JP2005331724A (ja) * 2004-05-20 2005-12-02 Victor Co Of Japan Ltd 画像入力装置
JP2008058399A (ja) * 2006-08-29 2008-03-13 Canon Inc 焦点調節装置、撮像装置、および制御方法
JP4959535B2 (ja) * 2007-12-13 2012-06-27 株式会社日立製作所 撮像装置
JP5398182B2 (ja) * 2008-07-04 2014-01-29 キヤノン株式会社 撮像装置、自動焦点検出方法及びプログラム
JP5907738B2 (ja) * 2012-01-23 2016-04-26 オリンパス株式会社 撮像装置、表示方法、プログラム
JP5931619B2 (ja) * 2012-07-17 2016-06-08 オリンパス株式会社 撮像装置
CN103929588B (zh) * 2014-03-21 2017-10-20 深圳金三立视频科技股份有限公司 摄像机变倍快速自动聚焦方法及系统
KR102219698B1 (ko) * 2014-04-30 2021-02-24 엘지전자 주식회사 무인 항공기 제어 장치 및 방법
JP2017034320A (ja) * 2015-07-29 2017-02-09 キヤノン株式会社 移動機構を持った撮像装置
JP6700824B2 (ja) * 2016-02-09 2020-05-27 キヤノン株式会社 光学機器およびその制御方法、撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105027167A (zh) * 2013-02-28 2015-11-04 诺基亚技术有限公司 用于自动渲染滑动变焦效果的方法和设备
CN104980651A (zh) * 2014-04-04 2015-10-14 佳能株式会社 图像处理设备及控制方法
JP2015220662A (ja) * 2014-05-20 2015-12-07 キヤノン株式会社 画像処理装置及びその制御方法、並びにプログラム
JP2016213574A (ja) * 2015-04-30 2016-12-15 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法
US20170195549A1 (en) * 2015-10-20 2017-07-06 SZ DJI Technology Co., Ltd. Systems, methods, and devices for setting camera parameters
CN108234879A (zh) * 2018-02-02 2018-06-29 成都西纬科技有限公司 一种获取滑动变焦视频的方法和装置

Also Published As

Publication number Publication date
JP2020012878A (ja) 2020-01-23
JP6878736B2 (ja) 2021-06-02
CN111356954B (zh) 2022-04-05
US20210109312A1 (en) 2021-04-15
CN111356954A (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
WO2020011230A1 (zh) 控制装置、移动体、控制方法以及程序
WO2019238044A1 (zh) 确定装置、移动体、确定方法以及程序
WO2019120082A1 (zh) 控制装置、系统、控制方法以及程序
US20210014427A1 (en) Control device, imaging device, mobile object, control method and program
JP6790318B2 (ja) 無人航空機、制御方法、及びプログラム
WO2020098603A1 (zh) 确定装置、摄像装置、摄像系统、移动体、确定方法以及程序
WO2020011198A1 (zh) 控制装置、移动体、控制方法以及程序
WO2019174343A1 (zh) 活动体检测装置、控制装置、移动体、活动体检测方法及程序
CN111602385B (zh) 确定装置、移动体、确定方法以及计算机可读记录介质
WO2019242611A1 (zh) 控制装置、移动体、控制方法以及程序
WO2019223614A1 (zh) 控制装置、摄像装置、移动体、控制方法以及程序
WO2020020042A1 (zh) 控制装置、移动体、控制方法以及程序
JP6896963B1 (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
JP6569157B1 (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
JP7003357B2 (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
JP6413170B1 (ja) 決定装置、撮像装置、撮像システム、移動体、決定方法、及びプログラム
WO2020063770A1 (zh) 控制装置、摄像装置、移动体、控制方法以及程序

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19834308

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19834308

Country of ref document: EP

Kind code of ref document: A1